项目简介:

项目简介：大规模预训练语言模型（Large Language Model, LLM）的出现推动了机器人领域的发展。通过使用自然语言与计算机交互，降低了机械臂使用的学习成本。项目将大模型介入到基于jetsonnano主控板的机械臂中，基于AI大模型技术使得用户可以使用自然语言与机器人交互，无需专门的编程技能或复杂的界面操作，这种自然交互方式使得机器人的操作更加直观、简单，降低了使用门槛。相比传统的编程接口或遥控器，语音指令更加直观和高效，能够快速传达用户的意图和要求。本项目从头开始构建基于AI控制的机器臂——机器臂结构的建模以及模型组装、配置，以及AI大模型的接入和控制工作实现。

具体路线：基于多模态大模型的（文本、图像、视频都可以作为prompts），只是将机械臂连接计算机，通过将语音直接作为prompts作为输入（例如技术路线中，语音下达动作指令——帮我把笔放在桌面上），与传统语音控制机械臂需要给定详细的步骤才能完成任务动作相比更加智能，基于大模型的话无须一步步的通过编程指令完成，直接利用多种大模型的理解能力和视觉感知能力，生成空间语义信息，让机械臂自动理解、执行动作，实现机器臂自动规划动作，如抓取积木并放置，展现出人机协作的潜力。

1.  1.  将用户的语音指令转化为机械臂可以理解的指令。通过语音识别技术，例如apple builders的语音识别组件，通过将用户的语音输入转换为文本形式，从而作为大模型的prompts，然后利用国产LLM分析文本指令的意图和要求，将无须后续额外的编程工作。

2.  视觉任务的就直接用大模型的视觉模块，对执行任务的对象的任务和抓取位置进行训练

3.  机械臂动作单元：在提示词的引导下，基于大模型的推理能力来进行任务编排和规划，即预训练后的大模型直接预测机械臂动作单元的操作点和方向，满足任务目标的动力学约束，执行可行的规划。

4.  决策模块：要是通过你的语音命令，识别出你要让机械臂做什么，即按顺序计划好机械臂执行的任务，就是机械臂的函数名列表，即用大模型生成函数执行流程的JSON，完成具体的某个指令任务

1. 接入我国自主研发的AI大模型，实现机械臂的动作规划智能化

2. 通过AI大模型，通过语音作为大模型的prompts，无须额外的编程和详细动作指令命令，只需一个简单任务指令（例如抓取某个物品），机械臂即可在大模型的推理能力自主完成该任务，从而实现一定的人机协作。

机械三维模型软件的建模训练、编程能力以及AI大模型的学习和使用。

预期成果：

完成一部接入大模型的智能机器臂的制作及简单应用，后期可继续增添改进设备参加同类竞赛。

专业背景：机械类、计算机类、控制类，电子类等