本设备是面向高校教学与科研场景设计的具身智能专项实验平台，以 “感知 - 决策 - 执行” 这一具身智能核心闭环为底层设计逻辑，通过硬件集成与技术融合，让智能体真正具备 “与环境交互、靠动作落地” 的具身能力。

硬件上，以6关节机械臂、工业级USB免驱摄像头、RFID射频模块、嵌入式AI运算单元、10.1寸高清显示屏等为核心；技术上，深度融合计算机视觉、离在线语音交互、嵌入式 Linux、物联网及AR技术，能直接实现具身智能关键能力：多模态环境感知、本地实时决策、精准物理执行，以及AR增强交互。

对高校而言，本设备可解决具身智能教学与科研的核心需求：一方面，能精准匹配 “具身智能+嵌入式”“具身智能+物联网”“具身智能+机器人” 的跨学科教学场景，配套从 Python 开发、机械臂运动学、计算机视觉到NPU模型部署的完整课程体系，帮助学生从基础原理理解到核心技术掌握；

另一方面，支持源码级开放与第三方传感器 / 执行器扩展，可满足高校在强化学习、多模态协同等方向的科研需求，同时内置上百个实验案例，让学生完成 “理论 - 实践 - 应用” 的全链路训练，助力高校培养符合下一代 AI 发展需求的具身智能专项人才。

1. 多模态AI硬件集成，打造全栈式开发环境

1) 高性能AI运算单元：搭载主流边缘计算芯片，支持本地大模型部署与推理。

2) 实时控制芯片：满足机器人运动控制、传感器融合等高实时性需求。

3) 双目深度相机：实现三维空间感知、物体识别与定位。

4) 离在线AI语音交互模块：支持语音识别、语义理解与语音合成，适用于智能家居与人机交互场景。

5) RFID模块：具备非接触式身份识别与信息读写能力，为智能仓储和具身智能系统的闭环控制提供关键感知支持。

6) 6关节机械臂：实现抓取、分拣、装配等任务，学习正逆解与强化学习，是具身智能研究的理想载体。

2. 软硬一体，开放性强，支持多层级开发

平台不仅提供丰富的硬件资源，还配套完整的软件开发套件（SDK）与算法库，源码级开放，满足高级用户自定义算法开发与模型优化需求，支持从基础教学到科研创新的多层次使用场景，真正做到“学得会、做得出”。

3. 模块化设计，灵活扩展，适应多样化教学与研究方向

平台采用模块化架构设计，各功能组件可独立运行或组合使用，便于根据教学内容或研究课题进行灵活配置。

4.配套完整课程体系与案例资源，助力教学落地

平台不仅是一套硬件设备，更是一个完整的教学解决方案，提供从零基础到进阶实践的系列课程资源，内置上百个典型实验案例，如目标检测、大模型交流、多模态对话、机械臂正逆解、机械臂轨迹规划等。真正做到“教、学、做”一体化，提升教学效率与学生参与度。

5.注重安全性与稳定性，适配多种应用场景

硬件结构坚固耐用，适用于教学实验室、创客空间、竞赛训练基地等多种环境。软件系统经过严格测试，支持长时间稳定运行，满足高强度实训与科研需求。稳定可靠，易于维护，真正实现“开箱即用，长期可用”。

6. 高性能AI运算单元可切换

标配RockchipRK3588，其它的需增配，如RockchipRK3588、JetsonOrin、树莓派5、华为昇腾Atlas、百度edgeboard。

1) 多网络识别货物分拣、整理项目：

基于AI计算机视觉+机械臂控制为一体的仓库货物分拣、整理项目，基于TensorFlow、PyTorch、PaddlePaddle多种框架；bayes、SVM、逻辑回归、lenet-5、mobilenet、YOLO等网络通过深度学习神经网络算法识别仓库货物，在终端进行显示及控制，可以通过机械臂将货物进行仓库间的搬运，也可以将仓库内的货物进行整理归位，并且可以直接自己编写识别算法，无需修改界面与项目源码即可直接接入项目中，部署与验证自己算法准确性；

2) AI语音机械臂控制、货物分拣：

可以使用AI离线、AI在线两种方式语音识别+机械臂控制为一体的机械臂控制、货物分拣，用户可以通过语音发布指令控制机械臂执行动作，显示语音信号的处理过程与实时处理图；

3) AR仓库货物分拣

通过AR增强现实技术实现图像识别，创建与现实中物体相关联的虚拟模型，结合鼠标或者手指的动作来操控虚拟物体，进而机械臂也跟随虚拟物体的移动进行相应的动作，也可以通过UI的操作来直接控制机械臂的运动；

4) 人脸识别一体机：

结合机械臂运动与移动式侦测摄像头实现人脸检测与识别，并与人脸库的人脸进行对比识别，实现不同人的识别，可查看、录入和删除人脸库人脸，并结合AIoT无线传感单元进行识别到正确的人开门操作；

5) 基于YOLOV8的目标检测项目：

基于可移动的摄像头和机械臂YOLOV8算法实现仓库的目标检测，包括：动物识别、水果识别、蔬菜识别、车标识别、汉字识别、英文识别；

6) 智能传感器与RFID传感项目：

基于物联网模块的拓扑图，可以显示物联网模块的传感器数据以及控制传感器状态，并且可视化历史数据，基于RFID模块的拓扑图，可以显示RFID卡中的数据；

7) 基于YOLO的手势机械臂跟踪

基于双目摄像头拍摄的画面实现YOLO算法手势的检测，并结合PID算法实现6关节度机械臂对手部的三维跟踪，使得手部一直在摄像头的中心；

8) 基于实例分割的分割界面案例：

基于分割算法，实现对实验箱摄像头数据的实时实例分割与显示；

9)基于人体骨骼检测的界面案例：

基于人体骨骼检测算法，实现对实验箱摄像头数据的实时人体骨骼检测与显示；

10) 机械臂轨迹可视化具身智能应用：

支持3D轨迹展示、DH/MDH参数配置、关节限位设置、轨迹曲线分析及多模式控制 （包括关节控制、动作组执行、逆解轨迹规划等）。界面直观，提供正视图、侧视图、俯视图及坐标信息显示，并支持一键应用、保存配置、恢复默认等功能，适用于教学、科研、工业自动化等多种场景，帮助用户高效完成机械臂运动控制与路径优化。

11) 基于NPU的目标检测应用：

基于NPU的实现实时目标识别，基于Python的YOLO部署可以达到50帧/s以上。

12) 基于NPU的车牌识别应用：

基于NPU的实现车牌识别，基于Python的YOLO部署可以达到30帧/s以上，基于C++的YOLO部署可以达到50帧/s以上。

13) 基于NPU的mobilenet网络部署应用：

基于摄像头与NPU的mobilenet分类网络，基于Python的部署可以达到70帧/s以上。

14) 基于NPU的resnet网络部署应用：

基于摄像头与NPU的实现resnet分类网络，基于Python的部署可以达到45帧/s以上。

15) 基于NPU的RetinaFace人脸关键点检测应用：

基于摄像头与NPU的RetinaFace人脸与关键点检测，基于Python的部署可以达到29帧/s以上。

16) 基于NPU的deeplabv3分割应用：

基于摄像头与NPU的deeplabv3分割网络，基于Python的部署可以达到15帧/s以上。

17) 基于NPU的Whisper语音识别应用：

基于NPU的Whisper，在设备上实现语音的录制，并使用本地的Whisper模型进行识别，RTF小于0.3。

18) DeepSeek大模型应用：

将大语言模型部署到高性能边缘计算芯片RK3588 上，实现本地化推理与应用。通过结合硬件加速和软件优化，该项目为开发者提供了一套完整的解决方案，可实现Flask、gradio等方式的部署。

19) 多模态大模型应用

将大语言模型部署到高性能边缘计算芯片RK3588 上，可实现纯文本对话，多模态对话等。

20) 多模态大模型智能助手应用：

基于大模型的离线语音唤醒、语音识别、语音合成实现大模型的连续对话，并结合摄像头和视觉多模态大模型将摄像头看见的进行描述，并结合Agent实现设备传感器状态获取与控制。