人工智能教学平台

工业AGV多模态复合机器人

工业AGV多模态复合机器人是一款面向教育场景开发的ROS移动复合机器人,它基于NVIDIA Jetson Orin Nano开发。搭载了两个3D深度相机、6DOF机械臂、TOF激光雷达、6路麦克风阵列、7寸触摸屏等高性能硬件配置,底盘均采用后轮摆式悬挂设计,用户可根据场景需要,进行麦轮底盘和差速底盘的切换。

 

      1、设备简介

本机器人适用于中国机器人及人工智能大赛月球探索赛道,能实现全向移动、建图导航、路径规划、追踪避障、自动驾驶、导航搬运、自主抓取、语音交互等功能,能满足用户对机器人SLAM的学习和验证,为ROS开发提供快速便捷的集成方案,适用于教学实验、科学研究、创新实践。

2、主要功能

1RTAB-VSLAM三维视觉建图与导航:运用RTABSLAM算法,小车融合视觉和雷达数据可构建三维彩色地图,并在三维地图中自主导航避障。

2)激光雷达二维建图与导航:小车可利用激光雷达,融合编码器及IMU完成高精度二维建图,还支持路径规划,定点导航,导航中避障。

3RRT自主探索建图:无需人为干预,小车可通过RRT算法可自主探索区域完成建图,并在保存地图后回归起点。

4)自主导航搬运:小车可在月球探索赛事地图中实现自主导航搬运,自主完成路径规划、动态避障、三维空间抓取等任务。

5)自主上下桥:小车可通过机械臂上的3D深度相机,探测前方道路,进而调整机身行驶角度实现自主过桥。

6KCF目标跟踪:利用深度相机获取RGB图像,小车可通过KCF滤波算法,选定图像中任意目标进行追踪。

7)图像识别与追踪:通过深度学习技术,基于YOLOv5框架,对目标物品进行自主训练,进而实现图像识别。通过逆运动算法进行目标追踪。

8)语音交互:小车可通过6路麦克风阵列实现声源定位、语音唤醒和语音识别。再通过机载扬声器,进行语音回复,可设置播报内容。

9)语音导航:通过6路麦克风阵列,用人声指令控制小车在已建好地图上进行自主导航,到达任意指定位置。

10)三维空间任意抓取:机器人通过3D深度视觉机械臂,可以获取所处环境的3D点云图像,将物品的深度信息和RGB信息进行融合,结合高阶逆运动学算法,进行关节自适应调节,实现三维空间内的任意抓取。

3、赛项介绍

3.1、中国机器人及人工智能大赛介绍

由中国人工智能学会主办,是国内首个提出在机器人及人工智能领域,将关键技术的研发与应用有机结合的比赛自1999年至2023年,中国机器人及人工智能大赛已成功举办了25届,已有600多所高校参与,累计超27万高校学生参赛,是目前国内规模最大,影响力最强,专业水平最高的机器人竞赛。大赛现已被列入中国高等教育学会发布的《全国普通高等学校学科竞赛排行榜》和《2022年全国普通高校大学生竞赛分析报告》

3.2、机器人任务挑战赛【月球探索】赛项介绍

机器人任务挑战[复合机器人月球探索]是在中国机器人及人工智能大赛组委会指导下发展起来的面向高校的机器人比赛

近期,我国载人月球探测工程登月阶段任务已启动实施,未来将开展月球科学考察及相关技术试验,为响应国家号召,特设立本赛项本赛项模拟智能探月场景,将复合机器人投放至月球基地,机器人需根据任务要求将矿产资源带回月球资源库。赛项为任务计分赛,每支队伍1轮竞赛机会,准备时间3分钟,比赛时间6分钟,合计9分钟,队伍需在规定时间内完成所有比赛任务

本赛项主要考核参赛队伍对复合机器人运动控制,建图导航、路径规划、视觉识别、人机交互、自主搬运等技术的综合应用以及选手创意实践、团队协作等职业素养

4、配套课程资源目录

课程资料目录

1、快速使用指南

1.1技术手册

1.2组装指南

1.2组装指南

1.4远程连接

1.5系统镜像

2、实验教学案例

2.1机器人运动控制实验案例

2.2基于激光雷达的环境感知实验案例

2.3基于深度相机的视觉应用实验案例

2.4基于激光雷达的SLAM与自主导航实验案例

2.5基于深度相机的SLAM与自主导航实验案例

 

2.6基于深度相机的机器学习实验案例

2.7基于深度相机的深度学习实验案例

2.8基于麦克风阵列的语音交互实验案例

2.9基于机械臂的视觉应用实验案例

 

2.10机器人仿真开发实验案例

3、综合实践案例

3.1复合机器人月球探索综合实践案例

 

3.2复合机器人农业采摘综合实践案例

 

4、实验课程资源

 

3.1机器人操作系统(ROS)实验课程

 

3.2机器人运动控制基础实验课程

 

3.3机器人运动控制操作实验课程

 

3.4基于ROS的激光雷达开发基础课程

 

3.5基于激光雷达的环境感知实验课程

 

3.6基于激光雷达的即时定位与地图构建(SLAM)实验课程

 

3.7基于激光雷达的路径规划与自主导航实验课程

 

3.8基于ROS的深度相机开发基础实验课程

 

3.9基于深度相机的图像识别(RGB)实验课程

 

3.10基于深度相机的3D应用实验课程

 

3.11基于深度相机的即时定位与地图构建(SLAM)实验课程

 

3.12基于深度相机的路径规划与自主导航实验课程

 

3.13基于MediaPipe的机器学习实验课程

 

3.14基于YOLO的深度学习实验课程

 

3.15基于ROS的麦克风阵列开发基础课程

 

3.16语音唤醒、语音识别及声源定位实验课程

 

3.17语音控制机器人运动实验课程

 

3.18语音控制机器人功能开关实验课程

 

3.19机器人仿真开发基础实验课程

 

3.20机器人仿真开发操作实验课程

 

3.21基于ROS的机械臂开发基础实验课程

 

3.22基于ROS的机械臂运动控制实验课程

 

3.23视觉机械臂开发基础实验课程

 

3.24视觉机械臂应用开发实验课程

 

25-30拆解“复合机器人月球探索综合实践案例”,引导学生实现功能

5、拓展开发资料

 

4.1 APP远程控制机器人

 

4.2 Windows远程控制机器人

 

4.3嵌入式开发(运动控制)

 

4.4多智能体集群智能与协同控制