RAICOM 机器视觉智能分拣系统
用 RealSense D435 和 YOLOv8 识别物料并估计高度,经坐标变换后,由 Dobot 机械臂按类别分拣。
2026 睿抗机器人开发者大赛(RAICOM)黑龙江赛区「视觉系统创新」一等奖(团队)
- RAICOM
- Python
- RealSense D435
- YOLOv8
- Dobot
- TCP
系统流程
- RGB 与深度采集
- 识别类别和测高
- 相机坐标转机器人坐标
- 机械臂吸取与投放
项目介绍
面向赛事中的圆柱物料分拣任务,系统根据物料顶面的水果图案识别类别,再使用深度信息估计抓取位置。Python 主控界面集成 RGB 与深度双画面、图像保存、任务按钮、通信日志及急停入口。
图像检测与深度测高
RealSense D435 提供彩色图和深度图,YOLOv8 输出类别与检测框。程序在目标中心附近对有效深度取中位数,再结合桌面基准距离估算物料高度。启动模型覆盖苹果、香蕉、葡萄和草莓四类,训练脚本支持整理数据和替换模型权重。
坐标换算与动作编排
现有程序用针孔模型和近似内参将像素与深度换算成相机坐标,再通过相机到工具、工具到基座的矩阵求得机器人坐标。主控为 Dobot 生成接近、垂直下探、吸取、抬升和按类别投放的动作序列,通过 TCP 发送运动和吸盘控制指令。任务入口包括定点抓取、单目标抓取和自动分拣。
联调与验证
演练模式用于预览指令和日志。实机联调需要核对相机到桌面的基准、手眼标定、吸盘 IO 和投放点。赛前检查将相机采集、TCP 无运动测试和低速抓取分开验证。