设施番茄采摘机器人识别定位与采摘方法研究_雷志龙.pdf

年 月农业机械学报第 卷第 期 设施番茄采摘机器人识别定位与采摘方法研究 雷志龙 刘 畅 王 权 江苏大学机械工程学院 镇江 江苏大学农业工程部 镇江 摘要 番茄是设施农业中种植面积较大的农作物之一 在农业生产劳动力紧缺的背景下 实现其自动化采摘具有重 要意义 针对设施单果番茄采摘的需求 设计了一款设施番茄智能采摘平台 主要由升降机构 采摘机构 识别与 定位系统等部分组成 平台整体结构由低压一体化伺服滚珠丝杠副升降机构 六轴协作机械臂和力控末端执行器 组成 实现了自动化 精确高效的采摘作业 基于改进 融合算法来识别检测 通过对 分量进行图 像阈值分割 提高了对成熟目标果实识别的准确率 有效排除未成熟番茄和枝叶背景的干扰 通过眼在手外的标定 方法 使用 双目相机进行定位 来实时获取目标果实在机械臂基坐标系下的空间坐标 搭建的设施番茄采摘 机样机平台在现场采摘试验中 识别准确率达到 采摘成功率为 单果平均采摘时间为 结果表明 融合算法能够减少对番茄的识别误差 使用眼在手外算法计算出转换矩阵 实现对目标 果实准确识别与定位 设施番茄智能采摘装置的识别定位和采摘能力满足实际工作需求 关键词 番茄采摘机器人 结构设计 识别与定位 中图分类号 文献标识码 文章编号 收稿日期 修回日期 基金项目 江苏省农业科技自主创新项目 作者简介 雷志龙 男 硕士生 主要从事农业采摘机器人研究 通信作者 王权 男 教授 博士 主要从事半导体传感和机器视觉等研究 引言 番茄是三大世界性贸易蔬菜之一 也是设施农 业种植面积最多的品种之一 目前 在整个番茄 生产链中最耗时 最费力的环节为采收环节 主要存 在设施用工难 作业环境差 劳动强度大等问题 因 此投入研发智能化设备具有重要意义 设施番茄智能采摘机器人融合了导航避障技 术 视觉识别定位技术 机械臂控制技术 柔性末端 执行器设计技术以及机器人控制技术等多种关键技 术 番茄采摘机器人早在 世纪就被日本团 队首次研发 美国 荷兰等国家也在该领域进行了深 入研究 我国起步较晚 国内的研究团队仍在 不断探索 冯青春团队 使用基于颜色特征进行阈 值分割等传统图像处理方法对番茄进行识别 梁喜 凤团队 通过建立精确的运动学模型和采用先 进的轨迹规划及控制策略 显著提高了机械手的操 作效率和稳定性 等 通过智能感知作物表型 和姿态 对番茄串进行精准识别 并据此做出自主决 策与收割动作 尽管我国番茄采摘机器人在部分关键技术上取 得了重大突破 并能满足基本的采摘需求 但仍处于 研发试验阶段 尚未广泛推广 在机械臂方面 由于 果实位置姿态各异 其灵活性与精准度不足 难以避 开障碍物进行采摘 在视觉识别方面 传统图 像处理识别技术鲁棒性差 处理时间长等缺点也亟 待解决 为了在算力有限的嵌入式设备上完成目标番茄 的识别定位与采摘 本文设计一种设施番茄采摘平 台 包含升降机构 采摘机构 视觉识别定位等部分 根据设施环境和番茄生长特性 采用单桅柱伺服滚 珠丝杠副作为升降机构 机械臂与特制末端执行器 为采摘机构 基于 和 算法融合进行识 别检测 并结合 双目相机的采摘机构精准定位 采摘 以实现对目标番茄自主识别定位采摘的功能 总体方案设计 目前设施大棚种植番茄选择桃梦茜优质番茄品 种 该品种番茄均为单果生长 具有抗病虫 耐低温 果实色泽鲜艳 甜酸适度等优点 针对番茄的生长 特性和种植环境复杂性 开展了识别定位与采摘一 体化的总体方案设计 番茄识别定位与采摘的总体实现方法如图 所 示 该技术路线图主要围绕番茄采摘的自动化展开 首先进行硬件结构设计 包括升降装置设计以及搭 载平台和末端执行器设计 接着进行番茄图像采集 制作数据集并基于 算法模型进行识 别检测成熟目标番茄 通过手眼矩阵转换和获取三 维坐标的技术手段实现番茄的三维定位 并设计驱 动程序以及优化视觉与控制通信机制 完成这些技 术准备后 实现采摘作业 并通过采摘试验和测试模 型不断优化整个系统 图 总体技术路线图 采摘机构设计 针对大棚农田作业环境 考虑番茄藤蔓生长的 植物特性以及田垄双排的种植方式 采摘机器人需 要灵活作业空间 并且精确完成果实的采摘任务 因此 如图 所示 设计了一个由六轴协作机械臂 伺服电控升降机构和柔性末端执行器组成的采摘 机构 图 采摘机构结构示意图 六轴协作机械臂 双目相机 升降机构 末端执 行器 机械臂选用六自由度的协作机械臂 关节灵活 冗余度较高 配备高精度编码器可为后续升级开发 提供基础 且机械臂的工控机较小 便于嵌入式设 计 重复定位精度为 臂展可达 满足农业采摘环境的需求 针对大棚环境中番茄采 摘作业要求 升降平台采用电动滚珠丝杠副设计 具 有运行稳定和速度易于控制等优点 较适合于升降 高度适中和控制精度高的作业场所 根据滚珠丝杠 第二十七届中国科协年会学术论文 年 副的导程 最小螺纹底径和预期额定动载荷来进行 滚珠丝杠副的选型设计 考虑升降台主要负载来源 于机械臂和末端执行器的质量 负载约为 滚 珠丝杠副采用竖直方式安装 选用 型 一体化低压伺服电机 额定功率为 额定转矩 为 最大输出转矩为 满足滚珠丝 杠副所需实际转矩 同时能够确保升降平台负载位 置的定位精度 以试验基地品种番茄果实作为采摘对象 经前 期研究表明 番茄最大横向直径为 果实 质量为 在成熟采摘时容易挤压损坏 所以设计一种如图 所示的力控夹指式末端执行 器 力控末端执行器由机械夹爪 夹爪驱动电机 红 外传感器 末端衬套等部分组成 图 末端执行器结构示意图 机械夹爪 红外传感器 限位开关 驱动电机 经过统计计算 番茄形状为宽高比为 的球形 柔性夹爪最大张开宽度约为 当夹 持深度和高度偏高或者偏低时 采摘番茄可能会出 现滑落或者夹持不稳的情况 考虑番茄最大横向直 径一般小于 故而夹具若是成功包裹番茄并 采摘 最大容许定位误差需要满足 轴和 轴误差 小于 轴误差小于 为减少对番茄的损伤 如图 所示在末端执行 器内侧安装硅胶衬套 硅胶衬套能够在夹爪抓取番 茄时起到缓冲作用 避免划伤番茄 同时将红外传感 器安装在末端执行器上 用于控制夹爪的夹持范围 通过实时检测夹爪是否超过限位 确保夹爪能够准 确夹持番茄 同时避免过度夹持造成番茄损伤 识别检测技术 数据采集与处理 试验研究区域选在江苏省连云港市海州区浦南 镇草舍村的番茄种植基地 该基地主要栽培桃梦茜 粉太郎 普罗旺斯等比较适合温室大棚的优质番茄 图 采摘场景 品种 以果实色泽鲜艳 产量最高的桃梦茜品种番 茄作为研究对象 于 年 月至 月期间 使用 相机在温室大棚环境中采集不同植株 不同成 熟度的番茄图像 为了提高番茄识别检测准确性 分上午 中午 下午 个时间段采集相同数量的有效 番茄图像 如图 所示 采集蔓叶蔓枝对番茄的遮 挡 番茄果实之间的重叠 不同光照条件与不同拍摄 角度等多种情况样本 共获取 像素 像 素的有效番茄图像 幅 使用 模型训 练 并将番茄数据集用 工具进行标注 按 照成熟度将番茄图像标注为 共 种类别 标注数量分别为 保存为 文档 最后将标注的图像数据集按照比例 划分为训练集 验证集和测试集 图 番茄采样图像示例 基于 的番茄识别方法 番茄在实际生长中环境比较复杂 使得采集的 图像样本中存在枝蔓遮挡 果实遮挡和光线等情况 影响颜色变化 导致准确检测成熟的果实较为困难 现有的 算法检测精度高 但在实际应用 中 仍会出现误识别 漏识别情况 因此本文在原有 的 网络模型基础上 引入 颜色分割模 块 提高对遮挡番茄和光照不均条件下番茄识别准 确率 相较于 颜色空间 颜色空间更适合本 第 期 雷志龙等 设施番茄采摘机器人识别定位与采摘方法研究 工作 在 颜色空间中 每种颜色都有其对应的 色调 饱和度 亮度 值的范围 该颜色 空间更能够直观地表达出图像颜色的明暗程度 鲜 艳程度以及颜色色调 且亮度对色彩的影响较小 如图 所示 颜色空间常用于将图像中的指定 颜色目标区域从背景中分割出来 从图中直方图可 以看出 在 分量下的直方图有两个明显的波峰 依据直方图双峰法 可以选两峰之间最低谷作为图 像分割的阈值 从而将识别目标与未成熟番茄和枝 叶等背景分割开 图 各通道图像及对应直方图 图 目标识别过程 本工作在 框架中嵌入 颜色空间 算法 网络模型实现过程如图 所示 输入端输入 像素 像素的 三 通道番茄图像 经过 模块和 模块 处理后 对成熟番茄目标进行检测 基于获取的 检测框坐标确定坐标并执行提取操作 进而提取 出图像中的目标番茄区域 在此过程中 可能会 有部分未成熟番茄被一同提取 随后 把提取出 的目标番茄区域的 图像通过 颜色空间 算法沿 分量转换 计算红色区域面积与检测框 总面积的比值 从而获取红色区域占比 再将计 算所得占比与预设阈值进行对比 若占比达到 或超出阈值 则判定该检测框内番茄为成熟 目标 在采用 网络模型进行目标检测的过 程中 对目标番茄的检测框沿色度分量 分量 进 行分割 并计算分割出的红色区域占整个检测框区 域面积比例 当 过大时 目标果实被遮挡过多 或强光直射会导致检测过度筛除 使得那些红色区 域占比较小但实际存在的目标被误判为背景 增加 漏检情况 进而导致漏检率 增加 当 较小时 对 成熟番茄的筛选效果降低 使得更多的背景或非目 标物体被错误地识别为目标 导致误识别率 增 加 计算公式为 第二十七届中国科协年会学术论文 年 式中 番茄总数量 准确率 误识别的非成熟番茄数量 未识别的成熟番茄数量 识别出的成熟番茄数量 根据前期分析 为 时 准确率 相 对较好 试验结果如表 所示 综合考虑增加占比 对漏检率和误识别率的影响 选择 为 时 识 别准确率 为最高值 达到 成熟目标番茄 的实时识别检测达到最佳效果 表 占比 与误识别率 漏检率 及准确率 关系 误识别率 漏检率 准确率 模型训练与结果分析 模型训练在配备 的 边缘计算机上进行 该计算机配置了 操作系统 使用 搭建框架 并安装 和 为了 使检测模型更轻量化 均选择 网络模型 为基础 分别进行训练 设置好训练最大迭代次数为 处理批次大小为 初始学习率为 循环 学习率为 将划分好的训练集数据加载到模型 中 并初始化模型权重后开始训练 试验结果如表 所示 模型正 确率相比于原模型提升 个百分点 召回率提升 个百分点 平均精度提升 个百分点 但检测 时间相较于原模型多 从模型的整体性能上 看 识别检测更为出色 此外 对不 同模型分别进行测试 测试结果如图 所示 由 图 可以看出 种成熟度番茄能够被较好地识 别 且在光照不均 遮挡部分较多等情况下也能保证 较高的识别权重 如图 所示 加入 模型能够 有效去除未成熟番茄和枝叶背景 成功识别成熟目 标果实 表 不同模型试验结果 模型平均精度 正确率 召回率 检测时间 图 不同模型识别对比 定位方法 双目相机由两个以一定距离并排布置的 摄像头组成 通过计算图像间的视差来估计物体的 深度信息 此外 相机还采用结构光技术 如 图 所示 通过发送光束并测量光束在场景中的变 化来获取深度信息 进一步增强了深度测量的准确 性 根据得到的深度信息可以生成深度图 并利用 深度图能够进一步构建出场景的三维结构 相机基于结构光和双目立体视觉匹配来实现对目标 的精准定位 同时能够降低在昏暗或者夜间环境下 受颜色和纹理的影响 因此 本工作选择 双目 相机来应用于复杂环境下实现目标精准定位 考虑到设施种植环境和采摘策略 选择将 相机固定安装在机械臂外的位置 为了实现对目标 番茄的精准定位和采摘作业 需要通过 眼在手外 的标定方法来确定相机坐标系与机械臂坐标系之间 的转换关系 如图 所示 首先 将图像的坐标系 坐标仿射变换转换成像素坐标系 得到坐标 点 通过相机标定获取相机内参矩阵 然 后 将图像平面上的这个点坐标转换到相机坐标系 中 得到在相机坐标系 中坐标 同时 利用手眼标定的方法来获取相机外参旋转矩 阵和平移矩阵 通过刚体变换最终得到机械臂基坐 第 期 雷志龙等 设施番茄采摘机器人识别定位与采摘方法研究 图 相机立体视配 图 手眼标定坐标系转换关系 标系 下的坐标 不断调整和 优化参数 以提高定位准确性和精度 在实际操作中 具体步骤如下 首先将标定板固 定在机械臂末端 控制机械臂末端移至相机视野内 在不同位置和姿态下拍摄多组标定板图像 如图 所示 并同时记录对应机械臂末端四元素坐标 图 不同位姿下拍摄的标定图像 通过使用 进行相机标定 可以计算出 相机的内参矩阵 将获得的相机参数和记录机 械臂末端执行器的四元素坐标导入写好的手眼标定 程序中 并运行程序获取转换矩阵 接着 将转换矩 阵和训练权重导入视觉识别程序中 驱动相机进行 识别定位 从而获得机械臂基坐标系下的三维空间 坐标 如图 所示 并记录 组检测值与真实值 结果如表 可知 轴最大误差为 平均误差 为 轴最大误差为 平均误差为 轴最大误差为 平均误差为 根据设计末端执行器抓取统计可知 定位 误差在允许范围内 符合使用要求 图 三维识别定位 表 番茄中心点三维坐标检测结果 序号检测值真实值误差 采摘试验 基于上述研究 实验室研发了一台设施番茄采 摘机器人样机 并对该样机进行了调试与采摘试验 番茄采摘机器人样机如图 所示 采摘机器人整体 尺寸为 主要由六轴协作机械 臂 双目深度相机 柔性末端执行器 移动平台 升降 机构 控制柜等硬件组成 微型控制器作为整个采 摘机器人的控制中心 装有 系统 具备足够 的算力来支持深度学习运算 并通过网口接口 接口传输数据以实现双目深度相机和机械臂工控机 之间的实时通信 六轴协作机械臂装备有效负载为 的末端力控执行器 结合升降机构 采摘机器 人能够在高度 范围内对成熟番茄进行识别 定位和采摘试验 在连云港设施基地环境下进行实地试验 采收 作业过程如图 所示 运行视觉和机械臂控制程 序 相机会进行实时识别定位 当成熟番茄出 第二十七届中国科协年会学术论文 年 图 番茄采摘机器人样机 图 采收作业过程 现在相机视野范围内时 系统会发送数据以控制机 器人停止前进 并将识别出的番茄三维坐标信息发 送至机械臂工控机 工控机随后控制机械臂和末端 执行器到达采摘点夹持目标果实 完成采摘动作后 将果实平稳放回框内 并重复采收作业直至视野内 所有成熟番茄被采摘完毕 试验中采用旋转和拖拽两种采摘方式 通过前 期观察 发现成熟果实与果梗之间存在开花后形成 的节点 按照开花节点反方向更易成功采摘 根据 末端执行器两端活动滚轮结构设计 当控制机械臂 夹持目标果实并实现斜向上拖拽动作时 果梗会拉 直果实 使得夹具会自动向反方向旋转 果实采摘的 成功率大幅度提高 当相机视野范围内没有可采摘 的番茄时 系统会发送指令给底盘工控机 控制小车 继续前进以寻找下一个采摘目标 在此次实地试验 中 结果如表 所示 共识别到 个成熟番茄果 实 采摘失败原因主要有定位失准 分离失败和抓握 受阻 最终选择拖拽动作进行采收作业 成功采摘 个成熟番茄 采摘成功率为 单果平均采 摘时间为 表 采摘试验结果 采摘 动作 类型 果实 总数 采摘试验指标采摘失败指标 识别 成功 个数 采摘 成功 个数 单果平 均采摘 时间 定位 失准 个数 分离 失败 个数 抓握 受阻 个数 旋转 拖拽 结论 针对设施环境下的单果番茄采摘 本工作 整体搭建了番茄自主采摘平台 包括单桅柱伺服滚 珠丝杠副升降机构 六轴协作机械臂 力控夹指式末 端执行器 双目相机 控制器等部分 参照设 施单果番茄的生长特性 对升降机构和末端执行器 进行结构设计 基于 检测算法 实现了对 成熟目标果实精准识别 通过对 分量进行图像 阈值分割 试验找出最佳面积分割占比 提高了对 成熟目标果实识别准确率 有效排除未成熟番茄和 枝叶背景干扰 采用 双目相机定位目标果实的三维空 间坐标 利用 进行相机标定来获取内参信息 使用四元素方法记录相应末端执行器在机械臂基坐 标系中的位姿信息 通过眼在手外标定方式计算得出 转换矩阵 实现对目标果实的精准定位 通过在实验室和种植基地对样机进行采摘 试验 采用两种采摘策略对目标果实进行摘取 现场 试验结果表明 采用拖拽方式的采摘策略具有更高 的成功率 并且能够根据预设程序自动完成实时识 别定位 采收番茄果实等一系列动作 有效验证了设 计方案的合理性和实用性 参考文献 徐灿 熊征 蒋先平 等 串收番茄采摘机器人的设计与研究 现代农业装备 陈至灵 姜树海 孙翊 农林业采收机器人发展现状 农业工程 第 期 雷志龙等 设施番茄采摘机器人识别定位与采摘方法研究 刘继展 江应星 农业采摘机器人产业化进程分析与多臂高速化技术走向 农业机械学报 王海楠 弋景刚 张秀花 番茄采摘机器人识别与定位技术研究进展 中国农机化学报 王晓楠 伍萍辉 冯青春 等 番茄采摘机器人系统设计与试验 农机化研究 梁喜凤 杨犇 王永维 番茄收获机械手轨迹跟踪模糊控制仿真与试验 农业工程学报 秦超 梁喜凤 路杰 等 七自由度番茄收获机械手的轨迹规划与仿真 浙江大学学报 工学版 第二十七届中国科协年会学术论文 年