温室番茄采摘机器人伸缩式机械臂设计与试验.pdf

农 业 机 械 学 报 第 55卷 增刊1 2 0 2 4 年 12 月 温室番茄采摘机器人伸缩式机械臂设计与试验 王亚薇 1 2 何津立 1 2 林熙淼 1 2 陆文武 1 马锃宏 1 3 杜小强 1 4 1 浙江理工大学机械工程学院 杭州 310018 2 浙江省种植装备技术重点实验室 杭州 310018 3 全省农业智能感知 与机器人重点实验室 杭州 310018 4 农业农村部东南丘陵山地农业装备重点实验室 部省共建 杭州 310018 摘要 针对番茄采摘环境复杂 可移动空间小等问题 设计了一种适用于宽沟窄畦温室种植模式下高效率采摘的番茄自主 采摘机器人 采摘机器人的执行机构由四自由度伸缩机械臂 多位姿腕关节及三指扭转采摘末端手构成 通过分析番茄的 生长情况和作业环境 设计了一种绳排式可伸缩移动关节 减少伸缩机构的尺寸 针对实际番茄采摘时的动作 采用三指 式扭转采摘末端执行器 增加多位姿腕关节实现多位姿多方位的扭转采摘 采摘控制系统基于ROS集成采摘 规划等策 略 控制机械臂完成采摘功能 基于宽沟窄畦种植模式下番茄温室的可移动空间 设计了一款四转四驱移动底盘 可实现 在番茄种植垄间的移动和转向 研制了番茄采摘机器人样机 在番茄设施温室中进行了实地采摘试验 果实采摘成功率达 到88 7 采摘周期时间为13 4 s 个 具有较高的采摘作业效率和采摘成功率 满足温室番茄采摘要求 关键词 番茄 采摘机器人 伸缩式机械臂 温室 宽沟窄畦种植模式 中图分类号 S225 92 文献标识码 A 文章编号 1000 1298 2024 S1 0018 11 Design and Experiment of Tomato Picking Robot Based on Telescopic Robotic Arm WANG Yawei 1 2 HE Jinli 1 2 LIN Ximiao 1 2 LU Wenwu 1 MA Zenghong 1 3 DU Xiaoqiang 1 1 School of Mechanical Engineering Zhejiang Sci Tech University Hangzhou 310018 China 2 Key Laboratory of Transplanting Equipment and Technology of Zhejiang Province Hangzhou 310018 China 3 Zhejiang Key Laboratory of Intelligent Sensing and Robotics for Agriculture Hangzhou 310018 China 4 Key Laboratory of Agricultural Equipment for Hilly and Mountainous Areas in Southeastern China Co construction by Ministry and Province Ministry of Agriculture and Rural Affairs Hangzhou 310018 China Abstract The development of intelligent agriculture is the future trend in the agricultural field and the development of intelligent harvesting equipment is a key issue in promoting the transformation and upgrading of the farming industry Given the complexity of the tomato picking environment small mobile space and other issues an autonomous tomato picking robot suitable for high efficiency picking under the wide trench and narrow ridge greenhouse planting mode was designed The actuator of the picking robot consisted of a four degree of freedom telescopic robotic arm a multi positional wrist joint and a three finger twisting picking end hand By analyzing the growth of tomatoes and the operating environment a rope row type of retractable mobile joint was designed to reduce the size of the retractable mechanism For the actual tomato picking action a three finger twist picking end effector was used and a multi position wrist joint was added to achieve multi position multi directional twist picking The picking control system was based on ROS integrated picking planning and other strategies to control the robotic arm to complete the picking function Based on the movable space of tomato greenhouses under the planting mode of wide trench and narrow ridge a four rotation and four wheel drive mobile chassis was designed which can realize the movement and steering between tomato planting rows Finally a prototype tomato picking robot was developed and a field picking test was carried out in a greenhouse and the fruit picking success rate reached more than 85 and the picking cycle time was 13 4s which had a high picking operation efficiency and picking success rate and met the requirements of tomato picking in greenhouses Key words tomatoes picking robot telescopic robotic arm greenhouse wide trench narrow ridge cultivation mode doi 10 6041 j issn 1000 1298 2024 S1 003 收稿日期 2024 07 20 修回日期 2024 09 20 基金项目 浙江省自然科学基金重大项目 LD24E050006 作者简介 王亚薇 2000 女 硕士生 主要从事农业机器人研究 E mail 1138427411 通信作者 杜小强 1978 男 教授 博士 主要从事智能农业装备研究 E mail xqiangdu 增刊1 王亚薇 等 温室番茄采摘机器人伸缩式机械臂设计与试验 0 引言 我国是目前世界上番茄种植面积最大的国家 1 番茄以其丰富的营养价值广受欢迎 种植面积及产量逐 年上升 但目前国内番茄采摘仍以人工为主 用工整体 老龄化 同时设施温室环境作业强度大 机械化水平低 采摘效率低 2 4 人工采摘成本的增加促进了采摘机器人的研究 美国华盛顿州立大学的DAVIDSON等 5 开发了一款6自 由度机械臂和三指末端执行器的苹果采摘机器人 该机 器人通过3D相机获取果实坐标信息 在实验室环境下 果实的采摘成功率为56 江苏大学赵德安团队 6 同 中国农业机械化科学研究院张小超团队合作开发了一 款5自由度的苹果采摘机器人 具有整体升降和小臂伸 缩功能 在实验室条件下的抓取成功率为80 采摘周 期为15 s 针对丘陵果园地形环境 鲍秀兰等 7 设计了 一种可以自适应调平平台的柑橘采摘机器人 结合剪切 夹持一体化的末端执行器降低果实的损伤 国外率先 开展了对番茄采摘机器人的研究 第一台番茄采摘机器 人由美国研制 8 国内高校和研究中心对番茄采摘机 器人的研究起步较晚 冯青春 梁喜凤 刘继展等团 队 9 15 相继开展了对番茄采摘机器人的研究 构建的番 茄采摘机器人样机多采用工业机械臂进行采摘试验 近年来 随着技术的发展 国内外针对番茄采摘机 器人进行了进一步的研究 针对日光温室番茄采摘 于 丰华等 16 设计并制作了一台可以实现巡检 采摘 收集 的番茄采摘机器人 李兴旭等 17 采用四轴协作机械臂 基于级联视觉检测流程搭建机器人系统 实现了在日光 温室场景中的检测 采摘试验 SU等 18 设计了一种应 用于番茄棚架栽培生长环境的温室番茄采摘底盘 具有 较好的路径巡航功能和定位精度 为了降低采摘过程 中对果柄和主茎的损伤 ZHENG等 19 提出了一种嵌套 采摘的方法 应用于番茄采摘机器人系统 采摘周期时 间为14 9 s 由于视觉技术的限制 传统的检测方法针对果实遮 挡的番茄目标识别准确率不高 从而导致机器人的采摘 成功率下降 随着深度学习的研究深入 被广泛应用于 果蔬识别中 HU等 20 提出了一种结合深度学习和边缘 轮廓检测的成熟番茄检测方法 用来区分开重叠的番 茄 为了检测植物上高遮挡的未成熟番茄 MU等 21 使 用深度学习模型自动检测得到完整的绿色番茄 检测的 平均精度达到了87 83 张勤等 22 提出了一种基于实 例分割的番茄串视觉定位与采摘姿态估算方法 实现果 梗姿态识别和采摘点精准定位 并基于果梗姿态确定末 端执行器的采摘姿态 提高番茄采摘成功率 本文针对宽沟窄畦种植模式下的番茄生长环境 同 时为了满足采摘机器人在田间的高效作业效率 设计了 一种可在该环境中移动和自主采摘的番茄采摘机器人 该机器人的采摘机械结构基于伸缩式机械臂和多自由 度末端执行器 底盘结构根据种植农艺特点设计尺寸 采用四轮独转独驱的电力驱动方式 1 采摘机器人机械系统设计 1 1 采摘作业环境分析 传统的温室番茄种植主要采用宽畦窄沟 双行种植 的栽培模式 不利于进行机械化作业 宽沟窄畦栽培模 式可以改善植株外部光照条件和通风条件 降低病害发 生率 提高番茄精品果的质量 通过番茄采摘的机械化 作业 可提高劳动效率 23 为了方便农机采摘作业 同 时减少人为机械损伤 试验在浙江省温州市苍南县直勇 阳光农场宽沟窄畦种植模式下的温室番茄中进行 目前 该农场番茄采摘方式均采用人工采摘 温室内栽培畦 上底宽60 cm 下底宽80 cm 行与行之间的垄间距为 90 cm 采用单行种植 此外 番茄之间的株距为40 cm 番茄植株平均高度180 cm 番茄的主要生长范围为30 120 cm 番茄栽培模式如图1所示 两种模式下温室番 茄栽培模式数据如表1所示 如表1所示 宽沟窄畦栽培模式下温室番茄垄间区 域相较于传统栽培模式下垄间距扩大50 cm 可以满足 小型的移动底盘在垄间行走 针对温室番茄这种果实 空间密集分布 垄间间距狭窄的特点 采摘机器人一般 采用行走 检测 停止 采摘的方式进行果实采摘 这就 要求机械臂有很大的作业空间 且具有较小尺寸结构 多级伸缩的结构为机器人采摘提供了更多的可能 1 2 伸缩式机械臂 1 2 1 工作原理 采摘机器人多采用通用型工业机械臂 这种通用型 图1 宽沟窄畦栽培模式 Fig 1 Wide furrow and narrow bed cultivation pattern 表1 温室番茄不同栽培模式 Tab 1 Different cultivation patterns of greenhouse tomatoes 栽培模式 宽畦窄沟 宽沟窄畦 栽培畦宽 cm 上底 60 90 下底 80 110 沟宽 cm 90 40 株距 cm 40 45 种植方式 单行种植 双行种植 19 农 业 机 械 学 报 2 0 2 4年 工业机械臂会影响机器人 操作环境和拾取对象之间的 协调 也会带来操作和维护方面的缺点 24 在满足工作 空间的情况下 通用型工业机械臂存在结构庞大 难以 轻量化等问题 SASIADEK 25 提出的伸缩式机械手具 有结构紧凑 重量轻的优点 在温室番茄生长环境中有 着明显的优势 ARIKAPUDI等 26 提出了一种伸缩式机 械手来实现线性水果可达性 但其复杂的结构和缓慢的 运动限制了其在水果采摘领域的应用 此外 在这些情 况下 有效负载 工作空间和控制并没有针对果园应用 进行全面优化 针对采摘作业环境中番茄果实的分布范围 垄间空 间小等情况 机械臂设计需要满足大工作空间 小体积 及轻量化等要求 本文设计了一种4自由度的伸缩式采 摘机械臂 包括2个旋转关节与2个平移关节 可以控制 机械臂到达目标预采摘点的位置 如图2所示 为了满 足采摘要求 本文将关节1和关节3设置为旋转关节 扩 大机械臂在X轴和Y轴方向上的运动空间 以此来采摘 不同高度和范围下的番茄果实 同时有助于果实的收集 工作 旋转关节3的设计实现了在不扩大移动关节2和 移动关节4的条件下提升机械臂高度行程 同时受到工 作空间的限制 关节4需采用多级伸缩结构以满足大行 程 小体积的要求 伸缩轴的作用是能够快速地移动末端抓手到指定 位置进行抓取 实现番茄采摘收集工作 从而提高机械 臂作业效率 宽沟窄畦栽培模式下的温室番茄生长范 围较大 采用普通单级伸缩型机械臂难以满足要求 末 端关节振动问题更会大大影响机械臂定位精度 为实 现高效稳定运行 伸缩关节需要结构简单 控制方便 重 量轻 体积小 行程大等特点 绳排式伸缩机构控制简 单 成本低 能够体现最佳的轻量化和紧凑的设计方案 因此 机械臂伸缩关节采用绳排式三级同步伸缩结构方 案 相比单级的伸缩机构能够提升采摘速度 缩小伸缩 臂的体积 图3为本文设计的绳排式多级同步伸缩机构 原理图 为实现高精度与高速的伸缩运动 使用同步带 替代绳索阵列 同步伸缩臂主要由3级臂组成 结构相对 液压驱动更加小巧 中间不存在液压缸 在缩小体积的 同时更加容易实现轻量化设计 使得结构更加稳固 1 2 2 伸缩臂关节尺寸确定 由于伸缩轴完全伸缩时整体为悬臂梁结构 其末端 的变形与截面形状 尺寸都有较大的影响 为使得伸缩 轴整体更加轻盈且具有可靠的稳定性 材质采用碳纤维 板 同时 为了保证机械臂整体的运动精度 其末端精度 应控制在0 5 mm内 其两级伸缩末端挠度应在 0 5 mm 内 番茄平均质量为0 5 kg 为了防止机械臂与番茄枝 干发生碰撞 将末端受力设置为100 N 最终根据以上设 计要求对材料截面宽度以及厚度进行计算求解 将各 级截面近似为槽型截面 如图4所示 截面惯性矩计算式为 I x BH 3 bh 3 12 1 式中 I x 截面惯性矩 B 截面外部宽度 H 截面外部高度 b 截面内部宽度 h 截面内部高度 三级臂需完全缩进入二级臂内部 同时二级臂需能 收入至一级臂内部 各级臂之间均取上级臂宽度 厚度 的0 8倍 计算以二级臂为起点 由 I x BH 3 B t H 2t 3 12 2 可得 I x3 0 409 6I x2 3 式中 t 截面厚度 I x3 三级臂截面惯性矩 I x2 二级臂截面惯性矩 两级臂完全伸出时其变形量为 F 1 L 3 1 3EI 1 F 2 L 3 2 3EI 2 4 式中 变形量 F 1 一级臂受到的力 a 关节示意图 b 三维模型 图2 伸缩式机械臂关节 Fig 2 Schematics of joints of telescopic robotic arm 图3 同步带绳排多级同步伸缩机构原理图 Fig 3 Schematic of synchronous belt rope row multi stage synchronous expansion mechanism a 槽型截面示意图 b 伸缩关节变形 图4 截面与关节变形 Fig 4 Cross sectional and joint deformation 20 增刊1 王亚薇 等 温室番茄采摘机器人伸缩式机械臂设计与试验 L 1 一级臂长度 F 2 二级臂受到的力 L 2 二级臂长度 E 杨氏模量 I 1 一级臂截面惯性矩 由于两级伸缩结构存在 作用在二级臂上的力矩与 一级臂相关 一级臂固定点位于中点处 为方便计算将 其简化成简支梁集中力矩至连接点 F 1 0 64G L 2 HB B t H 2t L 2 2L 1 L 2 F 2 2L 2 2L 1 L 2 0 5L L 1 5 式中 L 三级臂长度 G 重力 伸缩臂密度 表2为已知参数 将已知参数代入式 4 可得总变 形量与截面参数关系式为 根据末端负载初步优化各级槽型宽度B 高度H 厚 度t以最小化末端变形量 576 2Bt tH 2t 2 20 8 1 725 10 10 BH 3 B t H 2t 3 6 4 7 065 6 10 9 BH 3 B t H 2t 3 6 在Matlab中进行优化求解 将 关于t与B的图像在 Matlab中进行绘制 根据图5a可知截面的厚度与宽度对 末端的挠度都会产生较大的影响 其结果并非是正相关 的 因此选取挠度在0 5 mm范围内的B t作为设计初 值 编写Matlab程序求出在当前挠度范围内的质量最小 值 结果如图5b所示 根据计算结果即可得到二级臂尺寸参数 如表3所 示 其截面宽度与高度选取0 065 m 厚度选取0 003 m 三级臂尺寸参数为二级臂0 8倍 其宽度与高度选取为 0 050 m 厚度也保持不变 基座关节同样按照0 8倍标 准进行计算 截面宽度与高度为0 085 m 厚度为0 004 m 一 二 三级臂长度分别为0 5 0 4 0 4 m 1 3 三自由度末端执行器设计 采摘机器人末端执行器是机器人提高工作效率和 采摘成功率的关键 HOHIMER等 27 设计了一款气动 式柔性末端执行器 能够有效避免水果损伤 分离成功 率达到67 为了使末端执行器适应不同水果 LU 等 28 设计了3种不同几何形状的末端执行器 并实验发 现直型末端执行器性能最好 采摘成功率最高 三指抓 取的末端执行器可以减少果实损伤率 适应不同大小和 形状果实 29 30 无损抓取目标果实是农业采摘机器人推广应用的 关键之一 采摘机械臂抓取的对象是果实 因此末端执 行器既要满足不损伤采摘对象也要在采摘过程中牢牢 抓住果实 即使是标准化种植的番茄 其果实的生长姿 态也各不相同 水平靠近进行抓取时抓手受力不同 受 力大的地方很容易在成熟的番茄内部产生瘀伤 最终导 致整个番茄的溃烂 通过对番茄果实生长姿态进行识 别 设计姿态可调的末端执行器沿果实生长方向进行抓 取采摘 能够有效减少抓取过程中各手指之间的受力不 均 同时 番茄果梗连接较硬 姿态可调的末端执行器 在抓取过程中可以沿果柄垂直方向进行旋转 更加有利 于果实的脱落 也不会对果实造成过大的损伤 因此 采用一种三自由度腕关节末端执行器 图6 采用3个 舵机串联方式实现腕关节三自由度采摘姿态变化 使采 摘末端手能够实现大幅度的姿态调整 以适应识别到的 各种果实采摘姿态来提高果实的采摘成功率 在具体 的采摘过程中 可以根据相机获得的果实的位置线由机 械臂将腕关节末端执行器送达果实预采摘点附近 再根 据获得的果实姿态进行腕关节姿态调整实施采摘 具有 结构紧凑和灵活的优点 三指节驱动绳的连接方式种类较多 采用并联的连 表2 伸缩关节参数 Tab 2 Parameters of telescopic joint 参数 数值 g m s 2 9 8 kg m 3 2700 L 1 mm 400 L 2 mm 400 L mm 500 F 2 N 20 E GPa 69 a 变形量关于厚度和宽度的响应面 b 质量关于厚度与宽度的响应面 图5 变形量与质量关系曲面 Fig 5 Deformation mass relationship 表3 二级臂参数计算结果 Tab 3 Calculated results 参数 数值 B m 0 063 8 T m 0 002 6 M g 716 379 6 m 0 502 7 21 农 业 机 械 学 报 2 0 2 4年 接方式 其绳子在长时间运行后易磨损 且并联方式三 指节只能同步运行 因此 本文设计了一种单绳串联的 方式 一根尼龙绳连接3个指节与驱动器 每个指节相互 连接 同时又存在有一定的运动余量 如图7b所示 当 红色起点与绿色终点环绕一圈后拉紧 驱动绳将自动汇 集于汇集点并保持形状 各个指节件相互独立且具有一 定的连接 图8为优化设计的末端夹爪实物图 通过固 定在驱动电机的旋转带动绳索的运动以控制3个指节的 抓取和松开 夹爪闭合由驱动舵机进行控制 采用扭簧使夹爪在 张开夹爪后自动复位 保证了末端夹爪开口大小与开口 的一致性 1 4 底盘设计 在底盘结构设计方面 传统的前转后驱阿克曼转向 底盘转弯半径较大 难以在狭窄的温室大棚内实现转 向 换垄等操作 考虑到大棚番茄空间狭窄 采用四轮 独转独驱的动力系统 提高行走 转向控制的灵活性 也 减小转向半径 通过调研宽沟窄畦栽培模式种植农艺 实地测量垄宽 垄间距 种植高度等农艺参数 确定移动 底盘的基本尺寸大小 整个底盘系统主要由轮组 电池 组 控制系统组成 一个轮组通过两个电机分别控制轮 子的前进和转向 8个伺服电机支持每个轮组独立高精 度控制 实现底盘运动自由 运动灵活 承载力强等特 点 底盘结构如图9a所示 控制系统分别集成在车头和 车尾部分 电池组模块集成在整个底盘底部中间位置 便于给整个机器人其余系统供电 在底盘上预留多排 安装孔位 以便之后二次开发和升级 轮组结构如图9b 所示 采用模块化设计 通过旋转平台的安装孔位将轮 组和底盘连接 这种一体式的模块化设计便于整个轮 组拆卸 更换和维护 机器人底盘尺寸为1 000 mm 600 mm 400 mm 轮距为550 mm 车体仅为120 kg 该 底盘采用三元锂电池进行驱动 装配4个型号为 MD60AIS113的驱动电机和4个MD57AIS77的转向电 机 可以实现四轮独立驱动和转向的功能 同时配有自 主刹车和防撞杆 适用于宽沟窄畦种植模式下狭小 环境 为了满足不同地形及工作环境下的灵活需求 设计 多种转向模式 图10 斜向行驶模式提升横向移动稳 定性 原地转向模式方便窄距果园掉头 四轮转向模式 实现减小转弯半径 原地转向模式根据4个转向轮组均 可360 转动 根据底盘轮组至整体质心距离计算轮组转 动至轮胎轴线的延长线交叉于底盘的几何中心 即可实 现原地转向 2 采摘机器人视觉与控制系统设计 2 1 视觉识别与定位系统 温室番茄多呈簇状生长 每串数量为3 5个 果实 生长密集且彼此相互粘连 不同果实的生长姿态千变万 化 基于番茄的生长特性 本文基于卷积神经网络和点 云处理技术实现设施温室种植模式下番茄果实的识别 与检测 具体过程包括图像采集 番茄目标检测 RGB D 信息融合和点云处理获取番茄果实位姿 图11 图6 三自由度采摘末端执行器 Fig 6 Three degree of freedom picking end effector a 并联型 b 串联型 图7 多指节驱动绳连接方式 Fig 7 Multi knuckle drive rope connection 图8 多指节夹爪 Fig 8 Multi jointed jaws a 底盘装配轴测图 b 独立模块轮组 图9 底盘结构图 Fig 9 Chassis structure diagrams 图10 不同转向模式示意图 Fig 10 Schematic of different steering modes 22 增刊1 王亚薇 等 温室番茄采摘机器人伸缩式机械臂设计与试验 2 1 1 数据集构建 Realsense L515相机配备有RGB传感器和深度传感 器 可以获取到高质量的彩色和深度图像 用于后续的 图像处理和特征提取 最终实现目标识别和定位 设施 温室番茄的种植环境复杂 果实生长密集 同簇果实的 成熟度不同 面临着识别难的问题 番茄采摘机器人需 要实现在一个深度模型中完成果实三维位姿和障碍物 快速准确识别 为了提高果实位姿识别精度 本文构建 了复杂温室背景下关键点和语义分割数据集 如图12所 示 图12a为原始图像 图12b为制作的用关键点和边 界框标注的关键点数据集 图12c为标注主茎掩模的语 义分割数据集 图12d为最终获得的掩模标签 其中 若 番茄花萼可见 花萼中心被标记为关键点 若因番茄姿 态花萼不可见 关键点标记花萼与果轴交界处 若花萼 或交界处因遮挡不可见 则不标记关键点 由于机器人 与番茄植株的主茎碰撞容易导致采摘失败 并对机械臂 造成损坏 因此本文将番茄植株的主茎进行分割 制作 为语义分割数据集 2 1 2 多任务卷积神经网络 番茄果实识别与检测是采摘机器人视觉系统中的 关键部分 本文对复杂环境下的番茄目标位姿识别展 开了研究 提出了一种多任务卷积神经网络 它可以在 一个网络模型中同时完成番茄位姿检测和茎秆语义分 割 实现采摘场景信息表征 通过融合多尺度特征并确 定语义分割分支位置 提出4种语义分割分支添加策略 提高茎秆分割能力 番茄果实识别算法采用端到端多任务卷积神经网 络同时完成语义分割 目标定位和关键点检测任务 算 法基于YOLO v5s网络进行改进 增加语义分割分支 目 标检测和语义分割共享主干网络 并在边界框回归中加 入关键点预测参数 YOLO MCNN架构如图13所示 相比级联两个网络 此方法减少冗余计算 但带来 两个问题 语义分割分支在网络中的哪一个位置进行添 加能达到最佳效果 在同一个骨干网络上执行多个任务 是否会影响网络的准确性 语义分割通过下采样提取 目标特征以增大感受野 并通过上采样恢复图像分辨率 便于分类 不同的语义分割策略如图14所示 YOLO v5s主干网络对图像进行了5次下采样 C1 C5 分辨率 为原图的1 32 第1次下采样通过Focus模块 接下来4 次通过Conv模块 Neck部分完成了2次上采样 将分辨 率恢复到1 8 特征融合能够合并详细特征并增大感受 野 浅层特征图适合检测小目标 深度特征图适合检测 大目标 YOLO v5s仅融合了C3和C4级别的特征 由 于茎是小目标 融合浅层C2特征有利于提高分割能力 但增加计算量 YOLO v5s的上采样达到原图的1 8 添 加语义分割的最佳位置是第16层Concat层或第17层C3 模块 簇生番茄多任务卷积神经网络可视化结果如 图15所示 2 1 3 点云处理 点云处理模块由6部分组成 点云分割 体素下采 样 去除异常值 欧氏颜色聚类 RANSAC球面拟合 关 键点索引 通过点云将获得番茄质心的3D位置和关键 点的3D位置 可用于确定番茄果实的3D姿态 本文采用深度相机实时获取采摘环境的彩色图信 息和深度图信息 将彩色图和深度图像生成点云图像进 行分割处理 经过训练 输入一幅彩色图模型会输出番 茄目标边界框和果实关键点 将边界框 关键点的二维 信息映射到点云图上分割出番茄果实目标 达到减少点 云数量的目的 从而加快点云处理时间 由于番茄果实 形状为扁球型 花萼部分点云对RANSAC球拟合番茄果 图11 番茄果实识别与检测技术路线图 Fig 11 Technical route of tomato fruit identification and detection 图12 番茄数据集制作过程 Fig 12 Tomato dataset produced process 23 农 业 机 械 学 报 2 0 2 4年 实点云获取质心具有一定不利影响 番茄果实和花萼 在颜色上有较大差距 通过颜色欧氏聚类可以将花萼 与番茄果实分开 番茄果实点云去除花萼部分后更加 类似球形 有利于获取更加准确的扁球体果实质心 深 度模型提供的关键点为二维点 需要在点云图像中进行 点云配准 但相机本身获取的点云容易缺失 所以需要 进行关键点索引 索引到的关键点三维位置和 RANSAC球拟合得到的番茄果实质心三维位置进行连 接 最终获取到番茄果实位姿 点云处理过程的可视化 结果如图16所示 2 2 控制系统设计 2 2 1 机械臂控制与仿真 为了充分发挥机器人的综合性能 实现高效的采摘 作业 采摘机器人的机械本体结构及其控制系统的匹配 图14 不同的语义分割分支策略 Fig 14 Different branching strategies for semantic segmentation 图13 多任务卷积神经网络架构 Fig 13 Multi task convolutional neural network architecture 图15 簇生番茄多任务卷积神经网络可视化 Fig 15 Multi task convolutional neural network visualization of cluster tomatoes 24 增刊1 王亚薇 等 温室番茄采摘机器人伸缩式机械臂设计与试验 设计显得尤为关键 目前 机械臂控制系统主要依赖于 4种核心技术方案 基于PC的控制解决方案 嵌入式系 统方案 结合工控机与数据采集卡及运动控制器的高级 方案 以及可靠的PLC控制系统 现有的几种机械臂控 制系统大都只能根据给定的姿态进行重复的操作 难以 实现自主规划的功能 而且 采摘机械臂的构型也多种 多样 各个机械臂的系统也各不相同 很难通用 即使是 同一种类型的机械臂控制系统 也会因为软件的迭代更 新而产生冲突 传统的机械臂控制器难以进行二次开 发 ROS在机械臂控制的可移植性与通用性上具有很 大优势 内部具有机械臂运动规划功能 能够快速的进 行软件的开发 同时还具有多个中调试与仿真工具 对 于复杂的采摘运动规划具有非常大的优势 因此 机械 臂控制系统由基于PC端上位机软件 ROS 集成 上位机需要处理复杂算法 采集并长期存储数据 还需要提供图形化界面供用户操作 本文采用的上位 机硬件是基于Ubuntu系统的个人计算机 配备有高性能 的CPU 较大的内存和存储空间 作为控制系统中的核 心部分 上位机与下位机之间可以通过各种通信接口进 行数据交换 本文采用RS485串行端口的Modbus工业 通信协议以实现与下位机的互联互通 上位机配有 Windows 10和Ubuntu 20 04两个系统 首先在Windows 系统下对控制机械臂和夹爪的电机及舵机进行调试安 装 确定机械臂和夹爪的初始位置 保证Windows下机 械臂与上位机之间的通讯顺畅 机械臂的自动运动控 制主要是在上位机的Ubuntu系统下进行 借助MoveIt 在Rviz仿真环境下进行仿真测试 图17 并实现真实机 械臂运动控制 将机械臂和夹爪的Solidworks模型导出配置成 URDF模型 使用MoveIt 中的Setup Assistant工具生成 配置文件并建立机器人ROS驱动 最终控制机器人进行 自动采摘 相机获取到的图像经过视觉识别定位后得到 采摘目标位置信息 在MoveIt 中完成运动规划并将关 节轨迹发送到控制器中 电机驱动机械臂到达采摘位置 在这个过程中控制器将机械臂的实时状态反馈到 MoveIt 中 Rviz动态显示当前状态 机械臂的采摘控制 系统集成在ROS系统中 节点之间的通讯如图18所示 2 2 2 底盘控制系统 设计的四转四驱底盘通过Modbus控制8个电机 实现底盘的运动 8个电机均可单独进行运动控制 其 中4个转向电机采用位置控制 保证其转向时 电机驱 动整体轮组转动角度的精确性 4个驱动电机采用速 度控制 跟踪其速度变化设计模糊PID控制器 减小机 器人速度误差 图19为底盘软件功能逻辑主要 架构 图16 三维姿态检测可视化过程 Fig 16 Visualisation of 3D pose detection 图17 Rviz仿真环境 Fig 17 Rviz simulation environment 图18 ROS系统节点架构 Fig 18 ROS system node architecture 25 农 业 机 械 学 报 2 0 2 4年 底盘控制的方式包括遥控模式和上位机模式 遥 控模式下通过高低电平转换模块将接收到的不同遥控 器信号转换为核心板所能识别的电平信号 执行运动控 制指令 上位机控制模式下采用TCP通讯 执行控制指 令的人机交互界面如图20所示 底盘各轮组独立控制并 会将该模块的负载信息传递至上位机 实现操作人员对 底盘状态的实时监控 本文设计的底盘采用4个独立的轮组经由4个独立 的转向电机带动转向 其几何中心运动速度方向与前轮 组转动角度相同 基于模糊PID控制将底盘横向速度 纵向速度 转动角度误差量和误差变化率作为输入量 由制定的模糊规则经过模糊化 模糊推理和解模糊输出 相应的PID 3个比例修正参数 对整体控制增益进行实 时调参 解决了传统PID不能实时调整的缺点 3 番茄采摘试验 3 1 试验平台 搭建了果园环境下机器人样机试验平台 如图21所 示 并进行了番茄采摘的试验 果实采摘测试的目的是 评估机械臂在采摘水果时的表现 除了对成功或失败的 收获进行评分外 该测试还应测量完成采摘任务所花费 的时间 在进行试验测试时 环境适应性 识别精度 采 摘效率 机械臂工作空间 导航系统和用户交互便利性 是测试时的关键 本文使用采摘成功率P 1 采摘时间t作为主要指标 来评估采摘机器人的性能 分别表征采摘精度 速度 采摘成功率是指机械手在一定的次数内果实成功采收 的概率 采摘时间是指从相机视觉定位开始到成功采 集果实放置到采集筐并开始下一次视觉定位时的总 时间 如图22所示 采摘过程中有4个状态 Home为初始 状态 在识别到果实后机械臂切换状态 进入靠近果实 状态 机械臂运动至目标点 再次识别定位果实位置 进入采摘状态 机械臂抓取果实 抓取成功后进入返回 状态 机械臂运行至放置点 完成放置任务后机械臂回 到初始状态 完成一次循环 多个果实采摘进行多次 循环 遇到特殊情况时由状态机切换机械臂运行状态 将复杂的问题进行分解 方便调试与控制 图19 底盘软件功能主要架构 Fig 19 Main structure of chassis software functions 图20 上位机控制界面 Fig 20 Upper computer control interface 图21 番茄采摘机器人样机 Fig 21 Tomato picking robot prototype 26 增刊1 王亚薇 等 温室番茄采摘机器人伸缩式机械臂设计与试验 3 2 采摘试验结果与分析 机械臂运动流程包括接近目标 抓取果实 扭转采 摘 移至收集点 打开夹爪 移至等待点等流程 以采摘 第1个番茄目标为例 机械臂需要进行初始化位置来规范 机械臂的后续控制 当机械臂