日光温室番茄采摘机器人设计.pdf

农业机械学报 Transactions of the Chinese Society for Agricultural Machinery ISSN 1000 1298 CN 11 1964 S 农业机械学报 网络首发论文 题目 日光温室番茄采摘机器人设计 作者 于丰华 周传琦 杨鑫 郭忠辉 陈春玲 收稿日期 2021 07 21 网络首发日期 2021 10 28 引用格式 于丰华 周传琦 杨鑫 郭忠辉 陈春玲 日光温室番茄采摘机器人设计 J OL 农业机械学报 网络首发 在编辑部工作流程中 稿件从录用到出版要经历录用定稿 排版定稿 整期汇编定稿等阶 段 录用定稿指内容已经确定 且通过同行评议 主编终审同意刊用的稿件 排版定稿指录用定稿按照期 刊特定版式 包括网络呈现版式 排版后的稿件 可暂不确定出版年 卷 期和页码 整期汇编定稿指出 版年 卷 期 页码均已确定的印刷或数字出版的整期汇编稿件 录用定稿网络首发稿件内容必须符合 出 版管理条例 和 期刊出版管理规定 的有关规定 学术研究成果具有创新性 科学性和先进性 符合编 辑部对刊文的录用要求 不存在学术不端行为及其他侵权行为 稿件内容应基本符合国家有关书刊编辑 出版的技术标准 正确使用和统一规范语言文字 符号 数字 外文字母 法定计量单位及地图标注等 为确保录用定稿网络首发的严肃性 录用定稿一经发布 不得修改论文题目 作者 机构名称和学术内容 只可基于编辑规范进行少量文字的修改 出版确认 纸质期刊编辑部通过与 中国学术期刊 光盘版 电子杂志社有限公司签约 在 中国 学术期刊 网络版 出版传播平台上创办与纸质期刊内容一致的网络版 以单篇或整期出版形式 在印刷 出版之前刊发论文的录用定稿 排版定稿 整期汇编定稿 因为 中国学术期刊 网络版 是国家新闻出 版广电总局批准的网络连续型出版物 ISSN 2096 4188 CN 11 6037 Z 所以签约期刊的网络版上网络首 发论文视为正式出版 收稿日期 2021 07 21修回日期 2021 09 25 基金项目 科技部重点研发计划政府间合作项目 2019YFE0197700 作者简介 于丰华 1989 男 沈阳农业大学讲师 博士 主要从事智慧农业研究 E mail adan 通信作者 陈春玲 1971 女 沈阳农业大学教授 博士 主要从事智慧农业研究 E mail chenchunling 日光温室番茄采摘机器人设计 于丰华 1 2 周传琦 1 杨鑫 1 郭忠辉 1 陈春玲 1 2 1 沈阳农业大学信息与电气工程学院 沈阳 110866 2 辽宁省农业信息化工程技术 研究 中心 沈阳 110866 摘 要 针对 目前 日光温室中 番茄 采摘 主要靠人工 费 力 费时 的问题 设计 并制作了 一 种 可以应用于 日光温室 的番茄采摘 机器人 该机器人能够在 大棚垄道间巡检并 自动识别 成熟 番茄 并 完成采摘 收集 本设计 以 STM32微控制器为 主 控制器 使用麦克纳姆轮全向移动平台作为 机器人 的 移动 底盘 采用由 Raspberry Pi 4B控制器驱动的深度相机 作为成熟番茄的识别装 置 底盘上平台安装风力补偿风机 可水平滑动的 6 自由度机械臂 机械臂搭载了附有薄膜压力传感器的柔性手爪 整个上 平台由安装在底盘下平台的垂直升降机 构驱动 滑动机构和升降机构均配有测距传感器 通过 Raspberry Pi 4B所驱动 的摄像 头 识别与捕捉 再 通过串行总线将成熟番茄的坐标数据传输至 STM32 控制器 STM32 控制器通过机械臂逆运动学分析驱动 机械臂 滑轨与升降平台的联合动作 配合机械臂末端关节 动作 即可 实现番茄采摘 底盘 配合 OpenMV巡线摄像头识别地 面预 先制作好的定位线 即可实现在大棚内不间断巡检与采摘成熟番茄 关键词 日光 温室 番茄 采摘机器人 机械臂 R FCN目标检测网络 移动小车 中图分类号 S225 93 文献标识码 A OSID Design of Tomato Picking Robot in Solar Greenhouse YU Fenghua1 2 ZHOU Chuanqi1 YANG Xin1 GUO Zhonghui1 CHEN Chunling1 2 1 College of Information and Electrical Engineering Shenyang Agricultural University Shenyang 110866 China 2 Liaoning Agricultural Information Engineering Technology Research Center Shenyang 110866 China Abstract With the popularization and development of solar greenhouse in recent years more and more crops began to be planted in solar greenhouse At present in the greenhouse garden picking tomatoes mainly relys on fruit farmers to complete manually which not only consumes a lot of manpower but also wastes a lot of time Taking tomato as an example a tomato picking robot was designed which can be applied to solar greenhouse garden patrol between greenhouse and ridge road and automatically identify ripe tomato in real time and complete picking and collecting after identifying successful tomato STM32 microcontroller was the main core of this design The Mecanum wheel omni directional mobile platform was used as the mobile chassis of the robot and the depth camera driven by Raspberry Pi 4B controller was used as the recognition device of mature tomatoes The platform on the chassis was equipped with a wind compensation fan and a 6 DOF horizontal sliding mechanical arm The arm was equipped with a flexible grip attached to a thin film pressure sensor The whole upper platform was driven by the vertical lifting structure installed on the platform under the chassis The sliding mechanism and the lifting mechanism were equipped with ranging sensors Through the recognition and capture of the camera driven by Raspberry Pi 4B the coordinate data of the ripe tomato was transmitted to the STM32 controller through the serial bus The STM32 controller drove the joint action of the mechanical arm slide rail and lifting platform through inverse kinematics analysis of the mechanical arm and can pick tomatoes at different heights and depths with the action of the end joint of the mechanical arm The chassis was equipped with OpenMV line patrol camera to recognize the positioning line made in advance on the ground so that continuous inspection and picking of ripe tomatoes in the greenhouse can be realized This work can greatly liberate manpower save a lot of time for fruit farmers and also provide an idea and scheme for tomato picking in closed areas Key words solar greenhouse tomato picking robot robotic arm R FCN target detection network mobile car 网络首发时间 2021 10 28 10 16 55 网络首发地址 0 引 言 温室生产在我国被誉为阳光工程 是我国 的 重 点在研项目 也是设施农业的重要组成 部分 1 2 但 设施农业是典型的劳动密集型产业 即使 在设施农 业领域拥有高度自动化作业的 发达国家 其作物 采 摘环节仍依赖大量人工来完成 3 4 人工采摘 费时费 力 实现 温室内部的 自动化采摘 已成为 当下设施农 业发展的主要 需求 随着电子信息技术 人工智能技术 图像识别 技术的逐渐成熟 日本 荷兰 英国 法国 美国 等 从上世纪 80年代中期 就 开展了 采摘机器人 研究 采 摘对象包括 苹果 芦笋 草莓 葡萄 甘蓝 黄瓜 番茄 蘑菇等 5 8 而 我国 对于农业采摘机器人的研究较晚 且目 前仍处于起步阶段 9 王顺沩 等 10 设计了一款通过 震动使果梗分离 通过 仿雨伞机构收集 果实 的 采摘 机械臂 但此机械臂会由于果梗柔韧性过大而发生 漏采现象 且在收集过程中无法避免果实间的碰撞 这将严重影响采摘覆盖率与果实品质 马廷辉 11 设 计了 四 自由度机械手 采用空间坐标转换进行运动 学分析 实现了强适应能力草莓采摘机器人的研制 但自由度 限制 了 机械臂灵活度 12 邵堃 13 通过将 采 摘机器人的 机械臂扩展到五自由度 在 9 个不同高 度和不同方向的 目 标点 采摘 中 最大距离偏差仅为 6 71mm 但其采用的履带式底盘由于 行驶速度慢 需要 大量的转向空间 等问题 无法在日光温室内运 行 此外 汤亚东 14 通过双目视觉 机械臂运动仿 真等构建了番茄采摘机器人样机 并完成了复杂环 境下的番茄采摘测试 但因其刚性抓手的使用导致 无伤采摘成功率仅为 76 3 王晓楠等 15 通过使用 真空吸附装置 柔性气囊装置 旋拧电机等 实现了 番茄的无 伤采摘 但是 由于枝干 叶片等会对识别 系统产生干扰 从而导致机器人的采摘精准度 下降 刘芳等 16 改进型多尺度 YOLO 算法 从不同 角度 不同 光照 强度 等环境下 对番茄 进行训练识别 朱明 秀 17 基于 K means聚类算法 配合卷积神经网络与 双目视觉技术 实现了采摘机器人的水果检测与定 位 胡慧明 18 使用双目视觉技术 为采摘机器人获 取了果蔬的三维坐标 为 温 室环境下的果蔬机器人 采摘奠定了基础 本研究以北方日光温室 中 的番茄为 采摘对象 设计并制作 一款适用于 日光温室 可以 巡检并 识别 采摘成熟番茄果实的移动机器人 1 采摘 机器人 系统 功能 设计 采摘机器人系统分为 底盘四轮驱动系统 采摘 系统 可升降 平台系统 图像识别系统 和风机系统 其中底盘驱动系统包括四颗麦克纳姆轮及其驱动电 机 底盘悬挂结构和 底部巡线摄像头等 采摘系统 包括柔性 手爪 和 滑轨型 机械臂 可升降上平台系统 包括驱动电机及上平台铝板 并 附有 机械臂滑轨和 图像识别系统 风机系统等 安装支架 目前 日光温室 内 机器人 常用的 作业方式有 地面自由移动式 悬挂导轨移动式 地面导轨移动 式 等 鉴于 日光温室 需要 对光能 的 直接 性 利 用 19 安装 悬挂 导轨会占用 大量 日光 温室内的上层 空间 这将严重影响日光温室的 透光率 导致对光能利用 率下降 地面导轨 的安装 占用温室 内 大量 种植 面积 影响土地利用率 且 不利于 后期大棚改造升级 故 本研究 采用了麦克纳姆轮地面 导轨 移动式机器人 作 业方式 麦克纳姆轮 四驱移动平 台相对于传统转向 机构移动平台更加灵活 通过控制各个轮系的转速 和方向即可组合出任意方向的移动 21 可以 在狭窄 的 温室 内不改变自身状态完成采摘任务 日光温室内的番茄主要采用 架棚 作床 20 的培 育模式 列式分布 垂直生长种植方式 番茄果实纵 向生长于植株上 故底盘的设计综合考虑了以上因 素 采用 摆式悬挂结构 此结构可以增加机器人的 地形适应能力 保证机器人行驶时底盘的贴地性 提升了行驶时底盘的稳定性与控制精确度 22 日光 温室番茄栽培模式如图 1所示 图 1 番茄栽培模式 Fig 1 Patterns of tomato cultivation 采摘机器人工作时 机械爪的作用是抓紧果实 以便进行果梗分离 23 24 考虑到 成熟 番茄 果实 表皮 的力学特性 25 机器人 采摘机构 采用 柔性手 爪 柔 性 手 爪 由 注塑工艺 的橡胶材质 制作 该柔性 手 爪采 用三指抓取 由 42步进电机 驱动 手 爪 动作部分 长 农 业 机 械 学 报 95mm 夹取直径为 10 120mm 抓取频率 小于 40次 min 相邻两指 可动 间距 1长 8 100mm 柔性 手 爪 总长 2为 152 5mm 驱动器安装部分 高度 3为 40mm 其结构图 如 图 2所示 图 2 柔性手爪 结构图 Fig 2 Structure diagram of flexible gripper 图 3 柔性手爪实物图 Fig 3 Physical picture of flexible gripper 1 薄膜压力传感器 2 抓手柔性手指 3 抓手驱动电机 此外 在抓手的内壁还 贴 有 如 图 3 所示的 薄膜 压力传感器 控制器可以 通过 与之连接的 AD 转换 电路 26 获得 抓手内部的压力数据 进一步精准 控制 番茄的采摘力度 从而 防止番茄因发生机械损伤而 导致的皱缩 品质降低 快速腐烂 27 等 薄膜压力 传感器的响应时间 小于 1ms 形变恢复时间 小于 15ms 可以工作在 20 60 的环境 中 测试中随机 读取 25 次柔性 手 爪 采摘番茄时 的压力传感器数据 绘制 曲线如 图 4所示 为了使机械臂摘取番茄的更为灵活 28 支 撑 手 爪 的机械臂 采用 6 自由度 设计 其中单个 关节 舵机 在 8 4V标准工作电压下 的 扭力为 52kg cm 机械臂 底座直径 1为 110mm 底座 高 2为 81 5mm 机械臂 第 1 段关节 长 3为 105mm 第 2 段关节 长 4为 77 5mm 第 3段关节 长 5 为 58mm 整体活动半径 为 513mm 且 经 过 分析与讨论黄国伟等 29 关于 番茄 果实与茎秆分离力的研究 确定了旋拧摘下的采摘 方案 并 设计了可以连续旋转 180 的 末端关节 由 此 在采摘动作方案的设计时便可使机械手在 0 时深入番茄植株中 在抓取稳定后的 0 8s内 末端 关节快速旋转 180 使 番茄 梗 与茎秆 呈 远离 90 角 的方向 受力 以 实现使用 最小的力 使 果实与茎秆 分离 手爪采摘示意图 如 图 5所示 图 4 采摘番茄的手爪压力变化曲线 Fig 4 Claw pressure change curve for picking tomatoes 图 5 采摘示意图 Fig 5 Picking diagram 1 柔性手爪 2 番茄 3 番茄果梗 4 手爪旋转方向 生长 过程 中 番茄 果实位置并 不 固定 成熟番 茄果实 容易 被四周枝叶所遮挡 导致 摄像头无法准 确判断甚至无法识别出成熟的番茄 因此 在上平 台添加了带有 二自由度云台的风力补偿装置 其装 置结构简图如 图 6a所示 当机器人在垄道间巡检过 程中 风力装置 向着机器人的预识别区域吹风 枝 叶被吹开后 即可使枝叶后面的成熟果实暴露于摄 像头视角下 实现被遮挡果实的识别 于丰华 等 日光温室番茄采摘机器人研制 考虑到番茄并不是处于固定高度 故设计时采 用 Z 轴 垂直于地平面的方向 升降结构 升降结 构采用丝杆控制 通过电机 转动带动上平台的升降 即可实现对不同高度番茄的采摘 且 相 对 于机器人 番茄生长的深度 番茄果实距离垄间 中 线的投影 不同 故在机器人上平台上安装一 由丝杆控制 的 可 水平移动的 X轴 水平面内垂直于机器人行进 方向 滑轨 结构 控制器通过 深度相机等传感器获取 的番 茄深度数据后 将自身坐标与机械臂坐标 通过 式中 机器人视觉坐标 系 视觉坐标 系 与机械臂坐标 系转换 关系 机器人机械臂坐标 系 换算 计算 得出 相较于丝杆平台中心位置的番茄深 度数据 通过 丝杆驱动 电机与测距传感器负反馈调 节的配合 使 机械臂运动到 正确的 位置后 手 爪 再 深入抓取番茄果实 Z 轴 X 轴 驱动 结构简图如 图 6a b所示 其中 X轴 Z轴结构 设计 参数如表 1所 示 表 1 底盘升降平台 结构硬件参数 Table 1 Hardware parameters of chassis lifting platform structure 参数 数值 X轴 长度 mm 580 X轴滑轨移速 mm s 1 18 X轴 丝杆直径 mm 8 X轴 电机扭矩 N m 1 0 31 Z轴长度 mm 970 Z轴升降 速度 mm s 1 36 Z轴丝杆直径 mm 12 Z轴电机扭矩 N m 1 2 3 a 上平台装置分布图 b Z轴升降结构简图 c 整体实物图 图 6 番茄采摘机器人 Fig 6 Picture of a tomato picking robot 1 滑块 2 测距传感器 3 机械臂底座 4 15 26 机械臂 5 23 果篮 6 摄像头支架 7 28 摄像头 8 丝杆 9 18 步进电机 10 风扇 11 机器人底盘上平台 12 二自由度云台 13 机器人底盘下平台 14 机器人底盘上平台 16 丝杆 17 车轮 19 测距传感器 20 麦克纳姆轮 21 摆式悬挂地盘 22 上平台 24 水平导轨 25 风机 27 柔性 手 爪 29 升降 驱动轴 30 巡线相机 2 采摘机器人系统 软 件 设计 手 眼 协调是体现果蔬采摘机器人自主采摘作 业的关键 30 根据相机的安装位置 机器人视觉系 统可分为 Eye to Hand型和 Eye in Hand型 31 其中 Eye to Hand 型 是将相机安装在机器人本体以外的 某个地方 并 固定不动 Eye in Hand型则 是将相机 固定在机器人手臂上 并随机器人手臂一起运动 32 温室大棚高度限制 番茄植株的垂直生长方向 番 茄果实相对过小等成为限制 Eye to Hand 型在温室 内作业的主要因素 在考虑 Eye in Hand型 时 由 于 机械臂处于运动状态 这就导致摄像头的位置也在 实时变化 这样 系统的运算量 就会 十分 巨大 而 单 片机等微 控制器 并不能 满足系统实时控制的 需求 综上 最终决定将相机放置于可升降上平台并固定 这样在 如 图 7b所示 上平台的 笛卡尔坐标系下 设 坐 标系 XYZ 的原点 为 0 0 0 机械臂坐标系 原点 为 相机 坐 标 系 原点 为 设偏移矩阵 农 业 机 械 学 报 T 则 1 且易知 2 式中 偏移矩阵中 相机 坐标原点与 机械 臂坐 标 原点在 图 7aX轴 方向 的距离差值 偏移矩阵 中 相机 坐标原点与 机械 臂坐标 原点在 图 7aY轴 方向的距离差值 偏移矩阵中 相机 坐标原点与 机械 臂坐标 原点在 图 7aZ轴方向的距离差值 实际测量 相机 坐标原点与 机械臂 坐标 原点在 图 7aX方向的距离差值 实际测量 相机 坐标原点与 小车 原 点在 图 7aZ方向的距离差值 实际测量 相机 坐标原点与机械臂 坐标原点在 图 7aY方向的距离差值 实际测量 小车 原点与 运动中的 机 械臂坐标原点在 图 7aZ方向的距离差值 a 机械臂与摄像头位置示意图 图 a Schematic diagram of the position of the robotic arm and the camera b 整体坐标系系示意图 b Schematic diagram of the global coordinate system 图 7 上平台坐标系示意图 Fig 7 Schematic diagram of the upper platform coordinate system 1 机械 手 爪 2 风机 3 二自由度云台 4 水平导轨 5 可升降上平台 6 摄像头 采用 图漾 FM810 HD 型 深度相机 配合 Raspberry Pi 4B 使用 此 外 在相机和机器人上平 台连接处采用 减震球连接 这样可以使相机在 底 盘 遇到震动时保持平稳 减少番茄位置信息的误报 提升采摘准确度 摄像头 摆放位置如 图 6a所示 番茄识别主要由基于 RGB 图像的目标检测以 及 图像 数据 处理 两部分构成 获取到的 RGB图像经 过 R FCN目标检测网络 计算出番茄所在的矩形框 然后将深度信息与目标检测产生 的二维信息融合 最终计算出番茄的点云中心位置 整体算法流程图 如 图 8所示 图 8 图像算法流程图 Fig 8 Flowchart of image algorithm R FCN卷积神经网络主要由 网络 卷积神经网络 ResNet101 RPN 网络 ROI pooling 层以及最后的 投票决策层 构 成 其结构如图 9 所示 图像 输入之 后 经过卷积层 ResNet进行特征提取后 传 给区域建 议网络 RPN 经过计算之后生成候选区 将候选区 加入位置特征 之后进入池化层和分类层 从而得 于丰华 等 日光温室番茄采摘机器人研制 到番茄的具体位置 R FCN算法主要采用 ResNet网 络和 RPN区域建议网络来进行训练 ResNet的具体 结构如表 2所示 RPN区域建议网络的结构为一个 3 3的卷积核 边界填充 为 1 滑动步长 为 1的 512 个卷积核组成的卷积层 R FCN处理速度 在大量实 验中相比 FasterRCNN更快 33 35 图 9 R FCN卷积神经网络结构图 Fig 9 Structure diagram of R FCN convolutional neural network 表 2 ResNet结构参数 Table 2 ResNet structure parameters 卷积层 输出尺寸 卷积层 卷积层 卷积层 卷积层 卷积层 conv1 112 112 7 7 64 步长 2 conv2 x 56 56 3 3 池化层 步长 2 3 3 643 3 64 2 3 3 643 3 64 3 1 1 64 3 3 64 1 1 256 3 1 1 64 3 3 64 1 1 256 3 1 1 64 3 3 64 1 1 256 3 conv3 x 28 28 3 3 1283 3 128 2 3 3 1283 3 128 4 1 1 128 3 3 128 1 1 512 4 1 1 128 3 3 128 1 1 512 4 1 1 128 3 3 128 1 1 512 8 conv4 x 14 14 3 3 2563 3 256 2 3 3 2563 3 256 6 1 1 256 3 3 256 1 1 1024 6 1 1 256 3 3 256 1 1 1024 23 1 1 256 3 3 256 1 1 1024 36 conv5 x 7 7 3 3 5123 3 512 2 3 3 5123 3 512 3 1 1 512 3 3 512 1 1 2048 3 1 1 128 3 3 128 1 1 2048 3 1 1 512 3 3 512 1 1 2048 3 1 1 均值采样 1000个分类的全连接层 浮点运算次数 s 1 8 109 3 6 109 3 8 109 7 6 109 11 3 109 首 先将预先拍摄好的番茄 图像 标注后 按 4 1分为 训练集 与 测试集 输入 R FNC目标检测网络 训练模型 并 转化为 NCNN 腾讯开源的移动端神 经网络模型 轻量级神经网络框架 部署在 Raspberry Pi 4B中 通过双目红外 RGBD深度 相机 获取图像 以相机为坐标系构建点云地图 将三维 点云信息经过多平面分割 聚类等算法过滤 在将 三维点云信息反投影到二维坐标 并与检测到 的 番 茄关键帧对应 的 二维信息匹配 从而得到目标番茄 对应的三维包围框 计算三维包围框的中心 作为 番茄的中心点 图 10为番茄识别结果 图 10 番茄识别结果图 Fig 10 Graph of tomato identification results 传统的采摘机器人 多自由度 机械臂运动采用 微 分插补法 36 坐标逆运动学分析 37 等 通过摄像头 等传感器得到目标的坐标 朝向角等信息 控制器 通过 采集到的 数据解算 出各个关节的转角 再通过 控制器 的 脉宽调制 技术 产生 控制信号驱动 机械臂 旋 转 把 末端执行器 以正确的角度送达指定位置 以完 成采摘任务 但是由于番茄等作物的生长方式较为 农 业 机 械 学 报 固定 即由于重力作用 均向地心方向生长 所以 如 图 11 所示的机械臂模型的末端执行器所连接的关 节 DE 始终保持与地面平行即可 即末端执行器倾 角 始终为 0 则机械臂进行逆运动学分析的过程 中 便可直接作为已知条件带入 大大减轻了控制器 的运算强度 此 外 由于考虑到机械臂过长 关节 B 所承受力的问题 系统在设计过程中将 BC 臂与水 平面的夹角 3固定为 45 其他 关节 不做限制 经 过理论分析满足 3 cos 3 4 cos 3 4 5 cos 3 4 5 2 2 3 式中 上平台滑轨可移动距离 大棚内供机器人行驶的垄间距 3 机械臂第 1段关节 长度 4 机械臂 第 2段关节 长度 5 机械臂 第 3段关节长 度 2 柔性 手 爪 总长 度 3 机械臂第 1段 关节 与水平面夹角 4 机械臂第 2段 关节 与第 1段 关节 夹角 5 机械臂第 3段 关节 与第 2段 关节 夹角 图 11 采摘机械臂关节结构简图 Fig 11 Schematic diagram of the joint structure of the picking manipulator 在 3与 都已知的情况下 对于 执行器 将 运动 到 的番茄 目标点 坐标信息 通过机械臂 逆运动学解算 分析与化简 将番茄相对于机械臂 原 点 的高度 信 息 分 为 如下 4 个 阶 段 1 3sin 3 4cos 3 4 3sin 3 4cos 3 2 3sin 3 4cos 3 5 3sin 3 4cos 3 3 3sin 3 4 6 3sin 3 4 4 7 由此 得 番茄果实 在不同高度 段下的 深度信息 为 3cos 3 4sin 3 5 1 3 4 cos 3 5 2 3cos 3 4cos 3 4 5 3 3cos 3 5 4 8 机械臂各关节转角 为 4 90 1 135 180 arccos 3 sin 3 4 2 45 180 arccos 3 sin 3 4 3 45 4 9 5 45 1 90 4 2 4 3 3 90 4 10 且易知 机械手末端坐标即为番茄坐标 故 Arm tmo 11 Arm tmo 12 最终将机械臂逆运动学计算过程与式 1 2 式 4 12 写入控制器中 机器人即可 根据摄像头识 别到的番茄坐标信息 完成采摘动作 3 实验结果与分析 3 1 实验方法 实验于 2021 年 4 月 在沈阳农业大学后山科研 基地 21 22号 日光温室中 进行 温室 长 60m 宽 10m 温室内种植 28 行番茄 行与行垄间距 1 2m 番茄 植株平均高度 1 9m 番茄在植株上的分布范围为 0 6 1 5m 垄道间铺有防止土壤 水分蒸发的塑料布 首先将 温室 地面铺设 成 如 图 12所示 效果 将机 器人放置于正确位置 将果蔬收集 筐 置于 机器人上 平台后 系统开机运行 机器人 巡检 过程中记录每次 采摘状态 采摘效 果等 在单次测试完成后导出 每次 相机 识别坐标与 机械臂关节运动角度等 随机抽取当天所采番茄约 20颗 在室内 无光照 约 26 环境下观察其表皮 褐变情况与果实腐烂 程度 并与人工采摘番茄 对比 现场 实验 图如 图 13所示 图 12 温室 内定位胶带布线效果图 Fig 12 The effect diagram of positioning tape wiring in the greenhouse 1 番茄种植区 2 机器人行驶区 3 定位线 4 机器人 5 日光温室 图 13 现场实验图 Fig 13 Field experiment diagram 1 果篮 2 升降平台 3 滑轨 4 定位线 5 风机 6 摄像头 7 机械臂 8 柔性 手 爪 3 2 实验结果 番茄采摘机器人 实验 数据如表 3 所示 控制器 芯片导出数据经整理 得 采摘 过程 部分 坐标信息如表 4 所示 经 1 4 周观察 与统计 番茄 的表皮褐变与 腐烂情况如表 5所示 对表内数据进行分析 综上所述 通过机器与人工采摘果实质量对比 可 知 采摘机器人在一定程度上不会 对果实产生较 大 损伤 其产生 的损伤 也在可接受范围内 此外 尽 管机械 手 爪 与 定位 坐标仅有 2cm以内的误差 但是 在测试过程中如图 14a 所示的采摘偏差仍不可 忽略 图 14b所示 未完全采摘 状况也 尚未 解决 a 存在误差的采摘 情况 b 未 完全采摘 图 14 不良 采摘状况 Fig 14 Bad picking condition 1 手 爪 2 果梗 表 3 机器人采摘效果数据 Table 3 Data sheet of robot picking effect 参数 数 值 成功识别的成熟番茄数量 412 未能成功识别的成熟番茄 数量 34 风力补偿装置辅助后识别 的番茄数量 12 未成熟番茄的误识别数量 0 机械臂预采摘成熟番茄数量 408 农 业 机 械 学 报 成熟番茄一次采摘成功的数量 352 成熟番茄二次采摘成功的数量 392 表 4 采摘过程信息 数据表 Table 4 Picking process information data sheet 相机视角番茄坐标 mm 手 爪 坐标 mm X轴丝杆移动距离 mm 3 837 296 0 786 58 226 0 541 371 0 575 117 241 4 461 373 0 508 74 287 2 945 432 0 916 149 277 4 752 426 0 695 145 267 1 605 335 0 671 87 260 1 390 453 0 375 152 312 2 466 290 0 484 64 234 4 660 395 0 686 152 258 2 582 347 0 571 77 286 2 767 347 0 852 72 292 1 632 402 0 643 148 265 1 608 416 0 717 114 291 3 711 461 0 701 171 278 2 928 452 0 967 184 253 4 947 393 0 901 90 319 3 911 353 0 843 83 277 2 911 418 0 933 179 232 1 425 469 0 521 158 317 3 881 379 0 925 154 231 4 584 423 0 679 127 284 2 302 415 0 379 119 311 4 882 385 0 786 162 216 2 585 341 0 677 91 239 3 418 414 0 396 127 301 表 5 番茄 状态数据 Table 5 Pomodoro state data sheet 指标 手工采摘 机器采摘 3d表皮褐变数量 采摘 总数量 0 5 0 25 3d腐烂数量 采摘 总数量 0 5 1 25 5d表皮褐变数量 采摘 总数量 2 5 8 25 5d腐烂数量 采摘 总数量 1 5 4 25 7d表皮褐变数量 采摘 总数量 5 5 25 25 7d腐烂数量 采摘 总数量 3 5 18 25 10d表皮褐变数量 采摘 总数量 5 5 25 25 10d腐烂数量 采摘 总数量 4 5 22 25 3 3 误差分析 经分析可知 系统误差主要 来源于摄像头所在上 平面未 与地面保持水平 导致摄像头与 机械臂的坐 标系与真实环境坐标系具有一定的旋转角度差异 从而导致采摘 误差 此外 由于预先设计机械臂时 没有考虑到结构强度与弹性形变 导致 机器人工作 一段时间后 机械臂第 2 关节发生了形变 从而导 致了采摘不精准 还有 部分番茄 果梗 韧性较大 机 械 手 爪 旋转不足以将其摘下 从而导致了采摘成功 率较低 4 结论 1 设计并制作了一种可以在 日光温室 内自动巡检 于丰华 等 日光温室番茄采摘机器人研制 并 采摘成熟番茄果实的移动机器人 机器人 采用 贴 有薄膜压力传感器的 柔性机械 手 爪 2 在手眼坐标系始终相同的前提下 进行机械臂逆 解 定位 控制的实时性得到了有效的提高 风力补 偿装置 对提高被枝叶遮挡番茄的识别 有 积极 作用 参 考 文 献 1 孙娜娜 我国北方蔬菜温室生产发展中的问题 J 江西农 业 2016 21 63 SUN Nana Problems in the development of vegetable greenhouse production in North China J Jiangxi Agriculture 2016 21 63 in Chinese 2 彭澎 梁龙 李海龙 等 我国设施农业现状 问题与发展建议 J 北方园艺 2019 4 5 161 168 PENG Peng LIANG Long LI Hailong et al Current situation problems and development suggestions of facility agriculture in China J Northern Horticulture 2019 4 5 161 168 3 刘