苹果四臂采摘机器人系统设计与试验.pdf

农业装备工程与机械化 苹果四臂采摘机器人系统设计与试验 冯青春 赵春江 李 涛 陈立平 郭 鑫 谢 丰 熊子聪 陈凯文 刘 城 严童杰 1 北京市农林科学院智能装备技术研究中心 北京 100097 2 国家农业智能装备工程技术研究中心 北京 100097 3 农业智能装备技术北京市重点实验室 北京 100097 摘 要 针对鲜食苹果智能化高效采收需要 该研究设计了四臂并行采摘的 采 收 运 一体式机器人系统 以代替人 工采收作业 以中国矮砧密植高纺锤果树为对象 根据树冠内果实空间分布特征 提出了四臂并行采摘执行部件的作业 方式 建立了基于多任务深度卷积网络的果实可见区域识别模型 实现受遮挡果实离散区域语义分割及其归属关系的端 到端判别 在此基础上 根据果实表面局部点云信息对其质心进行空间定位 提出了基于时间最优的四臂协同采摘任务 规划方法 以实现机械臂对树冠内不同区域的高效遍历 最后在采摘机器人关键部件集成的基础上 在矮砧密植标准果 园进行生产试验 试验结果表明 机器人对树冠内可见果实的识别率为92 94 被识别果实中定位精度满足机器人采 摘操作要求的比例为90 27 机器人平均采摘效率为7 12 s 果 其中四臂协同采摘效率约为单臂采摘效率的1 96倍 对可见果实采摘成功率为82 00 对树冠内全部果实的采收率为74 56 枝叶遮挡干涉是造成采摘失败的主要原因 该研究可为鲜果智能化采摘模式的探索应用提供技术支撑 关键词 采摘 机器人 苹果 多任务网络 多臂协同 应用试验 doi 10 11975 j issn 1002 6819 202305114 中图分类号 TP242 6 文献标志码 A 文章编号 1002 6819 2023 13 0025 09 冯青春 赵春江 李涛 等 苹果四臂采摘机器人系统设计与试验 J 农业工程学报 2023 39 13 25 33 doi 10 11975 j issn 1002 6819 202305114 http www tcsae org FENG Qingchun ZHAO Chunjiang LI Tao et al Design and test of a four arm apple harvesting robot J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 13 25 33 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202305114 http www tcsae org 0 引 言 苹果是全球种植规模最大的鲜果之一 中国苹果种 植面积约200万hm2 年产量4 300万t 约为全球总产 量55 1 是全球鲜果安全供应的必要保障 果实采收 是果园生产中的复杂生产环节 涉及采摘 收集和运输 等工序 机械化率不足3 2 人工采摘综合效率每人每 天仅约200 300 kg 近年来 果园采摘 雇工难 雇工 贵 的问题日益凸显 采摘人工成本上涨已经成为制约 中国鲜果产业效益提升的重要因素 研发具有自主采收 功能的机器人 3 5 以代替或者辅助人工收获鲜果 具有 良好的应用前景 在全球受到广泛关注 随着标准化果园生产技术和人工智能技术理论的突 破性发展 以苹果 6 草莓 7 番茄 8 和猕猴桃 9 等大宗 鲜果为对象 一系列鲜果采摘机器人商业化产品被研发 和应用 代表性的机器人产品包括 ARAD等 10 开发 了SWEEPER温室甜椒收获机器人可昼夜在温室内工作 在狭窄植株间采用一组工业机械臂和果柄切割式的采摘 执行器 实现果实自主采摘 收集和运输 采摘成功率 平均61 采摘效率24 s 果 美国Abundant Robotics公 司 11 研发的苹果采摘机器人 由一组并联机械臂操作吸 附式采摘执行器进行果实采摘 对V形树冠果树的平均 采摘效率为2 s 果 新西兰Robotics Plus公司 9 推出了 猕猴桃四臂并行采摘机器人 综合采收效率约5 5 s 果 果实识别率76 3 成功收获率51 以色列FFRob otics公司 6 研发的苹果采摘机器人 采用本体两侧对称 分布的12组机械臂进行并行采摘 对标准化果树的采摘 效率约为1 8 s 果 西班牙Agrobot公司 7 研发的草莓采 摘机器人 最多可扩展24组手臂进行并行采摘 单臂采 摘效率约5 s 果 鉴于单臂采摘效率难以满足实际生产 需要 采 收 运 一体作业的多臂采摘系统是鲜果采 摘机器人发展的重要趋势 目前国内鲜果采摘机器人技 术攻关和示范应用具备了良好的基础 12 17 然而多臂并 行采摘机器人的相关研究尚处于探索阶段 本文面向中国典型标准化苹果园工况条件 设计了 具备 采摘 收集 运输 一体作业功能的四臂并行采摘 机器人 对其采摘机械臂 末端执行器 果实识别定位 以及四臂协同控制等核心部件进行详细介绍 通过果园 现场应用试验 对机器人的关键性能进行验证和分析 为果园智能化采收装备研发与应用提供参考 收稿日期 2023 05 16 修订日期 2023 06 21 基金项目 北京市科技新星计划 20220484023 北京市科技计划课题 Z201100008020009 北 京 市 农 林 科 学 院 青 年 科 研 基 金 项 目 QNJJ202318 作者简介 冯青春 博士 副研究员 研究方向为农业机器人 Email fengqc 通信作者 陈立平 博士 研究员 研究方向为农业智能装备 Email chenlp 第 39 卷 第 13 期 农 业 工 程 学 报 Vol 39 No 13 2023 年 7 月 Transactions of the Chinese Society of Agricultural Engineering July 2023 25 1 机器人作业工况与原理介绍 1 1 矮砧密植纺锤形树形 中国标准化苹果园主要以矮砧密植的高纺锤树形为 主 18 19 具有树形紧凑 树行空间开阔 通风透光 便 于机械化作业等优势 如图1a所示 果树行距约为 3 5 4 5 m 株距1 0 1 5 m 主干高度3 0 3 5 m 主 干四周交错生长30 40个主枝 主枝直接生长结果枝条 图1b 主枝生长过程中受钢丝绳固定约束 伸展方向 与主干约90 树冠宽度1 0 1 5 m 厚度约为0 8 1 0 m 1 0 1 5 m 3 5 4 5 m 主枝 Main trunk 主干 Main branch a 株行间距 a Row and line space b 纺锤树形 b Spindle shaped tree 图1 矮砧密植标准果园 Fig 1 Standardized orchard of dwarf rootstock 1 2 采摘作业空间 采摘机器人的目标作业空间由果实在树冠内的空间 分布情况决定 受纺锤树形枝条形态约束 树冠内果实 空间分布密度各不相同 以5年树龄富士苹果树为例 将其树冠划分为边长200 mm的正方体采样块 其中距 地面高度 1 0 m的区域属于树冠底层 1 0 2 0 m属于 树冠中层 2 0 m以上区域为树冠高层 统计每个采样块 果实数量可得 纺锤形树冠内果实密度自上向下 由外 而内逐渐增加 95 以上果实主要分布在高度0 6 2 8 m 主干周围0 4 m的空间区域 鉴于采摘执行部件紧凑性 设计需要 将此区域设定为采摘机器人的目标作业空间 如图2所示 对于单侧树冠进行采摘作业时 该区域为 宽度1 2 m 厚度0 4 m 高度2 2 m长方体空间 1 0 2 0 0 5 1 5 3 0 2 5 0 40 0 2 0 2 0 4 0 内膛 Internal 外围 Periphery 外围 Periphery 树冠高层 Upper canopy 树冠中层 Middle canopy 树冠底层 Lower canopy 0 4 0 0 2 0 2 0 4 0 40 0 2 0 2 0 4 采摘目标区域 Target area for harvesting 单位 Unit m a 正视图 a Front view b 俯视图 b Top view 图2 树冠内采摘作业空间 Fig 2 Harvesting workspace in canopy 1 3 采摘机器人系统作业原理 如图3所示 苹果四臂采摘机器人系统主要包括采 摘执行部件 果实感知深度相机 移动承载平台以及能 源动力单元等 四组深度相机分别固定安装于采摘臂上 方 可随其水平和垂直运动 根据树冠内的采摘作业目 标区域 预先设定采摘臂的图像采集姿态 摄像机随采 摘臂以执行部件中心对称分布 其总体视场需要覆盖作 业区域 机器人由人工驾驶在果树行间移动 对果树进 行逐一停车采摘 停车位置需保证采摘执行部件与树冠 竖直中心近似对齐 对果树自主采摘作业流程主要包括 1 4组采摘臂运动至图像采集姿态 随其同步运动的4 个深度相机采集树冠不同区域图像 并对其中可见果实 进行识别定位 2 鉴于各个深度相机坐标系随采摘臂运 动的位姿变化 可由采摘执行部件的电机编码器测量确 定 基于各个深度相机与机器人本体之间坐标系的变换 关系 可将其视场内的所有果实空间坐标转化到机器人 本体全局坐标系下 在全局坐标系下 对于中心距小于 特定距离 果实平均直径 的果实 则认定其为同一果 实 从而剔除多视场图像内的重复定位果实 在此基础 上 根据各个果实在全局坐标系下的空间位置划分其所 属采摘区域 并求解四组采摘臂各自采摘任务序列 3 采摘臂依次对各自任务序列内每个果实进行采摘 根 据视觉单元对果实初次定位数据 采摘臂完成水平和垂 直运动后 摄像机再次获取目标果实的空间坐标以校正 初次定位数据 4 采摘手爪到达预定果实位置并完成采 摘动作后 根据夹持驱动舵机电流反馈判断手爪内是否 有果实被成功采摘 当手爪内没有果实 即采摘操作失 败 则重复步骤3 进行第二次尝试 每个果实最多重 复3次尝试 5 所有采摘臂完成各自任务序列 否则认 为当前树冠内果实的采摘任务结束 机器人需要移动至 下一棵树进行采摘 2号采摘臂 Arm No 2 1号采摘臂 Arm No 1 4号采摘臂 Arm No 4 3号采摘臂 Arm No 3 果实收集传送带 Fruit conveyor belt 移动承载平台 Mobile plat 深度相机 Deapth camera 图3 苹果四臂采摘机器人样机 Fig 3 Prototype of four arm apple harvesting robot 2 采摘机器人关键部件设计 2 1 四臂并行采摘执行部件构成与原理 采摘执行部件主要包括采摘臂 采摘手爪以及果实 收集部件 20 如图4所示 鉴于近似球形苹果的质心可 直接作为采摘定位依据而无需考虑操作姿态 采摘手爪 运动定位由3个直线运动自由度实现 包括水平运动 垂直运动 伸缩运动 且每两组采摘臂共用一组垂直运 动驱动机构 同步进行上下伺服运动 其各自水平运动 互为独立 由于果实受重力牵引自然下垂 其主要分布 26 农业工程学报 http www tcsae org 2023 年 于枝干和叶片下方 为了减少枝叶对果实的遮挡 每组 采摘臂以向上倾斜姿态对果实进行采摘 采摘臂采用电 动和气动组合式两级伸缩运动 以实现采摘手爪在树冠 和机器人本体之间频繁高效的往复运动 其中机器人本 体与树冠边缘之间采用气动驱动伸缩 树冠内部的精确 定位采用电动伺服驱动伸缩 1 2 5 3 4 6 7 8 9 1 水平运动驱动机构 上 2 采摘手爪 3 采摘臂 4 果实传送带 上 5 水 平运动驱动机构 下 6 果实传送带 下 7 垂直运动驱动机构 8 底座 1 Horizontal drive mechanism upper 2 Picking end effector 3 Picking arm 4 Fruit conveyor belt upper 5 Horizontal drive mechanism lower 6 Fruit conveyor belt lower 7 Vertical drive mechanism 8 Base 图4 采摘执行部件构成 Fig 4 Structural composition of harvesting manipulator 果实收集部件包括2组与水平运动机构固定连接的 水平传送带和1组立式传送带 采摘手爪将果实从枝干 分离后 将其释放于水平传送带上 果实先后经水平和 立式传送带输送至收纳筐 2 2 驱控一体式采摘手爪 鉴于果柄与枝干之间的离层组织容易受旋转切向力 脱落 设计了旋拧 拉拽组合式采摘手爪 21 以促进果实 与枝干的高效分离 如图5所示 采摘手爪包括3个阵 列分布的TPU橡胶材质手指 手指夹持驱动机构及其旋 拧驱动机构 手爪接近果实后 手指同步闭合对果实进 行夹持 而后进行旋拧将果实从枝干分离下来 1 2 3 4 1 手指 2 夹持驱动机构 3 旋拧驱动机构 4 底座 1 Fingers 2 Grasing drive mechanism 3 Twisting drive mechanism 4 Base 图5 旋拧采摘手爪 Fig 5 Twist typed picking end effector 为了保证采摘手爪具有良好扩展性 手爪内置支持 CANopen总线通讯的驱动器与机器人主控制器直接进行 数据通讯 图6 其中的数据处理模块负责手爪控制数 据帧解码 手爪状态反馈数据帧编码以及总线数据实时 收发 此外 舵机驱动模块可以将舵机内部线圈电流值 通过总线向主控制器进行实时反馈 主控制器根据电流 大小判断手爪是否与果实稳定接触以及果柄是否被分离 主控制器 手爪内置 驱动器1 手爪内置 驱动器2 手爪内置 驱动器3 手爪内置 驱动器4 CANopen总线 总线数据 处理模块 总线数据 处理模块 总线数据 处理模块 总线数据 处理模块 双舵机 驱动模块 双舵机 驱动模块 双舵机 驱动模块 双舵机 驱动模块 采摘手爪1采摘手爪2采摘手爪3采摘手爪4 图6 多采摘手爪总线扩展 Fig 6 Multiple end effectors connected by CANopen 2 3 果实识别与定位方法 1 果实离散可见区域识别 果实分布于丛生密集的枝叶当中 其在机器人视场中 多数为受遮挡状态 表现为叶片遮挡 枝干遮挡以及果实 相互遮挡等情况 使得果实整体被划分为离散的像素区域 果实离散可见区域识别及其所属果实判定 是机器人感知 采摘目标的基础 当前基于深度学习像素分割模型 22 23 主要以在特定包围框内的联通像素区域进行分割 其无法 对同一个果实的离散区域进行归类 为了实现群体果实离 散可见区域 端到端 的检测 分割和归类 提出了具备 第 13 期 冯青春等 苹果四臂采摘机器人系统设计与试验 27 果实区域检测与实例分割双重功能的多任务深度卷积网络 模型 24 如图7所示 该网络由YOLOv4 25 架构改进而 来 包含一个共享的编码网络和两个承担不同任务的解码 网络 编码网络包括CSPDarknet 25 特征提取主干网络以 及空间金字塔池化模块 SPP 25 和特征金字塔模块 FPN 25 构成的颈部网络 解码网络中的检测分支保 留YOLOv4检测头部网络 由路径聚合网络 PANet 25 将FPN输出的特征图由底层向顶层进一步融合后进行3 个尺度的预测 获得果实区域整体边框 解码网络中分割 分支对FPN的底层特征进行3次基于最邻近插值的逆卷 积上采样 得到与原始图像大小一致的二维特征图 获得 每个像素属于果实或背景区域的置信度 从而实现对果实 可见部分像素的语义分割 在此基础上 对视场内每个果 实整体检测边框和离散分割区域进行位置匹配 对于质心 分布于相同边框内的像素 则认为其属于同一个果实 从 而明确了离散果实可见区域的归属 SPP w h 32 w 2 h 2 64 w 4 h 4 128 w 8 h 8 256 w 16 h 16 512 w 32 h 32 1 024 FPN PAN w h 图像宽和高Image width and height 上采样卷积Upsampled convolution 下采样卷积Downsampled convolution 3 特征层堆叠Feature layer concat 边框检测输出 Bouding box output 语义分割输出 Semantic output 坐标匹配 Coordinate matching 原始图像 Original image CSPDarknet w h 3 图7 果实识别多任务网络模型 Fig 7 Fruit identification based on multi task DCNN 2 果实质心空间定位测量 Pc 在获得果实边框图像位置和可见区域语义信息基础 上 需要根据深度点云信息对球果质心进行空间定位 以引导机器人进行采摘操作 然而自然光条件下深度相 机获得的点云图像通常存在空洞 飞点和扭曲等噪声 需要去除噪声确保果实表面点云数据准确 密度聚类算 法 DBSCAN 26 可以根据点云分布的紧密程度对其进 行聚类 且无需指定预期的簇群数量 通过DBSCAN对 果实可见区域的点云进行分析 求取其中点数最多的聚 类 则认为是果实表面精准点云数据 可求其质心 Pc d w Ku d Ku w Pc d P0 如图8所示 由摄像机投影成像原理可知 目标检 测网络输出果实包围框的空间投影与其在像平面区域的 连线 形成三维视锥体结构 27 且果实质心位于锥体中 心线上 将 点深度截面对应的果实包围框宽度近似认 为果实的直径 其可由果实包围框的像素宽度 和摄 像机内参因子 计算为 以 为中心 为直 径做辅助球 球表面与视锥体中心线的远端交点可作为 果实球体质心 即采摘执行部件接近果实的目标点 2 4 四臂协同采摘任务规划 1 树冠采摘区域划分 鉴于树冠内膛果实密集 外围果实稀疏的特点 如 图9a所示 将树冠均等划分为 4个单臂作业区 4个 双臂作业区以及1个四臂作业区 S1 S2 S3及S4分 别为1 4号采摘臂专属的单臂采摘区域 D1 D2 D3 及D4分别为1号和2号采摘臂 3号和4号采摘臂 1 号和3号采摘臂及2号和4号采摘臂共同作业的双臂采 摘区域 F为4组采摘臂共同作业的四臂采摘区域 各 个采摘臂依次遍历各自采摘区域的顺序设定为 单臂区 域 双臂区域 四臂区域 为了防止同一作业区内多臂 并行采摘造成树干振动 影响彼此对果实的精准操作 采用多臂交替作业模式对共享区域进行采摘 即同一时 刻每个共享区域只允许单个采摘臂进入 一个采摘臂完 成采摘操作缩回放果时 另一个采摘臂才可以进入同一 区域 图像平面 Image plane 果实表面点云 3D point cloud on fruit 辅助球体 Auxiliary sphere P0 w 透视锥体 Projection pyramid 果实边框 Fruit bounding box Pc P0 Pc w 注 为果实质心 为辅助球体中心 为果实边框像素宽度 P0 Pc w Note is fruit s centroid is auxiliary sphere centroid is width of fruit bounding box 图8 果实质心定位原理 Fig 8 Fruit centroid location principle 2 四臂采摘任务最优次序求解 采摘目标高效遍历是多臂协同采摘任务规划的主要 目标 本文直角坐标式采摘臂末端空间运动距离与果实 空间距离线性相关 若忽略采摘臂加减速过程及其各关 节运动速度差异 果实依次遍历的路径长度可表征机器 人作业耗时 为了求解四臂遍历果实的总体时间最短问 题 提出了基于遗传算法的果实采摘任务规划描述方 法 28 如图9b所示 对4组采摘臂随机依次分配各自作 业区域内的采摘对象 形成各自采摘任务序列 4组采 摘臂与其作业区域内每个果实的依次组合 即可确定为 一组遗传算法的有效解 28 农业工程学报 http www tcsae org 2023 年 S1 S2 S3 S4 D1 D2 D3 D4F nS1 nD1 1号采摘臂 专属任务序列 2号采摘臂 专属任务序列 3号采摘臂 专属序列 4号采摘臂 专属任务序列 1 2号采摘臂 交替任务序列 3 4号采摘臂 交替任务序列 1 3号采摘臂 交替任务序列 2 4号采摘臂 交替任务序列 S1区果实S2区果实S3区果实S4区果实 D1区果实D2区果实D3区果实D4区果实 F区果实 时刻TS1 时刻 D1t n1 任务规划的一组解 a 采摘区域划分 a Harvesting area division b 采摘臂任务序列生成 b Picking arm task sequence generation nS1 nD1 TS1 tD1n 1 注 为S1区域第n个果实 为D1区域第n个果实 为1号采摘臂在S1区域耗时 为1号采摘臂先后完成S1和D1区域任务的耗时 nS1 nD1 TS1 tD1n 1 Note is fruit n in S1 area is fruit n in D1 area is task time cost of arm No 1 in S1 area is task time cost of arm No 1 in S1 and D1 area successively 图9 四臂协同采摘任务规划 Fig 9 Task planning for four arm collaborative harvesting NS1 TS1 v nS1 1 nS1 dS1 n 1 n TS1 TS2 TS3 TS4 以1号采摘臂为例 其对专属的S1作业区域内 个果实采摘时间 由果实遍历路径长度直接决定 令其 末端手爪在果实间遍历的移动速度为 其任务序列中相 邻果实 和 间距离为 则 可由式 1 计算 同理可得2 4号采摘臂分别对S2 S4区域的采摘时间 和 TS1 1v NS1 nS1 1 dS1n 1 n 1 nD11 tD1n1 在完成单臂采摘区域任务序列基础上 1号采摘臂 对其D1双臂采摘区域任务序列中果实 遍历时刻 为 tD1n1 TS1 1v nD11 1 dnD11 nD11 1 2 d nD11 nD11 1 nD11 nD11 1 为1号机械臂在 D1 区域采摘任务序列果实 与相邻果实 之间的距离根据上文 S1区域涉及的 变量解释即可理解 nD12 tD1n 2 tD1n 1 t D1 n2 t twait q ND11 TD11 同理可得2号采摘臂对其D1区域内任务序列中果 实 遍历时刻 当1号和2号采摘臂进去D1区域的 时间间隔 则认为二者采摘任务冲突 其 中处于较晚时刻的采摘臂等待 后继续遍历当前目标 用 表示2组机械臂任务冲突次数 则1号采摘臂对其 D1区域内任务序列中 个果实遍历耗时 如式 3 所示 TD11 1v ND11 nD11 1 dnD11 nD11 1 qtwait 3 同理可得1号采摘臂在D3和F区域任务序列的采 Tmax 1 Tmax 摘时间 进而可得1号采摘臂完成其全局采摘任务的时 间 按此推理 可确定4组采摘臂各自的全局任务耗时 其中最长耗时 为完成全部果实采摘的总体时间 以 为评价任务规划优劣的适应度 通过选择 交叉和 变异算子不断迭代优化随机初始解 当适应度最大时对 应最优采摘任务规划 3 采摘机器人试验与结果 3 1 果园现场试验 2022年10月25日至30日在北京昌平果树研究所 进行四臂采摘机器人应用试验 图10 图10 试验现场 Fig 10 Field test 按照矮砧密植果树树形标准 选择5年树龄的10棵 苹果树作为试验对象 每次试验仅对其树冠单侧采收 根据多臂采摘区域划分规则 采收前分别统计机器人视 第 13 期 冯青春等 苹果四臂采摘机器人系统设计与试验 29 场中树冠单侧不同采摘区域的果实数量 图11 包括 可见果实 全部可见和局部可见 数量Nvis 受遮挡不可 见果实的数量Ninvis 采收过程中统计可见果实中被机器 人成功识别的果实数量Ndetected 被精确定位的果实数量 Nlocated 成功采收果实数量Nsuccess 不同采摘区域的作业 时间以及每棵果树总体采收耗时 暂忽略机器人由人工 驾驶在不同果树样本间移动的耗时 采收后统计果树 树冠中不同区域内的剩余果实数量 以评价机器人有效 采收率 此外 试验过程中及时记录失败采摘操作的故 障原因 d 4号采摘臂视场 d View field of arm No 4 c 3号采摘臂视场 c View field of arm No 3 a 1号采摘臂视场 a View field of arm No 1 b 2号采摘臂视场 b View field of arm No 2 图11 机器人视场图像 Fig 11 Robot s view field 如表1所示 采摘试验涉及10棵果树树冠内452个 果实 其中机器人视场内可见果实411个 不可见果实 为41个 表 1 机器人视场内果实数量分布情况统计 Table 1 Statistics of fruit quantity distribution within the robot s view field 果实类型 Fruit type 区域 树 1树 2树 3树 4树 5树 6树 7树 8树 9树 10 合计 不可见 Invisible Ninvis 全部 3 5 3 4 5 5 4 3 5 4 41 可见 Visual Nvis 全部 34 41 36 38 40 48 45 40 50 39 411 S1 3 2 2 3 2 2 1 0 3 1 19 S2 0 1 1 0 1 1 1 2 1 2 10 S3 4 5 3 4 3 3 2 3 2 1 30 S4 3 2 3 2 2 3 3 3 2 3 26 D1 2 3 2 4 3 4 3 2 4 3 30 D2 5 4 5 4 3 6 4 3 5 3 42 D3 3 4 5 4 5 4 3 4 6 4 42 D4 4 3 2 3 1 2 4 3 5 3 30 F 10 17 13 14 20 23 24 20 22 19 182 3 2 结果与分析 当前矮砧密植果园尚处于新兴生产技术 各地果树栽 培管理缺乏统一标准 尽管本文有限果树样本代表性略显 不足 但是为了紧密结合鲜果智能采收的产业要求 本文 分别针对果实视觉信息感知 作业效率以及有效采收 3 个关键性能 对试验结果进行汇总和分析 如表2所示 表 2 主要试验结果统计 Table 2 Statistics of main test results 指标 Index S1 S2 S3 S4 D1 D2 D3 D4 F 总体 准确识别 率 Detection rate 100 00 100 00 93 33 96 15 100 00 100 00 97 62 100 00 86 26 92 94 精准定位 率 Location rate 94 74 100 00 90 00 96 15 100 00 100 00 90 48 96 67 83 52 90 27 采摘成功 率 Successful harvesting rate 94 74 100 00 86 67 88 46 93 33 90 48 78 57 90 00 73 63 82 00 有效采收 率 Harvested fruit rate 94 74 83 33 72 22 79 31 87 50 73 08 70 21 84 38 69 43 74 56 采摘失误数 量 Harvesting failures 1 0 4 3 2 4 9 3 48 74 识别失误 率 Failed detection rate 0 00 0 00 50 00 33 33 0 00 0 00 11 11 0 00 52 08 39 19 定位失误 率 Failed location rate 100 00 0 00 25 00 0 00 0 00 0 00 33 33 33 33 10 42 14 86 操作失误 率 Failed operation rate 0 00 0 00 25 00 66 67 100 00 100 00 55 56 66 67 37 50 45 95 总体耗 时 Total time cost s 195 99 265 228 224 312 370 263 764 2 720 单果平均耗 时 Average time cost per fruit s 果 1 10 24 9 90 9 46 9 12 7 47 7 43 9 02 8 77 4 87 7 12 1 果实视觉信息感知 411个可见果实中382个果实被准确识别 总体识 别率为92 94 其中S1 S2 D1和D2区域内枝叶稀 疏区域识别率最高为100 果实分布密度较高的F区 域识别率最低为86 26 表2 主要原因为纺锤形树 冠内外围枝叶果均较为稀疏 以无遮挡果实为主 中心 区域枝叶密度较高 果实收到遮挡较多 可见区域较小 容易造成漏检 图12a 此外 树冠底层外围区域S3 和S4内识别率较低为93 33 和96 15 主要因为该区 域摄像机视场中前景树冠与背景天空亮度差异较大 自 动曝光容易造成前景物曝光不足 使得图像中果实与枝 叶色彩难以区分 果实定位精度同样随其受遮挡区域大小影响 根据 可见区域获得果实包围框是本文基于视锥体结构对果实 质心定位的前提 然而当果实主要区域受到遮挡或者可 见区域不足以表现果实整体形态时 图12b 获得的 果实边框仅包围果实局部区域 使得果实大小及质心测 算误差较大 本文所采用的采摘手爪张开指端间最大距 离为12 cm 试验果实平均直径为8 cm 382个被识别 的果实中371个定位精度满足采摘手爪操作要求 11个 果实由于视觉定位偏差较大导致采摘失败 果实总体精 准定位率为90 27 且区域S2最高为100 00 区域 F最低为83 52 表2 可以通过增加采摘手爪指端 张合范围包容球果的定位误差 但是将增加手爪碰撞干 涉风险 30 农业工程学报 http www tcsae org 2023 年 外围区域 Peripheral erea 外围区域Peripheral erea中心区域 Internal erea 果实轻微遮挡 Fruits rarely occluded 果实严重遮挡 Fruits mostly occluded a 树冠中心与外围区域 a Canopy peripheral and internal area b 果实遮挡 b Fruits occluded 图12 果实识别定位效果示例 Fig 12 Examples of fruit recognition and positioning results 2 果实有效采收率 机器人可见的果实中成功采摘的果实数量为337 74个可见果实未被成功采摘 采摘成功率为82 00 其 中S2区域最高为100 00 F区域最低为73 63 对于 试验果树内的所有果实 包括可见和不可见果实 机器 人总体有效采收率为74 56 其中S1区域最高为 94 74 F区域最低为69 43 如表2所示 74个采摘 失误果实包括 未被识别的果 29个 未精确定位的果 实11个以及采摘操作失误的果实34个 即由于识别失 误 定位失误及操作失误的比例分别为39 19 14 86 及45 95 相对于果实视觉信息感知方面 执行部件的 操作失误是影响机器人有效采收率的主要原因 在果实密集的F区域采摘失误数量最多为48次 其 中操作失误18次 采摘操作失误主要表现为两种情况 图13 采摘手爪将果实与其附近的叶片 枝干同时 夹入而造成旋拧电机过载 图13a 导致采摘失败 采摘手爪与枝干或果实碰撞使得果实偏离初始位置而 造成采摘失败 其中包括手爪与运动路径中的枝干发生 碰撞 图13b 以及手爪指端与目标果实临近枝干或 其他果实发生碰撞 a 临近果实的枝条干涉 a Interference with branches near target fruit b 运动路径中枝条干涉 b Collision with branches on motion track 图13 末端执行器操作失误示例 Fig 13 Examples of end effector s failed operation 综上所述 复杂树冠内遮挡 干涉和碰撞是造成采 摘失败的主要原因 因此 机器人除了需要感知果实目标 以外 其对枝叶遮挡和干涉的探测和理解是需要进一步 突破的技术难题 此外 通过优化树冠枝干空间形态 精 准管控坐果密度 也是保证机器人采收效果的必要措施 3 采收作业效率 为了准确评估机器人多臂协作的效率 本文暂且忽 略试验过程中的失误采摘耗时 以机器人对所有识别到 果实的遍历操作效率表征其采收作业效率 机器人对成 功识别的382个果实都执行了完整的采摘操作 总体耗时 2 720 s 单果采摘平均耗时7 12 s 各区域采摘总体耗时 以及单果采摘效率统计如表2所示 平均采摘效率在单 臂 采摘 S区 域 为 9 59 s 果 双 臂 采 摘 D区 域 为 8 17 s 果 四臂采摘F区域为4 87 s 果 且果实稀疏的 外围区域S1和S2 D3和D4区域的采摘效率均小于中 心区域的S3和S4 D1和D2 双臂和四臂协同采摘效 率分别是单臂的1 17和1 96倍 可见同作业效率还有较 大提升空间 限制机器人采收效率的主要因素包括 在多臂共 享的采摘区域果实密度增加 设定的交替采摘等待时间 随之增加 从而制约了多个采摘臂实际的作业效率 本文对树冠划分恒定的单臂和多臂采摘区域 但是果树 个体之间树形各不相同 当果实在外围区域分布较多时 采摘臂需要花费较多时间完成单臂或者双臂采摘任务 从而影响四臂协同采摘的综合效率 因此 进一步完善采 摘臂交替采摘避障实时监测 优化多臂协同策略以及规 范管控树形结构 实现采摘区域的动态划分 减少交替 等待耗时 将有利于进一步提升多臂作业的综合效率 4 结 论 针对中国典型标准果园高效采摘需求 设计了四臂 并行作业的采摘机器人系统 实现了矮砧密植苹果的自 主采收作业 提出了基于受遮挡果实可见区域信息的目 标识别与定位方法 实现了复杂背景下采摘目标质心的 空间定位 建立了针对树冠内不同果实密度区域的四臂 协同采摘任务规划模型 保障多个执行器高效有序地并 行采摘 果园现场试验表明 机器人对于可见果实的识 别率为92 94 其中定位精度满足机器人要求的占 90 27 机器人综合采收效率为7 12 s 果 不包含移动 运输时间 其中单臂 双臂以及四臂协同区域采摘效 率分别为9 59 8 17和4 87 s 果 机器人对于全部试验 样本的有效采收率为74 56 其中可见果实的成功采收 率为82 00 果实受枝叶遮挡 影响视觉识别定位精度 以及造成采摘执行部件干涉碰撞 是造成采摘失败的主 要原因 因此 提升机器人自主避障能力和改善树形结 构 是进一步改善机器人作业性能的必要研究工作 第 13 期 冯青春等 苹果四臂采摘机器人系统设计与试验 31 参 考 文 献 国家统计局农村社会经济调查司 中国农村统计年鉴 M 北京 中国统计出版社 2021 1 郑永军 江世界 陈炳太 等 丘陵山区果园机械化技术 与装备研究进展 J 农业机械学报 2020 51 11 1 20 ZHENG Yongjun JIANG Shijie CHEN Bingtai et al Review on technology an