典型果蔬采摘机器人研究现状与趋势.pdf

新 疆农机化 2021 年第 6 期 修回日期 2021 06 24 基金项目 山东省园艺机械与装备重点实验室项目 YYJX 2019 07 山东省自然科学基金项目 ZR2018MC017 山 东省农业重大应用技术创新项目 SD2019NJ001 通讯作者 樊桂菊 doi 10 13620 ki issn1007 7782 2021 06 003 中图分类号 S225 93 文献标识码 A 0 引言 近年来 随着农业科学技术的发展 越来越多的智能 化农业装备正逐步被应用于农业生产的各领域 其中智 能农业机器人的推广和应用尤为显著 我国是一个农业大 国 果蔬产业已成为我国农村经济重要支柱和农民收入 主要来源 果蔬产业是典型的劳动密集型产业 在果蔬生 产过程中 采摘约占整个作业量的 40 1 是果蔬生产中 作业要求较高的关键环节 具有季节性强和劳动密集的 特点 但现阶段我国果蔬采摘环节的综合机械化水平较 低 大多数作业以人工为主 劳动生产率亟需提高 同时 随着城镇化进程的不断推进和人口老龄化现象的日益加 重 农村劳动力逐年下降 果蔬采摘人工成本逐年提高 严重影响果蔬产业的健康发展 基于此 研究和开发果蔬 采摘收获机器人对于提高果蔬采摘收获质量 降低人工 劳动强度 提高劳动生产率 降低生产成本和增加社会经 济效益具有重要意义 1 果蔬采摘特性分析 1 1 作业对象的复杂性和差异性 典型果蔬具有品种繁多 果实形状复杂 生长发育 程度不一的特性 即使是同一品种 同一棵植株 果实的 形状也不同 相互之间差异较大且易被枝叶遮挡 这就要 文章编号 1007 7782 2021 06 0014 05 典型果蔬采摘机器人研究现状与趋势 王思玉 1 牛成强 1 李 钊 1 史文杰 1 樊桂菊 1 2 3 1 山东农业大学机械与电子工程学院 山东 泰安 271018 2 山东省园艺机械与装备重点实验室 3 山东省农业装备智能化工程实验室 摘 要 随着经济结构的调整 农业劳动力逐渐向社会其他产业转移 果蔬采摘人工成本逐年提高 严重影响果蔬产业的健康 发展 因此 研究和开发果蔬采摘收获机器人对于提高果蔬采摘收获质量 降低劳动强度 提高劳动生产率和增加经济效益具 有重要意义 本文结合现阶段国内外典型果蔬采摘机器人的研究实例 对果蔬采摘机器人目前存在的一些问题进行综合分析 提出优化机械结构设计 开发智能化果实识别与定位技术 优化自动控制系统 增强设备通用性 降低设备操作难度及生产成 本等发展方向 以期为典型果蔬采摘机器人的改进提供参考 关键词 典型果蔬收获 采摘机器人 研究现状 发展趋势 Current Research Status and Development Trends of typical Fruit and Vegetable Harvest Robot WANG Siyu 1 NIU Chengqiang 1 LI Zhao 1 SHI Wenjie 1 FAN Guiju 1 2 3 1 College of Mechanical and Electrical Engineering Shandong Agricultural University Taian 271018 Shandong China 2 Key Laboratory of Horticultural Machinery and Equipment Shandong Province 3 Laboratory of Intelligent Agricultural Equipment Engineering Shandong Province Abstract With the adjustment ofeconomic structure the agricultural labor force isgradually transferred to other industriesin society which leadsto theshortageoflaborresources andthelaborcost ofpickingfruitsandvegetablesisincreasingyearbyyear which seriouslyaffectsthe healthydevelopment offruit and vegetable industry Therefore the research and development offruit andvegetablepickingandharvestingrobot isofgreat significanceforimprovingfruit and vegetablepickingand harvestingqual ity reducinglabor intensity improvinglabor productivityand increasingeconomic benefits In thispaper based on the research examples of typical fruit and vegetable picking robots at home and abroad at present some problems existing in the existing picking robotsare comprehensively analyzed and the development directionssuch asoptimizing mechanical structure design developingintelligent fruit recognition and positioningtechnology optimizing automatic control system enhancing equipment universality reducingequipment operation difficultyand production cost are put forward so asto provide reference for the im provement oftypicalfruit andvegetablepickingrobots Key words Typicalfruitandvegetableharvest Harvestrobot Researchstatus Developmenttrend 开发研究 14 新 疆农机化2021 年第 6 期 求采摘机器人具有良好的识别 定位与避障系统 1 2 作业对象的随机性和非结构性 典型果蔬的果实生长位置无规律 分布比较随机 生 长环境易受季节 天气等自然条件影响 这就要求采摘机 器人能够适应复杂多变的果蔬种植环境 具有高度的自 动化和智能化 能够实现精准判断 避免对作业对象造 成误伤 以便其能够更为有效地应用于农业生产中 1 3 作业对象的脆弱性和易损伤性 典型果蔬的果实表皮组织由许多细胞组成 比较柔 软 具有脆弱易伤的特点 必须仔细轻柔地对待和处理 这就要求采摘机器人末端执行器能够与目标果蔬柔性 接触 尽可能避免接触损伤 1 4 良好的可靠性和通用性 典型果蔬采摘机器人的作业对象具有复杂性和差 异性 这就要求采摘机器人只需通过较为简单的改变 即 可满足多种作业要求 具有良好的可靠性 可编程性和 通用性 例如 同一采摘机器人针对不同品种果蔬的采 摘 施肥和喷药等作业需求 只需使用与之配套的末端 执行器即可完成相应作业 既能增加采摘机器人的通用 性 又能提高其有效利用率 1 5 操作对象和价格的特殊性 果蔬采摘机器人的操作者大多是未受过专业教育 的果农 因此要求其使用方法必须简单易懂 易于操作 另外 国内果蔬产业大多以个体经营为主 研发时要考 虑成本问题 价格应在果农接受范围内 否则难以推广 2 国内外研究进展 国外在果蔬采摘类机械方面的研制起步较早 从 20世纪 80年代中期开始 欧美和日本等发达国家就在 果蔬采摘机械方面开展了广泛的研究 经过多年的研究 与发展 国外果蔬采摘机械化程度不断提高 试制成功 了多种自动化程度较高的果蔬采摘机器人 如苹果 柑橘 葡萄 草莓 茄子 番茄和黄瓜采摘机器人等 使果蔬采 摘质量与采摘效率得到明显提升 目前 国外果蔬采摘机 械已经具有较高的水平 2 国内在果蔬采摘类机械方面的研究始于 20 世纪 90 年代中期 虽与国外顶尖水平仍存在一定的差距 但 近些年随着互联网信息化水平和机械化程度的不断提 高 国内在果蔬采摘类机械方面的研究已有较大进步 2 1 苹果采摘机器人 苹果采摘机器人涉及领域较广 包含机械结构设计 计算机科学与技术 农业与生物技术等 综合性较强 其通 常由行走机构 执行机械臂 运动控制系统 机器视觉系统 和末端执行器等组成 用来采收成熟的苹果 3 日本北海道 大学 DukeM Bulanon等 4 6 研制的采用二指夹持式末端 执行器的苹果采摘机器人采用 CCD摄像机和激光传感 器进行果实识别 采用二指夹持果梗 虽避免了末端执行 器与果实间的接触损伤 但对果梗较短的果实会出现加 持失败 发生果实掉落现象 韩国庆北大学 Jang等 7 8 研制 的四自由度苹果采摘机器人具有末端执行器夹持力可控 且工作范围广的特点 但因受自由度限制 无法绕过障碍 物摘取果实 江苏大学赵德安等 9 11 研制的智能苹果采摘设 备采用多种形式传感器与 PRRRP结构机械臂配合 使其 能够有效避障 一定程度上提高了采摘机器人的灵活性 和适用性 但该机器人的采摘成功率还有待提高 南京农 业大学姬长英等 12 14 设计研发的自走式智能苹果采摘机 器人采用六自由度工业机械臂作为采摘机械臂 具有双目 视觉系统和导航系统 能够完成自主导航 采摘及苹果装 箱作业 图 1 该采摘机器人智能化及自动化程度较高 但整机体积较大 灵活性较差 对传统密植型果园的适用 性较差 图 1 智能移动苹果采摘机器人 2 2 草莓采摘机器人 由于草莓的栽培模式具有多样性 例如地面栽培模 式 高架栽培模式和垄作栽培模式等 同时生产经营规 模各不相同 因此其采摘装置的差异性也较为明显 目前 针对高架栽培模式研制的草莓采摘机械较多 而地面栽 培模式和垄作栽培模式种植的草莓因其植株距离地面 较近 使机械采摘难度增加 因此现有机械采摘设备较 少 西班牙 AGROBOTRobotics公司研发的基于高架栽 培的草莓采摘机器人 15 图 2 通过多个装有传感器和图 像处理单元的机械臂相互协同工作进行采摘作业 采用 末端执行器断茎加持的方式收获草莓 能够自主识别 定 位并无损伤采摘高架栽培模式下的成熟草莓 但该机器 人是针对高架栽培模式草莓研制的 专用性较强 对其 他栽培模式草莓适配性较差 因此其通用性有待提高 西 北农林科技大学张曼等针对自然条件下高架栽培模式 种植的草莓通过搭建远 近景组合视觉定位系统 并结 开发研究 15 新 疆农机化 2021 年第 6 期 合 D H法建立的机械臂各连杆间的关系式 设计了一种 草莓采摘末端执行器 既提高了采摘定位的精准度 又在 一定程度上避免了对草莓造成的损伤 目前国内外草莓 采摘机器人尚存在一些问题 一是设备普遍只适配特定 种植模式或特定品种的草莓 专用性较强 通用性有待 提高 二是设备整机结构复杂 体积较为庞大 通过性较 差 对草莓种植密度的合理性提出更高的要求 三是草 莓的自然生长环境复杂多变且其生长位置及形状各异 设备在识别草莓果实时易受多种因素干扰 导致设备定 位精准度下降 出现漏摘或损伤果实的现象 图 2 基于高架栽培的草莓采摘机器人 2 3 葡萄采摘机器人 葡萄与草莓同属于浆果类水果 外果皮为一到数层 薄壁细胞 肉质具有柔软多汁的特点 葡萄果实形状各异 且在不同成熟度下颜色复杂多样 这对葡萄采摘机器人 的研究提出了更高的要求 日本冈山大学 Monta等 16 针对 棚架种植模式研制出一种具有多种作业功能的葡萄采 摘装置 采用激光扫描方式对葡萄簇进行识别 定位及 果实成熟度判断 该装置配套有多种类型的末端执行器 在葡萄整个生长周期中 可根据实际作业需求对末端执 行器进行更换 以满足修剪 喷药和收获等作业需求 针 对现有葡萄采摘机器人自主导航性能普遍较差的问题 郭素娜等 17 设计出一款利用 RSSI无线传感器定位导航 的葡萄采摘机器人 该机器人采用视觉传感器对成熟葡 萄进行定位 通过机械臂上柔软的执行末端对葡萄进行 柔性抓取 既提升了设备的自主导航行能力 又完成了葡 萄果实的无损采摘 欧洲研究团队研制的自走式葡萄园 智能管理设备借助立体视觉技术对葡萄藤及葡萄果实 的生长状况进行实时监控 有助于管理者准确判断葡萄 果实的成熟度 辅助人工进行葡萄采摘作业 目前 葡萄 采摘机器人的研发与应用过程仍存在采摘环境复杂 果 实识别率低 果实损伤率高 采摘周期长 设备制造维修 成本高等难点与制约因素 未来将在智能化 开放性 结 构优化等方面进一步提高 2 4 番茄采摘机器人 国外对番茄采摘机器人的研究已经有很多年的历 史 并取得了一定的研究成果 90年代初 日本研制出一 款具有自主导航功能的七自由度番茄采摘机器人 该机 器人采摘系统由关节型机械臂和末端执行器两部分组 成 其中末端执行器安装有橡胶垫和压力传感器 可以 有效降低果实的接触损伤 2004年 美国加利福尼亚机械 公司推出的全自动番茄收获机可将番茄蔓藤切割后送 入分选仓 利用光谱特征识别出成熟番茄果实 从而将 成熟番茄和未成熟番茄分开 并将番茄枝叶粉碎 18 2008 年 日本冈山大学田充司等研发出一款钢轨行走式番茄 采摘机器人 在进行番茄采摘作业时 该机器人行走在预 设钢轨上 同时利用视觉系统对番茄果实进行探测 若发 现成熟果实 则控制系统控制四指型末端执行器采摘目 标果实 由于该机器人工作时需要预设轨道 因此增加了 管理者成本的投入 此外还要求具有合理的种植模式 因 此 该机器人存在对传统密植型的番茄种植模式适配性 较差和使用成本较高的问题 2017年北京工业大学王丽 丽等针对棚架式种植园作业环境 以成熟番茄为采摘对 象 研制出一款自走式多功能智能番茄采摘机器人系统 该机器人采用四轮结构型式的行走机构 既能用于温室 种植环境 也能用于开放的田间种植环境 具有通用性 强的特点 该机器人采用四自由度关节型机械臂 通过 更换不同末端执行器即可采摘其他果蔬 提高了设备的 通用性 具有操作灵活 控制方便的特点 目前 对番茄 采摘机器人的研究虽然已在图像识别与定位 自主导航 等方面取得阶段性进展 但从整体上来看 其智能化程 度还未达到农业生产的要求 此外 还存在机器人行走 底盘通用性差 采摘机械臂成本高 体积大 控制较复杂 以及现有生产模式规范性不足的问题 为适应复杂的农 田环境并最终实现高效无损采摘 番茄采摘机器人的实 用性亟需提高 2 5 黄瓜采摘机器人 黄瓜是设施农业生产的主要作物之一 收获过程枯 燥 繁重 为减轻工人劳动负担 提高采摘效率 开展对 黄瓜采收作业机器人的研究具有十分重要的现实意义 然而 黄瓜果实成熟度难以简单地通过颜色信息进行判 断 黄瓜果实具有脆嫩和分布随机的特点 因此存在因 黄瓜果实与植株颜色相近而难以识别的情况 进而导致 采摘成功率下降 因此 近色系果实目标识别与柔性抓取 成为黄瓜采收作业机械亟需解决的难点问题之一 日本的 Kondo等 19 20 研制的黄瓜采收装置采用六自由度机械臂构 开发研究 16 新 疆农机化2021 年第 6 期 成执行机构 采用 CCD摄像头实时采集图像信息 利用反 射光原理区分出黄瓜和茎叶 采摘成功率受颜色和形状 的影响较大 约为 60 为提高采摘成功率和作业速度 需对黄瓜采摘机器人的结构 路径规划方法 采摘方式 等方面进行改进 荷兰的 VanHenten等 21 22 研发的智能 温室轨道黄瓜采收机器人可在温室预设的轨道上实现 整机的移动 在末端执行器将黄瓜果实夹紧后 采用高 压电极将果梗切断的方式进行黄瓜采收作业 采摘成功 率约为 80 中国农业大学的张帆等 23 针对黄瓜采摘环 境光照复杂多变和近色系果实识别问题 提出基于光谱 图像的近色系黄瓜识别方法 设计了一种温室黄瓜采摘 机器人系统 该系统是一种适用于温室非结构环境下黄 瓜采收的自动化系统 通过结合多传感器技术 使机器 人具备了自主导航 果实成熟度判断和自主采摘等功 能 目前 虽然大部分的黄瓜采收作业机械已具备最基 本的采摘作业功能 但在一些方面仍存在着明显不足 需 要加以优化与改进 3 采摘机器人存在的问题 目前 各国对果蔬采摘机器人都进行了大量的研究并 且取得了一定的成果 但大部分果蔬采摘机器人还处于研 究阶段 离实用化和商品化还有一定的距离 仍存在以下 问题 1 末端执行器采摘准确率有待提高 在采摘过程中 机器人视觉系统对果蔬的识别 定位及机械臂的路径规划 存在误差 导致果实的采摘成功率下降 2 采摘设备环境适应性较差 在自然环境下生长 的果实易被叶片遮掩 导致采摘设备的视觉系统对果实识 别较为困难 此外 复杂的环境使采摘设备的避障性能面 临严峻的挑战 3 采摘对象损伤率较高 在采摘过程中 机器人末 端执行器夹持果实时易对其造成表面划伤及内部挤压变 形 或者抓取不稳导致其脱落造成损伤 4 平均采摘周期较长 采摘效率不够高 机器人工作 环境复杂 视觉系统对果实识别及定位率较低 另外 自然 条件多变也增加了图像处理的难度 5 机器人通用性较差 现有机器人多数是针对某种 特定果蔬而研制的 不同种类果蔬之间不能通用 专用性 较强 但通用性较差 6 机器人制造成本及维修费用较高 果蔬采摘机器 人不同于工业机器人 其作业环境更为复杂 作业要求更 高 制造成本更高且使用周期较短 使用季节性较强 维 护费用较高 经济性较差 4 未来发展趋势 1 优化机械结构 研发适用于典型果蔬采摘的执行 器 传感器 材料和软体机械 降低采摘过程中的果蔬损 伤 提高末端执行器的灵巧性和柔顺性 2 开发智能化的果实识别与定位技术以及图像处 理算法 降低复杂环境对机器人视觉系统的干扰 提高 果实识别与定位的准确性和快速性 3 优化自动控制系统 研发自适应强 鲁棒性好和 路径算法最优的智能化自动控制系统 提高采摘机器人 的可靠性和采摘效率 4 增强设备的通用性 开发适用于形状相近果蔬采 摘的末端执行器 采用开放式的控制系统 研制可采摘 多种果蔬的采摘机器人 增强设备的通用性 提高设备利 用效率 5 降低设备操作难度及生产成本 设计操作简单方 便 经济性好 制造和维修费用较低的设备 5 结论 随着经济结构的调整 农业劳动力逐渐向社会其他产 业转移 导致劳动力资源日趋紧张 果蔬采摘机器人正越 来越多地应用于农业采摘中 但果蔬品种多样 农艺不一 采摘收获环节较为复杂 目前典型果蔬采摘机器人大多专 用性较强 但通用性较差 且平均采摘周期较长 易对采摘 对象造成损伤 成为制约其应用推广的严重阻碍 为促进果 蔬采摘机器人的实用化和商业化 还需要在优化机械结构 设计 开发智能化果实识别定位技术 优化智能控制系统 增强设备通用性及降低设备操作难度等方面加以改进 参考文献 1 宋健 张铁中 徐丽明 等 果蔬采摘机器人研究进展与展望 J 农业 机械学报 2006 5 158 162 2 李国利 多末端苹果采摘机器人设计与研究 D 南京农业大学 2017 3 祝前峰 陆荣鑑 李奉顺 苹果采 摘机械的研究现状与发展趋势 J 林 业机械与木工设备 2021 49 5 4 9 15 4 D M Bulanon T Kataoka A fruit detection system and an end effector for robotic harvesting J Agricultural Engineering International theCIGREjournal 2010 XII 1 14 5 D M Bulanon T Kataoka H Okamoto et al Determing the 3 D location of the apple fruit during harvest C Proceedings of ConferenceonAutomationTechnologyforOff RoadEquipment 2004 91 97 下转第 21 页 开发研究 17 新 疆农机化2021 年第 6 期 上接第 17 页 6 Duke M Bulanon Takashi Kataoka Hiroshi Okamoto et al Feedbackcontrolofmanipulatorusingmachinevisionforrobotic appleharvesting C ASAEAnnualInternationalMeeting 2005 1 8 7 周天娟 张铁中 果蔬采摘机器人技术研究进展和分析 J 农业机 械 2006 22 38 39 8 KondoN TingKC Roboticsforbio productionsystems M ASAE Publisher 1998 9 赵春光 苹果采摘机械手的设计与优化 D 哈尔滨商业大学 2019 10 马履中 杨文亮 王成军 等 苹果采摘机器人末端执行器的结构 设计与试验 J 农机化研究 2009 31 12 65 67 11 Zhao De An Lv Jidong Ji Wei et al Design and control of an appleharvestingrobot J BiosystemsEngineering 2011 110 2 12 顾宝兴 姬长英 王海青 等 智能移动水果采摘机器人设计与试 验 J 农业机械学报 2012 43 6 153 160 13 顾宝兴 姬长英 王海青 等 农用开放式智能移动平台研制 J 农 业机械学报 2012 43 4 173 178 187 14 顾宝兴 智能移动式水果采摘机器人系统的研究 D 南京农业大 学 2012 15 TRINDAD J B Machine for automatically harvesting fruits cultivatedinrows EP3498076A1 P 2017 12 15 16 MontaM KondoN InstituteofElectricandElectronicEngineer Agriculturalrobotingrape productionsystem C Robotics and Automation 1995 Proceedings 1995 IEEE International Conferenceonvol 3 1995 2504 2509 17 郭素娜 张丽 刘志刚 一种高精度自主导航定位的葡萄采摘机 器人设计 J 农机化研究 2016 38 7 20 24 18 张洁 李艳文 果蔬采摘机器人的研究现状 问题及对策 J 机械 设计 2010 27 6 1 5 19 刘长林 张铁中 杨丽 果蔬采摘机器人研究进展 J 安徽农业科 学 2008 13 5394 5397 20 Seiichi Arima Naoshi Kondo Cucumber Harvesting Robot and Plant Training System J Journal of Robotics and Mechatroics 1999 11 3 208 212 21 E J van Henten et al An Autonomous Robot for Harvesting Cucumbers in Greenhouses J Autonomous Robots 2002 13 3 241 258 22 E J Van Henten et al Field Test of an Autonomous Cucumber PickingRobot J BiosystemsEngineering 2003 86 3 23 张帆 张帅辉 张俊雄 等 温室黄瓜采摘机器人系统设计 J 农业 工程技术 2020 40 25 16 20 电子科技大学 2019 2 张保华 李江波 樊书祥 等 高光谱成像技术在果蔬品质与安 全无损检测的原理及应用 J 光谱学与光谱分析 2014 34 10 2743 2751 3 彭彦昆 农畜产品品质安全光学无损快速检测技术 M 北京 科学出版社 2016 5 8 4 贾敏 欧中华 高光谱成像技术在果蔬品质检测中的应用 J 激光生物学报 2018 27 2 119 126 5 褚小立 化学计量学方法与分子光谱分析技术 M 化学工业 出版社 2011 6 方益明 杨帆 李晓勤 库尔勒香梨表面损伤的高光谱图像检 测方法 J OL 激光与光电子学进展 1 12 2020 12 09 7 JanosCK MohammadG Real timepixelbasedearlyapplebruise detection using short wave infrared hyperspectral imaging in combination with calibration and glare correction techniques J FoodControl 2016 66 1 215 226 8 Keresztes JC Diels E Goodarzi M et al Glare based apple sortingand iterative algorithm for bruise region detection using shortwave infrared hyperspectral imaging J Postharvest Biol Technol 2017 130 103 115 9 赵曼彤 李柏承 周瑶 等 香梨表面低浓度农药残留高光谱检测 研究 J 光学技术 2016 42 5 408 412 419 10 徐洁 杨杰 孙静涛 等 基于高光谱技术的哈密瓜表面农药 残留判别分析 J 江苏农业科学 2016 44 12 338 340 11 薛书凝 殷勇 于慧春 等 香蕉贮藏中腐败基准确定与高光 谱信息表征及腐败预警模型构建 J 光谱学与光谱分析 2020 40 12 3871 3877 12 张棣 殷勇 于慧春 等 高光谱融合马氏距离的贮藏黄瓜腐 败预警方法 J 核农学报 2020 34 12 2749 2755 13 曹晓峰 任惠如 李幸芝 等 高光谱技术结合特征波长 光谱 指数对冬枣成熟度可视化判别 J 光谱学与光谱分析 2018 38 7 2175 2182 14 孟庆龙 张艳 尚静 高光谱成像结合 BP 网络无损检测李子 的硬度 J 激光与红外 2019 49 8 968 973 15 程丽娟 刘贵珊 何建国 等 灵武长枣蔗糖含量的高光谱无 损检测 J 食品科学 2019 40 10 285 291 16 王风云 郑纪业 阮怀军 等 基于高光谱的套袋和不套袋苹 果糖度无损预测模型研究 J 山东农业科学 2020 52 6 129 136 17 MaT Li X Inagaki T et al Noncontent uation of solube solidscontentinapplesbynear infraredhyperspectralimaging J Journal of Food Engineering 2018 224 53 61 18 邵园园 王永贤 玄冠涛 等 高光谱成像快速检测壳聚糖涂 膜草莓可溶性固形物 J 农业工程学报 2019 35 18 245 254 开发研究 21