基于视觉识别的水果采摘机器人关键技术研究进展与展望.pdf

第 nullnull 卷 第 null 期 农业装备与车辆工程 nullnullnullnull 年 null 月 nullnullnullnull nullnull nullnullnull null nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull null nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 基金项目 国家自然科学基金面上项目 nullnullnullnullnullnullnullnull 广东省自然科学基金面上项目 nullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 广州市基础与应用基础 研究专题青年博士 null启航 null项目 nullnullnullnullnullnullnullnullnullnullnullnull 收稿日期 nullnullnullnullnullnullnullnullnullnull 作者简介 欧骏 nullnullnullnull null 男 研究方向 机器视觉 null水果采摘机器人 nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull 通信作者 程碧懿 nullnullnullnull null 男 副教授 博士 研究方向 人工智能 null农业机器人 nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull 基于视觉识别的水果采摘机器人关键技术研究进展与展望 欧骏 宁枫 程碧懿 王红军 华南农业大学 工程学院 广东 广州 nullnullnullnullnullnull 摘要 为分析基于视觉识别的水果采摘机器人在复杂多变的农业环境中识别能力和采摘精度 系统梳理视觉采摘 机器人的关键技术研究进展 聚焦视觉系统的识别算法 阈值法 null边缘检测 null深度学习 定位算法 传感器融合 null三 维点云配准 null视觉 nullnullnullnull 及运动规划算法 路径优化 null自适应控制 结合草莓 null苹果等典型水果采摘案例进行对比 分析 null研究表明 识别技术深度学习算法在复杂环境下可实现 nullnullnull以上的识别准确率 多传感器融合定位技术将 误差控制在 nullnull nullnull 内 而针对不同执行器研发运动轨迹算法可以使采摘效率平均提升 nullnullnullnull未来研究需进一步提 高视觉系统的环境适应性 开发轻量化视觉模型与通用型末端执行器 推动水果采摘机器人向智能化 null高精度和低 成本方向发展 null 关键词 水果采摘机器人 视觉系统 识别算法 定位算法 运动轨迹算法 中图分类号 nullnullnullnull nullnullnullnullnull 文献标识码 null 文章编号 nullnullnullnull nullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull 引用格式 欧骏 宁枫 程碧懿 王红军 null 基于视觉识别的水果采摘机器人关键技术研究进展与展望 null null 农业装备 与车辆工程 nullnullnullnull nullnull nullnull nullnull nullnullnullnull esearch progress and prospect of key technologies of fruit picking robot based on visual recognition nullnull nullnullnull nullnullnullnull nullnullnullnull nullnullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnull Abstract nullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnull null nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnull nullnull nullnullnullnull nullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnull nullnull nullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnull nullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnull nullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull nullnullnull nullnullnullnullnull Key words nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull null 引言 国内外常见的水果采摘机器人的基本构成通常 分为 null 个部分 机械手臂和末端执行器 null移动平台和 视觉系统 null视觉系统作为 null 大部分中最关键的部分 其性能直接决定了机器人的作业能力 null当前主流视 觉系统可分为基于传统图像处理 如颜色阈值分割 null 边缘检测 和基于深度学习 如 nullnullnullnullnullnullnullnullnull null null nullnullnull null 种模式 null主要存在 null 方面不足 null 自然光照 变化导致的目标特征不稳定 null 枝叶遮挡造成的识 别完整性不足 null 果实重叠引发的定位精度下降 null 采摘机器人的视觉系统大部分都由 null 个部件构 成 相机 null图像处理装置和测距装置 nullnullnull null相机用于 捕捉果园图像信息 可分为单目 null双目或多目摄像 头 null null图像处理装置负责对摄像头捕获的图像进行 分析和处理 包括背景分割 null目标识别和定位等步骤 null 测距装置包括激光测距仪 null null超声波测距传感器 null null 单目视觉测距系统 null 以及双目视觉测距系统 null null 目前 基于视觉识别的水果采摘机器人在通用 性 null null定位技术 null null采摘效率 nullnull 等方面都存在缺陷 null 本文对视觉识别系统依托的主要算法进行分类梳理 对水果采摘机器人研究现状进行简单归纳 指出其存 在的问题和不足 并给出了未来的研究方向 null null 视觉识别系统的主要算法 nullnullnull 识别算法 识别算法是影响水果采摘机器人视觉识别系统 性能的关键因素 null根据算法的复杂度 可以将目前主 流识别算法分为简单算法 null中等复杂度算法和高复杂 度算法 null nullnullnullnullnull 简单算法 简单识别算法是水果识别技术的基础 null其中阈 值法和边缘检测算法是图像处理的基础逻辑算法 null 阈值法适用于光照稳定 null目标与背景颜色对比鲜明的 场景 具有较好的实时性 边缘检测算法适用于复杂 自然环境下形状不规则 null颜色与背景相近的水果识 别 需配合滤波和形态学处理以提升鲁棒性 null 阈值法通过设定特定的阈值来将图像的像素值 划分为不同的类别或区域 null阈值分割算法主要可分 为固定阈值法与动态阈值法 或自动阈值法 固定 阈值法重点在于阈值的选择 通过对水果特征图像的 全局处理获得数据并和阈值对比 但固定阈值法二值 化效果极为粗糙僵硬 适用性不强 nullnullnull 等 nullnull 以 null nullnull 和 nullnull nullnullnullnull 色彩因子作为色彩特征 将色差作为固 定阈值成功分离苹果和干扰项 初广丽等 nullnull 通过对 水果图像设置归一化色差阈值 实现对球类水果的快 速识别 null这 null 种固定阈值法都对干扰项如树叶 null光线 十分敏感 需要人工对相机视场进行预处理 nullnullnullnullnull 自动阈值法 nullnull 是 nullnullnullnull 年出现的著名的动态阈值分 割算法 在图像分割领域应用广泛 null王梓函等 nullnull 开 发的柔性机械手运用了 nullnullnullnull 自动阈值法加形态学运 算优化 这使得机械手能够对水果单一特征进行识别 抓取 徐晓婧等 nullnull 的葡萄采摘机器人识别算法将 nullnullnullnull 法和孔洞填充 null形态学运算相结合 实现了对多 果实水果光照影响的优化 null 边缘检测法通过增强图像中的边缘信息来区分 不同的对象和背景 常用的方法包括 nullnullnullnullnullnullnullnullnullnullnull 和 nullnullnullnullnullnullnullnullnull 等算子 null边缘检测具有对目标边缘定位 快 null准确特点 但存在遮挡下目标边缘短线段识别冗 杂问题 null李靖等 nullnull 对传统 nullnullnullnullnull 算法进行改进 建 立边缘多尺度细节和 nullnullnullnull 优化模型 能够提升边缘 特征提取精度并增强算法对光照的适应性 nullnullnullnull 等 nullnull 利用 nullnullnullnull nullnullnullnullnullnullnull 数学模型同边缘检测算法 相结合的方式 使得遮挡情况下对苹果识别实时检测 变得迅速准确 null nullnullnullnullnull 中等复杂度算法 中等复杂度算法将大数据作为分类基础 对水果 特征进行捕捉来帮助进行图像识别 null原始图像数据 可分为颜色特征 null区域特征 null数据特征 null 种 null具体信 息如表 null 所示 null 表 null 原始图像数据信息对比 nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnull 特征 优势 局限性 颜色 直观易获取 null与成熟 度相关 null可区分性高 受光照影响大 null对部分水果 效果有限 null对相似颜色背景 敏感 区域 抗干扰能力强 null可区 分性高 null可结合其他 特征 易受遮挡影响 null计算复杂度 高 数据 包含丰富信息 null可挖 掘性强 null可适应性强 提取难度大 null计算复杂度高 null 对数据质量要求高 null 基于颜色特征的聚类算法 这类算法主要用 于将图像中的像素点根据颜色特征聚集成不同的类 别或簇 null常见的基于颜色特征的聚类算法包括 K null nullnullnullnullnull 聚类算法和 nullnullnullnull 算法 nullnullnullnullnull 等 nullnull 开发了一 种自适应 K 均值算法 使用深度图作为像素聚类的 输入 显著提高了成熟果实实例分割的统计结果 nullnullnullnull 等 nullnull 使用 nullnullnullnull 算法将图像分割为约 nullnullnull 个超 像素 提取颜色特征和纹理特征 通过阈值计算筛选 出属于柑橘的超像素 null null 基于区域特征的图像分割算法 这类算法将 图像划分为多个具有相似特征的区域 如颜色 null纹理 null 亮度等 null朱磊 nullnull 将脐橙 nullnullnull 超像素图像构建最小 生成树 结合残差网络 nullnullnullnullnullnull 和密集卷积网络 nullnullnullnullnullnullnullnull 作为特征提取的骨干网络生成掩码以获 取果实掩膜图 田玉宇 nullnull 利用图论原理中的 nullnullnull 最 小生成树和深度图像定位图对 nullnullnull 图像像素进行分 割 并对分割区域进行评估是否能合并 nullnullnullnullnull 等 nullnull 使用 nullnullnullnullnullnullnullnullnull 算法通过深度增强特征融合模块将 彩色图像和深度图像的特征进行融合 然后利用基于 距离约束和条件搜索的方法在语义点云中对番茄果 实 null花梗和茎进行区域分割和匹配 null null 基于数据特征的监督学习算法 这类算法通 常依赖于标记的训练数据来学习如何将图像内容分 nullnull第 nullnull 卷第 null 期 欧骏 等 基于视觉识别的水果采摘机器人关键技术研究进展与展望 类到预定义的类别中 null支持向量机 nullnullnull 是一种常 见的机器学习分类器 通过将图像分割问题转化为分 类问题 null郝骞 nullnull 利用 nullnullnull 特征 图像不同区域边缘 方向和梯度信息 和 nullnullnull 分类器对苹果形状特征图 像进行分割 对每一单元格区域的 nullnullnull 算子进行分 类 达到果实识别的准确率为 nullnullnullnullnullnull nullnull 等 nullnull 将水 果 nullnullnull 图像转换 nullnullnull 颜色空间并构建 nullnullnull 区域定 位目标 再根据 nullnullnull 特征用 nullnullnull nullnullnullnull 分类器对水 果颜色图像进行分割随机森林 nullnull 经过训练可以对 样本进行分类 nullnull 具有良好的鲁棒性并能克服过拟 合问题 李超 nullnull 通过对 nullnullnull 颜色特征图像来训练 nullnull 模型 对西红柿成熟度 null 个等级的识别精度能达到 nullnullnullnullnullnullnull nullnullnullnullnull 高复杂度算法 高复杂度算法是利用深度学习模型强大的特征 提取和模式识别能力 通过从大量标注的水果图像中 学习特征 实现对不同种类水果的准确识别和分类的 算法 null即使在复杂背景下也能保持较高的识别率和 鲁棒性 null卷积神经网络 nullnullnull 和深度学习算法 nullnullnullnull 系列 是水果识别算法中使用最广泛的模型 null 卷积神经网络是一种多层神经网络结构 其主要 由卷积层 null池化层 null全连接层等不同的基本层组成 null 常见的模型有 nullnullnullnullnullnull null nullnullnullnullnullnullnullnullnull nullnullnullnullnull 和 nullnullnull null nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull 是一种经典的两阶段模型 它 在 null nullnullnullnull 和 nullnullnullnull null nullnullnullnull 的基础上进行了改进 引 入区域建议网络 nullnullnull 来实现对目标边界的精确划 分 nullnullnullnullnullnullnullnullnull 等 nullnull 使用 nullnullnullnullnull 作为特征提取网络的 骨干网络 使用尺寸调整和增强后的 nullnullnull 图像结合 注意力模块特征图和 nullnullnull 提议进行训练 得到椰子 簇的边界框坐标 nullnullnullnullnull null nullnullnullnull 在 nullnullnullnullnullnull null nullnullnullnull 的 基础提升了分割精度并能提供目标的精确形状和轮 廓信息 nullnullnullnullnull 等 nullnull 以 nullnullnullnullnullnull 和 nullnullnull 作为骨干网 络 并加入 nullnullnull 模块来获得更精细的特征图 再引入 nullnullnullnullnull 加强对水果的掩码分割能力 null对于水果茎干 识别问题 nullnullnullnullnullnullnullnullnullnull 等 nullnull 用已有 null 种不同的特征 学习子网络与 null 种元架构组合衍生出的 nullnull 种 nullnullnull 模型架构作为基础 用 nullnullnullnullnullnullnull 激活函数代替传统分 类层 计算出像素点与茎干之间的距离作为回归目 标 再结合 nullnullnull 图像对 nullnullnull nullnullnull 模型进行训练 在 处理不平衡数据和处理像素级回归问题时表现出色 null nullnullnullnull 算法作为一阶段模型不使用 nullnullnull 模型中 的区域建议网络 nullnullnull 而是将识别当作回归问题 一次性预测多个边界框和类别概率 具有处理速度 快 null实时性高的特点 nullnullnullnullnull 等 nullnull 提 出 了 基 于 nullnullnullnullnullnullnull 的改进模型 nullnullnullnullnullnullnullnull 通过结合 nullnull 模型 和 nullnullnullnull 注意力机制来增强模型的特征提取能力 郭武元 nullnull 运用 nullnullnullnullnullnullnullnull 网络结构替换 nullnullnullnullnullnull 主干 网络 加 入 nullnullnullnull nullnullnullnullnullnull 以 及 nullnullnullnullnull 网 络 结 构 对 nullnullnullnullnullnull 特征融合模块结构进行优化 实现模型大小 减少 nullnullnullnullnullnullnull对于复杂多簇水果 nullnullnullnull 等 nullnull 通过 nullnullnullnullnull 替换了 nullnullnullnullnullnull 中的 nullnull 主干网络并插入 nullnull 模块来调整通道权重来降低实例噪声干扰 增强了对 重叠和遮挡条件下葡萄的分割能力 null高复杂度算法 的信息总结如表 null 所示 null nullnullnull 定位算法 水果采摘机器人的定位算法是其视觉系统的关 键组成部分 它负责在识别目标水果后 对其进行精 确的空间定位 null这一过程首先需要获取苹果的二维 图像信息以及深度信息 这通常通过单目视觉 null立体 视觉或结构光等深度信息获取方法来实现 null 表 null 高复杂度算法总结 nullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull 算法名称 检测精度 nullnull nullnullnullnullnull Fnull 值 nullnull 检测时间 nullnullnull 优势 局限性 nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull 两阶段检测 null准确率高 数据需求大 null计算速度慢 nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnull 实例分割效果好 数据需求大 null计算速度慢 nullnullnullnullnullnullnull null nullnullnullnullnullnullnullnullnullnull null nullnullnull 结构简单 计算量较小 小目标检测效果差 nullnullnullnullnullnullnullnull nullnullnullnullnull null nullnullnullnullnull nullnullnull 实时性高 null泛化能力强 对光照敏感 null计算复杂度 高 nullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnull 一阶段检测 运行速度快 小目标检测效果差 nullnullnullnullnullnull nullnullnullnullnull null nullnullnullnullnull nullnull 自适应参数调整策略 模 型性能高 计算量 null数据需求大 nullnull 农业装备与车辆工程 nullnullnullnull 年 nullnullnullnullnull 传感器融合定位算法 传感器融合定位算法是一种集成多种传感器数 据以提高定位精度和鲁棒性的技术 null常见的传感器 定位方法有深度相机和激光定位 null null 深度相机是一种能够检测拍摄空间景深距离 的设备 能够将深度传感技术和图像特征捕捉功能相结 合 从而得到目标物体的空间位置信息 null李昌璐 nullnull 运 用深度相机求出像素坐标系 null图像坐标系 null相机坐标 系和世界坐标系之间转换关系 实现对苹果的定位 宋赵铭 nullnull 使