基于MSCS-YOLO的非结构化环境中草莓成熟度识别_王永胜.pdf

null null null null 年 null 月 农 业 机 械 学 报 第 nullnull 卷 第 null 期 nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull 基于 MSCS YOLO 的非结构化环境中草莓成熟度识别 王永胜 null 丁 宇 null 张若晨 null null 许洪光 null 范 玥 null nullnull 河北东方学院人工智能学院 廊坊 nullnullnullnullnullnull nullnull 北京市农林科学院智能装备技术研究中心 北京 nullnullnullnullnullnull nullnull 国家农业智能装备工程技术研究中心 北京 nullnullnullnullnullnull nullnull 河北东方学院经济管理学院 廊坊 nullnullnullnullnullnull 摘要 针对草莓个体较小 个体间遮挡严重的问题 提出了一种基于 nullnullnullnull null nullnullnullnull 的非结构化环境中草莓成熟度 识别方法 在 nullnullnullnull nullnullnull 模型的 nullnullnullnull 部分引入多尺度扩展注意力机制 nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull 扩大模 型的感受野 解决草莓果实较小 特征易被忽略的问题 同时 利用改进的 nullnullnull null nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull 结构替换 nullnullnullnull 部 分的 nullnullnull 结构 从 null 个维度更全面地捕捉草莓图像的信息 增强模型在果实遮挡情况下的目标识别能力 将改进的 nullnullnullnullnullnull 检测头嵌入到 nullnullnullnull nullnullnull 模型 提升模型在非结构化环境中对不同成熟度草莓的识别精度 试验结果表 明 nullnullnullnull null nullnullnullnull 模型在成熟 中等成熟及未成熟 null 类草莓识别的任务中 平均精度均值达到 nullnullnull nullnullnull 较 nullnullnullnull nullnullnull 和 nullnullnullnullnullnull null null 模型分别提高 nullnull nullnull nullnull nullnull 个百分点 对成熟和中等成熟草莓识别平均精度分别达到 nullnullnull nullnullnull 和 nullnullnull nullnullnull 较 nullnullnullnull nullnullnull 模型分别高 nullnull nullnull nullnull nullnull 个百分点 nullnullnullnull null nullnullnullnull 模型在各种光照条件下 包括夜晚 晴天 直射阳光和光线照射 都展现了更佳的识别表现和更高的准确性 此外 改进模型内存占用量为 nullnull nullnull nullnull 相较于 nullnullnullnull nullnull null nullnullnullnull 和 nullnullnullnull nullnullnull 模型分别减少 nullnullnull nullnullnull和 nullnullnull nullnullnull 在保持与 nullnullnullnull nullnullnull 相近模型体积的同时 实现了 精度与效率的协同优化 因此 nullnullnullnull null nullnullnullnull 模型在资源有限的环境中更具部署和应用的优势 为后期对草莓成 熟度的实际应用提供了可靠的技术支持 关键词 非结构化环境 草莓成熟度识别 nullnullnullnullnullnull nullnullnullnull nullnullnull 中图分类号 nullnullnullnullnull null 文献标识码 null 文章编号 nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull OSID 收稿日期 nullnullnullnull nullnullnull nullnullnull 修回日期 nullnullnullnull nullnullnull nullnullnull 基金项目 国家重点研发计划项目 nullnullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnull 河北省级一流本科专业 null 物联网工程项目 冀教高函 nullnullnullnull nullnull 号 河北省 级一流本科立项建设课程 null 嵌入式系统与设计项目 冀教高函 nullnullnullnull nullnull 号 和河北东方学院校级科研项目 nullnullnullnullnullnullnullnullnullnullnull 作者简介 王永胜 nullnullnullnull 男 助教 主要从事机器视觉技术研究 nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnull 通信作者 许洪光 nullnullnullnull 男 副教授 主要从事软件工程和人工智能研究 nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnull Strawberry Maturity ecognition in Unstructured Environments Based on MSCS YOLO nullnullnullnull nullnullnullnullnullnullnullnullnull null nullnullnullnull nullnull null nullnullnullnullnull nullnullnullnullnullnullnull null null nullnull nullnullnullnullnullnullnullnullnull null nullnullnull nullnullnull null null Artificial Intelligence College Hebei Oriental College Langfang nullnullnullnullnullnull China null esearch Center for Intelligent Equipment Technology Beijing Academy of Agriculture and Forestry Sciences Beijing nullnullnullnullnullnull China null National Engineering esearch Center for Intelligent Equipment in Agriculture Beijing nullnullnullnullnullnull China null Economics and Management College Hebei Oriental College Langfang nullnullnullnullnullnull China Abstract nullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull null nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnull null nullnullnullnull nullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnull nullnullnullnull nullnull nullnullnull nullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnull null nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnullnull nullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnull null nullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnull nullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnull nullnullnull nullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnull null null nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnull nullnullnull nullnullnull nullnullnull nullnullnullnullnull nullnullnull nullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnull nullnullnull nullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnull null nullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnull nullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnull nullnull nullnull nullnullnullnullnull nullnullnull nullnullnull nullnullnull nullnullnull nullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnull nullnullnull nullnullnullnull nullnull null nullnullnullnull nullnullnull nullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull null nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnull null nullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull Key words nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnull 0 引言 草莓作为一种兼具高经济价值与丰富营养的特 色浆果 其产业规模正不断扩大 对智能化采摘装备 的需求日益迫切 根据国家统计局数据显示 截至 nullnullnullnull 年 null 月 我国草莓种植面积已达 nullnull null nullnullnull null nullnull null 在非结构化环境中 由于草莓果实体积较小 易受树 枝和叶片遮挡 以及易受光照变化的影响 传统的人 工采摘方式存在效率低 劳动强度大 易产生主观误 判 果实损伤率高等问题 难以满足产业现代农业的 生产需求 严重制约了采摘自动化的发展 null nullnull 在传统机器视觉领域 研究者们主要依赖人工 特征提取与分类器构建实现果实检测 例如 谢志 勇等 null 通过图像分割对其进行 nullnullnullnullnull 变换 实现了 成熟草莓的识别 侯贵洋等 null 采用颜色特征与形 态特征相结合的方法 实现了对不同成熟度草莓分 类 nullnullnullnullnull 等 null 通过分析二维颜色直方图 并利用 颜色映射与反投影技术 对草莓果实的成熟度和品 质进行了分级 nullnullnullnull 等 null 提出基于几何中心匹 配的检测方法 并结合像素阈值技术对荔枝果实进 行分类 平均识别率达到 nullnullnull nullnullnull nullnullnullnull nullnullnull 尽管 这些方法在一定程度上提升了目标识别精度 但仍 高度依赖人工图像分割与手动特征提取 识别效果 易受操作人员经验影响 难以满足大规模 复杂场景 下自动化需求 近年来 深度学习技术快速发展为农业检测领 域带来了革命性的变革 针对草莓果实体积小 种 植环境复杂等挑战 研究者提出了多种基于深度学 习的优化模型 nullnullnullnull 等 null 提出 nullnullnull null nullnullnullnull 模 型 通过双维度特征增强策略 将草莓检测精度提升 至 nullnullnull nullnullnull nullnull 等 null 基于 nullnullnullnull nullnull 构建的 nullnullnullnullnull null nullnull null nullnullnullnull null nullnullnullnull 模型 在遮挡场景下对草莓检测 精度达到 nullnullnull nullnull 而 nullnullnullnull 等 null 融合 nullnull null nullnullnullnull nullnullnullnullnullnullnullnullnullnullnull 模块与 nullnullnullnull nullnullnull 构建了 nullnull null nullnullnullnull nullnullnull 模型 在草莓成熟度分级任务上达到 nullnullnull nullnull 的 检测精度 同时 nullnullnull 等 nullnull 基于任务对齐机制开发 的草莓检测算法 在密集小目标场景下平均精度达 nullnullnull nullnull 这些研究表明 深度学习方法能够通过自 动特征学习与上下文信息捕捉 有效提升复杂农业 场景下的目标检测性能 尽管现有方法在草莓检测任务中取得了较高精 度 但由于草莓个体小 果实密集以及叶片遮挡等因 素 小目标和遮挡仍然是影响检测性能的主要挑战 针对小目标检测 研究者提出了多尺度特征融合 膨 胀卷积等方法 以增强模型对小尺寸目标的感知能 力 nullnull nullnullnull 针对遮挡目标 研究者常利用注意力机 制 减轻背景干扰 增强对目标区域的关注 nullnull nullnullnull 提 高模型在遮挡情况下的识别精度 基于上述研究进展与现有技术挑战 本文提出 一种基于 nullnullnullnull null nullnullnullnull 的草莓成熟度检测模型 以 解决非结构化环境下草莓果实体积小 特征易被忽 略的问题 旨在增强模型对遮挡场景中目标识别能 力 提升不同成熟度草莓检测精度 为智能采摘系统 构建提供技术支持 1 试验材料 1 1 数据采集 为了确保数据集能够充分反映非结构化环境下 草莓生长特征 在江苏省某草莓种植园采集了不同 环境下的草莓图像 采集设备为 nullnullnullnullnullnull nullnull nullnullnull nullnullnull 光圈值为 nullnullnull null 焦距为 null nullnull 数据采集时间 为 nullnullnullnull 年 nullnull 月 nullnull nullnull 日 共采集 null nullnullnull 幅 nullnullnull 图 像 涵盖傍晚 晴天 阳光照射和灯光照射 null 种光照 条件 傍晚图像 nullnullnull 幅 晴天 nullnullnull 幅 阳光照射 nullnullnull 幅 灯光照射 nullnullnull 幅 所有图像分辨率均为 null nullnullnull 像 素 nullnull nullnullnull 像素 图 null 为 null 种不同环境下草莓图像 从图 null 可知 草莓果实存在较为严重的遮挡现象 由 图 nullnull 可知 由于灯光直射 草莓轮廓较为模糊 特征 不够明显 这些因素均会增加草莓识别的难度 nullnullnull第 null 期 王永胜 等 基于 nullnullnullnull null nullnullnullnull 的非结构化环境中草莓成熟度识别 图 null 不同环境下草莓图像 nullnullnullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnull 1 2 数据集制作 在模型训练前 采用 nullnullnullnullnullnullnullnull 软件对所采集草 莓图像进行人工标注 文献 nullnull 基于果皮着色面 积与市场需求的成熟度划分标准 将草莓成熟度分 为 null 个等级 成熟 果皮基本全部变红 中等成熟 果皮红绿相间 和未成熟 果皮主要为绿色 标 注过程中每幅图像均生成对应的 nullnullnull 标注文件 并 统一转换为 nullnullnullnullnullnull nullnullnull 格式 为提高模型泛化能 力 nullnull nullnullnull 将数据集按比例 nullnull nullnull null划分为训练集 验 证集与测试集 分别为 null nullnullnull 幅 nullnullnull 幅和 nullnullnull 幅 为明确草莓目标的尺度分布特征 依据相对 尺度定义标准 nullnull nullnullnull 对数据集中草莓实例进行了 划分 依据标注边界框的像素面积占图像像素总 面积的比重 将草莓实例划分为 null 类 小目标 比 重 nullnullnullnull 中目标 nullnullnullnull比重 nullnullnullnull 和大目标 比重 nullnullnullnull 经统计 本数据集中共包含草莓 实例 nullnull nullnullnull 个 其中小目标 nullnull nullnullnull 个 中目标 nullnull 个 大目标 null 个 各类别大 中 小目标实例统计 结果如表 null 所示 表 1 各类别大中小目标实例数量 Tab 1 Number of large medium and small target instances in each category 类别 小目标数量 中目标数量 大目标数量 成熟 null nullnullnull nullnull null 中等成熟 null nullnullnull null null 未成熟 null nullnullnull null null 由表 null 可知 小目标占比较高 表明草莓识别任 务