基于Mask_R-CNN的番茄植株整枝操作点定位方法.pdf

第38卷 第3期 农 业 工 程 学 报 Vol 38 No 3 128 2022年 2月 Transactions of the Chinese Society of Agricultural Engineering Feb 2022 基于Mask R CNN的番茄植株整枝操作点定位方法 冯青春 成 伟 李亚军 王博文 陈立平 1 北京市农林科学院智能装备技术研究中心 北京 100097 2 国家农业智能装备工程技术研究中心 北京 100097 3 农业智能装备技术北京市重点实验室 北京 100097 摘 要 针对工厂化番茄智能化整枝打叶作业需要 研究了基于Mask R CNN模型的整枝操作点识别定位方法 以期为整 枝机器人的精准操作提供依据 鉴于丛生植株中主茎和侧枝茎秆目标随机生长 形态各异 结合植株在不同生长阶段 远 近视场尺度和观测视角等条件下的成像特征 构建了温室番茄植株图像样本数据集 采用学习率微调训练方法 对Mask R CNN预训练模型进行迁移训练 建立了主茎和侧枝像素区域的识别分割模型 在对视场内同株相邻主茎和侧枝目标进行 判别基础上 提出基于图像矩特征的茎秆中心线拟合方法 以中心线交点为参考 沿侧枝进行定向偏移 实现对整枝操作点图 像坐标的定位 最后 通过测试试验评估该方法对目标识别和定位的效果 试验结果表明 模型对番茄主茎和侧枝目标识别的 错误率 精确率和召回率分别为0 12 0 93和0 94 对整枝操作点平均定位偏差与对应主茎像素宽度的比值为0 34 模型对于 近景仰视图像中目标的识别和定位效果优于其他视场的图像 该研究可为整枝机器人视觉系统的研发提供技术依据 关键词 农业 机器人 番茄整枝 植株茎秆 Mask R CNN doi 10 11975 j issn 1002 6819 2022 03 015 中图分类号 TP242 6 文献标志码 A 文章编号 1002 6819 2022 03 0128 08 冯青春 成伟 李亚军 等 基于Mask R CNN的番茄植株整枝操作点定位方法 J 农业工程学报 2022 38 3 128 135 doi 10 11975 j issn 1002 6819 2022 03 015 http www tcsae org Feng Qingchun Cheng Wei Li Yajum et al Method for identifying tomato plants pruning point using Mask R CNN J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 3 128 135 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 03 015 http www tcsae org 0 引 言 番茄是全球广泛种植的大宗蔬菜 1 对于保障人类营 养需求具有重要作用 中国番茄种植规模和产量居全球 首位 全国种植面积约100万hm2 年产量约6 100万t 占全球番茄总产量的35 1 产值占中国蔬菜总产值的 12 是菜农增收 蔬菜产业发展的重要支撑 整枝打叶 是番茄栽培管理的必要环节 几乎贯穿整个生产周期 及时摘除成熟变色果实区域的侧枝叶片 可以调节植株 营养和生殖生长平衡 改善通风透光条件 降低病虫害 发生风险 对于提高番茄产量和品质具有重要意义 2 3 然而每周2 3次的人工整枝打叶 是目前工厂化番茄种 植过程中操作最复杂 效率最低 人力投入最大的生产 环节之一 约消耗人力成本总投入的40 60 4 研发 温室番茄整枝打叶机器人 代替人工作业 对于提升番 茄种植效益具有重要意义 近年来 欧美国家果蔬整枝打叶机器人研发应用成 果显著 5 9 部分产品初步实现了产业应用 准确识别和 定位植株主茎和侧枝目标是机器人整枝的必要依据 然 收稿日期 2021 11 09 修订日期 2022 01 25 基金项目 国家重点研发计划项目 2019YFE0125200 北京市农林科学院 创新能力建设专项 KJCX20210414 作者简介 冯青春 博士 副研究员 研究方向为农业机器人 Email fengqc 通信作者 陈立平 博士 研究员 研究方向为农业智能装备 Email chenlp 而番茄植株主茎 叶片与侧枝色彩相近 丛生交错 无 序生长 基于有限特征阈值的传统分类方法较难实现图 像目标区域的准确分割 融合色彩 形态以及纹理特征 的多尺度信息建立自适应语义分割模型 可以有效改善 番茄茎秆目标的识别和分割效果 10 以多层卷积特征提取网络为核心的深度学习模型 11 其 端到端 的模型结构和算法的可迁移性 避免了传 统机器学习模型的复杂构建过程 并且具有更高的识别 精度 对于农业作业对象复杂视觉信息的感知具有独特 优势 12 13 目标识别方面 孙哲等 14 提出了一种基于Faser R CNN的自然环境下西兰花幼苗检测方法 平均精度达 到91 Henry等 15 提出了一种基于全卷积网络的奇异果 识别方法 并应用于采摘机器人 对密集果实的探测准 确率达到76 3 赵德安等 16 提出了基于YOLOv3深度 卷积神经网络的苹果定位方法 果实识别准确率为97 孙红等 17 建立了基于SSDLite MobileDet轻量化网络模型 的玉米冠层识别模型 识别精度为91 检测帧频89帧 s 目标分割方面 Yu等 18 通过对Mask R CNN语义分割模 型的迁移训练 实现了对重叠草莓图像区域的识别 分 割准确率为89 5 邓颖等 19 建立了基于改进Mask R CNN的柑橘花朵分割模型 平均精度36 3 花量计 数误差11 9 龙洁花等 20 引入CSPNet 改进Mask R CNN的ResNet 对不同成熟度番茄果实识别正确率为 90 Loyani等 21 基于Mask R CNN识别番茄叶片赤霉 病斑 精度达到85 67 Liu 等 22 采用改进的Mask 第3期 冯青春等 基于Mask R CNN的番茄植株整枝操作点定位方法 129 R CNN对近色背景下的黄瓜果实进行分割 识别精度F1 值为89 47 目前基于深度学习模型的植物花 叶和果 目标识别 主要以固定尺度和视角场景为主 然而番茄 侧枝随机分布于高大植株不同区域 摄像机需要以动态 变化的视场尺度和视角采集图像 因此 了解深度学习 模型对于不同远近视场尺度和拍摄视角场景下茎秆的识 别分割效果 是构建整枝机器人视觉系统的必要依据 本文以工厂化番茄植株为研究对象 以不同生长阶 段 远近视场尺度和拍摄视角的植株图像为样本 建立 基于Mask R CNN的茎秆分割模型 研究以离散主茎和 侧枝位置关系为约束的整枝操作点定位方法 并通过试 验评估算法对不同场景下目标的识别定位效果 从而为 整枝机器人研发提供技术依据 1 番茄植株整枝原理 1 1 工厂化温室番茄整枝规范 中国工厂化温室番茄普遍采用单杆整枝栽培方式 即 只保留植株主茎 植株底部枝叶全部摘除 3 单次整枝打 叶需要摘除植株成熟变色果实上方的2 3片侧枝 图1 在植株结果生产期间 果实沿主茎自下而上依次生长和 成熟 需要定期对植株不同区域进行整枝打叶 1 成熟果实区 2 变色果实区 3 整枝打叶区 4 待摘除侧枝 5 变色果实 1 Mature fruit area 2 Coloring fruit area 3 Pruning area 4 Lateral branch to prune 5 Coloring fruit 图1 番茄植株整枝打叶 Fig 1 Tomato plant pruning 1 2 整枝操作点 整枝操作需要在植株侧枝和主茎的结合点处 通过 折拧或者切割的方式将二者分离 以摘掉侧枝 因此 侧枝与主茎的结合点即为整枝操作点 如图2所示 该 目标点为主茎和侧枝中心线交点沿侧枝中心线偏移主茎 半径距离后得到的点 识别分割主茎和侧枝像素区域 是对整枝操作点定位的必要前提 图2 整枝操作点定位原理 Fig 2 Principle of locating pruning point 2 基于Mask R CNN的番茄茎秆图像分割 2 1 Mask R CNN算法原理 番茄植株图像中茎杆与叶片和果实背景颜色相近 姿态各异 丛生交错 传统的阈值分割和色差分割算法 难以对其进行准确识别和分割 鉴于深度卷积模型具备 特征提取和识别的独特优势 本文选用Mask R CNN 23 对番茄主茎和侧枝两类茎秆目标进行识别和分割 Mask R CNN算法流程如图3所示 主要包括以下步骤 1 通过特征提取网络ResNet50 FPN 23 对输入图像数 据进行多尺度信息的提取和融合 并生成一系列特征图 2 根据特征图与输入图像的映射关系 设置各种尺 度比例和形态的矩形锚点框 区域建议网络 Region Proposal Network RPN 对特征图进行滑窗扫描 对框 内目标和轮廓进行初步判断 形成候选目标区域 3 为了匹配后端全连接层固定数量的输入节点 RoIAlign Region of Interest Align network 算法对各个 候选区域的特征图规格进行标准化变换 将RPN网络获 得的目标候选区域与特征图进行匹配对齐 4 标准化的候选区域特征图 分别输入目标检测和 分割两个分支网络 前者通过全连接层 Full Connection FC 识别主茎和侧枝目标类别 并定位其各自边界框位置 后者通过全卷积网络 Fully Convolutional Networks FCN 对主茎和侧枝目标像素区域进行分割 注 ResNet为特征提取网络 RoIAlign为感兴趣区域对齐网络 RPN为区 域建议网络 FCN为全卷积网络 FC为全连接层 Note ResNet is the feature extraction network RoIAlign is the region of interest align network RPN is the region proposal network FCN is the fully convolutional networks FC is the full connection layer 图3 Mask R CNN模型架构 Fig 3 Mask R CNN model architecture 2 2 图像样本采集和标注 除了自身外观特征 目标在图像中的成像特征还决 定于拍摄角度和成像距离 鉴于番茄整枝几乎贯穿整个 生长周期 自然生长的主茎和侧枝个体之间位置和形态 各不相同 本文选用的植株样本包括生长期植株 侧枝 目标主要生长于主茎底部区域 如图4a所示 和生产期 植株 主茎底部侧枝已经被去除 侧枝主要生长于植株 农业工程学报 http www tcsae org 2022年 130 中部区域 如图4b所示 样本图像视场尺度分为远景 视场 包含3个以上侧枝 和近景视场 包含1 2个侧 枝 样本图像的拍摄角度分为仰视视场 从侧枝下方 采集图像 和正视视场 从水平正视方向采集图像 如图4所示 番茄植株图像数据集可分为8组图像样本 DU DF CU CF a 生长期 a Growing period DU DF CU CF b 生产期 b Productive period 注 DU DF CU CF分别为远景仰视 远景正视 近景仰视 近景正视 拍摄图像 下同 Note DU DF BE and CF are the images captured from distant upward view distant front view close upward view and close front view respectively Same below 图4 图像样本举例 Fig 4 Example of image samples 在温室内共采集各组图像1 500幅 为了提高模型训 练和检测效率 图像样本设置为720 720像素规格 通过 随机添加高斯噪声 将样本扩充至3 000幅 按照8 2的 比例划分为训练集与验证集 8组图像样本训练集和验证 集样本数量均分别为300和75 由茎秆图像观察可知 主茎与侧枝相间生长 主茎 呈竖直倾斜姿态 侧枝在其两侧生长 呈横向倾斜姿态 为了模型能够充分解析二者的特征 将侧枝之间的离散 主茎标注为一类目标 侧枝及其与主茎的连接区域标注 为另一类目标 采用Labelme标注工具 通过沿主茎和 侧枝轮廓多边形描点方式 对图片内的目标区域分别进 行标注 并生成json文件保存标注信息 2 3 Mask R CNN模型迁移训练 本文选用的Mast RCNN预训练模型 来自于香港中 文大学Multimedia Laboratory开发的基于PyTorch的开源 对象检测工具箱MMDetection 24 深度学习工作站主要 硬件配置包括Intel i7 10700K CPU NVIDIA 1080TI GPU DDR4 16GB内存 训练方法采用微调迁移训练方法 具体步骤包括 1 以预训练模型的特征提取网络权值对Mask R CNN网络 进行初始化 而后端目标分类 边框回归和全卷积网络 参数为随机初始化 2 冻结特征提取网络权值参数 设 置学习率0 02对后端网络进行训练 3 设置学习率0 002 对整个网络权值参数进行微调训练 对2 400个训练集图像样本进行200次重复训练 模 型更新迭代12万次 单次迭代样本批量为4 每次迭 代耗时0 12 s 总耗时30 h 当迭代5万次时 将学习率 调整至0 1倍 最终10万次迭代以后 模型各项损失下 降趋于平稳 模型各项损失函数和总体识别精确度随模 型迭代次数变化如图5 所示 最终总体损失函数值为 0 126 平均精度均值 mean Average Precision mAP 为0 866 a 损失函数随模型迭代变化曲线 a Loss functions curve with model iteration b 平均精度均值随模型迭代变化曲线 b Mean average precision curve with model iteration 图5 损失函数与平均精度均值变化曲线 Fig 5 Loss function and mean Average Precision mAP curve 模型对茎秆目标类别识别和区域分割效果如图6所 示 主茎区域被标注为蓝色掩膜 侧枝区域被标注为红 色掩膜 图6 Mask R CNN识别结果 Fig 6 Identification result of Mask R CNN 3 整枝操作点定位 3 1 离散茎秆位置关系判别 在同一植株上 且处于相邻位置的主茎和侧枝中心 线交点才能作为整枝操作参考点 对于图像中属于不同 植株 随机分布的主茎和侧枝 明确离散主茎和侧枝目 标区域相对植株的从属关系和位置关系 是对整枝操作 点进行定位的必要依据 第3期 冯青春等 基于Mask R CNN的番茄植株整枝操作点定位方法 131 如图7所示 对于识别结果图像内主茎和侧枝两类 目标区域表示为M和L 设定n和m分别为主茎和侧枝 在视场内自上而下的分布排序编号 设 M Mn nu v 和 L Lm mu v 分别表示第n个主茎目标区域和第m个侧枝目标 区域的质心坐标 M Mntop ntopu v 和 M Mnbottom nbottomu v 分别表示 第n个主茎区域的上端点和下端点坐标 对于n m的主茎Mn和侧枝Lm 计算二者质心距离 2 2 M L M L n m n m n md u u v v 主茎区域Mn 的长度 2 2 M M M M n m ntop nbottom ntop nbottoml u u v v 其位置关系判 别依据为 当 n m n md l 则认为Mn和Lm属于同株番茄 的相邻主茎和侧枝 当 n m n md l 则认为Mn和Lm为异 株番茄的主茎和侧枝 将其从候选目标区域剔除掉 如 此重复 直到所有主茎区域均匹配得到与之相邻的侧枝 区域 且认为其二者可连接处为整枝操作点 1 属于同株且相邻的主茎与侧枝 2 属于异株的主茎和侧枝 1 Main stem and lateral branch adjacent with each other of the same plant 2 Main stem and lateral branch of the different plants 注 M Mn nu v 和 L Lm mu v 分别表示第n个主茎目标区域和第m个侧枝目标 区域的质心坐标 M Mntop ntopu v 和 M Mnbottom nbottomu v 分别表示第n 个主茎区域 的上端点和下端点坐标 Note M Mn nu v and L Lm mu v represent the centroid coordinates of the n th main stem target area and the m th lateral branch target area respectively M Mntop ntopu v and M Mnbottom nbottomu v represent the coordinates of the upper and lower endpoints of the n th main stem region respectively 图7 主茎与侧枝位置关系判别 Fig 7 Relative location estimation of main stem and lateral branch 3 2 茎秆中心线拟合 目标区域的中心线是其内部像素分布特征的重要体 现 具有平移 旋转和尺度不变性 图像矩 25 用于描述 形状的全局特征 其中二阶中心矩表示围绕垂直和水平 中心线的惯性矩 以主茎区域Mn为例 设其内任意像素 点i坐标为 M Mni niu v 质心坐标为 M Mn nu v 其二阶中心 距 M02 M11 M20 表示为式 1 202 2 20 11 M M i n ni M M i n ni M M M M i n n i n n i M u u M v v M u u v v 1 如图8所示 主茎区域Mn中心线方向与过其质心的 水平线的夹角 Mn 可表示为式 2 11 20 02 2arctan 90 90 M M n n M M M 2 当 0Mn 则主茎区域位于水平轴下方 当 0Mn 则其位于水平轴的上方 根据 Mn 和 M Mn nu v 可得相应 主茎区域Mn中心线上的点 M MC Cu v 满足如式 3 所示 中心线方程 同理可得侧枝区域Lm中心线方程 tanM M MC n nM M C n u u v v 3 1 侧枝 2 主茎 3 主茎中心线 4 侧枝中心线 5 过主茎中心水平线 6 过 侧枝中心水平线 1 Lateral branch 2 Main stem 3 Main stem centerline 4 Lateral branch centerline 5 Horizontal line through main stem centerline 6 Horizontal line through lateral branch centerline 图8 中心线拟合与整枝操作点定位 Fig 8 Centerline fitting and pruning point locating 已知同株相邻主茎和侧枝中心线方向角度分别为 M n 和 L m 质心坐标分别 M M n nu v 和 L L m mu v 在获得相 邻主茎和侧枝中心线基础上 由式 4 求其交点 c c cP u v 坐标 作为整枝操作参考点 tan tan M M c n n M c n L L c m m L c m u u v v u u v v 4 设主茎区域Mn像素宽度为 Mnd 交点 cP沿侧枝中心 线偏移 2Mnd 即得到整枝操作点的图像坐标Pp up vp 如式 5 式 6 所示 当侧枝位于主茎左侧 Mc nv v 时 cos2 sin 02 sin 02 M L np c m M L L np c m m M L L np c m m dv v du u du u 5 当侧枝位于主茎右侧 Mc nv v 时 农业工程学报 http www tcsae org 2022年 132 cos2 sin 02 sin 02 M L np c m M L L np c m m M L L np c m m dv v du u du u 6 4 试验及结果分析 4 1 试 验 为了验证整枝操作点的识别定位效果 结合工厂化 番茄温室实际作业工况条件特点 进一步采集番茄植株 图像 建立与训练集样本构成相同比例的测试集 包括 远景和近景视场 正视和仰视视角 生长期和生产期植 株图像样本80幅 模型自动输出和保存对图像中主茎和 侧枝离散区域的识别和分割结果 并记录整枝操作点的 图像坐标 1 主茎和侧枝目标识别精度评估 结合不同场景样本图像分组 分别记录人工标注和模 型自动识别的番茄植株离散主茎和侧枝数量 采用错误 率 精确率和召回率等3个指标 评价Mask R CNN模型 对目标的识别效果 设测试集中目标 主茎或侧枝 正确 识别 错误识别和未识别的数量分别为NT NF和NU 人 工识别标注数量为N 则识别错误率Err U FN N N 精确率Pre T T FN N N 召回率Rec TN N 2 整枝操作点定位精度评估 以操作点自动识别定位结果与人工标注结果的图像 坐标偏差 评价模型对操作点的定位精度 鉴于坐标绝 对偏差在不同远近尺度图像内表示的物理距离不同 无 法定量表征真实定位误差 假设番茄植株整枝区域主茎 的物理直径是常数 d表示主茎在不同远近尺度图像样本 中的像素宽度 以自动识别和人工标注整枝操作点图像 像素偏差距离D与d的比值 表征操作点图像定位误差 4 2 结果与分析 对测试集80幅图像进行人工检测 其中每个场景分 组各10幅 测试集茎秆目标分布涉及94株番茄植株 其中14幅图像包含2株以上 测试集共包含离散主茎区 域224个 侧枝区域163个 标定整枝操作点163个 每幅图像平均包含主茎区域2 80个 侧枝2 03个 具体 统计如表1所示 表1 测试集茎秆目标人工标注统计 Table 1 Manual identification results on test set 生长期Growing period 生产期Productive period 结果 Result DU DF CU CF DU DF CU CF 合计 Total 主茎数量 Main stem number 35 55 22 28 21 26 12 25 224 侧枝数量 Lateral branch number 26 46 14 18 15 16 15 13 163 1 主茎和侧枝目标识别结果与分析 将测试集图像分别输入自动识别模型 根据图像场 景特征对识别结果进行分组统计 模型对测试集图像样 本内的主茎和侧枝目标识别分类结果如表2所示 表2 测试集中主茎和侧枝目标识别结果 Table 2 Identification results for main stems and lateral branches in test sample set 生长期Growing period 生产期Productive period 项目 Item DU DF CU CF DU DF CU CF 合计 Total NT 29 53 22 28 19 23 12 25 211 NF 0 0 0 2 0 0 0 4 6 主茎 Main stem NU 6 2 0 0 2 3 0 0 13 NT 26 41 14 18 14 13 15 13 154 NF 0 8 0 3 0 4 0 4 19 侧枝 Lateral branch NU 0 5 0 0 1 3 0 0 9 注 NT NF和NU分别代表正确识别 错误识别和未识别的数量 Note N T NF and NU are the quantity of correctly identified misidentified and unidentified respectively 以人工检测结果为对照 正确识别主茎和侧枝数量 分别为211和154 误判数量分别为6和19 未被识别 的数量为13和9 其中近景仰视图像中错误和未被识别 的主茎和侧枝数量均为0 远景仰视图像中错误和未被识 别的侧枝数量为0 对于全体测试集样本 主茎识别错误率 0 08 低于 侧枝 0 17 生长期植株的仰视远景图像和生产期植株 的正视近景图像中主茎识别错误较大 分别为0 17 和 0 16 主要原因为 1 前者植株底部叶片较多 主茎受 到叶片遮挡 图9a 识别难度增大 从而导致未识别的 主茎较多 29个主茎中6个未被识别 2 后者枝叶普 遍相对较粗 图9b 4个侧枝或叶柄被错判为主茎 生 产期远近景的正视图像中侧枝识别错误均较大 分别为 0 43和0 31 主要原因为 正视条件下果柄被误判为侧 枝 图9c 随着生产期植株果实数量增加 识别错误率 更高 此外 生产期植株的远景正视图像中 受其他枝 叶遮挡 图9d 8个侧枝未被识别 导致错误率较高为 0 28 a 主茎受叶片遮挡 a Stem overlapped by leaves b 侧枝误判为主茎 b Leaf stem identified as main stem c 果柄被误判为侧枝 c Fruit stem identified as lateral branch d 侧枝因遮挡而漏判 d Lateral branch overlapped by leaves 图9 目标错误识别结果 Fig 9 False identification results 如表3所示 模型对于主茎和侧枝的总体识别错误 率 精确率和召回率分别为0 12 0 93和0 94 并且对于 第3期 冯青春等 基于Mask R CNN的番茄植株整枝操作点定位方法 133 生长期和生产期的近景仰视图像样本均具有最好的识别 效果 即模型对于近景仰视的番茄植株场景具有较好的适 应性 该场景下主茎和侧枝受到遮挡较少 同时仰视条件 下果柄被果实遮挡 在图像中出现较少 从而避免了被误 判为侧枝 表3 目标识别精度统计 Table 3 Targets identification accuracy statistics 生长期Growing period 生产期Productive period 项目Item DU DF CU CF DU DF CU CF 总体 Total 错误率 Error rate 0 10 0 15 0 0 11 0 08 0 23 0 0 21 0 12 精确率 Precise rate 1 00 0 92 1 00 0 90 1 00 0 90 1 00 0 83 0 93 召回率 Recall rate 0 90 0 93 1 00 1 00 0 92 0 86 1 00 1 00 0 94 2 整枝操作点定位结果与分析 本文将不同尺度图像中整枝操作点定位像素偏差与 主茎像素宽度的比值作为其定位误差 统计如表4所示 全体测试集样本图像中 整枝操作点的图像定位误差平 均值为0 34 不同场景中最大误差平均值为0 47 最小 误差平均值为0 11 对于生长期植株的正视远景图像 误差最大为0 76 生产期植株的仰视近景图像 误差最 小为0 03 由于与生产期植株相比 生长期植株的主茎 较细 因此生长期植株图像样本的操作点定位误差普遍 偏大 同时 由于近景图像样本具有较高的目标分割精 度 因此近景图像的操作点定位精度较高 此外 相比 正视场景 仰视场景图像中侧枝自身弯曲特征被弱化 侧枝中心线拟合较为准确 整枝操作点的定位误差较小 表4 整枝操作点图像定位误差统计 Table 4 Pruning point location pixel error statistics 生长期Growing period 生产期Productive period 项目Item DU DF CU CF DU DF CU CF 总体 Total 平均误差 Average error 0 48 0 57 0 22 0 28 0 33 0 41 0 18 0 26 0 34 最大误差 Max error 0 63 0 76 0 31 0 43 0 46 0 59 0 28 0 32 0 47 最小误差 Min error 0 11 0 16 0 12 0 17 0 12 0 10 0 03 0 05 0 11 假设番茄主茎直径为15 mm 人工测量统计的平均 值 由表4可知 整枝操作点的绝对定位误差平均值 为5 12 mm 最大误差11 4 mm 最小误差0 45 mm 考 虑到侧枝平均直径约为10 mm 可夹持长度约150 mm 为了包容整枝操作点定位误差 侧枝夹持手爪有效行程 最大增加11 4 mm 该额外行程的增加对手爪构型设计 运动控制方面构成的技术风险较小 因此认为本文定位 精度可以满足整枝机器人的作业需要 5 结 论 针对番茄智能化整枝茎秆目标视觉信息获取需要 综合考虑植株生长阶段 远景视场以及拍摄角度等因素 建立了番茄植株茎秆图像样本数据集 采用微调迁移训 练方法 建立了基于Mask R CNN的主茎和侧枝目标识 别分割模型 通过离散茎秆区域图像位置关系判别 实 现了整枝操作点的定位 试验结果表明 对于不同场景的图像样本 Mask R CNN模型对主茎和侧枝识别的错误率 准确率和召回 率分别为0 12 0 93和0 94 并且对于仰视近景视场具 有更好识别效果 对于整枝操作点定位误差的平均值 最大值和最小值与对应主茎像素宽度的比值分别为0 34 0 76和0 03 若设定主茎直径为15 mm 枝操作点的定 位误差平均值为5 12 mm 最大误差11 4 mm 最小误差 0 45 mm 同样在仰视近景场景下定位精度较高 因此 仰视近景图像信息获取有利于整枝目标视觉信息的准确 获取 本文研究结论为后期开展整枝机器人视觉系统研 发提供了设计依据 此外 由于本文算法仅限于二维图像特征处理 缺 乏茎秆形态立体信息融合 对于整枝操作点定位方法和 精度评估试验 尚有待改进之处 可进一步采用深度相 机获取茎秆立体位姿信息 以得到更加精确定位效果 参 考 文 献 1 Food and Agriculture Organization of the United Nations Tomato production 2019 EB OL 2020 01 01 2021 11 08 https ourworldindata org grapher tomato production time 2018 2 Kelley W T Commercial tomato production handbook EB OL 2017 01 30 2021 11 08 https extension uga edu publications detail html number B1312 3 田素波 潘子龙 胡永军 等 不同整枝方式对番茄产量 和品质的影响 J 长江蔬菜 2012 22 41 43 Tian Subo Pan Zilong Hu Yongjun et al Effects of different pruning methods on yield and quality of tomato J Journal of Changjiang Vegetables 2012 22 41 43 in Chinese with English abstract 4 郑伟 番茄主产区农户生产投入产出调查分析 J 农村经 济与科技 2019 30 9 112 114 Zheng Wei Investigation and analysis on production input output of tomato farmers in main producing areas J Rural Economy and Science Technology 2019 30 9 112 114 in Chinese with English abstract 5 Priva Priva kompano deleaf line EB OL 2021 10 07 2021 11 08 http www priva tories 2016 priva kompano deleaf line 6 Lucy C Scientists create gardening robot to help out with pruning and trimming EB OL 2019 10 24 2021 11 08 https www independent ie world news and finally scientists c reate gardening robot to help out with pruning and trimming 38629630 html 7 Richard L Automated pruning with robotics EB OL 2015 04 13 2021 11 08 mated pruning with robotics 农业工程学报 http www tcsae org 2022年 134 8 Henten E Tuijl B Hoogakker G An autonomous robot for de leafing cucumber plants grown in a high wire cultivation system J Biosystems Engineering 2006 94 3 317 323 9 Ishigure Y Hirai K Kawasaki H A pruning robot with a power saving chainsaw drive C IEEE International Conference on Mechatronics and Automation Takamatsu Japan IEEE Computer Society 2013 10 Hamuda E Glavin M Jones E A survey of image processing techniques for plant extraction and segmentation in the field J Computers and Electronics in Agriculture 2016 125 184 199 11 Yosinski J Clune J Bengio Y et al How transferable are features in deep neural networks J Advances in Neural Information Processing Systems 2014 27 3320 3328 12 孙红 李松 李民赞 等 农业信息成像感知与深度学习 应用研究进展 J 农业机械学报 2020 51 5 1 17 Sun Hong Li Song Li Minzan et al Research progress of image sensing and deep learning in agri