基于彩色点云图像的不同成熟阶段番茄果实数量的测定方法.pdf

张先洁 汪小旵 孙国祥 等 基于彩色点云图像的不同成熟阶段番茄果实数量的测定方法 J 华南农业大学学报 2022 43 2 105 112 ZHANG Xianjie WANG Xiaochan SUN Guoxiang et al Measurement of tomato fruits quantity at different ripening stages based on color point cloud images J Journal of South China Agricultural University 2022 43 2 105 112 基于彩色点云图像的不同成熟阶段 番茄果实数量的测定方法 张先洁1 汪小旵1 2 孙国祥1 施印炎1 魏天翔1 陈 昊1 1 南京农业大学 工学院 江苏 南京 210031 2 江苏省现代设施农业技术与装备工程实验室 江苏 南京 210031 摘要 目的 为测定温室中番茄不同成熟阶段的果实数量 提出一种基于彩色点云图像的测定方法 方法 在 移动平台上搭载KinectV2 0采集温室中行栽番茄的图像信息合成番茄植株点云 再将二视角的番茄植株点云合 成1个点云 并通过深度信息截取得到近处番茄植株点云 将标注的点云数据输入到PointRCNN目标检测网络 训练预测模型 并识别番茄植株点云中的番茄果实 最后利用基于特征矩阵训练的支持向量机 Support vector machine SVM 分类器对已经识别出来的果实进行成熟阶段分类 获得不同成熟阶段番茄果实的数量 结果 基于PointRCNN目标检测网络的方法识别番茄果实数量的精确率为86 19 召回率为83 39 基于特 征矩阵训练的SVM分类器 针对番茄果实成熟阶段的预测结果在训练集上准确率为94 27 测试集上准确率 为96 09 结论 基于彩色点云图像的测定方法能够较为准确地识别不同成熟阶段的番茄果实 可以为评估温 室番茄产量提供数据支撑 关键词 番茄果实 彩色点云 PointRCNN 支持向量机 成熟阶段 中图分类号 S126 文献标志码 A 文章编号 1001 411X 2022 02 0105 08 Measurement of tomato fruits quantity at different ripening stages based on color point cloud images ZHANG Xianjie1 WANG Xiaochan1 2 SUN Guoxiang1 SHI Yinyan1 WEI Tianxiang1 CHEN Hao1 1 College of Engineering Nanjing Agricultural University Nanjing 210031 China 2 Engineering Laboratory of Modern Facility Agriculture Technology and Equipment in Jiangsu Province Nanjing 210031 China Abstract Objective In order to measure the number of tomato fruits at different ripening stages in green house a method based on color point cloud images was proposed Method The image information of tomato in greenhouse was collected by KinectV2 0 on the mobile platform to synthesize the tomato plant point cloud then the tomato plant point clouds from two perspectives were synthesized into a point cloud and the point cloud of nearby tomato plant was obtained by depth information interception The labeled point cloud data were input into the PointRCNN object detection network to train the prediction model and recognize tomato fruit in the tomato plant point cloud Finally support vector machine SVM classifier based on feature matrix training was used to classify ripeness of the identified fruits and the number of tomato fruits at different ripening stages 收稿日期 2021 05 11 网络首发时间 2022 01 04 16 00 24 网络首发地址 作者简介 张先洁 硕士研究生 主要从事图像处理研究 E mail 873941071 通信作者 汪小旵 教授 博士 主要从事作物信息化检测研究 E mail wangxiaochan 基金项目 国家十三五重点研发计划 2019YFD1001900 华南农业大学学报 Journal of South China Agricultural University 2022 43 2 105 112 DOI 10 7671 j issn 1001 411X 202105021 was obtained Result The precision rate of the method based on PointRCNN object detection network for identifying the number of tomato fruits was 86 19 and the recall rate was 83 39 The accuracy of SVM classifier based on feature matrix training for predicting the ripeness of tomato fruits was 94 27 in the training set and 96 09 in the test set Conclusion The measurement method based on color point cloud images can accurately identify the number of tomato fruits at different ripening stages and provide data supports for evaluating the yield of tomato fruits in greenhouse Key words Tomato fruit Color point cloud PointRCNN Support vector machine Ripening stage 对番茄植株不同成熟阶段的番茄果实数量准 确测定不仅有助于精细化调整番茄种植过程中的 施肥量 而且有助于提前制定番茄果实收获 仓储 以及销售等计划 1 3 番茄植株的生长形态不同 尚 未完全成熟的番茄果实的颜色与叶片颜色相近 番 茄果实容易出现重叠 被遮挡现象 复杂的环境背 景导致番茄果实识别困难 4 5 在复杂的环境背景下 准确识别番茄果实是测定不同成熟阶段番茄果实 数量的关键 针对农作物的果实识别 国内外学者进行了广 泛的研究 6 9 目前大多数农作物的果实识别是通过 深度学习和图像处理等方法处理二维RGB图像数 据实现的 10 13 这些方法识别果实的成功率较高 但是通过二维RGB图像数据识别果实无法获得果 实的距离信息 因而无法分辨被识别果实是否属于 当前被统计植株 被识别果实的归属不明确导致果 实数量评估的不准确 14 15 也有部分学者采用其他 数据进行农作物果实识别 16 18 Mehta等 19 通过多 个视角的二维RGB图像数据合成伪立体视觉 在 立体视觉的基础上识别果实 但该方法多个视角的 相机布置降低了方法的可操作性 李寒等 20 在二 维RGB图像中确定番茄果实轮廓 结合深度信息 获取番茄果实点云数据 利用改进的SOM K means聚类算法实现番茄果实的识别 但该方法仅 适用于识别成熟的红色番茄果实 目前针对农作物 的果实识别已经有了较多的研究 但针对指定距离 内不同成熟阶段的番茄果实数量识别的方法研究 较少 为准确测定近距离内不同成熟阶段的番茄果实 数量 本文提出一种基于彩色点云图像的番茄数量 测定方法 首先通过点云深度信息筛选出近距离内 的番茄植株点云 去除远距离番茄果实对果实数量 准确评估的干扰 然后合成2个视角的点云增加番 茄果实的特征信息 提高番茄果实识别的准确率 再 使用深度学习方法PointRCNN目标检测网络识别 合成点云中的番茄果实 最后利用支持向量机 Support vector machine SVM 分类器对已识别出来 的果实进行分类 得到不同成熟阶段番茄果实的数量 1 材料与方法 1 1 试验材料 番茄植株图像数据采集于江苏省农业科学院信 息所番茄种植温室 番茄品种为 奇美 与 桃太 粉 番茄植株采用吊蔓式种植 高度为145 165 cm 株距为40 cm 行间距为120 cm 试验现场如图1 所示 图 1 番茄种植温室试验现场 Fig 1 Test site in the greenhouse for tomato plant 图像采集时间为2020年12月17日14时至 17时和2020年12月23日14时30分至17时 在 不同光照条件下共采集252组番茄植株图像数据 将微软公司的RGB D相机KinectV2 0搭载在深圳 玩智商科技有限公司研发的ROS机器人移动平台 DashGo B1上 设定移动平台定点停靠并采集番茄 植株的彩色图像和深度图像 KinectV2 0的彩色相 机的分辨率为1 920像素 1 080像素 深度相机的 分辨率为512像素 424像素 采集图像如图2所 示 深度图像中由绿到黄表示目标距离相机由近 到远 1 2 番茄果实数量识别与成熟阶段分类流程 首先将番茄植株RGB图像和深度图像合成番 茄植株点云 然后将番茄植株不同视角下的2个点 106 华南农业大学学报 第 43 卷 云配准合成1个番茄植株点云 再采用PointRCNN 目标检测网络对番茄植株点云进行番茄果实目标 检测 输出番茄果实识别框 最后利用训练好的 SVM分类器对PointRCNN目标检测网络的检测结 果进行成熟阶段分类 1 3 番茄植株点云获取与预处理 1 3 1 番茄植株点云获取 KinectV2 0通过不同的 相机采集得到RGB图像与深度图像 相机精度不 同与位置不同导致同一目标点在RGB图像与深度 图像坐标不同 因此需要通过标定获取相机内置参 数 进而得到RGB图像与深度图像的坐标映射关 系 根据映射关系生成同时包含RGB信息和深度 信息的RGB D图像 根据RGB D图像的坐标与坐标对应的深度值 可以转换生成三维空间坐标 本文使用Python语 言调用Open3D库中的库函数 根据标定获得的相 机参数 将RGB D图像转换生成具备RGB信息的 三维点云 1 3 2 点云预处理 点云坐标中的Z轴坐标反映 点到相机的距离 根据实际距离情况选取合适的阈 值z分割点云得到距离相机近排的番茄植株点云 以便准确检测近排番茄植株上的番茄果实 受到温室环境以及深度相机本身精度等因素 影响 KinectV2 0获取的点云数据中存在部分离群 点噪声 离群点会影响后期点云配准的精度 需要 通过滤波移除离群点 离群点的特点是相同距离内 点的数量较小 因此 采用统计滤波法将指定半径 内临近点的数量小于指定数量的点记为离群点并 移除 1 4 番茄植株点云配准 从单视角采集到的番茄植株点云数据中 存在 多处不同程度的番茄果实遮挡 重叠现象 本文提 出将具有一定距离的2个视角采集到的点云数据 配准融合 获取更全面的番茄植株三维信息 减少 因重叠 被遮挡等现象导致的番茄果实检测错误 点云配准是指将2个具有一定数量对应点的 点云转换到同一个坐标系下 融合成1个点云 如 图3所示 点云配准分为粗配准与精配准2个部分 a RGB 图像 a RGB image 2 500 b 深度图像 b Range image 2 000 1 500 1 000 500 0 图 2 番茄植株图像 Fig 2 Image of tomato plant 初始点云 1 Original point cloud 1 初始点云 2 Original point cloud 2 Kinect 1 Kinect 2 粗配准 Routh registration 精配准 Fine registration 初始矩阵 Initial matrix 纯色合成点云 Solid color synthetic point cloud 合成点云 Synthetic point cloud 图 3 番茄植株点云配准 Fig 3 Point cloud registration of tomato plant 第 2 期 张先洁 等 基于彩色点云图像的不同成熟阶段番茄果实数量的测定方法 107 点云粗配准是在未指定2个点云的初始相对 位姿情况下 将2个点云进行配准 为精配准提供 一个较优的平移矩阵和旋转矩阵初始值 粗配准的 主要方法包括基于特征匹配的配准方法和基于随 机采样一致性的配准方法 本文选用基于随机采样 一致性的配准方法对番茄植株点云粗配准 点云精配准是在粗配准提供的平移矩阵和旋 转矩阵初始值的基础上 通过不断迭代改进平移矩 阵和旋转矩阵的参数来完成配准 精配准的主要方 法是迭代最近点 Iterative closest point ICP 算法以 及各种改进的ICP配准方法 本文选用基于point to plane的改进ICP配准方法 21 对粗配准后的番茄 植株点云精配准 调用Open3D库中的全局配准函数选择随机采 样一致性参数 设定体素采样为0 02 距离阈值为 0 03 进行点云的粗配准 调用ICP精配准函数选 择point to plane方法参数 设定距离阈值为0 001 进行点云的精配准 1 5 PointRCNN目标检测网络识别番茄果实 基于点云的目标检测网络主要分为2类 一类 是一阶段的目标检测网络 另一类是二阶段的目标 检测网络 二阶段的目标检测网络是在一阶段目标 检测结果的基础上进行修正检测 因此一般二阶段 目标检测网络的准确率要高于一阶段目标检测网 络 本文选用二阶段检测网络PointRCNN 22 在番 茄植株点云中检测识别番茄果实 PointRCNN目标检测网络的第一阶段通过 PointNet 网络提取点云特征 对点云进行自底向 上的搜索 选出3D候选区域 第二阶段检测网络 在第一阶段提取的点云特征和3D候选区域的基础 上 对3D候选区域的评分进行修正 得到检测结 果 PointRCNN目标检测网络的框架如图4所示 点坐标 Point coords 语义特征 Semantic features 语义特征 Semantic features 点特征向量 Point wise feature vector 基于 Bin 的 3D 框 生成 Bin based 3D box generation 前景点分割 Foreground point segmentation 3D 提案 3D proposal 3D 感兴趣区 3D region of interest 合成特征 Merged features MLP 基于 Bin 的 3D 框 优化 Bin based 3D box refinement 置信度预测 Confidence prediction 正则变换 Canonical transformation 局部空间点 Local spatial points 点云区域池 Point cloud region pooling Foreground mask 点云 编码器 Point cloud encoder 点云 编码器 Point cloud encoder 点云 解码器 Point cloud decoder 多层感知机Muti layer perception 图 4 PointRCNN网络结构 Fig 4 PointRCNN network structure PointRCNN采用PointNet 网络提取点云特 征输入到前景点分割网络 前景点分割网络在前景 点分割中采用Focal Loss函数解决类别不平衡问 题 同时通过加入边框回归头对前景点进行3D边 框回归产生3D候选区域 在获得3D候选区域后 PointRCNN在点云区域池化的基础上结合之前产 生的前景点特征获得新的局部区域特征和全局特 征 PointRCNN二阶段网络融合局部区域特征和全 局特征后对3D候选区域和置信度进行修正 得到 最终的预测结果框 算法基于Pytorch v1 3 1 OpenPCDet v0 3 0 框架实现 硬件配置为处理器Intel R Gold 6226 内存256 GB 显卡NVIDIA GeForce RTX 2080Ti 操作系统Ubuntu 18 04 使用标注工具 CloudCompare对点云进行人工标注得到番茄果实 标签 通过脚本转换标注文件为Kitti数据集格式 在本试验中点云标签类别为番茄和其他2类 按照 4 1的比例随机划分为训练集和验证集 采用迁移学习的方法对本试验的点云数据进 行处理 主要设定参数包括 epochs为20 000 batch size per gpu为3 GPU为2 Learn rate为 0 01 div factor为10 optimizer为adam onecycle 其中 参数epochs是指训练的回合数 1回合是指把 所有的训练样本全部处理1次 参数batch size per gpu 是指每个GPU每次处理样本的个数 参数GPU是 指GPU的个数 参数Learn rate为最高学习率 参 数Learn rate除以参数div factor得到初始学习率 参数optimizer为优化器的选择 108 华南农业大学学报 第 43 卷 PointRCNN目标检测网络的损失函数如下 L p bin u2fx z g Fcls bin p u bin p u Freg cres p u res p u 1 L p res v2fy h w lg Freg cres p v res p v 2 Lreg 1N pos p2pos L p bin L p res 3 Npos bin p u res p u bin p u cres p u Freg Fcls 其中 为前景点的数量 与 为正确标注 的bin分配和残差 与 为前景点p的被预 测的bin分配和残差 为回归损失函数 为分 类损失函数 将数据集投入PointRCNN目标检测网络中训 练 损失函数随迭代次数的变化趋势如图5所示 纵坐标为损失函数值 横坐标为训练回合数 损失 值在迭代前期快速下降至0 5附近 在迭代中期略 有上升后重新下降 在迭代后期降至0 3附近 损失值 Loss value 2 0 1 8 1 6 1 4 1 2 1 0 0 8 0 6 0 4 0 2 020 2 020 4 020 6 020 8 020 10 020 12 020 14 020 16 020 18 020 20 020 回合数 Epochs 图 5 网络损失值的变化曲线 Fig 5 Change curve of the loss value of the network 1 6 番茄果实成熟阶段分类 对番茄果实成熟阶段分类 首先 按照番茄果 实内部的成熟情况对番茄果实的成熟阶段分类 然 后分析番茄果实不同成熟阶段颜色特征的差异 选 取合适的颜色特征组成特征矩阵训练SVM分类 器 最后利用训练好的SVM分类器 23 对PointRCNN 目标检测网络识别出的番茄果实进行成熟阶段 判定 将番茄果实切开后 通过肉眼观察番茄果实内 部果肉颜色情况将番茄果实分为4种成熟阶段 如 图6所示 果肉部分呈绿色 约90 以上 为绿熟 果肉部分出现微红 约占10 40 为微熟 果肉 部分呈红色 约占40 90 为成熟 果肉部分完 全为红色 约占90 以上 为完熟 选取番茄果实4个成熟阶段的RGB图像各 80张 总计320张RGB图像作为样本数据 使用 阈值法去除样本图像中背景像素 仅保留番茄果实 像素 并分别获取番茄果实R G B 3个通道的像素 值 将RGB图像数据转换为HSV图像数据 分别 获取番茄果实S V 2个通道的像素值 其中 HSV 颜色模型中V分量为亮度分量 不做分析考虑 选 取平均值 方差 2个数字特征表征数据的分 布情况 分别计算番茄果实5个通道 R G B S V R G B S V R G B S V 像素值的3个数字特征作为番茄果实的10个颜色 特征 统计 计算得到番茄果实4个成熟阶段的10个颜色特 征 并将4个成熟阶段的同一颜色特征数据归为一 组计算变异系数 如表1所示 a 绿熟 a Mature green b 微熟 b Breaker c 成熟 c Ripe d 完熟 d Fully ripe 图 6 番茄果实的成熟阶段 Fig 6 Ripening stage of tomato fruit 第 2 期 张先洁 等 基于彩色点云图像的不同成熟阶段番茄果实数量的测定方法 109 G G S G S G S V 分析表1可知 在5个颜色分量 R G B S V 的 平均值颜色特征中 颜色特征 在各成熟阶段的均 值相差较为明显 变异系数最大 表明颜色特征 分布较为离散 适宜作为区分各成熟阶段的特征之 一 同理 选取方差颜色特征中 作为选定特征之 一 将剩余8个颜色特征依次与 2个颜色特 征组合成特征矩阵进行SVM分类训练 选取预测 结果最优的特征矩阵 作为最终选定的 特征矩阵 从320个样本数据中随机选择60 的数据作 为训练集 40 的数据作为测试集 将训练集数据 的特征矩阵投入SVM分类器训练 使用训练好的 SVM分类器进行预测 训练集的预测准确率为 94 27 测试集的预测准确率为96 09 1 7 PointRCNN目标检测网络识别番茄果实性能 通过2个方面对PointRCNN目标检测网络识 别方法的性能进行评价 一方面是识别结果的数量 比较 即比较PointRCNN目标检测网络识别出的番 茄果实的数量与点云中番茄果实数量 另一方面是 识别结果的位置比较 即比较PointRCNN目标检测 网络识别出的番茄果实中心位置与点云中番茄果 实中心位置 针对识别结果的数量比较 将识别结果分为正 检 错检和漏检3类 如图7所示 PointRCNN 目标检测网络识别出的番茄果实总数量记为检出 数 ND 识别正确的番茄果实数量记为正检数 NC 识别错误的番茄果实数量记为错检数 NF 未被识 别出的番茄果实数量记为漏检数 NM 点云中番茄 果实总数量记为参考数 NR 通过计算精确率 AD 召回率 AR 对识别结果的数量方面进行性能 评价 番茄果实数量识别的AD计算公式为 AD NCN D 100 4 番茄果实数量识别的AR计算公式为 AR NCN R 100 5 针对识别结果的位置比较 将PointRCNN目标 检测网络识别结果3D框与人工标注3D框做对比 统计 引入平均中心相对误差 CR 作为PointRCNN 目标检测网络识别结果位置方面的评价指标 表 1 不同成熟阶段的番茄果实颜色特征 Table 1 Color characteristics of tomato fruits at different ripening stages 颜色特征 Color feature 绿熟 Mature green 微熟 Breaker 成熟 Ripe 完熟 Fully ripe 变异系数 Coefficient of variation R 141 88 181 70 184 16 204 71 12 17 G 120 48 181 78 141 47 72 35 31 14 B 72 56 104 14 87 92 66 99 21 77 S 127 12 114 28 127 06 176 60 17 56 V 120 63 184 04 184 21 204 72 12 62 R 1 265 75 1 777 64 1 930 25 1 876 25 27 45 G 1 636 00 1 853 18 1 288 50 1 209 70 34 39 B 882 39 1 186 65 1 083 63 1 029 84 35 69 S 426 20 334 06 488 73 742 12 57 12 V 1 637 36 1 835 46 1 927 17 1 876 10 26 59 a 正检 a Correct detection b 错检 b False detection c 漏检 c Missed detection 红框为人工标注框 绿框为识别结果框 The red box is the manual marking box and the green box is the recognition result box 图 7 番茄果实识别结果分类示意图 Fig 7 Classification diagram of tomato fruit recognition results 110 华南农业大学学报 第 43 卷 CR的计算公式为 CR n i 1 Di Ri 6 式中 Di为中心距离 即第i个番茄果实的人工标注 3D框中心与识别结果3D框中心的距离 Ri为标注 框边长均值 即第i个番茄果实的人工标注3D框 的长 宽 高均值 2 结果与分析 2 1 番茄果实数量与位置识别结果 根据标定得到的相机参数将采集到的252组 番茄植株图像数据转化生成252个番茄植株点云 通过点云配准技术合成获得246个合成的番茄植 株点云 使用标注工具CloudCompare对合成的番 茄植株点云中番茄果实进行标注 随机选取196个 的番茄植株点云标注结果投入到PointRCNN目标 检测网络中训练 利用训练好的模型对剩余的50个 合成的番茄植株点云进行预测识别 并将预测结果 与人工标注结果做统计对比 将PointRCNN目标检测网络对50个番茄植株 点云的预测识别结果可视化 并统计PointRCNN目 标检测网络识别出的番茄果实总数 识别正确的番 茄果实数 识别错误的番茄果实数 未被识别出的 番茄果实数 点云中番茄果实总数 如图8所示 图8a中番茄果实数为6 PointRCNN目标检测网络 识别出的番茄果实数为5 识别错误的番茄果实数 为0 未被识别出的番茄果实数为1 a b c 红框为人工标注框 绿框为识别结果框 The red box is the manual marking box and the green box is the recognition result box 图 8 番茄果实识别结果 Fig 8 Recognition results of tomato fruit 根据 1 7 针对番茄果实数量识别的评价指 标 对50个番茄植株点云的预测结果进行统计 计 算精确率和召回率 PointRCNN目标检测网络识别 番茄果实数量的参考数 检出数 正检数 错检数 漏检数分别为277 268 231 37 46 精确率为 86 19 召回率为83 39 根据 1 7 针对番茄果实位置识别的评价指 标 从50个番茄植株点云的预测结果中随机选择 50个番茄果实预测框与人工标注框做对比统计 计 算平均中心相对误差 如表2所示 平均中心相对 误差为36 83 2 2 番茄果实成熟阶段分类结果 遍历获取PointRCNN目标检测网络对50个番 茄植株点云的预测结果框中的点云 获取对应的 RGB信息 计算得到结果框内点云的特征矩阵 使 用训练好的SVM分类器对点云的特征矩阵进行成 熟阶段分类预测 分类结果显示 绿熟果实112个 微熟果实72个 成熟果实55个 完熟果实29个 2 3 番茄果实成熟数量测定结果 设定移动平台DashGo B1采取定点停靠的行 走策略 利用DashGo B1搭载的KinectV2 0采集温 室内4行番茄植株的图像数据 使用基于彩色点云 表 2 PointRCNN目标检测网络识别番茄果实位置的精度 评价 Table 2 Accuracy evaluation of tomato fruit position recognition based on PointRCNN object detection network 点云序号 Point cloud sequence number 中心距离 Center distance Di 标注框边长均值 Mean side length of dimension box Ri 中心相对误差 Center relative error CR 1 0 943 1 579 59 72 2 0 595 1 564 38 04 3 0 606 1 487 40 75 4 0 140 1 410 9 93 5 0 562 1 572 35 75 47 0 415 1 496 27 74 48 0 741 1 528 48 49 49 0 236 1 546 15 27 50 0 547 1 389 39 38 平均值 Mean 36 83 第 2 期 张先洁 等 基于彩色点云图像的不同成熟阶段番茄果实数量的测定方法 111 图像的番茄成熟数量测定方法进行数量测定 结果 显示 绿熟果实448个 微熟果实393个 成熟果实 294个 完熟果实281个 共计1 416个 3 结论 1 本文提出了一种基于彩色点云图像的番茄 果实数量测定方法 为消除远距离番茄果实的干 扰 减轻番茄果实遮挡 重叠等的影响 准确评估不 同成熟阶段的番茄果实数量 以二视角合成后的彩 色点云作为数据处理对象 通过深度信息截取近距 离点云 利用PointRCNN目标检测网络获取番茄果 实识别框 使用SVM分类器对番茄果实识别框进行 成熟阶段预测 2 针对番茄果实成熟阶段分类识别 选取番茄 果实颜色特征组成特征矩阵训练SVM分类器 SVM分类器对训练集预测准确率为94 27 对测 试集的预测准确率为96 09 3 选取精确率和召回率2个指标评价番茄果 实数量识别的精度 选取平均中心相对误差指标评 价番茄果实位置识别的精度 PointRCNN目标检测 网络的番茄果实识别方法的精确率为86 19 召回 率为83 39 平均中心相对误差为36 83 参考文献 罗华 李敏 胡大刚 等 不同有机肥对肥城桃果实产量 及品质的影响 J 植物营养与肥料学报 2012 18 4 955 964 1 武阳 王伟 雷廷武 等 调亏灌溉对滴灌成龄香梨果树 生长及果实产量的影响 J 农业工程学报 2012 28 11 118 124 2 GONG A YU J HE Y et al Citrus yield estimation based on images processed by an android mobile phone J Biosystems Engineering 2013 115 2 162 170 3 刘芳 刘玉坤 林森 等 基于改进型YOLO的复杂环 境下番茄果实快速识别方法 J 农业机械学报 2020 51 6 229 237 4 王晓楠 伍萍辉 冯青春 等 番茄采摘机器人系统设计 与试验 J 农机化研究 2016 38 4 94 98 5 SAEDI S I KHOSRAVI H A deep neural network ap proach towards real time on branch fruit recognition for precision horticulture J Expert Systems with Applica tions 2020 159 113594 6 司永胜 乔军 刘刚 等 苹果采摘机器人果实识别与定 位方法 J 农业机械学报 2010 41 9 148 153 7 傅隆生 宋珍珍 ZHANG X 等 深度学习方法在农业 信息中的研究进展与应用现状 J 中国农业大学学报 8 2020 25 2 105 120 PRZYBYLO J JABLONSKI M Using deep convolu tional neural network for oak acorn viability recognition based on color images of their sections J Computers and Electronics in Agriculture 2019 156 490 499 9 车金庆 王帆 吕继东 等 重叠苹果果实的分离识别方 法 J 江苏农业学报 2019 35 2 469 475 10 崔永杰 苏帅 王霞霞 等 基于机器视觉的自然环境中 猕猴桃识别与特征提取 J 农业机械学报 2013 44 5 247 252 11 ZHANG Y D DONG Z C CHEN X Q et al Image based fruit category classification by 13 layer deep con volutional neural network and data augmentation J Mul timedia Tools and Applications 2019 78 3 3613 3632 12 熊俊涛 郑镇辉 梁嘉恩 等 基于改进YOLO v3网络 的夜间环境柑橘识别方法 J 农业机械学报 2020 51 4 199 206 13 PAYNE A B WALSH K B SUBEDI P P et al Estima tion of mango crop yield using image analysis Segment ation method J Computers and Electronics in Agricul ture 2013 91 57 64 14 贾伟宽 赵德安 刘晓洋 等 机器人采摘苹果果实的 K means和GA RBF LMS神经网络识别 J 农业工程 学报 2015 31 18 175 183 15 金保华 殷长魁 张卫正 等 基于机器视觉的苹果园果 实识别研究综述 J 轻工学报 2019 34 2 71 81 16 SI Y S LIU G FENG J Location of apples in trees us ing stereoscopic vision J Computers and Electronics in Agriculture 2015 112 68 74 17 熊龙烨 王卓 何宇 等 果树重建与果实识别方法在采 摘场景中的应用 J 传感器与微系统 2019 38 8 153 156 18 MEHTA S S BURKS T F Multi camera fruit localiza tion in robotic ha