基于三维点云的蔬菜大棚杂草识别方法.pdf

北 方 园 艺 农业信息技术 第一作者简介 徐涛 男 硕士研究生 研究方向为 机器人技术 责任作者 陈勇 男 博士 教授 博士生导师 现主 要从事机电一体化等研究工作 基金项目 国家重点研发计划资助项目 收稿日期 基于三维点云的蔬菜大棚杂草识别方法 徐 涛 陈 勇 周 卫 鹏 南京林业大学 机械电子工程学院 江苏 南京 镇江临泰农业科技有限公司 江苏 镇江 摘 要 为实现蔬菜大棚内自动化除草的目的 针对其中的杂草识别环节 提出了一种 基于三维点云的新型蔬菜大棚杂草识别方法 采用 相机获取青菜田 生菜田的三 维点云图像 采用超绿色算法去除其中的土壤等背景 采用体素滤波法在保留点云图像形状 特征的同时降低点云数量 然后采用欧式聚类法分割出单株青菜和单棵杂草的点云簇 分别 计算得到每个点云簇的最高点的 坐标值 最后结合深度信息 坐标值实现蔬菜大棚杂草 识别 结果表明 这种基于三维点云的杂草识别方法能够有效的识别出杂草 识别率为 该方法能够对蔬菜大棚中的杂草进行准确识别 为蔬菜大棚自动化除草提供有效 的解决方案 关键词 蔬菜大棚 三维点云 体素滤波 欧式聚类 杂草识别 中图分类号 文献标识码 文章编号 蔬菜大棚智能控制作为设施农业种植与生产 过程中的关键环节 是保障农作物品质的重要措 施 蔬菜大棚生产的有机蔬菜具有较高的经济 价值 能促进有机农业产值的迅速增长 然而我 国大部分蔬菜大棚环境下除草方式是以农药喷洒 为主 导致绿色无污染的农产品产量低下 不能满 足人们的需求 自动化除草则不同 这种方式对 环境友好且节省人工 而杂草识别作为自动化除 草尤为重要的一环一直受到广泛关注 杂草识别技术兴起于 世纪 年代的美 国 至今国内外依然有很多学者进行这方面的研 究 采用实时学习的方法来对包 含杂草的作物图像进行特征提取 将直方图数据 作为 算法的输入 从而达到对图像分割时 阈值的自适应性 等 将深度学习与线路 检测相结合来识别蔬菜田中的杂草 结果表明 甜 菜 菠菜和豆类的总体精确度分别为 和 乔永亮等 利用光谱成像仪采集杂草 与玉米的图像 运用多光谱融合与最大类间分差 法进行背景的分割 其正确识别率为 杂草 识别通过图像处理 光谱识别和深度学习等方法 取得了较好的效果 但依然存在泛化能力较差 受 设备和算法限制无法运用到实际生产中等缺陷 同时他们研究的主要是根据杂草和作物之间的外 观差异来进行杂草的识别 对于结合深度信息来 进行识别的研究较少 相机能生成三维点云 提供深度信 息 在现代农业信息领域得到了广泛的应用 仇瑞承等 利用 相机获取田间玉米的彩 色图像和深度图像 对玉米图像进行提取 分割和 拟合等操作 实现单株玉米株高测量 平均误差为 等 为了重建油菜幼苗的三 维冠层结构 利用 相机建立了高通量立 体成像系统 该方法较二维成像系统更为精确 大部分研究利用 相机获取的深度信息对 作物的表型参数例如茎粗 株高等进行测量 对于 结合深度信息进行目标识别的研究较少 该研究为实现蔬菜大棚内自动化除草的目 的 针对其中的杂草识别部分 提出了一种基于三 维点云的蔬菜大棚杂草识别方法 以期达到准确 识别杂草的作用 为蔬菜大棚自动化除草提供参 考依据 对蔬菜大棚内作物 利用 相机 以俯视拍摄的方式获取其彩色点云图像 通过各 种滤波算法的比较分析 土壤背景的去除采用超 绿色算法来实现 对于单株作物和单棵杂草的分 割 采用欧式聚类分割算法应用于预处理后的点 云图像 最后结合深度信息 坐标值完成杂草 识别 材料与方法 试验材料 以青菜田为主要研究对象 在 系统下 利用 设计开发 青菜田视觉信息采集系统 采用 相机作为 信息采集设备来获取蔬菜大棚青菜田中青菜和杂 草的彩色三维点云图像并保存 研究方法 相机所采集到的彩色三维点云数据主 要包括研究对象 杂草 青菜 以及背景 土壤 该 研究的目的是实现基于三维点云的蔬菜大棚杂草 识别 因此 首先要对点云数据进行目标和背景 的分割 再通过欧式聚类分割算法得到单棵杂草 和单株青菜的点云簇 最后分别基于单个点云簇 对其进行最高点 坐标值的计算 据实地考察 青菜地绝大部分杂草与青菜有着明显的高度差 异 通过分析比较选取恰当的 坐标值作为阈值 判断是否为杂草 杂草识别流程见图 图 杂草识别流程 三维点云数据的预处理 进行杂草识别首先要做的是土壤背景的去 除 从视觉上看 作物多为绿色与土壤等背景之间 有明显的颜色差异 主要的分割特征就是颜色特 征 该研究对三维彩色点云数据利用超绿色算法 去除土壤等背景 超绿色算法公式为 式 中 为阈值 为图像中红 绿 蓝颜色分量 相机所采集到的三维点云图像见图 仅包含土壤背景 杂草以及作物 简化了后续的处 理步骤 所采集到的点云数据包含 信 息 其中坐标系是以 相机光心为坐标原点 轴跟镜头光轴重合的右手坐标系 单位为 见图 由于密集的有效点云数据会影响计算速 度 所以采用体素滤波法实现下采样 在保持点云 形状特征不变的前提下有效的减少点云数量 以 提高后续算法处理速度 其原理是通过输入的 点云数据创建一个三维体素栅格 然后在每个 体素内 用体素中所有点的重心来近似显示体 素中其它点 这样该体素内所有点就用一个重 心点最终表示 对于所有体素处理后得到过滤 后的点云 聚类分割算法与 值计算 点云分割是根据空间 几何和纹理等特征对 点云进行划分 使得同一划分内的点云具有相似 的特征 而在现实点云数据中 往往对场景中的 物体有一定先验知识 在蔬菜大棚中的青菜排列 整齐且两者间保持一定的距离 从点云图中可以 看出各棵杂草和各株青菜均没有相互重叠的部 北 方 园 艺 月 下 图 三维点云图像 图 相机坐标系 分 针对这种个体有较明显的位置距离的情况 欧几里得聚类分割算法是个较好的选择 它的原 理为考 察 个 数 据 点 设 个 数 据 点 共 组 成 类 在 维空间数据中定义某种性质的点与点 之间的亲疏聚类 然后将具有最小距离的两类合 为一类 并迭代计算类之间的距离 直到所有类别 之间的距离大于固定阈值或类的个数小于指定的 个数完成分割 固定阈值公式为 式 中 为点云中 组点云集 没有交集 分别为 中的某一点 为 固定阈值 欧式聚类算法具体的流程如下 对原始点云集合 创建 创建聚类 和点序列 创建完毕后的聚类 和序列 此 时都是空集 将 中的某个点 添加到序列 中 搜 索以点 为圆心 为半径的圆范围内所有临近 点并构成集合 对集合 中的每一点进行检 测 查看所有点是否都处理过 如果有未处理的 点 则将这个点添加到序列 当序列 中的所 有点都 处 理 过 将 序 列 添 加 到 聚 类 并 清 空 对步骤 进行重复运算 直到原始点云集 合 中所有点都处理过 并且成为一个聚类的一 部分 蔬菜大棚中的土壤较为平整 且采集三维 点云图像时相机光心垂直于地面 所获取的土 壤点云的平均深度即可看作是相机光心与土壤 之间的垂直距离 记作 对蔬菜大棚中常见 杂草做高度统计 设定 为绝大部分杂草高度 阈值 对聚类后的单株作物与单颗杂草点云图 像 分别编程得到它们最高点的 值记为 为相机光心与杂草或作物最高点之间的距离 杂草识别公式为 结果与分析 土壤背景去除 土壤背景的去除是实现欧式聚类的前提 该研究采用超绿色算法作为背景分割的方法 不同的农田环境固定阈值有所不同 在蔬菜大 棚内青菜地环境下 经过一定的固定阈值尝试 阈值 选择为 效果最佳 土壤点云基本被去 除干净且作物点云被很好的保留 图 点云 图像上有将近 万个带有 信息的点 处理过程较为耗时 故采用体素滤波来进行预 处理 该研究中 设置创建的体素大小为 的立方 体 把 经 过 体 素 滤 波 后 的 点 云 图 像 与 图 对比可发现 张图像从形状特征 空间结 构上完全一致 查看图像信息可知点云图像上 的点从 个点减少到了 个点 加 快了后续算法处理速度 图 固定阈值为 效果 第 期 北 方 园 艺 单株作物与单棵杂草的聚类分割 从图 可以看出 图像中还存在着许多很小 的绿色个体 判断为杂草幼苗 由于其尚处于幼生 期 不影响蔬菜大棚内作物的生长 所以不在该次 实验的处理范围 调节聚类参数时 采用 搜索方式 设置聚类搜索半径为 最小聚 类点数为 最大聚类点数为 经过观察 可知 杂草幼苗点云包含的点个数与要聚类的对 象差别较大 所以可以通过限制最小聚类点的个 数来将杂草幼苗点云去除 欧式聚类算法成功的 将一副完整的点云图像分割成 幅包含单独个 体的点云图像 阈值设定与杂草识别 对 个单独的聚类个体 通过编程分别计算 求取最高点的 值 得到的单株作物或单棵杂 草最高点的 值即可看作杂草或作物最高点和 相机光心之间的距离 测量单株作物与单棵杂草 的最高点到相机光心的距离 编程得到的 值与 实际测量值误差在 由图 可知 杂草 和作物有明显的高度差 这部分误差不影响试验 结果 忽略不计 由图 可知 大部分最高点的 值在 有 个聚类中心点的 值在 判断为杂草 查看相应聚类编号为 的点云图像 确认为杂草点云图像 图 杂草与作物高度 该研究中对蔬菜大棚常见杂草进行了大量的 样本测量 统计其最高点位置离地距离 结果表 明 蔬菜大棚内绝大部分杂草最高点高度在 以内 土壤点云可通过超绿色算法的原理将具有 超绿特征的点从图像中删除获得 土壤点云见图 计算得到其平均深度为 根据式 阈值为 此处 阈值只适用于当 前图像 对于最高点 值大于 阈值的聚类对 象判断为杂草 对于小于 阈值的聚类对象判断 为作物 由图 可知 原图像中的杂草全部成功识 图 杂草与作物最高点 值统计 图 土壤点云图像 图 处理后点云图像 别 为了验证该研究所提出的杂草识别方法的准 确性和识别率 采集 张点云图像样本进行测 试 每 张点云图像分为一组 共分为 组 统计 每组种实际的杂草棵数和识别到的杂草棵数 识 别率为 图 该研究对次要研究对象生菜田内生菜和杂草 同样进行了点云数据采集并识别 生菜田点云图 像见图 杂草识别效果见图 该研究结果表 明 基于三维点云的蔬菜大棚杂草识别方法对生 北 方 园 艺 月 下 图 实际杂草棵数与识别到的杂草棵数统计 图 生菜田点云图像 图 杂草识别效果 菜田也同样适用 结合该研究所使用的算法原理 可以推论 在蔬菜大棚中杂草和作物有明显高度 差异且作物生长较为稀疏的场景 这种识别方法 均有很好的效果 讨论 该研究基于三维点云的蔬菜大棚杂草识别方 法 相较于二维图像上的杂草识别 该种结合深度 信息的识别方法能够更有效的应用于自动化除草 中 该方法识别率较高 识别范围较广 能适应多 种蔬菜大棚内环境如青菜田 生菜田等 为自动化 除草中的杂草识别环节提供了良好的技术支持 然而该研究依然存在一些不足与限制 土壤 表面的平整程度对识别效果存在一定影响 若杂 草长于土地中较高的位置或者作物生长在较低的 位置 均有可能产生错误识别 对于杂草种类有一 定的限制 叶片宽大且低矮的杂草能够被很好的 识别 而叶片细长型的杂草由于其点云图像不能 够被很好的采集 存在叶片缺失等情况 故在该研 究中所用的试验样本皆为叶片宽大且低矮的杂 草 若杂草和作物有接触 在实行聚类算法时会判 定为一个聚类 同样会对识别效果产生影响 对 于以上这些问题 还有待进一步的系统研究 结论 为实现蔬菜大棚自动化除草的目的 针对其 中的杂草识别环节 提出了一种基于三维点云的 蔬菜大棚杂草识别方法 采用俯视的拍摄角度采 集蔬菜大棚作物的点云图像 对于土壤等复杂背 景 提出采用超绿色算法来达到保留作物与杂草 点云图像的目的 对于包含有作物与杂草的点云 图像 提出采用欧式聚类分割的方法 分割出单棵 杂草和单株作物的点云图像 对于分割后的单独 图像 提出基于三维点云结合深度信息 坐标值 来进行杂草识别的研究方法 该研究结果表明 基于三维点云进行杂草识别的方法是可行的 对 于蔬菜大棚中杂草和作物有明显高度差异且生长 较为稀疏的场景都有很好的识别率 具有普适性 参考文献 姜威 基于 的蔬菜大棚智能控制系统设计与 实现 桂林 广西师范大学 王生生 王顺 张航 等 基于轻量和积网络及无人机遥感图 像的大豆田杂草识别 农业工程学报 颜秉忠 机器视觉技术在玉米苗期杂草识别中的应用 农机化研究 王海华 朱梦婷 李莉 等 基于剪切波变换和无人机麦田图 像的区域杂草识别方法 农业 工 程 学 报 祖琴 张水发 曹阳 等 结合光谱图像技术和 分类法 的甘蓝中杂草识别研究 光谱学与光谱分析 第 期 北 方 园 艺 乔永亮 何东健 赵川源 等 基于多光谱图像和 的玉 米田间杂草识别 农机化研究 李秋洁 郑加强 周宏平 等 基于变尺度格网索引与机器学 习的行道树靶标点云识别 农业机械学报 徐胜勇 卢昆等 基于 相机的油菜分枝三维重构与 角果识别定位 农业机械学报 杨斯 高万林 米家奇 等 基于 相机的蔬菜苗群体 株高测量方法 农业机械学报 仇瑞承 苗艳龙 季宇寒 等 基于 相机的单株玉米 株高测量方法 农业机械学报 北 方 园 艺 月 下