基于机器视觉技术的番茄苗分类和排序技术研究.pdf

收 稿 日 期 2020 06 02 作 者 简 介 张 海 歆 1981 男 福 建 莆 田 人 讲 师 主 要 研 究 方 向 为 图 像 处 理 基 于 机 器 视 觉 技 术 的 番 茄 苗 分 类 和 排 序 技 术 研 究 张 海 歆 阳 光 学 院 人 工 智 能 学 院 福 建 福 州350015 摘 要 传 统 番 茄 苗 选 择 中 往 往 是 操 作 员 根 据 形 态 学 特 征 基 于 视 觉 评 分 标 准 来 识 别 幼 苗 这 是 一 种 主 观 的 容 易 发 生 人 为 错 误 的 方 法 针 对 这 一 问 题 文 章 基 于 机 器 视 觉 技 术 设 计 了 一 种 全 自 动 移 栽 番 茄 苗 分 级 分 选 算 法 选 择UXGA UltraeXtendedGraphicsArray 极 速 扩 展 图 像 阵 列 相 机 蓝 色 背 光 和 滤 光 装 置 获 取 番 茄 幼 苗 图 像 信 息 从 图 像 信 息 中 确 定 幼 苗 的 弯 曲 度 叶 片 节 点 和 茎 粗 然 后 对 其 进 行 分 级 和 排 序 进 而 将 这 些 幼 苗 分 级 为 可 接 受 和 剔 除 结 果 表 明 根 据 番 茄 苗 茎 的 粗 细 将 幼 苗 分 级 分 为 大 中 小 三 类 具 有 良 好 的 效 果 该 算 法 不 仅 适 用 于 番 茄 幼 苗 还 可 以 应 用 于 茄 子 辣 椒 和 许 多 其 他 幼 苗 分 选 成 功 率 为97 关 键 词 番 茄 幼 苗 分 类 嫁 接 机 器 人 机 器 视 觉 排 序 算 法 中 图 分 类 号 TP242 3 文 献 标 识 码 A 文 章 编 号 1671 5330 2021 02 0023 05 0 引 言 为 了 获 得 竞 争 优 势 实 现 大 批 量 生 产 提 高 产 品 质 量 现 代 机 器 视 觉 技 术 正 在 把 自 动 化 技 术 与 农 业 生 产 相 结 合 这 些 自 动 化 生 产 设 备 配 备 了 传 感 器 用 于 控 制 机 器 的 各 个 功 能 模 块 1 3 嫁 接 是 植 物 无 性 繁 殖 的 一 种 方 法 被 栽 培 植 物 的 组 织 融 合 或 嫁 接 到 强 壮 的 重 要 植 物 上 利 用 土 壤 中 的 养 分 生 长 开 花 和 结 果 4 嫁 接 可 以 减 少 由 病 原 体 引 起 的 土 传 病 害 的 感 染 并 增 加 对 低 温 的 抵 抗 力 研 究 表 明 嫁 接 植 株 比 自 种 植 植 株 具 有 更 高 的 活 力 而 且 中 心 的 茎 直 径 更 大 移 栽 苗 需 求 量 增 加 的 一 个 重 要 原 因 是 要 找 到 一 种 有 效 方 法 来 消 除 甲 基 溴 等 有 害 化 学 农 药 物 质 产 生 的 不 良 影 响 近 年 来 嫁 接 植 物 的 种 植 面 积 有 所 增 加 为 满 足 农 产 品 日 益 增 长 的 巨 大 需 求 许 多 专 业 的 嫁 接 农 场 应 运 而 生 嫁 接 是 否 及 时 对 减 轻 幼 苗 根 系 暴 露 的 危 害 性 具 有 重 要 意 义 农 场 用 于 嫁 接 的 大 棚 一 般 保 持 在 低 温 高 湿 的 环 境 下 以 提 高 幼 苗 成 活 率 但 这 样 的 环 境 并 不 适 合 嫁 接 人 员 并 且 即 使 对 熟 练 工 人 来 说 嫁 接 也 是 一 项 耗 时 又 乏 味 的 工 作 人 工 种 植 嫁 接 苗 的 工 作 很 难 满 足 市 场 日 益 增 长 的 需 求 这 些 不 利 的 因 素 刺 激 了 嫁 接 自 动 化 的 研 究 并 以 此 取 代 缓 慢 的 手 工 嫁 接 随 着 高 速 计 算 机 的 广 泛 兴 起 机 器 视 觉 技 术 被 广 泛 应 用 于 植 物 和 植 物 产 品 的 形 态 和 特 征 的 提 取 国 内 外 学 者 已 经 开 始 了 对 嫁 接 机 器 人 系 统 的 研 究 在 日 本 YANMAR 公 司 和 三 菱 公 司 展 开 合 作 开 发 并 实 现 黄 瓜 和 西 瓜 的 半 自 动 嫁 接 机 器 人 系 统 的 商 业 化 其 速 度 大 约 是 人 工 嫁 接 的 三 倍 5 6 所 有 机 器 人 嫁 接 系 统 都 采 用 半 自 动 人 工 对 秧 苗 分 级 和 分 类 模 式 但 是 目 前 还 没 有 可 以 节 省 大 量 的 人 力 和 生 产 成 本 的 全 自 动 化 的 嫁 接 机 器 人 系 统 砧 木 和 接 穗 幼 苗 的 直 径 匹 配 直 接 决 定 了 嫁 接 成 功 度 所 以 嫁 接 前 需 要 选 择 直 径 相 同 的 接 穗 和 砧 木 幼 苗 为 了 达 到 这 一 目 的 需 要 对 秧 苗 进 行 分 级 和 分 类 这 是 一 项 费 时 费 力 的 劳 动 密 集 型 工 作 操 作 人 员 根 据 形 态 学 特 征 采 用 一 系 列 视 觉 评 分 标 准 来 识 别 幼 苗 这 是 一 种 主 观 且 容 易 发 生 人 为 错 误 的 方 法 本 研 究 的 目 的 是 利 用 机 器 视 觉 实 现 分 级 和 排 序 算 法 对 西 红 柿 的 幼 苗 进 行 四 组 嫁 接 使 秧 苗 可 以 嫁 接 得 更 精 确 更 快 更 环 保 最 终 将 这 些 幼 苗 分 级 为 可 接 受 和 剔 除 两 类 1 视 觉 设 备 系 统 虽 然 幼 苗 的 形 态 可 由 其 特 征 来 表 征 但 其 特 征 并 不 能 提 供 足 够 有 用 的 定 量 信 息 来 进 行 模 式 识 别 因 为 即 使 在 同 一 品 种 的 幼 苗 之 间 幼 苗 的 形 状 也 有 很 大 的 差 异 7 10 为 了 对 幼 苗 进 行 定 向 模 式 识 别 必 须 采 集 到 能 够 确 切 表 征 幼 苗 形 状 的 特 征 由 于 每 个 幼 苗 变 化 尺 寸 各 不 相 同 每 个 幼 苗 都 必 须 单 独 测 量 以 量 化 其 形 状 从 而 识 别 所 需 的 特 征 在 自 动 嫁 接 系 统 中 相 机 可 以 代 替 人 眼 对 秧 苗 进 行 分 级 和 分 类 1 1 相 机 和 光 源 的 选 择 对 幼 苗 进 行 分 级 和 分 类 的 主 要 特 征 是 茎 的 粗 细 参 数 11 图 像 单 位 面 积 下 像 素 的 数 量 是 一 个 重 要 的 参 数 选 择 分 辨 率 为1628 1236 像 素 的 UXGA 单 色 相 机 获 取 幼 苗 图 像 在 机 器 视 觉 系 统 中 通 常 使 用 两 类 人 工 光 源 来 获 取 物 体 的 视 觉 化 图 像 1 从 物 体 的 正 面 进 行 照 明 使 所 需 的 特 征 在 相 机 上 显 示 出 来 图1a 所 示 2 从 物 体 的 背 面 照 明 使 物 体 的 阴 影 能 够 被 视 觉 相 机 获 取 图1b 所 示 图1 a 正 面 照 明 系 统 b 背 光 系 统 为 了 找 到 适 合 的 光 源 对 两 类 光 源 进 行 了 测 试 第 一 步 四 个LED LightEmittingDiode 二 级 发 光 管 光 源 被 放 置 在 相 机 周 围 面 向 幼 苗 进 行 采 集 按 照 这 种 布 局 获 得 了 相 机 距 离 幼 苗5 10 15 和20 厘 米 拍 摄 的 图 像 然 后 在 相 同 的 幼 苗 和 相 同 的 相 机 距 离 条 件 下 将 光 源 放 置 在 幼 苗 后 面 使 其 面 对 相 机 这 样 就 可 以 获 得 幼 苗 的 影 子 比 较 两 种 光 源 获 得 的 图 像 选 择 图 像 清 晰 度 更 好 的 光 源 进 行 课 题 的 研 究 1 2 背 光 的 颜 色 和 滤 光 器 市 场 上 有 白 色 蓝 色 和 红 色 的LCD liquid crystaldisplay 液 晶 显 示 器 面 板 背 光 可 用 作 照 明 光 源 这 三 种 颜 色 的 背 光 分 别 与 相 机 一 起 使 用 从 相 同 的 相 机 位 置 获 取 幼 苗 的 图 像 对 采 集 到 的 图 像 进 行 像 素 提 取 值 的 比 较 选 择 合 适 的 背 景 光 颜 色 进 行 研 究 光 源 对 物 体 产 生 一 定 的 反 射 或 光 晕 效 应 使 物 体 的 某 些 部 分 高 度 明 亮 为 了 消 除 这 种 光 晕 效 应 通 常 使 用 偏 振 光 滤 光 片 同 时 与 相 机 和 光 源 一 起 获 取 图 像 为 了 找 到 合 适 的 偏 振 光 过 滤 器 设 置 了10 厘 米 相 机 距 离 的 三 种 不 同 组 合 设 备 获 取 图 像 幼 苗 1 使 用 没 有 光 过 滤 设 备 2 使 用 偏 振 光 过 滤 器 镜 头 3 使 用 偏 振 光 过 滤 的 镜 头 以 及 背 光 面 板 对 采 集 到 的 图 像 进 行 对 比 找 出 提 取 图 像 所 需 特 征 的 最 佳 组 合 2 机 器 视 觉 技 术 2 1 图 像 采 集 图2 图 像 采 集 的 实 验 设 置 图 为 了 进 行 试 验 收 集 了200 株 接 穗 苗 和200 株 砧 木 苗 为 了 找 到 相 机 与 幼 苗 之 间 的 最 佳 距 离 需 要 获 取 幼 苗 在10 15 20 和25cm 相 机 距 离 下 的 测 试 图 像 然 后 比 较 图 像 中 发 现 的 所 需 特 征 每 个 幼 苗 被 垂 直 放 置 在 相 机 和 背 光 面 板 之 间 以 获 取 其 图 像 相 机 幼 苗 背 光 板 的 实 验 设 置 如 图 2 所 示 在 选 定 的 最 佳 相 机 距 离 下 从 三 个 不 同 的 相 机 方 向 手 动 旋 转 秧 苗 载 体90 获 取 每 个 秧 苗 的 三 幅 图 像 4 2 安 阳 师 范 学 院 学 报 2021 年 2 2 图 像 处 理 所 开 发 的 算 法 不 包 含 复 杂 的 图 像 处 理 方 案 以 便 直 接 对 高 速 图 像 数 据 进 行 处 理 图 像 实 时 处 理 是 排 序 系 统 的 关 键 为 了 区 分 幼 苗 图 像 与 背 景 将 灰 度 图 像 转 换 为 二 值 图 像 阈 值 从 背 景 图 像 中 若 干 点 的 最 小 灰 度 值 中 选 取 像 素 有 价 值 1 的 数 量 在 每 个 图 像 的 水 平 轴 数 图3 所 示 图3 二 值 化 图 像 在 水 平 轴 的 像 素 值 2 3 幼 苗 杆 直 径 确 定 根 据 二 值 化 的 图 像 在 横 轴 方 向 上 的 统 计 值 确 定 幼 苗 切 点 处 的 茎 部 直 径 以5 个 连 续 水 平 轴 上 的 平 均 值 作 为 最 终 直 径 如 果 在 切 割 点 处 的 茎 不 是 垂 直 的 那 么 沿 水 平 轴 的 计 算 值 将 不 能 给 出 准 确 的 直 径 如 图4 所 示 因 此 在 沿 水 平 轴 计 算 像 素 值 之 前 利 用 1 和 2 公 式 来 补 偿 轴 的 倾 斜 度 使 其 与 杆 垂 直 1 2 确 定 幼 苗 杆 直 径 过 程 中 通 过 x y 坐 标 沿 着x 轴 与y 纵 轴 杆 的 的 倾 角 方 向 向 下 标n 为 步 数 移 动 计 算 像 素 同 时 设 置 每 个 水 平 行 x 0 y 0 为 水 平 轴 和 幼 苗 杆 交 叉 点 幼 苗 杆 直 径 是 指 像 素 沿 x y 轴 计 数 值 设 置 x n y n x n 1 y n 1 分 别 指 代 茎 最 左 边 缘 与 横 轴 在y n y n 1 处 的 交 点 2 4 秧 苗 的 分 级 和 分 类 排 序 算 法 的 第 一 步 是 从 两 个 相 机 方 向 获 得 的 每 个 幼 苗 的 两 幅 图 像 并 从 中 找 出 更 好 的 一 幅 两 个 方 向 之 间 的 夹 角 约 为90 从 两 个 相 机 方 向 获 取 的 幼 苗 图 像 如 图5 所 示 其 中 节 点 间 长 度 较 长 图4 补 偿 倾 角 对 幼 苗 杆 直 径 的 影 响 的 图 像 被 认 为 是 较 好 的 图 像 因 为 该 图 像 中 叶 子 的 方 向 几 乎 垂 直 于 摄 像 轴 因 此 可 以 清 楚 地 检 测 到 节 点 和 茎 图5 从 两 个 方 向 拍 摄 的 同 一 株 幼 苗 的 图 像 由 于 叶 片 排 列 不 整 齐 两 幅 幼 苗 图 像 中 的 叶 片 节 点 无 法 检 测 到 则 将 其 划 分 为 D 类 或 不 合 格 在 对 幼 苗 进 行 分 级 之 前 要 根 据 不 同 的 相 机 位 置 校 准 像 素 数 量 和 幼 苗 直 径 通 常 情 况 下 幼 苗 茎 部 直 径 从1 20mm 到2 50mm 不 等 因 此 根 据 茎 粗 将 幼 苗 分 为 A B C 三 类 分 别 对 应 大 中 小 三 种 茎 粗 这 里 大 中 小 分 别 表 示 茎 粗 范 围 大 于2 00mm 介 于 1 60mm 2 00mm 之 间 小 于1 60mm 按 其 等 级 进 行 排 序 3 实 验 分 析 根 据 扦 插 点 处 的 茎 粗 细 对 幼 苗 进 行 分 级 和 分 选 本 文 提 出 的 算 法 从 幼 苗 底 部 的 某 个 预 定 点 开 始 沿 水 平 轴 扫 描 每 个 图 像 并 累 积 二 值 化 的 像 素 值 图6 a 为 二 值 尺 度 下 的 幼 苗 图 像 图6 b 为 同 一 图 像 的 像 素 计 数 值 结 果 表 明 在 垂 直 轴 向250 像 素 处 累 积 的 像 素 值 与 幼 苗 茎 部 的 粗 细 5 2 第2 期 张 海 歆 基 于 机 器 视 觉 技 术 的 番 茄 苗 分 类 和 排 序 技 术 研 究 值 基 本 一 致 在 垂 直 轴 上 累 积 像 素 逐 渐 增 加 到 360 这 表 示 子 叶 的 存 在 然 后 累 积 像 素 数 逐 渐 减 少 直 到 垂 直 像 素 数415 接 近 垂 直 像 素 数250 为 止 从 该 点 向 上 移 动 在 垂 直 像 素 数550 处 找 到 叶 节 点 因 为 从 该 点 开 始 累 计 像 素 开 始 再 次 增 加 使 用 短 的 水 平 轴 从 像 素 值415 向 下 移 动 子 叶 节 点 也 在 垂 直 像 素415 和360 之 间 的 某 个 地 方 被 检 测 到 两 个 节 点 的 中 点 可 以 很 容 易 确 定 并 且 可 以 确 定 表 示 该 点 处 茎 的 直 径 的 像 素 个 数 通 过 与 校 准 数 据 的 比 较 还 可 以 确 定 苗 木 茎 粗 细 从 而 对 幼 苗 进 行 分 级 和 分 类 图6 a 灰 度 幼 苗 图 像 b 像 素 的 二 进 制 值 图7 a 不 合 格 灰 度 幼 苗 图 像 b 像 素 的 二 进 制 值 图7 显 示 的 一 个 幼 苗 图 像 其 中 所 需 的 部 分 被 叶 子 覆 盖 从 每 个 水 平 轴 上 计 数 的 二 进 制 像 素 谷 图7 b 中 无 法 检 测 到 子 叶 上 方 的 茎 因 此 这 棵 幼 苗 将 被 分 级 为 D 或 不 合 格 并 留 给 人 工 嫁 接 4 结 论 针 对 全 自 动 嫁 接 系 统 提 出 了 一 种 基 于 机 器 视 觉 的 番 茄 苗 分 级 分 选 算 法 从 幼 苗 图 像 采 集 实 验 中 发 现 背 光 系 统 结 合 偏 振 光 滤 波 器 适 合 于 识 别 图 像 中 的 幼 苗 形 状 机 器 视 觉 分 选 算 法 的 成 功 率 为97 其 余3 的 幼 苗 未 能 进 行 分 类 因 为 图 像 中 所 需 的 部 分 被 四 面 不 规 则 排 列 的 叶 子 覆 盖 因 此 这 些 幼 苗 被 保 留 为 人 工 种 植 嫁 接 同 时 根 据 切 点 处 的 茎 粗 实 现 幼 苗 分 级 将 其 分 为 大 中 小 三 类 该 算 法 不 仅 适 用 于 番 茄 幼 苗 还 可 以 应 用 于 茄 子 辣 椒 及 其 他 幼 苗 只 需 稍 加 修 改 即 可 广 泛 推 广 具 有 良 好 的 应 用 价 值 参 考 文 献 1 郭 智 杰 王 明 泉 张 俊 生 等 基 于 机 器 视 觉 的 轮 毂 在 线 识 别 分 类 技 术 研 究 J 测 试 技 术 学 报 2019 33 3 54 58 2 丁 金 如 孟 志 刚 杨 燕 鹤 基 于 机 器 视 觉 的 冻 干 粉 中 的 异 物 检 测 分 类 技 术 研 究 J 计 算 机 与 数 字 工 程 2017 45 1 66 71 3 钱 蓉 詹 凯 王 重 龙 基 于 机 器 视 觉 技 术 的 动 物 行 为 自 动 识 别 和 分 类 J 中 国 家 禽 2016 38 3 63 65 4 杨 东 海 张 胜 茂 汤 先 峰 基 于 机 器 视 觉 技 术 的 鱼 类 识 别 研 究 进 展 J 渔 业 信 息 与 战 略 2019 34 2 37 45 5 刘 少 华 基 于 机 器 视 觉 的 运 动 控 制 技 术 研 究 J 科 技 创 新 导 报 2018 15 31 58 60 6 胡 庆 新 王 伟 顾 爱 华 基 于 机 器 视 觉 的 农 产 品 物 料 分 级 检 测 系 统 关 键 技 术 研 究 C 仪 器 仪 表 学 报 下 一 代 自 动 测 试 系 统 学 术 研 讨 会 论 文 集 乌 鲁 木 齐 2011 141 144 7 陈 梅 香 刘 蒙 蒙 赵 丽 等 基 于 机 器 视 觉 的 设 施 农 业 害 虫 监 测 技 术 研 究 进 展 与 展 望 J 农 业 工 程 技 术 2017 31 7 12 8 徐 长 杰 冯 海 美 张 玉 洁 等 基 于 机 器 视 觉 的 煤 炭 分 拣 技 术 研 究 J 华 北 科 技 学 院 学 报 2016 6 61 64 9 杨 萌 赵 亮 基 于 机 器 视 觉 的 工 件 特 征 识 别 与 分 类 方 法 研 究 J 无 线 互 联 科 技 2014 12 152 10 张 健 钦 王 秀 龚 建 华 等 基 于 机 器 视 觉 技 术 的 叶 6 2 安 阳 师 范 学 院 学 报 2021 年 面 积 测 量 系 统 实 现 J 自 然 科 学 进 展 2004 11 97 102 ResearchonTomatoSeedlingClassification andSortingBasedonMachineVisionTechnology ZHANGHaixin CollegeofArtificialIntelligence YangoUniversity Fuzhou350015 China Abstract Traditionallyoperatorsuseasetofvisualscoringcriteriatoidentifyseedlingsbasedonmorphological characteristics andthisisasubjectivemethoedpronetohumanerrorprone Tosolvethisproblem anauto matictomatoseedlingclassificationalgorithmbasedonmachinevisiontechnologyisdesignedbyselectingUX GAcamera bluebacklightandfilterfortomatoseedlingimageinformation Thealgorithmisdevelopedtode terminethecurvature leafnodeandstemdiameterofseedlingsfromtheimageinformation andthentoclassi fyandsortthem Theseedlingshavebeengradedas acceptable and culled Theresultsshowthatac cordingtothesizeofthestem theseedlingsareclassifiedintothreetypes large mediumandsmall Theal gorithmisappliednotonlyfortomatoseedlingsbutalsoforeggplant pepperandmanyotherseedlings witha successrateof97 Keywords classificationtomatoseedling graftingrobot machinevision sortingalgorithm 责 任 编 辑 杜 燕 军 责 任 校 对 杜 燕 军 康 国 章 7 2 第2 期 张 海 歆 基 于 机 器 视 觉 技 术 的 番 茄 苗 分 类 和 排 序 技 术 研 究