采摘机器人视觉系统研究进展.pdf

江 苏 农 业 学 报 金 寿 祥 周 宏 平 姜 洪 喆 等 采 摘 机 器 人 视 觉 系 统 研 究 进 展 江 苏 农 业 学 报 采 摘 机 器 人 视 觉 系 统 研 究 进 展 金 寿 祥 周 宏 平 姜 洪 喆 孙 梦 梦 南 京 林 业 大 学 机 械 电 子 工 程 学 院 江 苏 南 京 收 稿 日 期 基 金 项 目 国 家 自 然 科 学 基 金 青 年 科 学 基 金 项 目 江 苏 省 农 业 科 技 自 主 创 新 基 金 项 目 江 苏 省 高 等 学 校 自 然 科 学 研 究 项 目 作 者 简 介 金 寿 祥 男 安 徽 安 庆 人 硕 士 研 究 生 主 要 研 究 方 向 为 图 像 识 别 目 标 检 测 技 术 通 讯 作 者 周 宏 平 摘 要 视 觉 是 采 摘 机 器 人 感 知 外 部 环 境 的 重 要 手 段 之 一 采 摘 机 器 人 的 采 摘 效 率 与 准 确 率 很 大 程 度 上 受 到 其 视 觉 子 系 统 识 别 与 定 位 性 能 影 响 近 年 来 研 究 者 围 绕 采 摘 机 器 人 的 视 觉 系 统 开 展 了 大 量 研 究 伴 随 人 工 智 能 深 度 学 习 的 发 展 机 器 人 视 觉 研 究 取 得 了 较 大 进 步 采 摘 机 器 人 进 入 了 实 际 应 用 阶 段 本 文 针 对 采 摘 机 器 人 视 觉 系 统 研 究 现 状 主 要 从 视 觉 数 据 获 取 方 法 采 摘 点 识 别 技 术 和 采 摘 点 定 位 技 术 个 方 面 进 行 总 结 分 析 指 出 了 当 前 采 摘 机 器 人 采 摘 点 识 别 与 定 位 过 程 中 面 临 的 一 些 挑 战 最 后 对 未 来 采 摘 机 器 人 视 觉 系 统 的 发 展 进 行 了 展 望 关 键 词 视 觉 数 据 采 摘 点 识 别 三 维 定 位 深 度 学 习 中 图 分 类 号 文 献 标 识 码 文 章 编 号 果 实 采 摘 需 要 大 量 劳 动 力 参 与 而 近 年 来 农 业 劳 动 力 出 现 了 老 龄 化 与 短 缺 的 问 题 户 外 露 天 环 境 下 阶 段 性 机 械 性 和 重 复 性 的 劳 动 使 农 业 面 临 的 劳 动 力 短 缺 问 题 更 加 严 峻 劳 动 力 的 减 少 导 致 农 作 物 生 产 能 力 下 降 与 采 摘 成 本 上 升 因 此 实 现 采 摘 过 程 的 自 动 化 和 智 能 化 是 解 决 劳 动 力 短 缺 问 题 的 最 佳 方 案 之 一 采 摘 机 器 人 通 常 含 有 个 子 系 统 视 觉 系 统 动 作 执 行 系 统 和 末 端 执 行 器 视 觉 系 统 负 责 对 采 摘 环 境 中 的 果 实 进 行 识 别 与 定 位 动 作 执 行 系 统 和 末 端 执 行 器 负 责 采 摘 而 视 觉 系 统 的 运 行 又 可 分 为 个 阶 段 数 据 获 取 目 标 识 别 三 维 定 位 视 觉 系 统 识 别 效 率 与 定 位 精 度 将 直 接 影 响 到 采 摘 机 器 人 的 工 作 效 率 与 成 功 率 在 农 业 生 产 中 由 于 果 实 生 长 环 境 不 同 空 间 分 布 杂 乱 果 实 的 大 小 形 状 和 颜 色 等 特 性 也 会 有 所 不 同 自 然 环 境 中 的 果 实 普 遍 存 在 着 因 果 实 重 叠 果 实 被 叶 片 和 枝 条 遮 挡 光 照 条 件 变 化 而 导 致 的 果 实 图 像 不 清 晰 的 现 象 另 外 采 摘 机 器 人 执 行 采 摘 动 作 时 对 环 境 产 生 的 扰 动 可 能 干 扰 之 前 的 定 位 结 果 上 述 因 素 给 视 觉 数 据 的 获 取 和 采 摘 点 的 识 别 与 定 位 带 来 了 巨 大 挑 战 深 度 学 习 未 出 现 之 前 关 于 采 摘 机 器 人 视 觉 系 统 中 的 识 别 技 术 已 有 大 量 研 究 按 照 技 术 发 展 过 程 可 分 为 以 下 类 传 统 数 字 图 像 处 理 技 术 如 基 于 单 一 特 征 的 颜 色 形 状 纹 理 等 特 征 分 析 基 于 传 统 机 器 学 习 的 识 别 方 法 如 聚 类 算 法 近 邻 算 法 支 持 向 量 机 算法 等 近 年 来 受 人 工 智 能 技 术 发 展 与 硬 件 性 能 大 幅 提 升 的 影 响 深 度 学 习 技 术 在 图 像 识 别 目 标 检 测 上 取 得 了 非 凡 的 成 就 相 比 于 传 统 数 字 图 像 处 理 与 机 器 学 习 基 于 颜 色 纹 理 形 状 等 特 征 匹 配 的 果 实 识 别 方 法 深 度 学 习 利 用 深 层 神 经 网 络 强 大 的 特 征 自 学 习 能 力 在 果 实 识 别 与 采 摘 点 定 位 任 务 中 取 得 了 较 好 的 效 果 本 文 拟 对 近 年 来 采 摘 机 器 人 视 觉 系 统 的 研 究 进 展 进 行 综 述 为 后 续 的 研 究 提 供 参 考 视 觉 数 据 的 获 取 方 法 视 觉 是 一 种 感 知 环 境 的 重 要 方 法 是 目 标 识 别 与 定 位 的 基 础 计 算 机 视 觉 数 据 主 要 有 二 维 平 面 数 据 和 三 维 空 间 数 据 视 觉 系 统 由 图 像 传 感 器 和 图 像 处 理 单 元 组 成 是 采 摘 机 器 人 感 知 外 部 环 境 的 重 要 手 段 二 维 数 据 的 获 取 二 维 视 觉 数 据 通 常 指 二 维 彩 色 图 像 由 图 像 传 感 器 获 得 被 广 泛 用 于 目 标 识 别 图 像 传 感 器 按 原 理 可 分 为 电 荷 耦 合 器 件 传 感 器 和 互 补 金 属 氧 化 物 半 导 体 传 感 器 其 中 单 目 相 机 是 使 用 最 广 泛 的 图 像 采 集 设 备 其 结 构 简 单 价 格 便 宜 使 用 要 求 低 图 像 是 最 常 见 的 二 维 图 像 色 彩 模 式 也 有 部 分 学 者 使 用 等 色 彩 模 式 彩 色 图 像 中 包 含 的 颜 色 纹 理 形 状 等 特 征 常 被 用 于 果 实 的 识 别 如 马 帅 等 使 用 设 备 采 集 梨 园 中 结 果 期 的 梨 树 图 像 构 建 了 自 然 环 境 下 的 梨 果 实 识 别 数 据 集 但 是 不 包 含 夜 间 情 况 针 对 此 问 题 等 利 用 相 机 在 人 工 照 明 条 件 下 采 集 夜 间 绿 葡 萄 的 图 像 解 决 了 绿 葡 萄 夜 间 检 测 和 采 摘 的 问 题 此 外 毕 松 等 使 用 相 机 获 取 不 同 光 照 条 件 果 实 被 遮 挡 等 情 况 下 的 柑 橘 图 像 实 现 了 复 杂 环 境 下 的 柑 橘 识 别 由 于 彩 色 图 像 缺 少 深 度 信 息 难 以 直 接 用 于 采 摘 点 三 维 定 位 通 常 是 将 彩 色 图 像 与 深 度 图 像 融 合 作 为 采 摘 点 三 维 定 位 的 依 据 即 先 在 彩 色 图 像 上 对 果 实 进 行 识 别 与 采 摘 点 定 位 再 将 彩 色 图 像 上 的 坐 标 映 射 到 相 应 的 深 度 图 上 以 该 点 深 度 值 作 为 采 摘 点 深 度 坐 标 三 维 数 据 的 获 取 三 维 视 觉 数 据 是 在 二 维 数 据 的 基 础 上 添 加 了 深 度 方 向 数 据 可 为 采 摘 点 的 三 维 空 间 定 位 提 供 基 础 表 列 出 了 目 前 常 用 的 三 维 数 据 获 取 方 法 表 常 用 三 维 数 据 采 集 设 备 比 较 设 备 原 理 优 点 局 限 性 双 目 相 机 视 差 结 构 简 单 分 辨 率 较 高 计 算 复 杂 度 高 对 光 照 变 化 敏 感 相 机 短 距 离 检 测 精 度 高 容 易 受 到 环 境 光 的 影 响 有 效 检 测 距 离 远 受 光 照 影 响 小 检 测 精 度 较 低 设 备 能 耗 较 高 激 光 雷 达 可 以 在 无 光 环 境 中 使 用 检 测 距 离 远 检 测 精 度 不 高 硬 件 成 本 高 结 构 光 飞 行 时 间 调 频 连 续 波 雷 达 双 目 相 机 双 目 相 机 一 般 由 个 型 号 相 同 的 单 目 相 机 按 相 应 的 位 置 组 合 而 成 通 常 是 水 平 放 置 双 目 相 机 通 过 空 间 中 任 意 一 点 的 位 置 在 个 相 机 生 成 图 像 中 的 视 差 计 算 该 点 的 深 度 值 原 理 如 图 所 示 根 据 图 中 的 几 何 关 系 可 得 金 寿 祥 等 采 摘 机 器 人 视 觉 系 统 研 究 进 展 相 机 焦 距 基 线 距 离 空 间 中 任 意 一 点 点 在 左 侧 相 机 轴 上 的 坐 标 点 在 右 侧 相 机 轴 上 的 坐 标 图 双 目 相 机 测 距 模 型 即 可 得 到 点 的 深 度 坐 标 其 中 即 为 视 差 同 理 按 照 几 何 关 系 也 可 算 出 点 横 坐 标 和 纵 坐 标 与 左 右 相 机 之 间 的 关 系 但 是 在 相 机 成 像 过 程 中 还 存 在 一 定 程 度 的 畸 变 在 实 际 使 用 中 需 要 通 过 矫 正 来 抵 消 畸 变 影 响 双 目 相 机 硬 件 成 本 低 深 度 图 分 辨 率 高 是 较 早 出 现 的 三 维 视 觉 数 据 采 集 设 备 例 如 等 为 了 实 现 番 茄 自 动 采 摘 使 用 个 相 同 的 水 平 放 置 的 相 机 组 成 的 双 目 相 机 采 集 番 茄 果 实 的 彩 色 图 建 立 了 一 个 番 茄 识 别 数 据 集 用 于 番 茄 识 别 成 功 率 达 到 了 再 根 据 双 目 测 距 原 理 得 到 番 茄 的 深 度 坐 标 机 械 手 末 端 定 位 误 差 不 超 过 同 样 的 庞 超 凡 使 用 双 目 相 机 采 集 了 不 同 遮 挡 情 况 下 的 小 金 橘 的 彩 色 图 像 用 来 对 小 金 橘 进 行 识 别 定 位 但 是 对 多 个 被 遮 挡 过 多 的 小 金 橘 定 位 效 果 并 不 佳 为 提 高 多 目 标 定 位 精 度 曹 春 卿 等 提 出 一 种 基 于 双 目 视 觉 技 术 的 多 目 标 苹 果 识 别 定 位 模 型 可 以 准 确 识 别 多 种 场 景 下 的 目 标 苹 果 根 据 双 目 相 机 成 像 原 理 每 个 像 素 点 的 深 度 信 息 都 需 要 通 过 计 算 获 得 计 算 量 较 大 另 外 双 目 相 机 十 分 依 赖 图 像 的 特 征 匹 配 寻 找 左 右 图 像 中 相 同 的 像 素 点 使 得 算 法 复 杂 度 高 而 且 双 目 相 机 是 一 种 被 动 成 像 相 机 所 以 对 照 明 条 件 非 常 敏 感 在 光 照 不 足 背 光 和 强 光 等 环 境 下 的 使 用 效 果 较 差 相 机 相 机 一 般 由 一 个 相 机 和 一 个 深 度 相 机 组 合 而 成 可 输 出 视 场 内 的 彩 色 图 像 和 深 度 点 云 数 据 根 据 成 像 原 理 深 度 相 机 又 可 分 为 结 构 光 型 飞 行 时 间 型 和 主 动 立 体 红 外 型 如 图 图 所 示 图 结 构 光 型 深 度 相 机 测 距 原 理 图 飞 行 时 间 型 深 度 相 机 测 距 原 理 结 构 光 型 飞 行 时 间 型 和 主 动 立 体 红 外 型 都 使 用 了 红 外 光 作 为 深 度 信 息 的 获 取 方 式 差 别 在 于 红 外 光 的 形 式 不 同 结 构 光 型 相 机 通 过 发 射 特 定 编 码 后 的 红 外 光 到 被 测 物 体 表 面 利 用 红 外 光 从 发 射 到 接 受 过 程 中 的 失 真 程 度 提 取 深 度 信 息 典 型 的 设 备 江 苏 农 业 学 报 年 第 卷 第 期有 等 飞 行 时 间 型 相 机 通 过 测 量 红 外 线 从 发 射 到 经 物 体 表 面 反 射 回 接 收 器 的 时 间 计 算 深 度 信 息 常 见 的 设 备 有 等 是 结 构 光 型 相 机 与 双 目 相 机 的 结 合 使 用 个 红 外 线 接 收 器 弥 补 了 双 目 相 机 在 室 外 场 景 使 用 的 缺 点 代 表 产 品 有 系 列 例 如 刘 景 娜 设 计 了 一 种 基 于 传 感 器 的 番 茄 信 息 采 集 系 统 实 现 了 番 茄 植 株 外 形 的 三 维 重 建 与 果 实 的 识 别 与 计 数 孙 宝 霞 等 基 于 与 笔 记 本 电 脑 组 成 的 系 统 采 集 了 不 同 光 照 度 下 的 幅 龙 眼 图 像 作 为 龙 眼 识 别 数 据 集 张 勤 等 使 用 相 机 拍 摄 不 同 照 明 条 件 下 的 葡 萄 串 利 用 采 集 到 的 葡 萄 串 融 合 图 像 实 现 了 复 杂 环 境 下 的 葡 萄 串 识 别 与 采 摘 点 的 定 位 采 摘 点 定 位 成 功 率 达 到 深 度 误 差 仅 为 结 构 光 型 相 机 近 距 离 检 测 精 度 高 不 受 物 体 纹 理 影 响 但 是 其 检 测 精 度 会 随 着 检 测 距 离 变 远 而 极 度 下 降 且 易 受 强 光 干 扰 不 适 合 在 室 外 工 作 环 境 中 使 用 飞 行 时 间 型 相 机 检 测 距 离 较 远 受 光 照 变 化 和 物 体 纹 理 的 影 响 较 小 但 其 深 度 图 分 辨 率 相 对 较 低 功 耗 较 高 硬 件 成 本 也 高 激 光 雷 达 激 光 雷 达 按 原 理 可 分 为 飞 行 时 间 法 和 相 干 探 测 法 两 类 都 是 主 动 发 射 激 光 到 被 测 物 体 表 面 生 成 点 云 数 据 如 图 所 示 激 光 雷 达 在 自 动 驾 驶 目 标 检 测 领 域 已 被 广 泛 使 用 近 年 来 有 部 分 学 者 将 其 应 用 在 果 实 识 别 与 定 位 上 并 取 得 不 错 的 效 果 如 等 为 了 实 现 夜 间 无 光 条 件 下 的 苹 果 识 别 在 夜 间 使 用 激 光 雷 达 扫 描 仪 生 成 了 苹 果 树 的 点 云 数 据 利 用 苹 果 树 的 树 叶 枝 干 和 果 实 对 激 光 的 反 射 率 不 同 实 现 了 果 园 中 苹 果 的 识 别 与 定 位 为 了 减 少 遮 挡 对 扫 描 结 果 的 影 响 等 使 用 型 激 光 扫 描 仪 从 个 方 位 扫 描 橙 树 得 到 橙 树 四 周 的 三 维 点 云 数 据 同 样 的 等 使 用 地 面 激 光 扫 描 仪 获 取 油 茶 树 点 云 数 据 得 到 的 扫 描 结 果 不 仅 包 含 点 云 的 强 度 信 息 还 包 含 对 应 物 体 表 面 的 颜 色 信 息 激 光 雷 达 是 一 种 主 动 测 量 的 方 法 测 量 效 果 不 受 光 照 条 件 的 影 响 可 以 直 接 用 于 夜 间 果 实 检 测 但 是 激 光 雷 达 的 价 格 相 比 普 通 相 机 较 贵 图 激 光 雷 达 原 理 且 分 辨 率 不 高 另 外 对 点 云 数 据 的 识 别 技 术 正 处 于 发 展 阶 段 使 基 于 激 光 雷 达 方 法 的 果 实 识 别 效 果 通 常 差 于 使 用 相 机 的 效 果 但 随 着 深 度 学 习 技 术 在 点 云 数 据 处 理 上 的 发 展 未 来 的 情 况 可 能 会 有 所 好 转 果 实 识 别 技 术 的 研 究 进 展 果 实 的 识 别 是 智 能 化 采 摘 过 程 中 的 第 一 个 环 节 也 是 最 关 键 的 一 步 识 别 的 准 确 率 直 接 影 响 到 后 续 采 摘 点 的 三 维 定 位 精 度 随 着 科 技 的 进 步 果 实 识 别 技 术 从 基 于 数 字 图 像 处 理 的 方 法 发 展 到 基 于 机 器 学 习 的 识 别 方 法 再 发 展 到 基 于 深 度 学 习 的 识 别 方 法 识 别 模 型 的 准 确 性 实 时 性 和 鲁 棒 性 不 断 提 高 这 也 使 得 采 摘 机 器 人 能 被 实 际 应 用 表 介 绍 了 一 些 果 实 的 识 别 效 果 基 于 传 统 数 字 图 像 处 理 的 识 别 方 法 人 们 在 观 察 物 体 时 通 常 先 注 意 到 物 体 的 形 状 颜 色 和 纹 理 等 特 征 并 基 于 此 判 断 物 体 的 类 别 传 统 数 字 图 像 处 理 方 法 就 使 用 了 类 似 原 理 先 由 研 究 人 员 通 过 个 人 经 验 筛 选 出 待 采 摘 果 实 的 特 征 再 利 用 计 算 机 对 所 获 彩 色 图 像 进 行 特 征 匹 配 当 某 个 区 域 的 匹 配 率 高 于 设 定 的 阈 值 时 就 认 为 该 区 域 存 在 目 标 果 实 基 于 单 一 特 征 识 别 基 于 单 一 特 征 的 果 实 识 别 方 法 只 采 用 一 种 果 实 特 征 进 行 识 别 需 要 果 实 与 背 景 环 境 有 明 显 的 特 征 区 别 时 才 具 有 可 行 性 由 于 该 类 模 型 只 使 用 单 一 特 征 所 以 其 结 构 一 般 较 为 简 洁 便 于 操 作 根 据 果 实 的 生 长 特 性 当 可 采 摘 果 实 与 背 景 颜 色 差 异 明 显 时 可 使 用 颜 色 特 征 来 对 果 实 进 行 识 别 如 等 通 过 自 适 应 增 强 柑 橘 图 像 中 通 道 色 度 使 柑 橘 果 实 与 背 景 差 异 增 大 再 利 用 金 寿 祥 等 采 摘 机 器 人 视 觉 系 统 研 究 进 展大 津 阈 值 法 形 态 学 操 作 凸 包 操 作 方 法 从 图 像 中 定 位 潜 在 柑 橘 区 域 但 该 方 法 受 果 实 颜 色 与 背 景 差 异 程 度 影 响 为 此 柳 长 源 等 使 用 深 度 图 像 提 出 了 一 种 基 于 果 实 形 态 特 征 的 果 实 识 别 方 法 利 用 各 像 素 点 的 梯 度 向 量 筛 选 果 实 中 心 点 再 以 果 实 中 心 点 搜 索 果 实 边 界 点 平 均 识 别 准 确 率 达 到 了 等 提 出 了 一 种 基 于 轮 廓 信 息 的 果 实 识 别 方 法 使 用 其 推 导 出 的 形 状 描 述 符 表 示 任 意 部 分 的 几 何 特 性 再 通 过 特 征 匹 配 得 到 感 兴 趣 的 子 片 段 然 后 使 用 改 进 霍 夫 变 换 聚 合 这 些 子 片 段 获 得 候 选 果 实 该 方 法 在 柑 橘 番 茄 南 瓜 芒 果 的 识 别 应 用 中 都 取 得 了 不 错 的 效 果 表 采 摘 机 器 人 视 觉 系 统 识 别 性 能 识 别 作 物 所 用 相 机 工 作 环 境 检 测 方 法 识 别 效 果 准 确 率 召 回 率 值 检 测 时 间 苹 果 相 机 果 园 加 形 态 学 操 作 苹 果 相 机 果 园 改 进 的 苹 果 相 机 果 园 改 进 的 番 茄 相 机 温 室 颜 色 特 征 加 形 态 学 处 理 番 茄 相 机 温 室 改 进 的 荔 枝 加 果 园 草 莓 相 机 温 室 改 进 的 柑 橘 加 果 园 改 进 的 柑 橘 相 机 果 园 改 进 的 飞 行 时 间 型 相 机 准 确 率 和 召 回 率 的 调 和 平 均 数 但 是 基 于 单 一 特 征 的 果 实 识 别 方 法 忽 略 了 果 实 的 其 他 特 征 损 失 了 许 多 有 用 的 特 征 信 息 导 致 其 对 环 境 敏 感 程 度 较 高 鲁 棒 性 差 对 于 一 些 成 熟 期 果 实 颜 色 与 背 景 差 异 不 大 且 形 状 纹 理 变 化 不 明 显 的 果 实 只 选 择 一 种 特 征 很 难 达 到 果 实 识 别 精 度 要 求 基 于 多 特 征 融 合 识 别 彩 色 图 像 中 包 含 着 形 状 颜 色 纹 理 等 多 种 特 征 信 息 使 用 单 一 特 征 进 行 果 实 识 别 会 导 致 大 量 有 效 信 息 被 浪 费 因 此 为 了 充 分 利 用 图 像 中 的 信 息 提 高 模 型 的 准 确 性 和 鲁 棒 性 部 分 学 者 使 用 多 个 特 征 结 合 来 识 别 目 标 果 实 不 同 特 征 的 优 缺 点 存 在 明 显 差 异 颜 色 特 征 对 光 照 度 差 异 较 为 敏 感 形 状 与 纹 理 特 征 对 果 实 重 叠 和 遮 挡 较 为 敏 感 当 这 些 特 征 被 组 合 使 用 时 它 们 优 点 互 补 对 环 境 变 化 的 敏 感 程 度 就 会 下 降 从 而 提 高 模 型 的 识 别 准 确 率 例 如 汪 杰 等 提 出 了 一 种 和 形 状 特 征 融 合 的 花 椒 识 别 方 法 该 方 法 采 用 同 态 滤 波 进 行 光 照 补 偿 再 利 用 圆 度 特 征 排 除 背 景 干 扰 提 高 了 复 杂 背 景 下 花 椒 的 识 别 准 确 率 等 提 出 了 一 种 融 合 颜 色 特 征 和 三 维 几 何 特 征 的 水 蜜 桃 识 别 方 法 该 方 法 首 先 使 用 颜 色 特 征 与 方 向 特 征 对 图 像 进 行 初 步 分 割 再 根 据 分 割 结 果 采 用 欧 式 距 离 算 法 聚 类 三 维 点 云 数 据 最 后 利 用 深 度 直 方 图 分 布 情 况 来 判 断 该 区 域 是 否 为 水 蜜 桃 果 实 与 传 统 颜 色 分 割 方 法 相 比 该 方 法 的 分 割 准 确 率 达 到 了 但 是 目 前 数 字 图 像 处 理 技 术 中 的 果 实 识 别 方 法 几 乎 都 需 要 设 置 颜 色 形 状 或 纹 理 等 阈 值 然 而 每 幅 图 像 的 最 佳 阈 值 都 存 在 差 异 导 致 识 别 结 果 的 好 坏 取 决 于 训 练 数 据 的 质 量 基 于 人 工 特 征 提 取 的 方 法 又 存 在 一 定 的 局 限 性 造 成 特 征 遗 漏 和 利 用 不 充 分 等 现 象 影 响 模 型 识 别 准 确 率 基 于 传 统 机 器 学 习 的 识 别 方 法 机 器 学 习 是 人 工 智 能 领 域 的 一 个 重 要 分 支 简 单 来 说 机 器 学 习 就 是 通 过 算 法 不 断 迭 代 从 大 量 数 据 中 寻 找 相 应 特 征 机 器 学 习 根 据 输 入 数 据 是 否 需 要 被 标 注 可 分 为 监 督 学 习 和 无 监 督 学 习 两 类 监 督 学 习 监 督 学 习 从 人 工 标 注 的 数 据 中 学 习 规 律 学 习 效 果 依 赖 于 数 据 预 处 理 的 质 量 需 要 大 量 准 确 的 人 工 标 注 数 据 集 监 督 学 习 通 过 建 立 数 据 值 与 标 签 值 之 间 的 映 射 关 系 经 过 不 断 迭 代 数 据 调 整 模 型 参 数 值 最 终 使 模 型 接 近 真 实 映 射 关 江 苏 农 业 学 报 年 第 卷 第 期系 常 见 的 监 督 学 习 算 法 有 最 近 邻 算 法 分 类 器 算 法 支 持 向 量 机 例 如 等 利 用 分 类 器 检 测 番 茄 图 像 滑 动 子 窗 口 中 包 含 的 是 番 茄 果 实 还 是 背 景 再 使 用 平 均 像 素 值 分 类 器 对 分 类 器 选 择 的 图 像 进 行 分 割 识 别 成 功 率 达 到 了 雷 欢 等 首 先 利 用 颜 色 直 方 图 提 取 了 苹 果 的 颜 色 特 征 再 考 虑 苹 果 表 皮 的 局 部 与 全 局 纹 理 特 征 基 于 多 特 征 融 合 与 构 建 苹 果 品 种 的 识 别 模 型 在 推 理 耗 时 仅 的 情 况 下 平 均 识 别 准 确 率 达 到 了 监 督 学 习 通 过 循 环 迭 代 学 习 数 据 特 征 与 标 注 信 息 之 间 的 关 系 建 立 分 类 回 归 模 型 因 此 模 型 对 于 数 据 标 注 的 要 求 较 高 不 允 许 出 现 太 多 的 异 常 值 否 则 将 会 导 致 模 型 识 别 效 果 变 差 无 监 督 学 习 无 监 督 学 习 与 监 督 学 习 相 反 一 般 不 要 求 对 数 据 进 行 特 别 分 类 标 注 省 去 了 标 注 数 据 的 时 间 相 反 无 监 督 学 习 算 法 基 于 统 计 学 方 法 学 习 总 结 数 据 中 未 体 现 的 规 律 将 相 似 特 征 的 数 据 进 行 聚 类 无 监 督 学 习 算 法 中 均 值 聚 类 算 法 最 具 有 代 表 性 算 法 通 过 给 定 的 值 在 数 据 集 中 找 到 个 聚 类 群 落 再 反 复 迭 代 数 据 最 后 将 数 据 集 中 的 数 据 按 相 似 程 度 聚 类 到 个 群 落 中 从 而 达 到 分 类 效 果 例 如 等 基 于 有 效 颜 色 分 量 利 用 算 法 获 取 葡 萄 园 图 像 中 的 葡 萄 簇 的 像 素 区 域 实 现 了 葡 萄 簇 与 背 景 的 分 割 等 利 用 算 法 对 图 像 中 的 苹 果 与 背 景 进 行 初 步 分 割 再 利 用 形 态 学 中 的 侵 蚀 与 膨 胀 操 作 提 取 苹 果 准 确 轮 廓 能 够 快 速 识 别 重 叠 苹 果 尽 管 无 监 督 学 习 算 法 省 去 了 数 据 标 注 环 节 节 约 了 训 练 周 期 但 训 练 结 果 存 在 一 些 不 确 定 性 训 练 时 所 用 的 数 据 集 对 聚 类 模 型 影 响 过 大 导 致 无 监 督 聚 类 算 法 的 鲁 棒 性 较 差 另 外 聚 类 算 法 需 要 人 为 设 定 值 而 不 同 的 值 也 会 使 聚 类 结 果 产 生 较 大 的 差 异 传 统 机 器 学 习 方 法 在 简 单 的 果 实 识 别 任 务 中 被 大 量 使 用 但 是 在 识 别 背 景 环 境 复 杂 形 态 差 异 不 明 显 的 果 实 时 识 别 效 果 还 达 不 到 要 求 基 于 深 度 学 习 的 识 别 方 法 深 度 学 习 扩 充 了 机 器 学 习 的 范 围 属 于 机 器 学 习 的 延 伸 领 域 深 度 学 习 利 用 深 度 神 经 网 络 和 随 机 梯 度 下 降 算 法 自 动 学 习 提 取 目 标 特 征 深 层 网 络 能 从 大 量 样 本 中 学 习 到 复 杂 特 征 从 而 使 模 型 获 得 更 好 的 识 别 效 果 近 些 年 来 果 实 识 别 研 究 的 相 关 文 献 表 明 基 于 深 度 学 习 的 目 标 检 测 方 法 图 已 经 成 为 目 前 果 实 识 别 的 主 要 方 法 图 深 度 学 习 目 标 识 别 模 型 示 意 两 阶 段 目 标 识 别 算 法 两 阶 段 目 标 识 别 分 割 算 法 由 生 成 候 选 框 和 候 选 框 分 类 个 阶 段 组 成 第 一 阶 段 由 区 域 生 成 网 络 结 构 生 成 一 系 列 目 标 候 选 框 第 二 阶 段 利 用 深 层 神 经 网 络 对 特 征 图 上 每 个 候 选 框 所 对 应 的 特 征 样 本 进 行 分 类 再 经 过 非 极 大 值 抑 制 处 理 剔 除 冗 余 的 样 本 如 图 所 示 由 于 该 类 算 法 需 要 在 检 测 之 前 生 成 预 选 框 导 致 模 型 整 体 结 构 复 杂 训 练 时 间 较 长 推 理 速 度 较 慢 例 如 李 旭 等 基 于 为 主 干 的 网 络 检 测 复 杂 背 景 下 的 茶 叶 嫩 芽 当 采 用 一 芽 一 叶 二 叶 标 注 时 识 别 准 确 率 与 召 回 率 分 别 为 和 单 张 图 像 检 测 用 时 相 比 数 字 图 像 处 理 的 方 法 快 了 且 效 果 更 好 针 对 采 摘 点 难 以 直 接 预 测 的 问 题 等 在 模 型 的 层 后 添 加 关 键 点 检 测 分 支 用 来 预 测 芒 果 图 像 中 采 摘 点 位 置 最 终 采 摘 点 检 测 的 最 佳 精 度 和 召 回 率 分 别 达 到 了 和 等 在 基 础 上 使 用 添 加 注 意 力 机 制 的 作 为 主 干 网 络 提 高 特 征 提 取 能 力 采 用 软 非 极 大 值 抑 制 方 法 降 低 重 叠 果 实 漏 检 率 平 均 精 度 达 到 了 虽 然 两 阶 段 识 别 算 法 在 果 实 识 别 上 获 得 了 不 错 的 成 绩 但 是 由 于 其 复 杂 的 模 型 结 构 与 庞 大 的 计 算 量 导 致 该 类 算 法 运 行 速 度 难 以 达 到 实 时 检 测 运 行 速 度 的 需 求 这 也 是 两 阶 段 算 金 寿 祥 等 采 摘 机 器 人 视 觉 系 统 研 究 进 展 特 征 层 重 塑 指 数 归 一 化 函 数 操 作 生 成 感 兴 趣 区 域 感 兴 趣 区 域 池 化 图 像 信 息 图 模 型 网 络 结 构 法 的 通 病 而 目 前 移 动 端 平 台 的 性 能 很 难 达 到 此 类 模 型 的 最 佳 运 行 条 件 因 此 该 类 算 法 实 际 应 用 的 并 不 多 一 阶 段 目 标 识 别 算 法 与 两 阶 段 目 标 识 别 算 法 不 同 一 阶 段 识 别 算 法 省 去 了 提 取 候 选 框 的 步 骤 直 接 预 测 边 界 框 的 大 小 置 信 度 和 类 别 概 率 信 息 因 此 一 阶 段 算 法 与 二 阶 段 算 法 相 比 模 型 结 构 更 为 简 单 训 练 时 间 更 短 运 行 速 度 更 快 由 于 目 前 移 动 端 设 备 计 算 能 力 有 限 所 以 在 综 合 考 虑 检 测 精 度 与 模 型 大 小 的 情 况 下 轻 量 级 的 一 阶 段 算 法 如 与 算 法 被 大 量 使 用 在 果 实 识 别 中 例 如 等 将 算 法 中 用 来 检 测 物 体 位 置 的 方 形 预 测 框 设 置 成 圆 形 用 来 识 别 图 像 中 的 番 茄 减 少 了 模 型 参 数 提 高 了 对 圆 形 果 实 的 拟 合 程 度 相 比 于 未 改 进 之 前 该 模 型 的 召 回 率 和 精 度 分 别 提 高 了 个 和 个 百 分 点 达 到 了 和 等 基 于 算 法 对 自 然 环 境 下 的 花 椒 果 实 进 行 检 测 平 均 识 别 精 度 达 到 了 在 设 备 上 运 行 速 度 达 到 了 每 秒 帧 实 现 了 实 时 检 测 何 斌 等 为 实 现 夜 间 情 况 下 番 茄 果 实 的 快 速 识 别 提 出 了 一 种 基 于 改 进 的 识 别 方 法 图 通 过 在 损 失 函 数 中 增 加 中 心 距 离 度 量 提 高 了 被 遮 挡 与 暗 光 下 的 果 实 识 别 精 度 杨 福 增 等 使 用 基 于 无 锚 框 的 目 标 检 测 模 型 实 现 了 密 集 分 布 场 景 下 的 苹 果 果 实 识 别 该 方 法 省 去 了 锚 框 和 非 极 大 值 抑 制 过 程 平 均 识 别 精 度 为 与 二 阶 段 算 法 相 比 一 阶 段 算 法 通 常 能 以 较 少 的 模 型 参 数 量 与 计 算 量 取 得 相 对 较 高 的 果 实 识 别 准 确 率 因 此 在 果 实 识 别 的 研 究 中 越 来 越 多 的 学 者 选 择 采 用 或 者 基 于 一 阶 段 目 标 检 测 算 法 进 行 改 进 构 建 不 同 的 果 实 识 别 模 型 采 摘 点 定 位 技 术 图 像 中 的 果 实 被 识 别 之 后 还 需 要 确 定 采 摘 点 相 对 于 机 器 人 的 空 间 坐 标 才 能 指 导 机 器 人 利 用 动 作 执 行 系 统 与 末 端 执 行 器 完 成 采 摘 动 作 对 于 不 同 种 类 的 果 实 采 摘 点 有 的 在 果 实 上 有 的 在 果 梗 上 如 图 所 示 苹 果 柑 橘 等 较 大 的 果 实 一 般 选 择 逐 个 采 摘 通 常 以 果 实 中 心 作 为 采 摘 点 对 于 番 茄 荔 枝 葡 萄 等 小 型 簇 状 果 实 基 本 选 择 整 串 采 摘 一 般 将 果 实 上 部 的 果 梗 上 的 一 个 点 作 为 采 摘 点 采 摘 点 定 位 准 确 性 将 直 接 决 定 采 摘 机 器 人 的 采 摘 效 果 通 过 果 实 在 图 像 中 的 位 置 可 以 得 到 采 摘 点 在 像 素 坐 标 系 下 的 二 维 坐 标 还 需 要 将 其 转 化 为 机 械 臂 坐 标 系 下 的 三 维 坐 标 才 能 正 确 指 引 采 摘 装 置 完 成 采 摘 流 程 如 图 所 示 江 苏 农 业 学 报 年 第 卷 第 期图 模 型 网 络 结 构 苹 果 柑 橘 番 茄 葡 萄 采 摘 点 图 果 实 采 摘 点 示 意 采 摘 点 的 二 维 定 位 针 对 采 摘 点 在 果 实 上 位 置 不 同 的 情 况 一 般 利 用 果 实 与 采 摘 点 的 位 置 关 系 将 识 别 出 的 果 实 边 界 框 或 掩 膜 的 中 心 作 为 采 摘 点 得 到 采 摘 点 的 像 素 坐 标 例 如 任 亚 婧 等 使 用 形 态 学 操 作 获 取 图 像 中 的 苹 果 掩 膜 的 质 心 作 为 采 摘 点 但 是 果 梗 通 常 是 与 背 景 颜 色 相 近 的 细 长 条 状 体 对 于 采 摘 点 在 果 梗 或 枝 干 上 的 情 况 很 难 直 接 确 定 采 摘 点 在 果 梗 上 的 位 置 所 以 一 般 采 用 间 接 方 法 定 图 采 摘 点 定 位 流 程 位 根 据 果 实 的 生 长 特 性 先 确 定 果 实 在 彩 色 图 像 中 的 位 置 再 利 用 果 实 果 梗 与 采 摘 点 之 间 的 自 然 位 置 关 系 在 图 像 中 推 断 出 果 梗 上 适 合 采 摘 的 位 置 作 为 采 摘 点 例 如 等 为 了 实 现 葡 萄 的 自 动 采 摘 利 用 均 值 聚 类 与 有 效 颜 色 分 割 算