果蔬采摘机器手系统设计与控制技术研究现状和发展趋势.pdf

2020 年12 月 第2 卷 第4 期 Dec 2020 Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 果 蔬 采 摘 机 器 手 系 统 设 计 与 控 制 技 术 研 究 现 状 和 发 展 趋 势 吴 剑 桥 1 范 圣 哲 2 贡 亮 2 苑 进 3 周 强 4 刘 成 良 2 1 上 海 市 农 业 机 械 研 究 所 上 海 2 0 1 1 0 6 2 上 海 交 通 大 学 机 械 与 动 力 工 程 学 院 上 海 2 0 0 2 4 0 3 山 东 农 业 大 学 机 械 电 子 工 程 学 院 山 东 泰 安 2 7 1 0 1 8 4 上 海 市 农 业 科 学 院 上 海 2 0 1 4 0 3 摘 要 鲜 食 果 蔬 收 获 是 难 以 实 现 机 械 化 作 业 的 生 产 环 节 高 效 低 损 采 摘 也 是 农 业 机 器 人 研 发 领 域 中 的 难 题 导 致 目 前 市 场 化 的 自 动 化 果 蔬 采 摘 装 备 生 产 应 用 几 乎 空 白 针 对 鲜 食 果 蔬 采 摘 需 求 为 改 善 人 工 采 摘 费 时 费 力 效 率 低 下 自 动 化 程 度 低 的 问 题 近 3 0 年 来 国 内 外 学 者 设 计 了 一 系 列 自 动 化 采 摘 设 备 推 动 了 农 业 机 器 人 技 术 的 发 展 在 研 发 鲜 食 果 蔬 采 摘 设 备 时 首 先 要 确 定 采 收 对 象 和 采 收 场 景 针 对 作 物 的 生 长 位 置 形 状 和 重 量 场 景 的 复 杂 程 度 所 需 自 动 化 程 度 通 过 复 杂 度 预 估 力 学 特 性 分 析 姿 态 建 模 等 方 式 明 确 农 业 机 器 人 的 设 计 需 求 其 次 作 为 整 个 采 摘 动 作 的 核 心 执 行 者 采 摘 机 器 人 的 末 端 执 行 器 设 计 尤 为 重 要 本 文 对 采 摘 机 器 人 末 端 执 行 器 的 结 构 进 行 了 分 类 总 结 了 末 端 执 行 器 的 设 计 流 程 与 方 法 阐 述 了 常 见 的 末 端 执 行 器 驱 动 方 式 切 割 方 案 并 对 果 实 收 集 机 构 进 行 了 概 括 再 次 本 文 概 述 了 采 摘 机 器 人 的 总 体 控 制 方 案 识 别 定 位 方 法 避 障 方 法 及 自 适 应 控 制 方 案 品 质 分 类 方 法 以 及 人 机 交 互 多 机 协 作 方 案 为 了 总 体 评 价 采 摘 机 器 人 的 性 能 本 文 还 提 出 了 平 均 采 摘 效 率 长 期 采 摘 效 率 采 收 质 量 损 伤 率 和 漏 采 率 指 标 最 后 本 文 对 自 动 化 采 摘 机 械 的 总 体 发 展 趋 势 进 行 了 展 望 指 明 了 采 摘 机 器 手 系 统 将 向 着 采 摘 目 标 场 景 通 用 化 结 构 形 式 多 样 化 全 自 动 化 智 能 化 集 群 化 方 向 发 展 的 趋 势 关 键 词 采 摘 机 械 场 景 分 析 机 械 抓 手 自 动 控 制 评 价 指 标 发 展 趋 势 中 图 分 类 号 T P 2 4 1 3 文 献 标 志 码 A 文 章 编 号 2 0 2 0 1 1 S A 0 0 4 引 文 格 式 吴 剑 桥 范 圣 哲 贡 亮 苑 进 周 强 刘 成 良 果 蔬 采 摘 机 器 手 系 统 设 计 与 控 制 技 术 研 究 现 状 和 发 展 趋 势 J 智 慧 农 业 中 英 文 2020 2 4 17 40 WU Jianqiao FAN Shengzhe GONG Liang YUAN Jin ZHOU Qiang LIU Chengliang Research statusand devel opmentdirection ofdesign and controltechnology offruitand vegetable picking robotsystem J SmartAgriculture 2020 2 4 17 40 inChinesewithEnglishabstract 1 引 言 机 器 人 和 机 械 手 通 常 被 用 来 代 替 人 类 完 成 枯 燥 重 复 肮 脏 或 危 险 的 工 作 1 3 在 过 去 的 四 十 余 年 中 机 器 人 经 历 了 蓬 勃 的 发 展 4 6 但 受 限 于 当 前 技 术 水 平 很 多 人 类 可 以 轻 易 完 成 的 工 作 例 如 拾 起 和 放 置 形 状 大 小 材 料 和 表 面 特 性 差 异 很 大 的 物 体 对 于 机 器 人 而 言 仍 具 有 挑 doi 10 12133 j smartag 2020 2 4 202011 SA004 收 稿 日 期 2020 11 20 修 订 日 期 2020 12 25 基 金 项 目 上 海 市 科 委 科 技 创 新 行 动 项 目 沪 农 科 推 字 2017 第2 1 号 作 者 简 介 吴 剑 桥 1964 男 高 级 工 程 师 研 究 方 向 为 设 施 农 业 智 能 装 备 E mail wujianqiao64 通 讯 作 者 刘 成 良 1964 男 博 士 教 授 研 究 方 向 为 智 能 机 器 人 与 人 工 智 能 方 向 研 究 电 话 13916142618 E mail chlliu Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 战 性 7 8 机 械 手 是 一 种 安 装 在 机 器 人 上 的 工 具 用 于 抓 紧 搬 运 和 放 置 目 标 是 机 器 人 的 重 要 执 行 器 之 一 9 区 别 于 单 独 的 机 械 末 端 机 械 手 是 包 括 设 计 目 标 机 械 结 构 驱 动 方 式 控 制 方 案 视 觉 算 法 评 价 体 系 等 一 系 列 相 关 领 域 的 系 统 结 合 自1975 年 以 来 由 于 在 多 个 领 域 出 现 了 大 量 对 机 器 手 的 不 同 需 求 其 设 计 和 制 造 技 术 得 到 了 迅 速 的 发 展 10 Festo Schunk BTM 等 公 司 已 经 开 发 了 许 多 机 械 结 构 驱 动 形 式 各 异 的 商 用 机 械 手 为 了 将 人 力 从 繁 重 重 复 低 效 的 工 作 中 解 放 出 来 作 为 农 业 机 器 人 最 重 要 的 组 件 之 一 机 械 手 已 经 应 用 到 了 农 业 的 各 个 领 域 例 如 收 获 水 果 和 蔬 菜 11 14 嫁 接 15 17 移 植 18 20 和 修 剪 21 23 等 但 目 前 机 器 手 在 农 业 食 品 和 生 物 等 领 域 的 发 展 尚 不 如 在 制 造 业 中 成 熟 10 24 26 这 主 要 是 由 于 以 下 几 点 原 因 造 成 一 是 农 业 环 境 具 有 非 结 构 化 或 半 结 构 化 的 特 点 导 致 其 场 景 复 杂 度 远 远 高 于 工 业 环 境 27 28 对 采 摘 机 械 算 法 的 鲁 棒 性 以 及 机 械 的 稳 定 性 都 提 出 了 很 高 的 要 求 二 是 农 产 品 通 常 具 有 质 地 脆 弱 易 擦 伤 易 粘 附 和 难 以 被 夹 紧 的 特 点 其 抓 取 复 杂 度 远 高 于 简 单 的 工 件 三 是 农 业 产 品 的 果 实 的 形 态 特 征 生 长 发 育 情 况 各 异 且 个 体 之 间 也 有 较 大 差 异 29 四 是 农 产 品 通 常 具 有 较 为 固 定 的 采 摘 时 机 不 当 的 采 摘 时 间 将 大 大 影 响 农 产 品 的 质 量 水 平 对 采 摘 机 械 的 智 能 化 与 工 作 效 率 提 出 了 较 高 要 求 五 是 采 摘 机 械 的 服 务 对 象 大 多 是 农 民 因 此 采 摘 机 械 要 具 有 工 作 可 靠 操 作 简 单 的 特 点 除 此 之 外 考 虑 到 农 产 品 的 利 润 较 低 季 节 性 较 强 等 特 点 需 要 严 格 控 制 采 摘 机 械 的 成 本 由 于 上 述 因 素 的 存 在 应 用 在 农 业 中 的 机 械 手 对 材 料 的 选 择 抓 取 方 式 的 设 计 控 制 和 识 别 算 法 的 设 计 都 提 出 了 更 高 的 要 求 目 前 已 有 许 多 专 门 针 对 采 摘 机 器 人 如 完 整 采 摘 机 器 人 系 统 6 30 和 收 获 机 器 人 5 31 32 技 术 等 方 面 的 综 述 针 对 水 果 和 蔬 菜 的 采 摘 与 加 持 机 器 手 2 机 械 末 端 的 设 计 和 优 化 33 机 械 末 端 及 其 应 用 1 或 针 对 机 器 人 的 某 些 子 任 务 的 综 述 如 控 制 导 航 34 36 和 果 实 定 位 37 38 等 本 文 在 前 人 综 述 的 基 础 之 上 针 对 应 用 于 果 蔬 采 摘 的 机 器 手 系 统 从 采 收 对 象 和 场 景 采 摘 机 械 结 构 采 摘 控 制 方 案 以 及 系 统 评 价 指 标 四 大 方 面 展 开 综 述 分 析 了 目 前 采 摘 机 械 手 主 流 的 采 摘 目 标 应 用 场 景 总 结 了 目 前 采 摘 机 械 手 主 要 的 机 械 结 构 形 式 和 抓 取 方 式 概 括 了 刚 性 采 摘 机 械 手 的 设 计 流 程 梳 理 了 目 前 采 摘 机 械 手 系 统 主 流 的 总 控 方 案 识 别 定 位 方 法 和 避 障 算 法 归 纳 了 采 摘 机 械 手 系 统 的 评 价 指 标 并 针 对 未 来 采 摘 机 械 手 的 发 展 方 向 和 趋 势 进 行 了 展 望 2 采 收 对 象 和 场 景 鉴 于 目 前 采 摘 机 器 人 能 力 的 限 制 市 面 上 没 有 能 够 适 应 所 有 种 类 所 有 场 景 的 作 物 采 摘 器 械 因 此 在 采 摘 机 械 机 械 手 设 计 之 初 设 计 者 必 须 针 对 不 同 的 采 摘 目 标 和 采 摘 场 景 进 行 分 析 因 地 制 宜 地 进 行 设 计 采 摘 机 械 总 体 而 言 影 响 机 器 人 采 收 目 标 的 设 计 包 括 采 收 对 象 的 特 征 和 机 器 人 运 行 的 场 景 两 方 面 因 素 2 1 采 摘 果 实 的 种 类 智 能 采 摘 机 械 与 传 统 农 机 在 采 摘 目 标 上 有 很 大 不 同 这 是 由 于 它 的 高 成 本 和 工 作 的 高 复 杂 性 决 定 的 智 能 采 摘 机 械 的 目 标 作 物 通 常 是 水 果 花 卉 蔬 菜 香 料 等 高 价 值 作 物 这 类 作 物 比 主 食 作 物 的 收 获 过 程 更 为 复 杂 且 要 求 更 高 但 与 此 同 时 这 类 作 物 也 具 有 更 高 的 价 值 和 利 润 因 此 针 对 这 些 作 物 的 智 能 采 摘 机 械 具 有 较 高 的 市 场 需 求 和 良 好 的 发 展 前 景 为 开 发 出 足 够 智 能 的 采 摘 机 械 国 内 外 学 者 已 经 进 行 了 长 时 间 的 探 索 国 外 在 采 摘 机 械 的 研 制 方 面 起 步 较 早 欧 美 和 日 本 等 发 达 国 家 在 采 摘 机 械 方 面 的 研 究 始 于 上 个 世 纪 目 前 已 经 有 比 较 高 的 水 平 为 缓 解 劳 动 力 短 缺 对 农 业 可 持 续 发 展 带 来 的 不 良 影 响 Preter 等 39 设 计 了 一 种 无 损 伤 草 莓 采 摘 机 械 其 1 8吴 剑 桥 等 果 蔬 采 摘 机 器 手 系 统 设 计 与 控 制 技 术 研 究 现 状 和 发 展 趋 势 Vol 2 No 4 原 型 机 可 以 在4 s 内 完 成 一 颗 草 莓 的 采 摘 为 解 决 人 工 采 摘 草 莓 耗 时 较 多 人 工 成 本 过 高 的 问 题 Xiong 等 40 设 计 了 一 种 草 莓 采 摘 机 器 人 使 用 电 缆 驱 动 的 手 指 包 裹 草 莓 果 实 完 成 采 摘 对 于 单 独 的 草 莓 的 采 摘 成 功 率 接 近96 8 但 在 实 际 农 场 中 仅 能 达 到59 为 解 决 劳 动 力 匮 乏 的 问 题 并 提 高 生 物 产 品 质 量 20 世 纪70 年 代 后 期 日 本 已 研 制 出 如 嫁 接 机 器 人 扦 插 机 器 人 移 栽 机 器 人 和 采 摘 机 器 人 等 多 种 农 业 机 器 人 41 20 世 纪90 年 代 日 本 研 制 出 了 能 够 应 用 于 农 业 生 产 的 机 器 人 但 这 些 机 器 人 大 多 只 能 完 成 特 定 的 一 项 工 作 为 解 决 这 个 问 题 日 本 冈 山 大 学 的 Monta 等 42 设 计 了 一 种 多 功 能 葡 萄 采 摘 机 器 人 可 以 完 成 收 割 浆 果 稀 释 喷 洒 农 药 果 实 装 袋 四 种 任 务 为 解 决 茄 子 收 获 过 程 复 杂 占 用 时 间 多 的 问 题 日 本 蔬 菜 与 茶 科 学 研 究 所 的Hayas hi 43 研 制 了 一 种 可 以 完 成 识 别 处 理 和 拣 选 任 务 的 茄 子 收 获 机 器 人 成 功 收 获 率 为62 5 每 收 获 一 个 茄 子 耗 时64 1 s 日 本 京 都 大 学 的Kon do 团 队 一 直 致 力 于 采 摘 机 械 的 研 究 已 成 功 研 制 出 了 番 茄 44 草 莓 45 46 菊 花 47 等 采 摘 机 器 人 国 内 采 摘 机 械 研 制 虽 与 国 外 顶 尖 水 平 仍 有 一 定 差 距 但 在 近 些 年 已 有 较 大 进 展 为 解 决 手 工 收 割 番 茄 费 时 费 力 且 不 利 于 大 规 模 种 植 的 问 题 Wang 等 48 设 计 了 一 种 具 有 四 轴 独 立 转 向 系 统 五 自 由 度 收 割 系 统 以 及 双 目 立 体 视 觉 导 航 系 统 的 温 室 番 茄 收 割 机 器 人 其 识 别 成 功 率 高 达 99 3 采 摘 成 功 率 为86 且 每 个 番 茄 采 摘 时 间 仅 需15 s 为 解 决 柑 橘 废 弃 严 重 及 机 械 化 收 获 水 平 低 的 问 题 霍 银 龙 等 49 设 计 了 一 种 全 自 动 旋 转 式 柑 橘 机 械 采 摘 机 实 现 了 柑 橘 果 实 的 采 摘 收 集 和 自 动 装 箱 为 制 造 出 低 成 本 和 高 效 的 采 桃 机 械 Yu 等 50 设 计 了 一 种 六 自 由 度 采 桃 机 械 手 结 合 核 相 关 滤 波 算 法 Kernel Correlation Filter KCF 高 速 跟 踪 算 法 和 高 精 度 测 距 算 法 该 机 械 目 标 检 测 速 度 约 为14 帧 s 平 均 识 别 率 超 过90 目 标 跟 踪 速 度 约 为40 帧 s 目 前 主 流 的 采 摘 果 实 目 标 为 苹 果 草 莓 茄 子 柑 橘 等 这 类 果 实 具 有 体 积 较 小 颜 色 鲜 艳 生 长 位 置 适 合 机 械 化 采 摘 的 特 点 为 识 别 和 采 摘 带 来 了 很 大 便 利 对 于 西 瓜 甜 瓜 等 果 实 由 于 其 具 有 体 积 较 大 成 熟 度 难 以 区 分 果 实 颜 色 与 叶 片 及 藤 蔓 接 近 等 特 点 对 识 别 和 采 摘 造 成 了 很 大 困 难 相 关 的 研 究 较 少 目 前 没 有 十 分 有 效 的 采 摘 方 案 而 对 于 花 生 土 豆 一 类 果 实 生 长 在 地 下 的 作 物 由 于 其 果 实 的 识 别 和 摘 取 难 度 过 高 目 前 也 没 有 合 适 的 采 摘 方 案 除 此 之 外 当 前 的 采 摘 机 械 手 具 有 很 强 的 专 用 性 而 同 种 果 实 在 一 年 中 的 采 摘 季 节 通 常 是 短 暂 而 固 定 的 这 种 专 用 型 采 摘 机 械 无 疑 降 低 了 使 用 率 增 加 了 成 本 因 此 设 计 多 功 能 采 摘 机 械 和 通 用 型 采 摘 机 械 将 大 大 提 升 采 摘 机 械 的 使 用 率 和 降 低 使 用 成 本 也 必 然 是 农 业 未 来 的 重 点 研 究 方 向 之 一 2 2 采 摘 对 象 的 力 学 特 性 为 在 力 学 方 面 对 采 摘 机 械 设 计 提 供 理 论 指 导 国 内 外 学 者 对 被 采 摘 果 实 的 力 学 特 性 进 行 了 一 系 列 研 究 刘 继 展 等 51 对 不 同 成 熟 期 的 番 茄 果 实 进 行 了 挤 压 实 验 对 番 茄 的 果 梗 进 行 折 断 和 拉 断 实 验 对 番 茄 及 其 果 梗 的 力 学 特 性 进 行 了 分 析 得 出 了 折 断 方 式 比 拉 断 方 式 更 适 合 番 茄 采 摘 的 结 论 为 研 究 灵 武 长 枣 硬 脆 性 所 带 来 的 易 损 问 题 刘 博 翰 52 根 据 不 同 成 熟 度 灵 武 长 枣 的 力 学 行 为 使 用 多 种 实 验 仪 器 对 枣 的 动 压 机 械 损 伤 和 冲 击 机 械 损 伤 进 行 深 入 分 析 得 到 了 对 应 的 弹 塑 性 力 学 方 程 为 采 摘 执 行 机 构 的 设 计 提 供 了 理 论 依 据 除 此 之 外 由 于 包 裹 型 抓 手 对 于 抓 取 力 有 较 为 严 格 的 限 制 部 分 学 者 在 设 计 包 裹 型 抓 手 前 会 对 果 实 的 某 一 项 力 学 性 能 进 行 测 试 或 试 验 Dimeas 等 53 在 设 计 草 莓 采 摘 抓 手 时 采 用 两 种 抓 取 方 案 对 草 莓 的 摘 取 力 拉 力 弯 曲 力 进 行 了 一 系 列 测 试 得 出 侧 面 夹 取 是 最 优 抓 取 姿 势 为 获 取 气 吸 式 采 摘 枸 杞 的 最 佳 工 作 参 数 王 荣 炎 等 54 对 枸 杞 进 行 了 力 学 实 验 使 用FLUENT 软 1 9Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 件 对 气 吸 式 采 摘 装 置 的 管 道 进 行 建 模 仿 真 得 到 管 道 的 气 体 压 力 和 速 度 云 图 并 通 过 气 吸 采 摘 实 验 得 出 了 该 设 备 的 最 佳 工 作 参 数 为 气 吸 式 枸 杞 采 摘 装 置 的 研 制 提 供 了 指 导 总 体 而 言 目 前 国 内 外 学 者 对 果 实 的 力 学 特 性 虽 有 所 探 索 但 大 多 比 较 简 单 和 片 面 缺 乏 系 统 的 研 究 和 理 论 支 撑 这 主 要 是 由 于 果 实 作 为 一 种 生 物 材 料 在 力 学 特 性 与 传 统 材 料 上 有 很 大 区 别 目 前 果 实 力 学 特 性 方 面 缺 乏 完 整 的 理 论 体 系 相 关 领 域 的 进 步 仍 需 要 依 靠 生 物 力 学 的 进 一 步 发 展 2 3 对 位 姿 的 建 模 方 法 位 姿 建 模 指 的 是 对 采 摘 目 标 的 位 置 和 姿 态 进 行 估 算 从 而 为 采 摘 机 器 人 的 运 动 路 径 规 划 姿 态 规 划 提 供 指 导 为 解 决 苹 果 视 觉 定 位 中 对 获 取 果 实 的 姿 态 信 息 较 少 影 响 采 摘 成 功 率 的 问 题 张 高 阳 55 基 于 粒 子 滤 波 理 论 结 合 双 目 视 觉 信 息 和 运 动 中 的 单 目 信 息 完 成 了 对 苹 果 的 定 位 并 通 过 花 萼 遗 迹 是 否 可 见 将 苹 果 姿 态 分 为 两 种 模 型 从 而 完 成 苹 果 姿 态 的 测 量 对 每 幅 图 像 进 行 姿 态 测 量 需4 s 左 右 抓 取 每 个 苹 果 需 要30s 左 右 为 解 决 水 果 分 级 生 产 过 程 中 姿 态 的 识 别 问 题 姚 立 健 等 56 设 计 了 一 种 采 用 惯 性 主 轴 方 法 计 算 水 果 果 轴 的 算 法 测 得 果 轴 正 投 影 倾 角 的 误 差 为4 4 果 轴 检 测 正 确 率 为86 可 有 效 检 测 分 级 生 产 中 水 果 的 姿 态 为 解 决 位 姿 识 别 问 题 对 柑 橘 采 摘 造 成 的 困 难 张 哲 57 通 过 对 采 摘 机 器 人 进 行 正 逆 运 动 学 求 解 获 得 了 机 器 人 采 摘 姿 态 的 目 标 函 数 提 出 了 一 种 采 摘 序 列 规 划 方 法 通 过 搭 建 实 验 平 台 进 行 测 试 实 验 得 出 采 摘 机 器 人 在 室 内 外 环 境 下 末 端 执 行 器 包 含 柑 橘 的 成 功 率 分 别 为 89 47 和 70 总 之 目 前 主 流 的 位 姿 建 模 方 法 是 基 于 视 觉 识 别 和 空 间 几 何 计 算 的 方 法 即 通 过 对 果 轴 质 心 或 采 摘 点 等 特 征 的 识 别 结 合 几 何 计 算 得 到 目 标 的 位 置 和 姿 态 但 是 由 于 果 实 结 构 各 不 相 同 通 常 需 要 对 每 一 种 果 实 各 设 定 一 套 算 法 研 发 成 本 较 高 此 外 同 种 水 果 的 不 同 个 体 也 存 在 一 定 的 形 状 差 异 从 而 对 算 法 的 精 确 性 造 成 影 响 未 来 的 主 要 研 究 方 向 是 设 计 一 套 通 用 精 确 的 采 摘 目 标 姿 态 建 模 方 法 受 制 于 传 统 卷 积 神 经 网 络 对 位 姿 信 息 的 忽 略 深 度 学 习 方 法 在 果 实 位 姿 检 测 这 一 领 域 应 用 较 少 Sabour 等 58 曾 提 出CapNet 网 络 结 构 相 较 于 传 统 卷 积 神 经 网 络 Convolutional Neural Networks CNN CapNet 网 络 对 物 体 的 姿 势 和 相 互 位 置 更 加 敏 感 且 被 认 为 在 物 体 姿 态 描 述 领 域 具 有 重 大 潜 力 除 此 之 外 为 解 决 物 体 姿 态 估 计 问 题 Hu 等 59 提 出 了 一 种 姿 态 估 计 网 络 该 网 络 由 图 像 分 割 流 和 关 键 点 检 测 流 组 成 对 于 网 络 获 取 的 关 键 点 对 利 用 基 于RANSAC 的PnP 产 生 姿 势 估 计 经 试 验 测 定 该 算 法 在 遮 挡 较 少 和 物 体 大 小 适 中 的 情 况 下 具 有 较 好 的 性 能 相 关 的 研 究 工 作 将 把 深 度 学 习 引 入 对 位 姿 的 建 模 成 为 可 能 2 4 采 摘 场 景 采 摘 场 景 总 体 可 分 为 实 验 室 环 境 大 棚 内 环 境 和 露 天 实 景 还 可 以 继 续 根 据 场 景 的 复 杂 性 进 行 分 类 场 景 复 杂 度 指 果 实 的 疏 密 情 况 相 互 遮 挡 情 况 果 树 的 布 局 情 况 以 及 光 照 气 候 的 变 化 情 况 等 综 合 文 献 31 并 考 虑 场 景 深 度 和 背 景 复 杂 度 将 几 种 典 型 的 因 素 对 场 景 复 杂 度 影 响 归 结 如 表1 表 1 典 型 场 景 复 杂 度 对 采 摘 性 能 的 影 响 Table1 Theimpactoftypicalscenecomplexityonpicking performance 因 素 风 云 防 护 可 控 照 明 植 物 生 长 一 致 性 对 象 可 见 性 导 航 难 度 固 定 机 器 人 适 用 性 场 景 深 度 背 景 复 杂 度 生 产 环 境 果 园 温 室 室 内 开 放 的 野 外 注 表 示 对 采 摘 性 能 具 有 负 面 影 响 表 示 对 采 摘 性 能 具 有 正 面 影 响 2 0吴 剑 桥 等 果 蔬 采 摘 机 器 手 系 统 设 计 与 控 制 技 术 研 究 现 状 和 发 展 趋 势 Vol 2 No 4 对 提 及 采 摘 成 功 率 的 文 献 进 行 统 计 发 现 目 前 大 多 数 采 摘 机 械 针 对 孤 立 的 果 实 能 够 取 得 很 好 的 识 别 和 抓 取 效 果 在 实 验 室 或 大 棚 中 表 现 相 对 较 好 而 在 实 际 农 田 中 工 作 的 机 械 由 于 其 场 景 的 复 杂 性 采 摘 的 成 功 率 不 高 真 正 能 够 投 入 商 用 的 较 少 因 此 在 设 计 采 摘 末 端 时 通 常 在 实 验 室 环 境 下 会 影 响 到 如 表1 所 示 的 七 个 指 标 从 而 导 致 采 摘 成 功 率 将 明 显 高 于 大 棚 内 和 室 外 环 境 2 5 采 摘 可 行 性 分 析 采 摘 可 行 性 指 的 是 采 摘 机 械 对 周 围 场 景 进 行 感 知 和 分 析 后 综 合 考 虑 机 器 人 的 作 业 能 力 对 所 有 检 测 到 的 果 实 中 具 有 足 够 采 摘 成 功 率 的 果 实 进 行 筛 选 本 质 上 采 摘 可 行 性 分 析 实 际 是 去 除 所 有 检 测 到 的 目 标 中 那 些 采 摘 成 功 率 过 低 的 个 体 合 理 地 评 判 采 摘 可 行 性 有 利 于 使 采 摘 机 械 将 注 意 力 集 中 在 更 高 成 功 率 的 采 摘 对 象 上 提 升 采 摘 机 械 的 工 作 效 率 提 高 采 摘 顺 序 规 划 的 质 量 场 景 复 杂 度 是 影 响 果 实 采 摘 成 功 率 的 重 要 原 因 之 一 它 主 要 通 过 影 响 机 器 人 的 识 别 定 位 系 统 加 大 避 障 系 统 和 路 径 规 划 系 统 的 工 作 难 度 来 影 响 果 实 的 采 摘 成 功 率 对 于 采 摘 可 行 性 问 题 已 有 学 者 提 出 了 一 些 初 步 想 法 为 提 高 采 摘 机 器 人 的 作 业 效 率 Xiong 等 40 曾 提 出 了 一 种 判 断 草 莓 可 采 摘 性 的 方 法 使 用 深 度 图 估 计 目 标 果 实 与 末 端 执 行 器 之 间 的 距 离 当 物 体 过 远 或 过 近 时 会 对 视 觉 系 统 的 性 能 造 成 干 扰 需 要 去 除 这 些 物 体 该 方 法 的 优 点 在 于 可 以 在 采 摘 前 对 草 莓 的 可 采 性 进 行 粗 略 估 计 缺 点 在 于 受 遮 挡 物 影 响 大 且 三 维 视 觉 系 统 相 对 复 杂 目 前 学 者 所 提 出 的 方 案 仅 仅 考 虑 了 某 一 个 或 某 几 个 影 响 因 素 这 对 于 复 杂 的 实 际 情 况 远 远 不 够 由 于 机 器 的 作 业 能 力 不 可 被 完 全 严 格 地 描 述 因 此 可 行 性 是 一 个 模 糊 数 学 概 念 且 尚 没 有 学 者 对 其 进 行 明 确 定 义 果 蔬 采 摘 可 行 性 分 析 潜 在 的 解 决 方 案 包 括 尝 试 通 过 模 糊 数 学 建 模 采 摘 效 果 强 化 学 习 获 取 经 验 知 识 注 意 力 机 制 引 导 可 采 性 机 理 分 析 等 实 现 首 先 提 出 一 种 基 于 模 糊 数 学 理 论 的 定 义 方 式 若 以 D d 1 d 2 d n 表 示 视 觉 系 统 检 测 到 的n 个 目 标 果 实 则 可 被 采 摘 的 目 标 果 实 组 成 论 域D 上 的 一 个 模 糊 子 集A 且 模 糊 子 集A 由 论 域D 到 区 间 0 1 的 映 射 A 确 定 在 数 学 上 A 也 称 为A 的 隶 属 函 数 故 判 断 采 摘 可 行 性 的 问 题 可 以 转 化 为 确 定 隶 属 函 数 A 的 问 题 显 然 确 定 隶 属 函 数 A 的 方 法 并 不 唯 一 它 取 决 于 设 计 者 对 各 个 影 响 因 素 的 重 视 程 度 比 如 当 设 计 者 考 虑 果 实 在 所 采 集 图 像 中 的 显 著 性 水 平 时 由 于 图 像 中 显 著 性 更 高 的 果 实 通 常 更 容 易 采 摘 所 以 这 种 考 虑 是 合 理 的 将 图 像 输 入 显 著 性 检 测 算 法 当 中 并 得 到 输 出 的 显 著 性 热 图 统 计 果 实 区 域 的 热 图 响 应 将 其 归 一 化 作 为 隶 属 函 数 A 这 种 算 法 只 考 虑 了 显 著 性 水 平 这 一 个 因 素 对 于 多 个 影 响 因 素 可 以 设 计 综 合 评 价 算 法 对 其 进 行 评 分 也 可 以 使 用 深 度 神 经 网 络 完 成 综 合 评 价 这 一 任 务 但 是 这 种 评 价 方 式 往 往 受 制 于 有 限 的 考 虑 因 素 以 及 固 定 的 某 些 场 景 缺 乏 对 新 场 景 的 学 习 和 自 适 应 能 力 将 可 行 性 与 强 化 学 习 相 结 合 将 是 未 来 采 摘 可 行 性 分 析 最 有 前 景 的 发 展 方 向 在 强 化 学 习 中 采 摘 过 程 可 被 建 模 为 一 个 马 尔 可 夫 决 策 过 程 Markov Decision Process MDP 为 每 一 个 果 实 被 采 后 的 状 态 设 置 状 态 价 值 函 数V 为 采 摘 每 一 个 果 实 的 动 作 设 置 动 作 价 值 函 数Q 当 成 功 摘 取 果 实 后 将 获 得 回 报R 假 设 摘 取 每 一 个 果 实 的 回 报 是 相 同 的 由 于 衰 减 因 子 的 存 在 使 用 较 少 动 作 摘 取 果 实 将 获 得 更 大 的 回 报 若 使 用 贪 心 算 法 引 导 决 策 则 机 器 人 将 更 倾 向 于 完 成 更 加 容 易 的 采 摘 动 作 在 多 次 采 摘 动 作 完 成 后 容 易 采 摘 的 果 实 将 被 采 摘 殆 尽 留 下 难 以 采 摘 的 果 实 则 可 以 认 为 采 摘 这 些 果 实 的 动 作 是 低 回 报 不 可 行 的 但 是 受 制 于 复 杂 的 工 作 环 境 和 算 法 的 局 限 性 目 前 使 用 强 化 学 习 算 法 进 行 果 实 采 摘 仍 是 一 项 十 分 艰 难 的 任 务 仍 需 要 国 内 外 学 者 的 进 一 步 探 索 2 1Vol 2 No 4 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 总 体 而 言 采 摘 可 行 性 分 析 仍 然 是 果 蔬 采 摘 研 究 领 域 的 空 白 仍 然 缺 乏 一 套 系 统 地 评 判 采 摘 场 景 复 杂 度 的 可 行 理 论 对 采 摘 场 景 的 复 杂 度 进 行 建 模 评 价 将 是 未 来 重 要 的 研 究 方 向 之 一 考 虑 到 目 前 大 多 数 采 摘 机 械 使 用 基 于 视 觉 的 控 制 方 案 关 于 视 觉 注 意 力 机 制 和 显 著 性 水 平 方 向 的 研 究 将 很 有 可 能 带 动 这 方 面 的 发 展 除 此 之 外 为 应 对 复 杂 多 变 的 实 际 情 况 使 用 深 度 网 络 对 采 摘 成 功 率 进 行 学 习 可 能 会 成 为 采 摘 可 行 性 分 析 的 一 个 突 破 点 3 采 摘 机 械 结 构 作 为 采 摘 机 械 的 主 要 执 行 装 置 采 摘 机 械 结 构 至 关 重 要 本 节 讨 论 了 主 流 的 采 摘 机 械 抓 手 结 构 并 对 其 进 行 了 分 类 针 对 主 流 的 刚 性 机 械 抓 手 总 结 了 设 计 的 流 程 并 讨 论 了 采 摘 机 械 手 的 驱 动 方 式 和 切 割 方 案 针 对 于 采 后 的 收 集 和 分 类 装 置 进 行 了 总 结 和 归 纳 3 1 抓 手 结 构 3 1 1 抓 手 结 构 的 分 类 机 械 抓 手 也 称 为 末 端 执 行 器 用 来 完 成 与 目 标 果 实 对 接 和 果 实 采 摘 动 作 目 前 主 流 的 采 摘 抓 手 可 以 分 为 包 裹 型 抓 手 和 夹 持 型 抓 手 它 们 最 大 的 区 别 是 与 作 用 对 象 的 对 接 方 式 不 同 本 文 将 抓 手 与 果 实 的 对 接 方 式 称 之 为 仿 形 结 构 包 裹 型 抓 手 的 作 用 对 象 是 果 实 的 整 个 外 表 面 这 种 对 接 方 式 称 之 为 面 仿 形 如 图1 a 和 图1 b 所 示 而 夹 持 型 抓 手 的 作 用 对 象 通 常 是 果 实 母 枝 的 某 个 采摘点 这种对 接方式 称之为 点仿形 如图1 c 和 图1 d 汇 总 两 种 仿 形 设 计 典 型 的 抓 手 如 下 表 2 所 示 夹 持 型 抓 手 主 要 为 切 割 式 采 摘 大 多 为 刚 性 结 构 例 如 为 实 现 草 莓 的 机 械 化 采 摘 史 慧 文 等 81 设 计 了 一 种 草 莓 采 摘 机 械 手 爪 该 手 爪 上 安 装 有 摄 像 头 使 用 电 机 驱 动 采 用 齿 轮 传 动 并 采 用 丝 杠 控 制 手 指 的 闭 合 具 有 简 单 可 靠 的 特 点 包 裹 型 抓 手 主 要 是 拟 人 手 采 摘 其 形 式 非 常 多 样 传 统 的 包 裹 型 抓 手 是 刚 性 材 料 制 成 的 为 避 免 对 果 实 的 损 伤 部 分 抓 手 还 会 增 加 一 些 缓 冲 材 料 为 解 决 传 统 机 械 抓 取 草 莓 时 极 易 损 伤 果 实 的 问 题 Dimeas 等 73 设 计 了 一 种 草 莓 采 摘 抓 手 对 草 莓 进 行 了 力 学 分 析 并 最 终 确 定 侧 面 夹 取 式 为 最 佳 方 案 他 还 对 采 摘 过 程 进 行 了 运 动 学 分 析 确 定 了 抓 手 的 参 数 并 采 用3D 打 印 技 术 a 包 裹 型 抓 手 面 仿 形 60 c 夹 持 型 抓 手 点 仿 形 62 b 包 裹 型 抓 手 面 仿 形 61 d 夹 持