基于改进Faster_R-...NN模型的草莓果实识别算法_李佳俊.pdf

第 1 1 期 收 稿 日 期 2 0 2 2 0 4 1 2 基 金 项 目 国 家 自 然 科 学 基 金 项 目 3 1 8 7 2 8 4 9 3 2 0 7 3 0 2 9 山 东 省 高 等 学 校 青 创 人 才 引 育 计 划 项 目 0 0 8 1 6 2 2 0 0 1 青 岛 农 业 大 学 高 层 次 人 才 基 金 项 目 1 1 1 9 0 3 6 作 者 简 介 李 佳 俊 2 0 0 0 男 山 东 新 泰 人 在 读 硕 士 研 究 生 研 究 方 向 为 农 业 作 物 目 标 检 测 电 话 1 7 6 6 4 0 9 2 1 0 6 电 子 信 箱 j e r r y l e e r e a l 1 6 3 c o m 通 信 作 者 邓 立 苗 1 9 7 8 女 山 东 沂 水 人 副 教 授 博 士 主 要 从 事 机 器 学 习 方 面 的 研 究 电 话 1 3 6 2 6 4 8 4 2 7 4 电 子 信 箱 d e n g l m 6 8 1 6 3 c o m 随 着 草 莓 F r a g a r i a a n a n a s s a D u c h 在 中 国 种 植 面 积 的 逐 渐 扩 大 截 至 2 0 1 8 年 中 国 草 莓 种 植 面 积 为 1 1 1 1 万 h m 2 总 产 量 为 2 9 6 4 3 万 t 1 草 莓 种 植 从 业 人 员 老 龄 化 问 题 日 益 凸 显 加 之 草 莓 种 植 产 业 属 于 劳 动 密 集 型 的 高 投 入 高 产 出 农 业 2 致 使 在 每 年 草 莓 收 获 的 季 节 都 会 出 现 采 摘 劳 动 力 不 足 的 情 况 间 接 导 致 劳 动 成 本 增 高 草 莓 种 植 产 业 亟 需 引 入 自 动 化 采 摘 系 统 以 提 高 采 摘 效 率 3 减 缓 对 人 工 采 摘 的 依 赖 降 低 采 摘 成 本 对 草 莓 进 行 准 确 的 定 位 识 别 是 实 现 自 动 化 采 摘 的 前 提 与 关 键 而 对 生 长 基 于 改 进 F a s t e r R C N N 模 型 的 草 莓 果 实 识 别 算 法 李 佳 俊 朱 子 峰 刘 洪 鑫 苏 昱 荣 温 传 闻 张 原 升 张 慧 敏 邓 立 苗 青 岛 农 业 大 学 理 学 与 信 息 科 学 学 院 山 东 青 岛 2 6 6 1 0 9 摘 要 针 对 F a s t e r R C N N 模 型 对 自 然 状 态 下 草 莓 F r a g a r i a a n a n a s s a D u c h 识 别 准 确 率 不 高 的 问 题 以 地 垄 种 植 草 莓 的 实 拍 图 片 为 数 据 源 采 用 改 进 R P N 结 构 和 更 换 主 干 特 征 提 取 网 络 的 方 法 对 F a s t e r R C N N 模 型 进 行 了 改 进 结 果 表 明 改 进 F a s t e r R C N N 模 型 识 别 成 熟 草 莓 平 均 精 度 A P 为 0 8 9 3 0 识 别 未 成 熟 草 莓 平 均 精 度 A P 为 0 8 2 0 7 草 莓 识 别 准 确 率 达 到 较 高 水 平 解 决 了 未 成 熟 草 莓 识 别 困 难 的 问 题 同 时 为 了 检 验 模 型 的 自 动 计 数 性 能 依 据 模 型 的 识 别 结 果 建 立 了 自 动 计 数 与 人 工 计 数 的 线 性 回 归 成 熟 草 莓 未 成 熟 草 莓 的 相 关 系 数 分 别 为 0 9 7 3 7 0 9 4 4 7 自 动 计 数 与 人 工 计 数 拥 有 较 高 的 相 关 性 表 明 改 进 F a s t e r R C N N 模 型 具 有 较 高 的 识 别 性 能 与 计 数 能 力 关 键 词 草 莓 F r a g a r i a a n a n a s s a D u c h 识 别 F a s t e r R C N N 模 型 R e s N e t 5 0 中 图 分 类 号 S 2 4 文 献 标 识 码 A 文 章 编 号 0 4 3 9 8 1 1 4 2 0 2 3 1 1 0 1 8 3 0 8 D O I 1 0 1 4 0 8 8 j c n k i i s s n 0 4 3 9 8 1 1 4 2 0 2 3 1 1 0 3 2 开 放 科 学 资 源 服 务 标 识 码 O S I D S t r a w b e r r y f r u i t r e c o g n i t i o n a l g o r i t h m b a s e d o n i m p r o v e d F a s t e r R C N N m o d e l L I J i a j u n Z H U Z i f e n g L I U H o n g x i n S U Y u r o n g W E N C h u a n w e n Z H A N G Y u a n s h e n g Z H A N G H u i m i n D E N G L i m i a o S c h o o l o f S c i e n c e a n d I n f o r m a t i o n Q i n g d a o A g r i c u l t u r a l U n i v e r s i t y Q i n g d a o 2 6 6 1 0 9 S h a n d o n g C h i n a A b s t r a c t I n r e s p o n s e t o t h e p r o b l e m o f l o w r e c o g n i t i o n a c c u r a c y o f t h e F a s t e r R C N N m o d e l f o r n a t u r a l s t r a w b e r r i e s F r a g a r i a a n a n a s s a D u c h t h e F a s t e r R C N N m o d e l w a s i m p r o v e d b y i m p r o v i n g t h e R P N s t r u c t u r e a n d r e p l a c i n g t h e b a c k b o n e f e a t u r e e x t r a c t i o n n e t w o r k u s i n g l i v e i m a g e s o f s t r a w b e r r i e s p l a n t e d o n r i d g e s a s t h e d a t a s o u r c e T h e r e s u l t s s h o w e d t h a t t h e i m p r o v e d F a s t e r R C N N m o d e l h a d a n a v e r a g e p r e c i s i o n A P o f 0 8 9 3 0 w h e n i d e n t i f y i n g m a t u r e s t r a w b e r r i e s a n d 0 8 2 0 7 w h e n i d e n t i f y i n g i m m a t u r e s t r a w b e r r i e s T h e a c c u r a c y o f s t r a w b e r r y r e c o g n i t i o n r e a c h e d a h i g h l e v e l s o l v i n g t h e p r o b l e m o f d i f f i c u l t y i n i d e n t i f y i n g i m m a t u r e s t r a w b e r r i e s M e a n w h i l e i n o r d e r t o t e s t t h e a u t o m a t i c c o u n t i n g p e r f o r m a n c e o f t h e m o d e l a l i n e a r r e g r e s s i o n b e t w e e n a u t o m a t i c c o u n t i n g a n d m a n u a l c o u n t i n g w a s e s t a b l i s h e d b a s e d o n t h e r e c o g n i t i o n r e s u l t s o f t h e m o d e l T h e c o r r e l a t i o n c o e f f i c i e n t s o f m a t u r e a n d i m m a t u r e s t r a w b e r r i e s w e r e 0 9 7 3 7 a n d 0 9 4 4 7 r e s p e c t i v e l y T h e h i g h c o r r e l a t i o n b e t w e e n a u t o m a t i c c o u n t i n g a n d m a n u a l c o u n t i n g i n d i c a t e d t h a t t h e i m p r o v e d F a s t e r R C N N m o d e l h a d h i g h r e c o g n i t i o n p e r f o r m a n c e a n d c o u n t i n g a b i l i t y K e y w o r d s s t r a w b e r r y F r a g a r i a a n a n a s s a D u c h i d e n t i f i c a t i o n F a s t e r R C N N m o d e l R e s N e t 5 0 第 6 2 卷 第 1 1 期 2 0 2 3 年 1 1 月 湖 北 农 业 科 学 H u b e i A g r i c u l t u r a l S c i e n c e s V o l 6 2 N o 1 1 N o v 2 0 2 3 李 佳 俊 朱 子 峰 刘 洪 鑫 等 基 于 改 进 F a s t e r R C N N 模 型 的 草 莓 果 实 识 别 算 法 J 湖 北 农 业 科 学 2 0 2 3 6 2 1 1 1 8 3 1 9 0 湖 北 农 业 科 学 2 0 2 3 年 期 草 莓 的 精 准 计 数 是 进 行 估 产 的 关 键 近 年 来 随 着 计 算 机 相 关 算 法 和 硬 件 的 不 断 发 展 图 像 分 类 4 和 目 标 检 测 等 机 器 视 觉 技 术 在 各 种 深 度 学 习 算 法 的 推 动 下 得 到 了 迅 猛 进 步 并 应 用 于 果 蔬 5 8 的 识 别 和 目 标 检 测 胡 庆 胜 等 9 研 究 了 基 于 机 器 视 觉 的 果 蔬 识 别 方 法 该 方 法 利 用 M a s k R C N N 神 经 网 络 框 架 对 果 蔬 目 标 进 行 识 别 提 取 解 决 了 复 杂 环 境 下 果 蔬 目 标 不 能 很 好 识 别 的 问 题 其 中 对 于 草 莓 的 识 别 率 达 9 3 4 但 是 使 用 的 数 据 集 较 少 导 致 训 练 出 来 的 神 经 网 络 场 景 较 少 同 时 研 究 中 并 没 有 提 及 识 别 草 莓 过 程 中 是 否 区 分 成 熟 草 莓 与 未 成 熟 草 莓 针 对 自 然 状 态 下 草 莓 果 实 枝 叶 遮 挡 率 较 高 识 别 准 确 率 较 低 等 问 题 闫 勇 等 1 0 提 出 了 L a b 色 彩 模 型 下 梯 度 H o u g h 圆 变 换 的 成 熟 草 莓 识 别 方 法 该 方 法 具 有 较 强 的 稳 定 性 和 精 确 性 在 光 线 较 差 的 环 境 下 依 然 能 获 得 较 低 的 偏 差 但 是 当 拍 摄 距 离 较 远 或 者 草 莓 形 状 较 圆 时 识 别 性 能 就 会 下 降 同 时 研 究 中 的 方 法 只 能 识 别 成 熟 草 莓 对 于 未 成 熟 草 莓 的 识 别 并 没 有 进 行 描 述 刘 小 刚 等 1 1 改 进 了 Y O L O v 3 识 别 方 法 在 复 杂 环 境 下 对 草 莓 进 行 连 续 识 别 检 测 成 熟 草 莓 与 未 成 熟 草 莓 的 平 均 精 度 均 值 m A P 为 0 8 7 5 1 但 是 并 没 有 对 模 型 的 草 莓 计 数 能 力 进 行 研 究 综 上 对 草 莓 的 识 别 研 究 均 具 有 一 定 的 局 限 性 例 如 识 别 场 景 简 单 只 针 对 成 熟 草 莓 识 别 等 为 了 让 草 莓 识 别 技 术 可 以 真 正 落 地 并 投 入 到 实 际 生 产 中 要 求 模 型 可 以 在 真 实 的 草 莓 种 植 基 地 环 境 下 进 行 识 别 为 此 优 化 现 有 的 识 别 模 型 使 其 可 以 在 草 莓 识 别 上 发 挥 更 好 的 效 果 1 数 据 集 的 建 立 与 方 法 1 1 数 据 集 的 建 立 1 1 1 图 像 采 集 试 验 地 点 为 山 东 省 青 岛 市 即 墨 区 环 秀 街 道 办 事 处 西 驯 虎 山 有 机 草 莓 种 植 基 地 大 棚 地 垄 式 种 植 实 地 采 集 草 莓 图 像 2 7 5 7 张 如 图 1 所 示 图 像 中 成 熟 草 莓 为 鲜 艳 的 红 色 未 成 熟 草 莓 为 绿 色 或 是 粉 色 背 景 中 叶 片 为 浅 绿 色 或 深 绿 色 薄 膜 为 暗 灰 色 部 分 图 像 背 景 中 存 在 暴 露 的 土 壤 为 棕 红 色 图 1 采 集 的 部 分 草 莓 图 像 1 1 2 数 据 集 划 分 将 拍 摄 所 得 的 2 7 5 7 张 图 片 随 机 均 匀 地 划 分 为 6 组 每 组 图 像 按 照 图 片 中 草 莓 的 个 数 再 分 为 2 个 数 据 集 其 中 图 像 中 草 莓 数 量 4 个 的 数 据 集 标 注 为 稀 疏 数 据 集 图 像 中 草 莓 数 量 5 个 的 数 据 集 标 注 为 密 集 数 据 集 数 据 集 划 分 结 果 如 表 1 所 示 共 产 生 1 2 个 数 据 集 分 别 用 于 不 同 的 试 验 情 境 表 1 数 据 集 划 分 情 况 分 组 1 组 2 组 3 组 4 组 5 组 6 组 数 据 集 数 据 集 1 稀 疏 数 据 集 2 密 集 数 据 集 3 稀 疏 数 据 集 4 密 集 数 据 集 5 稀 疏 数 据 集 6 密 集 数 据 集 7 稀 疏 数 据 集 8 密 集 数 据 集 9 稀 疏 数 据 集 1 0 密 集 数 据 集 1 1 稀 疏 数 据 集 1 2 密 集 图 像 数 量 张 2 9 0 1 4 5 2 7 8 1 8 7 4 0 5 5 8 4 3 8 4 2 4 0 0 6 2 3 0 1 1 5 1 1 1 3 数 据 标 注 将 采 集 的 2 7 5 7 张 图 片 压 缩 至 较 小 且 相 同 的 分 辨 率 方 便 后 期 导 入 模 型 进 行 训 练 同 时 利 用 标 注 软 件 对 所 有 图 像 进 行 标 注 标 签 分 为 成 熟 草 莓 和 未 成 熟 草 莓 同 一 张 图 像 上 可 以 同 时 存 在 2 种 标 签 采 用 P O S C A L V O C 2 0 0 7 数 据 集 分 析 1 2 1 2 方 法 1 2 1 改 进 F a s t e r R C N N 模 型 改 进 F a s t e r R C N N 模 型 整 体 结 构 如 图 2 所 示 共 享 基 础 卷 积 层 C o n v 1 至 C o n v 4 是 由 V G G 1 6 或 R e s N e t 1 0 1 1 3 等 主 干 特 征 提 取 网 络 组 成 用 于 提 取 整 张 草 莓 图 片 的 特 征 在 去 除 全 连 接 层 且 保 留 卷 积 层 后 输 出 采 样 后 的 特 征 图 像 1 4 特 征 图 像 分 别 输 入 改 进 的 候 选 检 测 框 生 成 网 络 R P N 和 R O I P o o l i n g R O I P o o l i n g 与 分 类 网 络 S o f t m a x 和 b b o x p r e d 对 R P N 产 生 的 候 选 检 测 框 进 行 分 类 并 且 第 二 次 调 整 候 选 框 坐 标 最 后 输 出 检 测 结 果 1 5 1 6 1 2 2 R P N 网 络 优 化 F a s t e r R C N N 模 型 1 7 的 R P N 要 用 1 个 3 3 的 s l i d e w i n d o w 去 遍 历 整 个 f e a t u r e m a p 在 遍 历 过 程 中 如 图 3 所 示 每 个 w i n d o w s 中 心 点 按 照 1 2 1 1 2 1 的 基 础 框 比 例 生 成 a n c h o r b o x e s 3 个 基 础 框 的 面 积 分 别 为 1 2 8 1 2 8 2 5 6 2 5 6 5 1 2 5 1 2 1 8 在 检 测 较 小 的 草 莓 时 由 于 3 个 基 础 框 的 面 积 较 大 很 难 匹 配 较 小 的 草 莓 导 致 F a s t e r R C N N 模 型 在 识 别 较 小 的 草 莓 时 识 别 效 果 较 差 考 虑 到 在 通 常 情 况 下 会 出 现 一 些 未 开 始 发 育 的 1 8 4第 1 1 期 草 莓 这 些 草 莓 较 普 通 草 莓 更 小 所 以 适 当 调 小 基 础 框 面 积 的 下 限 有 利 于 对 未 发 育 草 莓 的 识 别 但 是 在 原 结 构 中 3 个 基 础 框 的 最 小 框 已 经 很 小 故 在 调 节 时 不 需 要 进 行 大 幅 度 的 调 节 将 3 个 基 框 的 面 积 改 为 1 1 2 1 1 2 2 5 6 2 5 6 5 1 2 5 1 2 可 以 提 高 对 体 积 较 小 草 莓 的 识 别 效 果 在 F a s t e r R C N N 模 型 的 R P N 结 构 中 存 在 1 个 3 3 的 s l i d e w i n d o w 但 是 草 莓 果 实 大 小 不 一 只 有 1 种 规 格 的 滑 动 窗 口 会 降 低 模 型 对 草 莓 的 识 别 能 力 所 以 在 原 R P N 的 基 础 上 增 加 1 1 和 5 5 2 种 规 格 的 s l i d e w i n d o w 扩 大 其 感 受 野 提 高 草 莓 识 别 性 能 得 到 图 4 所 示 的 改 进 后 R P N 结 构 1 2 3 模 型 训 练 在 模 型 测 试 时 发 现 识 别 过 程 中 识 别 框 重 叠 概 率 较 小 经 过 多 次 微 调 试 验 将 n m s t h r e s h 参 数 由 0 7 调 至 0 8 图 像 中 更 多 的 草 莓 可 以 被 检 测 到 训 练 迭 代 次 数 为 1 0 0 0 0 次 为 了 让 模 型 在 损 失 曲 线 收 敛 时 震 荡 范 围 更 小 提 高 训 练 性 能 在 模 型 即 将 完 成 训 练 时 减 小 其 学 习 率 因 此 设 置 学 习 率 为 0 0 0 1 1 9 在 完 成 7 5 0 0 次 迭 代 后 学 习 率 降 低 训 练 设 备 为 1 0 8 0 T i 显 卡 2 0 操 作 系 统 为 W i n d o w s 1 0 环 境 为 P y T h o n 3 5 T e n s o r f l o w 1 3 0 训 练 数 据 通 过 P y T h o n 的 w a n d b 库 传 送 到 w a n d b 云 端 平 台 进 行 损 失 曲 线 可 视 化 1 2 4 评 价 指 标 采 用 精 度 P r e c i s i o n 召 回 率 R e c a l l F 1 m F 1 A P 和 m A P 等 作 为 衡 量 模 型 性 能 的 指 标 2 1 2 2 各 指 标 参 数 的 计 算 公 式 如 下 P r e c i s i o n T P T P F P 1 R O I P o o l i n g 数 据 集 特 征 层 图 像 输 入 图 像 C o n v 1 C o n v 2 C o n v 3 C o n v 4 C o n v 5 S o f t m a x 调 整 大 小 结 果 输 出 b b o x p r e d R P N 1 1 3 3 特 征 融 合 R e s h a p e S o f t m a x R e s h a p e p r o p o s a l 1 1 1 1 5 5 图 2 改 进 F a s t e r R C N N 模 型 结 构 1 1 3 3 特 征 融 合 R e s h a p e S o f t m a x R e s h a p e p r o p o s a l 1 1 1 1 5 5 图 4 改 进 后 R P N 部 分 结 构 李 佳 俊 等 基 于 改 进 F a s t e r R C N N 模 型 的 草 莓 果 实 识 别 算 法 s c o r e s 滑 动 窗 口 特 征 图 c o o r d i n a t e s s c o r e s a n c h o r b o x e s 图 3 F a s t e r R C N N 模 型 中 R P N 结 构 1 8 5湖 北 农 业 科 学 2 0 2 3 年 R e c a l l T P T P F N 2 F 1 2 P r e c i s i o n k R e c a l l k P r e c i s i o n k R e c a l l k 3 m F 1 1 n 2 P r e c i s i o n k R e c a l l k P r e c i s i o n k R e c a l l k 2 4 A P 0 1 P r e c i s i o n d R e c a l l 5 m A P 1 n A P 6 式 中 k 为 图 片 标 号 n 为 标 签 种 类 数 P r e c i s i o n 为 预 测 值 为 真 且 真 实 值 也 为 真 的 样 本 在 预 测 值 为 真 的 所 有 样 本 中 所 占 的 比 例 R e c a l l 为 预 测 值 为 真 且 真 实 值 也 为 真 的 样 本 在 真 实 值 为 真 的 所 有 样 本 中 所 占 的 比 例 T P 为 实 际 为 真 模 型 预 测 也 为 真 的 识 别 实 例 数 量 F P 为 实 际 为 假 模 型 预 测 为 真 的 识 别 实 例 数 量 F N 为 实 际 为 真 模 型 预 测 为 假 的 识 别 实 例 数 量 F 1 为 模 型 准 确 率 和 召 回 率 的 加 权 平 均 m F 1 为 所 有 类 别 F 1 的 均 值 A P 为 平 均 精 度 m A P 为 所 有 类 别 A P 的 均 值 用 于 衡 量 模 型 在 所 有 类 别 上 的 好 坏 2 结 果 与 分 析 2 1 不 同 主 干 特 征 提 取 网 络 下 的 检 测 性 能 采 用 不 同 的 图 像 主 干 特 征 提 取 网 络 V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 对 草 莓 图 像 进 行 目 标 检 测 2 3 所 有 模 型 在 完 成 1 0 0 0 0 次 训 练 后 对 其 损 失 曲 线 和 P R 曲 线 进 行 分 析 综 合 判 断 并 找 到 最 适 合 对 草 莓 进 行 目 标 检 测 的 主 干 特 征 提 取 网 络 损 失 率 2 4 是 实 际 值 与 期 望 值 之 差 损 失 率 越 小 模 型 的 鲁 棒 性 越 好 经 过 1 0 0 0 0 次 训 练 后 4 个 模 型 都 出 现 了 收 敛 的 趋 势 经 过 滑 动 平 均 E x p o n e n t i a l m o v i n g a v e r a g e 处 理 后 得 到 图 5 所 示 的 曲 线 在 前 2 0 0 0 次 迭 代 中 4 个 模 型 的 损 失 率 逐 渐 减 小 在 迭 代 2 0 0 0 次 左 右 时 4 个 模 型 的 损 失 曲 线 波 动 幅 度 均 趋 于 缓 和 在 8 0 0 0 次 迭 代 后 4 个 模 型 的 损 失 率 均 低 于 0 5 4 个 模 型 的 损 失 曲 线 趋 于 平 缓 2 5 相 比 V G G 1 6 和 V G G 1 9 R e s N e t 5 0 和 R e s N e t 1 0 1 在 8 0 0 0 次 训 练 后 损 失 曲 线 波 动 较 小 更 平 稳 在 相 同 模 型 下 2 类 草 莓 的 识 别 效 果 不 同 在 数 据 集 中 抽 取 2 0 7 7 张 图 片 组 成 测 试 集 进 行 测 试 分 别 对 4 种 主 干 特 征 提 取 网 络 下 成 熟 草 莓 和 未 成 熟 草 莓 的 P R 曲 线 进 行 分 析 如 图 6 所 示 对 成 熟 草 莓 而 言 在 相 同 R e c a l l 下 各 主 干 特 征 提 取 网 络 的 P R 曲 线 P r e c i s i o n 差 异 较 小 R e s N e t 5 0 较 高 未 成 熟 草 莓 中 各 主 干 特 征 提 取 网 络 的 P R 曲 线 差 异 较 大 相 同 R e c a l l 下 R e s N e t 5 0 的 P r e c i s i o n 较 其 他 3 个 模 型 更 有 优 势 在 相 同 的 P r e c i s i o n 下 R e s N e t 5 0 的 R e c a l l 也 更 高 在 数 据 集 中 选 取 3 张 具 有 代 表 性 的 图 片 分 别 使 用 不 同 主 干 特 征 提 取 网 络 的 F a s t e r R C N N 模 型 进 行 识 别 由 图 7 可 知 V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 4 种 模 型 对 2 号 至 6 号 草 莓 的 识 别 效 果 差 距 较 小 都 表 现 出 较 高 的 识 别 率 1 号 7 号 8 号 为 未 成 熟 草 莓 不 仅 体 积 非 常 小 而 且 其 叶 片 遮 挡 住 了 果 实 4 种 模 型 对 其 识 别 效 果 都 有 所 下 降 且 下 降 的 程 度 不 同 因 此 选 取 有 叶 片 遮 挡 体 积 小 未 成 熟 的 草 莓 图 片 进 一 步 测 试 1 2 1 1 1 0 0 9 0 8 0 7 0 6 0 5 0 4 损 失 率 0 2 0 0 0 4 0 0 0 6 0 0 0 8 0 0 0 1 0 0 0 0 迭 代 次 数 V G G 1 6 R e s N e t 5 0 V G G 1 9 R e s N e t 1 0 1 图 5 改 进 F a s t e r R C N N 模 型 在 不 同 网 络 下 的 损 失 曲 线 1 0 0 9 0 8 0 7 0 6 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 P r e c i s i o n a 成 熟 草 莓 1 0 0 9 0 8 0 7 0 6 0 5 0 4 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l V G G 1 6 V G G 1 9 R e s N e t 5 0 R e s N e t 1 0 1 P r e c i s i o n b 未 成 熟 草 莓 图 6 4 种 主 干 特 征 提 取 网 络 P R 曲 线 对 比 1 8 6第 1 1 期 图 8 中 只 有 R e s N e t 5 0 识 别 出 了 被 叶 片 遮 挡 的 未 成 熟 草 莓 1 号 图 9 中 只 有 R e s N e t 1 0 1 和 R e s N e t 5 0 识 别 出 残 缺 体 积 很 小 的 未 成 熟 草 莓 5 号 因 此 选 用 R e s N e t 5 0 作 为 模 型 的 特 征 提 取 网 络 2 6 2 2 模 型 性 能 评 价 F a s t e r R C N N 模 型 和 改 进 F a s t e r R C N N 模 型 的 主 干 特 征 提 取 网 络 均 采 用 R e s N e t 5 0 对 比 F a s t e r R C N N 模 型 和 改 进 F a s t e r R C N N 模 型 的 各 类 指 标 评 价 模 型 的 检 测 性 能 由 图 1 0 可 知 改 进 F a s t e r R C N N 模 型 曲 线 在 F a s t e r R C N N 模 型 曲 线 上 方 说 明 在 对 未 成 熟 草 莓 的 识 别 上 改 进 F a s t e r R C N N 模 型 识 别 效 果 更 好 而 在 成 熟 草 莓 的 P R 曲 线 对 比 中 2 个 模 型 识 别 效 果 差 异 不 明 显 由 表 2 可 知 改 进 F a s t e r R C N N 模 型 成 熟 草 莓 未 成 熟 草 莓 的 A P 分 别 比 F a s t e r R C N N 模 型 高 0 0 0 4 7 0 0 3 6 5 改 进 F a s t e r R C N N 模 型 成 熟 草 莓 未 成 熟 草 莓 的 F 1 分 别 比 F a s t e r R C N N 模 型 高 0 0 1 6 7 0 0 3 1 3 2 3 不 同 分 布 密 度 下 的 检 测 性 能 在 实 地 拍 摄 的 草 莓 图 像 中 草 莓 数 量 有 多 有 少 为 了 检 测 使 用 R e s N e t 5 0 为 主 干 特 征 提 取 网 络 的 改 进 F a s t e r R C N N 模 型 对 含 有 不 同 草 莓 数 量 图 像 的 检 测 性 能 将 原 来 测 试 集 中 草 莓 数 量 4 个 的 图 像 设 置 为 稀 疏 草 莓 数 据 集 将 草 莓 数 量 5 个 的 图 像 设 为 密 集 草 莓 数 据 集 采 用 A P P r e c i s i o n 和 R e c a l l 评 估 2 个 数 据 集 检 测 结 果 如 表 3 所 示 稀 疏 草 莓 数 据 集 中 未 成 熟 草 莓 和 成 熟 草 莓 的 A P 均 高 于 密 集 草 莓 数 据 集 稀 疏 草 莓 数 据 集 中 成 熟 草 莓 的 A P 高 达 0 9 0 2 8 稀 疏 草 莓 数 据 集 中 成 熟 草 莓 的 P r e c i s i o n 高 于 密 集 草 莓 数 据 集 为 0 9 3 4 7 稀 疏 草 莓 数 据 集 中 未 成 熟 草 莓 和 成 熟 草 莓 的 R e c a l l 均 高 于 密 集 草 莓 数 据 集 密 集 草 莓 数 据 集 中 未 成 熟 草 莓 的 P r e c i s i o n 和 P r e c i s i o n 均 值 均 高 于 稀 疏 草 莓 数 据 集 综 上 稀 疏 草 莓 数 据 集 在 A P 和 R e c a l l 上 表 现 较 好 密 集 草 莓 数 据 集 在 P r e c i s i o n 上 对 未 成 熟 草 莓 的 识 别 效 果 较 优 所 以 总 体 上 改 进 F a s t e r R C N N 模 型 在 识 别 4 个 草 莓 图 像 时 的 检 测 性 能 更 好 2 4 模 型 的 计 数 性 能 对 1 2 个 数 据 集 的 草 莓 分 别 进 行 人 工 计 数 和 改 进 F a s t e r R C N N 模 型 自 动 计 数 由 图 1 1 可 知 成 熟 草 莓 的 人 工 计 数 与 自 动 计 数 差 别 较 小 而 未 成 熟 草 1 2 3 1 2 3 a V G G 1 6 b V G G 1 9 1 2 3 1 2 3 c R e s N e t 5 0 d R e s N e t 1 0 1 图 8 叶 片 遮 挡 情 况 下 的 未 成 熟 草 莓 实 际 识 别 效 果 李 佳 俊 等 基 于 改 进 F a s t e r R C N N 模 型 的 草 莓 果 实 识 别 算 法 1 2 3 4 5 6 7 8 a V G G 1 6 1 2 3 4 5 6 7 8 b V G G 1 9 1 2 3 4 5 6 7 8 c R e s N e t 5 0 1 2 3 4 5 6 7 8 d R e s N e t 1 0 1 图 7 实 际 识 别 效 果 对 比 1 8 7湖 北 农 业 科 学 2 0 2 3 年 1 2 3 4 5 1 2 3 4 5 a V G G 1 6 b V G G 1 9 1 2 3 4 5 1 2 3 4 5 c R e s N e t 5 0 d R e s N e t 1 0 1 图 9 残 缺 体 积 很 小 的 未 成 熟 草 莓 实 际 识 别 效 果 1 0 0 0 9 5 0 9 0 0 8 5 0 8 0 0 7 5 0 7 0 0 6 5 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l F a s t e r R C N N 改 进 F a s t e r R C N N P r e c i s i o n 1 0 0 0 9 0 0 8 0 0 7 0 0 6 0 0 5 0 0 4 0 0 0 0 2 0 4 0 6 0 8 1 0 R e c a l l F a s t e r R C N N 改 进 F a s t e r R C N N P r