面向植物病害识别的卷积神经网络精简结构Distilled-MobileNet模型.pdf

2021 年3 月 第3 卷 第1 期 Mar 2021 Vol 3 No 1 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 面 向 植 物 病 害 识 别 的 卷 积 神 经 网 络 精 简 结 构 D i s t i l l e d M o b i l e N e t 模 型 邱 文 杰 1 叶 进 1 胡 亮 青 1 杨 娟 2 李 其 利 3 莫 贱 友 3 易 万 茂 1 1 广 西 大 学 计 算 机 与 电 子 信 息 学 院 广 西 南 宁 5 3 0 0 0 4 2 广 西 大 学 农 学 院 广 西 南 宁 5 3 0 0 0 4 3 广 西 壮 族 自 治 区 农 业 科 学 院 植 物 保 护 研 究 所 广 西 南 宁 5 3 0 0 0 7 摘 要 卷 积 神 经 网 络 C N N 的 发 展 带 来 了 大 量 的 网 络 参 数 和 庞 大 的 模 型 体 积 极 大 地 限 制 了 其 在 小 规 模 计 算 资 源 设 备 上 的 应 用 为 将 C N N 应 用 在 各 种 小 型 设 备 上 研 究 了 一 种 基 于 知 识 蒸 馏 的 结 构 化 模 型 压 缩 方 法 该 方 法 首 先 利 用 V G G 1 6 训 练 了 一 个 识 别 率 较 高 的 教 师 模 型 再 将 该 模 型 中 的 知 识 通 过 蒸 馏 的 方 法 迁 移 到 M o b i l e N e t 从 而 大 幅 减 少 了 模 型 的 参 数 量 将 知 识 蒸 馏 后 的 D i s t i l l e d M o b i l e N e t 模 型 应 用 在 1 4 种 作 物 的 3 8 种 常 见 病 害 分 类 中 进 行 了 知 识 蒸 馏 在 V G G 1 6 A l e x N e t G o o g l e N e t 和 R e s N e t 4 种 不 同 网 络 结 构 上 的 表 现 测 试 结 果 表 明 当 V G G 1 6 作 为 教 师 模 型 时 模 型 准 确 率 提 升 了 9 7 5 4 使 用 单 个 病 害 识 别 率 平 均 准 确 率 模 型 内 存 平 均 识 别 时 间 4 个 指 标 对 训 练 好 的 D i s t i l l e d M o b i l e N e t 模 型 进 行 真 实 环 境 下 准 确 性 评 估 经 测 试 模 型 的 平 均 准 确 率 达 到 了 9 7 6 2 平 均 识 别 时 间 缩 短 至 0 2 1 8 s 仅 占 V G G 1 6 模 型 的 1 3 2 0 模 型 大 小 压 缩 仅 为 1 9 8 3 M B 相 比 于 V G G 1 6 缩 小 了 9 3 6 0 使 其 具 备 了 较 高 的 准 确 性 和 实 时 性 要 求 本 方 法 模 型 在 压 缩 内 存 体 积 和 缩 短 识 别 时 间 上 较 传 统 神 经 网 络 有 了 明 显 提 高 为 内 存 和 计 算 资 源 受 限 设 备 上 的 病 害 识 别 提 供 了 新 的 思 路 关 键 词 病 害 识 别 深 度 学 习 模 型 压 缩 知 识 蒸 馏 卷 积 神 经 网 络 中 图 分 类 号 T P 3 0 文 献 标 志 码 A 文 章 编 号 2 0 2 0 0 9 S A 0 0 4 引 用 格 式 邱 文 杰 叶 进 胡 亮 青 杨 娟 李 其 利 莫 贱 友 易 万 茂 面 向 植 物 病 害 识 别 的 卷 积 神 经 网 络 精 简 结 构 Distilled MobileNet 模 型 J 智 慧 农 业 中 英 文 2021 3 1 109 117 QIU Wenjie YE Jin HU Liangqing YANG Juan LI Qili MO Jianyou YI Wanmao Distilled mobilenet model of convolutional neural network simplified structure for plant disease recognition J Smart Agriculture 2021 3 1 109 117 inChinesewithEnglishabstract 1 引 言 卷 积 神 经 网 络 Convolutional Neural Net works CNN 由 于 具 有 自 动 提 取 特 征 和 无 压 力 处 理 高 维 数 据 等 优 势 已 经 在 各 个 领 域 都 有 了 非 常 广 泛 的 应 用 在 农 业 病 虫 害 识 别 方 面 的 应 用 已 经 成 为 了 热 门 的 研 究 方 向 1 例 如 Karleka 和 Seal 2 提 出 了 一 种 识 别 大 豆 病 害 的 方 法 将 大 豆 的 叶 片 从 复 杂 的 背 景 中 分 割 出 后 通 过 设 计 CNN 模 型SoyNet 进 行 分 类 Tetila 等 3 对 模 型 中 doi 10 12133 j smartag 2021 3 1 202009 SA004 收 稿 日 期 2020 09 29 修 订 日 期 2020 12 03 基 金 项 目 国 家 重 点 研 发 计 划 2017YFD0202106 3 广 西 创 新 驱 动 发 展 专 项 项 目 桂 科AA17204059 9 地 方 综 合 性 研 究 型 大 学 五 有 领 军 型 人 才 培 养 研 究 与 实 践 2018JGZ103 2020 年 教 育 部 新 农 科 研 究 与 改 革 实 践 项 目 作 者 简 介 邱 文 杰 1997 男 硕 士 研 究 方 向 为 计 算 机 视 觉 与 农 业 病 虫 害 识 别 E mail qiuwenjie1997 通讯作者 叶 进 1970 女 博士 教授 研究方向为计算机软件与系统开发 电话 13877192800 E mail yejin Vol 3 No 1 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 的 网 络 权 重 进 行 分 析 并 使 用 简 单 线 性 迭 代 聚 类 Simple Linear Iterative Clustering SLIC 方 法 对 图 片 分 割 出 大 豆 叶 片 进 行 了 识 别 准 确 率 高 达 99 04 Adeel 等 4 提 出 了 一 种 新 的 识 别 框 架 对 葡 萄 病 害 进 行 早 期 检 测 通 过 提 取AlexNet 和 ResNet101 经 过 迁 移 学 习 后 的 特 征 使 用YEaK 技 术 选 择 出 最 好 的 特 征 之 后 使 用 并 行 方 法 融 合 这 些 强 特 征 最 后 输 入 最 小 二 乘 支 持 向 量 机 LeastSquared SupportVectorMachine LSSVM 中 进 行 分 类 对 从PlantVillage 数 据 集 得 到 的 受 感 染 葡 萄 叶 片 进 行 模 拟 获 得 了99 的 准 确 率 Zhang 等 5 使 用 基 于 深 度 学 习 的 改 进 的Google LeNet 和Cifar 10 模 型 用 于 玉 米 叶 片 病 害 的 识 别 平 均 识 别 准 确 率 为98 9 陈 桂 芬 等 6 使 用 迁 移 学 习 的 方 法 在 预 训 练 模 型 的 基 础 上 训 练 了 卷 积 神 经 网 络 识 别 准 确 率 达 到 了96 6 吴 华 瑞 7 使 用 深 度 残 差 网 络 模 型 对 番 茄 四 种 常 见 病 害 进 行 了 识 别 准 确 率 达 到95 以 上 上 述 病 害 识 别 方 法 的 准 确 率 均 达 到 了90 以 上 由 此 可 见 CNN 已 经 在 农 业 病 虫 害 识 别 领 域 有 了 广 泛 的 应 用 并 取 得 了 不 错 的 效 果 然 而 CNN 经 过 多 年 的 发 展 网 络 结 构 越 来 越 复 杂 网 络 参 数 不 计 其 数 需 要 耗 费 大 量 的 存 储 资 源 跟 计 算 资 源 经 典 的VGG 16 图 像 分 类 网 络 包 含1 38 亿 个 参 数 而 最 新 的ResNet 200 仍 然 包 含 超 过6000 万 个 参 数 网 络 越 复 杂 消 耗 的 磁 盘 空 间 和 内 存 就 越 大 并 且 识 别 速 度 就 越 慢 研 究 表 明 在 计 算 资 源 受 限 的ARM 平 台 上 单 张 图 片 的 识 别 时 间 达 到13 2 s 以 上 8 远 远 不 能 满 足 用 户 对 于 实 时 性 的 要 求 即 使 将 模 型 部 署 在 云 服 务 器 也 无 法 从 本 质 上 解 决 复 杂 神 经 网 络 模 型 内 存 占 用 大 识 别 时 间 长 的 问 题 且 部 署 在 服 务 器 上 的 模 型 识 别 时 间 易 受 到 网 络 环 境 波 动 的 影 响 无 法 在 网 络 受 限 的 环 境 中 使 用 因 此 如 何 对 复 杂 的 神 经 网 络 模 型 进 行 压 缩 使 其 满 足 在 终 端 设 备 使 用 时 的 实 时 性 要 求 和 更 低 的 内 存 占 用 限 制 是 目 前 神 经 网 络 亟 待 解 决 的 问 题 针 对 上 述 情 况 近 年 来 有 学 者 提 出 了 不 同 的 模 型 精 简 方 法 Han 等 9 提 出 了ClipDL 模 型 通 过 同 时 减 少 模 型 参 数 的 数 量 以 及 减 少 仅 对 关 键 数 据 的 计 算 来 加 速 深 度 学 习 系 统 运 行 将 模 型 训 练 过 程 平 均 加 速 了2 32 倍 模 型 大 小 基 本 保 持 不 变 而 准 确 性 损 失 仅 为1 86 Rahman 等 10 针 对 移 动 设 备 提 出 了 一 种 具 有 两 个 阶 段 的 小 型 CNN 模 型 该 模 型 在 准 确 率 上 达 到 了 期 望 准 确 率 的 93 3 并 且 具 有 更 小 的 结 构 规 模 跟 VGG16 对 比 其 结 构 规 模 减 少 了 99 Shih 等 11 提 出 了 具 有 扩 张 卷 积 和 多 尺 度 特 征 串 联 的 简 化 区 域 提 议 网 络 Reduced Region Proposal Network RRPN 模 型 的 检 测 准 确 率 相 比ZF Net 提 高 了2 2 60 2 相 对 压 缩 了ZF Net 网 络 的81 3 的 规 模 大 小 Hc 等 12 提 出 了 一 种 称 为 块 更 改 学 习 Block Change Learning BCL 的 方 法 该 方 法 通 过 更 改 由 层 组 成 的 块 来 执 行 局 部 和 全 局 知 识 提 炼 在 专 门 针 对 特 征 提 取 任 务 当 中 BCL 仅 表 现 出 约5 的 性 能 下 降 而 其 他 方 法 的 模 型 性 能 下 降 约 为17 Wu 等 13 提 出 了 用 于 压 缩 视 频 动 作 识 别 的 框 架 来 对 模 型 进 行 压 缩 压 缩 后 的 模 型 准 确 率 下 降 了0 35 但 参 数 量 上 的 压 缩 率 达 到 2 4 倍 计 算 量 减 少 1 2 倍 目 前 上 述 模 型 压 缩 方 法 存 在 压 缩 率 不 高 和 压 缩 后 模 型 精 度 下 降 的 问 题 因 此 本 研 究 结 合 PlantVillage 14 植 物 病 害 数 据 集 提 出 了 一 种 基 于 知 识 蒸 馏 15 的 轻 量 级 卷 积 神 经 网 络 精 简 方 法 在 广 西 壮 族 自 治 区 农 业 科 学 院 提 供 的 含 有 复 杂 背 景 的 数 据 集 上 做 了 真 实 环 境 下 的 模 型 性 能 测 试 结 果 表 明 该 方 法 不 以 损 失 模 型 精 度 为 代 价 能 够 大 幅 降 低 模 型 内 存 的 要 求 本 方 法 具 有 通 用 性 无 论 是 将 模 型 部 署 在 云 服 务 器 还 是 本 地 设 备 中 都 可 以 在 少 量 的 教 师 机 内 存 占 用 和 训 练 开 销 降 低 的 同 时 降 低 模 型 参 数 量 提 高 模 型 精 度 2 数 据 样 本 集 本 研 究 使 用 的 数 据 集 来 自PlantVillage 标 准 数 据 集 和 自 建 数 据 集 两 个 部 分 1 1 0 邱 文 杰 等 面 向 植 物 病 害 识 别 的 卷 积 神 经 网 络 精 简 结 构 D i s t i l l e d M o b i l e N e t 模 型 Vol 3 No 1 2 1 P l a n t V i l l a g e 数 据 集 PlantVillage 数 据 集 包 含 来 自 14 种 植 物 的 54 305 张 植 物 叶 片 图 共38 种 常 见 病 害 叶 片 图 像 均 为 实 验 室 环 境 下 拍 摄 的 单 一 背 景 图 像 每 类 的 图 像 数 量 从152 张 到5507 张 不 等 将 数 据 集 按 照80 和20 的 比 例 划 分 为 训 练 集 和 验 证 集 数 据 集 中 部 分 病 害 的 为 害 状 如 图1 所 示 由 于 病 原 体 感 染 农 作 物 的 方 式 相 似 不 同 的 农 作 物 可 能 会 感 染 相 同 的 病 原 体 因 此 导 致 图1 中 不 同 农 作 物 会 患 有 同 种 疾 病 为 使 识 别 模 型 具 有 更 好 的 鲁 棒 性 16 本 研 究 还 使 用 了 基 于 深 度 卷 积 生 成 对 抗 网 络 Deep Convolutional Generative Adversarial Networks DCGAN 的 数 据 增 强 方 法 17 模 拟 产 生 了5861 张 新 图 像 参 与 建 模 部 分 样 本 如 图2 所 示 经 过 感 知 哈 希 算 法 18 测 试 生 成 模 型 产 生 的 新 样 本 和 真 实 样 本 之 间 的 平 均 相 似 度 达 到 了98 75 以 上 表 明 产 生 的 图 像 和 真 实 图 片 相 类 似 能 够 作 为 扩 充 样 本 2 2 自 建 数 据 集 在 使 用PlantVillage 数 据 集 的 基 础 上 本 研 究 还 使 用 了 一 个 自 建 数 据 集 其 中 包 括4835 张 芒 果 炭 疽 病 图 片 和4810 张 芒 果 白 粉 病 图 片 如 图3 所 示 该 数 据 集 由 广 西 壮 族 自 治 区 农 业 科 学 研 究 院 植 保 所 提 供 图 片 使 用 佳 能5DmarkIII 型 数 码 相 机 拍 摄 像 素 为4475 3840 图 片 中 病 斑 点 轮 廓 所 占 面 积 大 于 叶 片 面 积 的10 自 建 数 据 集 中 的 图 片 均 为 真 实 环 境 下 拍 摄 的 具 有 复 杂 背 景 的 照 片 主 要 用 于 模 型 的 测 试 表1 给 出 了 本 研 究 所 用 数 据 集 的 详 细 分 布 情 况 3 识 别 模 型 训 练 及 其 精 简 结 构 设 计 本 研 究 提 出 了 一 种 结 构 化 的 病 害 识 别 方 法 及 轻 量 级 神 经 网 络 精 简 方 法 图4 为 本 研 究 的 整 体 设 计 大 致 分 为 以 下 三 个 步 骤 注 1 苹 果 黑 星 病 2 苹 果 黑 腐 病 3 苹 果 锈 病 4 苹 果 健 康 叶 片 5 蓝 莓 健 康 叶 片 6 樱 桃 健 康 叶 片 7 樱 桃 白 粉 病 8 玉 米 褐 斑 病 9 玉 米 锈 病 10 玉 米 健 康 叶 片 11 玉 米 大 斑 病 12 葡 萄 黑 腐 病 13 葡 萄 埃 斯 卡 真 菌 病 14 葡 萄 健 康 叶 片 15 萄 叶 枯 16 桔 子 黄 龙 病 17 桃 子 菌 斑 18 桃 子 健 康 叶 19 椒 铃 菌 斑 20 椒 铃 健 康 叶 片 21 马 铃 薯 早 疫 病 22 马 铃 薯 健 康 叶 片 23 马 铃 薯 晚 疫 病 24 覆 盆 子 健 康 叶 片 25 大 豆 健 康 叶 片 26 南 瓜 白 粉 病 27 草 莓 健 康 叶 片 28 草 莓 叶 焦 病 29 番 茄 菌 斑 病 30 番 茄 早 疫 病 31 番 茄 健 康 叶 片 32 番 茄 晚 疫 病 图1 PlantVillage 数 据 集 部 分 展 示 Fig 1 PartofthesamplesofthePlantVillagedataset 图2 深 度 卷 积 对 抗 生 成 网 络 生 成 样 本 Fig 2 Samplesofdeepconvolutionalgenerative adversarialnetwork a 芒 果 白 粉 病 b 芒 果 炭 疽 病 图3 自 建 数 据 集 样 本 Fig 3 Samplesofself builtdataset 表 1 试 验 数 据 集 结 构 Table1 Experimentaldataset 试 验 样 本 PlantVillage 数 据 集 DCGAN 样 本 扩 充 数 据 增 强 自 建 数 据 集 图 片 数 量 张 54 305 5861 76 639 9645 1 1 1 Vol 3 No 1 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 1 采 用DCGAN 产 生 大 量 数 据 样 本 实 现 数 据 扩 充 此 外 本 研 究 对 扩 充 后 的 数 据 使 用 了 几 种 常 见 数 据 增 强 方 法 包 括 平 移 旋 转 缩 放 剪 裁 和 翻 转 等 从 而 提 高 了 模 型 的 平 移 缩 放 等 不 变 性 有 效 地 防 止 了 模 型 过 拟 合 2 为 了 加 快 模 型 在 训 练 过 程 中 的 收 敛 速 度 本 研 究 使 用 迁 移 学 习 19 的 方 法 将 不 同 网 络 结 构 在ImageNet 数 据 集 上 预 先 训 练 好 的 权 值 迁 移 到 对 应 的 不 同 网 络 结 构 中 在 此 基 础 上 训 练 不 同 神 经 网 络 模 型 3 在 训 练 好 的 模 型 上 使 用 知 识 蒸 馏 方 法 将 知 识 从 冗 余 的 集 成 模 型 转 移 到 轻 量 级 模 型 中 并 保 留 复 杂 网 络 的 性 能 从 而 训 练 得 到 精 简 模 型 通 过 这 种 方 法 有 效 地 降 低 模 型 体 积 提 高 模 型 精 度 3 1 识 别 模 型 M o b i l e N e t 的 训 练 MobileNet 是 Google 提 出 的 轻 量 级 神 经 网 络 用 于 解 决 复 杂 模 型 在 移 动 端 和 嵌 入 式 终 端 上 无 法 使 用 的 问 题 20 相 比 于 其 他 神 经 网 络 Mo bileNet 的 计 算 复 杂 度 和 模 型 内 存 都 很 小 网 络 参 数 总 量 为132 万 内 存 仅 占VGG16 的3 因 此 本 研 究 选 择MobileNet 作 为 学 生 模 型 进 行 训 练 MobileNet 模 型 的 核 心 是 深 度 可 分 离 卷 积 Dep thwiseSeparableConvolution DSC 原 理 如 图5 所 示 DSC 将 标 准 卷 积 分 解 成 深 度 卷 积 和 逐 点 卷 积 假 设 神 经 网 络 的 输 入 图 片 维 度 为D F D F M 深 度 卷 积 的 卷 积 核 大 小 为D K D K 1 个 数 为 M 逐 点 卷 积 的 卷 积 核 大 小 为1 1 M 个 数 为 N 经 过 卷 积 后 输 出 维 度 为D G D G N 则 深 度 可 分 离 卷 积 的 计 算 成 本 与 常 规 卷 积 操 作 的 比 值 如 公 式 1 所 示 DSC Std conv 1 N 1 D K 2 1 其 中 DSC 和Std conv 分 别 表 示 深 度 可 分 离 卷 积 和 常 规 卷 积 操 作 的 参 数 量 N 为 逐 点 卷 积 核 的 个 数 个 D K 为 深 度 卷 积 核 的 大 小 由 公 式 1 可 知 当 卷 积 核 个 数 越 少 尺 寸 越 小 时 深 度 可 分 离 卷 积 相 对 于 常 规 卷 积 操 作 就 可 以 减 少 更 多 的 参 数 量 3 2 精 简 模 型 D i s t i l l e d M o b i l e N e t 设 计 在 知 识 蒸 馏 的 学 习 过 程 中 学 生 模 型 是 通 过 模 仿 教 师 模 型 在 相 同 样 本 下 的 输 出 来 进 行 训 练 的 在 传 统Softmax 分 类 器 中 给 定 任 何 输 入 图 片 x 模 型 生 成 一 个 向 量 S t x S t 1 x S t 2 x S t k x 其 中 S t k x 代 表 第 k 种 病 害 所 对 应 的 得 分 在 神 经 网 络 的 最 后 使 用 Softmax 作 为 分 类 器 将 神 经 网 络 的 输 出S t x 转 化 成 概 率 分 布p t x 即p t x p t 1 x p t 2 x p t k x 对 于p t x 中 的 每 个 元 素p t k x 其 计 算 方 法 如 公 式2 所 示 p t k x e s t k x j e s t j x 2 Hinton 等 15 提 出 训 练 有 素 的 教 师 模 型 的 输 出 会 无 限 接 近 于One Hot 编 码 的 真 实 输 出 这 就 造 成 有 用 的 类 间 信 息 在 训 练 过 程 中 被 忽 视 进 而 直 接 导 致 学 生 模 型 的 训 练 效 果 不 理 想 因 图4 研 究 整 体 结 构 图 Fig 4 Overallstructureofdiagram 图5 深 度 可 分 离 卷 积 原 理 Fig 5 Depthwiseseparableconvolution 1 1 2 邱 文 杰 等 面 向 植 物 病 害 识 别 的 卷 积 神 经 网 络 精 简 结 构 D i s t i l l e d M o b i l e N e t 模 型 Vol 3 No 1 此 需 要 使 用 温 度 标 度 软 化 这 些 概 率 如 公 式 3 所 示 p t k x e s t k x T j e s t j x T 3 其 中 T 是 可 调 的 超 参 数 T 1 通 过 在 Softmax 分 类 器 中 加 入T 这 一 参 数 学 生 会 类 似 地 产 生 更 柔 和 的 分 类 概 率 分 布p s x 从 而 保 留 了 样 本 不 同 类 别 之 间 的 概 率 关 系 与 使 用 传 统One Hot 编 码 15 的 硬 标 签 作 为 训 练 目 标 相 比 由 于 教 师 模 型 经 过Softer Softmax 分 类 器 后 输 出 的 软 目 标 很 好 地 保 留 了 样 本 不 同 类 别 之 间 的 概 率 关 系 所 以 通 常 会 带 来 更 好 的 性 能 为 了 获 得 更 好 的 分 类 结 果 将 知 识 蒸 馏 中 的 损 失 函 数 由 交 叉 熵 替 换 为 巴 氏 距 离 21 令BC 定 义 为 巴 氏 系 数 满 足 0 BC 1 其 关 系 定 义 如 公 式 4 所 示 BC P Q P x Q x 4 其 中 P Q 分 别 表 示 教 师 模 型 和 学 生 模 型 P x 和Q x 分 别 代 表 教 师 模 型 和 学 生 模 型 的 输 出 由 公 式 4 可 知 当P Q 两 个 标 签 趋 同 时 巴 氏 系 数 值BC 会 随 之 变 大 而 当 两 个 标 签 完 全 没 有 重 叠 时 BC 将 会 趋 于 零 采 用 巴 氏 距 离 后 的L KD L cls 和 学 生 损 失 函 数 L 分 别 如 公 式 5 7 所 示 L KD ln BC r k x p t k x 5 L cls ln BC q k x p t k x 6 L L cls 1 L KD 7 其 中 q k x 为 样 本 的 真 实 标 签 r k x 为 教 师 模 型 的 输 出 为 可 调 的 超 参 数 通 常 T 1 3 4 5 0 5 0 9 本 研 究 通 过 知 识 蒸 馏 的 方 法 结 合 公 式 5 7 中 的 损 失 函 数 训 练 了 精 简 模 型 Distilled MobileNet 首 先 使 用 图 像 的 真 实 标 签 来 预 训 练 教 师 模 型 之 后 再 使 用 相 同 的 训 练 样 本 作 为 学 生 模 型 的 输 入 并 进 行 训 练 所 建 立 的Dis tilled MobileNet 模 型 与 教 师 模 型 相 比 可 以 达 到 轻 量 级 的 体 积 图6 给 出 了 知 识 蒸 馏 的 具 体 结 构 同 时 在 损 失 函 数 的 设 计 上 使 用 两 个 不 同 目 标 函 数 的 加 权 平 均 值 其 中 损 失 函 数L KD 用 来 表 示 当 教 师 模 型 和 学 生 模 型 共 享 相 同 的 温 度T 时 教 师 模 型 和 学 生 模 型 输 出 之 间 的 巴 氏 距 离 损 失 函 数L cls 为 学 生 模 型 和 真 实 标 签 之 间 的 交 叉 熵 最 后 通 过 线 性 加 权 的 方 式 计 算 损 失 函 数 L 如 公 式 8 所 示 L L cls 1 L KD 8 表2 给 出 了 模 型 在 不 同 和T 下 的 试 验 结 果 经 试 验 验 证 当 超 参 数 的 值 设 为0 6 蒸 馏 温 度T 的 值 为3 时 模 型 验 证 集 准 确 率 达 到 最 高 90 62 表 明 模 型 获 得 最 佳 性 能 4 试 验 结 果 及 分 析 本 试 验 硬 件 环 境 包 括 具 有Intel i9 10900X 3 20 GHz 10 核 20 线 程 CPU NVIDIA Ge ForceRTX2080Ti11GBx2 的 服 务 器 软 件 环 境 为 图6 知 识 蒸 馏 结 构 图 Fig 6 Diagramofknowledgedistillationstructure 表 2 参 数 和T 对 模 型 验 证 集 准 确 率 的 影 响 Table2 Influenceoftheparameters andT ontheaccuracy ofthemodelvalidationset T 1 2 3 4 0 2 83 59 84 37 81 25 75 40 0 4 84 93 82 81 85 15 82 13 0 6 89 06 87 50 90 62 85 49 单 位 0 8 79 86 77 34 80 46 83 21 1 1 3 Vol 3 No 1 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 64 位Windows10 系 统 CUDA9 0 CUDNN 7 0 PyCharm 2018 2 用 于 训 练 模 型 的 试 验 框 架 的 前 端 和 后 端 分 别 是Keras 和Tensorflow 为 确 保 试 验 结 果 的 公 平 性 和 有 效 性 本 研 究 对 超 参 数 进 行 了 统 一 化 将 学 习 率 设 置 为0 001 batch size 设 置 为 128 L2 正 则 化 参 数 设 置 为 0 0005 其 次 在 模 型 训 练 中 使 用 了SGD Adam 和 Nadam 三 种 不 同 的 优 化 器 该 类 优 化 算 法 应 用 在 非 凸 优 化 问 题 中 有 计 算 高 效 所 需 内 存 少 等 诸 多 优 势 三 种 优 化 算 法 超 参 数 的 具 体 参 数 如 表3 所 示 4 1 学 习 模 型 性 能 测 试 为 确 定 教 师 和 学 生 网 络 最 佳 模 型 本 研 究 在 128 128 大 小 的 3 通 道 RGB 图 像 下 对 比 了 VGG16 AlexNet GoogLeNet MobileNet 和 ResNet 5 种 主 流 神 经 网 络 结 构 的 验 证 集 准 确 率 损 失 函 数 以 及 参 数 量 的 大 小 图7 给 出 了 迭 代 过 程 中 验 证 集 准 确 率 与 损 失 函 数 变 化 情 况 由 图7 a 可 以 看 出 不 同 模 型 在 迭 代 过 程 中 验 证 集 准 确 率 变 化 呈 现 不 同 特 点 具 体 来 讲 除GoogleNet 外 5 种 模 型 在 迭 代 过 程 中 其 准 确 率 均 出 现 抖 动 现 象 对 于MobileNet 模 型 虽 在 初 始 迭 代 时 验 证 集 准 确 率 较 低 但 随 着 训 练 的 深 入 准 确 率 一 直 呈 现 上 升 趋 势 且 在75 轮 后 超 越 了 其 余5 种 模 型 的 准 确 率 说 明MobileNet 模 型 相 较 于 其 他 对 比 模 型 具 有 较 高 稳 定 性 表4 给 出 了5 种 模 型 最 终 验 证 集 准 确 率 的 对 比 情 况 可 知 VGG16 和AlexNet 虽 准 确 率 较 高 但 模 型 内 存 在128 128 的3 通 道 输 入 下 内 存 占 用 分 别 达 到 了1022 6 和443 0 MB 这 必 然 会 降 低 某 些 设 备 如 智 能 手 机 物 联 网 设 备 甚 至 是 计 算 能 力 较 低 的 计 算 机 的 运 行 速 度 同 时 占 用 大 量 内 存 空 间 因 此 本 研 究 将 在 上 述 方 法 的 基 础 上 使 用 知 识 蒸 馏 方 法 对 模 型 进 行 压 缩 结 合 不 同 模 型 的 内 存 占 用 情 况 本 研 究 选 用 MobileNet 作 为 知 识 蒸 馏 的 学 生 网 络 此 结 果 与 本 研 究 之 前 的 设 计 相 一 致 4 2 知 识 蒸 馏 在 不 同 模 型 上 的 表 现 表5 给 出 了 知 识 蒸 馏 在VGG16 AlexNet GoogleNet 和ResNet4 种 不 同 网 络 结 构 上 的 表 现 根 据 表5 可 知 由 于 学 生 模 型 不 仅 学 习 样 本 的 真 实 标 签 同 时 还 学 习 了 教 师 模 型 产 生 的 保 留 了 类 间 关 系 的 软 化 标 签 因 而 不 同 网 络 结 构 经 过 知 识 蒸 馏 后 模 型 准 确 率 均 出 现 了 明 显 提 升 22 23 平 表 3 使 用 三 种 优 化 器 的 C N N 训 练 超 参 数 Table3 CNNtraininghyperparametersusing threeoptimizers 超 参 数 BatchSize LearningRate Momentum Decay 1 2 SGD 32 0 001 0 9 None Adam 32 0 001 None 0 9 0 999 1e 7 Nadam 32 0 001 None 0 9 0 999 1e 7 a 验 证 集 准 确 率 变 化 曲 线 b 损 失 函 数 变 化 曲 线 图7 模 型 验 证 集 准 确 率 与 损 失 函 数 变 化 曲 线 图 Fig 7 Modelvalidationaccuracyratesand lossfunctionchangecurves 表 4 不 同 网 络 结 构 在 P l a n t V i l l a g e 数 据 集 上 的 表 现 Table4 Performancesofdifferentnetworkstructuresinthe PlantVillagedataset 网 络 模 型 ResNet AlexNet VGG16 MobileNet GoogleNet 验 证 集 准 确 率 94 44 89 97 96 52 92 05 76 58 内 存 占 用 MB 181 3 443 0 1022 0 25 1 58 1 1 1 4 邱 文 杰 等 面 向 植 物 病 害 识 别 的 卷 积 神 经 网 络 精 简 结 构 D i s t i l l e d M o b i l e N e t 模 型 Vol 3 No 1 均 提 升 了1 42 具 体 地 说 当VGG16 作 为 教 师 模 型 时 模 型 准 确 率 提 升 了 2 04 达 到 97 54 相 比 于ResNet 作 为 教 师 模 型 准 确 率 提 高 了2 38 因 此 经 过 综 合 考 虑 识 别 准 确 率 和 识 别 时 间 两 个 因 素 本 研 究 最 终 选 择 将 VGG16 作 为 教 师 模 型 在 内 存 方 面 由 于 学 生 模 型 均 采 用 Mo bileNet 导 致 不 同 网 络 模 型 经 过 知 识 蒸 馏 后 的 内 存 相 差 不 大 但 相 较 于 原 教 师 模 型 内 存 则 出 现 明 显 降 低 平 均 降 低79 62 其 中AlexNet 模 型 压 缩 率 最 高 达 到94 11 总 的 来 说 试 验 结 果 表 明 知 识 蒸 馏 不 仅 可 以 加 快 模 型 的 运 行 速 度 使 其 满 足 实 时 性 要 求 同 时 还 能 减 少 模 型 内 存 4 3 真 实 环 境 下 的 性 能 测 试 为 评 估Distilled MobileNet 模 型 在 真 实 环 境 下 的 表 现 本 研 究 在 由 广 西 壮 族 自 治 区 农 业 科 学 院 提 供 的 真 实 数 据 集 合 上 用3 2 节 所 述 方 法 对 经 过 知 识 蒸 馏 改 进 的Distilled MobileNet 模 型 进 行 了 性 能 测 试 模 型 训 练 过 程 中 的 准 确 率 和 损 失 函 数 变 化 曲 线 如 图8 所 示 从 图8 中 可 以 看 出 在 训 练 过 程 中 损 失 函 数 下 降 平 稳 同 时 模 型 的 验 证 集 准 确 率 呈 整 体 上 升 趋 势 且 模 型 的 收 敛 速 度 很 快 在60 次 迭 代 后 即 达 到 了 较 好 的 收 敛 状 态 使 用 单 个 病 害 识 别 率 平 均 准 确 率 模 型 内 存 平 均 识 别 时 间4 个 指 标 对 训 练 好 的Distilled MobileNet 模 型 进 行 准 确 性 评 估 模 型 在 真 实 环 境 下 的 评 估 结 果 见 表