改进Multi-scale ResNet的蔬菜叶部病害识别.pdf

第 36 卷 第 20 期 农 业 工 程 学 报 Vol 36 No 20 2020 年 10月 Transactions of the Chinese Society of Agricultural Engineering Oct 2020 209 改进 Multi scale ResNet 的蔬菜叶部病害识别 王春山 1 2 3 4 周 冀 1 吴华瑞 2 3 滕桂法 1 4 赵春江 2 3 李久熙 5 1 河北农业大学信息科学与技术学院 保定 071001 2 国家农业信息化工程技术研究中心 北京 100097 3 北京农业信息技 术研究中心 北京 100097 4 河北省农业大数据重点实验室 保定 071001 5 河北农业大学机电工程学院 保定 071001 摘 要 基于深度网络的蔬菜叶部病害图像识别模型虽然性能显著 但由于存在参数量巨大 训练时间长 存储成本与 计算成本过高等问题 仍然难以部署到农业物联网的边缘计算设备 嵌入式设备 移动设备等硬件资源受限的领域 该 研究在残差网络 ResNet18 的基础上 提出了改进型的多尺度残差 Multi scale ResNet 轻量级病害识别模型 通过增 加多尺度特征提取模块 改变残差层连接方式 将大卷积核分解 进行群卷积操作 显著减少了模型参数 降低了存储 空间和运算开销 结果表明 在 PlantVillage 和 AI Challenge2018 中 15 种病害图像数据集中取得了 95 95 的准确率 在 自采集的 7 种真实环境病害图像数据中取得了 93 05 的准确率 在准确率较 ResNet18 下降约 3 的情况下 模型的训练 参数减少 93 模型总体尺寸缩减 35 15 该研究提出的改进型 Multi scale ResNet 使蔬菜叶部病害识别模型具备了在硬 件受限的场景下部署和运行的能力 平衡了模型的复杂度和识别精度 为基于深度网络模型的病害识别系统进行边缘部 署提供了思路 关键词 图像处理 病害 图像识别 多尺度 轻量化 残差层 ResNet18 doi 10 11975 j issn 1002 6819 2020 20 025 中图分类号 S511 文献标志码 A 文章编号 1002 6819 2020 20 0209 09 王春山 周冀 吴华瑞 等 改进 Multi scale ResNet 的蔬菜叶部病害识别 J 农业工程学报 2020 36 20 209 217 doi 10 11975 j issn 1002 6819 2020 20 025 http www tcsae org Wang Chunshan Zhou Ji Wu Huarui et al Identification of vegetable leaf diseases based on improved Multi scale ResNet J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2020 36 20 209 217 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2020 20 025 http www tcsae org 0 引 言 据农业农村部最新统计 中国蔬菜种植面积目前已 突破 2 000 万 hm 2 产量在 7 亿 t 以上 产值超 2 万亿元 蔬菜总产值约占种植业总产值的 35 1 在各类蔬菜上发 生的病害种类有 500 多种 每年因各种病害造成的损失 超过 1 000 亿元 研究表明大多数的蔬菜病害通过叶部侵 染 因此叶部症状分析是实现病害识别的重要手段之一 近年来 随着深度学习在图像分类中的优异表现 2 6 基 于深度学习的蔬菜叶部病害识别模型逐渐成为了研究的 热点 7 10 张善文等 11 和马浚诚等 12 分别在 LeNet 基础上 设计了黄瓜叶部病害识别的网络模型 取得了理想的识 别效果 王艳玲等 13 和李淼等 14 在 AlexNet 和 VGG 网络 上引入迁移学习提高了识别准确率 并解决了训练样本 少的问题 郭小清等 15 对 AlexNet 进行了加宽 采用多 种尺度的卷积核 使图像特征得到不同层次的提取 并 去掉批量归一化 batch normalization 层 从而减少了 收稿日期 2020 07 07 修订日期 2020 08 28 基金项目 国家大宗蔬菜产业技术体系 CARS 23 C06 国家重点研发计 划 2019YFD1101105 国家自然基金项目 61771058 河北省重点研发 计划项目 20327402D 河北省研究生创新资助项目 CXZZBS2020103 作者简介 王春山 在职博士生 副教授 主要从事人工智能 智慧农业 图像识别研究 Email chunshan9701 通信作者 赵春江 研究员 博士生导师 主要从事人工智能 智慧农业 智能农业装备和农业信息技术研究 Email zhaocj 网络参数量 最终将模型应用到移动端 在电脑端识别 平均准确率为 92 7 在移动端识别真实场景的图片准确 率为 89 2 而吴瑞华等 16 胡志伟等 17 和曾伟辉等 18 则进一步在残差网络上引入注意力 高阶残差和参数共 享机制提高了病害识别的细粒度水平 准确率和鲁棒性 Too 等 19 评估了 VGG16 Inception V4 具有 50 101 和 152 层的 ResNet 和 121 层的 DenseNet 其中 DenseNet 在 PlantVillage 上的识别准确率达到了 99 75 刘洋等 20 为了实现手机端的病害识别 对 MobileNet 和 Inception V3 网络的模型尺寸 所占内存 识别精度等方面做了 比较 尽管深度网络模型在蔬菜病害识别任务上取得了优异 表现 但是考虑到有些应用场景需要将其移植到硬件资源 受限的嵌入式或者移动设备上 它仍面临模型参数量巨大 训练耗时长 存储空间大等方面约束 21 22 因此 如何在保 证模型识别准确率的前提下 对模型进行紧凑和精简设计 已经成为亟待解决的问题 一方面蔬菜叶部病害特征通常 表现在不同大小的区域内 模型需要多尺度感受野捕获不 同范围的病害特征 另一方面 由于考虑到在移动端和嵌 入式设备进行部署时对存储和计算能力的限制 需在保障 准确率的前提下尽量压缩模型的复杂度 综上 本研究通过增加多尺度特征提取模块 改变 残差层连接方式 将大卷积核分解 进行群卷积操作等 设计手段 改进了经典残差网络 ResNet18 的多尺度识别 能力 显著压缩了模型参数量 降低了存储空间和运算 农业工程学报 http www tcsae org 2020 年 210 开销 将模型的准确率与复杂度控制在合理的范围之内 为硬件受限的场景下 部署和运行基于深度网络模型的 病害识别系统进行了探索 1 材料与方法 1 1 数据来源 本研究共采用 2 种数据集 数据集 1 来自 PlantVillage 中 10 种番茄病害图像 番茄早疫病 番茄晚疫病 番茄 叶霉病 番茄细菌性斑点病 番茄斑枯病 番茄黄曲病 番茄二斑叶螨病 番茄轮斑病 番茄病毒病和健康 3 种 土豆病害 土豆早疫病 土豆晚疫病和健康 和 AI Challenge2018 比赛中辣椒的 2 种病害 辣椒疮痂病和健 康 共 19 517 张 数据集 1 中的样本均为实验室环境下 拍摄的简单背景叶部病害图像 数据集 2 来自采集蔬菜 病害图像 番茄健康 番茄白粉病 番茄早疫病 黄瓜 健康 黄瓜白粉病 黄瓜病毒病 黄瓜霜霉病 共 2 855 张 数据集 2 中的样本均为实际生产环境下拍摄的复杂 背景叶部病害图像 2 种数据集均按照 7 2 1 的比例分 别划分训练集 测试集和验证集 其中数据集 1 和数据 集 2 的健康图像和病害图像示例如图 1 所示 a 简单背景下不同蔬菜的健康和病 害图像 数据集 1 b 复杂背景下不同蔬菜的健康和病 害图像 数据集 2 a Health and disease images of different vegetables in simple background Dataset 1 b Health and disease images of different vegetables in complex background Dataset 2 图 1 2 种数据集示例 Fig 1 Two datasets of samples 1 2 数据增强 数据增强主要出于两种考虑 一是尽可能的增加病害 图像的数量 二是尽量模拟实际环境中的不同光线和多种 角度的拍照效果 为了模拟实际环境中拍照角度的随机性 光照强度的变化 叶片上可能存在灰尘等情况 本研究 2 个数据集均采用了相同的 5 种增强方式 1 平移缩放旋转 图像本身不发生变化 只是图像的位置 方向进行改变 可 模拟不同机位的图像数据 2 随机裁剪缩放 图像进行随机 位置裁剪 可以挑选不同位置的图像进行训练 3 随机亮度 对比度增强 图像进行随机强度的亮度和对比度增强 可以 增加病斑与叶片的差别和模拟不同的光照强度 4 随机 Gamma 噪声 图像增加随机 Gamma 噪声 可以模拟不同 质量的图像数据 5 垂直翻转 图像沿着水平线进行垂直 位置翻转 可以模拟不同相机角度的图像数据 最终经过 数据增强后训练数据增加到 134 232 张 2 模型改进 2 1 ResNet18 优点与不足 自 AlexNet 以来 越来越深的网络为解决更复杂的问 题被提出 如 VGG16 VGG19 GoogleNet 但是随着 网络深度的加深带来了梯度消失 梯度爆炸等问题 2015 年 He 等 6 提出了 ResNet 解决了深层网络梯度消失的问 题 ResNet18 共有 18 层 网络的输入为 224 224 的三通 道图像 经过第一层卷积后图像降维到 112 112 通道数 增加到 64 在经过最大池化层后图像进一步降维到 56 56 通道数不增加 经过前两步操作后进入残差部分 每经历一部分残差图像降维一半 通道数增加到原来的 2 倍 图像降维通过步长为 2 的卷积层实现 经过 4 次残 差操作后图像降维到 7 7 通道数增加至 512 最后连接 平均池化层和全连接层 ResNet18 虽然解决了梯度消失 问题 但是在硬件资源受限的蔬菜叶部病害识别使用场 景下 仍存在特征提取尺寸单一 模型参数多 资源需 求大等问题 2 2 ResNet18 改进步骤 本研究针对 ResNet18 存在的问题和蔬菜病害的特点 设计了一种改进版本的 Multi scale ResNet 该网络借鉴 了 ResNet18 的主体架构 Multi scale ResNet 网络结构如 图 2 所示 在 5 个方面做了如下改进 1 更新残差层连接方式 ResNet18 通过学习相邻网络层残差来更新学习参 数 改进两层残差连接使得网络不仅学习相邻网络层的 误差也可以学习相邻两层网络误差 从而网络更新更加 细腻 特征学习更加充分 2 添加多尺度提取特征 在 ResNet18 残差模块中只进行了 2 个卷积核大小为 3 3 的卷积层堆叠实现图像特征提取 但是蔬菜病害症状 复杂多样 病斑大小不一 颜色和发病部位均不相同 例如 番茄早疫病初期为水渍状褐色小斑点 后转为圆 形或椭圆形暗褐色病斑 番茄溃疡病发病初期发生部位 为下部叶片 后为叶部边缘最后整片叶片枯萎 番茄晚 疫病病斑初期为暗绿色水渍状病斑 后为暗褐色 黑褐 色 本网络将残差模块设置成 2 个通道 第一个通道采 用卷积核大小为 7 7 的卷积层加上卷积核大小为 3 3 的 卷积层 第二个通道采用卷积核大小为 5 5 的卷积层加 上卷积核大小为 3 3 的卷积层 并在输出部分将两通道 的特征图相加 在整个残差模块中重复 2 次 最终构成 了完整的多尺度特征提取残差模块 3 改进特征图降维方式 ResNet18 将残差模块之间的特征图降维卷积层放到 残差模块里面 使得每个残差模块直接相连 本网络将 残差模块中的特征图降维卷积层剥离出来 放置于 2 个 残差模块之间 这样既可以使网络学习层间误差又可以 学习网络层的输出特征 并且在一定程度上简化了网络 的复杂程度 第 20 期 王春山等 改进 Multi scale ResNet 的蔬菜叶部病害识别 211 注 Conv1 1 和 Conv1 2 代表卷积核为 7 7 的卷积层分解之后的卷积层 1 1 和卷积层 1 2 Conv2 Conv3 和 Conv4 分别代表卷积层 2 卷积层 3 和卷积层 4 残差块中 Conv1 1 1 Conv1 1 2 和 Conv2 1 1 Conv2 1 2 分别代表卷积核 7 7 分解之后的卷积层 1 1 1 卷积层 1 1 2 和卷积层 2 1 1 卷积层 2 1 2 残差块中 Conv1 2 1 Conv1 2 2 和 Conv2 2 1 Conv2 2 2 分别代表卷积核 5 5 分解之后的卷积层 1 2 1 卷积层 1 2 2 和卷积层 2 2 1 卷积层 2 2 2 残差块中 Conv1 12 Conv2 12 Conv1 22 和 Conv2 22 代表卷积核为 3 3 的卷积层 1 12 卷积层 2 12 卷积层 1 12 和卷积层 2 22 代表特征图相加 Note Conv1 1 and Conv1 2 represents convolution layer 1 1 and convolution layer 1 2 after 7 7 convolution kernel decomposition Conv2 Conv3 and Conv4 represents convolution layer 2 convolution layer 3 and convolution layer 4 respectively Conv1 1 1 Conv1 1 2 and Conv2 1 1 Conv2 1 2 in residual block represents convolution layer 1 1 1 convolution layer 1 1 2 and convolution layer 2 1 1 convolution layer 2 1 2 after 7 7 convolution kernel decomposition respectively Conv1 2 1 Conv1 2 2 and Conv2 2 1 Conv2 2 2 in residual block represents convolution layer 1 2 1 convolution layer 1 2 2 and convolution layer 2 2 1 convolution layer 2 2 2 after 5 5 convolution kernel decomposition respectively Conv1 12 Conv2 12 Conv1 22 and Conv2 22 in residual block represents convolution layer 1 12 convolution layer 2 12 convolution layer 1 12 and convolution layer 2 22 with 3 3 convolution kernel respectively represents feature map addition 图 2 Multi scale ResNet 网络结构 Fig 2 Structure of the Multi scale ResNet network 4 进行大卷积核分解 在 2 2 2 小节中使用 7 7 和 5 5 的卷积核获取多尺度特 征的同时也导致了网络的训练参数大大增加 为了在不改 变网络卷积核感受野的前提下 压缩模型的参数量 进行 了大卷积分解 Inception 网络结构采用了 2 种方法进行卷 积核分解 第一种方法是使用 3 个 3 3 卷积核代替 1 个 7 7 卷积核 使用 2 个 3 3 卷积核代替 1 个 5 5 卷积核 第二 种方法是使用 7 1 卷积核加上 1 7 卷积核代替 7 7 卷积核 农业工程学报 http www tcsae org 2020 年 212 使用 5 1 卷积核加上 1 5 卷积核代替 5 5 卷积核 这 2 种 方法都能保证分解后的卷积核感受野不发生变化 理论分 析第二种方法的训练参数缩减效果比第一种更明显 本研 究借鉴了 Inception 网络第二种方法进行大卷积核的分解 5 进行群卷积 在残差块结构中的 3 3 卷积核的卷积层采用群卷积 操作 群卷积可以显著的压缩模型训练参数 使训练参 数缩减为原始训练的 1 g g 为组数 并且由于特征被 分为多个组 在向后传递特征时前一层的特征将被分到 后一层的多个特征图 增加了特征的使用率 2 3 评价指标 评价一个病害识别模型的性能有多种评价指标 使 用不同的评价指标可以从不同角度对模型识别效果进行 评价 本研究使用以下 4 种评价方式对网络模型的性能 进行评价 2 3 1 平均识别准确率 平均识别准确率 P 指模型中预测正确的样本 与全部观测值的比值 如式 1 所示 1 TP TP FP N i i ii P 1 式中 TP i FP i 分别表示测试集中第 i 类病害样本预测正确 的和预测错误的样本数 N 表示病害种类数 平均识别准 确率可以衡量模型对于整个蔬菜病害数据集 15 种病害的 识别精度 便于从宏观角度对比不同模型的识别性能 2 3 2 最高识别准确率 模型的最高识别准确率 与平均识别准确率不同 之处在于其可以衡量一个模型的最佳性能 以便保存模 型达到最佳性能时的模型参数 2 3 3 模型训练时间 模型训练时间是衡量一个模型性能的重要参数 模 型训练时间少有助于进行参数学习 即使在没有图形处 理器 Graphics Processing Unit GPU 的情况下也应能 够快速训练 有利于模型参数的更新 2 3 4 模型尺寸 随着不同网络模型精度的不断提高 在提高识别精 度的同时考虑模型的部署和运行所需的硬件资源 过于 复杂的网络模型占用大量的存储和运算资源 限制了它 们在硬件资源受限场景下的部署和运行 所以模型的尺 寸大小也是需要考虑的关键因素之一 3 试验设计 本试验与对照组均在 Ubuntu18 04 环境下进行 处理器为 Intel core i9 9820X 内存为 64G 显卡为 GeForce RTX 2080Ti 11G DDR6 采用深度学习框架 Pytorch 配 合 Cuda10 1 进行训练 试验设计和对照过 程中网络批处理大小 batch size 设置为 32 样本输 入尺寸均采用 224 224 所有网络模型均迭代次数为 50 轮 3 1 Multi scale ResNet 不同设计方案比较 本研究从卷积核大小 通道数量 残差层连接方式 及残差块数量 卷积分组等角度对 Multi scale ResNet 进 行了组合设计 设计方案如表 1 所示 不同方案性能参 数对比如表 2 所示 可得出如下结论 1 通道设计方面 比较方案 1 和方案 2 可知 在相同的卷积核大小和 残差层连接方式情况下 双通道比单通道得到的最高准 确率高 在方案 6 中使用了三通道 虽然准确率和收敛 时间均比方案 1 和方案 2 效果好 但经过验证是两层连 接设计起到了决定性作用 2 卷积核设计方面 在方案 1 和方案 3 中采用了相同的通道设计和残差 层连接设计 卷积核分别使用了大卷积核和小卷积核 最终大卷积核的最高准确率比小卷积核的最高准确率 高 并且方案 3 达到最高准确率的时间也比方案 1 快 但是方案 3 采用大卷积核并没有使用卷积核分解和群卷 积操作 所以增加了模型的训练参数 3 残差层连接设计方面 在方案 4 和方案 5 中均采用相同的卷积核大小和通 道设计 方案 5 中采用 2 个残差块就可以达到方案 4 中 4 个残差块的准确率 从而说明采用两层通道连接可以在 精简网络参数的前提下提高模型的准确率 表 1 Multi scale ResNet 设计方案 Table 1 Design schemes of the Multi scale ResNet 方案 编号 卷积核设计 Design of convolution kernel 通道设计 Design of channel 残差层连接设计 Design of residual layer connection 分组设计 Design of groups 残差块设计 Design of residual blocks No of project 大卷积核 Large kernel size 小卷积核 Small kernel size 单通道 Single channel 双通道 Dual channels 三通道 Three channels 一层连接 One layer connection 两层连接 Two layers connection 应用 Applied 不应用 Not applied 2 块 Two blocks 4 块 Four blocks 1 2 3 4 5 6 7 第 20 期 王春山等 改进 Multi scale ResNet 的蔬菜叶部病害识别 213 表 2 Multi scale ResNet 设计方案性能对比结果 Table 2 Performance comparison results of design schemes of the Multi scale ResNet 验证集最高准确率 Highest recognition accuracy of the validation set 训练集最高准确率训练用时 Training time of the training set s highest recognition accuracy s 方案编号 No of project 模型训练参数 Model training parameters 模型整体大小 Overall model size MB 数据集 1 Dataset 1 数据集 2 Dataset 2 数据集 1 Dataset 1 数据集 2 Dataset 2 1 1 278 319 54 84 95 86 92 89 2 326 1 492 2 2 305 391 75 12 96 73 93 01 1 471 621 3 6 193 519 73 59 97 27 93 89 1 804 934 4 1 114 479 100 09 97 09 93 39 1 700 964 5 1 114 479 70 12 97 04 92 76 1 634 1 228 6 3 332 463 95 40 97 04 93 26 1 779 752 7 753 897 68 75 95 71 92 51 1 305 1 177 4 分组设计方面 前 6 种方案中均采用了不分组方法 方案 7 采用分 组方案设计 从模型训练参数来看 采用分组方法可以 显著的降低模型的复杂程度 但是模型准确率随之下降 了大约 1 5 5 残差块数量设计方面 为了进一步降低模型的复杂程度 方案 4 和方案 7 将残差块数量由 4 块降低到 2 块 在总体上维持原有准 确率的同时显著的压缩了模型的总体大小 3 2 与对照组比较 本研究采用的对照组网络分别为 ResNet18 ResNet50 AlexNet VGG16 和 SqueezeNet 其中对照 组模型最终分类层均为 15 类 由表 3 可知本研究提出 Multi scale ResNet 的模型整体大小比对照组的几种网 络都小 在数据集 1 中训练集上识别准确率基本与 VGG16 持平 仅比 ResNet18 减少 2 左右 在数据集 2 中训练集上的识别准确率仅比 ResNet18 减少 1 5 但是本模型尺寸比 ResNet18 尺寸缩小 35 21 模型训 练参数比 ResNet18 减少 93 左右 显著的精简了模型 尺寸 剩余几种对照组网络在模型大小和模型准确率 方面都不及本网络 并且 2 个数据集上 Multi scale ResNet 训练达到最高识别准确率所用时间仅比 SqueezeNet 慢 由图 3 可知 Multi scale ResNet 的准 确率和参数量之间的差值 准确率与模型所占内存之 间的差值在对照组中均为最大 由图 4 可知本网络在 数据集 1 中训练集上损失值下降的过程十分平滑 在 数据集 2 中训练集和验证集上损失值下降和准确率上 升过程都较为平滑 没有出现大范围损失值震荡的现 象 因此 Multi scale ResNet 在兼顾了模型准确率的同 时实现了模型的精简和压缩 为模型在硬件受限的场 景下部署奠定了基础 图 3 模型参数量 大小和准确率对比 Fig 3 Comparison of models parameter quantity size and accuracy 表 3 对照组模型对比 Table 3 Comparison of control group models 训练集最高准确率训练用时 Training time of the training set s highest recognition accuracy s 模型 Models 模型训练参数 Model training parameters 模型整体大小 Overall model size MB 数据集 1 中验证集最高 准确率 Highest recognition accuracy of the validation set in dataset 1 数据集 2 中测试集平均 准确率 Average recognition accuracy of the test set in dataset 2 数据集 1 Dataset 1 数据集 2 Dataset 2 ResNet18 11 184 207 106 02 97 65 96 77 2 427 1 416 ResNet50 23 538 767 376 92 97 01 93 55 6 896 1 818 AlexNet 57 065 295 226 63 94 48 89 33 2 407 1 306 VGG16 134 321 999 731 75 95 94 83 87 6 964 1 433 SqueezeNet 743 119 92 66 85 92 82 13 1 261 1 128 Multi scale ResNet 755 055 68 75 95 71 93 05 1 305 1 177 农业工程学报 http www tcsae org 2020 年 214 a 对照组模型在数据集 1 中训练集上的最高识别 准确率 a Highest recognition accuracy of the control group on the training set in dataset 1 b 对照组模型在数据集 1 中训练集上的损失值 b Loss values of control group on the training set in dataset 1 c 对照组模型在数据集 2 中训练集上的最高识别 准确率 c Highest recognition accuracy of the control group on the training set in dataset 2 d 对照组模型在数据集 2 中训练集上的损失值 d Loss values of control group on the training set in dataset 2 e 对照组模型在数据集 2 中验证集上的最高识别 准确率 e Highest recognition accuracy of the control group on the validation set in dataset 2 f 对照组模型在数据集 2 中验证集上的损失值 f Loss values of control group on the validation set in dataset 2 图 4 Multi scale ResNet 与对照组模型在数据集 1 和数据集 2 中最高识别准确率和损失值对比 Fig 4 Comparison of highest recognition accuracy and loss values between Multi scale ResNet and control group in dataset 1 and dataset 2 4 结果与分析 将 Multi scale ResNet 模型分别应用到数据集 1 和数 据集 2 中的测试集上 得出混淆矩阵 A 图 5 和混淆矩 阵 B 图 6 其中 混淆矩阵 A 包含了简单背景下数 据集 1 中测试集中预测正确和错误的样本图像数 混 淆矩阵 B 包含了复杂背景下数据集 2 中测试集中预测 正确和错误的样本图像数 在混淆矩阵中 主对角线 数字为预测正确样本图像数量 其他位置的数字为预 测错误样本图像数量 由图 5 可知 混淆矩阵 A 中显示了数据集 1 中测试 集上每一类病害的识别准确率和每种类别被错分的情 况 其中可以发现种类 8 番茄晚疫病 和种类 12 番 茄轮斑病 的识别错误率较高 结合混淆矩阵可以发现 错分种类分别为 4 5 6 7 8 10 11 从总体来看 其他种类被分为种类 8 和种类 12 的情况频繁发生 分析 原始数据集发现被错分的病害种类中 类间差异小 类 内差异大是病害被错分的最主要原因 如图 7a 图 7c 所 示为种类 8 番茄晚疫病的部分样本图像 在发病早期病 叶并没有什么明显的变化 在发病中期和发病晚期与发 病早期有明显不同 发病中期出现病斑 到发病晚期病 叶大范围枯萎 并且出现变色现象 如图 7d 图 7f 所示 为种类 11 番茄二斑叶螨病 和种类 6 番茄早疫病 中被预测为种类 12 番茄轮斑病 的病害图像 可以发现 注 0 为土豆健康 1 为土豆早疫病 2 为土豆晚疫病 3 为辣椒健康 4 为 辣椒疮痂病 5 为番茄细菌性斑点病 6 为番茄早疫病 7 为番茄健康 8 为番茄晚疫病 9 为番茄叶霉病 10 为番茄斑枯病 11 为番茄二斑叶螨病 12 为番茄轮斑病 13 为番茄病毒病 14 为番茄黄曲病 主对角线数字为预 测正确图像数量 其他数字为预测错误图像数量 Note 0 is potato healthy 1 is potato early blight 2 is potato late blight 3 is pepper healthy 4 is pepper scab 5 is tomato bacterial spot 6 is tomato early blight 7 is tomato healthy 8 is tomato late blight 9 is tomato leaf mold 10 is tomato septoria leaf spot 11 is tomato two spotted spider mite 12 is tomato target spot 13 is tomato virus 14 is tomato yellow leaf curl virus Numbers on the main diagonal are the amount of correct prediction images and the other numbers are the amount of false prediction images 图 5 数据集 1 中测试集的混淆矩阵 A Fig 5 Confusion matrix A of the test set in dataset 1 第 20 期 王春山等 改进 Multi scale ResNet 的蔬菜叶部病害识别 215 3 种病害症状表现十分相似 人工也很难辨别 但 15 种 病害的平均识别准确率为 95 95 在不引入迁移学习的 前提下基本满足蔬菜叶部病害检测要求 注 0 为番茄健康 1 为番茄白粉病 2 为番茄早疫病 3 为黄瓜健康 4 为 黄瓜白粉病 5 为黄瓜病毒病 6 为黄瓜霜霉病 主对角线数字为预测正确 图像数量 其他数字为预测错误图像数量 Note 0 is tomato health 1 is tomato powdery mildew 2 is tomato early blight 3 is cucumber health 4 is cucumber powdery mildew 5 is cucumber virus disease 6 is cucumber downy mildew Numbers on the main diagonal are the amount of correct prediction images and the other numbers are the amount of false prediction images 图 6 数据集 1 中测试集的混淆矩阵 B Fig 6 Confusion matrix B of the test set in dataset 2 相同病害类别不同症状 Different symptoms in the same disease category a 晚疫病早期 b 晚疫病中期 c 晚疫病晚期 a Early stage of late blight b Middle stage of late blight c Late stage of late blight 相同症状不同病害类别 Different disease category with the same symptoms d 二斑叶螨病 e 轮斑病 f 早疫病 d Two spotted spider mite e Target spot f Early blight 图 7 简单背景下数据集 1 中测试集被错分的典型番茄病害 Fig 7 Typical diseases of tomato misclassified of the test set in dataset 1 under simple background 由图 6 可知 混淆矩阵 B 中显示了数据集 2 中测试 集上每一类病害的识别准确率和每种类别被错分的情 况 其中可以发现种类 1 番茄白粉病 的识别准确率最 低 并且被错分的图像中大部分被错分为种类 2 番茄早 疫病 经过分析发现种类 1 和种类 2 在数据整体分布 上呈现相似性 即类间差异小 如图 8 所示 2 种类别的 叶片均错综复杂的铺满整张图像 最终数据集 2 中测试 集的平均识别准确率为 93 05 较简单背景的数据集 1 中测试集的准确率有所下降 本研究使用 2 种数据集训练得到的模型互相测试 发现使用复杂背景图像训练测试简单背景图像得到的识 别准确率会比使用简单背景图像训练测试复杂背景图像 得到的识别准确率高 但是两者得到的识别准确率均在 30 以下 在模型应用到实际生产中时应该尽可能的使模 型的训练集和测试集服从独立同分布 使得模型能够发 挥最大的功效 a 早疫病 b 白粉病 a