基于改进YOLOv7的黄瓜叶片病虫害检测与识别.pdf

基于改进YOLOv7的黄瓜叶片病虫害检测与识别 刘诗怡 胡 滨 赵 春 南京农业大学人工智能学院 南京 210031 摘 要 黄瓜叶片病虫害的检测与识别是科学防治病害的有效手段 为了提高对黄瓜叶片病斑细小特征的精准定位能力 以及提高对早疫病叶片的检测性能 提出一种DCNSE YOLOv7的深度学习算法 首先 将主干特征提取网络中对最后 一个特征层的卷积2D convolution Conv2D 改为可变形卷积2D Deable convolution DCNv2 提高模型对病斑 细小特征的提取能力 其次 对主干特征提取网络输出3个特征层结果添加Squeeze and Excitation networks SENet 注意力机制模块构建网络模型 加强模型对发病早期相似病害特征的有效提取能力 同时 通过K means 聚类算法对 锚框重新聚类 避免算法在训练过程中盲目学习目标的尺寸和位置 最后 将原始YOLOv7的CIOU损失函数 更替 为Focal EIOU损失函数 试验结果表明 DCNSE YOLOv7算法能够有效对黄瓜叶片病虫害进行检测 其平均精度均值 为94 25 比YOLOv5l YOLOv7 Faster RCNN SSD和YOLOv7 tiny模型分别提高了2 72 2 87 0 28 12 04和 7 02个百分点 改进模型的精确度为96 02 检测速度为52 04帧 s 所提方法为黄瓜叶片病虫害的精准检测提供了一 种有效的技术支持 关键词 病虫害 图像识别 黄瓜叶片 YOLOv7 可变形卷积 注意力机制 doi 10 11975 j issn 1002 6819 202305042 中图分类号 S24 文献标志码 A 文章编号 1002 6819 2023 15 0164 09 刘诗怡 胡滨 赵春 基于改进YOLOv7的黄瓜叶片病虫害检测与识别 J 农业工程学报 2023 39 15 164 172 doi 10 11975 j issn 1002 6819 202305042 http www tcsae org LIU Shiyi HU Bin ZHAO Chun Detection and identification of cucumber leaf diseases based improved YOLOv7 J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2023 39 15 164 172 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202305042 http www tcsae org 0 引 言 黄瓜作为世界上最重要的蔬菜作物之一 在中国已 经有2 000多年的栽培历史 1 2 该类作物在温室大棚可 以四季栽培 成本较低 且产量较高 2020年中国黄瓜 种植面积高达127万hm2 黄瓜出口数量为45 437 3 t 3 为菜农带来了极大经济效益的同时 也对黄瓜病害防治 提出了新要求 4 在中国 黄瓜叶片靶斑病 5 霜霉病 6 白粉病 7 等在全国各地栽培的黄瓜叶片上普遍发生 在 发病早期若防治不及时 几天内病害即可传遍棚室 造 成黄瓜大面积减产 8 因此在黄瓜种植中 要保证黄瓜 产量与质量 就必须先对黄瓜叶片常见病害进行精准识 别与检测 对叶片病虫害检测的传统方法是采用目测观察法 即通过肉眼观察叶片的形态 纹理 颜色等特征 9 这 种方法虽然操作简单 但在检测过程中往往因出现经验 和知识差异等主观因素对病害识别造成干扰 为种植户 带来不可挽回的损失 10 难以满足对黄瓜叶片病虫害的 精准检测 为了提高识别精度 早期利用基于图像处理 的检测 11 方法 彭占武 12 利用模糊识别 先对黄瓜病 害进行图像预处理 再从灰度统计量 颜色 几何形状 三方面进行特征提取 其不足之处在于处理的数据量较 小 且原始特征维数高 算法的计算复杂度较高 田凯 等 13 对茄子叶片病害图像进行边缘检测 提取病斑特征 并优化 构建Fisher判别函数对茄子叶部病害识别 但 仍使用传统的分割方法将病斑提出 使用贝叶斯判定方 法对病害类别进行识别 识别效率较低 上述方法工作 量大 且在实际应用中难以推广 近10年来 许多学者采用神经网络来对农作物病害 进行识别 14 虽然在文献检索中对黄瓜叶片病虫害的研 究不多 但在其他领域成果颇丰 MOHANTY等 15 使用 GoogLeNet模型对标注后的图片进行训练 该模型的缺 点是在不同环境下数据集检测精确度差距大 模型泛化 能力不强 黄丽明等 16 提出改进YOLOv4模型自动识别 无人机遥感影像上的松材线虫病异常变色木 该模型将 深度可分离卷积和倒残差结构引入网络 然而对相似地 物与异常变色木的细小特征提取结果不显著 不利于病 害特征识别 RANGARAJAN等 17 使用改进的AlexNet 和VGG16模型对番茄病害进行训练 但其缺陷在于检 测精度不佳 ZHANG等 18 为了提高网络特征提取能力 提出一种多通道自动定向递归注意网络丰富番茄叶片病 害特征 并引入渐进非局部均值算法降低特征识别难度 不过信道数的选择会对识别精确度产生影响 孙俊等 19 提出改进Mobile Net V2模型识别复杂背景下农作物病 害 在原始模型上嵌入轻量型坐标注意力机制 采用分 收稿日期 2023 05 08 修订日期 2023 07 14 基金项目 国家自然科学基金项目 32270208 江苏省大学生创新训练项 目 202210307157Y 作者简介 刘诗怡 研究方向为计算机视觉 图像处理 Email 2022819035 通信作者 胡滨 博士 副教授 研究方向为智慧农业 Email hubin 第 39 卷 第 15 期农 业 工 程 学 报Vol 39 No 15 164 2023 年 8 月Transactions of the Chinese Society of Agricultural Engineering Aug 2023 组卷积减少模型参数 需要注意的是模型对不同病害相 似特征之间的细小区别未能有效识别 上述检测方法虽 取得一定的成效 但在实际应用中对早疫病 尺度变形 叶片的检测精度不高 对相似病害细小特征的识别不够 精确 无法满足农业智能化的生产需要 在黄瓜实际种植场景中 自动化检测叶片病害的图 像中往往包含不同种类的叶片 且叶片之间会出现部分 遮挡情况 基于此 相较于图像分类算法 20 目标检测 算法更适用于检测图像中的多个目标 并确定目标的大 小和位置 21 故在前人研究基础上 特别是从黄丽明 等 16 使用YOLOv4模型对松材线虫病异常变色木识别受 到启发 采用目标检测算法实现对黄瓜叶片病害的检测 由于一阶段目标检测算法不需要大量的数据训练 且 YOLO 22 算法将迁移学习的概念引入其网络 不仅对数 据集数量的要求降低 还可以提高模型的泛化能力 通 过对目前YOLO系列算法比较 YOLOv7 23 算法的检测 速度与检测精度领先于当前主流目标检测算法 故选用 YOLOv7模型作为研究对象 并在此模型基础上提出一 种DCNSE YOLOv7深度学习算法 该算法首先在主干 特征提取网络中引入可变形卷积 24 DCNv2 自适应不 同叶片几何形变化带来的感受野尺寸变化 提升网络模 型对病斑细小特征的精准定位能力 其次在主干特征提 取网络的3个输出结果处添加通道注意力机制SENet 25 模块 加强模型对发病早期 多病害叶片相似特征的有 效提取能力 同时 通过K means 26 聚类算法优化锚 框信息 使先验框尽可能接近真实框 提升模型检测性 能 最后 将Focal EIOU loss 27 函数替代原始损失函数 聚焦于高质量的预测框 并与YOLOv7 YOLOv7 Tiny Faster RCNN YOLOv5l SSD等网络模型进行对比 以 此评估模型的性能与效果 1 材料与方法 1 1 黄瓜叶片病虫害图像采集 黄瓜叶片常见的病虫害有靶斑病 霜霉病 白粉病 等 利用相机在不同天气 不同时刻条件下 对患有靶 斑病 霜霉病 白粉病以及无病虫害的黄瓜叶片进行多 方位 多角度 多种距离拍摄 获得849张患病及无病 虫害的黄瓜叶片图像 同时 通过网络爬虫技术对网络 上公开的患有病虫害及无病虫害的黄瓜叶片高质量图像 进行部分爬取 获得310张患病黄瓜叶片图像 为保证 数据集独立分布 筛选删掉不适用图像后保留了 1 049张图像制作数据集 包含280张靶斑病 300张霜 霉病 259张白粉病以及210张无病害的黄瓜叶片图像 且1 4左右以上的图像包含两个或两个以上的叶片 黄 瓜叶片病虫害图像如图1所示 从图1可以看出 患有靶斑病的叶片病斑呈圆形或 稍不规则形黄点子 病斑中间有近白色眼状靶心 患有 霜霉病的叶片病斑呈多角形黄褐色斑点 病斑不过叶脉 患有白粉病的叶片正面或背面产生白色近圆形的小粉斑 靶斑病和霜霉病在发病前期病斑特征较为接近 且在自 然环境下拍摄 图像中会包含如杂草 土壤等干扰区域 造成检测环境复杂 进一步增大检测难度 a 靶斑病 a Target spot b 霜霉病 b Downy mildew c 白粉病 c Powdery mildew d 正常 d Normal 图1 黄瓜叶片病虫害 Fig 1 Diseases and insect pests of cucumber leaf 1 2 数据集构建 为了提高目标检测算法对错误标签的记忆 增加样 本的鲁棒性以及网络的泛化能力 对原始图像进行翻转 扭曲 加噪 亮度调节等方法对数据集进行初步扩充 对扩充后的图像使用LabelImg对数据集图像进行人工标 注 标签分别为TargetSpot 靶斑病 DownyMildew 霜霉病 PowderyMildew 白粉病 和Normal 正 常 试验采用MixUp 28 数据增强方法再次扩充黄瓜叶 片病害图像 MixUp基本思想是将两个不同的样本进行 线性插值 从而生成一个新的样本 如图2所示 使用 MixUp将两张图像分别进行翻转 缩放 色域变化等 在图像多余部分加上灰条 并堆叠在一起 a 原始图像 1 a Original image 1 b 原始图像 2 b Original image 2 c 数据增强后结果 c Data augmentation result 图2 MixUp数据增强结果 Fig 2 MixUp data enhancement results 第 15 期刘诗怡等 基于改进YOLOv7的黄瓜叶片病虫害检测与识别165 通过对数据集的增强与扩充 数据集图像由开始的 1 049张扩充到2 699张 将图像按照8 1 1的比例随机 分为训练集 验证集和测试集 完成数据集的构建 2 模型与训练 2 1 YOLOv7算法 与前几代YOLO算法相比 YOLOv7算法在主干特 征提取网络中加入了可扩展的高效聚合层网Extended efficient long range attention network E ELAN 这种结 构可以通过影响深度神经网络的梯度路径从而加快模型 的收敛 提高检测精度 其加强特征提取网络主要是对 特征进行融合 在加强特征提取网络中引入空间金字塔 池化 跨阶段部分连接Spatial pyramid pooling cross stage partial connection 29 SPPCSPC 模块用于增大感受野 YOLOv7模型的分类与回归器主要用于得到模型预测输 出结构 在预测头部Yolo Head中加入重新参数化卷积 层Reparameterized convolutional layer RepConv 作 为特殊的残差结构辅助训练调整通道数 降低网络复杂 度 原始YOLOv7算法虽然能获得较好的检测精确度 但是如何减小相似特征 目标尺度变化和形状变化对检 测精度的影响仍是YOLOv7需要改进的地方 2 2 改进YOLOv7算法 本研究拟对原始YOLOv7算法进行4个方面的改进 改进后的网络结构图如图3所示 改进如下 CBS CBS CBS CBS C7 1 MP C3 C7 1 MP C3 C7 1 MP C3 C7 3 SPPCSPC SENet SENet CBS CBS SENet CBS UpSample Con cat C7 2 CBS UpSample Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv MP CBS CBS CBS Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv MP CBS CBS CBS Con cat C7 2 Conv BN ADD Conv BN SILU ADD Conv CBS Conv BN SILU CBS2 DCNv2 BN SILU C7 1 CBS CBS CBS CBS CBS Con cat CBS CBS Con cat C7 3 CBS2 CBS2 CBS2 CBS2 CBS2 Con cat CBS2 CBS2 Con cat MP C3 MP CBS CBS CBS Con cat SPPCSPC CBS CBS CBS MaxPool MaxPool MaxPool Con cat CBS CBS CBS Con cat CBS Con cat Con cat C7 2 CBS CBS CBS CBS CBS CBS Con cat CBS Con cat 640 640 80 80 40 40 20 20 注 Conv表示卷积 BN表示批量归一化 SILU表示SILU激活函数 DCNv2表示可变形卷积 Concat表示特征融合 UpSamlple表示上采样 SENet表 示SENet通道注意力机制模块 ADD表示特征通道相加 MaxPool表示最大池化 CBS CBS2 C7 1 C7 2 C7 3 SPPCSPC MP C3为合成模块 Note Conv represents convolution BN represents batch normalization SILU represents SILU activation function DCNv2 represents deable convolution Concat represents feature fusion UpSamlple represents upsampled SENet represents the attentional mechanism module of SENet channel ADD represents the addition of feature channels MaxPool represents maximum pooling CBS CBS2 C7 1 C7 2 C7 3 SPPCSPC and MP C3 are synthetic modules 图3 改进YOLOv7网络模型 Fig 3 Improved YOLOv7 network model 1 将原始YOLOv7模型主干特征提取网络的最后 一个输出特征层的卷积更换为可变形卷积DCNv2 一定 程度上加深模型对尺度变形大的目标的精准定位能力 2 给主干特征提取网络输出的3个特征层结果添 加SENet通道注意力机制模块 增强有效特征信息的提取 压缩无用特征信息 提高模型对相似特征的识别能力 3 通过K means 算法对锚框信息进行更新 使得 网络学习到更好的检测器 避免网络在训练过程中盲目 学习目标的尺寸和位置 提高模型的检测性能 4 将原始YOLOv7的损失函数CIOU loss更换为 Focal EIOU loss 更新后的Loss函数可以聚焦于高质量 的边界框 2 2 1 可变形卷积 由于黄瓜叶片图像形态 叶片面积大小 病斑大小 不同 原始YOLOv7使用普通卷积操作 造成卷积层在 特征提取时没有适应图形几何变形时对不同位置区域的 感受野尺寸的变化 大大削弱网络模型对形状 尺寸变 形大的叶片中病斑细小特征的提取能力 因此依靠普通 卷积操作来提取特征有一定的局限性 为缓解这一问题 在主干特征提取网络的输出层中将普通卷积Conv2D更 替为可变形卷积DCNv2 22 其结构如下图4所示 通过 研究表明 可变形卷积通过增加可训练的偏移量 对于 位置变化具有良好的适应能力 在采样时可以更贴近叶 片病斑的形状和尺寸 从而有利于提高目标检测的精度 和鲁棒性 本研究将主干特征提取网络中最后一个特征层的卷 积改为可变形卷积 在采样时使其更贴近叶片病斑的形 状和尺寸 加强模型对病斑细小特征的提取能力 一定 程度上提高了黄瓜叶片病虫害的检测精度 如图4所示 可变形卷积操作是在二维平面进行的 是在传统卷积的基础上增加调整卷积核的方向向量 将 传统卷积核提取的大小为W H C的特征图作为输入 通过再施加一个卷积核 2维 得到可变形卷积的偏移 量 改变偏移量x和y方向的值使卷积层做平移变换 166农业工程学报 http www tcsae org 2023 年 其中偏移量是利用插值算法通过反向传播进行学习 最 后利用得到的偏移量和输入的特征图做卷积得到输出特 征图 Conv Offset field W H 2C Offset yOffset x Output feature W H C feature W H C 注 W H C分别表示长 宽和特征通道大小 x和y代表偏移量的方向 向量 Note W H and C represent length width and characteristic channel size respectively x and y represent the direction vector of the offset 图4 DCNv2结构图 Fig 4 DCNv2 Structure 2 2 2 SENet通道注意力机制模块 在黄瓜叶片病虫害的检测中 利用原始YOLOv7算 法对病害发病早期 如霜霉病和靶斑病 这两种病害的 病斑在发病早期均会呈现 黄点子 特征 病斑进行检 测时往往会出现误检现象 这是由于在特征提取的过程 中对有效特征信息的筛选不足 因此 为提高模型对早 疫病病斑的识别能力 需对各个特征通道的权值进行矫 正 而在特征提取的过程中 SENet通道注意力机制模 块可以加强有效特征信息通道的权重 降低并压缩无用 特征信息通道的权重 从而发挥有用信息的最大作用 SENet通道注意力机制不会改变输入特征图的现有 结构 而是通过改变各个通道的权重来实现特征加强 其模块如图5所示 ReLu Sigmoid X Global average pool bs C bs C bs C 16 bs C 16 bs 1 1 C bs C W H Output bs C W H 注 X表示上一层网络输出 bs表示输入批量的大小 Global average pool 表示全局平均池化 Note X represents the network output of the previous layer bs represents the size of the batch Global average pool represents global average pooling 图5 SENet模块 Fig 5 The SENet module SENet分3步 25 第一步为Squeeze 压缩层 阶段 对输入的W H C的特征图进行全局平均池化 压缩每 个通道的特征至1 1 C的C维向量 此过程通道数不 变 第二步为Excitation 激励层 阶段 用于捕捉通道 之间的关系 通过2次全连接层从向量中提取各个通道 的权重 第一个全连接层将维度降低为C 16 通过修正 线性单元Rectified linear unit ReLu 函数进行激活 第 二个全连接层将通道恢复为原来的C维 采用Sigmoid 函数将通道权值固定在0 1之间 为每个通道学习一个 自适应权值 权值越低该通道上的特点越不需要被关注 最后在Scale 比例层 将获得的权值乘上原输入特征层 实现各个通道重要程度的调整 SENet模块通过自主学习各个通道的重要程度来提 高网络对重要特征的注意力 增强有用信息提取 压缩 无用信息来实现检测和识别精确度的提高 本研究在主 干特征提取网络的3个输出结果处添加注意力机制 实 现对发病早期相似病斑有用特征的加强 一定程度上提 高了黄瓜叶片病虫害检测和识别的精确度 2 2 3 K means 锚框更新 锚框作为目标检测网络中较为重要的先验信息 模 型的先验框和真实框越接近 其检测精确度越高 为了 避免网络模型盲目学习目标的尺寸和位置 利用K means 算法得到新的锚框初始值 相比于传统K means锚框聚类 K means 改进初始聚类中心点的选择 方法 迭代次数通常较少且更加稳定 26 本研究拟提取 锚框坐标 将其转换为特征向量作为K means 算法的 输入 更新锚框初始值 同时 为了捕获不同目标在尺 度 形态等方面的差异 生成更贴合于真实框的锚框 将聚类簇数量设置为大于目标类别数量 试验中设置为 9 K means 算法首先随机选取1个特征向量样本作为 初始聚类中心点 计算其他样本与初始聚类中心的距离 再根据距离权重 以概率选择下一个聚类中心 并更新 已选择的聚类中心 直至选择预定数量的聚类中心 最 后得到更贴合于黄瓜叶片数据集的锚框信息 从而提高 模型的检测精度 将聚类结果可视化展示在640 640像 素大小的画布上 如图6所示 不同颜色代表不同的 簇 位于同一簇的样本其向量相似度度量接近 聚类后 的锚框初始值为 168 108 143 287 307 228 241 548 405 380 614 343 422 635 630 497 636 637 通过计算聚类中心与目标之 间并交比Intersection over union IoU 选择最匹配的 锚框作为候选区域 减少不必要的计算 提高目标检测 的精确度 600 500 400 300 200 100 0 0 100 200 300 400 500 600 注 表示聚类中心点 画布大小为640 640像素 不同颜色的簇代 表具有不同特征的锚框信息 试验中簇个数设定为9 Note represents thecluster center point the canvassize is 640 640 pixels clusters ofdifferent colors represent anchor box ination with different characteristics and thenumber of clusters in this experiment is set to 9 图6 K means 聚类可视化结果 Fig 6 K means clustering visualization result 第 15 期刘诗怡等 基于改进YOLOv7的黄瓜叶片病虫害检测与识别167 2 2 4 Focal EIOU Loss函数 原始YOLOv7使用CIOU作为坐标损失函数 CIOU 损失考虑了重叠面积 中心点距离以及纵横比这3个几何 因素 然而在目标识别和检测过程中 边界框 Bounding box BBox 是决定其精确度的重要因素之一 原始 YOLOv7算法的Loss函数并未考虑到 因此引入Focal EIOU loss函数来替代原始损失函数 Focal EIOU函数 不仅包含了CIOU的有益特性 还聚焦于高质量的BBox 提高模型检测精确度同时 还可以加快模型收敛 27 Focal EIOU计算式如下 LEIOU LIOU Ldis Lasp 1 IOU 2 b bgt wc 2 hc 2 2 w wgt wc 2 2 w wgt hc 2 1 式中wc和hc是最小包围框的宽高 将损失函数分为 IOU损失 距离损失Ldis和方位损失Lasp 给定预测框b 和bgt b和bgt分别表示目标框和预测框的中心点 表 示b和bgt之间中心点坐标的欧氏距离 EIOU损失在增 加长宽比相似度的同时 也考虑到了模型如何通过焦点 损失的回归形式有效减少 w h 和 wgt hgt 之间的真 实差异 更有益于模型检测精确度的提高 2 3 模型训练与评价指标 2 3 1 训练平台 本试验使用的训练平台主要参数为 Core i5 12400 CPU 4 4 GHz 内存为32GB 1TB固态硬盘 Nvidia GeForce RTX 3090 24GB显卡 安装CUDA Cudnn版 本为11 4 8 2 2 系统为Windows操作系统 Python版 本为3 8以及深度学习框架为Pytorch 1 10 0 2 3 2 训练参数 训练参数设置 图像输入尺寸为640 640 批次 Batch size为24 多线程设置为2 初始学习率为0 01 每次训练迭代 Epoch 1 000次 每完成10个迭代 保 存一次权重参数 共得到100个权重参数 由于试验修 改了原算法的主干特征提取网络 因此在首次训练时无 预训练权重 先进行300次的迭代训练 再利用训练好 的权重重新进行1 000次的迭代训练 2 3 3 评价指标 参考孙丰刚等 30 使用的评价指标 采用精确度 Precision Pi 召回率Recall Ri 平均精确度 Average precision APi 30 平均精度均值 Mean average precision mAP 30 以及帧速率 Frame per second FPS 帧 s 作为模型的评价指标 计算式如下 Pi TPT P FP 100 2 Ri TPT P FN 100 3 式中i表示不同的叶片病虫害 N表示数据集中分类的 个数 本文为4 TP表示图片中正确检测叶片病虫害的 数量 FP表示图像中检测错误与目标分类错误的数量 FN表示图像中漏检的数量 APi具体为某一种病虫害的 P R曲线与坐标轴围成的面积 反应了目标检测精度的性 能 mAP表示模型对不同病虫害的整体检测精度的性能 3 结果与分析 为了对比分析本研究的改进方法对模型性能的影响 在模型训练参数一致的情况下设计了3组试验 主流模 型性能对比试验 注意力机制对比试验和消融试验 并 选取具有代表性的图像数据进行测试 从模型的可视化 中 对模型的检测效果进行分析 3 1 主流模型性能对比 为了对比本研究模型与SSD模型 Faster RCNN模 型 YOLOv5l模型 YOLOv7模型 YOLOv7 tiny模型 在目标检测任务中的有效性 本试验设计了第1组不同 模型之间性能测试对比 采用相同的数据集和参数设置 进行1 000次迭代训练和测试 表1列出不同模型的精 确度 召回率 平均精度均值和帧速率 表 1 主流模型训练结果 Table 1 Mainstream model training results 模型 Model 精确度 Precision 召回率 Recall 平均精度均值 Mean average precision mAP 帧速率 Frame per second FPS 帧 s 1 DCNSE YOLOv7 96 02 93 15 94 25 52 04 YOLOv7 93 59 92 34 91 38 52 72 YOLOv5l 93 88 92 34 91 53 50 88 Faster RCNN 95 74 93 55 93 97 29 60 SSD 84 26 80 27 82 21 132 63 YOLOv7 tiny 87 63 86 19 87 23 289 45 对比试验结果显示DCNSE YOLOv7模型的检测精确 度和平均精度均值与其他网络相比都为最高 检测精确 度与YOLOv5l YOLOv7 Faster RCNN SSD YOLOv7 tiny模型相比分别提高2 14 2 43 0 28 11 76和8 39 个百分点 DCNSE YOLOv7模型与Faster RCNN模型的 检测精度差别不大 这是由于网络内部结构不同 Faster RCNN作为二阶段算法仅需送入网络一次便可测出所有 边界框 故检测精度稍小于DCNSE YOLOv7模型 相 比YOLOv5l YOLOv7 SSD YOLOv7 tiny模型 召回 率分别提高0 81 2 87 12 88 6 96个百分点 与Faster RCNN相比降低0 4个百分点 平均精度均值与 YOLOv5l YOLOv7 Faster RCNN SSD和YOLOv7 tiny模型相比分别提高2 72 2 87 0 28 12 04和7 02 个百分点 在检测速度方面 DCNSE YOLOv7比 YOLOv5l和Faster RCNN分别提高1 16和22 44帧 s 比 YOLOv7 SSD YOLOv7 tiny降低了0 68 80 59 237 41帧 s 可见 本试验所构建的DCNSE YOLOv7目 标检测网络具有比其他5种模型具有更好的在检测准确 率和检测速度之间平衡的能力 尤其在病斑细小特征识 别方面能够胜任具有较多小目标的黄瓜叶片病斑检测任 务 同时 从模型对单个图像的平均处理时长来看 DCNSE YOLOv7模型的检测速率虽低于SSD YOLOv7 tiny模型 但其满足黄瓜叶片病斑在检测过程中对精确 度的要求 3 2 不同注意力机制检测性能对比 为了验证SENet注意力机制的有效性 设计了第2 168农业工程学报 http www tcsae org 2023 年 组试验 将SENet通道注意力机制模块 与卷积块注意 力模块Convolutional block attention module CBAM 和 高效通道注意力Efficient channel attention ECA 进行对 比 结果见表2 表 2 不同注意力机制模型训练结果 Table 2 Training results of different attention mechanism models 模型 Model 精确度P recision 召回率 Recall mAP FPS 帧 s 1 DCNSE YOLOv7 96 02 93 15 94 25 52 04 DCNCBAM YOLOv7 94 91 91 48 92 28 52 17 DCNECA YOLOv7 95 07 91 79 92 51 52 29 由表2可得 DCNSE YOLOv7算法使用的SENet 注意力机制优于CBAM注意力机制和ECA注意力机制 与DCNCBAM YOLOv7相比 DCNSE YOLOv7的精确 度 召回率和mAP分别提高了1 11 1 67和1 97个百 分点 FPS下降了0 13帧 s 与DCNECA YOLOv7相比 DCNSE YOLOv7的精确率 召回率和mAP分别提高了 0 95 1 36和1 74个百分点 FPS下降了0 25帧 s 因 此 SENet注意力机制在YOLOv7模型上对有效特征信 息的筛选更优异 对病斑的识别能力高于CBAM ECA 注意力机制算法 能够有效提升模型对黄瓜叶片病虫害 识别的准确度 验证了该试验方法的可行性 使用本试验算法与原始YOLOv7迭代训练1 000次 得到的精确度Precision 召回率Recall曲线如图7所示 从图中可以看出 初始时 DCNSE YOLOv7模型的R 曲线纵坐标非零 这是因为试验修改了原算法的主干特 征提取网络 在首次训练时无预训练权重 故先进行 300次的迭代训练后 再利用训练好的权重和YOLOv7 模型进行1 000次迭代训练 在训练迭代第500次时 精确度曲线继续上升但趋于平稳 在迭代第600次时 召回率曲线虽伴有震荡但趋势明显放缓 0 200 400 600 800 1 000 20 40 60 80 100 20 40 60 80 100 精确度 Precious DCNSE YOLOv7 YOLOv7 a DCNSE YOLOv7与YOLOv7的 精确度结果对比 a Compare Priecsion result of DCNSE YOLOv7 and YOLOv7 迭代次数 次 Epoch turn 0 200 400 600 800 1 000 召回率 Recall DCNSE YOLOv7 YOLOv7 b DCNSE YOLOv7与YOLOv7的 召回率结果对比 b Compare Recall result of DCNSE YOLOv7 and YOLOv7 迭代次数 次 Epoch turn 图7 精确度 召回率曲线图 Fig 7 Precsion and Recall curves 3 3 消融试验性能对比 本研究在YOLOv7模型的基础上 使用可变形卷积 DCNv2自适应图形几何变化 提升网络模型的对病斑细 小特征的精准定位能力 添加SENet注意力机制模块 加强模型对发病早期 多病害叶片相似特征的有效提取 能力 通过K means 聚类算法对数据集的检测框重新 聚类 提升网络表征能力 在预测层使用Focal EIOU作 为损失函数 获得更好回归结果 为验证各种改进的有 效性 依次对DCNSE YOLOv7网络进行缩减 分别在 测试集上进行消融试验 以平均精度均值mAP为评价指 标 表3为消融试验结果 表 3 不同消融方法试验结果 Table 3 Results of different ablation s 试验 Test MixUp DCNv2 SENet K means Focal EIOU mAP 1 90 65 2 91 34 3 92 41 4 92 96 5 91 62 6 91 58 7 94 12 注 试验以原始YOLOv7为基准 表示进行添加或改进 表示未 进行变动 Note The test is based on the original YOLOv7 represents add or improve represents no change 通过消融试验结果分析 使用MixUp数据增强后 模型的检测精度提高了0 69个百分点 在使用MixUp 数据增强的条件下 由试验2 6可得 在主干特征提取 网络中将普通卷积更换为可变形卷积DCNv2 引入 SENet注意力机制模块 更新锚框信息和使用Focal EIOU代替原始Loss函数均为正向改进 引入可变形卷 积DCNv2后 模型的mAP提高了1 07个百分点 说明 引入DCNv2可以提升模型对尺寸变化大的目标的识别能 力 加入SENet注意力机制后 模型更好地拟合通道间 复杂的相关性 对有效特征的提取能力增强 mAP提高 了1 62个百分点 更新锚框信息和使用Focal EIOU损 失函数后 mAP分别提高了0 28和0 24个百分点 由 试验7将DCNSE YOLOv7模型应用在测试集上发现 模型在测试集与训练集上的性能表现接近 其mAP比训 练集下降了0 13个百分点 且采用MixUp数据增强方 式有效的削弱了过拟合现象的风险 模型具有较好的泛 化能力 进一步验证了本试验方案的可行性 3 4 不同模型黄瓜叶片病虫害检测可视化 使用训练好的DCNSE YOLOv7 YOLOv7 YOLOv5l Faster RCNN SSD YOLOv7 tiny模型分别 对自然场景下黄瓜叶片病虫害进行检测 得到可视化图 像如图8所示 其中紫框为正常叶片 红框为靶斑病叶