专利：一种温室生产环境下草莓白粉病快速检测方法.pdf

19 国家知识产权局 12 发明 专利申请 10 申请公布号 43 申请公布日 21 申请 号 202210186362 9 22 申请日 2022 02 28 71 申请人 天津市农业科 学院 地址 300190 天津市南 开区白堤路268号 72 发明人 李扬 田涛 程文娟 腰彩红 闫松 于洋 宋治 文 王建春 74 专利代理 机构 天津翰林知识产权代理事务 所 普通 合 伙 12 210 专利代理师 付长杰 51 Int Cl G06T 7 00 2017 01 G06K 9 62 2022 01 G06N 3 04 2006 01 G06N 3 08 2006 01 G06T 7 11 2017 01 G06T 7 194 2017 01 G06T 7 62 2017 01 54 发明名称 一种温室生产环境下草莓白粉病快速检测 方法 57 摘要 本发明为一种温室生产环境下草莓白粉病 快速检测方法 该方法包括 采集温室草莓生产 环境下不同光照条件下白粉病发病叶片背面图 像 在背面图像上按照病害 发病叶片 其他叶片 进行标注 构建DW YOLOv4网络 网络包 括骨干网 络模块和融合特征提取模块两部分 骨干网络模 块 使用五组基于深度可分离卷积的跨阶段局部 网络模块进行串联获得 使用骨干网络模块中的 第3 4 5个基于深度可分离 卷积结构的跨阶段局 部网络的三个输出特征图作为输入 形成三个尺 度不同的输出特征图 将采集到的图像输入到 DW YOLOv4网络中实现草莓叶片白粉病病害区域 及发病叶片的检测 解决了草莓白粉病发病初期 检测难的问题 实现了草莓白粉病的快速检测及 病情定级 权利要求书6页 说明书18页 附图5页 CN 114549494 A 2022 05 27 CN 114549494 A 1 一种温室生产环境下草莓白粉病快速检测方法 该 方法包括以下内容 采集温室草莓生产环境下不同光照条件下白粉病发病叶片背面图像 图像背景为草莓 生长环境 在背面图像上按照病害 发病叶片 其 他叶片进行 标注 制作数据集 构建DW YOLOv4网络 网络包括骨干网络模块和融合特 征提取模块两 部分 骨干网络模块 使用五组基于深度可分离卷积的跨阶段局部网络模块DW CSPNet进行 串 联获得 其中 DW CSPNet包括通过卷积核 大小为3 3的卷积层下采样 卷积核大小为1 1的卷积层压缩或扩充通道 卷积核为3 3的深度可分离卷积 通道拼接 特 征图求和操作 融合特征提取模块 使用骨干网络模块中的第3 4 5个基于深度可分离卷积结构的跨 阶段局部网络DW CSPNet的三个输出特征图作为输入 融合特征提取模块包括最大池化 通 道拼接 卷积核大小为1 1的卷积层 上采样 下采样 最终形成三个尺度不同的输出特征 图 将采集到的图像输入到DW YOLOv4网络中实现草莓叶片白粉病病害区域及发病叶片的 检测 2 根据权利要求1所述的温室生产环境下草莓白粉病快速检测方法 其特征在于 根据 白粉病发病 病害区域 面积占发病叶片面积的占比得到病情指数 3 根据权利要求2所述的温室生产环境下草莓白粉病快速检测方法 其特征在于 所述 病情指数的具体 计算过程是 利用公式 24 计算融合调整系数的发病率 其中 a i表示第i片发病叶片的发病率 A表示病害的面积 j为第i片发病叶片上的第j个 发病点病害 n表示第i片发病叶片 上的发病点病害个数 B i表示第i片发病叶片面积 表示 叶片面积调整系数 叶片面积调整系数计算方法为 使用二值化和OTSU对标记的发病叶片部分提取绿色像 素 数除以发病叶片标记框像素 数 计算单个叶片的病情指数 将病情分为1 9级 当发病率小于5 时 病情级别为1 当 发病率在5 25 之间时 病情级别为3 当发病率在25 50 之间时 病情级别为5 当发 病率在50 75 之间时 病情级别为7 当发病率大于75 时 病情级别为9 具体公式如 下 其中 i表示第i片发病叶片 根据公式 26 计算整体病情指数 其中 N 为发病叶片个数 i 为第i片发病叶片 权 利 要 求 书 1 6 页 2 CN 114549494 A 根据不同的发病程度通过经验数据会给出相应的专家治疗意见 不同病情指数对应相 应的专 家治疗意见 4 根据权利要求2所述的温室生产环境下草莓白粉病快速检测方法 其特征在于 所述 叶片面积调整系数为0 6 0 7 5 根据权利要求1所述的温室生产环境下草莓白粉病快速检测方法 其特征在于 所述 基于深度可分离卷积的跨阶段局部网络DW CSPNet的流 程是 使用卷积核大小为3 3 步长为2 输出通道数为C out的卷积层对输入特征图进行处理 之后分成两个分支 第一个分支使用卷积核大小为1 1的卷积层压缩通道 第二个分支使 用卷积核 大小为 1 1的卷积层压缩通道 使用卷积核 大小为3 3的深度可分离卷积提取特 征 使用卷积核大小为1 1的卷积层扩充通道数 扩充通道数后的输出与第二个分支压缩 通道的结果进行加和 再将第二个分支的结果与第一个分支的结果进行通道拼接 使用卷 积核大小为1 1的卷积层压缩通道 获得输出 特 征图DW CS P 6 根据权利要求1所述的温室生产环境下草莓白粉病快速检测方法 其特征在于 所述 骨干网络模块的流 程是 输入特征图 使用三个基于深度可分离卷积的跨阶段局部网络 下采样并扩充通道数 得到输出特征图DW CSP 1 输出特征图DW CSP 1一 方面直接输出 另一 方面输出至第四个基于 深度可分离卷积的跨阶段局部网络 下采样并扩充通道数 得到输出特征图DW CSP 2 输出 特征图DW CSP 2一方面直接输出 另一方面输出至第五个基于深度可分离卷积的跨阶段局 部网络 下采样并扩充通道数 得到输出特征图DW CSP 3 因此骨干网络模块共有三个输出 分别为DW CS P1 DW CS P2和DW CS P3 7 根据权利要求1所述的温室生产环境下草莓白粉病快速检测方法 其特征在于 所述 融合特 征提取模块用于对骨干网络模块的三个输出进行融合 具体流 程是 对骨干网络模块的最后一个输出特征图使用卷积核大小为3 3的卷积层压缩通道 之 后分别进 行步长为5 9 13的三个最大池化处理 这三个最大池化层为并联关系即三者的输 入均相同 再将三个最大池化处理后的结果与上一步3 3的卷积层压缩通道后的结果进 行 通道拼接 再次使用卷积核大小为1 1的卷积层压缩通道获得特征图D 4 3 特征图D 4 3一方 面经上采样后与骨干网络模块的第二个输出特征图进 行通道拼接 之后再经卷积核大小为 1 1的卷积层获得特征图D 4 4 特征图D 4 4一方面经卷积核大小为1 1的卷积层压缩通道后 进行上采样 再与骨干网络模块的第一个输出特征图进行通道拼接 之后使用卷积核大小 为3 3的卷积层压缩通道获得特征图D 4 5 特征图D 4 5一方面使用卷积核大小为3 3 步长 为2的卷积层下采样并扩充通道后再与特征图D 4 4进 行通道 拼接 二者通道 拼接后的结果使 用卷积核大小为3 3的卷积层压缩通道获得特征图D 4 6 特征图D 4 6一方面使用卷积核大小 为3 3 步长为2的卷积层下采样并扩充通道后再与特征图D 4 3进行通道拼接 通道拼接后 的结果使用卷积核大小为3 3的卷积层压缩通道获得特征图D 4 7 特征图D 4 7经卷积核大小 为1 1的卷积层调整通道获得输出 特 征图D 4 8 3 特征图D 4 6另一方面也使用卷积核大小为1 1的卷积层调整通道获得输出特征图 D4 8 2 特征图D 4 5另一方面也使用卷积核大小为1 1的卷积层调整通道获得输出特征图 D4 8 1 特 征图D 4 8 3 特 征图D 4 8 2 特 征图D 4 8 1为融合特 征提取模块的三个输出 8 一种温室生产环境下草莓白粉病快速检测方法 该检测方法的具体步骤是 权 利 要 求 书 2 6 页 3 CN 114549494 A 第一 步 采集温室生产环境下草莓叶片病害图像数据 并制作数据集 第1 1步 在日光温室草莓生产环境下 设置多个采样点 采集不同光照条件真实生产 环境下 的草莓病害叶片背面图像 采样点应尽量覆盖到了整个温室 病害叶片背面需要人 工翻叶片 但是叶片不脱离植物 采样的时候背景是包含非所观察的病害叶片的其它叶片 的 第1 2步 基于采样点抽选 找到发病叶片就采集 一旦发现病害发生 开始对观测的每 株全部叶片进行分辨 拍照 全部图像获取均由专业人员人工观测获得 第1 3步 使用labelimg工具标注图像 按照病害 powdery mildew 发病叶片 leaf with disease 其他叶片 leaf without disease 进行标注 即将病害所在位置框选出 来 将病害所在整个叶片即发病叶片框选 除发病叶片以外的肉眼可见 的叶片轮廓为其他 叶片将其框选出来 对于图片中虚化严重的叶片 如果边缘区域无法肉眼辨识 则不予标 记 第1 4步 生成数据集 将不同光照背景环境下采集标注后含病害的所有图像制作数据 集 每张图片会包含三种标注中的一个或多个 其中病害和发病叶片都至少会有一个 其他 叶片可能没有 也可能有 多个 第二 步 图像预处 理 第2 1步 将上述第1 4步得到数据集中的图像作为输入 通过亮数据增强手段进行处 理 并使用mosaic方法进行拼接 形成增强后图像 第2 2步 将第 1步增强后图像随机缩放到 32的10 19倍进行训练 第三步 使用基于深度可分离卷积的跨阶段局部网络 DW CSPNet 构建DW YOLOv4的骨 干网络模块 第3 1步 构建基于深度可分离卷积的跨阶段局部网络模块 DW CSPNet 第3 1 1步 以上一步的输出图像D作为输入 送入卷积核大小为3 3 步长为2 输出通 道数为C out的下采样层进行图像处 理 形成特 征图D 1 如公式 1 所示 其中 表示卷积核大小为3 3 步长为2 含归一化和LeakyReLU激活函数的卷积操 作 第3 1 2步 处理后的结果分成2个分支 一个分支使用卷积核大小为1 1的卷积层压 缩通道 形成特 征图D 2 如公式 2 所示 D2 1 D1 2 其中 1表示卷积核大小为1 1 含 归一 化和LeakyReLU激活函数的卷积 操作 第3 1 3步 另一个分支经过卷积 核大小 为1 1的卷积层压缩通道 形 成特征图D 3 使用 卷积核大小为3 3的深度可分离卷积和卷积核大小为1 1的卷积层对D 3进行特征提取 并 与D 3进行求和得到特 征图D 4 如公式 3 所示 D3 1 D1 D4 1 3 D3 D3 3 其中 3表示3 3 含归一化和LeakyReLU激活函数的深度可分离卷积操作 表示特征 图求和操作 第3 1 4步 将D 2和D 4进行通道拼接后再使用卷积核大小为1 1的卷积层进行通道压 缩 形成基于深度可分离卷积的跨阶段局部网络模块的输出特征图DW CSP 具体如公 式 4 权 利 要 求 书 3 6 页 4 CN 114549494 A 所示 将基于深度可分离卷积的跨阶段局部网络模块记为f DW CSP 如公式 5 所示 DW CSP f DW CSP D 5 其中 表示特 征图拼接操作 设输入图像D宽 高 通道数分别为w 0 h 0 c 0 通过DW CSPNet处理的特征图维度发生改 变 输出特征图DW CSP的宽 高 通道数分别为w 0 2 h 0 2 c 0 即达到下采样同时增加深度 的目的 第3 2步 构建DW YOLOv4的骨干网络 五个基于深度 可分离卷积的跨阶段局部网络依次串联 第 三个基于深度 可分离卷积的 跨阶段局部网络的输出记为特征图DW CSP 1 如公式 6 所示 第四个基于深度可分离卷积 的跨阶段局部网络的输出记为特征图DW CSP 2 如公式 7 所示 第五个基于深度可分离卷 积的跨阶段局部网络的输出记为特征图DW CSP 3 如公式 8 所示 特征图DW CSP 1 特征图 DW CSP2和特 征图DW CS P3将作为输入特 征图 参与到第四步融合特 征提取模块的计算 DW CSP1 f DW CSP fDW CSP fDW CSP D 6 DW CSP2 f DW CSP DW CSP1 7 DW CSP3 f DW CSP DW CSP2 8 其中 第一个 基于深度可分离卷积的跨阶段局部网络的输出通道数为32 第四步 构建DW YOLOv4的融合特 征提取模块 第4 1步 以DW CSP 3为输入 使用3 3的卷积 进行通道压缩 得到特征图D 4 1 如公式 9 所示 D4 1 3 DW CSP3 9 其中 3表示卷积核大小为3 3 含 归一 化和LeakyReLU激活函数的卷积 操作 第4 2步 对D 4 1进行步长为5 9 13的最大池化 将得到的结果与D 4 1进行通道拼接 得 到特 征图D 4 2 如公式 10 所示 其中 5 9 13分别表示 步长为5 9 13的最大池化操作 第4 3步 使用1 1的卷积核对D 4 2进行通道压缩 得到特 征图D 4 3 如公式 1 1 所示 D4 3 1 D4 2 11 第4 4步 使用1 1的卷积 对D 4 3进行通道 压缩后进行上采样 与DW CSP 2进行通道拼接 再使用1 1的卷积核 进行通道压缩 得到特 征图D 4 4 如公式 12 所示 其中 为上采样 操作 第4 5步 使用1 1的卷积 对D 4 4进行通道 压缩后进行上采样 与DW CSP 1进行通道拼接 再使用3 3的卷积核 进行通道压缩 得到特 征图D 4 5 如公式 13 所示 第4 6步 使用大小为3 3 步长为2的卷积核对D 4 5进行下采样及通道扩充 与D 4 4拼接 后再使用3 3的卷积核 进行通道压缩 得到特 征图D 4 6 如公式 14 所示 权 利 要 求 书 4 6 页 5 CN 114549494 A 第4 7步 使用大小为3 3 步长为2的卷积核对D 4 6进行下采样及通道扩充 与D 4 3拼接 后再使用3 3的卷积核 进行通道压缩 得到特 征图D 4 7 如公式 15 所示 第4 8步 使用三个1 1的卷积分别对D 4 5 D4 6 D4 7调整输出维度 形成最终特征图 D4 8 1 D4 8 2 D4 8 3 如公式 16 所示 D4 8 1 1 D4 5 D4 8 2 1 D4 6 D4 8 2 1 D4 7 16 其中 卷积 1为卷积核大小为1 1的不含 归一 化和LeakyReLU激活函数的卷积 操作 至此完成DW YOLOv4的融合特 征提取模块的构建 第五步 使用结合CIOU和指数增 强二值交叉熵的损失函数计算第4 8步输出的预测值 与实际值之间的损失 第4 8步输出的预测值包括目标框中心 点坐标 宽度 高度 类别以及 置信度 总损失 公式为式 23 其中 为目标检测任务的损失函数 为使用指数增强二值交叉熵表示类别预测 值与实际值的损失 为使用二 值交叉熵计算的置信度损失 第六步 对经损失计算后的模型 预测结果进行非极大值抑制NMS 并进行 结果调整 第6 1步 使用NMS对经损失计算后的模型预测结果进行处理 得出病害 powdery mildew 发病叶片 leaf with disease 其他叶片 leaf without disease 三类目标中 未超出NMS阈值的预测结果 包括目标框中心点 坐标 宽度 高度 类别以及置信度 第6 2步 对非极大值抑制后的预测结果进行调整 由于病害一定发生在叶片上 但第6 1步所获得的预测结果并不一定会识别出发病叶 片 当图片识别 出了病害 但没有识别 出发病叶片时 将与病害的IoU最大的其他叶片类别 调整为 发病叶片 如果没有任何叶片与 识别出的病害的IoU 0则剔除该发病点 确保全部检 测出的病害都有发病叶片与之对应 骨干网络模块和融合特征提取模块 损失计算和非极大值抑制并调整共同构成DW YOLOv4网络 第七步 计算病情指数 病情指数的具体 计算过程是 利用公式 24 计算融合调整系数的发病率 其中 a i表示第i片发病叶片的发病率 A表示病害的面积 j为第i片发病叶片上的第j个 发病点病害 n表示第i片发病叶片 上的发病点病害个数 B i表示第i片发病叶片面积 表示 叶片面积调整系数 叶片面积调整系数计算方法为 使用二值化和OTSU对标记的发病叶片部分提取绿色像 素 数除以发病叶片标记框像素 数 计算单个叶片的病情指数 将病情 分为1 9级 当发病率小于5 时 病情级别为1 当 发病率在5 25 之间时 病情级别为3 当发病率在25 50 之间时 病情级别为5 当发 权 利 要 求 书 5 6 页 6 CN 114549494 A 病率在50 75 之间时 病情级别为7 当发病率大于75 时 病情级别为9 具体公式如 下 其中 i表示第i片发病叶片 根据公式 26 计算整体病情指数 其中 N 为发病叶片个数 i 为第i片发病叶片 根据不同的发病程度通过经验数据会给出相应的专家治疗意见 不同病情指数对应相 应的专 家治疗意见 至此 完成了温室生产环境下基于DW YOLOv4的草莓白粉病快速检测 和病情定量评估 9 一种草莓白粉病快速检测系统 包括存储器和处理器 存储器存储权利要求1 8中任 一所述的DW YOLOv4网络和病情指数计算 存储器上的程序用于被处理器加载时执行上述 的检测方法 10 根据权利要求9所述的所述草莓白粉病快速检测系统 其特征在于 该检测系统集 成到智能终端 上 智能终端为手机 iPad或笔记本 农民拍照叶片 系统识别病情程度 给出 治疗意见 权 利 要 求 书 6 6 页 7 CN 114549494 A 一种温室生产环境下草莓白粉病快速检测方 法 技术领域 0001 本发明的技术方案涉及草莓白粉病检测技术领域 具体地说是一种基于DW YOLOv4温室生产环境下草莓白粉病快速检测方法 背景技术 0002 草莓是近年来深受用户喜爱的高价值水果之一 在北方于每年8 9月份定植 到次 年3 4月结束 由于是越冬茬 草莓通常在温室中进 行培育 受温室温室结构影响 草莓种植 期间易出现湿度大 光照不足 通风不良等问题 为草莓真菌性病害发生提供了温床 白粉 病 是近年来草莓生产上普遍发生的一种危害严重的病害 该病害发生流行频率高 经济损 失较高 发生白粉病后 草莓一般减产20 30 严重时可达50 以上 甚至绝 收 严重影 响草莓的产量和品质 草莓白粉病在发病初期 受害部位会覆盖一层白色粉状物 表现为叶 面出现白色菌丝 随着病情加重 叶片产生暗斑和白色粉状物 叶缘上卷 后期病斑变红褐 色 叶质变脆 叶缘萎缩 焦枯 目前白粉病的发现主要靠人工检验 周期 长 发现滞后 并且 发现后病情诊断 如何施药等措施由于缺少专家参与极易出现农户施用药品种类 药量不 准确情况 进一步造成产量 品质的损失以及环境的污染 即便专家现场协助指导 但由于 观察数量有限 同样存在估算病情指数依据经验 数据不准确的情况 随着人工智能的发 展 使用计算机视觉技术进 行病害的识别 病情的诊断成为了可能性 使用视觉技术可以实 现更多点位的病情监控 并进 行病情诊断 给出合理的施治方案 因此在真实生产 环境对草 莓叶片白粉病害 进行 快速检测 和识别成为了智能农业的主 要研究方向之一 0003 Jaemyung Shin等人在 Adeep learning approach for RGB image based powdery mildew disease detection on strawberry leaves 中对比了使用AlexNet SqueezeNet GoogLeNet ResNet 50 Squeez eNet MOD1和SqueezeNet MOD2六种网络进行草 莓叶片白粉病识别的效果 确定使用ResNet 50识别率更高 使用SqueezeNet MOD2识别率 略低于ResNet 50 但 其所使用的数据集是实验室环 境简单背 景下的图像 仅能判别叶片是 否为发病叶 没有对病害的位置进行检测 也没有对发病程度进行估算 Patrick Wspanialy等人在 A detection and severity estimation system for generic diseases of tomato greenhouse plants 中提出了一种温室种植番茄病害严重程度评估 方法 但使用的同样是针对实验室简单环境下采集的叶片病害样本 对病害的识别使用的 是实例分割方法 识别的叶片和病害边缘是不规则的区域 算法运行速度 慢 难以在实际应 用中推广 公布号为CN 112150481 A的中国专利公开一种白粉病图像分割方法 使用的是 白粉病灰度图进 行病害点 实例分割 再用白粉病病害区域的像素点占采集图像的像素点的 比例计算发病程度 其分母为采集图像的像素点 并非完整叶片的像素点 容易在发病程度 计算上存在偏差 且实例分割的算法效率往往低于目标检测算法的识别效率 不能满足实 际应用中实时性的要求 说 明 书 1 18 页 8 CN 114549494 A 发明内容 0004 针对现有技术的不足 本发明所要解决的技术问题是 提出一种温室生产环境下 基于DW YOLOv4 Depthwise separable You Only Look Once v4 深度可分离YOLOv 4网络 的草莓白粉病快速检测方法 该方法将深度可分离卷积结构嵌入到YOLOv4框架中 通过多 尺度目标检测实现了对草莓叶片白粉病病害区域和发病叶片的检测 并基于病害检测区域 面积预估病情指数 解决了草莓白粉病发病初期检测难的问题 实现了草莓白粉病的快速 检测及病情定级 0005 本发明解决所述技术问题所采用的技术方案是 一种温室生产环境下草莓白粉病 快速检测方法 该 方法包括以下内容 0006 采集温室草莓生产环境下不同光照条件下白粉病发病叶片背面图像 图像背景为 草莓生长环境 在背面图像上按照病害 发病叶片 其 他叶片进行 标注 制作数据集 0007 构建DW YOLOv4网络 网络包括骨干网络模块和融合特 征提取模块两 部分 0008 骨干网络模块 使用五组基于深度可分离卷积的跨阶段局部网络模块DW CSPNet 进行串联获得 其中 DW CSPNet包括通过卷积核大小为3 3的卷积层下采样 卷积核大小 为 1 1的卷积层压缩或扩充通道 卷积核为3 3的深度可分离卷积 通道 拼接 特征图求和 操作 0009 融合特征提取模块 使用骨干网络模块中的第3 4 5个基于深度可分离卷积结构 的跨阶段局 部网络DW CSPNet的三个输出特征图作为输入 融合特征提取模块包括最大池 化 通道 拼接 卷积核 大小为1 1的卷积层 上采样 下采样 最 终形成三个尺度不同的输出 特 征图 0010 将采集到的图像输入到D W YOLOv4网络中实现草莓叶片白粉病病害区域及发病叶 片的检测 0011 根据白粉病发病 病害区域 面积占发病叶片面积的占比得到病情指数 0012 所述病情指数的具体 计算过程是 0013 利用公式 24 计算融合调整系数的发病率 0014 0015 其中 a i表示第i片发病叶片的发病率 A表示病害的面积 j为第i片发病叶片上的 第j个发病点病害 n表示第i片发病叶片 上的发病点病害个数 B i表示第i片发病叶片面积 表示叶片面积调整系数 0016 叶片 面积调整系数计算方法为 使用二值化和OTSU对标记的发病叶片部分提取绿 色像素 数除以发病叶片标记框像素 数 0017 计算单个叶片的病情指数 将病情分为1 9级 当发病率小于5 时 病情级别为 1 当发病率在5 25 之间时 病情级别为3 当发病率在25 50 之间时 病情级别为5 当发病率在50 75 之间时 病情级别为7 当发病率大于 5 时 病情级别为9 具体公 式 如下 说 明 书 2 18 页 9 CN 114549494 A 0018 0019 其中 i表示第i片发病叶片 0020 根据公式 26 计算整体病情指数 0021 0022 其中 N 为发病叶片个数 i 为第i片发病叶片 0023 根据不同的发病程度通过经验数据会给出相应的专家治疗意见 不同病情指数对 应相应的专 家治疗意见 0024 该检测方法的具体步骤是 0025 第一 步 采集温室生产环境下草莓叶片病害图像数据 并制作数据集 0026 第1 1步 在日光温室草莓生产环境下 设置多个采样点 采集不同光照条件真实 生产环境下 的草莓病害叶片背面图像 采样点应尽量覆盖到了整个温室 病害叶片背面需 要人工翻叶片 但是叶片不脱离植物 采样的时候背景是包含非所观察的病害叶片的其它 叶片的 0027 第1 2步 基于采样 点抽选 找到 发病叶片就采集 一旦发现病害发生 开始对观测 的每 株全部叶片进行分辨 拍照 全部图像获取均由专业人员人工观测获得 0028 第1 3步 使用labelimg工具标注图像 按照病害 powdery mildew 发病叶片 leaf with disease 其他叶片 leaf without disease 进行标注 即将病害所在位置框 选出来 将病害所在整个叶片即发病叶片框选 除发病叶片以外的肉眼可见 的叶片轮廓为 其他叶片将其框选出来 对于图片中虚 化严重的叶片 如果边缘区域无法肉 眼辨识 则不 予 标记 0029 第1 4步 生成数据集 将不同光照背景环境下采集标注后含病害的所有图像制作 数据集 每张图片会包含三种标注中的一个或多个 其中病害和发病叶片都至少会有一个 其 他叶片可能没有 也可能有 多个 0030 第二 步 图像预处 理 0031 第2 1步 将上述第 4步得到数据集中的图像作为输入 通过数据增强手段进行 处 理 并使用mosaic方法进行拼接 形成增强后图像 0032 第2 2步 将第 1步增强后图像随机缩放到 32的10 19倍进行训练 0033 第三步 使用基于深度可分离卷积的跨阶段局部网络 DW CSPNet 构建DW YOLOv4 的骨干网络模块 0034 第3 1步 构建基于深度可分离卷积的跨阶段局部网络模块 DW CSPNet 0035 第3 1 1步 以上一步的输出图像D作为输入 送入卷积核大小为3 3 步长为2 输 出通道数为C out的下采样层进行图像处 理 形成特 征图D 1 如公式 1 所示 0036 0037 其中 表示 卷积核大小为3 3 步长 为2 含归一化和L eakyReLU激活函 数的卷积 说 明 书 3 18 页 10 CN 114549494 A 操作 0038 第3 1 2步 处理后的结果分成2个分支 一个分支使用卷积核大小为1 1的卷积 层压缩通道 形成特 征图D 2 如公式 2 所示 0039 D2 1 D1 2 0040 其中 1表示卷积核大小为1 1 含 归一 化和LeakyReLU激活函数的卷积 操作 0041 第3 1 3步 另一个分支经过卷积核大小为1 1的卷积层压缩通道 形成特征图 D3 使用卷积核大小为3 3的深度 可分离卷积和卷积核大小为1 1的卷积层对D 3进行特征 提取 并与D 3进行求和得到特 征图D 4 如公式 3 所示 0042 D3 1 D1 D 4 1 3 D3 D3 3 0043 其 中 3表示3 3 含归一化和LeakyReLU激活函数的深度可分离卷积操作 表示 特 征图求和操作 0044 第3 1 4步 将D 2和D 4进行通道拼接后再使用卷积 核大小 为1 1的卷积层进行通道 压缩 形成基于深度可分离卷积的跨阶段局 部网络模块的输出特征图DW CSP 具体如公式 4 所示 将基于深度可分离卷积的跨阶段局部网络模块记为f DW CSP 如公式 5 所示 0045 0046 DW CSP f DW CSP D 5 0047 其中 表示特 征图拼接操作 0048 设输入图像D宽 高 通道数分别为w 0 h 0 c 0 通过DW CSPNet处理的特征图维度发 生改变 输出特征图DW CSP的宽 高 通道数分别为w 0 2 h 0 2 c 0 即达到下采样同时增加 深度的目的 0049 第3 2步 构建DW YOLOv4的骨干网络 0050 五个基于深度可分离卷积的跨阶段局部网络依次串联 第三个基于深度可分离卷 积的跨阶段局部网络的输出记为特征图DW CSP 1 如公式 6 所示 第四个基于深度可分离 卷积的跨阶段局部网络的输出记为特征图DW CSP 2 如公式 7 所示 第五个基于深度可分 离卷积的跨阶段局部网络的输出记为特征图DW CSP 3 如公式 8 所示 特征图DW CSP 1 特征 图DW CS P2和特 征图DW CS P3将作为输入特 征图 参与到第四步融合特 征提取模块的计算 0051 DW CSP1 f DW CSP fDW CSP fDW CSP D 6 0052 DW CSP2 f DW CSP DW CSP1 7 0053 DW CSP3 f DW CSP DW CSP2 8 0054 其中 第一个基于深度可分离卷积的跨阶段局部网络的输出通道数为32 其他按 照步骤3 1中的输出通道数规则处 理 0055 第四步 构建DW YOLOv4的融合特 征提取模块 0056 第4 1步 以DW CSP 3为输入 使用3 3的卷积 进行通道压缩 得到特征图D 4 1 如 公式 9 所示 0057 D4 1 3 DW CSP3 9 0058 其中 3表示卷积核大小为3 3 含 归一 化和LeakyReLU激活函数的卷积 操作 0059 第4 2步 对D 4 1进行步长为5 9 13的最大池化 将得到的结果与D 4 1进行通道拼 接 得到特 征图D 4 2 如公式 10 所示 0060 说 明 书 4 18 页 11 CN 114549494 A 0061 其中 5 9 13分别表示 步长为5 9 13的最大池化操作 0062 第4 3步 使用1 1的卷积核对D 4 2进行通道压缩 得到特征图D 4 3 如公式 11 所 示 0063 D4 3 1 D4 2 11 0064 第4 4步 使用1 1的卷积对D 4 3进行通道压缩后进行上采样 与DW CSP 2进行通道 拼接 再使用1 1的卷积核 进行通道压缩 得到特 征图D 4 4 如公式 12 所示 0065 0066 其中 为上采样 操作 0067 第4 5步 使用1 1的卷积对D 4 4进行通道压缩后进行上采样 与DW CSP 1进行通道 拼接 再使用3 3的卷积核 进行通道压缩 得到特 征图D 4 5 如公式 13 所示 0068 0069 第4 6步 使用大小为3 3 步长为2的卷积核对D 4 5进行下采样及通道扩充 与D 4 4 拼接后再使用3 3的卷积核 进行通道压缩 得到特 征图D 4 6 如公式 14 所示 0070 0071 第4 7步 使用大小为3 3 步长为2的卷积核对D 4 6进行下采样及通道扩充 与D 4 3 拼接后再使用3 3的卷积核 进行通道压缩 得到特 征图D 4 7 如公式 15 所示 0072 0073 第4 8步 使用三个l 1的卷积分别对D 4 5 D 4 6 D 4 7调整输出维度 形成最终特征 图D 4 8 1 D 4 8 2 D 4 8 3 如公式 16 所示 0074 D4 8 1 1 D4 5 D 4 8 2 1 D4 6 D 4 8 2 1 D4 7 16 0075 其中 卷积 1为卷积核大小为1 1的不含归一化和LeakyReLU激活函数的卷积操 作 至此完成DW YOLOv4的融合特 征提取模块的构建 0076 第五步 使用结合CIOU和指数增强二值交叉熵的损失函数计算第4 8步输出的预 测值与实际值之间的损失 第4 8步输出的预测值包括目标框中心 点坐标 宽度 高度 类别 以及置信度 0077 总损失 公式为式 23 0078 0079 其中 为目标检测任务的损失函数 为使用 指数增强二值交叉熵表示类 别预测值与实际值的损失 为使用二 值交叉熵计算的置信度损失 0080 第六步 对经损失计算后的模型 预测结果进行非极大值抑制NMS 并进行 结果调整 0081 第6 1步 使用NMS对经损失计算后的模型预测结果进行处理 得出病害 powdery mildew 发病叶片 leaf with disease 其他叶片 leaf without disease 三类目标中 未超出NMS阈值的预测结果 包括目标框中心点 坐标 宽度 高度 类别以及置信度 0082 第6 2步 对非极大值抑制后的预测结果进行调整 0083 由于病害一定发生在叶片上 但第6 1步所获得的预测结果并不一定会识别出发 病叶片 当图片识别出了病害 但没有识别出发病叶片时 将与病害的IoU最大的其他叶片 类别调整为发病叶片 如果没有任何叶片与识别 出的病害的IoU 0则剔除该发病点 确保 说 明 书 5 18 页 12 CN 114549494 A 全部检测出的病害都有发病叶片与之对应 0084 骨干网络模块和融合特征提取模块 损失计算和非极大值抑制并调整共同构成 DW YOLOv4网络 0085 第七步 计算病情指数 0086 病情指数的具体 计算过程是 0087 利用公式 24 计算融合调整系数的发病率 0088 0089 其中 a i表示第i片发病叶片的发病率 A表示病害的面积 j为第i片发病叶片上的 第j个发病点病害 n表示第i片发病叶片 上的发病点病害个数 B i表示第i片发病叶片面积 表示叶片面积调整系数 0090 叶片 面积调整系数计算方法为 使用二值化和OTSU对标记的发病叶片部分提取绿 色像素 数除以发病叶片标记框像素 数 0091 计算单个叶片的病情指数 将病情分为1 9级 当发病率小于5 时 病情级别为 1 当发病率在5 25 之间时 病情级别为3 当发病率在25 50 之间时 病情级别为5 当发病率在50 75 之间时 病情级别为7 当发病率大于 5 时 病情级别为9 具体公 式 如下 0092 0093 其中 i表示第i片发病叶片 0094 根据公式 26 计算整体病情指数 0095 0096 其中 N 为发病叶片个数 i 为第i片发病叶片 0097 根据不同的发病程度通过经验数据会给出相应的专家治疗意见 不同病情指数对 应相应的专 家治疗意见 0098 至此 完成了温室生产环境下基于DW YOLOv4的草莓白粉病快速检测和病情定量 评估 0099 本发明还保护一种草莓白粉病快速检测系统 包括存储器和处理器 存储器存储 所述的DW YOLOv4网络和病情指数计算 存储器上的程序用于被处理器加载时执行上述的 检测方法 0100 本发明的有益效果是 0101 1 本 发明方法使用深度可分离卷积提取特征 大大减少了模型所需参数量 在减 少模型大小的基础上不降低准确程度 识别速度更快 DW YOLOv4模型大小为20 7MB YOLOv4模型大小为256 1MB 相比YOLOv4模型DW YOLOv4模型更适于在移动设备上部署 同 时检测速度也有明显提升 DW YOLOv4检测速度为264fps远高于 YOLOv4的68fps检测速度 说 明 书 6 18 页 13 CN 114549494 A 0102 2 本发明构建的DW YOLOv4网络 包括基于深度可分离卷积结构的骨 干模块和融 合特征提取模块 将不同层的特征图在融合特征提取模块进行融合 能够同时保留浅层和 深层 网络提取 的特征 提升网络对不同大小目标的识别能力 克服了由于白粉病发病早期 病害面积小 受光照干扰大 难以检测的问题 0103 3 本发明检测方法使用指数增强二值交叉熵优化了损失函数 来解决病害与叶 片数量 不平衡的问题 能够帮助DW YOLOv4网络更加关注类别 信息 0104 4 本发明在检测出草莓白粉病病害 发病叶片基础上进一步提出了叶片融合调 整系数的病情指数计算方法 克