深度学习在植物叶部病害检测与识别的研究进展.pdf-

资源描述：

2022 年3 月第4 卷第1 期 Mar 2022 Vol 4 No 1 智慧农业中英文 S m a r t A g r i c u l t u r e 深度学习在植物叶部病害检测与识别的研究进展邵明月 1 张建华 1 冯全 2 柴秀娟 1 张凝 1 张文蓉 1 1 中国农业科学院农业信息研究所农业农村部农业大数据重点实验室北京 1 0 0 0 8 1 2 甘肃农业大学机电工程学院甘肃兰州 7 3 0 0 7 0 摘要植物病害准确检测与识别是其早期诊断与智能监测的关键是病虫害精准化防治与信息化管理的核心深度学习应用于植物病害检测与识别中可以克服传统诊断方法的弊端大幅提升病害检测与识别的准确率引起了广泛关注本文首先收集和介绍了部分公开的植物病害图像数据集然后系统地综述了近年来深度学习在植物病害检测和识别中的研究应用进展阐述了从早期检测和识别算法到基于深度学习的检测和识别算法的研究进展以及各算法的优点和存在的问题调研了相关研究文献提出了光照遮挡复杂背景病害症状之间相似性病害在不同时期症状会有不同的变化以及多种病害交叠共存是目前植物病害检测和识别面临的主要挑战并进一步指出将性能更好的神经网络大规模数据集和农业理论基础相结合是未来主要的发展趋势同时还指出了多模态数据可以用于植物早期病害的识别也是未来发展方向之一本文可为植物病害识别的深入研究与发展提供参考关键词植物叶部病害深度学习病害检测识别卷积神经网络病害图像数据集中图分类号 S 4 3 2 T P 3 9 1 4 T P 1 8 3 文献标志码 A 文章编号 S A 2 0 2 2 0 2 0 0 5 引用格式邵明月张建华冯全柴秀娟张凝张文蓉深度学习在植物叶部病害检测与识别的研究进展 J 智慧农业中英文 2022 4 1 29 46 SHAO Mingyue ZHANG Jianhua FENG Quan CHAI Xiujuan ZHANG Ning ZHANG Wenrong Research prog ress of deep learning in detection and recognition of plant leaf diseases J SmartAgriculture 2022 4 1 29 46 in ChinesewithEnglishabstract 1 引言植物病害是影响植物生长的最复杂多变且难以克服的因素之一是一种全球农业生产和生态安全的生物灾害发生植物病害不仅影响植物的正常生长造成农产品产量与品质的降低还会带来粮食安全问题 1 2 近年来受全球气候变暖农业水资源匮乏及农业耕地面积减少等因素影响植物病害变得更加普遍和频繁 3 据报道每年仅由植物病害造成的全球经济损失高达2 200 亿美元 4 加强对植物病害的防治和管理是保证农作物高产农产品优质的关键植物病害防治的关键是能够及时准确地检测病害危害区域并对其病害类型进行辨识 5 植物病害种类繁多全世界已有990 多种植物病毒 doi 10 12133 j smartag SA202202005 收稿日期 2021 09 30 基金项目国家自然科学基金 31971792 31901240 中央级公益性科研院所基本科研业务费专项 JBYW AII 2020 07 JBYW AII 2020 27 JBYW AII 2021 08 中国农业科学院基本科研业务费专项 Y2020YJ07 中国农业科学院创新工程 CAAS ASTIP 2016 AII 作者简介邵明月 1997 女硕士研究生研究方向为机器视觉与农业机器人 E mail 82101205406 通信作者张建华 1982 男博士副研究员研究方向为机器视觉与农业机器人 E mail zhangjianhua Vol 4 No 1 智慧农业中英文 S m a r t A g r i c u l t u r e 被确认 6 植物叶片感染病毒真菌或生理病变后感染部位的外部形态特征和内部生理结构均会发生变化外部发生如形变褪色卷曲腐烂变色等内部主要为水分和色素含量变化等 7 由于不同病害之间的受害症状呈现模糊性复杂性和相似性加之部分农民的科技文化素质普遍偏低不能精确诊断并掌握植物病害的发生与发展往往在植物病害严重时才大剂量地喷洒农药容易错过病害最佳防治时期不但造成农作物大量减产还严重污染环境 8 9 因此如何快速简便准确地检测植物病害发生区域并对其病害种类进行识别为病害防治提供必要信息已成为植物种植面临的重要问题深度学习概念在2006 年由深度学习之父 Hinton 正式提出 10 但受当时硬件条件限制一直未得到学术界重视直到 2012 年 Kri zhevsky 等 11 在图形处理器 Graphics Process ing Unit GPU 上实现了一种著名的卷积神经网络 Convolutional Neural Networks CNN AlexNet 该网络在当年斯坦福大学主办的图像识别挑战赛 ImageNet Large Scale Visual Recognition Challenge 上的分类精度碾压了其他早期计算机视觉方法此后各种CNN 被陆续提出深度学习得到快速发展深度学习是一种模拟人脑进行分析学习的神经网络通过组合低层特征形成更加抽象的高层表示属性类别或特征以发现数据的分布式特征表示解决很多复杂的模式识别难题 12 相对于浅层学习深度学习具有学习能力强覆盖范围广适应性好性能上限高可移植性好等优点 13 深度学习作为新人工智能崛起的代表不断取得重大进展很好地解决了人工智能界很多年来一直努力但仍没有得到重要进展的问题 14 近年来深度学习技术逐渐被引入到植物病害检测与识别在该领域获得了较快的发展并涌现出大量的研究成果已成为本领域研究热点本文对近年来基于深度学习的植物叶部病害的检测和识别研究进行了综述分别从植物病害图像数据集植物病害目标检测研究进展和植物病害识别研究进展等三个方面进行阐述总结出植物病害检测和识别目前面临的挑战并对未来的发展趋势进行了展望 2 植物病害图像数据集数据集是构建深度学习模型的基础数据集的质量和大小决定着深度学习模型能否构建成功 15 高质量的数据集往往能够提高模型训练的质量和预测的准确率也可有效地提高神经网络模型的泛化能力一个更高质量的模型可以更精准地区分植物病害的不同类型及危害程度从而提供更科学的防治措施据调查目前已形成了多个已公开的植物病害图像数据集具体如表1 所示 2 1 国外主要植物病害图像数据集 1 PlantVillage 该数据集是David Hudhes 和Marcel Salath 联合创建的公开数据集是目前被使用次数最多的数据库之一 PlantVillage 囊括了14 种植物 26 种病害共38 个类别包含 54 036 幅图像非常适用于植物病害检测和识别模型的训练但PlantVillage 中的图像大多是在实验室或单一背景下拍摄的复杂自然条件下拍摄的图像较少 2 Plant Pathology 2020 FGVC7 主要是高质量带注释的苹果图像包括苹果黑星病苹果锈病多种病害共存和健康叶片共3651 张图像其中苹果黑星病图像1200 张苹果锈病图像1399 张多种病害共存图像187 张健康叶片图像865 张 3 Cucumber Plant Diseases Dataset 该数据集由Karim Negm 分享共包含695 张田间自然条件下拍摄的黄瓜有病的和健康的图像 4 New Plant Diseasea Dataset 由 Samir Bhattarai 使用数据增强技术重新创建的数据集该数据集由38 个不同的类别组成包括健康叶片和非健康叶片共87 000 张但该数据图像背景 3 0邵明月等深度学习在植物叶部病害检测与识别的研究进展 Vol 4 No 1 为单一背景 5 PlantDoc 由Singh 等 16 创建共包含 2598 张图像涵盖13 种植物 17 种病害类型 6 Rice Diseases Image Dataset 涵盖水稻褐斑病叶斑病铁甲虫病及健康叶片共5447 张图像 7 PlantPathology Apple Dataset 由Plant village 衍生而来包括苹果黑星病黑腐病雪松苹果锈和健康叶片4 种共包含3171 张图像 8 New Plant Diseases Dataset Augment ed 该数据集是一个相关番茄的数据集基于 Plantvillage 数据经数据增广技术衍生而来包括9 个番茄病害和1 个健康叶片共22 900 张图像 9 PlantifyDr Dataset 该数据集包含10 种不同植物类型主要为苹果甜椒樱桃柑橘玉米葡萄桃子土豆草莓和番茄 37 种植物病害类型共125 000 张图像 10 Plant Disease Recognition Dataset 该数据集包含健康粉状生锈3 种共1530 张图像 11 Corn Leaf Diseases NLB 包括患病和健康玉米叶片共4 115 张 2 2 国内植物病害图像数据集 1 PDD271 Liu 等 17 收集的植物病害数据集PDD271 包括220 592 幅植物叶片图像涵盖271 种植物病害类别其中每个植物病害类别至少包含500 张图像 200 多株植物且每张图像采集时都由专家及时标注采集后由未参与标注工作的专家进行检查以保证标签的正确性 2 农业病虫害研究图库 IDADP 该数据集是由中国科学院合肥智能机械研究所亚热带农业生态研究所和遥感与数字地球研究所共同建设的综合数据库涵盖大田作物水果和蔬菜等多种植物类型及真菌细菌和病毒等多种病害种类每种病虫害包括几百到几千张图像图像绝大部分用单反相机拍摄分辨率不小于两千万像素 6000 4000 5472 3648 少部分用手机拍摄分辨率像素为4128 2322 而且绝大多数图像都是从自然条件下拍摄的可应用于复杂自然条件下植物病害的识别和检测 3 植物疾病症状图像数据库 PDDB 该数据集是一个免费的数据库涵盖21 种植物 171 种病害类型共收集接近5 万幅图像 85 表 1 公开的植物病害图像数据集及网址 Table1 Publiclyavailableplantdiseaseimagedatasetsandwebsites 区域国外国内数据集名称 PlantVillage CVPR2020 FGVG7 CucumberPlantDiseasesDataset NewPlantDiseaseDataset PlantDoc RiceDiseasesImageDataset PlantPathologyAppleDataset NewPlantDiseasesDataset Augmented PlantifyDrDataset Plantdiseaserecognitiondataset CornLeafDiseases NLB PDD271 农业病虫害研究图库 IDADP PDDB 水稻叶病数据集 RiceLeafDiseasesDataSet 数据集网址 https plantvillage psu edu https https https https https https https https https https https http https www digipathos ptia embrapa br jspui https archive ics uci edu ml datasets Rice Leaf Diseases 3 1Vol 4 No 1 智慧农业中英文 S m a r t A g r i c u l t u r e 的图像是在真实条件下拍摄其他图像在可控条件下拍摄图像全部由数码相机和移动设备拍摄分辨率在1 24 万像素之间 18 且都经过了专家标注 4 水稻叶病数据集该数据集图像是在阳光直射下以白色背景拍摄的主要为水稻白叶枯病褐斑病和黑穗病每种病害均拍摄40 张共120 张 3 植物病害目标检测研究进展植物病害目标检测是利用计算机视觉技术在复杂自然条件下检测出植物病害侵染区域及其准确位置是植物病害准确分类识别和病害危害程度评估的前提也是植物病害区域准确定位并引导植保装备对靶喷药的关键 19 早期植物病害目标检测算法采用滑动窗口策略选出候选区域然后提取候选区域特征最后使用分类器进行分类从而获得目标区域如 V J Viola Jones 检测方向梯度直方图 His togram of Oriented Gradient HOG 检测和有关可变形部件模型 Deable Part Model DPM 算法等滑动窗口方法是设置不同的尺度和宽度对图像进行遍历虽然这种方法应用于病害定位检测可以不错过任何一个病害区域目标但产生的多余候选窗口会带来较大的计算量且将病害图像全部遍历一遍要花费较多时间导致检测的实效性差 20 另外候选区域的特征提取采用手工方式提取的特征较多集中在病害颜色形状等底层特征造成病害检测的鲁棒性差分类器采用Adaboost 支持向量机 Support Vector Machine SVM 等进行识别识别速度慢准确率低 3 1 基于目标检测框架的植物病害检测基于深度学习的R CNN Region CNN 系列 YOLO You Only Look Once SSD Sin gle Shot MultiBox Detector 以及CenterNet 等新检测算法显著优于早期的植物目标检测算法基于深度学习的目标检测框架可以分为二阶检测器 Two stage 和一阶检测器 One stage 两大类 10 3 1 1 基于二阶检测器的植物病害检测二阶检测器首先使用候选框生成器生成稀疏的候选框集并从每个候选框中提取特征然后使用区域分类器预测候选框区域的类别如图1 所示如基于区域建议的CNN 包括R CNN Fast RCNN Faster RCNN 及其变体 2014 年 Girshick 等 21 在一篇会议论文中提出了R CNN 首次使用卷积神经网络提取图像特征开启了利用深度学习进行目标检测的大门在R CNN 基础上 Girshick 22 提出了Fast RCNN 解决了R CNN 在候选区域选择的过程中出现大量重叠框的问题经过R CNN 和FastRCNN 的积淀 Ren 等 23 在2016 年提出了Faster RCNN 将特征提取边界框回归和分类集成到一个网络中使综合性能有较大提高在检测速度方面尤为明显 Fuentes 等 24 应用Faster RCNN VGGNet ResNet 的检测框架对番茄病虫害区域进行定位检测其图像库中类别有 10 种病害平均精度均值 mean Average Precision mAP 值达到了 85 98 从此Faster RCNN 逐渐被应用到植物病害区域检测上刘阗宇等 25 26 采用Faster RCNN 框架分别采用ZF Net 和VGGNet 作为骨干网络能准确定位葡萄叶片和叶片上的病斑 Ozguven 和Adem 27 通过改变Faster RCNN 模型的参数实现对甜菜叶斑病的自动检测对155 幅甜菜图像进行了训练和测试获得了95 48 的总体分类正确率 Bari 等 28 使用Faster RCNN 对水稻患病叶片图像和健康叶片图像进行检测识别叶片患病准确率均在98 以上表明Faster RCNN 可以相对准确实时地检测水稻常见病害 Zhou 等 29 提出了一种基于FCM KM 和Faster RCNN 融合的水稻病害快速检测方法以3010 幅图像为研究基础数据集得到稻瘟病白叶枯病和纹枯病的检测精度分别为96 71 97 53 和98 26 检测时间分别为0 65 0 82 和0 53s 3 2邵明月等深度学习在植物叶部病害检测与识别的研究进展 Vol 4 No 1 Xie 等 30 提出了一种基于改进的深度卷积神经网络 Faster DR IACNN 模型在自建的葡萄叶疾病数据集 Grape Leaf Disease Dataset GLDD 上展开研究并引入了Inception v1 模块 Inception ResNetv2 模块和压缩和激励网络 Squeeze and Excitation Networks SENet 该模型具有较高的特征提取能力 mAP 精度为 81 1 检测速度为15 01 f s 上述研究表明基于二阶检测器的植物病害目标检测在检测准确度方面获得了较好的病害检测效果但由于检测速度慢只能用在实时性要求不高的场景中 3 1 2 基于一阶检测器的植物病害检测一阶检测器直接对特征图上每个位置的对象进行类别预测不经过二阶检测器中的区域建议步骤具体步骤见图2 如YOLO SSD 及其变体 YOLO 是Redmon 等 31 于2016 年提出的一种一阶段检测算法 YOLO 的设计不同于Faster RCNN 它将检测过程整合为单个网络同时实现目标区域预测和分类的回归过程 YOLO 并不生成候选框而是将图像划分成网格以网格为中心确定目标边界和类别与 Faster RCNN 相比 YOLO 在满足更高精度的同时大大提高了检测速度 Bhatt 等 32 在复杂自然条件下的茶园采集图像并提出了一种基于YOLOv3 的病虫害检测方法在确保系统实时可用性的同时实现了mAP 为86 交并比 Intersection over Union IOU 为50 Maski 和Thondiyath 33 提出了几个轻量级的YO LO 模型用于移动农业机器人对植物病害的检测主要针对木瓜环斑病建立了一个大规模的数据集在此基础上tiny YOLOv4 算法的mAP 最高可达99 9 MobileNetV2 YOLOv3 算法在疾病严重程度检测方面的最高mAP 约为98 39 李昊等 34 基于改进的YOLOv4 实现柑橘病虫害叶片检测并根据检测目标框实现柑橘病害叶片的局部分割结合DenseNet 算法对分割出来的叶片进行病害检测检测准确率达到95 46 针对YOLO 的缺陷 Liu 等 35 于2016 年提出了SSD 相较于YOLO SSD 的改进主要包括 3 个方面一是提取不同尺度的特征图解决了 YOLO 不能准确检测小目标的问题二是设计了多个不同尺度的先验框三是在VGG16 网络中增加6 个卷积层来预测边界框偏移量解决了 YOLO 定位不准的问题 Sun 等 36 提出了一种可部署在移动设备上的轻量级的MEAN SSD 病害检测模型 MEAN SSD 是通过引入 MEAN 块 MobileEndAppleNetblock 和所有3 3 卷积核图1 植物病害检测的二阶检测算法流程 Fig 1 Two stagedetectionalgorithmdiagramofplantdiseasedetection 图2 植物病害检测的一阶检测算法图 Fig 2 One stagedetectionalgorithmdiagramofplant diseasedetection 3 3Vol 4 No 1 智慧农业中英文 S m a r t A g r i c u l t u r e 都替换为MEAN 块的Inception 模块构建而成 mAP 能够达到83 12 速度达到12 53 f s Sun 等 37 提出了一种多尺度特征融合的改进的SSD 算法该方法结合了数据预处理特征融合特征共享疾病检测等步骤用于检测复杂背景下玉米叶枯病 mAP 比原SSD 算法的mAP 高了 20 左右从71 80 提高到91 83 同时传输速度也从24 f s 提高到28 4 f s 达到了实时检测 25 f s 的标准 Selvaraj 等 38 对比了几种著名目标检测框架和不同骨干网络组合对香蕉病虫害检测的效果数据库包括了10 种香蕉病虫害共3 万余张图像发现SSD 框架和MobileNetv1 的组合检测总体效果最好虽然经过不断地改进和优化一阶段检测算法在植物病害精度和速度上都有所提高但锚框的存在仍然令这种检测方法不够精简 3 2 基于无锚框的植物病害检测 2019 年 Zhou 等 39 提出了一种无锚框的检测算法 CenterNet 该算法是在CornerNet 的基础上改进而来由原来对两个关键点即图像的左上角和右下角的检测改为对图像中心点的估计由于该算法去掉了生成锚框这一操作并且由热力图估计损失省去了一些耗时的操作所以很大程度上提升了检测性能目前基于 CenterNet 的病害检测研究还较少但CenterNet 已被证明可以应用于自然条件下的目标检测夏雪等 40 通过CenterNet 检测网络与MobileNet v3 相结合构建一个新的网络 M CenterNet 对自然条件下果树上的苹果进行检测并与Cen terNet 和SSD 做对比发现所提网络不论是检测精度还是检测速度上都比CenterNet 和SSD 要好很多尤其是检测速度上比这两种网络提高了 1 倍左右 Albattah 等 41 提出了一种改进的Cen terNet 算法以PlantVillageKaggle 数据库为主要数据来源以DenseNet 77 为基础网络对深层次关键点进行提取然后分别对番茄苹果葡萄等在内的14 种植物26 类病害及12 类健康叶片进行识别从多方面分析得出改进的CenterNet 方法比目前最新的EfficientNet 方法能够更准确地识别植物病害无锚框的检测算法在性能上优于基于锚框的检测算法是今后病害区域检测方面的主要研究方向 3 3 植物病害目标检测分析与展望近年来植物病害检测研究进展见表2 表4 可以看出针对大豆玉米马铃薯苹果葡萄等植物病害目标检测一阶段检测算法和二阶检测算法都获得了较好的检测效果但目前文献表明在病斑边界框 bounding box 标识时较为混乱一些文献对一张叶片上大的病斑单独框出一些文献则对小且多的病斑往往采用一个框对没有明显边界的病害则往往不考虑在病害检测任务范畴内同时对植物生长的复杂自然场景中进行病害目标检测研究较少这种场景下密集小目标检测算法有待进一步研究同时还需应对复杂自然条件下可能出现的光照阴影复杂背景遮挡叠加小病斑检测等难点如今已提出的病害检测算法均对特定的数据集有较好的检测效果但若数据集发生了改变则可能会导致检测效果不佳所以在未来提高模型的鲁棒性是值得研究的一个方向另外早期病害的检测研究仍处于空白阶段主要因为数据采集的困难早期病害部位信息较少研究者无法保证准确识别病害种类与病斑位置但早期病害检测更有利于防止病菌的传播与发展有效防治植物病害所以今后应重视开展对早期病害检测的开发研究以期达到及时防治减少损失的目的目前对植物的病害检测还处于有人工干预的半自动化过程探索全自动化的病害检测方法也将是未来主要研究方向之一 4 植物病害识别研究进展植物病害识别是指对病害图像进行处理分析和理解以辨识不同种类病害对象的技术是植物病害及时有效防治的主要依据 3 4邵明月等深度学习在植物叶部病害检测与识别的研究进展 Vol 4 No 1 早期植物病害识别方法中病害特征的提取和选择是依据先验经验人工完成的识别性

展开阅读全文