基于改进SlowFast模型的设施黄瓜农事行为识别方法.pdf-

资源描述：

2024 年 5 月第 6 卷第 3 期 May 2024 Vol 6 No 3 智慧农业中英文 Smart Agriculture 基于改进 SlowFast 模型的设施黄瓜农事行为识别方法何峰 1 2 吴华瑞 1 2 3 4 史扬明 1 2 朱华吉 1 2 3 4 1 江苏大学计算机科学与通信工程学院江苏镇江 212013 中国 2 国家农业信息化工程技术研究中心北京 100097 中国 3 北京市农林科学院信息技术研究中心北京 100097 中国 4 农业农村部数字乡村技术重点实验室北京 100097 中国摘要目的目的意义意义农事行为活动识别对设施蔬菜生产精准化调控有着重要意义在一定程度上可以通过查看农事操作的时间操作过程是否合理来减少因农事行为不当导致产量下降为了解决农事行为识别方法中由于黄瓜叶片和设施遮挡导致识别准确率不高的问题提出一种名为 SlowFast SMC ECA SlowFast Spatio Temporal Ex citation Channel Excitation Motion Excitation Efficient Channel Attention 的农事活动行为识别算法方法方法该算法主要基于 SlowFast 模型通过改进 Fast Pathway 和 Slow Pathway 中的网络结构来提高对于农事活动中手部动作特征和关键特征的提取能力在 Fast Pathway 中引入多路径激励残差网络的概念通过在信道之间插入卷积操作来增强它们在时域上的相互关联性从而更好地捕捉快速运动信息的细微时间变化在 Slow Pathway 中将传统的 Residual Block 替换为 ECA Res 结构以提高对通道信息的捕获能力这两项改进有效地加强了通道之间的联系提升了特征之间的语义信息传递进而显著提升了农事行为识别的准确率此外为了解决数据集中类别不均衡的问题设计了平衡损失函数 Smoothing Loss 通过引入正则化系数平衡损失函数可以有效地处理数据集中的类别不均衡情况提高模型在各个类别上的表现结果和讨论结果和讨论改进的 SlowFast SMC ECA 模型在农事行为识别中表现出良好的性能各类行为的平均识别精度达到 80 47 相较于原始的 SlowFast 模型有约 3 5 的提升结论结论本研究在农事行为识别中展现出良好的性能这对农业生产的智能化管理和决策具有重要意义关键词农事活动行为 SlowFast 模型多路径激励残差网络 ECA Res 平衡损失函数中图分类号 TP391 4 文献标志码 A 文章编号 SA202402001 引用格式何峰吴华瑞史扬明朱华吉基于改进 SlowFast 模型的设施黄瓜农事行为识别方法 J 智慧农业中英文 2024 6 3 118 127 DOI 10 12133 j smartag SA202402001 HE Feng WU Huarui SHI Yangming ZHU Huaji Recognition Method of Facility Cucumber Farming Behaviours Based on Improved SlowFast Model J Smart Agriculture 2024 6 3 118 127 DOI 10 12133 j smartag SA202402001 in Chinese with English abstract 0 引言黄瓜在中国各地普遍栽培因含有丰富的人体所需的各种营养物质对人体健康非常有益而深受消费者的喜欢 1 2 在黄瓜栽培过程中会存在大量的农事活动行为如浇水吊蔓剪枝等这些农事操作得合理与否直接影响黄瓜的产量和品质进而影响整个生产的产出效益同时农事操作的时间操作过程投入农资量投入精准度等基础数据也是实现黄瓜生产精准化调控管理的依据因此如何快速准确地记录农事操作行为就显得尤为重要传统的农事活动行为记录主要依靠人工进行记录过程存在时间延迟准确度不高信息遗漏等问题这些会给黄瓜的生产管理造成一定的影响随着图像识别与计算机视觉技术的飞速发展基于机器视觉技术通过对农事活动行为视频的自动提取和识别实现农事活动记录成为一种可行的技术方案行为识别方法可以大致分为两类一类是基于传统方法需要手工提取和设计特征以进行识别另一类则借助深度学习技术通过神经网络自动学习数据中的特征从而对一些简单的行为如挥收稿日期 2024 02 01 基金项目中央引导地方科技发展资金项目 2023ZY1 CGZY 01 财政部和农业农村部国家现代农业产业技术体系资助 CARS 23 D07 作者简介何峰研究方向为计算机视觉 E mail 1363263324 通信作者朱华吉博士研究员研究方向为农业信息化 E mail zhuhj copyright 2024 by the authors何峰等基于改进 SlowFast 模型的设施黄瓜农事行为识别方法 Vol 6 No 3 手聊天进行识别 3 手工特征提取方法主要是通过人工方法提取视频中的运动信息然后使用分类器如支持向量积 Support Vector Machine SVM 4 K 临近算法 5 贝叶斯分类器 6 7 等对动作进行检测分类 8 它们充分利用了运动物体的外观特征这些特征不仅简单易懂而且具有出色的鲁棒性这种方法已经成为基于视频识别行为的优选并且在多个领域得到了广泛的应用手工特征的可行性和广泛性使其成为一个强大的工具用于捕捉和分析视频中的运动形状颜色纹理等关键信息从而实现对行为的准确识别和分析此外一些学者认为视频图像携带着前后帧的运动信息通过提取这些信息可以计算出光流进而获取图像中物体运动的光流数据从而用于描述运动状态如 Wang 等 9 采用了一种密集轨迹法 Dense Trajectories DT 的方法通过在视频帧中密集提取轨迹点并捕捉这些轨迹点随时间的变化用于行为识别和动作分析之后 Wang 和 Schmid 10 在 DT 的算法上进行了改进提出了改进的密集轨迹法 Improved Dense Trajectories IDT 通过更精细的轨迹采样和增强的特征提取技巧提高了在视频中捕获动作信息的效率和准确性使其在行为识别和动作分析中更具竞争力近年来深度学习领域取得了迅猛发展为行为识别研究提供了崭新的视角和方法传统的手工特征提取方法通常伴随着内存需求较高的问题并受到特征单一性的限制从而在扩展性方面存在一定的挑战这些深度学习方法不仅能够高效处理大规模数据还能够自动从数据中学习丰富的特征表示因此在视频行为识别等领域表现出巨大的潜力主流的基于深度学习的视频理解算法包括双流卷积神经网络 Two Stream Convolutional Neural Networks Two Stream CNN 人体骨架识别三维卷积神经网络 3D CNN 以及视觉 Transformer 这些网络结构在捕捉视频中的行为特征和动作信息方面发挥着重要的作用 2014 年 Simonyan 和 Zisserman 11 提出了一种创新的方法即双流卷积神经网络这个网络采用了两个分支一个分支专门用于提取时间流特征另一个分支则专注于提取空间流特征在网络的后端它将这两个流的特征融合在一起以实现更加全面和高效的信息提取和表示这一方法为视频行为识别等任务带来了重要的突破使得模型能够更好地理解时间和空间信息从而提高了识别性能在此基础上进行改进的网络有 TSN Temporal Segment Networks 12 网络和 I3D Inflated 3D ConvNet 13 网络 3D 卷积神经网络通过加入时间维度来代替光流可以实现端到端的识别 Tran 等 14 使用 3D 卷积构建了 C3D Convolutional Three Dimensional 模型它将 VG GNet Visual Geometry Group network 网络 15 的卷积核由 3 3 的 2D 卷积扩展为 3 3 3 的 3D 卷积之后出现的 R3D Residual 3D Convolutional Network 16 网络和 SlowFast 17 网络等都基于 3D 卷积神经网络此外在长短时记忆网络 Long Short Term Memory LSTM 的进展中 Donahue 等 18 引入了长期循环卷积神经网络 Long term re current Convolutional Networks LRCN 的概念 LRCN 结合了 2D 卷积神经网络 2D CNN 来提取帧级特征并随后利用 LSTM 来建模多个视频帧之间的时间关系这一方法在视频行为识别领域具有重要的应用潜力上述研究方法在区分设施黄瓜的生长过程中的复杂农事行为时面临着一系列挑战包括株距较近叶片相互遮挡农事操作多样动作环节复杂以及人员操作不规范等问题这些问题增加了设施黄瓜的农事行为识别的难度为了解决这些挑战本研究基于 SlowFast 行为识别算法进行了改进具体地在 Fast Pathway 中将 ACTION Spatio tem poral Channel and Motion Excitation 19 注意力机制与残差块相结合形成 SMC Res Block 以增强相邻两帧之间农事操作的连续性特征提取能力考虑黄瓜生产中叶片遮挡和大棚环境的复杂性在 Slow Pathway 中引入了注意力机制 ECANet Effi cient Channel Attention Network 以增强通道之间的相互依赖关系从而提高 Slow Pathway 网络的特征表示能力此外为解决农事行为数据集中的不均衡问题本研究设计了平衡损失函数 Smooth ing Loss SLoss 使用这一损失函数有助于平衡各个农事行为类别在数据集中的样本分布从而提高模型对于每个类别的识别性能 1 农事行为数据集构建鉴于当前缺乏适用于种植黄瓜的农事行为监控的公开可用的数据集本研究选用北京国家精准农业实验示范基地内的黄瓜温室为研究案例并自行构建数据集用于识别和评价种植黄瓜的农事行为为了确保能够捕捉到农业操作人员的动作研究采用以下布置方式温室的长宽比为 A B 119Vol 6 No 3 智慧农业中英文 Smart Agriculture A B 其中 A 为长 15 m B 为宽 3 m 行距为 100 cm 株距为 40 cm 共有 18 垄垄间距为 80 cm 根据这一布局摄像头的安装点位如图 1 所示摄像头被设置在长边上每两垄黄瓜苗之间以确保清晰拍摄农业操作人员的操作考虑监控视频的主要目的是识别农业人员与黄瓜的互动行为摄像头的安装高度为 2 2 m 略高于人的头顶高度此外摄像头角度倾斜 15 30 以确保能够清晰捕捉操作人员的行为为增加角度的多样性还使用手机对农事行为进行辅助拍摄实验数据的采集时间为 2023 年 2 月 28 日 4 月 25 日此过程为黄瓜从移栽到采摘的全部过程拍摄的设备为海康威视的萤石云家用摄像头型号为 DS IPC B12V2 I H8 焦距为6 mm 清晰度为5 MP 拍摄的时间为 10 00 11 30 和 14 00 15 00 每段视频拍摄的时长大约为 1 min 本研究共采集了移栽喷水吊蔓整枝采摘共 5 个行为 197 段视频图 2 所示为采集到的部分农事行为的视频截帧拍摄视频的标识方法为 AVA 数据集格式 16 视频数据经过切分与筛选农事行为数据集一共有 707 段视频其中 500 段视频用作训练集 40 段视频用作验证集 67 段视频用作测试集在建立原始数据集后对数据进行抽帧和标注为了确保数据的均衡性每个行为的数据量需相当并且不能截断任何动作为实现这一目标采取了以下措施 1 删除视频中没有目标人员出现的片段 2 将视频中包含目标前后多个动作的片段进行拆分最终的数据集组成如表 1 所示 2 模型构建本研究提出的 SlowFast SMC ECA 模型基于 SlowFast 模型其结构如图 3 所示主要包括数据层卷积层残差层及特征融合层模型的整体处理流程数据层通过 2 个不同的步长值得到不同帧的数据将其馈送到不同的通道中在进入到卷积层后 Slow Pathway 每次以 1 帧进行运算 Fast Path way 提取 5 帧图片一起进行运算接着进入 3D 残差网络 Slow Pathway 和 Fast Pathway 分别用 ECA Res 和多路径激励残差网络进行农事活动行为中运动信息和空间信息的提取最后进行特征融合得到最终的农事活动行为的结果 2 1 多路径激励残差网络在 Fast Pathway 中以高时间分辨率捕获运动信息但是基于设施黄瓜的农事活动行复杂多变手部动作幅度小一些农事行为相关性强原始残差块在捕获农事活动行为运动特征时会丢失大量信息造成误检现象本研究利用 ACTION 19 中的 3 个互补注意力机制即 STE Spatial Temporal Ex citation CE Channel Excitation ME Motion Excitation 结合原始的残差块形成多路径激励残差网络 Spatial Temporal Excitation Channel 图 1 农事行为识别研究摄像头布置点位 Fig 1 The arrangement of camera positions for agricultural activity recognition research 表 1 设施黄瓜农事行为数据集的构成 Table 1 The composition of the greenhouse cucumber farming behavior dataset 行为类别移栽浇水吊蔓整枝采摘视频数个 97 146 162 124 178 标签数量个 7 432 10 207 11 106 9 978 12 173 a 采摘行为 b 吊蔓行为图 2 设施黄瓜的农事行为视频截帧 Fig 2 Video cut off frames of agronomic behaviour of facility cucumbers 120何峰等基于改进 SlowFast 模型的设施黄瓜农事行为识别方法 Vol 6 No 3 Excitation Motion Excitation Residual SMC Res 结构如图 4 所示来提高对农事行为视频中关键特征的激发从而提升农事行为识别的准确性本研究使用 Conv 为卷积数量 F 为内核大小卷积滤波器的特征映射数为 n x x 和 F BN Batch Normalization 为批量归一化 ReLu 为激活函数 SMC Res 块包含 3 次卷积和一个残差边在每一组卷积以及残差连接之前加入 SMC 模块这样做可以在不同维度获取多类型的时空模式通道信息及运动信息后进行卷积获取更加细粒度的特征提高农事行为识别的精度 STE 时空注意力模块旨在捕获适当的时空模式以强化视频中的空间和时间关系有助于更好地理解农事活动行为中的一些动作的变化主要通过生成时空掩码来产生时空注意力图以提取视频中的时空特征 STE 网络结构如图 5a 所示首先对输入X R N T C H W N 表示批量大小 T 表示段数 C 表示通道数 H 表示高度 W 表示宽度做一个通道平均得到关于通道轴的全局时空张量F 1 R N T 1 H W 后把得到的F 1 重构为新的时空张量F 1 R N 1 T H W 然后馈送到 3D 卷积核 K 中数学表达如公式 1 所示 F o1 K F 1 1 然后再将 F o1 重构为 F o1 最后经过 Sigmoid 函数进行激活得到掩码如公式 2 所示 M 1 F o1 2 式中 M 1 为激活掩码为 Sigmoid 函数最后得到农事活动行为中更为精细的时空信息如公式 3 所示 Y 1 X X M 1 3 式中 Y 1 为 STE 模块的最终输出 CE 注意力模块用于提取适当的通道范围特征以强调网络中不同通道的信息这有助于捕捉关键的通道信息从而提高农事行为的识别能力它类似于 SE Squeeze and Excitation Networks 注意力模块 20 为了增强农事活动行为各个不同特征在时间上的相互依赖程度 CE 模块在两个全连接层之间引入了一个一维卷积层以捕捉信道特征上的时间信息 CE 模块的结构如图 5b 所示对于给定的输入X R N T C H W 通过平均池化的方法来获取全局空间信息F 2 R N T C 1 1 它的求解如公式 4 所示 F 2 1 H W i 1 H j 1 W X i j 4 对F 2 用一个二维卷积核 K 1 进行压缩得到F r 如公式 5 所示 F r K 1 F 2 5 对F r R N T c r 1 1 重构得到F r R N C r T 1 1 图 3 SlowFast SMC ECA 网络结构图 Fig 3 SlowFast SMC ECA network structure diagram 图 4 SMC Res 结构 Fig 4 SMC Res structure 121Vol 6 No 3 智慧农业中英文 Smart Agriculture 然后用核大小为 3 的一维卷积核 K 2 与F r 相乘得到 F temp R N C r T 1 1 然后重构F temp 得到F temp 后与 2D 卷积核 K 3 相乘进行解压缩最后经过 Sigmoid 函数得到农事动作的掩码如公式 6 和公式 7 所示 M 2 F o2 6 Y 2 X X M 2 7 式中 M 2 为 CE 模块的掩码 Y 2 为最终输出 ME 注意力模块专注于提取运动信息以更好地聚焦于农事活动行为中操作人员的手部动作的变化如图 5c 表示通过相邻帧之间的变化情况来建模农事活动行为的运动特征如公式 8 所示 F m K F r t 1 F r t 8 式中 K 为 3 3 的二维卷积 F m 通过 K 对前后两帧的操作得到即将输入X 每相邻两帧之间得到的差值在时间维度上进行连接再对得到的特征做平均池化处理然后通过 Sigmoid 函数得到最终的输出如公式 9 所示 Y 3 X X M 3 9 式中 M 3 为 ME 模块的掩码 Y 3 为最终输出农事行为的特征信息通过 STE CE ME 注意力机制将生成的 3 个激发特征逐元素相加再经过多路径激励通道最终结果如公式 10 所示 Y Y 1 Y 2 Y 3 10 式中 Y 为多路径激励残差网络的最终输出然后对生成的特征信息进行卷积操作得到最终的运动特征信息 2 2 ECA Res 残差块在设施黄瓜的生产环境下黄瓜在开花期叶片生长迅速存在黄瓜叶片遮挡操作人员的手部动作变化的问题在 Slow Pathway 中如操作人员的手部轮廓等通道信息不容易被捕捉到为提高通道信息的捕捉能力在 ResNet 主干网络的基础上在残差块中结合 ECA 注意力 21 ECANet 注意力机制在 SENet 注意力机制的基础上实现了不降维的跨通道交互策略只涉及了少量的参数不仅避免了维度特征的缩减还能增加通道之间的信息交互在保证交互的前提下精简模型 SlowFast 网络中的 Slow Pathway 有比 Fast Pathway 更多的通道数量来学习通道信息 ECA 注意力机制可以完美地适用于 Slow Fast 网络中的 Slow Pathway 不仅减少了计算量还突出了通道中的关键信息和抑制视频中背景因素的干扰其结构如图 6 所示 ECA 注意力机制的工作原理如图 7 所示通过卷积对特征图进行压缩得到一个新的特征图的大小为 H C W 将经过全局平均池化 Gol bal Average Pooling GAP 转变为 1 1 C 的向量这样空间信息就得到了压缩然后采用一维卷积来提取通道上的特征模型在训练的过程中能够自适应卷积核的大小具体的做法为 a STE b CE c ME 图 5 SMC 模块组成 Fig 5 Composition of SMC modules 图 6 ECA Res 结构 Fig 6 ECA Res structure 122何峰等基于改进 SlowFast 模型的设施黄瓜农事行为识别方法 Vol 6 No 3 1 在全局平局池化之后得到一个 1 1 C 的向量 2 计算自适应一维卷积核的大小如公式 11 所示 k c log 2 c b 11 式中 2 b 1 k 为核大小 c 为通道大小该自适应卷积核表明了局部跨通道交互的覆盖率 3 将自适应卷积核使用到一维卷积中得到各通道的权重使得通道数较大的层可以更多地进行相邻通道间的交互 2 3 损失函数在数据采集过程中由于黄瓜生长周期中不同农事行为的频率差异某些行为如移栽在整个生长周期中仅发生几次而其他行为如浇水采摘则有较高的发生频率这导致数据集存在明显的类别不均衡问题同时一些行为如吊蔓和采摘在表现上相似所以原始的损失函数 22 在对于一些小样本的农事行为活动时它的准确率得不到保证为解决这一问题本研究设计了一种平衡损失函数 Smoothing Loss SLoss 该损失函数通过引入正则化系数 i 并与原始损失函数相乘旨在缓解模型在训练过程中对于高频行为的过拟合同时确保对于低频行为的充分训练正则化系数的定义如公式 12 所示 i S 1 i 12 式中 S 一般设置为 0 1 0 5 0 75 本研究设置为 0 75 用来平衡类别的超参数 i 的计算如公式 13 所示 i f i i 1 C f i 13 式中 f i 为第 i 类农事行为的样本个数 C 为农事行为类别数因此最后的 SLoss 如公式 14 所示 SLoss i Loss p t S 1 i Loss p t 14 式中 p t 为预测为正类别的概率在多分类任务中经过 Sigmoid 函数进行归一化处理后得到最终的结果如公式 15 所示 SLoss p t i 1 C i log sigmoid p t i 1 C S 1 i log 1 1 exp p t i 1 C S 1 i log p t 15 3 实验设计与结果分析 3 1 实验环境本研究的实验环境为 Linux 5 的操作系统 CPU 为 Intel R Xeon R Platinum 8255C CPU 2 50 GHz GPU 为 NVIDIA GeForce GTX 2080 Ti 显卡深度学习的框架为 PyTorch 框架在模型的训练过程中模型训练的 Epoch 设置为 200 批量大小设置为 8 初始的学习率为 0 001 权重衰减参数设置为 0 005 网络中的模型优化采用的是随机梯度下降算法 Stochastic Gradient De scent SGD 3 2 实验结果与分析 3 2 1 农事活动行为识别结果为验证本研究提出的改进 SlowFast 模型的农事行为识别方法对移栽浇水吊蔓整枝采摘 5 种行为识别效果的优越性将 SlowFast SMC ECA 模型与原模型 SlowFast 进行比较对比结果如表 2 所示由表 2 可以看出改进后方法相比原始的 SlowFast 模型在 5 种农事行为的识别准确率均有不同幅度的提升其中提升较为明显的是移栽行为较原模型提高 3 53 提升不太明显的是采摘行为仅为 86 61 全部行为识别精度的平均值为图 7 ECANet 网络结构图 Fig 7 ECANet network structure diagram 表 2 SlowFast SMC ECA 模型不同行为识别精度对

展开阅读全文