基于改进YOLOv11n-seg的设施黄瓜植株表型自动化提取方法.pdf

基于改进YOLOv11n seg的设施黄瓜植株表型自动化提取方法 张宇轩1 2 3 柳平增1 2 3 李 杰1 2 3 高雅楠1 2 3 朱 珂1 2 3 张 艳1 2 3 于 群1 2 3 温孚江1 1 山东农业大学信息科学与工程学院 泰安 271018 2 农业农村部黄淮海智慧农业技术重点实验室 泰安 271018 3 山东农业大学农业大数据研究中心 泰安 271018 摘 要 为解决设施黄瓜在不同生育阶段形态变化大 易受遮挡与光照干扰导致表型提取困难的问题 该研究提出一种 基于改进YOLOv11n seg的黄瓜表型自动化提取方法 首先构建覆盖黄瓜全生育期的RGB与深度图采集体系 融合俯 视与侧视视角获取图像数据 在此基础上 设计轻量化分割模型YOLO LCOS 集成HGNetV2主干网络 HSFPN多尺 度特征融合模块及EMA注意力机制 在降低模型复杂度的同时提升分割精度与适应性 最后 提出融合图像分割 空 间深度信息与几何建模的表型参数自动化提取方法 实现叶片数 叶面积 株高等关键参数的自动提取 试验结果表明 改进后的模型相比于基线模型YOLOv11n seg 浮点计算量降低7 8 参数量降低8 8 推理速度提升1 5 平均精 度均值 准确率和召回率分别提高8 8 7 1和6 9个百分点 在关键表型参数提取方面 叶片数 叶面积 株高 花朵 数的决定系数分别为0 95 0 96 0 95 0 90 均方根误差分别为0 86 8 20 cm2 9 80 cm 0 81 平均绝对误差分别为 0 50 6 50 cm2 7 21 cm 0 54 结果验证了所提方法在复杂设施环境下的准确性和鲁棒性 可为设施黄瓜数字化监测 与精细化管理提供技术支撑 关键词 图像分割 设施黄瓜 RGB D YOLOv11n seg 轻量化模型 表型参数提取 doi 10 11975 j issn 1002 6819 202507037 中图分类号 S126 文献标志码 A 文章编号 1002 6819 2025 24 0191 10 张宇轩 柳平增 李杰 等 基于改进YOLOv11n seg的设施黄瓜植株表型自动化提取方法 J 农业工程学报 2025 41 24 191 200 doi 10 11975 j issn 1002 6819 202507037 http www tcsae org ZHANG Yuxuan LIU Pingzeng LI Jie et al Extracting facility cucumber phenotypes using improved YOLOv11n seg J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2025 41 24 191 200 in Chinese with English abstract doi 10 11975 j issn 1002 6819 202507037 http www tcsae org 0 引 言 黄瓜作为设施农业典型作物 因其种植范围广泛且 经济价值显著 在全球设施蔬菜生产中占据重要地位 然而 当前设施黄瓜生产普遍缺乏数据驱动的科学决策 管理模式仍以经验为主 存在粗放 低效等问题 1 制 约了生产效率提升与资源配置优化 为提升设施黄瓜生 产管理科学性及决策水平 亟需构建以关键表型参数为 核心的高效 精准信息获取体系 2 叶片 叶面积 株 高 花朵等表型性状是反映黄瓜生长状态与产量潜力的 关键指标 3 7 对设施黄瓜精细化管理具有重要指导意义 近年来 计算机视觉技术的发展为作物表型无损测 量提供了新的方法 相关研究主要集中于两个方向 基 于RGB的图像分割与表型参数提取 以及利用融合深度 信息的RGB D数据进行三维结构建模与表型测量 8 基 于RGB图像的表型提取研究中 主流方法多采用 YOLO系列 Mask R CNN等模型 并结合作物特性与 农业场景进行优化 以提升器官分割的精度与鲁棒 性 9 10 基于分割结果 结合参照物进行尺度校正 实现 叶长 叶宽 叶面积 叶周长等性状测量 11 为后续基 于RGB D的三维表型研究奠定了基础 鉴于二维RGB图像在作物空间结构感知方面的局限 研究者通过融合深度信息 推动表型提取方法由二维向 三维拓展 徐胜勇等 12 基于RGB D相机 结合Mask R CNN进行叶片与茎秆分割 并利用CycleGAN修复叶片 形态 YOLOv5s 提取生长点 进而实现叶面积 株高等 表型参数的提取 平均绝对误差 8 59 决定系数 0 83 宋加政等 13 提出一种苗期棉株器官分割方法 结 合拉普拉斯骨架提取与Quickshift 算法实现茎 叶分割 并进一步提取茎高 叶长 叶宽和叶面积等参数 决定 系数为0 949 0 982 均方根误差为0 119 1 458 cm cm2 然而 上述方法主要针对苗期 缺乏贯穿全周期的表型 提取流程 难以反映植株动态生长特征 SONG等 14 提 出一种基于移动平台RGB D相机的三维表型测定方法 用于田间环境中采集作物冠层RGB和深度图像 通过 SIFT特征匹配和彩色ICP算法实现对齐与分割 在棉花 白芨等作物试验中 株高测量决定系数为0 90 0 96 均方根误差为0 015 0 023 m 叶面积测量决定系数为 0 80 0 86 均方根误差为11 41 cm2 然而 与棉花 白芨等不同 设施黄瓜中后期植株结构复杂 叶片密集 且果实并存 导致遮挡严重 尺度差异明显 分割与建 收稿日期 2025 07 06 修订日期 2025 09 05 基金项目 山东省重点研发计划项目 2022TZXD0030 中央引导地方 科技发展专项资金项目 YDZX2022073 作者简介 张宇轩 研究方向为农业大数据技术与工程 Email zyuxuan0223 通信作者 柳平增 教授 博士生导师 研究方向为农业大数据 农业 物联网 智慧农业等 Email pzliu 第 41 卷 第 24 期农 业 工 程 学 报 Vol 41 No 24 2025 年 12 月Transactions of the Chinese Society of Agricultural Engineering Dec 2025 191 模存在一定挑战 针对以上设施场景下黄瓜表型提取的挑战 拟开展 以下工作 首先 构建覆盖黄瓜全生育周期的图像采集 体系 实现黄瓜植株信息的稳定获取 其次 通过对比 试验 提出适用于设施黄瓜表型提取的模型改进策略 从精度提升 适应性增强与轻量化设计三方面优化模型 性能 最后 设计融合图像分割与深度几何建模的设施 黄瓜表型参数提取方法 实现叶片数 叶面积 株高等 关键表型参数的自动获取 1 材料与方法 本研究整体流程如图1所示 包括数据获取 模型 构建及表型提取3个环节 多源图像采集 深度相机摄像机 网 络 传 输 深度图像 数据获取 YOLO LCOS 分割模型 HGNetv2骨 干网络 HSFPN颈 部网络 分割结果 存在遮 挡输入 掩码 输入 源RGB图像 无遮挡 模型构建 黄瓜植株器官掩码优化后深度图像 掩码与深度图对齐 叶片数提 取算法 叶面积提 取算法花朵提取算法 株高提 取算法 表型提取 RGB图像 DAM深 度图融 合优化 RGB图像 CycleGAN叶 片缺失修复 掩码区域 RGB提取 图1 设施黄瓜表型自动化提取总体流程 Fig 1 Automated cucumber phenotyping extraction workflow in greenhouse facilities 1 1 数据获取与预处理 1 1 1 研究区域数据采集 本研究试验地点位于山东省菏泽市巨野县某农业科 技公司3号温室 温室东西长120 m 顶高8 m 南北跨 度12 m 为获取黄瓜植株多尺度 多角度特征信息 在 温室顶部及侧墙中部分别布设1台摄像机 大华DH SD4423 D I 400万像素 支持23倍光学变焦 设定 每日8 00至16 00定时采集RGB图像 通过网络自动上 传至云服务器 为分割模型训练提供数据基础 鉴于RGB图像在空间结构感知及深度信息获取方面 的局限性 选用2台Azure Kinect DK深度相机 分别布 设于俯视 侧视位置 相机RGB图像分辨率为1 280 720像素 深度图像分辨率为640 576像素 采集过程 中 依据植株生长阶段动态调整相机角度 确保关键器 官的可观测性 各深度相机同步采集RGB与深度图 并 完成图像对齐 得到俯视 侧RGB D数据 其中 采 集的RGB图像与摄像机图像结合 用于分割模型训练 以提升模型在设施场景下的鲁棒性与泛化能力 RGB D 数据则用于后续三维表型参数提取 温室相机布设及各 生育期采集图像如图2所示 为提升数据采集的完整性与多样性 对采集流程进 行优化 通过俯视与侧视相机联合布设 弥补单一视角 在结构解析与关键部位检测方面的局限 通过摄像机变 焦实现多尺度信息获取 同时辅以多时段采集及移动端 补拍 补充因遮挡或光照不均导致的数据缺失 从而提 高数据集的稳定性与代表性 摄像机 Camera 黄瓜植株 Cucumber plant 道路Road 长Length 宽 W idth a 温室总体布局示意图 a Schematic diagram of the overall layout of the greenhouse d 摄像机采集图像 d The camera captures the image 顶部视角 Top view 侧墙视角 Side view 苗期 Seedling stage 初花期 Early flowering stage 果期 Fruit stage b 摄像机布设示意图 b Schematic diagram of camera layout 顶部视角 Top view 侧墙视角 Side view 苗期 Seedling stage 初花期 Early flowering stage 果期 Fruit stage e 深度相机采集图像 e Depth camera captures images 俯视 Top view 侧视 Side view 俯视 Top view 侧视 Side view c 深度相机布设示意图 c Schematic diagram of depth camera layout 图2 温室相机布设及各生育期采集图像示意 Fig 2 Schematic of camera layout and image acquisition at different growth stages in the greenhouse 1 1 2 数据预处理与数据集构建 为确保图像质量满足模型训练需求 对所采集图像 进行筛选 剔除因模糊或环境干扰导致的无效样本 共 获得覆盖苗期 初花期与果期的2 353张原始图像 其 中苗期 初花期和结果期样本分别为706 818和829张 在此基础上 基于Roboflow平台对图像中的叶片 生长点和花朵三类器官进行实例分割标注 原始图像按 照7 2 1的比例划分为训练集 验证集和测试集 并统一 调整为640 640像素 15 为提升模型对器官形态差异及 光照变化的鲁棒性 对训练集应用亮度调整 对比度增 强 几何变换 颜色扰动等数据增强策略 将训练样本 扩展至4 706张 最终构建完成Cucumber Organ数据集 1 2 设施黄瓜器官分割轻量化模型 近年来 轻量化分割模型在农业视觉任务中得到广 泛应用 其中YOLO系列因其实时性与计算效率 成为 边缘端部署的主流选择 因此研究选用YOLOv11n seg 作为基线模型 然而设施农业场景下 受光照不均 植 株遮挡以及器官尺度差异等因素影响 模型在边缘细节 及小目标分割方面仍存在一定局限 表现为分割边界模 糊和目标遗漏 针对上述问题 本研究在YOLOv11n seg模型基础上进行改进 从骨干网络轻量化与颈部网络 192农业工程学报 http www tcsae org 2025 年 多尺度特征融合两方面展开优化 提出了YOLO LCOS模型 模型架构如图3所示 Groups Conv 3 3 Y Avg Pool X Avg Pool Sigmoid Sigmoid Group Norm Avg Pool Softmax Matmul Avg Pool Softmax Matmul Sigmoid 输入 Input 输出 Output EMA 输入 Input Stage1 Stage2 Stage3 Stage4 HGStem HGBlock DWConv HGBlock DWConv HGBlock HGBlock DWConv HGBlock SPPF C2PSA EMA Conv2d ConvTranspose EMA EMA Conv2d Mutiply Upsample Add C3k2ConvTranspose EMA C3k2 EMA Add Upsample Mutiply Conv2d Conv2d Conv2d Conv2d Segment Segment Segment P3 P4 P5 骨干网络 HGNetv2 颈部网络 HSFPN分割头 S3 S4 S5 Concat Conv 1 1 Re weight Re weight 注 HGStem为网络预处理层 HGBlock为层次提取特征的网络核心组件 DWConv为轻量级深度卷积 EMA表示高效的多尺度注意力模块 表示逐元 素相加 Multiply表示逐元素相乘 Matmul表示矩阵乘法 Re weight表示权重动态调整 Note HGStem is the initial preprocessing layer of the network HGBlock is the core component of the hierarchical feature extraction network DWConv is a lightweight deep convolution EMA stands for Efficient Multi Scale Attention Module represents element wise addition Multiply represents element wise multiplication Matmul represents matrix multiplication Re weight represents dynamic adjustment of weights 图3 基于YOLOv11n seg的改进模型架构 Fig 3 Improved model architecture based on YOLOv11n seg 1 2 1 EMA注意力机制 为提升模型多尺度目标分割能力 研究引入高效多 尺度注意力 efficient multi scale attention EMA 模块 如图3 该模块将输入特征沿通道划分为多个分组 通过并行的1 1与3 3卷积分支实现多尺度特征表示 16 其中 1 1分支在水平与垂直方向执行一维全局平均池 化 以捕捉长距离依赖并保持精确的空间位置信息 随 后 经Sigmoid激活实现通道关系的自适应重标定 3 3分支则通过扩大感受野提取丰富的局部上下文信息 两分支特征在跨空间融合过程中 通过Sigmoid生成的 可学习权重矩阵进行动态调整 使模型能够自适应地突 出关键区域并抑制冗余特征 O C2 G 在计算效率与训练稳定性方面 EMA采用分组卷积 与稀疏交互机制 将复杂度由O C2 降至 其中 O表示算法的渐进时间复杂度 C表示输入特征的通道 数 G表示通道分组数 从而有效减少计算开销 同时 引入GroupNorm缓解内部协变量偏移 结合Sigmoid权 重约束防止梯度消失或爆炸 以增强训练的稳定性与收 敛性 1 2 2 轻量化多尺度目标分割网络 针对黄瓜器官分割在边缘端部署中面临的资源受限 与多尺度目标处理问题 研究从骨干网络和颈部网络两 方面展开优化 骨干网络方面 采用HGNetV2 17 作为 基础网络 该网络为RT DETR骨干网络的变体 通过 HG Block结构强化局部特征提取能力 结合3 3标准卷 积优化计算密度 网络结构如图4所示 18 19 HGNetV2 具备良好可伸缩性 可通过调整网络深度和宽度以适配 不同计算资源 实现精度与推理速度的平衡 此外 研 究将原始LightConv替换为更轻量的Adown卷积 以进 一步降低模型计算量 20 针对黄瓜器官分割中目标尺度差异 背景干扰等问 题 研究基于已有高层多尺度特征筛选特征金字塔 HSFPN 21 进行改进 原始HSFPN通过特征筛选模 块对来自骨干网络的多尺度特征P3 P4 P5进行融合 见图5 其中 低层特征虽具有丰富的细节信息 但易受背景噪声干扰 高层特征包含全局语义信息 但 缺乏细节表达能力 为实现多尺度特征有效互补 研究 引入EMA注意力模块 对高层特征进行全局语义建模 第 24 期张宇轩等 基于改进YOLOv11n seg的设施黄瓜植株表型自动化提取方法193 并生成加权因子 以实现低层特征自适应增强 突出目 标相关信息并抑制冗余背景 提升小尺度目标分割精度 与整体鲁棒性 核心计算过程为 bFl Fl Wg Fh 1 bFl式中为经EMA注意力加权后的低层特征 Fl为低层 特征 Fh为高层特征 Wg为可学习映射 Sigmoid函数 输入 Input Stage1 Stage2 Stage3 Stage4 输出 Output HGStem模块 输入 Input 输出 Output Pad Pad MaxPool DWConv模块 输入 Input BN ReLU BN ReLU 输出 Output HGBlock模块 输入 Input ADownConv2d 3 3 ADownConv2d 3 3 ADownConv2d 3 3 ADownConv2d 3 3 EMA 输出 Output ADownConv2d 3 3 HGStem HGBlock DWConv HGBlock DWConv HGBlock HGBlock DWConv HGBlock Conv2d 1 1 Conv2d 3 3 2 Conv2d 2 2 Conv2d 2 2 Conv2d 3 3 2 Conv2d 1 1 Conv2d 1 1 Deep W ise Conv2d 3 3 11 9 9 7 7 5 5 3 3 图4 HGNetV2轻量化骨干网络结构示意图 Fig 4 Schematic diagram of the lightweight HGNetV2 backbone network 骨干网络 Backbone 多尺度特征选择 Multi scale feature selection 多尺度特征融合 Multi scale feature fusion Raw P3 P4 P5 EMA EMA EMA Conv2dConvTranspose2d Conv2dConvTranspose2d Conv2dConvTranspose2d S4 S3 S5 S5 S4 S3 注 表示逐元素相乘 P3 P5表示初始高 中 低层级特征图 S3 S5 表示HSFPN处理后的高 中 低层级特征图 Note represents element wise multiplication P3 P5 represent the initial high medium and low level feature maps S3 S5 represent the high medium and low level feature maps processed by HSFPN 图5 HSFPN EMA颈部网络结构 Fig 5 Architecture of the HSFPN EMA neck network 特征筛选后 多尺度特征通过空间对齐 并采用卷 积与上采样 ConvTranspose2 d 操作进行逐层融合 实 现自底向上的语义与细节整合 计算式为 F l Conv bFlConvTranspose2d Fh 2 F l式中表示融合后的低层特征 Conv表示卷积操作用于 特征融合与通道压缩 ConvTranspose2 d表示转置卷积 用于高层特征上采样以对齐低层特征 最终生成的多尺度融合特征S3 S4 S5在保持高 分辨率细节的同时 有效整合高层语义信息 能够适应 不同尺度目标分割任务 22 23 1 3 设施黄瓜表型参数提取方法 1 3 1 基于DAM的深度图融合优化方法 设施农业场景中 Azure Kinect DK深度相机 基于 ToF Time of Flight 因具备主动测距特性被用于植株 三维信息获取 然而 在强光或阳光直射条件下 其接 收端易受红外干扰 导致深度图出现噪声 缺失及无效 区域 影响表型参数的精确提取 针对上述问题 研究基于DAM模型 depth anything model 24 提出一种深度图融合优化方法 首先以权 重 对DAM预测深度与原始深度进行加权融合 实现 全局深度信息初步优化 随后对融合结果应用双边滤波 在抑制噪声的同时保留深度边缘特征 以提升三维表型 参数提取的准确性 计算式如下 Dfuse x y B DDAM x y 1 Dorig x y 3 式中 x y 为深度图中像素点坐标 Dfuse x y 为融合后的 深度值 DDAM x y 为DAM模型预测深度 Dorig x y 为 原始深度 0 1 为融合权重 B为双边滤波操作 1 3 2 叶片参数提取方法 黄瓜叶片是评估黄瓜光合能力与生长状态的重要表 型参数 对植株生长监测及精准管理具有指导意义 其 主要包括叶片数与叶面积两个关键指标 针对设施黄瓜 不同生育阶段叶片形态变化及遮挡问题 研究提出融合 深度图优化与生成对抗网络的叶片表型提取方法 提取 流程如图6所示 DAM模型 原始深度图像 C DAM深 度图像 CycleGAN 修复 YOLO LCOS 分割叶片 RGB D 尺寸对齐 选择区域分析 叶片数 深度曲面降采样 小三角面片法 离散曲面积分计算 叶片面积 相机内参 矩阵 深度矫正 深度图 遮挡叶片 不同光照情 况下的叶片 B 正常叶片 预处理 A 输入输出 注 A表示正常黄瓜叶片图像数据集 B表示遮挡或缺失叶片图像数据集 C表示融合原始深度图与DAM生成深度图的数据集 Note A represents the dataset of normal cucumber leaf images B represents the dataset of occluded or incomplete leaf images C represents the dataset combining original and DAM generated depth maps 图6 叶片数和叶面积计算流程图 Fig 6 Flowchart of leaf count and leaf area calculation 为提升算法对不同叶片形态的泛化能力与鲁棒性 研究将数据划分为A B C三类数据集 A为正常形态 黄瓜叶片图像 用于训练YOLO LCOS分割模型 该模 型在学习常规叶片结构特征的基础上 具备较强泛化能 力 B为遮挡及其他异常形态叶片图像 由于叶片信息 缺失严重 直接分割易产生误差 为此 研究基于A B类图像数据训练CycleGAN网络 通过生成器与判别 器的对抗训练机制 25 并引入循环一致性损失约束 学 习完整叶片与缺失叶片之间的结构映射关系 从而在无 监督条件下增强模型对缺失区域结构的预测能力 C包含原始深度图及由RGB图像输入DAM生成的 深度图 原始深度图在遮挡或细微结构区域存在噪声与 缺失 而DAM生成的深度图在形状补全与细节保留方 194农业工程学报 http www tcsae org 2025 年 面表现较优 研究对两类深度图进行融合校正 以兼顾 原始深度图的测量精度与DAM深度图的结构完整性 生成信息更完整的深度图 对于融合后仍存在缺失的区 域 采用叶片深度均值填充以确保数据完整性 随后 将处理后的深度图与RGB图像进行空间对齐 构建 RGB D数据集 为黄瓜叶片表型参数提取提供数据支持 提取流程如下 1 将RGB图像输入YOLO LCOS模型进行叶片检 测与分割 输出二值掩码 2 对掩码进行连通域分析 对各候选叶片区域独立 标记 结合面积阈值与几何特征 剔除伪叶片及粘连区 域 统计有效连通域数量以获取叶片计数结果 3 将RGB图像输入DAM生成初始深度图 并与 深度相机采集的原始深度图进行融合 提高深度信息的 准确性与完整性 4 对融合后仍存在的缺失区域采用叶片深度均值进 行填充 并将处理后的深度图与RGB图像进行对齐 生 成RGB D数据 图7 a 叶片俯视图 a Top view of the leaf b 叶片正视图 b Front view of the leaf c 叶片侧视图 c Side view of the leaf 图7 RGB D图像对齐可视化 Fig 7 Visualization of RGB D image alignment 5 在生成的RGB D数据中提取深度曲面 并实施 下采样 以降低计算复杂度并提高叶面积计算效率 6 结合深度相机内参 焦距和主点位置 与外参 旋转矩阵R和平移向量t 将深度图各像素的深度 值反投影至真实三维空间 得到对应三维坐标 计算式 如下 Pc 26 6666 6664 X Y Z 37 7777 7775 D u v 26 6666 6666 4 u cx fxv c y fy 1 37 7777 7777 5 4 式中Pc X Y Z 表示像素点在相机坐标系下的三维坐标 u v 为像素坐标 D u v 为对应像素的深度值 fx fy 为 相机焦距 cx cy 为主点坐标 7 基于反投影得到的三维表面 采用三角网格法 triangle mesh approximation 进行离散化处理 以相邻 像素对应的三维点构建局部三角形单元 并对各单元面 积进行累积 从而获得整片叶片的面积 叶面积计算式 如下 S A 1 2 j P2 P1 P3 P1 j 5 式中S为叶片总面积 为点云通过邻接点构成的每个 三角形 A 为单个三角形的面积 P1 P2 P3为三角形 三个顶点的坐标 1 3 3 株高参数提取方法 株高是表征黄瓜长势的重要指标 定义为植株基部 至主茎生长点之间的距离 26 为克服单视角定位局限 研究提出结合俯视 侧视信息的株高提取方法 通过融 合两类视角的数据 实现互补优化 提升测量精度 整 体流程如图8所示 俯视 侧视株高融合 均 值 融 合 最 终 株 高 侧视提取方法 基于深度信息 的ROI提取株高计算 植株分 割掩码 深度信息 掩码深度 对齐提取 相机摄影 成像模型 俯视提取方法 深度最大值 深度最小值 生长点分 割掩码 深度极差 掩码深度 对齐与提取 生长点 深度均值 株高计算 地形补偿阈值X 俯视视角 侧视视角 像素对比分析 图8 基于俯视与侧视图像的株高提取方法流程图 Fig 8 Flowchart of plant height extraction method based on top view and side view images 俯视视角株高提取方法通过结合植株轮廓分割与地面 补偿算法 实现对黄瓜植株基部定位 图9 步骤如下 1 基于深度图提取植株生长点区域最大深度D1与 植株边缘土壤区域最小深度D2 计算深度极差Ddiff以表 征理论最大株高范围 Ddi D1 D2 6 2 为消除地面不平整对测量结果的影响 采用像素 比例分析法确定地形补偿阈值X 通过图像分割获取植 株像素数P1与总像素数P2 推导土壤区域像素数P3 建 立土壤覆盖比例与深度补偿阈值的关系 计算式如下 P3 P2 P1 7 X P3P 2 8 3 基于地形补偿阈值X修正深度极差 得到植株生 长点相对于真实地面的垂直距离D3及相机至真实地面的 基准距离D4 D3 1 X Ddi 9 D1 D2 H Ddiff X 注 D1表示植株生长点区域最大深度 D2表示植株边缘土壤区域最小深度 Ddiff为两区域深度极差 X为地形补偿阈值 H为计算得到的株高 Note D1 represents the maximum depth of the apical region D2 represents the minimum depth of the soil edge region Ddiff represents the depth difference between the two regions X represents the terrain compensation threshold H represents the calculated plant height 图9 黄瓜植株株高俯视视角提取示意图 Fig 9 Schematic diagram of cucumber plant height extraction from the top view perspective 第 24 期张宇轩等 基于改进YOLOv11n seg的设施黄瓜植株表型自动化提取方法195 D4 D2 D3 10 4 将生长点检测框投影至深度图 计算检测框内像 素深度平均值 最终株高为Htop Davg 1N N i 1 Di 11 Htop D4 Davg 12 式中Di为生长点检测框内第i个像素的深度值 N为检 测框内总像素数 Davg为检测框内像素深度的平均值 侧视视角株高提取方法基于侧向图像中植株的垂直 结构特征 实现生长点与基部空间定位 进而估算株高 相比俯视方法 该视角在基部区域定位存在局限 但生 长点定位更精确 垂直方向信息更完整 处理流程 如下 1 基于深度图像提取植株感兴趣区域 region of interest ROI 生成不规则形状植株掩码 并将深度 图与对应RGB图像进行空间对齐 2 利用针孔相机成像模型 图10 在经过对齐 的深度图与RGB图像中 对植株掩码区域的像素集合 plant进行遍历 根据每个像素 u v 对应的深度值D u v 提取其最大值与最小值 分别记为Dtop和Dground 对应 植株生长点与基部位置 计算式如下 Dtop maxD u v u v 2 plant 13 Dground minD u v u v 2 plant 14 3 通过相机内参 焦距 fx fy 主点位置 cx cy 依据针孔模型将像素坐标反投影至相机坐标系 获取生 长点与基部在垂直方向 Y轴 上的坐标值 Ytop v top cy D top fy 15 Yground v ground cy D ground fy 16 Oi Oc D ground Dtop Ow 对称成像平面 Symmetric imaging plane 相机 Camera 实际成像平面 Actual imaging plane F 注 Oi表示成像坐标系原点 Oc表示相机坐标系原点 Ow表示世界坐标 系原点 F表示相机焦距 Dtop表示相机坐标系原点到植株最高点距离 Dground表示相机坐标系原点到植株基部的距离 Note Oi represents the origin of the imaging coordinate system Oc represents the origin of the camera coordinate system Ow represents the origin of the world coordinate system F represents the focal length of the camera Dtop represents the distance from the origin of the camera coordinate system to the highest point of the plant Dground represents the distance from the origin of the camera coordinate system to the base of the plant 图10 针孔相机成像模型 Fig 10 Pinhole camera imaging model 式中Ytop与Yground分别表示生长点及基部在相机坐标系 中Y轴方向的坐标值 vtop与vground为生长点和基部像素 在图像坐标系中的垂直像素坐标 4 植株顶部与底部位置分别对应掩码区域内Y方向 坐标的最小值与最大值 最终株高为Hside Hside Ytop Yground 17 为充分利用俯视 侧视株高测量结果在空间信息上 的互补性 研究基于两类视角所测量株高进行均值融合 得到最终株高值 Hfinal Htop Hside2 18 式中Htop Hside分别为俯视视角与侧视视角所测得的株 高 Hfinal为融合后的最终株高 1 3 4 黄瓜花计数及状态检测方法 黄瓜花数量及状态是评估植株生长进程与产量潜力 的重要指标 27 可为产量预测 栽培措施优化提供数据 支持 28 研究依据形态特征 将黄瓜花分为三类 未达 完整花形3 4的为花蕾 呈现明显萎缩或凋落特征为衰 败花 29 其余具有完整花器官且色泽鲜亮的为盛花 设施环境下 黄瓜花目标尺度小 颜色接近叶茎且 易被遮挡 分类及计数存在一定挑战 为实现黄瓜花信 息有效提取 研究基于分割结果提出了黄瓜花计数与状 态统计方法 具体流程如下 ni 1 对图像中每一目标花进行状态分类 将其划分为 花蕾 盛花或衰败花 并统计各类别花数量 2 计算各类花数量在总花数中的占比 relative proportion of flower categories RPFC 评估植株当前 生长阶段 为生长监测及管理策略提供参考 Ci ni k j 1nj 100 19 k j 1nj式中ni为第i类花的数量 k为花的类别总数 为 图像中全部花的总数 1 4 试验环境与参数设置 本研究模型训练及测试均在以下配置的服务器环境 中运行 操作系统为Windows 11 CPU为AMD Ryzen 5 5600 6 Core Processor 3 50 GHz 显卡为RTX4060 8G 运行内存为32G 编程语言为Python3 8 深度 学习框架PyTorch1 13 1 cu118 经多次试验调优 关键 超参数设置如下 初始学习率为0 01 权重衰减系数为 0 000 5 动量参数为0 937 为避免过拟合与欠拟合 训 练过程中设置最大迭代次数为300 批次大小为32 早 停机制为10 采用随机梯度下降策略 SGD 进行网络 优化训练 1 5 评价指标 本研究从以下方面评估分割模型性能与表型参数计 算精度 分割性能评估包括准确率 precision P 召回率 recall R 平均精度均值 mean average precision mAP 参数量 parameters M 浮点计 算量 floating point operations GFLOPs 及推理速度 frames per second FPS 表型参数计算精度包括平 均绝对误差 MAE 均方根误差 RMSE 和决定系 196农业工程学报 http www tcsae org 2025 年 数 R2 深度图融合效果引入峰值信噪比 peak signal