资源描述：
19 国家知识产权局 12 发明 专利申请 10 申请公布号 43 申请公布日 21 申请 号 202210112887 8 22 申请日 2022 01 29 71 申请人 重庆市农业科 学院 地址 401329 重庆市九龙坡区白市驿镇农 科 大道 72 发明人 李脉 郑吉澍 郭萧 皇甫佳一 李佩原 冉杰 龙翰威 74 专利代理 机构 重庆天 成卓 越专利代理事务 所 普通 合 伙 5 0240 专利代理师 王宏松 51 Int Cl G06T 7 00 2017 01 G06T 7 90 2017 01 G06K 9 62 2022 01 G06V 10 774 2022 01 G05D 1 02 2020 01 54 发明名称 一种虫害识别检测系统 57 摘要 本发 明提出了一种虫害识别检测系统 包括 铺设在蔬菜立体栽培工厂内的导航磁条和地标 网格 以及行走在导航磁条和地标网格构成的行 进路线上的的AGV车 还包括安装在AGV 巡检车上 的巡检机器人 巡检机器人将拍摄的蔬菜图像发 送至虫害云端工作平台 本发明能够对蔬菜上的 虫害进行识别 做出对应的措施 保证高效工厂 化蔬菜立体栽培的产量和质量 权利要求书3页 说明书10页 附图6页 CN 114549430 A 2022 05 27 CN 114549430 A 1 一种虫害识别检测系统 包括铺设在蔬菜立体栽培工厂内的导航磁条和地标网格 以及行走在导航磁条和地标网格构成的行进路线 上的的AGV车 其特征在于 还包括安装在 AGV巡检车 上的巡检机器人 巡检机器人将拍摄的蔬菜图像发送至虫害云端工作平台 2 根据权利要求1所述的虫害识别检测系统 其特征在于 还包括虫害云端工作平台判 断巡检机器人拍摄的蔬菜图像是否存在虫害 若巡检机器人拍摄的蔬菜图像存在虫害 虫害云端工作平台发送灭虫控制命令至灭虫 装置 由灭虫装置对巡检机器人拍摄的蔬菜进行 虫害消除 若巡检机器人拍摄的蔬菜图像不存在虫害 虫害云端工作平台不向灭虫装置发送灭虫 控制命令 3 根据权利要求1所述的虫害识别检测系统 其特征在于 AGV巡检车包括用于可拆卸 安装巡检机器人的安装固定平台 在安装固定平台底部 设置有用于识别导航磁条和地标网 格的行走装置 在安装固定平台内设置有用于固定安装PCB印刷电路板的P CB印刷电路板固 定安装座 P CB印刷电路板固定安装在P CB印刷电路板固定安装座上 在PCB印刷电路板上设 置有AGV巡检车控制器和无线 数据连接模块 AGV巡检车控制器与行走装置的行走控制端相 连 AGV巡检车控制器的数据通讯端与无线数据连接模块的通讯端相连 AGV巡检车通过无线数据 连接模块接收或 和发送虫害云端工作平台发送或 和接收的 通讯数据 AGV巡检车根据接收的通讯数据向行走装置发送控制 命令 使其AGV巡检车承载 巡检机器人至目标位置 4 根据权利要求3所述的虫害识别检测系统 其特征在于 无线数据 连接模块包括WiFi 数据连接模块 2G数据连接模块 3G数据连接模块 4G数据连接模块 5G数据连接模块之一 或者任意组合 无线数据连接模块为WiFi数据连接模块时 AGV巡检车控制器的数据通讯WiFi端与 WiFi数据连接模块的通讯端相连 无线数据连接模块为2G数据连接模块时 AGV巡检车控制器的数据通讯2G端与2G数据 连接模块的通讯端相连 无线数据连接模块为3G数据连接模块时 AGV巡检车控制器的数据通讯3G端与3G数据 连接模块的通讯端相连 无线数据连接模块为4G数据连接模块时 AGV巡检车控制器的数据通讯4G端与4G数据 连接模块的通讯端相连 无线数据连接模块为5G数据连接模块时 AGV巡检车控制器的数据通讯5G端与5G数据 连接模块的通讯端相连 5 根据权利要求1所述的虫害识别检测系统 其特征在于 巡检机器人包括可拆卸安装 在AGV巡检车上的巡检机器人本体 在巡检机器人本体内设置有用于固定安装P CB印制电路 板的P CB印制电路板固定安装座 P CB印制电路板固定安装在P CB印制电路板固定安装座上 在PCB印制电路板上设置有巡检机器人控制器 在巡检机器人手臂末端设置有用于拍摄蔬 菜虫害图像的摄像头 摄像头的图像数据端与巡检机器人控制器的图像数据端相连 巡检 机器人控制器的数据交 互端与AGV巡检车控制器的数据交 互端相连 巡检机器人控制器接收到AGV巡检车控制器发送 的拍摄蔬菜虫害图像控制命令后 巡 检机器人控制器向巡检机器人手臂发送运动控制命令 使其设置在巡检机器人手臂末端的 权 利 要 求 书 1 3 页 2 CN 114549430 A 摄像头拍摄蔬菜图像 将拍摄的蔬菜图像通过AGV巡检车上的无线数据连接模传输至虫害 云端工作平台 6 根据权利要求3所述的虫害识别检测系统 其特征在于 AGV巡检车承载巡检机器人 至目标位置的方法包括以下步骤 S1 AGV巡检车控制器判断在行 走 过程中是否 接收到地标信号 若在行走过程中接收到地标信号 则此时AGV巡检车处于导航磁条相交点 在相交点处 有K条导航磁条 所述 为大于或者等于3的正整数 分别为第1导航磁条 第2导航磁条 第3 导航磁条 第K导航磁条 第 导航磁条为AGV巡检车当前所处导航磁条 第1导航磁条 第2导 航磁条 第3导 航磁条 第K 1导 航磁条为待选择的导 航磁条 执 行 下一 步 若在行 走 过程中未接收到地标信号 则AGV巡检车继续向前 行 走 返回步骤S1 S2 以待选择的导 航磁条向前 前进相同距离L后处于预计点 在第1导 航磁条 上向前 前进距离L后 处于第1导 航磁条 上的第1预计点 在第2导 航磁条 上向前 前进距离L后 处于第2导 航磁条 上的第2预计点 在第3导 航磁条 上向前 前进距离L后 处于第3导 航磁条 上的第3预计点 在第K 1导 航磁条 上向前 前进距离L后 处于第K 1导 航磁条 上的第K 1预计点 S3 计算第k预计点与目标位置两点连线的距离 k 1 2 3 K 1 以两点连线距离 最小的预计点所在导 航磁条为前进的导 航磁条 7 一种虫害识别检测方法 其特 征在于 包括以下步骤 S1 虫害云端工作平台对获取的蔬菜图像进行编号 分别为A 1 A 2 A 3 A B A b表示第 b蔬菜云端图像 b 1 2 3 B 为摄像头拍摄的图像总张数 A 1表示第1蔬菜云端图 像 A 2表示第2蔬菜云端图像 A 3表示第3蔬菜云端图像 A B表示第B蔬菜云端图像 令 1 S2 判断A 是否为RGB图像 若A 为RGB图像 则将A a转换为gray图像 则执 行 下一 步 若A a为gray图像 则执 行 下一 步 S3 将gray图像A a gray导入训练好的yo lo v5s模型中进行输出 结果 若输出结果为蔬菜图像中存在虫害 则虫害云端工作平台向其灭虫装置发送虫害消除 控制命令 由灭虫装置对巡检机器人拍摄的蔬菜所在位置进行 虫害消除 若输出 结果 为蔬菜图像中不存在虫害 则判断下一张图像 8 根据权利要 求7所述的虫害识别检测方法 其特征在于 在步骤S2中 将A a转换为gray 图像的方法为 Aa gray A a x y R R Aa x y G G Aa x y B B 其中 A a gr y表示A 的gray图像 Aa x y R表示A 在像素坐标点 x y 处的红色分量值 x x 1 x2 x3 xi x表示像素 坐标点中的横坐标点 x 1 x2 x3 xi 表示横坐标点 集 合 i表示横坐标点的总个数 Aa x y G表示A 在像素坐标点 x y 处的绿色分量值 y y 1 y2 y3 yj y表示像素 坐标点中的纵坐标点 y 1 y2 y3 yj 表示纵坐标点 集 合 j表示纵坐标点的总个数 A x y B表示A a在像素坐标点 x y 处的蓝色 分量 值 R表示红色 分量 值的比例系数值 R 0 1 权 利 要 求 书 2 3 页 3 CN 114549430 A G表示红色 分量 值的比例系数值 G 0 1 B表示红色 分量 值的比例系数值 B 0 1 且 R G B 1 横坐标点 集 合与纵坐标点 集 合构成像素图像 9 根据权利要求8所述的虫害识别检测方法 其特征在于 在步骤S2中 横坐标点的总 个数i的计算方法为 i image Iwidth 其中 image表示摄 像头拍摄的图像的分辨 率 Iwidth表示拍摄图像的宽度值 i表示横坐标点的总个数 纵坐标点的总个数j的计算方法为 j image Ihigh 其中 im ge 表示摄 像头拍摄的图像的分辨 率 Ihigh表示拍摄图像的高度值 j表示纵坐标点的总个数 10 根据权利要求7所述的虫害识别检测方法 其特征在于 还包括虫害云端工作平台 向其灭虫装置发送灭虫装置由始发点至消除虫害位置的路径 权 利 要 求 书 3 3 页 4 CN 114549430 A 一种虫害识别检测系统 技术领域 0001 本发明涉及 一种蔬菜立体栽培工厂化技术领域 特别是涉及一种虫害识别检测系 统 背景技术 0002 蔬菜从播种 生长至收获 经常受到各种有害生物 植物病原 害虫等 的危害 农 作物病虫害是我国的主要农业灾害之一 它 具有种类多 影响大 并时常暴发成灾的特点 其发生范围和 严重程度对我国国民经济 特别是农业生产常造成重大损失 有害生物种类 繁多且形态各异 发生规律各有不同 而且时常爆发 对我国国民经济 特别是农业生产造 成重大损失 因此 正确识别植物病虫害 掌握有害生物的习性 特点 对防控有害生物极其 重要 专利申请号2020116326389 名称为 蔬菜病虫害防治智能识别系统 公开了包括用 户终端 云端服务器和专家平台 用户终端将蔬菜作 物图像上传至 云端服务器 云端服务器 确定蔬菜作 物图像对应的蔬菜类别 并将蔬菜作 物图像输入蔬菜类别对应的病虫害智能识 别模型中得到相应的识别结果 同时结合专家平台的反馈的识别结果得到病虫害类型识别 结果 根据病虫害类型识别结果以及预先存储的病虫害类型识别结果对应的治理措施生成 病 虫害诊断结果反馈给用户终端 该系统基于人工智能技术提供病 虫害识别功能 使得农 户可以准确识别存在的病虫害类型并采用合适的治理措施进行治理 识别率较高且较稳 定 对防控蔬菜病虫害极其重要 发明内容 0003 本发明旨在至少解决现有技术中存在的技术问题 特别创新地提出了蔬菜立体栽 培 工厂 0004 为了实现本发明的上述目的 本发明提供了一种虫害识别检测系统 包括铺设在 蔬菜立体栽培工厂内的导航磁条和地标网格 以及行走在导航磁条和地标网格构成的行进 路线上的的AGV车 还包括安装在AGV巡检车上的巡检机器人 巡检机器人将拍摄的蔬菜图 像发送至虫害云端工作平台 0005 在本发明的一种优选实施方式中 还包括虫害云端工作平台判断巡检机器人拍摄 的蔬菜图像是否存在虫害 0006 若巡检机器人拍摄的蔬菜图像存在虫害 虫害云端工作平台发送灭虫控制命令至 灭虫装置 由灭虫装置对巡检机器人拍摄的蔬菜进行 虫害消除 0007 若巡检机器人拍摄的蔬菜图像不存在虫害 虫害云端工作平台不向灭虫装置发送 灭虫控制命令 0008 在本发明的一种优选实施方式中 AGV巡检车包括用于可拆卸安装巡检机器人的 安装固定平台 在安装固定平台底部设置有用于识别导航磁条和 地标网格的行走装置 在 安装固定平台内设置有用于固定安装PCB印刷电路板的PCB印刷电路板固定安装座 PCB印 刷电路板固定安装在PCB印刷电路板固定安装座上 在PCB印刷电路板上设置有AGV巡检车 说 明 书 1 10 页 5 CN 114549430 A 控制器和无线数据连接模块 AGV巡检车控制器与行走装置的行走控制 端相连 AGV巡检车 控制器的数据通讯端与无线数据连接模块的通讯端相连 0009 AGV巡检车通过无线数据连接模块接收或 和发送虫害云端工作平台发送或 和接 收的通讯数据 AGV巡检车根据接收的通讯数据向行走装置发送控制 命令 使其AGV巡检车 承载巡检机器人至目标位置 0010 在本发明的一种优选实施方式中 无线数据连接模块包括WiFi数据连接模块 2G 数据连接模块 3G数据连接模块 4G数据连接模块 5G数据连接模块之一或者任意组合 0011 无线数据连接模块为WiFi数据连接模块时 AGV巡检车控制 器的数据通讯WiFi端 与W iFi数据连接模块的通讯端相连 0012 无线数据连接模块为2G数据连接模块时 AGV巡检车控制器的数据通讯2G端与2G 数据连接模块的通讯端相连 0013 无线数据连接模块为3G数据连接模块时 AGV巡检车控制器的数据通讯3G端与3G 数据连接模块的通讯端相连 0014 无线数据连接模块为4G数据连接模块时 AGV巡检车控制器的数据通讯4G端与4G 数据连接模块的通讯端相连 0015 无线数据连接模块为5G数据连接模块时 AGV巡检车控制器的数据通讯5G端与5G 数据连接模块的通讯端相连 0016 在本发明的一种优选实施方式中 巡检机器人包括可拆卸安装在AGV巡检车上的 巡检机器人本体 在巡检机器人本体内设置有用于固定安装PCB印制电路板的P CB印制电路 板固定安装座 PCB印制电路板固定安装在PCB印制电路板固定安装座上 在P CB印制电路板 上设置有巡检机器人控制器 在巡检机器人手臂末端设置有用于拍摄蔬菜 虫害图像的摄像 头 摄像头的图像数据端与巡检机器人控制器的图像数据端相连 巡检机器人控制器的数 据交 互端与AGV巡检车控制器的数据交 互端相连 0017 巡检机器人控制器接收到AGV巡检车控制器发送的拍摄蔬菜虫害图像控制命令 后 巡检机器人控制器向巡检机器人手臂发送运动控制命令 使其设置在巡检机器人手臂 末端的摄像头拍摄蔬菜图像 将拍摄的蔬菜图像通过AGV巡检车上 的无线数据连接模传输 至虫害云端工作平台 0018 在本发明的一种优选实施方式中 AGV巡检车承载巡检机器人至目标位置 的方法 包括以下步骤 0019 S1 AGV巡检车控制器判断在行 走 过程中是否 接收到地标信号 0020 若在行走过程中接收到地标信号 则此时AGV巡检车处于导航磁条相交点 在相交 点处有K条导航磁条 所述 为大于或者等于3的正整 数 分别为第1导航磁条 第2 导航磁条 第3导航磁条 第K导航磁条 第 导航磁条为AGV巡检车当前所 处导航磁条 第1导航磁 条 第2导 航磁条 第3导 航磁条 第K 1导 航磁条为待选择的导 航磁条 执 行 下一 步 0021 若在行 走 过程中未接收到地标信号 则AGV巡检车继续向前 行 走 返回步骤S1 0022 S2 以待选择的导 航磁条向前 前进相同距离L后处于预计点 0023 在第1导 航磁条 上向前 前进距离L后 处于第1导 航磁条 上的第1预计点 0024 在第2导 航磁条 上向前 前进距离L后 处于第2导 航磁条 上的第2预计点 0025 在第3导 航磁条 上向前 前进距离L后 处于第3导 航磁条 上的第3预计点 说 明 书 2 10 页 6 CN 114549430 A 0026 0027 在第K 1导 航磁条 上向前 前进距离L后 处于第K 1导 航磁条 上的第K 1预计点 0028 S3 计算第k预计点与目标位置两点连线的距离 1 2 3 K 1 以两点连线 距离最小的预计点所在导航磁条为前进的导航磁条 其第k预计点与目标位置两点连线的 距离的计算方法为 0029 dk2 x0 xk 2 y0 yk 2 d 0 0030 其中 x0 y0 表示目标位置的位置坐标值 0031 xk yk 表示第k预计点的位置坐标值 0032 dk表示第k预计点与目标位置两点连线的距离 AGV巡检车承载巡检机器人可以快 速的抵 达目标位置实现对蔬菜进行拍照 对虫害情况进行判断 0033 本发明还公开了一种虫害识别检测方法 如图1所示 包括以下步骤 0034 S1 虫害云端工作平台对获取的蔬菜图像进行编号 分别为A 1 A 2 A 3 A B A b表 示第b蔬菜云端图像 1 2 3 B 为摄像头拍摄的图像总张数 A 1表示第1蔬菜云端 图像 A 2表示第2蔬菜云端图像 A 3表示第3蔬菜云端图像 A B表示第B蔬菜云端图像 令a 1 0035 S2 判断A a是否为RGB图像 0036 若A a为RGB图像 则将A 转换为gray图像 则执 行 下一 步 0037 若A a为gray图像 则执 行 下一 步 0038 S3 将gray图像A a gray导入训练好的yo lo v5s模型中进行输出 结果 0039 若输出结果为蔬菜图像中存在虫害 则虫害云端工作平台向其灭虫装置发送虫害 消除控制命令 由灭虫装置对巡检机器人拍摄的蔬菜所在位置进行 虫害消除 0040 若输出 结果 为蔬菜图像中不存在虫害 则判断下一张图像 0041 在本发明的一种优选实施方式 中 在步骤S2中 将A a转换为gray图像的方法为 0042 Aa gray A a x y R R A x y G G A x y B B 0043 其中 A gr y表示A a的gray图像 0044 A x y R表示A 在像素坐标点 x y 处的红色分量值 x x 1 x2 x3 xi x表示 像素坐标点中的横坐标点 x 1 x2 x3 xi 表示横坐标点 集 合 i表示横坐标点的总个数 0045 Aa x y G表示A a在像素坐标点 x y 处的绿色分量值 y y 1 y2 y3 yj y表示 像素坐标点中的纵坐标点 y 1 y2 y3 yj 表示纵坐标点 集 合 j表示纵坐标点的总个数 0046 Aa x y B表示A 在像素坐标点 x y 处的蓝色 分量 值 0047 R表示红色 分量 值的比例系数值 R 0 1 0048 G表示红色 分量 值的比例系数值 G 0 1 0049 B表示红色 分量 值的比例系数值 B 0 1 且 R G B 1 0050 横坐标点 集 合与纵坐标点 集 合构成像素图像 0051 在本发明的一种优选实施方式中 在步骤S2中 横坐标点的总个数i的计算方法 为 0052 i im ge Iwidth 说 明 书 3 10 页 7 CN 114549430 A 0053 其中 im ge 表示摄 像头拍摄的图像的分辨 率 0054 Iwidth表示拍摄图像的宽度值 0055 i表示横坐标点的总个数 0056 纵坐标点的总个数j的计算方法为 0057 j im ge Ihigh 0058 其中 image表示摄 像头拍摄的图像的分辨 率 0059 Ihigh表示拍摄图像的高度值 0060 j表示纵坐标点的总个数 0061 在本发明的一种优选实施方式中 还包括虫害云端工作平台向其灭虫装置发送灭 虫装置由始发点至消除虫害位置的路径 0062 综上所述 由于采用了上述技术方案 本发明能够对蔬菜上的虫害进行识别 做出 对应的措施 保证高效工厂化蔬菜立体栽培的产量和质量 0063 本发明的附加方面和优点将在下面的描述中部分给出 部分将从下面的描述中变 得明显 或通过本发明的实 践了解到 附图说明 0064 本发明的上述和 或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容 易理解 其中 0065 图1是本发明的流 程 示 意框图 0066 图2是本发明虫害分类识别网络示 意图 0067 图3是本发明上位机系统界面 示 意图 0068 图4是本发明蚜虫 虫害图像示 意图 0069 图5是本发明粉虱虫害图像示 意图 0070 图6是本发明batc h为 4 mosic增强后的训练图像示 意图 0071 图7 是本发明模型训练过程中损失率曲线示 意图 0072 图8是本发明测试集标注的label图像示 意图 0073 图9是本发明模型推理后得到的实际结果 示 意图 0074 图10是本发明虫害精确率 召回率曲线示 意图 0075 图1 1是本发明蚜虫 虫害识别示 意图 0076 图12是本发明粉虱虫害识别示 意图 0077 图13是本发明模型部署和界面测试示 意图 具体实施方式 0078 下面详细描述本发明的实施例 所述实施例的示例在附图中示出 其中自始至终 相同或类似的标号表 示相同或类似的元件或具有相同或类似功能的元件 下面通过参考附 图描述的实施例是示例性的 仅用于解释本发明 而不能理解 为对本发明的限制 0079 本发明提供了一种虫害识别检测系统 包括铺设在蔬菜立体栽培工厂内 的导航磁 条和地标网格 以及行走在导航磁条和地标网格构成的行进路线 上的AGV巡检车 还包括安 装在AGV巡检车 上的巡检机器人 巡检机器人将拍摄的蔬菜图像发送至虫害云端工作平台 说 明 书 4 10 页 8 CN 114549430 A 0080 在本发明的一种优选实施方式中 还包括虫害云端工作平台判断巡检机器人拍摄 的蔬菜图像是否存在虫害以及虫害种类 0081 若巡检机器人拍摄的蔬菜图像存在虫害 虫害云端工作平台发送灭虫控制命令至 灭虫装置 由灭虫装置对巡检机器人拍摄的蔬菜喷洒针对虫害的对应杀虫剂进行虫害消 除 或者由灭虫装置对巡检机器人拍摄的蔬菜定点释放虫害对应的虫害天敌昆虫 实现对 蔬菜虫害的无农药防治 0082 若巡检机器人拍摄的蔬菜图像不存在虫害 虫害云端工作平台不向灭虫装置发送 灭虫控制命令 0083 在本发明的一种优选实施方式中 AGV巡检车包括用于可拆卸安装巡检机器人的 安装固定平台 在安装固定平台底部设置有用于识别导航磁条和 地标网格的行走装置 在 安装固定平台内设置有用于固定安装PCB印刷电路板的PCB印刷电路板固定安装座 PCB印 刷电路板固定安装在PCB印刷电路板固定安装座上 在PCB印刷电路板上设置有AGV巡检车 控制器和无线数据连接模块 AGV巡检车控制器与行走装置的行走控制 端相连 AGV巡检车 控制器的数据通讯端与无线数据连接模块的通讯端相连 0084 AGV巡检车通过无线数据连接模块接收或 和发送虫害云端工作平台发送或 和接 收的通讯数据 AGV巡检车根据接收的通讯数据向行走装置发送控制 命令 使其AGV巡检车 承载巡检机器人至目标位置 0085 在本发明的一种优选实施方式中 无线数据连接模块包括WiFi数据连接模块 2G 数据连接模块 3G数据连接模块 4G数据连接模块 5G数据连接模块之一或者任意组合 0086 无线数据连接模块为WiFi数据连接模块时 AGV巡检车控制 器的数据通讯WiFi端 与W iFi数据连接模块的通讯端相连 0087 无线数据连接模块为2G数据连接模块时 AGV巡检车控制器的数据通讯2G端与2G 数据连接模块的通讯端相连 0088 无线数据连接模块为3G数据连接模块时 AGV巡检车控制器的数据通讯3G端与3G 数据连接模块的通讯端相连 0089 无线数据连接模块为4G数据连接模块时 AGV巡检车控制器的数据通讯4G端与4G 数据连接模块的通讯端相连 0090 无线数据连接模块为5G数据连接模块时 AGV巡检车控制器的数据通讯5G端与5G 数据连接模块的通讯端相连 0091 在本发明的一种优选实施方式中 巡检机器人包括可拆卸安装在AGV巡检车上的 巡检机器人本体 在巡检机器人本体内设置有用于固定安装PCB印制电路板的P CB印制电路 板固定安装座 PCB印制电路板固定安装在PCB印制电路板固定安装座上 在P CB印制电路板 上设置有巡检机器人控制器 在巡检机器人手臂末端设置有用于拍摄蔬菜 虫害图像的摄像 头 摄像头的图像数据端与巡检机器人控制器的图像数据端相连 巡检机器人控制器的数 据交 互端与AGV巡检车控制器的数据交 互端相连 0092 巡检机器人控制器接收到AGV巡检车控制器发送的拍摄蔬菜虫害图像控制命令 后 巡检机器人控制器向巡检机器人手臂发送运动控制命令 使其设置在巡检机器人手臂 末端的摄像头拍摄蔬菜图像 将拍摄的蔬菜图像通过AGV巡检车上 的无线数据连接模传输 至虫害云端工作平台 说 明 书 5 10 页 9 CN 114549430 A 0093 在本发明的一种优选实施方式中 AGV巡检车承载巡检机器人至目标位置 的方法 包括以下步骤 0094 S1 AGV巡检车控制器判断在行 走 过程中是否 接收到地标信号 0095 若在行走过程中接收到地标信号 则此时AGV巡检车处于导航磁条相交点 在相交 点处有K条导航磁条 所述 为大于或者等于3的正整 数 分别为第1导航磁条 第2 导航磁条 第3导航磁条 第K导航磁条 第 导航磁条为AGV巡检车当前所 处导航磁条 第1导航磁 条 第2导 航磁条 第3导 航磁条 第K 1导 航磁条为待选择的导 航磁条 执 行 下一 步 0096 若在行 走 过程中未接收到地标信号 则AGV巡检车继续向前 行 走 返回步骤S1 0097 S2 以待选择的导 航磁条向前 前进相同距离L后处于预计点 0098 在第1导 航磁条 上向前 前进距离L后 处于第1导 航磁条 上的第1预计点 0099 在第2导 航磁条 上向前 前进距离L后 处于第2导 航磁条 上的第2预计点 0100 在第3导 航磁条 上向前 前进距离L后 处于第3导 航磁条 上的第3预计点 0101 0102 在第K 1导 航磁条 上向前 前进距离L后 处于第K 1导 航磁条 上的第K 1预计点 0103 S3 计算第k预计点与目标位置两点连线的距离 1 2 3 K 1 以两点连线 距离最小的预计点所在导航磁条为前进的导航磁条 其第k预计点与目标位置两点连线的 距离的计算方法为 0104 dk2 x0 xk 2 y0 yk 2 d 0 0105 其中 x0 y0 表示目标位置的位置坐标值 0106 xk yk 表示第k预计点的位置坐标值 0107 dk表示第k预计点与目标位置 两点连线的距离 0108 本发明还公开了一种虫害识别检测方法 包括以下步骤 0109 S1 虫害云端工作平台对获取的蔬菜图像进行编号 分别为A 1 A 2 A 3 A B A b表 示第b蔬菜云端图像 1 2 3 B 为摄像头拍摄的图像总张数 A 1表示第1蔬菜云端 图像 A 2表示第2蔬菜云端图像 A 3表示第3蔬菜云端图像 A B表示第B蔬菜云端图像 令a 1 0110 S2 判断A a是否为RGB图像 0111 若A a为RGB图像 则将A a转换为gray图像 则执 行 下一 步 0112 若A a为gray图像 则执 行 下一 步 0113 S3 将gray图像A a gray导入训练好的yo lo v5s模型中进行输出 结果 0114 若输出结果为蔬菜图像中存在虫害 则虫害云端工作平台向其灭虫装置发送虫害 消除控制命令 由灭虫装置对巡检机器人拍摄的蔬菜所在位置进行 虫害消除 0115 若输出 结果 为蔬菜图像中不存在虫害 则判断下一张图像 0116 在本发明的一种优选实施方式 中 在步骤S2中 将A a转换为gray图像的方法为 0117 Aa gray A a x y R R Aa x y G G Aa x y B B 0118 其中 A gr y表示A a的gray图像 0119 Aa x y R表示A a在像素坐标点 x y 处的红色分量值 x x 1 x2 x3 xi x表示 像素坐标点中的横坐标点 x 1 x2 x3 xi 表示横坐标点 集 合 i表示横坐标点的总个数 0120 Aa x y G表示A a在像素坐标点 x y 处的绿色分量值 y y 1 y2 y3 yj y表示 像素坐标点中的纵坐标点 y 1 y2 y3 yj 表示纵坐标点 集 合 j表示纵坐标点的总个数 说 明 书 6 10 页 10 CN 114549430 A 0121 A x y B表示A a在像素坐标点 x y 处的蓝色 分量 值 0122 R表示红色 分量 值的比例系数值 R 0 1 0123 G表示红色 分量 值的比例系数值 G 0 1 0124 B表示红色 分量 值的比例系数值 B 0 1 且 R G B 1 0125 横坐标点 集 合与纵坐标点 集 合构成像素图像 0126 在本发明的一种优选实施方式中 在步骤S2中 横坐标点的总个数i的计算方法 为 0127 i image Iwidth 0128 其中 image表示摄 像头拍摄的图像的分辨 率 0129 Iwidth表示拍摄图像的宽度值 0130 i表示横坐标点的总个数 0131 纵坐标点的总个数j的计算方法为 0132 j image Ihigh 0133 其中 im ge 表示摄 像头拍摄的图像的分辨 率 0134 Ihigh表示拍摄图像的高度值 0135 j表示纵坐标点的总个数 0136 在本发明的一种优选实施方式中 还包括虫害云端工作平台向其灭虫装置发送灭 虫装置由始发点至消除虫害位置的路径 其由始发点至消除虫害位置的路径的方法与AGV 巡检车承载巡检机器人至目标位置的方法相同 0137 结合实际 考虑到虫害实际大小 神经网络需要具备对微小物体的准确识别和 分 类能力以及多尺度检测的鲁棒性 因此选用目前对小目标识别 具有较好能力的YOLO V5神 经网络作为本检测网络的核心网络 虫害识别检测输入端是摄像头采集到的实际图像 因 此数据集的好坏对模型 的检测结果尤为重要 首先需要采集虫害图片和 正常无虫害图片 建立数据集并标注虫害类别 对输入图像进行增强和图像处理后 使用Y OLO V5模 型对训练 集进行预训练和模型调参 获得最优的权重 在测试集精度满足一定阈值后 转入实际实验 测试 优化模型完成最终的识别效果 对训练好的模型进行优化部署 以达到实际使用需 求 0138 系统 组成和工作原理 0139 3 1系统 组成 0140 3 1 1虫害识别模型 0141 使用YOLO V5模型作为核心网络 完 成虫害的检测 与识别 输入端为相机采集到的 实际图形 输出端为经 过网络推理后得到的检测结果 网络结构图如图2所示 0142 3 1 2上位机界面 0143 上位机界面主要完成 摄像头画面实时显示和虫害识别分类信息显示等 基于QT 搭建上位机开发环境 基于socket实现与机器人本体的TCP IP通讯 上位机界面如图3所 示 说 明 书 7 10 页 11 CN 114549430 A 0144 3 2算法原理 0145 虫害识别检测算法的核心是模型的训练和推 理 通过高精度的相机进行虫害的图 像采集 对采集的图像进行标注 建立完整的训练集 网络推理的输入端 使用滑动窗口以 及自适应填充等方法 进行数据清洗 提高样本质量 优化输入端 主干网络主要包含 Focus FPN PAN特征提取网络 Focus可以有效进行数据降维 而FPN PAN的组合则是实现多 尺度检测的关键 通过浅层深层特征的融合 既保留了浅层的纹理信息 又得到的深层鲁棒 性更强的特征信息 输出端主要包含边界回归和非极大值抑制 使用DIOU nms 的方式可以 有效增强对 遮挡物体的识别率 0146 实验 0147 4 1主 要设备 0148 工业相机 分辨率8 00MP 千兆网线 HMI界面 工控机 i7 RT X3060 win10操作系 统 巡检机器人 0149 4 2实验地 点 0150 重庆市九龙坡区重庆市农业科 学院内 0151 4 3实验材 料 0152 带有虫害的农作和正常的农作物 0153 4 4实验步骤 0154 1 数据集采集 0155 由于目前并没有关于虫害类别的深度学习公开数据集 因此首先需要采集虫害图 片 制作训练集 使用工业相机采集虫害图像 相机像素800万以上 在试验场地不同菜株和 不同时段下进行采集 实验数据集共采集图像800张 其中蚜虫450张 占比56 粉虱350 张 占比43 使用图像数量扩充 方法对图像数量进 行扩充扩充后总图像数量1600张 其中 蚜虫900张 占比56 粉虱700张 占比43 数据分布比例不变 如图4和5所示 数据集图 像确保每一张图像中至少含有一只害虫 采用8 1 1 即80 10 10 的分配比例随机 分配图片作为训练集 测试集 验证集 在本实施方式中 使用图像数量扩充方法对图像数 量进行扩充的方法包括以下步骤 0156 第一步 将A a 转换为gray图像 A a 表示待处理图像 将A a 转换为gray图像的方法 为 0157 Aa gray A a x y R R A x y G G A x y B B 0158 其中 A a gr y表示A 的gray图像 0159 A x y R表示A 在像素坐标点 x y 处的红色分量值 x x 1 x2 x3 xi x表 示像素坐标点中的横坐标点 x 1 x2 x3 xi 表示横坐标点集合 i表示横坐标点的总个 数 横坐标点的总个数i的计算方法为 0160 i im ge Iwidth 0161 其中 image表示摄 像头拍摄的图像的分辨 率 0162 Iwidth表示拍摄图像的宽度值 0163 i表示横坐标点的总个数 0164 Aa x y G表示A a 在像素坐标点 x y 处的绿色分量值 y y1 y2 y3 yj y表 示像素坐标点中的纵坐标点 y 1 y2 y3 yj 表示纵坐标点集合 j表示纵坐标点的总个 说 明 书 8 10 页 12 CN 114549430 A 数 纵坐标点的总个数j的计算方法为 0165 j image Ihigh 0166 其中 image表示摄 像头拍摄的图像的分辨 率 0167 Ihigh表示拍摄图像的高度值 0168 j表示纵坐标点的总个数 0169 Aa x y B表示A a 在像素坐标点 x y 处的蓝色 分量 值 0170 R表示红色 分量 值的比例系数值 R 0 1 0171 G表示红色 分量 值的比例系数值 G 0 1 0172 B表示红色 分量 值的比例系数值 B 0 1 且 R G B 1 0173 横坐标点 集 合与纵坐标点 集 合构成像素图像 0174 第二 步 根据设定的像素调节因子 得到对比图像 0175 Aa gr y A gray 0176 其中 A a gr y表示待处 理图像A a 的gray图像 灰度图像 0177 表示设定的像素调节因子 0 58 1 1 1 3 5 表示并集 0178 第三 步 判断I width 与I high 间大小 0179 若I width I high I high 表示待处理图像的高度值 I width 表示待处理图像的宽度 值 则以I width 为 边长构建一个方 形图层 0180 若I width 92 粉虱 90 满足实际要求 如图 11和12所示 0200 将最终的模型转换为onnx部署到qt界面中 实际巡行效果如图13 模型最终单帧 检测时间为0 5s 具 备较高的实时性 0201 5 2结论 0202 通过实验数据和参数分析 最终的模型可以有效的识别检测出蚜虫 粉虱虫害 且 实时性较高 具备落地部署的条件 同时后 期通过不断迭代测试集数量和模型再训练 具备 模型的检测准确率和精度进一 步 提升的空间 0203 尽管已经示出和描述了本发明的实施例 本领域的普通技术人员可以理解 在不 脱离本发明的原理和宗旨的情况下可以对这些实施例进 行多种变化 修改 替换和变型 本 发明的范围由权利要求及其 等同物限定 说 明 书 10 10 页 14 CN 114549430 A 图1 图2 说 明 书 附 图 1 6 页 15 CN 114549430 A 图3 图4 图5 说 明 书 附 图 2 6 页 16 CN 114549430 A 图6 图7 说 明 书 附 图 3 6 页 17 CN 114549430 A 图8 图9 说 明 书 附 图 4 6 页 18 CN 114549430 A 图10 图1 1 说 明 书 附 图 5 6 页 19 CN 114549430 A 图12 图13 说 明 书 附 图 6 6 页 20 CN 114549430 A
展开阅读全文
