基于嵌入式机器视觉智能果实分拣机器人设计与试验.pdf-

资源描述：

第 4 卷第 3 期 2023 年 8 月 Vol 4 No 3 August 2023 智能化农业装备学报中英文 Journal of Intelligent Agricultural Mechanization 基于嵌入式机器视觉智能果实分拣机器人设计与试验白振伟严富威袁培海张浩明杨润树仲恺农业工程学院机电工程学院广东广州 510225 摘要随着人工成本的升高采用智能化的现代设备代替人类完成一系列重复性的枯燥的甚至高强度的劳动是当前机器人研究的一个重要方向分拣机器人作为农业机器人的重要分支具有良好的发展潜力为了实现替代人工将成熟度大小不同的果实进行识别分拣运用 STM32 单片机 OpenMV 机器视觉模块 ESP32 单片机设计一款智能分拣果实机器人 OpenMV 机器视觉模块采集果实的颜色大小信息判断水果是否成熟 STM32 单片机控制机器人的运动以及机械臂执行相应的分拣程序将水果分拣到指定容器 ESP32 单片机将分拣数据上传到云端机器人在设计过程中使用三维建模软件进行结构设计建立三维模型并进行仿真分析仿真结果表明在一定程度上能够实现分拣自动化信息化高效化在研究中对实物进行多次两个分拣点调试一共分拣了 24 颗果实对果实的分拣的成功率达到 87 5 研究结果表明分拣机器人能够实现精准分拣且达到一定的可靠性和实用性可以替代人类完成果实精准分拣的工作关键词 STM32 OpenMV 智能分拣 ESP32 PID 控制逆运动学分析中图分类号 S226 9 文献标识码 A 文章编号 2096 7217 2023 03 0061 10 白振伟严富威袁培海张浩明杨润树基于嵌入式机器视觉智能果实分拣机器人设计与试验 J 智能化农业装备学报中英文 2023 4 3 61 70 BAI Zhenwei YAN Fuwei YUAN Peihai ZHANG Haoming YANG Runshu Design and experiment of fruit sorting robot based on embedded machine vision J Journal of Intelligent Agricultural Mechanization 2023 4 3 61 70 0 引言我国是农业大国水果产业是我国种植业中的第三大产业当前我国水果产量每年都在急剧增长据统计未来 10 年水单产继续提高产量稳中有增品种结构进一步优化优质水果供给增加预计 2032 年达 3 53 10 8 t 1 其中水果分拣是水果产业中最耗时耗力的环节之一分拣环节成本高季节性强需要大量劳动力高强度工作 2 其中水果的采摘和分拣工作是水果生产必不可少的环节仅靠传统人力进行采摘分拣果实工作强度大耗费时间长而随着科学技术的进步水果采摘分拣工作逐渐向自动化智能化的方向发展极大提高了水果分拣效率 3 按照水果的内外部品质和大小重量进行分拣是当前国内外水果分拣技术的两个主要研究方向 1 国外早期的水果品质方法主要通过 CCD 彩色相机采用无损检测计算机分析处理等手段对水果逐一进行分析但随着自动化技术和机器视觉技术的不断发展 1995 年美国研制的 Merling 高速高频计算机视觉水果分级系统其生产率约为 40 t h 美国每年有 50 以上的苹果经过该设备处理美国 Autoline 公司的水果分级设备在世界上处于领先地位 4 相较于国外的水果分拣技术产品国内的分拣产品还是较为落后大多数产品还都局限于机械分拣阶段主要用来对水果的大小和重量进行分拣目前市面上的分拣机有滚筒筛式震动筛式斜坡式以及直线型变距分拣机等这一类机器的分拣原理主要是通过果实的重量和大小来进行分拣 5 这种分拣方式精度差无法判断水果成熟度且对水果有不同程度的损伤随着嵌入式控制技术和图像处理技术的不断发展使得当前较为先进的分拣机器人可以根据水果的外形大小颜色等指标通过机械臂对果实进行分拣这种分拣方式精度高对果实的损耗小是未来分拣机器人的一种新趋势 DOI 10 12398 j issn 2096 7217 2023 03 007 收稿日期 2023 03 15 修回日期 2023 07 19 基金项目广东省教育厅项目 2022ZDJS024 仲恺农业工程学院 2021 年校级质量工程项目 KA2201601L7 国家创新创业训练计划项目 KA220160516 第一作者白振伟男 1985 年生江西石城人博士讲师研究方向为高精密加工与制造装备及机电产品设计 E mail baizhenwei07 2023 年智能化农业装备学报中英文本文将基于 STM32 单片机 OpenMV 机器视觉模块设计一款智能分拣果实机器人其中 STM32 单片机作为智能分拣果实机器人的主控制器利用 OpenMV 机器视觉模块识别获取果实信息通过 USART 通信将数据传输到主控制器主控制器接收数据后驱动机械臂完成果实分拣 1 设计原理及构造设定有 A B 两种体积大小不同的水果两种类型的水果均有红绿两种颜色需要将绿色的水果按小大分类至 1 2 号果篮红色的水果同样按小大分类至 3 4 号果篮试验场地模型图如图 1 所示 6 该控制系统主要包括循迹识别和抓取三个过程具体的工作原理及流程分拣机器人启动后通过车前底部的红外循迹模块对地面的黑色引导线进行识别控制分拣机器人前进的方向行驶途中检测到分类点的停止线后停下并启动视觉模块视觉模块对水果的颜色大小进行分析同时车前端的 HC SR04 超声波模块对果实和分拣机器人的距离进行测量将距离信息以及果实信息传输至单片机单片机对得到的数据进行计算控制机械臂对水果进行抓取分类抓取完成后继续沿着引导线至下一个分类点该分拣机器人的关键部件由机械臂结构直流减速电机 MG945S 舵机组成其中直流减速电机采用的是 MG513P10 12V 型号电机尾部集成有编码器与电机转子同轴反馈出电机的转速实现闭环控制 2 机械结构设计对于整体车身和机械臂结构等各零部件材料方面采用具备精确和耐久特性类 ABS 的立体光造型树脂未来 R4600 树脂可应用于汽车医疗消费电子等工业领域的概念模型亦可用于一般部件功能性部件的制作该材料的性能参数如表 1 所示该材料能够打印对精度和韧性要求高的部件模型尺寸稳定性好拥有低收缩率和优异的耐变黄性具有卓越的可加工性但是热变形温度略低根据分拣工作环境以及机器人工作状态对各零部件设计相应合理尺寸智能分拣机器人结构参数如表 2 所示智能分拣机器人的结构参数尺寸如图 2 所示后轮直流减速电机带有固定铁架且前轮转向机构设计成长条板状方便于组装固定转向机构架板长度为 140 mm 端部小部分伸进前轮前轮间距 135 mm 整体车身设计简单为平板式形状为前窄后宽长度为 278 mm 最小宽度为 110 mm 最大宽度为 150 mm 车身结构 3D 模型图如图 3 所示最大预留出车轮直流减速电机前轮转向机构主控板架固定的孔位为实现快捷灵活的采摘动作将机械臂设计成简单的连杆二轴结构最大主力臂长 145 mm 最大前臂长 172 mm 最大前伸距离 208 mm 两个力臂由两个 MG945S 舵机驱动设置在对称的位置在不影响机械臂旋转的同时方便后期布线也相对美观其模型图如图 4 所示图 1 实验场地模型图 Figure 1 Model diagram of experimental site 表 1 材料性能参数表 Table 1 Material performance parameters 性能指标硬度 HD ASTM Method D2240 拉伸模量 MPa ASTM Method D638M 拉伸强度 MPa ASTM Method D638M 断裂延展率 ASTM Method D638M 弯曲强度 MPa ASTM Method D790M 弯曲模量 MPa ASTM Method D790M 性能参数 76 86 2 559 2 678 38 56 8 14 69 73 2 670 2 758 表 2 结构参数表 Table 2 Structure parameter 机械结构最大车长 mm 最大车宽 mm 主控板架高度 mm 最大主力臂长 mm 最大前臂长 mm 最大前伸距离 mm 爪间最大距离 mm 机械参数 295 219 30 145 172 208 58 62第 3 期白振伟等基于嵌入式机器视觉智能果实分拣机器人设计与试验利用 UG 软件运动仿真模块对智能分拣机器人进行运动仿真仿真过程在仿真模块主页中首先设置各部件的钢体属性将车身设置为固定连杆对机械臂底部旋转台前臂主力臂以及夹爪分别设置为非固定连杆之后将各连接处可旋转移动的部位设置为运动副中的旋转副为舵机所在的旋转部件处设置驱动转速设置为舵机的反应转速为 53 62 r min 并设置旋转角度上下极限为 180 设定开始仿真模型时为识别到果实的时刻进行解算后动画流程显示机械臂向前方目标伸展后夹爪收紧之后收回到原来位置并向旁边旋转最后松开夹爪仿真动画结束对机械臂的屈伸运动进行仿真模拟如图 5 所示对机械臂夹爪抓取动作进行仿真模拟如图 6 所示仿真结果均能实现所需动作和运动要求利用 SolidWorks 软件的 Simulation 插件对机械臂进行力学分析 2 1 建立有限元模型将机械臂模型导入 SolidWorks 软件后开启 Simulation 插件创建一个新算例并根据表 1 的材料性能参数为模型应用 ABS 的材料属性之后对机械臂底部设置固定几何体再添加外部载荷假设单次分拣的果实的重力为 0 5 N 机械臂自身重力为 3 N 在夹爪区域添加一个 0 5 N 的竖直向下的力同时在主力臂和前臂添加一个大小为 3 N 的竖直向下的力最后为模型生成网格待生成结束时开始运行此算例 2 2 静力学分析建立完模型后在机械臂前伸姿态进行力学分析得到变形情况和应力分布情况如图 7 所示由静应力分析仿真结果可见在此姿态下的机械臂在末端夹爪机构和腕关节处发生最大变形变形量沿着机械臂向图 3 车身结构模型图 Figure 3 Body structure model diagram 图 5 机械臂屈伸运动仿真 Figure 5 Simulation of the flexion and extension motion of a robotic arm a 主视图 b 侧视图 c 俯视图图 2 机器人结构参数图 Figure 2 Structural parameter diagram 图 6 机械臂夹爪抓取动作仿真 Figure 6 Simulation of the clamping action of a mechanical arm 图 4 MG945S 舵机模型图 Figure 4 MG945S actuator model diagram 632023 年智能化农业装备学报中英文旋转底座呈递减趋势直到变形量为 0 由图可知应力主要集中于前臂与主力臂连接处主力臂与旋转底座连接处最大应力为 1 756 10 7 N m 2 仿真结果表明机械臂的末端夹爪区域和连接处会发生最大变形应力主要集中于前臂与主力臂连接处主力臂与旋转平台连接处和底座固定孔处整体验证了该机械臂结构的合理性以及能支撑主要分拣运动的可靠性智能分拣机器人结构主要由下端移动平台和上端执行机械臂组成系统整体设计实物如图 8 所示下端移动平台下端移动平台设计为后置两驱后轮为带编码器的直流减速电机通过联轴器与防滑车轮相连前轮转向机构设计成整体式转向机构如图 9 所示为了灵活控制转向角度采用 MG945 舵机控制转向的连杆机构这种结构简单可靠 7 上端执行机械臂由主力臂前臂以及机械爪组成主力臂由 MG945 舵机带动进行上下运作前臂由另一台 MG945 舵机控制通过连杆驱动前臂进行屈伸运动如图 10 所示 3 系统硬件设计 3 1 硬件组成为了实现分拣果实机器人的相应功能硬件设计主要包括主控制器模块机器人视觉模块电源模块等组成硬件结构图如图 11 所示硬件参数型号如表 3 所示图 7 机械臂变形和受力情况图 Figure 7 Mechanical arm deformation and force diagram 图 8 智能分拣机器人实物图 Figure 8 Physical image of intelligent sorting robot 图 9 转向连杆机构 Figure 9 Steering linkage 1 防滑车轮 2 舵机 3 车轮连接结构 4 舵叶 5 连接杆图 10 机械臂屈伸结构图 Figure 10 Mechanical arm flexion and extension structure diagram 1 舵机 2 舵叶 3 主力臂 4 前臂 5 连接杆图 11 硬件结构图 Figure 11 Hardware structure diagram 表 3 硬件参数型号表 Table 3 Hardware parameter model 硬件模块名称主控制器联网控制器机器视觉模块电机驱动模块机械臂舵机直流减速电机电源模块温湿度传感器超声波测距模块硬件型号参数 STM32F103zet6 ESP32 单片机 OpenMV L298N MG945S 数字舵机 MG513P10 12V LM2596S DC DC DHT11 HC SR04 64第 3 期白振伟等基于嵌入式机器视觉智能果实分拣机器人设计与试验 3 2 主控制器系统本设计中采用了 STM32F103zet6 单片机作为主控制器该单片机基于 Cortex M3 内核它的最高的时钟频率为 72 MHz 拥有丰富的外设资源 8 9 共有 114 个引脚其中有 80 个通用 I O 口具有兼容 5 V 的特性使得很多 5 V 模块也可以轻松的被 STM32 处理还可以配置出 16 个外部中断 3 2 1 复位电路采用的 STM32F103zet6 单片机在系统中集成了复位按键按键复位包括了电平方式复位和脉冲复位两种方式该单片机使用的为脉冲复位按下复位按键芯片内部的复位信号会在 NRST 引脚上输出脉冲发生器保证每一个外部或内部复位源都能有至少 20 s 的脉冲延时当 NRST 引脚被拉低产生外部复位时它将产生复位脉冲复位电路如图 12 所示 3 2 2 电源电路电源电路图如图 13 所示 STM32 的工作电压 V DD 为 2 0 3 6 V 通过内置的电压调节器提供所需的 1 8 V 电源当主电源 V DD 掉电后通过 VBAT 脚为实时时钟 RTC 和备份寄存器提供电源电源电路如图 13 所示该设计中使用了 STM32F103zet6 丰富的 I O 口资源外接各种硬件模块 3 3 电机驱动系统本设计中采用的电机驱动系统由两个带编码器的直流减速电机以及一个 L298N 电机驱动模块 3 3 1 带编码器的直流减速电机直流减速电机是在直流电机的基础上通过齿轮结构将直流电机输出的转速进行了减速处理 10 本设计中采了用带编码器的 MG513P10 12V 直流减速电机霍尔元件在电机闭环控制系统中起到了重大作用通过霍尔元件测量数据反馈到主控制器主控制器与目标速度相比较通过 PID 控制算法消除偏差实现闭环控制 11 3 3 2 L298N 电机驱动电路 L298N 电机驱动模块作为运动控制的主要部件 L298N 是 ST 公司生产的一种高电压大电流电机驱动芯片采用双 H 桥直流电机驱动芯片双 H 桥电路原理图如图 14 所示 12 L298N 驱动电路可驱动 2 个直流减速电动机板载上的 OUT1 OUT2 和 OUT3 OUT4 分别接直流减速电机的电机线 IN1 IN2 和 IN3 IN4 引控制电机正反转板载的 ENA ENB 脚为使能端本设计中通过 PID 控制算法计算电机制定转速所需要的占空比将 ENA ENB 使能引脚接入到 TIM4 TIM8 的 PWM 输出通道以实现对电机速度的控制 4 软件设计 4 1 视觉模块程序设计视觉模块选择的是 OpenMV4 H7 R2 Cam 摄像头该摄像头的主要参数 STM32H743II ARM Cortex M7 处理器 480 MHz 1 MB RAM 2 MB flash 所有的 I O 引脚输出 3 3 V 并且 5 V 耐受在 QVGA 320 240 及以下的分辨率时大多数简单的算法可以运行 25 50 FPS 主板上共有 10 个 I O 引脚均可用于中断和 PWM 输出摄像头本身内置了一些图像处理算法支持 RGB565 以及灰度等多种图像格式可以轻松地完成机器视觉应用 13 视觉模块运行流程图如图 15 所示图 12 复位电路图 Figure 12 Reset circuit diagram 图 13 电源电路图 Figure 13 Power circuit diagram 图 14 双 H 桥电路原理图 Figure 14 Circuit schematic diagram of dual H bridge 652023 年智能化农业装备学报中英文 4 1 1 图像颜色识别绿色颜色阈值的判定如图 16 所示图像颜色的识别用到 find blobs 函数该函数将摄像头捕获的图像像素色彩数值与程序预先设定的颜色阈值进行对比若数值处于设定的范围内则果实确认为对应颜色颜色的阈值设定通常采用的是 LAB 色彩模式 14 阈值范围设定得越小识别得越精准但捕获的图像会受到环境因素的影响从而降低识别精度因此可以通过适度地扩大阈值识别范围以降低环境因素的干扰设定颜色阈值 red threshold 66 20 61 27 53 7 green threshold 83 39 71 29 16 71 find blobs 函数寻找色块 blobs1 img find blobs green threshold blobs2 img find blobs red threshold 利用 for 将所有色块都进行判定并框出 if blobs1 for blob in blobs1 img draw rectangle blob 0 4 img draw cross blob 5 blob 6 将红色阈值设定为 66 20 61 27 53 7 在该阈值范围下无论是暗红色还是亮红色都能够顺利识别有效地减少了环境亮度对识别的影响将绿色阈值设定为 83 39 71 29 16 71 在这个阈值范围下同样能降低环境因素对颜色识别的影响 4 1 2 果实大小识别在颜色识别过程中可以将图像中的有效色块用矩形以外切方式框出通过计算得出框架的面积从而近似地得出色块的面积由于每次抓取时果实与相机的距离一致所以图像色块的面积可以有效地比较果实真实的大小进而分类出果实的大小获取色块像素面积函数 area1 blob area 在研究中框架面积处于 1 500 4 500 像素面积区间的色块在现实中对应果实直径为 15 40 mm 因此将框架面积处于 1 500 4 500 区间的色块视为小果实而框架面积大于 4 500 的色块则视为大果实对于框架面积小于 1 500 的色块可能存在较大误差对实验结果造成影响因此不作为判断依据判断果实大小成功后将代表果实大小的特定信号通过串口通信传输至控制模块比较大小并传输特定信号 if 1 500 area1 4 500 senddata bytearray 0 x2C 0 x12 sign 0 x5B uart write senddata 4 2 控制模块程序设计 4 2 1 整体程序设计设计中由主控制器的 TIM1 定时器作为定时器中断该中断是对机器人移动平台的驱动以及 PID 算法计算通过 TIM6 定时器中断对黑线进行识别通过读取红外传感器的输出电平输出高电平即没有检测到黑线反之检测到黑线控制转向舵机实现循迹功能在循迹的过程中若检测到了停止标志线分拣机器人进行制动通过继电器接通 OpenMV 机器视觉模块开始识别分拣系统主程序流程如图 17 所示 4 2 2 PID 控制在智能分拣机器人运动过程中通过循迹模块对路线的识别和检测实现在直道匀速弯道减速这就需要控制电机转速实现相应的功能 15 在分拣机器人的运动过程中我们通过霍尔编码器反馈当前速度值并通过 PID 算法进行调节实现闭环控制对下端移动平台进行闭环控制通过 PID 控制使得机器人下端自由移动平台具有较高的稳定性 PID 控制是一种线性的控制方法它将给定值与实际输出值的偏差 e k 的比例 P 积分 I 微分 D 进行线性组合形成控制量 u k 输出 16 4500 0 01 0 02 0 03 0 04 4500 N N Y Y 图 15 视觉模块运行流程图 Figure 15 Visual module operation flowchart 图 16 颜色阈值判定 Figure 16 Color threshold determination 66第 3 期白振伟等基于嵌入式机器视觉智能果实分拣机器人设计与试验本系统采用 PID 调节方式来完成分拣机器人的运动状态调节该方法的调节效率高绝对误差小 17 控制程序流程如图 18 所示直流减速电机的霍尔传感器采集到电机的实时转速后将每一时刻的速度作为输入带入增量式 PID 进行计算不断刷新输出速度使整个系统趋于稳定 18 该分拣机器人实际调得 PID 各参数分别为 KP 1 3 KI 0 001 KD 0 4 目标值为 30 4 2 3 机械臂逆运动学解析在已知机械臂末端期望位置计算当下位置所对应的各关节角度需要进行机械臂逆运动学解析 19 在分拣点前端设置一条直线调整路线通过红外循迹模块对小车位置的反复纠正实现让机械臂和小球处于同一轴线上通过 OpenMV 输出的小球中心和画面中心的偏移量的值和可分拣范围的值进行比较若不满足则蜂鸣器发出警报提示操作者介入手动进行调整由于下端自由移动平台识别到停止线的停车制动距离会有误差为了让机械臂对果实进行准确的分拣该设计中引用了二维的机械臂逆解算法通过在分拣机器人前端的超声波距模块和果实放置装置的高度得到果实的位置即二维坐标 20 机械臂逆运动学平面分析如图 19 和图 20 所示其中 L 分别为机械臂的大臂和小臂 e 为大臂与小臂的初始夹角 B 为小臂末端到夹爪的中心的距离 Y 为大臂旋转轴到底座的距离由于机械设计所以大臂 OpenMV Y N Y N Y N Y N Y N 图 17 主程序流程图 Figure 17 Procedure flow chart Bias Encoder Target Integral bias Bias PWM PWM Positioin KP Bias Position KI Integral bias Position KD Bias Last Bias Last Bias Bias 图 18 控制程序流程图 Figure 18 Control procedure flow chart 图 19 机

展开阅读全文