草莓采摘机器人的研究 基于图像的草莓重心位置和采摘点的确定

¤K  ¦¥ùîⅡ.¿m¥¤Ê„KÄ¥ ’ç张铁中 陈利兵 宋健ÏS jvÐýÐý,Ø100083là ° ù2004-09-06Á[ “SEÚ/ ŒùîZ9Ãù[ “2001AA422300T€eºfMÏ, q,p V 3 ,ö1V Y 3þ 3Á1îÄ„ j€ ¦¥ùî,E-K 1 成熟草莓果实重心和采摘点的确定是草莓采摘机器人采摘收获作业中的关键问题。采用LRCDlumi-nance andredcolor difference方法分割草莓图像。在RGB色彩模型中,求得图像中每个像素的色差,在灰度图像中显示以色差值为灰度值的色差图像,取合适的阈值对该图像二值化,得到分割后的草莓图像;提取分割后草莓图像的几何特征,从而确定草莓的重心位置和采摘点。采用本文所述的机器人视觉系统CCD成像像素753582,像素中心距10μm10μm的试验结果表明,其采摘点位置误差3mm。利用LRCD方法能够很好的将成熟草莓与背景分离,通过提取分割后草莓图像的几何信息,可确定草莓重心和采摘点的位置。该处理方法适用于从复杂背景中提取红色目标。1oM 草莓收获;机器人;LRCD变换;色差Ïms Ë| TP274 ÓcI| 1007-4333200501-0048-04 ÓDS M ’ AStudy onstrawberry harvestingrobotⅡ.Imagesbased identificationsofstrawberrybarycenterandplucking positionZhangTiezhong, ChenLibing, SongJianCollegeof Engineering, ChinaAgricultural University,Beijing 100083,ChinaAbstract During the strawberry collection process by robot, the crucial element to ensure the picking precision is thedeterminations of the ripe strawberry barycenters andthe plucking positions.The LRCDluminance andredcolor differ-ence was adopted to dissect the image of strawberry.The Chromatism of each pixel in the RGB color imagewas calculatedand the result showed in a gray image.The segmentedimage wasgainedby translatingthe gray imageto a binary image after selectingan appropriate threshold.The barycenter of strawberry and the plucking position wereascertained by extracting geometry feature of the segmented strawberryimage.The result reveals that the eccentricityof the plucking position is not more than3 mmin the robot vision systemCCD pixel 753582,distance between pixels10μm10μmin this paper.Ripe strawberry can be separated easily from the complex background by the LRCD.The is valid for pick-upof red object froma complex background.Keywords strawberry-collection;robot;LRCD;chromatism¤s、sÊ¥ùîS “Xµ¸¡[ 1-9] ,Œ¤K  ¦¥ùîM 。 ¦K¤¥1o T L„KÄ¥ ’ç,1³ ƒñÙ5,A¶Üî ƒT LV¯¥ßÏs Ö Ÿ,msé。2001 M ° vÐ¥Bîé© L i IT ¡„ÚO ¡¥¤K  ¦É› ùî,m Ø H,5|RGB 䑘ĹL＊a＊b＊ ä‘ ˜, –ªL＊a＊b＊ 䑘ϥaY¡mÉ›´sé;YV¾ZE|¤T LÐTül ËsYVmÏsé Ÿ,Œ ÏS jvÐÐ 2005,10148-51Journalof China Agricultural University¾ ØZE1 ¯, O³Ê |2ñ´。2003 MfMÏ、Û ¨BP *Ü© Ž¤mÉ›sé[9],¾ZE V[YV¿M | LC¤ÐTü Ë¥s Ö,Œ¾ZE s |[K“¥•Y v, ØZE¯。3€¨LRCDluminance and red color differenceZE[10]sé¤m,4 |s骤m¥ ˜,V7 ’礏„KÄ¥ÊÂ。1   ¦“d¥FîýTð Ø  ¦“d “1ñ Ø1®€ m°˜US、  ³› 、 eÅ“d„ j “dm1。 ¦ j “d®1 û9 Ø、2 ûCCD „2fm“ 5Fî。m1 ¤K  ¦“dFîFig.1 Schematic diagram of strawberryharvesting robot¤K  ¦“d¥ýTð Ø Â/ 1  | £ ܹ ë  l u ¤¥m,Ümséª4 | l u îµî ƒ¤¥ÊÂ,9 ؤñ ”,i¿US´¤ †½。’€ mMîž»1ñ¤ H, 2 |¾¤¥m,Ümséª4 |¾¤„KÄÊÂ, zî€ m l¤, –ªMîž»2ñ¤。ÖÌ  ë¥ T°ž l u ûK›8。¹KvK¥†®¤¥€ å,¨ M¤Tü¥ZEK¤。2 msém2a U 3É ëµ‘ ä¹ ë ¥¤,¥、ÔÆ„Ãî ƒT L¥m。B–m®‘ äMйçª, ‹Ä¥ç´¹Y 0.3R0.59G0.11BÏY¹ç´,R,G„B¹RGBþ ä bWÏ Í¥3ñs 。¹ lmÏ¥£ äîs7dÐ  ðþ äîs,¨LRCDZE Ÿsém。mÏ ÄBñ Í¥ äµ¹cR-Y 0.7R-0.59G-0.11BçmÏA U[ äµ´¹ç´¥ äµm,|† a¥´¾m´Ä,¤žs骥¤mm2b。að Smbséªm2 ¤ð SmLRCDEs骥mFig.2 Contrast ofimagebefore and after segmentation3 ÊÂ¥4 |ÊÂ¥4 |„ç  Æm※ äµMÐ※´Ä €.{※ uS※ MY。 n5Ê |† a¥´ÓÏ |55s骥mm3É›´Ä,Ï´ ro €.{, –ªÉ› uS。 uSMº õ¤¥ îµ Í®ÍM]¥S,‚] õ¤îs®Í‚]S。  “¥ P9 Ø YV “Sç´¥MÄ MYmÏ¥ “S。 uSshy;ªŒ | Äñ õ¤îss Ö,i9 ØòñsÖîs¥˜。S H,mÏòþ8¥S|V100 7 S,ïv9F。m3 ¤„H¸¥4 |Fig.3 Extraction of strawberry barycenter andboaderlineÜV uSª¥òñ õ¤îs, V¨» ”F°4¥V U Ÿ。 8SE ‹mfx,y ¥ ©iBÄx,y, ÏS|¹ x,ym ,5fx,y®´¹1,Ž5®´¹0。ƒ“V U¥þØil , îµfx,y¥Ä¥“†ü}V S|¹m¥ u。¿S|¹m¥ u,  ëV[V U¹A ∑x,ym1 ,US¹49»1 ùfMÏ©¤K  ¦¥ùîⅡ.¿m¥¤Ê„KÄ¥ ’çx1A ∑ x,ymxy1A ∑x,ymy ë50 Í¥ õ¤îs, ª¹ .{, ††h“。É› } •4 |, |ò õ¤îz¥H¸,|H¸ ͏ ÍS Ÿ。 ت¥mnm3。4 KÄ¥ ’ç[¤¹Ä Ÿ ’çKÄÊÂ。KÄÊ¿¤Tü , ½lÿ5mm。KÄʘnm4a,mÏC¹ ØX MÄ,D¹ L MÄ,P¹TU,G¹¤,E¹¤mH¸ ¥Ä, OE,D,P,G L,D„CžE¥  Öÿ¹10mm。®¿CžD¥  Ö“l,yN V[Í »¹¨D}9C, ª¹D¹KÄ。8  î ,1 ’çKÄÊÂ,1o ’çTUÊÂ。¿v ” ÖÕ¥¤, ™ïä˜l¿¸˜¥š ؘ™, î[_½l ÊM,TU ¤H¸ž  ÖKÉ¥Ä。 ¤mH¸ Ä¥US¹xi ,yi,5ž¥  Ö¹xi- x2yi- y2,yN, P¾  ÖKv¥Äü TUP。TUÊ ’çª,PGüÉL  Æ ì1Ä, P¾Äž¥  ÖÐTUž¥  ÖM©,¾Ä¹KÄ。m4b UTUKĘ¥4 |²T。aʘb4 |²Tm4 ¤KÄʘ 4 |²TFig.4 Featureof the plucking positionandextracting result5 µs ‚’礏„KÄÊ HÚ¥•Yy Í“,ö1µCCD L‚  /,[m Ø ØE/。 LVü,Bî;vHq/“d ’ç HKÁ 32 Í¥ ʵ,9 Ø V |m¥Kl†í¹1ñ Í,yNCCD“dµ¹1ñ Í,œñ“d© ¥Kv ʵ¹3ñ Í。®¿ 2 ’祤US 1’祤USÉ› ©ž,yN j “d¥Ú® 2 ç7Ð 1í1。 2¥bv q¹β,ô  ;Ðî Ø ‚µβD′÷DTÏD¹ Lþ8¥j,D′¹ CCD ‹¥mj。¿  ¦ j “d,CCDî͹753582, ÍϏ 10μm10μm,β¹0.03,5œñ“d© ¥Kv ʵ¹δ3σ÷β30.01÷0.031mmÏσ¹†ñ Íj。 MÄ¥ ʵö1®¿Í »9}Á 3, LV ü,¾ ʵÿ¹ ʵ¥2,  ʵ3mm。4Ú ¥sO q,† Øsƒ;vHq V4Ú“dÚ。• IÓD[1] £ , gD 3,¥Bîé,©.¤cÊ  ¦¥ 7[J] . ZŒYvÐÐ,1999, 337880-884[2] Cao Qixin, Masateru N, Masafurni M, et al.Study ongrade judgment of fruit vegetables using machine visionPart2[J] .JudgmentforSeveralVarietiesof Strawber-ry by Developed Software, 1996, 84228-236[3] Nagata M, KinoshitaO, Asano K, etal.Studiesonau-tomatic sorting system for strawberryPart1[J] .Jour-nalof Japanese Society of AgriculturalMachinery,1996,58557-6650ÏS jvÐÐ2005 M»10 [4] NagataM, Kinoshita O, Asano K, et al.Studiesonau-tomaticsorting system for strawberryPart 2[J].Jour-nalof Japanese Society of Agricultural Machinery,1996,58661-67[5] NagataM, KinoshitaO, AsanoK,etal.Studiesonauto-maticsorting system for strawberryPart 31[J] .Jour-nalof Japanese Society of Agricultural Machinery,1997,59143-48[6] Masateru N, Cao Qixin, Masafumi M, et al.Study ongradejudgmentof fruit and vegetablesusing machine vi-sionPart 2[J].Journalof Society of High TechnologyinAgricultureJapan, 1996,84140-145[7] Slaughter D, Harrel R.Discriminating fruit for roboticharvestusing color in naturaloutdoor scenes[J].Trans-actions of the ASAE, 1989,322757-763[8] Ú Ì.¤ l  ¦¥„ùî[D] .ØÏS jvÐ,2004[9] fMÏ,Û .¿BP *Ü© Ž¥¤msé[J] .ÏS jvÐÐ,2004,9465-68[10] Duke M, TakashiK, YoshinobuO, etal.Acolor mod-elfor recognition of apples by a robotic harvesting sys-tem[J] .Journalof JSAM, 2002, 645123-133·科研简讯·2004 MÏS jvÐö1 SùîT1科研成果及其转化推广成绩显著2004年度我校申报省部级科技进步奖26项,其中20项获奖,获奖率77。“农牧交错带农业综合发展和生态恢复重建技术体系与模式研究”和“蛋鸡全阶段可利用必需氨基酸需要及理想蛋白模式”2项成果获省部级一等奖;12项成果获省部级二等奖中国地方猪种遗传资源测定、体细胞克隆技术保护和扩繁优质种牛的应用、绒山羊绒毛生长机理及舍饲半舍饲营养调控技术研究、冷却肉加工关键技术研究与新产品开发、Mozzarella干酪加工关键技术与设备研究及产业化开发、葛根有效成分提取的产业化关键技术以及土壤/植株动态测试优化推荐施肥技术的建立和应用等。我校坚持面向国民经济主战场,促进重大成果与技术的转化与推广。据不完全统计,2004年“农大系列玉米品种”推广面积近300万hm2,遍布19个省市自治区,占全国玉米播种面积近14;“草业产业化综合技术”示范推广面积近0.8万hm2,经济效益过亿元;“冬小麦节水省肥高产简化四统一栽培技术体系”实现小麦每公顷产量7500～9000kg,累计推广面积13万hm2以上;“养分资源综合管理技术”在小麦等作物上推广4万hm2,经济效益1.2亿元;“农大褐3号”节粮蛋鸡新增饲养2000万羽,累计近1亿羽,经济效益8～9亿元;“保护性耕作技术与机具”在全国13个省市自治区示范推广66.7万hm2以上;“饲草、秸秆机械化加工技术与机具”辐射加工范围1333.3hm2,为企业和农户带来经济效益800万元;“现代节水灌溉设备及技术”已经推广到北朝鲜、埃塞俄比亚等国家;“土壤水分智能快速检测仪器与技术”在11个省建立了21个固定墒情监测站;“高效复合增产菌及其生产工艺”专利技术,以1043万元的价格转让给在美国上市的佳华生物科技公司;“高油玉米技术”成功转让给美国QTI公司,标志着我国高油玉米研究工作继续处于世界先进地位。2科研基地建设进展顺利2004年我校经多年建设的科研基地中心大部分通过验收。动物营养学国家重点实验室与中国农科院共建纳入国家建设计划,国家饲料工程技术研究中心通过科技部验收,国家玉米改良中心和国家兽药安全评价中心通过农业部验收,国家动物寄生原虫实验室纳入农业部2004年度建设计划经费1200万元,农业部饲料效价与安全监督检验测试中心北京和农业部兽药安全监督检验测试中心北京通过审查认可与计量认证,功能乳品教育部重点实验室与北京市共建通过建设计划论证,教育部玉米育种工程技术研究中心通过教育部验收,北京市教委投资200万元,加强我校北京市重点实验室建设,我校与企业联合申报的“动物生物反应器国家工程研究中心”通过国家发改委初审并进入现场考察。另外,我校还申报草业工程中心、野生稻种质资源保藏实验室等,逐步完成上庄实验站的机构设置、前期环境调研、土地勘测和初步规划等。科学技术处供稿51»1 ùfMÏ©¤K  ¦¥ùîⅡ.¿m¥¤Ê„KÄ¥ ’ç