專利名稱：一種溫室環(huán)境下黃瓜采摘機(jī)器人系統(tǒng)及采摘方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能機(jī)器人技術(shù)領(lǐng)域，特別是涉及一種溫室環(huán)境下黃 瓜釆摘機(jī)器人系統(tǒng)及釆摘方法。
背景技術(shù)：
隨著計(jì)算機(jī)和自動(dòng)控制技術(shù)的迅速發(fā)展，農(nóng)業(yè)機(jī)械將邁入高度自 動(dòng)化、智能化時(shí)期。機(jī)器人已經(jīng)逐步滲入到農(nóng)業(yè)生產(chǎn)中，特別是在設(shè) 施農(nóng)業(yè)的生產(chǎn)過(guò)程中，機(jī)器人的使用將成為農(nóng)業(yè)向自動(dòng)化和智能化發(fā)
展的重要標(biāo)志。在果蔬生產(chǎn)作業(yè)中，收獲采摘約占整個(gè)作業(yè)量的40%。 釆摘作業(yè)質(zhì)量的好壞直接影響到果蔬的存儲(chǔ)、加工和銷售，從而最終 影響巿場(chǎng)價(jià)格和經(jīng)濟(jì)效益。由于釆摘作業(yè)的復(fù)雜性，采摘自動(dòng)化程度 仍然很低，目前國(guó)內(nèi)果蔬采摘作業(yè)基本上還是手工完成，尤其在溫室 內(nèi)，工作環(huán)境較差，收獲作業(yè)的勞動(dòng)強(qiáng)度大，因此研究適用溫室環(huán)境 果實(shí)釆摘機(jī)器人具有重要意義。
果實(shí)釆摘機(jī)器人的首要任務(wù)是識(shí)別和定位出目標(biāo)，以便為收獲機(jī) 械提供可靠的運(yùn)動(dòng)參數(shù)，并最終完成果實(shí)的釆摘。因此，視覺部分信 息處理準(zhǔn)確與否直接關(guān)系到最終收獲機(jī)器人執(zhí)行精度和釆摘效率。農(nóng) 業(yè)機(jī)器人又與某種非結(jié)構(gòu)環(huán)境相聯(lián)系，作業(yè)空間結(jié)構(gòu)復(fù)雜、信息多義 及弱魯棒性，較之一般工業(yè)機(jī)器人其應(yīng)用難度更大，這對(duì)前端視覺感 知提出更高的要求。加之與諸多果蔬(如蘋果、西紅柿、櫻桃、甜橙) 相比，黃瓜顏色特征更接近于瓜葉、莖稈，目標(biāo)背景多元、近似信息 疊加成為果實(shí)信息提取的難點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例要解決的問(wèn)題是提供一種溫室環(huán)境下黃瓜釆摘機(jī) 器人系統(tǒng)及采摘方法，以實(shí)現(xiàn)機(jī)器人的自動(dòng)導(dǎo)航和黃瓜的自動(dòng)收獲。
為達(dá)到上述目的，本發(fā)明實(shí)施例的技術(shù)方案提供 一種溫室環(huán)境下 黃瓜釆摘機(jī)器人系統(tǒng)，所述系統(tǒng)包括
雙目立體視覺系統(tǒng)，用于釆集黃瓜圖像，實(shí)時(shí)加以處理，獲取收 獲目標(biāo)的位置信息；
機(jī)械臂裝置，用于根據(jù)所述收獲目標(biāo)的位置信息，進(jìn)行所述收獲
目標(biāo)的抓取和分離；
機(jī)器人移動(dòng)平臺(tái)，用于在溫室環(huán)境下自主運(yùn)動(dòng)；
所述雙目立體視覺系統(tǒng)包括
兩個(gè)黑白攝像機(jī)；
雙通道視覺實(shí)時(shí)處理器，與所述兩個(gè)黑白攝像機(jī)連接，用于完成 兩路視頻釆集、圖像識(shí)別及坐標(biāo)運(yùn)算；
所述機(jī)械臂裝置包括
執(zhí)行機(jī)構(gòu)；
運(yùn)動(dòng)控制卡，用于根據(jù)所述收獲目標(biāo)的位置信息進(jìn)行軌跡規(guī)劃， 并下發(fā)運(yùn)動(dòng)指令；
關(guān)節(jié)驅(qū)動(dòng)器，用于根據(jù)所述運(yùn)動(dòng)指令，帶動(dòng)所述執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)所 述收獲目標(biāo)的抓取和分離動(dòng)作；
所述機(jī)器人移動(dòng)平臺(tái)包括
行走機(jī)構(gòu)；
電機(jī)驅(qū)動(dòng)器，用于驅(qū)動(dòng)所述行走機(jī)構(gòu)；
云臺(tái)攝像頭，用于獲取環(huán)境圖像信息；
處理器，用于分析所述圖像信息，獲取并下發(fā)導(dǎo)航參數(shù)；
運(yùn)動(dòng)控制器，用于根據(jù)所述導(dǎo)航參數(shù)，控制所述電機(jī)驅(qū)動(dòng)器驅(qū)動(dòng) 所述執(zhí)行機(jī)構(gòu)進(jìn)行運(yùn)動(dòng)。
其中，所述雙目立體視覺系統(tǒng)還包括照明裝置，用于提供適于收 獲目標(biāo)的識(shí)別釆摘的光照環(huán)境；所述照明裝置包括對(duì)稱陣列分布的四 個(gè)光源和自適應(yīng)能量輸出的直流電源模塊，所述電源模塊用于給所述
四個(gè)光源提供電源。
其中，所述雙目立體視覺系統(tǒng)還包括濾光設(shè)備，分別安裝于所述 兩個(gè)黑白攝像機(jī)的鏡頭前；所述濾光設(shè)備為近紅外光譜波段、峰值透 過(guò)率大于90%的窄帶干涉濾光器。
其中，所述雙目立體視覺系統(tǒng)還包括支架，所述支架以套簡(jiǎn)方式 固定在所述機(jī)器人移動(dòng)平臺(tái)上，并支撐所述雙目立體視覺系統(tǒng)，根據(jù) 需要完成所述雙目立體視覺系統(tǒng)的升降和旋轉(zhuǎn)。
其中，所述機(jī)械臂裝置釆用5自由度設(shè)計(jì)，包括基座旋轉(zhuǎn)、肩關(guān) 節(jié)俯仰、肘關(guān)節(jié)俯仰、腕關(guān)節(jié)俯仰和腕關(guān)節(jié)旋轉(zhuǎn)。
其中，所述雙目立體視覺系統(tǒng)與機(jī)械臂裝置之間釆用網(wǎng)口和
RS232串口連接，進(jìn)行通信。
其中，所述雙目立體視覺系統(tǒng)與機(jī)器人移動(dòng)平臺(tái)之間釆用RS232 串口連接，進(jìn)行通信。
本發(fā)明實(shí)施例的技術(shù)方案還提供一種溫室環(huán)境下黃瓜釆摘方法， 所述方法包括以下步驟
51. 啟動(dòng)機(jī)器人移動(dòng)平臺(tái)沿導(dǎo)航線運(yùn)動(dòng)，雙目立體視覺系統(tǒng)的右 攝像機(jī)進(jìn)行單通道視頻實(shí)時(shí)釆集；
52. 對(duì)每幀右攝像機(jī)圖像快速搜索，判斷視場(chǎng)果實(shí)數(shù)量、成熟度
及大??；
53. 搜索到收獲目標(biāo)后，機(jī)器人移動(dòng)平臺(tái)停止運(yùn)動(dòng)，啟動(dòng)雙通道
視頻釆集；
54. 左右攝像機(jī)同步獲取場(chǎng)景中的收獲目標(biāo)的近紅外圖像，確定 左右圖像中各收獲目標(biāo)的抓取點(diǎn)位置；
55. 判斷攝像機(jī)公共視場(chǎng)范圍內(nèi)是否有對(duì)應(yīng)匹配點(diǎn)；
56. 當(dāng)有對(duì)應(yīng)匹配點(diǎn)時(shí)，根據(jù)左右圖像抓取點(diǎn)的視差進(jìn)行三維信 息重建；
57. 雙通道視覺實(shí)時(shí)處理器計(jì)算目標(biāo)抓取點(diǎn)到雙目立體視覺系
統(tǒng)坐標(biāo)原點(diǎn)的坐標(biāo)，將距離最近的抓取點(diǎn)目標(biāo)作為當(dāng)前釆摘對(duì)象，并 由所述雙目立體視覺系統(tǒng)原點(diǎn)與機(jī)械臂裝置原點(diǎn)的相對(duì)位置關(guān)系，得 出與機(jī)械臂裝置對(duì)應(yīng)的收獲目標(biāo)的位置信息，發(fā)送至機(jī)械臂裝置的運(yùn) 動(dòng)控制卡；
S8.機(jī)械臂裝置的運(yùn)動(dòng)控制卡對(duì)所述位置信息進(jìn)行軌跡規(guī)劃，并 給出各關(guān)節(jié)的最佳運(yùn)動(dòng)參數(shù)，引導(dǎo)執(zhí)行機(jī)構(gòu)進(jìn)行準(zhǔn)確釆摘。
其中，在所述步驟S1之前，還包括改變黃瓜釆摘機(jī)器人系統(tǒng)
的工作環(huán)境，釆用斜拉線栽培模式。
其中，在所述步驟S8之后，還包括重復(fù)步驟S4 S9，對(duì)所述 場(chǎng)景范圍內(nèi)的多個(gè)收獲目標(biāo)進(jìn)行連續(xù)釆摘，直至無(wú)對(duì)應(yīng)抓取點(diǎn)，重新 進(jìn)行步驟S1。
與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)方案具有如下優(yōu)點(diǎn)
1、 黃瓜采摘機(jī)器人系統(tǒng)采用模塊化設(shè)計(jì)理念，結(jié)構(gòu)簡(jiǎn)單，集成 度高，有助于提高機(jī)器人的環(huán)境適應(yīng)能力和工作效率。
2、 光照環(huán)境方案有效地減少自然光對(duì)圖像的影響，提高圖像獲 取質(zhì)量。
3、 釆用濾光片與高感度攝像機(jī)相結(jié)合的信息獲取模式從綠色背 景中提取果實(shí)特征，在很大程度上降低圖像處理難度，提高檢測(cè)精度。
4、 選用大基線距、會(huì)聚式雙目立體視覺模型，提高近距離目標(biāo) 系統(tǒng)測(cè)量精度，為部分遮蓋果實(shí)探測(cè)提供了一個(gè)有效解決方案。
5、 雙目立體視覺系統(tǒng)和機(jī)械臂裝置的設(shè)計(jì)皆基于嵌入式處理平 臺(tái)，更適于高溫、潮濕的溫室工作環(huán)境，具有集成能力強(qiáng)、穩(wěn)定性好、 運(yùn)算速度快、系統(tǒng)成本低、功耗小等優(yōu)勢(shì)。


圖l是本發(fā)明實(shí)施例的一種黃瓜釆摘機(jī)器人系統(tǒng)結(jié)構(gòu)示意圖； 圖2是本發(fā)明實(shí)施例的 一種雙目立體視覺系統(tǒng)的結(jié)構(gòu)示意圖； 圖3是本發(fā)明實(shí)施例的一種溫室黃瓜種植模式示意圖4是本發(fā)明實(shí)施例的一種黃瓜采摘機(jī)器人功能框圖； 圖5是本發(fā)明實(shí)施例的一種溫室環(huán)境下黃瓜釆摘方法的流程圖。
其中，1、機(jī)器人移動(dòng)平臺(tái)；2、機(jī)械臂裝置；3、雙目立體視覺 系統(tǒng)；4、支架；11、控制中心；12、履帶式車體；13、云臺(tái)攝像機(jī); 21、基座；22、肩關(guān)節(jié)；23、大臂；24、肘關(guān)節(jié)；25、小臂；26、腕 關(guān)節(jié)；27、末端執(zhí)行器；31、黑白Hyper HAD CCD攝像機(jī)(左)；32、 黑白Hyper HAD CCD攝像機(jī)(右)；33、照明光源；34、窄帶干涉濾 光設(shè)備；35、直流電源模塊；36、雙通道視覺實(shí)時(shí)處理器；37、釆摘 對(duì)象。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì) 描述。以下實(shí)施例用于說(shuō)明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。
如圖1所示，本發(fā)明的黃瓜釆摘機(jī)器人系統(tǒng)包括機(jī)器人移動(dòng)平臺(tái) 1、機(jī)械臂裝置2和雙目立體視覺系統(tǒng)3。
機(jī)器人移動(dòng)平臺(tái)1包括履帶式車體12、云臺(tái)攝像機(jī)13、車載PC 處理器(圖中未示出，放置于控制中心11內(nèi))、運(yùn)動(dòng)控制器(圖中未 示出，放置于控制中心ll內(nèi))、電機(jī)驅(qū)動(dòng)器(圖中未示出，放置于履 帶式車體12內(nèi))。機(jī)器人移動(dòng)平臺(tái)釆用電機(jī)后輪驅(qū)動(dòng)方式，當(dāng)本系統(tǒng) 接收到雙目立體視覺系統(tǒng)3發(fā)送的啟動(dòng)指令后，車體12循線行走， 安裝于車體正前方的云臺(tái)攝像機(jī)13實(shí)時(shí)獲取導(dǎo)航線路徑信息，車載 PC處理器將計(jì)算所得導(dǎo)航線角度偏差和橫向偏差輸出給運(yùn)動(dòng)控制 器，電機(jī)驅(qū)動(dòng)器根據(jù)運(yùn)動(dòng)控制器輸出的兩輪差速值調(diào)整車體進(jìn)行路徑跟蹤。
機(jī)械臂裝置2包括基座21、肩關(guān)節(jié)22、大臂23、肘關(guān)節(jié)24、小 臂25、腕關(guān)節(jié)26、末端執(zhí)行器27和ARM運(yùn)動(dòng)控制卡(圖中未示出， 放置于控制中心11內(nèi))，執(zhí)行機(jī)構(gòu)固定于控制中心11平臺(tái)上。根據(jù) 黃瓜實(shí)際釆摘作業(yè)要求，機(jī)械臂選用5自由度設(shè)計(jì)，分別為基座旋轉(zhuǎn)、 肩關(guān)節(jié)俯仰、肘關(guān)節(jié)俯仰、腕關(guān)節(jié)俯仰、腕關(guān)節(jié)旋轉(zhuǎn)。當(dāng)本裝置接收 到雙目立體視覺系統(tǒng)3發(fā)送的收獲目標(biāo)位置信息，ARM運(yùn)動(dòng)控制卡
進(jìn)行軌跡規(guī)劃推算各關(guān)節(jié)的運(yùn)動(dòng)參數(shù)，通過(guò)CAN總線向各關(guān)節(jié)節(jié)點(diǎn)
發(fā)送運(yùn)動(dòng)指令，由關(guān)節(jié)驅(qū)動(dòng)器帶動(dòng)執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)果實(shí)的抓取和分離。
雙目立體視覺系統(tǒng)3包括兩個(gè)黑白Hyper HAD CCD攝像機(jī)(31 、 32)、 一個(gè)四光源呈對(duì)稱陣列分布的照明裝置33、兩個(gè)窄帶干涉濾光 設(shè)備34、 一個(gè)直流電源模塊35及一個(gè)雙通道視覺實(shí)時(shí)處理器36,如 圖2所示。整個(gè)系統(tǒng)由支架4支撐，以套簡(jiǎn)方式固定，根據(jù)需要完成 系統(tǒng)的升降和旋轉(zhuǎn)，最大升降距離為1000mm,基本滿足信息獲取的 需求。
上述的黑白Hyper HAD CCD攝像機(jī)(31、 32)選用美國(guó)UNIQ 公司的UM-300系列攝像機(jī)，本系列攝像機(jī)比普通攝像機(jī)在近紅外波 段敏感4倍。兩黑白Hyper HAD CCD攝像機(jī)(31、 32)通過(guò)調(diào)節(jié)機(jī) 構(gòu)安裝在機(jī)翼形狀的水平底板上，底板略寬于攝像機(jī)尺寸，調(diào)節(jié)機(jī)構(gòu) 用來(lái)調(diào)整攝像機(jī)的位移和偏航角，雙攝像機(jī)呈會(huì)聚式雙目立體視覺模 型，針對(duì)近距離目標(biāo)有較好的測(cè)量精度。
上述的照明裝置33由四盞Philips公司的攝影用鹵素射燈改裝而 成，每盞色溫為5500K，發(fā)光能量峰值在1000nm附近，區(qū)域覆蓋可 見光到近紅外波段，適用于黃瓜的釆摘識(shí)別作業(yè)。照明裝置獨(dú)立于雙 攝像機(jī)(31、 32)系統(tǒng)，四盞光源通過(guò)連接件組成一整體，根據(jù)需要 相互間角度可調(diào)。
上述的直流電源模塊35由四組24V、 10AH鋰電池和感光元件組 成，為照明光源提供穩(wěn)定的輸出電流。感光元件根據(jù)環(huán)境的照度情況， 分四個(gè)等級(jí)自行調(diào)整電池的電流輸出，控制視場(chǎng)亮度從而保證視頻圖 像獲取質(zhì)量。
上述的雙通道視覺實(shí)時(shí)處理器36為自行開發(fā)設(shè)計(jì)的專用嵌入式 圖像處理平臺(tái)，內(nèi)核釆用美國(guó)TI公司TMS320DM642數(shù)字信號(hào)處理
芯片，完成兩路視頻并行釆集、圖像識(shí)別及坐標(biāo)運(yùn)算。 上述雙目立體視覺系統(tǒng)的圖像信息獲取方法
適當(dāng)改變機(jī)器人的工作環(huán)境和黃瓜的種植模式，如圖3所示(尺 寸單位mm)。為保證機(jī)器人在作業(yè)現(xiàn)場(chǎng)行走平穩(wěn)、收獲便利，黃瓜 種植壟間區(qū)域進(jìn)行平整硬化，硬化路面寬900mm，黃瓜壟寬600mm， 壟內(nèi)作物單行栽培，株距400mm，成熟果實(shí)分布于離地面600mm以 上區(qū)域。為使果實(shí)與莖葉容易分離，本發(fā)明釆用一種斜拉線種植模式， 即用聚丙烯塑料線，上端纏于藤架頂部木制橫梁，下端被張緊繞在一 固定于地面線軸上，拉線垂直高度為1800mm、傾角為70° ，黃瓜藤 蔓沿拉線生長(zhǎng)，當(dāng)瓜蔓接近橫梁，通過(guò)下放斜拉線保證成熟果實(shí)集中 在距離垂直地面600 1200mm范圍內(nèi)(即攝像機(jī)的視野范圍)。由于 拉線強(qiáng)度不夠，黃瓜葉子因重力下垂嚴(yán)重，極易造成果實(shí)的遮擋，為 此在高度600mm和1200mm處添加兩條橫桿以增加對(duì)拉線的支撐， 此外介于兩橫桿間以斜拉線為中心的兩側(cè)15mm處各拉一條細(xì)線，將 葉子隔開到橫桿后方便于機(jī)器人識(shí)別采摘。
為了保證圖像獲取質(zhì)量，其一視野光照均勻，根據(jù)視場(chǎng)范圍和目 標(biāo)形狀，確定光源與攝像機(jī)的相對(duì)位置、光源的入射角度，采用四個(gè) 光源以兩攝像機(jī)公共視場(chǎng)為中心、兩側(cè)光源呈75°對(duì)稱交向陣列分 布；其二視野光照穩(wěn)定，直流電源模塊中的感光元件根據(jù)自然光的強(qiáng) 弱，按四個(gè)等級(jí)自主調(diào)整電流輸出，控制光源的輸出能量從而保證視 場(chǎng)亮度。
裝有濾光設(shè)備的黑白Hyper HAD CCD攝像機(jī)獲取黃瓜近紅外模 擬光譜圖像，經(jīng)雙通道視覺實(shí)時(shí)處理器A/D模塊轉(zhuǎn)換后，以數(shù)字圖 像形式存儲(chǔ)于片上SDRAM中指定的內(nèi)存，供圖像處理用。
雙通道視覺實(shí)時(shí)處理器采用多線程、多任務(wù)的系統(tǒng)調(diào)度方案，靜 態(tài)配置了4個(gè)線程，分別完成兩路圖像釆集、圖像識(shí)別及坐標(biāo)運(yùn)算， 線程間的同步通過(guò)SCOM (同步通訊機(jī)制)模塊實(shí)現(xiàn)，從而解決了恒
速圖像采集與變速圖像處理之間的矛盾。
雙目立體視覺系統(tǒng)首先進(jìn)行兩路圖像釆集，存儲(chǔ)后分別對(duì)左右攝 像機(jī)圖像進(jìn)行二維特征提取，然后基于雙目立體視覺的視差原理從二 維特征中恢復(fù)出三維信息，為機(jī)械臂運(yùn)動(dòng)提供依據(jù)。
本發(fā)明黃瓜釆摘機(jī)器人系統(tǒng)的控制采用主從式結(jié)構(gòu)，其功能框圖 如圖4所示。雙目立體視覺系統(tǒng)作為主控系統(tǒng)完成兩路視頻圖像信息
的釆集、提取、分析和計(jì)算，協(xié)調(diào)好與從系統(tǒng)的信息交換；機(jī)械臂裝 置作為從系統(tǒng)負(fù)責(zé)執(zhí)行機(jī)構(gòu)的軌跡規(guī)劃及控制；機(jī)器人移動(dòng)平臺(tái)作為 另 一從系統(tǒng)實(shí)現(xiàn)導(dǎo)航信息提取和路徑跟蹤。
上述的雙目立體視覺系統(tǒng)與機(jī)械臂裝置之間釆用網(wǎng)口和RS232
串口作為接口實(shí)現(xiàn)兩者的相互通信。視覺系統(tǒng)輸出釆摘目標(biāo)與機(jī)械手 的相對(duì)位置信息，接收目標(biāo)抓取、切割啟停信號(hào)。
上述的雙目立體視覺系統(tǒng)與機(jī)器人行走平臺(tái)之間釆用RS232串
口連接，視覺系統(tǒng)輸出車體的運(yùn)動(dòng)控制指令，接收車體當(dāng)前運(yùn)動(dòng)狀態(tài)
律自 i 口 k、。
采用上述系統(tǒng)方案的一種溫室黃瓜自動(dòng)檢測(cè)方法，參見圖5，其 具體步驟如下
51、 啟動(dòng)機(jī)器人移動(dòng)平臺(tái)沿導(dǎo)航線運(yùn)動(dòng)，雙目視覺系統(tǒng)的右攝像 機(jī)進(jìn)行單通道視頻實(shí)時(shí)采集；
52、 對(duì)每幀右攝像機(jī)圖像快速搜索，判斷果實(shí)數(shù)量、成熟度及大
小；
53、 確定有釆摘目標(biāo)后命令機(jī)器人移動(dòng)平臺(tái)停止，啟動(dòng)雙通道視
頻釆集；
54、 左右攝像機(jī)同步獲取場(chǎng)景中的黃瓜近紅外圖像，分別進(jìn)行目
標(biāo)分割、品質(zhì)分析和特征提取，確定左右圖像中黃瓜的抓取點(diǎn)位置；
55、 判斷攝像機(jī)公共視場(chǎng)范圍內(nèi)是否有對(duì)應(yīng)匹配點(diǎn)；
56、 若抓取點(diǎn)不滿足匹配條件，結(jié)東雙通道視頻采集，重新步驟
1),否則基于左右圖像抓取點(diǎn)的視差，由三角法原理進(jìn)行三維信息重 建；
57、 雙通道圖像處理器計(jì)算目標(biāo)抓取點(diǎn)到雙目視覺系統(tǒng)坐標(biāo)原點(diǎn) 的X、 Y、 Z坐標(biāo)，將距離最近的抓取點(diǎn)目標(biāo)作為當(dāng)前釆摘對(duì)象，并 由標(biāo)定所得視覺系統(tǒng)原點(diǎn)與機(jī)械臂原點(diǎn)的相對(duì)位置關(guān)系推出機(jī)械臂
對(duì)應(yīng)的坐標(biāo)信息，發(fā)送至機(jī)械臂裝置的運(yùn)動(dòng)控制卡；
58、 運(yùn)動(dòng)控制卡對(duì)發(fā)送的位置信息進(jìn)行軌跡規(guī)劃后給出各關(guān)節(jié)的
最佳運(yùn)動(dòng)參數(shù)，從而引導(dǎo)機(jī)械手進(jìn)行準(zhǔn)確釆摘；
59、 重復(fù)步驟S4 S8，該停車點(diǎn)視野范圍內(nèi)的多個(gè)目標(biāo)進(jìn)行連 續(xù)采摘，直至無(wú)可釆摘目標(biāo)重新步驟S1。
本發(fā)明所提供的溫室黃瓜自動(dòng)檢測(cè)方法，將黃瓜的光譜特征與形 狀特征結(jié)合起來(lái)實(shí)現(xiàn)目標(biāo)分割、特征提取，再由雙目立體視覺原理得 出目標(biāo)的空間位置，引導(dǎo)機(jī)械手進(jìn)行釆摘。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng) 域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明技術(shù)原理的前提下，還可以 做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1、一種溫室環(huán)境下黃瓜采摘機(jī)器人系統(tǒng)，其特征在于，所述系統(tǒng)包括雙目立體視覺系統(tǒng)，用于采集黃瓜圖像，實(shí)時(shí)加以處理，獲取收獲目標(biāo)的位置信息；機(jī)械臂裝置，用于根據(jù)所述收獲目標(biāo)的位置信息，進(jìn)行所述收獲目標(biāo)的抓取和分離；機(jī)器人移動(dòng)平臺(tái)，用于在溫室環(huán)境下自主運(yùn)動(dòng)；所述雙目立體視覺系統(tǒng)包括兩個(gè)黑白攝像機(jī)；雙通道視覺實(shí)時(shí)處理器，與所述兩個(gè)黑白攝像機(jī)連接，用于完成兩路視頻采集、圖像識(shí)別及坐標(biāo)運(yùn)算；所述機(jī)械臂裝置包括執(zhí)行機(jī)構(gòu)；運(yùn)動(dòng)控制卡，用于根據(jù)所述收獲目標(biāo)的位置信息進(jìn)行軌跡規(guī)劃，并下發(fā)運(yùn)動(dòng)指令；關(guān)節(jié)驅(qū)動(dòng)器，用于根據(jù)所述運(yùn)動(dòng)指令，帶動(dòng)所述執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)所述收獲目標(biāo)的抓取和分離動(dòng)作；所述機(jī)器人移動(dòng)平臺(tái)包括行走機(jī)構(gòu)；電機(jī)驅(qū)動(dòng)器，用于驅(qū)動(dòng)所述行走機(jī)構(gòu)；云臺(tái)攝像頭，用于獲取環(huán)境圖像信息；處理器，用于分析所述圖像信息，獲取并下發(fā)導(dǎo)航參數(shù)；運(yùn)動(dòng)控制器，用于根據(jù)所述導(dǎo)航參數(shù)，控制所述電機(jī)驅(qū)動(dòng)器驅(qū)動(dòng)所述執(zhí)行機(jī)構(gòu)進(jìn)行運(yùn)動(dòng)。
2、 如權(quán)利要求l所述的溫室環(huán)境下黃瓜釆摘機(jī)器人系統(tǒng)，其特 征在于，所述雙目立體視覺系統(tǒng)還包括照明裝置，用于提供適于收獲 目標(biāo)的識(shí)別釆摘的光照環(huán)境；所述照明裝置包括對(duì)稱陣列分布的四個(gè) 光源和自適應(yīng)能量輸出的直流電源模塊，所述電源模塊用于給所述四 個(gè)光源提供電源。
3、 如權(quán)利要求1所述的溫室環(huán)境下黃瓜釆摘機(jī)器人系統(tǒng)，其特 征在于，所述雙目立體視覺系統(tǒng)還包括濾光設(shè)備，分別安裝于所述兩 個(gè)黑白攝像機(jī)的鏡頭前；所述濾光設(shè)備為近紅外光譜波段、峰值透過(guò)率大于90%的窄帶干涉濾光器。
4、 如權(quán)利要求1所述的溫室環(huán)境下黃瓜釆摘機(jī)器人系統(tǒng)，其特征在于，所述雙目立體視覺系統(tǒng)還包括支架，所述支架以套簡(jiǎn)方式固 定在所述機(jī)器人移動(dòng)平臺(tái)上，并支撐所述雙目立體視覺系統(tǒng)，根據(jù)需 要完成所述雙目立體視覺系的升降和旋轉(zhuǎn)。
5、 如權(quán)利要求1所述的溫室環(huán)境下黃瓜釆摘機(jī)器人系統(tǒng)，其特 征在于，所述機(jī)械臂裝置釆用5自由度設(shè)計(jì)，包括基座旋轉(zhuǎn)、肩關(guān)節(jié) 俯仰、肘關(guān)節(jié)俯仰、腕關(guān)節(jié)俯仰和腕關(guān)節(jié)旋轉(zhuǎn)。
6、 如權(quán)利要求1所述的溫室環(huán)境下黃瓜釆摘機(jī)器人系統(tǒng)，其特 征在于，所述雙目立體視覺系統(tǒng)與機(jī)械臂裝置之間釆用網(wǎng)口和RS232 串口連接，進(jìn)行通信。
7、 如權(quán)利要求1所述的溫室環(huán)境下黃瓜釆摘機(jī)器人系統(tǒng)，其特 征在于，所述雙目立體視覺系統(tǒng)與機(jī)器人移動(dòng)平臺(tái)之間釆用RS232 串口連接，進(jìn)行通信。
8、 一種溫室環(huán)境下黃瓜采摘方法，其特征在于，所述方法包括 以下步驟 S1. 啟動(dòng)機(jī)器人移動(dòng)平臺(tái)沿導(dǎo)航線運(yùn)動(dòng)，雙目立體視覺系統(tǒng)的右 攝像機(jī)進(jìn)行單通道視頻實(shí)時(shí)釆集； S2. 對(duì)每幀右攝像機(jī)圖像快速搜索，判斷視場(chǎng)果實(shí)數(shù)量、成熟度 及大小； S3. 搜索到收獲目標(biāo)后，機(jī)器人移動(dòng)平臺(tái)停止運(yùn)動(dòng)，啟動(dòng)雙通道 視頻釆集； S4. 左右攝像機(jī)同步獲取場(chǎng)景中的收獲目標(biāo)的近紅外圖像，確定左右圖像中各收獲目標(biāo)的抓取點(diǎn)位置； S5. 判斷攝像機(jī)公共視場(chǎng)范圍內(nèi)是否有對(duì)應(yīng)匹配點(diǎn)； S6. 當(dāng)有對(duì)應(yīng)匹配點(diǎn)時(shí)，根據(jù)左右圖像抓取點(diǎn)的視差進(jìn)行三維信 息重建； S7. 雙通道視覺實(shí)時(shí)處理器計(jì)算目標(biāo)抓取點(diǎn)到雙目立體視覺系 統(tǒng)坐標(biāo)原點(diǎn)的坐標(biāo)，將距離最近的抓取點(diǎn)目標(biāo)作為當(dāng)前釆摘對(duì)象，并 由所述雙目立體視覺系統(tǒng)原點(diǎn)與機(jī)械臂裝置原點(diǎn)的相對(duì)位置關(guān)系，得 出與機(jī)械臂裝置對(duì)應(yīng)的收獲目標(biāo)的位置信息，發(fā)送至機(jī)械臂裝置的運(yùn) 動(dòng)控制卡； S8. 機(jī)械臂裝置的運(yùn)動(dòng)控制卡對(duì)所述位置信息進(jìn)行軌跡規(guī)劃，并 給出各關(guān)節(jié)的最佳運(yùn)動(dòng)參數(shù)，引導(dǎo)執(zhí)行機(jī)構(gòu)進(jìn)行準(zhǔn)確釆摘。
9、 如權(quán)利要求8所述的溫室環(huán)境下黃瓜釆摘方法，其特征在于， 在所述步驟S1之前，還包括改變黃瓜釆摘機(jī)器人系統(tǒng)的工作環(huán)境， 采用斜拉線栽培模式。
10、 如權(quán)利要求8所述的溫室環(huán)境下黃瓜釆摘方法，其特征在于， 在所述步驟S8之后，還包括重復(fù)步驟S4-S9，對(duì)所述場(chǎng)景范圍內(nèi) 的多個(gè)收獲目標(biāo)進(jìn)行連續(xù)釆摘，直至無(wú)對(duì)應(yīng)抓取點(diǎn)，重新進(jìn)行步驟 Sl。
全文摘要
本發(fā)明公開了一種溫室環(huán)境下黃瓜采摘機(jī)器人系統(tǒng)，包括雙目立體視覺系統(tǒng)，用于采集黃瓜圖像，實(shí)時(shí)加以處理，獲取收獲目標(biāo)的位置信息；機(jī)械臂裝置，用于根據(jù)收獲目標(biāo)的位置信息，進(jìn)行收獲目標(biāo)的抓取和分離；機(jī)器人移動(dòng)平臺(tái)，用于在溫室環(huán)境下自主運(yùn)動(dòng)；雙目立體視覺系統(tǒng)包括兩個(gè)黑白攝像機(jī)、雙通道視覺實(shí)時(shí)處理器、照明裝置及濾光設(shè)備；機(jī)械臂裝置包括執(zhí)行機(jī)構(gòu)、運(yùn)動(dòng)控制卡和關(guān)節(jié)驅(qū)動(dòng)器；機(jī)器人移動(dòng)平臺(tái)包括行走機(jī)構(gòu)、電機(jī)驅(qū)動(dòng)器、云臺(tái)攝像頭、處理器和運(yùn)動(dòng)控制器。本發(fā)明還公開了一種溫室環(huán)境下黃瓜采摘方法。本發(fā)明使用機(jī)器視覺和農(nóng)業(yè)機(jī)械相結(jié)合的方法，構(gòu)建了適用于溫室的黃瓜采摘機(jī)器人系統(tǒng)，實(shí)現(xiàn)了機(jī)器人的自動(dòng)導(dǎo)航和黃瓜的自動(dòng)收獲，減少了人的勞動(dòng)強(qiáng)度。
文檔編號(hào)A01D46/30GK101356877SQ20081022253
公開日2009年2月4日 申請(qǐng)日期2008年9月19日 優(yōu)先權(quán)日2008年9月19日
發(fā)明者馮青春, 偉 李, 挺 袁, 譚豫之 申請(qǐng)人:中國(guó)農(nóng)業(yè)大學(xué)