專利名稱：體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種體育場(chǎng)撿球機(jī)器人的視覺(jué)系統(tǒng)。
背景技術(shù)：
隨著生活水平的提高，人們的健身需求也越來(lái)越強(qiáng)烈。去體育場(chǎng)館進(jìn)行各 種球類運(yùn)動(dòng)，成為人們的首選。在進(jìn)行各種球類運(yùn)動(dòng)的時(shí)候，如乒乓球、網(wǎng)球， 撿球成為一項(xiàng)極其耗費(fèi)時(shí)間的工作。目前來(lái)看，體育場(chǎng)球類清理設(shè)備仍需人來(lái) 操作，這些簡(jiǎn)單而重復(fù)的勞動(dòng)耗費(fèi)了大量的人力資源。因此，需要一種能夠?yàn)?體育場(chǎng)撿球機(jī)器人提供環(huán)境定位、感知和路徑規(guī)劃的視覺(jué)系統(tǒng)來(lái)解決上述問(wèn)題。
機(jī)器人視覺(jué)系統(tǒng)可采用集中式全局?jǐn)z像機(jī)，該系統(tǒng)可以獲得機(jī)器人運(yùn)動(dòng)場(chǎng) 景中的全局信息，便于對(duì)機(jī)器人進(jìn)行全局定位。現(xiàn)有的機(jī)器人視覺(jué)識(shí)別方法， 多為顏色識(shí)別先對(duì)圖像進(jìn)行數(shù)字濾波，再利用由色調(diào)、飽和度、亮度組成的 HSV顏色模型，對(duì)采集的圖像進(jìn)行識(shí)別。該識(shí)別方法簡(jiǎn)單且速度快，已經(jīng)在很
多領(lǐng)域，如機(jī)器人足球中得到了廣泛應(yīng)用，如專利200510027280.6， 200420103434.6。
進(jìn)行體育場(chǎng)球類清理工作時(shí)，利用現(xiàn)有的機(jī)器人視覺(jué)系統(tǒng)及機(jī)器視覺(jué)識(shí)別
技術(shù)無(wú)法滿足機(jī)器人撿球時(shí)的需要，其主要是由以下原因造成的
1、 在完成撿球工作時(shí)，機(jī)器人需要同時(shí)識(shí)別很多球，識(shí)別過(guò)程中存在諸多 干擾，如光線變化、其他非球類物體、場(chǎng)地內(nèi)進(jìn)行運(yùn)動(dòng)的人，只依靠單一的顏 色識(shí)別則無(wú)法完成識(shí)別任務(wù)。
2、 由于直接采用集中式全局?jǐn)z像機(jī)采集到的圖像進(jìn)行全局運(yùn)算，該方法計(jì) 算量大，實(shí)時(shí)性差。
3、 在機(jī)器人進(jìn)行球類拾取的過(guò)程中，由于球數(shù)量多，分布無(wú)規(guī)律，因此還
應(yīng)該對(duì)機(jī)器人拾取球時(shí)的運(yùn)動(dòng)路徑進(jìn)行合理規(guī)劃，而現(xiàn)有的視覺(jué)系統(tǒng)，如機(jī)器 人足球的視覺(jué)系統(tǒng)，則無(wú)法完成多球環(huán)境下的路徑規(guī)劃。
4、 當(dāng)多機(jī)器人在多球環(huán)境下完成撿球工作時(shí)，利用現(xiàn)有的系統(tǒng)和技術(shù)，則 無(wú)法完成識(shí)別和規(guī)劃任務(wù)。

發(fā)明內(nèi)容
本發(fā)明提出了一種體育場(chǎng)撿球機(jī)器人的視覺(jué)系統(tǒng)。該系統(tǒng)可以為體育場(chǎng)撿 球機(jī)器人提供環(huán)境和定位信息，對(duì)單個(gè)或多個(gè)機(jī)器人活動(dòng)路徑進(jìn)行規(guī)劃，使機(jī) 器人能夠自主完成體育場(chǎng)撿球工作。
本發(fā)明的技術(shù)方案是體育場(chǎng)撿球機(jī)器人的視覺(jué)系統(tǒng)包括全局?jǐn)z像機(jī)，機(jī) 器人載體攝像機(jī)，無(wú)線視頻傳輸模塊，圖像采集卡和圖像處理器。所述的全局
攝像機(jī)為模擬接口 CCD攝像機(jī)或USB接U的CMOS攝像機(jī)，將全局?jǐn)z像機(jī)安 裝在體育場(chǎng)卜.方，全局?jǐn)z像機(jī)的視頻輸出接口與無(wú)線視頻傳輸模塊的發(fā)送端連 接；無(wú)線視頻傳輸模塊包括發(fā)送和接收兩部分，可以無(wú)線傳輸模擬視頻信號(hào)或 數(shù)字視頻信號(hào)，無(wú)線視頻傳輸模塊的接收端與圖像采集卡的輸入端連接；機(jī)器 人載體攝像機(jī)安裝在機(jī)器人十.，與圖像采集卡連接；圖像采集卡安裝在圖像處 理器上，為圖像處理器提供數(shù)字化的視頻信號(hào)；圖像處理器對(duì)圖像采集卡采集 的圖像信號(hào)實(shí)時(shí)進(jìn)行處理，對(duì)采集到的圖像進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位，并對(duì) 機(jī)器人進(jìn)行撿球路徑規(guī)劃，控制機(jī)器人移動(dòng)。
圖像處理器對(duì)圖像信號(hào)實(shí)時(shí)進(jìn)行處理并控制機(jī)器人移動(dòng)的方法為
(1) 對(duì)全局圖像裁剪，只保留體育場(chǎng)地內(nèi)的圖像，去除周邊的復(fù)雜圖像；
(2) 對(duì)裁剪的全局圖像進(jìn)行分塊，依次對(duì)每塊圖像進(jìn)行以下操作
(3) 在第i塊全局圖像內(nèi)，將RGB模型變換為HSV模型；
(4) 在第i塊全局圖像內(nèi)進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位，得到機(jī)器人和所有 球的夾角和距離即相對(duì)位置；
(5) 設(shè)定機(jī)器人的優(yōu)先搜索范圍的閾值，在機(jī)器人的優(yōu)先搜索范圍內(nèi)，選 取離機(jī)器人最近的球?yàn)槟繕?biāo)球；若機(jī)器人優(yōu)先搜索范圍內(nèi)沒(méi)有球，則直接選取 離機(jī)器人最近的球?yàn)槟繕?biāo)球；
(6) 根據(jù)目標(biāo)球和機(jī)器人的相對(duì)位置，對(duì)機(jī)器人進(jìn)行撿球路徑規(guī)劃，實(shí)時(shí) 引導(dǎo)機(jī)器人向目標(biāo)球移動(dòng)；
(7) 當(dāng)機(jī)器人載體攝像機(jī)檢測(cè)到目標(biāo)球時(shí)，在機(jī)器人載體攝像機(jī)圖像內(nèi)進(jìn) 行目標(biāo)識(shí)別和機(jī)器人定位，得到目標(biāo)球與機(jī)器人的相對(duì)位置后，對(duì)機(jī)器人進(jìn)行 撿球路徑規(guī)劃，引導(dǎo)機(jī)器人駛向目標(biāo)球，完成撿球動(dòng)作；
(8) 當(dāng)?shù)趇塊全局圖像內(nèi)還有球時(shí)，重復(fù)步驟(5);
(9) 當(dāng)?shù)趇塊全局圖像內(nèi)沒(méi)有球時(shí)，開(kāi)始處理第i+l塊全局圖像，重復(fù)步驟(3)。
本發(fā)明可以控制機(jī)器人在多球環(huán)境下完成撿球任務(wù)，處理速度快，適應(yīng)多 種體育場(chǎng)環(huán)境。
本發(fā)明的優(yōu)點(diǎn)和具體實(shí)施過(guò)程將在具體實(shí)施方式
部分進(jìn)一步闡明。


圖l是本發(fā)明的應(yīng)用示意圖2是本發(fā)明的各部件的連接方法；
圖3是本發(fā)明的全局圖像分割示意圖4是RGB色彩模型；
圖5是HSV色彩模型；
圖6是圖像處理器程序流程圖7是計(jì)算目標(biāo)球與機(jī)器人相對(duì)位置的示意圖8是最小運(yùn)動(dòng)代價(jià)近距離優(yōu)先原則下的路徑規(guī)劃的示意其中l(wèi)一全局?jǐn)z像機(jī)、2 —機(jī)器人載體攝攝像機(jī)、3 —無(wú)線視頻傳輸模塊發(fā)射 端、4一無(wú)線視頻傳輸接收器、5—圖像采集卡、6—圖像處理器。
具體實(shí)施例方式
本發(fā)明的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)包括全局?jǐn)z像機(jī)(1)，機(jī)器人載體攝 像機(jī)(2)，無(wú)線視頻傳輸模塊(3)、 (4)，圖像采集卡(5)和圖像處理器(6)。 全局?jǐn)z像機(jī)(1)使用模擬接口攝像機(jī)(1)。全局?jǐn)z像機(jī)(1)安裝在場(chǎng)地上方， 且保證能夠完全拍攝到體育場(chǎng)地。無(wú)線視頻傳輸模塊(3)、 (4)采用模擬信號(hào)無(wú) 線視頻傳輸模塊(3)、 (4)。全局?jǐn)z像機(jī)(1)的模擬輸出端通過(guò)AV視頻線與無(wú) 線視頻傳輸模塊的發(fā)射端(3)連接。無(wú)線視頻傳輸接收器(4)的輸出端與圖 像采集卡(5)輸入端相連接，圖像采集卡(5)安裝在圖像處理器上(6)，圖 像處理器(6)安裝在機(jī)器人內(nèi)部，同時(shí)圖像采集卡(5)與機(jī)器人載體攝像機(jī) (2)連接。圖像處理器(6)可采用嵌入式PC或數(shù)字信號(hào)處理器(DSP)，根 據(jù)對(duì)采集到的圖像進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位，并對(duì)機(jī)器人進(jìn)行撿球路徑規(guī)劃。
圖像處理器(6)采用基于顏色和形狀的方法進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位。 該識(shí)別方法特別適用于體育場(chǎng)撿球機(jī)器人撿球時(shí)目標(biāo)識(shí)別和定位。其特征在于 該方法先對(duì)圖像進(jìn)行顏色分割，再對(duì)分割后的二值圖像進(jìn)行基于形態(tài)學(xué)的處理， 根據(jù)形狀進(jìn)行目標(biāo)識(shí)別。該方法可以在PC平臺(tái)利用OpenCV進(jìn)行開(kāi)發(fā)，也可以
8在嵌入式PC，如DSP上利用EMCV進(jìn)行開(kāi)發(fā)。該方法先對(duì)全局圖像進(jìn)行裁剪，
去除場(chǎng)地外無(wú)用的復(fù)雜景物；然后對(duì)圖像進(jìn)行分塊，按區(qū)域進(jìn)行目標(biāo)提取，控 制撿球機(jī)器人依次在某個(gè)小區(qū)域內(nèi)完成撿球丄作，極大地提"了處理速度；在
每塊彩色圖像中，先利用HSV色彩模型進(jìn)行目標(biāo)分割，然后在利用基于形態(tài)學(xué)
的形狀判別法對(duì)目標(biāo)進(jìn)行識(shí)別，去掉非球類物體的干擾，極大地提高了識(shí)別方 法對(duì)環(huán)境的適應(yīng)性。
本發(fā)明使用的路徑規(guī)劃方法采用基于"最小運(yùn)動(dòng)代價(jià)近距離球優(yōu)先"的路 徑規(guī)劃方法。其特征在于機(jī)器人在撿完一個(gè)球后，機(jī)器人以最小運(yùn)動(dòng)代價(jià)繼續(xù) 拾取離機(jī)器人最近的球。該方法特別適用于體育場(chǎng)單個(gè)或多個(gè)撿球器人撿球時(shí) 的路徑規(guī)劃。
圖像處理器(6)對(duì)圖像信號(hào)實(shí)時(shí)進(jìn)行處理并控制機(jī)器人移動(dòng)的具體執(zhí)行過(guò)
程如下
(1) 對(duì)全局圖像裁剪，只保留體倉(cāng)'場(chǎng)地內(nèi)的圖像，去除周邊的復(fù)雜圖像；
(2) 對(duì)裁剪的全局圖像進(jìn)行分塊，依次對(duì)每塊圖像進(jìn)行目標(biāo)識(shí)別，以六塊 為例(1=6)，如圖3;
(3) 在每塊圖像內(nèi)，將RGB模型變換為HSV模型。RGB與HSV模型的 轉(zhuǎn)換關(guān)系為<formula>formula see original document page 9</formula>
(4)在第i塊全局圖像內(nèi)進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位，得到機(jī)器人和所有 球的夾角和距離即相對(duì)位置；具體步驟為
i)在第i塊全局圖像內(nèi)提取球的位置，具體按如下做法進(jìn)行(a)根據(jù)球的 顏色，在H域設(shè)置分割的閾值[r,，j;]，對(duì)全局圖像進(jìn)行二值分割；(b)對(duì)二值 圖像開(kāi)運(yùn)算，去除因二值化產(chǎn)生的噪點(diǎn)，只保留小球產(chǎn)生的連通域；(c)對(duì)連通域進(jìn)行標(biāo)記；(d)根據(jù)實(shí)際環(huán)境，設(shè)定有效連通域的面積大小，去掉非球類物 體造成的干擾；(e)求解每一個(gè)有效連通域的形心，作為每個(gè)球的坐標(biāo)；
ii) 在第i塊全局圖像提取機(jī)器人中心坐標(biāo)，具體按如下做法進(jìn)行(a)根 據(jù)機(jī)器人顏色，在H域設(shè)置分割的閾值[71,;]，對(duì)全局圖像進(jìn)行二值分割；(b) 對(duì)二值圖像閉運(yùn)算，使機(jī)器人所在連通域?yàn)橐徽w；(C)對(duì)閉運(yùn)算的二值圖像 進(jìn)行連通域標(biāo)記；(d)尋找面積最大的連通域，并求其形心，作為機(jī)器人的形 心坐標(biāo)；
iii) 為了判別機(jī)器人的運(yùn)動(dòng)方向，在機(jī)器人前端放置一個(gè)帶顏色的標(biāo)志物， 在第1塊全局圖像提取機(jī)器人前端標(biāo)志物的坐標(biāo)，具體按如下做法進(jìn)行(a)
根據(jù)機(jī)器人前端標(biāo)志物的顏色，在H域設(shè)置分割的閾值[z;，7;]，對(duì)圖像進(jìn)行二值
分割;(b)對(duì)二值圖像閉運(yùn)算，使機(jī)器人前端標(biāo)志物所在的連通域?yàn)橐徽w；(c) 對(duì)閉運(yùn)算的二值圖像進(jìn)行連通域標(biāo)記；(d)尋找面積最大的連通域，并求其形 心，作為機(jī)器人前端標(biāo)志物的形心坐標(biāo)；
iv) 判別機(jī)器人和每個(gè)球的相對(duì)位置關(guān)系。在機(jī)器人卜.建立載體坐標(biāo)系，以
+n CW r+i ,、—、丄{I;( +二 ^ZT fT2=T Jr +n tW r+i ,、 +匕rH A山.+二 + fL4n AAiA —>丄 fr山h— 介山
T兒研.八T^V、JHVJ、方0爾W、， 4H研乂、T^L、f日l(shuí)口J HU乂而W、芯、'寸Xm、J刀l口J力y ， 勺y孑w 垂直的方向?yàn)閄軸；設(shè)球的坐標(biāo)為(^/漢,te肝)，機(jī)器人前端標(biāo)志物的坐標(biāo)為 (/zeat/X, teW"，機(jī)器人中心坐標(biāo)為(rn^Y， ;在載體坐標(biāo)系卜計(jì)算向量
71 = /ze"^Y —冊(cè)'M ， n = /ze"t/y —，= 6a/漢—附/t/J ， = ZwW — w'V/y 。
利用向:
—尤r與向量的叉乘—If
—j2一
求解向:
與
iT2 72
的夾
角，即目標(biāo)球與機(jī)器人當(dāng)前航向的夾角。若叉乘結(jié)果為正數(shù)，則目標(biāo)球位于機(jī) 器人左側(cè)；若叉乘結(jié)果為負(fù)數(shù)，則目標(biāo)球位于機(jī)器人右側(cè)。根據(jù)余弦定理求解 目標(biāo)與機(jī)器人航向的夾角y7朋^，計(jì)算過(guò)程如下式
ba収-/ze(3iiY)2 + (6a肝—fea司2
6 = ^/(w/HeacZX)
力aoc/w = arccos
Zr + c— — a ^~^"""最后在全局圖像中，球與機(jī)器人的相對(duì)距離按下式計(jì)算
(5) 得到所有球和機(jī)器人的相對(duì)位置后，確定目標(biāo)球；設(shè)定機(jī)器人的優(yōu)先 搜索范圍的閾值，例如以機(jī)器人前端標(biāo)志物為圓心(^"^,/^^^)， 500像素為半 徑，30°的扇形區(qū)域?yàn)閮?yōu)先搜索區(qū)域，如圖8。在機(jī)器人的優(yōu)先搜索范圍內(nèi)，選 取離機(jī)器人最近的球?yàn)槟繕?biāo)球；若機(jī)器人優(yōu)先搜索范圍內(nèi)沒(méi)有球，則直接選取 離機(jī)器人最近的球?yàn)槟繕?biāo)球。
(6) 根據(jù)目標(biāo)球和機(jī)器人的相對(duì)位置，對(duì)機(jī)器人進(jìn)行撿球路徑規(guī)劃，實(shí)時(shí) 弓I導(dǎo)機(jī)器人向目標(biāo)球移動(dòng)。當(dāng)圖像處理器以全局?jǐn)z像機(jī)采集到的圖像計(jì)算目標(biāo) 球和機(jī)器人的相對(duì)位置時(shí)，則根據(jù)求得的相對(duì)位置關(guān)系，確定機(jī)器人的轉(zhuǎn)向與 機(jī)器人的運(yùn)動(dòng)速度；機(jī)器人運(yùn)動(dòng)速度的大小由目標(biāo)球與機(jī)器人的距離決定，距 離越大，機(jī)器人運(yùn)動(dòng)速度越快，距離越小，機(jī)器人運(yùn)動(dòng)速度越慢；該速度變化 可以通過(guò)建立速度與距離的線性關(guān)系得到，也可以根據(jù)實(shí)際情況通過(guò)査表實(shí)現(xiàn)。
(7) 機(jī)器人接近目標(biāo)球時(shí)(即球進(jìn)入機(jī)器人載體攝像機(jī)(2)的可視范圍)， 機(jī)器人的引導(dǎo)主要由機(jī)器人載體攝像機(jī)(2)來(lái)完成，全局?jǐn)z像機(jī)(1)主要起 全局監(jiān)控作用。此時(shí)在機(jī)器人載體攝像機(jī)圖像內(nèi)進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位。 若機(jī)器人載體攝像機(jī)圖像只有一個(gè)球，則利用步驟U)中的方法進(jìn)行球的識(shí)別， 并以其作為目標(biāo)球；若機(jī)器人載體攝像機(jī)圖像有多個(gè)球，則利用步驟(4)中的 方法進(jìn)行球的識(shí)別，并以機(jī)器人載體攝像機(jī)圖像最下方的球?yàn)槟繕?biāo)球。在確定 目標(biāo)球后，計(jì)算目標(biāo)球和機(jī)器人載體攝像機(jī)圖像垂直中心線的像素距離 dwto"ce2 = 6a/漢-/wgM'W ，其中img滅M為機(jī)器人載體攝像機(jī)圖像垂直中心線的 水平像素值。根據(jù)^to""2大小與正負(fù)，判斷目標(biāo)球與機(jī)器人的相對(duì)位置。若 血to"ce2〉0，則球在機(jī)器人的右側(cè)，若^tonce2〈0，則球在機(jī)器人的左側(cè)。
得到目標(biāo)球與機(jī)器人的相對(duì)位置后，對(duì)機(jī)器人進(jìn)行路徑規(guī)劃，引導(dǎo)機(jī)器人 駛向目標(biāo)球，完成撿球動(dòng)作。當(dāng)圖像處理器以機(jī)器人載體攝像機(jī)采集到的圖像 計(jì)算目標(biāo)球和機(jī)器人的相對(duì)位置時(shí)，則可以根據(jù)求得的相對(duì)位置關(guān)系確定機(jī)器 人的轉(zhuǎn)向；為保證機(jī)器人的能夠順利撿球，機(jī)器人以恒定的低速運(yùn)動(dòng)。
(8) 根據(jù)全局?jǐn)z像機(jī)(l)監(jiān)測(cè)的圖像，當(dāng)目標(biāo)球消失時(shí)，則認(rèn)為完成拾取目 標(biāo)球的任務(wù)，繼續(xù)下一個(gè)撿球任務(wù)，重復(fù)歩驟(5);
11(9)當(dāng)?shù)趇塊全局圖像內(nèi)沒(méi)有球時(shí)，開(kāi)始處理第i+l塊全局圖像，繼續(xù)拾 取第i+l塊全局圖像內(nèi)的球，重復(fù)步驟(3)。
當(dāng)多個(gè)機(jī)器人共同進(jìn)行撿球工作時(shí)，可以使用多機(jī)器人協(xié)同工作的相關(guān)方 法控制機(jī)器人共同撿球；也可以將全局?jǐn)z像機(jī)采集到的圖像分塊，令每個(gè)機(jī)器 人分別單獨(dú)工作在不同的圖像塊區(qū)域中，在每個(gè)圖像塊中分別利用上述圖像識(shí) 別方法和路徑規(guī)劃方法，對(duì)每個(gè)機(jī)器人在不同圖像塊區(qū)域中進(jìn)行單獨(dú)控制。
本發(fā)明不限于此實(shí)例，凡是利用本設(shè)計(jì)的設(shè)計(jì)思路，做一些簡(jiǎn)單變化的設(shè) 計(jì)均應(yīng)列在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于包括全局?jǐn)z像機(jī)(1)，機(jī)器人載體攝像機(jī)(2)，無(wú)線視頻傳輸模塊，圖像采集卡(5)和圖像處理器(6)；其中全局?jǐn)z像機(jī)(1)安裝在體育場(chǎng)上方，全局?jǐn)z像機(jī)(1)的視頻輸出接口與無(wú)線視頻傳輸模塊的發(fā)射端(3)連接，無(wú)線視頻傳輸模塊的接收端(4)與圖像采集卡(5)連接，接收全局?jǐn)z像機(jī)(1)采集到的體育場(chǎng)全局信號(hào)，機(jī)器人載體攝像機(jī)(2)安裝在機(jī)器人上，與圖像采集卡(5)連接，圖像采集卡(5)與圖像處理器(6)連接，為圖像處理器(6)提供數(shù)字化的視頻信號(hào)，圖像處理器(6)對(duì)圖像采集卡采集的圖像信號(hào)實(shí)時(shí)進(jìn)行處理，對(duì)采集到的圖像進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位，并對(duì)機(jī)器人進(jìn)行撿球路徑規(guī)劃，控制機(jī)器人移動(dòng)。
2、 根據(jù)權(quán)利要求1所述的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于全局?jǐn)z 像機(jī)(1)、機(jī)器人載體攝像機(jī)(2)為帶模擬接口的CCD攝像機(jī)，或?yàn)閹?shù)字USB 接口的CM0S攝像機(jī)。
3、 根據(jù)權(quán)利要求1所述的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于無(wú)線視 頻傳輸模塊傳輸模擬視頻信號(hào)或數(shù)字視頻信號(hào)。
4、 根據(jù)權(quán)利要求1所述的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于圖像處 理器(6)為嵌入式PC，或者數(shù)字信號(hào)處理器。
5、 根據(jù)權(quán)利要求l-4所述的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于圖 像處理器(6)對(duì)圖像信號(hào)實(shí)時(shí)進(jìn)行處理并控制機(jī)器人移動(dòng)的方法為(1) 對(duì)全局圖像裁剪，只保留體育場(chǎng)地內(nèi)的圖像，去除周邊的復(fù)雜圖像；(2) 對(duì)裁剪的全局圖像進(jìn)行分塊，依次對(duì)每塊圖像進(jìn)行以下操作(3) 在第i塊全局圖像內(nèi)，將RGB模型變換為HSV模型；(4) 在第i塊全局圖像內(nèi)進(jìn)行目標(biāo)識(shí)別和機(jī)器人定位，得到機(jī)器人和所有 球的夾角和距離即相對(duì)位置；(5) 設(shè)定機(jī)器人的優(yōu)先搜索范圍的閾值，在機(jī)器人的優(yōu)先搜索范圍內(nèi)，選 取離機(jī)器人最近的球?yàn)槟繕?biāo)球；若機(jī)器人優(yōu)先搜索范圍內(nèi)沒(méi)有球，則直接選取 離機(jī)器人最近的球?yàn)槟繕?biāo)球；(6) 根據(jù)目標(biāo)球和機(jī)器人的相對(duì)位置，對(duì)機(jī)器人進(jìn)行撿球路徑規(guī)劃，實(shí)時(shí) 引導(dǎo)機(jī)器人向目標(biāo)球移動(dòng)；(7) 當(dāng)機(jī)器人載體攝像機(jī)檢測(cè)到目標(biāo)球時(shí)，在機(jī)器人載體攝像機(jī)圖像內(nèi)進(jìn) 行目標(biāo)識(shí)別和機(jī)器人定位，得到目標(biāo)球與機(jī)器人的相對(duì)位置后，對(duì)機(jī)器人進(jìn)行撿球路徑規(guī)劃，引導(dǎo)機(jī)器人駛向目標(biāo)球，完成撿球動(dòng)作；(8) 當(dāng)?shù)趇塊全局圖像內(nèi)還有球時(shí)，重復(fù)步驟(5);(9) 當(dāng)?shù)趇塊全局圖像內(nèi)沒(méi)有球時(shí)，開(kāi)始處理第i+l塊全局圖像，重復(fù)歩 驟(3)。
6、根據(jù)權(quán)利要求5所述的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于所述 目標(biāo)識(shí)別和機(jī)器人定位的方位為1)當(dāng)機(jī)器人載體攝像機(jī)沒(méi)有檢測(cè)到目標(biāo)球時(shí)，機(jī)器人與球的相對(duì)位置由全 局?jǐn)z像機(jī)采集的圖像計(jì)算，具體步驟為(1) 提取球的位置，具體按如下做法進(jìn)行(a)根據(jù)球的顏色，在H域設(shè) 置分割的閾值[7;,7^]，對(duì)全局圖像進(jìn)行二值分割；(b)對(duì)二值圖像開(kāi)運(yùn)算，去除 因二值化產(chǎn)牛的噪點(diǎn)，只保留小球產(chǎn)生的連通域；(C)對(duì)連通域進(jìn)行標(biāo)記；(d) 根據(jù)實(shí)際環(huán)境，設(shè)定有效連通域的連通域面積大小，去掉非球類物體造成的干 擾；(e)求解每一個(gè)有效連通域的形心，作為每個(gè)球的坐標(biāo)；(2) 提取機(jī)器人中心坐標(biāo)，具體按如下做法進(jìn)行(a)根據(jù)機(jī)器人顏色， 在H域設(shè)置分割的閾值[7;,^]，對(duì)全局圖像進(jìn)行二值分割；(b)對(duì)二值圖像閉運(yùn) 算，使機(jī)器人所在連通域?yàn)橐徽w；(C)對(duì)閉運(yùn)算的二值圖像進(jìn)行連通域標(biāo)記；(d)尋找面積最大的連通域，并求其形心，作為機(jī)器人的形心坐標(biāo)；(3) 為了判別機(jī)器人的運(yùn)動(dòng)方向，在機(jī)器人前端放置一個(gè)帶顏色的標(biāo)志物， 提取機(jī)器人前端標(biāo)志物的坐標(biāo)，具體按如下做法進(jìn)行(a)根據(jù)機(jī)器人前端標(biāo) 志物的顏色，在H域設(shè)置分割的閾值[7;,7;]，對(duì)圖像進(jìn)行二值分割；(b)對(duì)二值 圖像閉運(yùn)算，使機(jī)器人前端標(biāo)志物所在的連通域?yàn)橐徽w；(C)對(duì)閉運(yùn)算的二 值圖像進(jìn)行連通域標(biāo)記；(d)尋找面積最大的連通域，并求其形心，作為機(jī)器 人前端標(biāo)志物的形心坐標(biāo)；(4) 判別機(jī)器人和球的相對(duì)位置關(guān)系在機(jī)器人上建立載體坐標(biāo)系，以機(jī) 器人中心為坐標(biāo)系原點(diǎn)，機(jī)器人中心指向前端標(biāo)志物的方向?yàn)閥軸，與y軸垂 直的方向?yàn)閤軸；設(shè)球的坐標(biāo)為(6。収，^〃}0，機(jī)器人前端標(biāo)志物的坐標(biāo)為 (/2e。dX， ，機(jī)器人中心坐標(biāo)為(附kff,附W";在載體坐標(biāo)系下計(jì)算向量利用向量與向量的叉乘nr2」72求解向:與12r2的夾角，即目標(biāo)球與機(jī)器人當(dāng)前航向的夾角；若叉乘結(jié)果為正數(shù)，則目標(biāo)球位于機(jī) 器人左側(cè)；若叉乘結(jié)果為負(fù)數(shù)，則目標(biāo)球位于機(jī)器人右側(cè)；根據(jù)余弦定理求解 目標(biāo)與機(jī)器人航向的夾角；7 。^，計(jì)算過(guò)程如下式最后在全局圖像中，球與機(jī)器人的相對(duì)距離按下式計(jì)算2)當(dāng)機(jī)器人載體攝像機(jī)檢測(cè)到目標(biāo)球時(shí)，機(jī)器人與球的相對(duì)位置由機(jī)器人 載體攝像機(jī)采集的圖像計(jì)算；若機(jī)器人載體攝像機(jī)圖像只有一個(gè)球，則利用步 驟(1)方法進(jìn)行球的識(shí)別，并以其作為目標(biāo)球；若機(jī)器人載體攝像機(jī)圖像有多 個(gè)球，則利ffl步驟(1)方法進(jìn)行球的識(shí)別，并以機(jī)器人載體攝像機(jī)圖像最下方 的球?yàn)镸標(biāo)球；在確定目標(biāo)球后，計(jì)算目標(biāo)球和機(jī)器人載體攝像機(jī)圖像垂直中 心線的像素距離ita"ce2 = k //Z-^gMVff ，其中/附gM"為機(jī)器人載體攝像機(jī)圖 像垂直巾心線的水平像素值；根據(jù)i/"""2大小與正負(fù)，判斷目標(biāo)球與機(jī)器人的 相對(duì)位置，若^血《"2>0，則球在機(jī)器人的右側(cè)，若cfoto^ 2〈0，則球在機(jī)器人 的左側(cè)。
7、根據(jù)權(quán)利要求5所述的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于所述 圖像處理器對(duì)機(jī)器人進(jìn)行路徑規(guī)劃的方法為1) 當(dāng)圖像處理器以全局?jǐn)z像機(jī)采集到的圖像計(jì)算目標(biāo)球和機(jī)器人的相對(duì)位 置時(shí)，則根據(jù)求得的相對(duì)位置關(guān)系，確定機(jī)器人的轉(zhuǎn)向與機(jī)器人的運(yùn)動(dòng)速度； 機(jī)器人運(yùn)動(dòng)速度的大小由目標(biāo)球與機(jī)器人的距離決定，距離越大，機(jī)器人運(yùn)動(dòng) 速度越快，距離越小，機(jī)器人運(yùn)動(dòng)速度越慢；2) 當(dāng)圖像處理器以機(jī)器人載體攝像機(jī)釆集到的圖像計(jì)算目標(biāo)球和機(jī)器人的 相對(duì)位置時(shí)，則可以根據(jù)求得的相對(duì)位置關(guān)系確定機(jī)器人的轉(zhuǎn)向；為保證機(jī)器 人的能夠順利撿球，機(jī)器人以恒定的低速運(yùn)動(dòng)。
8、根據(jù)權(quán)利要求7所述的體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，其特征在于當(dāng)多 個(gè)機(jī)器人共同進(jìn)行撿球工作時(shí)，使用多機(jī)器人協(xié)同工作的方法控制機(jī)器人共同 撿球；或者將全局?jǐn)z像機(jī)采集到的圖像分塊，令每個(gè)機(jī)器人分別單獨(dú)工作在不同的圖像塊區(qū)域中，在每個(gè)圖像塊中分別利用所述目標(biāo)識(shí)別和機(jī)器人定位方法 以及路徑規(guī)劃方法，對(duì)每個(gè)機(jī)器人在不同圖像塊區(qū)域中進(jìn)行單獨(dú)控制。
全文摘要
本發(fā)明涉及體育場(chǎng)撿球機(jī)器人視覺(jué)系統(tǒng)，包括全局?jǐn)z像機(jī)、機(jī)器人載體攝像機(jī)、無(wú)線視頻傳輸模塊、圖像采集卡以及圖像處理器。圖像采集卡將全局?jǐn)z像機(jī)、機(jī)器人載體攝像機(jī)采集到的視頻信號(hào)傳輸?shù)綀D像處理器，圖像處理器根據(jù)視覺(jué)信號(hào)進(jìn)行處理，并向機(jī)器人發(fā)送相應(yīng)的控制指令。圖像處理器利用顏色和形狀對(duì)球和機(jī)器人進(jìn)行識(shí)別，并實(shí)時(shí)判斷機(jī)器人和球的相對(duì)位置，然后根據(jù)識(shí)別算法提供的位置信息，對(duì)機(jī)器人進(jìn)行路徑規(guī)劃，使機(jī)器人以最優(yōu)的路徑完成撿球任務(wù)。本發(fā)明可以控制機(jī)器人在多球環(huán)境下完成撿球任務(wù)，處理速度快，適應(yīng)多種體育場(chǎng)環(huán)境。
文檔編號(hào)B25J9/16GK101537618SQ20081018813
公開(kāi)日2009年9月23日 申請(qǐng)日期2008年12月19日 優(yōu)先權(quán)日2008年12月19日
發(fā)明者元 付, 付夢(mèng)印, 劉明陽(yáng), 昊 朱, 毅 楊, 熊之濤, 王在華, 誠(chéng) 趙, 雷金周 申請(qǐng)人:北京理工大學(xué)