本發(fā)明屬于無人機技術(shù)領(lǐng)域,尤其涉及一種運動平臺上無人機自主精確著陸系統(tǒng)及著陸方法。
背景技術(shù):
如今小型旋翼無人機越來越廣泛地用于各種軍用、民用行業(yè),如植保、電力巡檢、航拍、災后救援,通常的使用方法是用小汽車攜帶旋翼無人機到任務區(qū)域,人工控制旋翼無人機起飛,執(zhí)行任務,最后降落到地面。在降落時通常需要很大一塊空地,由于旋翼無人機自身定位精度較差,降落花費時間長,控制效果差,容易發(fā)生意外。如果能實現(xiàn)旋翼無人機自主精確降落在車頂,就能節(jié)省很多時間,也能降低對降落地點的要求。旋翼無人機上現(xiàn)有的傳感器主要依靠GPS定位,只能實現(xiàn)米級精度的降落,采用差分GPS技術(shù)會大幅增加硬件成本??紤]到現(xiàn)有的旋翼無人機一般都會搭載云臺相機,可充分利用這個云臺相機,只需要再增加一臺嵌入式計算機即可實現(xiàn)視覺輔助降落,具有成本低,精度高的優(yōu)點。
用于旋翼無人機的單目視覺輔助著陸的相關(guān)研究已經(jīng)有很多,但現(xiàn)有技術(shù)無法實現(xiàn)在運動平臺上自主精確著陸,主要有以下幾個原因:
1、受圖標尺寸限制,無人機在低處容易超出相機視野范圍,在高處又看不清。
現(xiàn)有的解決尺寸限制問題的方案是增加嵌套圖標,但現(xiàn)有的嵌套圖標都是由形狀完全相同的不同大小的圖案同心嵌套而成。由于完全相同,識別的時候計算機無法判斷自己識別到的是大圖標還是小圖標,因此無法算出準確的位置信息,只能得到圖標與畫面中心的像素偏差(例如x軸偏100像素,y軸偏150像素),使無人機的控制精度大幅降低,一般只適用于靜止平臺的降落,在運動平臺上僅靠像素偏差無法滿足精確著陸的要求。在運動平臺降落實驗中同心嵌套的圖標還曝露出一個嚴重的問題:圖標的可識別范圍是以圖標中心為頂點,向上逐漸擴大的錐體,如圖3所示,飛行高度越低(或相機與圖標的距離越小),水平方向可識別的范圍就越小。運動平臺著陸時車速不穩(wěn)定,當無人機下降到很低的位置時,一旦車速發(fā)生變化,無人機很容易脫離可識別范圍,導致降落失敗。
2、現(xiàn)有的圖像識別算法無法處理傾斜的相機拍攝到的圖標?,F(xiàn)有的視覺定位所用的圖標多是基于形狀的,比如矩形、圓形、三角形,這種圖標的識別方法是分析圖標的輪廓,如果輪廓與預先設置的形狀一致,則認為識別成功,如果相機傾斜,由于透視效應,拍攝到的圖標不再是標準的形狀,則無法識別。因此即使加上云臺,當拍攝角度較大時也無法正常識別和定位,無法利用云臺來擴大識別范圍。
3、現(xiàn)有的圖標由于形狀過于簡單且僅僅通過形狀輪廓來判斷,沒有考慮對圖標整個表面的識別,判斷條件不夠嚴謹,容易出現(xiàn)把地面上的其他物體誤識別為圖標的情況。
4、現(xiàn)有的視覺輔助降落多采用與旋翼無人機固連的豎直向下的相機,這種方式視野范圍較小且受旋翼無人機姿態(tài)影響。當無人機飛行速度較快時相機始終處在傾斜狀態(tài),使圖標無法進入相機視野。
技術(shù)實現(xiàn)要素:
為解決上述問題,本發(fā)明提供一種運動平臺上無人機自主精確著陸系統(tǒng)及著陸方法。采用云臺相機去識別由相互重疊、尺寸不同、圖案不同且分布不對稱的二維碼組成的多層嵌套標識,提供一種精度高、可靠性好、成本低的視覺輔助旋翼無人機自主著陸系統(tǒng)。
一種運動平臺上無人機自主精確著陸系統(tǒng),包括旋翼無人機1、機載云臺相機2、機載計算機3、機載起落架磁性器件4、車載鐵質(zhì)降落坪6以及多層嵌套標識7;
所述機載云臺相機2安裝在旋翼無人機1的下方,包括相機和云臺;
所述云臺被電機驅(qū)動旋轉(zhuǎn)到任意給定角度;
所述機載計算機3安裝在旋翼無人機1上,根據(jù)機載云臺相機2拍攝的包含多層嵌套標識7的畫面,向旋翼無人機1發(fā)送控制指令并引導旋翼無人機1著陸;同時機載計算機3控制云臺的轉(zhuǎn)動,并與旋翼無人機1的飛行控制器通信,接收旋翼無人機1的位置和速度;
所述機載起落架磁性器件4安裝在旋翼無人機1起落架的下端;
所述車載鐵質(zhì)降落坪6固定在機動車5的頂部;
所述多層嵌套標識7附著在車載鐵質(zhì)降落坪6上;其中多層嵌套標識7為由相互重疊、尺寸不同、圖案不同且分布不對稱的二維碼組成;
其中小尺寸二維碼覆蓋在大尺寸二維碼上;且大尺寸二維碼上沿機動車5的前進方向覆蓋多個小尺寸二維碼,其中尺寸最大的二維碼只有一個。
一種運動平臺上無人機自主精確著陸系統(tǒng),所述二維碼均為正方形,且正方形包括N行×N列的小正方形,其中N的取值至少為5,與機載云臺相機2的分辨率有關(guān);
所述二維碼只包含黑白兩種顏色;位于正方形邊緣的小正方形全為黑色,內(nèi)部的小正方形不全為黑色,且白色小正方形和黑色小正方形分布不對稱;小尺寸二維碼覆蓋在大尺寸二維碼的黑色小正方形上。
一種運動平臺上無人機自主精確著陸系統(tǒng),除尺寸最大的二維碼外,其他尺寸二維碼的四邊均設置有白邊,且白邊的寬度與相機分辨率有關(guān),相機分辨率越高,所述白邊越窄。
一種基于運動平臺上無人機自主精確著陸系統(tǒng)的著落方法,包括以下步驟:
步驟1:標定機載云臺相機2,得到內(nèi)參數(shù)和畸變參數(shù);并記錄所有二維碼的大小以及各個二維碼相對多層嵌套標識7中心的位置坐標;同時分別采用N×N二維矩陣A=[aij]N×N表征各個二維碼,其中aij為二維矩陣A的第i行第j列的元素,與各個二維碼第i行第j列的小正方形對應,得到表征所有二維碼的二維矩陣集合∪A;其中黑色小正方形對應的矩陣元素值為0,白色小正方形對應的矩陣元素值為1;
步驟2:機載計算機3控制機載云臺相機2轉(zhuǎn)動,并識別來自機載云臺相機2拍攝的圖像,判斷是否找到二維碼;具體識別步驟如下:
步驟21:將機載云臺相機2讀取到的畫面依次進行灰度化、二值化和降噪處理,得到0/1二值圖,其中0代表黑色像素,1代表白色像素;
步驟22:利用邊界跟蹤算法從0/1二值圖中提取畫面所拍攝到的所有物體的輪廓,選取凸四邊形輪廓,得到物體對應的凸四邊形圖像;
步驟23:通過仿射變換,將所述凸四邊形圖像變?yōu)檎叫螆D像;
步驟24:將正方形圖像等分為N行N列的小正方形,計算每個小正方形中1的個數(shù);其中,如果小正方形中1的個數(shù)超過像素總數(shù)的一半,則判定該小正方形為白色,否則為黑色;
步驟25:采用N×N二維矩陣B=[bij]N×N表征步驟23中的正方形圖像,其中bij為二維矩陣B第i行第j列的元素,與第i行第j列小正方形對應;其中,如果小正方形為黑色,則其對應二維矩陣的元素值為0;如果小正方形為白色,則其對應二維矩陣的元素值為1;
步驟26:將正方形圖像對應的二維矩陣B與二維碼對應的集合∪A中的二維矩陣進行對比;其中:
如果二維矩陣B與集合∪A中的任意二維矩陣A完全相同,則機載云臺相機2成功識別多層嵌套標識7中的二維碼,并進入步驟3;
如果二維矩陣B與二維矩陣A不相同,則重復步驟21-25;
步驟3:利用機載云臺相機2的內(nèi)參數(shù)和畸變參數(shù)、各個二維碼相對多層嵌套標識7中心的位置坐標、二維碼在機載云臺相機2所拍攝畫面上的像素坐標以及機載云臺相機2相對于旋翼無人機1的姿態(tài)角,通過梯度法尋優(yōu)計算機載云臺相機2相對于多層嵌套標識7的位置和姿態(tài)角;其中,機載云臺相機2相對于旋翼無人機1的姿態(tài)角為云臺被電機驅(qū)動旋轉(zhuǎn)的角度;
步驟4:機載計算機3根據(jù)機載云臺相機2拍攝的畫面和機載云臺相機2相對于多層嵌套標識7的位置和姿態(tài)角,計算旋翼無人機1當前相對于多層嵌套標識7的姿態(tài)角和位置信息,從而生成控制指令控制旋翼無人機1縮小相對于多層嵌套標識7中心位置的偏差,沿水平方向與多層嵌套標識7中心位置對齊,再沿豎直方向降低高度;
步驟5:當旋翼無人機1接近車載鐵質(zhì)降落坪6時,機載起落架磁性器件4與車載鐵質(zhì)降落坪6互相吸引,使旋翼無人機1穩(wěn)定落在車載鐵質(zhì)降落坪6上,完成著落。
一種運動平臺上無人機自主精確著陸系統(tǒng)的著落方法,所述步驟26中如果識別到多個二維碼,則優(yōu)先使用尺寸最大的二維碼;如果識別的二維碼都是同樣大小的二維碼,則優(yōu)先使用靠近多層嵌套標識7中心的二維碼。
一種運動平臺上無人機自主精確著陸系統(tǒng)的著落方法,所述步驟4中機載計算機3生成控制指令控制旋翼無人機1的過程中,如果機動車5車速突然變化,機載計算機3將發(fā)送控制指令以控制云臺轉(zhuǎn)動,使離相機最近的二維碼始終處于機載云臺相機2的視野中心。
一種運動平臺上無人機自主精確著陸系統(tǒng),所述多層嵌套標識7表面材質(zhì)粗糙。
一種運動平臺上無人機自主精確著陸系統(tǒng),所述機載計算機3為高性能Arm架構(gòu)或x86架構(gòu)計算模塊,通過串口與旋翼無人機1的飛行控制器通信,通過USB接口或?qū)S靡曨l輸入口讀取相機畫面;機載計算機3接收來自機載云臺相機2記錄的畫面和姿態(tài)角,旋翼無人機1的位置、速度和姿態(tài)角,并向旋翼無人機1發(fā)送控制指令。
一種運動平臺上無人機自主精確著陸系統(tǒng),所述機載起落架磁性器件4為釹鐵硼磁鐵。
有益效果:
1、本發(fā)明使用相互重疊、尺寸不同且分布不對稱的二維碼組成多層嵌套標識,利用旋翼無人機搭載的云臺相機,提供一種精度高、可靠性好、成本低的視覺輔助旋翼無人機自主著陸系統(tǒng),特別適用于在運動機動車頂端的著陸。圖標設計上把小尺寸二維碼覆蓋在大尺寸二維碼上,將同心嵌套改為分布不對稱的混合式嵌套,與同心嵌套的圖標相比,本設計顯著增加水平方向的可識別范圍,如附圖3所示。無人機飛行高度很低時,由于大尺寸二維碼上沿機動車的前進方向覆蓋多個小尺寸二維碼,即使車速突然變化,無人機也能從一個小尺寸二維碼切換到另一個小尺寸二維碼,減小脫離多層嵌套識別范圍的可能性。
2、本發(fā)明通過為每個小圖標設置不同的二維碼,并且分別采用不同的二維矩陣表征各個二維碼,使得計算機可以區(qū)分每個圖標,在姿態(tài)解算時可以得到全部姿態(tài)角和實際偏差,而不僅僅是像素偏差。
3、本發(fā)明對二維碼進行識別,不是靠圖形輪廓來判斷,而是分析了輪廓內(nèi)部的所有像素,降低了把其他物體誤識別為圖標的概率,不依賴形狀輪廓使得相機無需保持豎直向下,從任意角度拍到圖標均可識別,增大了識別角度的同時保證了識別的精度。并可根據(jù)預先設計好的小二維碼在大二維碼上的相對位置計算出無人機相對于多層嵌套標識中心的實際偏差,為混合式嵌套的實現(xiàn)提供了基礎(chǔ)。
4、本發(fā)明把與無人機固連的傳統(tǒng)的單目相機升級為云臺相機,增大了畫面拍攝范圍,且畫面穩(wěn)定,不易受飛機姿態(tài)影響;同時通過對云臺的控制使得相機能更好地鎖定圖標,減少脫離識別范圍的可能性。
5、本發(fā)明采用的多層嵌套標識表面材質(zhì)粗糙,既能有效減少反光,又能在旋翼無人機著陸后提供較大的摩擦力。
附圖說明
圖1為本發(fā)明的一種運動平臺上無人機自主精確著陸系統(tǒng)示意圖;
圖2為本發(fā)明的多層嵌套標識具體實現(xiàn)形式;
圖3為本發(fā)明的機載云臺相機在識別范圍上與現(xiàn)有技術(shù)的對比示意圖;
圖4為本發(fā)明識別多層嵌套標識中二維碼的流程圖;
1-旋翼無人機,2-機載云臺相機,3-機載計算機,4-機載起落架磁性器件,5-機動車,6-車載鐵質(zhì)降落坪,7-多層嵌套標識。
具體實施方式
下面結(jié)合附圖和實施例對本發(fā)明進行詳細的描述。
本發(fā)明設計一種特別設計的多層嵌套二維碼標識,利用旋翼無人機現(xiàn)有的云臺相機,提供一種精度高、可靠性好、成本低的視覺輔助旋翼無人機自主著陸系統(tǒng),特別適用于在運動車輛頂端的著陸。其系統(tǒng)組成如圖1所示,包括旋翼無人機1、機載云臺相機2、機載計算機3、機載起落架磁性器件4、車載鐵質(zhì)降落坪6以及多層嵌套標識7;
所述旋翼無人機1指一套完整的無人機系統(tǒng),包括無人機、遙控器(或地面站),無人機由機架、螺旋槳電機、電調(diào)、傳感器、飛行控制器;其中傳感器包括加速度計、陀螺儀、磁羅盤、GPS、氣壓計;
所述機載云臺相機2安裝在旋翼無人機1的下方,包括相機和云臺;
所述云臺被電機驅(qū)動旋轉(zhuǎn)到任意給定角度,并記錄相機當前相對于旋翼無人機1的姿態(tài)角或記錄相機在地面坐標系下的姿態(tài)角;云臺既可以保證相機畫面穩(wěn)定不受無人機運動的影響,又使相機可以從更大的角度拍攝到多層嵌套標識7;云臺按照機載計算機3的命令轉(zhuǎn)動,并把相機畫面直接傳輸?shù)綑C載計算機3,同時將相機姿態(tài)角直接傳輸?shù)綑C載計算機3或通過飛行控制器間接傳輸?shù)綑C載計算機3。
所述機載計算機3安裝在旋翼無人機1的上方;機載計算機3與旋翼無人機1的飛行控制器通信,接收來自機載云臺相機2拍攝的畫面和姿態(tài)角、來自旋翼無人機1的的位置、速度和姿態(tài)角,并向旋翼無人機1發(fā)送控制指令;
所述機載計算機3為高性能Arm架構(gòu)或x86架構(gòu)計算模塊,通過串口與旋翼無人機1的飛行控制器通信,通過USB接口或?qū)S靡曨l輸入口讀取相機畫面;
所述機載起落架磁性器件4安裝在旋翼無人機1起落架的下端;所述機載起落架磁性器件4為小型釹鐵硼磁鐵,具有重量輕,磁性強的優(yōu)點;
所述車載鐵質(zhì)降落坪6固定在機動車5的頂部;其中機載起落架磁性器件4對車載鐵質(zhì)降落坪6有吸引作用;
所述多層嵌套標識7附著在車載鐵質(zhì)降落坪6上;其中多層嵌套標識7為由相互重疊的二維碼組成。其中多層嵌套標識7為印有二維碼的粗糙布料,粗糙布料既能有效減少反光,又能在旋翼無人機著陸后提供較大的摩擦力。
所述多層嵌套標識7由相互重疊、尺寸不同、圖案不同的二維碼組成,其中尺寸最大的二維碼只有一個;
所述二維碼均為正方形,且正方形按行列等分成5行5列的小正方形;
所述二維碼只包含黑白兩種顏色,并以黑色為主;位于正方形邊緣的小正方形為黑色,內(nèi)部的小正方形不全為黑色,且白色小正方形和黑色小正方形分布不對稱,保證整個圖案不對稱;小二維碼覆蓋在大二維碼的黑色小正方形上;分別采用5×5二維矩陣A=[aij]5×5表征各個二維碼,其中aij為二維矩陣A第i行第j列個元素,與各個二維碼第i行第j列小正方形對應,得到表征所有二維碼的二維矩陣集合∪A;其中黑色小正方形對應的矩陣元素值為0,白色小正方形對應的矩陣元素值為1;
如圖2所示,大二維碼邊長為100厘米,中二維碼邊長為20厘米,小二維碼邊長為8厘米。所述小二維碼與大二維碼鄰接的四邊設置有白邊,白邊的寬度與相機分辨率有關(guān),相機分辨率越高,所述白邊越窄;圖2中小二維碼的四周白邊寬度為1厘米。同時由于相機的感光元件過于靈敏,導致黑白邊界處失真,因此小二維碼的白色部分可用灰色代替。旋翼無人機1飛行高度越低,相機水平方向能識別二維碼的范圍就越小,而汽車和無人機不可能總是勻速運動,出現(xiàn)速度差不可避免,因此降落過程中沿汽車前進的方向旋翼無人機1極易脫離識別范圍,為了解決這個問題,在大二維碼上沿汽車前進方向覆蓋5個小二維碼。
一種運動平臺無人機自主精確著陸系統(tǒng)的著落方法,包括以下步驟:
步驟1:旋翼無人機1飛行前用張正友法標定機載云臺相機2,得到內(nèi)參數(shù)和畸變參數(shù);并對所有二維碼進行編號,以便在識別時加以區(qū)分,記錄所有二維碼的大小和各個二維碼相對多層嵌套標識7中心的位置坐標;
所述張正友法為針對攝像機徑向畸變問題,提出的求解攝像機內(nèi)外參數(shù)的方法,同一個相機只需要標定一次。該方法模板制作容易,使用方便,成本低,魯棒性好,準確率高,具有廣泛的應用。
步驟2:旋翼無人機1的任務結(jié)束后,利用旋翼無人機1現(xiàn)有的返航和跟隨系統(tǒng),使旋翼無人機1跟隨機動車5飛行,此時由于GPS精度限制,跟隨的精度大約為2米左右;同時機載計算機3控制機載云臺相機2繞俯仰軸在下半圓勻速轉(zhuǎn)動,并對來自云臺相機的圖像進行識別,判斷是否找到二維碼;如圖4所示,為本發(fā)明識別多層嵌套標識中二維碼的流程圖,其中具體識別步驟如下:
步驟21:RGB彩色圖像預處理,將機載云臺相機2讀取到的畫面進行灰度化、二值化、降噪處理,得到0/1二值圖,其中0代表黑色像素,1代表白色像素;
步驟22:由于正方形從不同角度拍攝時,在相機畫面中的形狀不同,但都屬于凸四邊形;因此利用邊界跟蹤算法從0/二值圖中提取畫面所拍攝到的所有物體的輪廓,選取凸四邊形輪廓,得到物體對應的凸四邊形圖像;所述凸四邊形圖像即為二維碼的外邊界;
所述邊界跟蹤算法是輪廓搜索的常用方法,其基本思想是由一個邊緣點出發(fā),依次搜索并連接相鄰邊緣點從而逐步檢測出邊界;
步驟23:通過仿射變換,將所述凸四邊形圖像變?yōu)檎叫螆D像;
步驟24:將正方形圖像等分為5行5列的小正方形,計算每個小正方形中1的個數(shù);其中,如果小正方形中1的個數(shù)超過像素總數(shù)的一半,則判定該小正方形為白色,否則為黑色;
步驟25:采用5×5二維矩陣B=[bij]5×5表征步驟23中的正方形圖像,其中bij為二維矩陣B第i行第j列個元素,與第i行第j列小正方形對應;其中,如果小正方形為白色,則其對應二維矩陣的元素值為1;如果小正方形為黑色,則其對應二維矩陣的元素值為0;
步驟26:將正方形圖像對應的二維矩陣B與二維碼對應的集合∪A中的二維矩陣進行對比;其中:
如果二維矩陣B與集合∪A中的任意二維矩陣A完全相同,則機載云臺相機2成功識別多層嵌套標識7中的二維碼,并進入步驟3;其中如果識別到多個二維碼,則優(yōu)先使用尺寸最大大二維碼;如果識別的二維碼都是同樣大小的二維碼,則優(yōu)先使用靠近多層嵌套標識7中心的二維碼;如圖3所示為本發(fā)明的機載云臺相機2在識別范圍上與現(xiàn)有技術(shù)的對比示意圖;
如果二維矩陣B與二維矩陣A不相同,則重復步驟21-25;
步驟3:利用機載云臺相機2的內(nèi)參數(shù)和畸變參數(shù)、已知的多層嵌套標識7中二維碼大小和位置、二維碼在機載云臺相機2拍攝畫面上的像素坐標以及機載云臺相機2相對于旋翼無人機1的姿態(tài)角,通過梯度法尋優(yōu)計算機載云臺相機2相對于多層嵌套標識7的位置和姿態(tài)角;
所述梯度法為數(shù)值計算求取最優(yōu)解的常用方法;
步驟4:機載計算機3根據(jù)機載云臺相機2拍攝的畫面和機載云臺相機2相對于多層嵌套標識7的位置和姿態(tài)角,計算旋翼無人機1當前相對于多層嵌套標識7的姿態(tài)角和位置信息,從而生成控制指令控制旋翼無人機1縮小相對于多層嵌套標識7中心位置的偏差,并逐漸下降;
其中下降過程分為高處和低處兩個階段,當旋翼無人機1起落架下端距離車載鐵質(zhì)降落坪6超過30厘米時,旋翼無人機1沿水平方向?qū)R多層嵌套標識7,向多層嵌套標識7中心靠近;當旋翼無人機1與多層嵌套標識7的中心在水平方向上的偏差小于10厘米時,旋翼無人機1開始沿豎直方向緩慢下降;當旋翼無人機1起落架下端距離車載鐵質(zhì)降落坪6小于30厘米時,機載計算機3鎖定機載云臺相機2豎直向下,旋翼無人機1豎直方向快速下降;此時如果仍然能識別到二維碼,則旋翼無人機1在水平方向繼續(xù)對齊二維碼,進一步提高降落精度。
如果機動車5車速突然變化,多層嵌套標識7上的所有二維碼將靠近機載云臺相機2畫面邊緣,使機載云臺相機2無法識別二維碼;此時機載計算機3將發(fā)送控制指令以控制云臺轉(zhuǎn)動,使離相機最近的二維碼始終處于機載云臺相機2的視野中心,提高跟隨的可靠性;
步驟5:當旋翼無人機1接近車載鐵質(zhì)降落坪6時,機載起落架磁性器件4與車載鐵質(zhì)降落坪6互相吸引,使旋翼無人機1穩(wěn)定落在車載鐵質(zhì)降落坪6上,完成著陸。
當然,本發(fā)明還可有其他多種實施例,在不背離本發(fā)明精神及其實質(zhì)的情況下,熟悉本領(lǐng)域的技術(shù)人員當可根據(jù)本發(fā)明作出各種相應的改變和變形,但這些相應的改變和變形都應屬于本發(fā)明所附的權(quán)利要求的保護范圍。