本發(fā)明涉及圖像定位技術領域,具體涉及一種建圖方法及機器人的圖像定位方法、裝置。
背景技術:
圖像定位是指根據物體在圖像中的圖像坐標計算出其在真實環(huán)境中的現(xiàn)實坐標,以滿足定位導航的要求。通常,圖像定位過程主要包括三部分:一、建圖,即確定圖像坐標與現(xiàn)實坐標的對應關系;二、檢測物體的圖像坐標;三、根據物體的圖像坐標,結合圖像坐標與現(xiàn)實坐標的對應關系計算出物體的現(xiàn)實坐標。
現(xiàn)有技術中的建圖過程包括:首先在真實環(huán)境中建立現(xiàn)實坐標系,然后將現(xiàn)實坐標系成比例縮小,形成圖像坐標系。然而,由于攝像頭拍攝圖像的畸變,物體在某一時刻的圖像坐標所對應的現(xiàn)實坐標,與物體在該時刻真實的現(xiàn)實坐標之間會產生偏差,這樣就會導致定位出現(xiàn)偏差。
技術實現(xiàn)要素:
有鑒于此,本發(fā)明實施例提供了一種建圖方法及機器人的圖像定位方法、裝置,以解決圖像定位過程中,由于攝像頭拍攝圖像的畸變導致圖像坐標和現(xiàn)實坐標存在匹配偏差的問題。
本發(fā)明提供了一種建圖方法,包括:根據固定攝像頭拍攝的視頻圖像的畸變規(guī)律建立現(xiàn)實坐標系;采用現(xiàn)實坐標系標定法建立圖像坐標系。
在一個實施例中,視頻圖像呈現(xiàn)同心圓畸變,現(xiàn)實坐標系為同心圓坐標系。
在一個實施例中,同心圓坐標系包括等距同心圓坐標線。
在一個實施例中,視頻圖像呈現(xiàn)桶形畸變,現(xiàn)實坐標系為柵格坐標系。
在一個實施例中,柵格坐標系包括x軸和y軸上的等間隔直線坐標線。
在一個實施例中,采用現(xiàn)實坐標系標定法建立圖像坐標系包括:采集固定攝像頭拍攝的包含現(xiàn)實坐標系的一幀圖像;對包含現(xiàn)實坐標系的一幀圖像中的現(xiàn)實坐標系進行描點,得到圖像坐標系。
本發(fā)明還提供了一種機器人的圖像定位方法,機器人上固設頻閃標識,該機器人的圖像定位方法包括:預存根據上述建圖方法得到的圖像坐標系;采集固定攝像頭拍攝的視頻圖像;利用頻閃三幀差分法檢測機器人在視頻圖像中的位置;對包含機器人的位置的圖像使用圖像坐標系,并對其進行掃描,根據掃描結果計算機器人的現(xiàn)實坐標。
在一個實施例中,頻閃標識包括能夠發(fā)出閃爍的可見光的標識物。
在一個實施例中,頻閃標識在相鄰幀圖像中亮、暗交替出現(xiàn)。
在一個實施例中,頻閃標識為頻閃led燈。
本發(fā)明又提供了一種機器人的圖像定位裝置,機器人上固設頻閃標識,機器人的定位裝置包括:存儲模塊,用于預存根據上述建圖方法得到的圖像坐標系;采集模塊,用于采集固定攝像頭拍攝的視頻圖像;檢測模塊,用于利用頻閃三幀差分法檢測機器人在視頻圖像中的位置;計算模塊,用于對包含機器人的位置的圖像使用圖像坐標系,并對其進行掃描,根據掃描結果計算機器人的現(xiàn)實坐標。
在一個實施例中,頻閃標識包括能夠發(fā)出閃爍的可見光的標識物。
在一個實施例中,頻閃標識在相鄰幀圖像中亮、暗交替出現(xiàn)。
在一個實施例中,頻閃標識為頻閃led燈。
根據本發(fā)明提供的建圖方法及機器人的圖像定位方法、裝置,通過建立符合固定攝像頭的畸變規(guī)律的現(xiàn)實坐標系,結合現(xiàn)實坐標系標定法得到的圖像坐標系,可以削弱由于攝像頭拍攝圖像的畸變造成的位置誤差,保證了后續(xù)定位過程的精確度。
附圖說明
圖1所示為本發(fā)明提供的建圖方法的流程圖。
圖2a所示為本發(fā)明一實施例提供的現(xiàn)實坐標系。
圖2b所示為本發(fā)明一實施例提供的與圖2a所示現(xiàn)實坐標系對應的圖像坐標系。
圖2c所示為本發(fā)明一實施例提供的機器人在如圖2b所示的圖像坐標系中的位置示意圖。
圖3a所示為本發(fā)明另一實施例提供的現(xiàn)實坐標系。
圖3b所示為本發(fā)明一實施例提供的與圖3a所示現(xiàn)實坐標系對應的圖像坐標系。
圖3c所示為本發(fā)明一實施例提供的機器人在如圖3b所示的圖像坐標系中的位置示意圖。
圖4所示為本發(fā)明一實施例提供的機器人的圖像定位方法的流程圖。
圖5所示為本發(fā)明一實施例提供的機器人的圖像定位裝置的結構框圖。
具體實施方式
下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
本發(fā)明提供了一種建圖方法,用于圖像定位過程。圖1所示為本發(fā)明提供的圖像定位方法中建圖過程的流程圖。從圖中可以看出,該建圖過程100包括:
步驟s101,根據固定攝像頭拍攝的視頻圖像的畸變規(guī)律建立現(xiàn)實坐標系。這里所說的固定攝像頭可以是標準鏡頭(視角45°-55°)、廣角鏡頭(視角70°)、超廣角鏡頭(視角90°)、魚眼鏡頭(視角180°)中的任一項,本發(fā)明對攝像頭的種類不作限定。
通常,固定攝像頭拍攝的視頻圖像的畸變規(guī)律可以根據攝像頭的安裝角度分成兩類:
第一類,當固定攝像頭的主光軸垂直向下時,其拍攝的圖像呈現(xiàn)同心圓畸變,即,以固定攝像頭在圖像中的位置為圓心,位于一個同心圓上的各個坐標點的畸變效果相同。這種情況下,可以建立同心圓型現(xiàn)實坐標系。
參閱圖2a,該同心圓型現(xiàn)實坐標系具體地可以是以固定攝像頭在地面上的投影作為坐標原點,任意選擇兩條同時穿過坐標原點并相互垂直的直線作為x軸和y軸,以坐標原點為圓心,等間隔繪制一條同心圓坐標線。
第二類,當固定攝像頭的主光軸傾斜向下時,其拍攝的視頻圖像呈現(xiàn)桶形畸變,即,在圖像上被主光軸的投影垂直平分的線段的兩個端點的畸變效果相同。這種情況下,可以建立柵格型現(xiàn)實坐標系。
參閱圖3a,該柵格型現(xiàn)實坐標系具體地可以是以固定攝像頭在地面上的投影作為坐標原點,以固定攝像頭主光軸的投影為y軸,則x軸為穿過坐標原點并且與y軸垂直的一條確定直線,分別在x軸和y軸上等間隔繪制一條直線坐標線。
步驟s102,采用現(xiàn)實坐標系標定法建立圖像坐標系?,F(xiàn)實坐標系標定法是指用現(xiàn)實坐標系標定圖像坐標系,即根據現(xiàn)實坐標系在圖像中的映射建立圖像坐標系。
現(xiàn)實坐標系標定法的實現(xiàn)過程,例如可以是,采集固定攝像頭拍攝的包含現(xiàn)實坐標系的一幀圖像;對該幀圖像中的現(xiàn)實坐標系進行描點形成圖像坐標系。該描點的過程可以采用matlab實現(xiàn)。
如此,根據圖2a所示的現(xiàn)實坐標系就可以得到如圖2b所示的圖像坐標系,相應地,根據圖3a所示的現(xiàn)實坐標系就可以得到如圖3b所示的圖像坐標系。
根據本發(fā)明提供的圖像定位過程中的建圖方法,通過建立符合固定攝像頭的畸變規(guī)律的現(xiàn)實坐標系,結合現(xiàn)實坐標系標定法得到的圖像坐標系,可以削弱由于圖像畸變造成的位置誤差,保證了后續(xù)定位過程的精確度。
本發(fā)明還提供了一種機器人的圖像定位方法,該方法所采用的圖像坐標系是根據圖1所示的建圖方法得到的。該方法的流程圖如圖4所示。
采用該方法對機器人進行定位之前,應當使固定攝像頭的拍攝范圍覆蓋機器人的運行平面,同時要在機器人上固設頻閃標識。該頻閃標識是指能夠發(fā)出閃爍的可見光的標識物,例如頻閃led燈。對于頻閃標識的位置,優(yōu)選地,可以設置在機器人的頂部,使得無論機器人與固定攝像頭的相對位置如何(正對、背對或斜對),固定攝像頭都可以拍攝到該頻閃標識。
從圖4可以看出,該機器人的圖像定位方法400包括:
步驟s401,預存根據圖1所示的建圖方法得到的圖像坐標系。
步驟s402,采集固定攝像頭拍攝的視頻圖像。
步驟s403,利用頻閃三幀差分法檢測機器人在視頻圖像中的位置。
頻閃三幀差分法是指利用傳統(tǒng)的三幀差分法結合頻閃標識對機器人的位置進行檢測的方法。之所以需要設置頻閃標識是因為,傳統(tǒng)三幀差分法的計算原理是,將相鄰兩幀圖像做差,則,該相鄰兩幀圖像中內容相同的像素點相減之后為暗區(qū),內容不同的像素點相減之后為亮區(qū),這樣就可以得到內容不同的像素點在圖像中的位置。而在進行機器人位置檢測的時候,需要保證機器人在這三幀圖像中沒有發(fā)生位置移動,即機器人所在像素點相減之后為暗區(qū),此時便無法檢測出機器人的位置,這樣就需要利用機器人上的頻閃標識制造差別,理想情況是頻閃標識在相鄰幀圖像中亮、暗交替出現(xiàn),從而利用頻閃標識的位置來標識機器人的位置。
頻閃三幀差分法的計算過程包括:(1)分別采集t0、t1、t2時刻監(jiān)控攝像頭拍攝的圖像a、b、c;(2)分別對每兩幀相鄰圖像作差分,即,deltaba=b–a,deltacb=c–b;然后,對deltaba和deltacb做且操作,即,resultabc=deltaba|deltacb,當resultabc=1時所對應的亮區(qū)在圖像中的位置即為led燈在圖像中的位置,resultabc=1對應的圖像即為機器人的當前位置圖像,這是因為,當deltaba和deltacb出現(xiàn)高亮的位置相同時,說明led燈沒有發(fā)生移動,此時,對其位置的計算結果才是準確的。
本領域技術人員可以理解,在實際應用過程中,為了進一步提高計算精度,可以在頻閃三幀差分法的基礎上進一步加入統(tǒng)計學原理,例如統(tǒng)計8次三幀差分結果,具體地,分別對a、b、c,b、c、d,......h、i、j,這8組三幀圖像進行差分計算,統(tǒng)計8組差分結果中出現(xiàn)高亮區(qū)域次數(shù)最多的即為感興趣區(qū)域,即機器人所在位置。當然也可以設置一個閾值,當出現(xiàn)高亮區(qū)域的次數(shù)超過該閾值,則表示其為感興趣區(qū)域。加入統(tǒng)計算法還有一個好處是,可以通過統(tǒng)計過濾掉其他運動物體的干擾,從而準確檢測出機器人的位置。
步驟s404,對包含機器人的位置的圖像使用圖像坐標系,并對其進行掃描,根據掃描結果計算機器人的現(xiàn)實坐標。
下面通過兩個具體實施例,對步驟s404的具體執(zhí)行過程進行說明。
例1、預存的圖像坐標系如圖2b所示,其對應的現(xiàn)實坐標系中同心圓坐標線的間距d=1米。對包含機器人的位置的圖像使用圖像坐標系得到如圖2c所示圖像,其中a點表示機器人的位置。則,步驟s404的執(zhí)行過程包括:通過掃描得到機器人所在位置與圖像坐標系中的x軸之間的夾角,即航向角θ,例如為30°,該圖像坐標系中的航向角也即機器人在現(xiàn)實坐標系中的航向角。
以像素點為單位,從圖像坐標系的原點向機器人的方向進行掃描,統(tǒng)計掃描過程中經過的同心圓坐標線的數(shù)量和經過的像素點的數(shù)量。當掃描到機器人所在位置的像素點時,記錄此時統(tǒng)計得到的同心圓坐標線的數(shù)量n,例如為5,并計算第5條同心圓坐標線到機器人所在位置所經過的像素點的數(shù)量q,例如為15。當統(tǒng)計得到的同心圓坐標線的數(shù)量為6時,計算第5條同心圓坐標線和第6條同心圓坐標線之間經過的像素點的總數(shù)m,例如為30。則此時機器人在現(xiàn)實坐標系中的位置到坐標原點的距離為(n×d+(d/m)×q),即5×1+(1/30)×15=5.5米。
這樣,就可以得到機器人在現(xiàn)實坐標系中的坐標(5.5×cos30°,5.5×sin30°)。
例2、預存的圖像坐標系如圖3b所示,其對應的現(xiàn)實坐標系中柵格坐標線的間距d=1米。對包含機器人的位置的圖像使用圖像坐標系得到如圖3c所示圖像,其中b點表示機器人的位置。則,步驟s404的執(zhí)行過程包括:以像素點為單位,從圖像坐標系的原點向機器人的方向逐行掃描,統(tǒng)計掃描過程中經過的柵格線交點的數(shù)量和經過的像素點的數(shù)量。當掃描到機器人所在位置的像素點時,例如為第1000行(即像素行),記錄此時統(tǒng)計得到的柵格線交點的數(shù)量nx,例如為3,計算第3個柵格線交點到第1000行經過的像素點的數(shù)量qx,例如為50。當統(tǒng)計得到的柵格線交點的數(shù)量為4時,計算第3個柵格線交點和第3個柵格線交點之間經過的像素點的總數(shù)mx,例如為100。則此時機器人在現(xiàn)實坐標系中的x軸坐標為(nx×d+(d/mx)×qx),即3×1+(1/100)×50=3.5米。
按照相同的計算過程可以得到機器人在現(xiàn)實坐標系中的y軸坐標(ny×d+(d/my)×qy),其中,ny為y軸方向上從所述圖像坐標系的原點到所述機器人所經過的柵格線交點的數(shù)量;qy為從第ny個柵格線交點到所述機器人所經過的像素點的數(shù)量;my為從第ny個柵格線交點掃描到第(ny+1)個柵格線交點所經過的總的像素點的數(shù)量。
這樣,就可以得到機器人在現(xiàn)實坐標系中的位置。
根據本發(fā)明提供的機器人的圖像定位方法,可以利用普通攝像頭實現(xiàn)機器人的準確定位。
圖5所示為本發(fā)明一實施例提供的機器人的圖像定位裝置的結構框圖。該機器人上固設頻閃標識。從圖中可以看出,該定位裝置50包括:
存儲模塊51,用于預存根據圖1所示的建圖方法得到的圖像坐標系。
采集模塊52,用于采集固定攝像頭拍攝的視頻圖像。
檢測模塊53,用于利用頻閃三幀差分法檢測機器人在視頻圖像中的位置。
計算模塊54,用于對包含機器人的位置的圖像使用圖像坐標系,并對其進行掃描,根據掃描結果計算機器人的現(xiàn)實坐標。
應當理解,設備50中記載的各個裝置與參考圖4所描述的方法400中的各個步驟相對應,因此,上文針對方法400描述的操作和特征同樣適用于設備50及其中包含的裝置,重復內容在此不再贅述。
根據本發(fā)明提供的機器人的圖像定位裝置與普通攝像頭相配合可以實現(xiàn)機器人的準確定位,當然,其也可以嵌入普通攝像頭,作為普通攝像頭的一部分使用。
以上所述僅為本發(fā)明的較佳實施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內,所作的任何修改、等同替換等,均應包含在本發(fā)明的保護范圍之內。