專(zhuān)利名稱(chēng)：：基于路面共線(xiàn)三點(diǎn)及其平行線(xiàn)的單攝像機(jī)標(biāo)定方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種交通
技術(shù)領(lǐng)域：
的單攝像機(jī)標(biāo)定方法，特別涉及一種基于路面共線(xiàn)三點(diǎn)及其平行線(xiàn)的單攝像機(jī)標(biāo)定方法。
背景技術(shù)：
：隨著通信與網(wǎng)絡(luò)技術(shù)、傳感器技術(shù)、圖像處理及模式識(shí)別技術(shù)的發(fā)展，智能交通信息監(jiān)測(cè)技術(shù)得到長(zhǎng)足的進(jìn)展。以攝像機(jī)等視覺(jué)傳感器為基礎(chǔ)，依靠機(jī)器視覺(jué)和模式識(shí)別等理論的道路交通信息工程技術(shù)已逐漸趨于成熟，在電子警察、高速公路監(jiān)控等領(lǐng)域得到廣泛應(yīng)用。在交通監(jiān)視中，根據(jù)攝像機(jī)獲取的道路現(xiàn)場(chǎng)圖像，計(jì)算道路上的交通參數(shù)，如車(chē)流量、瞬時(shí)車(chē)速、平均車(chē)速、占有率等信息。在實(shí)際檢測(cè)的過(guò)程中，需要建立圖像中像素點(diǎn)與實(shí)際路面中位置點(diǎn)之間的映射關(guān)系。該映射關(guān)系，與攝像機(jī)成像的幾何模型有關(guān)。模型中的參數(shù)必須通過(guò)必要的攝像機(jī)標(biāo)定過(guò)程來(lái)決定，從而建立圖像中每一個(gè)像素點(diǎn)和實(shí)際路面中相應(yīng)位置點(diǎn)的映射關(guān)系，進(jìn)而根據(jù)數(shù)字圖像的像素點(diǎn)的變化計(jì)算出車(chē)速、車(chē)流等交通信息。常用的攝像機(jī)標(biāo)定方法多采用傳統(tǒng)標(biāo)定方式和自標(biāo)定方法。傳統(tǒng)標(biāo)定方法在一定的攝像機(jī)模型下，基于特定的實(shí)驗(yàn)條件如形狀、尺寸已知的參照物，對(duì)其圖像進(jìn)行處理，利用一系列數(shù)學(xué)變換和計(jì)算方法、求取攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù)；自標(biāo)定方法直接分析獲得的多幅平移或旋轉(zhuǎn)的序列圖像信息，提取表征攝像機(jī)內(nèi)參數(shù)自身存在約束的匹配點(diǎn)，建立基于二次曲線(xiàn)(曲面)的虛擬標(biāo)定塊，從而標(biāo)定攝像機(jī)參數(shù)。在交通監(jiān)視環(huán)境中，攝像機(jī)拍攝場(chǎng)景變化不大(一般是公路路面)，攝像機(jī)安裝好后無(wú)旋轉(zhuǎn)或平移的動(dòng)作，攝像機(jī)標(biāo)定精度要求不很高，因此通常采用特定幾何尺寸的標(biāo)定物按傳統(tǒng)定標(biāo)方法進(jìn)行定標(biāo)。在交通監(jiān)視環(huán)境下，通常依靠單攝像機(jī)實(shí)現(xiàn)交通信息的檢測(cè)。由于三維世界在二維平面上投影帶來(lái)的信息丟失，因此，要依據(jù)單視圖來(lái)確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像平面中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是比較困難的。如果交通場(chǎng)景范圍內(nèi)的路面是較為平整的區(qū)域，可作地面平坦性假設(shè)。在此假設(shè)的基礎(chǔ)上，根據(jù)攝像機(jī)參數(shù)和交通場(chǎng)景中路面的角度，可以準(zhǔn)確獲得地面二維平面各點(diǎn)坐標(biāo)與圖像平面各像素點(diǎn)坐標(biāo)之間映射關(guān)系。為了簡(jiǎn)化標(biāo)定流程，結(jié)合路面上車(chē)道標(biāo)線(xiàn)的幾何特征，Nelson,Grantham和George等人引入了基于簡(jiǎn)單成像模型的交通視頻監(jiān)控系統(tǒng)攝像機(jī)標(biāo)定方法("Anovelcameracalibrationtechniqueforvisualtrafficsurveillance,，，7thWorldCongressonIntelligenceTransportationSystems,paperno.3024.2000)，采用相鄰兩車(chē)道線(xiàn)段平行且各端點(diǎn)順時(shí)針依次相連構(gòu)成的矩形作為標(biāo)定目標(biāo)，直接標(biāo)定出攝像機(jī)焦距和方位參數(shù)。該方法需要在道路中選擇一個(gè)矩形標(biāo)定目標(biāo)，而在很多交通場(chǎng)景中，矩形目標(biāo)不容易獲得，選定標(biāo)定目標(biāo)不夠方便，存在一定局限性。與之類(lèi)似，申請(qǐng)?zhí)枮?00410017703.1的專(zhuān)利申請(qǐng)采用一組彼此間距已知的三條平行線(xiàn)和一條斜率已知且與平行線(xiàn)相交的直線(xiàn)作為標(biāo)定目標(biāo)，標(biāo)定出攝像機(jī)焦距和俯視角。而在交通場(chǎng)景內(nèi)，通常只有平行的道路標(biāo)線(xiàn)，而與平行線(xiàn)相交且斜率已知的斜線(xiàn)是不容易獲取的，因此在選取標(biāo)定目標(biāo)方面也存在一定局限性。
發(fā)明內(nèi)容為了解決現(xiàn)有單攝像機(jī)標(biāo)定方法存在的上述技術(shù)問(wèn)題，本發(fā)明提出一種容易實(shí)施、操作簡(jiǎn)單的基于路面共線(xiàn)三點(diǎn)及其平行線(xiàn)的單攝像機(jī)標(biāo)定方法。本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案包括以下步驟1)建立地面世界坐標(biāo)系XW_YW，其原點(diǎn)設(shè)定為透鏡中心位置上垂直于攝像機(jī)光軸的直線(xiàn)與地面的交點(diǎn)，Yw軸為攝像機(jī)光軸所在的且垂直于地面的平面與地面的交線(xiàn)，Yw軸正方向?yàn)檠芈访嬷赶蚯胺?，Xw軸為透鏡中心位置垂直于攝像機(jī)光軸的平面與地面的交線(xiàn)，Xw軸正方向?yàn)樗街赶蛴曳剑?)建立圖像坐標(biāo)系Xc-Yc，其原點(diǎn)設(shè)定在圖像的左下角(0，0)位置，Xc軸水平指向右方，Yc軸垂直指向上方；3)在路面中選取兩條平行的交通標(biāo)線(xiàn)，測(cè)量?jī)善叫芯€(xiàn)間的距離；在圖像平面中，選取路面上每條平行直線(xiàn)在圖像中對(duì)應(yīng)投影線(xiàn)的10個(gè)像素點(diǎn)，用最小二乘法分別計(jì)算出兩條直線(xiàn)在圖像平面中的斜率與截距；在路面的兩條平行線(xiàn)中，選取其中一條平行線(xiàn)上的三個(gè)點(diǎn)，并測(cè)量第一點(diǎn)與第二點(diǎn)間的距離以及第一點(diǎn)與第三點(diǎn)間的距離，在圖像中，獲得這三個(gè)點(diǎn)在圖像平面中對(duì)應(yīng)像素的坐標(biāo)；4)在圖像平面的水平方向作一條水平直線(xiàn)，分別求出它與兩條投影直線(xiàn)的交點(diǎn)坐標(biāo)，根據(jù)這兩個(gè)交點(diǎn)的圖像平面坐標(biāo)、兩平行線(xiàn)間距離、三個(gè)點(diǎn)的圖像平面坐標(biāo)及三點(diǎn)間彼此的距離，計(jì)算平行線(xiàn)在地面坐標(biāo)系中的角度；5)根據(jù)平行線(xiàn)在地面世界坐標(biāo)系中的角度、三個(gè)點(diǎn)的圖像平面坐標(biāo)及三點(diǎn)間距離、圖像平面中水平直線(xiàn)與兩條平行線(xiàn)投影直線(xiàn)的兩交點(diǎn)坐標(biāo)，求得攝像機(jī)的焦距、俯仰角參數(shù)，完成單攝像機(jī)的標(biāo)定工作，最后根據(jù)針孔成像模型、相似三角型原理獲得圖像坐標(biāo)系和世界坐標(biāo)系之間坐標(biāo)值的變換關(guān)系。本發(fā)明的技術(shù)效果在于本發(fā)明無(wú)需一個(gè)規(guī)則的矩形，亦無(wú)需一條斜率已知的直線(xiàn)，只需選擇選擇道路中已有的交通標(biāo)線(xiàn)及特征點(diǎn)，就可完成單攝像機(jī)的標(biāo)定。這些標(biāo)定目標(biāo)是很容易被找到且?guī)缀纬叽缛菀撰@知，這充分保證了交通監(jiān)視環(huán)境下本發(fā)明所提出攝像機(jī)標(biāo)定方法的針對(duì)性和通用性，解決了標(biāo)定目標(biāo)不易選取的難題，可應(yīng)用于傳統(tǒng)標(biāo)定方法不可能應(yīng)用的諸多交通監(jiān)視、車(chē)輛自動(dòng)駕駛等場(chǎng)合下的單目攝像機(jī)標(biāo)定。圖1為本發(fā)明世界坐標(biāo)系和標(biāo)定目標(biāo)的關(guān)系示意圖。圖2為本發(fā)明中標(biāo)定目標(biāo)在圖像中投影示意圖。圖3為本發(fā)明的地面世界坐標(biāo)系和圖像平面坐標(biāo)系。圖4為本發(fā)明實(shí)施例所采用的交通監(jiān)視場(chǎng)景圖。圖5為本發(fā)明實(shí)施例從交通監(jiān)視場(chǎng)景中選擇標(biāo)定目標(biāo)的結(jié)構(gòu)示意圖。具體實(shí)施例方式以下結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。4本發(fā)明的攝像機(jī)標(biāo)定方法包括以下步驟1.標(biāo)定目標(biāo)的選取和相關(guān)坐標(biāo)系的建立在交通場(chǎng)景中選擇標(biāo)定目標(biāo)即路面上間距已知的兩條平行線(xiàn)以及其中一條平行線(xiàn)上的三個(gè)點(diǎn)。在實(shí)際路面上兩條平行線(xiàn)分別被表示為a、b，預(yù)先測(cè)出a、b兩線(xiàn)的間距為dw。三個(gè)點(diǎn)分別表示A、B和C點(diǎn)，其中A點(diǎn)最靠近攝像機(jī)、C點(diǎn)離攝像機(jī)最遠(yuǎn)，預(yù)先測(cè)出AB兩點(diǎn)間距離為Ad"AC兩點(diǎn)間距離為A4，并假設(shè)地面二維世界坐標(biāo)系中A點(diǎn)坐標(biāo)為(Xl，y》、B點(diǎn)坐標(biāo)為(x2，y》、C點(diǎn)坐標(biāo)為(X3，y3)，如圖l所示。本發(fā)明將標(biāo)定目標(biāo)在圖像中所對(duì)應(yīng)的投影直線(xiàn)分別表示為a'、b'，三個(gè)點(diǎn)對(duì)應(yīng)的投影點(diǎn)分別為A'、B'和C'，坐標(biāo)分別為Vl)、(h2，v2)和(h3，v3)，如圖2所示。為了標(biāo)定攝像機(jī)的焦距及俯視角，需要定義兩個(gè)坐標(biāo)系圖像二維平面坐標(biāo)系(XC_YC)和地面二維世界坐標(biāo)系(XW_YW)。圖像坐標(biāo)系的Xc軸水平指向右方，Yc軸垂直指向上方，圖像坐標(biāo)系的原點(diǎn)在圖像的左下角，如圖2所示。根據(jù)針孔成像模型，CCD傳感器的像平面坐標(biāo)軸方向應(yīng)該是圖像坐標(biāo)系的Xc-Yc軸的翻轉(zhuǎn)方向，CCD傳感器的像平面原點(diǎn)在CCD傳感陣列的左上角，如圖3所示。地面二維世界坐標(biāo)系的原點(diǎn)為透鏡中心位置上垂直于攝像機(jī)光軸的直線(xiàn)與地面的交點(diǎn)，且該直線(xiàn)與攝像機(jī)光軸所在的平面垂直于地面。地面二維世界坐標(biāo)系的Yw軸為攝像機(jī)光軸所在的且垂直于地面的平面與地面的交線(xiàn)，Yw軸正方向?yàn)檠芈访嬷赶蚯胺?；Xw軸為透鏡中心位置垂直于攝像機(jī)光軸的平面與地面的交線(xiàn)，Xw軸正方向?yàn)樗街赶蛴曳健?.標(biāo)定輸入數(shù)據(jù)初始化及中間變量計(jì)算假設(shè)圖像的尺寸為M承N像素，則圖像的幾何中心P'點(diǎn)的坐標(biāo)(h。，v。)為h。=(M_l)/2;v。=(N_l)/2在兩條平行線(xiàn)的圖像投影直線(xiàn)a'、b'上，選取IO個(gè)點(diǎn)，用最小二乘法計(jì)算出投影直線(xiàn)a'、b'的斜率、、^及截距Vlv計(jì)算中間變量tnA，h13，d13值分別為+一A《A《(上2-v3)(D(v廣V2)A(i廣(v廣v3)A《>l=tan<9./:A《(2)《3=義-0廣v。)義—Oi—Vo)義—Oi一Vo)(3)(4)式(1-4)中，A為AB兩點(diǎn)間距離，Ad2為AC兩點(diǎn)間距離，Vl為A'點(diǎn)的縱坐標(biāo)，^為B'點(diǎn)的縱坐標(biāo)，^為C'點(diǎn)的縱坐標(biāo)，^為A'點(diǎn)的橫坐標(biāo)，9為攝像機(jī)的俯視角，f為攝像機(jī)的焦距，h。為圖像幾何中心的橫坐標(biāo)，v。為圖像幾何中心的縱坐標(biāo)。3.計(jì)算平行線(xiàn)在地面坐標(biāo)系中的角度在圖像平面中，過(guò)A'(hpVl)點(diǎn)作水平直線(xiàn)，與投影直線(xiàn)b'(斜率為k2，截距為b2)的交點(diǎn)為D'點(diǎn)，D'點(diǎn)坐標(biāo)為(h4，v》，則平行線(xiàn)在地面坐標(biāo)系中的角度a有5謡2"、34、|(5)式(5)中^=:!i^，h4是圖像平面中D'點(diǎn)的橫坐標(biāo)，h3為C'點(diǎn)的橫坐標(biāo)，Ad2為AC兩點(diǎn)間距離，dw為路面平行線(xiàn)a、b的間距。貝UCOS2"=<formula>formulaseeoriginaldocumentpage6</formula>(6)因此根據(jù)siim:jl^^，即可以求出中間變量sina的值。4.攝像機(jī)參數(shù)標(biāo)定在求出平行線(xiàn)在地面坐標(biāo)系中的角度a，并獲得三個(gè)點(diǎn)的圖像平面坐標(biāo)及三點(diǎn)間距離這些參數(shù)之后，則可以確定路面A點(diǎn)的坐標(biāo)0q，y》值，即<formula>formulaseeoriginaldocumentpage6</formula>計(jì)算攝像機(jī)的俯視角e<formula>formulaseeoriginaldocumentpage6</formula>式(7)中，dw為路面平行線(xiàn)a、b的間距，h4是圖像平面D，點(diǎn)的橫坐標(biāo)，^為A，點(diǎn)的橫坐標(biāo)，A4為AC兩點(diǎn)間距離，^和A是中間變量。根據(jù)求得的俯視角9和中間變量A的值，計(jì)算攝像機(jī)的焦距f<formula>formulaseeoriginaldocumentpage6</formula>因此，依據(jù)圖像中某像素點(diǎn)Q'的坐標(biāo)(hn，vn)，可以換算出地面世界坐標(biāo)系中相應(yīng)點(diǎn)Q的坐標(biāo)(xn，yn)，即<formula>formulaseeoriginaldocumentpage6</formula>式(9)和(10)中，^和A是中間變量，a為路面平行線(xiàn)的角度，h。為圖像幾何中心的橫坐標(biāo)，v。為圖像幾何中心的縱坐標(biāo)，^為圖像平面A'點(diǎn)的橫坐標(biāo)，h4是圖像平面D'點(diǎn)的橫坐標(biāo)，dw為路面平行線(xiàn)a、b的間距。本發(fā)明的一個(gè)實(shí)施例采用了如圖4所示的高速公路交通場(chǎng)景圖像，并在此實(shí)際交通場(chǎng)景圖像中選擇了標(biāo)定目標(biāo)，如圖5所示。選擇圖像中路面一條車(chē)行道邊緣線(xiàn)和車(chē)行道分界虛線(xiàn)作為標(biāo)定的兩條平行線(xiàn)a'和b'，在車(chē)行道分界虛線(xiàn)中選取三個(gè)點(diǎn)A'、B'和C'點(diǎn)。它們?cè)谑澜缱鴺?biāo)系中實(shí)際分別對(duì)應(yīng)a和b直線(xiàn)、A點(diǎn)、B點(diǎn)和C點(diǎn)，其中，a、b直線(xiàn)間距、A與B點(diǎn)間距以及A與C點(diǎn)的間距事先已測(cè)量出。實(shí)驗(yàn)結(jié)果表明，標(biāo)定參數(shù)的求取與標(biāo)定目標(biāo)中三個(gè)點(diǎn)選取的精度有較密切的關(guān)系，但是經(jīng)過(guò)仔細(xì)選擇這些點(diǎn)，可以得到較好的結(jié)果。如表1所列出的兩點(diǎn)之間距離實(shí)際值與計(jì)算值的比較，說(shuō)明本方法完全能夠滿(mǎn)足交通監(jiān)視系統(tǒng)的精度要求，該實(shí)驗(yàn)在一定程度上證明了本發(fā)明所提出方法的有效性。表1圖像中兩像素點(diǎn)在世界坐標(biāo)系中的對(duì)應(yīng)點(diǎn)之間距離實(shí)際值和標(biāo)定之后的計(jì)算值<table>tableseeoriginaldocumentpage7</column></row><table>權(quán)利要求一種基于路面共線(xiàn)三點(diǎn)及其平行線(xiàn)的單攝像機(jī)標(biāo)定方法，包括以下步驟1)建立地面世界坐標(biāo)系XW-YW，其原點(diǎn)設(shè)定為透鏡中心位置上垂直于攝像機(jī)光軸的直線(xiàn)與地面的交點(diǎn)，YW軸為攝像機(jī)光軸所在的且垂直于地面的平面與地面的交線(xiàn)，YW軸正方向?yàn)檠芈访嬷赶蚯胺?，XW軸為透鏡中心位置垂直于攝像機(jī)光軸的平面與地面的交線(xiàn)，XW軸正方向?yàn)樗街赶蛴曳剑?)建立圖像坐標(biāo)系XC-YC，其原點(diǎn)設(shè)定在圖像的左下角(0，0)位置，XC軸水平指向右方，YC軸垂直指向上方；3)在路面中選取兩條平行的交通標(biāo)線(xiàn)，測(cè)量?jī)善叫芯€(xiàn)間的距離；在圖像平面中，選取路面上每條平行直線(xiàn)在圖像中對(duì)應(yīng)投影線(xiàn)的10個(gè)像素點(diǎn)，用最小二乘法分別計(jì)算出兩條直線(xiàn)在圖像平面中的斜率與截距；在路面的兩條平行線(xiàn)中，選取其中一條平行線(xiàn)上的三個(gè)點(diǎn)，并測(cè)量第一點(diǎn)與第二點(diǎn)間的距離以及第一點(diǎn)與第三點(diǎn)間的距離，在圖像中，獲得這三個(gè)點(diǎn)在圖像平面中對(duì)應(yīng)像素的坐標(biāo)；4)在圖像平面的水平方向作一條水平直線(xiàn)，分別求出它與兩條投影直線(xiàn)的交點(diǎn)坐標(biāo)，根據(jù)這兩個(gè)交點(diǎn)的圖像平面坐標(biāo)、兩平行線(xiàn)間距離、三個(gè)點(diǎn)的圖像平面坐標(biāo)及三點(diǎn)間彼此的距離，計(jì)算平行線(xiàn)在地面坐標(biāo)系中的角度；5)根據(jù)平行線(xiàn)在地面世界坐標(biāo)系中的角度、三個(gè)點(diǎn)的圖像平面坐標(biāo)及三點(diǎn)間距離、圖像平面中水平直線(xiàn)與兩條平行線(xiàn)投影直線(xiàn)的兩交點(diǎn)坐標(biāo)，求得攝像機(jī)的焦距、俯仰角參數(shù)，完成單攝像機(jī)的標(biāo)定工作，最后根據(jù)針孔成像模型、相似三角型原理獲得圖像坐標(biāo)系和地面世界坐標(biāo)系之間坐標(biāo)值的變換關(guān)系。全文摘要本發(fā)明公開(kāi)了一種基于路面共線(xiàn)三點(diǎn)及其平行線(xiàn)的單攝像機(jī)標(biāo)定方法。包含如下步驟(1)建立圖像二維坐標(biāo)系和地面二維世界坐標(biāo)系；(2)在交通場(chǎng)景內(nèi)選擇車(chē)行道分界直線(xiàn)中的三點(diǎn)及平行的車(chē)行道邊緣直線(xiàn)作為標(biāo)定目標(biāo)，測(cè)量三點(diǎn)間距和兩條平行直線(xiàn)的間距，并獲取標(biāo)定目標(biāo)在圖像中對(duì)應(yīng)像素的坐標(biāo)；(3)求解平行線(xiàn)在地面世界坐標(biāo)系中的角度；(4)求解攝像機(jī)的焦距和俯視角參數(shù)；(5)求解圖像坐標(biāo)系與地面世界坐標(biāo)系中各對(duì)應(yīng)點(diǎn)的坐標(biāo)換算關(guān)系，最終完成攝像機(jī)標(biāo)定。本發(fā)明不需要在交通場(chǎng)景中放置規(guī)則的標(biāo)定矩形，僅需要交通標(biāo)線(xiàn)上三點(diǎn)及其平行線(xiàn)，方法簡(jiǎn)單易用、針對(duì)性和通用性好。文檔編號(hào)G06T7/00GK101727671SQ200910253340公開(kāi)日2010年6月9日申請(qǐng)日期2009年12月1日優(yōu)先權(quán)日2009年12月1日發(fā)明者李樹(shù)濤,賀科學(xué)申請(qǐng)人:湖南大學(xué);長(zhǎng)沙理工大學(xué)