專利名稱：基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法
基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法技術(shù)領(lǐng)域
本發(fā)明屬于視覺測量技術(shù)領(lǐng)域，涉及一種基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝 像機系統(tǒng)標定方法。
背景技術(shù)：
使用多攝像機系統(tǒng)進行三維測量，必須首先完成每個攝像機的內(nèi)參數(shù)和畸變參 數(shù)，多攝像機間的相對位姿及與參考坐標系位姿參數(shù)的標定。標定的魯棒性及精度直接決 定多攝像機系統(tǒng)的測量精度，因而魯棒且高精度的標定是多攝像機系統(tǒng)實現(xiàn)高精度標定的 前提和條件。
攝像機標定由來已久，經(jīng)過數(shù)十年的發(fā)展，有許多行之有效的方法。近年來，因多 攝像機系統(tǒng)在大尺度、大范圍測量上的獨特明顯，受到國內(nèi)外研究的廣泛重視，尤其是多攝 像機系統(tǒng)的高效、高精度成為研究的熱點。然而，傳統(tǒng)的多攝像機標定方法中，一些采用電 子經(jīng)緯儀來建立世界坐標系，從而增加了系統(tǒng)的成本和復(fù)雜性；一些采用三維、二維、一維 或0維標定物，直接利用單攝像機內(nèi)部參數(shù)和攝像機間的位姿關(guān)系完成多攝像機系統(tǒng)標定 參數(shù)的估計，一方面要求標定物在所有攝像機視場中可見，另一方面標定結(jié)果會受噪聲、計 算誤差、初始參數(shù)誤差等影響，精度較低；盡管一些方法在標定的最后階段也采用了捆綁調(diào) 整優(yōu)化方法，然而三維標定點集的采集過程較為復(fù)雜，且需要拋棄局外點，效率較低，魯棒 性較差。發(fā)明內(nèi)容
本發(fā)明的目的在于針對上述現(xiàn)有標定技術(shù)的缺陷或不足，提供了一種基于光學(xué)成 像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法。該方法僅需要一個已標定的光學(xué)成像測 頭，就可同時完成單攝像機內(nèi)外參數(shù)標定和多攝像機系統(tǒng)的標定，方法簡單，而且不需要光 學(xué)成像測頭在所有攝像機視場內(nèi)可見，僅需要在其中兩個或以上攝像機視場內(nèi)可見即可， 適用于各種測量現(xiàn)場。采用視覺圖結(jié)構(gòu)和捆綁調(diào)整優(yōu)化，由粗到精地完成多攝像機系統(tǒng)標 定，確保了結(jié)果的魯棒性和高精度。
為達到上述目的，本發(fā)明采用的技術(shù)方案是
步驟1、硬件的建立
采用分布式的多個攝像機和一個光學(xué)成像測頭，所有攝像機不要求有重疊的視場 空間，但要求至少每兩個攝像機之間有重疊視場
步驟2、確定每個攝像機的空間位置，為每個攝像機確定一個或多個空間定位點， 按空間定位點選擇的原則即在單攝像機或多攝像機的標定過程中光學(xué)成像測頭均能位于 所標定的攝像機視場以內(nèi)。在單攝像機的標定中，首先在其對應(yīng)的定位點上安裝基準定位 塊(1)，將光學(xué)成像測頭置入每個攝像機視場范圍，并與基準定位塊(1)對準，以光學(xué)成像 測頭的測尖O)為圓心轉(zhuǎn)動光學(xué)成像測頭，光學(xué)成像測頭靶體4上的七個標志點(5)以測 尖2為圓心同心旋轉(zhuǎn)，攝像機采集光學(xué)成像測頭不同姿態(tài)的多幅圖像；其次，采用閾值分割和橢圓擬合算法提取每幅圖像中的每個LED子像素的中心坐標，采用重心法計算每個標志 點5的中心坐標；最后，根據(jù)標志點5的同心圓旋轉(zhuǎn)關(guān)系和已標定的空間距離不變關(guān)系，恢 復(fù)每個攝像機的內(nèi)參數(shù)矩陣和畸變參數(shù)；
步驟3、重新選擇并定位空間定位點，調(diào)整光學(xué)成像測頭姿態(tài)，確保光學(xué)成像測頭 位于每兩個或以上攝像機的重疊視場內(nèi)；在重疊視場內(nèi)，旋轉(zhuǎn)光學(xué)成像測頭，由視場重疊的 攝像機同時獲取光學(xué)成像測頭標志點的LED圖像，通過圖像處理、中心識別和標志點匹配， 并根據(jù)標志點間的幾何約束，恢復(fù)局部兩攝像機間的基本矩陣、本質(zhì)矩陣、極線幾何關(guān)系以 及旋轉(zhuǎn)矩陣、平移向量；
步驟4、以每個攝像機為結(jié)點，以具有重疊視場的每兩個攝像機為邊，構(gòu)建多攝像 機系統(tǒng)的視覺圖，每條邊的方向由初始標定的局部旋轉(zhuǎn)矩陣和平移向量確定，并由前一攝 像機指向變換后的另一攝像機；在視覺圖內(nèi)，首先確定參考攝像機，由參考攝像機開始，建 立所有攝像機之間的連接關(guān)系，采用最短路徑法計算每個攝像機相對參考攝像機的旋轉(zhuǎn)矩 陣和平移向量，實現(xiàn)多攝像機系統(tǒng)的全局初始標定；
步驟5、根據(jù)初始標定結(jié)果，將步驟2和步驟3采集、識別、獲取的標志點反投影到 參考攝像機坐標系，以此建立世界坐標系中的三維標定點集；采用稀疏捆綁調(diào)整算法對全 部標定參數(shù)和三維標定點集進行優(yōu)化估計，獲取魯棒和高精度的標定結(jié)果；
步驟6、若標定結(jié)果已滿足測量精度要求，標定過程結(jié)束；若不滿足，則增加光學(xué) 成像測頭定位點數(shù)量，重新采集圖像，將識別及重建的新的三維標定點增加到原來的標志 點集中，采用稀疏捆綁調(diào)整算法重新優(yōu)化全部標定參數(shù)和三維標定點集，重新標定各參數(shù)。
所述的每個標志點5由六個LED組成，其重心為標志點中心。
所述的步驟2包含如下步驟
步驟21、建立攝像機針孔投影模型
首先，建立世界坐標系XwYwZw、測頭坐標系XtYtZt、圖像坐標尺度坐標系xy和像素 坐標系uv，設(shè)光學(xué)成像測頭上有N = 7個標志點，Z/表示標志點在測頭坐標系中坐標，^表 示標志點在世界坐標系中坐標，(R，T)是攝像機相對于世界坐標系的旋轉(zhuǎn)和平移參量，K是 攝像機的內(nèi)參數(shù)矩陣，包含5個參量，分別為水平和垂直方向焦距(fx，fy)、圖像傾斜因子s 和光心坐標(u0，v0)，(kl，k2，dl，d2)分別為徑向和切向的畸變參數(shù)，測頭靶面(4)上的7 個標志點(5)滿足如下投影關(guān)系
X1X1 = KRX1t +KTJGI( 1 )
其中，λ ^是標志點j的投影深度；F表示標志點j在圖像上的歸一化坐標。
步驟22、標定圖像采集與標志點識別按照空間定位點選擇的原則，選擇空間定 位點，并固定基準定位塊(1)，把光學(xué)成像測頭以測尖O)為圓心轉(zhuǎn)動，使用攝像機采集不 同姿態(tài)的圖像Ii幅，采集的圖像盡量遍布攝像機的視場空間，采用閾值分割和橢圓擬合算 法提取每個LED光點的子像素中心，采用重心法估計每個標志點的中心；
步驟23、根據(jù)同心圓半徑不變，建立每個標志點轉(zhuǎn)動時與測尖距離的誤差函數(shù)，當(dāng) 光學(xué)成像測頭繞測尖( 轉(zhuǎn)動時，7個標志點分別以半徑rj繞測尖O)同心轉(zhuǎn)動，由于全部 標志點的位置已精確標定，7個同心圓的轉(zhuǎn)動半徑&不變，根據(jù)同心圓半徑不變，測頭在轉(zhuǎn) 動過程中每個標志點到測尖的距離不變，對轉(zhuǎn)動采集的Il幅圖像，每個一標志均可得到半 徑誤差方程
權(quán)利要求
1.一種基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法，其特征在于包括以 下步驟步驟1、硬件的建立采用分布式的多個攝像機和一個光學(xué)成像測頭，所有攝像機不要求有重疊的視場空 間，但要求至少每兩個攝像機之間有重疊視場步驟2、確定每個攝像機的空間位置，為每個攝像機確定一個或多個空間定位點，按空 間定位點選擇的原則即在單攝像機或多攝像機的標定過程中光學(xué)成像測頭均能位于所標 定的攝像機視場以內(nèi)。在單攝像機的標定中，首先在其對應(yīng)的定位點上安裝基準定位塊 (1)，將光學(xué)成像測頭置入每個攝像機視場范圍，并與基準定位塊(1)對準，以光學(xué)成像測 頭的測尖( 為圓心轉(zhuǎn)動光學(xué)成像測頭，光學(xué)成像測頭靶體4上的七個標志點(5)以測尖 2為圓心同心旋轉(zhuǎn)，攝像機采集光學(xué)成像測頭不同姿態(tài)的多幅圖像；其次，采用閾值分割和 橢圓擬合算法提取每幅圖像中的每個LED子像素的中心坐標，采用重心法計算每個標志點 5的中心坐標；最后，根據(jù)標志點5的同心圓旋轉(zhuǎn)關(guān)系和已標定的空間距離不變關(guān)系，恢復(fù) 每個攝像機的內(nèi)參數(shù)矩陣和畸變參數(shù)；步驟3、重新選擇并定位空間定位點，調(diào)整光學(xué)成像測頭姿態(tài)，確保光學(xué)成像測頭位于 每兩個或以上攝像機的重疊視場內(nèi)；在重疊視場內(nèi)，旋轉(zhuǎn)光學(xué)成像測頭，由視場重疊的攝像 機同時獲取光學(xué)成像測頭標志點的LED圖像，通過圖像處理、中心識別和標志點匹配，并根 據(jù)標志點間的幾何約束，恢復(fù)局部兩攝像機間的基本矩陣、本質(zhì)矩陣、極線幾何關(guān)系以及旋 轉(zhuǎn)矩陣、平移向量；步驟4、以每個攝像機為結(jié)點，以具有重疊視場的每兩個攝像機為邊，構(gòu)建多攝像機系 統(tǒng)的視覺圖，每條邊的方向由初始標定的局部旋轉(zhuǎn)矩陣和平移向量確定，并由前一攝像機 指向變換后的另一攝像機；在視覺圖內(nèi)，首先確定參考攝像機，由參考攝像機開始，建立所 有攝像機之間的連接關(guān)系，采用最短路徑法計算每個攝像機相對參考攝像機的旋轉(zhuǎn)矩陣和 平移向量，實現(xiàn)多攝像機系統(tǒng)的全局初始標定；步驟5、根據(jù)初始標定結(jié)果，將步驟2和步驟3采集、識別、獲取的標志點反投影到參考 攝像機坐標系，以此建立世界坐標系中的三維標定點集；采用稀疏捆綁調(diào)整算法對全部標 定參數(shù)和三維標定點集進行優(yōu)化估計，獲取魯棒和高精度的標定結(jié)果；步驟6、若標定結(jié)果已滿足測量精度要求，標定過程結(jié)束；若不滿足，則增加光學(xué)成像 測頭定位點數(shù)量，重新采集圖像，將識別及重建的新的三維標定點增加到原來的標志點集 中，采用稀疏捆綁調(diào)整算法重新優(yōu)化全部標定參數(shù)和三維標定點集，重新標定各參數(shù)。
2.根據(jù)權(quán)利要求1所述的基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法， 其特征在于所述的每個標志點5由六個LED組成，其重心為標志點中心。
3.如權(quán)利要求1所述的基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法，其 特征在于所述的步驟2包含如下步驟步驟21、建立攝像機針孔投影模型首先，建立世界坐標系XwYwZw、測頭坐標系XtYtZt、圖像坐標尺度坐標系xy和像素坐標 系uv，設(shè)光學(xué)成像測頭上有N = 7個標志點，Z/表示標志點在測頭坐標系中坐標，#表示 標志點在世界坐標系中坐標，(R，T)是攝像機相對于世界坐標系的旋轉(zhuǎn)和平移參量，K是攝 像機的內(nèi)參數(shù)矩陣，包含5個參量，分別為水平和垂直方向焦距(fx，fy)、圖像傾斜因子s和光心坐標(u0，v0)，(kl，k2，dl，d2)分別為徑向和切向的畸變參數(shù)，測頭靶面(4)上的7個 標志點(5)滿足如下投影關(guān)系A(chǔ)1X1 =KRXj +KT JGI(1)其中，λ ^是標志點j的投影深度；F表示標志點j在圖像上的歸一化坐標。 步驟22、標定圖像采集與標志點識別按照空間定位點選擇的原則，選擇空間定位點， 并固定基準定位塊(1)，把光學(xué)成像測頭以測尖( 為圓心轉(zhuǎn)動，使用攝像機采集不同姿態(tài) 的圖像Il幅，采集的圖像盡量遍布攝像機的視場空間，采用閾值分割和橢圓擬合算法提取 每個LED光點的子像素中心，采用重心法估計每個標志點的中心；步驟23、根據(jù)同心圓半徑不變，建立每個標志點轉(zhuǎn)動時與測尖距離的誤差函數(shù)，當(dāng)光學(xué) 成像測頭繞測尖(2)轉(zhuǎn)動時，7個標志點分別以半徑。繞測尖O)同心轉(zhuǎn)動，由于全部標志 點的位置已精確標定，7個同心圓的轉(zhuǎn)動半徑&不變，根據(jù)同心圓半徑不變，測頭在轉(zhuǎn)動過 程中每個標志點到測尖的距離不變，對轉(zhuǎn)動采集的Il幅圖像，每個一標志均可得到半徑誤 差方程
4.如權(quán)利要求1所述的基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法，其 特征在于所述的步驟3包含如下步驟步驟31、重疊視場內(nèi)測頭標志點圖像采集重新選擇并定位空間定位點(L1、L2、...), 調(diào)整光學(xué)成像測頭姿態(tài)，確保其位于每兩個或以上攝像機的重疊視場內(nèi)，旋轉(zhuǎn)光學(xué)成像測 頭，由在該區(qū)域內(nèi)視場重疊的攝像機同時獲取測頭標志點立體圖像；步驟32、立體圖像標志點識別與匹配采用閾值分割和橢圓擬合算法提取每個LED光 點的子像素中心，采用重心法估計每個標志點的中心；根據(jù)標志點位置約束和幾何矩不變 規(guī)則，快速匹配立體圖像對的標志點；步驟33、估計基本矩陣、極線幾何關(guān)系假設(shè)兩攝像機Cl和C2有重疊的視場空間，不失一般性，設(shè)世界坐標的原點位于攝像機 Cl的中心，攝像機Cl的位姿為(R1, T1) = (1，0)，攝像機02的位姿為(R2, T2)，兩攝像機的 相對關(guān)系為(R，T)。則兩攝像機獲取的同名標志點j的圖像坐標釕、乓之間有如下關(guān)系 A^x12= AIK2R2K^+K2T2(4)從該式估計未知尺度參數(shù)/I/和4 ,并得到礦符/ = 0 ,其中F = Ir2X2jR^1-1即是要求的 基本矩陣，如有足夠的標志點對，線性求解基本矩陣的9個參量。同時，在步驟2中，兩攝像 機Cl和C2的內(nèi)參數(shù)矩陣K1, K2已經(jīng)標定，使用坐標值χ/ =KT1Xj, (i = 1,2)估計立體圖像 的極線約束關(guān)系
5.如權(quán)利要求1所述的基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法，其 特征在于所述的步驟4包含如下步驟步驟41、根據(jù)圖理論，構(gòu)建多攝像機系統(tǒng)的視覺圖以每個攝像機為結(jié)點，以具有重疊視場的每兩個攝像機為邊，構(gòu)建多攝像機系統(tǒng)的視 覺圖，在視覺圖中，每條邊的方向暫時由初始標定的局部旋轉(zhuǎn)矩陣和平移向量確定，并由前 一攝像機指向變換后的另一攝像機；步驟42、確定參考攝像機，重新建立攝像機之間的連接關(guān)系在視覺圖內(nèi)，確定一個參考攝像機，參考攝像機選擇時考慮與相鄰攝像機的關(guān)系，由參 考攝像機開始，重新調(diào)整和建立攝像機之間的連接關(guān)系；步驟43、采用最短路徑法確定每個攝像機在參考攝像機坐標系下的旋轉(zhuǎn)和平移量； 使用最短路徑求解從參考攝像機到每個攝像機的絕對位置，設(shè)Ci, Cj, Ck是視覺圖某一 路徑上的相互聯(lián)接的攝像機，對已標定的兩兩攝像機，分別得到從Ci到Cj和Cj到Ck的變換 矩陣(Rij, Tij)和(Rjk，Tjk)，從Ci到Ck的關(guān)系由下式計算 Rik = RijRjk' Tik = Tij^RijTjk(9)如果從參考攝像機的路徑上的結(jié)點多余兩個，則多次使用上式求解，完成所有攝像機 相對于參考攝像機的絕對標定。
6.如權(quán)利要求1所述的基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法，其 特征在于所述的步驟5包含如下步驟步驟51、獲取初始三維標定點集由步驟22和步驟32，采集并識別標志點在所有攝像機中不同標定點的圖像坐標，根據(jù) 前4步獲得的全部標定參數(shù)，反投影得到一個三維稀疏標定點集，由于標定中使用了多攝 像機的簡單連接關(guān)系，這個重建的三維稀疏標定點集和標定參數(shù)均存在誤差； 步驟52、構(gòu)建反投影誤差函數(shù)假設(shè)有η個三維坐標點和m個攝像機，第i個點在第j個攝像機圖像上的投影坐標為 Xij,每個攝像機的參數(shù)由向量…表示，每個三維點可用向量h表示，函數(shù)Q (，)定義三維點 在攝像機像面上的投影，函數(shù)d(x，y)代表圖像點χ和y之間的歐氏距離，根據(jù)射影幾何關(guān) 系，建立如下的反投影誤差函數(shù)
7.如權(quán)利要求5所述的基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法，其 特征在于所述的反投影誤差函數(shù)是一個包含有P e □ μ參數(shù)向量的非線性最小化問題， P e Rm參數(shù)向量由所有攝像機的位姿參數(shù)和三維測量點集X e □ N組成。
全文摘要
一種基于光學(xué)成像測頭和視覺圖結(jié)構(gòu)的多攝像機系統(tǒng)標定方法，利用光學(xué)成像測頭對各攝像進行獨立標定，得到各攝像機的內(nèi)參數(shù)和畸變參數(shù)初值；對多攝像機進行兩兩標定，采用線性估計方法得到視場有重疊區(qū)域的兩個攝像機間的基本矩陣、極線約束、旋轉(zhuǎn)矩陣和平移向量；根據(jù)圖理論和視覺圖結(jié)構(gòu)建立多攝像機間的連接關(guān)系，采用最短路徑方法估計每個攝像機相對于參考攝像機的旋轉(zhuǎn)和平移向量初值；運用稀疏捆綁調(diào)整算法對所有攝像機的全體內(nèi)外參數(shù)和采集的光學(xué)成像測頭的三維標志點集進行優(yōu)化估計，得到高精度的標定結(jié)果。本發(fā)明標定過程簡單，由局部到全局、由粗到精，實現(xiàn)了高精度和魯棒的標定，適用于不同測量范圍、不同分布結(jié)構(gòu)的多攝像機系統(tǒng)的標定。
文檔編號G06T7/00GK102034238SQ20101058526
公開日2011年4月27日 申請日期2010年12月13日 優(yōu)先權(quán)日2010年12月13日
發(fā)明者李進軍, 趙宏 申請人:西安交通大學(xué)