專利名稱：一種攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及廣播電視領(lǐng)域電視節(jié)目制播技術(shù)，特別涉及ー種攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法和裝置。
背景技術(shù)：
在圖像/視頻處理軟件中，采用增強(qiáng)現(xiàn)實(shí)的技術(shù)將實(shí)際拍攝的畫面與虛擬創(chuàng)建的物體進(jìn)行完美結(jié)合具有廣泛的需求。這里的ー個(gè)核心任務(wù)是攝像機(jī)定標(biāo)，它也是計(jì)算機(jī)視覺領(lǐng)域的ー個(gè)重要課題，即需要根據(jù)攝像機(jī)拍攝的ニ維圖象提取三維空間信息，建立起物景空間的世界坐標(biāo)與圖像空間的圖像坐標(biāo)的映射關(guān)系。攝像機(jī)自定標(biāo)指的是只利用圖像之間的特征點(diǎn)對應(yīng)關(guān)系，計(jì)算出攝像機(jī)內(nèi)外參數(shù)的過程；三維點(diǎn)云指的是根據(jù)圖像中特征點(diǎn)ニ維位置信息和攝像機(jī)參數(shù)反推出這些點(diǎn)的三維坐標(biāo)信息。 現(xiàn)有技術(shù)中求解攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)的方法如下針孔攝像機(jī)是最簡單最理想的模型，光線從無限小的開孔進(jìn)入，而形成一倒立圖像在開孔面的對應(yīng)平面上，為了簡化，把成像平面放到相機(jī)中心和觀測物中間，如圖I所
/Jn ο
Γ I僅 JYx = —.y = —
Z Z獲取攝像機(jī)內(nèi)外參數(shù)的方法攝像機(jī)按透視射影變換將空間點(diǎn)M= (X，Y，Z，1)T投影到像點(diǎn)m= (x，y，l)T，用公式寫成m = Px(I)
[Λ s %投影矩陣P可進(jìn)ー步分解成ρ=κ[ηη η] (K = O fy v0 )
0 0 I其中，K是將圖象坐標(biāo)系變換到攝像機(jī)坐標(biāo)系所需的只與攝像機(jī)自身有關(guān)的參數(shù)矩陣，我們稱之為攝像機(jī)內(nèi)參數(shù)矩陣。(Uc^vci)為主點(diǎn)坐標(biāo)(Principl印oint)，f為有效焦距(Effective focal length), α 為縱橫比(Aspect ratio), s 為傾斜因子(Skew factor)。外參數(shù)矩陣[R|t]可以分解為旋轉(zhuǎn)矩陣R和平移矢量t，R，t分別是世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矢量，被稱為攝像機(jī)外參數(shù)。其中旋轉(zhuǎn)矩陣R是ー個(gè)3*3的単位正交矩陣，反映了攝像機(jī)在世界坐標(biāo)下的朝向，而平移矢量t是ー個(gè)三維矢量，它反映了攝像機(jī)在世界坐標(biāo)系下的位置。
rU r\2 r\3,XR — T21 T22 T2j、T — ty
ダ31ァ32す33』 ブζ』minf ，ち(ペろ+ヰ))2可以轉(zhuǎn)化成如下的線性求解，得到攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)Pi3XjXij-PilXj = O(2)Pi3XjYij-Pi2Xj = O其中Pi = Ki [Ri I ，Pik代表Pi的第k的行，Uij (xij; Yij)為跟蹤點(diǎn)j在圖像i上的坐標(biāo)。在這里，R，t分別是世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矢量，被稱為攝像機(jī)外參數(shù)；K是將圖象坐標(biāo)系變換到攝像機(jī)坐標(biāo)系所需的只與攝像機(jī)自身有關(guān)的參數(shù)矩陣，我們稱之為攝像機(jī)內(nèi)參數(shù)矩陣。(Utl, v0)為主點(diǎn)坐標(biāo)(Principle point), f為有效焦距(Effective focal length), α 為縱橫比(Aspect ratio), s 為傾斜因子(Skew factor)。
現(xiàn)有技術(shù)無法高效、精確地標(biāo)定攝像機(jī)參數(shù)和三維點(diǎn)云的生成；并且現(xiàn)有技術(shù)采用的集束調(diào)整會使求解的速度減慢。

發(fā)明內(nèi)容
本發(fā)明提供一種攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法和裝置。通過應(yīng)用本發(fā)明實(shí)施例，高效、精確地標(biāo)定攝像機(jī)參數(shù)和三維點(diǎn)云的生成；采用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化，大大提高了求解的速度。為達(dá)到上述目的，本發(fā)明提供一種攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法，包括接收圖像序列畫面的特征點(diǎn)的信息；根據(jù)所能匹配的特征點(diǎn)的數(shù)量以及與其他幀之間的距離選擇初始幀，對所述圖像序列畫面的三維信息進(jìn)行初始化，將初始化值作為后續(xù)求解的初值；從所述圖像序列畫面中選出需要求解的關(guān)鍵幀；根據(jù)所述關(guān)鍵幀對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，并使用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化；當(dāng)對所有關(guān)鍵幀初始求解后，利用關(guān)鍵幀的差值計(jì)算出非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)，根據(jù)所述非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行進(jìn)ー步優(yōu)化。另ー方面，本發(fā)明還提供一種攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成裝置，包括接收單元，用于接收圖像序列畫面的特征點(diǎn)信息；初始化單元，用于根據(jù)所能匹配的特征點(diǎn)的數(shù)量以及與其他幀之間的距離選擇初始幀，對所述圖像序列畫面的三維信息進(jìn)行初始化，將初始化值作為后續(xù)求解的初值；選擇單元，用于從所述圖像序列畫面中選出需要求解的關(guān)鍵幀；調(diào)整單元,用于選取所述關(guān)鍵巾貞對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，并使用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化；優(yōu)化單元，用于利用關(guān)鍵幀的差值計(jì)算出其他非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)，并進(jìn)行進(jìn)ー步優(yōu)化。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)I、高效、精確地標(biāo)定攝像機(jī)參數(shù)和三維點(diǎn)云的生成；2、采用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化，大大提高了求解的速度。


為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例描述中使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖I為現(xiàn)有技術(shù)中“小孔成像”原理圖；圖2為本發(fā)明實(shí)施例提供的一種攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法流程圖；圖3為發(fā)明實(shí)施例提供的一種攝像 機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成裝置示意圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，需要指出的是，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。本發(fā)明實(shí)施例提供一種攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法，如圖2所示，包括步驟S201、接收圖像序列畫面的特征點(diǎn)信息。接受圖像序列(視頻)畫面的特征點(diǎn)信息，所述特征點(diǎn)信息包括特征點(diǎn)的像素位置和下一幀對應(yīng)像素的匹配關(guān)系、顔色信息。特征點(diǎn)的生成和跟蹤可以參考現(xiàn)有技術(shù)中Harris角點(diǎn)，Sift角點(diǎn)，F(xiàn)ast角點(diǎn)等生成方法,在此不再贅述。步驟S202、根據(jù)視點(diǎn)對極幾何關(guān)系消除不滿足極線約束的特征點(diǎn)。在步驟S201中接收的特征點(diǎn)信息中，根據(jù)視點(diǎn)對極幾何關(guān)系(Epipolargeometry),即極線約束,將那些不滿足極線約束的特征點(diǎn)消除。所述極線約束需要滿足如下條件X' 1Fx = O(3)其中F是秩為2的3X3矩陣,稱為基礎(chǔ)矩陣(Fundamental matrix), x為第一幅圖象上的三維點(diǎn)投射點(diǎn)，X'為第二幅圖象上的三同一個(gè)維點(diǎn)投射點(diǎn)。步驟S203、根據(jù)與所述特征點(diǎn)的匹配數(shù)量以及兩幀之間的距離選擇初始幀，對所述圖像序列畫面的三維信息進(jìn)行初始化，將初始化值作為后續(xù)求解的初值。選取初始巾貞對結(jié)構(gòu)與運(yùn)動(Structure From Motion, SFM)進(jìn)行初始化。SFM為通過分析攝像機(jī)移動時(shí)拍到的場景來得到場景的三維信息。初始幀的選取需要滿足兩個(gè)條件需要有足夠多的特征點(diǎn)匹配，幀之間距離不能太近，即基線(baseline)不能太短。否則求解的結(jié)構(gòu)會有較大誤差?；€的大小可以通過b = median {d (Huij, ukj)},其中單應(yīng)矩陣(Homography)是ー個(gè)3*3的滿秩矩陣，表示兩個(gè)平面之間的映射關(guān)系，用所有誤差在閾值以內(nèi)的匹配點(diǎn)，求取兩巾貞(i，k)之間使得b最小的H。單應(yīng)矩陣(Homography)要滿足下面的公式X = H1X(4)X' ^ H2X同時(shí)，本實(shí)施例允許輸入初始巾貞initialize framed, frame I。
將初始化值作為后續(xù)求解的初值。步驟S204、從所述圖像序列畫面中選出需要求解的關(guān)鍵幀。從圖像序列(視頻)中選出需要進(jìn)行求解的關(guān)鍵幀，這些關(guān)鍵幀的選取既要保證間隔要大，即基線越長，求解越有利，同時(shí)要保證有足夠多的特征點(diǎn)匹配。一般我們推薦選擇的這些關(guān)鍵幀有150個(gè)以上的特征點(diǎn)匹配。同時(shí)允許輸入關(guān)鍵幀間隔，我們將根據(jù)關(guān)鍵幀間隔自動從圖像序列(視頻)中選取這些關(guān)鍵幀。步驟S205、選取關(guān)鍵幀對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，并使用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化。初始求解的值不一定是最優(yōu)解，因?yàn)檫@個(gè)求解過程是一個(gè)非線性方程求解，所以為了最快求解出最優(yōu)值需要先進(jìn)行初始計(jì)算，然后以這個(gè)初始計(jì)算結(jié)果采用最小二乗法快 速求解最優(yōu)解。具體步驟如下按照一定比例(這個(gè)可以自由確定，比如可以是30% )選取關(guān)鍵幀加入求解過程，我們先采用最小二乗法對公式
P V χ —P Y —Q(2) ' 'J ニ 進(jìn)行初始求解，然后使用集束調(diào)整(Sparse
~ . j —り
BundleAdjustment SBA)對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化。但是,一般的集束調(diào)整速度比較慢，這時(shí)就可以根據(jù)用戶的輸入(比如只有攝像機(jī)沒有平移)進(jìn)行局部集束調(diào)整，即用戶知道拍攝的時(shí)候只有旋轉(zhuǎn)，而沒有進(jìn)行平移，這樣我們可以在求解的時(shí)候只求解局部參數(shù)，省略掉平移參數(shù)，而不是將所有攝像機(jī)所有參數(shù)進(jìn)行求解。其中，求解過程中可能會丟掉ー些特征點(diǎn)，如果有特征點(diǎn)的丟失，則需要添加新的關(guān)鍵巾貞和新的特征點(diǎn)來繼續(xù)求解。使用局部集束調(diào)整可以大大提高求解的速度。全局的集束調(diào)整的復(fù)雜度為0(mn3)，其中m為三維點(diǎn)個(gè)數(shù)，η為求解關(guān)鍵幀個(gè)數(shù)。而局部集束調(diào)整的復(fù)雜度為0{ λη\η2) ,Iii1為局部的特征點(diǎn)，Ii1為局部的關(guān)鍵巾貞參數(shù)，η2為新增加的關(guān)鍵中貞。步驟S206、利用關(guān)鍵幀的差值計(jì)算出其他非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)，并進(jìn)行進(jìn)ー步優(yōu)化。對所有關(guān)鍵幀求解后，我們將利用關(guān)鍵幀差值出攝像機(jī)運(yùn)動參數(shù)，然后利用
PiJlXPcU —PnXj = Opp “ 。做進(jìn)一步的優(yōu)化。
Pl3xJy1J -PnxJ =0步驟S207、輸出所有所述圖像序列畫面的攝像機(jī)參數(shù)和三維點(diǎn)云信息。通過應(yīng)用本發(fā)明實(shí)施例，高效、精確地標(biāo)定攝像機(jī)參數(shù)和三維點(diǎn)云的生成；采用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化，大大提高了求解的速度。本發(fā)明實(shí)施例還提供ー種攝像機(jī)變焦曲線的標(biāo)定裝置，如圖3所示，包括接收單元301，用于接收圖像序列畫面的特征點(diǎn)信息；初始化單元303，用于根據(jù)與所述特征點(diǎn)的匹配數(shù)量以及兩幀之間的距離選擇初始幀，對SFM進(jìn)行初始化；選擇單元304，用于從所述圖像序列畫面中選出需要求解的關(guān)鍵幀；調(diào)整單元305，用于選取所述關(guān)鍵幀對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，并使用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化；優(yōu)化單元306，用于利用關(guān)鍵幀的差值計(jì)算出其他非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)，并進(jìn)行進(jìn)一步優(yōu)化。所述裝置還包括消除單元302，用于所述接受單元在接收圖像序列畫面的特征點(diǎn)信息之后，根據(jù)視點(diǎn)對極幾何關(guān)系消除不滿足極線約束的特征點(diǎn)。輸出單元307，用于輸出所有所述圖像序列畫面的攝像機(jī)參數(shù)和三維點(diǎn)云信息。通過應(yīng)用本發(fā)明實(shí)施例，高效、精確地標(biāo)定攝像機(jī)參數(shù)和三維點(diǎn)云的生成；采用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化，大大提高了求解的速度。本發(fā)明包括但不局限于以上描述的實(shí)施例，任何本領(lǐng)域的技術(shù)人員不需要付出創(chuàng) 造性勞動就能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種高效精確的攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法，其特征在于，包括以下步驟 接收圖像序列畫面的特征點(diǎn)的信息； 根據(jù)所能匹配的特征點(diǎn)的數(shù)量以及與其他幀之間的距離選擇初始幀，對所述圖像序列畫面的三維信息進(jìn)行初始化，將初始化值作為后續(xù)求解的初值； 從三維信息初始化后的圖像序列畫面中選出需要求解的關(guān)鍵幀； 根據(jù)所述關(guān)鍵幀對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，在所述初始求解的過程中通過局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化； 當(dāng)對所有關(guān)鍵幀初始求解后，利用關(guān)鍵幀的差值計(jì)算出非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)，根據(jù)所述非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行進(jìn)ー步優(yōu)化。
2.如權(quán)利要求I中所述的方法，其特征在于，在所述根據(jù)與所述特征點(diǎn)的匹配數(shù)量以及兩幀之間的距離選擇初始幀，對所述圖像序列畫面的三維信息進(jìn)行初始化之前，還包括 根據(jù)視點(diǎn)對極幾何關(guān)系消除不滿足極線約束的特征點(diǎn)。
3.如權(quán)利要求I中所述的方法，其特征在于，所述特征點(diǎn)信息包括特征點(diǎn)的像素位置和下一幀對應(yīng)像素的匹配關(guān)系、顔色信息。
4.如權(quán)利要求I中所述的方法，其特征在于，所述選取關(guān)鍵幀對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，并使用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化還包括求解過程中如果有特征點(diǎn)的丟失，則添加新的關(guān)鍵幀和新的特征點(diǎn)來繼續(xù)求解。
5.如權(quán)利要求I中所述的方法，其特征在于，在所述利用關(guān)鍵幀的差值計(jì)算出其他非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)，并進(jìn)行進(jìn)ー步優(yōu)化之后，還包括 輸出所有所述圖像序列畫面的攝像機(jī)參數(shù)和三維點(diǎn)云信息。
6.一種高效精確的攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成裝置，其特征在于，包括 接收單元，用于接收圖像序列畫面的特征點(diǎn)信息； 初始化單元，用于根據(jù)所能匹配的特征點(diǎn)的數(shù)量以及與其他幀之間的距離選擇初始幀，對所述圖像序列畫面的三維信息進(jìn)行初始化，將初始化值作為后續(xù)求解的初值； 選擇單元，用于從所述圖像序列畫面中選出需要求解的關(guān)鍵幀； 調(diào)整單元，用于選取所述關(guān)鍵幀對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，并使用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化； 優(yōu)化單元，用于利用關(guān)鍵幀的差值計(jì)算出其他非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)，并進(jìn)行進(jìn)ー步優(yōu)化。
7.如權(quán)利要求6中所述的裝置，其特征在于，還包括消除単元和輸出單元， 所述消除単元，用于所述接受単元在接收圖像序列畫面的特征點(diǎn)信息之后，根據(jù)視點(diǎn)對極幾何關(guān)系消除不滿足極線約束的特征點(diǎn)。
所述輸出単元，用于輸出所有所述圖像序列畫面的攝像機(jī)參數(shù)和三維點(diǎn)云信息。
全文摘要
本發(fā)明公開一種高效精確的攝像機(jī)參數(shù)標(biāo)定和三維點(diǎn)云生成方法，包括接收圖像序列畫面的特征點(diǎn)的信息；根據(jù)所能匹配的特征點(diǎn)的數(shù)量以及與其他幀之間的距離選擇初始幀，對所述圖像序列畫面的三維信息進(jìn)行初始化，將初始化值作為后續(xù)求解的初值；從所述圖像序列畫面中選出需要求解的關(guān)鍵幀；根據(jù)所述關(guān)鍵幀對攝像機(jī)參數(shù)和三維點(diǎn)云目標(biāo)函數(shù)進(jìn)行初始求解，并使用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化；根據(jù)所述非關(guān)鍵幀攝像機(jī)運(yùn)動參數(shù)對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行進(jìn)一步優(yōu)化。本發(fā)明實(shí)施例高效精確地標(biāo)定攝像機(jī)參數(shù)和三維點(diǎn)云的生成；采用局部集束調(diào)整對攝像機(jī)參數(shù)和三維點(diǎn)云進(jìn)行優(yōu)化，大大提高了求解的速度。
文檔編號G06T17/00GK102750687SQ201110286898
公開日2012年10月24日 申請日期2011年9月23日 優(yōu)先權(quán)日2011年9月23日
發(fā)明者劉鐵華, 見良, 鄭鵬程 申請人:新奧特(北京)視頻技術(shù)有限公司