專利名稱：一種獲取虛擬視圖的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺領(lǐng)域，特別涉及一種獲取虛擬視圖的方法和裝置。
背景技術(shù)：
近年來，隨著自由立體顯示技術(shù)的快速發(fā)展，出現(xiàn)了可以讓人們體驗到立 體感和真實感的立體視頻，并且還出現(xiàn)了不需要觀察者佩戴立體眼鏡或者其他 特制設(shè)備就可以體驗到立體感和真實感的立體視頻。與傳統(tǒng)的二維視頻相比， 立體視頻是一種更有效、更真實的表達方式。它克服了二維視頻的片面性與被
動性的缺點，能夠更充分地滿足人們的視覺感官需求，在交互式FVV(Free Viewpoint Video,自由一見點一見頻)、虛擬現(xiàn)實、3DTV ( 3 Dimension Television, 3 維電視)、3D游戲、體育直播、廣告?zhèn)髅降群芏囝I(lǐng)域有著廣泛的應(yīng)用前景?；?于立體視頻的種種優(yōu)點，如何制作立體視頻獲得了研究界和工業(yè)界越來越多的 關(guān)注，立體視頻的制作技術(shù)也越來越成熟。制作立體視頻時， 一般需要先獲取 虛擬視圖，然后根據(jù)虛擬視圖就可以很容易地得到立體視頻，因此制作立體視 頻的關(guān)鍵在于如何獲取虛擬視圖。
目前獲取虛擬視圖的方法通常是首先，通過圖像采集設(shè)備采集得到多個 不同視點的原始圖像；然后，使用一些專用的圖像編輯軟件(如Photoshop等)， 由熟練的技術(shù)人員 一 幀 一 幀地對采集到的多個不同視點的原始圖像進行人工處 理，得到虛擬視圖。
在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題 現(xiàn)有的方法需要大量的人工參與，如以每秒24幀計算， 一分鐘的立體視頻 就需要處理1440幀圖像，因此，工作量非常大，成本也很高。

發(fā)明內(nèi)容
為了減少獲取虛擬視圖過程中人工參與量、降低成本，本發(fā)明實施例提供 了一種獲取虛擬視圖的方法和裝置。所述技術(shù)方案如下一方面，本發(fā)明實施例提供了一種獲取虛擬一見圖的方法，所述方法包括 利用N個圖像采集設(shè)備采集得到N個不同視點的原始圖像，所述N為大于 1的自然數(shù)；
對N個所述原始圖像進行像素窗口匹配，得到N個所述原始圖像中每兩個 相鄰圖傳_對應(yīng)的深度圖 <象；
從N個所述原始圖像中任選一個圖像作為參考視圖，并在所述參考視圖和 其相鄰原始圖^象之間，確定待獲取虛擬視圖的位置；
根據(jù)所述參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以 及所述待獲取虛擬視圖相對所述參考視圖的距離，對所述參考視圖進行平移得 到所述待獲取虛擬視圖。
另一方面，本發(fā)明實施例提供了一種獲取虛擬視圖的裝置，所述裝置包括
原始圖像獲取模塊，用于利用N個圖像采集設(shè)備采集得到N個不同視點的 原始圖像，所述N為大于1的自然數(shù)；
深度圖像獲取模塊，用于在所述原始圖像獲取模塊得到N個不同視點的原 始圖像后，對N個所述原始圖像進行像素窗口匹配，得到N個所述原始圖像中 每兩個相鄰圖像對應(yīng)的深度圖像；
參考視圖獲取模塊，用于在所述深度圖像獲f^莫塊得到深度圖像后，從N 個所述原始圖像中任選一個圖像作為參考視圖，并在所述參考視圖和其相鄰原 始圖像之間，確定待獲取虛擬視圖的位置；
虛擬視圖獲取模塊，用于在所述參考視圖獲^^莫塊確定待獲取虛擬視圖的 位置后，根據(jù)所述參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像， 以及所述待獲取虛擬視圖相對所述參考視圖的距離，對所述參考視圖進行平移 得到所述待獲取虛擬^L圖。
本發(fā)明實施例提供的技術(shù)方案的有益效果是
通過對原始圖像進行像素窗口匹配和平移得到虛擬視圖，不需要人工參與， 減少了工作量，降低了成本。


圖l是本發(fā)明實施例l提供的一種獲取虛擬一見圖的方法流程圖； 圖2是本發(fā)明實施例2提供的一種獲取虛擬視圖的方法流程圖；圖； 圖4是本發(fā)明實施例3提供的另 一種獲取虛擬視圖的裝置結(jié)構(gòu)示意圖。
具體實施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明 實施方式作進一步地詳細(xì)描述。 實施例1
本發(fā)明實施例提供了一種獲取虛擬視圖的方法，參見圖1,具體包括 101:利用N個圖像采集設(shè)備采集得到N個不同視點的原始圖像，N為大于 1的自然婆丈。
圖像采集設(shè)備可以是攝像機、照相機、數(shù)碼相機等可以采集圖像的設(shè)備。 圖像采集設(shè)備采集到的原始圖像一般為RGB (Red Green Blue,紅綠藍)空間的 圖像；N個圖像采集設(shè)備可以根據(jù)具體情況，按照平行或者匯聚的方式依次排 列在采集對象的周圍，分別從不同角度對采集對象進行采集，得到N個不同視 點的原始圖像。
102:對N個原始圖像進行像素窗口匹配，得到N個原始圖像中每兩個相 鄰圖像對應(yīng)的深度圖像。
需要說明的是，N個原始圖像中每兩個相鄰圖像是指該兩個圖像是由位置 相鄰的圖像采集設(shè)備采集得到的，并且文中其他地方的相鄰的圖像采集設(shè)備是 指位置上相鄰。每兩個相鄰圖像可以得到一個對應(yīng)的深度圖像，可根據(jù)實際應(yīng) 用狀況需要得到需要個數(shù)的深度圖像，實際應(yīng)用中并不一定需要得到N個原始 圖像中所有兩個相鄰圖像對應(yīng)的深度圖像。
103:從N個原始圖像中任選一個圖像作為參考視圖，并在參考視圖和其 相鄰原始圖像之間，確定待獲取虛擬視圖的位置。
其中，參考視圖的相鄰原始圖像可以是與參考視圖相鄰的任一原始圖像， 可以根據(jù)實際應(yīng)用狀況，靈活選擇。待獲取虛擬視圖是需要得到的虛擬視圖。 待獲取虛擬視圖需要參考哪個原始圖像得到，則選擇該原始圖像作為該待獲取 虛擬視圖的參考視圖。
104:根據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以及待 獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平移得到待獲取虛擬視圖。其中，對N個原始圖像進行像素窗口匹配，得到N個原始圖像中每兩個相 鄰圖像對應(yīng)的深度圖像，具體包括
為N個原始圖4象中的每個圖像中的每個像素預(yù)設(shè)一個匹配窗口 ；
將N個原始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素，根據(jù)當(dāng)前 像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用預(yù)設(shè) 的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每個像 素對當(dāng)前像素的支持權(quán)重；
在將N個原始圖像中的每個圖像中的每個像素的支持權(quán)重計算完成后，將 N個原始圖像中的每個圖像分別作為當(dāng)前圖像，將當(dāng)前圖像中的每個像素分別 作為當(dāng)前像素，從當(dāng)前圖像的相鄰圖像中為當(dāng)前像素選擇多個待匹配像素，根 據(jù)當(dāng)前像素對應(yīng)的匹配窗口中每個像素對當(dāng)前像素的支持權(quán)重，利用預(yù)設(shè)的像 素窗口權(quán)重累積平方差計算公式，分別計算得到當(dāng)前像素與多個待匹配像素中 的每個待匹配像素的像素窗口權(quán)重累積平方差值；
在將每兩個相鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重累積平 方差值計算完成后，根據(jù)計算得到的所有像素窗口權(quán)重累積平方差值，為每個 圖像中的每個像素，在其對應(yīng)的多個待匹配像素中，選擇一個待匹配像素作為 該像素的匹配像素；
根據(jù)N個所述原始圖像中各個圖像之間相互匹配的像素、N個所述圖像采 集設(shè)備中每兩個相鄰圖像采集設(shè)備之間的基線距離，利用預(yù)設(shè)的深度圖像像素 值計算公式，計算得到N個所述原始圖像中每兩個相鄰圖像對應(yīng)的深度圖像的 像素值。
本發(fā)明實施例中為N個原始圖像中的每個圖像中的每個像素預(yù)設(shè)一個匹配 窗口可以為將N個校正后的圖像中的每個圖像中的每個像素分別作為中心像 素，將以每個中心像素為中心的該中心像素的周圍的其他像素組合得到每個像 素對應(yīng)的預(yù)設(shè)大小的匹配窗口。還可以根據(jù)實際應(yīng)用狀況采用其他方法為N個 原始圖像中的每個圖像中的每個像素預(yù)設(shè)一個匹配窗口 。
其中，預(yù)設(shè)的像素支持權(quán)重計算公式具體為
<formula>formula see original document page 13</formula>
其中，wQ^)表示像素q對像素p的支持權(quán)重，A、表示p、 q兩像素的顏 色的歐幾里德度量，Agp,表示p、 q兩像素的距離的歐幾里德度量，^、 ^是與人類視覺系統(tǒng)的視場有關(guān)的系數(shù)，&、。的數(shù)值可調(diào)節(jié)； 預(yù)設(shè)的像素窗口權(quán)重累積平方差計算公式具體為
， & )=…p-^-
其中，/V夂分別表示N個原始圖像中兩相鄰圖像之間的參考像素和待匹 配像素，五OvPJ表示兩相鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重
累積平方差，w(^，&)， W(^，^)分別表示^對A的支持權(quán)重、^對^的支持權(quán)
重，^p表示像素A對應(yīng)的匹配窗口中的所有的像素，W-表示像素A對應(yīng)的 匹配窗口中的所有的像素，,《rf)表示兩相鄰圖像的對應(yīng)的匹配窗口中同一位 置的像素之間的平方差值；
預(yù)設(shè)的深度圖像像素值計算公式具體為
、
其中，Z表示N個原始圖像中兩個相鄰圖像對應(yīng)的深度圖像；/表示N個 圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值；Z^表示N個圖像采集設(shè) 備中兩個相鄰圖像采集設(shè)備之間的基線距離；《表示N個原始圖像中兩個相鄰 圖像之間相互匹配像素的位置的相對距離的絕對值。
進一步地，為N個原始圖像中的每個圖像中的每個像素預(yù)設(shè)一個匹配窗口 之后，將N個原始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素，根據(jù)當(dāng) 前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用預(yù) 設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每個 像素對當(dāng)前像素的支持權(quán)重之前還包括
將N個原始圖像從紅綠藍RGB空間轉(zhuǎn)換到CIELab空間；
相應(yīng)地，將N個原始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素， 根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息， 利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中 的每個像素對當(dāng)前像素的支持權(quán)重具體為
在CIELab空間中，將N個原始圖像中的每個圖像中的每個像素分別為當(dāng)前 像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配 窗口中的每個像素對當(dāng)前像素的支持權(quán)重。
其中，根據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以及 待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平移得到待獲取虛擬視
圖具體包括
才艮據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，利用預(yù)設(shè)的 虛擬視圖相對參考視圖的距離公式，計算得到待獲取虛擬視圖相對參考視圖的 距離；
根據(jù)計算得到的待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平 移，得到待獲取虛擬視圖。
其中，預(yù)設(shè)的虛擬視圖相對參考視圖的距離公式具體為
《=A 2 J Z
其中，《表示待獲取虛擬視圖與參考視圖之間對應(yīng)像素的位置的相對距離； /表示N個圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值；Z表示N 個所述原始圖像中兩個相鄰圖像對應(yīng)的深度圖像的像素值；62表示待獲取虛擬視
圖與參考視圖的基線距離，且&2=&， A為大于1的自然數(shù)，^表示N個圖像采
集設(shè)備中兩個相鄰圖像采集設(shè)備之間的基線距離。
進一步地，利用N個圖像采集設(shè)備采集得到N個不同視點的原始圖像之后， 對N個原始圖像進行像素窗口匹配，得到N個原始圖像中每兩個相鄰圖像對應(yīng) 的深度圖像之前還包括
對N個圖像采集設(shè)備采集到的N個不同視點的原始圖像進行外極線校正， 得到N個校正后的圖像；
相應(yīng)地，對N個原始圖像進行像素窗口匹配，得到N個原始圖像中每兩個 相鄰圖像對應(yīng)的深度圖像具體為
對N個校正后的圖像進行像素窗口匹配，得到N個校正后的圖像中每兩 個相鄰圖像對應(yīng)的深度圖像；
相應(yīng)地，從N個原始圖像中任選一個圖像作為參考視圖，在參考視圖和其 相鄰原始圖像之間，確定待獲取虛擬視圖的位置具體為
從N個校正后的圖像中任選一個圖像作為參考視圖，在參考視圖和其相鄰 的校正后的圖像之間，確定待獲取虛擬視圖的位置；相應(yīng)地，根據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以 及待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平移得到待獲取虛擬
視圖具體為
根據(jù)參考視圖，參考視圖和其相鄰的校正后的圖像對應(yīng)的深度圖像，以及 待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平移得到待獲取虛擬視 圖。
本發(fā)明實施例所述的獲取虛擬視圖的方法，通過對原始圖像進行像素窗口 匹配和平移得到虛擬視圖，不需要人工參與，減少了工作量，降低了成本。并 且通過利用立體匹配中的基于顏色和距離的區(qū)域度量法則，可以較好地描述空 間事物的特征屬性?？梢愿鶕?jù)具體情況選擇生成多個虛擬視圖，可以在不同采 集條件下，得到多個不同的虛擬視圖，可以有效地利用已有的圖像采集設(shè)備。 由于采用了自適應(yīng)權(quán)重的窗口匹配，能夠?qū)Σ煌疃葘用娴南袼刭x予比較合適 的權(quán)重，提高了匹配的準(zhǔn)確性?？梢苑謩e獲取深度圖像和虛擬視圖，能夠應(yīng)用 于各種不同商業(yè)需求，具有很廣泛的適用性，對于不同的立體顯示器，可以采 取不同的立體視圖合成方法，達到多視點自由立體顯示效果。
實施例2
本發(fā)明實施例提供了一種獲取虛擬視圖的方法，參見圖2，具體包括 201: N個圖像采集設(shè)備對采集對象進行采集，得到N個不同視點的原始
圖像，其中N為大于1的自然數(shù)。
圖像采集設(shè)備可以是攝像機、照相機、數(shù)碼相機等可以采集圖像的設(shè)備。N
個圖像采集設(shè)備可以根據(jù)具體情況，按照平行或者匯聚的方式依次排列在采集
對象的周圍，分別從不同角度對采集對象進行采集，得到N個不同視點的原始圖像。
202:對N個圖像采集設(shè)備采集到的N個不同視點的原始圖像進行外極線 校正，得到N個校正后的圖像。
需要說明的是，在雙視幾何中，如果一個像素的深度未知，那么該像素就 可能對應(yīng)參考視圖中的一條直線上的所有像素，也就是說在參考視圖中的這條 直線上的所有像素都可能與該像素匹配，但是實際上匹配像素只有一個，并且 一般情況下這條直線不是一條水平直線，而是一條斜線，稱為該像素對應(yīng)的外極線。通過外極線校正可使得立體圖像對應(yīng)的外極線為水平方向，消除垂直方 向上的視差，使得在立體匹配過程中可以更快速準(zhǔn)確地尋找匹配像素，也就是 說可以在一條水平線上找匹配像素，可將尋找范圍縮小到一維，減少計算量。
203:將N個校正后的圖像中的每個圖像中的每個像素分別作為中心像素， 將以每個中心像素為中心的該中心像素的周圍的其他像素組合得到每個像素對 應(yīng)的預(yù)i殳大小的匹配窗口。
其中，每個像素對應(yīng)的預(yù)設(shè)大小的匹配窗口可以相同也可以不相同；本發(fā) 明實施例中預(yù)設(shè)大小的匹配窗口采用奇數(shù)大小的窗口，可以是lx3像素、3x5 像素、3x3像素、7x7像素等，并且可以選擇窗口的形狀是正方形、矩形、長 方形、圓形、橢圓形等，可以根據(jù)實際需要進行設(shè)置。本發(fā)明實施例中優(yōu)選設(shè) 置預(yù)設(shè)大小的匹配窗口為7x7像素，則將N個才交正后的圖^f象中的每個圖^f象中的 每個像素作為中心像素，建立每個像素對應(yīng)的預(yù)設(shè)大小的匹配窗口為7x7像素， 例如， 一個圖像中包括M個像素，則將該圖像中的每一個像素分別作為中心像 素，建立每個像素對應(yīng)的預(yù)設(shè)大小的匹配窗口為7 x 7像素，則共建立M個7 x 7像素大小的窗口。需要說明的是，當(dāng)將每一個圖像的四個角的像素或是4個周 邊的像素作為中心像素建立預(yù)設(shè)大小的匹配窗口時，會遇到該像素的周圍沒有 像素的情況，這時可以將該像素的周圍的沒有的像素設(shè)為0,或者可以直接建立 該些像素對應(yīng)的窗口大小為1 x 1像素(即將該些像素本身作為一個窗口)等， 并不限于該兩種方法，可以根據(jù)具體情況靈活處理。
204:將N個校正后的圖像從RGB空間轉(zhuǎn)換到CIELab空間，并在C正Lab 空間中，將N個校正后的圖像中的每個圖像中的每個像素分別作為當(dāng)前像素， 根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息， 利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中 的每個像素對當(dāng)前像素的支持權(quán)重。
需要說明的是，本發(fā)明實施例中由于當(dāng)前像素對應(yīng)的匹配窗口是將當(dāng)前像 素作為中心像素建立的，所以每個像素相對當(dāng)前像素的顏色和距離信息也相當(dāng) 于是每個像素相對中心像素的顏色和距離信息。
CIELab是慣常用來描述人眼可見的所有顏色的最完備的色彩模型，它被 設(shè)計來接近人類視覺，致力于感知均勻性。將圖像從RGB空間轉(zhuǎn)換到CIELab 空間的具體過禾呈如下首先，將圖像從RGB空間轉(zhuǎn)換到XYZ空間，具體的轉(zhuǎn)換公式如下
X=0.412453*R+0.357580*G+0.189423*B Y=0.212671 *R+0.715160*G+0.072169*B Z=0.019334*R+0.119193*G+0.950227*B
其中，R、 G和B分別表示圖像在RGB空間下的R像素值、G像素值和B 像素值；X、 Y和Z分別表示圖像在XYZ空間下的X像素值、Y像素值和Z像 素值。
然后，將圖像從XYZ空間轉(zhuǎn)換到CIELab空間，具體的轉(zhuǎn)換公式如下
= 116/(7/。-16
'""oo[/CY7;r")-/(y/;rj〗
"200[/("。-/(Z/ZJ〗 其中，L表示亮度(O-IOO), a(綠色到紅色)和b(藍色到黃色)表示顏色對立維 度；X、 Y和Z分別表示圖像在XYZ空間下的X像素值、Y像素值和Z像素值； 義 、 i;、 Z"是參考白點的CIE XYZ三色刺激值，X =244.66128、 y =255.0、 Z
V" f>(6/29)3
=277.63227;/(0 =
備(;)2"^ /為其他取值。 3 6 116
才艮據(jù)心理學(xué)的格式塔法則，顏色相似，距離相近的像素趨向于屬于同一物體。
因此當(dāng)前像素p與其鄰近像素q的相關(guān)性可以通過某種顏色和距離的度量法則 來4軒量，^口下戶斤示
咖,《)=F( , )=岸c^) 早；)
其中，w(AW表示像素q對像素P的支持權(quán)重。Acpg、 Agw分別表示兩像素顏
色和距離的Euclidean (歐幾里德)度量；基于人類視覺感知系統(tǒng)的特點，對Ac^
采用CIELab空間中的Euclidean度量，對Ag^采用像素之間位置的Euclidean度
量。F是表征距離和顏色相關(guān)性的準(zhǔn)則函數(shù)，F(xiàn)函數(shù)的選擇應(yīng)該滿足當(dāng)A ，Agw最
小的時候，F(xiàn)函數(shù)的值最大(說明此時對應(yīng)的鄰近像素與當(dāng)前像素關(guān)系最緊密， 反之越不緊密)。因此，就本質(zhì)而言，只要能夠大致反映出這種關(guān)系模式的函數(shù) 都可以，各種各樣的線性函數(shù)遞減，非線性遞減都可以，高斯函數(shù)，三角函數(shù) 都可以。
具體地采用CIELab空間中的Euclidean度量的A、如下所示具體地采用像素之間位置的Euclidean度量的Agw如下所示
= M -"2 + (Gp - G》2 + (A - A)2 具體地尸(A、)和F(Ag^)分別采用Laplacian (拉普拉斯)內(nèi)核描述即
<formula>formula see original document page 19</formula>
其中，exp表示指數(shù)函數(shù)，c、 ^是與人類視覺系統(tǒng)的視場有關(guān)的系數(shù)，& rp的
數(shù)值可調(diào)節(jié)，其取值的變化幅度如果不大，對結(jié)果影響不大，本發(fā)明實施例中 & 。的取值范圍為[10， 15]。
從而本發(fā)明實施例中像素支持權(quán)重的計算公式具體如下所示
w( A《)=F(A^, Agw)=牟S) 牟^) = exp(一 ，) exp(-,)
需要說明的是，當(dāng)前像素p對其自身也有支持權(quán)重，也就是說上述的鄰近像
素q中也包括當(dāng)前<象素p，即q的取^直也可以為p。
205:在將n個校正后的圖像中的每個圖像中的每個像素的支持權(quán)重計算完
成后，將n個校正后的圖像中的每個圖像分別作為當(dāng)前圖像，將當(dāng)前圖像中的
每個像素分別作為當(dāng)前像素，從當(dāng)前圖像的相鄰圖像中為當(dāng)前像素選擇多個待
匹配像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中每個像素對當(dāng)前像素的支持權(quán)重，
利用預(yù)設(shè)的像素窗口權(quán)重SSD( sum of squared distance,累積平方差)計算公式，
分別計算得到當(dāng)前像素與多個待匹配像素中的每個待匹配像素的像素窗口權(quán)重
累積平方差值。
具體地，預(yù)設(shè)的像素窗口權(quán)重累積平方差計算公式如下
<formula>formula see original document page 19</formula>
其中，；v^分別表示n個校正后的圖像中兩個相鄰圖像的參考像素和待 匹配像素，表示兩相鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重累積平方差，W(^,&)， W(^,^)分別表示^對A的支持權(quán)重、^對/^的支持 權(quán)重，Wp表示以A為中心像素建立的預(yù)設(shè)大小的匹配窗口中的所有的像素，
Wp表示以&為中心像素建立的預(yù)設(shè)大小的匹配窗口中的所有的像素，e(&,") 表示兩相鄰圖像的對應(yīng)的預(yù)設(shè)大小的匹配窗口中同 一位置像素之間的SD (squareddistance,平方差)值。需要說明的是，像素窗口權(quán)重累積平方差計算公 式并不限于上述一種，可以根據(jù)實際應(yīng)用狀況，進行靈活設(shè)置。
具體地，兩相鄰圖像是指該兩個圖像分別是由位置相鄰的兩個圖像采集設(shè) 備所拍攝得到的；兩個相鄰圖像的參考像素和待匹配像素，可以將兩個相鄰圖 像中的一個圖像的像素作為參考像素，在另 一 圖像中預(yù)設(shè)與該參考像素對應(yīng)的 區(qū)域，預(yù)設(shè)的與該參考像素對應(yīng)的區(qū)域中的每一個像素可以分別稱為該參考傳_ 素的待匹配像素。在另一圖像中預(yù)設(shè)的與該參考像素對應(yīng)的區(qū)域可以是在另 一圖像中以與該參考像素的位置對應(yīng)的像素為中心，預(yù)設(shè)的長度為半徑的圓； 或者是在另 一圖像中以與該參考像素的位置對應(yīng)的像素為起點，預(yù)設(shè)的長度為 水平長度的直線段等，可以根據(jù)實際情況靈活設(shè)置該區(qū)域。本發(fā)明實施例中由 于對原始圖像進行了外極限校正，可以在一條水平線上找匹配像素，因此在另 一圖像中預(yù)設(shè)的與該參考像素對應(yīng)的區(qū)域可以是一條水平線，可將尋找范圍縮 小到一維，減少計算量。
206:在將每兩個相鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重累 積平方差值計算完成后，根據(jù)計算得到的所有像素窗口權(quán)重累積平方差值，為 每個圖像中的每個像素，在其對應(yīng)的多個待匹配像素中，選擇一個待匹配像素 作為該像素的匹配像素。
具體地，可以選擇參考像素和待匹配像素的像素窗口權(quán)重累積平方差值最 小的值對應(yīng)的待匹配像素為該參考像素的匹配像素，從而得到N個校正后的圖 像中各個圖像之間相互匹配的像素。也可以根據(jù)具體情況設(shè)置其他的選擇規(guī)則， 例如可以選擇參考像素和待匹配像素的像素窗口權(quán)重累積平方差值為某一 固 定值時對應(yīng)的待匹配像素為該參考像素的匹配像素等。
207:根據(jù)N個校正后的圖像中各個圖像之間相互匹配的像素、N個圖像采 集設(shè)備中每兩個相鄰圖像采集設(shè)備之間的基線距離，利用預(yù)設(shè)的深度圖像像素 值計算公式，計算得到N個校正后的圖像中每兩個相鄰圖像對應(yīng)的深度圖像的 像素值。其中，預(yù)設(shè)的深度圖像像素值計算公式具體為
<formula>formula see original document page 21</formula>
其中，Z表示N個校正后的圖像中兩個相鄰校正后的圖像對應(yīng)的深度圖像 的像素值；/表示N個圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值； ^表示N個圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備之間的基線距離；《表示N 個校正后的圖像中兩個相鄰圖像之間相互匹配像素的位置的相對距離的絕對 值；需要說明的是， 一般采集圖像時所選用的圖像采集設(shè)備的焦距都是相同的， 并且， 一般各個相鄰圖像采集設(shè)備之間的距離也是相同的。
208:從N個校正后的圖像中任選一個圖像作為參考視圖，并在參考視圖和 其相鄰原始圖像之間，確定待獲取虛擬視圖的位置。
其中，參考視圖的相鄰原始圖像可以是與參考視圖相鄰的任一原始圖像， 可以根據(jù)實際應(yīng)用狀況，靈活選擇。待獲取虛擬視圖是需要得到的虛擬視圖。 待獲取虛擬視圖需要參考哪個原始圖像得到，則選擇該原始圖像作為該待獲取 虛擬視圖的參考視圖。
209:根據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以及待 獲取虛擬視圖相對參考視圖的距離，對該參考視圖進行平移得到待獲取虛擬視 圖。
具體地，首先，根據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖 像，利用預(yù)設(shè)的虛擬視圖相對參考視圖的距離公式，計算得到待獲取虛擬視圖 相對該參考一見圖的距離。
預(yù)設(shè)的虛擬視圖相對參考視圖的距離公式具體為<formula>formula see original document page 21</formula>
其中，《表示待獲取虛擬視圖與參考視圖之間對應(yīng)像素的位置的相對距 離；/表示N個圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值；62表
示待獲取虛擬視圖與該參考視圖的基線距離，62 =么，&為大于1的自然數(shù)，、表
示N個圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備之間的基線距離。
需要說明的是，可以根據(jù)實際合成立體視頻時需要相對該參考視圖生成的 虛擬視圖的個數(shù)，將^取為不同的值，例如需要2個虛擬視圖，則可以分別取
^l和^1,從而根據(jù)上述公式計算得到2個待獲取虛擬視圖相對該參考視 圖的3巨離。然后，根據(jù)計算得到的待獲取虛擬視圖相對參考視圖的距離，對參考視圖 進行平移，得到虛擬-見圖。
為了便于理解，下面舉例進行說明
當(dāng)有2個圖像采集設(shè)備采集得到2個圖像時(即當(dāng)N=2時)，將2個校正后 的圖像(只有2個圖像，該2個圖像為相鄰圖像)中一個圖像中的每個像素依 次作為參考像素，在另一圖像中預(yù)設(shè)與該參考像素對應(yīng)的區(qū)域，依次計算一個 圖像中的參考像素與另 一 圖像中預(yù)設(shè)的與該參考像素對應(yīng)的區(qū)域中包含的每一 個像素(即多個待匹配像素)之間的窗口權(quán)重SSD值，將計算出的參考像素和 所有待匹配像素之間的窗口權(quán)重SSD值中的窗口權(quán)重SSD值最小的值對應(yīng)的待 匹配像素作為該參考像素的匹配像素，求取2個圖像中相互匹配的像素的位置 的相對距離的絕對值，即得到該2個圖像對應(yīng)的深度圖像的深度值。
當(dāng)有3個圖像采集設(shè)備拍攝得到3個圖像時(即當(dāng)N=3時)，為了便于說明 按照順序(從左到右、或順時針、或逆時針等順序)將3個圖像依次稱為第一 圖像、第二圖像和第三圖像，可以將校正后的第一圖像中的每個像素作為參考 像素，在校正后的第二圖像中預(yù)設(shè)與該參考像素對應(yīng)的區(qū)域，依次計算第一圖 像中的參考像素與第二圖像中預(yù)設(shè)的與該參考像素對應(yīng)的區(qū)域中包含的每個像 素(即多個待匹配像素)之間的窗口權(quán)重SSD值，將計算出的參考像素和所有 待匹配像素之間的窗口權(quán)重SSD值中的窗口權(quán)重SSD值最小的值對應(yīng)的待匹配 像素作為該參考像素的匹配像素，找到第 一 圖像和第二圖像相互匹配的像素后， 再將校正后的第二圖像中的每個像素作為參考像素，在校正后的第三圖像中預(yù) 設(shè)與該參考像素對應(yīng)的區(qū)域，按照上述方法找到第二圖像和第三圖像相互匹配 的像素，求取第一圖像和第二圖像中相互匹配的像素的相對位置距離的絕對值， 以及第二圖像和第三圖像中相互匹配的像素的差的絕對值，將兩次求得的距離 的絕對值取平均，即得到該3個圖像對應(yīng)的深度圖像的深度值。當(dāng)N=4、 5等時， 可以按照與上述N二3時類似的方法進行處理，此處不再——贅述。
本發(fā)明實施例所述的獲取虛擬視圖的方法，通過對原始圖像進行像素窗口 匹配和平移得到虛擬視圖，不需要人工參與，減少了工作量，降低了成本。并 且通過利用立體匹配中的基于顏色和距離的區(qū)域度量法則，可以較好地描述空 間事物的特征屬性。可以根據(jù)具體情況選擇生成多個虛擬視圖，可以在不同采 集條件下，得到多個不同的虛擬視圖，可以有效地利用已有的圖像采集設(shè)備。 由于采用了自適應(yīng)權(quán)重的窗口匹配，能夠?qū)Σ煌疃葘用娴南袼刭x予比較合適的權(quán)重，提高了匹配的準(zhǔn)確性?？梢苑謩e獲取深度圖像和虛擬視圖，能夠應(yīng)用 于各種不同商業(yè)需求，具有^f艮廣泛的適用性，對于不同的立體顯示器，可以采 取不同的立體視圖合成方法，達到多視點自由立體顯示效果。
實施例3
本發(fā)明實施例提供了一種獲取虛擬視圖的裝置，參見圖3，該裝置包括
原始圖像獲取模塊301，用于利用N個圖像采集設(shè)備采集得到N個不同視 點的原始圖像，N為大于l的自然數(shù)。
深度圖像獲取模塊302,用于在原始圖像獲取模塊301得到N個不同視點 的原始圖像后，對N個原始圖像進行像素窗口匹配，得到N個原始圖像中每兩 個相鄰圖像對應(yīng)的深度圖像。
參考視圖獲取模塊303,用于在深度圖像獲取模塊302得到深度圖像后，從 N個原始圖像中任選一個圖像作為參考視圖，并在參考視圖和其相鄰原始圖像 之間，確定待獲取虛擬視圖的位置。
虛擬視圖獲取模塊303,用于在參考視圖獲取模塊303確定待獲取虛擬視圖 的位置后，根據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以及 待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平移得到待獲取虛擬視 圖。
其中，深度圖像獲取模塊302具體包括
匹配窗口獲取單元，用于在原始圖像獲取模塊3 01得到N個不同視點的原 始圖像后，為N個原始圖像中的每個圖像中的每個像素預(yù)設(shè)一個匹配窗口；
支持權(quán)重獲取單元，用于在匹配窗口獲取單元得到每個像素對應(yīng)的匹配窗 口后，將N個原始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素，根據(jù)當(dāng) 前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用預(yù) 設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每個 像素對當(dāng)前像素的支持權(quán)重；
像素窗口權(quán)重累積平方差值獲取單元，用于在支持權(quán)重獲取單元在將N個 原始圖像中的每個圖像中的每個像素的支持權(quán)重計算完成后，將N個原始圖像 中的每個圖像分別作為當(dāng)前圖像，將當(dāng)前圖像中的每個像素分別作為當(dāng)前像素， 從當(dāng)前圖像的相鄰圖像中為當(dāng)前像素選擇多個待匹配像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中每個像素對當(dāng)前像素的支持權(quán)重，利用預(yù)設(shè)的像素窗口權(quán)重累積 平方差計算公式，分別計算得到當(dāng)前像素與多個待匹配像素中的每個待匹配像
素的像素窗口權(quán)重累積平方差值；
選擇單元，用于在像素窗口權(quán)重累積平方差值獲取單元在將每兩個相鄰圖 像之間的參考像素和待匹配像素的像素窗口權(quán)重累積平方差值計算完成后，根 據(jù)計算得到的所有像素窗口權(quán)重累積平方差值，為每個圖像中的每個像素，在
其對應(yīng)的多個待匹配像素中，選擇一個待匹配像素作為該像素的匹配像素；
深度圖像獲取單元，用于在選擇單元選擇得到N個原始圖像中各個圖像之 間相互匹配的像素后，根據(jù)N個原始圖像中各個圖像之間相互匹配的像素、N 個圖像釆集設(shè)備中每兩個相鄰圖像采集設(shè)備之間的基線距離，利用預(yù)設(shè)的深度 圖像像素值計算公式，計算得到N個原始圖像中每兩個相鄰圖像對應(yīng)的深度圖 像的像素值。
其中，預(yù)設(shè)的像素支持權(quán)重計算公式具體為
w(p，《)=exp(-- exp(--
其中，《)表示像素q對像素p的支持權(quán)重，△、表示p 、 q兩像素的顏 色的歐幾里德度量，Ag^表示p、 q兩像素的距離的歐幾里德度量，^、；是與人 類視覺系統(tǒng)的視場有關(guān)的系數(shù)，。的數(shù)值可調(diào)節(jié)；
預(yù)設(shè)的像素窗口權(quán)重累積平方差計算公式具體為
Z! e ，;d復(fù)w" ， & )—A ，《c/ ， ^ ) 五(A ， & ) = ~~^-^-
其中，iV^分別表示N個原始圖像中兩相鄰圖像之間的參考像素和待匹 配像素，表示兩相鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重 累積平方差，wQv&)， w(^,^)分別表示^對/^的支持權(quán)重、^對^的支持權(quán) 重，Wp表示像素^對應(yīng)的匹配窗口中的所有的像素，A^表示像素^對應(yīng)的
匹配窗口中的所有的像素，e(&,《J表示兩相鄰圖像的對應(yīng)的匹配窗口中同 一位 置的像素之間的平方差值；
預(yù)設(shè)的深度圖像像素值計算公式具體為其中，z表示N個原始圖像中兩個相鄰原始圖^f象對應(yīng)的深度圖像；/表示N 個圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值；^表示N個圖像采集 設(shè)備中兩個相鄰圖像采集設(shè)備之間的基線距離；《表示N個原始圖像中兩個相 鄰圖像之間相互匹配像素的位置的相對距離的絕對值。
進一步地，深度圖像獲取模塊302還包括
轉(zhuǎn)換單元，用于在匹配窗口獲取單元為N個原始圖像中的每個圖像中的每 個像素預(yù)設(shè)一個匹配窗口之后，支持權(quán)重獲取單元將N個原始圖像中的每個圖 像中的每個像素分別作為當(dāng)前像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像 素相對當(dāng)前像素的顏色和距離信息，利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別 計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每個像素對當(dāng)前像素的支持權(quán)重之前， 將N個原始圖像從紅綠藍RGB空間轉(zhuǎn)換到CIELab空間；
相應(yīng)地，支持權(quán)重獲取單元，具體用于在轉(zhuǎn)換單元將N個原始圖像從RGB 空間轉(zhuǎn)換到CIELab空間后，在CIELab空間中，將N個原始圖像中的每個圖像 中的每個像素分別為當(dāng)前像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相 對當(dāng)前像素的顏色和距離信息，利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算 得到當(dāng)前像素對應(yīng)的匹配窗口中的每個像素對當(dāng)前像素的支持權(quán)重。
其中，虛擬視圖獲取模塊303具體包括
距離獲取單元，用于在深度圖像獲取模塊302得到深度圖像后，才艮據(jù)參考 視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，利用預(yù)設(shè)的虛擬視圖 相對參考視圖的距離公式，計算得到待獲取虛擬視圖相對參考視圖的距離；
平移單元，用于在位移獲取單元得到待獲取虛擬視圖相對參考視圖的距離 后，根據(jù)計算得到的待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平 移，得到待獲取虛擬視圖。
其中，預(yù)設(shè)的虛擬視圖相對參考視圖的距離公式具體為
其中，《表示待獲取虛擬視圖與參考視圖之間對應(yīng)像素的位置的相對距離； /表示N個圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值；Z表示N 個原始圖像中兩個相鄰圖像對應(yīng)的深度圖像的像素值62表示待獲取虛擬視圖與參考視圖的基線距離，且62=夂A:為大于1的自然數(shù)，^表示N個圖像采集設(shè) 備中兩個相鄰圖像采集設(shè)備之間的基線距離。
進一步地，參見圖4,該裝置還包括
外極線校正模塊305,用于在原始圖像獲取模塊301得到N個不同視點的 始圖像之后，深度圖像獲取模塊302對N個原始圖像進行像素窗口匹配，得到 N個原始圖像中每兩個相鄰圖像對應(yīng)的深度圖像之前，對N個圖像采集設(shè)備采 集到的N個不同視點的原始圖像進行外極線校正，得到N個校正后的圖像；
相應(yīng)地，深度圖像獲取模塊302，具體用于在外極線校正模塊305得到N 個校正后的圖像后，對N個校正后的圖像進行像素窗口匹配，得到N個校正后 的圖像中每兩個相鄰圖像對應(yīng)的深度圖像；
相應(yīng)地，參考視圖獲取模塊303，具體用于在深度圖像獲取模塊302得到深 度圖像后，從N個校正后的圖像中任選一個圖像作為參考視圖，并在參考視圖 和其相鄰的校正后的圖像之間，確定待獲取虛擬視圖的位置；
相應(yīng)地，虛擬視圖獲取模塊304,具體用于在參考視圖獲取模塊303確定待 獲取虛擬視圖的位置后，根據(jù)參考視圖，參考視圖和其相鄰的校正后的圖像對 應(yīng)的深度圖像，以及待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平 移得到待獲取虛擬視圖。
本發(fā)明實施例所述的獲取虛擬視圖的裝置，通過對原始圖像進行像素窗口 匹配和平移得到虛擬視圖，不需要人工參與，減少了工作量，降低了成本。并 且通過利用立體匹配中的基于顏色和距離的區(qū)域度量法則，可以較好地描述空 間事物的特征屬性?？梢愿鶕?jù)具體情況選擇生成多個虛擬視圖，可以在不同采 集條件下，得到多個不同的虛擬視圖，可以有效地利用已有的圖像采集設(shè)備。 由于采用了自適應(yīng)權(quán)重的窗口匹配，能夠?qū)Σ煌疃葘用娴南袼刭x予比較合適 的權(quán)重，提高了匹配的準(zhǔn)確性。可以分別獲取深度圖像和虛擬視圖，能夠應(yīng)用 于各種不同商業(yè)需求，具有4艮廣泛的適用性，對于不同的立體顯示器，可以采 取不同的立體視圖合成方法，達到多視點自由立體顯示效果。
以上實施例提供的技術(shù)方案中的全部或部分內(nèi)容可以通過軟件編程實現(xiàn)， 其軟件程序存儲在可讀取的存儲介質(zhì)中，存儲介質(zhì)例如計算機中的硬盤、光 盤或軟盤。包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1、一種獲取虛擬視圖的方法，其特征在于，所述方法包括利用N個圖像采集設(shè)備采集得到N個不同視點的原始圖像，所述N為大于1的自然數(shù)；對N個所述原始圖像進行像素窗口匹配，得到N個所述原始圖像中每兩個相鄰圖像對應(yīng)的深度圖像；從N個所述原始圖像中任選一個圖像作為參考視圖，并在所述參考視圖和其相鄰原始圖像之間，確定待獲取虛擬視圖的位置；根據(jù)所述參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以及所述待獲取虛擬視圖相對所述參考視圖的距離，對所述參考視圖進行平移得到所述待獲取虛擬視圖。
2、 根據(jù)權(quán)利要求1所述的獲取虛擬視圖的方法，其特征在于，所述對N個 所述原始圖像進行像素窗口匹配，得到N個所述原始圖像中每兩個相鄰圖像對 應(yīng)的深度圖像，具體包括為N個所述原始圖像中的每個圖像中的每個像素預(yù)設(shè)一個匹配窗口 ；將N個所述原始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素，才艮據(jù) 當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用 預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每 個像素對當(dāng)前像素的支持權(quán)重；在將N個所述原始圖像中的每個圖像中的每個像素的支持權(quán)重計算完成 后，將N個所述原始圖像中的每個圖像分別作為當(dāng)前圖像，將當(dāng)前圖像中的每 個像素分別作為當(dāng)前像素，從當(dāng)前圖像的相鄰圖像中為當(dāng)前像素選擇多個待匹 配像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中每個像素對當(dāng)前像素的支持權(quán)重，利 用預(yù)設(shè)的像素窗口權(quán)重累積平方差計算公式，分別計算得到當(dāng)前像素與多個待 匹配像素中的每個待匹配像素的像素窗口權(quán)重累積平方差值；在將每兩個相鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重累積平 方差值計算完成后，根據(jù)計算得到的所有像素窗口權(quán)重累積平方差值，為每個 圖像中的每個像素，在其對應(yīng)的多個待匹配像素中，選擇一個待匹配像素作為該像素的匹配〗象素；沖艮據(jù)n個所述原始圖像中各個圖像之間相互匹配的像素、n個所述圖像采 集設(shè)備中每兩個相鄰圖像采集設(shè)備之間的基線距離，利用預(yù)設(shè)的深度圖像像素值計算公式，計算得到n個所述原始圖像中每兩個相鄰圖像對應(yīng)的深度圖像的像素值。
3、根據(jù)權(quán)利要求2所述的獲取虛擬視圖的方法，其特征在于，所述預(yù)設(shè)的 像素支持權(quán)重計算公式具體為<formula>formula see original document page 3</formula>其中，w(/^)表示像素q對像素P的支持權(quán)重，Ac^表示p、 q兩像素的顏 色的歐幾里德度量，A&《表示p、 q兩像素的距離的歐幾里德度量，^、 ^是與人 類視覺系統(tǒng)的視場有關(guān)的系數(shù)，r。、。的數(shù)值可調(diào)節(jié)；所述預(yù)設(shè)的像素窗口權(quán)重累積平方差計算公式具體為<formula>formula see original document page 3</formula>其中，分別表示n個所述原始圖像中兩相鄰圖像之間的參考像素和 待匹配像素，五(A,^)表示兩相鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重累積平方差，wOv^), w(A，^)分別表示&對A的支持權(quán)重、^對A的支持權(quán)重，Wp表示像素^對應(yīng)的匹配窗口中的所有的像素，W歹表示像素A對 應(yīng)的匹配窗口中的所有的像素，K《rf,^)表示兩相鄰圖像的對應(yīng)的匹配窗口中同一位置的像素之間的平方差值；所述預(yù)設(shè)的深度圖像像素值計算公式具體為<formula>formula see original document page 3</formula>其中，Z表示n個所述原始圖像中兩個相鄰圖像對應(yīng)的深度圖像的像素值； /表示n個所述圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值；^表示 n個所述圖像采集設(shè)備中兩個相鄰圖像釆集設(shè)備之間的基線距離；《表示n個 所述原始圖像中兩個相鄰圖像之間相互匹配像素的位置的相對距離的絕對值。
4、 根據(jù)權(quán)利要求2所述的獲取虛擬視圖的方法，其特征在于，所述為N個 所述原始圖像中的每個圖像中的每個像素預(yù)設(shè)一個匹配窗口之后，將N個所述 原始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素，根據(jù)當(dāng)前像素對應(yīng)的 匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用預(yù)設(shè)的像素支持 權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每個像素對當(dāng)前像 素的支持權(quán)重之前還包括將N個所述原始圖像從紅綠藍RGB空間轉(zhuǎn)換到CIELab空間； 相應(yīng)地，所述將N個所述原始圖像中的每個圖像中的每個像素分別作為當(dāng) 前像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距 離信息，利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹 配窗口中的每個像素對當(dāng)前像素的支持權(quán)重具體為在CIELab空間中，將N個所述原始圖像中的每個圖像中的每個像素分別為 當(dāng)前像素，根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和 距離信息，利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的 匹配窗口中的每個像素對當(dāng)前像素的支持權(quán)重。
5、 根據(jù)權(quán)利要求1所述的獲取虛擬視圖的方法，其特征在于，所述根據(jù)所 述參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以及所述待獲 取虛擬視圖相對所述參考視圖的距離，對所述參考視圖進行平移得到所述待獲 取虛擬視圖具體包括根據(jù)所述參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，利 用預(yù)設(shè)的虛擬視圖相對參考視圖的距離公式，計算得到所述待獲取虛擬視圖相 對所述參考視圖的距離；根據(jù)計算得到的所述待獲取虛擬視圖相對所述參考視圖的距離，對所述參考視圖進行平移，得到所述待獲取虛擬視圖。
6、 根據(jù)權(quán)利要求5所述的獲取虛擬視圖的方法，其特征在于，所述預(yù)設(shè)的 虛擬視圖相對參考視圖的距離公式具體為<formula>formula see original document page 4</formula>其中，《表示所述待獲取虛擬視圖與所述參考視圖之間對應(yīng)像素的位置的相對距離；/表示N個所述圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平 均值；Z表示N個所述原始圖像中兩個相鄰圖像對應(yīng)的深度圖像的像素值；62表示所述待獲取虛擬視圖與所述參考視圖的基線距離，且62=玍，A為大于1的自然數(shù)，6,表示N個所述圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備之間的基線距離。
7、 根據(jù)權(quán)利要求1-6中任一權(quán)利要求所述的獲取虛擬視圖的方法，其特征 在于，所述利用N個圖像采集設(shè)備采集得到N個不同視點的原始圖像之后，對 N個所述原始圖像進行像素窗口匹配，得到N個所述原始圖像中每兩個相鄰圖 像對應(yīng)的深度圖像之前還包括對N個圖像采集設(shè)備采集到的N個不同視點的原始圖像進行外極線校正， 得到N個校正后的圖像；相應(yīng)地，所述對N個所述原始圖像進行像素窗口匹配，得到N個所述原始 圖像中每兩個相鄰圖像對應(yīng)的深度圖像具體為對N個所述校正后的圖像進行像素窗口匹配，得到N個所述校正后的圖像 中每兩個相鄰圖像對應(yīng)的深度圖像；相應(yīng)地，所述從N個所述原始圖像中任選一個圖像作為參考視圖，在所述 參考視圖和其相鄰原始圖像之間，確定待獲取虛擬視圖的位置具體為從N個所述校正后的圖像中任選一個圖像作為參考視圖，在所述參考視圖 和其相鄰的校正后的圖像之間，確定待獲取虛擬視圖的位置；相應(yīng)地，所述根據(jù)所述參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的 深度圖像，以及所述待獲取虛擬視圖相對所述參考視圖的距離，對所述參考視 圖進行平移得到所述待獲取虛擬視圖具體為才艮據(jù)所述參考視圖，所述參考視圖和其相鄰的校正后的圖像對應(yīng)的深度圖 像，以及所述待獲取虛擬視圖相對所述參考視圖的距離，對所述參考視圖進行 平移得到所述待獲取虛擬視圖。
8、 一種獲取虛擬視圖的裝置，其特征在于，所述裝置包括原始圖像獲取模塊，用于利用N個圖像采集設(shè)備采集得到N個不同視點的 原始圖像，所述N為大于1的自然數(shù)；深度圖像獲取模塊，用于在所述原始圖像獲取模塊得到N個不同視點的原始圖像后，對N個所述原始圖像進行像素窗口匹配，得到N個所述原始圖像中 每兩個相鄰圖像對應(yīng)的深度圖像；參考視圖獲取模塊，用于在所述深度圖像獲取模塊得到深度圖像后，從N 個所述原始圖像中任選一個圖像作為參考視圖，并在所述參考視圖和其相鄰原 始圖像之間，確定待獲取虛擬視圖的位置；虛擬視圖獲取模塊，用于在所述參考視圖獲取模塊確定待獲取虛擬視圖的 位置后，根據(jù)所述參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像， 以及所述待獲取虛擬視圖相對所述參考視圖的距離，對所述參考視圖進行平移 得到所述待獲取虛擬-現(xiàn)圖。
9、根據(jù)權(quán)利要求8所述的獲取虛擬視圖的裝置，其特征在于，所述深度圖 像獲取模塊具體包括匹配窗口獲取單元，用于在所述原始圖像獲取模塊得到N個不同視點的原 始圖像后，為N個所述原始圖像中的每個圖像中的每個像素預(yù)設(shè)一個匹配窗口；支持權(quán)重獲取單元，用于在所述匹配窗口獲取單元得到每個像素對應(yīng)的匹 配窗口后，將N個所述原始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素， 根據(jù)當(dāng)前像素對應(yīng)的匹配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息， 利用預(yù)設(shè)的像素支持權(quán)重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中 的每個像素對當(dāng)前像素的支持權(quán)重；像素窗口權(quán)重累積平方差值獲取單元，用于在所述支持權(quán)重獲取單元在將N 個所述原始圖像中的每個圖像中的每個像素的支持權(quán)重計算完成后，將N個所 述原始圖像中的每個圖像分別作為當(dāng)前圖像，將當(dāng)前圖像中的每個像素分別作 為當(dāng)前像素，從當(dāng)前圖像的相鄰圖像中為當(dāng)前像素選擇多個待匹配像素，根據(jù) 當(dāng)前像素對應(yīng)的匹配窗口中每個像素對當(dāng)前像素的支持權(quán)重，利用預(yù)設(shè)的像素 窗口權(quán)重累積平方差計算公式，分別計算得到當(dāng)前像素與多個待匹配像素中的 每個待匹配像素的像素窗口權(quán)重累積平方差值；選擇單元，用于在所述像素窗口權(quán)重累積平方差值獲取單元在將每兩個相 鄰圖像之間的參考像素和待匹配像素的像素窗口權(quán)重累積平方差值計算完成 后，根據(jù)計算得到的所有像素窗口權(quán)重累積平方差值，為每個圖像中的每個像 素，在其對應(yīng)的多個待匹配像素中，選擇一個待匹配像素作為該像素的匹配像素；深度圖像獲取單元，用于在所述選擇單元選擇得到N個所述原始圖像中各 個圖像之間相互匹配的像素后，根據(jù)N個所述原始圖像中各個圖像之間相互匹 配的像素、N個所述圖像采集設(shè)備中每兩個相鄰圖像采集設(shè)備之間的基線距離， 利用預(yù)設(shè)的深度圖像像素值計算公式，計算得到N個所述原始圖像中每兩個相 鄰圖像對應(yīng)的深度圖像的像素值。
10、根據(jù)權(quán)利要求9所述的獲取虛擬視圖的裝置，其特征在于，所述預(yù)設(shè) 的像素支持權(quán)重計算公式具體為<formula>formula see original document page 7</formula>其中，w(;^)表示像素q對像素p的支持權(quán)重，Ac^表示p、 q兩像素的顏 色的歐幾里德度量，Ag 表示p、 q兩像素的距離的歐幾里德度量，^、 ^是與人 類視覺系統(tǒng)的視場有關(guān)的系數(shù)，。^的數(shù)值可調(diào)節(jié)；所述預(yù)設(shè)的像素窗口權(quán)重累積平方差計算公式具體為<formula>formula see original document page 7</formula>其中，A、^分別表示N個所述原始圖像中兩相鄰圖像之間的參考像素和 待匹配像素，五0^,&)表示兩相鄰圖像之間的參考像素和待匹配像素的像素窗口 權(quán)重累積平方差，w(>d，&)， w(A,&)分別表示&對A的支持權(quán)重、^對;^的支 持權(quán)重，^p表示像素A/對應(yīng)的匹配窗口中的所有的像素，w^表示像素^對 應(yīng)的匹配窗口中的所有的像素，e(^,")表示兩相鄰圖像的對應(yīng)的匹配窗口中同 一位置的像素之間的平方差值；所述預(yù)設(shè)的深度圖像像素值計算公式具體為<formula>formula see original document page 7</formula>其中，Z表示N個所述原始圖像中兩個相鄰圖像對應(yīng)的深度圖像的像素值； /表示N個所述圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平均值；^表示 N個所述圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備之間的基線距離；《表示N個所述原始圖像中兩個相鄰圖像之間相互匹配像素的位置的相對距離的絕對值。
11、 根據(jù)權(quán)利要求9所述的獲取虛擬視圖的裝置，其特征在于，所述深度 圖像獲取模塊還包括轉(zhuǎn)換單元，用于在所述匹配窗口獲取單元為N個所述原始圖像中的每個圖 像中的每個像素預(yù)設(shè)一個匹配窗口之后，所述支持權(quán)重獲取單元將N個所述原 始圖像中的每個圖像中的每個像素分別作為當(dāng)前像素，根據(jù)當(dāng)前像素對應(yīng)的匹 配窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用預(yù)設(shè)的像素支持權(quán) 重計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每個像素對當(dāng)前像素 的支持權(quán)重之前，將N個所述原始圖像從紅綠藍RGB空間轉(zhuǎn)換到CIELab空間；相應(yīng)地，所述支持權(quán)重獲取單元，具體用于在所述轉(zhuǎn)換單元將N個所述原 始圖像從RGB空間轉(zhuǎn)換到CIELab空間后，在C正Lab空間中，將N個所述原 始圖像中的每個圖像中的每個像素分別為當(dāng)前像素，根據(jù)當(dāng)前像素對應(yīng)的匹配 窗口中的每個像素相對當(dāng)前像素的顏色和距離信息，利用預(yù)設(shè)的像素支持權(quán)重 計算公式，分別計算得到當(dāng)前像素對應(yīng)的匹配窗口中的每個像素對當(dāng)前像素的 支持權(quán)重。
12、 根據(jù)權(quán)利要求9所述的獲取虛擬視圖的裝置，其特征在于，所述虛擬 視圖獲取模塊具體包括距離獲取單元，用于在所述深度圖像獲取模塊得到深度圖像后，根據(jù)所述 參考視圖，所述參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，利用預(yù)設(shè)的虛擬 視圖相對參考視圖的距離公式，計算得到所述待獲取虛擬視圖相對所述參考視 圖的3巨離；平移單元，用于在所述位移獲取單元得到所述待獲取虛擬視圖相對所述參 考視圖的距離后，根據(jù)計算得到的所述待獲取虛擬視圖相對所述參考視圖的距 離，對所述參考視圖進行平移，得到所述待獲取虛擬視圖。
13、 根據(jù)權(quán)利要求12所述的獲取虛擬視圖的裝置，其特征在于，所述 預(yù)設(shè)的虛擬視圖相對參考視圖的距離公式具體為其中，《表示所述待獲取虛擬視圖與所述參考視圖之間對應(yīng)像素的位置的相對距離；/表示N個所述圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備的焦距的平 均值；Z表示N個所述原始圖像中兩個相鄰圖像對應(yīng)的深度圖像的像素值；62表示所述待獲取虛擬視圖與所述參考視圖的基線距離，JU2=A， it為大于1的自然數(shù)，6'表示N個所述圖像采集設(shè)備中兩個相鄰圖像采集設(shè)備之間的基線距離。
14、根據(jù)權(quán)利要求8-13中任一權(quán)利要求所述的獲取虛擬視圖的裝置，其特 征在于，所述裝置還包括外極線校正模塊，用于在所述原始圖像獲取模塊得到N個不同視點的原始圖像之后，所述深度圖像獲取模塊對N個所述原始圖像進行像素窗口匹配，得到N個所述原始圖像中每兩個相鄰圖像對應(yīng)的深度圖像之前，對N個圖像采集設(shè)備采集到的N個不同視點的原始圖像進行外極線校正，得到N個校正后的圖像；相應(yīng)地，所述深度圖像獲取模塊，具體用于在所述外極線校正模塊得到N 個校正后的圖像后，對N個所述校正后的圖像進行像素窗口匹配，得到N個所 述校正后的圖像中每兩個相鄰圖像對應(yīng)的深度圖像；相應(yīng)地，所述參考視圖獲取模塊，具體用于在所述深度圖像獲取模塊得到 深度圖像后，從N個所述校正后的圖像中任選一個圖像作為參考視圖，并在所 述參考視圖和其相鄰的校正后的圖像之間，確定待獲取虛擬視圖的位置；相應(yīng)地，所述虛擬視圖獲取模塊，具體用于在所述參考視圖獲取模塊確定 待獲取虛擬視圖的位置后，根據(jù)所述參考視圖，所述參考^L圖和其相鄰的校正 后的圖像對應(yīng)的深度圖像，以及所述待獲取虛擬視圖相對所述參考視圖的距離， 對所述參考視圖進行平移得到所述待獲取虛擬視圖。
全文摘要
本發(fā)明公開了一種獲取虛擬視圖的方法和裝置，屬于計算機視覺領(lǐng)域。方法包括利用N個圖像采集設(shè)備采集得到N個不同視點的原始圖像；對N個原始圖像進行像素窗口匹配，得到N個原始圖像中每兩個相鄰圖像對應(yīng)的深度圖像；從N個原始圖像中任選一個圖像作為參考視圖，并在參考視圖和其相鄰原始圖像之間，確定待獲取虛擬視圖的位置；根據(jù)參考視圖，參考視圖和其相鄰原始圖像對應(yīng)的深度圖像，以及待獲取虛擬視圖相對參考視圖的距離，對參考視圖進行平移得到待獲取虛擬視圖。裝置包括原始圖像獲取模塊、深度圖像獲取模塊、參考視圖獲取模塊和虛擬視圖獲取模塊。通過對原始圖像進行像素窗口匹配和平移得到虛擬視圖，不需要人工參與，減少了工作量，降低了成本。
文檔編號H04N13/00GK101662695SQ20091009350
公開日2010年3月3日 申請日期2009年9月24日 優(yōu)先權(quán)日2009年9月24日
發(fā)明者季向陽, 張佳宏, 戴瓊海, 汛 曹 申請人:清華大學(xué)