基于圖像內(nèi)容的立體圖像拼接方法
【技術(shù)領(lǐng)域】
[0001]發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于圖像內(nèi)容的立體圖像拼接技術(shù)。
【背景技術(shù)】
[0002]圖像拼接在計算機視覺和制圖領(lǐng)域得到了廣泛關(guān)注。它可以把場景小的臨近視野 圖片拼接成視野大的單獨圖片。目前，拼接技術(shù)集成在Ad〇be、Ph〇t〇Sh 〇p等有名的商業(yè)軟件 中，這些軟件廣泛用于幫助用戶組織和制作圖片集。
[0003]傳統(tǒng)上，圖像拼接經(jīng)常通過帶參數(shù)的投影變換來合成圖片。這樣的投影變換通常 用單應(yīng)性矩陣來實現(xiàn)。雖然2D投影變換很穩(wěn)定，但是該變換只能為平面場景或無視差相機 移動提供準(zhǔn)確地拼接，也即攝影師的物理位置必須是固定的并且只允許存在旋轉(zhuǎn)運動。當(dāng) 不滿足上述條件時，2D投影變換就會產(chǎn)生重影或結(jié)構(gòu)破壞等人為效果。最近的圖像拼接方 法采用空間變化投影來拼接圖片，相比2D投影變換，這些方法能帶來較少的人為效果。然 而，這些方法最初都是為2D圖片設(shè)計的。
[0004] 現(xiàn)有的2D圖像拼接技術(shù)一一APAP技術(shù)在進(jìn)行立體圖像拼接時存在一定的問題。雖 然經(jīng)APAP技術(shù)處理后的左右圖中沒有重影，但是左圖和右圖的大小卻不一樣。而且傳統(tǒng)的 變換沒有考慮垂直視差的影響。此外，對于立體圖像的拼接技術(shù)也有一些學(xué)者進(jìn)行了研究， 但是這些方法需要密集型樣本采集，常常通過視頻攝像機或者是必須遵守一些指定的規(guī)則 來旋轉(zhuǎn)照相機，這些方法不能很好的應(yīng)用于隨意采集的立體圖像的拼接。
[0005] 隨著立體圖像和立體視頻的流行，生產(chǎn)和編輯立體媒體受到了研究人員的廣泛關(guān) 注。3D放映設(shè)備和3D相機等立體設(shè)備的快速發(fā)展，引領(lǐng)了用戶操作立體媒體的需求。隨著研 究人員的深入探索，在創(chuàng)造舒適的3D體驗的過程中出現(xiàn)了更多的挑戰(zhàn)和限制。對現(xiàn)有2D拼 接算法的普通擴展往往不能傳遞舒適的3D視覺體驗，因此需要新的技術(shù)來適應(yīng)新的約束條 件，且需要新的技術(shù)更好地利用來自立體媒體的新信息。

【發(fā)明內(nèi)容】

[0006] 為克服現(xiàn)有技術(shù)的不足，提出一種混合變換模型用于立體圖像拼接方法，能有效 拼接立體圖片，避免局部變形，并且合理地減小垂直視差。本發(fā)明采用的技術(shù)方案是，基于 圖像內(nèi)容的立體圖像拼接方法，首先，采用經(jīng)過優(yōu)化的一致的單應(yīng)性矩陣對左右圖像進(jìn)行 預(yù)變換;之后，采用基于內(nèi)容的圖像微調(diào)扭曲方法優(yōu)化圖像拼接并避免視覺失真;最后，運 用基于切縫的查找算法和多帶混合算法獲取最終圖像拼接結(jié)果。
[0007] 基于歸一化單應(yīng)性矩陣的預(yù)變換具體步驟是，/|，4，4和4表示輸入的立體 圖像對，并且選取4和4作為參考圖像對，下標(biāo)L表示左圖，R表示右圖，采用計算單應(yīng)性矩 陣Η的方法來預(yù)對齊輸入的圖像/f和/〗，單應(yīng)性矩陣Η由（/丨,/!)、（/!,/〗）和(/〗，/〗）之間匹 配的SIFT(Scale-invariant feature transform)特征點集合估計得來，并用RANSAC (RANdom SAmple Consensus)得到的基本矩陣驗證所有的匹配特征點，用 (/上，/;/)、（4.，.?)和UkC.)分別表示(4Λ2)、（4，】)和(47】）的匹配特征點，I〇L表示 4和/〗的重疊區(qū)域，IQR表示4和4的重疊區(qū)域，為了計算單應(yīng)性矩陣H，在考慮拼接和視差 連續(xù)性的基礎(chǔ)上定義了能量項匕^，其表達(dá)式為：
[0008]
[0009] 其中，Η表示有八個參數(shù)的單應(yīng)性矩陣，m，112和113表示特征點個數(shù)，wP， WdPWm是對 應(yīng)第p，q和m個特征點的權(quán)重因子
分別表示變換后特征點的y坐 標(biāo)；
[0010] 使用迭代的方法計算來計算單應(yīng)性矩陣，其中在迭代過程中具有最小能量的Epre 對應(yīng)的Η被作為最終的單應(yīng)性矩陣，獲得Η矩陣后，待拼接的圖像(非參考立體圖像)/〗和/】 即被變換為77和5。
[0011] 基于內(nèi)容的圖像變換具體步驟是，將?！?和砭劃分為大小為mXn的網(wǎng)格，g和J；2中 的頂點表示為€.和f，r、F和F是從圖像對f/,!.T7)、（4刀）和0-/刀）中分別 得到的匹配特征點的集合；
[0012] 圖像拼接問題表述為一個網(wǎng)格變換問題，其表示如下：
[0013] V^=WX^j)
[0014] 其中，吃是未知變量，包括仏/和6,，圖像ρ中的特征點/用匹配網(wǎng)格的四個網(wǎng) 格頂點:的線性組合表示，其表示如下：
[0015]
[0016] 其中，表示通過雙線性差值得到的系數(shù)，通過解決能量項最小化問題來實現(xiàn)網(wǎng) 格變換，這些能量項包括拼接能量項、立體限制能量項、形狀保留能量項，各能量項詳細(xì)表 述如下：
[0017] ⑴拼接能量項
[0018] 在局部拼接過程中，扭曲后的圖像特征點^和￡應(yīng)該被移動以匹配它們在參考 圖像/)和ii中的匹配位置，這樣才能實現(xiàn)圖像的更好拼接，局部拼接能量項E h定義如下：
[0019]
[0020] (2)立體限制能量項
[0021]立體限制能量項用于獲得舒適的3D體驗，包括垂直的和水平的視差限制，人類視 覺系統(tǒng)對這些特征敏感，通過對匹配特征點的稀疏集合運用來執(zhí)行兩個圖像之間的立體限 制；
[0022] 垂直視差限制用于確保特征點的垂直拼接，即兩張圖像中相應(yīng)特征點的y坐標(biāo)(用 ，表示)應(yīng)近似，垂直視差限制能量項Ey定義為：
[0023]
[0024] 水平視差限制用于保持預(yù)變換結(jié)果77和忍的視差一致性，即每個特征點的X坐標(biāo) (用表示)應(yīng)該和預(yù)變換圖像里特征點的視差接近，水平視差限制能量項定義為：
[0025]
[0026] 其中，0?)=疋,.,通過改變視差分布圖實現(xiàn)用戶定義的視差分布；
[0027] (3)形狀保留能量項
[0028] 形狀保留能量項用于減小失真并保持變化的流暢性，在變換過程中，希望獲得平 滑而且局部相似的變換結(jié)果，來實現(xiàn)更少的失真。在這種情況下，變換函數(shù)應(yīng)滿足柯 西一黎曼方程，把方程轉(zhuǎn)化為基于有限差分的能量函數(shù)，柯西一黎曼方程等效于相似變換 的能量函數(shù)，相似變換的能量定義項Esi如下：
[0029]
[0030] 其中
iij表不一個網(wǎng)格，u和v是局部坐標(biāo)系下的未知坐標(biāo)，因為網(wǎng)格 是矩形，此處u = 0
[0031] 相比圖像非顯著區(qū)域，要對顯著區(qū)域進(jìn)行更為嚴(yán)格的平滑處理:雙視點立體圖像 中的左圖像的形狀保留能量項Esl定義為：
[0032] Esi= Σ ω (i,j) · Esi(i, j)
[0033] 其中，ω(1』表示網(wǎng)格的顯著值；
[0034] 雙視點圖像中的右圖像ζ2的能量函數(shù)Esr以相似方法定義，開$狀保留能量項Es表述 如下：
[0035] Es= (Esi+Esr)/2
[0036] (4)能量優(yōu)化
[0037] 為獲得新的網(wǎng)格頂點和把包括上述所有能量項在內(nèi)的總能量項E定義 為：
[0038] E = Eh+Eg+Ey+Ed+Es
[0039] 通過解決能量最小化問題來實現(xiàn)能量優(yōu)化，總能量E是^;,和,的二次方函數(shù)， 其最小化問題用稀疏線性解算器解決；當(dāng)輸出網(wǎng)格確定后，使用雙線性插值算法獲取最后 的結(jié)果。
[0040]圖像融合具體步驟是，運用改善后的縫方法尋找拼接圖像里的縫，并使用多帶混 合算法生成最后的拼接結(jié)果;為了把兩個立體圖像拼接到一起，需要進(jìn)行動態(tài)規(guī)劃在重疊 區(qū)域?qū)ふ乙粋€縫，對第一行每項（i，j)的連縫的積聚能量定義如下：
[0041 ] Mi, j = e(i，j)+min(Mi-i，j-1，Mi-1，j，Mi-i，j+i)
[0042] 其中，e(i，j)表示如下：
[0043]
[0044] 其中，^和之1z分別表示變換后圖像S和A丨的重疊區(qū)域。(/，./)和(，,乃分 別表示重疊區(qū)域的梯度。在該過程的最后，最后一行的最小值表示最小連接垂直縫的末 端；
[0045] 經(jīng)上述處理，找到拼接立體圖像中的左圖像§和為重疊區(qū)域里的縫，拼接立體圖 像中右圖^和&重疊區(qū)域的縫用相似方法找到，在找到重疊區(qū)域的縫之后，進(jìn)行圖像融合； 最后，使用多帶混合算法獲得平滑圖像。
[0046] 本發(fā)明的特點及有益效果是：
[0047] 本發(fā)明提出的基于圖像內(nèi)容的立體圖像拼接技術(shù)能