夠有效地拼接立體圖像，并且 沒有人工重影。不僅能避免局部變形，而且合理地減小了垂直視差，避免不舒服的視覺體 驗。所提出的立體圖像拼接算法具有很好的應(yīng)用價值。
【附圖說明】：
[0048] 圖1在圖像拼接中使用的七幅測試圖（1)湖；（2)辦公樓；（3)亭；（4)海芋；（5)白樓； (6)花；（7)全景。
[0049] 圖2不同拼接方法的比較結(jié)果(a)輸入立體圖像對的第一幅圖像；（b)輸入立體圖 像對的第二幅圖像；（c)APAP算法結(jié)果；（d)Autostitch算法結(jié)果；（e)提出方法的結(jié)果。從頂 部到底部:左圖、右圖、立體圖和帶有特征點視差的立體圖。
[0050] 圖3不同方法的比較結(jié)果(a)輸入立體圖像對的第一幅圖像；（b)輸入立體圖像對 的第二幅圖像;（c)Du等人提出的方法的結(jié)果；（d)提出方法的結(jié)果。
[0051] 圖4提出的方法在多個場景下的拼接結(jié)果。（a)湖；（b)亭子；（c)海芋；（d)白樓。在 (a)、（b)、（c)和(d)四組圖像中，從左到右依次為輸入立體圖像對的第一幅圖像、輸入立體 圖像對的第二幅圖像、提出的方法的拼接結(jié)果。從上到下依次為左圖、右圖、立體圖。
【具體實施方式】
[0052] 本發(fā)明通過結(jié)合投影變換和內(nèi)容保留變換提出了一種混合變換模型用于立體圖 像拼接。首先，提出了一個通過迭代方法找一致的單應(yīng)性矩陣方法，這個單應(yīng)性矩陣對非參 考的立體圖像做預(yù)變換來保證立體圖像中的左右圖像的一致性變換。之后，引入內(nèi)容保留 扭曲方法來局部改善連接并減少垂直視差。最后，設(shè)計了基于切縫的算法來尋找混合拼接， 最后使用多帶混合算法產(chǎn)生最后拼接的圖片。本發(fā)明能有效拼接立體圖片，避免了局部變 形，并且合理地減小了垂直視差。具體的技術(shù)方案分為下列步驟：
[0053] 1.基于單應(yīng)性矩陣的預(yù)變換
[0054] 片，4 , 和/〗表示輸入的立體圖像對，并且選取/丨和/丨作為參考圖像對。提出 了一個經(jīng)過迭代方法得到的一致的單應(yīng)性矩陣預(yù)拼接輸入的圖像和單應(yīng)性矩陣Η由 (/i 〇、Μ，和? f〇之間匹配的SI FT特征點集合估計得來。并用RANSAC得到的基本 矩陣驗證所有的匹配特征點。（/X;)、（4.,#)和UkC.)分別表示(4Λ 2)、（44)和 的匹配特征點，IQL表示4和/!的重疊區(qū)域，IQR表示4和/!的重疊區(qū)域，為了計算單 應(yīng)性矩陣Η，在考慮拼接和視差連續(xù)性的基礎(chǔ)上定義了能量項，其表達式為：
[0055]
[0056] 其中，Η表示有八個參數(shù)的單應(yīng)性矩陣，ηι，Π 2和m表示特征點個數(shù)，wP，wP和Wm是對 應(yīng)第p，q和m個特征點的權(quán)重因子
分別表示變換后特征點的y坐 標；
[0057]使用迭代的方法計算最小能量Epre3對應(yīng)的單應(yīng)性矩陣Η。獲得Η矩陣后，待拼接的圖 像/〗和/〗即被變換為Τ'/和?；2。
[0058] 2.基于內(nèi)容的圖像變換
[0059] 將Jj2和劃分為大小為m X η的網(wǎng)格，ζ2和ζ2中的頂點表示為:和 戶、產(chǎn)和戸是從圖像對(，U2)、（4,?)和閑，5)中分別得到的匹配特征點的集 合。
[0060] 圖像拼接問題表述為一個網(wǎng)格變換問題，其表示如下：
[0061]
[0062] 其中，巧包括^^和·^，吃是未知變量，包括。圖像戶中的特征點 /用匹配網(wǎng)格的四個網(wǎng)格頂點@的線性組合表示，其表示如下：
[0063]
[0064] 其中，表示通過雙線性差值得到的系數(shù)，通過解決能量項最小化問題來實現(xiàn)網(wǎng) 格變換，這些能量項包括拼接能量項、立體限制能量項、形狀保留能量項，各能量項詳細表 述如下：
[0065] (1)拼接能量項
[0066] 拼接能量項用于更好地拼接預(yù)變換圖像和參考圖像，包括局部和全局拼接能量 項。在局部拼接過程中，扭曲后的圖像特征點七和^應(yīng)該被移動以匹配它們在參考圖像.4 和中的匹配位置，這樣才能實現(xiàn)圖像的更好拼接，局部拼接能量項Eh定義如下：
[0067]
[0068] (2)立體限制能量項
[0069]立體限制能量項用于獲得舒適的3D體驗，包括垂直的和水平的視差限制。人類視 覺系統(tǒng)對這些特征敏感，本發(fā)明通過對匹配特征點的稀疏集合運用來執(zhí)行兩個圖像之間的 立體限制。
[0070] 垂直視差限制用于確保特征點的垂直拼接，即兩張圖像中相應(yīng)特征點的y坐標(用 /LdL表示)應(yīng)近似。垂直視差限制能量項匕定義為：
[0071]

[0072] 水平視差|很制用亍保持預(yù)變換結(jié)果12和1的視差一致性，即每個特征點的X坐標 (用、表示）應(yīng)該和預(yù)變換圖像里特征點的視差接近。水平視差限制能量項&定義 為：
[0073]
[0074] 其中，供此外，本發(fā)明可以通過改變視差分布圖實現(xiàn)用戶定義的 視差分布。
[0075] (3)形狀保留能量項
[0076] 形狀保留能量項用于減小失真并保持變化的流暢性，在變換過程中，希望獲得平 滑而且局部相似的變換結(jié)果，來實現(xiàn)更少的失真。在這種情況下，變換函數(shù)應(yīng)滿足柯 西一黎曼方程，把方程轉(zhuǎn)化為基于有限差分的能量函數(shù)，柯西一黎曼方程等效于相似變換 的能量函數(shù)，相似變換的能量定義項Esi如下：
[0077]
[0078] 其
mij表不一個網(wǎng)格，u和v是局部坐標系下的未知坐標，因為網(wǎng)格 是矩形，此處u = i
[0079] 在本發(fā)明中，相比圖像非顯著區(qū)域，要對顯著區(qū)域進行更為嚴格的平滑處理:雙視 點立體圖像中的左圖像巧的形狀保留能量項Esl定義為：
[0080] Esi= Σ ω (i;j) · Esi(i, j)
[0081] 其中，ω (^)表示網(wǎng)格的顯著值；
[0082] 雙視點圖像中的右圖像/fi2的能量函數(shù)Esr以相似方法定義，形狀保留能量項E s表述 如下：
[0083] Es=(Esi+Esr)/2
[0084] (4)能量優(yōu)化
[0085] 為獲得新的網(wǎng)格頂點把包括上述所有能量項在內(nèi)的總能量E定義為：
[0086] E = Eh+Eg+Ey+Ed+Es
[0087] 通過解決能量最小化問題來實現(xiàn)能量優(yōu)化?？偰芰縀是$,,和吃，.的二次方函數(shù)， 其最小化問題可以用稀疏線性解算器解決。當輸出網(wǎng)格確定后，使用雙線性插值算法獲取 最后的結(jié)果。
[0088] 3.圖像融合
[0089] 本發(fā)明中圖像融合運用改善后的縫方法尋找拼接圖像里的縫，并使用多帶混合算 法生成最后的拼接結(jié)果。為了把兩個立體圖像拼接到一起，需要進行動態(tài)規(guī)劃在重疊區(qū)域 尋找一個縫。對第一行每項（i，j)的連縫的積聚能量定義如下：
[0090] Mi, j = e(i，j)+min(Mi-i，j-1，Mi-1，j，Mi-i，j+i)
[0091] 其中，e(i,j)表示如下：
[0092]
[0093] 其中，^和之￡分別表示變換后圖像巧和&的重疊區(qū)域。甸￡ (4/)和<^(4./)分 別表示重疊區(qū)域的梯度。在該過程的最后，最后一行的最小值表示最小連接垂直縫的末 端；
[0094] 經(jīng)上述處理，找到拼接立體圖像中的左圖像g和/重疊區(qū)域里的縫，拼接立體圖 像中右圖/1和@重疊區(qū)域的縫用相似方法找到，在找到重疊區(qū)域的縫之后，進行圖像融合； 最后，使用多帶混合算法獲得平滑圖像。
[0095] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面說明了本發(fā)明具體的實施過 程。
[0096] 本發(fā)明通過結(jié)合投影變換和內(nèi)容保留變換提出了一個用于立體圖像拼接的混合 變換模型。首先，提出了采用經(jīng)過優(yōu)化的一致的單應(yīng)性矩陣對左右圖像做預(yù)變換來保證連 續(xù)變換。之后，引入內(nèi)容保留變換來局部改善連接并減少垂直視差。最后，設(shè)計了基于切縫 的算法來進行混合拼接，最后使用多帶混合算法用于產(chǎn)生最后的拼接圖片。在這種情況下， 避免了局部變形，而且合理地減小了垂直視差。本發(fā)明基于MATLAB平臺進行仿真，具體的技 術(shù)方案分為下列步驟。
[0097] 1.基于歸一化單應(yīng)性矩陣的預(yù)變換
[0098]忍，6和/j表示輸入的立體圖像對，并且選取4和4作為參考圖像對。首 先提出了一個經(jīng)過迭代方法得到的一致的預(yù)拼