本申請涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于圖像的立體匹配方法及裝置。

背景技術(shù)：

作為多視點(diǎn)成像最重要的應(yīng)用，自由視點(diǎn)電視給用戶提供了可以任意選擇場景視角的能力，打破了只能從拍攝角度看場景的限制，增強(qiáng)了用戶體驗(yàn)，越來越受到人們的廣泛關(guān)注。然而從傳統(tǒng)上來看要實(shí)現(xiàn)任意視角觀看三維場景需要無數(shù)個(gè)從不同視角拍攝的幀，用戶才可以自由地在現(xiàn)實(shí)世界中轉(zhuǎn)換場景視角，由于相機(jī)數(shù)量有限和存儲(chǔ)空間缺乏，這似乎是不切實(shí)際的。因此，虛擬視點(diǎn)合成技術(shù)應(yīng)運(yùn)而生，該技術(shù)基于有限個(gè)拍攝視圖進(jìn)行映射得到中間虛擬視點(diǎn)視圖，這樣就可以通過有限個(gè)攝像機(jī)實(shí)現(xiàn)場景視角的自由轉(zhuǎn)換。這種圖像映射被稱為立體匹配。

立體匹配算法分可以分為兩類：局部算法和全局算法。局部算法是在支持窗口內(nèi)根據(jù)顏色值差異估算窗口中心像素的視差值，進(jìn)而得到圖像的整體視差圖，是利用局部信息解決匹配問題。全局算法是利用圖像的全局約束信息，對局部圖像的模糊不敏感，通過構(gòu)建全局能量函數(shù)，再通過優(yōu)化方法最小化全局能量函數(shù)以得到致密視差圖。

由于現(xiàn)有的立體匹配算法默認(rèn)圖像中顏色值相同的像素點(diǎn)處于同一視差平面或平滑變化的視差表面上，且像素點(diǎn)之間的空間距離越小處在同一視差平面上的可能性越大。因此，現(xiàn)有的許多立體匹配算法對圖像中低曲率或正面平行的場景的處理效果較好，但對圖像中存在較多傾斜或高度彎曲的無紋理表面的處理效果不佳。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本申請?zhí)峁┝艘环N基于圖像的立體匹配方法及裝置，能夠解決現(xiàn)有技術(shù)中對圖像中無紋理區(qū)域的處理效果不佳，視差圖中存在錯(cuò)誤的問題。

本申請實(shí)施例提供的一種基于圖像的立體匹配方法，包括：

獲取待處理圖像，并獲取所述待處理圖像中每個(gè)像素點(diǎn)的初始視差；

評(píng)估所述初始視差的可信度，根據(jù)所述初始視差的可信度確定所述待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)；

根據(jù)所述待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)，得到第一集合和第二集合，所述第一集合包括該可信像素點(diǎn)，所述第二集合包括該不可信像素點(diǎn)，所述第一集合中像素點(diǎn)的第一視差為該像素點(diǎn)的初始視差；

根據(jù)所述待處理圖像的顏色值對其進(jìn)行分割，得到多個(gè)分割塊；

以分割塊中第一像素點(diǎn)的坐標(biāo)和第一視差為依據(jù)，確定該分割塊中第二像素點(diǎn)的第一視差，所述第一集合包括所述第一像素點(diǎn)，所述第二集合包括所述第二像素點(diǎn)。

可選的，所述方法還包括：

根據(jù)所述待處理圖像中每個(gè)像素點(diǎn)的第一視差，將所述待處理圖像的場景分割為多個(gè)三維實(shí)體；

分別根據(jù)每個(gè)所述三維實(shí)體上像素點(diǎn)的坐標(biāo)和第一視差，擬合該三維實(shí)體的曲面方程；

根據(jù)所述曲面方程和預(yù)先設(shè)定的比例尺，獲得所述待處理圖像中每個(gè)像素點(diǎn)的第二視差；

綜合所述第二視差，得到所述待處理圖像的視差圖。

可選的，所述獲取所述待處理圖像中每個(gè)像素點(diǎn)的初始視差，具體包括：

獲取與所述待處理圖像對應(yīng)的參考圖像，所述參考圖像與所述待處理圖像的場景相同；

根據(jù)預(yù)設(shè)的備選視差范圍，獲得至少兩個(gè)備選視差；

分別根據(jù)每個(gè)所述備選視差，在所述參考圖像中確定與所述待處理圖像中待匹配像素點(diǎn)對應(yīng)的參考像素點(diǎn)；

分別獲得所述待匹配像素點(diǎn)和對應(yīng)的每個(gè)所述參考像素點(diǎn)之間的總匹配代價(jià)，將所述總匹配代價(jià)最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該待匹配像素點(diǎn)的初始視差。

可選的，所述評(píng)估所述初始視差的可信度，具體包括：

查找所述待匹配像素點(diǎn)對應(yīng)的總匹配代價(jià)中，最小的總匹配代價(jià)和次最小的總匹配代價(jià)；

根據(jù)所述最小的總匹配代價(jià)和所述次最小的總匹配代價(jià)，評(píng)估所述待匹配像素點(diǎn)初始視差的可信度。

可選的，所述根據(jù)所述待處理圖像的顏色值對其進(jìn)行分割，得到多個(gè)分割塊，之前還包括：

更新所述第二像素點(diǎn)和對應(yīng)的每個(gè)所述參考像素點(diǎn)之間的總匹配代價(jià)，將更新后總匹配代價(jià)的最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該第二像素點(diǎn)的第三視差；

評(píng)估所述第二像素點(diǎn)的第三視差的可信度，根據(jù)所述第三視差的可信度區(qū)分所述第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)；

根據(jù)所述第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素點(diǎn)和所述第二像素點(diǎn)中的可信像素點(diǎn)，更新后的第二集合包括所述第二像素點(diǎn)中的不可信像素點(diǎn)。

可選的，所述更新所述第二像素點(diǎn)和對應(yīng)的每個(gè)所述參考像素點(diǎn)之間的總匹配代價(jià)，具體包括：

根據(jù)目標(biāo)備選視差，在所述參考圖像中找出與所述第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)，并獲取該參考像素點(diǎn)的參考視差所述目標(biāo)備選視差落在所述備選視差范圍內(nèi)；

確定所述待處理圖像中的第一支持窗口和所述參考圖像中的第二支持窗口，所述第一支持窗口的中心為所述第二像素點(diǎn)，所述第二支持窗口的中心為所述第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)；

根據(jù)兩個(gè)對應(yīng)的支持像素點(diǎn)的顏色值以及所述目標(biāo)備選視差和所述參考視差，更新該兩個(gè)支持像素點(diǎn)之間的匹配代價(jià)，所述兩個(gè)對應(yīng)的支持像素點(diǎn)分別落在所述第一支持窗口和所述第二支持窗口內(nèi)；

根據(jù)所述第一支持窗口和所述第二支持窗口之間對應(yīng)的兩個(gè)支持像素點(diǎn)更新后的匹配代價(jià)以及這兩個(gè)支持像素點(diǎn)的權(quán)重，更新所述第二像素點(diǎn)和對應(yīng)的參考像素點(diǎn)之間的總匹配代價(jià)。

可選的，確定可信像素點(diǎn)和不可信像素點(diǎn)的方法，具體為：

根據(jù)所述待處理圖像的類型，確定可信度閾值；

若像素點(diǎn)對應(yīng)的可信度大于或等于所述可信度閾值，則將該像素點(diǎn)確定為可信像素點(diǎn)；

若像素點(diǎn)對應(yīng)的可信度小于所述可信度閾值，則將該像素點(diǎn)確定為不可信像素點(diǎn)。

本申請實(shí)施例提供的一種基于圖像的立體匹配裝置，包括：圖像獲取模塊、視差獲取模塊、可信度評(píng)估模塊、集合確定模塊和圖像分割模塊；

所述圖像獲取模塊，用于獲取待處理圖像；

所述視差獲取模塊，用于獲取所述待處理圖像中每個(gè)像素點(diǎn)的初始視差；

所述可信度評(píng)估模塊，用于評(píng)估所述初始視差的可信度，根據(jù)所述初始視差的可信度確定所述待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)；

所述集合確定模塊，用于根據(jù)所述待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)，得到第一集合和第二集合，所述第一集合包括該可信像素點(diǎn)，所述第二集合包括該不可信像素點(diǎn)，所述第一集合中像素點(diǎn)的第一視差為該像素點(diǎn)的初始視差；

所述圖像分割模塊，用于根據(jù)所述待處理圖像的顏色值對其進(jìn)行分割，得到多個(gè)分割塊；

所述視差獲取模塊，還用于以分割塊中第一像素點(diǎn)的坐標(biāo)和第一視差為依據(jù)，確定該分割塊中第二像素點(diǎn)的第一視差，所述第一集合包括所述第一像素點(diǎn)，所述第二集合包括所述第二像素點(diǎn)。

可選的，所述裝置還包括：曲面擬合模塊和視差圖獲取模塊；

所述圖像分割模塊，還用于根據(jù)所述待處理圖像中每個(gè)像素點(diǎn)的第一視差，將所述待處理圖像的場景分割為多個(gè)三維實(shí)體；

所述曲面擬合模塊，用于分別根據(jù)每個(gè)所述三維實(shí)體上像素點(diǎn)的坐標(biāo)和第一視差，擬合該三維實(shí)體的曲面方程；

所述視差獲取模塊，還用于根據(jù)所述曲面方程和預(yù)先設(shè)定的比例尺，獲得所述待處理圖像中每個(gè)像素點(diǎn)的第二視差；

所述視差圖獲取模塊，用于綜合所述第二視差，得到所述待處理圖像的視差圖。

可選的，

所述圖像獲取模塊，還用于獲取與所述待處理圖像對應(yīng)的參考圖像，所述參考圖像與所述待處理圖像的場景相同；

所述視差獲取模塊，具體包括：第一獲取子模塊、第二獲取子模塊、第一確定子模塊和第二確定子模塊；

所述第一獲取子模塊，用于根據(jù)預(yù)設(shè)的備選視差范圍，獲得至少兩個(gè)備選視差；

所述第一確定子模塊，用于分別根據(jù)每個(gè)所述備選視差，在所述參考圖像中確定與所述待處理圖像中待匹配像素點(diǎn)對應(yīng)的參考像素點(diǎn)；

所述第二獲取子模塊，用于分別獲得所述待匹配像素點(diǎn)和對應(yīng)的每個(gè)所述參考像素點(diǎn)之間的總匹配代價(jià)；

所述第二確定子模塊，用于將所述總匹配代價(jià)最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該待匹配像素點(diǎn)的初始視差。

可選的，所述可信度評(píng)估模塊，具體包括：查找子模塊和第三獲取子模塊；

所述查找子模塊，用于查找所述待匹配像素點(diǎn)對應(yīng)的總匹配代價(jià)中，最小的總匹配代價(jià)和次最小的總匹配代價(jià)；

所述第三獲取子模塊，用于根據(jù)所述最小的總匹配代價(jià)和所述次最小的總匹配代價(jià)，評(píng)估所述待匹配像素點(diǎn)初始視差的可信度。

可選的，所述視差獲取模塊，還包括：更新子模塊；

所述更新子模塊，用于更新所述第二像素點(diǎn)和對應(yīng)的每個(gè)所述參考像素點(diǎn)之間的總匹配代價(jià)；

所述第二確定子模塊，還用于將更新后總匹配代價(jià)的最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該第二像素點(diǎn)的第三視差；

所述可信度評(píng)估模塊，還用于評(píng)估所述第二像素點(diǎn)的第三視差的可信度，根據(jù)所述第三視差的可信度區(qū)分所述第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)；

所述集合確定模塊，還用于根據(jù)所述第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素點(diǎn)和所述第二像素點(diǎn)中的可信像素點(diǎn)，更新后的第二集合包括所述第二像素點(diǎn)中的不可信像素點(diǎn)。

可選的，所述更新子模塊，具體包括：第三確定子模塊、第四確定子模塊、第四獲取模塊和第五獲取模塊；

所述第三確定子模塊，用于根據(jù)目標(biāo)備選視差，在所述參考圖像中找出與所述第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)，所述目標(biāo)備選視差落在所述備選視差范圍內(nèi)；

所述視差獲取模塊，還用于獲得所述第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)的參考視差；

所述第四確定子模塊，用于確定所述待處理圖像中的第一支持窗口和所述參考圖像中的第二支持窗口，所述第一支持窗口的中心為所述第二像素點(diǎn)，所述第二支持窗口的中心為所述第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)；

所述第四獲取子模塊，用于根據(jù)兩個(gè)對應(yīng)的支持像素點(diǎn)的顏色值以及所述目標(biāo)備選視差和所述參考視差，更新該兩個(gè)支持像素點(diǎn)之間的匹配代價(jià)，所述兩個(gè)對應(yīng)的支持像素點(diǎn)分別落在所述第一支持窗口和所述第二支持窗口內(nèi)；

所述第五獲取子模塊，用于根據(jù)所述第一支持窗口和所述第二支持窗口之間對應(yīng)的兩個(gè)支持像素點(diǎn)的匹配代價(jià)以及這兩個(gè)支持像素點(diǎn)更新后的權(quán)重，更新所述第二像素點(diǎn)和對應(yīng)的參考像素點(diǎn)之間的總匹配代價(jià)。

可選的，所述可信度評(píng)估模塊，還包括：閾值獲取子模塊、第六確定子模塊和第七確定子模塊；

所述閾值獲取子模塊，用于根據(jù)所述待處理圖像的類型，確定可信度閾值；

所述第六確定子模塊，用于當(dāng)像素點(diǎn)對應(yīng)的可信度大于或等于所述可信度閾值時(shí)，將該像素點(diǎn)確定為可信像素點(diǎn)；

所述第七確定子模塊，用于當(dāng)像素點(diǎn)對應(yīng)的可信度小于所述可信度閾值時(shí)，則將該像素點(diǎn)確定為不可信像素點(diǎn)。

與現(xiàn)有技術(shù)相比，本申請至少具有以下優(yōu)點(diǎn)：

在本申請實(shí)施例中，首先獲取待處理圖像中每個(gè)像素點(diǎn)的初始視差，再對初始視差進(jìn)行可信度評(píng)估，確定待處理圖像中初始視差可信的可信像素點(diǎn)以及初始視差不可信的不可信像素點(diǎn)。然后，將待處理圖像的像素點(diǎn)及其視差放在一個(gè)由像素點(diǎn)坐標(biāo)和視差構(gòu)成的三維空間中時(shí)，處于同一無紋理區(qū)域內(nèi)的可信像素點(diǎn)可以形成光滑的曲面，而該區(qū)域中不可信像素點(diǎn)則位于該曲面以外。因此，先對待處理圖像進(jìn)行顏色分割得到多個(gè)分割塊，再根據(jù)分割塊中可信像素點(diǎn)的坐標(biāo)及初始視差，確定該分割塊中不可信像素點(diǎn)的可信視差。最后，根據(jù)可信像素點(diǎn)的初始視差和不可信像素點(diǎn)的可信視差，即可得到待處理圖像中每個(gè)像素點(diǎn)的準(zhǔn)確的視差，從而得到待處理圖像的視差圖。本申請實(shí)施例基于可信像素點(diǎn)的可信的初始視差推導(dǎo)出不可信像素點(diǎn)的可信視差，糾正了初始視差中不可信像素點(diǎn)對應(yīng)的視差，能夠得到待處理圖像中無紋理區(qū)域的準(zhǔn)確視差，提高了對圖像中無紋理區(qū)域的處理效果。

附圖說明

為了更清楚地說明本申請實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1為傳統(tǒng)立體匹配算法得到的視差圖及其真實(shí)視差圖；

圖2為本申請實(shí)施例提供的一種基于圖像的立體匹配方法的流程示意圖；

圖3a-3c為待匹配圖像及其真實(shí)視差圖和傳統(tǒng)算法所得視差圖的三維示意圖；

圖4為本申請實(shí)施例中一種得到待處理圖像視差圖的流程示意圖；

圖5為本申請實(shí)施例提供的另一種基于圖像的立體匹配方法的流程示意圖；

圖6為本申請實(shí)施例中一種更新第一集合和第二集合的流程示意圖；

圖7為本申請實(shí)施例中一種更新總匹配代價(jià)的流程示意圖；

圖8為本申請實(shí)施例提供的又一種基于圖像的立體匹配方法的流程示意圖；

圖9為本申請實(shí)施例提供的一種基于圖像的立體匹配裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本申請方案，下面將結(jié)合本申請實(shí)施例中的附圖，對本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本申請一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾堉械膶?shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請保護(hù)的范圍。

現(xiàn)有的局部立體匹配算法，是在支持窗口內(nèi)根據(jù)顏色值估算窗口中心像素點(diǎn)的視差，是利用局部信息解決匹配問題。許多局部方法嘗試使用更高效的算法架構(gòu)以減少計(jì)算復(fù)雜度。例如，通過在成本域中傳播視差來解決立體匹配問題實(shí)現(xiàn)實(shí)時(shí)的局部立體匹配；對多種空間平滑約束進(jìn)行歸一化處理，實(shí)現(xiàn)高效立體匹配；設(shè)計(jì)新的代價(jià)聚合算法，以降低計(jì)算復(fù)雜度和內(nèi)存使用等。另外一些算法致力于獲取更精確的視差圖。例如，使用基于多斜面假設(shè)的直方圖聚集方法改進(jìn)傳統(tǒng)的匹配算法，既能提高匹配精度，又能保持較低的計(jì)算復(fù)雜度；設(shè)計(jì)高效的一次性局部算法，提高相似性度量的準(zhǔn)確性和代價(jià)聚合的可靠性等。

在諸多局部立體匹配算法中，最值得一提的方法是自適應(yīng)權(quán)重的立體匹配算法，該算法的核心是邊界保持性能好。通過在自適應(yīng)權(quán)重算法的基礎(chǔ)上引入迭代優(yōu)化，可以迭代消除視差誤差同時(shí)又不會(huì)增加計(jì)算復(fù)雜度；通過遞歸加權(quán)使計(jì)算復(fù)雜度與支持窗口大小無關(guān)；通過使用迭代塊減少計(jì)算復(fù)雜度；使用各向異性濾波器(各向異性中值濾波是中值濾波器和邊緣保持各向異性濾波器的結(jié)合)得到更精確的視差圖等。

傳統(tǒng)的立體匹配算法有缺陷，是因?yàn)樗惴J(rèn)顏色相同的像素點(diǎn)在同一視差平面或平滑變化的視差曲面上，且像素點(diǎn)之間的空間距離越小處在同一視差平面上的可能性越大。因此，現(xiàn)有的許多立體匹配算法對圖像中低曲率或正面平行的場景的處理效果較好，但對圖像中存在較多傾斜或高度彎曲的無紋理表面的處理效果不佳。圖1示出了現(xiàn)有的立體匹配算法得到的tsukuba圖像中頭部模型的視差信息及其實(shí)際的視差信息，通過圖1可發(fā)現(xiàn)，現(xiàn)有的立體匹配算法對圖像中無紋理但存在較多傾斜或高度彎曲的表面的處理效果不佳。

為此，本申請實(shí)施例嘗試將初始視差結(jié)構(gòu)放到一個(gè)由像素坐標(biāo)和視差值構(gòu)成的三維空間中。在這個(gè)空間中，處于無紋理區(qū)域的匹配正確的像素點(diǎn)可以形成光滑的曲面，而匹配錯(cuò)誤的像素點(diǎn)則不會(huì)。因此，在本申請實(shí)施例中，基于匹配正確的像素視差值推斷出匹配錯(cuò)誤的像素點(diǎn)的視差值。首先，通過像素級(jí)匹配得到待處理圖像的初始視差和初始視差的可靠度。之后，基于彩色圖像分割，根據(jù)分割塊中可信像素點(diǎn)的視差糾正不可信像素點(diǎn)的視差，最終得到準(zhǔn)確的視差，解決了圖像中無紋理區(qū)域匹配效果不佳的問題。

基于上述思想，為使本申請的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖對本申請的具體實(shí)施方式做詳細(xì)的說明。

首先需要說明的是，本申請實(shí)施例提供的立體匹配方法，基于對同一場景在不同位置拍攝的兩幅彩色圖像進(jìn)行，例如同一攝像設(shè)備在不同位置對同一場景拍攝的兩幅圖像，還例如雙目攝像機(jī)(或兩個(gè)攝像頭)對一場景拍攝得到的雙目序列中圖像的左視圖和右視圖。下面以對左視圖進(jìn)行立體匹配(即獲得左視圖的視差圖)為例進(jìn)行說明，對右視圖進(jìn)行立體匹配的方法類似，具體說明參見對左視圖進(jìn)行立體匹配的相關(guān)說明即可，在本申請實(shí)施例中不再贅述。

參見圖2，該圖為本申請實(shí)施例提供的一種基于圖像的立體匹配方法的流程示意圖。

本實(shí)施例提供的立體匹配方法，包括以下步驟s201-s205。

s201：獲取待處理圖像，并獲取待處理圖像中每個(gè)像素點(diǎn)的初始視差。

可以理解的是，待處理圖像可以為雙目攝像機(jī)拍攝的校正后的彩色圖像中的左視圖或右視圖，也可以是該圖像的原始圖像。

在實(shí)際應(yīng)用中，本領(lǐng)域技術(shù)人員可以采用上述任意一種現(xiàn)有的立體匹配算法，得到待處理圖像的初始視差圖，本申請實(shí)施例中并不對此做任何限定，這里也不再一一贅述。

s202：評(píng)估初始視差的可信度，根據(jù)初始視差的可信度確定待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)。

初始視差的可信度，即立體匹配結(jié)果的可信度，用于確定得到的視差是否準(zhǔn)確。當(dāng)初始視差可信時(shí)，該像素點(diǎn)(即可信像素點(diǎn))的初始視差接近真實(shí)視差；當(dāng)初始視差不可信時(shí)，該像素點(diǎn)(即不可信像素點(diǎn))的視差與初始視差時(shí)間存在較大的誤差，需要對不可信的視差進(jìn)行調(diào)整，以得到待處理圖像準(zhǔn)確的視差圖。

s203：根據(jù)待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)，得到第一集合和第二集合。

其中，第一集合包括該可信像素點(diǎn)，第二集合包括該不可信像素點(diǎn)，第一集合中像素點(diǎn)的第一視差為該像素點(diǎn)的初始視差。

即，根據(jù)初始視差的可信度，將待處理圖像的像素點(diǎn)分為兩類，一類為初始視差可信的像素點(diǎn)(即第一集合中的像素點(diǎn))，另一類為初始視差不可信的像素點(diǎn)(即第二集合中的像素點(diǎn))。

s204：根據(jù)待處理圖像的顏色對其進(jìn)行分割，得到多個(gè)分割塊。

通過現(xiàn)有的立體匹配算法得到的視差，默認(rèn)相同顏色的像素點(diǎn)處于同一視差平面或平滑變化的視差表面上，且像素點(diǎn)之間的空間距離越小處在同一視差平面上的可能性越大。因此，在處理待處理圖像的無紋理區(qū)域時(shí)，效果不佳。在本實(shí)施例中，認(rèn)為處于無紋理區(qū)域的像素點(diǎn)可以形成一個(gè)在由像素坐標(biāo)及其視差組成的三維空間內(nèi)的光滑平面。因此，根據(jù)顏色將待處理圖像分割多個(gè)分割塊，將無紋理區(qū)域劃分為一個(gè)分割塊，分別處理每個(gè)分割塊中像素點(diǎn)的視差，可以保證無紋理區(qū)域中視差的準(zhǔn)確。

可以理解的是，步驟s204可以在獲取待處理圖像之后與步驟s205之前任意時(shí)刻執(zhí)行，本申請實(shí)施例對此不做任何限定。

在實(shí)際應(yīng)用中，可以采用均值漂移算法，根據(jù)圖像的顏色對圖像進(jìn)行分割。每個(gè)分割塊可以由至少500個(gè)像素點(diǎn)組成。

s205：以分割塊中第一像素點(diǎn)的坐標(biāo)和第一視差為依據(jù)，確定該分割塊中第二像素點(diǎn)的第一視差。

其中，第一集合包括第一像素點(diǎn)，第二集合包括第二像素點(diǎn)。

由于在本實(shí)施例中，認(rèn)為處于無紋理區(qū)域的像素點(diǎn)可以形成一個(gè)在由像素坐標(biāo)及其視差組成的三維空間內(nèi)的光滑平面，則分割塊中可信像素點(diǎn)(即第一集合中處于同一分隔塊內(nèi)的像素點(diǎn))可以形成光滑的表面(即曲面)，而分割塊中不可信像素點(diǎn)(即第二集合中處于該分割塊內(nèi)的像素點(diǎn))則不在該表面上。因此，可以根據(jù)分隔塊中第一像素點(diǎn)的坐標(biāo)和初始視差(即第一視差)，確定其形成的曲面，再根據(jù)該曲面，可以得到該分隔塊中第二像素點(diǎn)的準(zhǔn)確視差(即第一視差)。根據(jù)分割塊中可信像素點(diǎn)的視差，糾正不可信像素點(diǎn)的視差，提高了對圖像中無紋理區(qū)域的處理效果。

作為一個(gè)示例，為了確保分隔塊內(nèi)第一像素點(diǎn)可以形成的表面平滑連續(xù)，可以根據(jù)公式(1)所示的可導(dǎo)的二元三次方程來擬合曲線。

d(x,y)＝a1+a2·x+a3·y+a4·x²+a5·xy+a6·y²+a7·x³+a8·x²y+a9·xy²+a10·y³

(1)

其中，a1,a2,…,a10為系數(shù)，(x,y)為像素點(diǎn)坐標(biāo)，d(x,y)為視差。

將第一像素點(diǎn)的坐標(biāo)和初始視差代入公式(1)可以得到系數(shù)a1,a2,…,a10，從而得到該表面的曲面方程，再將第二像素點(diǎn)的坐標(biāo)代入曲面方程，即可得到該第二像素點(diǎn)位于該表面時(shí)的第一視差。

這里還需要說明的是，待處理圖像中像素點(diǎn)的第一視差組成的視差圖可以在實(shí)際操作中直接應(yīng)用。但是，若視差圖比例不為1時(shí)，該視差圖將像積木而不是連貫的表面，從而影響視差圖的主觀舒適度和立體匹配結(jié)果的真實(shí)性。舉例而言，待處理圖像如圖3a所示，步驟s205得到的視差圖的三維效果如圖3b所示，但真實(shí)視差圖的三維效果應(yīng)該如圖3c所示。

因此，為了提高立體匹配結(jié)果的主觀舒適性，使立體匹配的結(jié)果更加真實(shí)，在本實(shí)施例可能的實(shí)現(xiàn)方式中，還可以基于像素點(diǎn)的第一視差分割待處理圖像，將待處理圖像中的場景分割為一組三維實(shí)體，就像人類理解場景一樣，對每個(gè)三維實(shí)體進(jìn)行曲面擬合。具體的，如圖4所示，在步驟s205之后，還包括步驟s206-s209。

s206：根據(jù)待處理圖像中每個(gè)像素點(diǎn)的第一視差，將待處理圖像的場景分割為多個(gè)三維實(shí)體。

三維實(shí)體需滿足以下條件：其一，每個(gè)三維實(shí)體的視差服從緊湊分布；其二，每個(gè)三維實(shí)體的視差過度平穩(wěn)。在實(shí)際操作中，可以根據(jù)上述條件，采用均值漂移算法，根據(jù)像素點(diǎn)的第一視差對待處理圖像中的三維實(shí)體進(jìn)行分割。

s207：分別根據(jù)每個(gè)三維實(shí)體上像素點(diǎn)的坐標(biāo)和第一視差，擬合該三維實(shí)體的曲面方程。

可以理解的是，三維實(shí)體在待處理圖像中表現(xiàn)為光滑的表面。因此，在實(shí)際應(yīng)用中，也可以將三維實(shí)體上像素點(diǎn)的坐標(biāo)及其第一視差代入公式(1)，從而擬合出該三維實(shí)體的曲面方程。

s208：根據(jù)曲面方程和預(yù)先設(shè)定的比例尺，獲得待處理圖像中每個(gè)像素點(diǎn)的第二視差。

s209：綜合像素點(diǎn)的第二視差，得到待處理圖像的視差圖。

可以理解的是，比例尺可以由現(xiàn)有技術(shù)確定，這里不再贅述。

在實(shí)際應(yīng)用中，可以根據(jù)視差比例尺，對三維實(shí)體的曲面方程中系數(shù)進(jìn)行修改，進(jìn)而得到修改后待處理圖像中每個(gè)像素點(diǎn)的期望視差，以滿足主觀舒適性的要求，使處理結(jié)果更加真實(shí)。

在本實(shí)施例中，首先獲取待處理圖像中每個(gè)像素點(diǎn)的初始視差，再對初始視差進(jìn)行可信度評(píng)估，確定待處理圖像中初始視差可信的可信像素點(diǎn)以及初始視差不可信的不可信像素點(diǎn)。然后，將待處理圖像的像素點(diǎn)及其視差放在一個(gè)由像素點(diǎn)坐標(biāo)和視差構(gòu)成的三維空間中時(shí)，處于同一無紋理區(qū)域內(nèi)的可信像素點(diǎn)可以形成光滑的曲面，而該區(qū)域中不可信像素點(diǎn)則位于該曲面以外。因此，先對待處理圖像進(jìn)行顏色分割得到多個(gè)分割塊，再根據(jù)分割塊中可信像素點(diǎn)的坐標(biāo)及初始視差，確定該分割塊中不可信像素點(diǎn)的可信視差。最后，根據(jù)可信像素點(diǎn)的初始視差和不可信像素點(diǎn)的可信視差，即可得到待處理圖像中每個(gè)像素點(diǎn)的準(zhǔn)確的視差，從而得到待處理圖像的視差圖。本實(shí)施例基于可信像素點(diǎn)的可信的初始視差推導(dǎo)出不可信像素點(diǎn)的可信視差，糾正了初始視差中不可信像素點(diǎn)對應(yīng)的視差，能夠得到待處理圖像中無紋理區(qū)域的準(zhǔn)確視差，提高了對圖像中無紋理區(qū)域的處理效果。

下面舉例說明如何獲取待處理圖像中每個(gè)像素點(diǎn)的初始視差。

參見圖5，該圖為本申請實(shí)施例提供的另一種基于圖像的立體匹配方法的流程示意圖。

在本實(shí)施例中，步驟s202具體包括以下步驟s501-s504。

s501：獲取與待處理圖像對應(yīng)的參考圖像，參考圖像與待處理圖像的場景相同。

可以理解的是，參考圖像可以是為雙目攝像機(jī)拍攝的校正后的除待處理圖像之外的另一張彩色圖像，也可以是該圖像的原始圖像。例如，待處理圖像為雙目攝像機(jī)拍攝的左視圖，則參考圖像為同時(shí)拍攝的右視圖。

s502：根據(jù)預(yù)設(shè)的備選視差范圍，獲得至少兩個(gè)備選視差。

在本實(shí)施例中，預(yù)先設(shè)定了待處理圖像的備選視差范圍。例如，備選視為差范圍1-5，則備選視差可以是[1,5]中的任意一個(gè)整數(shù)。

s503：分別根據(jù)每個(gè)備選視差，在參考圖像中確定與待處理圖像中待匹配像素點(diǎn)對應(yīng)的參考像素點(diǎn)。

每個(gè)備選視差下，待處理圖像中像素點(diǎn)均可以在參考圖像上找到一個(gè)匹配的像素點(diǎn)(即參考像素點(diǎn))。由于選出了至少兩個(gè)備選視差，則待處理圖像中每個(gè)像素點(diǎn)匹配至少兩個(gè)參考像素點(diǎn)。即，每個(gè)備選視差下，均存在匹配對(pc,qc)，其中pc為待處理圖像中像素點(diǎn)，qc為該備選視差下與pc匹配的參考像素點(diǎn)。

s504：分別獲得待匹配像素點(diǎn)和對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)，將總匹配代價(jià)最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該待匹配像素點(diǎn)的初始視差。

在實(shí)際操作中，可以根據(jù)如下公式(2)、公式(3)和公式(4)獲得待處理圖像中像素點(diǎn)和對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)。

其中，cost(pc,qc)為匹配對(pc,qc)的總匹配代價(jià)，pc為待處理圖像中像素點(diǎn)，qc為參考圖像中像素點(diǎn)，wl為待處理圖像中以pc為中心的固定窗口，wr為參考圖像中以qc為中心的固定窗口，ωl(pi,pc)和ωr(qi,qc)分別是pi和qi的權(quán)重，pi和qi分別是wl和wr中的像素點(diǎn)，e0(pi,qi)為pi和qi之間的匹配代價(jià)，ic是彩色圖像的顏色值(rgb值)，t為預(yù)設(shè)的匹配代價(jià)上限，dp(pi,pc)為待處理圖像中pi和pc之間的空間距離，dc(ic(pi),ic(pc))為待處理圖像中pi和pc之間的顏色相似性，γp和γc為常量。

這里需要說明的是，權(quán)重與像素點(diǎn)間的顏色和空間距離有關(guān)，代表窗口內(nèi)像素點(diǎn)服務(wù)中心像素點(diǎn)的能力，對與窗口內(nèi)與中心點(diǎn)顏色相似、距離接近的像素點(diǎn)賦予較大的權(quán)重，反之則賦予較小的權(quán)重。

然后，通過勝者為王(winner-takes-all，wta)算法得到待處理圖像中像素點(diǎn)的初始視差，如公式(5)所示。

其中，為pc的初始視差，d為備選視差，sd為備選視差范圍。

可以理解的是，最小的總匹配代價(jià)對應(yīng)的匹配對，該匹配對對應(yīng)的備選視差即為待處理圖像中像素點(diǎn)的初始視差。

為了提高遮擋和視差不連續(xù)區(qū)域中立體匹配的效果，在本實(shí)施例可能的實(shí)現(xiàn)方式中，可以采用捆綁優(yōu)化的方法，進(jìn)一步優(yōu)化像素點(diǎn)的視差，從第一集合中篩選出優(yōu)化視差后的可信像素點(diǎn)和不可信像素點(diǎn)。捆綁優(yōu)化，即同時(shí)約束色彩一致性和視差值約束，從而實(shí)現(xiàn)以下三個(gè)目標(biāo)：第一，每個(gè)候選視差值的代價(jià)差異加大；第二，降低因圖像噪聲和遮擋對立體匹配結(jié)果的影響；第三，使視差圖邊界得以保留。因此，步驟s204之前，還可以包括更新第一集合和第二集合的過程，如圖6所示，具體包括以下步驟s601-s603。

s601：更新第二像素點(diǎn)和對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)，將更新后總匹配代價(jià)的最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該第二像素點(diǎn)的第三視差。

作為一個(gè)示例，如圖7所示，更新總匹配代價(jià)的過程可以具體包括以下步驟s701-s704。

s701：根據(jù)目標(biāo)備選視差，在參考圖像中找出與第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)，并獲取該參考像素點(diǎn)的參考視差，目標(biāo)備選視差落在備選視差范圍內(nèi)。

這里需要說明的是，可以采用與獲取待處理圖像中初始視差時(shí)相同的方法獲取參考像素點(diǎn)的參考視差，這里不再贅述。

s702：確定待處理圖像中的第一支持窗口和參考圖像中的第二支持窗口，第一支持窗口的中心為第二像素點(diǎn)，第二支持窗口的中心為第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)。

s703：根據(jù)兩個(gè)對應(yīng)的支持像素點(diǎn)的顏色值以及目標(biāo)備選視差和參考視差，更新該兩個(gè)支持像素點(diǎn)之間的匹配代價(jià)，兩個(gè)對應(yīng)的支持像素點(diǎn)分別落在第一支持窗口和第二支持窗口內(nèi)。

在理想狀態(tài)下，第二像素點(diǎn)的視差和對應(yīng)的參考像素點(diǎn)的視差相同。因此，為了提高遮擋和視差不連續(xù)區(qū)域中立體匹配的效果，在本實(shí)施例中考慮第二像素點(diǎn)和對應(yīng)的參考像素點(diǎn)的匹配偏差，定義了一個(gè)新的代價(jià)聚合函數(shù)，對匹配代價(jià)e的計(jì)算方法做了修改，即用公式(6)替換公式(3)

e(pi,qi)＝e0(pi,qi)+(d-d')²(6)

其中，d為目標(biāo)備選視差，d'為參考視差。

在實(shí)際應(yīng)用中，為了方便計(jì)算，可以先根據(jù)待處理圖像，確定參考圖像中每個(gè)像素點(diǎn)的視差(即參考視差)，再根據(jù)目標(biāo)備選視差在待處理圖像中找出參考像素點(diǎn)對應(yīng)的第二像素點(diǎn)。

s704：根據(jù)第一支持窗口和第二支持窗口之間對應(yīng)的兩個(gè)支持像素點(diǎn)更新后的匹配代價(jià)以及這兩個(gè)支持像素點(diǎn)的權(quán)重，更新第二像素點(diǎn)和對應(yīng)的參考像素點(diǎn)之間的總匹配代價(jià)。

即，用公式(7)替換公式(2)。

然而，根據(jù)公式(4)可看出，由于在計(jì)算總匹配代價(jià)時(shí)，與中心像素點(diǎn)的空間距離和顏色距離都較小的像素點(diǎn)將得到更高的權(quán)重，但在視差不連續(xù)的地區(qū)，由于兩側(cè)顏色相近，這些像素與中心像素可能不在同一視差平面，會(huì)導(dǎo)致視差估算出錯(cuò)。因此，在本實(shí)施例可能的實(shí)現(xiàn)方式中，需要重新確定這些像素點(diǎn)的權(quán)重。具體的，本實(shí)施例在根據(jù)權(quán)重獲取總匹配代價(jià)之前：先根據(jù)其顏色信息，將待匹配圖像分割成多個(gè)分隔塊；再判斷像素點(diǎn)pi與像素點(diǎn)pc是否位于同一顏色分割塊，像素點(diǎn)pc對應(yīng)的匹配窗口包括像素點(diǎn)pi。若是，則根據(jù)像素點(diǎn)pi與像素點(diǎn)pc之間的顏色相似性和空間距離，獲得像素點(diǎn)pi的權(quán)重。若否，則確定像素點(diǎn)pi的權(quán)重為零。

即，其中，sc為像素點(diǎn)pc所在的顏色分隔塊。

簡言之，即重新賦予第一匹配窗內(nèi)和第二匹配窗口內(nèi)像素點(diǎn)權(quán)重，引入幾何形狀信息，而不僅僅依靠顏色相似性和空間鄰近性。若像素點(diǎn)與匹配窗口的中心點(diǎn)處于同一個(gè)分割塊上的像素點(diǎn)的視差值相同，則賦予它的權(quán)重應(yīng)為最大值(即1.0)；若否，則確定其權(quán)重為零。

這里需要說明的是，可以在更新第二像素點(diǎn)的對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)之前，更新公式(2)所用的權(quán)重后重新第二像素點(diǎn)的對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)對第二集合進(jìn)行篩選；也可以在更新第二像素點(diǎn)的對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)的過程中，同時(shí)更新公式(7)所用的權(quán)重；還可以在更新第二像素點(diǎn)的對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)，更新第二集合后，更新公式(2)所用的權(quán)重后重新獲取第二集合中像素點(diǎn)的權(quán)重再次對第二集合進(jìn)行篩選，本申請對此不做限定。

s602：評(píng)估第二像素點(diǎn)的第三視差的可信度，根據(jù)第三視差的可信度區(qū)分第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)。

評(píng)估第三視差的可信度的方法與評(píng)估初始視差可信度類似，具體可以參見對評(píng)估初始視差可信度的說明，這里不再贅述。

s603：根據(jù)第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)更新第一集合和第二集合，更新后的第一集合包括第一像素點(diǎn)和第二像素點(diǎn)中的可信像素點(diǎn)，更新后的第二集合包括第二像素點(diǎn)中的不可信像素點(diǎn)。

即，更新后的第一集合包括初始視差可信的像素點(diǎn)以及第三視差可信的像素點(diǎn)，第二集合包括第三視差不可信的像素點(diǎn)。

在本實(shí)施例中，采用捆綁優(yōu)化的方式優(yōu)化了匹配代價(jià)的計(jì)算方式，并結(jié)合圖像分割對像素點(diǎn)的權(quán)重進(jìn)行了自適應(yīng)的設(shè)置，解決了圖像噪聲和遮擋對立體匹配結(jié)果的造成影響的問題，縮短了流程的整體耗時(shí)，并使得最終得到的視差圖更加精確。

下面舉例說明如何評(píng)估初始視差的可信度。參見圖8，該圖為本申請實(shí)施例提供的又一種立體匹配算法的流程示意圖。

在本實(shí)施例中，步驟s202具體可以包括以下步驟s801-s805。

s801：查找待匹配圖像中待匹配像素點(diǎn)對應(yīng)的總匹配代價(jià)中，最小的總匹配代價(jià)和次最小的總匹配代價(jià)。

可以理解的是，若備選視差有5個(gè)，則存在5個(gè)匹配對(pc,qc(i))，i為1、2、3、4或5，有5個(gè)總匹配代價(jià)，從小到大排序?yàn)椋?/p>

cost1＜cost2＜cost3＜cost4＜cost5

則，對于待處理圖像中像素點(diǎn)pc，cost1為最小的匹配代價(jià)，cost2為次最小的匹配代價(jià)。

s802：根據(jù)最小的總匹配代價(jià)和次最小的總匹配代價(jià)，評(píng)估待匹配像素點(diǎn)初始視差的可信度。

立體匹配的可信度可以定義為：所求視差值越準(zhǔn)確，則第一候選視差與第二候選視差的代價(jià)差距越大。

因此，在本實(shí)施例中，可以根據(jù)公式(8)獲得待處理圖像中每個(gè)像素點(diǎn)初始視差的可信度。

其中，r(d)為初始視差d的可信度，為像素點(diǎn)p的第一候選視差，為像素點(diǎn)p的第二候選視差，tc為閾值，為了防止公式(8)中的除數(shù)為0。

在實(shí)際應(yīng)用中，為了便于觀察立體匹配的效果，可以根據(jù)視差的可信度繪制可信度圖譜。具體的，當(dāng)像素點(diǎn)初始視差的可信度r(d)滿足0.8≤r(d)≤1時(shí)，在可信度圖譜中以紅色代表該像素點(diǎn)；當(dāng)像素點(diǎn)初始視差的可信度r(d)滿足0.8≤r(d)≤1時(shí)，在可信度圖譜中以紅色代表該像素點(diǎn)；當(dāng)像素點(diǎn)初始視差的可信度r(d)滿足0.6≤r(d)＜0.8時(shí)，在可信度圖譜中以黃色代表該像素點(diǎn)；當(dāng)像素點(diǎn)初始視差的可信度r(d)滿足0.4≤r(d)＜0.6時(shí)，在可信度圖譜中以綠色代表該像素點(diǎn)；當(dāng)像素點(diǎn)初始視差的可信度r(d)滿足0.2≤r(d)＜0.4時(shí)，在可信度圖譜中以青色代表該像素點(diǎn)；當(dāng)像素點(diǎn)初始視差的可信度r(d)滿足0.1≤r(d)＜0.2時(shí)，在可信度圖譜中以藍(lán)色代表該像素點(diǎn)；當(dāng)像素點(diǎn)初始視差的可信度r(d)滿足0≤r(d)＜0.1時(shí)，在可信度圖譜中以黑色代表該像素點(diǎn)。

s803：根據(jù)待處理圖像的類型，確定可信度閾值。

在實(shí)際應(yīng)用中，本領(lǐng)域技術(shù)人員可以根據(jù)數(shù)據(jù)經(jīng)驗(yàn)，對不同類型圖像的可信度閾值進(jìn)行設(shè)定。例如，類型為tsukuba的圖像其可信度閾值設(shè)定為0.2，類型為venus的圖像其可信度閾值設(shè)定為0，類型為teddy的圖像其可信度閾值設(shè)定為0.1，類型為cones的圖像其可信度閾值設(shè)定為0.1。

s804：若像素點(diǎn)對應(yīng)的可信度大于或等于可信度閾值，則將該像素點(diǎn)確定為可信像素點(diǎn)。

s805：若像素點(diǎn)對應(yīng)的可信度小于可信度閾值，則將該像素點(diǎn)確定為不可信像素點(diǎn)。

可以理解的是，當(dāng)初始視差的可靠度低于可信度閾值時(shí)，說明該像素點(diǎn)的視差估算錯(cuò)誤，為不可信像素點(diǎn)；當(dāng)初始視差的可靠度大于或等于可信度閾值時(shí)，說明該像素點(diǎn)的視差估算正確，為可信像素點(diǎn)。

上述實(shí)施例中的步驟s602與步驟s202類似，具體方法的說明參照本上述s701-s705即可，這里不再贅述。

基于上述實(shí)施例提供的立體匹配方法，本申請實(shí)施例還提供了一種立體匹配裝置。

參見圖9，該圖為本申請實(shí)施例提供的一種立體匹配裝置的結(jié)構(gòu)示意圖。

本實(shí)施例提供的基于圖像的立體匹配裝置，包括：圖像獲取模塊100、視差獲取模塊200、可信度評(píng)估模塊300、集合確定模塊400和圖像分割模塊500。

圖像獲取模塊100，用于獲取待處理圖像。

視差獲取模塊200，用于獲取待處理圖像中每個(gè)像素點(diǎn)的初始視差。

可信度評(píng)估模塊300，用于評(píng)估初始視差的可信度，根據(jù)初始視差的可信度確定待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)。

集合確定模塊400，用于根據(jù)待處理圖像中可信像素點(diǎn)和不可信像素點(diǎn)，得到第一集合和第二集合，第一集合包括該可信像素點(diǎn)，第二集合包括該不可信像素點(diǎn)，所述第一集合中像素點(diǎn)的第一視差為該像素點(diǎn)的初始視差。

圖像分割模塊500，用于根據(jù)待處理圖像的顏色值對其進(jìn)行分割，得到多個(gè)分割塊。

視差獲取模塊200，還用于以分割塊中第一像素點(diǎn)的坐標(biāo)和第一視差為依據(jù)，確定該分割塊中第二像素點(diǎn)的第一視差，第一集合包括第一像素點(diǎn)，第二集合包括第二像素點(diǎn)。

在本實(shí)施例可能的實(shí)現(xiàn)方式中，該裝置還包括：曲面擬合模塊和視差圖獲取模塊。

圖像分割模塊500，還用于根據(jù)待處理圖像中每個(gè)像素點(diǎn)的第一視差，將待處理圖像的場景分割為多個(gè)三維實(shí)體。

曲面擬合模塊，用于分別根據(jù)每個(gè)三維實(shí)體上像素點(diǎn)的坐標(biāo)和第一視差，擬合該三維實(shí)體的曲面方程。

視差獲取模塊200，還用于根據(jù)曲面方程和預(yù)先設(shè)定的比例尺，獲得待處理圖像中每個(gè)像素點(diǎn)的第二視差。

視差圖獲取模塊，用于綜合第二視差，得到待處理圖像的視差圖。

在本實(shí)施例可能的實(shí)現(xiàn)方式中，圖像獲取模塊100，還用于獲取與待處理圖像對應(yīng)的參考圖像，參考圖像與待處理圖像的場景相同。

視差獲取模塊200，具體包括：第一獲取子模塊、第二獲取子模塊、第一確定子模塊和第二確定子模塊。

第一獲取子模塊，用于根據(jù)預(yù)設(shè)的備選視差范圍，獲得至少兩個(gè)備選視差。

第一確定子模塊，用于分別根據(jù)每個(gè)備選視差，在參考圖像中確定與待處理圖像中待匹配像素點(diǎn)對應(yīng)的參考像素點(diǎn)。

第二獲取子模塊，用于分別獲得待匹配像素點(diǎn)和對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)。

第二確定子模塊，用于將總匹配代價(jià)最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該待匹配像素點(diǎn)的初始視差。

在本實(shí)施例可能的實(shí)現(xiàn)方式中，可信度評(píng)估模塊300，具體包括：查找子模塊和第三獲取子模塊。

查找子模塊，用于查找待匹配像素點(diǎn)對應(yīng)的總匹配代價(jià)中，最小的總匹配代價(jià)和次最小的總匹配代價(jià)。

第三獲取子模塊，用于根據(jù)最小的總匹配代價(jià)和次最小的總匹配代價(jià)，評(píng)估待匹配像素點(diǎn)初始視差的可信度。

在本實(shí)施例可能的實(shí)現(xiàn)方式中，視差獲取模塊200，還包括：更新子模塊。

更新子模塊，用于更新第二像素點(diǎn)和對應(yīng)的每個(gè)參考像素點(diǎn)之間的總匹配代價(jià)。

第二確定子模塊，還用于將更新后總匹配代價(jià)的最小值對應(yīng)的參考像素點(diǎn)所對應(yīng)的備選視差確定為該第二像素點(diǎn)的第三視差。

可信度評(píng)估模塊，還用于評(píng)估第二像素點(diǎn)的第三視差的可信度，根據(jù)第三視差的可信度區(qū)分第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)。

集合確定模塊400，還用于根據(jù)第二像素點(diǎn)中的可信像素點(diǎn)和不可信像素點(diǎn)更新第一集合和第二集合，更新后的第一集合包括第一像素點(diǎn)和第二像素點(diǎn)中的可信像素點(diǎn)，更新后的第二集合包括第二像素點(diǎn)中的不可信像素點(diǎn)。

在本實(shí)施例可能的實(shí)現(xiàn)方式中，更新子模塊，具體包括：第三確定子模塊、第四確定子模塊、第四獲取子模塊和第五獲取子模塊。

第三確定子模塊，用于根據(jù)目標(biāo)備選視差，在參考圖像中找出與第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)，目標(biāo)備選視差落在備選視差范圍內(nèi)。

視差獲取模塊200，還用于獲得第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)的參考視差。

第四確定子模塊，用于確定待處理圖像中的第一支持窗口和參考圖像中的第二支持窗口，第一支持窗口的中心為第二像素點(diǎn)，第二支持窗口的中心為第二像素點(diǎn)對應(yīng)的參考像素點(diǎn)。

第四獲取子模塊，用于根據(jù)兩個(gè)對應(yīng)的支持像素點(diǎn)的顏色值以及目標(biāo)備選視差和參考視差，更新該兩個(gè)支持像素點(diǎn)之間的匹配代價(jià)，兩個(gè)對應(yīng)的支持像素點(diǎn)分別落在第一支持窗口和第二支持窗口內(nèi)。

第五獲取子模塊，用于根據(jù)第一支持窗口和第二支持窗口之間對應(yīng)的兩個(gè)支持像素點(diǎn)的匹配代價(jià)以及這兩個(gè)支持像素點(diǎn)更新后的權(quán)重，更新第二像素點(diǎn)和對應(yīng)的參考像素點(diǎn)之間的總匹配代價(jià)。

在本實(shí)施例可能的實(shí)現(xiàn)方式中，可信度評(píng)估模塊300，還包括：閾值獲取子模塊、第六確定子模塊和第七確定子模塊。

閾值獲取子模塊，用于根據(jù)待處理圖像的類型，確定可信度閾值。

第六確定子模塊，用于當(dāng)像素點(diǎn)對應(yīng)的可信度大于或等于可信度閾值時(shí)，將該像素點(diǎn)確定為可信像素點(diǎn)。

第七確定子模塊，用于當(dāng)像素點(diǎn)對應(yīng)的可信度小于可信度閾值時(shí)，則將該像素點(diǎn)確定為不可信像素點(diǎn)。

在本實(shí)施例中，首先根據(jù)現(xiàn)有的立體匹配算法獲取待處理圖像中每個(gè)像素點(diǎn)的初始視差，再對初始視差進(jìn)行可信度評(píng)估，確定待處理圖像中初始視差可信的可信像素點(diǎn)以及初始視差存在誤差不可信的不可信像素點(diǎn)。當(dāng)將待處理圖像的像素點(diǎn)及其視差放在一個(gè)三維空間中時(shí)，處于同一顏色區(qū)域內(nèi)的可信像素點(diǎn)可以形成光滑的平面，而該區(qū)域中不可信像素點(diǎn)則位于該平面以外。因此，先根據(jù)待處理圖像的顏色將其分為多個(gè)分割塊，再根據(jù)分割塊中可信像素點(diǎn)的坐標(biāo)及初始視差，確定該分割塊中不可信像素點(diǎn)的可信視差。最后，根據(jù)可信像素點(diǎn)的初始視差和不可信像素點(diǎn)的可信視差，即可得到待處理圖像中每個(gè)像素點(diǎn)的準(zhǔn)確的視差。本實(shí)施例基于可信像素點(diǎn)的可信的初始視差推導(dǎo)出不可信像素點(diǎn)的可信視差，糾正了初始視差中不可信像素點(diǎn)對應(yīng)的視差，能夠得到待處理圖像中無紋理區(qū)域的準(zhǔn)確視差，提高了對圖像中無紋理區(qū)域的處理效果。

需要說明的是，本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見即可。對于實(shí)施例公開的裝置而言，由于其與實(shí)施例公開的方法相對應(yīng)，所以描述比較簡單，相關(guān)之處參見方法部分說明即可。

還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。

結(jié)合本文中所公開的實(shí)施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實(shí)施。軟件模塊可以置于隨機(jī)存儲(chǔ)器(ram)、內(nèi)存、只讀存儲(chǔ)器(rom)、電可編程rom、電可擦除可編程rom、寄存器、硬盤、可移動(dòng)磁盤、cd-rom、或技術(shù)領(lǐng)域內(nèi)所公知的任意其它形式的存儲(chǔ)介質(zhì)中。

以上所述，僅是本申請的較佳實(shí)施例而已，并非對本申請作任何形式上的限制。雖然本申請已以較佳實(shí)施例揭露如上，然而并非用以限定本申請。任何熟悉本領(lǐng)域的技術(shù)人員，在不脫離本申請技術(shù)方案范圍情況下，都可利用上述揭示的方法和技術(shù)內(nèi)容對本申請技術(shù)方案做出許多可能的變動(dòng)和修飾，或修改為等同變化的等效實(shí)施例。因此，凡是未脫離本申請技術(shù)方案的內(nèi)容，依據(jù)本申請的技術(shù)實(shí)質(zhì)對以上實(shí)施例所做的任何簡單修改、等同變化及修飾，均仍屬于本申請技術(shù)方案保護(hù)的范圍內(nèi)。