本發(fā)明涉及計算機立體視覺中面向真實物體的立體匹配及三維建模領(lǐng)域，具體涉及一種基于成像本質(zhì)屬性的立體顏色校正方法。

背景技術(shù)：

立體匹配的目的是用來獲得立體匹配圖像的視差圖，在很多領(lǐng)域都有所涉及，包括計算機視覺，機器技術(shù)，以及圖像分析等。大多數(shù)的立體匹配方法都是通過計算一個匹配代價來衡量立體匹配圖像的相似度的，通常情況下，這個匹配代價的前提假設(shè)為兩幅圖像的對應(yīng)點有著相近的顏色。然而，在實際情況下，立體匹配圖像對應(yīng)點的顏色可能會受各種因素影響表現(xiàn)得非常不一樣，這些因素包括相機設(shè)備型號的不同、光照條件的不同等等。盡管在實際的立體匹配研究中已經(jīng)出現(xiàn)了魯棒的匹配代價函數(shù)來解決這個問題，其中，Mutual Information方法和Census Transform方法已經(jīng)考慮到了一個確定情況下的顏色差異，但是大多數(shù)的方法是不能夠解決非常劇烈的顏色差異的，立體匹配的精度因此會大受影響。因此，為了提升立體匹配的精度，顏色校正方法可以被看作立體匹配前的一個預(yù)處理過程來消除圖像對的顏色差異。

顏色校正方法旨在將參考圖像的顏色遷移到待校正圖像上，使兩幅圖像顏色盡量接近?，F(xiàn)有的顏色校正方法可以被分為參數(shù)化方法和非參數(shù)化方法，參數(shù)化方法在可擴展性方面優(yōu)于非參數(shù)化方法。通常情況下，參數(shù)化方法可以用如下的表達式代表：I_s＝M*I_t；其中，M代表了三通道的映射，I_s和I_t分別代表了待校正圖像和參考圖像。全局的參數(shù)化方法只能從圖像的整體場景的角度進行顏色差異的消除，然而實際情況下場景中不同區(qū)域可能存在不同的顏色差異。為了解決全局方法的限制性問題，許多考慮局部的方法被提出，這些方法使用了更復(fù)雜的映射。局部的方法旨在從兩幅圖像的對應(yīng)區(qū)域著手去改變顏色，使得待校正圖像的某區(qū)域的顏色接近于參考圖像的對應(yīng)區(qū)域顏色。對于這一類的方法，建立一個精確的區(qū)域?qū)?yīng)是非常重要的問題。

從成像的本質(zhì)屬性去考慮這個問題，一個像素顏色值代表了成像場景中對應(yīng)點的所有特征。一幅圖像的成像可以由反射圖像和光照圖像來表示。通常情況下我們假設(shè)物體的反射滿足朗泊漫反射模型，則同一場景同一點的反射值應(yīng)當是相同的，圖像的顏色差異主要來自于光照層。這時把光照層和反射層分開，直接從光照層進行值的遷移和改變可以達到更好的校正效果。

技術(shù)實現(xiàn)要素：

本發(fā)明提供了一種基于成像本質(zhì)屬性的立體顏色校正方法，利用該方法對立體匹配前顏色差異的圖像進行預(yù)處理，能夠減小立體匹配圖像的顏色差異，提升立體匹配的精度。

一種基于成像本質(zhì)屬性的立體匹配顏色校正方法，具體步驟如下：

(1)基于成像本質(zhì)屬性，將參考圖像分為第一反射層和第一光照層，將待校正圖像分為第二反射層和第二光照層；

(2)利用均值漂移圖像分割方法對待校正圖像和將參考圖像進行區(qū)域分割，通過調(diào)整分割中的空間參數(shù)，參考圖像按照正常粒度進行分割，得到第一分割區(qū)域待校正圖像按照相對參考圖像較小粒度進行分割，得到第二分割區(qū)域其中，n為第一分割子區(qū)域的個數(shù)，m為第二分割子區(qū)域的個數(shù)，且m小于n；

(3)利用尺度不變特征變換方法提取參考圖像與待校正圖像各自的特征點，并進行特征點的匹配，得到匹配特征點X^src和匹配特征點X^tgt；

(4)根據(jù)對極幾何原理對匹配特征點X^src與匹配特征點X^tgt進行篩選，將不滿足對極幾何約束的匹配特征點X^src與匹配特征點X^tgt剔除，剩下的為魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′，對極幾何約束公式為：

(X^src)^TFX^tgt＝0

其中，F(xiàn)是根據(jù)RANSAC(Random Sample Consensus)方法估計的基礎(chǔ)矩陣；

(5)根據(jù)魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′，將待校正圖像和參考圖像中一致性的分割區(qū)域進行對應(yīng)，得到區(qū)域?qū)?yīng)關(guān)系；

(6)根據(jù)區(qū)域?qū)?yīng)關(guān)系，在第一反射層與第二反射層上，進行待校正圖像和參考圖像區(qū)域之間的加權(quán)局部顏色遷移，在第一光照層與第二光照層上，進行待校正圖像和參考圖像區(qū)域之間的加權(quán)局部顏色遷移，使得待校正圖像在第二反射層和第二光照層上向參考圖像的第一反射層和第一光照層靠近；得到校正后的第二反射層和第二光照層；

(7)將校正后的待校正圖像的第二反射層和第二光照層合并，得到最終校正結(jié)果。

在步驟(1)中，待校正圖像和參考圖像構(gòu)成一對顏色差異的立體匹配圖像對；成像本質(zhì)屬性：一個像素顏色值代表了成像場景中對應(yīng)點的所有特征，一幅圖像的成像可以由反射圖像和光照圖像來表示。

在步驟(1)中，將成像本質(zhì)屬性的分解過程模擬成最小化以下能量方程的形式：

E(x)＝ω_pE_p(x)+ω_sE_s(x)+ω_lE_l(x)

其中E_p(x)是二元反射屬性項，所依賴的先驗為：當兩個像素位置相近色度和強度相近時，它們的反射屬性也相近；E_s(x)是一元光照屬性項，所依賴的先驗為光照屬性在平滑表面的變化是平滑的；E_l(x)是普通一元項，該項是為了避免優(yōu)化時選擇過多的光照極值點；ω_p、ω_s、ω_l分別為為E_p(x)、E_s(x)以及E_l(x)的參數(shù)；通過迭代優(yōu)化的方式對能量函數(shù)E(x)求解。

在步驟(2)中，第一分割區(qū)域由n個互不相同的第一分割子區(qū)域組成；第二分割區(qū)域由m個互不相同的第二分割子區(qū)域組成。

步驟(4)中，根據(jù)對極幾何的原理對匹配特征點進行正確性指導(dǎo)，刪除錯誤的匹配特征點，保證了匹配特征點的正確性，即得到的魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′是可信度較高的匹配特征點。

在步驟(5)中，對待校正圖像和參考圖像進行優(yōu)化，得到一致性區(qū)域?qū)?yīng)標簽，具體步驟為：

(5-1)根據(jù)待校正圖像的魯棒匹配對應(yīng)點X^tgt′，對第二分割子區(qū)域進行區(qū)域合并操作，得到預(yù)處理第二分割區(qū)域：

(5-1-1)對所有的第二分割子區(qū)域進行篩選，并將魯棒匹配對應(yīng)點X^tgt′的個數(shù)小于門限值的第二分割子區(qū)域命名為第二無效子區(qū)域；

(5-1-2)找到第二無效子區(qū)域的第二二階鄰域區(qū)域集合；

(5-1-3)在第二二階鄰域區(qū)域集合中，找到一個滿足魯棒匹配對應(yīng)點X^tgt′的個數(shù)大于門限值，且位置空間與顏色與該第二無效子區(qū)域都最為相近一個第二分割子區(qū)域，并將其命名為第二目標區(qū)域；

(5-1-4)將該第二無效子區(qū)域合并到尋找到的第二目標區(qū)域中，此時第二分割區(qū)域命名為預(yù)處理第二分割區(qū)域。

通過步驟(5-1)操作，使得合并后的每個第二分割子區(qū)域都包含門限值以上個數(shù)的魯棒匹配對應(yīng)點X^tgt′，保證點對應(yīng)轉(zhuǎn)化成區(qū)域?qū)?yīng)的可靠性。

(5-2)根據(jù)魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′，以預(yù)處理第二分割子區(qū)域為基準，對第一分割子區(qū)域進行區(qū)域合并操作，得到預(yù)處理第一分割區(qū)域：

當某預(yù)處理第二分割子區(qū)域中的魯棒匹配對應(yīng)點X^tgt′在第一分割子區(qū)域中的對應(yīng)點分布在多個第一分割子區(qū)域中時，將這多個第一分割子區(qū)域合并成一個，此時的第一分割區(qū)域命名為預(yù)處理第一分割區(qū)域；通過該合并操作，使得每個預(yù)處理第二分割子區(qū)域能在第一分割子區(qū)域中找到唯一確定的對應(yīng)。

(5-3)根據(jù)參考圖像的魯棒匹配對應(yīng)點X^src′，對預(yù)處理第一分割子區(qū)域進行區(qū)域合并操作，得到優(yōu)化第一分割區(qū)域：

(5-3-1)對所有預(yù)處理第一分割子區(qū)域進行篩選，并將魯棒匹配對應(yīng)點X^src′的個數(shù)小于門限值的預(yù)處理第一分割子區(qū)域命名為第一無效子區(qū)域；

(5-3-2)找到第一無效子區(qū)域的第一二階鄰域區(qū)域集合；

(5-3-3)在第一二階鄰域區(qū)域集合中，找到一個滿足魯棒匹配對應(yīng)點X^src′的個數(shù)大于門限值，且位置空間與顏色與該第一無效子區(qū)域都最為相近一個預(yù)處理第一分割子區(qū)域，并將其命名為第一目標區(qū)域；

(5-3-4)將該第一無效子區(qū)域合并到尋找到的第一目標區(qū)域中，并將此時的預(yù)處理第一分割區(qū)域其被命名為優(yōu)化第一分割區(qū)域。

通過步驟(5-3)的操作，使得每個優(yōu)化第一分割子區(qū)域都包含門限值以上個數(shù)的特征點。

(5-4)根據(jù)魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′，以優(yōu)化第一分割子區(qū)域為基準，對預(yù)處理第二分割子區(qū)域進行區(qū)域合并操作，得到優(yōu)化第二分割區(qū)域：

當某優(yōu)化第一分割子區(qū)域中的魯棒匹配對應(yīng)點在預(yù)處理第二分割子區(qū)域中的對應(yīng)點分布在多個預(yù)處理第二分割子區(qū)域中時，將這多個預(yù)處理第二分割子區(qū)域合并成一個，此時的預(yù)處理第二分割區(qū)域被命名為優(yōu)化第二分割區(qū)域；通過該合并操作，使得每個優(yōu)化第一分割子區(qū)域能在優(yōu)化第二分割子區(qū)域中找到唯一確定的對應(yīng)。

(5-5)根據(jù)魯棒匹配對應(yīng)點X^src′，魯棒匹配對應(yīng)點X^tgt′，獲取優(yōu)化第一分割子區(qū)域和優(yōu)化第二分割子區(qū)域的一一對應(yīng)關(guān)系，并記錄一致性區(qū)域?qū)?yīng)標簽。

對每一個優(yōu)化第一分割子區(qū)域，以A區(qū)域為例，記錄其中的魯棒匹配對應(yīng)點在優(yōu)化第二分割子區(qū)域中的對應(yīng)點集，步驟(5-1)～步驟(5-4)已經(jīng)保證這些對應(yīng)點集屬于同一個優(yōu)化第二分割子區(qū)域，假設(shè)為B區(qū)域，則優(yōu)化第一分割子區(qū)域中的A區(qū)域?qū)?yīng)優(yōu)化第二分割子區(qū)域中的B區(qū)域，記錄一致性區(qū)域?qū)?yīng)標簽。

區(qū)域?qū)?yīng)結(jié)束后，能夠使得對應(yīng)區(qū)域反映同一場景中同一目標區(qū)域。

在步驟(5-1-1)中，所述的門限值為魯棒匹配對應(yīng)點的個數(shù)，根據(jù)實際應(yīng)用自行設(shè)置大小。

步驟(6)中，第二光照層的顏色校正模型與第二反射層的顏色校正模型不同，對于第二光照層的顏色校正采用如下的加權(quán)局部校正模型：

其中表示待校正圖像的像素(i,j)，表示校正后圖像的像素(i,j)。表示待校正圖像的區(qū)域均值，表示參考圖像的區(qū)域均值，和分別表示參考圖像和待校正圖像的方差；

IM^k(i,j)表示如下：

其中，表示待校正圖像中的像素(i,j)與待校正圖像區(qū)域均值顏色之間的距離，是待校正圖像中的像素(i,j)和待校正圖像區(qū)域中心點間的距離，α表示顏色距離參數(shù)，β表示位置距離參數(shù)。

第二反射層的顏色校正采用如下校正模型：

其中和分別代表校正前和校正后的待校正圖像顏色值，和分別代表對于參考圖像和待校正圖像的轉(zhuǎn)化、旋轉(zhuǎn)、尺度變換操作。

在步驟(7)中，根據(jù)如下合并方程對校正后的待校正圖像的第二反射層和第二光照層進行合并：

其中，代表合并后圖像，代表反射層，S_i代表光照層，c代表圖像的三通道，原圖和反射層都為三通道，光照層為單通道，合并時將第二光照層的每一層與第二反射層相乘，得到結(jié)果的相應(yīng)層，組成最終校正結(jié)果。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在以下方面：

(1)在局部顏色校正所必須進行的一致性區(qū)域?qū)?yīng)的過程中，根據(jù)均值漂移分割得到的分割區(qū)域和高可信度的SIFT方法得到的SIFT匹配特征點，采用了簡單高效的區(qū)域一致性對應(yīng)策略，能夠得到準確的區(qū)域?qū)?yīng)，使得對應(yīng)區(qū)域能有效地反映一致的區(qū)域。

(2)利用成像本質(zhì)屬性，將圖像分解為反射層和光照層，對圖像的反射層和光照層分別進行局部校正，可以使得圖像差異被校正的更好，從而提升校正效果。

附圖說明

圖1為本發(fā)明對應(yīng)方法的流程示意圖；

圖2為本發(fā)明對應(yīng)方法中區(qū)域?qū)?yīng)的流程示意圖。

具體實施方式

為了更為具體地描述本發(fā)明，下面結(jié)合附圖及具體實施方式對本發(fā)明的技術(shù)方案進行詳細說明。

如圖1所示，本發(fā)明基于成像本質(zhì)屬性的立體匹配顏色校正方法的步驟如下：

(1)基于成像本質(zhì)屬性，對有顏色差異的立體匹配圖像對(參考圖像和待矯正圖像)進行分解，即將參考圖像I^src分為第一反射層和第一光照層，將待校正圖像I^tgt分為第二反射層和第二光照層，將成像本質(zhì)屬性的分解過程模擬成最小化以下能量方程的形式：

E(x)＝ω_pE_p(x)+ω_sE_s(x)+ω_lE_l(x)

其中E_p(x)是二元反射屬性項，所依賴的先驗為：當兩個像素位置相近色度和強度相近時，它們的反射屬性也相近；E_s(x)是一元光照屬性項，所依賴的先驗為光照屬性在平滑表面的變化是平滑的；E_l(x)是普通一元項，該項是為了避免優(yōu)化時選擇過多的光照極值點。ω_p、ω_s、ω_l分別為為E_p(x)、E_s(x)以及E_l(x)的參數(shù)；通過迭代優(yōu)化的方式對能量函數(shù)E(x)求解。

(2)利用均值漂移圖像分割方法對待校正圖像和將參考圖像進行區(qū)域分割，通過調(diào)整分割中的空間參數(shù)，參考圖像按照正常粒度進行分割，得到第一分割區(qū)域待校正圖像按照比參考圖像更小粒度進行分割，得到第二分割區(qū)域其中，n為第一分割子區(qū)域的個數(shù)，m為第二分割子區(qū)域的個數(shù)，且m小于n。

(3)利用尺度不變特征變換方法提取參考圖像與待校正圖像各自的特征點，并進行特征點的匹配，得到SIFT匹配特征點X^src和SIFT匹配特征點X^tgt。

(4)根據(jù)對極幾何原理對SIFT匹配特征點X^src和SIFT匹配特征點X^tgt進行正確性指導(dǎo)，刪除錯誤SIFT匹配特征點，保證SIFT匹配特征點的正確性，對極幾何約束公式為：

(X^src)^TFX^tgt＝0

其中F是根據(jù)RANSAC(Random Sample Consensus)方法估計的基礎(chǔ)矩陣，X^src和X^tgt是參考圖像I^src和待校正圖像I^tgt中的SIFT匹配特征點，不滿足上述約束條件的SIFT匹配特征點會被剔除。

(5)根據(jù)魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′，將待校正圖像和參考圖像中一致性的分割區(qū)域進行對應(yīng)，得到區(qū)域?qū)?yīng)關(guān)系：

(5-1)根據(jù)待校正圖像的魯棒匹配對應(yīng)點X^tgt′，對第二分割子區(qū)域進行區(qū)域合并操作：

(5-1-1)對所有的第二分割子區(qū)域進行篩選，并將魯棒匹配對應(yīng)點X^tgt′的個數(shù)小于門限值的第二分割子區(qū)域命名為第二無效子區(qū)域；

(5-1-2)找到第二無效子區(qū)域的第二二階鄰域區(qū)域集合；

(5-1-3)在第二二階鄰域區(qū)域集合中，找到一個滿足魯棒匹配對應(yīng)點X^tgt′的個數(shù)大于門限值，且位置空間與顏色與該第二無效子區(qū)域都最為相近一個第二分割子區(qū)域，并將其命名為第二目標區(qū)域；

(5-1-4)將該第二無效子區(qū)域合并到尋找到的第二目標區(qū)域中，此時第二分割區(qū)域命名為預(yù)處理第二分割區(qū)域。

通過步驟(5-1)操作，使得合并后的每個第二分割子區(qū)域都包含門限值以上個數(shù)的魯棒匹配對應(yīng)點X^tgt′，保證點對應(yīng)轉(zhuǎn)化成區(qū)域?qū)?yīng)的可靠性。

(5-2)根據(jù)魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′，以第二分割子區(qū)域為基準，對第一分割子區(qū)域進行區(qū)域合并操作：

當某預(yù)處理第二分割子區(qū)域中的魯棒匹配對應(yīng)點X^tgt′在第一分割子區(qū)域中的對應(yīng)點分布在多個第一分割子區(qū)域中時，將這多個第一分割子區(qū)域合并成一個，此時的第一分割區(qū)域命名為預(yù)處理第一分割區(qū)域；通過該合并操作，使得每個預(yù)處理第二分割子區(qū)域能在第一分割子區(qū)域中找到唯一確定的對應(yīng)。

(5-3)根據(jù)參考圖像的魯棒匹配對應(yīng)點X^src′，對第一分割子區(qū)域進行區(qū)域合并操作：

(5-3-1)對所有預(yù)處理第一分割子區(qū)域進行篩選，并將魯棒匹配對應(yīng)點X^src′的個數(shù)小于門限值的預(yù)處理第一分割子區(qū)域命名為第一無效子區(qū)域；

(5-3-2)找到第一無效子區(qū)域的第一二階鄰域區(qū)域集合；

(5-3-3)在第一二階鄰域區(qū)域集合中，找到一個滿足魯棒匹配對應(yīng)點X^src′的個數(shù)大于門限值，且位置空間與顏色與該第一無效子區(qū)域都最為相近一個預(yù)處理第一分割子區(qū)域，并將其命名為第一目標區(qū)域；

(5-3-4)將該第一無效子區(qū)域合并到尋找到的第一目標區(qū)域中，并將此時的預(yù)處理第一分割區(qū)域其被命名為優(yōu)化第一分割區(qū)域。

通過步驟(5-3)的操作，使得每個優(yōu)化第一分割子區(qū)域都包含門限值以上個數(shù)的特征點。

(5-4)根據(jù)魯棒匹配對應(yīng)點X^src′和魯棒匹配對應(yīng)點X^tgt′，以優(yōu)化第一分割子區(qū)域為基準，對預(yù)處理第二分割子區(qū)域進行區(qū)域合并操作：

當某優(yōu)化第一分割子區(qū)域中的魯棒匹配對應(yīng)點在預(yù)處理第二分割子區(qū)域中的對應(yīng)點分布在多個預(yù)處理第二分割子區(qū)域中時，將這多個預(yù)處理第二分割子區(qū)域合并成一個，此時的預(yù)處理第二分割區(qū)域被命名為優(yōu)化第二分割區(qū)域；通過該合并操作，使得每個優(yōu)化第一分割子區(qū)域能在優(yōu)化第二分割子區(qū)域中找到唯一確定的對應(yīng)。

(5-5)根據(jù)魯棒匹配對應(yīng)點X^src′，魯棒匹配對應(yīng)點X^tgt′，獲取優(yōu)化第一分割子區(qū)域和優(yōu)化第二分割子區(qū)域的一一對應(yīng)關(guān)系，并記錄一致性區(qū)域?qū)?yīng)標簽。

(6)根據(jù)區(qū)域?qū)?yīng)關(guān)系，于第二反射層和第二光照層上，分別對待校正圖像進行校正；在步驟(1)分解出的反射層和光照層上，分別進行圖像對區(qū)域和區(qū)域之間的加權(quán)局部顏色遷移，使得待校正圖像在第二反射層和第二光照層上向參考圖像的第一反射層和第一光照層靠近。

第二光照層的顏色校正模型與第二反射層的顏色校正模型不同，對于第二光照層的顏色校正采用如下的加權(quán)局部校正模型：

其中表示待校正圖像的像素(i,j)，表示校正后圖像的像素(i,j)。表示待校正圖像的區(qū)域均值，表示參考圖像的區(qū)域均值，和分別表示參考圖像和待校正圖像的方差；

IM^k(i,j)表示如下：

其中表示待校正圖像中的像素(i,j)與待校正圖像區(qū)域均值顏色之間的距離，是待校正圖像中的像素(i,j)和待校正圖像區(qū)域中心點間的距離，α表示顏色距離參數(shù)，β表示位置距離參數(shù)。

第二反射層的顏色校正采用如下校正模型：

其中和分別代表校正前和校正后的待校正圖像顏色值，和分別代表對于參考圖像和待校正圖像的轉(zhuǎn)化、旋轉(zhuǎn)、尺度變換操作。

(7)將校正后的待校正圖像的第二反射層和第二光照層合并，得到最終校正結(jié)果；根據(jù)如下合并方程對校正后的待校正圖像的第二反射層和第二光照層進行合并：

其中，代表合并后圖像，代表校正后第二反射層，S_i代表校正后第二光照層，c代表圖像的三通道，原圖和反射層都為三通道，光照層為單通道，合并時將第二光照層的每一層與第二反射層相乘，得到結(jié)果的相應(yīng)層，組成最終校正結(jié)果。

采用現(xiàn)有的圖像顏色校正方法與本發(fā)明的對應(yīng)方法，同時對立體匹配圖像對進行顏色校正，相比于現(xiàn)有的圖像顏色校正方法，本發(fā)明的方法能夠減小立體匹配圖像的顏色差異，提升立體匹配的精度。

以上所述的具體實施方式對本發(fā)明的技術(shù)方案和有益效果進行了詳細說明，應(yīng)理解的是以上所述僅為本發(fā)明的最優(yōu)選實施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范圍內(nèi)所做的任何修改、補充和等同替換等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。