本發(fā)明涉及計算機視覺領(lǐng)域，特指一種基于ORB算法的圖像配準和圖像融合并行的多路視頻快速拼接算法。

背景技術(shù)：

在日常生活中，時常需要獲取寬視角、大場景的全景圖像，但是由于攝像設(shè)備中物理因素的限制一般只能得到大場景中的局部圖像。一些硬件設(shè)備，如魚眼攝像機和廣角鏡頭雖然可以得到全景圖像，但成本較高，不適合廣泛使用。為了獲取實時全局大尺度圖像信息，在機場、碼頭、廣場交通路口等視野開闊的大型場景中，通常需要布設(shè)多臺網(wǎng)絡(luò)攝像機。這種方法雖然可以獲得更多的監(jiān)控范圍，但是場景的顯示被分割成多個子窗口，不能夠自然全面地直接反映真實的場景。視頻拼接是基于圖像拼接的一種獲取實時視頻流的技術(shù)。為了滿足視頻拼接中實時性的要求，必須針對視頻流中每幀圖像的拼接步驟進行優(yōu)化。

隨著數(shù)字圖像處理和微電子技術(shù)的不斷發(fā)展，圖像拼接已經(jīng)應用在虛擬現(xiàn)實、計算機視覺、航空航天、醫(yī)學圖像分析、遙感圖像等多個領(lǐng)域。圖像的拼接主要步驟包括圖像配準與融合。傳統(tǒng)的圖像配準算法普遍存在各種不足：如大部分算法因為計算復雜且計算量大，難以滿足實時性的要求，或者無法濾出圖像融合中產(chǎn)生的鬼影等問題。

因此需要針對目前的多路實時視頻拼接場景，克服以上現(xiàn)有算法的一些弊端，發(fā)明一種基于ORB算法的圖像配準和圖像融合并行的多路視頻快速拼接算法。

技術(shù)實現(xiàn)要素：

本發(fā)明針對全景監(jiān)控系統(tǒng)中多路實時視頻拼接這個特定問題，為了使監(jiān)控視頻便于觀察，提升全景視頻的效果，并使其滿足實時性需求，提出一種基于ORB算法的圖像配準和圖像融合并行的多路視頻快速拼接算法。

本發(fā)明采取的技術(shù)方案具體如下：

一種基于ORB算法的圖像配準和圖像融合并行的多路視頻快速拼接算法，具體包括如下步驟：

步驟S1，建立基于自適應的圖像配準模型，通過自適應計算出最佳的圖像平移參數(shù)；

步驟S2，根據(jù)步驟S1中最佳的圖像平移參數(shù)，基于漸入漸出的加權(quán)平均法對兩幀圖像重合區(qū)域分別進行圖像融合處理，使兩幅目標圖像融合拼接成一幅全景圖像，實現(xiàn)對于目標視頻的拼接；

步驟S3，采用雙邊濾波器對步驟S2所得的全景圖像進行去噪處理后，輸出高質(zhì)量清晰的拼接圖像。

作為本發(fā)明技術(shù)方案的改進，所述步驟S1中，對于任意兩幀實時拼接圖像，采用基于積分圖像的SURF算法進行匹配，對于進行過SURF算法的特征點匹配后得到的匹配點用RANSAC算法進行過濾，得到平移參數(shù)；根據(jù)兩張待融合圖像的灰度直方圖，得到巴氏距離，不斷自適應調(diào)節(jié)，得到最佳的平移參數(shù)；在匹配度計算中，巴氏距離d_{Bhattac haryya}的計算公式如下式所示：

式中，H₁(i)，H₂(i)是兩個圖像的灰度直方圖。

作為本發(fā)明技術(shù)方案的改進，所述步驟S2包括：在重疊部分由前一幅圖像慢慢過渡到第二幅圖像，即將圖像重疊區(qū)域的像素值按一定的權(quán)值相加合成新的圖像，并裁剪去垂直方向錯開的圖像部分，記對應的前后兩幅圖像重疊部分的對應像素點的RGB分量值分別為(R₁,G₁,B₁)和(R₂,G₂,B₂)，則融合后的圖像中對應像素點的RGB分量值(R₃,G₃,B₃)可以通過下列計算得到：

R₃＝d*R₁+(1-d)*R₂ (1)

G₃＝d*G₁+(1-d)*G₂ (2)

B₃＝d*B₁+(1-d)*B₂ (3)

上式中的參數(shù)d是漸變因子，用來調(diào)和相鄰圖像的顏色，產(chǎn)生加權(quán)平均的作用，其取值范圍限制在(0,1)之間；

同時在圖像融合計算中，基于漸入漸出的加權(quán)平均，對于兩幅圖像重疊中的對應的兩個點I₁(x,y)和I₂(x,y)，給予兩個權(quán)重系數(shù)W₁，W₂，其中權(quán)重系數(shù)值與該點的位置有關(guān)，如下式所示：

其中，

式中，x_R和x_L分別為圖像I₁(x,y)和I₂(x,y)重疊區(qū)域的左右邊界，I(x,y)表示融合后的圖像；

根據(jù)以上原理使兩幅目標圖像融合拼接成一幅全景圖像，實現(xiàn)對于目標視頻的拼接。

作為本發(fā)明技術(shù)方案的改進，所述步驟S1中自適應調(diào)節(jié)流程具體包括如下步驟：

(S1.1)根據(jù)用RANSAC算法過濾得到的平移參數(shù)，計算兩幅圖像的匹配度，該匹配度為第一匹配度；

(S1.2)增加平移參數(shù)，當增加方向匹配連續(xù)增加兩次，停止增加，保存增加方向最佳匹配度和其對應的平移參數(shù)，該增加方向最佳匹配度為第二匹配度。

(S1.3)減小平移參數(shù)，當減小方向匹配連續(xù)減小兩次，停止減小，保存減小方向最佳匹配度和其對應的平移參數(shù)，該減小方向最佳匹配度為第三匹配度。

(S1.4)比較第一匹配度、第二匹配度和第三匹配度的匹配度，從三個匹配度中選取最佳匹配度，并保存其相應的平移參數(shù)。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

提出一種基于ORB算法的圖像配準和圖像融合并行的多路視頻快速拼接算法，計算效率高且計算量小，充分滿足實時性的要求，有效克服無法濾出圖像融合中產(chǎn)生的鬼影等問題。

附圖說明：

圖1是本算法所述算法整體流程圖。

圖2是本算法所述漸入漸出拼接方法原理圖。

圖3是現(xiàn)有加權(quán)平均算法處理效果示意圖。

圖4是本算法所述算法處理效果示意圖。

具體實施方式：

以普通ORB算法的圖像配準和圖像融合并行的多路視頻快速拼接為例，結(jié)合附圖對本發(fā)明具體實施例做進一步詳細說明。

圖像融合效果評估較為復雜，涉及到評估準則、指標體系和評估方法。評估方法目前分為兩大類，即主觀評估方法和客觀評估方法。主觀評估方法是采用目測方法，評價重復性差，帶有較強的片面性；客觀評價方法是計算兩幅圖像的灰度直方圖，根據(jù)兩幅圖像的灰度直方圖，通過巴氏距離計算兩幅圖像的匹配度，匹配度范圍是0～1，其中0表示匹配度最小，1表示匹配度最大。

灰度直方圖是灰度級的函數(shù)，它表示圖像中具有某種灰度級的像素的個數(shù)，反映了圖像中某種灰度出現(xiàn)的頻率。

本實施例具體包括以下步驟：

步驟S1：建立基于自適應的圖像配準模型，通過自適應計算出最佳的圖像平移參數(shù)；

對于任意兩幀實時拼接圖像，當系統(tǒng)啟動時，先基于積分圖像的SURF(Speeded Up Robust Features快速魯棒特征)算法，通過基于積分圖像的方形濾波器來近似高斯-拉普拉斯算子，匹配精度較高，適合實時視頻拼接的運算速度要求。對于進行過SURF算法的特征點匹配后得到的匹配點用RANSAC(隨機抽樣一致性)算法進行過濾，此算法應用廣泛，在失配率高的情況下還能保持有效，能有效剔除誤匹配點，得到平移參數(shù)。根據(jù)兩張待融合圖像的灰度直方圖，得到巴氏距離，不斷自適應調(diào)節(jié)，得到最佳的平移參數(shù)。自適應調(diào)節(jié)具體流程如下：

1)根據(jù)用RANSAC算法過濾得到的平移參數(shù)，計算兩幅圖像的匹配度，該匹配度為第一匹配度；

2)增加平移參數(shù)，當增加方向匹配連續(xù)增加兩次，停止增加，保存增加方向最佳匹配度和其對應的平移參數(shù)，該增加方向最佳匹配度為第二匹配度。

3)減小平移參數(shù)，當減小方向匹配連續(xù)減小兩次，停止減小，保存減小方向最佳匹配度和其對應的平移參數(shù)，該減小方向最佳匹配度為第三匹配度。

4)比較第一匹配度、第二匹配度和第三匹配度的匹配度，從三個匹配度中得到最佳匹配度，并保存其相應的平移參數(shù)。

圖1為自適應模型的整體流程圖。流程圖清楚地表述了本實施例步驟S1中所述的自適應算法模型。

在匹配度計算中，巴氏距離d_{Bhattac haryya}的計算公式如下式所示：

式中，H₁(i)，H₂(i)是兩個圖像的灰度直方圖。

S2根據(jù)平移參數(shù)，基于漸入漸出的加權(quán)平均法對兩幀圖像重合區(qū)域分別進行圖像融合處理；

對于漸入漸出的加權(quán)平均法主要可以消除圖像光強或者色彩的不連續(xù)性。

其主要思想是：在重疊部分由前一幅圖像慢慢過渡到第二幅圖像，即將圖像重疊區(qū)域的像素值按一定的權(quán)值相加合成新的圖像，并裁剪去垂直方向錯開的圖像部分。記對應的前后兩幅圖像重疊部分的對應像素點的RGB(紅，綠，藍)分量值分別為(R₁,G₁,B₁)和(R₂,G₂,B₂)，則融合后的圖像中對應像素點的RGB分量值(R₃,G₃,B₃)可以通過下列計算得到：

R₃＝d*R₁+(1-d)*R₂

G₃＝d*G₁+(1-d)*G₂

B₃＝d*B₁+(1-d)*B₂

上式中的參數(shù)d是漸變因子，用來調(diào)和相鄰圖像的顏色，產(chǎn)生加權(quán)平均的作用，其取值范圍限制在(0,1)之間。

同時在圖像融合計算中，基于漸入漸出的加權(quán)平均，對于兩幅圖像重疊中的對應的兩個點I₁(x,y)和I₂(x,y)，給予兩個權(quán)重系數(shù)W₁，W₂，其中權(quán)重系數(shù)值與該點的位置有關(guān)，如下式所示：

其中，

式中，x_R和x_L分別為圖像I₁(x,y)和I₂(x,y)重疊區(qū)域的左右邊界，I(x,y)表示融合后的圖像。

最后，根據(jù)以上原理使兩幅目標圖像融合拼接成一幅全景圖像，實現(xiàn)對于目標視頻的拼接。漸入漸出拼接方法的大致原理示意圖如圖2所示。

S3：對待處理圖像進行濾波去噪：基于雙邊濾波器進行濾波去噪處理。

采用現(xiàn)行通用的雙邊濾波器，對待輸出的拼接后的圖像進行進一步濾波去噪處理，最后輸出高質(zhì)量清晰的拼接圖像。圖3～4為不同算法處理后的圖像對比圖，可以發(fā)現(xiàn)本發(fā)明算法在增強圖像對比度的同時更多的保留了場景細節(jié)信息，顯示效果更好。

本發(fā)明中提出的方法實際上可嵌入FPGA實現(xiàn)，開發(fā)具有實時視頻拼接的系統(tǒng)。以上實施例僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護范圍并不局限于上述實施例所述的實現(xiàn)系統(tǒng)和具體實施步驟。因此，僅對上述實施例中具體的公式及算法進行簡單替換，但其實質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應屬于本發(fā)明的保護范圍。