專利名稱：一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，是一種大視場(chǎng)圖像合成技術(shù)，尤其是一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法。
背景技術(shù)：
廣域大視場(chǎng)圖像信息獲取與處理技術(shù)對(duì)諸多學(xué)科發(fā)展產(chǎn)生了重要影響，在國(guó)防、警戒、民事安全等諸多領(lǐng)域具有廣泛需求。然而由于受限于攝像設(shè)備感光元器件的制作工藝，普通攝像設(shè)備視場(chǎng)遠(yuǎn)不能達(dá)到人眼視場(chǎng)大小，越來越多的應(yīng)用場(chǎng)合需要視場(chǎng)范圍更大、分辨率更高的圖像信息以提高系統(tǒng)的可靠性與安全性。特別地，在安防偵查系統(tǒng)中，廣域視場(chǎng)圖像信息的獲取更加受到重視，尤其是在現(xiàn)代化監(jiān)控與警備模式下，圖像信息是獲取環(huán)境態(tài)勢(shì)的必要手段。數(shù)字圖像拼接技術(shù)為打破攝像設(shè)備視場(chǎng)角的限制，提供了很好的解決辦法，引起了研究者的廣泛注意。它是通過尋找一系列空間重疊圖像間的幾何關(guān)系，對(duì)齊圖像，并運(yùn)用恰當(dāng)?shù)膱D像融合算法平滑過渡重疊區(qū)域，形成無縫、寬視角目標(biāo)圖像的技術(shù)。其主要技術(shù)分為兩個(gè)流派:以Richard Szeliski為代表的基于運(yùn)動(dòng)關(guān)系的圖像拼接模型和以ShmuelPeleg為代表的基于自適應(yīng)流形的圖像拼接模型。前者通過準(zhǔn)確求出圖像間的幾何變換關(guān)系來進(jìn)行圖像配準(zhǔn)和融合，可處理具有平移，旋轉(zhuǎn)，仿射等多種變換的待拼接圖像，且相鄰待拼接圖像不必密集重疊，因此成為圖像拼接領(lǐng)域的經(jīng)典算法；后者通過對(duì)密集采集的圖像切分狹窄條帶進(jìn)行剪切與多重投影粘貼，根據(jù)光流垂直方向自適應(yīng)選擇拼接模型完成圖像拼接，此類方法可突破相機(jī)運(yùn)動(dòng)限制，這一研究成果推動(dòng)了圖像拼接技術(shù)的進(jìn)一步發(fā)展，成為圖像拼接領(lǐng)域研究的新熱點(diǎn)。全局圖像信息合成是在數(shù)字圖像拼接技術(shù)基礎(chǔ)上復(fù)現(xiàn)拍攝場(chǎng)景的關(guān)鍵內(nèi)容，為研究人員提供更加豐富的視覺態(tài)勢(shì)信息，有效降低序列`窄視場(chǎng)圖像無法準(zhǔn)確提供全局場(chǎng)景中目標(biāo)數(shù)量、位置關(guān)系等信息而引起的漏警、誤警，提高系統(tǒng)的安全性能。但是，上述兩種主流圖像拼接方法多集中在圖像像素級(jí)數(shù)據(jù)配準(zhǔn)與融合計(jì)算，而忽視了人的視覺認(rèn)知機(jī)制作用和圖像內(nèi)容之間的關(guān)系處理，不能完全有效依據(jù)場(chǎng)景內(nèi)容合成保留人們所關(guān)注的重要信息。而且在受到采集平臺(tái)運(yùn)動(dòng)、目標(biāo)物體非線性復(fù)雜運(yùn)動(dòng)、背景變化等因素的干擾時(shí)，更加無法有效形成全局場(chǎng)景圖像。因此，對(duì)場(chǎng)景內(nèi)含有復(fù)雜多維運(yùn)動(dòng)物體的全局圖像信息合成問題更待進(jìn)一步提出有效的方案。

發(fā)明內(nèi)容
本發(fā)明的目的是解決場(chǎng)景內(nèi)含有復(fù)雜多維運(yùn)動(dòng)物體的全局圖像信息合成問題，本發(fā)明提出一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，能夠克服全局圖像合成過程中運(yùn)動(dòng)物體多維復(fù)雜運(yùn)動(dòng)對(duì)全局圖像拼接合成的影響。本發(fā)明提供的一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，包括步驟:步驟一:建立圖像顯著性視覺認(rèn)知模型，并以所述顯著性視覺認(rèn)知模型為約束導(dǎo)向定義全局圖像信息合成的列寬選擇驅(qū)動(dòng)能量函數(shù)；步驟二:構(gòu)建全局圖像信息合成圖模型，定義節(jié)點(diǎn)并計(jì)算節(jié)點(diǎn)連接邊權(quán)重；將預(yù)先采集的密集視頻序列圖像組成圖像時(shí)空體序列V(x，y, t)，并以所述密集視頻序列圖像中的每幀圖像的列X為橫坐標(biāo)，以采集時(shí)間t為縱坐標(biāo)，將每幀圖像的每列像素看作一個(gè)節(jié)點(diǎn)，按時(shí)間順序排列相鄰圖像列節(jié)點(diǎn)，在x-t坐標(biāo)空間把所述圖像時(shí)空體序列構(gòu)建成一個(gè)全局圖像信息合成圖模型v(x，t):并設(shè)連接各節(jié)點(diǎn)的所有邊上的權(quán)重為相應(yīng)列間的顯著性視覺認(rèn)知差異；其中，(x，y)為所述密集視頻序列圖像空間(列，行)坐標(biāo)參數(shù)，t為所述密集視頻序列圖像采集路徑推進(jìn)的時(shí)間參數(shù)；步驟三:根據(jù)步驟一中定義的所述列寬選擇驅(qū)動(dòng)能量函數(shù)，采用最短路徑搜索算法在步驟二中所構(gòu)建的所述全局圖像信息合成圖模型中搜索使得全局合成圖像顯著性視覺認(rèn)知差異達(dá)到最小的剪切路徑；步驟四:沿所述使得全局合成圖像的顯著性視覺認(rèn)知差異達(dá)到最小的剪切路徑順序在所述密集視頻序列圖像中的每幀圖像中選擇一定像素列寬，并將選擇出的像素列寬按序碼放后合成為全局合成圖像。所述視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法中，步驟一中所述顯著性視覺認(rèn)知模型由圖像灰度信息、邊界輪廓信息及景深圖層區(qū)域信息三部分組成，定義如下:Cscm(I) = a Cgray ⑴ + 運(yùn) Cedge ⑴+ Y Cde帥⑴其中，Cscm(I)為所述顯著性視覺認(rèn)知模型；Cgray(I)為圖像灰度信息；DI)為邊界輪廓信息；cd一⑴為景深圖層區(qū)域信息；α，β，Y為比例系數(shù)。所述視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法中，所述列寬選擇驅(qū)動(dòng)能量函數(shù)為:
權(quán)利要求
1.一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，其特征在于，包括步驟: 步驟一:建立圖像顯著性視覺認(rèn)知模型，并以所述顯著性視覺認(rèn)知模型為約束導(dǎo)向定義全局圖像信息合成的列寬選擇驅(qū)動(dòng)能量函數(shù)； 步驟二:構(gòu)建全局圖像信息合成圖模型，定義節(jié)點(diǎn)并計(jì)算節(jié)點(diǎn)連接邊權(quán)重:將預(yù)先采集的密集視頻序列圖像組成圖像時(shí)空體序列V(X，y, t)，并以所述密集視頻序列圖像中的每幀圖像的列X為橫坐標(biāo)，以采集時(shí)間t為縱坐標(biāo)，將每幀圖像的每列像素看作一個(gè)節(jié)點(diǎn)，按時(shí)間順序排列相鄰圖像列節(jié)點(diǎn)，在x-t坐標(biāo)空間把所述圖像時(shí)空體序列構(gòu)建成一個(gè)全局圖像信息合成圖模型v(x，t):并設(shè)連接各節(jié)點(diǎn)的所有邊上的權(quán)重為相應(yīng)列間的顯著性視覺認(rèn)知差異；其中，(x，y)為所述密集視頻序列圖像空間(列，行)坐標(biāo)參數(shù)，t為所述密集視頻序列圖像采集路徑推進(jìn)的時(shí)間參數(shù)； 步驟三:根據(jù)步驟一中定義的所述列寬選擇驅(qū)動(dòng)能量函數(shù)，采用最短路徑搜索算法在步驟二中所構(gòu)建的所述全局圖像信息合成圖模型中搜索使得全局合成圖像顯著性視覺認(rèn)知差異達(dá)到最小的剪切路徑； 步驟四:沿所述使得全局合成圖像的顯著性視覺認(rèn)知差異達(dá)到最小的剪切路徑順序在所述密集視頻序列圖像中的每幀圖像中選擇一定像素列寬，并將選擇出的像素列寬按序碼放后合成為全局合成圖像。
2.如權(quán)利要求1所述的一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，其特征在于，步驟一中所述顯著性視覺認(rèn)知模型由圖像灰度信息、邊界輪廓信息及景深圖層區(qū)域信息三部分組成，定義如下: Cscm(I) = a Cgray (I) + β Cedge (I) + Y Cdepth (I) 其中，Cscm(I)為所述顯·著性視覺認(rèn)知模型；Cgray(I)為圖像灰度信息；Cedge(I)為邊界輪廓信息；Cd一⑴為景深圖層區(qū)域信息；α，β，Y為比例系數(shù)。
3.如權(quán)利要求2所述的一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，其特征在于，所述列寬選擇驅(qū)動(dòng)能量函數(shù)為:min Cost(M) = g \\ACscm (Ti)H = g \\CSCM (T1) — Cscm ( μ )||/=1 i=l 其中，是從輸出的全局合成圖像列M(i)到輸入圖像列V(x, Δγ, t)的映射，Ay是V(x，t)垂直方向上的偏移量。
4.如權(quán)利要求3所述的一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，其特征在于，步驟二中所述設(shè)連接各節(jié)點(diǎn)的所有邊上的權(quán)重為相應(yīng)列間的顯著性視覺認(rèn)知差異，包括:根據(jù)步驟一中定義的所述列寬選擇驅(qū)動(dòng)能量函數(shù)計(jì)算視覺顯著性認(rèn)知差異ACscm(T1)； 若設(shè)Ti = VO^ti), Ti+1 = V(\，tp，則所述圖像灰度信息視覺顯著性認(rèn)知差異ACgray(Ti)為: Δ Cgray (τ j) = min {| | Vgray (Xi, tj) -Vgray (xj-1, tj) | |，| | Vgray (x^l, tj) -Vgray (Xj, tj) | |}， 其中VgMy(Xi，ti)和Vgray (Xy tj)為輸入的所述密集視頻序列圖像中第ti幀圖像第Xi列的灰度值與第tj幀圖像第Xj列的灰度值； 所述邊界輪廓信息視覺顯著性認(rèn)知差異ACralge(Ti)為:
5.如權(quán)利要求4所述的一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，其特征在于，計(jì)算所述邊界輪廓信息視覺顯著性認(rèn)知差異時(shí)，采用相位一致性檢測(cè)方法提取所述密集視頻序列圖像的有效邊界輪廓響應(yīng)值。
6.如權(quán)利要求4所述的一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，其特征在于，計(jì)算所述景深圖層區(qū)域信息視覺顯著性認(rèn)知差異時(shí)，通過計(jì)算所述密集視頻序列圖像中相鄰兩幀圖像視差獲取圖像的景深值，包括以下步驟: 以所述相鄰兩幀圖像序列圖像互為參考圖像，雙向計(jì)算所述相鄰兩幀圖像的匹配代價(jià)； 根據(jù)所述相鄰兩幀圖像的匹配代價(jià)進(jìn)行交叉檢驗(yàn)估計(jì)視差值，并采用優(yōu)勝者全選算法作為視差選擇方法估計(jì)所述相鄰兩幀圖像的初始視差圖； 采用Mean-Shift算法劃分所述相鄰兩幀圖像中采集時(shí)間靠前的那幀圖像的一致性區(qū)域得到若干個(gè)分割塊，并以各分割塊內(nèi)的中值視差值作為分割塊整體視差值對(duì)所述相鄰兩幀圖像的初始視差圖濾波求取區(qū)塊視差。
7.如權(quán)利要求1至6任一項(xiàng)所述的一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，其特征在于，步驟三中所述最短路徑搜索算法為Dijkstra算法。
全文摘要
本發(fā)明提供一種視覺認(rèn)知模型驅(qū)動(dòng)的全局圖像信息合成方法，包括步驟建立圖像顯著性視覺認(rèn)知模型，定義全局圖像信息合成的列寬選擇驅(qū)動(dòng)能量函數(shù)；構(gòu)建全局圖像信息合成圖模型，定義節(jié)點(diǎn)并計(jì)算節(jié)點(diǎn)連接邊權(quán)重；采用最短路徑搜索算法在所述全局圖像信息合成圖模型中搜索使得全局合成圖像顯著性視覺認(rèn)知差異達(dá)到最小的剪切路徑；沿所述使得全局合成圖像的顯著性視覺認(rèn)知差異達(dá)到最小的剪切路徑順序在所述密集視頻序列圖像中的每幀圖像中選擇一定像素列寬，并將選擇出的像素列寬按序碼放后合成為全局合成圖像。該方法可充分發(fā)揮人的視覺認(rèn)知模型在全局場(chǎng)景圖像合成中的作用，合理避免由多維運(yùn)動(dòng)物體干擾造成的合成瑕疵，能夠有效復(fù)現(xiàn)廣域大場(chǎng)景的關(guān)鍵內(nèi)容。
文檔編號(hào)G06T5/50GK103247038SQ20131012784
公開日2013年8月14日 申請(qǐng)日期2013年4月12日 優(yōu)先權(quán)日2013年4月12日
發(fā)明者鄒麗暉, 張德政, 阿孜古麗 申請(qǐng)人:北京科技大學(xué)