專利名稱：一種將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全景視頻技術(shù)領(lǐng)域，更具體地講，涉及一種對(duì)全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)的 方法。
背景技術(shù)：
全景圖像是由某一點(diǎn)拍攝的多幅實(shí)景圖像拼接而成的。其具體的生成過(guò)程是將相 互重疊圖像映射到簡(jiǎn)單的幾何體表面上，如球面、立方體表面或圓柱面，然后對(duì)投影圖 像進(jìn)行無(wú)縫拼接，就可以得到全景圖像。根據(jù)所映射的幾何體，全景圖像可以分為柱面 全景圖像、球面全景圖像和立方體全景圖像。全景視頻是由具有一些有時(shí)間關(guān)聯(lián)的全景 圖像序列組成，從視頻中可以獲取真實(shí)的全景景象，并且可以通過(guò)時(shí)間來(lái)定位視頻幀。
全景視頻覆蓋了 360度的場(chǎng)景范圍，其數(shù)據(jù)量巨大，這對(duì)數(shù)據(jù)的存儲(chǔ)和傳輸造成了
很大的困難。因此，需要對(duì)全景視頻進(jìn)行壓縮編碼，以降低存儲(chǔ)空間和減少傳輸時(shí)占用 的網(wǎng)絡(luò)帶寬。在視頻圖像壓縮中，運(yùn)動(dòng)估計(jì)用來(lái)根據(jù)己經(jīng)編碼的參考幀產(chǎn)生當(dāng)前預(yù)測(cè)幀 的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，去除視頻序列中存在的冗余信息。運(yùn)動(dòng)估計(jì)的方法是將預(yù)測(cè)幀分成若 干大小相同的圖像塊，根據(jù)不同的搜索算法和匹配原則在參考幀內(nèi)搜索最相似的匹配
塊。目前，運(yùn)動(dòng)估計(jì)算法中搜索精度最高的是FS(Full Search,全搜索)算法，F(xiàn)S算法 是對(duì)搜索范圍內(nèi)的每一個(gè)像素點(diǎn)進(jìn)行匹配運(yùn)算以得到一個(gè)最優(yōu)的運(yùn)動(dòng)向量，但它的計(jì)算 復(fù)雜度太高。因此，許多快速運(yùn)動(dòng)估計(jì)算法被提出，如TSS (Three St印Search,三步 搜索)算法、CS(Cross Search,交叉搜索)算法、NTSS(New Three St印Search,新三 步搜索)算法、FSS(Four St印Search,四步搜索)算法、DS (Diamond Search,菱形搜 索)算法和HS(Hexagon Search,六邊形搜索)算法，以及最近出現(xiàn)的PLS(Predictive Line Search,預(yù)測(cè)線搜索)算法。TSS算法和CS算法第一步搜索步長(zhǎng)較大，而進(jìn)一步 的搜索是在第一步確定的方向上進(jìn)行的，因而很容易陷入局部最優(yōu)。NTSS算法、FSS算 法和DS算法利用視頻序列運(yùn)動(dòng)矢量在空間分布上的中心偏置特性，減小了搜索步長(zhǎng)， 加強(qiáng)了對(duì)中心區(qū)域的搜索。HS算法能比DS算法用更少的搜索點(diǎn)找到一個(gè)相同的運(yùn)動(dòng)矢 量。但是，這些快速算法沒(méi)有利用立方體全景視頻相鄰幀間圖像塊的運(yùn)動(dòng)趨勢(shì)和對(duì)應(yīng)關(guān) 系，因此對(duì)全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)的精度不高。
5本發(fā)明前，中國(guó)發(fā)明專利"快速視頻運(yùn)動(dòng)估計(jì)方法"，申請(qǐng)?zhí)枮?1100544. 4，公開 號(hào)為CN1333634A，該專利公開了一種運(yùn)動(dòng)估計(jì)的方法，采用菱形搜索并自適應(yīng)的終止 搜索過(guò)程。該方法主要是針對(duì)普通視頻采用固定順序進(jìn)行塊匹配搜索，并沒(méi)有充分利用 立方體全景視頻相鄰幀間圖像塊的運(yùn)動(dòng)趨勢(shì)和對(duì)應(yīng)關(guān)系，從而不能有效地對(duì)全景視頻進(jìn) 行運(yùn)動(dòng)估計(jì)。中國(guó)發(fā)明專利"用于全景圖像的運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒ê驮O(shè)備"，申請(qǐng)?zhí)?為200580027187. 3，公開號(hào)為CN101002479A，該申請(qǐng)公開了一種利用全景圖的左右邊 界之間的空間關(guān)系進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒?。該方法只適用于柱面全景圖，所以不能 有效地對(duì)立方體全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)。
對(duì)于拍攝靜止場(chǎng)景的立方體全景視頻，全景相機(jī)的全局運(yùn)動(dòng)通常以水平運(yùn)動(dòng)為主， 所以，相鄰幀之間會(huì)存在著較多的重疊圖像信息。全景視頻覆蓋了 360度場(chǎng)景，對(duì)于連 續(xù)的多幀全景圖像而言，圖像塊會(huì)從立方體的一個(gè)面移動(dòng)到相鄰面上，且圖像塊運(yùn)動(dòng)較 大。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問(wèn)題克服現(xiàn)有技術(shù)的不足，提供一種將線搜索擴(kuò)展于全景視頻 運(yùn)動(dòng)估計(jì)的方法，該方法可以有效地對(duì)立方體全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)，提高運(yùn)動(dòng)補(bǔ)償圖 像的質(zhì)量。
為了取得上述技術(shù)效果，本發(fā)明所采用的技術(shù)方案是將連續(xù)采集的全景視頻分為 參考幀和預(yù)測(cè)幀，預(yù)測(cè)幀被分成若干宏塊，在參考幀內(nèi)搜索與預(yù)測(cè)幀當(dāng)前宏塊的最相似 的匹配塊，即最匹配塊，由最匹配塊與預(yù)測(cè)幀當(dāng)前宏塊的相對(duì)位置計(jì)算出運(yùn)動(dòng)向量，具 體包含的步驟如下
(1) i利用參考幀各面的上，下，左，右的鄰接圖像對(duì)參考幀的各面圖像進(jìn)行擴(kuò)展；
(2) 從預(yù)測(cè)幀的宏塊中，選取第一個(gè)沒(méi)有做搜索的宏塊，對(duì)該第一個(gè)沒(méi)有做搜索的 宏塊釆用線搜索方法在擴(kuò)展的參考幀中進(jìn)行搜索，尋找最小塊誤差點(diǎn)，并返回最小塊誤 差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量，完成線搜索的該宏塊即為線搜索的己匹配塊；
(3) 以步驟(2)中線搜索的己匹配塊為起點(diǎn)，對(duì)相鄰的宏塊進(jìn)行擴(kuò)展搜索，獲取相 應(yīng)的運(yùn)動(dòng)向量；
(4) 檢查預(yù)測(cè)幀是否有宏塊沒(méi)有做搜索匹配，如果還有宏塊沒(méi)有做搜索匹配，則進(jìn) 入步驟(2)，否則結(jié)束。
本發(fā)明的原理是拍攝靜止場(chǎng)景的立方體全景視頻的全局運(yùn)動(dòng)通常以水平運(yùn)動(dòng)為主，相鄰幀之間會(huì)存在著較多的重疊圖像信息，而且全景視頻覆蓋了 360度場(chǎng)景，對(duì)于 連續(xù)的多幀全景圖像而言，圖像塊會(huì)從立方體的一個(gè)面移動(dòng)到相鄰面上，且圖像塊運(yùn)動(dòng) 較大，所以可以根據(jù)相鄰幀間圖像的對(duì)應(yīng)關(guān)系，構(gòu)造搜索線對(duì)預(yù)測(cè)幀的宏塊進(jìn)行線搜索， 同時(shí)利用相鄰宏塊間運(yùn)動(dòng)向量的相關(guān)性，以線搜索的己匹配宏塊為起點(diǎn)對(duì)其相鄰的宏塊 進(jìn)行擴(kuò)展搜索，獲取相應(yīng)的運(yùn)動(dòng)向量。
本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于充分利用立方體全景視頻相鄰幀間圖像塊的運(yùn) 動(dòng)趨勢(shì)和對(duì)應(yīng)關(guān)系，基于線搜索方法進(jìn)行擴(kuò)展搜索，根據(jù)相鄰幀間圖像的對(duì)應(yīng)關(guān)系，構(gòu) 造搜索線對(duì)宏塊進(jìn)行線搜索，同時(shí)利用相鄰宏塊間運(yùn)動(dòng)向量的相關(guān)性，以線搜索的已匹 配宏塊為起點(diǎn)對(duì)相鄰的宏塊進(jìn)行擴(kuò)展搜索，獲取相應(yīng)的運(yùn)動(dòng)向量，從而可以有效地對(duì)全 景視頻進(jìn)行運(yùn)動(dòng)估計(jì)，提高了運(yùn)動(dòng)估計(jì)的精度和補(bǔ)償圖像的質(zhì)量。


圖1為立方體全景視頻中圖像塊運(yùn)動(dòng)趨勢(shì)的示意圖； 圖2為全景視頻中相^l幀伺像素的對(duì)應(yīng)關(guān)系； 圖3為宏塊運(yùn)動(dòng)的空間相關(guān)性示意圖4為本發(fā)明將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法的流程；
圖5為本發(fā)朋中參考幀擴(kuò)展的示意圖；其中圖5a是參考幀當(dāng)前面圖像擴(kuò)展的示意
圖，圖5b是左上角空洞填充的示意圖6a為本發(fā)明中線搜索的流程圖，圖6b為本發(fā)明中線搜索具體過(guò)程的示意圖； 圖7a為本發(fā)明中擴(kuò)展搜索的流程圖，圖7b為本發(fā)明中擴(kuò)展搜索具體過(guò)程的示意圖； 圖8為采用本發(fā)明方法、FS算法、DS算法和HS算法進(jìn)行運(yùn)動(dòng)估計(jì)生成的補(bǔ)償圖像，
其中a為原始第六幀的各面圖像，b為本發(fā)明方法生成的第六幀補(bǔ)償圖像，c為FS算法
生成的第六幀補(bǔ)償圖像，d為DS算法生成的第六幀補(bǔ)償圖像，e為HS算法生成的第六
幀補(bǔ)償圖像；
圖9為采用本發(fā)明方法、FS算法、DS算法和HS算法進(jìn)行運(yùn)動(dòng)估計(jì)生成的補(bǔ)償圖像 的PSNR。 具體實(shí)施方法
技術(shù)領(lǐng)域：
本發(fā)明將連續(xù)采集的全景視頻分為參考幀和預(yù)測(cè)幀，參考圖像和預(yù)測(cè)圖像可以按照 固定比率(如1:5、 1:10、 1:15等)進(jìn)行劃分。預(yù)測(cè)幀被分成若干宏塊，根據(jù)相鄰幀間圖 像塊的運(yùn)動(dòng)趨勢(shì)和對(duì)應(yīng)關(guān)系，在參考幀內(nèi)搜索與預(yù)測(cè)幀當(dāng)前塊最相似的匹配塊，即最匹配塊，由最匹配塊與預(yù)測(cè)幀當(dāng)前塊的相對(duì)位置計(jì)算出運(yùn)動(dòng)向量。
在介紹本發(fā)明的具體實(shí)施步驟之前，對(duì)立方體全景視頻中圖像塊的運(yùn)動(dòng)趨勢(shì)和對(duì)應(yīng) 關(guān)系進(jìn)行說(shuō)明。對(duì)于拍攝的靜止場(chǎng)景的全景視頻，攝像機(jī)的全局運(yùn)動(dòng)通常以水平運(yùn)動(dòng)為 主。根竭全景攝像機(jī)的外參數(shù)，利用Florian Kangni提出的立方體全景對(duì)極線的計(jì)算 方法，可以得出立方體全景各個(gè)面上的對(duì)極線如圖1所示。對(duì)極線3從位于立方體前面 上的極點(diǎn)l發(fā)出，向四周擴(kuò)散，在立方體的上、下、左、右四個(gè)側(cè)面上基本上是水平運(yùn) 動(dòng)，最后匯集到位于立方體背面的極點(diǎn)2。對(duì)極線3的運(yùn)動(dòng)方向表示了全景視頻中靜止 場(chǎng)景的運(yùn)動(dòng)趨勢(shì)，因此可以得到全景視頻中相鄰幀之間的像素的對(duì)應(yīng)關(guān)系如圖2所示。 圖2(a)表示立方體側(cè)面的當(dāng)前幀與前一幀的像素對(duì)應(yīng)關(guān)系，當(dāng)前幀的Sl部分像素和前 一幀的S2部分像素是相同的，這兩部分像素僅僅是在位置上有水平方向上的相對(duì)移動(dòng)。 圖2(b)和圖2(c)分別表示了立方體前面和背面的當(dāng)前幀與前一幀的像素對(duì)應(yīng)關(guān)系，當(dāng) 前幀的Tl部分像素和前一幀的T2部分像素是類似的。
因此，進(jìn)行全景視頻的運(yùn)動(dòng)估計(jì)對(duì)，可以利用全景視頻中像素對(duì)應(yīng)關(guān)系，進(jìn)行宏塊 的搜索匹配。在同一幀視頻中，相鄰的像素或宏塊具有相同或近似的運(yùn)動(dòng)，因此相鄰宏 塊之間的運(yùn)動(dòng)具有空間相關(guān)性，如圖3所示。當(dāng)前宏塊CMB的運(yùn)動(dòng)向量與左邊、上邊、 右上的相鄰塊MB1、 MB2 和MB3的運(yùn)動(dòng)向量是相關(guān)的。
由于立方體全景視頻覆蓋了 360度的場(chǎng)景，對(duì)于連續(xù)的全景視頻幀而言，宏塊會(huì)從 一個(gè)面移動(dòng)到相鄰面上，因此對(duì)立方體全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)，需要考慮圖像塊在立方 體相鄰面上的運(yùn)動(dòng)。利用相鄰幀間的像素對(duì)應(yīng)關(guān)系以及宏塊運(yùn)動(dòng)的空間相關(guān)性，本發(fā)明 提出的將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法的流程如圖4所示，其步驟如下
(1)根據(jù)立方體全景各面之間圖像邊界的連續(xù)性，利用參考幀各面的上，下，左， 右的鄰接圖像對(duì)參考幀的各面圖像進(jìn)行擴(kuò)展，如圖5所示。以參考幀的當(dāng)前面圖像為中 心，把當(dāng)前面以及它在立方體上的四個(gè)鄰接面依次展開，帶虛線的矩形表示擴(kuò)展的當(dāng)前 面圖像，從圖5 (a)可以看出，擴(kuò)展的當(dāng)前面的圖像可以用它所覆蓋那部分的圖像進(jìn) 行填充，但是擴(kuò)展的當(dāng)前面圖像的四個(gè)角由于沒(méi)有覆蓋任何圖像會(huì)出現(xiàn)空洞。圖5(b) 以左上角的空洞為例，介紹空洞的填充方法，其中ABCO表示左上角的待填充的空洞。 根據(jù)立方體全景各面間的鄰接關(guān)系，左鄰接圖像的邊EO和上鄰接圖像的邊FO上的圖像 是連續(xù)的，所以對(duì)ABCO進(jìn)行填充時(shí)，必須保證AO和CO兩條邊的圖像連續(xù)性。利用正 方形的對(duì)角線把左鄰接圖像和上鄰接圖像分成均勾的四部分，根據(jù)EO和FO的圖像連續(xù)性，把左鄰接圖像的第一部分拼接到上鄰接圖像的邊FO，并且把上鄰接圖像的第四部 分拼接到左鄰接圖像的邊EO，如圖5 (b)所示。因此，ABCO可以由它所覆蓋的上鄰接 圖像和左鄰接圖像進(jìn)行填充，即ABO用CEO的圖像進(jìn)行填充，BCO用ADO的圖像進(jìn)行填 充。其余空洞也采用相同方法進(jìn)行填充。
(2)從預(yù)測(cè)幀的宏塊中，選取第一個(gè)沒(méi)有做搜索的宏塊，對(duì)該宏塊采用線搜索方法 在步驟(l)生成的擴(kuò)展參考幀中進(jìn)行搜索，以SAD(Sum of Absolute Difference,絕對(duì) 誤差和)作為匹配準(zhǔn)則尋找最小塊誤差點(diǎn)，返回最小塊誤差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量。其中， 計(jì)算最小塊誤差點(diǎn)時(shí)也可以采用其他匹配準(zhǔn)則，如MAD (Mean Absolute Distortion, 平均絕對(duì)誤差)、MSE(Mean Square Error,均方誤差)和NCCF(Normalized Cross Correlation Function,歸一化互相關(guān)函數(shù))等。
線搜索從搜索三條直線上的宏塊開始，然后在匹配失真降低的方向上新增直線，當(dāng) 最小塊誤差點(diǎn)不在搜索線的邊界時(shí)線搜索結(jié)束，并返回最小塊誤差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向 量。對(duì)于拍攝的靜止場(chǎng)景的全景視頻，攝像機(jī)的全^運(yùn)動(dòng)通常以水平運(yùn)動(dòng)為主。在立方 體的上、下、左、右四個(gè)側(cè)面上，宏塊主要是以水平運(yùn)動(dòng)為主；在立方體的前面和背面 上，宏塊的運(yùn)動(dòng)主要是向四周擴(kuò)散和向圖像中心點(diǎn)匯集。宏塊的運(yùn)動(dòng)方何決定了線搜索 中初始搜索直線的方程x-ky+p，參數(shù)k表示初始搜索直線的斜率，p表示初始搜索直線 的截距，參數(shù)k和p的計(jì)算方法分別如公式(1)和公式(2)示
立方體全景的前面和背面 ，、
凡-^ (1)
0,立方體全景的上面，下面，左面，右面
(2)
其中，(x ， yj表示待搜索塊的位置坐標(biāo)，(x。， y。)表示圖像中心的坐標(biāo)。
線搜索算法利用宏塊的運(yùn)動(dòng)趨勢(shì)構(gòu)造搜索直線對(duì)全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)，其流程如圖 6A所示，'主要包括以下步驟
(2.1)對(duì)待搜索塊所位于直線及其相鄰的兩條平行線進(jìn)行搜索。如果待搜索塊位于 直線x-ky+p，則需要對(duì)位于x-ky+p+l， x=ky+p, x=ky+p-l上的點(diǎn)進(jìn)行檢測(cè)。若最小塊 誤差點(diǎn)在直線x=ky+p+l上，則進(jìn)入(2.2),若最小塊誤差點(diǎn)在直線x=ky+p-1上，則進(jìn) 入步驟(2.3)，否則進(jìn)入步驟(2.4)。
(2. 2)令p-p+l，檢測(cè)位于直線x=ky+p+l上所有點(diǎn)。如果最小塊誤差點(diǎn)在直線x=ky+p
9上，則進(jìn)入步驟(2.4)，否則重復(fù)當(dāng)前步驟。
(2. 3)令p=p-l,檢測(cè)位于直線x=ky+p-1上所有點(diǎn)。如果最小塊誤差點(diǎn)在直線x=ky+p 上，則進(jìn)入步驟(2.4)，否則重復(fù)當(dāng)前步驟。
(2.4)返回最小塊誤差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量，線搜索結(jié)束。
線搜索的，搜索過(guò)程如圖6B所示，假設(shè)立方體前面的待搜索塊位置4是(16, 16)， 其運(yùn)動(dòng)向量5是(5, 7)。根據(jù)公式(1)和公式(2),計(jì)算出待搜索塊所在直線為x，，并對(duì) 位于直線x-y+l， x=y， x=y-l的所有的點(diǎn)進(jìn)行檢測(cè)，如圖6B中搜索線1所示，其中》最小 塊誤差點(diǎn)6位于(14, 15)，在搜索線的邊界上。因此，新增加一條搜索線x-y-2，并對(duì)位 于直線x-y-2的所有候選塊進(jìn)行搜索，如圖6B中搜索線2所示，其中，最小塊誤差點(diǎn)7位于 (21, 23)，在搜索線的邊界上。所以，再次增加一條搜索直線x-y-3,并對(duì)位于直線x-y-3 的所有候選塊進(jìn)行搜索，如圖6B中搜索線3所示。在完成直線x-y-3的搜索后，最小塊誤 差點(diǎn)7仍然位于(21， 23)，在直線x-y-2上，因此線搜索過(guò)程停止并返回運(yùn)動(dòng)向量5。
(3)以步驟(2)中線搜索的已匹配塊為起點(diǎn)，對(duì)相鄰的宏塊進(jìn)行擴(kuò)展搜索，擴(kuò)展搜 索結(jié)束后跳轉(zhuǎn)到步驟(4)。根據(jù)相鄰宏塊間的空間相關(guān)性，宏塊的運(yùn)動(dòng)向量與左邊、上 邊、右上的相鄰塊的運(yùn)動(dòng)向量是相似的。所以，以線搜索的已匹配塊為起點(diǎn)，可以對(duì)相 鄰的宏^進(jìn)行擴(kuò)展搜索。在擴(kuò)展搜索的過(guò)程中，待匹配塊可以參考與其鄰近的已匹配塊 的運(yùn)動(dòng)向量。宏塊的位置用宏塊坐標(biāo)(i, j)表示，其中(i， j)與宏塊的像素坐標(biāo)(x, y) 的轉(zhuǎn)換關(guān)系如公式(3)所示。
擴(kuò)展搜索使用Dk、 Mk、 Nk三個(gè)宏塊集合來(lái)表示第k輪擴(kuò)展搜索時(shí)三種不同類型的宏 塊，其中，Dk表示待擴(kuò)展搜索宏塊集，Mk表示擴(kuò)展搜索成功宏塊集，隊(duì)表示擴(kuò)展搜索失 敗宏塊集。已知三個(gè)宏塊集合在第k-1輪的狀態(tài)為Dh、 Mm、 Nh，則在第k輪時(shí)的三個(gè) 宏塊集合的狀態(tài)Dk、 Mk、 Nk可以通過(guò)Dk、 Mk、 Nk生成。線搜索已匹配塊的宏塊坐標(biāo)為(i, j)，對(duì)宏塊(i, j)相鄰的宏塊進(jìn)行擴(kuò)展搜索主要包括以下步驟.-
(3.1)令擴(kuò)展次數(shù)k-O，初始化待擴(kuò)展搜索宏塊集Dk，擴(kuò)展搜索成功宏塊集Mk,擴(kuò) 展搜索失敗宏塊集Nk。線搜索已匹配塊的宏塊坐標(biāo)為(i， j)，則待擴(kuò)展搜索宏塊集，擴(kuò) 展搜索成功宏塊集，擴(kuò)展搜索失敗宏塊集的初始狀態(tài)D。、 M。、 N。如公式(4)所示，其中， Mo所包含的宏塊m(i, j)即為完成線搜索的已匹配塊。<formula>formula see original document page 11</formula>
其中，-表示空集。
(3.2) 令擴(kuò)展次數(shù)^k+l，計(jì)算第k輪的待擴(kuò)展搜索宏塊集Dk。根據(jù)宏塊運(yùn)動(dòng)向量 的相關(guān)性，待匹配塊可以參考相鄰的已匹配塊的運(yùn)動(dòng)向量，所以待擴(kuò)展搜索的宏塊集 Dk可以通過(guò)第k-1輪的擴(kuò)展搜索成功宏塊集Mw生成，如公式(5)所示。
<formula>formula see original document page 11</formula>
其中，(i, j)表示線搜索已匹配塊的宏塊坐標(biāo)，k表示擴(kuò)展次數(shù)，p和q表示宏塊 坐標(biāo)的偏移量。
根據(jù)公式(5)，對(duì)于i+k-l行上所有擴(kuò)展成功的宏塊(i+k-1， j+p) (0《p〈k-1)，宏 塊(i+k， j+p)被認(rèn)為是第k輪待擴(kuò)展搜索的宏塊；對(duì)于j+k-1列上所有擴(kuò)展成功的宏塊 (i+q， j+k-1) (0《q<k-l)，宏塊(i+q， j+k)被認(rèn)為是第k輪待擴(kuò)展搜索的宏塊；對(duì)于 宏塊(i+k:l， j+k-1)，若該塊是第k-1輪擴(kuò)展成功的宏塊，則宏塊(i+k, j+k)被認(rèn)為是 第k輪待擴(kuò)展搜索的宏塊。
(3.3) 第k輪待擴(kuò)展搜索宏塊集Dk中的宏塊d(p, q)按照公式(6)所示的運(yùn)動(dòng)向量
參考關(guān)系R，在M卜,中宏塊的運(yùn)動(dòng)向量的基礎(chǔ)上，進(jìn)行HS(Hexagon Search,六邊形搜索)
獲取各宏塊的最小塊誤差點(diǎn)。<formula>formula see original document page 11</formula>
其中，(i， j)表示線搜索已匹配塊的宏塊坐標(biāo)，k表示擴(kuò)展次數(shù)，p和q表示宏塊 坐標(biāo)的偏移量。
—根據(jù)公式(6)， Dk中i+k行上的待擴(kuò)展搜索的宏塊(i+k, j+p)(0《p〈k-l)參考Mk-, 中宏塊(i+k-1， j+p)(0《p〈k-l)的運(yùn)動(dòng)向量；Dk中j+k列上的待擴(kuò)展搜索的宏塊(i+q, j+k)(0《q〈k-1)參考Mw中宏塊(i+q, j+k-1) (0《1〈k-l)的運(yùn)動(dòng)向量;若宏塊(i+k, j+k) 是第k輪待擴(kuò)展搜索的宏塊，則該塊參考MH中宏塊(i+k-1， j+k-l)的運(yùn)動(dòng)向量。(3.4) 根據(jù)步驟(3.3)獲取的Dk中各宏塊的最小塊誤差點(diǎn)，檢査Dk中各宏塊的最小 塊誤差值與閾值的大小關(guān)系，最小塊誤差值小于閾值的宏塊被認(rèn)為是擴(kuò)展搜索成功的宏 塊，而最小塊誤差值大于閾值的宏塊被認(rèn)為是擴(kuò)展搜索失敗的宏塊。因此，第k輪擴(kuò)展 搜索成功宏塊集Mk如公式(7)所示。
= 咖Cp，《)e Z\ ag) S , (7) 其中，(p， q)為宏塊坐標(biāo)，TSS表示閾值。
由于第k-l輪擴(kuò)展搜索失敗的宏塊會(huì)導(dǎo)致第k輪擴(kuò)展搜索中 一些宏塊沒(méi)有運(yùn)動(dòng)向量 可供參考，這些沒(méi)有運(yùn)動(dòng)向量可供參考的宏塊也被認(rèn)為是第k輪擴(kuò)展搜索失敗的宏塊。 所以，第k輪擴(kuò)展搜索失敗宏塊集Nk包括最小塊誤差值大于閾值的宏塊以及沒(méi)有運(yùn)動(dòng)向 量可供參考的宏塊，如公式(8)所示。
, 、 (8)
W十M(/'+^;+ +《,/ + A:-1) S A^—,}
U {"(/ + +卜(/ + & -1, / + & -1) e i}
其中，(i, j)表示線搜索已匹配塊的宏塊坐標(biāo)，k表示擴(kuò)展次數(shù)，p和q表示宏塊 坐標(biāo)的偏移量。
根據(jù)公式(8)，對(duì)于i+k-l行上所有擴(kuò)展失敗的宏塊(i+k-1, j+p) (0《P<k-1)，宏 塊(i+k， j+p)被直接判定為第k輪擴(kuò)展搜索失敗的宏塊；對(duì)于j+k-l列上所有擴(kuò)展失敗 的宏塊(i+q， j+k-l) (0《q〈k-1)，宏塊(i+q, j+k)被認(rèn)為是第k輪擴(kuò)展搜索失敗的宏 塊；對(duì)于宏塊(i+k-1, j+k-1)，若該塊是第k-l輪擴(kuò)展失敗的宏塊，則宏塊(i+k, j+k) 被認(rèn)為是第k輪待擴(kuò)展搜索的宏塊。
(3.5) 若71^=-，則擴(kuò)展搜索結(jié)束，返回各輪擴(kuò)展搜索成功宏塊的運(yùn)動(dòng)向量，即
M2,，"， Mk-2, MH中各宏塊的最小塊誤差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量；否則，進(jìn)入步驟(3.2)。 擴(kuò)展搜索的具體搜索過(guò)程如圖7B所示，其中，d代表待擴(kuò)展搜索的宏塊，m代表擴(kuò) 展搜索成功的宏塊，n代表擴(kuò)展搜索失敗的宏塊。假設(shè)完成線搜索的已匹配塊的宏塊坐 標(biāo)為(O,O)，則M?！?0,0"。所以根據(jù)公式(5)，當(dāng)k=l時(shí)待擴(kuò)展搜索宏塊集
^={^0,",^7,0義^^力}，仏中的宏塊參考宏塊m(O, O)的運(yùn)動(dòng)向量進(jìn)行擴(kuò)展搜索， 如圖7B(a)所示。若宏塊d(O, l)擴(kuò)展搜索失敗，則擴(kuò)展搜索成功宏塊集M/={m(7，0義m",^，擴(kuò)展搜索失敗宏塊集^ = f"W^ 。根據(jù)公式(8)，宏塊(O， 2) 被直接判定為擴(kuò)展搜索失敗，所以k=2的待擴(kuò)展搜索宏塊集 A-^「2,0^U「2,7^U(7,2^U",2乃，如圖7B(b)所示。對(duì)D2中的宏塊按照公式(6)的
運(yùn)動(dòng)向量參考關(guān)系R進(jìn)行擴(kuò)展搜索，若宏塊d(2, 1)和d(2, 2)擴(kuò)展搜索失敗，則擴(kuò)展 搜索成功宏塊集M,- ",^,w",7力，擴(kuò)展搜索失敗宏塊集
i^-(w"力，"fO,2^U",2"。根據(jù)公式(5) ， k=3時(shí)待擴(kuò)展搜索宏塊集 Z),-^^"義^7，J力，如圖7B(c)所示。若D3中的宏塊都擴(kuò)展搜索失敗，則當(dāng)k-3時(shí)， 擴(kuò)展搜索失敗宏塊集i^ —"「3,0義"卩力,"(^,2人"「a"，""，",蝦2,3A"a^ ，而擴(kuò)展 搜索成功宏塊集^3--，此時(shí)擴(kuò)展搜索結(jié)束，返回M,， M2中各宏塊的運(yùn)動(dòng)向量，如圖 7B(d)所示。
(4)檢査預(yù)測(cè)幀是否有宏塊沒(méi)有做搜索匹配，如果還有宏塊沒(méi)有進(jìn)行搜索，則進(jìn)入 步驟(2)，否則結(jié)束。
本發(fā)明對(duì)將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)所采用的數(shù)據(jù) 為沿公路拍攝的立方體全景視頻，其中全景視頻的幀數(shù)為50幀，各面的分辨率為512 X512像素。在實(shí)驗(yàn)中，分別采用FS算法，DS算法，HS算法，以及本方法對(duì)全景視頻 序列進(jìn)行運(yùn)動(dòng)估計(jì)，利用各算法進(jìn)行運(yùn)動(dòng)估計(jì)生成的補(bǔ)償圖像如圖8所示。圖8(a)為 原始的第6幀全景視頻的各面圖像，圖8(b)為本方法的運(yùn)動(dòng)向量補(bǔ)償生成的第6幀全 景視頻的各面圖像，圖8(c)為FS搜索算法的運(yùn)動(dòng)向量補(bǔ)償生成的第6幀全景視頻的各 個(gè)面圖像，圖8(d)為DS搜索算法的運(yùn)動(dòng)向量補(bǔ)償生成的第6幀全景視頻的各個(gè)面圖像， 圖8(e)為HS算法的運(yùn)動(dòng)向量補(bǔ)償生成的第6幀全景視頻的各個(gè)面圖像。從圖8的各組 圖像可以看出，本方法進(jìn)行運(yùn)動(dòng)估計(jì)生成的補(bǔ)償圖像比DS和HS算法生成的補(bǔ)償圖像的 主觀質(zhì)量更高，更接近FS算法生成的圖像。
為了衡量本方法的運(yùn)動(dòng)估計(jì)的性能，釆用了PSNR(Peak Signal to Noise Ratio, 峰值信噪比)作為實(shí)驗(yàn)指標(biāo)，如公式(9)所示。PSNR反映了圖像的失真程度，其單位為 分貝(dB)， PSNR值越大，圖像失真越少。<formula>formula see original document page 13</formula>其中，Ik(x，y)是補(bǔ)償圖像中點(diǎn)(x， y)的灰度像素值，Ux,y)是原始圖像中點(diǎn)(x, y) 的灰度像素值，w和h分別是圖像的寬度與高度。
根據(jù)公式(9)，計(jì)算了立方體全景的各幀圖像采用FS算法，DS算法，HS算法以及 本方法對(duì)立方體全景進(jìn)行運(yùn)動(dòng)估計(jì)的各幀圖像的PSNR，如圖9所示。從圖9的PSNR曲 線可以看出，本發(fā)明的方法對(duì)立方體全景進(jìn)行運(yùn)動(dòng)估計(jì)的PSNR明顯優(yōu)于DS算法和HS 算法，與FS算法很接近。本方法的平均PSNR比DS算法和HS算法提高了 5dB。
本發(fā)明中未詳細(xì)闡述的部分屬于本領(lǐng)域技術(shù)人員的公知技術(shù)。
最后所應(yīng)說(shuō)明的是，以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù) 領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法的 前提下，還可以做出若干改進(jìn)或等同替換，這些改進(jìn)和等同替換也應(yīng)視為本發(fā)明的保護(hù) 范圍。
權(quán)利要求
1、一種將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法，其特征在于將連續(xù)采集的全景視頻分為參考幀和預(yù)測(cè)幀，預(yù)測(cè)幀被分成若干宏塊，在參考幀內(nèi)搜索預(yù)測(cè)幀宏塊的運(yùn)動(dòng)向量，具體包含的步驟如下(1)利用參考幀各面的上，下，左，右的鄰接圖像對(duì)參考幀的各面圖像進(jìn)行擴(kuò)展；(2)從預(yù)測(cè)幀的宏塊中，選取第一個(gè)沒(méi)有做搜索的宏塊，對(duì)該第一個(gè)沒(méi)有做搜索的宏塊采用線搜索方法在擴(kuò)展的參考幀中進(jìn)行搜索，尋找最小塊誤差點(diǎn)，并返回最小塊誤差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量，完成線搜索的該宏塊即為線搜索的已匹配塊；(3)以步驟(2)中線搜索的已匹配塊為起點(diǎn)，對(duì)相鄰的宏塊進(jìn)行擴(kuò)展搜索，獲取相應(yīng)的運(yùn)動(dòng)向量；(4)檢查預(yù)測(cè)幀是否有宏塊沒(méi)有做搜索匹配，如果還有宏塊沒(méi)有做搜索匹配，則進(jìn)入步驟(2)，否則結(jié)束。
2、 根據(jù)權(quán)利要求1所述的將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法，其特征在 于所述步驟X2)中的線搜索方法根據(jù)立方體全景各面圖像的宏塊的運(yùn)動(dòng)趨勢(shì)決定初始搜索直線的方程x-ky+p，其中參數(shù).k表示初始搜索直線的斜率，p表示初始搜索直線的截距，參數(shù)k和p的計(jì)算方法如下述公式所示 f SZ5l,立方體全景的前面和背面^_凡a立方體全景的上面，下面，左面，右面其中，(x ， yj表示待搜索塊的位置坐標(biāo)，(x。， y。)表示圖像中心的坐標(biāo)； 線搜索方法主要包括以下步驟(2.1)對(duì)待搜索塊所位于直線及其相鄰的兩條平行線進(jìn)行搜索；如果待搜索塊位 于直線x-ky+p，則需要對(duì)位于x-ky+p+l， x=ky+p， x=ky+p-1上的點(diǎn)進(jìn)行檢測(cè)；若最 小塊誤差點(diǎn)在直線x咕y+p+l上，則進(jìn)入(2.2)，若最小塊誤差點(diǎn)在直線x=ky+p-l上， 則進(jìn)入步驟(2.3)，否則進(jìn)入步驟(2.4);(2:2)令p=p+l，檢測(cè)位于直線x=ky+p+l上所有點(diǎn)。如果最小塊誤差點(diǎn)在直線 x-ky+p上，則進(jìn)入步驟(2.4)，否則重復(fù)當(dāng)前步驟；(i3)令p-p-l，檢測(cè)位于直線x-ky+p-1上所有點(diǎn)。如果最小塊誤差點(diǎn)在直線 x-ky+p上，則進(jìn)入步驟(2.4)，否則重復(fù)當(dāng)前步驟； (2.4〉返回最小塊誤差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量。
3、根據(jù)權(quán)利要求1所述的將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法，其特征在 于所述的步驟(3)中的擴(kuò)展搜索采用宏塊坐標(biāo)(i， j)表示宏塊的位置，宏塊坐標(biāo)(i, j)與宏塊的像素坐標(biāo)(x, y)的轉(zhuǎn)換關(guān)系如下述公式所示-
4、根據(jù)權(quán)利要求1所述的將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法，其特征在 于所述的步驟(3)中的擴(kuò)展搜索使用Dk、 Mk、隊(duì)三個(gè)宏塊集合來(lái)表示第k輪擴(kuò)展搜索 時(shí)三種不同類型的宏塊，其中，Dk表示待擴(kuò)展搜索宏塊集，Mk表示擴(kuò)展搜索成功宏塊 集，隊(duì)表示擴(kuò)展搜索失敗宏塊集，線搜索已匹配塊的宏塊坐標(biāo)為(i, j)，對(duì)宏塊坐標(biāo) (i， j)相鄰的宏塊進(jìn)行擴(kuò)展搜索主要包括以下步驟-(4.1) 令擴(kuò)展次數(shù)k-0，初始化待擴(kuò)展搜索宏塊集Dk，擴(kuò)展搜索成功宏塊集Mk， 擴(kuò)展搜索失敗宏塊集Nk;.線搜索已匹配塊的宏塊坐標(biāo)為(i， j)，則待擴(kuò)展搜索宏塊集， 擴(kuò)展搜索成功宏塊集，.擴(kuò)展搜索失敗宏塊集的初始狀態(tài)D。、 M。、 N。如下述公式所示其中，-表示空集，M。所包含的宏塊m(i， j)即為完成線搜索的已匹配塊；(4.2) 令擴(kuò)展次數(shù)l^k+l，計(jì)算第k輪的待擴(kuò)展搜索宏塊集Dk;根據(jù)宏塊運(yùn)動(dòng)向 量的相關(guān)性，待匹配塊可以參考相鄰的已匹配塊的運(yùn)動(dòng)向量，所以待擴(kuò)展搜索的宏塊 集Dk可以通過(guò)第k-1輪的擴(kuò)展搜索成功宏塊集Mh生成，如下述公式所示<formula>formula see original document page 3</formula>其中，(i， j)表示線搜索已匹配塊的宏塊坐標(biāo)，k表示擴(kuò)展次數(shù)，p和q表示宏 塊坐標(biāo)的偏移量；(、.3)第k輪待擴(kuò)展搜索宏塊集Dk中的宏塊d(p, q)按照下述公式所示的運(yùn)動(dòng)向量參考關(guān)系R，在MH中宏塊的運(yùn)動(dòng)向量的基礎(chǔ)上，進(jìn)行搜索獲取各宏塊的最小塊 誤差點(diǎn),。_/ + A: -1), + &附O， y. + A: — 1) e(_p， g)) = "j w(z' + A: — 1, g), ; = z' + A， w(f + A: — 1,《)e,附(f + fc—+ p = z' + A;,《=/ + &,附(/ +先一1，_/十&一1)￡^/4—,其中，(i， j)表示線搜索已匹配塊的宏塊坐標(biāo)，k表示擴(kuò)展次數(shù)，p和q表示宏 塊坐標(biāo)的偏移量；(4.4) 根據(jù)步驟(4.3)獲取的Dk中各宏塊的最小塊誤差點(diǎn)，檢查Dk中各宏塊的最 小塊誤差值與閾值的大小關(guān)系，最小塊誤差值小于閾值的宏塊被認(rèn)為是擴(kuò)展搜索成功 的宏塊，而最小塊誤差值大于閾值的宏塊被認(rèn)為是擴(kuò)展搜索失敗的宏塊，第k輪擴(kuò)展 搜索成功宏塊集Mk如下述公式所示Mt =(附O，《)K(a《)e A a msz)O ,《)《孤}其中，(P, q).為宏塊坐標(biāo)，.TSS表示閾值；第k-l輪擴(kuò)展搜索失敗的宏塊會(huì)導(dǎo)致第k輪擴(kuò)展搜索中一些宏塊沒(méi)有運(yùn)動(dòng)向量可 供參考,.這些沒(méi)有運(yùn)動(dòng)向量可供參考的宏塊也被認(rèn)為是第k輪擴(kuò)展搜索失敗的宏塊； 所以，第k輪擴(kuò)展搜索失敗宏塊集隊(duì)包括最小塊誤差值大于閾值的宏塊以及沒(méi)有運(yùn)動(dòng)向量可供參考的宏塊，如下述公式所示(J {"(! + ++ A; _ 1, _/ + _p) e d} + + " I "0 +《,_/ +先-1) e iV",} u + + ++ A: _1) e A^一}其中，(i， j)表示線搜索已匹配塊的宏塊坐標(biāo)，k表示擴(kuò)展次數(shù)，p和q表示宏 塊坐標(biāo)的偏移量；(4.5) 若J^-^，則擴(kuò)展搜索結(jié)束，獲取各輪擴(kuò)展搜索成功宏塊的運(yùn)動(dòng)向量， 艮卩Mb M2，*"， Mk-2， Mk-,中各宏塊相應(yīng)的運(yùn)動(dòng)向量；否則，進(jìn)入步驟(4.2)。
全文摘要
一種將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法，步驟為(1)利用參考幀各面的上，下，左，右的鄰接圖像對(duì)參考幀的各面圖像進(jìn)行擴(kuò)展；(2)從預(yù)測(cè)幀的宏塊中，選取第一個(gè)沒(méi)有做搜索的宏塊，對(duì)該宏塊采用線搜索方法在擴(kuò)展的參考幀中搜索最小塊誤差點(diǎn)，并返回最小塊誤差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量；(3)以步驟(2)中線搜索的已匹配塊為起點(diǎn)，對(duì)相鄰的宏塊進(jìn)行擴(kuò)展搜索，獲取相應(yīng)的運(yùn)動(dòng)向量；(4)檢查預(yù)測(cè)幀是否有宏塊沒(méi)有做搜索匹配，如果還有宏塊沒(méi)有進(jìn)行搜索，則進(jìn)入步驟(2)，否則結(jié)束。本方法可以有效地對(duì)全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)，提高運(yùn)動(dòng)估計(jì)的精度和補(bǔ)償圖像的質(zhì)量。
文檔編號(hào)G06T7/20GK101667295SQ200910092868
公開日2010年3月10日 申請(qǐng)日期2009年9月9日 優(yōu)先權(quán)日2009年9月9日
發(fā)明者威 吳, 忠 周, 犇 牛, 珂 陳 申請(qǐng)人:北京航空航天大學(xué)