專利名稱：一種利用可變形網(wǎng)格進(jìn)行運(yùn)動(dòng)估計(jì)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動(dòng)圖像的數(shù)字處理，尤其涉及一種在圖像序列的連續(xù)圖像之間進(jìn)行運(yùn)動(dòng)估計(jì)的方法。
大多數(shù)視頻編碼技術(shù)(尤其MPEG-1，2，4和ITU-T H26x)借助于圖像分塊劃分的平移表示運(yùn)動(dòng)。這種運(yùn)動(dòng)模式產(chǎn)生很多問題。在很大程度上，它是在用現(xiàn)有視頻編碼技術(shù)解碼時(shí)通常可見到的塊效應(yīng)的起因，并且這種運(yùn)動(dòng)模式還提供了并不適用于某些運(yùn)動(dòng)類型(縮放、旋轉(zhuǎn)等等)的表現(xiàn)模式。
已經(jīng)提出了其它運(yùn)動(dòng)表現(xiàn)模式來減少這些缺陷。尤其是在這些模式中使用了活動(dòng)網(wǎng)格。在這種表現(xiàn)模式中，通過位于圖像網(wǎng)格節(jié)點(diǎn)上定義的一組值的方式來表現(xiàn)運(yùn)動(dòng)?；诖鎯?chǔ)在該網(wǎng)格節(jié)點(diǎn)上的值，通過插值技術(shù)推導(dǎo)圖像上任何一點(diǎn)的運(yùn)動(dòng)向量。傳統(tǒng)地，使用拉格朗日內(nèi)插法，即分配給圖像上一點(diǎn)的運(yùn)動(dòng)向量是對(duì)于鄰近節(jié)點(diǎn)所計(jì)算的向量的仿射函數(shù)。
因此，有可能用基于網(wǎng)格的運(yùn)動(dòng)補(bǔ)償模式替換MPEG視頻編碼器的運(yùn)動(dòng)補(bǔ)償模式或其它模式。也有可能使用網(wǎng)格來解相關(guān)視頻序列的運(yùn)動(dòng)和結(jié)構(gòu)信息，以獲得分析合成類型的編碼技術(shù)。
由于對(duì)運(yùn)動(dòng)信息的更有效的編碼，這些活動(dòng)網(wǎng)格一方面提供了更多的運(yùn)動(dòng)模式，另一面提供了提高編碼效率的可能性，尤其當(dāng)使用層次網(wǎng)格時(shí)(參見WO00/14969實(shí)施例)。
雖然可變形網(wǎng)格限定了運(yùn)動(dòng)域的連續(xù)表現(xiàn)，但是通常視頻序列的實(shí)際運(yùn)動(dòng)實(shí)際上是不連續(xù)的。因此，當(dāng)各種平面和對(duì)象在場(chǎng)景中重疊時(shí)，出現(xiàn)隱藏區(qū)和暴露區(qū)，產(chǎn)生不連續(xù)線條。
使用球狀網(wǎng)格對(duì)這些非自然信號(hào)建模，如與根據(jù)組成場(chǎng)景的視頻對(duì)象分割的網(wǎng)格相反，在不修改表現(xiàn)模式的情況下帶來了難以解決的難點(diǎn)。問題是通過確定非連續(xù)區(qū)來消除這個(gè)視覺衰退以及將其限制在分析階段。
現(xiàn)有的，這種類型的實(shí)際運(yùn)動(dòng)區(qū)干擾導(dǎo)致在網(wǎng)格表現(xiàn)中的網(wǎng)格單元倒置。
現(xiàn)有處理技術(shù)能夠用來解決這個(gè)問題。其中一個(gè)技術(shù)是利用經(jīng)驗(yàn)校正來處理，并且包括應(yīng)用運(yùn)動(dòng)向量，例如通過計(jì)算形成的，檢測(cè)那些有缺陷的節(jié)點(diǎn)，然后改正其值。另外一種技術(shù)是每次迭代給節(jié)點(diǎn)增加期望位移的一部分的重復(fù)處理，這樣不會(huì)出現(xiàn)倒置，并且一直繼續(xù)迭代直到處理結(jié)束。
一旦執(zhí)行了運(yùn)動(dòng)估計(jì)，現(xiàn)有處理技術(shù)就見效。由于運(yùn)動(dòng)向量的校正獨(dú)立于其對(duì)于使預(yù)測(cè)誤差最小化的貢獻(xiàn)，因此，結(jié)果是次優(yōu)選的。
通過在優(yōu)化過程中考慮非倒置的限制，實(shí)現(xiàn)優(yōu)化運(yùn)動(dòng)域的改進(jìn)。為了這個(gè)目的，通過將增大的拉格朗日量增加至二次預(yù)測(cè)誤差來使運(yùn)動(dòng)估計(jì)適應(yīng)，使得當(dāng)網(wǎng)格單元面積接近于零時(shí)有可能來校正網(wǎng)格單元變形。這個(gè)技術(shù)實(shí)際上有可能確定最優(yōu)化方案，但，其條件是這個(gè)技術(shù)代表了連續(xù)域。然而，視頻序列通常是非連續(xù)的。
另外一種在WO 01/43446中介紹的技術(shù)，識(shí)別非連續(xù)域，這樣通過監(jiān)測(cè)目標(biāo)的出現(xiàn)和消失，重構(gòu)該非連續(xù)域。第一運(yùn)動(dòng)估計(jì)是在兩個(gè)連續(xù)時(shí)刻t1和t2執(zhí)行的，沒有阻止網(wǎng)格單元倒置。借助于幾何標(biāo)準(zhǔn)在第一次計(jì)算時(shí)正確定出倒置位置，檢測(cè)到非連續(xù)區(qū)域。然后實(shí)現(xiàn)在時(shí)刻t1和t2之間的新的運(yùn)動(dòng)估計(jì)，同時(shí)從優(yōu)化標(biāo)準(zhǔn)中排除缺陷區(qū)域(至少包括一個(gè)倒置)的貢獻(xiàn)，使得在被考慮的兩個(gè)圖像之間的預(yù)測(cè)誤差最小。這種再優(yōu)化有可能確定連續(xù)域的(容許t1和t2之間的雙向單射)最優(yōu)運(yùn)動(dòng)向量，并且這樣來避免前一最優(yōu)化中獲得的由非連續(xù)區(qū)產(chǎn)生的運(yùn)動(dòng)向量值的干擾。缺陷區(qū)域構(gòu)成圖像壓縮的頻率或者空間近似對(duì)象，并且通過跟蹤視頻目標(biāo)，將缺陷區(qū)域從優(yōu)化方法中排除。
各種已知技術(shù)通過將基于連續(xù)區(qū)域計(jì)算的運(yùn)動(dòng)加入到非連續(xù)域中，盡力實(shí)現(xiàn)非連續(xù)運(yùn)動(dòng)域的連續(xù)。這樣將導(dǎo)致錯(cuò)誤運(yùn)動(dòng)和非連續(xù)域的很差的暫時(shí)結(jié)構(gòu)預(yù)測(cè)，因此編碼花費(fèi)超高。
目標(biāo)在于排除非連續(xù)域的技術(shù)在這些區(qū)域內(nèi)不使用任何運(yùn)動(dòng)，并將它們不同編碼。但是，在大量非連續(xù)區(qū)域的情況下，有很多區(qū)域要不同編碼，在對(duì)這些流的頭部進(jìn)行編碼涉及較高費(fèi)用。而且，在可變編碼框架下，這種技術(shù)相對(duì)昂貴點(diǎn)。
本發(fā)明的目的是借助于2D網(wǎng)格對(duì)視頻序列的運(yùn)動(dòng)進(jìn)行估計(jì)，并將該運(yùn)動(dòng)以非連續(xù)方式表現(xiàn)，從而最佳地表現(xiàn)實(shí)際的運(yùn)動(dòng)域。
因此，本發(fā)明提出了一種對(duì)移動(dòng)數(shù)字圖像序列進(jìn)行運(yùn)動(dòng)估計(jì)的方法，包括生成要應(yīng)用于所述圖像序列中的參考圖像的第一網(wǎng)格，所述第一網(wǎng)格包括由節(jié)點(diǎn)限定的網(wǎng)格單元；通過為圖像的每個(gè)點(diǎn)分配位移值而估計(jì)包括所述參考圖像的圖像組中的第一位移域，所述位移值根據(jù)分配給所述第一網(wǎng)格的、用于限定所述點(diǎn)所屬的網(wǎng)格單元的節(jié)點(diǎn)的值計(jì)算得到；通過分析所述第一位移域，檢測(cè)所述第一網(wǎng)格中的至少一個(gè)非連續(xù)域，每個(gè)所述非連續(xù)域包括滿足所述圖像組中的網(wǎng)格單元變形準(zhǔn)則的至少一個(gè)網(wǎng)格單元；在檢測(cè)到的每個(gè)非連續(xù)域中，確定在所述圖像組中出現(xiàn)的至少一條斷裂線；生成要應(yīng)用于所述參考圖像的第二網(wǎng)格，所述第二網(wǎng)格包括由所述第一網(wǎng)格的、不屬于非連續(xù)域的網(wǎng)格單元構(gòu)成規(guī)則部分，以及對(duì)于檢測(cè)到的至少一個(gè)非連續(xù)域包括至少兩個(gè)子網(wǎng)格；所述的至少兩個(gè)子網(wǎng)格在包括從所述非連續(xù)域確定的所述斷裂線的區(qū)域中重疊；所述至少兩個(gè)子網(wǎng)格中的每一個(gè)包括各自的網(wǎng)格單元，所述網(wǎng)格單元由包括以下節(jié)點(diǎn)的節(jié)點(diǎn)來限定，即，位于所述非連續(xù)域的邊界處、并共同屬于所述規(guī)則部分的節(jié)點(diǎn)，以及不屬于所述規(guī)則部分的其它節(jié)點(diǎn)；所述斷裂線位于同屬于所述規(guī)則部分的、所述兩個(gè)子網(wǎng)格的各自節(jié)點(diǎn)之間；以及通過給位于所檢測(cè)到的非連續(xù)域的每個(gè)點(diǎn)分配位移值，估計(jì)所述圖像組中的第二位移域；其中所述位移值根據(jù)分配給用于限定所述第二網(wǎng)格的、所述點(diǎn)所屬的選中的網(wǎng)格單元的節(jié)點(diǎn)的值計(jì)算得到，所述選中的網(wǎng)格單元由所述點(diǎn)相對(duì)于在所述非連續(xù)域中確定的所述斷裂線的位置而被決定。
該方法執(zhí)行全局最優(yōu)化來確定運(yùn)動(dòng)。沒有先驗(yàn)的約束條件加在待優(yōu)化的準(zhǔn)則上，且一方面還避免了頻繁出現(xiàn)在運(yùn)動(dòng)圖像中的非連續(xù)域的計(jì)算。由于斷裂線以可靠方式添加了標(biāo)簽，因此可以優(yōu)化執(zhí)行的運(yùn)動(dòng)估計(jì)，包括在非連續(xù)域中。在此之后，視頻編碼器能夠使用估計(jì)的運(yùn)動(dòng)。在這個(gè)框架下，允許很好地預(yù)測(cè)圖像序列，甚至在網(wǎng)格的非連續(xù)域，且改進(jìn)了視頻序列編碼的成本。為了連續(xù)解碼，表示估計(jì)運(yùn)動(dòng)的參數(shù)將會(huì)傳送給解碼器，或者記錄在內(nèi)存中。
運(yùn)動(dòng)估計(jì)方法與層次網(wǎng)格的使用相適應(yīng)，位移域估計(jì)受到從網(wǎng)格的最低層次等級(jí)(1)到最高層次等級(jí)(nivFin)的影響。所述非連續(xù)域被檢測(cè)為一組最高的層次等級(jí)的、滿足所述網(wǎng)格單元的變形準(zhǔn)則的相鄰的網(wǎng)格單元；以及所述非連續(xù)域在較高的層次等級(jí)被定義為由至少一個(gè)網(wǎng)格單元構(gòu)成，該至少一個(gè)網(wǎng)格單元包括至少一個(gè)最高層次等級(jí)的、滿足所述網(wǎng)格單元變形準(zhǔn)則的網(wǎng)格單元。
有利地，從最高的層次等級(jí)nivFin開始生成所述第二網(wǎng)格的所述兩個(gè)子網(wǎng)格，在其之后，在層次的漸次反退過程中生成較高等級(jí)的網(wǎng)格單元，對(duì)于每個(gè)子網(wǎng)格和1＜n≤nivFin，從層次等級(jí)n至與其緊鄰的較高層次等級(jí)n-1的反退過程包括以下步驟a將以等級(jí)n在先定義的所述子網(wǎng)格的每個(gè)網(wǎng)格單元與以等級(jí)n-1生成的所述子網(wǎng)格的新網(wǎng)格單元相結(jié)合；b取n’＝n；c如果不能用已以等級(jí)n’生成的所述子網(wǎng)格的網(wǎng)格單元來實(shí)現(xiàn)等級(jí)為n’-1的所述新網(wǎng)格單元，則生成所述子網(wǎng)格的等級(jí)為n’的至少一個(gè)新網(wǎng)格單元來完成等級(jí)為n’-1的所述新網(wǎng)格單元；以及d如果n’＜nivFin，n’以單位1進(jìn)行增加，并且從步驟c重復(fù)執(zhí)行。
在該方法的優(yōu)選實(shí)施方式中，為所述規(guī)則部分的節(jié)點(diǎn)，以及所述第二網(wǎng)格的每個(gè)子網(wǎng)格的其它節(jié)點(diǎn)分配各自的深度值。被分配給為檢測(cè)到的非連續(xù)域而生成的子網(wǎng)格的其它節(jié)點(diǎn)的值，由所述子網(wǎng)格相對(duì)于在所述非連續(xù)域中確定的斷裂線的位置決定。估計(jì)所述第二位移域的步驟包括對(duì)于屬于所述第二網(wǎng)格的規(guī)則部分的網(wǎng)格單元和子網(wǎng)格的至少一個(gè)網(wǎng)格單元的各個(gè)圖像點(diǎn)，為包括所述點(diǎn)的每個(gè)網(wǎng)格單元計(jì)算深度值的加權(quán)和，該深度值分別分配給限定所述網(wǎng)格單元的節(jié)點(diǎn)；以及選擇所計(jì)算的加權(quán)和為最大的網(wǎng)格單元，用以給所述點(diǎn)分配位移值。
這些深度值的使用有可能說明共存于圖像組的幾個(gè)平面的存在。當(dāng)有兩個(gè)以上平面時(shí)，相對(duì)深度值必須傳遞給解碼器用于運(yùn)動(dòng)合成。
本發(fā)明的另一個(gè)方面在于包括一種用于對(duì)移動(dòng)數(shù)字圖像序列進(jìn)行運(yùn)動(dòng)估計(jì)的裝置，其包括適于實(shí)施上述定義的所述的方法的裝置，以及本發(fā)明還包括一種安裝于用于處理移動(dòng)圖像的裝置的計(jì)算機(jī)程序，包括用于當(dāng)所述裝置的處理單元執(zhí)行程序時(shí)，實(shí)施上述運(yùn)動(dòng)估計(jì)方法的步驟的指令。
本發(fā)明還提供了一種視頻編碼器，包括用于估計(jì)移動(dòng)數(shù)字圖像序列中的運(yùn)動(dòng)的裝置，以及用于構(gòu)建包括所述運(yùn)動(dòng)估計(jì)的裝置生成的運(yùn)動(dòng)參數(shù)的輸出流的裝置，其中用于進(jìn)行運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)被設(shè)置成根據(jù)上述定義的方法來進(jìn)行操作。
本發(fā)明的另一個(gè)方面還包括表示移動(dòng)數(shù)字圖像序列的信號(hào)，包括運(yùn)動(dòng)參數(shù)，所述運(yùn)動(dòng)參數(shù)對(duì)于包括參考圖像的圖像組包括第一運(yùn)動(dòng)參數(shù)，用于在將應(yīng)用到所述參考圖像的第一網(wǎng)格中，指示構(gòu)成圖像組中的至少一個(gè)非連續(xù)域的網(wǎng)格單元；第二運(yùn)動(dòng)參數(shù)，用于在每個(gè)非連續(xù)域定位至少一條斷裂線；以及第三運(yùn)動(dòng)參數(shù)，用于描述分配給第二網(wǎng)格的將應(yīng)用于所述參考圖像的節(jié)點(diǎn)的位移值；所述第二網(wǎng)格包括由所述第一網(wǎng)格的不屬于非連續(xù)域的網(wǎng)格單元構(gòu)成的規(guī)則部分，以及對(duì)于檢測(cè)到的至少一個(gè)非連續(xù)域包括至少兩個(gè)子網(wǎng)格；所述的至少兩個(gè)子網(wǎng)格在包括從所述非連續(xù)域確定的所述斷裂線的區(qū)域中重疊；所述至少兩個(gè)子網(wǎng)格中的每一個(gè)包括各自的網(wǎng)格單元，所述網(wǎng)格單元由包括以下節(jié)點(diǎn)的節(jié)點(diǎn)來限定，即，位于所述非連續(xù)域的邊界處、并共同屬于所述規(guī)則部分的節(jié)點(diǎn)，以及不屬于所述規(guī)則部分的其它節(jié)點(diǎn)；所述斷裂線位于同屬于所述規(guī)則部分的、所述兩個(gè)子網(wǎng)格的各自節(jié)點(diǎn)之間。
運(yùn)動(dòng)參數(shù)進(jìn)一步包括用于指示分別分配給所述規(guī)則部分的節(jié)點(diǎn)和所述第二網(wǎng)格的每個(gè)子網(wǎng)格的其它節(jié)點(diǎn)的深度值的參數(shù)。
本發(fā)明還包括在運(yùn)動(dòng)解碼側(cè)實(shí)現(xiàn)、在視頻解碼器或者其它用于處理移動(dòng)圖像的裝置中執(zhí)行。
因此本發(fā)明提出了一種對(duì)移動(dòng)數(shù)字圖像序列進(jìn)行運(yùn)動(dòng)解碼的方法，所述方法利用包括由節(jié)點(diǎn)限定的網(wǎng)格單元的圖像網(wǎng)格來實(shí)現(xiàn)，包括以下步驟對(duì)于包括參考圖像的圖像組，接收包括例如上述定義的運(yùn)動(dòng)參數(shù)的輸入流；基于第一和第二運(yùn)動(dòng)參數(shù)生成所述第二網(wǎng)格；以及通過給所述第二網(wǎng)格的每個(gè)節(jié)點(diǎn)分配基于第三運(yùn)動(dòng)參數(shù)獲得的位移值，和給位于所檢測(cè)到的非連續(xù)域中的每個(gè)點(diǎn)分配位移值，生成圖像組中的位移域，其中所述位移值根據(jù)分配給用于限定所述第二網(wǎng)格的、所述點(diǎn)所屬的選中的網(wǎng)格單元的節(jié)點(diǎn)的值計(jì)算得到，所述選中的網(wǎng)格單元由所述點(diǎn)相對(duì)于在所述非連續(xù)域中確定的所述斷裂線的位置而被決定。
本發(fā)明的其它方面在于提供一種用于移動(dòng)數(shù)字圖像序列進(jìn)行運(yùn)動(dòng)解碼的裝置，包括適于實(shí)施如上述定義的方法的裝置；還提供了種安裝于用于處理移動(dòng)圖像的裝置的計(jì)算機(jī)程序，包括當(dāng)所述裝置的處理單元執(zhí)行程序時(shí)，用于實(shí)施權(quán)上的運(yùn)動(dòng)解碼方法的步驟的指令。
本發(fā)明進(jìn)一步提供了這樣一種視頻解碼器，其包括運(yùn)動(dòng)解碼裝置和運(yùn)動(dòng)合成裝置，所述視頻解碼器根據(jù)所述運(yùn)動(dòng)合成裝置生成的位移域，用于構(gòu)建運(yùn)動(dòng)數(shù)字圖像序列，所述運(yùn)動(dòng)解碼裝置被設(shè)置成根據(jù)上述的方法進(jìn)行操作。
結(jié)合附圖，本發(fā)明的其它特征和優(yōu)點(diǎn)將會(huì)在下文描述中出現(xiàn)，但不限于實(shí)施例。


圖1是圖像層次網(wǎng)格化的示意圖；圖2是網(wǎng)格單元倒置現(xiàn)象的示意圖；圖3是本發(fā)明運(yùn)動(dòng)估計(jì)方法的流程圖；圖4至圖7是本發(fā)明實(shí)施例使用的重置網(wǎng)格處理的示意圖；圖8是一旦非連續(xù)域已在最高等級(jí)確定后，非連續(xù)域在層次網(wǎng)格的較高等級(jí)的定義的示意圖；圖9a-d，10a-d，11a-d和12a-c是本發(fā)明實(shí)施例的較高等級(jí)層次網(wǎng)格中網(wǎng)格生成示意圖；圖13和14是本發(fā)明視頻編碼器和視頻解碼器的簡(jiǎn)單示意圖。
考慮數(shù)字圖像序列I(x，y，t)，其中x和y指圖像域內(nèi)像素的坐標(biāo)，t是離散時(shí)間，這里假定t隨序列的每一個(gè)新圖像增加1。與像素相關(guān)的I(x，y，t)值通常是亮度值。
運(yùn)動(dòng)估計(jì)包括對(duì)圖像I(x，y，t)中每個(gè)坐標(biāo)為(x，y)的點(diǎn)，生成位移向量D(x，y，t)＝(dx，dy)，從而可能從圖像I(x，y，t-1)構(gòu)造一個(gè)以移位的圖像I’(x，y，t)＝I(x-dx，y-dx，t-1)，該移位的圖像與I(x，y，t)非常近似。
計(jì)算是在估計(jì)范圍Ω內(nèi)執(zhí)行的，包括確定位移域D(x，y，t)，使得函數(shù)Φ(t)最小化Φ(t)=Σ(x,y)∈Ωρ(I(x-dx,y-dy,t-1),I(x,y,t))---(1)]]>其中，ρ(A，B)是度量，最通用的形式是ρ(A，B)＝(A-B)2。
圖像網(wǎng)格的使用有可能減少未知數(shù)目。僅搜尋位于網(wǎng)格節(jié)點(diǎn)i的點(diǎn)的位移向量D(xi[t]，yi[t]，t)。而遠(yuǎn)離這些節(jié)點(diǎn)時(shí)，位移域D(x，y，t)是插值的，例如根據(jù)仿射過程D(x,y,t)=Σiwi(x,y,t)D(xi[t],yj[t],t)---(2)]]>其中權(quán)重wi(x，y，t)表示點(diǎn)(x，y)的坐標(biāo)，點(diǎn)(x，y)相對(duì)于在時(shí)間t圖像中節(jié)點(diǎn)i的位置而被表述。
傳統(tǒng)的網(wǎng)格是三角形的網(wǎng)格，其中認(rèn)為每個(gè)點(diǎn)(x，y)屬于一個(gè)三角形，這個(gè)三角形頂點(diǎn)是網(wǎng)格的節(jié)點(diǎn)i，j，k，并在時(shí)間t時(shí)各自的坐標(biāo)為(xi[t]，yi[t])，(xj[t]，yj[t])和(xk[t]，yk[t])。在時(shí)間t點(diǎn)(x，y)的插值權(quán)重是三角形重心坐標(biāo)，為Wi(x，y，t)＝0如果i’≠i，j，k(3)Wi(x,y,t)=xj[t]yk[t]-xk[t]yj[t]+(yj[t]-yk[t])x-(xj[t]-xk[t])yπi,j,k(t)---(4)]]>Wj(x,y,t)=xk[t]yj[t]-xi[t]yk[t]+(yk[t]-yi[t])x-(xk[t]-xi[t])yπi,j,k(t)---(5)]]>Wk(x,y,t)=xi[t]yj[t]-xj[t]yi[t]+(yi[t]-yj[t])x-(xi[t]-xj[t])yπi,j,k(t)---(6)]]>其中，πi，j，k[t]＝xj[t]yk[t]-xk[t]yj[t]+xk[t]yi[t]-xi[t]yk[t]+xi[t]yj[t]-xj[t]yi[t]是在時(shí)間t的三角形向量乘積。
計(jì)算是基于一組連續(xù)圖像序列進(jìn)行的，一般以約十個(gè)圖像順序進(jìn)行。網(wǎng)格定義在組的第一個(gè)圖像(t＝0)上，通常是等邊三角形網(wǎng)格。通過最小化函數(shù)Φ(1)，來估計(jì)位移向量D(xi[1]，yi[1]，1)，例如應(yīng)用高斯-賽德爾迭代方法梯度下降過程或類似類型。通過公式(xi[1]，yi[1])＝(xi
，yi
)+D(xi[1]，yi[1]，1)推導(dǎo)在時(shí)間1的網(wǎng)格節(jié)點(diǎn)i的位置。重復(fù)該過程，直到該組最后一個(gè)圖像(t＝2，3，4，等)通過最小化函數(shù)Φ(t)，估計(jì)位移向量D(xi[t]，yi[t])，t)，然后計(jì)算在時(shí)間t網(wǎng)格節(jié)點(diǎn)的位置(xi[t]，yi[t])＝(xi[t-1]，yi[t-1])+D(xi[t]，yi[t]，t)借助分層次的網(wǎng)格有利地執(zhí)行運(yùn)動(dòng)估計(jì)，從而以本質(zhì)上為公知的方式確保系統(tǒng)具有更好的收斂性。需要某些高等級(jí)的網(wǎng)格用于如實(shí)地表示圖像內(nèi)的運(yùn)動(dòng)。但在強(qiáng)烈運(yùn)動(dòng)情況下，如果直接應(yīng)用到高等級(jí)的網(wǎng)格，則先前的最小化技術(shù)有可能是不收斂的。而且，使用非常高等級(jí)的網(wǎng)格會(huì)導(dǎo)致系統(tǒng)不穩(wěn)定，這是因?yàn)樾枰^于太多的參數(shù)。
圖1顯示了示例性的分層次網(wǎng)格。層次表現(xiàn)包括幾個(gè)表現(xiàn)等級(jí)。最低等級(jí)30(圖中為等級(jí)0)具有粗糙的域，只有三個(gè)節(jié)點(diǎn)來定義網(wǎng)格。沿著更高的等級(jí)32、33和35，域逐漸變得越來越密集，并且網(wǎng)格節(jié)點(diǎn)的數(shù)目增加。運(yùn)動(dòng)質(zhì)量隨著等級(jí)變化，低等級(jí)30表示場(chǎng)景的主要運(yùn)動(dòng)，高等級(jí)細(xì)化了該主要運(yùn)動(dòng)以表示局部運(yùn)動(dòng)。層次網(wǎng)格的等級(jí)數(shù)目是估計(jì)階段可調(diào)的參數(shù)，其根據(jù)待估計(jì)的序列變化。
在通過層次網(wǎng)格進(jìn)行運(yùn)動(dòng)估計(jì)的技術(shù)中，在圖像上產(chǎn)生層次網(wǎng)格的幾個(gè)等級(jí)，從最低等級(jí)30開始進(jìn)行運(yùn)動(dòng)估計(jì)，然后轉(zhuǎn)到接下來的等級(jí)，基于在先等級(jí)上估計(jì)的位移值中推導(dǎo)的節(jié)點(diǎn)位移值，開始梯度下降兩個(gè)等級(jí)所共有的節(jié)點(diǎn)接收與剛被估計(jì)的向量相同的初始位移向量，并且在較高等級(jí)增加的節(jié)點(diǎn)接收通過空間內(nèi)插計(jì)算得到的初始位移向量。在迭代的最后，將最高的等級(jí)估計(jì)的位移向量進(jìn)行量化，并將其傳送至解碼器。
通過層次網(wǎng)格進(jìn)行運(yùn)動(dòng)估計(jì)的技術(shù)與多分辨率估計(jì)技術(shù)相結(jié)合，其中一個(gè)技術(shù)對(duì)基于起始圖像構(gòu)建的、經(jīng)過過濾和分樣的圖像層起作用。然后，在以合適分辨率等級(jí)取樣的圖像基礎(chǔ)上執(zhí)行層次網(wǎng)格等級(jí)的運(yùn)動(dòng)估計(jì)。
基于網(wǎng)格的運(yùn)動(dòng)估計(jì)技術(shù)的普遍問題是網(wǎng)格單元倒置。這個(gè)問題如圖2所示的，其中我們看到在兩個(gè)連續(xù)時(shí)刻上的圖像網(wǎng)格(圖左邊部分)，即，在形成初步三角形網(wǎng)格的頂點(diǎn)的節(jié)點(diǎn)i，j，k處，在這兩個(gè)時(shí)刻之間估計(jì)的示例性的位移向量。這個(gè)三角形倒置是由節(jié)點(diǎn)k從經(jīng)過節(jié)點(diǎn)i和j的直線的一側(cè)移動(dòng)到另一側(cè)引起的。
通常，三角形i，j，k的倒置相應(yīng)于向量乘積πi，j，k[t]符號(hào)的改變。這種非自然信號(hào)大大地干擾了運(yùn)動(dòng)估計(jì)。它們通常是由于拍攝場(chǎng)景中的各種平面上的目標(biāo)的相對(duì)運(yùn)動(dòng)產(chǎn)生的。由于單一的三角形倒置(經(jīng)過零面積三角形)，圖2的圖示非常簡(jiǎn)單，在實(shí)際應(yīng)用時(shí)，重疊通常出現(xiàn)在非連續(xù)區(qū)域，該區(qū)域在圖像中有一定程度的擴(kuò)張。
對(duì)于層次網(wǎng)格，較高等級(jí)比低等級(jí)必然更有可能產(chǎn)生網(wǎng)格單元倒置。
為了處理網(wǎng)格單元倒置問題，本發(fā)明對(duì)非連續(xù)域加標(biāo)簽，以及對(duì)它們包含的斷裂線加標(biāo)簽。借助于多個(gè)子網(wǎng)格，在非連續(xù)域?qū)D像重新劃分網(wǎng)格，并將其鎖定到斷裂線任一側(cè)的初始網(wǎng)格。在非連續(xù)域生成的多個(gè)子網(wǎng)格延伸至斷裂線外，這樣它們相互重疊。這些子網(wǎng)格甚至可以在非連續(xù)域向外伸出。借助于內(nèi)插公式如公式(2)，為了估計(jì)位于非連續(xù)域圖像點(diǎn)的位移，參考一個(gè)子網(wǎng)格中的節(jié)點(diǎn)，作為點(diǎn)相對(duì)于斷裂線的位置的函數(shù)而對(duì)其進(jìn)行選擇。因此，子網(wǎng)格有可能解決圖像序列中存在的各種平面的問題，它們的使用依賴于目標(biāo)在場(chǎng)景中出現(xiàn)或消失。
本發(fā)明能管理運(yùn)動(dòng)非連續(xù)域，不會(huì)使這些域有缺陷或者在編碼的時(shí)候丟棄它們。當(dāng)檢測(cè)到有重疊或者暴露時(shí)，其原理是局部切斷僅產(chǎn)生非連續(xù)的網(wǎng)格，并改變網(wǎng)格成所謂的“非流形(non-manifold)”網(wǎng)格。非流行網(wǎng)格是一種它的邊能被兩個(gè)以上的網(wǎng)格單元共享的網(wǎng)格。其使得有可能在視頻序列中進(jìn)行運(yùn)動(dòng)估計(jì)，以及對(duì)非連續(xù)運(yùn)動(dòng)域進(jìn)行建模。優(yōu)點(diǎn)是因此有可能在編碼時(shí)以與連續(xù)域相同的方式考慮非連續(xù)域。
圖3顯示了本發(fā)明運(yùn)動(dòng)估計(jì)方法的流程圖。
第一步驟9包括在待編碼視頻序列的圖像上定義初始網(wǎng)格。然后在步驟10，對(duì)一組(T)連續(xù)圖像中的運(yùn)動(dòng)域執(zhí)行估計(jì)。借助優(yōu)先地分層次的網(wǎng)格，可以采用現(xiàn)有的方式執(zhí)行這種估計(jì)，例如根據(jù)上述解釋的過程。在這種計(jì)算過程中，一些三角形網(wǎng)格單元可能大大地倒置或者變形。
因此，該方法包括步驟11用于檢測(cè)初始網(wǎng)格的非連續(xù)域。
每個(gè)非連續(xù)域包括在最高的層次等級(jí)定義的一組鄰近的、降級(jí)的(degenerate)網(wǎng)格單元。它們至少包括在運(yùn)動(dòng)估計(jì)10過程中倒置的三角形。這些三角形根據(jù)向量乘積πi，j，k[t]容易檢定，該向量乘積根據(jù)最高的層次等級(jí)的網(wǎng)格的各種三角形和在連續(xù)時(shí)刻t＝0，1，2，...，T-1，T在步驟10中已計(jì)算出(待最小化的函數(shù)中位移內(nèi)插)得到。這些三角形能夠在向量乘積πi，j，k[t]都是正的情況下初始定向。然后，通過負(fù)的向量乘積顯示網(wǎng)格單元倒置。概括來說，檢測(cè)包括在非連續(xù)域內(nèi)面積(等于向量乘積πi，j，k[t]的絕對(duì)值得一半)接近于零的三角形網(wǎng)格單元i，j，k，即對(duì)于至少一個(gè)時(shí)刻t，面積小于預(yù)先定義的閾值。
檢測(cè)降級(jí)的三角形(包括在非連續(xù)域)更加普遍地包括對(duì)在時(shí)間0的圖像和時(shí)間T的圖像之間的三角形變形的研究。如果網(wǎng)格變形超過一定的閾值，認(rèn)為這個(gè)網(wǎng)格要降級(jí)。
一組鄰近的、降級(jí)的網(wǎng)格形成一個(gè)非連續(xù)域。在這個(gè)區(qū)域出現(xiàn)運(yùn)動(dòng)非連續(xù)。該區(qū)域是在最高的層次等級(jí)定義的，并且其構(gòu)成的三角形網(wǎng)格(或者界定該區(qū)域的節(jié)點(diǎn))形成傳送給解碼器的一部分參數(shù)。非連續(xù)域的等高線也能夠用樣條函數(shù)(spline)表示。
如果在步驟11中沒有檢測(cè)到非連續(xù)域(測(cè)試12)，運(yùn)動(dòng)估計(jì)方法在步驟20結(jié)束，其中將會(huì)被量化以傳送到視頻解碼器的運(yùn)動(dòng)參數(shù)被傳送。在這個(gè)情況下，這些參數(shù)在步驟10中獲得，并且這些參數(shù)增加了指示，用于發(fā)出沒有檢測(cè)到非連續(xù)域(連續(xù)運(yùn)動(dòng))的信號(hào)。
如果在一組圖像中檢測(cè)到一個(gè)或多個(gè)非連續(xù)域，首先確定每個(gè)檢測(cè)到的非連續(xù)域中的斷裂線(步驟13)。
斷裂線定位于在上述區(qū)域產(chǎn)生非連續(xù)的目標(biāo)的等高線上。在下文中，將會(huì)詳細(xì)描述非連續(xù)域中的單個(gè)斷裂線的情況?？捎^察到，處理過程概括來說就是一個(gè)域或者相同域中的幾條斷裂線。
將目標(biāo)的等高線進(jìn)行定向，以定義出內(nèi)部區(qū)域(前景區(qū)域)和外部區(qū)域(背景區(qū)域)。步驟13中在本質(zhì)上為公知的處理可應(yīng)用于尋找等高線。如果已經(jīng)存在用于分割圖像序列的蒙板(mask)，則基于這些蒙板得到等高線。但是，對(duì)于大多數(shù)序列，不存在分割蒙板。
在這種情況下，圖像能通過“平均移動(dòng)”技術(shù)，例如通過林科曼修(Dorin Comaniciu)和皮特米爾(Peter Meer)在論文“平均移動(dòng)面向特征空間分析的加強(qiáng)方法”(模式分析和機(jī)械智能IEEE會(huì)報(bào)，24卷第5期2002年5月第603頁至第619頁)中描述的技術(shù)來預(yù)先分割。因此，膨脹和形態(tài)學(xué)侵蝕的連續(xù)性有可能消除小分割域。目標(biāo)的等高線最終從分割的圖像中得到。
檢測(cè)凸點(diǎn)技術(shù)也能應(yīng)用在步驟13中。凸點(diǎn)主要位于目標(biāo)的等高線上。凸點(diǎn)列沒有定義完整的等高線，增加一個(gè)基于這些點(diǎn)的鏈接改進(jìn)凸點(diǎn)步驟是合適的。圖像I的凸點(diǎn)相應(yīng)于圖像I中屬于高頻域的像素。為了檢測(cè)這些點(diǎn)，有可能使用小波原理。小波變化是對(duì)圖像多分辨率的表現(xiàn)，其有可能在各種分辨率1/2，1/4等處表述圖像。因此，在每個(gè)分辨率等級(jí)2j(j≤1)，小波變化以一組尺寸為2k+j*2l+j的圖像形式表示尺寸為n*m＝2k*2l(k，lZ)的圖像Im，即，低等級(jí)圖像A2j·Im；表示高的垂直頻率的圖像細(xì)節(jié)D12j·Im，即水平等高線；表示高的水平頻率的圖像細(xì)節(jié)D22j·Im，即垂直等高線；以及表示高對(duì)角線頻率的圖像細(xì)節(jié)D2j3Im，即轉(zhuǎn)角。
通過在每一個(gè)方向(A20·Im＝Im)中，以兩個(gè)因素中的一個(gè)進(jìn)行子采樣后進(jìn)行過濾，從A2j+1·Im獲得三個(gè)圖像細(xì)節(jié)中的每一個(gè)。為了檢測(cè)到圖像的凸點(diǎn)，首先使用小波基礎(chǔ)和最小分辨率等級(jí)2r(r＜＝-1)。一旦執(zhí)行了小波變化，三個(gè)圖像細(xì)節(jié)D2j1Im、D2j2Im和D2j3Im中的每一個(gè)穿程，以構(gòu)建小波系數(shù)樹。該樹是基于所謂“零樹”方法，在圖像編碼領(lǐng)域是公知的。這樣，有可能將尺寸為2k+r×2l+r的顯著圖放置于正確位置，顯著圖反映分辨率2r的每個(gè)小波系數(shù)的有效值。因此，有顯著特征的系數(shù)對(duì)應(yīng)顯示高頻率的Im域。特別地，在分辨率2r的有效模數(shù)的小波系數(shù)對(duì)應(yīng)沿著一個(gè)特定方向(水平、垂直或者傾斜的)的圖像A2r+1·Im的等高線。零樹方法顯示了每一個(gè)在分辨率為2r的小波系數(shù)在圖像Im中對(duì)應(yīng)尺寸為2-r×2-r的空間域?；跇?gòu)建的顯著圖，因此有可能從Im的2-r×2-r像素中選擇最代表這個(gè)域的像素。
一旦這些凸點(diǎn)在非連續(xù)域中已經(jīng)確定，將它們連接在一起，以形成斷裂線。為了這個(gè)目的，有可能使用公知的點(diǎn)連接、內(nèi)插或者多項(xiàng)式近似法(牛頓、樣條函數(shù)、Tchebicheff、最小平方等等)技術(shù)。
應(yīng)當(dāng)指出在步驟13中，斷裂線是在圖像組中每個(gè)圖像中確定的?？紤]到與解碼器進(jìn)行通信，這些斷裂線的位置是步驟13中傳送的運(yùn)動(dòng)參數(shù)的一部分。
該方法的步驟14中，步驟11中檢測(cè)到的非連續(xù)區(qū)形成對(duì)非流形的對(duì)象進(jìn)行的網(wǎng)格重置。在最高的層次等級(jí)首先執(zhí)行該網(wǎng)格重置。
圖4顯示了示例性的非連續(xù)空間域Z，在這是由初始三角形網(wǎng)格的8個(gè)鄰近網(wǎng)格單元組成。在圖像組的第一個(gè)圖像上進(jìn)行網(wǎng)格定義過程中，這個(gè)網(wǎng)格是等邊三角形構(gòu)建而來的。圖4顯示了一條定向斷裂線L，該斷裂線在步驟13中在空間域Z內(nèi)確定。
步驟14采用的新網(wǎng)格包括由初始網(wǎng)格屬于非連續(xù)域的三角形構(gòu)成的規(guī)則部分。在每個(gè)包括斷裂線L的非連續(xù)域Z，生成兩個(gè)沿著非連續(xù)域Z邊界線的屬于規(guī)則部分的子網(wǎng)格。每一個(gè)子網(wǎng)格分配給斷裂線的一側(cè)，并且該子網(wǎng)格包括初始網(wǎng)格的節(jié)點(diǎn)，這些節(jié)點(diǎn)位于沿著非連續(xù)域Z的邊界線的一邊。
因此，圖5和圖6中虛線三角形分別表現(xiàn)了在圖4中的非連續(xù)域中生成的兩個(gè)子網(wǎng)格。在本實(shí)施例中，圖4中表示為a、b、c、d、e和f的初始網(wǎng)格節(jié)點(diǎn)屬于圖5所示的“左”子網(wǎng)格(即隸屬于斷裂線L的左側(cè)初始網(wǎng)格，左側(cè)和右側(cè)是相對(duì)于為斷裂線L確定的方位而定義的)，并且圖4中表示為a、f、g、h、i和j的初始網(wǎng)格節(jié)點(diǎn)屬于圖6所示的“右”子網(wǎng)格。
兩個(gè)子網(wǎng)格共有一些作為非連續(xù)域的邊界的初始網(wǎng)格節(jié)點(diǎn)，在這為節(jié)點(diǎn)a和f。
圖5所示實(shí)施例中，左子網(wǎng)格包括8個(gè)新節(jié)點(diǎn)a’-h’，和16個(gè)新三角形(a，a’，h’)、(a，b，a’)、(b，b’，a’)、(b，c，b’)、(d，c’，b’)、(d，e，c’)、(e，d’，c’)、(e，f，d’)、(f，e’，d’)、(d’，e’，f’)、(c’，d’，f’)、(c’，f’，g’)、(b’，c’，g’)、(a’，b’，g’)和(a’，g’，h’)。
圖6所示實(shí)施例中，右子網(wǎng)格包括8個(gè)新節(jié)點(diǎn)a”-h”和16個(gè)新三角形(a，h”，a”)、(j，a，a”)、(i，j，a”)、(i，a”，b”)、(i，b”，c”)、(h，i，c”)、(h，c”，d”)、(g，h，d”)、(f，g，d”)、(f，d”，e”)、(c”，e”，d”)、(c”，f”，e”)、(b”，f”，c”)、(b”，g”，f”)、(a”，g”，b”)、和(a”，h”，g”)。
在新子網(wǎng)格中生成的其它節(jié)點(diǎn)在第一個(gè)圖像具有的位置與初始網(wǎng)格節(jié)點(diǎn)的位置相同。在圖5和圖6中這些節(jié)點(diǎn)被偏移以方便理解附圖。
在非連續(xù)線L穿過的非連續(xù)域Z的邊界上的節(jié)點(diǎn)是邊界節(jié)點(diǎn)，其僅隨初始網(wǎng)格移動(dòng)。這些邊界節(jié)點(diǎn)為以下三種類型
左邊界節(jié)點(diǎn)，僅作為左子網(wǎng)格的基礎(chǔ)，在圖4-6中為節(jié)點(diǎn)b、c、d和e；右邊界節(jié)點(diǎn)，僅作為右子網(wǎng)格的基礎(chǔ)，在圖4-6中為節(jié)點(diǎn)g、h、i和j；以及共享邊界節(jié)點(diǎn)，作為兩個(gè)子網(wǎng)格的基礎(chǔ)，在圖4-6中為節(jié)點(diǎn)a和f。
當(dāng)斷裂線L穿過至少一個(gè)邊界節(jié)點(diǎn)作為頂點(diǎn)的三角形時(shí)，根據(jù)其位置相對(duì)于定向線的關(guān)系，將這些節(jié)點(diǎn)識(shí)別為左邊界或右邊界節(jié)點(diǎn)。對(duì)于斷裂線在其終止的三角形，例如有可能將位于斷裂線L穿過的邊緣上的節(jié)點(diǎn)識(shí)別為左邊界節(jié)點(diǎn)和右邊界節(jié)點(diǎn)，并將第三個(gè)節(jié)點(diǎn)識(shí)別為共享邊界節(jié)點(diǎn)(如圖4-6所示)。另一種可能性是通過外插值的方法延長(zhǎng)斷裂線，直到斷裂線碰到三角形的邊緣，以及將位于該邊緣的節(jié)點(diǎn)識(shí)別為共享邊界節(jié)點(diǎn)，而根據(jù)其位置相對(duì)于定向線的關(guān)系將第三節(jié)點(diǎn)識(shí)別為左邊界或者右邊界節(jié)點(diǎn)。
為了考慮視頻序列中可能產(chǎn)生的暴露，新網(wǎng)格單元延伸超過非連續(xù)域Z，如圖5和6所示。規(guī)則部分的網(wǎng)格單元和子網(wǎng)格的網(wǎng)格單元重疊。
為了避免在重構(gòu)圖像過程中的沖突，在節(jié)點(diǎn)使用z型緩沖器產(chǎn)生的z字形(z-order)處理，z型緩沖器的使用在三維圖象合成技術(shù)領(lǐng)域中是眾所周知的。通過給每個(gè)子網(wǎng)格的一些新節(jié)點(diǎn)分配深度值z(mì)，分配給這個(gè)子網(wǎng)格正值或負(fù)值，來完成對(duì)在這里使用的非流行網(wǎng)格的適應(yīng)處理。
預(yù)留的初始網(wǎng)格節(jié)點(diǎn)深度值z(mì)＝0。通常值z(mì)＞0對(duì)應(yīng)于在前景中的目標(biāo)，以及值z(mì)＜0對(duì)應(yīng)于在背景中的目標(biāo)。z的符號(hào)是根據(jù)斷裂線L的方位給定的。根據(jù)斷裂線L的方向，來定位等高線對(duì)應(yīng)于斷裂線的前景目標(biāo)(例如，當(dāng)目標(biāo)沿?cái)嗔丫€方向移動(dòng)時(shí)，定位在斷裂線右邊)。因此，在圖4-7的情況下，圖7中陰影部分屬于斷裂線L構(gòu)成其等高線的目標(biāo)。
上述節(jié)點(diǎn)的值z(mì)使通過內(nèi)插技術(shù)(例如仿射)來計(jì)算網(wǎng)格單元每個(gè)點(diǎn)的z值成為可能。在通過幾個(gè)網(wǎng)格重構(gòu)的點(diǎn)的重構(gòu)過程中，計(jì)算這個(gè)點(diǎn)在其它不同的網(wǎng)格單元處的z值，并且比較這些值，這樣保留具有最大z值的網(wǎng)格單元。這樣有可能對(duì)于前景(相對(duì)于背景)中的目標(biāo)是有利的。
當(dāng)在非連續(xù)域出現(xiàn)幾條斷裂線時(shí)，在序列圖像的相應(yīng)部分有兩個(gè)以上平面。檢測(cè)斷裂線有可能定位各種平面，并為這些平面分配不同的z值。然后上述過程使得選擇相關(guān)網(wǎng)格單元用以重構(gòu)圖像的每個(gè)點(diǎn)成為可能。選定節(jié)點(diǎn)z值，以最好地構(gòu)建采用了網(wǎng)格單元的圖像。借助于迭代條件模式(ICM)選擇算法進(jìn)行定位，以將初始圖像和重構(gòu)圖像之間的均方誤差最小化。當(dāng)非連續(xù)域有幾條斷裂線時(shí)，確定用于相應(yīng)子網(wǎng)格的z值形成了待傳送給解碼器的運(yùn)動(dòng)參數(shù)的一部分。
一旦以最高的等級(jí)重構(gòu)網(wǎng)格，斷裂線L表示的非連續(xù)沿著較高等級(jí)返回，直到在一定等級(jí)消失。只要在網(wǎng)格等級(jí)存在非連續(xù)，在該等級(jí)定義的非連續(xù)域進(jìn)行重構(gòu)網(wǎng)格，目的在于重構(gòu)低等級(jí)網(wǎng)格來維護(hù)網(wǎng)格層次。
非連續(xù)域通過層次返回包括兩步驟確定每個(gè)等級(jí)的非連續(xù)域，以及確定在域邊界節(jié)點(diǎn)上實(shí)施的約束條件。使nivFin成為網(wǎng)格最高的等級(jí)，在該等級(jí)上初始地重構(gòu)網(wǎng)格。對(duì)于小于或等于nivFin的等級(jí)n，如果檢測(cè)到非連續(xù)域，通過等級(jí)為n的閉合區(qū)域的網(wǎng)格單元的一組父網(wǎng)格定義等級(jí)為n-1的非連續(xù)域，如圖8所示。
兩個(gè)子網(wǎng)格共享的邊界節(jié)點(diǎn)的約束條件通過層次返回，例如根據(jù)以下算法。對(duì)于構(gòu)成等級(jí)為n的共享邊界節(jié)點(diǎn)的節(jié)點(diǎn)m，如果m在等級(jí)n-1有一父節(jié)點(diǎn)p，p成為等級(jí)n-1共享邊界節(jié)點(diǎn)；否則，令A(yù)作為邊界，斷裂線L穿過該邊界穿進(jìn)等級(jí)n-1的三角形，網(wǎng)格節(jié)點(diǎn)q位于該邊界的對(duì)面。斷裂線L人為地伸長(zhǎng)到節(jié)點(diǎn)q，這個(gè)節(jié)點(diǎn)變成等級(jí)n-1的共享邊界節(jié)點(diǎn)。
建立低于已重構(gòu)網(wǎng)格的等級(jí)n的層次等級(jí)n-1的新網(wǎng)格有三種類型1.圖9a-d斷裂線L完全穿過網(wǎng)格ABC，該網(wǎng)格ABC屬于等級(jí)n-1非連續(xù)域；右邊的邊界節(jié)點(diǎn)為C和B，在等級(jí)n-1生成新節(jié)點(diǎn)A’。等級(jí)n-1的新網(wǎng)格A’BC具有作為子網(wǎng)格的、等級(jí)為n的網(wǎng)格A’E’D’、E’CF、D’FB和E’D’F，其中F是邊線B-C的中心，以及D’和E’為通過以等級(jí)n重新構(gòu)建右邊的網(wǎng)格而生成的節(jié)點(diǎn)。網(wǎng)格A’E’D’屬于等級(jí)n，盡管該網(wǎng)格不是在以等級(jí)n重構(gòu)網(wǎng)格過程中生成的，但該網(wǎng)格一定是在較高等級(jí)n-1時(shí)生成。同樣地，對(duì)于對(duì)折的左邊，邊界節(jié)點(diǎn)是A，通過在等級(jí)n-1進(jìn)行網(wǎng)格重構(gòu)產(chǎn)生節(jié)點(diǎn)B’、C’和F’。等級(jí)為n-1的新網(wǎng)格單元A B’C’具有作為子網(wǎng)格單元的、等級(jí)為n的AED、EC’F’、EDF’和DF’B’，其中D和F各自為邊線A-B和A-C的中心。
2、圖10a-d斷裂線L穿過屬于等級(jí)為n-1的、非連續(xù)域的網(wǎng)格單元ABC，在節(jié)點(diǎn)C終止。
本情況與情況1相似，不同點(diǎn)在于節(jié)點(diǎn)C成為共享邊界節(jié)點(diǎn)。在右邊進(jìn)行等級(jí)n-1的網(wǎng)格重構(gòu)，C和B(例如)是邊界節(jié)點(diǎn)，且產(chǎn)生節(jié)點(diǎn)A’。等級(jí)為n-1的新網(wǎng)格單元A’BC具有作為子網(wǎng)格單元的、等級(jí)為n的網(wǎng)格單元A’E’D’、E’CF、D’FB和E’D’F，包括在以等級(jí)n重新構(gòu)建網(wǎng)格時(shí)增加的網(wǎng)格單元A’E’D’。對(duì)于對(duì)折是左邊，C和A是邊界節(jié)點(diǎn)，并且產(chǎn)生節(jié)點(diǎn)B’。等級(jí)為n-1的新網(wǎng)格單元AB’C具有作為子網(wǎng)格單元的、等級(jí)為n的網(wǎng)格單元AED、ECF’、EF’D和DF’B。
3、圖11a-d斷裂線L沒有完全穿過等級(jí)為n-1的網(wǎng)格單元ABC。
在等級(jí)n，斷裂線人為地延伸到與邊緣E-F相對(duì)的節(jié)點(diǎn)C(斷裂線在進(jìn)入網(wǎng)格單元時(shí)穿過邊緣E-F)，因此回到圖10a-d的情況；或者延伸到與進(jìn)入邊緣相反的邊緣(圖11a所示E-F)。然后E和F是等級(jí)n的共享邊界節(jié)點(diǎn)。當(dāng)考慮較高的網(wǎng)格層次等級(jí)時(shí)，斷裂線延伸向節(jié)點(diǎn)或者邊線(與剛從較高等級(jí)n所示的情況相似)。在圖11d中，等高線已被延伸至節(jié)點(diǎn)C。為了重新構(gòu)建右邊網(wǎng)格，C和B是邊界節(jié)點(diǎn)，以及產(chǎn)生節(jié)點(diǎn)A’。等級(jí)為n-1的網(wǎng)格單元AB’C具有作為子網(wǎng)格的、等級(jí)為n的網(wǎng)格A’ED’、ED’F、EFC和D’FB。網(wǎng)格單元A’ED’屬于等級(jí)n，即使該網(wǎng)格單元不是在以等級(jí)n重新構(gòu)建網(wǎng)格時(shí)產(chǎn)生的，但是該網(wǎng)格單元一定是在較高等級(jí)n-1時(shí)產(chǎn)生。對(duì)于重新構(gòu)建左邊網(wǎng)格，C和A是邊界節(jié)點(diǎn)，并且建立節(jié)點(diǎn)B’。等級(jí)為n-1的網(wǎng)格ACB’具有作為子網(wǎng)格的、等級(jí)為n的網(wǎng)格AED、ECF、EDF和DFB’。應(yīng)當(dāng)注意在本例中，網(wǎng)格單元A’BC和ACB’共享等級(jí)為n的網(wǎng)格ECF。
當(dāng)斷裂線完全包括在網(wǎng)格單元中時(shí)，在較高的等級(jí)該斷裂線消失。在當(dāng)前等級(jí)采用的用于創(chuàng)建新網(wǎng)格的新節(jié)點(diǎn)是由較高的等級(jí)的父網(wǎng)格的重心坐標(biāo)定義的。因此，這些節(jié)點(diǎn)將會(huì)具有受到較高的等級(jí)的網(wǎng)格節(jié)點(diǎn)影響的全局運(yùn)動(dòng)。
圖12a-c顯示了斷裂線消失的情況。在等級(jí)n，斷裂線延伸至節(jié)點(diǎn)B和C，因此，該斷裂線成為共享邊界節(jié)點(diǎn)。對(duì)于右邊重新構(gòu)建網(wǎng)格引入節(jié)點(diǎn)E’和D’，對(duì)于頂部引入節(jié)點(diǎn)F’。在等級(jí)n-1，等高線完全包括在網(wǎng)格單元ABC中。對(duì)于右邊，引入節(jié)點(diǎn)A’來形成網(wǎng)格單元A’BC。對(duì)于左邊，不引入節(jié)點(diǎn)，重新構(gòu)建網(wǎng)格產(chǎn)生初始網(wǎng)格單元ABC。網(wǎng)格單元A’BC限于隨初始網(wǎng)格單元ABC移動(dòng)，以使得等級(jí)n-1的點(diǎn)A和A’實(shí)際上相同。在等級(jí)n，存在點(diǎn)A’并由等級(jí)為n-1的網(wǎng)格ABC的重心坐標(biāo)定義。
重新構(gòu)建網(wǎng)格的過程與幾何多重網(wǎng)格(geometric multi-grid)方法相似，有時(shí)用于運(yùn)動(dòng)估計(jì)，以獲得連續(xù)層次等級(jí)節(jié)點(diǎn)之間的加權(quán)，以防止較低網(wǎng)格的變形。在本例中，節(jié)點(diǎn)加權(quán)能夠通過以下獲得(1)如果高等級(jí)節(jié)點(diǎn)是低等級(jí)節(jié)點(diǎn)的直接子節(jié)點(diǎn)，加權(quán)為1；(2)如果高等級(jí)節(jié)點(diǎn)是從幾個(gè)低節(jié)點(diǎn)中產(chǎn)生，加權(quán)對(duì)應(yīng)于高等級(jí)節(jié)點(diǎn)相對(duì)低等級(jí)節(jié)點(diǎn)的重心加權(quán)平均值。
一旦在所有層次等級(jí)完成了新網(wǎng)格，步驟15中對(duì)一組圖像重新估計(jì)運(yùn)動(dòng)。該重新估計(jì)能和在步驟10中那樣執(zhí)行，例如借助于上述公式(1)-(6)，并預(yù)防由新網(wǎng)格的一些三角形重構(gòu)的像素。由于新網(wǎng)格的一些三角形網(wǎng)格單元重疊，因此存在不定性。
為了解決非連續(xù)域中的不定性，在每個(gè)時(shí)間t定義顯示蒙板(visibilitymask)。在前面說明的實(shí)施例中，這個(gè)蒙板對(duì)應(yīng)于圖7陰影部分。其是t時(shí)刻由位于非連續(xù)域內(nèi)(即不屬于在新網(wǎng)格中重新使用的初始網(wǎng)格的網(wǎng)格單元)，并位于例如在t時(shí)刻確定的、定向的斷裂線L的右邊的點(diǎn)構(gòu)成。非連續(xù)域內(nèi)的點(diǎn)能夠由右邊子網(wǎng)格三角形來重構(gòu)，或者左邊子網(wǎng)格三角形來重構(gòu)。對(duì)這樣的點(diǎn)，如果點(diǎn)屬于蒙板，則在應(yīng)用公式(3)-(5)中采用的三角形i、j和k是右邊子網(wǎng)格的三角形，否則是左邊子網(wǎng)格的三角形。
由于子網(wǎng)格過多，因此在非連續(xù)域外的一些點(diǎn)也存在不定性。為了解決不定性，使用先前指示的值z(mì)，以確定溢出非連續(xù)域的子網(wǎng)格是位于前景還是背景中。因此，對(duì)于位于非連續(xù)域外但屬于子網(wǎng)格三角形的點(diǎn)，我們計(jì)算與包括該點(diǎn)的網(wǎng)格的每個(gè)三角形有關(guān)的z值，以及選擇應(yīng)用公式(3)-(5)給定的最大z值。
為了提高步驟15中最小化算法的收斂性問題，有可能在初始網(wǎng)格預(yù)留的節(jié)點(diǎn)，將位移向量初始化為在第一估計(jì)10中獲得的值，來進(jìn)行梯度下降。
在重新進(jìn)行運(yùn)動(dòng)估計(jì)15的過程中，可能會(huì)出現(xiàn)的情況是，在時(shí)刻t，在重新構(gòu)建網(wǎng)格的步驟14中增加的節(jié)點(diǎn)之一不會(huì)重新構(gòu)成圖像中的任一點(diǎn)。在這種情況下，最小化函數(shù)(1)不會(huì)給這個(gè)節(jié)點(diǎn)提供任何位移向量。然后通過對(duì)用于相同子網(wǎng)格的鄰近節(jié)點(diǎn)獲得的向量進(jìn)行內(nèi)插來產(chǎn)生位移向量。
最后，當(dāng)圖像組包括至少一個(gè)非連續(xù)域時(shí)，在步驟20傳送的運(yùn)動(dòng)參數(shù)包括(a)屬于非連續(xù)域的初始網(wǎng)格的網(wǎng)格單元的指示；(b)對(duì)于每一個(gè)非連續(xù)域，在圖像組中的每個(gè)圖像中的至少一條斷裂線的位置；(c)如果非連續(xù)域包括一條以上斷裂線，與在非連續(xù)域產(chǎn)生的各種子網(wǎng)格相關(guān)的、指定目標(biāo)的相對(duì)深度的z值指示；(d)步驟15計(jì)算的網(wǎng)格節(jié)點(diǎn)的位移向量。
如上所述的運(yùn)動(dòng)估計(jì)尤其可用于視頻編碼應(yīng)用中。圖13所示為實(shí)施本發(fā)明的解碼器的簡(jiǎn)單示意圖。這種編碼器對(duì)視頻流圖像數(shù)字序列(模塊36)進(jìn)行運(yùn)動(dòng)估計(jì)，并且另一方面根據(jù)視頻編碼領(lǐng)域已知的各種技術(shù)執(zhí)行紋理編碼(模塊37)。在本發(fā)明的編碼器中，模塊36根據(jù)參見圖3描述的方法進(jìn)行操作。在模塊39將運(yùn)動(dòng)參數(shù)和紋理編碼信息一起插入編碼器的數(shù)字輸出流之前，編碼器傳送的運(yùn)動(dòng)參數(shù)(a)-(d)形成模塊38編碼的對(duì)象。
攜帶有這種輸出流的信號(hào)在通信信道上被傳輸或者廣播。也能形成記錄介質(zhì)如光盤、磁帶等等上的記錄對(duì)象。
參見圖14，與這種編碼器相適應(yīng)的解碼器接收類似編碼器輸出流的輸入流，并將該流中運(yùn)動(dòng)參數(shù)和紋理參數(shù)分離(模塊40)。模塊41和42各自處理這些信息來解碼編碼視頻序列連續(xù)組圖像的運(yùn)動(dòng)和紋理。合成模塊43處理經(jīng)過解碼的運(yùn)動(dòng)和經(jīng)過解碼的紋理來重構(gòu)視頻圖像。
運(yùn)動(dòng)解碼模塊41進(jìn)行如下操作首先在序列中對(duì)一組圖像進(jìn)行精確定位，像傳統(tǒng)的解碼器那樣。基于按照慣例決定的初始網(wǎng)格，模塊41根據(jù)上述信息(a)確定非連續(xù)域。在此之后，根據(jù)它們位于一組圖像的第一幀圖像(b)中的位置，將斷裂線置于這些非連續(xù)域。然后，通過對(duì)非連續(xù)域重構(gòu)網(wǎng)格(根據(jù)參照?qǐng)D3-12先前描述的步驟14中執(zhí)行的處理)，模塊41重新產(chǎn)生非流行網(wǎng)格。分配給非流行網(wǎng)格節(jié)點(diǎn)的量化的位移向量顯示在編碼流中。為了確定在每個(gè)時(shí)刻t的圖像位移域，根據(jù)與先前描述的步驟15中編碼器使用的相同過程，以及根據(jù)點(diǎn)相對(duì)于斷裂線的位置(b)(如果該點(diǎn)位于非連續(xù)域)和根據(jù)指示深度(c)的z值，模塊41識(shí)別三角形網(wǎng)格單元來對(duì)每個(gè)點(diǎn)進(jìn)行位移向量合成。
根據(jù)圖13的編碼器或根據(jù)圖14的解碼器能夠以特定的電子電路方式實(shí)現(xiàn)。但是，它們經(jīng)常以軟件的形式來實(shí)現(xiàn)。然后，上述描述的方法步驟由視頻編碼或者解碼裝置的處理器執(zhí)行的程序指令來控制。編碼時(shí)，這個(gè)裝置例如能為計(jì)算機(jī)、攝像機(jī)、電視繼電器、記錄裝置等等。解碼時(shí)，這個(gè)裝置例如為計(jì)算機(jī)、記錄介質(zhì)閱讀器、電視信號(hào)接收器、圖像顯示器等等。
權(quán)利要求
1.一種對(duì)移動(dòng)數(shù)字圖像序列進(jìn)行運(yùn)動(dòng)估計(jì)的方法，包括生成要應(yīng)用于所述圖像序列中的參考圖像的第一網(wǎng)格，所述第一網(wǎng)格包括由節(jié)點(diǎn)限定的網(wǎng)格單元；通過為圖像的每個(gè)點(diǎn)分配位移值而估計(jì)包括所述參考圖像的圖像組中的第一位移域，所述位移值根據(jù)分配給所述第一網(wǎng)格的、用于限定所述點(diǎn)所屬的網(wǎng)格單元的節(jié)點(diǎn)的值計(jì)算得到；通過分析所述第一位移域，檢測(cè)所述第一網(wǎng)格中的至少一個(gè)非連續(xù)域，每個(gè)所述非連續(xù)域包括滿足所述圖像組中的網(wǎng)格單元變形準(zhǔn)則的至少一個(gè)網(wǎng)格單元；在檢測(cè)到的每個(gè)非連續(xù)域中，確定在所述圖像組中出現(xiàn)的至少一條斷裂線；生成要應(yīng)用于所述參考圖像的第二網(wǎng)格，所述第二網(wǎng)格包括由所述第一網(wǎng)格的、不屬于非連續(xù)域的網(wǎng)格單元構(gòu)成規(guī)則部分，以及對(duì)于檢測(cè)到的至少一個(gè)非連續(xù)域包括至少兩個(gè)子網(wǎng)格；所述的至少兩個(gè)子網(wǎng)格在包括從所述非連續(xù)域確定的所述斷裂線的區(qū)域中重疊；所述至少兩個(gè)子網(wǎng)格中的每一個(gè)包括各自的網(wǎng)格單元，所述網(wǎng)格單元由包括以下節(jié)點(diǎn)的節(jié)點(diǎn)來限定，即，位于所述非連續(xù)域的邊界處、并共同屬于所述規(guī)則部分的節(jié)點(diǎn)，以及不屬于所述規(guī)則部分的其它節(jié)點(diǎn)；所述斷裂線位于同屬于所述規(guī)則部分的、所述兩個(gè)子網(wǎng)格的各自節(jié)點(diǎn)之間；以及通過給位于所檢測(cè)到的非連續(xù)域的每個(gè)點(diǎn)分配位移值，估計(jì)所述圖像組中的第二位移域；其中所述位移值根據(jù)分配給用于限定所述第二網(wǎng)格的、所述點(diǎn)所屬的選中的網(wǎng)格單元的節(jié)點(diǎn)的值計(jì)算得到，所述選中的網(wǎng)格單元由所述點(diǎn)相對(duì)于在所述非連續(xù)域中確定的所述斷裂線的位置而被決定。
2.根據(jù)權(quán)利要求1所述的方法，其中所述非連續(xù)域由所述斷裂線分成分別與所述兩個(gè)子網(wǎng)格關(guān)聯(lián)的兩部分，且對(duì)于位于所述非連續(xù)域并屬于多個(gè)網(wǎng)格單元的點(diǎn)，選擇與所述非連續(xù)域的、具有所述點(diǎn)的一部分相關(guān)聯(lián)的子網(wǎng)格的網(wǎng)格單元。
3.根據(jù)權(quán)利要求1或2所述的方法，其中所述第一網(wǎng)格和第二網(wǎng)格為分層次的網(wǎng)格，從網(wǎng)格最低的層次等級(jí)至最高的層次等級(jí)進(jìn)行位移域估計(jì)；其中所述非連續(xù)域被檢測(cè)為一組最高的層次等級(jí)的、滿足所述網(wǎng)格單元的變形準(zhǔn)則的相鄰的網(wǎng)格單元；以及所述非連續(xù)域在較高的層次等級(jí)被定義為由至少一個(gè)網(wǎng)格單元構(gòu)成，該至少一個(gè)網(wǎng)格單元包括至少一個(gè)最高層次等級(jí)的、滿足所述網(wǎng)格單元變形準(zhǔn)則的網(wǎng)格單元。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，從最高的層次等級(jí)nivFin開始生成所述第二網(wǎng)格的所述兩個(gè)子網(wǎng)格，在其之后，在層次的漸次反退過程中生成較高等級(jí)的網(wǎng)格單元，對(duì)于每個(gè)子網(wǎng)格和1＜n≤nivFin，從層次等級(jí)n至與其緊鄰的較高層次等級(jí)n-1的反退過程包括以下步驟a將以等級(jí)n在先定義的所述子網(wǎng)格的每個(gè)網(wǎng)格單元與以等級(jí)n-1生成的所述子網(wǎng)格的新網(wǎng)格單元相結(jié)合；b取n’＝n；c如果不能用已以等級(jí)n’生成的所述子網(wǎng)格的網(wǎng)格單元來實(shí)現(xiàn)等級(jí)為n’-1的所述新網(wǎng)格單元，則生成所述子網(wǎng)格的等級(jí)為n’的至少一個(gè)新網(wǎng)格單元來完成等級(jí)為n’-1的所述新網(wǎng)格單元；以及d如果n’＜nivFin，n’以單位1進(jìn)行增加，并且從步驟c重復(fù)執(zhí)行。
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其中，為所述規(guī)則部分的節(jié)點(diǎn)，以及所述第二網(wǎng)格的每個(gè)子網(wǎng)格的其它節(jié)點(diǎn)分配各自的深度值；被分配給為檢測(cè)到的非連續(xù)域而生成的子網(wǎng)格的其它節(jié)點(diǎn)的值，由所述子網(wǎng)格相對(duì)于在所述非連續(xù)域中確定的斷裂線的位置決定；以及估計(jì)所述第二位移域的步驟包括對(duì)于屬于所述第二網(wǎng)格的規(guī)則部分的網(wǎng)格單元和子網(wǎng)格的至少一個(gè)網(wǎng)格單元的各個(gè)圖像點(diǎn)，為包括所述點(diǎn)的每個(gè)網(wǎng)格單元計(jì)算深度值的加權(quán)和，該深度值分別分配給限定所述網(wǎng)格單元的節(jié)點(diǎn)；以及選擇所計(jì)算的加權(quán)和為最大的網(wǎng)格單元，用以給所述點(diǎn)分配位移值。
6.一種用于估計(jì)移動(dòng)數(shù)字圖像序列中的運(yùn)動(dòng)的裝置，包括適于實(shí)施權(quán)利要求1-5任一所述的方法的裝置(36)。
7.一種安裝于用于處理移動(dòng)圖像的裝置的計(jì)算機(jī)程序，包括用于當(dāng)所述裝置的處理單元執(zhí)行程序時(shí)，實(shí)施權(quán)利要求1-5任一所述的運(yùn)動(dòng)估計(jì)方法的步驟的指令。
8.一種視頻編碼器，包括用于估計(jì)移動(dòng)數(shù)字圖像序列中的運(yùn)動(dòng)的裝置(36)，以及用于構(gòu)建包括所述運(yùn)動(dòng)估計(jì)的裝置生成的運(yùn)動(dòng)參數(shù)的輸出流的裝置(38-39)，其中用于進(jìn)行運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)被設(shè)置成根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法來進(jìn)行操作。
9.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，包括在所述輸出流中的所述運(yùn)動(dòng)參數(shù)包括用于指示構(gòu)成每個(gè)檢測(cè)到的非連續(xù)域的所述第一網(wǎng)格的網(wǎng)格單元的參數(shù)；在每個(gè)檢測(cè)到的非連續(xù)域中確定的斷裂線的位置參數(shù)；以及用于描述分配給所述第二網(wǎng)格的節(jié)點(diǎn)的位移值的參數(shù)，所述位移值在對(duì)所述第二位移域的估計(jì)中獲得。
10.根據(jù)權(quán)利要求9所述的視頻編碼器，其中，包括在所述輸出流中的所述運(yùn)動(dòng)參數(shù)進(jìn)一步包括用于指示分別分配給所述規(guī)則部分的節(jié)點(diǎn)和所述運(yùn)動(dòng)估計(jì)裝置生成的第二網(wǎng)格的每個(gè)子網(wǎng)格的其它節(jié)點(diǎn)的深度值的參數(shù)。
11.表示移動(dòng)數(shù)字圖像序列的信號(hào)，包括運(yùn)動(dòng)參數(shù)，所述運(yùn)動(dòng)參數(shù)對(duì)于包括參考圖像的圖像組包括第一運(yùn)動(dòng)參數(shù)，用于在將應(yīng)用到所述參考圖像的第一網(wǎng)格中，指示構(gòu)成圖像組中的至少一個(gè)非連續(xù)域的網(wǎng)格單元；第二運(yùn)動(dòng)參數(shù)，用于在每個(gè)非連續(xù)域定位至少一條斷裂線；以及第三運(yùn)動(dòng)參數(shù)，用于描述分配給第二網(wǎng)格的將應(yīng)用于所述參考圖像的節(jié)點(diǎn)的位移值；所述第二網(wǎng)格包括由所述第一網(wǎng)格的不屬于非連續(xù)域的網(wǎng)格單元構(gòu)成的規(guī)則部分，以及對(duì)于檢測(cè)到的至少一個(gè)非連續(xù)域包括至少兩個(gè)子網(wǎng)格；所述的至少兩個(gè)子網(wǎng)格在包括從所述非連續(xù)域確定的所述斷裂線的區(qū)域中重疊；所述至少兩個(gè)子網(wǎng)格中的每一個(gè)包括各自的網(wǎng)格單元，所述網(wǎng)格單元由包括以下節(jié)點(diǎn)的節(jié)點(diǎn)來限定，即，位于所述非連續(xù)域的邊界處、并共同屬于所述規(guī)則部分的節(jié)點(diǎn)，以及不屬于所述規(guī)則部分的其它節(jié)點(diǎn)；所述斷裂線位于同屬于所述規(guī)則部分的、所述兩個(gè)子網(wǎng)格的各自節(jié)點(diǎn)之間。
12.根據(jù)權(quán)利要求11所述的信號(hào)，其中所述運(yùn)動(dòng)參數(shù)進(jìn)一步包括用于指示分別分配給所述規(guī)則部分的節(jié)點(diǎn)和所述第二網(wǎng)格的每個(gè)子網(wǎng)格的其它節(jié)點(diǎn)的深度值的參數(shù)。
13.一種記錄介質(zhì)，其中在該記錄介質(zhì)上錄有如權(quán)利要求11或12所述的信號(hào)。
14.一種對(duì)移動(dòng)數(shù)字圖像序列進(jìn)行運(yùn)動(dòng)解碼的方法，所述方法利用包括由節(jié)點(diǎn)限定的網(wǎng)格單元的圖像網(wǎng)格來實(shí)現(xiàn)，包括以下步驟對(duì)于包括參考圖像的圖像組，接收包括運(yùn)動(dòng)參數(shù)的輸入流；所述運(yùn)動(dòng)參數(shù)包括第一運(yùn)動(dòng)參數(shù)，用于在將應(yīng)用到所述參考圖像的第一網(wǎng)格中，指示構(gòu)成圖像組中的至少一個(gè)非連續(xù)域的網(wǎng)格單元；第二運(yùn)動(dòng)參數(shù)，用于在每個(gè)非連續(xù)域定位至少一條斷裂線；以及第三運(yùn)動(dòng)參數(shù)，用于描述分配給第二網(wǎng)格的將應(yīng)用于所述參考圖像的節(jié)點(diǎn)的位移值；所述第二網(wǎng)格包括由所述第一網(wǎng)格的不屬于非連續(xù)域的網(wǎng)格單元構(gòu)成的規(guī)則部分，以及對(duì)于檢測(cè)到的至少一個(gè)非連續(xù)域包括至少兩個(gè)子網(wǎng)格；所述的至少兩個(gè)子網(wǎng)格在包括從所述非連續(xù)域確定的所述斷裂線的區(qū)域中重疊；所述至少兩個(gè)子網(wǎng)格中的每一個(gè)包括各自的網(wǎng)格單元，所述網(wǎng)格單元由包括以下節(jié)點(diǎn)的節(jié)點(diǎn)來限定，即，位于所述非連續(xù)域的邊界處、并共同屬于所述規(guī)則部分的節(jié)點(diǎn)，以及不屬于所述規(guī)則部分的其它節(jié)點(diǎn)；所述斷裂線位于同屬于所述規(guī)則部分的、所述兩個(gè)子網(wǎng)格的各自節(jié)點(diǎn)之間；基于第一和第二運(yùn)動(dòng)參數(shù)生成所述第二網(wǎng)格；以及通過給所述第二網(wǎng)格的每個(gè)節(jié)點(diǎn)分配基于第三運(yùn)動(dòng)參數(shù)獲得的位移值，和給位于所檢測(cè)到的非連續(xù)域中的每個(gè)點(diǎn)分配位移值，生成圖像組中的位移域，其中所述位移值根據(jù)分配給用于限定所述第二網(wǎng)格的、所述點(diǎn)所屬的選中的網(wǎng)格單元的節(jié)點(diǎn)的值計(jì)算得到，所述選中的網(wǎng)格單元由所述點(diǎn)相對(duì)于在所述非連續(xù)域中確定的所述斷裂線的位置而被決定。
15.根據(jù)權(quán)利要求14所述的方法，其中所述非連續(xù)域由所述斷裂線分成分別與所述兩個(gè)子網(wǎng)格關(guān)聯(lián)的兩部分，且對(duì)于位于所述非連續(xù)域并屬于多個(gè)網(wǎng)格單元的點(diǎn)，選擇與所述非連續(xù)域的、具有所述點(diǎn)的一部分相關(guān)聯(lián)的子網(wǎng)格的網(wǎng)格單元。
16.根據(jù)權(quán)利要求14或15所述的方法，其中所述輸入流中的所述運(yùn)動(dòng)參數(shù)進(jìn)一步包括為所述規(guī)則部分的節(jié)點(diǎn)，以及所述第二網(wǎng)格的每個(gè)子網(wǎng)格的其它節(jié)點(diǎn)分配各自的深度值；被分配給子網(wǎng)格中對(duì)應(yīng)于非連續(xù)域的其它節(jié)點(diǎn)的值，由所述子網(wǎng)格相對(duì)于在所述非連續(xù)域中確定的斷裂線的位置決定；以及生成所述位移域的步驟包括對(duì)于屬于所述第二網(wǎng)格的規(guī)則部分的網(wǎng)格單元和子網(wǎng)格的至少一個(gè)網(wǎng)格單元的各個(gè)圖像點(diǎn)，為包括所述點(diǎn)的每個(gè)網(wǎng)格單元計(jì)算深度值的加權(quán)和，該深度值分別分配給限定所述網(wǎng)格單元的節(jié)點(diǎn)；以及選擇所計(jì)算的加權(quán)和為最大的網(wǎng)格單元，用以給所述點(diǎn)分配位移值。
17.一種用于對(duì)移動(dòng)數(shù)字圖像序列進(jìn)行運(yùn)動(dòng)解碼的裝置，包括適于實(shí)施如權(quán)利要求14-16所述方法的裝置(41)。
18.一種安裝于用于處理移動(dòng)圖像的裝置的計(jì)算機(jī)程序，包括當(dāng)所述裝置的處理單元執(zhí)行程序時(shí)，用于實(shí)施權(quán)利要求14-16任一所述的運(yùn)動(dòng)解碼方法的步驟的指令。
19.一種視頻解碼器，包括運(yùn)動(dòng)解碼裝置(41)和運(yùn)動(dòng)合成裝置(43)，所述視頻解碼器根據(jù)所述運(yùn)動(dòng)合成裝置生成的位移域，用于構(gòu)建運(yùn)動(dòng)數(shù)字圖像序列，所述運(yùn)動(dòng)解碼裝置被設(shè)置成根據(jù)權(quán)利要求14-16中任意一項(xiàng)所述的方法進(jìn)行操作。
全文摘要
本發(fā)明涉及一種圖像運(yùn)動(dòng)域分析的方法，使用第一網(wǎng)格估計(jì)，檢測(cè)第一網(wǎng)格中缺陷域，以及在所述域安置一條斷裂線，然后生成第二網(wǎng)格，其包括非缺陷的部分和兩個(gè)子網(wǎng)格，該非缺陷的部分由在缺陷部分之外的第一網(wǎng)格的網(wǎng)格單元組成，而兩個(gè)子網(wǎng)格在包括斷裂線的區(qū)域重疊。每個(gè)子網(wǎng)格包括各自的網(wǎng)格單元，該網(wǎng)格單元由節(jié)點(diǎn)限定，這些位于缺陷區(qū)邊界的節(jié)點(diǎn)包括與非缺陷的區(qū)共享的節(jié)點(diǎn)，和不屬于非缺陷的區(qū)的其它節(jié)點(diǎn)，斷裂線位于共享非缺陷的區(qū)的兩個(gè)子網(wǎng)格的各自節(jié)點(diǎn)之間。所述第二網(wǎng)格用來估計(jì)所涉及的圖像組運(yùn)動(dòng)域。
文檔編號(hào)G06T15/40GK101036390SQ200580031076
公開日2007年9月12日 申請(qǐng)日期2005年9月6日 優(yōu)先權(quán)日2004年9月15日
發(fā)明者納塔莉·卡馬, 斯特凡娜·帕特克斯, 納塔莉·洛朗-沙特內(nèi) 申請(qǐng)人:法國(guó)電信公司