專利名稱：運動估計的方法
技術領域：
本發(fā)明涉及在視頻編碼中的運動補償和分段的運動估計的使用，具體來說涉及使用位平面編碼的運動圖象的運動估計、運動補償和分段。
背景技術：
運動數(shù)字圖象的壓縮，例如視頻圖象的壓縮，在圖象將被傳送時是成為最受關注的一個領域。這是由于大量信息與運動圖象的單個圖象或幀有關，且受到傳送信息的信道帶寬的限制。因此，當所用信道的容量小于運動圖象被傳送所要求的傳送運動圖象的容量時，將需要某種類型的壓縮。
幸好有許多與運動圖象有關的冗余度，無論在單個幀內的空間冗余度，或者在運動圖象的鄰幀之間的時間冗余度。這些冗余度的利用將導致信息的減小，因此將要求一個低的比特速率。技術狀態(tài)基于分段，即一個運動圖象的幀的分段之目標，其中段邊界跟隨有意義目標的邊緣，以及基于這樣一個分段的運動估計是為了利用運動圖象中鄰幀的冗余度有效地進行運動補償?shù)难芯恐幸粋€常用技術。
這樣的方法從下列參考文獻獲知(A)M.Bober and J.Kittler，“General motion estimation andsegmentation”，Proceedings of Conferenee on pattern recognition andimage analysis，PP.1-10，Valencia 1992.
(B)M.Bober and J.Kittler，“Estimation and segmentation ofcomplex motion for image coding，”Proceedings of Picture codingsymposium，PP.1-2Lauganne，1993.
這一技術現(xiàn)有方法的一個最主要缺點是與運動參數(shù)和段形狀有關的信息需要被編碼和傳送。這導致特別是當非常低的比特速率可獲得時可能要求50％可用帶寬那么多的一個位流。
使用位平面編碼的壓縮圖象，特別是壓縮運動圖象的方法，在我們的瑞典專利申請No.9502557-3、9503735-4和9503736-2中已作了描述。
發(fā)明概述本發(fā)明的目的是提供一種方法和裝置，通過基于分段和運動估計的目標提供當傳送數(shù)字運動圖象時可以減小所必需的比特速率的一種運動補償，而不必傳送段的形狀和運動參數(shù)，從而大大減小所用信道的所要求容量。
這一目的用位平面編碼技術來實現(xiàn)，使用基于不同位平面、位平面挨著位平面的分段和運動估計的一個增量目標，其中運動估計在每個被傳送的位平面之后被更新和改進。由于進行圖象的分段，因而段邊界跟隨在圖象內的目標的邊界，即在每個被傳送的位平面之后基于分段的目標也被更新和改進。
傳送位平面編碼運動圖象的方法可以被分成下列子步驟1.圖象例如運動圖象的一個幀的最高有效位平面被按照某種適當?shù)木幋a算法編碼，可能不使用任何分段或運動補償，然后該位平面被所指定的接收機接收和譯碼。編碼最高有效位平面所使用的方法可以是任何適當?shù)乃惴ǎ绨凑丈厦嫣岬降娜鸬鋵＠暾圢o.9502557-3、9503735-4和9503736-2中所述的任何一種算法的方法。
2.根據(jù)由這個最高有效位平面所提供的信息，無論編碼器或者譯碼器，即傳輸系統(tǒng)的發(fā)送部分和接收部分以這樣的方式執(zhí)行分段，以致使所獲得的段相應于圖象內的目標，即基于分段的目標，以及基于這個分段的運動估計。
3.其后，緊挨著最高有效位平面的位平面采用在步驟2中所執(zhí)行的基于運動估計的運動補償在信道內被編碼和傳送。緊挨著最高有效位平面的位平面則被接收機譯碼。
4.根據(jù)在發(fā)射機和接收機中目前已有的信息，即圖象的最高有效位平面和緊挨著最高有效位平面的位平面，一個新的和被改進的分段以及一個新的和被改進的運動估計被執(zhí)行。
5.然后對較低的有效位平面重復步驟3和4，以便將它們的有效位平面次序降低到將被傳送的最低有效位平面。附圖簡介本發(fā)明下面將通過一個詳細的實施例并參照下列附圖來加以說明

圖1是說明位平面編碼技術的示意圖。
圖2是說明每個象素有8位的一個位平面編碼數(shù)字圖象的示意圖。
圖3是說明一個實施例的不同部分的示意圖。
優(yōu)選實施例敘述圖1示出一個具有m×n象素的數(shù)字圖象。每個象素由k位組成，例如象在下面例子中的8位。位被如此排列，以使每個象素的最高有效位代表第一個(最高有效)位平面。每個象素的緊接著最高有效位的位代表第二個(次于最高有效)位平面，如此直到每個象素的最低有效位，它構成最后一個最低有效位平面。
圖2示出一個數(shù)字圖象，它已按照參考圖1所述的方法進行位平面編碼，由m×n象素組成，或者每個象素由8位組成，它們已被排列成8個位平面，從最高有效位平面7到最低有效位平面0。
在圖3中示出傳輸系統(tǒng)的各個部分。最高有效位平面，即已在方塊23中被位平面編碼(BPC-Bit piane coded)的圖2中的平面7，則可能被編碼器7按照某種適當?shù)募夹g例如利用一種熵代碼進行壓縮和編碼，可是在壓縮中毋需使用任何分段或運動補償。用于編碼最高有效位平面的方法可以是任何適當?shù)乃惴ǎo損方法如行程編碼以及有損方法，其可以或不可以包括運動補償和分段的使用。
用于編碼最高有效位平面的方法被對這個位平面的單獨編碼最佳化。在接收機上最高有效位平面的正確譯碼所需的所有參數(shù)必須被傳送。
平面7然后由信道3上的發(fā)射機1發(fā)送，并由接收機5接收，接收機具有與發(fā)射機相應的裝置以便在譯碼器9中精確地譯碼所接收的位平面。該位平面由接收機5譯碼，從而發(fā)射機1和接收機5都具有至最高有效位平面(圖2的平面7)的入口。
根據(jù)由這個位平面(圖2的平面7)所提供的信息，發(fā)射機1的編碼器7和接收機5的譯碼器9都按照相同的算法完成基于圖2的平面7的分段算法和運動估計的一個目標，因而，編碼器7和譯碼器9都執(zhí)行相同的運動估計和分段，即發(fā)射機1和接收機5將具有當前幀的位平面的相同分段。分段分別在方塊11和13中執(zhí)行，運動估計分別在方塊15和17中執(zhí)行。
執(zhí)行運動估計和分段的任何適當?shù)乃惴梢员皇褂?。這包括作為一特殊情況的方法，其中預定義方塊結構被用于分段，并且僅執(zhí)行運動估計。因此，在采用基于分段的目標的情況下，前面談到在(A)和(B)中所述的方法也可以被使用。在采用定義方塊結構的情況下，在A.N.Netravali和B.G.Haskell的“Digital pietures(數(shù)字圖象)”，第二版，Plenum press 1995，P.340中所述的字塊匹配法(block matchingmethod)可以被采用，該法在ITU-T建議H261，日內瓦，1990年8月中也被采用和描述。
發(fā)射機1的編碼器7執(zhí)行分段的時間是不重要的，即在編碼器7中分段可以預先被執(zhí)行，以減小傳輸期間編碼器上的計算負擔，只要它使用在接收機5的譯碼器9上可獲得的相同信息，因而對系統(tǒng)兩端相同的位平面和幀完成相同的分段。
在系統(tǒng)的兩端上，即在發(fā)射機1的編碼器7上和在接收機5的譯碼器9上，運動估計然后被執(zhí)行，其采用基于分段的目標。運動估計按照某些適當?shù)囊阎椒ū粓?zhí)行，編碼器7和譯碼器9都使用相同的方法。
接著，攜載緊挨著象素或象元的最高有效位的位平面被傳送。為了減小傳送圖2的這個平面6所必須的位，根據(jù)在圖2的平面7上所執(zhí)行的分段和運動估計在方塊19中完成運動補償。所采用的運動補償方法可以是任何適當?shù)姆椒?。圖2的平面6然后在信道了上被傳送，并由接收機5接收以及由接收機的譯碼器9譯碼。
編碼器7和譯碼器9然后執(zhí)行基于圖象或幀的分段的一個增量和改進的目標，基于改進的分段的一個增量和改進的運動估計也被執(zhí)行。也就是說，一個新的基個分段的目標和一個相應的運動補償由編碼器7和譯碼器9根據(jù)由圖2的位平面7和6所提供的信息被執(zhí)行。這個新的基于分段的目標和這個新的運動補償將更好，因為更多的信息可獲得。就第一個基于分段的目標和相應的運動估計來說，編碼器7何時執(zhí)行分段和運動估計是不重要的，只要所使用的唯一信息是來自圖2的平面7和6，因此在圖2的平面6傳送之后分段和運動估計在編碼器7中和在譯碼器9中是相同的。
較低的有效位平面，即圖2的平面5、4、3、2、1和0然后以減小有效位平面次序的方式被傳送。對于每個所傳送的平面，一個新的被改進的運動補償被執(zhí)行，以便減小傳送那個特定位平面所必須的位的數(shù)目，其中運動補償是根據(jù)以前所傳送的幀的位平面的基于分段的增量和改進的目標和相應的運動估計來進行。
這樣一來，當執(zhí)行較低有效位平面的分段和運動補償時將有更多的信息被采用。這是該方法的主要優(yōu)點，因為可以證明，較低的有效位平面與較高有效位平面相比由于在這些平面中冗余度較少而要求更高的比特速率。因此，對較低有效位平面用來自于當前幀的更多信息的更好的運動補償將大大減小與該處有關的比特速率。
如上所述的方法說明，所采用的編碼技術的壓縮方法是無損的，即所傳送的位平面可以被接收機5完全重建而沒有任何信息損失。
然而，該方法也可以與有損編碼技術一起使用。那么一定要確保所譯碼的被接收位平面與由編碼器7用于基于分段的目標和運動估計的位平面攜載相同的信息，因而基于分段的目標和運動估計在相同的位平面上被執(zhí)行。這可以如下來實現(xiàn)，即通過在發(fā)射機1的編碼器7中采用與譯碼器9使用的相同的過程或算法重建由譯碼器9所接收的位平面。這一重建在方塊21中被執(zhí)行。
因此，編碼器7和譯碼器9都將執(zhí)行編碼序列的相同處理，因而當執(zhí)行基于分段的目標和運動估計時，它們都將具有至相同信息的入口。
上述說明僅指被發(fā)送信號的亮度部分。在傳送彩色圖象情況下，必須傳送三種不同的信號分量，一個亮度信號和兩個彩色分量信號。這些信號中的每個信號則被表示為在位平面編碼(BPC)方塊23中編碼的一系列位平面。位平面的總數(shù)(N)則一般可以為24。
為了應用上述的增量運動估計的方法和分段的方法，位平面被按次序放置，即一系列數(shù)字與每個位平面相關。這在方塊25中實現(xiàn)。依照在方塊27中因而所建立的連續(xù)順序，亮度和彩色位平面可以被混合。
然后，增量運動估計和分段方法被應用于數(shù)字M(M≤N)的位平面，它按照在方塊27所建立的次序被認為是最高有效位平面，即例如給定最低次序數(shù)字的位平面，M一般可以是8。數(shù)字M可以由用戶預先確定或由傳輸系統(tǒng)自動設置。其余的位平面采用從M最高有效位平面得來的運動估計和分段參數(shù)被編碼。
具體來說，所建立的次序可以使M最高有效位平面是亮度位平面。彩色位平面則采用從亮度位平面獲得的運動估計和分段參數(shù)被編碼，同時彩色信號分量不被用作運動估計和分段。
此外，在方塊29中一個特定位平面的每個段可以按照成功/不成功運動補償來分類，即運動補償?shù)亩闻c正確的段相比較，按照某種算法或準則，獲得運動補償?shù)亩斡卸嗪玫墓懒俊Ｋ褂玫乃惴梢岳缡蔷秸`差(MSE)算法，其采集位平面的每個象素，然后在整個段上被累加。
由這個過程所獲得的值，然后可以與一個門限值相比較，以便確定運動補償是否成功。如果這個分類的結果是一個段被分為不成功一類，那么不使用運動補償。這樣的段將代之以按照利用特定段內的空間冗余度的某種編碼算法來編碼。
上述的方法使之有可能克服與采用基于運動估計和分段目標有關的大多數(shù)嚴重問題中一些問題。因而，當采用這里所述的方法時不需要傳送關于段形狀的運動參數(shù)和信息。
權利要求
1.從發(fā)射機至接收機傳送位平面編碼和可能被壓縮的運動圖象的方法，在該方法中運動圖象由經受運動估計的圖象或幀組成，其特征在于-圖象或幀的第一最高有效位平面被發(fā)射機傳送，-最高有效位平面被接收機接收，-分段和運動估計既在發(fā)射機中又在接收機中根據(jù)這個最高有效位平面被執(zhí)行，-幀或圖象的逐個位平面根據(jù)運動估計被分段和被運動補償，并被發(fā)射機傳送。
2.按照權利要求1的方法，其特征在于一個新的增量分段和一個新的增量運動估計在圖象或幀的每個逐個被傳送的位平面之后在發(fā)射機中和在接收機中被執(zhí)行，其中新的分段和新的運動估計僅用于圖象或幀的被傳送和以前被傳送的位平面。
3.按照權利要求2的方法，其特征在于每個新的增量分段和運動估計被用于幀或圖象的逐個位平面的編碼。
4.按照權利要求1-3中任一個的方法，在該方法中圖象是彩色圖象，其特征在于-彩色圖象的每個信號分量是被編碼的位平面，-每個位平面被給定一個相應于它的有效位的次序數(shù)字，-幀或圖象的位平面以相應于它們已被給定的次序數(shù)字的次序被傳送。
5.按照權利要求4的方法，其特征在于僅幀或圖象的第一個M(M是由用戶設置或在發(fā)射機和接收機中自動設置的一個正整數(shù))位平面被以這個方式傳送，其余的位平面按照從第一個M被傳送的位平面得來的參數(shù)被運動估計和被分段。
6.按照權利要求4-5中任一個的方法，其特征在于相應于圖象的亮度分量的位平面被當作最高有效位平面。
7.按照權利要求4-6中任一個的方法，其特征在于相應于彩色圖象的彩色分量的位平面不被用作增量分段和增量運動估計。
8.按照權利要求1-7中任一個的方法，其特征在于分段和運動估計既在發(fā)射機中又在接收機中按照相同的算法或過程被執(zhí)行。
9.按照權利要求1-8中任一個的方法，其特征在于發(fā)射機重建由接收機接收的位平面。
10.按照權利要求1-9中任一個的方法，其特征在于所使用的分段是基于分段的目標。
11.按照權利要求1-10中任一個的方法，其特征在于位平面的每個運動補償?shù)亩伪话凑找粋€成功/不成功過程分類，確定為不成功的運動補償?shù)亩尾槐贿\動補償，并代之以按照利用該段內的空間冗余度的某種算法被編碼。
12.傳送位平面被編碼和可能被壓縮的運動圖象的裝置，運動圖象由經受運動估計的圖象或幀組成，該裝置包括發(fā)射機和接收機，其特征在于-發(fā)射機被安排首先傳送幀的最高有效位平面，-接收機被安排接收最高有效位平面，-該裝置包括分段裝置和運動估計裝置，用于根據(jù)最高有效位平面既在發(fā)射機中又在接收機中執(zhí)行分段和運動估計，以及-發(fā)射機包括連接到運動估計裝置的裝置，用于執(zhí)行運動補償以傳送根據(jù)運動估計被分段和被運動補償?shù)膸驁D象的逐個位平面。
13.按照權利要求12的裝置，其特征在于在發(fā)射機中和在接收機中的分段和運動估計裝置被安排在圖象或幀的每個逐個被傳送的位平面之后完成一個新的增量分段和一個新的增量運動估計，該裝置僅使用來自圖象或幀的被傳送和以前傳送的位平面的信息。
14.按照權利要求13的裝置，其特征在于在發(fā)射機中連接到分段和運動補償裝置的裝置，用于采用基于新的增量運動估計的新的增量分段和運動補償對逐個位平面進行編碼。
15.按照權利要求12-14的任一個的裝置，在該裝置中圖象是彩色圖象，其特征在于包括-用于位平面編碼彩色圖象的每個信號分量的裝置，-在發(fā)射機中用于給每個位平面分配一個次序數(shù)字的裝置，該次序數(shù)字相應于位平面的有效位，以及-在發(fā)射機中用于以相應于幀或圖象的位平面已被給定的次序數(shù)字的一個次序傳送幀或圖象的位平面的裝置。
16.按照權利要求15的裝置，其特征在于傳輸裝置被安排以這個方式僅傳送幀或圖象的第一個M(M是由用戶設置或在發(fā)射機和接收機中自動設置的一個正整數(shù))位平面。
17.按照權利要求15-16中任一個的裝置，其特征在于分配裝置被安排以這樣的方式分配次序的數(shù)字，以使相應于彩色圖象的亮度分量的位平面被當作最高有效位平面。
18.按照權利要求15-17中任一個的裝置，其特征在于在發(fā)射機中的分段和運動估計裝置被安排用于確定相應于圖象的彩色分量的位平面不被用于分段和運動估計。
19.按照權利要求12-18中任一個的裝置，其特征在于既在發(fā)射機中又在接收機中執(zhí)行分段和運動估計的裝置被安排按照相同的算法或過程工作。
20.按照權利要求12-19中任一個的裝置，其特征在于在發(fā)射機中用于重建由接收機接收的位平面的裝置。
21.按照權利要求12-20中任一個的裝置，其特征在于在發(fā)射機和接收機中的分段裝置被安排用于完成基于分段的一個目標。
22.按照權利要求22-21中任一個的裝置，其特征在于-連接到運動補償裝置和不分段裝置的裝置用于按照成功/不成功過程將位平面的每個運動補償?shù)亩畏诸悾约?用于編碼運動補償?shù)亩蔚难b置，該段按照利用段內的空間冗余度的某個算法被確定為不成功。
全文摘要
在經受運動補償(19)和基于分段的目標的位平面編碼(23)的數(shù)字運動圖象的傳輸中,位平面以減小的有效位平面次序被傳送。一個增量運動估計(15,17)和分段(11,13)在發(fā)射機(1)和接收機(5)中在運動圖象的幀的每個被傳送位平面之后被執(zhí)行。由于必須被傳送的運動參數(shù)急劇減少,因此它的必須被傳送的信息,特別是分段信息,尤其在低傳輸速率情況下被大大減少。這個方法尤其十分適合于低速率傳輸系統(tǒng)例如公眾電話網中使用。
文檔編號H04N7/36GK1201577SQ9619814
公開日1998年12月9日 申請日期1996年10月31日 優(yōu)先權日1995年11月8日
發(fā)明者M·賈戴爾 申請人:艾利森電話股份有限公司