專利名稱：圖像編碼器、圖像解碼器以及圖像傳送系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像編碼器、圖像解碼器以及將可靠的幀間解碼與帶寬的充分利用結(jié)合起來的圖像傳送系統(tǒng)。
在例如通過通信網(wǎng)絡傳送數(shù)字化運動圖像的系統(tǒng)中，幀間編碼壓縮了數(shù)據(jù)。這種系統(tǒng)的實例包括視頻電話、電視會議和視頻點播(VOD)系統(tǒng)。運動圖像專家組(MPEG)和國際電信聯(lián)盟(ITU-T)的電信標準分則(例如在ITU-T建議H.261中)已經(jīng)制訂了幀間編碼的標準。
在這些以及其它類似的標準中，當傳送運動圖像中的幀序列時，某些幀被幀內(nèi)編碼，而其余的幀被幀間編碼。內(nèi)幀(intra-frame)又稱為I幀，其編碼是獨立的。間幀(inter-frame)又稱為預測幀或P幀，其編碼僅僅涉及間幀與參考幀之間的差別，所以與前面的參考幀相關。
幀間編碼可以極大地壓縮編碼數(shù)據(jù)量，但是存在一個問題。間幀只有在參考幀被順利解碼后才能解碼成功。如果參考幀在傳送途中丟失或損壞，或者由于網(wǎng)絡通信的變化莫測而使參考幀晚于間幀到達，則間幀就無法解碼。在H.261系統(tǒng)中，每幅間幀的編碼都借助于其最近的前一幀，因此即使有一幀解碼失敗也會使余下的解碼中斷直至接收到下一內(nèi)幀，并導致一大段圖像質(zhì)量的下降。
針對這個問題，本發(fā)明人提出了一種圖像傳送系統(tǒng)，其中由圖像解碼器通知圖像編碼器解碼成功的幀。通知采用從圖像解碼器向圖像編碼器傳送正負確認信號的方式。當接收到這樣的通知之后，圖像編碼器就能馬上停止采用圖像解碼器無法解碼的參考幀，從而避免出現(xiàn)一大段無法解碼的間幀序列。有關的信息可以參見美國專利申請No.08/710,405和歐洲專利申請No.96113836.9(EP 0 763 944A2)。
這種解決辦法明顯改善了在可靠性差的通信網(wǎng)絡和信道上傳送運動圖像的質(zhì)量，但是需要額外的帶寬來傳送確認信號。在總帶寬有限的傳送系統(tǒng)中，這種辦法帶來的后果是用于從圖像編碼器向圖像解碼器傳送編碼圖像數(shù)據(jù)的帶寬變窄，從而迫使圖像編碼器在降低的幀速率下工作。在其它傳送系統(tǒng)中，必須為傳送確認信號的帶寬支付額外的費用。
上述系統(tǒng)經(jīng)過改動，每幀被分解為兩個以上的塊，它們分別被編碼和解碼，而且對于每個塊都分別傳送確認信號。這樣的改動雖然提高了解碼成功率，但是也增加了傳送確認信號所需的帶寬。而且隨著確認信號傳送量的增大，確認信號本身在傳送過程中丟失或損壞的可能性也加大。
因此本發(fā)明的目標是壓縮在圖像系統(tǒng)中傳送確認信號所需的帶寬。
本發(fā)明的另一目標是提高確認信號的可靠性。
本發(fā)明還有一個目標是在可靠性與帶寬之間達到最佳平衡。
按照本發(fā)明，傳送系統(tǒng)從編碼器向解碼器傳送由一個以上的數(shù)據(jù)塊組成的幀并從解碼器向編碼器傳送指示塊被成功解碼的確認信號，解碼器將多個塊的解碼錯誤信息打包進每個確認信號。編碼器解包每個確認信號以獲取各塊的解碼錯誤信息，并在為幀間解碼而選定參考幀時采用該信息。
例如通過將相關塊的幀號和塊號放入確認信號，或者采用比特標志來指示發(fā)生解碼錯誤的塊可以將解碼錯誤信息打包入確認信號。
每個塊的解碼錯誤信息可以在兩個以上的確認信號內(nèi)重復傳送。在這種情況下，每個確認信號比較好的是載帶第一次傳送的新解碼錯誤信息與前面已經(jīng)傳送過的舊解碼錯誤信息的混合信息。利用例如多數(shù)表決規(guī)則或者將任一確認信號中出現(xiàn)解碼錯誤報告的塊視為未正確解碼的塊，編碼器可以解決從不同確認信號中接收到同一塊解碼錯誤信息的沖突問題。
每個塊解碼錯誤信息的發(fā)送次數(shù)比較好是在對確認信號傳送信道的質(zhì)量作出評價之后確定。這種評價可以在編碼器一側(cè)直接根據(jù)確認信號中信號誤碼出現(xiàn)頻率自動完成，也可以在解碼器一側(cè)間接地根據(jù)解碼錯誤出現(xiàn)的頻率自動完成。另外也可以在編碼器或解碼器一側(cè)依靠人工完成。如果評價是在編碼器處完成的，則編碼器向解碼器發(fā)送評價結(jié)果，或者向解碼器發(fā)送顯式指令以將每個塊的解碼錯誤信息重復一定的次數(shù)。
通過將多個塊的解碼錯誤信息打包入一個確認信號內(nèi)，本發(fā)明壓縮了傳送確認信號所需的帶寬。
即使在同一解碼錯誤信息在不同的確認信號內(nèi)重復時，確認信號所需的帶寬也得到了壓縮，此外解碼錯誤信息的可靠性也有所提高。
通過調(diào)整同一解碼錯誤信息出現(xiàn)的次數(shù)，本發(fā)明在可靠性與帶寬之間達到了最佳平衡。
在以下附圖中

圖1為按照本發(fā)明第一實施例的圖像編碼器的功能方框圖；圖2為按照本發(fā)明第一實施例的圖像解碼器的功能方框圖；圖3表示幀間編碼和解碼；圖4表示發(fā)生解碼錯誤時的幀間編碼和解碼；圖5為表示解碼錯誤信息打包入確認信號方法中的語法示意圖；圖6為表示另一種解碼錯誤信息打包入確認信號方法中的語法示意圖；圖7為表示解碼錯誤信息和所需參考幀打包入確認信號方法中的語法示意圖；圖8為表示另一種解碼錯誤信息和所需參考幀打包入確認信號方法中的語法示意圖；圖9為按照本發(fā)明第二實施例的圖像編碼器的功能方框圖；圖10為按照本發(fā)明第一實施例的圖像解碼器的功能方框圖；圖11為按照本發(fā)明第三實施例的圖像解碼器的功能方框圖；圖12為按照本發(fā)明第四實施例的圖像編碼器的功能方框圖；圖13為按照本發(fā)明第四實施例的圖像解碼器的功能方框圖。
以下借助附圖對本發(fā)明的實施例進行描述。
第一實施例參見圖1，第一實施例中的傳送裝置為運動圖像編碼器100，它包括運動圖像輸入單元101、編碼單元102、解碼單元103、幀存儲器單元104、參考幀存儲單元105、幀內(nèi)/幀間判斷單元106、編碼數(shù)據(jù)傳送單元107、確認信號接收單元108、參考幀更新單元109、確認信號解包單元110以及解碼錯誤存儲單元111。
運動圖像輸入單元101將運動圖像數(shù)據(jù)的連續(xù)幀從視頻攝像機輸入至編碼單元102。編碼單元102對輸入的幀數(shù)據(jù)進行編碼，并將編碼數(shù)據(jù)提供給解碼單元103和編碼數(shù)據(jù)傳送單元107。編碼單元102在幀內(nèi)/幀間判斷單元106的指示下完成幀內(nèi)編碼和幀間編碼。
每幀由一個或一個以上的塊組成；編碼單元102分別對每塊編碼。對于幀間編碼，編碼單元102借助參考幀存儲單元105內(nèi)存儲的參考幀數(shù)據(jù)，并且只對當前塊與參考幀內(nèi)相應塊之間的差異進行編碼。
解碼單元103對來自編碼單元102的編碼數(shù)據(jù)進行解碼，并將經(jīng)過解碼塊連同其塊號和幀號寫入幀存儲單元104。參考幀更新單元109將幀存儲單元104內(nèi)選定參考幀的塊復制入?yún)⒖紟鎯卧?05以供幀間編碼。
幀內(nèi)/幀間判斷單元106對每個塊選定是幀內(nèi)編碼還是幀間編碼，并通知編碼單元102、解碼單元103、編碼數(shù)據(jù)傳送單元107和選定的參考幀更新單元109。一般以固定的間隔(例如1次/30幀)選定幀內(nèi)編碼，而以其它的時間選定幀間編碼。但是幀內(nèi)/幀間判斷單元106可以接收更新信號(RFSH)以強迫選定幀內(nèi)編碼。
編碼數(shù)據(jù)傳送單元107通過傳送信道(未畫出)向運動圖像解碼器或者位于不同地點的多個運動圖像解碼器傳送編碼數(shù)據(jù)。傳送的數(shù)據(jù)包括幀內(nèi)/幀間標志指示幀內(nèi)或幀間編碼、幀間編碼的參考幀號以及其它所需的頭部信息。
確認信號接收單元108從運動圖像解碼器接收確認信號。每個確認信號包含多個塊的解碼錯誤信息。確認信號解包單元110解包確認信號以獲取指示運動圖像解碼器是否能對每個塊解碼的解碼錯誤信息，并將該信息寫入解碼錯誤存儲單元111。參考幀更新單元109根據(jù)存儲在解碼錯誤存儲單元111內(nèi)的信息選定參考幀。
參見圖2，第一實施例中的接收單元為運動圖像解碼器200，它包括編碼數(shù)據(jù)輸入單元201、參考幀比較單元202、參考幀更新單元203、參考幀存儲單元204、幀存儲單元205、解碼單元206、解碼錯誤存儲單元207、確認信號打包單元208、確認信號傳送單元209、運動圖像輸入單元210以及更新信號傳送單元211。
編碼數(shù)據(jù)輸入單元201接收運動圖像解碼器100傳送的編碼數(shù)據(jù)和標題信息，向解碼單元206提供編碼數(shù)據(jù)、幀內(nèi)/幀間標志和參考幀號，并向參考幀比較單元202提供參考幀號。
參考幀比較單元202將來自編碼數(shù)據(jù)輸入單元201的每個參考幀號與存儲在參考幀存儲單元204內(nèi)的參考幀號進行比較。如果接收到的參考幀號比存儲的參考幀號新，則參考幀比較單元202將接收的參考幀號傳送至參考幀更新單元203，在那里具有該幀號的一個或多個所需解碼數(shù)據(jù)塊從幀存儲單元205復制到參考幀存儲單元204。
解碼單元206在指示幀間編碼時，借助存儲在參考幀存儲單元204內(nèi)的數(shù)據(jù)每次解碼一塊編碼數(shù)據(jù)，并將解碼錯誤信息寫入解碼錯誤存儲單元207以指示每個塊的解碼是否成功。解碼成功的塊被存入幀存儲單元205，并被傳送至運動圖像輸出單元210以供輸出至監(jiān)視器裝置或其它類似裝置。
確認信號打包單元208從解碼錯誤存儲單元207讀取多個塊的解碼錯誤信息，并將該信息打包入一個確認信號內(nèi)。確認信號傳送單元209經(jīng)傳送信道(未畫出)向運動圖像編碼器100返回確認信號。更新信號傳送單元211從用戶控制輸入裝置212接收更新請求并向運動圖像編碼器100發(fā)送相應的更新(RFSH)信號。
以下描述第一實施例的操作過程。
圖3表示連續(xù)幀內(nèi)的一系列相應塊并示出了無解碼錯誤時的參考幀關系。打上影線的塊(a和i)被幀內(nèi)編碼和解碼。而其它的塊則被借助前面幀內(nèi)的相應塊完成幀間編碼和解碼。
圖4示出了由于例如傳送信道發(fā)生數(shù)據(jù)錯誤而引起塊e發(fā)生解碼錯誤時的同一操作過程。運動圖像編碼器100在確認信號中被通知發(fā)生了編碼錯誤，并用塊d代替塊e作為參考來編碼下一個塊(f)。這樣塊f和后續(xù)的塊得以成功地被解碼。
在這種基本設計框架范圍內(nèi)可以有許多改動。可以發(fā)送正的確認信號來報告塊被成功解碼的信息，或者發(fā)送負的確認信號來報告發(fā)生解碼錯誤的信息，或者也可以發(fā)送上述兩種類型的確認信號。在通信條件不佳的情況下，運動圖像解碼器200比較好的是發(fā)送正的確認信號，并且運動圖像編碼器100比較好的是只采用被正的確認信號予以確認的參考幀。在通信條件較佳的情況下，采用負的確認信號比較有利，運動圖像編碼器100自適應地采用前面的幀作為參考幀除非有負的確認信號返回，如發(fā)生此情況參考幀被置回成先前的幀。負的確認信號可以包括所需的參考幀號以供后續(xù)塊的編碼使用。
由于確認信號避免了無法解碼的塊被用作幀間編碼時的參考幀，所以在第一實施例中一般不會出現(xiàn)波及整段圖像質(zhì)量下降的情況，但是如果圖像質(zhì)量下降的情況有所延續(xù)(可能是由于確認信號中的錯誤)，則可以由位于圖像解碼器一端的操作者利用輸入裝置212請求一幅內(nèi)幀并由此使圖像質(zhì)量恢復到較好的水平。
以下描述幾種構(gòu)造確認信號的方法。在本實施例和下面的其它實施例中采用了其中的任意一種方法。
圖5示出了確認信號的語法結(jié)構(gòu)，它包括標題251、隨后指示確認塊數(shù)的塊數(shù)域252、確認塊的幀號253和塊號254以及最后面的檢錯碼255。如箭頭所示，當同一幀內(nèi)兩個或兩個以上的塊得到確認時，幀號只需給定一次。如果塊涉及兩幅以上的幀時，只是在幀改變時才給定幀號。幀號和塊號中應包括一個比特用來指示號碼所代表的是幀號還是塊號。
圖5所示確認信號的類型可以供正的確認信號采用，也可以供不帶所需參考幀號的負的確認信號采用。
圖6示出了確認信號的語法結(jié)構(gòu)，它包括頭部251、塊數(shù)域252、幀號253、起始塊號256、比特標志域257以及檢錯碼255。比特標志域257為一個比特串，它可以設定一個數(shù)值(例如‘1’)以表示成功解碼的信息，并可以設定為另一數(shù)值(例如‘0’)以表示解碼錯誤的信息。因此如果塊數(shù)域252定義了七個塊并且起始塊號為3的話，則比特標志域為‘1101011’報告的情況是塊號為3、4、6、8和9的塊被成功解碼，而塊號為5和7的塊發(fā)生了解碼錯誤。
如果一幀只有八個塊，則比特標志域‘1101011’中最后一位比特表示下一幀內(nèi)的第一塊被成功解碼。
圖7示出了被用來返回帶有所需參考幀號的的負確認信號的語法結(jié)構(gòu)。該確認信號與圖5所示的相似，但是每個塊號254后跟有所需的幀號，一般是被成功解碼的相應塊所屬的最近幀的幀號。
圖8示出了另一確認信號，它將所需的參考幀號加入圖6的比特標志上。對于指示解碼錯誤的每個比特標志都給定一個所需的參考幀號258。
在圖5、6、7和8中，確認信號內(nèi)的檢錯碼255由確認信號解包單元110校驗，從而使確認信號解包單元110能檢測出確認信號內(nèi)大部分的信號誤碼。根據(jù)檢錯碼的類型，確認信號解包單元110還可以糾正較小的誤碼，例如一個比特的誤碼。當確認信號解包單元110在確認信號中檢測出無法校正的誤碼時，在該確認信號中被確認的所有塊都被視為包含解碼錯誤。
當大量塊的解碼錯誤信息被打包入一個確認信號時，應采用較長的檢錯碼以提供強壯的誤碼保護。
在圖5、6、7和8中，通過傳送只有一個標題251和一個檢錯碼255的多個塊號并省略幀號達到了節(jié)省帶寬的目的。當每幀內(nèi)的每個塊都得到確認后，圖6和圖8中的確認信號利用比特標志進一步節(jié)省了帶寬。
在這種情況下，通過去除塊數(shù)域252并總是對確認信號內(nèi)固定數(shù)量的塊予以確認還可以進一步節(jié)省帶寬。通過將起始塊限制為例如0、5、10、15等并以序數(shù)(0、1、2、3等)對其進行編碼可以壓縮起始塊號256編碼所需的比特數(shù)。另外，通過采用每個確認信號來確認一幀內(nèi)所有的塊可以完全省去起始塊號258。
即使沒有這些進一步壓縮帶寬的措施，第一實施例節(jié)省的帶寬也相當可觀。例如本發(fā)明人對這樣一種系統(tǒng)進行了估計，該系統(tǒng)在24kb/秒的速率下每秒傳送10幀，每幀被劃分為9個塊。對于每個塊都傳送一個獨立的確認信號要求一個2160比特/秒的附加帶寬。將兩個塊的解碼錯誤信息打包入一個確認信號內(nèi)可以將其壓縮為1170比特/秒(54％)，而三個塊的解碼錯誤信息打包入一個確認信號內(nèi)可以將其壓縮為810比特/秒(38％)。
第二實施例第二實施例在多個確認信號中傳送每個塊的解碼錯誤信息。
圖9示出了第二實施例的運動圖像編碼器300的功能結(jié)構(gòu)，對于第一實施例中出現(xiàn)過的單元采用圖1中相同的標號101-111。由于這些單元與第一實施例中的相應單元相同，所以不再贅述。
圖9中新增加的單元是信號檢錯單元302和信號誤碼處理單元303。信號檢錯單元302接收從確認信號解包單元110提供的確認信號中解包出來的解碼錯誤信息，將該信息與存儲在解碼錯誤存儲單元111內(nèi)的解碼錯誤信息進行比較，并通知信號誤碼處理單元303比較的結(jié)果。信號誤碼處理單元303將解碼錯誤信息寫入解碼錯誤存儲單元111。
解碼錯誤存儲單元111與第一實施例中相應單元不同之處是它留有每塊解碼錯誤信息多個副本的存儲空間，從而使解碼錯誤存儲單元111在所到達的不同確認信號中存儲同一塊的信息。
圖10示出了第二實施例的運動圖像解碼器400的功能結(jié)構(gòu)，對于第一實施例中出現(xiàn)過的單元采用圖2中相同的標號201-207和209-212。并且不再贅述。
圖10中的固定冗余確認信號打包單元401除了將存儲在解碼錯誤存儲單元207內(nèi)的每條解碼錯誤信息打包入一定數(shù)量(大于1)的確認信號之外，其它地方與第一實施例中的確認信號打包單元208相似。每個確認信號包含第一次傳送的新的解碼錯誤信息和已經(jīng)被至少一個確認信號傳送過的舊的解碼錯誤信息。新的解碼錯誤信息與多個塊有關。舊的解碼錯誤信息一般與同樣數(shù)量或更多數(shù)量的塊有關。
以下借助實例來描述第二實施例新增加單元的操作，在該實例中每幀被劃分為九個塊，每個塊的解碼錯誤信息由三個確認信號利用比特標志傳送，而每個確認信號包含九個比特標志。
在這種情況下，固定冗余確認信號打包單元401將三個新的比特標志和六個舊的比特標志打包入每個確認信號。例如，如果某一幀恰好在第八塊內(nèi)發(fā)生解碼錯誤，而隨后的幀沒有解碼錯誤，則固定冗余確認信號打包單元401就將比特標志‘111111101’打包入一個確認信號，將比特標志‘111101111’打包入隨后的確認信號，而將比特標志‘101111111’打包入再后面的確認信號。比特標志‘111111101’從出現(xiàn)問題的幀的第一塊開始并指示該幀的第八塊出現(xiàn)解碼錯誤。比特標志‘111101111’從該幀的第四塊開始，并重復指示第八塊出現(xiàn)解碼錯誤而下一幀的前三個塊無解碼錯誤。比特標志‘101111111’從出現(xiàn)問題的幀的第七塊開始，并重復指示第八塊出現(xiàn)解碼錯誤而下一幀的前六個塊無解碼錯誤。
當包含給定幀內(nèi)給定塊的解碼錯誤信息的所有確認信號都被接收并解包之后，信號檢錯單元302將最晚接收到的解碼錯誤信息與存儲在解碼錯誤存儲單元內(nèi)早先接收到的信息進行比較。如果接收的所有信息都一致，則信號檢錯單元302通知信號誤碼處理單元303使信息定形并寫入解碼錯誤存儲單元111。解碼存儲單元111現(xiàn)在包含了塊的單獨指示(指示是否存在解碼錯誤)。
如果確認信號在傳送過程中丟失或者在傳送中檢測得到但無法解碼，則它的解碼錯誤信息不再存儲在解碼錯誤存儲單元111中。信號檢錯單元302和信號誤碼處理單元303忽略這樣的確認信號。
不同的確認信號可能會碰巧給出有關同一塊的相互矛盾的解碼錯誤信息。這可能發(fā)生于確認信號因傳送錯誤受到損壞而無法由檢錯碼255檢測出來時。為解決這個沖突，信號誤碼處理單元303遵循多數(shù)表決規(guī)則，當半數(shù)以上的相關確認信號報告該塊無解碼錯誤時才認為解碼成功。因此信號誤碼處理單元303在至少一半的確認信號報告有誤碼時才將其視為解碼錯誤。
信號誤碼處理單元303也可以遵循更為保守的規(guī)則，無論何時只要有一個確認信號報錯就將其視為解碼錯誤。如果遵循的是該規(guī)則，則對于不同確認信號中出現(xiàn)解碼錯誤信息沖突的所有情況都被視為指示了解碼錯誤。
由于有這些措施，即使確認信號偶爾在傳送過程中丟失或者在傳送過程中得到的是無法恢復的信號誤碼，運動圖像編碼器300通常也可以從其它到達的信號中原封不動地提取完整的編碼錯誤信息。只有當連續(xù)幾個確認信號丟失或損壞時才會丟失信息。
而且即使到達的確認信號中帶有無法檢測出來的信號誤碼并且給出的是某一塊誤碼的正確認信號，在大多數(shù)情況下信號檢錯單元302也能通過將其與其它確認信號中的解碼錯誤信息進行比較來識別并停止使用誤碼信息。
如果固定冗余確認信號打包單元401將所需的參考幀號打包入確認信號內(nèi)，則比較好的這些所需參考幀號只打包一次，例如打包在報告塊內(nèi)有解碼錯誤的第一次確認信號內(nèi)。其理由在于所需參考幀號比解碼錯誤信息本身的重要程度要小一些。
雖然第二實施例比第一實施例需要傳送更多的確認信號，或者在每個確認信號中需要確認更多的塊，但是確認信號傳送量仍然比普通系統(tǒng)對每個塊都分開傳送確認信號要少。因此在將多個塊的解碼錯誤信息打包入每個確認信號從而減少帶寬需求的情況下，通過重復傳送解碼錯誤信息可以提高系統(tǒng)的可靠性。
第三實施例第三實施例根據(jù)解碼錯誤發(fā)生率調(diào)整重復傳送解碼錯誤信息的次數(shù)。當運動圖像編碼器到運動圖像解碼器的信道質(zhì)量與運動圖像解碼器到運動圖像編碼器的信道質(zhì)量相關時第三實施例特別有用。
第三實施例中的運動圖像編碼器與圖9所示的第二實施例的運動圖像編碼器相同。
圖11示出了第三實施例的運動圖像解碼器400的功能結(jié)構(gòu)，它采用圖2中曾經(jīng)在第一實施例中出現(xiàn)過的標號為201-207和209-212的單元。對于這些單元此處不再贅述。
圖11中的冗余度確定單元501以一定的周期間隔讀取存儲在解碼錯誤存儲單元207中的解碼錯誤信息，評估在這些間隔內(nèi)解碼錯誤的發(fā)生率，并設定合適的冗余值。對于較高的解碼錯誤率設定較高的冗余值而對于較低的解碼錯誤率則設定較低的冗余值。
冗余度可變確認信號打包單元502將每個塊的解碼錯誤信息打包入多個確認信號，而確認信號數(shù)由冗余度確定單元501設定的冗余值決定。
除了每條解碼錯誤信息重復傳送的次數(shù)由解碼錯誤率決定以外，第三實施例的操作與第二實施例的相似。如果解碼錯誤率隨時間變化，則確認信號的冗余度也相應變化。
運動圖像編碼器中的信號檢錯單元302可以從每個確認信號內(nèi)新舊解碼錯誤信息的比例確定出每條解碼錯誤信息傳送的次數(shù)。例如如果每個確認信號包含三個新塊和六個舊塊的解碼錯誤信息，則信號檢錯單元302即判斷出每條解碼錯誤信息將傳送三次。如果每個確認信號包含六個新塊和三個舊塊的解碼錯誤信息，則信號檢錯單元302即判斷出每條解碼錯誤信息將傳送兩次。
冗余度確定單元501可以根據(jù)各種規(guī)則確定冗余值。其中一種規(guī)則是根據(jù)下閾值和上閾值設定冗余值。如果解碼錯誤率低于下閾值，則冗余度確定單元501將冗余度確定為無每條解碼錯誤信息只傳送一次。如果解碼錯誤率介于上閾值與下閾值之間，則冗余度確定單元501將冗余度確定為二每條解碼錯誤信息傳送兩次。解碼錯誤率高于上閾值，則冗余度確定單元501將冗余度確定為三每條解碼錯誤信息傳送三次。
通過改變打包入每個確認信號的舊解碼錯誤信息的數(shù)量可以調(diào)整確認信號的冗余度。如果需要，可以改變打包入每個確認信號內(nèi)的新的解碼錯誤信息數(shù)量和確認信號的發(fā)送速率。
第三實施例使得可以根據(jù)解碼錯誤率來調(diào)整用于傳送確認信號的帶寬，解碼錯誤率直接反映了從運動圖像編碼器到運動圖像解碼器的傳送信道的質(zhì)量，并間接反映了從運動圖像解碼器到運動圖像編碼器的傳送信道的質(zhì)量。如果解碼錯誤率過高，則第三實施例就試圖通過提高確認信號冗余度來改善傳送質(zhì)量。如果解碼錯誤率達到無需冗余傳送的要求，則第三實施例可去除冗余度以最大程度地節(jié)省帶寬。
第四實施例除了確認信號傳送冗余度根據(jù)圖像編碼器作出的評價設定之外，第四實施例與第三實施例類似。
圖12示出了第四實施例的運動圖像編碼器600的功能結(jié)構(gòu)，它采用圖9中曾經(jīng)在第二實施例中出現(xiàn)過的標號為101-111和302-303的單元。由于這些單元與第二實施例中相應的單元相同，所以此處不再贅述。
圖12中新出現(xiàn)的單元是信道評價單元601和信道評價結(jié)果傳送單元602。信道評價單元601從解碼錯誤存儲單元111中讀取指示是否正確接收到解碼錯誤信息的信息，由此評價從運動圖像解碼器到運動圖像編碼器的傳送信道的質(zhì)量并輸出最終的評價質(zhì)量結(jié)果。信道評價結(jié)果傳送單元602向運動圖像解碼器傳送這種質(zhì)量評價結(jié)果。
第四實施例中的解碼錯誤存儲單元111不僅留有存儲解碼錯誤信息的空間，而且留有存儲指示解碼錯誤信息是否正確接收的標志的空間。當確認信號無法到達或者到達時存在無法恢復的誤碼時，或者當信號檢錯單元302通過比較新舊解碼錯誤信息檢測到信號誤碼時，信號誤碼處理單元303將解碼錯誤存儲單元111內(nèi)相應的標志設定為指示存在信號誤碼。信道評價單元601通過以一定的周期間隔讀取這些標志對信道質(zhì)量作出評價。
圖13示出了第四實施例的運動圖像解碼器700的功能結(jié)構(gòu)，它采用圖11中曾經(jīng)在第三實施例中出現(xiàn)過的標號為201-207和209-212的單元。對于這些單元此處不再贅述。
圖13中新出現(xiàn)的的單元是信道評價結(jié)果接收單元701和冗余度確定單元702。信道評價結(jié)果接收單元701從運動圖像編碼器600接收信道質(zhì)量評價結(jié)果。冗余度確定單元702根據(jù)質(zhì)量評價結(jié)果設定冗余值。
除了直接根據(jù)信道評價單元601評價的確認信號傳送信道的質(zhì)量情況設定確認信號中的解碼錯誤信息冗余度以外，第四實施例的操作與第三實施例的相同。評價結(jié)果可以采用各種方式得出。例如信道評價單元601可以借助于上閾值和下閾值進行評價，而信道評價結(jié)果傳送單元602可以傳送一個信號，它指示信號誤碼率是低于下閾值還是高于上閾值，或者介于上下閾值之間。
當運動圖像編碼器到運動圖像解碼器的信道質(zhì)量與運動圖像解碼器到運動圖像編碼器的信道質(zhì)量關系不是很大時第四實施例特別有用。例如當運動圖像解碼器一側(cè)出現(xiàn)少數(shù)解碼錯誤但確認信號中出現(xiàn)許多信號誤碼時，通過增加確認信號中的冗余度第四實施例可以讓運動圖像編碼器采用更新的參考幀并由此達到比其它情況更高的數(shù)據(jù)壓縮率。相反，當確認信號中的信號誤碼較少時，不管運動圖像解碼器一側(cè)的解碼錯誤率如何，通過降低確認信號中的冗余度第四實施例由此節(jié)省了帶寬。
上述實施例可以在許多方面作出改進。例如第四實施例可以改為由位于運動圖像編碼器一側(cè)的信道評價單元601直接確定冗余值，并由信道評價結(jié)果傳送單元602向運動圖像解碼器傳送該冗余值而非傳送信道評價結(jié)果。即信道評價單元601可以用作冗余度確定單元，而信道評價結(jié)果傳送單元602可以用作所需冗余值傳送單元。
在第四實施例中信道評價結(jié)果或所需冗余值無需由信道評價單元601自動確定；它也可以響應來自運動圖像編碼器一側(cè)的人工輸入以人工方式確定。同樣，第三實施例中的冗余值也可以響應來自運動圖像編碼器一側(cè)的人工輸入以人工方式確定。當圖像傳送系統(tǒng)正處于建立和測試過程中時人工輸入方式特別有用。
這里所用術語“塊”指的是幀的一部分，每塊都返回有一個解碼錯誤指示。該部分可以與各種標準下的所謂宏塊或塊組對應。具體而言，“塊”可以是幀的任何部分，或者甚至是整幅幀。毫無疑問，當每幀只有一個塊時，圖5、6、7和8中所示的塊數(shù)可以省略。
在任何一個實施例中，通過將運動圖像輸入單元101接收到的運動圖像數(shù)據(jù)存入幀存儲器單元104可以省去運動圖像編碼器中的解碼單元103。當進行幀內(nèi)編碼時，解碼數(shù)據(jù)(或者原始輸入數(shù)據(jù))可以旁路幀存儲單元104而直接存入?yún)⒖紟鎯卧?05。
利用指針來指示參考幀可以將運動圖像編碼器中的幀存儲單元104與參考幀存儲單元105組合為一個存儲單元。運動圖像解碼器中的參考幀存儲單元204與幀存儲單元205同樣也可以組合為一個存儲單元。在上述任何一個存儲單元中，當數(shù)據(jù)不再需要時可以刪除或者簡單地用新的數(shù)據(jù)覆蓋舊的數(shù)據(jù)。
刷新信號可以自動產(chǎn)生而無需響應運動圖像解碼器一側(cè)的人工輸入。例如如果在一定數(shù)量的連續(xù)幀內(nèi)持續(xù)出現(xiàn)同一塊解碼錯誤則可以自動產(chǎn)生刷新信號。
在上述實施例中所述的運動圖像編碼器和運動圖像解碼器的功能可以用硬件、軟件或硬件與軟件結(jié)合的方式實現(xiàn)。
編碼數(shù)據(jù)并不一定要代表運動圖像，只要代表一系列的幀即可，這里的每幀有一個或多個塊組成，并且以幀間編碼方式對至少一些幀的至少一些塊進行編碼。從原理上講，這里的幀可以是音頻數(shù)據(jù)幀或者任意的二進制數(shù)據(jù)。
雖然這里借助傳送裝置與接收裝置之間的點-點通信實例描述了上述實施例，但是本發(fā)明也可以用于多路廣播系統(tǒng)，其中一臺發(fā)送裝置同時向多個接收裝置發(fā)送同一編碼數(shù)據(jù)。每臺接收裝置返回確認信號，而發(fā)送裝置從中挑選被所有接收裝置成功解碼的參考幀。
對于本領域內(nèi)的普通技術人員來說，無需創(chuàng)造性的勞動即可在下面權利要求所限范圍內(nèi)對本發(fā)明作出各種修改。
權利要求
1.一種改進型編碼器，它包括以幀內(nèi)方式或幀間方式對一系列幀進行編碼的編碼裝置、通過第一信道向解碼器傳送所得的編碼數(shù)據(jù)的傳送裝置以及選定幀間編碼所用參考幀的參考幀更新裝置，所述系列幀中的每幀都編碼為一定數(shù)量的塊，所述一定數(shù)量為任意的正整數(shù)，所述改進型編碼器的特征在于包括用來經(jīng)第二信道從所述解碼器接收確認信號的確認信號接收裝置，其中所述確認信號中的每個確認信號與多個塊有關；與所述確認信號接收裝置耦合的確認信號解包裝置，用來解包每個所述確認信號，從而獲取所述多個塊中每個塊的解碼錯誤信息；以及與所述確認信號解包裝置耦合的解碼錯誤存儲裝置，用來存儲所述解碼錯誤信息并向所述參考圖象更新裝置提供所述解碼錯誤信息，為所述參考圖象更新裝置用于選定所述參考幀。
2.如權利要求1所述的編碼器，其特征在于所述一系列幀構(gòu)成運動圖像。
3.如權利要求1所述的編碼器，其特征在于所述一系列幀的每幀僅僅包括一個塊。
4.如權利要求1所述的編碼器，其特征在于所述一系列幀的每幀包括多個塊。
5.如權利要求1所述的編碼器，其特征在于在至少兩個不同的確認信號內(nèi)重復傳送每個單獨塊的解碼錯誤信息，所述編碼器包括與所述解碼錯誤存儲裝置耦合的信號檢錯裝置，用來通過比較不同確認信號中接收的解碼錯誤信息來檢測所述解碼錯誤信息中的錯誤；以及與所述信號檢錯裝置耦合的信號錯誤處理裝置，用來在所述信號檢錯裝置檢測到錯誤時解決所述解碼錯誤信息的沖突。
6.如權利要求5所述的編碼器，其特征在于當所述信號檢錯裝置檢測到不同確認信號中有關某個塊的所述解碼錯誤信息有沖突時，所述信號錯誤處理裝置根據(jù)多數(shù)表決規(guī)則解決沖突。
7.如權利要求5所述的編碼器，其特征在于當所述信號檢錯裝置檢測到不同確認信號中有關某個塊的所述解碼錯誤信息有沖突時，所述信號錯誤處理裝置對該塊設定解碼錯誤信息以指示存在解碼錯誤。
8.如權利要求5所述的編碼器，其特征在于進一步包括與所述解碼錯誤存儲裝置耦合的信道評價裝置，用來評價所述確認信號中出現(xiàn)信號錯誤的頻率并由此生成所述第二信道的質(zhì)量評價結(jié)果；以及與所述信道評價裝置耦合的信道評價結(jié)果傳送裝置，用來向所述編碼器傳送所述質(zhì)量評價結(jié)果。
9.如權利要求5所述的編碼器，其特征在于包括用來確定在所述確認信號中所述解碼錯誤信息的所需重復次數(shù)的冗余度確定裝置；以及與所述冗余度確定裝置耦合的所需冗余度傳送裝置，用來通知所述譯碼器關于所述冗余度確定裝置確定的所述確認信號內(nèi)所述編碼錯誤信息的所需重復次數(shù)。
10.如權利要求9所述的編碼器，其特征在于所述冗余度確定裝置根據(jù)所述確認信號中信號錯誤頻率來確定所需的重復次數(shù)。
11.如權利要求9所述的編碼器，其特征在于所述冗余度確定裝置根據(jù)來自所述編碼器一側(cè)的人工輸入來確定所需的重復次數(shù)。
12.一種改進型解碼器，它包括通過第一信道接收代表編碼器的一系列幀的編碼數(shù)據(jù)以及以幀內(nèi)解碼或幀間解碼方式對所述編碼數(shù)據(jù)進行解碼的解碼裝置，其特征在于所述解碼裝置將所述一系列幀的每幀解碼為一定數(shù)量的塊，所述一定數(shù)量為任意的正整數(shù)，所述解碼裝置還借助在編碼數(shù)據(jù)內(nèi)被定義為參考幀的先前幀內(nèi)相應塊作為參考對幀內(nèi)塊進行解碼從而完成幀間解碼，所述改進型解碼器包括用來存儲所述塊的解碼錯誤信息的解碼錯誤存儲裝置；與所述解碼錯誤存儲裝置耦合的確認信號打包裝置，用來通過將多個所述塊的解碼錯誤信息打包入所述確認信號構(gòu)造確認信號；以及與所述確認信號打包裝置耦合的確認信號傳送裝置，用來通過第二信道向所述編碼器傳送所述確認信號。
13.如權利要求12所述的解碼器，其特征在于所述一系列幀構(gòu)成運動圖像。
14.如權利要求12所述的解碼器，其特征在于所述一系列幀的每幀僅僅包括一個塊。
15.如權利要求12所述的解碼器，其特征在于所述一系列幀的每幀包括多個塊。
16.如權利要求12所述的解碼器，其特征在于所述確認信號打包裝置將所需的參考幀號放入出現(xiàn)解碼錯誤的塊的所述確認信號內(nèi)。
17.如權利要求12所述的解碼器，其特征在于所述確認信號打包裝置將所需的塊號放入確認信號內(nèi)以標識無解碼錯誤的塊。
18.如權利要求12所述的解碼器，其特征在于所述確認信號打包裝置將所需的塊號放入確認信號內(nèi)以標識出現(xiàn)解碼錯誤的塊。
19.如權利要求12所述的解碼器，其特征在于所述確認信號打包裝置在所述確認信號內(nèi)采用比特標志來標識出現(xiàn)解碼錯誤的塊。
20.如權利要求12所述的解碼器，其特征在于所述確認信號打包裝置在不同的確認信號內(nèi)重復單個塊的解碼錯誤信息。
21.如權利要求20所述的解碼器，其特征在于所述確認信號打包裝置將出現(xiàn)解碼錯誤的塊的所需參考幀號放入所述不同確認信號中的一個內(nèi)。
22.如權利要求20所述的解碼器，其特征在于進一步包括用來確定單個塊的所述解碼錯誤信息重復次數(shù)的冗余度確定裝置。
23.如權利要求22所述的解碼器，其特征在于所述冗余度確定裝置根據(jù)解碼錯誤頻率確定所述的次數(shù)。
24.如權利要求22所述的解碼器，其特征在于所述冗余度確定裝置根據(jù)來自所述解碼器一側(cè)的人工輸入確定所述的次數(shù)。
25.如權利要求22所述的解碼器，其特征在于進一步包括用來接收來自所述編碼器的信道質(zhì)量評價結(jié)果的評價結(jié)果接收裝置，其中所述冗余度確定裝置根據(jù)所述評價結(jié)果接收裝置接收的評價結(jié)果確定所述的次數(shù)。
26.如權利要求22所述的解碼器，其特征在于進一步包括與所述冗余度確定裝置耦合的冗余度接收裝置，用來從所述編碼器接收所述解碼錯誤信息的所需重復次數(shù)。
27.一種從傳送裝置向接收裝置傳送一系列幀的改進方法，其中一系列幀中的每幀包括一定數(shù)量的塊，所述一定數(shù)量為任意的正整數(shù)，并且在所述傳送裝置內(nèi)以幀間編碼方式對至少一部分幀內(nèi)至少一部分塊進行編碼，向所述接收裝置傳送，并在所述接收裝置內(nèi)以幀間解碼方式解碼，所述幀間編碼和幀間解碼借助指定為參考幀的先前幀內(nèi)相應的塊完成，所述改進方法包括以下步驟在所述接收裝置一側(cè)將多個塊的解碼錯誤信息打包入每個確認信號，所述解碼錯誤信息指示在各塊內(nèi)是否發(fā)生解碼錯誤；從所述接收裝置向所述傳送裝置傳送所述確認信號；在所述傳送裝置一側(cè)解包所述確認信號，從而獲取所述多個塊中各塊的解碼錯誤信息；以及在所述傳送裝置一側(cè)根據(jù)所述解碼錯誤信息選定參考幀。
28.如權利要求27所述的方法，其特征在于所述的幀系列構(gòu)成運動圖像。
29.如權利要求27所述的方法，其特征在于所述的幀系列的每幀僅僅包括一個塊。
30.如權利要求27所述的方法，其特征在于所述的幀系列的每幀包括多個塊。
31.如權利要求27所述的方法，其特征在于包括將所需的參考幀號放入出現(xiàn)解碼錯誤的塊的所述確認信號內(nèi)的步驟。
32.如權利要求27所述的方法，其特征在于所述打包步驟包括將所需的參考幀號放入確認信號內(nèi)以標識出現(xiàn)解碼錯誤的塊。
33.如權利要求27所述的方法，其特征在于所述打包步驟包括將所需的參考幀號放入確認信號內(nèi)以標識無解碼錯誤的塊。
34.如權利要求27所述的方法，其特征在于所述打包步驟包括在所述確認信號內(nèi)設定比特標志來標識出現(xiàn)解碼錯誤的塊。
35.如權利要求27所述的方法，其特征在于包括在不同的確認信號內(nèi)重復單個塊的解碼錯誤信息的步驟。
36.如權利要求35所述的方法，其特征在于進一步包括將出現(xiàn)解碼錯誤的塊的所需參考幀號放入所述不同確認信號中的一個內(nèi)的步驟。
37.如權利要求35所述的方法，其特征在于進一步包括以下步驟在所述傳送裝置一側(cè)將所述解碼錯誤信息存入存儲器裝置內(nèi)；通過比較所述不同確認信號中接收的解碼錯誤信息來檢測所述確認信號中的信號錯誤；以及解決所述不同確認信號中解碼錯誤信息的沖突。
38.如權利要求37所述的方法，其特征在于所述沖突通過多數(shù)表決規(guī)則解決。
39.如權利要求37所述的方法，其特征在于通過無論何時在接收到的確認信號中出現(xiàn)解碼錯誤信息不一致時將其識別為解碼錯誤以解決所述沖突。
40.如權利要求37所述的方法，其特征在于進一步包括在所述接收裝置一側(cè)根據(jù)解碼錯誤頻率確定重復所述解碼錯誤信息的次數(shù)。
41.如權利要求37所述的方法，其特征在于進一步包括以下步驟在所述接收裝置一側(cè)根據(jù)來自所述接收裝置的人工輸入確定重復所述解碼錯誤信息的次數(shù)。
42.如權利要求35所述的方法，其特征在于進一步包括以下步驟在所述傳送裝置一側(cè)根據(jù)所述確認信號中出現(xiàn)解碼錯誤的頻率確定重復所述解碼錯誤信息的次數(shù)。
43.如權利要求37所述的方法，其特征在于進一步包括以下步驟在所述傳送裝置一側(cè)根據(jù)來自所述傳送裝置的人工操作輸入確定重復所述解碼錯誤信息的次數(shù)。
44.如權利要求37所述的方法，其特征在于進一步包括以下步驟在所述傳送裝置一側(cè)對所述確認信號中信號誤碼率作出評價并由此生成信道質(zhì)量評價結(jié)果，所述確認信號通過所述信道從所述接收裝置傳送至所述傳送裝置；從所述傳送裝置向所述接收裝置傳送所述質(zhì)量評價結(jié)果；以及在所述接收裝置一側(cè)根據(jù)所述質(zhì)量評價結(jié)果確定重復所述解碼錯誤信息的次數(shù)。
全文摘要
本發(fā)明提供一種改進型編碼器,它包括:用來經(jīng)第二信道從所述解碼器接收確認信號的確認信號接收裝置,其中的每個確認信號與多個塊有關;與所述確認信號接收裝置耦合的確認信號解包裝置,用來解包每個所述確認信號,從而獲取所述多個塊中每個塊的解碼錯誤信息;以及與所述確認信號耦合的解碼錯誤存儲裝置,用來存儲所述解碼錯誤信息并向所述參考幀更新裝置提供其在選定所述參考幀過程中采用的所述解碼錯誤信息。
文檔編號H04N7/32GK1177237SQ9711821
公開日1998年3月25日 申請日期1997年9月4日 優(yōu)先權日1996年9月4日
發(fā)明者福永茂, 中井敏久 申請人:沖電氣工業(yè)株式會社