專利名稱：發(fā)送設(shè)備、接收設(shè)備和通信系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送設(shè)備、接收設(shè)備和通信系統(tǒng)。
背景技術(shù)：
近來，如例如下述的專利文獻(xiàn)1中公開的，已知一種方法，其中，將其間具有視差的左眼用圖像和右眼用圖像按預(yù)定間隔交替提供給顯示器，并且利用具有與該預(yù)定間隔同步驅(qū)動的液晶快門的眼鏡來觀看圖像。另外，在下述的專利文獻(xiàn)2中公開了根據(jù)網(wǎng)絡(luò)中的分組丟失和差錯發(fā)生狀況來改變諸如按FEC(前向差錯校正)的差錯控制或者基于自動重復(fù)請求(ARQ)的差錯控制之類的模式，并且執(zhí)行分組傳送。此外，作為立體圖像編碼方法，例如已知一種方法，其中，左眼用圖像和右眼用圖像在被認(rèn)為是獨(dú)立的視頻的同時各自被編碼，并且已知一種方法，其中，以多視點(diǎn)圖像的形式通過MVC (多視點(diǎn)視頻編碼)來執(zhí)行編碼。在下述專利文獻(xiàn)1中，公開了通過MVC對諸如立體視頻圖像等等之類的多個視頻圖像數(shù)據(jù)執(zhí)行編碼的方法。另外，在下述專利文獻(xiàn)2中， 公開了一種方法，其中根據(jù)優(yōu)先度來改變FEC強(qiáng)度(冗余度)。[引文列表][專利文獻(xiàn)][PTL 1]日本專利申請公布No. JP-A-9-138384[PTL 2]日本專利 No. 3757857[非專利文獻(xiàn)][NPL 1]Kimata Hideaki, "Trends in International Standardization of Multiview Video Coding MVC, ”Institute of Image Information and Television Engineers Journal (圖像信息和電視工程師協(xié)會期刊)，VOL. 61，No. 4(2007)，p. 426-430[NPL 2]Alexander Ε. Mohr, Student Member, IEEE(IEEE ^ ^ ^ )， Eve A. Riskin, Senior Member, IEEE (IEEE ι ^ ^ ), and Richard E. Lander, Member, IEEE (IEEE ^
),"Unequal Loss Protection :Graceful Degradation of Image Quality over Packet Erasure Channels Through Forward Error Correction",“IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS” (IEEE 通信選擇領(lǐng)域期刊)，V0L. 18，Ν0· 6，JUNE2000 (2000 年 6 月)，p.819-828

發(fā)明內(nèi)容
[技術(shù)問題]
然而，在多個相機(jī)輸入視頻圖像被編碼并通過實況中繼廣播或通過網(wǎng)絡(luò)傳送的情況下，發(fā)生這樣的問題，即視頻圖像的效果由于例如從一個相機(jī)相對于另一相機(jī)的傳送延遲之類的延遲和分組丟失而有損失。例如，在以多個相機(jī)輸入視頻圖像的形式傳送立體視頻圖像的情況下，立體效果較強(qiáng)，而當(dāng)由于網(wǎng)絡(luò)延遲抖動或分組丟失，視頻圖像的數(shù)據(jù)的一部分或一些在其間具有大視差的左右視頻圖像中的僅一側(cè)丟失并且視頻圖像在該狀態(tài)中被顯示時，發(fā)生立體效果損失的問題。另外，當(dāng)為了分組丟失恢復(fù)而執(zhí)行FEC處理以避免此類問題時，在廣播臺的實況中繼等的情況下，要求小于視頻圖像的一幀的延遲。結(jié)果，必須在減小用于執(zhí)行FEC處理的 FEC編碼矩陣的同時執(zhí)行FEC處理。然而，當(dāng)減小矩陣大小時，延遲大小和恢復(fù)率具有折衷關(guān)系，分組丟失恢復(fù)率減小，等等。因此要求一種系統(tǒng)，其中能夠以高分組丟失恢復(fù)力和低延遲來傳送多個視頻圖像。本實施例是考慮到上述情況而作出的，并且本實施例致力于提供能夠以高分組丟失恢復(fù)力和低延遲來傳送多個視頻圖像數(shù)據(jù)的新穎且改進(jìn)的發(fā)送設(shè)備、接收設(shè)備和通信系統(tǒng)。[解決問題的方案]根據(jù)一個實施例，一種視頻圖像數(shù)據(jù)編碼器包括接收立體圖像數(shù)據(jù)的輸入。該立體圖像數(shù)據(jù)包括具有時間順序?qū)?yīng)性的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)。差錯校正編碼單元被配置為把來自輸入單元的第一圖像數(shù)據(jù)的部分和第二圖像數(shù)據(jù)的對應(yīng)部分組合到共同編碼矩陣中。向編碼矩陣添加從組合的部分得出的差錯校正碼。[本發(fā)明的有利效果]根據(jù)本實施例，可以提供能夠以高分組丟失恢復(fù)力和低延遲來傳送多個視頻圖像的發(fā)送設(shè)備、接收設(shè)備和通信系統(tǒng)。


圖1是示出根據(jù)本實施例的實施例的通信系統(tǒng)的基本配置的示意圖。圖2是示出根據(jù)本實施例的低延遲FEC處理方法的示意圖。圖3是示出生成FEC編碼矩陣的方法的示意圖。圖4是示出生成基于優(yōu)先級的FEC控制編碼矩陣的方法的示意圖。圖5是示出執(zhí)行基于優(yōu)先級的FEC控制和編解碼器鏈接的FEC控制的配置的示例的框圖。圖6是示出發(fā)送設(shè)備的處理過程的流程圖。圖7是示出接收設(shè)備的處理過程的流程圖。圖8是示出與基于優(yōu)先級的FEC控制和編解碼器鏈接的FEC控制相對應(yīng)的處理和與動態(tài)QoS控制相對應(yīng)的處理的流程圖。圖9是示出接收設(shè)備的另一處理過程的流程圖。圖10是示出奇偶分組中設(shè)置的FEC頭部的信息的示意圖。
具體實施例方式以下，將參考附圖詳細(xì)描述優(yōu)選實施例。注意，在本說明書和附圖中，用相同的標(biāo)號來表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。注意，將按以下所示的順序來給出描述。(1)本實施例的概要(2)系統(tǒng)配置的示例(3)基于優(yōu)先級的FEC控制(4)編解碼器鏈接的FEC控制(5)發(fā)送設(shè)備的處理過程(6)接收設(shè)備的處理過程(1)本實施例的概要在本實施例中，在立體視頻圖像的傳送中，當(dāng)多個相機(jī)輸入視頻圖像被編碼和傳送時，為了以較低的延遲而且以較高的分組丟失恢復(fù)力進(jìn)行傳送，以同一 FEC編碼矩陣為單位處理同時拍攝的多個相機(jī)視頻圖像的分組。此外，當(dāng)在編碼矩陣中不能實現(xiàn)分組丟失恢復(fù)時，通過對在該矩陣單位中具有相關(guān)性的分組執(zhí)行差錯隱蔽(error concealment)，可以維持立體視頻效果。注意，在以下說明中，描述了從作為來自多個相機(jī)的輸入視頻圖像的右眼用圖像和左眼用圖像形成立體視頻圖像的示例，但本實施例不限于此示例。本實施例可被廣泛應(yīng)用到執(zhí)行具有時間順序?qū)?yīng)性的多個視頻圖像(例如同時從若干個相機(jī)獲取的多個視頻圖像)的傳送的系統(tǒng)，并且在此情況下，可以以高度的分組丟失恢復(fù)力而且以較低的延遲來傳送多個視頻圖像數(shù)據(jù)。此外，本實施例的編碼是基于線(line)的編碼，其中視頻圖像數(shù)據(jù)的多條掃描線被聚束在一起并且以線塊(line block)為單位處理，并且可以以小于一幀或一場的低延遲進(jìn)行處理。另外，通過以諸如FEC編碼塊或矩陣之類的塊為單位進(jìn)行處理，也可以將不能恢復(fù)的分組丟失的影響最小化到圖像幀的單一部分的劣化。另外，根據(jù)立體視頻效果，即根據(jù)視差的大小，附加了優(yōu)先級，并且執(zhí)行隱蔽處理， 例如對于對圖像質(zhì)量有較高影響的分組(例如分組表示的左右圖像相當(dāng)不同)增大FEC奇偶，并且在影響較小時(例如左右圖像之間的差異相對較小時)減小奇偶。因此，可以在不損失立體視頻效果的情況下提供視頻圖像。假定根據(jù)本實施例的系統(tǒng)具有下文說明的配置。視頻圖像編碼是低延遲編碼處理，其中處理是以線為基礎(chǔ)執(zhí)行的，即是以多條線(一條或多條線)的線塊為單位執(zhí)行的。 從而，在以視頻幀為單位緩沖數(shù)據(jù)之后不執(zhí)行編碼處理，并且由于能夠以小于一幀時間段的延遲進(jìn)行傳送和顯示，所以其尤其適合在執(zhí)行諸如實況視頻分發(fā)之類的實時視頻圖像傳送和中繼廣播的系統(tǒng)中采用。在本系統(tǒng)中，遵從立體視頻圖像(3D)的相機(jī)輸出視頻圖像被編碼并且針對IP傳送被分組化，然后被FEC編碼以便在網(wǎng)絡(luò)中執(zhí)行分組丟失恢復(fù)，并且被發(fā)送。在接收側(cè)，執(zhí)行FEC解碼和分組丟失恢復(fù)，然后執(zhí)行視頻圖像解碼和顯示。(2)系統(tǒng)配置的示例圖1是示出根據(jù)本實施例的通信系統(tǒng)100的基本配置的示意圖。如圖1中所示， 通信系統(tǒng)100由具有相機(jī)視頻圖像輸入的發(fā)送設(shè)備200和具有顯示輸出的接收設(shè)備300形成。發(fā)送設(shè)備200和接收設(shè)備300經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)400相連接。利用專用相機(jī)500捕捉的視頻圖像被用作立體視頻圖像。在圖1中，示出了一個示例，其中視頻圖像是從捕捉用于右眼R的圖像的相機(jī)(R) 502和捕捉用于左眼L的圖像的相機(jī)(L)504獲得的。這樣，由至少兩個相機(jī)捕捉的視頻圖像被用于立體視頻圖像，但即使只有一個相機(jī)也可應(yīng)用該系統(tǒng)，只要該相機(jī)遵從立體視頻圖像捕捉即可。例如，即使是單反型 3D相機(jī)，如果其是通過形成左右視頻圖像來獲得3D效果的系統(tǒng)，則其也可應(yīng)用到本系統(tǒng)。如圖1中所示，發(fā)送設(shè)備200由3D處理部202、視頻圖像編碼部204、分組處理部 206,FEC編碼部208和發(fā)送部210形成。3D處理部202通過對從相機(jī)500輸出的視頻圖像執(zhí)行諸如左右相機(jī)的視頻圖像數(shù)據(jù)的校準(zhǔn)之類的信息處理和對3D視頻圖像的處理來產(chǎn)生立體視頻效果。在視頻圖像編碼部204中對已被執(zhí)行了 3D處理的視頻圖像執(zhí)行壓縮處理。在壓縮處理之后，分組處理部206執(zhí)行針對通信的分組化處理(RTP (實時傳輸協(xié)議)分組化)。 從分組處理部206輸出的分組被FEC編碼部208布置在FEC編碼矩陣(稍后將說明)中并且FEC處理被執(zhí)行。這樣，生成了僅由奇偶形成的奇偶分組。對此奇偶分組執(zhí)行頭部處理， 并且以UDP/IP分組的形式從發(fā)送部210發(fā)送到網(wǎng)絡(luò)400。另外，接收設(shè)備300由接收部302、FEC解碼部304、分組處理部306和視頻圖像解碼部308形成。接收部302接收從發(fā)送設(shè)備200經(jīng)由網(wǎng)絡(luò)400發(fā)送來的IP分組。如果接收部302通過分組頭部認(rèn)識到被執(zhí)行了 FEC處理的數(shù)據(jù)，則FEC解碼部304形成FEC矩陣， 并且如果存在分組丟失，則使用奇偶分組中的奇偶并執(zhí)行FEC解碼。以這種方式可以恢復(fù)丟失的分組。從分組數(shù)據(jù)獲得的碼流被視頻圖像解碼部308解碼并且左右視頻圖像數(shù)據(jù)被輸出到3D顯示設(shè)備500。在分組丟失恢復(fù)處理中，在解碼后，從在先幀中選擇替換部分并且執(zhí)行顯示。圖2是示出根據(jù)本實施例的低延遲FEC處理方法的示意圖。在這里的例示中，使用了一個示例，其中排列兩個相機(jī)(相機(jī)502和相機(jī)504)，并且執(zhí)行左右視頻圖像(R圖像和L圖像)的3D圖像捕捉。如圖2中所示，分組R1、R2至R7等等是從R圖像生成的，分組 Li、L2至L7等等是從L圖像生成的。在本實施例中，當(dāng)以分組為單位執(zhí)行FEC處理時，作為一個示例，通過在列方向上排列四個分組來形成矩陣，如圖2中所示。圖3是示出生成作為前提的FEC編碼矩陣的方法的示意圖。發(fā)送側(cè)的處理是在 FEC編碼部208中執(zhí)行的，接收方的處理是在FEC解碼部304中執(zhí)行的。在本實施例中，如圖3中所示，由四個分組形成單個FEC編碼矩陣。在發(fā)送設(shè)備200側(cè)，作為FEC(作為前向差錯校正)，例如利用Reed-Solomon碼執(zhí)行編碼，該編碼是在列方向上以字節(jié)為單位執(zhí)行的。根據(jù)奇偶數(shù)生成奇偶數(shù)據(jù)。在橫方向上排列奇偶數(shù)據(jù)并且生成奇偶分組(圖3中所示的FEC奇偶分組)。向奇偶分組附加FEC頭部并且發(fā)送分組。另外，在接收設(shè)備300側(cè)，如果FEC解碼部304檢測到給定的分組發(fā)生了差錯(LOSS)，則奇偶分組被用來恢復(fù)發(fā)生了差錯的數(shù)據(jù)。在本實施例中，在低延遲編解碼器中，左右圖像數(shù)據(jù)被以由多條線形成的線塊為單位編碼，然后被分組化并發(fā)送。如上所述，單個FEC編碼矩陣由四個分組形成。因此，當(dāng)立體視頻圖像是通常的右眼用圖像(R圖像)和左眼用圖像(L圖像)這兩組數(shù)據(jù)時，如果假定FEC編碼矩陣是僅利用圖2中所示的R圖像生成的，則需要生成四個分組的時間(tl+t2) 來生成該矩陣。在本實施例中，通過使用其中同一時間段tl中的L圖像和R圖像各自被編碼的分組，僅在圖2所示的時間tl中就可獲得四個分組(分組R1、R2、L1和L2)的數(shù)據(jù)，并且可以以時間tl的延遲生成FEC編碼矩陣。結(jié)果，根據(jù)本實施例的方法，可以將由編碼引起的延遲降低到最低限度。例如使用MVC(多視點(diǎn)視頻編碼)作為編碼方法。在MVC中，結(jié)構(gòu)不僅包含了時間方向預(yù)測，而且包含了多個相機(jī)之間的預(yù)測。換言之，不僅使用了時間方向上的幀預(yù)測，而且使用了利用左右圖像L和R之間的差異的預(yù)測。然后，使用作為基準(zhǔn)的參考圖像數(shù)據(jù)的視頻圖像編碼數(shù)據(jù)和相對于參考數(shù)據(jù)的視差信息，用于生成預(yù)測圖像的編碼數(shù)據(jù)被分別分組化，并且這些分組被利用同一 FEC編碼矩陣來處理。注意，上述專利文獻(xiàn)1中公開的系統(tǒng)可被用作MVC編碼方法。(3)基于優(yōu)先級的FEC控制(ULP 非均等丟失保護(hù))接下來，將說明根據(jù)本實施例的基于優(yōu)先級的FEC控制。圖4是示出生成基于優(yōu)先級的FEC控制編碼矩陣的方法的示意圖。另外，圖5是示出執(zhí)行基于優(yōu)先級的FEC控制和稍后將說明的編解碼器鏈接的FEC控制的配置的示例的框圖。在圖5中，3D處理部202從發(fā)送自相機(jī)500的3D視頻圖像數(shù)據(jù)之中獲取與3D視頻圖像有關(guān)的視差信息、色差信息等等，并且基于所獲得的信息按優(yōu)先度對視頻圖像數(shù)據(jù)分類。優(yōu)先級信息隨后被輸入到FEC編碼部208中。在FEC編碼部208中，基于優(yōu)先級信息來更新FEC強(qiáng)度，即奇偶數(shù)(冗余度)。例如，按從最高優(yōu)先度起的順序，假定設(shè)定了優(yōu)先級A、優(yōu)先級B和優(yōu)先級C，并且預(yù)先確立向優(yōu)先級A視頻圖像數(shù)據(jù)附加兩個奇偶分組，向優(yōu)先級B視頻圖像數(shù)據(jù)附加一個奇偶分組，并且不向優(yōu)先級C視頻圖像數(shù)據(jù)附加奇偶分組。在此情況下，對于FEC編碼矩陣， 如圖4中所示，向優(yōu)先級A時間段tl附加兩個奇偶分組，不向優(yōu)先級C時間段t2附加奇偶分組，并且向優(yōu)先級B時間段t3附加一個奇偶分組。在立體視頻圖像的視覺突出量和深度較大的情況下，即在L圖像和R圖像之間的視差較大的情況下，立體視頻圖像的效果較高，從而優(yōu)先級被設(shè)定得較高。結(jié)果，對于作為立體視頻圖像的效果較高的視頻圖像數(shù)據(jù)，附加較多的奇偶分組，并且如果發(fā)生數(shù)據(jù)丟失， 則可以可靠地恢復(fù)數(shù)據(jù)。從而可以避免3D效果的損失。另一方面，在立體視頻圖像的視覺突出量和深度較小的情況下，3D視頻圖像的重要度相對較低，較低的優(yōu)先級被設(shè)定，并且奇偶分組較少。以類似的方式，L圖像和R圖像之間的色差越大或者亮度差越大，優(yōu)先級就被設(shè)定得越高。以上述方式，利用根據(jù)本實施例的基于優(yōu)先級的FEC控制，可以根據(jù)基于視頻圖像數(shù)據(jù)的優(yōu)先級信息來附加奇偶分組，并且當(dāng)具有高優(yōu)先級的數(shù)據(jù)發(fā)生丟失時，在接收側(cè)可以可靠地執(zhí)行恢復(fù)。(4)編解碼器鏈接的FEC控制接下來，將說明根據(jù)本實施例的編解碼器鏈接的FEC控制。在編解碼器鏈接的FEC 控制中，F(xiàn)EC編碼部208基于優(yōu)先級信息來計算被附加奇偶分組的數(shù)據(jù)的總量。通常，基于頻帶限制和保留帶寬等等，確定在傳送視頻圖像數(shù)據(jù)時設(shè)定的恒定比特率或最大比特率等等。因此，如圖5中所示，F(xiàn)EC編碼部208把指示數(shù)據(jù)的總量的信息反饋給編解碼器(視頻圖像編碼部204)，并且聯(lián)合視頻圖像編碼部204調(diào)整編碼后的比特率。這樣，F(xiàn)EC處理后的數(shù)據(jù)總量可被控制得等于或小于恒定范圍。當(dāng)利用圖4中所示的示例來進(jìn)行說明時，在優(yōu)先級A時間段tl中附加兩個奇偶分組，但如果比特率超過固定值，則視頻圖像編碼部204將編碼率調(diào)整到比特率不超過上限的范圍內(nèi)。在視頻圖像編碼部204中，通過執(zhí)行諸如數(shù)據(jù)疏化、插值等等的處理來調(diào)整編碼率。以類似的方式，對于優(yōu)先級C時間段t2和優(yōu)先級B時間段t3，編碼率被調(diào)整到比特率不超過上限的范圍內(nèi)。在優(yōu)先級較低的時間段中，如果比特率在不超過上限的范圍中，則可以附加比否則將為該低優(yōu)先級附加的數(shù)目更大數(shù)目的奇偶分組。以上述方式，除了根據(jù)由基于優(yōu)先級的FEC控制設(shè)定的優(yōu)先級來附加奇偶分組以外，還可以以等于或小于固定比特率的數(shù)據(jù)量執(zhí)行傳送。(5)發(fā)送設(shè)備的處理過程接下來，將說明根據(jù)本實施例的發(fā)送設(shè)備200的處理過程。圖6是示出發(fā)送設(shè)備 200的處理過程的流程圖。首先，在步驟S10，判定是否從相機(jī)500輸入了視頻圖像數(shù)據(jù)。如果輸入了視頻圖像數(shù)據(jù)，則處理前進(jìn)到步驟S12，而如果未輸入視頻圖像數(shù)據(jù)，則處理結(jié)束。 在步驟S12，3D處理部202執(zhí)行3D處理，并且獲取視頻圖像數(shù)據(jù)中包括的左右圖像之間的視差信息和色差信息等等。此外，在步驟S12的3D處理中，執(zhí)行處理以獲取音頻數(shù)據(jù)并獲取字幕數(shù)據(jù)等等。另外，當(dāng)要將3D數(shù)據(jù)轉(zhuǎn)換成并排數(shù)據(jù)、上下數(shù)據(jù)等等時，執(zhí)行轉(zhuǎn)換處理。接下來，在步驟S14，視頻圖像編碼部204執(zhí)行處理以對視頻圖像數(shù)據(jù)編碼。接下來，在步驟S16，分組處理部206執(zhí)行處理以對視頻圖像數(shù)據(jù)進(jìn)行分組化。另外，在3D處理部202執(zhí)行的步驟S12，獲取指示出左右視頻圖像數(shù)據(jù)是否是相同時間的信息(圖6中所示的數(shù)據(jù)Dl)，并且當(dāng)在步驟S18執(zhí)行FEC編碼處理時使用此信息。此信息被用于判定這些數(shù)據(jù)是否在3D處理時與視頻圖像數(shù)據(jù)相關(guān)聯(lián)，以及這些數(shù)據(jù)是否在FEC編碼處理時作為相關(guān)分組被輸入到同一矩陣中(步驟S18)。然后，在步驟S18，F(xiàn)EC編碼部208執(zhí)行FEC編碼處理，并且接下來，在步驟S20，發(fā)送部210執(zhí)行發(fā)送處理。另外，當(dāng)執(zhí)行編解碼器鏈接的FEC控制時，步驟S14的編碼處理是以使得在步驟 S18的FEC編碼處理中獲取的視頻圖像數(shù)據(jù)的比特率不超過預(yù)定閾值的方式執(zhí)行的。(6)接收設(shè)備的處理過程接下來，將說明根據(jù)本實施例的接收設(shè)備300的處理過程。圖7是示出接收設(shè)備 300的處理過程的流程圖。首先，在步驟S30，判定接收部302是否接收到了分組。如果在步驟S30接收到了分組，則處理前進(jìn)到步驟S32。另一方面，如果在步驟S30未接收到分組， 則處理結(jié)束。在步驟S32，F(xiàn)EC解碼部304執(zhí)行FEC解碼處理。接下來，在步驟S34，判定FEC解碼處理中丟失的數(shù)據(jù)的恢復(fù)是否完成。當(dāng)數(shù)據(jù)恢復(fù)完成時，處理前進(jìn)到步驟S36，并且分組處理部306執(zhí)行分組處理。另一方面，當(dāng)在步驟S34數(shù)據(jù)恢復(fù)未完成時，處理前進(jìn)到從步驟S38起的處理。換言之，當(dāng)分組丟失的數(shù)目超過FEC處理能夠恢復(fù)的數(shù)目時，F(xiàn)EC無法實現(xiàn)完全的數(shù)據(jù)分組恢復(fù)，并且處理前進(jìn)到從步驟S38起的流程以執(zhí)行插值處理。在步驟S38，判定對于左右視頻圖像數(shù)據(jù)是否存在較高相關(guān)度的相關(guān)分組。例如， 在同一時間拍攝的左右視頻圖像數(shù)據(jù)的分組表現(xiàn)出相對較高的相關(guān)性。當(dāng)不存在相關(guān)分組時，處理前進(jìn)到步驟S40，并且對未恢復(fù)的數(shù)據(jù)執(zhí)行插值處理。這樣，當(dāng)沒有相關(guān)分組時，例如，當(dāng)在左右視頻圖像中沒有3D效果時，以及在左右視頻圖像的信息之間沒有差異時，在步驟S40，僅對丟失的分組執(zhí)行插值處理。在此情況下，在步驟S40，執(zhí)行差錯隱蔽處理，其中，例如，先前幀的數(shù)據(jù)被從存儲的數(shù)據(jù)D中提取并替換。注意，先前幀的數(shù)據(jù)(存儲的數(shù)據(jù)D2)被臨時存儲在緩沖器等等中。此外，當(dāng)只有用于右眼的視頻圖像數(shù)據(jù)未被恢復(fù)時，執(zhí)行處理以僅顯示用于左眼的視頻圖像。另一方面，當(dāng)在步驟S38存在相關(guān)分組時，處理前進(jìn)到步驟S42。在步驟S42，執(zhí)行處理以識別相關(guān)分組。這里，例如，從多個幀之中識別在哪些幀中左右視頻圖像具有高相關(guān)性。圖10是示出奇偶分組中設(shè)置的FEC頭部的信息的示意圖。指示出左右視頻圖像之間的相關(guān)性是否較高的信息被包括在圖10所示的FEC分組頭部中存儲的FEC相關(guān)性信息字段中。FEC相關(guān)性信息字段存儲諸如相關(guān)性信息、相關(guān)性級別、優(yōu)先級、序列號、時間信息等等之類的信息。此字段用于在FEC解碼時利用其中序列號指示例如相關(guān)性類型、相關(guān)性級別、優(yōu)先級以及哪個分組與哪個分組相關(guān)的方法來識別相關(guān)分組。在步驟S42之后，處理前進(jìn)到步驟S44。在步驟S44，分組處理部306執(zhí)行總體插值處理。更具體而言，當(dāng)左右圖像之間存在相關(guān)性時，揪圖10中所示的FEC分組頭部中存儲的FEC相關(guān)性信息字段中識別相關(guān)分組，并且基于與丟失的分組相關(guān)的分組數(shù)據(jù)來執(zhí)行插值處理。也就是說，例如左圖像的丟失分組的插值是基于右圖像的相關(guān)分組的，反之亦然。如上所述，當(dāng)根據(jù)圖7所示的處理不可能實現(xiàn)數(shù)據(jù)恢復(fù)時，可以基于是否存在相關(guān)分組來執(zhí)行數(shù)據(jù)插值處理。因此，可以根據(jù)左右視頻圖像之間的相關(guān)度來適當(dāng)?shù)貓?zhí)行插值處理。接下來，將說明根據(jù)發(fā)送設(shè)備200的另一處理過程。圖8是示出與上述的基于優(yōu)先級的FEC控制和編解碼器鏈接的FEC控制相對應(yīng)的處理和與動態(tài)QoS控制相對應(yīng)的處理的流程圖。如上所述，在基于優(yōu)先級的FEC控制中，通過依據(jù)數(shù)據(jù)是否具有大視差和強(qiáng)立體視頻效果或者數(shù)據(jù)是否具有小視差和弱立體視頻效果改變FEC強(qiáng)度，來最小化由于傳送期間的分組丟失的影響而導(dǎo)致的立體視頻效果的劣化。當(dāng)執(zhí)行基于優(yōu)先級的FEC控制時，在步驟S12的3D處理中，對視頻圖像數(shù)據(jù)的優(yōu)先級分類。然后，在步驟S18的FEC編碼處理中，根據(jù)優(yōu)先級執(zhí)行FEC編碼處理。因此，在圖8中所示的步驟S18，F(xiàn)EC編碼部208執(zhí)行根據(jù)分組優(yōu)先級來改變奇偶分組的數(shù)目的處理。如上所述，編解碼器鏈接的FEC控制通過依據(jù)數(shù)據(jù)是否具有大視差和強(qiáng)立體視頻效果或者數(shù)據(jù)是否具有小視差和弱立體視頻效果改變FEC強(qiáng)度，將用于傳送的帶寬的波動鏈接到編解碼器的編碼率控制。這樣，可以執(zhí)行FEC編碼后分組的傳送率在固定比特率的范圍內(nèi)的傳送。從而，在圖8中所示的步驟S18，F(xiàn)EC編碼部208把FEC編碼后的數(shù)據(jù)總量反饋給在S12執(zhí)行的編碼處理。然后，在圖8中所示的步驟S12，視頻圖像編碼部204根據(jù)數(shù)據(jù)量執(zhí)行“疏化”或插值處理，并且執(zhí)行控制以使得總數(shù)據(jù)量不超過上限。另外，在根據(jù)本實施例的動態(tài)QoS控制中，F(xiàn)EC編碼部208通過將諸如ARQ(自動重復(fù)請求)控制之類的重發(fā)控制與FEC相組合來執(zhí)行用于分組丟失恢復(fù)的處理。ARQ控制可以使用上述專利文獻(xiàn)2中公開的方法。更具體而言，作為分組丟失恢復(fù)方法，通過不是僅 FEC、而是同時使用重發(fā)控制(ARQ)的混合QoS控制，可以更可靠地恢復(fù)分組丟失。當(dāng)通過 FEC可能實現(xiàn)差錯校正時，F(xiàn)EC編碼部208通過FEC執(zhí)行差錯校正。另外，當(dāng)通過FEC不可能實現(xiàn)差錯校正時，F(xiàn)EC編碼部208執(zhí)行作為重發(fā)請求的ARQ處理。此時，F(xiàn)EC編碼部208 生成重發(fā)請求RTCP分組，并且將該RTCP分組發(fā)送到發(fā)送設(shè)備200。從而，在圖8中所示的步驟S18，F(xiàn)EC編碼部208執(zhí)行組合了重發(fā)控制和FEC的分組丟失恢復(fù)處理，并且當(dāng)從接收設(shè)備300接收到重發(fā)請求時，分組被重發(fā)。注意，當(dāng)執(zhí)行重發(fā)控制時，接收設(shè)備300的接收部302充當(dāng)發(fā)送部，而發(fā)送設(shè)備200的發(fā)送部210充當(dāng)接收部，并且重發(fā)請求被從接收設(shè)備 300經(jīng)由網(wǎng)絡(luò)400發(fā)送到發(fā)送設(shè)備200。此時，也可以設(shè)立一個系統(tǒng)，其中根據(jù)傳送路徑的帶寬、視差信息、亮度信息和色差信息等等來改變分組丟失恢復(fù)的QoS控制方法或強(qiáng)度。圖9是示出接收設(shè)備300的另一處理過程的流程圖。圖9示出了利用亮度信息和色差信息來改變FEC強(qiáng)度以例如在重視亮度信息的同時提高FEC強(qiáng)度的處理。在此情況下，在步驟S40的插值處理中，除了上述的替換先前幀的數(shù)據(jù)的方法以外，當(dāng)色差信息丟失并且不能被恢復(fù)時，執(zhí)行處理以僅對亮度(Y)插值。此外，在如圖8所示的與發(fā)送設(shè)備200相對應(yīng)的動態(tài)QoS控制中，作為步驟S34的 FEC恢復(fù)的判定的結(jié)果，當(dāng)通過FEC不可能實現(xiàn)恢復(fù)時，執(zhí)行處理以通過ARQ向發(fā)送設(shè)備 200發(fā)送重發(fā)請求。(7)字幕信息和音頻信息的處理接下來，將說明字幕信息的處理。字幕信息的優(yōu)先度可被設(shè)定得高于視頻圖像的， 并且可被作為關(guān)于視頻圖像信息的特殊信息來處理。作為一個示例，關(guān)于字幕信息的冗余度可被設(shè)定得高于視頻圖像信息。另外，可以設(shè)想一種使用SVC(可擴(kuò)展視頻編解碼器)層和優(yōu)先度的方法。這是這樣一種方法其中，根據(jù)層的重要度來改變FEC量，并且通過利用單個編碼矩陣對多個信道的每個層執(zhí)行處理來縮短延遲時間的處理方法是可能的。作為示例，諸如低頻圖像之類的更重要的圖像被認(rèn)為是更重要的層并且具有較高的優(yōu)先度。此外，可以以類似的方式處理音頻信息，其中多個聲道的數(shù)據(jù)被復(fù)用在單個FEC 編碼矩陣上并被處理，并且當(dāng)分組丟失發(fā)生時與環(huán)繞立體聲等等有關(guān)的分組可被總體處理。如上所述，根據(jù)本實施例，可以構(gòu)造具有低延遲而且具有高分組丟失恢復(fù)力的3D 視頻圖像實況傳送系統(tǒng)。然后，即使不能執(zhí)行分組丟失恢復(fù)，也可以通過插值處理來提供不損失立體視頻效果的視頻圖像。另外，通過根據(jù)立體視頻效果的強(qiáng)度執(zhí)行FEC處理，可以提供不損失立體視頻效果的視頻圖像。此外，即使在增強(qiáng)分組丟失恢復(fù)力的同時，也可以將傳送帶寬抑制到等于或小于一定的帶寬。以上參考附圖詳細(xì)描述了示例性實施例。然而，本發(fā)明并不限于上述示例。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計要求和其他因素，可以發(fā)生各種修改、組合、子組合和更改，只要它們在所附權(quán)利要求或其等同物的范圍內(nèi)即可。[標(biāo)號列表]100 通信系統(tǒng)200 發(fā)送設(shè)備202 3D 處理部208 FEC 編碼部300 接收設(shè)備302 接收部304 FEC 解碼部
權(quán)利要求
1.一種視頻圖像數(shù)據(jù)編碼器，包括輸入，該輸入被配置為接收立體圖像數(shù)據(jù)，該立體圖像數(shù)據(jù)包括具有時間順序?qū)?yīng)性的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)；差錯校正編碼單元，該差錯校正編碼單元被配置為把來自所述輸入單元的所述第一圖像數(shù)據(jù)的部分和所述第二圖像數(shù)據(jù)的對應(yīng)部分組合到共同編碼矩陣中并且向所述編碼矩陣添加從所述組合的部分得出的差錯校正碼。
2.如權(quán)利要求1所述的圖像數(shù)據(jù)編碼器，其中，所述第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)分別表示由左眼和右眼感受到的圖像。
3.如權(quán)利要求1所述的圖像數(shù)據(jù)編碼器，其中，所述時間順序?qū)?yīng)性是基本同時產(chǎn)生的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。
4.如權(quán)利要求1所述的圖像數(shù)據(jù)編碼器，其中，所述第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的所述部分是數(shù)據(jù)分組。
5.如權(quán)利要求4所述的圖像數(shù)據(jù)編碼器，其中，所述差錯校正編碼單元把所述第一圖像數(shù)據(jù)的多個數(shù)據(jù)分組和所述第二圖像數(shù)據(jù)的多個數(shù)據(jù)分組組合到共同編碼矩陣中；并且所述差錯校正碼包括從所述共同編碼矩陣中的所述數(shù)據(jù)分組得出的奇偶數(shù)據(jù)的至少一個分組。
6.如權(quán)利要求5所述的圖像數(shù)據(jù)編碼器，其中，所述差錯校正碼包括從所述共同編碼矩陣中的所述數(shù)據(jù)分組得出的奇偶數(shù)據(jù)的至少一個額外分組。
7.如權(quán)利要求5所述的圖像數(shù)據(jù)編碼器，其中，所述第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的被組合到所述共同編碼矩陣中的所述數(shù)據(jù)分組表示由立體圖像拍攝裝置在共同時間段拍攝的圖像；并且所述輸入單元向在各個時間段拍攝的圖像數(shù)據(jù)的數(shù)據(jù)分組指派優(yōu)先級。
8.如權(quán)利要求7所述的圖像數(shù)據(jù)編碼器，其中，與對于包含較低優(yōu)先級的數(shù)據(jù)分組的共同編碼矩陣相比，對于包含較高優(yōu)先級的數(shù)據(jù)分組的共同編碼矩陣，所述差錯校正碼包括奇偶數(shù)據(jù)的更多分組。
9.如權(quán)利要求8所述的圖像數(shù)據(jù)編碼器，其中，在各個時間段中向數(shù)據(jù)分組指派的優(yōu)先級是所述第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)間的視差和/或色差的函數(shù)。
10.如權(quán)利要求9所述的圖像數(shù)據(jù)編碼器，其中，所述差錯校正編碼單元被配置為在共同編碼矩陣中識別所述第一圖像數(shù)據(jù)的與所述第二圖像數(shù)據(jù)的數(shù)據(jù)分組相關(guān)的數(shù)據(jù)分組。
11.一種以差錯校正碼對立體圖像數(shù)據(jù)編碼的視頻圖像編碼器，包括圖像獲取單元，該圖像獲取單元被配置為獲取表示在接連的時間段中拍攝的左圖像和右圖像的視頻圖像數(shù)據(jù)；分組化單元，該分組化單元被配置為形成左圖像數(shù)據(jù)的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)的右圖像數(shù)據(jù)分組并且向所述時間段中的數(shù)據(jù)分組指派優(yōu)先級；以及前向差錯校正(FEC)單元，該FEC單元被配置為形成所述接連的時間段中的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組的FEC編碼矩陣，每個FEC編碼矩陣包含相應(yīng)時間段中的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組和由指派給相應(yīng)時間段中的數(shù)據(jù)分組的優(yōu)先級決定的數(shù)個奇偶分組。
12.—種圖像發(fā)送器，包括圖像獲取單元，該圖像獲取單元被配置為獲取表示在接連的時間段中拍攝的左圖像和右圖像的視頻圖像數(shù)據(jù)；分組化單元，該分組化單元被配置為形成左圖像數(shù)據(jù)的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)的右圖像數(shù)據(jù)分組并且向所述時間段中的數(shù)據(jù)分組指派優(yōu)先級；前向差錯校正O7EC)單元，該FEC單元被配置為形成所述接連的時間段中的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組的FEC編碼矩陣，每個FEC編碼矩陣包含相應(yīng)時間段中的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組和由指派給相應(yīng)時間段中的數(shù)據(jù)分組的優(yōu)先級決定的數(shù)個奇偶分組；以及發(fā)送單元，該發(fā)送單元被配置為發(fā)送所述FEC編碼矩陣。
13.一種圖像接收裝置，包括接收單元，該接收單元被配置為接收圖像數(shù)據(jù)的差錯校正編碼矩陣，每個矩陣包括表示在共同時間段中獲取的左圖像和右圖像的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組以及數(shù)個奇偶分組；差錯校正解碼單元，該差錯校正解碼單元被配置為如果在接收到的矩陣中存在差錯則利用所述奇偶分組來恢復(fù)接收到的矩陣中的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組；以及分組處理單元，該分組處理單元被配置為如果所述差錯校正解碼單元不能恢復(fù)所述左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組則產(chǎn)生插值的數(shù)據(jù)分組。
14.如權(quán)利要求13所述的圖像接收裝置，其中，所述矩陣包括標(biāo)識所述矩陣中的相關(guān)的左圖像數(shù)據(jù)分組和右圖像數(shù)據(jù)分組的相關(guān)性信息；并且所述分組處理單元在相關(guān)的右圖像數(shù)據(jù)分組丟失的情況下使用左圖像數(shù)據(jù)分組執(zhí)行總體插值處理并且在相關(guān)的左圖像數(shù)據(jù)分組丟失的情況下使用右圖像數(shù)據(jù)分組。
全文摘要
一種視頻圖像數(shù)據(jù)編碼器包括接收立體圖像數(shù)據(jù)的輸入。該立體圖像數(shù)據(jù)包括具有時間順序?qū)?yīng)性的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)。差錯校正編碼單元把來自輸入單元的第一圖像數(shù)據(jù)的部分和第二圖像數(shù)據(jù)的對應(yīng)部分組合到共同編碼矩陣中。向編碼矩陣添加從組合的部分得出的差錯校正碼。
文檔編號H04N7/32GK102484561SQ20118000339
公開日2012年5月30日 申請日期2011年6月17日 優(yōu)先權(quán)日2010年6月24日
發(fā)明者板倉英三郎, 柿谷慧, 椿聰史, 石見英輝, 高橋宏彰 申請人:索尼公司