專利名稱：圖像接收器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像接收器。
背景技術(shù)：
正如以下展示的專利文獻(xiàn)中所述的那樣，已經(jīng)知道了以預(yù)定周期交替地將在其間具有視差的左眼圖像和右眼圖像供應(yīng)給顯示器并且利用包括與所述預(yù)定周期同步地被驅(qū)動(dòng)的液晶快門(mén)(liquid crystal shutter)的眼睛觀察這些圖像的方法。而且，以現(xiàn)行數(shù)字廣播提供諸如電子節(jié)目指南和數(shù)據(jù)廣播之類的服務(wù)，并且可以根據(jù)用戶要求接收除普通視頻和音頻節(jié)目之外的服務(wù)。引用列表專利文獻(xiàn)專利文獻(xiàn)1 JP9-138384A專利文獻(xiàn)2 JP2000-36969A專利文獻(xiàn)3 JP2003-45343A

發(fā)明內(nèi)容
技術(shù)問(wèn)題在這些情況下，也要求普通節(jié)目通過(guò)重新向視頻和音頻添加值(value)來(lái)進(jìn)一步充實(shí)服務(wù)。為了向視頻添加值，可以考慮這樣的方案除了普通視頻(以下被稱為普通觀看動(dòng)態(tài)圖像或第一圖像)之外，還發(fā)送已經(jīng)添加了值的視頻(以下被稱為附加信息動(dòng)態(tài)圖像或第二圖像)，以便在接收側(cè)呈現(xiàn)具有使用普通觀看動(dòng)態(tài)圖像的高添加值的動(dòng)態(tài)圖像以及附加信息動(dòng)態(tài)圖像。所述普通觀看動(dòng)態(tài)圖像包括廣泛使用的二維圖像和非立體圖像。為了發(fā)送附加信息動(dòng)態(tài)圖像來(lái)改進(jìn)內(nèi)容的添加值以及為普通觀看產(chǎn)生的普通觀看動(dòng)態(tài)圖像，可以分離地編碼和發(fā)送并且分離地解碼普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像以呈現(xiàn)動(dòng)態(tài)圖像，但在這情況下，需要在接收側(cè)進(jìn)行兩次解碼操作，并且升高安裝有兩個(gè)解碼器的接收器的價(jià)格。另一方面，如果在單屏幕上包含普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像，則一起編碼普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像，以便可以由單編碼器編碼這些圖像，并且還可以由單解碼器解碼普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像。然而，總是將普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像顯示為接收器的輸出，以便該顯示不同于發(fā)送側(cè)原來(lái)預(yù)期的普通觀看動(dòng)態(tài)圖像?？紤]在例如將雙眼立體動(dòng)態(tài)圖像作為與普通視頻相比具有高添加值的視頻發(fā)送時(shí)的情況。在這種情況下，可以將單眼動(dòng)態(tài)圖像考慮為普通觀看動(dòng)態(tài)圖像，以便將另一單眼動(dòng)態(tài)圖像作為附加信息動(dòng)態(tài)圖像發(fā)送。結(jié)果，如在圖觀和圖四中所示，在不能夠顯示立體視覺(jué)的常規(guī)接收器中，通過(guò)垂直或水平地進(jìn)行收縮來(lái)在同一屏幕上并排同時(shí)顯示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像。由于雙眼立體視覺(jué)中的左和右動(dòng)態(tài)圖像在內(nèi)容上僅僅具有較小的差異，所以期望能夠像在圖30而不是圖洲和圖四中那樣，在不能夠顯示雙眼立體視覺(jué)的接收器中以正確的縱橫比僅僅觀看單眼動(dòng)態(tài)圖像(普通觀看動(dòng)態(tài)圖像)。已經(jīng)考慮到以上問(wèn)題作出了本發(fā)明，并且期望提供能夠處理附加信息動(dòng)態(tài)圖像以及普通觀看動(dòng)態(tài)圖像的、新穎和改進(jìn)了的圖像接收器，同時(shí)在動(dòng)態(tài)圖像發(fā)送時(shí)將現(xiàn)行發(fā)送器/接收器的變化減少到最小。技術(shù)方案根據(jù)本發(fā)明的一個(gè)方面，為了達(dá)到上述目的，提供一種圖像接收器，其包括接收單元，接收在其中在一幀中布置第一圖像和第二圖像的集成圖像；以及獲取單元，獲取指示與該集成圖像一起發(fā)送的第一圖像的區(qū)域的區(qū)域信息，其中，包括在其中僅僅第一圖像基于區(qū)域信息被顯示的非立體視頻顯示模式和/或在其中第一圖像和第二圖像被顯示為立體視頻的立體視頻顯示模式?？梢曰谥甘炯蓤D像是立體視頻的信息切換非立體視頻顯示模式和立體視頻顯示模式。第一圖像可以是左眼圖像，而第二圖像可以是右眼圖像?？梢酝ㄟ^(guò)H264/AVC編解碼器編碼集成圖像和區(qū)域信息，并且該區(qū)域信息可以是 Crop (剪裁)參數(shù)。該Crop參數(shù)可以被包含在序列參數(shù)集(SPQ中。發(fā)明的有益效果根據(jù)本發(fā)明，可以與普通觀看動(dòng)態(tài)圖像一起處理附加信息動(dòng)態(tài)圖像，同時(shí)在動(dòng)態(tài)圖像發(fā)送時(shí)將現(xiàn)行發(fā)送器/接收器的變化減少到最小。


圖1是示出在一個(gè)屏幕中顯示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的狀態(tài)的示意圖。圖2是示出將圖1的布置信息表示成表格的狀態(tài)的示意圖。圖3是示出剪裁參數(shù)和涉及要裁剪掉的區(qū)域的矩形區(qū)域的參數(shù)的示意圖。圖4是示出杜比AC-3音頻的流信息的示意圖。圖5是示出在附加信息動(dòng)態(tài)圖像描述符被添加到PMT的流信息時(shí)的情況的示意圖。圖6是示出附加信息動(dòng)態(tài)圖像描述符的內(nèi)容示例的簡(jiǎn)圖。圖7是示出附加信息動(dòng)態(tài)圖像SEI的層級(jí)的簡(jiǎn)圖。圖8是示出在將附加信息動(dòng)態(tài)圖像存在信息作為新的專用部分發(fā)送時(shí)的情況的簡(jiǎn)圖。圖9是示出緊接在普通觀看動(dòng)態(tài)圖像之后布置附加信息動(dòng)態(tài)圖像的裁剪位置 (cutout position)時(shí)的情況的示意圖。圖10是示出緊接在普通觀看動(dòng)態(tài)圖像之后布置附加信息動(dòng)態(tài)圖像的裁剪位置時(shí)的協(xié)議內(nèi)容(agreement content)的示意圖。圖11是示出在右眼動(dòng)態(tài)圖像關(guān)于左眼圖像隔開(kāi)布置時(shí)的情況的示意圖。
圖12是示出關(guān)于圖11的情況的協(xié)議內(nèi)容的示意圖。圖13是示出同意多立體視覺(jué)的動(dòng)態(tài)圖像的水平布置時(shí)集成圖像的布置狀態(tài)的示意圖。圖14是示出在這樣的協(xié)議下集成圖像的布置狀態(tài)的示意圖水平地布置盡可能多的動(dòng)態(tài)圖像，并且如果有任何剩余動(dòng)態(tài)圖像，就垂直地布置這樣的動(dòng)態(tài)圖像。圖15是示出在其中在上部布置主立體視覺(jué)動(dòng)態(tài)圖像而在下部布置補(bǔ)充立體視覺(jué)動(dòng)態(tài)圖像的集成動(dòng)態(tài)圖像示例的示意圖。圖16是示出在將附加信息動(dòng)態(tài)圖像SEI重新添加到H. 264時(shí)的內(nèi)容的示意圖。圖17是示出在其中在重新為附加信息動(dòng)態(tài)圖像的每一種類型建立SEI時(shí)在sei_ message中不存在必需的信息項(xiàng)的狀態(tài)的示意圖。圖18是示出在附加信息動(dòng)態(tài)圖像描述符被添加到PMT時(shí)的內(nèi)容的示意圖。圖19是示出在為附加信息動(dòng)態(tài)圖像的每一種類型準(zhǔn)備了描述符時(shí)在描述符之內(nèi)的信息的示意圖。圖20是示出在將發(fā)送附加信息動(dòng)態(tài)圖像存在信息的數(shù)據(jù)添加到MPEG2-TS的專用部分時(shí)private_data_byte的內(nèi)容的示意圖。圖21是示出在將附加信息動(dòng)態(tài)圖像SEI重新添加到H. 264時(shí)的內(nèi)容的示意圖。圖22是示出根據(jù)本實(shí)施方式的發(fā)送器的塊圖。圖23是示出現(xiàn)有發(fā)送器的示意圖。圖M是示出根據(jù)本實(shí)施方式的接收器的示意圖。圖25是示出現(xiàn)有接收器的示意圖。圖沈是示出在將附加信息動(dòng)態(tài)圖像描述符重新添加到PMT描述符時(shí)的內(nèi)容的簡(jiǎn)圖。圖27是示出在將發(fā)送附加信息動(dòng)態(tài)圖像存在信息的數(shù)據(jù)添加到MPEG2-TS的專用部分時(shí)private_data_byte的內(nèi)容的簡(jiǎn)圖。圖28是示出在其中在垂直或水平地收縮后在同一屏幕上并排同時(shí)顯示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的狀態(tài)的示意圖。圖四是示出在其中在垂直或水平地收縮后在同一屏幕上并排同時(shí)顯示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的狀態(tài)的示意圖。圖30是示出在其中僅僅單眼動(dòng)態(tài)圖像(普通觀看動(dòng)態(tài)圖像)被以正確的縱橫比顯示的狀態(tài)的示意圖。圖31是示出在將普通觀看動(dòng)態(tài)圖像布置為集成圖像中的1440 X 1080的左眼動(dòng)態(tài)圖像而附加信息動(dòng)態(tài)圖像布置為480X1080的左眼動(dòng)態(tài)圖像時(shí)的情況的示意圖。圖32是示出在將普通觀看動(dòng)態(tài)圖像布置為集成圖像中的1920X810的中心動(dòng)態(tài)圖像而附加信息動(dòng)態(tài)圖像布置為960X270的兩個(gè)圖像(左動(dòng)態(tài)圖像、右動(dòng)態(tài)圖像)時(shí)的情況的示意圖。圖33是示出在將H. 264用作編碼器并且使用附加信息動(dòng)態(tài)圖像時(shí)發(fā)送器的處理流程的示意圖。圖34是示出在將H. 264用作編碼器并且使用附加信息動(dòng)態(tài)圖像描述符時(shí)發(fā)送器的處理流程的示意圖。
圖35是示出在將H. 264用作編碼器并且使用附加信息動(dòng)態(tài)圖像部分時(shí)發(fā)送器的處理流程的示意圖。圖36是在使用要被添加到H. 264的附加信息動(dòng)態(tài)圖像SEI時(shí)接收器的流程圖。圖37是在使用要被添加到PMT描述符的附加信息動(dòng)態(tài)圖像描述符時(shí)接收器的流程圖。圖38是在使用要被添加到MPEG2-TS的附加信息動(dòng)態(tài)圖像部分時(shí)接收器的流程圖。圖39是在使用要被添加到H. 264的附加信息動(dòng)態(tài)圖像SEI時(shí)接收器的流程圖。圖40是在使用要被添加到PMT描述符的附加信息動(dòng)態(tài)圖像描述符時(shí)接收器的流程圖。圖41是在使用要被添加到MPEG2-TS的附加信息動(dòng)態(tài)圖像部分時(shí)接收器的流程圖。圖42是在使用要被添加到H. 264的附加信息動(dòng)態(tài)圖像SEI時(shí)接收器的流程圖。圖43是在使用要被添加到PMT描述符的附加信息動(dòng)態(tài)圖像描述符時(shí)接收器的流程圖。圖44是在使用要被添加到MPEG2-TS的附加信息動(dòng)態(tài)圖像部分時(shí)接收器的流程圖。
具體實(shí)施例方式以下將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施方式。注意，在本說(shuō)明書(shū)和附圖中，具有實(shí)質(zhì)上相同的功能和結(jié)構(gòu)的元素用同一附圖標(biāo)記表示，并且省略重復(fù)的描述。其描述將以以下次序提供1.第一實(shí)施方式(發(fā)送任意多個(gè)圖像的示例)2.第二實(shí)施方式(對(duì)立體視覺(jué)圖像的應(yīng)用)[1.第一實(shí)施方式]首先，將基于附圖描述根據(jù)本實(shí)施方式的系統(tǒng)的概念。這里，將通過(guò)采用高爾夫球轉(zhuǎn)播(golfrelay broadcasting)的內(nèi)容作為示例來(lái)描述在將不用于雙眼立體視覺(jué)的動(dòng)態(tài)圖像作為附加信息動(dòng)態(tài)圖像發(fā)送時(shí)的情況。高爾夫球轉(zhuǎn)播的內(nèi)容僅僅是一個(gè)圖解說(shuō)明，本發(fā)明的應(yīng)用范圍不限于高爾夫球轉(zhuǎn)播。圖1示出在其中在一個(gè)屏幕中顯示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的狀態(tài)，并且圖1中的數(shù)字指示像素的數(shù)量。這里，考慮在本實(shí)施方式的方法用于環(huán)繞草坪的情形時(shí)的情況。普通觀看動(dòng)態(tài)圖像是在高爾夫球轉(zhuǎn)播中通常被轉(zhuǎn)播的動(dòng)態(tài)圖像，并且對(duì)應(yīng)于現(xiàn)行節(jié)目?jī)?nèi)容(原始版本)。另一方面，附加信息動(dòng)態(tài)圖像是與普通觀看動(dòng)態(tài)圖像分離的動(dòng)態(tài)圖像，并且通過(guò)提供根據(jù)不同于普通觀看動(dòng)態(tài)圖像的角度的角度創(chuàng)建的動(dòng)態(tài)圖像來(lái)充實(shí)節(jié)目?jī)?nèi)容。例如，如圖1中所示，如果將草坪的視頻顯示為普通觀看動(dòng)態(tài)圖像，則使得用戶通過(guò)使用示出草坪草地的坡度或紋路(inclination or grain of grass of green)的動(dòng)態(tài)圖像或示出密切注視監(jiān)視器的已經(jīng)將高爾夫球擊打入洞(hole out)的另一玩家的動(dòng)態(tài)圖像作為附加信息動(dòng)態(tài)圖像，能夠從各個(gè)角度看見(jiàn)視頻場(chǎng)景。如果普通觀看動(dòng)態(tài)圖像是示出走在高爾夫球道上的玩家的視頻，則可以考慮使用剛剛的球桿擊打(driver shot)的再現(xiàn)圖像或者示出高爾夫球賽觀眾(gallery)的動(dòng)態(tài)圖像作為附加信息動(dòng)態(tài)圖像?！醇蓜?dòng)態(tài)圖像〉在本實(shí)施方式中，將普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像布置在一幀(或場(chǎng)) 中，并且作為一個(gè)動(dòng)態(tài)圖像(以下描述為集成動(dòng)態(tài)圖像)在其上進(jìn)行壓縮/解壓處理，以最小化從現(xiàn)行動(dòng)態(tài)圖像壓縮/解壓?jiǎn)卧淖兓?。圖1示出了在將在草坪上示出球的普通觀看動(dòng)態(tài)圖像、從上面示出整個(gè)洞的動(dòng)態(tài)圖像和圖解草坪(green)坡度的動(dòng)態(tài)圖像布置在一幀中時(shí)的一幀集成動(dòng)態(tài)圖像。如果幀用場(chǎng)代替，本實(shí)施方式的有效性不會(huì)改變。圖2以表格形式示出圖1的布置信息。圖2示出了在集成動(dòng)態(tài)圖像的尺寸為 1920X1080像素并且該集成圖像的左上角的坐標(biāo)被設(shè)置為(0，0)時(shí)每個(gè)動(dòng)態(tài)圖像的布置信息。因?yàn)閺淖笊辖钦迟N圖像，所以在左上端點(diǎn)的普通觀看動(dòng)態(tài)圖像的坐標(biāo)為(0，0)。普通觀看動(dòng)態(tài)圖像是在寬度方向(水平方向)上被收縮了一半的圖像，具有960X1080像素作為寬X高。由于收縮的緣故，樣本縱橫比變成2 1。另一方面，附加信息動(dòng)態(tài)圖像具有 720X480像素的圖像尺寸，并且被假定為基于通過(guò)假定16 9的屏幕創(chuàng)建的動(dòng)態(tài)圖像，以便其樣本縱橫比變成40 33。不需要兩個(gè)附加信息動(dòng)態(tài)圖像的區(qū)域/縱橫比匹配，并且附加信息動(dòng)態(tài)圖像的數(shù)量不限于兩個(gè)。<現(xiàn)行廣播>將描述在通過(guò)現(xiàn)行數(shù)字廣播系統(tǒng)發(fā)送以上集成動(dòng)態(tài)圖像的情況。在現(xiàn)行數(shù)字廣播系統(tǒng)，編碼并用被稱為MPEG2-TS(傳輸流)的分組復(fù)用方法發(fā)送動(dòng)態(tài)圖像和音頻。動(dòng)態(tài)圖像的主流(Mainstream)編解碼器包括MPEG2 VIDEO和H.沈4 (AVC)，并且在被發(fā)送之前用這些編解碼器壓縮動(dòng)態(tài)圖像。<發(fā)送器的配置>圖22是示出根據(jù)本實(shí)施方式的發(fā)送器100的塊圖。如圖22中所示，發(fā)送器100 包括動(dòng)態(tài)圖像壓縮單元102、普通觀看動(dòng)態(tài)圖像區(qū)域編碼單元104和附加信息動(dòng)態(tài)圖像存在信息編碼單元106。將在使用附加信息動(dòng)態(tài)圖像時(shí)集成普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的集成動(dòng)態(tài)圖像、集成動(dòng)態(tài)圖像中的普通觀看動(dòng)態(tài)圖像的區(qū)域和縱橫比、附加信息動(dòng)態(tài)圖像的類型和區(qū)域(如果在發(fā)送和接收之間事先沒(méi)有任何協(xié)議)以及集成動(dòng)態(tài)圖像中的普通觀看動(dòng)態(tài)圖像的區(qū)域(如果在發(fā)送和接收之間事先沒(méi)有任何協(xié)議)輸入到圖22中的發(fā)送器100，并且將上述信息的編碼數(shù)據(jù)流從那里輸出。圖23示出了一個(gè)現(xiàn)有發(fā)送器，其不同于圖22中的發(fā)送器100在于現(xiàn)有發(fā)送器不包括編碼信息動(dòng)態(tài)圖像存在信息編碼單元 106?？梢杂弥T如電路或中央處理器單元(CPU)之類的硬件以及使得該CPU起作用的程序 (軟件)創(chuàng)建在圖22或圖23中所示的配置。這也應(yīng)用于接收器。<集成動(dòng)態(tài)圖像的壓縮以及普通觀看動(dòng)態(tài)圖像的區(qū)域編碼>在本實(shí)施方式中，在動(dòng)態(tài)圖像壓縮單元102中用現(xiàn)有編解碼器壓縮如圖1所示那樣布置的集成動(dòng)態(tài)圖像。此外，利用現(xiàn)有編解碼器的編碼方法，通過(guò)普通觀看動(dòng)態(tài)圖像區(qū)域編碼單元104編碼圖2中的樣本縱橫比和指示布置信息的普通觀看動(dòng)態(tài)圖像的區(qū)域的信息 (左上端點(diǎn)、寬度/高度)。首先，例如，如果動(dòng)態(tài)圖像的編解碼器遵循H. 264,則使用在SPS中的VUI (視頻可
7用信息)之內(nèi)的aspect_ratio_idc，sar_width, sar_hight來(lái)指定普通觀看動(dòng)態(tài)圖像的樣本縱橫比。在圖2中存在多個(gè)樣本縱橫比，并且以如下方式使用普通觀看動(dòng)態(tài)圖像的樣本縱橫比以正確的長(zhǎng)寬比(length-to-width ratio)顯示普通觀看動(dòng)態(tài)圖像。在圖2的情況下，普通觀看動(dòng)態(tài)圖像的樣本縱橫比為2:1，因此不需要設(shè)置Sar_width和sar_hight，并且可以設(shè)置 aspect_ratio_idc = 16。將普通觀看動(dòng)態(tài)圖像的區(qū)域的信息編碼為集成動(dòng)態(tài)圖像中的普通觀看動(dòng)態(tài)圖像的裁剪(cutout)區(qū)域。例如，如果動(dòng)態(tài)圖像的編解碼器遵循H.沈4，則將區(qū)域設(shè)置為通過(guò)利用 SPS(序列參數(shù)集)中的 frame_crop_left_offset> frame_crop_right_offset> frame_ crop_top_offset禾口 frame_crop_bottom_offset從集成動(dòng)態(tài)圖像中裁剪普通觀看動(dòng)態(tài)圖像的剪裁參數(shù)。剪裁參數(shù)和作為矩形區(qū)域裁剪掉的區(qū)域具有以下所示的關(guān)系。利用圖3所示的 SubWidthC和SubHightC，左上端點(diǎn)的坐標(biāo)(xs，ys)被給定為xs = SubffidthC*frame_crop_left_offsetys = SubHightC*(2-frame_mbs_only_flag)*frame_crop_top_offset右下端點(diǎn)的坐標(biāo)(xe，ye)被給定為xe = PicffidthInSamles-(SubffidthC*frame_crop_right_offset+l)ye = 16*FrameHightInMbs-(SubHightC*(2-frame_mbs_only_flag)氺frame_crop_bottom_offset+l)chroma_format_idc 禾口 frame_mbs_only_flag 是 H. 264 的 SPS 之內(nèi)的兩個(gè)參數(shù)。在現(xiàn)行廣播中，chroma_format_idc為 1，因此 SubWidthC = 2 和 SubHightC = 2。 frame_mbS_only_flag為指示是否進(jìn)行按幀或場(chǎng)的動(dòng)態(tài)圖像壓縮的標(biāo)志。圖1圖解了幀中的布置，因此假定按幀壓縮，并將通過(guò)設(shè)置frame_mbS_0nly_flag =1繼續(xù)該描述。當(dāng)按場(chǎng)進(jìn)行壓縮時(shí)，可以設(shè)置frame_mbS_only_flag = 0以便于計(jì)算，本實(shí)施方式在按場(chǎng)進(jìn)行壓縮時(shí)也有效。從以上，xs、xe、ys和ye被給定為xs = 2*frame_crop_left_offsetys = 2*frame_crop_top_offsetxe = PicffidthInSamles- (2*frame_crop_right_offset+1)ye = 16*FrameHightInMbs-(2*frame_crop_bottom_offset+l)因此，裁剪圖像具有被給定為如下的寬度w和高度hw = PicWidthInSamles-2*frame_crop_left_offset-2*frame_crop_right_ offseth = 16*FrameHightInMbs-2*frame_crop_top_offset-2*frame_crop_bottom_ offset將裁剪圖1中的普通觀看動(dòng)態(tài)圖像的參數(shù)從集成動(dòng)態(tài)圖像的寬度確定為 PicffidthInSamples = 1920 和 16*FrameHightInMbs = 1088，這是因?yàn)榧蓜?dòng)態(tài)圖像的高度為1080，它不是16的倍數(shù)。此外，根據(jù)普通觀看動(dòng)態(tài)圖像的XS = 0、ys = 0、w = 960、h = 1080，可以作出下列設(shè)置frame_crop_left_offset = 0frame—crop—top—offset = 0frame_crop_right_offset = 480frame_crop—bottom—offset = 8如果如上所述那樣通過(guò)指定普通觀看動(dòng)態(tài)圖像的樣本縱橫比和布置信息來(lái)進(jìn)行 H. 264中的編碼處理，則普通觀看動(dòng)態(tài)圖像從集成動(dòng)態(tài)圖像中被裁剪掉，并且通過(guò)解碼被編碼的流來(lái)以正確的長(zhǎng)寬比顯示。以上是H.沈4中的普通觀看動(dòng)態(tài)圖像的樣本縱橫比和布置信息的編碼，可以在 MPEG2 VIDEO中類似地進(jìn)行編碼。關(guān)于樣本縱橫比，aspect_ratio_information處于序列首標(biāo)中，并且可以用樣本縱橫比或顯示器縱橫比來(lái)設(shè)置參數(shù)。樣本縱橫比指示剛解壓之后的像素的長(zhǎng)寬比，而顯示器縱橫比指示顯示器中的長(zhǎng)胃t匕。圖2中的普通觀看動(dòng)態(tài)圖像的樣本縱橫比為2 1，其指示像素的寬度是高度的兩倍。因此，960X1080的圖像在水平方向上被擴(kuò)展一倍，以便以1920X1080顯示圖像。顯示器縱橫比為顯示器的1920X1080的長(zhǎng)寬比，因此得到1920 1080 = 16 9。該16 9 可以通過(guò)設(shè)置aspect_ratio_information = 3來(lái)指定。另一方面，關(guān)于區(qū)域裁剪，可以通過(guò)序列顯示擴(kuò)展首標(biāo)中的display_VertiCal_ size和display_horizontal_size來(lái)指定要被裁剪掉的寬度/高度。可以通過(guò)畫(huà)面顯示擴(kuò)展首標(biāo)中的 frame_centre_horizontal_offset 禾口 frame_centre_vertical_offset 來(lái)指定裁剪部分的中心與原始圖像的中心之間的偏差。使用這些參數(shù)，可以編碼普通觀看動(dòng)態(tài)圖像的樣本縱橫比和布置信息。然而，在ITU-T. Rec. H. 262的描述中，這些參數(shù)與全景掃描 (pan-scan)并行地被描述，并且可以不依賴于廣播規(guī)則隨便設(shè)置。關(guān)于H.沈4，可以與全景掃描分離地設(shè)置剪裁參數(shù)，并且不存在對(duì)涉及全景掃描的參數(shù)的限制。如果另一編解碼器具有裁剪掉解壓后的動(dòng)態(tài)圖像的參數(shù)，則這樣的參數(shù)可以被用于指定本發(fā)明中的普通觀看動(dòng)態(tài)圖像的樣本縱橫比和布置信息。接下來(lái)，將描述要由圖22中所示的發(fā)送器100的附加信息動(dòng)態(tài)圖像存在信息編碼單元106編碼的附加信息動(dòng)態(tài)圖像存在信息。<附加信息動(dòng)態(tài)圖像存在信息>在圖1的示例中，除了普通觀看動(dòng)態(tài)圖像之外，還發(fā)送兩個(gè)附加信息動(dòng)態(tài)圖像， 即，附加信息動(dòng)態(tài)圖像1，2。這些附加信息動(dòng)態(tài)圖像是作為節(jié)目的補(bǔ)充動(dòng)態(tài)圖像的有效動(dòng)態(tài)圖像，但可以被考慮為根據(jù)用戶偏好顯示的動(dòng)態(tài)圖像，而不是總是這樣。在圖1中的示例中，對(duì)于主屏幕中的草坪，通過(guò)將從同一角度示出草坪的起伏 (undulation)的動(dòng)態(tài)圖像和從天空拍攝整個(gè)洞的俯瞰(survey)的動(dòng)態(tài)圖像作為補(bǔ)充動(dòng)態(tài)圖像布置在集成動(dòng)態(tài)圖像中來(lái)發(fā)送這些動(dòng)態(tài)圖像。附加信息動(dòng)態(tài)圖像存在信息是指示“是否存在這些補(bǔ)充動(dòng)態(tài)圖像”、“如果存在，則寬度/高度、位置和樣本縱橫比是多少？ ”、“此外，當(dāng)使用這些補(bǔ)充動(dòng)態(tài)圖像時(shí)，普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域怎么樣？ ”的信息。在圖1和圖2的示例中，附加信息動(dòng)態(tài)圖像的寬度、高度和樣本縱橫比不同于普通觀看動(dòng)態(tài)圖像的寬度、高度和樣本縱橫比。這里假定在發(fā)送器和接收器之間未對(duì)在使用附加信息動(dòng)態(tài)圖像時(shí)附加信息動(dòng)態(tài)圖像的寬度、高度和樣本縱橫比和普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域事先達(dá)成一致。<當(dāng)將附加信息動(dòng)態(tài)圖像存在信息作為H. 264標(biāo)準(zhǔn)的SEI發(fā)送時(shí)>在H. 264標(biāo)準(zhǔn)中，定義被稱為補(bǔ)充增強(qiáng)信息(SEI)的補(bǔ)充信息的描述方法。在SEI 中，描述諸如數(shù)據(jù)在輸入/輸出緩沖器用于解碼的保持時(shí)間和在隨機(jī)存取期間解碼的點(diǎn)的存在之類的信息。在本實(shí)施方式中，描述了通過(guò)重新添加附加信息動(dòng)態(tài)圖像SEI使得本實(shí)施方式中的附加信息動(dòng)態(tài)圖像存在信息可發(fā)送的示例。圖7示出了附加信息動(dòng)態(tài)圖像SEI的層級(jí)并且在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度，附加信息動(dòng)態(tài)圖像的類型，附加信息動(dòng)態(tài)圖像的數(shù)量，各種附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度/高度和樣本縱橫比被指定為SEI的 sei—message。文法上根據(jù)H. 264的文法規(guī)則創(chuàng)建重新在本實(shí)施方式中添加的SEI。因此，現(xiàn)有發(fā)送器難以解碼SEI，但可以通過(guò)跳過(guò)SEI來(lái)進(jìn)行下一處理。圖33示出了在使用H. 264作為編碼器并且使用附加信息動(dòng)態(tài)圖像SEI時(shí)發(fā)送器100的處理流程圖。首先，將根據(jù)集成動(dòng)態(tài)圖像中普通觀看動(dòng)態(tài)圖像的位置、寬度和高度計(jì)算出來(lái)的、H. 264的剪裁參數(shù)和aspect ratio_idc(必要時(shí)也使用sar_width和sar_hight)設(shè)置到編碼器(步驟S100)。接下來(lái)，將在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度，附加信息動(dòng)態(tài)圖像的類型，樣本縱橫比，以及根據(jù)左上端點(diǎn)和寬度/高度確定的附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度設(shè)置到編碼器，作為附加信息動(dòng)態(tài)圖像 SEI (步驟S102)。此外，作出諸如集成動(dòng)態(tài)圖像的圖像尺寸之類的編碼器設(shè)置，然后編碼集成動(dòng)態(tài)圖像(步驟S104)。對(duì)于通過(guò)數(shù)字廣播系統(tǒng)的發(fā)送，可以通過(guò)基于MPEG2-TS復(fù)用來(lái)獲得發(fā)送流(步驟S106)。在圖7中，用裁剪開(kāi)始位置、寬度和高度指定普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的布置，但該布置也可以用諸如在H. 264中指定剪裁區(qū)域的方法之類的其他方法來(lái)指定。SEI是由H. 264標(biāo)準(zhǔn)定義的發(fā)送描述，并且可以通過(guò)添加描述來(lái)重新發(fā)送補(bǔ)充信息，以適應(yīng)具有發(fā)送補(bǔ)充信息到動(dòng)態(tài)圖像壓縮/解壓處理(例如，對(duì)MPEG2視頻使用USER_ DATA)的裝置的任何編解碼器。(市場(chǎng)上銷售和已出售的)現(xiàn)有發(fā)送器難以解碼重新添加的附加信息動(dòng)態(tài)圖像 SEI，但可以通過(guò)跳過(guò)SEI來(lái)繼續(xù)處理。這里假定由現(xiàn)有接收器通過(guò)跳過(guò)附加信息動(dòng)態(tài)圖像 SEI來(lái)進(jìn)行接收處理。圖25是示出現(xiàn)有接收器400的示意圖。組合普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的集成動(dòng)態(tài)圖像的編碼和普通觀看動(dòng)態(tài)圖像的區(qū)域的編碼是與現(xiàn)有發(fā)送器進(jìn)行的處理相同的處理。因此，如圖25所示，甚至現(xiàn)有接收器400也解碼集成動(dòng)態(tài)圖像，并且像基于上述剪裁信息所期望的那樣，普通觀看動(dòng)態(tài)圖像被裁剪掉并且顯示在動(dòng)態(tài)圖像輸出單元 206 中。另一方面，圖M是示出根據(jù)本實(shí)施方式的接收器200的示意圖。根據(jù)本實(shí)施方式的接收器200包括動(dòng)態(tài)圖像解壓?jiǎn)卧?02、普通觀看動(dòng)態(tài)圖像區(qū)域解碼單元204、附加信息動(dòng)態(tài)圖像存在信息解碼單元208和動(dòng)態(tài)圖像輸出單元(顯示面板)206。在根據(jù)本實(shí)施方式的接收器200中，可以由附加信息動(dòng)態(tài)圖像存在信息解碼單元208解碼附加信息動(dòng)態(tài)圖像 SEL·因此，接收器200辨認(rèn)普通觀看動(dòng)態(tài)圖像的區(qū)域之外的附加信息動(dòng)態(tài)圖像的存在，并且可以獲得在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度， 附加信息動(dòng)態(tài)圖像的數(shù)量，以及每個(gè)附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度、高度和樣本縱橫比。<當(dāng)將附加信息動(dòng)態(tài)圖像存在信息作為PMT的描述符發(fā)送時(shí)>在MPEG2-TS中，PMT (節(jié)目映像表)被定義為描述要發(fā)送的節(jié)目流信息的PSI (節(jié)目系統(tǒng)信息)。PMT的流信息包含用來(lái)選擇音頻或視頻分組的PID (Packet ID)、stream_type和描述符，以便可以知道用于編碼的視頻編解碼器或音頻編解碼器使用什么。圖4示出杜比AC-3音頻的流信息。AC-3的stream_type未定義在ITU-TREC. H. 222. 0中，并且在歐洲使用PES專用數(shù)據(jù)的Stream_type，而在美國(guó)使用用戶專用的 stream_type。因此，難以單獨(dú)從圖4中的stream_type確定elementary_PID指定的PID的分組是否是音頻流。因此，AC-3提供AC-3描述符作為PMT的描述符，以及是否可以通過(guò)檢測(cè)這個(gè)描述符來(lái)判斷AC-3流。因此，PMT通過(guò)該描述符提供關(guān)于節(jié)目的編解碼器的設(shè)置信息的使用方法。同樣在本實(shí)施方式中，將基于該使用方法，描述通過(guò)將該描述符添加到PMT來(lái)發(fā)送附加信息動(dòng)態(tài)圖像存在信息的示例。圖5示出在將附加信息動(dòng)態(tài)圖像描述符添加到PMT 的流信息時(shí)的情況。該附加信息動(dòng)態(tài)圖像描述符通知集成動(dòng)態(tài)圖像被壓縮并且附加信息動(dòng)態(tài)圖像以具有由elementary_PID指定的PID的分組存在，并且作出參數(shù)通知來(lái)使用附加信息動(dòng)態(tài)圖像。如果由H. 264壓縮集成動(dòng)態(tài)圖像，則將OX IB設(shè)置為stream_type，而如果由 MPEG2壓縮集成動(dòng)態(tài)圖像，則將0X2設(shè)置為Stream_type。附加信息動(dòng)態(tài)圖像描述符本身與編解碼器無(wú)關(guān)，并且同樣的附加信息動(dòng)態(tài)圖像描述符可以用于MPEG2和H. 2640毫無(wú)疑問(wèn)，現(xiàn)有接收器400難以解釋附加信息動(dòng)態(tài)圖像描述符，并且通常通過(guò)忽略描述符來(lái)操作。然而，如果通過(guò)遵循本實(shí)施方式來(lái)設(shè)置集成動(dòng)態(tài)圖像和普通觀看動(dòng)態(tài)圖像的區(qū)域以及樣本縱橫比，則集成動(dòng)態(tài)圖像也可以由現(xiàn)有接收器400解碼并且從其中裁剪掉普通觀看動(dòng)態(tài)圖像，以便可以正確地顯示普通觀看動(dòng)態(tài)圖像。另一方面，在根據(jù)本實(shí)施方式的接收器200中，可以通過(guò)附加信息動(dòng)態(tài)圖像存在信息解碼單元208解碼并解釋附加信息動(dòng)態(tài)圖像描述符。因此，可以辨認(rèn)普通觀看動(dòng)態(tài)圖像的區(qū)域之外的附加信息動(dòng)態(tài)圖像的存在。在本實(shí)施方式中，假定在發(fā)送器與接收器之間對(duì)在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域與附加信息動(dòng)態(tài)圖像的寬度/高度和樣本縱橫比事先達(dá)成一致，因此將這些參數(shù)存儲(chǔ)在附加信息動(dòng)態(tài)圖像描述符中并發(fā)送。圖6示出了附加信息動(dòng)態(tài)圖像描述符的內(nèi)容示例。圖34示出了使用H. 264作為編碼器并且使用附加信息動(dòng)態(tài)圖像描述符時(shí)發(fā)送器的處理流程圖。首先，將根據(jù)集成動(dòng)態(tài)圖像中的普通觀看動(dòng)態(tài)圖像的位置、寬度和高度計(jì)算出來(lái)的、H. 264的剪裁參數(shù)和aspect_ ratio_idc (必要時(shí)也使用sar_width和sar_hight)設(shè)置到編碼器(步驟S200)。接下來(lái)， 準(zhǔn)備使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度，附加信息動(dòng)態(tài)圖像的類型，樣本縱橫比，以及根據(jù)左上端點(diǎn)和寬度/高度確定的附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度，作為圖6中的附加信息動(dòng)態(tài)圖像描述符(步驟S202)。此外，作出諸如集成動(dòng)態(tài)圖像的圖像尺寸之類的編碼器設(shè)置，然后編碼集成動(dòng)態(tài)圖像(步驟 S204)?？梢酝ㄟ^(guò)將準(zhǔn)備好的附加信息動(dòng)態(tài)圖像描述符設(shè)置到用于數(shù)字廣播系統(tǒng)的發(fā)送需要的MPEG2-TS復(fù)用的PMT，來(lái)獲得發(fā)送流(步驟S206)。在圖2的示例中，除了普通觀看動(dòng)態(tài)圖像之外存在的兩個(gè)附加信息動(dòng)態(tài)圖像是兩個(gè)非立體視覺(jué)附加信息動(dòng)態(tài)圖像，因此附加信息動(dòng)態(tài)圖像的類型被設(shè)置為非立體視覺(jué)，并且在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度之后，連續(xù)指定附加信息動(dòng)態(tài)圖像的類型，附加信息動(dòng)態(tài)圖像的數(shù)量，以及每個(gè)附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度，高度和樣本縱橫比。這里，使用開(kāi)始位置和寬度/高度來(lái)指定普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的區(qū)域，但其目的是指定集成動(dòng)態(tài)圖像之內(nèi)的布置，因此可以通過(guò)類似于指定H.沈4中的剪裁參數(shù)的方法的方法或任何其他方法來(lái)指定區(qū)域。除了圖6中的附加信息動(dòng)態(tài)圖像描述符的格式之外，還可以通過(guò)為每種類型的附加信息動(dòng)態(tài)圖像準(zhǔn)備描述符作為非立體視覺(jué)附加信息動(dòng)態(tài)圖像描述符，來(lái)省略描述符中的附加信息動(dòng)態(tài)圖像的類型的字段。另外，還可以通過(guò)為附加信息動(dòng)態(tài)圖像1和附加信息動(dòng)態(tài)圖像2每一個(gè)準(zhǔn)備描述符并在PMT的流信息中描述多個(gè)附加信息動(dòng)態(tài)圖像描述符，來(lái)省略附加信息動(dòng)態(tài)圖像的數(shù)量的字段。當(dāng)將新的附加信息動(dòng)態(tài)圖像描述符添加到MPEG2-TS的PMT時(shí)，本發(fā)明對(duì)MPEG2-PS 等也有效，通過(guò)將存儲(chǔ)附加信息動(dòng)態(tài)圖像存在信息的新的描述符添加到節(jié)目流映像(PSM) 來(lái)實(shí)現(xiàn)有效操作。對(duì)于可以用于描述針對(duì)視頻數(shù)據(jù)的補(bǔ)充信息并且可以將該補(bǔ)充信息添加到的、非 MPEG2的任何容器(container)，可以像上述添加描述符那樣應(yīng)用該補(bǔ)充信息。<當(dāng)將附加信息動(dòng)態(tài)圖像存在信息作為專用部分(private section)發(fā)送時(shí)>在MPEG2-TS中，可以將部分?jǐn)?shù)據(jù)發(fā)送到與PMT的層相同的層。通過(guò)假定對(duì)該部分的新添加的情況來(lái)考慮專用部分，并且可以考慮將本實(shí)施方式中的附加信息動(dòng)態(tài)圖像存在信息作為新的專用部分發(fā)送。圖8示出了將附加信息動(dòng)態(tài)圖像存在信息作為新的專用部分發(fā)送的情況?，F(xiàn)有接收器400難以解碼新的部分，并且與PMT的描述符一樣，被現(xiàn)有接收器400 跳過(guò)。圖8示出了在用以判斷圖2中的集成動(dòng)態(tài)圖像的分組的PID和在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度之后，連續(xù)指定附加信息動(dòng)態(tài)圖像的類型以及附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度、高度和樣本縱橫比。
圖35示出了在將H. 264用作解碼器并且使用附加信息動(dòng)態(tài)圖像部分時(shí)發(fā)送器的流程圖。首先，將根據(jù)集成動(dòng)態(tài)圖像中的普通觀看動(dòng)態(tài)圖像的位置、寬度和高度計(jì)算出來(lái)的、H. 264的剪裁參數(shù)和aspect_ratio_idc(必要時(shí)也使用sar_width和sar_hight)設(shè)置到編碼器(步驟S300)。接下來(lái)，將在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像用以判斷分組的PID、裁剪開(kāi)始位置、寬度和高度，附加信息動(dòng)態(tài)圖像的類型，樣本縱橫比，以及根據(jù)左上端點(diǎn)和寬度/高度確定的附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置、寬度和高度，作為圖6中的附加信息動(dòng)態(tài)圖像部分進(jìn)行準(zhǔn)備(步驟S302)。此外，作出諸如集成動(dòng)態(tài)圖像的圖像尺寸之類的編碼器設(shè)置，然后編碼集成動(dòng)態(tài)圖像(步驟S304)。通過(guò)也復(fù)用用于數(shù)字廣播系統(tǒng)發(fā)送需要的MPEG2-TS復(fù)用的、準(zhǔn)備好的附加信息動(dòng)態(tài)圖像部分，獲得發(fā)送流(步驟S306)。這里，指定普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的區(qū)域，但其目的是確定集成動(dòng)態(tài)圖像之內(nèi)的布置，因此該布置也可以通過(guò)諸如在H. 264中指定剪裁區(qū)域的方法之類的其他方法來(lái)指定。通過(guò)為每種類型的附加信息動(dòng)態(tài)圖像添加新的專用部分，可以省略掉附加信息動(dòng)態(tài)圖像的類型。通過(guò)利用上述附加信息動(dòng)態(tài)圖像存在信息的三種存儲(chǔ)方法之一，通過(guò)本實(shí)施方式中的發(fā)送器100的附加信息動(dòng)態(tài)圖像存在信息編碼單元106編碼該附加信息動(dòng)態(tài)圖像存在 fn息ο從以上，可以獲得編碼集成動(dòng)態(tài)圖像、普通觀看動(dòng)態(tài)圖像、在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域、樣本縱橫比和附加信息動(dòng)態(tài)圖像存在信息的流。當(dāng)視頻編解碼器遵循H.沈4時(shí)，如果獲得了其流，并且用滿足標(biāo)準(zhǔn)(ITU-TRec. H. 264)的現(xiàn)有接收器400解碼該流，則忽略附加信息動(dòng)態(tài)圖像存在信息，并且顯示普通觀看動(dòng)態(tài)圖像。這也在視頻編解碼器遵循MPEG2 VIDEOdTU-T Rec. H. 262)時(shí)應(yīng)用。另一方面，應(yīng)用本實(shí)施方式的接收器200也解碼附加信息動(dòng)態(tài)圖像存在信息，并且用戶享受比現(xiàn)有接收器400提供的服務(wù)更多的服務(wù)。因此，根據(jù)本實(shí)施方式，可以在保持與現(xiàn)有電視機(jī)的兼容性的同時(shí)添加新功能，并且與在變成需要購(gòu)買新電視機(jī)用于觀看或動(dòng)態(tài)圖像引起不舒服的感覺(jué)時(shí)的情況相比，對(duì)用戶的益處變得更大了?！磁c接收器的用戶交互〉當(dāng)本實(shí)施方式中的接收器200接收到具有附加信息動(dòng)態(tài)圖像的節(jié)目時(shí)，用戶可以通過(guò)設(shè)置或指令接收器200從至少三種類型的顯示中選擇1)正常顯示普通觀看動(dòng)態(tài)圖像2)在屏幕上同時(shí)顯示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像3)僅僅在屏幕中顯示附加信息動(dòng)態(tài)圖像當(dāng)在屏幕上同時(shí)顯示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像時(shí)，可以根據(jù)用戶請(qǐng)求來(lái)改變要顯示的附加信息動(dòng)態(tài)圖像的數(shù)量或其布置或尺寸。這里，通過(guò)操作遙控器等來(lái)事先設(shè)置接收器200怎樣顯示具有附加信息動(dòng)態(tài)圖像的節(jié)目。指令接收器200基于用戶指令立即改變具有附加信息動(dòng)態(tài)圖像的節(jié)目的顯示方法。圖36、圖37和圖38示出了在分別使用要添加到H. 264的附加信息動(dòng)態(tài)圖像SEI、要添加到PMT描述符的附加信息動(dòng)態(tài)圖像描述符以及要添加到MPEG2-TS的附加信息動(dòng)態(tài)圖像部分時(shí)接收器200的流程圖。在這些流程圖，解碼SEI、描述符或部分的信息以確定是否存在任何附加信息動(dòng)態(tài)圖像，如果存在附加信息動(dòng)態(tài)圖像，則接收在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的參數(shù)。圖36、圖37和圖38之間的差異是通過(guò)在MPEG2-TS的分用期間解碼PSI/SI來(lái)獲得參數(shù)(圖37和圖38)，還是作為H. 264中的解碼的結(jié)果來(lái)獲得參數(shù)(圖36)。在接收到參數(shù)之后，依賴于作出普通顯示，使用附加信息動(dòng)態(tài)圖像顯示，還是顯示兩者，來(lái)讀取接收器的用戶設(shè)置以改變動(dòng)態(tài)圖像的輸出。如果通過(guò)用戶設(shè)置設(shè)置了普通顯示，則輸出普通觀看動(dòng)態(tài)圖像(步驟S410、S510、S610)。如果通過(guò)用戶設(shè)置將輸出普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像，則輸出普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像(步驟S414、S514、S614)。如果通過(guò)用戶設(shè)置不輸出普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像，則輸出附加信息動(dòng)態(tài)圖像(步驟S416、S516、S616)。在本實(shí)施方式中，圖解了在其中附加信息動(dòng)態(tài)圖像相關(guān)地涉及普通觀看動(dòng)態(tài)圖像的動(dòng)態(tài)圖像，但即使不特別涉及動(dòng)態(tài)圖像，本實(shí)施方式也有效地操作。[2.第二實(shí)施方式]將山景的多眼(Multi-eye)立體視覺(jué)內(nèi)容取作示例來(lái)描述這樣的情況在對(duì)于將用于多眼立體視覺(jué)的動(dòng)態(tài)圖像作為附加信息動(dòng)態(tài)圖像的發(fā)送，在發(fā)送和接收之間對(duì)下列信息達(dá)成一致。如果沒(méi)有達(dá)成協(xié)議，則可以像“第一實(shí)施方式”中那樣發(fā)送信息?！ぴ谑褂酶郊有畔?dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域·附加信息動(dòng)態(tài)圖像的位置·附加信息動(dòng)態(tài)圖像的寬度/高度·附加信息動(dòng)態(tài)圖像的樣本縱橫比1.雙眼(Double-Eye)立體視覺(jué)動(dòng)態(tài)圖像這里，考慮在將多眼立體視覺(jué)的雙眼立體視覺(jué)動(dòng)態(tài)圖像的左眼動(dòng)態(tài)圖像作為普通觀看動(dòng)態(tài)圖像(第一圖像)發(fā)送而將右眼動(dòng)態(tài)圖像作為附加信息動(dòng)態(tài)圖像(第二圖像)發(fā)送的情況。首先，關(guān)于集成動(dòng)態(tài)圖像的動(dòng)態(tài)圖像壓縮以及普通觀看動(dòng)態(tài)圖像區(qū)域和樣本縱橫比的編碼，可以直接應(yīng)用在第一實(shí)施方式中描述的方法。關(guān)于附加信息動(dòng)態(tài)圖像存在信息，首先考慮在發(fā)送側(cè)與接收側(cè)之間達(dá)成的協(xié)議。 普通觀看動(dòng)態(tài)圖像與附加信息動(dòng)態(tài)圖像是一對(duì)雙眼立體視覺(jué)動(dòng)態(tài)圖像，并且可以考慮成具有與動(dòng)態(tài)圖像相同的屬性，以便將普通觀看動(dòng)態(tài)圖像的參數(shù)適合于附加信息動(dòng)態(tài)圖像的參數(shù)是自然協(xié)議。也就是說(shuō)，在這里假定以下協(xié)議(1)普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像具有與圖像尺寸相同的寬度和高度。(2)普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像具有相同的樣本縱橫比。在本實(shí)施方式中，當(dāng)不實(shí)現(xiàn)雙眼立體視覺(jué)時(shí)，顯示左眼動(dòng)態(tài)圖像。假定達(dá)成協(xié)議來(lái)使顯示區(qū)域和用于雙眼立體視覺(jué)的左眼動(dòng)態(tài)圖像的區(qū)域相同。也就是說(shuō)，達(dá)成以下一致(3)在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域與在不使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域相同接下來(lái)，將普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像布置在一幀中，并且通過(guò)假定在發(fā)送與接收之間附加信息動(dòng)態(tài)圖像被布置在普通觀看動(dòng)態(tài)圖像之下，來(lái)考慮根據(jù)雙眼立 體視覺(jué)動(dòng)態(tài)圖像的圖像尺寸確定附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置。如果在普通觀看動(dòng)態(tài)圖像之后立即布置附加信息動(dòng)態(tài)圖像的裁剪位置，則該布置 看起來(lái)如圖9所示，而協(xié)議內(nèi)容看起來(lái)如圖10所示。如果避免了同一宏塊(macroblock)中的左眼動(dòng)態(tài)圖像的下邊緣和右眼動(dòng)態(tài)圖像 的上邊緣的編碼，則可以如圖11所示，將右眼動(dòng)態(tài)圖像布置成關(guān)于左眼動(dòng)態(tài)圖像隔開(kāi)，并 且協(xié)議內(nèi)容看起來(lái)如圖12所示。雖然在圖10和圖12中僅僅示出了圖像尺寸的一部分，但可以發(fā)送的圖像的尺寸 可以如圖10和圖12所示那樣達(dá)成一致，或者可以像如下所示的計(jì)算公式那樣根據(jù)普通觀 看動(dòng)態(tài)圖像的剪裁參數(shù)達(dá)成協(xié)議。圖9中的附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置(xa，ya)開(kāi)始于緊接普通觀看動(dòng)態(tài)圖 像的最下邊緣線之下，并且可以計(jì)算如下xa = frame_crop_left_offsetya = 16*FrameHightInMbs-2*frame_crop_bottom_offset而附加信息動(dòng)態(tài)圖像的圖像尺寸(W，h)與普通觀看動(dòng)態(tài)圖像的圖像尺寸相同，并 且可以計(jì)算如下W = PicWidthlnSamles-2*frame_crop_left—offset-2*frame_crop_right_offseth = 16*FrameHightInMbs-2*frame_crop_top_offset-2*frame_crop_bottom_offset另一方面，可以通過(guò)使用圖9中的裁剪開(kāi)始位置(xa，ya)來(lái)如下那樣計(jì)算圖10中 的附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置xb = xayb = ya+(16-ya% 16)(ya% 16表示將ya除以16之后的余數(shù))在這些條件下，達(dá)成協(xié)議(4)集成動(dòng)態(tài)圖像中的附加信息動(dòng)態(tài)圖像的裁剪開(kāi)始位置的確定方法基于例如圖 12中的表格，并且如果圖像尺寸不包含在該表格中，則使用其高度高于該圖像尺寸的高度 并與其最接近的圖像尺寸。基于上述(1)至G)中的協(xié)議，假定在發(fā)送和接收之間對(duì)下列信息達(dá)成一致 在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域 附加信息動(dòng)態(tài)圖像的位置 附加信息動(dòng)態(tài)圖像的寬度/高度 附加信息動(dòng)態(tài)圖像的樣本縱橫比可以通過(guò)在具有用于根據(jù)普通觀看動(dòng)態(tài)圖像的剪裁參數(shù)確定附加信息動(dòng)態(tài)圖像 的裁剪開(kāi)始位置和圖像尺寸的功能和將普通觀看動(dòng)態(tài)圖像的樣本縱橫比作為附加信息動(dòng)態(tài)圖像的樣本縱橫比輸出的功能的接收器200中配備附加信息動(dòng)態(tài)圖像存在信息解碼單元208，來(lái)滿足這些協(xié)議。要傳遞的參數(shù)全部在這些協(xié)議中達(dá)成一致，并且要從發(fā)送器側(cè)發(fā)送到接收器側(cè)的附加信息動(dòng)態(tài)圖像存在信息的必要內(nèi)容包括關(guān)于是否存在附加信息動(dòng)態(tài)圖像的信息以及指示普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像是一對(duì)雙眼立體視覺(jué)動(dòng)態(tài)圖像的信息(立體視覺(jué)判斷信息)。因此，如果發(fā)送了可以定義附加信息動(dòng)態(tài)圖像的類型的代碼并且在接收側(cè)上檢測(cè)到該代碼，則基于(1)至(4)獲得附加信息動(dòng)態(tài)圖像并使用。因此，甚至傳統(tǒng)發(fā)送信息也可以用作附加信息動(dòng)態(tài)圖像存在信息。以下將描述在將本實(shí)施方式應(yīng)用于第一實(shí)施方式中所描述的信息時(shí)的情況，該信息諸如是· H. 264 的 SEI(如果是 MPEG2 視頻則為 USER_DATA)· MPEG2-TS 的 PMT 描述符(如果是MPEG2-PS則為PSM描述符)· MPEG2-TS的專用部分圖16示出在將附加信息動(dòng)態(tài)圖像SEI重新添加到H. 264時(shí)的內(nèi)容。因?yàn)樵诎l(fā)送與接收之間對(duì)在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域和集成動(dòng)態(tài)圖像中的附加信息動(dòng)態(tài)圖像的區(qū)域和樣本縱橫比事先達(dá)成一致，因此作為seijiieesage的最少必要信息僅僅是附加信息動(dòng)態(tài)圖像的類型與垂直雙眼立體視覺(jué)達(dá)成一致。這在圖16中被示出為指定的垂直雙眼立體視覺(jué)。這種類型可以是指定的雙眼立體視覺(jué)，但除了垂直布置的眼之外還存在水平布置的眼，并且將“垂直”添加到名稱上來(lái)強(qiáng)調(diào)垂直布置。在將SEI的一個(gè)片段重新添加到H. 264時(shí)的情況看起來(lái)如圖16所示，但如果為每種類型的附加信息動(dòng)態(tài)圖像添加了 SEI，則在如圖17所示的seijiiessage中不存在必要的信息項(xiàng)，因?yàn)槔缋弥付ǖ拇怪彪p眼立體視覺(jué)附加信息動(dòng)態(tài)圖像SEI的存在，可以確定集成圖像具有垂直雙眼立體視覺(jué)附加信息動(dòng)態(tài)圖像。(毫無(wú)疑問(wèn)，可以包含其他信息。)接下來(lái)，圖18示出了在將附加信息動(dòng)態(tài)圖像描述符重新添加到PMT時(shí)的內(nèi)容。因?yàn)樵诎l(fā)送與接收之間對(duì)在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域和集成動(dòng)態(tài)圖像中的附加信息動(dòng)態(tài)圖像的區(qū)域和樣本縱橫比事先達(dá)成一致，因此作為描述符的最少必要信息僅僅是附加信息動(dòng)態(tài)圖像的類型與垂直雙眼立體視覺(jué)達(dá)成一致。同樣關(guān)于描述符，如圖19所示，如果為每種類型的附加信息動(dòng)態(tài)圖像準(zhǔn)備了描述符，則在描述符中不存在本實(shí)施方式的操作需要的信息。圖20示出了在將發(fā)送附加信息動(dòng)態(tài)圖像存在信息的數(shù)據(jù)添加到MPEG2-TS的專用部分時(shí)private_data_byte的內(nèi)容。與PMT描述符一樣，需要指定附加信息動(dòng)態(tài)圖像的類型，還需要指定具有附加信息動(dòng)態(tài)圖像的流的PID。同樣關(guān)于專用部分，可以通過(guò)采用為每一種類型的附加信息動(dòng)態(tài)圖像重新添加專用部分的方法來(lái)省略附加信息動(dòng)態(tài)圖像的類型。從以上，與第一實(shí)施方式中一樣，可以獲得編碼集成動(dòng)態(tài)圖像、普通觀看動(dòng)態(tài)圖像的區(qū)域、在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域、樣本縱橫比和附加信息動(dòng)態(tài)圖像存在信息的流。當(dāng)視頻編解碼器遵循H. 264時(shí)，如果獲得了其流并且該流通過(guò)滿足H. 264標(biāo)準(zhǔn) (ITU-T Rec. H. 264)的現(xiàn)有接收器400解碼，則忽略附加信息動(dòng)態(tài)圖像存在信息并且顯示普通觀看動(dòng)態(tài)圖像。這也應(yīng)用在視頻編解碼器遵循MPEG2VIDE0(ITU-T Rec. H. 262)時(shí)。另一方面，應(yīng)用了本實(shí)施方式的接收器200還通過(guò)附加信息動(dòng)態(tài)圖像存在信息解碼單元208正確地解碼附加信息動(dòng)態(tài)圖像存在信息，以便如下所示那樣，用戶享受比現(xiàn)有接收器400提供的服務(wù)更多的服務(wù)。因此，根據(jù)本實(shí)施方式，可以在保持與現(xiàn)有電視機(jī)的兼容性的同時(shí)添加新功能，并且與在變成需要購(gòu)買新電視機(jī)用于觀看或動(dòng)態(tài)圖像引起不舒服的感覺(jué)時(shí)的情況相比，對(duì)用戶的益處更大了。接下來(lái)，將描述通過(guò)遵循本實(shí)施方式的接收器200顯示圖9和圖11所示的圖像的情況。如果該接收器不能呈現(xiàn)雙眼立體視覺(jué)，則使用H. 264標(biāo)準(zhǔn)中的剪裁參數(shù)來(lái)從集成動(dòng)態(tài)圖像中裁剪調(diào)普通觀看動(dòng)態(tài)圖像，因此基本地向用戶呈現(xiàn)普通觀看動(dòng)態(tài)圖像。使用本實(shí)施方式的接收器200可以確定附加信息動(dòng)態(tài)圖像的存在、布置和樣本縱橫比，以便可以通過(guò)提供用戶指令附加信息動(dòng)態(tài)圖像的右眼動(dòng)態(tài)圖像而不是普通觀看動(dòng)態(tài)圖像的左眼動(dòng)態(tài)圖像的顯示的功能，來(lái)切換和顯示左眼動(dòng)態(tài)圖像、右眼動(dòng)態(tài)圖像或者這兩者ο圖42、圖43和圖44示出了在分別使用要添加到H. 264的附加信息動(dòng)態(tài)圖像SEI、 要添加到PMT描述符的附加信息動(dòng)態(tài)圖像描述符以及要添加到MPEG2-TS的附加信息動(dòng)態(tài)圖像部分時(shí)接收器200的流程圖。在這些流程圖中，由附加信息動(dòng)態(tài)圖像存在信息解碼單元208解碼SEI的信息、描述符或部分以確定在集成動(dòng)態(tài)圖像中是否存在任何附加信息動(dòng)態(tài)圖像，如果存在附加信息動(dòng)態(tài)圖像，則接收在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的參數(shù)。圖42、圖43和圖44之間的差異是通過(guò)在MPEG2-TS的分用期間解碼PSI/SI來(lái)獲得參數(shù)(圖43和圖44)，還是作為H. 264中的解碼的結(jié)果來(lái)獲得參數(shù) (圖42)。在接收到參數(shù)之后，讀取接收器的用戶設(shè)置來(lái)確定作出普通顯示還是使用附加信息動(dòng)態(tài)圖像進(jìn)行顯示。在本實(shí)施方式中，附加信息動(dòng)態(tài)圖像的類型是立體視覺(jué)，因此不能顯示立體視覺(jué)的接收器難以使用普通觀看動(dòng)態(tài)圖像/附加信息動(dòng)態(tài)圖像實(shí)現(xiàn)立體視覺(jué)。然而，如果用戶不選擇普通觀看，則用戶可以從普通觀看動(dòng)態(tài)圖像/附加信息動(dòng)態(tài)圖像中選擇要顯示的動(dòng)態(tài)圖像，并且依賴于選擇，從解碼的集成動(dòng)態(tài)圖像中裁剪掉普通觀看動(dòng)態(tài)圖像或附加信息動(dòng)態(tài)圖像，并且根據(jù)用戶指令/設(shè)置輸出動(dòng)態(tài)圖像。如上所述，可以切換和顯示左眼動(dòng)態(tài)圖像、右眼動(dòng)態(tài)圖像或兩者。如果接收器能夠呈現(xiàn)雙眼立體視覺(jué)，則可以通過(guò)使用普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像呈現(xiàn)雙眼立體視覺(jué)。用戶不一定總是期望雙眼立體視覺(jué)，因此代替雙眼立體視覺(jué)，可以根據(jù)用戶指令或設(shè)置僅僅顯示普通觀看動(dòng)態(tài)圖像和僅僅顯示附加信息動(dòng)態(tài)圖像。圖39、圖40和圖41示出了在分別使用要添加到H. 264的附加信息動(dòng)態(tài)圖像SEI、 要添加到PMT描述符的附加信息動(dòng)態(tài)圖像描述符以及要添加到MPEG2-TS的附加信息動(dòng)態(tài)圖像部分時(shí)接收器的流程圖。在這些流程圖，解碼SEI的信息、描述符或部分以確定是否存在任何附加信息動(dòng)態(tài)圖像，如果存在附加信息動(dòng)態(tài)圖像，則接收在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的參數(shù)。圖39、圖40和圖41之間的差異是通過(guò)在MPEG2-TS的分用期間解碼PSI/SI來(lái)獲得參數(shù)(圖40和圖41)，還是作為H. 264中的解碼的結(jié)果來(lái)獲得參數(shù)(圖39)。在接收到參數(shù)之后，讀取接收器的用戶設(shè)置來(lái)確定作出普通顯示還是使用附加信息動(dòng)態(tài)圖像進(jìn)行顯示。在使用附加信息動(dòng)態(tài)圖像時(shí)，如果立體動(dòng)態(tài)圖像被包含在附加信息動(dòng)態(tài)圖像中， 則根據(jù)用戶指令/設(shè)置確定是否進(jìn)行立體視覺(jué)(步驟S920)，而如果不進(jìn)行立體視覺(jué)，則輸出從普通觀看動(dòng)態(tài)圖像/附加信息動(dòng)態(tài)圖像選擇的動(dòng)態(tài)圖像(步驟S722、S724)。如果進(jìn)行立體視覺(jué)，則通過(guò)根據(jù)每一個(gè)視點(diǎn)輸出動(dòng)態(tài)圖像來(lái)呈現(xiàn)該立體視覺(jué)(步驟S730、S830、 S930)。更具體地說(shuō)，如下所示那樣地處理立體視覺(jué)。首先，接收器200接收從發(fā)送器100 側(cè)發(fā)送的附加信息動(dòng)態(tài)圖像存在信息。附加信息動(dòng)態(tài)圖像存在信息包含指示附加信息動(dòng)態(tài)圖像是否是用于立體視覺(jué)的圖像的信息(被稱為立體視覺(jué)判斷信息)。接下來(lái)，如果附加信息動(dòng)態(tài)圖像的類型是基于立體視覺(jué)判斷信息的立體視覺(jué)(在步驟S712、S812、S912中的 “是”)，則接收器200輸出普通觀看動(dòng)態(tài)圖像作為左眼圖像，而輸出附加信息動(dòng)態(tài)圖像作為右眼圖像。另一方面，如果附加信息動(dòng)態(tài)圖像的類型不是基于立體視覺(jué)判斷信息的立體視覺(jué)(在步驟S712、S812、S912中的“否”)，則接收器200輸出普通觀看動(dòng)態(tài)圖像作為普通顯示。如果附加信息動(dòng)態(tài)圖像的類型不是立體視覺(jué)，則與圖36、圖37和圖38中的流程圖所示的處理一樣，也可以輸出從普通觀看動(dòng)態(tài)圖像/附加信息動(dòng)態(tài)圖像中選擇的動(dòng)態(tài)圖像(不僅可能組合了一個(gè)動(dòng)態(tài)圖像，而且可能組合了多個(gè)動(dòng)態(tài)圖像)。毫無(wú)疑問(wèn)，該接收器能夠顯示立體視覺(jué)，因此通過(guò)水平地移位所選擇的動(dòng)態(tài)圖像輸出來(lái)創(chuàng)建右眼動(dòng)態(tài)圖像和左眼動(dòng)態(tài)圖像，可以向前/向后移動(dòng)輸出的動(dòng)態(tài)圖像的呈現(xiàn)區(qū)域。在這個(gè)示例中，將普通觀看動(dòng)態(tài)圖像設(shè)置為左眼動(dòng)態(tài)圖像，但其也可以被設(shè)置為右眼動(dòng)態(tài)圖像。如果改變了普通觀看動(dòng)態(tài)圖像與附加信息動(dòng)態(tài)圖像之間的垂直關(guān)系，則可以通過(guò)改變每個(gè)動(dòng)態(tài)圖像的參數(shù)來(lái)應(yīng)對(duì)這種變化。與這個(gè)示例一樣，本發(fā)明也在將附加信息動(dòng)態(tài)圖像布置在普通觀看動(dòng)態(tài)圖像的一側(cè)時(shí)有效。2.多眼立體視覺(jué)動(dòng)態(tài)圖像在柱鏡(lenticular)方法或視差障柵(parallax barrier)方法的立體視覺(jué)中， 可以處理多眼立體視覺(jué)的動(dòng)態(tài)圖像。一般地，這些方法被稱為裸眼3D(維)方法或無(wú)眼鏡 (glaSSleSS)3D方法。在這種情況下，例如，將第一和第二圖像設(shè)置為用于左眼和右眼的圖像以從第一方向允許立體視覺(jué)，并且將第三和第三圖像設(shè)置為用于左眼和右眼的圖像以從不同于第一方向的第二方向允許立體視覺(jué)。本實(shí)施方式也在動(dòng)態(tài)圖像輸出單元具有這些方法的圖像呈現(xiàn)方法并且多眼立體視覺(jué)的一個(gè)圖像可以被用作普通觀看動(dòng)態(tài)圖像而其余圖像被用作附加信息動(dòng)態(tài)圖像時(shí)有效。作為在發(fā)送與接收之間對(duì)附加信息動(dòng)態(tài)圖像的布置達(dá)成一致的方法，例如，同意多眼立體視覺(jué)的動(dòng)態(tài)圖像的水平布置，并且根據(jù)集成動(dòng)態(tài)圖像的寬度和普通觀看動(dòng)態(tài)圖像的寬度計(jì)算水平地布置的動(dòng)態(tài)圖像的數(shù)量。圖13示出了在以上協(xié)議下布置動(dòng)態(tài)圖像時(shí)集成圖像的布置狀態(tài)。根據(jù)另一協(xié)議， 多眼立體視覺(jué)的動(dòng)態(tài)圖像的數(shù)量和布置(例如，水平地)達(dá)成一致，并且在水平地布置了盡可能多的動(dòng)態(tài)圖像之后，如果存在任何剩余動(dòng)態(tài)圖像，則垂直地布置這種圖像。
圖14示出了在以上協(xié)議下布置了動(dòng)態(tài)圖像時(shí)集成圖像的布置狀態(tài)。同樣對(duì)于圖 13和圖14，需要同意是否應(yīng)該隔開(kāi)圖像。毫無(wú)疑問(wèn)，如果準(zhǔn)備了兩種類型的附加信息動(dòng)態(tài)圖像隔開(kāi)的水平三眼立體視覺(jué)和非隔開(kāi)的水平三眼立體視覺(jué)，并且作為附加信息動(dòng)態(tài)圖像存在信息發(fā)送，則可以對(duì)每段內(nèi)容選擇集成動(dòng)態(tài)圖像的其類型。3.多眼立體視覺(jué)和不同角度立體視覺(jué)動(dòng)態(tài)圖像此外，作為節(jié)目，如第一實(shí)施方式中所述，可以考慮從不同角度發(fā)送視頻。因?yàn)橹饕曨l是立體視覺(jué)動(dòng)態(tài)圖像，所以來(lái)自不同角度的視頻最好是按照觀看的立體視覺(jué)動(dòng)態(tài)圖像，并且在以下假定是立體視覺(jué)動(dòng)態(tài)圖像。順便說(shuō)，即使不同角度的視頻不是立體視覺(jué)動(dòng)態(tài)圖像，本實(shí)施方式也是有效的。圖15示出了一個(gè)集成動(dòng)態(tài)圖像示例，在其中主立體視覺(jué)動(dòng)態(tài)圖像被布置在上部而補(bǔ)充立體視覺(jué)動(dòng)態(tài)圖像被布置在下部。從節(jié)目的視點(diǎn)看，期望主立體視覺(jué)動(dòng)態(tài)圖像的一個(gè)動(dòng)態(tài)圖像變成普通觀看動(dòng)態(tài)圖像。排除了普通觀看動(dòng)態(tài)圖像的動(dòng)態(tài)圖像全部是附加信息動(dòng)態(tài)圖像。順便說(shuō)，不特別將普通觀看動(dòng)態(tài)圖像限制到左上角上的布置?？紤]這樣的情況以與圖13中的相同方式在發(fā)送與接收之間達(dá)成關(guān)于主立體視覺(jué)動(dòng)態(tài)圖像的協(xié)議，并且不達(dá)成關(guān)于立體視覺(jué)動(dòng)態(tài)圖像的協(xié)議。圖21示出將附加信息動(dòng)態(tài)圖像SEI重新添加到H. 264時(shí)的內(nèi)容。SEI的內(nèi)容包括作為用于指定的水平三眼視覺(jué)的附加信息動(dòng)態(tài)圖像的主立體視覺(jué)動(dòng)態(tài)圖像，以及作為用于補(bǔ)充水平三眼視覺(jué)的附加信息動(dòng)態(tài)圖像的補(bǔ)充立體視覺(jué)動(dòng)態(tài)圖像。補(bǔ)充水平三眼視覺(jué)指的是水平三眼視覺(jué)并且不包含普通觀看動(dòng)態(tài)圖像，并且假定指的是不同于簡(jiǎn)單的水平三眼視覺(jué)。從實(shí)現(xiàn)的視點(diǎn)(viewpoint)來(lái)看，可以考慮通過(guò)利用具有位字段的ID作為附加信息動(dòng)態(tài)圖像的類型指定下列信息?！な欠袷褂闷胀ㄓ^看動(dòng)態(tài)圖像的位·是否在發(fā)送側(cè)和接收側(cè)之間對(duì)在使用附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域達(dá)成一致的位·是否在發(fā)送側(cè)和接收側(cè)之間對(duì)附加信息動(dòng)態(tài)圖像達(dá)成一致的位置的位·是否在發(fā)送側(cè)和接收側(cè)之間對(duì)附加信息動(dòng)態(tài)圖像的寬度/高度達(dá)成一致的位·是否在發(fā)送側(cè)和接收側(cè)之間對(duì)附加信息動(dòng)態(tài)圖像的樣本縱橫比達(dá)成一致的位·是否為立體視覺(jué)的位·是否為立體視覺(jué)而水平布置的位·用于立體視覺(jué)的視點(diǎn)的數(shù)量在圖21的seijiieesage中，可以通過(guò)為指定的水平三眼視覺(jué)指定附加信息動(dòng)態(tài)圖像來(lái)確定下列信息 在使用主附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域·主附加信息動(dòng)態(tài)圖像的位置·主附加信息動(dòng)態(tài)圖像的寬度/高度·主附加信息動(dòng)態(tài)圖像的樣本縱橫比接下來(lái)，指定用于補(bǔ)充水平三眼視覺(jué)的附加信息動(dòng)態(tài)圖像來(lái)指定用于三眼的附加信息動(dòng)態(tài)圖像的位置、寬度/高度和樣本縱橫比。在三眼視覺(jué)中，將各個(gè)視點(diǎn)的動(dòng)態(tài)圖像考慮成具有相同的寬度/高度和樣本縱橫比，因此在圖21中假定寬度/高度和樣本縱橫比是公用的，并且一次性作出其設(shè)置并僅僅為三眼指定裁剪開(kāi)始位置。圖沈示出了在將附加信息動(dòng)態(tài)圖像描述符添加到PMT描述符時(shí)的內(nèi)容。與圖21 中的SEI —樣，通過(guò)為指定的水平三眼視覺(jué)指定附加信息動(dòng)態(tài)圖像，來(lái)確定 在使用主附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域·主附加信息動(dòng)態(tài)圖像的位置·主附加信息動(dòng)態(tài)圖像的寬度/高度·主附加信息動(dòng)態(tài)圖像的樣本縱橫比接下來(lái)通過(guò)為補(bǔ)充水平三眼視覺(jué)指定附加信息動(dòng)態(tài)圖像，可以確定用于三眼的附加信息動(dòng)態(tài)圖像的位置、寬度/高度和樣本縱橫比。圖27示出了在將發(fā)送附加信息動(dòng)態(tài)圖像存在信息的數(shù)據(jù)添加到MPEG2-TS的專用部分時(shí)priVate_data_byte的內(nèi)容。除了指定用以呈現(xiàn)附加信息動(dòng)態(tài)圖像的流的PID之外， 指定內(nèi)容與附加信息動(dòng)態(tài)圖像SEI的內(nèi)容相同。與圖21中的SEI —樣，通過(guò)為指定的水平三眼視覺(jué)指定附加信息動(dòng)態(tài)圖像來(lái)確定下列信息 在使用主附加信息動(dòng)態(tài)圖像時(shí)普通觀看動(dòng)態(tài)圖像的裁剪區(qū)域·主附加信息動(dòng)態(tài)圖像的位置·主附加信息動(dòng)態(tài)圖像的寬度/高度·主附加信息動(dòng)態(tài)圖像的樣本縱橫比接下來(lái)，可以通過(guò)為補(bǔ)充水平三眼視覺(jué)指定附加信息動(dòng)態(tài)圖像，來(lái)確定用于三眼的附加信息動(dòng)態(tài)圖像的位置、寬度/高度和樣本縱橫比。從以上，發(fā)送是可能的，當(dāng)主視頻是立體動(dòng)態(tài)圖像時(shí)，可以通過(guò)遵循本實(shí)施方式來(lái)發(fā)送來(lái)自不同視點(diǎn)的立體動(dòng)態(tài)圖像。如果甚至包括主/補(bǔ)充立體動(dòng)態(tài)圖像的流的流遵循本實(shí)施方式，則可以通過(guò)現(xiàn)有接收器400將主立體動(dòng)態(tài)圖像的單眼動(dòng)態(tài)圖像作為普通觀看動(dòng)態(tài)圖像觀看。此外，應(yīng)用了本實(shí)施方式的接收器200允許觀看來(lái)自主/補(bǔ)充立體動(dòng)態(tài)圖與主或或補(bǔ)充立體動(dòng)態(tài)圖像之間的優(yōu)選的單眼動(dòng)態(tài)圖像。4.使用具有與普通觀看動(dòng)態(tài)圖像的圖像尺寸不同的圖像尺寸的附加信息動(dòng)態(tài)圖像的雙眼立體視覺(jué)圖31示出這樣的情況在集成圖像中將普通觀看動(dòng)態(tài)圖像布置為1440X 1080的左眼動(dòng)態(tài)圖像而將附加信息動(dòng)態(tài)圖像布置為480 X 1080的左眼動(dòng)態(tài)圖像，并且圖32示出這樣的情況將普通觀看動(dòng)態(tài)圖像布置成1920X810的中心動(dòng)態(tài)圖像而將附加信息動(dòng)態(tài)圖像布置成960X270的兩個(gè)圖像(左動(dòng)態(tài)圖像、右動(dòng)態(tài)圖像)。當(dāng)在在本實(shí)施方式中處理多眼立體視覺(jué)動(dòng)態(tài)圖像時(shí)，不需要在同一圖像尺寸下處理全部視點(diǎn)，并且與圖31和圖32中一樣，對(duì)于發(fā)送(累積)，可以增加普通觀看動(dòng)態(tài)圖像的信息量，并減少附加信息動(dòng)態(tài)圖像的信息量。按照這種方式，在抑制普通觀看動(dòng)態(tài)圖像惡化的同時(shí)，可以發(fā)送多眼立體視覺(jué)動(dòng)態(tài)圖像。在實(shí)際多眼視覺(jué)(例如，通過(guò)圖39中的普通和附加信息輸出的立體視覺(jué))中，普通觀看動(dòng)態(tài)圖像的放大比和附加信息動(dòng)態(tài)圖像的放大比不同，并且作出調(diào)整以便針對(duì)左和右眼的呈現(xiàn)尺寸變成相等。毫無(wú)疑問(wèn)，擔(dān)心再現(xiàn)圖像由于附加信息動(dòng)態(tài)圖像的被減少的信息量的惡化。
然而，在雙眼立體視覺(jué)中人類的正確官能是出眾的，并且出現(xiàn)具有更多信息量的單眼圖像信息補(bǔ)償其他的圖像信息的現(xiàn)象。例如，甚至在右和左眼之間具有不同視力的人也可以體驗(yàn)立體視覺(jué)。實(shí)際上，已經(jīng)證實(shí)了即使當(dāng)單眼圖像有點(diǎn)模糊時(shí)也可以實(shí)現(xiàn)立體視覺(jué)，并且甚至關(guān)于圖39中的不平衡的左和右動(dòng)態(tài)圖像，立體視覺(jué)也是可能的。圖32示出了用于三眼立體視覺(jué)的動(dòng)態(tài)圖像，并且通過(guò)具有較大信息量的普通觀看動(dòng)態(tài)圖像作為中心動(dòng)態(tài)圖像來(lái)構(gòu)建集成動(dòng)態(tài)圖像，以便可以從右眼動(dòng)態(tài)圖像或左眼動(dòng)態(tài)圖像作出具有較大信息量的動(dòng)態(tài)圖像。如果將具有大信息量的動(dòng)態(tài)圖像用作右眼動(dòng)態(tài)圖像，則用作普通觀看動(dòng)態(tài)圖像的中心動(dòng)態(tài)圖像被用于右眼，而附加信息動(dòng)態(tài)圖像的左動(dòng)態(tài)圖像被用于左眼。如果將具有大信息量的動(dòng)態(tài)圖像用作左眼動(dòng)態(tài)圖像，則用作普通觀看動(dòng)態(tài)圖像的中心動(dòng)態(tài)圖像被用于左眼，而附加信息動(dòng)態(tài)圖像的右動(dòng)態(tài)圖像被用于右眼。這考慮允許用戶依賴于左和右眼視力以及左和右眼的疲勞度，根據(jù)用戶偏好選擇使用哪只眼來(lái)觀看具有較大量信息的普通觀看動(dòng)態(tài)圖像。圖31和圖32的集成動(dòng)態(tài)圖像中的普通觀看動(dòng)態(tài)圖像和附加信息動(dòng)態(tài)圖像的布置和圖像尺寸是示例，而不限制本發(fā)明。如上所述，根據(jù)以上實(shí)施方式，甚至在現(xiàn)有接收器中，也可以觀看普通觀看動(dòng)態(tài)圖像。如果可以在通過(guò)利用本實(shí)施方式創(chuàng)建的流中正確地處理編解碼器的裁剪參數(shù)，甚至現(xiàn)有接收器也可以從呈現(xiàn)的集成動(dòng)態(tài)圖像內(nèi)裁剪掉普通觀看動(dòng)態(tài)圖像。特別地，H. 264具有塊編碼單元并且通常以16的倍數(shù)的像素?cái)?shù)量為單位編解碼像素。另一方面，像素?cái)?shù)量1920X1080的圖像中的1080不是16的倍數(shù)，并且該圖像一般使用1088進(jìn)行編碼并且其八線在顯示時(shí)被丟棄。原來(lái)已經(jīng)使用剪裁信息來(lái)指定要丟棄的八條線，但在本發(fā)明中重新使用作為區(qū)域信息以指定普通圖像的區(qū)域(二維圖像或非立體圖像)作為完全不同的使用形式。本發(fā)明可以利用現(xiàn)有系統(tǒng)，因此可以很有效率地實(shí)現(xiàn)。同樣根據(jù)本實(shí)施方式，可以在保持與現(xiàn)有接收器的兼容性的同時(shí)添加新的功能， 以便用戶可以在期望的切換周期中接收新的服務(wù)，而不會(huì)強(qiáng)迫為了觀看而購(gòu)買新的電視機(jī)或者觀看引起不舒服的感覺(jué)的動(dòng)態(tài)圖像。本實(shí)施方式也可以被應(yīng)用于裸眼3D型電視機(jī)。因此，在混合了現(xiàn)有接收器和能夠接收附加信息動(dòng)態(tài)圖像的接收器的情形下，可以將發(fā)送器改變到具有附加信息動(dòng)態(tài)圖像的動(dòng)態(tài)圖像的發(fā)送器，而在現(xiàn)有接收器側(cè)上不會(huì)有障礙。而且，可以減少現(xiàn)有發(fā)送器/接收器的改變量，以便可以降低開(kāi)發(fā)成本并削減使用本實(shí)施方式的發(fā)送器/接收器的價(jià)格。以上已經(jīng)參考附圖描述了本發(fā)明的優(yōu)選實(shí)施方式，當(dāng)然，本發(fā)明不限于以上示例。 本領(lǐng)域普通技術(shù)人員在附錄的權(quán)利要求書(shū)的范圍內(nèi)可以發(fā)現(xiàn)各種變更和改進(jìn)，并且應(yīng)該理解，它們將自然歸入本發(fā)明的技術(shù)范圍。附圖標(biāo)記列表100發(fā)送器102動(dòng)態(tài)圖像壓縮單元104普通觀看動(dòng)態(tài)圖像區(qū)域編碼單元106附加信息動(dòng)態(tài)圖像存在信息編碼單元200接收器
202動(dòng)態(tài)圖像解壓?jiǎn)卧?04普通觀看動(dòng)態(tài)圖像區(qū)域解碼單元206動(dòng)態(tài)圖像輸出單元208附加信息動(dòng)態(tài)圖像存在信息解碼單元
權(quán)利要求
1.一種圖像接收器，包括接收單元，接收在其中在一幀中布置第一圖像和第二圖像的集成圖像；以及獲取單元，獲取指示與該集成圖像一起發(fā)送的第一圖像的區(qū)域的區(qū)域信息， 其中，包括在其中僅僅第一圖像基于區(qū)域信息被顯示的非立體視頻顯示模式和/或在其中第一圖像和第二圖像被顯示為立體視頻的立體視頻顯示模式。
2.根據(jù)權(quán)利要求1的圖像接收器，其中，基于指示集成圖像是立體視頻的立體視覺(jué)判斷信息切換非立體視頻顯示模式和立體視頻顯示模式。
3.根據(jù)權(quán)利要求1的圖像接收器，其中，第一圖像是左眼圖像而第二圖像是右眼圖像。
4.根據(jù)權(quán)利要求1的圖像接收器，其中，由264/AVC編解碼器編碼集成圖像和區(qū)域信息并且該區(qū)域信息是剪裁參數(shù)。
5.根據(jù)權(quán)利要求4的圖像接收器，其中，該剪裁參數(shù)包括在序列參數(shù)集SPS中。
6.根據(jù)權(quán)利要求1的圖像接收器，其中，集成圖像具有進(jìn)一步布置在一幀中的一個(gè)或多個(gè)圖像。
全文摘要
公開(kāi)了圖像接收裝置，提供有接收單元，其接收在其中在單幀中布置了第一圖像和第二圖像的組合圖像；以及獲取單元，其獲取與該組合圖像一起發(fā)送的區(qū)域信息并指示第一圖像所在的該區(qū)域。圖像接收裝置具有在其中僅僅基于區(qū)域信息顯示第一圖像的非立體顯示模式和/或在其中將第一圖像和第二圖像顯示為立體圖像的立體顯示模式。
文檔編號(hào)H04N7/26GK102273212SQ201080004186
公開(kāi)日2011年12月7日 申請(qǐng)日期2010年11月17日 優(yōu)先權(quán)日2009年11月17日
發(fā)明者永野秀敏 申請(qǐng)人:索尼公司