專利名稱：圖像處理方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像的處理，更具體地說(shuō)，涉及多個(gè)圖像數(shù)據(jù)流的處理。
背景技術(shù)：
在許多應(yīng)用中，捕捉多個(gè)圖像，并且在觀看之前，需要處理這多個(gè)圖像，比如壓縮、 傳送和保存。例如，為了監(jiān)視生產(chǎn)線，攝像系統(tǒng)可包括各自產(chǎn)生圖像流的多個(gè)攝像機(jī)。另外，在 許多360視頻應(yīng)用中，攝像機(jī)可包括各自產(chǎn)生圖像流的兩個(gè)魚(yú)眼鏡頭和/或一個(gè)變焦鏡頭。 魚(yú)眼鏡頭具有廣角視場(chǎng)，存在許多變體。典型的魚(yú)眼鏡頭可用180°半球全圓形成圖像。從 而，兩個(gè)魚(yú)眼鏡頭可背靠背地布置，以捕捉整個(gè)環(huán)境。變焦鏡頭可放大環(huán)境的所選區(qū)域，以 更詳細(xì)地顯示所選區(qū)域。從而可以產(chǎn)生多個(gè)圖像數(shù)據(jù)流，這些圖像數(shù)據(jù)流可以是相同或不同的格式。例如， 變焦鏡頭捕捉的圖像可以是高清晰格式。HD分辨率視頻的特征在于其寬幅(通常16 9 長(zhǎng)寬比)及其高圖像清晰度(與通常的幀大小為720X576像素的標(biāo)準(zhǔn)視頻清晰度(SD)格 式相比，通常的幀大小為1920 X 1080像素和1280X720像素)。相反，由安裝在適當(dāng)攝像機(jī) 上的魚(yú)眼鏡頭捕捉的圖像可以是超高清晰度(XHD)分辨率圖像。超高清晰度(XHD)格式獲 得與高清晰度(HD)格式視頻相比尺寸更大的圖像。在許多應(yīng)用中這是合乎需要的，因?yàn)樗?提高了用戶數(shù)字放大環(huán)境的能力。每個(gè)圖像通常具有受計(jì)算機(jī)和處理硬件支持的顏色深度。顏色深度描述用于表現(xiàn) 位映射(bitmapped)圖像或視頻幀緩沖區(qū)中的單一像素的顏色的二進(jìn)制位的數(shù)目，有時(shí)被 稱為每像素位數(shù)。較高的顏色深度呈現(xiàn)出范圍更寬的不同顏色。真彩色具有一千六百七十萬(wàn)種不同的顏色，并且模擬在真實(shí)世界中見(jiàn)到的許多顏 色。所產(chǎn)生顏色的范圍接近人眼能夠區(qū)分大多數(shù)攝影圖像的顏色的水平。不過(guò)，當(dāng)圖像被 處理，或者是黑白圖像(它將真彩色局限于256灰度級(jí))或者“純粹”生成圖像時(shí)，會(huì)出現(xiàn)
一些局限性。通常，在目前的標(biāo)準(zhǔn)中，以24或32位顏色深度捕捉圖像。24位真彩色使用8位來(lái)表示紅色，8位來(lái)表示藍(lán)色，和8位來(lái)表示綠色。對(duì)這三種 顏色中的每一種來(lái)說(shuō)，這產(chǎn)生256種色度(shade)。于是，可組合這些色度，從而形成總共 16777216 種混合顏色(256X256X256)。32位顏色包含24位顏色和額外的8位，這額外的8位或者作為空的填充空間，或 者表示a通道。許多計(jì)算機(jī)在內(nèi)部以32位為單位處理數(shù)據(jù)。于是，使用32位顏色深度是 合乎需要的，因?yàn)樗梢詢?yōu)化速度。不過(guò)，這是以增大安裝的視頻存儲(chǔ)器為代價(jià)的。HD或XHD流都具有已知的數(shù)字?jǐn)?shù)據(jù)格式。由標(biāo)準(zhǔn)位數(shù)(已知的顏色深度)表現(xiàn)的 像素構(gòu)成1和0的位流。在順序掃描圖像行的情況下，可使用逐行掃描，或者例如，在首先 掃描奇數(shù)行，隨后掃描偶數(shù)行的情況下，可使用隔行掃描。通常，每一行的掃描是從左到右。 通常存在至少一個(gè)報(bào)頭，所述報(bào)頭由指示在其之后的位流的有關(guān)信息的1和0構(gòu)成。各種
4數(shù)字?jǐn)?shù)據(jù)流格式，包括不同數(shù)目的報(bào)頭都是可能的，并且為本領(lǐng)域的技術(shù)人員所知。為避免產(chǎn)生疑問(wèn)，已知的數(shù)據(jù)格式是任何圖像格式(例如，HD或XHD)的任何已知數(shù)字格式。圖像數(shù)據(jù)流通常是MPEG 2和4兼容的。MPEG-2是由運(yùn)動(dòng)圖像專家組為數(shù)字視頻定義的標(biāo)準(zhǔn)。它規(guī)定封閉的視頻位流的 語(yǔ)法。另外，它規(guī)定用于對(duì)應(yīng)視頻流的后續(xù)編碼和壓縮的語(yǔ)義和方法。不過(guò)，實(shí)現(xiàn)實(shí)際編碼 處理的方式由編碼器設(shè)計(jì)決定。于是，有利的是，所有MPEG-2兼容設(shè)備都是能共同使用的。 目前，MPEG-2標(biāo)準(zhǔn)被廣泛接受。MPEG-2允許對(duì)從有限清晰度到全HDTV范圍內(nèi)的四種源格式，或者說(shuō)“級(jí)別”編碼， 每一種源格式都具有多種位速率。另外，MPEG-2允許不同的“簡(jiǎn)檔(profile)”。每種簡(jiǎn)檔 提供一起構(gòu)成編碼系統(tǒng)的一批壓縮工具。不同的簡(jiǎn)檔意味著可得到不同的一組壓縮工具。包含H. 264壓縮方案的MPEG-4標(biāo)準(zhǔn)處理覆蓋低位速率和高位速率的較高壓縮比。 它兼容MPEG-2流，并開(kāi)始成為未來(lái)的主流標(biāo)準(zhǔn)。存在許多符合規(guī)定的記錄格式。例如，HDV是常用的產(chǎn)生HD視頻的記錄格式。該 格式與MPEG-2兼容，對(duì)流可以使用MPEG-2壓縮。來(lái)自MEPG-2視頻編碼器的輸出被稱為基本流(換句話說(shuō)，數(shù)據(jù)或視頻位流)?；?本流只包含一種數(shù)據(jù)，并且是連續(xù)的。在源結(jié)束之前，它們不會(huì)停止?；玖鞯臏?zhǔn)確格式將 隨編解碼器或者流中攜帶的數(shù)據(jù)而變化。連續(xù)的基本位流隨后可被送入打包器，打包器把基本流分成具有一定數(shù)目字節(jié)的 分組。這些分組被稱為打包基本流(PES)分組。PES通常包含來(lái)自單一編碼器的僅一種有 效載荷數(shù)據(jù)。每個(gè)PES分組從包括唯一分組ID的分組報(bào)頭開(kāi)始。報(bào)頭數(shù)據(jù)還識(shí)別有效載 荷的來(lái)源，以及排序和定時(shí)信息。在MEPG標(biāo)準(zhǔn)內(nèi)，建立于打包基本流之上的各種其它格式也是可能的。對(duì)于一些應(yīng) 用可以引入報(bào)頭的分級(jí)結(jié)構(gòu)。例如，位流可包括總序列頭(overall sequence header)、一 組圖片報(bào)頭、單個(gè)圖片報(bào)頭，和一部分的圖片報(bào)頭。在監(jiān)視生產(chǎn)線的應(yīng)用和許多360或其它視頻應(yīng)用中，理想的是同時(shí)查看在相同時(shí) 刻拍攝的圖像流。這使用戶能夠查看真實(shí)的環(huán)境，例如顯示生產(chǎn)線或者360圖像，并且可選 地顯示指定時(shí)刻的放大的部分。另外，對(duì)許多應(yīng)用來(lái)說(shuō)，理想的是實(shí)時(shí)地查看圖像流。我們已認(rèn)識(shí)到理想的是以已知格式發(fā)送圖像流數(shù)據(jù)，比如MPEG兼容格式的圖像 流，以致常用的MPEG兼容硬件可用于處理圖像流。不過(guò)，我們還認(rèn)識(shí)到在數(shù)據(jù)的傳輸和處 理中，需要保持不同圖像數(shù)據(jù)流之間的同步。

發(fā)明內(nèi)容
在權(quán)利要求中限定了本發(fā)明。按照本發(fā)明，提供一種處理表示按幀排列的像素的圖像數(shù)據(jù)的方法，包括處理兩 個(gè)或者更多個(gè)圖像數(shù)據(jù)流，以降低表示所述像素的數(shù)據(jù)的位深度，從而產(chǎn)生位深度縮減的 流；將位深度縮減的流組合成單一流，所述單一流具有至少與所述位深度縮減的流的位深 度之和相等的位深度；以已知格式傳送所述單一流；和將所述單一流轉(zhuǎn)換回兩個(gè)或更多個(gè) 圖像數(shù)據(jù)流。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)是能夠同時(shí)處理，從而同時(shí)查看多個(gè)圖像數(shù)據(jù)流。例如，如果通過(guò)通信鏈路分別傳送兩個(gè)流，一個(gè)流可能在結(jié)束時(shí)，來(lái)自一個(gè)流的數(shù)據(jù)在另一個(gè)流之前或之后到達(dá)，這從而會(huì)引起在顯示器上同時(shí)顯示數(shù)據(jù)方面的問(wèn)題。通過(guò)組合兩個(gè)或更多 個(gè)圖像數(shù)據(jù)流，并利用MPEG-2編碼以諸如HD之類的格式將其呈現(xiàn)為單一流，本發(fā)明的實(shí)施 例避免了該問(wèn)題。可利用常規(guī)硬件傳送和處理該單一流。由于數(shù)據(jù)被組合在一起形成單一 流，因此保證了來(lái)自兩個(gè)或更多個(gè)流的數(shù)據(jù)同步。因此，本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于可保證在傳輸期間，表示兩個(gè)或更多圖像流的 數(shù)據(jù)保持同步。這可保證來(lái)自一個(gè)源的各幀的像素按已知的時(shí)間差，或者在與來(lái)自另一個(gè) 源的像素同時(shí)到達(dá)目的地。例如，就捕捉時(shí)間來(lái)說(shuō)，這些幀基本上對(duì)應(yīng)，從而能夠?qū)崿F(xiàn)圖像 流的同時(shí)觀看。對(duì)許多應(yīng)用，包括監(jiān)視生產(chǎn)線和最好實(shí)時(shí)地查看整個(gè)環(huán)境(例如，用多臺(tái)攝 像機(jī)捕捉)的各種360視頻應(yīng)用來(lái)說(shuō)，這是有益的。本發(fā)明的附加好處在于通過(guò)縮減顏色深度，在數(shù)據(jù)的傳輸之前，帶寬被降低。我們 認(rèn)識(shí)到縮減的顏色深度可足以滿足許多應(yīng)用，從而按照這種方式降低帶寬是可接受的。例 如，對(duì)于從夜間攝像機(jī)拍攝的圖像，只需要8位顏色深度(最大256色)。從而，把位深度從 所捕捉的24位縮減到8位不會(huì)引起成問(wèn)題的質(zhì)量損失。從而，圖像數(shù)據(jù)流可被組合成已知格式的單一流。作為結(jié)果的流的長(zhǎng)度不必比最 長(zhǎng)的輸入流更長(zhǎng)。這有利于產(chǎn)生利用已知技術(shù)和硬件處理流，尤其是實(shí)時(shí)處理流的可能性。 與通過(guò)獨(dú)立的通信鏈路傳送多個(gè)流相比，僅處理一個(gè)流還簡(jiǎn)化傳送流的硬件配置。盡管本發(fā)明有利于在希望同步的情況下，處理多個(gè)視頻流，不過(guò)本發(fā)明也可用在 希望作為單一流處理多個(gè)圖像的各種各樣的應(yīng)用中。優(yōu)選地，來(lái)自合并在一起的各個(gè)圖像流的圖像彼此對(duì)應(yīng)，比如是同時(shí)從不同來(lái)源 捕捉的。通過(guò)使用加密密鑰控制圖像的合并和轉(zhuǎn)換回，可使視頻更安全。作為替代地，可以 使用查找表把合并的圖像轉(zhuǎn)換回它們的原始分離形式。


下面參考附圖，舉例說(shuō)明本發(fā)明的一個(gè)實(shí)施例，其中圖1是本發(fā)明的一個(gè)實(shí)施例的功能組件的示意概觀；圖2是實(shí)施例的編碼器裝置的示意圖；圖3是本發(fā)明的一個(gè)實(shí)施例的可選第二級(jí)編碼的示意圖；圖4是圖解說(shuō)明該實(shí)施例的解碼裝置的示意圖；以及圖5是圖解說(shuō)明縮減位流，并把縮減的位流組合成已知格式的單一位流的編碼器 過(guò)程的示意圖。
具體實(shí)施例方式本發(fā)明的實(shí)施例使多個(gè)圖像流可以被合并成單一圖像流，并作為單一圖像流被處 理，隨后被轉(zhuǎn)換回分離的圖像流。在下面的例子中，這些圖像由作為視頻源的分離圖像源捕 捉，不過(guò)這只是一個(gè)例子。待描述的實(shí)施例具有三個(gè)分離的圖像源，以及可選的第四圖像源。所有視頻源可 以是實(shí)時(shí)的，或者是文件序列。在本例中，圖像源是監(jiān)視生產(chǎn)線的攝像系統(tǒng)的一部分。兩臺(tái)攝像機(jī)配有背對(duì)背布置以捕捉整個(gè)周?chē)h(huán)境(360° )的超廣角鏡頭，比如魚(yú)眼鏡頭。在本 例中，這些攝像機(jī)捕捉超高清晰度(XHD)視頻，為使用戶能夠有效地?cái)?shù)字放大圖像，XHD視 頻是所希望的。為了避免產(chǎn)生疑問(wèn)，這里要指出的是XHD包含高于HD的任何清晰度。這種 情況下，對(duì)于每個(gè)圖像幀，每個(gè)XHD源具有相同數(shù)目的像素，因?yàn)檫@兩臺(tái)攝像成像器是相同 的，產(chǎn)生相同格式和長(zhǎng)寬比的圖像。另外，存在配有變焦鏡頭的第三臺(tái)攝像機(jī)，所述變焦鏡頭能夠進(jìn)一步放大環(huán)境。在 本例中，第三臺(tái)攝像成像器產(chǎn)生高清晰度HD視頻。于是，和XHD圖像幀一樣，每個(gè)圖像幀具 有相同或不同數(shù)目的像素。所述攝像系統(tǒng)還可結(jié)合第四臺(tái)HD攝像成像器。應(yīng)意識(shí)到該實(shí)施例并不局限于特定數(shù)目的視頻源，下面說(shuō)明的技術(shù)可以和圖像源 的許多其它組合一起使用。特別地，盡管實(shí)施例尤其可用于處理不同圖像格式的圖像，不過(guò) 并不局限于這樣的圖像。待處理的圖像可以是相同的格式，或者各種不同的格式。這些圖 像格式可以是標(biāo)準(zhǔn)格式或非標(biāo)準(zhǔn)格式。圖1表示具有三個(gè)圖像源和可選的第四圖像源1、2、3和4的實(shí)施本發(fā)明的裝置的 功能組件。捕捉的數(shù)據(jù)可以由處理器5處理，處理器5可分別配有內(nèi)存6和/或存儲(chǔ)容量 7。圖像流由裝置8處理，裝置8進(jìn)行合并圖像流的處理。處理器5、內(nèi)存6、存儲(chǔ)器7和裝 置8的功能組件可以在單一裝置中實(shí)施。在這樣的安排中，圖像源1、2、3可以是簡(jiǎn)單的圖 像捕捉裝置，比如帶有適當(dāng)光學(xué)器件和驅(qū)動(dòng)電子器件的CXD或CMOS傳感器，處理器5、內(nèi)存 6和存儲(chǔ)器7承擔(dān)把原始圖像數(shù)據(jù)變成圖像流的處理。另一方面，圖像源1、2、3本身可以是 以XHD或HD格式產(chǎn)生圖像流的圖像攝像機(jī)，并且處理器5、內(nèi)存6和存儲(chǔ)器7要進(jìn)行的處理 成型較少。在編碼器中，如圖2中所示，存在來(lái)自具有24位顏色深度的三種視頻流，即兩個(gè) XHD視頻流和一個(gè)HD視頻流。顏色深度縮減器12、13和14把每個(gè)圖像流的顏色深度從24 位減小到8-12位。即，每個(gè)像素現(xiàn)在用8-12位表示，可表現(xiàn)的顏色的數(shù)目減小。例如，8位 顏色深度提供的在任一時(shí)刻顯示的顏色的最大數(shù)目為256。進(jìn)行這種縮減的顏色深度縮減器在本領(lǐng)域中眾所周知，例如使用取樣和量化。存 在許多變體。例如，一種縮減顏色深度的簡(jiǎn)單技術(shù)包括把位組合在一起，以將數(shù)字0-65536 表示成第一位，數(shù)字65536-131072由第二位表示，等等。技術(shù)人員明白可能的縮減顏色位深度的技術(shù)有許多，比如通過(guò)用顏色查找表表示 顏色，以致表現(xiàn)的顏色更少。這減小了色調(diào)的范圍，不過(guò)在多數(shù)應(yīng)用中不會(huì)造成問(wèn)題。在用 于傳輸?shù)娜魏螇嚎s技術(shù)之前，對(duì)原始像素?cái)?shù)據(jù)進(jìn)行縮減顏色位深度的處理。在本例中，每個(gè)圖像流被縮減成相同的顏色深度。不過(guò)，情況并非必需如此。8位或更大的顏色深度適合于/足以滿足許多應(yīng)用，包括監(jiān)視生產(chǎn)線的攝像系統(tǒng) 和許多360攝像應(yīng)用。應(yīng)意識(shí)到顏色深度的其它縮減也適合于或足以滿足各種其它應(yīng)用。流合并器15把顏色深度減小的所述兩個(gè)XHD視頻流和所述HD視頻流合并成總顏 色深度為16-32位的單一視頻流。在圖2中，實(shí)現(xiàn)所述合并的處理器被稱為XHD流合并器， 因?yàn)檫@種情況下，合成的視頻流的圖像格式為XHD。合并的圖像流具有已知的數(shù)字?jǐn)?shù)據(jù)格 式，顏色深度至少等于位深度縮減的圖像流的位深度的總和。這種情況下，合并的圖像流具 有32位/像素的最大位深度。優(yōu)選是標(biāo)準(zhǔn)的24或32位顏色深度。合并圖像流的許多組合都是可能的，在后面說(shuō)明的圖5中給出了一個(gè)例子。
在本例中，合并的圖像流采用最大的輸入流的格式大小-這種情況下是XHD。HD 圖像中的像素可被重新排列，以適合XHD圖像格式。為統(tǒng)一得到的流的顏色深度而需要的 任何附加位可以是空填充空間。為了得到組合流的希望的24位或32位顏色深度，可以合并均為8位的三個(gè)流 (2XXHD和1XHD)，以產(chǎn)生一個(gè)24位圖像流。作為替代地，所述兩個(gè)XHD流可具有12位并 且所述HD流可具有8位，得到總共32位的顏色深度。也可單獨(dú)組合均為12位的兩個(gè)XHD 流，從而產(chǎn)生作為結(jié)果的24位的流。例如，如果XHD流的長(zhǎng)度長(zhǎng)于HD流的長(zhǎng)度，那么這是理 想的。在存在四個(gè)輸入流(2XXHD和2XHD)的情況下，如果被縮減為8位顏色深度的話， 那么所有流可被合并，從而產(chǎn)生作為結(jié)果的32位顏色深度的流。
要意識(shí)到合并顏色深度縮減的流以產(chǎn)生已知的單一數(shù)字?jǐn)?shù)據(jù)流的組合和可能性 有很多。特別地，對(duì)應(yīng)于已知格式，產(chǎn)生合并的流的希望的總顏色深度的組合和可能性很 多。另外要意識(shí)到已知格式以及希望的顏色深度可以變化。圖5表示考慮實(shí)際的數(shù)字?jǐn)?shù)據(jù)信息，合并三個(gè)圖像源24、25和26的一種方式。首 先，在27、28和29，每個(gè)圖像源具有報(bào)頭和24位的數(shù)據(jù)幀(即，像素)。在30、31和32，每 個(gè)數(shù)據(jù)幀(像素)的位數(shù)被縮減為8位，如前所述。在33，來(lái)自每個(gè)圖像源的8位數(shù)據(jù)幀被 級(jí)聯(lián)，從而產(chǎn)生與一個(gè)24位“像素”對(duì)應(yīng)的標(biāo)準(zhǔn)格式的24位數(shù)據(jù)字段。這產(chǎn)生可按標(biāo)準(zhǔn)的 已知格式處理的數(shù)字結(jié)構(gòu)的數(shù)據(jù)，當(dāng)然，24位“像素”并不代表實(shí)際圖像。如果處理器試圖 顯示組合的單一流，那么它會(huì)以隨機(jī)排列像素的方式顯示圖像。為了顯示三個(gè)獨(dú)立的圖像 流，如后所述，必須解構(gòu)或解碼所述單一流。要意識(shí)到可按照各種其它方式合并位深度縮減的圖像流，從而形成已知格式的單 一流。例如，除了級(jí)聯(lián)之外，可以從每個(gè)圖像源的數(shù)據(jù)幀中取出交替的位，從而產(chǎn)生合并的 24位數(shù)據(jù)幀。這樣的方法適合于提高安全性。在本例中，如上所述，通過(guò)獲得來(lái)自一個(gè)圖像源的第一幀的第一像素，和來(lái)自第二 個(gè)圖像源的第一幀的第一像素，并把它們合并在一起(通過(guò)級(jí)聯(lián)或以其它方式)，可組合每 個(gè)圖像幀具有相同數(shù)目的像素的兩個(gè)XHD流。類似地，使來(lái)自一幀的第二像素與另一個(gè)圖 像源的第二像素組合，依次類推。組合流的其它方法也是可能的，并且將被本領(lǐng)域的技術(shù)人 員想到。如果與XHD流相比，HD流的每圖像幀的像素?cái)?shù)較少，那么仍然可以使用上面說(shuō)明 的通過(guò)級(jí)聯(lián)或以其它方式組合縮減的位像素的技術(shù)。當(dāng)在HD圖像幀中不存在留待與XHD 流像素組合的像素時(shí)，可以使用例如空填充空間。優(yōu)選地，合并來(lái)自彼此對(duì)應(yīng)的三個(gè)輸入流的圖像幀。假定圖像在作為單一流的后 續(xù)傳輸期間始終保持同步，那么可保證來(lái)自一個(gè)源的幀的像素與來(lái)自另一個(gè)源的對(duì)應(yīng)像素 同時(shí)到達(dá)目的地。例如，就監(jiān)視生產(chǎn)線的攝像系統(tǒng)和許多360攝像應(yīng)用來(lái)說(shuō)，優(yōu)選地，在相同時(shí)間捕 捉的多個(gè)圖像幀被合并成構(gòu)成單一圖像流的單一圖像幀。這使用戶能夠例如按照捕捉圖像 流的時(shí)間點(diǎn)使圖像流同步。有利的是，這使得能夠?qū)崟r(shí)地同時(shí)查看多個(gè)視頻源。通過(guò)使用相同的攝像機(jī)，并對(duì)攝像機(jī)中的數(shù)字信號(hào)處理器使用單一的時(shí)鐘源，以 致使攝像機(jī)真正同步，可在合并之前使圖像流同步。從而，在與來(lái)自另一源的第一幀的第一 像素完全相同的時(shí)間，數(shù)字?jǐn)?shù)據(jù)流會(huì)得到來(lái)自一個(gè)源的第一圖像幀的第一像素。這會(huì)簡(jiǎn)化隨后合并圖像流的處理，因?yàn)閿?shù)據(jù)位流已被同步。不過(guò)，更可能的是圖像源并不完全同步，因?yàn)檠b置中的數(shù)字時(shí)鐘可能完全不同。在 這種情況下，為了在合并之前使圖像流同步，需要找出每個(gè)數(shù)據(jù)流內(nèi)的報(bào)頭，然后延遲數(shù)據(jù) 流之一，直到使報(bào)頭對(duì)齊為止。從而使縮減位深度和把數(shù)據(jù)流組合在一起的所有后續(xù)數(shù)字 處理完全同步。不過(guò)，應(yīng)注意的是在這樣的優(yōu)選實(shí)施例中，并非必需使來(lái)自一個(gè)源的幀與在完全 相同的時(shí)間從另一個(gè)源獲得的幀合并。由于圖像在作為單一流的后續(xù)傳輸期間保持同步， 因此輕微的失準(zhǔn)是可接受的。例如，可接受的是使來(lái)自一個(gè)源的幀與來(lái)自另一個(gè)源的就拍 攝時(shí)間來(lái)說(shuō)相差幾個(gè)圖像幀的幀合并。TV攝像機(jī)一般具有50場(chǎng)/秒的圖像幀速率。合并 在一起的圖像相隔幾場(chǎng)或幾幀是無(wú)關(guān)緊要的。只要系統(tǒng)和解碼器知道，它能夠保證圖像在 接收器端在正確時(shí)間被顯示即可。如上所述，表示來(lái)自圖像源的每個(gè)像素的原始24位數(shù)據(jù)在位深度方面被縮減，與 來(lái)自其它流的其它縮減的像素組合，隨后被封裝到選擇的已知格式中。通過(guò)對(duì)諸如16X16 模式組之類的像素模式應(yīng)用顏色縮減和合并，可使所得到的數(shù)據(jù)與例如MPEG-2或者其它 壓縮算法兼容。位深度縮減和合并方案可以是固定的或者自適應(yīng)的。如果所述方案是固定的，那 么編碼器和解碼器都需要預(yù)先知道所述方案的安排。另一方面，如果所述方案是可變的或 者自適應(yīng)的，那么所選方案必須被記錄，并從編碼器傳送給解碼器。編碼方案可作為元數(shù)據(jù) 被保存和傳送，所述元數(shù)據(jù)可被稱為“調(diào)色板組合圖(palette combinationmap) 它包含 解釋像素是如何被縮減了位深度和如何被組合的信息。例如，在圖5中所示的方案中，調(diào)色 板組合圖包含查找表，所述查找表解釋每個(gè)像素從24位被縮減到8位，隨后按照第一像素， 第二像素，第三像素的順序，使3個(gè)像素中的每一個(gè)與來(lái)自另一個(gè)圖像的一幀的對(duì)應(yīng)像素 級(jí)聯(lián)。解碼器可以使用該查找表或者說(shuō)“密鑰”來(lái)重新組裝圖像流。所使用的方案可以一次設(shè)定后就固定，或者可以是自適應(yīng)的，如上所述。如果是自 適應(yīng)的，那么所述方案可以偶爾改變，例如每天一次，一天幾次，或者可以更頻繁地改變，比 如隨著所傳送圖像的性質(zhì)的改變而改變。如果所述方案頻繁地改變，那么將與圖像流數(shù)據(jù) 多路復(fù)用地傳送調(diào)色板組合圖，或者用獨(dú)立通道發(fā)送調(diào)色板組合圖。當(dāng)這種元數(shù)據(jù)較小時(shí)， 應(yīng)該不存在任何傳輸問(wèn)題，從而不存在延遲風(fēng)險(xiǎn)。不過(guò)，為了避免要是所述元數(shù)據(jù)未能到達(dá) 解碼器，從而解碼器不能工作的可能性，當(dāng)不存在從編碼器到解碼器的元數(shù)據(jù)傳輸時(shí)，可以 使用默認(rèn)的固定方案。優(yōu)選地，在XHD流合并器15，保存各個(gè)流的顏色深度信息。該信息可保存在由XHD 流合并器產(chǎn)生的調(diào)色板組合圖中，其中顏色深度信息可被嵌入矩陣中。該數(shù)據(jù)可被加密，以 提高安全性。優(yōu)選地，還保存關(guān)于各個(gè)流的附加信息，以致合并的流可被解碼。這樣的信息可包 括初始圖像/流的數(shù)目，各個(gè)流中圖像像素的初始位置。該數(shù)據(jù)可以矩陣的形式嵌入調(diào)色 板組合圖中，還可被加密，以便提高安全性?，F(xiàn)在，可以作為已知格式的單一流來(lái)處理初始圖像流。例如，如果合并的圖像的格 式大小是標(biāo)準(zhǔn)格式大小的話，這可利用常規(guī)硬件來(lái)實(shí)現(xiàn)。例如，目前就是這樣，如果格式大 小為HD的話。該格式兼容MPEG-2和4。于是，如果待合并的輸入流是HD格式，那么可以使用常規(guī)硬件。不過(guò)，在本例中，所得到的圖像的格式大小為XHD。目前，可利用MEPG壓縮實(shí)現(xiàn)XHD分辨率視頻的壓縮、傳送和存儲(chǔ)，MPEG壓縮產(chǎn)生造成傳送和存儲(chǔ)問(wèn)題的巨大文件大小和帶 寬。于是，為了使數(shù)據(jù)能夠被實(shí)時(shí)壓縮以便應(yīng)用，需要強(qiáng)大的專用處理器和非常高速的網(wǎng) 絡(luò)。這些處理器和網(wǎng)絡(luò)目前并不廣泛可用，經(jīng)濟(jì)上也不可行?？梢允褂冒凑盏诙N格式處理以第一種格式獲得的圖像的方法和系統(tǒng)把組合流 轉(zhuǎn)換成低分辨率格式。例如，可以使用其中把像素分成16X16像素的“圖案”，隨后以HD格 式傳送的方法。這在圖3中被表示成“Tetris”編碼器和解碼器。這是一種把XHD數(shù)據(jù)轉(zhuǎn)換 成HD數(shù)據(jù)的編碼方案，不過(guò)并不是本發(fā)明的實(shí)施例必不可少的。可以使用其它轉(zhuǎn)換方案， 或者甚至可以使數(shù)據(jù)保持XHD格式。未來(lái)，硬件將允許傳送和處理XHD，并且將不再需要圖 3中所示的可選的轉(zhuǎn)換步驟。如此，如果希望的話，可以使用常規(guī)的HD編解碼器壓縮和解壓 縮合并的數(shù)據(jù)。數(shù)據(jù)可以以壓縮的形式被傳送和/或保存。圖2表示用于把由流合并器15產(chǎn)生的XHD合并流轉(zhuǎn)換成HD流的編碼器16。圖像 的有效畫(huà)面部分被分成每個(gè)具有多個(gè)像素的圖案。這些圖案被賦予坐標(biāo)值，然后利用把圖 案重新排序的加密密鑰被重新格式化成HD格式。該加密密鑰可由調(diào)色板組合圖產(chǎn)生，不過(guò) 情況并非必需如此。圖3表示處理單一的合并流的例子的概述。圖3表示把XHD格式重新格式化成HD 格式的編碼器、得到的HD流，和解碼器。通過(guò)在密鑰的控制下，應(yīng)用相反的重新排序過(guò)程， 解碼器把圖像轉(zhuǎn)換回XHD格式。這種情況下，密鑰和HD流一起被發(fā)送。該解碼器在圖4中 還被表示成解碼器17。優(yōu)選地，可以存儲(chǔ)在調(diào)色板組合圖中的輸入流信息也與單一合并流一起被發(fā)送到 如圖4中所示的解碼器。在XHD流分流器18，接收合并的單一流(在本例中為XHD的)。還接收調(diào)色板組 合圖，包括諸如輸入流的數(shù)目、圖像和圖像像素在這些流內(nèi)的位置之類的輸入流信息。利用 該信息，合并的單一流被分離回在流合并器15合并的獨(dú)立流，兩個(gè)XHD流和一個(gè)HD流。這些分離的流隨后可被發(fā)送給顏色深度轉(zhuǎn)換器19、20和21。分離流的顏色深度 可被變回初始輸入流9、10和11的顏色深度。于是，把8-12位的每個(gè)縮減像素變回24-32 位。理想的是把位深度變回當(dāng)前硬件所支持的標(biāo)準(zhǔn)位深度。利用諸如GIF標(biāo)準(zhǔn)所使用的調(diào) 色板之類的技術(shù)，實(shí)現(xiàn)這種功能的標(biāo)準(zhǔn)轉(zhuǎn)換器在本領(lǐng)域中是已知的。要意識(shí)到由于在處理過(guò)程中使用量化和壓縮，與輸入流相比，來(lái)自顏色深度轉(zhuǎn)換 器19、20和21的輸出流的色彩質(zhì)量發(fā)生變化。不過(guò)，發(fā)明人意識(shí)到輕微的變化對(duì)人眼以及 對(duì)許多應(yīng)用，尤其是實(shí)時(shí)工作的那些應(yīng)用來(lái)說(shuō)并不明顯，如此降低的質(zhì)量是可接受的，所獲 得的優(yōu)點(diǎn)勝過(guò)色彩質(zhì)量的降低?，F(xiàn)在可在22處渲染輸出流，和在23處顯示輸出流。例如，顯示器可以是360視頻 播放器，在所述360視頻播放器，最終用戶可搖攝和放大3D世界。所描述的實(shí)施例具有能夠以具有如下優(yōu)點(diǎn)作為已知格式的單一視頻流處理、壓 縮、傳送和/或存儲(chǔ)可以是不同格式的多個(gè)視頻流。這簡(jiǎn)化了處理所需的硬件配置。按照 這種方式組合流還意味單一的合并流的長(zhǎng)度不必長(zhǎng)于最長(zhǎng)輸入流的長(zhǎng)度。對(duì)視頻流的存儲(chǔ) 和傳送來(lái)說(shuō)這是有益的。另外，由于在傳輸之前，帶寬被減小，因此該方法適合于實(shí)時(shí)應(yīng)用。該實(shí)施例還具有在傳送期間，流保持同步(即，在傳輸期間，組合流的方式不發(fā)生變化)的 優(yōu)點(diǎn)。在該實(shí)施例中，流被組合得使得在拍攝時(shí)間上對(duì)應(yīng)的幀被組合。在所描述的應(yīng)用中， 這是特別有利的，因?yàn)樗沟媚軌驅(qū)崟r(shí)地同時(shí)查看整個(gè)環(huán)境。本領(lǐng)域的技術(shù)人員會(huì)認(rèn)識(shí)到本發(fā)明的應(yīng)用例子只是用于舉例說(shuō)明，可按照許多其 它方式利用本發(fā)明。當(dāng)某一過(guò)程要求多個(gè)視頻源之間的同步在傳輸和處理期間保持固定 時(shí)，本發(fā)明特別有益?？墒箞D像幀同步，例如使得在相同時(shí)刻或者按已知時(shí)差捕捉的幀可以 一起到達(dá)目的地。如果希望進(jìn)行相關(guān)操作，例如在運(yùn)動(dòng)分析，立體3D或拼接中，同步可以是 有利的。不過(guò)，本發(fā)明并不局限于這樣的應(yīng)用，可用在希望作為單一流處理多個(gè)流的許多應(yīng) 用中。另外要意識(shí)到，待合并的視頻流的數(shù)目和視頻流的圖像格式可變化?？s減顏色深 度并把流合并成已知格式的流的許多組合和方式都是可能的，并且會(huì)被本領(lǐng)域的技術(shù)人員 uM至丨J ο 對(duì)所述實(shí)施例的各種其它修改也是可能的，并且會(huì)被本領(lǐng)域的技術(shù)人員想到，而 不脫離由附加權(quán)利要求限定的本發(fā)明的范圍。
權(quán)利要求
一種處理表示按幀排列的像素的圖像數(shù)據(jù)的方法，包括處理兩個(gè)或者更多個(gè)圖像數(shù)據(jù)流，以降低表示所述像素的數(shù)據(jù)的位深度，從而產(chǎn)生位深度縮減的流；將位深度縮減的流組合成單一流，所述單一流具有至少與所述位深度縮減的流的位深度之和相等的位深度；以已知格式傳送所述單一流；和將所述單一流轉(zhuǎn)換回兩個(gè)或更多個(gè)圖像數(shù)據(jù)流。
2.按照權(quán)利要求1所述的方法，其中將位深度縮減的流組合成單一流包括通過(guò)位的級(jí) 聯(lián)，組合構(gòu)成來(lái)自縮減位流中的數(shù)據(jù)幀的位，從而形成單一流中的單一數(shù)據(jù)幀。
3.按照權(quán)利要求1或2所述的方法，其中按照控制機(jī)制組合所述流。
4.按照權(quán)利要求3所述的方法，其中所述控制機(jī)制包括關(guān)于來(lái)自縮減位流的位進(jìn)入所 述單一流中的何處的指令。
5.按照權(quán)利要求3或4所述的方法，其中所述控制機(jī)制是調(diào)色板組合圖。
6.按照權(quán)利要求3-5所述的方法，其中所述控制機(jī)制包括加密密鑰。
7.按照權(quán)利要求3或4所述的方法，其中所述控制機(jī)制是查找表。
8.按照權(quán)利要求3-7所述的方法，其中所述控制機(jī)制包括與待處理的圖像幀的數(shù)目、 待組合的圖像數(shù)據(jù)流的數(shù)目、和圖像像素在它們之中的位置有關(guān)的信息。
9.按照任意前述權(quán)利要求所述的方法，還包括將位深度縮減的流至少部分地轉(zhuǎn)換回它 們的原始位深度。
10.按照權(quán)利要求5所述的方法，其中作為包括調(diào)色板組合圖的數(shù)據(jù)文件來(lái)處理所述單一流。
11.按照任意前述權(quán)利要求所述的方法，其中所述位深度之和是由所需硬件支持的標(biāo) 準(zhǔn)位深度。
12.按照任意前述權(quán)利要求所述的方法，其中所述位深度之和為24位或32位。
13.按照任意前述權(quán)利要求所述的方法，其中組合位深度縮減的流中彼此對(duì)應(yīng)的圖像幀。
14.按照權(quán)利要求13所述的方法，其中所述圖像幀的對(duì)應(yīng)在于像素是在相同的時(shí)刻或 者按已知時(shí)差捕捉的。
15.按照任意前述權(quán)利要求所述的方法，其中待處理的流捕獲自多于一個(gè)的圖像源。
16.按照任意前述權(quán)利要求所述的方法，其中按相同格式捕獲圖像數(shù)據(jù)流。
17.按照任意前述權(quán)利要求所述的方法，其中以不同格式捕獲圖像數(shù)據(jù)流。
18.按照任意前述權(quán)利要求所述的方法，還包括使用填充位形成位深度等于或大于位 深度縮減的流的位深度之和的單一流。
19.按照任意前述權(quán)利要求所述的方法，其中所述單一流的圖像格式等于輸入流的最 大圖像格式。
20.按照任意前述權(quán)利要求所述的方法，其中可按照第二格式處理第一格式的單一流。
21.按照任意前述權(quán)利要求所述的方法，其中所述圖像是視頻圖像。
22.按照任意前述權(quán)利要求所述的方法，其中圖像數(shù)據(jù)被實(shí)時(shí)處理。
23.一種處理表示按幀排列的像素的圖像數(shù)據(jù)的系統(tǒng)，包括用于處理兩個(gè)或者更多個(gè)圖像數(shù)據(jù)流，以降低表示所述像素的數(shù)據(jù)的位深度，從而產(chǎn) 生位深度縮減的流的裝置；用于將位深度縮減的流組合成單一流的裝置，所述單一流具有至少與所述位深度縮減 的流的位深度之和相等的位深度；用于以已知格式傳送所述單一流的裝置；和用于將所述單一流轉(zhuǎn)換回兩個(gè)或更多個(gè)圖像數(shù)據(jù)流的裝置。
24.按照權(quán)利要求23所述的系統(tǒng)，其中用于將位深度縮減的流組合成單一流的裝置包 括用于通過(guò)位的級(jí)聯(lián)，組合構(gòu)成來(lái)自縮減位流中的數(shù)據(jù)幀的位，從而形成單一流中的各單 一數(shù)據(jù)幀的裝置。
25.按照權(quán)利要求23所述的系統(tǒng)，具有用于提供關(guān)于來(lái)自縮減位流的位進(jìn)入所述單一 流中何處的控制機(jī)制的裝置。
26.按照權(quán)利要求25所述的系統(tǒng)，其中所述控制機(jī)制是調(diào)色板組合圖。
27.按照權(quán)利要求25所述的系統(tǒng)，其中所述控制機(jī)制包括加密密鑰。
28.按照權(quán)利要求25所述的系統(tǒng)，其中所述控制機(jī)制是查找表。
29.按照權(quán)利要求25-28所述的系統(tǒng)，其中所述控制機(jī)制包括與待處理的圖像幀的數(shù) 目、待組合的圖像數(shù)據(jù)流的數(shù)目、和圖像像素在它們之中的位置有關(guān)的信息。
30.按照權(quán)利要求25-29所述的系統(tǒng)，其中所述位深度之和是由所需硬件支持的標(biāo)準(zhǔn) 位深度。
31.按照權(quán)利要求25-30中任一項(xiàng)所述的系統(tǒng)，其中所述位深度之和為24位或32位。
32.按照權(quán)利要求25-31中任一項(xiàng)所述的系統(tǒng)，其中組合位深度縮減的流中彼此對(duì)應(yīng) 的圖像幀。
33.按照權(quán)利要求32所述的系統(tǒng)，其中所述圖像幀的對(duì)應(yīng)在于像素是在相同的時(shí)刻或 者按已知時(shí)差捕捉的。
34.按照權(quán)利要求25-33中任一項(xiàng)所述的系統(tǒng)，還包括用于使用填充位形成位深度等 于或大于位深度縮減的流的位深度之和的單一流的裝置。
35.一種處理表示按幀排列的像素的圖像數(shù)據(jù)以便傳輸?shù)木幋a器，包括用于處理兩個(gè)或者更多個(gè)圖像數(shù)據(jù)流，以降低表示所述像素的數(shù)據(jù)的位深度，從而產(chǎn) 生位深度縮減的流的裝置；用于將所述位深度縮減的流組合成單一流的裝置，所述單一流具有至少與所述位深度 縮減的流的位深度之和相等的位深度；用于以已知格式傳送所述單一流以便傳輸?shù)难b置。
36.一種處理以位深度被縮減并被組合成單一流的兩個(gè)或更多個(gè)圖像數(shù)據(jù)流的方式傳 送的、表示按幀排列的像素的圖像數(shù)據(jù)的解碼器，包含用于將所述單一流轉(zhuǎn)換回兩個(gè)或更 多個(gè)圖像數(shù)據(jù)流的裝置。
全文摘要
可從多個(gè)不同來(lái)源獲得多個(gè)圖像流。首先縮減圖像的顏色深度，隨后組合流以形成具有已知格式并且位深度與縮減的位流的位深度之和相同的單一流。從而，可作為單一流處理多個(gè)流。在處理之后，通過(guò)應(yīng)用相反的重新排序過(guò)程，再次分離所述多個(gè)流。
文檔編號(hào)H04N7/24GK101849416SQ200880112669
公開(kāi)日2010年9月29日 申請(qǐng)日期2008年1月22日 優(yōu)先權(quán)日2007年9月14日
發(fā)明者S·J·L·雅各布 申請(qǐng)人:Doo技術(shù)公司