專利名稱：將色度變換從輸入色彩空間轉(zhuǎn)換到輸出色彩空間的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及后期制作(post-production)色彩信息元數(shù)據(jù)，具體 而言，涉及一種將圖像序列的原始色度變換(colorimetric transform,也稱 為色彩調(diào)整)從輸入色彩空間轉(zhuǎn)換至輸出色彩空間以使所述變換能夠存在 于視頻分配工作流(video distribution workflow)中。
背景技術(shù)：
近些年來，用于觀看圖像的裝置類型急劇增加。消費(fèi)者可以通過多個(gè) 不同的輸出設(shè)備(例如監(jiān)視器、顯示器、電視、照相機(jī)、打印機(jī)和其他電 子裝置)觀看圖像。盡管陰極射線管(CRT)曾經(jīng)是觀看圖像的標(biāo)準(zhǔn)設(shè)備， 目前用戶也可以購(gòu)買液晶顯示器(LCD)或者等離子體顯示屏(PDP)。 但是，各種可以使用的設(shè)備數(shù)量的增加也產(chǎn)生了色均勻性(color umfonmty)的問題。由于不同類型設(shè)備機(jī)械方面的差異，色彩通常是以不 同方式顯示的。S卩，隨著可用設(shè)備多樣性變得越來越明顯，色均勻性的問 題也變得越來越突出。
就這點(diǎn)而言，在新的后期制作環(huán)境中，越來越需要能夠從例如色彩變 換工具(color transform tool)產(chǎn)生色彩信息元數(shù)據(jù)，所述色彩變換工具可 以在從獲取到后期制作的色彩管理過程中獲得。即，當(dāng)設(shè)備準(zhǔn)備顯示色彩 時(shí)，顯示設(shè)備在顯示所需色彩之前需要精確的色彩信息元數(shù)據(jù)來將內(nèi)容色 彩變換(調(diào)整)至需視覺比較在后期制作中是當(dāng)前的常用方式。在這種比較中，進(jìn)行色彩變換 (調(diào)整)以將一種顯示匹配至另外一種顯示或者需要的色彩空間。
一種色彩變換技術(shù)包括使用三維査找表(3DLUT)。該技術(shù)使用一個(gè) 為每個(gè)輸入色彩限定對(duì)應(yīng)的輸出色彩的表。目前3D LUT可以用現(xiàn)有技術(shù) 自動(dòng)生成。但是，3D LUT技術(shù)不能通過工作流(例如從獲取到后期處理) 由內(nèi)容攜帶，這至少是由于現(xiàn)有顯示設(shè)備的限制造成的，從而3D LUT不 能在顯示解碼級(jí)被再生。即，3D LUT不適用于端到端的設(shè)計(jì)，因?yàn)?DLUT 不能解構(gòu)(deconstruction)對(duì)于3D LUT的序貫決策積分(sequential decision mtegral)，并且與3D LUT相關(guān)的處理能力要求非常高，目前采用的消費(fèi) 用顯示器無法具有這種處理能力。
另一種色彩變換技術(shù)包括使用色彩確定表(例如，美國(guó)電影攝影師協(xié) 會(huì)色彩確定表(ASC-CDL))。色彩確定表(CDL)與編輯判定表(EDL) 相比較以表示電影或者視頻編輯，除非CDL指向色彩分級(jí)選擇。不幸的是， 大多數(shù)CDL是由其工作流的各個(gè)部分所專有，這使工作流不能無縫。艮P， 這種CDL不能通過工組流攜帶攝影師的選擇。另外，這些CDL只能實(shí)現(xiàn)不 能解決色彩通道之間串?dāng)_(例如偏色)的信道特定一維LUT。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)實(shí)施例提供了一種用于將圖像序列的色度調(diào)整從輸入色 彩空間變換至輸出色彩空間的方法，包括確定用于將圖像序列的色彩空 間轉(zhuǎn)換至需要的輸出色彩空間的變換表；對(duì)所述圖像序列的子集進(jìn)行一階 近似，所述圖像序列的子集由所述變換表限定；并且如果所述圖像序列未 達(dá)到收斂，則對(duì)所述圖像序列的所述子集進(jìn)行二階近似。在本發(fā)明的一個(gè)實(shí)施例中，上述方法提供中間項(xiàng)的和，用于限定輸出 色彩空間的色彩分量，其中所述中間項(xiàng)的數(shù)量與輸入色彩空間分量的數(shù)量 相對(duì)應(yīng)，并且所述中間項(xiàng)由所述輸入色彩空間分量其中之一的參數(shù)函數(shù)限 定，所述參數(shù)函數(shù)的參數(shù)被限定為對(duì)于全部輸入色彩，輸出色彩最接近 于原始色度調(diào)整的色彩。
本發(fā)明的可選實(shí)施例提供了一種用于將圖像序列的色度調(diào)整從輸入色 彩空間變換至輸出色彩空間的方法，包括通過中間項(xiàng)的和限定輸出色彩 空間的每個(gè)分量，其中所述中間項(xiàng)的數(shù)量對(duì)應(yīng)于輸入色彩空間分量的數(shù) 量；將每個(gè)中間項(xiàng)限定為輸入色彩空間分量其中之--的參數(shù)函數(shù)；并將所 述參數(shù)函數(shù)的參數(shù)限定為對(duì)于全部輸入色彩，輸出色彩最接近于原始色 度變換的色彩。然后中間項(xiàng)的組合被用于圖像序列，用于將圖像序列的色 度調(diào)整從輸入色彩空間變換至輸出色彩空間。
本發(fā)明的可選實(shí)施例提供了一種色彩調(diào)整裝置，用于將圖像序列的色 度調(diào)整從輸入色彩空間變換至輸出色彩空間，包括處理器和，用于存儲(chǔ) 程序、算法和指令的存儲(chǔ)器。在本發(fā)明的色彩調(diào)整裝置中，所述處理器被 配置用于確定一變換表，所述變換表用于將圖像序列的輸入色彩空間轉(zhuǎn)換 至需要的輸出色彩空間；對(duì)所述圖像序列的子集進(jìn)行一階近似，所述圖像 序列的子集由所述變換表限定；確定所述圖像序列是否達(dá)到收斂，并且響 應(yīng)于所述圖像序列未達(dá)到收斂(例如，處于預(yù)定極限值之內(nèi))，對(duì)所述圖 像序列的子集進(jìn)行二階近似。
本發(fā)明的可選實(shí)施例提供了一種視頻分配系統(tǒng)，包括圖像獲取裝置， 用于獲取視頻；色彩校正裝置，用于對(duì)獲取的圖像進(jìn)行色度調(diào)整；和色彩調(diào)整裝置，配置用于將所述獲取的圖像的色度調(diào)整從輸入色彩空間變換至 輸出色彩空間。


通過結(jié)合附圖對(duì)本發(fā)明的詳細(xì)說明，本發(fā)明的原理更容易得到理解， 其中
圖l是本發(fā)明的實(shí)施方式可以適用的視頻分配系統(tǒng)的高層級(jí)框圖2是根據(jù)本發(fā)明的可以用在圖1所示視頻分配系統(tǒng)中的色彩調(diào)整裝置 的實(shí)施方式的高層級(jí)框圖；和
圖3是根據(jù)本發(fā)明實(shí)施方式的將原始色度變換(調(diào)整)從輸入色彩空間 轉(zhuǎn)換至輸出色彩空間的方法的流程圖。
可以理解，附圖的目的是為了說明本發(fā)明的原理，但并不是解釋本發(fā)
明的惟一可能結(jié)構(gòu)。為了使本發(fā)明更容易得到理解，在附圖中相同的元件 釆用相同的附圖標(biāo)記來表示。
具體實(shí)施例方式
本發(fā)明提供了一種方法、裝置和系統(tǒng)，用于以一種簡(jiǎn)潔的方式將用于 圖像序列的色度調(diào)整而進(jìn)行的原始色度變換從輸入色彩空間轉(zhuǎn)換至輸出 色彩空間同時(shí)能夠存在于視頻分配工作流中。雖然將主要以用于從三維査 找表中推導(dǎo)擴(kuò)展色彩確定表(color decision list)為例對(duì)本發(fā)明進(jìn)行說明， 但本發(fā)明的特定實(shí)施方式并非用于限定本發(fā)明的范圍。本領(lǐng)域普通技術(shù)人 員在本發(fā)明的教導(dǎo)下，可以將本發(fā)明的原理有利地適用于任何視頻分配系 統(tǒng)以通過將原始色度調(diào)整從輸入色彩空間轉(zhuǎn)換至輸出色彩空間來提供色彩管理，從而轉(zhuǎn)換的色彩變換能夠存在于視頻分配工作流中。
還可以理解，附圖中所示元件可以通過各種形式的硬件、軟件及其組 合來實(shí)現(xiàn)。優(yōu)選地，這些元件可以通過硬件和軟件組合在一個(gè)或者多個(gè)適 當(dāng)編程的通用裝置上實(shí)現(xiàn)，該通用裝置可以包括處理器、存儲(chǔ)器和輸入/ 輸出接口。
圖l是本發(fā)明的實(shí)施方式可以適用的視頻分配系統(tǒng)的高層級(jí)框圖。在圖 1所示的系統(tǒng)100中，數(shù)字?jǐn)z像機(jī)110獲取視頻內(nèi)容。獲得的視頻內(nèi)容被轉(zhuǎn) 化為表示每個(gè)象素的三個(gè)色彩通道值的原始數(shù)據(jù)并被存儲(chǔ)在例如服務(wù)器
H5上?？梢岳斫?，雖然圖1說明了用于獲取視頻內(nèi)容的數(shù)字?jǐn)z像機(jī)110，
在本發(fā)明可選實(shí)施方式中，也可以使用膠片攝像機(jī)獲取視頻內(nèi)容并使用例 如電視電影掃描儀進(jìn)行轉(zhuǎn)化。然后電視電影掃描儀的輸出被轉(zhuǎn)化為表示每
個(gè)象素的三個(gè)色彩通道值的原始數(shù)據(jù)并被存儲(chǔ)在例如服務(wù)器115上。
在系統(tǒng)100的內(nèi)容制備過程的某些階段，例如可以是獲取階段或者在其
后的處理過程中，可能存在這樣一種需求在不改變?cè)极@取的數(shù)據(jù)的情 況下改變視頻內(nèi)容的"觀感(look)"。新觀感是用來通過工作流傳輸至一
個(gè)或者多個(gè)某種用戶顯示器，從而在用戶顯示器層級(jí)復(fù)制為需要的"觀 感"。例如，在圖l所示的視頻分配系統(tǒng)中，獲取/存儲(chǔ)的視頻內(nèi)容被傳送至
數(shù)字媒介(digital intermediary) 120,以使用例如市場(chǎng)上可獲得的任何一 種色彩校正工具和市場(chǎng)上可獲得的用于數(shù)字媒介工作流的專業(yè)參考顯示 器(reference display) 125對(duì)所述獲得的視頻內(nèi)容在色彩空間(即所述"觀 感")上進(jìn)行判定。隨后視頻內(nèi)容的拷貝在色彩調(diào)整裝置130被調(diào)整以加入 所需色彩空間。例如，在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)本發(fā)明的色彩調(diào)整裝置130為獲取的視頻內(nèi)容的每個(gè)場(chǎng)景或者特定的連續(xù)圖像序列產(chǎn)生三維
査找表(3DLUT)，并且所述3DLU隨后被變換以使得變換的色彩調(diào)整3D LUT能夠在顯示器層級(jí)135執(zhí)行，以獲得對(duì)于所述特定圖像序列的所需色 彩意圖的一致性。應(yīng)當(dāng)可以理解，色彩調(diào)整裝置130可以是在通用個(gè)人計(jì) 算機(jī)上運(yùn)行的程序或者已經(jīng)在數(shù)字媒介工作流中使用的硬件，即與一色彩 校正裝置結(jié)合在一起，或者通過網(wǎng)絡(luò)連接至數(shù)字媒介工組流(例如通過以 太網(wǎng)連接至其色彩校正裝置)的硬件和軟件的單獨(dú)組合。實(shí)施方式可以根 據(jù)每個(gè)特定工作流環(huán)境具有的特定工作流和財(cái)務(wù)數(shù)據(jù)來選擇。
例如，圖2是根據(jù)本發(fā)明的可以用在圖1所示視頻分配系統(tǒng)100中的色彩 調(diào)整裝置的實(shí)施方式的高層級(jí)框圖。圖2所示色彩調(diào)整裝置130包括處理器 210和用于存儲(chǔ)控制程序、算法、LUT等的存儲(chǔ)器220。處理器210與傳統(tǒng) 支持電路(例如電源、時(shí)鐘電路、高速緩存等，以及輔助執(zhí)行存儲(chǔ)在存儲(chǔ) 器220中的軟件程序)協(xié)同運(yùn)轉(zhuǎn)?？梢岳斫?，這里以軟件處理為例說明的 某些處理步驟也可以在硬件內(nèi)實(shí)現(xiàn)，例如通過與處理器210協(xié)作的電路來 執(zhí)行各個(gè)步驟來實(shí)現(xiàn)。色彩調(diào)整裝置130還包括輸入一輸出電路240，輸入 一輸出電路240形成為與色彩調(diào)整裝置130通信的各個(gè)功能元件之間的接 □。
雖然圖2所示色彩調(diào)整裝置130被描述為被編程以執(zhí)行根據(jù)本發(fā)明的各 個(gè)控制功能的通用計(jì)算機(jī)，本發(fā)明還可以用硬件來實(shí)現(xiàn)，例如用專用集成 電路(ASIC)來實(shí)現(xiàn)。因此，本文描述的處理步驟意在從最寬意義上理解 為由軟件、硬件或者軟硬件結(jié)合來執(zhí)行。
如上所述，根據(jù)本發(fā)明一個(gè)實(shí)施例的色彩調(diào)整裝置130為獲取的視頻內(nèi)容的連續(xù)圖像的每個(gè)場(chǎng)景或者特定序列創(chuàng)建三維査找表(3D LUT)，并 且所述3D LUT隨后被變換，從而變換的三維查找表3D LUT可以在顯示器 層級(jí)135被執(zhí)行以獲得該特定圖像序列的所需色彩預(yù)期的一致性。具體而 言，色彩調(diào)整裝置130被配置以將原始色度調(diào)整從輸入色彩空間變換為輸 出色彩空間，在一個(gè)實(shí)施例中，上述變換是通過由中間項(xiàng)和定義預(yù)期輸出 色彩空間的每個(gè)分量，其中中間項(xiàng)的數(shù)量對(duì)應(yīng)于輸入色彩空間分量的數(shù) 量，并將每個(gè)中間項(xiàng)定義為所述輸入色彩空間分量之一的參考函數(shù)，并定 義所述參考函數(shù)的參數(shù)，使得對(duì)于全部輸入色彩，所述輸出色彩最接近于 原始色度調(diào)整的色彩。下面將對(duì)色彩調(diào)整裝置130進(jìn)行的判定和執(zhí)行的處 理進(jìn)行詳細(xì)說明。
視頻內(nèi)容和變換3DLUT隨后被分配給顯示器用于顯示。例如，在本發(fā) 明的一個(gè)實(shí)施方式中，視頻內(nèi)容和變換的3D LUT通過DVD母盤平臺(tái)(DVD mastermg stage)或者用于新分配地點(diǎn)(例如視頻點(diǎn)播、移動(dòng)應(yīng)用等)的任 何母盤(例如)被燒制在DVD中。本發(fā)明的一個(gè)重要方面是，在視頻內(nèi)容 分配工作流需要的任何地方，都可以得到色彩調(diào)整信息。另外，色彩調(diào)整 信息被壓縮，從而所述信息可以用于任何工作環(huán)境中(即后期處理圖像變 換、用于用戶顯示描繪(display rendering)的元數(shù)據(jù)創(chuàng)建)。根據(jù)本發(fā)明， 可以盡可能長(zhǎng)地實(shí)現(xiàn)(即在后期處理環(huán)境下)兩個(gè)色彩調(diào)整(例如3D LUT 和壓縮的LUT)，而只有傳輸本發(fā)明的壓縮的LUT處于具有有限處理能力 的環(huán)境中(即在顯示器中)
本發(fā)明的一個(gè)實(shí)施例提出了一種數(shù)學(xué)和統(tǒng)計(jì)方法，其通過例如色彩調(diào) 整裝置130在后期處理環(huán)境中用于壓縮創(chuàng)建的3D LUT，該3D LUT可以為任何大小，例如值為16xl6x16 (4比特)禾口256x256x256 (8比特)或者用于 今后可能應(yīng)用的更大的值，比如每通道10比特、12比特或者更大比特值。
3D LUT可以被描述為一組值(R'ijk, G'ijk, B'ijk),其中i、 j和k在256 個(gè)繪制點(diǎn)(plotting point)的情況下可以取0至255或者根據(jù)3DLUT的大小 任何其他最大值之間的任何值。R'、 G'、 B'代表特定色彩空間參照中的圖 像數(shù)據(jù)的3個(gè)主通道(例如數(shù)字影像中的紅、綠和藍(lán)或者XYZ色彩空間)。 3DLUT的三個(gè)變量不需要是繪制值的線性表示。例如，3DLUT可以被配 置為特定場(chǎng)景(例如膚色)的大多數(shù)臨界色具有足夠的增量細(xì)節(jié)以在根據(jù) 本發(fā)明應(yīng)用色彩變換或者調(diào)整時(shí)能夠符合場(chǎng)景的原始預(yù)期。但是，本發(fā)明 的原理并非討論此問題并且假定根據(jù)本發(fā)明的為獲取的視頻內(nèi)容的每個(gè) 場(chǎng)景創(chuàng)建的3D LUT包含嵌入其中的適當(dāng)色彩準(zhǔn)確度，包括適當(dāng)情況下的 色丄或夕卜映身寸(out of gamut mapping)。
在本發(fā)明的一個(gè)實(shí)施方式中，通過考慮"Ray Box"算法可用簡(jiǎn)化3D LUT。這種"Ray Box"算法描述在2005年3月17日提交的PCT專利申請(qǐng) PCT/US2005/08918中，在此全文并入作為參考。所述"Ray Box"算法例如 可以應(yīng)用在顯示器層級(jí)。原始3D LUT用于在任何創(chuàng)意性色彩(creative color)變換處理之外(即顯示器匹配、裝置標(biāo)定、色彩空間變化)或者在 "觀感"相關(guān)的創(chuàng)意性色彩變換(即電影制作的攝影導(dǎo)演可能會(huì)需要特殊觀 感并因此使用本發(fā)明以有效和靈活的色彩變換或者調(diào)整來實(shí)現(xiàn)其藝術(shù)意 圖)中進(jìn)行視覺色彩變換或者調(diào)整。在PCT專利申請(qǐng)PCT/US2005/08918的 一個(gè)實(shí)施方式中描述的"Ray Box"算法具有一組用戶旋鈕，該用戶旋鈕將 由3個(gè)對(duì)角線系數(shù)(lrr， lgg, LsB)和6個(gè)非對(duì)角線系數(shù)(LRG, Lrb， Lgr， Lgb, l服，Lbg)構(gòu)成的矩陣的系數(shù)進(jìn)行實(shí)時(shí)調(diào)諧，以改變觀感并將其與上述需要的創(chuàng)意性 和非創(chuàng)意性觀感相匹配。
在上述本發(fā)明的實(shí)施方式中，在顯示單元內(nèi)或者作為在顯示內(nèi)容之前
修改內(nèi)容的解碼器來實(shí)現(xiàn)修改的Ray Box。另外，在各種實(shí)施例中，從概 念上修改所述旋鈕以通過軟件來實(shí)現(xiàn)，能夠獲得與實(shí)體旋鈕相同的效果， 利用傳輸至具有視頻分配內(nèi)容的顯示器并由軟件解釋的信息來在顯示所 述內(nèi)容之前將所需系數(shù)重組到色彩通道。這種實(shí)施方式描述在2005年10月 28曰提交的PCT專利申請(qǐng)PCT/US2005/039576中，在此全文并入作為參考。 根據(jù)本發(fā)明的一個(gè)實(shí)施方式，例如，特定的3DLUT代表后期制作中設(shè) 定的希望觀感與由視頻分配內(nèi)容和在顯示器施加任何校正之前的顯示的 組合所代表的觀感之間的差異。這樣，3D LUT的每個(gè)值都可以表示為下 而的方程式
R'ijk = LRR(i) + Lrg(J)十Lrb(1c)
G'ijk = LcR(i)+ LgG(j)+ ^GB(k)
B'ijk = L卿)十LBg(j)+ LBB(k).
(1)
(2)
(3)
上述矩陣的對(duì)角線系數(shù)(diagonal coefficent)被描述為三個(gè)通道(紅、 綠和藍(lán))的每一個(gè)的線性一維查找表(ID LUT),并且非對(duì)角線系數(shù) (non-diagonal coefficent)描述為串繞。根據(jù)本發(fā)明，基本上全部膠片內(nèi)
容、數(shù)字獲取的視頻內(nèi)容、計(jì)算機(jī)產(chǎn)生的視頻內(nèi)容或者這些類型的視頻產(chǎn) 生方式的混合帶來的視覺效果都可以在逐場(chǎng)景(scene-by-scene)的基礎(chǔ)上、逐動(dòng)作(take-by-take)的基礎(chǔ)上、或者其他圖像適當(dāng)序列的基礎(chǔ)上通過對(duì) 角線和非對(duì)角線系數(shù)的特定近似由對(duì)于下一個(gè)(即從一個(gè)顯示至另一個(gè)不 同顯示)的特定視覺參照(visual reference)來表示。
雖然本發(fā)明的上述實(shí)施方式描述了執(zhí)行"Ray Box"算法來簡(jiǎn)化3D LUT，
但該特定實(shí)施方式不應(yīng)理解為限制本發(fā)明的范圍。即，用于調(diào)整布局有藝 術(shù)意圖的色彩或者藝術(shù)地修改"觀感"的色彩校正和/或色彩變換處理或工 具的任何組合也可以通過根據(jù)本發(fā)明的通用3D LUT來表示。
根據(jù)本發(fā)明的一個(gè)實(shí)施方式，代表"觀感變化"或者色彩調(diào)整的3D LUT 通過一算法自動(dòng)壓縮并由對(duì)角線系數(shù)(即三個(gè)不同的1D LUT)構(gòu)成的矩 陣表示為第一近似值。對(duì)角線系數(shù)用數(shù)學(xué)術(shù)語(yǔ)表示(例如ASCCDL值、斜 率、偏移、冪等)，從而可編程芯片很容易處理這些數(shù)學(xué)術(shù)語(yǔ)。另外，根 據(jù)本發(fā)明的一個(gè)實(shí)施方式，二級(jí)近似包括根據(jù)"Ray Box"描述(例如6個(gè)1D LUT)創(chuàng)建非對(duì)角線系數(shù)。所述非對(duì)角線系數(shù)也用數(shù)學(xué)術(shù)語(yǔ)表示，從而可 編程芯片很容易處理這些數(shù)學(xué)術(shù)語(yǔ)。
在本發(fā)明的一個(gè)實(shí)施方式中，如果ASC CDL被描述為Rout = Clamp ((Rin * sl叩e) + 。ffset廣滯或者Rout = f(Rin, Slope, Offset, Power),貝lj3D LUT的每個(gè)參 數(shù)相對(duì)于CDL的函數(shù)可以根據(jù)方程式(4) 、 (5)和(6)表示
R'ijk = f(i, S1，01,P1) G'ijk = f(j, S2, 02, P2) B'ijk = f(k, S3， 03， P3).
(4)
(5)
(6)
15在上述方程式(4) 、 (5)禾P (6)中，f代表描述ASCCDL的已知函 數(shù)。但是，如上所述，本發(fā)明的原理不局限于ASCCDL函數(shù)。即，本發(fā)明 的原理可以應(yīng)用于釆用多個(gè)已知參數(shù)的幾乎任何函數(shù)f，例如不執(zhí)行ASC CDL函數(shù)的數(shù)字媒介環(huán)境中的升程、增益、伽馬或者甚至打印機(jī)校正值。 例如，作品中發(fā)現(xiàn)的表示膠片打印中的典型"腳趾"或"肩膀"舉止的解析函 數(shù)也可以被用于在本發(fā)明的另外實(shí)施方式中取代或者補(bǔ)充ASC CDL。
在上述方程式(4) 、 (5)和(6)中，i表示用于紅色通道(R)的 輸入值，j表示用于綠色通道(G)的輸入值，B表示用于藍(lán)色通道(B)的 輸入值。在本發(fā)明的一個(gè)分析紅色通道(R)的實(shí)施例中，t在0至255之間 (或者根據(jù)比特?cái)?shù)的任何其他數(shù)量的紅色通道值)所有可能值的3D LUT 變異系數(shù)都被考慮。x的所有可能值的3D LUT變異系數(shù)可以作為j和可的系 數(shù)通過方程式(7)分析
Var(i) {R'ljk - f(i， S, 0, P)} = ER2 G', k) (S, 0, P). (7)
在上面的方程式(7)中，Var(i)(X)可以是X關(guān)于i的所有值的任何分析 變異。為了最優(yōu)化紅色通道(R)，斜率、偏移和冪的紅色通道相關(guān)代價(jià) 函數(shù)(cost function)可以根據(jù)方程式(8)表示
Fr(S，O,P) = Var(i， j, k){R'ijk - f(i,S,O,P)) = Z( RV - f(i,S,0,P))2. (8)根據(jù)本發(fā)明，代價(jià)函數(shù)方程式(8)被優(yōu)化從而三元組(SR, 0R， PJ產(chǎn)生 最小的代價(jià)。為了達(dá)到這種結(jié)果，本發(fā)明人提出了兩步法。在第一步中，
利用根據(jù)方程式(9)表示的部分代價(jià)函數(shù)確定對(duì)于給定i、 j的紅色通道(R)
的第一解(S,O, P):
FR' (j, k, S,〇,P) = Var(i)(R V -f (i, S,〇,P)} = (R V -f (j, S,〇,P))2 / Z1 . (9)
在第二步驟中，全代價(jià)函數(shù)(8)被用于確定具有最小代價(jià)的紅色通道 (R)的解(Sr, Or， Pr)。所述部分代價(jià)函數(shù)(9)和全代價(jià)函數(shù)(8)產(chǎn)生 根據(jù)方程式(10)的紅色通道(R)的最小總代價(jià)函數(shù)(miminal overall cost fimction):
e(SR， 0R， PR) = FR(SR, Or, Pr) = H R,'jk f(i， SR, 0R, PR))2. (] 0)
"J，k
這樣，對(duì)于來自綠色和藍(lán)色的任何i、 j值的紅色通道(R)相關(guān)部分代
價(jià)可以根據(jù)方程式(11)表示
eRak,SR,〇R,PR) = FR(j,k,SR,〇R,PR) = ^S(R'.ijk-f(i,SR,〇R,PR))2/Zl. (11)
上述處理然后對(duì)于綠色通道(G)和藍(lán)色通道(B)反復(fù)進(jìn)行以確定(Sc, Oc,Pc0和(Sb，Ob,Pb)部分代價(jià)，其可以分別根據(jù)方程式(12)和(13)表不
eG(i,k,SG,0G,PG) = F'G(i,k,SG,0G,PG)= E(G'.ijk-f(j,SG,0G,PG))2/》(12)
eB(i,j,SB,〇B,PB) = F'B(i,j,SB,0B,PB)= S(B、k-f(k'SB,〇B,PB))2/Sl. (13)
V k k
應(yīng)用方程式(11) 、 (12)禾G (13)來產(chǎn)生三個(gè)1DLUT，其中每個(gè)分別用于R、 G、 B通道中的每一個(gè)，當(dāng)用ASCCDL格式表示時(shí)其可以根據(jù)方程式(14) 、 (15)禾n (16)來近似
R'ijk f(i, SR, 0R, PR) + eR(j， k， SR, 0R， PR) (14)G'ijk f〔j， SG， 0G, PG) + eG(i, k, SG, 0G, PG) (15)B'ijk ~ f(k, SB, 0B, PB) + eB(i， j, SB, 0B, PB). (16)
如果由ex()表示的典型統(tǒng)計(jì)誤差(即最小方差的平方根)被忽略，根據(jù)木發(fā)明的第一近似值在逐場(chǎng)景基礎(chǔ)上作為3D LUT的三個(gè)1D LUT表達(dá)的組合而獲得，其可以根據(jù)方程式(17) 、 (18)和(19)表示
R'ijk f(i, SR, 0R, PR) (17)G'ijk ~f(j，SG，0G,PG) (18)B'ijk f(k, SB, 0B， PB). (19)
方程式(17) 、 (18)和(19)描述了以數(shù)學(xué)術(shù)語(yǔ)表示的對(duì)角線系數(shù)
18的實(shí)施方式，其可以很容易地由根據(jù)本發(fā)明的第一近似的實(shí)施例的可編程芯片處理。
采用方程式(14) 、 (15)和(16)，可以根據(jù)本發(fā)明的第二近似推
導(dǎo)出非對(duì)角線。具體而言，因?yàn)閑"x,x)值只涉及來自剩余的通道(例如j和k)的RGB值，這些值可以被認(rèn)為是任何視覺和非創(chuàng)意性色彩校正機(jī)制中的第二數(shù)量級(jí)的串繞。
艮P，考慮使用RayBox算法和方程式(1) 、 (2)禾口 (3)的3D LUT簡(jiǎn)化，對(duì)角線元素可以根據(jù)方程式(20) 、 (21)和(22)表示
L卿)二 f(i， Sr, Or, Pr)
GG(j)
f(j， SG, O(;， PG)
BB(k)
f(k, SB， Ob, Pb).
(20)
(21)
(22)
使用方程式(14) 、 (15)禾Q (16)禾t] (20) 、 (21)禾卩(22)，可以根據(jù)方程式(23) 、 (24)和(25)推導(dǎo)出并表示非對(duì)角線
LRG(j) + L卿)=eR(j, k, SR, 0R, Pr) (23)L卿)+ L卿)=eG(i， k, SG， 0G, PG) (24)LBR(1) + LBG(j) = eB(i， j, SB, 0B， PB). (25)
假定對(duì)角線系數(shù)是一階近似，非對(duì)角線系數(shù)是系數(shù)被假定為高階近似并且保持小于對(duì)角線系數(shù)。這樣，在本發(fā)明的一個(gè)實(shí)施方式中，非對(duì)角線系數(shù)的二階多項(xiàng)式形式的近似可以根據(jù)方程式(26)至(31)表示:
Lrgg)=arg*j +bRC}*j (26)
Lgr (i) = acR*i2 + bGR*i (27)
L服(i) = aBR*i2 + bBR*i (28)
LRB(k)=aRB*k2 + bRB*k (29)
LGB(k)=aGB*k2 + bGB*k (30)LBG(j)=aBG*j2 + bBG*j. (31)
雖然非對(duì)角線近似在上面被描述為使用二階多項(xiàng)式形式求解，本發(fā)明的原現(xiàn)并不局限于此。即，在本發(fā)明的可選實(shí)施方式中，本發(fā)明的非對(duì)角線近似可以使用更高或更低階模型來實(shí)現(xiàn)。另外，非對(duì)角線近似可以使用多項(xiàng)式函數(shù)的其他函數(shù)類型來獲得。
但是，利用二階近似，對(duì)角線近似與非對(duì)角線近似之間的關(guān)系可以根據(jù)方程式(32) 、 (33)和(34)表示
^2 2
Lrg①—+ L服(k)
LcR(i)2 + L(3卿2《Lcc(j)2
Lbr (i)2 + Lbg①2《L
BB(k)
(32)
(33)
(34)
使用統(tǒng)計(jì)方法求解方程式(32) 、 (33)和(34)以根據(jù)方程式(35)、(36)和(37)來找到最小方差Var(jk) {eR(j,k,SR,0R,PR) - (aRG*j2 + bRG*j) - (aRB*k2 + bRB*k" (35)(j和k和多項(xiàng)式系數(shù)aRG, bRG, aRB， bRB的全部可能值)
Var(ik) {eG(i,k,SG，0G,PG) - (3gr"2 + bGR*i) - (aGB*k2 + bGB*k)} (36)(i和k和多項(xiàng)式系數(shù)aGR, bGR, aGB， bGB的全部可能值)
Var(ij) {eB(i j,SB，0B,PB) - (aBR*i2 + bBR*i) - (aBG*j2 + bBG*j)} (37)
(i和j和多項(xiàng)式系數(shù)aBR, bBR, aBG, bBG的全部可能值).
應(yīng)用統(tǒng)計(jì)方法的解產(chǎn)生三個(gè)不同組的四次多項(xiàng)式系數(shù)，該系數(shù)被用于代替描繪的非對(duì)角線值。這樣根據(jù)本發(fā)明，3D LUT用一階和二階壓縮值(BI]9個(gè)1DLUT數(shù)學(xué)系數(shù))的近似值來表示，其可以通過方程式(38)、(39)和(40)來表示
R'ijk f(i，SR,0R,PR) + (aRG*j + bRG)*j + (aRB*k +bRB)*k (38)G'ijk ~ (acR*i + bGR)*i + f(j，SG，0G,PG) + (acB承k +bGB)*k (39)B'ijk ~ (aBR*i + bBR)*i + (aBG*j +bBG)*j + f(k， SB, 0B, Pb). (40)
圖3說明r根據(jù)本發(fā)明實(shí)施例的將原始色度調(diào)整從輸入色彩空間轉(zhuǎn)換至輸出色彩空間從而使該調(diào)整存在于視頻分配工作流中的方法的流程圖。
圖3所示方法300從步驟302開始，在步驟302中選擇視頻內(nèi)容的圖像序列以用于色彩空間調(diào)整。隨后方法進(jìn)行至步驟304。
在步驟304，推導(dǎo)出3DLUT以將原始圖像序列的色彩空間("觀感")轉(zhuǎn)換至所需色彩空間("觀感")。在本發(fā)明的一個(gè)實(shí)施方式中，利用本技術(shù)領(lǐng)域中已有的工具推導(dǎo)出3DLUT。隨后方法進(jìn)行至步驟306。
在步驟306，根據(jù)本發(fā)明的上述一階算法近似被應(yīng)用于圖像序列的不同子集的全部象素。例如，在本發(fā)明的一個(gè)實(shí)施方式中， 一階算法近似被應(yīng)用于所選圖像序列中的前十幀的子集。所述算法隨后應(yīng)用于前二十幀，然后應(yīng)用于前三十幀，直至算法的結(jié)果在統(tǒng)計(jì)學(xué)上對(duì)于圖像序列的全部象素是穩(wěn)定的。即， 一階算法應(yīng)用于圖像序列的各個(gè)子集，直至一個(gè)算法應(yīng)用與另一個(gè)算法應(yīng)用的參數(shù)集之間的差別被認(rèn)為是可忽略的(收斂)。例如，
用戶可以設(shè)定一個(gè)偏差極限值，該當(dāng)該極限值到達(dá)時(shí)偏差極限指示算法應(yīng)用過程的結(jié)束。隨后方法300進(jìn)行至步驟308。
在歩驟308中通過應(yīng)用一階算法確定是否達(dá)到收斂。如果未達(dá)到收斂，方法進(jìn)行至歩驟310。如果達(dá)到收斂，方法跳至步驟312。
在步驟310，如果在處理了所選圖像序列的全部子集之后仍未達(dá)到收斂(即因?yàn)椴荒苓_(dá)到極限值)，則認(rèn)為一階近似不充分，根據(jù)本發(fā)明的二階算法近似被用于上述圖像序列的不同子集的全部象素。反復(fù)進(jìn)行該計(jì)算機(jī)制，直至獲得所述極限值收斂。典型地，用戶一般可以認(rèn)為所述一階算法的應(yīng)用是充分的，但是在可選實(shí)施方式中，當(dāng)由于需要非常特殊的觀感并且色彩串繞是觀感的重要部分而需要精確的色彩映射時(shí)，可以應(yīng)用根據(jù)本發(fā)明的二階算法。然后方法300進(jìn)行至步驟312。
在步驟312,---旦計(jì)算如上所述進(jìn)行，計(jì)算出的參數(shù)(現(xiàn)在被認(rèn)為是"壓縮3DLUT元數(shù)據(jù)")與描述應(yīng)用了所述算法的所選數(shù)據(jù)序列的元數(shù)據(jù)一起存儲(chǔ)在數(shù)據(jù)庫(kù)中。例如，應(yīng)用了所述算法的所選數(shù)據(jù)序列的元數(shù)據(jù)可以包括下面的信息第一和最后幀健碼和時(shí)間碼數(shù)等。然后方法進(jìn)行至步驟314。
在步驟314中判斷需要調(diào)整的視頻內(nèi)容中的最后圖像序列是否已經(jīng)得到處理。如果圖像內(nèi)容的視頻序列仍需要處理，方法300返回302。如果視頻內(nèi)容的的視頻序列已經(jīng)得到處理，則方法300進(jìn)行至步驟316。
在步驟316中，處理的數(shù)據(jù)被壓縮以創(chuàng)建例如一個(gè)準(zhǔn)備好用于分配的母壓縮文件(master compressed file) 。 g卩，所選圖像的每個(gè)序列將具有與其例如在帶內(nèi)(復(fù)用為圖像數(shù)據(jù)包的一部分)或帶外(在與圖像具有相關(guān)同歩信息的另外的流上)相對(duì)應(yīng)的相關(guān)壓縮的LUT元數(shù)據(jù)。
可選地，所述方法可用進(jìn)行至步驟318,在該步驟原始視頻內(nèi)容和新創(chuàng)
建的元數(shù)據(jù)通過分配通道傳輸以在顯示層級(jí)解碼。即根據(jù)本發(fā)明創(chuàng)建的原始視頻內(nèi)容和元數(shù)據(jù)將通過常規(guī)解碼器和根據(jù)本發(fā)明的"改進(jìn)Ray-box"的結(jié)合進(jìn)行解碼。即，為了得到最初需要的觀感，本發(fā)明的改進(jìn)Ray-box解碼器由所述壓縮LUT元數(shù)據(jù)和由所述原始內(nèi)容在解碼級(jí)實(shí)時(shí)地計(jì)算每個(gè)圖像序列的新色彩分量。然后新象素值被傳輸至顯示層級(jí)的顯示引擎以進(jìn)行描繪。
在本發(fā)明的可選實(shí)施方式中，另一種類型的代價(jià)函數(shù)被用亍優(yōu)化本發(fā)明的第一和第二壓縮值的近似的通道。根據(jù)本發(fā)明的如上所述采用的另外的代價(jià)函數(shù)可以用方程式(41)來表示
FR''(i,S,〇,P) = aZ(R'ijk-f(i,S,〇,P))2+(1-a)MAXijk(R'ijk-f(i，S,〇'P)2) . (41)在方程式(41)中，"a"表示O和l之間的常數(shù)。方程式(41)的代價(jià)函
23數(shù)不僅考慮了均方差還考慮到了實(shí)際應(yīng)用中很重要的最大誤差。
在本發(fā)明的可選實(shí)施方式中，另一種類型的代價(jià)函數(shù)被用于優(yōu)化本發(fā) 明的第一和第二壓縮值的近似的通道。根據(jù)本發(fā)明的如上所述采用的另外 的代價(jià)函數(shù)可以用方程式(42)來表示
在方程式(42)中，g()表示一種能夠使小項(xiàng)和大項(xiàng)可以不同地加權(quán)的 廣義非線性函數(shù)。在一個(gè)實(shí)施例中，函數(shù)g()可以通過函數(shù)(43)表示
在上面的函數(shù)(43)中u。表示通常誤差與大誤差之間的合理極限值。函 數(shù)(43)計(jì)算出通常誤差的標(biāo)準(zhǔn)平方誤差而給予大誤差更大權(quán)重。
以卜i吉合目前優(yōu)選實(shí)施例對(duì)本發(fā)明的用于將圖像序列的原始色度調(diào)整
從輸入色彩空間轉(zhuǎn)換至輸出色彩空間以使所述調(diào)整能夠存在于視頻分配 工作流中的方法、裝置和系統(tǒng)進(jìn)行了說明，但是所述實(shí)施方式并非意在限 制本發(fā)明的范圍?？梢岳斫?，在所附權(quán)利要求限定的本發(fā)明的原理和范圍 之內(nèi)，本領(lǐng)域普通技術(shù)人員可以對(duì)本發(fā)明的實(shí)施方式進(jìn)行修改。因此，本 發(fā)明不應(yīng)被視為由上述說明來限制，而是由所附權(quán)利要求的范圍來限定。
'"(i,S,〇,P) = Sg(R'ijk-f(i,S,〇,P)
權(quán)利要求
1. 一種用于將圖像序列的色度調(diào)整從輸入色彩空間變換至輸出色彩空間的方法，包括確定用于將所述圖像序列的輸入色彩空間轉(zhuǎn)換至需要的輸出色彩空間的變換表；對(duì)所述圖像序列的至少一個(gè)子集進(jìn)行一階近似，所述圖像序列的子集由所述變換表限定；并且判斷所述圖像序列的至少兩個(gè)子集之間是否收斂，如果未收斂，則對(duì)所述圖像序列的所述至少一個(gè)子集進(jìn)行二階近似。
2. 根據(jù)權(quán)利要求l所述的方法，還包括提供中間項(xiàng)的和，用于限定所 述輸出色彩空間的色彩分量，其中所述中間項(xiàng)的數(shù)量與輸入色彩空間分量 的數(shù)量相對(duì)應(yīng)。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述中間項(xiàng)被限定為所述輸入色 彩空間分量其中之 - 的參數(shù)函數(shù)。
4. 根據(jù)權(quán)利要求3所述的方法，其中所述參數(shù)函數(shù)的參數(shù)被限定為 對(duì)于全部輸入色彩，輸入色彩最接近于所述原始色度調(diào)整的色彩。
5. 根據(jù)權(quán)利要求l所述的方法，其中所述一階近似壓縮所述變換表以 確定能夠以可以在可編程電路中執(zhí)行的數(shù)學(xué)術(shù)語(yǔ)表示的對(duì)角線系數(shù)。
6. 根據(jù)權(quán)利要求l所述的方法，其中所述二階近似確定能夠以可以在 可編程電路中執(zhí)行的數(shù)學(xué)術(shù)語(yǔ)表示的非對(duì)角線系數(shù)。
7. 根據(jù)權(quán)利要求6所述的方法，其中在所述非對(duì)角線系數(shù)表示通道串繞。
8. 根據(jù)權(quán)利要求l所述的方法，包括壓縮與所述近似的圖像序列相關(guān) 的信息以創(chuàng)建壓縮的元數(shù)據(jù)文件。
9. 根據(jù)權(quán)利要求8所述的方法，包括將所述壓縮的元數(shù)據(jù)文件通信至顯示層級(jí)。
10. 根據(jù)權(quán)利要求8所述的方法，包括存儲(chǔ)所述壓縮的元數(shù)據(jù)文件。
11. 根據(jù)權(quán)利要求10所述的方法，包括存儲(chǔ)與所述原始圖像序列相關(guān) 的信息以及所述壓縮的元數(shù)據(jù)文件。
12. 根據(jù)權(quán)利要求l所述的方法，其中所述變換表包括多維査找表。
13. 根據(jù)權(quán)利要求12所述的方法，其中所述多維查找表包括三維査找表。
14. 根據(jù)權(quán)利要求12所述的方法，其中所述多維查找表包括針對(duì)所述 圖像序列的不同色彩元素的各自的查找表。
15. 根據(jù)權(quán)利要求1所述的方法，其中所述圖像序列的至少兩個(gè)子集之 間的所述判斷的收斂與一極限值比較以確定是否達(dá)到收斂。
16. —種用于將圖像序列的色度調(diào)整從輸入色彩空間變換至輸出色彩 空間的方法，包括通過中間項(xiàng)的組合限定所述輸出色彩空間的分量，其中所述中間項(xiàng)的 數(shù)量對(duì)應(yīng)于輸入色彩空間分量的數(shù)量；將所述中間項(xiàng)限定為輸入色彩空間分量至少其中之 一 的函數(shù)；將所述函數(shù)的參數(shù)限定為，對(duì)于全部輸入色彩，輸出色彩最接近于原 始色度調(diào)整的色彩；并且將所述中間項(xiàng)的組合應(yīng)用于所述圖像序列，用于將所述圖像序列的色度調(diào)整從輸入色彩空間變換至輸出色彩空間。
17. 根據(jù)權(quán)利要求16所述的方法，其中所述中間項(xiàng)的組合限定一多維査找表。
18. 根據(jù)權(quán)利要求16所述的方法，其中所述函數(shù)包括參數(shù)函數(shù)。
19. 一種用于將圖像序列的色度調(diào)整從輸入色彩空間變換至輸出色彩空間的裝置，包括存儲(chǔ)器，用于存儲(chǔ)程序、算法和圖像數(shù)據(jù)； 處理器，被配置用于確定一變換表，所述變換表用于將圖像序列的輸入色彩空間轉(zhuǎn)換至需要的輸出色彩空間；對(duì)所述圖像序列的至少一個(gè)子集進(jìn)行一階近似，所述圖像序列的子集由所述變換表限定；確定所述圖像序列的至少兩個(gè)子集之間是否達(dá)到收斂；并且 響應(yīng)于所述圖像序列未達(dá)到收斂，對(duì)所述圖像序列的至少一個(gè)子集進(jìn)行二階近似。
20. 根據(jù)權(quán)利要求19所述的裝置，其中所述一階近似和所述二階近似 的至少其中之一存儲(chǔ)在所述存儲(chǔ)器中。
21. 根據(jù)權(quán)利要求19所述的裝置，其中所述變換表包括査找表。
22. —種視頻分配系統(tǒng)，包括 圖像獲取裝置，用于獲取圖像；色彩校正裝置，用于對(duì)至少一個(gè)獲取的圖像進(jìn)行色度調(diào)整；和 色彩調(diào)整裝置，配置用于將所述獲取的圖像的所述色度調(diào)整從輸入色彩空間變換至輸出色彩空間。
23. 根據(jù)權(quán)利要求22所述的視頻分配系統(tǒng)，還包括參考顯示器，用于協(xié)助所述獲取的圖像的所述色度調(diào)整。
24. 根據(jù)權(quán)利要求22所述的視頻分配系統(tǒng)，還包括用于在所述輸出色 彩空間顯示所述變換的色度調(diào)整的顯示器。
25. 根據(jù)權(quán)利要求22所述的視頻分配系統(tǒng)，其中所述變換的色度調(diào)整 被通信至顯示層級(jí)以在所述輸出色彩空間中顯示。
全文摘要
一種用于將圖像序列的色度調(diào)整從輸入色彩空間變換至輸出色彩空間的方法、裝置和系統(tǒng)，包括色彩調(diào)整裝置，用于確定用于將所述圖像序列的輸入色彩空間轉(zhuǎn)換至需要的輸出色彩空間的變換表；對(duì)所述圖像序列的至少一個(gè)子集進(jìn)行一階近似，所述圖像序列的子集由所述變換表限定；并且如果所述圖像序列未收斂，則對(duì)所述圖像序列的所述至少一個(gè)子集進(jìn)行二階近似。在一個(gè)實(shí)施方式中，所述輸出色彩空間的色彩分量由中間項(xiàng)的組合限定，其中所述中間項(xiàng)的數(shù)量與輸入色彩空間分量的數(shù)量相對(duì)應(yīng)。所述變換能夠存在于視頻分配流中。
文檔編號(hào)H04N9/64GK101461250SQ200680054829
公開日2009年6月17日 申請(qǐng)日期2006年6月2日 優(yōu)先權(quán)日2006年6月2日
發(fā)明者皮埃爾·簡(jiǎn)·奧利維耶 申請(qǐng)人:湯姆遜許可公司