編碼、解碼和表現(xiàn)高動態(tài)范圍圖像的制作方法
【專利摘要】提供用于通過為亮度比和顏色殘差值的形式的HDR重構(gòu)數(shù)據(jù)編碼和解碼包含色調(diào)映射（TM）圖像的圖像數(shù)據(jù)的技術(shù)。在示例性的實施例中，基于高動態(tài)范圍（HDR）圖像和衍生色調(diào)映射（TM）圖像在單獨像素基礎(chǔ)上產(chǎn)生亮度比值和顏色空間的顏色通道中的殘差值，該衍生色調(diào)映射（TM）圖像包含不能通過亮度比圖像從TM圖像恢復(fù)的一個或更多個顏色改變。具有從亮度比值和顏色通道殘差值導(dǎo)出的HDR重構(gòu)數(shù)據(jù)的TM圖像可在圖像文件中被輸出到例如用于解碼、呈現(xiàn)和/或存儲的下游裝置。圖像文件可被解碼以產(chǎn)生被恢復(fù)的沒有顏色改變的HDR圖像。
【專利說明】編碼、解碼和表現(xiàn)高動態(tài)范圍圖像
[0001]對相關(guān)申請的交叉引用
[0002]本申請要求在2011年4月15日提交的美國臨時專利申請No. 61/476174和在2011年10月28日提交的美國專利臨時申請No. 61/552868的優(yōu)先權(quán)，在這里通過引用并入它們的全部內(nèi)容。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及圖像處理，特別是涉及編碼、解碼和表現(xiàn)高動態(tài)范圍圖像。
【背景技術(shù)】
[0004]由受讓人以及其它人開發(fā)的顯示器技術(shù)能夠再現(xiàn)具有高動態(tài)范圍（HDR)的圖像。與常規(guī)的顯示器相比，這種顯示器可再現(xiàn)更忠實地表現(xiàn)真實世界場景的圖像。
[0005]為了支持向后兼容性以及新的HDR顯示技術(shù)，可通過具有包含灰度級亮度比的附加元數(shù)據(jù)的色調(diào)映射圖像表現(xiàn)HDR圖像。另一方面，色調(diào)映射圖像可被用于表現(xiàn)正常動態(tài)范圍圖像(例如，在傳統(tǒng)顯示器上)。另一方面，附加元數(shù)據(jù)可與色調(diào)映射圖像一起使用以產(chǎn)生、恢復(fù)或表現(xiàn)HDR圖像(例如，通過HDR顯示器)。
[0006]但是，色調(diào)映射圖像可包含與操作圖像的用戶有關(guān)地或者與用于產(chǎn)生色調(diào)映射圖像的特定色調(diào)映射操作器有關(guān)地出于各種原因而導(dǎo)致的一個或更多個顏色改變（coloralteration)。例如，為了產(chǎn)生更具美感的圖像，用戶可改變與圖像中的像素中的一些或全部有關(guān)的色調(diào)信息。另外，色調(diào)映射操作器可在各種顏色通道中執(zhí)行不同的黑或白裁剪（clipping)，并且可例如在圖像的相對曝光不足或者曝光過度區(qū)域中引入顏色改變。在現(xiàn)有的技術(shù)中，當(dāng)下游的解碼器嘗試從色調(diào)映射圖像和伴隨的灰度級亮度比重構(gòu)HDR圖像時，色調(diào)映射圖像中的這些顏色改變是難以或者不能去除的。
[0007]在本部分中描述的方法是可探究的方法，但未必是以前已構(gòu)想或探究的方法。因此，除非另外指示，不應(yīng)假定在本部分中描述的方法中的任一個由于被包含于本部分就是被當(dāng)作現(xiàn)有技術(shù)。類似地，除非另外指示，參照一個或更多個方法認(rèn)識到的問題不應(yīng)基于本部分假定為已在任何現(xiàn)有技術(shù)中被認(rèn)識到。
【專利附圖】

【附圖說明】
[0008]在附圖中，作為例子而不是限制示出本發(fā)明，并且在附圖中，相似的附圖標(biāo)記指的是相似的要素，并且，
[0009]圖I示出根據(jù)本發(fā)明的一些可能的實施例的示例性HDR圖像編碼器；
[0010]圖2示出根據(jù)本發(fā)明的一些可能的實施例的示例性HDR圖像解碼器；
[0011]圖3A和圖3B示出根據(jù)本發(fā)明的一些可能的實施例的示例性的處理流程；以及
[0012]圖4示出根據(jù)本發(fā)明的一些可能的實施例的在其上可實現(xiàn)這里描述的計算機(jī)或計算裝置的示例性硬件平臺。
[0013]圖5示出黑到白的梯度上的典型照相機(jī)中的不同的顏色傳感器的變化的飽和度特性。
[0014]圖6A和圖6B示出將圖像數(shù)據(jù)從照相機(jī)傳感器顏色空間轉(zhuǎn)換成執(zhí)行事后白平衡的監(jiān)視器顏色空間的本系統(tǒng)的實施例。
[0015]圖7示出白平衡校正技術(shù)的實施例。
【具體實施方式】
[0016]在這里描述與圖像處理技術(shù)有關(guān)的示例性的可能實施例。在以下的描述中，出于解釋的目的，為了能夠徹底地理解本發(fā)明，闡述大量的特定細(xì)節(jié)。但是，很明顯，可以在沒有這些特定的細(xì)節(jié)的情況下實現(xiàn)本發(fā)明。在其它的情況下，為了避免不必要地使本發(fā)明變得難解、模糊或者混亂，沒有描述公知的結(jié)構(gòu)和器件的詳盡的細(xì)節(jié)。
[0017]這里，根據(jù)以下的概述來描述示例性實施例：
[0018]I.總體概述
[0019]2. HDR圖像編碼器
[0020]3.白平衡校正
[0021]4. HDR圖像解碼器
[0022]5.示例性處理流程
[0023]6.實現(xiàn)機(jī)構(gòu)一硬件概述
[0024]7.等同、擴(kuò)展、替代和混雜
[0025]I.總體概述
[0026]本概要給出本發(fā)明的可能的實施例的一些方面的基本描述。應(yīng)當(dāng)注意，本概要不是可能的實施例的各方面的廣泛或詳盡的概括。并且，應(yīng)當(dāng)注意，本概要不應(yīng)被理解為標(biāo)識可能的實施例的任何特別重要的方面或要素，也不是要特別地將可能的實施例的任何范圍，也不是要一般地將本發(fā)明的任何范圍劃界。本概要僅以簡潔的形式給出與示例性的可能的實施例有關(guān)的一些概念，并且應(yīng)被理解為僅僅是以下給出的示例性的可能的實施例的更詳細(xì)的描述的概念性的序言。
[0027]為了在各種圖像呈現(xiàn)裝置上顯示圖像，色調(diào)映射操作器（TMO)將輸入HDR圖像處理成色調(diào)映射（TM)基本圖像。TM基本圖像可包含相對于輸入圖像的顏色改變(例如，色調(diào)變化，顏色裁剪（color clipping)、藝術(shù)風(fēng)格等)。在一些技術(shù)中，TM基本圖像連同亮度比一起被提供給下游的圖像解碼器，以重構(gòu)等同于輸入HDR圖像的HDR圖像。但是，下游的圖像解碼器不能根據(jù)TM基本圖像和灰度級亮度比去除重構(gòu)的HDR圖像中的顏色改變。作為結(jié)果，顏色改變會在重構(gòu)的HDR圖像中保持明顯。
[0028]相反，基于輸入HDR圖像和TM基本圖像，根據(jù)這里描述的技術(shù)的HDR圖像編碼器不僅產(chǎn)生亮度比，而且產(chǎn)生顏色殘差值（color residual value)。亮度比和顏色殘差值可統(tǒng)一表示為HDR重構(gòu)數(shù)據(jù)?？蛇x地和/或附加地，亮度比被轉(zhuǎn)換至對數(shù)域中以支持相對寬范圍的亮度值?？蛇x地和/或附加地，得到的對數(shù)亮度比和顏色殘差值被量化?？蛇x地和/或附加地，量化后的對數(shù)比和顏色殘差值被存儲于殘差圖像中。量化后的對數(shù)比和顏色殘差值或一些實施例中的殘差圖像與TM基本圖像一起被提供給下游的圖像解碼器?？蛇x地和/或附加地，與量化后的對數(shù)比和顏色殘差值有關(guān)的參數(shù)(例如，范圍限度等）也與TM基本圖像一起被提供。[0029]這里的TMO可自由地對于具有低（黑）或高（白）亮度水平的各像素在顏色通道中執(zhí)行顏色裁剪。并且，這里描述的TMO不需要保持在各像素處的色調(diào)。在這里描述的技術(shù)中，用戶可自由地基于圖像內(nèi)容(例如，人像、室內(nèi)圖像、戶外場景、夜景、黃昏等）或應(yīng)用（例如，用于電影、海報、婚禮照片、雜志等中）選擇ΤΜ0?？梢杂幸馇易杂傻厥褂妙伾眉艋蛐薷囊援a(chǎn)生圖像的藝術(shù)效果。這里的HDR圖像編碼器和解碼器支持通過可引入寬范圍的可能的顏色改變的不同類型的編輯軟件和照相機(jī)制造商實現(xiàn)的ΤΜ0。在這里描述的技術(shù)中，HDR編碼器向HDR解碼器提供顏色殘差值。HDR解碼器又利用顏色殘差值以防止在重構(gòu)的HDR圖像中存在顏色改變(或者使其最小化)。
[0030]在這里描述的技術(shù)中，可以使用位流和/或圖像文件以存儲并向下游的圖像觀察器或解碼器提供TM基本圖像和它們的各自的HDR重構(gòu)數(shù)據(jù)以用于解碼和/或呈現(xiàn)。在這里描述的技術(shù)中的圖像格式支持通過不同類型的編輯軟件和照相機(jī)制造商實現(xiàn)的ΤΜ0。這里描述的圖像格式的例子可包含但不限于標(biāo)準(zhǔn)JPEG圖像格式(包含例如JPEG (HDR)等。在示例性實施例中，JPEG-HDR圖像格式被用于支持存儲具有亮度比和顏色殘差值的TM基本圖像?？蛇x地和/或附加地，存儲于圖像文件中的TM基本圖像和殘差圖像中的一個或兩者被壓縮。可通過使用JPEG標(biāo)準(zhǔn)或不同的方法執(zhí)行這里描述的壓縮。
[0031]不支持這里描述的技術(shù)中的HDR圖像處理的圖像解碼器或觀察器簡單地打開圖像文件中的TM基本圖像。另一方面，這里描述的技術(shù)中的HDR圖像解碼器被配置為將圖像文件讀取/解析為TM基本圖像及其相應(yīng)的亮度比和顏色殘差值并且恢復(fù)/重構(gòu)HDR圖像。這里描述的重構(gòu)的HDR圖像沒有在原輸入HDR圖像中不存在但通過TMO被引入到TM基本圖像中的顏色改變。
[0032]在一些可能的實施例中，這里描述的機(jī)構(gòu)形成圖像編碼器的一部分，該圖像編碼器包括但不限于手持裝置、游戲機(jī)、劇院系統(tǒng)、家庭娛樂系統(tǒng)、電視、膝上型計算機(jī)、筆記本計算機(jī)、蜂窩式無線電電話、電子書閱讀器、銷售終端、臺式計算機(jī)、計算機(jī)工作站、計算機(jī)售貨亭和各種其它類型的終端及處理單元。
[0033]本領(lǐng)域技術(shù)人員將容易想到這里描述的優(yōu)選實施例和總體原理和特征的各種修改。因此，本公開不是要局限于表示的實施例，而是要被賦予與這里描述的原理和特征一致的最寬的范圍。
[0034]2. HDR圖像編碼器
[0035]圖I示出根據(jù)本發(fā)明的一些可能的實施例的示例性HDR圖像編碼器。在一些可能的實施例中，圖像編碼器通過一個或更多個計算裝置被實現(xiàn)，并配置有如下這樣的軟件和/或硬件部件，該軟件和/或硬件部件實現(xiàn)用于將輸入HDR圖像編碼成為基于標(biāo)準(zhǔn)的或?qū)Ｓ械膱D像格式的具有HDR重構(gòu)數(shù)據(jù)的TM圖像的圖像處理技術(shù)。
[0036]HDR圖像編碼器包含被配置為接收輸入HDR圖像的軟件和/或硬件部件。如這里使用的那樣，“輸入HDR圖像”指的是可包含浮點或定點高動態(tài)范圍圖像數(shù)據(jù)的任何HDR圖像。輸入HDR圖像可以位于支持高動態(tài)范圍色域的任何顏色空間中。在示例性實施例中，輸入HDR圖像是RGB顏色空間中的RGB圖像(例如，圖I所示的輸入HDR RGB102)。在例子中，輸入HDR圖像中的各像素包含針對在顏色空間中限定的所有通道(例如，RGB顏色空間中的紅色、綠色和藍(lán)色顏色通道）的浮點像素值。在另一例子中，輸入HDR圖像中的各像素包含針對在顏色空間中限定的所有通道的定點像素值(例如，RGB顏色空間中的紅色、綠色和藍(lán)色顏色通道的16位或更高/更低的位數(shù)的定點像素值)。各像素可選地并且/或者作為替代地包含針對顏色空間中的通道中的一個或更多個的經(jīng)下采樣的像素值。
[0037]在示例性實施例中，HDR圖像編碼器包含被配置為執(zhí)行多個預(yù)處理步驟的軟件和/或硬件部件?？蛇x地和/或作為替代地，預(yù)處理步驟包含但不限于輸入HDR圖像的零個或更多個完整性檢查（santiy check)等。例如，輸入HDR圖像可以包含或者可以不包含例如通過上游步驟或者通過在編碼或傳送中引入的局部數(shù)據(jù)損壞而引入的意味著負(fù)亮度值的像素值。為了防止底層的亮度值為負(fù)由此在隨后的色調(diào)映射操作中導(dǎo)致問題，通過完整性檢查(負(fù)亮度檢查104)檢查輸入HDR圖像中的底層的亮度值。如果像素的底層的亮度值不為正，那么像素的所有顏色通道的像素值可被設(shè)為零。
[0038]在不對于顏色空間中的像素直接給出亮度值的可能的實施例中，可（間接地）從顏色空間中的像素的像素值導(dǎo)出像素的亮度值。在示例性實施例中，像素的RGB顏色空間中的像素值R、G和B可被用于計算像素的亮度值Y如下：
[0039]Y = O. 30078125*R+0. 59765625*G+0. 1015625*B 式（I)
[0040]在可以被或者可以不被預(yù)處理的輸入HDR圖像被提供給色調(diào)映射操作器(TM0106)之前，輸入HDR圖像通過白平衡操作器（105)。如后面更詳細(xì)地討論的那樣，作為HDR編碼的一部分以及在色調(diào)映射操作之前，校正和/或調(diào)整HDR圖像中的白平衡可能是希望的。
[0041]在示例性實施例中，TM0106包含被配置為基于輸入HDR圖像(可被預(yù)處理)產(chǎn)生可在各種顯示裝置上呈現(xiàn)的色調(diào)映射（TM)圖像的軟件和/或硬件部件。在這里描述的技術(shù)中，TMO106被視為HDR圖像編碼器中的黑盒子。TM0106或使用TM0106以操作輸入HDR圖像的用戶可自由地從TM0106引入影響輸出TM圖像的一些或所有部分的色相或色度性能的一個或更多個顏色改變。在這里描述的技術(shù)中，具有由TM0106或用戶自由進(jìn)行的顏色改變的TM圖像可作為基本圖像連同在這里描述的技術(shù)中產(chǎn)生的可被用于再現(xiàn)/呈現(xiàn)HDR圖像的HDR重構(gòu)數(shù)據(jù)一起被提供給下游的裝置。HDR重構(gòu)數(shù)據(jù)向接收下游裝置提供足夠的信息，以再現(xiàn)沒有由TM0106進(jìn)行的顏色改變的HDR圖像。
[0042]可選地和/或作為替代方案，HDR圖像編碼器包含被配置為對TM0106的輸出即TM圖像（R' G' B' 108)執(zhí)行黑色修改（black modification)的軟件或硬件部件(黑色修改110)。HDR圖像編碼器或其中的黑色修改110定位在TM圖像（R' G' B' 108)中的零像素值。在例子中，如果顏色通道的像素值是零，那么像素值被給予諸如1、2、10的小值或另一較大或較小的值。在另一例子中，如果像素的亮度值是零，那么一個或更多個顏色通道的像素值被給予諸如1、2、10的小值或其它的較大或較小的值。小的像素值(例如，小于10)不會在感覺上造成視覺差。
[0043]TM圖像（R' G1 B' 108)可以是或者可以不是8位伽馬校正圖像。僅出于解釋的目的，由TM0106輸出的色調(diào)映射圖像（R' G' B' 108)已在TM0106內(nèi)被伽馬校正?？蛇x地和/或作為替代方案，HDR圖像編碼器包含如下這樣的軟件和/或硬件部件（InverseGammall2)，其被配置為在TM0106的輸出參數(shù)或返回值指示已在TM0106內(nèi)執(zhí)行伽馬校正的情況下將色調(diào)映射圖像（R' G' B' 108)轉(zhuǎn)換成線性域中的中間色調(diào)映射圖像（RGBt)。用于伽馬校正和/或用于伽馬轉(zhuǎn)換的伽馬曲線可與可由TM0106通過使用一個或更多個輸出參數(shù)或返回值指示的諸如sRGB或AdobeRGB的標(biāo)準(zhǔn)顏色空間有關(guān)。在示例性實施例中，RGBt可被用于進(jìn)一步導(dǎo)出這里描述的亮度比和殘差值。
[0044]在示例性實施例中，可以計算輸入HDR圖像（RGBh)中的亮度值（Yh)和RGBt中的亮度值（Yt)。在一些可能的實施例中，Yh、Yt以及Yh與Yt之間的亮度比（r)可在單獨像素的基礎(chǔ)上被計算如下：
[0045]Yh = L(RGBh) = O. 30078125*Rh+0. 59765625*Gh+0. 1015625*Bh
[0046]Yt = L (RGBt) = O. 20078125*Rt+0. 59765625*Gt+0. 1015625*Bt
【權(quán)利要求】
1.一種方法，包括： 接收高動態(tài)范圍（HDR)圖像； 接收基于所述HDR圖像產(chǎn)生的色調(diào)映射（TM)圖像，該TM圖像包含不能通過亮度比圖像從TM圖像恢復(fù)的一個或更多個顏色改變； 通過在單獨像素的基礎(chǔ)上用所述TM圖像的亮度值除所述HDR圖像的亮度值，在單獨像素的基礎(chǔ)上計算亮度比值； 將所述亮度比值應(yīng)用于所述HDR圖像以產(chǎn)生重新映射圖像； 基于所述重新映射圖像和所述TM圖像，確定顏色空間的顏色通道中的殘差值；以及 輸出具有HDR重構(gòu)數(shù)據(jù)的TM圖像，該HDR重構(gòu)數(shù)據(jù)是從所述亮度比值和所述殘差值導(dǎo)出的。
2.根據(jù)權(quán)利要求1的方法，還包括將所述重新映射圖像和TM圖像中的至少一個從不同的顏色空間轉(zhuǎn)換成所述殘差值的顏色空間。
3.根據(jù)權(quán)利要求1的方法，其中，所述顏色空間是YCbCr顏色空間，并且其中，所述顏色空間的所述顏色通道包含Cb顏色通道和Cr顏色通道。
4.根據(jù)權(quán)利要求3的方法，其中，所述顏色空間的所述顏色通道中的殘差值被計算為所述顏色通道中的從所述重新映射圖像導(dǎo)出的第一像素值與所述顏色通道中的從TM圖像導(dǎo)出的第二像素值之間的差值。
5.根據(jù)權(quán)利要求1的方法，其中，TM圖像中的所述一個或更多個顏色改變中的至少一個是由在一個或更多個像素處的色調(diào)的箝位或修改中的一個導(dǎo)致的。
6.根據(jù)權(quán)利要求1的方法，其中，所述HDR重構(gòu)數(shù)據(jù)包含具有從所述亮度比值導(dǎo)出的量化值和所述顏色空間的所述顏色通道中的所述殘差值的殘差圖像。
7.根據(jù)權(quán)利要求6的方法，其中，所述HDR重構(gòu)數(shù)據(jù)還包含規(guī)定所述量化值的范圍的參數(shù)。
8.根據(jù)權(quán)利要求1的方法，其中，所述HDR重構(gòu)數(shù)據(jù)存儲于所述圖像文件的應(yīng)用段中，其中所述TM圖像為所述圖像文件中的基本圖像。
9.根據(jù)權(quán)利要求1的方法，其中，所述圖像文件是JPEG-HDR格式。
10.根據(jù)權(quán)利要求1的方法，還包括對于所述HDR圖像執(zhí)行一個或更多個完整性檢查。
11.根據(jù)權(quán)利要求1的方法，還包括允許任何色調(diào)映射操作器的任何色調(diào)映射操作和/或TM圖像中的任意數(shù)量的像素上的任何顏色改變。
12.根據(jù)權(quán)利要求1的方法，還包括用零或比閾值小的值替代TM圖像中的零個、一個或更多個顏色通道零值。
13.根據(jù)權(quán)利要求1的方法，還包括向所述HDR圖像、TM圖像或重新映射圖像中的至少一個應(yīng)用顏色空間轉(zhuǎn)換。
14.根據(jù)權(quán)利要求1的方法，其中，TM圖像與重新映射圖像之間的亮度殘差值均為零。
15.根據(jù)權(quán)利要求1的方法，其中，HDR圖像是定點圖像或浮點圖像中的一個。
16.根據(jù)權(quán)利要求1的方法，還包括對HDR圖像執(zhí)行色調(diào)映射操作器所要求的預(yù)處理操作，其中，預(yù)處理操作是顏色空間轉(zhuǎn)換、伽馬編碼、伽馬解碼、下采樣或上采樣中的一個。
17.根據(jù)權(quán)利要求1的方法，還包括在確定顏色空間的顏色通道中的殘差值之前，接收與在TM圖像中執(zhí)行的伽馬編碼有關(guān)的信息并對TM圖像執(zhí)行伽馬編碼的逆操作以產(chǎn)生中間TM圖像。
18.根據(jù)權(quán)利要求1的方法，其中，HDR圖像以JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或另一圖像格式中的一種被編碼。
19.一種方法,包括： 解析包含色調(diào)映射（TM)基本圖像和HDR重構(gòu)數(shù)據(jù)的圖像文件，HDR重構(gòu)數(shù)據(jù)包含量化亮度比值和顏色空間的顏色通道中的量化殘差值，TM基本圖像包含不能通過亮度比圖像從TM基本圖像恢復(fù)的一個或更多個顏色改變； 提取與量化亮度比值和顏色空間的顏色通道中的量化殘差值有關(guān)的量化參數(shù)； 至少部分地基于量化參數(shù)將量化亮度比值和量化殘差值轉(zhuǎn)換成亮度比值和顏色空間的顏色通道中的殘差值；以及 通過使用TM基本圖像、亮度比值和顏色空間的顏色通道中的殘差值重構(gòu)HDR圖像。
20.根據(jù)權(quán)利要求19的方法，其中，圖像文件通過基于標(biāo)準(zhǔn)的圖像解碼器被解析。
21.根據(jù)權(quán)利要求19的方法，其中，量化亮度比和量化殘差值存儲于殘差圖像中，并且其中，殘差圖像和TM基本圖像通過使用公共過程被解量化和解壓縮。
22.根據(jù)權(quán)利要求19的方法，其中，TM基本圖像包含任何色調(diào)映射操作器的任何色調(diào)映射操作和/或任意數(shù)量的像素上的任何顏色改變的結(jié)果。
23.根據(jù)權(quán)利要求19的方法，其中，HDR圖像是定點圖像或浮點圖像中的一個。
24.根據(jù)權(quán)利要求19的方法，還包括執(zhí)行顏色空間轉(zhuǎn)換、伽馬編碼、伽馬解碼、下采樣或上采樣的操作。
25.根據(jù)權(quán)利要求19的方法，其中，圖像文件是JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或其它圖像格式中的一種。
26.—種方法,包括： 將色調(diào)映射（TM)基本圖像和HDR重構(gòu)數(shù)據(jù)編碼成圖像文件，HDR重構(gòu)數(shù)據(jù)包含量化亮度比值和顏色空間的顏色通道中的量化殘差值，TM基本圖像包含不能通過亮度比圖像從TM基本圖像恢復(fù)的一個或更多個顏色改變。
27.—種方法,包括： 傳送包含色調(diào)映射（TM)圖像和HDR重構(gòu)數(shù)據(jù)的圖像文件，HDR重構(gòu)數(shù)據(jù)包含量化亮度比值和顏色空間的顏色通道中的量化殘差值，TM基本圖像包含不能通過亮度比圖像從TM基本圖像恢復(fù)的一個或更多個顏色改變。
28.—種方法,包括： 將圖像文件解碼成色調(diào)映射（TM)圖像和HDR重構(gòu)數(shù)據(jù)，HDR重構(gòu)數(shù)據(jù)包含量化亮度比值和顏色空間的顏色通道中的量化殘差值，TM基本圖像包含不能通過亮度比圖像從TM基本圖像恢復(fù)的一個或更多個顏色改變。
29.如權(quán)利要求25~27所述的方法，其中，圖像文件是支持在應(yīng)用段中存儲顏色殘差值的JPEG-HDR格式。
30.一種裝置，包括處理器并被配置為執(zhí)行如權(quán)利要求1、19、26、27或28所述的方法中的任一個。
31.一種計算機(jī)可讀存儲介質(zhì)，包括當(dāng)由一個或更多個處理器執(zhí)行時導(dǎo)致執(zhí)行如權(quán)利要求1、19、26、27或28所述的方法中的任一個的軟件指令。
32.一種用于對于初始圖像數(shù)據(jù)執(zhí)行白平衡校正的方法，所述初始圖像數(shù)據(jù)包含色調(diào)映射（TM)圖像數(shù)據(jù)和殘差圖像數(shù)據(jù)，所述殘差圖像數(shù)據(jù)還包含高動態(tài)范圍（HDR)圖像數(shù)據(jù)、有效線性傳感器值和白平衡乘數(shù)，所述方法的步驟包括： 從所述殘差圖像數(shù)據(jù)恢復(fù)有效線性傳感器值和白平衡乘數(shù)； 從所述有效線性傳感器值和所述初始圖像數(shù)據(jù)產(chǎn)生傳感器顏色空間值以形成第一中間圖像數(shù)據(jù)； 對于各顏色通道，向所述第一中間圖像數(shù)據(jù)應(yīng)用白平衡乘數(shù)以產(chǎn)生第二中間圖像數(shù)據(jù)； 如果不能從所述初始圖像數(shù)據(jù)得到的HDR圖像數(shù)據(jù)，則將第二中間圖像數(shù)據(jù)箝位為多個最大顏色通道值中的最小值，以形成第三中間圖像數(shù)據(jù)；以及 如果未執(zhí)行箝位，那么將所述第二中間圖像數(shù)據(jù)變換成目標(biāo)監(jiān)視器顏色空間以形成最終圖像數(shù)據(jù)；和 如果執(zhí)行了箝位，那么將所述第三中間圖像數(shù)據(jù)變換成目標(biāo)監(jiān)視器顏色空間以形成最終圖像數(shù)據(jù)。
33.如權(quán)利要求32所述的方法，其中，所述初始圖像數(shù)據(jù)以JPEG-HDR格式被格式化。
34.如權(quán)利要求33所述的方法，其中，在RGB顏色通道中的每一個中，所述初始圖像數(shù)據(jù)包含被捕獲的HDR的上部傳感器范圍。
35.如權(quán)利要求34所述的方法，其中，所述上部傳感器范圍包含白平衡乘數(shù)和陣列，所述矩陣還包含有效線性傳感器值。
36.如權(quán)利要求35所述的方法，其中，所述最終圖像數(shù)據(jù)被輸入到圖像編碼器的HDR路徑中。
37.一種用于處理初始圖像數(shù)據(jù)的方法，所述方法的步驟包括： 輸入所述初始圖像數(shù)據(jù)； 輸入傳感器顏色空間數(shù)據(jù)和白平衡乘數(shù)； 如果采用用于所述圖像數(shù)據(jù)的新白點，則計算新白平衡乘數(shù)以產(chǎn)生當(dāng)前白平衡乘數(shù)；對于所述圖像數(shù)據(jù)中的各像素，將所述初始圖像數(shù)據(jù)轉(zhuǎn)換成返回到所述傳感器顏色空間中的第一中間圖像數(shù)據(jù)； 對于所述中間圖像數(shù)據(jù)中的各顏色通道，應(yīng)用當(dāng)前白平衡乘數(shù)以產(chǎn)生第二中間圖像數(shù)據(jù)； 將所述第二中間圖像數(shù)據(jù)箝位到所有顏色通道最大值中的最小值量，以產(chǎn)生第三中間圖像數(shù)據(jù)；和 將所述第三中間圖像數(shù)據(jù)變換成希望的監(jiān)視器顏色空間以產(chǎn)生第四中間圖像數(shù)據(jù)。
38.如權(quán)利要求37所述的方法，其中，所述第四中間圖像數(shù)據(jù)被輸入到色調(diào)映射操作器中。
39.如權(quán)利要求37所述的方法，其中，所述初始圖像數(shù)據(jù)通過圖像捕獲裝置被捕獲的，并且其中，所述圖像捕獲裝置的照相機(jī)RAW數(shù)據(jù)是不可用的。
40.如權(quán)利要求39所述的方法，其中，所述圖像捕獲裝置能夠捕獲多個顏色通道中的圖像數(shù)據(jù)，并且其中，至少兩個所述顏色通道在沿黑白梯度的不同亮度值處飽和。
41.一種方法，包括：接收高動態(tài)范圍（HDR)圖像； 對于HDR數(shù)據(jù)處理白平衡校正； 接收基于HDR圖像產(chǎn)生的色調(diào)映射（TM)圖像，TM圖像包含不能通過亮度比圖像從TM圖像恢復(fù)的一個或更多個顏色改變； 通過在單獨像素的基礎(chǔ)上用TM圖像的亮度值除HDR圖像的亮度值，在單獨像素的基礎(chǔ)上計算亮度比值； 對于HDR圖像應(yīng)用亮度比值，以產(chǎn)生重新映射圖像； 基于重新映射圖像和TM圖像，確定顏色空間的顏色通道中的殘差值；以及 輸出具有HDR重構(gòu)數(shù)據(jù)的TM圖像，該HDR重構(gòu)數(shù)據(jù)是從亮度比值和殘差值導(dǎo)出的。
42.—種方法,包括： 解析圖像文件，所述圖像文件包含圖像數(shù)據(jù)，所述圖像數(shù)據(jù)還包含色調(diào)映射（TM)基本圖像和HDR重構(gòu)數(shù)據(jù)，HDR重構(gòu)數(shù)據(jù)包含量化亮度比值、顏色空間的顏色通道中的量化殘差值、白平衡乘數(shù)和有效線性傳感器值，TM基本圖像包含不能通過亮度比圖像從TM基本圖像恢復(fù)的一個或更多個顏色改變； 提取與量化亮度比值和顏色空間的顏色通道中的量化殘差值有關(guān)的量化參數(shù)； 至少部分地基于白平衡乘數(shù)和有效線性傳感器值校正圖像數(shù)據(jù)的白平衡； 至少部分地基于量化參數(shù)將量化亮度比值和量化殘差值轉(zhuǎn)換成亮度比值和顏色空間的顏色通道中的殘差值；和 通過使用TM基本圖像、亮度比值和顏色空間的顏色通道中的殘差值，重構(gòu)HDR圖像。
43.一種裝置，包括處理器并被配置為執(zhí)行如權(quán)利要求32、37、41或42所述的方法中的任一個。
44.一種計算機(jī)可讀存儲介質(zhì)，包括當(dāng)由一個或更多個處理器執(zhí)行時導(dǎo)致執(zhí)行如權(quán)利要求32、37、41或42所述的方法中的任一個的軟件指令。
【文檔編號】H04N1/46GK103503429SQ201280018609
【公開日】2014年1月8日 申請日期:2012年4月16日 優(yōu)先權(quán)日:2011年4月15日
【發(fā)明者】賈文輝, A·尼南, A·頓, G·J·沃德, G·王 申請人:杜比實驗室特許公司