專利名稱：基于區(qū)的色調(diào)映射的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在低動(dòng)態(tài)范圍(LDR)顯示器上色調(diào)再現(xiàn)高動(dòng)態(tài)范圍(HDR)內(nèi)容，其也已知為色調(diào)映射問題。具體地，至少一個(gè)實(shí)施例包括以下方法，其(1)從與HDR場(chǎng)景的人類感知匹配的HDR數(shù)據(jù)自動(dòng)生成可顯示LDR圖像以及( 提供用戶友好控制用于手動(dòng)調(diào)整。
背景技術(shù)：
色調(diào)映射問題涉及在低動(dòng)態(tài)范圍(LDR)顯示器上色調(diào)再現(xiàn)高動(dòng)態(tài)范圍(HDR)內(nèi)容。在多數(shù)應(yīng)用中，色調(diào)映射處理應(yīng)當(dāng)通常滿足兩個(gè)要求保留圖像細(xì)節(jié)，例如局部對(duì)比度； 以及保持相對(duì)亮度的出現(xiàn)。對(duì)于色調(diào)映射的當(dāng)前已知工作集中在第一個(gè)要求并且簡(jiǎn)單地忽略通常是從藝術(shù)家的觀點(diǎn)最重要的第二個(gè)要求。此外，當(dāng)前可用色調(diào)映射算法不允許操縱畫面的不同部分的色調(diào)并且由此經(jīng)常不能與原始HDR內(nèi)容的感覺匹配。高動(dòng)態(tài)范圍(HDR)作為數(shù)字成像的替代格式近年已經(jīng)受到很多關(guān)注。設(shè)計(jì)傳統(tǒng)低動(dòng)態(tài)范圍(LDR)圖像格式用于與ITU-R推薦BT 709 (a. k. a. Rec709)兼容的顯示器，其中僅可以實(shí)現(xiàn)兩個(gè)數(shù)量級(jí)的動(dòng)態(tài)范圍。然而，真實(shí)世界場(chǎng)景具有高得多的在白天約10個(gè)數(shù)量級(jí)的動(dòng)態(tài)范圍，而人類視覺系統(tǒng)(HVS)能夠同時(shí)感知5個(gè)數(shù)量級(jí)。HDR格式可用的視覺內(nèi)容量正在增長(zhǎng)數(shù)字傳感器和膠片(film stock)的最新發(fā)展允許內(nèi)容創(chuàng)作者以很高的動(dòng)態(tài)范圍捕獲圖像，以及計(jì)算機(jī)生成圖形(例如，動(dòng)畫片、視覺效果以及游戲)允許以基本無限動(dòng)態(tài)范圍創(chuàng)作視覺內(nèi)容。然而HDR顯示器尚不是主流設(shè)備； 幾種HDR顯示設(shè)備已經(jīng)可用作樣機(jī)以及最高級(jí)的HDTV，但是這樣的顯示器的數(shù)量相比廣泛使用的LDR顯示器仍很少。為了在LDR顯示設(shè)備上顯示HDR圖像，利用色調(diào)方法來將通?？捎米鬏椛涞腍DR 圖像映射為8位RGB索引數(shù)。色調(diào)映射處理不是顯而易見的，因?yàn)樗仨毮M在HVS中發(fā)生的處理，使得色調(diào)映射LDR圖像可以騙取HVS相信其足夠接近原始HDR圖像。這要求色調(diào)映射算法能夠保持局部對(duì)比度以及感知亮度二者。近些年在計(jì)算機(jī)圖形以及圖像/視頻處理領(lǐng)域中已經(jīng)研究HDR圖像的色調(diào)映射。 大約來說，色調(diào)映射方法可以分類為兩個(gè)主要種類全局色調(diào)映射和局部色調(diào)映射。全局色調(diào)映射使用全局曲線來將輻射映射為圖像強(qiáng)度。雖然其具有諸如低復(fù)雜性和容易手動(dòng)控制之類的優(yōu)點(diǎn)，但是當(dāng)?shù)竭_(dá)相當(dāng)高動(dòng)態(tài)范圍時(shí)其不能保留全部細(xì)節(jié)。因此，全局色調(diào)映射不適合要求很高質(zhì)量輸出的應(yīng)用(類似后期制作)。另一方面，局部色調(diào)映射方法通過根據(jù)局部圖像特性壓縮每個(gè)單個(gè)像素提供更高質(zhì)量結(jié)果。具體地，這些方法試圖仿真發(fā)生在HVS中的視覺適配，但是實(shí)際上它們中的多數(shù)不明確模仿HVS的行為。而是，它們進(jìn)行關(guān)于HVS的簡(jiǎn)單假定并且然后試圖使用這些假定壓縮圖像的動(dòng)態(tài)范圍，以獲得視覺美觀結(jié)果。即使利用局部色調(diào)映射方法的仔細(xì)微調(diào)，能夠生成相對(duì)寬范圍的HDR圖像的令人信服的結(jié)果，視覺適應(yīng)的理解仍遠(yuǎn)沒有完成。因此，沒有行為類似人類眼睛的算法。此外，這些方法不提供色調(diào)映射處理的良好手動(dòng)控制，嚴(yán)重限制典型涉及色調(diào)校正處理的創(chuàng)造力。色調(diào)映射不僅僅由圖像處理研究者研究而且由畫家以及電影攝影師研究。他們面對(duì)使用有限動(dòng)態(tài)范圍媒體(即，畫家的油畫布以及攝影師的打印紙)來表示高動(dòng)態(tài)范圍場(chǎng)景的相同問題。參照?qǐng)D1，在此我們察看作為Ansel Adams以及Fred Archer制定的攝影技術(shù)的“區(qū)系統(tǒng)(Zone System)” 100。區(qū)系統(tǒng)向不同感知亮度分配從0到10的數(shù)字，0代表黑，5代表中灰以及10代表純白。這些值已知為區(qū)。在區(qū)系統(tǒng)的理論中，攝影師首先在場(chǎng)景中標(biāo)識(shí)關(guān)鍵元素并且將這些元素放置在期望區(qū)。該處理依賴場(chǎng)景的感知而不是輻射的測(cè)量。然后光度計(jì)(light meter)用于測(cè)量場(chǎng)景中每個(gè)關(guān)鍵元素的輻射。因?yàn)榭梢悦總€(gè)照片僅有的單個(gè)曝光值，所以選取曝光值使得最重要的元素映射到期望區(qū)。結(jié)果，其他(也重要)元素可能映射到“錯(cuò)誤”區(qū)，變得過暗或者過亮。以后，在打印處理中，該問題由應(yīng)用作為打印技術(shù)的“減淡(dodge)和加深(burn)” 操作(其中在顯影期間從打印部分抑制一些光(減淡)，或者向該區(qū)域(region)添加更多光(加深))來解決。因此映射到比所期望的更低的區(qū)的關(guān)鍵元素將在光中被曝光得比圖像的剩余部分更長(zhǎng)。類似地，映射到比所期望的更高的區(qū)的關(guān)鍵元素將被更少地曝光。該局部處理將保證畫面的關(guān)鍵元素映射到最終輸出的期望區(qū)中。換言之，這些關(guān)鍵元素的感知亮度保持與它們?cè)诂F(xiàn)實(shí)生活中看上去的樣子一致。這個(gè)途徑可以用于數(shù)字圖像，但是不存在同時(shí)在用戶輔助模式中提供直觀控制的自動(dòng)模式中具有良好性能的方法。

發(fā)明內(nèi)容
提供一種將用于顯示的高動(dòng)態(tài)范圍圖像色調(diào)映射到低動(dòng)態(tài)范圍顯示器上的方法， 其中，首先訪問高動(dòng)態(tài)范圍圖像。然后將高動(dòng)態(tài)范圍圖像分段(segment)成不同區(qū)域，使得每個(gè)區(qū)域由矩陣表示，其中矩陣的每個(gè)元素是像素的權(quán)重或者概率。確定或者計(jì)算每個(gè)區(qū)域的曝光并且響應(yīng)于權(quán)重或者概率將曝光值應(yīng)用到區(qū)域。然后將不同區(qū)域融合在一起以獲得最終色調(diào)映射圖像。本方法還包括以下步驟，對(duì)于高動(dòng)態(tài)范圍圖像或者最終色調(diào)映射圖像標(biāo)識(shí)或者建立不同感知亮度等級(jí)。此外，該方法可以包括任何以下步驟響應(yīng)于照度(luminance)數(shù)據(jù)確定區(qū)域；建立錨值，其中，每個(gè)錨值建立區(qū)域之一；以及基于各個(gè)色彩通道執(zhí)行色調(diào)映射?？梢曰谡斩韧ǖ缊?zhí)行色調(diào)映射并且通過后處理將其應(yīng)用到色彩通道，以及可以基于各個(gè)色彩通道執(zhí)行色調(diào)映射。


現(xiàn)在將通過參考附圖的示例的方式描述本發(fā)明，在附圖中圖1是已知區(qū)系統(tǒng)縮放的圖。圖2是根據(jù)本發(fā)明的基于區(qū)的色調(diào)映射方法的流程圖；圖3是圖2的方法用于彩色HDR圖像的應(yīng)用的流程圖；圖4是圖2的方法用于彩色HDR圖像的另一應(yīng)用的流程圖5是示出使用圖2的方法的LDR圖像的色調(diào)校正的流程圖；以及圖6示出一對(duì)樣品圖像，其中一個(gè)已經(jīng)根據(jù)本發(fā)明的方法被增強(qiáng)。
具體實(shí)施例方式類似于用于傳統(tǒng)手動(dòng)色調(diào)映射的影視攝影中開發(fā)的“區(qū)系統(tǒng)”的概念，可以以下四個(gè)步驟大體上描述本發(fā)明a.標(biāo)識(shí)畫面中的關(guān)鍵元素；b.將每個(gè)關(guān)鍵元素分別映射到區(qū)；c.測(cè)量每個(gè)關(guān)鍵元素的輻射；d.決定全局曝光值；以及e.在打印處理中減淡和加深，使得每個(gè)關(guān)鍵元素是在最終打印的正確區(qū)。為了更加詳細(xì)地描述該方法，可以首先定義色調(diào)映射問題的輸入和輸出。首先，假定該輸入是具有已知主色彩的已知色彩空間中的場(chǎng)景輻射。該輻射數(shù)據(jù)可以是絕對(duì)輻射或者線性縮放輻射(當(dāng)未校準(zhǔn)HDR數(shù)據(jù)時(shí)的情形)。輸出是色調(diào)映射圖像?？梢詮腍DR數(shù)據(jù)計(jì)算照度圖像。如果HDR數(shù)據(jù)在XYZ色彩空間，則Y分量可以用作照度圖像。如果HDR數(shù)據(jù)使用相同的主色彩作為Rec. 709，則從RGB色彩空間的轉(zhuǎn)換可以如下完成L(i, j) = 0. 2126*R(i，j)+0. 7152*G(i，j)+0. 0722*B(i，j)可以依賴輸入畫面的格式來使用RGB(或者其他色彩空間)和照度圖像之間的其他轉(zhuǎn)換。下面定義色調(diào)映射的最簡(jiǎn)單形式單個(gè)曝光。在不失一般性的情況下，假設(shè)HDR數(shù)據(jù)僅僅具有一個(gè)色彩通道，其可以是照度圖像。在線性縮放的情況下，規(guī)定“錨點(diǎn)”。如果像素的照度超過錨點(diǎn)，則該像素將是飽和的并且映射到1，否則其將映射到值0和1之間。因此，線性縮放單個(gè)曝光可以定義為
權(quán)利要求
1.一種將用于顯示的高動(dòng)態(tài)范圍圖像色調(diào)映射到低動(dòng)態(tài)范圍顯示器上的方法，包括以下步驟訪問高動(dòng)態(tài)范圍圖像；將高動(dòng)態(tài)范圍圖像分段成不同區(qū)域，使得每個(gè)區(qū)域由矩陣表示，其中矩陣的每個(gè)元素是像素的權(quán)重或者概率；確定或者計(jì)算每個(gè)區(qū)域的曝光；響應(yīng)于權(quán)重或者概率將曝光值應(yīng)用到區(qū)域；以及將不同區(qū)域融合到一起以獲得最終色調(diào)映射圖像。
2.根據(jù)權(quán)利要求1所述的方法，還包括以下步驟，為高動(dòng)態(tài)范圍圖像標(biāo)識(shí)或者建立不同感知亮度等級(jí)。
3.根據(jù)權(quán)利要求1所述的方法，還包括以下步驟，為最終色調(diào)映射圖像標(biāo)識(shí)或者建立不同感知亮度等級(jí)。
4.根據(jù)權(quán)利要求1所述的方法，還包括以下步驟，響應(yīng)于照度數(shù)據(jù)確定區(qū)域。
5.根據(jù)權(quán)利要求4所述的方法，還包括建立錨值，其中，每個(gè)錨值建立區(qū)域之一。
6.根據(jù)權(quán)利要求1所述的方法，其中，基于照度通道執(zhí)行色調(diào)映射并且然后通過后處理將色調(diào)映射應(yīng)用于色彩通道。
7.根據(jù)權(quán)利要求1所述的方法，其中，基于各個(gè)色彩通道執(zhí)行色調(diào)映射。
8.一種將用于顯示的高動(dòng)態(tài)范圍圖像色調(diào)映射到低動(dòng)態(tài)范圍顯示器的方法，包括以下步驟訪問高動(dòng)態(tài)范圍圖像；將高動(dòng)態(tài)范圍圖像分段成不同區(qū)域，使得每個(gè)區(qū)域由矩陣表示，其中矩陣的每個(gè)元素是像素的權(quán)重或者概率；確定或者計(jì)算每個(gè)區(qū)域的曝光；響應(yīng)于權(quán)重或者概率將曝光值應(yīng)用于區(qū)域；將不同區(qū)域融合到一起以獲得最終色調(diào)映射圖像；以及向用戶提供用戶接口以調(diào)整步驟中的參數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，還包括以下步驟，為高動(dòng)態(tài)范圍圖像標(biāo)識(shí)或者建立不同感知亮度等級(jí)。
10.根據(jù)權(quán)利要求8所述的方法，還包括以下步驟，為最終色調(diào)映射圖像標(biāo)識(shí)或者建立不同感知亮度等級(jí)。
11.根據(jù)權(quán)利要求8所述的方法，還包括以下步驟，響應(yīng)于照度數(shù)據(jù)確定區(qū)域。
12.根據(jù)權(quán)利要求11所述的方法，還包括建立錨值，其中，每個(gè)錨值建立區(qū)域之一。
13.根據(jù)權(quán)利要求8所述的方法，其中，基于照度通道執(zhí)行色調(diào)映射并且然后通過后處理將色調(diào)映射應(yīng)用于色彩通道。
14.根據(jù)權(quán)利要求8所述的方法，其中，基于各個(gè)色彩通道執(zhí)行色調(diào)映射。
全文摘要
一種將用于顯示的高動(dòng)態(tài)范圍圖像色調(diào)映射到低動(dòng)態(tài)范圍顯示器上的方法，其中，首先訪問高動(dòng)態(tài)范圍圖像。將高動(dòng)態(tài)范圍圖像分段成不同區(qū)域，使得每個(gè)區(qū)域由矩陣表示，其中矩陣的每個(gè)元素是像素的權(quán)重或者概率。確定或者計(jì)算每個(gè)區(qū)域的曝光并且響應(yīng)于權(quán)重或者概率將曝光值應(yīng)用到區(qū)域。然后將不同區(qū)域融合到一起以獲得最終色調(diào)映射圖像。
文檔編號(hào)G06T5/40GK102473295SQ201080029221
公開日2012年5月23日 申請(qǐng)日期2010年6月29日 優(yōu)先權(quán)日2009年6月29日
發(fā)明者J.拉克, 翟杰夫 申請(qǐng)人:湯姆森特許公司