圖像增強的制作方法
【專利摘要】本發(fā)明中描述的技術(shù)通常涉及使圖像的若干部分相對于所述圖像的其它部分增強。實例技術(shù)可結(jié)合一或多個檢視者可感知信息利用深度信息使所述圖像的若干部分相對于其它部分增強。所述技術(shù)接著可顯示增強型圖像以向檢視者提供可能更真實的圖像。
【專利說明】圖像增強

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像增強，且更明確地說，涉及經(jīng)建構(gòu)圖像上的圖像增強。

【背景技術(shù)】
[0002]各種裝置為可操作的以顯示視頻或圖像。舉例來說，裝置可下載視頻或圖像，或可用數(shù)碼相機俘獲視頻或圖像。在顯示器上顯示下載、俘獲或以其它方式產(chǎn)生的視頻或圖像。舉例來說，視頻可作為一連串幀顯示。


【發(fā)明內(nèi)容】

[0003]總的來說，本發(fā)明描述用于圖像增強的技術(shù)。圖像增強是指增強視頻的經(jīng)建構(gòu)幀或經(jīng)建構(gòu)個別圖像。換句話說，所描述的技術(shù)可適用于視頻的獨立圖像或幀。如更詳細(xì)描述的，技術(shù)可利用深度圖，所述深度圖結(jié)合另一感知圖指示圖像內(nèi)的對象的相對深度，從而確定所述圖像中的像素是否應(yīng)相對于其它像素增強。
[0004]在一個實例中，本發(fā)明描述一種用于圖像處理的方法，其包含接收圖像，及確定指示所述圖像內(nèi)的像素的相對深度的所述圖像的深度圖的深度圖值。所述方法還包含確定所述圖像的感知圖的感知圖值，及至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強。
[0005]在另一實例中，本發(fā)明描述一種裝置，其包含經(jīng)配置以存儲圖像的存儲器及一或多個處理單元。所述一或多個處理單元經(jīng)配置以接收所述圖像，及確定指示所述圖像內(nèi)的像素的相對深度的所述圖像的深度圖的深度圖值。所述一或多個處理單元也經(jīng)配置以確定所述圖像的感知圖的感知圖值，及至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強。
[0006]在另一實例中，本發(fā)明描述一種裝置，其包含用于接收圖像的裝置，及用于確定指示所述圖像內(nèi)的像素的相對深度的所述圖像的深度圖的深度圖值的裝置。所述裝置還包含用于確定所述圖像的感知圖的感知圖值的裝置，及用于至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強的裝置。
[0007]在另一實例中，本發(fā)明描述一種計算機可讀存儲媒體。所述計算機可讀存儲媒體包括指令，所述指令致使一或多個處理器接收圖像，確定指示所述圖像內(nèi)的像素的相對深度的所述圖像的深度圖的深度圖值，確定所述圖像的感知圖的感知圖值，及至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強。
[0008]隨附圖式和以下描述中陳述一或多個實例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)點將從所述描述及圖式以及權(quán)利要求書而顯而易見。

【專利附圖】

【附圖說明】
[0009]圖1是說明可實施本發(fā)明的一或多個方面的裝置的實例的框圖。
[0010]圖2是說明可實施本發(fā)明中描述的一或多個技術(shù)的后處理器的實例的框圖。
[0011]圖3是說明可實施本發(fā)明中描述的一或多個技術(shù)的增強單元的實例的框圖。
[0012]圖4是說明可實施本發(fā)明中描述的一或多個技術(shù)的增強單元的另一實例的框圖。
[0013]圖5是說明可實施本發(fā)明中描述的一或多個技術(shù)的深度圖處理單元的實例的框圖。
[0014]圖6是說明根據(jù)本發(fā)明所描述的一或多個實例的實例技術(shù)的流程圖。
[0015]圖7是說明可為可操作的以實施本發(fā)明的一或多個方面的裝置的另一實例的框圖。

【具體實施方式】
[0016]總的來說，本發(fā)明涉及用以使用與圖像相關(guān)聯(lián)的檢視者可感知信息增強一或多個圖像的圖像增強技術(shù)。圖像可為靜態(tài)圖像(例如，由相機拍攝的圖片)，或視頻數(shù)據(jù)的一部分(例如，視頻數(shù)據(jù)幀)。在一些實例中，圖像可為右眼圖像及左眼圖像(例如，作為立體視頻的一部分)，或用于多視圖視頻的圖像。
[0017]如更詳細(xì)描述的，裝置的一或多個處理單元可實施本發(fā)明中描述的圖像增強技術(shù)。本發(fā)明中描述的實例技術(shù)可通過使用檢視者可感知圖像信息執(zhí)行圖像增強而提供更真實的圖像。舉例來說，一或多個處理單元可基于例如深度信息以及運動信息和/或顯著性信息等可感知信息對圖像的部分執(zhí)行對比度增強、銳化及模糊、色彩增強或其任何組合。
[0018]圖1是說明可實施本發(fā)明的一或多個方面的裝置的實例的框圖。舉例來說，圖1說明裝置10。裝置10的實例包含(但不限于)例如媒體播放器、機頂盒、例如移動電話等無線手持機、個人數(shù)字助理(PDA)、桌上型計算機、膝上型計算機、游戲控制臺、視頻會議單元、平板計算裝置及其類似者等視頻裝置。如所說明，裝置10可包含顯示器12、視頻處理器14、圖形處理單元(GPU) 16、視頻編碼器/解碼器(編解碼器)18、存儲器20及后處理器
22。裝置10除圖1中所說明的那些組件之外還可包含若干組件。舉例來說，圖9說明包含比圖1中說明的那些組件更多的組件的裝置10的實例。
[0019]視頻處理器14、GPU16、視頻編解碼器18及后處理器22的實例包含(但不限于)數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。此外，盡管視頻處理器14、GPU16、視頻編碼器-解碼器(編解碼器)18及后處理器22經(jīng)說明為單獨的組件，但本發(fā)明的方面不限于此。在替代實例中，視頻處理器14、GPU16、視頻編解碼器18及后處理器22中的一或多者可為共同集成電路的一部分。出于說明及容易描述的目的，視頻處理器14、GPU16、視頻編解碼器18及后處理器22經(jīng)說明為單獨的組件。
[0020]而且，本發(fā)明將后處理器22描述為實施實例技術(shù)。在替代實例中，裝置10的處理單元中的任一者可實施本發(fā)明中描述的技術(shù)。舉例來說，視頻處理器14、GPU16、視頻編解碼器18、后處理器22、裝置10的顯示處理器或中央處理單元(CPU)可實施本發(fā)明中描述的技術(shù)。為了指示此情形，在一些實例中，本發(fā)明將處理單元描述為執(zhí)行本發(fā)明中描述的技術(shù)。此處理單元的實例包含視頻處理器14、GPU16、視頻編解碼器18、后處理器22、裝置10的顯示處理器或裝置10的CPU。在一些實例中，后處理器22可形成于其它處理單元中的一者內(nèi)。舉例來說，裝置10的顯示處理器可包含后處理器22。在此實例中，本發(fā)明中描述的技術(shù)可被認(rèn)為是由所述顯示處理器執(zhí)行。
[0021]視頻處理器14、GPU16和/或視頻編解碼器18可輸出圖像數(shù)據(jù)到存儲器20。舉例來說，存儲器20可存儲圖像24，所述圖像為從視頻處理器14、GPU16或視頻編解碼器18中的任一者產(chǎn)生的經(jīng)建構(gòu)圖像。對于圖1中未圖示的其它組件來說，產(chǎn)生圖像24及將圖像24存儲于存儲器20中是有可能的，且視頻處理器14、GPU16及視頻編解碼器18是出于說明的目的而描述的。后處理器22可從存儲器20檢索圖像24，增強圖像24以產(chǎn)生增強型圖像26，及在顯示器12上呈現(xiàn)增強型圖像26。
[0022]增強圖像24以產(chǎn)生增強型圖像26可指修改例如圖像24內(nèi)的像素的色彩值等像素值，以使得增強型圖像26的整體外觀的質(zhì)量比圖像24高。增強型圖像26與圖像24相比較較高的質(zhì)量的一個實例可為增強型圖像26所呈現(xiàn)的真實度比圖像24更高；但可利用本發(fā)明的技術(shù)實現(xiàn)其它較高質(zhì)量的實例。舉例來說，如更詳細(xì)描述的，后處理器22可使圖像24的一部分內(nèi)的像素的對比度、銳度和/或色彩相對于圖像24中的另一部分增強，從而產(chǎn)生增強型圖像26。此增強可導(dǎo)致增強型圖像26所呈現(xiàn)的真實度比圖像24更高。此外，如更詳細(xì)描述的，后處理器22可利用例如深度信息、運動信息及顯著性信息(作為三個實例)等檢視者可感知信息，從而確定圖像24的哪些部分相對于其它部分得到增強。
[0023]圖像24可被稱為經(jīng)建構(gòu)圖像，其用以指示圖像24為具有圖像24的像素中的每一者的像素值的完整圖像。舉例來說，視頻處理器14、GPU16或視頻編解碼器18中的一者可完成其相應(yīng)的產(chǎn)生圖像24及將圖像24存儲于存儲器20中的功能。如更詳細(xì)描述的，本發(fā)明中描述的實例技術(shù)可增強此經(jīng)建構(gòu)圖像及顯示器所述增強型圖像。換句話說，圖像24可處于被顯示的狀況中；然而，本發(fā)明中描述的實例技術(shù)可在顯示之前增強圖像24。
[0024]顯示器12可包括液晶顯示器(IXD)、有機發(fā)光二極管顯示器(OLED)、陰極射線管(CRT)顯示器、等離子顯示器、或另一類型的顯示裝置。存儲器20的實例包含(但不限于)隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置、快閃存儲器或可用以以指令或數(shù)據(jù)結(jié)構(gòu)的形式存儲所要程序代碼且可由裝置10的中央處理單元(CPU)、視頻處理器14、GPU16、視頻編解碼器18及后處理器22存取的任何其它媒體。在一些實例中，存儲器20可包括例如計算機可讀存儲裝置等一或多個計算機可讀存儲媒體。舉例來說，在一些實例實施方案中，存儲器20可包含致使后處理器22執(zhí)行在本發(fā)明中歸于后處理器22的功能的指令。
[0025]在一些實例中，存儲器20可被視為非暫時性存儲媒體。術(shù)語“非暫時性”可指示存儲媒體不體現(xiàn)于載波或傳播信號中。然而，術(shù)語“非暫時性”不應(yīng)解釋為意指存儲器20為不可移動的。作為一個實例，可從裝置10移除存儲器20，及將存儲器20移動到另一裝置。作為另一實例，可將實質(zhì)上類似于存儲器20的存儲裝置插入到裝置10中。在某些實例中，非暫時性存儲媒體可存儲可隨時間而改變的數(shù)據(jù)(例如，在RAM中)。
[0026]作為一個實例，用戶可需要檢視顯示器12上的視頻內(nèi)容。視頻處理器14可處理所述視頻內(nèi)容及將所述視頻內(nèi)容作為一連串圖像24(被稱作幀或圖片)存儲于存儲器20中。后處理器22可從存儲器20檢索圖像24中的每一者，增強圖像24及經(jīng)由顯示器12以特定幀速率顯示所述圖像，使得用戶體驗到視頻的流暢播放。
[0027]作為另一實例，用戶可需要在裝置10上播放視頻游戲。在此實例中，GPU16可產(chǎn)生呈GPU16存儲在存儲器20中的圖像24的形式的視頻游戲的圖形內(nèi)容。后處理器22可從存儲器20檢索視頻游戲圖像24，增強圖像24及經(jīng)由顯示器12顯示所述圖像。除視頻游戲外的應(yīng)用還可產(chǎn)生后處理器22可檢索、增強及在顯示器12上顯示的圖形內(nèi)容。
[0028]作為另一實例，視頻編解碼器18可對接收的視頻內(nèi)容進(jìn)行解碼。類似于視頻處理器14，經(jīng)解碼視頻內(nèi)容可為一連串圖像24。視頻編解碼器18可將這些一連串圖像存儲于存儲器20中。類似于視頻處理器14，后處理器22可從存儲器20檢索圖像24，增強圖像24及經(jīng)由顯示器12顯示所述圖像。
[0029]在顯示器12上顯示圖像24之前，后處理器22可執(zhí)行圖像增強。顯示器12接著可顯示此增強型圖像。舉例來說，圖1將顯示器12說明為顯示增強型圖像26。增強型圖像26為從圖像24的增強所得的圖像。
[0030]盡管圖1說明后處理器22從存儲器20 (例如，系統(tǒng)存儲器)接收圖像24，但本發(fā)明的方面不限于此。對于后處理器22來說，從視頻處理器14、GPU16及視頻編解碼器18中的任一者直接接收圖像24 (例如通過直接存儲器傳送而不是經(jīng)由系統(tǒng)存儲器20)是有可能的。然而，出于簡潔的目的，技術(shù)是關(guān)于后處理器22從存儲器20接收圖像24進(jìn)行描述的。
[0031]后處理器22可實施各種技術(shù)以增強圖像24及產(chǎn)生增強型圖像26。作為一個實例，后處理器24可結(jié)合另一感知圖的值利用深度圖的值來增強圖像24。舉例來說，如圖1中所說明，存儲器20存儲深度圖28及感知圖30的值。后處理器22可從存儲器20檢索深度圖28及感知圖30的值及利用這些值中的一或多者來增強圖像24。
[0032]舉例來說，后處理器22可利用深度圖28及感知圖30的值確定圖像24的哪些部分應(yīng)相對于其它部分得以增強，及在一些實例中，增強多少。后處理器22可利用任何增強方案來增強圖像24的部分。舉例來說，后處理器22可使圖像24的待增強的部分中的像素之間的對比度相對于圖像24的其它部分中的像素增強。作為另一實例，后處理器22可使圖像24的待增強的部分中的像素之間的銳度相對于圖像24的其它部分中的像素增強。作為又一實例，后處理器22可使圖像24的待增強的部分中的像素的色彩相對于圖像24的其它部分中的像素增強。
[0033]如更詳細(xì)所論述的，可存在確定深度圖28及感知圖30的值的各種方式。本發(fā)明中描述的技術(shù)不限于確定深度圖24及感知圖30的值的方式的特定實例?？偟膩碚f，本發(fā)明中描述的技術(shù)可擴展到確定深度圖24及感知圖30的值的任何方式。
[0034]深度圖28可提供圖像24的像素的“深度”的相對測量，其被稱作深度信息。如本發(fā)明中所使用的術(shù)語“深度”為透視深度。舉例來說，圖像24為二維(2D)圖像，且深度在此上下文中是指某些對象與2D圖像中的其它對象相比顯得更遠(yuǎn)的感知。
[0035]深度圖28的值可指示圖像24中的對應(yīng)像素的相對深度。作為一個實例，深度圖28可被認(rèn)為是為圖像24(例如，靜態(tài)圖像或視頻幀)內(nèi)的每一像素的深度提供估計的2D圖。在此實例中，深度圖28的大小可與圖像24相同，其中多個位置各自對應(yīng)于圖像24的一個像素。深度圖28中的這些位置中的每一者可包含指示圖像24中的其對應(yīng)像素的深度的值。舉例來說，深度圖28可指示圖像24的哪些像素為前景像素(例如，看起來相對在圖像24的前面)及圖像24的哪些像素為背景像素(例如，看起來相對在圖像24的背面)。
[0036]類似于深度圖28，感知圖30可包含圖像24中的對應(yīng)像素的值。感知圖30的值可指示關(guān)于圖像24的額外信息。作為一個實例，感知圖30的值可提供運動信息。在此實例中，感知圖30可被稱為運動彳目息圖。舉例來說，在圖像24為視頻或圖形的一連串巾貞中的一者(例如，作為視頻游戲的一部分)的實例中，運動信息可指示圖像24的對象相對于先前或未來幀的位置變化。舉例來說，在顯示一連串幀(其中的一者包含圖像24)時，檢視者可感知到例如汽車等對象正移動橫越顯示所述幀的屏幕。
[0037]如本發(fā)明中所涉及，對象是指圖像24內(nèi)檢視者可識別的獨特物品。汽車就是對象的如此實例，但本發(fā)明涵蓋對象的其它實例，包含靜止對象(即，其位置不會在一個幀到下一個幀之間改變的對象)。圖像24的多個像素可涵蓋圖像24內(nèi)的對象。在此實例中，由感知圖30的值提供的運動信息可包含例如速度及方向和/或坐標(biāo)等值。
[0038]舉例來說，用于對象的在圖像24中的一個像素可具有用于相同對象的在先前幀或后續(xù)幀內(nèi)的不同位置處的對應(yīng)像素。圖像24中的像素的運動信息可提供對象移動的快速程度及方向和/或先前幀或后續(xù)幀中的對應(yīng)像素的坐標(biāo)的某一度量。如本發(fā)明中所使用的對應(yīng)像素不應(yīng)與位于同一地點的像素混淆；但對于對應(yīng)像素來說，也有可能是位于同一地點的像素(例如，在不存在運動時)。位于同一地點的像素是指不同幀中的相同位置中的像素。對應(yīng)像素是指在對象內(nèi)的與圖像24中的像素相同的位置處的在先前或后續(xù)幀中的像素。
[0039]感知圖30的另一實例可為顯著性圖。顯著性圖的值可提供顯著性信息，所述顯著性信息為像素在圖像24內(nèi)的“顯著”程度的某一度量。舉例來說，為了向檢視者提供合乎需要的檢視體驗，與其它像素相比較，吸引檢視者對一些像素更多的注意可為有益的。顯著性圖的值可指示與其它像素相比較，應(yīng)將檢視者的注意吸引到哪些像素。
[0040]除了運動信息圖及顯著性圖之外，可存在感知圖30的其它實例，且不應(yīng)認(rèn)為本發(fā)明的方面將感知圖30限于運動信息圖及顯著性圖。此外，盡管圖1說明存儲器20存儲單個感知圖30，但本發(fā)明的方面不限于此。存儲器20可存儲一或多個感知地圖。舉例來說，存儲器20可存儲一個感知圖30作為運動信息圖，及存儲另一感知圖30作為顯著性圖。在此些實例中，實例技術(shù)可利用來自深度圖28、運動圖及顯著性圖的值以用于增強圖像24。
[0041]利用來自至少深度圖28及感知圖30的值以增強圖像24可產(chǎn)生相對更真實的圖像。換句話說，與圖像24相比較，增強型圖像26可為更真實的圖像。作為一個實例，在真實的圖像中，圖像24的前景像素與圖像24的背景像素相比較可看起來更銳化、更清晰和/或更豐富。深度圖28可提供指示圖像24的哪些像素為前景像素及哪些像素為背景像素的值，且有可能基于指示哪些像素為前景像素及哪些像素為背景像素的值增強圖像24。
[0042]在一些實例中，僅依賴于如由深度圖28提供的深度信息可潛在地不足以提供真實的圖像。舉例來說，圖像24內(nèi)的對象的像素可處于前景中。然而，因為對象在移動，所以對象看起來不應(yīng)與其它對象一樣清晰。舉例來說，想象對象(例如，汽車)處于圖像24的前景中，且汽車在移動(例如，如由在圖像24之前及之后的幀的順序顯示所證實)。在此實例中，汽車與其它對象相比較可能由于其移動看起來并不清晰。此外，汽車移動得越快，其看起來的真實度將越不清晰。如更詳細(xì)描述的，后處理器22可利用來自深度圖28的深度信息及來自感知圖30的運動信息使圖像24的第一部分(例如，圖像24的前景)相對于圖像24的第二部分(例如，圖像24的背景)增強。以此方式，后處理器22可考慮深度信息及運動信息兩者以確定圖像24的部分相對于圖像24的其它部分增強了多少。
[0043]在一些實例中，顯著性信息可進(jìn)一步有助于后處理器22確定應(yīng)增強圖像24的哪些像素。舉例來說，來自深度圖28的深度信息可指示特定像素處于前景中，且在此實例中，來自感知圖30的顯著性信息可指示所述特定像素為顯著的。在此實例中，后處理器22可利用深度信息及顯著性信息兩者來確定所述特定像素相對于其它像素增強了多少。
[0044]作為另一實例，來自深度圖28的深度信息可指示特定像素處于背景中，且在此實例中，來自感知圖30的顯著性信息可指示所述特定像素為顯著的。為了避免此背景像素太過模糊或甚至被增強，后處理器22可結(jié)合顯著性圖的值利用深度圖28的值來確定所述特定像素相對于其它像素增強了多少。
[0045]圖2是說明可實施本發(fā)明中描述的一或多個技術(shù)的后處理器22的實例的框圖。后處理器22可利用圖像24的檢視者可感知品質(zhì)使圖像24的部分相對于圖像24的其它部分增強。舉例來說，后處理器22可使圖像24內(nèi)的前景像素增強超過背景像素。可存在后處理器22可使圖像24的一部分相對于圖像24的其它部分增強的各種方式。舉例來說，后處理器22可增強第一部分且不增強第二部分。作為另一實例，后處理器22可使第二部分模糊且不修改第一部分。作為又一實例，后處理器22可使第一部分銳化，且使第二部分模糊。在這些實例中，第一部分可看起來比第二部分清晰。因此，在這些實例中，第一部分的增強是相對于第二部分來說的。
[0046]如上文所描述，后處理器22可利用深度圖28及感知圖30的值以用于增強圖像24的部分?？纱嬖诖_定深度圖28及感知圖30的值的各種方式，如下文所描述。出于說明的目的而提供用以確定深度圖28及感知圖30的值的這些實例技術(shù)，且所述技術(shù)不應(yīng)被視為限制性的。此外，可結(jié)合彼此或其任何組合來利用所述技術(shù)。舉例來說，裝置10可利用一個技術(shù)來確定深度圖28的值及利用相同或不同技術(shù)來確定感知圖30的值。
[0047]作為一個實例，在裝置10從另一裝置下載圖像24或包含圖像24的視頻的例子中，其它裝置可連同圖像24 —起提供深度圖28及感知圖30的值。在此實例中，作為一個實例，視頻編解碼器18可連同深度圖28及感知圖30 —起接收圖像24。視頻編解碼器18接著可將圖像24的像素值及深度圖28及感知圖30的值存儲于存儲器20中。后處理器22接著可通過從存儲器20接收這些值來確定圖像24的像素值及深度圖28及感知圖30的值。后處理器22接著可借助于所接收的信息使圖像24的部分相對于其它部分增強，如更詳細(xì)描述的。
[0048]作為另一實例，裝置10中的模塊可產(chǎn)生深度圖28及感知圖30的值。作為一個實例，視頻處理器14可從相機(所述相機為裝置10的一部分或耦合到裝置10)接收所俘獲圖像24或包含圖像24的視頻。在此實例中，視頻處理器14可執(zhí)行算法產(chǎn)生深度圖28及感知圖30的值。視頻處理器14接著可將深度圖28及感知圖30的值存儲于存儲器20中。類似于上文，后處理器22接著可借助于所接收的信息使圖像24的部分相對于其它部分增強，如更詳細(xì)描述的。
[0049]在一些實例中，GPU16可產(chǎn)生深度圖28及感知圖30的值。舉例來說，圖像24仍可以是圖形圖像或作為一連串圖形圖像(例如，視頻游戲中的圖像)的部分的圖形圖像。在此實例中，GPU16除了產(chǎn)生圖像24之外還可產(chǎn)生深度圖28及感知圖30的值。GPU16接著可將圖像24的像素值及深度圖28及感知圖30的值存儲于存儲器20中。類似于上文，后處理器22接著可借助于所接收的信息使圖像24的部分相對于其它部分增強，如更詳細(xì)描述的。
[0050]在一些狀況下，對于后處理器22來說，確定深度圖28及感知圖30的值是有可能的。在此實例中，后處理器22可將深度圖28及感知圖30的值存儲于存儲器20中以供臨時存儲。或者，后處理器22可將深度圖28及感知圖30的值存儲于本地存儲器中。在此實例中，存儲器20可不存儲深度圖28及感知圖30的值。
[0051]如上文所描述，視頻處理器14、GPU16、視頻編解碼器18及后處理器22中的任一者可產(chǎn)生深度圖28及感知圖30的值。而且，如上文所描述，視頻處理器14、GPU16、視頻編解碼器18及后處理器22中的任一者可實施本發(fā)明中描述的增強技術(shù)。為了對此進(jìn)行說明，本發(fā)明的實例技術(shù)可被認(rèn)為是由一或多個處理單元實施的。一或多個處理單元的實例包含視頻處理器14、GPU16、視頻編解碼器18及后處理器22。舉例來說，一個處理單元可確定深度圖28及感知圖30的值，且另一處理單元或相同處理單元可實施本發(fā)明中描述的實例增強技術(shù)。此外，在一些實例中，顯示處理器可為一或多個處理單元的另一實例。舉例來說，在一些實例中，后處理器22可被認(rèn)為是顯示處理器。出于說明的目的及簡潔起見，實例技術(shù)經(jīng)描述為由后處理器22執(zhí)行。
[0052]在裝置10并不接收深度圖28和/或感知圖30的值的實例中，一或多個處理單元可實施一或多個熟知算法以確定深度圖28和/或感知圖30的值。作為一個實例，一或多個處理單元可利用陰影信息來估計圖像24內(nèi)的像素的深度。作為另一實例，一或多個處理單元可利用運動信息來確定深度圖28的值。舉例來說，看起來快速移動的對象通常被認(rèn)為是處于前景中，且看起來較緩慢移動的對象通常被認(rèn)為是處于背景中。舉例來說，在空中飛行的飛機(例如，在背景中)與前景中放大的汽車相比較看起來較緩慢地移動。在此實例中，一或多個處理單元可使用運動信息來確定深度圖28的深度值(例如，確定飛機處于背景中，且汽車處于前景中)，且還使用運動信息來確定感知圖30的值(例如，在感知圖30為運動信息圖的實例中)。
[0053]在感知圖30為顯著性圖的實例中可存在各種技術(shù)來確定感知圖30的值。在Chenlei Guo>Qi Ma、Liming Zhang的“使用四元組傅立葉變換的相位譜的空間-時間顯著性檢測(Spat1-temporal Saliency Detect1n Using Phase Spectrum of Quatern1nFourier Transform) ”(IEEE計算機視覺及圖案辨識會議(IEEE CVPR)，2008年)中描述了一個此實例技術(shù)，且所述技術(shù)以全文引用的方式并入本文中。此參考中描述的技術(shù)是出于說明的目的而提供的，且不應(yīng)被視為限制性的。在感知30為顯著性圖的實例(包含不接收顯著性圖的值的實例)中，本發(fā)明中描述的技術(shù)可實施任何方案來確定感知圖30的值。
[0054]如圖2中所示，后處理器22接收圖像24的像素值且輸出增強型圖像26的增強型像素值。像素值可包含與單個圖像、2D視頻(S卩，單信道視頻)或3D視頻(例如，多信道視頻)的一部分相關(guān)聯(lián)的像素值。作為一個實例，像素值可為色彩值，且可根據(jù)標(biāo)準(zhǔn)視頻格式來定義。舉例來說，像素值可以是標(biāo)準(zhǔn)紅綠藍(lán)(RGB)。像素值的實例可包含除了色彩值之外的值，例如坐標(biāo)及不透明度值(作為兩個實例)。
[0055]在圖2的實例中，后處理器22包含深度圖處理單元32、增強圖單元34及增強單元36。這些單元可形成在一起或形成為單獨的單元，如圖2中所說明。深度圖處理單元32、增強圖單元34和/或增強單元36可實施為硬件或?qū)嵤閳?zhí)行于硬件上的軟件。增強單元36的輸出可為增強型圖像26的像素值。
[0056]此外，盡管深度圖處理單元32、增強圖單元34及增強單元36經(jīng)說明為形成于后處理器22中，但本發(fā)明的方面不限于此。在其它實例中，深度圖處理單元32、增強圖單元34及增強單元36中的一或多者可形成于其它處理單元中的一或多者中。作為另一實例，深度圖處理單元32及增強圖單元34可各自為個別單元或一起形成，所述單元在裝置10內(nèi)且在視頻處理器14、GPU16、視頻編解碼器18、后處理器22及裝置10的CPU外部。在這些實例中，深度圖處理單元32及增強圖單元34可為實施本發(fā)明中描述的實例技術(shù)的一或多個處理處理的一部分。
[0057]在深度圖28由裝置10接收或由裝置10產(chǎn)生的一些實例中，對深度圖28的值的進(jìn)一步修改可為適當(dāng)?shù)?。舉例來說，對于確定圖像24的哪些部分應(yīng)相對于其它部分增強及增強了多少來說，深度圖28的值可能并不理想。在圖2的實例中，深度圖處理單元32可修改深度圖28的值以產(chǎn)生可能更適合于確定哪些部分應(yīng)增強及增強了多少的值。關(guān)于圖5更詳細(xì)說明深度圖處理單元32的實例。在其它實例中，深度圖28的值可按原樣適合于使圖像24的部分相對于其它部分增強。在這些實例中，可能并不需要深度圖處理單元32，或所述深度圖處理單元可充當(dāng)深度圖28的值通過的通道。
[0058]增強圖單元34可從深度圖處理單元32接收經(jīng)處理深度圖28。在后處理器22不包含深度圖處理單元32的實例中，增強圖單元34可直接接收深度圖28的值。如所說明，增強圖單元34還可接收感知圖30的值。在一些實例中，后處理器22還可包含感知圖處理單元，所述感知圖處理單元修改感知圖30的值，從而使所述值更適合于確定圖像24的部分增強了多少。然而，在后處理器22的每一實例中，此感知圖處理單元可能不是必需的，或可充當(dāng)感知圖30的值通過的通道。
[0059]增強圖單元34可實施各種算法確定圖像24的像素應(yīng)增強多少。作為一個實例算法，增強圖單元34可執(zhí)行深度圖28及感知圖30的值的加權(quán)總和以產(chǎn)生增強圖。增強圖的值可指示圖像24的對應(yīng)像素應(yīng)增強多少。在此實例中，增強單元36可從增強圖單元34接收增強圖，且基于所述增強圖的對應(yīng)值使圖像24的像素相對于其它像素增強。
[0060]舉例來說，增強圖單元34可通過將可選擇或預(yù)編程權(quán)重應(yīng)用于深度圖28及感知圖30的值使增強更偏向前景或更偏向具有較少運動和/或較大顯著性的對象。加權(quán)總和的所得值可指示像素應(yīng)增強多少(如果果真會發(fā)生的話)。舉例來說，在感知圖30的值為運動信息的值的實例中，加權(quán)總和的所得值可向增強單元36指示使位于前景中的緩慢移動的對象的像素相對于位于背景中的對象的像素或快速移動的對象的像素增強。
[0061]在一些實例中，增強圖單元34可類似地執(zhí)行深度圖28及感知圖30的值的加權(quán)總和，其中感知圖30為顯著性圖。舉例來說，在此實例中，加權(quán)總和的所得值可向增強單元36指示與其中像素是針對背景中的對象或針對較不顯著像素的圖像24的部分相比較，增強具有位于前景中的對象的圖像24的部分中的更顯著像素。
[0062]作為一個實例，為了執(zhí)行加權(quán)總和，增強圖單元34可針對對應(yīng)于圖像24中的相同像素的深度圖28及感知圖30的對應(yīng)值中的每一者實施以下函數(shù):
[0063]β = Yd+δ (1-t)，其中Y為感知圖30的值的可選擇或預(yù)編程權(quán)重，d為感知圖30的值中的一者，δ為深度圖28的值的可選擇或預(yù)編程權(quán)重，且t為對應(yīng)于感知圖30的值d的深度圖28的值中的一者，其中d及t兩者對應(yīng)于圖像24的像素中的一者。
[0064]在此實例中，β為增強單元36可用以確定將圖像24的對應(yīng)像素增強多少的圖像24的對應(yīng)像素的所得加權(quán)總和值。舉例來說，增強圖可包含圖像24的每一像素的一個β值。Y的值可基于所要的偏向感知圖30的值的量來選擇或預(yù)編程。舉例來說，可能需要確保與圖像24內(nèi)的深度相比較，基于移動或顯著性來更多增強對象，且可選擇或預(yù)編程Y的值以達(dá)成此結(jié)果。類似地，S的值可基于所要的偏向深度圖28的值的量選擇或預(yù)編程。舉例來說，可能需要確保與移動或顯著性相比較，基于深度來更多增強對象，且可選擇或預(yù)編程δ的值以達(dá)成此結(jié)果。
[0065]在其中感知圖30為運動信息圖的實例中，值d可與感知的“速度”呈負(fù)相關(guān)。舉例來說，感知的速度越大，d的值越小。t的值可指示感知的“深度”，且小于或等于I。在此實例中，t的值越大,其在圖像24中就越靠后。
[0066]應(yīng)理解，Υ、δ、d及t的值及其相應(yīng)偏差、速度及深度之間的相關(guān)是僅出于說明的目的而提供的，且不應(yīng)被視為限制性的。此外，β的等式是僅出于說明的目的而提供的，且不應(yīng)被視為限制性的?？偟膩碚f，增強圖單元34可實施基于深度圖28及感知圖30的值確定待應(yīng)用于圖像24的像素上的增強的量的任何算法。
[0067]如所說明，增強單元36可接收來自增強圖單元34的加權(quán)總和的結(jié)果及圖像24的像素值。增強單元36接著可基于對應(yīng)加權(quán)總和值增強圖像24的像素值(例如，色彩值)?？纱嬖谠鰪妴卧?6可利用加權(quán)總和值使圖像24的第一部分相對于圖像24的第二部分增強的各種方式。
[0068]舉例來說，增強單元36可建立加權(quán)總和值的閾值。其對應(yīng)加權(quán)總和值大于或等于閾值的像素可為圖像24的第一部分中的像素。其對應(yīng)加權(quán)總和值小于閾值的像素可為圖像24的第二部分中的像素。作為使第一部分相對于圖像24的第二部分增強的一個實例，增強單元36可增強圖像24的第一部分中的像素，且不增強圖像24的第二部分中的像素。作為另一實例，增強單元36可使圖像24的第二部分中的像素模糊，且不使圖像24的第一部分中的像素模糊。作為又一實例，增強單元36可使圖像24的第一部分中的像素增強，且使圖像24的第二部分中的像素模糊。在這些實例狀況中的任一者中，第一部分可看起來比第二部分更清晰。以此方式，實例技術(shù)可使圖像24的第一部分相對于圖像24的第二部分增強。
[0069]增強單元36可經(jīng)配置以實施任何類型的增強技術(shù)。作為實例，增強單元36可實施對比度增強、銳化及模糊以及色彩增強中的一或多者，但本發(fā)明的方面不應(yīng)被視為限于對比度增強、銳化及模糊以及色彩增強。關(guān)于圖3更詳細(xì)地描述了增強單元36的實例。
[0070]先前實例將圖像24描述為單個靜態(tài)圖像或視頻的圖像?？纱嬖谝曨l的圖像的至少兩個實例，且本發(fā)明的技術(shù)可擴展到視頻的兩個實例。視頻的一個實例通常被稱作單視圖視頻，且視頻的另一實例為多視圖視頻。多視圖視頻的子集為立體視頻。
[0071]在可被稱作三維(3D)視頻的立體視頻中，裝置10可同時在顯示器12上顯示兩個圖像，其中一個圖像可由左眼而非右眼檢視到，且另一圖像可由右眼而非左眼檢視到。左眼圖像及右眼圖像可包含實質(zhì)上類似的圖像內(nèi)容；然而，在對應(yīng)像素中可存在輕微移位。左眼圖像及右眼圖像的同時檢視可致使檢視者感知到從顯示器12當(dāng)中突出或進(jìn)入到顯示器12中的單個圖像，所述顯示器12向檢視者提供3D體驗。
[0072]多視圖視頻為立體視圖的擴展。舉例來說，多視圖視頻是基于產(chǎn)生3D體驗的類似假定，但產(chǎn)生的不僅僅是左眼及右眼圖像，使得不管檢視者正檢視視頻的方向皆會出現(xiàn)3D的外觀，且更明確地說是在用戶并未佩戴任何特定眼鏡來檢視3D圖像時。出于說明的目的，針對立體視頻描述所述技術(shù)；然而，所述技術(shù)可類似地擴展到多視圖。
[0073]在單視圖視頻(其可被稱為二維(2D)視頻)中，裝置10可在顯示器12上一次顯示一個圖像。檢視者可并未體驗到任何3D效果。舉例來說，視頻可看起來在顯示器12內(nèi)是有界的。在立體視頻及單視圖視頻兩者中，圖像可為3D圖像，因為可存在到視頻內(nèi)的對象的透視深度。然而，圖像中的每一者被顯示器12的邊界限制。僅在同時檢視立體視頻的左眼圖像及右眼圖像時，檢視者方感知到從顯示器12當(dāng)中突出或進(jìn)入到顯示器12中的單個圖像。
[0074]本發(fā)明中描述的實例技術(shù)可擴展到立體視頻或多視圖視頻。舉例來說，圖像24可為立體視頻的左眼圖像或右眼圖像中的一者，且存儲器20可存儲左眼圖像及右眼圖像兩者。在圖像24是針對立體視頻的實例中，深度圖28可被稱為視差圖。在此狀況下，深度圖28可被稱為視差圖，因為視差圖可包含指示圖像24內(nèi)的對象的透視深度的值及指示對應(yīng)另一眼圖像的對象的透視深度的值。舉例來說，如果圖像24為左眼圖像，那么深度圖28 (例如，視差圖)可包含指示左眼圖像(即，圖像24)及對應(yīng)右眼圖像中的對象的深度的值，且反之亦然。
[0075]在圖像24是針對立體視頻的實例中，增強圖單元34可接收用于圖像24的深度圖28(例如，視差圖)，所述深度圖28也為用于立體視頻的其它圖像的深度圖。在此實例中，增強圖單元34可產(chǎn)生單個增強圖，增強單元36利用所述單個增強圖來增強立體視頻的兩個圖像的像素。增強單元36可接收用于立體視頻的右眼圖像及左眼圖像兩者的像素值(例如，色彩值)，且可使用單個增強圖增強右眼圖像及左眼圖像。在一些情況下，如果增強單元36應(yīng)用于右眼圖像的增強量不同于應(yīng)用于左眼圖像的增強量，那么增強型右眼及左眼圖像的同時檢視可不產(chǎn)生適當(dāng)3D效果。為了解決此，增強單元36可對右眼及左眼圖像兩者應(yīng)用相同的增強量。
[0076]在圖像24為用于立體視頻的圖像的一些實例中，后處理器22可僅使用深度信息來增強圖像24及立體視頻的對應(yīng)圖像(例如，右眼及左眼圖像兩者)。在這些實例中，感知圖30可并非必需的。然而，在替代實例中，后處理器22可在圖像24為用于立體視頻的圖像的實例中均勻地利用深度圖28及感知圖30兩者。在增強單元36利用深度圖28的值但并不利用感知圖30的值的實例中，增強圖可為如上文所描述可選擇或編程的值“ δ ”乘以深度圖28的值。在增強單元36利用來自深度圖28及感知圖30的兩個值的實例中，增強圖可包含圖像24的每一對應(yīng)像素的值“ β ”。
[0077]圖3是說明可實施本發(fā)明中描述的一或多個技術(shù)的增強單元36的實例的框圖。在圖3的實例中，增強單元36包含對比度增強單元38、銳度及模糊單元40以及色彩增強單元42。在其它實例中，增強單元36可包含比圖3中說明的那些單元少或多的單元。舉例來說，增強單元36可包含所有三個對比度增強單元38、銳度及模糊單元40以及色彩增強單元42、所述三者中的任兩者，或所述三者中的任一者。換句話說，增強單元36可應(yīng)用這些實例增強技術(shù)中的一或多者。舉例來說，增強單元36可利用所有三個對比度增強、銳化及模糊以及色彩增強、所述三者中的任兩者，或所述三者中的僅一者。增強單元36的輸出可為增強型圖像26的像素值。
[0078]對比度增強單元38可基于由增強圖單元34產(chǎn)生的增強圖相對于圖像24的第二部分改變圖像24的第一部分內(nèi)的像素的對比度。舉例來說，增強圖可向?qū)Ρ榷仍鰪妴卧?8指示與在背景中的對象的像素或緩慢移動或較不顯著的對象的像素相比較，增加緩慢移動或更顯著的在前景中的對象的像素的對比度。
[0079]銳度及模糊單元40可基于增強圖使像素銳化或模糊。舉例來說，銳度及模糊單元40可使前景像素銳化，使背景像素模糊，或基于增強圖既使前景像素銳化且又使背景像素模糊。如果基于增強圖感知到前景中的對象在運動中，那么銳度及模糊單元40可使前景像素模糊。
[0080]色彩增強單元42可基于增強圖改變像素的色彩值。舉例來說，人類將前景對象感知為色彩比背景對象“更暖”?；诖?，色彩增強單元42可增加前景像素的“發(fā)紅”，且降低背景像素的“發(fā)紅”。應(yīng)注意由對比度增強單元38、銳度及模糊單元40以及色彩增強單元42執(zhí)行的增強可按任何數(shù)目的次序連續(xù)執(zhí)行或并行執(zhí)行。
[0081]增強單元36可應(yīng)用用于上文所描述的立體視頻的圖像的實例增強技術(shù)中的任一者。在一些情境中，可存在更適合于立體視頻的圖像的其它增強技術(shù)。圖4為說明可實施本發(fā)明中描述的一或多個技術(shù)的增強單元36的另一實例的框圖。在圖像24為用于立體視頻的圖像中的一者時，圖4中說明的實例增強單元36可為增強單元36的合適實例。出于說明的目的，假定圖像24為左眼圖像。
[0082]如圖4中所說明，在增強單元36的此實例中，增強單元36包含濾波器44、乘法器46、求和器48及乘法器52。在一些實例中，增強單元36可用在圖4中由“A”表示的常量值50預(yù)編程?；蛘?，常量值50可為可選擇的。
[0083]濾波器44可接收圖像24 (例如，左眼圖像)的像素值，且對所述像素值進(jìn)行高通濾波?？纱嬖跒V波器44可對像素值進(jìn)行高通濾波的各種方式。作為一個實例，濾波器44可對像素值進(jìn)行低通濾波，且從原始像素值減去經(jīng)低通濾波的像素值，以產(chǎn)生高通濾波像素值。為了對像素值進(jìn)行低通濾波，作為一個實例，濾波器44可將像素值與5x5高斯核相乘。濾波器44的濾波技術(shù)是僅出于說明的目的而提供的，且不應(yīng)被視為限制性的。在另一實例中，可使用3x3或5x5核。在此實例中，可從圓形對稱高斯擴展函數(shù)在具有固定標(biāo)準(zhǔn)差的情況下導(dǎo)出這些維度的低通濾波器核。接著可將高通核簡單地計算為I。此外，可使低通核權(quán)重歸一化，以使得其量值在O與I之間?？偟膩碚f，本發(fā)明的方面可擴展到任何高通濾波技術(shù)。
[0084]乘法器46可從濾波器44及增強圖接收經(jīng)高通濾波像素值，且可將所述值在一起相乘。在用于立體視頻的增強圖是基于深度圖28及感知圖30的值的實例中，增強圖的值的一個實例可為圖像24的每一對應(yīng)像素的值“β ”，如上文所描述。在用于立體視頻的增強圖是基于深度圖28的值且并非基于感知圖30的值的實例中，增強圖的值的另一實例可為如上文所描述的值“ δ ”乘以深度圖28的值。
[0085]乘法器52還可接收圖像24的像素值且將像素值與常量值50相乘。常量值50可為可選擇或預(yù)編程的值。求和器48可從乘法器46及從乘法器52接收值，且將所述值加總在一起。求和的結(jié)果可為用于增強型圖像26的像素值。如圖4中所說明的增強單元36可執(zhí)行類似技術(shù)來增強立體視頻的對應(yīng)于圖像24的其它圖像(例如，右眼圖像)。
[0086]圖5是說明可實施本發(fā)明中描述的一或多個技術(shù)的深度圖處理單元32的實例的框圖。如上文所描述，在一些實例中，深度圖28的接收或產(chǎn)生的值可并不理想地適合于確定圖像24的哪些部分應(yīng)相對于其它部分得到增強。舉例來說，深度圖28可包含可使其不太能用于圖像增強的噪聲。深度圖處理單元32可對此噪聲進(jìn)行濾波，以及對深度圖28的值執(zhí)行其它處理以產(chǎn)生適合用于圖像增強的值。而且，如上文所描述，深度圖處理單元32在每一實例中可能并非必要的。
[0087]圖5中說明的實例深度圖處理單元32可包含中值濾波單元54、平滑單元56及伸展單元58。中值濾波單元54可通過應(yīng)用預(yù)編程或可選擇濾波器而移除接收的深度圖28中的脈沖噪聲。平滑單元56可通過用相鄰深度值的值代替像素的深度值而移除深度圖28中的“孔”。舉例來說，如果像素具有O深度值，但被具有較高深度值的像素包圍，那么所述像素可繼承較高深度值。這樣，構(gòu)成對象的像素將看起來具有類似深度，且所述對象將看起來更為連續(xù)。
[0088]伸展單元58可使用直方圖伸展或查找表映射來增加接收的深度圖值的動態(tài)范圍。舉例來說，接收的深度圖28可具有最大深度值17。作為一個實例，伸展單元58可將此值增加到255，從而進(jìn)一步增強圖像24的感知深度。應(yīng)注意，盡管圖5實例中說明的深度數(shù)據(jù)處理單元32經(jīng)描述為處理深度圖，但在其它實例中，后處理器22可包含感知圖處理單元，所述感知圖處理單元用以類似地處理感知圖30的值以使得圖像24內(nèi)的對象更為連續(xù)且彼此間更清晰地區(qū)分開。
[0089]圖6是說明根據(jù)本發(fā)明所描述的一或多個實例的實例技術(shù)的流程圖。應(yīng)注意圖6中說明的所有步驟不一定要在每一例子中執(zhí)行。一或多個步驟可并未被執(zhí)行，或可按不同于圖6中說明的次序的次序執(zhí)行。僅出于說明的目的，參考圖1到5。
[0090]一或多個處理單元可接收圖像￠0)。處理單元的實例包含視頻處理器14、GPU16、視頻編解碼器18、后處理器22及裝置10的CPU。所接收的圖像的實例可為一或多個處理單元從存儲器20接收以用于圖像增強的圖像24。
[0091 ] 一或多個處理單元可確定圖像的深度圖的深度圖值，所述深度圖指示圖像內(nèi)的像素的相對深度出2)。舉例來說，后處理器22可確定深度圖28的深度圖值。深度圖值可指示像素的相對深度，例如哪些像素在處于前景中的對象內(nèi)，及哪些像素處于在背景中的對象內(nèi)。
[0092]一或多個處理單元可確定圖像的感知圖的感知圖值(64)。舉例來說，感知圖值可以用于感知圖30。在一些實例中感知圖值可指示運動信息，所述運動信息可提供對象是相對快速移動還是相對緩慢移動的測量。在一些實例中，感知圖值可指示像素在圖像24內(nèi)的顯著程度。
[0093]一或多個處理單元可至少基于深度圖值及感知圖值使圖像的第一部分相對于圖像的第二部分增強出6)?？纱嬖谝换蚨鄠€處理單元可使第一部分相對于第二部分增強的各種方式。舉例來說，一或多個處理單元可增強第一部分，且不增強第二部分。作為另一實例，一或多個處理單元可使第二部分模糊，且不使第一部分模糊。作為又一實例，一或多個處理單元可增強第一部分且使第二部分模糊。
[0094]在一些實例中，一或多個處理單元可確定在圖像的前景中的對象的像素，及在所述圖像中的所述對象的運動信息。在這些實例中，一或多個處理單元可使在圖像的前景中且緩慢移動的對象的像素相對于在圖像的背景中的對象的像素及快速移動的對象的像素增強。
[0095]在一些實例中，一或多個處理單元可確定在圖像的前景中的對象的像素，及在所述圖像中的所述像素的顯著性信息。在這些實例中，一或多個處理單元可使更顯著且用于在圖像的前景中的對象的像素相對于較不顯著且用于在圖像的背景中的對象的像素增強。
[0096]圖7是說明可為可操作的以實施本發(fā)明的一或多個方面的裝置的另一實例的框圖。舉例來說，圖7更詳細(xì)地說明圖1的裝置10。出于簡潔的目的，僅詳細(xì)描述了在圖7中進(jìn)行說明但并未在圖1中進(jìn)行說明的裝置10的組件。
[0097]在圖7的實例中，裝置10可包含顯示器12、視頻處理器14、GPU 16、視頻編解碼器
18、存儲器20、后處理器22、收發(fā)器模塊68、用戶接口 70及處理器72。處理器72可為裝置10的中央處理單元(CPU)。盡管本發(fā)明將后處理器22描述為實施本發(fā)明中描述的實例技術(shù)，但對于裝置10的任何處理單元來說，實施所述實例技術(shù)是有可能的。處理單元可為處理器72、視頻處理器14、GPU16、視頻編解碼器18及后處理器22或圖1及9中并未說明的一些其它處理單元中的一或多者。
[0098]出于清晰性的目的，裝置10可包含圖7中未圖示的額外模塊或單元。舉例來說，裝置10可包含揚聲器及麥克風(fēng)(其中的任一者皆未在圖7中展示)，從而在裝置10為移動無線電話或揚聲器(其中裝置10為媒體播放器)的實例中實現(xiàn)電話通信。裝置10還可包含攝像機。此外，裝置10中所示的各種模塊及單元可并非裝置10的每一實例中所必需的。舉例來說，在裝置10為桌上型計算機或經(jīng)配備與外部用戶接口或顯示器介接的其它裝置的實例中，用戶接口 70及顯示器12可在裝置10的外部。
[0099]用戶接口 70的實例包含(但不限于)軌跡球、鼠標(biāo)、鍵盤及其它類型的輸入裝置。用戶接口 70也可為觸摸屏且可并入為顯示器12的一部分。收發(fā)器模塊68可包含電路以允許裝置10與另一裝置或網(wǎng)絡(luò)之間的無線或有線通信。收發(fā)器模塊68可包含調(diào)制器、解調(diào)器、放大器及用于有線或無線通信的其它此電路。
[0100]應(yīng)認(rèn)識到，取決于實例，本文中所描述的技術(shù)中的任一者的某些動作或事件可用不同順序執(zhí)行、可添加、合并或全部省略(例如，實踐所述技術(shù)并不需要所有的所描述動作或事件)。此外，在某些實例中，可例如經(jīng)由多線程處理、中斷處理或多個處理器同時而非依序執(zhí)行動作或事件。
[0101]在一或多個實例中，所描述功能可以硬件、軟件、固件或其任何組合來實施。如果以軟件來實施，那么可將所述功能作為一或多個指令或代碼存儲在計算機可讀媒體上。計算機可讀媒體可包含計算機數(shù)據(jù)存儲媒體。數(shù)據(jù)存儲媒體可以是可由一或多個計算機或一或多個處理器存取以檢索用于實施本發(fā)明中描述的技術(shù)的指令、代碼和/或數(shù)據(jù)結(jié)構(gòu)的任何可用的媒體。借助于實例而非限制，此類計算機可讀媒體可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、EEPROM、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置或可用來存儲呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計算機存取的任何其它媒體。如本文所使用，磁盤和光盤包含壓縮光盤(CD)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(DVD)、軟性磁盤和藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各者的組合也應(yīng)包含在計算機可讀媒體的范圍內(nèi)。
[0102]代碼可以由一或多個處理器執(zhí)行，所述一或多個處理器例如是一或多個數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列(FPGA)、或其它等效的集成或離散邏輯電路。因此，如本文中所使用的術(shù)語“處理器”可指上述結(jié)構(gòu)或適合于實施本文中所描述的技術(shù)的任一其它結(jié)構(gòu)中的任一者。而且，可將所述技術(shù)完全實施于一或多個電路或邏輯元件中。
[0103]本發(fā)明的技術(shù)可在廣泛多種裝置或設(shè)備中實施，包含無線手持機、集成電路(IC)或一組IC( S卩，芯片組)。本發(fā)明中描述各種組件、模塊或單元是為了強調(diào)經(jīng)配置以執(zhí)行所揭示的技術(shù)的裝置的功能方面，但未必需要通過不同硬件單元實現(xiàn)。確切地說，如上文所描述，各種單元可結(jié)合合適的軟件和/或固件組合在硬件單元中，或通過互操作硬件單元的集合來提供，所述硬件單元包含如上文所描述的一或多個處理器。
[0104]已描述各種實例。這些以及其它實例在所附權(quán)利要求書的范圍內(nèi)。
【權(quán)利要求】
1.一種用于圖像處理的方法，其包括: 接收圖像； 確定所述圖像的指示所述圖像內(nèi)的像素的相對深度的深度圖的深度圖值； 確定所述圖像的感知圖的感知圖值；及 至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強。
2.根據(jù)權(quán)利要求1所述的方法，其中使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強包括以下各者中的至少一者: 增強所述第一部分內(nèi)的像素，且不增強所述第二部分內(nèi)的像素； 使所述第二部分內(nèi)的所述像素模糊，且不使所述第一部分內(nèi)的所述像素模糊；及 增強所述第一部分內(nèi)的所述像素，且使所述第二部分內(nèi)的所述像素模糊。
3.根據(jù)權(quán)利要求1所述的方法， 其中確定所述深度圖的深度值包括確定哪些像素是用于所述圖像的前景中的對象， 其中確定所述感知圖的感知圖值包括確定所述圖像中的對象的運動信息，且其中使所述圖像的所述第一部分相對于所述第二部分增強包括使所述圖像的所述前景中且如所述運動信息所確定的正緩慢移動的對象的像素相對于所述圖像的背景中的對象的像素及如所述運動信息所確定的正快速移動的對象的像素增強。
4.根據(jù)權(quán)利要求1所述的方法， 其中確定所述深度圖的深度值包括確定哪些像素是用于所述圖像的前景中的對象，其中確定感知圖值包括確定所述圖像中的像素的顯著性信息，且其中使所述圖像的所述第一部分相對于所述第二部分增強包括使更顯著且用于所述圖像的所述前景中的對象的像素相對于較不顯著且用于所述圖像的背景中的對象的像素增強。
5.根據(jù)權(quán)利要求1所述的方法，其中所述感知圖包括指示所述圖像中的對象的透視速度的運動信息圖及指示所述圖像中的像素的顯著性的顯著性圖中的至少一者。
6.根據(jù)權(quán)利要求1所述的方法，其中所述圖像包括用于第一眼的立體視頻的第一圖像，所述方法進(jìn)一步包括: 接收用于第二眼的所述立體視頻的第二圖像，其中所述第一圖像及所述第二圖像的圖像內(nèi)容實質(zhì)上類似；及 至少基于用于所述第一圖像的所述深度圖值及用于所述第一圖像的所述感知圖值使所述第二圖像的第一部分相對于所述第二圖像的第二部分增強。
7.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 對所述深度圖值及所述感知圖值執(zhí)行加權(quán)總和以產(chǎn)生用于增強圖的增強圖值， 其中使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強包括基于所述增強圖值使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強。
8.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括以下各者中的至少一者: 對所述深度圖的所述深度值進(jìn)行濾波； 使所述深度圖的所述深度值平滑；及 直方圖伸展所述深度圖的所述深度值。
9.一種裝置，其包括: 存儲器，其經(jīng)配置以存儲圖像 '及 一或多個處理單元，其經(jīng)配置以: 接收所述圖像； 確定所述圖像的指示所述圖像內(nèi)的像素的相對深度的深度圖的深度圖值； 確定所述圖像的感知圖的感知圖值；及 至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強。
10.根據(jù)權(quán)利要求9所述的裝置，其中為了使所述圖像的所述第一部分相對于所述第二部分增強，所述一或多個處理單元經(jīng)配置以進(jìn)行以下各者中的至少一者: 增強所述第一部分內(nèi)的像素，且不增強所述第二部分內(nèi)的像素； 使所述第二部分內(nèi)的所述像素模糊，且不使所述第一部分內(nèi)的所述像素模糊；及 增強所述第一部分內(nèi)的所述像素，且使所述第二部分內(nèi)的所述像素模糊。
11.根據(jù)權(quán)利要求9所述的裝置，其中所述一或多個處理單元經(jīng)配置以確定哪些像素是用于所述圖像的前景中的對象，確定所述圖像中的所述對象的運動信息，及使所述圖像的所述前景中且如所述運動信息所確定的正緩慢移動的對象的像素相對于所述圖像的背景中的對象的像素及如所述運動信息所確定的正快速移動的對象的像素增強。
12.根據(jù)權(quán)利要求9所述的裝置，其中所述一或多個處理單元經(jīng)配置以確定哪些像素是用于所述圖像的前景中的對象，確定所述圖像中的像素的顯著性信息，及使更顯著且用于所述圖像的所述前景中的對象的像素相對于較不顯著且用于所述圖像的背景中的對象的像素增強。
13.根據(jù)權(quán)利要求9所述的裝置，其中所述感知圖包括指示所述圖像中的對象的透視速度的運動信息圖及指示所述圖像中的像素的顯著性的顯著性圖中的至少一者。
14.根據(jù)權(quán)利要求9所述的裝置，其中所述圖像包括用于第一眼的立體視頻的第一圖像，其中所述一或多個處理單元經(jīng)配置以: 接收用于第二眼的所述立體視頻的第二圖像，其中所述第一圖像及所述第二圖像的圖像內(nèi)容實質(zhì)上類似；及 至少基于用于所述第一圖像的所述深度圖值及用于所述第一圖像的所述感知圖值使所述第二圖像的第一部分相對于所述第二圖像的第二部分增強。
15.根據(jù)權(quán)利要求9所述的裝置，其中所述一或多個處理單元經(jīng)配置以: 對所述深度圖值及所述感知圖值執(zhí)行加權(quán)總和以產(chǎn)生用于增強圖的增強圖值；及 基于所述增強圖值使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強。
16.根據(jù)權(quán)利要求9所述的裝置，其中所述一或多個處理單元經(jīng)配置以進(jìn)行以下各者中的至少一者: 對所述深度圖的所述深度值進(jìn)行濾波； 使所述深度圖的所述深度值平滑；及 直方圖伸展所述深度圖的所述深度值。
17.一種裝置，其包括: 用于接收圖像的裝置； 用于確定所述圖像的指示所述圖像內(nèi)的像素的相對深度的深度圖的深度圖值的裝置； 用于確定所述圖像的感知圖的感知圖值的裝置；及 用于至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強的裝置。
18.根據(jù)權(quán)利要求17所述的裝置，其中所述用于使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強的裝置包括以下各者中的至少一者: 用于增強所述第一部分內(nèi)的像素且不增強所述第二部分內(nèi)的像素的裝置； 用于使所述第二部分內(nèi)的所述像素模糊且不使所述第一部分內(nèi)的所述像素模糊的裝置；及 用于增強所述第一部分內(nèi)的所述像素且使所述第二部分內(nèi)的所述像素模糊的裝置。
19.根據(jù)權(quán)利要求17所述的裝置， 其中所述用于確定所述深度圖的深度值的裝置包括用于確定哪些像素是用于所述圖像的前景中的對象的裝置， 其中所述用于確定所述感知圖的感知圖值的裝置包括用于確定所述圖像中的對象的運動信息的裝置，且 其中所述用于使所述圖像的所述第一部分相對于所述第二部分增強的裝置包括用于使所述圖像的所述前景中且如所述運動信息所確定的正緩慢移動的對象的像素相對于所述圖像的背景中的對象的像素及如所述運動信息所確定的正快速移動的對象的像素增強的裝置。
20.根據(jù)權(quán)利要求17所述的裝置， 其中所述用于確定所述深度圖的深度值的裝置包括用于確定哪些像素是用于所述圖像的前景中的對象的裝置， 其中所述用于確定感知圖值的裝置包括用于確定所述圖像中的像素的顯著性信息的裝置，且 其中所述用于使所述圖像的所述第一部分相對于所述第二部分增強的裝置包括用于使更顯著且用于所述圖像的所述前景中的對象的像素相對于較不顯著且用于所述圖像的背景中的對象的像素增強的裝置。
21.根據(jù)權(quán)利要求17所述的裝置，其中所述感知圖包括指示所述圖像中的對象的透視速度的運動信息圖及指示所述圖像中的像素的顯著性的顯著性圖中的至少一者。
22.根據(jù)權(quán)利要求17所述的裝置，其中所述圖像包括用于第一眼的立體視頻的第一圖像，所述裝置進(jìn)一步包括: 用于接收用于第二眼的所述立體視頻的第二圖像的裝置，其中所述第一圖像及所述第二圖像的圖像內(nèi)容實質(zhì)上類似；及 用于至少基于用于所述第一圖像的所述深度圖值及用于所述第一圖像的所述感知圖值使所述第二圖像的第一部分相對于所述第二圖像的第二部分增強的裝置。
23.根據(jù)權(quán)利要求17所述的裝置，其進(jìn)一步包括: 用于對所述深度圖值及所述感知圖值執(zhí)行加權(quán)總和以產(chǎn)生用于增強圖的增強圖值的裝置， 其中所述用于使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強的裝置包括用于基于所述增強圖值使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強的裝置。
24.根據(jù)權(quán)利要求17所述的裝置，其進(jìn)一步包括以下各者中的至少一者: 用于對所述深度圖的所述深度值進(jìn)行濾波的裝置； 用于使所述深度圖的所述深度值平滑的裝置；及 用于直方圖伸展所述深度圖的所述深度值的裝置。
25.—種包括指令的計算機可讀存儲媒體，所述指令致使一或多個處理器: 接收圖像； 確定所述圖像的指示所述圖像內(nèi)的像素的相對深度的深度圖的深度圖值； 確定所述圖像的感知圖的感知圖值；及 至少基于所述深度圖值及所述感知圖值使所述圖像的第一部分相對于所述圖像的第二部分增強。
26.根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其中所述用以使所述圖像的所述第一部分相對于所述第二部分增強的指令包括用以進(jìn)行以下各者中的至少一者的指令: 增強所述第一部分內(nèi)的像素，且不增強所述第二部分內(nèi)的像素； 使所述第二部分內(nèi)的所述像素模糊，且不使所述第一部分內(nèi)的所述像素模糊；及 增強所述第一部分內(nèi)的所述像素，且使所述第二部分內(nèi)的所述像素模糊。
27.根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體， 其中所述用以確定所述深度圖的深度值的指令包括用以確定哪些像素是用于所述圖像的前景中的對象的指令， 其中所述用以確定所述感知圖的感知圖值的指令包括用以確定所述圖像中的對象的運動信息的指令，且 其中所述用以使所述圖像的所述第一部分相對于所述第二部分增強的指令包括用以使所述圖像的所述前景中且如所述運動信息所確定的正緩慢移動的對象的像素相對于所述圖像的背景中的對象的像素及如所述運動信息所確定的正快速移動的對象的像素增強的指令。
28.根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體， 其中所述用以確定所述深度圖的深度值的指令包括用以確定哪些像素是用于所述圖像的前景中的對象的指令， 其中所述用以確定感知圖值的指令包括用以確定所述圖像中的像素的顯著性信息的指令，且 其中所述用以使所述圖像的所述第一部分相對于所述第二部分增強的指令包括用以使更顯著且用于所述圖像的所述前景中的對象的像素相對于較不顯著且用于所述圖像的背景中的對象的像素增強的指令。
29.根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其中所述感知圖包括指示所述圖像中的對象的透視速度的運動信息圖及指示所述圖像中的像素的顯著性的顯著性圖中的至少一者。
30.根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其中所述圖像包括用于第一眼的立體視頻的第一圖像，所述指令進(jìn)一步包括致使所述一或多個處理器進(jìn)行以下各者的指令:接收用于第二眼的所述立體視頻的第二圖像，其中所述第一圖像及所述第二圖像的圖像內(nèi)容實質(zhì)上類似；及 至少基于用于所述第一圖像的所述深度圖值及用于所述第一圖像的所述感知圖值使所述第二圖像的第一部分相對于所述第二圖像的第二部分增強。
31.根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其中所述指令進(jìn)一步包括致使所述一或多個處理器進(jìn)行以下各者的指令: 對所述深度圖值及所述感知圖值執(zhí)行加權(quán)總和以產(chǎn)生用于增強圖的增強圖值， 其中所述用以使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強的指令包括用以基于所述增強圖值使所述圖像的所述第一部分相對于所述圖像的所述第二部分增強的指令。
32.根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其進(jìn)一步包括致使所述一或多個處理器進(jìn)行以下各者中的至少一者的指令: 對所述深度圖的所述深度值進(jìn)行濾波； 使所述深度圖的所述深度值平滑；及 直方圖伸展所述深度圖的所述深度值。
【文檔編號】G06T5/40GK104246822SQ201380015702
【公開日】2014年12月24日 申請日期:2013年2月20日 優(yōu)先權(quán)日:2012年3月22日
【發(fā)明者】瓦蘇德弗·巴斯卡蘭 申請人:高通股份有限公司