感知無損失的顯示功率降低的制作方法
【專利摘要】用于視頻的片段在有效負載單元中與擴展的網(wǎng)絡(luò)抽象層單元(NALU)頭或補充增強信息(SEI)消息一起被發(fā)送，其中在擴展的NALU頭或SEI消息之內(nèi)嵌入了顯示適配信息，顯示適配信息可以在顯示各個片段的期間被用來控制顯示亮度從而降低功耗。所述顯示適配信息至少包括最大像素亮度，其可以用于針對液晶顯示器縮放像素亮度并且相應(yīng)地降低背光，或用于針對OLED顯示器調(diào)整電源電壓。M像素亮度被設(shè)置為使像素直方圖的一部分飽和而不給觀看者帶來感知損失的等級，導(dǎo)致進一步減少功耗。
【專利說明】感知無損失的顯示功率降低

【技術(shù)領(lǐng)域】
[0001] 本公開一般涉及無線移動通信設(shè)備中的能耗的降低，并且更具體地，涉及用于顯 示在無線移動通信設(shè)備上的視頻內(nèi)容的基于內(nèi)容的顯示適配控制。

【背景技術(shù)】
[0002] 近年來，移動設(shè)備上的顯示分辨率已經(jīng)顯著地提高，達到720p或甚至更高的超級 液晶顯示器（LCD)或OLED有機發(fā)光二極管（OLED)顯示器正成為或者不久將成為用于智能 電話和平板的主流的程度。然而，這樣的高顯示分辨率要求多得多的能量用于渲染，特別是 對于高頻幀緩沖和顯示面板刷新必不可少的視頻。
[0003] 對于IXD顯示器，功耗是用于OLED顯示器的背光亮度等級的單調(diào)函數(shù)，功耗被電 源電壓和顯示內(nèi)容本身所控制。雖然已經(jīng)在一些移動設(shè)備上實現(xiàn)了亮度控制，但是那些控 制一般必須在發(fā)出新任務(wù)以前被調(diào)整，即，在開始視頻的重放之前。例如，亮度可以在觀看 視頻之前被設(shè)置為100%、50%或甚至25%，但是不能在不中斷視頻的重放的情況下被動 態(tài)地改變。此外，因為功耗是由用于OLED顯示器的電源電壓和輸入圖像來確定，所以當前 的實施方式不提供用于適配電壓的機制。


【發(fā)明內(nèi)容】

[0004] 技術(shù)問題
[0005] 因此，本領(lǐng)域中需要通過允許根據(jù)正在顯示的內(nèi)容來適配IXD顯示器背光亮度或 OLED電源電壓、節(jié)省顯著的顯示能量，以改進移動設(shè)備顯示器。技術(shù)方案
[0006] 本發(fā)明提供一種方法，包括：接收用于視頻片段的數(shù)據(jù)，所接收到的數(shù)據(jù)包括用于 適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一個或多個 顯示參數(shù)的顯示適配信息，以及在視頻片段的顯示期間，基于來自擴展頭的顯示適配信息 來適配用于顯示器的至少一個顯示參數(shù)。
[0007] 本發(fā)明提供一種系統(tǒng)，包括：接收器，被配置為接收用于視頻片段的數(shù)據(jù)，所述接 收到的數(shù)據(jù)包括用于適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度 和功耗的一個或多個顯示參數(shù)的顯示適配信息；以及處理器，被配置為在視頻片段的顯示 期間，基于來自擴展頭的顯示適配信息來適配用于顯示器的至少一個顯示參數(shù)。
[0008] 本發(fā)明提供一種方法，包括：格式化用于視頻片段的數(shù)據(jù)以用于發(fā)送，所述格式化 的數(shù)據(jù)包括用于適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功 耗的一個或多個顯示參數(shù)的顯示適配信息，以及一個或多個有效負載單元，其包含用于顯 示視頻片段的數(shù)據(jù)。
[0009] 本發(fā)明提供一種系統(tǒng)，包括：視頻服務(wù)器，被配置為格式化用于視頻片段的數(shù)據(jù)以 用于發(fā)送，所述格式化的數(shù)據(jù)包括用于適配在無感知損失地使顯示像素的一部分飽和的同 時影響顯示亮度和功耗的一個或多個顯示參數(shù)的顯示適配信息，以及一個或多個有效負載 單元，其包含用于顯示視頻片段的數(shù)據(jù)。
[0010] 本發(fā)明提供一種方法，包括：接收用于視頻片段的數(shù)據(jù)以用于發(fā)送，所述數(shù)據(jù)包括 用于適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一個或 多個顯示參數(shù)的顯示適配信息，以及一個或多個有效負載單元，其包含用于顯示視頻片段 的數(shù)據(jù)；以及向其上將顯示視頻片段的設(shè)備發(fā)送所述數(shù)據(jù)。

【專利附圖】

【附圖說明】
[0011] 為了更全面地理解本公開及其優(yōu)點，現(xiàn)結(jié)合附圖參考以下描述，附圖中相同的附 圖標記代表相同的部件：
[0012] 圖Ia是示出根據(jù)本公開的一個或多個實施例的網(wǎng)絡(luò)的高級圖，在該網(wǎng)絡(luò)中，設(shè)備 可以實現(xiàn)動態(tài)的、基于內(nèi)容的顯示功率降低。
[0013] 圖Ib是根據(jù)本公開一個實施例的來自圖1的網(wǎng)絡(luò)的無線設(shè)備的前視圖，在該無線 設(shè)備中，可以實現(xiàn)動態(tài)的、基于內(nèi)容的顯示功率降低。
[0014] 圖Ic是圖Ib中示出的無線設(shè)備的功能組件的高級框圖。
[0015] 圖2是示出根據(jù)本公開的一個實施例的NALU頭的示圖，在該NALU頭之內(nèi)可以嵌 入用于動態(tài)的、基于內(nèi)容的顯示功率降低的顯示適配信息；
[0016] 圖3a、圖3b和圖3c不出根據(jù)本公開一個實施例的，使用用于動態(tài)的、基于內(nèi)容的 顯示功率降低的嵌入在擴展的NALU頭或SEI消息之內(nèi)的顯示適配信息的感知無損失、飽和 的、保持亮度的顯示適配；
[0017] 圖4是示出根據(jù)本公開一個實施例的，動態(tài)的、基于內(nèi)容的、感知無損失的、飽和 的顯示適配以及相應(yīng)的功率降低的多個顯示幀；
[0018] 圖5a、圖5b、圖5c和圖5d示出根據(jù)本公開一個實施例的，用于動態(tài)的、基于內(nèi)容 的、感知無損失的、飽和的顯示適配以及相應(yīng)的功率降低的，在視頻數(shù)據(jù)比特流之內(nèi)的擴展 的NALU頭或SEI消息的插入；
[0019] 圖6是根據(jù)本公開一個實施例的，用于動態(tài)的、基于內(nèi)容的、感知無損失的、飽和 的顯示適配以及相應(yīng)的功率降低的，使用擴展的NALU頭或SEI消息插入來編碼視頻的過程 的高級流程圖；以及
[0020] 圖7是根據(jù)本公開一個實施例的、基于為了動態(tài)的、基于內(nèi)容的、感知無損失的、 飽和的顯示適配以及相應(yīng)的功率降低而被插入的擴展的NALU頭或SEI消息的視頻解碼和 顯示的過程的高級流程圖。

【具體實施方式】
[0021] 用于視頻的片段在有效負載單元中與擴展的網(wǎng)絡(luò)抽象層單元（NALU)頭或補充增 強信息（SEI)消息一起被發(fā)送，其中在擴展的NALU頭或SEI消息之內(nèi)嵌入了顯示適配信 息（display adaptation information),顯示適配信息可以在顯示各個片段的期間被用 來控制顯示亮度從而降低功耗。所述顯示適配信息至少包括最大像素亮度，其可以用于 針對液晶顯示器縮放像素亮度并且相應(yīng)地降低背光，或用于針對OLED顯示器調(diào)整電源電 壓。最大像素亮度被設(shè)置為使像素直方圖的一部分飽和而不給觀看者帶來感知損失的等級 (level)，導(dǎo)致進一步減少功耗。
[0022]在下面做出詳細說明之前，有益的是闡明遍及此專利文件使用的特定詞匯和短 語的定義：術(shù)語"包括"和"包含"以及其派生詞指的是包含而不限制；術(shù)語"或"是包括性 的，指的是和/或；短語"與...相關(guān)聯(lián)"和"與之相關(guān)聯(lián)"以及其派生詞，可以指包括、包括 在...之內(nèi)、與...互連、包含、被包含在...之內(nèi)、連接到或與...連接、耦接到或與...耦 接、可與...通信、與...合作、交織、并列、鄰近于、綁定到或與...綁定、具有、具有...的 性質(zhì)、等等；并且術(shù)語"控制器"指的是控制至少一個操作的任一設(shè)備、系統(tǒng)或其部分，其中 這種設(shè)備、系統(tǒng)或部分可以實現(xiàn)在可通過固件或軟件編程的硬件中。應(yīng)該注意到，與任一特 定控制器相關(guān)聯(lián)的功能可以是集中式或分布式的，無論是在本地還是遠程地。貫穿這個專 利文檔提供了特定詞匯和短語的定義，本領(lǐng)域普通技術(shù)人員應(yīng)當理解，即便不是在大多數(shù) 情況下，那么在許多情況下，這些定義也適用于現(xiàn)有的以及將來的對這些所定義的詞匯和 短語的使用。
[0023] 下面討論的圖1到圖7以及在本專利文檔中用來描述本公開原理的各種實施例僅 僅是示例性的，不應(yīng)以任何方式被解釋為限制本公開范圍。本領(lǐng)域技術(shù)人員將理解，可以在 任何適當布置的無線通信系統(tǒng)中實現(xiàn)本公開的原理。
[0024] 用于顯示適配的元數(shù)據(jù)可以作為擴展的NALU (網(wǎng)絡(luò)抽象層單元）頭被嵌入到視頻 流中。
[0025] 在本公開中，使用擴展的網(wǎng)絡(luò)抽象層（NAL)單元（NALU)頭或補充增強信息（SEI) 消息將顯示適配嵌入在視頻內(nèi)容信息之內(nèi)，然后擴展的NALU頭或SEI消息在解碼器中被解 析以便幫助顯示功率降低。對于LCD顯示器，調(diào)整顯示亮度，而對于OLED顯示器，適配顯示 器電源電壓?？梢栽谝曨l編碼期間在編碼器中得到此擴展的NALU頭或SEI消息中的元素。
[0026] 根據(jù)下層的應(yīng)用和硬件能力，通過使能可以被逐幀、逐圖像組（GOP)、逐場景、以至 逐時間間隔插入到流中的NALU頭或SEI消息來定義顯示適配。通過和幀級別解決方案比 較，基于G0P、場景、或時間間隔的方法要求更少的用于消息插入的開銷。對于不支持高頻顯 示適配（例如，對于30赫茲（Hz)的視頻，每33毫秒（ms))的處理器，基于G0P、場景、或時 間間隔的方案比基于幀的解決方案更好。但是，本文主要使用幀級別解決方案來說明構(gòu)思。
[0027] 圖Ia是示出根據(jù)本公開的一個或多個實施例的網(wǎng)絡(luò)的高級圖，在該網(wǎng)絡(luò)之內(nèi)設(shè) 備可以實現(xiàn)動態(tài)的、基于內(nèi)容的顯示適配和相應(yīng)的功率降低。網(wǎng)絡(luò)1〇〇包括內(nèi)容編碼器數(shù) 據(jù)處理系統(tǒng)101，其包括編碼器控制器，編碼控制器被配置為根據(jù)現(xiàn)有的程序、但是如下面 進一步詳細描述地那樣利用嵌入在（多個）NALU頭之內(nèi)的顯示適配信息來編碼視頻內(nèi)容。 內(nèi)容編碼器101可通信地耦接到（或者可替換地結(jié)合到）向用戶設(shè)備傳遞視頻內(nèi)容的內(nèi)容 服務(wù)器數(shù)據(jù)處理系統(tǒng)102。內(nèi)容服務(wù)器102通過諸如因特網(wǎng)103和包括基站（BS) 104的無線 通信系統(tǒng)的通信網(wǎng)耦接，用于將視頻內(nèi)容傳遞到還可被稱為用戶設(shè)備（UE)或移動站（MS) 的用戶設(shè)備105。如上所述，用戶設(shè)備105可以是具有除了無線語音通信之外、至少包括播 放視頻內(nèi)容的功能的"智能"電話或平板設(shè)備?？商鎿Q地，用戶設(shè)備105可以是膝上型計算 機、或具有LCD或OLED顯示器并且在視頻的重放期間受益于動態(tài)的、基于內(nèi)容的顯示功率 降低的其他無線設(shè)備，諸如至少在典型操作的時段期間主要是電池供電的任一設(shè)備。
[0028] 圖Ib是根據(jù)本公開一個實施例的、來自圖1的網(wǎng)絡(luò)的無線設(shè)備的前視圖，在該無 線設(shè)備之內(nèi)可以實現(xiàn)動態(tài)的、基于內(nèi)容的顯示適配和相應(yīng)的功率降低，并且圖Ib是該無線 設(shè)備的功能組件的高級框圖。用戶設(shè)備105是移動電話并且包括背光式LCD(其包括圖IB 中描繪的可選的照度源）或OLED顯示器106。耦接到顯示器106的處理器107控制顯示在 顯示器上的內(nèi)容。用戶設(shè)備105之內(nèi)的處理器107及其他組件通過可以由外部電源（未示 出）再充電的電池（也未示出）供電，或者可替換地可以通過外部電源供電。耦接到處理 器107的存儲器108可以存儲或緩沖用于通過處理器107的重放和顯示器106上的顯示的 視頻內(nèi)容，并且還可以存儲用于執(zhí)行這樣的視頻重放的視頻播放器應(yīng)用（或"應(yīng)用"）109。 可以經(jīng)由連接到天線111的收發(fā)器110在視頻內(nèi)容的重放的同時（例如，在時間上重疊） 或在重放之前接收正在播放的視頻內(nèi)容。如上所述，可以在無線通信中從基站104接收視 頻內(nèi)容。在示例性實施例中，由移動設(shè)備105接收以用于在其中的重放和顯示器106上的 顯示的視頻內(nèi)容包括嵌入在（多個）NALU頭或（多個）SEI消息之內(nèi)的顯示適配信息。顯 示適配信息被處理器107用來設(shè)置用于可選的照度源和顯示器106的顯示控件112。
[0029] 圖2是示出根據(jù)本公開的一個實施例的NALU頭的示圖，在該NALU頭之內(nèi)可以嵌 入用于動態(tài)的、基于內(nèi)容的顯示適配以及相應(yīng)的功率降低的顯示適配信息。典型地，數(shù)據(jù)位 流200之內(nèi)的NALU 201、202由兩個部分組成，包括NALU頭203和有效負載204。NALU頭 203將在解碼器中被解析以用于適當?shù)慕獯a操作。例如，如果NALU頭203指示當前的NALU 201是序列參數(shù)集（SPS)，則SPS解析和初始化將被激活可替換地，如果NALU 203頭指示當 前的NALU 202是片NALU，則片解碼被啟動。
[0030] 在H. 264高級視頻編碼（AVC，也稱為運動圖像專家組4部分10或"MPEG-4部分 10"）及其擴展中，每個NALU 210、202是字節(jié)對齊的。NALU頭202是1字節(jié)或4字節(jié)，這取 決于NALU是常規(guī)單層分組還是可伸縮分組（scalable packet)。如下面的表I中所示，通過 擴展到支持嵌入與顯示適配有關(guān)的信息來修改NALU頭的當前定義。表I示出用于H. 264/ AVC及其擴展的擴展的NALU語法和相應(yīng)的解析過程（在表I中以斜體字示出的修改）：
[0031] 表 1
[0032] [表 1]
[0033]

【權(quán)利要求】
1. 一種方法，包括： 接收用于視頻片段的數(shù)據(jù)，所接收到的數(shù)據(jù)包括用于適配在無感知損失地使顯示像素 的一部分飽和的同時影響顯示亮度和功耗的一個或多個顯示參數(shù)的顯示適配信息，以及 在視頻片段的顯示期間，基于來自擴展頭的顯示適配信息來適配用于顯示器的至少一 個顯示參數(shù)。
2. 如權(quán)利要求1所述的方法，其中所述顯示適配信息包括以下各項中的一個或多個： 與顯示像素的一部分的無感知損失的飽和相對應(yīng)的最大像素亮度值、最小像素亮度值、以 及像素亮度直方圖步長值。
3. 如權(quán)利要求2所述的方法，還包括： 在視頻片段在背光式液晶顯示器（LCD)上的顯示期間，基于來自顯示適配信息的最大 像素亮度值縮放用于像素的像素亮度和背光亮度。
4. 如權(quán)利要求3所述的方法，還包括： 在視頻片段在背光式IXD上的顯示期間，基于來自顯示適配信息的最大像素亮度值和 最小像素亮度值縮放像素亮度和背光亮度。
5. 如權(quán)利要求4所述的方法，還包括： 在視頻片段在IXD上的顯示期間，基于來自顯示適配信息的最大像素亮度值、最小像 素亮度值、和像素直方圖步長值縮放像素亮度和背光亮度。
6. 如權(quán)利要求2所述的方法，還包括： 在視頻片段在有機發(fā)光二極管（OLED)顯示器上的顯示期間，基于來自顯示適配信息 的最大像素亮度值縮放用于像素的像素亮度和電源電壓。
7. 一種系統(tǒng)，包括： 接收器，被配置為接收用于視頻片段的數(shù)據(jù)，所接收到的數(shù)據(jù)包括用于適配在無感知 損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一個或多個顯示參數(shù)的顯 示適配信息；以及 處理器，被配置為在視頻片段的顯示期間，基于來自擴展頭的顯示適配信息來適配用 于顯示器的至少一個顯示參數(shù)。
8. 如權(quán)利要求7所述的系統(tǒng)，其中所述顯示適配信息包括以下各項中的一個或多個： 與顯示像素的一部分的無感知損失的飽和相對應(yīng)的最大像素亮度值、最小像素亮度值、以 及像素亮度直方圖步長值。
9. 如權(quán)利要求8所述的系統(tǒng)，其中所述處理器被配置為在視頻片段在背光式液晶顯示 器（LCD)上的顯示期間，基于來自顯示適配信息的最大像素亮度值縮放用于像素的像素亮 度和背光亮度。
10. 如權(quán)利要求9所述的系統(tǒng)，其中所述處理器被配置為在視頻片段在背光式LCD上的 顯示期間，基于來自顯示適配信息的最大像素亮度值和最小像素亮度值縮放像素亮度和背 光亮度。
11. 如權(quán)利要求10所述的系統(tǒng)，其中所述處理器被配置為在視頻片段在IXD上的顯示 期間，基于來自顯示適配信息的最大像素亮度值、最小像素亮度值、和像素直方圖步長值來 縮放像素亮度和背光亮度。
12. 如權(quán)利要求8所述的系統(tǒng)，其中所述處理器被配置為在視頻片段在有機發(fā)光二極 管（OLED)顯示器上的顯示期間，基于來自顯示適配信息的最大像素亮度值縮放用于像素 的像素亮度和電源電壓。
13. -種包括如權(quán)利要求7所述的系統(tǒng)的移動通信設(shè)備，其中所述系統(tǒng)被配置為在無 線通信中從基站接收用于視頻片段的數(shù)據(jù)。
14. 一種包括如權(quán)利要求7所述的系統(tǒng)的平板，其中所述系統(tǒng)被配置為在無線通信中 從網(wǎng)絡(luò)接收用于視頻片段的數(shù)據(jù)。
15. -種方法，包括： 格式化用于視頻片段的數(shù)據(jù)以用于發(fā)送，所述格式化的數(shù)據(jù)包括 用于適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一 個或多個顯示參數(shù)的顯示適配信息，以及 一個或多個有效負載單元，包含用于顯示視頻片段的數(shù)據(jù)。
16. -種系統(tǒng)，包括： 視頻服務(wù)器，被配置為格式化用于視頻片段的數(shù)據(jù)以用于發(fā)送，所述格式化的數(shù)據(jù)包 括 用于適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一 個或多個顯示參數(shù)的顯示適配信息，以及 一個或多個有效負載單元，包含用于顯示視頻片段的數(shù)據(jù)。
17. -種方法，包括： 接收用于視頻片段的數(shù)據(jù)以用于發(fā)送，所述數(shù)據(jù)包括 用于適配在無感知損失地使顯示像素的一部分飽和的同時影響顯示亮度和功耗的一 個或多個顯示參數(shù)的顯示適配信息，和一個或多個有效負載單元，其包含用于顯示視頻片 段的數(shù)據(jù)；以及 向其上將顯示視頻片段的設(shè)備發(fā)送該數(shù)據(jù)。
18. 如權(quán)利要求1所述的方法、權(quán)利要求7所述的系統(tǒng)、權(quán)利要求15所述的方法、權(quán)利 要求16所述的系統(tǒng)、或權(quán)利要求17所述的方法，其中所述顯示適配信息包括以下各項中的 一個或多個：與顯示像素的一部分的無感知損失的飽和相對應(yīng)的最大像素亮度值、最小像 素亮度值、以及像素亮度直方圖步長值。
19. 如權(quán)利要求1所述的方法、權(quán)利要求7所述的系統(tǒng)、權(quán)利要求15所述的方法、權(quán)利 要求16所述的系統(tǒng)、或權(quán)利要求17所述的方法，其中所述顯示適配信息包括指示從保持亮 度的縮放方法、保持對比度的縮放方法、以及感知無損失的縮放方法中選擇的縮放方法的 標識符。
【文檔編號】G06F1/32GK104246867SQ201380020842
【公開日】2014年12月24日 申請日期:2013年4月19日 優(yōu)先權(quán)日:2012年4月20日
【發(fā)明者】董勉, 馬展, F.C.A.費爾南德斯, 黃承吾 申請人:三星電子株式會社