專利名稱：基于圖像構建的視頻顯示系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像和視頻顯示器，更特別地涉及用作靜態(tài)圖像和/或視頻監(jiān)視器的平板顯示器，以及在這些顯示設備上生成和驅動圖像和視頻數據的方法。
背景技術：
諸如等離子體顯示器、液晶顯示器(IXD)和發(fā)光二極管(LED)顯示器的平板顯示器通常使用像素尋址方案，其中通過列和行選擇信號單獨地對像素尋址。通常，對于布置為 M行和N列的MXN像素或者圖片元素，將存在M個行選擇線和N個數據線。當特定行被選擇時，N個數據線被加電到所需的像素電壓或電流以將圖像信息加載到顯示元件。在通常的有源矩陣型LCD實施例中，該信息是對特定像素唯一的電容器中存儲的電壓(參見圖1)。 當行和列信號解除選擇(de-select)像素時，圖像信息被保留在電容器上。在無源矩陣型 LCD實施例中，行和列被布置為電極帶，其構成按彼此垂直的方式取向的頂部和底部金屬平面(參見圖2)。單個或多個行線和列線是用一個或多個交叉點選擇的，所述交叉點定義具有瞬時視頻信息的像素。在該情況中，行或列信號將具有與像素信息成比例的施加電壓。在發(fā)光二極管顯示器類型實施例中，信息是通過像素LED的瞬時電流，其導致與施加電流成比例的光發(fā)射?？梢赃M行LED陣列的有源和無源矩陣驅動。在所提及的所有這些顯示器類型中，像素分辨率等于或小于像素的幾何維度(dimension).例如，在VGA分辨率屏幕中，對于每個顏色分量，我們需要實施至少640X400單獨像素。每個視頻幀的傳輸到顯示布置的總信息則被給出為MXNX3X位寬度，其中因子3來自構成圖像的三種基本顏色，即紅色、 綠色和藍色，并且位寬度是根據像素值的最大分辨率確定的。用于商用顯示系統(tǒng)的最常見的像素值分辨率是每種顏色8位。例如，對于VGA分辨率顯示器，每個圖像幀的需要傳輸的總信息將是640X400X3X8，等于6兆位，所述圖像幀以特定幀刷新速率進行刷新。該幀刷新速率可以是對、30、50、60等幀每秒(fps)。屏幕的較快速率能力通常用于消除運動模糊，其中在商用設備中可以找到速率為120或MO fps的實施方式。對于灰度圖像，由于僅需要亮度信息，因此信息內容減少到1/3。
視屏和靜態(tài)圖像通常被轉換為用于存儲和傳送的壓縮形式，諸如MPEG4、H. 264, JPEG 2000等格式和系統(tǒng)。圖像壓縮方法是基于數據的正交函數分解、數據冗余性和人眼對空間特征的特定敏感特性。常見的圖像壓縮方案牽涉使用如JPEG或運動JPEG中的直接余弦變換、或者離散Walsh變換。視頻解碼器用于將作為一系列正交基函數系數的壓縮圖像信息轉換為行和列像素信息以產生圖像信息，該圖像信息將例如是以如VGA分辨率顯示器中的6兆位每幀。然而，從信息內容的觀點來看，由于圖像最初已被處理為壓縮形式，因此大部分該視頻信息實際上是冗余的，或者具有人眼對其不敏感的信息內容。所有這些技術與軟件或數字處理領域中的顯示系統(tǒng)的部件相關，并且包括MXN像素的實際光學顯示器的結構不會因用于視頻格式的任何技術而改變，除了像素數目和幀速率以外。
空間光調制器(SLM)是改變二維中的透射光束或反射光束的幅度或相位或者此兩者的設備，由此將圖像編碼為另外的均勻光照。圖像像素可以通過電氣或光學尋址手段而寫入設備。一種簡單形式的空間光調制器是運動圖片膠片，其中圖像通過光化學手段被編碼在涂銀的膠片上。IXD系統(tǒng)也是特定種類的SLM，使得每個像素信息通過電氣手段被編碼到具體位置，并且通常在整個顯示區(qū)域上均勻的背光光源的空間輪廓(profile)因像素的透射率而改變。
本領域中的現有技術通常解決眼前問題的單個部分。例如，圖像壓縮和解壓縮技術未被直接應用在顯示元件上，而是僅應用于顯示用數據的傳送、存儲以及圖像翻新和準備(如Go，2000中的)?？梢詫嵤┎⑷肟臻g光調制的系統(tǒng)，其中像素被打開和關閉以透射背光從而具有各種程度的調制(例如，如May，2000中的多行選擇)，或者背光和圖像調制兩者都可以用于增強圖像的分辨率(如Margulis，2007和Ward，2008中的)。在尤其后者的應用及其相關公開中，沒有一種圖像構建方法在合成圖像幀時并入時間維度，這是本公開的主題。由此表示在逐幀的基礎上逐像素地顯示圖像的常規(guī)方法的這兩種系統(tǒng)未受益于接口的固有簡化以及數據吞吐量一其被嵌入到傳送視頻所用的圖像壓縮過程中。


圖1描繪了在有源矩陣平板顯示器具體地是有源矩陣液晶顯示器中使用的像素選擇方法。通過行和列選擇信號對每個像素進行尋址，通過所述選擇信號中的任一個來施加視頻信息。對于MXN像素系統(tǒng)，存在M個行選擇信號以及N個數據線。數據(視頻信息) 由數模轉換器生成，并且電壓存儲在每個像素的電容器中。電壓被施加到由諸如ITO(氧化銦鎢)的透明電極組成的兩個平行板。
圖2描繪了在無源矩陣LCD顯示器中采用的像素選擇方法。存在M個行選擇信號和N個數據信號。信號定時確定了哪個位置將具有施加在兩個電極之間的瞬時電壓，其間的液晶分子將對該瞬時電壓作出反應。
圖3示出了以針對4X4像素分組(grouping)的掩模圖案(mask pattern)的形式的、空間光調制器將實施的基本函數。
圖4示出了以針對8 X 8像素分組的掩模圖案的形式的、空間光調制器將實施的基本函數。
圖5示出了針對2X2像素分組的掩蔽圖案(masking pattern)，其中未使用數據壓縮。由于一次打開一個像素，因此光效率減少到1/4。
圖6示出了采用粗糙像素化視頻源、空間光調制器、用于圖像處理的計算設備、定時生成器塊的視頻顯示系統(tǒng)的框圖。
圖7示出了用于諸如有源矩陣LCD顯示器的具有長切換速度的粗糙顯示器類型的時隙優(yōu)化方法。反映確定分量的位準確性的量化矩陣，可以使每個相應時隙分配與所需的精度成比例，使得較大時隙被分配給需要最高精度的Dtltl分量并且較小時隙被分配給其他分量。
圖8示出了使用LED陣列作為光源、使用無源矩陣IXD作為SLM的顯示系統(tǒng)的細節(jié)。
圖9示出了針對4X4像素分組的用作空間光調制器的無源矩陣IXD的操作細節(jié)。 頂部透明電極(例如，ΙΤ0)層150由4個選擇線wert(i) 155驅動，并且底部ITO層160 由4個選擇線vhorz (i) 165驅動。為了實施不同的基函數Wc 至W33，不同的電壓被施加到 155 和 165。
圖10示出了針對4X4像素分組的施加到用作空間光調制器的無源矩陣IXD 的電壓波形、以及對應的空間基函數Wij。對于每個后繼幀，電壓圖案可以是先前幀的逆 (inverse)。
本發(fā)明可以具有來自附圖中描繪的具體實施例的各種修改和替選形式。這些附圖不把本發(fā)明限于所公開的具體實施例。本發(fā)明涵蓋下面要求保護的所有修改、改進和替選實施方式。
具體實施例方式本發(fā)明的一個方面是一種顯示方法和系統(tǒng)，其通過在使用以高幀速率操作的粗糙像素化光陣列生成的子幀中連續(xù)地顯示多個圖像分量來構建圖像和/或視頻；以及一種空間光調制器，其在相同幀速率下以比底層光源更精細的分辨率產生與正交基函數相關的特定圖案。圖像構建系統(tǒng)利用使用圖像壓縮分量，由此通過使用空間光調制器對視頻圖像編碼而使這些分量分布在時域中。在每個幀中，待驅動的源圖像被首先一起分組為由nx X ny 像素組成的特定尺寸。例如，我們可以將圖像分為4X4或8X8像素、4X1、8X1或者任何其他任意組尺寸的矩形分組，只要我們可以在一個或兩個維度中生成正交基函數。1X1的情況沒有任何壓縮益處，并且對應于常規(guī)顯示系統(tǒng)中采用的方法。分組尺寸受限于幀速率， 幀速率受限于這里描述的分量的切換速度和圖像壓縮比。每個圖像分組，或者從此處起將被稱為的宏像素，被分解為與一系列所述正交圖像基函數成比例的分量(正交分解)。這些圖像函數是在顯示硬件中使用空間光調制器實施的，所述空間光調制器調制底層光的幅度和/或相位，使得其具有正交圖像基函數的所期望的空間輪廓。圖3中示出了針對4X4像素分組的圖像基函數，而圖4中示出了針對8X8像素分組的圖像基函數。所示出的特定基函數還被統(tǒng)稱為Walsh函數。諸如直接余弦變換基函數的其他基函數也可以用于基函數圖案，只要空間光調制器可以產生余弦狀幅度輪廓。對于4X1或8X1分組，基函數是每個圖的第一行中的那些基函數。在這些圖中，黑色區(qū)域表示0%的透射率或者阻擋光，而白色區(qū)域表示理想100%的透射率。注意，該定義不同于圖像壓縮技術中使用的定義，因為基函數的值為-1或+1，而非0或+1。這里描述了一種校正該差異的方法。對于首先的4X4像素分組，存在16個基函數，而對于后面的8 X 8像素分組，存在64個基函數。將基函數表示為 wuv(x, y)，其中u和ν是基函數索引，并且X，y是跨越像素分組維度的區(qū)域的直角坐標。將 fc(x, y)表示為針對顏色分量的二維圖像信息。這里，上標c表示顏色紅色、綠色或藍色(原色)。該方法對于灰度圖像是相同的，在該情況中f(x，y)將與圖像的亮度成比例。使用空間光調制器的宏像素區(qū)域的快速掩蔽還可以用于如圖5中表明的無損圖像構建，這從數據速率的觀點來看將是不太高效的并且與基于壓縮的方法相比具有對空間光調制器切換速度更嚴格的限制。在該情況中，由于宏像素分組當中的僅一個像素通過掩蔽圖案被透射，因此該實施方式的功率效率非常低。對于2X2像素分組，最大平均透射率是25%，而對于4X4 和8X8分組，最大平均透射率更小，原因在于一次透射宏像素中的16個或64個像素當中的一個像素。對于基于圖像分解的方案，對于與Dcitl相比是小的Duv的非零空間分量，透射光在一半像素中被阻擋。像素的平均透射率值總是大于75% (未考慮到諸如偏振器損失的其他實施損失)。
任何圖像可以被分解為分量，這些分量可以通過使圖像數據與像圖3和圖4中示出的那些的基函數積分來獲得。這兩個圖中的左上部的函數是單值函數W,當我們向右前進時，函數將在水平方向上變化，對于較高索引編號Ov具有較快變化。較高索引與具有較高空間頻率的圖像函數相關。相似地，基函數在豎直方向上的變化由具有索引UO的豎直空間頻率分量描述。其他基函數分量可以是對角分量，諸如Wii以及非對角分量Wij，其中i和 j是非零并且不同。對于作為空間離散函數的視頻像素陣列，該積分具有求和的形式。將圖像分量表示為Dcuv，其中u和ν是兩個維度中的基函數索引，并且c表示顏色分量紅色、綠色或藍色。隨后根據下式確定Dcuv
本發(fā)明是基于式1的逆變換，即圖像fix，y)可以被構建為DcuJwuv的求和。

權利要求
1.一種視頻系統(tǒng)，包括視頻顯示器，具有MXN粗糙像素的陣列，其中每個粗糙像素包括用于顏色操作的原色光源的集合或者用于灰度操作的白色光源，其中每個光源的強度是可控的；空間光調制器，與所述MXN粗糙像素的陣列第一視頻顯示對準以生成用于阻擋或通過光的空間掩蔽圖案，所述空間掩蔽圖案具有比粗糙像素尺寸精細P倍的分辨率；圖像處理器，被耦合為接收將顯示的視頻信息、控制所述空間光調制器以生成所述空間掩蔽圖案并且生成圖像分量以為所述MXN粗糙像素的每一個中的一個或多個光源提供對應于由所述空間光調制器生成的所述空間掩蔽圖案的驅動信息；由此，得到的視頻系統(tǒng)能夠以高達比MXN粗糙像素精細ρ倍的分辨率顯示圖像。
2.根據權利要求1所述的視頻系統(tǒng)，其中所述視頻系統(tǒng)能夠顯示視頻和靜態(tài)圖像。
3.根據權利要求1所述的視頻系統(tǒng)，其中所述圖形處理器針對每個粗糙像素將視頻信息分解為與一系列正交圖像基函數成比例的分量，并且所述空間光調制器生成用于圖像重建的與正交基函數對應的空間掩蔽圖案。
4.根據權利要求3所述的視頻系統(tǒng)，其中對于灰度圖像，所述圖像處理器針對每個粗糙像素計算與圖像f^x，y)相關的圖像分量Duv，其中u和ν是針對基函數的索引并且χ和 y是粗糙像素的坐標，所述圖像處理器通過使用對應于^uv(χ, y)的空間光調制器來施加光強度掩模，其中W = (w+1)/2并且w是正交基函數，并且所述圖像處理器為針對每個粗糙像素的光源提供與Duv成比例的驅動信息。
5.根據權利要求4所述的視頻系統(tǒng)，其中對于為負的圖像分量Duv，使用相應掩蔽圖案的逆。
6.根據權利要求3所述的視頻系統(tǒng)，其中對于彩色圖像，所述圖像處理器針對每個粗糙像素的每種顏色計算與圖像fix，y)相關的圖像分量Dcuv，其中u和ν是針對基函數的索引并且χ和y是粗糙像素的坐標，所述圖像處理器通過使用對應于^uv(χ，y)的空間光調制器來施加光強度掩模，其中^ = (w+1)/2并且w是正交基函數，并且所述圖像處理器為每個粗糙像素的相應顏色光源提供與Duv成比例的驅動信息。
7.根據權利要求6所述的視頻系統(tǒng)，其中對于為負的圖像分量Dcuv，使用相應掩蔽圖案的逆。
8.根據權利要求1所述的視頻系統(tǒng)，其中所述光源是原色固態(tài)光源。
9.根據權利要求8所述的視頻系統(tǒng)，其中所述原色固態(tài)光源是紅色、綠色和藍色LED光源。
10.根據權利要求1所述的視頻系統(tǒng)，其中所述空間光調制器是有源或無源矩陣液晶空間光調制器。
11.根據權利要求3所述的視頻系統(tǒng)，其中所述空間光調制器被配置為針對所有粗糙像素同時生成相同的空間掩蔽圖案。
12.根據權利要求3所述的視頻系統(tǒng)，其中所述空間光調制器被配置為針對多個粗糙像素的陣列同時生成相同的空間掩蔽圖案，所述多個粗糙像素的陣列是所述MXN粗糙像素的陣列的子陣列，由此所述空間掩蔽圖案的定時對于任何一個子陣列內的每個粗糙像素將是同時的，但是不同的子陣列內的每個圖案的定時能夠是不同的。
13.根據權利要求3所述的視頻系統(tǒng)，其中所述空間光調制器被配置為針對每個粗糙像素分立地生成空間掩蔽圖案，由此針對不同的粗糙像素的每個圖案的定時能夠是不同的。
14.根據權利要求3所述的視頻系統(tǒng)，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中所述圖像處理器向具有低階空間頻率分量的空間掩蔽圖案分配較多時間并且向具有高階空間頻率分量的空間掩蔽圖案分配較少時間。
15.根據權利要求3所述的視頻系統(tǒng)，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中所述圖像處理器被配置為至少一次忽略至少一個高階空間掩蔽圖案。
16.根據權利要求15所述的視頻系統(tǒng)，其中當忽略至少一個高階空間掩蔽圖案時，所述圖像處理器向至少一個未被忽略的空間掩蔽圖案分配較多時間。
17.根據權利要求15所述的視頻系統(tǒng)，其中將被忽略的至少一個高階空間掩蔽圖案由所述圖像處理器響應于針對該空間掩蔽圖案的圖像分量來選擇。
18.根據權利要求1所述的視頻系統(tǒng)，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中所述圖像處理器被配置為通過使用對應于所述低階空間頻率分量的可用圖像系數的子集來減小施加到所述視頻系統(tǒng)的視頻數據速率。
19.根據權利要求12所述的視頻系統(tǒng)，其中通過使用特定閾值在所述圖像處理器中動態(tài)地確定針對顯示器上的任何給定粗糙像素的將用于重現圖像的圖像分量的數目，其中當顯示子陣列時，所述特定閾值以下的分量被放棄。
20.根據權利要求3所述的視頻系統(tǒng)，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中用由量化矩陣確定的位精度來描述針對每個粗糙像素的圖像分量，所述量化矩陣向與低階掩蔽圖案關聯的圖像分量分配較多位并且向與高階掩蔽圖案關聯的圖像分量分配較少位，由此減小總視頻數據速率。
21.—種顯示視頻圖像的方法，包括將視頻圖像分為MXN粗糙像素的陣列，其中每個粗糙像素包括用于顏色操作的原色光源的集合或者用于灰度操作的白色光源；提供空間光調制器，其與所述MXN粗糙像素的陣列第一視頻顯示對準以生成用于阻擋或通過光的空間掩蔽圖案，所述空間掩蔽圖案具有比粗糙像素尺寸精細P倍的分辨率；控制所述空間光調制器以生成所述空間掩蔽圖案并且生成圖像分量以為所述MXN粗糙像素的每一個中的一個或多個光源提供對應于由所述空間光調制器生成的所述空間掩蔽圖案的驅動信息；由此，得到的視頻圖像以高達比MXN粗糙像素精細ρ倍的分辨率顯示。
22.根據權利要求21所述的方法，其中針對每個粗糙像素將視頻信息分解為與一系列正交圖像基函數成比例的分量，并且控制所述空間光調制器以生成用于圖像重建的與正交基函數對應的空間掩蔽圖案。
23.根據權利要求22所述的方法，其中對于灰度圖像，針對每個粗糙像素計算與圖像 fc(x, y)相關的圖像分量Duv，其中u和ν是針對基函數的索引并且χ和y是粗糙像素的坐標，通過使用對應于Zuv(x，y)的空間光調制器來施加光強度掩模，其中^ = (w+l)/2并且 w是正交基函數，并且與Duv成比例的驅動信息被施加到針對每個粗糙像素的光源，被提供給所述光源。
24.根據權利要求23所述的方法，其中對于為負的圖像分量Duv，使用相應掩蔽圖案的逆。
25.根據權利要求22所述的方法，其中對于彩色圖像，針對每個粗糙像素的每種顏色計算與圖像f (x, y)相關的圖像分量Dcuv，其中u和ν是針對基函數的索引并且χ和y是粗糙像素的坐標，通過使用對應于^uv(x，y)的空間光調制器來施加光強度掩模，其中^ = (w+1) /2并且w是正交基函數，并且將針對每個粗糙像素的相應顏色光源的與Duv成比例的驅動信息提供給光源。
26.根據權利要求25所述的方法，其中對于為負的圖像分量Duv，使用相應掩蔽圖案的逆。
27.根據權利要求21所述的方法，其中所述光源是原色固態(tài)光源。
28.根據權利要求27所述的方法，其中所述原色固態(tài)光源是紅色、綠色和藍色LED光源。
29.根據權利要求21所述的方法，其中使用有源或無源矩陣液晶空間光調制器。
30.根據權利要求22所述的方法，其中針對所有粗糙像素同時生成相同的空間掩蔽圖案。
31.根據權利要求22所述的方法，其中針對多個粗糙像素的陣列同時生成相同的空間掩蔽圖案，所述多個粗糙像素的陣列是所述MXN粗糙像素的陣列的子陣列，由此所述空間掩蔽圖案的定時對于任何一個子陣列內的每個粗糙像素將是同時的，但是不同的子陣列內的每個圖案的定時是不同的。
32.根據權利要求22所述的方法，其中所述空間光調制器被配置為針對每個粗糙像素分立地生成空間掩蔽圖案，由此針對不同的粗糙像素的每個圖案的定時能夠是不同的。
33.根據權利要求22所述的方法，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中向具有低階空間頻率分量的空間掩蔽圖案分配較多時間并且向具有高階空間頻率分量的空間掩蔽圖案分配較少時間。
34.根據權利要求22所述的方法，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中至少一次忽略至少一個高階空間掩蔽圖案。
35.根據權利要求34所述的方法，其中當忽略至少一個高階空間掩蔽圖案時，向至少一個未被忽略的空間掩蔽圖案分配較多時間。
36.根據權利要求34所述的方法，其中將被忽略的至少一個高階空間掩蔽圖案是響應于針對該空間掩蔽圖案的圖像分量而選擇的。
37.根據權利要求22所述的方法，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中通過使用對應于所述低階空間頻率分量的可用圖像系數的子集來減小視頻數據速率。
38.根據權利要求31所述的方法，其中通過使用特定閾值動態(tài)地確定針對任何給定粗糙像素的將用于重現圖像的圖像分量的數目，其中當顯示子陣列時，所述特定閾值以下的分量被放棄。
39.根據權利要求21所述的方法，其中所述空間掩蔽圖案具有低階和高階空間頻率分量，并且其中用由量化矩陣確定的位精度來描述針對每個粗糙像素的圖像分量，所述量化矩陣向與低階掩蔽圖案關聯的圖像分量分配較多位，并且向與高階掩蔽圖案關聯的圖像分量分配較少位，由此減小總視頻數據速率。
全文摘要
公開了一種基于通過對圖像的正交基函數分量進行顯示來構建圖像的視頻顯示系統(tǒng)。該系統(tǒng)包括同時對準和驅動的兩個顯示分量。第一顯示分量是粗糙像素陣列。第二顯示分量是空間光調制器，其幾何細節(jié)比第一像素陣列更精細?？傮w系統(tǒng)通過使用正交圖像基函數分量的時域顯示以最小的圖像質量損失重建待以第二顯示分量的較精細幾何細節(jié)顯示的預期視頻。得到的系統(tǒng)具有顯著減少的互連復雜性和有源電路元件數目，并且如果使用有損圖像重建方案，還需要顯著較小的視頻數據速率。這里描述了利用這些概念和方法來驅動顯示器的具有基于LED的顯示器和基于LCD的空間光調制器的實施例。
文檔編號G09G3/34GK102187383SQ200980134961
公開日2011年9月14日 申請日期2009年7月9日 優(yōu)先權日2008年7月9日
發(fā)明者S·E·甘塞 申請人:奧斯坦多科技公司