專利名稱：圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法，特別是將三維實物體的二維圖像轉(zhuǎn)換為同一三維實物體的三維顯示的方法，其中，實物體各元素構(gòu)成，各元素由兩維圖像中的像素表示。
本發(fā)明的目的是提供一種新型簡單技術(shù)，它能使膠片或視頻影像中的彩色圖片轉(zhuǎn)換成三維的顯示，膠片或視頻影像中的彩色圖片是帶寬度和高度坐標(biāo)(x，y)的圖像平面中的兩維顯示，三維的顯示是帶寬度、高度和深度坐標(biāo)(x，y，z)的空間中的顯示。例如，這樣的三維顯示可用于分析在圖像表面中的形成元素(物體特征)，或在適于它的媒體中產(chǎn)生三維圖像/膠片。
膠片或視頻影像的彩色圖片是具有特定光譜組成的一個或多個光源發(fā)出光的攝像顯示，所述光源在給定的時間點上照射在像機圖像顯示中的物體。所有物體吸收一定顏色并反射其余顏色。物體顏色由物體反射的光的光譜分布決定。物體在膠片上的錄制取決于幾個因素，包括1)光源的光譜分布2)物體的光譜反射能力3)像機距離和空氣透視的吸收光譜4)攝像材料的顏色記錄能力為了獲得現(xiàn)存圖像中元素的包括深度參數(shù)z的空間坐標(biāo)，對圖像的顏色品質(zhì)進行了分析。顏色品質(zhì)是入射光源和反射物體的記錄。
光源的顏色品質(zhì)以色溫測量，并以開氏絕對溫度表示。在攝影一場景時，入射和從圖像表面中的物體反射的光通常使用色光計測量，使用適用于此(日光、人造光等)的帶顏色記錄能力的膠片。光源的色溫隨著與像機的距離而變化。
在彩色圖片中單個圖像點，即像素，在圖像顯示中顯示反射物體。圖像點的顏色品質(zhì)顯然是唯一地由三個可測量參數(shù)色調(diào)、飽和度和亮度決定。顏色品質(zhì)隨距像機的距離而改變。
色調(diào)是在電磁光譜，如牛頓(Newton)色譜和圓中顏色的位置。這通常由紅、綠和蘭(R、G、B)光譜顏色，或品紅、黃和青(M、Y、C)的相對構(gòu)成表示。又例如，根椐CIE1931標(biāo)準(zhǔn)向顏色坐標(biāo)轉(zhuǎn)換，在此對于給定亮度的所有可見顏色(即，波長為400-770nm)在一由光譜顏色和紫線限定的圖內(nèi)可賦予精確坐標(biāo)。
飽合度表示一顏色與另外顏色混合多少，并標(biāo)明為一百分數(shù)(％)。一個純光譜顏色被稱為飽合的(飽合度100％)，白色和灰色稱為非飽合的顏色(飽合度0％)。
亮度(對比度、光強度或光值)是相對于從絕對白色表面(100％反射)反射的光的入射量的測量值，從而標(biāo)為相對百分數(shù)(％)。
如果物體是相對于攝像機不同的距離正在移動的，從物體反射的光的記錄的顏色品質(zhì)是變化的。光源的色溫隨距離而變。單個點的色度(RGB)是固定的，但亮度和飽合度隨距離而變。高亮度、飽合顏色和低色溫發(fā)生在靠近圖像表面(短距離)，給出所謂的活性級(active level)。相應(yīng)地，低亮度、不飽合顏色和高色溫發(fā)生在遠離圖像表面(長距離)，給出所謂的鈍態(tài)級(passivelevel)。另外，拍攝在所有能級內(nèi)(活性/鈍態(tài))進行，在此，暖色對冷色活性較大。暖色是M、MY和Y。冷色是YC和C。
由于隨著離攝像機距離所述特性的變化，可以推論出，在一個相同場景中，每個顏色相對于圖像的其它顏色具有它自己的透視位置。這就是本發(fā)明的基礎(chǔ)。
根據(jù)本發(fā)明，提供一種圖像處理方法，特別是把三維實物體的二維圖像轉(zhuǎn)換成同一三維實物體的三維顯示，在此實物體由元素構(gòu)成，每個元素在兩維圖像中由像素顯示。所述方法的特征是，通過測量圖像中每個像素的顏色品質(zhì)，所述品質(zhì)是由色溫、飽合度和亮度值表達的，確定圖像表面中元素相對于一帶有特定色調(diào)的參考平面的距離d(z)，距離是在垂直于參考平面并以參考平面為原點的z軸上測量，結(jié)果是對于圖像中相關(guān)的像素顯示的每個元素的每個色溫或飽合度和對比度的值，獲得距離值dt、ds和dc，在元素和參考平面間的距離d(z)被確立為距離值dt、ds和dc的加權(quán)的平均值；d(z)＝1/3*(kt*dt+ks*ds+kc*dc)，kt、ks和kc構(gòu)成根據(jù)經(jīng)驗數(shù)據(jù)的加權(quán)因子，用于通過d(x)→X、d(y)→Y和d(z)→Z變換，根據(jù)確立的距離值d(z)和圖像平面中像素的x，y坐標(biāo)，確定像素表示的元素的實空間坐標(biāo)X、Y和Z，X、Y和Z是以參考平面為原點，三維坐標(biāo)系統(tǒng)中的元素坐標(biāo)。這個d(x)→X和d(y)→Y變換是借助于一計算比例，通過將平面中圖像點轉(zhuǎn)換為空間中點的已知程序獲得的，所述比例是像機圖像平面和空間中最近聚焦平面，在此處是參考平面之間的。變換d(z)-Z是通過應(yīng)用前透視結(jié)構(gòu)程序，從一標(biāo)準(zhǔn)化的透視圖讀出度量距離獲得的。
在一優(yōu)選實施例中，本發(fā)明包括，利用單個圖像的圖像序列，通過確定顏色品質(zhì)的參數(shù)值，建立一參考比例，每個單個圖像在不同的預(yù)定聚焦平面中描繪實物體，各聚焦平面間的顏色品質(zhì)參數(shù)的變化用于幾何測量比例的校準(zhǔn)，幾何測量比例是這樣的比例，它用度量(metric)的或透視的距離值來表示各測量的顏色品質(zhì)參數(shù)。最好幾何測量比例包括根據(jù)開氏絕對溫度色溫的參考和經(jīng)驗數(shù)據(jù)的幾何疊合非線性比例；顏色飽合的百分數(shù)；光強度/對比度的百分數(shù)，色溫向著在比例的共同端點或聚集點上的最大值增加，在此顏色飽合度和光強/對比度接近零。聚集的非線性比例的共同點是通過顏色品質(zhì)參數(shù)確定，所述顏色品質(zhì)參數(shù)是在最遠距離的聚焦平面上聚焦的圖像中一個或多個遙遠元素的，這元素的測量值或這些元素的平均測量值確定聚集點。在另一優(yōu)選實施例中，幾何測量比例插入相應(yīng)于兩維圖像的格式的前透視圖中，并且非線性比例對于相關(guān)圖像的顏色品質(zhì)校準(zhǔn)，以便確定參考平面和圖像一元素間的距離，或參考平面和形成元素的部分的一個或多個像素間的距離。
最后，根據(jù)本發(fā)明最好利用一以透視為基礎(chǔ)的距離值，或利用一度量距離值。
利用這個裝置，根據(jù)顏色品質(zhì)特性的經(jīng)驗和實驗知識對曝光的彩色攝影圖像材料進行分析，從而每個顏色獲得它的相對于圖像其它顏色的透視位置。結(jié)果，本發(fā)明提供了一種景埸所有顏色的三維參考數(shù)據(jù)庫，從所述數(shù)據(jù)庫可推出其他透視參數(shù)，如距離、空間坐標(biāo)等。
在本發(fā)明中處理存在在已曝光的攝影彩色圖片中的信息。如果攝影的材料是常規(guī)的模擬類型的，如彩色底片或正片/相紙或錄像帶，為了進一步處理，自然應(yīng)將材料轉(zhuǎn)換成數(shù)字格式，此時圖像表面中的每個點由像素顯示，即它特征的描繪，所述數(shù)字格式除了其它以外應(yīng)包括在圖像平面中的點的方向，以及和顏色品質(zhì)(色溫、色度、飽合度和對比度)有關(guān)的所希望的數(shù)據(jù)。利用也可處理本發(fā)明的，現(xiàn)有的圖像處理的編輯裝置，可以提供這樣的數(shù)字顯示。
在本發(fā)明的以下說明中，根據(jù)幾何方法利用一數(shù)學(xué)模型。這個實施例的目的是提供所述方法的最好可能的解釋。在實際中自然可在計算機中以另外的等同數(shù)學(xué)處理方法實施所述方法。
現(xiàn)參照本發(fā)明的圖示更詳細說明本發(fā)明。


圖1是用于校準(zhǔn)或參考數(shù)據(jù)的推斷的一移動物體的幾個圖像的示意圖；圖2是圖像中顯示的相對于參考平面的不同物體位置的圖示；圖3是幾何測量比例中使用數(shù)據(jù)的圖示；圖4是顯示圖像格式的前透視圖。
圖1示出在一特定景埸中沿Z軸(與C-B平行)移動的物體的序列圖像。由于離像機的聚焦平面距離增加，物體顏色品質(zhì)改變。物體聚焦平面的顯示具有顏色品質(zhì)參數(shù)，表達從一參考平面(如在序列中的第一圖像5’)到序列的最后圖像11’的物體距離，并記錄在不同聚焦平面間(在圖1中的實際圖像序列5’-11’)的物體運動，從而獲得離參考平面5’的物體距離的表達。聚焦平面的已知位置，即在每個聚焦平面5’-11’中的物體的與測量的顏色品質(zhì)參數(shù)相結(jié)合的已知距離值，從而如圖2所示，給出一參考比例，它可用于產(chǎn)生測量的顏色品質(zhì)參數(shù)的一幾何測量比例(距離比例)。
圖2示出帶透鏡的像機，以及參考平面(像機聚焦平面)是如何確定的。圖也示出實際位于與參考平面一特定距離上的不同物體。在本發(fā)明的方法中，根據(jù)在圖像中顯示物體的像素的顏色參數(shù)獲得物體的實際空間位置。在圖的底部，可見到幾何比例，在本發(fā)明的實施例中所述比例允許物體與參考平面間的距離根據(jù)物體圖像確定。
圖3示出一幾何測量比例，它帶有分別是色溫、色飽和度和光強度/對比度的幾何疊合非線性比例。幾何測量比例將是分析同一景場中任意元素的工具。測量比例呈一直角三角形ABC’形，它描述相應(yīng)圖1的圖像景場的深度范圍。沿側(cè)邊上有根據(jù)參考和經(jīng)驗數(shù)據(jù)確立的，關(guān)于顏色品質(zhì)特征的比例。能在圖3所示的前透視中看到的這個幾何測量比例，是本發(fā)明方法的這個實施例的主要工具。
圖4示出一矩形ADEF，它表示膠片/視頻圖像格式。圖4中的點C描繪每個聚焦平面的中心點，稱為焦點，它是向前通過在圖1所示各圖像向景場中心觀察的，并且表示出圖3中的幾何比例，被插在右手下面的象限中。圖4可根據(jù)一比例變換成度量系統(tǒng)，所述比例是根據(jù)一已知程序計算的。然后度量值存儲在它的整個表面和外形中。
圖4被稱為一前透視，是從外側(cè)向一透視進行精確計算的人工設(shè)計時的建筑程序中已知的。在本發(fā)明的這實施例中，這能夠以相反次序使用，在一由內(nèi)向外翻的透視中，通過在圖4內(nèi)自動讀出圖3(從而圖3也變成度量比例)，以獲得圖像中實物體元素(物體)的精確的度量距離數(shù)據(jù)。
根據(jù)實施例的方法是以參照圖1、2、3和4說明的程序開始，建立和校準(zhǔn)被使用的工具。首先，用不同的比例建立圖3中的幾何測量比例。在它的具有角A、B、C的直角三角形的幾何形式中建立圖3。沿側(cè)邊有與本發(fā)明原理相應(yīng)，即在拍照的場景中顏色品質(zhì)的分析，建立的不同比例。圖4中插入幾何比例，并通過測量的數(shù)據(jù)校準(zhǔn)。這必須對每個應(yīng)處理的場景進行。
然后可進行提供透視-距離參數(shù)的程序。例如，向場景中的物體/元素提供度量距離值。
沿圖3的ABC’中的斜邊AC’標(biāo)出膠片序列的圖像次序。通過沿著直到直角邊AB的垂直結(jié)構(gòu)線，每個圖像的聚焦平面也隱含地隨之而來。在中間區(qū)(圖3所示的三角形內(nèi))反射單個圖像的顏色品質(zhì)。
沿圖3的ABC’中的直角邊AB，建立帶有色調(diào)分布的比例，例如用納米波長λ在RGB格式中表示的。這個比例是非線性的，是根據(jù)參考數(shù)據(jù)用一定顏色的偏置(bias)分析產(chǎn)生的，最暖的前面顏色位于B點，其余的顏色處于RGB次序，冷的較遠的顏色向著A點。沿AB線上的所有這些顏色屬于顏色的飽合部分，它們與場景透視中色溫的最低值相應(yīng)。在處理中，不同顏色的分布形成相對原始參考數(shù)據(jù)的偏差，并通過調(diào)整這樣的經(jīng)驗數(shù)據(jù)，對不同場景達到比例的精確校準(zhǔn)的或然率提高。
沿圖3中三角形ABC’的直角邊BC’，建立三個比例，其中比例1是非線性的，示出開氏絕對溫度的色溫，最低在B點，向著C’提高；比例2是非線性的，示出顏色飽合度的百分數(shù)，最高在B點，向著C’降低；以及比例3是非線性的，示出亮度或?qū)Ρ榷鹊陌俜謹?shù)，最高在B’點，向著C’降低。
比例3在BC線上的B’點上有它的開始點(對比度100％)。B’點通常是通過從角B向線AC’引一垂線形成，從而形成交點5’。然后從點5’引一垂線到線BC’，從而形成B’點。
在圖3中的垂線4標(biāo)出在圖1中以5’表示的最近的聚焦平面。
在建立了圖3中的包含原始參考數(shù)據(jù)的比例后，整個的幾何比例插入到所示的圖4中，或在右手下象限，或在左手下象限。帶有插入的圖3的幾何比例的圖4被置于一埸景中圖像的頂部。根據(jù)測量的數(shù)據(jù)對所述埸景的幾何比例的大小進行校準(zhǔn)。比例1，色溫比例，提供進一步處理的指南。它是非線性，根據(jù)參考數(shù)據(jù)用一定顏色偏置制出，參見(cf.)沿直角邊AB的RGB比例。比例1在端點校準(zhǔn)，如果有經(jīng)驗數(shù)據(jù)也利用經(jīng)驗數(shù)據(jù)。
比例1的端點應(yīng)在明顯與比例2和3疊合的C’點中。在稱為聚點的C’點上，可測量的對比度和顏色飽合度向0％收斂。相應(yīng)地，在比例1上的C’點是場景中可能的最高可測到的色溫。聚集點C’是在圖像系列中最后記錄的聚焦平面/點中，在相關(guān)的三個比例上，標(biāo)出這些測量的值并選擇一平均值形成的，或利用在場景中記錄的最遠元素/物體中的測量值。如果經(jīng)驗數(shù)據(jù)表明不同情況，可選擇一給出端點C’的權(quán)加平均值的算法。
色溫的比例1是相對于顏色飽合度和對比度沿AB線的圖的飽合顏色比例的轉(zhuǎn)換。這意味著在三角形比例內(nèi)的區(qū)域反射場景中所有顏色的透視變化。因此，場景中每個圖像中的每個點由它的顏色、飽合度和亮度顯示。在空間中相對于像機位置的點的方向被明確限定，并通過適當(dāng)處理精確的空間坐標(biāo)(x、y、z)可推導(dǎo)出。
如上所述在以插入前透視的校準(zhǔn)幾何比例(圖3)的形式建立工具后(圖4)，便跟隨一個場景的圖像實際處理，即提供透視距離參數(shù)的程序。工具是在場景單個圖像上，并由已知程序獲得希望的參數(shù)。
如果需要離圖像中物體或元素的度量距離，可進行以下程序。
附隨(incidental)物體/元素的圖像表面的希望點，經(jīng)由結(jié)構(gòu)線變換到主透視線AC。從線AC上的這些點向BC’線引垂線到交點上，參見圖3中的聚焦平面/點11’、10’和9’。從與主透視線AC的交點也引一線到距離點B，以及繼續(xù)在它的延長線上到與例邊AF的交點，或在ADEF外延長。從像機到圖像表面中的點的度量距離與從點A(到圖像表面中的點)的距離成取決于上述比例的正比(或如果模板插在圖4中的左下象限內(nèi)與點F的距離成正比)。
如果需要隨附于圖像中物體/元素的或在物體和元素間的度量高度，通過向CD線引結(jié)構(gòu)線進行相似程序，然后在與CD線的交點到AD線的線中讀取度量值。
如果需要與圖像中物體相應(yīng)的度量高度或在物體與元素間的度量高度以確定外形，可進行相似的已知程序。
通過先確定空間坐標(biāo)(x、y、z)，即圖像場景的全部或部分的兩維顯示轉(zhuǎn)換到三維顯示，并隨后就周邊、外形、顏色等的變化進行形式元素分析，在物體的特征中可利用這些度量參數(shù)。
如果需要相對于已知度量距離的物體/元素的顏色品質(zhì)，可水相反次序進行上述程序。能夠用這樣的透視-距離顏色參數(shù)建立一放大的透視，并處理兩維圖像材料，使得顯示出三維圖像，并可通過已知的影像數(shù)據(jù)技術(shù)觀看，如在高分辨率的屏幕上(虛擬3D電視)。
通過將本發(fā)明方法的上述實施例和其它可能的實施例結(jié)合，可推導(dǎo)出能用于產(chǎn)生實三維電視(實3D電視)的數(shù)據(jù)，以便在與它相適的媒體上觀看。
權(quán)利要求
1.一種圖像處理方法，特別是把三維實物體的二維圖像轉(zhuǎn)換成同一三維實物體的三維顯示，在此實物體由元素構(gòu)成，每個元素在兩維圖像中由像素顯示，其特征在于，通過測量圖像中每個像素的顏色品質(zhì)，所述品質(zhì)是由色溫、飽合度和對比度值表達的，確定圖像表面中元素相對于一帶有特定色調(diào)的參考平面的距離d(z)，距離是在垂直于參考平面的z軸上測量并以參考平面為原點，結(jié)果是對于圖像中相關(guān)的像素顯示的每個元素的每個色溫、飽合度或?qū)Ρ榷鹊闹?，獲得距離值dt、ds和dc，在元素和參考平面間的距離d(z)被確立為距離值dt、ds和dc的加權(quán)的平均值；d(z)＝1/3*(kt*dt+ks*ds+kc*dc)，其中kt、ks和kc構(gòu)成根據(jù)經(jīng)驗數(shù)據(jù)的加權(quán)因子，用于通過d(x)→X、d(y)→Y和d(z)→Z變換，根據(jù)確立的距離值d(z)和圖像平面中像素的x，y坐標(biāo)，確定像素顯示的元素的實空間坐標(biāo)X、Y和Z，X、Y和Z是以參考平面為原點，三維坐標(biāo)系統(tǒng)中的元素坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，這個d(x)→X和d(y)→Y變換是借助于一計算比例，通過將平面中圖像點轉(zhuǎn)換為空間中點的已知程序獲得的，所述比例是像機圖像平面和構(gòu)成參考平面的空間中最近聚焦平面之間的。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，變換d(z)→Z是通過將前透視結(jié)構(gòu)程序遞歸應(yīng)用，從一標(biāo)準(zhǔn)化的透視圖讀出度量(metric)距離獲得的。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在適于與前透視結(jié)構(gòu)結(jié)合使用的幾何顏色模型中設(shè)置經(jīng)驗數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用單個圖像的圖像序列，通過確定顏色品質(zhì)的參數(shù)值，建立一參考比例，每個單個圖像在不同的預(yù)定聚焦平面中描繪物體，各聚焦平面間的顏色品質(zhì)參數(shù)的變化用于幾何測量比例的校準(zhǔn)，幾何測量比例是這樣的比例，它用度量的或透視的距離值來表示各測量的顏色品質(zhì)參數(shù)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，幾何測量比例包括根據(jù)開氏絕對溫度色溫的參考和經(jīng)驗數(shù)據(jù)的幾何疊合非線性比例；顏色飽合的百分數(shù)；光強度/對比度的百分數(shù)，色溫向著在比例的共同端點或聚集點上的最大值增加，在此顏色飽合度和光強/對比度接近零。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，聚集的非線性比例的共同點是通過顏色品質(zhì)參數(shù)確定，所述顏色品質(zhì)參數(shù)是在最遠距離的聚焦平面上聚焦的圖像中一個或多個遙遠元素的，所述元素的測量值或這些元素的平均測量值確定聚集點。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，幾何測量比例插入相應(yīng)于兩維圖像的格式的前透視圖中，并且非線性比例對于相關(guān)圖像的物體校準(zhǔn)，以便確定參考平面和圖像一元素間的距離，或參考平面和形成元素的部分的一個或多個像素間的距離。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，利用一以透視為基礎(chǔ)的距離值。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，利用一度量距離值。
全文摘要
一種圖像處理方法,特別是把三維實物體的二維圖像轉(zhuǎn)換成同一三維實物體的三維顯示,在此實物體由元素構(gòu)成,每個元素在兩維圖像中由像素顯示。圖像的顏色就其顏色品質(zhì)進行分析,并利用一色溫比例、顏色飽合度比例和對比度比例定位單個顏色點在空間的方向,結(jié)果每個顏色獲得相對圖像其它顏色的透視位置。
文檔編號G06T15/10GK1261969SQ98806694
公開日2000年8月2日 申請日期1998年5月6日 優(yōu)先權(quán)日1997年5月6日
發(fā)明者芬恩·霍伊戴爾 申請人:迪曼森斯公司