專利名稱：基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，特別是涉及一種基于一幅標(biāo)準(zhǔn)圖像生成各 視角下樣本圖像的方法。
背景技術(shù)：
樣本圖像生成是一種圖像變換方法，它是模式識(shí)別、機(jī)器學(xué)習(xí)領(lǐng)域中的有 監(jiān)督學(xué)習(xí)方法的重要組成部分。樣本圖像生成的目的是對(duì)一幅或幾幅在真實(shí)情 況下對(duì)目標(biāo)物體拍攝得到的標(biāo)準(zhǔn)圖像(通常是從目標(biāo)物體的正面拍攝的圖像) 進(jìn)行一系列的圖像變換，進(jìn)而生成各種不同的樣本圖像，這些樣本圖像與攝像 機(jī)在各種不同視角下針對(duì)目標(biāo)物體進(jìn)行拍攝所得到的真實(shí)圖像具有一定的相似 度，因此可以用它們來(lái)模擬這些拍攝的真實(shí)圖像。有效的樣本圖像生成方法可 以生成與真實(shí)圖像相似度很高的樣本圖像，基于此進(jìn)行的有監(jiān)督學(xué)習(xí)過(guò)程可以 為模式識(shí)別、機(jī)器學(xué)習(xí)提供更準(zhǔn)確的與目標(biāo)物體相關(guān)的先驗(yàn)知識(shí)儲(chǔ)備，最終獲 得更高的物體識(shí)別成功率。例如，在空間戰(zhàn)場(chǎng)中，為了實(shí)現(xiàn)通過(guò)衛(wèi)星對(duì)地面的 某一 目標(biāo)物體進(jìn)行識(shí)別，首先需要獲取大量的與該目標(biāo)物體相關(guān)的圖像數(shù)據(jù)， 以此作為基礎(chǔ)來(lái)形成與該目標(biāo)物體相關(guān)的先驗(yàn)知識(shí)數(shù)據(jù)庫(kù)，進(jìn)而基于這一數(shù)據(jù) 庫(kù)來(lái)實(shí)現(xiàn)衛(wèi)星對(duì)該目標(biāo)物體的識(shí)別。然而，衛(wèi)星較快的運(yùn)動(dòng)速度以及有限的視 野造成了在一個(gè)運(yùn)動(dòng)周期內(nèi)通常只能對(duì)目標(biāo)拍攝有限的幾幅甚至一幅圖像，并 且衛(wèi)星運(yùn)動(dòng)的長(zhǎng)周期性導(dǎo)致了需要經(jīng)過(guò)非常漫長(zhǎng)的時(shí)間才能采集到足夠多的圖 像數(shù)據(jù)。由此延長(zhǎng)了從準(zhǔn)備先驗(yàn)知識(shí)數(shù)據(jù)庫(kù)到最終實(shí)現(xiàn)對(duì)目標(biāo)物體的成功識(shí)別 的時(shí)間，失去了快速識(shí)別目標(biāo)物體的先機(jī)。為了在短時(shí)間內(nèi)獲得關(guān)于目標(biāo)物體 的大量的圖像數(shù)據(jù)，因此需要在僅有的一幅或幾幅圖像的基礎(chǔ)上利用樣本圖像 生成方法來(lái)生成各種視角下的關(guān)于目標(biāo)物體的圖像，由此僅經(jīng)過(guò)幾個(gè)甚至一個(gè) 運(yùn)動(dòng)周期后便可以形成充分的先驗(yàn)知識(shí)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)了在短時(shí)間內(nèi)完成數(shù)據(jù)儲(chǔ) 備并成功識(shí)別目標(biāo)物體目的。
由于樣本圖像生成的重要性，人們已經(jīng)開(kāi)始對(duì)其展開(kāi)研究，并提出了-些方法(具體樣本圖像生成方法參見(jiàn)L印etit, V.， Lagger， R， Fua, P.: Randomized trees for real-time keypoint recognition. In: Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 2. IEEE Computer Society Washington, DC， USA (2005) 775-781)。
已有的樣本圖像生成方法主要通過(guò)以下方式實(shí)現(xiàn) 設(shè)A表示一個(gè)3X3的矩陣，并且該矩陣是以下四個(gè)參數(shù)的函數(shù) 義2)。 A的具體表示形式如下
cosz'一sirn'0_、00—
sin/cos/0，/0),s =00
001001
對(duì)于一幅大小為AO<M的標(biāo)準(zhǔn)圖像，利用它生成樣本圖像所需的圖像變換可以 用矩陣A來(lái)表示。在A中，e和p是兩個(gè)角度變量，其取值范圍是(-180。 ，180 ° ); A和^是兩個(gè)實(shí)數(shù)變量，取值范圍通常是(0.2， 1.8)。 110和~稱為旋轉(zhuǎn)矩陣， 用來(lái)表示在樣本生成過(guò)程中對(duì)標(biāo)準(zhǔn)圖像所做的各個(gè)方向上的旋轉(zhuǎn)變換，S稱為圖 像大小縮放矩陣，用來(lái)表示在樣本生成過(guò)程中對(duì)標(biāo)準(zhǔn)圖像所做的縮放變換。
將以上由矩陣A的一個(gè)具體值表示的圖像變換作用于標(biāo)準(zhǔn)圖像，便可以得 到一幅新生成的樣本圖像。這樣一幅樣本圖像是在對(duì)標(biāo)準(zhǔn)圖像進(jìn)行了某些方向 上的旋轉(zhuǎn)以及大小縮放之后得到的，這其中由標(biāo)準(zhǔn)圖像變換到樣本圖像的旋轉(zhuǎn) 方向、旋轉(zhuǎn)角度大小、縮放程度大小均由矩陣A中的四個(gè)參數(shù)(《p, /17， A)的取 值來(lái)決定。這四個(gè)參數(shù)的不同取值，決定了在生成樣本圖像過(guò)程中使用不同的 旋轉(zhuǎn)方向、不同的旋轉(zhuǎn)角度以及不同的大小縮放程度，進(jìn)而決定了將會(huì)生成不 同的樣本圖像。
當(dāng)兩個(gè)旋轉(zhuǎn)角度參數(shù)(《^)的取值的絕對(duì)值較小的時(shí)候，通過(guò)以上變換方式 生成的樣本圖像與攝像機(jī)在對(duì)應(yīng)角度拍攝得到的真實(shí)圖像具有較高的相似度， 因此這些樣本圖像可以較好的模擬真實(shí)圖像。但是隨著這兩個(gè)參數(shù)的取值的絕 對(duì)值的逐漸增大，所生成的樣本圖像與攝像機(jī)在對(duì)應(yīng)角度拍攝得到的真實(shí)圖像 的相似程度卻大為下降，以至于無(wú)法很好的模擬真實(shí)圖像。造成以上問(wèn)題的主 要原因是雖然從不同視角拍攝的兩幅圖像之間的變換關(guān)系確實(shí)可以通過(guò)一個(gè)3 X3的矩陣來(lái)表示，但是這一矩陣是一個(gè)普通矩陣，它具有一個(gè)最一般的表示形式，其中的9個(gè)元素的取值是隨機(jī)的，并無(wú)一定的規(guī)律。而如公式(1)所示的 矩陣A中的一些元素的取值是存在規(guī)律的，即無(wú)論四個(gè)參數(shù)(《& 4 ^)的取值
如何變化，矩陣A的第三行始終是(O，O，l)。這一特點(diǎn)導(dǎo)致了矩陣A與標(biāo)準(zhǔn)圖像 和從一定視角拍攝的另外一幅真實(shí)圖像之間的變換關(guān)系不完全等價(jià)，也就使得 基于這一變換所生成的樣本圖像無(wú)法完全模擬從對(duì)應(yīng)視角拍攝得到的真實(shí)圖 像。
從以下角度也可以對(duì)已有方法在生成圖像樣本方面的缺陷由于人眼成像
和攝像機(jī)成像都符合透視投影關(guān)系，因此對(duì)于兩條平行的直線，當(dāng)從一個(gè)較偏 的視角對(duì)其進(jìn)行拍攝時(shí)，這兩條直線在所拍攝得到的真實(shí)圖像上的像已經(jīng)不再 平行，而是存在一個(gè)交點(diǎn)。然而，采用已有方法處理兩條平行直線的標(biāo)準(zhǔn)圖像 時(shí)，二者在所生成的樣本圖像上的像仍然是平行的。以上現(xiàn)象也說(shuō)明了已有方 法所生成的圖像樣本無(wú)法完全模擬真實(shí)圖像的缺陷。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于為模式識(shí)別、機(jī)器學(xué)習(xí)領(lǐng)域中的有監(jiān)督 學(xué)習(xí)過(guò)程提供一種樣本圖像生成方法，采用此方法生成的樣本圖像能夠完全模 擬從相應(yīng)視角拍攝的真實(shí)圖像，可以為模式識(shí)別、機(jī)器學(xué)習(xí)提供更準(zhǔn)確的先驗(yàn) 知識(shí)儲(chǔ)備，進(jìn)而獲得更高的物體識(shí)別成功率，由此可以解決諸如在戰(zhàn)場(chǎng)中短時(shí) 間內(nèi)實(shí)現(xiàn)從目標(biāo)物體先驗(yàn)知識(shí)儲(chǔ)備到成功識(shí)別目標(biāo)物體的問(wèn)題，從而提供一種 基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法，這一方法克服了已有方法在 生成樣本圖像的過(guò)程中所用的變換矩陣不能完全表示兩幅圖像之間變換關(guān)系的 缺陷，提高了所生成的樣本圖像與真實(shí)圖像的相似程度。
本發(fā)明的技術(shù)方案是
通過(guò)分析在兩個(gè)不同視角下所拍攝得到的兩幅真實(shí)圖像之間的變換與一些 參數(shù)的關(guān)系，進(jìn)而用這些參數(shù)來(lái)表示這兩幅真實(shí)圖像之間的變換關(guān)系，由此便 可以通過(guò)將由這些參數(shù)表示的變換關(guān)系作用于第一幅圖像的方式，來(lái)生成一幅 樣本圖像，而這幅樣本圖像就可以被用來(lái)完全模擬在第二個(gè)視角下拍攝的真實(shí) 圖像。具體由以下幾部分組成
第一步，采用四個(gè)參數(shù)(《^, ^r)來(lái)表征攝像機(jī)在對(duì)目標(biāo)物體進(jìn)行拍攝時(shí)所處的空間三維位置，四個(gè)參數(shù)的所有取值組合能夠覆蓋攝像機(jī)在三維空間中所 處的所有位置，并且每一組取值都與空間的某一個(gè)位置唯一對(duì)應(yīng)。
第二步，在步驟一的基礎(chǔ)上，假設(shè)針對(duì)目標(biāo)物體拍攝一幅標(biāo)準(zhǔn)圖像時(shí)攝像 機(jī)的空間位置(記為位置0)所對(duì)應(yīng)的四個(gè)參數(shù)的一組取值為(&, K, &)，則目
標(biāo)物體所在的空間坐標(biāo)系與標(biāo)準(zhǔn)圖像坐標(biāo)系之間的變換關(guān)系可以由W(), 0。，
ro)來(lái)表示。同理，設(shè)攝像機(jī)在另外的某一個(gè)視角進(jìn)行拍攝時(shí)的空間位置(記為
位置t)所對(duì)應(yīng)的四個(gè)參數(shù)的一組取值為(A 0t, K,6)，則目標(biāo)物體所在的空間坐 標(biāo)系與在該視角下拍攝的圖像坐標(biāo)系之間的變換關(guān)系可以由(《，0t, K, w來(lái)表 示。由于兩幅圖像是針對(duì)同一空間下的同一目標(biāo)物體進(jìn)行拍攝，因此以上兩個(gè) 由目標(biāo)物體空間坐標(biāo)系到圖像坐標(biāo)系的變換關(guān)系中的物體空間坐標(biāo)系為同一 個(gè)，因此，由標(biāo)準(zhǔn)圖像坐標(biāo)系到另外一幅圖像的坐標(biāo)系之間的變換關(guān)系就可以
由((9。， 0Q， K， r。)和(《，0t， & n)兩組參數(shù)值來(lái)表示。
第三步，在已知一幅標(biāo)準(zhǔn)圖像和一組參數(shù)值(化，00, K，")的情況下，給四個(gè) 參數(shù)(6>, 0, R r)賦予不同于(&, 0Q， K， r。)的另外的一組值，例如(《，0t， K， rt)，則 根據(jù)第二步就可以由(&， K， ro)和的，0t， & "計(jì)算出一個(gè)由標(biāo)準(zhǔn)圖像到另外 一幅圖像的變換關(guān)系。將這一變換關(guān)系作用到標(biāo)準(zhǔn)圖像上之后，可以生成一幅 樣本圖像。該樣本圖像就可以被用來(lái)完全模擬攝像機(jī)在位置t時(shí)對(duì)目標(biāo)物體所拍 攝得到的真實(shí)圖像。
第四步，給四個(gè)參數(shù)(《^, R。賦予任意組不同的值，記為(《，^i， ",n)，可 以得到各種由090, 0。， K, w)和仇& & n)表示的由標(biāo)準(zhǔn)圖像到多個(gè)樣本圖像的 變換關(guān)系，將這些變換作用到標(biāo)準(zhǔn)圖像上，就可以生成各種不同的樣本圖像， 這些樣本圖像可以被用來(lái)模擬攝像機(jī)在與不同的參數(shù)值(A, A, K, r)所對(duì)應(yīng)的各 個(gè)空間位置拍攝的真實(shí)圖像。
本發(fā)明的基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法具有以下優(yōu)點(diǎn)
(1)在本發(fā)明的技術(shù)方案中，由于是首先通過(guò)反向推導(dǎo)的方法即分析兩幅 從不同視角拍攝得到的真實(shí)圖像之間的變換關(guān)系以及如何利用參數(shù)來(lái)表示這一 變換關(guān)系，并將這一變換關(guān)系應(yīng)用到標(biāo)準(zhǔn)圖像來(lái)生成樣本圖像，因此采用本發(fā) 明所述方法生成的樣本圖像與標(biāo)準(zhǔn)圖像的相似程度遠(yuǎn)高于采用已有方法生成的
樣本圖像與標(biāo)準(zhǔn)圖像的相似程度，具體對(duì)比結(jié)果可以參見(jiàn)附圖6、附圖7和附圖果。因此，可以為模式識(shí)別、機(jī)器學(xué)習(xí)提供
更準(zhǔn)確的先驗(yàn)知識(shí)儲(chǔ)備，進(jìn)而獲得更高的物體識(shí)別成功率。
(2)如技術(shù)方案中的第一步所述，四個(gè)參數(shù)的所有取值能夠覆蓋攝像機(jī)可 能在三維空間中所處的所有位置，并且每一組取值都與空間的某一個(gè)位置唯一 對(duì)應(yīng)，即每一組值對(duì)應(yīng)一幅從特定視角拍攝的圖像。因此，生成某種視角下的 樣本圖像是可控的，即可以通過(guò)控制四個(gè)參數(shù)(《0, P，r)的取值來(lái)生成所需的特 定視角下的圖像。例如，根據(jù)要求生成從左側(cè)某一角度下觀察目標(biāo)時(shí)候的圖像， 或者從某一特定距離下觀察目標(biāo)時(shí)候的圖像。


圖1為本發(fā)明中的三維空間坐標(biāo)系、攝像機(jī)在這一坐標(biāo)系下的位置以及用 來(lái)表示這一位置的四個(gè)參數(shù)(《^， KO之間的關(guān)系示意圖。
圖2為本發(fā)明中攝像機(jī)在兩個(gè)不同的空間位置對(duì)目標(biāo)進(jìn)行拍攝時(shí)攝像機(jī)坐 標(biāo)系、世界坐標(biāo)系之間的空間位置關(guān)系示意圖。
圖3-a為一幅從物體正面拍攝的真實(shí)圖像，即標(biāo)準(zhǔn)圖像。圖3-b為針對(duì)同一 物體在另外一個(gè)視角下拍攝的真實(shí)圖像。
圖4為基于圖3-a這幅標(biāo)準(zhǔn)圖像并采用已有的方法所生成的樣本圖像。
圖5為基于圖3-a這幅標(biāo)準(zhǔn)圖像并采用本發(fā)明所述的方法所生成的樣本圖像。
圖6-a為采用兩對(duì)直線(直線L,和L2，直線L3和L》標(biāo)識(shí)出標(biāo)準(zhǔn)圖像中的 矩形"福字畫"的兩對(duì)平行邊的示意圖。圖6-b為采用兩對(duì)直線(直線I^和L2， 直線L3和L4)標(biāo)識(shí)出圖3-b所示圖像中的矩形"福字畫"的兩對(duì)邊的示意圖。
圖7為采用兩對(duì)直線(直線"和L2，直線"和L4)標(biāo)識(shí)出如圖4所示圖 像中的矩形"福字畫"的兩對(duì)邊的示意圖。
圖8為采用兩對(duì)直線(直線"和L2，直線L3和L4)標(biāo)識(shí)出如圖5所示圖 像中的矩形"福字畫"的兩對(duì)邊的示意圖。
圖9-a為采用SIFT特征點(diǎn)的匹配數(shù)量來(lái)衡量通過(guò)已有方法所生成的樣本圖 像與從相應(yīng)視角拍攝的真實(shí)圖像的相似程度的示意圖。圖9-b為采用SIFT特征點(diǎn)的匹配數(shù)量來(lái)衡量通過(guò)本發(fā)明所述方法所生成的樣本圖像與從相應(yīng)視角拍攝 的真實(shí)圖像的相似程度的示意圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做詳細(xì)說(shuō)明。
這里以一個(gè)平面物體作為目標(biāo)物體進(jìn)行優(yōu)選方案的實(shí)施。并作以下假設(shè) 物體平面與世界坐標(biāo)系的XOY平面重合，并且為了確保在生成樣本圖像時(shí)原標(biāo) 準(zhǔn)圖像的最大部分可以被包括進(jìn)視野中，目標(biāo)物體平面的中心與視野的中心重 合。
下面參照附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
圖1為本發(fā)明中的三維空間坐標(biāo)系、攝像機(jī)在這一坐標(biāo)系下的位置以及用 來(lái)表示這一位置的四個(gè)參數(shù)^，^， K"之間的關(guān)系示意圖。圖中各符號(hào)具體含義 如下:
0、v為世界坐標(biāo)系的原點(diǎn)。
Xw，Yw和Zw分別是世界坐標(biāo)系的三個(gè)坐標(biāo)軸。 A點(diǎn)表示攝像機(jī)在對(duì)目標(biāo)進(jìn)行拍攝時(shí)所處的某一空間位置。 Zct為攝像機(jī)坐標(biāo)系的Z軸(即攝像機(jī)的光軸)。
《0， y，r是如本發(fā)明技術(shù)方案中所述的用來(lái)確定攝像機(jī)在三維空間巾位置 的四個(gè)參數(shù)，其中
6>為包含Zw軸和Zet軸的平面與Z^OwXw平面的夾角；
0為Z"軸與XwOwYw平面的夾角；
^為攝像機(jī)繞Zet軸做旋轉(zhuǎn)運(yùn)動(dòng)時(shí)的角度；
r為A點(diǎn)與Ow點(diǎn)之間的距離。
如圖1所示，四個(gè)參數(shù)(e，0,y,r)的不同取值決定/攝像機(jī)在空間中的不同 位置，且取值與空間位置一一對(duì)應(yīng)。
圖2為本發(fā)明中攝像機(jī)在兩個(gè)不同的空間位置對(duì)目標(biāo)進(jìn)行拍攝時(shí)攝像機(jī)坐 標(biāo)系、世界坐標(biāo)系之間的空間位置關(guān)系示意圖。圖中各符號(hào)具體含義如下 Mw表示在拍攝標(biāo)準(zhǔn)圖像時(shí)的攝像機(jī)坐標(biāo)系。Oc0，XeQ, Yw和Ze。分別是MeQ坐標(biāo)系的原點(diǎn)和三個(gè)坐標(biāo)軸。 Mct表示在另外的某一個(gè)視角進(jìn)行拍攝時(shí)的攝像機(jī)坐標(biāo)系。 Oct，Xet，Yet和Zet分別是Md坐標(biāo)系的原點(diǎn)和三個(gè)坐標(biāo)軸。 Mw表示世界坐標(biāo)系。Ow， Xw， Yw和Zw分別是Mw坐標(biāo)系的原點(diǎn)和三個(gè)坐標(biāo)軸。右上角帶有一個(gè)圓點(diǎn)的方框表示的是在拍攝時(shí)的圖像平面。H表示標(biāo)準(zhǔn)圖像與另外一幅圖像之間的變換關(guān)系矩陣。 U表示目標(biāo)物體的平面，且該平面與Xw(^Yw平面重合。假設(shè)對(duì)應(yīng)于目標(biāo)物體上的一個(gè)三維點(diǎn)坐標(biāo)(記為P)，它在標(biāo)準(zhǔn)圖像上所成 的像點(diǎn)坐標(biāo)為pQ，設(shè)矩陣K是表不攝像機(jī)自身內(nèi)部參數(shù)(包括焦距，成像的CCD 參數(shù)等)的矩陣，K矩陣的取值固定，不隨攝像機(jī)的空間位置改變而變化。矩 陣Ro， T。表示拍攝標(biāo)準(zhǔn)圖像時(shí)攝像機(jī)坐標(biāo)系Meo與世界坐標(biāo)系Mw之間的變換 關(guān)系，々為一個(gè)實(shí)數(shù)，表示比例關(guān)系，根據(jù)投影兒何關(guān)系，有如下式子成立A0Po=K[R。Tq]P (2)同理，設(shè)三維點(diǎn)P在另外一幅圖像上的像點(diǎn)坐標(biāo)為pt，矩陣Rt， Tt表示拍 攝第二幅圖像時(shí)攝像機(jī)坐標(biāo)系Met與世界坐標(biāo)系Mw之間的變換關(guān)系，A為一個(gè) 實(shí)數(shù)，表示比例關(guān)系，根據(jù)投影幾何關(guān)系，有如下式子成立/ltpt=K[RtTt]P (3)則合并公式(2)和(3)，即可得出標(biāo)準(zhǔn)圖像上的像點(diǎn)pn和另外一幅圖像上 的像點(diǎn)Pt之間的變換關(guān)系，表示如下AtPt =;i0K[Rt Tt] 口(K[Rq T0])-、 (4) 其中，(K[RoTd)"表示對(duì)括號(hào)中的矩陣取逆運(yùn)算。公式(4)表示的是當(dāng)攝像機(jī)從標(biāo)準(zhǔn)位置和另外一個(gè)視角對(duì)同一個(gè)目標(biāo)物體 進(jìn)行拍攝時(shí)，目標(biāo)上的一個(gè)三維點(diǎn)在標(biāo)準(zhǔn)圖像上的像點(diǎn)與它在另外一幅圖像上 的像點(diǎn)之間的變換關(guān)系，把公式(4)表示的關(guān)系從一個(gè)像點(diǎn)推廣到整幅圖像， 就可以得到從標(biāo)準(zhǔn)圖像變換到另外一幅圖像的變換關(guān)系。下面將推導(dǎo)如何用四參數(shù)(《^, Rr)來(lái)表示公式(4)中的R， T矩陣。 如圖(1)所示，A點(diǎn)在世界坐標(biāo)系下的坐標(biāo)可以用四參數(shù)(《0, fr)來(lái)表示如下A = (r cos ^ cos r cos ^ sin 6, r sin # 其中，0e( 0,90° ), 0, ^e( 0,360° ), r>0。設(shè)攝像機(jī)坐標(biāo)系Mtt的三個(gè)坐標(biāo)軸Xct,Zet的單位向量分別表示為^ ，j;和i^;，世界坐標(biāo)系Mw的三個(gè)坐標(biāo)軸Xw，Yw和Zw的單位向量分別表示為[;，'—O,A O.A一AB _ Jet — i , ni，AB = (一rcos-cosP，—rcos0sinP,-■^sin0)7"(6)(7)|AB| sin-其中，B點(diǎn)是由A點(diǎn)向Zw軸作垂線時(shí)，該垂線與Zw軸的交點(diǎn)，且B點(diǎn)坐標(biāo)為B = (0,0，~^-)r sin-(9)由此，根據(jù)兩坐標(biāo)系之間的變換與二者的各坐標(biāo)軸單位向量之間的關(guān)系并結(jié)合 公式(6) - (8)，可以將攝像機(jī)坐標(biāo)系Met與世界坐標(biāo)系Mw之間的變換關(guān)系表 示如下!0、('oJ"=RV|/JoJoJ"Jo*Ck0i k0 個(gè)3X3的矩陣，是用來(lái)表示攝像機(jī)繞攝像機(jī)坐標(biāo) 系的Z軸進(jìn)行旋轉(zhuǎn)的旋轉(zhuǎn)矩陣，并且具有以下形式cos^/siny 0 一si輝 cosy 0 0 0 1(11)由此，結(jié)合公式(4) - (10)，即可以得到用四個(gè)參數(shù)(《0, R"來(lái)表示的從標(biāo)準(zhǔn)圖像到另外一幅圖像的變換關(guān)系A(chǔ)oPt = HPo其中，^=義/義。，如圖2中所示，H為兩幅圖像之間的變換關(guān)系矩陣，且有(12)<formula>formula see original document page 13</formula>(13)<formula>formula see original document page 13</formula>(15)且G， ￡和1^分別是在拍攝標(biāo)準(zhǔn)圖像時(shí)對(duì)應(yīng)的攝像機(jī)坐標(biāo)系M"的三個(gè)坐標(biāo) 軸Xco，Yco和Zco的單位向量，這三個(gè)單位向量可以通過(guò)參數(shù)值(00=90° A=0° ， K=0° , r=r。)來(lái)唯一表示；。表示的是拍攝標(biāo)準(zhǔn)圖像時(shí)攝像機(jī)距離目標(biāo)物體平 面的距離，該距離需要預(yù)先進(jìn)行測(cè)量并記錄。根據(jù)圖1所示，對(duì)應(yīng)于拍攝標(biāo)準(zhǔn) 圖像時(shí)攝像機(jī)的空間位置的四個(gè)參數(shù)的值分別為0=^0=卯° , ^=^)=0° ,對(duì)四個(gè)參數(shù)W，^， R。賦予不同的數(shù)值，則對(duì)應(yīng)于攝像機(jī)從不同的空間位置 對(duì)目標(biāo)物體進(jìn)行拍攝，則公式(12)屮的矩陣H的取值就會(huì)不同，將這些不同 的變換矩陣H作用于標(biāo)準(zhǔn)圖像后可以生成各種不同的樣本圖像，所生成的這些 樣本圖像就可以被用來(lái)完全模擬在相應(yīng)的視角下拍攝的真實(shí)圖像。下面，以圖3-a所示的圖像作為標(biāo)準(zhǔn)圖像來(lái)實(shí)施本發(fā)明所述的樣本圖像生成 方法，并對(duì)其與己有方法生成的樣本圖像的對(duì)比結(jié)果進(jìn)行說(shuō)明。對(duì)四個(gè)參數(shù)(0, 0, Rr)賦予一組數(shù)值，并根據(jù)公式(13)計(jì)算出相應(yīng)的變換 矩陣H，將變換矩陣H作用于圖3-a所示的標(biāo)準(zhǔn)圖像，可以生成一幅如圖5所 示的樣本圖像。圖3-b為針對(duì)與圖3-a中的同一物體在另外一個(gè)視角下拍攝的真實(shí)圖像。為了說(shuō)明所生成的樣本圖像與圖3-b所示的真實(shí)圖像具有更高的相似程度，下面分 別采用兩種方法進(jìn)行說(shuō)明。方法一圖6-a為采用兩對(duì)直線(直線L,和L2，直線L3和")標(biāo)識(shí)出標(biāo)準(zhǔn) 圖像中的矩形"福字畫"的兩對(duì)平行邊的示意圖，如圖6-a所示，直線L,與L2 平行，直線L3與U平行。圖6-b為采用兩對(duì)直線(直線L，和L2，直線L3和L》 標(biāo)識(shí)出圖3-b所示圖像中的矩形"福字畫"的兩對(duì)邊的示意圖，由于圖3-b是從 另外一個(gè)角度對(duì)物體進(jìn)行拍攝并且符合透視投影原理，因此如圖6-b所示，直線 L,與L2不平行，直線L3與L4不平行。圖7為采用兩對(duì)直線(直線L,和L2，直線L3和L4)標(biāo)識(shí)出如圖4所示的 采用已有方法生成的樣本圖像中的矩形"福字畫"的兩對(duì)邊的示意圖。如圖7 所示，直線L,與L2平行，直線L3與L4平行。由此說(shuō)明采用已有方法所生成的 樣本圖像不符合透視投影原理。圖8為采用兩對(duì)直線(直線"和L2，直線L3和L4)標(biāo)識(shí)出如圖5所示的 采用本發(fā)明所述方法生成的樣本圖像中的矩形"福字畫"的兩對(duì)邊的示意圖。 如圖8所示，直線L,與L2不平行，直線L3與U不平行，這一現(xiàn)象與圖6七中 真實(shí)圖像中的現(xiàn)象一致。由此說(shuō)明釆用本發(fā)明所述方法所生成的樣本圖像符合 透視投影原理的性質(zhì)，與圖6-b所示的從一定視角拍攝的真實(shí)圖像具有很高的相 似度。方法二 SIFT特征點(diǎn)提取方法可以從圖像屮提取出最能夠表征圖像信息的 有代表性的像素點(diǎn)，在兩幅圖像中提取出SIFT特征點(diǎn)，并把同時(shí)出現(xiàn)在兩幅圖 像中的同一個(gè)特征點(diǎn)用紅色線相連接，連接正確的紅色線越多說(shuō)明了兩幅圖像 的相似程度越高。如圖9-a所示，連接正確的紅色線的數(shù)量為32條，即上下兩 幅圖像中相同的SIFT特征點(diǎn)有32個(gè)；如圖9-b所示，連接正確的紅色線的數(shù)量 為268條，即上下兩幅圖像中相同的SIFT特征點(diǎn)有268個(gè)，達(dá)到了圖9-a中相 應(yīng)數(shù)量的8倍多。以上對(duì)比結(jié)果說(shuō)明采用本發(fā)明所述方法生成的樣本圖像與標(biāo) 準(zhǔn)圖像的相似程度遠(yuǎn)高于采用己有方法生成的樣本圖像與標(biāo)準(zhǔn)圖像的相似程 度。以上對(duì)本發(fā)明所提供的基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法進(jìn) 行了詳細(xì)介紹，文中對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了閘述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技
術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1.一種基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法，其特征在于，包括以下步驟第一步，采用四個(gè)參數(shù)(θ，Φ，Ψ，r)來(lái)表征攝像機(jī)在對(duì)目標(biāo)物體進(jìn)行拍攝時(shí)所處的空間三維位置，四個(gè)參數(shù)的所有取值組合能夠覆蓋攝像機(jī)在三維空間中所處的所有位置，并且每一組取值都與空間的某一個(gè)位置唯一對(duì)應(yīng)；第二步，在步驟一的基礎(chǔ)上，假設(shè)針對(duì)目標(biāo)物體拍攝一幅標(biāo)準(zhǔn)圖像時(shí)攝像機(jī)的空間位置所對(duì)應(yīng)的四個(gè)參數(shù)的一組取值為(θ0，Φ0，Ψ0，r0)，該空間位置記為位置0，則目標(biāo)物體所在的空間坐標(biāo)系與標(biāo)準(zhǔn)圖像坐標(biāo)系之間的變換關(guān)系可以由(θ0，Φ0，Ψ0，r0)來(lái)表示；同理，設(shè)攝像機(jī)在另外的某一個(gè)視角進(jìn)行拍攝時(shí)的空間位置所對(duì)應(yīng)的四個(gè)參數(shù)的一組取值為(θt，Φt，Ψt，rt)，該空間位置記為位置t，則目標(biāo)物體所在的空間坐標(biāo)系與在該視角下拍攝的圖像坐標(biāo)系之間的變換關(guān)系可以由(θt，Φt，Ψt，rt)來(lái)表示；由于兩幅圖像是針對(duì)同一空間下的同一目標(biāo)物體進(jìn)行拍攝，因此以上兩個(gè)由目標(biāo)物體空間坐標(biāo)系到圖像坐標(biāo)系的變換關(guān)系中的物體空間坐標(biāo)系為同一個(gè)，因此，由標(biāo)準(zhǔn)圖像坐標(biāo)系到另外一幅圖像的坐標(biāo)系之間的變換關(guān)系就可以由(θ0，Φ0，Ψ0，r0)和(θt，Φt，Ψt，rt)這兩組參數(shù)值來(lái)表示；第三步，在已知一幅標(biāo)準(zhǔn)圖像和一組參數(shù)值(θ0，Φ0，Ψ0，r0)的情況下，給四個(gè)參數(shù)(θ，Φ，Ψ，r)賦予不同于(θ0，Φ0，Ψ0，r0)的另外的一組值，例如(θt，Φt，Ψt，rt)，則根據(jù)第二步就可以由(θ0，Φ0，Ψ0，r0)和(θt，Φt，Ψt，rt)計(jì)算出一個(gè)由標(biāo)準(zhǔn)圖像到另外一幅圖像的變換關(guān)系；將這一變換關(guān)系作用到標(biāo)準(zhǔn)圖像上之后，可以生成一幅樣本圖像；該樣本圖像就可以被用來(lái)完全模擬攝像機(jī)在位置t時(shí)對(duì)目標(biāo)物體所拍攝的真實(shí)圖像；第四步，給四個(gè)參數(shù)(θ，Φ，Ψ，r)賦予任意組不同的值，記為(θi，Φi，Ψi，ri)，可以得到各種由(θ0，Φ0，Ψ0，r0)和(θi，Φi，Ψi，ri)表示的由標(biāo)準(zhǔn)圖像到多個(gè)樣本圖像的變換關(guān)系，將這些變換作用到標(biāo)準(zhǔn)圖像上，就可以生成各種不同的樣本圖像，這些樣本圖像可以被用來(lái)模擬攝像機(jī)在與不同的參數(shù)值(θi，Φi，Ψi，ri)所對(duì)應(yīng)的各個(gè)空間位置拍攝的真實(shí)圖像。
2. 如權(quán)利要求1所述的基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法， 其特征在于在步驟一中，使用的四個(gè)用來(lái)完全確定攝像機(jī)在對(duì)目標(biāo)物體進(jìn)行 拍攝時(shí)所處的空間三維位置的參數(shù)分別具有以下含義6為包含世界坐標(biāo)系的Z軸以及攝像機(jī)坐標(biāo)系的Z軸的平面與世界坐標(biāo)系 的ZOX平面的夾角；0為攝像機(jī)坐標(biāo)系的Z軸與世界坐標(biāo)系的XOY平面的夾角；^為攝像機(jī)繞攝像機(jī)坐標(biāo)系的Z軸做旋轉(zhuǎn)運(yùn)動(dòng)時(shí)的角度；r為攝像機(jī)與世界坐標(biāo)系的原點(diǎn)之間的距離。
3. 如權(quán)利要求1所述的基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法， 其特征在于在步驟一中，使用的四個(gè)用來(lái)完全確定攝像機(jī)在對(duì)目標(biāo)物體進(jìn)行 拍攝時(shí)所處的空間三維位置的參數(shù)的取值范圍分別如下^E( 0,90° ),《(0,360° )， r〉0。
4. 如權(quán)利要求1所述的基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法，其特征在于在歩驟二中，由標(biāo)準(zhǔn)圖像坐標(biāo)系到另外一幅圖像的坐標(biāo)系之間的 變換關(guān)系可以通過(guò)以下公式表示<formula>formula see original document page 3</formula> (1)其中K是表示攝像機(jī)自身內(nèi)部參數(shù)的矩陣，K矩陣的取值固定，不隨攝像機(jī)的 空間位置改變而變化；Rt， Tt表示拍攝第二幅圖像時(shí)攝像機(jī)坐標(biāo)系與世界坐標(biāo) 系的變換關(guān)系；R ， Tc分別表示拍攝標(biāo)準(zhǔn)圖像時(shí)攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的 變換關(guān)系，并且滿足<formula>formula see original document page 3</formula>且U ，"和keo分別表示在拍攝標(biāo)準(zhǔn)圖像時(shí)對(duì)應(yīng)的攝像機(jī)坐標(biāo)系的X軸，Y軸和 Z軸的單位向量，這三個(gè)單位向量可以通過(guò)參數(shù)值(00=90°烏=0° , K=0° ， n》來(lái)唯一表示；"表示的是拍攝標(biāo)準(zhǔn)圖像時(shí)攝像機(jī)距離目標(biāo)物體平面的距離， 該距離需要預(yù)先進(jìn)行測(cè)量并記錄；G，乙和iC分別表示在拍攝第二幅圖像時(shí)對(duì)應(yīng)的攝像機(jī)坐標(biāo)系的x軸，Y軸和z軸的單位向量；g， j;和k分別表示世界坐標(biāo)系的x軸，Y軸和z軸的單位向:
全文摘要
本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，特別是涉及一種基于一幅標(biāo)準(zhǔn)圖像生成各視角下樣本圖像的方法。本發(fā)明首先采用幾個(gè)參數(shù)來(lái)確定攝像機(jī)在對(duì)目標(biāo)進(jìn)行拍攝時(shí)所處的空間三維位置，這些參數(shù)的所有取值組合能夠覆蓋攝像機(jī)可能在三維空間中所處的所有位置，并且每一組取值都與空間的某一個(gè)位置唯一對(duì)應(yīng)；接著用對(duì)應(yīng)于兩個(gè)不同的攝像機(jī)空間位置的兩組不同參數(shù)來(lái)表示攝像機(jī)在這兩個(gè)位置下所拍攝的真實(shí)圖像之間的變換關(guān)系；然后將這一變換關(guān)系作用于在第一個(gè)攝像機(jī)位置所拍攝得到的真實(shí)圖像，就可以生成一幅樣本圖像。本發(fā)明所使用的圖像變換關(guān)系使得生成的樣本圖像可以完全模擬從對(duì)應(yīng)視角拍攝得到的真實(shí)圖像，并且可以通過(guò)控制參數(shù)的取值，來(lái)生成所需的特定視角下的圖像。
文檔編號(hào)G06T11/00GK101661625SQ20091009383
公開(kāi)日2010年3月3日 申請(qǐng)日期2009年9月22日 優(yōu)先權(quán)日2009年9月22日
發(fā)明者偉 劉, 越 劉, 林精敦, 王涌天, 郭俊偉, 靖 陳 申請(qǐng)人:北京理工大學(xué)