本發(fā)明涉及三維顯示技術(shù)領(lǐng)域，特別是涉及繪制三維圖像的方法及其裝置、系統(tǒng)。

背景技術(shù)：

人類雙眼由于位置不同在對具有一定距離的物體進(jìn)行觀看時(shí)會(huì)產(chǎn)生視覺差異，正是這種視差讓人們有了三維的感觀效果。三維顯示技術(shù)根據(jù)這一原理，通過將同時(shí)獲取的雙眼圖像分別被對應(yīng)的眼睛接收，從而產(chǎn)生三維效果。由于這一技術(shù)給人們帶來了全新的立體觀看體驗(yàn)，近年來人們對三維圖像資源的需求也日漸增加。

目前獲得三維圖像的方法之一是將二維圖像通過圖像處理技術(shù)轉(zhuǎn)化為三維圖像。具體為運(yùn)用圖像處理技術(shù)計(jì)算得到已有二維圖像的場景深度信息，進(jìn)而繪制出虛擬的其他視點(diǎn)圖像，利用已有二維圖像和虛擬的其他視點(diǎn)圖像形成三維圖像。

由于用于繪制該其他視點(diǎn)圖像的已有二維圖像的深度信息是經(jīng)過計(jì)算得到，這一過程會(huì)導(dǎo)致圖像細(xì)節(jié)信息的流失，影響三維顯示的效果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問題是提供繪制三維圖像的方法及其裝置、系統(tǒng)，能夠提高三維顯示效果。

為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種繪制三維圖像的方法，包括：分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的不可見光圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；由所述不可見光圖像計(jì)算所述第一視點(diǎn)和所述第二視點(diǎn)之間的視差；按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像；由所述第一彩色圖像和所述第二彩色圖像形成三維圖像。

其中，所述不可見光圖像為在投影模組向所述目標(biāo)投射結(jié)構(gòu)光圖案，由設(shè)置在所述第一視點(diǎn)的不可見光圖像采集器對所述目標(biāo)進(jìn)行采集得到，所述第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對所述目標(biāo)進(jìn)行采集得到。

其中，所述由所述不可見光圖像計(jì)算所述第一視點(diǎn)和所述第二視點(diǎn)之間的視差，包括：根據(jù)數(shù)字圖像處理的匹配算法，計(jì)算出包含所述結(jié)構(gòu)光圖案的所述不可見光圖像與預(yù)設(shè)的參考結(jié)構(gòu)光圖像的各像素之間的位移；由所述位移計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差，其中，所述位移與所述視差具有線性關(guān)系。

其中，所述由所述位移計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差，包括：利用下述公式1計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差d，

$d=\frac{B_2}{B_1}(\frac{B_{1}f}{Z_0}+\mathrm{\Δ}u)---\left(1\right)$

其中，B₁為所述不可見光圖像采集器與所述投影模組之間的距離，B₂為所述不可見光圖像采集器與彩色相機(jī)之間的距離；Z₀是所述參考結(jié)構(gòu)光圖像所在平面相對于不可見光圖像采集器的深度值；f是不可見光圖像采集器與彩色相機(jī)的像面焦距，Δu是不可見光圖像與預(yù)設(shè)的參考結(jié)構(gòu)光圖像的各像素之間的位移。

其中，所述按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像，包括：根據(jù)視差d，建立所述不可見光圖像的第一像素坐標(biāo)I_ir(u^ir,v^ir)與所述第一彩色圖像的第二像素坐標(biāo)I_r(u^r,v^r)之間的對應(yīng)關(guān)系為：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)；將所述不可見光圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像；對所述第二彩色圖像進(jìn)行平滑、去噪處理。

其中，還包括：利用所述不可見光圖像計(jì)算得到所述第一視點(diǎn)的深度圖像；利用三維圖像變換理論，根據(jù)所述第一視點(diǎn)的深度圖像和所述第一彩色圖像計(jì)算得到所述目標(biāo)在第一視點(diǎn)的第三彩色圖像；

所述由所述第一彩色圖像和所述第二彩色圖像形成三維圖像，包括：將所述第二彩色圖像和所述第三彩色圖像中的對應(yīng)像素的像素值進(jìn)行平均或者加權(quán)平均，得到所述第一視點(diǎn)的第四彩色圖像；由所述第一彩色圖像和所述第四彩色圖像形成三維圖像。

其中，所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系；所述彩色相機(jī)和所述不可見光圖像采集器以及所述投影模組處于同一直線上；所述不可見光圖像為紅外圖像，所述不可見光圖像采集器為紅外相機(jī)。

其中，所述彩色相機(jī)和所述不可見光圖像采集器的圖像采集靶面大小相等、分辨率及焦距相同，光軸相互平行。

為了解決上述技術(shù)問題，本發(fā)明采用另一技術(shù)方案是：提供一種三維圖像繪制裝置，包括：獲取模塊，用于分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的不可見光圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；計(jì)算模塊，用于由所述不可見光圖像計(jì)算所述第一視點(diǎn)和所述第二視點(diǎn)之間的視差；得到模塊，用于按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像；形成模塊，用于由所述第一彩色圖像和所述第二彩色圖像形成三維圖像。

為了解決上述技術(shù)問題，本發(fā)明采用另一技術(shù)方案是：提供一種三維圖像繪制系統(tǒng)，包括投影模組、不可見光圖像采集器、彩色相機(jī)、與所述不可見光圖像采集器和彩色相機(jī)連接的圖像處理設(shè)備；所述圖像處理設(shè)備用于：分別獲取以第一視點(diǎn)的不可見光圖像采集器對目標(biāo)進(jìn)行采集得到的不可見光圖像和以第二視點(diǎn)的彩色相機(jī)對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；由所述不可見光圖像計(jì)算所述第一視點(diǎn)和所述第二視點(diǎn)之間的視差；按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像；由所述第一彩色圖像和所述第二彩色圖像形成三維圖像。

本發(fā)明的有益效果是：利用采集得到的第一視點(diǎn)的不可見光圖像得到第一視點(diǎn)和第二視點(diǎn)的視差，并利用第二視點(diǎn)的第一彩色圖像和該視差得到第二視點(diǎn)的第二彩色圖像，進(jìn)而由第一彩色圖像和第二彩色圖像形成三維圖像，由于該第一視點(diǎn)和第二視點(diǎn)的視差由采集得到的圖像數(shù)據(jù)獲得，而無需經(jīng)過圖像處理，因此減少了圖像細(xì)節(jié)信息的流失，以更準(zhǔn)確獲得兩個(gè)視點(diǎn)的彩色圖像，進(jìn)而減少了合成的三維圖像的失真度，提高了基于二維圖像生成的三維顯示效果。而且相對于現(xiàn)有的DIBR技術(shù)，本實(shí)施例無需計(jì)算得到圖像的深度信息，避免了多次重復(fù)計(jì)算引入的誤差，進(jìn)一步提高了三維顯示效果。

附圖說明

圖1是本發(fā)明繪制三維圖像的方法一實(shí)施例的流程圖；

圖2是本發(fā)明繪制三維圖像的方法一應(yīng)用場景的示意圖；

圖3是本發(fā)明繪制三維圖像的方法另一實(shí)施例的部分流程圖；

圖4是本發(fā)明繪制三維圖像的方法再一實(shí)施例的部分流程圖；

圖5是本發(fā)明繪制三維圖像的方法又再一實(shí)施例的流程圖；

圖6是本發(fā)明三維圖像繪制裝置一實(shí)施例的結(jié)構(gòu)示意圖；

圖7是本發(fā)明三維圖像繪制系統(tǒng)一實(shí)施例的結(jié)構(gòu)示意圖；

圖8是本發(fā)明三維圖像繪制系統(tǒng)另一實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了更好的理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖對本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。

在本發(fā)明實(shí)施例中使用的術(shù)語是僅僅出于描述特定實(shí)施例的目的，而非旨在限制本發(fā)明。在本發(fā)明實(shí)施例和所附權(quán)利要求書中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。

請參閱圖1，圖1是本發(fā)明繪制三維圖像的方法一實(shí)施例的流程圖。本實(shí)施例中，該方法可由三維圖像繪制裝置執(zhí)行，包括以下步驟：

S11：分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的不可見光圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像。

值得注意的是，本發(fā)明所述的不可見光圖像和彩色圖像均為二維圖像。該不可見光圖像為獲取目標(biāo)上的不可見光的強(qiáng)度而形成的圖像。

其中，該第一視點(diǎn)和第二視點(diǎn)位于目標(biāo)的不同位置，以獲得該目標(biāo)的兩個(gè)視點(diǎn)處的圖像。通常，由于三維感觀是由雙眼觀看到的不同圖像疊加形成，故該第一視點(diǎn)和第二視點(diǎn)用于作為人體雙眼的兩個(gè)視點(diǎn)，即第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系。例如，常規(guī)人體雙眼的距離為t，則將第一視點(diǎn)和第二視點(diǎn)之間的距離設(shè)置為t，該t具體如為6.5cm。而且，為保證第一視點(diǎn)和第二視點(diǎn)的圖像深度相同或者類似，將第一視點(diǎn)和第二視點(diǎn)設(shè)置為與該目標(biāo)的距離相同或者距離相差不超過設(shè)定閾值，在具體應(yīng)用中，該設(shè)定閾值可設(shè)置為不大于10cm或20cm的值。

在一具體應(yīng)用中，如圖2所示，該不可見光圖像為在投影模組25向所述目標(biāo)23投射結(jié)構(gòu)光圖案，由設(shè)置在所述第一視點(diǎn)的不可見光圖像采集器21對所述目標(biāo)23進(jìn)行采集得到，該第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)22對目標(biāo)23進(jìn)行采集得到。不可見光圖像采集器21和彩色相機(jī)將其采集得到的圖像傳輸至三維圖像繪制裝置24，以進(jìn)行下述三維圖像的獲取。由于彩色相機(jī)與不可見光圖像采集器的位置不同，故該第一彩色圖像與不可見光圖像中的相同像素坐標(biāo)上所對應(yīng)的空間三維點(diǎn)并不相同。圖2中，彩色相機(jī)22和所述不可見光圖像采集器21以及所述投影模組25處于同一直線上，以使該彩色相機(jī)22和所述不可見光圖像采集器21以及所述投影模組25對目標(biāo)的深度相同。當(dāng)然，圖2僅作為一種實(shí)施例，在其他應(yīng)用中，上述三種也可不在同一直線上。

具體地，投影模組25一般由激光及衍射光學(xué)元件組成，激光可以是邊發(fā)射型的激光也可以是垂直腔面激光，該激光為能被該不可見光圖像采集器采集得到的不可見光。衍射光學(xué)元件根據(jù)不同的結(jié)構(gòu)光圖案需要可以被設(shè)置成具有準(zhǔn)直、分束、擴(kuò)散等功能。上述結(jié)構(gòu)光圖案可以為分布不規(guī)則的散斑圖案，散斑中心能級(jí)需要符合對人體無害的要求，因此需要綜合考慮激光的功率以及衍射光學(xué)元件的配置情況。

散斑圖案的密集程度影響了深度值計(jì)算的速度及精度，散斑顆粒越多，計(jì)算速度越慢，但精度卻越高。因此，該投影模組25可根據(jù)拍攝圖像的目標(biāo)區(qū)域的大致深度，選擇合適的散斑顆粒密度，在保證計(jì)算速度的同時(shí)，仍有著較高的計(jì)算精度。當(dāng)然，該散斑顆粒密度也可由上述三維圖像繪制裝置24根據(jù)自身的計(jì)算需求而確定的，并將該確定的密度信息發(fā)送至投影模組25。

其中，該投影模組25向目標(biāo)區(qū)域是但不限是以一定的擴(kuò)散角投射散斑顆粒圖案的。

在投影模組25向目標(biāo)投射結(jié)構(gòu)光圖像后，不可見光圖像采集器21采集目標(biāo)的不可見光圖像。具體，該不可見光可以為任意不可見光，例如，該不可見光圖像采集器21可以為紅外采集器，如紅外相機(jī)，該不可見光圖像為紅外圖像；或者不可見光圖像采集器21可以為紫外采集器，如紫外相機(jī)，該不可見光圖像為紫外圖像。

為了達(dá)到好的采集效果以及避免后續(xù)多余的計(jì)算，可將彩色相機(jī)與不可見光圖像采集器設(shè)置成同步采集且采集幀數(shù)相同，這樣得到的彩色圖像與不可見光圖像能保證一一對應(yīng)的關(guān)系，便于后續(xù)計(jì)算。

S12：由所述不可見光圖像計(jì)算所述第一視點(diǎn)和所述第二視點(diǎn)之間的視差。

例如，利用數(shù)字圖像處理的匹配算法比如圖數(shù)字圖像相關(guān)(DIC)算法計(jì)算得到第一視點(diǎn)的圖像與第二視點(diǎn)的圖像之間的視差，即第一視點(diǎn)的圖像與第二視點(diǎn)的圖像的像素坐標(biāo)之間的相對位置關(guān)系。

S13：按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像。

例如，將該第一彩色圖像的像素坐標(biāo)移動(dòng)各自像素對應(yīng)的圖像視差值d，其中，移動(dòng)得到的像素坐標(biāo)(u₁+d,v₁)的像素值(又稱為RGB值)為第一彩色圖像中的像素坐標(biāo)(u₁,v₁)的像素值。

S14：由所述第一彩色圖像和第二彩色圖像形成三維圖像。

例如，將第一彩色圖像和第二彩色圖像分別作為人體雙眼圖像，以合成三維圖像，具體地可以是上下格式、左右格式或者紅藍(lán)格式的用于3D顯示的三維圖像。進(jìn)一步地，在合成三維圖像后，還可將該三維圖像進(jìn)行顯示，或者輸出至連接的外部顯示裝置進(jìn)行顯示。

本實(shí)施例中，利用采集得到的第一視點(diǎn)的不可見光圖像得到第一視點(diǎn)和第二視點(diǎn)的視差，并利用第二視點(diǎn)的第一彩色圖像和該視差得到第二視點(diǎn)的第二彩色圖像，進(jìn)而由第一彩色圖像和第二彩色圖像形成三維圖像，由于該第一視點(diǎn)和第二視點(diǎn)的視差由采集得到的圖像數(shù)據(jù)獲得，而無需經(jīng)過圖像處理，因此減少了圖像細(xì)節(jié)信息的流失，以更準(zhǔn)確獲得兩個(gè)視點(diǎn)的彩色圖像，進(jìn)而減少了合成的三維圖像的失真度，提高了基于二維圖像生成的三維顯示效果。而且相對于現(xiàn)有的深度圖像繪制(depth-image-based rendering，DIBR)技術(shù)，本實(shí)施例無需計(jì)算得到圖像的深度信息，避免了多次重復(fù)計(jì)算引入的誤差，進(jìn)一步提高了三維顯示效果。

請參閱圖3，在另一實(shí)施例中，該不可見光圖像為在投影模組向所述目標(biāo)投射結(jié)構(gòu)光圖案，由設(shè)置在所述第一視點(diǎn)的不可見光圖像采集器對所述目標(biāo)進(jìn)行采集得到，所述第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對所述目標(biāo)進(jìn)行采集得到，本實(shí)施例與上述實(shí)施例的區(qū)別在于，上述S12包括以下子步驟：

S121：根據(jù)數(shù)字圖像處理的匹配算法，計(jì)算出包含所述結(jié)構(gòu)光圖案的所述不可見光圖像與預(yù)設(shè)的參考結(jié)構(gòu)光圖像的各像素之間的位移。

該數(shù)字圖像處理的匹配算法如數(shù)字圖像相關(guān)算法。該參考結(jié)構(gòu)光圖案是預(yù)先利用已設(shè)置好的投影模組向設(shè)定距離的平面投射參考結(jié)構(gòu)光圖案，并利用已設(shè)置好的不可見光圖像采集器采集該平面的參考結(jié)構(gòu)光圖案得到的，上述的“設(shè)置好”應(yīng)理解為一旦設(shè)置好之后，在后續(xù)進(jìn)行該不可見光圖像的采集時(shí)亦不會(huì)移動(dòng)該圖像采集器和投影模組。

例如，利用數(shù)字圖像相關(guān)算法獲得不可見光圖像與參考結(jié)構(gòu)光圖案如參考散斑圖像之間各對應(yīng)像素的位移值Δu。目前數(shù)字圖像相關(guān)算法的測量精度能達(dá)到亞像素級(jí)，比如1/8像素，也就是說Δu的值會(huì)是1/8的倍數(shù)，單位為像素。

S122：由所述位移計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差。

由于該不可見光圖像與該參考結(jié)構(gòu)光圖像的各像素之間的位移與該視差具有線性關(guān)系。故可位移以及其線性關(guān)系計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差。

例如，利用下述公式11計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差d，

$d=\frac{B_2}{B_1}(\frac{B_{1}f}{Z_0}+\mathrm{\Δ}u)---\left(11\right)$

其中，B₁為所述不可見光圖像采集器與所述投影模組之間的距離，B₂為所述不可見光圖像采集器與彩色相機(jī)之間的距離；Z₀是所述參考結(jié)構(gòu)光圖像所在平面相對于不可見光圖像采集器的深度值；f是不可見光圖像采集器與彩色相機(jī)的像面焦距，Δu是不可見光圖像與預(yù)設(shè)的參考結(jié)構(gòu)光圖像的各像素之間的位移。該參考結(jié)構(gòu)光圖像所在平面即為之前投射該參考結(jié)構(gòu)光圖案所在的平面，該Z₀用于表示該平面距離該圖像采集器之間的距離，可由之前測試該參考結(jié)構(gòu)光圖像時(shí)該平面的距離信息得到。本實(shí)施例中，f的單位為像素，f的值可預(yù)先經(jīng)過標(biāo)定得到。

當(dāng)計(jì)算得到的視差d的數(shù)值不為整數(shù)時(shí)，可對其進(jìn)行四舍五入或取整等處理。

請參閱圖4，在再一實(shí)施例中，其與上述實(shí)施例的區(qū)別在于，上述13包括以下子步驟：

S131：根據(jù)視差建立所述不可見光圖像的第一像素坐標(biāo)與所述第一彩色圖像的第二像素坐標(biāo)之間的對應(yīng)關(guān)系。

例如，根據(jù)視差d，建立所述不可見光圖像的第一像素坐標(biāo)I_ir(u^ir,v^ir)與所述第一彩色圖像的第二像素坐標(biāo)I_r(u^r,v^r)之間的對應(yīng)關(guān)系為：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)。

S132：將所述不可見光圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像。

例如，根據(jù)對應(yīng)關(guān)系，將第一彩色圖像的像素值(也可稱為RGB值)賦值于不可見光圖像，以生成第二彩色圖像。以圖像的其中一個(gè)像素坐標(biāo)舉例，若d為1，則不可見光圖像的像素坐標(biāo)(1,1)與第一彩色圖像的像素坐標(biāo)(2,1)對應(yīng)。然后，將不可見光圖像的像素坐標(biāo)(1,1)的像素值設(shè)置為第一彩色圖像中像素坐標(biāo)(2,1)的像素值(r，g，b)。

S133：對所述第二彩色圖像進(jìn)行平滑、去噪處理。

由于位移值Δu的數(shù)據(jù)常常出現(xiàn)一些壞點(diǎn)，導(dǎo)致最終得到的彩色圖像中出現(xiàn)一些空洞等問題，在后面步驟中進(jìn)一步處理時(shí)會(huì)將這些數(shù)據(jù)進(jìn)行放大，進(jìn)而嚴(yán)重影響三維顯示效果，為避免深度圖像的壞點(diǎn)或區(qū)域數(shù)據(jù)對三維顯示的影響，本子步驟對得到的第二彩色圖像進(jìn)行去噪、平滑處理。

當(dāng)然，在其他實(shí)施例中，上述S13步驟可以僅包括上述S131和S132子步驟。

請參閱圖5，在又再一實(shí)施例中，在上述S11之后，還包括以下步驟：

S15：利用所述不可見光圖像計(jì)算得到所述第一視點(diǎn)的深度圖像。

例如，利用紅外圖像計(jì)算出該第一視點(diǎn)的深度圖像，其具體計(jì)算方式可采用現(xiàn)有的相關(guān)算法。

S16：利用三維圖像變換理論，根據(jù)所述第一視點(diǎn)的深度圖像和所述第一彩色圖像計(jì)算得到所述目標(biāo)在第一視點(diǎn)的第三彩色圖像。

根據(jù)三維圖像轉(zhuǎn)換(3D Image Wrapping)理論——空間任一三維坐標(biāo)點(diǎn)與圖像采集平面上的二維坐標(biāo)點(diǎn)可通過透射變換理論對應(yīng)起來，故由此理論可將第一視點(diǎn)和第二視點(diǎn)的圖像的像素坐標(biāo)對應(yīng)起來，并根據(jù)該對應(yīng)關(guān)系和第二視點(diǎn)的第一彩色圖像的像素值，為第一視點(diǎn)的圖像像素坐標(biāo)設(shè)置第二視點(diǎn)的第一彩色圖像中對應(yīng)像素坐標(biāo)的像素值。

例如，該S16包括以下子步驟：

a：利用下面公式12計(jì)算得到所述第一視點(diǎn)的深度圖像的第一像素坐標(biāo)(u_D,v_D)與所述第一彩色圖像的第二像素坐標(biāo)(u_R,v_R)之間的對應(yīng)關(guān)系，

$Z_R\stackrel{\‾}{U_R}=Z_D{M}_{R}R\·M_D^{-1}\stackrel{\‾}{U_D}+M_{R}T---\left(12\right)$

其中，所述Z_D為所述第一深度圖像中的深度信息，表示所述目標(biāo)距離所述深度相機(jī)的深度值；Z_R表示所述目標(biāo)距離所述彩色相機(jī)的深度值；為所述彩色相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo)；為所述深度相機(jī)的圖像坐標(biāo)系上的像素齊次坐標(biāo)；M_R為所述彩色相機(jī)的內(nèi)參矩陣，M_D為所述深度相機(jī)的內(nèi)參矩陣；R為深度相機(jī)相對于彩色相機(jī)的外參矩陣中的旋轉(zhuǎn)矩陣，T為深度相機(jī)相對于彩色相機(jī)的外參矩陣中的平移矩陣。

上述相機(jī)及采集器的內(nèi)參矩陣和外參矩陣可預(yù)先設(shè)定的，具體該內(nèi)參矩陣可根據(jù)相機(jī)及采集器的設(shè)置參數(shù)計(jì)算得到，該外參矩陣可由不可見光圖像采集器與彩色相機(jī)之間的位置關(guān)系確定。在一具體實(shí)施例中，由相機(jī)及采集器的圖像采集鏡頭的像素焦距以及圖像采集靶面的中心位置坐標(biāo)構(gòu)成的內(nèi)部參數(shù)矩陣。由于第一視點(diǎn)和第二視點(diǎn)的位置關(guān)系設(shè)置為人眼雙眼的位置關(guān)系，人體雙眼之間沒有任何的相對旋轉(zhuǎn)而僅有設(shè)定值t的距離，因此彩色相機(jī)相對于不可見光圖像采集器的旋轉(zhuǎn)矩陣R為單位矩陣，平移矩陣T＝[t,0,0]^-1。

進(jìn)一步地，該設(shè)定值t可根據(jù)不可見光圖像采集器和彩色相機(jī)與目標(biāo)的距離進(jìn)行調(diào)整。在再一實(shí)施例中，在上述S11之前還包括以下步驟：獲取目標(biāo)與不可見光圖像采集器和彩色相機(jī)的距離；當(dāng)判斷所述目標(biāo)與所述不可見光圖像采集器和所述彩色相機(jī)的距離均大于第一距離值時(shí)，將所述設(shè)定值t調(diào)大；當(dāng)判斷所述目標(biāo)與所述不可見光圖像采集器和所述彩色相機(jī)的距離均小于第二距離值時(shí)，將所述設(shè)定值t調(diào)小。

其中，所述第一距離值大于或等于所述第二距離值。例如，當(dāng)目標(biāo)與不可見光圖像采集器的距離為100cm，目標(biāo)與彩色相機(jī)的距離也為100cm，由于100cm小于第二距離值200cm，則將設(shè)定值調(diào)小一個(gè)步長值，或者按照當(dāng)前目標(biāo)與不可見光圖像采集器和彩色相機(jī)的距離計(jì)算得到調(diào)小值后進(jìn)行調(diào)整。當(dāng)目標(biāo)與不可見光圖像采集器和彩色相機(jī)的距離均為300cm，由于300cm大于第二距離值200且小于第一距離值500cm，則不將該設(shè)定值進(jìn)行調(diào)整。

b：將所述不可見光圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第三彩色圖像。

例如，將第一視點(diǎn)的不可見光圖像的深度信息Z_D代入上述公式12后，可求得公式12左邊的第二視點(diǎn)的深度信息也即第一彩色圖像的深度信息Z_R，以及第一彩色圖像的圖像坐標(biāo)系上的像素齊次坐標(biāo)在本實(shí)施例中，不可見光圖像采集器和彩色相機(jī)與目標(biāo)的距離相同，即求得的Z_R與Z_D是相等的。由像素齊次坐標(biāo)可得到與該不可見光圖像的第一像素坐標(biāo)(u_D,v_D)一一對應(yīng)的第一彩色圖像的第二像素坐標(biāo)(u_R,v_R)，例如其對應(yīng)關(guān)系為(u_R,v_R)＝(u_D+d,v_D)。然后，根據(jù)對應(yīng)關(guān)系，將第一彩色圖像的像素值賦值于不可見光圖像，以生成第三彩色圖像。

在該又再一實(shí)施例中，上述S14包括以下步驟：

S141：將所述第二彩色圖像和所述第三彩色圖像中的對應(yīng)像素的像素值進(jìn)行平均或者加權(quán)平均，得到所述第一視點(diǎn)的第四彩色圖像。

以彩色圖像中的一像素坐標(biāo)舉例，第二彩色圖像和第三彩色圖像中的像素坐標(biāo)(Ur,Vr)的像素值分別為(r1,g1,b1)和(r2,g2,b2),則將第一視點(diǎn)的第四彩色圖像中的像素坐標(biāo)(Ur,Vr)的像素值設(shè)置為

S142：由所述第一彩色圖像和所述第四彩色圖像形成三維圖像。

例如，將第一彩色圖像和第四彩色圖像分別作為人體雙眼圖像，以合成三維圖像。

可以理解的是，上述實(shí)施例中，可設(shè)置該不可見光圖像采集器和彩色相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同?；蛘?，彩色相機(jī)和所述不可見光圖像采集器的圖像采集靶面大小、分辨率以及焦距中的至少一個(gè)不相同，例如彩色相機(jī)的靶面大小以及分辨率都比不可見光圖像采集器大，此時(shí)，上述S13之后，該獲得方法還包括：對所述第一彩色圖像和/或所述第二彩色圖像進(jìn)行插值、分割處理，使得所述第一彩色圖像和所述第二彩色圖像對應(yīng)的目標(biāo)區(qū)域相同，且圖像大小與分辨率也相同。由于彩色相機(jī)與不可見光圖像采集器在裝配時(shí)存在誤差，故上述該不可見光圖像采集器和彩色相機(jī)的圖像采集靶面大小相等、分辨率相同以及焦距相同應(yīng)理解為：該不可見光圖像采集器和彩色相機(jī)的圖像采集靶面大小、分辨力和焦距為在允許誤差的范圍內(nèi)的相同。

而且，上述圖像包括照片或者視頻，當(dāng)上述圖像為視頻時(shí)，所述不可見光圖像采集器和彩色相機(jī)的采集頻率同步，或者若不可見光圖像采集器和彩色相機(jī)的采集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。

請參閱圖6，圖6是本發(fā)明三維圖像繪制裝置一實(shí)施例的結(jié)構(gòu)示意圖。本實(shí)施例中，該繪制裝置60包括獲取模塊61、計(jì)算模塊62、形成模塊63和得到模塊64。其中，

獲取模塊61用于分別獲取以第一視點(diǎn)對目標(biāo)進(jìn)行采集得到的不可見光圖像和以第二視點(diǎn)對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；

計(jì)算模塊62用于由所述不可見光圖像計(jì)算所述第一視點(diǎn)和所述第二視點(diǎn)之間的視差；

得到模塊64用于按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像；

形成模塊63用于由所述第一彩色圖像和所述第二彩色圖像形成三維圖像。

可選地，所述不可見光圖像為在投影模組向所述目標(biāo)投射結(jié)構(gòu)光圖案，由設(shè)置在所述第一視點(diǎn)的不可見光圖像采集器對所述目標(biāo)進(jìn)行采集得到，所述第一彩色圖像由設(shè)置在所述第二視點(diǎn)的彩色相機(jī)對所述目標(biāo)進(jìn)行采集得到。

可選地，計(jì)算模塊62具體用于根據(jù)數(shù)字圖像處理的匹配算法，計(jì)算出包含所述結(jié)構(gòu)光圖案的所述不可見光圖像與預(yù)設(shè)的參考結(jié)構(gòu)光圖像的各像素之間的位移；由所述位移計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差，其中，所述位移與所述視差具有線性關(guān)系。

進(jìn)一步可選地，計(jì)算模塊62執(zhí)行所述由所述位移計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差，包括：利用上述公式11計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差d。

可選地，得到模塊64具體用于根據(jù)視差d，建立所述不可見光圖像的第一像素坐標(biāo)I_ir(u^ir,v^ir)與所述第一彩色圖像的第二像素坐標(biāo)I_r(u^r,v^r)之間的對應(yīng)關(guān)系為：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)；將所述不可見光圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像；對所述第二彩色圖像進(jìn)行平滑、去噪處理。

可選地，計(jì)算模塊62還用于利用所述不可見光圖像計(jì)算得到所述第一視點(diǎn)的深度圖像；利用三維圖像變換理論，根據(jù)所述第一視點(diǎn)的深度圖像和所述第一彩色圖像計(jì)算得到所述目標(biāo)在第一視點(diǎn)的第三彩色圖像；該形成模塊63具體用于將所述第二彩色圖像和所述第三彩色圖像中的對應(yīng)像素的像素值進(jìn)行平均或者加權(quán)平均，得到所述第一視點(diǎn)的第四彩色圖像；由所述第一彩色圖像和所述第四彩色圖像形成三維圖像。

可選地，所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系；所述彩色相機(jī)和所述不可見光圖像采集器以及所述投影模組處于同一直線上；所述不可見光圖像為紅外圖像，所述不可見光圖像采集器為紅外相機(jī)。

可選地，所述彩色相機(jī)和所述不可見光圖像采集器的圖像采集靶面大小相等、分辨率及焦距相同，光軸相互平行。

可選地，所述不可見光圖像和所述第一彩色圖像為照片或者視頻，當(dāng)所述不可見光圖像和所述第一彩色圖像為視頻時(shí)，所述不可見光圖像采集器和彩色相機(jī)的采集頻率同步，或者若不可見光圖像采集器和彩色相機(jī)的采集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。

其中，該繪制裝置的上述模塊分別用于執(zhí)行上述方法實(shí)施例中的相應(yīng)步驟，具體執(zhí)行過程如上方法實(shí)施例說明，在此不作贅述。

請參閱圖7，圖7是本發(fā)明三維圖像繪制系統(tǒng)一實(shí)施例方式的結(jié)構(gòu)示意圖。本實(shí)施例中，該系統(tǒng)70包括投影模組74、不可見光圖像采集器71、彩色相機(jī)72、與所述不可見光圖像采集器71和彩色相機(jī)72連接的圖像處理設(shè)備73。該圖像處理設(shè)備73包括輸入接口731、處理器732、存儲(chǔ)器733。進(jìn)一步地，該圖像處理設(shè)備73也可與投影模組74連接。

該輸入接口731用于獲得不可見光圖像采集器71和彩色相機(jī)72采集得到的圖像。

存儲(chǔ)器733用于存儲(chǔ)計(jì)算機(jī)程序，并向處理器732提供所述計(jì)算機(jī)程序，且可存儲(chǔ)處理器732處理時(shí)所采用的數(shù)據(jù)如不可見光圖像采集器71和彩色相機(jī)72的內(nèi)參矩陣和外參矩陣等，以及輸入接口731獲得的圖像。

處理器732用于：

通過輸入接口731分別獲取以第一視點(diǎn)的不可見光圖像采集器71對目標(biāo)進(jìn)行采集得到的不可見光圖像和以第二視點(diǎn)的彩色相機(jī)72對所述目標(biāo)進(jìn)行采集得到的第一彩色圖像；

由所述不可見光圖像計(jì)算所述第一視點(diǎn)和所述第二視點(diǎn)之間的視差；

按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像；

由所述第一彩色圖像和所述第二彩色圖像形成三維圖像。

本實(shí)施例中，圖像處理設(shè)備73還可包括顯示屏734，該顯示屏734用于顯示該三維圖像，以實(shí)現(xiàn)三維顯示。當(dāng)然，在另一實(shí)施例中，圖像處理設(shè)備73不用于顯示該三維圖像，如圖8所示，該三維圖像繪制系統(tǒng)70還包括與圖像處理設(shè)備73連接的顯示設(shè)備75，顯示設(shè)備75用于接收圖像處理設(shè)備73輸出的三維圖像，并顯示該三維圖像。

可選地，處理器732具體用于根據(jù)數(shù)字圖像處理的匹配算法，計(jì)算出包含所述結(jié)構(gòu)光圖案的所述不可見光圖像與預(yù)設(shè)的參考結(jié)構(gòu)光圖像的各像素之間的位移；由所述位移計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差，其中，所述位移與所述視差具有線性關(guān)系。

進(jìn)一步可選地，處理器732執(zhí)行所述由所述位移計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差，包括：利用下述公式1計(jì)算得到第一視點(diǎn)和所述第二視點(diǎn)之間的視差d。

可選地，處理器732執(zhí)行所述按照所述視差移動(dòng)所述第一彩色圖像的像素坐標(biāo)，得到第一視點(diǎn)的第二彩色圖像，包括：根據(jù)視差d，建立所述不可見光圖像的第一像素坐標(biāo)I_ir(u^ir,v^ir)與所述第一彩色圖像的第二像素坐標(biāo)I_r(u^r,v^r)之間的對應(yīng)關(guān)系為：I_ir(u^ir,v^ir)＝I_r(u^r+d,v^r)；將所述不可見光圖像的第一像素坐標(biāo)的像素值設(shè)置為所述第一彩色圖像中與所述第一像素坐標(biāo)具有對應(yīng)關(guān)系的第二像素坐標(biāo)的像素值，以形成所述目標(biāo)在第一視點(diǎn)的第二彩色圖像；對所述第二彩色圖像進(jìn)行平滑、去噪處理。

可選地，處理器732還用于利用所述不可見光圖像計(jì)算得到所述第一視點(diǎn)的深度圖像；利用三維圖像變換理論，根據(jù)所述第一視點(diǎn)的深度圖像和所述第一彩色圖像計(jì)算得到所述目標(biāo)在第一視點(diǎn)的第三彩色圖像；處理器732執(zhí)行所述由所述第一彩色圖像和所述第二彩色圖像形成三維圖像，包括：將所述第二彩色圖像和所述第三彩色圖像中的對應(yīng)像素的像素值進(jìn)行平均或者加權(quán)平均，得到所述第一視點(diǎn)的第四彩色圖像；由所述第一彩色圖像和所述第四彩色圖像形成三維圖像。

可選地，所述第一視點(diǎn)與第二視點(diǎn)之間的位置關(guān)系為人體雙眼之間的位置關(guān)系；所述彩色相機(jī)72和所述不可見光圖像采集器71以及所述投影模組74處于同一直線上；所述不可見光圖像為紅外圖像，所述不可見光圖像采集器71為紅外相機(jī)。

可選地，所述彩色相機(jī)72和所述不可見光圖像采集器71的圖像采集靶面大小相等、分辨率及焦距相同，光軸相互平行。

可選地，所述不可見光圖像和所述第一彩色圖像為照片或者視頻，當(dāng)所述不可見光圖像和所述第一彩色圖像為視頻時(shí)，所述不可見光圖像采集器和彩色相機(jī)的采集頻率同步，或者若不可見光圖像采集器和彩色相機(jī)的采集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。

該圖像處理設(shè)備73可作為上述三維圖像繪制裝置，用于執(zhí)行上述實(shí)施例所述方法。例如，上述本發(fā)明實(shí)施方式揭示的方法也可以應(yīng)用于處理器732中，或者由處理器732實(shí)現(xiàn)。處理器732可能是一種集成電路芯片，具有信號(hào)的處理能力。在實(shí)現(xiàn)過程中，上述方法的各步驟可以通過處理器732中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器732可以是通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)成可編程門陣列(FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件?？梢詫?shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實(shí)施例所公開的方法的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成，或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機(jī)存儲(chǔ)器，閃存、只讀存儲(chǔ)器，可編程只讀存儲(chǔ)器或者電可擦寫可編程存儲(chǔ)器、寄存器等本領(lǐng)域成熟的存儲(chǔ)介質(zhì)中。該存儲(chǔ)介質(zhì)位于存儲(chǔ)器733，處理器732讀取相應(yīng)存儲(chǔ)器中的信息，結(jié)合其硬件完成上述方法的步驟。

上述方案中，利用采集得到的第一視點(diǎn)的不可見光圖像得到第一視點(diǎn)和第二視點(diǎn)的視差，并利用第二視點(diǎn)的第一彩色圖像和該視差得到第二視點(diǎn)的第二彩色圖像，進(jìn)而由第一彩色圖像和第二彩色圖像形成三維圖像，由于該第一視點(diǎn)和第二視點(diǎn)的視差由采集得到的圖像數(shù)據(jù)獲得，而無需經(jīng)過圖像處理，因此減少了圖像細(xì)節(jié)信息的流失，以更準(zhǔn)確獲得兩個(gè)視點(diǎn)的彩色圖像，進(jìn)而減少了合成的三維圖像的失真度，提高了基于二維圖像生成的三維顯示效果。而且相對于現(xiàn)有的DIBR技術(shù)，本實(shí)施例無需計(jì)算得到圖像的深度信息，避免了多次重復(fù)計(jì)算引入的誤差，進(jìn)一步提高了三維顯示效果。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。