彩色深度相機(jī)的彩色圖像到深度圖像的像素級對準(zhǔn)算法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及的彩色圖像到深度圖像的對準(zhǔn)方法，具體是指一種基于極線約束，從 彩色深度相機(jī)化inect)的彩色圖像上的像素點(diǎn)出發(fā)，找到對應(yīng)的深度圖像上的像素點(diǎn)的 方法。
【背景技術(shù)】
[0002] 紅外相機(jī)與彩色相機(jī)相結(jié)合的成像系統(tǒng)已經(jīng)越來越多的應(yīng)用到智能家居、體感游 戲、=維重建、機(jī)器人自主導(dǎo)航等領(lǐng)域。為了發(fā)揮出多傳感器融合的優(yōu)勢，首要的一個問題 就是如何更好的實(shí)現(xiàn)不同傳感器信息的融合。彩色深度相機(jī)化inect)是一款典型的紅外 相機(jī)與彩色相機(jī)相結(jié)合的成像系統(tǒng)，同時(shí)具有價(jià)格低廉、實(shí)用效果好等特點(diǎn)。它主要由紅外 發(fā)射器，紅外相機(jī)和彩色相機(jī)組成。并且，紅外相機(jī)與紅外發(fā)射器形成一個=角測距系統(tǒng)， 因此能夠從紅外圖像推算出深度信息（深度圖像）。目前只有從深度圖像到彩色圖像的對 準(zhǔn)方法。然而，彩色圖像比深度圖像具有更多的紋理特征，因此大多數(shù)情況下，我們都會需 要一種從彩色圖像到深度圖像的對準(zhǔn)方法。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明創(chuàng)新性地提出了一種基于極線約束的，從彩色圖像對準(zhǔn)到深度圖像的新算 法，實(shí)現(xiàn)了從彩色圖像到深度圖像的直接對準(zhǔn)，并提高了相機(jī)系統(tǒng)的信息融合效率，能夠得 到更多的融合信息，獲得更大尺寸的融合圖像。
[0004] 本發(fā)明所使用的相機(jī)模型如附圖1所示。建模為=個相機(jī)和一個紅外發(fā)射器；紅 夕村目機(jī)、深度相機(jī)、彩色相機(jī)和紅外發(fā)射器。其中紅外發(fā)射器投射一個紅外模式光，紅外相 機(jī)采集場景反射的模式光得到紅外圖像，通過與內(nèi)置紅外模式圖比較得到一個深度圖像。 本發(fā)明在該一相機(jī)模型的基礎(chǔ)上，結(jié)合極線約束，實(shí)現(xiàn)了從彩色圖像到深度圖像的對準(zhǔn)算 法。如附圖2所示，具體的算法流程如下：
[000引 1)確定紅外圖像和深度圖像之間的偏移量，由于是基于S角測距原理，通過窗口 卷積的方法獲得對應(yīng)像素點(diǎn)的深度信息，因此深度圖像和紅外圖像之間會有一個固定的偏 移。首先，采集任意場景圖像，并對紅外圖像和深度圖像做二值化處理。然后從紅外圖像和 深度圖像中分別分割出場景中的目標(biāo)物。接下來，通過比較紅外圖像和深度圖像中分割出 來的目標(biāo)物的形狀，確定紅外圖像和深度圖像之間的偏移量，使得兩個形狀能夠達(dá)到最好 的對準(zhǔn)效果。
[0006] 2)分別標(biāo)定紅外相機(jī)和彩色相機(jī)的內(nèi)部參數(shù)，紅外（IR)相機(jī)和彩色（RGB)相機(jī)的 幾何投影模型如下；假設(shè)一個3D點(diǎn)X投影到圖像點(diǎn)[U，v]T。
[0007]
【主權(quán)項(xiàng)】
1. 一種彩色深度相機(jī)的彩色圖像到深度圖像的像素級對準(zhǔn)方法，它包括步驟1)確定 紅外圖像和深度圖像之間的偏移量量，2)分別標(biāo)定紅外相機(jī)和彩色相機(jī)的內(nèi)部參數(shù)，3)標(biāo) 定紅外相機(jī)和彩色相機(jī)之間的相對姿勢，4)標(biāo)定深度相機(jī)模型的參數(shù)，5)利用紅外圖像和 彩色圖像的內(nèi)外參數(shù)以及深度圖像參數(shù)，從彩色圖像的一個像素點(diǎn)出發(fā)，找到深度圖像上 對應(yīng)的像素點(diǎn)，從而確定彩色圖像上的像素點(diǎn)的深度；其特征在于： A. 所述的步驟4)標(biāo)定深度相機(jī)模型的參數(shù)方法如下，使用一個標(biāo)定板，保持相機(jī)和標(biāo) 定板相對位置不變，先用薄紙擋住紅外相機(jī)拍一幅紅外圖像，然后移開薄紙?jiān)倥囊环疃?圖像，那么這樣的紅外圖像和深度圖像是對應(yīng)的，可以組成一對，利用這樣一對圖像，在紅 外圖像上，能夠檢測到一系列3D標(biāo)定點(diǎn)，角點(diǎn)i= 1，???，]!，為角點(diǎn)Xi在紅外相機(jī) 坐標(biāo)系下的坐標(biāo)。通過所述的步驟1)中確定的紅外圖像與深度圖像之間的固定偏移，能夠 找到這些角點(diǎn)在深度圖像上的位置坐標(biāo)i= 1，…，n，根據(jù)％,可以計(jì)算出 這個點(diǎn)\在深度相機(jī)坐標(biāo)系下的坐標(biāo)。紅外相機(jī)與深度相機(jī)在幾何上保持一致。因此 -Xq= 0，方程中包含了深度參數(shù)C(i，Ci，使用最小二乘法擬合該方程，可以得到深度 參數(shù)'c1; B. 所述的步驟5)方法如下：根據(jù)彩色圖像上的一點(diǎn)qio，尋找其在深度圖像上對應(yīng)點(diǎn) qD，我們把彩色深度相機(jī)的彩色相機(jī)和紅外相機(jī)當(dāng)作一個立體視覺系統(tǒng)，那么利用上述的 步驟2)和步驟3)標(biāo)定好的彩色相機(jī)與紅外相機(jī)的內(nèi)外參數(shù)可以獲得一個基礎(chǔ)矩陣FKeB_IK; 通過這個基礎(chǔ)矩陣可以在紅外圖像上找到一條與qKeB相對應(yīng)的極線，qKeB點(diǎn)在紅外圖像上的 成像點(diǎn)qIK應(yīng)該就在這條直線上，假設(shè)這條直線上有N個點(diǎn)q^ae[1，N])。而對應(yīng)的紅外 圖像和深度圖像之間有一個偏移[叫，％];深度相機(jī)在幾何上可以看作就是紅外相機(jī)，對于 每一個點(diǎn)q:，對應(yīng)的深度點(diǎn)是4 對應(yīng)的在紅外相機(jī)坐標(biāo)系下的3D點(diǎn) 坐標(biāo)可以計(jì)算：
式中C(l，Cl為深度模型參數(shù)，Kik是IR相機(jī)的投影矩陣；dis<是根據(jù)紅外相機(jī)的畸變參 數(shù)M角定的逆畸變函數(shù)；d馮Q:在深度圖像上的投影點(diǎn)的像素值；是Q:在紅 外圖像上的投影點(diǎn)的像素坐標(biāo)；然后，對應(yīng)的3D點(diǎn)在彩色相機(jī)坐標(biāo)系下的坐標(biāo)可以這樣計(jì) 算：
式中R，T分別為旋轉(zhuǎn)矩陣和平移向量，是彩色相機(jī)和紅外相機(jī)之間的相對姿勢。然后， 3D點(diǎn)可以投影到彩色圖像上的.接下來，我們在極線上進(jìn)行搜索，找到一個點(diǎn)qIKj， 使得這個點(diǎn)滿足一個條件，即其對應(yīng)點(diǎn)是最接近觀測點(diǎn)qK(；B的：
通過這個條件，我們能夠確定一個點(diǎn)qj，這個點(diǎn)被近似的當(dāng)作3D點(diǎn)Q在紅外圖像上的 投影點(diǎn)，因此，點(diǎn)的深度d將被當(dāng)作是點(diǎn)q_的深度。
【專利摘要】本發(fā)明公開了一種彩色深度相機(jī)的彩色圖像到深度圖像的像素級對準(zhǔn)方法。它包括步驟1)確定紅外圖像和深度圖像之間的偏移量量，2)分別標(biāo)定紅外相機(jī)和彩色相機(jī)的內(nèi)部參數(shù)，3)標(biāo)定紅外相機(jī)和彩色相機(jī)之間的相對姿勢，4)標(biāo)定深度相機(jī)模型的參數(shù)，5)利用紅外圖像和彩色圖像的內(nèi)外參數(shù)以及深度圖像參數(shù)，從彩色圖像的一個像素點(diǎn)出發(fā)，找到深度圖像上對應(yīng)的像素點(diǎn)，從而確定彩色圖像上的像素點(diǎn)的深度；本發(fā)明能夠從彩色圖像出發(fā)，直接獲取對應(yīng)的深度信息，能夠?qū)崿F(xiàn)從彩色信息到深度信息的對準(zhǔn)，能夠獲得更大尺寸的融合圖像，信息更加豐富。
【IPC分類】G06T7-00
【公開號】CN104616284
【申請?zhí)枴緾N201410748490
【發(fā)明人】鄒武合, 張雷, 戴寧
【申請人】中國科學(xué)院上海技術(shù)物理研究所
【公開日】2015年5月13日
【申請日】2014年12月9日