專利名稱：基于視頻攝像設(shè)備的物體圖像深度重構(gòu)裝置及其投影裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種物體圖像處理裝置，尤其涉及一種基于視頻攝像設(shè)備的 物體圖像深度重構(gòu)裝置及其投影裝置。
背景技術(shù)：
人類在用雙眼觀察物體時(shí)，會有深度或遠(yuǎn)近的感覺，其原理就是兩個(gè)眼 睛從不同的方向獲取同 一物體的圖像，人的大腦再對視網(wǎng)膜獲取的兩幅圖像 進(jìn)行匹配處理，重建出物體的三維形狀和位置。計(jì)算機(jī)視覺技術(shù)在近年逐漸 得到重視，該技術(shù)的目的就是使計(jì)算機(jī)具備人眼的功能，也就是指使計(jì)算機(jī) 具有通過一幅或多幅圖像認(rèn)知周圍環(huán)境信息的能力。模擬人臉雙眼的立體視覺則是計(jì)算機(jī)視覺技術(shù)中最難的一個(gè)方法，目的 是由計(jì)算機(jī)通過兩幅或多幅兩維圖像恢復(fù)物體的三維幾何形狀。學(xué)術(shù)界立體視覺的研究工作已經(jīng)開展多年，但完全模擬人眼的雙目立體 視覺的研究工作進(jìn)展很f曼，下面結(jié)合圖1簡要說明一下雙目立體視覺的基本 原理。參照圖l所示，雙目立體視覺是由兩個(gè)攝像機(jī)d和C2實(shí)現(xiàn)。對于空間 物體表面任意一點(diǎn)P,如果用d攝像機(jī)觀察，看到它在d攝像機(jī)的圖像點(diǎn) 位于A,如果用C2攝像機(jī)觀察，其在C2攝像機(jī)的圖像點(diǎn)位于/ 2。由于兩幅 圖像中這兩點(diǎn)對應(yīng)著空間的同一點(diǎn)尸。設(shè)(9!和(92分別為d和C2兩個(gè)攝像 機(jī)的光心，則空間點(diǎn)P既位于C^A連線上的某一位置，又在02尸2連線，即 該點(diǎn)是(^A和( 2P2兩條直線的交點(diǎn)，它的三維位置是唯一確定的。這就是 立體視覺的基本原理。從這個(gè)基本原理可以看出，如果已知了兩個(gè)攝像機(jī)的成像參數(shù)，即攝像機(jī)的投影矩陣，表示攝像機(jī)從3D射影空間即真實(shí)立體空間到2D射影平面即成像平面的線性射影變換，并在兩個(gè)攝像機(jī)拍攝圖像的各個(gè)點(diǎn)之間建立對 應(yīng)關(guān)系，即為其中一幅圖中一個(gè)點(diǎn)搜索其在另一幅圖中的對應(yīng)點(diǎn)，這兩點(diǎn)對應(yīng)的是3D空間中的同一點(diǎn)，這樣就可以重構(gòu)場景中該點(diǎn)的3D坐標(biāo)。但由 計(jì)算機(jī)在兩幅圖像中自動搜索對應(yīng)點(diǎn)，建立對應(yīng)關(guān)系這個(gè)問題非常困難，在 一般情況下根本就是不可解的。因此，從實(shí)際場景的拍攝圖像中直接提取 3D形狀極為困難，所以，如何通過一個(gè)中間的媒介，然后通過2D圖像獲 得該圖像中各個(gè)點(diǎn)的深度信息，并進(jìn)而由該深度信息與2D圖像相結(jié)合得到 物面的3D坐標(biāo)成為解決問題的一個(gè)突破點(diǎn)。有研究人員提出了一種實(shí)現(xiàn)了 圖像深度信息重構(gòu)的設(shè)想，稱為基于結(jié)構(gòu)光編碼的深度重構(gòu)方法?；诮Y(jié)構(gòu)光編碼的深度重構(gòu)方法的基本原理與雙目立體視覺是一致的， 只是雙目立體視覺是由兩個(gè)攝像頭實(shí)現(xiàn)，而基于結(jié)構(gòu)光編碼的深度重構(gòu)方 法，其設(shè)備中一個(gè)攝像頭由投影光路代替。這類方法采用主動距離成像的方 式，用一個(gè)光源代替一個(gè)攝像機(jī)，也就是人類立體視覺中的一只眼睛，將編 碼圖像投影在物體上，光源旁邊的一個(gè)攝像機(jī)則代表人臉立體視覺中另 一只 眼睛，對物體進(jìn)行成像，同時(shí)獲取物面上的編碼圖像，稱為成像圖像。利用 3D立體視覺中攝像頭與光源之間的焦距、標(biāo)定參數(shù)、位置關(guān)系，以及拍攝 圖像中編碼圖像的解碼結(jié)果等數(shù)據(jù)即可確定物體上各點(diǎn)的深度信息。這樣，要想獲得較準(zhǔn)確的深度信息，就必須對成像圖像進(jìn)行解碼，找出 成像圖像中各點(diǎn)與編碼圖像的對應(yīng)關(guān)系，而由于編碼圖像投影到物面的位置 是已知的，找到了這種對應(yīng)關(guān)系，就可以獲得物面的深度信息。而為了提高 解碼精度，對圖像進(jìn)行光編碼的方法就變得非常重要，而光編碼圖像對應(yīng)著 光柵結(jié)構(gòu)，因此可以說如何設(shè)置出高效又簡單的光柵結(jié)構(gòu)，成為設(shè)計(jì)人員必 須考慮的問題。下面結(jié)合圖2對現(xiàn)有技術(shù)中采用的光柵結(jié)構(gòu)進(jìn)行說明。參照圖2所示，為現(xiàn)有的光柵結(jié)構(gòu)中子碼結(jié)構(gòu)示意圖。圖中僅示出了兩 個(gè)子碼，所示子碼表示為M!和M2。由圖2可以看出，對每列子碼的橫向?qū)?度不加以限制，每列子碼的區(qū)別僅在于每列子碼在橫向方向上具有其特有 的亮區(qū)(即透光部分)與暗區(qū)(即不透光部分)的比例。這樣，所有的子碼 就通過亮暗區(qū)的比例就加以區(qū)分開來，當(dāng)然，在實(shí)際應(yīng)用中通過改變亮區(qū)與 暗區(qū)的比例就可以計(jì)出多種子碼?，F(xiàn)有的光柵結(jié)構(gòu)為采用圖2所示的子碼，將每個(gè)子碼在列向方向上重 復(fù)排列，進(jìn)而構(gòu)成一列子碼，多列不同子碼共同構(gòu)成光柵結(jié)構(gòu)。在這種情況下，通過光源將所述光柵上刻錄的編碼圖像^投影到物面上， 由于投影后物面深度變化很復(fù)雜，物面上的子碼的投影條紋(指投影后的每 列子碼)也會發(fā)生形變，而由于各個(gè)子碼的區(qū)別僅在于其橫向亮暗區(qū)的比例， 因此較難做到將變形后的投影條紋與投影前的子碼相對應(yīng)，因而具有解碼精 度不高的缺陷。目前市面上存在很多3D深度重構(gòu)產(chǎn)品，最主要的產(chǎn)品就是激光掃描儀， 這類產(chǎn)品大多也采用主動距離成像的方法，只是每次激光只能打到物體的很 小區(qū)域，要獲取物體所有區(qū)域的深度，需要對物面進(jìn)行不斷掃描。而實(shí)時(shí)的 可在一幀圖像獲取物體深度的方法還只在研究論文上看到，而鑒于其在產(chǎn)品 實(shí)現(xiàn)上的復(fù)雜，基本上還沒有可在一幀圖像獲取物體深度的產(chǎn)品出現(xiàn)。因此，如何設(shè)置出高效并且簡單的編碼裝置及圖像深度重構(gòu)裝置，并將 其在產(chǎn)品上得以實(shí)現(xiàn)，對于獲取物體圖像的深度信息具有十分重要的意義。發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問題是提供一種基于視頻攝像設(shè)備的物體圖像 深度重構(gòu)裝置及其投影裝置，能夠獲取物體圖像上各個(gè)區(qū)域的深度信息，并 具有整個(gè)裝置結(jié)構(gòu)簡單，獲取的深度信息更加精確，使用方便的特點(diǎn)。為了解決上述技術(shù)問題，本發(fā)明提供了一種基于視頻攝像設(shè)備的物體圖 像深度重構(gòu)裝置，所述圖像深度重構(gòu)裝置包括投影裝置和深度重構(gòu)單元；所述投影裝置包括光源及光柵，所述光柵用于刻錄編碼圖像，所述光源 用于將光柵上的編碼圖像投影到物面；所述深度重構(gòu)單元包括圖像傳感器及解碼模塊，所述圖像傳感器對物面 上所述編碼圖像進(jìn)行成像獲得成像圖像，所述解碼模塊對所述成像圖像進(jìn)行 解碼后，獲取所述物面圖像的深度信息。進(jìn)一步的，所述圖像傳感器為近紅外光圖像傳感器。進(jìn)一步的，所述裝置還包括圖像成像單元，所述圖像成像單元包括傳感器，用于獲取物面圖像；所述圖像成像單元還包括深度集成模塊及輸出顯示 模塊，所述深度集成模塊用于將所述圖像深度信息與所述物面圖像對應(yīng)，所 述輸出顯示模塊用于將圖像深度信息與所述物面圖像同時(shí)輸出。進(jìn)一步的，所述光柵包括帶鋸齒的子碼結(jié)構(gòu)，所述帶鋸齒的子碼結(jié)構(gòu)通 過橫向及縱向兩個(gè)方向上的透光部分與不透光部分比例來唯一識別。進(jìn)一步的，所述光柵還包括不帶帶鋸齒的子碼結(jié)構(gòu)，所述不帶鋸齒的子 碼結(jié)構(gòu)在橫向方向上透光部分和不透光部分的比例為一特定值。進(jìn)一步的，每個(gè)子碼在縱向上重復(fù)排列構(gòu)成一列子碼，所有列子碼在行 方向?qū)挾纫恢?。進(jìn)一步的，所述光柵由聯(lián)合碼構(gòu)成，所述聯(lián)合碼由至少兩個(gè)子碼組成， 所述if關(guān)合碼具備唯一性。進(jìn)一步的，所述聯(lián)合碼的第一個(gè)元素由設(shè)定子碼中的任意一個(gè)構(gòu)成，同 時(shí)所述聯(lián)合碼中的第二個(gè)元素由設(shè)定子碼中的任意一個(gè)構(gòu)成，以此類推，直 至第L個(gè)元素由設(shè)定子碼中的任意一個(gè)構(gòu)成；N為設(shè)定的子碼個(gè)數(shù)，L為從 N個(gè)子碼中進(jìn)行選擇構(gòu)成聯(lián)合碼的元素?cái)?shù)，則聯(lián)合碼的個(gè)數(shù)為N^個(gè)。進(jìn)一步的，所述光柵由兩組重復(fù)的聯(lián)合碼組成，并且兩組聯(lián)合碼在光柵 中心線兩側(cè)分布。為了解決上述技術(shù)問題，本發(fā)明還提供了一種投影裝置，包括光源及光 柵，所述光柵包括帶鋸齒的子碼結(jié)構(gòu)，所述帶鋸齒的子碼結(jié)構(gòu)不僅在橫向上 透光部分和不透光部分的比例為一特定值，而且在縱向上透光部分和不透光 部分的比例也為一特定值，由兩個(gè)方向上的比例值唯一的確定一個(gè)帶鋸齒的 子碼結(jié)構(gòu)。進(jìn)一步的，所述光柵結(jié)構(gòu)還包括不帶鋸齒的子碼結(jié)構(gòu)，所述不帶鋸齒的 子碼結(jié)構(gòu)在橫向上透光部分和不透光部分的比例為一特定值，由該特定值唯 一的標(biāo)識一個(gè)子石馬。進(jìn)一步的，所述光柵結(jié)構(gòu)中每個(gè)子碼在縱向上重復(fù)排列構(gòu)成一列子碼， 所有列子碼在行方向?qū)挾纫恢?。進(jìn)一步的，所述光柵由聯(lián)合碼構(gòu)成，所述聯(lián)合碼由至少兩個(gè)子碼組成，所述聯(lián)合碼具備唯一性。進(jìn)一步的，所述聯(lián)合碼的第一個(gè)元素由設(shè)定子碼中的任意一個(gè)組成，所 述聯(lián)合碼中的第二個(gè)元素由設(shè)定子碼中的任意一個(gè)組成，以此類推，直至第L個(gè)元素由設(shè)定子碼中的任意一個(gè)組成，N為設(shè)定的子碼個(gè)數(shù)，L為從N個(gè) 子碼中進(jìn)行選擇構(gòu)成聯(lián)合碼的元素?cái)?shù)，則聯(lián)合碼的個(gè)數(shù)為N^個(gè)。進(jìn)一步的，所述光4冊由兩組重復(fù)的聯(lián)合碼組成，并且兩組i[關(guān)合碼在所述 光4冊中心線兩側(cè)分布。本發(fā)明采用主動成像的方法，將特有的結(jié)構(gòu)光編碼復(fù)制在光柵上，利用 光學(xué)投影原理和光源將光柵上的編碼信息投射到物面上，通過另一個(gè)簡單的 成像設(shè)備如數(shù)字?jǐn)z像頭、數(shù)字?jǐn)z像機(jī)等對包含了結(jié)構(gòu)光信息的物體進(jìn)行成 像，并結(jié)合已知的編碼信息對圖像進(jìn)行分析和解碼，獲取物體上各個(gè)區(qū)域的 深度信息。這樣，本發(fā)明的裝置能夠?qū)崟r(shí)用單幅圖像獲取物體上各個(gè)區(qū)域的 深度信息，并且整個(gè)系統(tǒng)結(jié)構(gòu)簡單，且穩(wěn)定可靠，成本低廉，使用非常方便， 直接將攝像頭對著物體如人臉、人體等即可獲取其深度信息。這個(gè)系統(tǒng)輸出 的深度信息有著非常廣泛的應(yīng)用，如自動對焦、基于深度的人臉識別、基于 深度的人體動作識別、人臉動畫合成、不同深度的圖像融合等。


圖1為雙目立體^L覺的基本原理示意圖。圖2為現(xiàn)有的光柵結(jié)構(gòu)中子碼結(jié)構(gòu)示意圖。圖3為本發(fā)明物體圖像深度重構(gòu)裝置的系統(tǒng)框圖。圖4A為本發(fā)明一實(shí)施例的光柵采用的子碼結(jié)構(gòu)示意圖。圖4B為采用圖4A所示的子碼進(jìn)行編碼的光柵結(jié)構(gòu)局部示意圖。圖5為用投影裝置進(jìn)行投影，本發(fā)明的光柵結(jié)構(gòu)所形成的編碼示意圖。圖6為用投影裝置將光柵結(jié)構(gòu)形成的編碼投影到物面，用普通攝像頭拍 攝的圖像。
具體實(shí)施方式
本發(fā)明通過設(shè)置出更加容易區(qū)分的子碼，由所述子碼構(gòu)成光柵結(jié)構(gòu)，并 通過將所述光柵應(yīng)用到深度重構(gòu)裝置的投影裝置，從而使通過該光柵投影到 物面的光編碼圖像的各個(gè)部分具有更加顯著的區(qū)別特征，使根據(jù)光編碼圖像 進(jìn)行的解碼變得更加容易，從而使獲取物體上各個(gè)區(qū)域的深度信息的精度獲 得提高。下面結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)說明。參照圖3所示，為本發(fā)明物體圖像深度重構(gòu)裝置的系統(tǒng)框圖。整個(gè)系統(tǒng) 分為三部分，包括投影裝置IO、深度重構(gòu)單元11以及圖像成像模塊12。第一部分是投影裝置10,投影裝置10包括光源101，用于發(fā)出光線， 可以采用可見光，也可以采用非可見光波段的光源，如近紅外光等；聚光鏡 102,安裝在光源附近，用于將光源發(fā)出的光線聚集起來，投射到光柵上； 光柵103,用于刻錄結(jié)構(gòu)光編碼圖像；投影物鏡104，用于將光編碼圖像投 影到物面。投影裝置10通過光源101打光，經(jīng)聚光鏡102將光柵103上刻錄的結(jié) 構(gòu)光編碼圖像通過投影物鏡104投影到物面00;在本實(shí)施例中采用柯勒照 明方式將光柵103刻錄的內(nèi)容投影到目標(biāo)物面00上。第二部分是深度重構(gòu)單元11,深度重構(gòu)單元ll包括與光源相對應(yīng)的 圖像傳感器111,用于對物面00上的編碼圖像進(jìn)行成像；當(dāng)所述光源為近 紅外光源時(shí)，所述圖像傳感器111為近紅外圖像傳感器；圖像預(yù)處理模塊112, 用于對編碼圖像進(jìn)行預(yù)處理，包括亮度修正、噪聲消除等；解碼模塊113, 用于根據(jù)已有的編碼信息對圖像進(jìn)行解碼；深度獲取模塊114,用于 根據(jù)事先標(biāo)定的攝像頭參數(shù)進(jìn)行深度的重構(gòu)，獲取圖像中各個(gè)象素點(diǎn)的深度 數(shù)據(jù)。深度重構(gòu)單元11采用與光源相對應(yīng)的圖像傳感器111對物面OO上的編 碼圖像進(jìn)行成像，然后由圖像預(yù)處理模塊112對成像圖像進(jìn)行預(yù)處理，接著 由解碼模塊113根據(jù)已有的編碼信息對成像圖像進(jìn)行解碼，然后由深度獲取 模塊114根據(jù)事先標(biāo)定的攝像頭參數(shù)進(jìn)行深度的重構(gòu)，獲取成像圖像中各個(gè) 象素點(diǎn)的深度數(shù)據(jù)。第三部分則是常規(guī)的圖像成像單元12,圖像成像單元12包括可見光 圖像傳感器121，用于對物體進(jìn)行拍攝成像；圖像處理模塊122，用于對拍 攝成像后的物面圖像做自動曝光、自動白平衡、噪聲消除等常規(guī)圖像處理； 深度集成模塊123,用于將第二部分的深度獲取模塊114獲取的深度信息與 彩色圖像對應(yīng)起來，得到彩色物面圖像中各個(gè)象素點(diǎn)的深度；輸出顯示模塊 124,用于將物面圖像中各點(diǎn)的色度和深度同時(shí)輸出并顯示。圖像成像單元12采用可見光圖像傳感器121對物體進(jìn)行拍攝成像，并 由圖像處理模塊122做常規(guī)圖像處理，接著由深度集成模塊123將第二部分 獲取的深度信息與彩色圖像對應(yīng)起來，得到彩色物面圖像中各個(gè)象素點(diǎn)的深 度，最后由輸出顯示模塊124將物面圖像中各點(diǎn)的色度和深度同時(shí)輸出并顯 示，并有后續(xù)系統(tǒng)根據(jù)圖像的深度信息進(jìn)行更高層次的處理。需要說明的是，本發(fā)明中深度重構(gòu)單元11的與光源相對應(yīng)的圖像傳感 器111必須與光源的波段相對應(yīng)，如光源是近紅外光源，則該傳感器需要對 近紅外波段較敏感。下面將結(jié)合圖4A和圖4B對本發(fā)明的光柵結(jié)構(gòu)進(jìn)行詳細(xì)說明。本發(fā)明基于主動距離成像的原理提出了一種非常有效的編碼方法，并給 出相對應(yīng)的光柵結(jié)構(gòu)。參照圖4A所示，為本發(fā)明的光柵結(jié)構(gòu)所對應(yīng)的子碼 結(jié)構(gòu)示意圖。圖4A中給出了四個(gè)子碼，從上到下，從左至右分別表示為 Mp M2, M3, M4。這四個(gè)子碼采用了非常易解碼的二值編碼方式，即采用 亮暗兩類象素組成編碼圖像。每個(gè)子碼分別由透光部分(即亮區(qū))和不透光 部分(即暗區(qū))構(gòu)成。進(jìn)一步來說，本發(fā)明設(shè)置了兩種比較特別的子碼結(jié)構(gòu)，如圖中所示的子 碼M3， M4,在此稱之為帶鋸齒的子碼結(jié)構(gòu)。所述帶鋸齒的子碼結(jié)構(gòu)，其透 光部分和不透光部分具有以下特點(diǎn)每個(gè)子碼不僅在^f黃向方向上具有其特有 的亮區(qū)與暗區(qū)的比例，并且在縱向方向上也具有其特有的亮區(qū)與暗區(qū)的比 例，這樣，每個(gè)帶鋸齒的子碼結(jié)構(gòu)就通過橫向及縱向兩個(gè)方向上的亮區(qū)與暗 區(qū)比例來唯一識別。與現(xiàn)有的子碼結(jié)構(gòu)(如Mp ^2所示)相比，具有更加 顯著的區(qū)別特征。實(shí)際上，在實(shí)際應(yīng)用中對不同類子碼結(jié)構(gòu)及具體子碼數(shù)量的確定可以有多種選擇，子碼數(shù)量也可以為兩個(gè)以上的任意數(shù)，此時(shí)只要保證子碼結(jié)構(gòu)通 過其亮區(qū)和暗區(qū)的比例安排，來相互區(qū)別，使其與其它子碼相比，具有唯一 性的特征，從而在通過選擇的子碼構(gòu)成光柵后，使通過該光柵投影的編碼圖 像的各個(gè)部分具有唯一性的特征，以便于解碼時(shí)對所述編碼圖像的各個(gè)部分 進(jìn)行區(qū)分。圖4B為采用圖4A所示的子碼進(jìn)行編碼的光柵結(jié)構(gòu)局部示意圖，給出 了由這四個(gè)子碼組成的8列光柵結(jié)構(gòu)。在本實(shí)施例中，將圖4A所示的兩種新型的子碼結(jié)構(gòu)M3, M4,和現(xiàn)有 的子碼結(jié)構(gòu)Mp M2相結(jié)合，采用四個(gè)子碼結(jié)構(gòu)構(gòu)成光柵結(jié)構(gòu)。本實(shí)施例的 光柵采用列向編碼結(jié)構(gòu)，以與現(xiàn)有的將圖像數(shù)據(jù)進(jìn)行行掃描的圖像傳感器相 適應(yīng)，當(dāng)然，實(shí)際應(yīng)用中也可以采用行向編碼結(jié)構(gòu)，本發(fā)明并未對此加以限 定。如圖4B所示，為記錄方便，我們將圖4B所示的光柵結(jié)構(gòu)中每一列設(shè) 置一個(gè)序號，標(biāo)記為G, C2, ...， Q，在本實(shí)施例中〖等于8，各列序號 為1、 2、 3、 4、 5、 6、 7、 8。光柵結(jié)構(gòu)的具體構(gòu)成為將每個(gè)子碼在縱向上重復(fù)排列，形成一列光柵 結(jié)構(gòu)，整個(gè)光柵結(jié)構(gòu)由多列子碼構(gòu)成，每個(gè)子碼縱向上的高度不限定，但要 保持所有子碼在橫向上的寬度一致。如圖2B中列1由子碼M4構(gòu)成，列2 由子碼7^構(gòu)成，歹。3由子碼A/2構(gòu)成，列4由子碼A/4構(gòu)成，歹11 5由子碼 Jl^構(gòu)成，列6由子碼j仏構(gòu)成，列7由子碼A/4構(gòu)成，列8由子碼^/2構(gòu)成。 而列1至列8的寬度是一致的。這樣，本實(shí)施例的光柵，每列對應(yīng)一個(gè)子碼，每列由縱向上重復(fù)排列的 同一個(gè)子碼結(jié)構(gòu)組成，整個(gè)光柵編碼結(jié)構(gòu)由多列相同寬度的子碼構(gòu)成，其只 包含了少數(shù)子碼結(jié)構(gòu)。由于子碼數(shù)越少，解碼精度越高，所以本發(fā)明采用的 少數(shù)的子碼結(jié)構(gòu)，可以達(dá)到提高解碼精度的功效。由圖4B還可以看出，各列碼在行方向的寬度完全一致，且都是從亮點(diǎn) (對應(yīng)到結(jié)構(gòu)上即透光部分)開始，到另一碼的亮點(diǎn)結(jié)束?；谏鲜鎏攸c(diǎn)， 在解碼時(shí)只需要在成像圖像上橫向、等距離地找到亮暗分割點(diǎn)，就可以將各 個(gè)子碼區(qū)分開來，進(jìn)而根據(jù)各個(gè)子碼獨(dú)特的結(jié)構(gòu)特征，將成像圖像上的各點(diǎn)來。可以看出，通過釆用本發(fā)明設(shè)計(jì)的帶鋸齒的子 碼結(jié)構(gòu)和現(xiàn)有的子碼結(jié)構(gòu)相結(jié)合，可以使各列子碼具有更加突出的特征，更 容易加以區(qū)分識別，可以提高解碼精度。當(dāng)然，采用本實(shí)施例的子碼不重復(fù)的排列構(gòu)成光柵結(jié)構(gòu)，則光柵結(jié)構(gòu)僅為四列。圖4B示出了采用四個(gè)子碼進(jìn)行的一種特殊的編碼方法，將在下文 中詳細(xì)描述。在解碼時(shí)我們需要在成像圖像中確定各個(gè)條紋的位置(條紋和編碼中的 列對應(yīng))，對該條紋進(jìn)行解碼，確定其對應(yīng)著原始編碼圖像中的哪一列，得 到該列的序號，這樣才能在編碼圖像與成像圖像的各個(gè)象素點(diǎn)之間建立對應(yīng) 關(guān)系。也就是說成像圖像中各個(gè)條紋必須具備一個(gè)唯一的特征，在獲取該條 紋的位置，得到該條紋的特征后，根據(jù)該唯一性原則即可知道該條紋對應(yīng)的 編碼圖像的列的序號。我們在這個(gè)實(shí)施例中只采用了四個(gè)子碼，如果只用這四個(gè)子碼組成特 征，則整個(gè)光柵由四列子碼構(gòu)成，即只能找到四個(gè)唯一性特征，這是遠(yuǎn)遠(yuǎn)不 夠的。而要通過這少數(shù)的幾個(gè)子碼結(jié)構(gòu)來對圖像進(jìn)行區(qū)分，則要通過不同列子 碼結(jié)構(gòu)的組合形成整個(gè)光柵結(jié)構(gòu)，且不同子碼結(jié)構(gòu)的組合形態(tài)滿足唯一性原 則。在本實(shí)施中采用的方法是構(gòu)造聯(lián)合碼，每個(gè)聯(lián)合碼包括三列子碼，具 體構(gòu)造聯(lián)合碼的做法是在四列子碼中任意選取一列子碼作為聯(lián)合碼中的第 一個(gè)元素；在確定第一元素之后，在四列子碼中任意選取一列子碼作為聯(lián)合 碼中的第二個(gè)元素；在第一和第二元素確定之后，在四列子碼中任意選取一 列子碼作為聯(lián)合碼中的第三個(gè)元素。這樣，三列子碼組成一個(gè)聯(lián)合碼，并在 光刪結(jié)構(gòu)中，將每個(gè)聯(lián)合碼的元素連續(xù)布置，各個(gè)聯(lián)合碼共同構(gòu)成了光柵結(jié) 構(gòu)。例如圖4B所示的列1、列2、列3構(gòu)成一個(gè)聯(lián)合碼；列2、列3、列4 構(gòu)成一個(gè)聯(lián)合碼，依此類推。當(dāng)然，在實(shí)際應(yīng)用中由于子碼數(shù)量的不同，聯(lián)合碼的組成元素?cái)?shù)(即組 成一個(gè)聯(lián)合碼的子碼的數(shù)量)也可以為不同的數(shù)值。設(shè)組成一個(gè)聯(lián)合碼的元 素?cái)?shù)，也可以說子碼列數(shù)為丄，設(shè)所設(shè)定的子碼個(gè)數(shù)為N,則由所述N個(gè)子碼中選取Z列子碼構(gòu)造出的聯(lián)合碼的個(gè)數(shù)為W個(gè)。本發(fā)明的實(shí)施例中共采用4個(gè)子碼，由這4列子碼中選取3列構(gòu)成聯(lián)合 碼，即N-4， ￡ = 3，此時(shí)具備唯一性特征的聯(lián)合碼數(shù)等于43 = 64個(gè)，聯(lián)合 碼碼數(shù)達(dá)到了 64,由64個(gè)聯(lián)合碼組成的光柵結(jié)構(gòu)總共包括64歹ij (相鄰聯(lián) 合碼有重疊的列)，投影后形成的編碼圖像已經(jīng)可以覆蓋場景中的主要目標(biāo) 了。一般說來，在物體表面深度特征越復(fù)雜的區(qū)域，編碼投影到這個(gè)區(qū)域后 形變程度越大，解碼越復(fù)雜。由于各列子碼的解碼都存在一定的不確定性， 即子碼的識別不會完全準(zhǔn)確，因此如果聯(lián)合碼的組成元素?cái)?shù)，即每個(gè)聯(lián)合碼 所包含子碼列數(shù)丄值越大，會導(dǎo)致碼數(shù)急劇增加，解碼的不確定性也越明顯。 所以丄一般不能取太大。但Z太小，所能組成的聯(lián)合碼的總數(shù)就會過少，各 列碼寬度不變的情況下，光柵結(jié)構(gòu)投影后形成的編碼圖像過窄，能覆蓋目標(biāo) 面積變小，深度重構(gòu)效果不好?；诖丝紤]，本實(shí)施例還提出了一種不加大丄，但可將光柵列數(shù)翻倍的 方法，該方法首先獲取^列編碼，接著將這些編碼再重復(fù)一遍，這樣共可 以組成2xf列編碼。例如本實(shí)施例中當(dāng)丄=3時(shí)，光4冊列l(wèi)t為128,有128 個(gè)序號。此時(shí)有64對相同的聯(lián)合碼盡管序號不同，但他們的組成元素相同 及元素的排列一致，即每個(gè)聯(lián)合碼都會出現(xiàn)兩次，不過他們一個(gè)在光柵結(jié)構(gòu) 的中心線的左邊， 一個(gè)在光柵結(jié)構(gòu)的中心線的右邊。在投影時(shí)只需要盡量將 光柵結(jié)構(gòu)的中心線投影到物面的正中央，就可在解碼時(shí)根據(jù)各碼的水平坐標(biāo) 進(jìn)行約束，如某列條紋水平坐標(biāo)較小，則其解碼列序號也會小于41,如其水 平坐標(biāo)較大，則解碼列序號肯定大于41。由此即可實(shí)現(xiàn)整幅圖像的解碼。參照圖5所示，為用投影裝置進(jìn)行投影，本發(fā)明的光柵結(jié)構(gòu)所形成的編 碼示意圖。通過本發(fā)明圖3所示的投影裝置將圖5所示的光柵結(jié)構(gòu)所構(gòu)成的編碼圖 像投影到物面上后，再用攝像頭對物面進(jìn)行成像。圖6顯示了用投影裝置進(jìn) 行編碼投影，用普通攝像頭拍攝的圖像。從圖6可以看出，隨著深度的不同，成像圖像中完全垂直的條紋會發(fā)生 彎曲變形甚至折斷，有的地方條紋會變窄，有的地方條紋會變寬，可以說，對于實(shí)際場景中的物體，由于物面深度變化很復(fù)雜，物面上的條紋也會變得 非常復(fù)雜。但由于本發(fā)明所設(shè)計(jì)的光柵結(jié)構(gòu)的子碼結(jié)構(gòu)具有區(qū)分度高的特 點(diǎn)，因而能提高解碼精度。本發(fā)明采用列向的結(jié)構(gòu)光編碼，根據(jù)采集到的成像圖像中各列編碼的位 置與標(biāo)定數(shù)據(jù)的差異確定成像圖像各個(gè)象素點(diǎn)的深度，結(jié)合硬件電路實(shí)現(xiàn)圖 像的解碼，深度數(shù)據(jù)的重構(gòu)不需要依托任何復(fù)雜的計(jì)算設(shè)備如計(jì)算機(jī)等，完 全在硬件中實(shí)現(xiàn)，另外，本發(fā)明采用兩個(gè)圖像傳感器，分別對目標(biāo)物體和編 碼投影圖像感光。本發(fā)明在解碼的深度信息與由攝像機(jī)拍攝的物面圖像的各 個(gè)點(diǎn)之間建立對應(yīng)關(guān)系，從而獲取物面圖像中各個(gè)點(diǎn)的深度。與目前已有的3D重構(gòu)產(chǎn)品相比，本發(fā)明可結(jié)合普通的光源如近紅外光 源實(shí)現(xiàn)，光源簡單可靠，而成像設(shè)備只需要一定分辨率的普遍攝像頭即可， 整個(gè)裝置簡單可靠，成本低廉，使用方便，有著非常廣闊的應(yīng)用前景。最后所應(yīng)說明的是，以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限 制，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對本發(fā)明的技術(shù)方案進(jìn)行修改或 者等同替換，而不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明 的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1、一種基于視頻攝像設(shè)備的物體圖像深度重構(gòu)裝置，其特征在于，所述圖像深度重構(gòu)裝置包括投影裝置和深度重構(gòu)單元；所述投影裝置包括光源及光柵，所述光柵用于刻錄編碼圖像，所述光源用于將光柵上的編碼圖像投影到物面；所述深度重構(gòu)單元包括圖像傳感器及解碼模塊，所述圖像傳感器對物面上所述編碼圖像進(jìn)行成像獲得成像圖像，所述解碼模塊對所述成像圖像進(jìn)行解碼后，獲取所述物面圖像的深度信息。
2、 如權(quán)利要求l所述的裝置，其特征在于，所述圖像傳感器為近紅外 光圖像傳感器。
3、 如權(quán)利要求l所述的裝置，其特征在于，所述裝置還包括圖像成像 單元，所述圖像成像單元包括傳感器，用于獲取物面圖像；所述圖像成像單 元還包括深度集成模塊及輸出顯示模塊，所述深度集成模塊用于將所述圖像 深度信息與所述物面圖像對應(yīng)，所述輸出顯示模塊用于將圖像深度信息與所 述物面圖像同時(shí)輸出。
4、 如權(quán)利要求l所述的裝置，其特征在于，所述光柵包括帶鋸齒的子 碼結(jié)構(gòu)，所述帶鋸齒的子碼結(jié)構(gòu)通過橫向及縱向兩個(gè)方向上的透光部分與不 透光部分比例來唯一識別。
5、 如權(quán)利要求4所述的裝置，其特征在于，所述光柵還包括不帶帶鋸 齒的子碼結(jié)構(gòu)，所述不帶鋸齒的子碼結(jié)構(gòu)在橫向方向上透光部分和不透光部 分的比例為一特定值。
6、 如權(quán)利要求4或5所述的裝置，其特征在于，每個(gè)子碼在縱向上重 復(fù)排列構(gòu)成一列子碼，所有列子碼在行方向?qū)挾纫恢隆?br> 7、 如權(quán)利要求6所述的裝置，其特征在于，所述光柵由聯(lián)合碼構(gòu)成， 所述聯(lián)合碼由至少兩個(gè)子碼組成，所述聯(lián)合碼具備唯一性。
8、 如權(quán)利要求7所述的裝置，其特征在于，所述聯(lián)合碼的第一個(gè)元素 由設(shè)定子碼中的任意一個(gè)構(gòu)成，同時(shí)所述聯(lián)合碼中的第二個(gè)元素由設(shè)定子碼 中的任意一個(gè)構(gòu)成，以此類推，直至第L個(gè)元素由設(shè)定子碼中的任意一個(gè)構(gòu) 成；N為設(shè)定的子碼個(gè)數(shù)，L為從N個(gè)子碼中進(jìn)行選擇構(gòu)成聯(lián)合碼的元素?cái)?shù)， 則聯(lián)合碼的個(gè)數(shù)為NL個(gè)。
9、 如權(quán)利要求8所述的裝置，其特征在于，所述光柵由兩組重復(fù)的聯(lián) 合碼組成，并且兩組聯(lián)合碼在光柵中心線兩側(cè)分布。
10、 一種投影裝置，其特征在于，包括光源及光柵，所述光柵包括帶鋸 齒的子碼結(jié)構(gòu)，所述帶鋸齒的子碼結(jié)構(gòu)不僅在橫向上透光部分和不透光部分 的比例為一特定值，而且在縱向上透光部分和不透光部分的比例也為一特定 值，由兩個(gè)方向上的比例值唯一的確定一個(gè)帶鋸齒的子碼結(jié)構(gòu)。
11、 如權(quán)利要求IO所述的投影裝置，其特征在于，所述光柵結(jié)構(gòu)還包 括不帶鋸齒的子碼結(jié)構(gòu)，所述不帶鋸齒的子碼結(jié)構(gòu)在橫向上透光部分和不透 光部分的比例為一特定值，由該特定值唯一的標(biāo)識一個(gè)子碼。
12、 如權(quán)利要求10或11所述的投影裝置，其特征在于，所述光柵結(jié)構(gòu) 中每個(gè)子碼在縱向上重復(fù)排列構(gòu)成一列子碼，所有列子碼在行方向?qū)挾纫?致。
13、 如權(quán)利要求12所述的投影裝置，其特征在于，所述光柵由聯(lián)合碼 構(gòu)成，所述聯(lián)合碼由至少兩個(gè)子碼組成，所述聯(lián)合碼具備唯一性。
14、 如權(quán)利要求13所述的投影裝置，其特征在于，所述聯(lián)合碼的第一 個(gè)元素由設(shè)定子碼中的任意一個(gè)組成，所述聯(lián)合碼中的第二個(gè)元素由設(shè)定子 碼中的任意一個(gè)組成，以此類推，直至第L個(gè)元素由設(shè)定子碼中的任意一個(gè) 組成，N為設(shè)定的子碼個(gè)數(shù)，L為從N個(gè)子碼中進(jìn)行選擇構(gòu)成聯(lián)合碼的元素 數(shù)，則聯(lián)合碼的個(gè)數(shù)為NL個(gè)。
15、 如權(quán)利要求14所述的投影裝置，其特征在于，所述光柵由兩組重 復(fù)的聯(lián)合碼組成，并且兩組聯(lián)合碼在所述光柵中心線兩側(cè)分布。
全文摘要
本發(fā)明公開了一種基于視頻攝像設(shè)備的物體圖像深度重構(gòu)裝置及其投影裝置，所述圖像深度重構(gòu)裝置包括投影裝置和深度重構(gòu)單元；所述投影裝置包括光源及光柵，所述光柵用于刻錄編碼圖像，所述光源用于將光柵上的編碼圖像投影到物面；所述深度重構(gòu)單元包括圖像傳感器及解碼模塊，所述圖像傳感器對物面上所述編碼圖像進(jìn)行成像獲得成像圖像，所述解碼模塊對所述成像圖像進(jìn)行解碼后，獲取所述物面圖像的深度信息。所述投影裝置包括光源及光柵，所述光柵包括帶鋸齒的子碼結(jié)構(gòu)，所述帶鋸齒的子碼結(jié)構(gòu)由橫縱兩個(gè)方向上透光部分和不透光部分的比例唯一確定。本發(fā)明具有整個(gè)裝置結(jié)構(gòu)簡單，獲取的深度信息更加精確，使用方便的特點(diǎn)。
文檔編號G02B27/42GK101256672SQ20081010251
公開日2008年9月3日 申請日期2008年3月21日 優(yōu)先權(quán)日2008年3月21日
發(fā)明者謝東海, 英 黃 申請人:北京中星微電子有限公司