專利名稱：多視角大深度顯微立體視覺特征融合測量方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多視角大深度顯微立體視覺特征融合測量方法，該方法使用復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)采集多維空間立體圖像對，系統(tǒng)包括輔助條紋投影系統(tǒng)、三維操作臺(tái)、旋轉(zhuǎn)臺(tái)、橫向位移臺(tái)、體視顯微鏡和左、右相機(jī)(采用CCD相機(jī))，特別是涉及采用投影條紋圖像序列與多視角多深度面立體圖像序列的配準(zhǔn)、融合，以條紋作為輔助邊界條件確定原始圖像局部匹配，輸出條紋邊緣像素視差和局部原始圖像像素視差，實(shí)現(xiàn)高精度、無遮擋、大尺度的顯微立體測量。
背景技術(shù)：
體視顯微鏡具有兩套光路，呈一定夾角，可以與兩個(gè)相機(jī)組合后構(gòu)成顯微立體視覺系統(tǒng)，通過立體圖像對的匹配反求微觀對象的的三維立體結(jié)構(gòu)，在計(jì)算機(jī)中輸出立體圖形，可用于微觀對象的立體結(jié)構(gòu)測量，如長度、寬度、高度、表面粗糙度等等。目前，已有的體視顯微鏡視覺測量系統(tǒng)主要通過立體圖像對的匹配來實(shí)現(xiàn)，采用灰度匹配法、相關(guān)匹配法、模板匹配法等建立原始圖像的相似性評價(jià)，對其具有完全的依賴性?，F(xiàn)有測量方法最大的問題來自立體匹配算法本身具有的不足，微觀對象類型多種多樣，表現(xiàn)在透明度、顏色、反光度、大小、形狀等均存在差異，反應(yīng)在圖像中的目標(biāo)對象也存在差異性。現(xiàn)有匹配方法提取的信息僅僅依賴原始被測目標(biāo)，難以克服圖像信號(hào)廣義的差異性和隨機(jī)性，匹配結(jié)果中總出現(xiàn)大量的錯(cuò)匹配和誤匹配數(shù)據(jù)，無法保證匹配的精度，也導(dǎo)致重構(gòu)點(diǎn)云中存在大量的奇異點(diǎn)。因此，現(xiàn)有的基于原始圖像匹配的體視顯微鏡視覺測量技術(shù)仍然存在難以克服的技術(shù)瓶頸，其技術(shù)方案更無法從本質(zhì)上解決測量中出現(xiàn)的局部遮擋和大深度微觀對象的測量問題，在技術(shù)應(yīng)用上難以推廣。本發(fā)明對現(xiàn)有的體視顯微鏡視覺系統(tǒng)做了改進(jìn)，增加了輔助條紋投影系統(tǒng)，配合三維操作臺(tái)、旋轉(zhuǎn)臺(tái)、橫向位移臺(tái)以“桶形”方式采集空間位置的原始立體圖像對，從多個(gè)視點(diǎn)、多個(gè)深度面采集圖像，構(gòu)成空間圖像序列，包含了空間的多方位多深度信息，實(shí)現(xiàn)了帶有輔助條紋投影系統(tǒng)、三維操作臺(tái)、旋轉(zhuǎn)臺(tái)和橫向位移臺(tái)的復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)，以復(fù)合式視覺系統(tǒng)為基礎(chǔ)，在測量方法上進(jìn)行了創(chuàng)新。投影條紋作為人為增加的圖像特征參與平面多節(jié)點(diǎn)圖像的配準(zhǔn)和融合，獲取多視點(diǎn)多深度面的圖像清晰度信息，通過多維圖像融合解決測量中的遮擋、大深度測量問題。同時(shí)，建立左右條紋圖像的配準(zhǔn)關(guān)系，條紋是非常明顯的線性特征元素，現(xiàn)有圖像處理算法能夠精確計(jì)算條紋的邊緣像素視差，通過在圖像中增加條紋，能夠從本質(zhì)上解決現(xiàn)有的完全依賴匹配的測量系統(tǒng)中的錯(cuò)匹配和誤匹配，如果條紋間隔密集，直接通過條紋圖像處理即可給出精確的視差圖。以條紋邊緣作為邊界條件，條紋邊緣像素視差作為約束條件，建立局部小區(qū)域內(nèi)的原始目標(biāo)匹配關(guān)系，把立體匹配的區(qū)域加以限制，有效抑制錯(cuò)匹配和誤匹配的出現(xiàn)，原始目標(biāo)匹配結(jié)果作為輔助因素參與數(shù)據(jù)重構(gòu)，而條紋邊緣像素視差成為了主體，完全不同于現(xiàn)有的完全依賴匹配的解決方案，能夠從本質(zhì)上解決現(xiàn)有體視顯微鏡視覺系統(tǒng)測量方法存在的不足。

發(fā)明內(nèi)容
針對現(xiàn)有體視顯微鏡立體視覺測量法存在的問題，本發(fā)明推出了增加輔助條紋投影系統(tǒng)、三維操作臺(tái)、旋轉(zhuǎn)臺(tái)和橫向位移臺(tái)的復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)，使用該系統(tǒng)以“桶形”節(jié)點(diǎn)結(jié)構(gòu)采集原始立體圖像對，通過同一深度面不同節(jié)點(diǎn)位置處的原始圖像序列的配準(zhǔn)，輸出該深度面合成后的原始合成圖像，通過不同深度面原始合成圖像序列的融合，輸出融合后的原始融合圖像，使用該系統(tǒng)采集條紋圖像，以條紋邊緣像素視差為主體，條紋邊緣界定的局部限制區(qū)域內(nèi)原始圖像匹配結(jié)果為輔助，給出條紋復(fù)合的視差計(jì)算結(jié)果，其目的是解決現(xiàn)有體視顯微鏡立體視覺測量方法完全依賴原始圖像匹配而導(dǎo)致的大量錯(cuò)匹配和誤匹配現(xiàn)象，提高匹配精度，更進(jìn)一步解決該測量方式中存在的遮擋和大深度測量問題，通過條紋投影實(shí)現(xiàn)高精度匹配數(shù)據(jù)的輸出。本發(fā)明所涉及的多視角大深度顯微立體視覺特征融合測量方法，是由復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)，以“桶形”節(jié)點(diǎn)結(jié)構(gòu)采集原始立體圖像對，在計(jì)算機(jī)中對“桶形”節(jié)點(diǎn)圖像進(jìn)行處理，對同一深度面不同節(jié)點(diǎn)位置處的原始圖像序列進(jìn)行配準(zhǔn)，生成該深度面合成后的原始合成圖像，實(shí)現(xiàn)條紋參與的不同深度面圖像的匹配與融合，輸出條紋邊緣視差和局部限制區(qū)域內(nèi)的原始圖像視差，通過視覺反演計(jì)算空間坐標(biāo)，生成三維立體圖形、輸出三維立體信息。所述的多視角大深度顯微立體視覺特征融合測量方法包括以下步驟:1、“桶形”節(jié)點(diǎn)結(jié)構(gòu)原始圖像采集及條紋圖像采集復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)的主體為體視顯微鏡5，左相機(jī)6和右相機(jī)7分別固定于體視顯微鏡5的左相機(jī)固定架16與右相機(jī)固定架17上面,顯微物鏡18固定在體視顯微鏡5的下端，環(huán)形光源15固定在顯微物鏡18的下端。輔助條紋投影系統(tǒng)I (COHERENT公司生產(chǎn))產(chǎn)生投影條紋，固定在條紋投影系統(tǒng)光源支架2上，被測物體8置于旋轉(zhuǎn)臺(tái)9上面，旋轉(zhuǎn)臺(tái)9安放在橫向位移臺(tái)10上，條紋投影系統(tǒng)光源支架2和橫向位移臺(tái)10安放在載物臺(tái)3上。載物臺(tái)3與三維操作臺(tái)4固定，使載物臺(tái)3與三維操作臺(tái)4始終位于同一平面內(nèi)。移動(dòng)臺(tái)控制器14與三維操作臺(tái)4、旋轉(zhuǎn)臺(tái)9、橫向位移臺(tái)10連接并控制三維操作臺(tái)4、旋轉(zhuǎn)臺(tái)9、橫向位移臺(tái)10動(dòng)作。左相機(jī)6和右相機(jī)7通過USB 口與計(jì)算機(jī)11連接，移動(dòng)臺(tái)控制器14通過串口與計(jì)算機(jī)11通信。計(jì)算機(jī)11采集左相機(jī)6和右相機(jī)7中的立體圖像對并進(jìn)行處理，通過串行口控制移動(dòng)臺(tái)控制器14輸出脈沖信號(hào)，控制三維操作臺(tái)4沿深度面縱向圖像采集方向12移動(dòng)，控制旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13旋轉(zhuǎn)，控制橫向位移臺(tái)10沿與條紋垂直方向移動(dòng)，在深度面縱向圖像采集方向12和深度面平面圖像采集方向13上產(chǎn)生“桶形”節(jié)點(diǎn)。在復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)中，通過控制三維操作臺(tái)4和旋轉(zhuǎn)臺(tái)9實(shí)現(xiàn)被測物沿深度面縱向圖像采集方向12和深度面平面圖像采集方向13移動(dòng)，以“桶形”節(jié)點(diǎn)結(jié)構(gòu)采集原始立體圖像對。首先通過計(jì)算機(jī)11操作三維操作臺(tái)4和旋轉(zhuǎn)臺(tái)9，將被測物體8移動(dòng)到體視顯微鏡5的第I深度面第I節(jié)點(diǎn)位置K11,采集原始立體圖像對，使用體視顯微鏡5的聚焦面作為第I深度面Plane_l，第一深度面第一節(jié)點(diǎn)位置K11任意確定，然后控制旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13等角度旋轉(zhuǎn)，分別在節(jié)點(diǎn)位置K12、K13至Kin處等待一段時(shí)間，采集原始立體圖像對，節(jié)點(diǎn)間的角度α =360° /N。在第I深度面Plane_l采集完所有節(jié)點(diǎn)的原始立體圖像對后，調(diào)整旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13旋轉(zhuǎn)回第一深度面第一節(jié)點(diǎn)K11位置，然后調(diào)整三維操作臺(tái)4沿深度面縱向圖像采集方向12向上移動(dòng)，到達(dá)第2深度面Plane_2，控制旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13等角度旋轉(zhuǎn)，分別在K21、K22、K23至K2n處采集原始立體圖像對；依次類推，最后調(diào)整三維操作臺(tái)4沿深度面縱向圖像采集方向12向上移動(dòng)，到達(dá)第M深度面Plane_M，控制旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13等角度旋轉(zhuǎn)，分別在節(jié)點(diǎn)位置KM1、KM2、KM3至Kmn處等待一段時(shí)間，采集原始立體圖像對，完成整個(gè)“桶形”圖像采集過程。每個(gè)深度面對應(yīng)的第N個(gè)位置的節(jié)點(diǎn)，即K1N、K2n…Kmn節(jié)點(diǎn)在深度面縱向圖像采集方向上處于同一條直線；在每層深度面的第一節(jié)點(diǎn)位置采集的原始立體圖像對作為該深度面的左原始參考圖像和右原始參考圖像；同一深度面不同節(jié)點(diǎn)位置處的左原始圖像集合稱為該深度面的左原始圖像序列，同一深度面不同節(jié)點(diǎn)位置處的右原始圖像集合稱為該深度面的右原始圖像序列；輔助條紋投影系統(tǒng)I提供線結(jié)構(gòu)光來生成條紋圖像。在每層深度面的第一節(jié)點(diǎn)位置采集的原始立體圖像對作為該深度面的左原始參考圖像和右原始參考圖像，該深度面的左原始圖像序列Si以左原始參考圖像為基準(zhǔn)進(jìn)行配準(zhǔn)，合成為該深度面的左原始合成圖像，該深度面的右原始圖像序列S6的配準(zhǔn)與合成與左原始圖像序列SI的配準(zhǔn)與合成方法相同。在每層深度面的第一節(jié)點(diǎn)位置處采集條紋圖像對，通過計(jì)算機(jī)11控制橫向位移臺(tái)10帶動(dòng)旋轉(zhuǎn)臺(tái)9和被測物體8沿與條紋垂直方向一維等間隔移動(dòng)，間隔距離任意確定，在一維方向上從被測物體8的起始端到末端設(shè)置多個(gè)采集位置，每個(gè)位置上均采集條紋立體圖像對，如圖3所不,米集左條紋圖像lu、1l2、lu、Iy Ilv和右條紋圖像In1、Ike、1r3> Im…丨1 ，并按采集的先后順序編號(hào)，把各位置處的條紋圖像合成為該深度面的一幅左條紋參考圖像和一幅右條紋參考圖像。2、同一深度面不同節(jié)點(diǎn)位置處的原始圖像配準(zhǔn)使旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13等角度旋轉(zhuǎn)，對采集的同一深度面不同節(jié)點(diǎn)位置處的原始立體圖像對，采用通用的形狀匹配方法建立各節(jié)點(diǎn)位置處圖像的配準(zhǔn)。每一深度面第一節(jié)點(diǎn)位置采集的原始立體圖像對保存為左原始參考圖像和右原始參考圖像，左原始參考圖像和右原始參考圖像分別生成各自的模板圖像S21。通過形狀匹配方法計(jì)算左原始圖像序列SI的仿射參數(shù)S23，根據(jù)仿射參數(shù)對該深度面各節(jié)點(diǎn)位置處的圖像進(jìn)行變換，并與左原始參考圖像進(jìn)行配準(zhǔn)，生成該深度面的左原始合成圖像。該深度面的右原始合成圖像的生成方法與左原始合成圖像的生成方法相同。3、條紋圖像的合成與配準(zhǔn)同一深度面各位置處采集的左條紋圖像合成在一幅圖像中，形成該深度面的左條紋參考圖像，所有深度面的左條紋參考圖像的集合即為左深度面條紋參考圖像序列S5，通過對左深度面條紋參考圖像序列S5的融合而成為左條紋融合圖像S11，提取左條紋融合圖像Sll的邊緣，根據(jù)左條紋圖像采集時(shí)的編號(hào)尋找左條紋參考圖像的對應(yīng)條紋邊緣，保存像素位置，完成配準(zhǔn)。右條紋圖像的合成與配準(zhǔn)過程和左條紋圖像的合成與配準(zhǔn)過程相同。

4、基于深度面條紋參考圖像序列的不同深度面原始合成圖像序列的融合同一深度面不同節(jié)點(diǎn)位置處采集的原始立體圖像對經(jīng)過配準(zhǔn)之后成為描述該深度面360度整體信息的一幅原始合成圖像，對于大深度被測對象，需沿體視顯微鏡5中心軸的縱向設(shè)置多個(gè)深度面，在不同深度面上布置節(jié)點(diǎn)采集圖像，不同深度面的節(jié)點(diǎn)圖像經(jīng)過相同過程的配準(zhǔn)之后形成不同深度面的原始合成圖像序列S102。以不同深度面條紋參考圖像序列SlOl和不同深度面原始合成圖像序列S102作為輸入量，使用通用邊緣像素檢測方法提取深度面條紋參考圖像序列SlOl的邊緣，對圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格內(nèi)的邊緣梯度作為輸入量建立清晰度評價(jià)函數(shù)，然后計(jì)算出每層深度面圖像像素的清晰度，根據(jù)清晰度判別結(jié)果，對兩類圖像分別進(jìn)行融合，輸出融合后的條紋融合圖像和原始融合圖像。5、基于條紋參考圖像序列的原始立體圖像對局部匹配條紋參考立體圖像對經(jīng)過配準(zhǔn)后，輸出條紋邊緣像素對應(yīng)的視差。在左原始圖像中以相鄰條紋的相鄰邊緣為界線，獲得界線區(qū)域內(nèi)的左原始圖像像素，根據(jù)條紋所對應(yīng)的圖像采集時(shí)的編號(hào)，使用通用的立體匹配算法進(jìn)行局部匹配和約束檢測，再根據(jù)相鄰條紋的相鄰邊緣像素視差進(jìn)行檢驗(yàn)，完成局部匹配。右原始圖像的局部匹配過程與左原始圖像的局部匹配過程相同，最后輸出條紋邊緣像素視差值和局部區(qū)域內(nèi)左原始圖像和右原始圖像像素的視差值。6、三維數(shù)據(jù)計(jì)算三維操作臺(tái)使用多個(gè)步進(jìn)電機(jī)控制，能夠?qū)崟r(shí)提供空間位移，把三維操作臺(tái)的位移數(shù)據(jù)作為矯正和標(biāo)定用數(shù)據(jù)輸入視覺反演模型，同時(shí)把條紋邊緣像素視差和局部原始圖像像素視差也代入通用的視覺反演模型，三維操作臺(tái)的位移數(shù)據(jù)作為參考基準(zhǔn)修正視覺反演模型的計(jì)算結(jié)果，計(jì)算匹配像素對應(yīng)的物空間坐標(biāo)，輸出空間點(diǎn)云。7、輸出長度、寬度、高度和立體圖形通過三角剖分?jǐn)M合空間點(diǎn)云，對點(diǎn)云網(wǎng)格化，進(jìn)行點(diǎn)云位置約束檢測，剔除異常點(diǎn)，生成規(guī)則的立體圖形，輸出被測對象的長度、寬度和高度等立體信息。本發(fā)明所涉及的多視角大深度顯微立體視覺特征融合測量方法對現(xiàn)有的體視顯微鏡視覺系統(tǒng)做了改進(jìn)，增加輔助條紋投影系統(tǒng)1、三維操作臺(tái)4、旋轉(zhuǎn)臺(tái)9和橫向位移臺(tái)10構(gòu)成新的復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)。基于該系統(tǒng)提出了適用于大深度被測微觀對象的立體測量方法，通過“桶形”的原始圖像采集方式和條紋圖像的參與，形成了新的基于條紋圖像的配準(zhǔn)、合成和融合方法，克服了傳統(tǒng)匹配方法導(dǎo)致的大量錯(cuò)匹配和誤匹配現(xiàn)象，能夠輸出條紋視差數(shù)據(jù)和局部原始圖像視差數(shù)據(jù)。該方法能夠解決顯微立體測量中的遮擋和大尺度微觀對象精密測量問題，從本質(zhì)上克服現(xiàn)有體視顯微鏡視覺測量方法存在的技術(shù)瓶頸。


圖1為本發(fā)明涉及的復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)圖2為本發(fā)明涉及的“桶形”圖像采集結(jié)構(gòu)圖3為本發(fā)明涉及的原始立體圖像對和條紋立體圖像對結(jié)構(gòu)圖4為本發(fā)明涉及的多視角大深度顯微立體視覺特征融合測量方法組成圖5為本發(fā)明涉及的同一深度面不同節(jié)點(diǎn)位置處的圖像，即原始圖像序列的配準(zhǔn)方法圖6為本發(fā)明涉及的不同深度層圖像融合方法圖7為本發(fā)明涉及的條紋配準(zhǔn)和條紋邊界局部匹配方法
附圖中標(biāo)記說明1、輔助條紋投影系統(tǒng)2、條紋投影系統(tǒng)光源支架3、載物臺(tái)4、三維操作臺(tái)5、體視顯微鏡6、左相機(jī)7、右相機(jī)8、被測物體9、旋轉(zhuǎn)臺(tái)10、橫向位移臺(tái)11、計(jì)算機(jī)12、深度面縱向圖像采集方向13、深度面平面圖像采集方向14、移動(dòng)臺(tái)控制器15、環(huán)形光源16、左相機(jī)固定架17、右相機(jī)固定架18、顯微物鏡Kn、第I深度面第I節(jié)點(diǎn)位置K12、第I深度面第2節(jié)點(diǎn)位置Kin、第I深度面第N節(jié)點(diǎn)位置K21、第2深度面第I節(jié)點(diǎn)位置K22、第2深度面第2節(jié)點(diǎn)位置K2n、第2深度面第N節(jié)點(diǎn)位置Km1、第M深度面第I節(jié)點(diǎn)位置Km2、第M深度面第2節(jié)點(diǎn)位置Kw、第M深度面第N節(jié)點(diǎn)位置Plane_l、第 I 深度面Plane_2、第 2 深度面Plane_M、第 M 深度面P_l、第I深度面節(jié)點(diǎn)集合P_2、第2深度面節(jié)點(diǎn)集合P_M、第M深度面節(jié)點(diǎn)集合IL1、左原始圖像IR1、右原始圖像IL2、左條紋圖像IR2、右條紋圖像Iu、左條紋圖像中第I條條紋
左條紋圖像中第2條條紋Iu、左條紋圖像中第3條條紋、左條紋圖像中第4條條紋Iw、左條紋圖像中第V條條紋Ik1、右條紋圖像中第I條條紋Ik2、右條紋圖像中第2條條紋Ik3、右條紋圖像中第3條條紋1Κ4、右條紋圖像中第4條條紋Iw、右條紋圖像中第V條條紋
具體實(shí)施例方式現(xiàn)結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)闡述。圖1-圖7顯示本發(fā)明涉及的多視角大深度顯微立體視覺特征融合測量方法的流程圖，如圖所示，多視角大深度顯微立體視覺特征融合測量方法包括以下步驟:1、“桶形”節(jié)點(diǎn)結(jié)構(gòu)原始圖像采集及條紋圖像采集使用圖1中的復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)以“桶形”方式采集原始立體圖像對，體視顯微鏡5采用通用的雙目結(jié)構(gòu)式光學(xué)顯微鏡，左相機(jī)6和右相機(jī)7的分別率為1280X1024。移動(dòng)臺(tái)控制器14使用脈沖式可分頻的控制器，最高輸出頻率大于1MHz，三維操作臺(tái)4、旋轉(zhuǎn)臺(tái)9、橫向位移臺(tái)10通過步進(jìn)電機(jī)驅(qū)動(dòng)。輔助條紋投影系統(tǒng)I使用通用的線結(jié)構(gòu)光激光器(COHERENT公司生產(chǎn))，線寬小于25微米?！巴靶巍惫?jié)點(diǎn)結(jié)構(gòu)由深度面和節(jié)點(diǎn)構(gòu)成，通過計(jì)算機(jī)11控制三維操作臺(tái)4沿深度面縱向圖像采集方向12等間隔移動(dòng)，間隔距離任意確定，產(chǎn)生不同的參考面，第I深度面Plane_l是起始參考面，使用體視顯微鏡5的聚焦面作為第I深度面Plane_l，然后在第I深度面Plane_l上任意設(shè)定第一深度面第I節(jié)點(diǎn)K11,以K11為起點(diǎn)，通過計(jì)算機(jī)11控制旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13等角度旋轉(zhuǎn)，分別得到K12- Kin多個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)間的角度α =360° /N，在節(jié)點(diǎn)位置處停留一定時(shí)間，采集此處的原始立體圖像對。在第I深度面Plane_l采集完所有節(jié)點(diǎn)圖像后，調(diào)整旋轉(zhuǎn)臺(tái)9旋轉(zhuǎn)回第一深度面第一節(jié)點(diǎn)K11位置，然后通過計(jì)算機(jī)11控制三維操作臺(tái)4沿深度面縱向圖像采集方向12等間隔移動(dòng)，間隔角度任意確定，產(chǎn)生第2-第M深度面，在不同深度面上以與第I深度面相同的節(jié)點(diǎn)方式采集圖像，獲得其他深度面上各節(jié)點(diǎn)的原始立體圖像對。在每層深度面的第一節(jié)點(diǎn)位置采集的原始立體圖像對作為該深度面的左原始參考圖像和右原始參考圖像。各深度面的第一節(jié)點(diǎn)位置，即κη、κ21...κΜ1處采集的所有原始圖像的集合即為原始參考圖像序列，同一深度面不同節(jié)點(diǎn)位置，即Kn、KfK1N，K21、KyK2ir.KM1、KfKm處采集的所有原始圖像的集合即為該深度面的原始圖像序列。該深度面的左原始圖像序列Si以左原始參考圖像為基準(zhǔn)進(jìn)行配準(zhǔn)，合成為該深度面的左原始合成圖像，該深度面的右原始圖像序列S6的配準(zhǔn)與合成與左原始圖像序列SI的配準(zhǔn)與合成方法相同。在每層深度面的第一節(jié)點(diǎn)位置處采集條紋圖像，通過計(jì)算機(jī)11控制橫向位移臺(tái)10帶動(dòng)旋轉(zhuǎn)臺(tái)9和被測物體8沿與條紋垂直方向一維等間隔移動(dòng)，間隔距離任意確定，在一維方向上從被測物體8的起始端到末端設(shè)置多個(gè)采集位置，每個(gè)位置上均采集條紋立體圖像對，如圖3所不,米集左條紋圖像lu、1L2> 1L3> Im…Ilv和右條紋圖像lR1、1E2> 1R3> Im…1ι ，并按米集的先后順序編號(hào)，把各位置處的條紋圖像合成為該深度面的左條紋參考圖像和右條紋參考圖像。所有深度面的條紋參考圖像的集合即為條紋參考圖像序列S101。圖像采集的具體方法如下:(I)控制三維操作臺(tái)4移動(dòng)，把被測對象調(diào)整到體視顯微鏡5物空間的中心位置，然后調(diào)整三維操作臺(tái)4沿深度面縱向圖像采集方向12移動(dòng)，確定第I深度面Plane_l為體視顯微鏡5的聚焦面；(2)輔助條紋投影系統(tǒng)I使用激光線結(jié)構(gòu)光光源。關(guān)閉體視顯微鏡5的環(huán)形光源15，啟動(dòng)輔助條紋投影系統(tǒng)1，在第I深度面Plane_l中，通過計(jì)算機(jī)11控制橫向位移臺(tái)10帶動(dòng)旋轉(zhuǎn)臺(tái)9和被測物體8沿與條紋垂直方向一維等間隔移動(dòng)，間隔距離任意確定，在每個(gè)位置均采集一次條紋立體圖像對，采集完畢后合成，把所有條紋放置在同一立體圖像對中，并記錄各位置圖像對應(yīng)的編號(hào)Iu- 1LV, Ie1-1ev ;
(3)開啟環(huán)形光源15，關(guān)閉輔助條紋投影系統(tǒng)1，在第I深度面Plane_l中，沿深度面平面圖像采集方向13調(diào)整旋轉(zhuǎn)臺(tái)9，在第I深度面Plane_l中第I節(jié)點(diǎn)位置K11處采集原始立體圖像對，第一深度面第一節(jié)點(diǎn)位置K11任意確定，原始圖像為不包含條紋的被測對象的圖像。然后控制旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13間隔旋轉(zhuǎn)，間隔角度α =360° /N，分別在節(jié)點(diǎn)位置K12-Kin處采集原始立體圖像對，保存圖像，記錄下圖像的編號(hào)。采集完第I深度面Plane_l的所有節(jié)點(diǎn)圖像后，調(diào)整旋轉(zhuǎn)臺(tái)9沿深度面平面圖像采集方向13旋轉(zhuǎn)回第一深度面第一節(jié)點(diǎn)K11位置；(4)控制三維操作臺(tái)4沿深度面縱向圖像采集方向12移動(dòng)，分別在第2參考面Plane_2-第M參考面Plane_M中以圖像在第I參考面Plane_l中的方式采集條紋和原始圖像，獲得一系列節(jié)點(diǎn)位置處的原始立體圖像對；(5)圖像采集完畢后，節(jié)點(diǎn)按圖2所示的“桶形”結(jié)構(gòu)排列。2、同一深度面不同節(jié)點(diǎn)位置處的原始圖像配準(zhǔn)從左原始參考圖像序列S4中選擇各深度面的左原始參考圖像并生成模板圖像S21,采用通用的形狀匹配方法S22，如灰度匹配、相關(guān)匹配、特征匹配等建立同一深度面不同節(jié)點(diǎn)位置處圖像的特征模板匹配關(guān)系，計(jì)算左原始圖像序列SI的仿射參數(shù)S23，根據(jù)仿射參數(shù)把該深度面各節(jié)點(diǎn)位置處的左原始圖像與該深度面的左原始參考圖像進(jìn)行配準(zhǔn)，合成為該深度面對應(yīng)的左原始合成圖像。該深度面的右原始合成圖像的生成方法與左原始合成圖像的生成方法相同。所有深度面的原始合成圖像的集合即為原始合成圖像序列S102。3、條紋圖像的合成與配準(zhǔn)通過計(jì)算機(jī)11控制橫向位移臺(tái)10帶動(dòng)旋轉(zhuǎn)臺(tái)9和被測物體8沿與條紋垂直方向一維等間隔移動(dòng)，間隔距離任意確定，在一維方向上從被測物體8的起始端到末端設(shè)置多個(gè)采集位置，如圖3所示，每一次采集的條紋立體圖像對均保存為左條紋圖像和右條紋圖像。將此深度面各位置處采集的左條紋圖像合成在一幅圖像中，形成該深度面的左條紋參考圖像，所有深度面的左條紋參考圖像的集合即為左深度面條紋參考圖像序列S5，通過對左深度面條紋參考圖像序列S5的融合而成為左條紋融合圖像S11，左條紋融合圖像Sll包含了清晰的條紋，采用通用的邊緣提取方法，如小波變換法、神經(jīng)網(wǎng)絡(luò)法、Sobel算子等提取左條紋融合圖像Sll的邊緣，根據(jù)左條紋圖像采集時(shí)的編號(hào)建立左條紋圖像中邊緣的一對一配準(zhǔn)關(guān)系。右條紋圖像的合成與配準(zhǔn)過程和左條紋圖像的合成與配準(zhǔn)過程相同。最后輸出左圖像中條紋像素與右圖像中條紋像素之間的視差。4、基于深度面條紋參考圖像序列的不同深度面原始合成圖像序列的融合條紋參考圖像序列SlOl包括左深度面條紋參考圖像序列S5和右深度面條紋參考圖像序列S9，每層深度面條紋參考圖像序列SlOl的清晰度與同層深度面原始合成圖像序列S102具有相同的清晰度分布規(guī)律。采用通用的邊緣提取方法，如小波變換法、神經(jīng)網(wǎng)絡(luò)法、Sobel算子等提取不同深度層的條紋參考圖像序列SlOl的邊緣，對每一深度面的整幅圖像進(jìn)行網(wǎng)格劃分?；诰W(wǎng)格中的邊緣梯度使用通用清晰度評價(jià)函數(shù)確定圖像清晰度，剔除圖像中不清晰的網(wǎng)格，保留圖像清晰的部分，然后對不同深度層對準(zhǔn)后的原始合成圖像序列S102進(jìn)行融合，輸出最后的融合后圖像S104。不同深度層的條紋參考圖像序列SlOl的融合過程同步進(jìn)行，輸出左右條紋融合圖像Sll和S14。5、基于條紋參考圖像序列的原始立體圖像對局部匹配根據(jù)左條紋融合圖像Sll與右條紋融合圖像S12包含的條紋邊緣線，相鄰的兩條條紋具有四條邊緣，中間相鄰邊緣之間的區(qū)域未被條紋覆蓋，以這兩條邊緣作為區(qū)域界線，確定局部區(qū)域，左原始圖像和右原始圖像劃分過程相同。在左原始融合圖像S12與右原始融合圖像S13中提取局部區(qū)域中的像素，局部區(qū)域的編號(hào)與條紋所對應(yīng)的圖像采集時(shí)的編號(hào)一致，采用通用的匹配方法，如相關(guān)法、灰度匹配法、特征匹配法等建立左原始圖像和右原始圖像對應(yīng)局部區(qū)域原始圖像的匹配關(guān)系，輸出左原始圖像和右原始圖像匹配點(diǎn)的視差。如果條紋足夠密集，局部區(qū)域的兩邊緣界線視差梯度和區(qū)域內(nèi)像素原始圖像像素的視差梯度滿足線性關(guān)系，依據(jù)此條件對輸出的原始圖像匹配點(diǎn)進(jìn)行檢驗(yàn)，剔除線性度較差的異常像素。6、三維數(shù)據(jù)計(jì)算三維操作臺(tái)4使用多個(gè)步進(jìn)電機(jī)控制，能夠?qū)崟r(shí)提供空間位移。把三維操作臺(tái)4的位移數(shù)據(jù)作為矯正和標(biāo)定用數(shù)據(jù)輸入視覺反演模型。以條紋邊緣像素視差為主體，原始圖像匹配像素視差為輔助，采用通用視覺反演模型，如透視投影模型、小孔成像模型等計(jì)算條紋匹配像素與原始圖像匹配像素對應(yīng)的空間點(diǎn)坐標(biāo)，輸出空間點(diǎn)云。以條紋邊緣像素視差為主、原始圖像視差為輔的方法能夠滿足更多的重構(gòu)環(huán)境，在條紋較稀疏時(shí)同樣可用，區(qū)別于傳統(tǒng)體視顯微鏡視覺測量完全依賴原始圖像匹配像素的方法，保證更高的數(shù)據(jù)重構(gòu)精度。7、輸出長度、寬度、高度和立體圖形通過三角剖分?jǐn)M合空間點(diǎn)云，對點(diǎn)云網(wǎng)格化，進(jìn)行點(diǎn)云位置約束檢測，剔除異常點(diǎn)，生成規(guī)則的立體圖形，輸出被測對象的長度、寬度和高度等立體信息。對本領(lǐng)域的技術(shù)人員來說，很明顯，本發(fā)明可以做出多種改進(jìn)和變化，只要落入所附的權(quán)利要求書及其等同的范圍內(nèi)，本發(fā)明就涵蓋本發(fā)明的這些改進(jìn)和變化。
權(quán)利要求
1.一種多視角大深度顯微立體視覺特征融合測量方法，其特征在于，包括以下步驟:使用復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)以“桶形”方式采集原始立體圖像對，復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)包括輔助條紋投影系統(tǒng)(I)、三維操作臺(tái)(4)、體視顯微鏡(5)、左相機(jī)(6)和右相機(jī)(7),主體為體視顯微鏡(5),左相機(jī)(6)和右相機(jī)(7)分別固定于體視顯微鏡(5)的左相機(jī)固定架(16)與右相機(jī)固定架(17)上面,顯微物鏡(18)固定在體視顯微鏡(5)的下端，環(huán)形光源(15)固定在顯微物鏡(18)的下端；輔助條紋投影系統(tǒng)(I)固定在條紋投影系統(tǒng)光源支架(2)上，被測物體(8)置于旋轉(zhuǎn)臺(tái)(9)上面，旋轉(zhuǎn)臺(tái)(9)安放在橫向位移臺(tái)(10 )上，條紋投影系統(tǒng)光源支架(2 )和橫向位移臺(tái)(10 )安放在載物臺(tái)(3 )上；載物臺(tái)(3)與三維操作臺(tái)(4)固定，使載物臺(tái)(3)與三維操作臺(tái)(4)始終位于同一平面內(nèi)；移動(dòng)臺(tái)控制器(14 )與三維操作臺(tái)(4 )、旋轉(zhuǎn)臺(tái)(9 )、橫向位移臺(tái)(10 )連接并控制三維操作臺(tái)(4)、旋轉(zhuǎn)臺(tái)(9)、橫向位移臺(tái)(10)動(dòng)作；左相機(jī)(6)和右相機(jī)(7)與計(jì)算機(jī)(11)連接，移動(dòng)臺(tái)控制器(14)通過串口與計(jì)算機(jī)(11)通信；計(jì)算機(jī)(11)采集左相機(jī)(6)和右相機(jī)(7)中的立體圖像對并進(jìn)行處理，通過串行口控制移動(dòng)臺(tái)控制器(14)輸出脈沖信號(hào)，控制三維操作臺(tái)(4)沿深度面縱向圖像采集方向(12)移動(dòng)，控制旋轉(zhuǎn)臺(tái)(9)沿深度面平面圖像采集方向(13)旋轉(zhuǎn)，控制橫向位移臺(tái)(10)沿與條紋垂直方向移動(dòng)，在深度面縱向圖像采集方向(12)和深度面平面圖像采集方向(13)上產(chǎn)生“桶形”節(jié)點(diǎn)； 該方法包括以下步驟: 1)、“桶形”節(jié)點(diǎn)結(jié)構(gòu)原始圖像采集及條紋圖像采集:在復(fù)合式體視顯微鏡顯微立體視覺測量系統(tǒng)中，通過控制三維操作臺(tái)(4)和旋轉(zhuǎn)臺(tái)(9)實(shí)現(xiàn)被測物沿深度面縱向圖像采集方向(12)和深度面平面圖像采集方向(13)移動(dòng)，以“桶形”節(jié)點(diǎn)結(jié)構(gòu)采集原始立體圖像對；首先通過計(jì)算機(jī)(11)操作三維操作臺(tái)(4)和旋轉(zhuǎn)臺(tái)(9)，將被測物體(8)移動(dòng)到體視顯微鏡 (5)的第I深度面第I節(jié)點(diǎn)位置K11,采集原始立體圖像對，使用體視顯微鏡(5)的聚焦面作為第I深度面Plane_l，第一深度面第一節(jié)點(diǎn)位置K11任意確定，然后控制旋轉(zhuǎn)臺(tái)(9)沿深度面平面圖像采集方向(13)等角度旋轉(zhuǎn)，分別在節(jié)點(diǎn)位置K12、K13至Kin處等待一段時(shí)間，采集原始立體圖像對，節(jié)點(diǎn)間的角度α =360° /N ;在第I深度面Plane_l采集完所有節(jié)點(diǎn)的原始立體圖像對后，調(diào)整旋轉(zhuǎn)臺(tái)(9)沿深度面平面圖像采集方向(13)旋轉(zhuǎn)回第一深度面第一節(jié)點(diǎn)K11位置，然后調(diào)整三維操作臺(tái)(4)沿深度面縱向圖像采集方向(12)向上移動(dòng)，到達(dá)第2深度面Plane_2，控制旋轉(zhuǎn)臺(tái)(9)沿深度面平面圖像采集方向(13)等角度旋轉(zhuǎn)，分別在K21、K22, K23至K2n處采集原始立體圖像對，依次類推，最后調(diào)整三維操作臺(tái)(4)沿深度面縱向圖像采集方向(12)向上移動(dòng)，到達(dá)第M深度面Plane_M，控制旋轉(zhuǎn)臺(tái)(9)沿深度面平面圖像采集方向(13)等角度旋轉(zhuǎn)，分別在節(jié)點(diǎn)位置KM1、KM2、KM3至Kmn處等待一段時(shí)間，采集原始立體圖像對，完成整個(gè)“桶形”圖像采集過程；每個(gè)深度面對應(yīng)的第N個(gè)位置的節(jié)點(diǎn)，即K1N、KfKm節(jié)點(diǎn)在深度面縱向圖像采集方向(12)上處于同一條直線； 在每層深度面的第一節(jié)點(diǎn)位置采集的原始立體圖像對作為該深度面的左原始參考圖像和右原始參考圖像；同一深度面不同節(jié)點(diǎn)位置處的左原始圖像集合稱為該深度面的左原始圖像序列，同一深度面不同節(jié)點(diǎn)位置處的右原始圖像集合稱為該深度面的右原始圖像序列；該深度面的左原始圖像序列(SI)以左原始參考圖像為基準(zhǔn)進(jìn)行配準(zhǔn)，合成為一幅該深度面的左原始合成圖像，該深度面的右原始圖像序列(S6)的配準(zhǔn)與合成與左原始圖像序列(SI)的配準(zhǔn)與合成方法相同；在每層深度面的第一節(jié)點(diǎn)位置處采集條紋圖像，通過計(jì)算機(jī)(11)控制橫向位移臺(tái)(10)帶動(dòng)旋轉(zhuǎn)臺(tái)(9)和被測物體(8)沿與條紋垂直方向一維等間隔移動(dòng)，間隔距離任意確定，在一維方向上從被測物體的起始端到末端設(shè)置多個(gè)采集位置，每個(gè)位置上均采集條紋立體圖像對，采集左條紋圖像lu、1L2> 1L3> Im…和右條紋圖像1K1、,1E2> 1E3> Ik4…U，并按采集的先后順序編號(hào)，把各位置處的條紋圖像合成為該深度面的一幅左條紋參考圖像和一幅右條紋參考圖像； ,2)、同一深度面不同節(jié)點(diǎn)位置處的原始圖像配準(zhǔn):使旋轉(zhuǎn)臺(tái)(9)沿深度面平面圖像采集方向(13)等角度旋轉(zhuǎn)，對采集的同一深度面不同節(jié)點(diǎn)位置處的原始立體圖像對，采用通用的形狀匹配方法建立各節(jié)點(diǎn)位置處圖像的配準(zhǔn)；每一深度面第一節(jié)點(diǎn)位置采集的原始立體圖像對保存為左原始參考圖像和右原始參考圖像，左原始參考圖像和右原始參考圖像分別生成各自的模板圖像(S21);通過形狀匹配方法計(jì)算左原始圖像序列(SI)的仿射參數(shù)(S23)，根據(jù)仿射參數(shù)對該深度面各節(jié)點(diǎn)位置處的圖像進(jìn)行變換，并與左原始參考圖像進(jìn)行配準(zhǔn)，生成該深度面的左原始合成圖像；該深度面的右原始合成圖像的生成方法與左原始合成圖像的生成方法相同； , 3)、條紋圖像的合成與配準(zhǔn):同一深度面各位置處采集的左條紋圖像合成在一幅圖像中，形成該深度面的左條紋參考圖像，所有深度面的左條紋參考圖像的集合即為左深度面條紋參考圖像序列(S5)，通過對左深度面條紋參考圖像序列(S5)的融合而成為左條紋融合圖像(S11)，提取左條紋融合圖像(Sll)的邊緣，根據(jù)左條紋圖像采集時(shí)的編號(hào)尋找左條紋參考圖像的對應(yīng)條紋邊緣，保存像素位置，完成配準(zhǔn)；右條紋圖像的合成與配準(zhǔn)過程和左條紋圖像的合成與配準(zhǔn)過程相同； , 4)、基于深度面條紋參考圖像序列的不同深度面原始合成圖像序列的融合:同一深度面不同節(jié)點(diǎn)位置處采集的原始立體圖像對經(jīng)過配準(zhǔn)之后成為描述該深度面360度整體信息的一幅原始合成圖像，對于大深度被測對象，需沿體視顯微鏡(5)中心軸的縱向設(shè)置多個(gè)深度面，在不同深度面上布置節(jié)點(diǎn)采集圖像，不同深度面的節(jié)點(diǎn)圖像經(jīng)過相同過程的配準(zhǔn)之后形成不同深度面的原始合成圖像序列；以不同深度面條紋參考圖像序列和不同深度面原始合成圖像序列作為輸入量，使用通用邊緣像素檢測方法提取深度面條紋參考圖像序列的邊緣，對圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格內(nèi)的邊緣梯度作為輸入量建立清晰度評價(jià)函數(shù)，然后根據(jù)評價(jià)函數(shù)判別每層深度面圖像像素的清晰度，再根據(jù)判別結(jié)果對兩類圖像分別進(jìn)行融合，輸出融合后的條紋融合圖像和原始融合圖像； ,5)、基于條紋參考圖像序列的原始立體圖像對局部匹配:條紋參考立體圖像對經(jīng)過配準(zhǔn)后，輸出條紋邊緣像素對應(yīng)的視差；在左原始圖像中以相鄰條紋的相鄰邊緣為界線，獲得界線區(qū)域內(nèi)的左原始圖像像素，根據(jù)條紋所對應(yīng)的圖像采集時(shí)的編號(hào)，使用通用的立體匹配算法進(jìn)行局部匹配和約束檢測，再根據(jù)相鄰條紋的相鄰邊緣像素視差進(jìn)行檢驗(yàn)，完成局部匹配；右原始圖像的局部匹配過程與左原始圖像的局部匹配過程相同，最后輸出條紋邊緣像素視差值和局部區(qū)域內(nèi)左原始圖像和右原始圖像像素的視差值； ,6)、三維數(shù)據(jù)計(jì)算:三維操作臺(tái)使用多個(gè)步進(jìn)電機(jī)控制，能夠?qū)崟r(shí)提供空間位移，把三維操作臺(tái)的位移數(shù)據(jù)作為矯正和標(biāo)定用數(shù)據(jù)輸入視覺反演模型，同時(shí)把條紋邊緣像素視差和局部原始圖像像素視差也代入通用的視覺反演模型，三維操作臺(tái)的位移數(shù)據(jù)作為參考基準(zhǔn)修正視覺反演模型的計(jì)算結(jié)果，計(jì)算匹配像素對應(yīng)的物空間坐標(biāo)，輸出空間點(diǎn)云； , 7 )、輸出長度、寬度、高度和立體圖形:通過三角剖分?jǐn)M合空間點(diǎn)云，對點(diǎn)云網(wǎng)格化，進(jìn)行點(diǎn)云位置約束檢測，剔除異常點(diǎn)，生成規(guī)則的立體圖形，輸出包括被測對象的長度、寬度和高度的立體信 息。
全文摘要
本發(fā)明涉及一種多視角大深度顯微立體視覺特征融合測量方法，該方法使用復(fù)合式體視顯微鏡視覺系統(tǒng)，以“桶式”節(jié)點(diǎn)結(jié)構(gòu)采集原始立體圖像對，通過同一深度面不同節(jié)點(diǎn)位置處圖像的配準(zhǔn)、條紋配準(zhǔn)、不同深度面原始合成圖像序列的融合、原始圖像局部匹配，提供準(zhǔn)確的匹配視差數(shù)據(jù)，能夠重構(gòu)高精度的三維圖形。該方法能夠解決顯微立體測量中的遮擋和大尺度微觀對象精密視覺測量問題，從本質(zhì)上克服現(xiàn)有體視顯微鏡視覺測量方法存在的技術(shù)瓶頸。
文檔編號(hào)G01B11/02GK103075960SQ201210583760
公開日2013年5月1日 申請日期2012年12月30日 優(yōu)先權(quán)日2012年12月30日
發(fā)明者王躍宗, 殷文佳, 張稱稱, 馬國棟 申請人:北京工業(yè)大學(xué)