納米尺度下的實(shí)時(shí)三維視覺信息反饋方法
【專利摘要】本發(fā)明的目的在于提供一種納米尺度下的實(shí)時(shí)三維視覺信息反饋方法，該方法采用基于實(shí)時(shí)視覺跟蹤的自適應(yīng)圖像采集策略，控制SEM在成像過程中僅掃描操作工具和納米器件所在的局部區(qū)域，以有效減少SEM成像過程中掃描的像素?cái)?shù)，從而在保證圖像質(zhì)量的前提下，提高成像的速度，并利用通用成像模型對SEM成像系統(tǒng)參數(shù)進(jìn)行標(biāo)定；此基礎(chǔ)上，根據(jù)快速獲取的SEM圖像序列對運(yùn)動(dòng)過程中的操作工具和納米器件進(jìn)行實(shí)時(shí)連續(xù)的三維重建，從而最終實(shí)現(xiàn)納米尺度下的實(shí)時(shí)三維視覺信息反饋。
【專利說明】納米尺度下的實(shí)時(shí)三維視覺信息反饋方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于微納制造過程檢測與控制領(lǐng)域，具體涉及一種納米尺度下的實(shí)時(shí)三維視覺息反饋方法。
【背景技術(shù)】
[0002]自動(dòng)納米操作是實(shí)現(xiàn)規(guī)模化納米制造的關(guān)鍵。目前，納米操作雖然已在納米器件制造、納米材料特性研究和生物操作等領(lǐng)域得到了應(yīng)用，但是由于納米器件在操作過程中受各種非線性力和熱漂移的影響，位置具有很大的不確定性，致使納米操作的可靠性和效率仍存在諸多基礎(chǔ)問題，嚴(yán)重制約了納米制造的自動(dòng)化和規(guī)模化，影響了納米制造技術(shù)的推廣應(yīng)用。實(shí)時(shí)三維視覺信息反饋能夠在操作過程中實(shí)時(shí)反饋操作裝置和納米器件的空間三維位姿(位置和姿態(tài))，為實(shí)現(xiàn)自動(dòng)納米操作提供重要的控制信息，因此已成為實(shí)現(xiàn)納米操作自動(dòng)化和規(guī)?；璧年P(guān)鍵技術(shù)。
[0003]納米操作系統(tǒng)是多種技術(shù)的有機(jī)集成，隨著對納米操作技術(shù)潛在應(yīng)用領(lǐng)域的不斷認(rèn)識(shí)，納米操作技術(shù)得到了快速發(fā)展，出現(xiàn)了多種納米操作系統(tǒng)，其中基于原子力顯微鏡(Atomic Force Microscope, AFM)的納米操作系統(tǒng)和基于掃描電子顯微鏡(ScanningElectron Microscope, SEM)的納米操作系統(tǒng)使用最為廣泛。AFM既能進(jìn)行高分辨率、高精度的納米操作，也能在多種環(huán)境下對納米尺度的物體進(jìn)行觀測，被廣泛應(yīng)用于在平面上對納米對象進(jìn)行機(jī)械操作(如操縱納米粒子、碳納米管和生物對象等)；然而，受AFM自身特點(diǎn)的限制，使用AFM只能順序地進(jìn)行操作和觀測，難以實(shí)現(xiàn)實(shí)時(shí)的信息反饋。為了解決此問題，相關(guān)研究單位借鑒機(jī)器人監(jiān)控作業(yè)方法，在商用AFM系統(tǒng)基礎(chǔ)上，通過加入操作力分析模型、位姿生成模型和實(shí)時(shí)信息交互等功能模塊，使用虛擬現(xiàn)實(shí)技術(shù)為操作者提供基于模型的實(shí)時(shí)視覺信息反饋，在一定程度上提高了這種納米操作系統(tǒng)的效率。但是由于在納米尺度下各種非線性力和熱漂移對納米器件的影響非常復(fù)雜，很難建立精確的物理模型以預(yù)測納米器件的真實(shí)位姿，因此該方法易受錯(cuò)誤視覺反饋信息的影響而導(dǎo)致納米操作失敗。
[0004]基于SEM的納米操作系統(tǒng)在SEM工作腔內(nèi)使用操作工具(納米機(jī)器人或AFM)對納米器件進(jìn)行操作。由于SEM工作腔的空間較大，能夠同時(shí)容納多個(gè)操作工具；并且SEM具有分辨率高、景深大等特點(diǎn)，能夠直接為納米機(jī)器人或AFM等納米操作裝置提供視覺信息反饋；因此，基于SEM的納米操作系統(tǒng)已成為最具有實(shí)現(xiàn)自動(dòng)納米操作潛力的納米操作系統(tǒng)。但是目前大部分研究機(jī)構(gòu)仍然只能借助SEM拍攝的圖像獲取二維的視覺反饋結(jié)果，并使用人工遙控的方式控制納米操作過程。綜上，為運(yùn)行中的納米操作裝置和納米器件提供實(shí)時(shí)的三維視覺信息反饋仍然非常困難。

【發(fā)明內(nèi)容】

[0005]為解決現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種納米尺度下的實(shí)時(shí)三維視覺信息反饋方法。
[0006]本發(fā)明提供的一種基于掃描電鏡的納米尺度三維形貌測量方法，包括下述步驟:[0007]第I步在進(jìn)行納米操作之前，在納米器件和操作裝置的初始位置先拍攝一幅靜態(tài)的SEM圖像；
[0008]第2步根據(jù)拍攝的靜態(tài)的SEM圖像，初始化并訓(xùn)練跟蹤算法濾波器；
[0009]第3步開始納米操作后，采用SEM實(shí)時(shí)跟蹤納米器件和操作裝置進(jìn)行拍攝得到多幅SEM圖像，利用所述跟蹤算法濾波器對多幅SEM圖像進(jìn)行矯正處理，并獲取納米器件和操作裝置在SEM圖像中的二維位置，將二維位置反饋給跟蹤算法濾波器并繼續(xù)訓(xùn)練跟蹤算法濾波器；
[0010]第4步根據(jù)上述二維位置，使用電子束掃描控制系統(tǒng)，控制下次成像過程中的掃描區(qū)域，僅掃描納米器件和操作裝置可能出現(xiàn)的區(qū)域，以減少掃描區(qū)域，提高成像速度；
[0011]第5步從第I步獲取的初始圖像和第3步獲取的所述多幅樣件圖像提取特征點(diǎn)；
[0012]第6步對上述特征點(diǎn)進(jìn)行對應(yīng)點(diǎn)匹配，確定納米操作裝置和納米器件在兩幅圖像中的對應(yīng)點(diǎn)，并去除誤匹配點(diǎn)；
[0013]第7步根據(jù)對應(yīng)點(diǎn)和預(yù)先標(biāo)定的成像系統(tǒng)模型內(nèi)部參數(shù)，分別計(jì)算出納米操作裝置和納米器件相對初始位置的三維坐標(biāo)，并實(shí)時(shí)連續(xù)地重構(gòu)出納米尺寸下的三維形貌數(shù)據(jù)。
[0014]本發(fā)明方法采用基于實(shí)時(shí)視覺跟蹤的自適應(yīng)圖像采集策略，控制SEM在成像過程中僅掃描操作工具和納米器件所在的局部區(qū)域，以有效減少SEM成像過程中掃描的像素?cái)?shù)，從而在保證圖像質(zhì)量的前提下，提高成像的速度，并利用通用成像模型對SEM成像系統(tǒng)參數(shù)進(jìn)行標(biāo)定；此基礎(chǔ)上，根據(jù)快速獲取的SEM圖像序列對運(yùn)動(dòng)過程中的操作工具和納米器件進(jìn)行實(shí)時(shí)連續(xù)的三維重建，從而最終實(shí)現(xiàn)納米尺度下的實(shí)時(shí)三維視覺信息反饋。
【專利附圖】

【附圖說明】
[0015]圖1為本發(fā)明提供的納米尺度下的實(shí)時(shí)三維視覺信息反饋方法流程圖。
[0016]圖2為通用的成像系統(tǒng)模型示意圖。
[0017]圖3為掃描電鏡成像系統(tǒng)參數(shù)標(biāo)定算法流程圖。
【具體實(shí)施方式】
[0018]下面結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】作進(jìn)一步說明。在此需要說明的是，對于這些實(shí)施方式的說明用于幫助理解本發(fā)明，但并不構(gòu)成對本發(fā)明的限定。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0019]如圖1所示，本發(fā)明所提供的納米尺度下的實(shí)時(shí)三維視覺信息反饋方法，其具體步驟如下:
[0020]第I步在進(jìn)行納米操作之前，在納米器件和操作裝置的初始位置先拍攝一幅靜態(tài)的SEM圖像；
[0021]第2步根據(jù)拍攝的靜態(tài)的SEM圖像，初始化并訓(xùn)練跟蹤算法濾波器，該濾波器是一種圖像濾波器，可以對SEM圖像進(jìn)行矯正處理并根據(jù)其特征獲取指定物體的二維位置；
[0022]第3步開始納米操作后，采用SEM實(shí)時(shí)跟蹤納米器件和操作裝置進(jìn)行拍攝得到多幅SEM圖像，通過上述濾波器對多幅SEM圖像進(jìn)行矯正處理，并獲取納米器件和操作裝置在圖像中的二維位置，將二維位置反饋給跟蹤算法濾波器并繼續(xù)訓(xùn)練跟蹤算法濾波器；[0023]第4步根據(jù)上述二維位置，使用電子束掃描控制系統(tǒng)(DISS5)，控制下次成像過程中的掃描區(qū)域，僅掃描納米器件和操作裝置可能出現(xiàn)的區(qū)域，即以獲取的二維位置為中心，以一定的半徑或者邊長進(jìn)行圓形或者正方形掃描，其中半徑或邊長取決于納米器件和操作裝置的尺度大小，以此有效減少掃描區(qū)域，提高成像速度；
[0024]第5步從第I步獲取的初始圖像和第3步獲取的最新的多幅樣件圖像提取特征
占.[0025]本發(fā)明根據(jù)電子圖像的特性，選擇哈里斯角點(diǎn)檢測法提取特征點(diǎn)。哈里斯角點(diǎn)檢測法利用圖像的灰度級別來測量“角響應(yīng)值”。“角響應(yīng)值”是一個(gè)通過確定特征數(shù)量來探測特征點(diǎn)的值，可基于自動(dòng)矯正矩陣Ω進(jìn)行計(jì)算。自動(dòng)矯正矩陣Ω可表示為:
【權(quán)利要求】
1.一種基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，該方法包括下述步驟: 第I步在進(jìn)行納米操作之前，在納米器件和操作裝置的初始位置先拍攝一幅靜態(tài)的SEM圖像； 第2步根據(jù)拍攝的靜態(tài)的SEM圖像，初始化并訓(xùn)練跟蹤算法濾波器； 第3步開始納米操作后，采用SEM實(shí)時(shí)跟蹤納米器件和操作裝置進(jìn)行拍攝得到多幅SEM圖像，利用所述跟蹤算法濾波器對多幅SEM圖像進(jìn)行矯正處理，并獲取納米器件和操作裝置在SEM圖像中的二維位置，將二維位置反饋給跟蹤算法濾波器并繼續(xù)訓(xùn)練跟蹤算法濾波器； 第4步根據(jù)上述二維位置，使用電子束掃描控制系統(tǒng)，控制下次成像過程中的掃描區(qū)域，僅掃描納米器件和操作裝置可能出現(xiàn)的區(qū)域，以減少掃描區(qū)域，提高成像速度； 第5步從第I步獲取的初始圖像和第3步獲取的所述多幅樣件圖像提取特征點(diǎn)； 第6步對上述特征點(diǎn)進(jìn)行對應(yīng)點(diǎn)匹配，確定納米操作裝置和納米器件在兩幅圖像中的對應(yīng)點(diǎn)，并去除誤匹配點(diǎn)； 第7步根據(jù)對應(yīng)點(diǎn)和預(yù)先標(biāo)定的成像系統(tǒng)模型內(nèi)部參數(shù)，分別計(jì)算出納米操作裝置和納米器件相對初始位置的三維坐標(biāo)，并實(shí)時(shí)連續(xù)地重構(gòu)出納米尺寸下的三維形貌數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第5步中采用哈里斯角點(diǎn)檢測法提取特征點(diǎn)。
3.根據(jù)權(quán)利要求2所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第5步中，提取特征點(diǎn)的過程為: 設(shè)圖像中任一點(diǎn)的像素坐標(biāo)為(u, V),其灰度值為I,該點(diǎn)的角響應(yīng)值為c (U, V): c (u, V) = I Ω (u, V) -0.04 X trace ( Ω (u, v))2 其中，I Ω (u,v) I為自動(dòng)矯正矩陣Ω的行列式值，trace為矩陣的跡，得到函數(shù)c (U，V)的局部最大解作為特征點(diǎn)O ;.U2+V2.{(dl'f dl dl、
4.根據(jù)權(quán)利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第6步中，計(jì)算兩幅圖像中每個(gè)特征點(diǎn)與其它特征點(diǎn)的相關(guān)系數(shù)，如果其相關(guān)系數(shù)大于所設(shè)定的閾值的兩點(diǎn)認(rèn)定為匹配點(diǎn)。
5.根據(jù)權(quán)利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第6步中對應(yīng)點(diǎn)匹配的具體過程為: 對于任一特征點(diǎn)O得到其自動(dòng)矯正矩陣Ω的兩個(gè)特征值入^和定義tO = Ki + ^2 ;對從不同角度拍攝的兩幅圖像對IdB 12，記P和q分別為Harris算子在兩幅四像中檢測出的特征點(diǎn)，記P和Q分別為由Harris算子在中檢測出的特征點(diǎn)P和q的集合；定義S (P, q)為P和q的相似度函數(shù):
6.根據(jù)權(quán)利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第7步中所述成像系統(tǒng)模型為: 設(shè)一幅SEM圖像有WXH個(gè)像素，每個(gè)像素的坐標(biāo)為(U，V)，其中u≤W，V≤H;) 二維圖像中的每個(gè)像素對應(yīng)三維空間中的一條射線L，該射線使用普朗克參數(shù)化法進(jìn)行表示:
7.根據(jù)權(quán)利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第7步中所述成像系統(tǒng)模型進(jìn)行參數(shù)標(biāo)定的過程為: Al)使用原子力顯微鏡測量微型平面標(biāo)定塊的三維數(shù)據(jù)，并將每個(gè)點(diǎn)的三維坐標(biāo)與微型平面標(biāo)定塊上的隨機(jī)圖案的灰度值一一對應(yīng)，即測量得到的標(biāo)定塊數(shù)據(jù)表示為(X，1，z,gray),其中x, y, z為微型平面標(biāo)定塊上某點(diǎn)的空間三維坐標(biāo)，gray為灰度值； A2)在任意N，NS 2個(gè)位置各拍攝一幅微型平面標(biāo)定塊的電子圖像，得到N幅電子圖像，并進(jìn)行圖像矯正；每次拍攝時(shí)標(biāo)定塊與電子掃描電鏡的相對位置不同，定義每次拍攝時(shí)標(biāo)定塊的坐標(biāo)系為局部坐標(biāo)系；A3)對于拍攝得到的每個(gè)電子圖像中給定的某個(gè)像素S，根據(jù)表面的隨機(jī)圖案，從上述N幅圖像中找出對應(yīng)點(diǎn)，從而確定其對應(yīng)的N個(gè)空間三維點(diǎn)在局部坐標(biāo)系下的齊次坐標(biāo)為Pi, i=l,2,…，N ;設(shè)Ri和Ti分別為其它位置到全局坐標(biāo)系的旋轉(zhuǎn)平移矩陣，根據(jù)N幅電子圖像中標(biāo)定塊上的特征點(diǎn)，計(jì)算標(biāo)定塊對應(yīng)的同形矩陣Hi ； A4)根據(jù)同形矩陣計(jì)算對應(yīng)的旋轉(zhuǎn)平移矩陣Ri和Ti,確定拍攝時(shí)的其它位置與第一個(gè)位置的相對位置關(guān)系； A5)根據(jù)相對位置關(guān)系，確定電子圖像中某個(gè)像素S在N個(gè)位置上對應(yīng)的空間點(diǎn)的全局坐標(biāo)； A6)最后使用上述N個(gè)空間點(diǎn)擬合該像素對應(yīng)的空間直線方程； A7)重復(fù)步驟A5)和A6)，根據(jù)電子圖像中的特征點(diǎn)和線性插值計(jì)算出所有像素對應(yīng)的空間直線方程，完成參數(shù)標(biāo)定。
【文檔編號】G01B15/04GK103900504SQ201410142472
【公開日】2014年7月2日 申請日期:2014年4月10日 優(yōu)先權(quán)日:2014年4月10日
【發(fā)明者】李中偉, 史玉升, 劉行健, 鐘凱 申請人:華中科技大學(xué)