專利名稱：測量亞像素位移的峰谷運動探測方法及裝置的制作方法
測量亞像素位移的峰谷運動探測方法及裝置技術領域
本發(fā)明屬于數字圖像測量技術領域，特別是涉及采用計算機攝像頭無接觸測量 物體的二維微小位移的方法及其裝置。
背景技術：
計算機攝像頭在近幾年迅速地獲得了普及，一般用于網絡視頻聊天或監(jiān)視拍攝 工作，其核心是CCD和CMOS光電成像芯片，即光電傳感器陣列。而在其前面發(fā)明的 光學定向裝置的核心也是光電探測像素陣列，用于探測它相對所在表面的二維移動。因 此，考察光學定向裝置有益于開闊攝像頭的應用。
U.S.Pat.No.5,288,993揭示了一個利用光探測器陣列的光標定向裝置，其結構中 有一個被照明的靶球，該靶球必須具有隨機分布的斑紋。U.S.Pat.No.5,703,356進一步揭 示了一個鼠標形式的光學定向裝置，它不需要靶球，它所利用的光是直接地從定向裝置 所移動的表面上反射來的。上述美國專利基于所謂的“邊運動探測技術”來提取與運動 相關的信息，所述邊被定義為光探測陣列里兩個像素之間的空間強度的差，這些邊的每 一個的相對運動被跟蹤和測量，籍此確定代表光探測陣列與所在表面的被照明部分之間 相對運動的總的位移。
根據U.S.Pat.No.5J88,993，分別沿著光電傳感器陣列的第一個軸和第二個軸排 列的像素對之間確定“邊”，光電傳感器陣列可以是正交的也可以不是正交的。該專利 中的邊Ε,Π :Ey定義為位于兩個最鄰近的像素的中間。根據U.S.Pat.No.5J88,993和U.S.Pat. No.5,703,356, 一方面，計算沿著第一個軸的正方向運動的邊Ex的數目與沿著第一個軸 的相反的方向運動的邊Ex的數目之間的歸一化差，另一方面，計算沿著第二個軸的正方 向運動的邊:Ey的數目與沿著第二個軸的相反的方向運動的邊:Ey的數目之間的歸一化差， 比較光電傳感器陣列里這些邊在相繼的兩個時間點的位置可以確定邊的相對運動。
典型的光學定向裝置包括一個光源，例如紅外線LED，該光源根據一個確定的 順序間歇地照明表面的一部分，光電探測陣列的像素信號根據所確定的順序被取樣，提 供了用于比較的相繼的兩幀邊的圖像，從而確定陣列相對表面的運動。
根據上述兩個美國專利的一個方案，采用差分技術有利于確定兩個像素之間的 一個邊的條件。其關于邊的定義是如果兩個光敏單元的強度的比率大于某個確定了的 值，這兩個像素之間存在一個邊。文獻中還給出了關于邊沿著水平的或垂直的方向的定 義表示式，并指出，上述條件Ex和:Ey并不依賴于邊的方向或意義，只是表明兩個像素之 間是否存在一個邊。
上述“邊”的定義和運動探測算法在光學跟蹤球里取得了成功。光學跟蹤球 是探測一個受用戶操作的被照明了的球的光強圖案。上述定義與算法需要被探測的光強 圖案顯示出清晰的精細的光強差異。因此，球的表面被覆蓋了一種色彩的隨機性標志圖 案，以顯示出有別于背景的對比度。此外，這些標記大多呈斑點的形式，需要一個預 定的大小。U.S.Pat.No.5J88,993中的斑點大小在0.5mm2-0.7mm2，密度約為1個斑點/mm2；這些標記的大小相對地獨立于球的直徑，但是，主要取決于光電探測器陣 列的分 辨率和大小。U.S.Pat.No.5,703,356提出，一個單獨的斑點在傳感器上的像最小地應當覆 蓋兩個鄰近像素之間中心到中心的距離(pixelpitch)。實際上，優(yōu)先選擇的典型的斑點的 大小應當使得該點的像的表面覆蓋大約5個像素。在此條件下，邊的數目保持充分地不 變，充分地小于像素的數目，從而可以被確定并用于探測運動。
上述探測運動的方案應用到光學定向裝置，如果被照明的表面不出現一個預定 的圖案，就會出現一個嚴重的問題；例如，“無球”鼠標直接地使用從一個隨機的表 面，例如紙的或桌子的表面，反射來的光。U.S.Pat.No.5,703,356描述了一個不需要任何 球的的光學鼠標，但是，該方案需要被照明的表面顯示出一個合適的圖案，該圖案具有 充分數目的暗的和亮的區(qū)域，這些區(qū)域大小充分。
任何情形下，對于一個沒有特征的表面，應用上述技術的時候，上述定義的邊 實際上在每一個像素之間都能夠被探測到。因此，如果不能夠清晰地探測到并跟蹤具體 的和很好定義的邊的圖案，就不可能導出關于光學探測器件和被照明表面之間的相對運 動的任何測量。因此，上述運動探測技術不可能獲得實際的應用。
其實，U.S.Pat.No.5,578,813和 U.S.Pat.No.5,644,139 已經揭示過一些關于“被照 明的表面產生純粹隨機的光強圖案”的方案。這兩個發(fā)明根據光電探測器陣列輸出的 連續(xù)的像幀的關聯，提出了運動探測的原理。然而，它們比較鄰近像素之間的光強沒有 提供關于鄰近像素之間空間的強度差(即邊)的任何信息，發(fā)明中提出的連續(xù)像幀的關 聯隱含了一些限制。特別地，為了導出相對運動的一個足夠精確的測量，實際上需要以 一個相對表面很低的角度照明參考表面，這個角度典型地處于表面的16°以內，U.S.Pat. No.5J88,720對此更精確地給予了說明。這導致約束光學定向裝置的結構。此外，分析灰 度像幀的時候，上述像幀關聯技術表現了某些限制，隨著像的強度的位數長度的增加， 關聯處理的復雜性成指數函數增加。實際中，上述關聯技術應用到光學裝置的運動探測 局限于分析二進制的黑-白像。
參考上述美國專利，最近提交審查的發(fā)明專利“使用計算機攝像頭測量微小二 維位移的方法及裝置”(申請?zhí)?00910104277.8，申請日2009.7.7)分析了國內有關“攝像” “測量”的專利文件，提出了一種以計算機攝像頭為光電轉換傳感器，通過 幀-幀關聯匹配比較，測量微小的二維位移矢量和速度矢量的的方法，但是，它仍然是 針對光強圖案進行匹配，因而也需要照明均勻且穩(wěn)定。
” Method and sensing device for motion detection in an optical pointing device, such as anoptical mouse” (US 7,122,781 B2, Oct. 17, 2006，Rotzoll et al.)提供更適合光學定向裝置的二個解決方案，其方法之一是預處理圖像幀以提取描述鄰近像素之間的光強差 (即邊)的二進制數據，直接跟蹤正邊和負邊的運動方向，計算相對運動的位移測量，即 "Local Edge DirectionMotion Detection Algorithm (局域邊方向運動探測算法)，，。其方法 之二是從所提取的邊方向數據進一步提取邊反射狀況，它描述沿著光探測器陣列的一 個軸方向的正邊和負邊的連續(xù)性，然后，比較先后兩幀邊反射狀況的位置，計算出相對 運動的位移測量，即“Peak/Null MotionDetection Algorithm (峰/谷運動探測算法)”。 該發(fā)明的特點是1)被照明的表面沒有施加特征，產生純粹隨機的光強圖案；易于提取 可以被跟蹤的有特征的特點和圖案，并直接用于運動探測?；蔑@示了對像素之間強度的輕微的變化的巨大敏感性，允許適用一個寬范圍的照明角度，而不是需要一個低的照明 角度，以增強 U.S.Pat.No.5,5788,813、U.S.Pat.No.5,644,139 和 U.S.Pat.No.5,686,720 所使用的關聯技術中表面圖案的對比度?；每梢苑治龌叶葓D像，所需要的處理表現得特別地有 活力和簡單，而不會增加處理的復雜程度。
該專利所謂 “Peak/Null Motion Detection Algorithm (峰 / 谷運動探測算法)，，計算總的位移測量值的算法之一如下M-M1 v DPAf_Dtr:UT -ivD

γ— i ‘ PEAK-RIGHT 1 v PEAK-LEFTΛ PEAK-DISPLACEMENT —TJ-^ XPEAKM-Mγ一 ^v NULL-RIGHT iV NULL-LEFTΛ NULL-DISPLACEMENT _TZ^ XNl If J,M- My_ iV PEAK-UP iV PFAK-DOWN1 PEAK-DISPLACEMENT —Tr^ YPhAKAI—Nγ一 NULL-UPNULL-DOWN1 NULL-DISPLACEMENT _TjN YNIIU.γ_ ^PEAK-DISPLACEMENT + ^NULL-DISPLACEMENT rA DISPLACEMENT _^1^PIXHL-PIXhLy— ^PEAK -DISPLACEMENT + ^NULL-DISPLACEMENT r1 DISPLACEMENT —^j^PLXhL-PIXhI.
該專利計算總的位移測量值的峰/谷運動探測算法之二是
(-^PEAK-RIGHT + "^NULL-RIGHT ) — ("^PEAK-LEFT + ^NULL-LEFT )

γ— V" ‘ ΡΗΑΚ-ΚΙ ΗΓ ' Λ · NULL-RlUHl / V" ‘ ^bAR-Lhi-1 · ‘ · NULL-LtH / . τΛ DISPLACEMENT =77；X i^PIXIiL-IiIXELXPhAK + 1、XNUiL )γ— (-^PEAK-UP + "NULL-UP ) — ("PEAK-DOWN + ^NULL-DOWN ) : r2DISPLACEMENT ~TTT~~ΓΤ νPIXEL-VlXEL^YPUAK + ^YNULL )式中，X、Y和N分別表示兩個坐標軸和數目(Number)，各項的含義如文字或 符號所示，例如，NX%AK和NPEAK_RieHT分別表示X軸方向峰的數目及其發(fā)生向右移動了的 峰的數目，LPIXEl_PIXEl表示像素間距，其單位可以是μ m、mm或tech等。
上述兩種峰/谷運動探測算法并不等同，但是，兩者的峰和谷的總的數目相 同，因而總的位移測量值都是一個像素間距Lpixe^pd^的分數，兩者的計算結果接近，都 屬于亞像素級位移。而且，第二種計算位移的方法對于每一個坐標軸只需要進行一次除 法。
上述峰谷運動探測算法以提取圖像幀的特征為基礎，克服了光強圖案的隨機變 化給幀-幀匹配所帶來的困難，因而，它優(yōu)越于前述種種專利技術，大大地降低了對其 運動的表面的光學反射質地的要求。
此外，上述峰谷運動探測算法還有其它的優(yōu)點。首先，探測器“看”到的邊反 射數目取決于傳感器的聚焦狀態(tài)。第二，邊反射被假設在像素陣列上移動，并且，在連 續(xù)的兩次曝光期間這些邊反射的移動幅度不會超出一個單位的像素間距。對于一個給定 的運動及其最大的運動速度，該條件易于滿足。如果一個邊反射的移動超出一個單位的 像素間距，上述運動探測方案不能夠決定該邊反射來自何處。如果在連續(xù)的兩次曝光期 間，探測器相對被照明的表面移動過快，就會發(fā)生此類情況，它代表了一種“失去跟蹤 (loss-off-track)"的情形。通過查看那些不知道來自何處的邊反射狀況的數目能夠探測到這種“失去跟蹤”的情形，此時，前一個狀態(tài)(幀)的反射狀況在當前的位置或當前 位置附近的一個像素間距范圍內沒有相似的邊反射狀況，這些邊反射狀況被定義為“鬼 影邊反射狀況(ghost edge inflection conditions)，，，它們沿著兩個坐標軸的方向潛在地會出現，其沿各坐標軸方向的數目可以用兩個累加器分別加以檢測和跟蹤，并與預先確定的 某個門檻值相比較，籍此確定“失去跟蹤”的情況，并作為一個警告信號報告給外部的 操作者。光電陣列邊上的邊反射不計為“鬼影邊反射狀況”；當它們看起來不知來自何 處的時候，有可能來自光電陣列的外部。
上述探測判斷“失去跟蹤”的方法符合實際，可以算法實現。當然，還可以找 到其它的探測、判斷“失去跟蹤”的方法。但是，經過仔細分析，會發(fā)現，該專利上述“峰/谷運動探測算法”，以及“局域邊方向運動探測算法”缺乏計算的根據，難于理解。
總之，關于光學定向裝置中探測相對運動的美國專利技術，激勵了使用計算機 攝像頭測量隨機狀況的表面上所發(fā)生的微小位移的思想。光學定向裝置中的光電傳感器 陣列相對所在的表面之間的距離極小(毫米數量級)，它采用單色LED之類照明光源， 其發(fā)光強度受電子電路控制，實施間歇式照明，因此，被照表面面積相當地小，光照均 勻，其反射光束不會受到環(huán)境光輻射的影響，較好地反映了該表面的光學反射性質。而 應用計算機攝像頭進行位移測量，光電傳感器陣列距離被測物體較遠，被測物表面的光 學反射性質會起到更大的影響。例如，由于可見光的頻率較短，被光電傳感器進行光電 轉換的物體的反射光會是若干次反射的一個平均值；隨著光照角度的不同，質地粗糙的 表面其漫反射會很強烈，變化也會較大；金屬與平面鏡之類強反射面所產生的反射光更 會隨著入射光角度的變化而強烈地發(fā)生變化，甚至于連周圍其它物體的映像也將會被反 射出來，這些都會模糊、混淆反射面本身的質地特征；入射的陽光被物體反射以后會出 現豐富的偏振光；測量環(huán)境中其它的光源的輻射或飄游灰塵或煙霧等的影響，也會導致 被測物體表面的圖像幀發(fā)生整體的、或者局部區(qū)域的光強變化，或者表現為灰度圖像的 光強數據出現隨機的波動。這些為應用“峰/谷運動探測亞像素位移算法”測量隨機表 面的微小位移提出了新的問題。發(fā)明內容
為了充分發(fā)揮計算機攝像頭的光電傳感器陣列的功能，本發(fā)明提供一種可以適 應變化相對不大的照明環(huán)境的測量亞像素位移的峰谷運動探測方法及裝置，它以計算機 攝像頭為光電轉換傳感器，即時地拍攝被測量的物體，再經過峰/谷亞像素位移探測算 法處理，獲得該物體在與攝像頭的光軸相垂直的平面上的微小的二維位移矢量和速度矢量。
本發(fā)明解決其技術問題所采用的技術方案是測量的物體位于計算機攝像頭的 光學鏡頭前面有效的聚焦成像范圍以內，被測量物體的照明環(huán)境相對均勻、穩(wěn)定，所述 攝像頭通過USB接口連接到一臺普通的計算機，該計算機配置USB接口、內存、CPU、 硬盤、顯示卡與顯示器、鍵盤和鼠標、操作系統(tǒng)、攝像頭驅動程序以及攝像頭拍攝及峰/ 谷亞像素位移探測程序，該程序包括下述步驟
步驟一、拍攝一幀(MS XN列)被測物體，不考慮該圖像幀的邊上的兩行與兩列，得到參考幀[(M-2)行X(N_2)列]，為該參考幀以及其后所有拍攝的圖像幀確定相 同的坐標軸，其中，M，Ne正整數；
步驟二、對于上述參考幀之像素陣列，根據其紅色、綠色和藍色分量的數據， 分別逐行、逐列導出沿X軸和Y軸方向的紅色的、綠色的和藍色的邊方向數據；
步驟三、分別逐行、逐列計算紅色的、綠色的和藍色的正邊和負邊的數目之 和，取其中正邊和負邊的數目之和最多者所在的行與列分別作為觀測行和觀測列；
步驟四、根據所選觀測行與觀測列的像素的三種基色的邊方向數據，分別導出 沿X軸和Y軸方向的三種基色的邊反射狀況，并分別使用累加器計數它們所對應的峰、谷的數目 Nrx軸峰(j)、Nrx軸谷(j)、Nry軸峰(j)禾口 Nry軸谷(j)，Ngx軸峰(j)、Ngx 軸谷(j)、Ngy 軸峰(j)禾口 Ngy軸谷(j), Nrx軸峰(j)、Nbx軸谷(j)、Nby軸峰(j)禾口 Nry軸谷(j),胃中，j獲得的幀的順序計數值，je正整數，NCumber)表示數目，R、G、B分別表示紅、綠和 藍角·JUL，
步驟五、拍攝了所述參考幀之后，經過一定的間歇時間dt，拍攝第二幀被測物 體的像(MXN)，去掉像素幀邊緣的兩行和兩列得到比較幀[(M-2) X (N-2)];沿著步驟 三中選定的觀測行或觀測列，分別導出沿X軸和Y軸方向的三種基色的邊方向數據和邊 反射狀況，并分別使用累加器計數沿著X軸和Y軸方向的峰、谷的數目NRXi_(j+l)、Nrx 軸谷(j+1)、Nry 軸峰(j+Ι)和 Nry 軸谷(j+1), Ngx 軸峰(j+1)、Ngx 軸谷(j+1)、Ngy 軸峰(j+Ι)和 Ngy軸谷(j+Ι)， Nbx軸峰(j+1)、Nbx軸谷(j+1)、Nby軸峰(j+Ι)和 Nry軸谷(j+Ι)；
步驟六、對比所述參考幀與所述比較幀中所選觀測行與觀測列的三種基色的邊 反射狀況的位置，檢查其中的那些不知道來自何處的“鬼影邊反射狀況”，即在所述 參考幀的所選觀測行或觀測列發(fā)現的這些峰或谷，在所述比較幀的所選觀測行或觀測列 的相應位置及其附近的一個像素間距范圍內發(fā)生缺失，反之亦然，這時，用六個累加器分別統(tǒng)計和跟蹤它們的數目Nrx鬼影邊(j+1)、Nry鬼影邊(j+1)、Ngx鬼影邊(j+1)、Ngy鬼影邊(j+1)、 ΝΒχ鬼影邊(j+1)、Nby鬼影邊(j+1)；
如果三種基色中有兩種或兩種以上的基色的“鬼影邊反射狀況”滿足
權利要求
1.測量亞像素位移的峰谷運動探測方法及裝置，由一臺普通的計算機、一個計算機 攝像頭組成，所述攝像頭通過USB接口連接到所述計算機，所述計算機配置有內存、 CPU、硬盤、顯示卡與顯示器、鍵盤和鼠標、操作系統(tǒng)以及攝像頭驅動程序，其特征在 于，所述計算機還配置有攝像頭拍攝及峰/谷運動探測亞像素位移程序。
2.根據權利要求1所述的測量亞像素位移的峰谷運動探測方法及裝置，其特征在于， 所述攝像頭拍攝及峰/谷運動探測亞像素位移程序包括下述測量亞像素位移的方法步驟、拍攝一幀(M行XN列)被測物體，不考慮該圖像幀的邊上的兩行與兩列，得 到參考幀[(M-2)行X (N-2)列]，為該參考幀以及其后所有拍攝的圖像幀確定相同的坐 標軸，其中，M，NG正整數；步驟二、對于上述參考幀之像素陣列，根據其紅色、綠色和藍色分量的數據，分別 逐行、逐列導出沿X軸和Y軸方向的紅色的、綠色的和藍色的邊方向數據；步驟三、分別逐行、逐列計算紅色的、綠色的和藍色的正邊和負邊的數目之和，取 其中正邊和負邊的數目之和最多者所在的行與列分別作為觀測行和觀測列；步驟四、根據所選觀測行與觀測列的像素的三種基色的邊方向數據，分別導出沿X 軸和Y軸方向的三種基色的邊反射狀況，并分別使用累加器計數它們所對應的峰、谷的^目NRV軸峰(j)、 NRX軸谷(j)、 NRY軸峰(j)禾口 NRY軸谷(j)， NGK軸峰(j)、NGX軸谷(j)、 NGY軸峰 (j)禾口 NGY 軸谷(j)， NBX 軸峰(j)、 NBX 軸谷(j)、 NBY 軸峰(j)禾口 NBY 軸谷(j)，胃中，j ^^tt^i^t得的幀的順序計數值，jG正整數，N表示數目(Number)，R、G、B分別表示紅、綠和 藍角 Jul ，步驟五、拍攝了所述參考幀之后，經過一定的間歇時間dt，拍攝第二幀被測物體的 像(MXN)，去掉像素幀邊緣的兩行和兩列得到比較幀[(M-2)X(N_2)];沿著步驟三中 選定的觀測行或觀測列，分別導出沿X軸和Y軸方向的三種基色的邊方向數據和邊反射 狀況，并分別使用累加器計數沿著X軸和Y軸方向的峰、谷的數目NRX_(j+l)、NRX軸谷(j+1)、NRY 軸峰(j+1)和 NRY 軸谷(j+1), NGX 軸峰(j+1)、NGX 軸谷(j+1)、NGY 軸峰(j+1)和 ngy 軸谷(j+1)， NBX 軸峰(j+1)、NBX 軸谷(j+1)、NBY 軸峰(j+1)和 NBY 軸谷(j+1)；步驟六、對比所述參考幀與所述比較幀中所選觀測行與觀測列的三種基色的邊反射 狀況的位置，檢查其中的那些不知道來自何處的“鬼影邊反射狀況”---在所述比較幀 的所選觀測行或觀測列發(fā)現的這些峰或谷，在所述參考幀的所選觀測行或觀測列的相應 位置及其附近的一個像素間距范圍內發(fā)生缺失，用六個累加器分別統(tǒng)計和跟蹤它們的數目NRX 鬼影邊(j+1)、NRY 鬼影邊(j+1)、NGX 鬼影邊(j+1)、NGY 鬼影邊(j+1)、NBX 鬼影邊(j+1)、Nby 鬼影邊(j+1)；如果三種基色中有兩種或兩種以上的基色的“鬼影邊反射狀況”滿足
全文摘要
測量亞像素位移的峰谷運動探測方法及裝置，由一臺普通的計算機及其攝像頭組成，其測量亞像素位移的方法是，先拍攝一幀，根據沿坐標軸方向的邊方向數據，選取最具被測物反射特征的觀測行與觀測列；接著拍攝一幀，確定這兩幀三基色各自的邊方向數據及其峰和谷，通過對比，如果觀測行和觀測列中不能確定其相互位移關系的峰或谷的數目和超出其軸向該基色的峰、谷數目和的某個預定百分比，就認為“失去跟蹤”，需要再拍攝一幀，否則，根據先后連續(xù)兩幀中各基色的峰、谷移動的方向及其數目，分別計算各個軸向各個基色的亞像素位移，取其平均值為總的位移；有效地克服了環(huán)境光照變化的影響，適于位移與光照變化的速度都遠低于拍攝幀速率的場合。
文檔編號G01B11/02GK102022981SQ20091019092
公開日2011年4月20日 申請日期2009年9月22日 優(yōu)先權日2009年9月22日
發(fā)明者曾藝 申請人:重慶工商大學