專利名稱：一種仿蜥蜴亞目避役科生物視覺坐標提取算法的制作方法
技術領域：
本發(fā)明屬于計算機視覺范疇，尤其是ー種能夠同時進行目標跟蹤，定位與攝像頭標定的計算機視覺算法。其仿照的生物系統(tǒng)是蜥蜴亞目避役科生物的視覺系統(tǒng)。
背景技術：
計算機視覺是人工智能領域重要的研究方向，相較于其他信息檢測手段而言，基于計算機視覺理念所構架的檢測裝置具有信息量大、成本低、對環(huán)境無干擾，便于控制等特點。視覺系統(tǒng)的構架方式有很多，以攝像頭的數(shù)量分類可以分為單目視覺，雙目視覺，多目視覺；以機械結構約束條件可以分為主動視覺，被動視覺；以視覺信息之間的關聯(lián)程度可以分為普通視覺，立體視覺等。以最簡單的單目視覺來說，其具有結構簡單，視覺和控制算法簡單，成本低廉的優(yōu) 點。但由于基于普通單目視覺的視覺過程是ー個由高維的現(xiàn)實世界向低維的圖像空間映射的ー個過程，此過程中不可避免的要損失掉很多信息，其中最重要的便是常規(guī)的單目視覺無法獲取目標的深度信息?；陔p目視覺的立體視覺可以彌補普通單目視覺無法獲取深度信息這ー缺陷。通過保證視覺系統(tǒng)中兩臺固定的攝像機之間具有適宜的共同視域，再輔以精確的攝像頭標定與立體匹配算法，基于雙目視覺的立體視覺系統(tǒng)即可得到目標的深度信息。但此種視覺系統(tǒng)構架方式本質上仍然是ー種開環(huán)系統(tǒng)，其在運行視覺算法時無法通過改變自身的參數(shù)以適應環(huán)境的變化。解決這ー缺陷，令視覺系統(tǒng)變?yōu)橐环N穩(wěn)定的閉環(huán)系統(tǒng)的方法便是以主動視覺的架構方式來架構視覺系統(tǒng)，即給攝像頭増加一定的運動能力，使視覺系統(tǒng)能夠以其獲得的圖像信息為反饋量，驅動攝像頭轉動，閉環(huán)的控制整個視覺系統(tǒng)。由于基于主動視覺理念架構的視覺系統(tǒng)與傳統(tǒng)的基于被動視覺理念架構的視覺系統(tǒng)在機械結構上已有所不同，因此其適用的深度信息獲取方式，興趣目標定位方式，攝像頭標定方式也與被動視覺所采取的方法有所不同。對于以主動視覺理念架構的視覺系統(tǒng)來說，如果需要進行后續(xù)的視覺算法處理，其首先需要對所使用的攝像頭進行標定。而常規(guī)的標定方式要求在視覺算法運行前執(zhí)行，且要求標定過程中興趣目標靜止不動。這兩個要求使得主動視覺系統(tǒng)的使用過程變得繁瑣，特別是當視覺系統(tǒng)中的攝像頭經(jīng)常更換，或是系統(tǒng)使用變焦攝像頭時會使視覺處理過程異常繁瑣。

發(fā)明內容
本發(fā)明提出了一套應用于仿照蜥蜴亞目避役科生物視覺系統(tǒng)構架的主動、立體視覺系統(tǒng)的攝像頭標定方法，目標跟蹤與定位方法。其最主要的特點為攝像頭標定，興趣目標的跟蹤與定位是同步進行的，其攝像頭的標定過程無需要求興趣目標的持續(xù)靜止，亦無需在目標跟蹤與定位之前執(zhí)行。所應用的視覺系統(tǒng)采用廣角定焦攝像頭構架，且兩臺廣角定焦攝像頭可以相互獨立的運動。
本發(fā)明所應用的仿蜥蜴亞目避役科生物視覺系統(tǒng)其總體結構可以概述如下整個視覺系統(tǒng)仿照蜥蜴亞目避役科生物的視覺系統(tǒng)架構其主要構件為2臺廣角定焦攝像頭，每臺廣角定焦攝像頭配備了 2臺步進電機為其提供獨立的水平方向與豎直方向的2自由度運動能力。相較于常規(guī)的視覺系統(tǒng)，其具有的兩個廣角定焦攝像頭之間的水平運動是相互獨立的，俯仰運動也是獨立的。其仿照的生物系統(tǒng)是蜥蜴亞目避役科(俗稱變色龍)生物的視覺系統(tǒng)，其視覺系統(tǒng)的特點為兩眼球可互相獨立的運動，而不是像靈長類ー樣相關運動。特別注意的是，每臺廣角定焦攝像頭與其配套的2臺步進電機三者各自的幾何中心點是在同一條垂直于水平面的直線上的，這ー特點保證了后文將要詳細介紹的深度信息及世界坐標提取算法的順利進行。本發(fā)明主要內容為通過控制兩個廣角定焦攝像頭協(xié)同工作，調用下文詳述的角度信息標定學習算法、深度信息及世界坐標提取算法，并以Cam shift跟蹤算法作為輔助算法，對仿蜥蜴亞目避役科生物視覺系統(tǒng)進行運動控制和參數(shù)計算，最終實時地獲取視覺系統(tǒng)跟蹤目標相對于視覺系統(tǒng)兩廣角定焦攝像頭各自的幾何中心點連線中點的世界坐標。 本發(fā)明的技術方案為I、令兩廣角定焦攝像頭分別捜索目標，當A攝像頭發(fā)現(xiàn)目標后，啟用基于Camshift算法的單目視覺跟蹤算法保持對目標的跟蹤，并實時返回A攝像頭此時像平面法向量相對于A攝像頭初始位置時攝像頭像平面法向量的水平夾角和豎直夾角；所述的A攝像頭為首先捜索到目標的攝像頭，B攝像頭為另一臺攝像頭；所述的初始位置為使廣角定焦攝像頭的像平面法向量與水平面相互平行，并且使兩臺廣角定焦攝像頭的像平面法向量垂直于兩廣角定焦攝像頭幾何中心點連線所構成的線段的位置；2、B攝像頭跟隨A攝像頭進行目標搜索，B攝像頭捜索到目標后，亦啟用基于Camshift算法的單目視覺跟蹤算法保持對目標的跟蹤；3、調用角度信息標定學習算法分別實時計算A、B攝像頭均跟蹤到目標后，各自的像平面法向量相對于各自初始位置攝像頭像平面法向量的水平夾角和豎直夾角；4、根據(jù)步驟3)得到的結果，使用深度信息及世界坐標提取算法，實時計算并輸出目標深度信息及目標在世界坐標系中的世界坐標；所述的世界坐標系為以兩廣角定焦攝像頭幾何中心點連線的中點為原點，以與水平面平行、垂直于兩廣角定焦攝像頭幾何中心點連線、且沿視覺追蹤的方向為X軸正方向，以垂直于水平面向上的方向為Z軸正方向的右手坐標系；5、若目標未丟失，返回步驟3)，若果目標丟失，則返回步驟I)。角度信息標定學習算法包括以下步驟2. I)初始化學習入口角度(Λ ΘいΛ Ii1)所述的學習入口角度是指標定過程中目標發(fā)生運動時，攝像頭圖像中目標從原點移動到發(fā)生運動的位置，所對應的攝像頭轉動的水平角度和豎直角度；2. 2)分別計算在攝像頭圖像中，攝像頭圖像中心點與目標的水平距離P和豎直距離Q相對于攝像頭圖像主對角線長度的百分比f (P)和g(Q)；2. 3)判斷目標是否在攝像頭圖像中心點，若(|f(P) < ε) Λ (|g(Q) < ε)，閾值ε > 0，則目標在中心點，跳轉至步驟2. 7)；
若(If⑵> O V (Ig(Q)l > O，閾值ε >0，則目標不在中心點，跳轉至步驟 2. 4)；2. 4)查標定信息表，若標定信息表中存在對應于If(P) I和|g(Q) I的角度信息，則算法跳轉至步驟2. 8)；若標定信息表中不存在對應于|f(P) I和|g(Q) I的角度信息，則跳轉至步驟2. 5)；2.5)逐步轉動攝像頭，使目標在攝像頭圖像中與圖像中心點重合；2. 6)當目標與攝像頭圖像中心點重合時，跳轉至步驟2. 7);否則返回步驟2. 5)； 2. 7)當目標與圖像中心點重合吋，讀出攝像頭此時的像平面法向量相對于該攝像頭初始位置攝像頭像平面法向量的水平夾角Θ和豎直夾角η并輸出，轉至步驟2. 10)；2. 8)若標定信息表中存在對應于If(P) I和|g(Q) I的角度信息，則攝像頭轉動該角度使目標幾何中心點在攝像頭圖像中與圖像中心點重合，轉動方向根據(jù)標定信息換算示意表確定;2. 9)輸出世界坐標系下，目標相對于初始位置攝像頭法向量的水平夾角和豎直夾角；延時T時間，其中T為預先設置的延時量，返回步驟2. 2)；2. 10)通過預設學習標志位判斷是否學習完畢，若學習完畢，則轉至步驟2. 2)；若未學習完畢，則算法繼續(xù)，開始標定；2. 11)判斷是否是第一次標定，如果學習入口角度等于初始值則為第一次標定，此時算法繼續(xù)；如果學習入口角度不等于初始值則不為第一次標定，此時跳轉至步驟2. 13)；2. 12)令攝像頭在水平方向和豎直方向分別轉動(θ ε，η ε), θ ε，η ε為閾值角度，跳轉至步驟2· 14)2. 13)攝像頭轉過前一次標定中斷時記錄的學習入口角度，跳轉至步驟2. 14)；2.14)若為初始標定，將攝像頭在水平方向和豎直方向分別轉動的閾值角度(θ ε, ηε)以及與其對應的攝像頭圖像內目標幾何中心點的If(P) I和Ig(Q) I寫入標定信息表；若不為初始標定，首先判斷目標在進入此步驟前是否發(fā)生了運動；如果目標運動了，則更新學習入口角度，并跳轉至步驟2. 2);如果目標沒運動，則更新標定信息表；2.15)保持攝像頭豎直角度不變，進行行標定，每當攝像頭在水平方向轉過ー個單位水平角度，判斷此時目標幾何中心點是否離開攝像頭圖像；若己離開，則轉至步驟2. 17);若未離開，則繼續(xù)算法；2. 16)判斷攝像頭在水平方向每轉過一個單位水平角度后，目標是否移動，若沒有發(fā)生移動，則更新標定信息表，并跳轉至步驟2. 15);若發(fā)生移動，則更新學習入口角度，并跳轉至步驟2. 2)2. 17)改變攝像頭豎直角度，進行另一行的水平標定，如果目標幾何中心點離開攝像頭圖像，則標定信息表建立完畢，轉至步驟2. 18);若未離開，則轉至步驟2. 14)；2. 18)標定信息表建立完畢后，清除學習標志位，轉至步驟2. 2)；所述的標定信息表為記錄有攝像頭成像標定信息的一張ニ維向量表；表中記錄了目標位置信息，以及攝像頭圖像中，目標從原點移動到目標位置，攝像頭像平面法向量對應轉過的水平夾角和豎直夾角；所述的目標位置信息由攝像頭圖像中心點與目標的水平距離P和豎直距離Q相對于攝像頭圖像主對角線長度的百分比f (P)和g(Q)表示。標定信息換算示意表可描述為首先將攝像頭圖像依照所在象限劃分為4個區(qū)域
權利要求
1.一種仿蜥蜴亞目避役科生物視覺坐標提取算法，基于由兩臺廣角定焦攝像頭、步進電機構成的物理平臺，其特征在于包括以下步驟 .1).令兩廣角定焦攝像頭分別搜索目標，當A攝像頭發(fā)現(xiàn)目標后，啟用基于Camshift算法的單目視覺跟蹤算法保持對目標的跟蹤，并實時返回A攝像頭此時像平面法向量相對于A攝像頭初始位置時攝像頭像平面法向量的水平夾角和豎直夾角；所述的A攝像頭為首先搜索到目標的攝像頭，B攝像頭為另一臺攝像頭；所述的初始位置為使廣角定焦攝像頭的像平面法向量與水平面相互平行，并且使兩臺廣角定焦攝像頭的像平面法向量垂直于兩廣角定焦攝像頭幾何中心點連線所構成的線段的位置； .2).B攝像頭跟隨A攝像頭進行目標搜索，B攝像頭搜索到目標后，亦啟用基于Camshift算法的單目視覺跟蹤算法保持對目標的跟蹤； .3).調用角度信息標定學習算法分別實時計算A、B攝像頭均跟蹤到目標后，各自的像平面法向量相對于各自初始位置攝像頭像平面法向量的水平夾角和豎直夾角； .4).根據(jù)步驟3)得到的結果，使用深度信息及世界坐標提取算法，實時計算并輸出目標深度信息及目標在世界坐標系中的世界坐標；所述的世界坐標系為以兩廣角定焦攝像頭幾何中心點連線的中點為原點，以與水平面平行、垂直于兩廣角定焦攝像頭幾何中心點連線、且沿視覺追蹤的方向為X軸正方向，以垂直于水平面向上的方向為z軸正方向的右手坐標系； . 5).若目標未丟失，返回步驟3)，若果目標丟失，則返回步驟I)。
2.根據(jù)權利要求I所述的一種仿蜥蜴亞目避役科生物視覺坐標提取算法，其特征在于所述的角度信息標定學習算法包括以下步驟 .2. I)初始化學習入口角度(A 0丨、A H1) 所述的學習入口角度是指標定過程中目標發(fā)生運動時，攝像頭圖像中目標從原點移動到發(fā)生運動的位置，所對應的攝像頭轉動的水平角度和豎直角度； .2. 2)分別計算在攝像頭圖像中，攝像頭圖像中心點與目標的水平距離P和豎直距離Q相對于攝像頭圖像主對角線長度的百分比f (P)和g(Q); .2. 3)判斷目標是否在攝像頭圖像中心點， 若(lm < O A (|g(Q) < e)，閾值e > O，則目標在中心點，跳轉至步驟2. 7)；若(IfO3) I > e) V (|g(Q)| > ￡)，閾值e > 0，則目標不在中心點，跳轉至步驟.2. 4)； . 2. 4)查標定信息表， 若標定信息表中存在對應于If(P) I和Ig(Q) I的角度信息，則算法跳轉至步驟2. 8)； 若標定信息表中不存在對應于If(P) I和Ig(Q) I的角度信息，則跳轉至步驟2. 5)； . 2. 5)逐步轉動攝像頭，使目標在攝像頭圖像中與圖像中心點重合； . 2.6)當目標與攝像頭圖像中心點重合時，跳轉至步驟2. 7);否則返回步驟2. 5)； . 2.7)當目標與圖像中心點重合時，讀出攝像頭此時的像平面法向量相對于該攝像頭初始位置攝像頭像平面法向量的水平夾角9和豎直夾角n并輸出，轉至步驟2. 10)； .2.8)若標定信息表中存在對應于If(P) I和Ig(Q) I的角度信息，則攝像頭轉動該角度使目標幾何中心點在攝像頭圖像中與圖像中心點重合，轉動方向根據(jù)標定信息換算示意表確定；. 2. 9)輸出世界坐標系下，目標相對于初始位置攝像頭法向量的水平夾角和豎直夾角；延時T時間，其中T為預先設置的延時量，返回步驟2. 2)； . 2.10)通過預設學習標志位判斷是否學習完畢， 若學習完畢，則轉至步驟2. 2)； 若未學習完畢，則算法繼續(xù)，開始標定； . 2.11)判斷是否是第一次標定， 如果學習入口角度等于初始值則為第一次標定，此時算法繼續(xù)； 如果學習入口角度不等于初始值則不為第一次標定，此時跳轉至步驟2. 13)； .2.12)令攝像頭在水平方向和豎直方向分別轉動(0 E，n J，0 E，n E為閾值角度，跳轉至步驟2. 14) . 2.13)攝像頭轉過前一次標定中斷時記錄的學習入口角度，跳轉至步驟2. 14)； . 2.14)若為初始標定，將攝像頭在水平方向和豎直方向分別轉動的閾值角度(0 E，n J以及與其對應的攝像頭圖像內目標幾何中心點的If(P) I和Ig(Q) I寫入標定信息表；若不為初始標定，首先判斷目標在進入此步驟前是否發(fā)生了運動；如果目標運動了，則更新學習入口角度，并跳轉至步驟2. 2);如果目標沒運動，則更新標定信息表； .2.15)保持攝像頭豎直角度不變，進行行標定，每當攝像頭在水平方向轉過一個單位水平角度，判斷此時目標幾何中心點是否離開攝像頭圖像；若己離開，則轉至步驟2. 17);若未離開，則繼續(xù)算法； .2.16)判斷攝像頭在水平方向每轉過一個單位水平角度后，目標是否移動，若沒有發(fā)生移動，則更新標定信息表，并跳轉至步驟2. 15);若發(fā)生移動，則更新學習入口角度，并跳轉至步驟2. 2) .2.17)改變攝像頭豎直角度，進行另一行的水平標定，如果目標幾何中心點離開攝像頭圖像，則標定信息表建立完畢，轉至步驟2. 18);若未離開，則轉至步驟2. 14)； . 2.18)標定信息表建立完畢后，清除學習標志位，轉至步驟2. 2)； 所述的標定信息表為記錄有攝像頭成像標定信息的一張二維向量表；表中記錄了目標位置信息，以及攝像頭圖像中，目標從原點移動到目標位置，攝像頭像平面法向量對應轉過的水平夾角和豎直夾角；所述的目標位置信息由攝像頭圖像中心點與目標的水平距離P和豎直距離Q相對于攝像頭圖像主對角線長度的百分比f (P)和g(Q)表示。
3.根據(jù)權利要求2所述的角度信息標定學習算法，其特征在于所述的標定信息換算示意表可描述為 首先將攝像頭圖像依照所在象限劃分為4個區(qū)域
4.根據(jù)權利要求I所述的一種仿蜥蜴亞目避役科生物視覺坐標提取算法，其特征在于所述的深度信息及世界坐標提取算法包括以下步驟 根據(jù)兩廣角定焦攝像頭幾何中心點之間的距離，以及根據(jù)角度信息標定學習算法得到的兩廣角定焦攝像頭此時各自的像平面法向量相對于各自的初始位置攝像頭法向量的水平夾角和豎直夾角，利用三角函數(shù)計算得到目標的世界坐標。
全文摘要
本發(fā)明屬于計算機視覺范疇，尤其是一種能夠同時進行目標跟蹤，定位與攝像頭標定的計算機視覺算法。本發(fā)明提出了一套應用于仿照蜥蜴亞目避役科生物視覺系統(tǒng)構架的主動、立體視覺系統(tǒng)的攝像頭標定方法，目標跟蹤與定位方法。其最主要的特點為攝像頭標定，興趣目標的跟蹤與定位是同步進行的，其攝像頭的標定過程無需要求興趣目標的持續(xù)靜止，亦無需在目標跟蹤與定位之前執(zhí)行。本發(fā)明所采取的標定方法化連續(xù)的標定過程為一個離散的標定過程，利用目標在視覺算法運行過程中離散的靜止狀態(tài)進行攝像頭的標定，降低了攝像頭標定的要求且實現(xiàn)了視覺算法與標定過程的同步進行。其自標定的特性減少了人工的標定工作，大幅簡化了算法的前期準備工作。
文檔編號G06K9/00GK102682445SQ20111046070
公開日2012年9月19日 申請日期2011年12月31日 優(yōu)先權日2011年12月31日
發(fā)明者于乃功, 李均, 王彬, 許鋒, 阮曉鋼 申請人:北京工業(yè)大學