專利名稱：全視場成像與顯示方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像與顯示方法與裝置，尤其是光學成像并顯示方法與裝置。
背景技術(shù)：
現(xiàn)有全視場成像和顯示技術(shù)如下述追述到的最早的利用鏡面反射技術(shù)改變成像系統(tǒng)視場的發(fā)明是由Alexander Wolcott提出的(專利US 1,582,1840)。Wolcott用了一只具有圓柱形狀的凹面反射鏡扭曲了視場。其后165年，有眾多的利用鏡面反射技術(shù)改變成像系統(tǒng)視場的發(fā)明被提出，比如美國專利US 994935,(Louis Henry Kleinschmidt，1909)，美國專利US 6,304,285，(Zheng Jason Geng，1998).
比較具有代表性的實用性系統(tǒng)是Zheng Jason Geng于1998年(US 6,304,285)提出的利用普通攝像機鏡頭加上雙曲線形反射鏡構(gòu)成的具有半球形視角的全視場成像系統(tǒng)，和Shree Nayar于1997年(US 6,118,474)提出的利用特殊望遠鏡頭加拋物面反射鏡構(gòu)成的具有半球形視角的全視場成像系統(tǒng)。另外，Pal Greguss于1985年(US 4,566,763)提出的PAL鏡，將反射鏡與折射鏡相結(jié)合，可以得到360度環(huán)帶形視場，也很有特色。
全視場成像和顯示技術(shù)一直受到廣泛重視.但當前現(xiàn)有的技術(shù)和專利無法滿足市場的要求.這些現(xiàn)有技術(shù)的不足是(1)只能將半球形或360度環(huán)帶形全視場的圖像映射到矩形成像元件(CCD，CMOS等)的中心部分，形成一個圓形有效成像面。以長寬比4∶3的CCD/CMOS元件為例，整個矩形成像元件的面積是最大圓形有效成像面的1.7倍。因為損失了高達70％的象素，這些現(xiàn)有全視場成像技術(shù)所獲得的圖像清晰度較低(圖2)。
(2)由于獲取的圖像上只有一個圓形有效像面，空間視場被扭曲而不適合于用人眼直接觀看和解釋。需要另外用計算機系統(tǒng)將被扭曲的圖像“展開”。這就使得現(xiàn)有全視場成像系統(tǒng)不能單獨工作，無法并入現(xiàn)有視頻監(jiān)控或圖像采集系統(tǒng)直接使用，而必須附帶計算機設(shè)備，大大地增加了系統(tǒng)的實際使用成本。
(3)即使在圓形有效成像面內(nèi)，圖像分辨率也不均勻，往往在圓形有效成像面的邊緣區(qū)域圖像分辨率大大低于中心區(qū)域，使得展開后的圖像分辨率難以保證。

發(fā)明內(nèi)容
本發(fā)明目的是提供一系列全視場成像與顯示的方法，以及實現(xiàn)這些方法的裝置系統(tǒng)和技術(shù).本發(fā)明所謂”全視場成像”，是指成像系統(tǒng)的視場涵蓋整個(或接近整個)半球空間角(2p)，或者整個(或接近整個)360度環(huán)帶形視場范圍。整個半球形或360度環(huán)帶形視場范圍內(nèi)的所有景物均可被該成像系統(tǒng)所獲取。全視場成像系統(tǒng)無需采用任何運動部件。視場內(nèi)景物可被按設(shè)計的方式映射到成像元件(CCD，CMOS，或其它成像元件)的整個像面，無需額外的“展開”軟件數(shù)字化處理。所謂”全視場顯示”，是指顯示系統(tǒng)的視場涵蓋整個(或接近整個)半球空間角(2p)，或者整個(或接近整個)360度環(huán)帶形視場范圍。投影元件可以將圖像投射到整個半球形或360度環(huán)帶形屏幕上。
本發(fā)明的技術(shù)解決方案是全視場成像與顯示的方法，使用包括成像芯片、成像鏡頭的成像系統(tǒng)，并設(shè)有涵蓋整個或接近整個半球空間角(2p)，或者整個(或接近整個)360度環(huán)帶形視場的反射鏡將成像反射到鏡頭；所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀，兩面曲面鏡相交形成一條隆脊；每面曲面鏡分別對應反射半個半球空間角，或者半個360度環(huán)帶形視場。
每面曲面鏡的曲面具有這樣的表達局部曲面的法線方向和反射鏡表面點的位置確定出一個通過該點而又滿足映射關(guān)系，每一個曲面點的位置(x，y，z)，通過確定出從芯片像面上的下一個象素穿過的“象素射線”，此射線與局部曲面相交的交點便是下一個滿足映射關(guān)系的局部曲面上的點(x，y，z)；所有滿足映射關(guān)系的局部曲面上的點，這些點的集合構(gòu)成了所求的全視場反射鏡的曲面。
兩面曲面鏡相交形成一條隆脊；讓360°環(huán)形場景映射到成像芯片上的兩個矩形長條區(qū)域內(nèi)，每一個長條區(qū)域代表180°環(huán)形視場，每面曲面鏡對應將180°環(huán)形視場反射至一個矩形長條區(qū)域。
成像元件的投影模型是透視模型或正交模型；透視模型，在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場的上沿，而在成像芯片外側(cè)的象素被映射到b角為負的環(huán)形視場的下沿。在沿x軸正方向最外邊的象素點被映射到a角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為0°的環(huán)形視場處。
正交模型中，在成像芯片內(nèi)側(cè)的象素被映射到b角為負的環(huán)形視場的下沿，而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場的上沿。在沿x軸正方向最外邊的象素點被映射到a角為0°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為180°的環(huán)形視場處。我們提出的設(shè)計方法可以計算出適用于此情況的反射鏡曲面形狀。
在成像芯片內(nèi)側(cè)的象素被映射到b角為負的環(huán)形視場的下沿，而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場的上沿。在沿x軸正方向最外邊的象素點被映射到a角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為0°的環(huán)形視場處。我們提出的設(shè)計方法可以計算出適用于此情況的反射鏡曲面形狀。
全視場成像與顯示的系統(tǒng)，包括成像芯片、成像鏡頭的成像系統(tǒng)，并設(shè)有涵蓋整個或接近整個半球空間角(2p)，或者整個(或接近整個)360度環(huán)帶形視場的反射鏡；所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀，兩面曲面鏡相交形成一條隆脊；隆脊是中央凹處的弧線，成像鏡頭設(shè)在隆脊上中央凹處垂直向上的直線上。
全視場顯示系統(tǒng)無需采用任何運動部件。圖1展示了一種全視場反射鏡成像系統(tǒng)工作原理.本發(fā)明在全視場成像與顯示技術(shù)上的一項關(guān)鍵突破在于提供了可以將傳統(tǒng)的矩形成像或顯示元件的所有象素映射到全視場整個半球形或360度環(huán)帶形視場上的光學轉(zhuǎn)換方法，可使矩形(或其它任意形狀)成像或顯示元件的象素全部有序地映射到半球形或360度環(huán)帶形視場上而無需如何數(shù)字處理，從而大大降低了系統(tǒng)成本，可使此項技術(shù)達到實用化和產(chǎn)品化.其特點包括(1)可以直接將任意形狀的視場映射到矩形成像元件的整個像面上，充分利用了成像元件的象素和分辨率，從而可以獲得較高清晰度的全視場圖像；(2)輸出圖像已經(jīng)被光學“展開”，無需通過額外的計算機設(shè)備進行數(shù)字化處理，系統(tǒng)成本大大降低；(3)圖像分辨率在全視場內(nèi)分布均勻。
(4)利用反射鏡而不是折射透鏡，無需采用多級折射透鏡去消除光學像差，降低了光學系統(tǒng)復雜性和成本。
(5)本發(fā)明提出的一系列全視場成像與顯示的方法，從根本上更新了全視場成像與顯示的傳統(tǒng)概念，具有極高的商業(yè)價值.
四

圖1是本發(fā)明全視場反射鏡成像系統(tǒng)工作原理.
圖2是本發(fā)明新型全視場反射鏡有效地利用了圖像傳感器或投影儀上的所有象素圖3是本發(fā)明一個從成像芯片映射到場景的例子(透視投影)圖4是本發(fā)明計算全視場反射鏡曲面形狀的程序流程5是本發(fā)明全視場反射鏡設(shè)計例子(環(huán)形視場)定義從成像芯片到場景的映射圖6是本發(fā)明全視場反射鏡設(shè)計例子(環(huán)形視場)反射鏡曲面幾何形狀圖7是本發(fā)明全視場反射鏡設(shè)計例子(環(huán)形視場)從成像芯片到場景的映射關(guān)系的第一種變化圖8是本發(fā)明全視場反射鏡設(shè)計例子(環(huán)形視場)從成像芯片到場景的映射關(guān)系的第二種變化圖9是本發(fā)明全視場反射鏡設(shè)計例子(環(huán)形視場)從成像芯片到場景的映射關(guān)系的第三種變化圖10是本發(fā)明全視場攝像機P-型圖11是本發(fā)明全視場攝像機H-型圖12是本發(fā)明全視場監(jiān)控“看家狗“
五具體實施例方式
圖1展示了全視場反射鏡成像系統(tǒng)工作原理.全視場反射鏡的設(shè)計始于定義成像芯片到全景視場的映射關(guān)系。利用透視投影或正交投影成像原理的傳感器或投影儀，將環(huán)形或半球形視場投射到圖像傳感器或投影儀芯片的所有象素上圖2新型全視場反射鏡有效地利用了圖像傳感器或投影儀上的所有象素，傳統(tǒng)的魚眼鏡頭或拋物線雙曲線反射鏡只能產(chǎn)生圓形圖像，只占用整個圖像傳感器或投影儀芯片的中心區(qū)域。全視場反射鏡有效像素比魚眼鏡所產(chǎn)生的有效像素多70％圖3給出了一種一般的成像芯片到全景視場的映射。對于具體應用，一套完整的從每一個象素到全視場場景一一對應關(guān)系必須首先建立。比如，我們可以讓360°環(huán)形場景映射到成像芯片上的兩個矩形長條區(qū)域內(nèi)，每一個長條區(qū)域代表180°環(huán)形視場。成像元件的投影模型也必須事先確定。典型的投影模型包括透視模型或正交模型。
與其試圖建立起一個包羅萬象的用于計算全視場反射鏡幾何形狀的理論模型，我們在此提出一個簡單實用，適用面很廣而又能達到很高精度的反射鏡曲面計算方法。這種方法可以適用于任意形狀的反射鏡設(shè)計。圖4展示了這種計算方法的流程圖。
本發(fā)明提出的計算方法從一個已知的反射鏡表面點的位置(x0，y0，z0)開始。這個已知點通?？梢杂上到y(tǒng)設(shè)計參數(shù)來確定，例如物距，鏡面尺寸，等。計算程序由此可以根據(jù)預先定義的從成像芯片到全景視場的映射關(guān)系及鏡面反射原理計算處在此表面點的局部曲面的法線方向。局部曲面的法線方向和反射鏡表面點的位置可以確定出一個通過該點而又滿足映射關(guān)系的局部曲面。為了計算出下一個曲面點的位置(x，y，z)，計算程序可以確定出從芯片像面上的下一個象素穿過的“象素射線”。此射線與局部曲面相交的交點便是下一個滿足映射關(guān)系的局部曲面上的點(x，y，z)。計算程序應用同樣的方法可以計算出所有滿足映射關(guān)系的局部曲面上的點，這些點的集合構(gòu)成了所求的全視場反射鏡的幾何曲面。
圖5展示了一個應用上述方法設(shè)計出的全視場反射鏡的例子。以在成像芯片的平面為XY平面座標，且以鏡向芯片方向延伸的軸為Z軸。則XY平面以上即Z軸為正的視場是b(圖中β)角為正的環(huán)形視場，Z軸為負的視場是b(圖中β)角為負的環(huán)形視場，每面馬鞍狀曲面鏡構(gòu)成成像對應反射到成像芯片上的一個矩形長條區(qū)域內(nèi)，視場的對內(nèi)側(cè)的象素被映射到b(圖中β)角為正的環(huán)形視場的上沿，而在成像芯片外側(cè)的象素被映射到b角為負的環(huán)形視場的下沿。在沿x軸正方向最外邊的象素點被映射到a(α)角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a(α)角為0°的環(huán)形視場處。圖5中這一例子將成像芯片分為兩部分映射到360°圓筒型環(huán)形視場，每一個矩形長條涵蓋180°環(huán)形區(qū)域。投影模型用的是透視模型。在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場的上沿，而在成像芯片外側(cè)的象素被映射到b角為負的環(huán)形視場的下沿。在沿x軸正方向最外邊的象素點被映射到a角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為0°的環(huán)形視場處。利用前面所提供的全視場反射鏡曲面計算方法，我們可以獲得一個反射鏡曲面幾何形狀，如圖6所示。這一全視場反射鏡的工作原理由圖一來說明。
值得一提的是，即使對于同樣形狀的映射區(qū)域和關(guān)系，映射次序的不同也可導致不同的反射鏡曲面形狀。我們提出的設(shè)計方法可以適用與所有不同形狀和次序的映射關(guān)系。
圖7展示了一個與圖5相同區(qū)域但不同次序的映射關(guān)系，是圖5例子的一個變種。在成像芯片內(nèi)側(cè)的象素被映射到b角為負的環(huán)形視場的下沿，而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場的上沿。在沿x軸正方向最外邊的象素點被映射到a角為0°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為180°的環(huán)形視場處。我們提出的設(shè)計方法可以計算出適用于此情況的反射鏡曲面形狀。
圖8展示了又一個與圖5相同區(qū)域但不同次序的映射關(guān)系，是圖5例子的又一個變種。在成像芯片內(nèi)側(cè)的象素被映射到b角為負的環(huán)形視場的下沿，而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場的上沿。在沿x軸正方向最外邊的象素點被映射到a角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為0°的環(huán)形視場處。我們提出的設(shè)計方法可以計算出適用于此情況的反射鏡曲面形狀。
圖9展示了又一個與圖5相同區(qū)域但不同次序的映射關(guān)系，是圖5例子的又一個變種。在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場的上沿，而在成像芯片外側(cè)的象素被映射到b角為負的環(huán)形視場的下沿。在沿x軸正方向最外邊的象素點被映射到a角為0°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為180°的環(huán)形視場處。我們提出的設(shè)計方法可以計算出適用于此情況的反射鏡曲面形狀。
同樣的設(shè)計方法可以用于實現(xiàn)其它任意成像芯片到場景映射關(guān)系的反射鏡面設(shè)計。例如，如果將b角的范圍變成0°到180°，則我們可以得到將半球形視場分為兩部分映射到將成像芯片上兩個矩形長條區(qū)域的反射鏡，每一個長條涵蓋180°環(huán)形區(qū)域。這樣的反射鏡可以實現(xiàn)半球形成像或投影系統(tǒng)。
圖10是本發(fā)明全視場攝像機P-型由全視場攝像機輸出視頻信號，全頻視頻流由兩個180度環(huán)形視窗組成圖11是本發(fā)明全視場攝像機H-型，由全視場攝像機輸出視頻信號，全頻視頻流由兩個180度半球形視窗組成圖12是本發(fā)明全視場監(jiān)控“看家狗“，利用嵌入式DSP平臺360度圖像處理，目標監(jiān)測，自動跟蹤報警，360度全景圖像連續(xù)監(jiān)控全景空間，所有活動一覽無余。由高速球獲取的高清晰圖像，自動跟蹤被測目標。
本發(fā)明中的描述僅供說明之用.在本領(lǐng)域的同行可以根據(jù)本發(fā)明提供的原理進行各種明顯可見的改進和變種，但是這些改進和變種都在本發(fā)明的涵蓋范圍之內(nèi).
實現(xiàn)方案1、)全視場攝像機-360°全景無畸變視頻攝像頭傳統(tǒng)CCTV攝像頭的視場角有限，只能看到攝像頭前方很一小部分的場景。對于視頻監(jiān)控和網(wǎng)絡視頻會議等眾多應用，用戶需要看到實時360°全景圖像，以便統(tǒng)觀全局，高屋建瓴，監(jiān)測跟蹤所有可疑目標，作出正確反應和決策。
根據(jù)世界視頻監(jiān)控和網(wǎng)絡視頻會議市場需求，我們推出了全視場攝像頭技術(shù)，能夠方便地為用戶輸送360°全景無畸變視頻圖像。這種全視場攝像頭獨特的功能，新穎的產(chǎn)品造型，簡便的使用方法，安全可靠的性能，和極高的性價比，使它成為視頻監(jiān)控和網(wǎng)絡視頻會議等眾多應用場合的首選設(shè)備。
全視場攝像頭的特點(1)直接輸出360°無畸變視頻流神眼TM攝像機的視頻輸出是滿屏無畸變的360°圖像。這從根本上區(qū)別于現(xiàn)有的一些廣角視頻采集技術(shù)。這些現(xiàn)有方法只能得到畸變嚴重的圓形圖像。神眼TM攝像機輸出的滿屏無畸變360°圖像易于理解，便于直接應用。
(2)連續(xù)實時采集360°視頻流，無需多幅圖像拼接軟件神眼TM攝像機能夠連續(xù)實時采集360°視頻流。圖像視場涵蓋整個半球形視場(H型神眼攝像頭)或環(huán)形360°視場(P型神眼攝像頭)而無需依賴多幅圖像拼接軟件做非實時事后處理。
(3)自成體系，獨立工作，無需外加電腦神眼攝像機具有內(nèi)置圖像處理元件，可獨立工作，無需外接電腦。視頻輸出信號可選NTSC或PAL格式，類似于普通攝像頭，可直接送入顯示器或并入視頻監(jiān)控系統(tǒng)中。
(4)象素分部均勻，方便全場目標監(jiān)測神眼攝像頭將360°半球形或環(huán)形視場均勻地映射到成像元件上，使得同一物體在視場的任何地方均能產(chǎn)生同樣大小的圖像，極大地方便了自動目標監(jiān)測，提高了系統(tǒng)的實用性和準確性。
(5)設(shè)計新穎，無任何機械移動部件，運行可靠，性價比高神眼攝像頭設(shè)計融合了光學，電子，材料，精密機械，圖像處理軟件硬件等尖端技術(shù)，使其功能強大，外形新穎，運行可靠，性價比高。
為了適應不同應用需求，全視場攝像頭提供兩種型號，即P型和H型，按不同類型的360°視場角，使用者可根據(jù)不同應用場合做出最優(yōu)選擇。
P型全視場攝像頭“P”代表“環(huán)形視場(panoramic FOV)”. 如圖10所示，P型神眼攝像頭的可視范圍能夠涵蓋以它中軸心為準的環(huán)形視場。水平視場角為360°視場角，垂直視場角從-20°(下垂)到+40°(上揚).其它視場范圍也可用同樣設(shè)計方法來實現(xiàn)。
H型全視場攝像頭H”代表“半球形視場(hemispherical FOV)”.如圖11所示，H型全視場攝像頭的可視范圍能夠涵蓋以鏡頭為中心的半球形視場(2p空間角)。水平視場角為360°視場角，垂直視場角從0°到90°.其它視場范圍也可用同樣設(shè)計方法來實現(xiàn)。
2、)全視場自動跟蹤智能球相機-360°全景自動跟蹤全視場自動跟蹤智能球相機具有獨特的360°同時觀察，真正全景范圍無盲點，并能在360°縱觀全局而有你明察秋毫全景自動搜尋和跟蹤目標的強大功能。它的出現(xiàn)標志著監(jiān)控相機智能化的一場革命，具有以下特點1.同時連續(xù)監(jiān)控360°全景空間，所有人員和活動一覽無遺，不會漏掉或錯過突發(fā)事件，真正無盲點。
2.高性能嵌入式DSP硬件平臺，實現(xiàn)自動目標偵測和跟蹤，無需另外加“控制主機”。
3.靈巧快球可獲高清晰度圖像，跟隨目標移動，便于目標識別。
4.全視場智能球一體化設(shè)計，安裝簡單明了，沒有復雜的電纜線連接或笨重的”控制計算機”，類似于安裝標準的高速球。
5.標準視頻輸出格式(NTSC或PAL)，可以作為一個獨立的系統(tǒng)使用，或者作為大規(guī)模CCTV系統(tǒng)的一個組成部分安裝。
6.360°全景圖像提供對目標的大范圍覆蓋和監(jiān)測，靈巧快球提供高分辨率的目標跟蹤圖像。聚焦到某一物體目標時，仍能保持對全景的不間斷的監(jiān)控，并跟蹤多個目標。
7.用戶能夠直接看到不失真的360°視頻，不必用復雜的“展開軟件”或?qū)Χ鄠€圖像進行縫合。
節(jié)省瀏覽已發(fā)生事件的時間，提高了目標確認速度。
8.視頻輸出有多種格式選擇，用戶可選擇五種圖像格式的標準合成輸出。
9.由于有了自動目標監(jiān)測跟蹤報警功能，監(jiān)控人員的勞動強度大大降低。
10.節(jié)省了硬件投資(360°全時全景，無需安裝多臺相機)、人工操作成本(自動跟蹤和報警能力)、和額外的控制器成本(具有板載DSP，無需外接PC)。
本發(fā)明全視場智能球包含了三項核心設(shè)計(圖12)1.一體化微型360°全景探頭使全視場智能球能夠在任何時間都能在360°度周圍場景內(nèi)看到任何事情，無論何時、無需移動。
2.靈敏快球能夠靈活搜索和跟蹤目標無需人工干預，實現(xiàn)自動對360°所有方向的目標進行監(jiān)測，并且可以對單個目標放大供高清晰度圖像供仔細觀察。
3.同時利用嵌入式數(shù)字圖像處理(DSP)的軟件硬件平臺和智能監(jiān)控算法把”大腦”加入到了它的“眼睛”中，能夠自動進行目標搜索，行為監(jiān)測，跟蹤，和報警。
全視場智能球使7/24全時人工監(jiān)控的時代成為歷史。
再也不會出現(xiàn)因為高速球形照相機觀察其它方向而錯過發(fā)生的事件，神眼智能球能縱觀全局而又明察秋毫它能夠自動跟蹤在360°觀察區(qū)域內(nèi)所有的可疑對象并且對潛在的危險提供報警。全視場智能球，解決當前視頻監(jiān)控的難題目前使用的高速球相機大都是有“眼”無“腦”-它們本身不具有自動跟蹤目標的智能，而需要依賴于繁雜的人工操作，無法在360°全景視場內(nèi)自動尋找并且跟蹤可疑的目標和事件。不僅這種人工7天24小時監(jiān)控方式成本高昂，這種操作模式也極不可靠專業(yè)調(diào)查表明在CCTV監(jiān)控人員僅僅監(jiān)視兩個監(jiān)視器的情況下，10分鐘之后就將錯過45％的行為，并且22分鐘之后將錯過95％的行為。
此外，高速球相機有視角(FOV)的限制他們不能同時觀察到360°全景，因此會由于相機觀察其它的方向而錯過同時發(fā)生的事件。
全視場智能球利用360°探頭和高速轉(zhuǎn)球相機的獨特組合來獲取實時全景視頻流，實現(xiàn)了宏觀與微觀監(jiān)控的完美結(jié)合，360°全景范圍內(nèi)真正無盲點。最先進的數(shù)字信號處理技術(shù)硬件平臺可以實時實現(xiàn)高性能智能監(jiān)控算法，提供在360°全景范圍內(nèi)可靠的目標監(jiān)測和跟蹤。本發(fā)明全視場智能球利用360°探頭和高速轉(zhuǎn)球相機的獨特組合來獲取實時全景視頻流，視頻智能監(jiān)控裝置，包括采用第一視頻圖像信息和第二視頻圖像信息獲得裝置，其中一只攝像頭為一個全視場成像與顯示攝像頭，第二視頻圖像信息獲得裝置為旋轉(zhuǎn)或俯仰驅(qū)動的高分辨率可變焦相機，第一視頻圖像信息和第二視頻圖像信息獲得裝置共用一圖像顯示裝置，檢測到的可疑區(qū)域的方位信息被用來控制旋高分辨率轉(zhuǎn)球相機的聚焦，使高分辨率相機能夠自動跟蹤可疑區(qū)域的運動，實現(xiàn)全方位自動監(jiān)控。
全視場智能球能夠作為一個單獨的視頻監(jiān)控系統(tǒng)使用，也可以作為一套CCTV系統(tǒng)中的關(guān)鍵組件去提供大面積覆蓋和智能監(jiān)控的功能，從而節(jié)省了硬件投資(360覆蓋面積)、人工操作成本(自動跟蹤和報警能力)、和額外的計算固定成本(板載DSP處理器)。
全視場智能球輸出標準復合視頻信號，包含360°全景和靈巧快球的視頻輸出，以及控制參數(shù)，例如時間戳和監(jiān)測目標的方向/場所等。
全視場智能球系統(tǒng)是一套即兼容現(xiàn)有傳統(tǒng)監(jiān)控，又有別于傳統(tǒng)監(jiān)控、全新的、功能強大、操控方便的智能化監(jiān)控系統(tǒng)。神眼轉(zhuǎn)球具有360°同時觀察和自動搜尋和跟蹤目標的能力，罪犯在神眼智能球中無所盾形。
權(quán)利要求
1.全視場成像與顯示的方法，使用包括成像芯片、成像鏡頭的成像系統(tǒng)，并設(shè)有涵蓋整個或接近整個半球空間角2p或者整個360度環(huán)帶形視場的反射鏡將成像反射到鏡頭；所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀，兩面曲面鏡相交形成一條隆脊；每面曲面鏡分別對應反射半個半球空間角，或者半個360度環(huán)帶形視場。
2.由權(quán)利要求1所述的全視場成像與顯示的方法，其特征是每面曲面鏡的曲面具有這樣的表達局部曲面的法線方向和反射鏡表面點的位置確定出一個通過該點而又滿足映射關(guān)系，每一個曲面點的位置(x，y，z)，通過確定出從芯片像面上的下一個象素穿過的“象素射線”，此射線與局部曲面相交的交點便是下一個滿足映射關(guān)系的局部曲面上的點(x，y，z)；所有滿足映射關(guān)系的局部曲面上的點，這些點的集合構(gòu)成了所求的全視場反射鏡的曲面。
3.由權(quán)利要求1或2所述的全視場成像與顯示的方法，其特征是兩面曲面鏡相交形成一條隆脊；讓360°環(huán)形場景映射到成像芯片上的兩個矩形長條區(qū)域內(nèi)，每一個長條區(qū)域代表180°環(huán)形視場，每面曲面鏡對應將180°環(huán)形視場反射至一個矩形長條區(qū)域。
4.由權(quán)利要求1所述的全視場成像與顯示的方法，其特征是成像元件的投影的方法是是透視模型或正交模型；透視模型中以在成像芯片的平面為XY平面座標，且以鏡向芯片方向延伸的軸為Z軸；則XY平面以上即Z軸為正的視場是b角為正的環(huán)形視場，Z軸為負的視場是b角為負的環(huán)形視場，每面馬鞍狀曲面鏡構(gòu)成成像對應反射到成像芯片上的一個矩形長條區(qū)域內(nèi)，視場的對內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場的上沿，而在成像芯片外側(cè)的象素被映射到b角為負的環(huán)形視場的下沿。；在沿x軸正方向最外邊的象素點被映射到a角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為0°的環(huán)形視場處。在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場的上沿，而在成像芯片外側(cè)的象素被映射到b角為負的環(huán)形視場的下沿。在沿x軸正方向最外邊的象素點被映射到a角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為0°的環(huán)形視場處。
5.由權(quán)利要求1或2所述的全視場成像與顯示的方法，其特征是正交模型中，在成像芯片內(nèi)側(cè)的象素被映射到b角為負的環(huán)形視場的下沿，而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場的上沿。在沿x軸正方向最外邊的象素點被映射到a角為0°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為180°的環(huán)形視場處。我們提出的設(shè)計方法可以計算出適用于此情況的反射鏡曲面形狀。
6.由權(quán)利要求1或2所述的全視場成像與顯示的方法，其特征是在成像芯片內(nèi)側(cè)的象素被映射到b角為負的環(huán)形視場的下沿，而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場的上沿。在沿x軸正方向最外邊的象素點被映射到a角為180°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為0°的環(huán)形視場處。
7.由權(quán)利要求1或2所述的全視場成像與顯示的方法，其特征是在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場的上沿，而在成像芯片外側(cè)的象素被映射到b角為負的環(huán)形視場的下沿。在沿x軸正方向最外邊的象素點被映射到a角為0°的環(huán)形視場處，而沿x軸負方向最外邊的象素點被映射到a角為180°的環(huán)形視場處。如果將b角的范圍變成0°到180°，則我們可以得到將半球形視場分為兩部分映射到將成像芯片上兩個矩形長條區(qū)域的反射鏡，每一個長條涵蓋180°環(huán)形區(qū)域。這樣的反射鏡可以實現(xiàn)半球形成像或投影系統(tǒng)。
8.全視場成像與顯示的系統(tǒng)，包括成像芯片、成像鏡頭的成像系統(tǒng)，并設(shè)有涵蓋整個或接近整個半球空間角(2p)，或者整個(或接近整個)360度環(huán)帶形視場的反射鏡；所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀，兩面曲面鏡相交形成一條隆脊；隆脊是中央凹處的弧線，成像鏡頭設(shè)在隆脊上中央凹處垂直向上的直線上。
9.由權(quán)利要求8所述的全視場成像與顯示的系統(tǒng)，其特征是采用權(quán)利要求6或7所述成像與顯示的方法的反射鏡。
10.由權(quán)利要求9所述的全視場成像與顯示的系統(tǒng)，其特征是全視場智能球采用360°探頭和高速轉(zhuǎn)球相機的組合來獲取實時全景視頻流，視頻智能監(jiān)控裝置，包括采用第一視頻圖像信息和第二視頻圖像信息獲得裝置，其中一只攝像頭為一個全視場成像與顯示攝像頭，第二視頻圖像信息獲得裝置為旋轉(zhuǎn)或俯仰驅(qū)動的高分辨率可變焦相機，第一視頻圖像信息和第二視頻圖像信息獲得裝置共用一圖像顯示裝置，檢測到的可疑區(qū)域的方位信息被用來控制高分辨率轉(zhuǎn)球相機的聚焦，使高分辨率相機能夠自動跟蹤可疑區(qū)域的運動，實現(xiàn)全方位自動監(jiān)控。
全文摘要
本發(fā)明提供了全視場成像與顯示的方法，使用包括成像芯片、成像鏡頭的成像系統(tǒng)，并設(shè)有涵蓋整個或接近整個半球空間角2p或者整個360度環(huán)帶形視場的反射鏡將成像反射到鏡頭；所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀，兩面曲面鏡相交形成一條隆脊；每面曲面鏡分別對應反射半個半球空間角，或者半個360度環(huán)帶形視場。投影元件可以將圖像投射到整個半球形或360度環(huán)帶形屏幕上。本發(fā)明可使矩形(或其它任意形狀)成像或顯示元件的象素全部有序地映射到半球形或360度環(huán)帶形視場上而無需如何數(shù)字處理，從而大大降低了系統(tǒng)成本，可使此項技術(shù)達到實用化和產(chǎn)品化，從根本上更新了全視場成像與顯示的傳統(tǒng)概念。
文檔編號H04N5/225GK101021669SQ20061003822
公開日2007年8月22日 申請日期2006年2月13日 優(yōu)先權(quán)日2006年2月13日
發(fā)明者耿忠 申請人:耿忠