專利名稱:一種全景視頻實(shí)時(shí)拼接顯示系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本實(shí)用新型屬全景視頻拼接顯示系統(tǒng),涉及多攝像機(jī)拍攝、視頻拼圖技術(shù)、和邊緣融合大屏幕投影拼接顯示技術(shù),特別是不要求攝像頭有嚴(yán)格固定的相對位置和夾角,不要求攝像頭焦距等光學(xué)參數(shù)必須嚴(yán)格一致的全景視頻拼接技術(shù)。能夠方便有效地對現(xiàn)有監(jiān)控系統(tǒng)進(jìn)行升級,提供全景畫面,以便有效制定決策,如交通監(jiān)控中心、消防指揮中心,以及機(jī)場、火車站、酒店、小區(qū)、超市、停車場等場合。
背景技術(shù):
隨著科技進(jìn)步,監(jiān)控系統(tǒng)不斷發(fā)展完善,逐漸成為集圖像采集、分析、告警等功能為一體的智能化管理平臺。但是,普通攝像機(jī)視野窄,而廣角攝像機(jī)圖像變形嚴(yán)重,仍然是現(xiàn)有監(jiān)控系統(tǒng)的一個(gè)主要缺陷。雖然利用云臺控制,通過旋轉(zhuǎn)攝像機(jī)可以實(shí)現(xiàn)360°全景監(jiān)控,但是同一時(shí)刻也只能看到某一角度的畫面,仍然無法解決缺乏全景畫面的問題,監(jiān)控時(shí)不可避免地會出現(xiàn)盲區(qū)。進(jìn)年來,出現(xiàn)了 360°全景攝像機(jī),顧名思義,就是一次性收錄前后左右的所有信息。全景攝像機(jī)的關(guān)鍵技術(shù)是如何生成全景視頻,目前主要有兩種方法。其一,是依據(jù)仿生學(xué)(魚眼),采用物理光學(xué)的球面投射加反射原理一次性將水平360°、垂直180°的信息成像,再采用硬件自帶的軟件進(jìn)行轉(zhuǎn)換,以人眼習(xí)慣的方式呈現(xiàn)出畫面,典型產(chǎn)品如日本 SONY公司的360°全景攝像機(jī)。這種方法圖像分辨率較低,清晰度較差,呈現(xiàn)出的適合人眼的180°正常平面視圖存在較大變形。其二,是采用多個(gè)位置固定的攝像頭捕捉不同角度空間的場景,然后將視頻圖像進(jìn)行拼接得到全景視頻,典型產(chǎn)品如美國Honeywell公司推出的PARASCAN全景攝像機(jī)。這種方法能提供較高的分辨率,但存在拼接裂痕和明暗差異。國內(nèi)尚無產(chǎn)品出現(xiàn),但是對此的研究也不斷深入,如發(fā)明專利“根據(jù)多視角視頻流生成全景視頻的方法”(公開號CN 101146231A),和實(shí)用新型專利“一種全景攝像機(jī)”(專利CN 201409204)。事實(shí)上,很多監(jiān)控場合需要遠(yuǎn)距離監(jiān)控,如機(jī)場停機(jī)坪、高速公路等,此時(shí)需要的是廣角、大視野、高分辨率、變形小的全景圖像,水平視角達(dá)到150° 180°,垂直視角達(dá)到70° 120°即可。由于產(chǎn)品的技術(shù)特點(diǎn),360°全景攝像機(jī)比較適合狹小空間的視頻監(jiān)控,并不適合這種場合,且價(jià)格比較昂貴。解決問題的最佳方案是在原有監(jiān)控系統(tǒng)的基礎(chǔ)上,利用多攝像機(jī)視頻拼圖技術(shù)來得到全景視頻。重要的是,為了適應(yīng)各種現(xiàn)場,并便于安裝調(diào)試,它要突破現(xiàn)有視頻拼接系統(tǒng)的一些限制,從而不要求攝像頭的相對位置、夾角嚴(yán)格固定,也不要求攝像頭焦距等光學(xué)參數(shù)必須嚴(yán)格一致。例如在專利CN 101146231A中提出“每個(gè)攝像頭在水平面上以同一圓心向四周不同方向拍攝”的條件就太苛刻。目前,在這種較為寬松的拍攝條件下的全景拼接,還只應(yīng)用于靜態(tài)照片的拼接領(lǐng)域中,有與數(shù)碼相機(jī)綁定的商用產(chǎn)品,也有一些開源軟件。該技術(shù)主要基于尺度不變的特征變換來提取圖像的特征點(diǎn),進(jìn)行圖像間的特征匹配,從而獲取圖像的坐標(biāo)變換,生成無縫拼接的全景圖像,最后對圖像的重疊區(qū)域進(jìn)行融合處理,使得整幅畫面亮度均衡。該技術(shù)的先進(jìn)性在于其不受圖像縮放比例、平移、和旋轉(zhuǎn)的影響, 受亮度變化和3D投影的影響也是有限的,因此使得拍攝條件大大降低。由于算法復(fù)雜,目前該技術(shù)的弱點(diǎn)是實(shí)時(shí)性問題。拼接好的全景視頻其分辨率與攝像頭的分辨率和個(gè)數(shù)成正比,攝像頭個(gè)數(shù)越多全景視頻分辨率越高、視野越大。為了使指揮控制中心的監(jiān)控人員能夠快速、準(zhǔn)確的判斷和決策,全景視頻需要在一個(gè)支持超高分辨率、超大顯示畫面的大屏幕顯示系統(tǒng)中顯示。目前市場上有DLP (數(shù)字光處理)、LCD (液晶)、PDP (等離子)等大屏幕拼接墻產(chǎn)品,其優(yōu)點(diǎn)是高清晰度、高亮度,缺點(diǎn)是有箱體拼接縫,造價(jià)和維護(hù)成本高。邊緣融合大屏幕投影拼接顯示技術(shù)是近來迅速崛起的一種新型無縫拼接顯示技術(shù)。它用一組投影機(jī)投射出的畫面進(jìn)行邊緣重疊,并通過邊緣融合技術(shù)顯示出一個(gè)沒有縫隙、超大、高分辨率的整幅畫面,畫面的效果就像是一臺投影機(jī)投射的畫面。投影屏幕可以是平面或者曲面,介質(zhì)甚至可以是一面墻。 該技術(shù)的顯著優(yōu)點(diǎn)是沒有拼接縫,更能體現(xiàn)畫面的完整性,有更好的視覺效果,而且造價(jià)低廉
MTv ο
發(fā)明內(nèi)容為了解決現(xiàn)有監(jiān)控系統(tǒng)無法提供全景圖像,不利于后方指揮控制中心制定正確決策的問題,本實(shí)用新型提供了一種解決方案,該方案能夠利用現(xiàn)有的監(jiān)控設(shè)備,將前端采集的視頻實(shí)時(shí)進(jìn)行全景拼接,并將拼接好的全景視頻通過邊緣融合大屏幕顯示系統(tǒng)輸出。本實(shí)用新型解決其技術(shù)問題所采用的技術(shù)方案是由攝像機(jī)組、全景視頻拼接系統(tǒng)、邊緣融合大屏幕投影拼接顯示系統(tǒng)、投影機(jī)組和大屏幕構(gòu)建一個(gè)全景視頻實(shí)時(shí)拼接顯示系統(tǒng)。前端對需要監(jiān)控的場景使用一組攝像機(jī)進(jìn)行全景覆蓋拍攝,多路視頻匯集到后方監(jiān)控中心后輸入到全景視頻拼接系統(tǒng),實(shí)時(shí)拼接生成一路廣角、大視野、高分辨率全景視頻,全景視頻輸入到邊緣融合大屏幕投影拼接顯示系統(tǒng)進(jìn)行幾何校正、畫面切割、融合帶處理、顏色校正、亮度均衡,并輸出給多部投影機(jī)投射到大屏幕上,最終顯示出一個(gè)沒有縫隙、 超大、高分辨率的全景畫面。本實(shí)用新型全景視頻實(shí)時(shí)拼接顯示系統(tǒng),其具體特征在于1.攝像機(jī)組以MxN矩陣方式排列,為滿足圖像拼接技術(shù)的要求,相鄰攝像機(jī)的水平和俯仰夾角不超過30°,相鄰拍攝圖像之間有10% 30%的重疊區(qū)域,各鏡頭的焦距可以不同。2.全景視頻拼接系統(tǒng)生成的全景視頻,其分辨率和視野隨著攝像頭個(gè)數(shù)的增多而增大,無拼縫,亮度均衡。3.使用一組投影機(jī),其以矩陣方式排列,以正投或者背投方式投射。4.使用大屏幕,屏幕形狀可以是平面或者曲面,介質(zhì)甚至可以是一面墻。5.可以作為一種實(shí)現(xiàn)全景視頻實(shí)時(shí)拼接顯示的基礎(chǔ),凡是在本實(shí)用新型的啟示下做出的變化,或是與本實(shí)用新型具有相同或者相近的技術(shù)方案,均落入本實(shí)用新型的保護(hù)范圍之內(nèi)。本實(shí)用新型的有益效果是可以在現(xiàn)有監(jiān)控系統(tǒng)的基礎(chǔ)上進(jìn)行改造,獲得場景的全景視頻,有利于后方快速有效地制定正確決策。安裝調(diào)試快速、改造維護(hù)成本低,是實(shí)用可行的解決方案。
圖1是本實(shí)用新型的工作原理和流程示意圖。圖2是本實(shí)用新型的功能模塊示意圖。圖3是本實(shí)用新型中全景視頻拼接系統(tǒng)中的全景拼接參數(shù)生成模塊軟件流程示意圖。圖4是本實(shí)用新型中邊緣融合大屏幕投影拼接系統(tǒng)軟件流程示意圖。圖中,1.攝像機(jī)組,2.全景視頻拼接系統(tǒng),21.全景拼接參數(shù)生成模塊,3.邊緣融合大屏幕投影拼接顯示系統(tǒng),4.投影機(jī)組和大屏幕。
具體實(shí)施方式
如圖1所示,本實(shí)用新型通過“攝像機(jī)組”(1)、“全景視頻拼接系統(tǒng)”(2)、“邊緣融合大屏幕投影拼接顯示系統(tǒng)”(3)以及“投影機(jī)組和大屏幕” 四個(gè)步驟來實(shí)現(xiàn)全景視頻的實(shí)時(shí)拼接和顯示。第一步采用一組攝像機(jī)對需要監(jiān)控的場景進(jìn)行全景覆蓋拍攝。為了保證完美的畫面拼接,每部攝像機(jī)與四周相鄰攝像機(jī)拍攝的圖像之間需要有10% 30%左右的重疊, 以保證在重疊區(qū)域能夠提取出足夠多的匹配特征點(diǎn);并且水平和俯仰夾角一般都不超過 30°,以降低3D投影變換給拼接造成的影響。每部攝像機(jī)的焦距可以不同,也不用像全景攝像機(jī)那樣固定彼此相對位置和夾角,因此在安裝和調(diào)試時(shí)具有很大的靈活性。第二步使用全景視頻拼接系統(tǒng),其將攝像機(jī)組拍攝的多個(gè)視頻進(jìn)行實(shí)時(shí)自動拼接和重疊區(qū)域融合處理,從而生成一個(gè)大視野、廣角、高分辨率、亮度均衡的全景視頻。第三步使用現(xiàn)有的邊緣融合大屏幕投影拼接顯示系統(tǒng),根據(jù)大屏幕的形狀,將已拼接好的全景視頻進(jìn)行自動幾何校正,并根據(jù)投影機(jī)的個(gè)數(shù)將全景視頻切割成相互重疊的多個(gè)通道視頻,自動計(jì)算融合帶,同時(shí)進(jìn)行顏色校正和亮度均衡。第四步使用一組投影機(jī)和一塊大屏幕。每部投影機(jī)接入邊緣融合系統(tǒng)(3)的一個(gè)通道,將多路視頻投射到大屏幕上,從而顯示出一個(gè)沒有縫隙、超大、高分辨率的全景視頻畫面,畫面的效果就像是一臺投影機(jī)投射的畫面。圖中是一個(gè)正投的例子,根據(jù)現(xiàn)場的需求,也可以采用背投方式,同時(shí)選擇相應(yīng)的正投幕或者背投幕。由于邊緣融合系統(tǒng)(3)進(jìn)行自動幾何校正,因此幕的形狀也沒有嚴(yán)格限定。如圖2所示,本實(shí)用新型中全景視頻拼接系統(tǒng)O)的控制軟件主要有5個(gè)功能模塊視頻采集模塊、全景拼接參數(shù)生成模塊0 、參數(shù)表、實(shí)時(shí)全景拼接模塊04) 和顯示輸出模塊0幻。其中,視頻采集模塊用于采集多路攝像機(jī)視頻,一方面可以直接輸入顯示輸出模塊0 顯示多路視頻;另一方面用于截取靜態(tài)圖像輸入全景拼接參數(shù)生成模塊0幻。全景參數(shù)生成模塊0 包含各種復(fù)雜的圖像分析、處理算法,用于生成拼接所需的幾何變換參數(shù)和亮度均衡所需的融合參數(shù),并將參數(shù)存入?yún)?shù)表03)中。該模塊 (22)是全景視頻拼接系統(tǒng)中的核心模塊,但其只需在系統(tǒng)安裝調(diào)試期間,或者當(dāng)攝像機(jī)位置發(fā)生變動時(shí),甚至可以選擇自動模式在恰當(dāng)?shù)臅r(shí)機(jī)進(jìn)行參數(shù)重建,屬于離線預(yù)處理模塊。 一旦全景參數(shù)生成,視頻采集模塊則將視頻圖像輸入到實(shí)時(shí)全景拼接模塊(M),該模塊利用參數(shù)表03)中的參數(shù)進(jìn)行全景圖像的拼接和融合計(jì)算,以達(dá)到實(shí)時(shí)性要求,并將拼接好的全景圖像輸出給顯示輸出模塊05)。如圖3所示,全景拼接參數(shù)生成模塊0 主要通過五個(gè)步驟實(shí)現(xiàn)。第一步提取每幅輸入圖像的尺度不變局部特征;第二步匹配相鄰圖像的尺度不變局部特征;第三步 計(jì)算每幅圖像的投影變換矩陣;第四步圖像重疊區(qū)域的融合處理;第五步生成拼接、融合參數(shù)。如圖4所示,本實(shí)用新型中邊緣融合大屏幕投影拼接顯示系統(tǒng)(3)的控制軟件主要通過五個(gè)步驟實(shí)現(xiàn)。第一步對輸入的全景圖像進(jìn)行幾何校正,以適應(yīng)不同形狀的大屏幕;第二步根據(jù)投影機(jī)的個(gè)數(shù)對全景圖像進(jìn)行切割,分成多個(gè)通道,相鄰?fù)ǖ乐g有一定重疊區(qū)域;第三步對每個(gè)通道圖像進(jìn)行淡進(jìn)淡出融合帶處理;第四步對每個(gè)通道圖像進(jìn)行顏色校正處理;第五步對每個(gè)通道圖像進(jìn)行亮度均衡處理。最后將每個(gè)通道圖像輸出給相應(yīng)投影機(jī)。
權(quán)利要求1.一種全景視頻實(shí)時(shí)拼接顯示系統(tǒng),包括攝像機(jī)組、全景視頻拼接系統(tǒng)、邊緣融合大屏幕投影拼接顯示系統(tǒng)、投影機(jī)組和大屏幕,其特征是前端采用一組攝像機(jī)對需要監(jiān)控的場景進(jìn)行全景覆蓋拍攝,多路視頻匯集到后方輸入全景視頻拼接系統(tǒng),實(shí)時(shí)拼接生成一路廣角、大視野全景視頻,全景視頻傳輸給邊緣融合大屏幕投影拼接顯示系統(tǒng),最終通過投影機(jī)組將全景視頻投射到大屏幕上。
2.根據(jù)權(quán)利要求1所述的全景視頻實(shí)時(shí)拼接顯示系統(tǒng),其特征是攝像機(jī)組以MxN矩陣方式排列,相鄰攝像機(jī)的水平和俯仰夾角不超過30°,相鄰拍攝圖像之間有10% 30% 的重疊區(qū)域,各鏡頭的焦距可以不同。
3.根據(jù)權(quán)利要求1所述的全景視頻實(shí)時(shí)拼接顯示系統(tǒng),其特征是使用一組投影機(jī),其以矩陣方式排列,以正投或者背投方式投射。
4.根據(jù)權(quán)利要求1所述的全景視頻實(shí)時(shí)拼接顯示系統(tǒng),其特征是使用大屏幕,屏幕形狀可以是平面或者曲面。
專利摘要本實(shí)用新型提供了一種全景視頻實(shí)時(shí)拼接顯示系統(tǒng)。它使用了一組普通攝像機(jī)進(jìn)行全景覆蓋拍攝,采用視頻拼圖技術(shù)和邊緣融合大屏幕投影拼接顯示技術(shù),實(shí)時(shí)將多路視頻拼接成一路廣角、大視野、高分辨率的全景視頻,全景視頻輸入到邊緣融合大屏幕投影拼接顯示系統(tǒng),最終投射到大屏幕上。本實(shí)用新型克服了全景攝像機(jī)的固定模式,可以靈活改變攝像機(jī)的相對位置和焦距,因此能夠方便有效地對現(xiàn)有監(jiān)控系統(tǒng)進(jìn)行升級,提供全景畫面,提高決策的準(zhǔn)確性和快速性。
文檔編號H04N9/09GK201947404SQ20102015543
公開日2011年8月24日 申請日期2010年4月12日 優(yōu)先權(quán)日2010年4月12日
發(fā)明者李偉, 范治江 申請人:李偉, 范治江