一種嵌入式高空間高光譜分辨率視頻采集系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻圖像處理領(lǐng)域，特別設(shè)及一種在嵌入式平臺(tái)下并行化實(shí)現(xiàn)雙邊濾 波算法，得到高空間分辨率和高光譜分辨率的視頻采集系統(tǒng)。
【背景技術(shù)】
[0002] 傳統(tǒng)光譜儀的光譜采集技術(shù)主要利用光線的散射，衍射與濾光片的光譜域帶通特 性將單束光線在空間中變?yōu)閱喂庾V光線進(jìn)行采集，當(dāng)光線在光譜維度上分開(kāi)后，使用光傳 感器就能夠?qū)Σ煌V段的光線光強(qiáng)進(jìn)行獨(dú)立的測(cè)量，進(jìn)而能夠采集得到光線的光譜信息。 但是光譜儀光學(xué)結(jié)構(gòu)復(fù)雜，實(shí)現(xiàn)困難，價(jià)格昂貴，體積龐大，不便移動(dòng)，應(yīng)用受限。
[0003] 普通RGB相機(jī)是基于紅綠藍(lán)=色波段對(duì)場(chǎng)景采集，能夠獲取高空間分辨率的視頻 流受傳感器靈敏度、成像原理、曝光時(shí)間、有限感光波段等因素的限制，彩色相機(jī)得到的圖 像和視頻帖丟失了絕大部分的光譜信息，得到的圖像或是視頻帖細(xì)節(jié)不能很好呈現(xiàn)。利用 類似光譜儀原理的高靈敏度灰度相機(jī)得到的灰度圖像能具有很寬光波段的光譜信息，但是 其空間分辨率有限。如果把同一場(chǎng)景下高空間分辨率的RGB圖像和高光譜分辨率的灰度圖 像通過(guò)算法融合，得到的圖像具有高空間分辨率的像素值和高光譜分辨率的光譜響應(yīng)值。 目前采用的算法多為雙邊濾波算法，其實(shí)現(xiàn)過(guò)程也多為x86計(jì)算機(jī)的CPU或是可并行計(jì)算 的GPU完成。但由于使用x86計(jì)算機(jī)作為處理核屯、，不方便移動(dòng)，功耗也大，使其應(yīng)用受限。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是針對(duì)上述系統(tǒng)對(duì)計(jì)算機(jī)的依賴和實(shí)時(shí)性要求，提供了一種可移動(dòng) 的嵌入式平臺(tái)下實(shí)現(xiàn)的高空間高光譜分辨率的視頻采集系統(tǒng)。本系統(tǒng)能完成高空間高光譜 分辨率視頻采集、處理、分析、顯示的全過(guò)程，不依賴于外部計(jì)算機(jī)，能做到設(shè)備的小型化和 一體化，便于攜帶使用。
[0005] 本發(fā)明采用的技術(shù)方案為：
[0006] -種嵌入式高空間高光譜分辨率的視頻采集系統(tǒng)，包括分別與視頻采集卡連接 的RGB和灰度兩路相機(jī)、嵌入式多核處理器、存儲(chǔ)器、電源模塊、顯示設(shè)備和遠(yuǎn)程主機(jī)，其 中，視頻采集卡、嵌入式多核處理器、存儲(chǔ)器和電源模塊集成在一塊電路板上，所述視頻采 集卡將采集的兩路視頻送至存儲(chǔ)器，處理器對(duì)視頻解碼分離出RGB圖像信號(hào)和灰度圖像信 號(hào)并進(jìn)行同步對(duì)齊校正；對(duì)校正后具有高光譜分辨率的稀疏像素點(diǎn)，先通過(guò)主成分分析方 法降低像素點(diǎn)的光譜信息維度簡(jiǎn)化計(jì)算量；然后在處理器上多線程并行化執(zhí)行雙邊濾波的 光譜傳播算法，得到視頻帖所有像素點(diǎn)的光譜信息；再通過(guò)主成分分析方法反變換恢復(fù)高 分辨率的光譜信息；將數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器中，通過(guò)顯示設(shè)備顯示采集處理分析過(guò)程；最后 將存儲(chǔ)器中的光譜數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸?shù)竭h(yuǎn)程主機(jī)。
[0007] 進(jìn)一步地，在RGB和灰度兩路相機(jī)的前端設(shè)有分光裝置，分光裝置將場(chǎng)景光線分 為相同的兩束：一束通過(guò)稀疏掩膜板采樣再經(jīng)過(guò)棱鏡色散使光波展開(kāi)，由灰度相機(jī)采集， 得到光譜分辨率較高的灰度視頻，另一束通過(guò)RGB相機(jī)直接采集得到空間分辨率較高的 RGB視頻。
[0008] 所述雙邊濾波的光譜傳播算法計(jì)算得到所有像素點(diǎn)在波長(zhǎng)為400-1000nm間的高 分辨率光譜信息。
[0009] 優(yōu)選地，所述嵌入式多核處理器采用的是NVDIA公司的tegraKl處理器，該處理器 忍片內(nèi)置ARMv7架構(gòu)的32位4核屯、C0RTEX-A15CPU和Kepler結(jié)構(gòu)的192個(gè)CUDA核屯、GPU， 處理器CPU作為控制核屯、，負(fù)責(zé)外圍設(shè)備控制及與GPU的通信，處理器GPU上的CUDA核屯、 負(fù)責(zé)雙邊濾波的光譜傳播算法的并行化實(shí)現(xiàn)。
[0010] 優(yōu)選地，所述存儲(chǔ)器包括內(nèi)存、閃存和數(shù)據(jù)存儲(chǔ)器，其中，閃存采用16GByte Flash,數(shù)據(jù)存儲(chǔ)器采用64GByte的SD卡，同時(shí)閃存和數(shù)據(jù)存儲(chǔ)器通過(guò)100/1000M的高速W 太網(wǎng)網(wǎng)卡將數(shù)據(jù)傳送至遠(yuǎn)程主機(jī)。
[0011] 進(jìn)一步地，所述電路板上還集成有音頻輸入/輸出接口、USB接口、HDMI接口、 miniPCIE接口、硬盤(pán)接口或者W上接口的組合。
[0012] 本發(fā)明W嵌入式ARM處理器為核屯、，控制前端的RGB與灰度的兩路視頻采集裝置， 利用多核屯、處理器能多線程并行化實(shí)現(xiàn)雙邊濾波的光譜傳播算法，將得到的高空間高光譜 分辨率的視頻帖數(shù)據(jù)保存至存儲(chǔ)器并將分析結(jié)果展現(xiàn)在顯示設(shè)備上。具有W下優(yōu)點(diǎn)：
[0013] (1)本發(fā)明采用RGB與灰度兩路相機(jī)的混合式視頻采集系統(tǒng)，可W看作是x86計(jì)算 機(jī)上類似系統(tǒng)的全功能移植，可W在x86計(jì)算機(jī)上開(kāi)發(fā)測(cè)試和功能實(shí)現(xiàn)后，再整體移植到 嵌入式平臺(tái)下，明顯減少開(kāi)發(fā)周期和成本。
[0014] (2)本發(fā)明基于雙邊濾波的光譜傳播算法來(lái)實(shí)現(xiàn)視頻帖中所有像素點(diǎn)的光譜響應(yīng) 值，所選嵌入式處理器具有多核屯、特點(diǎn)，能多線程并行化現(xiàn)實(shí)雙邊濾波的光譜傳播算法，加 速算法執(zhí)行速度，在保證光譜數(shù)據(jù)準(zhǔn)確性的同時(shí)又提高系統(tǒng)的實(shí)時(shí)處理能力，滿足實(shí)時(shí)性 需要。
[0015] (3)本發(fā)明的系統(tǒng)集成在一塊電路板上，將視頻的采集，處理，分析和顯示等多過(guò) 程一體化實(shí)現(xiàn)，不需要依賴于外部計(jì)算機(jī)，能做到設(shè)備的小型化和一體化，降低功耗，便于 攜帶，增強(qiáng)實(shí)用性，利于推廣使用。
【附圖說(shuō)明】
[0016] 圖1為嵌入式高空間高光譜分辨率視頻系統(tǒng)結(jié)構(gòu)示意圖；
[0017] 圖2為獲取高空間高光譜分辨率視頻系統(tǒng)處理流程圖。
【具體實(shí)施方式】
[0018] 本發(fā)明的核屯、思想是：將前端RGB和灰度兩路相機(jī)采集的視頻帖送至處理器，經(jīng) 過(guò)同步對(duì)齊校正后得到的RGB視頻帖，其上面的一些均勻間隔的稀疏像素點(diǎn)既具有RGB像 素值又具有多通道光譜響應(yīng)值，設(shè)計(jì)一種基于雙邊濾波的融合算法，將RGB視頻帖中稀疏 像素點(diǎn)的光譜信息，通過(guò)雙邊濾波的處理將光譜信息傳遞至所有像素點(diǎn)。
[0019] 如圖1所示的嵌入式高空間高光譜分辨率的視頻系統(tǒng)，W多核處理器為核屯、， 與處理器忍片電連的有FLA甜忍片、RAM忍片、音頻輸入/輸出接口、RS232UART接口、 nimiPCIe接口、SATA硬盤(pán)接口、HDMI接口和SD卡接口，一路USB3. 0和3路USB2. 0。
[0020] 上述FLA甜忍片為單忍片，采用eMMC4. 51協(xié)議，具體選用的是SanDisk公司 SDIN8DE4-16G-Q，容量為 16GByte;
[0021] 上述RAM忍片由Hynix公司的冊(cè)TC4G63AFR-畑A的4顆忍片構(gòu)成，總?cè)萘繛?2GB}rte，主頻可達(dá) 933MHz。
[0022] 本系統(tǒng)中的數(shù)據(jù)存儲(chǔ)介質(zhì)除了上述的16GByteFLA甜外，還需要通過(guò)SDMMC接口 外接SD卡來(lái)動(dòng)態(tài)擴(kuò)展存儲(chǔ)容量，本系統(tǒng)實(shí)際選用的是帶寬達(dá)48Mb/s容量為64GByte的 SanDisk公司的SD卡。同時(shí)，本系統(tǒng)也支持2. 5時(shí)或3. 5時(shí)的SATA格式硬盤(pán)，能擴(kuò)展更大 的存儲(chǔ)容量，但是需要注意的是，該系統(tǒng)不支持SATA硬盤(pán)的熱插拔，需要系統(tǒng)斷電，連接， 重啟，才能正常使用。
[0023] 本系統(tǒng)中的網(wǎng)絡(luò)接口有多種可選，一路RTL8111GSRealtek的lOO/lOOOBase-T自 適應(yīng)有線化hernet網(wǎng)卡和一路usb2. 0的無(wú)線網(wǎng)卡模塊，均能作為網(wǎng)絡(luò)傳輸接口中將本視 頻系統(tǒng)中原始視頻數(shù)據(jù)和經(jīng)處理得到的光譜信息數(shù)據(jù)高速傳輸?shù)竭h(yuǎn)端主機(jī)，W備后期建立 光譜數(shù)據(jù)庫(kù)。
[0024] 本系統(tǒng)中的一路具備OTG功能的microUSB通過(guò)microUSB to host的HUB集線器 擴(kuò)展為多路USB2. Ohost接口，W方便連接USbslave設(shè)備如鍵盤(pán)，鼠標(biāo)，無(wú)線網(wǎng)絡(luò)模塊等。 [00巧]本系統(tǒng)下的兩路相機(jī)為化intGr巧公司Grasshoppers系列工業(yè)相機(jī)，彩色相機(jī)為 GS3-U3-41S4C-C，灰度相機(jī)為GS3-U3-41S4M-C其性能參數(shù)為采用Sony的icx808 CCD傳感 器，最大分辨率為2016巧016,4. IMP,帖率可達(dá)18巧S等，兩個(gè)相機(jī)用視頻采集卡與處理器 通過(guò)miniPCIe接口相連。
[0026] 本系統(tǒng)中的RS232UART接口可用于與Linux主機(jī)相連接，用作系統(tǒng)啟動(dòng)時(shí)的信息 輸出接口，用于調(diào)試。在重新燒寫(xiě)bootloader,kernel,根文件系統(tǒng)時(shí)可將系統(tǒng)標(biāo)準(zhǔn)輸出和 標(biāo)準(zhǔn)錯(cuò)誤輸出重定向至UART接口，便于調(diào)試和觀察，是系統(tǒng)開(kāi)發(fā)階段必不可少的接口。其 常見(jiàn)參數(shù)設(shè)置為：115200波特率，Sbit數(shù)據(jù)位，無(wú)奇偶檢驗(yàn)，Ibit停止位，無(wú)流控。Linux 主機(jī)和本系統(tǒng)中都需設(shè)置，且參數(shù)設(shè)置保持一致。
[0027] 本系統(tǒng)通過(guò)HDMI1. 4協(xié)議與支持HDMI1. 4的顯示設(shè)備直接相連，用作系統(tǒng)的標(biāo) 準(zhǔn)輸出接口。
[0028] 本系統(tǒng)選用選用的嵌入式處理器為T(mén)egraKl,其在嵌入式處理器中性能出眾，特別 是GPU性能特別出眾，同時(shí)也與NVDIA GPU共享CUDA架構(gòu)，利于CUDA下雙邊濾波光譜傳播 算法的跨平臺(tái)移植。
[0029] TegraKl的特性簡(jiǎn)單介紹如下：
[0030] 32位對(duì)稱4核屯、的ARMv7架構(gòu)C0RTEX-A15,主頻可達(dá)2. 3細(xì)Z,同時(shí)也有64位 ARMvS架構(gòu)的雙核丹佛值enver)CPU核屯、，最高主頻可達(dá)2. 5GHz的版本可供選擇，本系統(tǒng)中 選用32位4核屯、版本。
[0031]GPU采用NVIDIAKepler高性能計(jì)算架構(gòu)，共有192個(gè)CUDA核屯、，處理性能到達(dá) 326G化0P。
[0032]支持CUDA6. 0,與NVDIA顯卡共享相同的CUDA(Compu