專利名稱：一種基于fpga的視頻圖像采集系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型屬于電子信息領(lǐng)域，具體是一種基于FPGA的視頻圖像采集系統(tǒng)。該系統(tǒng)能對(duì)攝像頭的視頻數(shù)據(jù)進(jìn)行識(shí)別后采集、鎖存、格式轉(zhuǎn)換等操作后，直接實(shí)現(xiàn)VGA顯示。
背景技術(shù)：
視頻圖像采集系統(tǒng)是多媒體信息處理、視頻監(jiān)控等系統(tǒng)的前端子系統(tǒng)，視頻圖像采集系統(tǒng)的實(shí)現(xiàn)是進(jìn)行數(shù)字圖像處理、多媒體和網(wǎng)絡(luò)傳輸?shù)那疤幔梢詾楦鞣N圖像處理算法提供待處理的原始數(shù)字圖像。目前很多視頻處理系統(tǒng)是基于CPLD+CPU的結(jié)構(gòu)設(shè)計(jì)，隨著FPGA性能和集成度的提高，用一片F(xiàn)PGA來實(shí)現(xiàn)整個(gè)系統(tǒng)已經(jīng)成為一個(gè)新的發(fā)展方向。其具有體系結(jié)構(gòu)和邏輯單元靈活、集成度高以及適用范圍寬等特點(diǎn)。其具有設(shè)計(jì)開發(fā)周期短、設(shè)計(jì)制造成本低、開發(fā)工具先進(jìn)、標(biāo)準(zhǔn)產(chǎn)品不需測(cè)試、質(zhì)量穩(wěn)定以及可實(shí)時(shí)在線檢驗(yàn)等 優(yōu)點(diǎn)，與此同時(shí)，F(xiàn)PGA的功耗、價(jià)格逐年下降，幾乎所有應(yīng)用門陣列、PLD和中小規(guī)模通用數(shù)字集成電路的場(chǎng)合均趨向于應(yīng)用FPGA。目前，類似的視頻數(shù)據(jù)格式轉(zhuǎn)換器的發(fā)明也有實(shí)現(xiàn)，如申請(qǐng)?zhí)枮?00710043779. 5的發(fā)明裝置。

實(shí)用新型內(nèi)容本實(shí)用新型的目的是針對(duì)已有的相關(guān)發(fā)明，采用功能更加強(qiáng)大的FPGA芯片EP2C35F672C6作為核心處理芯片，進(jìn)一步優(yōu)化設(shè)計(jì)，改進(jìn)原有的處理速度和效果。本實(shí)用新型利用硬件描述語言實(shí)現(xiàn)視頻采集鎖存，攝像頭數(shù)據(jù)經(jīng)視頻解碼芯片ADV7181B，將模擬視頻信號(hào)轉(zhuǎn)換成YUV的格式的數(shù)字化視頻數(shù)據(jù)信息，通過以FPGA為核心處理芯片，使用VHDL語言編程將視頻數(shù)據(jù)格式轉(zhuǎn)換變?yōu)镽GB格式。同時(shí)，通過VHDL編程實(shí)現(xiàn)顯示所需要的行、場(chǎng)同步信號(hào)后經(jīng)由視頻數(shù)據(jù)轉(zhuǎn)換芯片ADV7123來進(jìn)行VGA顯示。本實(shí)用新型的技術(shù)方案是一種基于FPGA的視頻圖像采集系統(tǒng)，該系統(tǒng)由有源晶體振蕩器、電源變換模塊、FPGA芯片、編程接口、本地控制接口、FLASH存儲(chǔ)器、片外SDRAM組、視頻輸入模塊和視頻輸出模塊組成，其中所述電源變換模塊分別與所述有源晶體振蕩器、所述FPGA芯片、所述FLASH存儲(chǔ)器、所述片外SDRAM組、所述編程接口、所述視頻輸入模塊、所述視頻輸出模塊相連接，所述FPGA芯片與所述FLASH存儲(chǔ)器相連，F(xiàn)PGA芯片通過SDRAM總線分別與所述片外SDRAM組中的三片SDRAM相連，所述視頻輸入模塊與所述FPGA芯片相連，所述視頻輸出模塊與所述FPGA芯片相連，所述有源晶體振蕩器與所述FPGA芯片相連，所述編程接口和所述本地控制接口分別與所述FPGA芯片相連。進(jìn)一步地，所述的FPGA芯片為EP2C35F672C6，其內(nèi)部結(jié)構(gòu)包括同步信號(hào)控制器、讀寫狀態(tài)控制器、I2C控制器、SDRAM控制器、RAM控制器、片內(nèi)RAM組、YUV/RGB轉(zhuǎn)換器，其中所述讀寫狀態(tài)控制器通過內(nèi)部控制總線分別與所述同步信號(hào)控制器、所述SDRAM控制器、所述RAM控制器、所述YUV/RGB轉(zhuǎn)換器、所述I2C控制器相連；所述RAM控制器通過所述內(nèi)部控制總線與所述讀寫狀態(tài)控制器相連，RAM控制器通過內(nèi)部數(shù)據(jù)總線分別與所述SDRAM控制器和所述YUV/RGB轉(zhuǎn)換器相連，RAM控制器通過內(nèi)部數(shù)據(jù)總線、地址總線及控制總線與片內(nèi)RAM組相連。由于采用了上述技術(shù)方案，本實(shí)用新型以較低成本實(shí)現(xiàn)了包括幀頻提升、隔行一逐行轉(zhuǎn)換和分辨率放大的視頻格式的實(shí)時(shí)轉(zhuǎn)換，具有較高的性價(jià)比。此外，F(xiàn)PGA芯片EP2C35F672C6為核心處理芯片的可編程性使系統(tǒng)有更大的處理速度和可擴(kuò)展性，并提高了數(shù)據(jù)處理速度和準(zhǔn)確性。所使用的ADV7181B視頻解碼芯片和ADV7123視頻數(shù)模轉(zhuǎn)換芯片比現(xiàn)有的類似轉(zhuǎn)換器價(jià)格更合理，功能更強(qiáng)大。

圖I為本實(shí)用新型系統(tǒng)的結(jié)構(gòu)示意圖。圖2為本實(shí)用新型FPGA內(nèi)部結(jié)構(gòu)框圖。圖3為本實(shí)用新型RAM控制器內(nèi)部結(jié)構(gòu)示意圖。圖4為本實(shí)用新型場(chǎng)內(nèi)插值器內(nèi)部結(jié)構(gòu)示意圖。圖5為本實(shí)用新型場(chǎng)間插值和運(yùn)動(dòng)檢測(cè)器內(nèi)部結(jié)構(gòu)示意圖。圖6為本實(shí)用新型場(chǎng)縱向放大插值器內(nèi)部結(jié)構(gòu)示意圖。
具體實(shí)施方式
以下結(jié)合附圖和實(shí)施例對(duì)本實(shí)用新型的具體實(shí)施方式
作進(jìn)一步的說明，但不應(yīng)以此限制本實(shí)用新型的保護(hù)范圍。本基于FPGA的視頻圖形采集系統(tǒng)的系統(tǒng)結(jié)構(gòu)如圖I所示,該系統(tǒng)由有源晶體振蕩器、電源變換模塊、FPGA芯片、編程接口、本地控制接口、FLASH存儲(chǔ)器、片外SDRAM組、視頻輸入模塊和視頻輸出模塊組成，其中電源變換模塊分別與有源晶體振蕩器、FPGA芯片、FLASH存儲(chǔ)器、片外SDRAM組、編程接口、視頻輸入模塊、視頻輸出模塊相連接，F(xiàn)PGA芯片與所述FLASH存儲(chǔ)器相連，F(xiàn)PGA芯片通過SDRAM總線分別與片外SDRAM組中的三片SDRAM相連，視頻輸入模塊與FPGA芯片相連，視頻輸出模塊與FPGA芯片相連，有源晶體振蕩器與FPGA芯片相連，編程接口和本地控制接口分別與FPGA芯片相連。在本實(shí)施例中FPGA芯片采用EP2C35F672C6芯片，視頻輸入模塊采用ADV7181B視頻解碼芯片，視頻輸出模塊采用ADV7123視頻數(shù)模轉(zhuǎn)換芯片，三片SDRAM均采用64MBits32位的SDRAM存儲(chǔ)芯片。視頻輸入模塊將視頻輸入接口輸入的PAL制，50Hz，720x288，隔行掃描的模擬視頻信號(hào)進(jìn)行同步信號(hào)分離，亮度色度信號(hào)分離，并將模擬信號(hào)轉(zhuǎn)換為16位YUV4:2:2，50Hz，720x288，隔行掃描的數(shù)字信號(hào)，與分離出的場(chǎng)同步信號(hào)、行同步信號(hào)、27MHz點(diǎn)頻率信號(hào)、奇偶場(chǎng)標(biāo)志信號(hào)一齊送至FPGA; FPGA作為核心處理芯片，通過I2C總線初始化并調(diào)整視頻輸入模塊和視頻輸出模塊的具體參數(shù)，接收來自視頻輸入模塊的16位YUV4:2:2信號(hào)和同步信號(hào)，以片外SDRAM組作為場(chǎng)緩存，并以片內(nèi)RAM組作為行緩存，對(duì)輸入的隔行掃描數(shù)字視頻信號(hào)進(jìn)行幀頻提升、隔行一逐行變換、分辨率放大三種處理，并轉(zhuǎn)換為24位RGB4:4:4格式，然后與FPGA內(nèi)部產(chǎn)生的供顯示用的行同步、場(chǎng)同步信號(hào)一同送至視頻輸出模塊；視頻輸出模塊接收經(jīng)格式轉(zhuǎn)換后的RGB4:4:4數(shù)字視頻，進(jìn)行數(shù)模變換后送至視頻輸出接口供VGA顯示器以75Hz，1024*768，逐行掃描格式顯示。片外SDRAM組作為場(chǎng)(幀)緩存，其讀寫交替操作的合理安排在幀頻提升、隔行一逐行變換和分辨率放大中都起著至關(guān)重要的作用。FPGA芯片接收來自視頻輸入模塊的16位YUV4:2:2，50Hz的數(shù)字視頻信號(hào)，按視頻輸入模塊所提供的50Hz行場(chǎng)同步和27MHz點(diǎn)時(shí)鐘將其輪流寫入三片片外SDRAM，同時(shí)以同步信號(hào)控制器產(chǎn)生的75Hz顯示同步和晶振的50MHz點(diǎn)時(shí)鐘將所存視頻信號(hào)輪流讀出，以供進(jìn)一步處理，寫入場(chǎng)同步為50Hz，讀出場(chǎng)同步為75Hz，成2:3比例，因此采用第一場(chǎng)讀兩遍，第二場(chǎng)讀一遍，依此循環(huán)的讀出方法，達(dá)到2:3幀頻提升的效果，隔行一逐行轉(zhuǎn)換過程中采用運(yùn)動(dòng)檢測(cè)自適應(yīng)選擇場(chǎng)內(nèi)還是場(chǎng)間插值的方式，對(duì)當(dāng)前場(chǎng)插值需要前一場(chǎng)和后一場(chǎng)的數(shù)據(jù)，因此每片SDRAM存連續(xù)四場(chǎng)視頻數(shù)據(jù)，三片輪流，當(dāng)前片的SDRAM所存第四場(chǎng)與下一片的SDRAM所存第一場(chǎng)相同，依此循環(huán)，對(duì)于每片SDRAM，先到達(dá)的奇場(chǎng)數(shù)據(jù)存在奇行的低16位，先到達(dá)的偶場(chǎng)數(shù)據(jù)存在偶行的低16位，后到達(dá)的奇場(chǎng)數(shù)據(jù)存在奇行的高16位，后到達(dá)的偶場(chǎng)數(shù)據(jù)存在偶行的高16位，而在運(yùn)算時(shí)將32位數(shù)據(jù)同時(shí)讀出，可為場(chǎng)間插值運(yùn)算提供很大的方便。參見圖2，EP2C35F672C6芯片的內(nèi)部結(jié)構(gòu)包括同步信號(hào)控制器、讀寫狀態(tài)控制器、I2C控制器、SDRAM控制器、RAM控制器、片內(nèi)RAM組、YUV/RGB轉(zhuǎn)換器，其中讀寫狀態(tài)控制器通過內(nèi)部控制總線分別與同步信號(hào)控制器、SDRAM控制器、RAM控制器、YUV/RGB轉(zhuǎn)換器、I2C控制器相連；RAM控制器通過內(nèi)部控制總線與讀寫狀態(tài)控制器相連，RAM控制器通過內(nèi)部數(shù)據(jù)總線分別與SDRAM控制器和YUV/RGB轉(zhuǎn)換器相連，RAM控制器通過內(nèi)部數(shù)據(jù)總線、地址總·線及控制總線與片內(nèi)RAM組相連。同步信號(hào)控制器接收視頻輸入模塊的行、場(chǎng)同步信號(hào)、27MHz點(diǎn)時(shí)鐘和奇偶場(chǎng)標(biāo)志信號(hào)，以及來自外部晶振的50MHz內(nèi)部處理基準(zhǔn)時(shí)鐘信號(hào)，進(jìn)行處理后提供給讀寫狀態(tài)控制器；讀寫狀態(tài)控制器根據(jù)轉(zhuǎn)換算法的具體要求生成各模塊所需讀寫控制時(shí)鐘信號(hào)，總體控制FPGA內(nèi)各模塊的讀寫運(yùn)行時(shí)序；I2C控制器通過I2C總線向視頻輸入模塊和視頻輸出模塊傳送控制指令，使其參數(shù)符合系統(tǒng)要求；SDRAM控制器接收來自視頻輸入模塊的50Hz隔行數(shù)字視頻數(shù)據(jù)，同時(shí)接收讀寫狀態(tài)控制器的讀寫狀態(tài)控制指令，根據(jù)讀寫狀態(tài)分別對(duì)三片片外SDRAM進(jìn)行讀寫操作，實(shí)現(xiàn)視頻數(shù)據(jù)50Hz到75Hz的幀頻提升，并為隔行一逐行轉(zhuǎn)換和分辨率放大提供32位待插值數(shù)據(jù)；RAM控制器接收SDRAM控制器傳來的犯位待插值數(shù)據(jù)并對(duì)其進(jìn)行插值運(yùn)算，實(shí)現(xiàn)隔行一逐行轉(zhuǎn)換和分辨率放大，將16位已插值數(shù)據(jù)送至YUV/RGB轉(zhuǎn)換器；片內(nèi)RAM組作為隔行一逐行轉(zhuǎn)換和分辨率放大中的行緩存，接受RAM控制器的全權(quán)控制；YUV/RGB轉(zhuǎn)換器將16位已插值數(shù)據(jù)轉(zhuǎn)換為24位RGB4:4:4格式送至視頻輸出模塊作進(jìn)一步處理。FPGA芯片內(nèi)的RAM控制器和片內(nèi)RAM組如圖3所示，RAM控制器包括多路選擇控制器a、多路選擇控制器b、多路選擇控制器C、場(chǎng)內(nèi)插值器C、場(chǎng)間插值和運(yùn)動(dòng)檢測(cè)器和縱向放大插值器，片內(nèi) RAM 組包括 RAMl、RAM2、RAM3、RAM4、RAM5，其中 RAMl、RAM2、RAM3、RAM4的為輸入輸出分離控制，容量為16x720Bits的片內(nèi)RAM，RAMS為輸入輸出分離控制，容量為17x720BitS的片內(nèi)RAM。插值運(yùn)算過程主要分為隔行一逐行變換和分辨率放大變換兩部分。隔行一逐行變換采用場(chǎng)內(nèi)插值和場(chǎng)間插值兩路同時(shí)進(jìn)行，再根據(jù)場(chǎng)間運(yùn)動(dòng)檢測(cè)的結(jié)果決定采用哪一種插值結(jié)果。分辨率放大由于橫向放大只需改變讀取數(shù)據(jù)的點(diǎn)時(shí)鐘即可簡單實(shí)現(xiàn)，所以只對(duì)縱向放大進(jìn)行插值，每場(chǎng)288行數(shù)據(jù)經(jīng)隔行一逐行變換后插值為576行，而輸出需768行，576:768化簡為3:4，只需按照比例對(duì)576行的數(shù)據(jù)里相鄰行進(jìn)行權(quán)值相加的方法插值即可得出768行。RAM控制器內(nèi)各模塊的具體說明多路選擇控制器a控制RAMl和RAM2進(jìn)行讀寫輪換(即RAMl在讀時(shí)RAM2在寫，RAM2在讀時(shí)RAMl在寫，以避免讀寫操作在同一片RAM的同一個(gè)地址同時(shí)發(fā)生而產(chǎn)生的沖突)；多路選擇控制器b控制RAM3和RA. M4進(jìn)行讀寫輪換；多路選擇控制器c根據(jù)讀寫時(shí)鐘的當(dāng)前處理的場(chǎng)順序決定將高16位YinH和CinH還是低16位YinL和CinL送出；在場(chǎng)內(nèi)插值器內(nèi)，當(dāng)前處理場(chǎng)的亮度數(shù)據(jù)Yin與經(jīng)過一行延時(shí)以后的亮度數(shù)據(jù)Yin’，進(jìn)行場(chǎng)內(nèi)插值運(yùn)算，色度則直接采用延時(shí)后的色度數(shù)據(jù)Cin’，插值后，亮度Ys色度Cs送至多路選擇控制器b的數(shù)據(jù)輸入端待選通；另一方面，場(chǎng)間插值和運(yùn)動(dòng)檢測(cè)器對(duì)輸入的32位數(shù)據(jù)(包括兩場(chǎng)中位置相同的兩點(diǎn)數(shù)據(jù))進(jìn)行場(chǎng)間插值和運(yùn)動(dòng)檢測(cè)，所得16位數(shù)據(jù)Yo、Co和運(yùn)動(dòng)檢測(cè)結(jié)果Flag在RAM5中作緩沖后，Yo’、Co’送至多路選擇控制器b的數(shù)據(jù)輸入端待選通，F(xiàn)lag’送至多路選擇控制器b的控制輸決定選通結(jié)果；隔行一逐行插值后的數(shù)據(jù)Yso、Cso與插值前的原始數(shù)據(jù)Yin’、Cin’一同送往縱向放大插值器，根據(jù)當(dāng)前插值行的行序數(shù)選擇不同插值權(quán)重，插值結(jié)果送至YUV/RGB轉(zhuǎn)換器。場(chǎng)內(nèi)插值器的結(jié)構(gòu)如圖4所示，將輸入的前后兩行的亮度求平均(相加除2)，色度直通。場(chǎng)間插值和運(yùn)動(dòng)檢測(cè)器如圖5所示，亮度和色度的輸出均為兩場(chǎng)位置相同點(diǎn)的對(duì)應(yīng)數(shù)據(jù)求平均，運(yùn)動(dòng)檢測(cè)則是取上述兩點(diǎn)的亮度差值的絕對(duì)值與判決門限作比較，差值大于門限則判為運(yùn)動(dòng)，將I賦給判決結(jié)果Flag,反之將O賦給判決結(jié)果Flag?？v向放大插值器的結(jié)構(gòu)如圖6所示，對(duì)輸入的兩點(diǎn)的亮度和色度作相同處理。輸入值為Yin’，Yso，Cin’，·Cso輸出值為YoutAout。則分別有如下五種權(quán)值平均方式，具體采用哪種方式則根據(jù)當(dāng)前插值行的行序選擇。Yout=Yin，/2+Yso/2, Cout=Cin，/2+Cso/2;Yout=Yin’ *3/4+Yso*l/4，Cout=Cin’ *3/4+Cso*l/4:Yout=Yin，*l/4+Yso*3/4，Cout=Cin，*l/4+Cso*3/4;Yout=Yin，，Cout=Cin ’ ;Yout=Yso, Cout=Cso以上所述僅為本實(shí)用新型的較佳實(shí)施方式而已，并非用來限定本實(shí)用新型的實(shí)施范圍。任何所屬技術(shù)領(lǐng)域中具有通常知識(shí)者，在不脫離本實(shí)用新型的精神和范圍內(nèi)，當(dāng)可作各種的更動(dòng)與潤飾，因此本實(shí)用新型的保護(hù)范圍應(yīng)當(dāng)以權(quán)利要求書所界定范圍為準(zhǔn)。
權(quán)利要求1.一種基于FPGA的視頻圖像采集系統(tǒng)，其特征在于該系統(tǒng)由有源晶體振蕩器、電源變換模塊、FPGA芯片、編程接口、本地控制接口、FLASH存儲(chǔ)器、片外SDRAM組、視頻輸入模塊和視頻輸出模塊組成，其中所述電源變換模塊分別與所述有源晶體振蕩器、所述FPGA芯片、所述FLASH存儲(chǔ)器、所述片外SDRAM組、所述編程接口、所述視頻輸入模塊、所述視頻輸出模塊相連接，所述FPGA芯片與所述FLASH存儲(chǔ)器相連，F(xiàn)PGA芯片通過SDRAM總線分別與所述片外SDRAM組中的三片SDRAM相連，所述視頻輸入模塊與所述FPGA芯片相連，所述視頻輸出模塊與所述FPGA芯片相連，所述有源晶體振蕩器與所述FPGA芯片相連，所述編程接口和所述本地控制接口分別與所述FPGA芯片相連。
2.根據(jù)權(quán)利要求I所述的基于FPGA的視頻圖像采集系統(tǒng)，其特征在于所述的FPGA芯片為EP2C35F672C6，其內(nèi)部結(jié)構(gòu)包括同步信號(hào)控制器、讀寫狀態(tài)控制器、I2C控制器、SDRAM控制器、RAM控制器、片內(nèi)RAM組、YUV/RGB轉(zhuǎn)換器，其中所述讀寫狀態(tài)控制器通過內(nèi)部控制總線分別與所述同步信號(hào)控制器、所述SDRAM控制器、所述RAM控制器、所述YUV/RGB轉(zhuǎn)換器、所述I2C控制器相連；所述RAM控制器通過所述內(nèi)部控制總線與所述讀寫狀態(tài)控制器相連，RAM控制器通過內(nèi)部數(shù)據(jù)總線分別與所述SDRAM控制器和所述YUV/RGB轉(zhuǎn)換器相連，RAM控制器通過內(nèi)部數(shù)據(jù)總線、地址總線及控制總線與片內(nèi)RAM組相連。
專利摘要本實(shí)用新型屬于電子信息領(lǐng)域，具體是一種基于FPGA的視頻圖像采集系統(tǒng)。目的是進(jìn)一步優(yōu)化設(shè)計(jì)，改進(jìn)原有的處理速度和效果。本實(shí)用新型利用硬件描述語言實(shí)現(xiàn)視頻采集鎖存，攝像頭數(shù)據(jù)經(jīng)視頻解碼芯片ADV7181B，將模擬視頻信號(hào)轉(zhuǎn)換成YUV的格式的數(shù)字化視頻數(shù)據(jù)信息，通過以FPGA為核心處理芯片，使用VHDL語言編程將視頻數(shù)據(jù)格式轉(zhuǎn)換變?yōu)镽GB格式。同時(shí)，通過VHDL編程實(shí)現(xiàn)顯示所需要的行、場(chǎng)同步信號(hào)后經(jīng)由視頻數(shù)據(jù)轉(zhuǎn)換芯片ADV7123來進(jìn)行VGA顯示。本實(shí)用新型以較低成本實(shí)現(xiàn)了包括幀頻提升、隔行一逐行轉(zhuǎn)換和分辨率放大的視頻格式的實(shí)時(shí)轉(zhuǎn)換，具有較高的性價(jià)比。此外，采用EP2C35F672C6為核心處理芯片的可編程性使系統(tǒng)有更大的處理速度和可擴(kuò)展性，并提高了數(shù)據(jù)處理速度和準(zhǔn)確性。
文檔編號(hào)H04N7/01GK202738031SQ20122031115
公開日2013年2月13日 申請(qǐng)日期2012年6月29日 優(yōu)先權(quán)日2012年6月29日
發(fā)明者李鐵軍, 宓現(xiàn)強(qiáng), 廖蕓 申請(qǐng)人:上海理工大學(xué)