一種基于梯度的Bayer格式圖像插值方法及基于FPGA的顯示裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于梯度的Bayer格式插值方法及基于FPGA的顯示裝置，特別是 涉及一種基于FPGA的將Bayer格式圖像插值還原成24位真彩色圖像的方法，適合要求需要 高集成度、高分辨率、高速率和圖形疊加的視頻顯示裝置。
【背景技術(shù)】
[0002] 當(dāng)下的計(jì)算機(jī)技術(shù)發(fā)展驚人，但由于計(jì)算機(jī)只是一種高級的工具，需要受到人的 控制和管理，因此人機(jī)交互技術(shù)得以發(fā)展。人機(jī)交互技術(shù)就是研究如何通過有效的方式實(shí) 現(xiàn)人與計(jì)算機(jī)對話的技術(shù)。人機(jī)交互通常包括了計(jì)算機(jī)通過輸出或顯示設(shè)備給人提供大量 信息及提示等，以及人通過輸入設(shè)備向計(jì)算機(jī)輸入有關(guān)信息等。而圖像顯示裝置則是在人 機(jī)交互裝置中的重要組成部分。一個(gè)完整的圖像顯示裝置的設(shè)計(jì)主要涉及了硬件和軟件兩 個(gè)部分。傳感器，顯示器和中央處理器組成了硬件架構(gòu)，軟件設(shè)計(jì)模塊則主要實(shí)現(xiàn)了信號的 采集、處理，存儲以及輸出顯示這幾個(gè)功能。目前，圖像顯示裝置己被廣泛應(yīng)用于許多領(lǐng)域。 比如汽車電子，醫(yī)療設(shè)備，工業(yè)檢測，航空電子等領(lǐng)域中顯示裝置都起著舉足輕重的作用。
[0003] 現(xiàn)有的圖像顯示裝置通常是采用CMOS或CCD傳感器采集原始的Bayer陣列圖像。為 了得到24位真彩色的圖像，需要進(jìn)行顏色插值操作，但多數(shù)效果較好的顏色插值算法都是 非線性的，一般是基于二階Laplacian變換得到，因此必須基于DSP來實(shí)現(xiàn)，處理速度往往受 限于CPU的運(yùn)算能力。因此充分利用FPGA的并行運(yùn)算優(yōu)勢，選擇適用的算法，成為了當(dāng)今圖 像處理領(lǐng)域的一個(gè)發(fā)展趨勢。在當(dāng)前FPGA平臺上通常會直接采用2x2插值或雙線性插值算 法，但前者會導(dǎo)致圖像分辨率的縮小，后者會導(dǎo)致圖像邊緣細(xì)節(jié)上的模糊。雖然可以引入梯 度方向的判斷對雙線性插值算法進(jìn)行優(yōu)化，但效果仍不盡如人意。在存儲方面，目前的裝置 為了實(shí)現(xiàn)視頻圖像和參數(shù)圖形畫面的緩存，通常使用多片外載存儲器進(jìn)行存儲，使得裝置 讀寫控制變得復(fù)雜。種種因素的集合意味著顯示裝置還有著提升的空間。
[0004] 當(dāng)應(yīng)用于航空電子領(lǐng)域中時(shí)，顯示裝置作為機(jī)載電子裝置的重要組成部分，在飛 行過程中，可以顯示飛機(jī)四周的外景實(shí)況和當(dāng)前飛行的參數(shù)，能使座艙的顯示變得更加直 觀、方便和靈活三種，但也因此對裝置的集成度，圖像分辨率，和儀表的清晰、實(shí)時(shí)的疊加顯 示提出了更高的要求。
[0005] 當(dāng)前比較常用的機(jī)載顯示裝置多是采用FPGA作為協(xié)從處理器配合主處理器DSP進(jìn) 行數(shù)據(jù)的采集和運(yùn)算，這樣的組合會造成裝置的結(jié)構(gòu)變得復(fù)雜，不易于對裝置進(jìn)行升級和 移植。比如北京航空航天大學(xué)針對視頻圖像采集與處理的應(yīng)用要求，提出了基于雙核DSP搭 配FPGA的構(gòu)架設(shè)計(jì)，DSP作為主處理器，通過其專用的PPI視頻接口配合DMA控制器控制視 頻圖像的采集、存儲。FPGA作為協(xié)處理器，完成對視頻圖像的預(yù)處理中并為DSP提供部分寄 存器擴(kuò)展。該方案實(shí)現(xiàn)了視頻圖像的實(shí)時(shí)采集與處理，具有良好的實(shí)時(shí)性，但裝置集成度不 高，設(shè)計(jì)過程復(fù)雜。北京中科院同樣設(shè)計(jì)了一種基于DSP和FPGA的硬件平臺，平臺采用DSP協(xié) 同兩片F(xiàn)PGA芯片同時(shí)工作的方式實(shí)現(xiàn)如視頻采集模塊、輸入緩存模塊、視頻處理模塊、視頻 輸出緩存模塊和視頻圖像鏈路傳輸模塊的功能，并在這個(gè)平臺上實(shí)現(xiàn)了一種彩色視頻圖像 增強(qiáng)算法。缺點(diǎn)是裝置復(fù)雜度較高，運(yùn)算時(shí)間較長。
【發(fā)明內(nèi)容】
[0006] 本發(fā)明所要解決的技術(shù)問題是提供一種基于梯度的Bayer格式插值方法及裝置， 本發(fā)明的方法在插值效果上比一般的線性算法更好，同時(shí)在算法的復(fù)雜度上沒有太多提 升;設(shè)計(jì)的顯示裝置可以根據(jù)不同的要求快速，穩(wěn)定的采集并清晰顯示疊加了參數(shù)圖形的 視頻圖像且結(jié)構(gòu)簡單，集成度高，具有較高的可移植性和實(shí)用價(jià)值。
[0007] 本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：
[0008] -方面，本發(fā)明提供一種基于梯度的Bayer格式插值方法，包括以下具體步驟：
[0009] 步驟1，獲取5x5像素模板，該模板包括待插值的目標(biāo)像素點(diǎn)及其5x5鄰域內(nèi)的其他 像素點(diǎn)；
[0010] 步驟2,若目標(biāo)像素點(diǎn)為綠色分量即其行列地址奇偶性相同，則采用雙線性插值法 得到目標(biāo)像素點(diǎn)插值處理后的RGB顏色值，進(jìn)入步驟6;若目標(biāo)像素點(diǎn)為紅色或藍(lán)色分量即 其行列地址奇偶性不同，則進(jìn)入步驟3;
[0011] 步驟3,計(jì)算目標(biāo)像素點(diǎn)3x3鄰域內(nèi)每個(gè)像素點(diǎn)的水平、垂直梯度以及左、右對角線 梯度，并根據(jù)水平、垂直梯度的比值關(guān)系和左、右對角線梯度的比值關(guān)系得到每個(gè)像素點(diǎn)的 2個(gè)方向標(biāo)志flagl和flag2;
[0012]步驟4,計(jì)算目標(biāo)像素點(diǎn)3x3鄰域內(nèi)所有像素點(diǎn)的方向標(biāo)志flagl之和與flag2之 和，從而得到目標(biāo)像素點(diǎn)的水平、垂直加權(quán)系數(shù)以及左、右對角線加權(quán)系數(shù)；
[0013] 步驟5,根據(jù)步驟4中目標(biāo)像素點(diǎn)的水平、垂直加權(quán)系數(shù)以及左、右對角線加權(quán)系數(shù) 得到目標(biāo)像素點(diǎn)插值處理后的RGB值；
[0014] 步驟6,判斷是否為最后一個(gè)待插值的目標(biāo)像素點(diǎn)，若是則結(jié)束插值，若否則返回 步驟1。
[0015] 作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟1中5x5像素模板的獲取方法為:首先，使用5 個(gè)移位寄存器依次緩存5行視頻圖像數(shù)據(jù);其次，讀取5行視頻圖像數(shù)據(jù)并組合即得到5x5像 素模板。
[0016] 作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟2中采用雙線性插值法得到目標(biāo)像素點(diǎn)插值 處理后的RGB顏色值，具體為：
[0017] 若目標(biāo)像素點(diǎn)的行列地址均為奇數(shù)，則根據(jù)公式1進(jìn)行插值處理：
[0019]式中，（R，G，B)為目標(biāo)像素點(diǎn)插值處理后的RGB顏色值，R32為5x5像素模板中第三行 第二列像素點(diǎn)的R顏色值，R34為5x5像素模板中第三行第四列像素點(diǎn)的R顏色值，G33為5x5像 素模板中目標(biāo)像素點(diǎn)的G顏色值，B 23為5x5像素模板中第二行第三列像素點(diǎn)的B顏色值，B43 為5x5像素模板中第四行第三列像素點(diǎn)的B顏色值；
[0020]若目標(biāo)像素點(diǎn)的行列地址均為偶數(shù)，則根據(jù)公式2進(jìn)行插值處理：
[0022]式中，R23為5x5像素模板中第二行第三列像素點(diǎn)的R顏色值，R43為5x5像素模板中 第四行第三列像素點(diǎn)的R顏色值，B32為5x5像素模板中第三行第二列像素點(diǎn)的B顏色值，B34 為5x5像素模板中第三行第四列像素點(diǎn)的B顏色值。
[0023]作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟3中根據(jù)水平、垂直梯度的比值關(guān)系和左、右 對角線梯度的比值關(guān)系得到每個(gè)像素點(diǎn)的2個(gè)方向標(biāo)志f Iagl和flag2,其中，各個(gè)像素點(diǎn)水 平、垂直梯度的比值關(guān)系和左、右對角線梯度的比值關(guān)系與Hagl和flag2的對應(yīng)關(guān)系如下：
[0025]式中，Δ hi、八￥1分別為水平梯度和垂直梯度，Ah2、Av2分別為左、右對角線梯度。 [0026]作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟4中目標(biāo)像素點(diǎn)的水平、垂直加權(quán)系數(shù)和左、 右對角線加權(quán)系數(shù)，具體為：
[0028]式中，α、β分別為水平、垂直加權(quán)系數(shù)，γ、δ分別為左、右對角線加權(quán)系數(shù)，flag_ totall、flag_total2分別為目標(biāo)像素點(diǎn)3x3鄰域內(nèi)所有像素點(diǎn)的方向標(biāo)志flagl之和、 flag2之和。
[0029]作為本發(fā)明的進(jìn)一步優(yōu)化方案，步驟5中根據(jù)步驟4中目標(biāo)像素點(diǎn)的水平加權(quán)系數(shù) 和垂直加權(quán)