本發(fā)明屬于圖像去噪領(lǐng)域，具體涉及一種低光照環(huán)境下的視頻優(yōu)化方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、盡管近年來攝影傳感器有了顯著的提升，視頻處理仍然需要著重處理降噪，特別是在面對具有挑戰(zhàn)性的拍攝條件時，比如低光照或傳感器尺寸偏小等情況。

2、視頻降噪模型的選擇涵蓋了非局部相似性模型法、盲去噪法以及深度學習法。非局部相似性模型法在應(yīng)對實際環(huán)境中的噪聲分布時顯得適應(yīng)性不足，因為噪聲并非總是符合非局部相似性規(guī)律。盲去噪法則常常因為忽略時域信息，導致信息利用率不高，競爭力相對較弱，特別是對于方差較大的噪聲，其效果難以令人滿意。相較之下，深度學習法相對較為出色，但該類模型更適用于噪聲分布已確定的情形，如高斯分布等。而對于時域變化明顯的噪聲，深度神經(jīng)網(wǎng)絡(luò)需要針對每一幀噪聲數(shù)據(jù)進行重新擬合，操作不僅耗時耗力，并且模型泛化性較差。

3、因此，在現(xiàn)有技術(shù)中，對于低光照環(huán)境下的視頻去噪優(yōu)化仍存在較高的技術(shù)挑戰(zhàn)，尤其是現(xiàn)有技術(shù)中對不同類型視頻去噪優(yōu)化的方法泛用性較差，需要開發(fā)更加魯棒的噪聲處理算法以及高效的模型壓縮和維護策略。

技術(shù)實現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)中對不同類型視頻優(yōu)化的方法泛用性較差的問題，本發(fā)明提供了一種低光照環(huán)境下的視頻優(yōu)化方法、裝置、設(shè)備及介質(zhì)。

2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、本發(fā)明提供了一種低光照環(huán)境下的視頻優(yōu)化方法，所述方法包括：獲取低光照環(huán)境下目標視頻的運動矢量和連續(xù)幀；將運動矢量轉(zhuǎn)換為光流圖，根據(jù)所述連續(xù)幀中的圖像幀上下文信息將光流圖進一步平滑，得到粗略光流圖；確定所述連續(xù)幀中相鄰兩個圖像幀的相關(guān)關(guān)系；根據(jù)所述相關(guān)關(guān)系對粗略光流圖進行迭代優(yōu)化。

4、可選地，所述方法還包括對迭代優(yōu)化后的目標視頻進行濾波，所述濾波過程包括：將目標視頻的每一幀劃分成不重疊的圖像塊，確定同一位置不同時間點圖像塊差值圖的方差均值，進而通過方差均值的分布情況確定噪聲閾值；根據(jù)所述噪聲閾值劃分運動矢量的類型，進而根據(jù)不同的類型對運動矢量進行重構(gòu)，得到軌跡矢量；根據(jù)軌跡矢量對目標視頻進行濾波。

5、可選地，獲取低光照環(huán)境下目標視頻的運動矢量和連續(xù)幀包括：通過運動矢量初始化網(wǎng)絡(luò)提取目標視頻的初始運動矢量；根據(jù)最小化鄰域像素范數(shù)修正初始運動矢量的誤差，得到目標視頻的運動矢量；通過對目標視頻進行解碼，得到目標視頻的連續(xù)幀。

6、可選地，所述根據(jù)最小化鄰域像素范數(shù)修正初始運動矢量的誤差包括：通過最小化中心圖像塊與8個相鄰圖像塊之間的l2范數(shù)來校正運動矢量場；所述l2范數(shù)包括幅值和相位，即

7、

8、其中，a(c)和p(c)分別代表當前圖像塊c的幅值和相位，a(n)和p(n)表示8個相鄰圖像塊的幅值和相位，(x,y)是空域坐標，t是時域坐標，i是鄰域相鄰圖像塊編號，ω和λ是加權(quán)系數(shù)，分別是中心圖像塊的幅值和相位損失函數(shù)。

9、可選地，所述將運動矢量轉(zhuǎn)換為光流圖，根據(jù)所述連續(xù)幀中的圖像幀上下文信息將光流圖進一步平滑，得到粗略光流圖包括：使用相同的運動偏移填充每個塊中的像素，將運動矢量轉(zhuǎn)換為密集的光流圖；將所述連續(xù)幀中相鄰兩幀的前一幀輸入兩個不同的編碼器以獲得查詢矩陣q圖和鍵矩陣k圖，而光流圖則直接作為值矩陣v圖，表示為

10、q＝ea(i1),k＝eb(i1),v＝fmv

11、其中，ea和eb是兩個編碼器塊，每個塊由六個卷積層和相應(yīng)的激活層組成；使用可信度估計塊來估計每個像素的運動先驗的可信度，通過以下公式表示：

12、cmv＝ceb(i1,mmv)

13、其中mmv表示存在運動矢量的區(qū)域，i1是所述連續(xù)幀中相鄰兩幀的前一幀，cmv是一個范圍在(0,1)之間的權(quán)重圖，ceb是一個卷積神經(jīng)網(wǎng)絡(luò)(cnn)塊；計算局部窗口中心像素與其他像素之間的相關(guān)性si,j：

14、si,j＝softmax(qi,j·ki+k,j+l)

15、其中k,l∈[-d,d]，k和l是局部窗口的偏移量，表示相對于中心像素的位置，d表示窗口的半徑，(i,j)是局部窗口中心像素的位置，點·表示點積運算，因此計算得到的相關(guān)性權(quán)重si,j是一個形狀為(2d+1)2的張量；將像素的可信度與相關(guān)性結(jié)合起來得到最終的權(quán)重表示為：

16、

17、是從cmv中心像素(i,j)周圍提取的一個(2d+1)×(2d+1)窗口，⊙標記表示逐元素乘法運算符；根據(jù)權(quán)重對局部窗口內(nèi)的運動進行聚合，得到粗略光流圖fi,j：

18、

19、vi+k,j+l表示初始光流圖fmv在(i+k,j+l)處的運動矢量值。

20、可選地，所述確定所述連續(xù)幀中相鄰兩幀的相關(guān)關(guān)系包括：獲取兩個連續(xù)幀為i1和i2，使用卷積神經(jīng)網(wǎng)絡(luò)分別從兩個圖像幀中提取特征圖，記作l1和l2；確定l1和l2的相關(guān)性矩陣c，具體公式如下：

21、c(i,j)＝l1(i)·l2(j)

22、其中，c(i,j)為c的元素，表示特征l1中位置i和特征l2中位置j之間的相似性，·表示點積運算。

23、可選地，所述將所述粗略光流圖作為初始值，根據(jù)所述相關(guān)關(guān)系進行迭代優(yōu)化包括：

24、在每次迭代中，光流估計值可以通過下面公式進行更新：

25、δfmv＝u(fmv(k),c)

26、fmv(k+1)＝fmv(k)+δfmv

27、其中，fmv(k)表示第k次迭代的光流估計值，δfmv表示由當前光流估計值fmv(k)和相關(guān)性矩陣c結(jié)合起來得到的本次迭代的光流更新量，u(·)一個卷積神經(jīng)網(wǎng)絡(luò)(cnn)塊；在達到預(yù)設(shè)迭代次數(shù)，或者光流更新量小于或等于預(yù)設(shè)更新值的情況下，停止迭代，得到高精度的光流圖fmv(*)。

28、本發(fā)明還提供了一種低光照環(huán)境下的視頻優(yōu)化裝置，其特征在于，所述裝置包括：

29、獲取模塊，用于獲取低光照環(huán)境下目標視頻的運動矢量和連續(xù)幀；

30、優(yōu)化模塊，用于將運動矢量轉(zhuǎn)換為光流圖，根據(jù)所述連續(xù)幀中的圖像幀上下文信息將光流圖進一步平滑化，得到粗略光流圖；確定所述連續(xù)幀中相鄰兩個圖像幀的相關(guān)關(guān)系；根據(jù)所述相關(guān)關(guān)系對粗略光流圖進行迭代優(yōu)化。

31、本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述低光照環(huán)境下的視頻優(yōu)化方法的步驟。

32、本發(fā)明還提供了一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述低光照環(huán)境下的視頻優(yōu)化方法的步驟。

33、本發(fā)明提供的低光照環(huán)境下的視頻優(yōu)化方法具有以下有益效果：

34、通過將運動矢量轉(zhuǎn)換為光流圖，并通過圖像連續(xù)幀的上下文信息將光流圖轉(zhuǎn)化為更為平滑的粗略光流圖，進而根據(jù)該相關(guān)關(guān)系將粗略光流圖作為初始值進行迭代，這樣針對不同的視頻進行相應(yīng)的光流處理，具有較高的泛用性，而且光流處理能夠深入到目標視頻的像素層面，進而捕捉并記錄每個像素點的運動細節(jié)，具有較高的魯棒性，最后通過光流處理實現(xiàn)對每個像素的迭代，進而完成對目標視頻的優(yōu)化，提高了視頻的清晰度。