本發(fā)明涉及全景攝像機(jī)參數(shù)處理技術(shù)領(lǐng)域，尤其涉及一種全景視頻的質(zhì)量診斷方法及裝置。

背景技術(shù)：

視頻質(zhì)量的可靠可用性是視頻監(jiān)控領(lǐng)域?qū)σ曨l最基本的要求。視頻質(zhì)量診斷在類型上可分為主觀視頻質(zhì)量診斷和客觀視頻質(zhì)量診斷。主觀視頻質(zhì)量診斷方法結(jié)果準(zhǔn)確性較高，但容易受實(shí)驗(yàn)環(huán)境制約、可操作性差、成本過高等?？陀^視頻質(zhì)量診斷方法雖然與人眼的主觀評(píng)價(jià)仍有一定的距離，但其可重復(fù)性好、計(jì)算速度快、評(píng)價(jià)成本低、可移植性高等。

但是，目前的視頻質(zhì)量診斷僅局限于單攝像頭的視頻質(zhì)量診斷，并非應(yīng)用于全景視頻的質(zhì)量診斷。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提供一種全景視頻的質(zhì)量診斷方法及裝置，旨在提高對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷的便捷性。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種全景視頻的質(zhì)量診斷方法，包括：

通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像；

建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型，根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果；

將所述每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果。

優(yōu)選地，所述將所述每個(gè)攝像頭視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果包括：

對(duì)所述每個(gè)攝像頭的視頻圖像分別對(duì)應(yīng)設(shè)定一個(gè)權(quán)值；

將每個(gè)攝像頭的視頻圖像的診斷結(jié)果分別與對(duì)應(yīng)設(shè)定的權(quán)值進(jìn)行運(yùn)算，得到每個(gè)攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻(xiàn)值；

將每個(gè)攝像機(jī)的視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加，得到所述全景視頻圖像的質(zhì)量診斷結(jié)果。

優(yōu)選地，所述建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型，根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果包括：

確定視頻圖像質(zhì)量診斷功能；

根據(jù)所確定的圖像質(zhì)量診斷功能，設(shè)定對(duì)應(yīng)的視頻圖像質(zhì)量評(píng)價(jià)函數(shù)，根據(jù)所述視頻圖像質(zhì)量評(píng)價(jià)函數(shù)建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型；

根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果。

優(yōu)選地，所述圖像質(zhì)量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結(jié)檢測、視頻丟失檢測和視頻拼接效果檢測。

優(yōu)選地，所述將所述每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果之后包括：

建立投影模型，根據(jù)所述投影模型對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行投影；

提取投影后的所述每個(gè)攝像頭的視頻圖像的特征信息；

根據(jù)所述特征信息，對(duì)存在相交區(qū)域的每兩個(gè)視頻圖像進(jìn)行特征匹配；

根據(jù)特征匹配結(jié)果對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行視頻圖像融合，根據(jù)視頻圖像融合結(jié)果生成全景視頻圖像。

此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種全景視頻的質(zhì)量診斷裝置，包括：

獲取模塊，用于通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像；

診斷模塊，用于建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型，根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果；

融合模塊，用于將所述每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果。

優(yōu)選地，所述融合模塊還用于，對(duì)所述每個(gè)攝像頭的視頻圖像分別對(duì)應(yīng)設(shè)定一個(gè)權(quán)值；

將每個(gè)攝像頭的視頻圖像的診斷結(jié)果分別與對(duì)應(yīng)設(shè)定的權(quán)值進(jìn)行運(yùn)算，得到每個(gè)攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻(xiàn)值；

將每個(gè)攝像機(jī)的視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加，得到所述全景視頻圖像的質(zhì)量診斷結(jié)果。

優(yōu)選地，所述診斷模塊還用于，確定視頻圖像質(zhì)量診斷功能；

根據(jù)所確定的圖像質(zhì)量診斷功能，設(shè)定對(duì)應(yīng)的視頻圖像質(zhì)量評(píng)價(jià)函數(shù)，根據(jù)所述視頻圖像質(zhì)量評(píng)價(jià)函數(shù)建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型；

根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果。

優(yōu)選地，所述圖像質(zhì)量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結(jié)檢測、視頻丟失檢測和視頻拼接效果檢測。

優(yōu)選地，所述全景視頻的質(zhì)量診斷裝置還包括：

投影模塊，用于建立投影模型，根據(jù)所述投影模型對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行投影；

提取模塊，用于提取投影后的所述每個(gè)攝像頭的視頻圖像的特征信息；

匹配模塊，用于根據(jù)所述特征信息，對(duì)存在相交區(qū)域的每兩個(gè)視頻圖像進(jìn)行特征匹配；

生成模塊，用于根據(jù)特征匹配結(jié)果對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行視頻圖像融合，根據(jù)視頻圖像融合結(jié)果生成全景視頻圖像。

本發(fā)明實(shí)施例通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像，并建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果。然后將每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果。實(shí)現(xiàn)了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷，提高了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷的便捷性，以保證全景視頻圖像的質(zhì)量。

附圖說明

圖1為本發(fā)明全景視頻的質(zhì)量診斷方法第一實(shí)施例的流程示意圖；

圖2為本發(fā)明在全景攝像機(jī)坐標(biāo)系中視平面的位置關(guān)系的示意圖；

圖3為本發(fā)明在全景攝像機(jī)坐標(biāo)系中圓柱圖像投影的示意圖；

圖4為本發(fā)明全景視頻的質(zhì)量診斷裝置第一實(shí)施例的功能模塊示意圖。

本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說明。

具體實(shí)施方式

應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1所示，示出了本發(fā)明一種全景視頻的質(zhì)量診斷方法第一實(shí)施例。該實(shí)施例的全景視頻的質(zhì)量診斷方法包括：

步驟S10、通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像；

本實(shí)施例中，全景視頻的質(zhì)量診斷方法應(yīng)用于全景攝像機(jī)對(duì)采集到的全景視頻圖像進(jìn)行質(zhì)量診斷，該全景攝像機(jī)可包括多個(gè)攝像頭，在對(duì)全景視頻進(jìn)行質(zhì)量診斷之前，首先需要通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像，以分別對(duì)多路視頻圖像進(jìn)行質(zhì)量診斷。

步驟S20、建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型，根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果；

在得到多路視頻圖像后，建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型，將該數(shù)學(xué)模型應(yīng)用于每個(gè)攝像頭采集的視頻圖像進(jìn)行質(zhì)量診斷。

優(yōu)選地，上述步驟S20包括：確定視頻圖像質(zhì)量診斷功能；

根據(jù)所確定的圖像質(zhì)量診斷功能，設(shè)定對(duì)應(yīng)的視頻圖像質(zhì)量評(píng)價(jià)函數(shù)，根據(jù)所述視頻圖像質(zhì)量評(píng)價(jià)函數(shù)建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型；

根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果。

具體地，首先確定圖像質(zhì)量診斷功能，該圖像質(zhì)量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結(jié)檢測、視頻丟失檢測和視頻拼接效果檢測等。

然后根據(jù)所選擇的圖像質(zhì)量診斷功能選擇一個(gè)合適的視頻圖像質(zhì)量評(píng)價(jià)函數(shù)，該評(píng)價(jià)函數(shù)和所確定的圖像質(zhì)量診斷功能相關(guān)，不同的圖像質(zhì)量診斷功能需要建立相應(yīng)的評(píng)價(jià)函數(shù)，從而建立該診斷功能的數(shù)學(xué)模型。

將該數(shù)學(xué)模型應(yīng)用于每個(gè)攝像頭采集的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)視頻圖像的質(zhì)量診斷結(jié)果，假設(shè)N個(gè)攝像頭的視頻圖像對(duì)應(yīng)的診斷值為α_i(i∈[1,N])。

現(xiàn)以清晰度檢測為例進(jìn)行舉例說明，當(dāng)待檢測的視頻圖像是彩色時(shí)，先將其進(jìn)行灰度化，然后采用Tenengrad函數(shù)作為清晰度評(píng)價(jià)函數(shù)。

Tenengrad函數(shù)是使用Sobel算子來提取水平和垂直方向的梯度值。梯度檢測中，使用高斯函數(shù)的一階微分形式對(duì)圖像進(jìn)行濾波，得到以下公式(1)：

梯度為矢量，函數(shù)的梯度方向給出了方向?qū)?shù)取最大值的方向，如以下公式(2)所示：

而這個(gè)方向的方向?qū)?shù)等于梯度的模，如以下公式(3)所示：

對(duì)于數(shù)字圖像公式式(1)的導(dǎo)數(shù)可用差分來近似，最簡單的梯度表達(dá)式為：

評(píng)價(jià)函數(shù)f(I)定義為梯度的平方和，梯度G(x,y)要高于一個(gè)閾值T，即

式中是在點(diǎn)(x,y)上Sobel算子的卷積，T為經(jīng)驗(yàn)值，從而實(shí)現(xiàn)了根據(jù)建立的數(shù)學(xué)模型對(duì)每個(gè)視頻圖像進(jìn)行清晰度檢測的質(zhì)量診斷。

步驟S30、將所述每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果。

在根據(jù)數(shù)學(xué)模型對(duì)每個(gè)攝像頭采集到的視頻圖像進(jìn)行質(zhì)量診斷后，將每個(gè)視頻圖像的診斷結(jié)果進(jìn)行加權(quán)融合，生成全景視頻圖像診斷結(jié)果。融合方法包括直接平均融合、中值濾波、羽化、加權(quán)/線性融合、多頻帶融合或金字塔融合等。例如，先對(duì)每個(gè)視頻圖像分布一個(gè)權(quán)值，然后將每個(gè)視頻圖像的診斷結(jié)果與該視頻圖像分布的權(quán)值做數(shù)學(xué)運(yùn)算，得到該視頻圖像在全景視頻圖像的診斷貢獻(xiàn)值，再將每個(gè)視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加得到全景視頻圖像的質(zhì)量診斷結(jié)果，最后輸出全景視頻圖像的質(zhì)量診斷結(jié)果。以下實(shí)施例將進(jìn)行詳細(xì)說明。

本發(fā)明實(shí)施例通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像，并建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果。然后將每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果。實(shí)現(xiàn)了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷，提高了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷的便捷性，以保證全景視頻圖像的質(zhì)量。

進(jìn)一步地，基于上述全景視頻的質(zhì)量診斷方法第一實(shí)施例，提出了本發(fā)明全景視頻的質(zhì)量診斷方法第二實(shí)施例，該實(shí)施例中上述步驟S30包括：

對(duì)所述每個(gè)攝像頭的視頻圖像分別對(duì)應(yīng)設(shè)定一個(gè)權(quán)值；

將每個(gè)攝像頭的視頻圖像的診斷結(jié)果分別與對(duì)應(yīng)設(shè)定的權(quán)值進(jìn)行運(yùn)算，得到每個(gè)攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻(xiàn)值；

將每個(gè)攝像機(jī)的視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加，得到所述全景視頻圖像的質(zhì)量診斷結(jié)果。

本實(shí)施例中，首先對(duì)全景攝像機(jī)中的對(duì)每個(gè)攝像頭采集的的視頻圖像分布一個(gè)權(quán)值，假設(shè)N個(gè)攝像機(jī)的權(quán)值分別為ω₁,ω₂,…,ω_N，其中，ω_i取值可以根據(jù)攝像頭個(gè)數(shù)進(jìn)行簡單的取值為這樣設(shè)置權(quán)重?zé)o需考慮到區(qū)域大小的貢獻(xiàn)率。ω_i取值也可以根據(jù)每個(gè)攝像頭的視頻圖像的像素占所有攝像頭的視頻圖像的像素的比值來作為權(quán)重值，假設(shè)N個(gè)攝像頭總像素為N_p，每個(gè)攝像頭的視頻圖像包含像素?cái)?shù)為M_i(i＝1,2,…,N)，則

將每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果對(duì)應(yīng)與該攝像頭的視頻圖像分布的權(quán)值做數(shù)學(xué)運(yùn)算，得到該攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻(xiàn)值，每個(gè)攝像頭視頻圖像質(zhì)量診斷的貢獻(xiàn)值x_i(i∈[1,N])，計(jì)算方式可以采用如下方式但不限于該方式：x_i＝α_i·ω_i(i∈[1,N])。

所有攝像頭的視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加得到全景視頻圖像的質(zhì)量診斷結(jié)果，該質(zhì)量診斷結(jié)果令其為y，y計(jì)算方式為

本實(shí)施例通過對(duì)每個(gè)攝像頭的視頻圖像分別對(duì)應(yīng)設(shè)定一個(gè)權(quán)值，并結(jié)合每個(gè)攝像頭的視頻圖像的診斷結(jié)果進(jìn)行運(yùn)算，得到每個(gè)攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻(xiàn)值，將各診斷貢獻(xiàn)值進(jìn)行累加得到全景視頻圖像的質(zhì)量診斷結(jié)果，提高了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷的可靠性及靈活性。

進(jìn)一步地，基于上述全景視頻的質(zhì)量診斷方法第一或第二實(shí)施例，提出了本發(fā)明全景視頻的質(zhì)量診斷方法第三實(shí)施例，該實(shí)施例中上述步驟S30之后包括：

建立投影模型，根據(jù)所述投影模型對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行投影；

提取投影后的所述每個(gè)攝像頭的視頻圖像的特征信息；

根據(jù)所述特征信息，對(duì)存在相交區(qū)域的每兩個(gè)視頻圖像進(jìn)行特征匹配；

根據(jù)特征匹配結(jié)果對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行視頻圖像融合，根據(jù)視頻圖像融合結(jié)果生成全景視頻圖像。

本實(shí)施例中，在對(duì)每個(gè)攝像頭采集的視頻圖像分別進(jìn)行質(zhì)量診斷，并將每個(gè)視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果后，可以將多路視頻圖像拼接成一路全景視頻圖像。

首先建立投影模型，該投影模型包括平面、圓柱面、球面或多面體等。然后將各路視頻圖像根據(jù)投影模型進(jìn)行投影，包括：通過建立投影模型，將多路視頻圖像繪制在投影模型上，可根據(jù)匹配特征點(diǎn)之間的映射關(guān)系來表現(xiàn)視頻圖像之間的投影位置，從而將待拼接視頻圖像映射到指定坐標(biāo)空間。

將各路投影后的視頻圖像進(jìn)行圖像特征的提取，得到視頻圖像的特征信息，例如，通過特征檢測算子和描述符提取圖像的特征信息。該特征信息包括視頻圖像的物理特征、視頻圖像的內(nèi)容描述特征等，例如，Harris算子、Sift特征等。

提取視頻圖像的特征信息后，將每兩路存在相交區(qū)域的視頻圖像進(jìn)行特征匹配，包括：通過分別提取兩個(gè)或多個(gè)圖像的特征(點(diǎn)、線、面等特征)，生成特征描述符，然后通過特征描述符進(jìn)行匹配。該特征匹配方法包括基于流的特征匹配方法、基于相位的特征匹配方法或基于特征的特征匹配方法等。

然后根據(jù)特征匹配結(jié)果進(jìn)行視頻圖像融合，包括：對(duì)各攝像頭的視頻圖像進(jìn)行拼接，并對(duì)拼接的邊界進(jìn)行平滑處理，讓縫隙自然過渡。視頻圖像特征的融合方法還包括直接平均融合、中值濾波、羽化、加權(quán)/線性融合、多頻帶融合或金字塔融合等。根據(jù)視頻圖像融合結(jié)果生成全景視頻。

下面以柱面投影為例進(jìn)行舉例說明：

假設(shè)全景攝像機(jī)中相機(jī)的坐標(biāo)系為OXYZ，視平面的位置關(guān)系如圖2所示，其中，Z＝-f為視平面，則實(shí)景圖像上任意一點(diǎn)在Z軸坐標(biāo)值為-f，假設(shè)相機(jī)的鏡頭中心沒有任何的偏差，則實(shí)景圖像的中心就是相機(jī)的光軸(相機(jī)坐標(biāo)系中的Z軸)與視覺平面的交點(diǎn)。在相機(jī)坐標(biāo)系下，X軸與Y軸分別平行于圖像坐標(biāo)系的橫軸和縱軸，因此實(shí)景圖像上的任意一個(gè)像素點(diǎn)(x,y)在相機(jī)坐標(biāo)系OXYZ下的像素坐標(biāo)為(x-W/2,y-H,-f)，其中，W,H分別代表實(shí)景圖像的寬度和高度。

如圖3所示，J為相機(jī)拍攝的一張實(shí)景圖像，P(x,y)為實(shí)景圖像J上的一個(gè)像素點(diǎn)，則該像素點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)可表示為：

其中，W,H為實(shí)景圖像的寬度和高度，相機(jī)坐標(biāo)系中的原點(diǎn)O為圓柱的中心，圓柱的半徑為相機(jī)的焦距f，柱面投影的目標(biāo)就是求出實(shí)景圖像J中的任意一像素點(diǎn)P(x,y)在圓柱面上的投影點(diǎn)Q(x',y')。

相機(jī)坐標(biāo)系中的原點(diǎn)O與像素點(diǎn)P的直線方程可用參數(shù)方程的形式來表示，如以下公式(11)所示：

其中t表示參數(shù)，則圓柱的方程可表示為：

u²+v²＝f² (12)

聯(lián)立公式(11)、公式(12)可得：

其中(u,v,w)是P(x,y)在圓柱面上的投影后的坐標(biāo)，可用公式(14)實(shí)現(xiàn)將三維的參數(shù)坐標(biāo)轉(zhuǎn)換為二維的圖像坐標(biāo)：

其中，hfov是相機(jī)的水平視角。

聯(lián)立公式(13)和公式(14)就可得到實(shí)景圖像J上的任意一點(diǎn)P(x,y)投影到柱面坐標(biāo)系上的對(duì)應(yīng)點(diǎn)Q(x',y')的投影變換公式：

其中相機(jī)焦距f＝W/(2tan(hfov/2))，hfov為相機(jī)的水平視角。

相應(yīng)的，由柱面投影公式(15)可得柱面反投影公式：

在對(duì)多路視頻圖像進(jìn)行投影后可提取特征信息，并進(jìn)行特征匹配，根據(jù)匹配結(jié)果將多路視頻圖像融合生成全景視頻圖像。

本實(shí)施例通過建立投影模型對(duì)多路視頻圖像進(jìn)行投影，并對(duì)投影后的視頻圖像進(jìn)行特征信息及特征匹配，根據(jù)特征匹配結(jié)果將多路視頻圖像融合生成全景視頻圖像，提高了對(duì)全景視頻圖像融合的準(zhǔn)確性及便捷性。

對(duì)應(yīng)地，如圖4所示，提出本發(fā)明一種全景視頻的質(zhì)量診斷裝置第一實(shí)施例。該實(shí)施例的全景視頻的質(zhì)量診斷裝置包括：

獲取模塊100，用于通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像；

本實(shí)施例中，全景視頻的質(zhì)量診斷裝置應(yīng)用于全景攝像機(jī)對(duì)采集到的全景視頻圖像進(jìn)行質(zhì)量診斷，該全景攝像機(jī)可包括多個(gè)攝像頭，在對(duì)全景視頻進(jìn)行質(zhì)量診斷之前，首先獲取模塊100需要通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像，以分別對(duì)多路視頻圖像進(jìn)行質(zhì)量診斷。

診斷模塊200，用于建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型，根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果；

在得到多路視頻圖像后，診斷模塊200建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型，將該數(shù)學(xué)模型應(yīng)用于每個(gè)攝像頭采集的視頻圖像進(jìn)行質(zhì)量診斷。

優(yōu)選地，上述診斷模塊200還用于，確定視頻圖像質(zhì)量診斷功能；

根據(jù)所確定的圖像質(zhì)量診斷功能，設(shè)定對(duì)應(yīng)的視頻圖像質(zhì)量評(píng)價(jià)函數(shù)，根據(jù)所述視頻圖像質(zhì)量評(píng)價(jià)函數(shù)建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型；

根據(jù)所述數(shù)學(xué)模型分別對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果。

具體地，首先確定圖像質(zhì)量診斷功能，該圖像質(zhì)量診斷功能包括清晰度檢測、視頻噪聲檢測、亮度異常檢測、視頻雪花檢測、偏色檢測、視頻凍結(jié)檢測、視頻丟失檢測和視頻拼接效果檢測等。

然后根據(jù)所選擇的圖像質(zhì)量診斷功能選擇一個(gè)合適的視頻圖像質(zhì)量評(píng)價(jià)函數(shù)，該評(píng)價(jià)函數(shù)和所確定的圖像質(zhì)量診斷功能相關(guān)，不同的圖像質(zhì)量診斷功能需要建立相應(yīng)的評(píng)價(jià)函數(shù)，從而建立該診斷功能的數(shù)學(xué)模型。

將該數(shù)學(xué)模型應(yīng)用于每個(gè)攝像頭采集的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)視頻圖像的質(zhì)量診斷結(jié)果，假設(shè)N個(gè)攝像頭的視頻圖像對(duì)應(yīng)的診斷值為α_i(i∈[1,N])。

現(xiàn)以清晰度檢測為例進(jìn)行舉例說明，當(dāng)待檢測的視頻圖像是彩色時(shí)，先將其進(jìn)行灰度化，然后采用Tenengrad函數(shù)作為清晰度評(píng)價(jià)函數(shù)。

Tenengrad函數(shù)是使用Sobel算子來提取水平和垂直方向的梯度值。梯度檢測中，使用高斯函數(shù)的一階微分形式對(duì)圖像進(jìn)行濾波，得到以下公式(10)：

梯度為矢量，函數(shù)的梯度方向給出了方向?qū)?shù)取最大值的方向，如以下公式(20)所示：

而這個(gè)方向的方向?qū)?shù)等于梯度的模，如以下公式(30)所示：

對(duì)于數(shù)字圖像公式式(1)的導(dǎo)數(shù)可用差分來近似，最簡單的梯度表達(dá)式為：

評(píng)價(jià)函數(shù)f(I)定義為梯度的平方和，梯度G(x,y)要高于一個(gè)閾值T，即

式中是在點(diǎn)(x,y)上Sobel算子的卷積，T為經(jīng)驗(yàn)值，從而實(shí)現(xiàn)了根據(jù)建立的數(shù)學(xué)模型對(duì)每個(gè)視頻圖像進(jìn)行清晰度檢測的質(zhì)量診斷。

融合模塊300，用于將所述每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果。

在根據(jù)數(shù)學(xué)模型對(duì)每個(gè)攝像頭采集到的視頻圖像進(jìn)行質(zhì)量診斷后，融合模塊300將每個(gè)視頻圖像的診斷結(jié)果進(jìn)行加權(quán)融合，生成全景視頻圖像診斷結(jié)果。融合方法包括直接平均融合、中值濾波、羽化、加權(quán)/線性融合、多頻帶融合或金字塔融合等。例如，先對(duì)每個(gè)視頻圖像分布一個(gè)權(quán)值，然后將每個(gè)視頻圖像的診斷結(jié)果與該視頻圖像分布的權(quán)值做數(shù)學(xué)運(yùn)算，得到該視頻圖像在全景視頻圖像的診斷貢獻(xiàn)值，再將每個(gè)視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加得到全景視頻圖像的質(zhì)量診斷結(jié)果，最后輸出全景視頻圖像的質(zhì)量診斷結(jié)果。以下實(shí)施例將進(jìn)行詳細(xì)說明。

本發(fā)明實(shí)施例通過全景攝像機(jī)預(yù)置的多攝像頭獲取多路視頻圖像，并建立視頻圖像質(zhì)量診斷的數(shù)學(xué)模型對(duì)每個(gè)攝像頭獲取到的視頻圖像進(jìn)行質(zhì)量診斷，得到每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果。然后將每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果。實(shí)現(xiàn)了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷，提高了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷的便捷性，以保證全景視頻圖像的質(zhì)量。

進(jìn)一步地，基于上述全景視頻的質(zhì)量診斷裝置第一實(shí)施例，提出了本發(fā)明全景視頻的質(zhì)量診斷裝置第二實(shí)施例，該實(shí)施例中上述融合模塊300還用于，對(duì)所述每個(gè)攝像頭的視頻圖像分別對(duì)應(yīng)設(shè)定一個(gè)權(quán)值；

將每個(gè)攝像頭的視頻圖像的診斷結(jié)果分別與對(duì)應(yīng)設(shè)定的權(quán)值進(jìn)行運(yùn)算，得到每個(gè)攝像頭的視頻圖像在所述全景視頻圖像中的診斷貢獻(xiàn)值；

將每個(gè)攝像機(jī)的視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加，得到所述全景視頻圖像的質(zhì)量診斷結(jié)果。

本實(shí)施例中，融合模塊300首先對(duì)全景攝像機(jī)中的對(duì)每個(gè)攝像頭采集的的視頻圖像分布一個(gè)權(quán)值，假設(shè)N個(gè)攝像機(jī)的權(quán)值分別為ω₁,ω₂,…,ω_N，其中，ω_i取值可以根據(jù)攝像頭個(gè)數(shù)進(jìn)行簡單的取值為這樣設(shè)置權(quán)重?zé)o需考慮到區(qū)域大小的貢獻(xiàn)率。ω_i取值也可以根據(jù)每個(gè)攝像頭的視頻圖像的像素占所有攝像頭的視頻圖像的像素的比值來作為權(quán)重值，假設(shè)N個(gè)攝像頭總像素為N_p，每個(gè)攝像頭的視頻圖像包含像素?cái)?shù)為M_i(i＝1,2,…,N)，則

將每個(gè)攝像頭的視頻圖像的質(zhì)量診斷結(jié)果對(duì)應(yīng)與該攝像頭的視頻圖像分布的權(quán)值做數(shù)學(xué)運(yùn)算，得到該攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻(xiàn)值，每個(gè)攝像頭視頻圖像質(zhì)量診斷的貢獻(xiàn)值x_i(i∈[1,N])，計(jì)算方式可以采用如下方式但不限于該方式：x_i＝α_i·ω_i(i∈[1,N])。

所有攝像頭的視頻圖像的診斷貢獻(xiàn)值進(jìn)行累加得到全景視頻圖像的質(zhì)量診斷結(jié)果，該質(zhì)量診斷結(jié)果令其為y，y計(jì)算方式為

本實(shí)施例通過對(duì)每個(gè)攝像頭的視頻圖像分別對(duì)應(yīng)設(shè)定一個(gè)權(quán)值，并結(jié)合每個(gè)攝像頭的視頻圖像的診斷結(jié)果進(jìn)行運(yùn)算，得到每個(gè)攝像頭的視頻圖像在全景視頻圖像中的診斷貢獻(xiàn)值，將各診斷貢獻(xiàn)值進(jìn)行累加得到全景視頻圖像的質(zhì)量診斷結(jié)果，提高了對(duì)全景視頻圖像進(jìn)行質(zhì)量診斷的可靠性及靈活性。

進(jìn)一步地，基于上述全景視頻的質(zhì)量診斷裝置第一或第二實(shí)施例，提出了本發(fā)明全景視頻的質(zhì)量診斷裝置第三實(shí)施例，該實(shí)施例中上述全景視頻的質(zhì)量診斷裝置還包括：

投影模塊，用于建立投影模型，根據(jù)所述投影模型對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行投影；

提取模塊，用于提取投影后的所述每個(gè)攝像頭的視頻圖像的特征信息；

匹配模塊，用于根據(jù)所述特征信息，對(duì)存在相交區(qū)域的每兩個(gè)視頻圖像進(jìn)行特征匹配；

生成模塊，用于根據(jù)特征匹配結(jié)果對(duì)所述每個(gè)攝像頭的視頻圖像進(jìn)行視頻圖像融合，根據(jù)視頻圖像融合結(jié)果生成全景視頻圖像。

本實(shí)施例中，在對(duì)每個(gè)攝像頭采集的視頻圖像分別進(jìn)行質(zhì)量診斷，并將每個(gè)視頻圖像的質(zhì)量診斷結(jié)果進(jìn)行融合，得到全景視頻圖像質(zhì)量診斷結(jié)果后，可以將多路視頻圖像拼接成一路全景視頻圖像。

首先由投影模塊建立投影模型，該投影模型包括平面、圓柱面、球面或多面體等。然后將各路視頻圖像根據(jù)投影模型進(jìn)行投影，包括：通過建立投影模型，將多路視頻圖像繪制在投影模型上，可根據(jù)匹配特征點(diǎn)之間的映射關(guān)系來表現(xiàn)視頻圖像之間的投影位置，從而將待拼接視頻圖像映射到指定坐標(biāo)空間。

提取模塊將各路投影后的視頻圖像進(jìn)行圖像特征的提取，得到視頻圖像的特征信息，例如，通過特征檢測算子和描述符提取圖像的特征信息。該特征信息包括視頻圖像的物理特征、視頻圖像的內(nèi)容描述特征等，例如，Harris算子、Sift特征等。

提取視頻圖像的特征信息后，匹配模塊將每兩路存在相交區(qū)域的視頻圖像進(jìn)行特征匹配，包括：通過分別提取兩個(gè)或多個(gè)圖像的特征(點(diǎn)、線、面等特征)，生成特征描述符，然后通過特征描述符進(jìn)行匹配。該特征匹配方法包括基于流的特征匹配方法、基于相位的特征匹配方法或基于特征的特征匹配方法等。

然后生成模塊根據(jù)特征匹配結(jié)果進(jìn)行視頻圖像融合，包括：對(duì)各攝像頭的視頻圖像進(jìn)行拼接，并對(duì)拼接的邊界進(jìn)行平滑處理，讓縫隙自然過渡。視頻圖像特征的融合方法還包括直接平均融合、中值濾波、羽化、加權(quán)/線性融合、多頻帶融合或金字塔融合等，根據(jù)視頻圖像融合結(jié)果生成全景視頻。

下面以柱面投影為例進(jìn)行舉例說明：

假設(shè)全景攝像機(jī)中相機(jī)的坐標(biāo)系為OXYZ，視平面的位置關(guān)系如圖2所示，其中，Z＝-f為視平面，則實(shí)景圖像上任意一點(diǎn)在Z軸坐標(biāo)值為-f，假設(shè)相機(jī)的鏡頭中心沒有任何的偏差，則實(shí)景圖像的中心就是相機(jī)的光軸(相機(jī)坐標(biāo)系中的Z軸)與視覺平面的交點(diǎn)。在相機(jī)坐標(biāo)系下，X軸與Y軸分別平行于圖像坐標(biāo)系的橫軸和縱軸，因此實(shí)景圖像上的任意一個(gè)像素點(diǎn)(x,y)在相機(jī)坐標(biāo)系OXYZ下的像素坐標(biāo)為(x-W/2,y-H,-f)，其中，W,H分別代表實(shí)景圖像的寬度和高度。

如圖3所示，J為相機(jī)拍攝的一張實(shí)景圖像，P(x,y)為實(shí)景圖像J上的一個(gè)像素點(diǎn)，則該像素點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)可表示為：

其中，W,H為實(shí)景圖像的寬度和高度，相機(jī)坐標(biāo)系中的原點(diǎn)O為圓柱的中心，圓柱的半徑為相機(jī)的焦距f，柱面投影的目標(biāo)就是求出實(shí)景圖像J中的任意一像素點(diǎn)P(x,y)在圓柱面上的投影點(diǎn)Q(x',y')。

相機(jī)坐標(biāo)系中的原點(diǎn)O與像素點(diǎn)P的直線方程可用參數(shù)方程的形式來表示，如以下公式(110)所示：

其中t表示參數(shù)，則圓柱的方程可表示為：

u²+v²＝f² (120)

聯(lián)立公式(110)、公式(120)可得：

其中(u,v,w)是P(x,y)在圓柱面上的投影后的坐標(biāo)，可用公式(140)實(shí)現(xiàn)將三維的參數(shù)坐標(biāo)轉(zhuǎn)換為二維的圖像坐標(biāo)：

其中，hfov是相機(jī)的水平視角。

聯(lián)立公式(130)和公式(140)就可得到實(shí)景圖像J上的任意一點(diǎn)P(x,y)投影到柱面坐標(biāo)系上的對(duì)應(yīng)點(diǎn)Q(x',y')的投影變換公式：

其中相機(jī)焦距f＝W/(2tan(hfov/2))，hfov為相機(jī)的水平視角。

相應(yīng)的，由柱面投影公式(150)可得柱面反投影公式：

在對(duì)多路視頻圖像進(jìn)行投影后可提取特征信息，并進(jìn)行特征匹配，根據(jù)匹配結(jié)果將多路視頻圖像融合生成全景視頻圖像。

本實(shí)施例通過建立投影模型對(duì)多路視頻圖像進(jìn)行投影，并對(duì)投影后的視頻圖像進(jìn)行特征信息及特征匹配，根據(jù)特征匹配結(jié)果將多路視頻圖像融合生成全景視頻圖像，提高了對(duì)全景視頻圖像融合的準(zhǔn)確性及便捷性。

以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。