一種全景視頻拼接方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及視頻監(jiān)控中的全景視頻拼接方法及裝 置。
【背景技術(shù)】
[0002] 隨著視頻監(jiān)控的發(fā)展，客戶(hù)對(duì)監(jiān)控視頻的視角與可視范圍要求越來(lái)越高。推動(dòng)全 景視頻拼接逐步出現(xiàn)與流行，但是受到系統(tǒng)框架與硬件性能的限制，當(dāng)前市場(chǎng)上能夠滿(mǎn)足 客戶(hù)要求的產(chǎn)品不多，并且拼接后視頻的可視范圍等受硬件性能限制比較大，影響了全景 視頻拼接方案的推廣與普及。
[0003] 在視頻監(jiān)控中，常常采用多個(gè)攝像機(jī)分別監(jiān)控同一場(chǎng)景的不同角度，獲得同一場(chǎng) 景的不同角度的多幅視頻圖像，然后在解碼端對(duì)多幅視頻圖像進(jìn)行圖像拼接，將多幅視頻 圖像完美地結(jié)合為一副完整的視頻圖像。通過(guò)圖像拼接，能夠提供監(jiān)控場(chǎng)景的全景圖像，整 個(gè)監(jiān)控視野更加清晰完整。并且多幅視頻圖像之間不是簡(jiǎn)單的合并，而是相同畫(huà)面的覆蓋 裁邊后，得到真實(shí)監(jiān)控場(chǎng)景的全景圖像。
[0004] 現(xiàn)有技術(shù)中對(duì)于全景視頻拼接，常用的技術(shù)方案包括兩種，一是使用前端設(shè)備的 機(jī)械結(jié)構(gòu)調(diào)整視頻范圍保證后端全景拼接效果，客戶(hù)端直接接收前端設(shè)備的媒體流，解碼 后顯示在顯示設(shè)備上。另外一種技術(shù)方案是對(duì)參與全景拼接的前端設(shè)備進(jìn)行人工手動(dòng)標(biāo) 定，生成一個(gè)拼接像素轉(zhuǎn)換矩陣，客戶(hù)端接收前端設(shè)備發(fā)送的媒體流進(jìn)行解碼后，通過(guò)拼接 像素轉(zhuǎn)換矩陣將每個(gè)前端設(shè)備的像素轉(zhuǎn)換到全景視頻拼接的全景圖像中，顯示在對(duì)應(yīng)的窗 口位置處，從而拼接出一個(gè)全景視頻畫(huà)面。
[0005] 然而第一種方案嚴(yán)重依賴(lài)前端設(shè)備的機(jī)械結(jié)構(gòu)，對(duì)前端設(shè)備的安裝要求比較高， 同時(shí)拼接后畫(huà)面比較單一，一般只適用于兩個(gè)前端設(shè)備拼接的效果。第二種方案由于拼接 像素轉(zhuǎn)換矩陣需要對(duì)每個(gè)前端設(shè)備拍攝的視頻畫(huà)面的像素進(jìn)行轉(zhuǎn)換，解碼后進(jìn)行像素點(diǎn)的 查表轉(zhuǎn)換比較耗費(fèi)計(jì)算機(jī)性能，一般需要通過(guò)性能比較強(qiáng)勁的拼接服務(wù)器才能完成全景視 頻的拼接。并且拼接算法的復(fù)雜程度會(huì)隨著拼接前端設(shè)備的增加而急劇增加，而且對(duì)全景 拼接后視頻畫(huà)面的呈現(xiàn)模式也有比較嚴(yán)格的要求，一般不支持不規(guī)則畫(huà)面的拼接，如品字 形畫(huà)面的全景拼接。同時(shí)，由于在客戶(hù)端進(jìn)行拼接，在性能不足時(shí)，不能進(jìn)行負(fù)載均衡，必須 使用性能更好的服務(wù)器進(jìn)行替代，對(duì)拼接服務(wù)器的要求高，成本也比較高。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種全景視頻拼接方法及裝置，以避免現(xiàn)有技術(shù)中存在的上 述技術(shù)問(wèn)題。
[0007] 為了實(shí)現(xiàn)上述目的，本發(fā)明技術(shù)方案如下：
[0008] 一種全景視頻拼接方法，用于通過(guò)客戶(hù)端將待拼接前端設(shè)備采集的視頻圖像拼接 為全景視頻圖像，所述方法包括步驟：
[0009] 將待拼接前端設(shè)備綁定為一個(gè)資源組，同時(shí)設(shè)定各待拼接前端設(shè)備對(duì)應(yīng)的視頻圖 像在拼接后全景視頻圖像中的位置信息；
[0010] 獲取資源組中各前端設(shè)備所采集的原始視頻圖像中用于進(jìn)行拼接的視頻圖像部 分的四個(gè)頂點(diǎn)，形成各前端設(shè)備用于進(jìn)行拼接的視頻圖像部分對(duì)應(yīng)的裁剪四邊形，并根據(jù) 獲取的頂點(diǎn)及設(shè)定的標(biāo)準(zhǔn)矩形計(jì)算各前端設(shè)備的畸形矯正轉(zhuǎn)換矩陣；
[0011] 發(fā)起全景視頻拼接，向資源組中各前端設(shè)備發(fā)送對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn) 換矩陣，并接收各前端設(shè)備根據(jù)對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn)換矩陣進(jìn)行矩陣轉(zhuǎn)換后的 媒體流，按照設(shè)定的位置信息進(jìn)行排放，形成全景視頻圖像并進(jìn)行顯示；或接收資源組中各 前端設(shè)備發(fā)送的原始媒體流，利用各前端設(shè)備對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn)換矩陣對(duì)各 自的原始媒體流進(jìn)行矩陣轉(zhuǎn)換后，按照設(shè)定的位置信息進(jìn)行排放，形成全景視頻圖像并進(jìn) 行顯示。
[0012] 進(jìn)一步地，所述方法還包括步驟：
[0013]周期性根據(jù)資源組中相鄰前端設(shè)備采集的視頻圖像的亮度值計(jì)算亮度修正值，用 計(jì)算的亮度修正值修正相鄰前端設(shè)備的視頻圖像亮度。通過(guò)對(duì)亮度進(jìn)行平滑過(guò)渡修正，使 全景視頻拼接后畫(huà)面在拼接處更加平滑。
[0014] 進(jìn)一步地，所述獲取資源組中各前端設(shè)備所采集的原始視頻圖像中用于進(jìn)行拼接 的視頻圖像部分的四個(gè)頂點(diǎn)，包括步驟：
[0015] 通過(guò)角點(diǎn)檢測(cè)算法得到資源組中各前端設(shè)備所采集的原始視頻圖像的角點(diǎn)；
[0016] 比較位置信息相鄰的兩個(gè)前端設(shè)備所采集的原始視頻圖像的角點(diǎn)，得到兩個(gè)前端 設(shè)備視頻圖像重疊部分所共同具有的角點(diǎn)信息，從共同具有的角點(diǎn)信息中選取最接近重疊 部分兩端的角點(diǎn)作為用于進(jìn)行拼接的視頻圖像部分的兩個(gè)頂點(diǎn)；
[0017] 對(duì)于僅有一邊與其他前端設(shè)備相鄰的前端設(shè)備所采集的視頻圖像，根據(jù)已經(jīng)選取 的與其他前端設(shè)備相鄰的兩個(gè)頂點(diǎn)，在視頻圖像的另一側(cè)選取兩個(gè)對(duì)應(yīng)的頂點(diǎn)。
[0018] 進(jìn)一步地，所述設(shè)定的標(biāo)準(zhǔn)矩形為資源組中各前端設(shè)備用于進(jìn)行拼接的視頻圖像 部分的四個(gè)頂點(diǎn)對(duì)應(yīng)的外接矩形中最大的外接矩形。
[0019] 進(jìn)一步地，所述畸形矯正轉(zhuǎn)換矩陣為：
【主權(quán)項(xiàng)】
1. 一種全景視頻拼接方法，用于通過(guò)客戶(hù)端將待拼接前端設(shè)備采集的視頻圖像拼接為 全景視頻圖像，其特征在于，所述方法包括步驟： 將待拼接前端設(shè)備綁定為一個(gè)資源組，同時(shí)設(shè)定各待拼接前端設(shè)備對(duì)應(yīng)的視頻圖像在 拼接后全景視頻圖像中的位置信息； 獲取資源組中各前端設(shè)備所采集的原始視頻圖像中用于進(jìn)行拼接的視頻圖像部分的 四個(gè)頂點(diǎn)，形成各前端設(shè)備用于進(jìn)行拼接的視頻圖像部分對(duì)應(yīng)的裁剪四邊形，并根據(jù)獲取 的頂點(diǎn)及設(shè)定的標(biāo)準(zhǔn)矩形計(jì)算各前端設(shè)備的畸形矯正轉(zhuǎn)換矩陣； 發(fā)起全景視頻拼接，向資源組中各前端設(shè)備發(fā)送對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn)換矩 陣，并接收各前端設(shè)備根據(jù)對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn)換矩陣進(jìn)行矩陣轉(zhuǎn)換后的媒體 流，按照設(shè)定的位置信息進(jìn)行排放，形成全景視頻圖像并進(jìn)行顯示；或接收資源組中各前端 設(shè)備發(fā)送的原始媒體流，利用各前端設(shè)備對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn)換矩陣對(duì)各自的 原始媒體流進(jìn)行矩陣轉(zhuǎn)換后，按照設(shè)定的位置信息進(jìn)行排放，形成全景視頻圖像并進(jìn)行顯 不O
2. 根據(jù)權(quán)利要求1所述的全景視頻拼接方法，其特征在于，所述方法還包括步驟： 周期性根據(jù)資源組中相鄰前端設(shè)備采集的視頻圖像的亮度值計(jì)算亮度修正值，用計(jì)算 的亮度修正值修正相鄰前端設(shè)備的視頻圖像亮度。
3. 根據(jù)權(quán)利要求1或2所述的全景視頻拼接方法，其特征在于，所述獲取資源組中各前 端設(shè)備所采集的原始視頻圖像中用于進(jìn)行拼接的視頻圖像部分的四個(gè)頂點(diǎn)，包括步驟： 通過(guò)角點(diǎn)檢測(cè)算法得到資源組中各前端設(shè)備所采集的原始視頻圖像的角點(diǎn)； 比較位置信息相鄰的兩個(gè)前端設(shè)備所采集的原始視頻圖像的角點(diǎn)，得到兩個(gè)前端設(shè)備 視頻圖像重疊部分所共同具有的角點(diǎn)信息，從共同具有的角點(diǎn)信息中選取最接近重疊部分 兩端的角點(diǎn)作為用于進(jìn)行拼接的視頻圖像部分的兩個(gè)頂點(diǎn)； 對(duì)于僅有一邊與其他前端設(shè)備相鄰的前端設(shè)備所采集的視頻圖像，根據(jù)已經(jīng)選取的與 其他前端設(shè)備相鄰的兩個(gè)頂點(diǎn)，在視頻圖像的另一側(cè)選取兩個(gè)對(duì)應(yīng)的頂點(diǎn)。
4. 根據(jù)權(quán)利要求3所述的全景視頻拼接方法，其特征在于，所述設(shè)定的標(biāo)準(zhǔn)矩形為資 源組中各前端設(shè)備用于進(jìn)行拼接的視頻圖像部分的四個(gè)頂點(diǎn)對(duì)應(yīng)的外接矩形中最大的外 接矩形。
5. 根據(jù)權(quán)利要求4所述的全景視頻拼接方法，其特征在于，所述畸形矯正轉(zhuǎn)換矩陣為：
其中（X，y)為原始視頻圖像中像素點(diǎn)坐標(biāo)，（x'，y'）為轉(zhuǎn)換為標(biāo)準(zhǔn)矩形后對(duì)應(yīng)的像素 點(diǎn)坐標(biāo)。
6. -種全景視頻拼接裝置，應(yīng)用于視頻監(jiān)控系統(tǒng)中的客戶(hù)端，將待拼接前端設(shè)備采集 的視頻圖像拼接為全景視頻圖像，其特征在于，所述裝置包括： 配置模塊，用于將待拼接前端設(shè)備綁定為一個(gè)資源組，同時(shí)設(shè)定各待拼接前端設(shè)備對(duì) 應(yīng)的視頻圖像在拼接后全景視頻圖像中的位置信息； 頂點(diǎn)獲取及矩陣生成模塊，用于獲取資源組中各前端設(shè)備所采集的原始視頻圖像中用 于進(jìn)行拼接的視頻圖像部分的四個(gè)頂點(diǎn)，形成各前端設(shè)備用于進(jìn)行拼接的視頻圖像部分對(duì) 應(yīng)的裁剪四邊形，并根據(jù)獲取的頂點(diǎn)及設(shè)定的標(biāo)準(zhǔn)矩形計(jì)算各前端設(shè)備的畸形矯正轉(zhuǎn)換矩 陣； 拼接模塊，用于發(fā)起全景視頻拼接，向資源組中各前端設(shè)備發(fā)送對(duì)應(yīng)的裁剪四邊形和 畸形矯正轉(zhuǎn)換矩陣，并接收各前端設(shè)備根據(jù)對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn)換矩陣進(jìn)行矩 陣轉(zhuǎn)換后的媒體流，按照設(shè)定的位置信息進(jìn)行排放，形成全景視頻圖像并進(jìn)行顯示；或接收 資源組中各前端設(shè)備發(fā)送的原始媒體流，利用各前端設(shè)備對(duì)應(yīng)的裁剪四邊形和畸形矯正轉(zhuǎn) 換矩陣對(duì)各自的原始媒體流進(jìn)行矩陣轉(zhuǎn)換后，按照設(shè)定的位置信息進(jìn)行排放，形成全景視 頻圖像并進(jìn)行顯示。
7. 根據(jù)權(quán)利要求6所述的全景視頻拼接裝置，其特征在于，所述裝置還包括： 亮度修正模塊，用于周期性根據(jù)資源組中相鄰前端設(shè)備采集的視頻圖像的亮度值計(jì)算 亮度修正值，用計(jì)算的亮度修正值修正相鄰前端設(shè)備的視頻圖像亮度。
8. 根據(jù)權(quán)利要求6或7所述的全景視頻拼接裝置，其特征在于，所述頂點(diǎn)獲取及矩陣生 成模塊，在獲取資源組中各前端設(shè)備所采集的原始視頻圖像中用于進(jìn)行拼接的視頻圖像部 分的四個(gè)頂點(diǎn)時(shí)，執(zhí)行如下操作： 通過(guò)角點(diǎn)檢測(cè)算法得到資源組中各前端設(shè)備所采集的原始視頻圖像的角點(diǎn)； 比較位置信息相鄰的兩個(gè)前端設(shè)備所采集的原始視頻圖像的角點(diǎn)，得到兩個(gè)前端設(shè)備 視頻圖像重疊部分所共同具有的角點(diǎn)信息，從共同具有的角點(diǎn)信息中選取最接近重疊部分 兩端的角點(diǎn)作為用于進(jìn)行拼接的視頻圖像部分的兩個(gè)頂點(diǎn)； 對(duì)于僅有一邊與其他前端設(shè)備相鄰的前端設(shè)備所采集的視頻圖像，根據(jù)已經(jīng)選取的與 其他前端設(shè)備相鄰的兩個(gè)頂點(diǎn)，在視頻圖像的另一側(cè)選取兩個(gè)對(duì)應(yīng)的頂點(diǎn)。
9. 根據(jù)權(quán)利要求8所述的全景視頻拼接裝置，其特征在于，所述設(shè)定的標(biāo)準(zhǔn)矩形為資 源組中各前端設(shè)備用于進(jìn)行拼接的視頻圖像部分的四個(gè)頂點(diǎn)對(duì)應(yīng)的外接矩形中最大的外 接矩形。
10. 根據(jù)權(quán)利要求9所述的全景視頻拼接裝置，其特征在于，所述畸形矯正轉(zhuǎn)換矩陣 為：
其中（X，y)為原始視頻圖像中像素點(diǎn)坐標(biāo)，（X'，y'）為轉(zhuǎn)換為標(biāo)準(zhǔn)矩形后對(duì)應(yīng)的像素 點(diǎn)坐標(biāo)。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種全景視頻拼接方法及裝置，用于通過(guò)客戶(hù)端將待拼接前端設(shè)備采集的視頻圖像拼接為全景視頻圖像，所述方法將待拼接前端設(shè)備綁定為一個(gè)資源組，獲取各前端設(shè)備用于進(jìn)行拼接的視頻圖像部分的四個(gè)頂點(diǎn)，形成各前端設(shè)備對(duì)應(yīng)的裁剪四邊形，并根據(jù)獲取的頂點(diǎn)及設(shè)定的標(biāo)準(zhǔn)矩形計(jì)算各前端設(shè)備的畸形矯正轉(zhuǎn)換矩陣，將各前端設(shè)備采集的視頻圖像進(jìn)行轉(zhuǎn)換后再按照設(shè)定的位置信息進(jìn)行排放，形成全景視頻圖像并進(jìn)行顯示。本發(fā)明的全景視頻拼接裝置，包括配置模塊、頂點(diǎn)獲取及矩陣生成模塊和拼接模塊。本發(fā)明的方法及裝置可以由前端設(shè)備或客戶(hù)端來(lái)進(jìn)行畸形矯正轉(zhuǎn)換，實(shí)現(xiàn)全景拼接，對(duì)矩陣轉(zhuǎn)換設(shè)備的性能要求不高，特別適合利舊項(xiàng)目升級(jí)拓展。
【IPC分類(lèi)】H04N7-18, H04N5-265
【公開(kāi)號(hào)】CN104639911
【申請(qǐng)?zhí)枴緾N201510067853
【發(fā)明人】王江柱
【申請(qǐng)人】浙江宇視科技有限公司
【公開(kāi)日】2015年5月20日
【申請(qǐng)日】2015年2月9日