本發(fā)明涉及計(jì)算機(jī)視覺，具體而言，涉及一種基于相似度的視頻自動切分鏡方法及裝置。

背景技術(shù)：

1、計(jì)算機(jī)視覺技術(shù)在視頻處理中扮演著核心角色。通過計(jì)算機(jī)視覺技術(shù)，系統(tǒng)能夠識別視頻中的關(guān)鍵幀、運(yùn)動變化、顏色分布等特征，從而判斷鏡頭的起始和結(jié)束位置，方便后續(xù)對該視頻進(jìn)行理解、模仿拍攝等操作。

2、現(xiàn)有技術(shù)一般通過計(jì)算歐幾里得距離、余弦相似度或卡方距離來提取視頻幀的特征，但性能較低，無法準(zhǔn)確捕捉相鄰像素之間的空間關(guān)系，導(dǎo)致結(jié)果不準(zhǔn)確。如cn110175591b《一種獲取視頻相似度的方法》，通過計(jì)算相鄰視頻幀圖片的顏色直方圖的卡方距離，作為相鄰視頻幀圖片之間的相似度?？ǚ骄嚯x等方法的結(jié)果表達(dá)直觀，易于理解，但存在以下缺點(diǎn)：

3、(1)在小樣本情況下，檢驗(yàn)的穩(wěn)定性較差，可能會導(dǎo)致結(jié)果不準(zhǔn)確。因此，在計(jì)算視頻幀的相似度時(shí)，如果幀之間的差異較小或細(xì)節(jié)豐富，可能無法準(zhǔn)確捕捉到細(xì)微變化。

4、(2)在視頻幀中，相鄰像素之間的空間關(guān)系對于理解整體場景非常重要?，F(xiàn)有方法主要關(guān)注分布之間的差異，忽略了像素之間的空間關(guān)系。

5、有鑒于此，申請人在研究了現(xiàn)有的技術(shù)后特提出本申請。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提供一種基于相似度的視頻自動切分鏡方法、裝置、設(shè)備及介質(zhì)，以解決現(xiàn)有方法中無法準(zhǔn)確捕捉到樣本的細(xì)微變化、忽略了像素之間的空間關(guān)系等缺點(diǎn)。

2、為解決上述技術(shù)問題，本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：

3、一種基于相似度的視頻自動切分鏡方法，包括：

4、s1,獲取待切分視頻；

5、s2,提取所述待切分視頻的每個(gè)視頻幀的顏色直方圖特征；

6、s3,根據(jù)所述顏色直方圖特征，結(jié)合視頻幀的距離與時(shí)間信息，基于地球搬運(yùn)工距離，計(jì)算相鄰視頻幀的相似度，得到按照視頻時(shí)間順序排列的相似度集合；

7、s4,根據(jù)所述相似度集合，計(jì)算前后兩個(gè)相似度之間的差值，得到相似度差值集合；

8、s5,對所述相似度差值集合按降序排列，找出最大值，得到最大差值，將所述最大差值對應(yīng)的視頻幀存入分鏡頭點(diǎn)列表；

9、s6,根據(jù)所述最大差值設(shè)置最小變化閾值，將所述相似度集合中超過所述最小變化閾值對應(yīng)的視頻幀存入所述分鏡頭點(diǎn)列表；

10、s7,以所述分鏡頭點(diǎn)列表中的分鏡頭點(diǎn)為切分點(diǎn)進(jìn)行視頻切分，實(shí)現(xiàn)視頻的自動切分鏡。

11、優(yōu)選地，計(jì)算相鄰視頻幀的相似度的計(jì)算公式為：

12、

13、其中，smi,j為相鄰兩個(gè)視頻幀i、j的相似度；hi、hj分別表示第i幀、第j幀的顏色直方圖特征；emd(.)表示地球搬運(yùn)工距離函數(shù)；α、β為調(diào)整參數(shù)；

14、n為所述待切分視頻的總幀數(shù)；ti、tj分別表示第i幀、第j幀對應(yīng)的時(shí)間點(diǎn)；t為所述待切分視頻的總時(shí)長。

15、優(yōu)選地，所述最小變化閾值的計(jì)算公式為：

16、

17、其中，m為所述最小變化閾值；表示所述相似度差值集合d中的最大值,即所述最大差值；k1、k2為設(shè)置的調(diào)整系數(shù)。

18、優(yōu)選地，還包括：將所述待切分視頻的起始幀和尾幀加入所述分鏡頭點(diǎn)列表，以形成完整的分鏡頭點(diǎn)列表后，將完整的分鏡頭點(diǎn)列表中的相鄰分鏡頭點(diǎn)合并成為切分視頻的時(shí)間段。

19、本發(fā)明還提供了一種基于相似度的視頻自動切分鏡裝置，包括：

20、數(shù)據(jù)獲取單元,用于獲取待切分視頻；

21、特征提取單元,用于提取所述待切分視頻的每個(gè)視頻幀的顏色直方圖特征；

22、相似度單元,用于根據(jù)所述顏色直方圖特征，結(jié)合視頻幀的距離與時(shí)間信息，基于地球搬運(yùn)工距離，計(jì)算相鄰視頻幀的相似度，得到按照視頻時(shí)間順序排列的相似度集合；

23、相似度差值單元,用于根據(jù)所述相似度集合，計(jì)算前后兩個(gè)相似度之間的差值，得到相似度差值集合；

24、最大差值點(diǎn)單元,用于對所述相似度差值集合按降序排列，找出最大值，得到最大差值，將所述最大差值對應(yīng)的視頻幀存入分鏡頭點(diǎn)列表；

25、最小變化閾值單元,用于根據(jù)所述最大差值設(shè)置最小變化閾值，將所述相似度集合中超過所述最小變化閾值對應(yīng)的視頻幀存入所述分鏡頭點(diǎn)列表；

26、視頻切分單元,用于以所述分鏡頭點(diǎn)列表中的分鏡頭點(diǎn)為切分點(diǎn)進(jìn)行視頻切分，實(shí)現(xiàn)視頻的自動切分鏡。

27、本發(fā)明還提供了一種基于相似度的視頻自動切分鏡設(shè)備，包括處理器以及存儲器，所述存儲器內(nèi)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序能夠被所述處理器執(zhí)行，以實(shí)現(xiàn)如上所述的一種基于相似度的視頻自動切分鏡方法。

28、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被計(jì)算機(jī)可讀存儲介質(zhì)所在設(shè)備的處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的一種基于相似度的視頻自動切分鏡方法。

29、綜上所述，與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

30、本發(fā)明結(jié)合視頻幀的距離與時(shí)間信息，基于地球搬運(yùn)工距離，計(jì)算相鄰視頻幀的相似度，通過比較相鄰的前后幀之間的顏色直方圖相似度來確定分鏡頭點(diǎn)，考慮了兩個(gè)分布之間的相似性和幾何距離之間的關(guān)系，更好地捕捉圖像之間的相似性。而且在計(jì)算相似度時(shí)，還考慮到視頻幀之間的距離和時(shí)間對相似度的影響，視頻幀之間的距離越大，相似度可能越??；時(shí)間間隔越大，相似度可能也越小，以減小計(jì)算顏色直方圖的相似度時(shí)的誤差。

31、此外，為了避免微小的顏色變化被誤判為分鏡頭點(diǎn)，通過計(jì)算公式動態(tài)設(shè)置最小變化閾值，提升分鏡頭點(diǎn)檢測的準(zhǔn)確率。與傳統(tǒng)的視頻圖像處理方法(如歐幾里得距離、余弦相似度等)相比，穩(wěn)定性好。

技術(shù)特征：

1.一種基于相似度的視頻自動切分鏡方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于相似度的視頻自動切分鏡方法，其特征在于,計(jì)算相鄰視頻幀的相似度的計(jì)算公式為：

3.根據(jù)權(quán)利要求2所述的一種基于相似度的視頻自動切分鏡方法，其特征在于,所述最小變化閾值的計(jì)算公式為：

4.根據(jù)權(quán)利要求1所述的一種基于相似度的視頻自動切分鏡方法，其特征在于,還包括：將所述待切分視頻的起始幀和尾幀加入所述分鏡頭點(diǎn)列表，以形成完整的分鏡頭點(diǎn)列表后，將完整的分鏡頭點(diǎn)列表中的相鄰分鏡頭點(diǎn)合并成為切分視頻的時(shí)間段。

5.一種基于相似度的視頻自動切分鏡裝置，其特征在于，包括：

6.根據(jù)權(quán)利要求5所述的一種基于相似度的視頻自動切分鏡裝置，其特征在于,計(jì)算相鄰視頻幀的相似度的計(jì)算公式為：

7.根據(jù)權(quán)利要求6所述的一種基于相似度的視頻自動切分鏡裝置，其特征在于,所述最小變化閾值的計(jì)算公式為：

8.根據(jù)權(quán)利要求5所述的一種基于相似度的視頻自動切分鏡裝置，其特征在于,還包括：將所述待切分視頻的起始幀和尾幀加入所述分鏡頭點(diǎn)列表，以形成完整的分鏡頭點(diǎn)列表后，將完整的分鏡頭點(diǎn)列表中的相鄰分鏡頭點(diǎn)合并成為切分視頻的時(shí)間段。

9.一種基于相似度的視頻自動切分鏡設(shè)備，其特征在于，包括處理器以及存儲器，所述存儲器內(nèi)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序能夠被所述處理器執(zhí)行，以實(shí)現(xiàn)如權(quán)利要求1-4任意一項(xiàng)所述的一種基于相似度的視頻自動切分鏡方法。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被計(jì)算機(jī)可讀存儲介質(zhì)所在設(shè)備的處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-4任意一項(xiàng)所述的一種基于相似度的視頻自動切分鏡方法。

技術(shù)總結(jié)
本發(fā)明提供的基于相似度的視頻自動切分鏡方法、裝置、設(shè)備及介質(zhì)，涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域。本發(fā)明通過提取待切分視頻的顏色直方圖特征，基于地球搬運(yùn)工距離，計(jì)算相鄰視頻幀的相似度，得到相似度集合；然后計(jì)算相似度集合中前后兩個(gè)相似度之間的差值，得到相似度差值集合；并找出相似度差值集合中的最大值，得到最大差值；根據(jù)最大差值動態(tài)設(shè)置最小變化閾值，將相似度集合中超過最小變化閾值的視頻幀存入分鏡頭點(diǎn)列表，并以分鏡頭點(diǎn)為切分點(diǎn)進(jìn)行切分視頻，實(shí)現(xiàn)視頻的自動切分鏡。本發(fā)明基于地球搬運(yùn)工距離，同時(shí)考慮視頻幀之間的距離和時(shí)間對相似度的影響，能夠更好地捕捉視頻幀之間的相似性，從而最大可能地提升視頻切分的準(zhǔn)確率。

技術(shù)研發(fā)人員：王雪,楊洪進(jìn),邢東進(jìn)
受保護(hù)的技術(shù)使用者：廈門立馬耀網(wǎng)絡(luò)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6