本申請(qǐng)涉及視頻處理技術(shù)領(lǐng)域，特別涉及一種視頻識(shí)別方法和裝置。

背景技術(shù)：

色情內(nèi)容作為互聯(lián)網(wǎng)的一種不良信息，是需要嚴(yán)格管控的，而視頻作為互聯(lián)網(wǎng)流量的主要部分，更加需要對(duì)其進(jìn)行有效識(shí)別并進(jìn)行管控。目前，色情內(nèi)容的識(shí)別方法主要有以下幾種：

1)基于特征庫(kù)的匹配識(shí)別。在預(yù)先存儲(chǔ)的人體特征庫(kù)中查找與待識(shí)別圖像匹配的人體敏感部位圖片所對(duì)應(yīng)的特征數(shù)據(jù)，然后根據(jù)匹配的特征數(shù)據(jù)計(jì)算待識(shí)別圖像對(duì)應(yīng)的置信度，并進(jìn)一步根據(jù)置信度判斷對(duì)應(yīng)的待識(shí)別圖像是否為色情圖像。該方法的召回率和精準(zhǔn)度依賴人體特征庫(kù)的完備性和匹配規(guī)則，對(duì)人體姿態(tài)、遮擋、光照比較敏感，特別地，對(duì)于暴露不充分的圖像，識(shí)別率較低。

2)基于膚色模型或敏感部位模型的識(shí)別。這種方法主要是通過大量樣本圖像膚色區(qū)域或人體敏感器官訓(xùn)練人體皮膚的顏色模型或人體敏感器官的顏色模型。然后根據(jù)上述模型對(duì)待識(shí)別圖像進(jìn)行人體皮膚區(qū)域或敏感器官檢測(cè)。此種方法雖然對(duì)光照和不同膚色的人種比較敏感，但對(duì)于正常的裸露，如臉和手臂，誤判率較高。此外，敏感部位模型對(duì)遮擋比較敏感，特征的提取速度和識(shí)別速度都較慢。

3)基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法的識(shí)別。該方法基于卷積神經(jīng)網(wǎng)絡(luò)，通過循環(huán)訓(xùn)練大量的樣本，得到最終的檢測(cè)模型，并通過檢測(cè)模型對(duì)待識(shí)別視頻中的圖像幀進(jìn)行識(shí)別。

雖然，基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法能夠克服因環(huán)境光線的多樣化、人種的多樣性等問題，但是該方法與方法1)和2)都只是圖像級(jí)的識(shí)別方法。目前在對(duì)視頻的識(shí)別中，可通過抽取視頻的關(guān)鍵幀，然后將以上一種或幾種圖像級(jí)的處理方法應(yīng)用到每個(gè)關(guān)鍵幀上進(jìn)行識(shí)別。但是這種方法中關(guān)鍵幀抽取沒有考慮到視頻中圖像在時(shí)間域上的連續(xù)性，而且決策模型簡(jiǎn)單，分類特征值區(qū)分度不高，導(dǎo)致精度不理想；此外，需要解碼整個(gè)視頻，有大量冗余計(jì)算，識(shí)別速度非常不理想。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)旨在至少在一定程度上解決上述技術(shù)問題。

為此，本申請(qǐng)的第一個(gè)目的在于提出一種視頻識(shí)別方法，降低了識(shí)別耗時(shí)，提高了識(shí)別速度和精度。

本申請(qǐng)的第二個(gè)目的在于提出一種視頻識(shí)別裝置。

為達(dá)上述目的，根據(jù)本申請(qǐng)第一方面實(shí)施例提出了一種視頻識(shí)別方法，包括以下步驟：將待識(shí)別視頻劃分為多個(gè)區(qū)間；分別對(duì)所述多個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)，并在對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取所述待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)，并根據(jù)所述色情統(tǒng)計(jì)指標(biāo)判斷所述待識(shí)別視頻是否為色情視頻。

本申請(qǐng)實(shí)施例的視頻識(shí)別方法，可將待識(shí)別視頻劃分為多個(gè)區(qū)間，并進(jìn)行多層級(jí)探測(cè)，根據(jù)探測(cè)過程中的色情統(tǒng)計(jì)指標(biāo)判斷待識(shí)別視頻是否為色情視頻，通過多層級(jí)探測(cè)的方式，利用了相鄰圖像幀之間的視覺相似性和時(shí)間連續(xù)性，獲得的色情統(tǒng)計(jì)指標(biāo)魯棒性強(qiáng)，并且在探測(cè)過程中可根據(jù)探測(cè)的進(jìn)度更新色情統(tǒng)計(jì)指標(biāo)，從而并進(jìn)行判斷，從而可提前返回判斷結(jié)果，無需解碼和探測(cè)整個(gè)待識(shí)別視頻，降低了識(shí)別耗時(shí)，提高了識(shí)別速度和精度。

本申請(qǐng)第二方面實(shí)施例提供了一種視頻識(shí)別裝置，包括：劃分模塊，用于將待識(shí)別視頻劃分為多個(gè)區(qū)間；探測(cè)模塊，用于分別對(duì)所述多個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)，并在對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取所述待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)；判斷模塊，用于在對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中根據(jù)所述色情統(tǒng)計(jì)指標(biāo)判斷所述待識(shí)別視頻是否為色情視頻。

本申請(qǐng)實(shí)施例的視頻識(shí)別裝置，可將待識(shí)別視頻劃分為多個(gè)區(qū)間，并進(jìn)行多層級(jí)探測(cè)，根據(jù)探測(cè)過程中的色情統(tǒng)計(jì)指標(biāo)判斷待識(shí)別視頻是否為色情視頻，通過多層級(jí)探測(cè)的方式，利用了相鄰圖像幀之間的視覺相似性和時(shí)間連續(xù)性，獲得的色情統(tǒng)計(jì)指標(biāo)魯棒性強(qiáng)，并且在探測(cè)過程中可根據(jù)探測(cè)的進(jìn)度更新色情統(tǒng)計(jì)指標(biāo)，從而并進(jìn)行判斷，從而可提前返回判斷結(jié)果，無需解碼和探測(cè)整個(gè)待識(shí)別視頻，降低了識(shí)別耗時(shí)，提高了識(shí)別速度和精度。

本申請(qǐng)的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請(qǐng)的實(shí)踐了解到。

附圖說明

本申請(qǐng)的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的視頻識(shí)別方法的流程圖；

圖2為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的多層級(jí)結(jié)構(gòu)的示意圖；

圖3為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)的流程圖；

圖4為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別的流程圖；

圖5為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)待檢測(cè)片段進(jìn)行片段級(jí)色情識(shí)別的流程圖；

圖6為根據(jù)申請(qǐng)一個(gè)實(shí)施例的獲取兩個(gè)圖像幀之間的幀差的流程圖；

圖7為根據(jù)本申請(qǐng)另一個(gè)實(shí)施例的對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別的流程圖；

圖8為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)并判斷待識(shí)別視頻是否為色情視頻的流程圖；

圖9為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的視頻識(shí)別裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本申請(qǐng)的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本申請(qǐng)，而不能理解為對(duì)本申請(qǐng)的限制。

下面參考附圖描述根據(jù)本申請(qǐng)實(shí)施例的視頻識(shí)別方法和裝置。

圖1為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的視頻識(shí)別方法的流程圖。

如圖1所示，根據(jù)本申請(qǐng)實(shí)施例的視頻識(shí)別方法，包括：

S101，將待識(shí)別視頻劃分為多個(gè)區(qū)間。

在本申請(qǐng)的一個(gè)實(shí)施例中，可根據(jù)待識(shí)別視頻的時(shí)長(zhǎng)將其劃分為多個(gè)區(qū)間。本申請(qǐng)對(duì)區(qū)間的劃分的規(guī)則不做限定。舉例而言，可根據(jù)待識(shí)別視頻的時(shí)長(zhǎng)將待識(shí)別視頻平均劃分為等長(zhǎng)度的多個(gè)區(qū)間，或者將待識(shí)別視頻劃分為時(shí)長(zhǎng)為預(yù)設(shè)時(shí)長(zhǎng)的多個(gè)區(qū)間，當(dāng)待識(shí)別視頻的時(shí)長(zhǎng)不能整除預(yù)設(shè)時(shí)長(zhǎng)時(shí)，可將不能整除的剩余部分單獨(dú)作為一個(gè)區(qū)間或者合并至其相鄰區(qū)間。

在本申請(qǐng)的一個(gè)實(shí)施例中，多個(gè)區(qū)間可分別具有各自的處理優(yōu)先級(jí)。該處理優(yōu)先級(jí)可在劃分區(qū)間時(shí)對(duì)每個(gè)區(qū)間分別進(jìn)行設(shè)定。處理優(yōu)先級(jí)越高，則在后續(xù)進(jìn)行多層級(jí)探測(cè)時(shí)可被優(yōu)先處理。具體地，在設(shè)定處理優(yōu)先級(jí)時(shí)，可根據(jù)歷史經(jīng)驗(yàn)進(jìn)行設(shè)定，例如，根據(jù)對(duì)大量色情視頻的分析，得知大部分色情視頻中敏感內(nèi)容大多位于視頻中后部，則可將位于待識(shí)別視頻中后部的區(qū)間的處理優(yōu)先級(jí)設(shè)置為高。

S102，分別對(duì)多個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)，并在對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)，并根據(jù)色情統(tǒng)計(jì)指標(biāo)判斷待識(shí)別視頻是否為色情視頻。

其中，多層級(jí)探測(cè)是指根據(jù)視頻的多層級(jí)結(jié)構(gòu)對(duì)待識(shí)別視頻進(jìn)行探測(cè)。具體地，如圖2所示，視頻自上而下可分別包括：

第一級(jí)：區(qū)間級(jí)(圖2中用range[i]表示第i個(gè)區(qū)間)。即將視頻根據(jù)其時(shí)長(zhǎng)分為多個(gè)區(qū)間，可通過S101實(shí)現(xiàn)。

第二級(jí)：鏡頭級(jí)(圖2中用shot[i]表示第i個(gè)鏡頭)。鏡頭是次語(yǔ)義級(jí)別的視頻處理單元，一個(gè)鏡頭是時(shí)間上連續(xù)且視覺相似的幀的集合。色情識(shí)別在鏡頭中進(jìn)行時(shí)，以鏡頭為單位統(tǒng)計(jì)色情概率值，并累計(jì)時(shí)長(zhǎng)。

第三級(jí)：片段級(jí)(圖2中用segment[i]表示第i個(gè)片段)。由于超長(zhǎng)的鏡頭會(huì)導(dǎo)致較長(zhǎng)的處理耗時(shí)，因此，可將長(zhǎng)鏡頭進(jìn)行切分為一定時(shí)長(zhǎng)(即第三時(shí)間，例如可為15秒)的片段。色情識(shí)別在片段中進(jìn)行時(shí)，將片段的統(tǒng)計(jì)概率值累加至從屬鏡頭的統(tǒng)計(jì)概率值。

第四級(jí)：幀級(jí)(圖2中用frame[i]表示第i個(gè)圖像幀)。從視頻中解碼獲得一個(gè)完整的圖像幀，基于深度卷積神經(jīng)網(wǎng)絡(luò)的色情圖像識(shí)別算法對(duì)圖像幀進(jìn)行識(shí)別，將獲得色情概率值累加至片段或鏡頭統(tǒng)計(jì)值中。

其中，區(qū)間中鏡頭的劃分以及鏡頭中片段的劃分是在探測(cè)過程中在逐幀識(shí)別時(shí)生成的。

具體地，鏡頭的劃分是在對(duì)每一圖像幀進(jìn)行識(shí)別時(shí)計(jì)算該圖像幀與其相鄰圖像幀的幀差，如果幀差為1，則這兩個(gè)圖像幀之間即為兩個(gè)鏡頭的分隔點(diǎn)。

鏡頭中的片段的劃分是在鏡頭識(shí)別過程中，從鏡頭中的第一個(gè)圖像幀開始向后累積各個(gè)圖像幀的時(shí)長(zhǎng)，當(dāng)累計(jì)時(shí)長(zhǎng)達(dá)到設(shè)定的片段時(shí)長(zhǎng)時(shí)，則生成一個(gè)片段，并開始下一片段的生成。鏡頭中第一片段的開始是該鏡頭的初始幀，最后一個(gè)片段的結(jié)尾是該鏡頭的結(jié)束幀。

在本申請(qǐng)的一個(gè)實(shí)施例中，對(duì)多個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)時(shí)，可將多個(gè)區(qū)間分為N個(gè)區(qū)間組，并通過N個(gè)并行線程對(duì)N個(gè)區(qū)間組分別進(jìn)行探測(cè)，其中，每個(gè)線程按照處理優(yōu)先級(jí)依次對(duì)其對(duì)應(yīng)的區(qū)間組中的區(qū)間進(jìn)行多層級(jí)探測(cè)，其中，N為正整數(shù)。

應(yīng)當(dāng)理解，在本申請(qǐng)的另一個(gè)實(shí)施例中，也可無需對(duì)多個(gè)區(qū)間進(jìn)行分組，可直接通過多個(gè)并行線程按照多個(gè)區(qū)間的處理優(yōu)先級(jí)對(duì)多個(gè)區(qū)間并行探測(cè)。

由此，可通過多個(gè)并行線程按照一定的策略對(duì)多個(gè)區(qū)間進(jìn)行并多層級(jí)探測(cè)，能夠充分硬件計(jì)算資源，利用多線程技術(shù)將硬件資源轉(zhuǎn)化為速度的提升，從而提高了視頻識(shí)別效率。

在本申請(qǐng)的實(shí)施例中，色情統(tǒng)計(jì)指標(biāo)可包括總色情時(shí)長(zhǎng)、累計(jì)色情概率值、非色情次數(shù)、鏡頭處理總數(shù)、總色情幀數(shù)、幀處理總數(shù)、待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率中的一種或多種?？苫陬A(yù)先訓(xùn)練的支持向量機(jī)判別模型對(duì)累計(jì)色情概率值、非色情次數(shù)、總色情幀數(shù)、總色情時(shí)長(zhǎng)、鏡頭處理總數(shù)、幀處理總數(shù)、待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率進(jìn)行分析，以判斷待識(shí)別視頻是否為色情視頻。

其中，累計(jì)色情概率值為在探測(cè)過程中鏡頭時(shí)長(zhǎng)不小于第一時(shí)間且色情概率值大于第二概率閾值的已識(shí)別鏡頭的鏡頭時(shí)長(zhǎng)總和，總色情時(shí)長(zhǎng)是隨著鏡頭檢測(cè)過程逐漸累計(jì)得到的。

非色情次數(shù)為在探測(cè)過程中識(shí)別到色情概率值不大于第一概率閾值的圖像幀的次數(shù)。

總色情幀數(shù)為在探測(cè)過程中識(shí)別出的色情圖像幀的總數(shù)。其中，色情圖像幀為色情概率值大于第四概率閾值的圖像幀。另外，如果一個(gè)圖像幀集合中的圖像幀的平均色情概率閾值 大于第四概率閾值，則判斷該圖像幀集合中的圖像幀為色情圖像幀。

鏡頭處理總數(shù)為在探測(cè)過程中進(jìn)行鏡頭級(jí)色情識(shí)別的鏡頭總數(shù)。

幀處理總數(shù)為在探測(cè)過程中進(jìn)行色情識(shí)別的圖像幀總數(shù)。

總色情時(shí)長(zhǎng)為在探測(cè)過程中鏡頭時(shí)長(zhǎng)不小于第一時(shí)間且色情概率值大于第二概率閾值的已識(shí)別鏡頭的鏡頭時(shí)長(zhǎng)總和。

應(yīng)當(dāng)理解，上述色情統(tǒng)計(jì)指標(biāo)中的待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率為待識(shí)別視頻的固有屬性。而總色情時(shí)長(zhǎng)、累計(jì)色情概率值、非色情次數(shù)、鏡頭處理總數(shù)、總色情幀數(shù)、幀處理總數(shù)是在探測(cè)過程中隨著探測(cè)的進(jìn)行不斷變換的，則探測(cè)過程中，當(dāng)每個(gè)指標(biāo)發(fā)生更新時(shí)，即可據(jù)此判斷待識(shí)別視頻是否為色情視頻。而

在本申請(qǐng)的實(shí)施例中，可通過對(duì)大量的被人工標(biāo)記的樣本視頻(包括色情視頻和非色情視頻)進(jìn)程探測(cè)，以得到的統(tǒng)計(jì)指標(biāo)，然后根據(jù)得到的統(tǒng)計(jì)指標(biāo)進(jìn)行訓(xùn)練并支持向量機(jī)(Support Vector Machine，SVM)建立該判別模型。

應(yīng)當(dāng)理解，在本申請(qǐng)的實(shí)施例中，多層級(jí)探測(cè)可為上述四個(gè)層級(jí)中兩個(gè)或兩個(gè)以上層級(jí)的組合探測(cè)，例如，區(qū)間級(jí)探測(cè)->鏡頭級(jí)探測(cè)->片段級(jí)探測(cè)->幀級(jí)探測(cè)，或者區(qū)間級(jí)探測(cè)->鏡頭級(jí)探測(cè)->幀級(jí)探測(cè)，或者區(qū)間級(jí)探測(cè)->幀級(jí)探測(cè)等。

具體地，區(qū)間級(jí)探測(cè)->鏡頭級(jí)探測(cè)->片段級(jí)探測(cè)->幀級(jí)探測(cè)可如圖3、圖4和圖5所示，區(qū)間級(jí)探測(cè)->鏡頭級(jí)探測(cè)->幀級(jí)探測(cè)可如圖3和圖7所示，區(qū)間級(jí)探測(cè)->幀級(jí)探測(cè)可如圖8所示。

下面結(jié)合圖3-圖8對(duì)本申請(qǐng)的對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程進(jìn)行說明。

圖3為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)的流程圖。如圖3所示，對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)包括以下步驟：

S1，將當(dāng)前探測(cè)區(qū)間的第一個(gè)圖像幀作為待識(shí)別幀。

S2，對(duì)待識(shí)別幀進(jìn)行色情識(shí)別，以獲取待識(shí)別幀的色情概率值，并將當(dāng)前的幀處理總數(shù)加1。

具體地，可首先對(duì)待識(shí)別幀進(jìn)行解碼，并在解碼后對(duì)待識(shí)別幀進(jìn)行色情識(shí)別。在本申請(qǐng)的實(shí)施例中，將當(dāng)前探測(cè)區(qū)間的第一個(gè)圖像幀作為待識(shí)別幀。

本申請(qǐng)的實(shí)施例中，可基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)待識(shí)別幀圖像進(jìn)行色情識(shí)別，以獲取待識(shí)別幀的色情概率值?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)的識(shí)別方法能夠根據(jù)圖像幀的顏色、形狀、紋理、結(jié)構(gòu)等信息對(duì)圖像幀進(jìn)行識(shí)別，避免了傳統(tǒng)識(shí)別算法中特征提取和數(shù)據(jù)重建的復(fù)雜過程，圖像幀可直接作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入，對(duì)圖像的平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。根據(jù)實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果，本申請(qǐng)實(shí)施例中，基于深度卷積神經(jīng)網(wǎng)絡(luò)的識(shí) 別方法的召回率和精度可分別達(dá)到90％和95％，由此可見，該方法大大提高了單幀圖像的識(shí)別精度和召回率。

S3，如果待識(shí)別幀的色情概率值大于第一概率閾值，則對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別，以獲取待識(shí)別幀所在鏡頭的色情概率值和色情時(shí)長(zhǎng)。

在本申請(qǐng)的一個(gè)實(shí)施例中，第一概率閾值用于對(duì)單幀圖像進(jìn)行判斷，如果圖像幀的色情概率值大于第一概率閾值，則可判斷該圖像幀為可疑色情幀。因此，如果待識(shí)別幀的色情概率值大于第一概率閾值，則可通過圖4所示的實(shí)施例進(jìn)一步對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別，以獲取待識(shí)別幀所在鏡頭的色情概率值和色情時(shí)長(zhǎng)，并進(jìn)行后續(xù)判斷識(shí)別。

S4，如果待識(shí)別幀所在鏡頭的色情概率值大于第二概率閾值，則進(jìn)一步判斷待識(shí)別幀所在鏡頭的色情時(shí)長(zhǎng)是否小于第一時(shí)間。

S5，如果小于第一時(shí)間，則將待識(shí)別幀所在鏡頭與相鄰的同類鏡頭進(jìn)行合并，以使合并后的鏡頭的時(shí)長(zhǎng)不小于第一時(shí)間。

如果鏡頭的時(shí)長(zhǎng)小于第一時(shí)間，則表示該鏡頭為短鏡頭。由于短鏡頭的可信度較低，因此可對(duì)鏡頭進(jìn)行合并。其中，第一時(shí)間可以是2秒。

具體地，鏡頭合并的規(guī)則是相鄰的色情鏡頭進(jìn)行合并，相鄰的非色情鏡頭進(jìn)行合并。也就是說，如若當(dāng)前鏡頭是短的色情鏡頭，且其前相鄰鏡頭也是色情鏡頭，則將該鏡頭合并到前一個(gè)鏡頭中。若當(dāng)前鏡頭是短的色情鏡頭，且其前相鄰鏡頭不是色情鏡頭，則將該鏡頭不會(huì)合并。同樣，若當(dāng)前鏡頭是短的非色情鏡頭，且其前相鄰鏡頭也是非色情鏡頭，則將該鏡頭合并到前一個(gè)鏡頭中。若當(dāng)前鏡頭不是短鏡頭，但其前相鄰鏡頭是短鏡頭，亦會(huì)嘗試合并。在合并時(shí)，鏡頭時(shí)長(zhǎng)相加，鏡頭的色情概率值分?jǐn)?shù)相加。

S6，如果不小于第一時(shí)間，則將待識(shí)別幀所在鏡頭的色情時(shí)長(zhǎng)累加至當(dāng)前的總色情時(shí)長(zhǎng)，以對(duì)總色情時(shí)長(zhǎng)進(jìn)行更新。

此外，可將待識(shí)別幀所在鏡頭的色情概率值累加至當(dāng)前的累計(jì)色情概率值，以對(duì)累計(jì)色情概率值進(jìn)行更新。

S7，如果總色情時(shí)長(zhǎng)大于第二時(shí)間，則判斷待識(shí)別視頻為色情視頻；

S8，如果總色情時(shí)長(zhǎng)不大于第二時(shí)間，則將待識(shí)別幀的下一圖像幀作為新的待識(shí)別幀，并重復(fù)S2-S8，直至當(dāng)前探測(cè)區(qū)間探測(cè)完成，其中，第一時(shí)間小于第二時(shí)間。

其中，第一時(shí)間小于第二時(shí)間。

總色情時(shí)長(zhǎng)為當(dāng)前已探測(cè)完成的所有區(qū)間的色情時(shí)長(zhǎng)的總和，在區(qū)間探測(cè)過程中，是隨著探測(cè)過程的進(jìn)行實(shí)時(shí)變化的。具體地，每對(duì)一個(gè)鏡頭識(shí)別結(jié)束后，將該鏡頭的色情時(shí)長(zhǎng)累加至當(dāng)前的總色情時(shí)長(zhǎng)，以對(duì)總色情時(shí)長(zhǎng)進(jìn)行更新。

如果總色情時(shí)長(zhǎng)大于第二時(shí)間，則可判斷待識(shí)別視頻為色情視頻，否則繼續(xù)探測(cè)，直至 總色情時(shí)長(zhǎng)大于第二時(shí)間判斷待識(shí)別視頻為色情視頻，或者全部多個(gè)區(qū)間都探測(cè)完成判斷帶視頻為非色情視頻。

S9，如果待識(shí)別幀的色情概率值不大于第一概率閾值，則將非色情次數(shù)加1，并判斷非色情次數(shù)是否大于次數(shù)閾值。

S10，如果非色情次數(shù)大于次數(shù)閾值，則判斷待識(shí)別幀所在鏡頭為非色情鏡頭并將非色情鏡頭數(shù)加1，并結(jié)束當(dāng)前探測(cè)區(qū)間的探測(cè)，并對(duì)當(dāng)前探測(cè)區(qū)間的下一區(qū)間進(jìn)行探測(cè)。

如果待識(shí)別幀的色情概率值不大于第一概率閾值，則表示該待識(shí)別幀為非色情幀，則可直接對(duì)下一區(qū)間進(jìn)行探測(cè)，而不需要進(jìn)一步進(jìn)行鏡頭級(jí)識(shí)別。從而能夠控制鏡頭級(jí)識(shí)別的次數(shù)，提高了識(shí)別效率。

S11，如果非色情次數(shù)不大于次數(shù)閾值，則將待識(shí)別幀的下一圖像幀作為新的待識(shí)別幀，并重復(fù)S2-S11，直至當(dāng)前探測(cè)區(qū)間的探測(cè)結(jié)束。

由此，完成了一個(gè)區(qū)間的探測(cè)。

在本申請(qǐng)的實(shí)施例中，由于可通過多個(gè)線程對(duì)區(qū)間進(jìn)行并行探測(cè)，也就是說，每個(gè)線程各自處理一個(gè)區(qū)間序列，因此，當(dāng)一個(gè)線程探測(cè)完成一個(gè)區(qū)間后，可繼續(xù)對(duì)該線程所處理的區(qū)間序列中的下一區(qū)間進(jìn)行探測(cè)，從而使視頻的識(shí)別過程有序高效的進(jìn)行。

圖4為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別的流程圖。如圖4所示，對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別具體包括以下步驟：

S301，判斷待識(shí)別幀是否為待識(shí)別視頻的最后一幀圖像。

如果是，則鏡頭色情概率值和鏡頭色情時(shí)長(zhǎng)分別作為待識(shí)別幀所在鏡頭的色情概率值和色情時(shí)長(zhǎng)。

S302，如果否，則進(jìn)一步判斷待識(shí)別幀所在鏡頭中已識(shí)別圖像幀的數(shù)量是否大于預(yù)設(shè)數(shù)量。

S303，如果已識(shí)別圖像幀的數(shù)量大于預(yù)設(shè)數(shù)量，則對(duì)后續(xù)圖像幀進(jìn)行搜索，直至達(dá)到鏡頭邊界，并將待識(shí)別幀的下一圖像幀作為新的待識(shí)別幀。

具體地，在一次鏡頭級(jí)色情識(shí)過程中，每次對(duì)一個(gè)圖像幀進(jìn)行識(shí)別時(shí)，都將已識(shí)別圖像幀的數(shù)量加1，以實(shí)時(shí)更新已識(shí)別圖像幀的數(shù)量。當(dāng)鏡頭中已識(shí)別的圖像幀的數(shù)量大于預(yù)設(shè)數(shù)量時(shí)，可直接搜索后續(xù)圖像幀，找到鏡頭邊界，結(jié)束待識(shí)別幀所在鏡頭的識(shí)別過程。此時(shí)，可將搜索到的鏡頭邊界的下一圖像幀作為待識(shí)別幀。

S304，如果已識(shí)別圖像幀的數(shù)量不大于預(yù)設(shè)數(shù)量，則將待識(shí)別幀緩存至待檢測(cè)片段。

其中，第三時(shí)間可為15秒。

S305，檢測(cè)待識(shí)別幀是否達(dá)到鏡頭邊界檢測(cè)。

在本申請(qǐng)的一個(gè)具體實(shí)施例中，S305可具體包括：通過顏色統(tǒng)計(jì)直方圖法計(jì)算待識(shí)別 幀和待識(shí)別幀的下一圖像幀的幀差；如果該幀差為1，則判斷待識(shí)別幀達(dá)到鏡頭邊界檢測(cè)；如果幀差為0，則判斷待識(shí)別幀是未否達(dá)到鏡頭邊界檢測(cè)。

S306，如果待識(shí)別幀未達(dá)到鏡頭邊界，則判斷待檢測(cè)片段中的圖像幀的總時(shí)長(zhǎng)是否達(dá)到第三時(shí)間。

S307，如果待檢測(cè)片段中的圖像幀的總時(shí)長(zhǎng)未達(dá)到第三時(shí)間，則將待識(shí)別幀的下一幀作為新的待識(shí)別幀，并重復(fù)S303-S307，直至待檢測(cè)片段中的圖像幀的總時(shí)長(zhǎng)達(dá)到第三時(shí)間。

其中，第三時(shí)間用于控制片段的長(zhǎng)度。如果待檢測(cè)片段中的圖像幀的總時(shí)長(zhǎng)達(dá)到第三時(shí)間或者待識(shí)別幀達(dá)到鏡頭邊界，則待檢測(cè)片段中緩存的圖像幀可構(gòu)成一個(gè)片段。從而可對(duì)待檢測(cè)片段進(jìn)行片段級(jí)色情識(shí)別，以獲取待檢測(cè)片段的色情概率值和色情時(shí)長(zhǎng)。

也就是說，可在鏡頭級(jí)識(shí)別開始時(shí)生成一個(gè)空的集合作為待檢測(cè)片段，然后依次將相鄰的將圖像幀添加至待檢測(cè)片段，直至待檢測(cè)片段中圖像幀的總時(shí)長(zhǎng)達(dá)到第三時(shí)間，則該待檢測(cè)片段完成。從而可通過此方式控制片段的長(zhǎng)度，并在識(shí)別過程中動(dòng)態(tài)生成片段。

S308，如果待識(shí)別幀達(dá)到鏡頭邊界或者待檢測(cè)片段中的圖像幀的總時(shí)長(zhǎng)達(dá)到第三時(shí)間，則對(duì)待檢測(cè)片段進(jìn)行片段級(jí)色情識(shí)別，以獲取待檢測(cè)片段的色情概率值和色情時(shí)長(zhǎng)。

具體地，可通過如圖5的實(shí)施例進(jìn)一步對(duì)待檢測(cè)片段進(jìn)行片段級(jí)色情識(shí)別。

S309，將待檢測(cè)片段的色情概率值累加至當(dāng)前的鏡頭色情概率值，并將待檢測(cè)片段的色情時(shí)長(zhǎng)累加至當(dāng)前的鏡頭色情時(shí)長(zhǎng)，以分別對(duì)當(dāng)前的鏡頭色情概率值和當(dāng)前的鏡頭色情時(shí)長(zhǎng)進(jìn)行更新。

S310，如果當(dāng)前的鏡頭色情概率值大于第三概率閾值，則將鏡頭色情概率值和鏡頭色情時(shí)長(zhǎng)分別作為待識(shí)別幀所在鏡頭的色情概率值和色情時(shí)長(zhǎng)。

第三概率閾值用于對(duì)鏡頭進(jìn)行判斷，如果鏡頭的色情概率閾值大于第三概率閾值，則可判斷該鏡頭為色情鏡頭。因此，如果當(dāng)前的鏡頭色情概率值大于第三概率閾值，則可將鏡頭色情概率值和鏡頭色情時(shí)長(zhǎng)分別作為待識(shí)別幀所在鏡頭的色情概率值和色情時(shí)長(zhǎng)。

S311，如果片段總色情概率值不大于第三概率閾值，則檢測(cè)待識(shí)別幀是否達(dá)到鏡頭邊界。

S312，如果待識(shí)別幀達(dá)到鏡頭邊界，或者S301中判斷待識(shí)別幀為待識(shí)別視頻的最后一幀圖像，或者在S303中搜索到鏡頭邊界后，將鏡頭色情概率值和鏡頭色情時(shí)長(zhǎng)分別作為待識(shí)別幀所在鏡頭的色情概率值和色情時(shí)長(zhǎng)。

具體地，如果S311中判斷達(dá)到鏡頭邊界或者在S303中搜索到鏡頭邊界后，則需要返回區(qū)間級(jí)探測(cè)，以觸發(fā)下一鏡頭的鏡頭級(jí)色情識(shí)別，因此，可將得到的鏡頭色情概率值和鏡頭色情時(shí)長(zhǎng)分別作為待識(shí)別幀所在鏡頭的色情概率值和色情時(shí)長(zhǎng)。

如果S301中判斷待識(shí)別幀為待識(shí)別視頻的最后一幀圖像，則表面待識(shí)別視頻已探測(cè)結(jié)束，可將鏡頭色情概率值和鏡頭色情時(shí)長(zhǎng)分別作為待識(shí)別幀所在鏡頭的色情概率值和色情時(shí) 長(zhǎng)，以進(jìn)一步得到總色情時(shí)長(zhǎng)和累計(jì)色情概率值，并輸入到判別模型，對(duì)待識(shí)別視頻進(jìn)行識(shí)別判斷。

S313，如果待識(shí)別幀未達(dá)到鏡頭邊界，則將待識(shí)別幀的下一圖像幀作為新的待識(shí)別幀，并重復(fù)S301-S313。

由此，完成了鏡頭級(jí)色情識(shí)別的過程。

圖5為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)待檢測(cè)片段進(jìn)行片段級(jí)色情識(shí)別的流程圖。如圖5所示，對(duì)待檢測(cè)片段進(jìn)行片段級(jí)色情識(shí)別具體包括以下步驟：

S501，按照預(yù)設(shè)規(guī)則對(duì)待檢測(cè)片段中的圖像幀進(jìn)行采樣，其中，被采樣的圖像幀組成第三初始評(píng)估集合。

具體地，待檢測(cè)片段是一組時(shí)間連續(xù)的圖像幀序列，可根據(jù)預(yù)設(shè)采樣率等間隔地對(duì)該圖像幀序列進(jìn)行采樣，以得到第三初始評(píng)估集合。舉例來說，如果待檢測(cè)片段中有100個(gè)圖像幀，預(yù)設(shè)采樣率為50％，則可每?jī)筛粢粋€(gè)圖像幀采樣一次，從而從得到第三初始評(píng)估集合中的50個(gè)圖像幀。

S502，對(duì)第三初始評(píng)估集合進(jìn)行色情識(shí)別，以獲取第三初始評(píng)估集合中每個(gè)圖像幀的色情概率值。

在本申請(qǐng)的實(shí)施例中，可通過多個(gè)線程對(duì)第三初始評(píng)估集合中的圖像幀并行地進(jìn)行幀級(jí)識(shí)別，即通過上述基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)圖像幀進(jìn)行色情識(shí)別，從而得到第三初始評(píng)估集合中每個(gè)圖像幀的色情概率值。

S503，根據(jù)第三初始評(píng)估集合中每個(gè)圖像幀的色情概率值計(jì)算第三初始評(píng)估集合中的圖像幀的平均色情概率值，并確定第三初始評(píng)估集合中色情概率值最小的圖像幀。

S504，判斷第三初始評(píng)估集合中的圖像幀的平均色情概率值是否大于第四概率閾值。

S505，如果第三初始評(píng)估集合中的圖像幀的平均色情概率值大于第四概率閾值，則將第三初始評(píng)估集合中的圖像幀的平均色情概率值作為待檢測(cè)片段的色情概率值，其中，第四概率閾值大于第一概率閾值。

其中，第四概率閾值用于對(duì)單幀圖像進(jìn)行判斷，如果圖像幀的色情概率值大于第四概率閾值，則可判斷該圖像幀為色情幀。如果第三初始評(píng)估集合中的圖像幀的平均色情概率值大于第四概率閾值，則表示第三初始評(píng)估集合中的圖像幀為色情幀。此時(shí)，可結(jié)束片段級(jí)色情識(shí)別的過程，并將平均色情概率值作為待檢測(cè)片段的色情概率值。

S506，如果第三初始評(píng)估集合中的圖像幀的平均色情概率值不大于第四概率閾值，則分別計(jì)算待檢測(cè)片段中未被采樣的每個(gè)圖像幀與色情概率值最小的圖像幀的幀差，并將幀差為1的未被采樣的圖像幀添加至第三初始評(píng)估集合中，以得到第三目標(biāo)評(píng)估集合。

S507，對(duì)第三目標(biāo)評(píng)估集合進(jìn)行色情識(shí)別，以獲取第三目標(biāo)評(píng)估集合中每個(gè)圖像幀中的 色情概率值。

同樣地，可基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)第三目標(biāo)評(píng)估集合中的圖像進(jìn)行色情識(shí)別。

S508，根據(jù)第三目標(biāo)評(píng)估集合中每個(gè)圖像幀中的色情概率值計(jì)算第三目標(biāo)評(píng)估集合中圖像幀的平均色情概率值，并作為待檢測(cè)片段的色情概率值。

然后，可同樣地并行地進(jìn)行幀級(jí)識(shí)別，獲得每個(gè)圖像幀的色情概率值后進(jìn)行平均，得到第三目標(biāo)評(píng)估集合中圖像幀的平均色情概率值。二次評(píng)估和并行處理的方式保證了理想的處理速度和精度。該處理流程如圖5所示。

由于第三目標(biāo)評(píng)估集合中的圖像幀與色情概率值最小的圖像幀的幀差為1，即第三目標(biāo)評(píng)估集合中的圖像幀與色情概率值最小的圖像幀的差別較大，而色情概率值最小的圖像幀為色情圖像幀的概率較低，因此，第三目標(biāo)評(píng)估集合中的圖像幀的色情概率值更高，從而，第三目標(biāo)評(píng)估集合在很大程度上彌補(bǔ)了第三初始評(píng)估集合的采樣不足的問題，提高了對(duì)色情內(nèi)容的敏感度。

由此，完成了片段級(jí)色情識(shí)別。在片段級(jí)色情識(shí)別的過程中，通過并行幀級(jí)識(shí)別和第二評(píng)估的方式，進(jìn)一步提高了識(shí)別的速度和精度。

圖6為根據(jù)申請(qǐng)一個(gè)實(shí)施例的獲取兩個(gè)圖像幀之間的幀差的流程圖。具體地，如圖6所示，獲取兩個(gè)圖像幀之間的幀差包括以下步驟：

S601，按照預(yù)設(shè)規(guī)則將兩個(gè)圖像幀分別劃分為M個(gè)區(qū)域，并為M個(gè)區(qū)域分別進(jìn)行編號(hào)，其中，M為大于2的正整數(shù)。

舉例來說，將每個(gè)圖像幀劃分為4×4的方陣區(qū)域，此時(shí)，M＝16。其中，每個(gè)區(qū)域?qū)?yīng)的標(biāo)號(hào)分別0-15。

S602，計(jì)算兩個(gè)圖像幀中每個(gè)像素點(diǎn)的顏色值。

其中，顏色值可以是RGB(Red，Green，Blue，紅，綠，藍(lán))空間、HSV(Hue，Saturation，Value，色調(diào)，飽和度，亮度)空間、YUV(色度、亮度)空間等中的任意一種顏色空間對(duì)應(yīng)的顏色值。舉例來說，YUV空間對(duì)應(yīng)的顏色值為灰度值。

S603，根據(jù)兩個(gè)圖像幀中各個(gè)區(qū)域中像素點(diǎn)的顏色值分別計(jì)算兩個(gè)圖像幀的局部顏色統(tǒng)計(jì)直方圖。

其中，以灰度值為例，計(jì)算兩個(gè)圖像幀的局部顏色統(tǒng)計(jì)直方圖是指，對(duì)于圖像幀中的每個(gè)區(qū)域來說，各個(gè)灰度值在區(qū)域內(nèi)全部像素點(diǎn)中所占的比例的統(tǒng)計(jì)結(jié)果，其中，可通過公式(1)來表示：

H_i(y)＝Σ{x：I(x)＝y(tǒng)} (1)

其中，0≤i≤M-1表示區(qū)域的編號(hào)，0≤y≤255表示灰度值。

S604，根據(jù)兩個(gè)圖像幀的局部顏色統(tǒng)計(jì)直方圖計(jì)算兩個(gè)圖像幀的幀差。

具體地，可通過公式(2)計(jì)算兩個(gè)圖像幀的幀差f：

其中，表示兩個(gè)圖像幀中第i個(gè)區(qū)域的顏色統(tǒng)計(jì)直方圖的差，LTH表示局部閾值，GTH表示全局閾值，其中，LTH和GTH為預(yù)設(shè)的。

由此，可通過如圖6所示的實(shí)施例計(jì)算圖4所示實(shí)施例中待識(shí)別幀和待識(shí)別幀的下一圖像幀的幀差，以對(duì)鏡頭邊界進(jìn)行檢測(cè)。還可通過如圖6所示的實(shí)施例計(jì)算圖5所示實(shí)施例中待檢測(cè)片段中未被采樣的每個(gè)圖像幀與色情概率值最小的圖像幀的幀差，以進(jìn)行二次評(píng)估。

通過局部顏色直方圖的方法計(jì)算待識(shí)別幀和待識(shí)別幀的下一圖像幀的幀差，以進(jìn)行鏡頭邊界檢測(cè)，對(duì)于較大局部變化的區(qū)域能夠準(zhǔn)確地檢測(cè)為不同鏡頭，檢測(cè)精度更高，從而與深度卷積神經(jīng)網(wǎng)絡(luò)的單幀識(shí)別的配合度更高。

圖7為根據(jù)本申請(qǐng)另一個(gè)實(shí)施例的對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別的流程圖。如圖7所示，對(duì)待識(shí)別幀所在的鏡頭進(jìn)行鏡頭級(jí)色情識(shí)別具體包括以下步驟：

S701，按照預(yù)設(shè)規(guī)則對(duì)待識(shí)別幀所在的鏡頭中的圖像幀進(jìn)行采樣，其中，被采樣的圖像幀組成第二初始評(píng)估集合。

其中，可從待識(shí)別幀開始搜索到鏡頭邊界，從而確定待識(shí)別幀所在的鏡頭。

S702，對(duì)第二初始評(píng)估集合進(jìn)行色情識(shí)別，以獲取第二初始評(píng)估集合中每個(gè)圖像幀的色情概率值。

S703，根據(jù)第二初始評(píng)估集合中每個(gè)圖像幀的色情概率值計(jì)算第二初始評(píng)估集合中的圖像幀的平均色情概率值。

其中，S701-S703可參照S501-S503.

S704，判斷第二初始評(píng)估集合中的圖像幀的平均色情概率值是否大于第六概率閾值。

S705，如果第二初始評(píng)估集合中的圖像幀的平均色情概率值大于第六概率閾值，則將第二初始評(píng)估集合中的圖像幀的平均色情概率值作為待識(shí)別幀所在鏡頭的色情概率值，并將第二初始評(píng)估集合中的圖像幀的累計(jì)時(shí)長(zhǎng)作為待識(shí)別幀所在鏡頭的色情時(shí)長(zhǎng)。

S706，如果第二初始評(píng)估集合中的圖像幀的平均色情概率值不大于第六概率閾值，則確定第二初始評(píng)估集合中色情概率值最小的圖像幀。

S707，分別計(jì)算待檢測(cè)片段中未被采樣的每個(gè)圖像幀與色情概率值最小的圖像幀的幀差，并將幀差為1的未被采樣的圖像幀添加至第二初始評(píng)估集合中，以得到第二目標(biāo)評(píng)估集合。

S708，對(duì)第二目標(biāo)評(píng)估集合進(jìn)行色情識(shí)別，以獲取第二目標(biāo)評(píng)估集合中每個(gè)圖像幀中的色情概率值。

同樣地，可基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)第二目標(biāo)評(píng)估集合中的圖像進(jìn)行色情識(shí)別。

S709，根據(jù)第二目標(biāo)評(píng)估集合中每個(gè)圖像幀中的色情概率值計(jì)算第二目標(biāo)評(píng)估集合中圖像幀的平均色情概率值。

S710，如果第二目標(biāo)評(píng)估集合中圖像幀的平均色情概率值大于第六概率閾值，則將第二目標(biāo)評(píng)估集合中的圖像幀的平均色情概率值作為待識(shí)別幀所在鏡頭的色情概率值，并將第二目標(biāo)評(píng)估集合中的圖像幀的累計(jì)時(shí)長(zhǎng)作為待識(shí)別幀所在鏡頭的色情時(shí)長(zhǎng)。

圖8為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)并判斷待識(shí)別視頻是否為色情視頻的流程圖。如圖8所示，具體包括以下步驟：

S801，按照預(yù)設(shè)規(guī)則對(duì)當(dāng)前探測(cè)區(qū)間中的圖像幀進(jìn)行采樣，其中，被采樣的圖像幀組成第第一初始評(píng)估集合。

S802，對(duì)第一初始評(píng)估集合進(jìn)行色情識(shí)別，以獲取第一初始評(píng)估集合中每個(gè)圖像幀的色情概率值。

S803，根據(jù)第一初始評(píng)估集合中每個(gè)圖像幀的色情概率值計(jì)算第一初始評(píng)估集合中的圖像幀的平均色情概率值。

具體地，S801-S803可參照S501-S503。

S804，判斷第一初始評(píng)估集合中的圖像幀的平均色情概率值是否大于第五概率閾值。

S805，如果第一初始評(píng)估集合中的圖像幀的平均色情概率值大于第五概率閾值，則判斷待識(shí)別視頻為色情視頻。

S806，如果第一初始評(píng)估集合中的圖像幀的平均色情概率值不大于第五概率閾值，則確定第一始評(píng)估集合中色情概率值最小的圖像幀。

S807，分別計(jì)算當(dāng)前探測(cè)區(qū)間中未被采樣的每個(gè)圖像幀與色情概率值最小的圖像幀的幀差，并將幀差為1的未被采樣的圖像幀添加至第一初始評(píng)估集合中，以得到第一目標(biāo)評(píng)估集合。

S808，對(duì)第一目標(biāo)評(píng)估集合進(jìn)行色情識(shí)別，以獲取第一目標(biāo)評(píng)估集合中每個(gè)圖像幀中的色情概率值。

同樣地，可基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)第一目標(biāo)評(píng)估集合中的圖像進(jìn)行色情識(shí)別。

S809，根據(jù)第一目標(biāo)評(píng)估集合中每個(gè)圖像幀中的色情概率值計(jì)算第一目標(biāo)評(píng)估集合中圖像幀的平均色情概率值。

S810，如果第一目標(biāo)評(píng)估集合中圖像幀的平均色情概率值大于第五概率閾值，則判斷待 識(shí)別視頻為色情視頻，否則對(duì)下一區(qū)間進(jìn)行探測(cè)。

本申請(qǐng)實(shí)施例的視頻識(shí)別方法，可將待識(shí)別視頻劃分為多個(gè)區(qū)間，并進(jìn)行多層級(jí)探測(cè)，根據(jù)探測(cè)過程中的色情統(tǒng)計(jì)指標(biāo)判斷待識(shí)別視頻是否為色情視頻，通過多層級(jí)探測(cè)的方式，利用了相鄰圖像幀之間的視覺相似性和時(shí)間連續(xù)性，獲得的色情統(tǒng)計(jì)指標(biāo)魯棒性強(qiáng)，并且在探測(cè)過程中可根據(jù)探測(cè)的進(jìn)度更新色情統(tǒng)計(jì)指標(biāo)，從而并進(jìn)行判斷，從而可提前返回判斷結(jié)果，無需解碼和探測(cè)整個(gè)待識(shí)別視頻，降低了識(shí)別耗時(shí)，提高了識(shí)別速度和精度。

此外，本申請(qǐng)實(shí)施例的視頻識(shí)別方法還具有以下優(yōu)點(diǎn)：

1、基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻單幀進(jìn)行色情程度的判定，提高了單幀識(shí)別的精度；

2、基于級(jí)探測(cè)的識(shí)別方法，以鏡頭為處理基本單元，利用了鏡頭內(nèi)畫面視覺相似性和時(shí)間連續(xù)性，并通過采樣和差異性二次評(píng)估，降低了幀級(jí)識(shí)別誤報(bào)和漏報(bào)帶來的噪聲，也減少了冗余計(jì)算；

3、利用局部色情直方圖差進(jìn)行視頻鏡頭邊界檢測(cè)，使得同一鏡頭內(nèi)的圖像有很高的概率在基于深度神經(jīng)網(wǎng)絡(luò)的色情圖像識(shí)別模型下有相近的特征表達(dá)；

4、利用先驗(yàn)知識(shí)將待識(shí)別視頻劃分為多個(gè)具有各自處理優(yōu)先級(jí)、可并行處理的區(qū)間，在片段級(jí)色情識(shí)別過程中通過緩存幀，使得可進(jìn)行并行處理多幀，提高識(shí)別效率；

5、在每個(gè)圖像幀進(jìn)行識(shí)別之前對(duì)其進(jìn)行解碼，而不是在視頻識(shí)別之初將視頻中的全部圖像幀進(jìn)行解碼，從而在提前返回結(jié)果時(shí)，可大大減少解碼的圖像幀的數(shù)量，提高處理速度；

6、在各層級(jí)識(shí)別過程中，通過鏡頭中已識(shí)別圖像幀的數(shù)量的上限、色情時(shí)長(zhǎng)的閾值、片段時(shí)長(zhǎng)的閾值、區(qū)間非色情次數(shù)的上限來控制計(jì)算額度，使得總體識(shí)別速度可控，并與視頻時(shí)長(zhǎng)無關(guān)；

7、利用總色情時(shí)長(zhǎng)、累計(jì)色情概率值、非色情次數(shù)、鏡頭處理總數(shù)、總色情幀數(shù)、幀處理總數(shù)、待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率等為變量建立判別模型進(jìn)行色情判斷識(shí)別，提高了識(shí)別精度。

為了實(shí)現(xiàn)上述實(shí)施例，本申請(qǐng)還提出一種視頻識(shí)別裝置。

圖9為根據(jù)本申請(qǐng)一個(gè)實(shí)施例的視頻識(shí)別裝置的結(jié)構(gòu)示意圖。

如圖9所示，根據(jù)本申請(qǐng)實(shí)施例的視頻識(shí)別裝置，包括：劃分模塊10、探測(cè)模塊20和判斷模塊30。

具體地，劃分模塊10用于將待識(shí)別視頻劃分為多個(gè)區(qū)間。

在本申請(qǐng)的一個(gè)實(shí)施例中，劃分模塊10可根據(jù)待識(shí)別視頻的時(shí)長(zhǎng)將其劃分為多個(gè)區(qū)間。本申請(qǐng)對(duì)區(qū)間的劃分的規(guī)則不做限定。舉例而言，劃分模塊10可根據(jù)待識(shí)別視頻的時(shí)長(zhǎng)將待識(shí)別視頻平均劃分為等長(zhǎng)度的多個(gè)區(qū)間，或者將待識(shí)別視頻劃分為時(shí)長(zhǎng)為預(yù)設(shè)時(shí)長(zhǎng)的多個(gè)區(qū)間，當(dāng)待識(shí)別視頻的時(shí)長(zhǎng)不能整除預(yù)設(shè)時(shí)長(zhǎng)時(shí)，可將不能整除的剩余部分單獨(dú)作為一個(gè)區(qū) 間或者合并至其相鄰區(qū)間。

在本申請(qǐng)的一個(gè)實(shí)施例中，多個(gè)區(qū)間可分別具有各自的處理優(yōu)先級(jí)。該處理優(yōu)先級(jí)可在劃分區(qū)間時(shí)對(duì)每個(gè)區(qū)間分別進(jìn)行設(shè)定。處理優(yōu)先級(jí)越高，則在后續(xù)進(jìn)行多層級(jí)探測(cè)時(shí)可被優(yōu)先處理。具體地，在設(shè)定處理優(yōu)先級(jí)時(shí)，可根據(jù)歷史經(jīng)驗(yàn)進(jìn)行設(shè)定，例如，根據(jù)對(duì)大量色情視頻的分析，得知大部分色情視頻中敏感內(nèi)容大多位于視頻中后部，則可將位于待識(shí)別視頻中后部的區(qū)間的處理優(yōu)先級(jí)設(shè)置為高。

探測(cè)模塊20用于分別對(duì)多個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)，并在對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)。

其中，多層級(jí)探測(cè)是指根據(jù)視頻的多層級(jí)結(jié)構(gòu)對(duì)待識(shí)別視頻進(jìn)行探測(cè)，具體可如圖2所示。

其中，區(qū)間中鏡頭的劃分以及鏡頭中片段的劃分是在探測(cè)過程中在逐幀識(shí)別時(shí)生成的。

具體地，鏡頭的劃分是在對(duì)每一圖像幀進(jìn)行識(shí)別時(shí)計(jì)算該圖像幀與其相鄰圖像幀的幀差，如果幀差為1，則這兩個(gè)圖像幀之間即為兩個(gè)鏡頭的分隔點(diǎn)。

鏡頭中的片段的劃分是在鏡頭識(shí)別過程中，從鏡頭中的第一個(gè)圖像幀開始向后累積各個(gè)圖像幀的時(shí)長(zhǎng)，當(dāng)累計(jì)時(shí)長(zhǎng)達(dá)到設(shè)定的片段時(shí)長(zhǎng)時(shí)，則生成一個(gè)片段，并開始下一片段的生成。鏡頭中第一片段的開始是該鏡頭的初始幀，最后一個(gè)片段的結(jié)尾是該鏡頭的結(jié)束幀。

在本申請(qǐng)的一個(gè)實(shí)施例中，探測(cè)模塊對(duì)多個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)時(shí)，具體用于：將多個(gè)區(qū)間分為N個(gè)區(qū)間組，其中，N為正整數(shù)；通過N個(gè)并行線程對(duì)N個(gè)區(qū)間組分別進(jìn)行探測(cè)，其中，每個(gè)線程按照處理優(yōu)先級(jí)依次對(duì)其對(duì)應(yīng)的區(qū)間組中的區(qū)間進(jìn)行多層級(jí)探測(cè)。

應(yīng)當(dāng)理解，在本申請(qǐng)的另一個(gè)實(shí)施例中，也可無需對(duì)多個(gè)區(qū)間進(jìn)行分組，可直接通過多個(gè)并行線程按照多個(gè)區(qū)間的處理優(yōu)先級(jí)對(duì)多個(gè)區(qū)間并行探測(cè)。

由此，可通過多個(gè)并行線程按照一定的策略對(duì)多個(gè)區(qū)間進(jìn)行并多層級(jí)探測(cè)，能夠充分硬件計(jì)算資源，利用多線程技術(shù)將硬件資源轉(zhuǎn)化為速度的提升，從而提高了視頻識(shí)別效率。

具體地，探測(cè)模塊20具體用于執(zhí)行圖3所示步驟對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)，并在探測(cè)過程中獲取待識(shí)別視頻的色情統(tǒng)計(jì)指標(biāo)。在對(duì)區(qū)間進(jìn)行多層級(jí)探測(cè)過程中，可對(duì)可疑色情圖像幀所在的鏡頭進(jìn)一步進(jìn)行鏡頭級(jí)色情識(shí)別，具體過程可如圖4所示。進(jìn)一步地，在鏡頭級(jí)色情識(shí)別的過程中，可將鏡頭劃分為片段，并進(jìn)行片段級(jí)色情識(shí)別。其中，片段級(jí)色情識(shí)別過程中對(duì)片段中的多個(gè)連續(xù)圖像幀進(jìn)行采樣后并行處理，并在處理后進(jìn)行二次評(píng)估。具體方案可參照上述實(shí)施例，在此不再贅述。由此，可通過多層級(jí)探測(cè)的方式，利用了相鄰圖像幀之間的視覺相似性和時(shí)間連續(xù)性，獲得魯棒性強(qiáng)的色情統(tǒng)計(jì)指標(biāo)。

應(yīng)當(dāng)理解，在本申請(qǐng)的實(shí)施例中，探測(cè)模塊20不但可通過如圖3、圖4和圖5所示的實(shí)施例進(jìn)行區(qū)間級(jí)探測(cè)->鏡頭級(jí)探測(cè)->片段級(jí)探測(cè)->幀級(jí)探測(cè)的層級(jí)探測(cè)，還可通過圖3和 圖7所示的實(shí)施例進(jìn)行區(qū)間級(jí)探測(cè)->鏡頭級(jí)探測(cè)->幀級(jí)探測(cè)，還可通過圖8所示的實(shí)施例進(jìn)行區(qū)間級(jí)探測(cè)->幀級(jí)探測(cè)。

判斷模塊30用于在對(duì)每個(gè)區(qū)間進(jìn)行多層級(jí)探測(cè)的過程中根據(jù)色情統(tǒng)計(jì)指標(biāo)判斷待識(shí)別視頻是否為色情視頻。

在本申請(qǐng)的實(shí)施例中，色情統(tǒng)計(jì)指標(biāo)可包括總色情時(shí)長(zhǎng)、累計(jì)色情概率值、非色情次數(shù)、鏡頭處理總數(shù)、總色情幀數(shù)、幀處理總數(shù)、待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率中的一種或多種。判斷模塊30可基于預(yù)先訓(xùn)練的支持向量機(jī)判別模型對(duì)累計(jì)色情概率值、非色情次數(shù)、總色情幀數(shù)、總色情時(shí)長(zhǎng)、鏡頭處理總數(shù)、幀處理總數(shù)、待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率進(jìn)行分析，以判斷待識(shí)別視頻是否為色情視頻。

其中，累計(jì)色情概率值為在探測(cè)過程中鏡頭時(shí)長(zhǎng)不小于第一時(shí)間且色情概率值大于第二概率閾值的已識(shí)別鏡頭的鏡頭時(shí)長(zhǎng)總和，總色情時(shí)長(zhǎng)是隨著鏡頭檢測(cè)過程逐漸累計(jì)得到的。

非色情次數(shù)為在探測(cè)過程中識(shí)別到色情概率值不大于第一概率閾值的圖像幀的次數(shù)。

總色情幀數(shù)為在探測(cè)過程中識(shí)別出的色情圖像幀的總數(shù)。其中，色情圖像幀為色情概率值大于第四概率閾值的圖像幀。另外，如果一個(gè)圖像幀集合中的圖像幀的平均色情概率閾值大于第四概率閾值，則判斷該圖像幀集合中的圖像幀為色情圖像幀。

鏡頭處理總數(shù)為在探測(cè)過程中進(jìn)行鏡頭級(jí)色情識(shí)別的鏡頭總數(shù)。

幀處理總數(shù)為在探測(cè)過程中進(jìn)行色情識(shí)別的圖像幀總數(shù)。

總色情時(shí)長(zhǎng)為在探測(cè)過程中鏡頭時(shí)長(zhǎng)不小于第一時(shí)間且色情概率值大于第二概率閾值的已識(shí)別鏡頭的鏡頭時(shí)長(zhǎng)總和。

應(yīng)當(dāng)理解，上述色情統(tǒng)計(jì)指標(biāo)中的待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率為待識(shí)別視頻的固有屬性。而總色情時(shí)長(zhǎng)、累計(jì)色情概率值、非色情次數(shù)、鏡頭處理總數(shù)、總色情幀數(shù)、幀處理總數(shù)是在探測(cè)過程中隨著探測(cè)的進(jìn)行不斷變換的，則探測(cè)過程中，當(dāng)每個(gè)指標(biāo)發(fā)生更新時(shí)，即可據(jù)此判斷待識(shí)別視頻是否為色情視頻。而

在本申請(qǐng)的實(shí)施例中，可通過對(duì)大量的被人工標(biāo)記的樣本視頻(包括色情視頻和非色情視頻)進(jìn)程探測(cè)，以得到的統(tǒng)計(jì)指標(biāo)，然后根據(jù)得到的統(tǒng)計(jì)指標(biāo)進(jìn)行訓(xùn)練并支持向量機(jī)(Support Vector Machine，SVM)建立該判別模型。

本申請(qǐng)實(shí)施例的視頻識(shí)別裝置，可將待識(shí)別視頻劃分為多個(gè)區(qū)間，并進(jìn)行多層級(jí)探測(cè)，根據(jù)探測(cè)過程中的色情統(tǒng)計(jì)指標(biāo)判斷待識(shí)別視頻是否為色情視頻，通過多層級(jí)探測(cè)的方式，利用了相鄰圖像幀之間的視覺相似性和時(shí)間連續(xù)性，獲得的色情統(tǒng)計(jì)指標(biāo)魯棒性強(qiáng)，并且在探測(cè)過程中可根據(jù)探測(cè)的進(jìn)度更新色情統(tǒng)計(jì)指標(biāo)，從而并進(jìn)行判斷，從而可提前返回判斷結(jié)果，無需解碼和探測(cè)整個(gè)待識(shí)別視頻，降低了識(shí)別耗時(shí)，提高了識(shí)別速度和精度。

此外，本申請(qǐng)實(shí)施例的視頻識(shí)別裝置還具有以下優(yōu)點(diǎn)：

1、基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻單幀進(jìn)行色情程度的判定，提高了單幀識(shí)別的精度；

2、基于級(jí)探測(cè)的識(shí)別方法，以鏡頭為處理基本單元，利用了鏡頭內(nèi)畫面視覺相似性和時(shí)間連續(xù)性，并通過采樣和差異性二次評(píng)估，降低了幀級(jí)識(shí)別誤報(bào)和漏報(bào)帶來的噪聲，也減少了冗余計(jì)算；

3、利用局部色情直方圖差進(jìn)行視頻鏡頭邊界檢測(cè)，使得同一鏡頭內(nèi)的圖像有很高的概率在基于深度神經(jīng)網(wǎng)絡(luò)的色情圖像識(shí)別模型下有相近的特征表達(dá)；

4、利用先驗(yàn)知識(shí)將待識(shí)別視頻劃分為多個(gè)具有各自處理優(yōu)先級(jí)、可并行處理的區(qū)間，在片段級(jí)色情識(shí)別過程中通過緩存幀，使得可進(jìn)行并行處理多幀，提高識(shí)別效率；

5、在每個(gè)圖像幀進(jìn)行識(shí)別之前對(duì)其進(jìn)行解碼，而不是在視頻識(shí)別之初將視頻中的全部圖像幀進(jìn)行解碼，從而在提前返回結(jié)果時(shí)，可大大減少解碼的圖像幀的數(shù)量，提高處理速度；

6、在各層級(jí)識(shí)別過程中，通過鏡頭中已識(shí)別圖像幀的數(shù)量的上限、色情時(shí)長(zhǎng)的閾值、片段時(shí)長(zhǎng)的閾值、區(qū)間非色情次數(shù)的上限來控制計(jì)算額度，使得總體識(shí)別速度可控，并與視頻時(shí)長(zhǎng)無關(guān)；

7、利用總色情時(shí)長(zhǎng)、累計(jì)色情概率值、非色情次數(shù)、鏡頭處理總數(shù)、總色情幀數(shù)、幀處理總數(shù)、待識(shí)別視頻的視頻時(shí)長(zhǎng)和幀率等為變量建立判別模型進(jìn)行色情判斷識(shí)別，提高了識(shí)別精度。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本申請(qǐng)的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本申請(qǐng)的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言，"計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲(chǔ)、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下：具有一個(gè)或多個(gè)布線的電連接部(電子裝置)，便攜式計(jì)算機(jī)盤盒(磁裝置)，隨機(jī)存取存儲(chǔ)器(RAM)，只讀存儲(chǔ)器(ROM)，可擦除可編輯只讀存儲(chǔ)器(EPROM或閃速存儲(chǔ)器)，光纖裝置，以及便攜式光盤只讀存儲(chǔ)器(CDROM)。另外，計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因?yàn)榭梢岳缤ㄟ^對(duì)紙或其他介質(zhì)進(jìn)行光學(xué)掃描，接著進(jìn)行編輯、解譯或必要時(shí)以其 他合適方式進(jìn)行處理來以電子方式獲得所述程序，然后將其存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。

應(yīng)當(dāng)理解，本申請(qǐng)的各部分可以用硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實(shí)現(xiàn)。例如，如果用硬件來實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來實(shí)現(xiàn)：具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場(chǎng)可編程門陣列(FPGA)等。

本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。

此外，在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。

上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。

在本說明書的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本申請(qǐng)的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本申請(qǐng)的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本申請(qǐng)的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本申請(qǐng)的范圍由權(quán)利要求及其等同限定。