两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

視頻檢索方法和裝置與流程

文檔序號(hào):12363764閱讀:191來源:國知局
視頻檢索方法和裝置與流程
本申請(qǐng)涉及視頻檢索
技術(shù)領(lǐng)域
,特別是涉及一種視頻檢索方法和裝置。
背景技術(shù)
:隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展,互聯(lián)網(wǎng)上以視頻為代表的多媒體數(shù)據(jù)量急劇增加,越來越多的人通過在搜索引擎上輸入視頻查詢信息來檢索所需的視頻。然而,要實(shí)現(xiàn)快速、準(zhǔn)確的視頻檢索極具挑戰(zhàn)。基于視頻的語義概念檢測的檢索方法是視頻檢索常用的方法之一,該方法通常借助機(jī)器學(xué)習(xí)手段實(shí)現(xiàn)視頻底層特征到簡單語義概念之間的映射,比如采集某個(gè)語義概念的正、負(fù)樣例,提取底層視覺特征,訓(xùn)練一個(gè)二分類的分類模型,用作簡單語義概念檢測器,基于該簡單語義概念檢測器的視頻概念檢測結(jié)果并利用檢測到的簡單語義概念對(duì)視頻內(nèi)容進(jìn)行索引,然后將給定的視頻查詢信息映射到一組簡單語義概念,即“視頻查詢信息—簡單語義概念”映射,之后再對(duì)這些簡單語義概念的檢測結(jié)果進(jìn)行組合以返回查詢結(jié)果,從而實(shí)現(xiàn)基于語義概念的視頻檢索。進(jìn)一步的,也可采用上述方法將查詢映射到的多個(gè)簡單語義概念組合成一個(gè)語義概念群,基于語義概念群對(duì)應(yīng)的語義概念群分類檢測模型進(jìn)行視頻檢索。技術(shù)實(shí)現(xiàn)要素:在下文中給出了關(guān)于本申請(qǐng)的簡要概述,以便提供關(guān)于本申請(qǐng)的某些方面的基本理解。應(yīng)當(dāng)理解,這個(gè)概述并不是關(guān)于本申請(qǐng)的窮舉性概述。它并不是意圖確定本申請(qǐng)的關(guān)鍵或重要部分,也不是意圖限 定本申請(qǐng)的范圍。其目的僅僅是以簡化的形式給出某些概念,以此作為稍后論述的更詳細(xì)描述的前序。本申請(qǐng)?zhí)峁┮环N視頻檢索方法和裝置。一方面,本申請(qǐng)實(shí)施例提供了一種視頻檢索方法,包括:根據(jù)視頻查詢信息確定語義概念群序列,所述語義概念群序列包括:至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息,所述至少二個(gè)語義概念群中每個(gè)語義概念群包括至少一個(gè)簡單語義概念;至少根據(jù)所述語義概念群序列檢索視頻。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,根據(jù)所述視頻查詢信息確定所述至少二個(gè)簡單語義概念中不同簡單語義概念之間的時(shí)序信息,包括:對(duì)所述視頻查詢信息包括的不同分句分別進(jìn)行詞性統(tǒng)計(jì)分析;根據(jù)詞性統(tǒng)計(jì)分析結(jié)果確定所述至少二個(gè)簡單語義概念中不同簡單語義概念的時(shí)序信息。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,至少根據(jù)所述語義概念群序列檢索視頻,包括:至少根據(jù)所述語義概念群序列確定視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,以得到檢索結(jié)果。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,至少根據(jù)所述語義概念群序列確定視頻庫包括的任一視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,包括:根據(jù)所述視頻庫中的任一視頻包括的關(guān)鍵幀序列中各關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息、以及所述語義概念群序列,確定所述任一視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,確定所 述任一視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性之前,還包括:確定所述任一視頻的至少二個(gè)相鄰的關(guān)鍵幀為一關(guān)鍵幀序列。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,至少根據(jù)所述語義概念群序列確定視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,包括:至少根據(jù)所述語義概念群序列采用啟發(fā)式法在所述視頻庫包括的多個(gè)視頻中確定第一訓(xùn)練樣例集;根據(jù)所述第一訓(xùn)練樣例集構(gòu)建與所述視頻查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型;確定所述視頻庫包括的多個(gè)視頻各自對(duì)應(yīng)的第二隱馬爾科夫模型分別與所述第一隱馬爾科夫模型之間的概率分布距離,以得到所述視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,所述概率分布距離包括:KL散度。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,確定所述視頻庫包括的任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型與所述第一隱馬爾科夫模型之間的概率分布距離之前,還包括:根據(jù)所述視頻庫中的任一視頻包括的多個(gè)關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、以及所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息,確定所述任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,至少根據(jù)所述語義概念群序列檢索視頻之前,還包括:確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的多個(gè)語義概念群的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,至少根據(jù)所述語義概念群序列檢索視頻之前,還包括:確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,所述確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的任一語義概念群的語義相似性,包括:采用與所述語義概念群集包括的任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一語義概念群的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,采用與所述語義概念群集包括的任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測之前,還包括:從至少一種數(shù)據(jù)源的多個(gè)視頻包括的各關(guān)鍵幀各自分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性,確定已標(biāo)注的多個(gè)第二訓(xùn)練樣例;從所述視頻庫包括的多個(gè)視頻中確定未標(biāo)注的多個(gè)第二訓(xùn)練樣例;根據(jù)各所述第二訓(xùn)練樣例分別確定所述任一語義概念群的語義概念群分類檢測模型。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,采用與所述語義概念群集包括的任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的任一視頻的多個(gè)關(guān)鍵幀進(jìn)行檢測之后,還包括:根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一語義概念群的語義相似性,對(duì)所述多個(gè)相鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的任一簡單語義概念的語義相似性,包括:采用與所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一簡單語義概念的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,采用與 所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的任一視頻的多個(gè)關(guān)鍵幀進(jìn)行檢測之前,還包括:從至少一種數(shù)據(jù)源獲取所述任一簡單語義概念的多個(gè)第三訓(xùn)練樣例;對(duì)所述多個(gè)第三訓(xùn)練樣例的至少部分進(jìn)行標(biāo)注;根據(jù)至少部分完成標(biāo)注的所述多個(gè)第三訓(xùn)練樣例確定所述任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型。結(jié)合本申請(qǐng)實(shí)施例提供的任一種視頻檢索方法,可選的,采用與所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的任一視頻的多個(gè)關(guān)鍵幀進(jìn)行檢測之后,還包括:根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一簡單語義概念的語義相似性,對(duì)所述多個(gè)相鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理。另一方面,本申請(qǐng)實(shí)施例還提供了一種視頻檢索裝置,包括:一語義概念群序列確定模塊,用于根據(jù)視頻查詢信息確定語義概念群序列,所述語義概念群序列包括:至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息,所述至少二個(gè)語義概念群中每個(gè)語義概念群包括至少一個(gè)簡單語義概念;一視頻檢索模塊,用于至少根據(jù)所述語義概念群序列檢索視頻。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述簡單語義信息確定子模塊包括:一詞性統(tǒng)計(jì)分析單元,用于對(duì)所述視頻查詢信息包括的不同分句分別進(jìn)行詞性統(tǒng)計(jì)分析;一第二時(shí)序信息確定單元,用于根據(jù)詞性統(tǒng)計(jì)分析結(jié)果確定所述至少二個(gè)簡單語義概念中不同簡單語義概念的時(shí)序信息。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述視頻檢索模塊包括:一視頻檢索子模塊,用于至少根據(jù)所述語義概念群序列確定視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,以得到檢索結(jié)果。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述視頻檢索子模塊包括:一第一視頻檢索單元,用于根據(jù)所述視頻庫中的任一視頻包括的關(guān)鍵幀序列中各關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息、以及所述語義概念群序列,確定所述任一視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述視頻檢索子模塊還包括:一關(guān)鍵幀序列確定單元,用于在所述第一視頻檢索單元確定所述任一視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性之前,確定所述任一視頻的至少二個(gè)相鄰的關(guān)鍵幀為一關(guān)鍵幀序列。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述視頻檢索子模塊包括:一第一訓(xùn)練樣例集確定單元,用于至少根據(jù)所述語義概念群序列采用啟發(fā)式法在所述視頻庫包括的多個(gè)視頻中確定第一訓(xùn)練樣例集;一第一隱馬爾科夫模型構(gòu)建單元,用于根據(jù)所述第一訓(xùn)練樣例集構(gòu)建與所述視頻查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型;一概率分布距離確定單元,用于確定所述視頻庫包括的多個(gè)視頻各自對(duì)應(yīng)的第二隱馬爾科夫模型分別與所述第一隱馬爾科夫模型之間的概率分布距離,以得到所述視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述概率分布距離包括:KL散度。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述視頻檢索子模塊還包括:一第二隱馬爾科夫模型確定單元,用于在所述概率分布距離確定單元確定所述視頻庫包括的任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型與所述第一隱馬爾科夫模型之間的概率分布距離之 前,根據(jù)所述視頻庫中的任一視頻包括的多個(gè)關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、以及所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息,確定所述任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述裝置還包括:一語義概念群集信息確定模塊,用于確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的多個(gè)語義概念群的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述裝置還包括:一簡單語義概念集信息確定模塊,用于確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述語義概念群集信息確定模塊包括:一語義概念群集信息確定子模塊,用于在確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的任一語義概念群的語義相似性期間,采用與所述語義概念群集包括的任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一語義概念群的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述語義概念群集信息確定模塊還包括:一第二訓(xùn)練樣例確定子模塊,用于從至少一種數(shù)據(jù)源的多個(gè)視頻包括的各關(guān)鍵幀各自分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性,確定已標(biāo)注的多個(gè)第二訓(xùn)練樣例;以及從所述視頻庫包括的多個(gè)視頻中確定未標(biāo)注的多個(gè)第二訓(xùn)練樣例;一第一檢測模型確定子模塊,用于根據(jù)各所述第二訓(xùn)練樣例分別確定所述任一語義概念群的語義概念群分類檢測模型。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述語義概念群集信息確定模塊還包括:一第一關(guān)鍵幀關(guān)聯(lián)處理子模塊,用 于根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一語義概念群的語義相似性,對(duì)所述多個(gè)相鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述簡單語義概念集信息確定模塊包括:一簡單語義概念集信息確定子模塊,用于在確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的任一簡單語義概念的語義相似性期間,采用與所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一簡單語義概念的語義相似性。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述簡單語義概念集信息確定子模塊包括:一第三訓(xùn)練樣例獲取單元,用于從至少一種數(shù)據(jù)源獲取所述任一簡單語義概念的多個(gè)第三訓(xùn)練樣例;一第三訓(xùn)練樣例標(biāo)注單元,用于對(duì)所述多個(gè)第三訓(xùn)練樣例的至少部分進(jìn)行標(biāo)注;一第二檢測模型確定單元,用于根據(jù)至少部分完成標(biāo)注的所述多個(gè)第三訓(xùn)練樣例確定所述任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型。結(jié)合本申請(qǐng)實(shí)施例提供的另一種視頻檢索裝置,可選的,所述簡單語義概念集信息確定模塊還包括:一第二關(guān)鍵幀關(guān)聯(lián)處理子模塊,用于根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一簡單語義概念的語義相似性,對(duì)所述多個(gè)相鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理。本申請(qǐng)實(shí)施例提供的技術(shù)方案根據(jù)所述視頻查詢信息確定所述語義概念群序列,至少根據(jù)所述語義概念群序列檢索視頻,由此基于檢索得到反映視頻與所述視頻查詢信息包括語義和時(shí)序在內(nèi)的整體相關(guān)程度的檢索結(jié)果。也就是說,本申請(qǐng)實(shí)施例提供的技術(shù)方案將視頻查詢信息表示的多種語義以及多種語義之間的時(shí)序信息共同作為視頻檢索的依據(jù),時(shí)序信息在一定程度上體現(xiàn)了檢索對(duì)象的場景變換等信息,使得得到的檢索結(jié)果體現(xiàn)了視頻與所述視頻查詢信息之間包 括語義和時(shí)序在內(nèi)的整體相關(guān)程度,有利于提高檢索結(jié)果的準(zhǔn)確性,更好滿足視頻復(fù)雜查詢的實(shí)際應(yīng)用需求。通過以下結(jié)合附圖對(duì)本申請(qǐng)的可選實(shí)施例的詳細(xì)說明,本申請(qǐng)的這些以及其它的優(yōu)點(diǎn)將更加明顯。附圖說明本申請(qǐng)可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解,其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分,而且用來進(jìn)一步舉例說明本申請(qǐng)的可選實(shí)施例和解釋本申請(qǐng)的原理和優(yōu)點(diǎn)。在附圖中:圖1為本申請(qǐng)實(shí)施例提供的一種視頻檢索方法的流程圖;圖2為本申請(qǐng)實(shí)施例提供的第一種視頻檢索裝置的邏輯框圖;圖3為本申請(qǐng)實(shí)施例提供的一種語義概念群序列確定模塊的邏輯框圖;圖4為本申請(qǐng)實(shí)施例提供的一種視頻檢索模塊的邏輯框圖;圖5為本申請(qǐng)實(shí)施例提供的第二種視頻檢索裝置的邏輯框圖;圖6為本申請(qǐng)實(shí)施例提供的第三種視頻檢索裝置的邏輯框圖。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,附圖中的元件僅僅是為了簡單和清楚起見而示出的,而且不一定是按比例繪制的。例如,附圖中某些元件的尺寸可能相對(duì)于其他元件放大了,以便有助于提高對(duì)本申請(qǐng)實(shí)施例的理解。具體實(shí)施方式在下文中將結(jié)合附圖對(duì)本申請(qǐng)的示范性實(shí)施例進(jìn)行詳細(xì)描述。為了清楚和簡明起見,在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而,應(yīng)該了解,在開發(fā)任何這種實(shí)際實(shí)施例的過程中必須做出很多特定于實(shí)施方式的決定,以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo),例如,符合 與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件,并且這些限制條件可能會(huì)隨著實(shí)施方式的不同而有所改變。此外,還應(yīng)該了解,雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的,但對(duì)得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說,這種開發(fā)工作僅僅是例行的任務(wù)。在此,還需要說明的一點(diǎn)是,為了避免因不必要的細(xì)節(jié)而模糊了本申請(qǐng),在附圖和說明中僅僅描述了與根據(jù)本申請(qǐng)的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟,而省略了對(duì)與本申請(qǐng)關(guān)系不大的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。下面結(jié)合附圖(若干附圖中相同的標(biāo)號(hào)表示相同的元素)和實(shí)施例,對(duì)本申請(qǐng)的具體實(shí)施方式作進(jìn)一步詳細(xì)說明。以下實(shí)施例用于說明本申請(qǐng),但不用來限制本申請(qǐng)的范圍。本領(lǐng)域技術(shù)人員可以理解,本申請(qǐng)中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等,既不代表任何特定技術(shù)含義,也不表示它們之間的必然邏輯順序。圖1為本申請(qǐng)實(shí)施例提供的一種視頻檢索方法的流程圖。本申請(qǐng)實(shí)施例提供的視頻檢索方法的執(zhí)行主體為某一視頻檢索裝置,該視頻檢索裝置的設(shè)備表現(xiàn)形式不受限制,例如所述視頻檢索裝置可為某一獨(dú)立的設(shè)備;或者,所述視頻檢索裝置可作為某一功能模塊集成在某一電子設(shè)備中,所述電子設(shè)備可包括但不限于智能終端、搜索引擎設(shè)備、服務(wù)器等等,本申請(qǐng)實(shí)施例對(duì)此并不限制。具體而言,如圖1所示,本申請(qǐng)實(shí)施例提供的一種視頻檢索方法包括:S101:根據(jù)視頻查詢信息確定語義概念群序列,所述語義概念群序列包括:至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息,所述至少二個(gè)語義概念群中每個(gè)語義概念群包括至少一個(gè)簡單語義概念。S102:至少根據(jù)所述語義概念群序列檢索視頻。本申請(qǐng)實(shí)施例提供的技術(shù)方案可能用到的術(shù)語中:(1)簡單語義概念集包括多個(gè)簡單語義概念,簡單語義概念集中的每個(gè)簡單語義概念相當(dāng)于一傳統(tǒng)的基本語義概念,例如,詞網(wǎng)(WordNet)可作為簡單語義概念集的可選表現(xiàn)形式,該詞網(wǎng)包括的各單詞可相當(dāng)于各簡單語義概念;簡單語義概念集中的各簡單語義概念分別存在各自對(duì)應(yīng)的簡單語義概念分類檢測模型,基于各簡單語義概念分類檢測模型可對(duì)視頻進(jìn)行檢測,以確定各簡單語義概念分別與該視頻(如視頻的各關(guān)鍵幀)的語義相似性。(2)語義概念群集包括多個(gè)語義概念群,語義概念群集中每個(gè)語義概念群包括至少二個(gè)簡單語義概念,也就是說,二個(gè)或二個(gè)以上的簡單語義概念組合對(duì)應(yīng)的語義相當(dāng)于語義概念群集中的某個(gè)語義概念群對(duì)應(yīng)的語義;語義概念群集中的各語義概念群分別存在各自對(duì)應(yīng)的語義概念群分類檢測模型,基于各語義概念群分類檢測模型可對(duì)視頻進(jìn)行檢測,以確定各語義概念群分別與該視頻(如視頻的各關(guān)鍵幀)的語義相似性。(3)所述語義概念群序列根據(jù)視頻查詢信息確定,確定的所述語義概念序列包括:至少二個(gè)語義概念群以及所述至少二個(gè)語義概念群中不同語義概念群之間的時(shí)序信息,所述至少二個(gè)語義概念群中每個(gè)語義概念群包括至少一個(gè)簡單語義概念,也就是說,所述語義概念序列中的語義概念群存在包括一個(gè)簡單語義概念的情形以及包括至少二個(gè)簡單語義概念的情形,相當(dāng)于可將所述語義概念群序列中的每個(gè)語義概念群和簡單語義概念集中的簡單語義概念或者語義概念群集中的語義概念群建立關(guān)聯(lián),并體現(xiàn)了所述至少二個(gè)語義概念群中不同語義概念群之間的時(shí)序信息。(4)視頻是視頻查詢信息的對(duì)象,在本申請(qǐng)中“視頻”的含義應(yīng)作廣義理解,是鏡頭、場景和短視頻等的統(tǒng)稱,也就是說,視頻涉及到的時(shí)間跨度可大可小,包括的鏡頭或場景的數(shù)量也不受限制,一視頻中可能局部和視頻查詢信息相同,也可能整體和視頻查詢信息相 關(guān)等等。在實(shí)際應(yīng)用中,可采用但不限于鏡頭、場景之一或相結(jié)合等方案,對(duì)視頻的整體或局部進(jìn)行處理,例如:對(duì)于較短的視頻,不進(jìn)行分割;對(duì)于較長的視頻,進(jìn)行鏡頭檢測,之后再進(jìn)行聚類得到場景;對(duì)于視頻再次進(jìn)行子鏡頭分割的情形,可從每個(gè)子鏡頭中抽取關(guān)鍵幀。每個(gè)視頻可用至少一關(guān)鍵幀或至少一關(guān)鍵幀序列表示。本申請(qǐng)發(fā)明人在實(shí)踐本申請(qǐng)實(shí)施例的過程中發(fā)現(xiàn),基于語義進(jìn)行視頻檢索,通常是將各個(gè)簡單語義概念單獨(dú)進(jìn)行考慮進(jìn)行語義相似性檢索。對(duì)于較長的視頻查詢信息,可從中提取出多個(gè)簡單語義概念,并將該多個(gè)簡單語義概念作為一個(gè)語義概念群進(jìn)行視頻檢索。上述方法在視頻查詢信息較不復(fù)雜的情形下可獲得較好的檢索結(jié)果,但如果視頻查詢信息較復(fù)雜,例如視頻查詢信息包括場景變化等情形,如“一個(gè)男人走出車,走進(jìn)銀行”等復(fù)雜的視頻查詢信息,如果獨(dú)立考慮各簡單語義概念或語義概念群,檢索結(jié)果欠佳。為了支持復(fù)雜查詢,本申請(qǐng)實(shí)施例提供的技術(shù)方案根據(jù)所述視頻查詢信息確定所述語義概念群序列,至少根據(jù)所述語義概念群序列檢索視頻,由此基于檢索得到反映視頻與所述視頻查詢信息之間包括語義和時(shí)序在內(nèi)的整體相關(guān)程度。也就是說,本申請(qǐng)實(shí)施例提供的技術(shù)方案將視頻查詢信息表示的多種語義以及多種語義之間的時(shí)序信息共同作為視頻檢索的依據(jù),時(shí)序信息在一定程度上體現(xiàn)了檢索對(duì)象的場景變換等信息,使得得到的檢索結(jié)果體現(xiàn)了視頻與所述視頻查詢信息之間包括語義和時(shí)序在內(nèi)的整體相關(guān)程度,有利于提高檢索結(jié)果的準(zhǔn)確性,更好滿足視頻復(fù)雜查詢的實(shí)際應(yīng)用需求。所述視頻查詢信息可為用戶在線輸入的某一查詢式,或者,預(yù)先設(shè)置的某一查詢信息等。通過對(duì)所述視頻查詢信息的關(guān)鍵詞、詞性、語法、分句等至少之一的分析,可確定與所述視頻查詢信息對(duì)應(yīng)的語義概念群序列,所述語義概念群序列的具體確定方法非常靈活,本申請(qǐng)實(shí)施例對(duì)此并不限制??蛇x的,所述語義概念群序列的確定方法包括:根據(jù)所述視頻查詢信息確定至少二個(gè)簡單語義概念及其中不同簡單語義概念之間的時(shí)序信息;確定所述至少二個(gè)語義概念群,其中,所述至少二個(gè)語義概念群中同一語義概念群包括的簡單語義概念對(duì)應(yīng)的時(shí)序信息相同、不同語義概念群中包括的簡單語義概念對(duì)應(yīng)的時(shí)序信息不同;根據(jù)所述至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息確定所述語義概念群序列。該方案相當(dāng)于從所述視頻查詢信息中確定簡單語義概念及其相應(yīng)的時(shí)序信息,并根據(jù)時(shí)序信息對(duì)確定的簡單語義概念群進(jìn)行組合為語義概念群,這樣就可得到所述至少二個(gè)語義概念群及其中不同語義概念群對(duì)應(yīng)的時(shí)序信息,也即得到所述語義概念群序列,采用該語義概念群序列進(jìn)行視頻檢索,有利于建立所述視頻查詢信息的高層語義和視頻內(nèi)容的底層信息之間的關(guān)聯(lián),使得檢索結(jié)果可反映視頻和所述視頻查詢信息的包括語義和時(shí)序在內(nèi)的整體相關(guān)程度,由此提高檢索結(jié)果的準(zhǔn)確性??蛇x的,根據(jù)所述視頻查詢信息確定所述至少二個(gè)簡單語義概念,包括:提取所述視頻查詢信息的至少二個(gè)關(guān)鍵詞;至少根據(jù)所述至少二個(gè)關(guān)鍵詞,分別確定所述視頻查詢信息與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性;確定所述簡單語義概念集中語義相似性滿足預(yù)定條件的所述至少二個(gè)簡單語義概念。該方案可有效提取所述視頻查詢信息中的語義概念??筛鶕?jù)實(shí)際檢索的需要將所述視頻查詢信息中的實(shí)詞和/或虛詞作為關(guān)鍵詞,所述實(shí)詞可包括但不限于名詞、動(dòng)詞、形容詞、代詞、數(shù)量詞等,所述虛詞可包括但不限于介詞、連詞等。由于實(shí)詞具有實(shí)在的意義,將視頻查詢信息中的實(shí)詞提取出來作為關(guān)鍵詞,可更好表示所述視頻查詢信息的語義。在提取所述視頻查詢信息的所述至少二個(gè)關(guān)鍵詞之后,可采用但不限于現(xiàn)有的集成語義本體的匹配方法,將視頻查詢信息Q中抽取的每個(gè)關(guān)鍵詞與簡單語義概念集Ω中的各簡單語義概念分別關(guān)聯(lián)到詞網(wǎng)(WordNet),分別 計(jì)算視頻查詢信息Q中抽取的每個(gè)關(guān)鍵詞與簡單語義概念集Ω中的各簡單語義概念之間的距離(如WordNetdistance或者Googledistance),根據(jù)距離確定視頻查詢信息Q分別與簡單語義概念集Ω中的各簡單語義概念的語義相似性;之后可根據(jù)預(yù)定條件在簡單語義概念集Ω確定至少二個(gè)簡單語義概念,所述預(yù)定條件可根據(jù)實(shí)際需要靈活確定,如所述預(yù)定條件可包括但不限于語義相似性的閾值ζ,將語義相似性大于該閾值的簡單語義概念抽取出來以作為語義概念群確定的基礎(chǔ),以視頻查詢信息為“一名男子走出車,走進(jìn)銀行”為例,可提取“男子”、“車”、“銀行”三個(gè)關(guān)鍵詞,根據(jù)該三個(gè)關(guān)鍵詞確定簡單語義概念集中與視頻查詢信息的語義相似性較大的m個(gè)簡單語義概念<C1,C2,…,Cm>,其中,所述關(guān)鍵詞和簡單語義概念可能相同也可能是存在關(guān)聯(lián)的相應(yīng)關(guān)系,可以理解,二者可以是一一對(duì)應(yīng)的,但并非要求必須是一一對(duì)應(yīng)的。實(shí)際應(yīng)用中,如果所述視頻查詢信息包括明顯的時(shí)序信息,該情形提取時(shí)序信息較為簡單;如果所述視頻查詢信息未包括明顯的時(shí)序信息,則需要通過對(duì)所述視頻查詢信息本身進(jìn)行詞、詞性、語法等分析,以得到所述視頻查詢信息隱含的時(shí)序信息。可選的,根據(jù)所述視頻查詢信息確定所述至少二個(gè)簡單語義概念中不同簡單語義概念之間的時(shí)序信息,包括:分析所述視頻查詢信息包括的連詞;根據(jù)所述連詞的分析結(jié)果確定所述至少二個(gè)簡單語義概念中不同簡單語義概念的時(shí)序信息。連詞是用來連接詞與詞、詞組與詞組或句子與句子、表示并列、承接等某種邏輯關(guān)系的虛詞。如果所述視頻查詢信息中包括有連詞,可對(duì)連詞表示的邏輯關(guān)系進(jìn)行分析,以確定該連詞表示如并列、承接等邏輯關(guān)系,這樣結(jié)合所述至少二個(gè)簡單語義概念各自對(duì)應(yīng)的關(guān)鍵詞在所述視頻查詢信息中的語序,即可確定所述至少二個(gè)簡單語義概念中不同簡單語義概念的時(shí)序信息,以視頻查詢信息為“一名男子走出車然后走進(jìn)銀行”為例,可確定出的 簡單概念包括“男子”、“車”、“銀行”,基于連詞“然后”進(jìn)行時(shí)序信息的分析,可將對(duì)應(yīng)相同時(shí)序信息的簡單語義概念聚合為同一語義概念群、將對(duì)應(yīng)不同時(shí)序信息的簡單語義概念聚合為不同語義概念群,得到的一語義概念序列可表示為“<男子,車>,<銀行>”。該方案簡單易實(shí)現(xiàn),分析結(jié)果的準(zhǔn)確性高。可選的,根據(jù)所述視頻查詢信息確定所述至少二個(gè)簡單語義概念中不同簡單語義概念之間的時(shí)序信息,包括:對(duì)所述視頻查詢信息包括的不同分句分別進(jìn)行詞性統(tǒng)計(jì)分析;根據(jù)詞性統(tǒng)計(jì)分析結(jié)果確定所述至少二個(gè)簡單語義概念中不同簡單語義概念的時(shí)序信息。例如,可從視頻查詢信息包括的每一分句提取詞性直方圖等特征,利用統(tǒng)計(jì)學(xué)習(xí)等方法建立一分類器,判斷所述視頻查詢信息不同分句之間是否存在時(shí)序關(guān)系,如果存在,則根據(jù)時(shí)序關(guān)系將確定出的所述至少二個(gè)簡單語義概念中,對(duì)應(yīng)相同時(shí)序信息的簡單語義概念聚合為同一語義概念群、將對(duì)應(yīng)不同時(shí)序信息的簡單語義概念聚合為不同語義概念群,進(jìn)而得到所述語義概念序列。該方案可有效提取視頻查詢信息中隱含的時(shí)序信息。獲取到與所述視頻查詢信息對(duì)應(yīng)的語義概念群序列之后,可至少根據(jù)所述語義概念群序列檢索視頻,例如,可至少根據(jù)所述語義概念群序列確定視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,以得到檢索結(jié)果。視頻庫包括多個(gè)視頻。每個(gè)視頻與視頻查詢信息的語義相似性,主要是從語義概念群自身匹配的角度,確定視頻的關(guān)鍵幀對(duì)應(yīng)的語義概念與視頻查詢信息的相關(guān)程度;每個(gè)視頻與視頻查詢信息的時(shí)序相關(guān)性,主要是從不同語義概念群之間的時(shí)序匹配的角度,確定視頻的關(guān)鍵幀序列中不同關(guān)鍵幀分別對(duì)應(yīng)的語義概念之間時(shí)序關(guān)系與視頻查詢信息的相關(guān)程度。例如,以視頻查詢信息為“一名男子走出車,走進(jìn)銀行”為例:可是從視頻的關(guān)鍵幀對(duì)應(yīng)的語義概念與語義概念群“<男子,車>”或“<銀行>”匹配 的角度,反映視頻與視頻查詢信息的語義相關(guān)性;可從視頻的關(guān)鍵幀序列中不同關(guān)鍵幀分別對(duì)應(yīng)與語義概念出現(xiàn)的順序與語義概念群序列中不同語義概念群的時(shí)序“<男子,車>,<銀行>”匹配的角度,反映視頻與視頻查詢信息的時(shí)序相關(guān)性??梢?,該方案在對(duì)視頻庫進(jìn)行視頻檢索期間,是將視頻查詢信息表示的多種語義以及多種語義之間的時(shí)序信息共同作為視頻檢索的依據(jù),使得得到的檢索結(jié)果不僅體現(xiàn)了視頻與所述視頻查詢信息的語義相似性,還體現(xiàn)了視頻與所述視頻查詢信息的時(shí)序相似性,也即體現(xiàn)了視頻與視頻查詢信息之間包括語義和時(shí)序在內(nèi)的整體相關(guān)程度,有利于提高檢索結(jié)果的準(zhǔn)確性,更好滿足視頻復(fù)雜查詢的實(shí)際應(yīng)用需求。本申請(qǐng)實(shí)施例提供的技術(shù)方案從語義和時(shí)序二種維度確定檢索結(jié)果,其具體檢索的實(shí)現(xiàn)手段非常靈活??蛇x的,可根據(jù)所述視頻庫中的任一視頻包括的關(guān)鍵幀序列中各關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息、以及所述語義概念群序列,確定所述任一視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性。視頻庫中每個(gè)視頻可表示為至少一個(gè)關(guān)鍵幀或者至少一個(gè)關(guān)鍵幀序列,每個(gè)視頻的關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性可預(yù)先獲取,每個(gè)視頻不同關(guān)鍵幀之間的時(shí)序信息已知,結(jié)合上述信息可確定每個(gè)視頻分別與所述語義概念群序列包括的至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息的相關(guān)性,進(jìn)而得到每個(gè)視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性。例如采用統(tǒng)計(jì)學(xué)習(xí)的方法,將視頻包括的關(guān)鍵幀序列中各關(guān)鍵幀分別對(duì)應(yīng)的簡單語義概念或語義概念群,分別與所述語義概念群序列包括的至少二個(gè)語義概念群進(jìn)行比較,并且根據(jù)不同關(guān)鍵幀之間的時(shí)序信息確定視頻中相應(yīng)關(guān)鍵幀各自對(duì)應(yīng)的簡單語 義概念或語義概念群之間的時(shí)序信息,將該時(shí)序信息與所述語義概念群序列包括的所述至少二個(gè)語義概念群中不同語義概念群之間的時(shí)序信息進(jìn)行比較,根據(jù)各種比較結(jié)果的統(tǒng)計(jì)值或加權(quán)統(tǒng)計(jì)值,得到每個(gè)視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性。該方案將視頻庫中的視頻與簡單語義概念集中的簡單語義概念和/或語義概念群中的語義概念群的語義相似性,作為視頻檢索的中間特征,并結(jié)合時(shí)序信息進(jìn)行檢索,使得視頻不同關(guān)鍵幀對(duì)應(yīng)的簡單語義概念或語義概念群之間建立關(guān)聯(lián),由此縮小視頻的底層特征和視頻查詢信息的高層語義之間的語義鴻溝,提高視頻檢索結(jié)果的準(zhǔn)確性。進(jìn)一步可選的,視頻檢索期間,可確定所述任一視頻的至少二個(gè)相鄰的關(guān)鍵幀為一關(guān)鍵幀序列,該方案相當(dāng)于采用滑動(dòng)窗口的統(tǒng)計(jì)學(xué)習(xí)方式,如基于滑動(dòng)窗口在視頻中確定一關(guān)鍵幀序列,基于該關(guān)鍵幀序列與所述語義概念群序列進(jìn)行相應(yīng)比較,比較完成之后,可將滑動(dòng)窗口后移以確定另一關(guān)鍵幀序列,然后再基于該關(guān)鍵幀序列與所述語義概念群序列進(jìn)行相應(yīng)比較,綜合各次比較結(jié)果可得每個(gè)視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性。其中,相鄰兩次確定關(guān)鍵幀序列各自包括的關(guān)鍵幀可完全不同或者也可部分相同。采用該方案有利于在視頻庫的各視頻中確定長度相似或相同的關(guān)鍵幀序列作為相似性檢索對(duì)象,統(tǒng)一比較標(biāo)準(zhǔn),進(jìn)而有利于提高檢索結(jié)果的準(zhǔn)確性??蛇x的,也可基于建模的方式確定視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,以提高檢測結(jié)果的準(zhǔn)確性,建模方法如可包括S201-S203。S201:至少根據(jù)所述語義概念群序列采用啟發(fā)式法在所述視頻庫包括的多個(gè)視頻中確定第一訓(xùn)練樣例集??筛鶕?jù)預(yù)先獲取的各視頻的簡單語義概念集中多個(gè)簡單語義概念的語義相似性和/或語義概念群集中多個(gè)語義概念群的語義相似性,采用啟發(fā)式法收集所述語義概念群序列對(duì)應(yīng)的第一訓(xùn)練樣例集,所述 第一樣例集包括多個(gè)正樣例和多個(gè)負(fù)樣例,所述第一訓(xùn)練樣例集中,正樣例是指語義相似性和時(shí)序相似性都很高的視頻,負(fù)樣例是指語義相似性和時(shí)序相似性中至少之一較低的視頻。以語義概念群序列“<男子,車>,<銀行>”為例,采用啟發(fā)式法進(jìn)行樣例收集,其中正樣例的收集例如:若某視頻中前面部分關(guān)鍵幀中“{男子,車}”檢測置信度很高(如高于某一閾值或排序前幾位)、且該視頻中后面部分關(guān)鍵幀中“{銀行}”檢測置信度也很高,則可將該視頻作為正樣例。反之,若某視頻中前面部分關(guān)鍵幀中“{男子,車}”檢測置信度不高(如低于某一閾值或排序靠后等),和/或,該視頻中后面部分關(guān)鍵幀中“{銀行}”檢測置信度不高,則可將該視頻作為負(fù)樣例。S202:根據(jù)所述第一訓(xùn)練樣例集構(gòu)建與所述視頻查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型。將所述第一訓(xùn)練樣例集包括的各樣例分別通過一關(guān)鍵幀序列表示,可選的,每個(gè)關(guān)鍵幀序列中的每個(gè)關(guān)鍵幀對(duì)應(yīng)一個(gè)語義概念群(如“{男子,車}”)或?qū)?yīng)一個(gè)簡單語義概念(如“{銀行}”)。隱馬爾可夫模型(HiddenMarkovModel,簡稱HMM)是基于馬爾可夫鏈的一種統(tǒng)計(jì)模型,常用來對(duì)序列數(shù)據(jù)建模。本申請(qǐng)實(shí)施例可將所述第一訓(xùn)練樣例集包括的各樣例各自對(duì)應(yīng)的關(guān)鍵幀序列分別采用隱馬爾科夫模型H表示,每個(gè)隱馬爾科夫模型可采用“兩個(gè)狀態(tài)集三個(gè)概率矩陣”的五元組表示,所述五元組包括:隱含狀態(tài)集、可觀測狀態(tài)集、初始概率矩陣、隱含狀態(tài)之間轉(zhuǎn)移概率矩陣、混淆矩陣(ConfusionMatrix,也可稱為觀測狀態(tài)轉(zhuǎn)移概率矩陣);可選的,語義概念(如簡單語義概念和/或語義概念群)對(duì)應(yīng)隱含狀態(tài)集中的隱含狀態(tài),語義概念對(duì)應(yīng)的視頻底層特征對(duì)應(yīng)可觀測狀態(tài)集的可觀測狀態(tài),初始概率矩陣可根據(jù)需要賦值(如平均或隨機(jī)賦值),不同語義概念之間的轉(zhuǎn)移概率可通過隱含狀態(tài)之間轉(zhuǎn)移概率矩陣反映。這樣, 就可采用但不限于現(xiàn)有Baum-welch算法來訓(xùn)練所述第一訓(xùn)練樣例集包括的各樣例各自對(duì)應(yīng)的隱馬爾科夫模型,由此得到與所述視頻查詢信息對(duì)應(yīng)的隱馬爾科夫模型(不妨稱為第一隱馬爾科夫模型)。S203:確定所述視頻庫包括的多個(gè)視頻各自對(duì)應(yīng)的第二隱馬爾科夫模型分別與所述第一隱馬爾科夫模型之間的概率分布距離,以得到所述視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性。所述視頻庫中的視頻包括的關(guān)鍵幀序列可分別通過隱馬爾科夫模型表達(dá),視頻對(duì)應(yīng)的隱馬爾科夫模型不妨稱為第二隱馬爾科夫模型。通過比較視頻庫中多個(gè)視頻各自對(duì)應(yīng)的第二隱馬爾科夫模型分別與所述視頻查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型之間的概率分布距離,可得到所述視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,也就是說,所述概率分布距離的大小一定程度上反映了各視頻的底層特征和所述視頻查詢信息的高層語義之間的語義相似性和時(shí)序相似性。所述概率分布距離可包括但不限于KL散度(Kullback–LeiblerDivergence,簡稱KLD),采用KL散度可便于進(jìn)行二個(gè)隱馬爾科夫模型的相似性度量,具體可根據(jù)下式確定二個(gè)隱馬爾科夫模型之間的KL散度,例如可采用下式確定的上界作為第一隱馬爾科夫模型和第二隱馬爾科夫模型之間的距離:KLD(Hu,Hv)≤Σi=1S{11-aiiΣe=1Kπie(μieu-μiev)TΣie-1(μieu-μiev)}---(1)]]>式(1)中,Hu表示與所述視頻查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型,Hv表示與某一視頻的關(guān)鍵幀序列對(duì)應(yīng)的第二隱馬爾科夫模型,KLD(Hu,Hv)表示從該第一隱馬爾科夫模型到該第二隱馬爾科夫模型之間的KL散度,S表示隱狀態(tài)總數(shù);第i個(gè)隱狀態(tài)由一個(gè)包含K個(gè)高斯分量的混合高斯模型進(jìn)行表示 {πi1,πi2,…,πiK;μi1,μi2,…,μiK;Σi1,Σi2,…,ΣiK},其中,πie表示第i個(gè)隱狀態(tài)對(duì)應(yīng)的高斯混合模型中的第e個(gè)高斯分量的系數(shù),表示第i個(gè)隱狀態(tài)對(duì)應(yīng)的高斯混合模型u中的第e個(gè)高斯分量的均值向量,表示表示第i個(gè)隱狀態(tài)對(duì)應(yīng)的高斯混合模型v中的第e個(gè)高斯分量的均值向量,Σie表示表示第i個(gè)隱狀態(tài)對(duì)應(yīng)的高斯混合模型中的第e個(gè)高斯分量的協(xié)方差矩陣。進(jìn)一步的,可對(duì)所述第一訓(xùn)練樣例集包括各樣例,如各正樣例和各負(fù)樣例進(jìn)行標(biāo)號(hào),結(jié)合正負(fù)樣例的標(biāo)號(hào)信息對(duì)上述式(1)進(jìn)行改進(jìn),改進(jìn)的KLD確定公式如下:d(Hu,Hv)=Σi=1S{11-aiiΣe=1Kπie(μieu-μiev)TATΣie-1A(μieu-μiev)}---(2)]]>式(2)中,A可根據(jù)實(shí)際需要設(shè)置為單位矩陣;或者,A可基于語義近鄰保持準(zhǔn)則而進(jìn)行優(yōu)化學(xué)習(xí)得到的包含所述第一訓(xùn)練樣例集中正負(fù)樣例的標(biāo)號(hào)信息的轉(zhuǎn)換矩陣,如可使用機(jī)器學(xué)習(xí)領(lǐng)域現(xiàn)有的梯度下降方法來對(duì)A進(jìn)行優(yōu)化求解,以實(shí)現(xiàn)正負(fù)樣例的最大間隔區(qū)分。該方案結(jié)合所述第一訓(xùn)練樣例的正負(fù)樣例的標(biāo)號(hào)信息確定KL散度,增加了區(qū)分型,使得對(duì)于每個(gè)視頻(視頻片段)根據(jù)公式(2)確定的KL散度所找到的近鄰與該視頻片段的相關(guān)性標(biāo)號(hào)一致(即同為相關(guān)或不相關(guān))。該過程可使得視頻片斷與查詢相關(guān)、不相關(guān)的判斷不易被混淆,從而獲得更高的檢索精度。采用KL散度作為所述概率分布距離實(shí)現(xiàn)方式簡單。此外,還可采用其他距離,如KL散度平均值或加權(quán)值作為所述概率分布距離,換而言之,二個(gè)隱馬爾科夫模型之間的KL散度確定具有不對(duì)稱性,即從A隱馬爾可夫模型到B隱馬爾科夫模型之間的KL散度,和從B隱馬爾可夫模型到A隱馬爾科夫模型之間的KL散度可能不同,可將二個(gè)KL散度分別計(jì)算出來并求取平均值或加權(quán)值等,將平均值或加權(quán)值所述概率分布距離,以度量二個(gè)隱馬爾科夫模型之間的語義相關(guān) 性和時(shí)序相關(guān)性,進(jìn)而有利于提高檢索結(jié)果的準(zhǔn)確性。本申請(qǐng)實(shí)施例提供的技術(shù)方案中,視頻庫中各視頻對(duì)應(yīng)的第二隱馬爾科夫模型可在離線階段預(yù)先獲取,也可以在在線階段獲取,實(shí)現(xiàn)方式非常靈活,本申請(qǐng)實(shí)施例對(duì)此并不限制。可選的,確定所述視頻庫包括的任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型與所述第一隱馬爾科夫模型之間的概率分布距離之前,還包括:根據(jù)所述視頻庫中的任一視頻包括的多個(gè)關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、以及所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息,確定所述任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型。所述任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型可采用“兩個(gè)狀態(tài)集三個(gè)概率矩陣”的五元組表示,所述五元組包括:隱含狀態(tài)集、可觀測狀態(tài)集、初始概率矩陣、隱含狀態(tài)之間轉(zhuǎn)移概率矩陣、混淆矩陣;可選的,語義概念(如簡單語義概念和/或語義概念群)對(duì)應(yīng)隱含狀態(tài)集中的隱含狀態(tài),語義概念對(duì)應(yīng)的視頻底層特征對(duì)應(yīng)可觀測狀態(tài)集的可觀測狀態(tài),初始概率矩陣可根據(jù)需要賦值(如平均或隨機(jī)賦值),不同語義概念之間的轉(zhuǎn)移概率可通過隱含狀態(tài)之間轉(zhuǎn)移概率矩陣反映。該方案可將視頻庫中任一視頻的各關(guān)鍵幀與語義概念(如簡單語義概念和/或語義概念群)的語義相關(guān)性作為中間特征、并結(jié)合該視頻不同關(guān)鍵幀之間的時(shí)序信息,對(duì)該視頻的關(guān)鍵幀序列進(jìn)行隱馬爾科夫模型的表示,方法簡單易實(shí)現(xiàn),視頻表示為隱馬爾科夫模型(第二隱馬爾科夫模型)之后便于與所述復(fù)雜查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型進(jìn)行概率分布距離的度量。采用本申請(qǐng)實(shí)施例提供的任一技術(shù)方案得到的作為檢索對(duì)象的各視頻分別與所述視頻查詢信息之間的語義相關(guān)性和時(shí)序相關(guān)性,即為檢索結(jié)果。得到所述檢索結(jié)果之后,可輸出檢索結(jié)果,其中,檢索結(jié)果的輸出方式可根據(jù)實(shí)際需要確定,本申請(qǐng)實(shí)施例對(duì)此并不限制,例如,可將各視頻分別與所述視頻查詢信息之間的語義相關(guān)性和時(shí)序 相關(guān)性直接進(jìn)行輸出,或者,可將各視頻分別與所述視頻查詢信息之間的語義相關(guān)性和時(shí)序相關(guān)性進(jìn)行排序后全部或部分輸出,或者,可根據(jù)各視頻分別與所述視頻查詢信息之間的語義相關(guān)性和時(shí)序相關(guān)性用某一參數(shù)值表示,根據(jù)參數(shù)值的大小進(jìn)行直接輸出或排序輸出,等等,實(shí)現(xiàn)方式非常靈活。此外,本申請(qǐng)實(shí)施例提供的技術(shù)方案中,所述簡單語義概念集、所述語義概念群集、以及所述簡單語義概念集包括的多個(gè)簡單語義概念和/或所述語義概念群集包括的多個(gè)語義概念群與視頻的關(guān)鍵幀之間的語義相關(guān)性,可預(yù)先獲取,如可采用已有上述相應(yīng)信息的視頻庫數(shù)據(jù),或者,可在基于所述視頻查詢信息進(jìn)行相應(yīng)的視頻檢索之前確定,本申請(qǐng)實(shí)施例對(duì)此并不限制??蛇x的,至少根據(jù)所述語義概念群序列檢索視頻之前,還包括:確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的多個(gè)語義概念群的語義相似性。該方案在基于所述視頻查詢信息進(jìn)行相應(yīng)的視頻檢索之前確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的多個(gè)語義概念群的語義相似性,因此,可將該語義相似性作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度。其中,所述確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的任一語義概念群的語義相似性,可包括:采用與所述語義概念群集包括的任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一語義概念群的語義相似性。該方案得到的語義相似性作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度。語義概念群集中的各語義概念群分別存在各自對(duì)應(yīng)的語義概念群分類檢測模型,基于各語義概念群分類檢測模型可對(duì)視頻進(jìn)行檢測, 以確定各語義概念群分別與該視頻(如視頻的各關(guān)鍵幀)的語義相似性。語義概念群集中的任一語義概念群對(duì)應(yīng)的語義概念檢測模型可采用現(xiàn)有的相應(yīng)語義概念群對(duì)應(yīng)的分類器等語義概念檢測模型,也可根據(jù)實(shí)際需要構(gòu)建更高性能的語義概念檢測模型以提高檢測結(jié)果的準(zhǔn)確性。例如,可結(jié)合語義概念群包括的多個(gè)簡單語義概念分別對(duì)應(yīng)的簡單語義概念分類檢測模型構(gòu)建該語義概念群對(duì)應(yīng)的語義概念檢測模型??蛇x的,采用與所述語義概念群集包括的任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測之前,還包括:從至少一種數(shù)據(jù)源的多個(gè)視頻包括的各關(guān)鍵幀各自分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性,確定已標(biāo)注的多個(gè)第二訓(xùn)練樣例;從所述視頻庫包括的多個(gè)視頻中確定未標(biāo)注的多個(gè)第二訓(xùn)練樣例;根據(jù)各所述第二訓(xùn)練樣例分別確定所述任一語義概念群的語義概念群分類檢測模型。對(duì)所述語義概念群集中任一語義概念群的所述第二訓(xùn)練樣例集包括多個(gè)正樣例和多個(gè)負(fù)樣例,所述第二訓(xùn)練樣例集中,正樣例為包括與該語義概念群中的各簡單語義概念對(duì)應(yīng)(如語義相似性較高)的關(guān)鍵幀的視頻,所述負(fù)樣例為至少未包括與該語義概念群中的至少一簡單語義概念對(duì)應(yīng)的關(guān)鍵幀的視頻。所述第二訓(xùn)練樣例集中正負(fù)樣例的數(shù)據(jù)源可為一種或多種,所述數(shù)據(jù)源可包括但不限于互聯(lián)網(wǎng)和/或待檢索的視頻庫,從至少一種數(shù)據(jù)源的多個(gè)視頻包括的各關(guān)鍵幀各自分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性,確定多個(gè)已標(biāo)注的多個(gè)第二訓(xùn)練樣例;再從所述視頻庫包括的多個(gè)視頻中確定未標(biāo)注的多個(gè)第二訓(xùn)練樣例;未標(biāo)注的第二訓(xùn)練樣例的數(shù)量遠(yuǎn)大于已標(biāo)注的第二訓(xùn)練樣例的數(shù)量,即對(duì)少量的第二訓(xùn)練樣例進(jìn)行精確標(biāo)注,未標(biāo)注和已標(biāo)注的各第二訓(xùn)練樣例即為所述第二訓(xùn)練樣例集,根據(jù)所述第二訓(xùn)練樣例集的各第二訓(xùn)練樣例分別確定該語義概念群 的語義概念群分類檢測模型。該方案可豐富樣例獲取的數(shù)據(jù)源,并可將少量精確標(biāo)注的樣例和未標(biāo)注的樣例結(jié)合作為語義概念群分類檢測模型的訓(xùn)練樣例集,有利于采用較少的處理量獲取性能較高的檢測器??蛇x的,可采用下式確定任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型;(g,β)=argming,βΣq=1tβqD(g,fq)+η1L(g,ZL,yb)+η2R3(g,ZL,ZU)+η3R4(β)+η4R5(g)---(3)]]>式(3)中:f1,f2,…,ft表示某語義概念群包括的t個(gè)簡單語義概念各自對(duì)應(yīng)的簡單語義概念分類檢測模型;g表示該語義概念群對(duì)應(yīng)的語義概念群分類檢測模型;權(quán)值向量β=(β1,β2,…,βt),這t個(gè)權(quán)值向量可用來自動(dòng)調(diào)節(jié)各個(gè)語義概念檢測器在語義概念群檢測中的作用大??;η1、η2、η3和η4為四個(gè)非負(fù)權(quán)重參數(shù),且D(g,fq)表示語義概念群分類檢測模型g與該語義概念群包括的第q個(gè)簡單語義概念的模型fq之間的偏差;L(g,ZL,yb)表示語義概念群分類檢測模型g在已標(biāo)注的第二訓(xùn)練樣例數(shù)據(jù)(ZL,yb)的損失項(xiàng);R3(g,ZL,ZU)表示語義概念群分類檢測模型g在已標(biāo)注的第二訓(xùn)練樣例數(shù)據(jù)(ZL,yb)和未標(biāo)注的第二訓(xùn)練樣例數(shù)據(jù)ZU上的正則化;R4(β)表示對(duì)權(quán)值向量的正則化;R5(g)表示對(duì)整個(gè)模型復(fù)雜度的正則化。采用式(3)所建立的語義概念群分類檢測模型表征了語義概念群所包括的多個(gè)簡單語義概念的公有信息,更能符合語義概念群的語義特點(diǎn)。進(jìn)一步的,采用與所述語義概念群集包括的任一語義概念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的任一視頻的多個(gè)關(guān)鍵幀進(jìn)行檢測之后,還可包括:根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一語義概念群的語義相似性,對(duì)所述多個(gè)相 鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理。視頻庫中的各視頻的長短不盡相同,有的視頻的時(shí)間跨度較大,視頻中在某一時(shí)段內(nèi)可能存在多個(gè)相鄰的關(guān)鍵幀分別與某一語義概念群具有較高的語義相似性,為此,可將與相同語義概念群分別具有較高語義相關(guān)性高的多個(gè)關(guān)鍵幀進(jìn)行關(guān)聯(lián),這樣,基于該視頻與該語義概念群的語義相似性進(jìn)行所述語義概念群序列檢索的中間特征時(shí),可將關(guān)聯(lián)的多個(gè)關(guān)鍵幀作為整體進(jìn)行比較,以提高檢索的速度。可選的,至少根據(jù)所述語義概念群序列檢索視頻之前,還包括:確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性。該方案在基于所述視頻查詢信息進(jìn)行相應(yīng)的視頻檢索之前確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性,因此,可將該語義相似性作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度。其中,確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的任一簡單語義概念的語義相似性,可包括:采用與所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一簡單語義概念的語義相似性。該方案得到的語義相似性可作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度。簡單語義概念集中的各簡單語義概念分別存在各自對(duì)應(yīng)的簡單語義概念分類檢測模型,基于各簡單語義概念分類檢測模型可對(duì)視頻進(jìn)行檢測,以確定各簡單語義概念分別與該視頻(如視頻的各關(guān)鍵幀)的語義相似性。簡單語義概念集中的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型可采用現(xiàn)有公共的相應(yīng)簡單語義概念對(duì)應(yīng)的檢測器(如Columbia374、Vireo374等),也可根據(jù)實(shí)際需要構(gòu)建更高性 能的簡單語義概念分類檢測模型以提高檢測結(jié)果的準(zhǔn)確性。例如,采用與所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的任一視頻的多個(gè)關(guān)鍵幀進(jìn)行檢測之前,還可包括:從至少一種數(shù)據(jù)源獲取所述任一簡單語義概念的多個(gè)第三訓(xùn)練樣例;對(duì)所述多個(gè)第三訓(xùn)練樣例的至少部分進(jìn)行標(biāo)注;根據(jù)至少部分完成標(biāo)注的所述多個(gè)第三訓(xùn)練樣例確定所述任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型。對(duì)所述簡單語義概念集中任一簡單語義概念的所述第三訓(xùn)練樣例集包括多個(gè)正樣例和多個(gè)負(fù)樣例,所述第三訓(xùn)練樣例集中,正樣例為包括與該簡單語義概念對(duì)應(yīng)(如語義相似性較高)的關(guān)鍵幀的視頻,所述負(fù)樣例為未包括與該簡單語義概念對(duì)應(yīng)的關(guān)鍵幀的視頻。所述第三訓(xùn)練樣例集中正負(fù)樣例的數(shù)據(jù)源可為一種或多種,多種數(shù)據(jù)源主要指通過圖像檢索以及視頻檢索等多種渠道獲得簡單語義概念的訓(xùn)練樣例,在對(duì)訓(xùn)練樣例進(jìn)行視頻底層特征提取時(shí),可采用單不限于多模態(tài)的特征進(jìn)行視頻內(nèi)容的描述,所述多模態(tài)的特征可包括但不限于以下至少之一或任意組合:從視頻的關(guān)鍵幀所提取的顏色直方圖、邊緣直方圖、小波紋理特征、視覺詞袋等特征;從視頻的鏡頭中抽取的移動(dòng)向量特征;對(duì)視頻的音頻片段中抽取的Mel倒譜系數(shù)進(jìn)行高斯混合模型建模后得到的超向量特征。獲取訓(xùn)練樣例之后,可對(duì)所述第三訓(xùn)練樣例集包括的各樣例少量進(jìn)行精確標(biāo)注,之后再基于所述第三訓(xùn)練樣例集訓(xùn)練該簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型。例如,對(duì)于簡單語義概念,可由人工標(biāo)注一部分高精度樣例(XL,y),其中1≤r≤N,N表示所述一部分高精度樣例的個(gè)數(shù);表示所述一部分高精度樣例的標(biāo)號(hào),yr等于1時(shí)表示樣例是正樣例,yr等于-1時(shí)表示樣例是負(fù)樣例。之后,可采用下式所示的正則化統(tǒng)計(jì)學(xué)習(xí)方法對(duì)簡單語義概念對(duì)應(yīng)的最終簡單語義概念檢測模型f進(jìn)行學(xué)習(xí):(f0,w)=argminf0,aL(f,XL,y)+λR1(w)+μR2(f0)---(3)]]>式(3)中:權(quán)值向量w=(w1,w2,…,wn),λ和μ表示兩個(gè)權(quán)重參數(shù),可在試驗(yàn)中根據(jù)數(shù)據(jù)的大體情況進(jìn)行預(yù)先設(shè)置;L(f,XL,y)表示模型f在高精度樣例(XL,y)上的損失項(xiàng);R1(w)表示權(quán)值向量的正則化;R2(f0)表示對(duì)待學(xué)習(xí)的新模型f0復(fù)雜度的正則化。基于公式(3)學(xué)習(xí)得到f0和w后,即可下式得到簡單語義概念對(duì)應(yīng)的最終的簡單語義概念檢測模型:f=f0+Σs=1nwsfs---(4)]]>式(4)中,ws為模型fs的權(quán)值,f表示簡單語義概念對(duì)應(yīng)的最終的簡單語義概念檢測模型,該模型可表示為所述已有的n-k個(gè)簡單語義概念C的檢測模型、所學(xué)習(xí)的k種不同數(shù)據(jù)來源的概念檢測模型的加權(quán)和以及一項(xiàng)待學(xué)習(xí)的新模型f0的組合。該方案可豐富樣例獲取的數(shù)據(jù)源,并可將少量精確標(biāo)注的樣例和未標(biāo)注的樣例結(jié)合作為簡單語義分類檢測模型的訓(xùn)練樣例集,有利于采用較少的處理量獲取性能較高的檢測器。進(jìn)一步的,采用與所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的任一視頻的多個(gè)關(guān)鍵幀進(jìn)行檢測之后,還可包括:根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一簡單語義概念的語義相似性,對(duì)所述多個(gè)相鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理。視頻庫中的各視頻的長短不盡相同,有的視頻的時(shí)間跨度較大,視頻中在某一時(shí)段內(nèi)可能存在多個(gè)相鄰的關(guān)鍵幀分別與某一簡單語義概念具有較高的語義相似性,為此,可將與相同簡單語義概念分別具有較高語義相關(guān)性高的多個(gè)關(guān)鍵幀進(jìn)行關(guān)聯(lián),這樣,基于該視頻與該簡單語義概念的語義相似性進(jìn)行語義概念群建模和/或語義概念群序列檢索的中間特征時(shí),可將關(guān)聯(lián)的多個(gè)關(guān)鍵幀作為整體進(jìn)行比較,以提高檢索的速度。本領(lǐng)域技術(shù)人員可以理解,在本申請(qǐng)具體實(shí)施方式的上述任一方法中,各步驟的序號(hào)大小并不意味著執(zhí)行順序的先后,各步驟的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定,而不應(yīng)對(duì)本申請(qǐng)具體實(shí)施方式的實(shí)施過程構(gòu)成任何限定。此外,即便在某一步驟的序號(hào)內(nèi)描述獲取的多個(gè)信息,并不意味著這些信息是同步獲取的,應(yīng)以其功能和內(nèi)在邏輯確定,而不應(yīng)對(duì)本申請(qǐng)具體實(shí)施方式的實(shí)施過程構(gòu)成任何限定。圖2為本申請(qǐng)實(shí)施例提供的一種視頻檢索裝置的邏輯框圖。如圖2所示,本申請(qǐng)實(shí)施例提供的視頻檢索裝置包括:一語義概念群序列確定模塊21和一視頻檢索模塊22。語義概念群序列確定模塊21用于根據(jù)視頻查詢信息確定語義概念群序列,所述語義概念群序列包括:至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息,所述至少二個(gè)語義概念群中每個(gè)語義概念群包括至少一個(gè)簡單語義概念。視頻檢索模塊22用于至少根據(jù)所述語義概念群序列檢索視頻。本申請(qǐng)實(shí)施例提供的技術(shù)方案根據(jù)所述視頻查詢信息確定所述語義概念群序列,至少根據(jù)所述語義概念群序列檢索視頻,由此基于檢索得到反映視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性的檢索結(jié)果。也就是說,本申請(qǐng)實(shí)施例提供的技術(shù)方案將視頻查詢信息表示的多種語義以及多種語義之間的時(shí)序信息共同作為視頻檢索的依據(jù),時(shí)序信息在一定程度上體現(xiàn)了檢索對(duì)象的場景變換等信息,使得得到的檢索結(jié)果體現(xiàn)了視頻與所述視頻查詢信息之間包括語義和時(shí)序在內(nèi)的整體相關(guān)程度,有利于提高檢索結(jié)果的準(zhǔn)確性,更好滿足視頻復(fù)雜查詢的實(shí)際應(yīng)用需求。所述視頻檢索裝置的設(shè)備表現(xiàn)形式不受限制,例如所述視頻檢索裝置可為某一獨(dú)立的設(shè)備;或者,所述視頻檢索裝置可作為某一功能模塊集成在某一電子設(shè)備中,所述電子設(shè)備可包括但不限于智能終端、搜索引擎設(shè)備、服務(wù)器等等,本申請(qǐng)實(shí)施例對(duì)此并不限制。可選的,如圖3所示,所述語義概念群序列確定模塊21包括:一簡單語義信息確定子模塊211、一語義概念群確定子模塊212和一語義概念群序列確定子模塊213。簡單語義信息確定子模塊211用于根據(jù)所述視頻查詢信息確定至少二個(gè)簡單語義概念及其中不同簡單語義概念之間的時(shí)序信息;語義概念群確定子模塊212用于確定所述至少二個(gè)語義概念群,其中,所述至少二個(gè)語義概念群中同一語義概念群包括的簡單語義概念對(duì)應(yīng)的時(shí)序信息相同、不同語義概念群中包括的簡單語義概念對(duì)應(yīng)的時(shí)序信息不同;語義概念群序列確定子模塊213用于根據(jù)所述至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息確定所述語義概念群序列。該方案相當(dāng)于從所述視頻查詢信息中確定簡單語義概念及其相應(yīng)的時(shí)序信息,并根據(jù)時(shí)序信息對(duì)確定的簡單語義概念群進(jìn)行組合為語義概念群,這樣就可得到所述至少二個(gè)語義概念群及其中不同語義概念群對(duì)應(yīng)的時(shí)序信息,也即得到所述語義概念群序列,采用該語義概念群序列進(jìn)行視頻檢索,有利于建立所述視頻查詢信息的高層語義和視頻內(nèi)容的底層信息之間的關(guān)聯(lián),使得檢索結(jié)果可反映視頻和所述視頻查詢信息之間包括語義和時(shí)序之間的整體的相關(guān)程度,由此提高檢索結(jié)果的準(zhǔn)確性。可選的,所述簡單語義信息確定子模塊211包括:一關(guān)鍵詞提取單元2111、一簡單語義相似性確定單元2112和一簡單語義概念確定單元2113。關(guān)鍵詞提取單元2111用于提取所述視頻查詢信息的至少二個(gè)關(guān)鍵詞;簡單語義相似性確定單元2112用于至少根據(jù)所述至少二個(gè)關(guān)鍵詞,分別確定所述視頻查詢信息與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性;簡單語義概念確定單元2113用于確定所述簡單語義概念集中語義相似性滿足預(yù)定條件的所述至少二個(gè)簡單語義概念。該方案可有效提取所述視頻查詢信息中的語義概念??蛇x的,所述關(guān)鍵詞包括實(shí)詞,由于實(shí)詞具有實(shí)在的意義,將視頻查詢信息中的實(shí)詞提取出來作為關(guān)鍵詞,可更好表示所述視頻查詢信息 的語義??蛇x的,所述簡單語義信息確定子模塊211包括:一連詞分析單元2114和一第一時(shí)序信息確定單元2115。連詞分析單元2114用于分析所述視頻查詢信息包括的連詞;第一時(shí)序信息確定單元2115用于根據(jù)所述連詞的分析結(jié)果確定所述至少二個(gè)簡單語義概念中不同簡單語義概念的時(shí)序信息。該方案簡單易實(shí)現(xiàn),分析結(jié)果的準(zhǔn)確性高??蛇x的,所述簡單語義信息確定子模塊211包括:一詞性統(tǒng)計(jì)分析單元2116和一第二時(shí)序信息確定單元2117。詞性統(tǒng)計(jì)分析單元2116用于對(duì)所述視頻查詢信息包括的不同分句分別進(jìn)行詞性統(tǒng)計(jì)分析;第二時(shí)序信息確定單元2117用于根據(jù)詞性統(tǒng)計(jì)分析結(jié)果確定所述至少二個(gè)簡單語義概念中不同簡單語義概念的時(shí)序信息。該方案可有效提取視頻查詢信息中隱含的時(shí)序信息。可選的,如圖4所示,所述視頻檢索模塊22包括:一視頻檢索子模塊221。視頻檢索子模塊221用于至少根據(jù)所述語義概念群序列確定視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,以得到檢索結(jié)果。該方案在對(duì)視頻庫進(jìn)行視頻檢索期間,是將視頻查詢信息表示的多種語義以及多種語義之間的時(shí)序信息共同作為視頻檢索的依據(jù),使得得到的檢索結(jié)果不僅體現(xiàn)了視頻與所述視頻查詢信息的語義相似性,還體現(xiàn)了視頻與所述視頻查詢信息的時(shí)序相似性,即體現(xiàn)了視頻和視頻查詢信息之間包括語義和時(shí)序在內(nèi)的整體相關(guān)程度,有利于提高檢索結(jié)果的準(zhǔn)確性,更好滿足視頻復(fù)雜查詢的實(shí)際應(yīng)用需求??蛇x的,所述視頻檢索子模塊221包括:一第一視頻檢索單元2211。第一視頻檢索單元2211用于根據(jù)所述視頻庫中的任一視頻包括的關(guān)鍵幀序列中各關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息、以及所述語義概念群序 列,確定所述任一視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性。該方案將視頻庫中的視頻與簡單語義概念集中的簡單語義概念和/或語義概念群中的語義概念群的語義相似性,作為視頻檢索的中間特征,并結(jié)合時(shí)序信息進(jìn)行檢索,使得視頻不同關(guān)鍵幀對(duì)應(yīng)的簡單語義概念或語義概念群之間建立關(guān)聯(lián),由此縮小視頻的底層特征和視頻查詢信息的高層語義之間的語義鴻溝,提高視頻檢索結(jié)果的準(zhǔn)確性??蛇x的,所述視頻檢索子模塊221還包括:一關(guān)鍵幀序列確定單元2212。關(guān)鍵幀序列確定單元2212用于在所述第一視頻檢索單元確定所述任一視頻與所述視頻查詢信息的語義相似性和時(shí)序相似性之前,確定所述任一視頻的至少二個(gè)相鄰的關(guān)鍵幀為一關(guān)鍵幀序列。采用該方案有利于在視頻庫的各視頻中確定長度相似或相同的關(guān)鍵幀序列作為相似性檢索對(duì)象,統(tǒng)一比較標(biāo)準(zhǔn),進(jìn)而有利于提高檢索結(jié)果的準(zhǔn)確性??蛇x的,所述視頻檢索子模塊221包括:一第一訓(xùn)練樣例集確定單元2213、一第一隱馬爾科夫模型構(gòu)建單元2214和一概率分布距離確定單元2215。第一訓(xùn)練樣例集確定單元2213用于至少根據(jù)所述語義概念群序列采用啟發(fā)式法在所述視頻庫包括的多個(gè)視頻中確定第一訓(xùn)練樣例集;第一隱馬爾科夫模型構(gòu)建單元2214用于根據(jù)所述第一訓(xùn)練樣例集構(gòu)建與所述視頻查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型;概率分布距離確定單元2215用于確定所述視頻庫包括的多個(gè)視頻各自對(duì)應(yīng)的第二隱馬爾科夫模型分別與所述第一隱馬爾科夫模型之間的概率分布距離,以得到所述視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性。該方案基于隱馬爾科夫模型建模的方式確定視頻庫包括的多個(gè)視頻分別與所述視頻查詢信息的語義相似性和時(shí)序相似性,有利于提高檢測結(jié)果的準(zhǔn)確性。可選的,所述概率分布距離包括:KL散度,以便于進(jìn)行二個(gè)隱馬爾科夫模型的相似性度量??蛇x的,所述視頻檢索子模塊221還包括:一第二隱馬爾科夫模型確定單元2216。第二隱馬爾科夫模型確定單元2216用于在所述概率分布距離確定單元確定所述視頻庫包括的任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型與所述第一隱馬爾科夫模型之間的概率分布距離之前,根據(jù)所述視頻庫中的任一視頻包括的多個(gè)關(guān)鍵幀與語義概念群集包括的多個(gè)語義概念群和/或簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性、以及所述任一視頻包括的多個(gè)關(guān)鍵幀之間的時(shí)序信息,確定所述任一視頻對(duì)應(yīng)的第二隱馬爾科夫模型。該方案簡單易實(shí)現(xiàn),視頻表示為隱馬爾科夫模型(第二隱馬爾科夫模型)之后便于與所述復(fù)雜查詢信息對(duì)應(yīng)的第一隱馬爾科夫模型進(jìn)行概率分布距離的度量。本申請(qǐng)實(shí)施例提供的技術(shù)方案中,所述簡單語義概念集、所述語義概念群集、以及所述簡單語義概念集包括的多個(gè)簡單語義概念和/或所述語義概念群集包括的多個(gè)語義概念群與視頻的關(guān)鍵幀之間的語義相關(guān)性,可預(yù)先獲取,如可采用已有上述相應(yīng)信息的視頻庫數(shù)據(jù),或者,可在基于所述視頻查詢信息進(jìn)行相應(yīng)的視頻檢索之前確定,本申請(qǐng)實(shí)施例對(duì)此并不限制。可選的,如圖5所示,所述視頻檢索裝置還包括:一語義概念群集信息確定模塊23。語義概念群集信息確定模塊23用于確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的多個(gè)語義概念群的語義相似性。該方案在基于所述視頻查詢信息進(jìn)行相應(yīng)的視頻檢索之前確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的多個(gè)語義概念群的語義相似性,因此,可將該語義相似性作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度。可選的,所述語義概念群集信息確定模塊23包括:一語義概念群集信息確定子模塊231。語義概念群集信息確定子模塊231用于在確定視頻庫包括的多個(gè)視頻分別與語義概念群集包括的任一語義概念群的語義相似性期間,采用與所述語義概念群集包括的任一語義概 念群對(duì)應(yīng)的語義概念群分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一語義概念群的語義相似性。該方案得到的語義相似性作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度??蛇x的,所述語義概念群集信息確定模塊23還包括:一第二訓(xùn)練樣例確定子模塊232和一第一檢測模型確定子模塊233。第二訓(xùn)練樣例確定子模塊232用于從至少一種數(shù)據(jù)源的多個(gè)視頻包括的各關(guān)鍵幀各自分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性,確定已標(biāo)注的多個(gè)第二訓(xùn)練樣例;以及從所述視頻庫包括的多個(gè)視頻中確定未標(biāo)注的多個(gè)第二訓(xùn)練樣例;第一檢測模型確定子模塊233用于根據(jù)各所述第二訓(xùn)練樣例分別確定所述任一語義概念群的語義概念群分類檢測模型。該方案可豐富樣例獲取的數(shù)據(jù)源,并可將少量精確標(biāo)注的樣例和未標(biāo)注的樣例結(jié)合作為語義概念群分類檢測模型的訓(xùn)練樣例集,有利于采用較少的處理量獲取性能較高的檢測器??蛇x的,所述語義概念群集信息確定模塊23還包括:一第一關(guān)鍵幀關(guān)聯(lián)處理子模塊234。第一關(guān)鍵幀關(guān)聯(lián)處理子模塊234用于根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一語義概念群的語義相似性,對(duì)所述多個(gè)相鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理。基于該視頻與該語義概念群的語義相似性進(jìn)行所述語義概念群序列檢索的中間特征時(shí),可將關(guān)聯(lián)的多個(gè)關(guān)鍵幀作為整體進(jìn)行比較,以提高檢索的速度??蛇x的,所述視頻檢索裝置還包括:一簡單語義概念集信息確定模塊24。簡單語義概念集信息確定模塊24用于確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的多個(gè)簡單語義概念的語義相似性。該方案在基于所述視頻查詢信息進(jìn)行相應(yīng)的視頻檢索之前確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的多個(gè)簡單語義概 念的語義相似性,因此,可將該語義相似性作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度??蛇x的,所述簡單語義概念集信息確定模塊24包括:一簡單語義概念集信息確定子模塊241。簡單語義概念集信息確定子模塊241用于在確定視頻庫包括的多個(gè)視頻分別與簡單語義概念集包括的任一簡單語義概念的語義相似性期間,采用與所述簡單語義概念集包括的任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型,分別對(duì)所述視頻庫包括的多個(gè)視頻各自的多個(gè)關(guān)鍵幀進(jìn)行檢測,以得到所述多個(gè)視頻各自的多個(gè)關(guān)鍵幀分別與所述任一簡單語義概念的語義相似性。該方案得到的語義相似性可作為后續(xù)根據(jù)所述語義概念群序列檢索視頻的中間特征,由此提高視頻在線檢索的速度??蛇x的,所述簡單語義概念集信息確定子模塊24包括:一第三訓(xùn)練樣例獲取單元242、一第三訓(xùn)練樣例標(biāo)注單元243和一第二檢測模型確定單元244。第三訓(xùn)練樣例獲取單元242用于從至少一種數(shù)據(jù)源獲取所述任一簡單語義概念的多個(gè)第三訓(xùn)練樣例;第三訓(xùn)練樣例標(biāo)注單元243用于對(duì)所述多個(gè)第三訓(xùn)練樣例的至少部分進(jìn)行標(biāo)注;第二檢測模型確定單元244用于根據(jù)至少部分完成標(biāo)注的所述多個(gè)第三訓(xùn)練樣例確定所述任一簡單語義概念對(duì)應(yīng)的簡單語義概念分類檢測模型。該方案可豐富樣例獲取的數(shù)據(jù)源,并可將少量精確標(biāo)注的樣例和未標(biāo)注的樣例結(jié)合作為簡單語義分類檢測模型的訓(xùn)練樣例集,有利于采用較少的處理量獲取性能較高的檢測器??蛇x的,所述簡單語義概念集信息確定模塊24還包括:一第二關(guān)鍵幀關(guān)聯(lián)處理子模塊245。第二關(guān)鍵幀關(guān)聯(lián)處理子模塊245用于根據(jù)所述任一視頻包括的多個(gè)相鄰的關(guān)鍵幀各自與所述任一簡單語義概念的語義相似性,對(duì)所述多個(gè)相鄰的關(guān)鍵幀進(jìn)行關(guān)聯(lián)處理?;谠撘曨l與該簡單語義概念的語義相似性進(jìn)行語義概念群建模和/或語義概念群序列檢索的中間特征時(shí),可將關(guān)聯(lián)的多個(gè)關(guān)鍵幀作為整體進(jìn)行 比較,以提高檢索的速度。圖6為本申請(qǐng)實(shí)施例提供的第三種視頻檢索裝置的結(jié)構(gòu)示意圖,本申請(qǐng)具體實(shí)施例并不對(duì)視頻檢索裝置600的具體實(shí)現(xiàn)方式做限定。如圖6所示,視頻檢索裝置600可以包括:處理器(Processor)610、通信接口(CommunicationsInterface)620、存儲(chǔ)器(Memory)630、以及通信總線640。其中:處理器610、通信接口620、以及存儲(chǔ)器630通過通信總線640完成相互間的通信。通信接口620,用于與比如終端、第三方設(shè)備、信息源等通信。處理器610,用于執(zhí)行程序632,具體可以執(zhí)行上述任一視頻檢索方法實(shí)施例中的相關(guān)步驟。例如,程序632可以包括程序代碼,所述程序代碼包括計(jì)算機(jī)操作指令。處理器610可能是一個(gè)中央處理器(CentralProcessingUnit,簡稱CPU),或者是特定集成電路(ApplicationSpecificIntegratedCircuit,簡稱ASIC),或者是被配置成實(shí)施本申請(qǐng)實(shí)施例的一個(gè)或多個(gè)集成電路。存儲(chǔ)器630,用于存放程序632。存儲(chǔ)器630可能包含隨機(jī)存取存儲(chǔ)器(RandomAccessMemory,簡稱RAM),也可能還包括非易失性存儲(chǔ)器(Non-volatilememory),例如至少一個(gè)磁盤存儲(chǔ)器。例如,在一種可選的實(shí)現(xiàn)方式中,處理器610通過執(zhí)行程序632可執(zhí)行以下步驟:根據(jù)視頻查詢信息確定語義概念群序列,所述語義概念群序列包括:至少二個(gè)語義概念群及其中不同語義概念群之間的時(shí)序信息,所述至少二個(gè)語義概念群中每個(gè)語義概念群包括至少一個(gè)簡單語義概念;至少根據(jù)所述語義概念群序列檢索視頻。在其他可選的實(shí)現(xiàn)方式中,處理器610通過執(zhí)行程序632還可執(zhí)行上述其他任一實(shí)施例提及的步驟,在此不再贅述。程序632中各步驟的具體實(shí)現(xiàn)可以參見上述實(shí)施例中的相應(yīng)步驟、模塊、子模塊、單元中對(duì)應(yīng)的描述,在此不再贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的設(shè)備和模塊的具體工作過程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程描述,在此不再贅述。在本申請(qǐng)上述各實(shí)施例中,實(shí)施例的序號(hào)和/或先后順序僅僅便于描述,不代表實(shí)施例的優(yōu)劣。對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重,某個(gè)實(shí)施例中沒有詳述的部分,可以參見其他實(shí)施例的相關(guān)描述。本領(lǐng)域普通技術(shù)人員可以意識(shí)到,結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及方法步驟,能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能,但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本申請(qǐng)的范圍。所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本申請(qǐng)的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(Read-OnlyMemory,簡稱ROM)、隨機(jī)存取存儲(chǔ)器(RandomAccessMemory,簡稱RAM)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。在本申請(qǐng)的裝置、方法、系統(tǒng)等實(shí)施例中,顯然,各部件(系統(tǒng)、子系統(tǒng)、模塊、子模塊、單元、子單元等)或各步驟是可以分解、組合和/或分解后重新組合的。這些分解和/或重新組合應(yīng)視為本申請(qǐng)的 等效方案。同時(shí),在上面對(duì)本申請(qǐng)具體實(shí)施例的描述中,針對(duì)一種實(shí)施方式描述和/或示出的特征可以以相同或類似的方式在一個(gè)或更多個(gè)其它實(shí)施方式中使用,與其它實(shí)施方式中的特征相組合,或替代其它實(shí)施方式中的特征。應(yīng)該強(qiáng)調(diào),術(shù)語“包括/包含”在本文使用時(shí)指特征、要素、步驟或組件的存在,但并不排除一個(gè)或更多個(gè)其它特征、要素、步驟或組件的存在或附加。最后應(yīng)說明的是:以上實(shí)施方式僅用于說明本申請(qǐng),而并非對(duì)本申請(qǐng)的限制,有關(guān)
技術(shù)領(lǐng)域
的普通技術(shù)人員,在不脫離本申請(qǐng)的精神和范圍的情況下,還可以做出各種變化和變型,因此所有等同的技術(shù)方案也屬于本申請(qǐng)的范疇,本申請(qǐng)的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。當(dāng)前第1頁1 2 3 
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
漯河市| 重庆市| 涟水县| 聊城市| 叶城县| 祁阳县| 巩留县| 天祝| 广饶县| 昭平县| 黄骅市| 鸡泽县| 红桥区| 舞钢市| 奎屯市| 民丰县| 丁青县| 皮山县| 来安县| 离岛区| 潼南县| 古浪县| 高邮市| 县级市| 都昌县| 珲春市| 贺兰县| 白银市| 乌鲁木齐市| 丹寨县| 邵东县| 珲春市| 贡山| 称多县| 永安市| 故城县| 丰城市| 九台市| 蚌埠市| 平顶山市| 利辛县|