本發(fā)明涉及人臉識別技術(shù)領(lǐng)域，具體涉及一種基于人臉識別技術(shù)進行人物關(guān)系挖掘的系統(tǒng)及其方法。

背景技術(shù)：

人臉識別作為生物身份識別的典型技術(shù)，由于不需要被檢測個體的主動配合，近年來在人機交互，安防，身份認(rèn)證，娛樂，和醫(yī)療看護等方面得到大量的應(yīng)用。人臉識別技術(shù)包括：人臉檢測，特征提取和特征匹配和分類。人臉檢測的方法有：harr掃描，hog掃描，adaboot學(xué)習(xí)，深度學(xué)習(xí)cnn物體檢測等。特征提取的方法有：pca本征臉，深度學(xué)習(xí)cnn特征提取等。特征匹配和分類包括：1-nn，k-nn和svm。將上面提到的各種人臉檢測，特征提取和特征匹配的方法有機的結(jié)合，就可以得到目前通用的人臉識別技術(shù)。

在智慧城市，安防和公安技術(shù)偵察中，人臉識別是常用的人工智能技術(shù)手段。我們通常需要識別系統(tǒng)中輸入一張被查詢?nèi)说恼掌上到y(tǒng)返回被查詢?nèi)嗽谀男z像頭上出現(xiàn)過，以及出現(xiàn)的時間點和當(dāng)時的圖片，視頻片段。在進行公安技術(shù)偵察的過程中，我們還需要分析被查詢?nèi)顺霈F(xiàn)的圖片，從這些圖片上查找處與被查詢?nèi)送瑫r出現(xiàn)的其他與被查詢?nèi)丝赡艽嬖谙嚓P(guān)關(guān)系的人物對象來進一步分析。

在現(xiàn)有安防公安部署人臉系統(tǒng)中，需要人工手動對查詢結(jié)果進行分析，通過系統(tǒng)返回的圖片，人工圈出圖片中其他與被查詢?nèi)丝赡艽嬖谙嚓P(guān)關(guān)系的人物對象，然后進行相關(guān)關(guān)系挖掘然后輸入系統(tǒng)進行二次查詢。現(xiàn)有的人物關(guān)系的挖掘，只能依靠人工，不但工作量大，費時費力，且很容易忽略相關(guān)信息，而且由于經(jīng)驗的不同，不同的刑偵人員挖掘出的人物關(guān)系就會出現(xiàn)極大的差異，進而會對刑偵工作帶來額外的難度。因此急需一種人物關(guān)系自動挖掘的系統(tǒng)及方法，一方面降低查詢?nèi)藛T的工作量，提高人物關(guān)系挖掘的準(zhǔn)確性，另一方面能夠消除由于查詢?nèi)私?jīng)驗不同帶來的人物關(guān)系挖掘的差異性。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)的問題，本發(fā)明提出一種基于人臉識別系統(tǒng)的人物關(guān)系挖掘系統(tǒng)及方法，利用特征匹配以及聚類的方法，自動挖掘獲取人臉圖片之間的人物關(guān)系，提供一張和被查詢?nèi)税搓P(guān)聯(lián)程度排名的列表和相關(guān)照片，提高公安技術(shù)偵察的效率。

本發(fā)明為解決上述技術(shù)問題所采用的技術(shù)方案是：

本發(fā)明提供一種基于人臉識別系統(tǒng)的人物關(guān)系挖掘系統(tǒng)，包括視頻采集模塊，特征提取模塊，數(shù)據(jù)存儲模塊，數(shù)據(jù)處理模塊；

所述視頻采集模塊為人臉識別系統(tǒng)中的視頻采集裝置，一般為布設(shè)在指定區(qū)域內(nèi)的攝像頭，用于實時采集指定范圍內(nèi)的視頻幀圖像；

所述特征提取模塊，用于對每一視頻幀圖像中出現(xiàn)的多個不同人臉分別進行特征提取，生成每張人臉對應(yīng)的人臉特征矢量并將其輸出至數(shù)據(jù)存儲模塊；用于對輸入的被查詢?nèi)说娜四樳M行特征提取，生成被查詢?nèi)藢?yīng)的人臉特征矢量；

所述數(shù)據(jù)存儲模塊為一人臉信息數(shù)據(jù)庫，數(shù)據(jù)庫中存儲的每條記錄對應(yīng)視頻幀圖像中出現(xiàn)的每一個人物相應(yīng)的人臉信息，所述的人臉信息包括人臉特征矢量，人臉圖片，人臉出現(xiàn)的真圖片，人臉出現(xiàn)的視頻段和全系統(tǒng)唯一的幀序號；

所述數(shù)據(jù)處理模塊，用于對被查詢?nèi)说奶卣魇噶亢腿四樞畔?shù)據(jù)庫中的每條記錄的特征矢量進行距離匹配，返回符合條件的人臉記錄；用于對符合條件的人臉記錄進行聚類處理，生成由多組類記錄構(gòu)成的人臉信息表；用于根據(jù)每組類記錄中記錄對象的多少，對多組類記錄進行排序并輸出。

一種基于人臉識別系統(tǒng)的人物關(guān)系挖掘方法，包括以下步驟：

s1，實時獲取視頻采集系統(tǒng)采集的視頻幀圖像序列，對每一幀圖像中出現(xiàn)的多個人臉圖片分別進行特征提取，生成每張人臉對應(yīng)的特征矢量，并將該特征矢量及對應(yīng)的人臉信息存儲在服務(wù)器中的人臉信息數(shù)據(jù)庫；人臉信息數(shù)據(jù)庫存儲的人臉信息至少包括以下內(nèi)容：人臉圖片，人臉出現(xiàn)的幀圖片，人臉出現(xiàn)的視頻段和全系統(tǒng)唯一的幀序列號。

s2，輸入被查詢?nèi)四樥掌?，通過檢測裁剪出照片上的人臉部分，糾正并擺正人臉，然后進行特征提取，得到被查詢?nèi)说奶卣魇噶浚?/p>

s3，將人臉信息數(shù)據(jù)庫上每張人臉圖片對應(yīng)的特征矢量和被查詢的特征矢量進行距離匹配，若距離小于預(yù)定閾值則返回該人臉圖片對應(yīng)視頻幀序號；

s4，根據(jù)步驟s3返回的幀序號依次在人臉信息數(shù)據(jù)庫中進行查詢，獲取除與被查詢?nèi)说奶卣魇噶康木嚯x小于預(yù)設(shè)閾值的人臉記錄以外的其他所有幀序號相同的人臉記錄，并進行聚類處理，生成由不同目標(biāo)人物對應(yīng)的類記錄組成的類記錄表，同時計算每組類記錄的中心特征矢量；

s5，針對每組類記錄，分別計算每條記錄對應(yīng)的特征矢量與該組類記錄的中心特征矢量的距離，刪除距離大于預(yù)設(shè)閾值的記錄；

s6，根據(jù)每組類記錄中所包含的記錄的多少按照降序排序并輸出。

本發(fā)明的有益效果是：

本發(fā)明可以自動挖掘獲取的人臉圖片之間的人物關(guān)系，提供一張和被查詢?nèi)税搓P(guān)聯(lián)程度排名的列表和相關(guān)照片。和目前手工挖掘手段相比，這大大方便和提高了公安技術(shù)偵察的效率。

附圖說明

圖1為系統(tǒng)結(jié)構(gòu)示意圖；

圖2為方法流程圖；

圖3圖4為方法實際執(zhí)行過程中的圖解示意。

具體實施方式

下面結(jié)合附圖及實施例對本發(fā)明作進一步說明。

如圖1所示，本發(fā)明提供一種基于人臉識別系統(tǒng)的人物關(guān)系挖掘系統(tǒng)，包括視頻采集模塊，特征提取模塊，數(shù)據(jù)存儲模塊，數(shù)據(jù)處理模塊；

所述視頻采集模塊為人臉識別系統(tǒng)中的視頻采集裝置，一般為布設(shè)在指定區(qū)域內(nèi)的攝像頭，用于實時采集指定范圍內(nèi)的視頻幀圖像；

所述特征提取模塊，用于對每一視頻幀圖像中出現(xiàn)的多個不同人臉分別進行特征提取，生成每張人臉對應(yīng)的人臉特征矢量并將其輸出至數(shù)據(jù)存儲模塊；用于對輸入的被查詢?nèi)说娜四樳M行特征提取，生成被查詢?nèi)藢?yīng)的人臉特征矢量；

所述數(shù)據(jù)存儲模塊為一人臉信息數(shù)據(jù)庫，數(shù)據(jù)庫中存儲的每條記錄對應(yīng)視頻幀圖像中出現(xiàn)的每一個人物相應(yīng)的人臉信息，所述的人臉信息包括人臉特征矢量，人臉圖片，人臉出現(xiàn)的真圖片，人臉出現(xiàn)的視頻段和全系統(tǒng)唯一的幀序號；

所述數(shù)據(jù)處理模塊，用于對被查詢?nèi)说奶卣魇噶亢腿四樞畔?shù)據(jù)庫中的每條記錄的特征矢量進行距離匹配，返回符合條件的人臉記錄；用于對符合條件的人臉記錄進行聚類處理，生成由多組類記錄構(gòu)成的人臉信息表；用于根據(jù)每組類記錄中記錄對象的多少，對多組類記錄進行排序并輸出。

采用上述系統(tǒng)，本發(fā)明提供一種基于人臉識別系統(tǒng)的人物關(guān)系挖掘方法，包括以下步驟：

s1，實時獲取視頻采集系統(tǒng)采集的視頻幀圖像序列，對每一幀圖像中出現(xiàn)的多個人臉圖片分別進行特征提取，生成每張人臉對應(yīng)的特征矢量，并將該特征矢量及對應(yīng)的人臉信息存儲在服務(wù)器中的人臉信息數(shù)據(jù)庫；

s2，輸入被查詢?nèi)四樥掌?，通過檢測裁剪出照片上的人臉部分，糾正并擺正人臉，然后輸入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法cnn中進行特征提取，得到被查詢?nèi)说奶卣魇噶浚?/p>

s3，將人臉信息數(shù)據(jù)庫上每張人臉圖片對應(yīng)的特征矢量和被查詢的特征矢量進行距離匹配，若距離小于預(yù)定閾值則返回該人臉圖片對應(yīng)視頻幀序號；所述的距離可以是余旋距離，歐氏距離，相關(guān)性等。

s4，根據(jù)步驟s3返回的幀序號依次在人臉信息數(shù)據(jù)庫中進行查詢，獲取除與被查詢?nèi)说奶卣魇噶康木嚯x小于預(yù)設(shè)閾值的人臉記錄以外的其他所有幀序號相同的人臉記錄，并進行聚類處理，生成由不同目標(biāo)人物對應(yīng)的類記錄組成的類記錄表，同時計算每組類記錄的中心特征矢量；

s5，針對每組類記錄，分別計算每條記錄對應(yīng)的特征矢量與該組類記錄的中心特征矢量的距離，刪除距離大于預(yù)設(shè)閾值的記錄；

s6，根據(jù)每組類記錄中所包含的記錄的多少按照降序排序并輸出；

s7，當(dāng)人臉信息數(shù)據(jù)庫獲取視頻采集系統(tǒng)新采集的人臉圖片信息時，將被查詢的特征矢量與新采集的人臉圖片對應(yīng)的特征矢量進行距離匹配，若距離小于預(yù)定閾值則返回該人臉對應(yīng)的幀序號，并提取所有相同幀序號的人臉圖片對應(yīng)的特征矢量；

s8，針對每一條特征矢量，遍歷類記錄表，若該特征矢量與類記錄表中某組類記錄的中心特征矢量的距離小于預(yù)設(shè)閾值，則將該特征矢量對應(yīng)的人臉記錄歸入該組類記錄中并重新計算該組類記錄的中心特征矢量；否則在類記錄表中為該特征矢量對應(yīng)的人臉記錄創(chuàng)建一個新類，同時利用該特征矢量初始化新類的中心特征矢量。

說明書中未闡述的部分均為現(xiàn)有技術(shù)或公知常識。本實施例僅用于說明該發(fā)明，而不用于限制本發(fā)明的范圍，本領(lǐng)域技術(shù)人員對于本發(fā)明所做的等價置換等修改均認(rèn)為是落入該發(fā)明權(quán)利要求書所保護范圍內(nèi)。