一種基于人臉識別的關(guān)聯(lián)信息推送設(shè)備及方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及圖像處理和信息融合領(lǐng)域，具體涉及一種基于人臉識別的關(guān)聯(lián)信息推 送設(shè)備及方法。
【背景技術(shù)】
[0002] 早期的人臉識別技術(shù)只能在靜態(tài)的圖片中識別出人臉的大小和位置，而隨著技術(shù) 的發(fā)展，人臉識別技術(shù)也進一步發(fā)展到可以在動態(tài)的視頻中準確識別出人臉，以及進一步 識別和定位人臉的五官，以及人臉的屬性，例如年齡，性別，表情，是否配戴眼鏡，是否戴口 罩，眉毛長短，濃密，頭發(fā)長短，眼睛大小，眼睛睜開或閉著，胡子類型等等。
[0003] 隨著技術(shù)的不斷成熟，人臉識別技術(shù)的應(yīng)用也正在逐步變大。人臉作為人體生物 特征的一部分，具有獨特性，可以用于身份確認，和指紋，虹膜等作為一種生物信息可以應(yīng) 用于信息安全領(lǐng)域。人臉識別技術(shù)作為圖像處理的一部分，也廣泛應(yīng)用于相機，圖像處理軟 件。此外，現(xiàn)在利用手勢，人臉檢測等作為輸入，也廣泛應(yīng)用在游戲等娛樂領(lǐng)域。人臉檢測 作為輸入，使得游戲的交互性更加有趣和自然。
[0004] 近幾年來，開始存在將人臉識別技術(shù)應(yīng)用于傳媒領(lǐng)域的趨勢。和常見的平面?zhèn)髅?相比，利用人臉識別技術(shù)實現(xiàn)動態(tài)交互式傳媒，使得傳媒定位更加精準，產(chǎn)品投放更加有針 對性，效果更加明顯。

【發(fā)明內(nèi)容】

[0005] 本申請所要解決的技術(shù)問題是提供一種能夠通過識別人臉信息，檢索并獲取該信 息對應(yīng)關(guān)聯(lián)信息的設(shè)備和方法，從而為用戶提供更好的使用體驗，提高傳媒的推廣效率。該 設(shè)備提供了一種全新的人機交互方式。用戶只需要站在該設(shè)備前，該設(shè)備便通過捕捉到的 該用戶的臉部信息，返回一些用戶所希望知道和其臉部信息相關(guān)聯(lián)的特制信息。
[0006] 本申請涉及的基于人臉識別的關(guān)聯(lián)信息推送設(shè)備，包括攝像裝置，顯示屏和處理 器，所述處理器進一步包括人臉識別單元和關(guān)聯(lián)信息檢索單元；所述攝像裝置用于獲取圖 像信息，并將所述圖像信息發(fā)送至所述人臉識別單元；
[0007] 所述人臉識別單元通過檢測所述攝像裝置輸出的圖像信息，識別出至少一個人臉 信息及其屬性值，并將識別出的人臉信息及其屬性值發(fā)送至所述關(guān)聯(lián)信息檢索單元；
[0008] 所述關(guān)聯(lián)信息檢索單元通過檢索并獲取該屬性值對應(yīng)的關(guān)聯(lián)信息，并將所述關(guān)聯(lián) 信息發(fā)送至顯示屏上顯示。
[0009] 在一個優(yōu)選實施例中，所述人臉識別單元包括：
[0010] 收集標注單元，用于收集人臉圖片并標注對應(yīng)的多個屬性的類別，形成一個訓練 數(shù)據(jù)集合；
[0011] 檢測對齊單元，用于檢測人臉，以及人臉關(guān)鍵點，通過多個關(guān)鍵點對齊人臉；
[0012] 編碼單元，用于對類別中具有順序的屬性進行編碼；
[0013] 神經(jīng)網(wǎng)絡(luò)構(gòu)造單元，用于構(gòu)造一個深度神經(jīng)網(wǎng)絡(luò)；
[0014] 神經(jīng)網(wǎng)絡(luò)訓練單元，用于利用收集標注單元中形成的訓練數(shù)據(jù)集合，訓練神經(jīng)網(wǎng) 絡(luò)構(gòu)造單元中的深度神經(jīng)網(wǎng)絡(luò)，并部署訓練得到的神經(jīng)網(wǎng)絡(luò)模型；
[0015] 人臉屬性識別單元，用于利用神經(jīng)網(wǎng)絡(luò)訓練單元中的神經(jīng)網(wǎng)絡(luò)模型，預測圖片中 的人臉信息及屬性值。
[0016] 另一個優(yōu)選實施例中，所述人臉識別單元包括：
[0017] 計算單元，用于計算金字塔特征層數(shù)和縮放比例，根據(jù)欲識別圖像尺寸以及基于 人臉模型訓練得到的縮放最小寬高參數(shù)，計算金字塔特征層數(shù)!!_ 8(^1^以及縮放比例S， 所述縮放比例需確?？s放區(qū)域的面積最大化；
[0018] 提取單元，用于提取金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，將金字塔特征 層劃分為完全提取層和近似提取層，分別進行完全提取和近似提取，得到每一層人臉分類 所依據(jù)的特征數(shù)據(jù)；
[0019] 所述完全提取是基于當前得到的縮放比例，從欲識別圖像中獲取縮放后的圖像， 并以獲取的縮放圖像為輸入，根據(jù)人臉模型計算人臉分類所依據(jù)的特征數(shù)據(jù)；
[0020] 所述近似提取是縮放從完全提取層得到的人臉分類所依據(jù)的特征數(shù)據(jù)；
[0021] 分類單元，分類金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，對每一層的金字塔 特征數(shù)據(jù)應(yīng)用分類算法進行分類，所述金字塔特征數(shù)據(jù)包括完全提取層數(shù)據(jù)和近似提取層 數(shù)據(jù)；
[0022] 人臉識別結(jié)果單元：合并分類提取數(shù)據(jù)單元中每層的分類結(jié)果，得到最終的人臉 信息及其屬性值。
[0023] 本申請涉及的基于人臉識別的關(guān)聯(lián)信息推送方法，包括以下步驟；
[0024] 步驟S1 :獲取圖像信息；
[0025] 步驟S2 :檢測所述圖像信息，判斷是否存在人臉信息，如果存在，則進一步識別至 少一個人臉信息以及屬性值，如果不存在，則等待下一次輸入；
[0026] 步驟S3 :檢索并獲取步驟S2中人臉信息及屬性值對應(yīng)的關(guān)聯(lián)信息。
[0027] 優(yōu)選的，該方法進一步包括：
[0028] 步驟S4 :顯示步驟S3中獲得的關(guān)聯(lián)信息。
[0029] 在一個優(yōu)選實施例中，所述識別人臉信息以及屬性值進一步包括：
[0030] S21 :收集人臉圖片并標注對應(yīng)的多個屬性的類別，形成一個訓練數(shù)據(jù)集合；
[0031] S22 :檢測人臉，以及人臉關(guān)鍵點，通過多個關(guān)鍵點對齊人臉；
[0032] S23 :對類別中具有順序的屬性進行編碼；
[0033] S24 :構(gòu)造一個深度神經(jīng)網(wǎng)絡(luò)；
[0034] S25 :利用步驟S21形成的訓練數(shù)據(jù)集合，訓練步驟S24中設(shè)計的深度神經(jīng)網(wǎng)絡(luò)，并 部署訓練得到的神經(jīng)網(wǎng)絡(luò)模型；
[0035] S26 :利用步驟S25中的神經(jīng)網(wǎng)絡(luò)模型，預測圖片中的人臉信息及其屬性值。
[0036] 在另一個優(yōu)選的實施例中，所述識別人臉信息以及屬性值進一步包括：
[0037] S21、計算金字塔特征層數(shù)和縮放比例，根據(jù)欲識別圖像尺寸以及基于人臉模型訓 練得到的縮放最小寬高參數(shù)，計算金字塔特征層數(shù)11_ 8(^1^以及縮放比例S，所述縮放比 例需確?？s放區(qū)域的面積最大化；
[0038] S22、提取金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，將所述金字塔特征層劃分 為完全提取層和近似提取層，分別進行完全提取和近似提取，得到每一層人臉分類所依據(jù) 的特征數(shù)據(jù)；
[0039] 所述完全提取是基于當前得到的縮放比例，從欲識別圖像中獲取縮放后的圖像， 并以獲取的縮放圖像為輸入，根據(jù)人臉模型計算人臉分類所依據(jù)的特征數(shù)據(jù)；
[0040] 所述近似提取是縮放從完全提取層得到的人臉分類所依據(jù)的特征數(shù)據(jù)；
[0041] S23、分類金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，對每一層的金字塔特征數(shù) 據(jù)應(yīng)用分類算法進行分類，所述金字塔特征數(shù)據(jù)包括完全提取層數(shù)據(jù)和近似提取層數(shù)據(jù)；
[0042]S24、得到人臉信息及其屬性值，合并每層的分類結(jié)果，得到人臉信息及其屬性值。
[0043] 優(yōu)選的，在所述步驟S21之前，還包括：S20、圖像預處理，將欲識別圖像的顏色空 間、行列格式轉(zhuǎn)換到人臉模型要求的顏色空間、行列格式。
[0044] 優(yōu)選的，所述方法還包括：S25、將得到的人臉信息及其屬性值，在對應(yīng)的圖像區(qū)域 建立對應(yīng)關(guān)系。
[0045] 本申請通過使用嵌入式系統(tǒng)中基于DSP的快速高效的人臉識別算法，獲取用戶的 獨特的人臉信息和其屬性值，并且能夠通過該人臉信息及其屬性值，搜索內(nèi)部和外部資源， 尋找到和上述屬性值最關(guān)聯(lián)的產(chǎn)品或服務(wù)信息，將其顯示于用戶所見的屏幕上，很好的實 現(xiàn)了人機交互體驗，并且使得產(chǎn)品和服務(wù)的推送更精準更具有針對性和個人特色。
【附圖說明】
[0046] 圖1是基于人臉識別的關(guān)聯(lián)信息推送設(shè)備的整體框架圖；
[0047] 圖2是人臉識別單元基于深度算法的功能結(jié)構(gòu)圖；
[0048] 圖3是人臉識別單元基于金字塔算法的功能結(jié)構(gòu)圖；
[0049] 圖4是基于人臉識別的關(guān)聯(lián)信息推送設(shè)備的實體圖；
[0050] 圖5是深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；
[0051] 圖6是基于人臉識別的關(guān)聯(lián)信息推送方法的流程圖。
【具體實施方式】
[0052] 在一個實施例中，本發(fā)明公開了：基于人臉識別的關(guān)聯(lián)信息推送設(shè)備。
[0053] 下面將結(jié)合附圖1-5對本申請作進一步詳細的描述。
[0054] 如圖1和4所示，該基于人臉識別的關(guān)聯(lián)信息推送設(shè)備1，由外部2和機身3兩部 分組成，其中外部2包括外殼21，攝像裝置22,顯示屏23,機身3內(nèi)設(shè)有處理器31，存儲器 32,數(shù)據(jù)傳輸裝置33和電源34等。所述關(guān)聯(lián)信息推送設(shè)備1可以懸掛于墻面或通過底座 放置于地面。外殼21底部有供電源電路輸入的開口。顯示屏23可以為一般液晶顯示屏， 也可以是其他常見的顯示器，如CRT顯示器，電漿顯示器，或者是常見的觸摸顯示屏，如電 阻式觸摸屏，電容感應(yīng)式觸摸屏，紅外線觸摸屏或表面聲波式觸摸屏。如果顯示屏23為觸 摸顯示屏，則除了顯示圖像和處理器31輸出的信息外，還可以接收來自外界的觸摸輸入或 手勢控制，從而實現(xiàn)人機交互。
[0055] 攝像裝置22可設(shè)于外部2的頂端中間或者其他方便獲取顯示屏23前方出現(xiàn)的圖 像的位置，該攝像裝置22可以為一個或者多個攝像頭，該攝像裝置將獲取的圖像信息或視 頻信息發(fā)送給處理器31。
[0056] 處理器31包括計算單元311，人臉識別單元312,關(guān)聯(lián)信息檢索單元313。存儲器 包括人臉數(shù)據(jù)庫321和關(guān)聯(lián)信息存儲單元322。其中攝像裝置22將實時獲取的顯示屏23 前方環(huán)境中的圖像序列或視頻流信息，發(fā)送給處理器31的人臉識別單元312。
[0057] 該單元檢測輸入的圖像序列或視頻流，判斷是否存在人臉信息，如果存在，則進一 步進行人臉信息及其人臉屬性的識別，如果不存在，則等待下一次輸入。所述人臉信息及其 屬性值，可以是至少一個，也可以是多個，取決于圖像處理能力以及究竟存在幾個人。
[0058] 此外，設(shè)備也可以是除了上述外部2和機身3之外的其他結(jié)構(gòu)形式，例如固定或安 裝在不同位置或區(qū)域的不同部件所組成的設(shè)備，只要有利于實現(xiàn)關(guān)聯(lián)信息的推送和與用戶 的交互。
[0059] 在對圖像序列或視頻流進行檢測時，可以對接收的所有圖像進行檢測，也可以優(yōu) 選的對圖像進行檢測。當所述圖像序列為單幀時，該圖像本身為關(guān)鍵幀；所述圖像序列為多 幀時，從該序列中挑選質(zhì)量好的N幀作為關(guān)鍵幀。其中，質(zhì)量的判斷可以通過對人臉圖片清 晰度、大小、真實人臉、遮擋、光照等等指標進行打分，選取得分高的前N幀作為關(guān)鍵幀。如 果輸入為視頻流，則優(yōu)選的，每隔6幀進行一次人臉檢測。優(yōu)選的，對視頻流經(jīng)解碼處理，獲 取4 :2 :0的YUV數(shù)據(jù)并在格式化后在存儲器上存儲。
[0060] 在對圖像進行檢測時，人臉識別單元312將提取圖像中的人臉位置、人臉關(guān)鍵點， 以及人臉屬性值等信息，所述人臉關(guān)鍵點可包括眼角、眉毛的末端、嘴角、鼻尖等位置信息， 人臉屬性值包括用戶性別、年齡、是否戴眼鏡、帽子、口罩，表情等外觀屬性。本發(fā)明中的關(guān) 聯(lián)信息可以與性別、年齡、是否戴眼鏡、帽子、口罩，表情等外觀屬性具有一對一、多對多、多 對一的映射關(guān)系；也可以進一步通過一個或多個閾值或閾值的序列調(diào)節(jié)映射關(guān)系。人臉識 別單元312將提取出的人臉及其屬性值等信息發(fā)送到關(guān)聯(lián)信息檢索單元313中，并將提取 的人臉及人臉屬性值信息發(fā)送到顯示屏23上顯示，以及存儲器的人臉數(shù)據(jù)庫321中保存。
[0061] 特別地，在另外的實施例中，關(guān)聯(lián)信息發(fā)送到顯示屏顯示時，顯示所述關(guān)聯(lián)信息 時，也同時顯示所述圖像信息中的原始人臉或美化處理后的人臉，并將人臉顯示區(qū)域設(shè)置 于關(guān)聯(lián)信息顯示區(qū)域中。關(guān)聯(lián)信息可以與人臉分別顯示在不同的區(qū)域，此處人臉可以是攝 像頭原始捕獲的人臉圖像，也可以是經(jīng)過美化處理或圖像標識處理或其他處理方式處理后 的人臉圖像。顯示時：顯示人臉的區(qū)域，與顯示關(guān)聯(lián)信息的區(qū)域可以是孤立的、彼此不連通 的；或，顯示人臉的區(qū)域，位于顯示關(guān)聯(lián)信息的區(qū)域中，人臉被關(guān)聯(lián)信息所包圍一一其中，前 者有利于顯示多種不同的關(guān)聯(lián)信息，后者則更能凸顯人