一種基于人臉識(shí)別的表情輸入方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種基于人臉識(shí)別的表情輸入方法和裝置，涉及輸入法【技術(shù)領(lǐng)域】；所述方法包括：啟動(dòng)輸入法；獲取用戶拍攝的照片；采用人臉表情識(shí)別模型確定所述照片中的面部表情對應(yīng)的情感標(biāo)簽；基于情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系，分別獲取所述情感標(biāo)簽的各主題的表情；將所述各主題的表情進(jìn)行排序，并作為候選項(xiàng)在客戶端進(jìn)行展示。本發(fā)明可直接根據(jù)用戶當(dāng)前拍攝的照片，識(shí)別并匹配標(biāo)簽，方便用戶輸入表情，表情準(zhǔn)確度高，并且為用戶提供了豐富、廣范圍的表情資源。
【專利說明】一種基于人臉識(shí)別的表情輸入方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及輸入法【技術(shù)領(lǐng)域】，具體涉及一種基于人臉識(shí)別的表情輸入方法和裝 置。

【背景技術(shù)】
[0002] 輸入法是為將各種符號(hào)輸入計(jì)算機(jī)或其他設(shè)備（如手機(jī)）而采用的編碼方法。常 見的輸入法包括搜狗輸入法，微軟輸入法等等。
[0003] 傳統(tǒng)的表情輸入大致有幾種情況：其一是平臺(tái)本身具有表情輸入模塊，比如qq等 聊天工具嵌入的表情輸入模塊，其自帶默認(rèn)的輸入表情，也可以安裝第三方表情包，用戶也 可以自定義圖片資源作為表情，當(dāng)用戶輸入表情時(shí)，點(diǎn)擊表情的輸入按鈕，選擇表情進(jìn)行輸 入，但是該種情況與輸入法完全脫離，用戶在輸入過程中需要單獨(dú)點(diǎn)擊表情輸入按鈕，逐頁 翻找并點(diǎn)擊自己需要和喜歡的表情來完成輸入過程；
[0004] 其二，是輸入法自帶簡單的符號(hào)表情，當(dāng)用戶輸入到相應(yīng)字符時(shí)，比如（"哈哈"對 應(yīng)的符號(hào)表情"〇( η _ η )〇?")，符號(hào)表情以候選項(xiàng)的形式供用戶選擇。單這種方法的候 選表情簡單，無法給用戶提供豐富多彩的表情輸入。
[0005] 其三，是輸入法提供加載的第三方表情包，提供用戶表情輸入的入口，當(dāng)用戶有需 求輸入表情時(shí)，需要點(diǎn)擊進(jìn)入該應(yīng)用程序表情輸入的入口，然后在大量的表情資源中，逐頁 翻找并點(diǎn)擊自己需要或喜歡的表情完成輸入過程。
[0006] 以按鈕接口的形式嵌入在應(yīng)用程序中，提供給用戶進(jìn)行表情輸入，這種方法存在 多種問題：
[0007] 1.因?yàn)榭紤]到用戶使用表情的操作成本，表情包制作方也會(huì)酌情精簡表情內(nèi)容， 這也從某種程度上制約了聊天表情的發(fā)展和廣泛使用。
[0008] 2.大多數(shù)聊天工具只會(huì)提供默認(rèn)表情。默認(rèn)表情相對比較單調(diào)，更多豐富的多元 化的主題聊天表情資源可以有效提高與朋友聊天的好感度，但是為了使用這些表情，用戶 需要經(jīng)過很多網(wǎng)上操作步驟，從各種渠道獲取表情包信息并將表情包下載到本地，有時(shí)還 需要進(jìn)行手工加載才可以正常使用表情包。對于操作生疏或者沒有足夠耐心的用戶，在網(wǎng) 絡(luò)資源中成功獲取并安裝合適的表情包所花費(fèi)的時(shí)間成本，可能會(huì)導(dǎo)致他們選擇放棄。
[0009] 3.對于下載好的表情包，如果用戶切換聊天平臺(tái)等輸入場景，表情包需要重新下 載或更新，用戶的常用表情收藏信息也同樣面臨移植的問題。
[0010] 4.用戶自己選擇表情，可能由于選擇界面過于復(fù)雜，表情選項(xiàng)過多，無法準(zhǔn)確選中 與自己當(dāng)前實(shí)際表情更相匹配的表情。
[0011] 上述過程輸入的候選表情內(nèi)容僅限于第三方制作好的表情包。若非特意整理，很 多明星人物、政治人物的夸張表情照片、GIF等多媒體資源并不能夠及時(shí)的作為候選表情， 降低了用戶的輸入效率。


【發(fā)明內(nèi)容】

[0012] 鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上 述問題的一種基于人臉識(shí)別的表情輸入裝置和相應(yīng)的一種基于人臉識(shí)別的表情輸入方法。
[0013] 依據(jù)本發(fā)明的一個(gè)方面，提供了一種基于人臉識(shí)別的表情輸入方法，包括：
[0014] 啟動(dòng)輸入法；
[0015] 獲取用戶拍攝的照片；
[0016] 采用人臉表情識(shí)別模型確定所述照片中的面部表情對應(yīng)的情感標(biāo)簽；
[0017] 基于情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系，分別獲取所述情感標(biāo)簽的各主題的 表情；
[0018] 將所述各主題的表情進(jìn)行排序，并作為候選項(xiàng)在客戶端進(jìn)行展示。
[0019] 根據(jù)本發(fā)明的另一方面，提供了一種基于人臉識(shí)別的表情輸入裝置，包括：
[0020] 啟動(dòng)t旲塊，適于啟動(dòng)輸入法；
[0021] 照片獲取模塊，適于獲取用戶拍攝的照片；
[0022] 情感標(biāo)簽確定模塊，適于采用人臉表情識(shí)別模型確定所述照片中的面部表情對應(yīng) 的情感標(biāo)簽；
[0023] 表情獲取|吳塊，適于基于情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系，分別獲取所述 情感標(biāo)簽的各主題的表情；
[0024] 展示模塊，適于將所述各主題的表情進(jìn)行排序，并作為候選項(xiàng)在客戶端進(jìn)行展示。
[0025] 相對現(xiàn)有技術(shù)，本發(fā)明具有如下優(yōu)點(diǎn)：
[0026] 本發(fā)明將各種來源的表情資源數(shù)據(jù)，利用語聊資源數(shù)據(jù)，比如聊天日志（如匿名 獲取qq、微信等聊天工具有表情輸入的聊天日志）、社區(qū)評論（如京東、大眾點(diǎn)評等有表情 輸入的評論內(nèi)容）、社交內(nèi)容（如qq空間、新浪微博、人人網(wǎng)等有表情輸入的狀態(tài)或評論 內(nèi)容），對所有獲取的表情資源數(shù)據(jù)進(jìn)行分析，以構(gòu)建情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān) 系。
[0027] 本發(fā)明通過輸入法獲得用戶拍攝的照片，然后對獲得的照片提取人臉表情特征， 再代入人臉表情識(shí)別模型以確定用戶輸入對應(yīng)的情感標(biāo)簽，然后再根據(jù)構(gòu)建的情感標(biāo)簽和 表情的對應(yīng)關(guān)系，提取對應(yīng)的表情作為候選項(xiàng)以供用戶選擇。
[0028] 上述過程中，
[0029] 其一，直接對用戶拍攝的照片進(jìn)行解析，利用構(gòu)建的人臉表情識(shí)別模型，可精準(zhǔn)的 匹配到當(dāng)前用戶的面部表情，避免用戶在雜亂的大量的表情中選擇表情而導(dǎo)致的可能選擇 錯(cuò)誤或者選擇遲鈍的情況，也加快了表情輸入的效率；
[0030] 其二，上述過程是通過精確匹配用戶表情輸入需求，提高表情的使用效率，降低用 戶在表情輸入過程中翻找待輸入的表情所花費(fèi)的時(shí)間成本；
[0031] 其三，該種方式不用考慮表情包的制作成本和內(nèi)容，可以任意發(fā)揮制作方的創(chuàng)造 力，降低對聊天表情的發(fā)展和廣泛使用的制約；
[0032] 其四，由于本發(fā)明將各主題的表情進(jìn)行集中分類處理，用戶不用到處下載各主題 的表情包，降低用戶尋找表情包的時(shí)間成本；
[0033] 其五，由于本發(fā)明的表情是輸入法的候選項(xiàng)，用戶在切換聊天平臺(tái)等輸入場景時(shí)， 不需要重新下載或更新表情包，也避免用戶的常用表情收藏信息的移植問題；
[0034] 其六，本發(fā)明各主題的表情范圍廣，覆蓋面積大，可以給用戶提供更多、更豐富的 表情。

【專利附圖】

【附圖說明】
[0035] 通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對于本領(lǐng)域普通 技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對本發(fā)明 的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：
[0036] 圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種基于人臉識(shí)別的表情輸入方法的流程 示意圖；
[0037] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的情感標(biāo)簽與各主題中的表情之間的對應(yīng)關(guān) 系的構(gòu)建流程示意圖；
[0038] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的語聊資源示例；
[0039] 圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的建情感識(shí)別模型的構(gòu)建流程示意圖；
[0040] 圖4A示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的根據(jù)情感標(biāo)簽的搜索結(jié)果示例；
[0041] 圖4B示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的從搜索結(jié)果中抽取人臉表情特征示例；
[0042] 圖4C示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的提取用戶照片中的人臉表情特征示例；
[0043] 圖5示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種基于人臉識(shí)別的表情輸入方法的流程 示意圖；
[0044] 圖6示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種基于人臉識(shí)別的表情輸入方法的流程 示意圖；
[0045] 圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種基于人臉識(shí)別的表情輸入裝置的結(jié)構(gòu) 示意圖；
[0046] 圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種基于人臉識(shí)別的表情輸入裝置的結(jié)構(gòu) 示意圖；
[0047] 圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種基于人臉識(shí)別的表情輸入系統(tǒng)的結(jié)構(gòu) 示意圖。

【具體實(shí)施方式】
[0048] 下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。
[0049] 本發(fā)明的核心思想之一是：本發(fā)明將收集的各種來源的表情資源數(shù)據(jù)，比如互聯(lián) 網(wǎng)中各主題的表情包資源（如qq的阿貍、嘻哈猴、郭德綱真人夸張表情照片集等的表情 包）、第三方合作的表情包資源（輸入法直接與卡通表情生產(chǎn)方進(jìn)行合作并搭建獲取流 程）、用戶產(chǎn)生的自定義的表情內(nèi)容（輸入法直接開放接口是用戶可以添加自定義表情并 共享）等表情資源數(shù)據(jù)，利用語聊資源數(shù)據(jù)，比如聊天日志（如匿名獲取qq、微信等聊天工 具有表情輸入的聊天日志）、社區(qū)評論（如京東、大眾點(diǎn)評等有表情輸入的評論內(nèi)容）、社交 內(nèi)容（如qq空間、新浪微博、人人網(wǎng)等有表情輸入的狀態(tài)或評論內(nèi)容），對所有獲取的表情 資源數(shù)據(jù)進(jìn)行分析，按表情類別情感標(biāo)簽與各主題中的表情之間的對應(yīng)關(guān)系，并利用情感 標(biāo)簽與各主題中的表情之間的對應(yīng)關(guān)系構(gòu)建人臉表情識(shí)別模型，然后即可在用戶使用輸入 法的過程中，直接對用戶拍攝的照片中的面部表情進(jìn)行分析和匹配，以直接提供表情候選 項(xiàng)給客戶端，給用戶提供更方便、更快捷、更豐富的表情輸入。
[0050] 實(shí)施例一
[0051] 參照圖1，其示出了本發(fā)明一種基于人臉識(shí)別的表情輸入方法的流程示意圖。
[0052] 在本發(fā)明實(shí)施例中，會(huì)預(yù)先構(gòu)建情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系和人臉表 情識(shí)別模型。
[0053] 下面介紹建情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系的構(gòu)建過程：
[0054] 步驟S100,根據(jù)收集的語聊資源數(shù)據(jù)和各主題的表情資源數(shù)據(jù)構(gòu)建所述情感標(biāo)簽 與各主題中的表情之間的對應(yīng)關(guān)系。
[0055] 本發(fā)明中，情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系可通過收集語聊資源數(shù)據(jù)和各 主題的表情資源數(shù)據(jù)，并利用語聊資源數(shù)據(jù)對表情資源數(shù)據(jù)進(jìn)行分析得到。
[0056] 在本發(fā)明實(shí)施例中，可在線或線下構(gòu)建情感標(biāo)簽與各主題中的表情之間的對應(yīng)關(guān) 系。在本發(fā)明中各種來源的表情資源數(shù)據(jù)包括各種來源下的各種主題的表情資源數(shù)據(jù)。比 如阿貍、嘻哈猴、郭德綱等真人夸張表情照片集等主題表情包。
[0057] 在本發(fā)明實(shí)施例中，可以從不同的數(shù)據(jù)途徑獲取表情資源，比如網(wǎng)絡(luò)中的各種主 題的表情資源（包括自定義主題的表情資源等）。然后利用語聊資源，也即利用海量用戶在 實(shí)際的評論、聊天過程中輸入文本內(nèi)容時(shí)與其輸入的表情的對應(yīng)關(guān)系，通過對用戶輸入的 文本內(nèi)容和與文本內(nèi)容對應(yīng)的表情，對表情資源中的各主題的表情進(jìn)行分類，從而得到關(guān) 鍵詞與表情資源中的各主題的表情的對應(yīng)關(guān)系，該關(guān)鍵詞即可作為情感標(biāo)簽與對應(yīng)的表情 進(jìn)行關(guān)聯(lián)。
[0058] 優(yōu)選的，參照圖2,其示出了本發(fā)明優(yōu)選的構(gòu)建情感標(biāo)簽與各主題中的表情之間對 應(yīng)關(guān)系的方法，即步驟S100包括：
[0059] 步驟S101，獲取語聊資源數(shù)據(jù)和各主題的表情資源數(shù)據(jù)；所述語聊資源數(shù)據(jù)包括 第二表情及其對應(yīng)的文本內(nèi)容；
[0060] 本發(fā)明實(shí)施例可以從多個(gè)方面獲取語聊資源數(shù)據(jù)，語聊資源數(shù)據(jù)是用戶在聊天、 評論等過程中產(chǎn)生的數(shù)據(jù)，其可能在輸入文字時(shí)輸入與文字相關(guān)的表情，比如：聊天日志 (如獲取qq、微信等聊天工具有表情輸入的聊天日志，當(dāng)然在獲取時(shí)可將用戶名等私人信 息進(jìn)行匿名加密處理），社區(qū)評論（如京東、大眾點(diǎn)評等有表情輸入的評論內(nèi)容），社交內(nèi)容 (如qq空間、新浪微博、人人網(wǎng)等有表情輸入的狀態(tài)或評論內(nèi)容）。那么本發(fā)明實(shí)施例則可 通過獲取各種來源的語聊資源數(shù)據(jù)，以收集里面的文本內(nèi)容和與該文本內(nèi)容相關(guān)的第二表 情，以備后續(xù)分析。
[0061] 本發(fā)明也可從多個(gè)方面獲取表情資源數(shù)據(jù)，比如：從互聯(lián)網(wǎng)中獲取各主題的表情 包資源（如qq的阿貍、嘻哈猴、郭德綱真人夸張表情照片集等主題表情包，用戶通過自定義 表情接口添加的自定義表情包，該自定義表情包可以理解為自定義主題表情包），與第三 方合作，直接獲取第三方合作的主題表情包資源（輸入法直接與卡通表情生產(chǎn)方進(jìn)行合作 并搭建獲取流程）等。
[0062] 優(yōu)選的，獲得所述源表情資源數(shù)據(jù)之后還包括：將所述源表情資源數(shù)據(jù)中的表情 轉(zhuǎn)換為統(tǒng)一系統(tǒng)平臺(tái)下的標(biāo)準(zhǔn)格式的表情。
[0063] 由于獲取的原始聊天表情資源與各個(gè)輸入環(huán)境之間存在兼容性的問題，因此，需 要對各種渠道來源的表情制定標(biāo)準(zhǔn)，通過轉(zhuǎn)換和轉(zhuǎn)碼，實(shí)現(xiàn)規(guī)格和編碼在同一系統(tǒng)平臺(tái)的 統(tǒng)一（即移動(dòng)軟件平臺(tái)、PC軟件平臺(tái)均設(shè)立不同的標(biāo)準(zhǔn)）。
[0064] 步驟S102,結(jié)合所述語聊資源數(shù)據(jù)包括的對應(yīng)第二表情的文本內(nèi)容，對所述各主 題的表情資源數(shù)據(jù)中的每個(gè)第一表情分別進(jìn)行分類，基于所述分類后的第一表情構(gòu)建情感 標(biāo)簽與每個(gè)主題的各種表情之間的對應(yīng)關(guān)系。
[0065] 在本發(fā)明實(shí)施例中，上述第一表情是從各種來源獲取的各種主題表情資源中的表 情；第二表情是從各種來源獲取的語聊資源中的表情。在本發(fā)明中，以各主題表包中的表情 為例，對各主題表情中的每個(gè)第一表情進(jìn)行分類，將屬于同一類別的不同主題的表情放入 一個(gè)表情類別中，比如微笑。
[0066]另外，在本發(fā)明中，會(huì)預(yù)先設(shè)置表情類別，比如微笑，大笑，冷笑等表情類別，每個(gè) 表情類別下會(huì)預(yù)先設(shè)置第二分類對應(yīng)的關(guān)鍵詞。分類時(shí)，以表情資源數(shù)據(jù)庫中的第二表情 為分類的目標(biāo)，結(jié)合語聊資源數(shù)據(jù)中對應(yīng)第二表情的文本內(nèi)容，和預(yù)先標(biāo)注好的表情類別， 對表情資源數(shù)據(jù)庫中的第一表情進(jìn)行分類。
[0067] 優(yōu)選的，所述結(jié)合所述語聊資源數(shù)據(jù)包括的對應(yīng)第二表情的文本內(nèi)容，對所述各 主題的表情資源數(shù)據(jù)中的每個(gè)第一表情分別進(jìn)行分類，包括：
[0068] 子步驟S1021，根據(jù)所述語聊資源數(shù)據(jù)包括的第二表情及其文本內(nèi)容，分別挖掘所 述表情資源數(shù)據(jù)中每個(gè)主題的各個(gè)第一表情各自對應(yīng)的各第一關(guān)鍵詞；
[0069] 在本發(fā)明實(shí)施例中，語聊資源數(shù)據(jù)中的第二表情基本上包含于表情資源數(shù)據(jù)中的 第二表情中，那么對于兩者，可通過表情匹配獲取第一表情的文本內(nèi)容，從而可從所述文本 內(nèi)容中挖掘第一表情的第一關(guān)鍵詞。所述第一關(guān)鍵詞為所述表情資源數(shù)據(jù)中第一表情對應(yīng) 預(yù)置的標(biāo)簽文字。
[0070] 優(yōu)選的，本子步驟S1021包括：
[0071] 子步驟All，使用符號(hào)匹配規(guī)則和圖片內(nèi)容判斷規(guī)則從所述語聊資源數(shù)據(jù)中提取 所述第二表情和所述第二表情對應(yīng)的文本內(nèi)容；
[0072] 對于收集到的各種來源的語聊資源數(shù)據(jù)，其中可能存在大量沒有與表情相關(guān)的文 本內(nèi)容，那么本發(fā)明可通過符號(hào)匹配規(guī)則和圖片內(nèi)容判斷規(guī)則從所述語聊資源數(shù)據(jù)中提取 第二表情和對應(yīng)的文本內(nèi)容。比如對于符號(hào)表情"則可通過符號(hào)匹配規(guī)則獲取其前或 者其后出現(xiàn)的文本內(nèi)容（比如聊天內(nèi)容，或者評論內(nèi)容等）；對于圖片，則可通過圖片內(nèi)容 判斷規(guī)則去判斷圖片是否為表情圖片，如果是，則提取該圖片之前和/或者之后的文本內(nèi) 容。其中，圖片內(nèi)容判斷規(guī)則采用通用的圖片內(nèi)容判斷方法即可，本發(fā)明不對其加以限制， 比如通過預(yù)先對各種類別的表情圖片，收集大量樣本進(jìn)行像素矩陣訓(xùn)練（訓(xùn)練方法可以采 用任意一種，本發(fā)明不對其加以限制），獲得表情圖片識(shí)別模型，那么對于語聊資源數(shù)據(jù)中 的圖片表情，則可獲取其像素矩陣，然后輸入表情圖片識(shí)別模型進(jìn)行識(shí)別。
[0073] 子步驟A12,在所述各主題的表情資源數(shù)據(jù)中，分別將所述第一表情與提取的第二 表情進(jìn)行匹配，匹配成功則分別將第一表情與第二表情的文本內(nèi)容進(jìn)行關(guān)聯(lián)，并從所述文 本內(nèi)容中挖掘各第一關(guān)鍵詞與第一表情進(jìn)行對應(yīng)。
[0074] 具體的，本步驟將所述源表情資源數(shù)據(jù)中的第一表情與從所述語聊資源數(shù)據(jù)中提 取的第二表情進(jìn)行匹配。即在本發(fā)明實(shí)施例中，在提取了第二表情及其對應(yīng)的文本內(nèi)容后， 那么即可將第二表情和各主題的表情資源數(shù)據(jù)中的第一表情進(jìn)行匹配，該匹配可以是一一 匹配，也可以是模糊匹配（即對相似度高于閾值的圖片也進(jìn)行匹配）。
[0075] 然后，對于匹配上的第一表情，則將其與第二表情對應(yīng)的文本內(nèi)容進(jìn)行關(guān)聯(lián)，并從 所述文本內(nèi)容中挖掘各第一關(guān)鍵詞。
[0076] 子步驟S1022,根據(jù)所述第一關(guān)鍵詞和預(yù)置的對應(yīng)每個(gè)表情類別的各第二關(guān)鍵詞， 對所述各第一表情分別進(jìn)行分類。
[0077] 在本發(fā)明實(shí)施例中，會(huì)預(yù)置各種表情類別，可通過結(jié)合人工標(biāo)注的方法，確定所有 的標(biāo)志性的明確細(xì)分的表情類別（包括微笑、哈哈大笑、猥瑣的笑等等），在每個(gè)表情類別 下會(huì)設(shè)置與該類別強(qiáng)相關(guān)的各第二關(guān)鍵詞。
[0078] 然后即可針對第一表情的各關(guān)鍵詞和預(yù)置的每個(gè)表情類別下的各第二關(guān)鍵詞，對 各個(gè)第一表情進(jìn)行分類。
[0079] 優(yōu)選的，所述子步驟S1022包括：
[0080] 子步驟A13,針對匹配上的各第一表情，基于每個(gè)表情類別下的各第二關(guān)鍵詞，以 該第一表情下的各第一關(guān)鍵詞進(jìn)行情感分類預(yù)測，確定所述第一表情的表情類別；
[0081] 在本發(fā)明實(shí)施例中，使用通用的情感分析分類的方法，基于第一表情下面的第一 關(guān)鍵詞進(jìn)行預(yù)測，以對第一表情進(jìn)行分類，從而確定每個(gè)表情的所屬類別。情感分析分類 方法原理大致為：利用每個(gè)類別的標(biāo)注樣本訓(xùn)練分類器，比如利用樸素貝葉斯方法（Naive Bayes，NB)構(gòu)建分類器，然后針對每個(gè)分類對象的分類特征（在本發(fā)明實(shí)施例中，第一表情 為分類對象，相應(yīng)第一關(guān)鍵詞即為分類特征）利用所述分類器進(jìn)行識(shí)別。在本發(fā)明實(shí)施例 中，對各個(gè)類別表情類別分別對應(yīng)一個(gè)情感分值，比如大笑為+5,微笑+4,猥瑣的笑+3等， 分別與分類器的分類結(jié)果對應(yīng)。
[0082] 子步驟A14,針對未匹配上的各第一表情，基于每個(gè)表情類別下的各第二關(guān)鍵詞， 將所述第一表情標(biāo)注為具體的表情類別。
[0083] 而對于表情資源數(shù)據(jù)中的未匹配上的各第一表情，即沒有文本內(nèi)容以挖掘第一關(guān) 鍵詞的第一表情，本發(fā)明可以通過標(biāo)注指派到具體的表情分類。
[0084] 再分類完畢后，根據(jù)各表情所屬類別的關(guān)鍵詞以及挖掘的關(guān)鍵詞與表情的對應(yīng)關(guān) 系，將各表情所屬類別的關(guān)鍵詞以及挖掘的關(guān)鍵詞作為該表情的情感標(biāo)簽。
[0085] 優(yōu)選的，所述基于所述分類后的第一表情構(gòu)建情感標(biāo)簽與每個(gè)主題的各種表情之 間的對應(yīng)關(guān)系包括：
[0086] 子步驟S1023,針對每個(gè)主題的第一表情，將其對應(yīng)的第一關(guān)鍵詞和第二關(guān)鍵詞合 并為所述第一表情的情感標(biāo)簽，從而獲得情感標(biāo)簽與每個(gè)主題中的表情的對應(yīng)關(guān)系。
[0087] 在本發(fā)明實(shí)施例中，可將分析得到的每個(gè)第一表情的第一關(guān)鍵詞和第二關(guān)鍵詞合 并為該第一表情的情感標(biāo)簽，那么即可獲得情感標(biāo)簽與每個(gè)主題中的表情的對應(yīng)關(guān)系。
[0088] 在其他實(shí)施例中，所述情感標(biāo)簽與各主題中的表情之間的對應(yīng)關(guān)系可通過：
[0089] 步驟S103,根據(jù)所述情感標(biāo)簽的近義詞和所述近義詞分別在各主題中的對應(yīng)表情 的構(gòu)建所述情感標(biāo)簽與各主題中的表情之間的對應(yīng)關(guān)系。
[0090] 所述情感標(biāo)簽的近義詞和所述近義詞分別在各主題中的對應(yīng)表情的進(jìn)行構(gòu)建。通 過預(yù)置的詞典查找所述情感標(biāo)簽的近義詞，將各近義詞分別在各主題的表情包中進(jìn)行檢 索，獲取各近義詞分別對應(yīng)的表情，從而得到所述情感標(biāo)簽與各主題的表情的對應(yīng)關(guān)系。
[0091] 比如，預(yù)先針對每一個(gè)表情類別選定一個(gè)基礎(chǔ)的情感標(biāo)簽，然后針對每個(gè)類別的 基礎(chǔ)的情感標(biāo)簽，通過查詢預(yù)置的詞典，獲得該基礎(chǔ)情感標(biāo)簽的近義詞，然后基于每個(gè)近義 詞獲取各主題的表情資源中對應(yīng)的表情，那么即可以該基礎(chǔ)的情感標(biāo)簽對應(yīng)到不同近義詞 的表情。
[0092] 當(dāng)然，本發(fā)明還可以人工配置情感標(biāo)簽和表情之間的對應(yīng)關(guān)系。即選擇情感標(biāo)簽， 然后人工將各主題中的相應(yīng)表情與該情感標(biāo)簽對應(yīng)。
[0093] 優(yōu)選的，在合并之前，還包括：根據(jù)語聊資源數(shù)據(jù)中對各第一關(guān)鍵詞的使用頻率， 對各第一關(guān)鍵詞進(jìn)行篩選，將篩選后的第一關(guān)鍵詞和第二關(guān)鍵詞合并為該第一表情的標(biāo)簽 詞匯。
[0094] 即將使用頻率大于閾值的第一關(guān)鍵詞保留，然后和第二關(guān)鍵詞合并為該第一表情 的標(biāo)簽詞匯。當(dāng)然，對于不存在第一關(guān)鍵詞的第一表情，直接采用第二關(guān)鍵詞作為該第一表 情的標(biāo)簽詞匯。
[0095] 優(yōu)選的，在合并之前，可對類別關(guān)鍵詞進(jìn)行優(yōu)化，即將某一類別下的所有的表情的 第一關(guān)鍵詞和初始確定的第二關(guān)鍵詞進(jìn)行匯總，將在語聊資源數(shù)據(jù)中詞頻大于閾值的各關(guān) 鍵詞作為最終的第二關(guān)鍵詞。
[0096] 當(dāng)然，還可將各表情情感標(biāo)簽進(jìn)行匯總，構(gòu)建索引；所述索引為各情感標(biāo)簽到表情 的對應(yīng)關(guān)系。
[0097] 本步驟可優(yōu)化類別的關(guān)鍵詞，使其更精準(zhǔn)。
[0098] 下面以一個(gè)實(shí)際例子一說明上述過程：
[0099] 1，從微博默認(rèn)表情，我們知道"V5"這個(gè)符號(hào)是一種表情。
[0100] 2,從新浪微博獲取帶有表情圖片的微博。例如，網(wǎng)友稱贊李娜獲得澳網(wǎng)冠軍的微 博。參照圖3。
[0101] 3,利用微博數(shù)據(jù)接口獲得諸如此類的微博內(nèi)容，利用原始表情數(shù)據(jù)庫的內(nèi)容記 錄，可以將微博識(shí)別成文字部分"李娜實(shí)在是太棒了！驕傲！"和表情"V5"以及李冰冰微 博的文字部分"你是我們李家的驕傲……"和表情"V5"。于是，這兩段文字都可以作為表 情"V5"的描述文字。抽取其中的形容詞，可以發(fā)現(xiàn)"驕傲"出現(xiàn)了 2次，"太棒了"出現(xiàn)了 1 次。提取其中的高頻詞匯可知，"驕傲"是所有類似微博所表達(dá)的核心情感的文字。因此， 可以建立文字"驕傲"和表情"V5"之間的關(guān)系，并存入表情標(biāo)簽關(guān)系庫。同理，更多包含表 情"V5"的微博內(nèi)容集中在一起可以獲得"V5"表情的描述關(guān)鍵詞集合。那么即可將V5的 關(guān)鍵詞作為其情感標(biāo)簽，即得到情感標(biāo)簽和表情的對應(yīng)關(guān)系。
[0102] 下面介紹人臉表情識(shí)別模型構(gòu)建過程：
[0103] 在本發(fā)明中可根據(jù)情感標(biāo)簽與各主題中的表情之間的對應(yīng)關(guān)系中的情感標(biāo)簽構(gòu) 建情感識(shí)別模型，參照圖4,可包括 ：
[0104] 步驟S201，針對每種表情類別，以所述表情類別下對應(yīng)的情感標(biāo)簽檢索各人臉表 情圖片；
[0105] 在如述步驟中構(gòu)建了情感標(biāo)簽和表情的對應(yīng)關(guān)系后，其各情感標(biāo)簽對應(yīng)一個(gè)表情 類別，那么本發(fā)明以一個(gè)表情類別為單位，提取該表情類別下的各情感標(biāo)簽，輸入搜索引擎 搜索人臉表情圖片。當(dāng)然，本發(fā)明實(shí)施例中對如述獲得的情感標(biāo)簽和表情之間的對應(yīng)關(guān)系 還可進(jìn)行人工標(biāo)注整理和標(biāo)注，確定所有情感的細(xì)分標(biāo)簽，及其確定的表情樣例，比如高 興、哈哈大笑、得瑟等等。然后以整理后的情感標(biāo)簽作為查詢詞去搜索引擎檢索人臉表情圖 片。
[0106] 優(yōu)選的，所述步驟S201包括：
[0107] 子步驟B11，針對每種表情類別，以所述表情類別下的情感標(biāo)簽檢索各圖片；
[0108] 比如，獲取到前述情感標(biāo)簽后，以微笑類別的情感標(biāo)簽"微笑"，在搜狗圖片和百度 圖片等圖片垂直搜索中分別查詢微笑，獲得大量的照片或者圖片資源。
[0109] 子步驟B12,針對所述各圖片，過濾非人臉的圖片。
[0110] 優(yōu)選的，子步驟B12包括：
[0111] 子步驟B121，將各圖片進(jìn)行灰度的歸一化；
[0112] 比如將大于閾值的灰度歸一化為黑，小于閾值的灰度歸一化為白。
[0113] 子步驟B122,使用預(yù)置的Haar分類器對訓(xùn)練數(shù)據(jù)圖片的人臉進(jìn)行檢測，過濾非人 臉的圖片。
[0114] 本步驟使用事先訓(xùn)練好的Haar分類器對訓(xùn)練數(shù)據(jù)圖片的人臉進(jìn)行檢測。過濾沒 有人臉的圖片，保留人臉表情圖片。
[0115] 其中，Haar分類器算法的要點(diǎn)如下：
[0116] ①使用Haar-like特征做檢測。
[0117] ②使用積分圖（Integral Image)對Haar-like特征求值進(jìn)行加速。
[0118] ③使用AdaBoost算法訓(xùn)練區(qū)分人臉和非人臉的強(qiáng)分類器。
[0119] ④使用篩選式級聯(lián)把強(qiáng)分類器級聯(lián)到一起，提高準(zhǔn)確率。
[0120] 其中，Haar-like特征應(yīng)用于人臉表示，分為3種類型4種形式的特征：1類：邊緣 特征，2類：線性特征，3類：中心特征和對角線特征。Haar特征值反映了圖像的灰度變化情 況。例如：臉部的一些特征能由矩形特征簡單的描述，如：眼睛要比臉頰顏色要深，鼻梁兩 側(cè)比鼻梁顏色要深，嘴巴比周圍顏色要深等。以上述的特征組合成特征模板，特征模板內(nèi)有 白色和黑色兩種矩形，并定義該模板的特征值為白色矩形像素和減去黑色矩形像素和。通 過改變特征模板的大小和位置，可在圖像子窗口中窮舉出大量的特征。上圖的特征模板稱 為"特征原型";特征原型在圖像子窗口中擴(kuò)展（平移伸縮）得到的特征稱為"矩形特征"； 矩形特征的值稱為"特征值"。矩形特征可位于圖像任意位置，大小也可以任意改變，所以矩 形特征值是矩形模版類別、矩形位置和矩形大小這三個(gè)因素的函數(shù)。
[0121] 本發(fā)明可通過如下過程訓(xùn)練Haar分類器：
[0122] 首先訓(xùn)練弱分類器：
[0123]

【權(quán)利要求】
1. 一種基于人臉識(shí)別的表情輸入方法，其特征在于，包括： 啟動(dòng)輸入法； 獲取用戶拍攝的照片； 采用人臉表情識(shí)別模型確定所述照片中的面部表情對應(yīng)的情感標(biāo)簽； 基于情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系，分別獲取所述情感標(biāo)簽的各主題的表 情； 將所述各主題的表情進(jìn)行排序，并作為候選項(xiàng)在客戶端進(jìn)行展示。
2. 如權(quán)利要求1所述的方法，其特征在于，所述情感標(biāo)簽與各主題中的表情之間的對 應(yīng)關(guān)系通過以下步驟構(gòu)建： 根據(jù)收集的語聊資源數(shù)據(jù)和各主題的表情資源數(shù)據(jù)構(gòu)建所述情感標(biāo)簽與各主題的表 情之間的對應(yīng)關(guān)系； 或者根據(jù)所述情感標(biāo)簽的近義詞和所述近義詞分別在各主題對應(yīng)的表情構(gòu)建所述情 感標(biāo)簽與各主題的表情之間的對應(yīng)關(guān)系。
3. 如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)收集的語聊資源數(shù)據(jù)和各主題的 表情資源數(shù)據(jù)構(gòu)建所述情感標(biāo)簽與各主題的表情之間的對應(yīng)關(guān)系包括： 獲取語聊資源數(shù)據(jù)和各主題的表情資源數(shù)據(jù)；所述語聊資源數(shù)據(jù)包括第二表情及其對 應(yīng)的文本內(nèi)容； 結(jié)合所述語聊資源數(shù)據(jù)包括的對應(yīng)第二表情的文本內(nèi)容，對所述各主題的表情資源數(shù) 據(jù)中的每個(gè)第一表情分別進(jìn)行分類，基于所述分類后的第一表情構(gòu)建情感標(biāo)簽與每個(gè)主題 的各種表情之間的對應(yīng)關(guān)系。
4. 如權(quán)利要求3所述的方法，其特征在于，所述結(jié)合所述語聊資源數(shù)據(jù)包括的對應(yīng) 第二表情的文本內(nèi)容，對所述各主題的表情資源數(shù)據(jù)中的每個(gè)第一表情分別進(jìn)行分類，包 括： 根據(jù)所述語聊資源數(shù)據(jù)包括的第二表情及其文本內(nèi)容，分別挖掘所述表情資源數(shù)據(jù)中 每個(gè)主題的各個(gè)第一表情各自對應(yīng)的各第一關(guān)鍵詞； 根據(jù)所述第一關(guān)鍵詞和預(yù)置的對應(yīng)每個(gè)表情類別的各第二關(guān)鍵詞，對所述各第一表情 分別進(jìn)行分類。
5. 如權(quán)利要求4所述的方法，其特征在于，根據(jù)所述語聊資源數(shù)據(jù)包括的第二表情及 其文本內(nèi)容，分別挖掘所述表情資源數(shù)據(jù)中每個(gè)主題的各個(gè)第一表情對應(yīng)的各第一關(guān)鍵 詞，包括： 使用符號(hào)匹配規(guī)則和圖片內(nèi)容判斷規(guī)則從所述語聊資源數(shù)據(jù)中提取所述第二表情和 所述第二表情對應(yīng)的文本內(nèi)容； 在所述各主題的表情資源數(shù)據(jù)中，分別將所述第一表情與提取的第二表情進(jìn)行匹配， 匹配成功則分別將第一表情與第二表情的文本內(nèi)容進(jìn)行關(guān)聯(lián)，并從所述文本內(nèi)容中挖掘各 第一關(guān)鍵詞與第一表情進(jìn)行對應(yīng)。
6. 如權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述第一關(guān)鍵詞和預(yù)置的每個(gè)表 情類別下的各第二關(guān)鍵詞，對所述各第一表情分別進(jìn)行分類，包括 ： 針對匹配上的各第一表情，基于每個(gè)表情類別下的各第二關(guān)鍵詞，以該第一表情下的 各第一關(guān)鍵詞進(jìn)行情感分類預(yù)測，確定所述第一表情的表情類別； 針對未匹配上的各第一表情，基于每個(gè)表情類別下的各第二關(guān)鍵詞，將所述第一表情 標(biāo)注為具體的表情類別。
7. 如權(quán)利要求4所述的方法，其特征在于，所述基于所述分類后的第一表情構(gòu)建情感 標(biāo)簽與每個(gè)主題的各種表情之間的對應(yīng)關(guān)系包括： 針對每個(gè)主題的第一表情，將其對應(yīng)的第一關(guān)鍵詞和第二關(guān)鍵詞合并為所述第一表情 的情感標(biāo)簽，從而獲得情感標(biāo)簽與每個(gè)主題中的表情的對應(yīng)關(guān)系。
8. 如權(quán)利要求1所述的方法，其特征在于，所述人臉表情識(shí)別模型通過以下步驟構(gòu)建： 針對每種表情類別，以所述表情類別下對應(yīng)的情感標(biāo)簽檢索各人臉表情圖片； 針對每張人臉表情圖片，提取人臉表情特征； 以各人臉表情特征和對應(yīng)的表情類別訓(xùn)練人臉表情識(shí)別模型。
9. 如權(quán)利要求8所述的方法，其特征在于，所述采用人臉表情識(shí)別模型確定所述照片 中的人臉對應(yīng)的情感標(biāo)簽包括： 從所述照片中提取人臉對應(yīng)的表情特征，采用人臉表情識(shí)別模型對于所述表情特征進(jìn) 行分類； 根據(jù)分類的到的表情類別獲取對應(yīng)的情感標(biāo)簽。
10. 如權(quán)利要求1所述的方法，其特征在于，所述將所述各主題的表情進(jìn)行排序包括： 針對每個(gè)表情類別的各第一表情，根據(jù)所述第一表情在語聊資源數(shù)據(jù)中的出現(xiàn)次數(shù)和 /或用戶的個(gè)性化信息對相應(yīng)候選項(xiàng)進(jìn)行排序。
11. 一種基于人臉識(shí)別的表情輸入裝置，其特征在于，包括： 啟動(dòng)模塊，適于啟動(dòng)輸入法； 照片獲取模塊，適于獲取用戶拍攝的照片； 情感標(biāo)簽確定模塊，適于采用人臉表情識(shí)別模型確定所述照片中的面部表情對應(yīng)的情 感標(biāo)簽； 表情獲取模塊，適于基于情感標(biāo)簽與各主題中的表情的對應(yīng)關(guān)系，分別獲取所述情感 標(biāo)簽的各主題的表情； 展示模塊，適于將所述各主題的表情進(jìn)行排序，并作為候選項(xiàng)在客戶端進(jìn)行展示。
12. 如權(quán)利要求11所述的方法，其特征在于，還包括關(guān)系構(gòu)建模塊，適于根據(jù)收集的 語聊資源數(shù)據(jù)和各主題的表情資源數(shù)據(jù)構(gòu)建所述情感標(biāo)簽與各主題的表情之間的對應(yīng)關(guān) 系； 或者根據(jù)所述情感標(biāo)簽的近義詞和所述近義詞分別在各主題對應(yīng)的表情構(gòu)建所述情 感標(biāo)簽與各主題的表情之間的對應(yīng)關(guān)系。
13. 如權(quán)利要求12所述的裝置，其特征在于，所述關(guān)系構(gòu)建模塊包括： 資源獲取模塊，適于獲取語聊資源數(shù)據(jù)和各主題的表情資源數(shù)據(jù)；所述語聊資源數(shù)據(jù) 包括第二表情及其對應(yīng)的文本內(nèi)容； 第一構(gòu)建模塊，適于結(jié)合所述語聊資源數(shù)據(jù)包括的對應(yīng)第二表情的文本內(nèi)容，對所述 各主題的表情資源數(shù)據(jù)中的每個(gè)第一表情分別進(jìn)行分類，基于所述分類后的第一表情構(gòu)建 情感標(biāo)簽與每個(gè)主題的各種表情之間的對應(yīng)關(guān)系。
14. 如權(quán)利要求11所述的裝置，其特征在于，還包括人臉表情識(shí)別模型構(gòu)建模塊，所述 人臉表情識(shí)別模型構(gòu)建模塊具體包括： 圖片獲取模塊，適于針對每種表情類別，以所述表情類別下對應(yīng)的情感標(biāo)簽檢索各人 臉表情圖片； 表情特征提取|吳塊，適于針對每張人臉表情圖片，提取人臉表情特征； 模型訓(xùn)練模塊，適于以各人臉表情特征和對應(yīng)的表情類別訓(xùn)練人臉表情識(shí)別模型。
15.如權(quán)利要求11所述的裝置，其特征在于，所述展示模塊包括： 排序模塊，適于針對每個(gè)表情類別的各第一表情，根據(jù)所述第一表情在語聊資源數(shù)據(jù) 中的出現(xiàn)次數(shù)和/或用戶的個(gè)性化信息對相應(yīng)候選項(xiàng)進(jìn)行排序。
【文檔編號(hào)】G06F3/023GK104063683SQ201410251411
【公開日】2014年9月24日 申請日期:2014年6月6日 優(yōu)先權(quán)日:2014年6月6日
【發(fā)明者】顧思宇, 劉華生, 張闊 申請人:北京搜狗科技發(fā)展有限公司