專利名稱：基于仿生代理的多模交互界面描述方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于仿生代理的多模交互界面描述方法，尤其是多模交互標(biāo)記語言
(Multi-model Interaction Markup Language)和仿生代理感知模塊的設(shè)計(jì)實(shí)現(xiàn)，屬于信息技術(shù) 領(lǐng)域。
(二)
背景技術(shù)：
人機(jī)交互己從語言命令階段(CUI)、圖像用戶界面(GUI)交互階段發(fā)展到自然和諧的感性 用戶界面(PUI)交互階段。多模界面是感性用戶界面研究的嶄新領(lǐng)域。在多模界面中，用戶可 以使用自然的交互方式，如語音、手勢、眼祌和表情等與計(jì)算機(jī)交互進(jìn)行協(xié)同工作。然而計(jì) 算機(jī)沒有臉和身體，無法運(yùn)用上述的交互方式。因此具有多模表現(xiàn)能力的仿生代理受到了越 來越多研究者的關(guān)注。利用具有語言會話等多種表現(xiàn)能力的交互式仿生代理的多模表現(xiàn)成為 一種有效的人機(jī)交互方法。情感在人類決策、感知、學(xué)習(xí)以及其它一些類似的行為中發(fā)揮著 重要作用，越來越多的研究者意識到要想真正實(shí)現(xiàn)人與仿生代理之間的和諧感性交互，就要 將情感因素融入其中。情感能夠提供仿生代理所需的自主性，并且是智能的最終來源，也就 是說仿生代理應(yīng)該具有像人類一樣識別情感和表達(dá)情感的能力。這種基于仿生代理的多模界 面很難編碼，因?yàn)橐枋龇律淼膭幼鳌⒄Z音、情感表達(dá)以及情感識別能力是相當(dāng)復(fù)雜的。 為了解決這個問題，國外的一些大學(xué)和研究機(jī)構(gòu)開發(fā)了用于描述仿生代理行為的語言。但現(xiàn) 存的描述語言只能簡單的描述仿生代理的動作、語音和情感表達(dá)能力，并不能描述情感識別 能力。也就是說，現(xiàn)存的語言只能控制仿生代理的被動表現(xiàn)，即根據(jù)預(yù)先設(shè)定的內(nèi)容進(jìn)行動 作、語音和情感的表達(dá)，而沒有實(shí)現(xiàn)對用戶情感的主動感知。因此，設(shè)計(jì)一種基于仿生代理 的多模交互界面描述語言，實(shí)現(xiàn)對仿生代理感知能力的描述對情感化人機(jī)交互的發(fā)展具有重 要意義。
(三)

發(fā)明內(nèi)容
本發(fā)明的目的是①針對目前國內(nèi)在仿生代理描述語言領(lǐng)域的空白及目前國外的仿生代
理描述語言只能描述仿生代理的動作、語音和情感表達(dá)能力，設(shè)計(jì)開發(fā)了一種基于可擴(kuò)展標(biāo)
記語言(Extensible Markup Language)的能夠描述仿生代理感知能力的多模交互標(biāo)記語言 (Multi-model Interaction Markup Language),真正實(shí)現(xiàn)了仿生代理與用戶的情感交互。通過多 模交互界面生成軟件屏蔽了底層代碼，能夠使普通用戶(非專業(yè)程序員)輕松的開發(fā)出基于
183-203)，其通過調(diào)用仿生代理模塊中的函數(shù)實(shí)現(xiàn)了對仿生代理動作、語音及情感表達(dá)的控 制。右邊perception方框及所包含部分為本發(fā)明設(shè)計(jì)實(shí)現(xiàn)的感知模塊，實(shí)現(xiàn)了對仿生代理情 感識別能力的描述。圖4所示為該部分的DTD定義?！磒erceptior^為感知模塊的根元素； 々motionrecognitior^為情感識別模塊的根元素；〈fece〉用來調(diào)用表情識別控件，此元素的align 屬性確定控件在背景網(wǎng)頁中的位置；々ecogniz。元素將比較表情識別控件所返回的結(jié)果與其 屬性result的值，根據(jù)不同的結(jié)果執(zhí)行不同的操作；〈speecb與〈tex^為定義的備用元素，用 來實(shí)現(xiàn)情感語音識別控件與文本情感提取控件的擴(kuò)展。
步驟2:根據(jù)所定義的元素及屬性編寫多模交互標(biāo)記語言代碼；
步驟3:對所編寫的多模交互標(biāo)記語言代碼進(jìn)行有效性驗(yàn)證；
歩驟4:對經(jīng)過有效性驗(yàn)證的代碼進(jìn)行解析轉(zhuǎn)換。采用微軟MSXML.DLL動態(tài)鏈接庫中 提供的XML簡單接口 SAX(Simple APIs for XML)實(shí)現(xiàn)對多模交互標(biāo)記語言代碼的解析，同時 按照規(guī)則實(shí)現(xiàn)多模交互標(biāo)記語言代碼到Vbscript代碼的轉(zhuǎn)換；
步驟5:將轉(zhuǎn)換的Vbscript代碼嵌入相應(yīng)的網(wǎng)頁背景中，調(diào)用仿生代理模塊及感知模塊
的相關(guān)函數(shù)實(shí)現(xiàn)交互。
二、關(guān)于仿生代理感知模塊表情識別控件的實(shí)現(xiàn)方法；其步驟如下 步驟l:采用Viola提出的積分圖像和AdaBoost算法相結(jié)合的方法(P. Viola, M. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features [A]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (電氣和電子工程師協(xié)會2001年計(jì)算機(jī) 視覺和模式識別會議)[C]. 2001.511-518)，實(shí)現(xiàn)人臉檢測器；
歩驟2:設(shè)選定的3種單一表情高興、生氣和驚訝為e,，e2，^，平靜表情為e。，對于每種 選定的單一表情e,，以該類表情樣本為正例樣本，其它各類表情樣本及平靜樣本為反例樣本， 基于人臉檢測器的改進(jìn)方法訓(xùn)練專門表情分類器、；人臉檢測器和專門表情分類器是兩種不
同的算法，人臉檢測器的輸出為0或1， 0代表非人臉，l代表人臉；專門表情分類器通過下 述式(O將輸出改為[O， l]區(qū)間的實(shí)數(shù)，
式中&為專門表情分類器，r為循環(huán)次數(shù)，&,為每輪選取的誤差最小的弱分類器，
a, =l0giz￡L，其中《為A,的判別誤差；
步驟3:最終表情分類器7f從各專門表情分類器&的得分中選取最高分，若最高分超過
式中&為專門表情分類器，r為循環(huán)次數(shù)，^,為每輪選取的誤差最小的弱分類器，
a,=l0glZfL，其中《為乜的判別誤差；
步驟3:最終表情分類器//從各專門表情分類器&的得分中選取最高分，若最高分超過
設(shè)定的閾值，則判決為獲得最高分的專門表情分類器對應(yīng)的表情，否則判定為平靜表情。
最終表情分類器/Z的表達(dá)式如式(2)，最終表情分類器7/從3個專門表情分類器&的得
分中選取最高分，若最高分超過設(shè)定的閾值^，則判決為獲得最高分的專門表情分類器對應(yīng) 的表情，否則判定為平靜表情e。，通過調(diào)整閾值0，可獲得較高的識別率。
式中//為最終表情分類器，^為單一表情e,的專門表情分類器，e。為平靜表情，^為設(shè)定的 閾值，/e{l,2，3}。
為了方便實(shí)現(xiàn)基于仿生代理的多模交互界面描述，根據(jù)上述描述方法開發(fā)了多模交互界 面生成軟件，流程框圖如圖2所示。該軟件通過編譯系統(tǒng)實(shí)現(xiàn)對多模交互標(biāo)記語言的解析轉(zhuǎn) 換，編譯系統(tǒng)主要由有效性驗(yàn)證模塊、代碼解析模塊和代碼轉(zhuǎn)換模塊組成。其中有效性驗(yàn)證 模塊調(diào)用DTD(Document Type Definition)驗(yàn)證用戶所編寫的多模交互標(biāo)記語言代碼的有效性； 代碼解析模塊通過調(diào)用MSXML.DLL中的XML簡單接口 SAX(Simple APIs for XML)實(shí)現(xiàn)對 多模交互標(biāo)記語言代碼的解析；代碼轉(zhuǎn)換模塊將經(jīng)過解析的代碼轉(zhuǎn)換為VbScript代碼嵌入到 相應(yīng)的背景網(wǎng)頁中。控件模塊主要由仿生代理模塊和情感識別模塊組成。其中仿生代理模塊 使用了微軟公司提供的MsAgent ActiveX控件，而情感識別模塊目前主要由表情識別控件組 成。
本發(fā)明一種基于仿生代理的多模交互界面描述方法，其優(yōu)點(diǎn)和積極效果在于
1. 該仿生代理多模交互標(biāo)記語言不僅實(shí)現(xiàn)了對多模交互界面中仿生代理動作、語音和情 感表達(dá)能力的描述，而且實(shí)現(xiàn)了對仿生代理感知能力的描述?？梢允狗律砀鶕?jù)用戶表情 做出恰當(dāng)?shù)姆磻?yīng)，實(shí)現(xiàn)主動交互；
2. 該仿生代理多模交互標(biāo)記語言基于可擴(kuò)展標(biāo)記語言(Extensible Markup Language)設(shè)計(jì)， 元素及屬性簡單易記，通過多模交互界面生成軟件屏蔽了底層代碼，能夠使普通用戶輕松開發(fā)出基于網(wǎng)頁的仿生代理多模交互界面；
3.仿生代理感知模塊具有很強(qiáng)的擴(kuò)展性，可以加入語音情感識別控件和文本情感提取控 件等，只要根據(jù)所開發(fā)的控件加入相應(yīng)的元素及轉(zhuǎn)換法則即可實(shí)現(xiàn)擴(kuò)展，因此可以實(shí)現(xiàn)多通 道的情感交互。如圖3中的備用框所示。


圖l多模交互系統(tǒng)框圖。 圖2多模交互界面生成軟件流程框圖。 圖3多模交互標(biāo)記語言元素框架。 圖4多模交互標(biāo)記語言感知模塊DTD定義。 圖5感知模塊人臉表情分類器判決。 圖6多模交互標(biāo)記語言示例。 圖7多模交互標(biāo)記語言描述效果1 。 圖8多模交互標(biāo)記語言描述效果2。 圖3中所列元素及其描述內(nèi)容說明如下
元素描述內(nèi)容
miml整個代碼的根元素
head描述代碼頭文件部分
body描述代碼主體文件部分
title描述代碼文件名稱
meta描述作者相關(guān)信息
spot描述仿生代理出現(xiàn)位置
ag6nt描述仿生代理名稱
page描述背景網(wǎng)頁名稱
listen描述語音輸入模塊
heard描述仿生代理接收用戶語音輸入
Play描述仿生代理動作
speak描述仿生代理語音表達(dá)
move描述仿生代理移動
jump描述網(wǎng)頁跳轉(zhuǎn)
perception描述仿生代理感知模塊
emotionrecognition描述仿生代理情感識別模塊
face描述調(diào)用表情識別控件
speech描述調(diào)用情感語音識別控件(備用)
text描述調(diào)用文本情感提取控件(備用)
recognize比較返回結(jié)果與其屬性result的值
具體實(shí)施例方式
本發(fā)明一種基于仿生代理的多模交互界面描述方法，包括多模交互標(biāo)記語言及感知模塊
的設(shè)計(jì)實(shí)現(xiàn)；其中-
一、關(guān)于使用多模交互標(biāo)記語言實(shí)現(xiàn)對多模交互系統(tǒng)的描述，其步驟如下-
步驟1:多模交互標(biāo)記語言元素及屬性定義，包括對國外現(xiàn)存的標(biāo)記語言中相關(guān)元素及
屬性的繼承以及感知模塊中元素及屬性的定義，圖3左邊白色方框部分為繼承自多模表現(xiàn)標(biāo)
記語言(Multi-model Presentation Markup Language)中的元素(DTD定義等詳細(xì)說明請參考文 獻(xiàn)Prendinger H， Descamps S, Ishizuka M， MPML: A Markup Language for Controlling the Behavior of Life-like Characters, o/Pfewa/丄a"gwages朋d Compw"/7g,阪/5,油.2， 2004.
183-203)，其通過調(diào)用仿生代理模塊中的函數(shù)實(shí)現(xiàn)了對仿生代理動作、語音及情感表達(dá)的控 制。右邊深色方框部分為本發(fā)明設(shè)計(jì)實(shí)現(xiàn)的感知模塊，實(shí)現(xiàn)了對仿生代理情感識別能力的描 述。圖4所示為該部分的DTD定義?！磒erception〉為感知模塊的根元素<emotionrecognition> 為情感識別模塊的根元素；《ace〉用來調(diào)用表情識別控件，此元素的align屬性確定控件在背 景網(wǎng)頁中的位置；々ecognize〉元素將比較表情識別控件所返回的結(jié)果與其屬性result的值， 根據(jù)不同的結(jié)果執(zhí)行不同的操作；〈speecl^與〈texP為定義的備用元素，用來實(shí)現(xiàn)情感語音識 別控件與文本情感提取控件的擴(kuò)展。
步驟2:根據(jù)所定義的元素及屬性編寫多模交互標(biāo)記語言代碼；
步驟3:對所編寫的多模交互標(biāo)記語言代碼進(jìn)行有效性驗(yàn)證；
步驟4:對經(jīng)過有效性驗(yàn)證的代碼進(jìn)行解析轉(zhuǎn)換。采用微軟MSXML.DLL動態(tài)鏈接庫中 提供的XML簡單接口 SAX(Simple APIs for XML)實(shí)現(xiàn)對多模交互標(biāo)記語言代碼的解析，同時 按照規(guī)則實(shí)現(xiàn)多模交互標(biāo)記語言代碼到Vbscript代碼的轉(zhuǎn)換；
步驟5:將轉(zhuǎn)換的Vbscript代碼嵌入相應(yīng)的網(wǎng)頁背景中，調(diào)用仿生代理模塊及感知模塊 的相關(guān)函數(shù)實(shí)現(xiàn)交互。
二、關(guān)于仿生代理感知模塊表情識別控件的實(shí)現(xiàn)方法；其步驟如下 步驟l:采用Viola提出的積分圖像和AdaBoost算法相結(jié)合的方法(P. Viola， M. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features [A]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (電氣和電子工程師協(xié)會2001年計(jì)算機(jī) 視覺和模式識別會議)[C]. 2001.511-518),實(shí)現(xiàn)人臉檢測器；
步驟2:設(shè)選定的3種單一表情高興、生氣和驚訝為e,， A，平靜表情為e。，對于每種
選定的單一表情e,，以該類表情樣本為正例樣本，其它各類表情樣本及平靜樣本為反例樣本， 基于人臉檢測器的改進(jìn)方法訓(xùn)練專門表情分類器^;人臉檢測器和專門表情分類器是兩種不 同的算法，人臉檢測器的輸出為0或1， 0代表非人臉，l代表人臉；專門表情分類器通過下 述式(1)將輸出改為[O， l]區(qū)間的實(shí)數(shù)，
r
式中&為專門表情分類器，r為循環(huán)次數(shù)，A,為每輪選取的誤差最小的弱分類器，
& = ，其中f,為&的判別誤差；
步驟3:最終表情分類器//從各專門表情分類器/^.的得分中選取最高分，若最高分超過
設(shè)定的閾值，則判決為獲得最高分的專門表情分類器對應(yīng)的表情，否則判定為平靜表情。 最終表情分類器/Z的表達(dá)式如式(2)，最終表情分類器//從3個專門表情分類器、的得
分中選取最高分，若最高分超過設(shè)定的閾值0，則判決為獲得最高分的專門表情分類器對應(yīng) 的表情，否則判定為平靜表情e。，如圖5所示，通過調(diào)整閾值0，可獲得較高的識別率。
式中//為最終表情分類器，^為單一表情e,的專門表情分類器，e。為平靜表情，P為設(shè)定的 閾值，fe{l,2，3}。
圖6所示為利用多模交互標(biāo)記語言開發(fā)的基于仿生代理的網(wǎng)上購物推薦系統(tǒng)的代碼片 段。圖7和圖8所示為該代碼片段經(jīng)過多模交互界面生成軟件生成的效果。圖6中第4行表 示使用仿生代理genie;第7行表示背景網(wǎng)頁為main.html;第8-11行仿生代理要求用戶以語 音或點(diǎn)擊圖標(biāo)的方式選擇所感興趣的商品種類(圖7所示)；12-17行表示仿生代理接收用戶 的語音指令，當(dāng)聽到單詞"wine"時就跳轉(zhuǎn)到頁面wine.html;第19行表示背景網(wǎng)頁為 wine.html; 20-22行表示仿生代理將向用戶推薦商品；24-40行表示調(diào)用表情識別控件判斷用 戶對商品是否滿意，其中27-31行表示當(dāng)表情識別控件返回高興的結(jié)果時仿生代理認(rèn)為用戶 對所介紹的商品滿意，并引導(dǎo)用戶定購該商品(圖8所示)，32-36行表示表情識別控件返回 生氣的結(jié)果時則向用戶介紹另外一種商品。
權(quán)利要求
1、一種基于仿生代理的多模交互界面描述方法，其特征在于該方法包括多模交互標(biāo)記語言及仿生代理感知模塊兩部分；其中(1)多模交互標(biāo)記語言多模交互標(biāo)記語言對多模交互系統(tǒng)的描述，其步驟如下步驟1多模交互標(biāo)記語言元素及屬性的定義；步驟2根據(jù)所定義的元素及屬性編寫多模交互標(biāo)記語言代碼；步驟3對所編寫的多模交互標(biāo)記語言代碼進(jìn)行有效性驗(yàn)證；步驟4對經(jīng)過有效性驗(yàn)證的代碼進(jìn)行解析，將多模交互標(biāo)記語言代碼按照規(guī)則轉(zhuǎn)換為Vbscript代碼；步驟5將轉(zhuǎn)換的Vbscript代碼嵌入相應(yīng)的網(wǎng)頁背景中，調(diào)用仿生代理模塊及感知模塊的相關(guān)函數(shù)實(shí)現(xiàn)交互；(2)仿生代理感知模塊仿生代理感知模塊表情識別控件的實(shí)現(xiàn)，其步驟如下步驟1采用維奧拉提出的積分圖像和AdaBoost算法相結(jié)合的方法，實(shí)現(xiàn)人臉檢測器；步驟2設(shè)選定的3種單一表情高興、生氣和驚訝為e1，e2，e3，平靜表情為e0，對于每種選定的單一表情ei，以該類表情樣本為正例樣本，其它各類表情樣本及平靜樣本為反例樣本，基于人臉檢測器的改進(jìn)方法訓(xùn)練專門表情分類器hei人臉檢測器和專門表情分類器是兩種不同的算法，人臉檢測器的輸出為0或1，0代表非人臉，1代表人臉；專門表情分類器通過下述式①將輸出改為
區(qū)間的實(shí)數(shù)，
全文摘要
本發(fā)明一種基于仿生代理的多模交互界面描述方法，其中多模交互標(biāo)記語言對多模交互系統(tǒng)的描述方法如下(1)定義多模交互標(biāo)記語言標(biāo)簽；(2)編寫多模交互標(biāo)記語言代碼；(3)對所編寫的多模交互標(biāo)記語言代碼進(jìn)行有效性驗(yàn)證；(4)對經(jīng)過有效性驗(yàn)證的代碼進(jìn)行解析，將多模交互標(biāo)記語言代碼按照規(guī)則轉(zhuǎn)換為Vbscript代碼；(5)將轉(zhuǎn)換的Vbscript代碼嵌入相應(yīng)的網(wǎng)頁背景中，調(diào)用控件模塊的相關(guān)函數(shù)實(shí)現(xiàn)交互。其中仿生代理感知模塊表情識別控件的實(shí)現(xiàn)步驟如下(1)實(shí)現(xiàn)人臉檢測器；(2)實(shí)現(xiàn)專門表情分類器；(3)最終表情分類器選取各專門表情分類器的最高分，判定表情。該描述方法具有簡單易用、可擴(kuò)展性強(qiáng)的特點(diǎn)，能夠使普通用戶輕松的開發(fā)出基于網(wǎng)頁的仿生代理多模交互界面。
文檔編號G06F9/44GK101174218SQ20071017641
公開日2008年5月7日 申請日期2007年10月26日 優(yōu)先權(quán)日2007年10月26日
發(fā)明者崢 李, 峽 毛, 薛雨麗 申請人:北京航空航天大學(xué)