專利名稱：：具有人機交互功能的仿人頭像機器人裝置及行為控制方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種仿人頭像機器人裝置及其行為控制方法，屬于機器人應(yīng)用領(lǐng)域。
背景技術(shù)：
：仿人機器人的研究開始于上世紀60年代，經(jīng)過50幾年的發(fā)展目前已成為機器人
技術(shù)領(lǐng)域：
的主要研究方向之一。它集機械、電子、計算機、材料、傳感器、控制技術(shù)等多門科學(xué)于一體，代表著一個國家的高科技發(fā)展水平。"仿人"的意義在于機器人具有類人的感知、決策、行為和交互能力。仿人頭像機器人是仿人機器人研究領(lǐng)域中實現(xiàn)人機情感交互的重要方向。情感能夠提高機器人的便利性和可信度，同時可以向使用者提供機器人的內(nèi)部狀態(tài)、目標和意圖等反饋信息。在人機交互中，被設(shè)計成具有情感的機器與人建立友好的交互界面，使其具有參與社會事務(wù)和開展人際交往的能力，更易被人類所接受；同時機器具有"生命"使其主體的思維(或行為)具有明確的目的性和方向性，從而顯著地提高思維(或行為)的效率和速度；在動態(tài)、不可預(yù)知和具有潛在"危險"的環(huán)境中，賦予機器思維上的創(chuàng)造性和行為上的自覺性，提高機器適應(yīng)環(huán)境的能力。目前，一些仿人頭像機器人的研制不具有多種感知功能，對基本面部表情的實現(xiàn)也只限于一種表情。經(jīng)文獻檢索發(fā)現(xiàn)中國專利公告號為CN201088839專利號為200720189947.7名稱為"機器人笑表情肌肉動作機構(gòu)"，該機構(gòu)包括頭顱架、橡膠表皮，橡膠表皮貼在頭顱架上。其特點為機構(gòu)簡單能夠?qū)崿F(xiàn)各種笑的表情。該機構(gòu)不足之處在于不能實現(xiàn)其他面部表情。中國專利公告號為CN101020315A專利號為200710038295.1名稱為"仿人機器人頭部系統(tǒng)"。該系統(tǒng)包括一個六自由度的串聯(lián)型機構(gòu)，以DSPF2812為主控節(jié)點的可擴展處理器網(wǎng)絡(luò)。六自由度的串聯(lián)機構(gòu)本體由六個舵機驅(qū)動，用來模擬雙眼、頸部和下巴的運動?？蓴U展處理器網(wǎng)絡(luò)由視頻處理器、語音處理器、接口模塊和DSPF2812主控電路組成，能實現(xiàn)人機交互過程中的運動控制和計算要求。但是該仿人機器人頭部系統(tǒng)不具有彈性面部皮膚，因此不能實現(xiàn)對人類面部表情的再現(xiàn)，不具有如嗅覺、觸覺、視覺等擬人的多感知功能。同時以上申請的專利中機器人不具有人工情感模型及人機交互功能。
發(fā)明內(nèi)容鑒于上述技術(shù)狀態(tài)，本發(fā)明的目的是提供一種具有人機交互功能的仿人頭像機器人裝置及行為控制方法，以解決現(xiàn)有的仿人頭像機器人不能完全實現(xiàn)對人類面部表情的再現(xiàn)、感知功能有限、不具有人工情感模型及人機交互功能的問題。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是本發(fā)明所述具有人機交互功能的仿人頭像機器人裝置由仿人頭像機器人本體、機器人行為控制系統(tǒng)和傳感器感知系統(tǒng)三部分組成；所述仿人頭像機器人本體包括眼球運動單元、上下顎運動單元、人工肺裝置、面部表情及口形驅(qū)動機構(gòu)、前支板、后支板、立架、面部殼體和面部彈性皮膚；眼球運動單元由兩個眼球、眼球傳動機構(gòu)、兩個眼球伺服電機、兩個眼瞼、眼瞼傳動機構(gòu)、兩個眼瞼伺服電機和伺服電機構(gòu)成；上下顎運動單元由上鄂、下顎、電機和轉(zhuǎn)軸構(gòu)成；人工肺裝置由軟管、汽缸、活塞、螺母、氣體驅(qū)動導(dǎo)向軸、氣體驅(qū)動絲杠、驅(qū)動電機和進氣管構(gòu)成；面部表情及仿人口形驅(qū)動機構(gòu)由第一驅(qū)動伺服電機、第二驅(qū)動伺服電機、第三驅(qū)動伺服電機、第四驅(qū)動伺服電機、第五驅(qū)動伺服電機、第六驅(qū)動伺服電機和多組面部皮膚驅(qū)動繩輪機構(gòu)構(gòu)成；機器人行為控制系統(tǒng)包括控制系統(tǒng)硬件與控制系統(tǒng)軟件，所述控制系統(tǒng)硬件包括主控機和運動控制卡；所述控制系統(tǒng)軟件即為行為控制方法；傳感器感知系統(tǒng)包括兩個小型CCD傳感器、語音識別單片機、嗅覺傳感器；前支板、后支板平行設(shè)置并與立架固接在一起構(gòu)成仿人頭像機器人的頭部骨架，眼球運動單元、上下顎運動單元由上至下安裝在立架上；在每個眼球中嵌入一個小型CCD傳感器形成機器人的雙目視覺，每個眼瞼設(shè)置在對應(yīng)眼球的上方，兩個眼球伺服電機分別通過眼球傳動機構(gòu)帶動兩個眼球左右轉(zhuǎn)動，兩個眼瞼伺服電機分別通過眼瞼傳動機構(gòu)帶動兩個眼瞼運動，伺服電機同時驅(qū)動兩個眼球一起上下動動；上鄂設(shè)置在下顎的上方，電機帶動轉(zhuǎn)軸驅(qū)動下顎運動；嗅覺傳感器安裝在眼球運動單元和上下顎運動單元之間的立架上，軟管的一端與嗅覺傳感器連接，軟管的另一端與氣缸連接，電機與氣體驅(qū)動絲杠轉(zhuǎn)動連接，螺母安裝在氣體驅(qū)動絲杠上，螺母沿著氣體驅(qū)動導(dǎo)向軸移動，驅(qū)動固連在螺母上的活塞運動，實現(xiàn)機器人的嗅覺功能，進氣管的一端與汽缸連接;第一驅(qū)動伺服電機、第二驅(qū)動伺服電機、第三驅(qū)動伺服電機、第四驅(qū)動伺服電機、第五驅(qū)動伺服電機和第六驅(qū)動伺服電機均安裝在由前支板、后支板和立架構(gòu)成的仿人頭像機器人頭部骨架上，所述六個驅(qū)動伺服電機通過面部皮膚驅(qū)動繩輪機構(gòu)與面部彈性皮膚的相應(yīng)的控制點連接；面部殼體和面部彈性皮膚與人臉的輪廓形狀相一致，面部殼體、面部彈性皮膚由內(nèi)向外安裝在眼球運動單元、上下顎運動單元的前端上形成仿人頭像機器人裝置的外部輪廓形狀；運動控制卡安裝在后支板上，語音識別單片機安裝在前支板的上端上；傳感器感知系統(tǒng)將感知到的信息輸出給主控機進行處理，機器人行為控制系統(tǒng)中的控制系統(tǒng)軟件根據(jù)人工情感模型得到相應(yīng)電機的相關(guān)控制量，將運動控制指令通過運動控制卡(電機控制器)輸出PWM脈沖驅(qū)動相應(yīng)的電機運動到指定的位置，從而實現(xiàn)機器人的人機交互功能及各種情感反應(yīng)。上述具有人機交互功能的仿人頭像機器人裝置的行為控制方法按以下步驟實現(xiàn)的步驟一、通過傳感器感知系統(tǒng)(傳感器CCD和MIC)感知外界的情感信號，對感知到的情感信號進行分析、特征提取并識別；步驟二、將識別后的情感信號傳遞給人工情感模型；所述人工情感模型主要包括三部分機器人的情感產(chǎn)生、情感交互和情感表達；情感產(chǎn)生主要包括刺激信號采集、情感定義、情感驅(qū)動、情感轉(zhuǎn)換四大模塊；在情感驅(qū)動中定義兩個閾值"，A;"為情感的激活閾值，"為情感的飽和度閾值；情感狀態(tài)的轉(zhuǎn)換要考慮到外部因素、內(nèi)部因素和以前情感狀態(tài)三方面的影響；在明確人工情感模型的各個狀態(tài)以及一些完全可以用觸發(fā)事件來確定各狀態(tài)轉(zhuǎn)換關(guān)系的基礎(chǔ)上，用擴展的有限狀態(tài)機來實現(xiàn)情感之間的狀態(tài)轉(zhuǎn)換；增加定義狀態(tài)上的變量屬性集合，作為一種擴展有限狀態(tài)機EFSM;利用EFSM分析清楚情感交互模型后，即可準確地確定人工情感模型中各個函數(shù)的變量構(gòu)成，可以有效地避免變量定義沖突，為下一步的機器人控制行為提供依據(jù)；步驟三、根據(jù)人工情感模型計算出相應(yīng)驅(qū)動電機的相關(guān)控制量(相應(yīng)轉(zhuǎn)角)，到機器人的面部表情及仿人口形，進而得到機器人表達其情感的行為。本發(fā)明具有以下有益技術(shù)效果本發(fā)明實現(xiàn)了對人類面部表情的再現(xiàn)，而且還具有如嗅覺、觸覺、視覺等擬人的多感知功能。本發(fā)明通過彈性面部皮膚能夠?qū)崿F(xiàn)基本面部表情和機器人的動態(tài)口形。采用基于情感模型的行為控制方法，實現(xiàn)機器人的行為控制，通過機器人裝置中傳感器感知外界的情感刺激，經(jīng)過人工情感模型計算識別，控制系統(tǒng)實現(xiàn)機器人的各種行為反應(yīng)，使機器人具有人機交互功能。本發(fā)明最大的特點是仿人頭像機器人裝置實現(xiàn)了與成人頭部體積l:l比例的設(shè)計，結(jié)構(gòu)緊湊。圖la是本發(fā)明所述機器人的立體圖，圖lb是本發(fā)明所述機器人的立體圖(為便于表達，沒有畫出面部殼體和面部彈性皮膚等)；圖2a是本發(fā)明所述機器人的上下顎運動單元立體圖，圖2b是本發(fā)明所述機器人的上下顎運動單元立體圖(主視立體圖)；圖3是本發(fā)明的機器人眼球運動單元的立體圖；圖4a是機器人的面部皮膚上定義皮膚特征點的具體位置示意圖，圖4b是本發(fā)明的機器人面部表情和口形的形成原理圖示意圖；圖5是本發(fā)明的機器人人機交互原理示意圖；圖6是本發(fā)明的機器人的行為控制硬件構(gòu)成的方框圖；圖7a是本發(fā)明的機器人的行為控制軟件的具體流程圖，圖7b-l是機器人表達"很高興認識你"時的語音信號圖，圖是7b-2是機器人表達"很高興認識你"時下顎驅(qū)動電機的轉(zhuǎn)角圖；圖8a8c是本發(fā)明的機器人面部表情識別模糊神經(jīng)網(wǎng)絡(luò)方法示意圖；圖9是本發(fā)明的機器人語音識別方法示意圖；圖10是本發(fā)明的機器人人工情感模型的結(jié)構(gòu)示意圖；圖11是本發(fā)明的機器人基于有限狀態(tài)機的情感交互模型示意圖；圖12a是本發(fā)明的機器人能夠表達的部分基本口形組圖，圖12b是機器人表達"很高興認識你"時各個時間點的表情組圖；圖12c是本發(fā)明的機器人的人機交互實驗照片組圖。具體實施例方式具體實施方式一如圖la、圖lb、圖2a、圖2b、3、圖4a、圖4b和圖6所示，本實施方式所述的具有人機交互功能的仿人頭像機器人裝置由仿人頭像機器人本體、機器人行為控制系統(tǒng)和傳感器感知系統(tǒng)三部分組成；所述仿人頭像機器人本體包括眼球運動單元l、上下顎運動單元61、人工肺裝置71、面部表情及口形驅(qū)動機構(gòu)81、前支板7、后支板6、立架51、面部殼體17和面部彈性皮膚18;眼球運動單元1由兩個眼球12、眼球傳動機構(gòu)、兩個眼球伺服電機14、兩個眼瞼13、眼瞼傳動機構(gòu)、兩個眼瞼伺服電機16和伺服電機29構(gòu)成；上下顎運動單元61由上鄂8、下顎9、電機27和轉(zhuǎn)軸28構(gòu)成；人工肺裝置71由軟管19、汽缸20、活塞21、螺母22、氣體驅(qū)動導(dǎo)向軸23、氣體驅(qū)動絲杠25、驅(qū)動電機26和進氣管92構(gòu)成；面部表情及仿人口形驅(qū)動機構(gòu)81由第一驅(qū)動伺服電機35、第二驅(qū)動伺服電機34、第三驅(qū)動伺服電機33、第四驅(qū)動伺服電機40、第五驅(qū)動伺服電機41、第六驅(qū)動伺服電機43和多組面部皮膚驅(qū)動繩輪機構(gòu)構(gòu)成；機器人行為控制系統(tǒng)包括控制系統(tǒng)硬件與控制系統(tǒng)軟件，所述控制系統(tǒng)硬件包括主控機91和運動控制卡5;所述控制系統(tǒng)軟件即為行為控制方法；傳感器感知系統(tǒng)包括兩個小型CCD傳感器3、語音識別單片機4、嗅覺傳感器24;前支板7、后支板6平行設(shè)置并與立架51固接在一起構(gòu)成仿人頭像機器人的頭部骨架，眼球運動單元l、上下顎運動單元61由上至下安裝在立架51上；在每個眼球12中嵌入一個小型CCD傳感器3形成機器人的雙目視覺，每個眼瞼13設(shè)置在對應(yīng)眼球12的上方，兩個眼球伺服電機14分別通過眼球傳動機構(gòu)帶動兩個眼球12左右轉(zhuǎn)動，兩個眼瞼伺服電機16分別通過眼瞼傳動機構(gòu)帶動兩個眼瞼13運動，伺服電機29同時驅(qū)動兩個眼球12—起上下動動；上鄂8設(shè)置在下顎9的上方，電機27帶動轉(zhuǎn)軸28驅(qū)動下顎9運動；嗅覺傳感器24安裝在眼球運動單元1和上下顎運動單元61之間的立架51上，軟管19的一端與嗅覺傳感器24連接，軟管19的另一端與氣缸20連接，電機26與氣體驅(qū)動絲杠25轉(zhuǎn)動連接，螺母22安裝在氣體驅(qū)動絲杠25上，螺母22沿著氣體驅(qū)動導(dǎo)向軸23移動，驅(qū)動固連在螺母22上的活塞21運動，實現(xiàn)機器人的嗅覺功能，進氣管92的一端與汽缸20連接；第一驅(qū)動伺服電機35、第二驅(qū)動伺服電機34、第三驅(qū)動伺服電機33、第四驅(qū)動伺服電機40、第五驅(qū)動伺服電機41和第六驅(qū)動伺服電機43均安裝在由前支板7、后支板6和立架51構(gòu)成的仿人頭像機器人頭部骨架上，所述六個驅(qū)動伺服電機通過面部皮膚驅(qū)動繩輪機構(gòu)與面部彈性皮膚18的相應(yīng)的控制點連接；面部殼體17和面部彈性皮膚18與人臉的輪廓形狀相一致，面部殼體17、面部彈性皮膚18由內(nèi)向外安裝在目艮球運動單元1、上下顎運動單元61的前端上形成仿人頭像機器人裝置的外部輪廓形狀；運動控制卡5安裝在后支板6上，語音識別單片機4安裝在前支板7的上端上；傳感器感知系統(tǒng)將感知到的信息輸出給主控機91進行處理，機器人行為控制系統(tǒng)中的控制系統(tǒng)軟件根據(jù)人工情感模型得到相應(yīng)電機的相關(guān)控制量，將運動控制指令通過運動控制卡5(電機控制器)輸出PWM脈沖驅(qū)動相應(yīng)的電機運動到指定的位置，從而實現(xiàn)機器人的人機交互功能及各種情感反應(yīng)。本實施方式的仿人頭像機器人裝置的長為162mm、寬為156mm、高為184mm，重量為2.8kg，共有14個自由度。通過眼球運動單元1、上下顎運動單元61實現(xiàn)機器人的仿人面部器官運動；通過電機27帶動轉(zhuǎn)軸28驅(qū)動下顎9實現(xiàn)機器人的嘴部的運動。人工肺裝置通過電機26帶動氣體驅(qū)動絲杠25轉(zhuǎn)動，螺母22沿著氣體驅(qū)動導(dǎo)向軸23移動，從而驅(qū)動固連在螺母22上的活塞21運動，實現(xiàn)機器人的嗅覺功能。能夠識別出酒精、煙、氨氣等氣味，人工肺裝置安放可在仿人機器人胸部的適當位置。圖3為本發(fā)明的機器人的眼球運動驅(qū)動單元l，眼球運動具有2個自由度，眼瞼運動具有l(wèi)個自由度。在眼球12分別嵌入小型CCD傳感器3，構(gòu)成機器人的雙目視覺。其中眼球的運動速度最快可達500deg/s，眼瞼的運動速度最快為卯Odeg/s。在仿人頭像機器人裝置中考慮到機構(gòu)的具體空間需要，機器人的行為控制采用體積小、輸出力矩較大，易于位置控制的眼球伺服電機14、眼瞼伺服電機16、伺服電機29，采用同步帶傳動機構(gòu)作為電機的傳動機構(gòu)，同時考慮到電機驅(qū)動軸的支撐問題，設(shè)計軸承支座15增強機構(gòu)的剛度。機器人的眼球運動機構(gòu)是左右對稱的。其中眼球伺服電機14通過相應(yīng)的第一繩輪31和第二繩輪11帶動眼球12左右轉(zhuǎn)動。伺服電機16通過相應(yīng)的第三繩輪30、第四繩輪33驅(qū)動相應(yīng)的眼瞼13運動。伺服電機29驅(qū)動兩上眼球12—起上下運動?？紤]到伺服控制卡與主控機的通訊問題及合理分配和有效利用運動控制卡的硬件資源，實現(xiàn)仿人頭像機器人系統(tǒng)的硬件集成兩方面問題，運動控制卡5選用SSC-32運動控制卡，SSC-32運動控制卡可以控制多達32個伺服電機協(xié)調(diào)動作。運動控制硬件即SSC-32板卡5本身，該舵機控制器采用RS232串口與PC機進行通信，通過PC機操作上位機軟件給控制器傳遞控制指令信號，就可以從控制器輸出一定占空比的PWM信號，實現(xiàn)多路伺服電機單獨控制或同時控制?？刂瓶ǖ目刂浦噶罹?、控制精度為0.09。//^，可以進行舵機的位置控制以及速度控制。語音識別單片機4是SPCE061A單片機。仿人頭像機器人采用主控機與SPCE061A單片機4相結(jié)合作為機器人的聽覺系統(tǒng)。SPCE061A單片機4是凌陽公司推出的一款16位微處理器，內(nèi)嵌32k字閃存flash,處理速度高，能夠很方便地完成語音識別和語音信號的處理。系統(tǒng)通訊部分電路主要包括32位I/O通訊電路和通用異步串行接口(UART)通訊電路，本系統(tǒng)通過通用異步串行接口(UART)電路實現(xiàn)與主控機之間的通訊，實現(xiàn)單片機與主控機間的數(shù)據(jù)傳輸。語音識別時用到的語音提示借助于凌陽公司提供的API語音函數(shù)來實現(xiàn)。識別時的模板匹配算法采用Viterbi算法。它是一種前向搜索算法，其可以是在給定相應(yīng)的觀察序列時，找出從模型中找出的最佳狀態(tài)序列，即選擇輸出概率最大的模版作為輸出結(jié)果。模板訓(xùn)練的計算量很大，是借助于主控機平臺完成的，語音信號樣本通過SPCE061A系統(tǒng)來采集，通過RS232的通信模塊將語音信號傳送到主控機上保存，它保證了訓(xùn)練用的語音特征與識別時的一致性，從而減少硬件系統(tǒng)不一致而帶來的誤差。嗅覺傳感器24采用FIS系列氣體傳感器。具體實施方式二本實施方式所述傳感器感知系統(tǒng)還包括觸覺傳感器，所述觸覺傳感器設(shè)置在前額中部位置。其它組成及連接關(guān)系與具體實施方式一相同。具體實施方式三本實施方式所述傳感器感知系統(tǒng)還包括兩個溫度傳感器，所述兩個溫度傳感器分別設(shè)置在前額的左右兩側(cè)。其它組成及連接關(guān)系與具體實施方式一或二相同。具體實施方式四本實施方式所述小型CCD傳感器3是利用微軟公司在ActiveMovie和VideoforWindows的基礎(chǔ)上推出的新一代基于COM技術(shù)的流媒體處理開發(fā)包DirectShow進行視頻捕獲；圖像采集卡通過PCI放置在主板上，通過小型CCD傳感器3內(nèi)帶的基于windows軟件開發(fā)平臺建立仿人頭像機器人的視覺來完成對外界環(huán)境的識別，這里主要指仿人頭像機器人對人臉面部表情的識別；所述小型CCD傳感器3的主要功能為(1)靜態(tài)、動態(tài)的圖像獲取功能包括圖像采集卡的參數(shù)設(shè)置、位像讀入和存儲、多路圖像采集控制、顯示和切換；(2)涉及的動態(tài)、靜態(tài)圖像分析算法和面部表情識別算法。其它與具體實施方式一相同。具體實施方式五如圖la、圖lb、圖4a、圖4b、圖12a和圖12b所示，本實施方式實現(xiàn)面部表情及仿人口形的方法為步驟一、在面部彈性皮膚18上定義皮膚特征點a、a-l、b、b-l、c、c-l、d、d-l、e、e-l、g，所述各點即為運動控制點；步驟二、在每個運動控制點處設(shè)置一個滑塊，所述滑塊與面部彈性皮膚18的相應(yīng)控制點連接在一起，每個滑塊與一個與相應(yīng)的導(dǎo)向槽滑動連接，所述導(dǎo)向槽設(shè)置在面部殼體17上，所述導(dǎo)向槽的設(shè)置方向確定每個運動控制點相應(yīng)的受力方向；面部皮膚驅(qū)動繩輪機構(gòu)的繩索的一端與滑塊連接，面部皮膚驅(qū)動繩輪機構(gòu)的繩索的另一端與相應(yīng)的驅(qū)動伺服電機連接；步驟三、通過表情控制點的組合和位移變化，實現(xiàn)不同的基本面部表情和機器人口形。為了實現(xiàn)表情控制，也可在在相應(yīng)的制控點設(shè)置帶有導(dǎo)向槽的皮膚運動導(dǎo)向彎板IO。為實現(xiàn)機器人的面部表情和口形，在面部皮膚18上定義皮膚特征點(a,a-l,b,b-l,c,c-l,d,d-l,e,e-l，g)。圖中圓點代表在機器人皮膚上設(shè)定的控制點，箭頭表明控制點運動的方向。在機器人面部表情設(shè)計中，通過控制這些控制點的組合和運動的位移和方向來實現(xiàn)基本的面部表情和口形，模擬人類肌肉的雙向運動。在實際機構(gòu)中，面部皮膚驅(qū)動繩組與控制點相連，通過表情控制點的組合和位移變化，實現(xiàn)不同的基本面部表情。表1表達了各控制點與面部皮膚驅(qū)動繩組及驅(qū)動伺服電機的分配。為了有效利用空間，各控制點的運動是左右對稱的(第四驅(qū)動伺服電機40和第五驅(qū)動伺服電機41左中對稱設(shè)置；38與38-1對稱設(shè)置；39與39-1對稱設(shè)置)。<table>tableseeoriginaldocumentpage16</column></row><table><table>tableseeoriginaldocumentpage17</column></row><table>具體實施方式六如圖la、圖lb、圖5、圖6和圖7a、圖7b-l、圖7b畫2，圖10、圖ll、圖12a、圖12b和圖12c所示，本實施方式所述具有人機交互功能的仿人頭像機器人裝置的行為控制方法按以下步驟實現(xiàn)的步驟一、通過傳感器感知系統(tǒng)(傳感器CCD和MIC)感知外界的情感信號，對感知到的情感信號進行分析、特征提取并識別；所述情感信號包括人類基本面部表情和語音信號；人類基本面部表情識別采用模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來識別；語音信號識別采用CHMM語音識別模型結(jié)構(gòu)來識別；步驟二、將識別后的情感信號傳遞給人工情感模型；所述人工情感模型主要包括三部分機器人的情感產(chǎn)生、情感交互和情感表達；情感產(chǎn)生主要包括刺激信號采集、情感定義、情感驅(qū)動、情感轉(zhuǎn)換四大模塊；在情感驅(qū)動中定義兩個閾值"，"；"為情感的激活閾值，"為情感的飽和度閾值；情感狀態(tài)的轉(zhuǎn)換要考慮到外部因素、內(nèi)部因素和以前情感狀態(tài)三方面的影響；情感產(chǎn)生中通過傳感器來實現(xiàn)人類的感知功能，用來感受外界事件。由于視覺和聽覺能夠感知外界環(huán)境的大部分信息，因此在仿人頭像機器人中通過視覺傳感器和聽覺傳感器來實現(xiàn)人類的感知功能。情感表達包括面部表情表達和語音表達。情感交互基于有限狀態(tài)機理論建立，在明確情感模型的各個狀態(tài)以及一些完全可以用觸發(fā)事件來確定各狀態(tài)轉(zhuǎn)換關(guān)系的基礎(chǔ)上，用有限狀態(tài)機來實現(xiàn)情感之間的狀態(tài)轉(zhuǎn)換。建立情感交互的目的是為控制仿人頭像機器人的行為，使其根據(jù)情感狀態(tài)做出相應(yīng)的行為反應(yīng)。因此，情感狀態(tài)機建立后就應(yīng)該清晰準確地確定其所要使用的主要函數(shù)及變量。針對要求，對有限狀態(tài)機的基本概念進行擴展，增加定義狀態(tài)上的變量屬性集合，作為一種擴展有限狀態(tài)機(EFSM)。利用EFSM分析清楚情感交互模型后，即可準確地確定情感模型中各個函數(shù)的變量構(gòu)成，可以有效地避免變量定義沖突，為下一步的機器人行為控制提供依據(jù)。圖8中E'代表個體的初始情感狀態(tài)，條件代表輸入狀態(tài)，根據(jù)當前的情感狀態(tài)和輸入狀態(tài)，情感載體的情感狀態(tài)發(fā)生改變，并做出相應(yīng)的行為。行為中的聲音和表情表示狀態(tài)上的變量集合V;步驟三、根據(jù)人工情感模型計算出相應(yīng)驅(qū)動電機的相關(guān)控制量(相應(yīng)轉(zhuǎn)角)，到機器人的面部表情及仿人口形，進而得到機器人表達其情感的行為。具體實施方式七、如圖8a、8b和8c所示，本實施方式采用模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)識別人類基本面部表情的具體過程為網(wǎng)絡(luò)輸入層節(jié)點數(shù)為6，即面部表情特征值^，4，^，4，A，丄一2};輸出層節(jié)點數(shù)為7種基本面部表情(高興、吃驚、悲傷、生氣、厭惡、害怕和正常)；期望網(wǎng)絡(luò)的輸出為第i個輸出節(jié)點的值為1其余輸出節(jié)點均為零，而實際輸出是圍繞期望值區(qū)間的某一具體數(shù)值；根據(jù)競爭選擇，將輸入樣本類別判定為網(wǎng)絡(luò)的實際輸出中具有最大值的輸出節(jié)點對應(yīng)的類別；如果網(wǎng)絡(luò)的實際輸出節(jié)點同時存在多個最大值則做出拒絕判斷；基于個體差異和表情的變化，特征點的相對位置不是固定的而是具有一定可變性，以及在圖像采集過程中，人與攝像頭的距離的變化等因素引起特征值的變化，故采用無量綱值作為面部表情識別的特征值，其中《i,丄—,i。其它與具體實施方式六相同。具體實施方式八、如圖9所示，本實施方式所述采用CHMM語音識別模型結(jié)構(gòu)識別語音信號的具體過程為語音信號通?？煽醋魇菑囊幌盗蠬MM狀態(tài)產(chǎn)生的觀察量，每個觀察序列就是一幀MFCC參數(shù)；在識別過程中，通過短時平均能量和短時過零率來實現(xiàn)語音信號的端點檢測；采用經(jīng)典的Baum-Welch算法實現(xiàn)HMM參數(shù)估計問題，識別過程中采用動態(tài)規(guī)劃算法一一Viterbi算法。其它與具體實施方式六相同。本發(fā)明方法的原理通過傳感器CCD和MIC感知外界的情感信號，并識別出相應(yīng)的情感信號。根據(jù)情感模型中的擴展有限狀態(tài)機中的變量集合V中元素如面部表情控制點及基本口形，得到機器人表達其情感的行為。本實施機器人能夠表達的部分基本口形如圖12a所示，圖中機器人的各個口形為相應(yīng)的漢語拼音的發(fā)音。根據(jù)人工情感模型理論，外界刺激信號影響機器人的行為，實驗中外界刺激信號包括語音信號和視覺信號。根據(jù)不同的外界刺激信號，機器人與人進行不同的情感交互，這里情感交互主要指語言和機器人面部表情的交互。機器人在情感模型的驅(qū)動下作出相應(yīng)的反應(yīng)——表情和語音回答。該控制方法通過情感、驅(qū)動、行為三部分相互交互來實現(xiàn)機器人的"類人"的行為。在該體系中"驅(qū)動"決定"做什么"，"情感"決定"怎么做"。通過傳感器CCD和MIC感知外界的情感信號，根據(jù)情感模型中的擴展有限狀態(tài)機中的變量集合V中元素如面部表情控制點及基本口形，得到機器人表達其情感的行為。圖7a為仿人頭像機器人裝置行為控制系統(tǒng)軟件流程圖。機器人通過傳感器將采集到的面部表情信息和語音信息進行融合之后，控制軟件根據(jù)人工情感模型得到驅(qū)動電機的相關(guān)控制量，控制機器人的行為表達。圖7b-l、圖7b-2為機器人表達"很高興認識你"時，下顎驅(qū)動電機的轉(zhuǎn)角。在圖中0-11.8秒為人類對機器人的問候"你好"。本發(fā)明裝置通過語音識別單片機識別出外界的語音信號，作出相應(yīng)的觸發(fā)應(yīng)答。在進行應(yīng)答時，根據(jù)應(yīng)答的語句得出各孤立字的應(yīng)答時間及其對應(yīng)的口形，從而得到驅(qū)動電機的相應(yīng)轉(zhuǎn)角。權(quán)利要求1、一種具有人機交互功能的仿人頭像機器人裝置，所述仿人頭像機器人裝置由仿人頭像機器人本體、機器人行為控制系統(tǒng)和傳感器感知系統(tǒng)三部分組成；其特征在于所述仿人頭像機器人本體包括眼球運動單元(1)、上下顎運動單元(61)、人工肺裝置(71)、面部表情及口形驅(qū)動機構(gòu)(81)、前支板(7)、后支板(6)、立架(51)、面部殼體(17)和面部彈性皮膚(18)；眼球運動單元(1)由兩個眼球(12)、眼球傳動機構(gòu)、兩個眼球伺服電機(14)、兩個眼瞼(13)、眼瞼傳動機構(gòu)、兩個眼瞼伺服電機(16)和伺服電機(29)構(gòu)成；上下顎運動單元(61)由上鄂(8)、下顎(9)、電機(27)和轉(zhuǎn)軸(28)構(gòu)成；人工肺裝置(71)由軟管(19)、汽缸(20)、活塞(21)、螺母(22)、氣體驅(qū)動導(dǎo)向軸(23)、氣體驅(qū)動絲杠(25)、驅(qū)動電機(26)和進氣管(92)構(gòu)成；面部表情及仿人口形驅(qū)動機構(gòu)(81)由第一驅(qū)動伺服電機(35)、第二驅(qū)動伺服電機(34)、第三驅(qū)動伺服電機(33)、第四驅(qū)動伺服電機(40)、第五驅(qū)動伺服電機(41)、第六驅(qū)動伺服電機(43)和多組面部皮膚驅(qū)動繩輪機構(gòu)構(gòu)成；機器人行為控制系統(tǒng)包括控制系統(tǒng)硬件與控制系統(tǒng)軟件，所述控制系統(tǒng)硬件包括主控機(91)和運動控制卡(5)；所述控制系統(tǒng)軟件即為行為控制方法；傳感器感知系統(tǒng)包括兩個小型CCD傳感器(3)、語音識別單片機(4)、嗅覺傳感器(24)；前支板(7)、后支板(6)平行設(shè)置并與立架(51)固接在一起構(gòu)成仿人頭像機器人的頭部骨架，眼球運動單元(1)、上下顎運動單元(61)由上至下安裝在立架(51)上；在每個眼球(12)中嵌入一個小型CCD傳感器(3)形成機器人的雙目視覺，每個眼瞼(13)設(shè)置在對應(yīng)眼球(12)的上方，兩個眼球伺服電機(14)分別通過眼球傳動機構(gòu)帶動兩個眼球(12)左右轉(zhuǎn)動，兩個眼瞼伺服電機(16)分別通過眼瞼傳動機構(gòu)帶動兩個眼瞼(13)運動，伺服電機(29)同時驅(qū)動兩個眼球(12)一起上下動動；上鄂(8)設(shè)置在下顎(9)的上方，電機(27)帶動轉(zhuǎn)軸(28)驅(qū)動下顎(9)運動；嗅覺傳感器(24)安裝在眼球運動單元(1)和上下顎運動單元(61)之間的立架(51)上，軟管(19)的一端與嗅覺傳感器(24)連接，軟管(19)的另一端與氣缸(20)連接，電機(26)與氣體驅(qū)動絲杠(25)轉(zhuǎn)動連接，螺母(22)安裝在氣體驅(qū)動絲杠(25)上，螺母(22)沿著氣體驅(qū)動導(dǎo)向軸(23)移動，驅(qū)動固連在螺母(22)上的活塞(21)運動，實現(xiàn)機器人的嗅覺功能，進氣管(92)的一端與汽缸(20)連接；第一驅(qū)動伺服電機(35)、第二驅(qū)動伺服電機(34)、第三驅(qū)動伺服電機(33)、第四驅(qū)動伺服電機(40)、第五驅(qū)動伺服電機(41)和第六驅(qū)動伺服電機(43)均安裝在由前支板(7)、后支板(6)和立架(51)構(gòu)成的仿人頭像機器人頭部骨架上，所述六個驅(qū)動伺服電機通過面部皮膚驅(qū)動繩輪機構(gòu)與面部彈性皮膚(18)的相應(yīng)的控制點連接；面部殼體(17)和面部彈性皮膚(18)與人臉的輪廓形狀相一致，面部殼體(17)、面部彈性皮膚(18)由內(nèi)向外安裝在眼球運動單元(1)、上下顎運動單元(61)的前端上形成仿人頭像機器人裝置的外部輪廓形狀；運動控制卡(5)安裝在后支板(6)上，語音識別單片機(4)安裝在前支板(7)的上端上；傳感器感知系統(tǒng)將感知到的信息輸出給主控機(91)進行處理，機器人行為控制系統(tǒng)中的控制系統(tǒng)軟件根據(jù)人工情感模型得到相應(yīng)電機的相關(guān)控制量，將運動控制指令通過運動控制卡(5)輸出PWM脈沖驅(qū)動相應(yīng)的電機運動到指定的位置，從而實現(xiàn)機器人的人機交互功能及各種情感反應(yīng)。2、根據(jù)權(quán)利要求1所述的具有人機交互功能的仿人頭像機器人裝置，其特征在于所述傳感器感知系統(tǒng)還包括觸覺傳感器，所述觸覺傳感器設(shè)置在前額中部位置。3、根據(jù)權(quán)利要求1或2所述的具有人機交互功能的仿人頭像機器人裝置，其特征在于所述傳感器感知系統(tǒng)還包括兩個溫度傳感器，所述兩個溫度傳感器分別設(shè)置在前額的左右兩側(cè)。4、根據(jù)權(quán)利要求1所述的具有人機交互功能的仿人頭像機器人裝置，其特征在于所述小型CCD傳感器(3)是利用微軟公司在ActiveMovie和VideoforWindows的基礎(chǔ)上推出的新一代基于COM技術(shù)的流媒體處理開發(fā)包DirectShow進行視頻捕獲；圖像采集卡通過PCI放置在主板上，通過小型CCD傳感器(3)內(nèi)帶的基于windows軟件開發(fā)平臺建立仿人頭像機器人的視覺來完成對外界環(huán)境的識別，這里主要指仿人頭像機器人對人臉面部表情的識別；所述小型CCD傳感器(3)的主要功能為(1)靜態(tài)、動態(tài)的圖像獲取功能包括圖像采集卡的參數(shù)設(shè)置、位像讀入和存儲、多路圖像采集控制、顯示和切換；(2)涉及的動態(tài)、靜態(tài)圖像分析算法和面部表情識別算法。5、根據(jù)權(quán)利要求1所述的具有人機交互功能的仿人頭像機器人裝置，其特征在于實現(xiàn)面部表情及仿人口形的方法為步驟一、在面部彈性皮膚(18)上定義皮膚特征點a、a-l、b、b-l、c、c-l、d、d-l、e、e-l、g，所述各點即為運動控制點；步驟二、在每個運動控制點處設(shè)置一個滑塊，所述滑塊與面部彈性皮膚(18)的相應(yīng)控制點連接在一起，每個滑塊與一個與相應(yīng)的導(dǎo)向槽滑動連接，所述導(dǎo)向槽設(shè)置在面部殼體(17)上，所述導(dǎo)向槽的設(shè)置方向確定每個運動控制點相應(yīng)的受力方向；面部皮膚驅(qū)動繩輪機構(gòu)的繩索的一端與滑塊連接，面部皮膚驅(qū)動繩輪機構(gòu)的繩索的另一端與相應(yīng)的驅(qū)動伺服電機連接；步驟三、通過表情控制點的組合和位移變化，實現(xiàn)不同的基本面部表情和機器人口形。6、權(quán)利要求1所述的具有人機交互功能的仿人頭像機器人裝置的行為控制方法，其特征在于所述方法按以下步驟實現(xiàn)的-步驟一、通過傳感器感知系統(tǒng)感知外界的情感信號，對感知到的情感信號進行分析、特征提取并識別；步驟二、將識別后的情感信號傳遞給人工情感模型；所述人工情感模型主要包括三部分機器人的情感產(chǎn)生、情感交互和情感表達；情感產(chǎn)生主要包括初J激信號采集、情感定義、情感驅(qū)動、情感轉(zhuǎn)換四大模塊；在情感驅(qū)動中定義兩個閾值"，/;"為情感的激活閾值，"為情感的飽和度閾值；情感狀態(tài)的轉(zhuǎn)換要考慮到外部因素、內(nèi)部因素和以前情感狀態(tài)三方面的影響；在明確人工情感模型的各個狀態(tài)以及一些完全可以用觸發(fā)事件來確定各狀態(tài)轉(zhuǎn)換關(guān)系的基礎(chǔ)上，用擴展的有限狀態(tài)機來實現(xiàn)情感之間的狀態(tài)轉(zhuǎn)換；增加定義狀態(tài)上的變量屬性集合，作為一種擴展有限狀態(tài)機EFSM;利用EFSM分析清楚情感交互模型后，即可準確地確定人工情感模型中各個函數(shù)的變量構(gòu)成，可以有效地避免變量定義沖突，為下一步的機器人控制行為提供依據(jù)；步驟三、根據(jù)人工情感模型計算出相應(yīng)驅(qū)動電機的相關(guān)控制量，到機器人的面部表情及仿人口形，進而得到機器人表達其情感的行為。7、根據(jù)權(quán)利要求6所述的具有人機交互功能的仿人頭像機器人裝置的行為控制方法，其特征在于所述情感信號包括人類基本面部表情和語音信號。8、根據(jù)權(quán)利要求7所述的具有人機交互功能的仿人頭像機器人裝置的行為控制方法，其特征在于人類基本面部表情識別采用模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來識別；語音信號識別采用CHMM語音識別模型結(jié)構(gòu)來識別。9、根據(jù)權(quán)利要求8所述的具有人機交互功能的仿人頭像機器人裝置的行為控制方法，其特征在于采用模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)識別人類基本面部表情的具體過程為網(wǎng)絡(luò)輸入層節(jié)點數(shù)為6，即面部表情特征值的，《，^^，A，Ah輸出層節(jié)點數(shù)為7種基本面部表情高興、吃驚、悲傷、生氣、厭惡、害怕和正常；期望網(wǎng)絡(luò)的輸出為第i個輸出節(jié)點的值為1其余輸出節(jié)點均為零，而實際輸出是圍繞期望值區(qū)間的某一具體數(shù)值；根據(jù)競爭選擇，將輸入樣本類別判定為網(wǎng)絡(luò)的實際輸出中具有最大值的輸出節(jié)點對應(yīng)的類別；如果網(wǎng)絡(luò)的實際輸出節(jié)點同時存在多個最大值則做出拒絕判斷；基于個體差異和表情的變化，特征點的相對位置不是固定的而是具有一定可變性，以及在圖像采集過程中，人與攝像頭的距離的變化等因素引起特征值的變化，故采用無量綱值作為面部表情識別的特征值，其中《=^,Z—10、根據(jù)權(quán)利要求8所述的具有人機交互功能的仿人頭像機器人裝置的行為控制方法，其特征在于采用CHMM語音識別模型結(jié)構(gòu)識別語音信號的具體過程為語音信號通常可看作是從一系列HMM狀態(tài)產(chǎn)生的觀察量，每個觀察序列就是一幀MFCC參數(shù)；在識別過程中，通過短時平均能量和短時過零率來實現(xiàn)語音信號的端點檢測；采用經(jīng)典的Baum-Welch算法實現(xiàn)HMM參數(shù)估計問題，識別過程中采用動態(tài)規(guī)劃算法——Viterbi算法。全文摘要具有人機交互功能的仿人頭像機器人裝置及行為控制方法，它涉及一種仿人頭像機器人及其行為控制方法。解決了現(xiàn)有的仿人頭像機器人不能完全實現(xiàn)對人類面部表情的再現(xiàn)、感知功能有限、不具有人工情感模型及人機交互功能的問題。傳感器感知系統(tǒng)將感知到的信息輸出給主控機進行處理，機器人行為控制系統(tǒng)中的控制系統(tǒng)軟件根據(jù)人工情感模型得到相應(yīng)電機的相關(guān)控制量，將運動控制指令通過運動控制卡輸出PWM脈沖驅(qū)動相應(yīng)的電機運動到指定的位置，實現(xiàn)機器人的人機交互功能及各種情感反應(yīng)。傳感器感知系統(tǒng)感知外界的情感信號，并識別出相應(yīng)的情感信號，利用人工情感模型實現(xiàn)機器人的行為控制。本發(fā)明實現(xiàn)了對人類面部表情的再現(xiàn)，具有嗅覺、觸覺、視覺等擬人的多感知功能。文檔編號A63H13/00GK101618280SQ20091007240公開日2010年1月6日申請日期2009年6月30日優(yōu)先權(quán)日2009年6月30日發(fā)明者吳偉國,孟慶梅申請人:哈爾濱工業(yè)大學(xué)