帶有情緒及表情模塊的3d視頻互動(dòng)機(jī)器人的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及帶3D顯示的智能機(jī)器人領(lǐng)域。
【背景技術(shù)】
[0002] 目前很多商業(yè)場(chǎng)所以及教學(xué)領(lǐng)域已經(jīng)采用了可互動(dòng)的交互式系統(tǒng)，大部分采用的 是語(yǔ)音交互或文字檢索交互，統(tǒng)稱為黑屏幕交互，而通過(guò)形象化的3D人物替代現(xiàn)有的黑屏 幕，或文字屏幕，讓人們?cè)谟龅絾?wèn)題時(shí)，或者在接受一些廣告宣傳時(shí)，可以根據(jù)交互式系統(tǒng)， 形象化地、擬人表情化的直觀地得到人們想要的信息，十分方便快捷。
[0003] 目前現(xiàn)有的交互系統(tǒng)只能進(jìn)行簡(jiǎn)單的互動(dòng)，例如只能根據(jù)問(wèn)題庫(kù)回答問(wèn)題，因此， 應(yīng)用范圍較窄。例如在一些教學(xué)體系當(dāng)中，需要交互系統(tǒng)或者機(jī)器人根據(jù)人們當(dāng)時(shí)話語(yǔ)以 及做出的動(dòng)作進(jìn)行適當(dāng)?shù)挠星榫w的反饋，但是目前還沒(méi)有任何交互系統(tǒng)滿足這個(gè)需求。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明為了解決上述現(xiàn)有技術(shù)的問(wèn)題，提出帶有情緒及表情模塊的3D視頻互動(dòng) 機(jī)器人，包括：輸入模塊，用于接收用戶行為以及用戶資料；情緒模塊，根據(jù)用戶資料以及 當(dāng)前的用戶行為，得出機(jī)器人相應(yīng)的情緒種類以及情緒等級(jí)，并反饋相應(yīng)的情緒數(shù)據(jù)給處 理模塊；表情模塊，根據(jù)情緒種類以及情緒等級(jí)，查找符合相應(yīng)情緒數(shù)據(jù)的3D人物動(dòng)作動(dòng) 畫(huà)以及語(yǔ)音；輸出模塊，顯示相應(yīng)的3D人物動(dòng)作動(dòng)畫(huà)，同時(shí)播報(bào)3D人物的語(yǔ)音；處理模塊， 對(duì)各模塊進(jìn)行協(xié)調(diào)控制。
[0005] 本發(fā)明還進(jìn)一步包括性格模塊、關(guān)系進(jìn)程模塊、劇本模塊，性格模塊可以設(shè)置機(jī)器 人的性格數(shù)據(jù)，關(guān)系進(jìn)程模塊根據(jù)用戶與機(jī)器人的互動(dòng)，記錄用戶與機(jī)器人當(dāng)前的關(guān)系親 密度系數(shù)，劇本模塊則用于設(shè)置互動(dòng)劇本。所述情緒模塊根據(jù)用戶資料、輸入模塊接收的當(dāng) 前用戶行為、性格數(shù)據(jù)、關(guān)系親密度系數(shù)以及互動(dòng)劇本，綜合得出相應(yīng)的情緒種類以及情緒 等級(jí)。在用戶行為和3D人物的當(dāng)前情緒狀態(tài)的基礎(chǔ)上，綜合3D人物的性格和/或互動(dòng)劇 本，進(jìn)行分析處理，使表情模塊可以調(diào)用相應(yīng)的3D人物的語(yǔ)音和動(dòng)作動(dòng)畫(huà)給輸出模塊。
[0006] 上述技術(shù)方案中，用戶行為包括用戶手勢(shì)、觸摸輸入、語(yǔ)音。輸入模塊包括用于檢 測(cè)用戶手勢(shì)的三軸加速傳感器、用于接收用戶觸摸輸入的觸摸顯示屏、用于接收用戶語(yǔ)音 的麥克風(fēng)。處理模塊對(duì)用戶輸入的語(yǔ)音進(jìn)行的是全句解析，而不是關(guān)鍵字解析，情緒模塊根 據(jù)解析后的全句的文本信息進(jìn)行分析處理。用戶資料包括用戶年齡、性別、教育程度、職業(yè)、 生活作息時(shí)間、愛(ài)好、地域、文化。
[0007] 情緒種類可以分為喜怒哀悲懼驚思六種，每個(gè)情緒種類有多個(gè)級(jí)別，根據(jù)輸入模 塊輸入的用戶行為進(jìn)行變化。
[0008] 本發(fā)明的交互式系統(tǒng)賦予了 3D人物或者機(jī)器人性格，使其有情緒變化，富有情 感，在與用戶的溝通過(guò)程中，可以與用戶進(jìn)行更便捷、更加人性化。此外，還可以將存儲(chǔ)器設(shè) 置在本地?cái)?shù)據(jù)庫(kù)中，根據(jù)不同用戶的需求，進(jìn)行個(gè)性化設(shè)置。本發(fā)明可以與用戶進(jìn)行情感互 動(dòng)，大范圍趣味性，擬人性的代替人類的很多簡(jiǎn)單，重復(fù)性的溝通工作，如賣(mài)場(chǎng)講解員，導(dǎo)覽 員或者陪伴聊天等等。
【附圖說(shuō)明】
[0009] 圖1是本發(fā)明的結(jié)構(gòu)示意圖； 圖2是本發(fā)明數(shù)據(jù)處理的示意圖。
【具體實(shí)施方式】
[0010] 以下結(jié)合附圖和實(shí)施例，詳細(xì)說(shuō)明本發(fā)明的工作過(guò)程。
[0011] 如圖1、圖2所示，本發(fā)明一實(shí)施例提出的帶有情緒及表情模塊的3D視頻互動(dòng)機(jī)器 人，包括輸入模塊、輸出模塊、情緒模塊、表情模塊、性格模塊、關(guān)系進(jìn)程模塊、劇本模塊以及 處理模塊。輸入模塊接收用戶行為以及用戶資料，輸出模塊可以在輸出模塊中顯示相應(yīng)的 3D智能機(jī)器人，情緒模塊，根據(jù)用戶資料以及當(dāng)前的用戶行為，得出機(jī)器人相應(yīng)的情緒種類 以及情緒等級(jí)，并反饋相應(yīng)的情緒數(shù)據(jù)給處理模塊，然后處理模塊控制表情模塊根據(jù)情緒 種類以及情緒等級(jí)，查找符合相應(yīng)情緒數(shù)據(jù)的3D人物動(dòng)作動(dòng)畫(huà)以及語(yǔ)音，使得3D機(jī)器人自 帶情緒和性格，根據(jù)與用戶的互動(dòng)信息，進(jìn)行相應(yīng)的反饋。
[0012] 為了使機(jī)器人的反應(yīng)更加真實(shí)，符合用戶需求，性格模塊可設(shè)置機(jī)器人的性格數(shù) 據(jù)。關(guān)系進(jìn)程模塊根據(jù)用戶與機(jī)器人的互動(dòng)，記錄用戶與機(jī)器人當(dāng)前的關(guān)系親密度系數(shù)。劇 本模塊可以用于設(shè)置互動(dòng)劇本。然后情緒模塊根據(jù)用戶資料、輸入模塊接收的當(dāng)前用戶行 為、性格數(shù)據(jù)、關(guān)系親密度系數(shù)以及互動(dòng)劇本，綜合得出相應(yīng)的情緒種類以及情緒等級(jí)。
[0013] 3D人物的情緒等級(jí)分為以下六種，每種情緒有6個(gè)級(jí)別，例如喜就包括滿意、愉 快、喜悅、快樂(lè)、大喜、狂喜這六種，3D人物的當(dāng)前情緒狀態(tài)會(huì)根據(jù)輸入模塊輸入的用戶行為 進(jìn)行變化。
[0014] 機(jī)器人情緒表并對(duì)應(yīng)當(dāng)時(shí)的手部，面部，眼部，頭部等動(dòng)作。
[0015] 所有情緒均有指向的動(dòng)作配合，如表情"滿意":動(dòng)作為："點(diǎn)頭三下"。如大喜動(dòng)作 為"做鬼臉，伸舌頭，扭屁股及面部的開(kāi)心表情"。
[0016] 輸入模塊包括：用于檢測(cè)用戶手勢(shì)的三軸加速傳感器、用于接收用戶觸摸輸入的 觸摸顯示屏或者是觸摸屏、用于接收用戶語(yǔ)音的麥克風(fēng)等，可以用來(lái)接收用戶行為，包括但 不限于用戶手勢(shì)、觸摸輸入、語(yǔ)音等。同時(shí)，輸入模塊可以讓用戶輸入用戶資料進(jìn)行簡(jiǎn)單的 個(gè)性化設(shè)定，用戶資料包括用戶年齡、性別、教育程度、職業(yè)、生活作息時(shí)間、愛(ài)好、地域、文 化。
[0017] 輸出模塊則用于顯示3D人物的動(dòng)作以及播報(bào)3D人物的語(yǔ)音，輸出模塊可以利用 輸入模塊的觸摸顯示屏進(jìn)行顯示。
[0018] 處理模塊根據(jù)一些參數(shù)，以及預(yù)定的策略，進(jìn)行分析處理，調(diào)用存儲(chǔ)器中相應(yīng)的3D 人物的語(yǔ)音和動(dòng)作給輸出模塊。其中參數(shù)可以是輸入模塊接收的用戶行為，或者3D人物的 當(dāng)前情緒狀態(tài)，或者3D人物的性格，或者互動(dòng)劇本或者它們之間的組合。
[0019] 下面以作為女朋友的3D智能機(jī)器人對(duì)本發(fā)明的使用方法進(jìn)行詳細(xì)說(shuō)明。
[0020] 在交互系統(tǒng)每次啟動(dòng)時(shí)，可以播放內(nèi)置的2秒廣告界面，然后自動(dòng)跳轉(zhuǎn)到歡迎頁(yè) 面，界面上有多個(gè)美女3D人物的圖片，用戶選擇其中一個(gè)美女3D人物，提示3分鐘后，即可 擁有自己的情感伴侶或語(yǔ)言工作機(jī)器人，并提示請(qǐng)進(jìn)行用戶資料的輸入。同時(shí)可以無(wú)限設(shè) 置問(wèn)句與回答內(nèi)容。將內(nèi)容設(shè)置為本地內(nèi)容或云端公眾數(shù)據(jù)內(nèi)容。云端內(nèi)容為服務(wù)器審核 內(nèi)容。
[0021] 輸入的用戶資料有姓名，昵稱，性別，年齡，學(xué)歷，愛(ài)好，郵箱等等，或可以通過(guò)QQ、 微信自動(dòng)登錄。登錄后作為女友角