本發(fā)明涉及自動控制領域，特別是涉及一種兒童娛教監(jiān)護機器人及其人體目標跟蹤算法。

背景技術：

機器人技術涉及學科廣泛，包括機械、電子、控制、計算機、傳感器技術等多個學科，集成了多學科研究的成果，因此機器人的發(fā)展與上述學科發(fā)展密切相關。隨著人們對服務機器人的需求越來越大，其應用范圍也越來越廣闊，服務機器人正朝著標準化、模塊化、智能化和市場化方向發(fā)展。

服務機器人技術不僅是國家未來空間、水下與地下資源勘探、武器裝備制高點的技術較量，而且將成為國家之間高技術激烈競爭的戰(zhàn)略性新興產(chǎn)業(yè)。不僅是未來先進制造業(yè)與現(xiàn)代服務業(yè)的重要組成部分，而且將成為世界高科技產(chǎn)業(yè)發(fā)展的一次重大機遇。微軟公司董事會主席比爾·蓋茨曾預言，個人服務機器人將重復個人計算機產(chǎn)業(yè)崛起的道路，成為我們日常生活的一部分。隨著社會和經(jīng)濟的高速發(fā)展，人們的生活和工作節(jié)奏越來越快，上班族面臨越來越大的工作壓力，沒有更多時間照顧自己的孩子，迫切需要從繁雜的家庭勞動中解脫出來；同時，隨著我國人口老齡化階段的到來，更多的老人也需要照顧，社會保障和服務的需求也更加緊迫，隨之醞釀而生的將是廣大的家庭服務機器人市場，各種服務型機器人尤其是家庭護理機器人、玩具機器人、清潔機器人等都將是最為需要的。

家用服務機器人可能朝著兩個方向發(fā)展，一種是代替人類完成特定家務勞動的服務機器人，比如清掃機器人、烹飪機器人等；另一種則可以稱作多功能的互動娛樂機器人，既能夠與需要我們關懷而又得不到足夠照顧的群體進行一定程度的互動娛樂與教育，豐富其日常生活，又能夠適當照料他們，將其信息實時反饋給家人和其他家用設備。

機器人研究相對先進的國家，例如加拿大、日本和意大利，實用型家庭服務機器人研究大多是企業(yè)和科研院所共同承擔的，將研究、產(chǎn)業(yè)發(fā)展和市場需求非常好地結合起來，使研究服務于企業(yè)，企業(yè)促使研究發(fā)展，形成了一個良性循環(huán)。因此這些國家的家庭服務器人已經(jīng)取得了較好的研究成果。

2008年加拿大推出了完美機器人妻子aiko，該女性機器人一頭秀發(fā)、五官精致，能簡單從事清潔和家務工作、善于數(shù)學計算、可以識別多個家庭成員、能夠朗讀報紙、為他人指引方向等。

2010年5月，日本fujitsu(富士通)公司推出了一款家用醫(yī)療康復機器人泰迪熊，該機器人能夠識別人臉面部表情，并做出反應。在泰迪熊的身體周圍大概有13種不同感應器來感應人類的觸碰，包括雙手、一個內部傾斜傳感器、一個麥克風和一個裝在熊鼻子上的攝像頭。通過這些裝置能讓泰迪熊收集它周圍環(huán)境和它的使用者情緒的信息，并找到適當?shù)姆绞胶褪褂谜呋印?/p>

我國家庭服務機器人的研究目前主要集中于各個大學、研究院所，雖然與國外家庭服務機器人的發(fā)展水平還有一定的差距，但廣闊的應用前景還是吸引著越來越多的人投入到家庭服務機器人技術的研究中來。目前，國內主要有清華大學、哈爾濱工業(yè)大學、上海交通大學、中國科學技術大學、中國科學院等高校及科研機構對這一領域進行了比較深入的研究。與此同時，大量這方面的文章發(fā)表在aaai(americanassociationforainationalconference)、nips(neuralinformationprocessingsystems)等重要的國際會議上。

2009年11月，中國科沃斯電器有限公司(ecovacselectricalofchina)推出了清潔機器人“地寶”deepoo?！暗貙殹蹦軐Φ孛孢M行自動清潔，電用完后能自動回到充電座充電，可以每天預約時間清潔，而且地面清潔的效果較好，能夠完全將地面的浮灰清潔干凈，不再需要用拖布進行“二次加工”。

但是現(xiàn)在還沒有一種能夠陪伴孩子而且能夠很好的對孩子的環(huán)境進行監(jiān)測，同時能對孩子進行交易的機器人。

技術實現(xiàn)要素：

本發(fā)明提供一種兒童娛教監(jiān)護機器人及其人體目標跟蹤算法，用于陪伴獨處的孩子，同時能對孩子所處環(huán)境進行安全監(jiān)控。該機器人具有語音互動和觸摸屏互動功能，并且利用傳感器和gsm模塊對室內火災和燃氣泄漏等安全環(huán)境進行監(jiān)控；可實現(xiàn)教育、娛樂、陪同及監(jiān)護功能為一體，使兒童在輕松安全的環(huán)境中學習和成長，激發(fā)兒童的求知欲望。

本發(fā)明通過以下技術方案解決上述問題：

一種兒童娛教監(jiān)護機器人，包括機器人殼體以及設置在機器人殼體內部的機器人系統(tǒng)，其中，機器人系統(tǒng)包括觸摸屏顯示模塊、語音處理模塊、人體目標跟蹤模塊、上位機、串口通信模塊和下位機裝置；

所述觸摸屏顯示模塊、語音處理模塊和人體目標跟蹤模塊均與上位機連接；觸摸屏顯示模塊檢測用戶觸摸觸摸屏的坐標位置傳給上位機和顯示上位機傳來的數(shù)據(jù)；語音處理模塊錄入用戶語音傳給上位機和播報上位機傳出的語音數(shù)據(jù)；人體目標跟蹤模塊實現(xiàn)人體目標的跟蹤融合深度信息和色彩信息的人體目標跟蹤；

所述上位機經(jīng)串口通信模塊與下位機裝置連接；上位機通過串口通信模塊與下位機裝置信息通信控制機器人動作；

所述下位機裝置包括數(shù)字信號處理器、傳感器模塊、gsm模塊和機械臂模塊；傳感器模塊、gsm模塊和機械臂模塊均與數(shù)字信號處理器連接；傳感器模塊通過檢測機器人環(huán)境數(shù)據(jù)經(jīng)過數(shù)字信號處理器傳給上位機；gsm模塊通過無線實現(xiàn)用戶遠程監(jiān)控機器人；機械臂模塊接收數(shù)字信號處理器傳來的數(shù)據(jù)控制機器人動作。

上述方案中，優(yōu)選的是觸摸屏顯示模塊包括紅外觸摸屏和顯示器，紅外觸摸屏包括紅外發(fā)生管、若干個位移鎖存器、微處理控制器、a/d轉換器、若干個放大器和紅外接收管；微處理控制器經(jīng)若干個位移鎖存器與紅外發(fā)生管連接；紅外接收管經(jīng)若干個放大器和a/d轉換器與微處理控制器連接。

上述方案中，優(yōu)選的是語音處理模塊包括麥克風陣列、語音識別電路、語音合成電路和音響；麥克風陣列經(jīng)語音識別電路與上位機連接；上位機經(jīng)語音合成電路與音響連接。

上述方案中，優(yōu)選的是人體目標跟蹤模塊包括攝像頭和人體目標檢測與跟蹤電路；攝像頭經(jīng)人體目標檢測與跟蹤電路與上位機連接；所述攝像頭為kinect攝像頭。

上述方案中，優(yōu)選的是傳感器模塊包括煙霧傳感器和氣體傳感，煙霧傳感器實時檢測機器人所處的環(huán)境是否出現(xiàn)煙霧，并把檢測數(shù)據(jù)傳給數(shù)字信號處理器；氣體傳感檢測空氣的成份數(shù)據(jù)傳給數(shù)字信號處理器進行識別處理。

上述方案中，優(yōu)選的是機械臂模塊包括驅動模塊、直流模塊、舵機和電機編碼器；驅動模塊和直流模塊控制舵機工作，電機編碼器采集舵機狀態(tài)編碼傳給數(shù)字信號處理器。

上述方案中，優(yōu)選的是舵機包括肩關節(jié)舵機、肘關節(jié)舵機和腕關節(jié)舵機；所述關節(jié)舵機、肘關節(jié)舵機和腕關節(jié)舵機的控制端均與數(shù)字信號處理器連接。

基于上述的一種兒童娛教監(jiān)護機器人的人體目標跟蹤算法，包括如下步驟：

步驟1：通過kinect攝像頭獲取人體目標的色彩信息和深度信息，并建立三維空間目標模型；

步驟2：把采集的人體目標的色彩信息和深度信息通過camshift算法拓展到三維空間目標模型中；

步驟3：在三維空間目標模型中融合人體目標的深度信息，并利用kalman濾波器預測目標的位置信息；

步驟4：通過對預測目標的位置信息進行計算初步鎖定窗口的質心；

步驟5：通過調整窗口大小和/或移動窗口中心來確定質心的具體位置；

步驟6：計算質心的位置區(qū)域是否收斂，當不收斂時，返回步驟4，當收斂時，輸出質心的位置和目標方向，并且質心的位置作為下一次目標鎖定的初始窗口；

步驟7：在深度圖像中計算人體目標的質心，對人體進行跟蹤。

本發(fā)明的優(yōu)點與效果是：

1、本發(fā)明設置為一種集教育、娛樂、陪同及監(jiān)護功能為一體的兒童娛教監(jiān)護機器人，陪伴獨處的孩子，同時能對孩子所處環(huán)境進行安全監(jiān)控，該機器人具有語音互動和觸摸屏互動功能，并且利用傳感器和gsm模塊對室內火災和燃氣泄漏等安全環(huán)境進行監(jiān)控；可實現(xiàn)教育、娛樂、陪同及監(jiān)護功能為一體，使兒童在輕松安全的環(huán)境中學習和成長，激發(fā)兒童的求知欲望。

2、本發(fā)明通過使用紅外觸摸屏從而可以更好的準確的檢測孩子對機器人的觸碰點，同時也更好的避免了孩子觸碰過程外其他的敲擊引起的觸摸屏的損壞，使得機器人的觸摸屏使用壽命更長久。

3、本發(fā)明通過kinect攝像頭使用對人體目標進行感應跟蹤，并通過自主研發(fā)的人體目標跟蹤算法對人體目標進行數(shù)據(jù)處理從而可以更好的準確定位人體目標，提高及其人的智能性。

附圖說明

圖1為本發(fā)明結構框圖；

圖2為本發(fā)明紅外觸摸屏控制原理圖；

圖3為本發(fā)明報警及gsm通信模塊數(shù)據(jù)傳輸示意圖；

圖4為本發(fā)明人體目標跟蹤算法流程圖。

具體實施方式

以下結合實施例對本發(fā)明作進一步說明。

一種兒童娛教監(jiān)護機器人，如圖1所示，包括機器人殼體以及設置在機器人殼體內部的機器人系統(tǒng)，機器人殼體設置為機器人模型，機器人殼體使用塑料材料制成或金屬材料制成。機器人系統(tǒng)包括觸摸屏顯示模塊、語音處理模塊、人體目標跟蹤模塊、上位機、串口通信模塊和下位機裝置。機器人系統(tǒng)為整個機器人的核心，也是機器人的數(shù)據(jù)處理中心。采用kinect融合圖像深度和色彩信息，實現(xiàn)了目標檢測和跟蹤，通過控制舵機的轉動實現(xiàn)機械臂的控制，采用煙霧傳感器和氣體傳感器對室內環(huán)境進行安全監(jiān)控，當有異常情況時，通過gsm模塊對主人發(fā)送短信。

觸摸屏顯示模塊、語音處理模塊和人體目標跟蹤模塊均通過串口與上位機連接。觸摸屏顯示模塊檢測用戶觸摸觸摸屏的坐標位置傳給上位機和顯示上位機傳來的數(shù)據(jù)。語音處理模塊錄入用戶語音傳給上位機和播報上位機傳出的語音數(shù)據(jù)。人體目標跟蹤模塊實現(xiàn)人體目標的跟蹤融合深度信息和色彩信息的人體目標跟蹤。觸摸屏顯示模塊、語音處理模塊和人體目標跟蹤模塊主要實現(xiàn)了機器人與人之間的信息的交互和信息采集等功能。

如圖2所示，觸摸屏顯示模塊包括紅外觸摸屏和顯示器，紅外觸摸屏包括紅外發(fā)生管、若干個位移鎖存器、微處理控制器、a/d轉換器、若干個放大器和紅外接收管。微處理控制器經(jīng)若干個位移鎖存器與紅外發(fā)生管連接。紅外接收管經(jīng)若干個放大器和a/d轉換器與微處理控制器連接。將觸摸屏作為機器人的頭部。啟動機器人后，觸摸屏即顯示教學內容選擇界面，當用戶用手指或其它物體觸摸觸摸屏時，所觸摸的位置以坐標形式由觸摸屏控制器檢測，并通過usb串口通信傳送到上位機，從而確定輸入的信息，進而根據(jù)觸摸選擇內容顯示教材。如：兒童可通過觸摸屏顯示選擇古詩、兒歌、英語單詞等進行學習，也可讓機器人朗讀古詩、唱兒歌和講故事。

人體目標跟蹤模塊包括攝像頭和人體目標檢測與跟蹤電路。攝像頭經(jīng)人體目標檢測與跟蹤電路與上位機連接。攝像頭為kinect攝像頭。kinect攝像頭采集人體目標信息，由人體目標檢測與跟蹤電路進行處理，并把處理的信息傳給上位機。

語音處理模塊包括麥克風陣列、語音識別電路、語音合成電路和音響；麥克風陣列經(jīng)語音識別電路與上位機連接；上位機經(jīng)語音合成電路與音響連接。語音處理模塊實現(xiàn)用戶與機器人的語音交互，更好實現(xiàn)人與機器人的語音溝通和交流。

上位機經(jīng)串口通信模塊與下位機裝置連接；上位機通過串口通信模塊與下位機裝置信息通信控制機器人動作。上位機為計算機或其他的設備處理系統(tǒng)，計算機上安裝有數(shù)據(jù)處理系統(tǒng)，機器人的數(shù)據(jù)經(jīng)過計算機進行處理可以大大的提高數(shù)據(jù)處理的效率。

下位機裝置包括數(shù)字信號處理器、傳感器模塊、gsm模塊和機械臂模塊；傳感器模塊、gsm模塊和機械臂模塊均與數(shù)字信號處理器連接。傳感器模塊通過檢測機器人環(huán)境數(shù)據(jù)經(jīng)過數(shù)字信號處理器傳給上位機。gsm模塊通過無線實現(xiàn)用戶遠程監(jiān)控機器人。機械臂模塊接收數(shù)字信號處理器傳來的數(shù)據(jù)控制機器人動作。下位機裝置主要是控制機器人的動作和環(huán)境數(shù)據(jù)的采集并通過無線與機器人主人的遠程無線設備進行無線通信，完成遠程對機器人進行監(jiān)控。

如圖3所示，傳感器模塊包括煙霧傳感器和氣體傳感，煙霧傳感器實時檢測機器人所處的環(huán)境是否出現(xiàn)煙霧，并把檢測數(shù)據(jù)傳給數(shù)字信號處理器；氣體傳感檢測空氣的成份數(shù)據(jù)傳給數(shù)字信號處理器進行識別處理。采用煙霧傳感器mq-2和氣體傳感器mq-4對室內的火災和燃氣泄漏進行檢測，當煙霧的濃度和可燃氣體濃度達到所設置的臨界值，將會發(fā)送信號，dsp通過gsm模塊給主人發(fā)送信息，從而進行處理。也就是說，通過dsp與gsm模塊的sci(異步通信傳輸)，可實現(xiàn)兩者的數(shù)據(jù)傳輸，當傳感器檢測到異常情況時，通過at命令控制gsm模塊給主人發(fā)送短信，主人從而可進行及時處理。

機械臂模塊包括驅動模塊、直流模塊、舵機和電機編碼器；驅動模塊和直流模塊控制舵機工作，電機編碼器采集舵機狀態(tài)編碼傳給數(shù)字信號處理器。舵機包括肩關節(jié)舵機、肘關節(jié)舵機和腕關節(jié)舵機；所述關節(jié)舵機、肘關節(jié)舵機和腕關節(jié)舵機的控制端均與數(shù)字信號處理器連接。驅動模塊接收數(shù)字信號處理器傳入的指令，根據(jù)指令控制肩關節(jié)舵機、肘關節(jié)舵機和腕關節(jié)舵機做出動作。電機編碼器采集肩關節(jié)舵機、肘關節(jié)舵機和腕關節(jié)舵機的狀態(tài)，并通過編碼處理后傳給數(shù)字信號處理器，實現(xiàn)閉環(huán)控制。

如圖4所示，基于一種兒童娛教監(jiān)護機器人的人體目標跟蹤算法，包括如下步驟：

步驟1：通過kinect攝像頭獲取人體目標的色彩信息和深度信息，并建立三維空間目標模型。kinect攝像頭通過kinect傳感器感應人體目標，在調控攝像頭對人體圖像進行采集。三維空間目標模型為立體視覺模型，通x軸、y軸和z軸建立起來。

步驟2：把采集的人體目標的色彩信息和深度信息通過camshift算法拓展到三維空間目標模型中。攝像頭采集圖像回來后，經(jīng)過攝像頭的處理器進行顏色識別，進行識別色彩信息，同時識別深度信息(背景投影信息)，把色彩信息和深度信息進行圖片匹配并融合，并把融合的額圖片信息放入到建立好的三維空間目標模型中。

步驟3：在三維空間目標模型中融合人體目標的深度信息，并利用kalman濾波器預測目標的位置信息。利用kalman濾波器過濾模糊的信息后，確定大概的人體模型信息，根據(jù)人體模型信息進行預測目標的位置信息。

步驟4：通過對預測目標的位置信息進行計算初步鎖定窗口的質心。對人體模型信息從邊緣進行計算，根據(jù)計算的信息進行鎖定人體模型的中間位置。

步驟5：通過調整窗口大小和/或移動窗口中心來確定質心的具體位置。根據(jù)窗口的與人體模型信息的位置的關系對現(xiàn)有的窗口進行放大或者進行縮小，當還是不能更好確定人體的具體位置時，在通過移動窗口中心的位置，進而確定人體的位置信息。

步驟6：計算質心的位置區(qū)域是否收斂，當不收斂時，返回步驟4，計算質心的位置區(qū)域是不收斂的，說明沒能完全找到人體的位置的準確的信息，返回去繼續(xù)進行搜索。當收斂時，輸出質心的位置和目標方向，并且質心的位置作為下一次目標鎖定的初始窗口。當收斂時質心的位置的位置時準確的，可以很好進行根據(jù)模型來確定目標位置的具坐標和方向。

步驟7：在深度圖像中計算人體目標的質心，對人體進行跟蹤。當有一次鎖定后，后一次的掃描鎖定是根據(jù)上一次的確定位置為初始值進行掃描確定，可以更好的為下一次掃描鎖定目標，通過掃描跟蹤的方式，可以很好的對目標進行跟蹤。

以上已對本發(fā)明創(chuàng)造的較佳實施例進行了具體說明，但本發(fā)明并不限于實施例，熟悉本領域的技術人員在不違背本發(fā)明創(chuàng)造精神的前提下還可作出種種的等同的變型或替換，這些等同的變型或替換均包含在本申請的范圍內。