專利名稱:提供基于情緒的虛擬相冊的方法和系統(tǒng)的制作方法
本發(fā)明涉及與反饋系統(tǒng)有關的觀看者界面。更明確地，本發(fā)明涉及與反饋系統(tǒng)有關的光學觀看者界面。
當希望回憶過去的特定的事件或者人時，人們經(jīng)常觀看相冊。然而，標準的相冊不能考慮到當觀看者翻閱圖片時的情緒。
本發(fā)明的一個方面是用于提供虛擬相冊的方法，該相冊能夠展示符合觀看者被識別的情緒的照片集。這包括以下步驟用照相機捕捉觀看者面部表情的第一圖像，將該圖像提供給處理器的模式識別模塊，通過將該面部表情與多個以前存儲的面部表情的圖像相比較確定觀看者的情緒，所述多個以前存儲的圖像都具有相關的情緒標識符來表示多個以前存儲的圖像的每一個圖像的情緒，基于與已經(jīng)確定的情緒相關的情緒標識符從存儲器中檢索出用于傳送給觀看者的一個照片集，以及將該照片集以電子相冊的形式傳送給觀看者。
本發(fā)明的另一方面，用于基于情緒的虛擬相冊的系統(tǒng)包括照相機，用于傳送以該照相機捕捉的觀看者面部表情的第一圖像的用戶界面裝置，用于接收通過用戶界面裝置傳送來的圖像的處理器，該處理器還包括模式識別模塊，該模塊用于將由處理器接收的圖像與來自存儲區(qū)的多個面部表情的圖像相比較，從而根據(jù)由照相機捕捉的第一圖像確定觀看者的情緒，用于檢索對應于觀看者情緒的一個電子照片集并將該電子照片集發(fā)送給觀看者的檢索裝置，以及用于展示作為虛擬相冊的該照片集的顯示器。

圖1A是一個流程圖，該流程圖給出了一個根據(jù)本發(fā)明的提供基于情緒的虛擬相冊的方法的概述。
圖1B是一個流程圖，該流程圖給出了圖1A中所示概述的附加細節(jié)。
圖2是一個根據(jù)本發(fā)明的用于提供虛擬相冊的系統(tǒng)的圖解。
圖1A圖示了一個根據(jù)本發(fā)明的提供虛擬相冊的方法的概述。
步驟105中，通過照相機捕捉觀看者的第一圖像。該圖像可以依據(jù)任何已知協(xié)議，包括但不限于JPEG、TIFF、BMP、PCX等等。該圖像也可能是一個視頻序列，例如MPEG、MPEG-1、MPEG-2、MEPG-3或者任何它們的變型。也可以是用于視頻序列的另一種格式。
步驟115中，將觀看者的面部表情的圖像提供給處理器的模式識別模塊。盡管處理器可以是一個本地相聯(lián)的計算機，但是本發(fā)明的一個方面包括基于網(wǎng)絡的處理器，而且觀看者將啟動互聯(lián)網(wǎng)網(wǎng)站上的虛擬相冊。該網(wǎng)站可以要求一個標識符和密碼，或者在每次訪問該網(wǎng)站時，可以存儲和/或更新觀看者界面上的甜餅(cookie)。也可能使用不同于萬維網(wǎng)的其他類型的網(wǎng)絡，例如LAN、WAN等等。
步驟125中，通過模式識別確定觀看者的情緒。通過將該面部表情與多個以前存儲的面部表情的圖像相比較來做出該確定，所述多個以前存儲的面部圖像都具有相關的情緒標識符來表示多個以前存儲的圖像中的每一個圖像的情緒。
步驟135中，從存儲區(qū)中檢索一個照片集，該照片對應于步驟125中檢測出的情緒類型。例如，如果觀看者被檢測出的情緒是悲傷，該照片集可以包括愛人的圖像。該照片集也可以包括預先確定的使得大多數(shù)以前的觀看者快樂的照片。
步驟145中，將該照片集傳送給觀看者作為虛擬的基于情緒的相冊顯示。照片可以連續(xù)地顯示，每張照片顯示確定的時間?？蛇x擇地，觀看者可以確定觀看每張照片的時間長度，或者通過主動敲擊鍵盤、操縱桿或者鼠標來指示觀看下一張照片的請求。照片可以首先顯示在屏幕上，例如，包括但不限于行和列的格式。用戶可以通過指示設備或鍵盤敲擊或指示或輸入某個數(shù)字來單獨觀看特定的照片。
圖1B給出了關于反饋系統(tǒng)的更多的細節(jié)，在將照片集中的至少一張照片展示給觀看者之后，該反饋系統(tǒng)用于后續(xù)的面部表情圖像。應該注意的是，圖1B中的步驟是可選的。
步驟155中，通過照相機捕捉觀看者的面部表情的第二圖像。該第二圖像在被觀看者觀看的所述照片集中的至少一張之后。該面部表情的附加的監(jiān)視是一種反饋系統(tǒng)，該系統(tǒng)能夠在顯示至少一張照片之后，根據(jù)觀看者目前的情緒評價關于照片的反應。
步驟165中，通過重復步驟125、135和145更新照片集從而得到用于虛擬相冊的修改的照片集。
圖2圖示了根據(jù)本發(fā)明的、用于提供虛擬相冊的系統(tǒng)。
觀看者界面(UI)205包括照相機206，該界面與處理器210通信，包括但不限于個人電腦。該照相機可以是模擬的，也可以是數(shù)字的，能夠提供一個或者幾個觀看者的快速靜止照片或者視頻序列。該靜止照片可以應用任何已知的傳統(tǒng)的數(shù)字表示協(xié)議，例如JPEG、TIFF、BMP、PCX等等。該視頻序列也可以應用任何已知的協(xié)議，例如MPEG、MPEG-1、MPEG-2、MEPG-3等等。照相機可以以任何方式與處理器通信，例如通過USB(通用串行總線)端口、并口或串口、光纖連接、或者甚至無線連接。
處理器210可以放置在遠離用戶界面和觀看者的地方，視頻序列可以通過互聯(lián)網(wǎng)傳送到主機地點，該主機地點可以包括多張根據(jù)情緒分類的照片，至少其中之一可以作為虛擬相冊傳送給觀看者。對于在關于任何特定的觀看和/或觀看者的虛擬相冊中提供什么類型的照片而言，觀看者的情緒是主要的決定因素。
放置照相機使得能夠準確地聚焦到觀看者的表情。面部表情，例如微笑、皺眉、傻笑、咬嘴唇、流淚僅是幾個作為觀看者情緒標志的標準，可以由照相機記錄并傳送給處理器。作為例子但不是限定，授予Kawamoto等人的U.S.專利5,367,454被包括于此文作為背景資料參考，其中公開了不同的人類情緒，包括害怕、驚奇、厭惡、憤怒、期待、歡樂和贊同。
該處理器可以包括面部表情識別數(shù)據(jù)庫和識別模塊215或者在存儲區(qū)的程序。該數(shù)據(jù)庫包括多個面部表情，每個面部表情都有一個相關的情緒類別，例如快樂、悲傷、害怕、厭惡、生氣、焦慮等等。模式識別模塊辨別觀看者面部表情特征，以及通過比較器模塊將該表情與以前存儲的面部表情相比較來確定觀看者的情緒。
例如，觀看者的嘴部特征與來自存儲區(qū)中面部表情況別數(shù)據(jù)庫和識別模塊215的圖像的比較可以用于檢測是否該人在笑。例如，如果嘴唇的末端向上彎曲，或者其位置比嘴唇中部高，就可以被識別為快樂的圖像。嘴唇末端比嘴唇中部低的嘴可以作為皺眉的標記。緊閉嘴唇和抿嘴一起可以作為悲哀的標記。
由于嘴唇通常都有一致的色調(diào)和相對地橢圓形，像素的色調(diào)可以用于確定嘴的位置和臉的周邊區(qū)域。像素的改變將用于識別眼淚，這樣確定觀看者是悲傷的。
模式識別工作的一種方法是觀看者從附屬照相機中發(fā)送快照，將這些照片標記為當快樂、悲傷、生氣、焦慮、害怕、厭惡等時觀看者的表情。該表情作為基礎用于面部表情的后續(xù)圖像的比較230。然后該模式識別模塊將觀看者目前的面部表情與在存儲區(qū)中的觀看者的面部表情相比較，并且確定該觀看者的主要情緒。
可替換地，在存儲區(qū)中面部表情識別數(shù)據(jù)庫和識別模塊215中的面部圖像的分類的情緒可以包括相應的觀看者的圖像。在將一系列通常會導致某些面部表情的照片展示給觀看者之后，捕捉這些圖像。例如，當由照相機捕捉觀看者的面部表情時，危險動物的照片，諸如正要攻擊的北極熊，或者鯊魚，將會被展示給觀看者。無論觀看者經(jīng)歷了什么情緒，例如，來自一張照片的恐懼都是傾向于受個人感情支配的，這一點說明了情緒的最初標記可能是檢測一個人情緒的更準確的方法的原因。
另外，模式識別模塊可以用并非觀看者的人的面部表情來預編程序，這樣將不再需要觀看者提供關于他們與特定面部表情相聯(lián)系的特定情緒的最初反饋。在該領域的普通技術人員應該注意的是，需要一個更加復雜的模式識別模塊，用于將被預編程序到數(shù)據(jù)庫的來自其他人的多個樣本的面部表情，例如憤怒，與目前觀看者的面部表情建立關聯(lián)。
模式識別模塊將關于已確定的情緒的信息提供給檢索模塊220。檢索模塊將使用已確定的情緒作為過濾器來屏蔽所有照片，除了將會根據(jù)已確定情緒的類型改變已確定的情緒或可能保持它的現(xiàn)狀的那些照片之外。從數(shù)據(jù)庫225中檢索出用于傳送和展示給觀看者的照片，這些照片至少通過情緒被分類。
例如，當已經(jīng)確定目前觀看者的情緒是悲哀，可以將虛擬相冊中的圖像傳送給觀看者，從而將其情緒改變?yōu)榭鞓贰Ｈ欢?，如果目前的情緒是快樂，檢索到的圖像可能是那些以前被確定的，或者通過直接相關，或者通過觀看者以前觀看虛擬相冊的啟發(fā)式的重復，從而保留該快樂的情緒。對觀看者目前的面部表情可以有一個持續(xù)的監(jiān)視，在虛擬相冊中的照片集可以根據(jù)觀看者面部表情的改變而進行更新。
該模式識別是啟發(fā)式的，在其中，來自基于情緒的照片的反饋根據(jù)表情的變化分出等級。以后的用于明確的觀看者的虛擬相冊能夠提供照片，這些照片給出，例如，以前的虛擬相冊期間來自該觀看者的最開心的笑容。被認為可以撫慰焦慮或不安的觀看者的照片在以后的觀看過程中將不會激發(fā)出相同的反應。然而，可以引起微笑甚至大笑的照片可能在第一次觀看時最為有趣，而在以后的觀看時將帶來較少的快樂。這些反應將會被跟蹤以用于以后的觀察者，在其中，例如，很有可能當觀看者第一次觀看某張照片時將會微笑。如果以前的觀看者在后續(xù)的觀看中表現(xiàn)出較少的快樂，則那張照片最好只展示給觀看者一次。例如，也可以通過由網(wǎng)站在觀看者的電腦里置入甜餅進行跟蹤，從而使得在將來的虛擬相冊中是否看到一些相同的照片取決于觀看之間的時間量。
當然，應該考慮到普通表情的變化。例如，某些人當焦慮的時候?qū)⑿?，但那不是快樂的表示。通常在焦慮的微笑中有一個可分辨的特征，這一點不同于喜劇的微笑，或者當人們看到愛人時的微笑。這樣相同面部表情的不同類別將包括子類，因此模式識別模塊可以區(qū)分快樂的微笑和焦慮的微笑，而檢索模塊能夠發(fā)送虛擬相冊中適當?shù)恼掌?br>另外，當看到孩子或者配偶的照片時，人們通常會感覺到快樂，但是也有可能觀看者看到照片中的人時表現(xiàn)出不安，正常的情緒可能由憤怒或焦慮的感情代替。而且，例如，現(xiàn)在已經(jīng)死亡的愛人的照片將會帶來悲傷而不是以前快樂的反應。如果以前令人快樂的照片現(xiàn)在卻在不只一個的場景中引起負面的反應，模式識別模塊將會記錄該照片，并將其從呈現(xiàn)給觀看者的可能的照片組合中除去。
在本發(fā)明的另一方面，觀看者可以提供一些識別信息，或者從網(wǎng)站中提取該信息。該識別信息可以是觀看者的郵政編碼或者其他的地理位置。一個相關模塊能夠，例如，檢查觀看者的識別郵政編碼對應地區(qū)的天氣/溫度。如果該地理位置現(xiàn)在很冷并且在下雪，虛擬相冊將傳送壁爐，或者一杯熱巧克力，或者與雪有關的運動例如滑雪和摩托雪撬等的照片。如果天氣非常熱，海灘或者夏天正常的戶外運動的照片將成為虛擬相冊的一部分。如果正在下雨，照片將包括晴朗的戶外照片、彩虹、鮮花等等。在每種情況下，都將有觀看者面部表情的反饋，用來觀看的圖片可以被相應地調(diào)整。
另外，照相機探測到的一天內(nèi)的時間、日期、天氣、房間里人的數(shù)量、和背景照明條件，也能夠作為修改照片檢索的要素。而且，觀看者可以選擇或者最初設定最喜歡的活動，作為用于被檢索和展示的照片的類型和順序的修改因子。每一個修改檢索的要素都應該具有相應的可識別的標準來標記存儲器中的圖片。例如，棒球運動員的照片可以有獨特的標識符，如果觀看者表達了對棒球的喜愛，將會檢索該照片用于顯示。
在本發(fā)明的另一方面，對于某一特定的面部表情，觀看者可能指示應該被顯示的目標的偏愛。例如，如果確定的情緒是悲傷，喜歡狗的人可能暗示最希望小狗的照片使其變得快樂。另一個人可能更偏愛小貓的照片。類別可以被個人化從而包括，例如，汽車、運動、藝術、手工藝、愛好等等的照片。在每種情況下，檢索模塊將會基于從模式識別模塊確定的情緒和當一個特定的情緒被確定時由觀看者指示的偏愛，來選擇某一個圖像集。
該模式識別模塊可以被置于存儲區(qū)內(nèi)。該存儲區(qū)可以位于ROM/RAM、閃速存儲器等中，或者它可以是網(wǎng)絡中的服務器。
在本發(fā)明的精神和附加的權利要求
書的范圍內(nèi)，本領域的普通技術人員可以做出各種各樣的修改。例如，情緒標識符可以包括更多的情緒或更少的情緒，對于每一類特定的面部表情根據(jù)表情的相對程度，在一個類別(例如微笑)中的表情可以被區(qū)分等級。
權利要求
1.用于提供基于情緒的虛擬相冊的方法，所述的方法包括以下步驟(a)用照相機捕捉觀看者面部表情的第一圖像(105)；(b)將所述面部表情的圖像提供給處理器的模式識別模塊(115)；(c)通過將該面部表情與多個以前存儲的面部表情的圖像相比較來確定具有相關的情緒標識符的觀看者的情緒(125)，所述多個以前存儲的面部表情的圖像都具有相關的情緒標識符，用于表示所述多個以前存儲的圖像中的每一個的情緒；(d)基于與在步驟(c)中確定的情緒相關的情緒標識符從存儲器中檢索要被傳送給所述觀看者的照片集(135)；并且(e)將在步驟(d)中檢索出的該照片集以電子相冊的形式傳送給所述觀看者以用于顯示(145)。
2.根據(jù)權利要求
1所述的方法，其中步驟(e)中的照片集通過互聯(lián)網(wǎng)傳送給所述觀看者，并且所述的電子相冊包括虛擬相冊。
3.根據(jù)權利要求
1所述的方法，其中步驟(b)中的模式識別模塊是本地相聯(lián)的計算機。
4.根據(jù)權利要求
2所述的方法，其中步驟(b)中的模式識別模塊是基于網(wǎng)絡的處理器。
5.根據(jù)權利要求
1所述的方法，其中步驟(c)中的以前存儲的圖像是觀看者的面部表情。
6.根據(jù)權利要求
4所述的方法，還包括給以前存儲的觀看者的面部表情的圖像提供情緒標識符。
7.根據(jù)權利要求
6所述的方法，其中情緒標識符由觀看者提供，從而為所述多個以前存儲的圖像中的每一個相應圖像的面部表情指定特定的情緒。
8.根據(jù)權利要求
4所述的方法，其中步驟(c)中的以前存儲的圖像是觀看者的面部表情。
9.根據(jù)權利要求
8所述的方法，還包括給以前存儲的觀看者的面部表情的圖像提供情緒標識符。
10.根據(jù)權利要求
9所述的方法，其中情緒標識符由觀看者提供，從而為所述多個以前存儲的圖像中的每一個相應圖像的面部表情指定特定的情緒。
11.根據(jù)權利要求
4所述的方法，還包括(f)在所述觀看者觀看了在步驟(e)中被傳送的所述照片集中的至少一張照片后，捕捉觀看者的面部表情的第二圖像；(g)根據(jù)在步驟(f)中捕捉的面部表情的第二圖像，通過重復步驟(c)、(d)和(e)來更新在步驟(e)中被傳送的照片集。
12.根據(jù)權利要求
4所述的方法，其中以JPEG圖像、TIFF圖像、BMP圖像和PCX圖像中的一種來捕捉面部表情的圖像。
13.根據(jù)權利要求
4所述的方法，其中面部表情的圖像是視頻序列。
14.根據(jù)權利要求
13所述的方法，其中所述視頻序列包括MPEG序列。
15.根據(jù)權利要求
4所述的方法，其中步驟(c)包括(1)根據(jù)下述因素中的至少一個修改與觀看者的情緒有關的情緒標識符(i)本地天氣；(ii)靠近觀看者的其他人；(iii)該觀看者附近的照明情況；(iv)一天內(nèi)的時間；(v)日期；和(vi)觀看者喜愛的活動。
16.根據(jù)權利要求
15所述的方法，其中步驟(d)包括根據(jù)在步驟(c)(1)中對于情緒標識符的修改來順序傳送照片集。
17.用于基于情緒的虛擬相冊的系統(tǒng)，包括照相機(206)；用戶界面裝置(205)，該裝置用于傳送用所述照相機捕捉的觀看者面部表情的第一圖像；處理器(210)，該處理器用于接收被傳送來的所述觀看者的面部表情的圖像；所述的處理器包括面部表情識別數(shù)據(jù)庫和識別模塊(215)，該模塊用于將由所述處理器接收的圖像與存儲在存儲區(qū)的多個面部表情的圖像相比較，并且用于根據(jù)由所述照相機捕捉的面部表情的第一圖像確定觀看者的情緒；檢索裝置(220)，用于檢索對應于根據(jù)面部表情的第一圖像確定的觀看者情緒的電子照片集(225)，以將所述的電子照片集傳送給所述的觀看者；和顯示器(205)，用于將所述照片集作為虛擬相冊展示給觀看者。
18.根據(jù)權利要求
17所述的系統(tǒng)，其中所述的用戶界面裝置(205)用于在顯示所述照片集中的至少一張照片之后，傳送所述觀看者的面部表情的后續(xù)圖像；其中所述處理器的所述面部表情識別數(shù)據(jù)庫和識別模塊(215)比較所述觀看者的面部表情的所述后續(xù)圖像，用于根據(jù)所述后續(xù)圖像確定觀看者的情緒；并且所述檢索裝置(220)檢索與根據(jù)觀看者的面部表情的所述后續(xù)圖像中的每一張確定的觀看者的情緒相對應的電子照片集。
專利摘要
用于提供基于情緒的虛擬相冊的方法和系統(tǒng)，該相冊基于觀看者的被識別的情緒提供照片。該方法可以包括以下步驟用照相機捕捉觀看者面部表情的第一圖像，將該圖像提供給處理器的模式識別模塊，通過將該面部表情與多個以前存儲的面部表情的圖像相比較確定觀看者的情緒，所述多個以前存儲的圖像都具有相關的情緒標識符來表示多個以前存儲的圖像中的每一個圖像的情緒，基于與已經(jīng)確定的情緒相關的情緒標識符從存儲器中檢索出用于傳送給觀看者的一個照片集，以及將該照片集以電子相冊的形式傳送。系統(tǒng)包括照相機，用于傳送以該照相機捕捉的觀看者面部表情的第一圖像的用戶界面，用于接收通過用戶界面?zhèn)魉蛠淼膱D像的處理器，該處理器還包括模式識別模塊，該模塊用于將由處理器接收的圖像與來自存儲區(qū)的多個面部表情的圖像相比較，從而確定觀看者的情緒。檢索單元檢索對應于觀看者情緒的一個電子照片集，并且傳送該電子照片集作為虛擬相冊用于展示。
文檔編號G06T1/00GKCN1320806SQ02824663
公開日2007年6月6日 申請日期2002年11月20日
發(fā)明者A·J·科梅納雷茲, M·特拉科維, S·V·R·古特塔 申請人:皇家飛利浦電子股份有限公司導出引文BiBTeX, EndNote, RefMan