用于主觀廣告有效性分析的方法和設(shè)備的制作方法
【專利摘要】公開了用于主觀廣告有效性分析的方法和設(shè)備。一種系統(tǒng)包括被配置為接收廣告的處理器。所述處理器還被配置為將廣告呈現(xiàn)給車輛乘員。所述處理器還被配置為：使用車輛相機(jī)可視地記錄廣告呈現(xiàn)的過程期間的乘員響應(yīng)。所述處理器還被配置為分析可視地記錄的響應(yīng)以估計用戶對于廣告的反應(yīng)，以及基于所述分析針對呈現(xiàn)的廣告調(diào)整廣告變量度量。
【專利說明】用于主觀廣告有效性分析的方法和設(shè)備

【技術(shù)領(lǐng)域】
[0001]說明性實(shí)施例總體涉及一種用于主觀廣告有效性分析的方法和設(shè)備。

【背景技術(shù)】
[0002]從電視機(jī)到商店中的售貨員，廣告是人類交流的一種形式。人們尤其善于與他人進(jìn)行面對面的交流，但是迄今為止，已經(jīng)開發(fā)出滿足日益增加的技術(shù)社會的通信需求的技術(shù)。
[0003]人類交流是言語和非言語交互的結(jié)合。通過面部表情、肢體姿勢和其他非言語的線索，人依舊可以有效地與其他人交流。在情感交流中尤其如此。實(shí)際上，令人意想不到的是，93%的感情交流通過面部表情、姿勢或聲音變化而非言語地或啪啦語言性(para-1 inguisticalIy)地發(fā)生。在廣告領(lǐng)域內(nèi)的許多發(fā)現(xiàn)和體驗(yàn)還表明應(yīng)該加強(qiáng)可視的情感交流。
[0004]廣告有更加艱巨的任務(wù):開發(fā)被普遍理解的作為用于交流復(fù)雜想法的完整交流的基礎(chǔ)的示例和范例的通用集合。為此，優(yōu)選有聲通信作為文本或文本到語音(TTS)通信。與語音結(jié)合的可視通信甚至比單獨(dú)的語音還要好，這使得對話的雙方可以看見和聽見對方的聲音、表情和姿勢。由于良好的交流很重要，因此面對面交流仍然是優(yōu)選的，這是為什么政客和CEO仍然出差以彼此會面并且零售商仍然需要銷售人員的原因。
[0005]第EP1557810號歐洲專利申請總體涉及一種顯示布置，包括:圖像顯示裝置，具有用于顯示的兩組或更多組圖像；相機(jī)，朝向觀看顯示器的用戶的方位；面部檢測器，用于檢測由相機(jī)捕捉到的圖像中的人的面部，該面部檢測器被布置為在至少兩種面部分類中檢測面部；以及響應(yīng)于由面部檢測器在一個或更多個不同時間段檢測到面部分類的頻率，選擇將在每天的那個時間顯示在圖像顯示裝置上的一組圖像的裝置。
[0006]第2012/0265616號美國專利申請總體涉及一種對動態(tài)選擇廣告內(nèi)容有效的系統(tǒng)和方法。在示例中，可針對目標(biāo)廣告區(qū)域接收目標(biāo)感官內(nèi)容和標(biāo)識信息?？煞治瞿繕?biāo)感官內(nèi)容和標(biāo)識信息以確定目標(biāo)廣告區(qū)域的特征。基于滿足預(yù)定義函數(shù)的條件的特征，可確定廣告內(nèi)容的子集。在一些實(shí)施例中，可在遠(yuǎn)程計算裝置上執(zhí)行動態(tài)選擇廣告內(nèi)容。其他實(shí)施例可采用廣告內(nèi)容的子集用于目標(biāo)廣告區(qū)域中的消費(fèi)。
[0007]第2012/0243751號美國專利申請總體涉及在人上收集的并用于分析情感的面部信息。面部信息可用于確定描繪人們在臉上所具有的默認(rèn)表情的基準(zhǔn)面孔。與該基準(zhǔn)面孔的偏差可用于估計情感并還可用于推測心理狀態(tài)。可針對各種表情(包括笑、皺眉和瞇眼)為面部圖像自動打分?？稍谠摶鶞?zhǔn)面孔分析期間使用圖像描述符和圖像分類符。


【發(fā)明內(nèi)容】

[0008]在第一說明性實(shí)施例中，一種系統(tǒng)包括被配置為接收廣告的處理器。所述處理器還被配置為將廣告呈現(xiàn)給車輛乘員。所述處理器還被配置為:使用車輛相機(jī)可視地記錄廣告呈現(xiàn)的過程期間的乘員響應(yīng)。所述處理器還被配置為分析可視地記錄的響應(yīng)以估計用戶對于廣告的反應(yīng)，以及基于所述分析針對呈現(xiàn)的廣告調(diào)整廣告變量度量。
[0009]廣告呈現(xiàn)包括可視呈現(xiàn)。
[0010]廣告呈現(xiàn)包括可聽呈現(xiàn)。
[0011]處理器被配置為通過車輛相機(jī)記錄用戶響應(yīng)。
[0012]用戶響應(yīng)包括面部表情。
[0013]對面部表情的分析得出確定的用戶情感狀態(tài)。
[0014]利用用戶對廣告的基于情感狀態(tài)的響應(yīng)，使用用戶情感狀態(tài)來更新用戶資料。
[0015]在第二說明性實(shí)施例中，一種系統(tǒng)包括被配置為接收包括面部識別傳送指令的廣告的處理器。所述處理器還被配置為使用車輛相機(jī)捕捉車輛乘員的圖像或視頻以記錄用戶表情狀態(tài)。所述處理器還被配置為分析用戶表情狀態(tài)，以及當(dāng)用戶表情狀態(tài)符合面部識別傳送指令時，傳送廣告。
[0016]面部識別傳送指令包括用于在面部狀態(tài)與特定情感相應(yīng)期間傳送廣告的指令。
[0017]面部識別傳送指令至少部分地基于先前觀察到的響應(yīng)，其中，在所述響應(yīng)下，利用積極記錄的響應(yīng)傳送相似廣告。
[0018]隨預(yù)定義片段中的廣告?zhèn)魉偷倪^程，記錄面部表情。
[0019]處理器還被配置為:在廣告?zhèn)魉推陂g記錄用戶面部表情，并利用用戶對廣告的基于記錄的用戶面部表情的響應(yīng)來更新用戶資料。
[0020]在廣告響應(yīng)的更新期間對預(yù)定義片段進(jìn)行關(guān)聯(lián)以對應(yīng)于特定廣告片段。
[0021]在第三說明性實(shí)施例中，一種計算機(jī)實(shí)現(xiàn)的方法包括接收包括面部識別傳送指令的廣告。所述方法還包括使用車輛相機(jī)捕捉車輛乘員的圖像或視頻以記錄用戶表情狀態(tài)。此外，所述方法包括分析用戶表情狀態(tài)，以及當(dāng)用戶表情狀態(tài)符合面部識別傳送指令時，傳送廣告。
[0022]面部識別傳送指令包括用于在面部狀態(tài)與特定情感相應(yīng)期間傳送廣告的指令。
[0023]面部識別傳送指令至少部分地基于先前觀察到的響應(yīng)，其中，在所述響應(yīng)下，利用積極記錄的響應(yīng)傳送相似廣告。
[0024]隨預(yù)定義片段中的廣告?zhèn)魉偷倪^程，記錄面部表情。
[0025]所述方法還包括:在廣告?zhèn)魉推陂g記錄用戶面部表情，并利用用戶對廣告的基于記錄的用戶面部表情的響應(yīng)來更新用戶資料。
[0026]在廣告響應(yīng)的更新期間對預(yù)定義片段進(jìn)行關(guān)聯(lián)以對應(yīng)于特定廣告片段。

【專利附圖】

【附圖說明】
[0027]圖1示出說明性的車輛計算系統(tǒng)；
[0028]圖2A、圖2B、圖2C和圖2D示出示例性面部表情和分析；
[0029]圖3示出用于分析面部表情的說明性處理；
[0030]圖4示出說明性廣告分析系統(tǒng)；
[0031]圖5示出用于廣告數(shù)據(jù)收集的說明性處理；
[0032]圖6示出用于廣告數(shù)據(jù)收集的第二說明性處理；
[0033]圖7示出富媒體播放器環(huán)境中的面部識別的說明性示例；
[0034]圖8示出用于廣告估計的情緒測試的示例。

【具體實(shí)施方式】
[0035]根據(jù)需要，在此公開本發(fā)明的詳細(xì)實(shí)施例；然而，將理解的是，所公開的實(shí)施例僅僅是本發(fā)明的示例，本發(fā)明可以以各種替代形式實(shí)現(xiàn)。附圖無需按比例繪制；可夸大或最小化一些特征以示出特定組件的細(xì)節(jié)。因此，在此公開的具體結(jié)構(gòu)和功能細(xì)節(jié)將不被解釋為限制，而僅僅是作為用于教導(dǎo)本領(lǐng)域技術(shù)人員以各種方式利用本發(fā)明的代表性基礎(chǔ)。
[0036]圖1示出針對車輛31的基于車輛的計算系統(tǒng)(VCS)I的示例框式拓?fù)鋱D。這種基于車輛的計算系統(tǒng)I的示例是由福特汽車公司制造的SYNC系統(tǒng)。設(shè)置有基于車輛的計算系統(tǒng)的車輛可包含位于車輛中的可視前端界面4。如果設(shè)置有例如觸敏屏幕，則用戶還能夠與所述界面交互。在另一說明性實(shí)施例中，通過按鈕按壓、可聽語音和語音合成來進(jìn)行交互。
[0037]在圖1中所示的說明性實(shí)施例1中，處理器3控制基于車輛的計算系統(tǒng)的操作的至少某部分。設(shè)置在車輛中的處理器允許命令和程序的車載處理。此外，處理器連接到非永久性存儲器5和永久性存儲器7兩者。在該說明性性實(shí)施例中，非永久性存儲器是隨機(jī)存取存儲器(RAM)，而永久性存儲器是硬盤驅(qū)動器(HDD)或閃存。
[0038]處理器還設(shè)置有允許用戶與處理器進(jìn)行交互的多個不同的輸入。在該說明性實(shí)施例中，麥克風(fēng)29、輔助輸入25(用于輸入33)、USB輸入23、GPS輸入24、和藍(lán)牙輸入15均被提供。還設(shè)置有輸入選擇器51，以允許用戶在各種輸入之間互換。在對麥克風(fēng)和輔助連接器兩者的輸入被傳送到處理器之前，通過轉(zhuǎn)換器27將所述輸入從模擬轉(zhuǎn)換為數(shù)字。盡管未示出，但是與VCS進(jìn)行通信的多個車輛組件和輔助組件可使用車輛網(wǎng)絡(luò)(諸如但不限于CAN總線)以向VCS (或其組件)傳送數(shù)據(jù)并傳送來自于VCS (或其組件)的數(shù)據(jù)。
[0039]對系統(tǒng)的輸出可包括但不限于可視顯示器4以及揚(yáng)聲器13或立體聲系統(tǒng)輸出。揚(yáng)聲器連接到放大器11并通過數(shù)模轉(zhuǎn)換器9從處理器3接收其信號。還可分別沿19和21所示的雙向數(shù)據(jù)流產(chǎn)生到遠(yuǎn)程藍(lán)牙裝置(諸如PND54)或USB裝置(諸如車輛導(dǎo)航裝置60)的輸出。
[0040]在一說明性實(shí)施例中，系統(tǒng)I使用藍(lán)牙收發(fā)器15與用戶的移動裝置53 (例如，蜂窩電話、智能電話、PDA或具有無線遠(yuǎn)程網(wǎng)絡(luò)連接能力的任何其它裝置)進(jìn)行通信17。移動裝置隨后可用于通過例如與蜂窩塔57的通信55來與車輛31外部的網(wǎng)絡(luò)61進(jìn)行通信59。在一些實(shí)施例中，蜂窩塔57可以是WiFi接入點(diǎn)。
[0041]移動裝置和藍(lán)牙收發(fā)器之間的示例性通信由信號14表示。
[0042]可通過按鈕52或相似輸入來指示移動裝置53與藍(lán)牙收發(fā)器15進(jìn)行配對。因此，CPU被指示車載藍(lán)牙收發(fā)器將與移動裝置中的藍(lán)牙收發(fā)器進(jìn)行配對。
[0043]可利用例如與移動裝置53關(guān)聯(lián)的數(shù)據(jù)計劃、話上數(shù)據(jù)或DTMF音調(diào)在CPU3和網(wǎng)絡(luò)61之間傳送數(shù)據(jù)?？蛇x擇地，可期望包括具有天線18的車載調(diào)制解調(diào)器63以便在CPU3和網(wǎng)絡(luò)61之間通過語音頻帶傳送數(shù)據(jù)16。移動裝置53隨后可用于通過例如與蜂窩塔57的通信55來與車輛31外部的網(wǎng)絡(luò)61進(jìn)行通信59。在一些實(shí)施例中，調(diào)制解調(diào)器63可與蜂窩塔57建立通信20，以與網(wǎng)絡(luò)61進(jìn)行通信。作為非限制性示例，調(diào)制解調(diào)器63可以是USB蜂窩調(diào)制解調(diào)器，并且通信20可以是蜂窩通信。
[0044]在一說明性實(shí)施例中，處理器設(shè)置有包括與調(diào)制解調(diào)器應(yīng)用軟件進(jìn)行通信的API的操作系統(tǒng)。調(diào)制解調(diào)器應(yīng)用軟件可訪問藍(lán)牙收發(fā)器上的嵌入式模塊或固件，以完成與(諸如設(shè)置在移動裝置里的)遠(yuǎn)程藍(lán)牙收發(fā)器的無線通信。藍(lán)牙是IEEE802PAN (個域網(wǎng))協(xié)議的子集。IEEE802LAN (局域網(wǎng))協(xié)議包括WiFi并且與IEEE802PAN具有相當(dāng)多的交叉功能。兩者都適合于車輛內(nèi)的無線通信?？梢栽诒绢I(lǐng)域使用的另一通信方式是自由空間光通信(諸如IrDA)和非標(biāo)準(zhǔn)化消費(fèi)者IR協(xié)議。
[0045]在另一實(shí)施例中，移動裝置53包括用于語音頻帶或?qū)拵?shù)據(jù)通信的調(diào)制解調(diào)器。在話上數(shù)據(jù)的實(shí)施例中，當(dāng)移動裝置的擁有者能夠在數(shù)據(jù)正被傳送的同時通過裝置說話時，可實(shí)現(xiàn)已知為頻分復(fù)用的技術(shù)。在其它時間，當(dāng)擁有者沒有使用裝置時，數(shù)據(jù)傳送可使用整個帶寬(在一示例中是300Hz至3.4kHz)。盡管頻分復(fù)用對于車輛與互聯(lián)網(wǎng)之間的模擬蜂窩通信而言可能是常見的并且仍在使用，但其已經(jīng)很大程度上被用于數(shù)字蜂窩通信的碼域多址(CDMA)、時域多址(TDMA)、空域多址(SDMA)的混合體所替代。這些都是ITUIMT-2000 (3G)兼容的標(biāo)準(zhǔn)，并且為靜止或者行走的用戶提供高達(dá)2mbs的數(shù)據(jù)速率以及為在移動的車輛內(nèi)的用戶提供385kbs的數(shù)據(jù)速率。3G標(biāo)準(zhǔn)現(xiàn)在正被為車輛內(nèi)的用戶提供IOOmbs以及為靜止的用戶提供Igbs的MT-Advanced (4G)所替代。如果用戶擁有與移動裝置關(guān)聯(lián)的數(shù)據(jù)計劃，則所述數(shù)據(jù)計劃可允許寬帶傳輸且系統(tǒng)可使用寬得多的帶寬(加速數(shù)據(jù)傳送)。在另一實(shí)施例中，移動裝置53被安裝至車輛31的蜂窩通信裝置(未示出)所替代。在另一實(shí)施例中，移動裝置53可以是能夠通過例如(而非限制)802.1lg網(wǎng)絡(luò)(即WiFi)或WiMax網(wǎng)絡(luò)進(jìn)行通信的無線局域網(wǎng)(LAN)裝置。
[0046]在一實(shí)施例中，傳入數(shù)據(jù)可經(jīng)由話上數(shù)據(jù)或數(shù)據(jù)計劃穿過移動裝置、穿過車載藍(lán)牙收發(fā)器并進(jìn)入車輛的內(nèi)部處理器3。例如，在某些臨時數(shù)據(jù)的情況下，數(shù)據(jù)可被存儲在HDD或其它存儲介質(zhì)7上，直至不再需要所述數(shù)據(jù)的時候?yàn)橹埂?br> [0047]其它可與車輛接口連接的源包括:具有例如USB連接56和/或天線58的個人導(dǎo)航裝置54、具有USB62或其它連接的車輛導(dǎo)航裝置60、車載GPS裝置24、或者具有到網(wǎng)絡(luò)61的連接能力的遠(yuǎn)程導(dǎo)航系統(tǒng)(未示出)。USB是一類串行網(wǎng)絡(luò)協(xié)議中的一種。IEEE1394 (火線)、EIA (電子工業(yè)協(xié)會)串行協(xié)議、IEEE1284 (Centronics端口)、S/PDIF (索尼/飛利浦?jǐn)?shù)字互連格式)和USB-1F (USB應(yīng)用者論壇)形成了裝置到裝置串行標(biāo)準(zhǔn)的骨干。多數(shù)協(xié)議可被實(shí)施為用于電通信或光通信。
[0048]此外，CPU能與各種其它的輔助裝置65進(jìn)行通信。這些裝置可通過無線連接67或有線連接69來連接。輔助裝置65可包括但不限于個人媒體播放器、無線保健裝置、便攜式計算機(jī)等。
[0049]此外或可選擇地，CPU可使用例如WiFi收發(fā)器71而連接到基于車輛的無線路由器73。這可允許CPU在本地路由器73的范圍內(nèi)連接到遠(yuǎn)程網(wǎng)絡(luò)。
[0050]除了具有通過位于車輛中的車輛計算系統(tǒng)執(zhí)行的示例性處理之外，在某些實(shí)施例中，還可以通過與車輛計算系統(tǒng)通信的計算系統(tǒng)來執(zhí)行示例性處理。這樣的系統(tǒng)可包括但不限于:無線裝置(例如但不限于移動電話)或者通過無線裝置連接的遠(yuǎn)程計算系統(tǒng)(例如但不限于服務(wù)器)。總體上，這些系統(tǒng)可被稱為車輛相關(guān)計算系統(tǒng)(VACS)。在某些實(shí)施例中，VACS的特定組件可根據(jù)系統(tǒng)的特定實(shí)施方案而執(zhí)行處理的特定部分。通過示例而并非限制的方式，如果處理具有與配對的無線裝置發(fā)送或者接收信息的步驟，則很可能由于無線裝置不會與自身“發(fā)送和接收”信息，因此無線裝置不執(zhí)行該處理。本領(lǐng)域的普通技術(shù)人員將理解何時不適合對給定解決方案應(yīng)用特定的VACS。在所有解決方案中，預(yù)期至少位于車輛內(nèi)的車輛計算系統(tǒng)(VCS)自身能夠執(zhí)行示例性處理。
[0051]日益增加的人機(jī)交互大部分通過采用人的能力的機(jī)器來接近人人交互的能力。計算機(jī)可將其自身表現(xiàn)為具有擬人聲音、姿勢和表情的虛擬化身。說明性實(shí)施例關(guān)注于使用機(jī)器視覺來識別車輛中的人的面部表情/情感表達(dá)(emotional expression)并對其做出合適的反應(yīng)。
[0052]已經(jīng)嘗試教計算機(jī)理解人的主觀情感表達(dá)并注意人的感覺如何，尤其是在廣告領(lǐng)域中。計算機(jī)已經(jīng)記錄了人們對于廣告的反應(yīng)，如人們是否在笑、人們是否在皺眉、人們是否震驚和驚訝、甚至于人們是否在關(guān)注。面部表情/肢體表達(dá)描繪了情感響應(yīng)的豐富畫面，為廣告、品牌效應(yīng)和產(chǎn)品/服務(wù)滿意度提供不可估量的洞察力。
[0053]當(dāng)人們在車中收聽節(jié)目或廣告時，該情況與人們觀看電視時有所不同。由車輛的幾何結(jié)構(gòu)和約束構(gòu)建了人們的方位，并且由乘員分類系統(tǒng)確定他們的存在。由于行駛的線性和前向特性，乘員注視方向大多數(shù)時候是向前的。為了避免危險的視線干擾，車輛媒體目前大多數(shù)都是面向音頻的。通常由于有限的尺寸，車輛記錄裝置一般接收頭部和面部的圖像而不是整個身體。
[0054]從圖像確定情感將幫助測量廣告有效性。這樣做將使用用于識別可通過天生和普遍的表情確定的人類普遍情感的策略。兩種這樣做的系統(tǒng)是公知的。達(dá)爾文首先在他的著作《人和動物的情感表達(dá)》中通過利用人和哺乳類動物的表情來識別特定情感，并沿著進(jìn)化道路跟蹤動物的表情以及情感行為來處理了這個問題。由于達(dá)爾文的情感是在人和動物中觀察到的(包括愛、同情、憎惡、懷疑、羨慕、嫉妒、貪婪、報復(fù)、欺騙、奉獻(xiàn)、狡猾、內(nèi)疚、虛榮、自負(fù)、野心、驕傲、謙卑)，因此它們被認(rèn)為是普遍性的。
[0055]最近，由Paul Ekman和他的同事開發(fā)的面部運(yùn)動編碼系統(tǒng)(FACS)已經(jīng)被廣泛使用。FACS系統(tǒng)識別可通過自動識別或人群來源識別可靠地確定的七種基本普遍情感:憤怒、厭惡、恐懼、高興、悲傷、驚訝和中性。它們是中腦邊緣系統(tǒng)的情感并可被組合地且利用估計強(qiáng)度來識別。它們被廣泛認(rèn)為是普遍且非自主的。已經(jīng)開發(fā)出多種面部表情識別算法，并將其在來自諸如NVIS0、Visual Recognition、Noldus FaceReader等的商業(yè)軟件中實(shí)施。
[0056]圖2A至圖2D示出根據(jù)FACS的示例性面部表情和分析?？紤]眉毛201、211、221、231、眼203、213、223、233以及嘴205、215、225、235來確定表情中的情感內(nèi)容的各種程度。
[0057]針對每個面部表情，存在可被確定的多個可能的情感。在該說明性示例中，情感是驚訝、高興、悲傷、疑惑、厭惡、憤怒和正常。如果需要則還可以添加其他情感。
[0058]每個情感還具有與其相關(guān)聯(lián)的可信度，在該示例中是從O到I。如從圖2A可以看出，在眉毛201相對靜止、眼203處于標(biāo)準(zhǔn)開度、且嘴大部分靜止的情感狀態(tài)下，情感狀態(tài)209最對應(yīng)的是“正?！?。這可代表基準(zhǔn)表情。
[0059]在圖2B中，眉毛211變平、眼213變窄且嘴唇215向下彎曲?；谶@些觀察，當(dāng)前的新情感狀態(tài)219對應(yīng)可信度最高的是“悲傷”，雖然疑惑緊隨其后。
[0060]在圖2C中，眉毛221當(dāng)前揚(yáng)起，眼223張大且嘴225也張大。這個新表情229與“驚訝”最符合，盡管該表情與“高興”也高度符合。
[0061]最后，在圖2D中，眉毛231在有點(diǎn)變平，眼233稍微變窄且嘴235向上彎。該表情239與“高興”具有最高符合程度。
[0062]當(dāng)應(yīng)對駕駛員(該駕駛員在駕駛期間通過VCS與計算機(jī)通信，從而有可能與廣告交互、進(jìn)行購買或?qū)δ承┓?wù)給出評價(例如，對于經(jīng)銷商服務(wù)的滿意度))時，對主觀情感表達(dá)的檢測可發(fā)揮重要作用。目前，用戶對于這樣的系統(tǒng)的一個抱怨是系統(tǒng)通常不能對“對話式”會話進(jìn)行良好響應(yīng)。
[0063]四歲的小孩對于帶有情感的對話語句的理解可能比花費(fèi)上百萬美元開發(fā)出的計算系統(tǒng)的精確度更高。這是由于這些系統(tǒng)通常根據(jù)關(guān)鍵詞來操作，且還由于這些系統(tǒng)不能體會上下文且不理解任何情感。另一方面，人們可能偏向于利用非言語的情感表達(dá)說出主觀的話語，這與由通常是客觀表達(dá)的一連串話語組成的對話相反。取代在經(jīng)銷商服務(wù)體驗(yàn)之后的明確的評級評價，車輛乘員可例如帶有不同情感(語調(diào))或給出面部表情(明顯的笑容或中性)地說出“它很好”，即使是相同的人，這樣的“它很好”也可能基于面部表情、語調(diào)或姿勢而具有完全不同的含義。
[0064]針對車輛中的廣告空間(以及獲得產(chǎn)品/服務(wù)評價)的競爭變得越來越激烈。在打印媒介中使用的廣告方法現(xiàn)在已經(jīng)轉(zhuǎn)移到在線廣告，并開始用于車輛中。說明性實(shí)施例提供一種用于測量車內(nèi)廣告的影響過程、車內(nèi)廣告的有效性以及對產(chǎn)品/服務(wù)售后的滿意度(包括主觀情感表達(dá))的安全方式，并還可在該區(qū)域中收集數(shù)據(jù)以更多地理解關(guān)于人類情感表達(dá)。
[0065]示例性的說明性廣告系統(tǒng)由前端人機(jī)接口、機(jī)器學(xué)習(xí)系統(tǒng)和表情(面部)識別系統(tǒng)以及后端控制系統(tǒng)構(gòu)成。此外，為了便攜性并為了增強(qiáng)學(xué)習(xí)能力，所述系統(tǒng)使用基于云的存儲和計算。前端人機(jī)接口可與駕駛員通信并基于很多現(xiàn)有選項(xiàng)(語音、觸摸或面部表情/情感表達(dá)、觸覺(相機(jī)、方向盤、座椅和控制)等)接收言語和非言語的輸入。針對圖4提供對該系統(tǒng)的更多討論。
[0066]圖3示出用于分析面部表情的說明性處理。在該說明性示例中，在301，所述處理在用戶處于車輛中的某時間點(diǎn)開始。在該示例中，用戶可以是車輛相機(jī)的可視范圍內(nèi)的任何乘員。通過面部識別，VCS可識別在相機(jī)可視范圍內(nèi)將被監(jiān)視的乘員。在303，所述處理掃描任何潛在可識別的對象/乘員，并在307確定用戶是否在車輛數(shù)據(jù)庫中。
[0067]如果用戶在數(shù)據(jù)庫中，則在309，所述處理檢索與用戶相關(guān)的信息。在識別了用戶之后，可回顧并分析該用戶過去的廣告點(diǎn)擊歷史。在311，所述系統(tǒng)開始通過使用面部/姿勢/語調(diào)表達(dá)識別軟件來學(xué)習(xí)如何解釋用戶的主觀情感表達(dá)。
[0068]如果對于系統(tǒng)而言用戶是新用戶，則使用現(xiàn)有一般模型作為開始點(diǎn)，并且基于來自用戶的反饋，系統(tǒng)隨著每次使用快速變得更好，并隨著時間越來越好地理解非言語表達(dá)的含義。機(jī)器學(xué)習(xí)處理基于統(tǒng)計方法，其中，所述統(tǒng)計方法的示例包括對環(huán)境掠奪者(contextual bandit)、貝葉斯學(xué)習(xí)或人工神經(jīng)網(wǎng)絡(luò)的使用。一旦系統(tǒng)開發(fā)出用戶的心理測量映射模型，具有相機(jī)的系統(tǒng)就可采用主觀情感輸入(例如，面部表情)并將量化的命令(例如，是或否、好或壞)傳送到車輛控制系統(tǒng)。
[0069]前端控制應(yīng)用在車輛中運(yùn)行并使用包括相機(jī)的對話系統(tǒng)以:a)與用戶交互并獲得對于廣告、生意、產(chǎn)品推薦、服務(wù)等的反饋；b)記錄用戶的反饋和肢體表達(dá)?；谠频男畔⑦^濾器(后端控制系統(tǒng)):a)處理輸入數(shù)據(jù)，獲得相關(guān)用戶信息，b)過濾用戶響應(yīng)并去除不需要的信息；c)對用戶表情進(jìn)行分類和索引，將用戶反饋動態(tài)地聚類為組并將它們與用戶信息(人群統(tǒng)計信息、車輛信息)融合。在任何時刻，廣告商可做出請求并且系統(tǒng)將獲取相關(guān)信息輸入。此外，機(jī)器學(xué)習(xí)軟件可處理個人駕駛員的歷史數(shù)據(jù)，并隨著時間而越來越好地識別該駕駛員的非言語表達(dá)。
[0070]例如，如果駕駛員剛剛完成經(jīng)銷商服務(wù)訪問并返回車中，則車輛可識別駕駛員并詢問對這次體驗(yàn)的評價。駕駛員可能說“好”或只是大笑了一下或者豎起了大拇指。該評價響應(yīng)通過車輛內(nèi)的相機(jī)被非言語地記錄?？赏ㄟ^控制應(yīng)用首先將輸入發(fā)送到消息云。消息過濾器將處理表情，識別情感表達(dá)，隨后將其鏈接到評價結(jié)果(打分)。在車輛將結(jié)果連同駕駛員信息(VIN號、人群統(tǒng)計信息)一起發(fā)送到廣告商或服務(wù)提供商(例如經(jīng)銷商)之后，廣告商可隨后確定如何應(yīng)對。
[0071]基于觀察到的言語和非言語的響應(yīng)，系統(tǒng)嘗試估計駕駛員是不感興趣(例如中性表情)或不滿意(313)、一般感興趣或一般滿意(315 )還是非常感興趣或非常滿意(317)。如果用戶不感興趣或不滿意，則所述處理可在319詢問問題或嘗試找到用戶以該態(tài)度反應(yīng)的原因。如果用戶滿意、感興趣或非常感興趣，則所述處理可在321 (在現(xiàn)在或未來)推薦相似服務(wù)或廣告。用戶對于各種服務(wù)和廣告的反應(yīng)還可被存儲在數(shù)據(jù)庫中以用于以后的參考。
[0072]圖4示出說明性廣告分析系統(tǒng)。在該說明性示例中，VCS模塊包含可與在電話或其他移動裝置403上運(yùn)行的應(yīng)用通信的應(yīng)用鏈接模塊。例如，該模塊可將廣告數(shù)據(jù)饋送到移動裝置(如果提供了廣告的話)，從而可基于觀察到的用戶偏好推薦特定廣告。在該說明性實(shí)施例中，OEM接口應(yīng)用417在應(yīng)用419和應(yīng)用鏈接模塊之間的移動裝置上運(yùn)行。
[0073]還提供非言語表達(dá)記錄器413作為VCS的一部分。其記錄由廣告產(chǎn)生的視覺表達(dá)。結(jié)合該記錄，應(yīng)用或來自應(yīng)用的廣告可發(fā)送關(guān)于廣告的數(shù)據(jù)，從而記錄器可知曉廣告的上下文來估計廣告。例如而非限制，針對麥當(dāng)勞的廣告可具有與其相關(guān)聯(lián)的諸如“快餐”、“食物”和“漢堡包”的標(biāo)簽。當(dāng)表達(dá)記錄器測量表達(dá)以估計對于廣告的響應(yīng)時，所述處理可確定用戶喜歡還是不喜歡與這些標(biāo)簽相關(guān)的廣告。來自其他賣家的其他廣告可只具有與其相關(guān)聯(lián)的一些標(biāo)簽，因此可通過重復(fù)的觀察分類出用戶針對特定標(biāo)簽的反應(yīng)。例如，另一廣告可能是針對FIVE GUYS HAMBURGERS。如果該廣告僅具有與其相關(guān)聯(lián)的“食物”和“漢堡包”，并且用戶對該廣告的響應(yīng)是喜歡而對麥當(dāng)勞的廣告的響應(yīng)是不喜歡，則可猜測用戶不喜歡麥當(dāng)勞，不喜歡快餐或者在呈現(xiàn)麥當(dāng)勞廣告的時候不餓(還有其它可能結(jié)論)。通過重復(fù)觀察和過濾，可確定復(fù)雜的用戶偏好的集合。
[0074]在該示例中的VCS401還包括可用于廣告回放的媒體播放器415。還將輸入提供給VCS的是HMI (人機(jī)接口)407和車輛系統(tǒng)409。
[0075]HMI包括但不限于諸如相機(jī)、揚(yáng)聲器、語音識別功能、方向盤輸入、儀表盤和觸摸屏顯示器的元件。車輛系統(tǒng)包括但不限于導(dǎo)航功能和硬件、駕駛員狀態(tài)測量(諸如工作負(fù)荷估計器和駕駛員高興度估計)、車輛識別信息和駕駛員歷史(即，駕駛員資料)。
[0076]通過移動裝置，VCS還與云405通信。所述云提供高級計算資源，所述資源可包括服務(wù)器421、數(shù)據(jù)管理器423、廣告服務(wù)器425和學(xué)習(xí)軟件427。由于在車輛中可能難以包括用于分析面部表情的足夠的計算能力，因此所述云可提供用于面部分析目的的更多計算資源?？蓪⒈砬榈膱D像、或?qū)D像數(shù)據(jù)點(diǎn)的測量或其他的表達(dá)相關(guān)數(shù)據(jù)發(fā)送到云以用于進(jìn)一步的分析和估計。
[0077]圖5示出用于廣告數(shù)據(jù)收集的說明性處理。在該說明性示例中，在501，所述處理通過在車輛上播放廣告開始。除了被呈現(xiàn)給用戶之外，該廣告還可具有與其相關(guān)聯(lián)的對于跟蹤用戶對廣告以及相似類型的廣告的反應(yīng)有用的數(shù)據(jù)。例如，由于用戶可能在午餐時間對基于食物的廣告表示更關(guān)心，因此還可跟蹤時間數(shù)據(jù)、環(huán)境數(shù)據(jù)和其他數(shù)據(jù)。類似地，當(dāng)下雨時，用戶可能更傾向于利用免下車餐廳。
[0078]在播放廣告時，在503，面部識別軟件啟用并開始記錄用戶情感并為用戶情感打上時間戳?？赏ㄟ^相機(jī)的使用記錄這些用戶情感，將這些用戶情感打上時間戳以與廣告進(jìn)行比較(甚至是下至廣告的分?jǐn)?shù)部分)，并如圖2A至圖2D中所示進(jìn)行估計。在505，還可從車輛BS收集車輛環(huán)境信息。車輛環(huán)境信息可包括關(guān)于車輛狀態(tài)(速度、位置)的信息、關(guān)于用戶(乘客數(shù)量、重量、大小)的信息、環(huán)境信息(天氣、交通量)以及任何其他的有用信息。
[0079]在該示例中，系統(tǒng)在507至少測量乘員的數(shù)量并在507測量駕駛員分心等級。駕駛員分心可以是對駕駛員可能給予任意廣告多少注意力的有用指示符，并可被用于脾氣分析。例如，如果駕駛員高度分心且交通量大，則“憤怒”的響應(yīng)可能與廣告無關(guān)。
[0080]在509，一旦廣告結(jié)束，所述處理可估計隨著廣告時間的面部表情的范圍，估計環(huán)境信息并估計任何其它的相關(guān)變量。在513，該信息可用于更新廣告數(shù)據(jù)，并且在515還可將對特定廣告的估計添加到用戶資料以用于更新。
[0081]圖6示出用于廣告數(shù)據(jù)收集的第二說明性實(shí)施例。在該說明性實(shí)施例中，廣告關(guān)鍵針對(key)特定情感狀態(tài)。例如，當(dāng)用戶明顯憤怒的時候可能不期望播放廣告，這是由于廣告商可能不希望他們的產(chǎn)品被無意識地與憤怒相關(guān)聯(lián)。廣告商甚至可以對在用戶處于特定情感狀態(tài)時播放廣告支付額外紅利。
[0082]在該處理中，在601，面部識別軟件開始基于表情檢測情感狀態(tài)。如在圖2A至圖2D中所示，可估計表情以用于分析駕駛員情感狀態(tài)。在603，當(dāng)達(dá)到期望的情感狀態(tài)時，廣告開始播放。
[0083]當(dāng)廣告播放時，在605，面部識別軟件再次開始記錄用戶情感狀態(tài)并為響應(yīng)打上時間戳。這對于確定當(dāng)在特定情感狀態(tài)下呈現(xiàn)廣告時廣告有多成功是有用的。例如，如果人處于“悲傷”狀態(tài)，并且最喜歡的食物的廣告被播放，則此(可能在食物中找到安慰的)人可能從“悲傷”轉(zhuǎn)移到“正?！薄Ｇ楦泄烙嬤€可與用戶行為(即，如果車輛在接下來的5分鐘內(nèi)訪問餐館)相結(jié)合以用于進(jìn)一步分析。知道用戶在特定食物或一般的食物中得到安慰之后，可以建議在用戶處于“悲傷”狀態(tài)時提供食物廣告。
[0084]類似的，可能沒有來自用戶的響應(yīng)，或者用戶的狀態(tài)可能從“低落”狀態(tài)(諸如“悲傷”)轉(zhuǎn)移到“更糟”狀態(tài)(諸如“憤怒”)。如果在“悲傷”狀態(tài)下播放的廣告與使得用戶“憤怒”的廣告之間存在可測量的相關(guān)性，則可建議在“悲傷”狀態(tài)期間避免該廣告(或類似的其他廣告)。
[0085]如前所述，在607，還可收集車輛環(huán)境信息。該信息包括任何可測量的或可報告的變量，該變量可用于確定可估計廣告的成功的環(huán)境。雖然在存在多個變量的情況下可能難以基于給定變量辨別用戶響應(yīng)，但是長期分析可幫助細(xì)化針對任何給定變量的特定因子。
[0086]此外，在該實(shí)施例中，乘員的數(shù)量和分心的等級被測量，與之前在圖5中示出的示例的情況相同。
[0087]一旦廣告結(jié)束，所述處理就可再次分析隨時間的面部識別、環(huán)境信息和其他可能對于反應(yīng)有效果和/或可被估計與給定反應(yīng)的關(guān)系的合適變量。當(dāng)變量對于反應(yīng)“有效果”時，這意味著在通常觀察到的情況下(其他變量都是中性的)，該變量傾向于產(chǎn)生被識別的效果(例如，時間=午餐時間，效果=通常對于食物廣告的積極響應(yīng))。因此，在該觀察到的情況下，基于用戶在午餐時間對廣告的視覺響應(yīng)，可建議在時間變量等于“午餐時間”(或飯點(diǎn)或等同物)時傳送食物廣告。
[0088]類似地，特定變量可能與給定反應(yīng)有關(guān)系。例如，如果用戶“高興”，則他們可能更傾向于進(jìn)行“沖動購買”。廣告商通常知道他們的產(chǎn)品是否被認(rèn)為是“沖動購買”，并且(在此非限制模型下)更期望在對應(yīng)于“高興”的用戶狀態(tài)期間播放“沖動購買”廣告。
[0089]此外，在615，可基于觀察到的響應(yīng)更新針對每個廣告的廣告數(shù)據(jù)。在617，該數(shù)據(jù)可被上傳到用戶資料。該數(shù)據(jù)還可被保存在其他資料，諸如“組資料”?！敖M資料”是當(dāng)在一組人在場的情況下播放廣告時識別組響應(yīng)的資料?！敖M資料”可包括特定成員、人群統(tǒng)計類型成員(例如，成人和小孩)或只是與在場的任何人的組相關(guān)。
[0090]圖7示出富媒體播放器環(huán)境中的面部識別的說明性示例。在該說明性示例中，所述處理以與針對圖6的方式相同的方式開始。在701，面部識別處理啟用，在703，當(dāng)識別出或“猜測到”正確的情感時，將回放廣告內(nèi)容。
[0091]當(dāng)廣告正在播放時，在705，面部識別軟件繼續(xù)查看并記錄情感狀態(tài)。此外，在該說明性示例中，所述狀態(tài)被打上時間戳，然而在另一模型中，還可以測量隨著廣告的進(jìn)行的平均狀態(tài)。
[0092]在該示例中，在707，廣告有機(jī)會動態(tài)地適應(yīng)駕駛員響應(yīng)。在此示出多個狀態(tài)，盡管在合適的情況下廣告可使用更少或更多的狀態(tài)。此外，為了分支目的，可將特定狀態(tài)聚為一組。也就是說，已被確定為對相似類型的廣告透露出相似響應(yīng)的狀態(tài)可造成被播放的廣告的相似分支。
[0093]在該示例中，分支是基于具有與其相關(guān)聯(lián)的動態(tài)內(nèi)容的廣告。例如，商場廣告可提供一些普遍的針對在商場購物的鼓勵。由于商場具有多個商店和餐館，因此有機(jī)會針對特定用戶定制廣告。例如，如果用戶悲傷，但是在播放基于食物的廣告時變得高興，則商場廣告可在大體上廣告了商場之后分支到食物廣告。類似地，如果在用戶高興時用戶傾向于對服裝廣告做出積極響應(yīng)，則商場廣告可在用戶高興時分支到服裝廣告。
[0094]在說明性實(shí)施例中，以非限制性方式呈現(xiàn)與七個情感狀態(tài)相應(yīng)的廣告的七個分支?；谟脩羰求@訝(709)、悲傷(711)、高興(713)、憤怒(715)、傲慢(717)、沮喪(719)還是中性(721)，可播放不同的廣告片段。在該示例中，可播放與各種情感相應(yīng)的片段722、723、725、727、729、731、733，但是如所敘述的，可以對任意數(shù)量的片段分組。此外或可選擇地，可基于需要的其他情感添加其他片段。
[0095]最后，在735，可播放結(jié)束片段，其中，所述結(jié)束片段可包括例如基于先前片段的動態(tài)內(nèi)容，或可只是靜態(tài)片段。在適當(dāng)?shù)那闆r下，隨后在737，廣告可被重復(fù)或可結(jié)束。
[0096]圖8示出用于廣告估計的情緒測試的示例。在該說明性實(shí)施例中，特定廣告被發(fā)送到車輛以用于情緒測試。例如，如果賣家開發(fā)出可能是有問題的應(yīng)用的廣告，則該賣家可能希望在正常發(fā)行前在多個用戶中測試該廣告以及用戶狀態(tài)，以獲得對廣告何時有可能獲得測試成功的感知。
[0097]在801，將包括情緒測試指令的廣告發(fā)送到車輛。在適當(dāng)?shù)臅r間，廣告可在車輛中回放。在803，這可包括基于預(yù)定義的回放間隔的多次回放。此外，在805，基于在預(yù)設(shè)間隔之后的時間(該時間可用于估計隨時間的反應(yīng))，所述處理將執(zhí)行情緒測試。
[0098]例如，在807，測試可開始于詢問關(guān)于乘員對產(chǎn)品的觀點(diǎn)的問題。作為響應(yīng)，在809，駕駛員可提供關(guān)于產(chǎn)品和加入意見的輸入。此外，在811，車內(nèi)相機(jī)可記錄圖像和時間戳。在813，可分析這些圖像和時間戳并將它們與呈現(xiàn)的廣告的時刻相關(guān)聯(lián)。
[0099]此外，在815，可在駕駛員說出特定詞語時針對可測量的情感分析圖像。由于在該說明性實(shí)施例中對語音提供測量，因此在面部識別分析中可忽略嘴。在另一示例中，僅在不測量語音輸入的情況下可包括嘴部。
[0100]在817，問問題的時間和問題被回答的時間之間的時間延遲被記錄為針對問題的熟悉度的測量。此外，在819，在適當(dāng)?shù)那闆r下，基于測量的因子和變量來記錄和更新廣告及可關(guān)聯(lián)測量的索引。此外，在821，可記錄基于觀察到的索引的廣告有效性。
[0101]雖然以上已經(jīng)描述了示例性實(shí)施例，但是這些實(shí)施例不意圖描述本發(fā)明的所有可能形式。相反，在本說明書中使用的詞語是描述的詞語而非限制的詞語，應(yīng)理解，在不脫離本發(fā)明的精神和范圍的情況下，可進(jìn)行各種改變。此外，各種實(shí)現(xiàn)實(shí)施例的特征可被組合以形成本發(fā)明的進(jìn)一步的實(shí)施例。
【權(quán)利要求】
1.一種計算機(jī)實(shí)現(xiàn)的方法，包括: 接收廣告； 將廣告呈現(xiàn)給車輛乘員； 使用車輛相機(jī)可視地記錄廣告呈現(xiàn)的過程期間的乘員響應(yīng)； 分析可視地記錄的響應(yīng)以估計用戶對于廣告的反應(yīng)； 基于所述分析針對呈現(xiàn)的廣告調(diào)整廣告變量度量。
2.如權(quán)利要求1所述的方法，其中，廣告呈現(xiàn)包括可視呈現(xiàn)和可聽呈現(xiàn)中的至少一種。
3.如權(quán)利要求1所述的方法，其中，所述記錄包括通過車輛相機(jī)記錄用戶響應(yīng)。
4.如權(quán)利要求1所述的方法，其中，用戶響應(yīng)包括面部表情。
5.如權(quán)利要求4所述的方法，其中，對面部表情的分析得出確定的用戶情感狀態(tài)。
6.如權(quán)利要求5所述的方法，其中，利用用戶對廣告的基于情感狀態(tài)的響應(yīng)，使用用戶情感狀態(tài)來更新用戶資料。
7.一種計算機(jī)實(shí)現(xiàn)的方法，包括: 接收包括面部識別傳送指令的廣告； 使用車輛相機(jī)捕捉車輛乘員的圖像或視頻以記錄用戶表情狀態(tài)； 分析用戶表情狀態(tài)； 當(dāng)用戶表情狀態(tài)符合面部識別傳送指令時，傳送廣告。
8.如權(quán)利要求7所述的方法，其中，面部識別傳送指令包括用于在面部狀態(tài)與特定情感相應(yīng)期間傳送廣告的指令。
9.如權(quán)利要求7所述的方法，其中，面部識別傳送指令至少部分地基于先前觀察到的響應(yīng)，其中，在所述響應(yīng)下，利用積極記錄的響應(yīng)傳送相似廣告。
10.如權(quán)利要求7所述的系統(tǒng)，其中，隨預(yù)定義片段中的廣告?zhèn)魉偷倪^程，記錄面部表情。
【文檔編號】G06Q30/02GK104050587SQ201410099093
【公開日】2014年9月17日 申請日期:2014年3月17日 優(yōu)先權(quán)日:2013年3月15日
【發(fā)明者】蘭德·亨利·維新坦那爾, 劉憶民, 佩里·羅賓遜·麥克尼爾, 奧萊格·由里維奇·古斯京 申請人:福特全球技術(shù)公司