用于使用關(guān)于狀態(tài)變化的信息來提供對(duì)用戶輸入的響應(yīng)并預(yù)測(cè)未來用戶輸入的系統(tǒng)和方法
【專利說明】用于使用關(guān)于狀態(tài)變化的信息來提供對(duì)用戶輸入的響應(yīng)并預(yù)測(cè)未來用戶輸入的系統(tǒng)和方法
[0001 ] 本申請(qǐng)是2013年9月18日提交的美國(guó)臨時(shí)專利申請(qǐng)N0.61/879，245和2013年9月21日提交的美國(guó)臨時(shí)專利申請(qǐng)N0.61/880，887的非臨時(shí)申請(qǐng)，并且要求這兩項(xiàng)美國(guó)臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)，這兩項(xiàng)美國(guó)臨時(shí)申請(qǐng)的完整公開內(nèi)容被整體結(jié)合在本文中。本申請(qǐng)包括受版權(quán)保護(hù)的材料。版權(quán)所有者不反對(duì)任何人影印專利公開，因?yàn)樗霈F(xiàn)在美國(guó)專利局的文件或記錄中，但是版權(quán)所有者以其他方式保留所有版權(quán)。
[0002]本申請(qǐng)涉及諸如在下列專利申請(qǐng)中公開的快速多點(diǎn)觸摸傳感器:2013年3月15日提交的題為“低等待時(shí)間觸敏期間”(“Low-Latency Touch Sensitive Device”)的美國(guó)專利申請(qǐng)N0.13/841，436、2013年3月15日提交的題為“快速多點(diǎn)觸摸筆”(“Fast Mult1-TouchStylus” )的美國(guó)專利申請(qǐng)N0.61/798，948、2013年3月15日提交的題為“利用用戶標(biāo)識(shí)技術(shù)的快速多點(diǎn)觸摸傳感器”(“Fast Mult1-Touch Sensor With User-1dentificat1nTechniques”)的美國(guó)專利申請(qǐng)N0.61/799，035、2013年3月15日提交的題為“快速多點(diǎn)觸摸降噪”(“Fast Mult1-Touch Noise Reduct1n”)的美國(guó)專利申請(qǐng)Νο.61/798，828、2013年3月15日提交的題為“主動(dòng)式光學(xué)筆” (“Active Optical Stylus”)的美國(guó)專利申請(qǐng)N0.61/798，708、2012年10月5日提交的題為“用于低等待時(shí)間用戶輸入處理和反饋的混合型系統(tǒng)和方法，，(“Hybrid Systems And Methods For Low-Latency User Input Processing AndFeedback”)的美國(guó)專利申請(qǐng)N0.61/710,256以及2013年7月12日提交的題為“快速多點(diǎn)觸摸后處理”(“Fast Mult1-Touch Post Processing”)的美國(guó)專利申請(qǐng)Νο.61/845，892。那些申請(qǐng)的完整公開內(nèi)容以引用的方式并入本文中。
[0003]本申請(qǐng)包括由10頁(yè)組成的、題為“蛇上的平面:用于預(yù)測(cè)自由空間指點(diǎn)手勢(shì)的模型，，(“Planes on a Snake: a Model for Predicting Contact Locat1n Free-SpacePointing Gestures”)的附錄，此附錄被合并到本公開中并且是本公開的部分。
技術(shù)領(lǐng)域
[0004]本發(fā)明總體涉及用戶輸入領(lǐng)域，并且尤其涉及包括用于預(yù)測(cè)用戶輸入的設(shè)施的系統(tǒng)和方法。
【附圖說明】
[0005]通過在所附附圖中所示下列對(duì)實(shí)施例的更特定的描述，所公開的系統(tǒng)和方法的特征和優(yōu)點(diǎn)將變得顯而易見，在附圖中，貫穿各個(gè)視圖，參考符號(hào)表示相同的部分。附圖不一定是按比例的，重點(diǎn)在于說明所公開實(shí)施例的原理。
[0006]圖1是示出對(duì)觸摸前數(shù)據(jù)的建模的三維圖形。
[0007]圖2是示出實(shí)際的觸摸前數(shù)據(jù)的三維圖形。
[0008]圖3是示出抬起(liftoff)步驟的示例的三維圖形。
[0009]圖4是示出校正逼近步驟的示例的三維圖形。
[0010]圖5是示出落下(drop-down)或彈道(ballistic)步驟的示例的三維圖形。
【具體實(shí)施方式】
[0011]以下描述和附圖是說明性的，并且不解釋為限制性的。描述了眾多特定的細(xì)節(jié)以提供透徹的理解。然而，在某些實(shí)例中，不描述公知的或常規(guī)的細(xì)節(jié)以避免使描述變得模糊。在本公開中，對(duì)一個(gè)實(shí)施例或?qū)嵤├囊貌灰欢ㄊ菍?duì)同一個(gè)實(shí)施例的引用;此類引用意味著至少一個(gè)實(shí)施例。
[0012]在本說明書中對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的引用意味著結(jié)合所述實(shí)施例所描述的特定的特征、結(jié)構(gòu)或特性可以被包括在本公開的至少一個(gè)實(shí)施例中。在本說明書中的不同位置處出現(xiàn)短語(yǔ)“在一個(gè)實(shí)施例中”不一定全都是指同一個(gè)實(shí)施例，也不是指與其他實(shí)施例互相排斥的單獨(dú)的或替代實(shí)施例。此外，還描述了可由一些實(shí)施例呈現(xiàn)而不可由其他實(shí)施例呈現(xiàn)的各種特征。類似地，還描述了可能是對(duì)于一些實(shí)施例但不是對(duì)于其他實(shí)施例的要求的各種要求。
[0013]貫穿本公開中，可以使用術(shù)語(yǔ)“觸摸”、“接觸”或其他描述符來描述由傳感器檢測(cè)到用戶的手指、指示筆、對(duì)象或身體部位的時(shí)間段。在一些實(shí)施例中，這些檢測(cè)僅當(dāng)用戶與傳感器或傳感器具體化在其中的設(shè)備物理地接觸時(shí)才發(fā)生。在其他實(shí)施例中，可以調(diào)諧傳感器以允許檢測(cè)懸停(hover)在觸摸表面上方的固定的距離的“觸摸”或“接觸”。因此，在本描述內(nèi)使用暗示依賴于感測(cè)到的物理接觸的語(yǔ)言不應(yīng)當(dāng)理解為意味著所描述的技術(shù)僅適用于那些實(shí)施例；實(shí)際上，本文中所描述的幾乎全部(如果不是全部的)內(nèi)容將同等地適用于“觸摸”和“懸?！眰鞲衅?。
[0014]端對(duì)端等待時(shí)間(用戶的輸入與系統(tǒng)對(duì)此輸入的響應(yīng)的呈現(xiàn)之間所需的總時(shí)間)是用戶性能方面已知的限制因素。在直接觸摸系統(tǒng)中，由于對(duì)用戶輸入的手機(jī)以及對(duì)系統(tǒng)響應(yīng)的顯示的并置，等待時(shí)間是特別明顯的。已發(fā)現(xiàn)此類系統(tǒng)的用戶在低至25毫秒的等待時(shí)間下具有損害的性能，并且可注意到觸摸時(shí)間與系統(tǒng)響應(yīng)之間的甚至2毫秒的延遲的效應(yīng)。
[0015]如本文中所使用的實(shí)際等待時(shí)間是指系統(tǒng)計(jì)算并呈現(xiàn)對(duì)用戶選擇或輸入的響應(yīng)所需的總時(shí)間量。實(shí)際等待時(shí)間是交互式計(jì)算特有的。如本文中所討論，如果使用預(yù)測(cè)性方法來預(yù)期用戶輸入的位置和用戶狀態(tài)，則具有減少實(shí)際等待時(shí)間的極大潛力。此類預(yù)測(cè)(如果足夠準(zhǔn)確)可準(zhǔn)許系統(tǒng)在輸入本身之前或與輸入本身并發(fā)地來響應(yīng)于輸入或開始作出響應(yīng)。在正確地定時(shí)的情況下，如果正確地預(yù)測(cè)了用戶的實(shí)際輸入，則系統(tǒng)對(duì)所預(yù)測(cè)的輸入的響應(yīng)可與用戶的實(shí)際輸入的實(shí)際時(shí)刻對(duì)準(zhǔn)。此外，如果充分正確地預(yù)測(cè)了用戶的實(shí)際輸入，則可以縮短系統(tǒng)對(duì)所預(yù)測(cè)的輸入的響應(yīng)所需的時(shí)間。換言之，用戶的實(shí)際選擇與系統(tǒng)的對(duì)那個(gè)實(shí)際選擇的響應(yīng)之間的時(shí)間可以小于實(shí)際等待時(shí)間。盡管這不減少響應(yīng)于所預(yù)測(cè)的輸入所需的總時(shí)間量(即，實(shí)際等待時(shí)間)，但是，它確實(shí)減少了系統(tǒng)的明顯的等待時(shí)間(即，實(shí)際輸入與系統(tǒng)的對(duì)此實(shí)際輸入的響應(yīng)之間的總時(shí)間量)。
[0016]在實(shí)施例中，所公開的系統(tǒng)和方法通過經(jīng)由預(yù)測(cè)未來用戶輸入來智能地對(duì)關(guān)于圖形狀態(tài)變化和應(yīng)用狀態(tài)變化的信息進(jìn)行高速緩存，以便提供對(duì)用戶輸入的更快的響應(yīng)。通過當(dāng)用戶的手指/手/筆與觸摸表面接觸時(shí)以及當(dāng)它“懸?！痹谟|摸表面上方時(shí)感測(cè)它的移動(dòng)，所公開的系統(tǒng)和方法可以通過應(yīng)用用戶輸入模型來(以某一準(zhǔn)確度)測(cè)未來輸入事件(諸如，未來觸摸的位置)。用戶輸入模型使用當(dāng)前的和先前的輸入事件來預(yù)測(cè)未來輸入事件。例如，通過看手指在觸摸屏上方穿過空氣的路徑，所公開的系統(tǒng)和方法可以(以某個(gè)準(zhǔn)確度)預(yù)測(cè)手指將與顯示器接觸的位置。在實(shí)施例中，將關(guān)于未來用戶輸入的預(yù)測(cè)與軟件或硬件配對(duì)，所述軟件或硬件使用戶接口和應(yīng)用狀態(tài)在所預(yù)測(cè)的輸入發(fā)生的情況下快速地對(duì)它作出響應(yīng)。
[0017]使用能夠(除了當(dāng)手指/筆與表面接觸時(shí)進(jìn)行感測(cè)之外)感測(cè)手指/筆在觸摸表面上方的位置的快速觸摸傳感器，所公開的系統(tǒng)和方法能以某個(gè)準(zhǔn)確度來預(yù)測(cè)未來輸入事件。此類輸入設(shè)備的高速度、低等待時(shí)間的性質(zhì)可以提供豐富且及時(shí)的輸入事件來進(jìn)行這些預(yù)測(cè)。所預(yù)測(cè)的輸入事件可包括但不僅限于，落觸位置(手指/筆/手/等將與顯示器接觸的位置)、抬起位置(手指/筆/等將從顯示器提起的位置)、單指或多指手勢(shì)、拖曳路徑，等等。下文中更詳細(xì)地討論所預(yù)測(cè)的事件。
[0018]在實(shí)施例中，除位置信息之外，所預(yù)測(cè)的輸入事件還可包括對(duì)時(shí)序的預(yù)測(cè)，S卩，何時(shí)將進(jìn)行事件。
[0019]在一個(gè)實(shí)施例中，所預(yù)測(cè)的輸入事件可以附加地包括指示模型與所預(yù)測(cè)的事件相關(guān)聯(lián)的置信度的可能性度量(例如，在0%與100%之間)。由此，在實(shí)施例中，模型可以預(yù)測(cè)多個(gè)未來事件，并且將指示它們?cè)谖磥韺?shí)際發(fā)生的似然率的概率分配給它們中的每一個(gè)。
[0020]在實(shí)施例中，所預(yù)測(cè)的事件可以與使設(shè)備或應(yīng)用為那些未來事件作好準(zhǔn)備的系統(tǒng)組件配對(duì)。例如，當(dāng)來自模型的所預(yù)測(cè)的事件指示“打開”按鈕可能被按下時(shí)，GUI中的“打開……”按鈕可以對(duì)當(dāng)前目錄的內(nèi)容進(jìn)行預(yù)高速緩存。在此示例中，由于此預(yù)高速緩存，GUI可能能夠比它將不能夠使預(yù)測(cè)發(fā)生時(shí)更快地向用戶顯示當(dāng)前目錄的內(nèi)容。作為另一示例，考慮GUI中的具有兩個(gè)視覺外觀(被按下和未被按下)的“保存”按鈕。使用本申請(qǐng)中所描述的技術(shù)，如果模型預(yù)測(cè)用戶將按下此按鈕，則軟件可以預(yù)渲染“保存”按鈕的被按下的外觀，使得一旦實(shí)際執(zhí)行了輸入事件，它就能夠快速地呈現(xiàn)此外觀。在本文中所描述的系統(tǒng)和方法不存在的情況下，軟件在渲染被按下的外觀之前可能要等待到輸入事件發(fā)生，從而導(dǎo)致輸入事件與對(duì)那個(gè)輸入的圖形響應(yīng)之間的較長(zhǎng)的延遲。在實(shí)施例中，用戶輸入事件是由用戶進(jìn)行的交互的臨時(shí)結(jié)束，并且經(jīng)高速緩存的數(shù)據(jù)由用于將設(shè)備置于低功率模式的命令組成。以此方式，設(shè)備可配置成預(yù)測(cè)用戶將不會(huì)再次觸摸此觸摸界面或?qū)⒃谙乱挥|摸之前將暫停，并且通過對(duì)設(shè)備的多個(gè)部分節(jié)流來節(jié)省相大量功率。在實(shí)施例中，使用模型以及對(duì)觸摸位置的預(yù)測(cè)來校正觸摸中的人為錯(cuò)誤。例如，當(dāng)按下靠近其他按鈕的按鈕時(shí)，可由處理器使用手指方法和模型來確定用戶打算點(diǎn)擊在左邊的按鈕，但是卻點(diǎn)擊了在右邊的按鈕的左邊緣。
[0021]^
[0022]本文中討論了某些特定的建模技術(shù)，但是將先前的輸入事件的向量作