本公開涉及識(shí)別由手持控制器上的手指手勢(shì)提供的輸入，并且更具體地涉及使用從與手持控制器相關(guān)聯(lián)的多個(gè)傳感器和部件收集的多模態(tài)數(shù)據(jù)來(lái)驗(yàn)證經(jīng)由手指手勢(shì)提供的輸入。

背景技術(shù)：

1、隨著不同裝置上可供用戶使用的交互式應(yīng)用程序和視頻游戲的數(shù)量不斷增加，準(zhǔn)確檢測(cè)經(jīng)由不同裝置提供的輸入變得尤為重要。例如，必須適當(dāng)識(shí)別和正確解釋用戶使用手持控制器提供的視頻游戲的輸入，以便準(zhǔn)確影響視頻游戲的游戲狀態(tài)。僅依賴單一數(shù)據(jù)模式(例如，跟蹤手指手勢(shì)的圖像)可能會(huì)導(dǎo)致視頻游戲中的錯(cuò)誤結(jié)果。

2、正是在此背景下提出了本公開的實(shí)施方案。

技術(shù)實(shí)現(xiàn)思路

1、本公開的實(shí)現(xiàn)方式涉及用于提供多模態(tài)手指跟蹤以檢測(cè)和驗(yàn)證輸入裝置(諸如手持控制器)上提供的手指手勢(shì)的系統(tǒng)和方法。多模態(tài)手指跟蹤和驗(yàn)證確保適當(dāng)識(shí)別和正確解釋手指手勢(shì)，從而減少僅依賴單一跟蹤模式而導(dǎo)致的錯(cuò)誤。使用與手持控制器(以下簡(jiǎn)稱為“控制器”)相關(guān)聯(lián)的多個(gè)傳感器和部件捕獲的多種數(shù)據(jù)模態(tài)來(lái)生成和訓(xùn)練自定義手指跟蹤模型(例如，組合模型(ensemble?model))，以提高檢測(cè)和解釋手指手勢(shì)的準(zhǔn)確性。

2、檢測(cè)輸入的傳統(tǒng)方式依賴于單一數(shù)據(jù)源模型。例如，傳統(tǒng)方式依賴于通用相機(jī)(即，單一數(shù)據(jù)源)來(lái)檢測(cè)和跟蹤控制器上用戶的手指。使用單一源的跟蹤準(zhǔn)確性不太可靠且易于出錯(cuò)，從而導(dǎo)致交互式應(yīng)用程序處的結(jié)果不盡如人意。為了克服傳統(tǒng)方式的缺點(diǎn)，從與控制器相關(guān)聯(lián)的多個(gè)傳感器和部件收集多模態(tài)數(shù)據(jù)，所述多個(gè)傳感器和部件用于提供輸入并用于驗(yàn)證控制器處的手指手勢(shì)檢測(cè)。所收集的多模態(tài)數(shù)據(jù)用于生成和訓(xùn)練多模態(tài)數(shù)據(jù)模型，所述多模態(tài)數(shù)據(jù)模型然后用于正確解釋手指手勢(shì)。由于使用多種數(shù)據(jù)模式來(lái)生成和訓(xùn)練模型，因此多模態(tài)數(shù)據(jù)模型在本文中也稱為“組合模型”。根據(jù)針對(duì)不同手指手勢(shì)定義的訓(xùn)練規(guī)則，使用隨著時(shí)間推移收集的額外多模態(tài)數(shù)據(jù)，對(duì)組合模型進(jìn)行不斷訓(xùn)練。從組合模型中選擇一個(gè)輸出并使用該輸出來(lái)確認(rèn)/驗(yàn)證在控制器處檢測(cè)到的手指手勢(shì)。手指手勢(shì)可以對(duì)應(yīng)于按下真實(shí)按鈕或按下控制器上定義的虛擬按鈕或控制器上設(shè)置的觸摸屏界面上提供的輸入，并且輸出被識(shí)別為與手指手勢(shì)的正確解釋相對(duì)應(yīng)。虛擬按鈕可以在沒(méi)有真實(shí)按鈕的控制器的任何表面上識(shí)別，并且虛擬按鈕上的手指手勢(shì)可以定義為單擊或雙擊或按壓或在特定方向上滑動(dòng)等。

3、該模型通過(guò)以下方式并入了多模態(tài)手指跟蹤技術(shù)：在生成和訓(xùn)練組合模型時(shí)，考慮了數(shù)個(gè)模型部件，如使用來(lái)自圖像捕獲裝置的圖像饋送進(jìn)行手指跟蹤、來(lái)自設(shè)置在控制器中的imu傳感器的慣性測(cè)量單元(imu)數(shù)據(jù)、來(lái)自設(shè)置在用戶所在環(huán)境中的無(wú)線裝置的無(wú)線信號(hào)、來(lái)自各種傳感器(諸如距離/接近傳感器、壓力傳感器等)的數(shù)據(jù)。組合模型通過(guò)使用來(lái)自多于一種模式的數(shù)據(jù)跟蹤和驗(yàn)證手指手勢(shì)，來(lái)幫助準(zhǔn)確檢測(cè)在控制器處提供的手指手勢(shì)。

4、在一個(gè)實(shí)現(xiàn)方式中，公開了一種用于驗(yàn)證在控制器處提供的輸入的方法。所述方法包括檢測(cè)由用戶在控制器的表面上提供的手指手勢(shì)。所述手指手勢(shì)用于定義由用戶選擇用于交互的交互式應(yīng)用程序的輸入。通過(guò)使用與控制器相關(guān)聯(lián)的多個(gè)傳感器和部件跟蹤控制器上的手指手勢(shì)來(lái)收集多模態(tài)數(shù)據(jù)。使用從多個(gè)傳感器和部件接收的多模態(tài)數(shù)據(jù)生成組合模型。使用隨著時(shí)間推移收集的額外多模態(tài)數(shù)據(jù)對(duì)組合模型進(jìn)行不斷訓(xùn)練以生成不同的輸出，其中訓(xùn)練是根據(jù)針對(duì)不同手指手勢(shì)定義的訓(xùn)練規(guī)則。使用機(jī)器學(xué)習(xí)算法來(lái)生成并訓(xùn)練組合模型以定義不同的輸出。針對(duì)手指手勢(shì)識(shí)別來(lái)自組合模型的輸出。從組合模型識(shí)別的輸出被解釋為定義交互式應(yīng)用程序的輸入。

5、在替代的實(shí)現(xiàn)方式中，公開了一種用于定義交互式應(yīng)用程序的輸入的方法。所述方法包括接收由用戶在控制器的表面上提供的手指手勢(shì)。所述手指手勢(shì)用于定義由用戶選擇用于交互的交互式應(yīng)用程序的輸入。從與控制器相關(guān)聯(lián)的多個(gè)傳感器和部件接收捕獲控制器上的手指手勢(shì)的屬性的多模態(tài)數(shù)據(jù)。向與由多個(gè)傳感器和部件捕獲的多模態(tài)數(shù)據(jù)中所包括的每個(gè)模式相對(duì)應(yīng)的模態(tài)數(shù)據(jù)分配權(quán)重。為每個(gè)模式分配的權(quán)重指示使用每個(gè)模式的模態(tài)數(shù)據(jù)準(zhǔn)確預(yù)測(cè)手指手勢(shì)。基于分配給每個(gè)模式的權(quán)重來(lái)處理手指手勢(shì)和多模態(tài)數(shù)據(jù)，以識(shí)別與在控制器處檢測(cè)到的手指手勢(shì)相對(duì)應(yīng)的交互式應(yīng)用程序的輸入。

6、通過(guò)以下結(jié)合附圖進(jìn)行的以舉例方式說(shuō)明本公開原理的詳細(xì)描述，本公開的其他方面和優(yōu)點(diǎn)將變得顯而易見(jiàn)。

技術(shù)特征：

1.一種用于驗(yàn)證在控制器處提供的輸入的方法，其包括：

2.如權(quán)利要求1所述的方法，其中識(shí)別所述輸出包括：

3.如權(quán)利要求2所述的方法，其中分配給由所述多個(gè)傳感器和部件中的每個(gè)傳感器捕獲的所述模態(tài)數(shù)據(jù)的所述權(quán)重大于分配給由所述多個(gè)傳感器和部件中的每個(gè)部件捕獲的所述模態(tài)數(shù)據(jù)的所述權(quán)重，并且

4.如權(quán)利要求2所述的方法，其中針對(duì)所述多模態(tài)數(shù)據(jù)中所包括的不同模式捕獲的所述模態(tài)數(shù)據(jù)被分配相同的權(quán)重。

5.如權(quán)利要求2所述的方法，其中針對(duì)所述多模態(tài)數(shù)據(jù)中所包括的每個(gè)模式捕獲的所述模態(tài)數(shù)據(jù)被分配不同的權(quán)重。

6.如權(quán)利要求1所述的方法，其中根據(jù)針對(duì)所述不同手指手勢(shì)定義的訓(xùn)練規(guī)則來(lái)訓(xùn)練所述組合模型，其中所述訓(xùn)練規(guī)則是基于手指解剖結(jié)構(gòu)、手指相對(duì)于所述控制器上的輸入控件的位置以及所述用戶的控制器握持風(fēng)格定義的。

7.如權(quán)利要求1所述的方法，其中所述多模態(tài)數(shù)據(jù)包括從所述多個(gè)傳感器和部件收集的視頻數(shù)據(jù)、音頻數(shù)據(jù)、圖像數(shù)據(jù)、傳感器數(shù)據(jù)和無(wú)線信號(hào)，并且

8.如權(quán)利要求1所述的方法，其中所述多個(gè)傳感器包括慣性測(cè)量單元(imu)傳感器、或壓力傳感器、或接近傳感器、或距離傳感器、或電容傳感器中的任一者或其組合，并且

9.如權(quán)利要求1所述的方法，其中所述多模態(tài)數(shù)據(jù)包括wifi信號(hào)，所述wifi信號(hào)包括由所述一個(gè)或多個(gè)無(wú)線通信裝置捕獲的前向信號(hào)和反射信號(hào)，所述前向信號(hào)和所述反射信號(hào)被解釋為定義所述用戶的身體部位的快照，當(dāng)所述用戶提供所述手指手勢(shì)時(shí)，所述身體部位的快照用于重建所述用戶的一個(gè)或多個(gè)手指的移動(dòng)。

10.如權(quán)利要求1所述的方法，其中所述多個(gè)傳感器和部件包括圖像捕獲裝置，

11.如權(quán)利要求10所述的方法，其中所述圖像捕獲裝置是集成在移動(dòng)計(jì)算裝置中的相機(jī)，或網(wǎng)絡(luò)相機(jī)，或游戲控制臺(tái)的圖像捕獲裝置，或計(jì)算裝置的圖像捕獲裝置或頭戴式顯示器的相機(jī)，其中所述圖像捕獲裝置通信地耦合到所述控制器。

12.如權(quán)利要求11所述的方法，其中當(dāng)所述圖像捕獲裝置是所述移動(dòng)計(jì)算裝置的所述相機(jī)時(shí)，所述移動(dòng)計(jì)算裝置被布置在耦合到所述控制器的保持結(jié)構(gòu)上，所述保持結(jié)構(gòu)包括電機(jī)，所述電機(jī)被配置為接收和保持所述移動(dòng)計(jì)算裝置并動(dòng)態(tài)地調(diào)整所述相機(jī)的角度以與校準(zhǔn)的角度對(duì)齊，從而使得能夠在所述用戶執(zhí)行手指手勢(shì)時(shí)捕獲由所述用戶的所述手指握住的不同位置的圖像，并且

13.如權(quán)利要求1所述的方法，其中所述多個(gè)傳感器和部件包括一個(gè)或多個(gè)慣性測(cè)量單元傳感器(imu)，所述imu被配置為檢測(cè)所述用戶在所述控制器的所述表面上的手指手勢(shì)并生成imu信號(hào)，并且

14.如權(quán)利要求1所述的方法，其中所述多個(gè)傳感器和部件包括嵌入在所述控制器內(nèi)或耦合到所述控制器的傳聲器陣列，

15.一種用于定義交互式應(yīng)用程序的輸入的方法，其包括：

16.如權(quán)利要求15所述的方法，其中處理所述手指手勢(shì)和所述多模態(tài)數(shù)據(jù)包括：

17.如權(quán)利要求16所述的方法，其中所述訓(xùn)練規(guī)則是基于手指解剖結(jié)構(gòu)、手指相對(duì)于所述控制器上的輸入控件的位置以及所述用戶的控制器握持風(fēng)格來(lái)定義的。

18.如權(quán)利要求15所述的方法，其中所述處理所述手指手勢(shì)包括使用分配給所述多模態(tài)數(shù)據(jù)中所包括的每個(gè)模式的所述模態(tài)數(shù)據(jù)的所述權(quán)重來(lái)計(jì)算所述多模態(tài)數(shù)據(jù)的累積權(quán)重，所述累積權(quán)重用于識(shí)別所述交互式應(yīng)用程序的所述輸入。

19.如權(quán)利要求15所述的方法，其中所述多個(gè)傳感器包括慣性測(cè)量單元(imu)傳感器、或距離傳感器、或壓力傳感器、或接近傳感器、或電容傳感器中的任一者或其組合，

20.如權(quán)利要求15所述的方法，其中所述多模態(tài)數(shù)據(jù)包括由所述多個(gè)傳感器捕獲的第一組所述模態(tài)數(shù)據(jù)和由所述多個(gè)部件捕獲的第二組所述模態(tài)數(shù)據(jù)，并且

技術(shù)總結(jié)
提供了用于驗(yàn)證在控制器處提供的輸入的方法和系統(tǒng)，包括檢測(cè)所述控制器的表面上的手指手勢(shì)。響應(yīng)于檢測(cè)到手指手勢(shì)，從跟蹤手指手勢(shì)的多個(gè)傳感器和部件收集多模態(tài)數(shù)據(jù)。多模態(tài)數(shù)據(jù)用于使用機(jī)器學(xué)習(xí)算法生成組合模型。根據(jù)針對(duì)不同手指手勢(shì)定義的訓(xùn)練規(guī)則來(lái)訓(xùn)練組合模型。針對(duì)手指手勢(shì)識(shí)別來(lái)自組合模型的輸出。輸出被解釋為定義被選擇用于交互的交互式應(yīng)用程序的輸入。

技術(shù)研發(fā)人員：J·A·帕拉西奧斯,C·R·桑達(dá)拉姆,M·安東尼,M·哈迪斯蒂,S·班薩爾
受保護(hù)的技術(shù)使用者：索尼互動(dòng)娛樂(lè)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6