本技術(shù)涉及能夠檢測(cè)接觸的信息處理裝置、信息處理方法和程序。

背景技術(shù)：

近年來(lái)，隨著信息處理設(shè)備的利用形式的多樣化，正在研究新的UI(用戶接口)。例如，開(kāi)發(fā)將圖標(biāo)顯示在頭戴式顯示裝置上、將圖標(biāo)投影到對(duì)象物體(例如手掌和桌子)上并且在操作體(例如手指和觸控筆)觸摸投影的圖標(biāo)時(shí)輸入對(duì)圖標(biāo)的選擇的技術(shù)。

對(duì)于操作體與對(duì)象物體的接觸而言，使用立體攝像裝置、3D傳感器等。UI對(duì)對(duì)象物體和操作體進(jìn)行識(shí)別，并且基于從立體攝像裝置、3D傳感器等獲取的3D信息對(duì)操作體的位置和對(duì)象物體的平面形狀進(jìn)行檢測(cè)。UI能夠?qū)?duì)象物體與操作體之間的等于或小于預(yù)定值的距離確定為接觸。

專利文獻(xiàn)1：日本專利申請(qǐng)?zhí)亻_(kāi)第2011-70491號(hào)

技術(shù)實(shí)現(xiàn)要素：

需要解決的問(wèn)題

然而，在上面所提及的方法中，需要提供用于檢測(cè)接觸的檢測(cè)裝置例如立體攝像裝置和3D傳感器，并且存在裝置尺寸增大、功耗增大并且成本增加的問(wèn)題。此外，由于立體攝像裝置和3D傳感器的性質(zhì)，難以在陽(yáng)光下使用立體攝像裝置和3D傳感器。此外，在操作體接近對(duì)象物體時(shí)非接觸被確定為接觸的情況下，可能會(huì)進(jìn)行用戶的無(wú)意識(shí)輸入。

考慮到上面所描述的情況，本技術(shù)的目的在于提供能夠以低成本并且高精度地檢測(cè)接觸的信息處理裝置、信息處理方法和程序。

用于解決問(wèn)題的裝置

為了實(shí)現(xiàn)上面所提及的目的，根據(jù)本技術(shù)的實(shí)施方式的信息處理裝置包括接觸確定單元。

接觸確定單元基于對(duì)象物體的表面上的法線矢量的改變來(lái)確定操作體與對(duì)象物體的接觸，其中，對(duì)象物體是操作體的操作對(duì)象。

法線矢量是面向與物體表面垂直的方向的矢量。當(dāng)操作體與對(duì)象物體接觸時(shí)，對(duì)象物體的表面由于與操作體的接觸而變形，并且法線矢量改變。因此，利用上面所提及的配置，可以通過(guò)檢測(cè)法線矢量的改變來(lái)確定操作體與對(duì)象物體的接觸。

信息處理裝置還可以包括物體識(shí)別處理單元，該物體識(shí)別處理單元對(duì)包括在拾取圖像中的操作體和對(duì)象物體進(jìn)行識(shí)別，其中，

接觸確定單元可以基于操作體周圍的對(duì)象物體的表面上的法線矢量的改變來(lái)確定操作體與對(duì)象物體的接觸。

因?yàn)榻佑|確定單元僅使用操作體很可能接觸的對(duì)象物體的表面的區(qū)域以用于接觸確定，所以利用該配置可以減少用于計(jì)算法線矢量的改變的計(jì)算量并且可以防止錯(cuò)誤檢測(cè)。

接觸確定單元可以取決于法線矢量沿操作體的方向的傾斜度來(lái)確定操作體與對(duì)象物體的接觸。

在對(duì)象物體是通過(guò)操作體的按壓形成凹陷的物體(手掌等)的情況下，法線矢量由于與操作體接觸而沿操作體的方向傾斜。因此，接觸確定單元能夠使用法線矢量沿操作體的方向的傾斜度以用于接觸確定。

接觸確定單元可以取決于法線矢量的傾斜度的擾動(dòng)來(lái)確定操作體與對(duì)象物體的接觸。

在對(duì)象物體是通過(guò)操作體的按壓而變得褶皺的物體(手的背面等)的情況下，法線矢量由于與操作體接觸而被擾動(dòng)并且沿各方向傾斜。因此，接觸確定單元能夠使用法線矢量的傾斜度的擾動(dòng)以用于接觸確定。

信息處理裝置還可以包括輸入控制單元，該輸入控制單元基于接觸確定單元的確定結(jié)果來(lái)控制操作輸入。

當(dāng)接觸確定單元確定操作體與對(duì)象物體之間存在接觸時(shí)，輸入控制單元能夠取決于接觸位置或接觸次數(shù)將該接觸接收為操作輸入并且能夠?qū)⒉僮鬏斎胩峁┙oOS等。

信息處理裝置還可以包括物體識(shí)別處理單元，該物體識(shí)別處理單元對(duì)包括在拾取圖像中的操作體和對(duì)象物體進(jìn)行識(shí)別，其中，

輸入控制單元可以基于由物體識(shí)別處理單元識(shí)別的操作體的形狀和接觸確定單元的確定結(jié)果來(lái)控制操作輸入。

物體識(shí)別處理單元可以識(shí)別操作體的形狀(例如手指在擠壓操作時(shí)的形狀)并且將操作體的形狀提供給輸入控制單元。因此，輸入控制單元能夠取決于操作體的形狀來(lái)接收操作輸入。

信息處理裝置還可以包括圖像輸出單元，該圖像輸出單元生成被疊加在對(duì)象物體上的操作對(duì)象圖像，其中，

輸入控制單元可以基于操作體與操作對(duì)象圖像中的對(duì)象物體的接觸位置關(guān)系來(lái)控制操作輸入。

圖像輸出單元生成被顯示在頭戴式顯示裝置、投影儀等上并且被疊加在對(duì)象物體上的操作對(duì)象圖像。輸入控制單元能夠基于操作對(duì)象圖像中的接觸位置和操作對(duì)象圖像在對(duì)象物體上的疊加位置，對(duì)操作對(duì)象圖像與接觸位置之間的位置關(guān)系進(jìn)行計(jì)算，并且取決于疊加在接觸位置上的操作對(duì)象圖像的內(nèi)容(圖標(biāo)等)來(lái)接收操作輸入。

當(dāng)法線矢量的傾斜度超過(guò)閾值時(shí)，接觸確定單元可以確定操作體與對(duì)象物體接觸。

利用該配置，可以通過(guò)閾值來(lái)調(diào)節(jié)接觸檢測(cè)的精確度。

信息處理裝置還可以包括物體識(shí)別處理單元，該物體識(shí)別處理單元對(duì)包括在拾取圖像中的操作體和對(duì)象物體進(jìn)行識(shí)別，其中，

接觸確定單元可以取決于對(duì)象物體的種類來(lái)確定閾值。

利用該配置，接觸確定單元能夠利用取決于對(duì)象物體的種類的適當(dāng)?shù)拈撝祦?lái)確定接觸。例如，可以在對(duì)象物體是硬物時(shí)減小閾值以及在對(duì)象物體是軟物時(shí)增大閾值。

接觸確定單元還可以取決于對(duì)象物體的表面的位置來(lái)確定閾值。

例如，在對(duì)象物體是手掌的情況下，即使以相同的按壓力按壓手掌，凹陷的程度也會(huì)由于位置而不同。因此，利用上面所提及的配置，可以利用取決于對(duì)象物體的位置的適當(dāng)?shù)拈撝祦?lái)確定接觸。

當(dāng)法線矢量的傾斜度大于閾值時(shí)，接觸確定單元可以取決于法線矢量的傾斜度的大小來(lái)計(jì)算操作體與對(duì)象物體的接觸程度。

由于操作體與對(duì)象物體接觸引起的對(duì)象物體的變形程度隨著接觸的按壓力增大而增大。因此，利用上面所提及的配置，不僅可以計(jì)算操作體與對(duì)象物體的接觸，而且還可以計(jì)算操作體對(duì)對(duì)象物體的按壓力。

信息處理裝置還可以包括物體識(shí)別處理單元，該物體識(shí)別處理單元對(duì)包括在拾取圖像中的操作體和對(duì)象物體進(jìn)行識(shí)別，其中，

接觸確定單元可以在對(duì)象物體是剛體時(shí)基于拾取圖像的顏色的改變來(lái)確定操作體與對(duì)象物體的接觸，并且可以在對(duì)象物體不是剛體時(shí)基于法線矢量的改變來(lái)確定操作體與對(duì)象物體的接觸。

在對(duì)象物體是剛體并且對(duì)象物體沒(méi)有由于操作體的接觸而變形的情況下，接觸確定單元能夠通過(guò)使用拾取圖像的顏色的改變來(lái)確定接觸。例如，因?yàn)楫?dāng)手指按壓物體時(shí)指尖的顏色改變，所以接觸確定單元能夠通過(guò)使用這樣的顏色改變來(lái)確定接觸。

當(dāng)對(duì)象物體與操作體之間的距離等于或小于預(yù)定值時(shí)，接觸確定單元可以基于法線矢量的改變來(lái)確定操作體與對(duì)象物體的接觸。

當(dāng)對(duì)象物體與操作體之間的距離小于預(yù)定值時(shí)，接觸確定單元基于圖像的顏色的改變來(lái)確定接觸。因此，可以僅在接觸的可能性高的情況下確定接觸。對(duì)象物體與操作體之間的距離可以由使用紅外線等的投影圖案以測(cè)量傳感器與物體之間的距離的深度傳感器來(lái)獲取。

接觸確定單元可以根據(jù)通過(guò)偏振成像拾取的拾取圖像來(lái)檢測(cè)法線矢量。

偏振成像由向每個(gè)像素提供具有不同偏振方向的偏振濾波器的攝像裝置來(lái)實(shí)現(xiàn)，并且可以根據(jù)拾取圖像來(lái)檢測(cè)法線矢量。

為了實(shí)現(xiàn)上面所提及的目的，根據(jù)本技術(shù)的實(shí)施方式的程序使信息處理裝置用作接觸確定單元。

接觸確定單元基于對(duì)象物體的表面上的法線矢量的改變來(lái)確定操作體與對(duì)象物體的接觸，其中，對(duì)象物體是操作體的操作對(duì)象。

為了實(shí)現(xiàn)上面所提及的目的，根據(jù)本技術(shù)的實(shí)施方式的信息處理方法包括：通過(guò)接觸確定單元基于對(duì)象物體的表面上的法線矢量的改變來(lái)確定操作體與對(duì)象物體的接觸，其中，對(duì)象物體是操作體的操作對(duì)象。

效果

如上所述，根據(jù)本技術(shù)，可以提供能夠以低成本并且高精度地檢測(cè)接觸的信息處理裝置、信息處理方法和程序。應(yīng)當(dāng)注意，文中所描述的效果不一定是限制性的并且可以是本公開(kāi)內(nèi)容中所描述的任何效果。

附圖說(shuō)明

圖1是示出根據(jù)本技術(shù)的第一實(shí)施方式的信息處理裝置的配置的示意圖。

圖2是示出由信息處理裝置的圖像輸出單元生成的被疊加在對(duì)象物體上的操作圖像的示意圖。

圖3是示出由信息處理裝置的圖像輸出單元生成的被疊加在對(duì)象物體上的操作圖像的示意圖。

圖4是示出由信息處理裝置的圖像輸出單元生成的被疊加在對(duì)象物體上的操作圖像的示意圖。

圖5是示出信息處理裝置的硬件配置的示意圖。

圖6是示出信息處理裝置的操作的流程圖。

圖7是示出在操作體不與對(duì)象物體接觸的狀態(tài)下的對(duì)象物體中的法線矢量的示意圖。

圖8是示出在操作體與對(duì)象物體接觸的狀態(tài)下的對(duì)象物體中的法線矢量的示意圖。

圖9是示出在操作體與對(duì)象物體接觸的狀態(tài)下的對(duì)象物體中的法線矢量的示意圖。

圖10是示出信息處理裝置的操作的流程圖。

圖11是示出信息處理裝置的操作的流程圖。

圖12是示出信息處理裝置的操作的流程圖。

圖13是示出操作體的形狀的示意圖。

圖14是示出由操作體輸入的操作的狀態(tài)的示意圖。

圖15是示出根據(jù)本技術(shù)的第二實(shí)施方式的信息處理裝置的配置的示意圖。

圖16是示出信息處理裝置的操作的流程圖。

具體實(shí)施方式

[第一實(shí)施方式]

將描述根據(jù)本技術(shù)的第一實(shí)施方式的信息處理裝置。

(信息處理裝置的配置)

圖1是示出根據(jù)本技術(shù)的第一實(shí)施方式的信息處理裝置100的功能配置的示意圖。如圖所示，信息處理裝置100包括聲音輸入單元101、聲音識(shí)別處理單元102、圖像輸入單元103、物體識(shí)別處理單元104、接觸確定單元105、輸入控制單元106和圖像輸出單元107。

如圖所示，信息處理裝置100可以連接至眼鏡10。此外，信息處理裝置100可以安裝在眼鏡10上。眼鏡10包括顯示裝置11、攝像裝置12和麥克風(fēng)(未示出)。顯示裝置11可以是透明的HMD(頭戴式顯示裝置)。

攝像裝置12可以是能夠執(zhí)行偏振成像的攝像裝置。具體地，可以對(duì)每個(gè)像素應(yīng)用偏振方向偏移90度的四種類型的偏振膜，從而對(duì)攝像裝置12進(jìn)行配置?？梢酝ㄟ^(guò)以下方式來(lái)獲取成像物體的表面的法線方向(稍后描述)：通過(guò)對(duì)具有不同偏振方向的每個(gè)像素的接收光強(qiáng)度應(yīng)用傅立葉變換來(lái)取得非偏振分量強(qiáng)度、偏振主軸方向和偏振分量強(qiáng)度，從而根據(jù)主軸方向獲得方位角并且根據(jù)強(qiáng)度獲得天頂角。此外，信息處理裝置100除了攝像裝置12以外還可以包括常規(guī)攝像裝置。

聲音輸入單元101連接至眼鏡10的麥克風(fēng)。由麥克風(fēng)收集的聲音的音頻信號(hào)被輸入至聲音輸入單元101。聲音輸入單元101將獲取的音頻信號(hào)輸出至聲音識(shí)別處理單元102。

聲音識(shí)別處理單元102對(duì)從聲音輸入單元101提供的音頻信號(hào)執(zhí)行音頻識(shí)別處理，并且識(shí)別由用戶發(fā)出的操作聲音。在識(shí)別出操作聲音的情況下，聲音識(shí)別處理單元102將識(shí)別結(jié)果提供給輸入控制單元106。

圖像輸入單元103連接至攝像裝置12。將由攝像裝置12拾取的圖像(運(yùn)動(dòng)圖像)輸入至圖像輸入單元103。由攝像裝置12拾取的圖像是通過(guò)上述偏振成像拾取的圖像。圖像輸入單元103將從攝像裝置12獲取的圖像(下文中稱為獲取圖像)提供給物體識(shí)別處理單元104。

物體識(shí)別處理單元104對(duì)照存儲(chǔ)在物體檢測(cè)詞典D中的信息對(duì)從圖像輸入單元103供給的獲取圖像進(jìn)行檢查以識(shí)別物體。物體識(shí)別處理單元104能夠識(shí)別物體例如稍后描述的操作體和對(duì)象物體。物體識(shí)別處理單元104將獲取圖像和物體識(shí)別結(jié)果提供給接觸確定單元105。物體檢測(cè)詞典D可以存儲(chǔ)在信息處理裝置100中，或者物體識(shí)別處理單元104可以從網(wǎng)絡(luò)等獲取物體檢測(cè)詞典D。

接觸確定單元105通過(guò)使用物體識(shí)別結(jié)果和接觸確定閾值T對(duì)從物體識(shí)別處理單元104提供的獲取圖像執(zhí)行接觸確定。稍后將描述該處理的細(xì)節(jié)。接觸確定單元105將確定結(jié)果提供給輸入控制單元106。接觸確定閾值T可以存儲(chǔ)在信息處理裝置100中，或者接觸確定單元105可以從網(wǎng)絡(luò)等獲取接觸確定閾值T。

輸入控制單元106基于從聲音識(shí)別處理單元102提供的識(shí)別結(jié)果或從接觸確定單元105提供的確定結(jié)果，來(lái)控制由用戶進(jìn)行的操作輸入。具體地，輸入控制單元106接收操作體與對(duì)象物體的接觸位置、按壓力或按壓方向、接觸以后的操作體的運(yùn)動(dòng)等作為觸摸、多點(diǎn)觸摸、拖動(dòng)、擠壓等的操作輸入。輸入控制單元106將所接收的操作輸入提供給信息處理裝置100的OS等。

圖像輸出單元107生成被顯示在顯示裝置11上的圖像(運(yùn)動(dòng)圖像)。圖像輸出單元107能夠生成包括圖標(biāo)和操作按鈕的操作圖像。如上所述，顯示裝置11是透明的HMD，并且用戶在視覺(jué)上確認(rèn)被顯示在顯示裝置11上的視頻和真實(shí)物體彼此疊加的視野。

圖2示意性地示出了經(jīng)由顯示裝置11的用戶的視野。用戶的視野包括用戶的手掌H、用戶的手指Y和顯示在顯示裝置11上的操作圖像G。操作圖像G包括圖標(biāo)P。當(dāng)用戶用手指Y觸摸疊加有圖標(biāo)P的手掌H的一部分時(shí)，信息處理裝置100接收對(duì)圖標(biāo)P的選擇。

操作圖像G不一定需要疊加在手掌上。圖3是示出操作圖像G疊加在雜志Z上的狀態(tài)的示意圖。如圖所示，當(dāng)用戶用手指Y觸摸疊加有圖標(biāo)P的雜志Z的一部分時(shí)，信息處理裝置100接收對(duì)圖標(biāo)P的選擇。此外，用戶可以用除了手指以外的事物例如觸控筆來(lái)指定圖標(biāo)P。在下文中，將投影有被用戶指定的操作圖像G的物體(例如手掌H和雜志Z)稱為對(duì)象物體，并且將與對(duì)象物體接觸并操作圖標(biāo)P等的物體(例如手指Y和觸控筆)稱為操作體。具體地，信息處理裝置100檢測(cè)操作體與對(duì)象物體的接觸，并且響應(yīng)于該接觸來(lái)接收操作輸入。

眼鏡10的配置不限于上述配置。圖4示出了攝像裝置12被設(shè)置成獨(dú)立于眼鏡10的狀態(tài)。操作圖像G被顯示在顯示裝置11上并且被疊加在雜志Z上。攝像裝置12被設(shè)置在與眼鏡10的位置不同的位置(例如雜志Z的上側(cè)面上)并且連接至圖像輸入單元103。

此外，信息處理裝置100可以連接至與眼鏡10不同的圖像投影裝置。例如，信息處理裝置100可以連接至包括攝像裝置的投影儀，該投影儀能夠?qū)⒁曨l投影在桌面或墻壁表面上并且能夠?qū)ν队氨砻孢M(jìn)行成像。在這種情況下，圖像輸出單元107連接至投影儀的圖像投影機(jī)構(gòu)，并且將視頻投影在對(duì)象物體(桌子或墻壁)上。圖像輸入單元103連接至攝像裝置，并且獲取包括對(duì)象物體和投影圖像的圖像。替代地，信息處理裝置100可以連接至包括攝像裝置的裝置，該裝置能夠?qū)⒁曨l顯示或投影在對(duì)象物體上并且能夠?qū)?duì)象物體進(jìn)行成像。

信息處理裝置100的上面所提及的功能配置可以連接至或結(jié)合至/在圖像投影裝置例如眼鏡和投影儀中，或者安裝在與圖像投影裝置不同的PC、智能手機(jī)等上。此外，功能配置的整體或一部分可以在網(wǎng)絡(luò)上。

圖5是示出信息處理裝置100的硬件配置的示意圖。信息處理裝置100的上面所提及的配置是通過(guò)圖5所示的硬件配置與程序的協(xié)作而實(shí)現(xiàn)的功能配置。

如圖5所示，信息處理裝置100包括作為硬件配置的CPU 121、存儲(chǔ)器122、存儲(chǔ)裝置123和輸入/輸出接口124。這些通過(guò)總線125彼此連接。

CPU(中央處理單元)121根據(jù)存儲(chǔ)在存儲(chǔ)器122中的程序來(lái)控制其他配置、根據(jù)該程序來(lái)執(zhí)行數(shù)據(jù)處理、并且將處理結(jié)果存儲(chǔ)在存儲(chǔ)器122中。CPU 121可以是微處理器。

存儲(chǔ)器122存儲(chǔ)由CPU 121執(zhí)行的程序和數(shù)據(jù)。存儲(chǔ)器122可以是RAM(隨機(jī)存取存儲(chǔ)器)。

存儲(chǔ)裝置123存儲(chǔ)程序或數(shù)據(jù)。存儲(chǔ)裝置123可以是HDD(硬盤驅(qū)動(dòng)器)或SSD(固態(tài)驅(qū)動(dòng)器)。存儲(chǔ)裝置123能夠存儲(chǔ)上面所提及的物體檢測(cè)詞典D或上面所提及的接觸確定閾值T。

輸入/輸出IF(接口)124接收向信息處理裝置100的輸入，并且將信息處理裝置100的輸出提供給顯示裝置11等。輸入/輸出IF 124包括輸入設(shè)備例如鼠標(biāo)和觸摸面板、輸出設(shè)備例如顯示裝置11以及連接接口例如網(wǎng)絡(luò)。如上所述，信息處理裝置100能夠基于由圖像輸入單元103獲取的圖像接收用戶的操作輸入。在這種情況下，不經(jīng)由輸入/輸出IF 124接收輸入。由圖像輸出單元107生成的圖像經(jīng)由輸入/輸出IF 124輸出至顯示裝置11并且被顯示。

只要可以實(shí)現(xiàn)信息處理裝置100的上面所提及的功能配置，則信息處理裝置100的硬件配置不限于文中所描述的那些硬件配置。

(信息處理裝置的接觸確定操作)

將描述信息處理裝置100的操作。圖6是示出信息處理裝置100的操作的流程圖。如上所述，攝像裝置12拾取圖像，并且圖像輸入單元103獲取圖像(獲取圖像)。圖像輸入單元103將獲取圖像提供給物體識(shí)別處理單元104。

物體識(shí)別處理單元104識(shí)別對(duì)象物體(St101)。物體識(shí)別處理單元104通過(guò)對(duì)照物體檢測(cè)詞典D對(duì)從圖像輸入單元103獲取的獲取圖像進(jìn)行檢查來(lái)識(shí)別對(duì)象物體。因此，當(dāng)獲取圖像包括例如手掌、雜志等時(shí)，手掌或雜志被識(shí)別為對(duì)象物體。

在獲取圖像中識(shí)別出對(duì)象物體的情況下(St102：是)，圖像輸出單元107將操作圖像G(參見(jiàn)圖2)提供給顯示裝置11，并且使顯示裝置11顯示操作圖像G(St103)。在獲取圖像中沒(méi)有識(shí)別出對(duì)象物體的情況下(St102：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St101)。

接下來(lái)，物體識(shí)別處理單元104識(shí)別操作體(St104)。物體識(shí)別處理單元104通過(guò)對(duì)照物體檢測(cè)詞典D對(duì)獲取圖像進(jìn)行檢查來(lái)識(shí)別操作體。因此，當(dāng)獲取圖像包括例如手指、觸控筆等時(shí)，手指或觸控筆被識(shí)別為操作體。注意，物體識(shí)別處理單元104可以識(shí)別多個(gè)操作體。

在獲取圖像中識(shí)別出操作體的情況下(St105：是)，接觸確定單元105對(duì)包括在獲取圖像中的對(duì)象物體的表面上的法線矢量的方向(下文中稱為法線方向)進(jìn)行計(jì)算(St106)。在獲取圖像中沒(méi)有識(shí)別出操作體的情況下(St105：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體的識(shí)別(St101)。

圖7和圖8分別是示出對(duì)象物體的表面上的法線矢量B的示意圖。圖7示出了操作體(手指Y)不與對(duì)象物體(手掌H)接觸的狀態(tài)。圖7的部分(a)是平面圖，并且圖7的部分(b)是側(cè)視圖。如圖所示，接觸確定單元105對(duì)手掌H的表面上的法線矢量B進(jìn)行檢測(cè)。法線矢量是與物體的表面垂直的矢量，并且法線矢量的大小為1。如上所述，攝像裝置12是能夠執(zhí)行偏振成像的攝像裝置，并且接觸確定單元105能夠從由攝像裝置12拾取的獲取圖像中檢測(cè)法線矢量B。

圖8示出了操作體(手指Y)與對(duì)象物體(手掌H)接觸的狀態(tài)。圖8的部分(a)是平面圖，并且圖8的部分(b)是側(cè)視圖。如圖所示，當(dāng)手指Y與手掌H接觸并且按壓手掌H時(shí)，手掌H的表面凹陷。因此，在手掌H的表面中檢測(cè)到的法線矢量B沿手指Y的方向傾斜。

接觸確定單元105基于由于操作體與對(duì)象物體接觸引起的法線矢量B的改變來(lái)檢測(cè)接觸。具體地，當(dāng)法線矢量B的方向(下文中稱為法線方向)的傾斜度超過(guò)接觸確定閾值T時(shí)，接觸確定單元105能夠確定手指Y與手掌H接觸(St107：是)。接觸確定單元105可以對(duì)法線方向發(fā)生改變的法線矢量B中的具有最大傾斜度的法線矢量B的傾斜度與接觸確定閾值T進(jìn)行比較，或?qū)A斜的法線矢量B的傾斜度的平均值與接觸確定閾值T進(jìn)行比較。此外，當(dāng)法線方向的傾斜度小于接觸確定閾值T時(shí)，接觸確定單元105能夠確定手指Y不與手掌H接觸(St107：否)。

注意，僅當(dāng)法線方向沿手指Y的方向的傾斜度超過(guò)接觸確定閾值T時(shí)，接觸確定單元105可以確定手指Y與手掌H接觸。這是因?yàn)榧词巩?dāng)法線方向的傾斜度很大時(shí)，在法線方向不是手指Y的方向的情況下法線方向仍可能由于與手指Y的接觸不同的其他原因而傾斜。具體地，可以通過(guò)僅使用法線方向沿手指Y的方向的傾斜度用于接觸確定來(lái)提高檢測(cè)精確度。

此外，接觸確定單元105可以取決于法線方向的擾動(dòng)來(lái)檢測(cè)操作體與對(duì)象物體的接觸。圖9是示出作為對(duì)象物體的手的背面K和作為操作體的手指Y的示意圖。如圖所示，在對(duì)象物體是手的背面的情況下，該表面與手掌相比在操作體與該表面接觸時(shí)不會(huì)凹陷而是會(huì)變得褶皺。接觸確定單元105能夠根據(jù)法線方向的擾動(dòng)來(lái)檢測(cè)這樣的褶皺的產(chǎn)生。具體地，當(dāng)法線方向沿任何方向的傾斜度超過(guò)接觸確定閾值T時(shí)，接觸確定單元105能夠確定手指Y與手的背面K接觸。

接觸確定單元105能夠通過(guò)使用物體識(shí)別處理單元104的識(shí)別結(jié)果來(lái)確定法線矢量中的哪種改變用于確定。例如，接觸確定單元105能夠在物體識(shí)別處理單元104對(duì)通過(guò)按壓例如手掌H形成凹陷的物體進(jìn)行檢測(cè)的情況下使用法線方向沿操作體的方向的傾斜度來(lái)用于確定。此外，接觸確定單元105能夠在物體識(shí)別處理單元104對(duì)通過(guò)按壓例如手的背面K而變得褶皺的物體進(jìn)行檢測(cè)的情況下使用法線方向沿任何方向的傾斜度來(lái)用于確定。

接觸確定閾值T可以是恒定值。替代地，接觸確定單元105可以通過(guò)使用物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別的結(jié)果來(lái)確定接觸確定閾值T。具體地，接觸確定單元105能夠使用取決于對(duì)象物體的種類設(shè)置的接觸確定閾值T。此外，接觸確定單元105可以取決于對(duì)象物體的種類來(lái)調(diào)節(jié)接觸確定閾值T。例如，接觸確定單元105可以在對(duì)象物體由于操作體的按壓而大幅變形時(shí)使用大的值作為接觸確定閾值T，并且在對(duì)象物體沒(méi)有由于操作體的按壓大幅變形時(shí)使用小的值作為接觸確定閾值T。

此外，接觸確定單元105可以取決于由操作體對(duì)對(duì)象物體的按壓形成的凹陷的程度、即法線方向的傾斜度，或取決于操作體與對(duì)象物體的接觸位置來(lái)調(diào)節(jié)接觸確定閾值T。例如，同樣在手指按壓手掌的情況下，在手掌的中心附近形成大的凹陷，以及在手指的基部附近形成小的凹陷。因此，接觸確定單元105能夠使用適當(dāng)?shù)闹底鳛榻佑|確定閾值T，從而以更高的精確度來(lái)確定操作體與對(duì)象物體的接觸。

注意，接觸確定單元105不需要檢測(cè)對(duì)象物體的所有表面上的法線矢量，而是可以僅對(duì)由物體識(shí)別處理單元104識(shí)別的操作體周圍的對(duì)象物體的表面上的法線矢量進(jìn)行檢測(cè)并將該法線矢量用于接觸確定。因此，可以對(duì)沿法線方向的改變被跟蹤的法線矢量的數(shù)量進(jìn)行限制、減少計(jì)算的次數(shù)并且防止錯(cuò)誤檢測(cè)。

在接觸確定單元105確定操作體未與對(duì)象物體接觸的情況下(St107：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St101)。

在確定操作體與對(duì)象物體的接觸的情況下，接觸確定單元105將接觸位置與獲取圖像一起提供給輸入控制單元106。輸入控制單元106基于顯示在操作圖像G上的圖標(biāo)P的位置和從接觸確定單元105提供的接觸位置來(lái)控制操作輸入。例如，輸入控制單元106可以認(rèn)為選擇了疊加在接觸位置上的圖標(biāo)P。

信息處理裝置100執(zhí)行這樣的操作。因?yàn)槿缟厦嫠枋龅哪菢佑赡軌驁?zhí)行偏振成像的攝像裝置12拾取的圖像可以用于檢測(cè)操作體與對(duì)象物體的接觸，所以除了攝像裝置12以外，不需要提供用于檢測(cè)接觸的傳感器。因此，可以減小接觸檢測(cè)系統(tǒng)的尺寸和成本。此外，因?yàn)椴皇褂眉t外線等來(lái)檢測(cè)接觸，所以可以在室外使用。

此外，信息處理裝置100通過(guò)使用由于操作體與對(duì)象物體接觸引起的法線矢量的改變來(lái)檢測(cè)接觸。因此，信息處理裝置100在操作體接近對(duì)象物體或與對(duì)象物體稍微接觸時(shí)不檢測(cè)接觸，并且僅在操作體肯定與對(duì)象物體接觸時(shí)才檢測(cè)接觸。因此，可以高精度地檢測(cè)操作體與對(duì)象物體的接觸。

注意，雖然上面已經(jīng)描述操作體是手指的情況，但操作體不限于手指并且可以是觸控筆等。此外，只要對(duì)象物體的表面的形狀由于與操作體的接觸而改變，則對(duì)象物體不限于手掌。

此外，物體識(shí)別處理單元104對(duì)照物體檢測(cè)詞典D對(duì)獲取圖像進(jìn)行檢查以識(shí)別上述物體(對(duì)象物體和操作體)。然而，并不限于此。例如，在獲取圖像在預(yù)定時(shí)間內(nèi)沒(méi)有改變并且某種物體進(jìn)入獲取圖像(即，攝像裝置的成像范圍)的情況下，該物體可以被識(shí)別為操作體。

(取決于對(duì)象物體的種類的信息處理裝置的接觸確定操作)

將描述信息處理裝置100的另一操作。圖10是示出信息處理裝置100的另一操作的流程圖。注意，對(duì)于連接至信息處理裝置100的眼鏡10(或其他裝置)而言，可以提供能夠獲取深度信息的深度傳感器。深度信息是和物體與深度傳感器之間的距離有關(guān)的信息。如上所述，攝像裝置12拾取圖像，并且圖像輸入單元103獲取圖像(獲取圖像)。輸入單元103將獲取圖像提供給物體識(shí)別處理單元104。

物體識(shí)別處理單元104識(shí)別對(duì)象物體(St111)。物體識(shí)別處理單元104能夠通過(guò)對(duì)照物體檢測(cè)詞典D對(duì)從圖像輸入單元103提供的獲取圖像進(jìn)行檢查來(lái)識(shí)別對(duì)象物體。因此，當(dāng)獲取圖像例如包括手掌、雜志等時(shí)，手掌或雜志被識(shí)別為對(duì)象物體。

在獲取圖像中識(shí)別出對(duì)象物體的情況下(St112：是)，圖像輸出單元107將操作圖像G(參見(jiàn)圖2)提供給顯示裝置11，并且使顯示裝置11顯示操作圖像G(St113)。在獲取圖像中沒(méi)有識(shí)別出對(duì)象物體的情況下(St112：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St111)。

接下來(lái)，物體識(shí)別處理單元104識(shí)別操作體(St114)。物體識(shí)別處理單元104通過(guò)對(duì)照物體檢測(cè)詞典D對(duì)獲取圖像進(jìn)行檢查來(lái)識(shí)別操作體。

接下來(lái)，物體識(shí)別處理單元104確定對(duì)象物體是否是剛體(St116)?！皠傮w”表示不由于與另一物體接觸而變形的物體。剛體的示例包括桌子。手掌或雜志被確定為不是剛體。

物體識(shí)別處理單元104確定對(duì)象物體不是剛體(St116：否)，接觸確定單元105根據(jù)上述獲取圖像對(duì)對(duì)象物體的表面的法線方向進(jìn)行計(jì)算(St117)。在法線方向的傾斜度超過(guò)接觸確定閾值T的情況下(St118：是)，接觸確定單元105確定為接觸(St119)。在法線方向的傾斜度小于接觸確定閾值T的情況下(St118：否)，接觸確定單元105不確定為接觸，并且再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St111)。

另一方面，在物體識(shí)別處理單元104確定對(duì)象物體是剛體的情況下(St116：是)，難以使用法線方向用于接觸檢測(cè)，這是因?yàn)榉ň€方向甚至不由于操作體與對(duì)象物體的接觸而改變。因此，接觸確定單元105可以在不使用法線方向的情況下確定接觸。

具體地，接觸確定單元105對(duì)對(duì)象物體與操作體之間的距離進(jìn)行計(jì)算(St120)?？梢酝ㄟ^(guò)使用從深度傳感器提供的深度信息來(lái)計(jì)算對(duì)象物體與操作體之間的距離。在對(duì)象物體與操作體之間的距離等于或小于恒定值的情況下(St121：是)，接觸確定單元105確定為接觸(St119)。在對(duì)象物體與操作體之間的距離不等于或小于恒定值的情況下(St121：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St111)。

信息處理裝置100也能夠執(zhí)行這樣的操作。即使對(duì)象物體是剛體并且難以使用法線方向執(zhí)行接觸確定，也可以執(zhí)行接觸確定。注意，在上面的描述中，在對(duì)象物體是剛體的情況下，接觸確定單元105通過(guò)使用深度信息來(lái)檢測(cè)操作體與對(duì)象物體的接觸，可以使用其他方法來(lái)檢測(cè)接觸。

例如，當(dāng)手指被物體按壓時(shí)，指尖的顏色改變。在手指不與物體接觸的情況下，例如，通過(guò)指甲觀察到的指尖的顏色為粉紅色。然而，當(dāng)手指被物體按壓時(shí)，手指的尖端的顏色變?yōu)榘咨?。接觸確定單元105能夠通過(guò)對(duì)指尖的顏色的這樣的改變與預(yù)先設(shè)置的模式進(jìn)行比較，來(lái)檢測(cè)手指與對(duì)象物體的接觸。此外，只要操作體是在物體被對(duì)象物體按壓時(shí)顏色改變的物體，則接觸確定單元105能夠基于與指尖的顏色類似的顏色的改變來(lái)檢測(cè)接觸。

(結(jié)合使用深度信息的信息處理裝置的接觸確定操作)

將描述信息處理裝置100的另一操作。注意，能夠獲取深度信息的深度傳感器被提供給連接至信息處理裝置100的眼鏡10(或另一裝置)。

圖11是示出信息處理裝置100的另一操作的流程圖。如上所述，攝像裝置12拾取圖像，并且由圖像輸入單元103獲取圖像(獲取圖像)。圖像輸入單元103將獲取圖像提供給物體識(shí)別處理單元104。

物體識(shí)別處理單元104識(shí)別對(duì)象物體(St131)。物體識(shí)別處理單元104通過(guò)對(duì)照物體檢測(cè)詞典D對(duì)從圖像輸入單元103獲取的獲取圖像進(jìn)行檢查來(lái)識(shí)別對(duì)象物體。

在獲取圖像中識(shí)別出對(duì)象物體的情況下(St132：是)，圖像輸出單元107將操作圖像G(參見(jiàn)圖2)提供給顯示裝置11，并且使顯示裝置11顯示操作圖像G(St133)。在獲取圖像中沒(méi)有識(shí)別出對(duì)象物體的情況下(St132：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St131)。

接下來(lái)，物體識(shí)別處理單元104識(shí)別操作體(St134)。物體識(shí)別處理單元104能夠通過(guò)對(duì)照物體檢測(cè)詞典D對(duì)獲取圖像進(jìn)行檢查來(lái)識(shí)別操作體。注意，物體識(shí)別處理單元104可以識(shí)別多個(gè)操作體。

在獲取圖像中識(shí)別出操作體的情況下(St135：是)，接觸確定單元105通過(guò)使用深度信息來(lái)計(jì)算操作體與對(duì)象物體之間的距離(St136)。如上所述，接觸確定單元105能夠從深度傳感器獲取深度信息。在獲取圖像中沒(méi)有識(shí)別出操作體的情況下(St135：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St131)。

在操作體與對(duì)象物體之間的距離等于或小于預(yù)先設(shè)置的預(yù)定值的情況下(St137：是)，接觸確定單元105對(duì)對(duì)象物體的表面上的法線矢量進(jìn)行檢測(cè)，并且計(jì)算法線方向(St138)。在操作體與對(duì)象物體之間的距離大于預(yù)定值的情況下(St137：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St131)。

此后，接觸確定單元105對(duì)法線方向的傾斜度與接觸確定閾值T進(jìn)行比較，并且在法線方向的傾斜度超過(guò)上述接觸確定閾值T(St139：是)時(shí)確定操作體與對(duì)象物體接觸(St140)。在法線方向的傾斜度小于接觸確定閾值T的情況下(St139：否)，再次執(zhí)行由物體識(shí)別處理單元104對(duì)對(duì)象物體進(jìn)行的識(shí)別(St131)。

在確定操作體與對(duì)象物體的接觸的情況下，接觸確定單元105將接觸位置與獲取圖像一起提供給輸入控制單元106。輸入控制單元106基于顯示在操作圖像G上的圖標(biāo)P的位置和從接觸確定單元105提供的接觸位置來(lái)控制操作輸入。例如，輸入控制單元106可以認(rèn)為選擇了疊加在接觸位置上的圖標(biāo)P。

信息處理裝置100也能夠執(zhí)行這樣的操作。通過(guò)使用深度信息，信息處理裝置100能夠獲取操作體與對(duì)象物體之間的距離，并且僅在操作體與對(duì)象物體之間的距離足夠小并且接觸的可能性高的情況下通過(guò)使用法線矢量的改變來(lái)執(zhí)行接觸確定。

(信息處理裝置的接觸和操作確定操作)

信息處理裝置100能夠確定操作體與對(duì)象物體之間的接觸以及接觸操作的類型(拖動(dòng)、擠壓等)。圖12是示出信息處理裝置100的接觸和操作確定操作的流程圖。

接觸確定步驟(St151)的流程與圖6所示的接觸確定操作的流程相同。此外，相同步驟(St151)的流程可以與取決于圖10所示的對(duì)象物體的種類的接觸確定操作或通過(guò)使用圖11所示的深度信息組合的接觸反應(yīng)操作的步驟的流程相同。

在接觸確定步驟中確定接觸的情況下(St152：是)，接觸確定單元105確定操作體與對(duì)象物體的接觸(按壓)程度(St153)。接觸確定單元105能夠根據(jù)法線方向的傾斜度超過(guò)接觸確定閾值T時(shí)的傾斜度的大小來(lái)獲得接觸程度。在接觸確定步驟中確定沒(méi)有接觸的情況下(St152：否)，重復(fù)接觸確定步驟(St151)。

接觸確定單元105將接觸位置與獲取圖像以及操作體對(duì)對(duì)象物體的按壓力的程度提供給輸入控制單元106。輸入控制單元106確定操作體與對(duì)象物體之間的接觸位置是否改變(St154)。在接觸位置改變的情況下(St154：是)，輸入控制單元106確定操作體的數(shù)量是否為兩個(gè)(St155)。在接觸位置不改變的情況下(St155：否)，再次執(zhí)行接觸確定的步驟(St151)。

在操作體的數(shù)量為兩個(gè)的情況下(St155：是)，輸入控制單元106確定由操作體進(jìn)行的操作是擠壓。另一方面，在操作體的數(shù)量不是兩個(gè)的情況下，輸入控制單元106確定由操作體進(jìn)行的操作是拖動(dòng)。注意，在操作體的數(shù)量為兩個(gè)的情況下，輸入控制單元106可以在接觸位置的移動(dòng)方向基本上彼此平行的情況下，將其確定為由多個(gè)操作體進(jìn)行的拖動(dòng)(多點(diǎn)觸摸拖動(dòng))。此外，在由操作體進(jìn)行的操作為擠壓的情況下，輸入控制單元106可以取決于接觸位置的移動(dòng)方向來(lái)確定操作是向內(nèi)擠壓還是向外擠壓。

此時(shí)，輸入控制單元106可以通過(guò)使用從物體識(shí)別處理單元104獲取的物體識(shí)別結(jié)果來(lái)確定操作的類型。圖13是示出作為操作體的手指的形狀的示意圖。在操作體的特定形狀(例如，手指的朝向)被預(yù)先登記在物體識(shí)別詞典D中的情況下，物體識(shí)別處理單元104將該信息提供給輸入控制單元106。輸入控制單元106能夠使用操作體的形狀來(lái)確定操作的類型。例如，在圖13所示的示例中，物體識(shí)別處理單元104可以識(shí)別出手指的形狀是用于擠壓操作的形狀(由拇指和食指形成的U形)，并且輸入控制單元106可以僅在手指的形狀是用于擠壓操作的形狀的情況下確定操作是擠壓操作。

輸入控制單元106取決于由操作體進(jìn)行的操作的類型來(lái)控制操作輸入。此時(shí)，輸入控制單元106可以取決于操作體對(duì)對(duì)象物體的按壓力的程度通過(guò)拖動(dòng)來(lái)改變效果的程度(光標(biāo)移動(dòng)速度、滾動(dòng)速度等)。

圖14示出了通過(guò)信息處理裝置100的上面所提及的操作的音樂(lè)再現(xiàn)應(yīng)用的UI的示例。如圖所示，信息處理裝置100能夠取決于操作體對(duì)對(duì)象物體的按壓的方向或程度來(lái)選擇音量、要再現(xiàn)的音樂(lè)等。

[第二實(shí)施方式]

將描述根據(jù)本技術(shù)的第二實(shí)施方式的信息處理裝置。

(信息處理裝置的配置)

圖15是示出根據(jù)本技術(shù)的第二實(shí)施方式的信息處理裝置200的功能配置的示意圖。如圖所示，信息處理裝置200包括聲音輸入單元201、聲音識(shí)別處理單元202、圖像輸入單元203、接觸確定單元204、輸入控制單元205和圖像輸出單元206。根據(jù)本實(shí)施方式的信息處理裝置200不包括物體識(shí)別處理單元。

如圖所示，信息處理裝置200可以連接至眼鏡10。因?yàn)檠坨R10的配置與第一實(shí)施方式中的配置類似，所以將省略對(duì)眼鏡10的配置的描述。

聲音輸入單元201連接至眼鏡10的麥克風(fēng)。由麥克風(fēng)收集的聲音的音頻信號(hào)被輸入至聲音輸入單元201。聲音輸入單元201將獲取的音頻信號(hào)輸出至聲音識(shí)別處理單元202。

聲音識(shí)別處理單元202對(duì)從聲音輸入單元201提供的音頻信號(hào)執(zhí)行音頻識(shí)別處理，并且識(shí)別由用戶發(fā)出的操作聲音。在識(shí)別出操作聲音的情況下，聲音識(shí)別處理單元202將音頻識(shí)別結(jié)果提供給輸入控制單元205。

圖像輸入單元203連接至攝像裝置12。由攝像裝置12拾取的圖像(運(yùn)動(dòng)圖像)被輸入至圖像輸入單元203。圖像輸入單元203將從攝像裝置12獲取的圖像(下文中稱為獲取圖像)提供給接觸確定單元204。

接觸確定單元204通過(guò)使用接觸確定閾值T對(duì)從圖像輸入單元203提供的獲取圖像執(zhí)行接觸確定。稍后將描述該處理的細(xì)節(jié)。接觸確定單元204將確定結(jié)果提供給輸入控制單元205。接觸確定閾值T可以存儲(chǔ)在信息處理裝置200中，或者接觸確定單元204可以從網(wǎng)絡(luò)等獲取接觸確定閾值T。

輸入控制單元205基于從聲音識(shí)別處理單元202提供的識(shí)別結(jié)果或從接觸確定單元204提供的確定結(jié)果來(lái)控制用戶的操作輸入。具體地，輸入控制單元205接收操作體與對(duì)象物體的接觸位置、按壓力或按壓方向，接觸以后的操作體的運(yùn)動(dòng)等作為觸摸、多點(diǎn)觸摸、拖動(dòng)、擠壓等的操作輸入。輸入控制單元205將接收的操作輸入提供給信息處理裝置200的OS等。

圖像輸出單元206生成被顯示在顯示裝置11上的圖像(運(yùn)動(dòng)圖像)。圖像輸出單元206能夠生成包括圖標(biāo)和操作按鈕的操作圖像。與第一實(shí)施方式類似，用戶在視覺(jué)上確認(rèn)被顯示在顯示裝置11上的視頻和真實(shí)物體彼此疊加的視野(參見(jiàn)圖2和圖3)。

除了眼鏡10之外，信息處理裝置200可以連接至包括攝像裝置的裝置，該裝置能夠?qū)⒁曨l顯示或投影在對(duì)象物體上并對(duì)對(duì)象物體進(jìn)行成像。

信息處理裝置200的上面所提及的功能配置可以連接至或結(jié)合至/在圖像投影裝置例如眼鏡和投影儀中或安裝在與圖像投影裝置不同的PC、智能手機(jī)等上。此外，功能配置的全部或一部分可以在網(wǎng)絡(luò)上。

信息處理裝置200的上面所提及的功能配置可以通過(guò)第一實(shí)施方式中所示出的硬件配置來(lái)實(shí)現(xiàn)。

(信息處理裝置的接觸確定操作)

將描述信息處理裝置200的操作。圖16是示出信息處理裝置200的操作的流程圖。如上所述，攝像裝置12拾取圖像，并且由圖像輸入單元203來(lái)獲取圖像(獲取圖像)。圖像輸入單元203將獲取圖像提供給接觸確定單元204。

圖像輸出單元206將操作圖像G(參見(jiàn)圖2)提供給顯示裝置11，并且使顯示裝置11顯示操作圖像G(St201)。與第一實(shí)施方式相比，不執(zhí)行對(duì)對(duì)象物體的識(shí)別處理。然而，用戶能夠?qū)@示裝置11對(duì)準(zhǔn)對(duì)象物體(桌面或墻壁表面)，從而將操作圖像G投影到對(duì)象物體上。

接觸確定單元204

接觸確定單元204對(duì)法線方向的傾斜度與接觸確定閾值T進(jìn)行比較，并且在法線方向的改變超過(guò)接觸確定閾值T時(shí)(St203：是)確定操作體與對(duì)象物體接觸(St204)。在法線方向的改變小于接觸確定閾值T的情況下(St203：否)，再次執(zhí)行對(duì)法線方向進(jìn)行的計(jì)算(St202)。

在確定操作體與對(duì)象物體接觸的情況下，接觸確定單元204將接觸位置與獲取的圖像一起提供給輸入控制單元205。輸入控制單元205基于從接觸確定單元204提供的接觸確定結(jié)果來(lái)控制操作輸入。

信息處理裝置200執(zhí)行這樣的操作。因?yàn)槿缟厦嫠枋龅哪菢佑赡軌驁?zhí)行偏振成像的攝像裝置12拾取的圖像可以用于檢測(cè)操作體與對(duì)象物體的接觸，所以除了攝像裝置12以外，不需要提供用于檢測(cè)接觸的傳感器。因此，可以減小接觸檢測(cè)系統(tǒng)的尺寸和成本。此外，因?yàn)椴皇褂眉t外線等來(lái)檢測(cè)接觸，所以可以在室外使用。

此外，信息處理裝置200通過(guò)使用由于操作體與對(duì)象物體接觸引起的法線方向的改變來(lái)檢測(cè)接觸。因此，信息處理裝置100在操作體接近對(duì)象物體或與對(duì)象物體稍微接觸時(shí)不檢測(cè)接觸，并且僅在操作體肯定與對(duì)象物體接觸時(shí)才檢測(cè)接觸。因此，可以高精度地檢測(cè)操作體與對(duì)象物體的接觸。

信息處理裝置200執(zhí)行這樣的操作。注意，與第一實(shí)施方式類似，信息處理裝置200可以通過(guò)使用顏色和深度信息的改變來(lái)執(zhí)行接觸確定(參見(jiàn)圖11)。此外，信息處理裝置200可以在接觸確定以后確定通過(guò)接觸進(jìn)行的操作的類型(參見(jiàn)圖12)。

注意，雖然上面已經(jīng)描述操作體是手指的情況，但操作體不限于手指，而是可以是觸控筆等。此外，只要對(duì)象物體的表面的形狀由于操作體與對(duì)象物體的接觸而改變，則對(duì)象物體不限于手掌。

應(yīng)當(dāng)注意，本技術(shù)可以采用以下配置。

(1)

一種信息處理裝置，包括：

接觸確定單元，所述接觸確定單元基于對(duì)象物體的表面上的法線矢量的改變來(lái)確定操作體與所述對(duì)象物體的接觸，其中，所述對(duì)象物體是所述操作體的操作對(duì)象。

(2)

根據(jù)以上(1)所述的信息處理裝置，還包括：

物體識(shí)別處理單元，所述物體識(shí)別處理單元對(duì)包括在拾取圖像中的所述操作體和所述對(duì)象物體進(jìn)行識(shí)別，其中，

所述接觸確定單元基于所述操作體周圍的所述對(duì)象物體的表面上的法線矢量的改變來(lái)確定所述操作體與所述對(duì)象物體的接觸。

(3)

根據(jù)以上(1)或(2)所述的信息處理裝置，其中，

所述接觸確定單元根據(jù)所述法線矢量沿所述操作體的方向的傾斜度來(lái)確定所述操作體與所述對(duì)象物體的接觸。

(4)

根據(jù)以上(1)至(3)中的任意一項(xiàng)所述的信息處理裝置，其中，

所述接觸確定單元根據(jù)所述法線矢量的傾斜度的擾動(dòng)來(lái)確定所述操作體與所述對(duì)象物體的接觸。

(5)

根據(jù)以上(1)至(4)中的任意一項(xiàng)所述的信息處理裝置，還包括：

輸入控制單元，所述輸入控制單元基于所述接觸確定單元的確定結(jié)果來(lái)控制操作輸入。

(6)

根據(jù)以上(1)至(5)中的任意一項(xiàng)所述的信息處理裝置，還包括：

物體識(shí)別處理單元，所述物體識(shí)別處理單元對(duì)包括在拾取圖像中的所述操作體和所述對(duì)象物體進(jìn)行識(shí)別，其中，

所述輸入控制單元基于由所述物體識(shí)別處理單元識(shí)別的所述操作體的形狀和所述接觸確定單元的確定結(jié)果來(lái)控制操作輸入。

(7)

根據(jù)以上(1)至(6)中的任意一項(xiàng)所述的信息處理裝置，還包括：

圖像輸出單元，所述圖像輸出單元生成被疊加在所述對(duì)象物體上的操作對(duì)象圖像，其中，

所述輸入控制單元基于所述操作對(duì)象圖像中的所述操作體與所述對(duì)象物體的接觸位置來(lái)控制操作輸入。

(8)

根據(jù)以上(1)至(7)中的任意一項(xiàng)所述的信息處理裝置，其中，

當(dāng)所述法線矢量的傾斜度超過(guò)閾值時(shí)，所述接觸確定單元確定所述操作體與所述對(duì)象物體接觸。

(9)

根據(jù)以上(1)至(8)中的任意一項(xiàng)所述的信息處理裝置，還包括：

物體識(shí)別處理單元，所述物體識(shí)別處理單元對(duì)包括在拾取圖像中的所述操作體和所述對(duì)象物體進(jìn)行識(shí)別，其中，

所述接觸確定單元根據(jù)所述對(duì)象物體的種類來(lái)確定所述閾值。

(10)

根據(jù)以上(1)至(9)中的任意一項(xiàng)所述的信息處理裝置，其中，

所述接觸確定單元還根據(jù)所述對(duì)象物體的表面的位置來(lái)確定所述閾值。

(11)

根據(jù)以上(1)至(10)中的任意一項(xiàng)所述的信息處理裝置，其中，

當(dāng)所述法線矢量的傾斜度大于所述閾值時(shí)，所述接觸確定單元根據(jù)所述法線矢量的傾斜度的大小來(lái)計(jì)算所述操作體與所述對(duì)象物體的接觸程度。

(12)

根據(jù)以上(1)至(11)中的任意一項(xiàng)所述的信息處理裝置，還包括：

物體識(shí)別處理單元，所述物體識(shí)別處理單元對(duì)包括在拾取圖像中的所述操作體和所述對(duì)象物體進(jìn)行識(shí)別，其中，

所述接觸確定單元在所述對(duì)象物體是剛體時(shí)基于所述拾取圖像的顏色的改變來(lái)確定所述操作體與所述對(duì)象物體的接觸，以及在所述對(duì)象物體不是剛體時(shí)基于所述法線矢量的改變來(lái)確定所述操作體與所述對(duì)象物體的接觸。

(13)

根據(jù)以上(1)至(12)中的任意一項(xiàng)所述的信息處理裝置，其中，

當(dāng)所述對(duì)象物體與所述操作體之間的距離等于或小于預(yù)定值時(shí)，所述接觸確定單元基于所述法線矢量的改變來(lái)確定所述操作體與所述對(duì)象物體的接觸。

(14)

根據(jù)以上(1)至(13)中的任意一項(xiàng)所述的信息處理裝置，其中，

所述接觸確定單元根據(jù)通過(guò)偏振成像拾取的拾取圖像來(lái)檢測(cè)所述法線矢量。

(15)

一種程序，所述程序使信息處理裝置用作：

接觸確定單元，所述接觸確定單元基于對(duì)象物體的表面上的法線矢量的改變來(lái)確定操作體與所述對(duì)象物體的接觸，其中，所述對(duì)象物體是所述操作體的操作對(duì)象。

(16)

一種信息處理方法，包括：

由接觸確定單元基于對(duì)象物體的表面上的法線矢量的改變來(lái)確定操作體與所述對(duì)象物體的接觸，其中，所述對(duì)象物體是所述操作體的操作對(duì)象

附圖標(biāo)記的描述：

100,200：信息處理裝置

101,201：聲音輸入單元

102,202：音頻識(shí)別處理單元

103,203：圖像輸入單元

104：物體識(shí)別處理單元

105,204：接觸確定單元

106,205：輸入控制單元

107,206：圖像輸出單元