專利名稱：用于增強的觸覺效果的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明總的涉及觸覺(haptic)控制技術(shù)。具體而言，本發(fā)明涉及 用于觸覺效果的系統(tǒng)和方法。
背景技術(shù)：
便攜設(shè)備正快速地演變?yōu)榧嬎?、通信和娛樂功能于一個設(shè)備的 多功能設(shè)備。觸覺反饋越來越多地被包括在這些諸如移動電話、個人 數(shù)字助理等的便攜設(shè)備之中。但是，傳統(tǒng)上來講，便攜設(shè)備僅具備有 特色的基本的振動功能。例如，移動電話可能僅具有使振動致動器 (actuator)單幅度地開和關(guān)的能力。
這些移動電話和其他觸覺設(shè)備可通過多功能變頻器(MFT)來驅(qū) 動標(biāo)準(zhǔn)的音頻信號以產(chǎn)生振動。 一些這類裝置可以依賴于音頻信號的 已有頻率來在MFT中隨機驅(qū)動振動，而不是使用特定的振動控制信號。 如果在音頻信號中沒有發(fā)現(xiàn)這類頻率，就不產(chǎn)生振動。
盡管目前在移動電話中存在一些振動能力，但便攜設(shè)備技術(shù)的發(fā) 展和用戶要求正在驅(qū)動著對移動電話中先進的振動能力的需求。并且 這些設(shè)備的生產(chǎn)商為了增強的功能和控制，可能尋求各種方式將這類 先進的振動能力應(yīng)用在他們的便攜設(shè)備中。在對振動反饋的要求增長的同時，支持振動反饋的不同觸覺設(shè)備 的數(shù)量也在增長。不同觸覺設(shè)備的種類增長給設(shè)備設(shè)計者制造了兩難 處境。 一方面，設(shè)備設(shè)計者可能將大量時間和資源用于將振動觸覺反 饋定制成不同設(shè)備的特定能力。另一方面，設(shè)備設(shè)計者可選擇將相同 的通用振動觸覺反饋信號提供給很多不同設(shè)備，并接受通用信號可能 不能利用任意特定觸覺設(shè)備的增強功能。

發(fā)明內(nèi)容
本發(fā)明的實施例提供用于增強的觸覺效果的系統(tǒng)和方法。本發(fā)明 的一個實施例執(zhí)行包括以下內(nèi)容的方法接收以第一格式格式化的輸 入信號，該輸入信號具有多媒體數(shù)據(jù)和觸覺信息；解碼觸覺信息；確 定與觸覺設(shè)備中的致動器相關(guān)聯(lián)的參數(shù)；并且至少部分地基于該參數(shù) 和該觸覺信息來生成致動器信號。該方法進一步包括生成包括多媒體 數(shù)據(jù)和致動器信號的輸出信號，該輸出信號以第二格式被格式化。在 一個實施例中，該方法進一步包括至少部分地基于輸出信號來產(chǎn)生觸 覺效果。在另一實施例中，計算機可讀介質(zhì)包括用于執(zhí)行這類方法的 程序代碼。
提出這些說明性實施例并非意欲限定或定義本發(fā)明，而是提供實 例來幫助理解本發(fā)明。在具體實施方式
中討論說明性實施例，并且在 那里提供了對本發(fā)明的進一步描述。通過檢查本說明，可進一步理解 本發(fā)明的各種實施例所提供的優(yōu)點。


當(dāng)參照附圖來閱讀以下詳細(xì)描述時，會更好地理解本發(fā)明的這些 和其他特征、方面和優(yōu)點。
圖l是在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的設(shè)備 的圖解。
圖2是在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的設(shè)備的第二圖解。
圖3是示出在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的 系統(tǒng)的框圖。
圖4是示出在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的 方法的流程圖。
具體實施例方式
本發(fā)明的實施例提供用于增強的觸覺反饋的系統(tǒng)和方法。在一個 說明性實施例中，計算機可讀介質(zhì)存儲關(guān)于觸覺設(shè)備的性能的信息。 處理器接收具有在預(yù)定頻率上編碼的觸覺信息的媒體流。處理器使用 帶通濾波器從媒體流中提取觸覺信息。隨后，處理器生成致動器信號， 以用于產(chǎn)生與觸覺信息相關(guān)的觸覺效果。致動器信號至少部分地基于 存儲在計算機可讀介質(zhì)中的信息，并且與特定觸覺設(shè)備的性能相關(guān)。 在生成致動器信號之后，處理器生成包括多媒體數(shù)據(jù)和致動器信號的 輸出信號。輸出信號與輸入信號的格式相同。 一旦處理器生成了輸出 信號，觸覺設(shè)備可使用致動器來提供觸覺效果。
給出本實例以向讀者介紹將討論的通用主題事項。本發(fā)明不限于 本實例。以下描述了用于增強的觸覺反饋的示例系統(tǒng)和方法。
用于增強的觸覺反饋的說明性設(shè)備
在被配置來提供增強的觸覺反饋的設(shè)備的一個說明性實施例中， 可將便攜音樂播放器進行配置以通過揚聲器播放音樂，并用致動器產(chǎn) 生觸覺效果。在一個這類實施例中，便攜音樂播放器可包括被配置來 接收包括音頻數(shù)據(jù)和觸覺數(shù)據(jù)的輸入數(shù)據(jù)的處理器。處理器從輸入數(shù) 據(jù)中提取觸覺數(shù)據(jù)。處理器隨后分析與致動器相關(guān)聯(lián)的參數(shù)，例如致 動器的共振頻率，并且至少部分地基于觸覺數(shù)據(jù)和所述參數(shù)來生成致 動器信號。隨后，可進一步配置處理器來將音頻數(shù)據(jù)輸出到揚聲器以 產(chǎn)生聲音，并將致動器信號發(fā)送到致動器以提供觸覺效果。在說明性 實施例中，可發(fā)送致動器信號和音頻數(shù)據(jù)使得觸覺效果與聲音大致同步。
可有利地采用這類說明性實施例來播放音頻文件，在其中觸覺效 果可以與音頻數(shù)據(jù)一同編碼。這類音頻文件可將音樂提供給用戶來收 聽，并提供同步的觸覺效果來增強聽音樂的體驗。這類說明性實施例 還可包括諸如視頻數(shù)據(jù)，以提供與音頻和視頻都同步的觸覺效果。例 如，可使用觸覺效果來增強觀看電影或播放視頻游戲的體驗。
給出第二實例以向讀者介紹此處討論的通用主題事項。本發(fā)明不 限于這些實例。以下部分描述用于增強的觸覺反饋的系統(tǒng)和方法的各 種實施例。
增強的觸覺反饋
現(xiàn)在參照附圖，其中相同的標(biāo)號在各個圖中指示相同的單元，圖l 是在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的設(shè)備的圖解。
圖1中的設(shè)備包括移動電話102，其具有顯示器104、數(shù)字按鍵鍵盤106 和揚聲器108。盡管圖l所示的實施例包括移動電話，其他實施例可包 括其它設(shè)備。例如，其它實施例可包括個人數(shù)字助理(PDA)、尋呼 機、便攜音樂或視頻播放器、游戲控制器或其他操控器 (manipulandum)、便攜游戲系統(tǒng)、或便攜導(dǎo)航設(shè)備。
圖2是在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的設(shè)備 的第二圖解。圖2代表圖1所示的移動電話102的內(nèi)部的透視圖。移動電 話102包括處理器204和致動器206。處理器204與致動器206進行通信。
將處理器204進行配置，以接收以第一格式格式化的輸入信號，該 輸入信號具有多媒體數(shù)據(jù)和觸覺信息。還將處理器204進行配置以產(chǎn)生 以第二格式格式化的輸出信號。輸出信號可包括多媒體數(shù)據(jù)和致動器 信號。輸出信號的第二格式可與輸入信號的第一格式相同。可將輸出 信號發(fā)送到移動電話102的一個或多個單元，例如揚聲器108或致動器206。在一個實施例中，可在基本上相同的時間，將輸出信號發(fā)送給揚 聲器108和致動器206。在這類實例中，移動電話102的揚聲器108可至 少部分地基于多媒體數(shù)據(jù)來播放聲音，并且致動器206可至少部分地基 于致動器信號來產(chǎn)生觸覺效果。在一個實施例中，觸覺效果和音頻可 以是同步的。例如，在一個實施例中，揚聲器108可與由致動器206產(chǎn) 生的觸覺效果基本上同步地播放聲音。
在其他實施例中，觸覺效果和音頻可以是不同步的。在一個實施 例中，可將致動器進行配置以不生成觸覺效果。例如，如果觸覺信息 沒有被識別出或者不可用，那么可將致動器信號進行配置以不生成觸 覺效果。
盡管示出的設(shè)備包括一個處理器204，其他設(shè)備可包括兩個或更多 的處理器。處理器204，以及其他被并入本發(fā)明的一個或多個實施例中 的處理器，可包括計算機可讀介質(zhì)，例如耦合到處理器的隨機存取存 儲器(RAM)。處理器執(zhí)行存儲于存儲器中的計算機可執(zhí)行程序指令， 例如執(zhí)行一個或多個計算機程序來生成振動觸覺或其他觸覺效果。這 類處理器可包括微處理器、數(shù)字信號處理器(DSP)、專用集成電路 (ASIC)、現(xiàn)場可編程門陣列(FPGA)、和狀態(tài)機。這類處理器可進 一步包括諸如PLC的可編程電子器件、可編程中斷控制器(PIC)、 可編程邏輯器件(PLD)、可編程只讀存儲器(PROM)、電可編程只 讀存儲器(EPROM或EEPROM)或其他類似器件。
這類處理器可包括介質(zhì)，或者可與介質(zhì)進行通信，例如計算機可 讀介質(zhì)，其可存儲指令，當(dāng)存儲器執(zhí)行這些指令時可使得處理器來執(zhí) 行此處描述的步驟，如同處理器執(zhí)行或輔助一樣。計算機可讀介質(zhì)的 實施例可包括但不限于，能夠提供給處理器(例如在web服務(wù)器中的處 理器)計算機可讀指令的電、光、磁或其他的存儲或傳輸設(shè)備。介質(zhì) 的其他實例包括但不限于軟盤、CD-ROM、磁盤、存儲芯片、ROM、 RAM、 ASIC、已配置的處理器、所有的光介質(zhì)、所有的磁帶或其他磁介質(zhì)、或計算機處理器可從其讀取的任何其他介質(zhì)。并且，各種其他 形式的計算機可讀介質(zhì)可發(fā)送或攜帶指令到計算機，例如路由器、私 網(wǎng)或公網(wǎng)、或其他傳輸設(shè)備或信道。所描述的處理器和處理可以在一 個或多個結(jié)構(gòu)中，并且可以分散在一個或多個結(jié)構(gòu)中。處理器可包括 用于執(zhí)行此處描述的一個或多個方法(或方法的部分)的代碼。指令 可包括來自任何適當(dāng)?shù)挠嬎銠C程序語言的代碼，包括諸如C、 C+、 C++、 Visual Basic、 Java、 Python禾卩JavaScript。
致動器206可以是多種不同類型的致動器的任何一種，包括偏心旋
轉(zhuǎn)質(zhì)量(ERM)致動器、MFT、線性質(zhì)量致動器、電磁致動器、電機、
音圈、氣動或液壓致動器、電活性聚合物、或任何其他適當(dāng)?shù)闹聞悠鳌?br> 在一個實施例中，致動器206可包括多個致動器。例如，在一個實施例
中，可采用兩個致動器。可將第一致動器配置來提供具有高頻振動(例
如大于200Hz)的振動觸覺或其他觸覺效果，而可將第二致動器配置來
提供具有低頻振動(例如小于200Hz)的振動觸覺或其他觸覺效果。在
另一實施例中，可采用第一致動器和第二致動器來提供觸覺效果以模
擬方向效果。例如，第一和第二致動器可以位于設(shè)備的相對側(cè)，并且
可以被激勵以提供顯現(xiàn)為從設(shè)備的一邊移動到另一邊的觸覺效果，或 提供與屏幕上的圖像同步的振動源的方向的指示。
用于增強的觸覺反饋的系統(tǒng)的實例
圖3是示出在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的 系統(tǒng)的框圖。在示出的實施例中，系統(tǒng)包括媒體播放器302、網(wǎng)絡(luò)320 和設(shè)計工具322。媒體播放器302包括媒體流解碼器304、觸覺媒體引擎 306、致動器310、多功能變頻器312、顯示器314、和揚聲器316。
媒體播放器
可配置媒體播放器302來通過揚聲器316播放音頻，和/或通過顯示 器314播放視頻。在一個實施例中，可配置媒體播放器302來使用 MFT312向用戶提供觸覺效果。在另一實施例中，可配置媒體播放器302來使用致動器310向用戶提供觸覺效果。媒體播放器302可具有一個或 多個多功能變頻器312和一個或多個致動器310的組合。在一個實施例 中，媒體播放器302可包括全保真振動觸覺播放器，其能夠產(chǎn)生廣泛的 具有變化的強度、頻率、持續(xù)時間、節(jié)奏、聲調(diào)和其他動態(tài)的振動觸 覺和其他觸覺效果。
可配置媒體播放器302來接收具有觸覺信息和多媒體數(shù)據(jù)的輸入 信號。在一些實施例中，多媒體數(shù)據(jù)可以是多媒體文件，其包括一個 或多個媒體流，例如音頻流和視頻流。在一些實施例中，通過網(wǎng)絡(luò)320 接收輸入信號，網(wǎng)絡(luò)320包括但不限于因特網(wǎng)或蜂窩電話網(wǎng)。媒體播放 器302可無線接收輸入信號，例如通過無線網(wǎng)絡(luò)(例如802.11)、蜂窩 網(wǎng)、藍(lán)牙、紅外、或其他用于數(shù)據(jù)的無線傳輸?shù)氖侄巍Ｔ谝恍嵤├?中，媒體播放器302可通過直接電連接來接收輸入信號，例如以太網(wǎng)、 通用串行總線(USB)、火線、平行或串行連接。
在其他實施例中，從本地存儲器(未示出)接收輸入信號。還可 配置媒體播放器302來從應(yīng)用接收輸入信號。例如，媒體播放器302可 從設(shè)計工具322接收輸入信號，以用于創(chuàng)建包括觸覺信息的內(nèi)容。
媒體播放器302包括媒體流解碼器304。在一個實施例中，媒體流 解碼器304包括由處理器執(zhí)行的程序代碼(未示出)。例如，媒體播放 器302可包括處理器和存儲器。存儲器可包括程序代碼，該程序代碼包 括媒體流解碼器304。媒體流解碼器304可包括用于接收具有觸覺信息 和多媒體數(shù)據(jù)的輸入信號的程序代碼，其中輸入信號可以是以第一格 式被格式化。
第一格式可以是多媒體格式。例如，在一個實施例中，輸入信號 包括使用運動圖像專家組-l音頻3層(MP3)格式來格式化的音頻數(shù)據(jù)。 在一個實施例中，輸入信號可包括使用運動圖像專家組(MPEG)格式 來格式化的視頻和/或數(shù)據(jù)。在其他實施例中，可使用用于音頻和/或視頻數(shù)據(jù)的其他多媒體格式，其包括波形音頻格式(WAV)、音樂設(shè)
備數(shù)字化接口 (MIDI) 、 Ogg、 DivXTM、 QuickTime 、 MP3、 Apple 的MPEG-4Part3 (M4P)、先進音頻編碼(AAC)格式、或任何其他 用于編碼音頻和/或視頻數(shù)據(jù)的格式。輸入信號可與諸如音頻文件的單 個媒體相關(guān)聯(lián)。在其他實施例中，媒體流可以是多媒體文件，例如具 有音頻和視頻數(shù)據(jù)的電影文件。
輸入信號還包括觸覺信息。觸覺信息可作為獨立的媒體流被存儲 在多媒體數(shù)據(jù)中。例如，在一些實施例中，可將觸覺信息嵌入在媒體 中，例如作為在現(xiàn)有多媒體文件內(nèi)的包?？蓪⑶度氲挠|覺信息用這樣 一種方式放置在輸入數(shù)據(jù)中以使得觸覺內(nèi)容對不是被設(shè)計來識別觸覺 數(shù)據(jù)的媒體播放器不可見。在其他實施例中，可將輸入信號的格式擴 展以包括觸覺數(shù)據(jù)，使得被設(shè)計來識別觸覺信息的媒體播放器可選擇 忽視或播放該觸覺信息。
在一些實施例中，將觸覺信息編碼在特定的媒體流之中。例如， 可將觸覺信息從其最初的格式轉(zhuǎn)換為與多媒體數(shù)據(jù)一樣的格式。在一 個實施例中，可將觸覺數(shù)據(jù)在媒體流數(shù)據(jù)的一個或多個頻率上編碼為 調(diào)幅或調(diào)頻數(shù)據(jù)。例如，在一個實施例中，可將觸覺數(shù)據(jù)在具有140Hz 頻率的載波上編碼為調(diào)幅數(shù)據(jù)，隨后混合進現(xiàn)有的音頻流。在另一實 施例中，可將觸覺數(shù)據(jù)編碼為調(diào)頻數(shù)據(jù)?？蓪⒂|覺數(shù)據(jù)在不被觸覺設(shè) 備的揚聲器識別的頻率上進行編碼。例如，如果觸覺設(shè)備的揚聲器不 識別135Hz以下的頻率，那么可在130Hz上來編碼觸覺信息。
可將觸覺數(shù)據(jù)編碼為描述觸覺效果的信息。例如，在一個實施例 中，觸覺數(shù)據(jù)可包括規(guī)定頻率、幅度、持續(xù)時間、周期、脈沖寬度、 包絡(luò)、和/或其他與要輸出的觸覺效果相關(guān)聯(lián)的信息的數(shù)據(jù)。在一個實 施例中，觸覺數(shù)據(jù)可包括要被輸出為觸覺效果的波形。例如，可將定 義數(shù)字化致動器信號本身的數(shù)據(jù)點，而不是描述致動器信號的編碼信 息編碼為觸覺數(shù)據(jù)。在一個實施例中，觸覺數(shù)據(jù)可包括描述致動器信號的信息和定義至少部分?jǐn)?shù)字化致動器信號的數(shù)據(jù)點。
在一個實施例中，可將同步數(shù)據(jù)嵌入在輸入信號中，以將觸覺效
果與音頻和/或視頻相同步。2006年10月18日提交的共同待審美國專利 申請，序號為No.11/583,483，描述了用于在媒體傳輸流中同步觸覺效 果數(shù)據(jù)的方法，將其整體以引用的方式結(jié)合于此。例如，在一個實施 例中，可將在多媒體數(shù)據(jù)流中的一系列幀中的觸覺信息與相應(yīng)的時間 戳相關(guān)聯(lián)。當(dāng)生成輸出信號時，可使用時間戳來將致動器信號與多媒 體數(shù)據(jù)進行同步，以使得接收輸出信號的致動器在揚聲器播放鼓點的 同時提供觸覺效果。
在一個實例中，媒體播放器302可包括觸覺敏感屏幕，例如觸摸屏。 用戶可通過接觸觸摸屏來選擇目標(biāo)，例如選擇框、窗口、或特定文件。 例如，用戶可按下在觸摸屏上的虛擬按鈕。在一些實施例中，隨后， 媒體播放器302可同步地播放聲音效果，并產(chǎn)生與選擇相關(guān)聯(lián)的觸覺效 果。在其他實施例中，隨后，媒體播放器302可在不播放聲音效果或其 他媒體的情況下，產(chǎn)生觸覺效果。
在一個實施例中，輸入數(shù)據(jù)可包括音頻數(shù)據(jù)和觸覺數(shù)據(jù)，其中可 配置觸覺數(shù)據(jù)以提供與音頻數(shù)據(jù)之內(nèi)的鼓點相同步的觸覺效果。在另 一實施例中，可從音頻數(shù)據(jù)中推測出觸覺數(shù)據(jù)。例如，可配置媒體流 解碼器304來分析音頻和/或視頻數(shù)據(jù)，從而確定與觸覺事件相關(guān)聯(lián)的頻 率模型。例如，可配置媒體流解碼器來分析可能與爆炸相關(guān)聯(lián)的低頻、 高幅度信號的音頻數(shù)據(jù)，并生成相關(guān)聯(lián)的觸覺效果。
媒體流解碼器304可進一步包括程序代碼，以從輸入信號中解碼觸 覺信息。例如，在圖3所示的實施例中，媒體流解碼器304包括觸覺媒 體引擎306。觸覺媒體引擎306可訪問描述觸覺設(shè)備的性能的信息，并 具有能力來重新格式化來自輸入信號觸覺信息，以說明觸覺設(shè)備的特 定參數(shù)?？膳渲糜|覺媒體引擎306來從輸入信號中解碼觸覺信息?？膳渲糜|
覺媒體引擎306來從輸入數(shù)據(jù)中提取描述致動器信號的信息或定義數(shù) 字化致動器信號的數(shù)據(jù)點?？膳渲糜|覺媒體引擎306以在特定的預(yù)定頻 率上從輸入信號中提取觸覺信息。在一個實施例中，可配置觸覺媒體 引擎306來從在輸入數(shù)據(jù)內(nèi)的具有特定頻率的載波中解碼調(diào)幅數(shù)據(jù)。在 另一實施例中，可配置觸覺媒體引擎306來從輸入數(shù)據(jù)中提取調(diào)頻數(shù) 據(jù)。
在一個實施例中，在諸如140Hz的預(yù)定頻率上將觸覺數(shù)據(jù)編碼在輸 入信號中。觸覺媒體引擎306可包括帶通濾波器。帶通濾波器可以在輸 入信號的預(yù)定頻率上解碼觸覺數(shù)據(jù)。
媒體流解碼器304可進一步包括程序代碼，用于確定與觸覺設(shè)備中 的致動器相關(guān)聯(lián)的參數(shù)。例如，在一個實施例中，觸覺媒體引擎306可 確定致動器310或多功能變頻器312的共振頻率。參數(shù)數(shù)據(jù)可包括，諸 如(例如但不限于)致動器的共振頻率、致動器的最大峰峰幅度或大 小、或最小致動器響應(yīng)時間。參數(shù)數(shù)據(jù)還可包括與媒體播放器的其他 組件相關(guān)聯(lián)的數(shù)據(jù)，例如揚聲器316對其有較差的頻率響應(yīng)的音頻頻 率。
在圖3所示的實施例中，觸覺媒體引擎306進一步包括程序代碼， 用于至少部分地基于參數(shù)和觸覺信息來生成致動器信號。例如，在一 個實施例中，觸覺媒體引擎306可使用與致動器相關(guān)聯(lián)的參數(shù)，例如致 動器的共振頻率。在這類實施例中，觸覺媒體引擎306可生成具有與致 動器的共振頻率大致相同的頻率，并具有與觸覺信息相關(guān)聯(lián)的特性的 致動器信號。例如，可用至少部分地基于觸覺信息的幅度和持續(xù)時間 來配置致動器信號。在一個實施例中，觸覺信息可包括定義數(shù)字化致 動器信號的數(shù)據(jù)點。在這類實施例中，觸覺媒體引擎306可生成具有與 致動器的共振頻率大致相同的頻率，并具有由來自觸覺信息的數(shù)據(jù)點所定義的波形的致動器信號。在一個實施例中，觸覺媒體引擎306可生 成具有與致動器的最大峰峰幅度相等的幅度的致動器信號。在一個實
施例中，觸覺媒體引擎306可基于致動器的最小響應(yīng)時間來生成致動器 信號。
媒體流解碼器304進一步包括用于生成包括多媒體數(shù)據(jù)和致動器 信號的輸出信號的程序代碼，所述輸出信號以第二格式被編碼。第二 格式可以是多媒體格式，例如WAV、 MIDI、 Ogg 、 DivX 、 QuickTime 、 MP3、 M4P、 AAC、或任何其他用于編碼音頻和/或視頻數(shù)據(jù)的格式。 替代性地，可將輸出信號格式化為致動器信號。第二格式可以與第一 格式相同。
在一個實施例中，可將輸出信號的致動器信號部分直接發(fā)送給致 動器。例如，可將輸出信號格式化為直接電壓致動器信號，將其直接 對致動器播放。
在其他實施例中，媒體播放器302可生成輸出信號，以用于用媒體 混合器來使用。媒體混合器可接收不同類型的媒體，并將媒體發(fā)送到 合適的設(shè)備。媒體混合器可將多個輸入媒體統(tǒng)一在一個輸出中。在一 個實施例中，媒體播放器302可在致動器驅(qū)動電路或媒體驅(qū)動電路上生 成輸出信號。
結(jié)構(gòu)
在圖3所示的本發(fā)明的實施例中，配置媒體播放器302來接收數(shù)據(jù)， 并且使用該數(shù)據(jù)來播放音頻/視頻并產(chǎn)生觸覺效果。在圖3所示的實施例 中，媒體播放器302包括媒體流解碼器304應(yīng)用。圖3所示的媒體流解碼 器304是被配置以駐留在媒體播放器302內(nèi)的存儲器中，并且在媒體播 放器302內(nèi)的處理器上執(zhí)行的軟件應(yīng)用。媒體流解碼器304可包括用于 從數(shù)據(jù)源接收數(shù)據(jù)、讀取存儲在媒體播放器302中的存儲器內(nèi)的數(shù)據(jù)的 代碼，以及用于將數(shù)據(jù)輸出到輸出設(shè)備的代碼，所述輸出設(shè)備例如致動器310、多功能變頻器312、揚聲器316、和/或顯示器314。例如， 媒體播放器302可包括非易失性存儲器，例如閃存，其可以存儲與一個 或多個輸出設(shè)備(例如致動器310或多功能變頻器312)相關(guān)聯(lián)的參數(shù)。
在圖3所示的實施例中，媒體流解碼器還包括觸覺媒體引擎306。 觸覺媒體引擎306可以是專用應(yīng)用，用于從輸入數(shù)據(jù)提取觸覺信息、 至少部分地基于觸覺信息和與致動器310相關(guān)聯(lián)的參數(shù)來確定致動器 信號、至少部分地基于致動器信號和多媒體數(shù)據(jù)來確定輸出信號、并 輸出致動器信號。還可配置觸覺媒體引擎306來讀取存儲在媒體播放器 302內(nèi)的存儲器(未示出)中的數(shù)據(jù)。例如，可配置觸覺媒體引擎306 來讀取包括與致動器310或多功能變頻器312相關(guān)聯(lián)的參數(shù)的數(shù)據(jù)。觸 覺媒體引擎306可與媒體流解碼器304協(xié)調(diào)運行，以提供編碼在由媒體 流解碼器3 04所接收的多媒體數(shù)據(jù)流內(nèi)的觸覺效果。
在一個實施例中，媒體流解碼器304可包括用于與數(shù)據(jù)源進行相互 作用的代碼，所述數(shù)據(jù)源諸如(例如但不限于)硬盤驅(qū)動器、CD播放 器、DVD播放器、閃存驅(qū)動器、存儲器、或網(wǎng)絡(luò)連接。在一個實施例 中，配置媒體流解碼器來從存儲器接收數(shù)據(jù)，例如鈴聲。鈴聲可包括 被格式化以在移動電話或其他設(shè)備上播放的聲音文件，其被播放以指 示來電呼叫。媒體流解碼器可讀取與鈴聲相關(guān)聯(lián)的鈴聲數(shù)據(jù)。媒體流 解碼器可提取并處理在鈴聲數(shù)據(jù)內(nèi)的音頻數(shù)據(jù)。例如，媒體流解碼器 304可以至少部分地基于鈴聲數(shù)據(jù)來構(gòu)建要輸出給揚聲器316的音頻信 號。媒體流解碼器還可將鈴聲數(shù)據(jù)提供給觸覺媒體引擎306。
觸覺媒體引擎306可從鈴聲數(shù)據(jù)中提取觸覺信息。觸覺媒體引擎 306還可從媒體播放器302本地的存儲器讀取與致動器310相關(guān)聯(lián)的參 數(shù)數(shù)據(jù)。觸覺媒體引擎306可以至少部分地基于觸覺信息來構(gòu)建致動器 信號。接著，觸覺媒體引擎306可以至少部分地基于與致動器相關(guān)聯(lián)的 參數(shù)數(shù)據(jù)來修改致動器信號。例如，鈴聲數(shù)據(jù)可包括數(shù)字化波形以生 成觸覺效果，其中所述波形具有200Hz的頻率。觸覺媒體引擎306可計算新的致動器信號，其具有與致動器310的共振頻率大致相等的頻率，
例如140Hz等。觸覺媒體引擎306還可規(guī)范數(shù)字化波形的幅度，以符合 致動器310和媒體播放器302的性能特性。例如，致動器310可能受限于 具有3伏的最大峰峰幅度的輸入致動器信號。如果數(shù)字化波形包括5伏 的最大峰峰幅度，觸覺媒體引擎306可將數(shù)字化波形規(guī)范以具有3伏峰 峰最大幅度。可使用與致動器310相關(guān)聯(lián)的其他特性來修改觸覺信息。 例如，致動器310可能具有大的偏心質(zhì)量導(dǎo)致致動器花費更長時間來加 速和減速。這類致動器可能不能播放非?？焖俚嘏帕械恼駝印Ｔ谶@類 實施例中，觸覺媒體引擎306可將從觸覺信息中構(gòu)建的致動器信號進行 再整型，以符合致動器的性能特性。例如，觸覺媒體引擎306可將三個 具有比致動器能夠生成的最小脈沖更小的脈沖寬度的短脈沖進行組 合，以創(chuàng)建兩個脈沖。
在示出的實施例中，在觸覺媒體引擎306已經(jīng)構(gòu)建致動器信號之 后，觸覺媒體引擎306可將致動器信號發(fā)送到媒體流解碼器304，其隨 后可將音頻信號和致動器信號都輸出，以提供與音頻大致同步的觸覺 效果。在一個實施例中，觸覺媒體引擎306可從媒體流解碼器304接收 命令，以輸出致動器信號。在一個實施例中，觸覺媒體引擎306可在沒 有來自媒體流解碼器304的命令的情況下，將致動器信號直接輸出給致 動器310。
在一個實施例中，可配置觸覺媒體引擎306來生成包括多媒體數(shù)據(jù) 和致動器信號的輸出信號。在一些實施例中，輸出信號可以與由媒體 流解碼器304所接收到的輸入信號的格式相同。例如，輸出信號可以是 具有媒體和觸覺信息的MP4文件。
在一個實施例中，可對特定的觸覺設(shè)備來優(yōu)化輸出信號。如果為 在特定設(shè)備上重放而優(yōu)化輸出信號，那么接收輸出信號的設(shè)備能夠使 用該設(shè)備的多種組件，例如顯示器、揚聲器、和一個或多個致動器， 來播放輸出信號。例如，在一個實施例中，觸覺媒體引擎306可在不被觸覺設(shè)備的揚聲器處理的特定頻率上編碼觸覺驅(qū)動信號。在這類實施 例中，可在觸覺設(shè)備上播放輸出信號，以使得觸覺設(shè)備的揚聲器播放 輸出信號，并且由于揚聲器對在其上致動器信號被編碼的頻率沒有響 應(yīng)，所以最小化了音頻失真，同時致動器可以解釋輸出信號的觸覺部 分。
觸覺媒體引擎306可以至少部分地基于用戶的偏好來生成輸出信 號。例如，用戶的偏好可指示音頻的一個音量水平、視頻的亮度水平、
和觸覺效果的振動水平。在一個這類實施例中，觸覺媒體引擎306能夠
最大化輸出信號的觸覺部分的強度，同時使輸出信號的音頻部分減半。 用于增強的觸覺反饋的方法的實例
圖4是示出在本發(fā)明的一個實施例中，用于提供增強的觸覺反饋的 方法的流程圖。在步驟402中，由媒體播放器302接收輸入信號。媒體 播放器302可接收作為數(shù)字信號的輸入信號。在另一實施例中，媒體播 放器302可接收作為模擬信號的輸入信號。輸入信號可包括觸覺信息和 多媒體數(shù)據(jù)。在一個實施例中，可將信號以諸如MP3格式的多媒體格式 來格式化。
在步驟404，媒體流解碼器304從輸入信號解碼觸覺信息?？稍谔?定頻率將觸覺信息編碼進輸入信號。在一個實施例中，在輸入信號中 觸覺信息可與多媒體數(shù)據(jù)交織在一起。在這類實施例中，輸入數(shù)據(jù)可 包括多媒體數(shù)據(jù)和觸覺信息，其中多媒體數(shù)據(jù)和觸覺信息在輸入數(shù)據(jù) 中交替放置。例如，多媒體數(shù)據(jù)可包括數(shù)據(jù)包，其中每個包的數(shù)據(jù)具 有第一固定數(shù)目字節(jié)，同時觸覺信息可包括數(shù)據(jù)包，其中每個包的數(shù) 據(jù)具有第二固定數(shù)目字節(jié)。輸入數(shù)據(jù)可包括一系列數(shù)據(jù)包，其中每個 多媒體數(shù)據(jù)包之后都跟著一個觸覺信息包。在其他實施例中，多媒體 數(shù)據(jù)可以用不同順序和數(shù)量的多媒體數(shù)據(jù)和觸覺信息來與觸覺信息交 織在一起。在步驟406，觸覺媒體引擎306確定與觸覺設(shè)備相關(guān)聯(lián)的參數(shù)。觸 覺媒體引擎306可確定與觸覺設(shè)備相關(guān)聯(lián)的多個參數(shù)。在一個實施例 中，觸覺媒體引擎306可本地存儲這些參數(shù)。在這類實施例中，觸覺媒 體引擎306可訪問這些本地存儲的參數(shù)，以生成致動器信號。例如，觸 覺媒體引擎306可訪問存儲在本地存儲器中的配置文件，以確定與觸覺 設(shè)備相關(guān)聯(lián)的參數(shù)。
在一些實施例中，觸覺媒體引擎306可通過計算參數(shù)來確定與觸覺 設(shè)備相關(guān)聯(lián)的參數(shù)。例如，如果觸覺媒體引擎306不訪問配置文件，那 么觸覺媒體引擎306可對用在媒體播放器302中的一類致動器302計算 默認(rèn)的參數(shù)。
在步驟408，觸覺媒體引擎306至少部分地基于該參數(shù)和觸覺信息 來生成致動器信號。致動器信號對于媒體播放器302上的致動器可以是 特定的。在一個實施例中，致動器信號可以是原始的振動驅(qū)動信號流。 在一個實施例中，觸覺媒體引擎306可生成具有與致動器的共振頻率大 致相同的頻率，并具有與觸覺信息相關(guān)聯(lián)的特性的致動器信號。
在步驟410，觸覺媒體引擎306生成包括致動器控制信號的輸出信 號。在一個實施例中，用與輸入信號相同的格式來格式化致動器控制 信號。在另一實施例中，用不同于輸入信號的格式來格式化致動器控 制信號。
在一個實施例中，可將致動器控制信號直接發(fā)送給致動器驅(qū)動硬 件。在一個實施例中，可將致動器控制信號發(fā)送給媒體流混合器。在 這類實施例中，可將來自音頻流的音頻數(shù)據(jù)與致動器控制信號進行混 合，然后發(fā)送到多功能變頻器，其產(chǎn)生聲音和振動。
在步驟412中，媒體播放器302至少部分地基于輸出信號來生成觸 覺效果。在一個實施例中，媒體播放器302可通過向致動器310發(fā)送輸出信號來生成觸覺效果。在另一實施例中，媒體播放器302可通過向多
功能變頻器312發(fā)送輸出信號來生成觸覺效果。
可在與設(shè)備播放多媒體數(shù)據(jù)的輸出大致相同的時間生成412觸覺 效果。在一個實施例中，可以在顯示器314再現(xiàn)視頻數(shù)據(jù)的同時來生成 觸覺效果。作為另一實例，在一個實施例中，在媒體播放器302通過揚 聲器316播放鼓點的同時媒體播放器302振動。替代性地，在其他實施 例中，可在播放多媒體數(shù)據(jù)稍微之前或稍微之后來生成觸覺效果。
產(chǎn)生412的觸覺效果可以是運動知覺(kinesthetic)反饋效果。在 其他實施例中，產(chǎn)生412的觸覺效果可以是振動觸覺反饋效果，例如 振動。在一些實施例中，產(chǎn)生412的觸覺效果是效果的組合。
本發(fā)明的實施例提供超過傳統(tǒng)系統(tǒng)的多種優(yōu)越性，并提供用于提 供觸覺反饋的方法。例如， 一些實施例以全保真的方式輸出致動器信 號。另外， 一些實施例提供對強度、頻率、持續(xù)時間、節(jié)奏、聲調(diào)和 動態(tài)的廣泛的控制，包括使振動輸出傾斜向上和向下并突然使其停止 的能力。通過這些增強的觸覺效果，本發(fā)明的設(shè)備更易于使用，并且 能夠生成事件和情感的逼真的、娛樂性的觸覺刺激。
綜述
前面對本發(fā)明的實施例的描述僅僅是為了說明和描述的目的進行 了介紹，而并不是意圖窮盡或限定本發(fā)明于所披露的特定形式。在不 偏離本發(fā)明的精神和范圍的前提下，各種修改和調(diào)整對本領(lǐng)域的普通 技術(shù)人員是顯而易見的。
權(quán)利要求
1. 一種方法，包括接收具有觸覺信息和多媒體數(shù)據(jù)的輸入信號，所述輸入信號以第一格式被格式化；從所述輸入信號中解碼所述觸覺信息；確定與觸覺設(shè)備中的致動器相關(guān)聯(lián)的參數(shù)；至少部分地基于所述參數(shù)和所述觸覺信息來生成致動器信號；并且生成包括所述多媒體數(shù)據(jù)和所述致動器信號的輸出信號，所述輸出信號以第二格式被格式化。
2. 權(quán)利要求l所述的方法，進一步包括至少部分地基于所述輸出 信號來產(chǎn)生觸覺效果。
3. 權(quán)利要求l所述的方法，其中所述輸入信號進一步包括同步數(shù)據(jù)。
4. 權(quán)利要求l所述的方法，其中所述多媒體數(shù)據(jù)包括音頻數(shù)據(jù)或 視頻數(shù)據(jù)中的至少一個。
5. 權(quán)利要求l所述的方法，其中所述第一格式是多媒體格式。
6. 權(quán)利要求5所述的方法，其中所述多媒體格式是下述內(nèi)容之一WAV格式、MIDI格式、Ogg格式、DIVX格式、QuickTime格式、MP3 格式、MPEG-2格式、MPEG-4格式、M4P格式、或AAC格式。
7. 權(quán)利要求l所述的方法，其中所述觸覺信息嵌入在所述輸入信 號的另一媒體流之中。
8. 權(quán)利要求l所述的方法，其中所述輸入信號的所述觸覺信息作 為獨立的媒體流存儲在所述多媒體數(shù)據(jù)中。
9. 權(quán)利要求8所述的方法，其中在預(yù)定的信息頻率上編碼所述輸入信號的所述觸覺信息。
10. 權(quán)利要求9所述的方法，其中所述預(yù)定的信息頻率是140Hz。
11. 權(quán)利要求l所述的方法，其中解碼所述觸覺信息包括使用帶 通濾波器來訪問在特定頻率上編碼的所述觸覺信息。
12. 權(quán)利要求l所述的方法，其中與所述觸覺設(shè)備中的所述致動器 相關(guān)聯(lián)的參數(shù)包括可達(dá)到的強度參數(shù)。
13. 權(quán)利要求l所述的方法，其中與所述觸覺設(shè)備中的所述致動器 相關(guān)聯(lián)的參數(shù)包括動態(tài)響應(yīng)特性。
14. 權(quán)利要求l所述的方法，其中與所述觸覺設(shè)備中的所述致動器 相關(guān)聯(lián)的參數(shù)包括頻率響應(yīng)特性。
15. 權(quán)利要求l所述的方法，其中所述輸出信號包括與所述輸入信 號相同的格式。
16. 權(quán)利要求l所述的方法，其中所述輸出信號的所述致動器信號 部分被直接發(fā)送給所述致動器。
17. 權(quán)利要求l所述的方法，其中所述輸出信號的所述致動器信號 部分首先被混合進所述輸出信號的所述多媒體數(shù)據(jù)的音頻部分中，并 隨后被發(fā)送到多功能變頻器。
18. —種計算機可讀介質(zhì)，在其上編碼有處理器可執(zhí)行的程序代 碼，所述程序代碼包括用于接收具有觸覺信息和多媒體數(shù)據(jù)的輸入信號的程序代碼，所述輸入信號以第一格式被格式化；用于從所述輸入信號中解碼所述觸覺信息的程序代碼；用于確定與觸覺設(shè)備中的致動器相關(guān)聯(lián)的參數(shù)的程序代碼；用于至少部分地基于所述參數(shù)和所述觸覺信息來生成致動器信號的的程序代碼；用于生成包括所述多媒體數(shù)據(jù)和所述致動器信號的輸出信號的程 序代碼，所述輸出信號以第二格式被格式化。
19. 權(quán)利要求18所述的計算機可讀介質(zhì)，進一步包括用于至少部 分地基于所述輸出信號來產(chǎn)生觸覺效果的程序代碼。
20. —種系統(tǒng)，包括 處理器，其被配置來接收具有觸覺信息和多媒體數(shù)據(jù)的輸入信號，所述輸入信號以第 一格式被格式化；解碼所述觸覺信息；至少部分地基于特定于觸覺設(shè)備的至少一個參數(shù)，來確定包括所 述觸覺信息的觸覺驅(qū)動信號；至少部分地基于所述參數(shù)和所述觸覺信息來生成致動器信號；并且生成包括所述多媒體數(shù)據(jù)和所述致動器信號的輸出信號，所述輸 出信號以第二格式被格式化。
21. 權(quán)利要求20所述的系統(tǒng)，進一步包括致動器，其被配置為至 少部分地基于所述輸出信號來產(chǎn)生觸覺效果。
22. 權(quán)利要求20所述的系統(tǒng)，其中所述系統(tǒng)進一步包括與所述處理器通信的本地存儲器。
23. 權(quán)利要求22所述的系統(tǒng)，其中所述本地存儲器被配置為存儲 特定于觸覺設(shè)備的參數(shù)。
24. 權(quán)利要求22所述的系統(tǒng)，其中所述本地存儲器被配置為存儲 多媒體文件。
全文摘要
描述了用于增強的觸覺效果的系統(tǒng)和方法。一個被描述的方法包括接收具有觸覺信息和多媒體數(shù)據(jù)的輸入信號，輸入信號以第一格式被格式化；從輸入信號解碼觸覺信息；并確定與觸覺設(shè)備中的致動器相關(guān)聯(lián)的參數(shù)。該方法進一步包括至少部分地基于參數(shù)和觸覺信息來生成致動器信號，并生成包括多媒體數(shù)據(jù)和致動器信號的輸出信號，輸出信號以第二格式被格式化。
文檔編號G06F3/01GK101416139SQ200780012335
公開日2009年4月22日 申請日期2007年4月6日 優(yōu)先權(quán)日2006年4月6日
發(fā)明者丹尼·格雷特, 羅伯特·拉克魯瓦 申請人:伊梅森公司