專利名稱：娛樂系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于識別在真實空間上存在的對象的技術(shù)。
背景技術(shù)：
近年來，提出了這樣的技術(shù)，就是用攝像機拍攝二維碼來識別碼數(shù)據(jù)， 并執(zhí)行與該碼數(shù)據(jù)對應(yīng)的規(guī)定的處理。與一維碼相比，二維碼可編碼的信息 量較多，當前各種二維碼已經(jīng)實用化。在這樣的狀況下，以往提出與二維碼 的圖像識別有關(guān)的技術(shù)(例如，參照專利文獻1 )。
為了取得真實空間上的對象的三維位置或姿勢等，存在利用了磁方式、
超聲波方式或光學方式的各種測量系統(tǒng)。基于磁方式的測量系統(tǒng)容易受到環(huán) 境中存在的電子設(shè)備或地磁等的影響，而基于超聲波方式的測量系統(tǒng)容易受 到環(huán)境的氣壓和溫度等的影響。另一方面，基于光學方式的測量系統(tǒng)由于利 用攝像機所拍攝的拍攝圖像，因此不會受到周邊的磁場或氣壓、溫度等的影 響。作為利用光學方式的測量系統(tǒng)，提出了以下的技術(shù)，即分別以唯一確定
的閃爍模式使對象上設(shè)置的多個LED進行閃爍，從而利用二維圖像傳感器的 拍攝圖像來識別三維位置和姿勢等(例如，參照專利文獻2)。在專利文獻2 中，用作標記(marker)的LED具有對每個LED可唯一識別的識別信息。
專利文獻l:特開2000-82108號公報
專利文獻2:特開2003-254716號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題
隨著近年來的技術(shù)進步，游戲系統(tǒng)的硬件規(guī)格飛躍性地提高。由此，游 戲應(yīng)用也多樣化，最近，實現(xiàn)了這樣的游戲系統(tǒng)，即將攝像機和游戲裝置連 接，在用戶在攝像機前面移動身體時，游戲裝置對用戶的移動進行光學識別， 從而用作對游戲的輸入。在這樣的游戲環(huán)境下，本發(fā)明人通過有效地利用與 游戲裝置連接的攝像機，從而設(shè)想到以往沒有的游戲系統(tǒng)和控制器。此外，
考慮如果由攝像機拍攝真實空間中的對象，并從拍攝圖像中將關(guān)于對象實施 了加工處理的信息顯示在圖像顯示裝置上，則不僅游戲系統(tǒng)，在其它環(huán)境例 如教育現(xiàn)場和商務(wù)現(xiàn)場等娛樂系統(tǒng)中，也能夠產(chǎn)生有效的應(yīng)用。
因此，本發(fā)明的目的在于提供具有新的應(yīng)用處理功能的娛樂系統(tǒng)和在該 娛樂系統(tǒng)中利用的操作輸入裝置。
解決課題的手段
為了解決上述課題，本發(fā)明的某一方案的娛樂系統(tǒng)包括操作輸入裝置， 用于由用戶進行操作輸入；處理裝置，基于所述操作輸入裝置中的操作輸入 來處理應(yīng)用，并生成表示應(yīng)用的處理結(jié)果的圖像信號；拍攝裝置，對所述操 作輸入裝置進行拍攝；以及圖像顯示裝置，輸出在所述處理裝置中生成的圖 像、信號。
在該方案的娛樂系統(tǒng)中，所述操作輸入裝置具有多個用于進行操作輸入 的輸入單元，以及用于表現(xiàn)在執(zhí)行的應(yīng)用中對該操作輸入裝置設(shè)定的號碼的 多個發(fā)光元件，所述操作輸入是用戶進行應(yīng)用的操作輸入，所述處理裝置具 有以下功能接受所述搡作輸入裝置中的操作輸入并反映在應(yīng)用的處理中， 同時從所述拍攝裝置取得拍攝圖像，從拍攝圖像中的所述發(fā)光元件的位置來 取得所述操作輸入裝置在拍攝圖像中的位置，從而將取得的位置信息反映在 應(yīng)用的處理中，并生成圖像信號，用于表示基于操作輸入和取得的位置信息 的應(yīng)用處理結(jié)果。
本發(fā)明的另 一方案涉及將用戶的操作輸入傳輸給游戲裝置的游戲控制 器。該方案的游戲控制器包括由用戶把持的把持單元、為了在用戶把持所述 把持單元的狀態(tài)下由用戶進行操作輸入而設(shè)置在殼體上面的多個輸入單元、 將經(jīng)由所述輸入單元輸入的操作輸入傳輸?shù)接螒蜓b置的傳輸單元、以及設(shè)置 在殼體背面的多個發(fā)光元件。
另外，以上的構(gòu)成元件的任意組合、將本發(fā)明的表現(xiàn)在方法、裝置、系 統(tǒng)、記錄介質(zhì)、計算機程序等之間變換的結(jié)果作為本發(fā)明的方案都有效。


圖1是表示本發(fā)明的實施例的游戲系統(tǒng)的使用環(huán)境的圖。
圖2是表示控制器的外觀結(jié)構(gòu)的圖。
圖3是表示控制器的背面一側(cè)的外觀結(jié)構(gòu)的圖。
圖4是表示控制器的內(nèi)部結(jié)構(gòu)的圖。
圖5是表示游戲裝置的結(jié)構(gòu)的圖。
圖6是表示圖像處理單元的結(jié)構(gòu)的圖。
圖7 (a)是表示當前幀圖像的圖，圖7 (b)是表示當前幀圖像和前一幀 圖像的差分圖像的圖。
圖8 (a)是表示當前幀圖像的二值化圖像的圖，圖8 (b)是表示"與" 圖像的圖。
圖9是表示LED圖像候選的檢測處理的處理步驟的流程圖。 圖10是表示LED提取處理的處理步驟的流程圖。
圖11是表示圖10的S122所示的第二 LED4企測處理的處理步驟的流程圖。
圖12是表示圖10的S124所示的第三LED檢測處理的處理步驟的流程圖。
圖13是表示圖10的S126所示的第四LED檢測處理的處理步驟的流程圖。
圖14是用于說明用于與控制器對應(yīng)的虛擬對象在游戲畫面內(nèi)實現(xiàn)平滑 的跟隨動作的算法的圖。
具體實施例方式
圖1表示本發(fā)明的實施例的游戲系統(tǒng)的使用環(huán)境。游戲系統(tǒng)1包括拍攝 裝置2、圖像顯示裝置3、聲音輸出裝置4、游戲裝置10和控制器20。拍攝 裝置2、圖像顯示裝置3、聲音輸出裝置4和控制器20連接到游戲裝置10。
控制器20是用于用戶進行操作輸入的操作輸入裝置，游戲裝置10是基 于控制器20中的操作輸入來處理游戲應(yīng)用并且生成表示游戲應(yīng)用的處理結(jié) 果的圖像信號的處理裝置。另外，本實施例所示的技術(shù)不限于游戲應(yīng)用，在 包括執(zhí)行其它種類的應(yīng)用的處理裝置的娛樂系統(tǒng)中也能夠?qū)崿F(xiàn)。以下，以娛 樂系統(tǒng)為代表，說明執(zhí)行游戲應(yīng)用的游戲系統(tǒng)1。
拍攝裝置2是由CCD拍攝元件或CMOS拍攝元件等構(gòu)成的攝影機，以 規(guī)定的周期拍攝真實空間，生成每個周期的幀圖像。例如，拍攝裝置2的拍 攝周期為30張/秒，也可以與圖像顯示裝置3的幀頻一致。拍攝裝置2經(jīng)由 USB ( Universal Serial Bus )或者其它的接口與游戲裝置10連接。
圖像顯示裝置3是輸出圖像信號的顯示器，接受在游戲裝置10中生成的 圖像信號并顯示游戲畫面。聲音輸出裝置4是輸出聲音的揚聲器，接受在游
戲裝置10中生成的聲音信號并輸出游戲聲音。圖像顯示裝置3和聲音輸出裝 置4構(gòu)成游戲系統(tǒng)1中的輸出裝置。
游戲裝置10和圖像顯示裝置3可以通過有線連接，也可以通過無線連接。 游戲裝置10和圖像顯示裝置3也可以通過AV電纜連接。此外，在游戲裝置 10和圖像顯示裝置3之間也可以構(gòu)造通過網(wǎng)絡(luò)(LAN)電纜或無線LAN等 構(gòu)筑的家庭網(wǎng)絡(luò)。
控制器20具有將用戶的操作輸入傳輸?shù)接螒蜓b置10的功能，在本實施 例中，構(gòu)成在與游戲裝置10之間可進行無線通信的無線控制器?？刂破?0 和游戲裝置10可以使用Bluetooth (藍牙)(注冊商標)協(xié)議來確立無線連接。 游戲裝置10可以進行與多個控制器20的無線連接，即在游戲系統(tǒng)l中，可 以實現(xiàn)游戲裝置10和控制器20的一對N連接。游戲裝置10作為主機(master) 起作用，控制器20作為從屬機(slave)起作用。另外，控制器20不限于無 線控制器，也可以是經(jīng)由電纜和游戲裝置IO連接的有線控制器。
控制器20通過未圖示的電池驅(qū)動，具有用于進行操作輸入的多個按鈕或 鍵，該操作輸入是進行游戲的操作輸入。用戶操作控制器20的按鈕或鍵時， 該操作輸入通過無線被發(fā)送到游戲裝置10。游戲裝置10從控制器20接收與 游戲應(yīng)用有關(guān)的操作輸入，并根據(jù)操作輸入來控制游戲進行，從而生成游戲 圖像信號和游戲聲音信號。生成的游戲圖像信號和游戲聲音信號分別由圖像 顯示裝置3和聲音輸出裝置4輸出。此外，游戲裝置IO具有根據(jù)游戲應(yīng)用的 進行狀況來對控制器20發(fā)送使控制器20振動的振動控制信號的功能?？刂?器20具有振子，如果接收到振動控制信號則振動振子。
本實施例的游戲系統(tǒng)l中，控制器20具有多個發(fā)光元件。多個發(fā)光元件 分別是同色的LED，具有作為表現(xiàn)由游戲應(yīng)用設(shè)定的控制器號碼的指示器的 作用。游戲系統(tǒng)中的控制器號碼例如在游戲開始時選擇游戲角色時等被用戶 利用，因此需要通過某種手段通知用戶控制器號碼。因此，在控制器20中， 假設(shè)如果多個LED中例如第一個LED點亮，則控制器號碼為1，此外，如果 第二個LED點亮則控制器號碼為2,從而使用戶知道控制器號碼。另外，也 可以通過多個LED的組合來表現(xiàn)控制器號碼。
在控制器20為有線控制器的情況下，也可以通過從控制器20延伸的電
纜連接器插入游戲裝置IO的端口的位置來決定控制器號碼。但是，在將具有 多個端口的多端口裝置外置于游戲裝置10上來使用的情況下，由于用戶不能
立即得知控制器號碼，因此優(yōu)選使用多個LED對用戶通知控制器號碼。
在游戲系統(tǒng)1中，不僅將控制器20的LED用作控制器號碼的指示器， 而且也用作對游戲應(yīng)用的進行帶來影響的游戲輸入。在該情況下，LED的控 制不是作為指示器點亮，而是切換到作為對游戲應(yīng)用的輸入而點亮。拍攝裝 置2拍攝控制器20的LED,并生成幀圖像從而提供給游戲裝置10。游戲裝 置IO取得幀圖像，從幀圖像中的LED圖像的位置來推測并取得控制器20在 幀圖像中的位置和姿勢，并將取得的位置信息和/或姿勢信息反映在游戲應(yīng)用 的處理中。即，本實施例的游戲裝置10具有不僅使用在控制器20中輸入的 操作輸入，而且使用取得的控制器20的位置信息和姿勢信息來處理游戲應(yīng) 用，從而生成表示其處理結(jié)果的圖像信號的功能。
圖2表示控制器的外觀結(jié)構(gòu)?？刂破?0中設(shè)有方向鍵21、模擬搖桿27、 四種操作按鈕26。方向鍵21、模擬搖桿27、操作按鈕26是設(shè)置在殼體上面 30上的輸入單元。為了互相區(qū)別而在四種按鈕22-25上以不同顏色畫上不 同圖形。即，〇按鈕22上畫了紅色的圈，x按鈕23上畫了藍色的叉，口按 鈕24上畫了紫色的四邊形，A按鈕25上畫了綠色的三角形。.在控制器20的 殼體背面29上設(shè)有多個LED。
用戶左手把持左側(cè)把持單元28a,右手把持右側(cè)把持單元28b,從而操作 控制器20。方向鍵21、模擬搖桿27、操作按鈕26被設(shè)置在殼體上面30上， 從而能夠在用戶把持左側(cè)把持單元28a，右側(cè)把持單元28b的狀態(tài)下進行操 作。
在殼體上面30上也設(shè)有帶LED的按鈕31。帶LED的按鈕31例如用作 在圖像顯示裝置3上顯示菜單畫面的按鈕。此外，也具有通過LED的發(fā)光狀 態(tài)來對用戶通知郵件的來信，和表示控制器20的電池的充電狀態(tài)等功能。例 如，充電中點亮為紅色，充電結(jié)束時點亮為綠色，在充電剩余量所剩無幾時 點亮LED以閃爍紅色。
由于用戶一邊觀看顯示在圖像顯示裝置3中的游戲畫面一邊進行游戲， 因此圖像顯示裝置3存在于箭頭A所示的控制器20的前方。因此，通常， 將配置了 LED的殼體背面29朝向圖像顯示裝置3。本實施例中，拍攝裝置2 需要在游戲應(yīng)用的執(zhí)行中拍攝LED,因此被配置為該攝像范圍朝向與圖像顯
示裝置3相同的方向，優(yōu)選朝向控制器20的殼體背面29。 一^:由于用戶在 圖像顯示裝置3的正面玩游戲的情況較多，因此拍攝裝置2配置為其光軸方 向與圖像顯示裝置3的正面方向一致。具體來說，拍攝裝置2優(yōu)選在圖像顯 示裝置3附近被配置為將用戶可識別圖像顯示裝置3的顯示畫面的位置包含 在拍攝范圍中。由此，拍攝裝置2可以拍攝用戶的身體以及控制器20。
圖3表示控制器的背面一側(cè)的外觀結(jié)構(gòu)。在圖3中，省略了控制器20的 殼體上面30中的方向鍵21和操作按鈕26等的圖示。在殼體背面29設(shè)有LED 配設(shè)區(qū)域42,在LED配設(shè)區(qū)域42內(nèi)配置第一 LED40a 、第二 LED40b 、第三 LED40c以及第四LED40d。以下，在總稱第一LED40a、第二LED40b、第三 LED40c以及第四LED40d的情況下，表示為"LED40"。 LED配設(shè)區(qū)域42 -陂形成在殼體背面29中的中央?yún)^(qū)域。在LED配設(shè)區(qū)域42的中央部分設(shè)有 USB連接器46。 USB連接器46上連接從游戲裝置IO延伸的USB電纜，可 以進行控制器20的充電處理。另外，如果連接USB電纜，則也可以將控制 器20用作有線控制器。
在殼體背面29 —側(cè)，隔著LED配設(shè)區(qū)域42在左右設(shè)有操作按鈕48a、 48b、 48c、 48d。操作按鈕48a、 48b、 48c、 48d被設(shè)置在用戶保持了左側(cè)4巴 持單元28a、右側(cè)把持單元28b的狀態(tài)下食指的前端也能夠操作的位置。由此， 在操作搡作按鈕48a、 48b、 48c、 48d時，LED40不會一皮食指蓋住。
LED40被用作表現(xiàn)控制器號碼的指示器，但作為使用控制器20的用戶來 說，只要一次確認了就足夠了，并不優(yōu)選配置在通常能看到的殼體上面30。 另一方面，在存在其它用戶的情況下，通過將LED40配置在殼體背面29上， 從而具有其它用戶能夠容易看見的優(yōu)點。此外，由于在殼體上面30上存在帶 有LED的按鈕31，因此如果配置LED40則用戶難以區(qū)別。因此控制器20 將LED40配置在殼體背面29上。
拍攝裝置2取得各像素中的RGB的亮度值。為了正確地檢測出發(fā)光了的 LED40,優(yōu)選LED40和LED40周圍的區(qū)域的對比度較大。因此，LED配設(shè) 區(qū)域42具有比其相鄰的殼體顏色的亮度低的顏色，例如施加黑色的配色。LED 配設(shè)區(qū)域42構(gòu)成為黑色半透明板，LED40設(shè)在其背后即殼體內(nèi)部一側(cè)。由此， 如果LED40不點亮則從拍攝裝置2看不見，僅點亮時被拍攝。黑色半透明板 也具有將光擴散從而將LED40的窄定向性變?yōu)閷挾ㄏ蛐缘淖饔谩Ｍㄟ^將 LED40設(shè)置在LED配設(shè)區(qū)域42中，從而可以提高與發(fā)光的LED40對比度，
并且在以后的圖像處理中，可以從幀圖像中有效地提取出LED圖像。
第一 LED40a、第二 LED40b、第三LED40c以及第四LED40d以規(guī)定的 二維圖形配置。例如，第一LED40a、第二LED40b、第三LED40c以及第四 LED40d配置在構(gòu)成矩形的頂點的位置上。游戲裝置10預(yù)先掌握該位置關(guān)系， 用于LED圖像的提取處理。另外，在各LED40附近刻有或印刷有數(shù)字，用 戶觀看點亮的LED40附近的ft字，從而可以得知控制器號碼。
圖4表示控制器的內(nèi)部結(jié)構(gòu)?？刂破?0包括無線通信模塊58、處理單 元60、 LED40以及振子44。無線通信模塊58具有在與游戲裝置10的無線通 信模塊之間發(fā)送接收數(shù)據(jù)的功能。處理單元60執(zhí)行控制器20中的希望的處 理。
處理單元60具有主控制單元50、輸入接受單元52、 PWM控制單元54 以及驅(qū)動單元56。主控制單元50在與無線通信模塊58之間進行必要的數(shù)據(jù) 的發(fā)送接收。
輸入接受單元52接受來自方向鍵21、操作按鈕26、模擬搖桿27等輸入 單元的輸入信息，并發(fā)送到主控制單元50。主控制單元50將取得的輸入信 息提供給無線通信模塊58，無線通信模塊58在規(guī)定的定時發(fā)送給游戲裝置 10。此外，無線通信模塊58從游戲裝置IO取得振動控制信號時，提供給主 控制單元50,主控制單元50基于振動控制信號驅(qū)動用于使振子44振動的驅(qū) 動單元56。驅(qū)動單元56可以構(gòu)成為用于驅(qū)動振子44的開關(guān)，而且也可以構(gòu) 成為可改變供給電壓的占空比的PWM控制單元。
在本實施例中，PWM控制單元54包括第一 PWM控制單元54a、第二 PWM控制單元54b、第三PWM控制單元54c和第四PWM控制單元54d。 第一 PWM控制單元54a、第二PWM控制單元54b、第三PWM控制單元54c 和第四PWM控制單元54d分別被設(shè)置用于控制第一 LED40a、第二 LED40b、 第三LED40c和第四LED40d的點亮。PWM控制單元54通過PWM (脈寬調(diào) 制)來控制施加到LED40的電壓。例如，PWM控制單元54通過以數(shù)kHz 的高頻率對施加電壓進行PWM控制，從而可以調(diào)整LED40的亮度。此外， PWM控制單元54通過以數(shù)Hz ~ 100Hz程度的低頻率對施加電壓進行PWM 控制，從而可以在拍攝裝置2中識別LED40點亮的開/關(guān)。
在本實施例的游戲系統(tǒng)1中，首先，希望參加游戲系統(tǒng)1的用戶的控制 器20在與游戲裝置IO之間確立通信。此時，控制器20的識別信息例如藍牙地址被傳送到游戲裝置10,以后的通信基于該藍牙地址進行。另外，在不使
用藍牙作為通信協(xié)議的情況下，也可以利用MAC地址等設(shè)備地址。在確立
連接之后，用戶可以參加游戲應(yīng)用。
此時，從游戲裝置IO對控制器20發(fā)送用于指示控制器號碼的信息。主 控制單元50基于該號碼指示信息，僅使與設(shè)定的控制器號碼對應(yīng)的LED40 點亮。由此，用戶能夠得知本身的控制器20的控制器號碼。另外，也可以從 游戲裝置IO發(fā)送用于指示與控制器號碼對應(yīng)的LED40的點亮的控制信號來 代替號碼指示信息。這樣，主控制單元50可以使任意的LED40點亮。
在本實施例的游戲系統(tǒng)1中，游戲裝置10基于在將所有LED40a 40d 點亮了的狀態(tài)下拍攝的幀圖像，對控制器20的位置以及姿勢進行估計。估計 的位置和姿勢作為要執(zhí)行的游戲應(yīng)用的輸入被利用。此外，游戲裝置10也接 受控制器20的方向鍵21和操作按鈕26等的操作輸入。游戲裝置10基于這 些輸入信息，生成游戲應(yīng)用的游戲參數(shù)，并控制游戲的進行，從而生成游戲 圖像和游戲聲音的AV數(shù)據(jù)。AV數(shù)據(jù)在圖像顯示裝置3和聲音輸出裝置4中 被輸出。用戶一邊觀看游戲畫面， 一邊在真實空間上移動控制器20，進而以 方向鍵21和操作按鈕26作為操作輸入來進行游戲。以下，說明游戲裝置IO 中的處理。
圖5表示游戲裝置的結(jié)構(gòu)。游戲裝置10包括輸入單元100、圖像處理單 元102、位置估計單元104、閃爍指示單元106、無線通信模塊108、應(yīng)用處 理單元110以及輸出單元112。本實施例中的游戲裝置10的處理功能由CPU、 存儲器、被載入存儲器的程序等實現(xiàn)，這里，繪出了通過它們的協(xié)作而實現(xiàn) 的結(jié)構(gòu)。程序可以內(nèi)置于游戲裝置10，或者以存儲在記錄介質(zhì)中的形式從外 部提供。從而，這些功能塊可以僅以硬件形式、僅以軟件形式或它們的組合 而以各種形式實現(xiàn)，這是本領(lǐng)域技術(shù)人員應(yīng)當理解的。在圖示的例子中，游 戲裝置10的CPU具有作為圖像處理單元102、位置估計單元104、閃爍指示 單元106、應(yīng)用處理單元110的功能。另外，在硬件的結(jié)構(gòu)上，游戲裝置10 也可以具有多個CPU。在這樣的情況下，也可以是一個CPU作為執(zhí)行游戲應(yīng) 用的應(yīng)用處理單元110工作，其它CPU作為處理拍攝裝置2的拍攝圖像的圖 像處理單元102、位置估計單元104、閃爍指示單元106工作。
無線通信模塊108在與控制器20的無線通信模塊58之間確立無線通信。 在同步確立階段，無線通信模塊108對包含周邊的控制器20的終端設(shè)備進行
連接查詢即"詢問"處理。具體來說，無線通信模塊108對附近的終端裝置
廣播IQ (詢問)分組。接收到IQ分組的控制器20的無線通信模塊58對游 戲裝置10發(fā)送回包含藍牙地址和藍牙塊信息的FHS (Frequency Hop Synchronization)分組。在該時刻的發(fā)送接收中，由于在游戲裝置10和控制 器20之間未確立與頻率跳躍模式有關(guān)的同意，所以使用為專用于詢問而定義 的固定跳躍模式。
無線通信模塊108從控制器20取得FHS分組，在掌握了存在何種控制 器20之后，對特定的控制器20發(fā)送ID分組。這是無線通信模塊108的"尋 呼"處理。如果從特定的控制器20返回對于ID分組的響應(yīng)，則無線通信模 塊108將FHS分組發(fā)送到控制器20,并將自己的地址和時鐘通知給控制器 20。由此，使得游戲裝置10和控制器20可以共享同一跳躍模式。
如果進行"尋呼"，則在控制器20和游戲裝置IO之間形成微微網(wǎng)，并進 入"連接"狀態(tài)。微微網(wǎng)表示在藍牙終端之間接近時在終端之間臨時形成的 網(wǎng)絡(luò)，最大8臺藍牙終端能夠參加一個微微網(wǎng)。連接了的控制器20從無線通 信模塊108被分配從屬識別符，即提供給連接中的控制器20的3比特的地址 (1~7)。該從屬識別符被稱作AM—ADDR (有效成員地址，active member address )。進入"連接"狀態(tài)后，發(fā)送接收用于設(shè)定通信鏈路的控制分組，由 此能夠進行"數(shù)據(jù)傳送"。
如果成為連接狀態(tài)，并且控制器20參加到游戲應(yīng)用，則應(yīng)用處理單元 110分配控制器20的控制器號碼，并生成用于指示控制器號碼的號碼指示信 息。無線通信模塊108將號碼指示信息發(fā)送到控制器20?？刂破?0接收到 號碼指示信息后點亮對應(yīng)的LED40。另外，無線通信模塊108也可以對控制 器20發(fā)送用于指示與控制器號碼對應(yīng)的LED40的點亮的控制信號來代替號 碼指示信息。
游戲應(yīng)用開始后，閃爍指示單元106生成控制信號，該控制信號用于對 控制器20指示閃爍模式，以使其以規(guī)定周期閃爍。該閃爍控制信號被從無線 通信模塊108發(fā)送到控制器20。
輸入單元100被構(gòu)成為USB接口 ，從拍攝裝置2以規(guī)定的拍攝周期(例 如30幀/秒)取得幀圖像。圖像處理單元102按照后述的LED提取算法，從 幀圖像中提取LED圖像。位置估計單元104從提取的LED圖像中取得LED 圖像的位置信息，并估計控制器20的位置和姿勢。位置估計單元104由于取
得LED圖像的位置信息，因此也可以作為位置取得單元工作。另外，控制器 20的位置也可以規(guī)定在四個LED圖像的重心位置。
從點亮的四個LED40的位置和姿勢所估計的控制器20的位置信息和/或 姿勢信息被用作游戲應(yīng)用的輸入。因此，由位置估計單元104估計的控制器 20的位置信息和姿勢信息被依次發(fā)送到應(yīng)用處理單元110，并反映在應(yīng)用的 處理中。用戶對控制器20的方向鍵21等進行操作的輸入也通過無線通信模 塊108被發(fā)送到應(yīng)用處理單元110。應(yīng)用處理單元110根據(jù)控制器20的位置、 姿勢信息以及控制器20中的操作輸入來進行游戲，并生成表示游戲應(yīng)用的處 理結(jié)果的圖像信號和聲音信號。圖像信號和聲音信號從輸出單元112分別被 發(fā)送到圖像顯示裝置3和聲音輸出裝置4并輸出。
圖6表示圖像處理單元的結(jié)構(gòu)。圖像處理單元102包括幀圖像取得單元 130、當前幀緩沖器132、前一幀緩沖器134、差分圖像生成單元136、 二值 化圖像生成單元138、邏輯運算單元140以及LED圖像拔^又單元142。
幀圖像取得單元130從輸入單元IOO取得幀圖像數(shù)據(jù)，并臨時存儲在當 前幀緩沖器132中。前一幀緩沖器134中存儲了前一個幀圖像數(shù)據(jù)。差分圖 像生成單元136生成在當前幀緩沖器132中存儲的當前幀數(shù)據(jù)和在前一幀緩 沖器134中存儲的前一幀數(shù)據(jù)的差分圖像。將幀圖像中的坐標(x, y)中的 前一幀數(shù)據(jù)的R像素值設(shè)為Pr，將G像素值設(shè)為Pg，將B像素值設(shè)為Pb， 將當前幀數(shù)據(jù)的R像素值設(shè)為Cr，將G像素值設(shè)為Cg,將B像素值設(shè)為Cb 時，差分圖像函數(shù)F(x, y)表現(xiàn)為以下的算式。
,(x，力=如-C,')2 + (尸g-Cg)2 + (尸6-OO2 -77/ ...(l)
這里，Th是規(guī)定的閾值。如果F (x, y)大于0,則坐標(x， y)的像 素值被編碼為"1"，在顯示上，該像素為白色。另一方面，如果F(x， y) 為O以下，則像素值被編碼為"0",在顯示上，該像素為黑色。這樣由差分 圖像生成單元136生成的差分圖像成為二值化處理后的圖像。通過生成差分 圖像，從而可以除去在前一幀圖像和當前幀圖像之間沒有移動的對象的影響。
二值化圖像生成單元138使用規(guī)定的閾值對當前幀數(shù)據(jù)進行二值化處 理，生成二值化的圖像。二值化圖像生成單元138將保持大于規(guī)定閾值的亮 度的像素的像素值編碼為"1"，將保持規(guī)定鬮值以下的亮度的像素的像素值 編碼為"0"。通過生成當前幀圖像的二值化圖像，從而可在當前幀圖像中僅
提取明亮的對象。
邏輯運算單元140生成將由差分圖像生成單元136生成的差分圖像和由 二值化圖像生成單元138生成的二值化圖像進行了邏輯運算的邏輯運算圖 像。詳細來說，邏輯運算單元140通過對每個像素進行差分圖像的像素值和 二值化圖像的像素值的"與"運算，從而生成"與"圖像。這通過將差分圖 像和二值化圖像的對應(yīng)的像素之間的像素值在數(shù)學上進行"與"運算從而生 成。
圖7 (a)表示當前幀圖像。在當前幀圖像中，用戶把持控制器20來玩游 戲，在右側(cè)照明點亮了的狀態(tài)被拍攝。此時，控制器20的全部LED40點亮。 另外，全部LED40通過同一點亮圖形以同一亮度發(fā)光。
圖7 (b)表示當前幀圖像和前一幀圖像的差分圖像。如果從前一幀圖像 的位置移動控制器20，則通過算式(1)生成差分圖像。在本例中，控制器 20和與控制器20 —起移動的身體的至少一部分區(qū)域被作為白色圖像(像素 值為'T，)取得。另外，不總是取得這樣的白色圖像，圖7(b)不過是滿足 算式(1 )時所生成的差分圖像的一例。此時，由于照明不移動，因此不包含 在差分圖像中。另外，用戶如果未移動控制器20,則不取得控制器20的白 色圖像。
圖8 (a)表示當前幀圖像的二值化圖像。在二值化圖像中，圖7 (a)中 的高亮度區(qū)域即發(fā)光的LED和照明燈被二值化后變換為白色圖像。為了防止 其它的噪聲，在進行二值化處理時設(shè)定的閾值優(yōu)選被設(shè)定為從LED發(fā)光亮度 減去規(guī)定的余量值之后的亮度值。
圖8 (b)表示"與"圖像。"與"圖像進行圖7(b)所示的差分圖像和 圖8 (a)所示的二值化圖像的"與"運算。在差分圖像和二值化圖像中，白 色像素的像素值為'T，，黑色像素的像素值為"0"。從而，僅僅在兩個圖像 中作為白色像素存在的像素在"與"運算中作為白色像素被生成。
通過這樣來取差分圖像和二值化圖像的"與"，從而能夠生成易于提取 LED圖像的"與"圖像。"與"圖像被發(fā)送到LED圖像提取單元142。
生成"與"圖像后，保持在前一幀緩沖器134中的前一幀數(shù)據(jù)由保持在 當前幀緩沖器132中的當前幀數(shù)據(jù)覆蓋。該覆蓋處理也可以在前一幀緩沖器 134由差分圖像生成單元136讀出之后立即進行。然后，當前幀緩沖器132 中保持的當前幀數(shù)據(jù)由下一幀數(shù)據(jù)覆蓋，從而執(zhí)行下一幀中的"與"圖像的
生成處理。
LED圖像提取單元142從"與，，圖像中提取LED圖像。為了提取LED 圖像，首先檢測LED圖像的候選。接著將任意的候選假設(shè)為第一LED40a, 并搜索其周圍區(qū)域，從而調(diào)查是否存在可能成為第二LED40b的LED圖像候 選。如果發(fā)現(xiàn)第二LED40b,則再搜索第一LED40a的周邊區(qū)域，從而調(diào)查是 否存在可能成為第三LED40c的LED圖像候選。如果發(fā)現(xiàn)第三LED40c,則 再搜索其周邊區(qū)域，從而調(diào)查是否存在可能成為第四LED40d的LED圖像候 選。此時，LED圖像提取單元142預(yù)先識別了由多個LED40形成的二維圖形， 并利用該二維圖形進行LED圖像的提取處理。以下，為了說明的方便，以下 面情況為例在控制器20的殼體背面29上配置第一 LED40a、第二 LED40b、 第三LED40c、第四LED40d,使其構(gòu)成正方形的頂點。
另外，LED圖像提取單元142不使用"與，，圖像而從二值化圖像中提取 LED圖像也可以。二值化圖像中也包含LED圖像以外的噪聲，但例如在差分 圖像中不能取得LED圖像的情況下，通過利用二值化圖像，從而可以檢測出 LED圖像的位置和姿勢。以下所示的處理步驟也可以使用"與"圖像和二值 化圖像的其中一個來執(zhí)行，但由于"與，，圖像中LED圖像以外的噪聲分量少， 因此利用"與"圖像則處理速度較快。
圖9是表示LED圖像候選的檢測處理的處理步驟的流程圖。LED圖像提 取單元142在"與"圖像中，將白色像素(像素值為"r的像素)連續(xù)存在 的區(qū)域作為一個連接區(qū)域取得(SIOO)。接著，LED圖像提取單元142提取 白色像素連接區(qū)域的邊緣部分，并決定短邊和長邊(S102)。
LED圖像提取單元142判定短邊是否由規(guī)定像素數(shù)Ma以上的像素構(gòu)成 (S104)。在短邊由少于像素數(shù)Ma的像素構(gòu)成的情況下(S104 "否")，LED 圖像提取單元142認為不是LED圖像而結(jié)束該白色像素連接區(qū)域的處理。在 短邊由像素數(shù).Ma以上的像素構(gòu)成的情況下(S104 "是")，LED圖像提取單 元142判斷長邊是否由規(guī)定像素數(shù)Mb以下的像素構(gòu)成(SI06)。在長邊由多 于像素數(shù)Mb的像素構(gòu)成的情況下(S106 "否，，)，LED圖像提取單元142認 為不是LED圖像而結(jié)束該白色像素連接區(qū)域的處理。在長邊由像素數(shù)Mb以 下的像素構(gòu)成的情況下(S106 "是")，LED圖像提取單元142認為是LED圖 像的候選而取得構(gòu)成白色像素連接區(qū)域的像素數(shù)(S108 )。對于全部白色像素 連接區(qū)域重復進行該LED圖像候選檢測處理。由此，可以檢測包含在"與"
圖像中的LED圖像候選。另外，LED圖像候選的坐標設(shè)定為連接區(qū)域的重心。 圖10是表示LED提取處理的處理步驟的流程圖。LED圖像提取單元142 假設(shè)檢測出的LED圖像候選中任意的LED圖像候選是第一 LED40a( S120 )。 接著，對第一LED40a判定是否存在滿足可能成為第二LED40b的條件的LED 圖像候選(S122 )。如果存在成為第二 LED40b的LED圖像候選(S122 "是")， 則對第一 LED40a以及第二LED40b判定是否存在滿足可能成為第三LED40c 的條件的LED圖像候選(S124 )。如果存在成為第三LED40c的LED圖像候 選(S124 "是，，)，則對第一 LED40a、第二 LED40b以及第三LED40c判定是 否存在滿足可能成為第四LED40d的條件的LED圖像候選(S126)。如果存 在成為第四LED40d的LED圖像候選(S126 "是")，則提取控制器20的第 一LED40a 第四LED40d。另外，在不存在第二LED圖像候選的情況下(S122 "否")、不存在第三LED圖像候選的情況下(S124 "否，，)、不存在第四LED 圖像候選的情況下(S126 "否，，)的情況下，假設(shè)其它的LED圖像候選為第 一LED40a,從而再執(zhí)行圖8的處理。
在LED提取處理中，為了減輕處理負荷，也可以將控制器20的姿勢不 傾斜規(guī)定角度以上設(shè)定為處理條件。由于LED40的定向性比較強，因此如果 過于傾斜控制器20,則在拍攝裝置2中難以接收光。在利用該LED40的定向 性來搜索LED圖像候選時，以從第一 LED40a未傾斜規(guī)定角度(例如45° ) 以上為條件來進行LED圖像的提取處理，從而能夠大幅地減輕處理負荷。
在本實施例中，由于利用前一幀圖像和當前幀圖像的差分圖像，因此在 控制器20沒有移動的情況下，LED40的圖像被從差分圖像中除去。因此，在 利用差分圖像的情況下，通過圖10所示的LED提取處理，不一定能發(fā)現(xiàn)LED 圖像。位置估計單元104通過圖IO所示的LED提取處理未發(fā)現(xiàn)LED圖像的 情況下，估計控制器20未從前一幀的位置移動，并取得前一幀中的控制器 20的位置信息和姿勢信息。此時，位置估計單元104也可以使用二值化圖像 來提取LED圖像。
圖11是表示圖10的S122所示的第二 LED檢測處理的處理步驟的流程 圖。假設(shè)假定為第一LED40a的LED圖像候選的構(gòu)成像素數(shù)為N。首先，LED 圖像提取單元142判定LED圖像候選的像素數(shù)是否為1/2 x N以上并且2N以 下(S140)。這是基于以下事實如果是LED圖像，則大小和形狀與第一 LED40a差不多。如果LED圖像候選的構(gòu)成像素數(shù)相對于構(gòu)成像素數(shù)N在規(guī)
定范圍內(nèi)(S140 "是")，則判定該LED圖像候選是否存在于第一LED40a的 右方(S142)。是否是右方的判斷通過是否存在于第一LED40a的右上45。至 右下45°的范圍內(nèi)來決定。在第一LED40a的右方的情況下(S142 "是，，)， 判定第一 LED40a和LED圖像候選的距離D,2是否為Da以上且Db以下
(S144)。這里，在互相的距離過近和過遠的情況下，判定不適于作為第二 LED40b。在距離D,2為Da以上且Db以下的情況下(S144 "是")，判斷該 LED圖像候選可能成為第二 LED40b,并確認第二 LED40b的存在(S146 )。 另一方面，在LED圖像候選的構(gòu)成像素數(shù)不在規(guī)定范圍內(nèi)的情況下(S140
"否")、不在LED40a的右方的情況下(S142 "否，，)、距離D,2不在規(guī)定的 范圍內(nèi)的情況下(S144 "否")，判斷該LED圖像候選不是第二LED40b。
圖12是表示圖10的S124所示的第三LED檢測處理的處理步驟的流程 圖。假設(shè)假定為第一 LED40a的LED圖像候選的構(gòu)成像素數(shù)為N。首先，LED 圖像提取單元142判定LED圖像候選的像素數(shù)是否為1/2 x N以上并且2N以 下(S160)。如果LED圖像候選的構(gòu)成像素數(shù)相對于構(gòu)成像素數(shù)N在規(guī)定范 圍內(nèi)(S160 "是")，則判定該LED圖像候選是否存在于第一LED40a的下方
(S162 )。是否是下方的判斷通過是否存在于第一 LED40a的左下45。至右下 45。的范圍內(nèi)來決定。在第一 LED40a的下方的情況下(S162 "是，，)，判定 第一 LED40a和LED圖像候選的距離是否為1/^ x Dl2以上且V^D,2以下
(S164)。這里，在互相的距離過近和過遠的情況下，判定不適于作為第三 LED40c。在距離為1/V^ xDi2以上且V^Dp以下的情況下(S164 "是，，)，判 定從第一 LED40a到第二 LED40b的線段和從第一 LED40a到LED圖像候選 的線段的角度是否為規(guī)定范圍內(nèi)(S166)。此時，如果在規(guī)定范圍內(nèi)(S166
"是，')，則判斷該LED圖像候選可能成為第三LED40c，并確認存在第三 LED40c (S16S)。另一方面，在LED像素候選的構(gòu)成像素數(shù)不在規(guī)定的范圍 內(nèi)的情況下(S160 "否，，)、不在LED40a的下方的情況下(S162 "否，，)、與 第一 LED40a的距離不在規(guī)定的范圍內(nèi)的情況下(S164 "否")、角度不在規(guī) 定的范圍內(nèi)的情況下(S166 "否")，判斷該LED圖像候選不是第三LED40c
(S170)。
圖13是表示圖10的S126所示的第四LED檢測處理的處理步驟的流程 圖。假設(shè)假定為第一 LED40a的LED圖像候選的構(gòu)成像素數(shù)為N。首先，LED 圖像提取單元142判定LED圖像候選的像素數(shù)是否為1/2 x N以上并且2N以
下(S180)。如果LED圖像候選的構(gòu)成像素數(shù)相對于構(gòu)成像素數(shù)N在規(guī)定范 圍內(nèi)(S180 "是")，則判定從第一 LED40a到第二 LED40b的向量和第三 LED40c與LED圖像候選的向量所成的角度是否為規(guī)定值以下(S182 )。如果 從第一 LED40a到第二 LED40b的向量和第三LED40c與LED圖像候選的向 量所成的角度為規(guī)定值以下(S182 "是，，)，則判定從第一 LED40a到第三 LED40c的向量和第二 LED40b與LED圖像候選的向量所成的角度是否為規(guī) 定值以下(S184 )。如果從第一 LED40a到第三LED40c的向量和第二 LED40b 與LED圖像候選的向量所成的角度為規(guī)定值以下(S184 "是")，則判斷該 LED圖像候選可能成為第四LED40d,并確認第四LED40d的存在(S186)。 另一方面，在LED像素候選的構(gòu)成像素數(shù)不在規(guī)定的范圍內(nèi)的情況下(S180
"否")、從第一 LED40a到第二 LED40b的向量和第三LED40c與LED圖像 候選的向量所成的角度超過規(guī)定值的情況下(S182 "否")、從第一 LED40a 到第三LED40c的向量和第二LED40b與LED圖像候選的向量所成的角度超 過規(guī)定值的情況下(S184 "否，，)，判斷該LED圖像候選不是第四LED40d
(S188)。
通過以上這樣，LED圖像提取單元142可以從"與"圖像中提取第一 LED40a ~第四LED40d的圖像。提取出的第一 LED40a ~第四LED40d的圖 像的位置信息纟皮發(fā)送到位置估計單元104。
位置估計單元104基于控制器20中的LED40的二維配置，取得第一 LED40a 第四LED40d的圖像的幀圖像中的位置信息。位置估計單元104求 提取出的第一LED40a、第二 LED40b、第三LED40c和第四LED40d的仿射 變換(affine transformation),并計算真實空間中的位置和姿勢。真實空間中 的位置是正交坐標系中的坐標(X, Y， Z),真實空間中的姿勢是X軸、Y 軸、Z軸的旋轉(zhuǎn)角。通過求三個軸中的坐標和旋轉(zhuǎn)角，從而位置估計單元104 可以估計也包含離拍攝裝置2的距離的空間內(nèi)的位置。位置估計單元104通 過求仿射變換從而也可以估計控制器20的幀圖像中的位置。例如，通過取 XYZ空間中的XY坐標從而可以取得幀圖像中的位置。位置估計單元104將 估計的控制器20的位置和姿勢發(fā)送到應(yīng)用處理單元110。
為了避免LED40的誤識別，位置估計單元104在前次取得的LED圖像 的位置和本次取得的LED圖像的位置的變化量超過規(guī)定值的情況下，將本次 取得的LED圖像的位置作為差錯來處理。即，在一幀之間，位置和姿勢變化
了規(guī)定值以上的情況下，因為存在由于干擾的因素而將其它對象誤識另^為
LED40的可能性，因此將提取出的LED40的位置信息廢棄。
但是，即使是這樣的情況，控制器20也可能以實際上較大的變化量移動， 因此位置估計單元104對連續(xù)發(fā)生的差錯的次數(shù)進行計數(shù)，在計數(shù)值達到規(guī) 定值的情況下，也可以將此時取得的LED圖像的位置作為正常的位置處理。 位置估計單元104例如也可以基于當前幀圖像和"與，，圖像來估計LED40 的移動方向和速度。例如，降低拍攝裝置2的快門速度時，LED40的圖像被 拍攝為橢圓或正方體。因此，根據(jù)LED圖像的形狀，不僅能夠估計移動方向， 而且能夠估計移動速度。例如，如果能估計移動方向和速度，則即使在拍攝 裝置2中突然看不見的情況下，也能夠預(yù)測控制器20的位置或姿勢。在所有 的LED40的形狀偏向同一方向的情況下，也可以估計控制器20的移動方向 和速度。
應(yīng)用處理單元110將估計的控制器20的位置或姿勢作為游戲輸入而反映 在游戲應(yīng)用的處理中。該反映的方法考慮各種方法，但最直觀的是使虛擬對 象追隨與估計的控制器20的位置對應(yīng)的游戲圖像中的位置來進行顯示。如果 用戶對拍攝裝置2移動控制器20,則可以追隨該移動來移動游戲圖像內(nèi)的虛 擬對象。
另外，如果是理想的狀態(tài)，則對每個幀圖像求LED40的位置和姿勢并反 映在頓圖像中即可，但另一方面，根據(jù)控制器20的方向和周邊光的環(huán)境等， 也可能發(fā)生在幀圖像中不能求LED40的位置和姿勢的情況。在這樣的狀態(tài)持 續(xù)之后，如果突然求LED40的位置和姿勢，則已停止了的虛擬對象突然移動 到新的位置，對用戶帶來不適。因此，即使從"與"圖像中檢測出LED40的 位置和姿勢，作為游戲圖像，虛擬對象不是移動到取得的位置，即使假設(shè)存 在信息丟失的情況下，也進行追隨處理，以便能夠?qū)崿F(xiàn)平滑的移動。
圖14 (a)、圖14 (b)是用于說明用于與控制器對應(yīng)的虛擬對象在游戲 畫面內(nèi)實現(xiàn)平滑的追隨動作的算法的圖。為了說明的方便，說明虛擬對象的 位置變化，但關(guān)于姿勢變化也可以應(yīng)用同樣的算法。
在位置估計單元104中，通過求仿射變換而導出的位置參數(shù)為P-1,、Pi、 Pi+I (P的腳標表示游戲畫面幀的號碼)。首先，考慮幀圖像切換，位置參數(shù) 從Pi變化到Pi+1的情況。
在得到新的位置參數(shù)(Pi+1)時，反映在游戲畫面中的位置參數(shù)通過以下的式子求出。
Qi+I= (Qi + Pi+1) /2
即，由于不是直接移動到新的位置參數(shù)Pi + 1,而是將前一幀的游戲畫面 中的位置參數(shù)和當前幀的新的位置參數(shù)Pi+I的中點設(shè)定為游戲畫面中的新的 位置參數(shù)。另外，位置參數(shù)Qi + ,不必是位置參數(shù)Qi和位置參數(shù)Pi + ,的中點， 也可以是將位置參數(shù)Qi和位置參數(shù)Pi"之間的線段分割為A: B的點。
圖12 (b)是作為位置參數(shù)不能取得Pi + 1的情況下的例子。在這樣的情 況下，可以發(fā)揮本算法的效果。在該情況下，使用最新的位置參數(shù)代替Pj + ,。 這里，最新的位置參數(shù)是Pi,并作為下式求解
Qi+i = (Qi + Pi) /2。
如果通過本算法取得游戲圖像中的位置參數(shù)Q,則即使在空間內(nèi)的控制 器20位置較大地變化，或者不能從"與"圖像中提取的情況下，虛擬對象總 是可以一點一點移動。因此，可以避免在游戲圖像中虛擬對象突然不能移動 或者突然移動的狀況的發(fā)生，對控制器20能夠?qū)崿F(xiàn)平滑的追隨處理。
以上，基于實施例說明了本發(fā)明。本實施例為例示，這些各構(gòu)成要素和 各處理過程的組合可以有各種變形例，而且這樣的變形例也在本發(fā)明的范圍 內(nèi)，這是本領(lǐng)域技術(shù)人員應(yīng)當理解的。
在本實施例中，用拍攝裝置2拍攝控制器20,并從幀圖像中估計控制器 20的位置和姿勢，并將該位置信息和姿勢信息反映在游戲應(yīng)用的處理中。控 制器20的LED40例如也可以根據(jù)游戲應(yīng)用的進行狀況而變更點亮圖形。
也可以在用戶參加了游戲應(yīng)用之后，游戲裝置10對控制器20發(fā)送以規(guī) 定的低頻率點亮4個LED40的控制信號。閃爍指示單元106生成用于對控制 器20指示以規(guī)定的低頻率的閃爍模式的控制信號。該低頻率閃爍控制信號從 無線通信模塊108被發(fā)送到控制器20。另外，在存在多個控制器20的情況 下，對每個控制器20設(shè)定閃爍頻率。
控制器20以指定的低頻率將LED40點亮，拍攝裝置2以30張/秒的拍 攝周期拍攝幀圖像。游戲裝置IO從多個幀圖像中提取以規(guī)定周期對點亮進行 開關(guān)的LED圖像。在游戲系統(tǒng)1內(nèi)存在多個控制器20的情況下，對每個控 制器20設(shè)定點亮的周期。由此，可以確認控制器20的位置，同時也可以區(qū) 別來識別各個控制器20。理想情況下，該處理在參加到游戲應(yīng)用之后進行一 次即可，在實際空間內(nèi)，有時控制器20突然從拍攝裝置2中消失。因此，以
每個數(shù)秒等規(guī)定的周期，各控制器20以對每個控制器設(shè)定的低頻率使LED40 閃爍也可以。
例如，在四個LED40以低頻率進行點亮和熄滅的情況下，能夠拍攝 LED40的幀和不能拍攝的幀以規(guī)定的周期切換。對于拍攝周期(30幀/秒)， 如果以45Hz對LED40進行點亮控制，則重復以下狀況，即以連續(xù)的兩張幀 拍攝，接著兩幀不拍攝。由于存在幀圖像中被拍攝的情況和未被拍攝的情況， 因此即使是LED40靜止的狀態(tài)下，也能夠取得位置信息。
這里，低頻率點亮表示對于拍攝周期，以可能存在拍攝到LED發(fā)光的幀 和未拍攝到的幀的頻率進行的點亮。另一方面，高頻率點亮表示對于拍攝裝 置2的拍攝周期(30幀/秒)以始終在幀圖像中被拍攝到的頻率進行的點亮。 例如，即使是以lkHz點亮了 LED40的情況下，例如如果拍攝裝置2的拍攝 周期非常高，則出現(xiàn)拍攝到LED發(fā)光的幀和未拍攝到的幀，因此即使是 LED40靜止的狀態(tài)，也能夠取得位置信息。
高頻率點亮的LED40的位置和姿勢用作游戲應(yīng)用的輸入。因此，由位置 估計單元104估計的控制器20的位置信息被依次發(fā)送到應(yīng)用處理單元110， 并反映在應(yīng)用的處理中。用戶對控制器20的方向鍵21等進行操作的輸入也 通過無線通信模塊108被發(fā)送到應(yīng)用處理單元110。應(yīng)用處理單元110根據(jù)控 制器20的位置、姿勢信息以及控制器20中的操作輸入來進行游戲，并生成 表示游戲應(yīng)用的處理結(jié)果的圖像信號和聲音信號。
此外，作為變形例，通過將四個LED40中的一個以與其它LED40不同 的閃爍模式點亮，從而也能夠識別特定的LED40。例如三個LED進行高頻率 點亮，并且4吏一個LED進行低頻率點亮，從而例如也可以確認幀圖像中的第 一LED40a是哪個。
通過檢測真實空間中的控制器20的位置和姿勢并反映在游戲應(yīng)用的處 理中，從而能夠?qū)崿F(xiàn)新的游戲應(yīng)用。如果以網(wǎng)球游戲為例，則將幀圖像中的 控制器20的高度作為網(wǎng)球的擊打點高度，將控制器20的方向作為球的擊球 方向，將移動控制器20的速度作為打進球的強度，從而可通過移動控制器 20來可以進行游戲。由于這些移動近似于實際的揮舞球拍的移動，因此能夠 給用戶帶來接近于實際打網(wǎng)球的感覺。此時，通過使得能夠?qū)⒖刂破?0的按 鈕或鍵作為游戲輸入而原樣利用，從而能夠維持以往的游戲操作輸入，同時 進行感覺上嶄新的游戲輸入。這樣，通過有效地靈活使用作為指示器而設(shè)置
在控制器20上的LED,從而能夠進一步擴展游戲應(yīng)用的寬度。
例如，可以通過控制器20的按鈕操作來決定打入球的強度。通過將以往 類型的按鈕操作和嶄新的游戲輸入進行組合可以實現(xiàn)新的游戲性。例如，可 以制作如下的網(wǎng)球游戲 一邊通過控制器20的方向來指定球落入對方場地的 位置，同時進行按鈕輸入，從而拋球，進而通過移動控制器20,來打出強烈 的發(fā)球。
作為游戲應(yīng)用，例如，摩托車的駕駛游戲中，通過操作控制器20的姿勢， 也可以用作控制摩托車的游戲輸入。此時，速度可以由移動控制器20的速度 決定，也可以由按鈕輸入決定。這樣，通過將以往類型的按鈕輸入和基于控 制器20的位置和姿勢的靜態(tài)輸入以及基于控制器20的移動速度等狀態(tài)變化 的動態(tài)的輸入組合利用，從而能夠提高游戲應(yīng)用的操作性。
例如，也可以在控制器20要從圖像顯示裝置3的畫面中脫離(frame out) 的情況下，應(yīng)用處理單元110基于控制器20的位置信息，進行對用戶通知要 脫離的處理。例如，也可以在控制器20要脫離的情況下，對控制器20生成 用于使振子振動的振動控制信號，并通過無線通信模塊108發(fā)送。此外，也 可以在將追隨控制器20的移動的虛擬對象作為游戲圖像顯示的情況下，通過 對于用戶醒目地移動虛擬對象，從而對用戶傳達要脫離的情況。是否要脫離 例如可以由幀圖像的位置決定，也可以在接近幀圖像的邊緣部分的位置估計 控制器20的位置的情況下，進行該通知處理。
(項目1 )
一種圖像處理裝置，從輸入的幀圖像中取得發(fā)光體圖像的位置，其特征 在于，包括
差分圖像生成單元，生成前一幀圖像和當前幀圖像的差分圖像； 二值化圖像生成單元，使用規(guī)定的閾值將當前幀圖像進行二值化處理而 生成二值化圖像；
邏輯運算單元，生成對所述差分圖像和所述二值圖像進行了邏輯運算的 邏輯運算圖像；
提取單元，從所述邏輯運算圖像中提取發(fā)光體圖像；以及 位置取得單元，取得發(fā)光體圖像的幀圖像中的位置。 (項目2 )
如項目1所述的圖像處理裝置，其特征在于，所述邏輯運算單元通過對 每個像素進行所述差分圖像的像素值和所述二值化圖像的像素值的"與"運 算，從而生成邏輯運算圖像。 (項目3 )
如項目1或2所述的圖像處理裝置，其特征在于，所述提取單元預(yù)先識 別了由多個發(fā)光體形成的二維圖形，并利用該二維圖形進行發(fā)光體圖像的提 取處理。
(項目4 )
如項目1至3的任何一項所述的圖像處理裝置，其特征在于，所述位置 取得單元在前次取得的發(fā)光體圖像的位置和本次取得的發(fā)光體圖像的位置的 變化量超過規(guī)定值的情況下，將本次取得的發(fā)光體圖像的位置作為差錯來處理。
(項目5 )
如項目4所述的圖像處理裝置，其特征在于，所述位置取得單元對連續(xù) 發(fā)生的差錯的次數(shù)進行計數(shù)，在計數(shù)值達到規(guī)定值的情況下，將此時取得的 發(fā)光體圖像的位置作為正常的位置處理。
產(chǎn)業(yè)上的可利用性
本發(fā)明可利用于在具有應(yīng)用處理功能的娛樂系統(tǒng)和用于該娛樂系統(tǒng)的操 作輸入裝置中。
權(quán)利要求
1.一種娛樂系統(tǒng)，包括操作輸入裝置，用于由用戶進行操作輸入；處理裝置，基于所述操作輸入裝置中的操作輸入來處理應(yīng)用，并生成表示應(yīng)用的處理結(jié)果的圖像信號；拍攝裝置，對所述操作輸入裝置進行拍攝；以及圖像顯示裝置，輸出在所述處理裝置中生成的圖像信號，其特征在于，所述操作輸入裝置具有多個用于進行操作輸入的輸入單元，以及用于表現(xiàn)在執(zhí)行的應(yīng)用中對該操作輸入裝置設(shè)定的號碼的多個發(fā)光元件，所述操作輸入是用戶進行應(yīng)用的操作輸入，所述處理裝置接受所述操作輸入裝置中的操作輸入并反映在應(yīng)用的處理中，同時從所述拍攝裝置取得拍攝圖像，從拍攝圖像中的所述發(fā)光元件的位置來取得所述操作輸入裝置在拍攝圖像中的位置，從而將取得的位置信息反映在應(yīng)用的處理中，并生成圖像信號，用于表示基于操作輸入和取得的位置信息的應(yīng)用處理結(jié)果。
2. 如權(quán)利要求1所述的娛樂系統(tǒng)，其特征在于，所述操作輸入裝置通過在多個發(fā)光元件中僅將對該操作輸入裝置設(shè)定的 號碼所對應(yīng)的發(fā)光元件點亮，從而使發(fā)光元件作為表現(xiàn)該號碼的指示器起作用。
3. 如權(quán)利要求1所述的娛樂系統(tǒng)，其特征在于，所述處理裝置對所述操作輸入裝置發(fā)送用于控制所述發(fā)光元件的點亮的 控制信號，所述操作輸入裝置按照所述控制信號來點亮所述發(fā)光元件。
4. 如權(quán)利要求3所述的娛樂系統(tǒng)，其特征在于，所述處理裝置在將所述操作輸入裝置的位置信息反映在應(yīng)用的處理中 時，將以低頻點亮所述發(fā)光元件的第 一控制信號和以高頻點亮所述發(fā)光元件 的第二控制信號的其中 一個發(fā)送到所述操作輸入裝置。
5. 如權(quán)利要求1至4的任何一項所述的娛樂系統(tǒng)，其特征在于， 所述拍攝裝置被配置在所述圖像顯示裝置附近，使得用戶能夠識別所述圖像顯示裝置的顯示畫面的位置包含在拍攝范圍內(nèi)。
全文摘要
提供一種利用控制器(20)的LED的游戲系統(tǒng)。在本發(fā)明的游戲系統(tǒng)(1)中，拍攝裝置(2)拍攝控制器(20)?？刂破?20)具有多個用于進行操作輸入的輸入單元，以及用于表現(xiàn)在執(zhí)行的游戲應(yīng)用中對控制器(20)設(shè)定的控制器號碼的多個LED，所述操作輸入是進行游戲的操作輸入。游戲裝置(10)接受控制器(20)中的操作輸入并反映在游戲應(yīng)用的處理中，同時從拍攝裝置(2)取得拍攝圖像，從拍攝圖像中的LED的位置來取得控制器(20)在拍攝圖像中的位置，從而將取得的位置信息反映在游戲應(yīng)用的處理中，并生成圖像信號，用于表示基于操作輸入和取得的位置信息的應(yīng)用處理結(jié)果。
文檔編號G01B11/00GK101340954SQ20078000084
公開日2009年1月7日 申請日期2007年2月23日 優(yōu)先權(quán)日2006年3月14日
發(fā)明者勢川博之, 后藤禎佑, 大場章男, 齊藤勝 申請人:索尼計算機娛樂公司