于2016年3月28日提交的日本專利申請no.2016-63108其全部內(nèi)容結(jié)合于此作為參考。

本發(fā)明涉及顯示系統(tǒng)、顯示裝置、信息處理裝置以及信息處理方法。

背景技術(shù)：

作為利用具備觸摸面板的兩個顯示器裝置進行手寫輸入的發(fā)明，例如有專利文獻1中公開的顯示器裝置。該顯示器裝置在手寫筆(styluspen)于一顯示器裝置的外框附近離開而發(fā)生了抬筆事件之后，手寫筆于另一顯示器裝置的外框(bezel)附近進行接觸而發(fā)生了落筆事件時，如果從該抬筆到落筆為止所經(jīng)過的時間在預定時間內(nèi)，則進行在另一顯示器裝置中顯示的線的校正處理。

先行技術(shù)文獻

專利文獻

專利文獻1：日本特開2013-171553號公報

在專利文獻1的發(fā)明中，如果從一顯示器裝置向另一顯示器裝置移動了手寫筆，則在一顯示器裝置側(cè)檢測不到手寫筆而檢測出抬筆事件，而在另一顯示器裝置側(cè)檢測到手寫筆而檢測出落筆事件。雖然用戶將手寫筆從一顯示器裝置向另一顯示器裝置進行了移動，但裝置卻識別為手寫筆離開，從而有時無法進行用戶期望的操作。

技術(shù)實現(xiàn)要素：

本發(fā)明提供當指示體從由不同的裝置顯示的相鄰的圖像上的一方向另一方進行了移動時可以進行對應于指示體的移動的處理的技術(shù)。

本發(fā)明提供一種顯示系統(tǒng)，其具有：信息處理裝置；第一顯示裝置，基于從所述信息處理裝置供給的第一圖像數(shù)據(jù)顯示第一圖像；以及第二顯示裝置，基于從所述信息處理裝置供給的第二圖像數(shù)據(jù)顯示第二圖像，所述顯示系統(tǒng)并排(排列)顯示所述第一圖像以及所述第二圖像，并且，還包括：第一確定(specifying)部，確定在所述第一圖像中由指示體指示的位置的坐標；第一輸出部，輸出表示由所述第一確定部確定的坐標的第一坐標信息和用于識別所述第一圖像的顯示位置的第一識別信息；第二確定部，確定在所述第二圖像中由指示體指示的位置的坐標；第二輸出部，輸出表示由所述第二確定部確定的坐標的第二坐標信息和用于識別所述第二圖像的顯示位置的第二識別信息；以及轉(zhuǎn)換部，基于所述第一輸出部輸出的所述第一識別信息，將所述第一輸出部輸出的所述第一坐標信息轉(zhuǎn)換為表示所述信息處理裝置的坐標系中的坐標的第三坐標信息，并且，基于所述第二輸出部輸出的所述第二識別信息，將所述第二輸出部輸出的所述第二坐標信息轉(zhuǎn)換為表示所述信息處理裝置的坐標系中的坐標的第四坐標信息。

根據(jù)本發(fā)明，當指示體從由不同裝置顯示的相鄰圖像上的一方向另一方進行了移動時，可以進行與指示體的移動相應的處理。

在本發(fā)明中，也可以構(gòu)成為，所述第一識別信息表示所述第一圖像相對于所述第二圖像的相對位置，所述第二識別信息表示所述第二圖像相對于所述第一圖像的相對位置。

根據(jù)該構(gòu)成，可以根據(jù)所顯示的圖像的位置來進行坐標轉(zhuǎn)換。

并且，在本發(fā)明中，也可以構(gòu)成為，所述第一識別信息是所述第一顯示裝置的標識符，所述第二識別信息是所述第二顯示裝置的標識符，所述顯示系統(tǒng)還具有存儲部，所述存儲部使所述第一識別信息和所述第一圖像的顯示位置相互對應地存儲，并使所述第二識別信息和所述第二圖像的顯示位置相互對應地存儲，所述轉(zhuǎn)換部根據(jù)與所述第一識別信息對應地存儲的顯示位置來轉(zhuǎn)換所述第一坐標信息，并根據(jù)與所述第二識別信息對應地存儲的顯示位置來轉(zhuǎn)換所述第二坐標信息。

根據(jù)該構(gòu)成，可以根據(jù)所顯示的圖像的位置來進行坐標轉(zhuǎn)換。

并且，在本發(fā)明中，也可以構(gòu)成為，所述第一確定部識別指示了所述第一圖像的指示體，所述第二確定部識別指示了所述第二圖像的指示體，所述第一輸出部輸出表示所述第一確定部識別出的所述指示體的指示體標識符，所述第二輸出部輸出表示所述第二確定部識別出的所述指示體的指示體標識符，所述轉(zhuǎn)換部將對與所述指示體標識符一起輸出的所述第一坐標信息或所述第二坐標信息進行了轉(zhuǎn)換后的坐標作為通過所述指示體標識符識別的指示體的坐標。

根據(jù)該構(gòu)成，當指示體從由不同裝置顯示的相鄰圖像上的一方向另一方進行了移動時，可以按照多個指示體中的每一指示體進行與指示體的移動相應的處理。

并且，在本發(fā)明中，也可以構(gòu)成為，具有獲取部，按多個指示體中的每一指示體獲取有關(guān)該指示體的所述第一坐標信息或者所述第二坐標信息，所述轉(zhuǎn)換部對所述獲取部獲取的所述第一坐標信息或所述第二坐標信息進行轉(zhuǎn)換。

根據(jù)該構(gòu)成，當指示體從由不同裝置顯示的相鄰圖像上的一方向另一方進行了移動時，可以按照多個指示體中的每一指示體進行與指示體的移動相應的處理。

并且，在本發(fā)明中，也可以構(gòu)成為，具有：所述信息處理裝置向一顯示裝置供給圖像的第一模式；以及所述信息處理裝置向多個顯示裝置供給圖像的第二模式，所述第一顯示裝置在所述第二模式的情況下，輸出所述第一坐標信息和所述第一識別信息，所述第二顯示裝置在所述第二模式的情況下，輸出所述第二坐標信息和所述第二識別信息。

根據(jù)該構(gòu)成，當指示體從由第一顯示裝置和第二顯示裝置顯示的相鄰圖像上的一方向另一方進行了移動時，可以進行與指示體的移動相應的處理。

并且，本發(fā)明提供一種顯示裝置，具備：顯示部，顯示從信息處理裝置供給的圖像；確定部，確定在所述顯示部所顯示的圖像中由指示體指示的位置的坐標；以及輸出部，輸出坐標信息和識別信息，所述坐標信息表示由所述確定部確定的坐標，所述識別信息用于識別所述顯示部顯示的圖像的顯示位置。

并且，本發(fā)明提供一種信息處理裝置，具備：第一獲取部，獲取第一坐標信息和第一識別信息，所述第一坐標信息表示在第一顯示裝置基于從所述信息處理裝置供給的第一圖像數(shù)據(jù)而顯示的第一圖像中由指示體指示的位置的坐標，所述第一識別信息用于識別所述第一圖像的顯示位置；第二獲取部，獲取第二坐標信息和第二識別信息，所述第二坐標信息表示在第二顯示裝置基于從所述信息處理裝置供給的第二圖像數(shù)據(jù)而顯示的第二圖像中由指示體指示的位置的坐標，所述第二識別信息用于識別所述第二圖像的顯示位置；以及轉(zhuǎn)換部，基于所述第一獲取部獲取的所述第一識別信息，將所述第一獲取部獲取的所述第一坐標信息轉(zhuǎn)換為表示所述信息處理裝置的坐標系中的坐標的第三坐標信息，并基于所述第二獲取部獲取的所述第二識別信息，將所述第二獲取部獲取的所述第二坐標信息轉(zhuǎn)換為表示所述信息處理裝置的坐標系中的坐標的第四坐標信息。

根據(jù)該顯示裝置和信息處理裝置，當指示體從由不同裝置顯示的相鄰圖像上的一方向另一方進行了移動時，可以進行與指示體的移動相應的處理。

并且，本發(fā)明提供一種信息處理方法，其中，從信息處理裝置向第一顯示裝置和第二顯示裝置供給第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，從而并排顯示所述第一顯示裝置基于所述第一圖像數(shù)據(jù)顯示的第一圖像和所述第二顯示裝置基于所述第二圖像數(shù)據(jù)顯示的第二圖像，所述信息處理方法具備：第一確定步驟，確定所述第一圖像中由指示體指示的位置的坐標；第一輸出步驟，輸出表示在所述第一確定步驟中確定的坐標的第一坐標信息和用于識別所述第一圖像的顯示位置的第一識別信息；第二確定步驟，確定所述第二圖像中由指示體指示的位置的坐標；第二輸出步驟，輸出表示在所述第二確定步驟中確定的坐標的第二坐標信息和用于識別所述第二圖像的顯示位置的第二識別信息；以及轉(zhuǎn)換步驟，基于在所述第一輸出步驟中輸出的所述第一識別信息，將在所述第一輸出步驟中輸出的所述第一坐標信息轉(zhuǎn)換為表示所述信息處理裝置的坐標系中的坐標的第三坐標信息，并基于在所述第二輸出步驟中輸出的所述第二識別信息，將在所述第二輸出步驟中輸出的所述第二坐標信息轉(zhuǎn)換為表示所述信息處理裝置的坐標系中的坐標的第四坐標信息。

根據(jù)本發(fā)明，當指示體從由不同裝置顯示的相鄰圖像上的一方向另一方進行了移動時，可以進行與指示體的移動相應的處理。

附圖說明

圖1是示出顯示系統(tǒng)1所涉及的裝置的圖。

圖2是示出投影儀10a、10b和筆20的硬件構(gòu)成的圖。

圖3是示出控制部110中實現(xiàn)的功能的功能框圖。

圖4是示出檢測指示體的時序圖的一個例子的圖。

圖5是示出信息處理裝置30中實現(xiàn)的功能的功能框圖。

圖6是示出投射到屏幕sc的圖像的一個例子的圖。

圖7是用于說明動作例的圖。

圖8是用于說明動作例的圖。

圖9是用于說明動作例的圖。

圖10是示出信息處理裝置30進行的處理的流程的流程圖。

附圖標記說明

1：顯示系統(tǒng)，10a、10b：投影儀，20：筆，30：信息處理裝置，40a、40b：發(fā)光裝置，110、110a、110b：控制部、112：輸出部，113：確定部，120：存儲部，130：操作部，140：投射部，141：光源，142：光閥，143：投射光學系統(tǒng)，144：驅(qū)動電路，150：影像處理部，160、160a、160b：接口，171、172、171a、172a、171b、172b：攝像部，210：控制部，220：通信部，230：發(fā)光部，240：操作部，250：電源，301：第一獲取部，302：第二獲取部，303：轉(zhuǎn)換部。

具體實施方式

圖1是示出作為本發(fā)明一實施方式的顯示系統(tǒng)1所涉及的裝置的圖。顯示系統(tǒng)1包括信息處理裝置30、向作為顯示面的屏幕sc投射圖像的投影儀10a(第一投影儀)和投影儀10b(第二投影儀)。

在本實施方式中，信息處理裝置30是個人計算機。信息處理裝置30具有使用多個顯示器裝置擴大桌面的多重顯示器(multidisplay)功能。

作為指示體的一例的筆20起到用于操作投影儀10a、10b或者信息處理裝置30的定點設備的功能。并且，在本實施方式中，用戶的手指也可以起到操作信息處理裝置30的指示體的功能。

作為顯示裝置的一例的投影儀10a、10b將從信息處理裝置30供給的影像信號所表示的圖像投射到屏幕sc上。在本實施方式中，投影儀10a、10b成為信息處理裝置30使用多重顯示器功能時的顯示器裝置。并且，投影儀10a、10b具備用于將筆20用作信息處理裝置30的定點設備(pointingdevice)的pc操作功能。投影儀10a、10b設在屏幕sc的斜上方，朝屏幕sc投射影像。需要說明的是，在本實施方式中，投影儀10a、10b向屏幕sc投射影像，但也可以將影像投射到壁面(顯示面)，以此來代替屏幕sc。并且，在本實施方式中，投影儀10a、10b采用通過金屬配件設置于壁面的構(gòu)成，但也可以設置于天花板。當設置于天花板時，也可以將影像投射到桌子上，以此來代替屏幕sc。

發(fā)光裝置40a、40b具有向位于屏幕sc上的手指照射光的發(fā)光部。發(fā)光裝置40a、40b設在屏幕sc的上端之上，在角度θ的范圍內(nèi)向下擴散發(fā)射紅外光。從發(fā)光裝置40a、40b發(fā)射的光形成沿著屏幕sc的光層。在本實施方式中，角度θ幾乎達到180度，在屏幕sc的大致全體上形成光層。優(yōu)選地，屏幕sc的表面與由發(fā)光裝置40形成的光層靠近。光層具有可以照射到位于離開屏幕sc的表面的位置上的手指的厚度。并且，也可以通過層疊發(fā)光部來照射位于分離的位置上的手指。由投影儀10a控制來自發(fā)光裝置40a的光的發(fā)射，由投影儀10b控制來自發(fā)光裝置40b的光的發(fā)射。

(投影儀10a、10b、筆20的構(gòu)成)

圖2是示出投影儀10a、10b以及筆20的硬件構(gòu)成的圖。筆20具有控制部210、通信部220、發(fā)光部230、操作部240、電源250。電源250例如是干電池或者二次電池，向控制部210、通信部220、發(fā)光部230以及操作部240供給電力。操作部240具備控制從電源250向各部的電力供給的開關(guān)(未圖示)。一旦接通操作部240的開關(guān)，則從電源250向各部供給電力，一旦關(guān)斷操作部240的開關(guān)，則停止從電源250向各部的電力供給。發(fā)光部230具有發(fā)射紅外光的發(fā)光二極管，其設在筆20的前端。由控制部210控制發(fā)光部230的點亮及熄滅。發(fā)光部230是點光源，發(fā)光部230發(fā)出的光從筆20的前端呈球面狀擴展。通信部220具備接收紅外光的光接收元件。通信部220接收從投影儀10通過紅外光發(fā)送的各種信號。通信部220將供給有的各種信號轉(zhuǎn)換為電信號并供給到控制部210。控制部210連接于發(fā)光部230以及通信部220?？刂撇?10根據(jù)從通信部220供給的信號，開始發(fā)光部230的控制，控制發(fā)光部230的發(fā)光二極管的點亮及熄滅。

投影儀10a、10b具備控制部110、存儲部120、操作部130、投射部140。并且，投影儀10a、10b具備影像處理部150、接口160、攝像部171以及攝像部172。在本實施方式中，投影儀10a、10b的硬件構(gòu)成相同，所以在下面的說明中，當需要區(qū)分投影儀10a、10b的各部時，為了便于說明，在投影儀10a的各部的標記后面附帶“a”，在投影儀10b的各部的標記后面附帶“b”，當不需要區(qū)分各部時，省略標記后面的“a”、“b”的添加來進行說明。

接口160具有rca、d-sub、hdmi(注冊商標)等被供給影像信號的多個連接器，將從其它裝置供給到連接器的影像信號供給至影像處理部150。并且，接口160具有無線lan(localareanetwork：局域網(wǎng))、bluetooth(注冊商標)等無線通信的接口、或者usb(universalserialbus：通用串行總線)、有線lan等有線通信的接口，通過這些接口與信息處理裝置30進行通信。并且，接口160具備發(fā)射紅外光的發(fā)光二極管。接口160由控制部110控制發(fā)光二極管的點亮以及熄滅，并發(fā)送用于控制筆20所具備的發(fā)光部230的點亮以及熄滅的紅外光的信號。

存儲部120存儲有關(guān)投射的影像的畫質(zhì)的設定值、有關(guān)各種功能的設定的信息。操作部130具備用于操作投影儀10的多個按鈕。根據(jù)被操作的按鈕，控制部110控制各部，從而進行投射到屏幕sc的影像的調(diào)整、投影儀10所具有的各種功能的設定等。

影像處理部150獲取從接口160供給的影像信號。并且，影像處理部150從控制部110獲取用于操作投影儀10的gui等屏幕上圖像(on-screenimage)的信號。影像處理部150具備各種圖像處理功能，對于從接口160供給的影像信號進行圖像處理，調(diào)整投射的影像的畫質(zhì)。當從控制部110供給有屏幕上圖像的信號時，影像處理部150向投射部140供給重疊有屏幕上圖像的信號的影像信號。

投射影像的投射部140具有光源141、光閥142、驅(qū)動電路144以及投射光學系統(tǒng)143。光源141是發(fā)射光的燈，光源141發(fā)射的光通過未圖示的多個二向色鏡、反射鏡而分光為紅色、綠色、藍色的光，分光后的紅色、綠色、藍色各光被引導到光閥142。需要說明的是，光源141也可以不是燈，而是發(fā)光二極管或發(fā)射激光的半導體激光裝置。

驅(qū)動電路144獲取從影像處理部150供給的影像信號。被供給到驅(qū)動電路144的影像信號具有表示投射的圖像中的紅色成分的灰度(gradation)的灰度數(shù)據(jù)、表示投射的圖像中的綠色成分的灰度的灰度數(shù)據(jù)以及表示投射的圖像中的藍色成分的灰度的灰度數(shù)據(jù)。驅(qū)動電路144提取紅色、綠色、藍色各色的灰度數(shù)據(jù)，并基于提取的各色的灰度數(shù)據(jù)驅(qū)動光閥142。

光閥142具有上述的紅色光入射的液晶光閥、上述的綠色光入射的液晶光閥以及上述的藍色光入射的液晶光閥。液晶光閥是透過式液晶面板，具備矩陣狀配置有多行多列的像素?；诩t色的灰度數(shù)據(jù)驅(qū)動紅色光入射的液晶光閥，基于綠色的灰度數(shù)據(jù)驅(qū)動綠色光入射的液晶光閥，基于藍色的灰度數(shù)據(jù)驅(qū)動藍色光入射的液晶光閥。通過驅(qū)動電路144來控制各液晶光閥的各像素，從而像素的透過率發(fā)生變化。通過控制像素的透過率，從而透過液晶光閥的各顏色的光變成對應于各灰度數(shù)據(jù)的圖像。透過液晶光閥的紅色、綠色、藍色光的圖像由未圖示的二向色棱鏡合成而入射到投射光學系統(tǒng)143。投射光學系統(tǒng)143是將入射的圖像放大的光學系統(tǒng)，其通過透鏡、反射鏡放大入射的圖像而投射到屏幕sc。當圖像投射到屏幕sc時，在作為顯示面的屏幕sc上顯示圖像。需要說明的是，既可以采用反射式液晶面板，也可以采用數(shù)碼鏡裝置等來代替透過式液晶面板。

為了立體式(stereosystem)確定筆20的位置以及從筆20到屏幕sc的距離，投影儀10a、10b具有兩個攝像部171以及攝像部172。攝像部171以及攝像部172具備接收由發(fā)光部230發(fā)射的紅外光的攝像元件(cmos、ccd等)、在攝像元件成像的光學系統(tǒng)、限制入射到攝像元件的光的光圈等。攝像部171以及攝像部172將投射部140的投射范圍作為拍攝范圍，生成拍攝到的范圍的圖像，并將生成的圖像供給至控制部110。需要說明的是，在本實施方式中，投影儀10a、10b設在屏幕sc的斜上方，所以攝像部171以及攝像部172從斜上方拍攝投射范圍。

控制部110是具備cpu(centralprocessingunit：中央處理單元)、rom(readonlymemory：只讀存儲器)以及ram(randomaccessmemory：隨機存取存儲器)的微型計算機。當cpu執(zhí)行了存儲在rom中的程序時，控制部110控制各部，實現(xiàn)將影像投射到屏幕sc的功能、上述的pc操作功能等。

圖3是示出通過執(zhí)行rom的程序而在控制部110中實現(xiàn)的功能的功能框圖。確定部113解析從攝像部171以及攝像部172供給的圖像，以確定通過作為指示體的筆20或者手指而發(fā)生的事件。并且，確定部113解析從攝像部171以及攝像部172供給的圖像，以確定投射部140投射的圖像的顯示區(qū)域中的指示體的位置坐標和從指示體到圖像顯示面、即屏幕sc的距離。

確定部113按照例如圖4所示的時序圖，周期性地確定圖像投射區(qū)域中筆20的發(fā)光部230的位置、作為指示體的一例的手指的位置。在確定手指的位置、發(fā)光部230的位置的期間，如圖4所示，具有從階段p11到階段p14共四個階段。在檢測手指位置、發(fā)光部230的位置時，重復階段p11到階段p14。階段p11是用于使投影儀10用攝像部171以及攝像部172進行拍攝的時機與筆20發(fā)光的時機和發(fā)光裝置40發(fā)射紅外光的時機同步的階段。在階段p11中，確定部113控制通信部180，以在規(guī)定期間te1輸出紅外光的同步信號。

在筆20中，通信部220接收同步信號，在供給有同步信號后經(jīng)過了預定時間時，控制部210控制發(fā)光部230，以使發(fā)光部230在預設的期間te2點亮。在本實施方式中，控制為發(fā)光部230從階段p12、階段p13以及階段p14的開始時間點起點亮。并且，確定部113控制發(fā)光裝置40，以使發(fā)光裝置40從階段p12以及階段p14的開始時間起在期間te2內(nèi)發(fā)射紅外光。

在階段p12～階段p14中，確定部113控制攝像部171以及攝像部172以設定的快門速度拍攝包括屏幕sc的預定范圍。在攝像部171以及攝像部172中通過電子快門功能進行曝光的曝光期間從階段p12、階段p13、階段p14各階段的開始時間點開始。結(jié)束曝光的時間點由所設定的快門速度決定，在各階段的期間內(nèi)。攝像部171及攝像部172在階段p12～階段p14的曝光期間拍攝到的圖像供給至確定部113。

確定部113利用從攝像部171以及攝像部172供給的圖像來確定位于投射的圖像上的手指、發(fā)光部230的位置、從屏幕sc到發(fā)光部230的距離。具體地，在階段p12和階段p14中，當發(fā)光裝置40發(fā)射的紅外光照射到手指時，從發(fā)光裝置40射出并被手指反射的紅外光拍到由攝像部171和攝像部172得到的圖像中。并且，在階段p12和階段p14中，當發(fā)光部230位于攝像部171以及攝像部172的拍攝范圍內(nèi)時，發(fā)光部230發(fā)射的紅外光也拍到由攝像部171以及攝像部172得到的圖像中。在階段p13中，發(fā)光裝置40不發(fā)射光，所以發(fā)光部230發(fā)射的紅外光拍到由攝像部171以及攝像部172得到的圖像中。

在階段p12～階段p14中，確定部113以立體法確定拍到由攝像部171和攝像部172得到的圖像中的紅外光的位置以及到屏幕sc的距離。確定部113確定在階段p12和階段p14中確定了位置的紅外光中位于與在階段p13中確定了位置的紅外光的位置靠近的位置上的紅外光，并將確定了的紅外光的位置設為發(fā)光部230的位置。并且，確定部113將在階段p12和階段p14中確定了位置的紅外光中離在階段p13中確定了位置的紅外光遠的紅外光位置設為手指的位置。需要說明的是，在階段p13中紅外光不在拍攝范圍內(nèi)時，確定部113將在階段p12和階段p14中確定了的位置設為手指位置。這些確定了的位置在進行描繪功能、進行g(shù)ui的操作時使用。

輸出部112經(jīng)由usb線纜從接口160向信息處理裝置30發(fā)送表示由確定部113確定了位置的指示體的種類的作為指示體標識符的一個例子的指示體id、表示確定部113所確定的指示體的事件的事件信息、表示確定部113所確定的位置的坐標的坐標信息、表示自身裝置投射的圖像與多重顯示器功能的兩個畫面中的哪一個畫面對應的識別信息等。

(信息處理裝置30的構(gòu)成)

接著，說明信息處理裝置30的構(gòu)成。信息處理裝置30中安裝有設備驅(qū)動程序(devicedriver)，其獲取從投影儀10a、10b供給的信息，并將投影儀10a、10b用作定點設備。

圖5是通過執(zhí)行該設備驅(qū)動程序而在信息處理裝置30中實現(xiàn)的功能的功能框圖。第一獲取部301獲取從投影儀10a供給的各種信息。第二獲取部302獲取從投影儀10b供給的各種信息。

轉(zhuǎn)換部303在第一獲取部301獲取的事件信息和第二獲取部302獲取的事件信息滿足預定的條件時，將第一獲取部301獲取的事件信息和第二獲取部302獲取的事件信息的組轉(zhuǎn)換為預定的事件信息。并且，轉(zhuǎn)換部303將第一獲取部301獲取的坐標信息和第二獲取部302獲取的坐標信息轉(zhuǎn)換為通過多重顯示器功能而擴大的畫面的坐標。例如，圖6所示的畫面例是示出了利用了多重顯示器功能時由投影儀10a、10b投射的圖像的一個例子的圖，區(qū)域a1的部分是投影儀10a投射的圖像，區(qū)域a2的部分是投影儀10b投射的圖像。

在通過攝像部171a以及攝像部172a得到的圖像中，確定部113a設定有以區(qū)域a1的左上頂點為原點，取向右方向為x軸，取向下方向為y軸的坐標系，由此確定筆20的坐標。并且，在通過攝像部171b以及攝像部172b得到的圖像中，確定部113b設定有以區(qū)域a2的左上頂點為原點，取向右方向為x軸，取向下方向為y軸的坐標系，由此確定筆20的坐標。并且，在區(qū)域a1+區(qū)域a2的區(qū)域中，信息處理裝置30設定有以區(qū)域a1的左上頂點為原點，取向右方向為x軸，取向下方向為y軸的坐標系。

在本實施方式中，確定部113a確定的坐標被標準化(正規(guī)化)，原點是(0，0)，x軸方向的坐標范圍是0～100，y軸方向的坐標范圍是0～100。確定部113a在所確定的筆20的坐標在區(qū)域a1的左端時，將x軸方向的坐標設為0，在所確定的筆20的坐標在區(qū)域a1的右端時，將x軸方向的坐標設為100。

并且，確定部113b確定的坐標也被標準化，原點是(0，0)，x軸方向的坐標范圍是0～100，y軸方向的坐標范圍是0～100。確定部113b在所確定的筆20的坐標在區(qū)域a2的左端時，將x軸方向的坐標設為0，在所確定的筆20的坐標在區(qū)域a2的右端時，將x軸方向的坐標設為100。

并且，信息處理裝置30處理的坐標也被標準化，原點是(0，0)，x軸方向的坐標范圍是0～100，y軸方向的坐標范圍是0～100。換言之，在區(qū)域a1的左端，x軸方向的坐標是0，在區(qū)域a2的右端，x軸方向的坐標是100。

在區(qū)域a1內(nèi)，當投影儀10a確定了位于區(qū)域a1的右上頂點的筆20的位置時，筆20的坐標信息是用在投影儀10a中設定的坐標系表示的坐標，由第一獲取部301獲取該坐標信息(第一坐標信息)。轉(zhuǎn)換部303將該第一獲取部301獲取的坐標信息轉(zhuǎn)換為與信息處理裝置30在區(qū)域a1中設定的坐標系對應的坐標信息。例如，當投影儀10a確定的坐標是(50，50)時，轉(zhuǎn)換部303將表示該坐標的坐標信息轉(zhuǎn)換為表示(25，50)的坐標的坐標信息(第三坐標信息)。

并且，在圖6所示的區(qū)域a2內(nèi)，當投影儀10b確定了位于區(qū)域a2的右上頂點的筆20的位置時，筆20的坐標信息是用設在投影儀10b中的坐標系表示的坐標，由第二獲取部302獲取該坐標信息(第二坐標信息)。轉(zhuǎn)換部303將該第二獲取部302獲取的坐標信息轉(zhuǎn)換為與信息處理裝置30在區(qū)域a2中設定的坐標系對應的坐標信息。例如，當由投影儀10b確定的坐標是(50，50)時，轉(zhuǎn)換部303將表示該坐標的坐標信息轉(zhuǎn)換為表示(75，50)的坐標的坐標信息(第四坐標信息)。轉(zhuǎn)換部303將事件信息、坐標信息供給至操作系統(tǒng)os。

(實施方式的動作例)

接著，說明本實施方式的動作例。在本實施方式中，信息處理裝置30和投影儀10a、10b通過usb線纜連接，經(jīng)由usb線纜進行通信。并且，信息處理裝置30和投影儀10a、10b通過影像線纜連接，投影儀10a、10b獲取從信息處理裝置30供給的影像信號。

在信息處理裝置30中，關(guān)于多重顯示器功能，進行了將兩個畫面左右并排而擴展桌面的設定，信息處理裝置30將左側(cè)畫面的影像信號(第一圖像數(shù)據(jù))供給至投影儀10a，將右側(cè)畫面的影像信號(第二圖像數(shù)據(jù))供給至投影儀10b。并且，在投影儀10a、10b中進行了對應于多重顯示器功能的兩個畫面中的哪一個畫面的設定，投影儀10a中進行了對應于“左”畫面的設定，投影儀10b中進行了對應于“右”畫面的設定。

圖6是由投影儀10a、10b投射于屏幕sc的圖像的一個例子。圖6的區(qū)域a1的部分是投影儀10a投射的圖像(第一圖像)，區(qū)域a2的部分是投影儀10b投射的圖像(第二圖像)。在以多重顯示器功能采用了直視式(directviewing)顯示器裝置時，由于顯示器裝置具備包圍顯示畫面的框架(外框)，所以左側(cè)畫面與右側(cè)畫面間留有間隙，但在本實施方式中，可以將投影儀10a投射的圖像和投影儀10b投射的圖像左右并排顯示(所謂的拼接顯示(tilingdisplay))，所以可以并排顯示兩個畫面而不會留有間隙。

攝像部171a以及攝像部172a拍攝區(qū)域a1。在從攝像部171a以及攝像部172a供給的圖像中，控制部110a以區(qū)域a1的左上頂點為原點，將從原點起向右的方向設為x軸的正方向，將從原點起向下的方向設為y軸的正方向來設定xy坐標。并且，攝像部171b以及攝像部172b拍攝區(qū)域a2。在從攝像部171b以及攝像部172b供給的圖像中，控制部110b以區(qū)域a2的左上頂點為原點，將從原點起向右的方向設為x軸的正方向，將從原點起向下的方向設為y軸的正方向來設定xy坐標。

當發(fā)射紅外光的筆20進入攝像部171a以及攝像部172a的拍攝范圍內(nèi)時，在攝像部171a以及攝像部172a生成的圖像中拍到發(fā)光部230發(fā)射的紅外光。控制部110a(確定部113：第一確定部)解析從攝像部171a以及攝像部172a供給的圖像，確定區(qū)域a1的xy坐標中的紅外光的位置坐標和從紅外光到屏幕sc的距離(即、從筆20的前端到屏幕sc的距離)。

例如，當用戶將筆20的發(fā)光部230接觸到圖7所示的位置p1時，控制部110a解析從攝像部171a以及攝像部172a供給的圖像，將從紅外光到屏幕sc的距離確定為0，檢測出筆20接觸到屏幕sc。并且，控制部110a根據(jù)從攝像部171a以及攝像部172a供給的圖像，確定位置p1的坐標。

控制部110a(輸出部112：第一輸出部)經(jīng)由usb線纜從接口160a向信息處理裝置30發(fā)送表示檢測到的指示體種類的指示體id、表示指示體的事件的事件信息、表示所確定的指示體的坐標的坐標信息(第一坐標信息)、表示投影儀10a投射的圖像與多重顯示器功能的兩個畫面中的哪一個畫面對應的識別信息。投影儀10a發(fā)送的識別信息是表示相對于其它投影儀顯示的圖像，投影儀10a投射的圖像相對地與右和左中的哪一顯示位置對應的第一識別信息的一個例子。在這里，控制部110a檢測到了筆20，所以將指示體id的內(nèi)容設為表示筆的“筆”，將事件信息設為表示筆20接觸到投射面的“落筆”，并且投影儀10a的畫面進行了對應于左側(cè)的設定，所以識別信息設為“左”。

信息處理裝置30(第一獲取部301)獲取從投影儀10a發(fā)送的信息，進行對應于獲取到的信息的處理。首先，信息處理裝置30(轉(zhuǎn)換部303)將包含在獲取的信息中的坐標信息轉(zhuǎn)換為通過多重顯示器功能擴展的畫面的坐標。具體地，在被擴展的矩形畫面中，信息處理裝置30以左上頂點為原點，將從原點起向右的方向設為x軸的正方向，將從原點起向下的方向設為y軸的正方向來設定xy坐標。當事件信息是“落筆”且獲取到的識別信息為“左”時，信息處理裝置30將獲取到的坐標信息轉(zhuǎn)換為由投影儀10a顯示的左側(cè)區(qū)域內(nèi)的坐標。當轉(zhuǎn)換后的坐標是圖標上的位置p1時，信息處理裝置30拖動位于位置p1的圖標。

控制部110a利用從攝像部171a以及攝像部172a供給的圖像周期性地確定從紅外光到屏幕sc的距離和紅外光的位置。當用戶使筆20從位置p1向圖7所示的箭頭方向進行了移動時，控制部110a解析從攝像部171a以及攝像部172a供給的圖像，并將從紅外光到屏幕sc的距離確定為0。當新確定的距離是0且上次確定的距離也是0時，對于指示體(筆20)的事件，控制部110a設為表示指示體在移動中的“移動(move)”。并且，控制部110a根據(jù)從攝像部171a以及攝像部172a供給的圖像確定紅外光移動后的位置的坐標。

控制部110a將指示體id、事件信息、坐標信息以及識別信息經(jīng)由usb線纜從接口160a發(fā)送給信息處理裝置30。在這里，控制部110a將指示體id的內(nèi)容設為表示檢測到的筆20的“筆”，將事件信息設為表示筆20進行了移動的“移動”，對于識別信息，由于投影儀10a的畫面進行了對應于左側(cè)的設定，所以設為“左”。

當事件信息是“移動”且獲取到的識別信息為“左”時，信息處理裝置30將獲取到的坐標信息轉(zhuǎn)換為由投影儀10a顯示的左側(cè)區(qū)域內(nèi)的坐標。當事件信息是“移動”時，信息處理裝置30根據(jù)轉(zhuǎn)換后的坐標移動位于位置p1的圖標。

接著，當用戶保持使筆20接觸到屏幕sc進行移動、且筆20發(fā)射的紅外光的位置變?yōu)榱藞D8所示的區(qū)域a1的右端的位置p1時，控制部110a經(jīng)由usb線纜從接口160a向信息處理裝置30發(fā)送表示“筆”的指示體id、表示“移動”的事件信息、表示位置p11的坐標的坐標信息、表示“左”的識別信息。信息處理裝置30在獲取到了從投影儀10a發(fā)送的信息時，根據(jù)獲取到的坐標信息所表示的坐標，使處于拖動狀態(tài)的圖標移動。

接著，當用戶保持使筆20接觸到屏幕sc進行移動、且紅外光的位置從區(qū)域a1移動到區(qū)域a2而如圖9所示變?yōu)榱藚^(qū)域a2的左端的位置p2時，在攝像部171a及攝像部172a生成的圖像中沒有拍到筆20發(fā)射的紅外光，而在攝像部171b及攝像部172b生成的圖像中拍到筆20發(fā)射的紅外光。

當在攝像部171a及攝像部172a生成的圖像中沒有拍到紅外光時，控制部110a針對指示體的事件，將其設為表示指示體離開投射面的“抬筆”。

另一方面，在攝像部171b及攝像部172b生成的圖像中拍到發(fā)光部230發(fā)射的紅外光。控制部110b(確定部113：第二確定部)獲取從攝像部171b及攝像部172b供給的圖像。控制部110b解析從攝像部171b及攝像部172b供給的圖像，并將從紅外光到屏幕sc的距離確定為0，檢測到筆20接觸到屏幕sc。并且，控制部110b根據(jù)從攝像部171b及攝像部172b供給的圖像確定位置p2的坐標。

控制部110a經(jīng)由usb線纜將指示體id、事件信息、坐標信息以及識別信息從接口160a發(fā)送到信息處理裝置30。在這里，控制部110a將指示體id的內(nèi)容設為表示筆的“筆”，將事件信息設為表示筆20離開投射面的“抬筆”，至于識別信息，設為“左”。

并且，控制部110b(輸出部112：第二輸出部)將指示體id、事件信息、坐標信息(第二坐標信息)以及識別信息經(jīng)由usb線纜從接口160b發(fā)送到信息處理裝置30。在這里，控制部110b將指示體id的內(nèi)容設為表示檢測到的筆的“筆”，將事件信息設為表示筆20接觸到投射面的“落筆”，至于識別信息，由于投影儀10b的畫面投射到右側(cè)，所以設為“右”。投影儀10b發(fā)送的識別信息是表示相對于其它投影儀顯示的圖像，投影儀10b投射的圖像相對地與右和左中的哪一顯示位置對應的第二識別信息的一個例子。

信息處理裝置30獲取從投影儀10a供給的信息。并且，信息處理裝置30(第二獲取部302)獲取從投影儀10b供給的信息。信息處理裝置30(轉(zhuǎn)換部303)將獲取到的信息中包含的坐標信息轉(zhuǎn)換為通過多重顯示器功能擴展的畫面的坐標。當事件信息為“落筆”且獲取到的識別信息為“右”時，信息處理裝置30將獲取到的坐標信息轉(zhuǎn)換為由投影儀10b顯示的右側(cè)區(qū)域內(nèi)的坐標。

當從一投影儀供給的事件信息從“移動”變?yōu)椤疤ЧP”、且從另一投影儀供給的事件信息為“落筆”時，信息處理裝置30進行替換事件信息的處理。

圖10是示出替換事件信息的處理的流程的流程圖。信息處理裝置30判斷是否從一投影儀供給有“移動”的事件信息，接著從該一投影儀供給有“抬筆”的事件信息(步驟s1)。當從一投影儀供給有“移動”的事件信息，接著又從該一投影儀供給有“抬筆”的事件信息(步驟s1中“是”)時，信息處理裝置30判斷在被供給有該“抬筆”的事件信息起的預定時間內(nèi)是否從另一投影儀供給有“落筆”的事件信息(步驟s2)。當在預定的時間內(nèi)從另一投影儀供給有“落筆”的事件信息時(步驟s2中“是”)，信息處理裝置30將從一投影儀供給的“抬筆”的事件信息和從另一投影儀供給的“落筆”的事件信息的組替換為“移動”的事件信息(步驟s3)。需要說明的是，在步驟s2中判斷為否時，信息處理裝置30結(jié)束圖10的處理。

例如，當從投影儀10a接著“移動”的事件信息之后供給有“抬筆”的事件信息、且在被供給有該“抬筆”的事件信息起的預設的時間內(nèi)從投影儀10b供給有“落筆”的事件信息時，信息處理裝置30將從投影儀10a供給的“抬筆”的事件信息和從投影儀10b供給的“落筆”的事件信息的組替換為“移動”的事件信息。

并且，在步驟s1中判斷為否時，信息處理裝置30判斷是否從一投影儀供給有“移動”的事件信息，接著從另一投影儀供給有“落筆”的事件信息(步驟s4)。當從一投影儀供給有“移動”的事件信息，接著從另一投影儀供給有“落筆”的事件信息時(步驟s4中“是”)，信息處理裝置30判斷從供給有該“落筆”的事件信息起的預定的時間內(nèi)是否從一投影儀獲取到“抬筆”的事件信息(步驟s5)。在預定的時間內(nèi)從一投影儀獲取到“抬筆”的事件信息時(步驟s5中“是”)，信息處理裝置30將從另一投影儀供給的“落筆”的事件信息和從一投影儀獲取的“抬筆”的事件信息的組替換為“移動”的事件信息(步驟s3)。需要說明的是，在步驟s4中判斷為否時、在步驟s5中判斷為否時，信息處理裝置30結(jié)束圖10的處理。

例如，當從投影儀10a供給有“移動”的事件信息，接著從投影儀10b供給有“落筆”的事件信息，并且在從供給有該“落筆”的事件信息起的預定的時間內(nèi)從投影儀10a供給有“抬筆”的事件信息時，信息處理裝置30將從投影儀10b供給的“落筆”的事件信息和從投影儀10a供給的“抬筆”的事件信息的組替換為“移動”的事件信息。

當信息處理裝置30將事件信息的組替換為了“移動”的事件信息時，根據(jù)與“落筆”的事件信息一起被供給并進行了轉(zhuǎn)換的坐標，移動處于拖動狀態(tài)的圖標。由此，被拖動的圖標的顯示位置變成區(qū)域a2內(nèi)的位置p2的位置。

需要說明的是，信息處理裝置30將筆20從區(qū)域a2移動到了區(qū)域a1時，與將筆20從區(qū)域a1移動到了區(qū)域a2時相同地將“抬筆”的事件信息和“落筆”的事件信息的組替換為“移動”的事件信息。

如上所述，根據(jù)本實施方式，通過將“抬筆”的事件信息和“落筆”的事件信息的組替換為“移動”的事件信息，從而即使將筆20從相鄰的兩個圖像中的一圖像的區(qū)域向另一圖像的區(qū)域移動，也能在圖像的邊界附近順利地移動圖標。并且，根據(jù)本實施方式，由信息處理裝置30對從投影儀10a、10b供給的坐標信息進行轉(zhuǎn)換，所以可以將多個投影儀用作定點設備。

需要注意的是，在上述的說明中，以檢測到筆20的情況為例說明了動作例，但也可以通過檢測被手指反射的發(fā)光裝置40的紅外光來檢測作為指示體的一個例子的手指。當檢測到手指時，控制部110將指示體id設為“手指”。當檢測到多個手指時，控制部110確定檢測到的每一手指的坐標，并將所確定的多個坐標發(fā)送給信息處理裝置30。這時，可以將投影儀10a、10b用作作為定點設備的一個例子的觸摸面板，可以進行縮小(pinch-in)、放大(pinch-out)處理。

[變形例]

以上說明了本發(fā)明的實施方式，但本發(fā)明并不限定于上述的實施方式，能以其它各種方式進行實施。例如，也可以將上述實施方式像下述這樣變形來實施本發(fā)明。需要說明的是，關(guān)于上述的各實施方式以及下面的變形例，也可以適當組合一個或多個來加以實施。

在上述實施方式中，投影儀10a、10b向信息處理裝置30供給了“右”、“左”等信息作為識別信息，但識別信息的內(nèi)容并不限定于實施方式的內(nèi)容。例如，在以多重顯示器功能使用三臺投影儀時，用戶在三臺投影儀各自中，將投射左畫面的投影儀設定為“1”，投射中間畫面的投影儀設定為“2”，投射右畫面的投影儀設定為“3”。該識別信息是表示投影儀投射的圖像與多重顯示器功能的多個畫面中的哪一畫面對應的信息，并且也是識別投影儀的標識符。在信息處理裝置30中將“1”設定為左畫面，“2”設定為中間畫面，“3”設定為右畫面。信息處理裝置30根據(jù)與獲取到的識別信息對應的畫面位置轉(zhuǎn)換獲取到的坐標信息。例如，當從投影儀獲取到作為識別信息的“2”時，將所獲取的坐標信息轉(zhuǎn)換為由中間的投影儀顯示的正中的圖像區(qū)域內(nèi)的坐標。

在上述實施方式中，投影儀10a、10b也可以構(gòu)成為，當從攝像部171以及攝像部172供給的圖像檢測到筆20和手指雙方時，對應筆20和手指各自向信息處理裝置30供給指示體id、事件信息、坐標信息以及識別信息。在該變形例中，針對筆20和手指各自，信息處理裝置30將獲取到的坐標信息轉(zhuǎn)換為通過多重顯示器功能擴展的畫面的坐標。根據(jù)該變形例，可以將筆20和手指雙方用作定點設備。

在本發(fā)明中，信息處理裝置30具備第一獲取部301和第二獲取部302，但對于獲取來自投影儀10a的信息的第一獲取部301，也可以采用分為在指示體id是“筆”時獲取指示體id、事件信息、坐標信息以及識別信息的塊、和在指示體id是“手指”時獲取指示體id、事件信息、坐標信息以及識別信息的塊的構(gòu)成。并且，對于獲取來自投影儀10b的信息的第二獲取部302，同樣也可以采用分為在指示體id是“筆”時獲取指示體id、事件信息、坐標信息以及識別信息的塊、和在指示體id是“手指”時獲取指示體id、事件信息、坐標信息以及識別信息的塊的構(gòu)成。

在本發(fā)明中，還可以構(gòu)成為，當是信息處理裝置30未使用多重顯示器功能而是向一臺投影儀供給圖像的第一模式時，投影儀10a、10b不輸出識別信息，當是信息處理裝置30使用多重顯示器功能的第二模式時，投影儀10a、10b輸出識別信息。

在上述實施方式中，信息處理裝置30根據(jù)從投影儀10a、10b供給的事件信息和坐標信息進行拖動處理，但根據(jù)從投影儀10a、10b供給的事件信息和坐標信息進行的處理并不限定于拖動處理。例如，信息處理裝置30還可以根據(jù)事件信息和坐標信息進行描繪處理。根據(jù)本變形例，當信息處理裝置30執(zhí)行了繪圖軟件時，可以根據(jù)筆20的移動進行描繪。并且，在信息處理裝置30將繪圖軟件的畫面擴展至整個桌面的情況下，若保持筆20接觸于投射面的狀態(tài)將筆20從區(qū)域a1移動至區(qū)域a2或從區(qū)域a2移動至區(qū)域a1時，可以在區(qū)域a1與區(qū)域a2的邊界不發(fā)生中斷地進行線的描繪。