專利名稱：具備近接感測(cè)投影點(diǎn)坐標(biāo)指示的離屏觸控交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于ー種觸控式圖形界面人機(jī)交互系統(tǒng)，特別是關(guān)于觸控裝置與顯示裝置分離的、觸控裝置具備近接物體投影點(diǎn)坐標(biāo)感測(cè)、圖形界面上可顯示近接物體投影點(diǎn)位置指示點(diǎn)的觸控式圖形界面人機(jī)交互系統(tǒng)。
背景技術(shù)：
目前圖形界面人機(jī)交互系統(tǒng)主要有以下兩大類。ー類是已經(jīng)廣泛應(yīng)用多年的基于鼠標(biāo)輸入的圖形界面，以美國微軟公司的Window操作系統(tǒng)圖形界面為典型代表。這種圖形界面交互方式的主要特點(diǎn)是，界面上始終顯示一個(gè)指示點(diǎn)，例如鼠標(biāo)箭頭或文字輸入光標(biāo)。使用者操作一個(gè)ニ維平面坐標(biāo)輸入設(shè)備，例如鼠標(biāo)、軌跡球、觸控板(TouchPad)Jl^Jf (TrackPoint)等,該設(shè)備產(chǎn)生ニ維坐標(biāo)數(shù)據(jù)，圖形界面根據(jù)該坐標(biāo)數(shù)據(jù)定位鼠標(biāo)或光標(biāo)，根據(jù)該坐標(biāo)數(shù)據(jù)的變化而在圖形界面上移動(dòng)鼠標(biāo)或光標(biāo)，從而定位圖形界面上的各種元素，如按鈕、菜単、圖標(biāo)、文字等，然后利用對(duì)機(jī)械按鍵或觸控板的點(diǎn)擊動(dòng)作對(duì)已定位的界面元素進(jìn)行點(diǎn)選(click)操作，或在點(diǎn)擊后并且釋放按鍵之前進(jìn)行拖曳(drag)操作。另ー類是近年來逐漸流行的觸控式圖形界面，以美國蘋果電腦公司的手機(jī)和平板電腦所采用的圖形界面為典型代表。這種圖形界面交互方式的主要特點(diǎn)是，其顯示屏同時(shí)也是ー個(gè)觸控面板，無論實(shí)際實(shí)現(xiàn)上觸控面板與顯示屏是集成為單ー設(shè)備，還是觸控面板作為附加設(shè)備覆蓋于顯示屏之上，對(duì)于使用者來說沒有可察覺的區(qū)別，兩者融為一體。這種觸控界面不需要顯示指示點(diǎn)，因?yàn)槭种富蛴|控筆等物體本身就指明了觸碰的位置。使用者因此可以根據(jù)直覺用手指或觸控筆等物體對(duì)圖形界面中的元素進(jìn)行點(diǎn)選(click)、拖曳(drag)等操作，并且可以支持多個(gè)觸控點(diǎn)，以及執(zhí)行更多復(fù)雜的基于手勢(shì)(Gesture)的操作。這種交互方式帶來了十分出色的用戶體驗(yàn)，在便攜式設(shè)備上的應(yīng)用近年來得到了飛速的發(fā)展。上述第一類交互系統(tǒng)的主要缺陷在干，1，操作圖形界面的直觀性和易用性相對(duì)較差，例如選取ー個(gè)界面元素需要兩個(gè)動(dòng)作首先通過ニ維坐標(biāo)輸入設(shè)備移動(dòng)指示點(diǎn)到界面元素上方，然后通過點(diǎn)擊機(jī)械按鍵或觸控板來執(zhí)行點(diǎn)選操作。2，此種系統(tǒng)通常只同時(shí)支持ー個(gè)指示點(diǎn)，即使有多個(gè)輸入設(shè)備接入系統(tǒng)，也只能對(duì)這ー個(gè)指示點(diǎn)進(jìn)行移動(dòng)，例如筆記本電腦同時(shí)具備觸控板和鼠標(biāo)，但是圖形界面上鼠標(biāo)或光標(biāo)總是只有ー個(gè)。也因此無法實(shí)現(xiàn)更多的手勢(shì)操作，如在觸控式圖形界面上易于實(shí)現(xiàn)的兩個(gè)手指分開放大圖像，合攏縮小圖像。3，此種交互系統(tǒng)的輸入設(shè)備通常需要機(jī)械按鍵或鍵盤的配合才能完整地實(shí)現(xiàn)所有交互操作。 上述第二類交互系統(tǒng)的直觀性和易用性優(yōu)于第一類，但是其最大的缺陷或者說限制在于，觸控面板必須與顯示屏合為一體，這樣才能達(dá)到交互操作時(shí)的直觀性和易用性。這就要求要么將觸控面板完全集成于顯示屏之內(nèi)(in-cell)，或者以透明的形式覆蓋于顯示屏之上。這樣帶來的問題在干，1，觸控面板的技術(shù)要求和生產(chǎn)成本較高，生產(chǎn)過程中的良品率相對(duì)較低。2，對(duì)于非便攜式設(shè)備，例如平板電視、投影儀等，其顯示屏通常尺寸較大，因此使用者需要與顯示屏之間保持一定距離，才能獲得較舒適的視野范圍和清晰度，如此ー來使用者無法直接觸摸到顯示屏，如果一定要使用者靠近顯示屏去進(jìn)行觸控操作，完成操作之后再后退到原來的位置，無疑使用起來極為不便，用戶體驗(yàn)甚至比采用鼠標(biāo)的方式更糟。這是此類交互系統(tǒng)最大的局限性。

目前已經(jīng)出現(xiàn)ー些觸控式遙控器，其配置有觸控面板，可將觸控信息傳送至接收端，進(jìn)而控制遠(yuǎn)端的圖形交互界面，但是現(xiàn)有的這類產(chǎn)品都未能很好地解決ー個(gè)主要矛盾因?yàn)橛|控面板與顯示屏分離，使用者無法通過觸控面板直觀地定位圖形界面上的元素，因而無法直觀、快捷地實(shí)現(xiàn)交互操作。已知的解決方案包括1，實(shí)質(zhì)上是將上述第一類交互系統(tǒng)的ニ維坐標(biāo)輸入設(shè)備改裝為無線傳輸，或較遠(yuǎn)距離的有線傳輸，使用者通過遙控器上的觸控面板控制顯示屏上的鼠標(biāo)或光標(biāo)，移動(dòng)到指定的界面元素之上，然后再通過點(diǎn)擊動(dòng)作實(shí)現(xiàn)點(diǎn)選，這種方案繼承了上述第一類交互系統(tǒng)的所有缺陷。2，遙控器具備顯示屏和觸控面板，遙控器與受控端建立雙向數(shù)據(jù)連接，受控端可將顯示在遠(yuǎn)端顯示屏上的圖形界面部分或全部傳送到該遙控器上，在遙控器顯示屏上同步顯示出來，使用者可直觀地在遙控器上執(zhí)行觸控交互操作。此種方案的缺陷為，使用者視線必須在遠(yuǎn)端顯示屏和遙控器顯示屏之間轉(zhuǎn)換，使用者在執(zhí)行交互操作時(shí)無法同時(shí)觀看遠(yuǎn)端顯示屏上的內(nèi)容，其易用性大打折扣；且基于傳輸速率限制，遠(yuǎn)端顯示屏上顯示的內(nèi)容有時(shí)不能完整地，實(shí)時(shí)地在遙控器顯示屏上呈現(xiàn)；另外，此種方案遙控器和接收端的成本都較高。

發(fā)明內(nèi)容
本發(fā)明提出一種觸控式圖形界面人機(jī)交互系統(tǒng)，包括與圖形界面顯示裝置分離的觸控裝置，其觸控面板具備近接感測(cè)功能，既可感測(cè)物體接觸到觸控面板時(shí)的觸碰點(diǎn)的坐標(biāo)數(shù)據(jù)，也可感測(cè)接近觸控面板的物體在觸控面板上的投影點(diǎn)的坐標(biāo)數(shù)據(jù)，并將該兩種坐標(biāo)數(shù)據(jù)傳送至圖形界面控制模塊；由圖形界面控制模塊在顯示裝置上以指示點(diǎn)的形式顯示出來。該圖形界面控制模塊可與顯示裝置集成在同一個(gè)設(shè)備內(nèi)，比如平板電視，或作為ー個(gè)單獨(dú)的設(shè)備并向顯示裝置輸出畫面，比如機(jī)頂盒。使用者在操作該觸控裝置時(shí)，視線不必離開顯示屏，當(dāng)手指或觸控筆等物體靠近觸控面板并被感測(cè)到時(shí)，在顯示屏上可直觀地看到對(duì)應(yīng)的指示點(diǎn)的位置和其移動(dòng)的軌跡。因此，用戶可以像操作便攜設(shè)備觸控界面一祥在遠(yuǎn)端顯示屏上實(shí)現(xiàn)直覺式的觸控操作。根據(jù)本發(fā)明的觸控裝置包括觸控面板、控制模塊、數(shù)據(jù)傳輸模塊。其中觸控面板可感測(cè)物體接觸時(shí)觸碰點(diǎn)的位置并輸出坐標(biāo)數(shù)據(jù)，并且可以感測(cè)物體接近時(shí)相對(duì)于觸控面板的投影點(diǎn)的位置并輸出坐標(biāo)數(shù)據(jù)。該觸控面板可同時(shí)支持一個(gè)或者多個(gè)觸碰點(diǎn)以及投影點(diǎn)的感測(cè)。其中控制模塊讀取觸控面板輸出的觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)數(shù)據(jù)，將其轉(zhuǎn)換成可供數(shù)據(jù)傳輸模塊發(fā)送的格式。其中數(shù)據(jù)傳送模塊從控制模塊接收數(shù)據(jù)并傳送至接收端。根據(jù)本發(fā)明的圖形界面控制模塊包括數(shù)據(jù)傳輸模塊、數(shù)據(jù)處理模塊、觸控式圖形界面控制模塊、指示點(diǎn)控制模塊、畫面合并顯示模塊。其中數(shù)據(jù)傳輸模塊負(fù)責(zé)與上述觸控裝置通過無線或有線的數(shù)據(jù)連接，接收由觸控裝置發(fā)送的數(shù)據(jù)，并轉(zhuǎn)發(fā)給數(shù)據(jù)處理模塊。其中數(shù)據(jù)處理模塊將接收到的數(shù)據(jù)進(jìn)行解析，得到觸控面板輸出的觸碰點(diǎn)坐標(biāo)和投影點(diǎn)坐標(biāo)，井分發(fā)給指示點(diǎn)控制模塊和觸控式圖形界面控制模塊。其中觸控式圖形界面控制模塊負(fù)責(zé)繪制圖形界面，井根據(jù)接收到的一個(gè)或者多個(gè)觸碰點(diǎn)坐標(biāo)數(shù)據(jù)執(zhí)行相應(yīng)的觸控界面交互操作，即實(shí)現(xiàn)如前述第二類交互系統(tǒng)的功能。其中指示點(diǎn)控制模塊根據(jù)接收到的一個(gè)或者多個(gè)觸碰點(diǎn)坐標(biāo)數(shù)據(jù)和投影點(diǎn)坐標(biāo)數(shù)據(jù)在圖形界面之上對(duì)應(yīng)的位置繪制明顯可見的ー個(gè)或者多個(gè)指示點(diǎn)，該觸碰點(diǎn)坐標(biāo)數(shù)據(jù)和投影點(diǎn)坐標(biāo)數(shù)據(jù)的變化直接表現(xiàn)為該指示點(diǎn)在圖形界面上的移動(dòng)。其中畫面合并顯示模塊將圖形界面與所有的指示點(diǎn)合并為ー個(gè)畫面，以供在顯示裝置上顯示，并保證所有指示點(diǎn)在Z軸方向上位于圖形界面之上，而不會(huì)被任何界面元素所遮蓋根據(jù)本發(fā)明的指示點(diǎn)，包括根據(jù)已感測(cè)的近接物體投影點(diǎn)的個(gè)數(shù)，在顯示屏上具有相同數(shù)量的指示點(diǎn)；根據(jù)已接觸的物體觸碰點(diǎn)的個(gè)數(shù)，在顯示屏上具有相同數(shù)量的指示點(diǎn)。該指示點(diǎn)在任意圖形界面之上的任意位置均清晰可見。該指示點(diǎn)可以用不同的顯示方式來區(qū)分其所指示的是觸碰點(diǎn)還是投影點(diǎn)，不同的顯示方式可以通過指示點(diǎn)的形狀、大小、紋理、顔色或其他方式來區(qū)分，是否需要區(qū)分兩種指示點(diǎn)視乎使用者的需求而定，可以由使用者進(jìn)行配置。當(dāng)近接物體在可感測(cè)范圍內(nèi)移動(dòng)但尚未接觸到觸控面板時(shí)，該指示點(diǎn)跟隨該近接物體投影點(diǎn)的移動(dòng)在圖形界面上做相應(yīng)移動(dòng)。當(dāng)近接物體繼續(xù)靠近進(jìn)而接觸到觸控面板時(shí)，該指示點(diǎn)指示出與觸碰點(diǎn)的位置。當(dāng)物體保持與觸控面板的接觸并移動(dòng)時(shí)，該指示點(diǎn)隨觸碰點(diǎn)的移動(dòng)而做相應(yīng)移動(dòng)。當(dāng)物體離開觸控面板但仍然在近接感應(yīng)范圍之內(nèi)時(shí)，該指示點(diǎn)轉(zhuǎn)而指示投影點(diǎn)的位置。當(dāng)物體繼續(xù)離開觸控面板并超出可近接感測(cè)的范圍時(shí)，該指示點(diǎn)消失。根據(jù)本發(fā)明的觸控裝置的觸控面板與與圖形界面控制模塊所繪制的圖形界面之間存在形狀、尺寸和坐標(biāo)的對(duì)應(yīng)關(guān)系，包括該觸控面板有效感測(cè)區(qū)域與該圖形界面的可觸控區(qū)域的形狀相似，而不必完全相同；其兩者尺寸不必相同；其兩者分辨率不必相同；當(dāng)兩者形狀或尺寸或分辨率并非完全相同時(shí)，觸控面板輸出的坐標(biāo)數(shù)據(jù)以固定的比率轉(zhuǎn)換之后可以完全覆蓋圖形界面的可觸控區(qū)域。通過本發(fā)明提供的觸控式人機(jī)交互系統(tǒng)，使用者操作時(shí)實(shí)現(xiàn)可一直停留在顯示裝置的顯示屏上，觀察圖形界面，將手指或觸控筆等物體置于觸控裝置的觸控面板上方一定距離之內(nèi)時(shí)，在顯示屏上將可以直觀地看到與該物體在觸控面板上投影點(diǎn)所對(duì)應(yīng)的指示點(diǎn)。使用者移動(dòng)手指或觸控筆等可感測(cè)物體但不離開可感測(cè)范圍時(shí)，在遠(yuǎn)端顯示屏上將可以直觀地看到該指示點(diǎn)相應(yīng)地移動(dòng)。使用者將手指或觸控筆等可感測(cè)物體繼續(xù)靠近并進(jìn)而接觸到觸控面板時(shí)，該指示點(diǎn)即反映出使用者在圖形界面上觸碰到的位置。如圖I所示。使用者因此可以憑直覺對(duì)遠(yuǎn)端顯示屏上的觸控式圖形界面進(jìn)行操作，而不會(huì)感覺到任何障礙。本發(fā)明的優(yōu)點(diǎn)在于，在完全保留前述第二類交互系統(tǒng)的直觀性和易用性的同吋，克服了其缺陷和限制，使用者可以在顯示屏距離較遠(yuǎn)時(shí)仍然獲得直觀的、優(yōu)秀的觸控式交互體驗(yàn)。本發(fā)明可以應(yīng)用于平板電視、機(jī)頂盒、視頻會(huì)議系統(tǒng)，以及其他需要觸控裝置與顯示裝置分離的觸控式人機(jī)交互的場合。


圖I為觸控裝置感測(cè)到手指接觸及靠近，顯示裝置的顯示屏上同步顯示出對(duì)應(yīng)的指示點(diǎn)的示意圖。
圖2為本發(fā)明實(shí)施例中使用者未將手指靠近或接觸到觸控面板時(shí)的情景。圖3為本發(fā)明實(shí)施例中使用者將手指靠近觸控面板時(shí)的情景。圖4為本發(fā)明實(shí)施例中使用者將手指在觸控面板上方可感測(cè)范圍內(nèi)移動(dòng)以定位想要觸碰的界面圖標(biāo)時(shí)的情景。圖5為本發(fā)明實(shí)施例中 使用者將手指繼續(xù)靠近直至接觸到觸控面板時(shí)的情景。圖6為本發(fā)明實(shí)施例中使用者將手指在觸控面板上滑動(dòng)時(shí)的情景。圖7為本發(fā)明實(shí)施例中使用者將手指抬起離開觸控面板時(shí)的情景。圖8為本發(fā)明實(shí)施例中使用者將手指移出觸控面板可感測(cè)范圍之外時(shí)的情景。圖9為本發(fā)明實(shí)施例的系統(tǒng)結(jié)構(gòu)圖。圖10為計(jì)算觸控面板坐標(biāo)數(shù)據(jù)與圖形界面觸控區(qū)域坐標(biāo)數(shù)據(jù)之間的轉(zhuǎn)換比例的示意圖。圖11為將指示點(diǎn)畫面與觸控式圖形界面做合并的示意圖。
具體實(shí)施例方式這里給出本發(fā)明的ー種具體實(shí)施例，用于詳細(xì)地說明和解釋本發(fā)明，但是并不能用于限制本發(fā)明。在本實(shí)施例中，采用ー種平板電視作為例子，其具有帶觸控面板的遙控器，在電視屏幕上顯示觸控式圖形用戶界面。使用者操作該遙控器時(shí)，視線可以一直停留于電視屏幕上，而不必轉(zhuǎn)換到該遙控器之上。這里以使用者將圖形界面上的一個(gè)圖標(biāo)從屏幕右上角移動(dòng)到屏幕左下角的操作為例，其操作步驟說明如下。步驟一，當(dāng)使用者未將任何手指直接接觸遙控器的觸控面板，并且未將任何手指靠近遙控器的觸控面板并進(jìn)入可近接感測(cè)范圍時(shí)，電視屏幕上不顯示任何指示點(diǎn)。如圖2所示。步驟ニ，當(dāng)使用者手指靠近遙控器的觸控面板并被感測(cè)到時(shí)，在電視屏幕上出現(xiàn)指示該手指位置的指示點(diǎn)，本實(shí)施例中以空心圓圈作為投影點(diǎn)的指示點(diǎn)，如圖3所示。步驟三，使用者在觸控面板上方移動(dòng)手指但尚未觸碰到該觸控面板吋，電視屏幕上的指示點(diǎn)會(huì)相應(yīng)地移動(dòng)。使用者因此可以一邊移動(dòng)手指，一邊根據(jù)電視屏幕上的指示點(diǎn)來找到想要觸控的圖標(biāo)的位置，如圖4所示。步驟四，當(dāng)使用者移動(dòng)手指使指示點(diǎn)到達(dá)預(yù)定的位置之后，將手指繼續(xù)向觸控面板靠近直至接觸到觸控面板，本實(shí)施例中該指示點(diǎn)變?yōu)閷?shí)心的圓點(diǎn)來表示觸碰點(diǎn)，同時(shí)由該指示點(diǎn)定位的界面元素得到ー觸碰操作指令，例如，該位置處的ー圖標(biāo)被選中。如圖5所
/Jn ο步驟五，當(dāng)使用者保持手指與觸控面板接觸并在其之上移動(dòng)時(shí)，該指示點(diǎn)也跟隨手指觸碰點(diǎn)做相應(yīng)移動(dòng)，同時(shí)觸控界面可以根據(jù)該移動(dòng)執(zhí)行相應(yīng)的觸控操作，例如，已選中的圖標(biāo)跟隨指示點(diǎn)的位置移動(dòng)。如圖6所示。步驟六，當(dāng)使用者將圖標(biāo)移動(dòng)到預(yù)定的位置后，將手指抬起離開觸控面板但仍然處于可近接感測(cè)的范圍之內(nèi)時(shí)，其對(duì)應(yīng)的指示點(diǎn)在電視屏幕上仍然可見，但變回空心的圓圈表示所指示的是投影點(diǎn)而不再是觸碰點(diǎn)，如圖7所示。步驟七，當(dāng)使用者將手指繼續(xù)抬起并超出該觸控面板的近接感測(cè)范圍時(shí)，其對(duì)應(yīng)的指示點(diǎn)在電視屏幕上消失。如圖8所示。應(yīng)當(dāng)理解，上述操作步驟僅為舉例說明ー典型的移動(dòng)圖標(biāo)的交互操作，并不為限制本發(fā)明實(shí)施例僅能執(zhí)行上述操作。圖9為本實(shí)施例的系統(tǒng)結(jié)構(gòu)圖。特別說明的是，圖中只畫出了與本發(fā)明相關(guān)的組件和模塊，對(duì)于平板電視普遍具有的電視信號(hào)接收處理模塊、視頻信號(hào)接收處理模塊等等并未畫出。圖中的觸控面板10為ー矩形電容式觸控面板(Touch Pad)，其可感測(cè)懸停于其上方一定范圍之內(nèi)的多個(gè)手指或觸控筆，并輸出該手指或觸控筆在觸控面板上投影點(diǎn)的ニ維坐標(biāo)。該觸控面板同時(shí)也能感測(cè)與之直接接觸的手指或觸控筆位置，并輸出ニ維坐標(biāo)。目前比較成熟的電容式觸控面板主要分為自電容式和互電容式，或者兩種方式的結(jié)合。通過仔細(xì)調(diào)整電容感應(yīng)觸點(diǎn)的排列方式以及信噪比(SNR)，即可以實(shí)現(xiàn)對(duì)近接物體和觸碰物體的感測(cè)，并輸出準(zhǔn)確的坐標(biāo)數(shù)據(jù)。目前已有觸控面板生產(chǎn)廠家推出此種產(chǎn)品?？刂颇K11為遙控器I的主控芯片，采用主流的低功耗型MCU，其對(duì)觸控面板10進(jìn)行初始化，使其處于工作狀態(tài)以感測(cè)物體的接近和觸碰，井隨時(shí)讀取觸控面板10輸出的觸碰點(diǎn)坐標(biāo)數(shù)據(jù)Iio和投影點(diǎn)坐標(biāo)數(shù)據(jù)120，然后將此兩種數(shù)據(jù)打包成適合傳輸?shù)母袷剑俎D(zhuǎn)交給數(shù)據(jù)傳輸模塊12。遙控器I上的數(shù)據(jù)傳輸模塊12與平板電視2的數(shù)據(jù)傳輸模塊25建立數(shù)據(jù)連接，目前可用的無線傳輸方式有紅外、藍(lán)牙、WiFi、Zigbee等,本實(shí)施例采用Zigbee無線通訊技術(shù)，其功耗低，適用于近距離傳輸，大多數(shù)現(xiàn)有的Zigbee芯片的數(shù)據(jù)傳輸速率為250Kbps或更高，完全可以勝任本實(shí)施例中需要傳輸?shù)磨司S坐標(biāo)的數(shù)據(jù)量。以每個(gè)觸控點(diǎn)或投影點(diǎn)200Hz采樣率為例，每個(gè)坐標(biāo)點(diǎn)X軸和Y軸坐標(biāo)分別占用2Byte，則每個(gè)觸控點(diǎn)或投影點(diǎn)的數(shù)據(jù)量僅為200*4*8 = 6400bps,即使同時(shí)傳輸10個(gè)觸控點(diǎn)或投影點(diǎn)的數(shù)據(jù)，其總的數(shù)據(jù)量也僅為60Kbps。遙控器I與平板電視2在通過雙方的數(shù)據(jù)傳輸模塊初次建立連接吋，遙控器I的控制模塊11通過數(shù)據(jù)傳輸通道將觸控面板10的分辨率發(fā)送給平板電視2的數(shù)據(jù)處理模塊24，數(shù)據(jù)處理模塊24根據(jù)觸控面板10的分辨率與觸控式圖形界面控制模塊22的有效觸控區(qū)域的分辨率，計(jì)算出兩者之間X軸和Y軸坐標(biāo)數(shù)據(jù)線性轉(zhuǎn)換的比例RatioX和RatioY，如圖10所示。數(shù)據(jù)處理模塊24具備浮點(diǎn)運(yùn)算能力以提高坐標(biāo)轉(zhuǎn)換的精度。特別說明的是，在本實(shí)施例中圖形界面有效觸控區(qū)域的分辨率等于顯示屏20的分辨率，即顯示屏20上顯示的所有區(qū)域均為可觸控操作的區(qū)域，而在其他特定的應(yīng)用場合，兩者不必完全相等，有效觸控區(qū)域可能小于顯示屏的分辨率，也即顯示屏上顯示的圖形界面只有部分區(qū)域可進(jìn)行觸控操作。有效觸控區(qū)域也可能大于顯示屏的分辨率，本發(fā)明對(duì)此并不做限制，但是由于超出的部分不會(huì)在顯示屏上顯示出來，實(shí)際應(yīng)用中沒有大大的意義。平板電視2的數(shù)據(jù)傳輸模塊25將接收到的數(shù)據(jù)轉(zhuǎn)交給數(shù)據(jù)處理模塊24，該數(shù)據(jù)處理模塊24對(duì)數(shù)據(jù)進(jìn)行拆包，得到每個(gè)觸碰點(diǎn)坐標(biāo)數(shù)據(jù)110和投影點(diǎn)坐標(biāo)數(shù)據(jù)120，并根據(jù)前述已計(jì)算出的坐標(biāo)數(shù)據(jù)線性轉(zhuǎn)換比例RatioX和RatioY，計(jì)算出轉(zhuǎn)換后的觸碰點(diǎn)坐標(biāo)數(shù)據(jù)210和投影點(diǎn)坐標(biāo)數(shù)據(jù)220，并傳送到指示點(diǎn)控制模塊23，同吋，將轉(zhuǎn)換后的觸碰位置坐 標(biāo)數(shù)據(jù)210傳送到觸控式圖形界面控制模塊22。指示點(diǎn)控制模塊23輸出一畫面，該畫面分辨率與圖形界面有效觸控區(qū)域的分辨率相等，也即與顯示屏20的分辨率相等，該畫面背景為透明，并根據(jù)由數(shù)據(jù)處理模塊24發(fā)送過來經(jīng)轉(zhuǎn)換后的觸碰點(diǎn)坐標(biāo)數(shù)據(jù)210和投影點(diǎn)坐標(biāo)數(shù)據(jù)220在該畫面上繪制指示點(diǎn)，并以不同的顯示形式區(qū)分表示觸碰點(diǎn)的指示點(diǎn)和表示投影點(diǎn)的指示點(diǎn)。本實(shí)施例中，以空心圓圈表示投影點(diǎn)的指示點(diǎn)，以實(shí)心的圓點(diǎn)表示觸碰點(diǎn)的指示點(diǎn)。觸控式圖形界面控制模塊22輸出繪制有圖形界面的一畫面，并根據(jù)由數(shù)據(jù)處理模塊24發(fā)送過來的經(jīng)轉(zhuǎn)換后的觸碰點(diǎn)坐標(biāo)數(shù)據(jù)210，執(zhí)行相應(yīng)的觸控交互操作，并相應(yīng)地更新繪制圖形界面。例如，當(dāng)觸碰點(diǎn)在某按鈕上時(shí)，執(zhí)行由該按鈕定義的動(dòng)作；當(dāng)檢測(cè)到一系列連續(xù)的觸碰點(diǎn)坐標(biāo)變化，即手指在觸控面板上滑動(dòng)時(shí)，執(zhí)行該滑動(dòng)手勢(shì)對(duì)應(yīng)的操作，等等。該觸控式圖形界面控制模塊22既可自行開發(fā)，亦可采取免費(fèi)或付費(fèi)授權(quán)的方式直接采用現(xiàn)有的技術(shù)，例如主要由美國Google公司開發(fā)的Android平板電腦觸控界面。畫面合并顯示模塊21將指示點(diǎn)控制模塊23輸出的指示點(diǎn)畫面和觸控式圖形界面控制模塊22輸出的圖形界面進(jìn)行合并，其合并的規(guī)則為指示點(diǎn)畫面在Z軸方向上位于圖形界面之上；指示點(diǎn)畫面以α混合的方式合并到圖形界面之上。從而確保所有的指示點(diǎn)與圖形界面合并之后仍然清晰可見，并且圖形界面上的內(nèi)容也不會(huì)被指示點(diǎn)完全覆蓋，如圖11所示。該畫面合并顯示模塊21通常由專門的圖形處理芯片(GPU)完成，既不會(huì)大量占用主控芯片(CPU)的處理時(shí)間，又能保證流暢的顯示效果。在目前消費(fèi)電子領(lǐng)域中，特別是在用于具備觸控式圖形界面的中高端設(shè)備中，所采用的主流的嵌入式單芯片大多已經(jīng)集成GPU。顯示屏20接收來自畫面合并顯示模塊21輸出的畫面并顯示給使用者。如上所述，通過本發(fā)明實(shí)施例提供的技術(shù)方案，使用者通過遙控器I與平板電視2上的觸控式圖形交互界面進(jìn)行互動(dòng)時(shí)，可利用指示點(diǎn)直觀地感知到手指或觸控筆所處的位置，以及是否與觸控板接觸到。其用戶體驗(yàn)相比于用手指或觸控筆直接在顯示屏上進(jìn)行觸摸的方式，既兼具其直觀、便捷的優(yōu)點(diǎn)，更因?yàn)椴恍枰獙⑹种糜谄聊恢?，而避免在操作時(shí)手會(huì)遮擋部分屏幕畫面的缺憾，可以說進(jìn)一步提升了用戶體驗(yàn)。在基于此技術(shù)方案的平板電視上，用戶可以流暢的操作圖形界面，瀏覽網(wǎng)頁、圖片，并操作豐富的應(yīng)用程序，以及游戲。
以上所述僅為本發(fā)明在平板電視產(chǎn)品上的優(yōu)選實(shí)施例，并不用于限制本發(fā)明。對(duì)于掌握相關(guān)技術(shù)的人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種觸控式圖形界面人機(jī)交互系統(tǒng)，包括觸控裝置、圖形界面控制模塊、顯示裝置，其特征在于觸控裝置與顯示裝置分離，觸控裝置上的觸控面板可感測(cè)物體接觸到觸控面板時(shí)觸碰點(diǎn)的坐標(biāo)和物體接近時(shí)在觸控面板上的投影點(diǎn)的坐標(biāo)，觸控裝置與圖形界面控制模塊之間建立數(shù)據(jù)連接，將觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)傳送到圖形界面控制模塊，圖形界面控制模塊根據(jù)接收到的觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)，在圖形界面上畫出對(duì)應(yīng)的指示點(diǎn)，所有畫出的指示點(diǎn)不會(huì)被其他界面元素所遮蓋，當(dāng)觸碰點(diǎn)和投影點(diǎn)移動(dòng)時(shí)，對(duì)應(yīng)的指示點(diǎn)隨之在圖形界面上移動(dòng)，若觸碰點(diǎn)和投影點(diǎn)消失，對(duì)應(yīng)的指示點(diǎn)隨之在圖形界面上消失，圖形界面控制模塊將所畫出的圖形界面和指示點(diǎn)輸出到顯示裝置。
2.根據(jù)權(quán)利要求I所述的觸控式圖形界面人機(jī)交互系統(tǒng)，其特征在于觸控裝置、圖形界面控制模塊、顯示裝置分別為單獨(dú)的設(shè)備。
3.根據(jù)權(quán)利要求I所述的觸控式圖形界面人機(jī)交互系統(tǒng)，其特征在于觸控裝置為ー個(gè)單獨(dú)的設(shè)備，圖形界面控制模塊和顯示裝置集成于另ー個(gè)單獨(dú)的設(shè)備。
4.根據(jù)權(quán)利要求I所述的觸控式圖形界面人機(jī)交互系統(tǒng)，其特征在于觸控裝置與圖形界面控制模塊集成于ー個(gè)設(shè)備，顯示裝置為另ー個(gè)單獨(dú)的設(shè)備。
5.根據(jù)權(quán)利要求2或權(quán)利要求3所述的觸控式圖形界面人機(jī)交互系統(tǒng)，其特征在于觸控裝置與圖形界面控制模塊之間通過無線通訊模塊建立數(shù)據(jù)連接并傳輸數(shù)據(jù)。
6.根據(jù)權(quán)利要求2或權(quán)利要求3所述的觸控式圖形界面人機(jī)交互系統(tǒng)，其特征在于觸控裝置與圖形界面控制模塊之間通過有線通訊模塊建立數(shù)據(jù)連接并傳輸數(shù)據(jù)。
7.—種觸控裝置，包括觸控面板，數(shù)據(jù)傳輸模塊，其特征在于該觸控面板具備近接感測(cè)功能，既可以感測(cè)物體接觸到觸控面板時(shí)觸碰點(diǎn)的坐標(biāo)，也可以感測(cè)物體接近觸控面板時(shí)在觸控面板上的投影點(diǎn)的坐標(biāo)，并通過數(shù)據(jù)傳輸模塊發(fā)送觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的觸控裝置，其特征在于觸控面板可同時(shí)感測(cè)ー個(gè)或多個(gè)觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)，并通過數(shù)據(jù)傳輸模塊發(fā)送所有觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的觸控裝置，其特征在于數(shù)據(jù)傳輸模塊采用無線通訊方式。
10.根據(jù)權(quán)利要求7所述的觸控裝置，其特征在于數(shù)據(jù)傳輸模塊采用有線通訊方式。
11.一種圖形界面控制模塊，輸出圖形界面的畫面，從觸控裝置接收數(shù)據(jù)，執(zhí)行相應(yīng)的觸控操作并更新圖形界面的畫面，其特征在于根據(jù)從觸控裝置接收的觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)數(shù)據(jù)，定位到圖形界面上對(duì)應(yīng)的位置，在該位置畫出指示點(diǎn)，所畫的指示點(diǎn)不會(huì)被圖形界面上的任何界面元素所遮蓋；當(dāng)觸碰點(diǎn)和投影點(diǎn)的坐標(biāo)數(shù)據(jù)變化時(shí)，擦除在原來位置所畫的指示點(diǎn)，在變化后的位置畫出指示點(diǎn)，使得指示點(diǎn)在圖形界面上的移動(dòng)反映出觸碰點(diǎn)和投影點(diǎn)的移動(dòng)；當(dāng)觸碰點(diǎn)或投影點(diǎn)消失時(shí)，擦除與該觸碰點(diǎn)或投影點(diǎn)對(duì)應(yīng)的指示點(diǎn)。
12.根據(jù)權(quán)利要求11所述的圖形界面控制模塊，其特征在于區(qū)分從觸控裝置接收的坐標(biāo)數(shù)據(jù)是表示觸碰點(diǎn)還是投影點(diǎn)，對(duì)于觸碰點(diǎn)和投影點(diǎn)畫出不同形式的指示點(diǎn)。
13.根據(jù)權(quán)利要求11所述的圖形界面控制模塊，其特征在于具有可配置的選項(xiàng)，可以通過配置選項(xiàng)指定是否需要畫出觸碰點(diǎn)的指示點(diǎn)、是否需要畫出投影點(diǎn)的指示點(diǎn)。
14.根據(jù)權(quán)利要求11所述的圖形界面控制模塊，其特征在于，包括 數(shù)據(jù)傳輸模塊，用干與根據(jù)權(quán)利要求7所述的觸控裝置建立數(shù)據(jù)連接，從所述觸控裝置接收數(shù)據(jù)，并轉(zhuǎn)發(fā)給數(shù)據(jù)處理模塊； 所述數(shù)據(jù)處理模塊，從數(shù)據(jù)傳輸模塊所轉(zhuǎn)發(fā)的數(shù)據(jù)中解析出所述的觸碰點(diǎn)坐標(biāo)數(shù)據(jù)和投影點(diǎn)坐標(biāo)數(shù)據(jù)，并轉(zhuǎn)發(fā)給指示點(diǎn)控制模塊和觸控式圖形界面控制模塊； 所述指示點(diǎn)控制模塊，根據(jù)接收到的所述觸碰點(diǎn)坐標(biāo)數(shù)據(jù)和投影點(diǎn)坐標(biāo)數(shù)據(jù)，畫出所有的指示點(diǎn)，并輸出給畫面合并顯示模塊； 所述觸控式圖形界面控制模塊，繪制圖形界面的畫面，根據(jù)接收到的所述觸碰點(diǎn)位置數(shù)據(jù)和投影點(diǎn)位置數(shù)據(jù) 執(zhí)行相應(yīng)的觸控操作，同時(shí)更新圖形界面的畫面，并將圖形界面的畫面輸出到畫面合并顯示模塊； 所述畫面合并顯示模塊，將接收到的所述圖形界面的畫面和指示點(diǎn)畫面合并為ー個(gè)畫面，然后輸出到顯示裝置。
全文摘要
本發(fā)明提出一種觸控裝置與圖形界面顯示屏分離并具備近接感測(cè)投影點(diǎn)坐標(biāo)指示的人機(jī)交互系統(tǒng)。該觸控裝置可感測(cè)物體接近其觸控面板時(shí)的投影點(diǎn)的坐標(biāo)，也可感測(cè)物體接觸到觸控面板時(shí)觸碰點(diǎn)的坐標(biāo)，并將此兩種坐標(biāo)數(shù)據(jù)以有線或無線的方式傳送至一圖形界面控制模塊。該圖形界面控制模塊繪制圖形界面，并根據(jù)接收到的投影點(diǎn)坐標(biāo)數(shù)據(jù)，在圖形界面上對(duì)應(yīng)的位置畫出指示點(diǎn)，從而以直觀的方式指示出并持續(xù)跟蹤靠近觸控面板的物體的投影點(diǎn)位置。當(dāng)物體接觸到觸控面板時(shí)，圖形界面控制模塊根據(jù)觸碰點(diǎn)的坐標(biāo)以及移動(dòng)執(zhí)行相應(yīng)的觸控式圖形界面交互操作，同時(shí)也可在圖形界面上畫出觸碰點(diǎn)的指示點(diǎn)。
文檔編號(hào)G06F3/048GK102622182SQ201210111348
公開日2012年8月1日 申請(qǐng)日期2012年4月16日 優(yōu)先權(quán)日2012年4月16日
發(fā)明者李波 申請(qǐng)人:李波