圖像處理協(xié)作系統(tǒng)、便攜終端裝置、圖像處理協(xié)作方法
【專利摘要】本發(fā)明涉及圖像處理協(xié)作系統(tǒng)、便攜終端裝置、圖像處理協(xié)作方法。提供圖像處理協(xié)作系統(tǒng)等，在將圖像處理裝置側(cè)的操作畫面作為遠(yuǎn)程畫面顯示在便攜終端裝置上進(jìn)行協(xié)作操作的情況下，進(jìn)行了手勢操作時(shí)，即使圖像處理裝置側(cè)沒有與手勢操作對應(yīng)，也能消除錯(cuò)誤識別而顯示通過手勢操作指示那樣的操作畫面。便攜終端裝置具有存儲用于將通過手勢操作指示的動作變換為在顯示部件顯示的圖像處理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī)則的存儲部件。在顯示部件顯示有圖像處理裝置的操作畫面的狀態(tài)下，進(jìn)行了用戶的手勢操作的情況下，按照變換規(guī)則，由手勢操作指示的動作被變換為操作畫面的操作信息，該變換后的操作畫面的操作信息被通知到圖像處理裝置。
【專利說明】圖像處理協(xié)作系統(tǒng)、便攜終端裝置、圖像處理協(xié)作方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及具有作為多功能數(shù)字復(fù)合機(jī)的MFP(多功能外圍設(shè)備）等圖像處理裝 置、和智能電話、平板終端等便攜終端裝置的圖像處理協(xié)作系統(tǒng)、用于該系統(tǒng)的便攜終端裝 置以及圖像處理協(xié)作方法。

【背景技術(shù)】
[0002] 近年來，智能電話、平板終端等便攜終端裝置能夠存儲電子化的文本，能夠不分時(shí) 間地點(diǎn)地閱覽或編輯文本。此外，能夠?qū)⒃诒銛y終端裝置中進(jìn)行編輯等后的文件發(fā)送給所 述MFP等的圖像處理裝置，并在圖像處理裝置執(zhí)行印刷或者保存等處理。進(jìn)而，還能夠?qū)⒂?在圖像處理裝置的掃描儀部中讀取到的原稿的圖像數(shù)據(jù)等構(gòu)成的文件發(fā)送給便攜終端裝 置，在便攜終端裝置中進(jìn)行編輯等。
[0003] 但是，存在如下問題：需要分別單獨(dú)操作便攜終端裝置和圖像處理裝置，操作變得 麻煩。
[0004] 因此，最近提出了如下的圖像處理裝置和便攜終端裝置的協(xié)作系統(tǒng)：將用于使用 圖像處理裝置的功能的圖像處理裝置側(cè)的操作畫面作為遠(yuǎn)程畫面而顯示于便攜終端裝置 的顯示部，能夠從便攜終端裝置協(xié)作操作圖像處理裝置。在該協(xié)作系統(tǒng)中，要顯示于便攜終 端裝置的顯示部的圖像處理裝置側(cè)的遠(yuǎn)程畫面基于從圖像處理裝置發(fā)送的畫面數(shù)據(jù)而被 顯不。
[0005] 即，表示進(jìn)行了操作的信息從便攜終端裝置發(fā)送至圖像處理裝置，圖像處理裝置 基于該信息生成下一個(gè)畫面數(shù)據(jù)，并將該畫面數(shù)據(jù)發(fā)送給便攜終端裝置，便攜終端裝置基 于該畫面數(shù)據(jù)更新顯示遠(yuǎn)程畫面。
[0006] 另一方面，便攜終端裝置具有觸摸面板，用戶通過對顯示畫面進(jìn)行輕拂等手勢操 作，能夠進(jìn)行向后翻頁或向前翻頁等。
[0007] 然而，當(dāng)由用戶對顯示在便攜終端裝置的圖像處理裝置側(cè)的遠(yuǎn)程畫面進(jìn)行了用于 指示向前翻頁或向后翻頁等的手勢操作的情況下，發(fā)生如下的問題。
[0008] 另外，在專利文獻(xiàn)1中提出了如下的地圖顯示裝置：當(dāng)操作者在非常少的時(shí)間瞬 間接觸了觸摸面板的情況、以及操作者滑動了在觸摸面板上放置的手指的情況的任一個(gè)情 況下均能夠?qū)崿F(xiàn)輸入錯(cuò)誤的降低。
[0009] 具體來說，具有：能夠在畫面上顯示地圖的顯示器3 ;能夠以規(guī)定檢測周期檢測對 于畫面的觸摸操作的觸摸面板10 ;變更觸摸面板10的檢測周期，以便在以第1周期檢測到 對于觸摸面板10的觸摸操作后，以比第1周期長的第2周期檢測對于觸摸面板10的觸摸 操作的微型計(jì)算機(jī)8 ;以及根據(jù)觸摸面板10的觸摸操作的檢測結(jié)果，滾動顯示在顯示器3 的畫面上顯示的地圖的控制電路6。
[0010] [專利文獻(xiàn)1]:(日本）特開2〇〇7_〇1〇645號公報(bào)
[0011] 即，例如圖15所示，為了將文本數(shù)據(jù)從圖像處理裝置通過電子郵件發(fā)送，假設(shè)具 有多個(gè)地址選擇按鈕301的地址設(shè)定畫面作為遠(yuǎn)程畫面而顯示在便攜終端裝置。該地址設(shè) 定畫面由兩頁構(gòu)成，在圖15(A)所示的第一頁的地址設(shè)定畫面中，通過按下向后翻頁按鈕 303,從圖像處理裝置發(fā)送如圖15(B)所示的第二頁的地址設(shè)定畫面的數(shù)據(jù)，且顯示于便攜 終端裝置。
[0012] 但是，有時(shí)在顯示了如圖15(A)所示的第一頁的地址設(shè)定畫面的狀態(tài)下，習(xí)慣操 作便攜終端裝置的用戶在畫面上如手指標(biāo)記和箭頭所示那樣作為手勢操作向下方向進(jìn)行 輕拂操作。此時(shí)，存在如下問題：雖然用戶期待轉(zhuǎn)移到圖15(B)所示的第二頁的地址設(shè)定畫 面，但由于圖像處理裝置沒有與手勢操作對應(yīng)，因此在圖像處理裝置側(cè)如圖16所示那樣， 判斷為選擇了最初觸摸的地址按鈕301a(在圖15中由陰影表示），導(dǎo)致對該地址發(fā)送電子 郵件。
[0013] 當(dāng)然，通過在圖像處理裝置側(cè)安裝能夠與手勢操作對應(yīng)的算法，能夠防止這樣的 問題，但需要變更圖像處理裝置側(cè)的軟件等，產(chǎn)生如成本增加等其他的問題。
[0014] 另外，上述的專利文獻(xiàn)1記載的技術(shù)對進(jìn)行了這樣的手勢操作時(shí)的錯(cuò)誤識別的問 題并不能提供有效的解決方案。


【發(fā)明內(nèi)容】

[0015] 本發(fā)明鑒于這樣的實(shí)情而完成，其目的在于提供在將圖像處理裝置側(cè)的操作畫面 作為遠(yuǎn)程畫面而顯示于便攜終端裝置，從而從便攜終端裝置進(jìn)行圖像處理裝置的協(xié)作操作 的情況下，進(jìn)行了用于指示向前翻頁或向后翻頁等動作的手勢操作時(shí)，即使圖像處理裝置 側(cè)沒有與手勢操作對應(yīng)，也能夠消除錯(cuò)誤識別而顯示如手勢操作所指示那樣的操作畫面的 圖像處理協(xié)作系統(tǒng)、用于該系統(tǒng)的便攜終端裝置以及圖像處理協(xié)作方法。
[0016] 上述課題可通過以下的手段來解決。
[0017] (1) 一種圖像處理協(xié)作系統(tǒng)，具有能夠相互連接的圖像處理裝置和便攜終端裝置， 其特征在于，所述圖像處理裝置具有：發(fā)送部件，對所述連接的便攜終端裝置發(fā)送用于使該 圖像處理裝置的操作畫面顯示在便攜終端裝置的操作畫面顯示用數(shù)據(jù)，所述便攜終端裝置 具有：接收部件，接收從所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)；顯示部件，基 于所述接收到的操作畫面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面；操作部件，能夠進(jìn)行 用戶的手勢操作；存儲部件，存儲用于將由所述手勢操作指示的動作變換為在所述顯示部 件中顯示的所述圖像處理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī)則；變換部件， 在所述顯示部件上顯示有所述圖像處理裝置的操作畫面的狀態(tài)下，經(jīng)由所述操作部件進(jìn)行 了用戶的手勢操作的情況下，按照所述變換規(guī)則，將由所述手勢操作指示的動作變換為所 述操作畫面的操作信息；以及通知部件，基于所述變換部件的變換結(jié)果，將所述變換后的操 作畫面的操作信息通知給所述圖像處理裝置，所述圖像處理裝置進(jìn)一步具有：控制部件，基 于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操作信息對應(yīng)的處理。
[0018] ⑵如前項(xiàng)⑴所述的圖像處理協(xié)作系統(tǒng)，其中，所述變換規(guī)則是規(guī)定了根據(jù)手勢 操作的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方向、與向后翻頁或向前翻頁的判別、以 及向后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
[0019] ⑶如前項(xiàng)⑴或⑵所述的圖像處理協(xié)作系統(tǒng)，其中，所述操作畫面由基本畫面 數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包含 所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并保 持關(guān)于各操作畫面的所述基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收 所述部分圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上 而生成操作畫面。
[0020] (4) -種圖像處理協(xié)作方法，在具有能夠相互連接的圖像處理裝置和便攜終端裝 置的圖像處理協(xié)作系統(tǒng)中執(zhí)行，其特征在于，所述圖像處理裝置執(zhí)行：發(fā)送步驟，對所述連 接的便攜終端裝置發(fā)送用于使該圖像處理裝置的操作畫面顯示在便攜終端裝置的操作畫 面顯示用數(shù)據(jù)，所述便攜終端裝置具有：顯示部件；操作部件，能夠進(jìn)行用戶的手勢操作； 以及存儲部件，存儲用于將通過所述手勢操作指示的動作變換為在所述顯示部件中顯示的 所述圖像處理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī)則，并且，所述便攜終端裝 置執(zhí)行：接收步驟，接收從所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)；顯示步驟， 基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像處理裝置的操作畫面顯示在所述顯示部 件；變換步驟，在所述顯示部件上顯示有所述圖像處理裝置的操作畫面的狀態(tài)下，經(jīng)由操作 部件進(jìn)行了用戶的手勢操作的情況下，按照所述變換規(guī)則，將通過所述手勢操作指示的動 作變換為所述操作畫面的操作信息；以及通知步驟，基于所述變換步驟中的變換結(jié)果，將所 述變換后的操作畫面的操作信息通知給所述圖像處理裝置，所述圖像處理裝置還執(zhí)行：控 制步驟，基于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操作信息對應(yīng)的處理。
[0021] (5)如前項(xiàng)⑷所述的圖像處理協(xié)作方法，其中，所述變換規(guī)則是規(guī)定了根據(jù)手勢 操作的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方向、與向后翻頁或向前翻頁的判別、以 及向后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
[0022] (6)如前項(xiàng)⑷或（5)所述的圖像處理協(xié)作方法，其中，所述操作畫面由基本畫面 數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包含 所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并保 持關(guān)于各操作畫面的所述基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收 所述部分圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上 而生成操作畫面。
[0023] (7) -種便攜終端裝置，其特征在于，包括：連接部件，用于與圖像處理裝置連接； 接收部件，接收從所述連接的圖像處理裝置發(fā)送的、圖像處理裝置的操作畫面顯示用數(shù)據(jù)； 顯示部件，基于所述接收到的操作畫面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面；操作部 件，能夠進(jìn)行用戶的手勢操作；存儲部件，存儲用于將通過所述手勢操作指示的動作變換為 在所述顯示部件中顯示的所述圖像處理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī) 貝1J ;變換部件，在所述顯示部件上顯示有所述圖像處理裝置的操作畫面的狀態(tài)下，經(jīng)由所述 操作部件進(jìn)行了用戶的手勢操作的情況下，按照所述變換規(guī)則，將通過所述手勢操作指示 的動作變換為所述操作畫面的操作信息；以及通知部件，基于所述變換部件的變換結(jié)果，將 所述變換后的操作畫面的操作信息通知給所述圖像處理裝置。
[0024] (8)如前項(xiàng)（7)所述的便攜終端裝置，其中，所述變換規(guī)則是規(guī)定了根據(jù)手勢操作 的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方向、與向后翻頁或向前翻頁的判別、以及向 后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
[0025] (9)如前項(xiàng)（7)或（8)所述的便攜終端裝置，其中，所述操作畫面由基本畫面數(shù)據(jù) 和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包含所述 基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所 述基本畫面數(shù)據(jù)，且在所述顯示部件中顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部 分圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成 操作畫面后進(jìn)行顯示。
[0026] (10) -種圖像處理協(xié)作方法，在便攜終端裝置中執(zhí)行，所述便攜終端裝置具有： 顯示部件；操作部件，能夠進(jìn)行用戶的手勢操作；以及存儲部件，存儲用于將通過所述手勢 操作指示的動作變換為要在所述顯示部件中顯示的圖像處理裝置的操作畫面的操作信息 的預(yù)先設(shè)定的變換規(guī)則，其特征在于，所述圖像處理協(xié)作方法具有：連接步驟，與所述圖像 處理裝置連接；接收步驟，接收從所述連接的圖像處理裝置發(fā)送的、圖像處理裝置的操作畫 面顯示用數(shù)據(jù)；顯示步驟，基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像處理裝置的操作 畫面顯示在所述顯示部件；變換步驟，在所述顯示部件上顯示有所述圖像處理裝置的操作 畫面的狀態(tài)下，經(jīng)由所述操作部件進(jìn)行了用戶的手勢操作的情況下，按照所述變換規(guī)則，將 通過所述手勢操作指示的動作變換為所述操作畫面的操作信息；以及通知步驟，基于所述 變換步驟中的變換結(jié)果，將所述變換后的操作畫面的操作信息通知給所述圖像處理裝置。
[0027] (11)如前項(xiàng)（10)所述的圖像處理協(xié)作方法，其中，所述變換規(guī)則是規(guī)定了根據(jù)手 勢操作的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方向、與向后翻頁或向前翻頁的判別、 以及向后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
[0028] (12)如前項(xiàng)（10)或（11)所述的圖像處理協(xié)作方法，其中，所述操作畫面由基本畫 面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包 含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫 面的所述基本畫面數(shù)據(jù)，且在向所述顯示部件顯示操作畫面時(shí)，從所述圖像處理裝置接收 所述部分圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上 而生成操作畫面后進(jìn)行顯示。
[0029] (13) -種圖像處理協(xié)作系統(tǒng)，具有能夠相互連接的圖像處理裝置和便攜終端裝 置，其特征在于，所述圖像處理裝置具有：發(fā)送部件，對所述連接的便攜終端裝置發(fā)送用于 使該圖像處理裝置的操作畫面顯示在便攜終端裝置的操作畫面顯示用數(shù)據(jù)，且當(dāng)操作畫面 為多頁時(shí)，發(fā)送多頁量的操作畫面顯示用數(shù)據(jù)，所述便攜終端裝置具有：接收部件，接收從 所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)；顯示部件，基于所述接收到的操作畫 面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面；操作部件，能夠進(jìn)行用戶的手勢操作；畫面 數(shù)據(jù)生成部件，在所述顯示部件中顯示有所述圖像處理裝置的多頁的操作畫面中的任一頁 的狀態(tài)下，在經(jīng)由所述操作部件進(jìn)行了用戶的手勢操作的情況下，基于所述接收到的多頁 量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操作指示的動作而接下來要顯示的操作 畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及通知部件，當(dāng)在所述顯示部件中顯示的操作 畫面的操作按鈕被按下時(shí)，將與按下對應(yīng)的操作信息通知給所述圖像處理裝置，所述圖像 處理裝置進(jìn)一步具有：控制部件，基于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操 作信息對應(yīng)的處理。
[0030] (14)如前項(xiàng)（13)所述的圖像處理協(xié)作系統(tǒng)，其中，所述圖像處理裝置僅在從所述 便攜終端裝置接收了表示對所述手勢操作能夠生成操作畫面的數(shù)據(jù)的參數(shù)的情況下，才發(fā) 送所述多頁量的操作畫面顯示用數(shù)據(jù)。
[0031] (15)如前項(xiàng)（13)或（14)所述的圖像處理協(xié)作系統(tǒng)，其中，所述操作畫面由基本畫 面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包 含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并 保持關(guān)于各操作畫面的所述基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接 收所述部分圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù) 上而生成操作畫面。
[0032] (16) -種圖像處理協(xié)作方法，在具有能夠相互連接的圖像處理裝置和便攜終端裝 置的圖像處理協(xié)作系統(tǒng)中執(zhí)行，其特征在于，所述圖像處理裝置執(zhí)行：發(fā)送步驟，對所述連 接的便攜終端裝置發(fā)送用于使該圖像處理裝置的操作畫面顯示在便攜終端裝置的操作畫 面顯示用數(shù)據(jù)，且當(dāng)操作畫面為多頁時(shí)，發(fā)送多頁量的操作畫面顯示用數(shù)據(jù)，所述便攜終端 裝置執(zhí)行：接收步驟，接收從所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)；顯示步 驟，基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像處理裝置的操作畫面顯示在所述顯示 部件；畫面數(shù)據(jù)生成步驟，在所述顯示部件中顯示有所述圖像處理裝置的多頁的操作畫面 中的任一頁的狀態(tài)下，經(jīng)由操作部件進(jìn)行了用戶的手勢操作的情況下，基于所述接收到的 多頁量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操作指示的動作而接下來要顯示的 操作畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及通知步驟，當(dāng)在所述顯示部件上顯示的 操作畫面的操作按鈕被按下時(shí)，將與按下對應(yīng)的操作信息通知給所述圖像處理裝置，所述 圖像處理裝置還執(zhí)行：控制步驟，基于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操 作信息對應(yīng)的處理。
[0033] (17)如前項(xiàng)（16)所述的圖像處理協(xié)作方法，其中，所述圖像處理裝置僅在從所述 便攜終端裝置接收了表示對所述手勢操作能夠生成操作畫面的數(shù)據(jù)的參數(shù)的情況下，才發(fā) 送所述多頁量的操作畫面顯示用數(shù)據(jù)。
[0034] (18)如前項(xiàng)（16)或（17)所述的圖像處理協(xié)作方法，其中，所述操作畫面由基本畫 面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包 含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并 保持關(guān)于各操作畫面的所述基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接 收所述部分圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù) 上而生成操作畫面。
[0035] (19) -種便攜終端裝置，其特征在于，具有：連接部件，用于與圖像處理裝置連 接；接收部件，接收從所述連接到的圖像處理裝置發(fā)送的、圖像處理裝置的操作畫面顯示用 數(shù)據(jù)，且當(dāng)操作畫面為多頁的情況下，接收多頁量的操作畫面顯示用數(shù)據(jù)；顯示部件，基于 所述接收到的操作畫面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面；操作部件，能夠進(jìn)行用 戶的手勢操作；畫面數(shù)據(jù)生成部件，在所述顯示部件中顯示有所述圖像處理裝置的多頁的 操作畫面中的任一頁的狀態(tài)下，經(jīng)由所述操作部件進(jìn)行了用戶的手勢操作的情況下，基于 所述接收到的多頁量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操作指示的動作而接 下來要顯示的所述操作畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及通知部件，當(dāng)在所述 顯示部件上顯示的操作畫面的操作按鈕被按下的情況下，將與按下對應(yīng)的操作信息通知給 所述圖像處理裝置。
[0036] (20)如前項(xiàng)（19)所述的便攜終端裝置，其中，所述操作畫面由基本畫面數(shù)據(jù)和要 在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包含所述基本 畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，畫面數(shù)據(jù)生成部件從所述圖像處理裝置預(yù)先接收并保持關(guān)于各 操作畫面的所述基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分 圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操 作畫面。
[0037] (21) -種圖像處理協(xié)作方法，在便攜終端裝置中被執(zhí)行，其特征在于，所述圖像處 理協(xié)作方法具有：連接步驟，與圖像處理裝置連接；接收步驟，接收從所述連接到的圖像處 理裝置發(fā)送的、圖像處理裝置的操作畫面顯示用數(shù)據(jù)，且當(dāng)操作畫面為多頁的情況下，接收 多頁量的操作畫面顯示用數(shù)據(jù)；顯示步驟，基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像 處理裝置的操作畫面顯示在顯示部件；畫面數(shù)據(jù)生成步驟，在所述顯示部件中顯示有所述 圖像處理裝置的多頁的操作畫面中的任一頁的狀態(tài)下，經(jīng)由操作部件進(jìn)行了用戶的手勢操 作的情況下，基于所述接收到的多頁量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操 作指示的動作而接下來要顯示的所述操作畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及 通知步驟，當(dāng)在所述顯示部件上顯示的操作畫面的操作按鈕被按下的情況下，將與按下對 應(yīng)的操作信息通知給所述圖像處理裝置。
[0038] (22)如前項(xiàng)（21)所述的圖像處理協(xié)作方法，其中，所述操作畫面由基本畫面數(shù)據(jù) 和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且所述操作畫面顯示用數(shù)據(jù)包含所述 基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)，在畫面數(shù)據(jù)生成步驟中，從所述圖像處理裝置預(yù)先接收并 保持關(guān)于各操作畫面的所述基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接 收所述部分圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù) 上而生成操作畫面。
[0039] 根據(jù)所述（1)記載的方案，便攜終端裝置接收從圖像處理裝置發(fā)送的操作畫面顯 示用數(shù)據(jù)而將圖像處理裝置的操作畫面顯示在顯示部件上。此外，便攜終端裝置具有存儲 部件，所述存儲部件存儲用于將通過手勢操作而指示的動作變換為在顯示部件上顯示的所 述圖像處理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī)則。然后，在顯示部件中顯示 有圖像處理裝置的操作畫面的狀態(tài)下，由用戶進(jìn)行了手勢操作的情況下，按照所述變換規(guī) 貝1J，通過手勢操作所指示的動作被變換為操作畫面的操作信息，該變換后的操作畫面的操 作信息被通知給圖像處理裝置。
[0040] 即，由于在便攜終端裝置中由用戶進(jìn)行的手勢操作被變換為操作畫面的操作信息 而通知到圖像處理裝置，因此圖像處理裝置判斷為對操作畫面進(jìn)行了通常的操作，從而能 夠進(jìn)行與該操作對應(yīng)的處理。例如，在進(jìn)行了用于向后翻頁的輕拂操作的情況下，表示操作 畫面中的向后翻頁按鈕被按下的操作信息被發(fā)送到圖像處理裝置，圖像處理裝置將用于顯 示下一頁的操作畫面的操作畫面顯示用數(shù)據(jù)發(fā)送給便攜終端裝置。從而，即便圖像處理裝 置側(cè)沒有與手勢操作對應(yīng)，也能夠消除錯(cuò)誤識別而顯示如通過手勢操作指示那樣的操作畫 面。
[0041] 根據(jù)所述（2)記載的方案，變換規(guī)則是規(guī)定了根據(jù)手勢操作的起點(diǎn)和終點(diǎn)算出的 手指的移動量以及移動方向、與向后翻頁或向前翻頁的判別、以及向后翻頁量或向前翻頁 量的關(guān)系的規(guī)則，因此在進(jìn)行了用于向后翻頁或向前翻頁的手勢操作時(shí)，能夠可靠地顯示 下一頁或前一頁的操作畫面。
[0042] 根據(jù)所述（3)記載的方案，便攜終端裝置從所述圖像處理裝置預(yù)先接收并保持有 關(guān)各操作畫面的基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分 圖像數(shù)據(jù)，并將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操 作畫面，因此能夠防止從圖像處理裝置到便攜終端裝置的通信量臃腫。
[0043] 根據(jù)所述（4)記載的方案，在便攜終端裝置中由用戶進(jìn)行的手勢操作被變換為操 作畫面的操作信息而通知到圖像處理裝置，因此即使圖像處理裝置側(cè)沒有與手勢操作對 應(yīng)，也能夠消除錯(cuò)誤識別而顯示如通過手勢操作指示那樣的操作畫面。
[0044] 根據(jù)所述（7)記載的方案，可構(gòu)成即使圖像處理裝置側(cè)沒有與手勢操作對應(yīng)，也 能夠消除錯(cuò)誤識別而顯示如通過手勢操作指示那樣的操作畫面的便攜終端裝置。
[0045] 根據(jù)所述（10)記載的方案，即使圖像處理裝置側(cè)沒有與手勢操作對應(yīng)，也能夠消 除錯(cuò)誤識別而顯示如通過手勢操作指示那樣的操作畫面。
[0046] 根據(jù)所述（13)記載的方案，圖像處理裝置對便攜終端裝置發(fā)送用于使該圖像處 理裝置的操作畫面顯示在便攜終端裝置的操作畫面顯示用數(shù)據(jù)，且當(dāng)操作畫面為多頁時(shí)， 發(fā)送多頁量的操作畫面顯示用數(shù)據(jù)。便攜終端裝置接收發(fā)送來的操作畫面顯示用數(shù)據(jù)，并 在顯示部件中顯示操作畫面。在顯示有多頁的操作畫面中的任一頁的狀態(tài)下，由用戶經(jīng)由 操作部件進(jìn)行了手勢操作的情況下，基于從圖像處理裝置接收到的多頁量的操作畫面顯示 用的數(shù)據(jù)，生成根據(jù)通過手勢操作指示的動作而接下來要顯示的操作畫面的數(shù)據(jù)，并將其 顯示在顯示部件。
[0047] S卩，在便攜終端裝置側(cè)生成并顯示根據(jù)通過手勢操作指示的動作而接下來要顯 示的操作畫面的數(shù)據(jù)，在圖像處理裝置中與以往一樣，在顯示部件中顯示的操作畫面的操 作按鈕被按下時(shí)通知與按下對應(yīng)的操作信息，因此即使圖像處理裝置側(cè)沒有與手勢操作對 應(yīng)，也能夠使便攜終端裝置顯示如通過手勢操作指示那樣的操作畫面，且還能夠消除圖像 處理裝置側(cè)的錯(cuò)誤識別。
[0048] 根據(jù)所述（14)記載的方案，圖像處理裝置僅在確認(rèn)了是能夠?qū)κ謩莶僮魃刹?作畫面的數(shù)據(jù)的便攜終端裝置的情況下，發(fā)送多頁量的操作畫面顯示用數(shù)據(jù)，因此能夠防 止對不能應(yīng)對手勢操作的便攜終端裝置發(fā)送無用的數(shù)據(jù)。
[0049] 根據(jù)所述（15)記載的方案，便攜終端裝置預(yù)先從圖像處理裝置接收并保持有關(guān) 各操作畫面的基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從圖像處理裝置接收部分圖像數(shù)據(jù)，并 將該接收到的部分圖像數(shù)據(jù)覆寫在所述保持的基本畫面數(shù)據(jù)上而生成操作畫面，因此能夠 防止從圖像處理裝置到便攜終端裝置的通信量臃腫。
[0050] 根據(jù)所述（16)記載的方案，即使圖像處理裝置側(cè)沒有與手勢操作對應(yīng)，也能夠使 便攜終端裝置顯示如通過手勢操作指示那樣的操作畫面，且還能夠消除圖像處理裝置側(cè)的 錯(cuò)誤識別。
[0051] 根據(jù)所述（19)記載的方案，可構(gòu)成即使圖像處理裝置側(cè)沒有與手勢操作對應(yīng)，也 能夠顯示如通過手勢操作指示那樣的操作畫面的便攜終端裝置。
[0052] 根據(jù)所述（21)記載的方案，即使圖像處理裝置側(cè)沒有與手勢操作對應(yīng)，也能夠使 便攜終端裝置的計(jì)算機(jī)執(zhí)行顯示如通過手勢操作指示那樣的操作畫面的處理。

【專利附圖】

【附圖說明】
[0053] 圖1是使用本發(fā)明的一實(shí)施方式的便攜終端裝置的圖像處理協(xié)作系統(tǒng)的結(jié)構(gòu)圖。
[0054] 圖2是表示圖像處理裝置以及便攜終端裝置的電結(jié)構(gòu)的模塊圖。
[0055] 圖3是表示圖像處理裝置以及便攜終端裝置的固件結(jié)構(gòu)的模塊圖。
[0056] 圖4是表示圖像處理裝置以及便攜終端裝置的各軟件的關(guān)系的圖。
[0057] 圖5是在便攜終端裝置的顯示部顯示的遠(yuǎn)程畫面的說明圖。
[0058] 圖6是表示對圖5的遠(yuǎn)程畫面進(jìn)行了手勢操作時(shí)轉(zhuǎn)移的畫面的圖。
[0059] 圖7是表示在便攜終端裝置保持的表格的圖。
[0060] 圖8是表示圖像處理裝置和便攜終端裝置的信息交換的流程圖。
[0061] 圖9是表示便攜終端裝置的動作的流程圖。
[0062] 圖10是表示在本發(fā)明的其他實(shí)施方式中使用的表格的圖。
[0063] 圖11是表示本發(fā)明的其他實(shí)施方式中的圖像處理裝置和便攜終端裝置的信息交 換的流程圖。
[0064] 圖12是表示圖像處理裝置的動作的流程圖。
[0065] 圖13是表示便攜終端裝置的數(shù)據(jù)接收時(shí)的動作的流程圖。
[0066] 圖14是表示便攜終端裝置的手勢操作時(shí)的動作的流程圖。
[0067] 圖15的⑷?⑶是用于說明以往的問題的畫面圖。
[0068] 圖16同樣是用于說明以往的問題的畫面圖。
[0069] 標(biāo)號說明
[0070] 1圖像處理裝置
[0071] 2便攜終端裝置
[0072] 101CPU
[0073] 102R0M
[0074] 107b 顯示部
[0075] 109WIFI 模塊
[0076] 201 CPU
[0077] 202RAM
[0078] 203存儲部
[0079] 204a 顯示部
[0080] 204b 操作部
[0081] 205WIFI 模塊
[0082] 209協(xié)作部

【具體實(shí)施方式】
[0083] 以下，基于【專利附圖】

【附圖說明】本發(fā)明的實(shí)施方式。
[0084] 圖1是利用本發(fā)明的一實(shí)施方式的便攜終端裝置的圖像處理協(xié)作系統(tǒng)的結(jié)構(gòu)圖。
[0085] 該圖像處理協(xié)作系統(tǒng)具有圖像處理裝置1以及便攜終端裝置2等，這些圖像處理 裝置1與便攜終端裝置2經(jīng)由無線LAN路由器3、網(wǎng)絡(luò)4可相互連接。另外，圖像處理裝置 1與便攜終端裝置2也可以通過USB接口等有線連接，但在本實(shí)施方式中，設(shè)為通過無線通 信相互連接而進(jìn)行說明。
[0086] 在本實(shí)施方式中，作為圖像處理裝置1而使用具有復(fù)印功能、打印功能、掃描功 能、傳真功能等的前述的MFP。以下，還將圖像處理裝置記為MFP。此外，還將便攜終端裝置 記為便攜終端。
[0087] 圖2是表示所述MFP1與便攜終端2的電結(jié)構(gòu)的模塊圖。
[0088] MFP1具有0?瓜01、1?01102、狀1103、掃描儀部104、打印部105、存儲部106、操作面 板部107、WIFI (無線保真）模塊109、LAN (局域網(wǎng)）控制器110、USB接口（USB I/F) 111 等。
[0089] 所述CPU101通過按照在R0M102等中存儲的動作程序進(jìn)行動作，統(tǒng)一控制MFP1整 體。例如，以可使用MFP1的各種功能的方式進(jìn)行控制之外，在本實(shí)施方式中，基于來自便攜 終端2的請求，對便攜終端2發(fā)送用于使便攜終端2顯示本裝置的操作畫面的操作畫面顯 示用數(shù)據(jù)，或者根據(jù)在便攜終端2側(cè)進(jìn)行的用戶操作，執(zhí)行作業(yè)或者對便攜終端2發(fā)送用于 接下來要顯示的操作畫面顯示用數(shù)據(jù)等。
[0090] 所述R0M102是存儲CPU101的動作程序等的存儲器，RAM103是提供在CPU101根 據(jù)動作程序進(jìn)行動作時(shí)的作業(yè)區(qū)域的存儲器。
[0091] 所述掃描儀部104讀取在未圖示的稿臺玻璃上放置的原稿或者在同樣未圖示的 自動原稿傳送裝置中放置的原稿的圖像，輸出作為電子數(shù)據(jù)的圖像數(shù)據(jù)。
[0092] 所述打印部105將通過掃描儀部104讀取的原稿的圖像數(shù)據(jù)、或者從便攜終端2 等發(fā)送的打印數(shù)據(jù)印刷在用紙上。
[0093] 所述存儲部106是存儲各種數(shù)據(jù)和應(yīng)用等的部件，使用硬盤裝置等。尤其在本實(shí) 施方式中，存儲要在操作面板部107中顯示的各種操作畫面的顯示用數(shù)據(jù)，與用戶的操作 對應(yīng)的操作畫面的顯示用數(shù)據(jù)被CPU101從存儲部106調(diào)出，并顯示于操作面板部107,或者 發(fā)送到便攜終端2。此外，還保存由通過掃描儀部104讀取的圖像數(shù)據(jù)構(gòu)成的文本文件、或 者從外部裝置發(fā)送的文本文件等多個(gè)文件。
[0094] 操作面板部107操作MFP1或向用戶顯示消息等，包括具有開始鍵、數(shù)字鍵等的鍵 部107a、以及由液晶等觸摸面板構(gòu)成的顯示部107b。
[0095] 所述WIFI模塊109是用于與便攜終端2進(jìn)行無線連接的接口，所述LAN控制器 110控制與個(gè)人計(jì)算機(jī)或其他MFP等外部裝置之間的通信。
[0096] 所述USB接口 111是用于與便攜終端2有線連接的接口。
[0097] 另一方面，便攜終端2利用智能電話、平板終端、電子紙等。便攜終端2具有 CPU201、RAM202、存儲部 203、顯示部 204a、操作部 204b、WIFI 模塊 205、LAN 控制器 206、USB 接口 207、文件處理部208a、208b、協(xié)作部209等。
[0098] 所述CPU201統(tǒng)一控制便攜終端2的整體，根據(jù)作為基本軟件的0S (操作系統(tǒng)）、后 述的協(xié)作應(yīng)用或者通用應(yīng)用而進(jìn)行動作。
[0099] 所述RAM202是成為在CPU201按照動作程序進(jìn)行動作時(shí)的作業(yè)區(qū)域的存儲器。 [0100] 所述存儲部203是存儲各種數(shù)據(jù)和應(yīng)用等的部件，使用硬盤裝置等。在本實(shí)施方 式中，存儲從MFP1發(fā)送的操作畫面顯示用數(shù)據(jù)、基本0S、協(xié)作應(yīng)用、通用應(yīng)用等程序。另外， 在以下的說明中還將應(yīng)用（application)簡稱為應(yīng)用（apply)。
[0101] 所述顯示部204a由液晶等顯示器構(gòu)成，操作部204b設(shè)置在顯示部204a，由可進(jìn)行 觸摸輸入操作的觸摸面板構(gòu)成。觸摸操作通常通過根據(jù)觸摸到的手指的數(shù)量或手指的移動 而規(guī)定操作內(nèi)容的手勢操作而進(jìn)行。作為手勢操作的一例，可例示用于滾動畫面（向前翻 頁或向后翻頁）的輕拂操作、用于指示圖像的變倍（放大或縮小）或旋轉(zhuǎn)等的捏?。╬inch in)操作、捏大（pinch out)操作等。
[0102] 所述WIFI模塊205是用于將便攜終端2與MFP1無線連接的接口，所述LAN控制 器206控制與用戶終端等外部裝置之間的通信。此外，所述USB接口 207是用于將便攜終 端裝置2與MFP1有線連接的接口。
[0103] 所述文件處理部208a、208b實(shí)施文件的編輯、轉(zhuǎn)發(fā)或郵件遞送等處理。以下，將文 件處理部208a、208b均記為文件處理部208。
[0104] 所述協(xié)作部209是用于為了順利進(jìn)行MFP1與便攜終端2之間的功能協(xié)作而使得 能夠使用MFP1的功能的部件。具體來說，為了使用MFP1的復(fù)印功能、打印功能、掃描功能、 傳真功能等，從MFP1接收用于再現(xiàn)與MFP1的操作面板部107中顯示的操作畫面相同的操 作畫面的操作畫面顯示用數(shù)據(jù)，并將所述操作畫面作為遠(yuǎn)程畫面而顯示于顯示部204,或者 在用戶按下了在遠(yuǎn)程畫面中顯示的按鈕時(shí)，檢測畫面上的操作位置的坐標(biāo)而作為操作信息 發(fā)送給MFP1。MFP1通過分析所述操作位置的坐標(biāo)，確定用戶的操作指示，執(zhí)行與操作指示 對應(yīng)的動作。
[0105] 在本實(shí)施方式中，MFP1的操作面板部107沒有與多觸摸操作對應(yīng)。因此，即使對 在顯示部204a中顯示的MFP1的遠(yuǎn)程畫面進(jìn)行手勢操作，MFP1也不能識別該手勢操作。
[0106] 因此，預(yù)先設(shè)定了后述的變換規(guī)則，其用于將通過手勢操作而指示的動作變換為 在顯示部204a顯示的MFP1的操作畫面的操作信息。該變換規(guī)則存儲在存儲部203。
[0107] 所述文件處理部208通過由CPU201執(zhí)行通用應(yīng)用而實(shí)現(xiàn)其功能。即，通用應(yīng)用是 用于實(shí)現(xiàn)處理各種文件的文件處理部208的軟件，例如能夠使用文件編輯用應(yīng)用、具有通 過電子郵件遞送文件的功能的應(yīng)用、具有在網(wǎng)絡(luò)上存儲文件的功能的應(yīng)用等各種應(yīng)用。
[0108] 此外，所述協(xié)作部209通過由CPU201執(zhí)行所述的協(xié)作應(yīng)用而實(shí)現(xiàn)這些功能。艮口， 協(xié)作應(yīng)用是用于實(shí)現(xiàn)MFP1與便攜終端2的流暢的功能協(xié)作的軟件。此外，在協(xié)作應(yīng)用與通 用應(yīng)用之間，能夠進(jìn)行文件的轉(zhuǎn)發(fā)和下載。
[0109] 圖3是表示MFP1與便攜終端2的固件結(jié)構(gòu)的模塊圖。
[0110] MFP1在應(yīng)用層具有操作面板（應(yīng)用）121和開放API (開放的應(yīng)用程序接口 ：0pen Application Program Interface) 122 等，在公共 API 層具有公共 API (Common API) 125 和 面板顯示圖像生成部126等，在硬件依賴層具有面板畫面生成部123、面板控制部124、便攜 終端用控制部127等。
[0111] 進(jìn)而，在內(nèi)核（Kernel)層具有面板輸入控制部129、面板IXD控制部130、JPEG編 碼器驅(qū)動器131等，在設(shè)備層具有操作面板部107、USB接口部111、JPEG壓縮部133、WIFI 豐旲塊109等。
[0112] 面板畫面生成部123在從便攜終端2進(jìn)行了協(xié)作操作的情況下，生成要在操作面 板部107顯示的MFP1側(cè)的畫面數(shù)據(jù)。
[0113] 面板控制部124進(jìn)行與操作面板部107的通信狀態(tài)的控制等，便攜終端用控制部 127在與便攜終端2之間的協(xié)作處理時(shí)，控制用于與便攜終端2進(jìn)行通信的接口等。
[0114] 面板輸入控制部129進(jìn)行與操作面板部107的操作輸入有關(guān)的控制，面板IXD控 制部130進(jìn)行操作面板部107的顯示部107b的顯示控制。JPEG壓縮部133對從便攜終端 用控制部127經(jīng)由JPEG編碼器驅(qū)動器133發(fā)送來的操作畫面顯示用數(shù)據(jù)等進(jìn)行JPEG壓縮， 被壓縮的數(shù)據(jù)經(jīng)由USB接口 111和WIFI模塊109發(fā)送到便攜終端2。
[0115] 另一方面，便攜終端2由應(yīng)用層、平臺層、0S層、硬件229構(gòu)成，應(yīng)用層具有圖像顯 示應(yīng)用221、顯示圖像生成應(yīng)用222、JPEG展開應(yīng)用223、瀏覽器224等各種應(yīng)用，平臺層具 有各種管理器225、226等，0S層具有各種庫227以及內(nèi)核228。
[0116] 所述JPEG展開應(yīng)用223用于展開從MFP1送來的壓縮數(shù)據(jù)。
[0117] 當(dāng)要在便攜終端2的顯示部204顯示的遠(yuǎn)程畫面由多頁構(gòu)成的情況下，在由用戶 對遠(yuǎn)程畫面進(jìn)行了輕拂操作等手勢操作時(shí)，顯示圖像生成應(yīng)用222利用在存儲部203中存 儲的操作畫面顯示用數(shù)據(jù)生成下一頁或前一頁的操作畫面，并使其顯示于顯示部204。關(guān)于 該處理，將在后述的其他實(shí)施方式中說明。
[0118] 所述圖像顯示應(yīng)用221利用從MFP1發(fā)送且被JPEG展開應(yīng)用223展開的操作畫面 顯示用數(shù)據(jù)，生成MFP1的畫面作為遠(yuǎn)程畫面，并使其顯示于顯示部204。
[0119] 另外，在本實(shí)施方式中，圖像顯示應(yīng)用221、顯示圖像生成應(yīng)用222、JPEG展開應(yīng)用 223構(gòu)成為通過協(xié)作應(yīng)用實(shí)現(xiàn)的功能的一部分。
[0120] 接著，說明協(xié)作操作MFP1與便攜終端2的情況下的處理。
[0121] 用戶將便攜終端2經(jīng)由網(wǎng)絡(luò)無線連接到MFP1，要將便攜終端2與MFP1協(xié)作操作。 便攜終端2和MFP1的協(xié)作操作通過由用戶啟動在便攜終端2中安裝的協(xié)作應(yīng)用而開始。
[0122] 圖4是表示MFP1以及便攜終端2的各軟件的關(guān)系的圖，左側(cè)表示MFP1側(cè)的軟件， 右側(cè)表示便攜終端2的軟件。
[0123] 便攜終端2的協(xié)作應(yīng)用位于便攜終端2的0S與作為通用的軟件的應(yīng)用軟件之間， 能夠進(jìn)行來自MFP1的數(shù)據(jù)的接收以及接收到的數(shù)據(jù)的處理、用戶的操作信息和便攜終端2 側(cè)的操作畫面顯示用數(shù)據(jù)的獲取等，根據(jù)需要還能將獲取的數(shù)據(jù)發(fā)送給MFP1。即，便攜終端 2的協(xié)作軟件執(zhí)行應(yīng)用的調(diào)用等便攜終端2側(cè)的用戶操作接受處理、MFP1的操作畫面顯示 用數(shù)據(jù)的接收/顯示處理（便攜終端側(cè)操作畫面處理）、協(xié)作操作關(guān)聯(lián)處理等。作為協(xié)作操 作關(guān)聯(lián)處理，可舉出表示操作內(nèi)容的操作信息與MFP1之間的通信等。
[0124] 另一方面，在MFP1側(cè)的0S和MFP1用的應(yīng)用軟件全部是本公司設(shè)計(jì)/本公司定 制軟件且可獲得所有必要的信息的情況下，MFP1的協(xié)作應(yīng)用也可以不位于0S-應(yīng)用軟件之 間，可以與0S和應(yīng)用軟件分開，且與0S和應(yīng)用軟件進(jìn)行通信，從而獲得必要的信息。MFP1 的協(xié)作應(yīng)用執(zhí)行應(yīng)用的調(diào)用等MFP1側(cè)的用戶操作接受處理、向便攜終端2的MFP側(cè)畫面數(shù) 據(jù)的發(fā)送處理（MFP側(cè)操作畫面處理）、協(xié)作操作關(guān)聯(lián)處理等。作為協(xié)作操作關(guān)聯(lián)處理，可舉 出來自便攜終端2的操作信息等的接收/執(zhí)行處理等。
[0125] 如果用戶選擇在便攜終端2的顯示部204顯示的便攜操作圖標(biāo)并指示MFP協(xié)作， 則便攜終端2的協(xié)作軟件進(jìn)行向已注冊的MFP1的通信，調(diào)用MFP1的協(xié)作軟件，請求取得操 作畫面顯示用數(shù)據(jù)。由此，協(xié)作操作模式開始，在MFP1的顯示部105a和便攜終端2的顯示 部204顯示MFP側(cè)的操作畫面。另外，也可以不進(jìn)行MFP1側(cè)的顯示部105a中的畫面顯示。
[0126] 這里，說明從MFP1向便攜終端裝置2發(fā)送的操作畫面顯示用數(shù)據(jù)。
[0127] 如圖5所示，MFP1的操作畫面由作為背景數(shù)據(jù)的基本畫面數(shù)據(jù)300、要覆寫在該 基本畫面數(shù)據(jù)300上的、地址設(shè)定按鈕301、讀入設(shè)定按鈕302等設(shè)定按鈕和向后翻頁按鈕 303、向前翻頁304等各部分圖像數(shù)據(jù)構(gòu)成。
[0128] 當(dāng)需要將操作畫面顯示于便攜終端2的情況下，MFP1發(fā)送基本畫面數(shù)據(jù)300、配置 于基本畫面數(shù)據(jù)300上的部分圖像數(shù)據(jù)、關(guān)于各數(shù)據(jù)的識別信息（ID)、部分圖像數(shù)據(jù)的配 置位置信息等將操作畫面顯示于便攜終端2的顯示部204a所需的信息。
[0129] 這些信息可以每次都發(fā)送，但也可以設(shè)為如下結(jié)構(gòu)：針對各操作畫面將基本畫面 數(shù)據(jù)300與其ID預(yù)先發(fā)送給便攜終端2,并由便攜終端2將其保持于存儲部203,當(dāng)需要 在便攜終端2顯示操作畫面時(shí)，MFP1將要顯示的操作畫面的基本畫面數(shù)據(jù)300的ID、部分 圖像數(shù)據(jù)、部分圖像數(shù)據(jù)的配置信息等發(fā)送給便攜終端2,在便攜終端2中，將接收到的部 分圖像數(shù)據(jù)覆寫在所述保持著的對應(yīng)基本畫面數(shù)據(jù)300上從而生成操作畫面。由此，無需 一一發(fā)送基本畫面數(shù)據(jù)300,能夠防止從MFP1向便攜終端2的通信量臃腫。
[0130] 接著，說明圖1所示的圖像處理協(xié)作系統(tǒng)的動作。
[0131] 如今，設(shè)在便攜終端2的顯示部204a上如圖5所示那樣顯示有由多頁構(gòu)成的操作 畫面內(nèi)的一頁作為遠(yuǎn)程畫面。在圖5的例子中，顯示具有多個(gè)地址設(shè)定按鈕301的電子郵 件的地址設(shè)定畫面。如果按下向后翻頁按鈕303,則轉(zhuǎn)移到下一頁的地址設(shè)定畫面，如果按 下向前翻頁按鈕304,則轉(zhuǎn)移到前一頁的地址設(shè)定畫面。
[0132] 在該狀態(tài)下，設(shè)用戶在地址設(shè)定畫面上如圖5的手指標(biāo)記以及箭頭所示，作為在 便攜終端2中支持的手勢操作而進(jìn)行了輕拂操作。由于MFP1沒有與手勢操作對應(yīng),因此照 此下去則會判斷為按下了在手指的最初的接觸部位存在的按鈕。
[0133] 因此，在本實(shí)施方式中，將輕拂操作變換為在操作畫面上的按鈕按下操作。變換按 照前述的變換規(guī)則而進(jìn)行。在本實(shí)施方式中，該變換規(guī)則規(guī)定了根據(jù)輕拂操作的起點(diǎn)和終 點(diǎn)算出的手指的移動量以及移動方向、與向后翻頁或向前翻頁的判別、以及向后翻頁量或 向前翻頁量的關(guān)系。
[0134] 具體來說，若手指的移動量是50點(diǎn)以下則判別為是通常的按鈕按下操作而不是 輕拂操作，若超過50點(diǎn)則判別為輕拂操作（滾動操作）。另外，設(shè)為每50點(diǎn)轉(zhuǎn)移一頁量， 如果超過50點(diǎn)且100點(diǎn)以下則判別為一頁量的轉(zhuǎn)移。當(dāng)操作畫面有3頁以上的情況下，如 果是超過100點(diǎn)且150點(diǎn)以下的移動量，則判別為兩頁量的轉(zhuǎn)移。此外，如果移動方向是向 下，則判別為向后翻頁，如果是向上則判別為向前翻頁。例如，當(dāng)手指向下移動了 70點(diǎn)的情 況下，判別為一頁量的向后翻頁。
[0135] 手指的移動量以及方向與操作畫面的向后翻頁按鈕303以及向前翻頁按鈕304相 關(guān)聯(lián)，在判別為向后翻頁時(shí)，作為向后翻頁按鈕303被按下，從而變換為作為操作信息的向 后翻頁按鈕303的位置信息（坐標(biāo)信息），在判別為向前翻頁時(shí)，作為向前翻頁按鈕304被 按下，從而變換為作為操作信息的向前翻頁按鈕的位置信息（坐標(biāo)信息），并發(fā)送至MFP1。
[0136] 接收了該操作信息的MFP1與向后翻頁按鈕303、向前翻頁按鈕304的按下對應(yīng)地， 將下一頁或前一頁的操作畫面顯示用數(shù)據(jù)發(fā)送給便攜終端2。便攜終端2利用接收到的操 作畫面顯示用數(shù)據(jù)，顯示如圖6所示那樣的更新后的遠(yuǎn)程畫面。
[0137] 此外，在本實(shí)施方式中，預(yù)先設(shè)定了能夠?qū)⑤p拂操作變換為MFP1的操作信息的區(qū) 域R1 (圖5的虛線框所圍的區(qū)域），在該區(qū)域外即便進(jìn)行了輕拂操作，也不變換為操作信息， 觸摸到畫面時(shí)的操作信息直接被發(fā)送給MFP1。
[0138] 如上所述，為了將輕拂操作變換為MFP1的操作信息，便攜終端2在存儲部203中 保持如圖7所示的表格1以及表格2。
[0139] 表格1是用于存儲檢測手勢的范圍、便攜終端2要生成、覆寫圖像的范圍的表格， 表格2是用于存儲在表格1中定義的區(qū)域中變換的手勢的信息的表格。
[0140] 在表格1中，"UIID"是對每個(gè)操作畫面分別分配的ID，"區(qū)域ID"是要在便攜終端 2中生成、覆寫圖像的區(qū)域的ID。"左上坐標(biāo)"是能夠?qū)⑹謩莶僮髯儞Q為MFP1的操作信息的 區(qū)域的左上的坐標(biāo)，"右下坐標(biāo)"是相同的區(qū)域的右下的坐標(biāo)。
[0141] 在表格2中，關(guān)于"UIID"以及"區(qū)域ID"，與表格1相同。"手勢ID"是區(qū)域發(fā)生 反應(yīng)的手勢的ID。例如，設(shè)定了 "1 :輕拂"、"2 :同步（吸附）滾動"、"3 :捏大"、"4 :捏小"、 "5 :拖動"、"6 :雙擊"、"0 :不變換（表示僅進(jìn)行顯示更新）"。
[0142] "例程ID"是將手勢操作變換為MFP1的操作信息的例程的ID。
[0143] 在本實(shí)施方式中，作為區(qū)域的設(shè)定例，除了所述的能夠?qū)⑤p拂操作變換為MFP1的 操作信息的區(qū)域之外，設(shè)定了用于更新顯示的區(qū)域R2(在圖5中用點(diǎn)劃線框表示），將各區(qū) 域所需的信息保存于所述表格1以及2。另外，關(guān)于更新顯示的區(qū)域R2,通過注冊手勢ID =0,表示只能更新顯示。
[0144] 如此，在便攜終端2中用戶進(jìn)行的手勢操作變換為基于MFP1側(cè)的規(guī)則的操作畫面 的操作信息而通知到MFP1，因此MFP1能夠通過與對操作畫面進(jìn)行了通常的操作的情況相 同的判斷，進(jìn)行與該操作對應(yīng)的處理。從而，即使MFP1側(cè)沒有與手勢操作對應(yīng)，也能夠消除 錯(cuò)誤識別而在便攜終端2中顯示如通過手勢操作指示那樣的操作畫面作為遠(yuǎn)程畫面。
[0145] 圖8是表示MFP1與便攜終端2之間的信息的交換的流程圖。
[0146] 在步驟S21中，如果從便攜終端2向MFP1發(fā)送連接請求和便攜終端2的信息，則 MFP1在步驟S11中，作為操作畫面顯示用數(shù)據(jù)而將基本畫面數(shù)據(jù)的ID、部分圖像數(shù)據(jù)及其 ID發(fā)送給便攜終端2。另外，預(yù)先單獨(dú)從MFP1向便攜終端2發(fā)送各操作畫面的基本畫面數(shù) 據(jù)，并將其保持在便攜終端2。
[0147] 接收了基本畫面數(shù)據(jù)的ID、部分圖像數(shù)據(jù)及其ID的便攜終端2在步驟S22中調(diào)用 對應(yīng)于基本畫面數(shù)據(jù)的ID的基本畫面數(shù)據(jù)，并在調(diào)用的基本畫面數(shù)據(jù)上覆寫部分圖像，并 將其顯示在顯示部204a。
[0148] 在該狀態(tài)下，若用戶在步驟S31中對操作畫面進(jìn)行手勢操作例如輕拂操作，則便 攜終端2在步驟S23中將對手勢操作檢測到的坐標(biāo)信息發(fā)送給變換部。另外，變換部是通 過協(xié)作應(yīng)用功能性地構(gòu)成的單元。
[0149] 變換部在步驟S24中根據(jù)坐標(biāo)信息求出輕拂操作的方向和手指的移動量，將其變 換為MFP1的操作信息，并將變換后的操作信息發(fā)送給MFP1。
[0150] MFP1若接收到操作信息，則在步驟S12中，為了顯示與接收到的操作信息對應(yīng)的 操作畫面，更新部分圖像數(shù)據(jù)，在步驟S13中，將部分圖像數(shù)據(jù)及其ID發(fā)送給便攜終端2。
[0151] 便攜終端2覆寫接收到的部分圖像數(shù)據(jù)而更新操作畫面。
[0152] 圖9是表示便攜終端裝置2將手勢操作變換為MFP1的操作信息時(shí)的處理的流程 圖。該處理通過由便攜終端2的CPU201基于協(xié)作應(yīng)用等進(jìn)行動作而被執(zhí)行。
[0153] 在步驟S41中，對照所述表格1而判斷被實(shí)施了輕拂操作的坐標(biāo)是否在操作畫面 的設(shè)定范圍內(nèi)，如果不在設(shè)定范圍內(nèi)（步驟S41 :否），則判斷為通常的按鈕按下操作而直接 將操作信息發(fā)送給MFP1。如果在設(shè)定范圍內(nèi)（步驟S41:是），則在步驟S42中，對照所述 表格2判斷輕拂操作是否是在設(shè)定范圍內(nèi)被支持的操作。
[0154] 如果不被支持（步驟S42 :否），則判斷為通常的按鈕按下操作而直接將操作信息 發(fā)送給MFP1。如果被支持（步驟S42:是），則在步驟S43中，根據(jù)輕拂操作時(shí)的手指的移 動量的y分量（包含移動方向的上下方向的分量），算出向后或向前翻的頁數(shù)后，進(jìn)入步驟 S44。
[0155] 在步驟S44中，變換為向后翻頁按鈕303或向前翻頁按鈕304的按下的操作信息。
[0156] 接著，說明本發(fā)明的其他實(shí)施方式。在該實(shí)施方式中，當(dāng)MFP1的操作畫面由多頁 構(gòu)成的情況下，預(yù)先對便攜終端2發(fā)送該多頁的所有操作畫面顯示用數(shù)據(jù)，進(jìn)行了手勢操 作時(shí)，由便攜終端2基于所述多頁量的操作畫面顯示用數(shù)據(jù)生成要通過手勢操作指示的動 作而接著顯示的操作畫面的數(shù)據(jù)，并將其顯示。然后，在進(jìn)行了通常的按鈕按下操作時(shí)，對 應(yīng)的操作信息被發(fā)送給MFP1。
[0157] 在本實(shí)施方式中，便攜終端2除了保持圖7所示的表格1以及表格2(但排除例程 ID)之外，保持圖10所示的表格3。
[0158] 該表格3保持在區(qū)域中被處理的數(shù)據(jù)的ID作為數(shù)據(jù)ID，由此，保持在便攜終端2 內(nèi)確保的數(shù)據(jù)保存用的區(qū)域與從MFP1接收的數(shù)據(jù)（附加 ID)的對應(yīng)關(guān)系。
[0159] 參照表示MFP1與便攜終端2之間的信息交換的圖11的流程圖，說明本實(shí)施方式 中的MFP1與便攜終端2的動作。
[0160] 在步驟S61中，如果從便攜終端2向MFP1發(fā)送連接請求與便攜終端2的信息，則 MFP1在步驟S51中，檢測在便攜終端2的能力信息中包含有表示該便攜終端2是能夠?qū)κ?勢操作生成操作畫面的數(shù)據(jù)的便攜終端的參數(shù)。
[0161] 接著，在步驟S52中對便攜終端2發(fā)送了基本畫面數(shù)據(jù)及其ID后，在步驟S53中 對便攜終端2發(fā)送包含部分圖像數(shù)據(jù)及其ID的多頁的顯示用的所有數(shù)據(jù)。
[0162] 另外，也可以設(shè)為如下結(jié)構(gòu)：預(yù)先將針對各操作畫面的基本畫面數(shù)據(jù)及其ID發(fā)送 給便攜終端2,且便攜終端2將其保持在存儲部203中，針對基本畫面數(shù)據(jù)，MFP1僅將基本 畫面數(shù)據(jù)的ID發(fā)送給便攜終端2,針對部分圖像數(shù)據(jù)，每次發(fā)送給便攜終端2。此時(shí)，便攜 終端2若接收到基本畫面數(shù)據(jù)的ID與部分圖像數(shù)據(jù)，則根據(jù)基本畫面數(shù)據(jù)的ID調(diào)用對應(yīng) 的基本畫面數(shù)據(jù)，將部分圖像數(shù)據(jù)覆寫在所述調(diào)用的基本畫面數(shù)據(jù)而生成操作畫面。通過 這樣的結(jié)構(gòu)，無需逐一發(fā)送基本畫面數(shù)據(jù)，能夠防止從MFP1至便攜終端2的通信量臃腫。
[0163] 便攜終端2在步驟S62中接收這些數(shù)據(jù)而將基本畫面數(shù)據(jù)顯示在顯示部204a后， 在步驟S63中，覆寫顯示部分圖像數(shù)據(jù)。
[0164] 在步驟S71中，如果用戶對顯示著的操作畫面進(jìn)行手勢操作例如輕拂操作，則便 攜終端2在步驟S64中利用所述接收到的多頁量的數(shù)據(jù)而生成與手勢操作相應(yīng)的畫面、例 如下一頁或前一頁的畫面，并將其覆寫顯示。
[0165] 若用戶在步驟S72中對由便攜終端2生成并顯示的操作畫面進(jìn)行通常的按鈕按下 操作，則便攜終端2在步驟S65中向由協(xié)作應(yīng)用功能性地構(gòu)成的變換部請求操作變換。變 換部在步驟S66中，將按鈕按下操作變換為MFP的操作信息，并將變換后的操作信息發(fā)送給 MFP1。
[0166] MFP1在步驟S54中，轉(zhuǎn)移到與操作信息對應(yīng)的畫面，或者執(zhí)行對應(yīng)的處理。
[0167] 圖12是表示圖11所示的實(shí)施方式中的MFP1的動作的流程圖。
[0168] 在步驟S81中，將基本畫面數(shù)據(jù)（快照）與ID-并發(fā)送給連接請求目的地的便攜 終端2后，在步驟S82中，判斷在連接請求中包含的能力信息中是否包含手勢操作，換言之 判斷是否為能夠?qū)κ謩莶僮魃刹僮鳟嬅娴臄?shù)據(jù)的便攜終端2。另外，也可以在步驟S82的 判斷后進(jìn)行步驟S81的畫面數(shù)據(jù)的發(fā)送。
[0169] 在步驟S82中，如果在能力信息中未包含手勢操作（步驟S82 :否），則直接結(jié)束。 如果包含（步驟S82 :是），則在步驟S83中將多頁顯示用的所有的數(shù)據(jù)發(fā)送給便攜終端2。
[0170] 圖13以及圖14是表示圖11所示的實(shí)施方式中的便攜終端2的動作的流程圖，圖 13是接收來自MFP1的數(shù)據(jù)時(shí)的流程圖，圖14是手勢操作時(shí)的流程圖。這些處理通過由便 攜終端2的CPU201基于協(xié)作應(yīng)用等進(jìn)行動作而被執(zhí)行。
[0171] 在圖13中，在步驟S91中接收基本畫面數(shù)據(jù)、其ID、利用該基本畫面數(shù)據(jù)的多頁的 設(shè)定畫面的所有顯示用數(shù)據(jù)，并將基本畫面數(shù)據(jù)顯示于顯示部204a。
[0172] 接著，在步驟S92中，對照表格3,將接收到的數(shù)據(jù)例如判定為地址設(shè)定畫面用的 數(shù)據(jù)，并將其保存在便攜終端2中確保的保存區(qū)域后，在步驟S93中覆寫部分圖像數(shù)據(jù)。
[0173] 在圖14中，在步驟S101中，對照表格1判斷被實(shí)施了手勢操作（例如輕拂操作） 的坐標(biāo)是否在操作畫面的設(shè)定范圍內(nèi)，如果不在設(shè)定范圍內(nèi)（步驟S101 :否），判斷為通常 的按鈕操作從而直接將操作信息發(fā)送給MFP1。如果是在設(shè)定范圍內(nèi)（步驟S101:是），則 在步驟S102中，對照所述表格2而判斷手勢操作是否為在設(shè)定范圍內(nèi)被支持的操作。
[0174] 如果被支持（步驟S102 :是），則在步驟S103中，生成與手勢操作相應(yīng)的畫面，并 將其顯示于顯示部204a。如果未被支持（步驟S102:否），則忽略操作。即，便攜終端2不 做任何動作。
[0175] 如此，在本實(shí)施方式中，在便攜終端2中生成通過由手勢操作指示的動作而接下 來要顯示的操作畫面的數(shù)據(jù)并顯示于顯示部204a，在MFP1中與以往一樣，當(dāng)在顯示部204a 中顯示的操作畫面的操作按鈕被按下時(shí)，操作信息會被通知，因此即使MFP1側(cè)沒有與手 勢操作對應(yīng)，也能夠在便攜終端2中顯示由手勢操作指示那樣的操作畫面，且還能夠消除 MFP1側(cè)的錯(cuò)誤識別。
【權(quán)利要求】
1. 一種圖像處理協(xié)作系統(tǒng)，具有能夠相互連接的圖像處理裝置和便攜終端裝置，其特 征在于， 所述圖像處理裝置具有： 發(fā)送部件，對所述連接的便攜終端裝置發(fā)送用于使該圖像處理裝置的操作畫面顯示在 便攜終端裝置的操作畫面顯示用數(shù)據(jù)， 所述便攜終端裝置具有： 接收部件，接收從所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)； 顯示部件，基于所述接收到的操作畫面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面； 操作部件，能夠進(jìn)行用戶的手勢操作； 存儲部件，存儲用于將由所述手勢操作指示的動作變換為在所述顯示部件中顯示的所 述圖像處理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī)則； 變換部件，在所述顯示部件上顯示有所述圖像處理裝置的操作畫面的狀態(tài)下，經(jīng)由所 述操作部件進(jìn)行了用戶的手勢操作的情況下，按照所述變換規(guī)則，將由所述手勢操作指示 的動作變換為所述操作畫面的操作信息；以及 通知部件，基于所述變換部件的變換結(jié)果，將所述變換后的操作畫面的操作信息通知 給所述圖像處理裝置， 所述圖像處理裝置進(jìn)一步具有： 控制部件，基于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操作信息對應(yīng)的處 理。
2. 如權(quán)利要求1所述的圖像處理協(xié)作系統(tǒng)，其中， 所述變換規(guī)則是規(guī)定了根據(jù)手勢操作的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方 向、與向后翻頁或向前翻頁的判別、以及向后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
3. 如權(quán)利要求1或2所述的圖像處理協(xié)作系統(tǒng)，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述基本 畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該接收 到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面。
4. 一種圖像處理協(xié)作方法，在具有能夠相互連接的圖像處理裝置和便攜終端裝置的圖 像處理協(xié)作系統(tǒng)中執(zhí)行，其特征在于， 所述圖像處理裝置執(zhí)行： 發(fā)送步驟，對所述連接的便攜終端裝置發(fā)送用于使該圖像處理裝置的操作畫面顯示在 便攜終端裝置的操作畫面顯示用數(shù)據(jù)， 所述便攜終端裝置具有：顯示部件；操作部件，能夠進(jìn)行用戶的手勢操作；以及存儲部 件，存儲用于將通過所述手勢操作指示的動作變換為在所述顯示部件中顯示的所述圖像處 理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī)則， 并且，所述便攜終端裝置執(zhí)行： 接收步驟，接收從所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)； 顯示步驟，基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像處理裝置的操作畫面顯示 在所述顯示部件； 變換步驟，在所述顯示部件上顯示有所述圖像處理裝置的操作畫面的狀態(tài)下，經(jīng)由操 作部件進(jìn)行了用戶的手勢操作的情況下，按照所述變換規(guī)則，將通過所述手勢操作指示的 動作變換為所述操作畫面的操作信息；以及 通知步驟，基于所述變換步驟中的變換結(jié)果，將所述變換后的操作畫面的操作信息通 知給所述圖像處理裝置， 所述圖像處理裝置還執(zhí)行： 控制步驟，基于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操作信息對應(yīng)的處 理。
5. 如權(quán)利要求4所述的圖像處理協(xié)作方法，其中， 所述變換規(guī)則是規(guī)定了根據(jù)手勢操作的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方 向、與向后翻頁或向前翻頁的判別、以及向后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
6. 如權(quán)利要求4或5所述的圖像處理協(xié)作方法，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述基本 畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該接收 到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面。
7. -種便攜終端裝置，其特征在于，包括： 連接部件，用于與圖像處理裝置連接； 接收部件，接收從所述連接的圖像處理裝置發(fā)送的、圖像處理裝置的操作畫面顯示用 數(shù)據(jù)； 顯示部件，基于所述接收到的操作畫面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面； 操作部件，能夠進(jìn)行用戶的手勢操作； 存儲部件，存儲用于將通過所述手勢操作指示的動作變換為在所述顯示部件中顯示的 所述圖像處理裝置的操作畫面的操作信息的預(yù)先設(shè)定的變換規(guī)則； 變換部件，在所述顯示部件上顯示有所述圖像處理裝置的操作畫面的狀態(tài)下，經(jīng)由所 述操作部件進(jìn)行了用戶的手勢操作的情況下，按照所述變換規(guī)則，將通過所述手勢操作指 示的動作變換為所述操作畫面的操作信息；以及 通知部件，基于所述變換部件的變換結(jié)果，將所述變換后的操作畫面的操作信息通知 給所述圖像處理裝置。
8. 如權(quán)利要求7所述的便攜終端裝置，其中， 所述變換規(guī)則是規(guī)定了根據(jù)手勢操作的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方 向、與向后翻頁或向前翻頁的判別、以及向后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
9. 如權(quán)利要求7或8所述的便攜終端裝置，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述基本畫面數(shù)據(jù)，且在所述 顯示部件中顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該接收到 的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面后進(jìn)行顯示。
10. -種圖像處理協(xié)作方法，在便攜終端裝置中執(zhí)行，所述便攜終端裝置具有：顯示部 件；操作部件，能夠進(jìn)行用戶的手勢操作；以及存儲部件，存儲用于將通過所述手勢操作指 示的動作變換為要在所述顯示部件中顯示的圖像處理裝置的操作畫面的操作信息的預(yù)先 設(shè)定的變換規(guī)則，其特征在于，所述圖像處理協(xié)作方法具有： 連接步驟，與所述圖像處理裝置連接； 接收步驟，接收從所述連接的圖像處理裝置發(fā)送的、圖像處理裝置的操作畫面顯示用 數(shù)據(jù)； 顯示步驟，基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像處理裝置的操作畫面顯示 在所述顯示部件； 變換步驟，在所述顯示部件上顯示有所述圖像處理裝置的操作畫面的狀態(tài)下，經(jīng)由所 述操作部件進(jìn)行了用戶的手勢操作的情況下，按照所述變換規(guī)則，將通過所述手勢操作指 示的動作變換為所述操作畫面的操作信息；以及 通知步驟，基于所述變換步驟中的變換結(jié)果，將所述變換后的操作畫面的操作信息通 知給所述圖像處理裝置。
11. 如權(quán)利要求10所述的圖像處理協(xié)作方法，其中， 所述變換規(guī)則是規(guī)定了根據(jù)手勢操作的起點(diǎn)和終點(diǎn)算出的手指的移動量以及移動方 向、與向后翻頁或向前翻頁的判別、以及向后翻頁量或向前翻頁量的關(guān)系的規(guī)則。
12. 如權(quán)利要求10或11所述的圖像處理協(xié)作方法，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述基本畫面數(shù)據(jù)，且在向所 述顯示部件顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該接收到 的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面后進(jìn)行顯示。
13. -種圖像處理協(xié)作系統(tǒng)，具有能夠相互連接的圖像處理裝置和便攜終端裝置，其特 征在于， 所述圖像處理裝置具有： 發(fā)送部件，對所述連接的便攜終端裝置發(fā)送用于使該圖像處理裝置的操作畫面顯示在 便攜終端裝置的操作畫面顯示用數(shù)據(jù)，且當(dāng)操作畫面為多頁時(shí)，發(fā)送多頁量的操作畫面顯 示用數(shù)據(jù)， 所述便攜終端裝置具有： 接收部件，接收從所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)； 顯示部件，基于所述接收到的操作畫面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面； 操作部件，能夠進(jìn)行用戶的手勢操作； 畫面數(shù)據(jù)生成部件，在所述顯示部件中顯示有所述圖像處理裝置的多頁的操作畫面中 的任一頁的狀態(tài)下，在經(jīng)由所述操作部件進(jìn)行了用戶的手勢操作的情況下，基于所述接收 到的多頁量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操作指示的動作而接下來要顯 示的操作畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及 通知部件，當(dāng)在所述顯示部件中顯示的操作畫面的操作按鈕被按下時(shí)，將與按下對應(yīng) 的操作信息通知給所述圖像處理裝置， 所述圖像處理裝置進(jìn)一步具有： 控制部件，基于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操作信息對應(yīng)的處 理。
14. 如權(quán)利要求13所述的圖像處理協(xié)作系統(tǒng)，其中， 所述圖像處理裝置僅在從所述便攜終端裝置接收了表示對所述手勢操作能夠生成操 作畫面的數(shù)據(jù)的參數(shù)的情況下，才發(fā)送所述多頁量的操作畫面顯示用數(shù)據(jù)。
15. 如權(quán)利要求13或14所述的圖像處理協(xié)作系統(tǒng)，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述基本 畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該接收 到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面。
16. -種圖像處理協(xié)作方法，在具有能夠相互連接的圖像處理裝置和便攜終端裝置的 圖像處理協(xié)作系統(tǒng)中執(zhí)行，其特征在于， 所述圖像處理裝置執(zhí)行： 發(fā)送步驟，對所述連接的便攜終端裝置發(fā)送用于使該圖像處理裝置的操作畫面顯示在 便攜終端裝置的操作畫面顯示用數(shù)據(jù)，且當(dāng)操作畫面為多頁時(shí)，發(fā)送多頁量的操作畫面顯 示用數(shù)據(jù)， 所述便攜終端裝置執(zhí)行： 接收步驟，接收從所述圖像處理裝置發(fā)送的所述操作畫面顯示用數(shù)據(jù)； 顯示步驟，基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像處理裝置的操作畫面顯示 在所述顯示部件上； 畫面數(shù)據(jù)生成步驟，在所述顯示部件中顯示有所述圖像處理裝置的多頁的操作畫面中 的任一頁的狀態(tài)下，經(jīng)由操作部件進(jìn)行了用戶的手勢操作的情況下，基于所述接收到的多 頁量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操作指示的動作而接下來要顯示的操 作畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及 通知步驟，當(dāng)在所述顯示部件上顯示的操作畫面的操作按鈕被按下時(shí)，將與按下對應(yīng) 的操作信息通知給所述圖像處理裝置， 所述圖像處理裝置還執(zhí)行： 控制步驟，基于從所述便攜終端裝置通知的操作信息，進(jìn)行與所述操作信息對應(yīng)的處 理。
17. 如權(quán)利要求16所述的圖像處理協(xié)作方法，其中， 所述圖像處理裝置僅在從所述便攜終端裝置接收了表示對所述手勢操作能夠生成操 作畫面的數(shù)據(jù)的參數(shù)的情況下，才發(fā)送所述多頁量的操作畫面顯示用數(shù)據(jù)。
18. 如權(quán)利要求16或17所述的圖像處理協(xié)作方法，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 所述便攜終端裝置從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述基本 畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該接收 到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面。
19. 一種便攜終端裝置，其特征在于，具有： 連接部件，用于與圖像處理裝置連接； 接收部件，接收從所述連接到的圖像處理裝置發(fā)送的、圖像處理裝置的操作畫面顯示 用數(shù)據(jù)，且當(dāng)操作畫面為多頁的情況下，接收多頁量的操作畫面顯示用數(shù)據(jù)； 顯示部件，基于所述接收到的操作畫面顯示用數(shù)據(jù)，顯示圖像處理裝置的操作畫面； 操作部件，能夠進(jìn)行用戶的手勢操作； 畫面數(shù)據(jù)生成部件，在所述顯示部件中顯示有所述圖像處理裝置的多頁的操作畫面中 的任一頁的狀態(tài)下，經(jīng)由所述操作部件進(jìn)行了用戶的手勢操作的情況下，基于所述接收到 的多頁量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操作指示的動作而接下來要顯示 的所述操作畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及 通知部件，當(dāng)在所述顯示部件上顯示的操作畫面的操作按鈕被按下的情況下，將與按 下對應(yīng)的操作信息通知給所述圖像處理裝置。
20. 如權(quán)利要求19所述的便攜終端裝置，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 畫面數(shù)據(jù)生成部件從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述基本 畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該接收 到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面。
21. -種圖像處理協(xié)作方法，在便攜終端裝置中被執(zhí)行，其特征在于，所述圖像處理協(xié) 作方法具有： 連接步驟，與圖像處理裝置連接； 接收步驟，接收從所述連接到的圖像處理裝置發(fā)送的、圖像處理裝置的操作畫面顯示 用數(shù)據(jù)，且當(dāng)操作畫面為多頁的情況下，接收多頁量的操作畫面顯示用數(shù)據(jù)； 顯示步驟，基于所述接收到的操作畫面顯示用數(shù)據(jù)，將圖像處理裝置的操作畫面顯示 在顯示部件； 畫面數(shù)據(jù)生成步驟，在所述顯示部件中顯示有所述圖像處理裝置的多頁的操作畫面中 的任一頁的狀態(tài)下，經(jīng)由操作部件進(jìn)行了用戶的手勢操作的情況下，基于所述接收到的多 頁量的操作畫面顯示用數(shù)據(jù)，生成根據(jù)通過所述手勢操作指示的動作而接下來要顯示的所 述操作畫面的數(shù)據(jù)，并使所述顯示部件將其顯示；以及 通知步驟，當(dāng)在所述顯示部件上顯示的操作畫面的操作按鈕被按下的情況下，將與按 下對應(yīng)的操作信息通知給所述圖像處理裝置。
22. 如權(quán)利要求21所述的圖像處理協(xié)作方法，其中， 所述操作畫面由基本畫面數(shù)據(jù)和要在該基本畫面數(shù)據(jù)上覆寫的部分圖像數(shù)據(jù)構(gòu)成，且 所述操作畫面顯示用數(shù)據(jù)包含所述基本畫面數(shù)據(jù)和部分圖像數(shù)據(jù)， 在畫面數(shù)據(jù)生成步驟中，從所述圖像處理裝置預(yù)先接收并保持關(guān)于各操作畫面的所述 基本畫面數(shù)據(jù)，且在顯示操作畫面時(shí)，從所述圖像處理裝置接收所述部分圖像數(shù)據(jù)，并將該 接收到的部分圖像數(shù)據(jù)覆寫在所述保持的對應(yīng)基本畫面數(shù)據(jù)上而生成操作畫面。
【文檔編號】H04N1/00GK104158996SQ201410203180
【公開日】2014年11月19日 申請日期:2014年5月14日 優(yōu)先權(quán)日:2013年5月14日
【發(fā)明者】近藤敦士 申請人:柯尼卡美能達(dá)株式會社