專利名稱：便攜終端式圖像處理系統(tǒng)、便攜終端和服務器的制作方法
技術領域：
本發(fā)明涉及對包含在用便攜終端的攝像機所拍攝的圖像中的字符進行翻譯的便攜終端式圖像處理系統(tǒng)、便攜終端和服務器。
背景技術：
近年來，裝備了攝像機的便攜電話的產品化不斷盛行。在日本專利申請公開特開平9-138802號公報中就以下系統(tǒng)進行了公開，即對包含在由這樣的便攜終端的攝像機所拍攝的圖像中的字符串進行字符識別，然后對識別結果的文本進行翻譯。此方式就是在便攜終端內部具有字符識別處理和翻譯處理，使用這些處理對由攝像機所拍攝的圖像內的字符串進行識別·翻譯。但是在此方式中由于便攜終端尺寸上的限制，而存在很難進行高級的字符識別處理和翻譯處理的問題。
另一方面，在日本專利申請公開特開平10-134004號公報中提出了將由便攜終端(便攜電話)的攝像機所拍攝的圖像一次發(fā)送給外部的服務器，然后將在服務器側對圖像內的字符進行了識別·翻譯的結果送回便攜終端的方式。根據(jù)此方式由于在處理性能高的服務器側進行字符識別和翻譯，故可進行高級的處理。下面使用圖25對此方式的動作進行說明。
圖25是表示與以往的便攜終端式圖像處理系統(tǒng)有關的處理過程的流程圖。此處理過程被分成便攜終端中的處理和服務器中的處理兩部分。
首先，在便攜終端側，用戶使用內置或者連接于便攜終端的攝像機拍攝圖像。在這里，讀取手寫在紙面上的筆記或者被打印的文檔的一部分(步驟ST1)。關于所讀取的圖像指定想處理的服務。作為服務例如指定包含于在步驟ST1所拍攝的圖像中的字符串的翻譯、或者將該字符作為關鍵字的數(shù)據(jù)庫檢索等。在這里，設指定字符串的翻譯服務(步驟ST2)。之后，將所拍攝的圖像和所指定的服務請求發(fā)送給服務器(步驟ST3)。
接著在服務器側，若接收到來自便攜終端的圖像和服務請求(步驟ST4)，則啟動對接收到的圖像進行處理的應用程序(步驟ST5)。通過所啟動的應用程序對包含在接收到的圖像中的字符串進行識別而得到文本(步驟ST6)。接著，執(zhí)行在便攜終端所指定的服務。在這里，由于指定了翻譯服務故對所抽取出的文本進行翻譯(步驟ST7)。將翻譯的處理結果發(fā)送給便攜終端(步驟ST8)。
之后，在便攜終端側接收從服務器發(fā)送來的處理結果(步驟ST9)。將接收到的處理結果的內容即翻譯文顯示在便攜終端的顯示器上(步驟ST10)。
通過以上的處理，就能夠得到包含在由便攜終端的攝像機所拍攝的圖像中的字符串的翻譯結果。
如以上所述那樣，以往的方式是通過翻譯對圖像內的字符串進行了字符識別的結果的字符串(文本)，而得到對于圖像內的字符串的翻譯結果。但是，由便攜終端的攝像機所拍攝的圖像，與由一般的OCR(字符識別裝置)為識別對象的掃描器所讀取的圖像相比分辨率低，圖像的品質差。另外假設在國外用攝像機拍攝以他國語言所寫的廣告牌中的字符串，翻譯成本國語言這樣的使用方法，但廣告牌的字符串裝飾字符較多。對于這樣的品質差的圖像內的字符串或裝飾字符，現(xiàn)狀的字符識別處理的性能低，誤識別的可能性高。為此，就存在即便原樣翻譯由字符識別處理所得到的文本，也很難獲得正確的結果這樣的問題。
另外，在一次翻譯多個字符串的情況下，用戶就需要反復多次使攝像機的視場移動到想翻譯的字符串上按下快門這樣的操作，就存在需要費時間這樣的問題。進而，由于便攜終端的攝像機所拍攝的圖像其分辨率低，無法將長字符串或文章收納在1幅圖像內。相對于此，如果將攝像機朝后拉動等以拍攝寬廣范圍，則長字符串也可收納在1幅圖像中，但表達單個字符的像素數(shù)變少，字符識別率降低。為此，就存在可翻譯的字符串的長度受到限制這樣的問題。
再有，在將便攜終端所拍攝的圖像發(fā)送給服務器的情況下，由于要發(fā)送的數(shù)據(jù)量大，故存在用一般的電話線路在數(shù)據(jù)發(fā)送上花費時間這樣的問題。加之在以往的方式中，認為服務器具有的字符識別處理或翻譯處理是以一般用語為對象，在此情況下就存在對菜單上所記載的本地料理的名稱或在診斷書上所寫的病名等專業(yè)性較高的用語很難獲得充分的字符識別性能和翻譯性能這樣的問題。另外，除了在國外旅行等中使用這樣的系統(tǒng)的情況下，將包含在圖像中的他國語言的字符串翻譯成本國語言的使用形態(tài)，還假設反過來將用本國語言所輸入的文本翻譯成他國語言的要求。但是在便攜終端中就有在文本的輸入上花費時間等問題。
此發(fā)明就是為了解決上述那樣的問題而完成的，目的是獲得在進行翻譯上便利性高的便攜終端式圖像處理系統(tǒng)、便攜終端和服務器。

發(fā)明內容
本發(fā)明的第1技術方案提供一種由便攜終端和與此便攜終端進行數(shù)據(jù)交換的服務器組成的便攜終端式圖像處理系統(tǒng)，上述便攜終端具備，圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；鍵輸入部，輸入關鍵字；處理指示部，指定委托給上述服務器的處理服務的種類；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像或者由上述鍵輸入部所輸入的關鍵字、所指定的處理服務的種類以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果；上述服務器具備，數(shù)據(jù)接收部，接收從上述便攜終端發(fā)送的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串并生成各自的翻譯結果；文本翻譯部，生成對應于接收到的上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述所指定的處理服務的種類切換控制是由上述圖像內字符串識別·翻譯部進行處理還是由上述文本翻譯部進行處理；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述圖像內字符串識別·翻譯部或者上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
本發(fā)明的第2技術方案提供一種由便攜終端和與該便攜終端進行數(shù)據(jù)交換的服務器組成的便攜終端式圖像處理系統(tǒng)，上述便攜終端具備，圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果；上述服務器具備，數(shù)據(jù)接收部，接收從上述便攜終端發(fā)送的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串后生成各自的翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務的指示使上述圖像內字符串識別·翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將所生成的上述翻譯結果發(fā)送給上述便攜終端。
本發(fā)明的第3技術方案提供一種由便攜終端和與此便攜終端進行數(shù)據(jù)交換的服務器組成的便攜終端式圖像處理系統(tǒng)，上述便攜終端具備，鍵輸入部，輸入關鍵字；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由上述鍵輸入部所輸入的關鍵字、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果；上述服務器具備，數(shù)據(jù)接收部，接收從上述便攜終端發(fā)送的數(shù)據(jù)；文本翻譯部，生成對應于包含在接收到數(shù)據(jù)中的上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成上述翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務的指示使上述文本翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將所生成的上述翻譯結果發(fā)送給上述便攜終端。
本發(fā)明的第4技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中服務器的圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果；以及圖像內字符串翻譯部，生成分別對所生成的上述多個字符串識別結果進行了翻譯的多個翻譯結果。
本發(fā)明的第5技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中服務器的圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果，并且使用語言辭典對上述多個字符串識別結果生成拼寫類似的類似字符串；以及圖像內字符串翻譯部，通過分別翻譯所生成的上述字符串識別結果和上述類似字符串而生成多個翻譯結果。
本發(fā)明的第6技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中服務器的文本翻譯部具有，關聯(lián)文生成部，基于接收到的關鍵字參照關聯(lián)文辭典生成與上述關鍵字關聯(lián)性高的多個文章；以及關聯(lián)文翻譯部，通過翻譯所生成的上述多個文章而生成翻譯結果。
本發(fā)明的第7技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中便攜終端具備發(fā)送圖像控制部，依次選擇由圖像攝像部按一定的時間間隔連續(xù)拍攝并存儲在圖像緩沖器中的各圖像以輸出給數(shù)據(jù)發(fā)送部；服務器依次生成包含在接收到的上述各圖像中的字符串的各翻譯結果后將其發(fā)送給上述便攜終端；上述便攜終端的顯示部，每當接收上述各翻譯結果就進行顯示。
本發(fā)明的第8技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中便攜終端的發(fā)送控制部，對于從圖像緩沖器依次讀出的圖像，比較新拍攝的圖像與其前一次所拍攝的圖像之差，在其差為閾值以下的情況下選擇上述新拍攝的圖像并發(fā)送給數(shù)據(jù)發(fā)送部。
本發(fā)明的第9技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中服務器具備圖像統(tǒng)合部，合成連續(xù)地接收到的多個圖像以創(chuàng)建1幅合成圖像；圖像內字符串識別·翻譯部生成對于包含在所創(chuàng)建的上述合成圖像中的字符串的翻譯結果。
本發(fā)明的第10技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中便攜終端具備GPS部，取得該便攜終端的當前位置后將其添加到發(fā)送給服務器的數(shù)據(jù)中；上述服務器具備保存了各設施的位置的地圖數(shù)據(jù)；上述服務器的處理控制部，通過基于接收到的上述當前位置參照上述地圖數(shù)據(jù)來確定持有該便攜終端的用戶現(xiàn)在所處的設施，將在該服務器內所用的各種辭典置換成對應于所確定的上述設施的專用辭典。
本發(fā)明的第11技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中便攜終端的處理指示部，構成為能夠由用戶來指定專用辭典的種類，并將所指定的上述專用辭典的種類添加到發(fā)送給服務器的數(shù)據(jù)中；上述服務器的處理控制部，基于接收到的上述專用辭典的種類將在該服務器內所用的各種辭典置換成被指定的專用辭典。
本發(fā)明的第12技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中便攜終端具備圖像前處理部，為了從存儲在圖像緩沖器中的彩色圖像或者灰度等級圖像分離字符串和背景而創(chuàng)建進行了二值化的前處理后圖像并將其存儲在上述圖像緩沖器中；將上述前處理后圖像發(fā)送給服務器以獲得翻譯結果。
本發(fā)明的第13技術方案提供一種便攜終端式圖像處理系統(tǒng)，其中便攜終端構成為當在前處理后圖像中包含噪聲的情況下能夠通過鍵輸入來指定包圍上述噪聲的噪聲除去對象區(qū)域；圖像前處理部，將上述噪聲除去對象區(qū)域內的黑像素變換成白像素來編輯前處理后圖像。
本發(fā)明的第14技術方案提供一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端，具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；鍵輸入部，輸入關鍵字；處理指示部，指定委托給上述服務器的處理服務的種類；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像或者所輸入的關鍵字、所指定的上述處理服務的種類以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行了識別的識別字符串以及進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果。
本發(fā)明的第15技術方案提供一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端，具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行了識別的識別字符串以及進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果。
本發(fā)明的第16技術方案提供一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端，具備鍵輸入部，輸入關鍵字；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由所輸入的關鍵字、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果。
本發(fā)明的第17技術方案提供一種便攜終端，其中具備發(fā)送圖像控制部，依次選擇由圖像攝像部按一定的時間間隔連續(xù)拍攝并存儲在圖像緩沖器中的各圖像以輸出給數(shù)據(jù)發(fā)送部；顯示部，依次顯示包含在從服務器依次接收到的上述各圖像中的字符串的各翻譯結果。
本發(fā)明的第18技術方案提供一種便攜終端，其中發(fā)送控制部，對于從圖像緩沖器依次讀出的圖像，比較新拍攝的圖像與其前一次所拍攝的圖像之差，在其差為閾值以下的情況下選擇上述新拍攝的圖像并輸出給數(shù)據(jù)發(fā)送部。
本發(fā)明的第19技術方案提供一種便攜終端，其中具備GPS部，通過GPS功能取得該便攜終端的當前位置后將其添加到發(fā)送給服務器的數(shù)據(jù)中。
本發(fā)明的第20技術方案提供一種便攜終端，其中處理指示部，構成為能夠由用戶來指定在服務器內所用的專用辭典的種類，并將所指定的上述專用辭典的種類添加到發(fā)送給服務器的數(shù)據(jù)中。
本發(fā)明的第21技術方案提供一種便攜終端，其中具備圖像前處理部，為了從存儲在圖像緩沖器中的彩色圖像或者灰度等級圖像分離字符串和背景而創(chuàng)建進行了二值化的前處理后圖像并將其存儲在上述圖像緩沖器中；將從上述圖像緩沖器讀出的上述前處理后圖像發(fā)送給服務器以獲得翻譯結果。
本發(fā)明的第22技術方案提供一種便攜終端，其中構成為當在前處理后圖像中包含噪聲的情況下能夠通過鍵輸入來指定包圍上述噪聲的噪聲除去對象區(qū)域；圖像前處理部，將上述噪聲除去對象區(qū)域內的黑像素變換成白像素來編輯前處理后圖像。
本發(fā)明的第23技術方案提供一種與便攜終端進行數(shù)據(jù)交換的服務器，具備數(shù)據(jù)接收部，接收由從上述便攜終端發(fā)送的圖像或者所鍵輸入的關鍵字、所指定的處理服務的種類以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串并生成各自的翻譯結果；文本翻譯部，生成對應于上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成翻譯結果；處理控制部，按照上述所指定的處理服務的種類切換控制是由上述圖像內字符串識別·翻譯部進行處理還是由上述文本翻譯部進行處理；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述圖像內字符串識別·翻譯部或者上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
本發(fā)明的第24技術方案提供一種與便攜終端進行數(shù)據(jù)交換的服務器，具備數(shù)據(jù)接收部，接收由從上述便攜終端發(fā)送的圖像、處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串后生成各自的翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務的指示使上述圖像內字符串識別·翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述圖像內字符串識別·翻譯部或者上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
本發(fā)明的第25技術方案提供一種與便攜終端進行數(shù)據(jù)交換的服務器，具備數(shù)據(jù)接收部，接收由所鍵輸入的關鍵字、處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)；文本翻譯部，生成對應于上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成上述翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務的指示使上述文本翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
本發(fā)明的第26技術方案提供一種服務器，其中圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果；以及圖像內字符串翻譯部，生成分別對所生成的上述多個字符串識別結果進行了翻譯的多個翻譯結果。
本發(fā)明的第27技術方案提供一種服務器，其中圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果，并且使用語言辭典對上述多個字符串識別結果生成拼寫類似的類似字符串；以及圖像內字符串翻譯部，通過分別翻譯所生成的上述字符串識別結果和上述類似字符串而生成多個翻譯結果。
本發(fā)明的第28技術方案提供一種服務器，其中文本翻譯部具有，關聯(lián)文生成部，基于由鍵輸入部所輸入的關鍵字參照關聯(lián)文辭典生成與上述關鍵字關聯(lián)性高的多個文章；以及關聯(lián)文翻譯部，通過翻譯所生成的上述多個文章而生成翻譯結果。
本發(fā)明的第29技術方案提供一種服務器，其中具備圖像統(tǒng)合部，合成連續(xù)地接收到的多個圖像以創(chuàng)建1幅合成圖像；圖像內字符串識別·翻譯部生成對于包含在所創(chuàng)建的上述合成圖像中的字符串的翻譯結果。
本發(fā)明的第30技術方案提供一種服務器，其中具備保存了各設施的位置的地圖數(shù)據(jù)；處理控制部，通過基于包含在接收到的數(shù)據(jù)中的便攜終端的當前位置參照上述地圖數(shù)據(jù)來確定持有該便攜終端的用戶現(xiàn)在所處的設施，將在該服務器內所用的各種辭典置換成對應于所確定的上述設施的專用辭典。
本發(fā)明的第31技術方案提供一種服務器，其中處理控制部，基于包含在接收到的數(shù)據(jù)中的被指定的專用辭典的種類將在該服務器內所用的各種辭典置換成被指定的專用辭典。


圖1是表示根據(jù)本發(fā)明實施例1的便攜終端式翻譯系統(tǒng)的結構的框圖。
圖2是說明有關本發(fā)明實施例1的圖像的攝像狀況的說明圖。
圖3是表示有關本發(fā)明實施例1的圖像內字符串識別部的處理過程的流程圖。
圖4是說明有關本發(fā)明實施例1的圖像內字符串識別部的動作例的說明圖。
圖5是說明有關本發(fā)明實施例1的包含錯誤的字符識別處理的例子的說明圖。
圖6是說明有關本發(fā)明實施例1的圖像內字符串翻譯部的動作例的說明圖。
圖7是說明有關本發(fā)明實施例1的圖像內字符串翻譯結果生成部的動作例的說明圖。
圖8是表示有關本發(fā)明實施例1的圖像內字符串翻譯結果的顯示例的說明圖。
圖9是表示有關本發(fā)明實施例1的關鍵字輸入的顯示例的說明圖。
圖10是表示有關本發(fā)明實施例1的關聯(lián)文辭典的結構例的說明圖。
圖11是說明有關本發(fā)明實施例1的關聯(lián)文翻譯部的動作例的說明圖。
圖12是表示有關本發(fā)明實施例1的關聯(lián)文翻譯結果的例子的說明圖。
圖13是表示有關本發(fā)明實施例1的關聯(lián)文翻譯結果的顯示例的說明圖。
圖14是表示根據(jù)本發(fā)明實施例2的便攜終端式翻譯系統(tǒng)的結構的框圖。
圖15是表示有關本發(fā)明實施例2和實施例3的圖像的攝像狀況的說明圖。
圖16是表示有關本發(fā)明實施例2和實施例3的連續(xù)地進行了拍攝的圖像例的說明圖。
圖17是說明有關本發(fā)明實施例2的發(fā)送圖像控制部的動作的說明圖。
圖18是表示根據(jù)本發(fā)明實施例3的便攜終端式翻譯系統(tǒng)的結構的框圖。
圖19是說明有關本發(fā)明實施例3的圖像統(tǒng)合部的動作的說明圖。
圖20是表示根據(jù)本發(fā)明實施例4的便攜終端式翻譯系統(tǒng)的結構的框圖。
圖21是表示有關本發(fā)明實施例4的識別條件指定的例子的說明圖。
圖22是表示根據(jù)本發(fā)明實施例5的便攜終端式翻譯系統(tǒng)的結構的框圖。
圖23是說明有關本發(fā)明實施例5的圖像前處理部的動作的說明圖。
圖24是說明有關本發(fā)明實施例5的圖像校正處理的說明圖。
圖25是表示與根據(jù)現(xiàn)有技術的便攜終端式圖像處理系統(tǒng)有關的處理過程的流程圖。
具體實施例方式
實施例1圖1是表示根據(jù)本發(fā)明實施例1的便攜終端式翻譯系統(tǒng)的結構的框圖。在圖中101是便攜終端、102是數(shù)據(jù)發(fā)送部、103是鍵輸入部、104是處理指示部、105是圖像攝像部、106是圖像緩沖器、107是顯示部、108是結果接收部。109是服務器、110是數(shù)據(jù)接收部、111是結果發(fā)送部、112是處理控制部、113是圖像內字符串識別·翻譯部、119是文本翻譯部。在圖像內字符串識別·翻譯部113中，114是圖像內字符串識別部、115是圖像內字符串翻譯部、117是識別辭典、118是語言辭典、124是第1翻譯辭典。在文本翻譯部119中，120是關聯(lián)文生成部、121是關聯(lián)文翻譯部、122是關聯(lián)文翻譯結果生成部、123是關聯(lián)文辭典、125是第2翻譯辭典。
圖2是說明圖像的攝像狀況的說明圖，201是文檔、202是攝像機視場。圖3是表示圖像內字符串識別部的處理過程的流程圖。圖4是說明圖像內字符串識別部的動作例的說明圖，401是攝像圖像、402是前處理后圖像、403是抽出字符串、404是切出的字符圖案、405字符識別結果。圖5是說明包含錯誤的字符識別處理的例子的說明圖，501是切出的字符圖案、502是包含錯誤的字符識別結果。圖6是說明圖像內字符串翻譯部的動作例的說明圖，601是字符串識別結果、602是類似字符串、603是對字符串識別結果601進行了翻譯的字符串翻譯結果、604是類似字符串602的字符串翻譯結果。
圖7是說明圖像內字符串翻譯結果生成部的動作例的說明圖，701是圖像內字符串翻譯結果的例子。圖8是表示圖像內字符串翻譯結果的顯示例的說明圖，801是識別字符串圖像、802是圖像內字符串翻譯結果的圖像。圖9是表示關鍵字輸入的顯示例的說明圖，901是關鍵字輸入?yún)^(qū)、902是翻譯按鈕顯示。圖10是表示關聯(lián)文辭典的結構例的說明圖，1001是關聯(lián)文辭典數(shù)據(jù)。圖11是說明關聯(lián)文翻譯部的動作例的說明圖，1101是輸入文本、1102是關聯(lián)文、1103和1104是字符串翻譯結果。圖12是說明關聯(lián)文翻譯結果生成部的動作例的說明圖，1201是關聯(lián)文翻譯結果生成部的輸出結果。圖13是表示關聯(lián)文翻譯結果的顯示例的說明圖，1301是翻譯結果。
接著對動作進行說明。
此翻譯系統(tǒng)由便攜終端101和服務器109構成。此便攜終端101具備與服務器109收發(fā)數(shù)據(jù)的通信功能，能夠對服務器109委托處理，接收并顯示其處理結果。此便攜終端101和服務器109間的通信，通過用無線收發(fā)數(shù)據(jù)的方式或用紅外線通信收發(fā)數(shù)據(jù)的方式或者用有限收發(fā)數(shù)據(jù)的方式來進行。這里，服務器109具有兩個服務。一個是對包含在由便攜終端的圖像攝像部105所拍攝的圖像中的字符串進行翻譯的服務，以后將其稱為圖像內字符串識別·翻譯服務。另一個是對由便攜終端的鍵輸入部103所輸入的文本的內容進行翻譯的服務，以后將其稱為文本翻譯服務。
對圖像內字符串識別·翻譯服務的動作進行說明。
用戶通過便攜終端101的圖像攝像部105對包含字符串的圖像進行拍攝。例如，如圖2所示那樣將便攜終端101靠近文檔201之前，將攝像機視場202的范圍作為1張圖像進行拍攝。此圖像攝像部105是具備附屬于或者連接到便攜終端101的具有圖像攝像功能的CCD或CMOS傳感器等的攝像機，所拍攝的圖像是彩色圖像或者灰度等級圖像。另外，要拍攝的對象是文檔的一部分或者廣告牌或者通知板等情景中的字符。由圖像攝像部105所拍攝的圖像被存儲在圖像緩沖器106中。
接著，處理指示部104指定由服務器109進行的處理服務的種類。此指定由用戶從鍵輸入部103進行，或者使用缺省的設定自動地進行。在這里，作為處理服務的種類，指定圖像內字符串識別·翻譯。若通過處理指示部104指定了處理服務，則數(shù)據(jù)發(fā)送部102將由被存儲在圖像緩沖器106中的圖像、用處理指示部104所指定的處理服務的種類以及有關便攜終端101的關聯(lián)信息(例如，機型代碼等)組成的數(shù)據(jù)發(fā)送給服務器109。
在服務器109中，當通過數(shù)據(jù)接收部110接收到從便攜終端101的數(shù)據(jù)發(fā)送部102發(fā)送來的數(shù)據(jù)，就輸入到處理控制部112。
處理控制部112依照所指定的處理服務的種類切換以后的處理內容。在這里，由于如上述那樣指定了圖像內字符串識別·翻譯服務，故進行控制以使圖像內字符串識別·翻譯部113動作。假設在用處理指示部104指定了文本翻譯服務的情況下，則進行控制以使文本翻譯部119動作。
在圖像內字符串識別·翻譯部113中，首先圖像內字符串識別部114動作，以識別從便攜終端101發(fā)送來的數(shù)據(jù)的圖像內的字符串。按照圖3的處理過程來說明此圖像內字符串識別部114的具體動作。
首先對從便攜終端101發(fā)送來的圖像進行前處理(步驟ST21)，創(chuàng)建對圖像內的字符串和背景進行了分離的前處理后圖像。例如，在從便攜終端101發(fā)送了圖4所示那樣的彩色的攝像圖像401的情況下，通過對此攝像圖像401適用前處理，就得到將背景設成白色、將字符串設成黑色的黑白的前處理圖像402。關于這樣的前處理的實現(xiàn)方法，在論文“Text extraction from color documents-clustering approachesin three and four dimensions”，T.Perroud，K.Sobottka，H.Bunke，International Conference on Document Analysis and Recognition(2001)中進行了公開。
接著，從前處理后圖像進行抽出而得到抽出字符串(步驟ST22)。例如，從圖4的前處理后圖像402抽取抽出字符串403。在從這樣的黑白圖像抽出字符串的處理上，使用了已經用以往的OCR所實現(xiàn)的方式。對在步驟ST22中所抽出的抽出字符串的內容進行字符識別(步驟ST23)。作為字符識別的方法，切出構成字符串的1個字符的圖案、將所切出的圖案與識別辭典117進行比較而變換成字符代碼的方法廣為人知。這里，通過在將所切出的圖案變換成字符代碼時，參照語言辭典118，就能夠得到在語言上配匹性高的字符識別結果。此方法也是一般的方法。例如，在將本處理適用于圖4所示的抽出字符串403的情況下，首先得到逐個字符進行了切出的字符圖案404，將這些字符圖案404變換成字符代碼，由此就得到被文本化的字符識別結果405。
通過以上的處理，就能夠得到對于圖像內的字符串的字符串識別結果(文本)。不過在作為對象的圖像的分辨率低、品質差的情況或者作為識別對象的字符串為修飾字符的情況下，弄錯字符識別結果的情況就較多。例如如圖5所示那樣，有時在切出的字符圖案501中發(fā)生錯誤，作為其結果就得到弄錯了的字符識別結果503。為了對付此問題，變更處理參數(shù)，反復多次步驟ST21～ST23的處理，得到多個字符識別結果(步驟ST24)。例如，通過對圖4的抽出字符串403改變處理參數(shù)反復兩次步驟ST21～ST23的處理，如圖6所示那樣，作為兩個字符串識別結果601就得到“Strategic”和“Stranger”。這樣，如果取得多個字符識別結果，則在其中包含正確解答的字符串識別結果的可能性就高。但是，有時在步驟ST24中所得到的多個字符串識別結果中也不包含正確解答。因此，參照語言辭典118，抽出多個與在步驟ST24中所得到的多個字符串識別結果拼寫相類似的字符串(步驟ST25)。例如如圖6所示那樣，從在步驟ST24中所得到的兩個字符串識別結果601創(chuàng)建拼寫相類似的3個類似字符串602。
圖像內字符串識別部114將在步驟ST24中得到的多個字符串識別結果和在步驟ST25中得到的多個類似字符串合在一起輸出到圖像內字符串翻譯部115(步驟ST26)。這樣由于輸出多個字符串識別結果和對于這些字符串識別結果的多個類似字符串，故在其中包含正確解答的字符串識別結果的可能性就越發(fā)增高。以上是圖像內字符串識別部114的動作。
接著圖像內字符串翻譯部115參照保存了翻譯所必要的信息的第1翻譯辭典124，對由圖像內字符串識別部114所得到的多個字符串識別結果進行翻譯，得到字符串翻譯結果并輸出到圖像內字符串翻譯結果生成部116。此翻譯處理，例如如圖6所示那樣，得到對由圖像內字符串識別部114所得到的字符串識別結果601和類似字符串602分別進行了翻譯的字符串翻譯結果603、604。
圖像內字符串翻譯結果生成部116，匯總由圖像內字符串識別部114所得到的字符串識別結果和類似字符串以及由圖像內字符串翻譯部115所得到的字符串翻譯結果，作為用于對便攜終端101發(fā)送的數(shù)據(jù)來創(chuàng)建圖像內字符串翻譯結果。例如，圖7的圖像內字符串翻譯結果701是對圖4所示的攝像圖像401所得到的結果。此圖像內字符串翻譯結果701具有從前處理后圖像402所切出的抽出字符串403的位置坐標(例如，包圍字符串的外接矩形的左上點x、y坐標和外接矩形的寬w、高h)。此外還具有由圖像內字符串識別部114所得到的字符串識別結果和類似字符串以及由圖像內字符串翻譯部115所得到的字符串翻譯結果。
服務器109將由圖像內字符串翻譯結果生成部116所創(chuàng)建的字符串翻譯結果從結果發(fā)送部111發(fā)送到便攜終端101。
這里字符串識別結果和類似字符串以及字符串翻譯結果的數(shù)據(jù)形式是文本或者圖像。例如，在便攜終端101不具有顯示構成字符串識別結果的語言的字符的功能的情況下，就在圖像內字符串翻譯結果中使用描繪了該字符串識別結果的圖像。同樣在便攜終端101不具有顯示構成字符串翻譯結果的語言的字符的功能的情況下，就在圖像內字符串翻譯結果中使用描繪了該字符串翻譯結果的圖像。這里，便攜終端101是否具有顯示特定語言的字符的功能的判定，基于從便攜終端101持有的數(shù)據(jù)發(fā)送部102發(fā)送來的有關便攜終端的關聯(lián)信息(機型代碼等)來進行。
接著，在便攜終端101中，首先結果接收部108接收從服務器109的結果發(fā)送部111發(fā)送來的圖像內字符串翻譯結果。之后，顯示部107以存儲在圖像緩沖器106中的攝像圖像和接收到的圖像內字符串翻譯結果為基礎，將包含在攝像圖像中的字符串的翻譯結果顯示在顯示部107上。此顯示部107是液晶顯示器等能夠顯示字符或圖像的顯示裝置。例如如圖8所示那樣，在顯示部107上顯示表示識別出的字符串的識別字符串圖像801，同時顯示由字符串識別結果、類似字符串以及字符串翻譯結果組成的圖像內字符串翻譯結果的圖像802。以上是圖像內字符串識別·翻譯服務的執(zhí)行例。
對文本翻譯服務的動作進行說明。
在便攜終端101中，首先用戶通過鍵輸入部103輸入想翻譯的文本。不過由于在一般的便攜終端中在文本的輸入上需要時間，故在這里輸入與文本的內容相關聯(lián)的關鍵字。例如在想翻譯“下一班公交車何時出發(fā)？”這樣的文本的情況下，作為關鍵字輸入“公交車”和“時間”。圖9是在便攜終端上輸入了關鍵字的例子，所輸入的關鍵字被顯示在顯示部107上的關鍵字輸入?yún)^(qū)901中。在輸入了關鍵字以后，若用戶操作鍵輸入部103執(zhí)行顯示在顯示部107上的翻譯按鈕顯示902，則開始用于翻譯的處理。
處理指示部104指定由服務器109進行的處理服務的種類。在這里作為處理服務的種類，指定文本翻譯服務。于是，數(shù)據(jù)發(fā)送部102將被輸入到關鍵字輸入?yún)^(qū)901中的關鍵字、用處理指示部104所指定的處理服務的種類以及有關便攜終端101的關聯(lián)信息(例如，機型代碼等)發(fā)送給服務器109。
在服務器109中，數(shù)據(jù)接收部110接收從便攜終端101的數(shù)據(jù)發(fā)送部102發(fā)送來的數(shù)據(jù)，并輸入到處理控制部112。處理控制部112依照用處理指示部104所指定的處理服務的種類切換以后的處理內容。在這里，由于用處理指示部104指定了文本翻譯服務，故進行控制以使文本翻譯部119動作。
在文本翻譯部119中，首先關聯(lián)文生成部120動作，以從便攜終端101發(fā)送來的關鍵字和關聯(lián)文辭典123的數(shù)據(jù)為基礎，生成從關鍵字類推出來的文章(以后稱為關聯(lián)文)。這里關聯(lián)文辭典123例如具有如圖10所示那樣的關聯(lián)文辭典數(shù)據(jù)1001。此關聯(lián)文辭典數(shù)據(jù)保存了許多的關聯(lián)文及其索引。關聯(lián)文生成部120比較此索引和從數(shù)據(jù)發(fā)送部102發(fā)送來的關鍵字，從關聯(lián)文辭典123讀出在索引中包含關鍵字的關聯(lián)文并輸出到關聯(lián)文翻譯部121。例如在關鍵字為“公交車”和“時間”的情況下，輸出關聯(lián)文辭典數(shù)據(jù)1001中的關聯(lián)文No.1“下一班公交車何時出發(fā)？”和關聯(lián)文No.2“乘坐公交車大約要用多長時間？”。
關聯(lián)文翻譯部121使用第2翻譯辭典125對從數(shù)據(jù)發(fā)送部102發(fā)送來的關鍵字和用關聯(lián)文生成部120所得到的關聯(lián)文進行翻譯。例如，對于與圖11所示的關鍵字相應的輸入文本1101和關聯(lián)文1102進行翻譯處理，分別得到字符串翻譯結果1103、1104后輸出到字符串翻譯結果生成部122。這樣的翻譯文本的功能，是在一般的翻譯軟件中已經被實現(xiàn)的方法。
字符串翻譯結果生成部122，匯總從數(shù)據(jù)發(fā)送部102發(fā)送來的關鍵字、用關聯(lián)文生成部120所得到的關聯(lián)文以及用關聯(lián)文翻譯部121所得到字符串翻譯結果，作為發(fā)送給便攜終端101的數(shù)據(jù)創(chuàng)建關聯(lián)文翻譯結果并輸出給結果發(fā)送部111。作為例子，示出圖12的關聯(lián)文翻譯結果1201。在這里將“關鍵字和關聯(lián)文”以及它們的“翻譯結果”對應起來進行保存。
結果發(fā)送部111，將用關聯(lián)文翻譯結果生成部122所創(chuàng)建的關聯(lián)文翻譯結果發(fā)送給便攜終端101。
這里，翻譯結果的數(shù)據(jù)形式是文本或者圖像。例如，在便攜終端101不具有顯示構成翻譯結果的語言的字符的功能的情況下，就在關聯(lián)文翻譯結果中使用描繪了該翻譯結果的圖像。這里，便攜終端101是否具有顯示特定語言的字符的功能的判定，基于從便攜終端101持有的數(shù)據(jù)發(fā)送部102發(fā)送來的有關便攜終端的關聯(lián)信息(機型代碼等)來進行。
便攜終端101，通過結果接收部108接收關聯(lián)文翻譯結果，并提供給顯示部107。顯示部107顯示接收到的關聯(lián)文翻譯結果的內容。例如如圖13所示那樣，顯示部107顯示由文本、關聯(lián)文以及它們的翻譯結果組成的翻譯結果1301。以上是文本翻譯服務的執(zhí)行例。
如以上那樣，根據(jù)此實施例1，就取得以下效果，即實現(xiàn)能夠對應對于圖像內字符串的翻譯和對于所輸入的文本的翻譯這兩者的系統(tǒng)。在圖像內字符串識別·翻譯服務中，圖像內字符串識別部114從圖像內的字符串創(chuàng)建多個字符識別結果和多個類似字符串，用圖像內字符串翻譯部115，創(chuàng)建對于這些多個字符識別結果和多個類似字符串的各自的翻譯結果，并將這些多個翻譯結果發(fā)送給便攜終端101以顯示在顯示部107上，所以就取得以下效果，即對字符識別困難且分辨率低品質差的圖像內的字符或修飾字符也能產生正確解答率高的翻譯結果。另外，在文本翻譯服務中，從用便攜終端101所輸入的關鍵字生成多個關聯(lián)文，并將它們的翻譯結果顯示在便攜終端101的顯示部107上，所以就取得以下效果，即能夠削減麻煩的文本輸入的時間而無需輸入想翻譯的全部文本，同時能夠得到正確解答率高的所請求的文章的翻譯結果。
實施例2接著對有關本發(fā)明其他實施例的圖像內字符串識別·翻譯服務進行說明。在上述實施例1的圖像內字符串識別·翻譯服務中，在用戶用便攜終端101對1幅圖像進行了拍攝后，將該圖像發(fā)送給服務器109，以獲得包含在該圖像內的字符串的翻譯結果。為此，在一次對許多個字符串進行翻譯的情況下，用戶就必須反復若干次將攝像機的視場移動到想翻譯的字符串上按下快門的操作而需要費時間。只要能夠當用戶開始攝像、然后按一定的時間間隔自動地進行攝像，依次用服務器109對所拍攝的圖像進行翻譯，由此半實時地獲得翻譯結果就可解決此問題。實施例2就實現(xiàn)了它。
使用圖14～圖17對實施例2進行說明。圖中，與實施例1的各圖共通的部分附加相同的標記并原則上省略其說明。圖14是根據(jù)實施例2的便攜終端式翻譯系統(tǒng)的結構的框圖，1401是發(fā)送圖像控制部。圖15是表示連續(xù)的圖像的攝像狀況的說明圖，1501是攝像機視場，1502是攝像機視場的移動軌跡。圖16是表示連續(xù)地進行了拍攝的圖像例的圖，1601是連續(xù)地進行了拍攝的圖像。圖17是說明發(fā)送圖像控制部的動作的說明圖，1701是分割區(qū)域。
接著對動作進行說明。
當在便攜終端101中，執(zhí)行圖像內字符串識別·翻譯服務時，圖像攝像部105對包含字符串的圖像進行拍攝。與實施例1不同，圖像攝像部105在拍攝了一次圖像后，按一定的時間間隔連續(xù)地對圖像進行拍攝。用圖像攝像部105拍攝了圖像，每次都存儲在圖像緩沖器106中。在此圖像緩沖器106中能夠存儲1副以上的圖像。接著，發(fā)送圖像控制部1401首先選擇1副存儲在圖像緩沖器106中的圖像，在此階段是選擇最初所拍攝的圖像。處理指示部104與實施例1同樣指定由服務器109進行的處理服務的種類。在這里，作為處理服務的種類是指定圖像內字符串識別·翻譯。
數(shù)據(jù)發(fā)送部102將由發(fā)送圖像控制部1401所選擇的圖像、由處理指示部104所指定的處理服務的種類以及與便攜終端101有關的關聯(lián)信息(例如，機型代碼等)發(fā)送給服務器109。
在服務器109中，與實施例1同樣，對包含在由數(shù)據(jù)發(fā)送部102所發(fā)送的攝像圖像中的字符串進行翻譯，并將通過該處理所得到的圖像內字符串翻譯結果發(fā)送給便攜終端101。之后，與實施例1同樣在便攜終端101中結果接收部108接收來自服務器109的圖像內字符串翻譯結果并通過顯示部107顯示接收到的翻譯結果。
接著，在便攜終端101中發(fā)送圖像控制部1401選擇存儲在圖像緩沖器106中的其他圖像(緊跟著當前翻譯了圖像所拍攝的圖像)，同樣向服務器109請求圖像內字符串識別·翻譯服務，接受其翻譯結果并顯示在顯示部107上。以后，對存儲在圖像緩沖器106中的剩余圖像同樣地依次反復一系列的處理。
在反復上述的一系列的處理之間，為了拍攝全部想翻譯的文章，如圖15所示那樣按照移動軌跡1502使便攜終端101的攝像機視場1501移動。其結果得到圖16所示那樣的11個攝像圖像1601。t表示時間，t＝0表示最初所拍攝的圖像、t＝10表示最后所拍攝的圖像。這些各個攝像圖像1601被發(fā)送給服務器109，從最初所拍攝的圖像開始按順序依次進行翻譯，其各翻譯結果被顯示在便攜終端101的顯示部107上。
此外，這里說明了發(fā)送圖像控制部1401，按所拍攝的順序選擇全部圖像，但選擇全部圖像后向服務器109請求圖像內字符串識別·翻譯服務，將導致發(fā)送的數(shù)據(jù)量的增加和服務器109的處理量增加。因此，也可以按照別的基準來縮小將選擇的圖像。例如，發(fā)送圖像控制部1401對存儲在圖像緩沖器106中的圖像，如圖17所示那樣創(chuàng)建在縱向與橫向上進行了N等分的分割區(qū)域1701，求出每個分割區(qū)域的亮度。然后，用新拍攝的圖像和緊靠其之前拍攝的圖像來計算每個分割區(qū)域的亮度值之差，在差的合計值為閾值以下的情況下選擇新拍攝的圖像。由此，就能夠僅選擇在攝像機的移動停止了的時刻所拍攝的圖像，僅將包含用戶想翻譯的字符串的圖像發(fā)送給服務器。在圖17的例子中，就是選擇時間t＝1、t＝5、t＝7、t＝10的攝像圖像1601。
如以上那樣，根據(jù)實施例2，當用戶開始攝像、然后按一定的時間間隔自動地進行攝像，在服務器109側依次翻譯所拍攝的圖像。由此就取得以下效果，即在一次對許多個字符串進行翻譯的情況下，用戶就無需反復若干次將攝像機的視場移動到想翻譯的字符串上按下快門的操作而能夠節(jié)省用戶的時間，并且能夠半實時地獲得翻譯結果。另外，由于發(fā)送圖像控制部1401求出所拍攝的圖像與緊靠其之前拍攝的圖像之間圖像的變化量，選擇其變化量為閾值以下的圖像發(fā)送給服務器109，所以就取得以下效果，即能夠獲得僅對于包含用戶想翻譯的字符串的圖像的翻譯結果，且削減數(shù)據(jù)發(fā)送量和服務器109的處理量。
實施例3在上述實施例1和2的圖像內字符串識別·翻譯服務中，需要在1幅圖像內包含想翻譯的字符串。但是由于用便攜終端101的攝像機所拍攝的圖像其分辨率較低，故很難在1幅圖像內包含較長的字符串或文章。為此可翻譯的字符串的長度就受到限制。只要將拍攝了字符串或文章的片斷的多幅圖像從便攜終端101發(fā)送給服務器109，在服務器109側從這些多幅圖像創(chuàng)建1幅大的合成圖像并對包含在此合成圖像中的字符串進行翻譯就可解決這樣的問題。實施例3就實現(xiàn)了它。
下面使用圖15、圖16、圖18以及圖19對此發(fā)明的實施例3進行說明，圖中，與實施例1和2的各圖共通的部分附加相同的標記并原則上省略其說明。圖18是表示根據(jù)此發(fā)明實施例3的便攜終端式翻譯系統(tǒng)的結構的框圖，1801是圖像統(tǒng)合部。圖19是說明圖像統(tǒng)合部的動作例的說明圖，1901是合成圖像、1902是對應于合成圖像的前處理后圖像、1903是抽出字符串、1904是字符串識別結果、1905是類似字符串。
接著對動作進行說明。
在執(zhí)行圖像內字符串識別·翻譯服務時，首先在便攜終端101中與實施例2同樣按一定的時間間隔取得圖像，并將這些多個圖像存儲在圖像緩沖器106中。例如，在圖15所示那樣按照攝像機視場的移動軌跡1502使攝像機視場1501移動的情況下，多個攝像圖像1601就被存儲在圖像緩沖器106中。
接著，處理指示部104指定由服務器109進行的處理服務的種類。這里作為處理服務的種類指定圖像內字符串識別·翻譯服務，同時作為其執(zhí)行條件指定“創(chuàng)建合成圖像”。此指定從鍵輸入部103由人來進行或者使用缺省的設定自動地進行。由此，數(shù)據(jù)發(fā)送部102將存儲在圖像緩沖器106中的多個圖像、由處理指示部104所指定的處理服務的種類以及執(zhí)行條件、進而與便攜終端101有關的關聯(lián)信息(例如機型信息等)發(fā)送給服務器109。
在服務器109中，首先數(shù)據(jù)接收部110接收從數(shù)據(jù)發(fā)送部102發(fā)送來的數(shù)據(jù)，處理控制部112依照所指定的處理服務的種類切換以后的處理內容。另外，在指定為圖像內字符串識別·翻譯服務的情況下，圖像統(tǒng)合部1801也動作。圖像統(tǒng)合部1801在所指定的處理服務的執(zhí)行條件中存在“創(chuàng)建合成圖像”的指定的情況下，合成接收到的多個圖像以創(chuàng)建1幅合成圖像。例如，通過合成圖16所示的多個攝像圖像1601，就得到圖19所示的合成圖像1901。這些從多個片斷的圖像創(chuàng)建1幅大的合成圖像的處理，已經搭載于市面銷售的數(shù)字攝像機或圖像處理軟件，并能夠使用這些方式來實現(xiàn)。
下面，以由圖像統(tǒng)合部1801所創(chuàng)建的合成圖像為對象，圖像內字符串識別部114進行動作。在此圖像內字符串識別部114中進行與實施例1和2同樣的處理。例如圖19所示那樣，從合成圖像1901創(chuàng)建前處理后圖像1902，從此前處理后圖像1902抽取抽出字符串1903。然后對此抽出字符串1903得到多個字符串識別結果1904和類似字符串1905。接著，圖像內字符串翻譯部115與實施例1和2同樣，生成分別對于由圖像內字符串識別部114所得到的多個字符串識別結果和類似字符串的字符串翻譯結果。
若得到字符串翻譯結果，則圖像內字符串翻譯結果生成部116創(chuàng)建圖像內字符串翻譯結果。在實施例1和2中，圖像內字符串翻譯結果如圖7所示那樣具有字符串位置坐標、字符串識別結果、類似字符串以及字符串翻譯結果。在此實施例3中，從合成圖像抽取出的抽出字符串也追加到圖像內字符串翻譯結果中。之后，與實施例1和2同樣，通過結果發(fā)送部111將由圖像內字符串翻譯結果生成部116所創(chuàng)建的圖像內字符串翻譯結果發(fā)送給便攜終端101。
在便攜終端101中用結果接收部108接收服務器109所發(fā)送的圖像內字符串翻譯結果，給予顯示部107來進行顯示。作為此顯示結果，與圖8所示同樣，顯示從合成圖像抽取出的識別字符串圖像801，并顯示包含字符串識別結果、類似字符串以及字符串翻譯結果的圖像內字符串翻譯結果的圖像802。
如上面那樣，根據(jù)此實施例3，當將拍攝了字符串或文章的片斷的多幅圖像從便攜終端101發(fā)送給服務器109，則服務器109統(tǒng)合這些圖像以創(chuàng)建1幅大的合成圖像，然后識別、抽取并翻譯包含在此合成圖像中的字符串，所以由此就取得能夠翻譯不能容納在攝像機的視場中的長字符串或文章的內容的效果。
實施例4在上述實施例1到3中，服務器具有的字符串識別處理或翻譯處理都是以一般用語為對象的。但是，例如在進入國外的餐館想翻譯本地料理名稱的情況下，或者在國外的醫(yī)院想翻譯寫在診斷書中的病名等情況下，需要對專業(yè)性較高的用語進行翻譯。在這種情況下，很難獲得充分的字符識別性能和翻譯性能。對于此問題通過以用戶的指定或者從便攜終端的GPS(Global Positioning System)功能所得到的用戶的當前位置為基礎，將字符識別處理或翻譯處理中所用的各種辭典置換成恰當?shù)膶I(yè)用語辭典來進行處理就能夠解決。實施例4就實現(xiàn)了它。
下面使用圖20和圖21對實施例4進行說明。圖中與實施例1到3共通的部分附加相同的標記，并原則上省略其說明。圖20是表示根據(jù)實施例4的便攜終端式翻譯系統(tǒng)的結構的方框圖，2001是GPS部、2002是專用識別辭典、2003是專用語言辭典、2004是第1專用翻譯辭典、2005是專用關聯(lián)文辭典、2006是第2專用翻譯辭典、2007是地圖數(shù)據(jù)。圖21是表示識別條件指定的例子的說明圖，2101是選擇畫面。
接著對動作進行說明，首先對執(zhí)行圖像內字符串識別·翻譯服務的情況進行說明。
這里通過與實施例1到3同樣的處理，圖像攝像部105拍攝包含字符串的圖像后將攝像圖像存儲在圖像緩沖器106中。之后，發(fā)送圖像控制部1401選擇存儲在圖像緩沖器106中的1幅圖像。處理指示部104指定由服務器109進行的處理服務的種類及其執(zhí)行條件。在這里作為處理服務的種類指定圖像內字符串識別·翻譯服務。
另外，GPS部2001通過GPS功能從人造衛(wèi)星所發(fā)出的電波取得所持有的便攜終端101的當前位置。數(shù)據(jù)發(fā)送部102將由發(fā)送圖像控制部1401所選擇的圖像、由處理指示部104所指定的處理服務的種類以及有關便攜終端101的信息發(fā)送給服務器109。這里作為有關便攜終端101的信息，包含關聯(lián)信息(例如機型代碼)和由GPS部2001所取得的便攜終端101的當前位置。
在服務器109中，與實施例1到3同樣，對包含在由數(shù)據(jù)發(fā)送部102所發(fā)送的攝像圖像中的字符串進行翻譯，將其結果發(fā)送給便攜終端101。但在此時，處理控制部112基于由GPS部2001所取得的便攜終端101的當前位置參照地圖數(shù)據(jù)2007的內容，來確定持有該便攜終端的用戶現(xiàn)在所處的設施。然后，將圖像內字符串識別·翻譯部113所用的各種辭典置換成對應于所確定的設施的專用辭典。具體來講，就是將圖1所示的識別辭典117和語言辭典118和第1翻譯辭典124分別置換成專用識別辭典2002和專用語言辭典2003和第1專用翻譯辭典2004。
這里，在地圖數(shù)據(jù)2007中保存著各種設施的位置信息，能夠從由GPS部2001所取得的便攜終端101的當前位置得知用戶處于哪個設施。從而，處理控制部112選擇對應于該設施的專用辭典。例如，當用戶處于餐館的情況下，選擇在餐館中使用概率較高的包含本地料理的菜單等的專用辭典。以后在圖像內字符串識別·翻譯部113中，使用各專用辭典2002、2003、2004進行與實施例1到3相同的處理。然后，將進行了處理的翻譯結果送往便攜終端101，用顯示部107來進行顯示。以上為實施例4中的圖像內字符串識別·翻譯服務的動作。
接著，說明文本翻譯服務的動作。
首先與實施例1同樣，用戶通過鍵輸入部103輸入要翻譯的關鍵字，處理指示部104作為由服務器109進行的處理服務的種類指定文本翻譯服務。數(shù)據(jù)發(fā)送部102，將由鍵輸入部103所輸入的關鍵字、由處理指示部104所指定的處理服務的種類以及有關便攜終端101的信息(機型代碼和由GPS部2001所取得的用戶的當前位置)發(fā)送給服務器109。
以后，以與實施例1同樣的處理來進行翻譯處理，將其結果顯示在便攜終端101的顯示部107上。但在由數(shù)據(jù)發(fā)送部102所指定的處理服務的種類為文本翻譯服務的情況下，處理控制部112，基于由GPS部2001所取得的便攜終端101的當前位置參照地圖數(shù)據(jù)2007的內容，來確定持有便攜終端的用戶現(xiàn)在所處的設施。然后，將文本翻譯部119所用的各種辭典置換成對應于所確定的設施的專用辭典。具體來講，就是將圖1所示的關聯(lián)文辭典123和第2翻譯辭典125分別置換成專用關聯(lián)文辭典2005和第2專用翻譯辭典2006。以上為本實施例中的文本翻譯服務的動作。
此外，在上述的動作說明中，處理控制部112基于GPS部2001所得到的用戶的當前位置和地圖數(shù)據(jù)2007來選擇專用辭典的種類，但也可以取代它從便攜終端101直接指定專用辭典的種類。例如，通過處理指示部104，在顯示部107上顯示圖21所示的表示專用辭典的種類的選擇畫面2101，使用戶能夠從其中指定希望的專用辭典的種類。然后，在數(shù)據(jù)發(fā)送部102向服務器109請求圖像內字符串識別·翻譯服務或文本翻譯服務時，將通過處理指示部104由用戶所指定的專用辭典的種類附加在發(fā)送數(shù)據(jù)中發(fā)送給服務器109。由此，處理控制部112選擇用戶所指定的專用辭典來執(zhí)行圖像內字符串識別·翻譯部113或文本翻譯部119的處理。
如上面那樣，根據(jù)此實施例4，由用戶來指定或者基于由GPS部2001所得到的便攜終端101的當前位置和服務器109持有的地圖數(shù)據(jù)2007來確定用戶現(xiàn)在所處的設施，將服務器的字符串識別處理或翻譯處理中所用的各種辭典置換成恰當?shù)膶Ｓ棉o典，所用由此就取得使翻譯結果的性能提高的效果。
實施例5在從上述實施例1到4的圖像內字符串識別·翻譯服務中，從便攜終端101對服務器109發(fā)送由圖像攝像部105所拍攝的彩色圖像或者灰度等級圖像。但是，由于彩色圖像或灰度等級其圖像數(shù)據(jù)量大故發(fā)送需要時間。通過創(chuàng)建削減了數(shù)據(jù)大小的圖像發(fā)送給服務器就能夠此問題。實施例5就實現(xiàn)了它。
下面，使用圖22到圖24對實施例5進行說明。圖中，與實施例1到4共通的部分附加相同的標記，并原則上省略其說明。圖22是表示根據(jù)實施例5的便攜終端式翻譯系統(tǒng)的結構的方框圖，2201是圖像前處理部。圖23是說明圖像前處理部的動作的說明圖，2301是攝像圖像、2302是前處理后圖像。圖24是說明圖像前處理部中的圖像校正處理的說明圖，2401是噪聲、2402是噪聲除去后的前處理后圖像、2403是噪聲除去對象區(qū)域。
接著對動作進行說明。
首先與實施例1到4同樣，圖像攝像部105拍攝包含字符串的圖像，圖像緩沖器106存儲由圖像攝像部105所拍攝的圖像。
接著，圖像前處理部2201對存儲在圖像緩沖器106中的圖像圖像進行圖像處理，以削減圖像的數(shù)據(jù)量。此圖像處理與包含在服務器109的圖像內字符串識別部114的處理過程中前處理(圖3的步驟ST21)相同。例如，如圖23所示那樣，若對存儲在圖像緩沖器106中的圖像2301應用前處理，則得到使字符串部分為黑色背景部分為白色的黑白前處理后圖像2302。這樣顏色數(shù)僅為黑白兩色的進行了二值化的圖像與由圖像攝像部105所拍攝的彩色圖像或灰度等級圖像相比數(shù)據(jù)量小。這樣削減了數(shù)據(jù)量的前處理后圖像就被存儲在圖像緩沖器106中。
另外，若在由圖像攝像部105所拍攝的圖像上含有噪聲，則該噪聲有時就殘留在前處理后的圖像中。例如在圖24中，噪聲2401就殘留在前處理后圖像2302上為黑色。這樣的噪聲2401就成為字符識別處理中的誤識別的原因。為此，圖像前處理部2201就具有用戶能夠從前處理后圖像消除噪聲的功能。例如，將前處理后圖像顯示在顯示部107上，用戶通過目視對其進行檢查。然后在發(fā)現(xiàn)了噪聲的情況下如圖24所示那樣指定包圍噪聲2401的矩形的噪聲除去對象區(qū)域2403。操作鍵輸入部103來進行此指定。若指定了矩形的噪聲除去對象區(qū)域2403，則圖像前處理部2201將噪聲除去對象區(qū)域2403內的黑像素變換成白像素，而編輯成沒有噪聲的前處理后圖像2402。
之后，在從便攜終端101將圖像內字符串識別·翻譯服務委托給服務器109時，圖像發(fā)送部102將存儲在圖像緩沖器106中的前處理后圖像發(fā)送給服務器109。以后的處理與實施例1到4相同。但在實施例1到4中由服務器109所進行的前處理已經在便攜終端101中進行了，所用在此實施例5的服務器109中跳過前處理。服務器109，接收此前處理后圖像，識別所包含的字符串，得到其翻譯結果發(fā)送給便攜終端101。以上為實施例5的動作。
如上面那樣根據(jù)此實施例5，由便攜終端101的圖像前處理部2201進行前處理，為了從彩色圖像或者灰度等級圖像分離字符串和背景而創(chuàng)建進行了二值化的前處理后圖像發(fā)送給服務器109，對包含在前處理后圖像中的字符串進行翻譯，所以就取得以下效果，即能夠削減數(shù)據(jù)量而削減起因于彩色圖像或灰度等級圖像的發(fā)送時間，并且謀求服務器109中的處理時間的縮短化。另外使得當在前處理后圖像中包含噪聲的情況下，獲得除去了噪聲的前處理后圖像，所以就取得能夠去除引起服務器109側的字符識別處理時的誤識別的原因的效果。
對各實施例進行了說明，但這些例子是針對同時持有對于包含在由圖像攝像部所拍攝的圖像中的字符串的翻譯處理，和關于由鍵輸入部所輸入的關鍵字生成關聯(lián)文對于該關聯(lián)文的翻譯處理的結構。這些翻譯處理也可以作為系統(tǒng)分別來進行組成。另外服務器側具備能夠進行兩方處理的結構，但便攜終端側有時為發(fā)送只進行某一方處理的數(shù)據(jù)的結構。但在此情況下處理指示部或處理控制部等的功能就進行若干變更。
產業(yè)上利用的可能性由于本發(fā)明如上述那樣進行構成故其構成為由便攜終端和與此便攜終端進行數(shù)據(jù)交換的服務器組成，其中便攜終端具備，圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；鍵輸入部，輸入關鍵字；處理指示部，指定委托給服務器的處理服務的種類；數(shù)據(jù)發(fā)送部，將由存儲在圖像緩沖器中的圖像或者由鍵輸入部所輸入的關鍵字、所指定的處理服務的種類以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給服務器；結果接收部，接收在服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的翻譯結果；服務器具備，數(shù)據(jù)接收部，接收從便攜終端發(fā)送的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的圖像中的1個字符串抽取多個字符串，翻譯抽取出的多個字符串后生成各自的翻譯結果；文本翻譯部，生成對應于接收到的關鍵字的關聯(lián)文，翻譯所生成的關聯(lián)文后生成翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的所指定的處理服務的種類切換控制是由圖像內字符串識別·翻譯部進行處理還是由文本翻譯部進行處理；以及結果發(fā)送部，基于關聯(lián)信息將由圖像內字符串識別·翻譯部或者文本翻譯部所生成的翻譯結果發(fā)送給便攜終端，所以具有以下效果即實現(xiàn)能夠對應對于圖像內字符串的翻譯和對于所輸入的文本的翻譯兩方的系統(tǒng)。另外在圖像內字符串識別·翻譯的處理中，對字符識別困難、分辨率低、品質差的圖像內的字符或裝飾字符，通過抽取多個字符串來進行翻譯，所以具有可獲得正解率高的翻譯結果的效果，進而在文本翻譯的處理中，由于關鍵字輸入故具有能夠削減文本輸入的時間而無需輸入想翻譯的全部文本的效果。
另外由于本發(fā)明如上述那樣進行構成故其構成為由便攜終端和與此便攜終端進行數(shù)據(jù)交換的服務器組成，其中便攜終端具備，圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；處理指示部，指示委托給服務器的處理服務；數(shù)據(jù)發(fā)送部，將由存儲在圖像緩沖器中的圖像、處理服務的指示以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給服務器；結果接收部，接收在服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的翻譯結果；服務器具備，數(shù)據(jù)接收部，接收從便攜終端發(fā)送的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的圖像中的1個字符串抽取多個字符串，翻譯抽取出的多個字符串后生成各自的翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的處理服務的指示使圖像內字符串識別·翻譯部動作；以及結果發(fā)送部，基于關聯(lián)信息將所生成的翻譯結果發(fā)送給便攜終端，所以具有以下效果，即便對字符識別困難、分辨率低、品質差的圖像內的字符或裝飾字符也可獲得正解率高的翻譯結果。
另外由于本發(fā)明如上述那樣進行構成故其構成為由便攜終端和與此便攜終端進行數(shù)據(jù)交換的服務器組成，其中便攜終端具備，鍵輸入部，輸入關鍵字；處理指示部，指示委托給服務器的處理服務；數(shù)據(jù)發(fā)送部，將由鍵輸入部所輸入的關鍵字、處理服務的指示以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給服務器；結果接收部，接收在服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的翻譯結果；服務器具備，數(shù)據(jù)接收部，接收從便攜終端發(fā)送的數(shù)據(jù)；文本翻譯部，生成對應于包含在接收到數(shù)據(jù)中的關鍵字的關聯(lián)文，翻譯所生成的關聯(lián)文后生成翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的處理服務的指示使文本翻譯部動作；以及結果發(fā)送部，基于關聯(lián)信息將所生成的翻譯結果發(fā)送給便攜終端，所以具有以下效果，由于關鍵字輸入故能夠削減麻煩的文本輸入的時間而無需輸入想翻譯的全部文本。
另外由于本發(fā)明如上述那樣進行構成故其構成為服務器的圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過改變處理時的參數(shù)等以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果；以及圖像內字符串翻譯部，生成分別對所生成的多個字符串識別結果進行了翻譯的多個翻譯結果，所以具有以下效果，即便對字符識別困難、分辨率低、品質差的圖像內的字符或裝飾字符也可獲得正解率高的翻譯結果。
另外由于本發(fā)明如上述那樣進行構成故其構成為服務器的圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過改變處理時的參數(shù)等以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果，并且使用語言辭典對多個字符串識別結果生成拼寫類似的類似字符串；以及圖像內字符串翻譯部，通過分別翻譯所生成的字符串識別結果和類似字符串而生成多個翻譯結果，所以具有以下效果，即便對識別困難、分辨率低、品質差的圖像內的字符或裝飾字符也可獲得正解率非常高的翻譯結果。
另外由于本發(fā)明如上述那樣進行構成故其構成為服務器的文本翻譯部具有，關聯(lián)文生成部，基于接收到的關鍵字參照關聯(lián)文辭典生成與關鍵字關聯(lián)性高的多個文章；以及關聯(lián)文翻譯部，通過翻譯所生成的多個文章而生成翻譯結果，所以具有以下效果，由于關鍵字輸入故能夠削減麻煩的文本輸入的時間而無需輸入想翻譯的全部文本，并且能夠得到正解率高的所請求的文章的翻譯結果。
另外由于本發(fā)明如上述那樣進行構成故其構成為便攜終端具備發(fā)送圖像控制部，依次選擇由圖像攝像部按一定的時間間隔連續(xù)拍攝并存儲在圖像緩沖器中的各圖像以輸出給數(shù)據(jù)發(fā)送部；服務器依次生成包含在接收到的各圖像中的字符串的各翻譯結果后將其發(fā)送給便攜終端；便攜終端的顯示部，每當接收各翻譯結果就進行顯示，所以具有以下效果，在一次翻譯許多字符串的情況下，用戶也不需要反復多次使攝像機的視場移動到想翻譯的字符串上按下快門的操作而削減用戶的時間，半實時地獲得翻譯結果。
另外由于本發(fā)明如上述那樣進行構成故其構成為便攜終端的發(fā)送控制部，對于從圖像緩沖器依次讀出的圖像，比較新拍攝的圖像與其前一次所拍攝的圖像之差，在其差為閾值以下的情況下選擇新拍攝的圖像并發(fā)送給數(shù)據(jù)發(fā)送部，所以具有以下效果，能夠從連續(xù)的多個圖像獲得僅對于包含用戶想翻譯的字符串的圖像的翻譯結果，另外還削減數(shù)據(jù)發(fā)送量和服務器的處理量。
另外由于本發(fā)明如上述那樣進行構成故其構成為服務器具備圖像統(tǒng)合部，合成連續(xù)地接收到的多個圖像以創(chuàng)建1幅合成圖像；圖像內字符串識別·翻譯部生成對應于包含在所創(chuàng)建的合成圖像中的字符串的翻譯結果，所以具有以下效果，能夠翻譯不能收納于攝像機的視場中的長字符串或文章的內容。
另外由于本發(fā)明如上述那樣進行構成故其構成為便攜終端具備GPS部，取得該便攜終端的當前位置后將其添加到發(fā)送給服務器的數(shù)據(jù)中；服務器具備保存了各設施的位置的地圖數(shù)據(jù)；服務器的處理控制部，通過基于接收到的當前位置參照地圖數(shù)據(jù)來確定持有該便攜終端的用戶現(xiàn)在所處的設施，將在該服務器內所用的各種辭典置換成對應于所確定的設施的專用辭典，所以具有以下效果，通過不會使用戶意識到地切換成恰當?shù)霓o典來進行翻譯而使翻譯結果的性能提高。
另外由于本發(fā)明如上述那樣進行構成故其構成為便攜終端的處理指示部，構成為能夠由用戶來指定專用辭典的種類，并將所指定的專用辭典的種類添加在發(fā)送給服務器的數(shù)據(jù)中；服務器的處理控制部，基于接收到的專用辭典的種類將在該服務器內所用的各種辭典置換成被指定的專用辭典，所以具有以下效果，能夠對應響應用戶請求的翻譯而使翻譯結果的性能提高。
另外由于本發(fā)明如上述那樣進行構成故其構成為便攜終端具備圖像前處理部，為了從存儲在圖像緩沖器中的彩色圖像或者灰度等級圖像分離字符串和背景而創(chuàng)建進行了二值化的前處理后圖像并存儲在圖像緩沖器中；將前處理后圖像發(fā)送給服務器以獲得翻譯結果，所以就具有以下效果，能夠削減數(shù)據(jù)量而削減起因于彩色圖像或灰度等級圖像的發(fā)送時間，并且謀求服務器中的處理時間的縮短化。
另外由于本發(fā)明如上述那樣進行構成故其構成為便攜終端構成為當在前處理后圖像中包含噪聲的情況下能夠通過鍵輸入來指定包圍噪聲的噪聲除去對象區(qū)域；圖像前處理部，將噪聲除去對象區(qū)域內的黑像素變換成白像素來編輯前處理后圖像，所以就具有以下效果，能夠去除引起服務器側的字符識別處理時的誤識別的原因。
另外由于本發(fā)明如上述那樣進行構成故其構成為一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；鍵輸入部，輸入關鍵字；處理指示部，指定委托給服務器的處理服務的種類；數(shù)據(jù)發(fā)送部，將由存儲在圖像緩沖器中的圖像或者所輸入的關鍵字、所指定的處理服務的種類以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給服務器；結果接收部，接收在服務器中進行了識別的識別字符串以及進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的翻譯結果，所以就具有以下效果，即實現(xiàn)能夠對應服務器側中對于圖像內字符串的翻譯和對于所輸入的文本的翻譯的兩方服務的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；處理指示部，指示委托給服務器的處理服務；數(shù)據(jù)發(fā)送部，將由存儲在圖像緩沖器中的圖像、處理服務的指示以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給服務器；結果接收部，接收在服務器中進行了識別的識別字符串以及進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的翻譯結果，所以就具有以下效果，即實現(xiàn)請求服務器側中對于圖像內字符串的翻譯，并能夠接收顯示其翻譯結果的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端具備鍵輸入部，輸入關鍵字；處理指示部，指示委托給服務器的處理服務；數(shù)據(jù)發(fā)送部，將由所輸入的關鍵字、處理服務的指示以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給服務器；結果接收部，接收在服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的翻譯結果，所以就具有以下效果，即實現(xiàn)不需要輸入想翻譯的全部文本能夠對應與輸入關鍵字關聯(lián)的翻譯服務的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為具備發(fā)送圖像控制部，依次選擇由圖像攝像部按一定的時間間隔連續(xù)地進行拍攝并存儲在圖像緩沖器中的各圖像以輸出給數(shù)據(jù)發(fā)送部；顯示部，依次顯示包含在從服務器依次接收到的各圖像中的字符串的各翻譯結果，所以具有以下效果，即實現(xiàn)在一次翻譯許多字符串的情況下，用戶也不需要反復多次使攝像機的視場移動到想翻譯的字符串上按下快門的操作而削減用戶的時間，半實時地獲得翻譯結果的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為發(fā)送控制部，對于從圖像緩沖器依次讀出的圖像，比較新拍攝的圖像與其前一次所拍攝的圖像之差，在其差為閾值以下的情況下選擇新拍攝的圖像并輸出給數(shù)據(jù)發(fā)送部，所以具有以下效果，即實現(xiàn)能夠從連續(xù)的多個圖像獲得僅對于包含用戶想翻譯的字符串的圖像的翻譯結果，另外還削減數(shù)據(jù)發(fā)送量和服務器的處理量的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為具備GPS部，通過GPS功能取得該便攜終端的當前位置后將其添加到發(fā)送給服務器的數(shù)據(jù)中，所以具有以下效果，即實現(xiàn)適合于不會使用戶意識到地在服務器側根據(jù)恰當?shù)霓o典來進行翻譯的情況的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為能夠由用戶來指定在服務器內所用的專用辭典的種類，并將所指定的專用辭典的種類添加在發(fā)送給服務器的數(shù)據(jù)中，所以具有以下效果，即實現(xiàn)適合于在服務器側根據(jù)響應用戶請求的恰當?shù)霓o典來進行翻譯的情況的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為具備圖像前處理部，為了從存儲在圖像緩沖器中的彩色圖像或者灰度等級圖像分離字符串和背景而創(chuàng)建進行了二值化的前處理后圖像并存儲在圖像緩沖器中；將從圖像緩沖器讀出的前處理后圖像發(fā)送給服務器以獲得翻譯結果，所以就具有以下效果，即實現(xiàn)能夠削減數(shù)據(jù)量而削減起因于彩色圖像或灰度等級圖像的發(fā)送時間，并且謀求服務器的處理時間的縮短化的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為當在前處理后圖像中包含噪聲的情況下能夠通過鍵輸入來指定包圍噪聲的噪聲除去對象區(qū)域；圖像前處理部，將噪聲除去對象區(qū)域內的黑像素變換成白像素來編輯前處理后圖像，所以就具有以下效果，即實現(xiàn)能夠去除引起服務器側的字符識別處理時的誤識別的原因的便攜終端。
另外由于本發(fā)明如上述那樣進行構成故其構成為一種與便攜終端進行數(shù)據(jù)交換的服務器具備數(shù)據(jù)接收部，接收由從便攜終端發(fā)送的由圖像或者所鍵輸入的關鍵字、所指定的處理服務的種類以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的圖像中的1個字符串抽取多個字符串，翻譯抽取出的多個字符串后生成各自的翻譯結果；文本翻譯部，生成對應于關鍵字的關聯(lián)文，翻譯所生成的關聯(lián)文后生成翻譯結果；處理控制部，按照所指定的處理服務的種類切換控制是由圖像內字符串識別·翻譯部進行處理還是由文本翻譯部進行處理；以及結果發(fā)送部，基于關聯(lián)信息將由圖像內字符串識別·翻譯部或者文本翻譯部所生成的翻譯結果發(fā)送給便攜終端，所以具有以下效果即實現(xiàn)能夠對應對于圖像內字符串的翻譯和對于所輸入的文本的翻譯兩方的服務器。另外在圖像內字符串識別·翻譯的處理中，對字符識別困難、分辨率低、品質差的圖像內的字符或裝飾字符，通過抽取多個字符串來進行翻譯，所以具有可獲得正解率高的翻譯結果的效果，進而在文本翻譯的處理中，由于從接收到的關鍵字生成關聯(lián)文，故具有能夠得到用戶請求的翻譯結果而無需取得想翻譯的全部文本，且能夠減輕在便攜終端側輸入時的用戶負擔的效果。
另外由于本發(fā)明如上述那樣進行構成故其構成為一種與便攜終端進行數(shù)據(jù)交換的服務器具備數(shù)據(jù)接收部，接收由從便攜終端發(fā)送的圖像、處理服務的指示以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的圖像中的1個字符串抽取多個字符串，翻譯抽取出的多個字符串后生成各自的翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的處理服務的指示使圖像內字符串識別·翻譯部動作；以及結果發(fā)送部，基于關聯(lián)信息將由圖像內字符串識別·翻譯部或者文本翻譯部所生成的翻譯結果發(fā)送給便攜終端，所以具有以下效果，即實現(xiàn)即便對字符識別困難、分辨率低、品質差的圖像內的字符或裝飾字符也可獲得正解率高的翻譯結果的服務器。
另外由于本發(fā)明如上述那樣進行構成故其構成為一種與便攜終端進行數(shù)據(jù)交換的服務器具備數(shù)據(jù)接收部，接收由所鍵輸入的關鍵字、處理服務的指示以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)；文本翻譯部，生成對于關鍵字的關聯(lián)文，翻譯所生成的關聯(lián)文后生成翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的處理服務的指示使文本翻譯部動作；以及結果發(fā)送部，基于關聯(lián)信息將由文本翻譯部所生成的翻譯結果發(fā)送給便攜終端，所以具有以下效果，即由于從接收到的關鍵字生成關聯(lián)文故實現(xiàn)即便沒有接收到想翻譯的全部文本也可得到用戶請求的翻譯結果的服務器，另外能夠減輕在便攜終端側輸入時的用戶的負擔。
另外由于本發(fā)明如上述那樣進行構成故其構成為圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過改變處理時的參數(shù)等以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果；以及圖像內字符串翻譯部，生成分別對所生成的多個字符串識別結果進行了翻譯的多個翻譯結果，所以具有以下效果，即實現(xiàn)即便對字符識別困難、分辨率低、品質差的圖像內的字符或裝飾字符也可獲得正解率高的翻譯結果的服務器。
另外由于本發(fā)明如上述那樣進行構成故其構成為圖像內字符串識別·翻譯部具有，圖像內字符串識別部，通過改變處理時的參數(shù)等以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果，并且使用語言辭典對多個字符串識別結果生成拼寫類似的類似字符串；以及圖像內字符串翻譯部，通過分別翻譯所生成的字符串識別結果和類似字符串而生成多個翻譯結果，所以具有以下效果，即實現(xiàn)即便對識別困難、分辨率低、品質差的圖像內的字符或裝飾字符也可獲得正解率非常高的翻譯結果的服務器。
另外由于本發(fā)明如上述那樣進行構成故其構成為文本翻譯部具有，關聯(lián)文生成部，基于由鍵輸入部所輸入的關鍵字參照關聯(lián)文辭典生成與關鍵字關聯(lián)性高的多個文章；以及關聯(lián)文翻譯部，通過翻譯所生成的多個文章而生成翻譯結果，所以具有以下效果，即由于從接收到的關鍵字生成多個關聯(lián)文故實現(xiàn)即便沒有接收到想翻譯的全部文本也可得到對于用戶請求正解率非常高的翻譯結果的服務器，另外能夠減輕在便攜終端側輸入時的用戶的負擔。
另外由于本發(fā)明如上述那樣進行構成故其構成為具備圖像統(tǒng)合部，合成連續(xù)地接收到的多個圖像以創(chuàng)建1幅合成圖像；圖像內字符串識別·翻譯部生成對于包含在所創(chuàng)建的合成圖像中的字符串的翻譯結果，所以具有以下效果，即實現(xiàn)能夠翻譯不能收納于攝像機的視場中的長字符串或文章的內容的服務器。
另外由于本發(fā)明如上述那樣進行構成故其構成為具備保存了各設施的位置的地圖數(shù)據(jù)；處理控制部，通過基于包含在接收到的數(shù)據(jù)中的便攜終端的當前位置參照地圖數(shù)據(jù)來確定持有該便攜終端的用戶現(xiàn)在所處的設施，將在該服務器內所用的各種辭典置換成對應于所確定的設施的專用辭典，所以具有以下效果，即實現(xiàn)通過不會使用戶意識到地切換成恰當?shù)霓o典來進行翻譯而使翻譯結果的性能提高的服務器。
另外由于本發(fā)明如上述那樣進行構成故其構成為處理控制部，基于包含在接收到的數(shù)據(jù)中的被指定的專用辭典的種類將在該服務器內所用的各種辭典置換成被指定的專用辭典，所以具有以下效果，即實現(xiàn)能夠對應響應用戶請求的翻譯而使翻譯結果的性能提高的服務器。
權利要求
1.一種由便攜終端和與該便攜終端進行數(shù)據(jù)交換的服務器組成的便攜終端式圖像處理系統(tǒng)，其特征在于，上述便攜終端具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；鍵輸入部，輸入關鍵字；處理指示部，指定委托給上述服務器的處理服務的種類；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像或者由上述鍵輸入部所輸入的關鍵字、所指定的處理服務的種類以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果；上述服務器具備數(shù)據(jù)接收部，接收從上述便攜終端發(fā)送的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串后生成各自的翻譯結果；文本翻譯部，生成對應于接收到的上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述所指定的處理服務的種類來切換控制是由上述圖像內字符串識別·翻譯部進行處理還是由上述文本翻譯部進行處理；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述圖像內字符串識別·翻譯部或者上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
2.一種由便攜終端和與該便攜終端進行數(shù)據(jù)交換的服務器組成的便攜終端式圖像處理系統(tǒng)，其特征在于，上述便攜終端具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果；上述服務器具備數(shù)據(jù)接收部，接收從上述便攜終端發(fā)送的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串后生成各自的翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務的指示使上述圖像內字符串識別·翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將所生成的上述翻譯結果發(fā)送給上述便攜終端。
3.一種由便攜終端和與該便攜終端進行數(shù)據(jù)交換的服務器組成的便攜終端式圖像處理系統(tǒng)，其特征在于，上述便攜終端具備鍵輸入部，輸入關鍵字；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由上述鍵輸入部所輸入的關鍵字、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果；上述服務器具備數(shù)據(jù)接收部，接收從上述便攜終端發(fā)送的數(shù)據(jù)；文本翻譯部，生成對應于包含在接收到數(shù)據(jù)中的上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成上述翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務的指示使上述文本翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將所生成的上述翻譯結果發(fā)送給上述便攜終端。
4.根據(jù)權利要求1或2所述的便攜終端式圖像處理系統(tǒng)，其特征在于，服務器的圖像內字符串識別·翻譯部具有圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果；以及圖像內字符串翻譯部，生成分別對所生成的上述多個字符串識別結果進行翻譯后的多個翻譯結果。
5.根據(jù)權利要求1或2所述的便攜終端式圖像處理系統(tǒng)，其特征在于，服務器的圖像內字符串識別·翻譯部具有圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果，并且使用語言辭典對上述多個字符串識別結果生成拼寫類似的類似字符串；以及圖像內字符串翻譯部，通過分別翻譯所生成的上述字符串識別結果和上述類似字符串而生成多個翻譯結果。
6.根據(jù)權利要求1或3所述的便攜終端式圖像處理系統(tǒng)，其特征在于，服務器的文本翻譯部具有關聯(lián)文生成部，基于接收到的關鍵字參照關聯(lián)文辭典生成與上述關鍵字關聯(lián)性高的多個文章；以及關聯(lián)文翻譯部，通過翻譯所生成的上述多個文章而生成翻譯結果。
7.根據(jù)權利要求1或2所述的便攜終端式圖像處理系統(tǒng)，其特征在于便攜終端具備發(fā)送圖像控制部，依次選擇由圖像攝像部按一定的時間間隔連續(xù)拍攝并存儲在圖像緩沖器中的各圖像后輸出給數(shù)據(jù)發(fā)送部；服務器依次生成包含在接收到的上述各圖像中的字符串的各翻譯結果后將其發(fā)送給上述便攜終端；上述便攜終端的顯示部，每當接收上述各翻譯結果就進行顯示。
8.根據(jù)權利要求7所述的便攜終端式圖像處理系統(tǒng)，其特征在于便攜終端的發(fā)送控制部，對于從圖像緩沖器依次讀出的圖像，比較新拍攝的圖像與其前一次所拍攝的圖像之差，在其差為閾值以下的情況下選擇上述新拍攝的圖像并發(fā)送給數(shù)據(jù)發(fā)送部。
9.根據(jù)權利要求7或8所述的便攜終端式圖像處理系統(tǒng)，其特征在于服務器具備圖像統(tǒng)合部，合成連續(xù)接收的多個圖像以創(chuàng)建1個合成圖像；圖像內字符串識別·翻譯部生成對應于包含在所創(chuàng)建的上述合成圖像中的字符串的翻譯結果。
10.根據(jù)權利要求1～9中任意一項所述的便攜終端式圖像處理系統(tǒng)，其特征在于便攜終端具備GPS部，用于在取得該便攜終端的當前位置后將其添加到發(fā)送給服務器的數(shù)據(jù)中；上述服務器具備保存了各設施的位置的地圖數(shù)據(jù)；上述服務器的處理控制部基于接收到的上述當前位置，通過參照上述地圖數(shù)據(jù)來確定持有該便攜終端的用戶現(xiàn)在所處的設施，將在該服務器內所用的各種辭典置換成對應于所確定的上述設施的專用辭典。
11.根據(jù)權利要求1～9中任意一項所述的便攜終端式圖像處理系統(tǒng)，其特征在于便攜終端的處理指示部構成為能夠由用戶來指定專用辭典的種類，并將所指定的上述專用辭典的種類添加到發(fā)送給服務器的數(shù)據(jù)中；上述服務器的處理控制部基于接收到的上述專用辭典的種類，將在該服務器內所用的各種辭典置換成被指定的專用辭典。
12.根據(jù)權利要求1、3～5、7～11中任意一項所述的便攜終端式圖像處理系統(tǒng)，其特征在于便攜終端具備圖像前處理部，為了從存儲在圖像緩沖器中的彩色圖像或者灰度等級圖像分離字符串和背景而創(chuàng)建進行了二值化的前處理后圖像并將其存儲在上述圖像緩沖器中；將上述前處理后圖像發(fā)送給服務器以獲得翻譯結果。
13.根據(jù)權利要求12所述的便攜終端式圖像處理系統(tǒng)，其特征在于便攜終端構成為當在前處理后圖像中包含噪聲的情況下能夠通過鍵輸入來指定包圍上述噪聲的噪聲除去對象區(qū)域；圖像前處理部，將上述噪聲除去對象區(qū)域內的黑像素變換成白像素來編輯前處理后圖像。
14.一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端，其特征在于具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；鍵輸入部，輸入關鍵字；處理指示部，指定委托給上述服務器的處理服務的種類；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像或者所輸入的關鍵字、所指定的上述處理服務的種類以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行了識別的識別字符串以及進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果。
15.一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端，其特征在于具備圖像攝像部；圖像緩沖器，存儲由該圖像攝像部所拍攝的圖像；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由存儲在上述圖像緩沖器中的圖像、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行識別的識別字符串以及進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果。
16.一種與進行翻譯處理的服務器進行數(shù)據(jù)交換的便攜終端，其特征在于具備鍵輸入部，輸入關鍵字；處理指示部，指示委托給上述服務器的處理服務；數(shù)據(jù)發(fā)送部，將由所輸入的關鍵字、上述處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)發(fā)送給上述服務器；結果接收部，接收在上述服務器中進行翻譯處理后的翻譯結果；以及顯示部，顯示接收到的上述翻譯結果。
17.根據(jù)權利要求14或15所述的便攜終端，其特征在于具備發(fā)送圖像控制部，依次選擇由圖像攝像部按一定的時間間隔連續(xù)拍攝并存儲在圖像緩沖器中的各圖像以輸出給數(shù)據(jù)發(fā)送部；顯示部依次顯示包含在從服務器依次接收到的上述各圖像中的字符串的各翻譯結果。
18.根據(jù)權利要求17所述的便攜終端，其特征在于發(fā)送控制部對于從圖像緩沖器依次讀出的圖像，比較新拍攝的圖像與其前一次所拍攝的圖像之差，在其差為閾值以下的情況下選擇上述新拍攝的圖像并輸出給數(shù)據(jù)發(fā)送部。
19.根據(jù)權利要求14～18中任意一項所述的便攜終端，其特征在于具備GPS部，通過GPS功能取得該便攜終端的當前位置后將其添加到發(fā)送給服務器的數(shù)據(jù)中。
20.根據(jù)權利要求14～18中任意一項所述的便攜終端，其特征在于處理指示部構成為能夠由用戶來指定在服務器內所用的專用辭典的種類，并將所指定的上述專用辭典的種類添加到發(fā)送給服務器的數(shù)據(jù)中。
21.根據(jù)權利要求14、15、17～20中任意一項所述的便攜終端，其特征在于具備圖像前處理部，為了從存儲在圖像緩沖器中的彩色圖像或者灰度等級圖像分離字符串和背景而創(chuàng)建進行了二值化的前處理后圖像并將其存儲在上述圖像緩沖器中；將從上述圖像緩沖器讀出的上述前處理后圖像發(fā)送給服務器以獲得翻譯結果。
22.根據(jù)權利要求21所述的便攜終端，其特征在于構成為當在前處理后圖像中包含噪聲的情況下能夠通過鍵輸入來指定包圍上述噪聲的噪聲除去對象區(qū)域；圖像前處理部將上述噪聲除去對象區(qū)域內的黑像素變換成白像素來編輯前處理后圖像。
23.一種與便攜終端進行數(shù)據(jù)交換的服務器，其特征在于具備數(shù)據(jù)接收部，接收由從上述便攜終端發(fā)送的圖像或者鍵輸入的關鍵字、所指定的處理服務的種類以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串后生成各自的翻譯結果；文本翻譯部，生成對應于上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成翻譯結果；處理控制部，按照上述所指定的處理服務的種類切換控制是由上述圖像內字符串識別·翻譯部進行處理還是由上述文本翻譯部進行處理；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述圖像內字符串識別·翻譯部或者上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
24.一種與便攜終端進行數(shù)據(jù)交換的服務器，其特征在于具備數(shù)據(jù)接收部，接收由從上述便攜終端發(fā)送的圖像、處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)；圖像內字符串識別·翻譯部，對包含在接收到的上述圖像中的1個字符串抽取多個字符串，翻譯抽取出的上述多個字符串后生成各自的翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務指示使上述圖像內字符串識別·翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述圖像內字符串識別·翻譯部或者上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
25.一種與便攜終端進行數(shù)據(jù)交換的服務器，其特征在于具備數(shù)據(jù)接收部，接收由鍵輸入的關鍵字、處理服務的指示以及上述便攜終端的關聯(lián)信息組成的數(shù)據(jù)；文本翻譯部，生成對應于上述關鍵字的關聯(lián)文，翻譯所生成的上述關聯(lián)文后生成上述翻譯結果；處理控制部，按照包含在接收到的數(shù)據(jù)中的上述處理服務的指示使上述文本翻譯部動作；以及結果發(fā)送部，基于上述關聯(lián)信息將由上述文本翻譯部所生成的翻譯結果發(fā)送給上述便攜終端。
26.根據(jù)權利要求23或24所述的服務器，其特征在于，圖像內字符串識別·翻譯部具有圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果；以及圖像內字符串翻譯部，生成分別對所生成的上述多個字符串識別結果進行翻譯后的多個翻譯結果。
27.根據(jù)權利要求23或24所述的服務器，其特征在于，圖像內字符串識別·翻譯部具有圖像內字符串識別部，通過以不同的多個條件識別圖像內的1個字符串而生成多個字符串識別結果，并且使用語言辭典對上述多個字符串識別結果生成拼寫類似的類似字符串；以及圖像內字符串翻譯部，通過分別翻譯所生成的上述字符串識別結果和上述類似字符串而生成多個翻譯結果。
28.根據(jù)權利要求25所述的服務器，其特征在于，文本翻譯部具有關聯(lián)文生成部，基于由鍵輸入部所輸入的關鍵字參照關聯(lián)文辭典生成與上述關鍵字關聯(lián)性高的多個文章；以及關聯(lián)文翻譯部，通過翻譯所生成的上述多個文章而生成翻譯結果。
29.根據(jù)權利要求23、24、26以及27中任意一項所述的服務器，其特征在于具備圖像統(tǒng)合部，合成連續(xù)接收的多個圖像以創(chuàng)建1個合成圖像；圖像內字符串識別·翻譯部生成對應于包含在所創(chuàng)建的上述合成圖像中的字符串的翻譯結果。
30.根據(jù)權利要求23～29中任意一項所述的服務器，其特征在于具備保存了各設施的位置的地圖數(shù)據(jù)；處理控制部基于包含在接收到的數(shù)據(jù)中的便攜終端的當前位置，通過參照上述地圖數(shù)據(jù)來確定持有該便攜終端的用戶現(xiàn)在所處的設施，將在該服務器內所用的各種辭典置換成對應于所確定的上述設施的專用辭典。
31.根據(jù)權利要求23～29中任意一項所述的服務器，其特征在于處理控制部基于包含在接收到的數(shù)據(jù)中的被指定的專用辭典的種類將在該服務器內所用的各種辭典置換成被指定的專用辭典。
全文摘要
本發(fā)明公開一種便攜終端式圖像處理系統(tǒng)、便攜終端和服務器，以便攜終端的攝像機所拍攝的圖像為基礎提供便利性高的翻譯功能。為此，發(fā)送由便攜終端101的攝像機所拍攝的圖像或者鍵輸入部103所輸入的關鍵字、處理服務的種類以及便攜終端的關聯(lián)信息組成的數(shù)據(jù)，在服務器109中，通過圖像內字符串識別部114和翻譯部115來翻譯對包含在接收圖像中的1個字符串所抽取出的多個字符串，或者翻譯對接收關鍵字所生成的關聯(lián)文后將翻譯結果發(fā)送給便攜終端101。
文檔編號G06K9/00GK1615478SQ0282711
公開日2005年5月11日 申請日期2002年11月26日 優(yōu)先權日2001年12月10日
發(fā)明者平野敬, 岡田康裕 申請人:三菱電機株式會社