專利名稱：圖像中的文本的翻譯和顯示的制作方法
技術(shù)領(lǐng)域：
此處描述的系統(tǒng)和方法通常涉及通信設(shè)備，更特別的，涉及通過通信設(shè)備顯示文本。
背景技術(shù)：
諸如蜂窩電話之類的通信設(shè)備已經(jīng)漸漸變得通用。例如，蜂窩電話經(jīng)常包括照相功能，這使得用戶能夠拍攝照片，其捕捉數(shù)字圖像?，F(xiàn)在，使用在蜂窩電話和便攜式通信設(shè)備上的照相機的特征被限制為捕捉和傳輸圖像。

發(fā)明內(nèi)容
根據(jù)一個方面，該方法包括接收包含文本的圖像；將該文本翻譯為另一種語言；并且在接收到的圖像的部分上疊加并顯示翻譯的文本。另外該方法可以進一步包括在接收到的圖像上執(zhí)行光字符識別(OCR)。另外該方法可以進一步包括從用戶接收輸入選擇用于執(zhí)行OCR處理的語言。另外該方法可以進一步包括從用戶接收輸入選擇另一種語言。另外，接收到的圖像可以包括數(shù)字圖像或視頻流的至少之一。另外，翻譯的文本可以以比接收到的圖像中的文本更突出的方式顯示。另外，將該文本翻譯成另一種語言可以由服務(wù)器執(zhí)行，并且其中在接收到的圖像的部分上顯示翻譯的文本是被顯示在移動終端上。根據(jù)另一個方面，提供移動終端。該移動終端包括被配置為產(chǎn)生圖像的照相機；顯示器；和邏輯，被配置為從照相機接收圖像，在圖像上執(zhí)行光字符識別(OCR)以產(chǎn)生文本，將文本翻譯為另一種語言，并且控制顯示器顯示翻譯的文本。另外，邏輯可進一步被配置為在接收到的圖像的至少一部分上疊加并顯示翻譯的文本。另外，邏輯可進一步被配置為接收與OCR處理相關(guān)聯(lián)的語言選擇。另外，邏輯可進一步被配置為接收另一種語言的選擇。另外，邏輯可進一步被配置為基本上與接收到的圖像中的文本相同的尺寸來顯示翻譯的文本。另外，邏輯可進一步被配置為以比翻譯的文本暗淡的或較不突出的方式顯示接收到的圖像中的文本。根據(jù)另一個方面，提供一種方法。該方法包括接收圖像；在接收到的圖像上執(zhí)行光字符識別(OCR)處理以便產(chǎn)生以第一語言的文本；將以第一語言的文本翻譯為以第二語言的文本；以暗淡化的方式顯示接收到的圖像；并且在顯示的接收到的圖像上疊加和顯示以第二語言的文本。另外，該方法可進一步包括接收識別第一和第二語言的選擇。另外，可以由服務(wù)器執(zhí)行在接收到的圖像上執(zhí)行OCR處理。另外，顯示以第二語言的文本可以包括在位于服務(wù)器遠端的移動終端上顯示文本。另外，該方法可進一步包括將接收到的圖像傳輸?shù)椒?wù)器。另外，該方法可進一步包括將以第一語言的文本從服務(wù)器傳輸?shù)揭苿咏K端。另外以第二語言疊加和顯示的文本可以包括不止一種尺寸的文本。

此處描述的系統(tǒng)和方法的其他特征和優(yōu)勢從以下詳細描述中對于本領(lǐng)域的這些技術(shù)人員將變得顯而易見。示出和描述的實施方式提供了實施這些實施例的最好的模式的示范。因此，附圖將視為本質(zhì)上的示出，而非作為限制。


參照附圖，其中相同的參考標記指示的元件可以始終代表同樣的元件。圖I是示范性系統(tǒng)的圖表，可以在其中實施此處描述的方法和系統(tǒng)；
圖2是圖I的示范性服務(wù)器的圖表；
圖3示出了示范性移動終端；
圖4是圖3的示范性移動終端的圖表；
圖5是示出移動終端示范性處理的流程 圖6A-6B示出了在移動終端上的示范性顯示；
圖7是示出移動終端的另外的示范性處理的流程 圖8A-8D示出了在移動終端上的示范性顯示；并且 圖9A-9F示出了在移動終端上的示范性顯示。
具體實施例方式下述詳細的說明參考了附圖。在不同圖中的相同參考標記指的是相同或相似的元件。同樣的，下述詳細的說明不限于此處所描述的系統(tǒng)和方法。而是，本發(fā)明的范圍由所附權(quán)利要求和其等價物所定義。圖I是示范性系統(tǒng)100的圖表，可以在其中實施此處描述的方法和系統(tǒng)。系統(tǒng)100可包括移動終端110、120和130，網(wǎng)絡(luò)140，和服務(wù)器150。應(yīng)當理解的是系統(tǒng)100可包括其它數(shù)目的移動終端和服務(wù)器。系統(tǒng)100也可包括用于在移動終端110-130之間傳遞信息的多個基站和基站天線。此處描述的方法和系統(tǒng)可在移動終端的背景下實施，例如一個或多個移動終端110、120和130。如此處所使用的，術(shù)語“移動終端”可包括帶有多行顯示的蜂窩式無線電話；可以將數(shù)據(jù)處理、傳真和數(shù)據(jù)通信能力與蜂窩式無線電話相結(jié)合的個人通信系統(tǒng)(PCS)終端；包括無線電話、尋呼機、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)接入、網(wǎng)絡(luò)瀏覽器、組織者(organizer)、計算器和/或全球定位系統(tǒng)(GPS)接收機的個人數(shù)字助理(PDA);無線電(AM/FM)接收機；以及包括無線電話收發(fā)器的便攜式電腦和/或掌上型電腦接收機或其它裝置。移動終端也可稱為“普適計算技術(shù)”設(shè)備，可以與其它設(shè)備通過短消息服務(wù)(SMS)協(xié)議或其它允許同時傳送聲音、數(shù)據(jù)、音樂和視頻信息的協(xié)議進行通信。網(wǎng)絡(luò)140可包括一個或多個網(wǎng)絡(luò)，這些網(wǎng)絡(luò)包括蜂窩蜂窩網(wǎng)絡(luò)，例如全球移動通信系統(tǒng)(GSM)的通信網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、互聯(lián)網(wǎng)、電話網(wǎng)絡(luò)，例如公共交換電話網(wǎng)(PSTN)，城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)或局域網(wǎng)(LAN)。移動終端110、120和130通過有線、無線或光連接經(jīng)由網(wǎng)絡(luò)140彼此通信。在示范性實施中，網(wǎng)絡(luò)140包括用于在移動終端110-130之間傳輸數(shù)據(jù)和消息的蜂窩網(wǎng)絡(luò)。例如，蜂窩網(wǎng)絡(luò)的部件可包括基站天線(未示出)，從其鄰近范圍內(nèi)的移動終端傳輸和接收數(shù)據(jù)。蜂窩網(wǎng)絡(luò)的其它部件，例如，也可包括基站(未示出)，連接到基站天線并與其它設(shè)備，例如依據(jù)已知技術(shù)的交換機和路由器(未示出)，通信。
服務(wù)器150可包括一個或多個由軟件使能的處理器或微處理器以執(zhí)行功能，例如數(shù)據(jù)存儲和傳輸，以及例如與其它服務(wù)器(未示出)、移動終端110-130和網(wǎng)絡(luò)140相接口。服務(wù)器150也可包括數(shù)據(jù)存儲器，例如隨機存取存儲器(RAM)或另一個動態(tài)存儲設(shè)備，存儲涉及到接收、處理和變換從移動終端110-130接收到的圖像和文本的信息。圖2是服務(wù)器150的示范性結(jié)構(gòu)的圖表。服務(wù)器150可以包括總線210、處理器220、存儲器230、只讀存儲器(ROM)240、存儲設(shè)備250、輸入設(shè)備260、輸出設(shè)備270、通信接口 280以及翻譯模塊290。服務(wù)器150也可包括一個或多個電源(未示出)。本領(lǐng)域技術(shù)人員將意識到服務(wù)器150可以若干其他方式被配置，可包括其它或不同的元件?？偩€210允許在服務(wù)器150的部件之間通信。處理器220可包括任何類型的處理器、微處理器、或者可解釋和執(zhí)行指令的處理邏輯。處理器220也可包括可以解碼媒體文件例如音頻文件、視頻文件等的邏輯，并可產(chǎn)生到例如揚聲器、顯示器等的輸出。存儲器230可包括隨機存儲器(RAM)或另一個動態(tài)存儲設(shè)備，存儲被處理器220執(zhí)行的信息和指令。存儲器230也可被用于存儲臨時變量或處理器220執(zhí)行指令過程中的其它中間信息。R0M240可包括ROM設(shè)備和/或另一個存儲用于處理器220的靜態(tài)信息和指令的靜態(tài)存儲設(shè)備。存儲設(shè)備250可包括用于存儲信息和指令的磁盤或光盤和其相應(yīng)的驅(qū)動和/或一些其它類型的磁或光記錄介質(zhì)和其相應(yīng)的驅(qū)動。存儲設(shè)備250也可包括用于存儲信息和指令的閃存(例如電可擦除可編程只讀存儲器(EEPROM))設(shè)備。輸入設(shè)備260可包括一個或多個機構(gòu),允許用戶向服務(wù)器150輸入信息,例如鍵盤、鼠標、麥克風(fēng)、筆、聲音識別和/或生物學(xué)機構(gòu)等。輸出設(shè)備270可包括一個或多個機構(gòu)，向用戶輸出信息，包括顯示器、打印機等。通信接口 280可包括任何類似收發(fā)器的機構(gòu)，使得服務(wù)器150與其他設(shè)備和/或系統(tǒng)通信。例如，通信接口 280可包括到LAN的調(diào)制解調(diào)器或以太網(wǎng)接口。通信接口 280可包括通過網(wǎng)絡(luò)，例如網(wǎng)絡(luò)140,用于通信的其他機構(gòu)。例如,通信接口 280可包括一個或多個射頻(RF)發(fā)射機，以及一個或多個RF接收機，和用于傳輸和接收RF信號的天線。翻譯模塊290可包括用于接收圖像以及在接收到的圖像上執(zhí)行光字符識別(OCR)處理以產(chǎn)生文本的硬件和/或軟件。例如翻譯模塊290可接收從移動終端110傳送的視頻流或圖像，并從接收到的圖像上識別和產(chǎn)生文本。翻譯模塊290可進一步包括過濾和動作處理軟件，以在執(zhí)行OCR處理之前處理接收到的視頻流。翻譯模塊290也可為每種語言存儲目錄，并可執(zhí)行從一種語言到另一種語言的文本翻譯。翻譯模塊290可通過以詞為基礎(chǔ)執(zhí)行文本翻譯，或者使用文法或句法規(guī)則翻譯文本，以便按照逐個句子的方式或者以短語為基礎(chǔ)執(zhí)行翻譯。處理器220和/或翻譯模塊290可執(zhí)行翻譯處理并通過例如通信接口 280向移動終端110回傳翻譯的文本。根據(jù)示范性實施，響應(yīng)于處理器220執(zhí)行包括在存儲器230中的指令序列，服務(wù)器150可執(zhí)行各種處理。從另一個計算機可讀介質(zhì)，例如存儲器設(shè)備250，或通過通信接口 280從單獨的設(shè)備可將這樣的指令讀入存儲器230。應(yīng)當理解的是計算機可介質(zhì)可包括一個或多個存儲器設(shè)備或載波。包括在存儲器230中的指令執(zhí)行序列使得處理器220執(zhí)行此后將要描述的行為。在可替換實施例中，硬連線電路可被用于代替軟件指令或與之結(jié)合，以實施該實施例的各方面。因此，此處描述的系統(tǒng)和方法不限于硬件電路和軟件的任何特定結(jié)合。圖3示出了示范性移動終端110，可包括外殼301、小鍵盤310、控制鍵320、揚聲器330、顯示器340、麥克風(fēng)350、照相機360和定位筆370。外殼301可包括配置用來容納用在移動終端110中的設(shè)備和部件的結(jié)構(gòu)。例如，外殼301可由塑料、金屬或合成物組成，可被配置為支持小鍵盤310、控制鍵320、揚聲器330、顯示器340、麥克風(fēng)350、照相機360和手寫筆 370。 小鍵盤310可包括可用于操作移動終端110的設(shè)備和/或邏輯。小鍵盤310可進一步適于接收用戶輸入，直接或通過其他設(shè)備，例如手寫筆370，向移動終端110輸入信息。在一個實施中，可通過激活小鍵盤310中的鍵來控制移動終端110的通信功能。鍵的實施可擁有與之相關(guān)聯(lián)的鍵信息，例如數(shù)字、字母、符號等。用戶可操作小鍵盤310中的鍵以便發(fā)出呼叫、向移動終端110輸入數(shù)字、命令以及文本消息。鍵的指定功能可形成和/或操縱可顯示在顯示器340上的圖像?？刂奇I320可包括按鈕，允許用戶與移動終端110交互以執(zhí)行特定的動作，例如與顯示器340交互等。例如，用戶可使用控制鍵320從選擇菜單中選擇，該選擇菜單可包括選擇翻譯模式。揚聲器330可包括向移動終端110的用戶提供可聽見信息的設(shè)備。揚聲器330可放置于移動終端110的任何地方，例如當用戶使用移動終端110進行通信時可用作聽筒。揚聲器330也可用作例如用于播放音樂或在緊急情況下產(chǎn)生告警音頻的輸出設(shè)備。顯示器340可包括向用戶提供可視圖像的設(shè)備。例如，顯示器340可向用戶顯示文本，例如菜單(如圖3所示)。顯示器340也可向移動終端110的用戶顯示關(guān)于輸入/輸出呼叫、文本消息、電話簿、音量設(shè)置等的圖形信息。顯示器340可用黑白或彩色顯示器，例如液晶顯示器(IXD)來實現(xiàn)。在一個實施例中，顯示器340可用作用戶輸入接口，例如，觸摸屏、或可顯示的面板。例如，顯示器340可包括壓力敏感的(例如電阻性的)、電敏感的(例如電容性的)、聲敏感的(例如表面聲波)、光敏感的(例如紅外線的)、和/或任何其他類型的允許顯示器作為輸入設(shè)備使用的顯示器覆蓋物。麥克風(fēng)350可包括將語音或其他聲信號轉(zhuǎn)化為移動設(shè)備110使用的電信號的設(shè)備。麥克風(fēng)350可放置在移動終端110的任何地方，可被配置為，例如，將口語單詞或短語轉(zhuǎn)化為移動終端110使用的電信號。照相機360可包括任何類型的數(shù)字照相設(shè)備，使得用戶能夠捕獲和存儲視頻和/或圖像(例如照片)。手寫筆370可包括附屬工具，可用于操作顯示器340、控制鍵320、和/或小鍵盤310，例如輸入數(shù)據(jù)。在一個實施中，手寫筆370可以是指示器或無墨水筆，可用于寫信息或選擇呈現(xiàn)在顯示器340上的文本信息或圖像。手寫筆370可與顯示器340的觸摸屏的類型相對應(yīng)。例如，如果顯示器340包括壓力敏感的表面，手寫筆370就可包括帶有尖頭的延長軸，用于接觸顯示器340的表面。另外，如果顯示器340包括電敏感的表面、聲敏感的表面、或者光敏感的表面，手寫筆370就可分別包括發(fā)射電荷、聲音或光的末端，可被引導(dǎo)到顯不器340的表面。手寫筆370可包括一個或多個表面特征和/或輪廓，以便用戶抓住和/或操作。手寫筆370例如可包含在移動終端110的外殼301內(nèi)的狹槽中。圖4是移動終端110的示范性部件的圖表。如圖4所示,移動終端110可包括處理邏輯410、存儲器420、用戶接口 430、通信接口 440、天線組件450、以及翻譯存儲器460。處理邏輯410可包括處理器、微處理器、專用集成電路(ASCI)、現(xiàn)場可編程門陣列(FPGA)等等。處理邏輯410可包括數(shù)據(jù)結(jié)構(gòu)或軟件程序以控制移動終端110及其部件的操作。存儲器420可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、和/或其他類型的存儲器，以存儲可被處理邏輯410使用的數(shù)據(jù)和指令。 用戶接口 430可包括用于向移動終端110輸入信息和/或從移動終端110輸出信息的機構(gòu)。輸入和輸出機構(gòu)的例子可包括接收電信號并輸出音頻信號的揚聲器330,接收音頻信號并輸出電信號的麥克風(fēng)350，產(chǎn)生數(shù)字圖像的照相機360，允許數(shù)據(jù)和控制命令被輸入到移動終端110中的控制按鈕320和/或小鍵盤310上的鍵，以及輸出視覺信息的顯示器 340。通信接口 440可包括，例如，可將來自處理邏輯410的基帶信號轉(zhuǎn)變?yōu)樯漕l(RF)信號的發(fā)射機，和/或可將RF信號轉(zhuǎn)變?yōu)榛鶐盘柕慕邮諜C?？商鎿Q地，通信接口 440可包括執(zhí)行發(fā)射機和接收機雙方的功能的收發(fā)機。通信接口 440可連接到天線組件450，用于傳輸和接收RF信號。天線組件250可包括一個或多個天線以便經(jīng)由空中傳輸和接收RF信號。天線組件450可從通信接口 440接收RF信號，經(jīng)由空中傳輸它們，經(jīng)由空中接收RF信號，并將其提供給通信接口 440。翻譯存儲器460可包括用于接收圖像和在接收到的圖像上執(zhí)行光學(xué)字符識別(OCR)處理以產(chǎn)生文本的硬件和/或軟件。例如，翻譯存儲器460可從照相機360接收視頻流或圖像，并從接收到的圖像上識別并產(chǎn)生文本。翻譯存儲器460可進一步包括過濾器和運動處理軟件，以便在執(zhí)行OCR處理之前處理接收到的視頻流。翻譯存儲器460也可存儲與許多語言中的每一個相應(yīng)的字典，并可以執(zhí)行從一種語言到另一種語言的文本翻譯。翻譯存儲器460可以詞為基礎(chǔ)執(zhí)行文本翻譯，或者可以使用文法和語法規(guī)則翻譯文本，或按照逐個短語的方式、按照逐個句子的方式等等，執(zhí)行翻譯。如下述詳細描述的，移動終端110可響應(yīng)于處理邏輯410執(zhí)行軟件指令而執(zhí)行操作，以使用包括在計算機可讀介質(zhì)，例如存儲器420，中的應(yīng)用程序顯示和傳輸圖像。計算機可讀介質(zhì)可定義為物理或邏輯存儲器設(shè)備和/或載波。軟件指令可從另一個計算機可讀介質(zhì)中或者從另一個設(shè)備中通過通信接口 440讀入存儲器420中。包含在存儲器420中的軟件指令可使得處理邏輯410執(zhí)行稍后描述的處理?？商鎿Q地，硬連線電路可被用于替代軟件指令或與之結(jié)合，以執(zhí)行與實施例一致的處理。因此，此處描述的實施方式不限于任何特定的硬件電路和軟件的結(jié)合。圖5示出了移動終端110執(zhí)行的示范性處理500。處理可開始于，例如，輸入翻譯信息(動作510)。例如，使用控制鍵320，移動終端110的用戶可從顯示菜單中選擇翻譯模式，如圖3所示。一旦在翻譯模式中，用戶就可輸入或選擇用于翻譯要“從中”進行翻譯和要翻譯“到”的語言，例如。例如，用戶可能在外國(例如瑞典)休假，需要將文本“從”外國語言(例如瑞典語)翻譯“到”他的本國語言英語。在該例子中，用戶可將翻譯信息輸入到移動終端110以便從瑞典語翻譯到英語(動作510)。在其他實施例中，例如當OCR處理可自動識別和鑒別文本的語言時，用戶可僅僅輸入或選擇要翻譯“到”的語言。在進一步的實施例中，語言的選擇可如下所述的使用默認設(shè)置、或使用移動終端110的標識號、或者使用與移動終端110的位置相關(guān)的GPS信息自動地執(zhí)行。一旦輸入翻譯參數(shù)，可從照相機360接收圖像(動作520)。例如，移動終端110的用戶可在外國，需要讀在警報標記牌上的文本，該標記牌上的文本位于商店的外面等。在該實例中，用戶可使用照相機360獲得該標記牌的圖像。照相機360捕獲的圖像接著被處理邏輯410和翻譯存儲器460接收(動作520)?？梢酝ㄟ^顯示器340顯示的接收到的圖像的實例如圖6A所示。在該實例中，在標記牌上的文本的語言是瑞典語，文本“Oppet Tradgardoch Caf6” 翻譯為英文的 “Open Garden and Caf6”。
在從照相機接收圖像之后，包含在接收到的圖像中的文本被處理和翻譯(動作530 )。例如，翻譯存儲器460可在接收到的圖像上執(zhí)行OCR處理(如圖6A所示)，并將“OppetTradgard och Caf6”識別為瑞典語文本。在對接收到的圖像執(zhí)行OCR處理之后，識別的文本可以被翻譯為如在動作510中輸入的翻譯參數(shù)所定義的另一種語言。在該實例中，假定英語已經(jīng)被選擇作為文本將要翻譯成的語言。翻譯存儲器460接著可以使用存儲的字典將“Oppet Tradgard och Caf6”從瑞典語翻譯為英語“Open Garden and Caf6”。在其他實施例中，從照相機360接收的圖像如上所描述的，可從移動終端110傳輸?shù)椒?wù)器150用于文本處理和翻譯(以執(zhí)行動作530)。例如，在服務(wù)器150中的翻譯模塊290可在接收到的圖像或視頻流上執(zhí)行OCR處理，以識別文本，并將識別的文本翻譯為另一種確定的語言。服務(wù)器150可接著通過通信接口 280將翻譯的文本傳送回移動終端110。在其他實施例中，服務(wù)器150也可接收可以用于選擇在翻譯過程中使用的語言的移動終端110的標識號和/或位置。例如，如果接收到的移動終端110的位置確定為在法國，則法語將被選擇作為源語言。同樣，例如服務(wù)器150可將移動終端110的標識號與目標語言例如德語相聯(lián)系，從該移動終端接收的傳輸將自動翻譯為德文。一旦文本已經(jīng)被處理和翻譯，原始圖像可被處理并與翻譯的文本一起顯示(動作540)。例如，如圖6B所示，原始圖像可以被暗淡化，或者以更亮或不同的顯示模式被顯示，翻譯的文本(“Open Garden and Cafg”)可以被疊加到原始圖像的顯示上?？梢酝ㄟ^顯示器340以加黑、加粗方式或者以某種其他方式高亮顯示從而比原始圖像更加突出的方式來顯示翻譯的文本，以便移動終端110的用戶可以清楚的看見。例如，原始圖像以灰度級的方式示出，此處每個像素的亮度(灰度)可被減少以使得顯示的翻譯的文本更加明顯(動作540)。在處理和顯示帶有翻譯的文本的圖像之后，移動終端110的用戶可接著操作顯示的圖像(動作550)。例如，使用手寫筆370或控制鍵320，顯示在圖6B中的文本在尺寸上將被縮小或放大，或者可以被旋轉(zhuǎn)。文本或者文本的選擇的部分也可被翻譯為另一種選擇的語言或者可以在移動終端110包含的另一個應(yīng)用程序中被使用。例如，文本可被用于移動終端110包括的記事本應(yīng)用程序中。即,“Oppet Tradgard och Cafg”的文本“Open Gardenand Cafg”可被選擇和復(fù)制到記事本應(yīng)用程序、電子郵件消息、短消息服務(wù)(SMS)消息等。在進一步的實施例中，通過選擇淡化顯示的翻譯的文本可進一步操作顯示的圖像，從而產(chǎn)生和顯示原始接收的圖像，或者原始接收的圖像可被完全淡化出去僅顯示翻譯的文本。圖7示出了移動終端110執(zhí)行的另外的示范性處理700。例如，處理可通過從照相機360接收圖像開始(動作710)。例如移動終端110的用戶可使用照相機360拍攝可以在圖像中包括文字的照片。照相機360產(chǎn)生的圖像可接著被處理邏輯410和翻譯存儲器460接收。接收到的圖像的一個實例(通過顯示器340所示出的)示出在圖8A中。在該實例中，接收到的圖像包括瑞典語文字“Oppet Tradgard och Cafg”。一旦接收到圖像，圖像中的文本被處理和顯示(動作720)。例如使用手寫筆370，用戶可將接收到的圖像中的文本圍起來或圈起來，如在圖8A中的圈起部分810所示出的，其中所圍起來的文本可由OCR處理來處理和識別。在該實施例中，如圖SB所示的，處理邏輯410和翻譯存儲器460可產(chǎn)生一個顯示。即，翻譯存儲器460已經(jīng)使用OCR將在圖8A中的圖像中的文本的選擇部分轉(zhuǎn)換為文本。文本接著被進一步處理。在該實例中，當用戶已 經(jīng)圈定文本“Oppet Tradgard och Cafg”時，即在圖8B中以加粗的方式被顯示的文本。由于詞“Oppet”沒有被圈起部分810圈入，所以該詞不作為文本被處理和顯示。如上面在圖5中所述的，在動作720中的顯示文本可以被疊加在原始接收的圖像上，此處原始接收的圖像以暗淡化或更亮的方法被顯示。同樣作為例子，用戶可沿著文本頁移動照相機360以產(chǎn)生與文本頁相關(guān)聯(lián)的圖像的視頻流。使用手寫筆370，例如，用戶可在實時的視頻流中劃下劃線、高亮或者圈入文本，以便選擇圖像的一部分用于執(zhí)行用于文本/翻譯目的的OCR處理。 在其它實施例中，包括在圖像中并被OCR處理識別的所有的文本可以以本國語言被自動顯示(動作720 )。圖9A和9D示出了自動識別、處理和顯示文本的實例。圖9A示出了接收到的圖像(動作710)，并且在該實例中，在圖像中的所有文本可以如圖9D所示被自動處理和顯示(動作720)。在其它實施例中，包括在圖像視頻流中的文本可被OCR處理所識別，并可以自動以本國語言顯示(動作720)。例如，移動終端110的用戶可以通過沿著書中的文本的行移動照相機360捕獲圖像的視頻流(動作710)。在該實施例中，翻譯存儲器460可在視頻流圖像的每個幀上執(zhí)行OCR處理。假定例如照相機360每秒產(chǎn)生15幀(圖像)，在一秒的周期內(nèi)掃描文本的一行可產(chǎn)生15幅圖像，每一個都可以被OCR處理。在該實例中，在文本行的掃描圖像中的每個詞可以被識別和跟蹤。例如，文本的掃描行可包括8個詞，每個識別的詞可以被跟蹤并編號(I 一 8)。另外，在每一幅圖像中識別的詞的OCR處理可以被存儲在翻譯存儲器460中。例如，如果德語詞“wagen”是包括在文本的掃描行中的第三個詞，該詞出現(xiàn)在15幅圖像的7幅中，則跟蹤的詞可編號“3”并識別為(7次)“wagenWagen”、“wagon”、“Z00m”、“wegen”、“fgUn”以及“vagon”。翻譯存儲器460可包括先進先出(FIFO)緩沖器，以存儲每個識別的(或編號的)詞的每個OCR處理輸出。為每個跟蹤和識別的詞存儲多個OCR處理的詞，提供了識別的詞的“過濾效果”。在該實例中，由于詞“wagen”比任何其他存儲在FIFO緩沖器中的OCR處理的詞更經(jīng)常出現(xiàn)時，詞“ragen”可以被翻譯存儲器460作為文本來提供(動作720)。在其他實例中，在視頻流中的文本可以在沒有提供詞的多個OCR處理和過濾時被立即顯示。在進一步的實施例中，在接收到的圖像中的所有識別的文本可被自動處理、翻譯和顯示(動作720)。例如，圖9A示出了接收到的圖像(動作710)，圖9B示出了自動提供和顯示在接收到的圖像中識別的所有文本的翻譯文本(動作720)。在該實施例中，除了 OpenGarden and Cafg的翻譯之外，與用于“花(flowers)”(圖9B中的910所示)的瑞典語詞相應(yīng)的文本已經(jīng)作為英語詞“flowers”被示出 。在該實例中，文本最初以相似于在原始圖像中的文本的尺寸被顯示。使用高分辨率圖像，例如，選擇和顯示的文本(例如在該實例中的詞flowers)可在沒有失真時變得更大(放大功能)，如果用戶需要的話。例如，通過激活“翻譯”按鈕兩次或者從通過顯示器340提供的菜單中選擇“翻譯全部”的功能，可以使得能夠?qū)崿F(xiàn)該實施例。在進一步的實施例中，包括在圖像的視頻流中的文本可被OCR處理識別，并可被自動翻譯和顯示(動作720)。參見上述掃描包括詞“wagen”的文本行的實例，如果選擇的OCR處理語言是德語，選擇的要翻譯到的語言是英語，如上所描述的，詞“wagen”可由翻譯存儲器460執(zhí)行OCR處理、過濾和識別。當翻譯模式已經(jīng)被選擇后，當圖像的視頻流被顯示時，詞“car”(英語)可以在識別的詞“wagen”(德語)上被提供和顯示(動作720)。在接收到的圖像中的所有或一些文本在任何上述示范性實施例中被處理和顯示之后，文本可被復(fù)制、選擇或翻譯(動作730)。例如，使用手寫筆370，用戶可圈定文本“Tradgard”以選擇該文本，如圖8C中所示。圖9C和9E也示出了文本的顯示，此處圈入的文本已經(jīng)被選擇(動作730)。同樣例如，用戶可使用手寫筆370圈定多于一個的文本區(qū)域。例如，用戶可能已經(jīng)拍攝報紙頭版的照片，并可能已經(jīng)圈定了兩個單獨的標題(動作730)。在該實例中，文本的兩個圈入的部分都可被選擇或復(fù)制到記事本應(yīng)用程序中或另一個由移動終端110執(zhí)行的應(yīng)用程序中。在文本已經(jīng)被選擇之后(動作730)，判斷是否更多的文本處理將被執(zhí)行(動作740)。例如，如果移動終端110的用戶促使另一個控制鍵320或使用手寫筆370激活另一個文本處理特征(例如動作740“是”)，則可執(zhí)行進一步的處理。例如，用戶可能已經(jīng)選擇文本“Tradgard”,如圖8C所示，并可如圖8D中所示的通過翻譯文本進一步處理該選擇的文本。如圖8D所示，詞“Tradgard”已經(jīng)被翻譯為詞“garden”，并可以通過顯示器340顯示。圖9E和9F也示出了進一步的文本處理的實例(動作740)。在這些實例中，動作730中選擇的文本可以通過被復(fù)制到剪貼板功能可被進一步處理或進一步翻譯。一旦復(fù)制，文本可用于短消息服務(wù)(SMS)文本消息、即時消息、電子郵件等中，或者可被合并到移動終端110中的另一個應(yīng)用程序中。例如，復(fù)制的文本例如名字、電話號和約會可被插入到聯(lián)系人列表或日歷應(yīng)用程序中。例如，在復(fù)制到消息之前，文本也可被通過編輯來進一步處理。
結(jié)論
與此處描述的系統(tǒng)和方法相一致的實施允許移動終端的用戶識別和翻譯在圖像中的文本。文本和圖像也可被移動終端進一步處理。實施例的前述描述提供了說明和描述，但是并沒有打算窮舉實施方式，也沒有打算要將所述實施方式限制為所公開的精確形式。根據(jù)以上教導(dǎo)是可以進行修改和改變的，或者可從實現(xiàn)實施例的實踐中獲得。例如，已經(jīng)在通過網(wǎng)絡(luò)通信并采用文本翻譯特征的移動終端的背景下描述了實施例。該實施例可在其他設(shè)備或系統(tǒng)和/或網(wǎng)絡(luò)中實施。另外，在一些實施例中，以上描述的由移動終端110或服務(wù)器150執(zhí)行的功能也可由其他設(shè)備來執(zhí)行，例如其他移動終端之一。例如，沒有文本翻譯能力的移動終端可向有文本翻譯能力的另一個移動終端轉(zhuǎn)發(fā)圖像。另外，雖然已經(jīng)參考圖5和7描述了一系列的動作，但是在其他實施方式中動作的順序可被改變。更進一步的，非從屬動作可被并行執(zhí)行。對于本領(lǐng)域的普通技術(shù)人員同樣顯而易見的是，以上描述的實施方式的各方面可在蜂窩通信設(shè)備/系統(tǒng)、方法、和/或計算機程序產(chǎn)品中實施。因此，這些實施可在硬件和/或軟件(包括固件、常駐軟件、微代碼等)中被具體化。另外，這些實施可采取計算機可使用或計算機可讀存儲介質(zhì)上的計算機產(chǎn)品的形式，該計算機可使用或計算機可讀存儲介質(zhì)具有在介質(zhì)中被具體化的計算機可使用或計算機可讀程序代碼，被指令執(zhí)行系統(tǒng)使用或結(jié)合指令執(zhí)行系統(tǒng)使用。用于實現(xiàn)實施例的各方面的實際的軟件代碼或者專門的控制硬件不限于描述的系統(tǒng)和方法。因此，各方面的操作和 行為沒有參考特定的軟件代碼來描述一可以理解的是本領(lǐng)域的普通技術(shù)人員之一基于此處的描述將能夠設(shè)計軟件并控制硬件以實施各方面。另外，實施例的特定部分被作為“邏輯”被實施，該“邏輯”實施一個或多個功能。該邏輯可包括硬件，例如處理器、微處理器、專用集成電路或者現(xiàn)場可編程門陣列、軟件或硬件和軟件的組合。應(yīng)該強調(diào)的是在該說明書中使用的術(shù)語“包括”是用于指出一定的特征、整數(shù)、步驟或部件的存在，但不排除或增加一個或多個其他特征、整數(shù)、步驟、部件或其組的存在。在本申請的說明書中使用的元件、動作或指令不應(yīng)被解釋為對于所描述的系統(tǒng)和方法是關(guān)鍵的或?qū)嵸|(zhì)的，除非明確的這樣描述了。同樣，如此處所使用的，冠詞“a”試圖包括一個或多個項目。只試圖包含一個項目的地方，使用術(shù)語“one”或類似的語言。另外，作為此處使用的短語“基于”，試圖意味著“至少部分的基于”，除非有另外清楚的陳述。此處描述的發(fā)明的范圍由權(quán)利要求和其等同物所定義。
權(quán)利要求
1.一種由移動設(shè)備執(zhí)行的方法，包括 經(jīng)由所述移動設(shè)備的顯示器顯示圖像； 接收對所述圖像的一部分的第一用戶選擇； 識別所述圖像的所選擇部分中的文本； 經(jīng)由所述顯示器顯示識別的文本； 接收對所述識別的文本的至少一部分的第二用戶選擇； 將識別的文本的所述部分從第一語言翻譯為不同于第一語言的第二語言；和 經(jīng)由所述顯示器在所述圖像上以第二語言顯示翻譯的文本。
2.權(quán)利要求I的方法，其中經(jīng)由所述顯示器在所述圖像上以第二語言顯示翻譯的文本還包括 將所述翻譯文本覆蓋在圖像的所述部分上。
3.權(quán)利要求2的方法，其中在將翻譯的文本覆蓋在圖像的所述部分上時，圖像的所述部分中的至少一些在翻譯的文本后是可看見的。
4.權(quán)利要求I的方法，其中翻譯的文本以比所述圖像更加突出的方式顯示。
5.權(quán)利要求I的方法，還包括 在圖像的所述部分上執(zhí)行光學(xué)字符識別(OCR)處理。
6.權(quán)利要求5的方法,還包括 從用戶接收選擇用于執(zhí)行所述OCR處理的語言的輸入。
7.權(quán)利要求I的方法，還包括 從用戶接收選擇第二語言的輸入。
8.權(quán)利要求I的方法，其中所述圖像包括數(shù)字圖像或視頻流的至少之一。
9.權(quán)利要求I的方法，還包括 確定與所述移動設(shè)備相關(guān)聯(lián)的位置信息；和 基于所述位置信息識別所述圖像的所選擇的部分中的文本。
10.權(quán)利要求I的方法，還包括 基于與所述移動設(shè)備相關(guān)聯(lián)的識別信息確定所述第二語言。
11.權(quán)利要求I的方法，其中將識別的文本的所述部分翻譯為第二語言還包括 由所述移動設(shè)備將識別的文本的所選擇的部分經(jīng)由網(wǎng)絡(luò)傳送到服務(wù)器； 由所述服務(wù)器將識別的文本的所述部分翻譯為第二語言；和 由所述移動設(shè)備經(jīng)由網(wǎng)絡(luò)從所述服務(wù)器接收所述翻譯的文本。
12.權(quán)利要求11的方法,還包括 將與所述移動設(shè)備相關(guān)聯(lián)的識別信息傳送到所述服務(wù)器；和 由所述服務(wù)器基于與所述移動設(shè)備相關(guān)聯(lián)的識別信息確定第二語言。
13.—種移動通信設(shè)備，包括 照相機，被配置為產(chǎn)生圖像； 顯不器；和 處理器，被配置為 控制所述顯示器顯示所述圖像； 接收對所述圖像的一部分的第一用戶選擇；識別所述圖像的所選擇的部分中的文本； 經(jīng)由所述顯示器顯示所述識別的文本； 接收識別所述識別的文本的至少一部分的第二用戶選擇； 將識別的文本的所述部分從第一語言翻譯為不同于第一語言的第二語言；和 經(jīng)由所述顯示器以第二語言顯示覆蓋所述圖像的翻譯的文本。
14.權(quán)利要求13的所述移動通信設(shè)備，其中當顯示覆蓋所述圖像的翻譯的文本時，至少圖像的所述部分在翻譯的文本后是可看見的。
15.權(quán)利要求13的所述移動通信設(shè)備，其中翻譯的文本以比所述圖像更加突出的方式顯不O
16.一種由移動通信設(shè)備執(zhí)行的方法，包括 經(jīng)由所述移動通信設(shè)備的照相機捕獲圖像，其中所述圖像包括靜態(tài)圖像或視頻流； 經(jīng)由所述移動通信設(shè)備的顯示器顯示所述圖像； 接收對所述圖像的一部分的第一用戶選擇； 識別所述圖像的所選擇的部分中的文本； 經(jīng)由所述顯示器顯示所述識別的文本； 接收對識別的文本的至少一部分的第二用戶選擇； 將識別的文本的所述部分經(jīng)由網(wǎng)絡(luò)傳送到服務(wù)器，其中所述服務(wù)器被配置為將識別的文本的所述部分從第一語言翻譯為不同于第一語言的第二語言； 經(jīng)由所述網(wǎng)絡(luò)從所述服務(wù)器接收基于所述翻譯而被翻譯的文本；和 經(jīng)由所述顯示器在所述圖像上以第二語言顯示所述翻譯的文本。
17.權(quán)利要求16的方法，其中識別在所述圖像的所選擇的部分中的文本還包括 確定所述第一語言；和 基于所述第一語言在圖像的所述部分上執(zhí)行光學(xué)字符識別(OCR)處理。
18.權(quán)利要求17的方法，還包括 將與所述移動通信設(shè)備相關(guān)聯(lián)的識別信息傳送到所述服務(wù)器， 其中所述服務(wù)器被配置成基于與所述移動通信設(shè)備相關(guān)聯(lián)的識別信息識別第二語言。
19.權(quán)利要求16的方法，其中經(jīng)由所述顯示器在所述圖像上以第二語言顯示翻譯的文本還包括 以基本上與所述識別的文本相同的尺寸顯示翻譯的文本。
20.權(quán)利要求16的方法，其中經(jīng)由所述顯示器在所述圖像上以第二語言顯示翻譯的文本還包括 將所述翻譯的文本覆蓋在圖像的所述部分上，使得圖像的所述部分在所述翻譯的文本后是可看見的。
全文摘要
一種由移動終端執(zhí)行的方法，可包括接收包含文本的圖像，將該文本翻譯為另一種語言，在接收的圖像上疊加并顯示翻譯的文本。
文檔編號G06K9/78GK102866991SQ20121038171
公開日2013年1月9日 申請日期2007年9月11日 優(yōu)先權(quán)日2007年3月22日
發(fā)明者H.M.恩隆德, S.萊辛 申請人:索尼愛立信移動通訊股份有限公司