專利名稱：移動(dòng)信息終端設(shè)備、信息處理方法、記錄介質(zhì)和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動(dòng)信息終端設(shè)備、信息處理方法、記錄介質(zhì)和程序，尤其是涉及能夠從拍攝的圖像中選擇預(yù)定區(qū)域并在完成字符識(shí)別后顯示所選的預(yù)定區(qū)域的移動(dòng)信息終端設(shè)備、信息處理方法、記錄介質(zhì)和程序。
背景技術(shù)：
在一些傳統(tǒng)的內(nèi)置攝像頭類型的移動(dòng)電話中，寫(xiě)在書(shū)本等上的字符串通過(guò)適合顯示屏上的顯示幀的方式被拍攝下來(lái)，由此對(duì)在所述幀中的圖像(字符串)進(jìn)行字符識(shí)別來(lái)用作移動(dòng)終端終端內(nèi)的字符數(shù)據(jù)。
作為本申請(qǐng)的一個(gè)例子所建議的是一個(gè)配置用來(lái)拍攝寫(xiě)在廣告上的主頁(yè)地址并對(duì)該主頁(yè)地址進(jìn)行字符識(shí)別的設(shè)備，以便可以容易地訪問(wèn)服務(wù)器(參見(jiàn)專利文獻(xiàn)1)。
專利文獻(xiàn)1日本公開(kāi)專利申請(qǐng)No.2002-366463然而，當(dāng)通過(guò)適合所述顯示幀的方式拍攝所述字符串時(shí)，用戶必須在拍攝字符串的同時(shí)注意每個(gè)字符的大小、字符串的傾斜度等，并且這已經(jīng)作為操作不方便的問(wèn)題提出來(lái)了。
還存在另一個(gè)問(wèn)題，即很難在文本范圍外只將用戶希望進(jìn)行字符識(shí)別的預(yù)定字符串適合于顯示幀。

發(fā)明內(nèi)容
本發(fā)明是考慮到這些環(huán)境來(lái)作出的，因此，本發(fā)明目的在于能夠拍攝包括用戶希望進(jìn)行字符識(shí)別的字符串的文本等，從所拍攝的文本圖像中選擇預(yù)定的字符串，并對(duì)所述預(yù)定字符串進(jìn)行字符識(shí)別。
本發(fā)明的移動(dòng)信息終端設(shè)備的特征在于，包括用來(lái)拍攝物體的拍攝裝置，用來(lái)基于由拍攝裝置拍攝的物體控制圖像的顯示操作的第一顯示控制裝置，用來(lái)從由第一顯示控制裝置控制其顯示操作的圖像中選擇圖像區(qū)域來(lái)進(jìn)行識(shí)別的選擇裝置，用來(lái)識(shí)別由選擇裝置選擇的圖像區(qū)域的識(shí)別裝置，和用來(lái)控制由識(shí)別裝置獲得的識(shí)別結(jié)果的顯示操作的第二顯示控制裝置。
所述選擇裝置可以被配置來(lái)選擇用于識(shí)別的圖像區(qū)域的開(kāi)始點(diǎn)和結(jié)束點(diǎn)。
所述第一顯示控制裝置可以配置成進(jìn)一步包括對(duì)準(zhǔn)控制裝置，其用來(lái)進(jìn)一步控制用于指定圖像的開(kāi)始點(diǎn)的標(biāo)記的顯示操作，并且當(dāng)用于識(shí)別的圖像出現(xiàn)在標(biāo)記的附近時(shí)，進(jìn)行控制以便對(duì)準(zhǔn)識(shí)別的圖像。
還可以配置成進(jìn)一步包括提取裝置，當(dāng)由選擇裝置選擇的圖像區(qū)域被指示擴(kuò)大時(shí)，其用來(lái)提取該圖像區(qū)域隨后(succeeding)的圖像。
還可以配置成進(jìn)一步包括轉(zhuǎn)換裝置，其用來(lái)轉(zhuǎn)換識(shí)別裝置獲得的識(shí)別結(jié)果。
還可以配置成進(jìn)一步包括訪問(wèn)裝置，其用來(lái)基于識(shí)別裝置獲得的識(shí)別結(jié)果訪問(wèn)另一個(gè)設(shè)備。
本發(fā)明的信息處理方法的特征在于，包括拍攝物體的拍攝步驟，對(duì)基于通過(guò)拍攝步驟處理的拍攝物體的圖像，控制其顯示操作的第一顯示控制步驟，從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇步驟，該圖像由第一顯示控制步驟處理而控制其顯示操作，識(shí)別由選擇步驟處理而選擇的圖像區(qū)域的識(shí)別步驟，和控制由識(shí)別步驟處理的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟。
一種在其上記錄有本發(fā)明的程序的記錄介質(zhì)，其特征在于能夠使計(jì)算機(jī)執(zhí)行以下處理，包括拍攝物體的拍攝步驟，對(duì)基于通過(guò)拍攝步驟處理的拍攝物體的圖像，控制其顯示操作的第一顯示控制步驟，從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇步驟，該圖像由第一顯示控制步驟處理而控制其顯示操作，識(shí)別由選擇步驟處理而選擇的圖像區(qū)域的識(shí)別步驟，和控制由識(shí)別步驟處理的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟。
本發(fā)明的程序的特征在于，能夠使計(jì)算機(jī)執(zhí)行以下處理，包括拍攝物體的拍攝步驟，對(duì)基于通過(guò)拍攝步驟處理的拍攝物體的圖像，控制其顯示操作的第一顯示控制步驟，從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇步驟，該圖像由第一顯示控制步驟處理而控制其顯示操作，識(shí)別由選擇步驟處理而選擇的圖像區(qū)域的識(shí)別步驟，和控制由識(shí)別步驟處理的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟。
在本發(fā)明中，物體被拍攝，顯示基于所拍攝物體的圖像，從所顯示的圖像中選擇用于識(shí)別的圖像區(qū)域，識(shí)別所選擇的圖像區(qū)域，然后最后來(lái)顯示所識(shí)別的結(jié)果。
根據(jù)本發(fā)明，所拍攝圖像可以被進(jìn)行字符識(shí)別。尤其是，能夠從所拍攝的圖像中選擇預(yù)定的區(qū)域，從而對(duì)預(yù)定的區(qū)域進(jìn)行字符識(shí)別。


圖1是示出應(yīng)用本發(fā)明的內(nèi)置攝像頭型移動(dòng)電話的外觀示例性配置的示意圖；圖2是示出移動(dòng)電話內(nèi)部部件的示例性配置的框圖；圖3是表明字符識(shí)別處理的流程圖；圖4是表明圖3的步驟S1中的對(duì)準(zhǔn)模式處理細(xì)節(jié)的流程圖；圖5是示出指定點(diǎn)標(biāo)記的顯示操作的一個(gè)例子的示意圖；圖6是表明在指定點(diǎn)標(biāo)記周圍的區(qū)域的示意圖；圖7是示出實(shí)現(xiàn)對(duì)準(zhǔn)(aiming-done)標(biāo)記的顯示操作的一個(gè)例子的示意圖；圖8是表明圖3的步驟S2中的選擇模式處理細(xì)節(jié)的流程圖；圖9是示出字符串選擇區(qū)域的顯示操作的一個(gè)例子的示意圖；圖10A到10G是示出選擇用于識(shí)別的圖像的操作的示意圖；圖11是表明在圖8的步驟S26的處理中，提取隨后圖像的處理流程圖；圖12是表明圖3的步驟S3中的結(jié)果顯示模式處理細(xì)節(jié)的流程圖；圖13是示出字符識(shí)別結(jié)果的顯示操作的一個(gè)例子的示意圖；圖14是示出轉(zhuǎn)換結(jié)果的顯示操作的一個(gè)例子的示意圖；圖15是示出應(yīng)用本發(fā)明的服務(wù)器訪問(wèn)系統(tǒng)的示例性配置的示意圖；圖16是示出指定點(diǎn)標(biāo)記的顯示操作的一個(gè)例子的示意圖；圖17是示出字符串選擇區(qū)域的顯示操作的一個(gè)例子的示意圖；圖18是示出其中用來(lái)識(shí)別的圖像已選擇的狀態(tài)的示意圖；圖19是表明圖3的步驟S3中的結(jié)果顯示模式處理細(xì)節(jié)的流程圖；圖20是示出字符識(shí)別結(jié)果的顯示操作的一個(gè)例子的示意圖；和圖21A到21B是示出應(yīng)用本發(fā)明的移動(dòng)信息終端設(shè)備的外觀示例性配置的示意圖。
具體實(shí)施例方式
此后將描述執(zhí)行本發(fā)明的最佳模式，同時(shí)在所公開(kāi)發(fā)明和其一個(gè)或多個(gè)實(shí)施例之間的相應(yīng)例子也如下所述。本說(shuō)明書(shū)所描述的實(shí)施例，雖然在此并不是相當(dāng)于本發(fā)明來(lái)描述的，但實(shí)事上并不意味著該實(shí)施例不相應(yīng)于本發(fā)明。相反，在此相應(yīng)于一發(fā)明所描述的實(shí)施例實(shí)事上并不意味著該實(shí)施例是不相應(yīng)于本發(fā)明的一個(gè)發(fā)明。
還有，這種描述并不意味著包括說(shuō)明書(shū)中描述的所有發(fā)明。換句話說(shuō)，這種描述不應(yīng)該解釋為否定在該說(shuō)明書(shū)中描述但沒(méi)有在該申請(qǐng)中要求的一個(gè)或多個(gè)發(fā)明的存在，也就是，在將來(lái)存在導(dǎo)致分案申請(qǐng)、通過(guò)修改出現(xiàn)和增添等的一個(gè)或多個(gè)發(fā)明。
本發(fā)明提供了一種移動(dòng)信息終端設(shè)備，其包括用來(lái)拍攝物體的拍攝裝置(例如，執(zhí)行圖4步驟S11的處理的圖1和圖2的CCD攝像頭29)，用來(lái)基于拍攝裝置拍攝的物體控制其圖像的顯示操作的第一顯示控制裝置(例如，執(zhí)行圖4步驟S13的處理的圖1和2的LCD23)，用來(lái)從由第一顯示控制裝置控制其顯示操作的圖像中選擇用來(lái)識(shí)別的圖像區(qū)域的選擇裝置(例如，執(zhí)行圖8的步驟S22到S27的處理的圖2的顯示圖像產(chǎn)生部分33，和執(zhí)行圖8步驟S23到S26的處理的圖2的控制選擇部分31)，用來(lái)識(shí)別由選擇裝置所選的圖像區(qū)域的識(shí)別裝置(例如，執(zhí)行圖12步驟S51的處理的圖2的圖像處理/字符識(shí)別部分37)，和用來(lái)控制由識(shí)別裝置所產(chǎn)生的識(shí)別結(jié)果的顯示操作的第二顯示控制裝置(例如，執(zhí)行圖12步驟S53的處理的圖1和2的LCD23)。
所述選擇裝置可以配置成選擇用于識(shí)別的圖像區(qū)域的開(kāi)始點(diǎn)和結(jié)束點(diǎn)(例如，如圖10A到10G所示)。
在這種移動(dòng)信息終端設(shè)備中，第一顯示控制裝置可以配置成進(jìn)一步包括對(duì)準(zhǔn)控制裝置(例如，執(zhí)行圖4步驟S16的處理的圖2的控制部分31)，其用于進(jìn)一步控制用來(lái)指定所述圖像的開(kāi)始點(diǎn)的標(biāo)記的顯示操作(例如，圖5所示的指定點(diǎn)標(biāo)記53)，并進(jìn)行控制以便當(dāng)用于識(shí)別的圖像出現(xiàn)在該標(biāo)記附近時(shí)對(duì)準(zhǔn)所述用于識(shí)別的圖像。
該移動(dòng)信息終端設(shè)備可以配置成進(jìn)一步包括提取裝置(例如，執(zhí)行圖11的處理的圖2的控制部分31)，其用來(lái)當(dāng)指示擴(kuò)大所述圖像區(qū)域時(shí)提取由選擇裝置選擇的圖像區(qū)域隨后的圖像。
該移動(dòng)信息終端設(shè)備可以配置成進(jìn)一步包括轉(zhuǎn)換裝置(例如，執(zhí)行圖12步驟S56的處理的圖2的轉(zhuǎn)換部分38)，其用來(lái)轉(zhuǎn)換由所述識(shí)別裝置產(chǎn)生的識(shí)別結(jié)果。
該移動(dòng)信息終端設(shè)備可以配置成進(jìn)一步包括訪問(wèn)裝置(例如，執(zhí)行圖19步驟S106的處理的圖2的控制部分31)，其用來(lái)基于由所述識(shí)別裝置產(chǎn)生的識(shí)別結(jié)果訪問(wèn)另一裝置。
還有，本發(fā)明提供了一種信息處理方法，其包括拍攝物體的拍攝步驟(例如，圖4的步驟S11)，對(duì)基于通過(guò)拍攝步驟處理的所拍攝的物體的圖像，控制其顯示操作的第一顯示控制步驟(例如，圖4的步驟S13)，從圖像中選擇用來(lái)識(shí)別的圖像區(qū)域的選擇步驟，該圖像由第一顯示控制步驟處理而控制其顯示操作(例如，圖8的步驟S22到S27)，識(shí)別由選擇步驟處理所選擇的圖像區(qū)域的識(shí)別步驟(例如，圖12的S52)，和控制由識(shí)別步驟處理產(chǎn)生的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟(例如，圖12的步驟S53)。
還有，本發(fā)明提供了一種程序，其能夠使計(jì)算機(jī)執(zhí)行如下處理，包括拍攝物體的拍攝步驟(例如，圖4的步驟S11)，對(duì)基于通過(guò)拍攝步驟處理的所拍攝的物體的圖像，控制其顯示操作的第一顯示控制步驟(例如，圖4的步驟S13)，從圖像中選擇用來(lái)識(shí)別的圖像區(qū)域的選擇步驟，該圖像由第一顯示控制步驟處理而控制其顯示操作(例如，圖8的步驟S22到S27)，識(shí)別由選擇步驟處理所選擇的圖像區(qū)域的識(shí)別步驟(例如，圖12的S52)，和控制由識(shí)別步驟處理產(chǎn)生的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟(例如，圖12的步驟S53)。
該程序可以被記錄在一種記錄介質(zhì)上。
此后將參考附圖描述本發(fā)明的實(shí)施例。
圖1是示出應(yīng)用本發(fā)明的內(nèi)置攝像頭型移動(dòng)電話的外觀示例性配置的示意圖。
如圖1所示，內(nèi)置攝像頭型移動(dòng)電話1(此后簡(jiǎn)稱為移動(dòng)電話1)基本上由顯示部分12和主體13構(gòu)成，并在中部的鉸鏈部分11處構(gòu)成可折疊部分。
顯示部分12的左上角是天線21，通過(guò)天線21，發(fā)射電磁波到基站103并從基站接收電磁波(圖15)。在顯示部分12的上端附近是揚(yáng)聲器22，通過(guò)該揚(yáng)聲器22，輸出話音或語(yǔ)音。
在顯示部分12的大約中部位置是LCD(液晶顯示器)23。LCD23顯示由操作輸入按鈕27編寫(xiě)的文本(將作為電子郵件發(fā)送的文本)、由CCD(電荷耦合裝置)攝像頭29拍攝的圖像等，以及信號(hào)的接收狀況、電池電量、作為電話本登錄的名字和電話號(hào)碼，和呼叫記錄。
另一方面，在主體13上的是由數(shù)字按鈕0到9(十個(gè)鍵)、“*”按鈕、“#”按鈕構(gòu)成的輸入按鈕27。通過(guò)操作這些輸入按鈕27，用戶可以編寫(xiě)用來(lái)作為電子郵件(E-mail)傳輸?shù)奈谋?、記事簿等?br> 還有，在主體13的輸入按鈕27的中部和上部是微動(dòng)(jog)撥號(hào)盤(pán)24，其沿著水平軸(從殼的左到右的方向延伸)，以從主體13的表面稍微突出的方式旋轉(zhuǎn)。例如，根據(jù)旋轉(zhuǎn)該微動(dòng)撥號(hào)盤(pán)24的操作，顯示于LCD23上的電子郵件的內(nèi)容可以滾動(dòng)。在微動(dòng)撥號(hào)盤(pán)24的左邊和右邊分別是左箭頭按鈕24和右箭頭按鈕26。在主體13的府部是麥克風(fēng)28，在此可以拾取用戶話音。
在鉸鏈部分11的大約中部位置是CCD攝像頭29，其在180度的角范圍內(nèi)可旋轉(zhuǎn)地移動(dòng)，從而可以拍攝所需的物體(在該實(shí)施例中是寫(xiě)在書(shū)本等之上的文本)。
圖2是示出移動(dòng)電話1內(nèi)部部件的示例性配置的框圖。
控制部分31由例如，CPU(中央處理單元)、ROM(只讀存儲(chǔ)器)、RAM(隨機(jī)存儲(chǔ)器)等構(gòu)成，并且CPU調(diào)用存儲(chǔ)在ROM中的控制程序到RAM中來(lái)控制CCD攝像頭29、存儲(chǔ)器32、顯示圖像產(chǎn)生部分33、通信控制部分34、語(yǔ)音處理部分36、圖像處理/字符識(shí)別部分37、轉(zhuǎn)換部分38、和驅(qū)動(dòng)器39的操作。
CCD攝像頭29拍攝物體的圖像，并將所獲得的圖像數(shù)據(jù)提供給存儲(chǔ)器32。存儲(chǔ)器32存儲(chǔ)由CCD攝像頭29提供的圖像數(shù)據(jù)，而且提供所存儲(chǔ)的圖像數(shù)據(jù)到顯示圖像產(chǎn)生部分33和圖像處理/字符識(shí)別部分37。顯示圖像產(chǎn)生部分33控制顯示操作并在LCD23上顯示CCD攝像頭29所拍攝的圖像和由圖像處理/字符識(shí)別部分37所識(shí)別的字符串等。
通信控制部分34通過(guò)天線21發(fā)射電磁波到基站103并從基站接收電磁波(圖15)，并放大，例如，在電話通話模式中，在天線21接收的RF(射頻)信號(hào)，在其上執(zhí)行預(yù)定的處理，例如頻率轉(zhuǎn)換處理、模數(shù)轉(zhuǎn)換處理、逆頻譜擴(kuò)展處理，并接著輸出所獲得的語(yǔ)音數(shù)據(jù)到語(yǔ)音處理部分36。進(jìn)一步，當(dāng)語(yǔ)音處理部分36提供了語(yǔ)音數(shù)據(jù)的時(shí)候，通信控制部分34執(zhí)行預(yù)定的處理，例如數(shù)模轉(zhuǎn)換處理，頻率轉(zhuǎn)換處理，和頻譜擴(kuò)展處理，并從天線21發(fā)射所獲取的語(yǔ)音信號(hào)。
操作部分35由微動(dòng)撥號(hào)盤(pán)24、左箭頭按鈕25、右箭頭按鈕26、輸入按鈕27等構(gòu)成，并且當(dāng)這些按鈕被用戶按壓或從按壓狀態(tài)解除時(shí)輸出相應(yīng)的信號(hào)到控制部分31。
話音處理部分36轉(zhuǎn)換由通信控制部分34提供的話音數(shù)據(jù)，并從揚(yáng)聲器22輸出相應(yīng)于話音信號(hào)的語(yǔ)音。進(jìn)一步，話音處理部分36將由麥克風(fēng)28拾取的用戶的話音轉(zhuǎn)換成話音數(shù)據(jù)，并輸出該話音數(shù)據(jù)信號(hào)到通信控制部分34。
圖像處理/字符識(shí)別部分37將由存儲(chǔ)器32提供的圖像數(shù)據(jù)用于使用預(yù)定的字符識(shí)別算法的字符識(shí)別，提供字符識(shí)別結(jié)果給控制部分31，并在必要時(shí)也提供給轉(zhuǎn)換部分38。轉(zhuǎn)換部分38保存有字典數(shù)據(jù)，其基于字典數(shù)據(jù)轉(zhuǎn)換由圖像處理/字符識(shí)別部分37提供的字符識(shí)別結(jié)果，并將轉(zhuǎn)換結(jié)果提供給控制部分31。
驅(qū)動(dòng)器39在必要時(shí)連接到控制部分31，適當(dāng)安裝可移動(dòng)介質(zhì)40，例如，磁盤(pán)、光盤(pán)、磁光盤(pán)、或半導(dǎo)體存儲(chǔ)器，并且從中讀取的計(jì)算機(jī)程序在必要時(shí)被安裝到移動(dòng)電話1中。
下面，將參考圖3的流程圖描述移動(dòng)電話1的字符識(shí)別處理。該處理是在用來(lái)開(kāi)始字符識(shí)別處理的條目(沒(méi)有示出)已經(jīng)從顯示于LCD23上的菜單中被選擇時(shí)開(kāi)始的，例如，在用戶希望一個(gè)預(yù)定字符串能從寫(xiě)在書(shū)本等上的文本中被識(shí)別出來(lái)的情況下。而且，在此時(shí)，用戶通過(guò)選擇來(lái)確定用于識(shí)別的字符串是水平書(shū)寫(xiě)的還是垂直書(shū)寫(xiě)的。這里，將描述用于識(shí)別的字符串是水平書(shū)寫(xiě)的情況。
在步驟S1，執(zhí)行對(duì)準(zhǔn)模式處理來(lái)對(duì)準(zhǔn)用戶希望識(shí)別的字符串，以便使用CCD攝像頭29拍攝用于識(shí)別的字符串。通過(guò)這種對(duì)準(zhǔn)模式處理，確定要識(shí)別圖像(字符串)的開(kāi)始點(diǎn)(開(kāi)頭字符)。后面將參考圖4的流程圖描述步驟S1的對(duì)準(zhǔn)模式處理的細(xì)節(jié)。
在步驟S2，使用通過(guò)步驟S1的處理而確定的圖像作為開(kāi)始點(diǎn)，執(zhí)行選擇模式處理來(lái)選擇用于識(shí)別的圖像區(qū)域。通過(guò)這種選擇模式處理，確定用于識(shí)別的圖像區(qū)域(字符串)。后面將參考圖8的流程圖描述步驟S2的選擇模式處理的細(xì)節(jié)。
在步驟S3，執(zhí)行結(jié)果顯示模式處理來(lái)識(shí)別通過(guò)步驟S2的處理所確定的字符串并顯示識(shí)別結(jié)果。通過(guò)該結(jié)果顯示模式處理，所選擇的圖像被識(shí)別，顯示識(shí)別的結(jié)果，并轉(zhuǎn)換已識(shí)別的字符串。后面將參考圖12的流程圖描述步驟S3的結(jié)果顯示模式處理的細(xì)節(jié)。
在上述方式中，移動(dòng)電話1能執(zhí)行如下處理，例如，拍攝寫(xiě)在書(shū)本等上的文本，從所拍攝的圖像中選擇并識(shí)別預(yù)定的字符串，并顯示該識(shí)別結(jié)果。
下面，將參考圖4的流程圖來(lái)描述圖3的步驟S1中的對(duì)準(zhǔn)模式處理的細(xì)節(jié)。
用戶將移動(dòng)電話1移動(dòng)到靠近在其中寫(xiě)有用戶希望識(shí)別的字符串的書(shū)本等。并且在查看由CCD攝像頭29正拍攝的全部圖像(through-images)(所謂的正在被監(jiān)視的圖像)時(shí)，用戶調(diào)整移動(dòng)電話1的位置以便用戶希望識(shí)別的字符串的開(kāi)頭字符與在此所顯示的指定點(diǎn)標(biāo)記53一致(圖5)。
此時(shí)，在步驟S11，CCD攝像頭29獲得正被拍攝的全部圖像，來(lái)提供給存儲(chǔ)器32。在步驟S12，存儲(chǔ)器32存儲(chǔ)由CCD攝像頭29提供的全部圖像。在步驟S13，顯示圖像產(chǎn)生部分33讀取存儲(chǔ)在存儲(chǔ)器32中的全部圖像，并使得該全部圖像與指定點(diǎn)標(biāo)記53一起顯示在LCD23上，例如，圖5所示那樣。
在圖5的例子中，LCD23上所顯示的是圖像顯示區(qū)域51，其顯示所拍攝的圖像，并且對(duì)話52指示“確定用于識(shí)別的字符的開(kāi)始點(diǎn)”。還有，指定點(diǎn)標(biāo)記53在靠近圖像顯示區(qū)域51的中部位置被顯示。用戶對(duì)準(zhǔn)顯示在該圖像顯示區(qū)域51上的指定點(diǎn)標(biāo)記53以便與識(shí)別圖像的開(kāi)始點(diǎn)一致。
在步驟S14，控制部分31從由顯示圖像產(chǎn)生部分33顯示在LCD23上的全部圖像中提取在指定點(diǎn)標(biāo)記53周圍的預(yù)定區(qū)域內(nèi)的全部圖像。這里，如圖6所示，圍繞在指定點(diǎn)標(biāo)記53周圍的區(qū)域61被預(yù)先設(shè)置到移動(dòng)電話1中，并且控制部分31提取在該區(qū)域61中的全部圖像。注意區(qū)域61以形象化方式顯示來(lái)簡(jiǎn)化解釋，并從而實(shí)際上由控制部分31作為內(nèi)部信息來(lái)管理。
在步驟S15，控制部分31確定用于識(shí)別的圖像(字符串)是否出現(xiàn)在通過(guò)步驟S14的處理所提取的區(qū)域61內(nèi)的全部圖像中。更具體來(lái)說(shuō)，例如，當(dāng)文本是以黑體寫(xiě)在白紙上時(shí)，確定黑色圖像是否出現(xiàn)在區(qū)域61內(nèi)。還有，例如，各種字符形式預(yù)先寄存作為數(shù)據(jù)庫(kù)，并確定與在數(shù)據(jù)庫(kù)中寄存的字符形式匹配的字符是否出現(xiàn)在區(qū)域61中。要注意，確定識(shí)別的圖像是否出現(xiàn)的方法并不局限于那些使用圖像之間的色差、使用其與數(shù)據(jù)庫(kù)的匹配等方法。
如果在步驟S15中確定用于識(shí)別的圖像并不存在，那么處理返回到步驟S11來(lái)重復(fù)執(zhí)行上述處理。另一方面，如果在步驟S15確定識(shí)別的圖像存在，那么處理繼續(xù)到步驟S16，在此控制部分31對(duì)準(zhǔn)在區(qū)域61中出現(xiàn)的其中一個(gè)要識(shí)別的圖像，該圖像最接近于指定點(diǎn)標(biāo)記53。并且顯示圖像產(chǎn)生部33合成最靠近于指定點(diǎn)標(biāo)記53的圖像和對(duì)準(zhǔn)的標(biāo)記71，并使得合成圖像顯示于LCD23上。
圖7示出由用于識(shí)別的圖像(字符串)和實(shí)現(xiàn)對(duì)準(zhǔn)的標(biāo)記71所合成的圖像的顯示的例子。如圖中所示，實(shí)現(xiàn)對(duì)準(zhǔn)的標(biāo)記71與用于識(shí)別的圖像“snapped”的開(kāi)頭圖像“s”合成，并顯示在圖像顯示區(qū)域51。在這種方式中，當(dāng)用于識(shí)別的圖像出現(xiàn)在區(qū)域61時(shí)，最靠近于指定點(diǎn)標(biāo)記53的圖像被自動(dòng)對(duì)準(zhǔn)，實(shí)現(xiàn)對(duì)準(zhǔn)的標(biāo)記71在其上顯示出來(lái)。要注意當(dāng)用于識(shí)別的圖像不再處于區(qū)域61時(shí)，例如通過(guò)從該對(duì)準(zhǔn)狀態(tài)調(diào)整移動(dòng)電話1的位置，則顯示被切換返回到指定點(diǎn)標(biāo)記53。
在步驟S17，控制部分31確定是否OK按鈕被用戶按壓，即，微動(dòng)撥號(hào)盤(pán)24是否被按壓。如果控制部分31確定OK按鈕沒(méi)有被按壓，那么處理返回到步驟S11來(lái)重復(fù)執(zhí)行上述的處理。如果在步驟S17確定OK按鈕被用戶按下，那么，處理返回到圖3的步驟S2(即，移動(dòng)到選擇模式處理)。
通過(guò)執(zhí)行這樣一種對(duì)準(zhǔn)模式處理，用戶希望識(shí)別的字符串的開(kāi)始點(diǎn)(開(kāi)頭字符)被對(duì)準(zhǔn)。
下面，將參考圖8的流程圖描述圖3的步驟S2中的選擇模式處理的細(xì)節(jié)。
在上述的圖4的對(duì)準(zhǔn)模式處理中，當(dāng)用于識(shí)別的圖像(字符串)頭部(當(dāng)前例子中是“s”)被對(duì)準(zhǔn)并且接著OK按鈕被按壓時(shí)，在步驟S21，顯示圖像產(chǎn)生部分33初始化字符串選擇區(qū)域81(圖9)作為圍繞當(dāng)前選擇的圖像(即，“s”)的區(qū)域。在步驟S22，顯示圖像產(chǎn)生部分33合成存儲(chǔ)在存儲(chǔ)器32中的圖像和通過(guò)步驟S21的處理所初始化的字符串選擇區(qū)域81，并使得所合成的圖像顯示在LCD23上。
圖9示出了由用于識(shí)別的圖像的頭部和字符串選擇區(qū)域81所合成的圖像的顯示的例子。如圖中所示，字符串選擇區(qū)域81被合成，并以圍繞用于識(shí)別的圖像的開(kāi)頭圖像“s”的方式顯示。進(jìn)一步，在對(duì)話52上所顯示的是表示“確定要識(shí)別字符的結(jié)束點(diǎn)”的消息。根據(jù)在對(duì)話52中表示的消息，用戶按壓右箭頭按鈕26來(lái)擴(kuò)展字符串選擇區(qū)域81到用于識(shí)別的圖像的結(jié)束點(diǎn)。
在步驟S23，控制部分31確定微動(dòng)撥號(hào)盤(pán)24、左箭頭按鈕25、右箭頭按鈕26、輸入按鈕27等是否被用戶按下，即，是否從操作部分35提供了一個(gè)輸入信號(hào)，并等待直到確定按鈕被按下。如果在步驟S23確定按鈕被按下，那么處理繼續(xù)到步驟S24，在此，控制部分31根據(jù)由操作部分35提供的輸入信號(hào)確定OK按鈕(即，微動(dòng)撥號(hào)盤(pán)24)是否被按下。
如果在步驟S24確定OK按鈕沒(méi)有被按下，那么處理繼續(xù)到步驟S25，在此，控制部分31進(jìn)一步確定用來(lái)擴(kuò)展字符串選擇區(qū)域81的按鈕(即，右箭頭按鈕26)是否被按下，并且，如果確定用來(lái)擴(kuò)展所述字符串選擇區(qū)域81的按鈕沒(méi)有被按下，控制部分31判斷出該操作無(wú)效，從而處理返回到步驟S2 3來(lái)重復(fù)執(zhí)行上述處理。
如果在步驟S25確定用來(lái)擴(kuò)展字符串選擇區(qū)域81的按鈕被按下，處理繼續(xù)到步驟S26，在此執(zhí)行提取字符串選擇區(qū)域81隨后的圖像的處理。通過(guò)該隨后圖像提取處理，提取出在已經(jīng)由字符串選擇區(qū)域81選擇的圖像隨后的圖像。將參考圖11的流程圖來(lái)描述步驟S26中的隨后圖像提取處理的細(xì)節(jié)。
在步驟S27，顯示圖像產(chǎn)生部分33更新字符串選擇區(qū)域81以便通過(guò)步驟S26的處理所提取的隨后的圖像被包括進(jìn)來(lái)。此后，處理返回到步驟S22來(lái)重復(fù)執(zhí)行上述處理。如果在步驟S24確定OK按鈕被按壓，那么處理返回到圖3的步驟S3(即，移動(dòng)到結(jié)果顯示模式處理)。
圖10A到10G示出了通過(guò)重復(fù)執(zhí)行步驟S22到S27的處理，用于識(shí)別的圖像區(qū)域(字符串)被選擇的操作。即，在決定開(kāi)頭圖像“s”作為開(kāi)始點(diǎn)(圖10A)之后，一旦用來(lái)擴(kuò)展字符串選擇區(qū)域81的按鈕9(即，右箭頭按鈕26)被按下，就選擇了“sn”(圖10B)。相似地，順序按下右箭頭按鈕26，從而依次選擇字符“sna”(圖10C)、“snap”(圖10D)、“snapp”(圖10E)、“snappe”(圖10F)、和“snapped”(圖10G)。
通過(guò)執(zhí)行這樣一種選擇模式處理，來(lái)確定用戶希望識(shí)別的字符串的范圍(從開(kāi)始點(diǎn)到結(jié)束點(diǎn))。
注意通過(guò)按下左箭頭按鈕25，順序解除對(duì)于字符的選擇，盡管圖中沒(méi)有示出。例如，在“snapped”被字符串選擇區(qū)域81選擇的狀態(tài)(圖10G)，當(dāng)左箭頭按鈕25被按下一次時(shí)，已選擇的“d”被解除，來(lái)更新字符串選擇區(qū)域到在其中選擇“snappe”的狀態(tài)(圖10F)。
下面參考圖11的流程圖，將詳細(xì)描述圖8的步驟S26的處理中，提取字符串選擇區(qū)域81隨后的圖像的處理細(xì)節(jié)。
在步驟S41，控制部分31提取所有的圖像，這些圖像是來(lái)自圖像的字符，并獲取它們的重心(barycentric)點(diǎn)(xi，yi)(i＝1，2，3…)。在步驟S42，控制部分31將通過(guò)步驟S41的處理所獲取的所有重心點(diǎn)(xi，yi)進(jìn)行θρ-Hough變換來(lái)變換到(ρ，θ)空間。
這里，θρ-Hough變換意味著用來(lái)檢測(cè)圖像處理中的直線的算法，并且，其使用下面的方程(1)將(x，y)坐標(biāo)空間轉(zhuǎn)換成(ρ，θ)空間。
ρ＝x·cos+y·sinθ…(1)當(dāng)在(x，y)坐標(biāo)空間中的一個(gè)點(diǎn)(x`，y`)上執(zhí)行θρ-Hough變換時(shí)，由下述方程(2)表示的正弦波來(lái)產(chǎn)生(ρ，θ)空間。
ρ＝x`·cos+y`·sinθ…(2)還有，例如，當(dāng)在(x，y)坐標(biāo)空間中的兩個(gè)點(diǎn)上執(zhí)行θρ-Hough變換時(shí)，正弦波在(ρ，θ)空間中的預(yù)定部分具有一個(gè)交叉點(diǎn)。交叉點(diǎn)的坐標(biāo)(ρ，θ)成為穿過(guò)由下述方程(3)表示的(x，y)坐標(biāo)空間中的兩個(gè)點(diǎn)的直線的一個(gè)參數(shù)。
ρ＝x·cos+y·sinθ…(3)還有，例如，當(dāng)在是作為字符的圖像的所有重心點(diǎn)上執(zhí)行θρ-Hough變換時(shí)，在(ρ，θ)空間就有許多正弦波交叉點(diǎn)。交叉位置的參數(shù)成為通過(guò)(x，y)坐標(biāo)空間中的多個(gè)重心的直線的參數(shù)，即，通過(guò)字符串的直線的參數(shù)。
當(dāng)在正弦波中的交叉點(diǎn)的數(shù)量是作為在(ρ，θ)坐標(biāo)空間中的一個(gè)值來(lái)設(shè)定時(shí)，在具有多條線的圖像中就可能有多個(gè)具有較大值的部分。這樣，在步驟S43，控制部分31就找到這樣的直線的參數(shù)中的一個(gè)，該直線具有這種較大值并也通過(guò)用于對(duì)準(zhǔn)的物體的重心附近，并將該參數(shù)作為用于對(duì)準(zhǔn)所屬的物體的直線的一個(gè)參數(shù)。
在步驟S44，控制部分31從通過(guò)步驟S43的處理所獲取的直線參數(shù)中獲取直線的方向。在步驟S45，控制部分31根據(jù)通過(guò)步驟S44的處理所獲取的直線參數(shù)定義的方向提取在右邊的圖像。在步驟S46，控制部分31將通過(guò)步驟S45的處理所提取的圖像判斷為隨后圖像，并接著將處理返回到步驟S27。
注意，當(dāng)開(kāi)始圖3的字符識(shí)別處理時(shí)，用戶通過(guò)選擇確定用于識(shí)別的字符是水平書(shū)寫(xiě)的，從而按照方向提取右邊出現(xiàn)的圖像。然而，當(dāng)通過(guò)選擇確定用于識(shí)別的字符是垂直書(shū)寫(xiě)時(shí)，按照方向提取下面的圖像。
通過(guò)執(zhí)行上述的隨后圖像提取處理，提取在當(dāng)前字符串選擇區(qū)域81隨后的圖像(在右邊或下面)。
下面參考圖12的流程圖，將描述圖3的步驟S3中的結(jié)果顯示模式的處理細(xì)節(jié)。
在上面提到的圖8的選擇模式處理中，當(dāng)用于識(shí)別的圖像(字符串)被字符串選擇區(qū)域81選擇并且OK按鈕被按下時(shí)，在步驟S51，圖像處理/字符識(shí)別部分37使用預(yù)定字符識(shí)別算法識(shí)別在字符串選擇區(qū)域81內(nèi)的圖像(當(dāng)前的例子中是“snapped”)。
在步驟S52，圖像處理/字符識(shí)別部分37將通過(guò)步驟S51的處理所獲得的作為字符識(shí)別結(jié)果的字符串?dāng)?shù)據(jù)存儲(chǔ)在存儲(chǔ)器32中。在步驟S53，顯示圖像產(chǎn)生部分33讀取字符串?dāng)?shù)據(jù)，該數(shù)據(jù)是存儲(chǔ)在存儲(chǔ)器32中的字符識(shí)別結(jié)果，并使例如圖13所示的圖像顯示于LCD23上。
在圖13的例子中，表示“snapped”的字符識(shí)別結(jié)果91顯示于圖像顯示區(qū)域51，并且表示“希望轉(zhuǎn)換它嗎？”的消息顯示在對(duì)話52上。用戶根據(jù)在對(duì)話52中顯示的消息按下OK按鈕(微動(dòng)撥號(hào)盤(pán)24)。從而移動(dòng)電話1可以轉(zhuǎn)換已識(shí)別的字符。
在步驟S54，控制部分31確定諸如微動(dòng)撥號(hào)盤(pán)24、左箭頭按鈕25、右箭頭按鈕26、或輸入按鈕27的按鈕是否被用戶按下，即，操作部分35是否提供了輸入信號(hào)，并且，如果控制部分31確定按鈕沒(méi)有被按下，那么處理返回到步驟S53重復(fù)執(zhí)行上述的處理。
如果在步驟S54確定按鈕被按下，那么處理繼續(xù)到步驟S55，在此，控制部分31進(jìn)一步確定OK按鈕是否被用戶按下，即，微動(dòng)撥號(hào)盤(pán)24是否被按下。如果在步驟S55確定OK按鈕被按下，那么處理繼續(xù)到步驟S56，在此，轉(zhuǎn)換部分38使用預(yù)定的字典數(shù)據(jù)轉(zhuǎn)換由圖像處理/字符識(shí)別部分37通過(guò)步驟S51的處理所識(shí)別的字符數(shù)據(jù)，并作為步驟S53處理的識(shí)別結(jié)果顯示在LCD23上。
在步驟S57，顯示圖像產(chǎn)生部分33使通過(guò)步驟S56的處理所獲得的轉(zhuǎn)換結(jié)果顯示在LCD23上，如圖14所示。
在圖14的例子中，表示“snapped”的字符識(shí)別結(jié)果91顯示在圖像顯示區(qū)域51，并且表示“Translation撮つた”的轉(zhuǎn)換結(jié)果顯示在對(duì)話52中。在這種方式中，用戶可以容易地轉(zhuǎn)換所選擇的字符串。
在步驟S58，控制部分31確定諸如微動(dòng)撥號(hào)盤(pán)24、左箭頭按鈕25、右箭頭按鈕26、或輸入按鈕27的按鈕是否被用戶按下，即，操作部分35是否提供了一個(gè)輸入信號(hào)，如果控制部分31確定按鈕沒(méi)有被按下，那么處理返回到步驟S57來(lái)重復(fù)執(zhí)行上述的處理。如果在步驟S58確定按鈕被按下，那么處理被終止。
通過(guò)執(zhí)行這樣一種結(jié)果顯示模式處理，識(shí)別的字符串被作為識(shí)別結(jié)果顯示，并且按照需要轉(zhuǎn)換所識(shí)別的字符串。
還有，在顯示識(shí)別結(jié)果中，使用所識(shí)別的字符串的應(yīng)用程序(例如，因特網(wǎng)瀏覽器、轉(zhuǎn)換軟件、文本編輯軟件等)可以被可選地顯示。具體地，當(dāng)“Hello”作為識(shí)別結(jié)果顯示時(shí)，轉(zhuǎn)換軟件或文本編輯軟件被顯示以便可以通過(guò)圖標(biāo)等來(lái)選擇。并且當(dāng)用戶選擇轉(zhuǎn)換軟件時(shí)，將其轉(zhuǎn)換為“こんにちは”，而當(dāng)用戶選擇文本編輯軟件時(shí)，“Hello”被輸入到文本編輯屏幕。
在上述方式中，移動(dòng)電話1可以使用CCD攝像頭29拍攝寫(xiě)在書(shū)本等中的文本，對(duì)所拍攝的圖像進(jìn)行字符識(shí)別，并輕松地轉(zhuǎn)換作為識(shí)別結(jié)果獲得的字符串。即，用戶可以容易地轉(zhuǎn)換他或她希望轉(zhuǎn)換的字符串，僅僅使移動(dòng)電話1的CCD攝像頭29拍攝該字符串即可，而無(wú)需打字輸入該字符串。
還有，由于沒(méi)必要關(guān)心識(shí)別的字符的大小和識(shí)別的字符的方向，因此，可以減少帶給用戶的諸如進(jìn)行字符串位置匹配的操作負(fù)擔(dān)。
在上面，是進(jìn)行安排以便寫(xiě)在書(shū)本等上面的字符串(一個(gè)英語(yǔ)單詞)被CCD攝像頭29拍攝，來(lái)對(duì)所拍攝的圖像進(jìn)行字符識(shí)別并轉(zhuǎn)換通過(guò)字符識(shí)別所獲得的字符串。然而，本發(fā)明并不局限于此。例如，寫(xiě)在書(shū)本等上的URL(統(tǒng)一資源定位符)可以被CCD攝像頭29拍攝，來(lái)對(duì)所拍攝的圖像進(jìn)行字符識(shí)別并基于字符識(shí)別所獲得的URL訪問(wèn)服務(wù)器等。
圖15是示出應(yīng)用本發(fā)明的服務(wù)器訪問(wèn)系統(tǒng)的示例性配置的示意圖。在該系統(tǒng)中，連接到諸如因特網(wǎng)的網(wǎng)絡(luò)102的是服務(wù)器101，以及通過(guò)基站103的移動(dòng)電話，該基站是固定無(wú)線終端。
服務(wù)器101由工作站、計(jì)算機(jī)等組成，并且其CPU(沒(méi)有示出)基于來(lái)自移動(dòng)電話1的請(qǐng)求執(zhí)行服務(wù)器程序，來(lái)通過(guò)網(wǎng)絡(luò)102發(fā)布與由此而產(chǎn)生的主頁(yè)相關(guān)的壓縮HTML(超文本標(biāo)記語(yǔ)言)文件。
基站103通過(guò)例如稱之為W-CDMA(寬帶碼分多址)的碼分多址連接，無(wú)線連接到移動(dòng)電話1，來(lái)高速發(fā)射大量數(shù)據(jù)，所述移動(dòng)電話是可以移動(dòng)的無(wú)線終端。
由于移動(dòng)電話1可以通過(guò)W-CDMA系統(tǒng)高速發(fā)射大量數(shù)據(jù)到基站103，因此，它可以執(zhí)行很多種類的數(shù)據(jù)通信，例如電子郵件交換、簡(jiǎn)單主頁(yè)瀏覽、圖像交換、以及電話交談。
還有，移動(dòng)電話1可以使用CCD攝像頭29拍攝寫(xiě)在書(shū)本等上的URL，對(duì)所拍攝的圖像進(jìn)行字符識(shí)別，并基于字符識(shí)別獲得的URL訪問(wèn)服務(wù)器101。
下面再次參考圖3的流程圖，描述圖15所示的移動(dòng)電話1的字符識(shí)別處理。注意合適的時(shí)候?qū)⑹÷耘c上面描述重復(fù)的描述。
在步驟S1，通過(guò)執(zhí)行對(duì)準(zhǔn)模式處理，確定用于識(shí)別的圖像(URL)的開(kāi)始點(diǎn)(開(kāi)頭字符)。在步驟S2，通過(guò)執(zhí)行選擇模式處理，確定用于識(shí)別的圖像區(qū)域。在步驟S3，通過(guò)執(zhí)行結(jié)果顯示模式處理，識(shí)別所選擇的圖像，顯示其識(shí)別結(jié)果(URL)，并基于所識(shí)別的URL訪問(wèn)服務(wù)器101。
下面再次參考圖4的流程圖，將描述圖3的步驟S1中的對(duì)準(zhǔn)模式的處理細(xì)節(jié)。
用戶將移動(dòng)電話1移動(dòng)到靠近寫(xiě)有URL的書(shū)本等。并且在查看由CCD攝像頭29所拍攝的全部圖像的同時(shí)，用戶調(diào)整移動(dòng)電話1的位置以便用戶希望識(shí)別的URL的開(kāi)頭字符(當(dāng)前是h)與在此所顯示的指定點(diǎn)標(biāo)記53一致(圖16)。
此時(shí)，在步驟S11，CCD攝像頭29獲取正在拍攝的全部圖像，并且在步驟S12，存儲(chǔ)器32存儲(chǔ)該全部圖像。在步驟S13，顯示圖像產(chǎn)生部分33讀取存儲(chǔ)在存儲(chǔ)器32中的全部圖像，并使得該全部圖像與指定點(diǎn)標(biāo)記53一起顯示在LCD23上，例如，如圖16所示。
在圖16的例子中，顯示于LCD23上的是用來(lái)顯示拍攝圖像的圖像顯示區(qū)域51，和表示“確定識(shí)別字符開(kāi)始點(diǎn)”的對(duì)話52。而且，指定點(diǎn)標(biāo)記53在靠近圖像顯示區(qū)域51的中部位置顯示。用戶對(duì)準(zhǔn)顯示在該圖像顯示區(qū)域51上的指定點(diǎn)標(biāo)記53以便與用于識(shí)別的圖像的開(kāi)始點(diǎn)一致。
在步驟S14，控制部分31提取在由顯示圖像產(chǎn)生部分33顯示于LCD23上的全部圖像的指定點(diǎn)標(biāo)記53的周圍的預(yù)定區(qū)域61(圖6)內(nèi)的全部圖像。在步驟S15，控制部分31確定用于識(shí)別的圖像(URL)是否出現(xiàn)在通過(guò)步驟S14的處理所提取的區(qū)域61內(nèi)的全部圖像中，如果控制部分31確定識(shí)別圖像沒(méi)有出現(xiàn)，處理返回到步驟S11重復(fù)執(zhí)行上述的處理。
如果在步驟S15確定用于識(shí)別的圖像出現(xiàn)，那么處理繼續(xù)到步驟S16，在此，控制部分31對(duì)準(zhǔn)其中一個(gè)出現(xiàn)在區(qū)域61內(nèi)的識(shí)別圖像，該圖像最靠近于指定點(diǎn)標(biāo)記53。并且顯示圖像產(chǎn)生部分33合成最接近于指定點(diǎn)標(biāo)記53的圖像和對(duì)準(zhǔn)的標(biāo)記71(圖7)，并使得合成圖像顯示于LCD23上。
在步驟S17，控制部分31確定OK按鈕是否被用戶按下，即，微動(dòng)撥號(hào)盤(pán)24是否被按下。如果控制部分31確定OK按鈕沒(méi)有被按下，處理返回到步驟S11重復(fù)執(zhí)行上述處理。如果在步驟S17確定OK按鈕被用戶按下，那么處理返回到圖3的步驟S2(即，移動(dòng)到選擇模式處理)。
通過(guò)執(zhí)行這樣一種對(duì)準(zhǔn)模式處理，用戶希望識(shí)別的字符串的開(kāi)始點(diǎn)(開(kāi)頭字符)被對(duì)準(zhǔn)。
下面再次參考圖8，將描述圖3的步驟S2中的選擇模式處理的細(xì)節(jié)。
在步驟S21，顯示圖像產(chǎn)生部分33初始化字符串選擇區(qū)域81(圖17)，并在步驟S22中，合成存儲(chǔ)在存儲(chǔ)器32中的圖像和初始化的字符串選擇區(qū)域81，并使得合成圖像顯示在LCD23上。
圖17示出了由用于識(shí)別的圖像的頭部和字符串選擇區(qū)域81合成的圖像的顯示的例子。如圖所示，字符串選擇區(qū)域81被合成來(lái)以圍繞用于識(shí)別的圖像的開(kāi)頭圖像“h”的方式顯示。而且，對(duì)話52顯示表示“確定識(shí)別字符的結(jié)束點(diǎn)”的消息。根據(jù)在對(duì)話52中指示的消息，用戶按壓右箭頭按鈕26來(lái)擴(kuò)展字符串選擇區(qū)域81到用于識(shí)別的圖像的結(jié)束點(diǎn)。
在步驟S23，控制部分31確定按鈕是否被用戶按下，并等待直到它確定按鈕被按下。如果在步驟S23確定按鈕被按下，處理繼續(xù)到步驟S23，在此，根據(jù)由操作部分35提供的輸入信號(hào)，控制部分31確定OK按鈕(即，微動(dòng)撥號(hào)盤(pán)24)是否被按下。如果控制部分31確定OK按鈕沒(méi)有被按下，處理繼續(xù)到步驟S25。
在步驟S25，控制部分31進(jìn)一步確定用來(lái)擴(kuò)展字符串選擇區(qū)域81的按鈕(即，右箭頭按鈕26)是否被按下，并且如果確定用來(lái)擴(kuò)展字符串選擇區(qū)域81的按鈕沒(méi)有被按下，那么控制部分31判斷該操作是否有效，從而處理返回到步驟S23來(lái)重復(fù)執(zhí)行上述處理。如果在步驟S25確定用來(lái)擴(kuò)展字符串選擇區(qū)域81的按鈕被按下，處理繼續(xù)到步驟S26，在此，控制部分31如上面參考圖11的流程圖所提到那樣，提取在字符串選擇區(qū)域81隨后的圖像。
在步驟S27，顯示圖像產(chǎn)生部分33更新字符串選擇區(qū)域81以便通過(guò)步驟S26的處理所提取的隨后圖像被包括進(jìn)來(lái)。此后，處理返回到步驟S22來(lái)重復(fù)執(zhí)行上述處理。并且如果在步驟S24確定OK按鈕被按下，那么處理返回到圖3的步驟S3(即，移動(dòng)到結(jié)果顯示模式處理)。
圖18示出了如何通過(guò)重復(fù)執(zhí)行步驟S22到S27的處理，由字符串選擇區(qū)域81來(lái)選擇用于識(shí)別的圖像。在圖18的例子中，http://www.aaa.co.jp是一個(gè)URL，其被字符串選擇區(qū)域81選擇。
通過(guò)執(zhí)行這樣一種選擇模式處理，確定用戶希望識(shí)別的字符串的范圍(從開(kāi)始點(diǎn)到結(jié)束點(diǎn))。
下面參考圖19的流程圖，描述圖3的步驟S3中的結(jié)果顯示模式的細(xì)節(jié)。注意合適的時(shí)候?qū)⑹÷耘c上面的描述重復(fù)的描述。
在步驟S101，圖像處理/字符識(shí)別部分37使用預(yù)定的字符識(shí)別算法對(duì)存儲(chǔ)在存儲(chǔ)器32中的圖像的字符串選擇區(qū)域81內(nèi)的圖像(當(dāng)前的例子中是“http://www.aaa.co.jp”)進(jìn)行字符識(shí)別，并在步驟S102，使字符串?dāng)?shù)據(jù)，即字符識(shí)別結(jié)果，存儲(chǔ)在存儲(chǔ)器32中。在步驟S103中，顯示圖像產(chǎn)生部分33讀取字符串?dāng)?shù)據(jù)，即存儲(chǔ)在存儲(chǔ)器32中的字符識(shí)別結(jié)果，并使得屏幕如圖20那樣在LCD23上顯示。
在圖20的例子中，表示“http://www.aaa.co.jp”的字符識(shí)別結(jié)果91顯示于圖像顯示區(qū)域51，并且表示“你想訪問(wèn)嗎？”的消息顯示在對(duì)話52中。用戶根據(jù)對(duì)話52中的表示的消息按壓OK按鈕(微動(dòng)撥號(hào)盤(pán)24)。因此，移動(dòng)電話1基于所識(shí)別的URL訪問(wèn)服務(wù)器101，從而，可以瀏覽所需的主頁(yè)。
在步驟S104，控制部分31確定按鈕是否被用戶按下，如果控制部分31確定按鈕沒(méi)有被按下，那么處理返回到步驟S103重復(fù)執(zhí)行上述處理。如果在步驟S104確定按鈕被按下，那么處理繼續(xù)到步驟S105，這里控制部分31進(jìn)一步確定OK按鈕是否被用戶按下，即，微動(dòng)撥號(hào)盤(pán)24是否被按下。
如果在步驟S105確定OK按鈕被按下，那么處理繼續(xù)到步驟S106，在此，控制部分31基于由圖像處理/字符識(shí)別部分37通過(guò)步驟S101的處理經(jīng)字符識(shí)別的URL通過(guò)網(wǎng)絡(luò)102訪問(wèn)服務(wù)器101。
在步驟S107，控制部分31確定用戶是否斷開(kāi)服務(wù)器101的連接，并等待直到服務(wù)器101被斷開(kāi)。并且如果在步驟S107確定服務(wù)器101斷開(kāi)，或者如果在步驟S105確定OK按鈕沒(méi)有被按下(即，沒(méi)有指示訪問(wèn)服務(wù)器101)，那么處理終止。
通過(guò)執(zhí)行這樣一種結(jié)果顯示模式處理，識(shí)別的URL作為識(shí)別結(jié)果顯示出來(lái)，并且在必要時(shí)基于識(shí)別的URL訪問(wèn)預(yù)定的服務(wù)器。
如上所述，移動(dòng)電話1可以使用CCD攝像頭29拍攝寫(xiě)在書(shū)本等上的URL，對(duì)所拍攝的圖像進(jìn)行字符識(shí)別，并基于作為識(shí)別結(jié)果獲得的URL訪問(wèn)服務(wù)器101等。即，用戶僅僅使移動(dòng)電話1的CCD攝像頭29拍攝用戶希望瀏覽的主頁(yè)的URL，就能夠容易地訪問(wèn)服務(wù)器101來(lái)瀏覽所需的主頁(yè)，而無(wú)需打字輸入該URL。
在上面，已經(jīng)描述了應(yīng)用本發(fā)明的移動(dòng)電話1的情況。然而，并不局限于此，本發(fā)明可以更廣泛地應(yīng)用于具有能夠拍攝寫(xiě)在書(shū)本等中的字符串的CCD攝像頭29，顯示CCD攝像頭29拍攝的圖像和識(shí)別結(jié)果的LCD23，以及選擇用于識(shí)別的字符串、擴(kuò)展字符串選擇區(qū)域81、或執(zhí)行各種操作的操作部分35的移動(dòng)信息終端設(shè)備。
圖21示出了應(yīng)用本發(fā)明的移動(dòng)信息終端的外觀示例性配置。圖21A示出了移動(dòng)信息終端設(shè)備200的前部透視圖，圖21B示出了移動(dòng)信息終端設(shè)備200的后部透視圖。如圖所示，在移動(dòng)信息終端設(shè)備200的前部是用來(lái)顯示全部圖像、識(shí)別結(jié)果等的LCD23、用來(lái)選擇用于識(shí)別的字符的OK按鈕201、用來(lái)擴(kuò)展字符串選擇區(qū)域81的區(qū)域擴(kuò)展按鈕202等。還有，在移動(dòng)信息終端設(shè)備200的后部是用來(lái)拍攝寫(xiě)于書(shū)本中的文本等的CCD攝像頭29。
通過(guò)使用具有這樣配置的移動(dòng)信息終端設(shè)備200，例如，人們可以拍攝寫(xiě)于書(shū)本等內(nèi)的字符串，對(duì)所拍攝的圖像進(jìn)行字符識(shí)別，轉(zhuǎn)換作為識(shí)別結(jié)果獲得的字符串，或訪問(wèn)預(yù)定的服務(wù)器。
注意，移動(dòng)信息終端設(shè)備200的配置并不局限于圖21中所示的，而是可以配置來(lái)提供微動(dòng)撥號(hào)盤(pán)，來(lái)代替例如OK按鈕201和擴(kuò)展按鈕202。
上述的一系列處理可以通過(guò)硬件和軟件來(lái)執(zhí)行。當(dāng)這些處理由軟件來(lái)完成時(shí)，構(gòu)成該軟件的程序被通過(guò)網(wǎng)絡(luò)或記錄介質(zhì)安裝到合并于專用硬件的計(jì)算機(jī)上，或例如，可以通過(guò)安裝各種程序于其上來(lái)執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)上。
這種記錄介質(zhì)，如圖2所示，不僅僅由諸如磁盤(pán)(包括軟盤(pán))、光盤(pán)(包括CD-ROM(致密只讀存儲(chǔ)器)、DVD(數(shù)字多用盤(pán)))、磁光盤(pán)(包括MD(Mini-盤(pán))(商標(biāo)))、或半導(dǎo)體存儲(chǔ)器的可移動(dòng)盤(pán)40構(gòu)成，其被分配給用戶來(lái)分別從裝置實(shí)體中提供程序，在這些裝置實(shí)體中記錄有程序，而且還可以由預(yù)先包含在裝置實(shí)體中來(lái)提供給用戶的其中記錄有程序的ROM和存儲(chǔ)器部分來(lái)構(gòu)成。
注意，在本說(shuō)明書(shū)中，書(shū)寫(xiě)記錄在記錄介質(zhì)上的程序的步驟，不但包括以書(shū)寫(xiě)順序按時(shí)間先后執(zhí)行的處理，還包括并行或單獨(dú)地執(zhí)行的處理，盡管沒(méi)有必要按時(shí)間先后順序處理。
權(quán)利要求
1.一種移動(dòng)信息終端設(shè)備，包括用來(lái)拍攝物體的拍攝裝置；用來(lái)對(duì)基于拍攝裝置拍攝的物體的圖像，控制其顯示操作的第一顯示控制裝置；用來(lái)從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇裝置，該圖像由第一顯示控制裝置控制其顯示操作；用來(lái)識(shí)別由選擇裝置選擇的圖像區(qū)域的識(shí)別裝置；和用來(lái)控制由識(shí)別裝置獲得的識(shí)別結(jié)果的顯示操作的第二顯示控制裝置。
2.根據(jù)權(quán)利要求1的移動(dòng)信息終端設(shè)備，其中所述選擇裝置被配置來(lái)選擇用于識(shí)別的圖像的開(kāi)始點(diǎn)和結(jié)束點(diǎn)。
3.根據(jù)權(quán)利要求1的移動(dòng)信息終端設(shè)備，進(jìn)一步包括對(duì)準(zhǔn)控制裝置，其中所述第一顯示控制裝置進(jìn)一步控制指定圖像開(kāi)始點(diǎn)的標(biāo)記的顯示操作，配置成進(jìn)一步包括用來(lái)進(jìn)一步控制的對(duì)準(zhǔn)控制裝置；和當(dāng)用于識(shí)別的圖像出現(xiàn)標(biāo)記附近時(shí)，所述對(duì)準(zhǔn)控制裝置控制對(duì)準(zhǔn)所述用于識(shí)別的圖像。
4.根據(jù)權(quán)利要求1的移動(dòng)信息終端設(shè)備，進(jìn)一步包括當(dāng)指示擴(kuò)展由選擇裝置選擇的圖像區(qū)域時(shí)，用來(lái)提取圖像區(qū)域隨后圖像的提取裝置。
5.根據(jù)權(quán)利要求1的移動(dòng)信息終端設(shè)備，進(jìn)一步包括用來(lái)轉(zhuǎn)換由識(shí)別裝置獲得的識(shí)別結(jié)果的轉(zhuǎn)換裝置。
6.根據(jù)權(quán)利要求1的移動(dòng)信息終端設(shè)備，進(jìn)一步包括用來(lái)基于由識(shí)別裝置獲得的識(shí)別結(jié)果訪問(wèn)另一設(shè)備的訪問(wèn)裝置。
7.一種信息處理方法，包括拍攝物體的拍攝步驟；對(duì)基于通過(guò)拍攝步驟處理的拍攝物體的圖像，控制其顯示操作的第一顯示控制步驟；從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇步驟，該圖像通過(guò)第一顯示控制步驟的處理來(lái)控制其顯示操作；識(shí)別通過(guò)選擇步驟的處理所選擇的圖像區(qū)域的識(shí)別步驟；和控制通過(guò)識(shí)別步驟處理的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟。
8.一種記錄介質(zhì)，其上記錄有能夠使得計(jì)算機(jī)執(zhí)行處理的程序，所述處理包括拍攝物體的拍攝步驟；對(duì)基于通過(guò)拍攝步驟處理的拍攝物體的圖像，控制其顯示操作的第一顯示控制步驟；從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇步驟，該圖像通過(guò)第一顯示控制步驟的處理來(lái)控制其顯示操作；識(shí)別通過(guò)選擇步驟的處理所選擇的圖像區(qū)域的識(shí)別步驟；和控制通過(guò)識(shí)別步驟處理的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟。
9.一種程序，其能夠使計(jì)算機(jī)執(zhí)行處理，包括拍攝物體的拍攝步驟；對(duì)基于通過(guò)拍攝步驟處理的拍攝物體的圖像，控制其顯示操作的第一顯示控制步驟；從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇步驟，該圖像通過(guò)第一顯示控制步驟的處理來(lái)控制其顯示操作；識(shí)別通過(guò)選擇步驟的處理所選擇的圖像區(qū)域的識(shí)別步驟；和控制通過(guò)識(shí)別步驟處理的識(shí)別結(jié)果的顯示操作的第二顯示控制步驟。
全文摘要
本發(fā)明的移動(dòng)信息終端設(shè)備包括用來(lái)拍攝物體的拍攝裝置，用來(lái)對(duì)基于通過(guò)拍攝裝置拍攝的物體的圖像，控制其顯示操作的第一顯示控制裝置，用來(lái)從圖像中選擇用于識(shí)別的圖像區(qū)域的選擇裝置，該圖像通過(guò)第一顯示控制步驟的處理來(lái)控制其顯示操作，用來(lái)識(shí)別由選擇裝置選擇的圖像區(qū)域的識(shí)別裝置，和用來(lái)控制由識(shí)別裝置獲得的識(shí)別結(jié)果的顯示操作的第二顯示控制裝置。根據(jù)本發(fā)明，可以識(shí)別包括在由移動(dòng)信息終端設(shè)備拍攝的圖像中的字符。尤其是，能夠從所拍攝的圖像中選擇預(yù)定的區(qū)域，并識(shí)別在該預(yù)定區(qū)域內(nèi)的字符。
文檔編號(hào)G06K9/00GK1638391SQ20041008223
公開(kāi)日2005年7月13日 申請(qǐng)日期2004年10月28日 優(yōu)先權(quán)日2003年10月28日
發(fā)明者望月大介, 田中友久, 佐藤真 申請(qǐng)人:索尼株式會(huì)社