專利名稱：圖像處理裝置、圖像形成裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在進行基于層分離的圖像壓縮等處理時，能夠精度良好地從輸入圖像數(shù)據(jù)中抽出(即，抽取或提取)前景像素的圖像處理裝置、圖像形成裝置、圖像處理方法、計算機程序及記錄介質(zhì)。
背景技術(shù)：
在現(xiàn)有技術(shù)中，通過電子照相方式或噴墨方式等進行圖像形成的復(fù)印機或復(fù)合機等圖像形成裝置正在廣泛普及。另外，近年來的復(fù)合機正在實現(xiàn)高功能化，要求將由掃描裝置(掃描儀)讀取的文書作為電子數(shù)據(jù)保存，且對所保存的文書文件(file)進行管理的功能及將文書數(shù)據(jù)作為電子郵件發(fā)送的功能等。由掃描裝置讀取的文書作為圖像數(shù)據(jù)而保存，但該圖像數(shù)據(jù)通常容量較大，因此在將圖像數(shù)據(jù)儲存或發(fā)送的情況下，需要降低數(shù)據(jù)量的圖像壓縮技術(shù)等。用于實現(xiàn)高壓縮率的圖像壓縮技術(shù)之一是MRC(Mixed Raster Content 混合光柵內(nèi)容)等基于層分離的壓縮技術(shù)。該壓縮技術(shù)通過將所輸入的圖像數(shù)據(jù)的圖像分離為前景層及背景層這兩個圖像數(shù)據(jù)，且進行適合各層的圖像數(shù)據(jù)的壓縮，能夠提高最終的壓縮圖像的壓縮率。前景層是字符(即文字)或線條畫(以下，稱為字符等)的圖像，適合 JBIG(Joint Bi-Ievel Image experts Group 聯(lián)合二值圖像專家組，或聯(lián)合雙級圖像專家組)、MMR(Modified Modified Read)或LZW(Lempel Ziv Welch)等可逆壓縮方式的壓縮。另夕卜，背景層是字符和線條畫以外的圖像，適合JPEG(Joint Photographic Experts Group 聯(lián)合圖像專家組)等非可逆壓縮方式的壓縮。在專利文獻1(日本特開2005-20227號公報)中，提出了以不降低字符等的識別性且以高壓縮率來壓縮字符和照片等混在一起的彩色文書圖像的讀取圖像數(shù)據(jù)為目的的圖像壓縮裝置。該圖像壓縮裝置從由掃描裝置等讀取的彩色文書圖像的圖像數(shù)據(jù)中，調(diào)查構(gòu)成字符或圖形等描繪物的像素的描繪狀態(tài)，將所描繪的像素連接在一起的狀態(tài)的一塊連結(jié)像素作為連結(jié)像素組抽出。圖像壓縮裝置從構(gòu)成所抽出的連結(jié)像素組的像素的特征，分類為面向清晰度優(yōu)先的壓縮方式的前景圖像和面向色彩的灰度等級特性優(yōu)先的壓縮方式的背景圖像，將各圖像以最佳的壓縮方式進行壓縮。專利文獻1記載的圖像壓縮裝置在從圖像數(shù)據(jù)中抽出連結(jié)像素時，首先，將彩色的圖像數(shù)據(jù)二值化，基于二值化的圖像數(shù)據(jù)，進行連結(jié)像素組的抽出，在所抽出的多個連結(jié)像素組中，以規(guī)定尺寸(size:大小)范圍內(nèi)的連結(jié)像素組為前景圖像，將規(guī)定尺寸范圍外的連結(jié)像素組設(shè)為背景圖像。但是，該圖像壓縮裝置存在如下問題，即，為了對彩色圖像進行二值化處理，對于在局部的背景色中描繪有字符的圖像，難以將字符像素和背景像素分離，另外，在基底明度(光亮度)和字符明度之間的關(guān)系反轉(zhuǎn)的反轉(zhuǎn)字符區(qū)域，難以將字符像素和背景像素分離
發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而完成的，其目的在于，提供一種圖像處理裝置、圖像形成裝置、圖像處理方法、計算機程序及記錄介質(zhì)，即使對于局部的背景色描繪有字符的圖像及包含反轉(zhuǎn)字符區(qū)域的圖像等這樣的具有復(fù)雜布局(layout)的輸入圖像數(shù)據(jù)，也能夠高精度地進行前景像素的抽出。本發(fā)明提供一種圖像處理裝置，其特征在于從所輸入的圖像數(shù)據(jù)中抽出構(gòu)成該圖像數(shù)據(jù)的前景圖像(即，圖像的前景)的前景像素，所述圖像處理裝置具備前景抽出處理部、布局分析處理部和前景像素抽出處理部，所述前景抽出處理部具有平坦像素塊抽出單元，其將圖像數(shù)據(jù)分割為多個像素塊，將該像素塊所包含的像素間的像素值之差小于規(guī)定值的平坦像素塊抽出；背景代表色算出單元，其基于該平坦像素塊抽出單元抽出的平坦像素塊所包含的像素的像素值，計算背景代表色；前景像素塊判定單元，其將該背景代表色算出單元計算出的背景代表色與像素塊的像素值進行比較，判定該像素塊是否為構(gòu)成圖像的前景的前景像素塊，并且利用判定為是前景像素塊的像素塊制作前景像素塊掩模；和前景代表色算出單元，其基于該前景像素塊判定單元判定的前景像素塊所包含的像素的像素值，計算前景代表色，所述布局分析處理部具有前景區(qū)域抽出單元，其基于所述前景像素塊判定單元制作的前景像素塊掩模，抽出前景像素塊連續(xù)的前景區(qū)域，制作所抽出的前景區(qū)域的前景信息；前景區(qū)域間距離方向算出單元，其對該前景區(qū)域抽出單元抽出的多個前景區(qū)域間的距離和方向進行計算；和字符串區(qū)域抽出單元，其根據(jù)該前景區(qū)域間距離方向算出單元計算出的距離和方向，抽出由多個前景區(qū)域構(gòu)成的字符串的區(qū)域，所述前景像素抽出處理部，根據(jù)所述背景代表色、所述前景代表色和所述字符串區(qū)域抽出單元抽出的字符串區(qū)域，從圖像數(shù)據(jù)中抽出前景像素。本發(fā)明也可以采用如下方式上述圖像處理裝置還具備線抽出單元，其基于所述前景像素塊判定單元制作的前景像素塊掩模，將前景像素在圖像數(shù)據(jù)的圖像中在水平方向或垂直方向上呈直線狀連續(xù)的線(即，行或列)抽出；和前景像素塊掩模修正單元，其進行從所述前景像素塊掩模中將構(gòu)成所述線抽出單元抽出的線的像素塊排除在外的修正，其中，所述布局分析處理部和所述前景像素抽出處理部使用所述前景像素塊掩模修正單元修正后的前景像素塊掩模進行處理。在本發(fā)明中，在從所輸入的圖像數(shù)據(jù)中抽出構(gòu)成圖像前景的前景像素塊時，利用所算出的背景代表色及從前景像素塊計算出的前景代表色，進行前景像素的抽出，通過采用上述這樣的結(jié)構(gòu)，能夠高效地從輸入圖像數(shù)據(jù)進行前景像素的抽出。另外，通過采用從輸入圖像數(shù)據(jù)中抽出字符串(即，文字列)區(qū)域而進行前景像素的抽出的結(jié)構(gòu)，能夠以字符串區(qū)域單位進行例如色彩信息的量化(索引(index)化)等，因此能夠以字符串區(qū)域單位對前景代表色等色彩信息進行處理，不會以過(多)分割輸入圖像數(shù)據(jù)的區(qū)域單位(例如，像素塊單位)對色彩信息進行處理，能夠以良好的精度進行前景像素的抽出。另外，在本發(fā)明中，進行從輸入圖像數(shù)據(jù)中抽出線且從前景像素塊掩模中將構(gòu)成線(前景像素沿水平方向或垂直方向呈直線狀連續(xù)的區(qū)域)的像素塊除去(排除在外)的修正(校正)，通過采用這樣的結(jié)構(gòu)，能夠從前景像素的抽出對象中將線排除在外，因此作為前景像素，能夠僅處理字符，在對輸入圖像數(shù)據(jù)進行壓縮的情況下，能夠提高壓縮率。另夕卜，由于線作為背景來處理，因此能夠抑制粗糙(shaggy)等的發(fā)生，能夠?qū)崿F(xiàn)畫質(zhì)提高。另夕卜，通過抽出線，能夠檢測圖像中的表，能夠抽出表中的字符串，因此能夠提高字符串區(qū)域的抽出精度。另外，在本發(fā)明中，將輸入圖像數(shù)據(jù)分割為規(guī)定尺寸(大小)的像素塊，判定(判斷)各像素塊是否為平坦像素塊。此時，將判定為不是平坦像素塊的像素塊進一步分割為更小尺寸的像素塊，進一步判定所分割的像素塊是否為平坦像素塊。這樣，反復(fù)(重復(fù))進行像素塊的分割和是否為平坦像素塊的判定，直到像素塊的尺寸達(dá)到規(guī)定尺寸，以最終的判定結(jié)果為平坦像素塊的抽出結(jié)果。由此，能夠在參照輸入圖像數(shù)據(jù)的從廣域的區(qū)域到局部的區(qū)域的同時，進行前景像素塊的抽出及前景代表色的計算(算出)等處理，因此能夠高精度地計算背景代表色及前景代表色等。另外，在本發(fā)明中，根據(jù)前景區(qū)域間的距離及連續(xù)數(shù)，推定水平方向或垂直方向的字符串方向，將在所推定的方向上連續(xù)的前景區(qū)域統(tǒng)一(統(tǒng)合)，作為字符串區(qū)域抽出。由此，能夠高精度地從輸入圖像數(shù)據(jù)進行字符串區(qū)域的抽出。另外，在本發(fā)明中，將與字符串區(qū)域的前景代表色及背景代表色的差值分別滿足規(guī)定條件的像素作為前景像素抽出。由此，能夠以良好的精度從基于前景代表色及背景代表色的輸入圖像數(shù)據(jù)進行前景像素的抽出。另外，在本發(fā)明中，在以頁單位(S卩，以頁面為單位)輸入圖像數(shù)據(jù)的情況下，通過以輸入圖像數(shù)據(jù)的頁單位將字符串區(qū)域的前景代表色統(tǒng)一，能夠降低前景圖像的色彩數(shù)， 在將色彩信息索弓I化時，能夠降低索引數(shù)。另外，在本發(fā)明中，分別以不同的方式對從輸入圖像數(shù)據(jù)中抽出的前景像素的數(shù)據(jù)(前景層)和其以外的數(shù)據(jù)(背景層)進行壓縮。由此，能夠提高輸入圖像數(shù)據(jù)的壓縮率。在本發(fā)明的情況下，根據(jù)在從輸入圖像數(shù)據(jù)中抽出前景像素塊時算出的背景代表色、從前景像素塊計算出的前景代表色及以這些代表色為基礎(chǔ)從輸入圖像數(shù)據(jù)中抽出的字符串區(qū)域，進行前景像素的抽出，通過采用這樣的結(jié)構(gòu)，能夠高效地進行前景像素的抽出， 并且能夠以字符串區(qū)域單位對色彩信息進行處理，因此能夠以良好的精度進行前景像素的抽出。因而，能夠以良好的精度對具有復(fù)雜布局的圖像進行前景像素的抽出，能夠以良好的精度將圖像分離為前景層及背景層，從而以最佳的壓縮方式對各圖像進行壓縮，因此能夠提高圖像的壓縮率。


圖1是表示本發(fā)明的MFP的結(jié)構(gòu)的框圖。圖2是表示圖像處理裝置的壓縮處理部的結(jié)構(gòu)的框圖。圖3是表示前景抽出處理部的結(jié)構(gòu)的框圖。
7
圖4是表示平坦像素塊抽出處理部的結(jié)構(gòu)的框圖。圖5(a)_(f)是用于說明初始平坦像素塊抽出處理部進行的處理的示意圖。圖6(a)和(b)是用于說明水平方向連結(jié)平坦像素塊抽出處理部進行的處理的示意圖。圖7(a)和(b)是用于說明垂直方向連結(jié)平坦像素塊抽出處理部進行的處理的示意圖。圖8是用于說明塊庫平坦像素塊抽出處理部進行的處理的示意圖。圖9是用于說明向上采樣處理部進行的處理的示意圖。圖10(a)_(d)是用于說明前景像素塊抽出處理部進行的處理的示意圖。圖11是表示線檢測處理部的結(jié)構(gòu)的框圖。圖12是用于說明水平線候補抽出處理部進行的處理的示意圖。圖13是用于說明線候補結(jié)合處理部進行的處理的示意圖。圖14是用于說明線分布判定處理部進行的處理的示意圖。圖15是用于說明線最終判定處理部進行的處理的示意圖。圖16是表示水平線候補抽出處理部進行的處理的順序的流程圖。圖17是用于說明水平線候補抽出處理部對線候補附加標(biāo)記的情況的示意圖。圖18是表示線分布判定處理部進行的處理的順序的流程圖。圖19是表示線最終判定處理部進行的處理的順序的流程圖。圖20是用于對水平方向和垂直方向的線候補的連接判定進行說明的示意圖。圖21是表示布局分析處理部的結(jié)構(gòu)的框圖。圖22是表示標(biāo)示(labeling)處理部進行的處理的順序的流程圖。圖23是用于說明標(biāo)示處理部進行的處理的示意圖。圖24是表示標(biāo)示處理部的處理的一個例子的示意圖。圖25是用于說明附近矩形間距離算出處理部進行的處理的示意圖。圖26是表示附近矩形間距離算出處理部進行的處理的順序的流程圖。圖27是表示字符串方向推定處理部進行的處理的順序的流程圖。圖28是表示字符串方向推定處理部進行的處理的一個例子的示意圖。圖29是表示字符串方向修正處理部進行的處理的順序的流程圖。圖30是表示字符串方向修正處理部進行的處理的一個例子的示意圖。圖31是表示字符串區(qū)域抽出處理部進行的處理的順序的流程圖。圖32是表示字符串區(qū)域抽出處理部進行的處理的順序的流程圖。圖33是表示字符串區(qū)域抽出處理部進行的處理的順序的流程圖。圖34是表示字符串區(qū)域抽出處理部進行的處理的順序的流程圖。圖35是表示字符串區(qū)域抽出處理部進行的處理的一個例子的示意圖。圖36是表示前景層生成處理部的結(jié)構(gòu)的框圖。圖37是用于對前景層生成處理部的處理的概要進行說明的示意圖。圖38就用于對像素塊前景代表色的量化進行說明的示意圖。圖39是表示前景代表色統(tǒng)一處理部的結(jié)構(gòu)的框圖。圖40是表示前景代表色統(tǒng)一處理部進行的處理的順序的流程圖。
圖41是表示色差直方圖的一個例子的示意圖。圖42是用于說明背景層生成處理部進行的處理的示意圖。圖43是表示背景層生成處理部進行的處理的順序的流程圖。圖44是表示壓縮處理部進行的處理的順序的流程圖。圖45是表示壓縮處理部進行的處理的順序的流程圖。圖46是表示壓縮處理部進行的處理的順序的流程圖。圖47是表示壓縮處理部進行的處理的順序的流程圖。圖48是表示壓縮處理部進行的處理的順序的流程圖。圖49是表示變形例1的布局分析處理部的結(jié)構(gòu)的框圖。圖50是表示變形例1的壓縮處理部進行的處理的順序的流程圖。圖51是表示變形例1的壓縮處理部進行的處理的順序的流程圖。圖52是表示變形例2的平坦像素塊抽出處理部的結(jié)構(gòu)的框圖。附圖標(biāo)記的說明11圖像輸入裝置12圖像輸出裝置13信息發(fā)送裝置15操作面板20圖像處理裝置30壓縮處理部31存儲部50色彩轉(zhuǎn)換處理部51前景抽出處理部52線檢測處理部(線抽出單元、前景像素塊掩模修正單元)53,53a 布局分析處理部54前景層生成處理部(前景像素抽出處理部)55背景層生成處理部56圖像壓縮部61、61a平坦像素塊抽出處理部(平坦像素塊抽出單元)62背景代表色算出處理部(背景代表色算出單元)63前景像素塊抽出處理部(前景像素塊判定單元)64前景代表色算出處理部(前景代表色算出單元)71初始平坦像素塊抽出處理部72水平方向連結(jié)平坦像素塊抽出處理部73垂直方向連結(jié)平坦像素塊抽出處理部74塊庫平坦像素塊抽出處理部75向上采樣(upsampling，上采樣)處理部81水平線候補抽出處理部82垂直線候補抽出處理部83線候補結(jié)合處理部
84線分布判定處理部85線最終判定處理部91標(biāo)示處理部(前景區(qū)域抽出單元)92非字符矩形去除處理部93表內(nèi)矩形特定處理部94附近矩形間距離算出處理部(前景區(qū)域間距離方向算出單元)95字符串方向推定處理部(字符串方向推定單元)96字符串方向修正處理部97字符串區(qū)域抽出處理部(字符串區(qū)域抽出單元)98非字符串區(qū)域去除處理部101前景區(qū)域前景代表色算出處理部102字符串區(qū)域前景代表色算出處理部103前景代表色統(tǒng)一處理部104前景像素掩模抽出處理部105 二值圖像生成處理部111索引數(shù)判定處理部112色差直方圖生成處理部113索引統(tǒng)一處理部
具體實施例方式以下，基于表示其實施方式的附圖對本發(fā)明進行具體說明。另外，在本實施方式中，以數(shù)字彩色復(fù)合機(以下，稱為MFP(MultiFunCti0n Peripheral))為例進行說明。另夕卜，MFP具有彩色復(fù)印功能、彩色打印功能及彩色掃描功能等各種功能，但本發(fā)明的技術(shù)能夠應(yīng)用于進行將通過讀取彩色原稿而得到的彩色圖像壓縮的處理的情況等，例如適合于 MFP的彩色復(fù)印功能及彩色掃描功能。此外，在MFP的彩色掃描功能中包括將讀取彩色原稿而得到的彩色圖像數(shù)據(jù)壓縮并向其它裝置發(fā)送的數(shù)據(jù)發(fā)送功能和將彩色圖像數(shù)據(jù)壓縮并存儲在MFP內(nèi)部的存儲器等的保存功能等，但本發(fā)明的技術(shù)能夠應(yīng)用于進行這些功能的圖像數(shù)據(jù)的壓縮處理的情況。圖1是表示本發(fā)明的MFP的結(jié)構(gòu)的框圖。本發(fā)明的MFP包括圖像輸入裝置11、圖像輸出裝置12、信息發(fā)送裝置13、操作面板15和圖像處理裝置20等。操作面板15具有設(shè)定MFP的動作模式等的設(shè)定按鈕和數(shù)字鍵(0 9的數(shù)字鍵)、受理處理的開始指示等的開始鍵以及電源鍵和各種功能鍵等種種硬鍵。此外，操作面板15具有顯示MFP的動作狀態(tài)、 對用戶的警告信息和輔助用戶的操作的各種菜單等的顯示器。另外，也可以采用在顯示器上設(shè)置觸摸面板的結(jié)構(gòu)來代替受理用戶的操作的硬鍵。操作面板15將所受理的指示或設(shè)定等提供給圖像輸入裝置11、圖像輸出裝置12、信息發(fā)送裝置13和圖像處理裝置20，由此， 各裝置能夠進行與所受理的指示或設(shè)定等相應(yīng)的處理。圖像輸入裝置11由掃描裝置構(gòu)成，該掃描裝置具備并列設(shè)置有向原稿照射光的光源和(XD(Charge Coupled Device 電荷耦合器件)等圖像傳感器的光接收部等。圖像輸入裝置11從光源向原稿照射光，將來自原稿的反射光分解為R (紅色)G (綠色)B (藍(lán)色)三個色彩(顏色)成分，由光接收部讀取，作為RGB模擬信號提供給圖像處理裝置20。圖像處理裝置20具備A/D轉(zhuǎn)換部21、陰影(shading 黑點或斑點)修正部22、輸入灰度等級修正部23、區(qū)域分離處理部24、色彩修正部25、黑色生成底色去除部26、空間濾波處理部27、輸出灰度等級修正部28、灰度等級再現(xiàn)處理部29、壓縮處理部30和存儲部31 等。從圖像輸入裝置11輸入的RGB模擬信號由圖像處理裝置20的A/D轉(zhuǎn)換部21 灰度等級再現(xiàn)處理部29各部實施圖像處理并輸出給圖像輸出裝置12，或者由圖像處理裝置20 的A/D轉(zhuǎn)換部21 區(qū)域分離處理部24、壓縮處理部30各部實施圖像處理并輸出給信息發(fā)送裝置13。A/D轉(zhuǎn)換部21是將由圖像輸入裝置11提供的RGB模擬信號例如轉(zhuǎn)換為各8位(比特)數(shù)字的圖像數(shù)據(jù)的部件，將所轉(zhuǎn)換的RGB圖像數(shù)據(jù)提供(施加)給陰影修正部22。陰影修正部22對由A/D轉(zhuǎn)換部21提供的RGB圖像數(shù)據(jù)進行消除圖像輸入裝置11的照明系統(tǒng)、成像系統(tǒng)和攝像系統(tǒng)等中產(chǎn)生的各種變形的陰影處理，將陰影處理后的RGB圖像數(shù)據(jù)提供給輸入灰度等級修正部23。輸入灰度等級修正部23對由陰影修正部22消除變形后的RGB圖像數(shù)據(jù)(RGB的反射率信號)進行彩色平衡的調(diào)整和對比度的調(diào)整等處理，且轉(zhuǎn)換為濃度信號，并將處理后的RGB圖像數(shù)據(jù)提供給區(qū)域分離處理部24。區(qū)域分離處理部24通過對由輸入灰度等級修正部23提供的RGB圖像數(shù)據(jù)的圖像的各像素是屬于由字符構(gòu)成的字符區(qū)域、由網(wǎng)點圖像構(gòu)成的網(wǎng)點區(qū)域或由照片構(gòu)成的照相區(qū)域中的哪個區(qū)域的像素進行判定，從而分離各像素。區(qū)域分離處理部24將作為處理結(jié)果表示各像素屬于哪個區(qū)域的信息作為區(qū)域分離信號提供給黑色生成底色去除部26、空間濾波處理部27和灰度等級再現(xiàn)處理部29，并且將由輸入灰度等級修正部23提供的RGB圖像數(shù)據(jù)直接提供給色彩修正部25和壓縮處理部30。色彩修正部25將由區(qū)域分離處理部24提供的RGB圖像數(shù)據(jù)轉(zhuǎn)換為C(青色 (cyan))M(品紅色)Y(黃色)的色彩空間的圖像數(shù)據(jù)，并且為了圖像輸出裝置12的色彩再現(xiàn)的忠實實現(xiàn)而對CMY的各色彩成分進行色彩修正處理。具體而言，色彩修正處理是從CMY 的各色彩成分中消除基于分別含有無用(無效)吸收成分的CMY調(diào)色劑或墨液等的光譜特性(分光特性)的色彩渾濁的處理。色彩修正部25將所轉(zhuǎn)換的CMY圖像數(shù)據(jù)提供給黑色生成底色去除部26。黑色生成底色去除部26，根據(jù)由區(qū)域分離處理部24提供的區(qū)域分離信號和由色彩修正部25提供的CMY圖像數(shù)據(jù)的各色彩成分，進行生成K (黑色)色彩成分的黑色生成處理，并且進行從原來的CMY各色彩成分減去由黑色生成處理生成的K成分而生成新的CMY 圖像數(shù)據(jù)的處理。由此，由色彩修正部25提供的CMY圖像數(shù)據(jù)被轉(zhuǎn)換為具有CMYK四個色彩成分的圖像數(shù)據(jù)。例如，在通過骨架黑(skeleton black technique 骨架黑版技術(shù))進行黑色生成處理的情況下，當(dāng)設(shè)骨架線(skeleton curve 骨架曲線)的輸入輸出特性為y = f (χ)、 設(shè)所輸入的圖像的像素值為C、M、Y、設(shè)所輸出的像素值為C'、M'、V、K'、設(shè)UCR(Under Color Removal，底色去除)率為α (0 < α < 1)時，黑色生成底色去除處理由以下的公式表示。通過黑色生成底色去除部26的黑色生成底色去除處理而轉(zhuǎn)換得到的CMYK圖像數(shù)據(jù)被提供給空間濾波處理部27。
K' = f {min C、Μ、Y)}C' =C_aK'M' =M-α K'Y' =Υ-αΚ'空間濾波處理部27，根據(jù)由區(qū)域分離處理部M提供的區(qū)域分離信號，對于由黑色生成底色去除部26提供的CMYK圖像數(shù)據(jù)的圖像，利用數(shù)字濾波進行空間濾波處理。由此， 圖像的空間頻率特性得到修正，防止在圖像輸出裝置12輸出的圖像產(chǎn)生模糊或粒狀性劣化等。由空間濾波處理部27實施空間濾波處理后的圖像的CMYK圖像數(shù)據(jù)，在由輸出灰度等級修正部觀基于圖像輸出裝置12的輸出特性實施輸出灰度等級修正處理后，被提供給灰度等級再現(xiàn)處理部四?；叶鹊燃壴佻F(xiàn)處理部四，根據(jù)由區(qū)域分離處理部M提供的區(qū)域分離信號，對由輸出灰度等級修正部觀提供的CMYK圖像數(shù)據(jù)進行灰度等級再現(xiàn)處理?；叶鹊燃壴佻F(xiàn)處理是將圖像數(shù)據(jù)的圖像分類為多個像素而能夠再現(xiàn)中間灰度的處理，能夠使用二值或多值的抖動法(dithering technique)或誤差擴散法等。例如，在由區(qū)域分離處理部M分離為字符區(qū)域的區(qū)域，空間濾波處理部27以特別地提高黑色字符或彩色字符的再現(xiàn)性為目的實施增強清晰的濾波處理，增強高頻成分。此外，例如在由區(qū)域分離處理部M分離為網(wǎng)點區(qū)域的區(qū)域，空間濾波處理部27實施低通濾波處理，除去輸入網(wǎng)點成分。此外，例如，在由區(qū)域分離處理部M分離為照相區(qū)域的區(qū)域，灰度等級再現(xiàn)處理部四實施重視圖像輸出裝置12的灰度等級再現(xiàn)性的屏幕的二值化處理或多值化處理。被灰度等級再現(xiàn)處理部四實施處理后的CMYK圖像數(shù)據(jù)臨時存儲在未圖示的圖像存儲器等存儲單元，然后，與圖像形成的定時一致地被從存儲單元讀出并提供給圖像輸出裝置12。圖像輸出裝置12是將被提供(施加)的圖像數(shù)據(jù)的圖像輸出至紙等記錄介質(zhì)上的裝置，是電子照相方式或噴墨方式等的打印機。例如，在電子照相方式的情況下，圖像輸出裝置12具備使感光鼓(感光體鼓)帶電至規(guī)定的電位的帶電器；根據(jù)被提供的圖像信號發(fā)出激光，在感光鼓表面生成靜電潛影的激光寫入器；對在感光鼓表面生成的靜電潛影供給調(diào)色劑而顯像化的顯影器及將形成于感光鼓表面的調(diào)色劑像轉(zhuǎn)印在紙上的轉(zhuǎn)印器等。 另外，圖像輸出裝置12也可以是顯示器等顯示裝置。圖像處理裝置20的壓縮處理部30對由區(qū)域分離處理部M提供的RGB圖像數(shù)據(jù)進行降低數(shù)據(jù)量的壓縮處理，將壓縮后的圖像數(shù)據(jù)存儲至存儲部31。存儲部31由硬盤或閃存存儲器等大容量的存儲元件構(gòu)成，存儲在存儲部31的圖像數(shù)據(jù)被提供給信息發(fā)送裝置13。信息發(fā)送裝置13具有網(wǎng)卡或調(diào)制解調(diào)器等一個或多個通信用硬件，通過這些通信單元，向其它裝置進行圖像數(shù)據(jù)的發(fā)送。例如，在MFP的動作模式通過操作面板15被設(shè)定為電子郵件發(fā)送的情況下，信息發(fā)送裝置13將存儲在存儲部31的圖像數(shù)據(jù)添加到電子郵件發(fā)送給預(yù)先設(shè)定的收件人。此外，例如，在進行傳真通信的情況下，信息發(fā)送裝置13在利用調(diào)制解調(diào)器進行與指定的對象(對方)的信息發(fā)送手續(xù)、確保能夠進行信息發(fā)送的狀態(tài)之后，將由圖像輸入裝置11讀取并以規(guī)定的形式壓縮后的圖像數(shù)據(jù)從存儲部31讀出，實施壓縮形式的變更等傳真通信所需的處理，然后經(jīng)由通信線路依次發(fā)送給對象。此外，雖然省略圖示，但是信息發(fā)送裝置13也可以具有作為信息接收裝置的功能，該信息接收裝置從其它裝置接收通過傳真通信發(fā)送的圖像數(shù)據(jù)。在這種情況下，信息發(fā)送裝置13進行通信手續(xù)，并且接收由對象發(fā)送的圖像數(shù)據(jù)，提供給圖像處理裝置20。圖像處理裝置20對接收到的圖像數(shù)據(jù)實施擴展處理，并根據(jù)需要對擴展后的圖像數(shù)據(jù)實施旋轉(zhuǎn)處理或清晰度轉(zhuǎn)換處理等圖像處理，實施由輸出灰度等級修正部觀進行的灰度等級修正處理和由灰度等級再現(xiàn)處理部四進行的灰度等級再現(xiàn)處理，并向圖像輸出裝置12輸出。 由此，形成并輸出由信息發(fā)送裝置13通過傳真通信接收到的圖像數(shù)據(jù)的圖像。此外，信息發(fā)送裝置13能夠通過網(wǎng)卡和網(wǎng)線等，在與和LAN(Local Area Network 局域網(wǎng))等網(wǎng)絡(luò)連接的其它計算機或MFP等具有通信功能的裝置之間進行數(shù)據(jù)通信。由此， MFP能夠?qū)⒂蓤D像輸入裝置11讀取的圖像數(shù)據(jù)提供給其它裝置保存，能夠?qū)⒂善渌b置提供的圖像數(shù)據(jù)從圖像輸出裝置12輸出。另外，上述的圖像形成處理和圖像發(fā)送處理等各種處理，通過由裝載在MFP的未圖示的CPU (Central Processing Unit :中央處理器)控制各部來進行。壓縮處理部30將由圖像輸入裝置11提供并由A/D轉(zhuǎn)換部21 區(qū)域分離處理部 24實施種種圖像處理后的輸入圖像數(shù)據(jù)分離為包括字符及線條畫等的前景層；和由字符及線條畫以外的圖像構(gòu)成的背景層。壓縮處理部30對從輸入圖像數(shù)據(jù)分離而得到的前景層，先將其像素色索引化，最終利用JBIG、MMR或LZW等可逆壓縮技術(shù)進行壓縮處理。此外， 壓縮處理部30利用JPEG等不可逆(非可逆)壓縮技術(shù)對背景層進行壓縮處理。此外，壓縮處理部30將前景層的各像素分解為轉(zhuǎn)換成1位數(shù)據(jù)的多個掩模和各掩模的色彩信息，并利用可逆壓縮技術(shù)對各掩模進行壓縮，利用可逆壓縮技術(shù)或不可逆壓縮技術(shù)對各掩模的色彩信息進行壓縮。由此，與將具有多位像素值的前景層直接壓縮的情況相比，能夠提高壓縮率。圖2是表示圖像處理裝置20的壓縮處理部30的結(jié)構(gòu)的框圖。壓縮處理部30包括色彩轉(zhuǎn)換(即顏色轉(zhuǎn)換)處理部50、前景抽出處理部51、線檢測處理部52、布局分析處理部53、前景層生成處理部M、背景層生成處理部55和圖像壓縮部56等。色彩轉(zhuǎn)換處理部50將輸入到壓縮處理部30的RGB圖像數(shù)據(jù)(輸入圖像)轉(zhuǎn)換為 YCbCr圖像數(shù)據(jù)輸出。色彩轉(zhuǎn)換處理部50例如能夠通過使用下述的矩陣運算式，進行圖像數(shù)據(jù)的色彩空間的轉(zhuǎn)換。另外，壓縮處理部30也可以不進行色彩轉(zhuǎn)換處理部50的轉(zhuǎn)換，而使用RGB圖像數(shù)據(jù)進行后級的處理，此外，例如也可以轉(zhuǎn)換為L * a * b *的色彩空間的圖像數(shù)據(jù)，進行后級的處理。數(shù)學(xué)式1
‘‘ 0.29891 0.58661 0.11448 YR) O、Cb 二 —(U6874 -0.33126 0.50000 G + 128 VC>J 、0.50000 一(141869 ^0.08i3lJ[ilJ前景抽出處理部51將由色彩轉(zhuǎn)換處理部50提供的圖像數(shù)據(jù)分割為多個像素塊， 以像素塊單位(即，以像素塊為單位)抽出輸入圖像數(shù)據(jù)的背景的代表色(像素塊背景代表色)，并將所抽出的像素塊背景代表色與輸入圖像數(shù)據(jù)進行比較，由此，生成表示輸入圖像數(shù)據(jù)的各像素塊是否為相當(dāng)于前景的像素塊(前景像素塊)的掩模信息(前景像素塊掩模)，并且計算出各像素塊的前景的代表色(像素塊前景代表色)。前景抽出處理部51生成及計算出的前景像素塊掩模、像素塊前景代表色和像素塊背景代表色被提供給線檢測處理部52和背景層生成處理部55。(詳細(xì)情況參照后述的(1)前景抽出處理部51。)線檢測處理部52基于前景抽出處理部51輸出的前景像素塊掩模，對輸入圖像數(shù)據(jù)所包含的形成水平線、垂直線或表等的線進行檢測，將檢測結(jié)果作為線信息輸出給布局分析處理部53。此外，線檢測處理部52基于線的檢測結(jié)果，進行從前景像素塊掩模除去線部分的修正，并將修正后的前景像素塊掩模輸出。(詳細(xì)情況參照后述的(2)線檢測處理部 52。)布局分析處理部53基于前景抽出處理部51輸出的前景像素塊掩模和線檢測處理部52輸出的線信息，生成輸入圖像數(shù)據(jù)所包含的字符串區(qū)域的信息(字符串區(qū)域信息)，并輸出給前景層生成處理部M。(詳細(xì)情況參照后述的( 布局分析處理部53。)前景層生成處理部M使用輸入圖像數(shù)據(jù)、前景抽出處理部51輸出的像素塊背景代表色和像素塊前景代表色、由線檢測處理部52修正后的前景像素塊掩模、以及布局分析處理部53輸出的字符串區(qū)域信息，生成表示輸入圖像數(shù)據(jù)的各像素是否為前景像素的前景像素掩模、以及將前景像素的色彩索引化而得到的前景所引色信息，基于所生成的前景像素掩模和前景所引色信息，制作與各前景所引色對應(yīng)的二值圖像(前景層)和存儲該前景所引色的信息的圖表。(詳細(xì)情況參照后述的(4)前景層生成處理部M。)背景層生成處理部55是用于生成從輸入圖像數(shù)據(jù)除去前景像素而得到的背景層的處理部，進行如下的處理使用不是前景像素的、周邊的背景像素，填補輸入圖像數(shù)據(jù)的前景像素的部分。詳細(xì)而言，背景層生成處理部55通過參照前景層生成處理部M輸出的前景層，搜索輸入圖像數(shù)據(jù)的相當(dāng)于前景像素的部分，使用該存在于周邊的背景像素的像素值(或背景像素的平均值等)對相當(dāng)于前景像素的部分進行填補處理，由此生成背景層。 此時，背景層生成處理部55在前景像素部分的附近不存在背景像素的情況下，也可以借用 (挪用)附近的用于填補處理的像素值進行填補處理。或者，也可以使用前景抽出處理部 51輸出的像素塊前景代表色進行填補處理(在這種情況下，也可以采用如下結(jié)構(gòu)僅在前景抽出處理部51輸出的像素塊前景代表色與周邊的背景像素的像素值之間的差小時，使用像素塊前景代表色進行填補處理)。通過背景層生成處理部55進行相當(dāng)于前景像素的部分的填補處理，能夠提高背景層的壓縮率。(詳細(xì)情況參照后述的( 背景層生成處理部 55。)圖像壓縮部56對前景層生成處理部M生成的前景層和背景層生成處理部55生成的背景層分別實施適當(dāng)?shù)膲嚎s處理，由此進行降低圖像數(shù)據(jù)的數(shù)據(jù)量的處理。圖像壓縮部56例如利用可逆壓縮方式的MMR對前景層進行壓縮，例如利用不可逆壓縮方式的JPEG 對背景層進行壓縮。另外，MMR和JPEG等壓縮方式是已知的技術(shù)，因此省略詳細(xì)的說明。此夕卜，圖像壓縮部56除了進行前景層和背景層的壓縮之外，還進行存儲有前景索引色的信息的表的壓縮。如上所述，壓縮處理部30將圖像壓縮部56分別對前景層和背景層進行壓縮后的圖像數(shù)據(jù)輸出。由壓縮處理部30壓縮后的圖像數(shù)據(jù)存儲在圖像處理裝置20的存儲部31， 由信息發(fā)送裝置13通過電子郵件或傳真通信等方法發(fā)送到其它裝置。接著，對壓縮處理部30的各部進行的處理的詳細(xì)情況進行說明。(1)前景抽出處理部51
圖3是表示前景抽出處理部51的結(jié)構(gòu)的框圖。圖4是表示平坦像素塊抽出處理部61的結(jié)構(gòu)的框圖。前景抽出處理部51進行從輸入圖像數(shù)據(jù)生成前景像素塊掩模的圖像處理以及計算像素塊前景代表色和像素塊背景代表色的圖像處理。為了進行該處理，前景抽出處理部51具備平坦像素塊抽出處理部61、背景代表色算出處理部62、前景像素塊抽出處理部63和前景代表色算出處理部64。前景抽出處理部51的平坦像素塊抽出處理部61，將輸入圖像數(shù)據(jù)分割為規(guī)定尺寸的像素塊(圖像區(qū)域)，從圖像數(shù)據(jù)中的多個像素塊中，將像素塊所包含的像素間的像素值之差小于規(guī)定值的像素塊分類為平坦像素塊(平坦區(qū)域)，并且將平坦像素塊以外的像素塊分類為前景像素塊(變化區(qū)域)，由此進行抽出前景像素塊的處理。為了進行該處理， 平坦像素塊抽出處理部61具備初始平坦像素塊抽出處理部71、水平方向連結(jié)平坦像素塊抽出處理部72、垂直方向連結(jié)平坦像素塊抽出處理部73、塊庫(block base)平坦像素塊抽出處理部74和向上采樣處理部75。初始平坦像素塊抽出處理部71進行如下的處理調(diào)查像素塊內(nèi)的各像素的像素值，計算最大像素值與最小像素值之間的差(值)，將該差小于規(guī)定值的像素塊作為平坦像素塊的候補(以下，稱為平坦像素塊候補)抽出。初始平坦像素塊抽出處理部71將所抽出的平坦像素塊候補依次提供給水平方向連結(jié)平坦像素塊抽出處理部72 塊庫平坦像素塊抽出處理部74。水平方向連結(jié)平坦像素塊抽出處理部72檢索在輸入圖像數(shù)據(jù)的水平方向接近 (連續(xù))的多個平坦像素塊候補，計算多個平坦像素塊候補的接近數(shù)，在計算出的接近數(shù)超過規(guī)定值的情況下，將這些接近的多個平坦像素塊候補判定為是平坦像素塊。同樣，垂直方向連結(jié)平坦像素塊抽出處理部73檢索在輸入圖像數(shù)據(jù)的垂直方向接近的多個平坦像素塊候補，計算多個平坦像素塊候補的接近數(shù)，在計算出的接近數(shù)超過規(guī)定值的情況下，將這些接近的多個平坦像素塊候補判定為是平坦像素塊。塊庫平坦像素塊抽出處理部74，針對輸入圖像數(shù)據(jù)的各像素塊，調(diào)查其周圍的像素塊是否為平坦像素塊或平坦像素塊候補，將周圍存在規(guī)定數(shù)以上的平坦像素塊或平坦像素塊候補的像素塊判定為是平坦像素塊。其中，平坦像素塊抽出處理部61首先進行由初始平坦像素塊抽出處理部71進行的平坦像素塊候補的抽出處理，然后重復(fù)進行由水平方向連結(jié)平坦像素塊抽出處理部72、 垂直方向連結(jié)平坦像素塊抽出處理部73和塊庫平坦像素塊抽出處理部74進行的平坦像素塊的抽出處理。例如，平坦像素塊抽出處理部61將輸入圖像數(shù)據(jù)分割為尺寸為16像素X16像素的像素塊(以下，簡稱為16X 16像素塊)，由初始平坦像素塊抽出處理部71判定各16X 16 像素塊是否為平坦像素塊候補，然后，分別由水平方向連結(jié)平坦像素塊抽出處理部72、垂直方向連結(jié)平坦像素塊抽出處理部73和塊庫平坦像素塊抽出處理部74判定平坦像素塊候補是否為平坦像素塊。然后，平坦像素塊抽出處理部61，由向上采樣處理部75將判定為是平坦像素塊的 16X16像素塊進一步分割為尺寸更小的像素塊，例如分割為8像素X8像素的像素塊(以下，簡稱為8X8像素塊)，分別由水平方向連結(jié)平坦像素塊抽出處理部72、垂直方向連結(jié)平坦像素塊抽出處理部73和塊庫平坦像素塊抽出處理部74判定各8X8像素塊是否為平坦
15像素塊。這樣，平坦像素塊抽出處理部61重復(fù)進行輸入圖像數(shù)據(jù)的分割和平坦像素塊的抽出處理至像素塊的尺寸達(dá)到預(yù)定的規(guī)定尺寸(例如4像素X4像素的像素塊)為止，最終將在各判定處理中即使僅一次判定為是平坦像素塊的像素塊分類為平坦像素塊，將其以外的像素塊分類為前景像素塊。圖5A-5F是用于說明初始平坦像素塊抽出處理部71進行的處理的示意圖，表示將輸入圖像數(shù)據(jù)分割為16X16像素塊，且判定各16X16像素塊是否為平坦像素塊候補的例子。初始平坦像素塊抽出處理部71例如在圖5A所示那樣將輸入圖像數(shù)據(jù)中的一個16X 16 像素塊作為處理對象的情況下，使用圖5B 圖5F所示的多個圖案設(shè)定32像素X 32像素的判定區(qū)域，基于各判定區(qū)域是否平坦來判定處理對象16X16像素塊是否為平坦像素塊候補。此時，初始平坦像素塊抽出處理部71能夠根據(jù)各判定區(qū)域內(nèi)的最大像素值和最小像素值的差是否為規(guī)定值(例如32)以下，判定32像素X32像素的各判定區(qū)域是否平坦。 初始平坦像素塊抽出處理部71在判定為所有圖案的判定區(qū)域平坦的情況下，將處理對象 16X16像素塊判定為是平坦像素塊候補。初始平坦像素塊抽出處理部71對輸入圖像數(shù)據(jù)的所有16X16像素塊進行同樣的處理，抽出輸入圖像數(shù)據(jù)中的所有平坦像素塊候補。圖6A和6B是用于說明水平方向連結(jié)平坦像素塊抽出處理部72進行的處理的示意圖。水平方向連結(jié)平坦像素塊抽出處理部72在輸入圖像數(shù)據(jù)的水平方向?qū)ζ教瓜袼貕K候補連續(xù)的數(shù)量進行計數(shù)(統(tǒng)計)(參照圖6A)，在平坦像素塊候補的連續(xù)數(shù)為規(guī)定數(shù)以上的情況下，判定為這些連續(xù)的多個平坦像素塊候補是平坦像素塊。其中，水平方向連結(jié)平坦像素塊抽出處理部72在對水平方向上的平坦像素塊候補的連續(xù)數(shù)進行計數(shù)時，允許平坦像素塊在規(guī)定范圍內(nèi)的中斷。水平方向連結(jié)平坦像素塊抽出處理部72沿水平方向依次對平坦像素塊候補的連續(xù)數(shù)進行計數(shù)，即使在發(fā)現(xiàn)不是平坦像素塊候補的像素塊的情況下，在不是平坦像素塊候補的像素塊的連續(xù)數(shù)(即，平坦像素塊候補的中斷數(shù))比在此時的平坦像素塊候補的連續(xù)數(shù)乘以規(guī)定數(shù)(例如0. 而得的值少(小)時，也看作平坦像素塊候補在水平方向連續(xù)，繼續(xù)進行計數(shù)。例如，如圖6B所示，在水平方向連結(jié)平坦像素塊抽出處理部72在水平方向上連續(xù)有五個平坦像素塊候補之后發(fā)現(xiàn)不是平坦像素塊候補的像素塊(帶陰影的塊)的情況下， 此時的連續(xù)數(shù)為5，在連續(xù)數(shù)乘以作為規(guī)定數(shù)的0. 3而得的值為1. 5，因此不是平坦像素塊候補的像素塊的連續(xù)數(shù)少于該值。因而，水平方向連結(jié)平坦像素塊抽出處理部72允許如圖所示的平坦像素塊候補的中斷，繼續(xù)進行向水平方向連續(xù)的連續(xù)數(shù)的統(tǒng)計。由此，例如，即使是在圖像中畫有表等、平坦的圖像區(qū)域在構(gòu)成表的框等的線段出現(xiàn)中斷那樣的情況下， 也能夠?qū)⑦@些區(qū)域作為平坦的區(qū)域來處理，能夠進行精度良好的平坦像素塊的抽出。圖7A和7B是用于說明垂直方向連結(jié)平坦像素塊抽出處理部73進行的處理的示意圖。垂直方向連結(jié)平坦像素塊抽出處理部73在輸入圖像數(shù)據(jù)的垂直方向?qū)ζ教瓜袼貕K候補連續(xù)的數(shù)進行計數(shù)(參照圖7A)，在平坦像素塊候補的連續(xù)數(shù)為規(guī)定數(shù)以上的情況下， 判定為這些連續(xù)的多個平坦像素塊候補是平坦像素塊。其中，垂直方向連結(jié)平坦像素塊抽出處理部73在對垂直方向上的平坦像素塊候補的連續(xù)數(shù)進行計數(shù)時，允許平坦像素塊在規(guī)定范圍內(nèi)的中斷。垂直方向連結(jié)平坦像素塊抽出處理部73沿垂直方向依次對平坦像素塊候補的連續(xù)數(shù)進行計數(shù)，即使發(fā)現(xiàn)不是平坦像素塊候補的像素塊的情況下，在不是平坦像素塊候補的像素塊的連續(xù)數(shù)(即，平坦像素塊候補的中斷數(shù))比在該時刻的平坦像素塊候補的連續(xù)數(shù)乘以規(guī)定數(shù)(例如0. 而得的值少時，也看作平坦像素塊候補在垂直方向上連續(xù)，繼續(xù)進行統(tǒng)計。例如，如圖7B所示，在垂直方向連結(jié)平坦像素塊抽出處理部73在垂直方向上連續(xù)有五個平坦像素塊候補之后發(fā)現(xiàn)不是平坦像素塊候補的像素塊(帶陰影的塊)的情況下， 由于該時刻的連續(xù)數(shù)為5，在連續(xù)數(shù)乘以作為規(guī)定數(shù)的0. 3而得的值為1. 5，因此不是平坦像素塊候補的像素塊的連續(xù)數(shù)少于該值。因而，垂直方向連結(jié)平坦像素塊抽出處理部73允許如圖所示的平坦像素塊候補的中斷，繼續(xù)進行向垂直方向連續(xù)的連續(xù)數(shù)的統(tǒng)計。由此，例如，即使是在圖像中畫有表等、平坦的圖像區(qū)域在構(gòu)成表的框等的線段出現(xiàn)中斷那樣的情況下，也能夠?qū)⑦@些區(qū)域作為平坦的區(qū)域來處理，能夠進行精度良好的平坦像素塊的抽出。圖8是用于說明塊庫平坦像素塊抽出處理部74進行的處理的示意圖。塊庫平坦像素塊抽出處理部74令作為平坦像素塊候補抽出的像素塊為關(guān)注像素塊(圖8中帶陰影的塊)，計算關(guān)注像素塊的像素值的平均值(像素平均值)，并且對存在于關(guān)注像素塊的周圍8方向(參照圖8的箭頭)的像素塊分別計算各像素塊像素平均值?；谶@些計算的計算結(jié)果，塊庫平坦像素塊抽出處理部74選擇具有最接近關(guān)注像素塊的像素平均值的像素平均值的像素塊，判定像素平均值的差是否小于規(guī)定值。在關(guān)注像素塊與周圍的像素塊之間的像素值平均值之差小于規(guī)定值的情況下，能夠判斷為兩像素塊是屬于局部的(也可以為全局的)同一背景的像素塊，因此塊庫平坦像素塊抽出處理部74將屬于同一背景的像素塊形成為組。塊庫平坦像素塊抽出處理部74對于對輸入圖像數(shù)據(jù)所包含的所有平坦像素塊候補進行同樣的處理而得到的一個或多個組，判定屬于各組的像素塊的數(shù)量是否超過規(guī)定數(shù)，將屬于超過規(guī)定數(shù)的組的像素塊作為平坦像素塊抽出。圖9是用于說明向上采樣處理部75進行的處理的示意圖。向上采樣處理部75對水平方向連結(jié)平坦像素塊抽出處理部72 塊庫平坦像素塊抽出處理部74的處理結(jié)束后的輸入圖像數(shù)據(jù)進行變更像素塊的分割尺寸的處理。例如，如圖9所示，在輸入圖像數(shù)據(jù)被分割為8X8像素塊的情況下，向上采樣處理部75將一個8X8像素塊分割為四個4X4像素塊。向上采樣處理部75將變更分割尺寸后的輸入圖像數(shù)據(jù)提供給水平方向連結(jié)平坦像素塊抽出處理部72，水平方向連結(jié)平坦像素塊抽出處理部72 塊庫平坦像素塊抽出處理部 74對變更分割尺寸后的輸入圖像數(shù)據(jù)重復(fù)進行同樣的處理。這樣，通過變更像素塊的尺寸并重復(fù)進行平坦像素塊的抽出，能夠提高平坦像素塊的抽出精度。平坦像素塊抽出處理部61從輸入圖像數(shù)據(jù)抽出平坦像素塊的抽出結(jié)果被提供給背景代表色算出處理部62、前景像素塊抽出處理部63和前景代表色算出處理部64。背景代表色算出處理部62按平坦像素塊抽出處理部61抽出的每個平坦像素塊計算平均像素值，將計算出的每個像素塊的平均像素值作為像素塊背景代表色輸出。前景像素塊抽出處理部63對將輸入圖像數(shù)據(jù)分割為規(guī)定尺寸而得到的像素塊的像素值與背景代表色算出處理部62計算出的像素塊背景代表色(各平坦像素塊的平均像素值)進行比較，在兩值的差大于規(guī)定值的情況下，將該像素塊作為前景像素塊抽出。作為前景像素塊抽出的像素塊的尺寸，根據(jù)輸入數(shù)據(jù)的清晰度等預(yù)先設(shè)定為能夠抽出前景像素的大小，例如，在輸入圖像數(shù)據(jù)的清晰度為300dpi的情況下，能夠?qū)⑾袼貕K的尺寸設(shè)定為2 像素X 2像素。圖10A-10D是用于說明前景像素塊抽出處理部63進行的處理的示意圖。另外，本圖表示如下的例子平坦像素塊抽出處理部61以4X4像素塊單位進行平坦像素塊的抽出， 背景代表色算出處理部62進行4X4像素塊單位的像素塊背景代表色的計算，前景像素塊抽出處理部63進行2像素X 2像素的像素塊(以下，稱為2X2像素塊)單位的前景像素塊的抽出。如圖IOA D所示，平坦像素塊和像素塊背景代表色的4X4像素塊(圖10A-10D 中以細(xì)實線劃分的區(qū)域)與前景像素塊的2X2像素塊(圖10A-10D中帶陰影的區(qū)域)之間的對應(yīng)關(guān)系為四種。即，2X2像素塊對應(yīng)于4X4像素塊的左上、右上、左下或右下中的任一位置。前景像素塊抽出處理部63根據(jù)處理對象2X2像素塊的位置，針對周圍的四個 4X4像素塊(圖10A-10D中以粗實線圍成的區(qū)域)分別取得像素塊背景代表色，判定2X2 像素塊的像素值(既可以分別個別地使用四個像素值，也可以使用四個像素值的平均值) 與四個像素塊背景代表色之間的各個差是否大于規(guī)定值(例如80)。在判定的結(jié)果是2X2 像素塊的像素值與四個像素塊背景代表色之間的差全部大于規(guī)定值的情況下，前景像素塊抽出處理部63將該2X2像素塊判定為是前景像素塊。前景像素塊抽出處理部63對輸入圖像數(shù)據(jù)的所有2X2像素塊進行上述的處理， 從輸入圖像數(shù)據(jù)中抽出前景像素塊，將所抽出的前景像素塊作為前景像素塊掩模輸出。通過使用上述的方法進行前景像素塊的抽出，能夠避免將平坦像素塊的邊界作為前景像素塊來檢測。前景代表色算出處理部64對將輸入圖像數(shù)據(jù)分割為規(guī)定尺寸而得到的像素塊的像素值與背景代表色算出處理部62計算出的像素塊背景代表色進行比較，將兩值的差為最大的像素值作為該像素塊的前景代表色來計算。例如在像素塊背景代表色是按每4X4 像素塊計算出的背景代表色的情況下，前景代表色算出處理部64分別計算輸入圖像數(shù)據(jù)的4X4像素塊所包含的各像素的像素值與該4X4像素塊的像素塊背景代表色之間的差， 判定各個差是否大于規(guī)定值(例如96)，從差大于規(guī)定值的像素的像素值取得差為最大的像素值，將該像素值作為像素塊前景代表色輸出。由此，前景代表色算出處理部64能夠通過簡易的運算處理，進行像素塊前景代表色的計算。通過以上的處理，前景抽出處理部51能夠進行前景像素塊掩模、像素塊前景代表色和像素塊背景代表色的生成或計算，并將它們輸出到線檢測處理部52和背景層生成處理部55。(2)線檢測處理部52圖11是表示線檢測處理部52的結(jié)構(gòu)的框圖。線檢測處理部52使用由前景抽出處理部51生成的前景像素塊掩模，進行輸入圖像中的水平線、垂直線和形成表等的線的檢測處理。為了進行該處理，線檢測處理部52具備水平線候補抽出處理部81、垂直線候補抽出處理部82、線候補結(jié)合處理部83、線分布判定處理部84及線最終判定處理部85。圖12是用于說明水平線候補抽出處理部81進行的處理的示意圖。此外，在圖12 的上部，作為前景像素塊掩模的一個例子，圖示有表示輸入圖像數(shù)據(jù)的前景像素塊的以實線圍成的區(qū)域。水平線候補抽出處理部81基于前景像素塊掩模找出在水平方向上連續(xù)規(guī)定數(shù)以上的多個前景像素塊，令連續(xù)的一組前景像素塊為水平線候補，進行對一個水平線候補附加一個標(biāo)記的處理。在圖12的下部表示如下的例子相對于上部的例子，水平線候補抽出處理部81抽出兩個水平線候補(帶陰影的兩個區(qū)域)，并分別附加標(biāo)記。
雖然省略圖示，但是垂直線候補抽出處理部82對輸入圖像數(shù)據(jù)的垂直方向進行與水平線候補抽出處理部81進行的上述的處理相同的處理。即，垂直線候補抽出處理部82 基于前景像素塊掩模找出在垂直方向上連續(xù)規(guī)定數(shù)以上的多個前景像素塊，令連續(xù)的一組前景像素塊為垂直線候補，進行對一個垂直線候補附加一個標(biāo)記的處理。圖13是用于說明線候補結(jié)合處理部83進行的處理的示意圖。另外，在圖13的上部，作為水平線候補抽出處理部81的處理結(jié)果圖示有分別對兩個水平線候補加有標(biāo)記的例子(即，與圖12的下部相同的例子)。線候補結(jié)合處理部83，針對所抽出的水平線候補和垂直線候補，找出存在于輸入圖像數(shù)據(jù)的水平方向或垂直方向的同一線上且相互接近的多個線候補，令這多個線候補為一個線候補，將附加在各線候補的標(biāo)記統(tǒng)一為一個標(biāo)記，由此將線候補結(jié)合。圖13的上部所示的兩個水平線候補存在于水平方向的同一線上且相互接近，因此如圖13的下部所示，能夠統(tǒng)一標(biāo)記，將水平線候補結(jié)合。圖14是用于說明線分布判定處理部84進行的處理的示意圖，作為線候補結(jié)合處理部83的處理結(jié)果，將圖13的下部所示的一個線候補放大表示。線分布判定處理部84 取得線候補結(jié)合處理部83的結(jié)合處理結(jié)束的線信息，抽出附加有標(biāo)記的各線候補的寬度 (width)(如果是水平方向的線候補，則為垂直方向的像素數(shù)，如果是垂直方向的線候補，則為水平方向的像素數(shù))的分布，基于抽出結(jié)果，進行各線候補是否為線的判定。線分布判定處理部84對線候補進行所抽出的寬度分布的調(diào)查，例如，對于具有極寬的部分的線候補， 判斷為不是線，將該線候補排除在外。這樣，線分布判定處理部84基于線候補的寬度分布， 進行將能夠判斷為不是線的線候補排除在外的處理。圖15是用于說明線最終判定處理部85進行的處理的示意圖。線最終判定處理部 85判定所抽出的水平方向的線候補和垂直方向的線候補是否連接，在相互連接的多個線候補的數(shù)量超過規(guī)定數(shù)的情況下，將這多個線候補識別為形成圖像中的表(表格)的線，將它們以外的線候補識別為水平方向或垂直方向的單獨的線。此外，線最終判定處理部85通過調(diào)查各線候補的線長是否超過規(guī)定長，進行形成表的線或單獨線的識別。在圖15中，分別以實線表示識別為水平單獨線、垂直單獨線及形成表的線的線，對在進行是否為形成表的線的判定時使用的線候補的連接點，以圓圈該連接點表示。這樣，通過進行單獨線和形成表的線的識別，能夠在后級的處理中實施與圖像數(shù)據(jù)的內(nèi)容相應(yīng)的適當(dāng)?shù)膱D像處理。接著，根據(jù)流程圖或數(shù)學(xué)式等對線檢測處理部52的各處理部進行的處理的詳細(xì)順序進行說明。圖16是表示水平線候補抽出處理部81進行的處理的順序的流程圖。此外，在本處理中，使用變量X和y，這些變量表示圖像數(shù)據(jù)中的像素塊的水平方向和垂直方向的位置 (坐標(biāo))，設(shè)圖像的左上的點為(x，y) = (0，0)，x的值在圖像的水平向右的方向增加，y的值沿圖像的垂直向下的方向增加。此外，在本處理中，為了存儲水平方向的坐標(biāo)χ的值，使用變量minX和maxX。水平線候補抽出處理部81首先將變量y的值設(shè)定為0 (步驟Si)，將變量χ的值設(shè)定為0(步驟S2)。接著，水平線候補抽出處理部81判定位于(x，y)的像素塊是否為能夠成為水平方向的線的起點的線候補(步驟S3)，在判定為能夠成為線的的起點的情況下(S3 :YES)，進行起點設(shè)定處理(步驟S4)。在起點設(shè)定處理中，水平線候補抽出處理部81將現(xiàn)在時刻的變量χ的值(即，水平方向線的起點坐標(biāo))設(shè)定為變量minX。
起點設(shè)定處理minX = χ。此外，水平線候補抽出處理部81在判定(x，y)的像素塊不能成為線的起點的情況下(S3 :N0)，判定(x，y)的像素塊是否為能夠成為線的連續(xù)部分的線候補(即，之前相鄰的像素塊是線候補，(x，y)的像素塊是不是與該線候補連續(xù)的線候補？)(步驟S5)。在判定為能夠成為線的連續(xù)部分的情況下(S5 ，水平線候補抽出處理部81進行終點更新處理(步驟S6)。在終點更新處理中，水平線候補抽出處理部81將現(xiàn)在時刻的χ的值(即，現(xiàn)在時刻的水平方向線的終點坐標(biāo))設(shè)定為變量maxX。終點更新處理maxX = χ。此外，水平線候補抽出處理部81在判定(X，y)的像素塊不能成為線的連續(xù)部分的情況下(S5 =NO)，判定從變量minX和maxX的差計算的線長是否為規(guī)定值TH_MIN_ RUNLENGTH(例如50)以上(步驟S7)。由步驟S7進行的線長判定由下式表示。線長判定(maxX-minX+1)彡TH_MIN_RUNLENGTH。在線長為規(guī)定值以上的情況下(S7 :YES)，水平線候補抽出處理部81將從起點 minX至終點maxX的多個像素塊作為線候補抽出，進行線信息更新處理(步驟S8)。線信息更新處理是對所抽出的線候補附加標(biāo)記并且更新已經(jīng)附加的標(biāo)記的處理。水平線候補抽出處理部81找出位于所抽出的線候補的正上方的其它線候補，參照附加在這些其它線候補的標(biāo)記對新抽出的線候補附加標(biāo)記。此時，水平線候補抽出處理部81在存在一部分或所有的χ坐標(biāo)與從起點minX至終點maxX的坐標(biāo)重合的正上方的線候補的情況下，將新抽出的線候補統(tǒng)一至正上方的線候補。圖17是用于說明水平線候補抽出處理部81對線候補附加標(biāo)記的情況的示意圖。 水平線候補抽出處理部81在對新抽出的線候補附加標(biāo)記的情況下，首先，作為與新的線候補重合的正上方線候補，找出附加有標(biāo)記2的線候補，對新抽出的線候補附加標(biāo)記2。接著， 水平線候補抽出處理部81作為與新的線候補重合的正上方線候補找出附加有標(biāo)記1的線候補。此時，由于已經(jīng)對標(biāo)記附加對象的線候補附加有標(biāo)記2，因此水平線候補抽出處理部 81將標(biāo)記1和標(biāo)記2統(tǒng)一。在標(biāo)記的統(tǒng)一中，使值小的標(biāo)記優(yōu)先，通過將附加有標(biāo)記2的線候補變更為標(biāo)記1來進行，由此能夠保持標(biāo)記的值與副掃描坐標(biāo)的相關(guān)。此外，在不存在重合在新抽出的線候補的正上方的其它線候補的情況下，水平線候補抽出處理部81對該線候補附加新的標(biāo)記。在步驟S4、S6或S8的處理結(jié)束后，或在步驟S7中線長小于規(guī)定值的情況下(S7 NO)，水平線候補抽出處理部81判定現(xiàn)在時刻的變量χ的值是否達(dá)到最大值(水平方向的像素塊數(shù))(步驟S9)。在變量χ未達(dá)到最大值的情況下(S9 :N0)，水平線候補抽出處理部 81在變量χ的值上加1 (步驟S10)，將處理返回到步驟S3，進行對水平方向的下一像素塊的處理。在變量χ達(dá)到最大值的情況下(S9 ，水平線候補抽出處理部81判定變量y的值是否達(dá)到最大值(垂直方向的像素塊數(shù))(步驟Sll)。在變量y未達(dá)到最大值的情況下 (Sll :N0)，水平線候補抽出處理部81在變量y的值上加1 (步驟S12)，將處理返回到步驟 S2，進行對圖像數(shù)據(jù)的下一級(下一段)開頭的像素塊的處理。在變量y達(dá)到最大值的情況下(Sll ，水平線候補抽出處理部81結(jié)束對圖像數(shù)據(jù)的全部的像素塊的處理，由此結(jié)束標(biāo)記附加的處理。通過以上的處理，水平線候補抽出處理部81能夠進行水平方向的線候補的抽出
20和對所抽出的線候補的標(biāo)記附加，將包含關(guān)于所抽出的線候補和附加在該線候補的標(biāo)記的信息的線信息輸出。另外，垂直線候補抽出處理部82，通過代替水平方向、在垂直方向進行上述的水平線候補抽出處理部81進行的處理，能夠進行垂直方向的線方向的抽出和標(biāo)記附加。線候補結(jié)合處理部83，對于水平線候補抽出處理部81和垂直線候補抽出處理部 82抽出的線候補，將在線方向重合且相互接近的多個線候補結(jié)合(將標(biāo)記統(tǒng)一)。線候補結(jié)合處理部83例如為了判定是否將第一線候補與第二線候補結(jié)合，使用下述的兩個判定條件。另外，在下述的判定條件中，minX為χ方向的最小坐標(biāo)，maxX為χ方向的最大坐標(biāo)， minY為y方向的最小坐標(biāo)，maxY為y方向的最大坐標(biāo)，TH_LINEGAP為接近判定用的閾值 (例如2)。此外，下述的判定條件是將水平方向的線候補結(jié)合時使用的判定條件，用于垂直方向的線候補的判定條件是將下述的判定條件的χ方向與y方向交換后的條件。重合判定條件第一線候補的maxY彡第二線候補的minY，且第一線候補的minY彡第二線候補的maxY ；接近判定條件I第二線候補的minX-第一線候補的maxX-11彡TH_LINEGAP,或I第一線候補的minX-第二線候補的maxX-11彡TH_LINEGAP。線候補結(jié)合處理部83將滿足上述的重疊判定條件和接近判定條件的兩個線候補結(jié)合，變更線信息并輸出。圖18是表示線分布判定處理部84進行的處理的順序的流程圖，表示對水平方向的線候補進行的處理的順序(對垂直方向的線候補進行的處理的順序由于只要將X方向與 y方向交換、進行同樣的處理即可，因此省略圖示)。線分布判定處理部84在進行對水平方向的線候補的處理的情況下，使處理在圖像數(shù)據(jù)的垂直方向進行。線分布判定處理部84首先將變量χ的值設(shè)定為0 (步驟S21)，將變量y的值設(shè)定為0(步驟S22)。接著，線分布判定處理部84判定位于(x，y)的像素塊是否為水平方向的線候補的垂直方向的起點(即，水平方向的線的上端的點)(步驟S23)，在判定為是線候補的起點的情況下(S23 ，進行起點設(shè)定處理(步驟S24)。在起點設(shè)定處理中，線分布判定處理部84將現(xiàn)在時刻的變量y的值(S卩，水平方向線的垂直方向的起點坐標(biāo))設(shè)定為變量 minY。起點設(shè)定處理minY = y。此外，線分布判定處理部84在判定(X，y)的像素塊不是線候補的起點的情況下 (S23 :N0)，判定(X，y)的像素塊是否為線候補的連續(xù)部分(即，之前相鄰的像素塊為線候補，(x，y)的像素塊是不是與該線候補連續(xù)的像素塊？)(步驟S2Q。在判定為是線候補的連續(xù)部分的情況下(S25 ，線分布判定處理部84進行終點更新處理(步驟S26)。在終點更新處理中，線分布判定處理部84將現(xiàn)在時刻的y的值(即，現(xiàn)在時刻的水平方向線的垂直方向的終點坐標(biāo))設(shè)定為變量maxY。終點設(shè)定處理maxY = y。此外，線分布判定處理部84在判定(x，y)的像素塊不是線候補的連續(xù)部分的情況下(S25:N0)，進行線候補的寬度算出處理(步驟S27)。在寬度算出處理中，線分布判定處理部84基于變量maxY與變量minY之間的差計算線候補的寬度，與附加在該線候補的標(biāo)記對應(yīng)地存儲所計算出的寬度。線候補的寬度算出處理線候補的寬度=maxY-minY+1。在步驟S24、S^或S27的處理結(jié)束后，線分布判定處理部84判定現(xiàn)在時刻的變量 Y的值是否達(dá)到最大值(垂直方向的像素塊數(shù))(步驟S28)。在變量y未達(dá)到最大值的情況下(S^ =NO)，線分布判定處理部84在變量y的值上加1 (步驟S29)，將處理返回到步驟 S23，進行對垂直方向的下一像素塊的處理。在變量y達(dá)到最大值的情況下(S^ ，線分布判定處理部84判定變量χ的值是否達(dá)到最大值(水平方向的像素塊數(shù))(步驟S30)。在變量χ未達(dá)到最大值的情況下(S30 =NO)，線分布判定處理部84在變量χ的值上加1 (步驟 S31)，將處理返回到步驟S22，反復(fù)(重復(fù))進行處理。在變量χ達(dá)到最大值的情況下(S30 YES)，線分布判定處理部84使對圖像數(shù)據(jù)的所有像素塊的處理結(jié)束，因此結(jié)束計算線候補的寬度的處理。通過進行以上的處理，線分布判定處理部84能夠得到圖像數(shù)據(jù)所包含的線候補的寬度分布。然后，線分布判定處理部84以附加在線候補的標(biāo)記為基礎(chǔ)，調(diào)查寬度的分布，取得各線候補的寬度的最大值和最小值，進行閾值(TH_MAXTHICK(例如6)和TH_ MINTHIC(例如4))的比較，進行各線候補是否為線的判定。線分布判定處理部84將滿足下述的寬度判定條件的線候補視為線，將不滿足寬度判定條件的線候補不視為線，將該線候補的信息從線信息中刪除。寬度判定條件寬度的最大值彡TH_MAXTHICK，且寬度的最小值彡TH_MINTHICK。圖19是表示線最終判定處理部85進行的處理的順序的流程圖。另外，在本處理中使用變量i和j，這些變量分別表示附加在水平方向的線候補的標(biāo)記值和附加在垂直方向的線候補的標(biāo)記值。線最終判定處理部85首先將變量i的值設(shè)定為1 (步驟S41)，將變量j的值設(shè)定為1 (步驟S^)。接著，線最終判定處理部85判定水平方向的標(biāo)記i的線候補與垂直方向的標(biāo)記j的線候補是否連接(步驟S43)。圖20是用于對水平方向與垂直方向的線候補的連接判定進行說明的示意圖。線最終判定處理部85根據(jù)是否滿足下述的連接判定條件，判定水平方向的線候補(水平線候補)與垂直方向的線候補(垂直線候補)是否連接。連接判定條件垂直線候補的maxX彡水平線候補的minX，且水平線候補的maxX彡垂直線候補的minX，且垂直線候補的maxY彡水平線候補的minY，且水平線候補的maxY彡垂直線候補的minY。在判定為水平方向與垂直方向的線候補連接的情況下(S43 :YEQ，線最終判定處理部85對在步驟S43中判定為連接的兩線候補調(diào)查是否初次判定為連接(步驟S44)。在兩線候補的連接是初次連接的情況下(S44 :YES)，線最終判定處理部85在兩線候補設(shè)定新的表標(biāo)記(步驟S40。另外，所謂的表標(biāo)記是對圖像中所包含的表附加的標(biāo)記，在線最終判定處理部85結(jié)束對一個圖像數(shù)據(jù)的處理的情況下，分別對該圖像數(shù)據(jù)中的一個表附加一個表標(biāo)記。線候補的連接是否為初次能夠根據(jù)是否已附加有表標(biāo)記來判斷。在兩線候補的連接不是初次連接的情況下(S44 =NO)，線最終判定處理部85調(diào)查任一個線候補是否初次判定為連接(步驟S46)。這能夠根據(jù)是否在任一個線候補附加有表標(biāo)記來判斷。在任一個線候補的連接是初次連接的情況下(S46:YES)，線最終判定處理部 85對是初次連接的線候補設(shè)定附加在不是初次連接的另一個線候補的表標(biāo)記(步驟S47)。 此外，在兩線候補均不是初次連接的情況下(S46 :N0)，線最終判定處理部85調(diào)查分別附加在兩線候補的表標(biāo)記，為了統(tǒng)一為值小的一方的表標(biāo)記，對附加有值大的一方的表標(biāo)記的線候補進行更新表標(biāo)記的處理(步驟S48)。在步驟S45、S47或S48的處理結(jié)束后，或在步驟S43判定為水平方向與垂直方向的線候補不連接的情況下(S43 :N0)，線最終判定處理部85判定現(xiàn)在時刻的變量j是否達(dá)到最大值(垂直方向的線候補的總數(shù))(步驟S49)。在變量j未達(dá)到最大值的情況下(S49 NO)，線最終判定處理部85在變量j的值上加1 (步驟S50)，將處理返回到步驟S43，進行對水平方向與垂直方向的線候補的下一組合的處理。在變量j達(dá)到最大值的情況下(S49: YES)，線最終判定處理部85判定變量i的值是否達(dá)到最大值(水平方向的線候補的總數(shù)) (步驟S51)。在變量i未達(dá)到最大值的情況下(S51 =NO)，線最終判定處理部85在變量i的值上加1 (步驟S5》，將處理返回到步驟S42，進行對水平方向與垂直方向的線候補的下一組合的處理。在變量i達(dá)到最大值的情況下(S51 ，線最終判定處理部85結(jié)束處理。線最終判定處理部85通過進行圖19所示的處理，能夠從圖像數(shù)據(jù)中的多個線候補檢測出存在形成表的可能性的線候補，能夠?qū)@樣的線候補附加表標(biāo)記。之后，線最終判定處理部85進行各線候補是否為單獨的水平線、是否為單獨的垂直線、是否為形成表的水平線或是否為形成表的垂直線的最終判定。線最終判定處理部85在線候補為單獨的線候補(S卩，未附加表標(biāo)記的線候補)的情況下，根據(jù)線候補的線長是否為規(guī)定值TH_ISO_RUNLENGTH(例如100)以上，對線候補是否為單獨的線進行最終判定。單獨水平線的條件水平線候補的maxX-水平線候補的minX+1彡TH_ISO_RUNLENGTH ；單獨垂直線的條件垂直線候補的maxY-垂直線候補的minY+1彡TH_ISO_RUNLENGTH。此外，線最終判定處理部85在線候補是存在形成表的可能性的線候補(即，附加有表標(biāo)記的線候補)的情況下，除了進行使用與上述相同的規(guī)定值TH_ISO_RUNLENGTH進行的判定，還進行使用在附加有相同表標(biāo)記的多個線候補的最大線長乘以規(guī)定加權(quán)系數(shù)TH_ LINERATI0 (例如0. 8)而得的值進行的判定。線最終判定處理部85在存在形成表的可能性的線候補的線長為規(guī)定值TH_ISO_RUNLENGTH以上的情況、或為最大線長乘以規(guī)定加權(quán)系數(shù)TH_LINRATI0而得的值以上的情況下，將該線候補判定為是形成表的線候補。由此，作為單獨的線，即使是短線，只要是表的一部分的線，線最終判定處理部85就能夠判定為線。形成表的水平線的條件水平線候補的maxX-水平線候補的minX+Ι >相同表標(biāo)記的線候補的最大線長 XTH_LINERATI0，或水平線候補的maxX-水平線候補的minX+Ι彡TH_ISO_RUNLENGTH ；
形成表的垂直線的條件垂直線候補的maxY-垂直線候補的minY+Ι >相同表標(biāo)記的線候補的最大線長 XTH_LINERATI0，或垂直線候補的maxY-垂直線候補的minY+Ι彡TH_ISO_RUNLENGTH。通過以上的處理，線檢測處理部52能夠從由前景抽出處理部51提供的前景像素塊掩模檢測圖像中的水平線、垂直線或形成表的線，能夠?qū)z測到的線的信息作為線信息輸出至布局分析處理部53。另外，在之后的處理(布局分析處理部53、前景層生成處理部 M和背景層生成處理部55的處理)中使用進行修正后的前景像素塊掩模，該修正是從前景抽出處理部51生成的前景像素塊掩模中將線檢測處理部52檢測到的相當(dāng)于線的像素塊排除在外的修正。(3)布局分析處理部53圖21是表示布局分析處理部53的結(jié)構(gòu)的框圖。布局分析處理部53進行如下的處理使用由前景抽出處理部51生成、并以基于線檢測處理部52的檢測結(jié)果將構(gòu)成線的像素塊排除在外的方式進行修正后的前景像素塊掩模和作為線檢測處理部52的檢測結(jié)果的線信息，生成圖像數(shù)據(jù)所包含的字符串區(qū)域的信息(字符串區(qū)域信息)。為了進行該處理， 布局分析處理部53具備標(biāo)示處理部91、非字符矩形去除處理部92、表內(nèi)矩形特定處理部 93、附近矩形間距離算出處理部94、字符串方向推定處理部95、字符串方向修正處理部96、 字符串區(qū)域抽出處理部97和非字符串區(qū)域去除處理部98。標(biāo)示處理部91通過將固有的標(biāo)記分配給圖像數(shù)據(jù)中連續(xù)的多個前景像素塊的塊，進行將前景像素塊分類的處理。圖22是表示標(biāo)示處理部91進行的處理的順序的流程圖。此外，圖23是用于說明標(biāo)示處理部91進行的處理的示意圖。標(biāo)示處理部91首先將變量y的值設(shè)定為0 (步驟S61)，將變量χ的值設(shè)定為0 (步驟S6》。接著，標(biāo)示處理部91判定位于(X，y)的處理對象像素塊是否是由在水平方向連續(xù)的多個前景像素塊構(gòu)成的區(qū)域(前景區(qū)域)的起點(之前相鄰的像素塊不是前景像素塊的點)(步驟S6!3)，在處理對象像素塊是前景區(qū)域的起點的情況下(S63 ，進行起點設(shè)定處理(步驟S64)。在起點設(shè)定處理中，標(biāo)示處理部91將現(xiàn)在時刻的變量χ的值設(shè)定為變量 minXo起點設(shè)定處理minX = χ。此外，標(biāo)示處理部91在判定為處理對象像素塊不是前景區(qū)域的起點的情況下 (S63 :Ν0)，判定處理對象像素塊是否為在水平方向連續(xù)的前景區(qū)域的連續(xù)部分(之前相鄰的像素塊是前景像素塊的點)(步驟S65)。在判定為處理對象像素塊是前景區(qū)域的連續(xù)部分的情況下(S65 ，標(biāo)示處理部91進行終點更新處理(步驟S66)。在終點更新處理中，標(biāo)示處理部91將現(xiàn)在時刻的χ的值設(shè)定為變量maxX。終點更新處理maxX = χ。此外，標(biāo)示處理部91在判定為處理對象像素塊不是前景區(qū)域的連續(xù)部分的情況下(S65 :Ν0)，進行矩形信息更新處理(步驟S67)。矩形信息更新處理是對前景區(qū)域附加標(biāo)記并且更新已附加的標(biāo)記的處理。此外，所謂的矩形信息是由附加有各標(biāo)記的前景區(qū)域的坐標(biāo)信息(例如，水平方向的最小坐標(biāo)、水平方向的最大坐標(biāo)、垂直方向的最小坐標(biāo)和垂直方向的最大坐標(biāo))和各前景區(qū)域所包含的前景像素塊的數(shù)量等信息構(gòu)成的信息(此外，各前景區(qū)域并不必須是矩形，矩形信息中也可以包含矩形以外的形狀的前景區(qū)域的信息)。標(biāo)示處理部91找出位于包含處理對象像素塊的前景區(qū)域的正上方的其它前景區(qū)域，附加在參照這些其它前景區(qū)域的標(biāo)記，進行新的標(biāo)記附加或已附加的標(biāo)記的統(tǒng)一。例如，如圖23所示，在對包含處理對象像素塊的前景區(qū)域(處理對象前景區(qū)域) 附加標(biāo)記的情況下，首先，標(biāo)示處理部91作為與處理對象前景區(qū)域重合的正上方前景區(qū)域找出附加有標(biāo)記2的前景區(qū)域，并對處理對象前景區(qū)域附加標(biāo)記2。接著，標(biāo)示處理部91作為與處理對象前景區(qū)域重合的正上方前景區(qū)域找出附加有標(biāo)記1的前景區(qū)域。此時，由于已經(jīng)對處理對象前景區(qū)域附加有標(biāo)記2，因此標(biāo)示處理部91將標(biāo)記1和標(biāo)記2統(tǒng)一。在標(biāo)記的統(tǒng)一中，使值小的標(biāo)記優(yōu)先，通過將附加有標(biāo)記2的前景區(qū)域變更為標(biāo)記1來進行。由此，能夠保持標(biāo)記的值和副掃描坐標(biāo)的相關(guān)。此外，在不存在重合在處理對象前景區(qū)域正上方的其它前景區(qū)域的情況下，標(biāo)示處理部91對處理對象前景區(qū)域附加新的標(biāo)記，在矩形信息中追加新標(biāo)記的坐標(biāo)信息等。在步驟S64、S66或S67的處理結(jié)束后，標(biāo)示處理部91判定現(xiàn)在時刻的變量χ的值是否達(dá)到最大值(水平方向的像素塊數(shù))(步驟S68)。在變量χ未達(dá)到最大值的的情況下 (S68 =NO)，標(biāo)示處理部91在變量χ的值上加1 (步驟S69)，將處理返回到步驟S63，進行對水平方向的下一像素塊的處理。在變量χ達(dá)到最大值的情況下(S68 ，標(biāo)示處理部91判定變量y的值是否達(dá)到最大值(垂直方向的像素塊數(shù))(步驟S70)。在變量y未達(dá)到最大值的情況下(S70 :N0)，標(biāo)示處理部91在變量y的值上加1 (步驟S71)，將處理返回到步驟 S62，進行對圖像數(shù)據(jù)的下一級開頭的像素塊的處理。在變量y達(dá)到最大值的情況下(S70: YES)，標(biāo)示處理部91結(jié)束附加標(biāo)記的處理。通過以上的處理，標(biāo)示處理部91能夠?qū)D像數(shù)據(jù)中的前景像素塊連續(xù)的前景區(qū)域附加標(biāo)記，將附加標(biāo)記的結(jié)果作為矩形信息輸出。圖M是表示標(biāo)示處理部91的處理的一個例子的示意圖。此外，在圖M中，將利用被輸入至標(biāo)示處理部91的前景像素塊掩模指定為前景像素塊的一個或多個像素塊的區(qū)域(前景區(qū)域)作為以實線圍成的區(qū)域進行表示。標(biāo)示處理部91對一個或多個前景區(qū)域附加不重復(fù)的標(biāo)記，生成與標(biāo)記對應(yīng)的各前景區(qū)域的坐標(biāo)顯示信息和像素塊數(shù)等矩形信息，并輸出給非字符矩形去除處理部92。在圖M所示的例子中，對18個區(qū)域附加有標(biāo)記1 18。非字符矩形去除處理部92對由標(biāo)示處理部91附加標(biāo)記后的各前景區(qū)域進行如下的處理基于前景區(qū)域的高度(垂直方向的像素塊數(shù))或前景區(qū)域的寬度(水平方向的像素塊數(shù))等前景區(qū)域的大小、或者前景區(qū)域所包含的像素塊的數(shù)量等信息，判定各前景區(qū)域是否是能夠相當(dāng)于圖像中的字符的前景區(qū)域，將不能相當(dāng)于字符的前景區(qū)域排除在夕卜。例如，在各前景區(qū)域的高度或?qū)挾戎械娜我环较鄬τ趫D像數(shù)據(jù)的尺寸過大或過小的情況下，非字符矩形去除處理部92能夠判定為該前景區(qū)域不能相當(dāng)于字符(判定方法并不僅限于此)。非字符矩形去除處理部92將判定為不能相當(dāng)于字符的前景區(qū)域的信息從矩形信息中排除，提供給表內(nèi)矩形特定處理部93。表內(nèi)矩形特定處理部93被輸入非字符矩形去除處理部92輸出的矩形信息和前景抽出處理部51輸出的線信息。表內(nèi)矩形特定處理部93基于線信息所包含的形成表的線的信息，判定矩形信息所包含的各前景區(qū)域是否位于表的內(nèi)部。對判定為位于表的內(nèi)部的多個前景區(qū)域(位于表的一個區(qū)劃內(nèi)的多個區(qū)域)，布局分析處理部53不依賴于后級的處理
25結(jié)果地將它們作為一個字符串來處理。由此，布局分析處理部53能夠容易且可靠地抽出分布與通常的字符串的分別不同的表內(nèi)的字符串。表內(nèi)矩形特定處理部93將各前景區(qū)域是否位于表的內(nèi)部的信息附加在矩形信息，提供給附近矩形間距離算出處理部94。圖25是用于說明附近矩形間距離算出處理部94進行的處理的示意圖。附近矩形間距離算出處理部94對矩形信息所包含的各前景區(qū)域進行如下的處理抽出位于圖像的上下左右中的任一方向且滿足規(guī)定的條件的周邊的其它前景區(qū)域，計算所抽出的其它前景區(qū)域與處理對象前景區(qū)域之間的距離。另外，圖25所示的例子是，對圖M所示的標(biāo)示處理的處理結(jié)果的例子，以箭頭表示為了附近矩形間距離算出處理部94進行距離計算(算出) 而抽出的兩個區(qū)域之間的關(guān)系(箭頭的起點為處理對象前景區(qū)域，箭頭的終點為周邊的其它前景區(qū)域)的例子。圖沈是表示附近矩形間距離算出處理部94進行的處理的順序的流程圖。此外， 在本處理中使用變量i和j，這些變量用于存儲標(biāo)示處理部91對各前景區(qū)域附加的標(biāo)記值。 附近矩形間距離算出處理部94首先將變量i的值設(shè)定為1 (步驟S81)，將變量j的值設(shè)定為1 (步驟S8》。接著，附近矩形間距離算出處理部94進行判定標(biāo)記j的前景區(qū)域相對于標(biāo)記i的前景區(qū)域的方向的處理(步驟S8!3)。在方向判定處理中，附近矩形間距離算出處理部94對標(biāo)記i的前景區(qū)域和標(biāo)記j的前景區(qū)域依次判定是否滿足下述的條件1 4。其中，在下述的條件式中，minX表示各前景區(qū)域的水平方向(右方向)的最小坐標(biāo)，maxX表示各前景區(qū)域的水平方向的最大坐標(biāo)，minY表示各前景區(qū)域的垂直方向(下方向)的最小坐標(biāo)，maxY表示各前景區(qū)域的垂直方向的最大坐標(biāo)。條件1 標(biāo)記j的前景區(qū)域的maxX >標(biāo)記i的前景區(qū)域的maxX，且標(biāo)記j的前景區(qū)域的minX >標(biāo)記i的前景區(qū)域的minX ；條件2 標(biāo)記j的前景區(qū)域的minX <標(biāo)記i的前景區(qū)域的minX，且標(biāo)記j的前景區(qū)域的maxX <標(biāo)記i的前景區(qū)域的maxX ；條件3 標(biāo)記j的前景區(qū)域的minY <標(biāo)記i的前景區(qū)域的minY，且標(biāo)記j的前景區(qū)域的maxY <標(biāo)記i的前景區(qū)域的maxY ；條件4 標(biāo)記j的前景區(qū)域的maxY >標(biāo)記i的前景區(qū)域的maxY，且標(biāo)記j的前景區(qū)域的minY >標(biāo)記i的前景區(qū)域的minY。附近矩形間距離算出處理部94依次進行條件1 4的判定，在標(biāo)記i的前景區(qū)域和標(biāo)記j的前景區(qū)域滿足條件1的情況下，判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的右側(cè)。在不滿足條件1而滿足條件2的情況下，附近矩形間距離算出處理部94判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的左側(cè)。在不滿足條件1、2而滿足條件3的情況下，附近矩形間距離算出處理部94判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的上側(cè)。在不滿足條件1 3而滿足條件4的情況下，附近矩形間距離算出處理部94判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的下側(cè)。在方向判定處理之后，附近矩形間距離算出處理部94判定標(biāo)記j的前景區(qū)域是否
26存在于標(biāo)記i的前景區(qū)域的右方向(步驟S84)。在步驟S84的判定中，在由步驟S83的方向判定處理判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的右側(cè)的基礎(chǔ)之上，進行標(biāo)記 i的前景區(qū)域和標(biāo)記j的前景區(qū)域的一部分或全部是否在水平方向重合的判定。附近矩形間距離算出處理部94通過判定是否滿足下述的條件來進行水平方向的重疊判定。水平方向重疊條件標(biāo)記i的前景區(qū)域的maxY >標(biāo)記j的前景區(qū)域的minY，且標(biāo)記i的前景區(qū)域的minY <標(biāo)記j的前景區(qū)域的maxY。附近矩形間距離算出處理部94在步驟S83的方向判定處理中判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的右側(cè)且滿足上述的水平方向重疊條件的情況下，判定標(biāo)記 j的前景區(qū)域存在于標(biāo)記i的前景區(qū)域的右方向(步驟S84 ，進行右方向最短距離算出處理(步驟S^)。在右方向最短距離算出處理中，附近矩形間距離算出處理部94通過下式計算標(biāo)記i的前景區(qū)域與標(biāo)記j的前景區(qū)域之間的距離Dist。Dist =標(biāo)記j的前景區(qū)域的minX-標(biāo)記i的前景區(qū)域的maxX。此外，附近矩形間距離算出處理部94判定是否滿足下述的五個條件(右方向最短距離條件1 5)，在滿足所有五個條件的情況下，將計算出的距離Dist作為標(biāo)記i的前景區(qū)域的右方向最短距離，與存在于右方向的前景區(qū)域的標(biāo)記j 一同存儲(在作為右方向最短距離已經(jīng)存儲有另外的前景區(qū)域的情況下，以新值對其進行更新)。附近矩形間距離算出處理部94進行判定的第一條件是距離Dist小于規(guī)定的閾值(例如36)。右方向最短距離條件1:Dist < 閾值。附近矩形間距離算出處理部94進行判定的第二條件是，對將標(biāo)記i的前景區(qū)域和標(biāo)記j的前景區(qū)域統(tǒng)一為一個前景區(qū)域時的矩形的高度分別與標(biāo)記i的前景區(qū)域以及標(biāo)記 j的前景區(qū)域的高度之間的差進行計算，所計算出的兩個差中的值較小的差比規(guī)定的閾值小(例如36)。右方向最短距離條件2:MIN(統(tǒng)一前后的標(biāo)記i的前景區(qū)域的高度之間的差、將標(biāo)記i的前景區(qū)域和標(biāo)記 j的前景區(qū)域統(tǒng)一為一個區(qū)域時的矩形的高度與標(biāo)記j的前景區(qū)域的高度之間的差)<閾值。附近矩形間距離算出處理部94進行判定的第三條件是，標(biāo)記j的前景區(qū)域的水平方向的最大坐標(biāo)maxX比標(biāo)記i的前景區(qū)域的水平方向的最大坐標(biāo)maxX大。右方向最短距離條件3:標(biāo)記j的前景區(qū)域的maxX >標(biāo)記i的前景區(qū)域的maxX。附近矩形間距離算出處理部94進行判定的第四條件是，標(biāo)記i的前景區(qū)域的水平方向的最小坐標(biāo)minX為標(biāo)記j的前景區(qū)域的水平方向的最小坐標(biāo)minX以下。右方向最短距離條件4 標(biāo)記i的前景區(qū)域的minX彡標(biāo)記j的前景區(qū)域的minX。附近矩形間距離算出處理部94進行判定的第五條件是，在已經(jīng)存儲有標(biāo)記i的前景區(qū)域與另外的(另一)前景區(qū)域之間的右方向最短距離的情況下，所計算出的距離Dist 比所存儲的右方向最短距離小。
右方向最短距離條件5:Dist <所存儲的右方向最短距離。在判定為滿足所有右方向最短距離條件1 5的情況下，附近矩形間距離算出處理部94將計算出的Dist作為右方向最短距離來存儲。此外，在步驟S84中判定為標(biāo)記j 的前景區(qū)域不存在于標(biāo)記i的前景區(qū)域的右方向的情況下(S84 =NO)，附近矩形間距離算出處理部94判定標(biāo)記j的前景區(qū)域是否存在于標(biāo)記i的前景區(qū)域的上方向(步驟S86)。在步驟S86的判定中，在由步驟S83的方向判定處理判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的上側(cè)的基礎(chǔ)之上，進行標(biāo)記i的前景區(qū)域與標(biāo)記j的前景區(qū)域的一部分或全部是否在垂直方向重合的判定。附近矩形間距離算出處理部94通過判定是否滿足下述的條件來進行垂直方向的重疊判定。垂直方向重疊條件標(biāo)記i的前景區(qū)域的maxX >標(biāo)記j的前景區(qū)域的minX，且標(biāo)記i的前景區(qū)域的minX <標(biāo)記j的前景區(qū)域的maxX。附近矩形間距離算出處理部94在步驟S83的方向判定處理中判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的上側(cè)且滿足上述的垂直方向重疊條件的情況下，判定標(biāo)記 j的前景區(qū)域存在于標(biāo)記i的前景區(qū)域的上方向(步驟S86 ，進行上方向最短距離算出處理(步驟S87)。在上方向最短距離算出處理中，附近矩形間距離算出處理部94通過下式計算標(biāo)記i的前景區(qū)域與標(biāo)記j的前景區(qū)域之間的距離Dist。Dist =標(biāo)記i的前景區(qū)域的minY-標(biāo)記j的前景區(qū)域的maxY。此外，附近矩形間距離算出處理部94判定是否滿足下述的五個條件(上方向最短距離條件1 5)，在滿足所有五個條件的情況下，將計算出的距離Dist作為標(biāo)記i的前景區(qū)域的上方向最短距離，與存在于上方向的前景區(qū)域的標(biāo)記j 一同存儲(在作為上方向最短距離已經(jīng)存儲有另外的前景區(qū)域的情況下，以新值對其進行更新)。附近矩形間距離算出處理部94進行判定的第一條件是距離Dist小于規(guī)定的閾值(例如36)。上方向最短距離條件1:Dist < 閾值。附近矩形間距離算出處理部94進行判定的第二條件是，對將標(biāo)記i的前景區(qū)域和標(biāo)記j的前景區(qū)域統(tǒng)一為一個區(qū)域時的矩形的寬度分別與標(biāo)記i的前景區(qū)域以及標(biāo)記j 的前景區(qū)域的寬度之間的差進行計算，所計算出的兩個差中的值較小的差比規(guī)定的閾值小 (例如36)。上方向最短距離條件2:MIN(統(tǒng)一前后的標(biāo)記i的前景區(qū)域的寬度之間的差、將標(biāo)記i的前景區(qū)域和標(biāo)記 j的前景區(qū)域統(tǒng)一為一個區(qū)域時的矩形的寬度與標(biāo)記j的前景區(qū)域的寬度之間的差)<閾值。附近矩形間距離算出處理部94進行判定的第三條件是，標(biāo)記j的前景區(qū)域的垂直方向的最小坐標(biāo)minY比標(biāo)記i的前景區(qū)域的垂直方向的最小坐標(biāo)minY小。上方向最短距離條件3:標(biāo)記j的前景區(qū)域的minY <標(biāo)記i的前景區(qū)域的minY。附近矩形間距離算出處理部94進行判定的第四條件是，標(biāo)記i的前景區(qū)域的垂直方向的最大坐標(biāo)maxY比標(biāo)記j的前景區(qū)域的垂直方向的最大坐標(biāo)maxY大。上方向最短距離條件4 標(biāo)記i的前景區(qū)域的maxY >標(biāo)記j的前景區(qū)域的maxY。附近矩形間距離算出處理部94進行判定的第五條件是，在已經(jīng)存儲有標(biāo)記i的前景區(qū)域與另外的前景區(qū)域之間的上方向最短距離的情況下，所計算出的距離Dist比所存儲的上方向最短距離小。上方向最短距離條件5:Dist <所存儲的上方向最短距離。在判定為滿足所有上方向最短距離條件1 5的情況下，附近矩形間距離算出處理部94將計算出的Dist作為上方向最短距離來存儲。此外，在步驟S86中判定為標(biāo)記j 的前景區(qū)域不存在于標(biāo)記i的前景區(qū)域的上方向的情況下(S86 =NO)，附近矩形間距離算出處理部94判定標(biāo)記j的前景區(qū)域是否存在于標(biāo)記i的前景區(qū)域的左方向(步驟S88)。在步驟S88的判定中，在由步驟S83的方向判定處理判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的左側(cè)的基礎(chǔ)之上，進行標(biāo)記i的前景區(qū)域與標(biāo)記j的前景區(qū)域的一部分或全部是否在水平方向重合的判定。附近矩形間距離算出處理部94通過判定是否滿足與步驟S84 使用的水平方向重疊條件相同的水平方向重疊條件，進行水平方向的重疊判定。附近矩形間距離算出處理部94在步驟S83的方向判定處理中判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的左側(cè)且滿足水平方向重疊條件的情況下，判定標(biāo)記j的前景區(qū)域存在于標(biāo)記i的前景區(qū)域的左方向(步驟S88 ，進行左方向最短距離算出處理 (步驟S89)。在左方向最短距離算出處理中，附近矩形間距離算出處理部94通過下式計算標(biāo)記i的前景區(qū)域與標(biāo)記j的前景區(qū)域之間的距離Dist。Dist =標(biāo)記i的前景區(qū)域的minX-標(biāo)記j的前景區(qū)域的maxX。進一步，附近矩形間距離算出處理部94判定是否滿足下述的五個條件(左方向最短距離條件1 5)，在滿足所有五個條件的情況下，將計算出的距離Dist作為標(biāo)記i的前景區(qū)域的左方向最短距離，與存在于左方向的前景區(qū)域的標(biāo)記j 一同存儲(在作為左方向最短距離已經(jīng)存儲有另外的前景區(qū)域的情況下，以新值對其進行更新)。附近矩形間距離算出處理部94進行判定的第一條件是距離Dist小于規(guī)定的閾值(例如36)。左方向最短距離條件1:Dist < 閾值。附近矩形間距離算出處理部94進行判定的第二條件是，對將標(biāo)記i的前景區(qū)域和標(biāo)記j的前景區(qū)域統(tǒng)一為一個區(qū)域時的矩形的高度分別與標(biāo)記i的前景區(qū)域以及標(biāo)記j 的前景區(qū)域的高度之間的差進行計算，所計算出的兩個差中的值較小的差比規(guī)定的閾值小 (例如36)。左方向最短距離條件2:MIN(統(tǒng)一前后的標(biāo)記i的前景區(qū)域的高度之間的差、將標(biāo)記i的前景區(qū)域和標(biāo)記 j的前景區(qū)域統(tǒng)一為一個區(qū)域時的矩形的高度與標(biāo)記j的前景區(qū)域的高度之間的差)<閾值。附近矩形間距離算出處理部94進行判定的第三條件是，標(biāo)記j的前景區(qū)域的水平方向的最小坐標(biāo)minX比標(biāo)記i的前景區(qū)域的水平方向的最小坐標(biāo)minX小。
左方向最短距離條件3:標(biāo)記j的前景區(qū)域的minX <標(biāo)記i的前景區(qū)域的minX。附近矩形間距離算出處理部94進行判定的第四條件是，標(biāo)記i的前景區(qū)域的水平方向的最大坐標(biāo)maxX比標(biāo)記j的前景區(qū)域的水平方向的最大坐標(biāo)maxX大。左方向最短距離條件4:標(biāo)記i的前景區(qū)域的maxX >標(biāo)記j的前景區(qū)域的maxX。附近矩形間距離算出處理部94進行判定的第五條件是，在已經(jīng)存儲有標(biāo)記i的前景區(qū)域與另外的前景區(qū)域之間的左方向最短距離的情況下，所計算出的距離Dist比所存儲的左方向最短距離小。左方向最短距離條件5:Dist <所存儲的左方向最短距離。在判定為滿足所有左方向最短距離條件1 5的情況下，附近矩形間距離算出處理部94將計算出的Dist作為左方向最短距離來存儲。此外，在步驟S88中判定為標(biāo)記j 的前景區(qū)域不存在于標(biāo)記i的前景區(qū)域的左方向的情況下(S88 =NO)，附近矩形間距離算出處理部94判定標(biāo)記j的前景區(qū)域是否存在于標(biāo)記i的前景區(qū)域的下方向(步驟S90)。在步驟S90的判定中，在由步驟S83的方向判定處理判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的下側(cè)的基礎(chǔ)之上，進行標(biāo)記i的前景區(qū)域與標(biāo)記j的前景區(qū)域的一部分或全部是否在垂直方向重合的判定。附近矩形間距離算出處理部94通過判定是否滿足與步驟S86 使用的垂直方向重疊條件相同的垂直方向重疊條件，進行垂直方向的重疊判定。附近矩形間距離算出處理部94在步驟S83的方向判定處理中判定為標(biāo)記j的前景區(qū)域位于標(biāo)記i的前景區(qū)域的下側(cè)且滿足垂直方向重疊條件的情況下，判定標(biāo)記j的前景區(qū)域存在于標(biāo)記i的前景區(qū)域的下方向(步驟S90 ，進行下方向最短距離算出處理 (步驟S91)。在下方向最短距離算出處理中，附近矩形間距離算出處理部94通過下式計算標(biāo)記i的前景區(qū)域與標(biāo)記j的前景區(qū)域之間的距離Dist。Dist =標(biāo)記j的前景區(qū)域的minY-標(biāo)記i的前景區(qū)域的maxY。進一步，附近矩形間距離算出處理部94判定是否滿足下述的五個條件(下方向最短距離條件1 5)，在滿足所有五個條件的情況下，將計算出的距離Dist作為標(biāo)記i的前景區(qū)域的下方向最短距離，與存在于下方向的前景區(qū)域的標(biāo)記j 一同存儲(在作為下方向最短距離已經(jīng)存儲有另外的前景區(qū)域的情況下，以新值對其進行更新)。附近矩形間距離算出處理部94進行判定的第一條件是距離Dist小于規(guī)定的閾值(例如36)。下方向最短距離條件1:Dist < 閾值。附近矩形間距離算出處理部94進行判定的第二條件是，對將標(biāo)記i的前景區(qū)域和標(biāo)記j的前景區(qū)域統(tǒng)一為一個區(qū)域時的矩形的寬度分別與標(biāo)記i的前景區(qū)域以及標(biāo)記j 的前景區(qū)域的寬度之間的差進行計算，所計算出的兩個差中的值較小的差比規(guī)定的閾值小 (例如36)。下方向最短距離條件2:MIN(統(tǒng)一前后的標(biāo)記i的前景區(qū)域的寬度之間的差、將標(biāo)記i的前景區(qū)域和標(biāo)記 j的前景區(qū)域統(tǒng)一為一個區(qū)域時的矩形的寬度與標(biāo)記j的前景區(qū)域的寬度之間的差)<閾
30值。附近矩形間距離算出處理部94進行判定的第三條件是，標(biāo)記j的前景區(qū)域的垂直方向的最大坐標(biāo)maxY比標(biāo)記i的前景區(qū)域的垂直方向的最大坐標(biāo)maxY大。下方向最短距離條件3:標(biāo)記j的前景區(qū)域的maxY >標(biāo)記i的前景區(qū)域的maxY。附近矩形間距離算出處理部94進行判定的第四條件是，標(biāo)記i的前景區(qū)域的垂直方向的最小坐標(biāo)minY比標(biāo)記j的前景區(qū)域的垂直方向的最小坐標(biāo)minY小。下方向最短距離條件4:標(biāo)記i的前景區(qū)域的minY <標(biāo)記j的前景區(qū)域的minY。附近矩形間距離算出處理部94進行判定的第五條件是，在已經(jīng)存儲有標(biāo)記i的前景區(qū)域與另外的前景區(qū)域之間的下方向最短距離的情況下，所計算出的距離Dist比所存儲的下方向最短距離小。下方向最短距離條件5:Dist <所存儲的下方向最短距離。在判定為滿足所有下方向最短距離條件1 5的情況下，附近矩形間距離算出處理部94將計算出的Dist作為下方向最短距離來存儲。在步驟S85、S87、S89或S91中計算出最短距離之后，或在步驟S90中判定為標(biāo)記 j的前景區(qū)域不存在于標(biāo)記i的前景區(qū)域的下方向的情況下(S90 :N0)，附近矩形間距離算出處理部94判定現(xiàn)在時刻的變量j是否達(dá)到最大值(前景區(qū)域的總數(shù))(步驟S9》。在變量j未達(dá)到最大值的情況下(S92 =NO)，附近矩形間距離算出處理部94在變量j的值上加1(步驟S9!3)，將處理返回到步驟S83，進行對兩個前景區(qū)域的下一組合的處理。在變量 j達(dá)到最大值的情況下(S92 =YES)，附近矩形間距離算出處理部94判定變量i的值是否達(dá)到最大值(前景區(qū)域的總數(shù))(步驟S94)。在變量i未達(dá)到最大值的情況下(S94 =NO)，附近矩形間距離算出處理部94在變量i的值上加1 (步驟，將處理返回到步驟S82，進行對兩個前景區(qū)域的下一組合的處理。在變量i達(dá)到最大值的情況下(S94 =YES)，附近矩形間距離算出處理部94結(jié)束處理。附近矩形間距離算出處理部94對圖像數(shù)據(jù)中的附加有標(biāo)記的各前景區(qū)域分別與在上下左右方向接近的其它前景區(qū)域之間的最短距離進行計算，將計算結(jié)果輸出至字符串方向推定處理部95。字符串方向推定處理部95對矩形信息所包含的各前景區(qū)域計算沿水平方向并列的前景區(qū)域的數(shù)量和這多個前景區(qū)域間的距離總和、以及沿垂直方向并列的前景區(qū)域的數(shù)量和這些多個前景區(qū)域間的距離總和?；谟嬎憬Y(jié)果，字符串方向推定處理部95將水平方向的前景區(qū)域數(shù)與垂直方向的前景區(qū)域數(shù)進行比較，且將水平方向的前景區(qū)域間的距離總和與垂直方向的前景區(qū)域間的距離總和進行比較，基于兩比較結(jié)果，推定多個前景區(qū)域是否為構(gòu)成水平方向或垂直方向的字符串的前景區(qū)域。圖27是表示字符串方向推定處理部95進行的處理的順序的流程圖。此外，在本處理中使用變量i，這些變量用于存儲標(biāo)示處理部91對各前景區(qū)域附加的標(biāo)記值。字符串方向推定處理部95首先將變量i的值設(shè)定為1 (步驟S101)。接著，字符串方向推定處理部 95對標(biāo)記i的前景區(qū)域進行水平方向的前景區(qū)域數(shù)和距離總和算出處理(步驟S102)。在水平方向的前景區(qū)域數(shù)和距離總和算出處理中，字符串方向推定處理部95基于附近矩形間距離算出處理部94的計算結(jié)果，依次對以最短距離位于標(biāo)記i的前景區(qū)域的左方向和右方向的其它前景區(qū)域進行搜索，由此計算沿水平方向并列的前景區(qū)域數(shù)和這些前景區(qū)域間的距離的總和。接著，字符串方向推定處理部95對標(biāo)記i的前景區(qū)域進行垂直方向的前景區(qū)域數(shù)和距離總和算出處理(步驟S103)。在垂直方向的前景區(qū)域數(shù)和距離總和算出處理中，字符串方向推定處理部95基于附近矩形間距離算出處理部94的計算結(jié)果，依次對以最短距離位于標(biāo)記i的前景區(qū)域的上方向和下方向的其它前景區(qū)域進行搜索，由此計算沿垂直方向并列的前景區(qū)域數(shù)和這些前景區(qū)域間的距離的總和。接著，字符串方向推定處理部95對標(biāo)記i的前景區(qū)域進行如下的處理判定將包含該前景區(qū)域的多個前景區(qū)域作為字符串情況下的字符串的方向(步驟S104)。在字符串方向判定處理中，字符串方向推定處理部95基于步驟S102和S103的計算結(jié)果，判定下述的條件是否成立，由此判定字符串的方向。水平方向條件(水平方向距離總和X垂直方向前景區(qū)域數(shù)<垂直方向距離總和X水平方向前景區(qū)域數(shù)，且水平方向前景區(qū)域數(shù)>閾值1，且垂直方向前景區(qū)域數(shù)>閾值2)，或(水平方向前景區(qū)域數(shù)彡閾值1，且垂直方向前景區(qū)域數(shù)<閾值2)；垂直方向條件(水平方向距離總和X垂直方向前景區(qū)域數(shù)>垂直方向距離總和X水平方向前景區(qū)域數(shù)，且垂直方向前景區(qū)域數(shù)>閾值1，且水平方向前景區(qū)域數(shù)>閾值2)，或(垂直方向前景區(qū)域數(shù)彡閾值1，且水平方向前景區(qū)域數(shù)<閾值2)。字符串方向推定處理部95在上述的水平方向條件成立的情況下，判定包含標(biāo)記i 的前景區(qū)域的字符串的方向是水平方向。此外，字符串方向推定處理部95在上述的垂直方向條件成立的情況下，判定包含標(biāo)記i的前景區(qū)域的字符串的方向是垂直方向。在水平方向條件和垂直方向條件這兩個條件都不成立的情況下，字符串方向推定處理部95判定包含標(biāo)記i的前景區(qū)域的字符串的方向不確定。字符串方向推定處理部95將字符串方向的判定結(jié)果與標(biāo)記i對應(yīng)地存儲。此外，上述的水平方向條件和垂直方向條件所使用的閾值 1、2是預(yù)先決定的值，作為其值，例如能夠分別設(shè)定為3。在字符串方向判定處理結(jié)束后，字符串方向推定處理部95，判定變量i的值是否達(dá)到最大值(前景區(qū)域的總數(shù))(步驟S105)，在變量i的值未達(dá)到最大值的情況下(S105 NO)，在變量i的值上加1 (步驟S106)，將處理返回到步驟S102，對下一標(biāo)記i的前景區(qū)域進行同樣的處理。在變量i的值達(dá)到最大值的情況下(S105 ，字符串方向推定處理部 95結(jié)束處理。圖28是表示字符串方向推定處理部95進行的處理的一個例子的示意圖，是字符串方向推定處理部95對圖25所示的距離算出處理的結(jié)果進行推定字符串方向的處理后的圖。字符串方向推定處理部95通過進行上述的處理，能夠?qū)D像數(shù)據(jù)中的附加有標(biāo)記的各前景區(qū)域判定為水平方向的字符串(所包含的前景區(qū)域)、垂直方向的字符串(所包含的前景區(qū)域)或不確定的前景區(qū)域中的任一種。在圖示的例子中，附加有標(biāo)記1 5、11 13、 15、17、18的前景區(qū)域被判定為水平方向的字符串，附加有標(biāo)記8 10的前景區(qū)域被判定為
32垂直方向的字符串，附加有標(biāo)記6、7、14、16的前景區(qū)域被判定為不確定。字符串方向推定處理部95將對各前景區(qū)域的字符串方向的推定結(jié)果輸出到字符串方向修正處理部96。字符串方向修正處理部96判定字符串方向推定處理部95推定的字符串方向是否妥當(dāng)，對判定為方向不妥當(dāng)?shù)那熬皡^(qū)域，進行將字符串的方向修正為不確定的處理。圖四是表示字符串方向修正處理部96進行的處理的順序的流程圖。此外，在本處理中使用變量 i，這些變量用于存儲標(biāo)示處理部91對各前景區(qū)域附加的標(biāo)記值。字符串方向修正處理部 96首先將變量i的值設(shè)定為1 (步驟S111)。接著，字符串方向修正處理部96調(diào)查標(biāo)記i的前景區(qū)域是否為包含在水平方向的字符串的前景區(qū)域(步驟S112)，在是包含在水平方向的字符串的前景區(qū)域的情況下 (S112:YES)，進行水平方向區(qū)域數(shù)算出處理(步驟S113)。在水平方向區(qū)域數(shù)算出處理中， 字符串方向修正處理部96對在水平方向與附加有標(biāo)記i的前景區(qū)域并列的其它前景區(qū)域， 調(diào)查各前景區(qū)域被判定為包含在水平方向或垂直方向的哪個方向的字符串中，并分別計算水平方向的前景區(qū)域數(shù)和垂直方向的前景區(qū)域數(shù)。接著，字符串方向修正處理部96進行水平方向修正處理，該水平方向修正處理是基于計算出的水平方向的前景區(qū)域數(shù)和垂直方向的前景區(qū)域數(shù)，對標(biāo)記i的前景區(qū)域的方向進行修正的處理(步驟S114)。在水平方向修正處理中，字符串方向修正處理部96判定計算出的水平方向的前景區(qū)域數(shù)和垂直方向的前景區(qū)域數(shù)是否滿足下述的水平方向修正條件，在滿足水平方向修正條件的情況下，將標(biāo)記i的前景區(qū)域的方向修正為不確定。此夕卜，水平方向修正條件所使用的閾值是預(yù)先決定的值，作為其值，例如能夠設(shè)定為2。水平方向修正條件水平方向的前景區(qū)域數(shù)< 垂直方向的前景區(qū)域數(shù)，或水平方向的前景區(qū)域數(shù)< 閾值。此外，在標(biāo)記i的前景區(qū)域不是包含在水平方向的字符串的前景區(qū)域的情況下 (S112 :N0)，字符串方向修正處理部96調(diào)查標(biāo)記i的前景區(qū)域是否是包含在垂直方向的字符串的前景區(qū)域(步驟S115)。在是包含在垂直方向的字符串的前景區(qū)域的情況下(S115 YES)，字符串方向修正處理部96進行垂直方向區(qū)域數(shù)算出處理(步驟S116)。在垂直方向區(qū)域數(shù)算出處理中，字符串方向修正處理部96對在垂直方向與附加有標(biāo)記i的前景區(qū)域并列的其它前景區(qū)域，調(diào)查各前景區(qū)域被判定為包含在垂直方向或水平方向的哪個方向的字符串中，并分別計算垂直方向的前景區(qū)域數(shù)和水平方向的前景區(qū)域數(shù)。接著，字符串方向修正處理部96進行垂直方向修正處理，該垂直方向修正處理是基于計算出的垂直方向的前景區(qū)域數(shù)和水平方向的前景區(qū)域數(shù)，對標(biāo)記i的前景區(qū)域的方向進行修正的處理(步驟S117)。在垂直方向修正處理中，字符串方向修正處理部96判定計算出的垂直方向的前景區(qū)域數(shù)和水平方向的前景區(qū)域數(shù)是否滿足下述的垂直方向修正條件，在滿足垂直方向修正條件的情況下，將標(biāo)記i的前景區(qū)域的方向修正為不確定。此夕卜，垂直方向修正條件所使用的閾值是預(yù)先決定的值，作為其值，例如能夠設(shè)定為2。垂直方向修正條件垂直方向的前景區(qū)域數(shù)< 水平方向的前景區(qū)域數(shù)，或垂直方向的前景區(qū)域數(shù)< 閾值。在步驟Sl 14或Sl 17的修正處理結(jié)束后，或在步驟Sl 15中判定為標(biāo)記i的前景區(qū)域不是包含在垂直方向的字符串的前景區(qū)域的情況下(S115 :N0)，字符串方向修正處理部 96，判定變量i的值是否達(dá)到最大值(前景區(qū)域的總數(shù))(步驟S118)，在變量i的值未達(dá)到最大值的情況下(S118 :N0)，在變量i的值上加1(步驟S119)，將處理返回到步驟S112，對下一標(biāo)記i的前景區(qū)域進行同樣的處理。在變量i的值達(dá)到最大值的情況下(S118 =YES)， 字符串方向修正處理部96結(jié)束處理。圖30是表示字符串方向修正處理部96進行的處理的一個例子的示意圖，是字符串方向修正處理部96對圖觀所示的字符串方向推定處理的結(jié)果進行字符串方向修正處理后的圖。字符串方向修正處理部96通過進行上述的處理，判定字符串方向推定處理部95 推定的各前景區(qū)域的方向是否妥當(dāng)，對判定為方向不妥當(dāng)?shù)那熬皡^(qū)域，進行將字符串的方向修正為不確定的處理。在圖示的例子中，字符串方向修正處理部96判定前景區(qū)域8 10 的方向不妥當(dāng)，將這些前景區(qū)域修正為不確定。字符串方向修正處理部96修正各前景區(qū)域的字符串的方向，并輸出給字符串區(qū)域抽出處理部97。字符串區(qū)域抽出處理部97從圖像數(shù)據(jù)中找出字符串方向相同的前景區(qū)域，將前景區(qū)域間的距離短且在與字符串方向垂直的方向上的位置關(guān)系適當(dāng)?shù)亩鄠€前景區(qū)域作為字符串抽出，制作并輸出字符串的信息(字符串信息)。圖31 圖34是表示字符串區(qū)域抽出處理部97進行的處理的順序的流程圖。字符串區(qū)域抽出處理部97進行將字符串方向被推定為水平或不確定的多個前景區(qū)域統(tǒng)一至水平方向、生成水平方向的字符串的水平字符串生成處理(步驟S121)，同樣進行將字符串方向被推定為垂直或不確定的多個前景區(qū)域統(tǒng)一至垂直方向、生成垂直方向的字符串的垂直字符生成處理(步驟S122)。之后，字符串區(qū)域抽出處理部97進行將與水平方向的字符串以及垂直方向的字符串重復(fù)的前景區(qū)域統(tǒng)一至任一方向的字符串的重復(fù)區(qū)域統(tǒng)一處理(步驟S12!3)，結(jié)束處理。在步驟S121中進行的水平字符串生成處理中，首先，字符串區(qū)域抽出處理部97將變量i的值設(shè)定為1(步驟S131)。其中，變量i用于存儲附加在圖像數(shù)據(jù)中的各前景區(qū)域的標(biāo)記值。接著，字符串區(qū)域抽出處理部97對標(biāo)記i的前景區(qū)域進行右方向區(qū)域統(tǒng)一處理 (步驟S13》。在右方向區(qū)域統(tǒng)一處理中，字符串區(qū)域抽出處理部97在被判定為字符串方向是水平方向的標(biāo)記i的前景區(qū)域中存在在右方向上連續(xù)的前景區(qū)域的情況下，判定是否將該右方向的前景區(qū)域作為水平方向的字符串統(tǒng)一至標(biāo)記i的前景區(qū)域。字符串區(qū)域抽出處理部97針對包含標(biāo)記i的前景區(qū)域的字符串(多個前景區(qū)域)取得垂直方向的最小坐標(biāo)upper_pos和最大坐標(biāo)lower_pos，在右方向的前景區(qū)域的垂直方向的最小坐標(biāo)minY禾口最大坐標(biāo)maxY滿足下述的水平方向統(tǒng)一條件的情況下，將右方向的前景區(qū)域統(tǒng)一至標(biāo)記i 的前景區(qū)域。另外，水平方向統(tǒng)一條件所包含的偏移值(偏置)例如也可以使用預(yù)先決定的固定值(例如8)，此外，例如也可以使用在l0Wer_p0S和upper_p0S的差乘以規(guī)定系數(shù) (例如0. 2)而得的值。水平方向統(tǒng)一條件右方向的前景區(qū)域的minY彡(upper_pos-偏移值)，且右方向的前景區(qū)域的maxY ( (lower_pos+偏移值)。在右方向區(qū)域統(tǒng)一處理結(jié)束后，字符串區(qū)域抽出處理部97，判定變量i的值是否達(dá)到最大值(前景區(qū)域的總數(shù))(步驟S133)，在變量i的值未達(dá)到最大值的情況下(S133 NO)，在變量i的值上加1 (步驟S134)，將處理返回到步驟S132，對下一標(biāo)記i的前景區(qū)域進行同樣的處理。在變量i的值達(dá)到最大值的情況下(S133 =YES)，字符串區(qū)域抽出處理部97對標(biāo)記i的前景區(qū)域進行左方向區(qū)域統(tǒng)一處理(步驟S135)。在左方向區(qū)域統(tǒng)一處理中，字符串區(qū)域抽出處理部97在被判定為字符串方向是水平方向的標(biāo)記i的前景區(qū)域中存在在左方向上連續(xù)的前景區(qū)域的情況下，判定是否將該左方向的前景區(qū)域作為水平方向的字符串統(tǒng)一至標(biāo)記i的前景區(qū)域。左方向區(qū)域統(tǒng)一處理，對標(biāo)記i的左方向的前景區(qū)域進行與右方向區(qū)域統(tǒng)一處理相同的處理即可，對水平方向統(tǒng)一條件，也以左方向的前景區(qū)域的minY和 maxY代替右方向的前景區(qū)域的minY和maxY進行同樣的判定即可。在左方向區(qū)域統(tǒng)一處理結(jié)束以后，字符串區(qū)域抽出處理部97，判定變量i的值是否為1 (步驟S136)，在變量i的值不是1的情況下(S136 :N0)，從變量i的值減去1 (步驟 S137)，將處理返回到步驟S135，對前一個標(biāo)記i的前景區(qū)域進行同樣的處理。在變量i的值是1的情況下(S136 YEQ，字符串區(qū)域抽出處理部97結(jié)束水平字符串生成處理。在步驟S122中進行的垂直字符串生成處理中，首先，字符串區(qū)域抽出處理部97將變量i的值設(shè)定為1(步驟S141)。其中，變量i用于存儲附加在圖像數(shù)據(jù)中的各前景區(qū)域的標(biāo)記值。接著，字符串區(qū)域抽出處理部97對標(biāo)記i的前景區(qū)域進行下方向區(qū)域統(tǒng)一處理 (步驟Sl^)。在下方向區(qū)域統(tǒng)一處理中，字符串區(qū)域抽出處理部97在被判定為字符串方向是垂直方向的標(biāo)記i的前景區(qū)域中存在在下方向上連續(xù)的前景區(qū)域的情況下，判定是否將該下方向的前景區(qū)域作為垂直方向的字符串統(tǒng)一至標(biāo)記i的前景區(qū)域。字符串區(qū)域抽出處理部97針對包含標(biāo)記i的前景區(qū)域的字符串(多個前景區(qū)域)取得水平方向的最小坐標(biāo)left_pos和最大坐標(biāo)right_pos，在下方向的前景區(qū)域的水平方向的最小坐標(biāo)minX和最大坐標(biāo)maxX滿足下述的垂直方向統(tǒng)一條件的情況下，將下方向的前景區(qū)域統(tǒng)一至標(biāo)記i 的前景區(qū)域。此外，垂直方向統(tǒng)一條件所包含的偏移值也可以使用例如預(yù)先決定的固定值 (例如8)，此外，也可以使用例如在left_p0S和right_pos的差乘以規(guī)定系數(shù)(例如0. 2) 而得的值。垂直方向統(tǒng)一條件下方向的前景區(qū)域的minX彡(left_p0S-偏差)，且下方向的前景區(qū)域的maxX ( (right_pos+偏差)。在下方向區(qū)域統(tǒng)一處理結(jié)束后，字符串區(qū)域抽出處理部97，判定變量i的值是否達(dá)到最大值(前景區(qū)域的總數(shù))(步驟S143)，在變量i的值未達(dá)到最大值的情況下(S143 NO)，在變量i的值上加1 (步驟S144)，將處理返回到步驟S142，對下一標(biāo)記i的前景區(qū)域進行同樣的處理。在變量i的值達(dá)到最大值的情況下(S143 =YES)，字符串區(qū)域抽出處理部97對標(biāo)記i的前景區(qū)域進行上方向區(qū)域統(tǒng)一處理(步驟S145)。在上方向區(qū)域統(tǒng)一處理中，字符串區(qū)域抽出處理部97在被判定為字符串方向是垂直方向的標(biāo)記i的前景區(qū)域中存在在上方向上連續(xù)的前景區(qū)域的情況下，判定是否將該上方向的前景區(qū)域作為垂直方向的字符串統(tǒng)一為標(biāo)記i的前景區(qū)域。上方向區(qū)域統(tǒng)一處理，對標(biāo)記i的上方向的前景區(qū)域進行與下方向區(qū)域統(tǒng)一處理同樣的處理即可，對垂直方向統(tǒng)一條件，也以上方向的前景區(qū)域的minX和 maxX代替下方向的前景區(qū)域的minX和maxX進行相同的判定即可。在上方向區(qū)域統(tǒng)一處理結(jié)束后，字符串區(qū)域抽出處理部97，判定變量i的值是否為1 (步驟S146)，在變量i的值不是1的情況下(S146 :N0)，從變量i的值減去1 (步驟 S147)，將處理返回到步驟S145，對前一個標(biāo)記i的前景區(qū)域進行同樣的處理。在變量i的值是1的情況下(S146 YEQ，字符串區(qū)域抽出處理部97結(jié)束垂直字符串生成處理。在步驟S123中進行的重復(fù)區(qū)域統(tǒng)一處理中，首先，字符串區(qū)域抽出處理部97將變量i的值設(shè)定為1(步驟S151)，將變量j的值設(shè)定為1(步驟S152)。其中，變量i用于存儲附加在字符串的標(biāo)記值，該字符串是通過水平字符串生成處理或垂直字符串生成處理將多個前景區(qū)域統(tǒng)一而生成的，變量j用于存儲附加在圖像數(shù)據(jù)中的各前景區(qū)域的標(biāo)記值。接著，字符串區(qū)域抽出處理部97判定標(biāo)記i的字符串的區(qū)域與標(biāo)記j的前景區(qū)域是否重復(fù)(步驟S153)。標(biāo)記i的字符串區(qū)域和標(biāo)記j的前景區(qū)域是否重復(fù)能夠根據(jù)是否滿足下述的重復(fù)判定條件(換言之，標(biāo)記j的前景區(qū)域是否存儲在標(biāo)記i的字符串的區(qū)域內(nèi))來判定。此外，在重復(fù)判定條件中，minX、minY、maxX和maxY是各前景區(qū)域或各字符串區(qū)域的水平方向最小坐標(biāo)、垂直方向最小坐標(biāo)、水平方向最大坐標(biāo)和垂直方向最大坐標(biāo)。重復(fù)判定條件標(biāo)記j的前景區(qū)域的minX彡標(biāo)記i的字符串區(qū)域的minX，且標(biāo)記j的前景區(qū)域的minY彡標(biāo)記i的字符串區(qū)域的minY，且標(biāo)記j的前景區(qū)域的maxX彡標(biāo)記i的字符串區(qū)域的maxX，且標(biāo)記j的前景區(qū)域的maxY彡標(biāo)記i的字符串區(qū)域的maxY。字符串區(qū)域抽出處理部97在判定標(biāo)記i的字符串區(qū)域與標(biāo)記j的前景區(qū)域重復(fù)的情況下(S153 ，進行將標(biāo)記j的前景區(qū)域統(tǒng)一至標(biāo)記i的字符串的區(qū)域統(tǒng)一處理(步驟SlM)，此外，在判定為標(biāo)記i的字符串區(qū)域與標(biāo)記j的前景區(qū)域不重復(fù)的情況下 (S153 :N0)，不進行區(qū)域統(tǒng)一處理，而使處理進入步驟S155。字符串區(qū)域抽出處理部97，判定變量j的值是否達(dá)到最大值(前景區(qū)域的總數(shù))(步驟S155)，在變量j的值未達(dá)到最大值的情況下(S155 :N0)，在變量j的值上加1 (步驟S156)，將處理返回到步驟S153，對下一標(biāo)記j的前景區(qū)域進行同樣的處理。在變量j的值達(dá)到最大值的情況下(S155 :YES)，字符串區(qū)域抽出處理部97，判定變量i的值是否達(dá)到最大值(字符串的總數(shù))(步驟S157)，在變量i的值未達(dá)到最大值的情況下(S157 :N0)，在變量i的值上加1 (步驟S158)，將處理返回到步驟S152，對下一標(biāo)記 i的字符串進行同樣的處理。在變量i的值達(dá)到最大值的情況下(S157:YES)，字符串區(qū)域抽出處理部97結(jié)束重復(fù)區(qū)域統(tǒng)一處理。圖35是表示字符串區(qū)域抽出處理部97進行的處理的一個例子的示意圖，是字符串區(qū)域抽出處理部97對圖30所示的字符串方向修正處理的結(jié)果進行字符串的抽出處理后的圖。字符串區(qū)域抽出處理部97通過進行上述的處理，將圖像數(shù)據(jù)中的多個前景區(qū)域統(tǒng)一，作為水平方向字符串或垂直方向字符串抽出。在圖示的例子中，將前景區(qū)域1 10作為水平方向字符串1抽出，將前景區(qū)域11 18作為水平方向字符串2抽出。字符串區(qū)域抽出處理部97將抽出字符串的結(jié)果作為字符串信息輸出給非字符串區(qū)域去除處理部98。非字符串區(qū)域去除處理部98對字符串區(qū)域抽出處理部97抽出的各字符串進行如下的處理在字符串區(qū)域的寬度或高度為規(guī)定值(例如4)以下的情況下，將該字符串除去 (去除)，由此從區(qū)域的尺寸中除去不像字符串的部分。去除條件
字符串區(qū)域的寬度彡閾值，或字符串區(qū)域的高度 < 閾值通過以上的處理，布局分析處理部53能夠從由線檢測處理部52提供的前景像素塊掩模和線信息中抽出圖像數(shù)據(jù)所包含的字符串，并將所抽出的字符串的信息作為字符串信息輸出給前景層生成處理部M。(4)前景層生成處理部M圖36是表示前景層生成處理部M的結(jié)構(gòu)的框圖。此外，圖37是用于對前景層生成處理部M的處理概要進行說明的示意圖。前景層生成處理部M進行如下的處理基于線檢測處理部52輸出的前景像素塊掩模和布局分析處理部53輸出的字符串信息，生成前景像素的位置信息即前景掩模、以及將前景像素的色彩索引化而得到的前景索引色信息， 最終將與各前景索引色對應(yīng)的二值圖像和前景索引色信息輸出。為了進行該處理，前景層生成處理部M具備前景區(qū)域前景代表色算出處理部101、字符串區(qū)域前景代表色算出處理部102、前景代表色統(tǒng)一處理部103、前景像素掩模抽出處理部104和二值圖像生成處理部 105。前景層生成處理部M首先利用前景區(qū)域前景代表色算出處理部101對前景像素塊掩模的各前景區(qū)域計算前景代表色。字符串區(qū)域前景代表色算出處理部102基于各前景區(qū)域的前景代表色，對布局分析處理部53輸出的字符串信息的各字符串區(qū)域計算前景代表色。前景代表色統(tǒng)一處理部103通過將圖像數(shù)據(jù)的各字符串區(qū)域的前景代表色以頁單位統(tǒng)一，削減整個頁的描繪所需的前景代表色的色彩數(shù)。前景像素掩模抽出處理部104通過對圖像數(shù)據(jù)的各前景區(qū)域的像素值與各前景區(qū)域的前景代表色和/或字符串區(qū)域的前景代表色進行比較，抽出前景像素，生成并輸出前景像素的抽出結(jié)果即前景像素掩模。二值圖像生成處理部105將所抽出的前景像素與字符串區(qū)域的前景代表色對應(yīng)，作為二值圖像輸出ο前景區(qū)域前景代表色算出處理部101基于由布局分析處理部53的標(biāo)示處理部91 附加在前景區(qū)域的標(biāo)記值和前景抽出處理部51生成的像素塊前景代表色，計算前景區(qū)域的前景代表色。前景區(qū)域前景代表色算出處理部101首先將包圍附加有標(biāo)記的前景區(qū)域的矩形區(qū)域作為處理對象抽出，計算該矩形區(qū)域的像素塊前景代表色(前景代表色不是不確定值的像素塊代表色)的平均值。接著，前景區(qū)域前景代表色算出處理部101將處理對象矩形區(qū)域所包含的前景像素塊的像素塊前景代表色量化。圖38A、圖38B是表示用于對像素塊前景代表色的量化進行說明的示意圖。前景區(qū)域前景代表色算出處理部101將像素塊前景代表色轉(zhuǎn)換為LCH色彩空間的色彩，將亮度 L量化為5階段(級)的亮度范圍，并且將彩度C和色相H量化為一個無彩色和12個有彩色的13階段。如圖38A所示，在本例中，將索引L = 0分配給亮度L = 0 63，將索引L = 1分配給亮度L = 64 127，將索引L = 2分配給亮度L = 1 191，將索引L = 3分配給亮度L = 192 223，將索引L = 4分配給亮度L = 2M 255。此外，如圖38B所示，在本例中，將彩度C和色相H作為矢量來處理，在表示矢量長(矢量長度)的彩度C = O 20 的情況下，分配索引CH = 0，在彩度C > 20的情況下，根據(jù)表示矢量的角度的色相H的值， 分配索引CH = 1 12。前景區(qū)域前景代表色算出處理部101，對量化后的像素塊前景代表色，按每一量化級(level)(上述的索引)計算像素塊數(shù)的累積和以及像素塊前景代表色的累積和，從像素塊數(shù)成為最大的量化級和該量化級的附近量化級(量化級別)的像素塊數(shù)與像素塊前景代表色的累積和，計算前景區(qū)域的前景代表色。例如，前景區(qū)域前景代表色算出處理部101也可以使用前景區(qū)域所包含的像素塊的像素塊前景代表色的平均值作為前景區(qū)域的前景代表色。通過按每一前景區(qū)域計算前景代表色，能夠抑制前景代表色的過分割。字符串區(qū)域前景代表色算出處理部102從由前景區(qū)域前景代表色算出處理部101 計算出的各前景區(qū)域的前景代表色計算字符串區(qū)域的前景代表色。字符串區(qū)域前景代表色算出處理部102首先將各字符串區(qū)域所包含的前景區(qū)域的前景代表色量化(量化的順序與前景區(qū)域前景代表色算出處理部101相同)。通過量化，前景代表色根據(jù)亮度的索引L和彩度及色相的索引CH的組合劃分為5X 13 = 65種。接著，字符串區(qū)域前景代表色算出處理部102以量化為5階段的亮度為基準(zhǔn)，對量化級(索引)附加標(biāo)記。此時，字符串區(qū)域前景代表色算出處理部102將屬于各索引的像素數(shù)(像素塊數(shù))為規(guī)定的閾值以上的像素數(shù)作為標(biāo)記附加的對象，而像素數(shù)不滿足閾值的像素數(shù)不作為標(biāo)記附加的對象。另外，用于判斷是否進行標(biāo)記附加的閾值既可以是預(yù)先決定的固定值，也可以是在處理對象字符串區(qū)域所包含的像素數(shù)乘以規(guī)定系數(shù)(例如0. 1) 而得的值。字符串區(qū)域前景代表色算出處理部102從亮度的索引L = 0依次搜索像素數(shù)超過規(guī)定值的索引并附加標(biāo)記，在成為對象的索引連續(xù)存在的情況下，通過對連續(xù)的多個索引附加同一標(biāo)記將索引統(tǒng)一。此外，字符串區(qū)域前景代表色算出處理部102將附加有同一(相同)標(biāo)記的多個索引的像素塊數(shù)與前景代表色的累積和相加，針對各標(biāo)記將前景代表色的累積和除以像素塊數(shù)的累積和而得的值(即平均值)作為該標(biāo)記的代表色進行計算。通過對是有量化的索引進行這樣的標(biāo)記附加，能夠進行以亮度為基準(zhǔn)的索引統(tǒng)一。接著，字符串區(qū)域前景代表色算出處理部102以量化為13階段的彩度和色相中的 12個有彩色(即索引CH = 1 12)為基準(zhǔn)，判定在色相軸上相鄰(在圖38B中記載的圓的圓周方向上相鄰)的標(biāo)記是否能夠統(tǒng)一，并進行標(biāo)記的統(tǒng)一。能夠從各標(biāo)記的代表色求取色相的成分并計算差值、然后根據(jù)該差值是否小于規(guī)定值(例如30° )來判定相鄰的兩個標(biāo)記是否能夠統(tǒng)一，在差值小于規(guī)定值的情況下，字符串區(qū)域前景代表色算出處理部102 將兩個標(biāo)記統(tǒng)一。通過對所有有彩色索引進行該處理，字符串區(qū)域前景代表色算出處理部 102能夠以各字符串區(qū)域單位將前景代表色索引化。通過在整個頁(面)進行索引化，以字符串區(qū)域單位進行索引化的方式更能夠抑制前景代表色的過分割(過劃分)。前景代表色統(tǒng)一處理部103是進行將由字符串區(qū)域前景代表色算出處理部102計算出的各字符串區(qū)域的前景代表色以頁單位統(tǒng)一的處理的處理部，由此，能夠削減整個頁的描繪所需的前景代表色數(shù)。圖39是表示前景代表色統(tǒng)一處理部103的結(jié)構(gòu)的框圖。此夕卜，圖40是表示前景代表色統(tǒng)一處理部103進行的處理的順序的流程圖。前景代表色統(tǒng)一處理部103按每一頁計算字符串區(qū)域前景代表色算出處理部102計算出的前景代表色的索引的總數(shù)，由索引數(shù)判定處理部111判定該索引總數(shù)是否超過閾值(例如31)(步驟S161)。在索引總數(shù)超過閾值的情況下(S161 ，前景代表色統(tǒng)一處理部103利用色差直方圖生成處理部112進行每一頁的色差直方圖的生成(步驟S162)。圖41是表示色差直方圖的一個例子的示意圖。前景代表色統(tǒng)一處理部103的色差直方圖生成處理部112，針對
38各前景代表色，搜索色差成為最小的其它前景代表色，生成以與通過搜索發(fā)現(xiàn)的其它前景代表色的色差為橫軸、以具有該色差的其它前景代表色的數(shù)(頻度(frequency 次數(shù)))為縱軸的色差直方圖。另外，色差例如能夠在L ± a±h *的色彩空間作為 *來進行計算。接著，前景代表色統(tǒng)一處理部103的索引統(tǒng)一處理部113基于所制作的色差直方圖，將前景代表色的索引統(tǒng)一(步驟S163)。能夠針對在步驟S162制作的色差直方圖中的、 色差最小的多個前景代表色，將索引集中為一個，由此進行索引的統(tǒng)一。在圖41所示的例子中，色差最小的三個前景代表色(圖中的帶陰影的部分)被統(tǒng)一為一個前景代表色。在進行索引的統(tǒng)一處理后，前景代表色統(tǒng)一處理部103將處理返回到步驟S161， 再次進行索引總數(shù)是否超過閾值的判定。在索引總數(shù)為閾值以下的情況下(S161 :N0)，前景代表色統(tǒng)一處理部103結(jié)束處理。通過前景代表色統(tǒng)一處理部103以頁單位進行以上的處理，能夠削減整個頁的描繪所需的前景代表色數(shù)。接著，前景像素掩模抽出處理部104通過將前景區(qū)域前景代表色算出處理部101 計算出的前景代表色和/或字符串區(qū)域前景代表色算出處理部102計算出且前景代表色統(tǒng)一處理部103進行統(tǒng)一后的前景代表色與輸入圖像數(shù)據(jù)的像素值進行比較，從而進行與字符串區(qū)域的前景代表色對應(yīng)的前景像素掩模的制作。首先，前景像素掩模抽出處理部104 對各字符串區(qū)域分別計算輸入圖像數(shù)據(jù)與字符串區(qū)域的前景代表色以及背景代表色之間的差。前景像素掩模抽出處理部104，在處理對象區(qū)域內(nèi)存在背景代表色、并且輸入圖像數(shù)據(jù)的像素值與前景代表色之間的差小于規(guī)定的閾值、且在輸入圖像數(shù)據(jù)的像素值與字符串區(qū)域的前景代表色之間的差乘以規(guī)定系數(shù)(例如1. 而得的值比輸入圖像數(shù)據(jù)的像素值與背景代表色之間的差小的情況下，判定為輸入圖像數(shù)據(jù)的對象像素為前景像素。前景像素掩模抽出處理部104通過重復(fù)進行以上的處理，生成具有與前景像素相關(guān)的信息的前景像素掩模，提供給二值圖像生成處理部105。接著，二值圖像生成處理部105按由前景代表色統(tǒng)一處理部103統(tǒng)一的每一前景色的索引將前景像素掩模抽出處理部104抽出的前景像素掩模分離，從而生成每一前景色的前景像素掩模。每一前景色的前景像素掩模能夠作為二值的圖像來生成，二值圖像生成處理部105將所生成的每一前景色的前景像素掩模作為前景層二值圖像進行輸出。此外， 二值圖像生成處理部105除了輸出前景層二值圖像之外，還將前景索引色信息作為前景色的索引的信息進行輸出。通過以上的處理，前景層生成處理部M能夠生成將前景像素的色彩索引化而得到的前景索引色信息和與各前景代表色的索引對應(yīng)的前景層二值圖像，并輸出給背景層生成處理部55和圖像壓縮部56。另外，通過按每一索引的多個前景層二值圖像進行邏輯和運算(或運算)，能夠得到輸入圖像數(shù)據(jù)的前景像素掩模。(5)背景層生成處理部55背景層生成處理部55是為提高背景層的壓縮率而使用不是前景像素的周邊背景像素填補輸入圖像數(shù)據(jù)的前景像素部分的處理的處理部，將處理結(jié)果作為背景層輸出。圖 42是用于對背景層生成處理部55進行的處理進行說明的示意圖。如圖所示，例如，通過色彩轉(zhuǎn)換處理部50 前景層生成處理部M分別進行的處理，能夠從包含字符和照片等圖像的輸入圖像數(shù)據(jù)生成表示字符像素的位置的前景像素掩模。背景層生成處理部陽基于前景像素掩模，把握輸入圖像數(shù)據(jù)中的前景像素的位置，將前景像素部分替換為周邊的背景像素，由此進行背景層的生成。圖43是表示背景層生成處理部55進行的處理的順序的流程圖。背景層生成處理部55從輸入圖像數(shù)據(jù)中取得一個像素作為處理對象(步驟S171)，基于前景像素掩模判定所取得的處理對象像素是否為前景像素(步驟S172)。在處理對象像素不是前景像素的情況下(S172 :N0)，背景層生成處理部55將處理對象像素值作為背景層的像素值直接輸出， (步驟S17!3)，并且將該像素值作為背景像素值存儲(步驟S174)，使處理進入步驟S176。此外，在處理對象像素是前景像素的情況下(S172 ，背景層生成處理部55基于在步驟S174存儲的背景像素值，例如將所存儲的多個背景像素值的平均值或最近存儲的背景像素值等像素值與處理對象像素值替換(置換)(步驟S17Q，作為背景層的像素值輸出。然后，背景層生成處理部55判定是否對輸入圖像數(shù)據(jù)的所有像素完成了上述的處理 (步驟S176)，在沒有完成所有像素的處理的情況下(S176 :N0)，將處理返回到步驟S171，對輸入圖像數(shù)據(jù)的下一個像素進行同樣的處理。在完成了對所有像素的處理的情況下(S176 YES)，背景層生成處理部55結(jié)束處理。通過以上的處理，背景層生成處理部55能夠生成從輸入圖像數(shù)據(jù)中除去前景像素而得到的背景層并輸出給圖像壓縮部56。由此，圖像壓縮部56能夠?qū)τ汕熬皩由商幚聿?5生成的前景層和背景層生成處理部55生成的背景層按照不同的壓縮方式分別進行數(shù)據(jù)壓縮。接著，參照流程圖對壓縮處理部30的各部進行的處理的流程進行說明。圖44 圖48是表示壓縮處理部30進行的處理的順序的流程圖。壓縮處理部30首先利用色彩轉(zhuǎn)換處理部50對來自區(qū)域分離處理部M的輸入圖像數(shù)據(jù)進行色彩轉(zhuǎn)換(步驟S201)，然后對轉(zhuǎn)換后的圖像數(shù)據(jù)進行前景抽出處理部51的前景抽出處理(步驟S202)，從而得到像素塊背景代表色、像素塊前景代表色和前景像素塊掩模。接著，壓縮處理部30進行如下處理基于通過前景抽出處理得到的前景像素塊掩模，進行線檢測處理部52的線檢測處理(步驟S203)，生成線信息，基于該線信息，布局分析處理部53進行輸入圖像數(shù)據(jù)的布局分析處理(步驟S204)，生成輸入圖像數(shù)據(jù)中的字符串的字符串區(qū)域信息。接著，壓縮處理部30進行如下處理基于通過上述的處理得到的像素塊背景代表色、像素塊前景代表色、前景像素塊掩模和字符串區(qū)域信息等，由前景層生成處理部討進行從輸入圖像數(shù)據(jù)中抽出前景像素而得到的前景層的生成處理(步驟S2(^)，基于所生成的前景層，由背景層生成處理部55進行成為輸入圖像數(shù)據(jù)的背景的背景層的生成處理(步驟S206)。然后，壓縮處理部30利用圖像壓縮部56進行分別適合于所生成的前景層和背景層的方式的圖像壓縮處理(步驟S207)，并結(jié)束處理。在步驟S202中進行的前景抽出處理中，壓縮處理部30的前景抽出處理部51首先設(shè)定分割輸入圖像數(shù)據(jù)的塊尺寸(例如8像素X 8像素等)(步驟S211)，并以成為所設(shè)定的塊尺寸的方式將輸入圖像數(shù)據(jù)分割為多個像素塊(步驟S212)。接著，前景抽出處理部 51通過判定分割后的像素塊所包含的像素值的差，從多個像素塊中抽出平坦像素塊(步驟 S213)。然后，前景抽出處理部51判定像素塊的塊尺寸是否達(dá)到規(guī)定尺寸(步驟S214)，在塊尺寸未達(dá)到規(guī)定尺寸的情況下(S214 :N0)，將塊尺寸變更為小的尺寸(步驟S215)，將處理返回到步驟S212，重復(fù)進行像素塊的分割和平坦像素塊的抽出。在像素塊的塊尺寸達(dá)到規(guī)定尺寸的情況下(S214:YES)，前景抽出處理部51，從所抽出的平坦像素塊的像素值計算像素塊背景代表色(步驟S216)，通過所計算出的像素塊背景代表色與各像素塊的像素值的比較，抽出前景像素塊，生成前景像素塊掩模(步驟 S217)，通過各像素塊的像素值與像素塊背景代表色的比較，計算出像素塊前景代表色(步驟S218)，結(jié)束前景抽出處理。在步驟S203中進行的線檢測處理中，壓縮處理部30的線檢測處理部52首先將輸入圖像數(shù)據(jù)的在水平方向連續(xù)的多個前景像素塊作為水平線候補抽出(步驟S221)， 并同樣將輸入圖像數(shù)據(jù)的在垂直方向連續(xù)的多個前景像素塊作為垂直線候補抽出(步驟 S222)。接著，線檢測處理部52針對所抽出的線候補，將存在于水平方向或垂直方向的同一線上并接近的多個線候補結(jié)合為一個線候補(步驟S223)，基于各線候補的寬度分布，進行各線候補是否為線的判定(步驟S2M)。接著，線檢測處理部52進行各線是否為水平方向或垂直方向的單獨線、或者是否為構(gòu)成圖像中的表的線的判定(步驟S225)，最后將檢測到的線的信息作為線信息輸出，結(jié)束線檢測處理。在步驟S204中進行的布局分析處理中，壓縮處理部30的布局分析處理部53首先對在圖像數(shù)據(jù)中連續(xù)的多個前景像素塊進行對作為前景區(qū)域的固有標(biāo)記進行分配的標(biāo)示處理(步驟S231)，基于進行標(biāo)記附加后的各前景區(qū)域的高度、寬度或像素塊數(shù)等信息，判定各前景區(qū)域是否為相當(dāng)于字符的前景區(qū)域，并將不相當(dāng)于字符的前景區(qū)域排除在外(步驟S232)。接著，布局分析處理部53進行如下的處理基于線檢測處理部52輸出的線信息， 將位于圖像中的表內(nèi)的前景區(qū)域作為字符串抽出(步驟S233)。接著，布局分析處理部53，針對各前景區(qū)域，計算與位于上下左右任一方向的附近的其它前景區(qū)域之間的距離(步驟S234)，并且計算前景區(qū)域的水平方向的連續(xù)數(shù)和平均距離(或距離總和)(步驟S235)，并同樣計算垂直方向的連續(xù)數(shù)和平均距離(或距離總和) (步驟S236)。接著，布局分析處理部53進行如下的處理通過將水平方向的連續(xù)數(shù)和平均距離與垂直方向的連續(xù)數(shù)和平均距離進行比較，推定多個前景區(qū)域是否為構(gòu)成水平方向或垂直方向的字符串的前景區(qū)域(步驟S237)，判定所推定的字符串的方向是否妥當(dāng)，對判定為不妥當(dāng)?shù)淖址姆较蜻M行修正(步驟S238)。接著，布局分析處理部53進行如下的處理從圖像數(shù)據(jù)找出推定的字符串方向相同的多個前景區(qū)域，將前景區(qū)域間的距離短且在與字符串方向垂直的方向的位置關(guān)系適當(dāng)?shù)亩鄠€前景區(qū)域作為字符串抽出，將字符串所涉及的信息制作成字符串信息(步驟S239)，基于字符串區(qū)域的寬度或高度，將不像字符串的區(qū)域從字符串信息中刪除(步驟S240)，結(jié)束布局分析處理。在步驟S205中進行的前景層生成處理中，壓縮處理部30的前景層生成處理部M 首先進行如下的處理針對前景像素塊掩模的各前景區(qū)域計算前景代表色(步驟S251)，基于各前景區(qū)域的前景代表色計算各字符串區(qū)域的前景代表色(步驟S252)，將計算出的各字符串區(qū)域的前景代表色以圖像數(shù)據(jù)的頁單位進行統(tǒng)一(步驟S253)。接著，前景層生成處理部54，從圖像數(shù)據(jù)的像素值與前景代表色以及背景代表色的比較結(jié)果中抽出前景像素 (步驟S2M)，按每一前景代表色將前景像素分離，制作每一前景色的前景像素掩模(二值圖像)(步驟S25Q，結(jié)束前景層生成處理。以上結(jié)構(gòu)的圖像形成裝置利用色彩轉(zhuǎn)換處理部50 布局分析處理部53進行從
41輸入圖像數(shù)據(jù)抽出字符串區(qū)域的處理，前景層生成處理部M從字符串區(qū)域抽出前景像素， 通過采用這樣的結(jié)構(gòu)，能夠以字符串區(qū)域單位進行色彩信息的索引化等，能夠以字符串區(qū)域單位對前景代表色等色彩信息進行處理，因此不會以輸入圖像數(shù)據(jù)被過分割的區(qū)域單位 (例如像素塊單位)對色彩信息進行處理，能夠精度良好地進行前景像素的抽出。此外，線檢測處理部52從輸入圖像數(shù)據(jù)中抽出線，進行從前景像素塊掩模中將構(gòu)成線的像素塊排除在外的修正，由此，能夠從前景像素的抽出對象中將線排除在外，因此能夠僅將字符作為前景像素進行處理，能夠提高圖像壓縮部56的輸入圖像數(shù)據(jù)的壓縮率。此夕卜，此時，由于線被作為背景處理，因此能夠抑制粗糙等的發(fā)生，能夠?qū)崿F(xiàn)畫質(zhì)的提高。此夕卜，線檢測處理部52能夠通過檢測線來檢測圖像中的表，布局分析處理部53能夠抽出表中的字符串，因此能夠提高字符串區(qū)域的抽出精度。此外，在平坦像素塊抽出處理部61從輸入圖像數(shù)據(jù)中抽出平坦像素塊時，將像素塊的尺寸以逐漸變小的方式分割，重復(fù)進行是否為平坦像素塊的判定，通過采用這樣的結(jié)構(gòu)，能夠參照輸入圖像數(shù)據(jù)的從廣范圍的區(qū)域到局部的區(qū)域，進行平坦像素塊的抽出，因此能夠高精度地計算出背景代表色和前景代表色等，能夠高精度地抽出前景像素。此外，字符串方向推定處理部95根據(jù)前景區(qū)域間的距離及連續(xù)數(shù)對字符串方向進行推定，字符串區(qū)域抽出處理部97將在推定的方向相連的前景區(qū)域統(tǒng)一并作為字符串區(qū)域抽出，由此，能夠高精度地從輸入圖像數(shù)據(jù)中抽出字符串區(qū)域。此外，分別求取輸入圖像數(shù)據(jù)的各像素的像素值與前景代表色以及背景代表色之間的差，前景層生成處理部M 將差滿足規(guī)定條件的像素作為前景像素抽出，通過采用這樣的結(jié)構(gòu)，能夠以精度良好地進行基于前景代表色和背景代表色從輸入圖像數(shù)據(jù)抽出前景像素的處理。此外，前景代表色統(tǒng)一處理部103以輸入圖像數(shù)據(jù)的頁單位將字符串區(qū)域的前景代表色統(tǒng)一，通過采用這樣的結(jié)構(gòu)，能夠降低前景圖像的色彩數(shù)，能夠在將色彩信息索引化時降低索引數(shù)。此外，圖像壓縮部56，對前景層生成處理部M生成的前景層和背景層生成處理部 55生成的背景層分別實施例如利用可逆壓縮方式的MMR壓縮前景層、例如利用不可逆壓縮方式的JPEG壓縮背景層等適當(dāng)?shù)膲嚎s處理，能夠提高輸入圖像數(shù)據(jù)的壓縮率。另外，在本實施方式中，以進行抽出前景像素的圖像處理的圖像處理裝置20裝載在MFP的情況為例進行了說明，但是并不僅限于此，也可以將同樣的結(jié)構(gòu)應(yīng)用于平頭掃描裝置(flat-head scanner 平臺掃描裝置)等圖像讀取裝置，還可以將同樣的結(jié)構(gòu)應(yīng)用于進行圖像壓縮處理的其它裝置(例如產(chǎn)品掃描儀(product scanner)或文件歸檔服務(wù)器 (filing server)等)。此外，本實施方式的MFP采用了對彩色的圖像數(shù)據(jù)進行處理的結(jié)構(gòu)， 但是并不僅限于此，也可以為對黑白色的圖像數(shù)據(jù)進行處理的結(jié)構(gòu)。此外，不僅能夠作為MFP或圖像讀取裝置等硬件進行本發(fā)明的圖像處理的結(jié)構(gòu)實現(xiàn)，而且還能夠作為使計算機執(zhí)行圖像處理的計算機程序?qū)崿F(xiàn)，能夠采用如下結(jié)構(gòu)將該計算機程序的程序代碼(執(zhí)行形式程序、中間碼程序或源程序等)記錄在能夠通過計算機讀取的記錄介質(zhì)上。由此，能夠攜帶自如地提供記錄有進行本發(fā)明的前景像素抽出處理和壓縮處理等圖像處理的計算機程序的記錄介質(zhì)。上述實施方式的MFP及變形例的圖像讀取裝置等裝置，在具備ROM (Read Only Memory 只讀存儲器)或硬盤等存儲單元的情況下，既可以為將計算機程序的程序代碼 (即，程序碼)存儲在該存儲單元的結(jié)構(gòu)，此外，這些裝置也可以為如下結(jié)構(gòu)具備裝卸記錄介質(zhì)而讀取程序代碼的裝置，通過執(zhí)行從記錄介質(zhì)讀取的計算機程序來進行圖像處理。在這些情況下，存儲在存儲裝置或記錄介質(zhì)等上的計算機程序，既可以為MFP或圖像讀取裝置等裝置所具備的CPU等直接讀出并使其執(zhí)行的結(jié)構(gòu)，也可以為將程序碼從存儲裝置或記錄介質(zhì)下載到RAM (Random Access Memory 隨機存取存儲器)等存儲區(qū)而由CPU等執(zhí)行的結(jié)構(gòu)(用于下載程序碼的計算機程序預(yù)先裝設(shè)于裝置主體)。作為可裝卸于MFP或圖像讀取裝置等裝置的記錄介質(zhì)，也可以如磁帶或盒式磁帶等帶類介質(zhì)、柔性磁盤或硬盤等磁盤介質(zhì)、CD (Compact Disc 光盤)、M0 (Magneto-Optical 磁光盤)、MD (Mini Disc:迷你盤)或DVD (Digital Versatile Disk:數(shù)字多用光盤)等光盤介質(zhì)、ICantegrated Circuit 集成電路)卡、存儲卡或光卡等卡類介質(zhì)、或者掩模ROM、 EPROM(Erasable Programmable ROM 可擦除可編程ROM)、EEPR0M(ElectricalIy Erasable Programmable ROM 電可擦除可編程ROM)或閃存存儲器等半導(dǎo)體存儲介質(zhì)等那樣，固定地?fù)?dān)持計算機程序的介質(zhì)。這些記錄介質(zhì)通過安裝于MFP或圖像讀取裝置等裝置，且讀取并執(zhí)行記錄于記錄介質(zhì)的計算機程序，來進行上述的圖像處理。此外，MFP或圖像讀取裝置等裝置在為能夠與互聯(lián)網(wǎng)等通信網(wǎng)絡(luò)連接而進行數(shù)據(jù)收發(fā)的結(jié)構(gòu)的情況下，也可以為經(jīng)由通信網(wǎng)絡(luò)下載計算機程序且通過執(zhí)行所下載的計算機程序進行圖像處理的結(jié)構(gòu)。在這種情況下，用于經(jīng)由通信網(wǎng)絡(luò)下載圖像處理用的計算機程序的計算機程序既可以預(yù)先裝設(shè)于裝置主體，也可以經(jīng)由記錄介質(zhì)等而安裝。此外，本發(fā)明也能以上述計算機程序的程序碼載置于以電子傳輸而實現(xiàn)的輸送波的計算機數(shù)據(jù)信號的方式來實現(xiàn)。此外，執(zhí)行這些計算機程序的計算機，也可以具有平頭掃描裝置、底片式掃描儀 (掃描裝置)或數(shù)碼照相機等圖像輸入裝置、執(zhí)行計算機程序而進行圖像處理等各種各樣的處理的處理裝置、顯示處理結(jié)果的CRT (Cathode Ray Tube 陰極射線管)顯示器或液晶顯示器等圖像顯示裝置及將圖像處理的結(jié)果等輸出到紙等介質(zhì)的打印機等圖像輸出裝置等，此外，也可以具備用于與通信網(wǎng)絡(luò)連接的網(wǎng)卡或調(diào)整解調(diào)器等通信裝置。(變形例1)此外，在上述的實施方式中采用了壓縮處理部30具備線檢測處理部52的結(jié)構(gòu)，但是并不僅限于此，也可以采用不具備線檢測處理部52的結(jié)構(gòu)。圖49是表示變形例1的布局分析處理部53a的結(jié)構(gòu)的框圖，是壓縮處理部30不具備線檢測處理部52的情況下的布局分析處理部53a的結(jié)構(gòu)。變形例1的布局分析處理部53a是從圖21所示的布局分析處理部53除去表內(nèi)矩形特定處理部93后的結(jié)構(gòu)。S卩，變形例1的布局分析處理部53a是標(biāo)示處理部91和非矩形字符串去除處理部92的處理結(jié)果被提供給附近矩形間距離算出處理部94、不進行從輸入圖像數(shù)據(jù)中抽出表內(nèi)的字符串的處理的結(jié)構(gòu)。變形例1的布局分析處理部53a的各部進行的處理與上述的布局分析處理部53的各部進行的處理相同。圖50和圖51是表示變形例1的壓縮處理部30進行的處理的順序的流程圖。變形例1的壓縮處理部30進行的處理是從圖44的流程圖所示的處理中除去步驟S203的進行線檢測處理的順序后的處理。此外，變形例1的壓縮處理部30的布局分析處理部53a在步驟S204中進行的布局分析處理是從圖47的流程圖所示的處理中除去步驟S233的抽出處理的順序后的處理。(變形例2)
此外，在上述的實施方式中，前景抽出處理部51的平坦像素塊抽出處理部61，一邊變更像素塊的尺寸，一邊重復(fù)進行水平方向連結(jié)平坦像素塊抽出處理部72、垂直方向連結(jié)平坦像素塊抽出處理部73和塊庫平坦像素塊抽出處理部74的處理，但是并不僅限于此。 圖52是表示變形例2的平坦像素塊抽出處理部61a的結(jié)構(gòu)的框圖。變形例2的平坦像素塊抽出處理部61a，在初始平坦像素塊抽出處理部71的處理結(jié)束后，一邊變更像素塊的尺寸，一邊重復(fù)進行塊庫平坦像素塊抽出處理部74的平坦像素塊的抽出處理，水平方向連結(jié)平坦像素塊抽出處理部72和垂直方向連結(jié)平坦像素塊抽出處理部73對重復(fù)的結(jié)果得到的尺寸的像素塊進行平坦像素塊的抽出處理。由于水平方向連結(jié)平坦像素塊抽出處理部72 和垂直方向連結(jié)平坦像素塊抽出處理部73進行的抽出處理在像素塊的尺寸小的情況下特別有效，因此通過僅令塊庫平坦像素塊抽出處理部74的抽出處理為重復(fù)進行的處理，能夠不降低抽出精度地提高處理速度。
權(quán)利要求
1.一種圖像處理裝置，其特征在于從所輸入的圖像數(shù)據(jù)中抽出構(gòu)成該圖像數(shù)據(jù)的圖像的前景的前景像素，所述圖像處理裝置具備前景抽出處理部、布局分析處理部和前景像素抽出處理部， 所述前景抽出處理部具有平坦像素塊抽出單元，其將圖像數(shù)據(jù)分割為多個像素塊，將該像素塊所包含的像素間的像素值之差小于規(guī)定值的平坦像素塊抽出；背景代表色算出單元，其基于該平坦像素塊抽出單元抽出的平坦像素塊所包含的像素的像素值，計算背景代表色；前景像素塊判定單元，其將該背景代表色算出單元計算出的背景代表色與像素塊的像素值進行比較，判定該像素塊是否為構(gòu)成圖像的前景的前景像素塊，并且利用判定為是前景像素塊的像素塊制作前景像素塊掩模；和前景代表色算出單元，其基于該前景像素塊判定單元判定的前景像素塊所包含的像素的像素值，計算前景代表色， 所述布局分析處理部具有前景區(qū)域抽出單元，其基于所述前景像素塊判定單元制作的前景像素塊掩模，將前景像素塊連續(xù)的前景區(qū)域抽出，制作所抽出的前景區(qū)域的前景信息；前景區(qū)域間距離方向算出單元，其對該前景區(qū)域抽出單元抽出的多個前景區(qū)域間的距離和方向進行計算；和字符串區(qū)域抽出單元，其根據(jù)該前景區(qū)域間距離方向算出單元計算出的距離和方向， 抽出由多個前景區(qū)域構(gòu)成的字符串的區(qū)域，所述前景像素抽出處理部，根據(jù)所述背景代表色、所述前景代表色和所述字符串區(qū)域抽出單元抽出的字符串區(qū)域，從圖像數(shù)據(jù)中抽出前景像素。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備線抽出單元，其基于所述前景像素塊判定單元制作的前景像素塊掩模，將前景像素在圖像數(shù)據(jù)的圖像中在水平方向或垂直方向上呈直線狀連續(xù)的線抽出；和前景像素塊掩模修正單元，其進行從所述前景像素塊掩模中將構(gòu)成所述線抽出單元抽出的線的像素塊排除在外的修正，其中，所述布局分析處理部和所述前景像素抽出處理部使用所述前景像素塊掩模修正單元修正后的前景像素塊掩模進行處理。
3.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于所述平坦像素塊抽出單元，對于每個規(guī)定尺寸的像素塊，進行是否為平坦像素塊的判定，將判定為不是平坦像素塊的像素塊分割為比所述規(guī)定尺寸小的尺寸的像素塊，反復(fù)進行對于分割得到的每個像素塊進行所述判定的處理，直到像素塊的尺寸達(dá)到規(guī)定尺寸。
4.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于所述前景區(qū)域間距離方向算出單元，基于各前景區(qū)域的坐標(biāo)信息，搜索圖像數(shù)據(jù)的在水平方向或垂直方向連續(xù)的多個前景區(qū)域，計算在水平方向或垂直方向連續(xù)的多個前景區(qū)域間的距離，所述圖像處理裝置還具備字符串方向推定單元，該字符串方向推定單元根據(jù)所述前景區(qū)域間距離方向算出單元計算出的距離和在水平方向或垂直方向連續(xù)的多個前景區(qū)域的連續(xù)數(shù)，推定由多個前景區(qū)域構(gòu)成的字符串的方向，所述字符串區(qū)域抽出單元，根據(jù)所述字符串方向推定單元推定的字符串方向?qū)⒍鄠€前景區(qū)域統(tǒng)一，將統(tǒng)一后的前景區(qū)域作為字符串區(qū)域抽出。
5.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于所述前景像素抽出處理部，對圖像數(shù)據(jù)的對象像素的像素值與所述字符串區(qū)域抽出單元抽出的字符串區(qū)域的前景代表色及背景代表色算出單元計算出的背景代表色之間的差分別進行計算，在計算出的各個差滿足規(guī)定條件的情況下，將所述對象像素作為前景像素抽出。
6.如權(quán)利要求5所述的圖像處理裝置，其特征在于 所述圖像數(shù)據(jù)以頁單位進行輸入，所述前景像素抽出處理部，以圖像數(shù)據(jù)的頁單位將所述字符串區(qū)域抽出單元抽出的字符串區(qū)域的前景代表色統(tǒng)一。
7.一種圖像形成裝置，其特征在于，具備從所輸入的圖像數(shù)據(jù)中抽出構(gòu)成該圖像數(shù)據(jù)的圖像的前景的前景像素的圖像處理裝置；和圖像壓縮單元，其分別以不同的方式對該圖像處理裝置從圖像數(shù)據(jù)中抽出的前景像素的數(shù)據(jù)和所述前景像素以外的像素的數(shù)據(jù)進行壓縮，其中，所述圖像處理裝置具備前景抽出處理部、布局分析處理部和前景像素抽出處理部， 所述前景抽出處理部具有平坦像素塊抽出單元，其將圖像數(shù)據(jù)分割為多個像素塊，將該像素塊所包含的像素間的像素值之差小于規(guī)定值的平坦像素塊抽出；背景代表色算出單元，其基于該平坦像素塊抽出單元抽出的平坦像素塊所包含的像素的像素值，計算背景代表色；前景像素塊判定單元，其將該背景代表色算出單元計算出的背景代表色與像素塊的像素值進行比較，判定該像素塊是否為構(gòu)成圖像的前景的前景像素塊，并且利用判定為是前景像素塊的像素塊制作前景像素塊掩模；和前景代表色算出單元，其基于該前景像素塊判定單元判定的前景像素塊所包含的像素的像素值，計算前景代表色， 所述布局分析處理部具有前景區(qū)域抽出單元，其基于所述前景像素塊判定單元制作的前景像素塊掩模，將前景像素塊連續(xù)的前景區(qū)域抽出，制作所抽出的前景區(qū)域的前景信息；前景區(qū)域間距離方向算出單元，其對該前景區(qū)域抽出單元抽出的多個前景區(qū)域間的距離和方向進行計算；和字符串區(qū)域抽出單元，其根據(jù)該前景區(qū)域間距離方向算出單元計算出的距離和方向， 抽出由多個前景區(qū)域構(gòu)成的字符串的區(qū)域，所述前景像素抽出處理部，根據(jù)所述背景代表色、所述前景代表色和所述字符串區(qū)域抽出單元抽出的字符串區(qū)域，從圖像數(shù)據(jù)中抽出前景像素。
8.一種圖像處理方法，其特征在與從所輸入的圖像數(shù)據(jù)中，抽出構(gòu)成該圖像數(shù)據(jù)的圖像的前景的前景像素，該圖像處理方法包括將圖像數(shù)據(jù)分割為多個像素塊，將該像素塊所包含的像素間的像素值之差小于規(guī)定值的平坦像素塊抽出的工序；基于所抽出的平坦像素塊所包含的像素的像素值，計算背景代表色的工序； 將計算出的背景代表色與像素塊的像素值進行比較，判定該像素塊是否為構(gòu)成圖像的前景的前景像素塊，并且利用判定為是前景像素塊的像素塊制作前景像素塊掩模的工序； 基于判定的前景像素塊所包含的像素的像素值，計算前景代表色的工序； 基于所制作的前景像素塊掩模，將前景像素塊連續(xù)的前景區(qū)域抽出，制作所抽出的前景區(qū)域的前景區(qū)域信息的工序；計算所抽出的多個前景區(qū)域間的距離和方向的工序；根據(jù)計算出的距離和方向，抽出由多個前景區(qū)域構(gòu)成的字符串的區(qū)域的工序；和根據(jù)所述背景代表色、所述前景代表色和抽出的字符串區(qū)域，從圖像數(shù)據(jù)中抽出前景像素的工序。
全文摘要
本發(fā)明提供圖像處理裝置、圖像形成裝置和圖像處理方法。圖像處理裝置的壓縮處理部(30)由色彩轉(zhuǎn)換處理部(50)～布局分析處理部(53)進行從輸入圖像數(shù)據(jù)中抽出字符串區(qū)域的處理，前景層生成處理部(54)從字符串區(qū)域中進行前景像素的抽出，生成前景層。線檢測處理部(52)從輸入圖像數(shù)據(jù)中抽出線，且進行從前景抽出處理部(51)生成的前景像素塊掩模中將構(gòu)成線的像素塊排除在外的修正。布局分析處理部(53)根據(jù)前景區(qū)域間的距離及連續(xù)數(shù)，推定字符串方向，將在所推定的方向上連續(xù)的前景區(qū)域統(tǒng)一，作為字符串區(qū)域抽出。
文檔編號H04N1/56GK102480581SQ20111038074
公開日2012年5月30日 申請日期2011年11月25日 優(yōu)先權(quán)日2010年11月25日
發(fā)明者松田豐久 申請人:夏普株式會社