專利名稱：一種文檔圖像的配準(zhǔn)及特征點(diǎn)選取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理學(xué)科技術(shù)領(lǐng)域，特別是一種文檔圖像的配準(zhǔn)及 特征點(diǎn)選取方法。
背景技術(shù)：
文檔圖像是紙質(zhì)文檔的數(shù)字圖像形式，也是將紙質(zhì)文檔納入計算機(jī) 管理的重要方式。文檔圖像處理其目標(biāo)往往在于為處理文檔中所包含的 內(nèi)容提供圖像處理支持，是辦公自動化技術(shù)的重要組成部分，如，從文 檔圖像中提取文字圖像并提交給文字識別技術(shù)以實現(xiàn)文字信息的識別 等。文檔圖像配準(zhǔn)是文檔圖像處理中一項重要的內(nèi)容。圖像配準(zhǔn)是指對 一幅圖像進(jìn)行一定的幾何變換而映射到另一幅圖像中，使得兩幅圖像中 的相關(guān)點(diǎn)達(dá)到空間上的一致。這兩幅圖像一般分別被稱為配準(zhǔn)圖像和參 考圖像，而對應(yīng)的幾何變換為配準(zhǔn)變換。這些幾何變換對應(yīng)于兩幅圖像 采集過程中在旋轉(zhuǎn)、位移、尺度縮放、甚至變形等方面的差異。對于文 檔圖像配準(zhǔn)而言，圖像的相關(guān)點(diǎn)就是指兩幅圖像間重復(fù)的內(nèi)容圖像元 素，其目標(biāo)就在于找到一種幾何變換能將一幅圖像映射到另一幅圖像 上，使得兩幅圖像中重復(fù)的文檔內(nèi)容圖像元素能夠準(zhǔn)確吻合。其最主要 的用途在于發(fā)現(xiàn)或提取兩幅文檔圖像之間的內(nèi)容差別，將填寫了內(nèi)容的 文檔圖像與未填寫內(nèi)容的文檔圖像進(jìn)行配準(zhǔn)，即可將填寫的內(nèi)容提取出 來。這在一些數(shù)據(jù)報表、檔案信息表、調(diào)查問巻、票據(jù)表單、考試答巻 等文檔圖像的處理中廣泛使用。
通常，文檔圖像的配準(zhǔn)主要有以下幾種方法-
1)模板匹配方法從文檔圖像中抽取部分圖像內(nèi)容構(gòu)成模板，通 過分析模板之間的匹配關(guān)系，獲得文檔圖像的配準(zhǔn)變換參數(shù)。這種方法 適合于位移變換的獲取，對于存在旋轉(zhuǎn)變換的情況則往往需要結(jié)合圖像 傾斜檢測的方法共同完成配準(zhǔn)變換的獲取。這種方法由于需要進(jìn)行圖像 像素匹配，效率不高，且對于存在縮放和變形的圖像也不適用。
2)點(diǎn)映射方法分別在兩幅圖像中各找一些點(diǎn)作為配準(zhǔn)特征點(diǎn)， 通過確定點(diǎn)之間的匹配關(guān)系計算配準(zhǔn)變換參數(shù)。但如果配準(zhǔn)特征點(diǎn)選取 不恰當(dāng)或點(diǎn)集間匹配關(guān)系計算不合理，則對配準(zhǔn)方法的準(zhǔn)確性和可靠性 影響較大。在一些實際應(yīng)用中，為了提高配準(zhǔn)的可靠性和效率，往往在 文檔中預(yù)先印制設(shè)定一些特殊的定位標(biāo)志，如十字架、方塊等，專門用 于幫助確定配準(zhǔn)變換。這在信息填涂卡中尤為常見。但是，這種方式只 能針對特定文檔，對于很多文檔而言，并不會提供這些定位標(biāo)志，使得 配準(zhǔn)方法不能通用。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)的問題，本發(fā)明的目的是采用自動的方式尋找合 適的特征點(diǎn)，同時確保能正確計算配準(zhǔn)變換，能勝任不同類型和情況文 檔圖像的配準(zhǔn)，并且在效率和魯棒性上表現(xiàn)良好，為此本發(fā)明提出一種 魯棒的具有良好推廣性能的文檔圖像配準(zhǔn)方法，具體而言，涉及一種采 用掃描儀或照相機(jī)獲取的文檔圖像的配準(zhǔn)及特征點(diǎn)選取方法，是包含表 格表單、試巻等類型文檔的關(guān)鍵處理技術(shù)。
為了實現(xiàn)所述的目的，本發(fā)明的第一方面是提供一種文檔圖像配準(zhǔn) 方法，采用自動方式從文檔圖像中選取配準(zhǔn)特征點(diǎn)，并以配準(zhǔn)特征點(diǎn)的 匹配關(guān)系為基礎(chǔ)計算圖像配準(zhǔn)變換，其包括以下步驟
步驟Sl:對參考圖像和配準(zhǔn)圖像進(jìn)行圖像配準(zhǔn)特征點(diǎn)選取操作；
步驟S2:基于參考圖像與配準(zhǔn)圖像間配準(zhǔn)特征點(diǎn)匹配關(guān)系，計算圖 像配準(zhǔn)變換。
1) 提出了一種基于文檔輪廓的配準(zhǔn)特征點(diǎn)選取方法。該方法以文 檔的輪廓點(diǎn)作為候選點(diǎn)，采用自動的方式從中挑選出部分點(diǎn)作為配準(zhǔn)特 征點(diǎn)。配準(zhǔn)變換的計算將基于這些特征點(diǎn)之間的匹配關(guān)系進(jìn)行。
2) 提出了一種基于射影不變量和輪廓形狀匹配的文檔圖像配準(zhǔn)計 算方法。以輪廓匹配作為文檔圖像配準(zhǔn)的優(yōu)化目標(biāo)函數(shù)，同時以射影不 變量篩選特征點(diǎn)組成的點(diǎn)集來減少配準(zhǔn)變換參數(shù)的搜索空間。
為了實現(xiàn)所述的目的，本發(fā)明的第二方面是提供一種文檔圖像配準(zhǔn)特征點(diǎn)選取方法，包括以下步驟
SU:對文檔圖像連通域分析與過濾，獲得字符的位置與尺寸信息; S12:對文檔圖像輪廓點(diǎn)掃描與計算，獲取輪廓點(diǎn)信息； S13:選取文檔圖像配準(zhǔn)特征點(diǎn)。
根據(jù)本發(fā)明的實施例，在步驟S2中，所述基于配準(zhǔn)特征點(diǎn)計算圖 像配準(zhǔn)變換，包括以下步驟
S21:對配準(zhǔn)特征點(diǎn)點(diǎn)集進(jìn)行組合與過濾，生成參考圖像和配準(zhǔn)圖 像的有效點(diǎn)集組合；
S22:對配準(zhǔn)特征點(diǎn)點(diǎn)集的射影不變量進(jìn)行計算，生成參考圖像和
配準(zhǔn)圖像的配準(zhǔn)特征點(diǎn)點(diǎn)集射影不變量值；
S23:將參考圖像和配準(zhǔn)圖像的配準(zhǔn)特征點(diǎn)集兩兩組合成點(diǎn)集對，
計算點(diǎn)集對內(nèi)射影變換誤差，篩選生成候選點(diǎn)集對；
S24:對候選特征點(diǎn)集對的點(diǎn)進(jìn)行配準(zhǔn)并計算射影變換，生成候選 配準(zhǔn)變換；
S25:對候選配準(zhǔn)變換進(jìn)行輪廓匹配計算，選取最優(yōu)配準(zhǔn)變換。 根據(jù)本發(fā)明的實施例，在步驟S13中所述配準(zhǔn)特征點(diǎn)的選取是以文 檔圖像輪廓點(diǎn)為候選點(diǎn)；選取特征點(diǎn)的指導(dǎo)準(zhǔn)則是，能在特征點(diǎn)集中找 到其它特征點(diǎn)構(gòu)成凸多邊形，且相互間相對于中心點(diǎn)盡可能散布開來。 根據(jù)本發(fā)明的實施例，在步驟S21所述的特征點(diǎn)點(diǎn)集組合中，若采 用交比射影不變量，則以五個點(diǎn)構(gòu)成一個點(diǎn)集；在特征點(diǎn)點(diǎn)集過濾中， 以射影不變量的穩(wěn)定性為優(yōu)化目標(biāo)，將對穩(wěn)定性有負(fù)面影響的點(diǎn)集過濾 掉，則要求點(diǎn)集構(gòu)成凸多邊形，且點(diǎn)集內(nèi)任意三點(diǎn)不能構(gòu)成或接近構(gòu)成 三點(diǎn)共線。
根據(jù)本發(fā)明的實施例，在步驟S23所述的候選特征點(diǎn)點(diǎn)集對是從特 征點(diǎn)點(diǎn)集對中篩選而來，特征點(diǎn)集對由參考圖像和配準(zhǔn)圖像的點(diǎn)集組合
而成，篩選依據(jù)為點(diǎn)集對內(nèi)兩點(diǎn)集對應(yīng)的射影不變量誤差，最小的若干 個點(diǎn)集對被選為候選特征點(diǎn)集對。
根據(jù)本發(fā)明的實施例，在步驟S24所述的候選配準(zhǔn)變換是由候選特 征點(diǎn)集對內(nèi)點(diǎn)的一一匹配對應(yīng)關(guān)系計算而來。
根據(jù)本發(fā)明的實施例，在步驟S25中，所述從候選配準(zhǔn)變換中選取最優(yōu)配準(zhǔn)變換的優(yōu)化目標(biāo)是滿足輪廓匹配最優(yōu)。
本發(fā)明的優(yōu)越性和特點(diǎn)在于能夠自動選取配準(zhǔn)特征點(diǎn)，從而避免 了手工選取或預(yù)先設(shè)置配準(zhǔn)標(biāo)志所帶來的額外工作，提高配準(zhǔn)方法的易 用性和通用性。以文檔輪廓匹配作為最終配準(zhǔn)目標(biāo)函數(shù)具有較高的魯棒 性，采用射影不變量屬性對特征點(diǎn)集匹配進(jìn)行初判斷能極大減小配準(zhǔn)變 換搜索空間，因此，本發(fā)明提出的基于射影不變量和輪廓匹配的配準(zhǔn)方 法很好地兼顧了配準(zhǔn)速度和魯棒性兩方面的性能。
本發(fā)明的原理在于圖像配準(zhǔn)歸根結(jié)底是要找到一個幾何變換，能 使兩幅圖像上對應(yīng)的點(diǎn)通過變換后能夠達(dá)到空間上的一致，或者說能夠 準(zhǔn)確吻合。因此，若能找到圖像上某些對應(yīng)點(diǎn)之間的幾何變換關(guān)系，也 就得到了整幅圖像配準(zhǔn)所對應(yīng)的幾何變換。那么正確尋找到具有對應(yīng)關(guān) 系的點(diǎn)是這種配準(zhǔn)方法的關(guān)鍵。同時，最恰當(dāng)?shù)狞c(diǎn)對還要求能夠滿足計 算出最準(zhǔn)確的配準(zhǔn)變換的要求，因此，噪聲或其他因素對點(diǎn)坐標(biāo)精度的 影響都是需要考慮的問題。通過掃描儀和照相機(jī)獲取文檔圖像是文檔圖 像獲取的兩個基本途徑，從文檔到數(shù)字圖像本質(zhì)上是一個滿足射影幾何 變換的過程，往往發(fā)生了旋轉(zhuǎn)、位移、縮放、剪切等變換。因此，文檔 圖像之間的配準(zhǔn)變換也就屬于射影變換?；谏溆皫缀蔚睦碚?，某些幾 何屬性能夠在射影變換中保持不變，這些屬性被稱為射影不變量。若發(fā) 現(xiàn)兩幅圖像上存在具有相同射影不變量的點(diǎn)集對，并能夠為該點(diǎn)集對各 點(diǎn)之間建立一一匹配對應(yīng)關(guān)系，則可確定兩點(diǎn)集對之間存在一個射影變 換，從而可以用來計算配準(zhǔn)變換。但是，僅基于射影不變量并不能正確 唯一地確定點(diǎn)集對之間的匹配對應(yīng)關(guān)系。在兩圖像間， 一些不正確匹配 的點(diǎn)集對之間也可能滿足射影不變量相等的條件，這些點(diǎn)集對對應(yīng)的是 合法的但同時又是錯誤的配準(zhǔn)變換。其本質(zhì)原因在于，基于點(diǎn)集對之間 的射影關(guān)系進(jìn)行配準(zhǔn)，仍然是一個基于局部信息進(jìn)行全局配準(zhǔn)的問題， 滿足局部配準(zhǔn)并不能夠必然滿足全局配準(zhǔn)要求。由于文檔圖像以文字內(nèi) 容為主，文檔圖像的輪廓清晰穩(wěn)定，是描述文檔空間信息的有效全局信 息。文檔圖像輪廓間的匹配能夠唯一準(zhǔn)確確定文檔圖像之間的全局配準(zhǔn) 關(guān)系。以輪廓點(diǎn)代表文檔圖像輪廓，如果某變換能夠使兩幅圖像的輪廓 點(diǎn)能夠一一匹配，則表明該變換是滿足文檔圖像全局配準(zhǔn)的變換。然而，
輪廓點(diǎn)數(shù)目較多，整個配準(zhǔn)變換參數(shù)的搜索空間非常龐大，采用窮舉搜 索的方式效率過低，缺乏可用性。因此，本發(fā)明基于盡可能保留射影不 變量穩(wěn)定性較高的點(diǎn)的準(zhǔn)則，首先從圖像輪廓點(diǎn)中選取部分射影不變量 穩(wěn)定性能較好的點(diǎn)作為特征點(diǎn)。然后，利用射影不變量屬性，在這些較 少的點(diǎn)集之間尋找滿足合法射影變換條件的點(diǎn)集對，并將相應(yīng)的變換作 為候選配準(zhǔn)變換。這大大縮小了變換參數(shù)的搜索空間。最后，以這些變 換分別對配準(zhǔn)文檔圖像的輪廓點(diǎn)進(jìn)行幾何變換，并以輪廓匹配函數(shù)作為 目標(biāo)函數(shù)，找出最優(yōu)匹配的配準(zhǔn)變換作為最終配準(zhǔn)變換。所得到的配準(zhǔn) 變換也是能夠唯一準(zhǔn)確地確定文檔圖像配準(zhǔn)所需變換。


圖1是本發(fā)明所述文檔圖像配準(zhǔn)方法的處理流程圖
圖2是本發(fā)明所述文檔圖像配準(zhǔn)特征點(diǎn)選取方法的處理流程圖 圖3是本發(fā)明所述文檔圖像配準(zhǔn)變換計算方法的處理流程圖 圖4是文檔圖像填寫內(nèi)容抽取實施例的處理流程圖
具體實施例方式
以下介紹本發(fā)明的優(yōu)選實施例，該部分僅僅是對本發(fā)明的舉例說 明，而非對本發(fā)明及其應(yīng)用或用途的限制。根據(jù)本發(fā)明得出的其它實施 方式，也同樣屬于本發(fā)明的技術(shù)創(chuàng)新范圍。方案中有關(guān)參數(shù)的設(shè)定也并 不表明只有舉例值可以使用。
實施例
該實施例子以文檔圖像填寫內(nèi)容抽取為例，描述文檔圖像配準(zhǔn)方法 在其中的實施方法。在文檔圖像填寫內(nèi)容的抽取中，首先通過圖像配準(zhǔn)
方法將配準(zhǔn)圖像與參考圖像進(jìn)行配準(zhǔn)，然后比較配準(zhǔn)圖像與參考圖像的 差異，不同之處即為用戶填寫的內(nèi)容，可將其抽取出來做進(jìn)一步的處理。 參考圖像指用戶未填寫內(nèi)容的文檔，印有指導(dǎo)用戶填寫內(nèi)容的表格或說 明文字等。配準(zhǔn)圖像為用戶填寫了內(nèi)容的文檔圖像，即除了和參考圖像 中相同的預(yù)先印制的內(nèi)容外還有用戶填寫的內(nèi)容。本實施例說明中，參 考圖像和配準(zhǔn)圖像均以二值圖像為例，若原始圖像為彩色或灰度圖像，
均需要先轉(zhuǎn)化為二值圖像再做進(jìn)一步處理。
圖l是本發(fā)明所述文檔圖像配準(zhǔn)方法的處理流程圖。其中，文檔圖 像配準(zhǔn)特征點(diǎn)選取方法(步驟S1)和文檔圖像配準(zhǔn)變換計算方法(步驟
S2)的處理流程圖分別如圖2和圖3所示。文檔圖像填寫內(nèi)容抽取的實 施例流程如圖4所示，在文檔圖像配準(zhǔn)方法后面新增加了填寫內(nèi)容抽取
步驟S3。具體實施包括以下步驟 步驟S1:配準(zhǔn)特征點(diǎn)選取
以文檔圖像輪廓作為文檔圖像配準(zhǔn)特征，用輪廓點(diǎn)來表示文檔圖像 輪廓。那么第一步就是獲取圖像的輪廓。文檔圖像區(qū)別于普通圖像的特 點(diǎn)就在于其主要內(nèi)容由文字行或文字列組成。因此，文檔圖像的輪廓是 由文字行(列)的兩端字符的外輪廓構(gòu)成。左輪廓由文字行最左的字符 構(gòu)成，右輪廓由文字行最右的字符構(gòu)成，上輪廓由頂端的文字行構(gòu)成， 下輪廓由底部的文字行構(gòu)成，或者也可理解為上輪廓由文字列最上的字 符構(gòu)成，下輪廓由文字列最下的字符構(gòu)成?？紤]到輪廓形狀的平滑性， 一般對于每行(列)對應(yīng)的輪廓用一個點(diǎn)表示，取最外圍字符的邊框中 點(diǎn)來代表該行(列)的輪廓點(diǎn)，將這些點(diǎn)逐點(diǎn)相連即構(gòu)成了文檔圖像的 輪廓。而字符的位置和尺寸信息可通過連通域分析獲取。
配準(zhǔn)特征點(diǎn)的選取是對文檔圖像連通域分析與過濾，獲得字符的位
置與尺寸信息；對文檔圖像輪廓點(diǎn)掃描與計算，獲取輪廓點(diǎn)信息；選取 文檔圖像配準(zhǔn)特征點(diǎn)；具體流程包括以下幾步 Sll: 連通域分析與過濾
對文檔圖像進(jìn)行連通域分析，并濾除噪聲或其它不適合文檔圖像輪 廓分析的連通域。尺寸過小的連通域往往是噪聲，過大的連通域則不適 合于文檔圖像的輪廓分析，都將被剔除。在圖像掃描中經(jīng)常出現(xiàn)的黑邊
也需要被剔除。本實施例中，以300dpi掃描分辨率的圖像為例，尺寸 小于8或大于100的連通域均被濾除，長寬比大于10或小于0. 1的連 通域被視為線條元素而濾除，緊貼圖像最外邊框的黑色條狀連通域被視 為掃描黑邊也被濾除。
S12:輪廓點(diǎn)掃描與計算
對圖像進(jìn)行逐行或列掃描，行或列端點(diǎn)所在的連通域為輪廓連通
域，輪廓點(diǎn)由連通域位置和尺寸信息生成，可取連通域的相對于行或列 的外框中點(diǎn)作為輪廓點(diǎn)。參考圖像的輪廓點(diǎn)集用C，.、，表示，配準(zhǔn)圖像 的輪廓點(diǎn)集用C，，表示。 S13:配準(zhǔn)特征點(diǎn)選取
配準(zhǔn)特征點(diǎn)的選取也以這些輪廓點(diǎn)為候選點(diǎn)。為滿足篩選的指導(dǎo)原 則一一盡可能將構(gòu)成點(diǎn)集后射影不變量穩(wěn)定性最好的點(diǎn)保留下來，選取 特征點(diǎn)的指導(dǎo)準(zhǔn)則是，能在特征點(diǎn)集中找到其它特征點(diǎn)構(gòu)成凸多邊形， 且相互間相對于中心點(diǎn)盡可能散布開來。本實施例采取這樣的處理辦 法從文檔圖像四個頂角方向上和各邊中點(diǎn)附近各選取3個點(diǎn)，若沒有 缺失，則最多共有24個點(diǎn)。然后，對這些點(diǎn)進(jìn)行檢査，若無法找到其 它特征點(diǎn)構(gòu)成凸多邊形，或者構(gòu)成凸多邊形的點(diǎn)中有三點(diǎn)接近共線則從 候選特征點(diǎn)集中剔除。三點(diǎn)接近共線的衡量標(biāo)準(zhǔn)在本實施例中為三點(diǎn) 組成的三角形最小內(nèi)角小于10度。
步驟S2:圖像配準(zhǔn)變換計算
基于射影不變量和輪廓匹配的文檔圖像配準(zhǔn)變換計算方法。通過尋 找特征點(diǎn)之間最優(yōu)匹配關(guān)系，得到圖像配準(zhǔn)變換。通過特征點(diǎn)選取方法， 在參考圖像和配準(zhǔn)圖像上均選取了一定數(shù)目的配準(zhǔn)特征點(diǎn)后，將從這些 特征點(diǎn)中尋找匹配點(diǎn)對，進(jìn)行圖像配準(zhǔn)變換計算。以輪廓匹配作為文檔 圖像配準(zhǔn)的優(yōu)化目標(biāo)函數(shù)，同時以射影不變量篩選特征點(diǎn)組成的點(diǎn)集對
來減少配準(zhǔn)變換參數(shù)的搜索空間。其中交比(cross-ratio)是最具推 廣性和穩(wěn)定的射影不變量， 一般可以選用交比作為射影不變量。圖像配 準(zhǔn)變換計算方法按照以下步驟實現(xiàn) S21:特征點(diǎn)點(diǎn)集組合與過濾；
對配準(zhǔn)特征點(diǎn)點(diǎn)集進(jìn)行組合與過濾，生成參考圖像和配準(zhǔn)圖像的有 效點(diǎn)集組合；從兩圖像特征點(diǎn)中構(gòu)建點(diǎn)集組合，以射影不變量的穩(wěn)定性
為優(yōu)化目標(biāo)，將對穩(wěn)定性有負(fù)面影響的點(diǎn)集過濾掉。選用交比射影不變 量，點(diǎn)集由五點(diǎn)組成，各點(diǎn)集要求能夠構(gòu)建凸多邊形，不滿足凸多邊形 條件的將被剔除。若點(diǎn)集內(nèi)存在三點(diǎn)構(gòu)成或者接近構(gòu)成三點(diǎn)共線情況的 點(diǎn)集也被剔除。最后分別得到參考圖像和配準(zhǔn)圖像的有效點(diǎn)集組合。令
S(p)表示參考屈像中的第p個點(diǎn)集，S^)表示配準(zhǔn)圖像中的第q個點(diǎn)集。
S22:特征點(diǎn)點(diǎn)集射影不變量計算；
對配準(zhǔn)特征點(diǎn)點(diǎn)集的射影不變量進(jìn)行計算，生成參考圖像和配準(zhǔn)圖 像的配準(zhǔn)特征點(diǎn)點(diǎn)集射影不變量值；計算各點(diǎn)集內(nèi)的交比射影不變量， 交比值由五點(diǎn)確定，可以用式(1)來表示，
<formula>formula see original document page 11</formula> ~~ (1)
力C網(wǎng)
其中，|^)| = 5><^，即以E點(diǎn)為參考點(diǎn)的兩向量外積，lscl,hcl,lsz)l
計算方法類似。
在式(1)中第五點(diǎn)E為參考點(diǎn)，在點(diǎn)集內(nèi)不同的參考點(diǎn)得到的交 比值是不同的，在五點(diǎn)點(diǎn)集中輪流取一點(diǎn)作為交比計算中的第五點(diǎn)，共 計算得到五個交比值。由于相對于第五點(diǎn)，其它四點(diǎn)的順序不同對交比 計算也是有影響的，而這種順序最多產(chǎn)生24種組合，根據(jù)交比性質(zhì)， 其最多可以產(chǎn)生6個不同的值，因此，可以采用這6個值的代數(shù)最小值 作為射影不變量值，其用式(2)來表示<formula>formula see original document page 11</formula>
(2)
更換參考點(diǎn)，依次可計算得到其他幾個不變量值，則點(diǎn)集對應(yīng)的5
個不變量值，如表達(dá)式(3)所示 〃2 = v(爿,5,C,五D)<formula>formula see original document page 11</formula>(3)
S23:候選特征點(diǎn)點(diǎn)集對篩選；
將參考圖像和配準(zhǔn)圖像的配準(zhǔn)特征點(diǎn)集兩兩組合成點(diǎn)集對，計算點(diǎn) 集對內(nèi)射影變換誤差，篩選生成候選點(diǎn)集對；候選特征點(diǎn)點(diǎn)集對是從特 征點(diǎn)點(diǎn)集對中篩選而來，特征點(diǎn)集對由參考圖像和配準(zhǔn)圖像的點(diǎn)集組合
而成，篩選依據(jù)為點(diǎn)集對內(nèi)兩點(diǎn)集對應(yīng)的射影不變量誤差，最小的若干 個點(diǎn)集對被選為候選特征點(diǎn)集對。將兩圖像的點(diǎn)集兩兩組合成點(diǎn)集對， 計算各點(diǎn)集對之間射影不變量誤差，取出誤差最小的或低于一定閾值的 -若干個點(diǎn)集對作為候選點(diǎn)集對。本實施例取誤差最小的前10%數(shù)目的點(diǎn)
集對作為候選點(diǎn)集對。為了保證各點(diǎn)之間的最佳匹配，還需要遍歷對點(diǎn) 集對內(nèi)點(diǎn)的兩兩匹配關(guān)系，計算最小誤差的匹配為最佳匹配，并以該匹 配下計算出的誤差為點(diǎn)集對的射影變換誤差。
點(diǎn)集對內(nèi)點(diǎn)的兩兩匹配搜索空間可用式(4)表示，尸/代表排列運(yùn)
算，為點(diǎn)集內(nèi)點(diǎn)的不重復(fù)匹配關(guān)系總數(shù)，在第i個匹配關(guān)系表示中，參 考圖像點(diǎn)集的j點(diǎn)對應(yīng)配準(zhǔn)圖像點(diǎn)集的—o.)點(diǎn)。
<formula>formula see original document page 12</formula>(4)
令Z和^分別代表參考圖像和配準(zhǔn)圖像中的點(diǎn)集對應(yīng)射影不變量 叫點(diǎn)集對的射影變換誤差的計算過程可以用式(5)表示
值，
<formula>formula see original document page 12</formula>
(5)
S24:候選配準(zhǔn)變換計算；
對候選特征點(diǎn)集對的點(diǎn)進(jìn)行配準(zhǔn)并計算射影變換，生成候選配準(zhǔn)變 換；根據(jù)候選點(diǎn)集對內(nèi)點(diǎn)的兩兩匹配關(guān)系，計算其對應(yīng)的射影變換，作 為候選配準(zhǔn)變換。匹配的點(diǎn)集對內(nèi)點(diǎn)的兩兩對應(yīng)匹配關(guān)系用式(6)表 示，射影變換計算過程用式(7)表示，V代表配準(zhǔn)圖像上點(diǎn)集各點(diǎn)坐標(biāo)， v代表參考圖像上點(diǎn)集各點(diǎn)坐標(biāo)，如式(8)所示。G表示射影變換，由 射影變換矩陣和坐標(biāo)位移向量構(gòu)成，M代表對應(yīng)的射影變換矩陣，T代 表坐標(biāo)位移向量。
<formula>formula see original document page 12</formula>(6)
<formula>formula see original document page 12</formula>(8)
S25:候選配準(zhǔn)變換輪廓匹配計算，選取最優(yōu)配準(zhǔn)變換； 從候選配準(zhǔn)變換中選取最優(yōu)配準(zhǔn)變換的優(yōu)化目標(biāo)是滿足輪廓匹配 最優(yōu)。最優(yōu)配準(zhǔn)變換的選取是以輪廓匹配為優(yōu)化目標(biāo)函數(shù)，尋找最優(yōu)配 準(zhǔn)變換的過程如式(9)所示。將所有候選配準(zhǔn)變換對配準(zhǔn)圖像的輪廓 點(diǎn)進(jìn)行變換操作，形成新的輪廓點(diǎn)集C,^,，并分別與參考圖像的的輪
廓點(diǎn)集進(jìn)行匹配，輪廓匹配程度最優(yōu)的變換作為最終配準(zhǔn)變換G'。
<formula>formula see original document page 13</formula> (9)
輪廓匹配基于輪廓點(diǎn)集之間的匹配，本實施例中采用Hausdorff距 離來衡量兩圖像輪廓點(diǎn)集之間的匹配度，其過程用式(10)表示
<formula>formula see original document page 13</formula> (10)
步驟S3:文檔圖像填寫內(nèi)容抽取
根據(jù)獲得的最終配準(zhǔn)變換，對配準(zhǔn)圖像進(jìn)行幾何變換操作，得到配 準(zhǔn)后圖像，與參考圖像進(jìn)行圖像減操作，刪除與參考圖像重復(fù)的預(yù)先印 制的內(nèi)容，即獲得文檔中用戶填寫的內(nèi)容。
以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護(hù)范圍并 不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理 解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā) 明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1. 一種文檔圖像配準(zhǔn)方法，其特征為采用自動方式從文檔圖像中選取配準(zhǔn)特征點(diǎn)，并以配準(zhǔn)特征點(diǎn)的匹配關(guān)系為基礎(chǔ)計算圖像配準(zhǔn)變換，其包括以下步驟步驟S1對參考圖像和配準(zhǔn)圖像進(jìn)行圖像配準(zhǔn)特征點(diǎn)選取操作；步驟S2基于參考圖像與配準(zhǔn)圖像間配準(zhǔn)特征點(diǎn)匹配關(guān)系，計算圖像配準(zhǔn)變換。
2. —種文檔圖像配準(zhǔn)特征點(diǎn)選取方法，包括以下步驟Sll:對文檔圖像連通域分析與過濾，獲得字符的位置與尺寸信息； S12:對文檔圖像輪廓點(diǎn)掃描與計算，獲取輪廓點(diǎn)信息； S13:選取文檔圖像配準(zhǔn)特征點(diǎn)。
3. 如權(quán)利l所述的文檔圖像配準(zhǔn)方法，其特征為，在步驟S2中， 所述基于配準(zhǔn)特征點(diǎn)計算圖像配準(zhǔn)變換，包括以下步驟S21:對配準(zhǔn)特征點(diǎn)點(diǎn)集進(jìn)行組合與過濾，生成參考圖像和配準(zhǔn)圖 像的有效點(diǎn)集組合；S22:對配準(zhǔn)特征點(diǎn)點(diǎn)集的射影不變量進(jìn)行計算，生成參考圖像和配準(zhǔn)圖像的配準(zhǔn)特征點(diǎn)點(diǎn)集射影不變量值；S23:將參考圖像和配準(zhǔn)圖像的配準(zhǔn)特征點(diǎn)集兩兩組合成點(diǎn)集對， 計算點(diǎn)集對內(nèi)射影變換誤差，篩選生成候選點(diǎn)集對；S24:對候選特征點(diǎn)集對的點(diǎn)進(jìn)行配準(zhǔn)并計算射影變換，生成候選 配準(zhǔn)變換；S25:對候選配準(zhǔn)變換進(jìn)行輪廓匹配計算，選取最優(yōu)配準(zhǔn)變換。
4. 如權(quán)利2所述的文檔圖像配準(zhǔn)特征點(diǎn)選取方法，其特征為在 步驟S13中配準(zhǔn)特征點(diǎn)的選取是以文檔圖像輪廓點(diǎn)為候選點(diǎn)；選取特征 點(diǎn)的指導(dǎo)準(zhǔn)則是，能在特征點(diǎn)集中找到其它特征點(diǎn)構(gòu)成凸多邊形，且相 互間相對于中心點(diǎn)盡可能散布開來。
5. 如權(quán)利要求1和3所述的文檔圖像配準(zhǔn)方法，其特征為在步 驟S21的特征點(diǎn)點(diǎn)集組合中，若采用交比射影不變量，則以五個點(diǎn)構(gòu)成一個點(diǎn)集；在特征點(diǎn)點(diǎn)集過濾中，以射影不變量的穩(wěn)定性為優(yōu)化目標(biāo)， 將對穩(wěn)定性有負(fù)面影響的點(diǎn)集過濾掉，則要求點(diǎn)集構(gòu)成凸多邊形，且點(diǎn) 集內(nèi)任意三點(diǎn)不能構(gòu)成或接近構(gòu)成三點(diǎn)共線。
6. 如權(quán)利要求3所述的文檔圖像配準(zhǔn)方法，其特征為在步驟S23 的候選特征點(diǎn)點(diǎn)集對是從特征點(diǎn)點(diǎn)集對中篩選而來，特征點(diǎn)集對由參考 圖像和配準(zhǔn)圖像的點(diǎn)集組合而成，篩選依據(jù)為點(diǎn)集對內(nèi)兩點(diǎn)集對應(yīng)的射 影不變量誤差，最小的若干個點(diǎn)集對被選為候選特征點(diǎn)集對。
7. 如權(quán)利要求3所述的文檔圖像配準(zhǔn)方法，其特征為在步驟S24的候選配準(zhǔn)變換是由候選特征點(diǎn)集對內(nèi)點(diǎn)的一一匹配對應(yīng)關(guān)系計算而來。
8. 如權(quán)利要求3所述的文檔圖像配準(zhǔn)方法，其特征為在步驟S25中，從候選配準(zhǔn)變換中選取最優(yōu)配準(zhǔn)變換的優(yōu)化目標(biāo)是滿足輪廓匹配最 優(yōu)。
全文摘要
本發(fā)明涉及圖像處理學(xué)科技術(shù)領(lǐng)域，特別是一種通用型文檔圖像的配準(zhǔn)及特征點(diǎn)選取方法。該方法以圖像輪廓作為文檔圖像配準(zhǔn)特征，并以輪廓點(diǎn)表示文檔圖像輪廓。方法過程為首先，以文檔圖像輪廓點(diǎn)為候選點(diǎn)，通過特征點(diǎn)選擇方法分別在參考圖像和配準(zhǔn)圖像中自動選取若干點(diǎn)作為圖像配準(zhǔn)特征點(diǎn)；然后，以射影變換不變量作為相似度量，在特征點(diǎn)集中尋找若干個候選的匹配點(diǎn)集對，并計算出點(diǎn)集對對應(yīng)的幾何變換作為候選配準(zhǔn)變換；最后，以輪廓匹配度為度量，從候選配準(zhǔn)變換中尋找最優(yōu)匹配的變換，作為最終配準(zhǔn)變換，對文檔圖像進(jìn)行配準(zhǔn)。該方法能勝任不同類型文檔圖像的配準(zhǔn)，并且在效率和魯棒性上表現(xiàn)良好。
文檔編號G06T3/00GK101377847SQ200710121080
公開日2009年3月4日 申請日期2007年8月29日 優(yōu)先權(quán)日2007年8月29日
發(fā)明者戴汝為, 朱遠(yuǎn)平, 王春恒, 肖柏華 申請人:中國科學(xué)院自動化研究所