可標記表面的自動分類和顏色增強的制作方法
【專利說明】
【背景技術(shù)】
[0001]圖像捕獲能力大量存在于許多當(dāng)前的用戶設(shè)備中，例如，比如智能電話和平板設(shè)備。因此，用戶可以捕獲幾乎任何事物的圖像。雖然這一基本的能力對于大多數(shù)用戶是有用的，但是隨之而來的一項挑戰(zhàn)是在最大程度上利用設(shè)備硬件能力，從而按照所期望的方式改進圖像捕獲和檢測。取代通常使用的手寫信息，簡單地拍攝所期望的內(nèi)容的照片變得有用并且更加高效，比如拍攝名片、其他人寫在紙上的筆記、板上的繪畫等等的照片。但是隨后通常采用某種辨識技術(shù)來將所捕獲的信息處理成更加可用的形式。為了改進此類圖像捕獲設(shè)備的有用性，特別在對所捕獲的對象進行區(qū)分方面，開發(fā)努力不斷進展。

【發(fā)明內(nèi)容】

[0002]下面給出了簡化的概要以便提供關(guān)于這里所描述的一些新穎實施例的基本理解。本概要不是詳盡總覽，并且不意圖標識出關(guān)鍵的/至關(guān)重要的元素或者界定其范圍。它的唯一目的是以簡化形式給出一些概念，以作為將在后面給出的更加詳細的描述的前導(dǎo)。
[0003]所公開的架構(gòu)自動計算在給定圖像中捕獲的四邊形對象是否是或不是可標記板(例如白板、綠色板、粉筆板，用戶可以在其上施加比如線條、文字等標記)，所述可標記板具有表面，可以使用粉筆、墨水、干式墨水或者用于所述給定表面的任何其他適當(dāng)?shù)臉擞泝x器或工具在所述表面上施加標記。舉例來說，白色粉筆被用來在黑色和綠色粉筆板上施加可擦除標記，干式墨水標記筆被用來在白板(其通常也被稱作標記筆板)上施加可擦除標記。
[0004]所成像的四邊形對象可以被定義成具有背景圖像和前景圖像。背景圖像代表沒有施加表面標記的可標記板(例如背景圖像是空白板，但是可以是在所述表面上均勻的任何顏色，比如比如白色、綠色、黑色等等)。前景圖像包括施加到板表面上的所有可辨別標記，但是不包括背景圖像。
[0005]由機器學(xué)習(xí)分類器接收并且處理一個性能友好特征的集合，以便計算給定的四邊形對象是否是可標記板。隨后，如果給定的圖像被確定為是可標記板，則實施圖像增強，使得將背景圖像處理成在沒有標記的地方是均勻的，而不管板表面上的照明/陰影變化如何。此外，圖像增強在前景(標記)上實施飽和度提升，使得繪制在可標記板上的對象看起來鮮明并且清晰。
[0006]為了實現(xiàn)前述和有關(guān)目的，在這里將結(jié)合后面的描述和附圖來描述某些說明性方面。這些方面表明可以實踐這里所公開的原理的各種方式，并且所有方面及其等效方案都意圖處于所要求保護的主題內(nèi)容的范圍內(nèi)。在結(jié)合圖考慮后面的詳細描述時，通過后面的詳細描述，其他優(yōu)點和新穎特征將變得顯而易見。
【附圖說明】
[0007]圖1示出了根據(jù)所公開的架構(gòu)的一種用于可標記板的自動分類的系統(tǒng)。
[0008]圖2示出了用于可標記板的自動分類和圖像增強的一種替換的系統(tǒng)。
[0009]圖3示出了具有可標記表面并且被捕獲為原始圖像的物理可標記板的一個示例。
[0010]圖4示出了貼片圖像的一個示例。
[0011]圖5示出了從貼片處理和估計導(dǎo)出的背景圖像。
[0012]圖6示出了墨水圖像，其中白色像素表示前景，黑色像素表示背景。
[0013]圖7示出了圖3中拍照的白板的最終圖像。
[0014]圖8示出了一種系統(tǒng)，其中可以獲得特征集合并且將其輸入到機器學(xué)習(xí)分類器中以便區(qū)分白板與類似的四邊形對象。
[0015]圖9示出了根據(jù)所公開的架構(gòu)的一種方法。
[0016]圖10示出了根據(jù)所公開的架構(gòu)的一種替換的方法。
[0017]圖11示出了根據(jù)所公開的架構(gòu)的執(zhí)行自動可標記板分類和顏色增強的計算系統(tǒng)的方框圖。
【具體實施方式】
[0018]所公開的架構(gòu)自動計算四邊形對象的給定圖像是否是或不是可標記板(例如白板)。由機器學(xué)習(xí)分類器接收并且處理一個特征集合，以便幫助在一種具體實現(xiàn)方式中計算給定的四邊形對象是否是白板。實施圖像增強，使得背景在沒有施加標記的地方是均勻的，而不管可標記板(表面)上的照明/陰影變化如何。此外，圖像增強在前景(所施加的標記)上實施飽和度提升，使得繪制在板上的標記看起來鮮明并且清晰。
[0019]導(dǎo)出并且處理所檢測到的對象的許多數(shù)值型特征，從而在可標記板(例如白板)與用戶可能希望拍照的類似的四邊形對象(比如海報、告示牌、名片等等)之間進行區(qū)分。特征包括而不限于光軸取向、從攝影機到對象的估計距離、真實對象的估計尺寸、經(jīng)過矯正的圖像上的對象的寬高比、掩蔽圖像上的幾個最大8連接組件的總尺寸、貼片圖像的數(shù)值通道和飽和度通道的標準偏差、貼片圖像的飽和度通道的均值、施加高通濾波之后的貼片圖像的數(shù)值和飽和度通道的均值、墨水圖像上的估計筆畫寬度、以及由近似中值尺寸的間隔(筆畫)覆蓋的對象的面積。
[0020]現(xiàn)在將參照圖，其中相同的附圖標記始終被用來指代相同的元件。在后面的描述中，出于解釋的目的，闡述了許多具體細節(jié)以便提供對其的透徹理解。但是可能明顯的是，可以在沒有這些具體細節(jié)的情況下實踐所述新穎的實施例。在其他情況下，通過方框圖形式展示出了眾所周知的結(jié)構(gòu)和設(shè)備以便促進對其的描述。意圖在于覆蓋落在所要求保護的主題內(nèi)容的精神和范圍內(nèi)的所有修改、等效方案和替換方案。
[0021]圖1示出了根據(jù)所公開的架構(gòu)的用于可標記板的自動分類的系統(tǒng)100。系統(tǒng)100可以包括圖像處理系統(tǒng)102，其提供具有標記表面的四邊形對象106的圖像104，并且檢測出圖像104是四邊形對象。特征系統(tǒng)108獲得與四邊形對象106的圖像捕獲有關(guān)的特征的集合110以用于檢測標記表面的背景圖像和前景圖像。分類組件112基于特征110實施四邊形對象的分類(使用圖像)，以便確定所述四邊形對象是否是可標記板。
[0022]圖像處理系統(tǒng)102、特征系統(tǒng)108和分類組件112可以都是操作來捕獲圖像(視頻)的設(shè)備的一部分，所述設(shè)備比如攝影機、電話攝影機、便攜式計算機攝影機、平板計算機等等。用戶將攝影機指向?qū)ο?06并且拍攝照片。系統(tǒng)100隨后促進將對象分類為可標記板，比如白板、粉筆板等等。圖像處理系統(tǒng)102分析對象106，并且確定對象是四邊形。因此，所檢測到的四邊形對象是具有可標記表面并且從而是白板的候選對象。
[0023]圖2示出了用于可標記板的自動分類和圖像增強的替換系統(tǒng)200。例如除了用于貼片處理、估計、圖像增強、區(qū)別的其他組件之外，系統(tǒng)200包括系統(tǒng)100的框架。對于該系統(tǒng)200的描述是按照作為通常被知曉并且使用的白板的可標記板(其具有可標記表面)進行的，并且在所述白板上施加干式墨水以留下具有幾種不同顏色(例如紅色、綠色、棕色、藍色等等)的標記，比如文字和繪畫。
[0024]在這種白板情境中，所公開的架構(gòu)(系統(tǒng)100、系統(tǒng)200)自動計算四邊形對象以及先前被確定為四邊形對象的給定圖像是否是或不是白板。通常來說，由分類組件112使用機器學(xué)習(xí)分類器202接收并且處理性能友好特征的集合110，以便(通過圖像104)計算給定的四邊形對象106是否是白板。
[0025]隨后，如果給定的圖像104是白板，則由圖像增強組件204實施圖像增強，使得背景在沒有標記筆墨水的地方變得均勻(例如近似白板的底色)，而不管白板上的照明/陰影變化如何。此外，圖像增強組件204在前景(其包括標記筆墨水)上實施飽和度提升，使得繪制在白板上的標記看起來鮮明并且清晰。
[0026]應(yīng)當(dāng)理解的是，即使在板表面上沒有任何標記(墨水)，由于板表面的長度上的照明變化(例如一側(cè)可能比另一側(cè)更靠近窗戶，從而比離窗口更遠的一端更加明亮)以及由其他對象(例如窗簾、懸掛對象等等)所投下的陰影，所述白板也很可能不具有均勻的背景顏色。
[0027]空的(無標記的)物理白板的圖像被定義為白板的背景圖像。在白板表面上寫下一些文字或草圖并且重新捕獲白板圖像之后，假設(shè)在未被墨水觸及的地方(板表面的區(qū)域)存在相同的(背景)顏色(如果環(huán)境條件沒有改變的話)。
[0028]將從以下情況開始描述:整個輸入圖像被矯正，并且只包括感興趣的四邊形對象而不包括其他對象(例如掛在板旁邊的墻壁上的圖片等等)。對于對象檢測和透視矯正可以采用現(xiàn)有技術(shù)。
[0029]可標記表面分類(例如白板/非白板)和圖像增強階段共享共同的步驟。所述處理包括使用估計組件206從其上帶有墨水的白板的圖像估計背景圖像。
[0030]圖3展示出了具有可