專(zhuān)利名稱(chēng)：用于自動(dòng)聚焦的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于自動(dòng)聚焦的方法和設(shè)備，更具體地講，涉及這樣一 種用于自動(dòng)聚焦的方法和設(shè)備，其基于圖像的模糊等級(jí)(blurlevel)計(jì)算焦距， 并且當(dāng)按照計(jì)算的焦距捕獲的圖像處于離焦時(shí)，校正用于計(jì)算焦距的方法。
背景技術(shù)：
已經(jīng)作出了許多努力，通過(guò)使用自動(dòng)聚焦功能來(lái)提高圖像捕獲設(shè)備(諸如 廣泛使用的數(shù)字相機(jī)和數(shù)字?jǐn)z相機(jī))中的圖像的質(zhì)量。
通常，圖像捕獲設(shè)備(諸如攝相機(jī)或相機(jī))執(zhí)行光電轉(zhuǎn)換(即，將入射在鏡 頭上的光信號(hào)轉(zhuǎn)換為電信號(hào))，并且對(duì)轉(zhuǎn)換后的圖像信號(hào)執(zhí)行預(yù)定的圖像處理 以形成圖像。
自動(dòng)聚焦和手動(dòng)聚焦是調(diào)整圖像捕獲設(shè)備的聚焦的方法。根據(jù)自動(dòng)聚焦 技術(shù)，使用被鏡頭捕獲的對(duì)象的圖像信號(hào)來(lái)檢測(cè)對(duì)象，根據(jù)所述對(duì)象自動(dòng)驅(qū) 動(dòng)聚焦鏡頭，從而自動(dòng)調(diào)整圖像捕獲設(shè)備的聚焦。
為了調(diào)整圖像捕獲設(shè)備的聚焦，通常移動(dòng)聚焦鏡頭以捕獲完全聚焦的圖 像。在這種情況下，需要捕獲離焦的圖像，這需要長(zhǎng)時(shí)間，導(dǎo)致快門(mén)滯后。
為了解決該問(wèn)題，已經(jīng)提出了這樣一些方法，這些方法通過(guò)使用兩個(gè)或 三個(gè)離焦的圖像來(lái)找到使圖像處于焦點(diǎn)對(duì)準(zhǔn)的聚焦鏡頭的位置。
根據(jù)大多數(shù)上述方法，從按照不同距離捕獲的圖像采集圖像數(shù)據(jù)，從采 集的圖像數(shù)據(jù)獲得用于確定聚焦鏡頭的位置的數(shù)據(jù)，并且獲得的數(shù)據(jù)按照查 找表(LUT)的形式被存儲(chǔ)在圖像捕獲設(shè)備中。
在將用于確定聚焦鏡頭的位置的數(shù)據(jù)按照查找表(LUT)的形式存儲(chǔ)在圖 像捕獲設(shè)備中的方法(作為一種圖像捕獲設(shè)備的自動(dòng)聚焦方法)中，難以按照 LUT的形式存儲(chǔ)所有數(shù)據(jù)。其結(jié)果是，如果輸入了沒(méi)有包括在存儲(chǔ)于圖像捕
獲設(shè)備中的LUT中的數(shù)據(jù)，則發(fā)生錯(cuò)誤。

發(fā)明內(nèi)容
因此，本發(fā)明的一方面在于提供一種用于自動(dòng)聚焦的設(shè)備和方法，其能
夠通過(guò)使用兩個(gè)圖像來(lái)快速調(diào)整聚焦，并且當(dāng)發(fā)生離焦時(shí)，能夠進(jìn)行自校正。
本發(fā)明的另一方面在于提供一種用于自動(dòng)聚焦的設(shè)備和方法，其基于圖
像的模糊等級(jí)計(jì)算焦距，并且當(dāng)按照計(jì)算的焦距捕獲的圖像處于離焦時(shí)，校 正用于計(jì)算焦距的方法。
另外方面和/或優(yōu)點(diǎn)將在下面的描述中部分地闡明，并且從描述中部分是 清楚的，或者通過(guò)本發(fā)明的實(shí)施可以被理解。
可通過(guò)提供一種用于自動(dòng)聚焦的距離分類(lèi)器來(lái)實(shí)現(xiàn)本發(fā)明的上述和/或 其它方面，該距離分類(lèi)器包括距離計(jì)算模塊，基于至少兩個(gè)圖像的模糊等 級(jí)計(jì)算焦距；準(zhǔn)確距離計(jì)算模塊，當(dāng)按照由距離計(jì)算模塊計(jì)算的焦距捕獲的 圖像中的一個(gè)處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離；距離計(jì)算校正模塊，基 于所述模糊等級(jí)以及由準(zhǔn)確距離計(jì)算模塊計(jì)算的到對(duì)象的準(zhǔn)確距離，來(lái)校正 距離計(jì)算模塊。
還可通過(guò)提供一種用于自動(dòng)聚焦的設(shè)備來(lái)實(shí)現(xiàn)本發(fā)明的上述和/或其它 方面，該用于自動(dòng)聚焦的設(shè)備包括模糊等級(jí)計(jì)算模塊，計(jì)算具有不同焦距 的至少兩個(gè)圖像的模糊等級(jí)；距離計(jì)算模塊，基于由模糊等級(jí)計(jì)算模塊計(jì)算 的模糊等級(jí)計(jì)算焦距；準(zhǔn)確距離計(jì)算模塊，當(dāng)按照由距離計(jì)算模塊計(jì)算的焦 距中的一個(gè)捕獲的圖像中的一個(gè)處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離；距離 計(jì)算校正模塊，基于模糊等級(jí)以及由準(zhǔn)確距離計(jì)算模塊計(jì)算的到對(duì)象的準(zhǔn)確 距離，來(lái)校正距離計(jì)算模塊。
還可通過(guò)提供一種圖像捕獲設(shè)備來(lái)實(shí)現(xiàn)本發(fā)明的上述和/或其它方面，該 圖像捕獲設(shè)備包括鏡頭，對(duì)象的圖像光入射在所述鏡頭上；傳感器，捕獲 由入射的圖像光形成的圖像；自動(dòng)聚焦設(shè)備，通過(guò)計(jì)算由傳感器捕獲的圖像 的模糊等級(jí)來(lái)計(jì)算焦距，并且當(dāng)按照計(jì)算的焦距捕獲的圖像處于離焦時(shí)，所 述自動(dòng)聚焦設(shè)備校正用于計(jì)算焦距的方法；聚焦鏡頭控制器，根據(jù)由自動(dòng)聚 焦設(shè)備計(jì)算的焦距來(lái)對(duì)鏡頭進(jìn)行定位，以調(diào)整焦距；圖像處理器，對(duì)按照調(diào) 整的焦距捕獲的圖像進(jìn)行處理，以形成最終圖像。
還可通過(guò)提供一種自動(dòng)聚焦方法來(lái)實(shí)現(xiàn)本發(fā)明的上述和/或其它方面，該
自動(dòng)聚焦方法包括計(jì)算按照第一焦距捕獲的第一圖像的模糊等級(jí)以及按照
第二焦距捕獲的第二圖像的模糊等級(jí)；基于第一圖像的模糊等級(jí)以及第二圖 像的模糊等級(jí)計(jì)算第一焦距和第二焦距；當(dāng)捕獲的所述圖像中的一個(gè)處于離
焦時(shí)，校正用于計(jì)算焦距的方法。
還可通過(guò)提供一種圖像捕獲方法來(lái)實(shí)現(xiàn)本發(fā)明的上述和/或其它方面，該
圖像捕獲方法包括當(dāng)圖像光入射時(shí)捕獲圖像；計(jì)算捕獲的圖像的模糊等級(jí); 基于計(jì)算的模糊等級(jí)來(lái)計(jì)算圖像的焦距；當(dāng)按照計(jì)算的焦距捕獲的圖像處于 離焦時(shí)，校正用于計(jì)算焦距的方法；對(duì)按照計(jì)算的焦距捕獲的圖像進(jìn)行處理， 以形成最終圖像。


通過(guò)結(jié)合附圖，從下面實(shí)施例的描述中，這些和/或其它方面及優(yōu)點(diǎn)將會(huì) 變得清楚和更易于理解，其中
圖1是示出根據(jù)本發(fā)明實(shí)施例的設(shè)置有自動(dòng)聚焦設(shè)備的圖像捕獲設(shè)備的
框圖2是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備的框圖； 圖3是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦方法的流程圖； 圖4是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦方法中的校正計(jì)算焦距的方法 的處理的流程圖5是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備中的計(jì)算到對(duì)象的準(zhǔn)確距 離的處理的流程圖6是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備中的距離分類(lèi)器的多層神 經(jīng)網(wǎng)絡(luò)的示意圖7是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備的計(jì)算多層神經(jīng)網(wǎng)絡(luò)中的 神經(jīng)元的處理的示意圖8是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備中的校正多層神經(jīng)網(wǎng)絡(luò)的 系數(shù)的反向傳播處理的示意圖9是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備中的校正多層神經(jīng)網(wǎng)絡(luò)的 系數(shù)的處理的示意圖。
具體實(shí)施例方式
現(xiàn)在將詳細(xì)描述實(shí)施例，其示例在附圖中示出，其中，相同的標(biāo)號(hào)始終 表示相同的部件。下面通過(guò)參照附圖來(lái)描述實(shí)施例以解釋本發(fā)明。
下面參照根據(jù)本發(fā)明的實(shí)施例的用戶(hù)接口 、方法和計(jì)算機(jī)程序產(chǎn)品的流 程圖來(lái)描述本發(fā)明。應(yīng)該理解，流程圖的每個(gè)塊以及流程圖中的塊的組合可 通過(guò)計(jì)算機(jī)程序指令被實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可被提供給通用計(jì)算機(jī)、 專(zhuān)用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備的處理器以生成機(jī)器，以使得可通過(guò) 計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程
塊或多個(gè)流程塊中指定的功能的裝置。
計(jì)算機(jī)程序指令也可被存儲(chǔ)在計(jì)算機(jī)可用或計(jì)算機(jī)可讀存儲(chǔ)器中，計(jì)算 機(jī)程序指令可指示計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備以特定的方式運(yùn)行，以 使得存儲(chǔ)在計(jì)算機(jī)可用或計(jì)算機(jī)可讀存儲(chǔ)器中的指令生成包括指令裝置的一 件產(chǎn)品，所述指令裝置實(shí)現(xiàn)在流程塊或多個(gè)流程塊中指定的功能。
計(jì)算機(jī)程序指令也可被加載到計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備上，以 使得在計(jì)算機(jī)或其它可編程設(shè)備上執(zhí)行一 系列操作，以生成計(jì)算機(jī)實(shí)現(xiàn)的處 理，從而在計(jì)算機(jī)或其它可編程設(shè)備上執(zhí)行的指令提供實(shí)現(xiàn)在流程塊或多個(gè) 流程塊中指定的功能的操作。
流程圖的每個(gè)塊可表示代碼的模塊、代碼段或代碼的一部分，代碼包括 實(shí)現(xiàn)指定的邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令。還應(yīng)注意到，在一些可選擇 的實(shí)施方式中，在塊中標(biāo)注的功能可不按照指定的次序發(fā)生。例如，取決于 所涉及的功能性，連續(xù)顯示的兩個(gè)塊實(shí)際上可以基本同時(shí)被執(zhí)行，或者有時(shí) 這些塊可按照相反的次序被執(zhí)行。
可通過(guò)計(jì)算硬件(計(jì)算設(shè)備)和/或軟件，諸如(非限制性示例)可存儲(chǔ)、取 出、處理和/或輸出數(shù)據(jù)和/或與其它計(jì)算機(jī)通信的任何計(jì)算機(jī)，來(lái)實(shí)現(xiàn)實(shí)施例。 生成的結(jié)果可被顯示在計(jì)算硬件的顯示器上。實(shí)現(xiàn)實(shí)施例的程序/軟件可被記 錄在包括計(jì)算機(jī)可讀記錄介質(zhì)的計(jì)算機(jī)可讀介質(zhì)上。實(shí)現(xiàn)實(shí)施例的程序/軟件 也可通過(guò)傳輸通信介質(zhì)被傳輸。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括磁記錄設(shè)備、
光盤(pán)、磁光盤(pán)和/或半導(dǎo)體存儲(chǔ)器(例如RAM、 ROM等)。磁記錄設(shè)備的示例 包括硬盤(pán)裝置(HDD)、軟盤(pán)(FD)和磁帶(MT)。光盤(pán)的示例包括DVD(數(shù)字多功 能盤(pán))、DVD-RAM、 CD-ROM(致密盤(pán)-只讀存儲(chǔ)器)和CD-R(可記錄)/RW。通 信介質(zhì)的示例包括載波信號(hào)。
圖1是示出根據(jù)本發(fā)明實(shí)施例的設(shè)置有用于自動(dòng)聚焦的設(shè)備的圖像捕獲
設(shè)備的框圖。
圖像捕獲設(shè)備包括鏡頭110、傳感器120、圖像處理器130、用于自動(dòng)聚 焦的設(shè)備(下文中稱(chēng)為"自動(dòng)聚焦設(shè)備")140以及聚焦鏡頭控制器150。
來(lái)自對(duì)象的圖像光通過(guò)鏡頭IIO入射在傳感器120上。傳感器120的示 例包括CCD、 CMOS以及本領(lǐng)域公知的其它圖像捕獲裝置。在傳感器120的 成像表面上形成的模擬圖像被轉(zhuǎn)換為數(shù)字圖像。
圖像處理器130通過(guò)對(duì)處于焦點(diǎn)對(duì)準(zhǔn)的圖像應(yīng)用標(biāo)準(zhǔn)成像算法，來(lái)產(chǎn)生 最終圖像。圖像處理器130執(zhí)行圖像處理，諸如從圖像去除噪聲、加亮邊緣 以及壓縮，以形成最終圖像。
自動(dòng)聚焦設(shè)備140計(jì)算由傳感器120捕獲的圖像的模糊等級(jí)，然后基于 計(jì)算的模糊等級(jí)計(jì)算焦距。自動(dòng)聚焦設(shè)備140基于兩個(gè)模糊等級(jí)計(jì)算焦距。 當(dāng)基于計(jì)算的焦距采集的圖像處于離焦時(shí)，校正用于計(jì)算焦距的方法。將參 照?qǐng)D2進(jìn)行詳細(xì)描述。
聚焦鏡頭控制器150根據(jù)確定的焦距對(duì)鏡頭IIO進(jìn)行定位。
圖2是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備140的框圖。
自動(dòng)聚焦設(shè)備140包括模糊等級(jí)計(jì)算模塊210和距離分類(lèi)器200,距離 分類(lèi)器200包括距離計(jì)算模塊220、準(zhǔn)確距離計(jì)算模塊230和距離計(jì)算校正 模塊240。
模糊等級(jí)計(jì)算模塊210基于第一焦距計(jì)算第一圖像II的模糊等級(jí)Bl， 并基于第二焦距計(jì)算第二圖像12的模糊等級(jí)B2。通過(guò)使用變換方法(諸如離 散余弦變換(DCT)方法、傅里葉變換(FT)方法或小波變換(WT)方法)，以及通 過(guò)使用利用高通濾波器(諸如Laplacian濾波器或Sobel濾波器)的方法，來(lái)計(jì)
算模糊等級(jí)。
模糊等級(jí)計(jì)算模塊210將計(jì)算的模糊等級(jí)B1和B2輸入到可計(jì)算焦距的 距離分類(lèi)器200。
距離分類(lèi)器200基于計(jì)算的模糊等級(jí)B1和B2來(lái)計(jì)算焦距。當(dāng)按照計(jì)算 的焦距采集的圖像處于離焦時(shí)，距離分類(lèi)器200計(jì)算到對(duì)象的準(zhǔn)確距離，以 校正用于計(jì)算焦距的方法。距離分類(lèi)器200包括距離計(jì)算模塊220、準(zhǔn)確距 離計(jì)算模塊230和距離計(jì)算校正模塊240。
距離計(jì)算模塊220基于模糊等級(jí)B1和B2計(jì)算焦距。距離計(jì)算模塊220 可根據(jù)各種方法基于模糊等級(jí)來(lái)計(jì)算焦距。距離計(jì)算模塊220可通過(guò)使用多
層神經(jīng)網(wǎng)絡(luò)來(lái)計(jì)算焦距。隨后將參照?qǐng)D6和圖7進(jìn)行詳細(xì)描述。
當(dāng)按照由距離計(jì)算模塊220計(jì)算的焦距捕獲的圖像處于離焦時(shí)，準(zhǔn)確距 離計(jì)算模塊230計(jì)算到對(duì)象的準(zhǔn)確距離。準(zhǔn)確距離計(jì)算模塊230通過(guò)使用有 源自動(dòng)聚焦方法來(lái)計(jì)算到對(duì)象的準(zhǔn)確距離，所述有源自動(dòng)聚焦方法使用紅外 線或超聲波?；蛘?，用戶(hù)可輸入準(zhǔn)確距離。然而，考慮到設(shè)備的性能和經(jīng)濟(jì) 效率，可使用無(wú)源自動(dòng)聚焦方法，所述無(wú)源自動(dòng)聚焦方法基于圖像捕獲設(shè)備 捕獲的圖像。高通濾波和爬山搜索算法是代表性的方法。隨后將參照?qǐng)D5進(jìn)行詳細(xì)描述。
距離計(jì)算校正模塊240基于由準(zhǔn)確距離計(jì)算模塊230計(jì)算的到對(duì)象的準(zhǔn) 確距離、第一圖像的模糊等級(jí)B1和第二圖像的模糊等級(jí)B2，來(lái)校正距離計(jì) 算模塊220。當(dāng)多層神經(jīng)網(wǎng)絡(luò)用作距離計(jì)算模塊220時(shí)，距離計(jì)算校正模塊 240使用在線學(xué)習(xí)方法以校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)，從而距離計(jì)算模塊220 具有最小誤差。隨后將參照?qǐng)D8和圖9進(jìn)行詳細(xì)描述。
這里所使用的術(shù)語(yǔ)"模塊"指的是但不限于軟件或硬件組件，諸如執(zhí)行 特定任務(wù)的現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或?qū)Ｓ眉呻娐?ASIC)。模塊可有利地 被配置為駐留在可尋址存儲(chǔ)介質(zhì)上，并且被配置為在一個(gè)或多個(gè)處理器中執(zhí) 行。因此，模塊可包括，例如，諸如軟件組件、面向?qū)ο蟮能浖M件、類(lèi)組 件和任務(wù)組件的組件、進(jìn)程、函數(shù)、屬性、過(guò)程、子程序、程序代碼段、驅(qū) 動(dòng)程序、固件、微代碼、電路、數(shù)據(jù)、數(shù)據(jù)庫(kù)、數(shù)據(jù)結(jié)構(gòu)、表、數(shù)組和變量。 設(shè)置在這些組件和模塊中的功能性可被組合為更少的組件和模塊，或者還可 被分離為另外的組件和模塊。
圖3是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦方法的流程圖。
分別按照第一焦距和第二焦距捕獲第一圖像Il和第二圖像I2 (S310)。聚 焦鏡頭控制器150將鏡頭110定位在與第一焦距相應(yīng)的第一位置和與第二焦 距相應(yīng)的第二位置。然后，傳感器120捕獲第一圖像I1和第二圖像I2。
計(jì)算第一圖像Il的模糊等級(jí)B1和第二圖像的模糊等級(jí)B2(S320)。自動(dòng) 聚焦設(shè)備140的模糊等級(jí)計(jì)算模塊210通過(guò)使用變換方法(諸如離散余弦變換 (DCT)、傅里葉變換(FT)或小波變換(WT)),或者通過(guò)^f吏用高通濾波器(諸如 L叩lacian濾波器或Sobel濾波器)，來(lái)計(jì)算第一圖像Il的模糊等級(jí)B1和第二 圖像12的模糊等級(jí)B2。
基于第一圖像的模糊等級(jí)B1和第二圖像的模糊等級(jí)B2計(jì)算焦距(S330)。
自動(dòng)聚焦設(shè)備140的距離計(jì)算模塊220可使用各種方法基于模糊等級(jí)來(lái)計(jì)算 焦距。例如，距離計(jì)算模塊220可使用多層神經(jīng)網(wǎng)絡(luò)(MNN)來(lái)計(jì)算焦距。隨 后將參照?qǐng)D6和圖7進(jìn)行詳細(xì)描述。
按照計(jì)算的焦距捕獲圖像I-F (S340)。聚焦鏡頭控制器150根據(jù)計(jì)算的焦 距對(duì)鏡頭IIO進(jìn)行定位，并且傳感器120捕獲圖像。
確定捕獲的圖像I-F是處于焦點(diǎn)對(duì)準(zhǔn)還是處于離焦(S350)?？稍?xún)問(wèn)用戶(hù)采 集的圖像I-F是處于焦點(diǎn)對(duì)準(zhǔn)還是處于離焦。或者，可根據(jù)預(yù)定的標(biāo)準(zhǔn)來(lái)進(jìn) 行所述確定。當(dāng)確定捕獲的圖像I-F處于焦點(diǎn)對(duì)準(zhǔn)時(shí)，圖像處理器130執(zhí)行 圖像處理，諸如應(yīng)用標(biāo)準(zhǔn)成像算法、去除噪聲、加亮邊緣以及壓縮，以形成 最終圖像。
當(dāng)確定捕獲的圖像I-F處于離焦時(shí)，校正計(jì)算焦距的方法(S360)。下面將 參照?qǐng)D4進(jìn)行詳細(xì)描述。
根據(jù)校正后的計(jì)算焦距的方法，基于第一圖像的模糊等級(jí)Bl和第二圖 像的模糊等級(jí)B2再次計(jì)算焦距(S330)。重復(fù)該過(guò)程，直到獲得了處于焦點(diǎn)對(duì) 準(zhǔn)的圖像。
圖4是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦方法中的校正計(jì)算焦距的方法 的處理的流程圖。
計(jì)算到對(duì)象的準(zhǔn)確距離(S410)。當(dāng)按照由距離計(jì)算模塊220計(jì)算的焦距 捕獲的圖像I-F處于離焦時(shí)，準(zhǔn)確距離計(jì)算模塊230計(jì)算到對(duì)象的準(zhǔn)確距離 (S410)。準(zhǔn)確距離計(jì)算模塊230可通過(guò)使用有源自動(dòng)聚焦方法來(lái)計(jì)算到對(duì)象 的準(zhǔn)確距離，所述有源自動(dòng)聚焦方法使用紅外線或超聲波。或者，用戶(hù)可輸 入準(zhǔn)確距離。然而，考慮到設(shè)備的性能和經(jīng)濟(jì)效率，可使用無(wú)源自動(dòng)聚焦方 法，所述無(wú)源自動(dòng)聚焦方法基于圖像捕獲設(shè)備捕獲的圖像。高通濾波和爬山 搜索算法是代表性的示例。下面將參照?qǐng)D5進(jìn)行詳細(xì)描述。
輸入模糊等級(jí)(S420)。為了校正距離計(jì)算模塊220,距離計(jì)算校正模塊 240接收第一圖像的模糊等級(jí)B1和第二圖像的模糊等級(jí)B2，作為用于由準(zhǔn) 確距離計(jì)算模塊230計(jì)算的到對(duì)象的準(zhǔn)確距離的數(shù)據(jù)。
基于輸入的模糊等級(jí)進(jìn)行校正(S430)。距離計(jì)算校正模塊240基于由準(zhǔn) 確距離計(jì)算模塊230計(jì)算的到對(duì)象的準(zhǔn)確距離以及輸入的模糊等級(jí)B1和B2 ， 來(lái)校正距離計(jì)算模塊220。當(dāng)多層神經(jīng)網(wǎng)絡(luò)用作距離計(jì)算模塊220時(shí)，距離 計(jì)算校正模塊240使用在線學(xué)習(xí)方法以校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)，使得距離
計(jì)算模塊220的誤差盡可能減小。下面將參照?qǐng)D8和圖9進(jìn)行詳細(xì)描述。
圖5是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備計(jì)算到對(duì)象的準(zhǔn)確距離的 操作的流程圖。
鏡頭被設(shè)置在初始位置N (S510)。聚焦鏡頭控制器150將鏡頭110定位 在初始位置N。初始位置N的值可小于與由自動(dòng)聚焦設(shè)備140的距離計(jì)算模 塊220計(jì)算的焦距相應(yīng)的鏡頭的位置的值。
傳感器120在設(shè)置的位置捕獲圖像(S520)。
對(duì)捕獲的圖像執(zhí)行高通濾波(S530)。通常，隨著通過(guò)高通濾波獲得的值 增大，圖像的清晰度增加。因此，準(zhǔn)確距離計(jì)算模塊230對(duì)捕獲的圖像執(zhí)行
高通濾波。
將濾波后的值進(jìn)行相加以計(jì)算FV(N)的值(S540)。準(zhǔn)確距離計(jì)算模塊230 將通過(guò)對(duì)在位置N獲得的圖像執(zhí)行高通濾波而獲得的所有值進(jìn)行相加，并返 回FV(N)的值。
確定FV(N-2)的值是否大于FV(N-1)的值以及FV(N-1)的值是否大于 FV(N)的值(S550)。在大多數(shù)情況下，經(jīng)過(guò)高通濾波處理的值在聚焦鏡頭的位 置范圍內(nèi)單增和單減。通過(guò)計(jì)算FV(N)的值增大然后開(kāi)始減小的點(diǎn)，可確定 保證最銳聚焦的聚焦鏡頭的位置。因此，準(zhǔn)確距離計(jì)算模塊230確定FV(N-2)
L是否大于FV(N)的值。
經(jīng)過(guò)高通濾波處理的值開(kāi)始從N-1減小。因此，在聚焦鏡頭的位置N-2計(jì)算 到對(duì)象的準(zhǔn)確距離(S560)。準(zhǔn)確距離計(jì)算模塊230在經(jīng)過(guò)高通濾波處理的值 為最大的聚焦鏡頭的位置計(jì)算到對(duì)象的準(zhǔn)確距離。
當(dāng)確定FV(N-2)的值小于FV(N-1)的值并且FV(N-1)的值小于FV(N)的值 時(shí)，聚焦鏡頭的位置移動(dòng)到下一位置N+1 (S570)。聚焦鏡頭控制器150將鏡 頭110移動(dòng)到下一位置N+1。
在位置N+1捕獲圖像，然后重復(fù)上述過(guò)程，直到計(jì)算出經(jīng)過(guò)高通濾波處 理的值為最大的鏡頭的位置。
圖6是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備中的距離分類(lèi)器的多層神 經(jīng)網(wǎng)絡(luò)的示意圖。
當(dāng)根據(jù)實(shí)驗(yàn)存在用于不同焦距的模糊等級(jí)數(shù)據(jù)時(shí)，需要一種根據(jù)相應(yīng)距 離將模糊等級(jí)數(shù)據(jù)分類(lèi)的方法。在將數(shù)據(jù)分類(lèi)的方法中，可使用多層神經(jīng)網(wǎng)
絡(luò)。多層神經(jīng)網(wǎng)絡(luò)在理論上已被建立，并且可易于被應(yīng)用。此外，可通過(guò)使 用反向傳播方法來(lái)校正和補(bǔ)償誤差。
如圖6所示，對(duì)于距離分類(lèi)，使用包括兩個(gè)輸入和四個(gè)輸出的三層神經(jīng) 網(wǎng)絡(luò)。根據(jù)計(jì)算神經(jīng)元的處理來(lái)計(jì)算輸出節(jié)點(diǎn)。當(dāng)在輸出節(jié)點(diǎn)中選擇了具有
最大值的輸出節(jié)點(diǎn)時(shí)，計(jì)算相對(duì)于輸入的模糊等級(jí)的焦距。將參照?qǐng)D7來(lái)詳
細(xì)描述計(jì)算每個(gè)神經(jīng)元的方法。
圖7是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備的計(jì)算多層神經(jīng)網(wǎng)絡(luò)中的 神經(jīng)元的方法的示意圖。
每個(gè)神經(jīng)元包括兩個(gè)單元。第一單元將數(shù)據(jù)1和系數(shù)wll相乘，將數(shù)據(jù) 2和系數(shù)wl2相乘，并將兩個(gè)相乘值相加。這里，系數(shù)wll和系數(shù)wl2是權(quán) 重。由下面的等式表示上述過(guò)程。
<formula>formula see original document page 14</formula>
第二單元實(shí)現(xiàn)被稱(chēng)為激活函數(shù)的非線性函數(shù)。下面的S形函數(shù)用作激活函數(shù)。
<formula>formula see original document page 14</formula>通過(guò)使用上述計(jì)算方法來(lái)計(jì)算每個(gè)神經(jīng)元，以計(jì)算輸出節(jié)點(diǎn)。最大的輸 出節(jié)點(diǎn)成為焦距。
圖8是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備中的校正多層神經(jīng)網(wǎng)絡(luò)的 反向傳播方法的示意圖。
當(dāng)誤差被表示為5時(shí)，相對(duì)于距離1的誤差是5。當(dāng)相對(duì)于距離1的誤 差是S時(shí)，相對(duì)于層2-1的誤差521如下。
<formula>formula see original document page 14</formula>
根據(jù)反向傳播方法，計(jì)算相對(duì)于第一層的誤差511、 512、 513和514。 圖9是示出根據(jù)本發(fā)明實(shí)施例的自動(dòng)聚焦設(shè)備中的校正多層神經(jīng)網(wǎng)絡(luò)的 方法的示意圖。
通過(guò)下面的等式來(lái)計(jì)算針對(duì)層1-1校正的系數(shù)。
<formula>formula see original document page 14</formula>
這里，ri表示學(xué)習(xí)率，f(x)表示上述S形函數(shù)，x!表示數(shù)據(jù)l的值。根據(jù) 上述方法來(lái)校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)。當(dāng)ri和f(x)被保持為具有常數(shù)值時(shí)，
通過(guò)使用上述方法校正所有系數(shù)直到最終輸出節(jié)點(diǎn)。
如上所述，本發(fā)明具有下述優(yōu)點(diǎn)。首先，可使用最小數(shù)量的圖像來(lái)快速 調(diào)整聚焦。第二，即使當(dāng)處于離焦時(shí)，也可進(jìn)行自校正。第三，盡管存在快 速場(chǎng)景變化，也可有效調(diào)整聚焦。第四，即使先前沒(méi)有構(gòu)建大型數(shù)據(jù)集，也 可通過(guò)實(shí)時(shí)校正來(lái)獲得準(zhǔn)確的聚焦。
雖然已經(jīng)顯示和描述了實(shí)施例，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫 離由權(quán)利要求及其等同物限定其范圍的本發(fā)明的原理和精神的情況下，可以 對(duì)實(shí)施例作出多種改變。
權(quán)利要求
1、一種用于自動(dòng)聚焦的距離分類(lèi)器，包括:距離計(jì)算模塊，基于至少兩個(gè)圖像的模糊等級(jí)計(jì)算焦距；準(zhǔn)確距離計(jì)算模塊，當(dāng)按照由距離計(jì)算模塊計(jì)算的焦距捕獲的圖像中的一個(gè)處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離；距離計(jì)算校正模塊，基于所述模糊等級(jí)以及由準(zhǔn)確距離計(jì)算模塊計(jì)算的到對(duì)象的準(zhǔn)確距離，來(lái)校正距離計(jì)算模塊。
2、 根據(jù)權(quán)利要求1所述的距離分類(lèi)器，其中 距離計(jì)算模塊通過(guò)使用多層神經(jīng)網(wǎng)絡(luò)來(lái)計(jì)算焦距，并且距離計(jì)算校正模塊校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)。
3、 根據(jù)權(quán)利要求1所述的距離分類(lèi)器，其中，準(zhǔn)確距離計(jì)算模塊通過(guò)使 用利用紅外線或超聲波的方法或者利用高通濾波或爬山搜索算法的方法，來(lái) 計(jì)算所述準(zhǔn)確距離。
4、 一種用于自動(dòng)聚焦的設(shè)備，包括模糊等級(jí)計(jì)算模塊，計(jì)算具有不同焦距的至少兩個(gè)圖像的模糊等級(jí)； 距離計(jì)算模塊，基于由模糊等級(jí)計(jì)算模塊計(jì)算的模糊等級(jí)計(jì)算焦距； 準(zhǔn)確距離計(jì)算模塊，當(dāng)按照由距離計(jì)算模塊計(jì)算的焦距中的一個(gè)捕獲的 圖像中的 一 個(gè)處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離；距離計(jì)算校正模塊，基于模糊等級(jí)以及由準(zhǔn)確距離計(jì)算模塊計(jì)算的到對(duì)象的準(zhǔn)確距離，來(lái)校正距離計(jì)算模塊。
5、 根據(jù)權(quán)利要求4所述的設(shè)備，其中，模糊等級(jí)計(jì)算模塊通過(guò)使用離散 余弦變換、傅里葉變換、小波變換、Laplacian濾波器和Sobel濾波器中的至 少一個(gè)來(lái)計(jì)算模糊等級(jí)。
6、 根據(jù)權(quán)利要求4所述的設(shè)備，其中距離計(jì)算模塊通過(guò)使用多層神經(jīng)網(wǎng)絡(luò)來(lái)計(jì)算焦距，并且 距離計(jì)算校正模塊校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)。
7、 根據(jù)權(quán)利要求4所述的設(shè)備，其中，準(zhǔn)確距離計(jì)算模塊通過(guò)使用利用 紅外線或超聲波的方法或者利用高通濾波和爬山搜索算法的方法，來(lái)計(jì)算所 述準(zhǔn)確距離。
8、 根據(jù)權(quán)利要求4所述的設(shè)備，其中，模糊等級(jí)計(jì)算模塊計(jì)算按照所述焦距中的第一個(gè)而捕獲的兩個(gè)圖像中的第一個(gè)的模糊等級(jí)以及按照所述焦距 中的第二個(gè)而捕獲的兩個(gè)圖像中的第二個(gè)的模糊等級(jí)。
9、 一種圖像捕獲設(shè)備，包括鏡頭，對(duì)象的圖像光入射在所述鏡頭上； 傳感器，捕獲由入射的圖像光形成的圖像；自動(dòng)聚焦設(shè)備，通過(guò)計(jì)算由傳感器捕獲的圖像的模糊等級(jí)來(lái)計(jì)算焦距， 并且當(dāng)按照計(jì)算的焦距捕獲的圖像處于離焦時(shí)，所述自動(dòng)聚焦設(shè)備校正用于 計(jì)算焦距的方法；聚焦鏡頭控制器，根據(jù)由自動(dòng)聚焦設(shè)備計(jì)算的焦距來(lái)對(duì)鏡頭進(jìn)行定位， 以調(diào)整焦距；圖像處理器，對(duì)按照調(diào)整的焦距捕獲的圖像進(jìn)行處理，以形成最終圖像。
10、 根據(jù)權(quán)利要求9所述的圖像捕獲設(shè)備，其中， 自動(dòng)聚焦設(shè)備包括模糊等級(jí)計(jì)算模塊，計(jì)算捕獲的具有不同焦距的至少兩個(gè)圖像的模糊等級(jí)；距離計(jì)算模塊，基于由模糊等級(jí)計(jì)算模塊計(jì)算的模糊等級(jí)計(jì)算焦距； 準(zhǔn)確距離計(jì)算模塊，當(dāng)按照由距離計(jì)算模塊計(jì)算的焦距捕獲的圖像中的一個(gè)處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離；距離計(jì)算校正模塊，基于模糊等級(jí)以及由準(zhǔn)確距離計(jì)算模塊計(jì)算的到對(duì)象的準(zhǔn)確距離，來(lái)校正距離計(jì)算模塊。
11、 根據(jù)權(quán)利要求10所述的圖像捕獲設(shè)備，其中，模糊等級(jí)計(jì)算模塊通 過(guò)使用離散余弦變換、傅里葉變換、小波變換、Laplacian濾波器和Sobel濾 波器中的至少一個(gè)來(lái)計(jì)算模糊等級(jí)。
12、 根據(jù)權(quán)利要求10所述的圖像捕獲設(shè)備，其中 距離計(jì)算模塊通過(guò)使用多層神經(jīng)網(wǎng)絡(luò)來(lái)計(jì)算焦距，并且距離計(jì)算校正模塊校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)。
13、 根據(jù)權(quán)利要求10所述的圖像捕獲設(shè)備，其中，準(zhǔn)確距離計(jì)算模塊通 過(guò)使用利用紅外線或超聲波的方法或者利用高通濾波和爬山搜索算法的方 法，來(lái)計(jì)算準(zhǔn)確距離。
14、 一種自動(dòng)聚焦方法，包括計(jì)算按照第一焦距捕獲的第一圖像的模糊等級(jí)以及按照第二焦距捕獲的第二圖像的模糊等級(jí)；基于第一圖像的模糊等級(jí)以及第二圖像的模糊等級(jí)計(jì)算第一焦距和第二焦距；當(dāng)捕獲的所述圖像中的一個(gè)處于離焦時(shí)，校正用于計(jì)算焦距的方法。
15、 根據(jù)權(quán)利要求14所述的自動(dòng)聚焦方法，其中，通過(guò)使用離散余弦變 換、傅里葉變換、小波變換、Laplacian濾波器和Sobel濾波器中的一個(gè)來(lái)計(jì)算模糊等級(jí)。
16、 根據(jù)權(quán)利要求14所述的自動(dòng)聚焦方法，其中 通過(guò)使用多層神經(jīng)網(wǎng)絡(luò)來(lái)計(jì)算焦距，并且通過(guò)校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)，來(lái)執(zhí)行對(duì)用于計(jì)算焦距的方法的校正。
17、 根據(jù)權(quán)利要求14所述的自動(dòng)聚焦方法，還包括當(dāng)按照計(jì)算的焦距捕獲的圖像處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離， 其中，基于所述到對(duì)象的準(zhǔn)確距離、第一圖像的模糊等級(jí)以及第二圖像 的模糊等級(jí)，來(lái)執(zhí)行對(duì)用于計(jì)算焦距的方法的校正。
18、 根據(jù)權(quán)利要求n所述的自動(dòng)聚焦方法，其中，通過(guò)使用利用紅外線或超聲波的方法或者利用高通濾波和爬山搜索算法的方法，來(lái)計(jì)算到對(duì)象的 準(zhǔn)確距離。
19、 一種圖像捕獲方法，包括 當(dāng)圖像光入射時(shí)捕獲圖像； 計(jì)算捕獲的圖像的模糊等級(jí)； 基于計(jì)算的模糊等級(jí)來(lái)計(jì)算圖像的焦距；當(dāng)按照計(jì)算的焦距捕獲的圖像中的一個(gè)處于離焦時(shí)，校正用于計(jì)算焦距 的方法；對(duì)按照計(jì)算的焦距捕獲的圖像進(jìn)行處理，以形成最終圖像。
20、 根據(jù)權(quán)利要求19所述的方法，其中，計(jì)算模糊等級(jí)的步驟包括使 用離散余弦變換、傅里葉變換、小波變換、Laplacian濾波器和Sobel濾波器 中的一個(gè)。
21、 根據(jù)權(quán)利要求19所述的方法，其中 計(jì)算焦距的步驟包括使用多層神經(jīng)網(wǎng)絡(luò)，并且校正用于計(jì)算焦距的方法的步驟包括校正多層神經(jīng)網(wǎng)絡(luò)的系數(shù)。
22、 根據(jù)權(quán)利要求19所述的方法，還包括當(dāng)按照計(jì)算的焦距捕獲的圖像處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離， 其中，基于所述到對(duì)象的準(zhǔn)確距離、第一圖像的模糊等級(jí)以及第二圖像 的模糊等級(jí)，來(lái)執(zhí)行對(duì)用于計(jì)算焦距的方法的校正。
23、 一種用于自動(dòng)聚焦的距離分類(lèi)器，包括距離計(jì)算模塊，基于至少兩個(gè)圖像的模糊等級(jí)計(jì)算焦距； 距離計(jì)算校正模塊，基于所述焦距以及所述模糊等級(jí)來(lái)校正距離計(jì)算模塊。
24、 根據(jù)權(quán)利要求23所述的距離分類(lèi)器，還包括準(zhǔn)確距離計(jì)算模塊， 當(dāng)按照由距離計(jì)算模塊計(jì)算的焦距捕獲的圖像中的 一個(gè)處于離焦時(shí)，計(jì)算到 對(duì)象的準(zhǔn)確距離。
25、 根據(jù)權(quán)利要求24所述的距離分類(lèi)器，其中，距離計(jì)算校正模塊基于 由準(zhǔn)確距離計(jì)算模塊計(jì)算的到對(duì)象的準(zhǔn)確距離，來(lái)校正距離計(jì)算模塊。
全文摘要
本發(fā)明提供一種用于自動(dòng)聚焦的方法和設(shè)備。一種用于自動(dòng)聚焦的距離分類(lèi)器包括距離計(jì)算模塊，基于至少兩個(gè)圖像的模糊等級(jí)計(jì)算焦距；準(zhǔn)確距離計(jì)算模塊，當(dāng)按照由距離計(jì)算模塊計(jì)算的焦距捕獲的圖像處于離焦時(shí)，計(jì)算到對(duì)象的準(zhǔn)確距離；距離計(jì)算校正模塊，基于所述模糊等級(jí)以及由準(zhǔn)確距離計(jì)算模塊計(jì)算的到對(duì)象的準(zhǔn)確距離，來(lái)校正距離計(jì)算模塊。
文檔編號(hào)H04N5/232GK101387734SQ20081021311
公開(kāi)日2009年3月18日 申請(qǐng)日期2008年9月12日 優(yōu)先權(quán)日2007年9月14日
發(fā)明者姜炳豪, 樸炳冠 申請(qǐng)人:三星電子株式會(huì)社;三星電機(jī)株式會(huì)社