自動(dòng)對(duì)焦追蹤的制作方法
【專利摘要】提出了用于支持?jǐn)U增現(xiàn)實(shí)或其他計(jì)算機(jī)視覺應(yīng)用的裝置和方法。各實(shí)施例使得能在自然特征引擎和自動(dòng)對(duì)焦引擎之間進(jìn)行通信以提高引擎的準(zhǔn)確性或減少引擎的處理時(shí)間。自動(dòng)對(duì)焦引擎可將自動(dòng)對(duì)焦窗口的位置和/或從前一自動(dòng)對(duì)焦窗口到下一自動(dòng)對(duì)焦窗口的位置改變傳達(dá)給自然特征檢測(cè)模塊。自然特征檢測(cè)模塊使用所傳達(dá)的信息限定最初的搜索區(qū)域和/或設(shè)置下一追蹤搜索窗口。自然特征追蹤模塊可將從自然特征的前一位置到該自然特征的下一位置的改變傳達(dá)給自動(dòng)對(duì)焦引擎。自動(dòng)對(duì)焦引擎使用該改變來設(shè)置下一自動(dòng)對(duì)焦窗口。
【專利說明】自動(dòng)對(duì)焦追蹤
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]無。 【背景技術(shù)】
[0003]1.發(fā)明領(lǐng)域
[0004]本公開一般涉及用于擴(kuò)增現(xiàn)實(shí)以及其他計(jì)算機(jī)視覺應(yīng)用的裝置和方法，并且更具 體地，涉及將相機(jī)自動(dòng)對(duì)焦與基于計(jì)算機(jī)視覺的識(shí)別和追蹤相整合。
[0005]I1.背景
[0006]擴(kuò)增現(xiàn)實(shí)系統(tǒng)使用自然特征來作為一系列圖像內(nèi)用于擺放計(jì)算機(jī)生成的圖標(biāo)和 圖像的參考點(diǎn)。包括自然特征檢測(cè)模塊和自然特征追蹤模塊的自然特征處理引擎被用于尋 找和跟蹤這些參考點(diǎn)。移動(dòng)設(shè)備可用此類擴(kuò)增現(xiàn)實(shí)引擎來增強(qiáng)。許多移動(dòng)設(shè)備還具有具備 由自動(dòng)對(duì)焦引擎提供的自動(dòng)對(duì)焦能力的相機(jī)。自然特征引擎和自動(dòng)對(duì)焦引擎兩者都追蹤從 圖像到圖像之間的改變，然而，已知的系統(tǒng)并不能允許這些引擎之間進(jìn)行通信。
[0007]在擴(kuò)增現(xiàn)實(shí)中，準(zhǔn)確跟蹤被追蹤的對(duì)象的移動(dòng)和位置的追蹤創(chuàng)造出顯著改善的用 戶體驗(yàn)。因此，更多的努力被投入到改善追蹤性能中。處理器中的對(duì)象追蹤功能與在相機(jī) 前端的自動(dòng)對(duì)焦功能分開工作。自動(dòng)對(duì)焦功能通常以硬件形式執(zhí)行或者通過硬件加速來執(zhí) 行。自動(dòng)對(duì)焦操作可得到對(duì)于改善自然特征檢測(cè)和/或追蹤而言有用的信息。類似地，自 然特征檢測(cè)和追蹤可得到對(duì)于改善自動(dòng)對(duì)焦功能而言有用的信息。
[0008]許多現(xiàn)有移動(dòng)設(shè)備10包含相機(jī)和處理器。相機(jī)將圖像提供給處理器，處理器可通 過各種擴(kuò)增現(xiàn)實(shí)技術(shù)來修改圖像。處理器可發(fā)送控制信號(hào)觸發(fā)以用于激活相機(jī)，而作為響 應(yīng)，相機(jī)將圖像或圖像序列提供給處理器用于圖像處理。沒有任何從自然特征處理中獲得 的信息被返回給相機(jī)以輔助獲得改進(jìn)的圖像。也就是說，除了觸發(fā)之外的控制信息不會(huì)從 處理器流向相機(jī)。
[0009]在其他現(xiàn)有的移動(dòng)設(shè)備10中，與自然特征檢測(cè)和追蹤相關(guān)聯(lián)的圖像處理同與自 動(dòng)對(duì)焦相關(guān)聯(lián)的圖像處理是不相關(guān)聯(lián)的。圖1示出了包含自然特征處理引擎110和自動(dòng)對(duì) 焦引擎300的已知系統(tǒng)，如劃線400所示，兩者不耦合且因此不傳達(dá)信息?，F(xiàn)有的移動(dòng)設(shè)備 10包含用作為自然特征處理引擎110以及也作為自動(dòng)對(duì)焦引擎300的一個(gè)或多個(gè)處理器。 自然特征處理引擎110包括自然特征檢測(cè)模塊120和自然特征追蹤模塊125。
[0010]一般來說，自然特征檢測(cè)模塊120和自然特征追蹤模塊125中的各操作并行工作， 然而，對(duì)于特定的自然特征而言，這些操作看起來是順序發(fā)生的，其中首先在圖像內(nèi)檢測(cè)到 自然特征，然后貫穿后續(xù)圖像始終追蹤該自然特征。該自然特征在圖像內(nèi)的位置由一分立 的處理用于擴(kuò)增現(xiàn)實(shí)模塊130。每個(gè)圖像經(jīng)受通過自然特征檢測(cè)模塊120的處理以檢測(cè)新 的自然特征，并且還經(jīng)受通過自然特征追蹤模塊125的處理以逐圖像地跟蹤已檢測(cè)到的自 然特征的移動(dòng)。
[0011]如劃線400處所示，自動(dòng)對(duì)焦引擎300與自然特征處理引擎110沒有通信并且可 作為并行任務(wù)來運(yùn)行。自動(dòng)對(duì)焦引擎300可以硬件實(shí)現(xiàn)或者可以硬件和軟件的組合實(shí)現(xiàn)。自動(dòng)對(duì)焦引擎300實(shí)時(shí)或近實(shí)時(shí)運(yùn)行以捕捉新圖像。因此，存在對(duì)改進(jìn)自然特征處理以及 自動(dòng)對(duì)焦兩者的持續(xù)的需求。
[0012]簡(jiǎn)要概述
[0013]公開了一種用于將自然特征處理引擎與自動(dòng)對(duì)焦引擎耦合的裝置和方法。
[0014]根據(jù)一些方面，公開了一種用于計(jì)算機(jī)視覺的移動(dòng)設(shè)備，該移動(dòng)設(shè)備包括:自然特 征處理引擎，其包括自然特征檢測(cè)模塊和自然特征追蹤模塊；以及自動(dòng)對(duì)焦引擎，其耦合至 所述自然特征處理引擎以傳達(dá)信息以便設(shè)置包括自然特征窗口和/或自動(dòng)對(duì)焦窗口中的 至少一者的窗口的位置。
[0015]根據(jù)一些方面，公開了一種在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備中的方法，該方法包 括:在圖像內(nèi)選擇自動(dòng)對(duì)焦窗口 ；在所選定的窗口上自動(dòng)對(duì)焦；傳達(dá)自動(dòng)對(duì)焦窗口的位置； 基于自動(dòng)對(duì)焦窗口的位置限定自然特征檢測(cè)的區(qū)域；以及在所限定的區(qū)域中尋找自然特 征。
[0016]根據(jù)一些方面，公開了一種在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備中的方法，該方法包 括:在第一圖像內(nèi)設(shè)置第一自動(dòng)對(duì)焦窗口 ；在第二圖像內(nèi)設(shè)置第二自動(dòng)對(duì)焦窗口 ；傳達(dá)從 所述第一自動(dòng)對(duì)焦窗口到所述第二自動(dòng)對(duì)焦窗口的改變；基于所述改變?cè)O(shè)置下一追蹤搜索 窗口 ；以及在所述下一追蹤搜索窗口內(nèi)追蹤自然。
[0017]根據(jù)一些方面，公開了一種用在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備中的方法，該方法 包括:追蹤自然特征到第一圖像內(nèi)的第一位置；追蹤該自然特征到第二圖像內(nèi)的第二位 置；傳達(dá)從所述第一位置到所述第二位置的改變；基于所述改變?cè)O(shè)置下一自動(dòng)對(duì)焦窗口 ； 以及在所述自動(dòng)對(duì)焦窗口內(nèi)自動(dòng)對(duì)焦。
[0018]根據(jù)一些方面，公開了一種在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備，該移動(dòng)設(shè)備包括:相 機(jī)以及自動(dòng)對(duì)焦引擎；以及處理器和存儲(chǔ)器，存儲(chǔ)器包括用于執(zhí)行上述方法的代碼。
[0019]根據(jù)一些方面，公開了一種在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備，該移動(dòng)設(shè)備包括用 于執(zhí)行上述方法的裝置。
[0020]根據(jù)一些方面，公開了一種包括存儲(chǔ)于其上的程序代碼的非易失性計(jì)算機(jī)可讀存 儲(chǔ)介質(zhì)，其包括用于執(zhí)行上述方法的程序代碼。
[0021]應(yīng)理解，根據(jù)以下詳細(xì)描述，其他方面對(duì)于本領(lǐng)域技術(shù)人員而言將變得明顯，在以 下詳細(xì)描述中以解說方式示出和描述了各個(gè)方面。附圖和詳細(xì)描述應(yīng)被認(rèn)為在本質(zhì)上是解 說性而非限制性的。
[0022]附圖簡(jiǎn)要說明
[0023]將參照附圖僅作為示例來描述本發(fā)明的各實(shí)施例。
[0024]圖1示出了包含不進(jìn)行信息溝通的自然特征處理引擎和自動(dòng)對(duì)焦引擎的已知系 統(tǒng)。
[0025]圖2示出了檢測(cè)和追蹤自然特征的自然特征處理引擎內(nèi)的已知狀態(tài)。
[0026]圖3解說了包含建筑物和樹的圖像，其具有要被追蹤的特征。
[0027]圖4解說了覆蓋在該圖像上的自然特征。
[0028]圖5解說了各個(gè)自然特征的位置。
[0029]圖6解說了各個(gè)自然特征的位置在兩幅圖像之間的改變。
[0030]圖7解說了從自然特征的前一位置到相同自然特征的下一位置的改變。[0031]圖8示出了圖像內(nèi)的自動(dòng)對(duì)焦窗口。
[0032]圖9示出了根據(jù)本發(fā)明的一些實(shí)施例的、包含進(jìn)行信息溝通的自然特征處理引擎 和自動(dòng)對(duì)焦引擎的移動(dòng)設(shè)備。
[0033]圖10示出了根據(jù)本發(fā)明的一些實(shí)施例的、正被用于限定用來檢測(cè)自然特征的區(qū) 域的自動(dòng)對(duì)焦窗口的位置。
[0034]圖11示出了從前一自動(dòng)對(duì)焦窗口到下一自動(dòng)對(duì)焦窗口的位置改變。
[0035]圖12不出了根據(jù)本發(fā)明的一些實(shí)施例的、基于從前一自動(dòng)對(duì)焦窗口到下一自動(dòng) 對(duì)焦窗口的位置改變的幅度來設(shè)置下一追蹤搜索窗口的大小。
[0036]圖13不出了根據(jù)本發(fā)明的一些實(shí)施例的、基于從前一自動(dòng)對(duì)焦窗口到下一自動(dòng) 對(duì)焦窗口的位置改變的方向來設(shè)置下一追蹤搜索窗口的中心。
[0037]圖14示出了根據(jù)本發(fā)明的一些實(shí)施例的、基于從自然特征的前一位置到該自然 特征的下一位置的改變來設(shè)置前一自動(dòng)對(duì)焦窗口到下一自動(dòng)對(duì)焦窗口的位置(中心和/或 大小)的改變。
[0038]圖15示出了根據(jù)本發(fā)明的一些實(shí)施例的、用于基于自動(dòng)對(duì)焦窗口的位置來限定 用于自然特征檢測(cè)的區(qū)域的方法。
[0039]圖16不出了根據(jù)本發(fā)明的一些實(shí)施例的、用于基于前一和下一自動(dòng)對(duì)焦窗口之 間的改變來設(shè)置下一追蹤搜索窗口的方法。
[0040]圖17示出了根據(jù)本發(fā)明的一些實(shí)施例的、用于基于從自然特征的前一位置到下 一位置的改變來設(shè)置下一自動(dòng)對(duì)焦窗口的方法。
[0041]詳細(xì)描述
[0042]以下結(jié)合附圖闡述的詳細(xì)描述旨在作為本公開的各種方面的描述，而無意代表可 實(shí)踐本公開的僅有方面。本公開中描述的每個(gè)方面是僅作為本公開的示例或解說而提供 的，并且不應(yīng)被必然地解釋成優(yōu)于或勝過其他方面。本詳細(xì)描述包括具體細(xì)節(jié)，其目的在于 提供對(duì)本公開的透徹理解。然而，對(duì)于本領(lǐng)域技術(shù)人員而言明顯的是，本公開無需這些具體 細(xì)節(jié)也可實(shí)踐。在一些實(shí)例中，眾所周知的結(jié)構(gòu)和設(shè)備以框圖形式示出以避免湮沒本公開 的概念。首字母縮寫和其它描述性術(shù)語可能僅為方便和清楚而使用，且無意限定本公開的 范圍。
[0043]本文中所描述的位置確定技術(shù)可協(xié)同諸如無線廣域網(wǎng)(WWAN)、無線局域網(wǎng) (WLAN)、無線個(gè)域網(wǎng)(WPAN)等各種無線通信網(wǎng)絡(luò)來實(shí)現(xiàn)。術(shù)語“網(wǎng)絡(luò)”和“系統(tǒng)”常被可互 換地使用。WWAN可以是碼分多址(CDMA)網(wǎng)絡(luò)、時(shí)分多址(TDMA)網(wǎng)絡(luò)、頻分多址(FDMA)網(wǎng) 絡(luò)、正交頻分多址(OFDMA)網(wǎng)絡(luò)、單載波頻分多址(SC-FDMA)網(wǎng)絡(luò)、長期演進(jìn)(LTE)等等。 CDMA網(wǎng)絡(luò)可實(shí)現(xiàn)諸如cdma2000、寬帶CDMA (W-CDMA)等一種或多種無線電接入技術(shù)(RAT)。 cdma2000包括IS-95、IS-2000和IS-856標(biāo)準(zhǔn)。TDMA網(wǎng)絡(luò)可實(shí)現(xiàn)全球移動(dòng)通信系統(tǒng)(GSM)、 數(shù)字高級(jí)移動(dòng)電話系統(tǒng)(D-AMPS)、或其他某種RAT。GSM和W-CDMA在來自名為“第三代伙伴 項(xiàng)目”(3GPP)的聯(lián)盟的文獻(xiàn)中描述。Cdma2000在來自名為“第三代伙伴項(xiàng)目2” (3GPP2) 的聯(lián)盟的文獻(xiàn)中描述。3GPP和3GPP2文獻(xiàn)是公眾可獲取的。WLAN可以是IEEE802.1lx網(wǎng) 絡(luò)，并且WPAN可以是藍(lán)牙網(wǎng)絡(luò)、IEEE802.15x、或其他某種類型的網(wǎng)絡(luò)。這些技術(shù)也可結(jié)合 WWAN, WLAN和/或WPAN的任何組合來實(shí)現(xiàn)。
[0044]衛(wèi)星定位系統(tǒng)(SPS)典型地包括發(fā)射機(jī)系統(tǒng)，這些發(fā)射機(jī)定位成使得各實(shí)體能夠至少部分地基于從這些發(fā)射機(jī)接收到的信號(hào)來確定自己在地球上或上方的位置。此類發(fā)射 機(jī)通常發(fā)射用具有設(shè)定數(shù)目個(gè)碼片的重復(fù)偽隨機(jī)噪聲(PN)碼作標(biāo)記的信號(hào)，并且可位于基 于地面的控制站、用戶裝備和/或空間飛行器上。在特定示例中，此類發(fā)射機(jī)可位于環(huán)地軌 道衛(wèi)星飛行器(SV)上。例如，諸如全球定位系統(tǒng)(GPS)、Galileo (伽利略)、GL0NASS (格洛 納斯)或Compass (北斗)等全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)的星座中的SV可發(fā)射用可與由該星 座中的其它SV所發(fā)射的PN碼區(qū)分開的PN碼作標(biāo)記的信號(hào)(例如，如在GPS中那樣對(duì)每顆 衛(wèi)星使用不同PN碼，或者如在GL0NASS中那樣在不同頻率上使用相同的碼)。根據(jù)某些方 面，本文中給出的技術(shù)不限于全球SPS系統(tǒng)(例如，GNSS)o例如，可將本文中所提供的技術(shù) 應(yīng)用于各種地區(qū)性系統(tǒng)和/或各種擴(kuò)增系統(tǒng)、或另行使之能在各種地區(qū)性系統(tǒng)和/或各種 擴(kuò)增系統(tǒng)中使用，這些地區(qū)性系統(tǒng)諸如舉例而言有日本上空的準(zhǔn)天頂衛(wèi)星系統(tǒng)(QZSS)、印 度上空的印度地區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)(IRNSS)、中國上空的北斗等，而這些擴(kuò)增系統(tǒng)(例如，基 于衛(wèi)星的擴(kuò)增系統(tǒng)(SBAS))可與一個(gè)或多個(gè)全球和/或地區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)相關(guān)聯(lián)或另行 使其能與之聯(lián)用。作為示例而非限定，SBAS可包括提供完整性信息、差分校正等的(諸)擴(kuò) 增系統(tǒng)，諸如舉例而言，廣域擴(kuò)增系統(tǒng)(WAAS)、歐洲對(duì)地靜止導(dǎo)航覆蓋服務(wù)(EGN0S)、多功 能衛(wèi)星擴(kuò)增系統(tǒng)(MSAS)、GPS輔助式Geo (對(duì)地靜止)擴(kuò)增導(dǎo)航或GPS和Geo擴(kuò)增導(dǎo)航系統(tǒng) (GAGAN)和/或類似系統(tǒng)。因此，如本文中所使用的，SPS可包括一個(gè)或多個(gè)全球和/或地 區(qū)性導(dǎo)航衛(wèi)星系統(tǒng)和/或擴(kuò)增系統(tǒng)的任何組合，并且SPS信號(hào)可包括SPS信號(hào)、類SPS信號(hào) 和/或與此一個(gè)或多個(gè)SPS相關(guān)聯(lián)的其他信號(hào)。
[0045]如本文中所使用的，移動(dòng)設(shè)備100有時(shí)又稱移動(dòng)站(MS)或用戶裝備(UE)，諸如蜂 窩電話、移動(dòng)電話或其他無線通信設(shè)備、個(gè)人通信系統(tǒng)(PCS)設(shè)備、個(gè)人導(dǎo)航設(shè)備(PND)、個(gè) 人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或能夠接收無線通信和/或?qū)Ш?信號(hào)的其他合適的移動(dòng)設(shè)備。術(shù)語“移動(dòng)站”還旨在包括諸如藉由短程無線、紅外、有線連 接、或其他連接與個(gè)人導(dǎo)航設(shè)備(PND)通信的設(shè)備——不管衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收、 和/或位置相關(guān)處理是發(fā)生在該設(shè)備處還是在PND處。而且，移動(dòng)站100旨在包括所有能夠 (諸如經(jīng)由因特網(wǎng)、W1-F1、或其他網(wǎng)絡(luò))與服務(wù)器通信的設(shè)備，包括無線通信設(shè)備、計(jì)算機(jī)、 膝上型計(jì)算機(jī)等，而不管衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收、和/或位置有關(guān)的處理是發(fā)生在該 設(shè)備處、服務(wù)器處、還是與網(wǎng)絡(luò)相關(guān)聯(lián)的另一設(shè)備處。以上的任何可操作的組合也被認(rèn)為是 “移動(dòng)站”。
[0046]與現(xiàn)有移動(dòng)設(shè)備10不同，根據(jù)本發(fā)明的移動(dòng)設(shè)備100允許自動(dòng)對(duì)焦引擎300和自 然特征處理引擎110之間的通信，如以下將描述的。類似于現(xiàn)有移動(dòng)設(shè)備10，移動(dòng)設(shè)備100 包含存儲(chǔ)器、一個(gè)或多個(gè)處理器(用作自然特征處理引擎110和自動(dòng)對(duì)焦引擎300)、以及用 戶接口(諸如顯示器、揚(yáng)聲器、觸摸屏和/或按鈕)。自然特征處理引擎110 (也被稱為基于 計(jì)算機(jī)視覺的識(shí)別和追蹤)包括自然特征檢測(cè)模塊120和自然特征追蹤模塊125。
[0047]圖2示出了檢測(cè)和追蹤自然特征的自然特征處理引擎110內(nèi)的已知狀態(tài)。在自然 特征檢測(cè)模塊120中，處理器在每幅圖像內(nèi)搜索新的或未檢測(cè)的自然特征。一旦檢測(cè)到自 然特征，處理器就通過自然特征追蹤模塊120跟蹤檢測(cè)到的自然特征。一旦自然特征不再 能夠被跟蹤到(例如，該自然特征不再位于圖像內(nèi)或者不再可分辨)，則該自然特征被宣告 丟失。
[0048]圖3解說了包含建筑物和樹210的圖像，其具有要被追蹤的特征。使用自然特征檢測(cè)模塊120，圖像200可經(jīng)受各種處理，包括例如隅角、線或邊檢測(cè)。圖像200示出了樹210 在建筑物的旁邊，建筑物具有側(cè)面220和窗戶230。接著，圖像200可經(jīng)受隅角檢測(cè)。圖4 解說了覆蓋在圖像上的自然特征。在這個(gè)示例中，各個(gè)隅角被檢測(cè)作為圖像200中的自然 特征(240，250，260)。
[0049]圖5解說了各個(gè)自然特征的位置。接著，處理器嘗試通過將自然特征與新位置相 匹配來追蹤自然特征(240，250，260)。匹配可以各種準(zhǔn)則來執(zhí)行，其得到與自然特征的相似 度的某些衡量。例如，處理器可使用相關(guān)(例如，歸一化互相關(guān))來將自然特征與其新位置相 匹配。處理器可將第一圖像中的每個(gè)自然特征周圍的網(wǎng)格內(nèi)的像素與第二圖像中的總網(wǎng)格 位置中的像素相關(guān)聯(lián)。例如，自然特征追蹤模塊125標(biāo)識(shí)第一圖像上的特定位置處的8X8 像素網(wǎng)格。像素尺寸和位置所定義的區(qū)域可被稱為自然特征檢測(cè)窗口。一般來說，自然特 征檢測(cè)窗口顯著小于自動(dòng)對(duì)焦窗口，其中自然特征檢測(cè)窗口包含少于200個(gè)像素，而自動(dòng) 對(duì)焦窗口包含多于200個(gè)像素。
[0050]處理速度與自然特征檢測(cè)窗口所覆蓋的大小直接相關(guān)；各自僅覆蓋一小面積的較 小的窗口能夠被更快處理。其他像素尺寸也可用于于自然特征檢測(cè)窗口。例如，追蹤不是使 用8X8正方形網(wǎng)格，而是可使用其他正方形或非正方形的固定尺寸網(wǎng)格大小(例如，4X4、 10X10或16X16)或可變尺寸網(wǎng)格大小(例如，在尺寸取決于自然特征的特性的場(chǎng)合)。追 蹤將檢查第二圖像中由該8X8網(wǎng)格定義的相同位置。如果相關(guān)得到一個(gè)高結(jié)果，則在圖 像間沒有發(fā)生移動(dòng)，并且如所預(yù)期的，該自然特征的像素位置被預(yù)期為在第二圖像上的相 同位置處。如果相機(jī)正在線性和/或旋轉(zhuǎn)移動(dòng)，或者如果圖像中的對(duì)象正相對(duì)于移動(dòng)設(shè)備 100移動(dòng)，則自然特征會(huì)看上去在第一圖像到第二圖像之間移動(dòng)了，如將在接下來的附圖中 示出的。在此情形中，如果自然特征檢測(cè)窗口包含該自然特征，則高相關(guān)結(jié)果將發(fā)生在第二 圖像中的該新位置處。
[0051]圖6解說了各個(gè)自然特征的位置在兩幅圖像之間的改變。在該圖中，來自第一圖 像的各自然特征的位置(例如，位置240、250、260 )被示出為與來自第二圖像的相同的自然 特征的位置(例如，位置240’、250’、260’)交迭。最有可能包含自然特征的自然特征檢測(cè)窗 口的“下一個(gè)”位置用撇號(hào)“ ’ ”指示符示出。在此情形中，大量、大部分或全部的自然特征 可能看上去已向左下方移動(dòng)。最有可能的是，相機(jī)已向右下方移動(dòng)但被拍攝的實(shí)際對(duì)象沒 有移動(dòng)。在任何情況下，通過將自然特征檢測(cè)窗口移動(dòng)到下一圖像內(nèi)的新位置，自然特征追 蹤模塊125就可限制在相關(guān)區(qū)域上搜索時(shí)使用的處理，若非如此該相關(guān)區(qū)域本將更大。也 就是說，根據(jù)一些實(shí)施例，每個(gè)自然特征檢測(cè)窗口可以更小但仍然可在類似的或者更短的 時(shí)間段內(nèi)獲得高相關(guān)結(jié)果。
[0052]圖7解說了從自然特征的前一位置到相同自然特征的下一位置的改變。首先檢 測(cè)來自第一或前一圖像的自然特征260的位置，隨后對(duì)其進(jìn)行追蹤。隨后自然特征的位置 260’被追蹤到第二或下一圖像中的第二或下一位置。這一視在的移動(dòng)可以是由于該自然特 征實(shí)際地從圖像到圖像之間發(fā)生了移動(dòng)和/或相機(jī)移動(dòng)和/或旋轉(zhuǎn)而引起的。
[0053]如上所述的，自然特征或一組自然特征常?？瓷先囊环鶊D像上的前一位置移動(dòng) 到下一幅圖像上的下一位置。
[0054]移動(dòng)設(shè)備100中的相機(jī)通常包含自動(dòng)對(duì)焦引擎300，其基于檢測(cè)到的對(duì)象鎖定對(duì) 焦。自動(dòng)對(duì)焦引擎300可作用于一連續(xù)的模擬圖像或者可作用于一數(shù)字圖像以聚焦在該圖像中由自動(dòng)對(duì)焦窗口 310所定義的區(qū)域上。從圖像到圖像之間，自動(dòng)對(duì)焦窗口 310可看上 去在圖像序列中移動(dòng)。從這層意義上來說，自動(dòng)對(duì)焦引擎300看上去在該圖像序列內(nèi)追蹤 對(duì)象。
[0055]根據(jù)本發(fā)明的一些實(shí)施例，移動(dòng)設(shè)備100將相機(jī)的自動(dòng)對(duì)焦引擎300與執(zhí)行基于 計(jì)算機(jī)視覺的識(shí)別和追蹤的自然特征處理引擎110相集成。自動(dòng)對(duì)焦引擎300和自然特征 處理引擎110被允許溝通諸如自動(dòng)對(duì)焦窗口 310和/或自然特征的位置和/或位置改變之 類的信息。自動(dòng)對(duì)焦引擎300可使用來自自然特征處理引擎110的信息以更好地放置其自 動(dòng)對(duì)焦窗口 310(8卩，框在圖像內(nèi)的位置)。類似地，自然特征處理引擎110可使用來自自動(dòng) 對(duì)焦引擎300的信息以更好地放置用于尋找自然特征的新位置的相關(guān)窗口。替代地，自然 特征處理引擎110不考慮這一來自自動(dòng)對(duì)焦引擎300的信息。
[0056]圖8示出了圖像200內(nèi)的自動(dòng)對(duì)焦窗口 310。通常，自動(dòng)對(duì)焦引擎300搜索整幅圖 像以尋找一個(gè)或數(shù)個(gè)對(duì)象(例如，一張或多張臉)。自動(dòng)對(duì)焦引擎300隨后在找到的對(duì)象周 圍顯示自動(dòng)對(duì)焦窗口 310并且對(duì)找到的對(duì)象執(zhí)行對(duì)焦。對(duì)于后續(xù)圖像，自動(dòng)對(duì)焦引擎300 在下一幅圖像中再次搜索整個(gè)圖像區(qū)域以尋找對(duì)象，并且隨后更新自動(dòng)對(duì)焦窗口 310的位 置并且重新對(duì)相機(jī)進(jìn)行對(duì)焦(如果必要的話)。
[0057]這樣找到的對(duì)象可包含自然特征追蹤模塊125正跟蹤的一個(gè)或數(shù)個(gè)自然特征。當(dāng) 搜索對(duì)象時(shí)，自動(dòng)對(duì)焦引擎300可有利地使用自然特征處理引擎110所確定的圖像內(nèi)的位 置來將搜索區(qū)域從整幅圖像限制到在被檢測(cè)和追蹤的自然特征附近的區(qū)域。
[0058]圖9示出了根據(jù)本發(fā)明的一些實(shí)施例的、包含進(jìn)行信息溝通的自然特征處理引擎 110和自動(dòng)對(duì)焦引擎300的移動(dòng)設(shè)備100。替代現(xiàn)有移動(dòng)設(shè)備10中的孤立的引擎的是，移 動(dòng)設(shè)備100是耦合的，這允許自然特征處理引擎110和自動(dòng)對(duì)焦引擎300單向或雙向地傳 達(dá)信息，如沿直線405所示。
[0059]如410處所示，一些實(shí)施例允許自動(dòng)對(duì)焦引擎300發(fā)送信息給自然特征處理引擎 110，該信息指示圖像內(nèi)自動(dòng)對(duì)焦窗口的當(dāng)前大小和/或位置，如以下參照?qǐng)D10描述的。
[0060]如420處所示，一些實(shí)施例允許自動(dòng)對(duì)焦引擎300發(fā)送信息給自然特征處理引擎 110,該信息指示從前一自動(dòng)對(duì)焦窗口到下一自動(dòng)對(duì)焦窗口的大小改變和/或位置改變，如 以下參照?qǐng)D11、12和13描述的。
[0061]如430處所示，一些實(shí)施例允許自然特征處理引擎110發(fā)送消息給自動(dòng)對(duì)焦引擎 300，該信息指示從自然特征和/或自然特征檢測(cè)窗口的前一位置(例如，圖6的270)到自 然特征和/或自然特征檢測(cè)窗口的下一位置(例如，270’)的改變，如以下參照?qǐng)D14描述的。
[0062]各實(shí)施例包括作為自動(dòng)對(duì)焦引擎300和自然特征處理引擎110之間傳達(dá)的信息的 410、420和/或430中的至少一個(gè)或多個(gè)。例如，一些實(shí)施例僅傳達(dá)410、420和/或430中 的一個(gè):(I)第一實(shí)施例傳達(dá)410但不傳達(dá)420或430 ; (2)第二實(shí)施例傳達(dá)410但不傳達(dá) 410或430 ;以及(3)第三實(shí)施例傳達(dá)430但不傳達(dá)410或420。另外的示例傳達(dá)410、420 和430中的兩個(gè):(4)第四實(shí)施例傳達(dá)410和420兩者但不傳達(dá)430 ；(5)第五實(shí)施例傳達(dá) 420和430兩者但不傳達(dá)410 ;以及(6)第六實(shí)施例傳達(dá)410和430兩者但不傳達(dá)430。最 后，又一些示例傳達(dá)所有的三個(gè):(7)第七實(shí)施例傳達(dá)410、420以及430。因此，當(dāng)實(shí)施例 在自動(dòng)對(duì)焦引擎和自然特征處理引擎之間傳達(dá)信息時(shí)，一些實(shí)施例僅傳達(dá)410、420或430 中的一個(gè)，其他實(shí)施例傳達(dá)410、420或430中的兩個(gè)，而又一些其他實(shí)施例傳達(dá)410、420或430中的全部三個(gè)。
[0063]所傳達(dá)的此信息被用于設(shè)置自然特征窗口和/或自動(dòng)對(duì)焦窗口的位置。例如，一 些實(shí)施例僅傳達(dá)在410處所示的信息以限定接下來的自然特征窗口的區(qū)域。其他實(shí)施例僅 傳達(dá)在420處所示的信息以改變接下來的自然特征窗口的中心位置。又一些其他實(shí)施例僅 傳達(dá)在430處所示的信息以改變接下來的(諸)自動(dòng)對(duì)焦窗口的位置。如上所述，一些實(shí)施 例實(shí)現(xiàn)410、420和430中的兩個(gè)作為在耦合的自動(dòng)對(duì)焦引擎300和自然特征處理引擎110 之間傳達(dá)的信息，而其他實(shí)施例實(shí)現(xiàn)410、420和430中的全部三個(gè)作為在耦合的自動(dòng)對(duì)焦 引擎300和自然特征處理引擎110之間傳達(dá)的信息。在一些實(shí)施例中，自動(dòng)對(duì)焦引擎300 用作為從動(dòng)方，且自然特征處理引擎110用作為其主控方。
[0064]自然特征處理引擎110用作為用于以自然特征處理引擎來檢測(cè)和追蹤圖像中的 自然特征的裝置。自然特征檢測(cè)模塊120用作為用于檢測(cè)自然特征的裝置。自然特征追蹤 模塊125用作為用于追蹤自然特征的裝置。一個(gè)或數(shù)個(gè)處理器可用作為用于執(zhí)行自然特征 處理引擎110的各功能中的每一個(gè)功能的裝置，這些功能諸如有選擇圖像內(nèi)的自動(dòng)對(duì)焦窗 口，基于自動(dòng)對(duì)焦窗口的位置限定自然特征檢測(cè)的區(qū)域，在所限定的區(qū)域內(nèi)尋找自然特征， 基于改變?cè)O(shè)置下一追蹤搜索窗口，在下一追蹤搜索窗口內(nèi)追蹤自然特征，追蹤自然特征到 第一圖像內(nèi)的第一位置，和/或追蹤該自然特征到第二圖像內(nèi)的第二位置。
[0065]自動(dòng)對(duì)焦引擎300用作為用于在圖像中的自動(dòng)對(duì)焦窗口中進(jìn)行自動(dòng)對(duì)焦的裝置。 一個(gè)或數(shù)個(gè)處理器可用作為執(zhí)行自動(dòng)對(duì)焦引擎300的各功能中的每一個(gè)功能的裝置，這些 功能諸如有在第一圖像內(nèi)設(shè)置第一自動(dòng)對(duì)焦窗口，在第二圖像內(nèi)設(shè)置第二自動(dòng)對(duì)焦窗口， 基于改變?cè)O(shè)置下一自動(dòng)對(duì)焦窗口，以及在自動(dòng)對(duì)焦窗口內(nèi)自動(dòng)對(duì)焦。
[0066]這些處理器、引擎以及模塊可分別地或組合地用作為用于在自動(dòng)對(duì)焦引擎和自然 特征處理引擎之間傳達(dá)信息的裝置。該信息可包括自動(dòng)對(duì)焦窗口的位置、改變、從第一位置 到第二位置的改變、從前一自動(dòng)對(duì)焦窗口到下一自動(dòng)對(duì)焦窗口的位置改變、和/或從自然 特征的前一位置到自然特征的下一位置的改變。
[0067]圖10示出了根據(jù)本發(fā)明的一些實(shí)施例的、正被用于限定用于檢測(cè)自然特征的區(qū) 域500的自動(dòng)對(duì)焦窗口 310的位置。如上面提到的，在410，自動(dòng)對(duì)焦引擎300將關(guān)于圖像 內(nèi)自動(dòng)對(duì)焦窗口的當(dāng)前大小和/或位置的信息發(fā)送給自然特征處理引擎110。進(jìn)而，自然 特征處理引擎110可通過允許自然特征檢測(cè)窗口僅能存在于由到自動(dòng)對(duì)焦窗口的邊界的 閾值距離所定義的區(qū)域500內(nèi)來將其搜索區(qū)域限定于用于檢測(cè)新的自然特征和/或追蹤已 檢測(cè)到的自然特征的區(qū)域500。通過將檢測(cè)和/或搜索限制于區(qū)域500，可使得本要使用的 處理能力顯著減少。在一些實(shí)施例中，這一閾值距離可以是零，而在其他實(shí)施例中，該閾值 距離可允許要被追蹤的自然特征檢測(cè)窗口剛剛落在自動(dòng)對(duì)焦窗口 310之外。在其他實(shí)施例 中，自動(dòng)對(duì)焦引擎300可將標(biāo)識(shí)單幅圖像內(nèi)的多個(gè)自動(dòng)對(duì)焦窗口 310的參數(shù)發(fā)送給自然特 征處理引擎110。在這些實(shí)施例中，檢測(cè)和/或追蹤可被限定于由這多個(gè)自動(dòng)對(duì)焦窗口 310 所定義的多個(gè)區(qū)域500。
[0068]圖11示出了從前一自動(dòng)對(duì)焦窗口 310到下一自動(dòng)對(duì)焦窗口 330的位置改變。如 以上參照420所討論的,一些實(shí)施例允許自動(dòng)對(duì)焦引擎300將關(guān)于從前一自動(dòng)對(duì)焦窗口到 下一自動(dòng)對(duì)焦窗口的大小改變和/或位置改變的信息發(fā)送給自然特征處理引擎110。
[0069]圖12不出了根據(jù)本發(fā)明的一些實(shí)施例的、基于從前一自動(dòng)對(duì)焦窗口 320到下一自動(dòng)對(duì)焦窗口 330的位置改變的幅度來設(shè)置下一追蹤搜索窗口的大小 (290' -S, 290; -M, 290; -L)。自然特征處理引擎110(更具體地，自然特征追蹤模塊125) 可使用所指示的自動(dòng)對(duì)焦窗口 310位置的這一改變來確定如何將前一自然特征窗口 290的 大小改變?yōu)橄乱蛔匀惶卣鳈z測(cè)窗口 290’。從前一自動(dòng)對(duì)焦窗口 320到下一自動(dòng)對(duì)焦窗口 330的位置的小幅度改變可被自然特征處理引擎110用于將下一自然特征追蹤搜索窗口 290’的大小限定為尺寸較小的窗口 290’ -S。中間或中等范圍的改變可被用于將大小限定 為中等大小的窗口 290’-M。大的改變可被用于將大小限定為大窗口 290’-L。自然特征的 前一位置260被不出為位于窗口 290' -S/M/L的每一者的中心處。如在所不的這一不例中 那樣，如果從前一自動(dòng)對(duì)焦窗口 320到下一自動(dòng)對(duì)焦窗口 330的位置改變的幅度很大，則自 然特征的下一位置260’(當(dāng)前未知且仍然有待追蹤)將可能位于大窗口 290' -L內(nèi)部。
[0070]圖13不出了根據(jù)本發(fā)明的一些實(shí)施例的、基于從前一自動(dòng)對(duì)焦窗口 320到下一 自動(dòng)對(duì)焦窗口 330的位置改變的方向來設(shè)置下一追蹤搜索窗口 290'的中心。這一改變指 示(被示為改變520)可輔助自然特征追蹤模塊125設(shè)置下一追蹤搜索窗口 290’。例如，如 果沒有改變520被指示或可用，則追蹤窗口作為下一追蹤搜索窗口 290’ -1可以自然特征 260的前一位置為中心。在此情形中，下一追蹤搜索窗口 290’ -1與前一追蹤搜索窗口 290 同位。然而，如果改變520存在并且被提供給自然特征處理引擎110，則自然特征追蹤模塊 125可基于下一自動(dòng)對(duì)焦窗口 330相比于前一自動(dòng)對(duì)焦窗口 330的方向和幅度來設(shè)置下一 追蹤搜索窗口 290’-2?？深愅频?，自然特征的下一位置260’(此時(shí)該位置是未知并且仍然 有待追蹤的)將落在下一追蹤搜索窗口 290’ -2內(nèi)部。
[0071]圖14示出了根據(jù)本發(fā)明的一些實(shí)施例的、基于從自然特征的前一位置260到該自 然特征的下一位置260’的改變來設(shè)置前一自動(dòng)對(duì)焦窗口 320到下一自動(dòng)對(duì)焦窗口 330的 位置(中心和/或大小)改變510。如上所提及的，自然特征處理引擎110將關(guān)于從自然特 征的前一位置260和/或自然特征檢測(cè)窗口 290到自然特征的下一位置260’和/或自然 特征檢測(cè)窗口 290’的改變的信息發(fā)送給自動(dòng)對(duì)焦引擎300。該信息可包括自然特征260’ 和/或自然特征檢測(cè)窗口 290’的改變幅度和/或改變方向。自動(dòng)對(duì)焦引擎300可使用改變 幅度來加寬或縮窄下一自動(dòng)對(duì)焦窗口 330的大小。例如，大的改變幅度可指示較大的不確 定性區(qū)域；因此，自動(dòng)對(duì)焦引擎300可增大下一自動(dòng)對(duì)焦窗口 330的面積。類似地，小到接 近于零的幅度可被自動(dòng)對(duì)焦引擎300用于將下一自動(dòng)對(duì)焦窗口 330的大小保持恒定或者略 微地減小自動(dòng)對(duì)焦窗口的大小。替代地，自動(dòng)對(duì)焦引擎300可使用改變方向來改變下一自 動(dòng)對(duì)焦窗口 330的大小或移動(dòng)其位置。例如，改變方向可改變下一自動(dòng)對(duì)焦窗口 330的中 心點(diǎn)。替代地，改變方向可改變下一自動(dòng)對(duì)焦窗口 330的大小。例如，自然特征的位置260’ 或下一自然特征檢測(cè)窗口 290’的10像素的移動(dòng)可將下一自動(dòng)對(duì)焦窗口 330在每個(gè)線性方 向(即，上、下、左、右)上擴(kuò)展10個(gè)像素。如果方向和幅度兩者都可用，則自動(dòng)對(duì)焦引擎300 基于自然特征的位置260’在方向和幅度上的組合改變來改變下一自動(dòng)對(duì)焦窗口 330的中 心和大小。
[0072]圖15示出了根據(jù)本發(fā)明的一些實(shí)施例的、用于基于自動(dòng)對(duì)焦窗口 310的位置限定 用于自然特征檢測(cè)的區(qū)域的方法。在步驟600，移動(dòng)設(shè)備100中的自動(dòng)對(duì)焦引擎300在圖像 200內(nèi)選擇自動(dòng)對(duì)焦窗口 310。在步驟610，移動(dòng)設(shè)備100的相機(jī)在選擇自動(dòng)對(duì)焦窗口 310 時(shí)執(zhí)行自動(dòng)對(duì)焦。在步驟620，自動(dòng)對(duì)焦引擎300將自動(dòng)對(duì)焦窗口 310的位置傳達(dá)給自然特征處理引擎110、自然特征檢測(cè)模塊120、和/或自然特征追蹤模塊125。接著，例如，在步 驟630，自然特征追蹤模塊125基于自動(dòng)對(duì)焦窗口 310的位置限定用于自然特征檢測(cè)的區(qū)域 500。在一些情況下，使用一閾值來將區(qū)域500擴(kuò)展或限制到大于或小于自動(dòng)對(duì)焦窗口 310 的區(qū)域。在步驟640，自然特征檢測(cè)模塊120、和/或自然特征追蹤模塊125檢測(cè)和/或追 蹤所限定的區(qū)域500內(nèi)的自然特征。
[0073]圖16不出了根據(jù)本發(fā)明的一些實(shí)施例的、用于基于前一和下一自動(dòng)對(duì)焦窗口之 間的改變來設(shè)置下一追蹤搜索窗口的方法。在步驟700，移動(dòng)設(shè)備100中的自動(dòng)對(duì)焦引擎 300在第一或前一圖像200內(nèi)設(shè)置第一或前一自動(dòng)對(duì)焦窗口 320。在選擇第一自動(dòng)對(duì)焦窗口 320之后，在步驟710，自動(dòng)對(duì)焦引擎300在第二或下一圖像200內(nèi)設(shè)置第二或下一自動(dòng)對(duì) 焦窗口 330。在步驟720，自動(dòng)對(duì)焦引擎300將從前一自動(dòng)對(duì)焦窗口 320到下一自動(dòng)對(duì)焦窗 口 330的改變傳達(dá)給自然特征處理引擎110、自然特征檢測(cè)模塊120、和/或自然特征追蹤 模塊125。在步驟730，自然特征追蹤模塊125基于改變510設(shè)置下一追蹤搜索窗口 290’。 在步驟740，自然特征追蹤模塊125在下一追蹤搜索窗口 290’內(nèi)追蹤一個(gè)或多個(gè)自然特征。
[0074]圖17示出了根據(jù)本發(fā)明的一些實(shí)施例的、用于基于從自然特征的前一位置到下 一位置的改變來設(shè)置下一自動(dòng)對(duì)焦窗口 330的方法。在步驟800，自然特征追蹤模塊125追 蹤來自第一或前一圖像200內(nèi)的第一或前一位置260的自然特征。在步驟810，自然特征追 蹤模塊125追蹤這些自然特征到第二或下一圖像200內(nèi)的第二或下一位置260’。在步驟 820，自然特征追蹤模塊125將從前一位置260到下一位置260’的改變520傳達(dá)給自動(dòng)對(duì) 焦引擎300。在步驟830，自動(dòng)對(duì)焦引擎300基于改變520設(shè)置下一自動(dòng)對(duì)焦窗口 330。在 步驟840，自動(dòng)對(duì)焦引擎300在下一自動(dòng)對(duì)焦窗口 330內(nèi)自動(dòng)對(duì)焦。
[0075]以上實(shí)施例是關(guān)于實(shí)現(xiàn)追蹤自然特征的擴(kuò)增現(xiàn)實(shí)功能的移動(dòng)設(shè)備來描述的。一般 來說，這些方法和裝置同樣適用于使用與計(jì)算機(jī)視覺有關(guān)的技術(shù)的其他應(yīng)用并且可從本文 的教示中獲益。例如，以上實(shí)施例可將追蹤自然特征的功能用標(biāo)記物追蹤和/或手動(dòng)追蹤 來替換或擴(kuò)增。各實(shí)施例可追蹤和聚焦于人為標(biāo)記物(而不是自然特征)，諸如張貼的QR碼 (快速響應(yīng)碼)。替代的，各實(shí)施例可追蹤并聚焦于例如移動(dòng)的手(而不是固定的自然特征或 人為標(biāo)記物)以捕捉來自用戶的手勢(shì)命令。這些實(shí)施例可提供具有或不具有擴(kuò)增現(xiàn)實(shí)功能 性的手勢(shì)接口。
[0076]本文中所描述的方法體系取決于應(yīng)用可藉由各種手段來實(shí)現(xiàn)。例如，這些方法體 系可在硬件、固件、軟件、或其任何組合中實(shí)現(xiàn)。對(duì)于硬件實(shí)現(xiàn)，這些處理單元可以在一個(gè)或 更多個(gè)專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理器件(DSPD)、可編程邏 輯器件(PLD)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子器件、 設(shè)計(jì)成執(zhí)行本文中所描述功能的其他電子單元、或其組合內(nèi)實(shí)現(xiàn)。
[0077]對(duì)于固件和/或軟件實(shí)現(xiàn)，這些方法體系可用執(zhí)行本文中描述的功能的模塊(例 如，規(guī)程、函數(shù)等等)來實(shí)現(xiàn)。任何有形地實(shí)施指令的機(jī)器可讀介質(zhì)可被用來實(shí)現(xiàn)本文中所 描述的方法體系。例如，軟件代碼可存儲(chǔ)于存儲(chǔ)器中并由處理器單元執(zhí)行。存儲(chǔ)器可以實(shí) 現(xiàn)在處理器單元內(nèi)或在處理器單元外部。如本文所使用的，術(shù)語“存儲(chǔ)器”是指任何類型的 長期、短期、易失性、非易失性或其他存儲(chǔ)器，且并不限于任何特定類型的存儲(chǔ)器或特定數(shù) 目的存儲(chǔ)器或記憶存儲(chǔ)在其上的介質(zhì)類型。
[0078]如果以固件和/或軟件實(shí)現(xiàn)，則各功能可作為一條或更多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上。示例包括用數(shù)據(jù)結(jié)構(gòu)編碼的計(jì)算機(jī)可讀介質(zhì)和用計(jì)算機(jī)程序編碼的計(jì)算 機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)包括物理計(jì)算機(jī)存儲(chǔ)介質(zhì)。存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪問 的任何可用介質(zhì)。作為示例而非限定，此類計(jì)算機(jī)可讀介質(zhì)可包括RAM、ROM、EEPROM、CD-ROM 或其他光盤存儲(chǔ)、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或能被用來存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的期 望程序代碼且能被計(jì)算機(jī)訪問的任何其他介質(zhì)；如本文中所使用的盤(disk)和碟(disc) 包括壓縮碟(⑶)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤和藍(lán)光碟，其中盤常常磁學(xué)地再現(xiàn) 數(shù)據(jù)，而碟用激光光學(xué)地再現(xiàn)數(shù)據(jù)。上述的組合也應(yīng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
[0079]除了存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，指令和/或數(shù)據(jù)還可作為包括在通信裝置中的傳 輸介質(zhì)上的信號(hào)來提供。例如，通信裝置可包括具有指示指令和數(shù)據(jù)的信號(hào)的收發(fā)機(jī)。這 些指令和數(shù)據(jù)被配置成致使一個(gè)或多個(gè)處理器實(shí)現(xiàn)權(quán)利要求中敘述的功能。即，通信裝置 包括具有指示用以執(zhí)行所公開功能的信息的信號(hào)的傳輸介質(zhì)。在第一時(shí)間，通信裝置中所 包括的傳輸介質(zhì)可包括用以執(zhí)行所公開功能的信息的第一部分，而在第二時(shí)間，通信裝置 中所包括的傳輸介質(zhì)可包括用以執(zhí)行所公開功能的信息的第二部分。
[0080]提供以上對(duì)所公開方面的描述是為了使得本領(lǐng)域任何技術(shù)人員皆能夠制作或使 用本公開。對(duì)這些方面的各種改動(dòng)對(duì)本領(lǐng)域技術(shù)人員而言將是明顯的，并且本文中所定義 的普適原理可應(yīng)用于其他方面而不會(huì)脫離本公開的精神實(shí)質(zhì)或范圍。
【權(quán)利要求】
1.一種用于計(jì)算機(jī)視覺的移動(dòng)設(shè)備，所述移動(dòng)設(shè)備包括:自然特征處理引擎，其包括自然特征檢測(cè)模塊和自然特征追蹤模塊；以及自動(dòng)對(duì)焦引擎，其耦合至所述自然特征處理引擎以傳達(dá)信息以便設(shè)置包括自然特征窗口或自動(dòng)對(duì)焦窗口中的至少一者的窗口的位置。
2.如權(quán)利要求1所述的移動(dòng)設(shè)備，其特征在于，所述窗口包括在圖像中具有有限區(qū)域的自然特征檢測(cè)窗口。
3.如權(quán)利要求2所述的移動(dòng)設(shè)備，其特征在于，所述信息指示自動(dòng)對(duì)焦窗口的位置。
4.如權(quán)利要求1所述的移動(dòng)設(shè)備，其特征在于，所述窗口包括下一追蹤搜索窗口。
5.如權(quán)利要求4所述的移動(dòng)設(shè)備，其特征在于，所述信息指示從前一自動(dòng)對(duì)焦窗口到下一自動(dòng)對(duì)焦窗口的位置改變。
6.如權(quán)利要求4所述的移動(dòng)設(shè)備，其特征在于，所述信息包括所述改變的幅度，并且其中所述下一追蹤搜索窗口是基于所述幅度設(shè)置的。
7.如權(quán)利要求4所述的移動(dòng)設(shè)備，其特征在于，所述信息包括所述改變的方向，并且其中所述下一追蹤搜索窗口是基于所述方向設(shè)置的。
8.如權(quán)利要求1所述的移動(dòng)設(shè)備，其特征在于，所述窗口包括自動(dòng)對(duì)焦窗口。
9.如權(quán)利要求8所述的移動(dòng)設(shè)備，其特征在于，所述信息指示從自然特征的前一位置到所述自然特征的下一位置的改變。
10.如權(quán)利要求1所述的移動(dòng)設(shè)備，其特征在于，還包括耦合至所述自然特征處理引擎的擴(kuò)增現(xiàn)實(shí)模塊。
11.一種在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備中的方法，所述方法包括:使用自動(dòng)對(duì)焦引擎在圖像中的自動(dòng)對(duì)焦窗口中自動(dòng)對(duì)焦；用自然特征處理引擎在`所述圖像內(nèi)檢測(cè)并追蹤自然特征；以及在所述自動(dòng)對(duì)焦引擎和所述自然特征處理引擎之間傳達(dá)信息。
12.如權(quán)利要求11所述的方法，其特征在于，傳達(dá)信息包括傳達(dá)所述自動(dòng)對(duì)焦窗口的位置，并且所述方法還包括:在所述圖像內(nèi)選擇所述自動(dòng)對(duì)焦窗口；基于所述自動(dòng)對(duì)焦窗口的位置限定自然特征檢測(cè)的區(qū)域；以及在所限定的區(qū)域內(nèi)尋找自然特征。
13.如權(quán)利要求11所述的方法，其特征在于，傳達(dá)信息包括傳達(dá)改變，并且所述方法還包括:在第一圖像內(nèi)設(shè)置第一自動(dòng)對(duì)焦窗口；在第二圖像內(nèi)設(shè)置第二自動(dòng)對(duì)焦窗口，其中所述改變包括從所述第一自動(dòng)對(duì)焦窗口到所述第二自動(dòng)對(duì)焦窗口的改變；基于所述改變?cè)O(shè)置下一追蹤搜索窗口 ；以及在所述下一追蹤搜索窗口內(nèi)追蹤自然。
14.如權(quán)利要求11所述的方法，其特征在于，傳達(dá)信息包括傳達(dá)從第一位置到第二位置的改變，所述方法還包括:追蹤自然特征到第一圖像內(nèi)的所述第一位置；追蹤所述自然特征到第二圖像內(nèi)的所述第二位置；基于所述改變?cè)O(shè)置下一自動(dòng)對(duì)焦窗口 ；以及在所述自動(dòng)對(duì)焦窗口內(nèi)自動(dòng)對(duì)焦。
15.一種在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備，所述移動(dòng)設(shè)備包括:相機(jī)以及自動(dòng)對(duì)焦引擎；以及處理器和存儲(chǔ)器，存儲(chǔ)器包括用于以下操作的代碼使用自動(dòng)對(duì)焦引擎在圖像中的自動(dòng)對(duì)焦窗口中自動(dòng)對(duì)焦；用自然特征處理引擎在所述圖像內(nèi)檢測(cè)并追蹤自然特征；以及在所述自動(dòng)對(duì)焦引擎和所述自然特征處理引擎之間傳達(dá)信息。
16.如權(quán)利要求15所述的移動(dòng)設(shè)備，其特征在于，所述用于傳達(dá)信息的代碼包括用于傳達(dá)所述自動(dòng)對(duì)焦窗口的位置的代碼，并且所述移動(dòng) 設(shè)備還包括用于以下操作的代碼:在所述圖像內(nèi)選擇所述自動(dòng)對(duì)焦窗口 ；基于所述自動(dòng)對(duì)焦窗口的位置限定自然特征檢測(cè)的區(qū)域；以及在所限定的區(qū)域內(nèi)尋找自然特征。
17.如權(quán)利要求15所述的移動(dòng)設(shè)備，其特征在于，所述用于傳達(dá)信息的代碼包括用于傳達(dá)改變的代碼，并且所述移動(dòng)設(shè)備還包括用于以下操作的代碼:在第一圖像內(nèi)設(shè)置第一自動(dòng)對(duì)焦窗口；在第二圖像內(nèi)設(shè)置第二自動(dòng)對(duì)焦窗口，其中所述改變包括從所述第一自動(dòng)對(duì)焦窗口到所述第二自動(dòng)對(duì)焦窗口的改變；基于所述改變?cè)O(shè)置下一追蹤搜索窗口 ；以及在所述下一追蹤搜索窗口內(nèi)追蹤自然。
18.一種用于計(jì)算機(jī)視覺的移動(dòng)設(shè)備，所述移動(dòng)設(shè)備包括:相機(jī)以及自動(dòng)對(duì)焦引擎；以及處理器和存儲(chǔ)器，存儲(chǔ)器包括用于以下操作的代碼使用自動(dòng)對(duì)焦引擎在圖像中的自動(dòng)對(duì)焦窗口中自動(dòng)對(duì)焦；用自然特征處理引擎在所述圖像內(nèi)檢測(cè)并追蹤自然特征；以及在所述自動(dòng)對(duì)焦引擎和所述自然特征處理引擎之間傳達(dá)信息。
19.如權(quán)利要求18所述的移動(dòng)設(shè)備，其特征在于，所述用于傳達(dá)信息的代碼包括用于傳達(dá)所述自動(dòng)對(duì)焦窗口的位置的代碼，并且所述移動(dòng)設(shè)備還包括用于以下操作的代碼:在所述圖像內(nèi)選擇所述自動(dòng)對(duì)焦窗口；基于所述自動(dòng)對(duì)焦窗口的位置限定自然特征檢測(cè)的區(qū)域；以及在所限定的區(qū)域內(nèi)尋找自然特征。
20.如權(quán)利要求18所述的移動(dòng)設(shè)備，其特征在于，所述用于傳達(dá)信息的代碼包括用于傳達(dá)改變的代碼，并且所述移動(dòng)設(shè)備還包括用于以下操作的代碼:在第一圖像內(nèi)設(shè)置第一自動(dòng)對(duì)焦窗口；在第二圖像內(nèi)設(shè)置第二自動(dòng)對(duì)焦窗口，其中所述改變包括從所述第一自動(dòng)對(duì)焦窗口到所述第二自動(dòng)對(duì)焦窗口的改變；基于所述改變?cè)O(shè)置下一追蹤搜索窗口 ；以及在所述下一追蹤搜索窗口內(nèi)追蹤自然。
21.如權(quán)利要求18所述的移動(dòng)設(shè)備，其特征在于，用于傳達(dá)信息的代碼包括用于傳達(dá)從第一位置到第二位置的改變的代碼，所述移動(dòng)設(shè)備還包括用于以下操作的代碼:追蹤自然特征到第一圖像內(nèi)的所述第一位置；追蹤所述自然特征到第二圖像內(nèi)的所述第二位置；基于所述改變?cè)O(shè)置下一自動(dòng)對(duì)焦窗口 ；以及在所述自動(dòng)對(duì)焦窗口內(nèi)自動(dòng)對(duì)焦。
22.—種在計(jì)算機(jī)視覺中使用的移動(dòng)設(shè)備，所述移動(dòng)設(shè)備包括:用于使用自動(dòng)對(duì)焦引擎在圖像中的自動(dòng)對(duì)焦窗口中自動(dòng)對(duì)焦的裝置；用于用自然特征處理引擎在所述圖像內(nèi)檢測(cè)并追蹤自然特征的裝置；以及用于在所述自動(dòng)對(duì)焦引擎和所述自然特征處理引擎之間傳達(dá)信息的裝置。
23.如權(quán)利要求22所述的移動(dòng)設(shè)備，其特征在于，所述用于傳達(dá)信息的裝置包括用于傳達(dá)所述自動(dòng)對(duì)焦窗口的位置的裝置，并且所述移動(dòng)設(shè)備還包括:用于在所述圖像內(nèi)選擇所述自動(dòng)對(duì)焦窗口的裝置；用于基于所述自動(dòng)對(duì)焦窗口的位置限定自然特征檢測(cè)的區(qū)域的裝置；以及用于在所限定的區(qū)域內(nèi)尋找自然特征的裝置。
24.如權(quán)利要求22所述的移動(dòng)設(shè)備，其特征在于，所述用于傳達(dá)信息的裝置包括用于傳達(dá)改變的裝置，并且所述移動(dòng)設(shè)備還包括:用于在第一圖像內(nèi)設(shè)置第一自動(dòng)對(duì)焦窗口的裝置；用于在第二圖像內(nèi)設(shè)置第二自動(dòng)對(duì)焦窗口的裝置，其中所述改變包括從所述第一自動(dòng)對(duì)焦窗口到所述第二自動(dòng)對(duì)焦窗口的改變； 用于基于所述改變?cè)O(shè)置下一追蹤搜索窗口的裝置；以及用于在所述下一追蹤搜索窗口內(nèi)追蹤自然的裝置。
25.如權(quán)利要求22所述的移動(dòng)設(shè)備，其特征在于，用于傳達(dá)信息的裝置包括用于傳達(dá)從第一位置到第二位置的改變的裝置，所述移動(dòng)設(shè)備還包括:用于追蹤自然特征到第一圖像內(nèi)的所述第一位置的裝置；用于追蹤所述自然特征到第二圖像內(nèi)的所述第二位置的裝置；用于基于所述改變?cè)O(shè)置下一自動(dòng)對(duì)焦窗口的裝置；以及用于在所述自動(dòng)對(duì)焦窗口內(nèi)自動(dòng)對(duì)焦的裝置。
26.—種包括其上存儲(chǔ)的程序代碼的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括用于以下操作的程序代碼:使用自動(dòng)對(duì)焦引擎在圖像中的自動(dòng)對(duì)焦窗口中自動(dòng)對(duì)焦；用自然特征處理引擎在所述圖像內(nèi)檢測(cè)并追蹤自然特征；以及在所述自動(dòng)對(duì)焦引擎和所述自然特征處理引擎之間傳達(dá)信息。
27.如權(quán)利要求26所述的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述用于傳達(dá)信息的代碼包括用于傳達(dá)所述自動(dòng)對(duì)焦窗口的位置的代碼，并且所述非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)還包括用于以下操作的程序代碼:在所述圖像內(nèi)選擇所述自動(dòng)對(duì)焦窗口；基于所述自動(dòng)對(duì)焦窗口的位置限定自然特征檢測(cè)的區(qū)域；以及在所限定的區(qū)域內(nèi)尋找自然特征。
28.如權(quán)利要求26所述的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述用于傳達(dá)信息的代碼包括用于傳達(dá)改變的代碼，并且所述非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)還包括用于以下操作的程序代碼:在第一圖像內(nèi)設(shè)置第一自動(dòng)對(duì)焦窗口；在第二圖像內(nèi)設(shè)置第二自動(dòng)對(duì)焦窗口，其中所述改變包括從所述第一自動(dòng)對(duì)焦窗口到所述第二自動(dòng)對(duì)焦窗口的改變；基于所述改變?cè)O(shè)置下一追蹤搜索窗口 ；以及在所述下一追蹤搜索窗口內(nèi)追蹤自然特征。
29.如權(quán)利要求26所述的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述用于傳達(dá)信息的代碼包括用于傳達(dá)改變的代碼，并且所述非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)還包括用于以下操作的程序代碼:追蹤自然特征到第一圖像內(nèi)的第一位置；追蹤所述自然特征到第二圖像內(nèi)的第二位置；基于所述改變?cè)O(shè)置下一自動(dòng)`對(duì)焦窗口 ；以及在所述自動(dòng)對(duì)焦窗口內(nèi)自動(dòng)對(duì)焦。
【文檔編號(hào)】H04N5/232GK103535021SQ201280019909
【公開日】2014年1月22日 申請(qǐng)日期:2012年2月24日 優(yōu)先權(quán)日:2011年2月24日
【發(fā)明者】C·W·斯維特三世, S·斯賓德拉戴茨 申請(qǐng)人:高通股份有限公司