專利名稱：：基于照片位置對(duì)圖像區(qū)域分類的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明的領(lǐng)域涉及數(shù)字圖像捕捉裝置以及基于記錄的拍照位置信息對(duì)圖像區(qū)域分類。
背景技術(shù)：
：圖像理解中的一基本任務(wù)是計(jì)算確定圖像的區(qū)域(連接的像素位置的組)或像素表示特定材料的可能性，也被稱為區(qū)域分類或區(qū)域標(biāo)記。這可以是非常困難的，尤其當(dāng)計(jì)算機(jī)缺乏關(guān)于圖像的上下文信息時(shí)。當(dāng)前技術(shù)將得自圖像的特征用于生成置信圖(briefmap)(例如，在天空檢測(cè)的情形中，共同轉(zhuǎn)讓的美國專利申請(qǐng)序號(hào)10/747,597)。例如，圖像中的白色區(qū)域可能或可能不表示雪。因?yàn)殡y以產(chǎn)生可被用于魯棒分類的特征，主要因?yàn)樵S多材料共享類似的顏色和紋理特性(例如，雪和云)，這種技術(shù)經(jīng)常產(chǎn)生不正確的結(jié)果。在相關(guān)的任務(wù)中，有時(shí)有必要將整個(gè)圖像分類到已知的分類之一。例如，在許多情況下，將數(shù)字圖像分類為或者室外圖像或者室內(nèi)圖像是有用的。通過單獨(dú)使用圖像數(shù)據(jù)執(zhí)行這種任務(wù)也是非常困難的并且易于出錯(cuò)。在美國專利6，504,571中，圖像具有相關(guān)聯(lián)的地理捕捉信息。將查詢轉(zhuǎn)換成綿度和經(jīng)度查詢。例如，對(duì)于在沙灘上捕捉的圖像的搜索使系統(tǒng)顯示沙灘的列表。用類似的方式處理例如體育館、公園或湖的位置。盡管這種方法確實(shí)提供了用于找到在特定位置捕捉的圖像的效用，其并不幫助確定在圖像自身內(nèi)的內(nèi)容即區(qū)域標(biāo)記。例如，系統(tǒng)將不區(qū)分在海灘上的房子內(nèi)捕捉的圖像和在相同位置捕捉的海洋的圖像。此外，例如美國專利號(hào)5，506，644和5,247，356的描述與圖像相關(guān)聯(lián)的位置信息的其他系統(tǒng)，類似地并不有助于確定圖像內(nèi)容或在圖像內(nèi)表示的材料。例如，系統(tǒng)將不定位圖像內(nèi)的房子或沙。因此，需要設(shè)計(jì)用于在利用連同圖像一起捕捉的地理位置信息的同時(shí)對(duì)數(shù)字圖像中的特定材料和對(duì)象的區(qū)域分類的方法。
發(fā)明內(nèi)容本發(fā)明的一個(gè)目的在于方便采用捕捉的地理位置信息對(duì)通過數(shù)字圖像捕捉裝置捕捉的數(shù)字圖像的區(qū)域分類。通過對(duì)圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法來實(shí)現(xiàn)該目的，該方法包括提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置，將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時(shí)間測(cè)量圖像捕捉位置，以及基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個(gè)或多個(gè)類。圖1是表示可實(shí)施本發(fā)明的數(shù)字圖像捕捉裝置的框圖2是表示圖1中的數(shù)字圖像捕捉裝置的操作的框圖，該操作用于產(chǎn)生多個(gè)類標(biāo)記的材料置信圖3是表示將圖2中的數(shù)字圖像捕捉裝置的輸出用于改善數(shù)字圖像的操作的框圖4是表示對(duì)數(shù)字圖像中的區(qū)域分類的操作的框圖；以及圖5是表示用于集成地理位置信息的場(chǎng)景配置模型的圖。具體實(shí)施例方式圖1示出了例如數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)或照相手機(jī)的現(xiàn)有技術(shù)數(shù)字圖像捕捉裝置10。圖像捕捉裝置包括用戶輸入22。如所示的，用戶輸入22是按鈕，但用戶輸入22還可以是例如操縱桿或觸摸屏。用戶通過用戶輸入22來命令圖像捕捉裝置10的操作，例如通過選擇圖像捕捉裝置10的操作模式。圖像捕捉裝置IO還包括顯示器30,用戶可以在其上預(yù)覽當(dāng)壓下捕捉按鈕15時(shí)圖像捕捉裝置IO捕捉的圖像。還與用戶輸入22—起使用顯示器30以便用戶可以導(dǎo)航通過菜單。如在數(shù)字圖像捕捉裝置上通常使用的，顯示器30可以是例如液晶顯示器(LCD)或有機(jī)發(fā)光二極管(OLED)屏幕。菜單允許用戶選擇圖像捕捉裝置的操作的偏好。圖像捕捉裝置可捕捉或者靜止圖像或者例如視頻流的快速連續(xù)的圖像。在圖1中示出的一般控制計(jì)算機(jī)40將本發(fā)明存儲(chǔ)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的計(jì)算機(jī)程序，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可包括例如例如磁盤(例如軟盤)或磁帶的磁存儲(chǔ)介質(zhì)；例如光盤、光帶或機(jī)器可讀條形碼的光學(xué)存儲(chǔ)介質(zhì)；或例如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)的固態(tài)電子存儲(chǔ)裝置。本發(fā)明的相關(guān)計(jì)算機(jī)程序?qū)崿F(xiàn)還可以被存儲(chǔ)在由存儲(chǔ)裝置70指示的任何其他用于存儲(chǔ)計(jì)算機(jī)程序的物理裝置或介質(zhì)上?？刂朴?jì)算機(jī)40負(fù)責(zé)控制在圖像捕捉裝置10的元件之間的數(shù)據(jù)的傳輸。例如，控制計(jì)算機(jī)40確定用戶壓下捕捉按鈕15并啟動(dòng)通過圖像傳感器34的圖像捕捉。圖像處理器36用于處理數(shù)字圖像，以使得圖像顯示裝置30產(chǎn)生樣子合意的圖像的方式，進(jìn)行數(shù)字圖像的總亮度、色調(diào)等級(jí)(tonescale)或圖像結(jié)構(gòu)的調(diào)整。那些本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明不受限于僅這些提及的圖像處理功能。數(shù)據(jù)處理器20用于處理源自數(shù)字圖像的圖像信息以及源自地理位置確定器325的位置信息363,以便產(chǎn)生用于圖像處理器36或用于控制計(jì)算機(jī)40的元數(shù)據(jù)。在以下將更詳細(xì)地描述數(shù)據(jù)處理器20的操作。還應(yīng)當(dāng)指出，本發(fā)明可以被實(shí)現(xiàn)于軟件或硬件的組合中并且不限于物理連接的或位于相同物理位置內(nèi)的裝置。在圖1中例示的裝置中的一個(gè)或多個(gè)可以位于遠(yuǎn)程，并且可通過無線連接來連接。數(shù)字圖像由一個(gè)或多個(gè)數(shù)字圖像通道構(gòu)成。每個(gè)數(shù)字圖像通道由像素的二維陣列構(gòu)成。每個(gè)像素值與圖像捕捉裝置接收的對(duì)應(yīng)于像素的物理區(qū)域的光量相關(guān)。對(duì)于彩色成像應(yīng)用來說，數(shù)字圖像將通常由紅色、綠色和藍(lán)色數(shù)字圖像通道構(gòu)成。運(yùn)動(dòng)成像應(yīng)用可被認(rèn)為是數(shù)字圖像的序列。那些本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明可以被應(yīng)用于但不局限于以上提及的應(yīng)用中的任何應(yīng)用的數(shù)字圖像通道。盡管將數(shù)字圖像通道描述為按照行和列布置的像素值的二維陣列，那些本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明可以被應(yīng)用于非直線陣列而具有同等效果。那些本領(lǐng)域的技術(shù)人員還將認(rèn)識(shí)到對(duì)于以下描述的數(shù)字圖像處理步驟來說，用經(jīng)處理的像素值代替原像素值在功能上相當(dāng)于，產(chǎn)生具有經(jīng)處理的像素值的新數(shù)字圖像，而同時(shí)保留原像素值。圖像捕捉裝置10包括位置確定器325。該位置確定器325或地理位置確定裝置包括接收位置信息363的位置信息接收器。隨后與圖像相關(guān)聯(lián)地存儲(chǔ)位置信息363。優(yōu)選地，將位置信息363存儲(chǔ)為在將被使用的地圖上直接可讀的坐標(biāo)；例如，一般方便地用纟韋度和經(jīng)度單位存儲(chǔ)地理6地圖位置。轉(zhuǎn)換器可包括使表示位置的不同方法相關(guān)的轉(zhuǎn)換地理數(shù)據(jù)庫327。例如使地名(例如Dora阿姨的房子)、緯度和經(jīng)度、和街道地址相關(guān)。轉(zhuǎn)換地理數(shù)據(jù)庫327可位于圖像捕捉裝置自身上，或利用通過例如雞站(dock)接口362或無線調(diào)制解調(diào)器350的網(wǎng)絡(luò)接口的遠(yuǎn)程訪問，外部于圖像捕捉裝置。雞站接口可被連接到雞站充電器364。位置確定器325可附加地或可選地包括源自例如麥克風(fēng)或鍵盤的用戶接口22的輸入，該用戶接口22允許用戶輸入地圖位置或位置信息363。位置信息363可定義圖像捕捉時(shí)確定的確切位置(在適當(dāng)?shù)娜菹迌?nèi))，但如果該信息不可獲得，可以基于最佳的可獲得數(shù)據(jù)(以下討論)設(shè)定位置。與捕捉記錄的收集相關(guān)聯(lián)的位置的容限可以都是一樣的或可以變化?？梢砸栽囂椒樘囟ㄓ猛敬_定可接受的容限和不同容限范圍的混合。位置信息363還可定義物理位置的不同大小。例如，GPS坐標(biāo)定義小的地理區(qū)域，而電信小區(qū)定義的地理區(qū)域相對(duì)大，取決于例如輸出或天線配置的因素。用戶輸入位置信息可定義例如兩條街道的交叉口的小區(qū)域，或例如城市或縣的大區(qū)域?？梢杂脭?shù)據(jù)傳輸?shù)男问皆诓蹲綍r(shí)提供位置信息363。數(shù)據(jù)傳輸是指出在捕捉時(shí)捕捉裝置或捕捉主題的位置的信息的任何傳輸。數(shù)據(jù)傳輸?shù)念愋桶ū镜鼗蜻h(yuǎn)程傳送的位置坐標(biāo)、基站的標(biāo)識(shí)、有線和無線網(wǎng)絡(luò)地址、和遠(yuǎn)程傳送的和用戶輸入的標(biāo)識(shí)。作為標(biāo)識(shí)小的地理區(qū)域的特定坐標(biāo)，GPS(全球定位系統(tǒng))坐標(biāo)是尤其方便的?？梢酝ㄟ^多種方法中的任何方法來確定由位置確定器325確定的位置信息363。例如，可以通過從著名的全球定位衛(wèi)星(GPS)接收通信來確定地理位置。在一些管轄區(qū)中，蜂窩式電話可獲得可用于提供地圖位置的GPS或其他定位數(shù)據(jù)?？蛇x地，可以通過傳輸塔的標(biāo)識(shí)和三角測(cè)量的使用來指示位置信息363。傳輸塔的特征可被保存于數(shù)據(jù)庫中，可以在從接收的傳輸確定位置信息363的過程中參考該數(shù)據(jù)庫。網(wǎng)絡(luò)節(jié)點(diǎn)信息可用于標(biāo)識(shí)地圖位置。在這種情況下，通過例如塢站接口362或無線調(diào)制解調(diào)器350的網(wǎng)絡(luò)接口提供位置信息363。例如，塢站接口可使用IEEE802.11無線接口協(xié)議之一以便連接到無線網(wǎng)絡(luò)。位置確定器還可以使用無線接入點(diǎn)的MAC(媒體訪問控制)地址以提供位置信息，可采用使MAC地址與地圖位置相關(guān)的數(shù)據(jù)庫將該位置信息轉(zhuǎn)換成地圖位置。MAC地址凈皮永久記錄在無線接入點(diǎn)設(shè)備的硬件中。例如，MAC地址48-3F-0A-91-00-BB可與位置43.15度N,77.62度W相關(guān)聯(lián)。這種方法依據(jù)數(shù)據(jù)庫中的地圖位置與提供MAC地址的設(shè)備的實(shí)際位置相對(duì)應(yīng)的假定。用類似的方式，如在此引入作為參考的Parekh等人的美國專利號(hào)6,757,740中所描述的，可以-使用"traceroute"工具，確定從客戶端計(jì)算機(jī)到遠(yuǎn)程主機(jī)的，攜帶跨互聯(lián)網(wǎng)的特定消息的所有路由器的IP地址(由TCP/IP協(xié)議定義)，以便得到地理位置的近似概念。用戶可附加地或可選地提供地圖位置或位置信息363。例如，用戶可輸入緯度和經(jīng)度信息或郵政編碼來定義與圖像相關(guān)聯(lián)的地理位置?？蓪⑽恢眯畔?63表示為概率分布而不是單個(gè)點(diǎn)。即使以上描述的最精確的位置確定系統(tǒng)(GPS)(當(dāng)前可用的)也容易受到至少若干米的誤差。可以將地理位置表示為點(diǎn)和相關(guān)聯(lián)的不確定性，或表示為概率分布。例如，當(dāng)?shù)乩砦恢檬青]政編碼時(shí)，可以使用在由該郵政編碼定義的區(qū)域上的均勻概率分布。在其他實(shí)施例中，圖像捕捉裝置或其他捕捉裝置具有，從與圖像捕捉裝置10分離的外部位置感知裝置329接收和存儲(chǔ)與捕捉的圖像相關(guān)聯(lián)的位置信息的位置確定器325。在這種情況下，地理位置由位置感知裝置329確定并且隨后通過塢站接口362或無線調(diào)制解調(diào)器350被傳送到圖像捕捉裝置10。位置感知裝置329是借助于例如內(nèi)置到汽車中的GPS接收器的位置信息接收器知道其位置的裝置，或是例如射頻信標(biāo)的知道其位置的固定物體。位置確定器325可以或者為其位置輪詢外部位置感知裝置329,或者位置確定器325可以為其位置在特定時(shí)間(例如，特定時(shí)間是圖像捕捉時(shí)間)輪詢外部位置感知裝置329。當(dāng)位置感知裝置329緊靠圖像捕捉裝置10時(shí)，例如當(dāng)位置感知裝置329是將位置信號(hào)傳送給圖像捕捉裝置的汽車中的GPS接收器時(shí)，這種替代方案是有效的。在特定實(shí)施例中，位置確定器325估計(jì)否則將缺乏地圖位置的捕捉記錄的地圖位置。例如，當(dāng)室內(nèi)時(shí)GPS接收器經(jīng)常未能檢測(cè)到信號(hào)。包括這種接收器的位置確定器325可使用在時(shí)間上最接近的可用位置信息，或者在圖像捕捉時(shí)間之前或之后的時(shí)間處的多個(gè)地理位置之間的插值。作為選擇，數(shù)字處理器可連續(xù)地存儲(chǔ)由位置確定器325確定的地理位置，而不是僅與圖像捕捉時(shí)間上相關(guān)地存儲(chǔ)。這種方法提供用于當(dāng)不可獲得數(shù)據(jù)傳輸時(shí)估計(jì)位置的數(shù)據(jù)，并且具有允許圖像捕捉裝置不僅顯示捕捉的圖像的位置，而且顯示用戶在圖像捕捉之間采取的路徑的附加優(yōu)點(diǎn)。圖像捕捉裝置10在捕捉圖像或視頻時(shí)確定位置信息363L,并且使該位置信息363L與該圖像或視頻相關(guān)聯(lián)。當(dāng)圖像捕捉裝置10捕捉視頻流時(shí)，可有用于視頻流中的每個(gè)數(shù)字圖像的位置信息363L?；蚩捎杏糜谝曨l流的若干幀的一個(gè)位置信息363L。還可以有用于視頻流中的每個(gè)幀的若干位置信息363矢量L。內(nèi)部地，圖像捕捉裝置10整體包括用于在任意時(shí)間記錄拍照位置信息363的位置確定器325。將測(cè)量的空氣特性表示為矢量A。在不需要捕捉圖像的情況下，環(huán)境空氣傳感器(未示出)能夠確定環(huán)繞圖像捕捉裝置的環(huán)境空氣的特性。這些空氣特性被與數(shù)字圖像相關(guān)聯(lián)，并且被本發(fā)明用于改善圖像噪聲特性、依據(jù)區(qū)域表示的材料對(duì)圖像的區(qū)域分類、將圖像分類為室內(nèi)或室外、將相關(guān)的圖像聚集成事件、以及搜索特定圖像。參見圖2，與圖像捕捉裝置10成整體的附加方向傳感器44可選地可被用于確定圖像捕捉裝置相對(duì)于地球指向的方向，即相機(jī)朝向的方向。方向傳感器44優(yōu)選地確定圖像捕捉裝置的光軸的傾斜和羅盤定向。一般，位置感知裝置329不提供這種方向信息。當(dāng)環(huán)境在給定地理位置遠(yuǎn)非各向同性時(shí)，這種附加信息可以是有用的，例如如果一個(gè)人在邁阿密沙灘上朝東他將主要看到天空和海洋，而當(dāng)朝西時(shí)他將看到建筑物和樹木。再次參見圖2,圖像傳感器34捕捉數(shù)字圖像102并且產(chǎn)生被傳送給圖像處理器36的原始圖像。圖像處理器36準(zhǔn)備原始圖像，以便通過對(duì)圖像傳感器34的缺失的像素值插值來查看、應(yīng)用顏色校正矩陣、和渲染圖像等等。此外，數(shù)據(jù)處理器20分析位置信息363、源自方向傳感器44的方向信息、以及可能數(shù)字圖像102(或者源自圖像處理器36的數(shù)字圖像的部分校正版本)，以產(chǎn)生材料置信圖124。材料置信圖124用于表示用于圖像中的每個(gè)材料區(qū)域的標(biāo)記和相關(guān)聯(lián)的概率。其是圖像區(qū)域分類的結(jié)果，并且對(duì)于包括圖像增強(qiáng)和圖像檢索的廣泛的多種應(yīng)用來說是有用的。在圖3中，材料置信圖用于控制選擇的圖像變換60,以產(chǎn)生增強(qiáng)或改善的圖像120。例如，應(yīng)將較重的去噪應(yīng)用到晴朗的天空區(qū)域而應(yīng)不管草地區(qū)域以便保留所期望的紋理。在Luo等人的標(biāo)題為"用于選擇性將增強(qiáng)應(yīng)用到圖像的方法和系統(tǒng)"的2001年12月10日提交的美國專利申請(qǐng)序號(hào)10/016,601中可以找到關(guān)于如何將這種地圖用于圖像增強(qiáng)和操作的更多細(xì)節(jié)。那些本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明不限于上述的圖像增強(qiáng)并且可以包括其他圖像增強(qiáng)、操作、搜索、索引、檢索、和組織應(yīng)用。例如，區(qū)域分類可通過采用例如"查找具有藍(lán)天的圖像"或"查找具有藍(lán)天和綠草的圖像"的上述技術(shù)來促進(jìn)對(duì)數(shù)據(jù)庫的圖像搜索。元數(shù)據(jù)是不包括像素?cái)?shù)據(jù)的與圖像相關(guān)的信息。在拍照時(shí)刻的圖像捕捉裝置10的地理位置363是元數(shù)據(jù)的實(shí)例。還將若干附加元數(shù)據(jù)項(xiàng)輸入到數(shù)據(jù)處理器20。包括數(shù)字圖像102的捕捉的時(shí)間和日期、例如在圖像捕捉時(shí)的曝光時(shí)間(按秒)和焦距f,(按像素)的例如與數(shù)字圖像的捕捉相關(guān)的其他數(shù)據(jù)。此外，元數(shù)據(jù)包括例如菜單項(xiàng)狀態(tài)或如用戶選擇的操作模式的當(dāng)前圖像捕捉裝置設(shè)置?？蓪⑴c數(shù)字圖像102相關(guān)聯(lián)的所有這種信息存儲(chǔ)為與數(shù)字圖像102相關(guān)聯(lián)的元數(shù)據(jù)，并且在后繼的圖像處理中變得有用。在表1(在以下示出)中給出了包括天空、草地、地表水和雪地的一些最有用的材料的定義。本領(lǐng)域技術(shù)人員將想到例如云、路面和墻壁的其他材料。在Luo等人的共同轉(zhuǎn)讓的美國專利號(hào)7，062，085中可找到對(duì)材料區(qū)域分類的細(xì)節(jié)。圖像處理器36基于為圖像102的區(qū)域或像素計(jì)算的特征，例如圖像內(nèi)的顏色、紋理、形狀或位置，分配類概率(也被認(rèn)為為置信值)，并且用前述的置信圖124的形式輸出結(jié)果。表l一些材料的定義_<table>tableseeoriginaldocumentpage10</column></row><table>一般，存在于圖像處理器36中的所有材料檢測(cè)器(或區(qū)域分類器或區(qū)域標(biāo)記器)遵循與在圖4中例示的方法類似的方法。首先，在輸入圖像102的低分辨率即256x384的版本上提取顏色特征401和紋理特征402。優(yōu)選地，計(jì)算的特征在區(qū)分有關(guān)材料的像素和其他材料類的像素中將是有效的。隨后將這些特征饋給至例如經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的分類器403,該分類器403依據(jù)材料的顏色和紋理特性產(chǎn)生使類概率或置信值與圖像中的每個(gè)像素相關(guān)聯(lián)的像素置信圖404。接下來，閾值被用于從像素置信圖獲得空間上連續(xù)的同質(zhì)區(qū)域。最后，依據(jù)涉及的材料類的某些獨(dú)特的基于區(qū)域的特性，和其中每個(gè)區(qū)域與統(tǒng)一的置信值相關(guān)聯(lián)的源自初始區(qū)域置信圖406的確認(rèn)的區(qū)域，來進(jìn)一步分析405每個(gè)空間上連續(xù)的區(qū)域?？梢栽诿绹鴮＠?hào)7，062，085中找到關(guān)于區(qū)域分類器的細(xì)節(jié)。在推斷過程方面，因?yàn)闆]有施加上下文模型，這些方法采用基本上自下而上的策略。不幸地，僅采用圖像特征可導(dǎo)致模糊的結(jié)果。例如，假設(shè)區(qū)域的亮度是明亮的，飽和度非常低并且紋理低。該區(qū)域表示雪的概率是P(區(qū)域=雪1特征)，其中特征例如是該區(qū)域的平均亮度、飽和度和紋理大小。然而，當(dāng)它們的分布例如P(特征1區(qū)域=雪)和P(特征1區(qū)域=白地毯)重疊時(shí)，即使最復(fù)雜的分類系統(tǒng)也不能準(zhǔn)確地區(qū)分這些類。需要自上而下的策略來提供調(diào)整機(jī)制以便減少模糊的量和與個(gè)別地對(duì)材料區(qū)域分類相關(guān)聯(lián)的結(jié)果誤分類。自上而下的推理可通過上下文信息的使用來促進(jìn)，并且可幫助區(qū)分具有類似的顏色和紋理的"混淆的"材料類。上下文信息可源自整個(gè)場(chǎng)景的總的描述即場(chǎng)景上下文，或者在沒有確切地知道場(chǎng)景類型的情況下，源自在場(chǎng)景中的不同材料的位置之間的常規(guī)關(guān)系，即空間上下文。在場(chǎng)景上下文的情況下，知道室外或沙灘場(chǎng)景可對(duì)在場(chǎng)景中可呈現(xiàn)什么樣的材料類以及這些材料可能出現(xiàn)于場(chǎng)景中的什么位置施加強(qiáng)的限制。由空間上下文的使用施加的限制比場(chǎng)景上下文的使用施加的限制弱，但在許多情況下仍然足以減少在相沖突的材料檢測(cè)器之間的模糊并且消除材料檢測(cè)中的不可能的空間結(jié)構(gòu)。其優(yōu)點(diǎn)在于其不取決于知道確切的場(chǎng)景類型。另一方面，如果知道關(guān)于場(chǎng)景的更多信息，例如在這種情況下的拍照位置，可以豐富上下文模型以便將更強(qiáng)的限制提供給材料區(qū)域分類。在自然圖像中存在至少兩種空間上下文關(guān)系。首先，關(guān)系在自然圖像中的特定材料的共同出現(xiàn)之間存在；ii例如，具有高概率的對(duì)草地的檢測(cè)將暗示低的雪可能性。其次，關(guān)系在圖像中的材料的空間位置之間存在；天空趨向于出現(xiàn)在草地上方、葉在草地上方、或天空在雪上方。為了將空間上下文用于評(píng)估和調(diào)整從低層次材料檢測(cè)器獲得的材料置信，本發(fā)明依靠圖模型來表示在圖像中的所有區(qū)域之間的空間限制信息，并且最后產(chǎn)生表示在空間限制和原始材料置信值之間的最佳折衷的新的材料置信值。在本發(fā)明的一實(shí)施例中，成對(duì)的空間關(guān)系的集合包括(高于、遠(yuǎn)高于、低于、遠(yuǎn)低于、旁邊、被圍繞和圍繞)。關(guān)于在兩個(gè)區(qū)域的最近的像素之間的距離的閾值被用于區(qū)分高于和遠(yuǎn)高于(同樣用于低于和遠(yuǎn)低于)。通過獲悉與上述空間關(guān)系相對(duì)應(yīng)的概率密度函數(shù)來構(gòu)建空間上下文模型。從包括收集的用于各種材料類的廣泛的地面實(shí)況的數(shù)據(jù)庫中，簡(jiǎn)單的頻率計(jì)數(shù)方法足以產(chǎn)生所有空間關(guān)系P(空間關(guān)系l位置)的離散概率密度函數(shù)。用表2(在以下示出)中的遠(yuǎn)高于成對(duì)關(guān)系的概率密度函數(shù)作為實(shí)例，可做出以下觀察1.如果一區(qū)域遠(yuǎn)高于天空區(qū)域，其僅可以是另一天空區(qū)域、葉區(qū)域或背景(其他類的)區(qū)域；2.如果一區(qū)域遠(yuǎn)高于草地區(qū)域，其最可能是葉或天空區(qū)域；3.如果一區(qū)域遠(yuǎn)高于葉區(qū)域，其最可能是天空區(qū)域；4.如果一區(qū)域遠(yuǎn)高于雪區(qū)域，其最可能是另一雪區(qū)域或天空區(qū)域；5.如果一區(qū)域遠(yuǎn)高于背景(其他)區(qū)域，其實(shí)質(zhì)上可以是任何區(qū)域，其中最可能是天空區(qū)域。12表2當(dāng)位置未知時(shí)，關(guān)系"遠(yuǎn)高于"的CPM<table>tableseeoriginaldocumentpage13</column></row><table>可以用類似的方式構(gòu)建和解釋其他概率密度函數(shù)。概率密度函數(shù)可被用于構(gòu)建描述在圖像中的所有區(qū)域之間的空間關(guān)系的概率圖網(wǎng)絡(luò)，并且可被求解以說明與空間上下文模型相關(guān)聯(lián)的條件概率。表2中的模型的優(yōu)點(diǎn)在于該模型可適用于任何位置。然而，其沒有利用地理位置信息并且基本上通過假定位置是未知的而忽視位置。表3(以下示出)示出了對(duì)于美國的基韋斯特(KeyWest)的特定于位置的條件概率模型的實(shí)例。從位置未知模型的最顯著改變包括1.如果一區(qū)域遠(yuǎn)高于天空區(qū)域，與葉區(qū)域或背景(其他類的)區(qū)域相比其略微更可能是另一天空區(qū)域；2.如果一區(qū)域遠(yuǎn)高于草地區(qū)域，與葉區(qū)域相比其略微更可能是天空區(qū)域，并且其也更可能是水區(qū)域；3.如果一區(qū)域遠(yuǎn)高于水區(qū)域，與葉區(qū)域相比其略微更可能是天空區(qū)域；4.一區(qū)域是否遠(yuǎn)高于雪區(qū)域是不適用的，因?yàn)閹缀醪豢赡芤匝﹨^(qū)域來開始；5.如果一區(qū)域遠(yuǎn)高于背景(其他)區(qū)域，其更可能是天空區(qū)域或水區(qū)域并且?guī)缀醪豢赡苁茄﹨^(qū)域。表3當(dāng)位置已知時(shí)(基韋斯特，美國)，關(guān)系"遠(yuǎn)高于"的CPM\A天空草地葉水:雪背景天空O.卯0.000.050.00■0.00'0.05草地'0.47.0.060.350.080-000.02葉0.680.050.230.020.00:0.02.水.0.600,060.220.100,00:0.02雪N/A嵐脆直N/A:跳背景0.48.0,090,210.20o.oo10.02此外，地理位置信息還影響看到特定材料類的先驗(yàn)概率，即p(材料l位置)。表4(以下示出)示出了在消費(fèi)者照片中的各種材料類的統(tǒng)計(jì)。具體來說，1.31%的照片包括可見天空的顯著的塊，并且對(duì)于室外圖像來說可能性甚至更高到55%。2.29%的所有圖像和52%的室外圖像包括草地；3.35%的所有圖像和65°/的室外圖像包括葉；4.10%的所有圖像和19%的室外圖像包括地表水；5.2.4%的所有圖像和4.5%的室外圖像包括積雪。14表4當(dāng)位置是未知的時(shí)，材料的概率材料所有像素的％所有圖像的％室內(nèi)圖像的％室外圖像的％天空53.155草地4.1291.852葉1.2359.565水2.1101.019雪/水0.332.40.84.5表5(以下示出)示出了用于美國的基韋斯特的特定于位置的先驗(yàn)概率模型的實(shí)例。從位置未知模型的最顯著改變包括1.75%的照片包括可見天空的顯著的塊，并且對(duì)于室外圖像來說可能性甚至更高到95%,而在室內(nèi)圖像中看到天空的可能性也從3.1%增加到10%;2.草地的可能性是類似的；3.葉的可能性降低(更可能代之以看到天空)；4.地表水的可能性顯著增加；5.雪的可能性降低到幾乎不存在。表5當(dāng)位置是已知時(shí)(基韋斯特，美國)，材料的概率材料所有像素的％所有圖像的％室內(nèi)圖像的％室外圖像的％天空20751095草地5,0302.050葉1.0301050水15301,080雪/冰0.010,010.00.01注意，位置還對(duì)圖像內(nèi)的每種材料類的像素的百分比具有類似的影15響。在本發(fā)明的變型實(shí)施例中，當(dāng)環(huán)境在一天或季節(jié)的進(jìn)程中在給定地理位置由于例如草地、葉、雪、水和水的特定材料對(duì)氣候敏感而改變時(shí)，關(guān)于時(shí)間的附加信息是有用的。例如，在夏季期間在度假位置處山上的積雪可能融化掉，并且相似地僅可以在不是冬季的季節(jié)在那里看到葉?？梢匀菀椎赝ㄟ^相應(yīng)修改例如在表3和5中示出的概率值，將這種信息構(gòu)造成先驗(yàn)概率P(材料l位置，季節(jié)-時(shí)間)和條件概率P(空間關(guān)系I位置，季節(jié)-時(shí)間)二者。在這種情況下，還將圖像捕捉時(shí)間和位置信息363提供給數(shù)據(jù)處理器20,以便產(chǎn)生置信圖124。這種信息幫助巨大。作為直觀的實(shí)例，再次考慮在前段中描述的區(qū)域。如果位置信息363表示在佛羅里達(dá)的邁阿密捕捉數(shù)字圖像102,并且圖像捕捉時(shí)間指示在2002年6月26日的中午捕捉該數(shù)字圖像102,則圖像包含任何表示雪的材料的像素或區(qū)域的概率非常小?？蛇x地，因?yàn)榭捎妙愃频姆绞降玫胶屠孟闰?yàn)概率P(材料l季節(jié)-時(shí)間)和條件概率P(空間關(guān)系l季節(jié)-時(shí)間)二者，圖像捕捉時(shí)間可被單獨(dú)用于產(chǎn)生置信圖124?，F(xiàn)在參見圖5,其中示出了表示用于結(jié)合先驗(yàn)概率(P(材料l位置)和條件概率P(材料的空間布置l位置))地理位置信息二者的場(chǎng)景結(jié)構(gòu)模型的圖。該圖通常被稱為因子圖。先驗(yàn)因素節(jié)點(diǎn)P501采用上述的先驗(yàn)概率，場(chǎng)景節(jié)點(diǎn)S502結(jié)合場(chǎng)景上下文模型，空間因素節(jié)點(diǎn)F503由個(gè)體的區(qū)域之間的成對(duì)關(guān)系構(gòu)成。對(duì)于圖像中的n個(gè)區(qū)域中的每一個(gè)來說，存在區(qū)域節(jié)點(diǎn)R504。在n個(gè)區(qū)域之間存在(]2個(gè)對(duì)，因此存在一樣多的空間因素節(jié)點(diǎn)。圖的底層包括檢測(cè)器因素D505并且同樣存在n個(gè)這種節(jié)點(diǎn)。首先用先驗(yàn)概率和條件概率對(duì)該圖模型的節(jié)點(diǎn)初始化，并且隨后用源自材料檢測(cè)器的材料置信值產(chǎn)生該圖模型的節(jié)點(diǎn)的實(shí)例。對(duì)于每個(gè)區(qū)域，稱為置信傳播的過程被用于計(jì)算后驗(yàn)概率，即最終置信值，組合所有的輸入(也被稱為證據(jù)，包括初始類概率、先驗(yàn)概率和條件概率)。一般，每個(gè)區(qū)域被標(biāo)記到給出最高后驗(yàn)概率的材料類?？梢栽赑roceedingsofComputerVisionandPatternRecognition,PP.235-341,2003中Singhal,Luo，和Zhu的"用于場(chǎng)景內(nèi)容理解的概率空間上下文模型"中找到關(guān)于上述概率如何影響區(qū)域分類的細(xì)節(jié)。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明不限于上述特定的圖模型。再參見圖2,在本方面的變型實(shí)施例中，當(dāng)環(huán)境在給定地理位置遠(yuǎn)非各向同性時(shí)，來自方向傳感器44的附加信息可以是有用的，例如如果一個(gè)人在邁阿密沙灘上朝東他將主要看到天空和海洋，而當(dāng)朝西時(shí)他將看到建筑物和樹木?？梢匀菀椎赝ㄟ^相應(yīng)修改例如在表3和5中示出的概率值，將這種信息構(gòu)造成先驗(yàn)概率P(材料l位置，方向)和條件概率P(材料的空間布置l位置，方向)二者。附圖標(biāo)記10圖像捕捉裝置15捕捉按鈕20數(shù)據(jù)處理器22用戶輸入裝置30顯示裝置34圖像傳感器36圖像處理器40控制計(jì)算機(jī)44方向傳感器60變換70存儲(chǔ)裝置102數(shù)字圖像120改善的數(shù)字圖像124材料置信圖325位置確定器327地理數(shù)據(jù)庫329外部位置感知裝置350無線調(diào)制解調(diào)器362雞站接口363位置信息364雞站/充電器401顏色變換402計(jì)算紋理特征403神經(jīng)網(wǎng)絡(luò)分類器404像素置信圖405區(qū)域分析406區(qū)域置信圖501先驗(yàn)因素502場(chǎng)景節(jié)點(diǎn)503空間因素504區(qū)域節(jié)點(diǎn)505檢測(cè)器因素18權(quán)利要求1.一種對(duì)通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法，包括a)提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；b)將位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時(shí)間測(cè)量圖像捕捉位置；c)基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個(gè)或多個(gè)類。2.如權(quán)利要求l所述的方法，其中一個(gè)或多個(gè)類包括天空、草地、水、云、3各面、雪或墻壁。3.如權(quán)利要求l所述的方法，其中步驟(c)還包括i)從捕捉的數(shù)字圖像或視頻的幀中獲得同質(zhì)區(qū)域；ii)從同質(zhì)區(qū)域提取特征；以及iii)基于圖像捕捉位置和提取的特征將區(qū)域分類到具有相關(guān)聯(lián)的類概率的一個(gè)或多個(gè)類。其中提取的特征包括與區(qū)域相關(guān)聯(lián)其中步驟(c)還包括將圖像捕捉時(shí)其中步驟(ii)還包括將圖像捕捉其中步驟(c)還包括將相機(jī)朝向方其中步驟(ii)還包括將相機(jī)朝向其中步驟(iii)包括依據(jù)地理位置關(guān)聯(lián)類的先驗(yàn)概率，以及將這種先驗(yàn)概率用于確定區(qū)域的類。4.如權(quán)利要求3所述的方法,的顏色或紋理特征。5.如權(quán)利要求l所述的方法，間用于對(duì)數(shù)字圖像的區(qū)域分類。6.如權(quán)利要求3所述的方法，時(shí)間用于對(duì)數(shù)字圖像的區(qū)域分類。7.如權(quán)利要求l所述的方法，向用于對(duì)數(shù)字圖像的區(qū)域分類。8.如權(quán)利要求3所述的方法,方向用于對(duì)數(shù)字圖像的區(qū)域分類。9.如權(quán)利要求3所述的方法，10.如權(quán)利要求3所述的方法，其中步驟(iii)包括依據(jù)地理位置關(guān)聯(lián)類之間的條件概率，以及將這種條件概率用于確定每個(gè)區(qū)域各自的類。11.如權(quán)利要求10所述的方法，其中依據(jù)多個(gè)空間關(guān)系中的一個(gè)或多個(gè)，將類之間的條件概率指定為成對(duì)的概率，該多個(gè)空間關(guān)系包括高于、遠(yuǎn)高于、低于、遠(yuǎn)低于、旁邊、被圍繞或圍繞。12.如權(quán)利要求3所述的方法，其中步驟(iii)還包括(i)僅基于提取的特征產(chǎn)生初始類概率；(ii)將圖模型用于修改初始類概率，以便響應(yīng)于依據(jù)地理位置的先驗(yàn)概率和類之間的條件概率產(chǎn)生后驗(yàn)類概率。13.如權(quán)利要求3所述的方法，還包括將區(qū)域標(biāo)記為具有最高后驗(yàn)類概率的類。14.一種增強(qiáng)通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻幀中的區(qū)域的方法，包"l舌a)提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；b)將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時(shí)間測(cè)量圖像捕捉位置；c)基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個(gè)或多個(gè)類；以及d)依據(jù)每個(gè)區(qū)域的類將圖像增強(qiáng)應(yīng)用到經(jīng)分類的區(qū)域。15.—種在數(shù)據(jù)庫中搜索通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻幀的方法，包括a)提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；b)將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時(shí)間測(cè)量圖像捕捉位置；c)基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個(gè)或多個(gè)類；以及d)在數(shù)據(jù)庫中搜索包括一個(gè)或多個(gè)預(yù)定類的區(qū)域的圖像。16.—種對(duì)通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法，包括a)提供與圖像捕捉裝置相關(guān)聯(lián)的時(shí)間確定裝置；b)將時(shí)間確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時(shí)間測(cè)量圖像捕捉時(shí)間；c)基于圖像捕捉時(shí)間將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個(gè)或多個(gè)類。全文摘要一種對(duì)通過圖像捕捉裝置捕捉的數(shù)字圖像或視頻中的區(qū)域分類的方法，包括提供與圖像捕捉裝置相關(guān)聯(lián)的地理位置確定裝置；將地理位置確定裝置用于基本上在捕捉數(shù)字圖像或視頻的時(shí)間測(cè)量圖像捕捉位置；以及基于圖像捕捉位置將捕捉的數(shù)字圖像或視頻中的區(qū)域分類到一個(gè)或多個(gè)類。文檔編號(hào)G06K9/00GK101479741SQ200780024301公開日2009年7月8日申請(qǐng)日期2007年6月14日優(yōu)先權(quán)日2006年6月26日發(fā)明者A·C·加拉赫爾,J·羅申請(qǐng)人:伊斯曼柯達(dá)公司