專(zhuān)利名稱(chēng)：用于內(nèi)容項(xiàng)注釋的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于內(nèi)容項(xiàng)注釋的設(shè)備和方法，并且特別地，但 非排他性地，涉及諸如數(shù)字圖像或視頻序列的可視內(nèi)容項(xiàng)的自動(dòng)注釋。
背景技術(shù)：
近年來(lái)，多媒體和娛樂(lè)內(nèi)容的可用性和供應(yīng)極大地增加。例如， 可用的電視和無(wú)線(xiàn)電頻道的數(shù)目可觀地增長(zhǎng)，并且因特網(wǎng)的普及提供 了新的內(nèi)容分送裝置。此外，增加的數(shù)字化和編碼內(nèi)容方式導(dǎo)致了許 多不同類(lèi)型的內(nèi)容項(xiàng)的增加的分送，包括數(shù)字圖片、音樂(lè)、音頻剪輯、 視頻剪輯等。
因此，日益向用戶(hù)提供過(guò)多的來(lái)自不同源的不同類(lèi)型的內(nèi)容。為 了識(shí)別和選擇所需的內(nèi)容，用戶(hù)必須典型地處理大量的信息，該信息 可能是麻煩的和不實(shí)用的。
因此，大量的資源耗費(fèi)于對(duì)提供改進(jìn)的用戶(hù)體驗(yàn)和協(xié)助用戶(hù)識(shí)別 和選擇內(nèi)容的技術(shù)和算法的研究。為了便于內(nèi)容項(xiàng)管理、搜索和處理， 常見(jiàn)的做法是，通過(guò)創(chuàng)建表示內(nèi)容的數(shù)據(jù)并且使其與內(nèi)容相關(guān)聯(lián)來(lái)注 釋內(nèi)容項(xiàng)。
例如，諸如視頻剪輯和圖像之類(lèi)的多媒體資產(chǎn)的銷(xiāo)售取決于用戶(hù) 能夠經(jīng)由搜索引擎找到它們。搜索的成功常常取決于描述內(nèi)容的適當(dāng) 數(shù)據(jù)的可用性。然而，許多內(nèi)容所有者所面對(duì)的問(wèn)題在于，他們具有
從未被注釋過(guò)的保留內(nèi)容(legacy content)的大量檔案，或者僅被提供 了不充分的注釋。
5內(nèi)容項(xiàng)的注釋常常是手動(dòng)執(zhí)行的，其中由人閱覽該內(nèi)容項(xiàng)并且選 擇或生成適當(dāng)?shù)臄?shù)據(jù)。然而，該方法是非常麻煩的、耗時(shí)的和資源密 集的，并且對(duì)于大的內(nèi)容項(xiàng)集合是不實(shí)用的。
為了解決該問(wèn)題，已提出了用于內(nèi)容項(xiàng)的自動(dòng)注釋的方法。具體 地，可以執(zhí)行自動(dòng)內(nèi)容分析，其識(shí)別內(nèi)容項(xiàng)的特定對(duì)象或特性并且生 成關(guān)于該內(nèi)容的數(shù)據(jù)以反映所識(shí)別的特性。在例如美國(guó)專(zhuān)利申請(qǐng)US
2005/0114325或US 2005/00071865中可以找到這樣的自動(dòng)注釋系統(tǒng)的 示例，其中US 2005/0114325描述了通過(guò)圖像的自動(dòng)分析來(lái)生成數(shù)據(jù)， US 2005/00071865描述了一種系統(tǒng)，其中關(guān)于數(shù)字內(nèi)容的數(shù)據(jù)可以自 動(dòng)生成并且隨后可由用戶(hù)修改。在例如可自http: www.acemedia.org/aceMedia/files/document/aceMedia-Annual-public-rep ort-2005.pd成得的aceMedia的2005年年度公報(bào)和于2005年4月13 日-15 日在瑞士在Montreux進(jìn)行的Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS 2005)以N. Voisine, S. Dasiopoulou, V.Mezaris, E. Spyrou, T. Athanasiadis, I. Kompatsiaris, Y. Avrithis， M. G. Strintzis名義白勺"Knowledge-Assisted Video Analysis Using a Genetic Algorithm"中提供了自動(dòng)注釋的其他示例。
然而，當(dāng)前方法的問(wèn)題在于它們往往生成次最優(yōu)的注釋和/或是耗 時(shí)的和資源要求過(guò)分的。例如，對(duì)于上文描述的aceMedia系統(tǒng)，個(gè)人 計(jì)算機(jī)上的0.5兆像素圖像的注釋當(dāng)前耗用約2分鐘(對(duì)于具有約 500MB存儲(chǔ)器的奔騰P4 2.8GHz系統(tǒng)來(lái)說(shuō))。
這在許多情況中是非常不實(shí)用的。例如，具有未注釋內(nèi)容項(xiàng)的大 量檔案的內(nèi)容所有者須在所有內(nèi)容項(xiàng)被注釋之前忍受過(guò)長(zhǎng)的延遲。而 且，所描述的方法趨向于生成關(guān)于每個(gè)內(nèi)容項(xiàng)的大量的數(shù)據(jù)，這進(jìn)一 步使搜索、存儲(chǔ)和分送復(fù)雜化。
因此， 一種改進(jìn)的內(nèi)容項(xiàng)注釋系統(tǒng)將是有利的，并且特別地，一種允許增加的靈活性、改進(jìn)的用戶(hù)體驗(yàn)、易化的搜索、減少的復(fù)雜度、 改進(jìn)的注釋、減少的資源要求、減少的處理時(shí)間和/或改進(jìn)的性能的系 統(tǒng)將是有利的。

發(fā)明內(nèi)容
因此，本發(fā)明尋求優(yōu)選地單獨(dú)地或以任何組合緩解、減輕或消除 一個(gè)或多個(gè)上文提及的缺點(diǎn)。
根據(jù)本發(fā)明的第一方面，提供了一種用于內(nèi)容項(xiàng)注釋的設(shè)備，該 設(shè)備包括用于從第一本體生成簡(jiǎn)化本體的裝置，該簡(jiǎn)化本體包括該 第一本體的概念的子集；用于通過(guò)基于該簡(jiǎn)化本體的內(nèi)容分析來(lái)確定
關(guān)于內(nèi)容項(xiàng)的第一注釋數(shù)據(jù)的裝置；用于監(jiān)視該第一注釋數(shù)據(jù)的使用 的監(jiān)視裝置；用于確定該第一注釋數(shù)據(jù)的使用是否滿(mǎn)足第一準(zhǔn)則的準(zhǔn) 則裝置；修改裝置，如果該第一注釋數(shù)據(jù)的使用不滿(mǎn)足該第一準(zhǔn)則， 用于從該第一本體生成第二本體，并且響應(yīng)于基于該第二本體的內(nèi)容 分析來(lái)修改該第一注釋數(shù)據(jù)。
本發(fā)明允許改進(jìn)的和/或易化的內(nèi)容項(xiàng)注釋。特別地，本發(fā)明允許 逐步地和自動(dòng)地將內(nèi)容注釋提煉到充分用于注釋信息的使用的水平。 本發(fā)明可以將所生成的關(guān)于內(nèi)容項(xiàng)的數(shù)據(jù)量減少到充分的水平并且特 別地，可以消除或減輕對(duì)全面分析的需要。本發(fā)明可以允許減少的處 理時(shí)間和用于注釋內(nèi)容項(xiàng)的資源要求。
本發(fā)明可以允許內(nèi)容項(xiàng)(多個(gè))的注釋(多個(gè))自動(dòng)適配(adaptation) 到特定的特性和其中使用該內(nèi)容項(xiàng)的注釋的系統(tǒng)環(huán)境。具體地，內(nèi)容 項(xiàng)注釋可被限制為簡(jiǎn)化注釋?zhuān)切枰娴淖⑨?。適配到特定的要 求可以自動(dòng)地實(shí)現(xiàn)并且不需要任何用戶(hù)參與。
第二本體可以包括比簡(jiǎn)化本體多的概念和/或可以是包括多個(gè)不 同的域本體的組合本體。該設(shè)備可被設(shè)置為迭代監(jiān)視第一注釋數(shù)據(jù)的使用的過(guò)程；確定第 一注釋數(shù)據(jù)的使用是否滿(mǎn)足第一準(zhǔn)則；以及，如果第一注釋數(shù)據(jù)的使 用不滿(mǎn)足第一準(zhǔn)則，則從第一本體生成新本體并且響應(yīng)于基于該新本 體的內(nèi)容分析來(lái)修改第一注釋數(shù)據(jù)。每個(gè)新本體可以對(duì)應(yīng)于第一本體 的較大的子集，例如所包括的具有增加數(shù)目的概念。
注釋數(shù)據(jù)可以是描述內(nèi)容項(xiàng)的任何類(lèi)型的數(shù)據(jù)。例如，注釋數(shù)據(jù) 可以是元數(shù)據(jù)(關(guān)于數(shù)據(jù)的數(shù)據(jù))和/或可以例如，包括自由文本術(shù)語(yǔ) 和數(shù)字?jǐn)?shù)據(jù)。
根據(jù)本發(fā)明的可選特征，用于生成簡(jiǎn)化本體的裝置被進(jìn)一步設(shè)置 為生成關(guān)于概念子集的第一內(nèi)容描述數(shù)據(jù)并且其中內(nèi)容分析響應(yīng)該第 一內(nèi)容描述數(shù)據(jù)。
這可以允許改進(jìn)和/或易化以簡(jiǎn)化本體的特性為目標(biāo)的內(nèi)容分析 并且可以允許改進(jìn)的注釋和/或可以允許減少的處理時(shí)間和用于注釋內(nèi) 容項(xiàng)的資源要求。該第一內(nèi)容描述數(shù)據(jù)可以具體地是關(guān)于簡(jiǎn)化本體的 概念的原型實(shí)例的描述數(shù)據(jù)。
根據(jù)本發(fā)明的可選特征，修改裝置被設(shè)置為生成關(guān)于第二本體的 概念的第二內(nèi)容描述數(shù)據(jù)，并且其中基于第二本體的內(nèi)容分析進(jìn)一步 響應(yīng)該第二內(nèi)容描述數(shù)據(jù)。
這可以允許改進(jìn)和/或易化以第二本體的特性為目標(biāo)的內(nèi)容分析 并且可以允許改進(jìn)的注釋和/或可以允許減少的處理時(shí)間和用于注釋內(nèi) 容項(xiàng)的資源要求。該第二內(nèi)容描述數(shù)據(jù)可以具體地是關(guān)于第二本體的 概念的原型實(shí)例的描述數(shù)據(jù)。
根據(jù)本發(fā)明的可選特征，該設(shè)備進(jìn)一步包括用于存儲(chǔ)多個(gè)注釋內(nèi)容項(xiàng)的裝置；用于響應(yīng)于基于第一本體的搜索數(shù)據(jù)來(lái)搜索多個(gè)內(nèi)容 項(xiàng)的裝置；和用于響應(yīng)于搜索數(shù)據(jù)和第一注釋數(shù)據(jù)之間的匹配來(lái)識(shí)別
該第一內(nèi)容項(xiàng)的裝置。
用于識(shí)別的裝置可被設(shè)置為響應(yīng)匹配準(zhǔn)則來(lái)確定搜索數(shù)據(jù)與第一 注釋數(shù)據(jù)匹配?？梢允褂萌魏芜m當(dāng)?shù)钠ヅ錅?zhǔn)則。本發(fā)明可以允許一種 用于內(nèi)容項(xiàng)的搜索系統(tǒng)，該系統(tǒng)基于注釋內(nèi)容項(xiàng)，同時(shí)限制這樣的搜 索和/或注釋過(guò)程所需的資源。
根據(jù)本發(fā)明的可選特征，第一準(zhǔn)則包括對(duì)響應(yīng)于搜索而識(shí)別第一 內(nèi)容項(xiàng)的次數(shù)的評(píng)估。
在許多實(shí)施例中，這樣的準(zhǔn)則可以提供用于使注釋行為適配到系 統(tǒng)的特定要求的特別有利的準(zhǔn)則。
根據(jù)本發(fā)明的可選特征，該第一準(zhǔn)則包括對(duì)通過(guò)識(shí)別第一內(nèi)容項(xiàng) 的搜索而識(shí)別的其他內(nèi)容項(xiàng)的數(shù)目的評(píng)估。
在許多實(shí)施例中，這樣的準(zhǔn)則可以提供用于使注釋行為適配到系 統(tǒng)的特定要求的特別有利的準(zhǔn)則。
根據(jù)本發(fā)明的可選特征，用于識(shí)別第一內(nèi)容項(xiàng)的裝置被設(shè)置為生
成關(guān)于第一內(nèi)容項(xiàng)與搜索數(shù)據(jù)的匹配接近程度的匹配指示；并且該第 一準(zhǔn)則包括對(duì)該匹配指示的評(píng)估。
在許多實(shí)施例中，這樣的準(zhǔn)則可以提供用于使注釋行為適配到系 統(tǒng)的特定要求的特別有利的準(zhǔn)則。
根據(jù)本發(fā)明的可選特征，該設(shè)備進(jìn)一步包括用于將通過(guò)搜索而 識(shí)別的內(nèi)容項(xiàng)的指示呈現(xiàn)給該設(shè)備的用戶(hù)的裝置；用于接收至少一個(gè)
9內(nèi)容項(xiàng)的用戶(hù)選擇的裝置；并且其中該第一準(zhǔn)則包括對(duì)用戶(hù)選擇該第 一內(nèi)容項(xiàng)的次數(shù)的評(píng)估。
在許多實(shí)施例中，這樣的準(zhǔn)則可以提供用于使注釋行為適配到系 統(tǒng)的特定要求的特別有利的準(zhǔn)則。特別地，其可以允許到用戶(hù)偏好的 高效適配，同時(shí)保持用戶(hù)友好體驗(yàn)。
根據(jù)本發(fā)明的可選特征，該設(shè)備進(jìn)一步包括用于確定關(guān)于多個(gè)內(nèi) 容項(xiàng)的注釋水平的注釋指示的裝置，并且其中該第一準(zhǔn)則包括對(duì)該注 釋指示的評(píng)估。
在許多實(shí)施例中，這樣的準(zhǔn)則可以提供用于使注釋行為適配到系 統(tǒng)的特定要求的特別有利的準(zhǔn)則。
根據(jù)本發(fā)明的可選特征，該設(shè)備進(jìn)一步包括用于響應(yīng)于用戶(hù)輸入 從簡(jiǎn)化本體的概念子集中選擇概念的裝置。
這可以允許改進(jìn)的和/或易化的內(nèi)容項(xiàng)注釋。特別地，其可以允許 第一注釋數(shù)據(jù)的改進(jìn)的適配，由此減少需要進(jìn)一步注釋的概率。
根據(jù)本發(fā)明的可選特征，該設(shè)備進(jìn)一步包括用于響應(yīng)于第一本體 的概念的使用頻率從簡(jiǎn)化本體的概念子集中選擇概念的裝置。
這可以允許改進(jìn)的和/或易化的內(nèi)容項(xiàng)注釋。特別地，其可以允許 第一注釋數(shù)據(jù)的改進(jìn)的適配，由此減少需要進(jìn)一步注釋的概率。
根據(jù)本發(fā)明的另一方面，提供了一種內(nèi)容項(xiàng)注釋方法，該方法包 括從第一本體生成簡(jiǎn)化本體，該簡(jiǎn)化本體包括該第一本體的概念的 子集；通過(guò)基于該簡(jiǎn)化本體的內(nèi)容分析來(lái)確定關(guān)于內(nèi)容項(xiàng)的第一注釋 數(shù)據(jù)；監(jiān)視該第一注釋數(shù)據(jù)的使用；確定該第一注釋數(shù)據(jù)的使用是否
10滿(mǎn)足第一準(zhǔn)則；以及，如果該第一注釋數(shù)據(jù)的使用不滿(mǎn)足該第一準(zhǔn)則， 則從該第一本體生成第二本體，并且響應(yīng)于基于該第二本體的內(nèi)容分 析來(lái)修改該第一注釋數(shù)據(jù)。
通過(guò)參考后面描述的實(shí)施例(多個(gè))，本發(fā)明的這些和其他方面、 特征和優(yōu)點(diǎn)將是明顯的并且得到闡明。


將參考附圖僅作為示例來(lái)描述本發(fā)明的實(shí)施例，其中
圖l是根據(jù)本發(fā)明的某些實(shí)施例的內(nèi)容項(xiàng)服務(wù)器的說(shuō)明；并且
圖2是根據(jù)本發(fā)明的某些實(shí)施例的內(nèi)容項(xiàng)注釋方法的說(shuō)明。
具體實(shí)施例方式
下面的描述集中于本發(fā)明的這樣的實(shí)施例，其可應(yīng)用于諸如圖片 或視頻剪輯之類(lèi)的可視內(nèi)容項(xiàng)的語(yǔ)義注釋和搜索。而且，在所描述的 示例中，可以完全自動(dòng)地執(zhí)行注釋。然而，將認(rèn)識(shí)到，本發(fā)明不限于 該應(yīng)用。
所描述的用于注釋的系統(tǒng)使用兩級(jí)(或更多級(jí))注釋過(guò)程。在最 初時(shí)，基于簡(jiǎn)化本體和內(nèi)容描述符的簡(jiǎn)化集合來(lái)執(zhí)行一個(gè)或多個(gè)內(nèi)容 項(xiàng)的內(nèi)容分析和注釋。這允許快速的和低資源的注釋并且導(dǎo)致了較小 的數(shù)據(jù)集合。隨后，當(dāng)數(shù)據(jù)被使用時(shí)(例如通過(guò)搜索或其他端用戶(hù)操 作)，監(jiān)視該使用并且該系統(tǒng)基于該使用確定該數(shù)據(jù)集合是否是足夠 的。如果根據(jù)適當(dāng)?shù)臏?zhǔn)則確定該注釋是不充分的，則使用擴(kuò)展本體和 較大的內(nèi)容描述符的集合重復(fù)該內(nèi)容分析和注釋。這可以提供額外的 和更多的準(zhǔn)確注釋?zhuān)且部赡芎挠酶L(zhǎng)的時(shí)間并且是更加資源密集 的。然而，該額外的時(shí)間和資源僅花費(fèi)在具體需要的時(shí)候。該過(guò)程可 以迭代許多次并且具體地可以連續(xù)迭代。因此，可以實(shí)現(xiàn)完全的反饋 環(huán)路，該環(huán)路繼續(xù)修改本體、執(zhí)行分析、注釋內(nèi)容項(xiàng)、監(jiān)視使用、擴(kuò) 展本體用于注釋、使用新本體重新分析、向注釋添加數(shù)據(jù)、再次監(jiān)視使用、再次擴(kuò)展本體等等。因此，該方法可以允許逐步地和有目標(biāo)的 提煉內(nèi)容項(xiàng)的集合的注釋?zhuān)渲刑峁╊~外的數(shù)據(jù)的資源的目標(biāo)在于最 需要的內(nèi)容項(xiàng)和本體。
內(nèi)容分析和注釋基于關(guān)于正被注釋的內(nèi)容項(xiàng)的本體的使用。本體 是所關(guān)注的某個(gè)域的共用理解。特別地，本體提供參考架構(gòu)和關(guān)于多 種概念及其之間的關(guān)系的定義，該定義可以是知識(shí)的一般表述，并且 本體還可以是特定域?qū)Ｓ玫?。本體中的概念可以是域的物理(具體) 對(duì)象(海灘圖像域中的海洋)或者抽象對(duì)象(海灘圖像域中的天氣)。 概念由概念的實(shí)例表示。在本體中可以表示給定概念的許多個(gè)不同的
屬性(參數(shù)和特性)。因此，對(duì)于在應(yīng)用和網(wǎng)絡(luò)服務(wù)(web service)之 間共享的所定義的本體，不同的應(yīng)用和網(wǎng)絡(luò)服務(wù)可以通過(guò)使用所定義 的本體交換關(guān)于對(duì)象(具體或抽象)的特性的信息。這允許網(wǎng)絡(luò)服務(wù) 和應(yīng)用準(zhǔn)確地和有效地交換信息，而不需要在設(shè)計(jì)網(wǎng)絡(luò)服務(wù)和應(yīng)用時(shí) 預(yù)先定義該對(duì)象。因此本體用于共享關(guān)于信息含義的一致理解并且還 允許知識(shí)被重新用作關(guān)于不同的網(wǎng)絡(luò)服務(wù)和應(yīng)用的公共參考。
在具體的示例中，通過(guò)自動(dòng)注釋可以生成導(dǎo)致關(guān)于內(nèi)容的數(shù)據(jù)的 本體驅(qū)動(dòng)分析，并且用戶(hù)應(yīng)用可以例如，按照本體指定搜索數(shù)據(jù)，由 此促進(jìn)用戶(hù)應(yīng)用和系統(tǒng)之間的對(duì)接。
圖1說(shuō)明了根據(jù)本發(fā)明的某些實(shí)施例的內(nèi)容項(xiàng)服務(wù)器的示例。該 內(nèi)容項(xiàng)服務(wù)器包括用于自動(dòng)地和自適應(yīng)地注釋內(nèi)容項(xiàng)的功能和用于使 用該注釋搜索內(nèi)容項(xiàng)的功能。該注釋和搜索操作是基于本體的。
具體地，內(nèi)容項(xiàng)服務(wù)器包括內(nèi)容項(xiàng)存儲(chǔ)器101，該內(nèi)容項(xiàng)存儲(chǔ)器 IOI存儲(chǔ)大量的內(nèi)容項(xiàng)，并且在具體的示例中，該內(nèi)容項(xiàng)存儲(chǔ)器101存 儲(chǔ)大量的視頻剪輯和數(shù)字圖像。下面的描述將集中于其中在最初時(shí)沒(méi) 有注釋內(nèi)容項(xiàng)的情況，但是將認(rèn)識(shí)到，所描述的原理同樣適用于其中 某些或所有內(nèi)容項(xiàng)具有某些注釋的情況。例如，所描述的注釋過(guò)程可以?xún)H應(yīng)用于這樣的新內(nèi)容項(xiàng)，該新內(nèi)容項(xiàng)在不具有任何注釋或者具有 不充分的注釋的情況下被接收。
內(nèi)容項(xiàng)服務(wù)器進(jìn)一步包括本體處理器103，其耦合到本體數(shù)據(jù)存
儲(chǔ)器105。該本體數(shù)據(jù)存儲(chǔ)器105包括關(guān)于內(nèi)容項(xiàng)的一個(gè)或多個(gè)本體。 在該示例中，本體數(shù)據(jù)存儲(chǔ)器105包括與不同的可視域相關(guān)聯(lián)的許多 個(gè)本體。例如，本體數(shù)據(jù)存儲(chǔ)器105可以包括關(guān)于海灘圖像或視頻剪 輯的本體、關(guān)于網(wǎng)球圖像或視頻剪輯的本體、關(guān)于面孔圖像或視頻剪 輯的本體等，每個(gè)本體包括與圖像和視頻相關(guān)的許多個(gè)通用概念(諸 如可視特征、空間和時(shí)間概念)以及適用于自然和人造域的范圍的核
心概念(諸如地理特征、建筑環(huán)境對(duì)象、和植物/動(dòng)物)的定義。還將 存儲(chǔ)與本體的域相關(guān)聯(lián)的概念以及該概念之間的關(guān)系。例如，海灘本
體可以定義包括諸如海洋、沙灘、天空、陽(yáng)光、天氣、人、道路、車(chē) 輛等概念的數(shù)據(jù)結(jié)構(gòu)，以及這些概念之間的關(guān)系，諸如例如"沙灘是 海灘的一部分"。
例如，在該示例中，本體數(shù)據(jù)存儲(chǔ)器105還包括與該本體定義的 概念實(shí)例相關(guān)聯(lián)的內(nèi)容描述數(shù)據(jù)。具體地，對(duì)于本體的至少某些概念， 本體數(shù)據(jù)存儲(chǔ)器105包括描述與屬于不同概念的原型圖像對(duì)象相關(guān)聯(lián) 的特性和屬性的數(shù)據(jù)。例如，對(duì)于海灘本體的海洋概念，可以存儲(chǔ)描 述海洋圖像的原型色彩和質(zhì)地的內(nèi)容描述數(shù)據(jù)。
本體處理器103耦合到分析處理器107，分析處理器107進(jìn)一步 耦合到注釋處理器109。分析處理器107和注釋處理器109進(jìn)一步耦合 到內(nèi)容項(xiàng)存儲(chǔ)器101。
當(dāng)內(nèi)容項(xiàng)服務(wù)器發(fā)起內(nèi)容項(xiàng)的自動(dòng)注釋時(shí)，本體處理器107從本 體數(shù)據(jù)存儲(chǔ)器105中檢索本體。例如，基于內(nèi)容項(xiàng)的內(nèi)容的初始信息， 具體地可以將該本體選擇為對(duì)應(yīng)于該內(nèi)容項(xiàng)的本體。例如，已知圖像 可以潛在地與海灘情況相關(guān)，并且因此可以從本體數(shù)據(jù)存儲(chǔ)器105中檢索海灘本體。在其他情況中，可以基于用戶(hù)輸入或者可以基于初始 粗糙內(nèi)容分析來(lái)確定最適合的本體。例如，在開(kāi)始注釋之前，用戶(hù)可 以手動(dòng)地將內(nèi)容項(xiàng)存儲(chǔ)器101的內(nèi)容項(xiàng)設(shè)置到域組中(例如， 一個(gè)目 錄可以包括海灘圖像/視頻剪輯、另一面孔圖像/視頻剪輯等)。
除了檢索本體之外，本體處理器103還接收已被存儲(chǔ)的關(guān)于本體 中定義的原型實(shí)例的內(nèi)容描述數(shù)據(jù)。
本體處理器103繼續(xù)生成在最初時(shí)用于內(nèi)容項(xiàng)的分析和注釋的簡(jiǎn)
化本體。具體地，本體處理器103從第一本體選擇概念子集并且使用
由這些概念構(gòu)成的本體。例如，本體可以典型地包括數(shù)十個(gè)概念并且
本體處理器103可以假定選擇這些概念中的五個(gè)概念以驅(qū)動(dòng)關(guān)于初始
注釋的分析。因此，不同于嘗試生成關(guān)于本體的所有可能概念的數(shù)據(jù)， 初始注釋將僅試圖生成關(guān)于概念的較小子集的數(shù)據(jù)。
此外，本體處理器103選擇內(nèi)容描述數(shù)據(jù)的子集。具體地，選擇 屬于所選擇的概念的原型實(shí)例的內(nèi)容描述數(shù)據(jù)。
本體處理器103隨后將簡(jiǎn)化本體和所選擇的內(nèi)容描述數(shù)據(jù)饋送到 分析處理器107。
分析處理器107繼續(xù)基于簡(jiǎn)化本體和所選擇的內(nèi)容描述數(shù)據(jù)來(lái)執(zhí) 行內(nèi)容分析。
作為簡(jiǎn)單的示例，分析處理器107可以嘗試識(shí)別具有與內(nèi)容項(xiàng)描 述數(shù)據(jù)指示的特性相似的特性的圖片對(duì)象。例如，如果來(lái)自簡(jiǎn)化本體 的原型實(shí)例包括概念"海洋"，則內(nèi)容分析可以搜索數(shù)字圖像以尋找 滿(mǎn)足關(guān)于海洋對(duì)象的接收描述數(shù)據(jù)的圖片對(duì)象(例如，綠/藍(lán)色彩變化、 "天空"下面、"地面"上面等)。將認(rèn)識(shí)到，在實(shí)用系統(tǒng)中，將典型地使用更加復(fù)雜和精密的內(nèi)容 分析。這樣的分析算法是本領(lǐng)域的技術(shù)人員公知的，并且在不偏離本 發(fā)明的前提下，可以使用任何適當(dāng)?shù)膬?nèi)容分析方法。在于2004年11
月25-26日在英國(guó)倫敦進(jìn)行的European workshop for the Integration of Knowledge, Semantics and Digital Media Technology, EWIMT中以J. Stauder, J. Sirot， H. Le Bonge, E. Cooke and N.E. O'Connor名義提出的 "Relating Visual And Semantic Image Descriptors"中可以找到可適用于 圖1的內(nèi)容項(xiàng)服務(wù)器的更加高級(jí)的內(nèi)容分析的示例。
內(nèi)容分析的結(jié)果被饋送到注釋處理器109，注釋處理器109繼續(xù) 基于內(nèi)容分析和簡(jiǎn)化本體生成關(guān)于內(nèi)容項(xiàng)的語(yǔ)義數(shù)據(jù)。具體地，注釋 處理器109可以生成根據(jù)簡(jiǎn)化本體構(gòu)造(并且因此還可以根據(jù)原始的 完整本體構(gòu)造)的數(shù)據(jù)對(duì)象。因此生成了包含關(guān)于簡(jiǎn)化本體的一個(gè)或 多個(gè)概念子集的語(yǔ)義數(shù)據(jù)的數(shù)據(jù)對(duì)象。
作為簡(jiǎn)單的示例，如果內(nèi)容分析識(shí)別到對(duì)應(yīng)于一個(gè)概念的圖像對(duì) 象，則注釋處理器109可以在結(jié)構(gòu)中包括描述該概念的存在以及該對(duì) 象的進(jìn)一步的細(xì)節(jié)的數(shù)據(jù)元素。
注釋處理器109隨后將注釋數(shù)據(jù)對(duì)象和內(nèi)容項(xiàng)存儲(chǔ)在內(nèi)容項(xiàng)存儲(chǔ) 器101中，由此使其可用于各種用戶(hù)應(yīng)用。
由于僅針對(duì)關(guān)于內(nèi)容項(xiàng)的底層本體的較小概念子集來(lái)執(zhí)行內(nèi)容分 析和注釋?zhuān)虼丝梢詫?shí)現(xiàn)資源要求的實(shí)質(zhì)減少。具體地，可以實(shí)現(xiàn)更 快速的內(nèi)容項(xiàng)的注釋。這在注釋內(nèi)容項(xiàng)時(shí)提供了更加減少的等待時(shí)間， 并且具體地允許使用相對(duì)低的計(jì)算資源的大內(nèi)容項(xiàng)庫(kù)的實(shí)用注釋。在 特定的示例中，內(nèi)容項(xiàng)服務(wù)器繼續(xù)使用簡(jiǎn)化本體來(lái)注釋內(nèi)容項(xiàng)存儲(chǔ)器 101中存儲(chǔ)的所有內(nèi)容項(xiàng)。將認(rèn)識(shí)到，對(duì)于不同的內(nèi)容項(xiàng)，所使用的基 礎(chǔ)本體和/或本體處理器103生成的簡(jiǎn)化本體可以是不同的。
15內(nèi)容項(xiàng)服務(wù)器進(jìn)一步被設(shè)置為監(jiān)視所生成的注釋數(shù)據(jù)的使用并且 可以具體地監(jiān)視任何注釋數(shù)據(jù)是否呈現(xiàn)為不充分的。在該情況中，使 用比初始的簡(jiǎn)化本體大的本體執(zhí)行內(nèi)容分析和注釋的另一次迭代，由 此導(dǎo)致生成更多的(和/或更準(zhǔn)確的)數(shù)據(jù)。
在特定的示例中，內(nèi)容項(xiàng)服務(wù)器可以從外部用戶(hù)應(yīng)用接收搜索請(qǐng) 求，并且可以響應(yīng)該搜索來(lái)識(shí)別內(nèi)容項(xiàng)。具體地，內(nèi)容項(xiàng)服務(wù)器包括 耦合到內(nèi)容項(xiàng)存儲(chǔ)器101和用戶(hù)應(yīng)用接口 113的搜索處理器111。用戶(hù) 應(yīng)用接口 113可以接收來(lái)自用戶(hù)應(yīng)用的搜索請(qǐng)求，該用戶(hù)應(yīng)用可以在 內(nèi)容項(xiàng)服務(wù)器外部或內(nèi)部。例如，用戶(hù)應(yīng)用可以是向用戶(hù)提供手動(dòng)接 口的簡(jiǎn)單的用戶(hù)接口應(yīng)用。于是用戶(hù)可以通過(guò)用戶(hù)接口應(yīng)用明確輸入 搜索串，該搜索串被饋送到用戶(hù)應(yīng)用接口 113。作為另一示例，用戶(hù)應(yīng)
用可以是通過(guò)諸如例如因特網(wǎng)與用戶(hù)應(yīng)用接口 113通信的遠(yuǎn)程應(yīng)用。
該遠(yuǎn)程用戶(hù)應(yīng)用可以例如是多媒體播放應(yīng)用。
接收的搜索數(shù)據(jù)將典型地根據(jù)關(guān)于所需內(nèi)容項(xiàng)(多個(gè))的本體而
被構(gòu)造。然而，在某些實(shí)施例中，用戶(hù)應(yīng)用接口 113可以將自用戶(hù)應(yīng)
用的接收到的搜索數(shù)據(jù)從另一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為與該本體匹配的數(shù)據(jù)結(jié) 構(gòu)。
搜索處理器111隨后繼續(xù)通過(guò)內(nèi)容項(xiàng)存儲(chǔ)器101中存儲(chǔ)的注釋數(shù)
據(jù)進(jìn)行搜索。具體地，搜索處理器111將搜索數(shù)據(jù)的獨(dú)立指定的概念 與該數(shù)據(jù)的概念進(jìn)行比較，以尋找任何匹配的內(nèi)容項(xiàng)。將認(rèn)識(shí)到，任 何適當(dāng)?shù)钠ヅ錅?zhǔn)則可用于確定關(guān)于內(nèi)容項(xiàng)的注釋數(shù)據(jù)是否與搜索數(shù)據(jù) 匹配。
搜索處理器111向用戶(hù)應(yīng)用接口 113提供與搜索數(shù)據(jù)匹配的內(nèi)容 項(xiàng)的識(shí)別，用戶(hù)應(yīng)用接口 113隨后將該列表轉(zhuǎn)發(fā)到用戶(hù)應(yīng)用。用戶(hù)應(yīng) 用隨后可以通過(guò)從所提供的列表中進(jìn)行選擇來(lái)請(qǐng)求來(lái)自?xún)?nèi)容項(xiàng)服務(wù)器 的特定內(nèi)容項(xiàng)，并且響應(yīng)該特定請(qǐng)求，內(nèi)容項(xiàng)服務(wù)器可以傳送所選擇
16的內(nèi)容項(xiàng)。
由于注釋不如使用完整本體來(lái)驅(qū)動(dòng)分析過(guò)程時(shí)可用的注釋豐富， 因此搜索過(guò)程被易化并且可以更快速地執(zhí)行。然而，減少的數(shù)據(jù)量還 可能導(dǎo)致低于最優(yōu)的搜索準(zhǔn)確性。例如，相對(duì)少的概念可能導(dǎo)致搜索 數(shù)據(jù)與大量的內(nèi)容項(xiàng)匹配，由此使得該搜索對(duì)于用戶(hù)是不實(shí)用的。而 且，即使提供了更加詳細(xì)的搜索數(shù)據(jù)，也未必改進(jìn)搜索準(zhǔn)確性，這是 因?yàn)楸凰阉鞯淖⑨寯?shù)據(jù)可能沒(méi)有被相應(yīng)地詳化。
因此，內(nèi)容項(xiàng)服務(wù)器包括監(jiān)視注釋數(shù)據(jù)的使用的監(jiān)視處理器115。 在特定的示例中，監(jiān)視處理器115監(jiān)視搜索數(shù)據(jù)和搜索結(jié)果以確定當(dāng) 前數(shù)據(jù)是否足以提供所需服務(wù)。具體地，監(jiān)視處理器115可以監(jiān)視所 找到的關(guān)于獨(dú)立搜索的匹配數(shù)目。
監(jiān)視處理器115耦合到確定注釋數(shù)據(jù)的使用是否滿(mǎn)足給定的準(zhǔn)則 的準(zhǔn)則處理器117。該準(zhǔn)則被選擇為提供當(dāng)前注釋數(shù)據(jù)是否充分的估 計(jì)。將認(rèn)識(shí)到，所使用的精確準(zhǔn)則取決于獨(dú)立實(shí)施例和應(yīng)用的需求以 及獨(dú)立偏好。
作為簡(jiǎn)單的示例，準(zhǔn)則處理器117可以確定搜索是否提供了合理 的匹配數(shù)目。例如，如果找到過(guò)多的匹配，則這指示該數(shù)據(jù)不是充分 準(zhǔn)確的，不能用于識(shí)別最適當(dāng)?shù)膬?nèi)容項(xiàng)，并且如果找到過(guò)少的匹配， 則這指示該數(shù)據(jù)不包含用于匹配足夠搜索的足夠概念。
準(zhǔn)則處理器117耦合到本體處理器103。如果準(zhǔn)則處理器117確 定注釋數(shù)據(jù)是不充分的，則其控制本體處理器103生成第二本體。對(duì) 于給定的內(nèi)容項(xiàng)，第二本體基于與簡(jiǎn)化本體相同的底層本體。然而， 與簡(jiǎn)化本體相比，第二本體被選擇為導(dǎo)致生成更多的數(shù)據(jù)(例如，始 發(fā)本體的修剪不如第一情況中的嚴(yán)重)。具體地，第二本體可以對(duì)應(yīng) 于第一本體但是具有選自基礎(chǔ)始發(fā)本體的添加數(shù)目的概念。例如，如田.笛_^熟乂l/ 士yNrh A:tr A站f^v rmlTTTIW + dV為會(huì)1 ; y^站iC^ 6A笛一 士乂士
作為另一示例，盡管簡(jiǎn)化本體典型地基于單個(gè)域本體，但是第二 本體可以額外包括選自另一本體的概念。例如，用于分析數(shù)字圖像的 第二本體可以包括來(lái)自海灘域本體和面孔域本體的概念。
除了第二本體之外，本體處理器103還在擴(kuò)展本體中檢索與原型 實(shí)例匹配的額外的內(nèi)容描述數(shù)據(jù)。例如，準(zhǔn)則處理器103可以檢索在 第二本體中包括的、關(guān)于原型額外概念的內(nèi)容描述數(shù)據(jù)。
第二本體和額外的內(nèi)容描述數(shù)據(jù)被饋送到分析處理器107，分析 處理器107繼續(xù)基于該內(nèi)容描述數(shù)據(jù)來(lái)執(zhí)行新的內(nèi)容分析。結(jié)果被饋 送到注釋處理器109，注釋處理器109繼續(xù)生成關(guān)于新概念的語(yǔ)義數(shù)據(jù)。
具體地，注釋處理器109可以生成與新概念相關(guān)的數(shù)據(jù)并且可以 將數(shù)據(jù)添加到已存儲(chǔ)的關(guān)于內(nèi)容項(xiàng)的注釋數(shù)據(jù)對(duì)象。將認(rèn)識(shí)到，在某 些實(shí)施例中，可以生成新的數(shù)據(jù)對(duì)象，該數(shù)據(jù)對(duì)象可被添加到原始數(shù) 據(jù)對(duì)象或者替換原始數(shù)據(jù)對(duì)象。
將認(rèn)識(shí)到，在某些實(shí)施例中，所描述的操作被迭代許多次和/或被 連續(xù)迭代。例如，監(jiān)視處理器115可以繼續(xù)監(jiān)視注釋數(shù)據(jù)的使用，并 且無(wú)論何時(shí)當(dāng)準(zhǔn)則處理器17確定關(guān)于內(nèi)容項(xiàng)(或者內(nèi)容項(xiàng)組)的注釋 數(shù)據(jù)不充分時(shí)，可以發(fā)起新的迭代，其中本體處理器103在前一次迭 代的本體的基礎(chǔ)上生成新的本體(例如，通過(guò)將來(lái)自底層本體的更多 的概念添加到前一次迭代的本體)。分析處理器107和注釋處理器109 隨后繼續(xù)基于新的擴(kuò)展本體生成注釋數(shù)據(jù)，由此生成可被添加到所存 儲(chǔ)的關(guān)于該內(nèi)容項(xiàng)(多個(gè))的注釋數(shù)據(jù)對(duì)象(多個(gè))的額外的注釋數(shù) 據(jù)。
因此，內(nèi)容項(xiàng)服務(wù)器允許快速的和低資源要求的初始注釋?zhuān)摮魽厶、Vh豕又士曰./4f 7 、rf /1、 iVi乂口旦鵬敏TTT m 1^*被 4古Hh免日B夂膽二丑一* A ^Vn
自動(dòng)改進(jìn)被視為不充分的注釋。因此以有目標(biāo)的和自適應(yīng)的方法自動(dòng) 地使用資源，該方法允許在最需要的情況下使用資源以改進(jìn)性能。
例如，可以在內(nèi)容所有者確定的時(shí)段內(nèi)監(jiān)視初始注釋。這可以是 固定的時(shí)間段(例如，小時(shí)、天、周)或者內(nèi)容使用次數(shù)(例如，io、
100、 1000次使用)。如果根據(jù)所應(yīng)有的準(zhǔn)則，注釋被視為充分的(正
確和完整的)，則不需要針對(duì)該部分系統(tǒng)或內(nèi)容所有者的進(jìn)一步動(dòng)作。
而且，內(nèi)容項(xiàng)服務(wù)器可以繼續(xù)監(jiān)視使用并且可以自動(dòng)地繼續(xù)改進(jìn) 不充分的內(nèi)容項(xiàng)注釋。因此，如果注釋數(shù)據(jù)的第二次更新不滿(mǎn)足準(zhǔn)則， 則可以生成另一個(gè)更加擴(kuò)展的本體并且可以使用該本體生成進(jìn)一步的 注釋數(shù)據(jù)。因此可以連續(xù)地迭代生成新本體、執(zhí)行內(nèi)容分析和生成數(shù) 據(jù)的過(guò)程，直至滿(mǎn)足準(zhǔn)則。
而且，在某些實(shí)施例中，準(zhǔn)則可以隨時(shí)間改變。例如，對(duì)于初始 注釋和操作，可以使用相對(duì)寬松的準(zhǔn)則。隨后，當(dāng)所有內(nèi)容項(xiàng)已被注 釋滿(mǎn)足該準(zhǔn)則時(shí)(并且因此用于注釋到該水平的計(jì)算資源被釋放)， 可以通過(guò)導(dǎo)致正生成的進(jìn)一步數(shù)據(jù)的更加嚴(yán)格的準(zhǔn)則來(lái)替換或增強(qiáng)該 準(zhǔn)則。因此，可以實(shí)現(xiàn)系統(tǒng)性能的逐步改進(jìn)，同時(shí)允許快速地初始化 到給定的性能水平。
將認(rèn)識(shí)到，準(zhǔn)則處理器117可以使用任何適當(dāng)?shù)臏?zhǔn)則來(lái)確定注釋 數(shù)據(jù)是否被視為充分的。
具體地，可以評(píng)估響應(yīng)于搜索而識(shí)別內(nèi)容項(xiàng)的次數(shù)和/或識(shí)別第一 內(nèi)容項(xiàng)的搜索所識(shí)別的其他內(nèi)容項(xiàng)的數(shù)目。
例如，可以評(píng)估將圖像或視頻內(nèi)容呈現(xiàn)給使用關(guān)鍵詞和/或示例區(qū) 域進(jìn)行搜索的用戶(hù)的頻繁程度。作為用戶(hù)發(fā)出的大量的查詢(xún)中的一部
19分，沒(méi)有呈現(xiàn)意味著該注釋可能是不精確的或者甚至是錯(cuò)誤的，并且 更好的注釋可能有助于在某些用戶(hù)查詢(xún)中找到圖像或視頻。這是否定 的響應(yīng)并且使用反饋環(huán)路改進(jìn)注釋將是有利的。
作為另一示例，可以評(píng)估將作為候選內(nèi)容的小集合的一部分(例 如，在返回的最高的20個(gè)項(xiàng)中)的圖像或視頻內(nèi)容呈現(xiàn)給使用關(guān)鍵詞 和/或示例區(qū)域進(jìn)行搜索(用于混合可視-語(yǔ)義搜索)的用戶(hù)的頻繁程度。 作為少量的返回項(xiàng)的一部分的呈現(xiàn)指示該注釋是足夠精確的，可用于 表示該圖像或視頻內(nèi)容。
另一示例是評(píng)估將作為候選內(nèi)容的大集合的一部分(例如，作為 返回的200個(gè)項(xiàng)中的一個(gè))的圖像或視頻內(nèi)容呈現(xiàn)給使用關(guān)鍵詞和/或 示例區(qū)域進(jìn)行搜索(用于混合可視-語(yǔ)義搜索)的用戶(hù)的頻繁程度。作 為大量的返回項(xiàng)的一部分的呈現(xiàn)指示該注釋可能是不精確的或者甚至 是錯(cuò)誤的。這是否定的響應(yīng)并且使用反饋環(huán)路改進(jìn)注釋將是有利的。
因此，準(zhǔn)則可以確定通過(guò)導(dǎo)致少于給定數(shù)目?jī)?nèi)容項(xiàng)的搜索串是否 足夠頻繁地找到該內(nèi)容項(xiàng)。
可替換地或者另外地，準(zhǔn)則可以評(píng)估第一內(nèi)容項(xiàng)與搜索數(shù)據(jù)的匹 配接近程度。搜索準(zhǔn)確性的評(píng)級(jí)可被確定并且可用于評(píng)估注釋數(shù)據(jù)是 否充分。
可替換地或者另外地，在用戶(hù)應(yīng)用可以從搜索結(jié)果中選擇內(nèi)容項(xiàng) 的實(shí)施例中，準(zhǔn)則可以包括對(duì)用戶(hù)應(yīng)用選擇第一內(nèi)容項(xiàng)的次數(shù)的評(píng)估。
例如，可以評(píng)估用戶(hù)接受提供給用戶(hù)的候選內(nèi)容集合中的圖像或 視頻內(nèi)容的頻繁程度，例如，內(nèi)容被購(gòu)買(mǎi)的頻繁程度或者在基于相關(guān) 性反饋的搜索中被選擇的頻繁程度。這是肯定響應(yīng)并且保持初始注釋 將是有利的。類(lèi)似地，可以評(píng)估用戶(hù)拒絕提供給用戶(hù)的候選內(nèi)容集合出6fi閱/負(fù)Hfi"ini4^frti勿66在Sf敏iSF6F 且不* mfn ±h A 乂擊m G姊:pr B夂;ifr .r u'j兇w wi兀，r;i甘w'j ，爾'i土/又。am tj/乂—i i人/rg/入w,r即w
進(jìn)注釋將是有利的。
可替換地或者另外地，準(zhǔn)則可以評(píng)估完全使用內(nèi)容的頻繁程度。 如果該內(nèi)容極少被選擇，則該內(nèi)容在市場(chǎng)中可能具有非常有限的吸引 力，并且將不保證任何進(jìn)一步的注釋。
可替換地或者另外地，準(zhǔn)則可以評(píng)估關(guān)于所注釋的內(nèi)容項(xiàng)的數(shù)據(jù) 注釋水平的注釋指示，并且該準(zhǔn)則可以包括該注釋指示的評(píng)估。具體
地，該準(zhǔn)則可以評(píng)估圖像或視頻的注釋在內(nèi)容項(xiàng)存儲(chǔ)器101中的密集
程度。如果該圖像或視頻具有作為具有相同注釋的圖像和視頻的大子 集的一部分的注釋?zhuān)瑒t這是否定響應(yīng)并且使用反饋環(huán)路改進(jìn)注釋將是 有利的。
該評(píng)估可以通過(guò)簡(jiǎn)單的方式被應(yīng)用，例如在選定的時(shí)間段之后， 如果找到比否定指示更多的肯定指示，則不需要進(jìn)一步的注釋(評(píng)估 可以被周期性地重復(fù))?？商鎿Q地或者另外地，可以應(yīng)用閾值，使得 如果出現(xiàn)選定數(shù)目的否定響應(yīng)，則執(zhí)行進(jìn)一步的注釋。
針對(duì)簡(jiǎn)化本體選擇的初始概念可以是預(yù)先確定的和/或用戶(hù)手動(dòng) 選擇的概念。然而，在某些實(shí)施例中，關(guān)于簡(jiǎn)化本體和/或關(guān)于后續(xù)本 體的概念的選擇可以基于系統(tǒng)使用，即可以構(gòu)建搜索中使用的概念的 歷史，并且最頻繁使用的概念可被識(shí)別為優(yōu)先概念，相對(duì)未頻繁出現(xiàn) 的其它概念，優(yōu)選地選擇該優(yōu)先概念用于本體。
作為所描述的系統(tǒng)的操作的示例，網(wǎng)球域本體可以例如，包含64 個(gè)概念，其中它們之間具有大量的關(guān)系(這是相對(duì)簡(jiǎn)單的本體，其他 的本體可以包含更多的概念和關(guān)系)。然而，用戶(hù)在尋找網(wǎng)球鏡頭時(shí)
趨向于搜索特定的運(yùn)動(dòng)員、地點(diǎn)和動(dòng)作，而場(chǎng)景中的呈現(xiàn)，例如特定 的裁判或球童通常不太相關(guān)。因此，通過(guò)在最初時(shí)將域本體減少以集中于6~8個(gè)概念，可以實(shí)現(xiàn)處理時(shí)間的實(shí)質(zhì)減少，同時(shí)仍提供將使用 戶(hù)滿(mǎn)意的搜索。
作為另一示例，針對(duì)具有超過(guò)100個(gè)圖片的數(shù)據(jù)庫(kù)的自動(dòng)注釋執(zhí)
行了仿真。根據(jù)Trekking域本體執(zhí)行注釋。為了簡(jiǎn)化，仿真集中于該 本體中的三個(gè)概念，即"戶(hù)外"、"山"和"雪"，它們之間具有如 下關(guān)系-
"雪"一>覆蓋一> "山" 一〉是"戶(hù)外"的子類(lèi)
步驟1.初始注釋。該數(shù)據(jù)庫(kù)包括在最初時(shí)僅通過(guò)"戶(hù)外"關(guān)鍵詞 注釋的許多圖片(約65個(gè))。當(dāng)執(zhí)行語(yǔ)義搜索時(shí)，這清楚地提供了在 圖像之間進(jìn)行選擇的少的信息。具體地，針對(duì)"由雪覆蓋的山"運(yùn)行 的搜索將不返回結(jié)果(由于沒(méi)有圖片被注釋到該詳細(xì)水平)或者返回 注釋有"戶(hù)外"的所有圖片(由于該系統(tǒng)發(fā)現(xiàn)最相似的注釋是"戶(hù)外"， "山"是其子類(lèi))。
步驟2.第一次注釋迭代。作為第一次迭代的一部分，將概念"山" 添加到本體。使用概念"山"注釋圖像的子集。該査詢(xún)?nèi)苑祷剡^(guò)多的 結(jié)果，即18個(gè)(不大的數(shù)目但是占數(shù)據(jù)庫(kù)的百分比高)，意味著它們 的特性描述被視為不充分的。
步驟3.第二次注釋迭代。在第二次迭代中，包括概念"雪"，該 概念通過(guò)"由...覆蓋"關(guān)系與"山"相關(guān)。此時(shí)，當(dāng)發(fā)出查詢(xún)時(shí)，僅 有3個(gè)圖片使用該概念來(lái)注釋并且被返回。該注釋被視為充分精確的， 可允許找到所需的內(nèi)容并且不執(zhí)行進(jìn)一步的迭代。
因此所描述的方法使用反饋環(huán)路過(guò)程用于圖像和視頻內(nèi)容的自注 釋?zhuān)撨^(guò)程并入了運(yùn)行時(shí)用戶(hù)可定義的用于確定是否重復(fù)/改進(jìn)分析或 接受當(dāng)前的注釋為足夠的規(guī)則。這允許以高效地方式使用例如視頻和 圖像內(nèi)容的自動(dòng)語(yǔ)義注釋?zhuān)撟詣?dòng)語(yǔ)義注釋使得這樣的工具對(duì)于大的內(nèi)容集合的所有者是現(xiàn)實(shí)的。
圖2說(shuō)明了根據(jù)本發(fā)明的某些實(shí)施例的方法。
該方法在步驟201中發(fā)起，其中從第一本體生成簡(jiǎn)化本體。該簡(jiǎn) 化本體包括第一本體的概念的子集。
步驟201之后是步驟203，其中通過(guò)基于簡(jiǎn)化本體的內(nèi)容分析確 定關(guān)于內(nèi)容項(xiàng)的第一注釋數(shù)據(jù)。
步驟203之后是步驟205，其中監(jiān)視第一注釋數(shù)據(jù)的使用。
步驟205之后是步驟207，其中確定第一注釋數(shù)據(jù)的使用是否滿(mǎn) 足第一準(zhǔn)則。
如果是，則程序終止于步驟209。
否則，該方法繼續(xù)到步驟211，其中從第一本體生成第二本體并 且響應(yīng)基于第二本體的內(nèi)容分析來(lái)修改第一注釋數(shù)據(jù)。
在某些實(shí)施例中，該方法可以迭代修改第一注釋數(shù)據(jù)的過(guò)程。具 體地，該方法可以在步驟211之后返回步驟205。
將認(rèn)識(shí)到，上文的描述出于清楚的目的通過(guò)參考不同的功能單元 和處理器描述了本發(fā)明的實(shí)施例。然而，明顯的是，在不偏離本發(fā)明 的前提下，可以使用不同功能單元或處理器之間的任何適當(dāng)?shù)墓δ芊?布。例如，被說(shuō)明由單獨(dú)的處理器或控制器執(zhí)行的功能可由相同的處 理器或控制器執(zhí)行。因此，對(duì)特定功能單元的參考應(yīng)僅被視為用于提 供所描述的功能的適當(dāng)裝置的參考，而非表示嚴(yán)格的邏輯或物理結(jié)構(gòu) 或組織。本發(fā)明可以以任何適當(dāng)?shù)男问綄?shí)現(xiàn)，包括硬件、軟件、固件或其 任何組合。本發(fā)明可以可選地至少部分地作為在一個(gè)或多個(gè)數(shù)據(jù)處理 器和/或數(shù)字信號(hào)處理器上運(yùn)行的計(jì)算機(jī)軟件實(shí)現(xiàn)。本發(fā)明的實(shí)施例的 元件或部件可以以任何適當(dāng)?shù)姆绞皆谖锢砩稀⒐δ苌虾瓦壿嬌蠈?shí)現(xiàn)。 事實(shí)上，該功能可以在單個(gè)單元中實(shí)現(xiàn)，在多個(gè)單元中實(shí)現(xiàn)或者作為 其他功能單元的一部分實(shí)現(xiàn)。同樣地，本發(fā)明可以在單個(gè)單元中實(shí)現(xiàn)， 或者可以在物理上和功能上分布在不同的單元和處理器之間。
盡管結(jié)合某些實(shí)施例描述了本發(fā)明，但是并非旨在將本發(fā)明限于 此處闡述的特定形式。確切地講，本發(fā)明的范圍僅由所附權(quán)利要求限 定。此外，盡管特征可呈現(xiàn)為結(jié)合特定的實(shí)施例被描述，但是本領(lǐng)域 的技術(shù)人員將認(rèn)識(shí)到，可以根據(jù)本發(fā)明組合所描述的實(shí)施例的多種特 征。在權(quán)利要求中，術(shù)語(yǔ)"包括"并未排除其他元素或步驟的存在。
而且，盡管獨(dú)立列出，但是多個(gè)裝置、元素或方法步驟可由例如 單個(gè)單元或處理器實(shí)現(xiàn)。此外，盡管獨(dú)立特征可以包括在不同的權(quán)利
要求中，但是這些獨(dú)立特征可能被有利地組合，并且不同權(quán)利要求中 的內(nèi)含物并非意指特征的組合是不可行的和/或不利的。而且， 一類(lèi)權(quán) 利要求中包括的特征并非表示對(duì)該類(lèi)的限制，而是指出該特征在適當(dāng) 的情況下同樣適用于其他權(quán)利要求。而且，權(quán)利要求中的特征的順序 并非意指其中該特征工作必須采用的任何特定順序，并且特別地，方 法權(quán)利要求中的獨(dú)立步驟的順序并非意指該步驟必須以該順序執(zhí)行。 確切地講，可以以任何適當(dāng)?shù)捻樞驁?zhí)行該步驟。
權(quán)利要求
1. 一種用于內(nèi)容項(xiàng)注釋的設(shè)備，所述設(shè)備包括用于從第一本體生成簡(jiǎn)化本體的裝置，所述簡(jiǎn)化本體包括所述第一本體的概念子集；用于通過(guò)基于所述簡(jiǎn)化本體的內(nèi)容分析確定關(guān)于所述內(nèi)容項(xiàng)的第一注釋數(shù)據(jù)的裝置；用于監(jiān)視所述第一注釋數(shù)據(jù)的使用的監(jiān)視裝置；用于確定所述第一注釋數(shù)據(jù)的所述使用是否滿(mǎn)足第一準(zhǔn)則的準(zhǔn)則裝置；修改裝置，用于如果所述第一注釋數(shù)據(jù)的所述使用不滿(mǎn)足所述第一準(zhǔn)則，則從所述第一本體生成第二本體，并且響應(yīng)基于所述第二本體的內(nèi)容分析來(lái)修改所述第一注釋數(shù)據(jù)。
2. 如權(quán)利要求l所述的設(shè)備，其中用于生成所述簡(jiǎn)化本體的裝置 被進(jìn)一步設(shè)置為生成關(guān)于所述概念子集的第一內(nèi)容描述數(shù)據(jù)，并且其 中所述內(nèi)容分析響應(yīng)所述第一內(nèi)容描述數(shù)據(jù)。
3.如權(quán)利要求2所述的設(shè)備，其中所述修改裝置被設(shè)置為生成關(guān) 于所述第二本體的概念的第二內(nèi)容描述數(shù)據(jù)，并且其中基于所述第二 本體的內(nèi)容分析進(jìn)一步響應(yīng)所述第二內(nèi)容描述數(shù)據(jù)。
4. 如權(quán)利要求l所述的設(shè)備，進(jìn)一步包括 用于存儲(chǔ)多個(gè)注釋內(nèi)容項(xiàng)的裝置；用于響應(yīng)于基于所述第一本體的搜索數(shù)據(jù)來(lái)搜索所述多個(gè)內(nèi)容項(xiàng) 的裝置；用于響應(yīng)于所述搜索數(shù)據(jù)和所述第一注釋數(shù)據(jù)之間的匹配來(lái)識(shí)別 所述第一內(nèi)容項(xiàng)的裝置。
5. 如權(quán)利要求4所述的設(shè)備，其中所述第一準(zhǔn)則包括對(duì)響應(yīng)于搜索而識(shí)別所述第 一 內(nèi)容項(xiàng)的次數(shù)的評(píng)估。
6. 如權(quán)利要求5所述的設(shè)備，其中所述第一準(zhǔn)則包括對(duì)通過(guò)識(shí)別所述第一內(nèi)容項(xiàng)的搜索而識(shí)別的其他內(nèi)容項(xiàng)的數(shù)目的評(píng)估。
7. 如權(quán)利要求4所述的設(shè)備，其中用于識(shí)別所述第一內(nèi)容項(xiàng)的裝 置被設(shè)置為生成關(guān)于所述第一內(nèi)容項(xiàng)與所述搜索數(shù)據(jù)的匹配接近程度 的匹配指示；并且所述第一準(zhǔn)則包括對(duì)所述匹配指示的評(píng)估。
8. 如權(quán)利要求4所述的設(shè)備，進(jìn)一步包括用于將通過(guò)所述搜索而 識(shí)別的內(nèi)容項(xiàng)的指示呈現(xiàn)給所述設(shè)備的用戶(hù)的裝置；用于接收至少一 個(gè)所述內(nèi)容項(xiàng)的用戶(hù)選擇的裝置；并且其中所述第一準(zhǔn)則包括對(duì)所述 用戶(hù)選擇所述第一內(nèi)容項(xiàng)的次數(shù)的評(píng)估。
9. 如權(quán)利要求4所述的設(shè)備，進(jìn)一步包括用于確定關(guān)于所述多個(gè) 內(nèi)容項(xiàng)的注釋水平的注釋指示的裝置，并且其中所述第一準(zhǔn)則包括對(duì) 所述注釋指示的評(píng)估。
10. 如權(quán)利要求1所述的設(shè)備，進(jìn)一步包括用于響應(yīng)于用戶(hù)輸入 從所述簡(jiǎn)化本體的所述概念子集中選擇概念的裝置。
11. 如權(quán)利要求1所述的設(shè)備，進(jìn)一步包括用于響應(yīng)于所述第一 本體的概念的使用頻率從所述簡(jiǎn)化本體的所述概念子集中選擇概念的 裝置。
12. 如權(quán)利要求l所述的設(shè)備，其中所述簡(jiǎn)化本體是單個(gè)域本體， 并且所述第二本體是包括多個(gè)不同的域本體的組合本體。
13. 如權(quán)利要求1所述的設(shè)備，其中所述第二本體包括比所述簡(jiǎn) 化本體多的概念。
14.如權(quán)利要求1所述的設(shè)備，其中所述監(jiān)視裝置、所述準(zhǔn)則裝 置和所述修改裝置被設(shè)置為，如果使用行為不滿(mǎn)足所述第一準(zhǔn)則，則 響應(yīng)于基于所述第二本體的內(nèi)容分析，迭代地修改所述第二本體和所 述第一注釋數(shù)據(jù)。
15. 如權(quán)利要求1所述的設(shè)備， 情況下生成所述第一注釋數(shù)據(jù)。
16. 如權(quán)利要求1所述的設(shè)備，注釋。
17. —種內(nèi)容項(xiàng)注釋方法，所述方法包括從第一本體生成簡(jiǎn)化本體，所述簡(jiǎn)化本體包括所述第一本體的概 念子集；通過(guò)基于所述簡(jiǎn)化本體的內(nèi)容分析確定關(guān)于所述內(nèi)容項(xiàng)的第一注釋數(shù)據(jù)；監(jiān)視所述第一注釋數(shù)據(jù)的使用；確定所述第一注釋數(shù)據(jù)的所述使用是否滿(mǎn)足第一準(zhǔn)則；以及 如果所述第一注釋數(shù)據(jù)的所述使用不滿(mǎn)足所述第一準(zhǔn)則，則從所 述第一本體生成第二本體，并且響應(yīng)于基于所述第二本體的內(nèi)容分析來(lái)修改所述第一注釋數(shù)據(jù)。
全文摘要
一種用于內(nèi)容項(xiàng)注釋的設(shè)備包括從第一本體生成簡(jiǎn)化本體的本體處理器(103)。該簡(jiǎn)化本體包括該第一本體的概念的子集。分析處理器(107)和注釋處理器(109)通過(guò)基于該簡(jiǎn)化本體的內(nèi)容分析來(lái)確定關(guān)于內(nèi)容項(xiàng)的第一注釋數(shù)據(jù)。監(jiān)視處理器(115)監(jiān)視該第一注釋數(shù)據(jù)的使用。準(zhǔn)則處理器(117)確定該第一注釋數(shù)據(jù)的使用是否滿(mǎn)足第一準(zhǔn)則。如果不滿(mǎn)足，則本體處理器(103)從該第一本體生成第二本體，并且分析處理器(107)和注釋處理器(109)響應(yīng)基于該第二本體的內(nèi)容分析來(lái)修改該第一注釋數(shù)據(jù)。本發(fā)明可以在更高效地使用可用于注釋的計(jì)算資源的情況下允許易化的內(nèi)容項(xiàng)的自動(dòng)注釋。
文檔編號(hào)G06F17/00GK101473317SQ200780022356
公開(kāi)日2009年7月1日 申請(qǐng)日期2007年5月21日 優(yōu)先權(quán)日2006年6月15日
發(fā)明者保拉·M·霍布森, 阿德里安·馬特利亞內(nèi)斯 申請(qǐng)人:摩托羅拉公司