專(zhuān)利名稱(chēng)：嵌入式媒體標(biāo)記符及生成和使用其的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明大體上涉及嵌入式媒體標(biāo)記符，其表示存在與包含該嵌入式媒體標(biāo)記符的 文檔的一部分相關(guān)聯(lián)的媒體，并且還涉及用于生成包含前述嵌入式媒體標(biāo)記符的物品的方 法和系統(tǒng)。
背景技術(shù)：
盡管紙張是最廣泛地用來(lái)觀看信息的裝置之一，但它不能播放諸如視頻和音頻的 動(dòng)態(tài)媒體。另一方面，蜂窩電話越來(lái)越多地用于播放音頻和視頻，但是在高分辨率、大顯示 尺寸、空間組織上的靈活性、靜態(tài)內(nèi)容的戶外可讀性和健壯性方面比不上紙張?，F(xiàn)在可以利 用圖像識(shí)別技術(shù)將這兩者組合在一起，以將紙版文檔與相應(yīng)動(dòng)態(tài)媒體鏈接起來(lái)。蜂窩電話 攝像頭用于拍攝文檔塊的圖像。利用圖像中的特征來(lái)識(shí)別文檔塊，并且在蜂窩電話上檢索 并顯示鏈接到文檔中的該位置的數(shù)字媒體。用于在紙版文檔上創(chuàng)建該類(lèi)型的媒體鏈接的普通方法是在文檔上印制編碼 標(biāo)記符。這種標(biāo)記符的示例包括在Hecht，B.、M. Rohs、J. Schoning和A. Kruger的、 Wikeye—Using Magic Lenses to Explore Georeferenced Wikipedia Content, Proceedings of the 3rdInternational Workshop on Pervasive Mobile Interaction Devices (PERMID), pp6-10中描述的二維條形碼和印制的點(diǎn)圖案，這兩者都是本領(lǐng)域中技 術(shù)人員熟知的。然而，這些標(biāo)記符在視覺(jué)上是突出的并且妨礙了文件內(nèi)容布局。Hecht D. L.的Embedded DataGlyph Technology for Hardcopy Digital Documents,SPIE-Color Hard Copy and GraphicsArts III，Vol. 2171. Febl994，pp341_;352 中描述的數(shù)據(jù)點(diǎn)符 (DataGlyph)通過(guò)在紙張上印制幾乎不可視的、機(jī)器可識(shí)別的圖案來(lái)克服這些問(wèn)題。然 而，這種類(lèi)型的標(biāo)記符要求高分辨率打印機(jī)和攝像機(jī)以識(shí)別文檔位置。也可以使用例如 在 Reilly, D.、M. RodgersΛ R. Argue 等人的，Marked-up maps :combining paper maps and electronicinformation resources，Personal and Ubiquitous Computing，2006，10 (4) PP215-226中描述的諸如RFID的電子標(biāo)記符，但是會(huì)導(dǎo)致生產(chǎn)成本的大幅度增長(zhǎng)。其他系統(tǒng)使用文檔內(nèi)容本身的特征來(lái)識(shí)別相關(guān)文檔塊并利用它來(lái)創(chuàng)建媒體鏈接。 例如，Erol，B. 、Emilio Antunez 禾口 J. J. Hull 的 H0TPAPER :multimedia interactionwith paper using mobile phones, Proceedings of Multimedia ' 08, pp399~408 中描述 的 HotPaper> 以及 Liu, X.禾口 D. Doermann 的 Mobile Retriever :access to digital documentsfrom their physical source, Int.J.Doc. Anal. Recognit. ,2008. 11 (1) PP19-27中描述的移動(dòng)檢索器(Mobile Retriever)使用了基于文檔文本的特征，例如，單 詞的空間布局。其他系統(tǒng)(例如，Henze，N.禾口 S. Boll的Snap and share your photo books, Proceedings ofMultimedia' 08, pp409-418 巾白勺 Bookmarkr> 1 Hare, J.， P.Lewis、L. Gordon 禾口 G. Hart 的Map Snapper !Engineering an Efficient Algorithm for Matching Images ofMaps from Mobile Phones,Proceedings of the SPIE,Volume 6820, pp68200L-68200L-l 1(2008)中描述的MapSnapper)使用了像素級(jí)圖像特征(例如，Lowe,D. G.的Distinctive Image Features from Scale-Invariant Keypoints,Int. J. Comput. Vision, 2004,60 (2) :pp 91-110中描述的SIFT算法)來(lái)識(shí)別普通文檔內(nèi)容，例如，圖片和 圖形要素。利用這些系統(tǒng)，不需要視覺(jué)上突出的標(biāo)記符進(jìn)行識(shí)別。然而，傳統(tǒng)的基于標(biāo)記符的方法和基于內(nèi)容的方法都缺少媒體類(lèi)型的指示符。盡 管條形碼和數(shù)據(jù)點(diǎn)符(Data Glyphs)是可視的，但它們不直接表示與其相關(guān)聯(lián)的媒體的存 在或者類(lèi)型。當(dāng)使用基于內(nèi)容的特征時(shí)，不存在向用戶表示存在鏈接到該文檔的媒體的紙 上指示符。結(jié)果，前述HotPaper的用戶需要將攝像電話在紙版文檔上掃視以尋找熱點(diǎn)，直 到在該蜂窩電話上呈現(xiàn)諸如紅點(diǎn)或震動(dòng)的反饋。已經(jīng)推薦了 Parikh，Τ. S.，P. Javid, S. K.，K. Ghosh 禾Π K. Toyama 的 Mobile phonesand paper documents !evaluating a new approach for capturing microfinance data in rural India, Proceedings of CHI ' 06，pp. 551-560 中所述的很多系統(tǒng)，包 括HotPaper、Bookmarkr、移動(dòng)檢索器、CAM，用于使用攝像電話來(lái)拍攝和識(shí)別紙版文檔 的圖像，然后訪問(wèn)所鏈接的數(shù)字媒體。例如，Rohs提出了用于針對(duì)特定地理區(qū)域利用動(dòng) 態(tài)天氣信息增加紙版地圖的實(shí)時(shí)圖像的系統(tǒng)(在Rohs，M.的Real-world interaction withcamera-phones, Proceedings of UCS. IPSJ Press (2004)中描述)。前述 HotPaper 利 用攝像電話作為魔鏡(Magic Lens)使得用戶能夠添加和播放與紙版文檔中文本塊鏈接的 多媒體注釋。前述Bookmarkr促進(jìn)了利用打印照片的快照來(lái)檢索和共享數(shù)字照片。諸如Rohs提出的基于標(biāo)記符的系統(tǒng)以及CAM取決于二維條形碼來(lái)識(shí)別和操作文 檔內(nèi)容。另一方面，Hecht, B. , M.Rohs, J. Sch0ning禾口 A. Kriiger 的，Wikeye-UsingMagic Lenses to Explore Georeferenced Wikipedia Content, Proceedings of the 3rdInternational Workshop on Pervasive Mobile Interaction Devices (PERMID), PP. 6-10中描述的WikEye采用呈柵格排列的黑點(diǎn)作為標(biāo)記符。盡管易于檢測(cè)，但條形 碼和點(diǎn)通常是視覺(jué)上突出的，需要改變?cè)嘉臋n的格式，并且占用紙上的額外顯示空間。 Reilly, D. , M. Rodgers, R. Argue 等人的，Marked-up maps :combining paper maps and electronicinformation resources, Personal and Ubiquitous Computing,2006. 10(4) p. 215-2 中描述的最新可指定標(biāo)記符(Recent Designable Marker)通過(guò)將人類(lèi)可讀組件 結(jié)合到標(biāo)記符設(shè)計(jì)中改善了二維條形碼，但沒(méi)有解決文檔修改和浪費(fèi)紙張空間的問(wèn)題。為 克服這些問(wèn)題，提出了本領(lǐng)域技術(shù)人員公知的數(shù)據(jù)點(diǎn)符和Anoto圖案。然而，這些編碼圖案 需要通過(guò)高分辨率打印機(jī)打印并通過(guò)專(zhuān)用攝像機(jī)進(jìn)行拍攝來(lái)解碼。此外，富士通(Fujitsu) 提出了密寫(xiě)(steganographic)打印技術(shù)，其將不可視的條形碼嵌入到打印的彩色圖像中。 所有這些可視/不可視的條形碼、數(shù)據(jù)點(diǎn)符和Anoto圖案沒(méi)有揭示關(guān)于可用媒體的人類(lèi)意 乂 fe息。為了避免基于標(biāo)記符的系統(tǒng)的一些限制，PBAR(Hull, J. J.，B. Ero 1, J. Graham, Q. Ke, H.Kishi, J. Moraleda 禾口 D. G.V.01st, Paper-based Augmented Reality, Proceedings ofInt. Conf. on Artificial Reality and Telexistence, pp. 205—209 中 描述)、HotPaper、移動(dòng)檢索器和 LLAH(Nakia，Τ.，K. Kise，和 Μ· Iwamura 的 Use of affine invariants in locallylikely arrangement hashing for camera-based document image retrieval, Proceedings ofTth Int' 1 Workshop DAS' 06, pp. 541-552 ^ ) ^lJffi 文本特征(例如，文本塊中單詞的空間布局)來(lái)識(shí)別文檔塊圖像。Bookmarkr、MapSnapper和 FIT(Liu, Q. , H Yano, D. Kimber, C. Liao 禾口 L. Wilcox, High Accuracy and Language Independent DocumentRetrieval With A Fast Invariant Transform, Proceedings of ICME' 09，pp 386-389中描述)采用像素級(jí)圖像特征來(lái)識(shí)別包含文本、圖片和圖形要素的 一般內(nèi)容。利用這些系統(tǒng)，不需要視覺(jué)上突出的條形碼用于識(shí)別，原文檔格式完整，并且文 檔出版者不需要用于條形碼打印的額外空間。另一方面，由于這些系統(tǒng)完全去除了文檔頁(yè) 面上的可視標(biāo)記符，因此沒(méi)有向用戶表示在文檔中特定位置處存在可用多媒體信息。此外， 這些方法都沒(méi)有能夠引導(dǎo)用戶對(duì)文檔塊識(shí)別符進(jìn)行拍攝的標(biāo)記符。因此，需要不僅能夠利用高分辨率打印裝置而且能夠利用低分辨率打印裝置來(lái)生 成的、新的不礙事的嵌入式媒體標(biāo)記符以及實(shí)現(xiàn)和利用這些標(biāo)記符的方法。

發(fā)明內(nèi)容
本創(chuàng)造性方法的各實(shí)施方式涉及基本避免了與涉及嵌入式媒體標(biāo)記符的傳統(tǒng)技 術(shù)相關(guān)聯(lián)的上述及其他問(wèn)題中的一個(gè)或更多個(gè)。根據(jù)本發(fā)明的一個(gè)方面，提供了一種通過(guò)利用數(shù)據(jù)庫(kù)和物品提供數(shù)字媒體的計(jì)算 機(jī)實(shí)現(xiàn)方法，所述數(shù)據(jù)庫(kù)存儲(chǔ)與預(yù)定空間中被可視化的內(nèi)容的各部分相對(duì)應(yīng)的信息集，該 信息集包括所述部分內(nèi)的多個(gè)特征以及與該部分相對(duì)應(yīng)的嵌入式數(shù)字媒體，其中，所述內(nèi) 容部分具有包括足以識(shí)別各個(gè)內(nèi)容部分的所述多個(gè)特征的區(qū)域，所述物品保持所述內(nèi)容和 在所述內(nèi)容上的至少一個(gè)嵌入式媒體標(biāo)記符，所述嵌入式媒體標(biāo)記符包括根據(jù)內(nèi)容的所述 部分定位的可視的特征邊界。所述方法可以包括以下步驟從請(qǐng)求方接收包括所述物品上 的所述嵌入式媒體標(biāo)記符的圖像的塊的圖像；在所述塊的所述圖像內(nèi)提取多個(gè)特征；通過(guò) 將所提取的多個(gè)特征與所述信息集中的所述多個(gè)特征進(jìn)行比較，來(lái)識(shí)別與所述嵌入式媒體 標(biāo)記符相對(duì)應(yīng)的所述嵌入式數(shù)字媒體；檢索所述嵌入式數(shù)字媒體；以及向所述請(qǐng)求方提供 檢索到的數(shù)字媒體。本發(fā)明的附加方面包括一種物品，該物品包括在所述物品的表面上的被可視化 的內(nèi)容；以及疊在所述被可視化的內(nèi)容上的嵌入式媒體標(biāo)記符，所述嵌入式媒體標(biāo)記符包 括圍繞所述被可視化的內(nèi)容的多個(gè)特征的可視的特征邊界，其中，包括所述特征邊界內(nèi)的 所述多個(gè)特征的信息集或者在所述特征邊界內(nèi)的至少一部分內(nèi)容，與所述嵌入式媒體標(biāo)記 符相對(duì)應(yīng)的嵌入式數(shù)字媒體存儲(chǔ)在數(shù)據(jù)庫(kù)中。本發(fā)明的附加方面包括一種制造包括被可視化的內(nèi)容和在所述內(nèi)容上的嵌入式 媒體標(biāo)記符的物品的計(jì)算機(jī)實(shí)現(xiàn)方法。該方法可以包括以下步驟接收對(duì)所述物品的所述 被可視化的內(nèi)容上的位置的選擇；基于在所述嵌入式媒體標(biāo)記符內(nèi)的所選擇位置附近的所 述被可視化的內(nèi)容的多個(gè)特征的數(shù)量，來(lái)確定所述嵌入式媒體標(biāo)記符的位置和尺寸；以及 基于所確定的位置和尺寸，將所述嵌入式媒體標(biāo)記符定位在所述物品上。本發(fā)明的附加方面可以包括一種存儲(chǔ)用于利用數(shù)據(jù)庫(kù)和物品提供數(shù)字媒體的指 令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述數(shù)據(jù)庫(kù)存儲(chǔ)與預(yù)定空間中被可視化的內(nèi)容的各部分相對(duì) 應(yīng)的信息集，該信息集包括所述部分內(nèi)的多個(gè)特征以及與所述部分相對(duì)應(yīng)的嵌入式數(shù)字媒 體，其中，所述內(nèi)容部分具有包括足以識(shí)別各內(nèi)容部分的所述多個(gè)特征的區(qū)域，所述物品保 持內(nèi)容和在內(nèi)容上的至少一個(gè)嵌入式媒體標(biāo)記符，所述嵌入式媒體標(biāo)記符包括根據(jù)所述內(nèi) 容的所述部分定位的可視的特征邊界。所述指令可以包括從請(qǐng)求方接收包括所述物品上的所述嵌入式媒體標(biāo)記符的圖像的塊的圖像；提取所述塊的所述圖像內(nèi)的多個(gè)特征；通過(guò) 將所提取的多個(gè)特征與所述信息集中的所述多個(gè)特征進(jìn)行比較，來(lái)識(shí)別與所述嵌入式媒體 標(biāo)記符相對(duì)應(yīng)的所述嵌入式數(shù)字媒體；檢索所述嵌入式數(shù)字媒體；以及向所述請(qǐng)求方提供 檢索到的數(shù)字媒體。本發(fā)明的附加方面的一部分將在以下的說(shuō)明中進(jìn)行闡述，而一部分根據(jù)該說(shuō)明將 是清楚的，或者可以通過(guò)實(shí)踐本發(fā)明而獲知。本發(fā)明的多個(gè)方面可以通過(guò)多個(gè)元件及各種 元件與以下詳細(xì)說(shuō)明中具體指出的方面以及所附權(quán)利要求書(shū)的組合，來(lái)實(shí)現(xiàn)及獲得。應(yīng)當(dāng)理解，以上說(shuō)明及以下說(shuō)明僅僅是示例性和說(shuō)明性的，而不是要以任何形式 限制所要求保護(hù)的發(fā)明或其應(yīng)用。


結(jié)合到本說(shuō)明書(shū)中且構(gòu)成本發(fā)明書(shū)的一部分的附圖例示了本發(fā)明的實(shí)施方式，并 與本說(shuō)明書(shū)一同用來(lái)解釋和說(shuō)明本創(chuàng)造性技術(shù)的原理。具體地圖Ia例示了添加到打印機(jī)說(shuō)明書(shū)手冊(cè)中的嵌入式媒體標(biāo)記符(EMM， EmbeddedMedia Marker)的一個(gè)示例性實(shí)施方式。圖Ib例示了添加到紙版地圖的EMM的一個(gè)示例性實(shí)施方式。圖2更加詳細(xì)地例示了創(chuàng)造性EMM的示例性實(shí)施方式。圖3例示了圓和用于估計(jì)該圓內(nèi)關(guān)鍵點(diǎn)數(shù)量的正方形之間的關(guān)系。圖4示出了疊在手冊(cè)頁(yè)面上的關(guān)鍵點(diǎn)。圖5中(a)示出了關(guān)鍵點(diǎn)分布圖而(b)示出了累積關(guān)鍵點(diǎn)分布圖。圖6例示了用于計(jì)算正方形中關(guān)鍵點(diǎn)數(shù)量的創(chuàng)造性方法的實(shí)施方式。圖7例示了三維空間中具有三級(jí)結(jié)構(gòu)的EMM模型。圖8例示了沿對(duì)角線方向的二維濾波器的形狀。圖9中a例示了典型的黑白多媒體圖標(biāo)，而b例示了用圖形效果裝飾后的EMM。圖10示出了將EMM與文檔頁(yè)面進(jìn)行α混合的效果。圖11示出了特定的不規(guī)則形狀的EMM。圖12例示了對(duì)不規(guī)則形狀EMM進(jìn)行定位的兩種方法，其中(a)示出了簡(jiǎn)單方法， (b)示出了詳細(xì)方法。圖13-17例示了 EMM的特定示例性裝飾性設(shè)計(jì)。圖18是例示了根據(jù)本發(fā)明的實(shí)施方式之一用于利用數(shù)據(jù)庫(kù)和物品提供數(shù)字媒體 的方法的流程圖。圖19是例示了制造包括被可視化的內(nèi)容和該內(nèi)容上的嵌入式媒體標(biāo)記符的物品 的方法的流程圖。圖20例示了根據(jù)本發(fā)明的實(shí)施方式的系統(tǒng)的功能圖的示例。圖21例示了可以實(shí)現(xiàn)本創(chuàng)造性系統(tǒng)的諸如移動(dòng)平臺(tái)的示例性實(shí)施方式。
具體實(shí)施例方式在以下詳細(xì)描述中，將參照附圖，其中，用相同的標(biāo)號(hào)指代相同功能的要素。前述 附圖通過(guò)例示而不是限制的方式示出了與本發(fā)明的原理相一致的具體實(shí)施方式
和實(shí)施。足夠詳細(xì)地描述了這些實(shí)施，以便使本領(lǐng)域的技術(shù)人員能夠?qū)嵺`本發(fā)明，并且應(yīng)該理解的是 在不脫離本發(fā)明的范圍和精神的情況下可以使用其他實(shí)施并且可以改變和/替換各要素 的結(jié)構(gòu)。因此，不是要從限制性意義上來(lái)理解以下詳細(xì)描述。此外，所描述的本發(fā)明的各實(shí) 施方式可以以通用計(jì)算機(jī)上運(yùn)行的軟件的形式、專(zhuān)用硬件的形式或者軟件和硬件的組合來(lái) 實(shí)現(xiàn)。創(chuàng)造性嵌入式媒體標(biāo)記符(E^ :Embedded Media Marker)的實(shí)施方式是打印在紙 版文檔上的表示存在與該文檔的特定部分相關(guān)聯(lián)的媒體的特定類(lèi)型的類(lèi)似濾光器的覆蓋 式標(biāo)記符(overlaid mark)。根據(jù)本發(fā)明的實(shí)施方式，用戶利用例如蜂窩電話內(nèi)嵌的攝像 頭對(duì)EMM標(biāo)示的文檔塊進(jìn)行拍照，并且在手機(jī)上顯示與EMM標(biāo)示的文檔位置相關(guān)聯(lián)的媒體。 與條形碼不同，本創(chuàng)造性EMM的實(shí)施方式幾乎是透明的但在視覺(jué)上可識(shí)別的。因此，本創(chuàng)造 性EMM不干擾用戶對(duì)文檔內(nèi)容的觀看。與EMM相關(guān)聯(lián)的媒體的檢索基于所拍攝的EMM標(biāo)示 的文檔塊的局部圖像特征。一些實(shí)施方式還描述了以使得EMM包圍足夠多的識(shí)別特征并且 對(duì)原始文檔的干擾最小的方式將EMM半自動(dòng)地置于文檔的一個(gè)位置處的技術(shù)。本發(fā)明的特定實(shí)施方式的多個(gè)方面提供了生成EMM的系統(tǒng)和方法并描述了實(shí)現(xiàn) 這種標(biāo)記符的各種對(duì)象。在本發(fā)明的實(shí)施方式中，EMM用于向用戶表示存在與實(shí)現(xiàn)EMM的 對(duì)象(例如，紙)相關(guān)聯(lián)的、能夠存儲(chǔ)在任何地方的附加數(shù)字媒體或數(shù)據(jù)(數(shù)字媒體對(duì)象)。 此外，利用EMM，用戶能夠容易地檢索并觀看相關(guān)聯(lián)的數(shù)字媒體對(duì)象。在本發(fā)明的實(shí)施方式 中，這種媒體或數(shù)據(jù)還可以進(jìn)一步解釋由利用了 EMM的對(duì)象所示出的內(nèi)容。換句話說(shuō)，嵌入 EMM如同到實(shí)現(xiàn)該EMM的對(duì)象相關(guān)的本地或外部媒體對(duì)象的媒體鏈接一樣地工作。在本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式中，紙張被添加了有意義的認(rèn)知標(biāo)記符，即所 謂的表示前述媒體鏈接的存在和類(lèi)型的嵌入媒體標(biāo)記符(EMM)。在本發(fā)明的一個(gè)或更多 個(gè)實(shí)施方式中，當(dāng)看到EMM時(shí)，用戶被指示(或者以其他方式知道)利用蜂窩電話攝像頭 拍攝EMM標(biāo)示的文檔塊的圖像，以觀看與該文檔相關(guān)聯(lián)的數(shù)字多媒體。這有些類(lèi)似于利用 下劃線、字體差異或者圖像標(biāo)簽來(lái)表示存在用戶點(diǎn)擊以獲得附加信息的鏈接的網(wǎng)頁(yè)。在 本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式中，不象條形碼那樣，EMM可以是幾乎透明的，從而不干擾 文檔內(nèi)容。在本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式中，不象已知的嵌入式數(shù)據(jù)點(diǎn)符(Embedded Data Glyph Technology for Hardcopy DigitalDocuments, SPIE-Color Hard Copy and Graphics Arts III，Vol. 2171. Feb 1994，pp341_352 中描述)或 Anoto 圖案那樣，即使利 用常規(guī)低分辨率打印機(jī)也能夠打印EMM并且能夠從普通蜂窩電話攝像頭拍攝的圖像中識(shí) 別出該EMM。此外，在本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式中，EMM的設(shè)計(jì)圖表示了與EMM標(biāo)示 的文檔位置相關(guān)聯(lián)的媒體的類(lèi)型(例如，音頻、視頻、圖像)。本發(fā)明的特定實(shí)施方式提供了在紙版文檔上半自動(dòng)地設(shè)置可視EMM的過(guò)程和算 法。該過(guò)程和算法主要用于使用紙張上的自然內(nèi)容特征(無(wú)條形碼)來(lái)識(shí)別文檔塊的紙張 增強(qiáng)系統(tǒng)。更具體地說(shuō)，本創(chuàng)造性的過(guò)程和算法能夠用作著作(authoring)工具的基礎(chǔ)，利 用該著作工具，媒體編輯者能夠在紙張頁(yè)面上選擇用于添加多媒體信息的錨點(diǎn)，并且該算 法能夠基于編輯者選擇的錨點(diǎn)自動(dòng)設(shè)置EMM。EMM被設(shè)置為使得它覆蓋足夠量的文檔特征 以識(shí)別塊位置。然后EMM能夠疊在其他文檔內(nèi)容上，用于打印輸出增強(qiáng)后的紙張。還能夠 通過(guò)在文檔內(nèi)容的相應(yīng)部分上放置透明的印有EMM的介質(zhì)(例如，透明片或透明條)來(lái)疊 加EMM。然后用戶能夠通過(guò)捕獲紙張上的EMM標(biāo)示的文檔塊，來(lái)在活動(dòng)裝置(例如，屏幕、揚(yáng)聲器或其他輸出裝置)上獲得額外多媒體信息。圖Ia例示了添加到打印機(jī)說(shuō)明書(shū)手冊(cè)100的EMM的一個(gè)示例性實(shí)施方式。該例 示的EMM實(shí)施方式表示存在與工作人員手中的雜志相對(duì)應(yīng)的視頻。文檔在該大的EMM邊界 101(該實(shí)施方式中為圓)內(nèi)的部分稱(chēng)為EMM標(biāo)示的文檔塊。在該EMM標(biāo)示的文檔塊內(nèi)，存 在多媒體類(lèi)型標(biāo)識(shí)符，該標(biāo)識(shí)符示出為包含表示與該EMM相關(guān)聯(lián)的媒體類(lèi)型(在本情形下 為視頻)的圖形103的較小邊界102(本實(shí)施方式中為圓)。連接到較小圓102的箭頭指向 文檔100中與該媒體相關(guān)聯(lián)的準(zhǔn)確位置，并且稱(chēng)為錨或者EMM標(biāo)示的文檔位置。在圖Ia的 左下角示出了一些標(biāo)注，以解釋EMM的不同部件。這些標(biāo)注不是EMM的一部分。圖Ib例示了添加到紙版地圖111的EMMllO的示例性實(shí)施方式。紙版地圖111提 供了大量地理信息的高質(zhì)量顯示。它易于在戶外閱讀、可折疊并且易于與其他人共享。然 而，它缺少具體位置的動(dòng)態(tài)信息，例如關(guān)于餐飲、公園的天氣預(yù)報(bào)以及賓館當(dāng)前可用折扣的 視頻剪輯。利用EMM，可以將這種動(dòng)態(tài)多媒體很容易地引入紙版地圖。如圖Ib所示，在日本 東京地圖上，通過(guò)EMMllO增加了日本餐館，該EMMllO指向關(guān)于該地的歷史和景點(diǎn)的視頻剪 輯，能夠利用移動(dòng)裝置112來(lái)觀看該視頻剪輯。該移動(dòng)裝置可以利用文檔中落入EMM內(nèi)的 特征或關(guān)鍵點(diǎn)來(lái)確定需要執(zhí)行哪個(gè)視頻剪輯。類(lèi)似地，EMM可以指向餐館的顧客評(píng)論站點(diǎn) 或詳細(xì)菜單，并且允許用戶立刻預(yù)訂。應(yīng)當(dāng)注意的是，該EMM不改變?cè)嫉貓D布局并且具有 最小的外觀干擾，這使得EMM與現(xiàn)有的基于條形碼的技術(shù)不同。此外，原地EMM正好疊在 Ρ0Ι(關(guān)注點(diǎn))上面對(duì)于保留地圖中POI的內(nèi)容特別有用。圖2更詳細(xì)地例示了創(chuàng)造性EMM200的示例性實(shí)施方式，突出了特征邊界201、媒體 類(lèi)型圖標(biāo)邊界202、媒體圖標(biāo)203、錨點(diǎn)204和指向箭頭205。將描述EMM200的功能設(shè)計(jì)和 在紙張上半自動(dòng)地排列(EMM)的過(guò)程和算法。更具體地說(shuō)，這里所描述的是用戶在文檔的 一位置處選擇錨點(diǎn)204并將多媒體信息與該位置相關(guān)聯(lián)的著作工具的實(shí)施方式。根據(jù)本發(fā) 明的特定實(shí)施方式的另一方面，還描述了一種算法，該算法以EMM標(biāo)示的文檔塊包括足夠 多的特征以允許準(zhǔn)確識(shí)別的方式自動(dòng)找出用戶所選錨點(diǎn)的EMM最佳位置和布局。然后將嵌 入式的創(chuàng)造性EMM與文檔疊加(例如，α混合(alpha-blended))，用于打印輸出增強(qiáng)后的 文檔。為了將EMM添加到現(xiàn)有紙版文檔上，還可以在透明介質(zhì)(例如透明片或透明條)上 創(chuàng)建EMM，然后疊在現(xiàn)有文檔的相應(yīng)部分上。用戶然后可以通過(guò)拍攝EMM標(biāo)示的文檔塊的圖 像，在蜂窩電話上觀看鏈接到紙版文檔的媒體。技術(shù)細(xì)節(jié)根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，EMM是紙張上的表示存在與紙張上打印的 內(nèi)容的特定部分相關(guān)聯(lián)的數(shù)字媒體的標(biāo)記符。為了獲得性，根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí) 施方式，EMM可以具有以下屬性中的一些或全部1.EMM對(duì)人類(lèi)是可視的。EMM應(yīng)當(dāng)是表示存在與文檔相關(guān)聯(lián)的多媒體信息的可視 標(biāo)記符。2. EMM對(duì)人類(lèi)而言是有意義的。EMM可以表示與EMM相關(guān)聯(lián)的媒體的類(lèi)型，例如， 音頻、視頻、文本、圖像和注釋。3. EMM可以不占用紙張上的額外空間，也不用改變文檔布局以容納該EMM。4. EMM可以使得對(duì)原始紙張內(nèi)容的語(yǔ)義改變最小。EMM的設(shè)計(jì)和實(shí)現(xiàn)可以與原始文檔內(nèi)容混合。5. EMM可以不顯著地劣化文檔塊。由于識(shí)別主要是基于文檔內(nèi)容特征，因此文檔內(nèi) 容會(huì)被很好地保留。6. EMM可以引導(dǎo)用戶拍攝用于多媒體檢索的質(zhì)量圖像。7. EMM可以表示具有足夠用于多媒體檢索的特征的區(qū)域。8. EMM可以限制需要在數(shù)據(jù)庫(kù)中做索引的文檔塊，從而減小計(jì)算復(fù)雜度和數(shù)據(jù)存 儲(chǔ)空間，并改善檢索準(zhǔn)確性。示例件EMM結(jié)構(gòu)a.特征邊界標(biāo)記符由于不能讀取并解碼條形碼，用戶不得不使用其他圖像特征來(lái)識(shí)別相關(guān)紙塊 (paper patch)。這種特征可以是從物品上的圖像中提取的任何特征，或者可以是不同類(lèi) 型的特征的組合。這些特征還可以是從物品上的圖像的局部空間排列提取的一般圖像局 部特征。在這些一般圖像特征中，比例恒定的圖像局部特征可以很好地工作，諸如在SIFT、 PCA-SIFT(Ke, Y.禾口 Sukthankar，R. ，PCA-SIFT :A More DistinctiveRepresentation for Local Image Descriptors, Computer Vision and Pattern Recognition, 2004 中所述)、 SURF(Bay, H. , Ess,A. ,Tuytelaars, Τ. , Van Gool, L. , SURF :Speeded UpRobust Features, Computer Vision and Image Understanding(CVIU), Vol. 110, No. 3, pp346—359, 2008 ψ 所述)以及上述FIT中所描述的那些特征。它們還可以是基于文本塊中的以單詞為中心 的關(guān)系(如 Erol， B. ，Emilio Antunez 禾口 J. J. Hull, H0TPAPER :multimedia interaction with paper using mobile phones, Proceedings of Multimedia' 08, pp. 399-408 中所 述)或者塊中的以打孔(stroke)為中心的排列(如Nakia，Τ.，K. Kise，和Μ. Iwamura, Use of affine invariants in locally likely arrangement hashing forcamera-based document image retrieval,Proceedings of 7th Int' 1 Workshop DAS' 06,pp541-552 中所述)的圖像特征。由于這些特征是文檔圖像的一部分，因此它們不象條形碼那樣具有 清晰的邊界。如果期望在多個(gè)位置處具有特征，以增加識(shí)別準(zhǔn)確性，這些技術(shù)也沒(méi)有針對(duì)這 些群組特征的清晰邊界。由于沒(méi)有清晰的特征邊界，所以紙版文檔增強(qiáng)系統(tǒng)的用戶可能拍 攝到不具有系統(tǒng)足以識(shí)別該文檔塊的足夠數(shù)量的特征的文檔塊。為解決該問(wèn)題，需要用人 工邊界(artifical boundary)來(lái)引導(dǎo)用戶的拍攝。更具體地說(shuō)，在本發(fā)明的特定實(shí)施方式 中，該邊界用于設(shè)置并包括用于塊識(shí)別的最小拍攝區(qū)域。在該拍攝區(qū)域向?qū)У膸椭?，本發(fā) 明的這些實(shí)施方式顯著減小了特征數(shù)據(jù)庫(kù)中被編索引的特征。該創(chuàng)造性地減少特征對(duì)于提 高識(shí)別準(zhǔn)確性和識(shí)別速度非常有用。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，為了保證在不同拍攝方向上足夠多的特征 (假設(shè)攝像機(jī)光軸幾乎垂直于紙張)，圖2中所示的特征邊界圓201暫時(shí)用作人工特征邊 界。該特征邊界圓限定了頁(yè)面中包圍可以用于識(shí)別該塊的特征的區(qū)域或塊。從紙張塊識(shí)別 方面而言，圓越大，可以用于便于紙張塊識(shí)別的特征越多。另一方面，圓越大，每個(gè)頁(yè)面中能 夠放置的EMM越少；圓越大，可以通過(guò)特征減少所獲得的益處越少。此外，超出特定尺寸的 大的圓由于攝像電話視場(chǎng)和分辨率限制而不能被攝像電話完全使用。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，除了圓的尺寸(S卩，圖2中的半徑R)因素 外，圓的位置(即，圖2中的圓心點(diǎn)107 (X，Y))對(duì)于塊識(shí)別也是重要的。如果圓位于分布有密集特征的地方，則圓的半徑R可以顯著減小，而不會(huì)減小識(shí)別準(zhǔn)確性。另一方面，置于空 白位置的大圓可能會(huì)導(dǎo)致識(shí)別準(zhǔn)確性降低。這些過(guò)程和算法提供了用于找出最佳圓心(X， Y)和半徑R的創(chuàng)造性方法。b.媒體類(lèi)似識(shí)別根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，除攝像電話拍攝向?qū)猓襟w類(lèi)型(例如， 音頻、視頻、網(wǎng)頁(yè)鏈接)信息對(duì)于增強(qiáng)型紙版文檔的讀者也是有用的。圖2中所示的示例性 EMM結(jié)合了視頻圖標(biāo)203，以表示視頻鏈接與該EMM相關(guān)聯(lián)。媒體類(lèi)型的圖標(biāo)信息被稱(chēng)為媒 體類(lèi)型圖標(biāo)邊界的另一圓202圍繞。該圓202對(duì)于強(qiáng)調(diào)圖標(biāo)信息203是有用的。另一方面， 它與特征邊界標(biāo)記201在視覺(jué)上也是一致的。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，生成具有特定尺寸的媒體圖標(biāo)203，以吸引 用戶的注意。從另一方面看，該標(biāo)記符203應(yīng)當(dāng)不減少用于文檔塊識(shí)別的適當(dāng)特征的數(shù)量。 根據(jù)本創(chuàng)造性方法的一個(gè)方面的算法提供了用于找出圖標(biāo)標(biāo)記符的最佳圓心點(diǎn)206 (X，y) 的方法。c.錨點(diǎn)和指向箭頭根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，因?yàn)閳D2中的相對(duì)小的圓202沒(méi)有將其本 身鏈接到紙張上的特定位置的明顯點(diǎn)，因此紙張上利用圓所包圍的圖標(biāo)標(biāo)記符的分辨率較 低。有時(shí)，這種低分辨率可能使得難以向用戶傳達(dá)正確的信息。例如，如果圖中存在彼此靠 近的幾個(gè)機(jī)器部件并且存在許多部件的3D模型，人們會(huì)難以將圓所包圍的圖標(biāo)標(biāo)記符與 它們的相應(yīng)部件關(guān)聯(lián)起來(lái)。為解決該問(wèn)題，本創(chuàng)造性系統(tǒng)提示文檔創(chuàng)建者選擇特定位置作 為錨點(diǎn)(m，n)并添加從包圍圖標(biāo)的圓指向錨點(diǎn)的箭頭。該箭頭和包圍圖標(biāo)的圓然后形成該 特定位置(m，n)的標(biāo)注。d.圖形效果根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，為了減小對(duì)原始文檔的影響，選擇框架而 不是著色區(qū)域來(lái)呈現(xiàn)媒體類(lèi)型圖標(biāo)。因?yàn)槿藗兺ǔＩ朴诜蛛xα混合圖像，把媒體類(lèi)型圖標(biāo) 與原始文檔進(jìn)行α混合還能夠減小對(duì)原始文檔的語(yǔ)義影響。通過(guò)針對(duì)不同顏色通路和區(qū) 域改變?chǔ)粱旌舷禂?shù)，創(chuàng)造性概念的實(shí)施方式還可以改變EMM標(biāo)示的區(qū)域中的文本顏色或圖 片顏色。此外，因?yàn)榧埌嫖臋n中的圖形對(duì)象主要在二維空間中，所以本創(chuàng)造性方法的實(shí)施方 式向EMM添加三維圖形效果，該三維圖形效果還有助于EMM與原始文檔中其他圖形對(duì)象的 分離。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，如圖2所示，一個(gè)或更多個(gè)創(chuàng)造性EMM可以 具有相同的外觀大圓201包圍小圓202。小圓202突出了簡(jiǎn)單圖標(biāo)203和附加箭頭205(見(jiàn) 圖20 。一些實(shí)施方式的外觀中的這種一致性設(shè)計(jì)為使得用戶在頁(yè)面上非常迅速地找出 EMM0 EMM的功能類(lèi)似于傳統(tǒng)網(wǎng)頁(yè)上簡(jiǎn)單著色和加下劃線的超級(jí)鏈接。與超級(jí)鏈接不同，EMM 的實(shí)施方式打印在實(shí)體紙張上并使用有意義的圖標(biāo)(20 表示與EMM標(biāo)示的文檔位置相關(guān) 聯(lián)的可用媒體。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，通過(guò)僅調(diào)節(jié)用于打印包含EMM的頁(yè)面的文 件的亮度信道來(lái)減緩圖像和文本的遮擋(occlusion)。根據(jù)另一個(gè)實(shí)施方式，EMM在有限范 圍內(nèi)改變下面圖像的亮度。因?yàn)橥ㄟ^(guò)彩色和單色復(fù)印機(jī)和打印機(jī)以較好的保真度再現(xiàn)亮度 信息，所以選擇了亮度信息。在該實(shí)施方式，大邊界圓和小圓增加到下面圖像的亮度，而陰影效果減小了該亮度。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，通過(guò)為EMM簡(jiǎn)單地選擇EMM淺色(light color)、線條粗度、點(diǎn)大小、或者內(nèi)容的空間或間隔之間的定位點(diǎn)等也能夠減緩圖像和文本 的遮擋，從而EMM不干擾文檔上的內(nèi)容而對(duì)用戶是足夠可視的。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，較小的內(nèi)部圓202包含媒體圖標(biāo)203和錨 點(diǎn)箭頭205。媒體圖標(biāo)203是圖形化地描述了正在鏈接的媒體的類(lèi)型(例如，音頻或視頻) 的簡(jiǎn)單圖標(biāo)。這個(gè)圖標(biāo)203被描繪在小圓202內(nèi)，作為不增加亮度且通過(guò)前述陰影效果描 繪的區(qū)域。錨點(diǎn)箭頭205被描繪為從相鄰的圓202的中心指向外的小箭頭。箭頭105指向 頁(yè)面上用戶指定的區(qū)域。箭頭外觀與它相關(guān)聯(lián)的圓的外觀完美地匹配。EMM放置過(guò)稈與算法的實(shí)施方式1. EMM放置規(guī)則和過(guò)程根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，EMM著作過(guò)程可以涉及將原始文檔加載到 EMM著作編輯器上。然后可以提取各頁(yè)面的所有局部圖像特征并隨后存儲(chǔ)在臨時(shí)存儲(chǔ)器中。 在從用戶接收到鏈接點(diǎn)和所鏈接的媒體之后，然后該處理可以利用臨時(shí)存儲(chǔ)器中的局部圖 像特征來(lái)確定EMM的尺寸和位置；確定EMM內(nèi)可用來(lái)從用戶接收編輯之后的保存和/或打 印請(qǐng)求的局部圖像特征，然后將EMM內(nèi)的局部圖像特征和所鏈接的媒體URL或文件存儲(chǔ)到 數(shù)據(jù)庫(kù)中。用于該處理的特征數(shù)據(jù)庫(kù)結(jié)構(gòu)可以包括EMM的ID號(hào)、局部特征集(各特征包括 對(duì)應(yīng)于關(guān)鍵點(diǎn)的矢量集)以及嵌入數(shù)字媒體的本地或互聯(lián)網(wǎng)地址?；蛘?，著作處理可以將整個(gè)頁(yè)面中的所有圖像特征存儲(chǔ)到特征數(shù)據(jù)庫(kù)中。因此，在 通過(guò)使用本地臨時(shí)存儲(chǔ)器中的局部圖像特征確定EMM的尺寸和位置時(shí)，該處理可以涉及基 于所接收到的鏈接輸入的位置從數(shù)據(jù)庫(kù)中檢索圖像特征。然后，當(dāng)該處理存儲(chǔ)局部圖像特 征時(shí)，該處理因此能夠?qū)MM內(nèi)的圖像特征與相關(guān)聯(lián)的數(shù)字媒體地址一起復(fù)制到另一參考 表數(shù)據(jù)庫(kù)中。從各頁(yè)面提取的特征還可以簡(jiǎn)單地保存到臨時(shí)存儲(chǔ)器中。在著作工具確定了 EMM 位置之后，將EMM添加到該頁(yè)面，裁剪EMM的周?chē)?包括EMM交疊(overlap))，重新計(jì)算在 裁剪后的EMM圖像中的視覺(jué)特征并將這些特征保存在DB中。因此，各EMM需要保存的特征 更少，由此DB也能夠處理更多的EMM。此外，重新計(jì)算出的、具有交疊的EMM的特征也能夠 更好地與用戶的拍攝匹配。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，EMM結(jié)構(gòu)主要集中于讀者對(duì)多媒體增強(qiáng)型 紙張的需求。為了使得創(chuàng)造性系統(tǒng)的實(shí)施方式更好地服務(wù)用戶，從機(jī)器的角度考慮了該需 求。更具體地說(shuō)，該創(chuàng)造性EMM的實(shí)施方式設(shè)置成使得它能夠改善而不是劣化紙張塊識(shí)別 處理。為實(shí)現(xiàn)此目標(biāo)，設(shè)計(jì)了算法來(lái)調(diào)節(jié)EMM布局的參數(shù)。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，存在用于EMM調(diào)節(jié)的三個(gè)基本的參數(shù)集 特征邊界圓的圓心(X，Y)、特征邊界圓的半徑R和媒體類(lèi)型圓的圓心(X，y)。由于如果塊 所覆蓋的特征點(diǎn)量在足夠區(qū)分識(shí)別系統(tǒng)內(nèi)的各EMM的一定閾值以上，則塊識(shí)別準(zhǔn)確度不會(huì) 改變很大，因此邊界圓最優(yōu)目標(biāo)是以最小的紙張表面積成本，來(lái)實(shí)現(xiàn)較好的塊識(shí)別準(zhǔn)確度。 EMM占用小的紙張表面對(duì)于創(chuàng)造性系統(tǒng)的實(shí)施方式具有以下益處1) EMM對(duì)原始內(nèi)容的干擾更少。2)占用小的表面面積使得更容易將更多分立的EMM放在每個(gè)頁(yè)面中。
3)由于僅需要對(duì)關(guān)鍵點(diǎn)(例如SIFT/SURF/FIT關(guān)鍵點(diǎn))進(jìn)行如上所述地編索引， 因此在塊識(shí)別的圓中，占用小的表面面積減小了索引服務(wù)器上保存的關(guān)鍵點(diǎn)量。減小關(guān)鍵 點(diǎn)量有助于提高識(shí)別速度。4)標(biāo)記小的面積可以引導(dǎo)讀者提交塊而不需要太多的計(jì)算(由圓所控制關(guān)鍵點(diǎn) 量)，并且節(jié)省讀者用于檢索多媒體數(shù)據(jù)的等待時(shí)間。5)保持拍攝面積下限較小還使得更加便于蜂窩電話拍攝。更具體地說(shuō)，拍攝大圓 需要蜂窩電話與紙張之間的距離較大，而拍攝小圓在較大的動(dòng)態(tài)范圍內(nèi)更加靈活。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，為了獲得特征邊界圓的小的半徑，本創(chuàng)造 性算法使邊界圓位于具有高關(guān)鍵點(diǎn)密度的地方，并縮小半徑以滿足最小關(guān)鍵點(diǎn)量的要求。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，利用前面部分中描述的紙張塊識(shí)別算法， 特征邊界圓通常是遠(yuǎn)大于最小可見(jiàn)度要求。根據(jù)本創(chuàng)造性算法的一個(gè)實(shí)施方式，確定特征 邊界圓內(nèi)部的包圍媒體類(lèi)型圖標(biāo)的圓，以確保讀者認(rèn)為它們是一個(gè)EMM。為了減小圖標(biāo)圓所 引起的干擾，本創(chuàng)造性算法的實(shí)施方式試圖將該圓移動(dòng)到具有最小關(guān)鍵點(diǎn)密度的地方。更 具體地說(shuō)，在圖標(biāo)圓尺寸固定的情況下，可以期望圓包括原始文檔中最少量的關(guān)鍵點(diǎn)。該過(guò) 程對(duì)于塊識(shí)別處理具有以下益處。1)媒體類(lèi)型圖標(biāo)及其包圍圓對(duì)重要特征的干擾更少。這有助于讀者將原始內(nèi)容和 圖標(biāo)分開(kāi)，使得讀者能夠更好地理解原始文檔。2)因?yàn)槊襟w類(lèi)型注釋主要利用半透明框架和陰影形成，該注釋和原始文檔內(nèi)容可 以在關(guān)鍵點(diǎn)稀疏區(qū)域中形成更加有區(qū)別的關(guān)鍵點(diǎn)。該關(guān)鍵點(diǎn)密度均衡處理對(duì)于機(jī)器檢測(cè)更 均勻分布的關(guān)鍵點(diǎn)有用，從而獲得用于蜂窩電話姿態(tài)估計(jì)的更穩(wěn)定的坐標(biāo)變換矩陣。此外， 更穩(wěn)定的矩陣還對(duì)于于移除匹配異常值(outlier)有用并進(jìn)一步改善塊識(shí)別準(zhǔn)確度。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，除了這些基本最優(yōu)化方法外，一些附加規(guī) 則也用于使得EMM看起來(lái)更漂亮并且在各種情況下更加一致。這些規(guī)則包括1)錨點(diǎn)應(yīng)當(dāng)在特征邊界圓內(nèi)部。這使得EMM更加直觀。這也減小了圓搜索空間。 此外，這還避免了在同一頁(yè)面上的多個(gè)EMM合并到同一位置(全局最優(yōu)位置)。2)媒體類(lèi)型圖標(biāo)及其包圍圓應(yīng)當(dāng)不覆蓋文檔創(chuàng)建者所選擇的錨點(diǎn)。這樣，總能夠 存在從圓指向外部并使EMM在各種位置上看起來(lái)更加一致的箭頭。3)為了使箭頭更短，該算法迫使圖標(biāo)注釋更加靠近錨點(diǎn)。4)所有EMM都會(huì)使用對(duì)于其陰影無(wú)窮遠(yuǎn)距離處的同一光源。5)在一個(gè)實(shí)施中，假設(shè)EMM模型具有用于陰影的在三維空間中的三級(jí)結(jié)構(gòu)。6)在特定的實(shí)施方式中，用于陰影的光來(lái)自左上方無(wú)限遠(yuǎn)距離處。2.用于估計(jì)圓內(nèi)的點(diǎn)量的快速算法根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，為了獲得特征邊界圓的最優(yōu)位置和尺寸、 或者圖標(biāo)注釋圓的最優(yōu)位置，系統(tǒng)需要對(duì)圓內(nèi)部的關(guān)鍵點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)。如果EMM顯著 改變了圖像局部特征，則在測(cè)量新的參數(shù)集(即，位置和尺寸)時(shí)該系統(tǒng)需要重新計(jì)算EMM 標(biāo)示的塊中的所有特征。這種過(guò)程會(huì)使得難以在合理的時(shí)間內(nèi)獲得最優(yōu)的參數(shù)集。由于根 據(jù)本發(fā)明的各種實(shí)施方式的EMM主要包括邊緣和陰影，在文檔塊中添加EMM不會(huì)使關(guān)鍵點(diǎn) 的數(shù)量減少太多。由于EMM邊緣能夠與靠近該邊緣的原始內(nèi)容形成新的特征，并且EMM透 明區(qū)域不會(huì)對(duì)原始特征有太多的影響，因此更有可能的是EMM會(huì)增加其局部區(qū)域中的關(guān)鍵點(diǎn)的數(shù)量。考慮這個(gè)因素，可以安全地使用頁(yè)面中的關(guān)鍵點(diǎn)分布而不需要EMM，以估計(jì)EMM 特征邊界圓或EMM媒體類(lèi)型圖標(biāo)邊界內(nèi)的真實(shí)特征的數(shù)量。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，即使本創(chuàng)造性系統(tǒng)能夠跳過(guò)用于測(cè)試各組 EMM參數(shù)的特征重新計(jì)算，但本系統(tǒng)仍然還需要對(duì)用許多不同的圓參數(shù)對(duì)圓內(nèi)部的關(guān)鍵點(diǎn) 的數(shù)量進(jìn)行計(jì)數(shù)。更具體地說(shuō)，該系統(tǒng)可能需要嘗試將每個(gè)像素的位置作為圓的圓心。另 外，還可能在獲得最優(yōu)方案之前嘗試多個(gè)半徑。因此，對(duì)于實(shí)際應(yīng)用而言，估計(jì)圓內(nèi)的點(diǎn)數(shù) 的算法必須是快速的。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，普通掃描的100DPI的頁(yè)面中關(guān)鍵點(diǎn)的數(shù) 量η可以達(dá)到幾千個(gè)。假設(shè)我們使用強(qiáng)力(robust-force)搜索方法，估計(jì)圓內(nèi)關(guān)鍵點(diǎn)的數(shù) 量的計(jì)算復(fù)雜度將是0 (η)。這對(duì)于實(shí)際使用也是耗時(shí)的。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，為了克服該計(jì)算復(fù)雜度問(wèn)題，我們?cè)O(shè)計(jì)了 用于估計(jì)圓內(nèi)的點(diǎn)的數(shù)量的快速算法。該算法基于關(guān)鍵點(diǎn)分布直方圖的積分圖像。為了利 用該算法，我們用圓內(nèi)部邊長(zhǎng)為V^R的正方形中的關(guān)鍵點(diǎn)數(shù)量來(lái)近似半徑為R的圓中的關(guān) 鍵點(diǎn)數(shù)量。圖3中例示了圓300和正方形301之間的關(guān)系。Nc表示圓300中的關(guān)鍵點(diǎn)數(shù) 量，而Ns表示正方形301中的關(guān)鍵點(diǎn)數(shù)量，可以得到NsS Ne。該近似可以保證當(dāng)正方形中 的關(guān)鍵點(diǎn)數(shù)量達(dá)到塊識(shí)別下限時(shí)，圓中有足夠多的關(guān)鍵點(diǎn)用于塊識(shí)別。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，圖4示出了疊在手冊(cè)頁(yè)面400上的關(guān)鍵點(diǎn) 401。對(duì)應(yīng)于圖4中的圖像，圖5中(a)示出了白色地圖中各黑色點(diǎn)為關(guān)鍵點(diǎn)的關(guān)鍵點(diǎn)分布 地圖501。圖5中(b)示出了各點(diǎn)的強(qiáng)度值等于在原點(diǎn)與該點(diǎn)之間的矩形框中的關(guān)鍵點(diǎn)的 數(shù)量的累積關(guān)鍵點(diǎn)分布圖502。在累積關(guān)鍵點(diǎn)分布圖中，各點(diǎn)處的值等于其左上區(qū)域中的 關(guān)鍵點(diǎn)的數(shù)量。假設(shè)圖像中的像素?cái)?shù)量是N，則獲得該累積關(guān)鍵點(diǎn)分布圖的計(jì)算復(fù)雜度為 O(N)。由于該算法僅需要計(jì)算該圖一次，并且本系統(tǒng)能夠針對(duì)各圖像預(yù)先計(jì)算該圖，當(dāng)文檔 創(chuàng)建者使用這種方法獲得最優(yōu)EMM布置時(shí)該圖的計(jì)算復(fù)雜度不會(huì)對(duì)優(yōu)化有太多影響。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，利用累積關(guān)鍵點(diǎn)圖，系統(tǒng)能夠在恒定時(shí)間 內(nèi)計(jì)算出正方形中的關(guān)鍵點(diǎn)數(shù)量。見(jiàn)圖6，假設(shè)圖6中的正方形AB⑶的邊平行于一個(gè)圖像 邊界或另一個(gè)，并且累積分布圖上的點(diǎn)A、B、C和D的值分別為ΝΑ、NB、NC和ND。結(jié)合圖3 中的圓，系統(tǒng)利用正方形中的關(guān)鍵點(diǎn)數(shù)量估計(jì)圓內(nèi)的關(guān)鍵點(diǎn)數(shù)量?？梢岳脠D5的累積關(guān) 鍵點(diǎn)分布來(lái)計(jì)算正方形內(nèi)的關(guān)鍵點(diǎn)數(shù)量。系統(tǒng)能夠利用下式確定正方形ABCD中的關(guān)鍵點(diǎn) 數(shù)量NSQ NSQ = NA+NC-NB-ND根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，根據(jù)該式，系統(tǒng)能夠利用一次加法和兩次 減法確定正方形中的關(guān)鍵點(diǎn)數(shù)量。這比利用兩次乘法、兩次加法和一次減法來(lái)確認(rèn)各關(guān)鍵 點(diǎn)的強(qiáng)力方法效率高得多。例如，如果用戶希望搜索具有3000個(gè)關(guān)鍵點(diǎn)的頁(yè)面中的最優(yōu)的 圓心，快速算法使用的計(jì)算大約要快3800倍。3.確定最優(yōu)特征邊界圓根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，利用估計(jì)圓中關(guān)鍵點(diǎn)數(shù)量的快速算法，系 統(tǒng)能夠嘗試將圓心放置在每個(gè)像素的位置處。此外，系統(tǒng)還需要知道最佳特征邊界圓的最 優(yōu)半徑。為得到該最優(yōu)半徑，本發(fā)明的實(shí)施方式利用下述二進(jìn)制搜索方法進(jìn)行優(yōu)化如果((radiushigh-radiuslow)> SMALLMARGIN)
如果在該半徑下的最大關(guān)鍵點(diǎn)數(shù)量KEYNUMLOWLIMIT (關(guān)鍵點(diǎn)數(shù)量的下限)，則獲 取使得圓能夠包括在該半徑下的最大關(guān)鍵點(diǎn)數(shù)量和錨點(diǎn)的圓心位置radiushigh = currentradius ；否則radiuslow = currentradius ；結(jié)束currentradius = (radiushigh+radiuslow)/2 ；結(jié)束如果使用125與250之間的多個(gè)圓半徑，則該二進(jìn)制搜索方法大約快18倍。4.確定媒體類(lèi)型圖標(biāo)的最優(yōu)包圍圓根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，因?yàn)槊襟w類(lèi)型圖標(biāo)具有固定尺寸，因此獲 得該圓的最優(yōu)位置是要獲得使得該圓包含最小關(guān)鍵點(diǎn)數(shù)的圓位置。除此優(yōu)化之外，還可以 使用前述規(guī)則2和3來(lái)使EMM看起來(lái)更漂亮。換句話說(shuō)，包圍圓的圓心和錨點(diǎn)之間的距離 應(yīng)當(dāng)大于包圍圓的半徑。此外，包圍圓應(yīng)當(dāng)靠近短指向箭頭的錨點(diǎn)。存在幾種方法來(lái)使箭 頭較短。一種方法是設(shè)置錨點(diǎn)和包圍圓的圓心之間的最大距離。另一方法是計(jì)算從(X，Y) 到(x，y)的矢量和從(X，Y)到(m，n)的矢量，并使這兩個(gè)矢量之間的夾角小于90°。當(dāng)前 實(shí)現(xiàn)方法中采用第二種方法。牛成EMM的圖形效果根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，因?yàn)榧埌嫖臋n中的圖形對(duì)象主要是二維空 間的，因此向EMM添加三維圖形效果可以進(jìn)一步便于從原始文檔中的其他圖形對(duì)象中分離 EMM。在我們當(dāng)前的實(shí)現(xiàn)方法中，我們使用三維空間中的三級(jí)EMM模型用于陰影。在圖7中 例示了三級(jí)EMM模型700。對(duì)于陰影，假設(shè)光來(lái)自文檔的左上方。為了模擬該效果，可以使 用索貝爾(sober)濾波器，之后使用二維濾波器。索貝爾濾波器具有系數(shù)[10;0-1]。二維 濾波器具有圖8中示出的沿其對(duì)角線方向的形狀800，并且對(duì)于所有其他濾波器的位置具 有零系數(shù)。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，通過(guò)將濾波結(jié)果與EMM邊緣組合，系統(tǒng)能 夠基于各黑白多媒體圖標(biāo)生成適當(dāng)?shù)腅MM圖形效果。圖9例示了典型的黑白多媒體圖標(biāo) 900和用圖形效果裝飾后的EMM 901。因?yàn)榧^是在找出最優(yōu)EMM參數(shù)集之后動(dòng)態(tài)地添加 到三級(jí)EMM模型的，因此箭頭的效果與其他EMM部分的圖形效果恰當(dāng)?shù)鼗旌稀８鶕?jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，圖10示出了將EMM與文檔頁(yè)面進(jìn)行阿爾法 混合的效果1000。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，實(shí)際上，用戶可以使用不規(guī)則形狀的EMM。 使用不規(guī)則形狀EMM的理由可以有 如果用戶總是能夠在正確的方向拍攝矩形EMM，則矩形EMM可以幫助機(jī)器加速特 征計(jì)算(跳過(guò)方向計(jì)算)。 為了不同的目的，例如節(jié)假日慶?；蚱放铺嵘?，EMM可以具有不同的不規(guī)則形狀。 適當(dāng)改變EMM形狀還可以有助于EMM標(biāo)示的塊識(shí)別?！?EMM形狀還可以用于傳達(dá)其他信息。 可以考慮改變EMM形狀以進(jìn)一步減小對(duì)原始文檔的干擾。圖11示出了一些不規(guī)則形狀的 EMM 1101-1104。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，定位不規(guī)則形狀EMM1200的一個(gè)簡(jiǎn)單方法 是將EMM的不規(guī)則形狀組件配合到用于盤(pán)狀EMM的優(yōu)化圓1201中。圖12中(a)例示了該 方法。該方法簡(jiǎn)單。然而，假設(shè)拍攝整個(gè)不規(guī)則形狀的EMM，該方法不能保證所拍攝圖像中 有足夠多的關(guān)鍵點(diǎn)。假設(shè)拍攝整個(gè)不規(guī)則形狀的EMM，下述方法(圖12中(b)中所示)能 夠保證所拍攝圖像中有足夠多的關(guān)鍵點(diǎn)。1.沿垂直的兩個(gè)方向投射不規(guī)則形狀1200，以產(chǎn)生兩個(gè)投影集1202和1203。2.對(duì)于各投影集1202和1203，生成不規(guī)則形狀的各具有不同旋轉(zhuǎn)角度的固定縱 橫比(例如4 3)的多個(gè)約束矩形1204-1、1204-2。矩形的數(shù)量和旋轉(zhuǎn)角可以設(shè)置為預(yù)定 數(shù)量，或設(shè)計(jì)成使得矩形以盡可能多的角與EMM的外周匹配。3.找出能夠被所有矩形覆蓋的基準(zhǔn)圓1205。4.獲得在基準(zhǔn)圓的圓心(即，最優(yōu)位置)與不規(guī)則形狀錨點(diǎn)之間的二維矢量。5.獲得表示基準(zhǔn)圓的最優(yōu)尺寸的基準(zhǔn)圓1205的半徑(即，最優(yōu)半徑)。6.在獲得最優(yōu)位置和圓尺寸之后，使用實(shí)際圓半徑與基準(zhǔn)圓半徑的比來(lái)縮放二維 矢量和不規(guī)定形狀，以對(duì)不規(guī)則形狀1200進(jìn)行定位。根據(jù)本發(fā)明的一個(gè)或更多個(gè)實(shí)施方式，已經(jīng)針對(duì)掃描后的文檔數(shù)據(jù)庫(kù)評(píng)估了下面 文檔檢索系統(tǒng)(underlying document retrieval system)的性能，并且EMM檢索精度為 99%以上。示例件EMM設(shè)計(jì)圖13-17例示了 EMM的特定示例性裝飾性設(shè)計(jì)，表示了各種數(shù)字媒體類(lèi)型的獲得 性。EMM的各種實(shí)施方式的裝飾性設(shè)計(jì)特征在于以下特征1.EMM通常打印在表面(例如，紙張、塑料)上?？梢酝ㄟ^(guò)膠印、柔性版印刷、染印、 噴墨、激光打印、凹版移印、凸版印刷、輪轉(zhuǎn)凹版印刷(rotogravure)、絲網(wǎng)印刷、電子攝影術(shù) 或任何其他在表面上產(chǎn)生標(biāo)記符的方法來(lái)實(shí)現(xiàn)打印。EMM還可以呈現(xiàn)在視頻顯示器(例如，電子閱讀器、IXD監(jiān)視器和電子紙 (e-paper))上。2. EMM具有特征邊界，例如圍繞媒體類(lèi)型圖標(biāo)邊界(例如小圓)的大圓。小圓表征 了媒體類(lèi)型圖標(biāo)(優(yōu)選是簡(jiǎn)單的圖標(biāo))以及附接的指向箭頭(見(jiàn)圖13-17)。EMM的外觀中 的這種一致性設(shè)計(jì)為使得用戶在頁(yè)面上非常迅速地找出EMM。這類(lèi)似于傳統(tǒng)網(wǎng)頁(yè)上簡(jiǎn)單著 色并加下劃線的超級(jí)鏈接。3.特征邊界(大圓)內(nèi)的媒體類(lèi)型圖標(biāo)邊界(小圓)的布置是可變的(見(jiàn)圖 13-17)。4.附接箭頭的位置和方向是可變的(見(jiàn)圖13-17)。5.媒體類(lèi)型圖標(biāo)邊界(小圓)和特征邊界(大圓)之間的尺寸關(guān)系是可變的。6. EMM疊在打印頁(yè)面上的其他標(biāo)記符上。通過(guò)僅調(diào)節(jié)用于打印包含EMM和下面的 圖像的頁(yè)面的文件的亮度信道，可以減輕對(duì)下面的標(biāo)記符的遮擋。EMM的實(shí)施方式改變下面 圖像的亮度?？梢赃x擇亮度信息，因?yàn)橥ㄟ^(guò)彩色和單色打印技術(shù)可以以較好的保真度再現(xiàn) 亮度信息。這種視覺(jué)效果是疊在打印頁(yè)面上的內(nèi)容的淺的、半透明標(biāo)記符。7. EMM的邊緣由陰影限定(見(jiàn)圖13_17)。所有的邊界都這樣限定。陰影的亮度效
n果大致是應(yīng)用于標(biāo)記符本體上的亮度效果的反色。這種視覺(jué)效果是暗的半透明陰影在EMM 邊界和內(nèi)部圖標(biāo)的邊界的周?chē)?。提供?shù) 字媒體的方法圖18例示了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的通過(guò)利用數(shù)據(jù)庫(kù)和物品提供數(shù)字媒體 的方法的示例性流程圖。根據(jù)本發(fā)明的一個(gè)實(shí)施方式，當(dāng)在1800接收到塊的圖像時(shí)，在 1801從圖像提取多個(gè)特征，并且在1802識(shí)別對(duì)應(yīng)于該EMM的數(shù)字媒體。如果需要，然后在 1803檢索并提供數(shù)字媒體。從圖像提取的特征可以包括向系統(tǒng)表示需要檢索什么索引的關(guān) 鍵點(diǎn)。牛產(chǎn)物品的方法圖19例示了制造包括直觀內(nèi)容和該內(nèi)容上的嵌入式媒體標(biāo)記符的物品的示例性 流程圖。首先，在1900，系統(tǒng)接收直觀內(nèi)容的位置選擇。在1901，根據(jù)該選擇來(lái)確定EMM的 位置和尺寸。隨后，在1902基于所確定的位置和尺寸對(duì)EMM進(jìn)行定位。圖20例示了系統(tǒng)的示例性功能圖。具有攝像頭2001的移動(dòng)裝置2000對(duì)焦到包含 EMM的文檔2002上，并向移動(dòng)裝置提供反饋。當(dāng)檢測(cè)到EMM時(shí)，移動(dòng)裝置參照數(shù)據(jù)庫(kù)2003 來(lái)確定EMM所涉及的內(nèi)容的類(lèi)型。數(shù)據(jù)庫(kù)向移動(dòng)裝置返回信息，然后移動(dòng)裝置可以執(zhí)行該 內(nèi)容。示例件移動(dòng)平臺(tái)圖21是例示了可以實(shí)現(xiàn)本創(chuàng)造性方法的實(shí)施方式的移動(dòng)平臺(tái)/遠(yuǎn)程服務(wù)器系統(tǒng) 2100的實(shí)施方式的框圖。系統(tǒng)2100包括移動(dòng)平臺(tái)210121和網(wǎng)絡(luò)資源2103。移動(dòng)平臺(tái)2101可以包括用于在移動(dòng)平臺(tái)2101的各種部件之間和當(dāng)中交換信息的 數(shù)據(jù)總線2104 ；以及用于處理信息和執(zhí)行其他計(jì)算和控制任務(wù)的、與總線2101連接的處理 器2105。移動(dòng)平臺(tái)2101還可以包括用于存儲(chǔ)各種信息以及由處理器2105執(zhí)行的指令的、 連接到總線2105的易失性存儲(chǔ)器2106 (例如，隨機(jī)存取存儲(chǔ)器(RAM))或其他動(dòng)態(tài)存儲(chǔ)裝 置。易失性存儲(chǔ)器2106還可以用于存儲(chǔ)處理器2105執(zhí)行指令期間的臨時(shí)變量或其他中 間信息。移動(dòng)平臺(tái)2101還可以包括用于存儲(chǔ)靜態(tài)信息和處理器2105的指令(例如基本 輸入輸出系統(tǒng)(BIOS))以及各種系統(tǒng)配置參數(shù)的、連接到總線2105的只讀存儲(chǔ)器(ROM或 EPR0M) 2107或其他靜態(tài)存儲(chǔ)裝置。提供永久存儲(chǔ)裝置2108 (例如磁盤(pán)、光盤(pán)或固態(tài)閃存存 儲(chǔ)裝置)并且永久存儲(chǔ)裝置2108連接到總線2101，用于存儲(chǔ)信息和指令。移動(dòng)平臺(tái)2101可以通過(guò)總線2105連接到用于向移動(dòng)平臺(tái)2101的系統(tǒng)管理員 或用戶顯示信息的顯示器2109(例如，陰極射線管(CRT)、等離子體顯示器或液晶顯示器 (IXD))上。顯示器2109可以用于觀看與本創(chuàng)造性EMM相關(guān)聯(lián)的數(shù)字媒體。包括字母數(shù)字 和其他鍵的輸入裝置2110連接到總線2101，用于向處理器2105傳送信息和命令選擇。另 一類(lèi)型的用戶輸入裝置是光標(biāo)控制裝置2111，例如鼠標(biāo)、軌跡球或光標(biāo)方向鍵，用于向處理 器2105傳送方向信息和命令選擇，并用于控制顯示器2109上的光標(biāo)移動(dòng)。該輸入裝置通 常具有兩個(gè)軸(第一軸(例如，χ)和第二軸(例如，y))上的兩個(gè)自由度，使得該裝置能夠 指定平面中的位置。攝像頭2112可以通過(guò)總線2105連接到移動(dòng)平臺(tái)2101，用于對(duì)具有本創(chuàng)造性EMM 的對(duì)象進(jìn)行拍照。本發(fā)明涉及使用計(jì)算機(jī)系統(tǒng)2100來(lái)實(shí)現(xiàn)這里描述的技術(shù)。在實(shí)施方式中，本創(chuàng)造性系統(tǒng)可以駐留在諸如移動(dòng)平臺(tái)2101的機(jī)器上。根據(jù)本發(fā)明的一個(gè)實(shí)施方式，這里描述的 技術(shù)通過(guò)響應(yīng)于執(zhí)行易失性存儲(chǔ)器2106中包含的一個(gè)或更多個(gè)指令中的一個(gè)或更多個(gè)序 列的處理器2105的計(jì)算機(jī)系統(tǒng)2100來(lái)執(zhí)行。這種指令可以從另一計(jì)算機(jī)可讀介質(zhì)(例如， 永久存儲(chǔ)裝置2108)讀入到易失性存儲(chǔ)器2106中。執(zhí)行易失性存儲(chǔ)器2106中包含的指令 序列使得處理器2105執(zhí)行這里描述的處理步驟。在替代實(shí)施方式中，硬線電路可以用于代 替軟件指令或者與軟件指令結(jié)合來(lái)實(shí)現(xiàn)本發(fā)明。因此，本發(fā)明的實(shí)施方式不限于硬件電路 和軟件的任何特定組合。這里使用的術(shù)語(yǔ)“計(jì)算機(jī)可 讀介質(zhì)”指的是參與向處理器2105提供用于執(zhí)行的指 令的任何介質(zhì)。計(jì)算機(jī)可讀介質(zhì)只是機(jī)器可讀介質(zhì)中的一個(gè)示例，其可以承載用于實(shí)現(xiàn)這 里所述的任何方法和/或技術(shù)的指令。這種介質(zhì)可以采取許多形式，包括但不限于非易失 性介質(zhì)和易失性介質(zhì)。非易失性介質(zhì)例如包括光盤(pán)或磁盤(pán)，例如存儲(chǔ)裝置2108。易失性介 質(zhì)包括動(dòng)態(tài)存儲(chǔ)器，例如，易失性存儲(chǔ)器2106。計(jì)算機(jī)可讀介質(zhì)的一般形式例如包括軟盤(pán)、軟磁盤(pán)、硬盤(pán)、磁帶或任何其他磁介 質(zhì)、CD-ROM、任何其他光介質(zhì)、穿孔卡、紙帶、任何其他具有孔圖案的物理介質(zhì)、RAM、PROM、 EPROM、FLASH-EPR0M、閃驅(qū)、存儲(chǔ)卡、任何其他存儲(chǔ)芯片或盒、或計(jì)算機(jī)可讀的任何其他介質(zhì)。各種形式的計(jì)算機(jī)可讀介質(zhì)可能涉及承載給處理器2105的一個(gè)或更多個(gè)指令的 一個(gè)或更多個(gè)序列用于執(zhí)行。例如，指令可以初始時(shí)承載在遠(yuǎn)程計(jì)算機(jī)的磁盤(pán)上?；蛘撸h(yuǎn) 程計(jì)算機(jī)可以將指令載入到其動(dòng)態(tài)存儲(chǔ)器中并利用調(diào)制解調(diào)器在電話線路上發(fā)送指令。計(jì) 算機(jī)系統(tǒng)本地的調(diào)制解調(diào)器能夠接收電話線路上的數(shù)據(jù)并利用紅外發(fā)射器將該數(shù)據(jù)轉(zhuǎn)換 成紅外信號(hào)。紅外檢測(cè)器能夠接收紅外信號(hào)中所承載的數(shù)據(jù)并且適當(dāng)?shù)碾娐纺軌驅(qū)⒃摂?shù)據(jù) 放到數(shù)據(jù)總線2105上。總線2105可以將數(shù)據(jù)承載到易失性存儲(chǔ)器2106，處理器2105從該 易失性存儲(chǔ)器2106檢索指令并執(zhí)行?？蛇x地，易失性存儲(chǔ)器2106所接收的指令可以在由 處理器2105執(zhí)行之前或之后存儲(chǔ)在永久存儲(chǔ)裝置2108上。這些指令還可以通過(guò)利用了本 領(lǐng)域中公知的各種網(wǎng)絡(luò)數(shù)據(jù)通信協(xié)議的互聯(lián)網(wǎng)下載到移動(dòng)平臺(tái)2101中。移動(dòng)平臺(tái)2101還包括連接到數(shù)據(jù)總線2105的通信接口，例如網(wǎng)絡(luò)接口卡2113。 通信接口 2113提供了連接到網(wǎng)絡(luò)鏈接2115的雙向數(shù)據(jù)通信，網(wǎng)絡(luò)鏈接2115與本地網(wǎng)2115 連接。例如，通信接口 2113可以是集成業(yè)務(wù)數(shù)字網(wǎng)絡(luò)(ISDN)卡或者向相應(yīng)類(lèi)型電話線路 提供數(shù)據(jù)通信連接的調(diào)制解調(diào)器。作為另一示例，通信接口 2113可以是向兼容LAN提供數(shù) 據(jù)通信連接的局域網(wǎng)接口卡(LAN NIC)。諸如公知的802. lla、802. lib,802. Ilg和藍(lán)牙的 無(wú)線鏈接也可以用于網(wǎng)絡(luò)實(shí)現(xiàn)。在任何這樣的實(shí)現(xiàn)中，通信接口 2113發(fā)送和接收承載了表 示各種類(lèi)型信息的數(shù)字?jǐn)?shù)據(jù)流的電、電磁或光信號(hào)。網(wǎng)絡(luò)鏈接2113通常提供通過(guò)一個(gè)或更多個(gè)網(wǎng)絡(luò)到其他網(wǎng)絡(luò)資源的數(shù)據(jù)通信。例 如，網(wǎng)絡(luò)鏈接2115可以提供通過(guò)本地網(wǎng)絡(luò)2115到主機(jī)2116或網(wǎng)絡(luò)存儲(chǔ)器/服務(wù)器2122 的連接。存儲(chǔ)器/服務(wù)器2122可以用于存儲(chǔ)和檢索與本創(chuàng)造性EMM相關(guān)聯(lián)的數(shù)字媒體，所 述數(shù)字媒體可以經(jīng)由網(wǎng)絡(luò)2115發(fā)送到移動(dòng)平臺(tái)2101。作為附加或者替代，網(wǎng)絡(luò)鏈接2113 可以通過(guò)網(wǎng)關(guān)/防火墻2117連接到廣域或全球網(wǎng)2118，例如互聯(lián)網(wǎng)。因此，移動(dòng)平臺(tái)2101 能夠訪問(wèn)互聯(lián)網(wǎng)2118上任何地方的網(wǎng)絡(luò)資源，例如，遠(yuǎn)程網(wǎng)絡(luò)存儲(chǔ)器/服務(wù)器2119。另一 方面，移動(dòng)平臺(tái)2101還可以被位于局域網(wǎng)2115和/或互聯(lián)網(wǎng)2118上任何地方的客戶端訪問(wèn)。網(wǎng)絡(luò)客戶端2120和2121本身可以基于類(lèi)似于平臺(tái)2101的移動(dòng)平臺(tái)實(shí)現(xiàn)。局域網(wǎng)2115和互聯(lián)網(wǎng)2118都使用承載了數(shù)字?jǐn)?shù)據(jù)流的電、電磁或光信號(hào)。通過(guò)各 種網(wǎng)絡(luò)的信號(hào)和網(wǎng)絡(luò)鏈接2115上的和通過(guò)通信接口 2113 (其承載來(lái)自/至移動(dòng)平臺(tái)2101 的數(shù)字?jǐn)?shù)據(jù))的信號(hào)是傳輸信息的載波的示例性形式。移動(dòng)平臺(tái)2101可以通過(guò)包括互聯(lián)網(wǎng)2118和LAN2115的各種網(wǎng)絡(luò)、網(wǎng)絡(luò)鏈接2115 和通信接口 2113發(fā)送消息和接收包括程序代碼的數(shù)據(jù)。在互聯(lián)網(wǎng)示例中，當(dāng)系統(tǒng)2101用作 網(wǎng)絡(luò)服務(wù)器時(shí)，它可能通過(guò)互聯(lián)網(wǎng)2118、網(wǎng)關(guān)/防火墻2117、局域網(wǎng)2115和通信接口 2113， 為客戶端2120和/或2121上運(yùn)行的應(yīng)用程序發(fā)送所請(qǐng)求的代碼或數(shù)據(jù)。類(lèi)似地，它可以 從其他網(wǎng)絡(luò)資源接收代碼。接收的代碼可以在接收到它時(shí)由處理器2105執(zhí)行，和/或分別存儲(chǔ)在永久或易失 性存儲(chǔ)裝置2108和2106或其他非易失性存儲(chǔ)器中用于以后的執(zhí)行。最后，應(yīng)當(dāng)理解的是，這里描述的處理和技術(shù)并不是固有地與任何特定裝置相關(guān) 而是可以通過(guò)任何合適的組件的組合來(lái)實(shí)現(xiàn)。此外，可以根據(jù)這里描述的教導(dǎo)使用各種 類(lèi)型的通用裝置。還證明了構(gòu)造專(zhuān)用裝置以執(zhí)行這里描述的方法步驟是有利的。已經(jīng)與 特定示例相關(guān)地描述了本發(fā)明，這些示例從任何方面來(lái)說(shuō)目的都是說(shuō)明性而不是限制性 的。本領(lǐng)域的技術(shù)人員可以理解的是，硬件、軟件和固件的許多不同組合都適于實(shí)踐本發(fā) 明。例如，所述軟件可以以各種不同編程或描述語(yǔ)言來(lái)實(shí)現(xiàn)，例如，ASSembler、C/C++、perl、 shell、PHP、Java 等。 此外，根據(jù)這里公開(kāi)的本發(fā)明的說(shuō)明書(shū)及實(shí)踐，本發(fā)明的其他實(shí)現(xiàn)對(duì)于本領(lǐng)域的 技術(shù)人員是明顯的。所述實(shí)施方式的各個(gè)方面和/或組件可以單獨(dú)或者以任何組合用于系 統(tǒng)中，以生成和利用嵌入式媒體標(biāo)記符和實(shí)現(xiàn)了這種嵌入式媒體標(biāo)記符的物品。說(shuō)明書(shū)和 示例應(yīng)該是僅僅看作示例性，本發(fā)明的實(shí)際范圍和精神由所附權(quán)利要求書(shū)表示。
權(quán)利要求
1.一種通過(guò)利用數(shù)據(jù)庫(kù)和物品提供數(shù)字媒體的計(jì)算機(jī)實(shí)現(xiàn)方法，所述數(shù)據(jù)庫(kù)存儲(chǔ)與預(yù) 定空間中被可視化的內(nèi)容的一部分相對(duì)應(yīng)的信息集，該信息集包括所述部分內(nèi)的多個(gè)特征 以及與所述部分相對(duì)應(yīng)的嵌入式數(shù)字媒體，其中，內(nèi)容的所述部分具有包括足以識(shí)別內(nèi)容 的所述部分的所述多個(gè)特征的區(qū)域，所述物品保持內(nèi)容的所述部分和在所述內(nèi)容的所述部 分上的至少一個(gè)嵌入式媒體標(biāo)記符，所述嵌入式媒體標(biāo)記符包括根據(jù)內(nèi)容的所述部分定位 的可視的特征邊界，所述計(jì)算機(jī)實(shí)現(xiàn)方法包括以下步驟a.從請(qǐng)求方接收包括所述物品上的所述嵌入式媒體標(biāo)記符的圖像的塊的圖像；b.在所述塊的所述圖像內(nèi)提取多個(gè)特征；c.通過(guò)將所提取的多個(gè)特征與所述信息集中的所述多個(gè)特征進(jìn)行比較，來(lái)識(shí)別與所述 嵌入式媒體標(biāo)記符相對(duì)應(yīng)的所述嵌入式數(shù)字媒體；d.檢索所識(shí)別出的嵌入式數(shù)字媒體；以及e.向所述請(qǐng)求方提供檢索到的數(shù)字媒體。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述嵌入式媒體標(biāo)記符還包括媒體 類(lèi)型指示符，該媒體類(lèi)型指示符包括設(shè)置在媒體類(lèi)型邊界內(nèi)的媒體類(lèi)型圖標(biāo)，所述媒體類(lèi) 型圖標(biāo)表示所述嵌入式數(shù)字媒體的媒體類(lèi)型。
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述方法還包括從所述塊的所述圖 像中識(shí)別所述嵌入式媒體標(biāo)記符，其中，從所述特征邊界內(nèi)提取所述多個(gè)特征。
4.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述多個(gè)特征包括圖像特征。
5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述嵌入式媒體標(biāo)記符與所述物品 的所述被可視化的內(nèi)容進(jìn)行α混合。
6.一種物品，該物品包括a.所述物品的表面上的被可視化的內(nèi)容；以及b.疊在所述被可視化的內(nèi)容上的嵌入式媒體標(biāo)記符，所述嵌入式媒體標(biāo)記符包括圍繞 所述被可視化的內(nèi)容的多個(gè)特征的可視的特征邊界，其中，包括所述特征邊界內(nèi)的所述多 個(gè)特征的信息集和與所述嵌入式媒體標(biāo)記符相對(duì)應(yīng)的嵌入式數(shù)字媒體對(duì)象存儲(chǔ)在數(shù)據(jù)庫(kù) 中。
7.根據(jù)權(quán)利要求6所述的物品，其中，所述物品是二維表面介質(zhì)。
8.根據(jù)權(quán)利要求6所述的物品，其中，所述嵌入式媒體標(biāo)記符與所述物品的所述被可 視化的內(nèi)容進(jìn)行α混合。
9.根據(jù)權(quán)利要求6所述的物品，其中，所述嵌入式媒體標(biāo)記符還包括媒體類(lèi)型指示符， 該媒體類(lèi)型指示符包括媒體類(lèi)型邊界，其中，所述媒體類(lèi)型指示符設(shè)置在所述特征邊界內(nèi)。
10.根據(jù)權(quán)利要求9所述的物品，其中，所述嵌入式媒體標(biāo)記符的所述媒體類(lèi)型指示符 還包括設(shè)置在所述媒體類(lèi)型邊界內(nèi)的媒體類(lèi)型圖標(biāo)，其中，所述媒體類(lèi)型指示符是所述嵌 入式數(shù)字媒體對(duì)象的媒體類(lèi)型的圖形表示。
11.根據(jù)權(quán)利要求9所述的物品，其中，所述媒體類(lèi)型指示符還包括指向所述被可視化 的內(nèi)容內(nèi)的位置的箭頭，并且其中，所述嵌入式媒體標(biāo)記符表示與所述被可視化的內(nèi)容內(nèi) 的所述位置相關(guān)聯(lián)的所述媒體對(duì)象的可用性。
12.根據(jù)權(quán)利要求6所述的物品，其中所述特征，其中，所述媒體類(lèi)型指示符設(shè)置在所 述特征邊界內(nèi)。
13.根據(jù)權(quán)利要求6所述的物品，其中，所述嵌入式媒體標(biāo)記符的一個(gè)或多個(gè)邊緣由陰 影圖形效果限定。
14.根據(jù)權(quán)利要求6所述的物品，其中，所述多個(gè)特征包括圖像特征。
15.根據(jù)權(quán)利要求6所述的物品，其中，所述嵌入式媒體標(biāo)記符包括呈現(xiàn)三維的圖形效果。
16.一種用于制造包括被可視化的內(nèi)容和在該內(nèi)容上的嵌入式媒體標(biāo)記符的物品的計(jì) 算機(jī)實(shí)現(xiàn)方法，該計(jì)算機(jī)實(shí)現(xiàn)方法包括以下步驟a.接收對(duì)所述物品的所述被可視化的內(nèi)容上的位置的選擇；b.基于在所述嵌入式媒體標(biāo)記符內(nèi)的所選擇位置附近的所述被可視化的內(nèi)容的多個(gè) 特征的數(shù)量，來(lái)確定所述嵌入式媒體標(biāo)記符的位置和尺寸；以及c.基于所確定的位置和尺寸，將所述嵌入式媒體標(biāo)記符定位在所述物品上，其中，所述 嵌入式媒體標(biāo)記符表示與所述被可視化的內(nèi)容內(nèi)的位置相關(guān)聯(lián)的數(shù)字媒體對(duì)象的獲得性。
17.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述嵌入式媒體標(biāo)記符包括可視 的特征邊界，并且所述特征邊界表示包含足以識(shí)別所述內(nèi)容中的所選擇部分的所述多個(gè)特 征的區(qū)域。
18.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)實(shí)現(xiàn)方法，該計(jì)算機(jī)實(shí)現(xiàn)方法還包括將所述嵌入式 媒體標(biāo)記符與所述物品的所述被可視化的內(nèi)容進(jìn)行α混合。
19.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述嵌入式媒體標(biāo)記符還包括媒 體類(lèi)型指示符，該媒體類(lèi)型指示符包括媒體類(lèi)型邊界，其中，所述媒體類(lèi)型指示符設(shè)置在所 述特征邊界內(nèi)。
20.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述嵌入式媒體標(biāo)記符的媒體類(lèi) 型指示符還包括設(shè)置在所述媒體類(lèi)型邊界內(nèi)的媒體類(lèi)型圖標(biāo)，其中，所述媒體類(lèi)型圖標(biāo)是 所述數(shù)字媒體對(duì)象的媒體類(lèi)型的圖形表示。
21.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述媒體類(lèi)型指示符還包括指向 所述被可視化的內(nèi)容內(nèi)的、與所述數(shù)字媒體對(duì)象相關(guān)的所述位置的箭頭。
22.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述嵌入式媒體標(biāo)記符的一個(gè)或 多個(gè)邊緣由陰影效果限定。
23.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，將所述嵌入式媒體標(biāo)記符定位在 所述物品上的步驟包括以下步驟a.沿垂直的兩個(gè)方向投射所述嵌入式媒體標(biāo)記符的形狀，以獲得第一投影和第二投影；b.針對(duì)所述第一投影和所述第二投影中的每一個(gè)，生成所述嵌入式媒體標(biāo)記符的形狀 的固定縱橫比的約束矩形，以形成多個(gè)約束矩形；c.確定能夠被所述多個(gè)約束矩形中各約束矩形覆蓋的基準(zhǔn)圓；d.生成所述基準(zhǔn)圓的圓心和所述位置之間的二維矢量；e.確定所述基準(zhǔn)圓的半徑；f.利用所述嵌入式媒體標(biāo)記符的半徑與所述基準(zhǔn)圓的半徑的比，來(lái)縮放所述二維矢量 和所述嵌入式媒體標(biāo)記符，以對(duì)所述嵌入式媒體標(biāo)記符進(jìn)行定位。
24.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，確定所述嵌入式媒體標(biāo)記符的位置和尺寸的步驟包括確定特征邊界圓的圓心、特征邊界圓的半徑和媒體類(lèi)型圓的圓心中的至少一項(xiàng)。
25.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述多個(gè)特征包括圖像特征。
26.根據(jù)權(quán)利要求M所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中，確定所述嵌入式媒體標(biāo)記符的位 置和尺寸的步驟還包括，通過(guò)估計(jì)所確定的所述嵌入式媒體標(biāo)記符的位置和尺寸內(nèi)的特征 數(shù)，來(lái)確定所述嵌入式媒體標(biāo)記符內(nèi)是否存在足夠的特征。
27.根據(jù)權(quán)利要求沈所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中，估計(jì)所述特征數(shù)的步驟包括求出 與所述特征邊界圓近似的正方形；并且基于所述內(nèi)容的累積關(guān)鍵點(diǎn)分布圖確定所求出的正 方形內(nèi)的特征數(shù)。
28.一種存儲(chǔ)用于利用數(shù)據(jù)庫(kù)和物品提供數(shù)字媒體的指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所 述數(shù)據(jù)庫(kù)存儲(chǔ)與預(yù)定空間中被可視化的內(nèi)容的一部分相對(duì)應(yīng)的信息集，該信息集包括內(nèi)容 的所述部分內(nèi)的多個(gè)特征以及與所述部分相對(duì)應(yīng)的嵌入式數(shù)字媒體，內(nèi)容的所述部分具有 包括足以識(shí)別內(nèi)容的所述部分的所述多個(gè)特征的區(qū)域，所述物品保持內(nèi)容的所述部分和在 內(nèi)容的所述部分上的至少一個(gè)嵌入式媒體標(biāo)記符，所述嵌入式媒體標(biāo)記符包括根據(jù)所述內(nèi) 容的所述部分定位的可視的特征邊界，在所述處理器執(zhí)行所述指令時(shí)執(zhí)行包括以下步驟的 方法a.從請(qǐng)求方接收包括所述物品上的所述嵌入式媒體標(biāo)記符的圖像的塊的圖像；b.提取所述塊的所述圖像內(nèi)的多個(gè)特征；c.通過(guò)將所提取的多個(gè)特征與所述信息集中的所述多個(gè)特征進(jìn)行比較，來(lái)識(shí)別與所述 嵌入式媒體標(biāo)記符相對(duì)應(yīng)的所述嵌入式數(shù)字媒體；d.檢索所述嵌入式數(shù)字媒體；以及向所述請(qǐng)求方提供檢索到的數(shù)字媒體。
29.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述嵌入式媒體標(biāo)記符還包 括媒體類(lèi)型指示符，該媒體類(lèi)型指示符包括設(shè)置在媒體類(lèi)型邊界內(nèi)的媒體類(lèi)型圖標(biāo)，該媒 體類(lèi)型圖標(biāo)表示所述嵌入式數(shù)字媒體的媒體類(lèi)型。
30.根據(jù)權(quán)利要求四所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述指令還包括從所述塊的 所述圖像識(shí)別所述嵌入式媒體標(biāo)記符，其中，從所述特征邊界內(nèi)提取所述多個(gè)特征。
31.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述多個(gè)特征包括圖像特征。
32.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述嵌入式媒體標(biāo)記符與所 述物品的所述被可視化的內(nèi)容進(jìn)行α混合。
33.一種用于提供數(shù)字媒體的計(jì)算機(jī)實(shí)現(xiàn)方法，所述數(shù)字媒體包括具有內(nèi)容和嵌入式 媒體標(biāo)記符的文檔，所述嵌入式媒體標(biāo)記符表示與基于所述文檔的塊內(nèi)的多個(gè)特征的索引 信息相關(guān)聯(lián)的數(shù)字媒體對(duì)象；a.從請(qǐng)求方接收包括所述嵌入式媒體標(biāo)記符的圖像的所述文檔的至少一部分的圖像， 所述嵌入式媒體標(biāo)記符具有圍繞所述文檔的一部分并且限定了所述文檔的所述塊的特征 邊界以及在所述特征邊界內(nèi)的、圍繞媒體圖標(biāo)的媒體類(lèi)型邊界；b.識(shí)別所接收到的圖像內(nèi)的所述嵌入式媒體標(biāo)記符的所述特征邊界；c.基于識(shí)別出的特征邊界，在所述塊的所述圖像內(nèi)提取多個(gè)特征，其中，所述多個(gè)特征 是所述文檔的特征；d.通過(guò)將所提取的多個(gè)特征和與所述數(shù)字媒體對(duì)象相關(guān)聯(lián)地存儲(chǔ)的所述索引信息進(jìn) 行比較，來(lái)識(shí)別與所述嵌入式媒體標(biāo)記符相對(duì)應(yīng)的所述數(shù)字媒體對(duì)象；e.檢索所識(shí)別的數(shù)字媒體對(duì)象；以及f.向所述請(qǐng)求方提供檢索到的數(shù)字媒體對(duì)象。
34.根據(jù)權(quán)利要求33所述的計(jì)算機(jī)實(shí)現(xiàn)方法，該計(jì)算機(jī)實(shí)現(xiàn)方法還包括識(shí)別所述嵌入 式媒體標(biāo)記符內(nèi)的所述媒體圖標(biāo)，并利用所識(shí)別出的媒體圖標(biāo)來(lái)識(shí)別所述數(shù)字媒體對(duì)象。
全文摘要
本發(fā)明涉及嵌入式媒體標(biāo)記符及生成和使用其的系統(tǒng)和方法。嵌入式媒體標(biāo)記符(EMM)是有濾光器視覺(jué)效果的疊置標(biāo)記符，其能夠打印在紙版文檔的局部區(qū)域以表示存在與文檔的該部分相關(guān)聯(lián)的媒體。用戶利用移動(dòng)電話攝像頭對(duì)EMM標(biāo)示的文檔塊進(jìn)行拍照，并且檢索與EMM標(biāo)示的文檔位置相關(guān)聯(lián)的媒體并顯示在電話上。不象條形碼，EMM幾乎是透明的，從而不干擾文檔內(nèi)容。與EMM相關(guān)聯(lián)的媒體的檢索是基于所拍攝的EMM標(biāo)示的文檔塊中的圖像局部特征的。我們的發(fā)明采用用戶可干預(yù)的自動(dòng)技術(shù)將EMM置于文檔的一個(gè)位置上，這種技術(shù)以EMM對(duì)原始文檔干擾最小的方式包圍足夠多的識(shí)別特征。
文檔編號(hào)G06K19/06GK102110235SQ201010591230
公開(kāi)日2011年6月29日 申請(qǐng)日期2010年12月15日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者劉瓊, 安東尼·鄧尼根, 廖春元, 林恩·威爾克斯, 柳美燕 申請(qǐng)人:富士施樂(lè)株式會(huì)社