專利名稱：一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多媒體信息檢索方法，特別涉及一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，屬于多媒體信息檢索技術(shù)領(lǐng)域。
背景技術(shù)：
互聯(lián)網(wǎng)作為人們工作和娛樂的主要媒介，其中包含了海量的圖像、視頻和音頻等多媒體信息，人們希望對多媒體信息檢索時能夠迅速而準(zhǔn)確，快捷高效的多媒體信息檢索方法成為多媒體信息檢索技術(shù)領(lǐng)域的重要研究內(nèi)容。各類多媒體都具有低層語義和高層語義，低層語義主要以多媒體內(nèi)容為主，高層語義是指人類思維中針對多媒體的邏輯概念，高層語義越接近人類思維，其語義層次越高?，F(xiàn)有的以低層語義結(jié)構(gòu)索引檢索為主的多媒體信息檢索方法，存在檢索效率低的問題，如申請?zhí)枮?011101868592的專利《一種基于XML 的交互應(yīng)用多媒體信息檢索方法》即以多媒體內(nèi)容附加文本信息的結(jié)構(gòu)索引進(jìn)行檢索；現(xiàn)有的采用高層語義結(jié)構(gòu)索引檢索的軟件和方法，存在不能直接檢索、檢索媒體類型單一和索引結(jié)構(gòu)適應(yīng)性差等問題，如軟件wordnet和homenet只體現(xiàn)字詞之間的關(guān)系而不能直接檢索多媒體信息，申請?zhí)?009100915118的專利《視頻高層特征檢索系統(tǒng)及其實(shí)現(xiàn)》只能針對視頻類媒體進(jìn)行檢索。發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種快捷高效、準(zhǔn)確度高、媒體類型適應(yīng)范圍廣的基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法。該方法采用矩陣裂變法及其結(jié)合率和乘法分配率對多媒體高層語義矩陣進(jìn)行裂變并建立多媒體高層語義結(jié)構(gòu)索引模型， 多媒體高層語義結(jié)構(gòu)索引模型中的各語義分支數(shù)據(jù)及其權(quán)重被存儲在一個XML結(jié)構(gòu)中，采用最近檢索語義分支權(quán)重優(yōu)先法進(jìn)行多媒體信息檢索。
本發(fā)明通過下述技術(shù)方案予以實(shí)現(xiàn)
一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，包括以下步驟
步驟A 采集多媒體高層語義信息并建立多媒體高層語義矩陣，該矩陣中的元素代表多媒體的高層語義信息；
步驟B 采用矩陣裂變法、矩陣裂變法的結(jié)合律和矩陣裂變法的乘法分配律建立多媒體高層語義結(jié)構(gòu)索引模型；
步驟C:建立一個XML結(jié)構(gòu)，用來存儲所建立的多媒體高層語義結(jié)構(gòu)索引模型中的各語義分支數(shù)據(jù)及其權(quán)重；
步驟D 采用最近檢索語義分支權(quán)重優(yōu)先法進(jìn)行多媒體信息檢索。
所述的步驟B中矩陣裂變法定義為一個二維矩陣可以裂變?yōu)閮蓚€二維矩陣的裂變和；
其數(shù)學(xué)式為
權(quán)利要求
1.一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，包括以下步驟步驟A 采集多媒體高層語義信息并建立多媒體高層語義矩陣，該矩陣中的元素代表多媒體的高層語義信息；步驟B 采用矩陣裂變法、矩陣裂變法的結(jié)合律和矩陣裂變法的乘法分配律建立多媒體高層語義結(jié)構(gòu)索引模型；步驟C 建立一個XML結(jié)構(gòu)，用來存儲所建立的多媒體高層語義結(jié)構(gòu)索引模型中的各語義分支數(shù)據(jù)及其權(quán)重；步驟D 采用最近檢索語義分支權(quán)重優(yōu)先法進(jìn)行多媒體信息檢索。
2.根據(jù)權(quán)利要求1所述的一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，所述的步驟B中的矩陣裂變法定義為一個二維矩陣可以裂變?yōu)閮蓚€二維矩陣的裂變和；其數(shù)學(xué)式為
3.根據(jù)權(quán)利要求1所述的一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，所述的步驟B中的矩陣裂變法的結(jié)合律定義為三個矩陣求裂變和，即可以先求前兩個矩陣的裂變和，也可以先求后兩個矩陣的裂變和，最后結(jié)果相同；其數(shù)學(xué)式為
4.根據(jù)權(quán)利要求1所述的一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，所述的步驟B中的矩陣裂變法的乘法分配律定義為實(shí)數(shù)L乘以兩個矩陣的裂變和，其結(jié)果等于實(shí)數(shù)L分別乘以兩個矩陣之后求裂變和；其數(shù)學(xué)式為L([V。d]exD:[Wrf]ExF) = L[V。d]exDiL[Wrf]ExF。
5.根據(jù)權(quán)利要求1所述的一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，所述的步驟C中的語義分支權(quán)重的數(shù)學(xué)式為
6.根據(jù)權(quán)利要求2或3或4所述的一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，所述的矩陣裂變法將多媒體高層語義矩陣裂變成多媒體高層語義結(jié)構(gòu)索引模型中第一語義層上的各語義分支，再將第一語義層上的各語義分支向下逐層裂變；裂變后形成的不同語義層上各語義分支之間的關(guān)系根據(jù)矩陣裂變法的結(jié)合律來建立；同一語義層上的各語義分支權(quán)重分配關(guān)系根據(jù)矩陣裂變法的乘法分配律來建立，可以成倍的增加或降低各語義分支權(quán)重；從而建立起完整的多媒體高層語義結(jié)構(gòu)索引模型。
7.根據(jù)權(quán)利要求1所述的一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，所述的步驟D中的最近檢索語義分支權(quán)重優(yōu)先法在用戶提出檢索要求后，設(shè)變量Iq = 1 ；之后的檢索步驟包括步驟1 查找XML結(jié)構(gòu)中第一層上未做標(biāo)記的各語義分支中的權(quán)重最大者，ki自增；如果該權(quán)重最大者符合檢索要求，為該語義分支做標(biāo)記，1 = 1，轉(zhuǎn)步驟2 ；如果該權(quán)重最大者不符合檢索要求，則排除該權(quán)重最大者并繼續(xù)在第一層中查找其他未做標(biāo)記的各語義分支中的權(quán)重最大者，Iq自增；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者符合檢索要求， 給該語義分支做標(biāo)記，k2 = 1，轉(zhuǎn)步驟2 ；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者不符合檢索要求，則繼續(xù)查找，循環(huán)往復(fù)，直到Ic1 > g (1)，轉(zhuǎn)步驟n+1 ；步驟2 查找XML結(jié)構(gòu)中第二層上未做標(biāo)記的各語義分支中的權(quán)重最大者，k2自增；如果該權(quán)重最大者符合檢索要求，為該語義分支做標(biāo)記，k3 = 1，轉(zhuǎn)步驟3 ；如果該權(quán)重最大者不符合檢索要求，則排除該權(quán)重最大者并繼續(xù)在第二層中查找其他未做標(biāo)記的各語義分支中的權(quán)重最大者，k2自增；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者符合檢索要求， 給該語義分支做標(biāo)記，k3 = 1，轉(zhuǎn)步驟3 ；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者不符合檢索要求，則繼續(xù)查找，循環(huán)往復(fù)，直到1 > gO)，轉(zhuǎn)步驟1 ；步驟3 查找XML結(jié)構(gòu)中第三層上未做標(biāo)記的各語義分支中的權(quán)重最大者，k3自增；如果該權(quán)重最大者符合檢索要求，為該語義分支做標(biāo)記，k4 = 1，轉(zhuǎn)步驟4 ；如果該權(quán)重最大者不符合檢索要求，則排除該權(quán)重最大者并繼續(xù)在第三層中查找其他未做標(biāo)記的各語義分支中的權(quán)重最大者，k3自增；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者符合檢索要求， 給該語義分支做標(biāo)記，k4 = 1，轉(zhuǎn)步驟4 ；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者不符合檢索要求，則繼續(xù)查找，循環(huán)往復(fù)，直到k3 > g(3)，轉(zhuǎn)步驟2 ； 步驟4至步驟n-1依次類推；步驟η 查找XML結(jié)構(gòu)中第η層上未做標(biāo)記的各語義分支中的權(quán)重最大者，kn自增；如果該權(quán)重最大者符合檢索要求，為該語義分支做標(biāo)記，轉(zhuǎn)步驟n+1 ；如果該權(quán)重最大者不符合檢索要求，則排除該權(quán)重最大者并繼續(xù)在第η層中查找其他未做標(biāo)記的各語義分支中的權(quán)重最大者，kn自增；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者符合檢索要求，給該語義分支做標(biāo)記，轉(zhuǎn)步驟n+1 ；如果其他未做標(biāo)記的各語義分支中的權(quán)重最大者不符合檢索要求，則繼續(xù)查找，循環(huán)往復(fù)，直到kn >g(n),轉(zhuǎn)步驟n-1 ；步驟n+1 如果存在符合檢索要求的結(jié)果，將符合檢索要求的結(jié)果通知用戶，進(jìn)行語義分支權(quán)重調(diào)整并存入XML結(jié)構(gòu)；如果不存在符合檢索要求的結(jié)果，通知用戶未檢索到，不進(jìn)行語義分支權(quán)重調(diào)整； 步驟1至步驟n+1中kn為第η語義層上進(jìn)行語義分支檢索的次數(shù)； g(n)為第η語義層上語義分支的數(shù)目； η為語義層數(shù)。
8.根據(jù)權(quán)利要求7所述的一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，其特征是，所述的步驟n+1中的語義分支權(quán)重調(diào)整的數(shù)學(xué)式為Pfff(Y1Ixj) = Pte(Y1Ixj)+^- Σ Ρ新(仏)；Ρ新(ykh) = P初(ykl\)(i-去)；mj k=l，k孟ιmj式中Yi為由\向下裂變出的語義分支中符合檢索要求的語義分支；yk為由\向下裂變出的語義分支中不符合檢索要求的語義分支；Pli (YiIXj)為由\向下裂變出的語義分支中符合檢索要求的語義分支的新的權(quán)重值；Pft (Yi I Xj)為由\向下裂變出的語義分支中符合檢索要求的語義分支的初始權(quán)重值；Pli(YkIxj)為由\向下裂變出的語義分支中不符合檢索要求的語義分支的新的權(quán)重值；Pft (YkIxj)為由\向下裂變出的語義分支中不符合檢索要求的語義分支的初始權(quán)重值；Hlj為由語義分支分\向下裂變出的語義分支總數(shù)；k乒i。
全文摘要
本發(fā)明公開了一種基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法，旨在提供一種快捷高效、準(zhǔn)確度高、媒體類型適應(yīng)范圍廣的基于高層語義結(jié)構(gòu)索引的多媒體信息檢索方法。該方法的步驟包括采集多媒體高層語義信息并建立多媒體高層語義矩陣，該矩陣中的元素代表多媒體的高層語義信息；采用矩陣裂變法、矩陣裂變法的結(jié)合律和矩陣裂變法的乘法分配律建立多媒體高層語義結(jié)構(gòu)索引模型；建立一個XML結(jié)構(gòu)，用來存儲所建立的多媒體高層語義結(jié)構(gòu)索引模型中的各語義分支數(shù)據(jù)及其權(quán)重；采用最近檢索語義分支權(quán)重優(yōu)先法進(jìn)行多媒體信息檢索。
文檔編號G06F17/30GK102542073SQ20121002264
公開日2012年7月4日 申請日期2012年2月1日 優(yōu)先權(quán)日2012年2月1日
發(fā)明者姜楠, 孫元, 桑愛軍 申請人:吉林大學(xué)