一種基于深度學(xué)習(xí)的三維模型檢索方法及其檢索裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)、神經(jīng)網(wǎng)絡(luò)技術(shù)和三維模型檢索領(lǐng)域，尤其涉及一種基于 深度學(xué)習(xí)的三維模型檢索方法及其檢索裝置。
【背景技術(shù)】
[0002] 隨著三維建模技術(shù)的日益成熟，計(jì)算機(jī)軟硬件技術(shù)和互聯(lián)網(wǎng)的快速發(fā)展，因特網(wǎng) 和專(zhuān)業(yè)領(lǐng)域數(shù)據(jù)庫(kù)中的三維模型數(shù)量呈現(xiàn)出爆破式地增長(zhǎng)。三維模型可以攜帶比文本和圖 像更多的信息，展示形式也更為豐富真實(shí)，促使其越來(lái)越廣泛地應(yīng)用于社會(huì)生產(chǎn)生活的各 個(gè)領(lǐng)域 [1]。面對(duì)當(dāng)前多樣化的三維模型大數(shù)據(jù)，領(lǐng)域內(nèi)迫切需要有效并且高效的三維模型 檢索算法，該領(lǐng)域相關(guān)研究已成為近年來(lái)非?；钴S的研究領(lǐng)域。
[0003] 三維模型檢索算法主要分為兩大類(lèi)：基于模型和基于視圖。早期的工作主要集中 在基于模型的檢索方法上，包含低層次的基于特征以及高層次的基于結(jié)構(gòu)。低層次的基于 特征的方法利用幾何矩 [2]、表面分布[3]、體積信息和表面幾何形狀[4]來(lái)描述三維模型。高 層次的基于結(jié)構(gòu)的方法要求每個(gè)3D模型必須有明確的空間和結(jié)構(gòu)信息，這限制了基于模 型方法的實(shí)際應(yīng)用。相比于基于模型的方法，基于視圖的方法不強(qiáng)制要求虛擬的三維模型， 所以更具靈活性。另外，二維圖像的檢索已經(jīng)蓬勃發(fā)展了幾十年，已經(jīng)積累了豐富的技術(shù)基 礎(chǔ)，基于視圖的方法可以利用現(xiàn)有的技術(shù)進(jìn)行有效地檢索 [5]。
[0004] 在大多數(shù)3D模型檢索算法中，使用的都是設(shè)計(jì)好的特征，比如：基于方向直方圖 的SIFT(尺度不變特征變換）、SURF(加速健壯特征），而這些特征存在局限性，比如SIFT只 能對(duì)灰度圖提取，而不能應(yīng)用于RGB-D(三原色加距離）這種多模態(tài)的領(lǐng)域[6]。近年來(lái)，深 度學(xué)習(xí)算法在特征學(xué)習(xí)領(lǐng)域十分熱門(mén)，它可以通過(guò)迭代的方法，學(xué)習(xí)到魯棒性很強(qiáng)的特征， 用于表示不同的物體 [7]。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供了一種基于深度學(xué)習(xí)的三維模型檢索方法及其檢索裝置，本發(fā)明利用 深度學(xué)習(xí)技術(shù)，學(xué)習(xí)到的特征能夠很好地表征數(shù)據(jù)內(nèi)在結(jié)構(gòu)規(guī)律，提高了三維模型檢索的 準(zhǔn)確性和魯棒性，詳見(jiàn)下文描述：
[0006] -種基于深度學(xué)習(xí)的三維模型檢索方法，所述三維模型檢索方法包括以下步驟：
[0007] 獲取三維模型的一組二維視圖集；訓(xùn)練一組用于卷積神經(jīng)網(wǎng)絡(luò)的濾波器模板；
[0008] 通過(guò)訓(xùn)練后的濾波器模板對(duì)二維視圖集中的每一幅視圖進(jìn)行卷積，形成視圖初級(jí) 特征；
[0009] 將視圖初級(jí)特征作為多個(gè)遞歸神經(jīng)網(wǎng)絡(luò)的輸入，學(xué)習(xí)得到視圖高級(jí)特征；
[0010] 用視圖高級(jí)特征來(lái)表示視圖，計(jì)算不同三維模型的視圖間的相似度，進(jìn)而計(jì)算不 同三維模型間的相似度，降序排列得到最終的檢索結(jié)果。
[0011] 其中，所述通過(guò)訓(xùn)練后的濾波器模板對(duì)二維視圖集中的每一幅視圖進(jìn)行卷積，形 成視圖初級(jí)特征的步驟具體為：
[0012] 對(duì)卷積后的特征進(jìn)行池化降維處理，選擇特定大小的區(qū)域作為池化區(qū)域，將池化 后的卷積特征作為視圖初級(jí)特征。
[0013] 其中，所述用視圖高級(jí)特征來(lái)表示視圖，計(jì)算不同三維模型的視圖間的相似度的 步驟具體為：
[0014]
[0015] 其中，v，w是任意兩個(gè)不同三維模型的任意兩幅不同視圖；φ(·)是特征映射函數(shù)； 免(》)，：φ〇)分別是視圖V，w的特征表示；P(v,w)是視圖V，w間的相似度。
[0016] 其中，所述計(jì)算不同三維模型間的相似度的步驟具體為：
[0018] 其中，Q，Μ是兩個(gè)不同的三維模型；n，m分別是Q，Μ中的視圖數(shù)目；P(Vl，Wj)是Q 中第i幅視圖和Μ中第j幅視圖間的相似度；S(Q，M)是三維模型Q，Μ間的相似度。
[0019] 一種基于深度學(xué)習(xí)的三維模型檢索裝置，所述三維模型檢索裝置包括：
[0020] 獲取模塊，用于獲取三維模型的一組二維視圖集；
[0021] 訓(xùn)練模塊，用于訓(xùn)練一組用于卷積神經(jīng)網(wǎng)絡(luò)的濾波器模板；
[0022] 卷積模塊，用于通過(guò)訓(xùn)練后的濾波器模板對(duì)二維視圖集中的每一幅視圖進(jìn)行卷 積，形成視圖初級(jí)特征；
[0023] 學(xué)習(xí)模塊，用于將視圖初級(jí)特征作為多個(gè)遞歸神經(jīng)網(wǎng)絡(luò)的輸入，學(xué)習(xí)得到視圖高 級(jí)特征；
[0024] 計(jì)算模塊，用于用視圖高級(jí)特征來(lái)表示視圖，計(jì)算不同三維模型的視圖間的相似 度，進(jìn)而計(jì)算不同三維模型間的相似度；
[0025] 排序模塊，用于降序排列得到最終的檢索結(jié)果。
[0026] 其中，所述卷積模塊包括：
[0027] 處理子模塊，用于對(duì)卷積后的特征進(jìn)行池化降維處理；
[0028] 選擇子模塊，用于選擇特定大小的區(qū)域作為池化區(qū)域，將池化后的卷積特征作為 視圖初級(jí)特征。
[0029] 本發(fā)明提供的技術(shù)方案的有益效果是：運(yùn)用SIFT描述子提取感興趣點(diǎn)，進(jìn)而提取 感興趣塊，能夠大幅度降低物體視圖中子塊信息的冗余度，同時(shí)提高了每個(gè)感興趣塊的有 效性。本發(fā)明通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的高級(jí)特征能夠很好地表征數(shù)據(jù)內(nèi) 在結(jié)構(gòu)規(guī)律，提高了三維模型檢索的準(zhǔn)確性和魯棒性。
【附圖說(shuō)明】
[0030] 圖1為基于深度學(xué)習(xí)的三維模型檢索方法的流程圖；
[0031] 圖2為ΕΤΗ(蘇黎世聯(lián)邦工業(yè)大學(xué)）數(shù)據(jù)庫(kù)中三種特征的查準(zhǔn)-查全曲線(xiàn)比較示 意圖；
[0032] 圖3為ΕΤΗ數(shù)據(jù)庫(kù)中三種方法的查準(zhǔn)-查全曲線(xiàn)比較示意圖；
[0033] 圖4為基于深度學(xué)習(xí)的三維模型檢索裝置的結(jié)構(gòu)示意圖；
[0034] 圖5為卷積模塊的示意圖。
[0035] 附圖中，各部件所代表的部件列表如下：
[0036] 1 :獲取模塊； 2 :訓(xùn)練模塊；
[0037] 3:卷積模塊； 4:學(xué)習(xí)模塊；
[0038] 5 :計(jì)算模塊； 6 :排序模塊；
[0039] 31 :處理子模塊； 32 :選擇子模塊。
【具體實(shí)施方式】
[0040] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面對(duì)本發(fā)明實(shí)施方式作進(jìn)一步 地詳細(xì)描述。
[0041] 實(shí)施例1
[0042] 本發(fā)明實(shí)施例提供了一種基于深度學(xué)習(xí)的三維模型檢索方法，參見(jiàn)圖1，該方法包 括以下步驟：
[0043] 101 :獲取三維模型的一組二維視圖集；訓(xùn)練一組用于卷積神經(jīng)網(wǎng)絡(luò)的濾波器模 板；
[0044] 102:通過(guò)訓(xùn)練后的濾波器模板對(duì)二維視圖集中的每一幅視圖進(jìn)行卷積，形成視圖 初級(jí)特征；
[0045] 103 :將視圖初級(jí)特征作為多個(gè)遞歸神經(jīng)網(wǎng)絡(luò)的輸入，學(xué)習(xí)得到視圖高級(jí)特征；
[0046] 104:用視圖高級(jí)特征來(lái)表示視圖，計(jì)算不同三維模型的視圖間的相似度，進(jìn)而計(jì) 算不同三維模型間的相似度，降序排列得到最終的檢索結(jié)果。
[0047] 綜上所述，本發(fā)明實(shí)施例通過(guò)上述步驟101-步驟104實(shí)現(xiàn)了通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和 遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的高級(jí)特征能夠很好地表征數(shù)據(jù)內(nèi)在結(jié)構(gòu)規(guī)律，提高了三維模型檢索 的準(zhǔn)確性和魯棒性。
[0048] 實(shí)施例2
[0049] 下面結(jié)合具體的計(jì)算公式、例子對(duì)實(shí)施例1中的方案進(jìn)行詳細(xì)描述，詳見(jiàn)下文：
[0050] 201 :獲取三維模型的一組二維視圖集；
[0051] 其中，一個(gè)三維模型的視圖集是指表示該三維模型的相應(yīng)的一組二維視圖，能夠 從不同方向和位置表示該三維模型。這些二維視圖可以通過(guò)攝像機(jī)對(duì)真實(shí)的三維模型拍攝 獲得。該步驟的具體操作過(guò)程為本領(lǐng)域技術(shù)人員所公知，本發(fā)明實(shí)施例對(duì)此不做贅述。
[0052] 202 :訓(xùn)練一組用于卷積神經(jīng)網(wǎng)絡(luò)的濾波器模板；
[0053] 具體實(shí)現(xiàn)時(shí)，可以采用當(dāng)前流行的特征點(diǎn)描述子獲得一幅視圖中的所有 感興趣點(diǎn)，不失一般性的，本發(fā)明實(shí)施例采用了應(yīng)用廣泛的尺度不變特征變換M (Scale-invariantfeaturetransform，簡(jiǎn)稱(chēng)SIFT)描述子。SIFT描述子提取的SIFT特征 是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性；對(duì)視角變化、仿射變換、噪 聲也保持一定程度的穩(wěn)定性。對(duì)所有的三維模型中的所有視圖提取SIFT感興趣點(diǎn)的操作， 建立感興趣點(diǎn)集。
[0054] 分別以每一個(gè)感興趣點(diǎn)為中心像素點(diǎn)，向中心像素點(diǎn)左、右、上、下各延伸4個(gè)像 素單位，獲得大小為9X9的感興趣塊，從而建立感興趣塊集。
[0055] 對(duì)所有的感興趣塊進(jìn)行亮度和對(duì)比度的歸一化。具體操作為，對(duì)每一個(gè)感興趣塊， 減去它的平均值并除以標(biāo)準(zhǔn)差。根據(jù)公式：
[0057] 得到歸一化后的感興趣塊。其中，x(1)是歸一化后的第i個(gè)感興趣塊；是未歸 一化的第i個(gè)感興趣塊;mean代表求平均值；var代表求標(biāo)準(zhǔn)差。
[0058] 對(duì)歸一化后的感興趣塊進(jìn)行白化操作，去除數(shù)據(jù)之間的相關(guān)性。不失一般性的，本 發(fā)明實(shí)施例采用ZCA(改進(jìn)的主成分分析）白化[9]方法。根據(jù)公式：
[0059]cov(x(l)) =VDV1
[0060] 對(duì)感興趣塊求其協(xié)方差矩陣，并做特征值分解。其中，cov