一種基于視覺詞典的深度圖生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理和計(jì)算機(jī)視覺領(lǐng)域，特別涉及一個(gè)基于視覺詞典的深度 圖生成方法。
【背景技術(shù)】
[0002] 隨著3D電影、電視的興起和普及，人們對于3D影視作品的需求日益增加。然而，現(xiàn) 有的3D電影制作過程復(fù)雜且成本較高，需要大量的人力物力，所生產(chǎn)的3D影視數(shù)量遠(yuǎn)遠(yuǎn)無 法滿足人們的需求。因此，利用2D轉(zhuǎn)3D技術(shù)，把現(xiàn)有的2D影視資源轉(zhuǎn)化為3D，成為解決3D片 源不足的一個(gè)重要手段。
[0003] 2D轉(zhuǎn)3D技術(shù)涉及的主要問題是如何從單幅圖像中提取深度圖。現(xiàn)有的深度圖生成 算法主要分為三類:手動，半自動，全自動。人工生成深度圖的方法雖然可以獲得非常符合 人眼觀感的深度圖，但需要大量的人工成本;半自動的方法雖然可以減少人工的參與，但是 對比起海量的2D資源來說，過于耗費(fèi)時(shí)間和人力。因此，全自動的深度圖生成方法無疑是最 節(jié)省時(shí)間與人力成本的方式，受到研究人員的關(guān)注，成為近年來的研究熱點(diǎn)。
[0004] 現(xiàn)階段的全自動深度圖生成方法通常可以分為兩個(gè)類型:基于深度線索的方法和 基于機(jī)器學(xué)習(xí)的方法。其中，基于深度線索的深度圖生成方法通常利用例如線性透視、聚焦 散焦等特性進(jìn)行深度恢復(fù)，并產(chǎn)生具有一定效果的3D圖，運(yùn)用在了一些實(shí)際的產(chǎn)品當(dāng)中。但 是，這些線索與深度沒有必然的聯(lián)系（如在高清相機(jī)下的圖片聚焦散焦不明顯），或者對場 景有較嚴(yán)格的要求(如線性透視要求目標(biāo)圖像存在明顯的直線線索），所以這些方法的通用 性十分不理想，發(fā)展?jié)摿τ邢蕖Ｒ灿幸恍┓椒ㄈ诤狭藥追N深度線索，產(chǎn)生更好的3D效果，但 無法消除這些固有限制。另一全自動方法是基于機(jī)器學(xué)習(xí)的深度圖生成方法，通常首先建 立機(jī)器學(xué)習(xí)模型，然后讓模型利用一些已有的深度圖庫(包含圖像-深度對)進(jìn)行學(xué)習(xí)，學(xué)習(xí) 生成的模型可以用于2D轉(zhuǎn)3D算法中。基于機(jī)器學(xué)習(xí)的深度圖生成方法的通用性較高，對目 標(biāo)場景沒有太多限制，是開發(fā)通用深度圖生成算法的一個(gè)重要思路?，F(xiàn)階段的基于機(jī)器學(xué) 習(xí)的深度圖生成方法也存在轉(zhuǎn)換時(shí)間較長的缺點(diǎn)，準(zhǔn)確性也有待提高。本發(fā)明針對現(xiàn)有技 術(shù)的不足和限制，利用深度圖像庫和機(jī)器學(xué)習(xí)技術(shù)，訓(xùn)練出視覺詞典，視覺詞典生成后，即 可作為工具用于生成具有較高質(zhì)量的深度圖，對比已有的深度圖生成方法，具有適用場景 廣闊，用于2D到3D的轉(zhuǎn)換，轉(zhuǎn)換效果較符合人們觀景感受等優(yōu)點(diǎn)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對現(xiàn)有深度圖生成技術(shù)中存在的效果不理想，算法通用性不足等缺點(diǎn)， 提供一種基于視覺詞典的深度圖生成方案，該方法利用現(xiàn)有的深度圖庫，通過機(jī)器學(xué)習(xí)算 法，學(xué)習(xí)到視覺單詞詞典，使用詞典對目標(biāo)圖像進(jìn)行深度圖恢復(fù)，所得深度圖可用于3D轉(zhuǎn) 換。
[0006] 本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)。
[0007] -種基于視覺詞典的深度圖生成方法，包括視覺詞典訓(xùn)練階段和深度圖生成階 段， 所述視覺詞典訓(xùn)練階段包括如下步驟： (1) 獲得訓(xùn)練數(shù)據(jù)集，包括目標(biāo)場景的圖像集即目標(biāo)圖像集D，和負(fù)樣本圖像集N;目標(biāo) 圖像集D由圖像-深度圖對組成，負(fù)樣本圖像集N由不屬于目標(biāo)場景的圖像組成； (2) 初始化步驟： (2.1) 把目標(biāo)圖像集D分為相等數(shù)量的兩部分D1和D2，把負(fù)樣本圖像集N分為相等數(shù)量 的兩部分N1和N2; (2.2) 對D1中的深度圖進(jìn)行隨機(jī)塊采樣，采樣方法如下：對D1中每一幅深度圖，分別建 立高斯金字塔，然后在金字塔的每一層進(jìn)行隨機(jī)采樣，采樣數(shù)與該層的尺度成正比;所得的 樣本集合表不為S; (2.3) 對(2.2)中得到的樣本集合S進(jìn)行數(shù)據(jù)整理，剔除高度重合的深度圖塊及不包含 結(jié)構(gòu)信息的平坦深度圖塊，得到最終的樣本集合S; (3) 對最終的樣本集合S進(jìn)行k均值(k-means)聚類，聚類的類數(shù)目設(shè)置為S中的數(shù)量的 1/2,去掉類內(nèi)深度圖塊數(shù)目少于3的類后，所得類集合表示為的下標(biāo)1表示該類集合來 自于D1中的深度圖塊； (4) 交叉訓(xùn)練階段，對于L中的每一個(gè)類Ku，其中Ku的下標(biāo)i表示類序號，采用交叉驗(yàn) 證的方式，分別執(zhí)行如下訓(xùn)練步驟： (4.1) 訓(xùn)練分類器，用N1作為負(fù)樣本集合，類Ku內(nèi)的深度圖塊作為正樣本，為類Ku訓(xùn)練 SVM線性分類器Cli; (4.2) 交叉驗(yàn)證，對D2中每一幅深度圖，用Cu進(jìn)行多尺度目標(biāo)檢測;得到正響應(yīng)樣本集 合K2l，其中下標(biāo)2表示為該類是D2中深度塊組成的，i為類序號;若K 2l內(nèi)深度圖塊個(gè)數(shù)小于 2，則該類不是一個(gè)視覺單詞，結(jié)束迭代;否則，繼續(xù)步驟(4.3); (4.3) 訓(xùn)練分類器，用呢作為負(fù)樣本集合，類1(21內(nèi)的圖像塊為正樣本，為1(21訓(xùn)練5￥1線 性分類器C2i ; (4.4) 交叉驗(yàn)證，對D1中每一幅深度圖，用C2l進(jìn)行多尺度目標(biāo)檢測;得到正響應(yīng)樣本集 合Ku，若Ku內(nèi)深度圖塊個(gè)數(shù)小于2,則該類不是一個(gè)視覺單詞，結(jié)束迭代；否則，繼續(xù)步驟 (4.5)； (4.5) 判斷是否滿足收斂條件：當(dāng)滿足收斂條件或迭代次數(shù)大于等于預(yù)設(shè)值，則結(jié)束迭 代，到步驟(4.6);否則，返回(4.1)，繼續(xù)迭代過程； (4.6) 合并Ku和K2i，得到具有相似結(jié)構(gòu)的深度圖塊類Ki; (4.7) 獲得視覺單詞:在目標(biāo)圖像集D中，截取L中的每一個(gè)深度圖塊所對應(yīng)的圖像塊， 構(gòu)成1對應(yīng)的圖像塊類GdPRGB圖像塊類，Gi即為一個(gè)視覺單詞，其對應(yīng)的深度由L的加權(quán) 平均得到，加權(quán)值為SVM分類權(quán)重； (4.8) 用N作為負(fù)樣本集合，分別為G·練SVM線性分類器能用于對視覺單詞 檢測； (5) 獲得視覺詞典，經(jīng)過(4)的迭代訓(xùn)練后，得到由多個(gè)視覺單詞仏組成的詞典G，G中的 每一個(gè)視覺單詞包含了對應(yīng)的深度圖和分類器，應(yīng)用視覺詞典對2D圖像進(jìn)行視覺單詞檢 測，進(jìn)而恢復(fù)深度圖； 所述深度圖生成階段包括如下步驟： 對于給定的2D圖像，使用以下步驟生成深度圖： (a) 生成初始深度圖De，De的分辨率與2D圖像相同，坐標(biāo)(i，j)處的深度值De由以下公 式給出：
式中，rows為De的行數(shù)，d表示深度圖量化比特?cái)?shù)； (b) 生成深度圖，基于視覺詞典，采用SVM檢測器對2D圖像進(jìn)行檢測，若檢測出視覺單 詞，則用該視覺單詞的深度塊取代De中的對應(yīng)區(qū)域； (c) 深度圖平滑，對(b)中得到的深度圖進(jìn)行雙邊濾波，得到最終的深度圖。
[0008] 上述基于視覺詞典的深度圖生成方法中，步驟(a)所述深度圖量化比特?cái)?shù)d典型值 為8，即深度值的范圍為0~255。
[0009] 上述基于視覺詞典的深度圖生成方法中，視覺詞典中的視覺單詞，定義為具有相 似深度結(jié)構(gòu)的圖像塊集合。在步驟(2.2)中，通過對深度圖建立圖像金字塔，然后在圖像金 字塔中以相應(yīng)比例進(jìn)行采樣，即圖像金字塔的底層的尺度越大，則采樣越大數(shù)目的深度圖 塊;相應(yīng)地，越往頂層，采樣的數(shù)目就越少。
[0010] 上述基于視覺詞典的深度圖生成方法中，正、負(fù)樣本集都分為相等數(shù)量的兩部分， 并使用交叉迭代的訓(xùn)練方法，訓(xùn)練得到包含對應(yīng)深度的視覺單詞，組成視覺詞典。采樣過程 和交叉驗(yàn)證訓(xùn)練都在深度圖內(nèi)進(jìn)行，保證了視覺單詞是具有相似深度的圖像塊。每個(gè)視覺 單詞的對應(yīng)深度圖塊，是在訓(xùn)練階段對類內(nèi)深度圖塊通過SVM權(quán)值加權(quán)平均所得的。
[0011] 本發(fā)明與現(xiàn)有技術(shù)比較，具有如下優(yōu)點(diǎn)和有益效果： 1、本發(fā)明利用現(xiàn)有的圖像-深度圖對庫，訓(xùn)練出具有對應(yīng)深度塊的視覺單詞，可用于2D 轉(zhuǎn)3D中，所得深度圖和3D圖較符合人眼觀感。
[0012] 2、本發(fā)明的深度圖生成算法適用場景較廣，對2D圖像的屬性沒有特殊要求，只要 有足夠的圖像-深度圖對訓(xùn)練數(shù)據(jù)，就可以訓(xùn)練出詞匯量豐富的視覺詞典，轉(zhuǎn)換效果隨詞匯 量的豐富而提尚。
[0013] 3、本發(fā)明的視覺詞典訓(xùn)練方法，也可根據(jù)相應(yīng)的2D圖像場景類型，選用訓(xùn)練數(shù)據(jù) 集，訓(xùn)練出具有特定作用的視覺詞典，完成不同的任務(wù)。
[0014] 4、本發(fā)明的算法并行度較好，可以采用相應(yīng)并行技術(shù)，加速詞典訓(xùn)練過程。
[0015] 5、本發(fā)明的視覺詞典訓(xùn)練和2D轉(zhuǎn)3D過程都無需人工參與，可以節(jié)省人力成本。
【附圖說明】
[0016] 圖1是本發(fā)明的視覺詞典訓(xùn)練過程的流程圖； 圖2是本發(fā)明用視覺單詞詞典進(jìn)行2D轉(zhuǎn)3D的流程圖。
[0017] 具體實(shí)施方法 下面結(jié)合實(shí)施例及附圖對本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式和保護(hù)不 限于此，需指出的是，以下若有未特別詳細(xì)說明之過程或術(shù)語，均是本領(lǐng)域技術(shù)人員可參照 現(xiàn)有技術(shù)理解或?qū)崿F(xiàn)的。
[0018] 如圖1與圖2,一種基于視覺詞典的深度圖生成方法詳述如下。
[0019]視覺詞典訓(xùn)練階段： (1) 獲得訓(xùn)練數(shù)據(jù)集，正樣本圖像集D由1449幅室內(nèi)圖像-深度圖對組成，負(fù)樣本圖像集 N由3000幅室外圖像組成； (2) 初始化步驟： (2.1) 將正樣本集D分為相等數(shù)量兩部分D1、D2,把負(fù)樣本集分為相等數(shù)量的兩部分N1， N2,如在本例中，D1包含72