胃，隱藏層偏置向量CG胺1XSW，輸入層2與隱藏層1之間的權(quán)值矩 W'e化1000X500,輸入層2偏置向量de化1X1000。
[0077] (4)將V，a輸入到SDBN網(wǎng)絡(luò)中，根據(jù)公式1計(jì)算出各隱藏層節(jié)點(diǎn)激活概率值。
[0080] (5)根據(jù)隱藏層節(jié)點(diǎn)的激活概率值對其進(jìn)行抽樣得到h?，并用抽取出的樣本根據(jù) 公式（2) (3)計(jì)算出重構(gòu)輸入層的概率值。
[00川 p(Vi=l|hw，a，幻=。也+Wi.hW)公式（2)
[00間 p(ai=l|v，h做，幻=。狂"ri.h做+中）公式（3)
[008引做根據(jù)重構(gòu)輸入層的概率值對其進(jìn)行抽樣得到vW，aW，再用vW，aW重復(fù)（4) (5)得到hW。
[0084] (7)根據(jù)W下公式計(jì)算各參數(shù)的梯度。
[0090] 做之后每計(jì)算100個（預(yù)設(shè)數(shù)量）梯度再利用公式（4)更新一次網(wǎng)絡(luò)參數(shù)，直到 所有視頻都處理完成。
[0091]
[0092]其中0為更新前的參數(shù)，0 '為更新后的參數(shù)，A0i為參數(shù)的第i個梯度，G=0.9為沖量，n= 0. 1為學(xué)習(xí)率。
[009引 （9)重復(fù)（4)~做步驟50遍（預(yù)定次數(shù)）。
[0094] (10)對于其他層次（除最高層W外）的網(wǎng)絡(luò)，將前一層網(wǎng)絡(luò)的輸出值看作輸入層 1的輸入，輸出層2的輸入不變，訓(xùn)練方法同做~（9)步驟。
[00巧](11)利用BP算法對SDBN進(jìn)行微調(diào)。至此網(wǎng)絡(luò)訓(xùn)練完成。
[0096](。）測試過程則將預(yù)處理好的特征輸入到訓(xùn)練好的SDBN中，最后輸出為一個10 維向量，其中值最大的維度的序號對應(yīng)其類別標(biāo)簽。
[0097]根據(jù)本發(fā)明實(shí)施例的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，能夠充分利用異構(gòu) 數(shù)據(jù)中本來存在的對原始數(shù)據(jù)的抽象信息，直接將異構(gòu)數(shù)據(jù)參與到高層次的運(yùn)算當(dāng)中，能 夠提升方法的計(jì)算效率和分類精度。本方法采用開關(guān)節(jié)點(diǎn)對異構(gòu)數(shù)據(jù)與隱藏層之間的關(guān)系 進(jìn)行控制，該使得異構(gòu)數(shù)據(jù)與隱藏層之間的連結(jié)情況能夠根據(jù)訓(xùn)練數(shù)據(jù)及應(yīng)用的實(shí)際情況 來做出調(diào)整。在設(shè)定好開關(guān)節(jié)點(diǎn)的值之后，SDBN的訓(xùn)練方法與傳統(tǒng)DBN的訓(xùn)練方法相似， 只需要根據(jù)開關(guān)節(jié)點(diǎn)值的情況，在將異構(gòu)特征的影響加入到對應(yīng)網(wǎng)絡(luò)中去，而不會在網(wǎng)絡(luò) 中引入新的約束關(guān)系，也不需要額外的數(shù)學(xué)推導(dǎo)，該使得網(wǎng)絡(luò)的訓(xùn)練變的非常方便。再次， 捷徑深度神經(jīng)網(wǎng)絡(luò)并不限定異構(gòu)數(shù)據(jù)的類型，W及存在與否，在最壞的情況下，即不存在異 構(gòu)數(shù)據(jù)的情況下，捷徑深度神經(jīng)網(wǎng)絡(luò)依然可W對視頻進(jìn)行分類。
[009引盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可W理解的是，上述實(shí)施例是示例 性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在不脫離本發(fā)明的原理和宗旨 的情況下在本發(fā)明的范圍內(nèi)可W對上述實(shí)施例進(jìn)行變化、修改、替換和變型。
【主權(quán)項(xiàng)】
1. 一種基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，所述捷徑深度神經(jīng)網(wǎng)絡(luò) 包括：第一輸入層、第二輸入層、開關(guān)節(jié)點(diǎn)層、多個隱藏層和一個輸出層，所述第一輸入層、 所述多個隱藏層和所述輸出層依次相連，所述第二輸入層通過所述開關(guān)節(jié)點(diǎn)層與所述多個 隱藏層相連，所述第一輸入層、第二輸入層、開關(guān)節(jié)點(diǎn)層、多個隱藏層和一個輸出層分別設(shè) 有預(yù)定的節(jié)點(diǎn)數(shù)，所述方法包括： 訓(xùn)練分類器的步驟，包括：獲取訓(xùn)練數(shù)據(jù)的類別標(biāo)簽，并從所述訓(xùn)練數(shù)據(jù)中提取視頻特 征和異構(gòu)特征，并設(shè)定開關(guān)節(jié)點(diǎn)數(shù)值，以及將所述訓(xùn)練數(shù)據(jù)的類別標(biāo)簽、視頻特征和異構(gòu)特 征輸入所述捷徑深度神經(jīng)網(wǎng)絡(luò)，以訓(xùn)練得到用于對視頻進(jìn)行分類的分類器，所述視頻的類 別由所述類別標(biāo)簽表示； 視頻分類的步驟，包括：獲取測試數(shù)據(jù)，并從所述測試數(shù)據(jù)中提取視頻特征和異構(gòu)特 征，并將所述測試數(shù)據(jù)的視頻特征和異構(gòu)特征輸入所述分類器，以得到所述測試數(shù)據(jù)對應(yīng) 的類別標(biāo)簽； 其中，所述視頻特征由所述第一輸入層輸入，并依次通過所述多個隱藏層進(jìn)行訓(xùn)練， 所述異構(gòu)特征由所述第二輸入層輸入，并根據(jù)所述開關(guān)節(jié)點(diǎn)數(shù)值通過相應(yīng)的隱藏層進(jìn)行訓(xùn) 練。2. 根據(jù)權(quán)利要求1所述的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，根據(jù) PCA方法提取所述視頻特征，根據(jù)LDA方法提取所述異構(gòu)特征。3. 根據(jù)權(quán)利要求1所述的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，在得 到所述分類器之后，還包括：利用BP算法對所述分類器進(jìn)行優(yōu)化。4. 根據(jù)權(quán)利要求1所述的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，所述 訓(xùn)練分類器的步驟，具體包括： 51 :獲取所述視頻特征和異構(gòu)特征，其中，所述視頻特征和所述異構(gòu)特征為1000維的 向量，所述視頻特征和所述異構(gòu)特征表示為：V e JRlxltiTa e IRixwm; 52 :設(shè)定開關(guān)節(jié)點(diǎn)數(shù)值，其中，開關(guān)節(jié)點(diǎn)結(jié)構(gòu)為矩陣Z e {〇, 1}3X1°°°，如果隱藏層i與異 構(gòu)特征a」連結(jié)，則另Z U= 1，否則另Z U= 0 ; 53 :隨機(jī)初始化第一輸入層與第一隱藏層之間的權(quán)值矩陣Mimqx5'第一輸入層 偏置向量e 隱藏層偏置向量C e 第二輸入層與第一隱藏層之間的權(quán)值 矩W e M1000x500,第二輸入層偏置向量d e Mlx100 0; 54 :將所述V，a輸入到所述捷徑深度神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中，并計(jì)算所述多個隱藏層的節(jié)點(diǎn) 激活概率值； S5:根據(jù)隱藏層的節(jié)點(diǎn)的激活概率值對其進(jìn)行抽樣得到h(tl)，并根據(jù)抽取出的樣本計(jì)算 重構(gòu)輸入層的概率值； 56 :根據(jù)所述重構(gòu)輸入層的概率值對其進(jìn)行抽樣得到v(1)，a(1)，并根據(jù)所述v (1)，a(1)重 復(fù)S4和S5,得到h(1); 57 :計(jì)算參數(shù)的梯度； 58 :每計(jì)算預(yù)定數(shù)量的梯度，對所述參數(shù)進(jìn)行更新，直到所有訓(xùn)練數(shù)據(jù)處理完成； 59 :重復(fù)所述S4至所述S8預(yù)定次數(shù)； SlO :對于剩余的層次，將前一層網(wǎng)絡(luò)的輸出值作為所述第一輸入層的輸入，所述第二 輸入層的輸入不變，根據(jù)所述S3至S9進(jìn)行訓(xùn)練； Sll :利用BP算法對所述捷徑深度神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)。5. 根據(jù)權(quán)利要求4所述的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，將所 述v，a輸入到所述捷徑深度神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中，并通過如下公式計(jì)算所述多個隱藏層的節(jié)點(diǎn) 激活概率值，所述公式為：6. 根據(jù)權(quán)利要求4所述的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，所述 根據(jù)隱藏層的節(jié)點(diǎn)的激活概率值對其進(jìn)行抽樣得到h (tl)，并根據(jù)抽取出的樣本利用如下公 式計(jì)算重構(gòu)輸入層的概率值，所述公式為： P(Vi=Ilhto^ajZ)= 〇 (bj+ffi .h(〇)), Ρ(&?=?|ν，1ι(0)，Ζ) = 0?, i.h^+cQo7. 根據(jù)權(quán)利要求4所述的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，根據(jù) 如下公式計(jì)算所述參數(shù)的梯度，所述公式為：8. 根據(jù)權(quán)利要求4所述的基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，其特征在于，所述 每計(jì)算預(yù)定數(shù)量的梯度，通過如下公式對所述參數(shù)進(jìn)行更新，直到所有訓(xùn)練數(shù)據(jù)處理完成， 所述公式為：其中，Θ為更新前的參數(shù)，Θ '為更新后的參數(shù)，Δ Θ i為參數(shù)的第i個梯度，e = 〇. 9 為沖量，η = 〇. 1為學(xué)習(xí)率。
【專利摘要】本發(fā)明公開了一種基于捷徑深度神經(jīng)網(wǎng)絡(luò)的視頻分類方法，包括：訓(xùn)練分類器的步驟，包括：獲取訓(xùn)練數(shù)據(jù)的類別標(biāo)簽，提取視頻特征和異構(gòu)特征，并設(shè)定開關(guān)節(jié)點(diǎn)數(shù)值，將訓(xùn)練數(shù)據(jù)的類別標(biāo)簽、視頻特征和異構(gòu)特征輸入所述捷徑深度神經(jīng)網(wǎng)絡(luò)，以訓(xùn)練得到用于對視頻進(jìn)行分類的分類器，視頻的類別由所述類別標(biāo)簽表示；視頻分類的步驟，包括：獲取測試數(shù)據(jù)，提取視頻特征和異構(gòu)特征，并將測試數(shù)據(jù)的視頻特征和異構(gòu)特征輸入分類器，以得到測試數(shù)據(jù)對應(yīng)的類別標(biāo)簽；其中，視頻特征由第一輸入層輸入，并依次通過多個隱藏層進(jìn)行訓(xùn)練，異構(gòu)特征由第二輸入層輸入，并根據(jù)開關(guān)節(jié)點(diǎn)數(shù)值通過相應(yīng)的隱藏層進(jìn)行訓(xùn)練。本發(fā)明具有分類簡單、分類精確的優(yōu)點(diǎn)。
【IPC分類】G06F17/30, G06K9/62
【公開號】CN104881685
【申請?zhí)枴緾N201510280574
【發(fā)明人】靳曉明, 萬程
【申請人】清華大學(xué)
【公開日】2015年9月2日
【申請日】2015年5月27日