訓(xùn)練卷積神經(jīng)網(wǎng)路分類器的方法和圖像處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像識(shí)別領(lǐng)域，尤其涉及一種訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法和用于 對(duì)圖像進(jìn)行分類的圖像處理裝置。
【背景技術(shù)】
[0002] 卷積神經(jīng)網(wǎng)絡(luò)由于結(jié)構(gòu)簡單、訓(xùn)練參數(shù)少和適應(yīng)性強(qiáng)等特點(diǎn)，越來越普遍地應(yīng)用 于模式識(shí)別、圖像處理等領(lǐng)域。
[0003] 例如，圖1是不出傳統(tǒng)的利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional化ural化twork,簡 稱CNN)的分類器100的結(jié)構(gòu)的示意圖。其由如下幾部分構(gòu)成；輸入層、卷積層、空間采樣 層、全連接層W及輸出層。
[0004] 在利用傳統(tǒng)的α^Ν分類器進(jìn)行識(shí)別的過程中，W手寫數(shù)字為例，輸入一幅圖像，經(jīng) 過多次重復(fù)的卷積、空間最大采樣和全連接操作后，α^Ν分類器輸出在每種數(shù)字上的置信 度。置信度最高的輸出就是識(shí)別結(jié)果。在圖1的示例中，輸入層輸入手寫數(shù)字"6"，而輸出 層輸出在每種數(shù)字上的置信度。其在數(shù)字"6"上獲得最高的置信度0. 980,因而，識(shí)別結(jié)果 就是6。在圖1中，標(biāo)有F0至F9的每一個(gè)方框代表一個(gè)特征圖（fea化re map)。為統(tǒng)一起 見，輸入圖像也可W看成特征圖。
[0005] 傳統(tǒng)CNN -般采用圖像像素本身作為輸入樣本進(jìn)行學(xué)習(xí)。雖然采用圖像像素本身 作為特征存在方便快捷的優(yōu)點(diǎn)，但是限制了 CNN在復(fù)雜視覺任務(wù)中的應(yīng)用。比如要求CNN 檢測(cè)一個(gè)自然場(chǎng)景中的所有字符。此時(shí)，若把整個(gè)圖像輸入CNN,會(huì)極大的減慢訓(xùn)練速度和 實(shí)際使用速度，并且會(huì)因?yàn)樵肼曔^多導(dǎo)致檢測(cè)準(zhǔn)確度降低。
[0006] 此外，傳統(tǒng)C順通常采用經(jīng)典梯度下降算法進(jìn)行訓(xùn)練。該算法根據(jù)輸出層的誤差 從輸出層到輸入層逐層后向傳播調(diào)整權(quán)值。送種經(jīng)典算法在相關(guān)文獻(xiàn)的理論研究中被證實(shí) 存在"梯度消失"的問題。目P，越往輸入層傳播，權(quán)值調(diào)整量就越小。送導(dǎo)致最應(yīng)該得到調(diào) 整的靠近輸入層的權(quán)值反而調(diào)整量最小，極大的減緩了整個(gè)α^Ν的學(xué)習(xí)速度。
[0007] 此外，C順分類器的傳統(tǒng)訓(xùn)練方法僅關(guān)注對(duì)單個(gè)C順的訓(xùn)練過程，或是在高性能計(jì) 算環(huán)境下并行訓(xùn)練一批CNN。

【發(fā)明內(nèi)容】

[0008] 在下文中給出關(guān)于本發(fā)明的簡要概述，W便提供關(guān)于本發(fā)明的某些方面的基本理 解。應(yīng)當(dāng)理解，送個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān) 鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是W簡化的形式給出某些概念， W此作為稍后論述的更詳細(xì)描述的前序。
[0009] 根據(jù)本公開的一方面，提供一種訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法，包括：從訓(xùn)練用 圖像中提取全局特征和局部特征；W及根據(jù)預(yù)定模式將全局特征和局部特征映射到特征圖 W作為分類器的輸入樣本；其中，根據(jù)預(yù)定模式，全局特征被映射到至少一個(gè)第一區(qū)域，局 部特征被映射到一個(gè)第二區(qū)域，每個(gè)第一區(qū)域與第二區(qū)域相接。
[0010] 在根據(jù)本公開的一個(gè)實(shí)施例中，局部特征可W包括提取自同一區(qū)域的至少兩種局 部特征，并且局部特征的映射可W包括將提取自同一區(qū)域的至少兩種局部特征映射到同一 位置。
[0011] 在根據(jù)本公開的另一個(gè)實(shí)施例中，根據(jù)上述預(yù)定模式，全局特征可W被映射到多 個(gè)第一區(qū)域，第二區(qū)域被第一區(qū)域圍繞。
[0012] 在根據(jù)本公開的另一個(gè)實(shí)施例中，至少兩種局部特征的映射可W包括點(diǎn)對(duì)點(diǎn)相 加、點(diǎn)對(duì)點(diǎn)相乘、卷積神經(jīng)網(wǎng)絡(luò)的卷積計(jì)算或其結(jié)合中的一種。
[0013] 在根據(jù)本公開的另一個(gè)實(shí)施例中，該訓(xùn)練方法還可W包括；W后向傳播的方式根 據(jù)權(quán)重梯度來調(diào)整分類器中各層之間的有關(guān)連接的權(quán)重。其中，在調(diào)整靠近輸入層側(cè)的至 少一層的連接的權(quán)重時(shí)，對(duì)權(quán)重梯度進(jìn)行增強(qiáng)，所增強(qiáng)的程度可W取決于該至少一層之后 的各層之間的連接的權(quán)重梯度的值。
[0014] 在根據(jù)本公開的另一個(gè)實(shí)施例中，可W通過把一個(gè)參考調(diào)整量E加到權(quán)重梯度上 來增強(qiáng)權(quán)重梯度，E是通過參考該至少一層之后的各層之間的有關(guān)連接的權(quán)重的梯度值而 獲得的。
[0015] 在根據(jù)本公開的另一個(gè)實(shí)施例中，E的計(jì)算公式如下：
[0016]
[0017] 其中，"medianO "是求中位數(shù)運(yùn)算，L是上述至少一層之后的卷積層和全連接層的 層數(shù)之和：
i = 1，2…L是L層卷積層和全連接層中的第i層與其前一層之間的有 關(guān)連接的權(quán)重的梯度值之和的平均值。
[0018] 在根據(jù)本公開的另一個(gè)實(shí)施例中，該訓(xùn)練方法還可W包括；訓(xùn)練至少兩個(gè)具有相 同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)分類器，卷積神經(jīng)網(wǎng)絡(luò)分類器具有共同的全連接層和輸出層。
[0019] 在根據(jù)本公開的另一個(gè)實(shí)施例中，該訓(xùn)練方法還可W包括；為至少兩個(gè)具有相同 結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)分類器的、除全連接層和輸出層之外的各層的連接的權(quán)重設(shè)定不同的 初始化值。
[0020] 在根據(jù)本公開的另一個(gè)實(shí)施例中，該訓(xùn)練方法還可W包括；通過對(duì)原始輸入樣本 進(jìn)行隨機(jī)變形獲得至少兩個(gè)具有相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)分類器的各自輸入。
[0021] 在根據(jù)本公開的另一個(gè)實(shí)施例中，該訓(xùn)練方法還可W包括；在訓(xùn)練過程中的每一 輪開始前，對(duì)至少兩個(gè)具有相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)分類器的部分對(duì)應(yīng)權(quán)重值進(jìn)行隨機(jī)局 部調(diào)整。
[0022] 根據(jù)本公開的另一方面，提供一種用于對(duì)圖像進(jìn)行分類的圖像處理裝置，包括：特 征提取單元，其從圖像中提取全局特征和局部特征；輸入生成單元，其根據(jù)預(yù)定模式將全 局特征和局部特征映射到特征圖，其中，根據(jù)預(yù)定模式，全局特征被映射到至少一個(gè)第一區(qū) 域，局部特征被映射到一個(gè)第二區(qū)域，每個(gè)第一區(qū)域與第二區(qū)域相接；W及基于神經(jīng)網(wǎng)絡(luò)的 分類器，其輸入為特征圖。
[0023] 在根據(jù)本公開的另一個(gè)實(shí)施例中，局部特征可W包括提取自同一區(qū)域的至少兩種 局部特征，并且局部特征的映射可W包括將提取自同一區(qū)域的至少兩種局部特征映射到同 一位置。
[0024] 在根據(jù)本公開的另一個(gè)實(shí)施例中，根據(jù)上述預(yù)定模式，全局特征可W被映射到多 個(gè)第一區(qū)域，第二區(qū)域被第一區(qū)域圍繞。
[0025] 在根據(jù)本公開的另一個(gè)實(shí)施例中，至少兩種局部特征的映射可W包括點(diǎn)對(duì)點(diǎn)相 加、點(diǎn)對(duì)點(diǎn)相乘、卷積神經(jīng)網(wǎng)絡(luò)的卷積計(jì)算或其結(jié)合中的一種。
[0026] 根據(jù)本公開的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法W及對(duì)圖像進(jìn)行分類的圖像處理 裝置，通過使用人工定義的特征來作為卷積神經(jīng)網(wǎng)絡(luò)分類器的訓(xùn)練和檢測(cè)樣本，特別地，通 過將全局特征和局部特征映射到相接的區(qū)域來構(gòu)造訓(xùn)練樣本，確保了卷積神經(jīng)網(wǎng)絡(luò)后續(xù)的 卷積操作能夠充分挖掘局部特征和全局特征之間的相關(guān)性，進(jìn)而較大程度上提高了檢測(cè)速 度和檢測(cè)準(zhǔn)確度。
【附圖說明】
[0027] 參照下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的說明，會(huì)更加容易地理解本發(fā)明的W上和其 它目的、特點(diǎn)和優(yōu)點(diǎn)。在附圖中，相同的或?qū)?yīng)的技術(shù)特征或部件將采用相同或?qū)?yīng)的附圖 標(biāo)記來表示。
[0028] 圖1是例示傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)的示意圖。
[0029] 圖2是例示根據(jù)本公開實(shí)施例的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法的流程的流程 圖。
[0030] 圖3是例示根據(jù)本公開實(shí)施例的用于訓(xùn)練分類器的人工定義特征的組織方式的 示意圖。
[0031] 圖4是例示根據(jù)本公開實(shí)施例的CNN分類器的結(jié)構(gòu)的示意圖。
[0032] 圖5是例示根據(jù)本公開實(shí)施例的由多個(gè)相同結(jié)構(gòu)的CNN分類器構(gòu)成的訓(xùn)練用CNN 分類器的結(jié)構(gòu)圖。
[0033] 圖6是例示對(duì)特征圖層之間的權(quán)值進(jìn)行局部調(diào)整的方法的示意圖。
[0034] 圖7是例示根據(jù)本公開實(shí)施例的用于對(duì)圖像進(jìn)行分類的圖像處理裝置的配置的 框圖。
[0035] 圖8是例示實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)的示例性結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0036] 下面參照附圖來說明本發(fā)明的實(shí)施例。在本發(fā)明的一個(gè)附圖或一種實(shí)施例中描述 的元素和特征可W與一個(gè)或更多個(gè)其它附圖或?qū)嵤├惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注 意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部 件和處理的表示和描述。
[0037] 雖然使用圖像像素本身作為分類器的訓(xùn)練樣本要比使用人工定義特征更加方便 快捷，但是在復(fù)雜視覺任務(wù)中，會(huì)極大的減慢訓(xùn)練速度和分類器的實(shí)際使用速度。并且，會(huì) 因?yàn)樵肼曔^多導(dǎo)致分類器的檢測(cè)準(zhǔn)確度降低。在根據(jù)本公開的實(shí)施例中，將從訓(xùn)練用圖像 中提取的人工定義特征輸入α^Ν分類器，W期望在較大程度上提高檢測(cè)速度和檢測(cè)準(zhǔn)確 度。
[0038] 人工定義特征一般分為局部特征和全局特征。局部特征一般和位置有關(guān)。例如， 如果提取圖像上每個(gè)像素的梯度，則每個(gè)像素都會(huì)對(duì)應(yīng)一個(gè)梯度值。則該梯度值可w作為 圖像的一個(gè)局部特征。示例而非限制性地，局部特征還可W包括對(duì)比度、或使用SIFT(尺度 不變性特征變換，Scale-invariant fea1:ure transform)等已知算法獲取的局部特征。全 局特征一般與位置無關(guān)。例如，提取圖像上所有像素的平均值和方差作為圖像的全局特征。 示例而非限