本發(fā)明屬于雷達目標分類與深度學習領域，涉及應用雷達進行人體動作分類的問題。

背景技術：

在人們在與外界進行交互的過程中，除了通過語音交流，還常常借助肢體語言，即通過動作行為傳遞信息。人體動作分類在許多領域具有廣泛的應用場景，例如智能監(jiān)控、人機交互、虛擬現(xiàn)實、體感游戲、醫(yī)療監(jiān)護等。當前對人體動作識別的研究大多集中于基于視覺的識別，其核心是通過計算機對傳感器采集的原始圖像或圖像序列數(shù)據(jù)進行處理和分析，學習并理解其中人的動作和動作。然而，不同的光照、視角和背景等條件會使相同的人體動作在姿態(tài)和特性上產(chǎn)生差異。此外，還存在人體自遮擋、部分遮擋、人體個體差異、多人物識別對象等問題，這些都是現(xiàn)有的基于視覺方法的人體動作分類方案難以突破的瓶頸。

雷達探測人體有著其他傳感器所不具備的優(yōu)勢：首先是其探測距離遠；其次，雷達不易受到天氣、光線、溫度等環(huán)境因素的影響；最后，雷達具備穿透墻壁等障礙物的能力，可對障礙物后的人員實施探測。目前，雷達人體探測在很多應用中得到了長足的發(fā)展，如無人機、無人車環(huán)境感知、醫(yī)療患者監(jiān)護、火災或地震幸存者搜救、巷戰(zhàn)敵情態(tài)勢感知、反恐行動中恐怖分子探測等，具有十分廣闊的應用前景。

雷達人體動作分類是指使用模式識別、機器學習等方法，從雷達信號中自動地分析出人體動作?；诶走_時頻圖像的人體動作識別是近年發(fā)展起來的新技術，經(jīng)人體運動調(diào)制后的雷達回波信號包含了人體各部分微動調(diào)制產(chǎn)生的多普勒頻率，回波通過時頻變換生成圖像并將之應用于人體目標的參數(shù)估計和運動辨識中，使得基于雷達時頻圖像的人體動作分類成為可能。傳統(tǒng)的雷達人體動作分類方法主要依賴于對時頻圖像中人體微多普勒特征的人工提取。而作為圖像識別中應用最廣泛的深度學習模型，卷積神經(jīng)網(wǎng)絡(convolutionalneuralnetwork，cnn)最重要的特點就是能夠自動地學習圖像中的特征并完成對圖像的分類識別?；赾nn的雷達人體動作分類涉及計算機視覺、機器學習、人工智能和雷達信號處理等眾多領域的研究，是一個多學科交叉融合的研究方向，具有非常重大的學術價值與社會意義。

[1]胡瓊,秦磊,黃慶明,"基于視覺的人體動作識別綜述,"計算機學報,vol.36,p.2512-2524,2013.

[2]v.c.chen,f.li,s.-s.ho,andh.wechsler,"micro-dopplereffectinradar:phenomenon,model,andsimulationstudy,"ieeetransactionsonaerospaceandelectronicsystems,vol.42,pp.2-21,2006.

[3]s.s.ram,c.christianson,y.kim,andh.ling,"simulationandanalysisofhumanmicro-dopplersinthrough-wallenvironments,"ieeetransactionsongeoscienceandremotesensing,vol.48,pp.2015-2023,2010.

技術實現(xiàn)要素：

本發(fā)明提供一種基于雷達仿真圖像的卷積神經(jīng)網(wǎng)絡人體動作分類方法，利用深度學習中的卷積神經(jīng)網(wǎng)絡實現(xiàn)了對雷達圖像中人體動作的“端到端”分類，簡化了人工提取圖像特征的復雜過程，極大地減少了人體動作分類的工作量。為使本發(fā)明的技術方案更加清楚，下面對本發(fā)明具體實施方式做進一步地描述。

一種基于雷達仿真圖像的卷積神經(jīng)網(wǎng)絡人體動作分類方法，包括下列的步驟：

1)建立包含多種人體動作的時頻圖像數(shù)據(jù)集：選用mocap數(shù)據(jù)集進行雷達圖像仿真，利用mocap數(shù)據(jù)集中的人體動作測量數(shù)據(jù)構建人體目標運動學模型并用于雷達時頻圖像仿真，建立基于橢球體的人體動作模型，得到人體目標雷達回波，對回波使用時頻變換進而生成雷達時頻圖像，建立包含多種人體動作的時頻圖像數(shù)據(jù)集；

2)雷達時頻圖像數(shù)據(jù)增強：對所得到的雷達時頻圖像沿時間軸利用滑窗法截取，以產(chǎn)生足夠多的數(shù)據(jù)用于卷積神經(jīng)網(wǎng)絡的訓練，將截取生成的雷達圖像分為訓練集和測試集，完成數(shù)據(jù)集的構建。

3)建立卷積神經(jīng)網(wǎng)絡模型：以手寫體識別網(wǎng)絡lenet為基礎，在其3個卷積層、2個池化層以及2個全連接層的基礎上，引入修正線性單元relu替換原來的sigmoid激活函數(shù)作為卷積網(wǎng)絡的激活函數(shù)，并增加一個池化層，減少一個全連接層，構成卷積神經(jīng)網(wǎng)絡結構，該結構包含3個卷積層、3個最大池化層和1個全連接層，調(diào)整網(wǎng)絡的層間結構和層內(nèi)結構及訓練參數(shù)以達到更好的分類效果；

4)訓練卷積神經(jīng)網(wǎng)絡模型：利用2)中生成的數(shù)據(jù)集對3)中網(wǎng)絡結構的各層權重進行訓練，通過隨機抽取數(shù)據(jù)集中的圖像，分批次將其輸入網(wǎng)絡，通過梯度下降法更新每次迭代后學習到的權重，經(jīng)過多次迭代后網(wǎng)絡各層權重得到充分優(yōu)化，最終得到可用于基于雷達圖像人體動作分類的卷積神經(jīng)網(wǎng)絡模型。

本發(fā)明利用卷積神經(jīng)網(wǎng)絡的算法，設計一種基于仿真雷達圖像的人體動作分類系統(tǒng)。該系統(tǒng)以基于mocap數(shù)據(jù)集生成的仿真雷達多普勒圖像為研究對象，包括數(shù)據(jù)集的制作、卷積神經(jīng)網(wǎng)絡模型的建立、訓練和測試。本系統(tǒng)利用雷達信號的特點，可以完成不同環(huán)境、光照強度及天氣情況下的人體動作分類任務，且利用卷積神經(jīng)網(wǎng)絡提高了分類的準確率實現(xiàn)更加智能、高效的分類。

附圖說明

圖1本實驗卷積神經(jīng)網(wǎng)絡模型結構示意圖

圖2(a)人體關節(jié)點圖；(b)基于橢圓體的人體模型圖

圖3(a)mocap數(shù)據(jù)庫中骨骼運動軌跡；(b)該軌跡相應的生成雷達譜圖

圖4本實驗模型(a)與lenet分類效果(b)對比圖

具體實施方式

為使本發(fā)明的技術方案更加清楚，下面對本發(fā)明具體實施方式做進一步地描述。本發(fā)明按以下步驟具體實現(xiàn)：

1.雷達時頻圖像數(shù)據(jù)集構建

(1)基于mocap數(shù)據(jù)集的雷達圖像仿真

motioncapture(mocap)數(shù)據(jù)集由cmu的graphicslab實驗室建立，使用vicon動作捕捉系統(tǒng)捕捉真實的動作數(shù)據(jù)，該系統(tǒng)由12個mx-40紅外相機組成，各相機幀率為120hz，可以記錄被試者身上的41個標記點，通過整合不同相機記錄下的圖像可以得到被試者骨骼的運動軌跡。該數(shù)據(jù)集包含2605組實驗數(shù)據(jù)，本實驗過程中選擇其中七種常見的動作用來生成雷達圖像，這七種動作分別為：跑步、行走、跳躍、爬行、匍匐前進、站立和拳擊。

接著構建基于橢球體的人體動作模型，該模型使用31個關節(jié)點來對人體進行建模(如圖2(a)所示)，每兩個相鄰關節(jié)點定義了一個體節(jié)，所有的體節(jié)在雷達的各掃描角度均為可見的，在此我們忽略不同人體部位的陰影效應。每個體節(jié)近似于一個長橢球體，如下式所示：

式中，(x0,y0,z0)表示兩個關節(jié)點連線中點的坐標，(a,b,c)是半軸的長度，且b＝c。橢球體的體積定義為：

假設橢球體體積和一個半軸a的長度已知，則可計算出b的長度，雷達目標有效截面(rcs)可以利用傳統(tǒng)的橢圓rcs公式計算得到。通過橢球體模型建立的人體目標模型如圖2(b)所示，整個人體可以看作是由多個橢圓體組合而成的，各部分的雷達反射波振幅可以由近似為橢圓形的rcs得到，將各部分的人體回波連續(xù)相加即可得到人體的整體回波，接著使用短時傅里葉變換將回波轉化為雷達譜圖。圖3顯示的是mocap數(shù)據(jù)庫中的人體骨骼運動軌跡與生成的相應的雷達譜圖。

(2)基于滑窗法的雷達圖像數(shù)據(jù)增強

由雷達圖像數(shù)據(jù)難獲取、生成成本高的而引起的數(shù)據(jù)缺乏的問題可以通過數(shù)據(jù)增強的方法解決。本實驗根據(jù)雷達圖像的特點，采用“滑窗法”的數(shù)據(jù)增強手段，具體方法為：在生成的雷達圖像上使用固定長度的標準時間窗，沿時間軸連續(xù)地截取整個雷達譜圖，這樣一張雷達譜圖可以被截取為多個可供訓練的圖片。通過這種方法，對于分類任務中每個動作均可獲得大小為500張圖片的數(shù)據(jù)集，本實驗將每個動作的數(shù)據(jù)集分為兩個部分，分別為400張訓練圖片和100張測試圖片。

2.基于卷積神經(jīng)網(wǎng)絡的人體動作分類模型構建

(1)基礎卷積神經(jīng)網(wǎng)絡模型構建

通過研究lenet、alexnet、googlenet、vggnet等幾種典型神經(jīng)網(wǎng)絡結構在本實驗數(shù)據(jù)集上的測試效果，根據(jù)多次實驗及經(jīng)驗數(shù)據(jù)，選取lenet作為基礎網(wǎng)絡結構并將其識別結果作為基準，lenet是用于手寫字體的識別的一個經(jīng)典卷積神經(jīng)網(wǎng)絡，其包含3個卷積層、2個池化層以及2個全連接層，特征映射函數(shù)采用sigmoid函數(shù)作為卷積網(wǎng)絡的激活函數(shù)，使得特征映射具有位移不變性。在此基礎上，本實驗引入了修正線性單元(relu)，增加一個池化層，減少一個全連接層，最終提出了適用于本實驗的卷積神經(jīng)網(wǎng)絡結構如圖1所示。該模型包含3個卷積層、3個池化層和1個全連接層，池化層采用最大值池化的方法，并采用relu作為激活函數(shù)有效降低訓練結果的過擬合的風險。

(2)卷積神經(jīng)網(wǎng)絡模型優(yōu)化

卷積神經(jīng)網(wǎng)絡結構包括層深、層寬等參數(shù)，不同的網(wǎng)絡結構決定了神經(jīng)網(wǎng)絡的特征表示情況，進而影響識別效果。對結構的研究包括層間結構和層內(nèi)結構兩個部分。層間結構包括層深(網(wǎng)絡層數(shù))、連接函數(shù)(例如卷積、池化、全連接)等；層內(nèi)結構包括層寬(同層節(jié)點數(shù))、激活函數(shù)等。針對層間結構，本實驗研究了各種不同網(wǎng)絡結構作用，首先改變網(wǎng)絡層深，分為兩步，第一步保持全連接層數(shù)量不變，將卷積層的個數(shù)從2逐步變化至5，第二步保持卷積層個數(shù)不變，將全連接層個數(shù)由1逐步變化為5，實驗結果如表1。根據(jù)實驗結果，本實驗選擇三層卷積層以及一層全連接層的卷積神經(jīng)網(wǎng)絡結構。之后改變輸出特征圖的個數(shù)，分別取值為1、3、20、64、128，實驗結果如表2所示，根據(jù)實驗結果將每層輸出的特征圖數(shù)量確定為20，以獲得最佳的分類準確率。

其次改變層內(nèi)結構中的特征圖大小，分別選取大小為3×3、9×9、20×20、48×48、100×100像素的特征圖，通過實驗比較卷積神經(jīng)網(wǎng)絡模型在生成不同大小的特征圖時的分類準確率(如表3所示)，可以看出大小為9×9的特征圖能夠幫助模型得到較高的準確率。

表1

表2

表3

3.雷達人體動作分類卷積神經(jīng)網(wǎng)絡模型訓練

神經(jīng)網(wǎng)絡模型的訓練過程即為模型學習各層連接權重的過程。在本實驗中，首先對各層權重進行高斯初始化，模型通過梯度下降的方法來調(diào)整各層參數(shù)，每次迭代批處理圖片數(shù)目為256，即每次從訓練集里隨機選擇256張雷達圖片供網(wǎng)絡訓練，模型基礎學習率設定為0.001，在迭代3000次后完成訓練過程。本實驗所用計算機采用ubuntu系統(tǒng)，利用nvidia公司的gtxtitanxgpu和intel公司的e31231-v3cpu進行訓練，此外本實驗還采用了cudnn進行gpu計算加速。

4.模型的分類效果測試

測試時，將測試集的雷達圖像輸入分類模型，啟動測試過程，即可查看模型對雷達圖像分類效果的好壞。實驗過程中分類結果如圖4所示，由圖可以看出，本實驗構建的基于雷達的人體動作分類模型的分類準確率明顯優(yōu)于lenet，lenet對七種動作的平均分類準確率為93.86％，而本實驗中模型的平均分類準確率可以達到98.34％，高出lenet約4.5個百分點。