本發(fā)明公開了基于深度學(xué)習(xí)的無人機警察系統(tǒng)，用于無人機飛行管理，涉及無人機和圖像識別的技術(shù)領(lǐng)域。

背景技術(shù)：

目前關(guān)于無人機的研究多集中在無人機運動控制方面以及利用無人機航拍獲取圖像數(shù)據(jù)方面，真正研究無人機監(jiān)管和識別的還比較少。無人機因其靈活可控的優(yōu)勢被廣泛引用于拍攝圖像/采集視頻，同時，無人機因其靈活可控對其飛行區(qū)域內(nèi)的人身安全和隱私造成了困擾，因此需要對無人機監(jiān)督/識別提出可行方案。國外已有無人機配合警察執(zhí)法的方案，但考慮到公民隱私等問題，沒有大量投入使用，且這些方案都局限于在軍事禁區(qū)這樣的特定區(qū)域內(nèi)使用。

根據(jù)視覺傳感網(wǎng)(visualsensornetworks,vsns)這一無線傳感網(wǎng)的應(yīng)用特例構(gòu)建無人機監(jiān)管系統(tǒng)可能會遇到存在監(jiān)控盲區(qū)等問題。在無人機識別算法方面，因為飛行物模式存在多樣性，許多傳統(tǒng)的優(yōu)秀特征(諸如：haar，hog，css，lbp)無法適用于無人機識別領(lǐng)域。深度學(xué)習(xí)算法通過其深度網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)W習(xí)到物體的高層特征，同時，深度學(xué)習(xí)算法具有較好的可擴展性且訓(xùn)練速度存在較大的提升空間，因此，深度學(xué)習(xí)算法為實現(xiàn)無人機識別提供了一種可行思路。在此背景下，本發(fā)明旨在提出一種可行的無人機監(jiān)督/識別方案。

技術(shù)實現(xiàn)要素：

本發(fā)明的發(fā)明目的是針對上述背景技術(shù)的不足，提供了基于深度學(xué)習(xí)的無人機警察系統(tǒng)，實現(xiàn)了無人機的監(jiān)管和識別，解決了暫無有效可行的無人機監(jiān)管識別方案的技術(shù)問題。

本發(fā)明為實現(xiàn)上述發(fā)明目的采用如下技術(shù)方案：

基于深度學(xué)習(xí)的無人機警察系統(tǒng)，包括：

用于采集監(jiān)控區(qū)域圖片的底層結(jié)構(gòu)：具體為多個簇組成的視覺傳感網(wǎng)，每個簇包含多個節(jié)點，每個節(jié)點包含攝像機陣列和無人機；

用于識別底層結(jié)構(gòu)中各簇所采集圖片中的無人機的中間層結(jié)構(gòu)；及，

用于存儲中間層結(jié)構(gòu)識別結(jié)果、調(diào)度中間層結(jié)構(gòu)運算任務(wù)的頂層結(jié)構(gòu)。

作為所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)的進一步優(yōu)化方案，底層結(jié)構(gòu)中每個節(jié)點內(nèi)的無人機飛行在該節(jié)點內(nèi)攝像機陣列拍攝死角范圍內(nèi)或拍攝范圍中的重點區(qū)域內(nèi)。

再進一步的，所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)中，底層結(jié)構(gòu)還包含與每個節(jié)點一一對應(yīng)的預(yù)處理芯片，每個預(yù)處理芯片對與其對應(yīng)節(jié)點所采集圖像進行數(shù)據(jù)預(yù)處理并傳輸預(yù)處理后的圖像至中間層結(jié)構(gòu)。

再進一步的，所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)中，中間層結(jié)構(gòu)包含與視覺傳感網(wǎng)中簇數(shù)目對應(yīng)的次級處理服務(wù)器，每個次級處理服務(wù)器識別一個簇所采集圖片中的無人機。

作為所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)再進一步的優(yōu)化方那，中間層結(jié)構(gòu)還包括調(diào)控各節(jié)點的控制服務(wù)器，控制服務(wù)器一端接收來自主服務(wù)器的控制命令，控制服務(wù)器的另一端向?qū)?yīng)的節(jié)點發(fā)送控制命令。

作為所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)的進一步優(yōu)化方案，中間層結(jié)構(gòu)采用卷積神經(jīng)網(wǎng)絡(luò)海量訓(xùn)練各簇采集的圖片得到識別模型，由識別模型識別底層結(jié)構(gòu)中各簇所采集圖片中的無人機。

作為所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)再進一步的優(yōu)化方案，采用卷積神經(jīng)網(wǎng)絡(luò)海量訓(xùn)練各簇采集的圖片得到識別模型的方法為：根據(jù)各簇采集的圖片正向推導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)的輸出和損失，調(diào)用反向傳播，在反向傳播的過程中根據(jù)損失計算梯度，將梯度帶入權(quán)值更新的計算中后進行下一次正向推導(dǎo)，通過周而復(fù)始地正向推導(dǎo)和反向傳播得到識別模型。

更進一步的，所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)，采用卷積神經(jīng)網(wǎng)絡(luò)海量訓(xùn)練各簇采集的圖片得到識別模型時，采用反射線性單元激勵神經(jīng)元。

更進一步的，所述基于深度學(xué)習(xí)的無人機警察系統(tǒng)中，卷積神經(jīng)網(wǎng)絡(luò)的損失層類型為softmax。

本發(fā)明采用上述技術(shù)方案，具有以下有益效果：

(1)采用視覺傳感網(wǎng)技術(shù)構(gòu)建三層結(jié)構(gòu)的無人機警察系統(tǒng)，通過在視覺傳感網(wǎng)的各節(jié)點中配置無人機來彌補固定攝像機陣列存在監(jiān)控死角以及不能靈活調(diào)整監(jiān)控區(qū)域的缺陷，采用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)以獲取精度較高地識別模型，實現(xiàn)了無人機的監(jiān)管和識別；

(2)系統(tǒng)為視覺傳感網(wǎng)中的每一個簇配置有一個次級處理服務(wù)器，次級處理服務(wù)器先對每個簇采集的數(shù)據(jù)進行處理能夠減輕主服務(wù)器的負擔(dān)，為每個節(jié)點配置的預(yù)處理芯片能夠減輕次級服務(wù)器的負擔(dān)；

(3)選取反射線性單元作為激勵以解決梯度消失問題，選取softmax損失層使得梯度更加穩(wěn)定，在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，先正向推導(dǎo)輸出和損失，再反向傳播梯度以更新權(quán)值，通過周而復(fù)始地正向推導(dǎo)和反向傳播訓(xùn)練出識別模型，解決了損失最小化統(tǒng)一優(yōu)化的問題。

附圖說明

圖1為本發(fā)明的系統(tǒng)中vsns的組成以及節(jié)點示意圖。

圖2為本發(fā)明的系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3為本發(fā)明的系統(tǒng)的運行框圖。

圖4為本發(fā)明的識別算法的深度網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖5(a)、圖5(b)分別為本發(fā)明識別模型識別正確、錯誤情形下的準(zhǔn)確率圖。

圖6為本發(fā)明的識別模型的roc曲線圖。

具體實施方式

下面結(jié)合附圖對發(fā)明的技術(shù)方案進行詳細說明。

如圖1所示，本發(fā)明采用攝像機陣列和若干無人機構(gòu)成vsns的一個節(jié)點，采用vsns技術(shù)搭建無人機警察系統(tǒng)的框架。本申請在構(gòu)成vsns的每一個節(jié)點中加入獲取了飛行許可的無人機作為輔助監(jiān)控的手段，獲取了飛行許可的無人機能夠?qū)z像機陣列的監(jiān)控死角進行巡邏監(jiān)控或?qū)z像機陣列拍攝范圍進行重點監(jiān)控。無人機彌補了地面固定監(jiān)測存在監(jiān)控漏洞且監(jiān)控方式不夠靈活的缺陷，同時還可以在需要的情況下對局部區(qū)域進行重點監(jiān)控，提高了整個系統(tǒng)的性能。

另外，考慮到多節(jié)點提供的數(shù)據(jù)量龐大以及優(yōu)化控制結(jié)構(gòu)的需要，將如圖1所示的視覺傳感網(wǎng)設(shè)計成如圖3所示的三層結(jié)構(gòu)。位于最底層的第三層如圖2所示由數(shù)量不等的節(jié)點構(gòu)成的一系列簇(圖3中僅表示了一個簇)組成，每個簇內(nèi)的節(jié)點統(tǒng)一將數(shù)據(jù)發(fā)往一臺次級處理服務(wù)器；位于中間層的第二層由次級處理服務(wù)器構(gòu)成，每一個次級處理服務(wù)器處理一個簇發(fā)送來的數(shù)據(jù)，各次級處理服務(wù)器處理簇發(fā)送的數(shù)據(jù)后向頂層發(fā)送識別結(jié)果；位于頂層的第一層為主服務(wù)器，主服務(wù)器存儲次級處理服務(wù)器發(fā)送的識別結(jié)果并對次級處理服務(wù)器的運算任務(wù)做出安排和調(diào)度。此外，中間層還包括對各節(jié)點運作進行控制的控制服務(wù)器，控制服務(wù)器一端接收來自主服務(wù)器的控制命令，控制服務(wù)器的另一端向?qū)?yīng)的節(jié)點發(fā)送控制命令；為確保控制命令的準(zhǔn)確下達，控制服務(wù)器與各節(jié)點之間的通信、控制服務(wù)器與主服務(wù)器之間的通信也都是雙向的。

主服務(wù)器下達的初始指令經(jīng)控制服務(wù)器傳達至底層各節(jié)點，各節(jié)點接收到初始指令后開始圖像采集/視頻拍攝，整個系統(tǒng)進入工作狀態(tài)；簇內(nèi)各節(jié)點獲取的監(jiān)測圖像或者視頻(簡稱簇內(nèi)數(shù)據(jù))需要先經(jīng)過一個預(yù)處理芯片，預(yù)處理芯片對其接收簇內(nèi)數(shù)據(jù)進行包括幀差提取在內(nèi)的一些前期工作，這樣的目的是減輕次級處理服務(wù)器同時處理多節(jié)點數(shù)據(jù)的負擔(dān)；當(dāng)中央高級處理器向簇內(nèi)各節(jié)點下發(fā)識別指令時，經(jīng)預(yù)處理的簇內(nèi)數(shù)據(jù)被送往該簇對應(yīng)的次級處理服務(wù)器，次級處理服務(wù)器運行識別算法處理簇內(nèi)數(shù)據(jù)得到識別結(jié)果并將預(yù)判結(jié)果以及位置信息等消息傳遞給主服務(wù)器，在次級處理服務(wù)器處理簇內(nèi)數(shù)據(jù)并上傳識別結(jié)果的同時，控制服務(wù)器發(fā)送包含各節(jié)點運行狀態(tài)的反饋信息給主服務(wù)器，主服務(wù)器再根據(jù)反饋信息修改或維持各節(jié)點的控制方式。

次級處理服務(wù)器運行的無人機識別算法，通過訓(xùn)練一個基于卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetworks,cnns)的深度學(xué)習(xí)網(wǎng)絡(luò)得到一個高效的識別模型，進而實現(xiàn)無人機和非無人機的分類。卷積神經(jīng)網(wǎng)絡(luò)如圖4所示，卷積層1濾波器數(shù)量為48個，卷積核大小為9；卷積層2濾波器數(shù)量為64個，卷積核大小為5；卷積層3濾波器數(shù)量為64個，卷積核大小為3。池化層的池化方法都設(shè)置為最大池化。網(wǎng)絡(luò)中不添加dropout層。

1)激勵函數(shù)的選擇

關(guān)于網(wǎng)絡(luò)中神經(jīng)元的激勵，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有sigmoid函數(shù)和tanh函數(shù)這兩個常用的激勵函數(shù)。從圖像上看，sigmoid函數(shù)和tanh函數(shù)可以很好地將輸入映射到一個局部區(qū)間，這比早期的線性激勵函數(shù)又或是階躍激勵函數(shù)有所進步。實際上，深度網(wǎng)絡(luò)對非線性的依賴性并沒有那么強，同時，稀疏特征并不需要網(wǎng)絡(luò)具有很強的處理線性不可分機制?？紤]到以上兩點，在深度學(xué)習(xí)模型中使用線性激勵函數(shù)更為合適。

因此我們選擇反射線性單元(reflectedlinearunit，relu)函數(shù)作為激勵函數(shù)，其表達式如下：

f(x)＝max(0,x)，(1)

由于grad＝error·sigmoid'(x)·x，雙端飽和的sigmoid函數(shù)一旦進行遞推會導(dǎo)致多層反向傳播，梯度將會衰減，進而導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)速率下降。選擇了relu作為激勵函數(shù)以后，梯度法訓(xùn)練深度網(wǎng)絡(luò)時的梯度消失問題得以解決。因為relu函數(shù)是單端飽和的，不存在這種問題，最終目標(biāo)函數(shù)可以收斂。

2)損失層的選擇

損失層通過將輸出與目標(biāo)進行比較并配置參數(shù)使代價最小來驅(qū)動學(xué)習(xí)過程。損失本身通過正推法進行計算，而損失的梯度用逆推法進行計算。有以下常用類型：

softmax損失層計算輸入的softmax的多項羅杰斯特損失。概念上等同于一個softmax層緊接一個多項羅杰斯特損失層，但提供了數(shù)值更加穩(wěn)定的梯度。

euclidean損失層計算兩個輸入的平方差的和：

式(2)中，n為歐式空間的維數(shù)，分別為兩個輸入量在第i維的坐標(biāo)。

由于期望本發(fā)明涉及的無人機警察系統(tǒng)在未來不僅僅能夠區(qū)分出采集點圖像的區(qū)域內(nèi)是否有無人機，還能夠進一步識別非無人機對象具體是鳥類或是其他物體。因此，本申請采用羅杰斯特回歸擴展的一種多分類器-softmax回歸實現(xiàn)分類。其系統(tǒng)方程h及系統(tǒng)損失函數(shù)j分別為：

式(3)中，θ為行數(shù)是k參數(shù)矩陣，參數(shù)矩陣每一行表征一個類別所對應(yīng)的分類器，參數(shù)矩陣的每一列表征各分類器提取的一個特征，hθ(x⁽ⁱ⁾)表示系統(tǒng)在參數(shù)矩陣θ下對輸入量x歸類的結(jié)果，y⁽ⁱ⁾表示輸入量x被歸為第i類的分類結(jié)果，p(y⁽ⁱ⁾＝1|x⁽ⁱ⁾；θ)、p(y⁽ⁱ⁾＝2|x⁽ⁱ⁾；θ)、p(y⁽ⁱ⁾＝k|x⁽ⁱ⁾；θ)分別表示根據(jù)第i個特征將輸入量x歸為第1類、第2類、第k類的概率，θ1x⁽ⁱ⁾、θ2x⁽ⁱ⁾、θjx⁽ⁱ⁾、θkx⁽ⁱ⁾分別為分別表示根據(jù)第i個特征將輸入量x歸為第1類、第2類、第k類的概率分布1{}是一個指示性函數(shù)，當(dāng)后面括號中值為真，函數(shù)值為1，否則為0。

因此，該深度學(xué)習(xí)網(wǎng)絡(luò)損失層選擇的類型為softmaxwithloss。

3)深度網(wǎng)絡(luò)的解決方案

網(wǎng)絡(luò)的解決方案通過調(diào)整網(wǎng)絡(luò)前向傳播以及反向梯度修改能夠改善損失的參數(shù)更新，最終實現(xiàn)模型的最優(yōu)化。具體來講，解決方案首先調(diào)用正推過程生成輸出和損失，然后調(diào)用反向傳播的方法產(chǎn)生模型的梯度，在這之后將梯度合并到權(quán)值更新中，從而使損失最小化。

求得的梯度要用于參數(shù)更新，需要能夠解決損失最小化統(tǒng)一優(yōu)化問題的方案，對輸入數(shù)據(jù)集d，優(yōu)化目標(biāo)就是整個數(shù)據(jù)集上全部|d|數(shù)據(jù)實例的平均損失函數(shù)：

這里，fw(x⁽ⁱ⁾)是數(shù)據(jù)實例x⁽ⁱ⁾上的損失值，r(w)是一個帶權(quán)值λ的正則化項。

由于|d|可以非常之大，所以在實際中，每次解決方案的迭代使用該目標(biāo)的隨機估計，刻畫一個大小為n的迷你批次，n＜＜|d|：

模型在前向過程中計算fw，在反向過程中計算梯度參數(shù)更新δw根據(jù)解決方案從錯誤梯度正則化梯度以及其它方法的特定內(nèi)容中形成。

一種常用的方法是隨機梯度下降法(stochasticgradientdescent,sgd)。公式如下：

其中，v表示權(quán)值更新量，下標(biāo)表示迭代次數(shù)，α為學(xué)習(xí)率，μ為動量參數(shù)。參數(shù)α和μ的設(shè)定有一定的策略可循。

本發(fā)明首先在傳統(tǒng)的視覺傳感網(wǎng)(visualsensornetworks,vsns)的基礎(chǔ)上進行拓展，設(shè)計了一套無人機警察系統(tǒng)的搭建方案，然后又針對該系統(tǒng)研究了一種基于深度學(xué)習(xí)的無人機識別算法，從而為無人機警察系統(tǒng)提供重要技術(shù)支撐。該無人機識別算法將通過訓(xùn)練一個基于卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetworks,cnns)的深度學(xué)習(xí)網(wǎng)絡(luò)，得出一個高效的識別模型，實現(xiàn)無人機和非無人機間的分類。

本發(fā)明所采用深度學(xué)習(xí)模型訓(xùn)練的步驟如表1所示：

表1基于深度學(xué)習(xí)的無人機識別算法流程

我們在caffe框架下進行實驗，平臺采用gtx980ti，操作系統(tǒng)為ubuntu14.04。

一、數(shù)據(jù)預(yù)處理

實驗用的數(shù)據(jù)來自imagenet以及百度圖片人工篩選，不需經(jīng)過提取這一步。

首先，執(zhí)行find指令，將樣本導(dǎo)入文本文件中，再通過sed指令生成對應(yīng)的標(biāo)簽。

然后，運行caffe提供的腳本文件create_somenet.sh將圖片數(shù)據(jù)及其標(biāo)簽文本文件轉(zhuǎn)成lmdb格式，再用腳本文件make_somenet_mean.sh生成對應(yīng)的均值文件。

二、網(wǎng)絡(luò)訓(xùn)練

將本申請設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)寫成prototxt文件，按標(biāo)簽語言的格式將各層配置好，將data層鏈接到輸入數(shù)據(jù)；同時設(shè)置訓(xùn)練配置文件solver.prototxt,學(xué)習(xí)策略設(shè)置為step，基礎(chǔ)學(xué)習(xí)率設(shè)置為0.001，最大迭代次數(shù)為5000次。

然后開始訓(xùn)練網(wǎng)絡(luò)，運行train_somenet.sh，開始自主學(xué)習(xí)。模型訓(xùn)練過程中，根據(jù)損失函數(shù)值loss的收斂情況，可以提前手動終止訓(xùn)練。

三、模型測試

獲得模型之后，在ipython_notebook平臺上進行python代碼開發(fā)，完成測試分析工作。程序中首先導(dǎo)入caffe的相關(guān)庫，然后載入模型文件以及應(yīng)用部署文件deploy.prototxt，再創(chuàng)建一個數(shù)組用來保存測試樣本。

接下來分別進行準(zhǔn)確率計算以及auc計算，auc由以下公式計算得到(對i∈{1,…,a+b-1})：

fpr為誤報率，tpr為檢出率。

下面結(jié)合附圖，對實驗中訓(xùn)練好的模型進行性能分析。

由圖5可見，最高識別率達到了92.51％。該模型訓(xùn)練階段使用了2800張圖片，其中，鳥類圖片1770張，無人機圖片1030張。測試時輸入614張圖片，其中，鳥類圖片356張，無人機圖片258張。圖5(a)表示模型正確分類的情形，共有568例，圖5(b)表示模型錯誤分類的情形，共46例，總數(shù)為614例。錯誤分類即將鳥類誤判為無人機，或是將無人機誤判為鳥類。從統(tǒng)計的角度，可得：

從準(zhǔn)確率來看，該模型的識別效果還是很好的。另外，圖像的橫軸表示鳥類的概率，縱軸表示無人機的概率，如果分析單次輸入的情形，由于每個數(shù)據(jù)點滿足：

probuav+probbird＝1，(8)

probuav、probbird分別為數(shù)據(jù)點為無人機、鳥類的概率。

從正確分類的圖中可以明顯地看到，雖然式(8)表示的線上各個位置幾乎都有數(shù)據(jù)點的存在，但絕大多數(shù)的點集中在兩端，表明對于這部分點中的任一輸入，無論是判斷為鳥類還是無人機，模型分類正確的把握都可以達到90％以上。

圖6對比了三個訓(xùn)練好的模型的auc。模型的測試結(jié)果表明，該方法具有較好的性能，性能最佳的模型的auc值可達0.974，證明其靈敏度和特異度都比較出色。且通過對分類器進行簡單的修改，可以實現(xiàn)分類數(shù)的增加，使模型具有一定的可擴展性。