基于無人機的火災發(fā)生測定方法及其裝置的制造方法
【專利摘要】本發(fā)明公開了一種基于無人機的火災發(fā)生測定方法及其裝置。采用主要由無人機、遠程服務器和位于地面的控制系統(tǒng)組成的系統(tǒng)，無人機由火災報警點的GPS位置信息飛行到達火災報警區(qū)域，拍攝報警點的現(xiàn)場視頻圖像與熱紅外圖像，通過4G移動蜂窩網(wǎng)絡發(fā)送至遠程服務器；遠程服務器接收數(shù)據(jù)得到實時現(xiàn)場視頻和熱紅外圖像；通過肉眼識別或者將熱紅外圖像經(jīng)過分類器比較得到火災是否發(fā)生的結(jié)果。本發(fā)明不僅能夠在接到報警后及時派出無人機，節(jié)省了大量的消防的人力和物力資源；而且能快速掌握火災發(fā)生點的現(xiàn)場情況，為救援工作的開展提供了可靠和有效的實時信息，彌補了現(xiàn)有方法確認火災發(fā)生方法中不存在無人機航拍確認火災發(fā)生方法的不足。
【專利說明】
基于無人機的火災發(fā)生測定方法及其裝置
技術(shù)領域
[0001] 本發(fā)明涉及一種確認火災發(fā)生的方法，特別涉及無人機研究領域的一種確認火災 發(fā)生的方法。
【背景技術(shù)】
[0002] 火災是指在時間或空間上失去控制的燃燒所造成的災害。在各種災害中，火災是 最經(jīng)常、最普遍地威脅公眾安全和社會發(fā)展的主要災害之一。
[0003] 據(jù)公安部消防局統(tǒng)計，2014年，全國共接經(jīng)確認的火災報警39.5萬起，死亡1817 人，受傷1493人，直接財產(chǎn)損失43.9億元。然而，接到的報警數(shù)遠遠不止這些。如果，不經(jīng)過 是否發(fā)生火災的確認，而由消防部門盲目的趕去救援，將會浪費大量的消防的人力和物力 資源，甚至因為不同空間的同時報警，而使得真正需要救援的報警被耽誤。因此，接到火災 報警后的現(xiàn)場確認工作就顯得十分重要。
[0004] 目前的現(xiàn)狀是，當安防公司的火災報警裝置探測到火災報警后，由駐派在附近待 命的工作人員驅(qū)車前往火災發(fā)生地進行現(xiàn)場拍照取證。若確認的確有火災發(fā)生，則再通知 消防部門趕去救援。但是這種方式因為城市交通擁堵，火災發(fā)生地較遠，或者其他突發(fā)情況 等因素影響，使得火災確認浪費了大量時間，如果確實發(fā)生了火災，則耽誤了救援工作。因 此，現(xiàn)在急需一種能夠在最短時間內(nèi)確認火災發(fā)生的方法。
[0005] 無人機利用其機動性好、操作簡單、成本低廉等有利條件能在短時間內(nèi)到達火災 報警點用攝像頭進行視頻和照片的拍攝;利用4G移動蜂窩數(shù)據(jù)網(wǎng)絡能夠?qū)?shù)據(jù)實時的傳送 回控制系統(tǒng);通過卷積神經(jīng)網(wǎng)絡圖像分類快速鑒別確認是否有火災發(fā)生。結(jié)合起來能夠簡 單快速地對火災警報進行現(xiàn)場確認、過濾誤報和加速救援行動，對于消防工作具有非常有 利的作用。
【發(fā)明內(nèi)容】
[0006] 為了解決【背景技術(shù)】中存在的問題，本發(fā)明的目的在于提供了一種基于無人機的確 認火災發(fā)生的方法，該方法將無人機控制技術(shù)、航拍技術(shù)和網(wǎng)絡視頻圖像流傳輸技術(shù)和卷 積神經(jīng)網(wǎng)絡圖像分類巧妙地結(jié)合起來，從而完成對火災警報的現(xiàn)場確認工作。
[0007] 本發(fā)明所要解決的問題包括如下步驟：
[0008] -、一種基于無人機的火災發(fā)生測定方法：
[0009] 1)采用主要由無人機、遠程服務器和位于地面的控制系統(tǒng)組成的系統(tǒng)，無人機上 裝載有紅外熱像儀，GPS定位模塊、氣壓計、陀螺儀、加速度計、帶有攝像頭的云臺機構(gòu)和4G 通信模塊，服務器與無人機之間通過4G移動蜂窩網(wǎng)絡進行通信；
[0010] 2)無人機通過自動巡航模式或者手動操控模式，由火災報警點的GPS位置信息飛 行到達火災報警區(qū)域，通過云臺機構(gòu)搭載的攝像頭和紅外熱像儀分別拍攝報警點的現(xiàn)場視 頻與熱紅外圖像，將現(xiàn)場視頻與紅外熱像圖用4G通信模塊通過4G移動蜂窩網(wǎng)絡發(fā)送至遠程 服務器；
[0011] 3)遠程服務器偵聽并接收無人機傳輸過來的數(shù)據(jù)解碼得到實時現(xiàn)場視頻和熱紅 外圖像；
[0012] 4)將現(xiàn)場視頻中的每幀照片圖像和熱紅外圖像通過肉眼識別獲得火災是否發(fā)生 的結(jié)果，或者將普通視頻圖像和熱紅外圖像分別輸入到已通過卷積神經(jīng)網(wǎng)絡訓練的火災圖 像分類器中，經(jīng)過分類判斷得到火災是否發(fā)生的結(jié)果。一旦分類器判斷得出報警點發(fā)生火 災，控制系統(tǒng)馬上向消防部門報警。
[0013] 所述步驟2)中將所述現(xiàn)場視頻進行H. 264編碼壓縮后，再根據(jù)RTP協(xié)議將視頻數(shù)據(jù) 打包后發(fā)送到遠程服務器。每攝像頭捕獲一幀就進行H. 264編碼，編碼完后需要將其中的 NAL單元解析出來，并采用RTP協(xié)議對編碼完成后的視頻數(shù)據(jù)打包;熱紅外圖像采取JPEG編 碼格式;最后打包完成的熱紅外圖像和視頻通過4G移動蜂窩網(wǎng)絡發(fā)送至服務器。
[0014]所述步驟3)中遠程服務器根據(jù)RTP協(xié)議解包對數(shù)據(jù)流進行H. 264解碼得到現(xiàn)場視 頻。熱紅外圖像和視頻的打包采用采用RTP協(xié)議實現(xiàn);最后打包完成的熱紅外圖像和視頻通 過4G移動蜂窩網(wǎng)絡發(fā)送至服務器。這也是為了有效降網(wǎng)絡低數(shù)據(jù)量，使得視頻和圖像數(shù)據(jù) 傳輸流暢，實時顯示。
[0015]所述步驟2)中，無人機將采用以下方式進行航拍視頻：以被觸發(fā)的火災報警器為 原點，其中原點位置由GPS獲得，在報警點所在的平面即報警點所在的樓層，先以20米至30 米為半徑對報警建筑物墻體進行巡航拍攝，航拍角度為90°;再將無人機飛至建筑物屋頂上 方，飛行高度約為建筑物高度的三倍，采取的航拍角度為30°，以此來獲取屋頂及其建筑物 周邊的視頻和熱紅外圖像。
[0016]在所述步驟4)中，將普通視頻圖像和熱紅外圖像分別輸入到已通過卷積神經(jīng)網(wǎng)絡 訓練的火災圖像分類器中，經(jīng)過分類比對得到火災是否發(fā)生的結(jié)果具體為:對帶有著火和 非著火的兩類建筑物樣本圖像輸入到分類器中通過卷積神經(jīng)網(wǎng)絡進行預訓練得到火災圖 像分類器，取卷積神經(jīng)網(wǎng)絡的全連接層中訓練特征對被測火災圖像進行分類得到著火或者 非著火的結(jié)果。
[0017] 所述的卷積神經(jīng)網(wǎng)絡采用端對端的形式同時訓練特征與分類，訓練的特征為卷積 神經(jīng)網(wǎng)絡結(jié)構(gòu)末端的全連接層，提取卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)末端的全連接層輸出作為著火圖像 的深度特征，得到的深度特征輸入到支持向量機分類器中進行訓練，得到火災圖像分類器。
[0018] 如圖2所示，所述訓練過程中對所有輸入的樣本圖像具體為：
[0019] 1)先進行尺度歸一化，歸一化圖像到32X32分辨率。
[0020] 2)卷積層計算：
[0021] 其中卷積層的參數(shù)表達形式:4X4X20+1(步長），表示卷積核的大小為4X4,數(shù)量 為20，步長為1，采用以下公式進行卷積層計算：
[0022] 為=fiz'j}
[0023] 2i ^ X Xi * K + ^i
[0024] 其中，<、X廠分別表示當前卷積層中第j個特征圖、前一層的第i個特征圖；< 表 示當前層的第j個特征圖與前一層的第i個特征圖之間的卷積核;M」表示需要卷積的前一層 的特征圖的集合，^表示當前卷積層中第j個卷積核對應的偏置;f為激活函數(shù)，卷積層中的 權(quán)值與閾值通過隨機梯度下降法得到；i和j均表示特征圖的序數(shù)，1表示步長。
[0025] 3)池化層計算：
[0026]池化層采用最大池化方式，2 X 2+2 (步長)表示池化核大小為2 X 2，步長為2;最大 池化的計算采用以下公式：
[0027] h- = max {K-s+m,d-s+n } 0<m<s\i)<n<s
[0028] 式中，池化核大小為sXs，s表示池化核的邊C長，表示當前池化特征圖中第(C，d) 坐標位置的值，表示前一層特征圖中池化核中的值集合;& 表示前一層 特征圖中坐標位置為c ? s+m，d ? s+n的值，m，n表示池化核中的坐標。
[0029] 4)再次進行卷積層計算：
[0030]其中，卷積層的參數(shù)表達形式：3X3X40+1(步長），表示卷積核的大小為3X3,數(shù) 量為40,步長為1，此步驟卷積層的具體計算與步驟2)相同。
[0031] 5)采用與步驟3)相同過程再次進行池化層計算：
[0032] 6)全連接層計算：
[0033] 網(wǎng)絡包含一個全連接層，共有兩個節(jié)點單元，全連接層的計算公式為： .'AT 、
[0034] 、產(chǎn)i. /
[0035] 式中，f( ?)表示激活函數(shù)，采用的是Rectified linear unit激活函數(shù)，Rq表示全 連接層中第q個節(jié)點單元，uP表示池化層中第p個節(jié)點單元，表示兩個節(jié)點的連接權(quán)值，N 表示池化層的節(jié)點單元個，P，q均為池化層的節(jié)點單元的序數(shù)；
[0036] 7)softmax層的計算公式如下：
[0039] 式中，Wt,w表示全連接層與softmax層之間的連接權(quán)值，Bt為偏置，Xt表示全連接層 的第t個節(jié)點單元值，rt表示第t個類別上的概率值，rt '表示第t個類別的概率密度;a表示類 另IJ的總個數(shù)，t為類別的序數(shù)，t取1或2，a = 2，w為第t類別下連接權(quán)值的序數(shù);n表示輸入的 場景圖像為著火場景的概率，^表示輸入的場景圖像為非著火場景的概率；
[0040] 8)卷積神經(jīng)網(wǎng)絡的損失函數(shù)公式如下：
[0042] 式中，1 {}是一個指示性函數(shù)，9表示網(wǎng)絡參數(shù);gf5為第P個樣本在類別Q上的概率 值，P表示一次迭代batch中圖像的數(shù)目，Q表示圖像類別的數(shù)目，C，D均為樣本的序數(shù)。
[0043] 當火勢較小時或者著火點在大樓內(nèi)部深處的這種情況時，但從建筑物外部拍攝視 頻的方式不足以完全確認火災的發(fā)生，所以采用攝像頭拍攝視頻和紅外熱像儀拍攝熱紅外 圖像相結(jié)合的方式。
[0044] 普通圖像分類器和紅外圖像分類器最后進行求或運算，即兩種分類器只要有一種 判斷出火災發(fā)生即確認火災發(fā)生，這也是從最大程度上保證報警發(fā)生地的生命財產(chǎn)安全。
[0045] 在控制系統(tǒng)確認火災發(fā)生后，及時報警通知消防部門趕往火災現(xiàn)場進行救援。在 等待救援的過程中，無人機將繼續(xù)在報警點周圍巡航，執(zhí)行航拍工作，實時監(jiān)控火場，為消 防部門提供實時的火勢發(fā)展信息，方便消防部門及時制定有效可行的救援方案。
[0046] 二、一種基于無人機的火災發(fā)生測定裝置：
[0047] 包括無人機及其無人機配套的遙控器；
[0048] 包括遠程服務器，遠程服務器與無人機之間通過4G移動蜂窩網(wǎng)絡進行通信；
[0049] 包括位于地面的控制系統(tǒng)，控制系統(tǒng)與服務器之間通過互聯(lián)網(wǎng)進行通信。
[0050] 優(yōu)選地，控制系統(tǒng)可以架設在服務器本地端口，也可以架設在遠端;如果架設在遠 端，控制系統(tǒng)作為客戶端向服務器請求視頻、熱紅外圖像數(shù)據(jù)?？刂葡到y(tǒng)可以根據(jù)實時的監(jiān) 控視頻，在定時拍攝熱紅外圖像的基礎上，工作人員可以根據(jù)現(xiàn)場的具體情況在認為有必 要拍攝熱紅外圖像的地方進行加拍，是的火災確定工作更加迅速與準確。
[0051] 所述的無人機上裝載有：
[0052] 帶有攝像頭的云臺機構(gòu)；
[0053]用于拍攝采集火災報警點紅外熱圖像的紅外熱像儀，紅外熱像儀裝在云臺機構(gòu) 上；
[0054] 用于采集定位無人機位置的GPS定位模塊；
[0055] 用于檢測無人機飛行高度的氣壓計；
[0056] 用于檢測無人機飛行角速度的陀螺儀；
[0057] 用于檢測無人機飛行角度的加速度計；
[0058]以及與遠程服務器通信的4G通信模塊。
[0059]所述的無人機上還裝載有主控MCU，主控MCU分別與帶有攝像頭的云臺機構(gòu)、紅外 熱像儀、4G通信模塊以及無人機機載的飛控連接。
[0060] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：
[0061] 現(xiàn)有技術(shù)的確認火災發(fā)生的方法中，必須依靠工作人員親臨報警現(xiàn)場，路途上浪 費時間，各種不確定因素影響或耽誤救援工作。本發(fā)明方法利用無人機的航拍和卷積神經(jīng) 網(wǎng)絡圖像分類技術(shù)，提出了一種能夠確認火災發(fā)生方法的全新方向，是對現(xiàn)在正在使用方 法的全面升級。
[0062] 本發(fā)明能夠在接到報警后及時派出無人機，完全避免了地面交通擁堵，報警點較 遠，和其他突發(fā)因素的干擾。通過機載云臺攝像機和紅外熱像儀對報警點進行航拍，將實時 現(xiàn)場情況傳給服務器和控制系統(tǒng)，通過火災圖像分類器快速確定火災的發(fā)生。同時，實時的 監(jiān)控火場的火勢發(fā)展情況，可使消防部門快速及時的根據(jù)火災現(xiàn)場具體情況制定救援計 劃。
【附圖說明】
[0063]圖1為本發(fā)明的方法流程示意圖。
[0064]圖2為本發(fā)明的預訓練卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)圖。
[0065] 圖3為本發(fā)明的無人機各部件的連接方式示意圖。
【具體實施方式】
[0066] 以下將參照附圖，對本發(fā)明的優(yōu)選實例進行詳細的描述。應當理解，優(yōu)選實施例僅 為了說明本發(fā)明，而不是為了限制本發(fā)明的保護范圍。
[0067] 如圖1所示，本發(fā)明無人機在接到火災報警就立即起飛到火災報警點;達到目的地 后以報警點為原點，以報警樓層為所在平面，以20米的半徑進行360°巡航狀態(tài)拍攝視頻和 熱紅外圖像，拍攝完畢后在飛行高度約為建筑物三倍的飛行高度，航拍角度為30°，朝向建 筑物以俯視向下30°角度獲取屋頂及其建筑物周邊的圖像;在拍攝的同時實時的將視頻與 圖像傳送至服務器;最后，控制系統(tǒng)將從服務器里獲取的實時現(xiàn)場視頻圖像和熱紅外圖像 經(jīng)過火災分類器進行有無火災二分類確定火災是否發(fā)生。
[0068]如圖3所示，本發(fā)明的無人機搭載有無人機云臺機構(gòu)、鋰電池、PMU電源管理單元、 氣壓計、陀螺儀和加速度計、GPS模塊、攝像頭和熱紅外成像儀等裝備，并帶有遙控器。服務 器接收無人機用攝像頭和熱紅外成像儀拍攝的視頻和圖像的同時接收無人機的飛行狀態(tài) 數(shù)據(jù)，并發(fā)送到控制系統(tǒng)，控制系統(tǒng)的工作人員根據(jù)當前的飛行狀態(tài)，操控遙控器將對無人 機的控制信號發(fā)送給服務器，再由服務器發(fā)送給無人機從而實現(xiàn)對無人機的手動控制。月艮 務器與無人機之間的各種數(shù)據(jù)的通信全部通過4G通信模塊進行傳輸。GPS定位模塊用于接 收GPS衛(wèi)星傳送的無人機實時位置數(shù)據(jù);氣壓計用于測量無人機的實時高度數(shù)據(jù);陀螺儀和 加速度計測得的數(shù)據(jù)用于無人機的姿態(tài)解析，實時計算無人機的姿態(tài)角;PMU電源管理單元 用于測量電池電量和狀態(tài)的實時數(shù)據(jù);云臺機構(gòu)用于攝像頭和熱成像儀的拍攝角度調(diào)整。
[0069] 本發(fā)明的控制機構(gòu)由兩方面構(gòu)成，分別由兩塊MCU負責，一塊為無人機自帶機載的 飛行控制單元，另一塊為用于負責無人機應用功能實現(xiàn)的主控MCU。
[0070] 飛行控制單元的MCU負責飛行控制，PMU、陀螺儀和加速度計、氣壓計和GPS模塊這 些傳感器的數(shù)據(jù)都由這塊處理器進行處理。這塊處理器負責，且僅負責飛行控制部分的處 理，具體表現(xiàn)為無人機姿態(tài)的解析和飛行速度和飛行位置的控制，同時向主控MCU發(fā)送當前 的無人機飛行狀態(tài)數(shù)據(jù)并接收來自它的控制信號。
[0071] 主控MCU負責完成航拍任務和與服務器的數(shù)據(jù)通信任務，具體表現(xiàn)為通過調(diào)整云 臺機構(gòu)的旋轉(zhuǎn)角度進行拍攝目標的選擇;對攝像頭和熱成像儀設備的拍攝控制;對拍攝到 的視頻和圖像進行編碼打包(視頻編碼使用H. 264,圖像編碼使用JPEG，網(wǎng)絡打包發(fā)送使用 RTP協(xié)議）；整合整個無人機裝置的傳輸信息，通過4G模塊發(fā)送數(shù)據(jù)，同時接收來自服務器的 數(shù)據(jù)并解析。
[0072]無人機云臺機構(gòu)包括無人機多軸云臺、攝像機、熱成像儀。攝像機和熱成像儀安裝 在無人機多軸云臺上，能夠隨無人機多軸云臺的轉(zhuǎn)動而一起轉(zhuǎn)動，從而能夠更好的完成拍 攝工作，無人機多軸云臺連接到無人機的應用功能實現(xiàn)MCU。
[0073]本發(fā)明在視頻和熱紅外圖像獲取后繼續(xù)對周邊環(huán)境進行勘察，方便救援。根據(jù)報 警點現(xiàn)場周邊的環(huán)境，當周邊種植有大量樹木，或者相鄰建筑較近，已經(jīng)有遮擋物或障礙物 時，可以采取飛手操控無人機執(zhí)行航拍方案，當周邊環(huán)境空曠時可以采用自動巡航實行航 拍方案。在航拍過程中，飛手通過控制系統(tǒng)接收到無人機的周圍狀態(tài)、高度、姿態(tài)角和現(xiàn)場 實時視頻與圖像來不斷調(diào)整無人機的航拍角度、高度從而保證航拍工作的順利進行;若為 無人機自動巡航方案是，飛手將圖像采集點的坐標位置、順序、航拍高度、航拍角度由服務 器傳輸給無人機，通過無人機進行自動巡航完成各個采集點下的視頻和熱紅外圖像拍攝工 作。
[0074]本發(fā)明的具體實施過程如下：
[0075] 1)選取某消防隊的演習場地作為本實施例的實施對象，該演習場地為以大型廢舊 倉庫，該倉庫長150米，寬30米，高10米，并在倉庫某一隨機位置用一火源模擬器，模擬著火 點，同時著火點附近安裝有火災警報裝置。
[0076] 2)打開火源模擬器，模擬火災發(fā)生情況，同時火災警報裝置探測到火災發(fā)生，控制 系統(tǒng)接收到火災確認請求，派遣無人機前往。飛手操控無人機飛行，根據(jù)GPS定位和周圍環(huán) 境實時情況，選擇最佳航行方案趕往火災警報發(fā)生地。
[0077] 3)到達現(xiàn)場后對倉庫周邊進行高空觀察情況確定航拍方案，在視頻中明顯發(fā)現(xiàn)在 倉庫東北角有類似火災發(fā)生的濃煙飄出。最終確定以東北角所在區(qū)域的墻體，進行270°的 巡航拍攝，飛行高度為2米(火災報警器的高度），飛行半徑為20米。無人機飛行速度設置為 15°/s。無人機在這段時間內(nèi)持續(xù)拍攝視頻，同時并以每秒1幅的速度拍攝熱紅外圖像，共計 18幅圖像和18秒的視頻。完成后，無人機飛到倉庫上方30米處，以航拍角度為30°，朝向建筑 物以俯視向下30°角度獲取屋頂及其建筑物周邊的圖像和視頻。由于倉庫周邊樹木、標志牌 和障礙物比較多，所以采用飛手手動操控無人機執(zhí)行航拍的方案。
[0078] 無人機在進行航拍任務的同時，進行編碼工作。將拍攝到的視頻進行H. 264編碼， 拍攝到的圖片進行JPEG編碼。接著將完成編碼的視頻分析它的NAL單元，根據(jù)RTP協(xié)議組包。 將視頻、熱紅外圖像和飛控狀態(tài)信息一同打包后通過4G通信模塊走4G移動蜂窩網(wǎng)絡發(fā)送至 服務器。
[0079] 本實施過程中，控制系統(tǒng)直接架設在服務器本地端口，控制系統(tǒng)直接讀取服務器 中的視頻、圖像和飛控狀態(tài)數(shù)據(jù)。飛手根據(jù)這些信息用遙控器操控無人機飛行，調(diào)整云臺的 拍攝角度。
[0080] 4)本實施過程中的兩種火災場景圖像分類器均采用以下方式獲得:選取樣本圖像 的數(shù)量為10萬張，共有2種不同的場景即著火與未著火，每種場景圖像數(shù)為5萬張。卷積神經(jīng) 網(wǎng)絡的訓練的方式為隨機梯度下降方法，權(quán)值衰減設置為5eT 4,勢能為0.9,初始的學習率設 置為〇.〇1，固定學習率，當模型在測試集上的分類精度不再上升時，減小學習率，每次減小 方式為原來的學習率乘以0.1。
[0081] 分類器的最終分類性能如下表：
[0084] 7)控制系統(tǒng)中的火災報警現(xiàn)場的視頻圖像和熱紅外圖像，分別輸入由卷積神經(jīng)網(wǎng) 絡訓練的火災場景普通圖像分類器和火災場景紅外圖像分類器中，兩類圖像分類器均判斷 為發(fā)生火災，所以經(jīng)過或運算直接可以判斷出報警點是真的發(fā)生了火災，控制系統(tǒng)立即通 知消防部門進行救援行動。
[0085] 8)無人機完成上述工作后繼續(xù)停留在報警點現(xiàn)場，通過航拍視頻和熱紅外圖像實 時監(jiān)控現(xiàn)場火勢的發(fā)展情況，并為消防部門提供救援信息，方便制定合理有效的消防救援 計劃。
[0086] 由此可見，本發(fā)明通過攝像頭和熱紅外成像儀對著火點倉庫進行了航拍、無人機 與服務器之間的通訊技術(shù)，以及基于卷積神經(jīng)網(wǎng)絡的圖像分類技術(shù)，實現(xiàn)了對火災報警點 的火災發(fā)生確認。同時，消防部門能比較準確的、迅速的掌握火災現(xiàn)場內(nèi)部的大致情況，為 實時救援提供了相當寶貴的實時信息。
[0087] 本發(fā)明確定火災發(fā)生的方法不僅大大提高了確認的效率和準確性，同時更為救援 計劃的制定和實施提供了非?？煽康募夹g(shù)支持，同時也將無人機的應用領域擴展至消防領 域。
[0088] 上述【具體實施方式】用來解釋說明本發(fā)明，而不是對本發(fā)明進行限制，在本發(fā)明的 精神和權(quán)力要求的保護范圍內(nèi)，對本發(fā)明做出的任何修改和改變，都落入本發(fā)明的保護范 圍。
【主權(quán)項】
1. 一種基于無人機的火災發(fā)生測定方法，其特征在于包括如下步驟： 1) 采用主要由無人機、遠程服務器和位于地面的控制系統(tǒng)組成的系統(tǒng)，無人機上裝載 有紅外熱像儀，GPS定位模塊、氣壓計、巧螺儀、加速度計、帶有攝像頭的云臺機構(gòu)和4G通信 模塊，服務器與無人機之間通過4G移動蜂窩網(wǎng)絡進行通信； 2) 無人機通過自動巡航模式或者手動操控模式，由火災報警點的GPS位置信息飛行到 達火災報警區(qū)域，通過云臺機構(gòu)搭載的攝像頭和紅外熱像儀分別拍攝報警點的現(xiàn)場視頻與 熱紅外圖像，將現(xiàn)場視頻與紅外熱像圖用4G通信模塊通過4G移動蜂窩網(wǎng)絡發(fā)送至遠程服務 器； 3) 遠程服務器偵聽并接收無人機傳輸過來的數(shù)據(jù)解碼得到實時現(xiàn)場視頻和熱紅外圖 像； 4) 將現(xiàn)場視頻中的每帖照片圖像和熱紅外圖像通過肉眼識別獲得火災是否發(fā)生的結(jié) 果，或者將普通視頻圖像和熱紅外圖像分別輸入到已通過卷積神經(jīng)網(wǎng)絡訓練的火災圖像分 類器中，經(jīng)過分類判斷得到火災是否發(fā)生的結(jié)果。2. 根據(jù)權(quán)利要求1所述的一種基于無人機的火災發(fā)生測定方法，其特征在于:所述步驟 2) 中將所述現(xiàn)場視頻進行H. 264編碼壓縮后，再根據(jù)RTP協(xié)議將視頻數(shù)據(jù)打包后發(fā)送到遠程 服務器。3. 根據(jù)權(quán)利要求1所述的一種基于無人機的火災發(fā)生測定方法，其特征在于:所述步驟 3) 中遠程服務器根據(jù)RTP協(xié)議解包對數(shù)據(jù)流進行H. 264解碼得到現(xiàn)場視頻。4. 根據(jù)權(quán)利要求1所述的一種基于無人機的火災發(fā)生測定方法，其特征在于:所述的步 驟2)中，無人機將采用W下方式進行航拍視頻： W被觸發(fā)的火災報警器為原點，在報警點所在的平面即報警點所在的樓層，先W20米 至30米為半徑對報警建筑物墻體進行巡航拍攝，航拍角度為90%再將無人機飛至建筑物屋 頂上方，飛行高度約為建筑物高度的=倍，采取的航拍角度為30°。5. 根據(jù)權(quán)利要求1所述的一種基于無人機的火災發(fā)生測定方法，其特征在于:在所述的 步驟4)中，將普通視頻圖像和熱紅外圖像分別輸入到已通過卷積神經(jīng)網(wǎng)絡訓練的火災圖像 分類器中，經(jīng)過分類比對得到火災是否發(fā)生的結(jié)果具體為:對帶有著火和非著火的兩類建 筑物樣本圖像輸入到分類器中通過卷積神經(jīng)網(wǎng)絡進行預訓練得到火災圖像分類器，取卷積 神經(jīng)網(wǎng)絡的全連接層中訓練特征對被測火災圖像進行分類得到著火或者非著火的結(jié)果。6. 根據(jù)權(quán)利要求5所述的一種基于無人機的火災發(fā)生測定方法，其特征在于:所述的卷 積神經(jīng)網(wǎng)絡采用端對端的形式同時訓練特征與分類，訓練的特征為卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)末端 的全連接層，提取卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)末端的全連接層輸出作為著火圖像的深度特征，得到 的深度特征輸入到支持向量機分類器中進行訓練，得到火災圖像分類器。7. 根據(jù)權(quán)利要求5所述的一種基于無人機的火災發(fā)生測定方法，其特征在于:所述訓練 過程中對所有輸入的樣本圖像具體為： 1) 先進行尺度歸一化，歸一化圖像到32 X 32分辨率； 2) 卷積層計算： 其中卷積層的參數(shù)表達形式:4X4X20+1(步長），表示卷積核的大小為4X4,數(shù)量為 20，步長為1，采用W下公式進行卷積層計算：其中，X;' y,'-I分別表示當前卷積層中第j個特征圖、前一層的第i個特征圖；4表示當 前層的第j個特征圖與前一層的第i個特征圖之間的卷積核;表示需要卷積的前一層的特 征圖的集合，表示當前卷積層中第j個卷積核對應的偏置;f為激活函數(shù)，卷積層中的權(quán) 值與闊值通過隨機梯度下降法得到；i和j均表示特征圖的序數(shù)，1表示步長； 3) 池化層計算： 池化層采用最大池化方式，2 X 2+2(步長)表示池化核大小為2 X 2，步長為2;最大池化 的計算采用W下公式：式中，池化核大小為S Xs,S表示池化核的邊々二長，表示當前池化特征圖中第(c，d)坐標 位置的值，C、d分別表示池化特征圖的橫縱坐標，衡表示前一層特征圖中池化核中 。己巧:<王,0色〇己玉： 的值集合；表示前一層特征圖中坐標位置為C ? s+m，d ? s+n的值，m，n表示池化 核中的坐標； 4) 再次進行卷積層計算： 其中，卷積層的參數(shù)表達形式:3X3X40+1(步長），表示卷積核的大小為3X3,數(shù)量為 40,步長為1，此步驟卷積層的具體計算與步驟2)相同； 5) 采用與步驟3)相同過程再次進行池化層計算： 6) 全連接層計算： 網(wǎng)絡包含一個全連接層，共有兩個節(jié)點單元，全連接層的計算公式為：式中，f( ?)表示激活函數(shù)，采用的是Rectified linear unit激活函數(shù)，Rq表示全連接 層中第q個節(jié)點單元，Up表示池化層中第P個節(jié)點單元，Vpq表示兩個節(jié)點的連接權(quán)值，N表示 池化層的節(jié)點單元個數(shù)，P，q均為池化層的節(jié)點單元的序數(shù)； 7. softmax層的計算公式如下：式中，Wt, W表示全連接層與SOf tmax層之同的連接權(quán)值，Bt為偏置，X康示全連接層的第t 個節(jié)點單元值，rt表示第t個類別上的概率值，rt'表示第t個類別的概率密度;a表示類別的 總個數(shù)，t為類別的序數(shù)，t取1或2，a = 2，w為第t類別下連接權(quán)值的序數(shù)術(shù)表示輸入的場景 圖像為著火場景的概率，n表示輸入的場景圖像為非著火場景的概率； 8)卷積神經(jīng)網(wǎng)絡的損失函數(shù)公式如下：式中，1{}是一個指示性函數(shù)，e表示網(wǎng)絡參數(shù);為第P個樣本在類別Q上的概率值，P 表示一次迭代batch中圖像的數(shù)目，Q表示圖像類別的數(shù)目，C，D均為樣本的序數(shù)。8. 用于實施權(quán)利要求1~7任一所述方法的一種基于無人機的火災發(fā)生測定裝置，其特 征在于： 包括無人機及其無人機配套的遙控器； 包括遠程服務器，遠程服務器與無人機之間通過4G移動蜂窩網(wǎng)絡進行通信； 包括位于地面的控制系統(tǒng)，控制系統(tǒng)與服務器之間通過互聯(lián)網(wǎng)或本地端口進行通信。9. 根據(jù)權(quán)利要求8所述的一種基于無人機的火災發(fā)生測定裝置，其特征在于:所述的無 人機上裝載有： 帶有攝像頭的云臺機構(gòu)； 用于拍攝采集火災報警點紅外熱圖像的紅外熱像儀； 用于采集定位無人機位置的GI^定位模塊； 用于檢測無人機飛行高度的氣壓計； 用于檢測無人機飛行角速度的巧螺儀； 用于檢測無人機飛行角度的加速度計； W及與遠程服務器通信的4G通信模塊。10. 根據(jù)權(quán)利要求8所述的一種基于無人機的火災發(fā)生測定裝置，其特征在于:所述的 無人機上還裝載有主控MCU，主控MCU分別與帶有攝像頭的云臺機構(gòu)、紅外熱像儀、4G通信模 塊W及無人機機載的飛控連接。
【文檔編號】G08B17/12GK105913604SQ201610330274
【公開日】2016年8月31日
【申請日】2016年5月18日
【發(fā)明人】鄭恩輝, 張漢燁
【申請人】中國計量大學