本技術(shù)涉及無人駕駛領(lǐng)域，特別涉及一種基于多視角的遙控駕駛方法。

背景技術(shù)：

1、近年來，隨著人工智能、5g通信、云計(jì)算等新興技術(shù)的發(fā)展，無人駕駛技術(shù)取得了長(zhǎng)足進(jìn)步。在智慧交通、智慧物流、智慧礦山等諸多領(lǐng)域，無人駕駛系統(tǒng)得到了廣泛應(yīng)用，有效提高了作業(yè)效率和安全性，降低了人力成本。特別是在一些復(fù)雜、危險(xiǎn)的工作環(huán)境中，無人駕駛系統(tǒng)可以代替人工執(zhí)行任務(wù)。

2、由于真實(shí)世界的道路環(huán)境復(fù)雜多變，存在各種結(jié)構(gòu)化和非結(jié)構(gòu)化的障礙，無人車輛難以僅憑自身感知和決策能力來應(yīng)對(duì)。尤其在峽谷、礦山、施工現(xiàn)場(chǎng)等復(fù)雜場(chǎng)景下作業(yè)時(shí)，環(huán)境布局不規(guī)則，障礙物眾多，路況難以預(yù)測(cè)，對(duì)無人駕駛系統(tǒng)提出了極高的要求。如何賦予無人車更強(qiáng)的環(huán)境適應(yīng)能力，成為了業(yè)界研究的重點(diǎn)。

3、針對(duì)無人駕駛面臨的上述挑戰(zhàn)，業(yè)界開展了大量研究，提出了多種解決方案。遠(yuǎn)程遙控駕駛就是一種有效的輔助手段。通過人在回路的方式，引入人的智能來指揮無人車行駛，可以彌補(bǔ)無人駕駛系統(tǒng)在復(fù)雜環(huán)境下的不足。目前，已有一些面向復(fù)雜場(chǎng)景應(yīng)用的無人車遙控駕駛系統(tǒng)，但仍存在功能不完善、體驗(yàn)不理想等問題，主要體現(xiàn)在：大多數(shù)遙控駕駛系統(tǒng)僅支持駕駛員主動(dòng)控制，缺乏故障應(yīng)對(duì)、任務(wù)管理等輔助模式。在系統(tǒng)出現(xiàn)異常時(shí)，無法自動(dòng)切換到遠(yuǎn)程接管，存在安全隱患。同時(shí)，在多車協(xié)同作業(yè)場(chǎng)景下，調(diào)度人員難以對(duì)所有車輛進(jìn)行統(tǒng)一管控和任務(wù)調(diào)度，人力負(fù)擔(dān)重，效率不高。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的無人駕駛無法應(yīng)對(duì)復(fù)雜環(huán)境的問題，本技術(shù)提供了一種基于多視角的遙控駕駛方法，通過在云平臺(tái)、遙控駕駛系統(tǒng)模塊、駕駛艙hmi和車端remotehandler之間建立通信鏈路和控制流程，實(shí)現(xiàn)了多種模式下的車輛遙控接管。

2、本技術(shù)的目的通過以下技術(shù)方案實(shí)現(xiàn)。

3、本技術(shù)提供一種基于多視角的遙控駕駛方法，用于無人駕駛系統(tǒng)，包括：無人駕駛系統(tǒng)包含：車端remote?handler、駕駛艙hmi、遙控駕駛系統(tǒng)模塊、車端cloudhandler和云平臺(tái)；其中，云平臺(tái)包含通信網(wǎng)關(guān)、大屏、設(shè)備管理模塊和告警管理模塊；當(dāng)駕駛艙hmi生成車輛選擇數(shù)據(jù)e402和開始遙控指令e401時(shí)，駕駛艙hmi通過遙控駕駛系統(tǒng)模塊向云平臺(tái)發(fā)送遙控申請(qǐng)p1，云平臺(tái)生成控制指令c1后，下發(fā)遙控指令f401，建立駕駛艙hmi與車端remotehandler的連接，并通過接收車端視頻數(shù)據(jù)v1和發(fā)送遙控指令e1對(duì)車輛進(jìn)行遙控接管；當(dāng)車端cloudhandler檢測(cè)到車輛故障時(shí)，車端cloudhandler將故障數(shù)據(jù)d上報(bào)給告警模塊；告警模塊結(jié)合設(shè)備管理模塊和通信網(wǎng)關(guān)，根據(jù)故障數(shù)據(jù)d和駕駛員確認(rèn)指令e8，決定是否向遙控駕駛系統(tǒng)模塊下發(fā)控制指令c1，實(shí)現(xiàn)車輛故障時(shí)的遙控接管；當(dāng)大屏生成車輛和駕駛艙選擇數(shù)據(jù)，并下發(fā)遙控接管指令時(shí)，設(shè)備管理模塊通過通信網(wǎng)關(guān)，根據(jù)車輛和駕駛艙狀態(tài)以及駕駛員確認(rèn)指令e8，決定是否向遙控駕駛系統(tǒng)模塊下發(fā)控制指令c1，實(shí)現(xiàn)云平臺(tái)主動(dòng)發(fā)起的車輛遙控接管；當(dāng)駕駛艙hmi生成車輛選擇數(shù)據(jù)e402和開始監(jiān)控指令時(shí)，遙控駕駛系統(tǒng)模塊通過通信網(wǎng)關(guān)，在確認(rèn)車輛狀態(tài)滿足預(yù)設(shè)條件后，車端remote?handler下發(fā)監(jiān)控指令e5，建立車端remote?handler與駕駛艙hmi之間的連接，實(shí)現(xiàn)駕駛艙hmi對(duì)車輛的遠(yuǎn)程監(jiān)控。

4、其中，車端remote?handler：安裝在無人駕駛車輛上的遠(yuǎn)程處理模塊，負(fù)責(zé)與駕駛艙和云平臺(tái)進(jìn)行通信，接收遙控指令并轉(zhuǎn)換為車輛控制指令，同時(shí)采集車載傳感器數(shù)據(jù)和行車視頻，回傳給駕駛艙或云端。駕駛艙hmi：human-machine?interface，指位于遠(yuǎn)程駕駛艙內(nèi)，供駕駛員進(jìn)行人機(jī)交互的界面和設(shè)備。通過hmi，駕駛員可以獲取車輛行駛信息，查看車載視頻，并下達(dá)遙控指令。遙控駕駛系統(tǒng)模塊：部署在駕駛艙的軟件模塊，連接hmi與通信網(wǎng)關(guān)，負(fù)責(zé)在駕駛員和車輛之間傳遞遙控指令和車載數(shù)據(jù)。該模塊還具有連接管理、指令校驗(yàn)等功能，保證遙控過程的可靠性。車端cloudhandler：安裝在無人駕駛車輛上的通信模塊，負(fù)責(zé)車輛與云平臺(tái)間的數(shù)據(jù)交互。當(dāng)檢測(cè)到車輛故障時(shí)，該模塊會(huì)立即向云端告警管理模塊上報(bào)故障信息。設(shè)備管理模塊：云平臺(tái)上的功能模塊，負(fù)責(zé)維護(hù)所有接入車輛和駕駛艙的狀態(tài)信息。根據(jù)車輛狀態(tài)和駕駛艙請(qǐng)求，設(shè)備管理模塊決定是否批準(zhǔn)和建立遙控連接。告警管理模塊：云平臺(tái)上的功能模塊，負(fù)責(zé)接收和處理車端上報(bào)的各類故障信息。當(dāng)車輛發(fā)生故障時(shí)，告警管理模塊會(huì)及時(shí)通知駕駛艙或安排遙控接管，避免事故發(fā)生。車輛選擇數(shù)據(jù)e402：由駕駛艙hmi生成，用于告知遙控駕駛系統(tǒng)模塊駕駛員想要遙控或監(jiān)控的目標(biāo)車輛id，從而建立與特定車輛的連接。開始遙控指令e401：由駕駛艙hmi生成，指示遙控駕駛系統(tǒng)模塊啟動(dòng)與車輛的遙控連接，開始接管車輛的駕駛?cè)蝿?wù)。遙控指令f401：由云平臺(tái)下發(fā)給車端remote?handler和遙控駕駛系統(tǒng)模塊的指令，指示雙方建立車輛遙控所需的通信連接，為遙控接管做準(zhǔn)備。

5、進(jìn)一步的，通過接收車端視頻數(shù)據(jù)v1和發(fā)送遙控指令e1對(duì)車輛進(jìn)行遙控接管，包括：在駕駛艙hmi生成車輛選擇數(shù)據(jù)e402和開始遙控指令e401下，檢測(cè)遙控駕駛系統(tǒng)模塊是否滿足預(yù)設(shè)的條件，如果滿足，則遙控駕駛系統(tǒng)模塊向云平臺(tái)發(fā)送遙控申請(qǐng)p1；反之，遙控駕駛系統(tǒng)模塊向駕駛艙hmi發(fā)送消息提示；云平臺(tái)接收遙控申請(qǐng)p1后，判斷是否進(jìn)行遙控接管，如果時(shí)，則云平臺(tái)依次向車端remote?handler下發(fā)開始推流指令e3和開始遙控指令e401，向駕駛艙hmi下發(fā)開始遙控指令e401；反之，云平臺(tái)向遙控駕駛系統(tǒng)模塊下發(fā)告警信息m1；車端remote?handler接收開始推流指令e3和開始遙控指令e401后，與駕駛艙hmi建立連接并開始推流，同時(shí)接收來自駕駛艙hmi的遙控指令e1。

6、其中，開始推流（start?streaming）：是車端remote?handler模塊收到云平臺(tái)下發(fā)的開始推流指令e3后，啟動(dòng)車載攝像頭采集視頻并向駕駛艙實(shí)時(shí)傳輸視頻流數(shù)據(jù)的過程。具體而言，當(dāng)車端remote?handler接收到開始推流指令e3后，會(huì)執(zhí)行以下操作：激活車載攝像頭：remote?handler向車載攝像頭發(fā)送喚醒和工作模式設(shè)置指令，使其進(jìn)入視頻采集狀態(tài)。建立視頻編碼器：remote?handler創(chuàng)建視頻編碼器實(shí)例，對(duì)采集到的原始視頻幀進(jìn)行編碼壓縮，通常采用h.264或h.265等高效壓縮格式，以減少傳輸帶寬。發(fā)起視頻流傳輸：remote?handler與駕駛艙hmi建立專用的數(shù)據(jù)通道（如rtmp、rtsp、webrtc等），源源不斷地將經(jīng)過編碼的視頻流數(shù)據(jù)推送到hmi。動(dòng)態(tài)調(diào)整推流參數(shù)：remote?handler根據(jù)通信鏈路的穩(wěn)定性和帶寬狀況，實(shí)時(shí)調(diào)整視頻編碼的比特率、幀率、分辨率等參數(shù)，在保證畫面流暢清晰的同時(shí)，盡可能降低傳輸延遲。

7、進(jìn)一步的，檢測(cè)遙控駕駛系統(tǒng)模塊是否滿足預(yù)設(shè)的條件，包括：通過遙控駕駛系統(tǒng)模塊采集駕駛艙環(huán)境數(shù)據(jù)，環(huán)境數(shù)據(jù)包含環(huán)境溫度、濕度和光照強(qiáng)度，并判斷采集的環(huán)境數(shù)據(jù)是否在預(yù)設(shè)范圍內(nèi)；獲取遙控駕駛系統(tǒng)模塊的硬件參數(shù)，硬件參數(shù)包含供電電壓、cpu使用率和內(nèi)存使用率，判斷硬件參數(shù)是否滿足預(yù)設(shè)的遙控駕駛條件；獲取與車端remotehandler的通信鏈路狀態(tài)，判斷當(dāng)前通信時(shí)延和丟包率是否滿足預(yù)設(shè)遙控駕駛的條件。

8、具體的，遙控駕駛系統(tǒng)模塊通過集成的環(huán)境傳感器，實(shí)時(shí)采集駕駛艙內(nèi)的環(huán)境參數(shù)數(shù)據(jù)。其中：溫濕度傳感器（如dht11、dht22等）用于采集駕駛艙內(nèi)的環(huán)境溫度和相對(duì)濕度。傳感器通過單總線與遙控駕駛系統(tǒng)模塊的mcu（微控制器）連接，mcu以一定頻率（如1hz）觸發(fā)傳感器進(jìn)行采樣，并通過i2c接口讀取溫濕度數(shù)據(jù)。光照傳感器（如bh1750等）用于采集駕駛艙內(nèi)的環(huán)境光照強(qiáng)度。傳感器通過i2c接口與mcu連接，mcu以一定頻率（如1hz）觸發(fā)傳感器進(jìn)行采樣，讀取當(dāng)前光照強(qiáng)度值（單位：勒克斯lux）。mcu對(duì)采集到的溫度、濕度、光照強(qiáng)度數(shù)據(jù)進(jìn)行打包，并通過uart接口周期性（如1hz）發(fā)送給遙控駕駛系統(tǒng)模塊的上位機(jī)。上位機(jī)解析傳感器數(shù)據(jù)包，將解析結(jié)果（浮點(diǎn)數(shù)格式）保存在內(nèi)存中，供后續(xù)判斷使用。上位機(jī)將采集到的溫度、濕度、光照強(qiáng)度值與預(yù)設(shè)的閾值范圍（可從配置文件中讀?。┻M(jìn)行比對(duì)。如果任一參數(shù)超出預(yù)設(shè)范圍（如溫度>35℃，濕度>70%，光照<100lux等），則認(rèn)為駕駛艙環(huán)境不滿足遙控駕駛條件，上位機(jī)立即向駕駛艙hmi發(fā)送環(huán)境異常提示消息。

9、獲取遙控駕駛系統(tǒng)模塊硬件參數(shù)，遙控駕駛系統(tǒng)模塊的上位機(jī)通過操作系統(tǒng)api或第三方庫(kù)，周期性地獲取當(dāng)前硬件運(yùn)行參數(shù)：供電電壓：上位機(jī)通過系統(tǒng)api（如/sys/class/power_supply/目錄下的電壓文件）讀取當(dāng)前系統(tǒng)供電電壓值，判斷是否在預(yù)設(shè)范圍內(nèi)（如4.75～5.25v）。如果電壓異常，上位機(jī)立即向hmi發(fā)送供電異常提示。cpu使用率：上位機(jī)通過讀取/proc/stat文件，周期性（如1秒）計(jì)算cpu在各個(gè)狀態(tài)下的時(shí)間占比，得出cpu使用率百分比。如果cpu使用率超過預(yù)設(shè)閾值（如90%），上位機(jī)立即向hmi發(fā)送cpu負(fù)載過高提示。內(nèi)存使用率：上位機(jī)通過讀取/proc/meminfo文件，周期性（如1秒）計(jì)算當(dāng)前物理內(nèi)存和交換空間的使用率。如果內(nèi)存使用率超過預(yù)設(shè)閾值（如80%），上位機(jī)立即向hmi發(fā)送內(nèi)存不足提示。

10、獲取與車端remote?handler通信鏈路狀態(tài)，遙控駕駛系統(tǒng)模塊的上位機(jī)與車端remote?handler模塊之間，維持一個(gè)固定的心跳通道。雙方周期性（如1秒）互發(fā)心跳包，并在應(yīng)用層統(tǒng)計(jì)往返時(shí)延和丟包情況：通信時(shí)延：上位機(jī)在發(fā)送心跳包時(shí)，在包頭中攜帶發(fā)送時(shí)間戳t1（毫秒）。remote?handler收到心跳包后，提取t1，并立即回復(fù)一個(gè)帶有t1的應(yīng)答包。上位機(jī)收到應(yīng)答包，提取應(yīng)答時(shí)間戳t2，然后計(jì)算往返時(shí)延?rtt?=?t2?-?t1。丟包率：上位機(jī)維護(hù)一個(gè)固定大小（如100）的心跳包發(fā)送窗口，對(duì)每個(gè)發(fā)送的心跳包編號(hào)（1~100），并記錄其發(fā)送時(shí)間。在應(yīng)答包中，remote?handler需攜帶對(duì)應(yīng)的心跳包編號(hào)。上位機(jī)根據(jù)應(yīng)答包編號(hào)，在窗口中將對(duì)應(yīng)心跳包標(biāo)記為已應(yīng)答。周期性地（如5秒），上位機(jī)統(tǒng)計(jì)窗口中未應(yīng)答的心跳包數(shù)量，除以窗口大小，得到丟包率百分比。然后，將窗口中所有心跳包的往返時(shí)延累加平均，得到平均通信時(shí)延。上位機(jī)將計(jì)算得到的平均通信時(shí)延和丟包率，與預(yù)設(shè)的閾值（可從配置文件中讀取）進(jìn)行比對(duì)。如果通信時(shí)延超過預(yù)設(shè)值（如200毫秒）或丟包率超過預(yù)設(shè)值（如5%），上位機(jī)立即向hmi發(fā)送通信異常提示。

11、進(jìn)一步的，車輛故障時(shí)的遙控接管，包括：當(dāng)車端cloudhandler檢測(cè)到車輛故障時(shí)，生成故障數(shù)據(jù)d，并將故障數(shù)據(jù)d上報(bào)給告警管理模塊；告警管理模塊接收故障數(shù)據(jù)d后，通過故障分析算法進(jìn)行判斷，并將判斷結(jié)果發(fā)送給設(shè)備管理模塊；設(shè)備管理模塊接收判斷結(jié)果后，獲取空閑駕駛艙數(shù)據(jù)，并通過通信網(wǎng)關(guān)下發(fā)遙控指令f401給遙控駕駛系統(tǒng)模塊；遙控駕駛系統(tǒng)模塊接收到遙控指令f401后，下發(fā)人工接管確認(rèn)請(qǐng)求e6給駕駛艙hmi；駕駛艙hmi接收到人工接管確認(rèn)請(qǐng)求e6后，顯示遙控接管提示信息，供駕駛員確認(rèn)是否同意遙控接管；駕駛員通過駕駛艙hmi生成人工接管確認(rèn)指令e8，遙控駕駛系統(tǒng)模塊接收人工接管確認(rèn)指令e8后，生成遙控確認(rèn)指令e7，并將遙控確認(rèn)指令e7發(fā)送給通信網(wǎng)關(guān)；設(shè)備管理模塊接收到遙控確認(rèn)指令e7后，通過決策算法進(jìn)行判斷是否同意遙控接管，如果同意，則設(shè)備管理模塊通過通信網(wǎng)關(guān)下發(fā)控制指令c1給車端remote?handler和遙控駕駛系統(tǒng)模塊；車端remotehandler接收到控制指令c1后，與駕駛艙hmi建立連接進(jìn)行交互。并將駕駛艙hmi的狀態(tài)設(shè)置為遙控中。

12、其中，故障分析算法（fault?analysis?algorithm），是部署在云端告警管理模塊中的一種數(shù)據(jù)處理程序，用于對(duì)車端上報(bào)的故障數(shù)據(jù)進(jìn)行快速、準(zhǔn)確的分析和判斷，識(shí)別故障類型、嚴(yán)重程度，并自動(dòng)生成處置建議。在本技術(shù)中，對(duì)車端上報(bào)的故障數(shù)據(jù)d進(jìn)行格式化解析，提取故障代碼、故障發(fā)生時(shí)間、車輛狀態(tài)參數(shù)等關(guān)鍵字段，并將其存入結(jié)構(gòu)化數(shù)據(jù)庫(kù)或內(nèi)存數(shù)據(jù)對(duì)象中，方便后續(xù)分析。根據(jù)預(yù)定義的故障類型字典或故障樹模型，對(duì)提取出的故障代碼進(jìn)行分類查詢，識(shí)別出具體的故障類型，如動(dòng)力系統(tǒng)故障、傳感器故障、網(wǎng)絡(luò)故障等。根據(jù)不同故障類型的評(píng)估規(guī)則，對(duì)故障發(fā)生時(shí)的車輛速度、加速度、轉(zhuǎn)向角等狀態(tài)參數(shù)進(jìn)行綜合分析，并參考?xì)v史同類故障的處理經(jīng)驗(yàn)，自動(dòng)判斷該故障的危險(xiǎn)程度，如“可忽略”“輕微”“嚴(yán)重”“危急”等。根據(jù)故障類型和嚴(yán)重程度，從預(yù)置的處置策略集中匹配最優(yōu)方案，自動(dòng)生成處理該故障的建議，如“限制車速”“切換冗余系統(tǒng)”“駕駛員遠(yuǎn)程接管”“安全停車”等。

13、其中，決策算法（decision-making?algorithm），是部署在云端設(shè)備管理模塊中的一種策略分析程序，用于對(duì)遙控接管請(qǐng)求進(jìn)行審核和決策，判斷當(dāng)前遙控接管方案的可行性和合理性，并平衡各方面因素，給出是否批準(zhǔn)接管的最終結(jié)論。在本技術(shù)中，對(duì)遙控駕駛系統(tǒng)模塊發(fā)送的遙控確認(rèn)指令e7進(jìn)行解析，提取出待遙控車輛id、故障類型、駕駛員id、駕駛艙id等關(guān)鍵信息。根據(jù)車輛id，查詢車聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)庫(kù)，獲取該車輛的實(shí)時(shí)位置、速度、電量、故障狀態(tài)等行駛數(shù)據(jù)，判斷車輛是否處于可遙控狀態(tài)。根據(jù)駕駛員id，查詢?nèi)藛T管理系統(tǒng)數(shù)據(jù)庫(kù)，獲取該駕駛員的駕照類型、遙控駕駛等級(jí)、累計(jì)遙控里程等資質(zhì)數(shù)據(jù)，判斷其是否滿足接管該車輛的要求。根據(jù)駕駛艙id，獲取該駕駛艙的硬件配置、網(wǎng)絡(luò)帶寬、系統(tǒng)負(fù)載等性能參數(shù)，并參考?xì)v史遙控記錄，判斷該駕駛艙能否提供穩(wěn)定可靠的遙控服務(wù)。根據(jù)接管方案評(píng)估結(jié)果，做出批準(zhǔn)或拒絕該遙控申請(qǐng)的決定，生成控制指令c1。如果批準(zhǔn)，則在c1中注明目標(biāo)車輛和指定駕駛艙；如果拒絕，則在c1中說明拒絕原因。

14、進(jìn)一步的，告警管理模塊接收故障數(shù)據(jù)d后進(jìn)行判斷，并將判斷結(jié)果發(fā)送給設(shè)備管理模塊，包括：告警管理模塊接收車端cloudhandler上報(bào)的故障數(shù)據(jù)d后，從故障數(shù)據(jù)d中提取故障部件類型特征d1和故障發(fā)生位置d2；將提取的故障部件類型特征d1和故障發(fā)生位置d2作為輸入，利用預(yù)訓(xùn)練的決策樹模型計(jì)算當(dāng)前故障數(shù)據(jù)的嚴(yán)重程度；當(dāng)計(jì)算的嚴(yán)重程度大于設(shè)定的閾值時(shí)，生成遙控接管判斷結(jié)果。

15、具體的，車載cloudhandler模塊實(shí)時(shí)監(jiān)測(cè)車輛各個(gè)部件（如動(dòng)力系統(tǒng)、制動(dòng)系統(tǒng)、轉(zhuǎn)向系統(tǒng)等）的工作狀態(tài)，一旦檢測(cè)到異常，立即將故障相關(guān)數(shù)據(jù)打包上報(bào)到遠(yuǎn)程告警管理模塊。其中故障數(shù)據(jù)d至少包括：故障部件類型特征d1（如動(dòng)力電池、制動(dòng)執(zhí)行器等）和故障發(fā)生位置d2（如gps位置、所處巷道編號(hào)等）。告警管理模塊基于socket通信機(jī)制，實(shí)時(shí)接收車載cloudhandler上報(bào)的故障數(shù)據(jù)d。接收到故障數(shù)據(jù)d后，告警管理模塊首先對(duì)其進(jìn)行解析，從原始數(shù)據(jù)包中提取關(guān)鍵特征，包括故障部件類型特征d1和故障發(fā)生位置d2。提取過程可由正則表達(dá)式匹配實(shí)現(xiàn)。告警管理模塊加載預(yù)先離線訓(xùn)練好的決策樹模型，并將提取的故障部件類型特征d1和故障發(fā)生位置d2作為輸入（即決策樹的根節(jié)點(diǎn)），逐層向下遍歷決策樹。其中，各個(gè)內(nèi)部節(jié)點(diǎn)表示對(duì)輸入特征的判斷條件，葉節(jié)點(diǎn)代表故障嚴(yán)重程度的輸出結(jié)果。基于特征值與判斷條件的比對(duì)結(jié)果，決策樹模型最終會(huì)給出當(dāng)前故障的嚴(yán)重程度，如“輕度”、“中度”、“嚴(yán)重”等不同等級(jí)。

16、告警管理模塊設(shè)有嚴(yán)重程度閾值，用于判斷是否需要人工遙控接管。當(dāng)決策樹模型計(jì)算出的嚴(yán)重程度大于該閾值時(shí)（如達(dá)到“嚴(yán)重”級(jí)別），告警管理模塊即生成遙控接管判斷結(jié)果，認(rèn)為當(dāng)前車輛無法繼續(xù)自主作業(yè)，需要轉(zhuǎn)由人工遠(yuǎn)程遙控。告警管理模塊將遙控接管判斷結(jié)果通過websocket實(shí)時(shí)推送給設(shè)備管理模塊，通知其啟動(dòng)遠(yuǎn)程遙控。同時(shí)，告警管理模塊還將故障數(shù)據(jù)d、故障嚴(yán)重程度、遙控接管判斷結(jié)果等信息存入故障日志數(shù)據(jù)庫(kù)，便于事后根因分析和模型迭代優(yōu)化。

17、進(jìn)一步的，故障部件類型特征d1包括：車輛識(shí)別號(hào)、故障發(fā)生時(shí)間、故障代碼和故障參數(shù)；故障發(fā)生位置d2包括：井下分區(qū)編號(hào)、路段編號(hào)和坐標(biāo)數(shù)據(jù)；其中，井下分區(qū)編號(hào)表示井下礦區(qū)劃分的區(qū)域編號(hào)，路段編號(hào)表示相應(yīng)區(qū)域內(nèi)路段的唯一編號(hào)。

18、具體的，故障部件類型特征d1采用結(jié)構(gòu)化的json格式封裝，包含以下字段：車輛識(shí)別號(hào)（vehicleid）：用于唯一標(biāo)識(shí)每輛無人車，可使用車輛vin碼或自定義的編碼規(guī)則。故障發(fā)生時(shí)間（faulttime）：使用iso8601標(biāo)準(zhǔn)格式（如“2023-06-01t12:30:00+08:00”）記錄故障發(fā)生的時(shí)間戳，精確到秒，并包含時(shí)區(qū)信息。故障代碼（faultcode）：參考o(jì)bd-ii標(biāo)準(zhǔn)定義的故障診斷碼（dtc），用字母+數(shù)字的組合（如“p0001”）表示故障類型。其中字母表示故障大類（如動(dòng)力系統(tǒng)、車身系統(tǒng)等），數(shù)字表示具體故障項(xiàng)。故障參數(shù)（faultparams）：以key-value鍵值對(duì)的形式，記錄與當(dāng)前故障相關(guān)的量化參數(shù)（如電壓值、轉(zhuǎn)速等）用于詳細(xì)描述故障狀態(tài)，供后續(xù)原因分析使用。

19、故障發(fā)生位置d2采用分層編碼的方式表示，從粗到細(xì)依次為井下分區(qū)、路段、坐標(biāo)：井下分區(qū)編號(hào)（zoneid）：使用兩位數(shù)字（如“01”，“02”等）標(biāo)識(shí)井下礦區(qū)劃分的不同區(qū)域。分區(qū)劃分應(yīng)綜合考慮巷道布局、通風(fēng)系統(tǒng)、電力供應(yīng)等因素，做到互相獨(dú)立，便于管理。路段編號(hào)（roadid）：在分區(qū)編號(hào)的基礎(chǔ)上，使用三位數(shù)字（如“001”，“002”等）標(biāo)識(shí)每個(gè)分區(qū)內(nèi)部的獨(dú)立路段。路段劃分應(yīng)做到起止點(diǎn)明確、長(zhǎng)度適中，有利于故障位置的快速鎖定。坐標(biāo)數(shù)據(jù)（coordinate）：采用井下坐標(biāo)系（如沿巷道方向定義x軸、垂直巷道方向定義y軸、垂直井筒方向定義z軸），精確記錄故障發(fā)生時(shí)無人車的空間位置，單位為米。gps信號(hào)在井下可能無法penetrate，需由無人車自身的高精度定位模塊提供位置信息。

20、進(jìn)一步的，云平臺(tái)主動(dòng)發(fā)起的車輛遙控接管，包括：車端remote?handler接收駕駛艙hmi或云平臺(tái)的遙控指令e1和開始遙控指令e401；遙控駕駛系統(tǒng)模塊接收駕駛艙hmi發(fā)送的開始遙控指令e401，并檢測(cè)遙控駕駛系統(tǒng)模塊是否滿足預(yù)設(shè)條件，如果滿足，則向通信網(wǎng)關(guān)發(fā)送遙控申請(qǐng)p1；通信網(wǎng)關(guān)接收并將遙控申請(qǐng)p1發(fā)送給設(shè)備管理模塊；設(shè)備管理模塊對(duì)遙控申請(qǐng)p1進(jìn)行校驗(yàn)和判斷，如果同意遙控接管則生成控制指令c1，并通過通信網(wǎng)關(guān)將控制指令c1分別下發(fā)給車端remote?handler和遙控駕駛系統(tǒng)模塊；反之，生成拒絕接管消息m1，并將拒絕接管消息m1發(fā)送給告警管理模塊；車端remote?handler接收控制指令c1后，向遙控駕駛系統(tǒng)模塊發(fā)送開始推流指令e3，開始遙控指令e401和開始監(jiān)控指令e5；遙控駕駛系統(tǒng)模塊接收控制指令c1后，向駕駛艙hmi發(fā)送接管確認(rèn)請(qǐng)求e6；駕駛艙hmi接收接管確認(rèn)請(qǐng)求e6，并提示駕駛員進(jìn)行確認(rèn)；駕駛員通過hmi生成人工接管確認(rèn)指令e8，遙控駕駛系統(tǒng)模塊接收人工接管確認(rèn)指令e8后，生成遙控確認(rèn)指令e7并發(fā)送給通信網(wǎng)關(guān)；通信網(wǎng)關(guān)將遙控確認(rèn)指令e7發(fā)送給設(shè)備管理模塊進(jìn)行再次確認(rèn)；如果設(shè)備管理模塊同意遙控接管，則設(shè)備管理模塊生成允許遙控指令c2，通信網(wǎng)關(guān)將允許遙控指令c2分別下發(fā)給車端remotehandler和遙控駕駛系統(tǒng)模塊；車端remote?handler接收允許遙控指令c2后，與駕駛艙hmi建立連接，將車端狀態(tài)設(shè)置為遙控中，并通過車載攝像頭采集視頻流數(shù)據(jù)v1發(fā)送給駕駛艙hmi。

21、進(jìn)一步的，還包括：當(dāng)車載終端確定車輛需要?？繒r(shí)，控制車載攝像頭采集車輛周圍環(huán)境的視頻流數(shù)據(jù)v1，并將視頻流數(shù)據(jù)v1通過無線網(wǎng)絡(luò)發(fā)送至云平臺(tái)；接收車載終端通過無線網(wǎng)絡(luò)發(fā)送的車輛周圍環(huán)境視頻流數(shù)據(jù)v1；其中，所述視頻流數(shù)據(jù)v1是由車載攝像頭在車載終端確定車輛需要?？繒r(shí)采集得到；對(duì)接收的視頻流數(shù)據(jù)v1進(jìn)行圖像處理，得到停車位置信息；所述圖像處理包括：對(duì)視頻流數(shù)據(jù)v1中的關(guān)鍵幀進(jìn)行停車位目標(biāo)檢測(cè)，采用基于卷積神經(jīng)網(wǎng)絡(luò)的yolo算法對(duì)關(guān)鍵幀圖像進(jìn)行分割和目標(biāo)識(shí)別，得到圖像中停車位的像素坐標(biāo)位置和尺寸信息；其中，所述關(guān)鍵幀是根據(jù)視頻流數(shù)據(jù)v1的幀率和車輛的行駛速度動(dòng)態(tài)選??；將停車位的像素坐標(biāo)信息轉(zhuǎn)換為世界坐標(biāo)系下的距離信息；具體包括：獲取車輛當(dāng)前位置的gps坐標(biāo)；根據(jù)車載攝像頭的內(nèi)外參數(shù)矩陣，將停車位的像素坐標(biāo)信息轉(zhuǎn)換為相機(jī)坐標(biāo)系下的三維空間坐標(biāo)；根據(jù)車輛的航向角和俯仰角，將相機(jī)坐標(biāo)系下的停車位坐標(biāo)轉(zhuǎn)換至車輛坐標(biāo)系；根據(jù)車輛的gps坐標(biāo)和imu數(shù)據(jù)，將車輛坐標(biāo)系下的停車位坐標(biāo)轉(zhuǎn)換至世界坐標(biāo)系，得到停車位的世界坐標(biāo)；通過三角測(cè)距算法，根據(jù)車輛gps坐標(biāo)與停車位世界坐標(biāo)，計(jì)算出車輛當(dāng)前位置與停車位之間的相對(duì)距離和角度，得到停車位相對(duì)于車輛的準(zhǔn)確位置坐標(biāo)；將停車位置的世界坐標(biāo)信息和相對(duì)位置信息通過無線網(wǎng)絡(luò)發(fā)送至車載終端，用于車輛的軌跡規(guī)劃與運(yùn)動(dòng)控制。

22、接收云平臺(tái)通過無線網(wǎng)絡(luò)發(fā)送的停車位置坐標(biāo)信息，包括停車位置的世界坐標(biāo)信息和相對(duì)車輛的位置信息；獲取車輛的實(shí)時(shí)位置、速度和航向角信息；其中，實(shí)時(shí)位置信息來自車載gps模塊，速度信息來自車輪速傳感器，航向角信息來自imu慣性測(cè)量單元；通過多傳感器信息融合算法對(duì)車輛的位置和姿態(tài)進(jìn)行估計(jì)；具體包括：使用卡爾曼濾波算法，將gps位置信息、imu姿態(tài)信息與車輪速度信息進(jìn)行融合，得到車輛的位置、速度和姿態(tài)的最優(yōu)估計(jì)值；使用粒子濾波算法，結(jié)合車載激光雷達(dá)slam定位結(jié)果，對(duì)卡爾曼濾波的估計(jì)值進(jìn)行校正，進(jìn)一步提高車輛位置和姿態(tài)估計(jì)的精度和魯棒性；使用model?predictive?control（mpc）模型預(yù)測(cè)控制算法，生成從當(dāng)前位置到達(dá)停車位中心的最優(yōu)停車軌跡；具體包括：以車輛和停車位之間的相對(duì)位置為約束，以到達(dá)停車位中心的距離最短為目標(biāo)，建立mpc優(yōu)化問題；將車輛的動(dòng)力學(xué)模型、運(yùn)動(dòng)學(xué)模型以及控制量和狀態(tài)量的約束條件整合到mpc優(yōu)化問題中；

23、通過二次型泛函的迭代求解，得到未來一段時(shí)間內(nèi)車輛狀態(tài)量和控制量的最優(yōu)預(yù)測(cè)序列，即停車軌跡；根據(jù)停車軌跡中的位置點(diǎn)和航向角信息，采用pure?pursuit算法實(shí)時(shí)計(jì)算出跟蹤軌跡所需的方向盤轉(zhuǎn)角；具體包括：在停車軌跡上設(shè)定一個(gè)預(yù)瞄距離，實(shí)時(shí)計(jì)算預(yù)瞄點(diǎn)相對(duì)車輛后軸中心的橫向偏差和航向偏差；根據(jù)預(yù)瞄距離、橫向偏差和航向偏差，使用幾何關(guān)系計(jì)算出方向盤轉(zhuǎn)角，并將轉(zhuǎn)角信息發(fā)送至車輛轉(zhuǎn)向系統(tǒng)；通過pid控制算法實(shí)時(shí)計(jì)算出車輛的加速度和制動(dòng)力控制量；具體包括：以停車軌跡上每個(gè)位置點(diǎn)的速度為目標(biāo)，實(shí)時(shí)計(jì)算車輛當(dāng)前速度與目標(biāo)速度的偏差；使用pid控制律，根據(jù)速度偏差及其積分和微分，計(jì)算出油門開度和制動(dòng)壓力的控制量，并將控制指令發(fā)送至車輛的驅(qū)動(dòng)系統(tǒng)和制動(dòng)系統(tǒng)；根據(jù)轉(zhuǎn)向系統(tǒng)、驅(qū)動(dòng)系統(tǒng)和制動(dòng)系統(tǒng)的反饋信息，實(shí)時(shí)校正車輛的運(yùn)動(dòng)狀態(tài)，確保車輛精準(zhǔn)地沿停車軌跡行駛，最終平穩(wěn)地?？吭谕＼囄恢行?，完成車輛的自動(dòng)泊車過程。

24、進(jìn)一步的，駕駛艙hmi對(duì)車輛的遠(yuǎn)程監(jiān)控，包括：駕駛艙hmi向遙控駕駛系統(tǒng)模塊發(fā)送選擇車輛指令e402，開始遙控流程；遙控駕駛系統(tǒng)模塊接收選擇車輛指令e402后，檢測(cè)遙控駕駛系統(tǒng)模塊是否滿足預(yù)設(shè)條件，若滿足則向通信網(wǎng)關(guān)發(fā)送遙控申請(qǐng)p1，否則通過駕駛艙hmi提示駕駛員遙控駕駛系統(tǒng)模塊不滿足預(yù)設(shè)條件；通信網(wǎng)關(guān)接收遙控申請(qǐng)p1，轉(zhuǎn)發(fā)給設(shè)備管理模塊進(jìn)行評(píng)估，判斷車輛狀態(tài)和遙控駕駛系統(tǒng)模塊是否滿足遙控接管；若校驗(yàn)通過，設(shè)備管理模塊生成控制指令f401，通過通信網(wǎng)關(guān)分別下發(fā)給車端remote?handler和遙控駕駛系統(tǒng)模塊；若校驗(yàn)不通過，設(shè)備管理模塊生成拒絕接管消息m1，發(fā)送給告警管理模塊并通過通信網(wǎng)關(guān)提示駕駛員；車端remote?handler接收控制指令f401，向遙控駕駛系統(tǒng)模塊發(fā)送開始推流指令e3、開始遙控指令e401和開始監(jiān)控指令e5；遙控駕駛系統(tǒng)模塊接收控制指令f401后，向駕駛艙hmi發(fā)送人工接管確認(rèn)請(qǐng)求e6；駕駛艙hmi接收人工接管確認(rèn)請(qǐng)求e6，提示駕駛員進(jìn)行確認(rèn)；駕駛員生成人工接管確認(rèn)指令e8，駕駛艙hmi向遙控駕駛系統(tǒng)模塊發(fā)送人工接管確認(rèn)指令e8；遙控駕駛系統(tǒng)模塊接收人工接管確認(rèn)指令e8后，生成遙控確認(rèn)指令e7發(fā)送給通信網(wǎng)關(guān)；通信網(wǎng)關(guān)將遙控確認(rèn)指令e7轉(zhuǎn)發(fā)給設(shè)備管理模塊進(jìn)行二次確認(rèn)；設(shè)備管理模塊對(duì)遙控確認(rèn)指令e7進(jìn)行確認(rèn)，監(jiān)督遙控會(huì)話的建立，生成允許遙控指令c2通過通信網(wǎng)關(guān)分別下發(fā)給車端remote?handler和遙控駕駛系統(tǒng)模塊；車端remote?handler接收允許遙控指令2后，與駕駛艙hmi建立數(shù)據(jù)通信連接，將車端狀態(tài)設(shè)置為遙控中，通過車載攝像頭采集車輛實(shí)時(shí)視頻數(shù)據(jù)v1并發(fā)送給駕駛艙hmi；遙控駕駛系統(tǒng)模塊接收允許遙控指令c2后，將駕駛艙狀態(tài)設(shè)置為遙控中；駕駛艙hmi通過與車端remote?handler建立的數(shù)據(jù)通信連接，接收車端傳輸?shù)膶?shí)時(shí)視頻數(shù)據(jù)v1，通過推流軟件展示車輛實(shí)時(shí)畫面，實(shí)現(xiàn)對(duì)車輛的遠(yuǎn)程監(jiān)控。

25、相比于現(xiàn)有技術(shù)，本技術(shù)的優(yōu)點(diǎn)在于：

26、通過在云平臺(tái)、遙控駕駛系統(tǒng)模塊、駕駛艙hmi和車端remote?handler之間建立通信鏈路和控制流程，實(shí)現(xiàn)了多種模式下的車輛遙控接管。包括駕駛員主動(dòng)發(fā)起、車輛故障時(shí)的自動(dòng)接管、云平臺(tái)主動(dòng)發(fā)起以及遠(yuǎn)程監(jiān)控等多種模式，可以根據(jù)實(shí)際需求靈活選擇遙控方式，提高了系統(tǒng)對(duì)復(fù)雜工況的適應(yīng)能力。

27、在遙控駕駛的發(fā)起、建立、執(zhí)行等各個(gè)環(huán)節(jié)，通過對(duì)駕駛艙環(huán)境參數(shù)、通信狀態(tài)等遙控駕駛條件的檢測(cè)，以及對(duì)遙控請(qǐng)求的人工確認(rèn)和云端校驗(yàn)，從鏈路和流程上保障了遙控駕駛的安全可靠。同時(shí)，故障情況下的自動(dòng)遙控接管和遠(yuǎn)程監(jiān)控模式，進(jìn)一步提高了系統(tǒng)的容錯(cuò)能力和穩(wěn)定性。

28、車輛將視頻數(shù)據(jù)等信息上傳至云平臺(tái)，云平臺(tái)可以對(duì)多車數(shù)據(jù)進(jìn)行匯總分析，挖掘數(shù)據(jù)價(jià)值。例如在無人泊車場(chǎng)景中，云平臺(tái)通過對(duì)車端上傳的視頻圖像進(jìn)行停車位檢測(cè)和定位，結(jié)合車輛本身定位，得到精確的泊車控制指令，可實(shí)現(xiàn)車輛的自動(dòng)泊車。將車端感知和云端智能相結(jié)合，擴(kuò)展了無人駕駛系統(tǒng)的功能。

29、遙控駕駛系統(tǒng)模塊、云平臺(tái)等部署在遠(yuǎn)程，可以實(shí)現(xiàn)多車共享，減少了單車硬件的配置。同時(shí)，將故障監(jiān)測(cè)、告警上報(bào)等功能集中在云端管理，可以及時(shí)發(fā)現(xiàn)和處理車輛故障。