本技術(shù)涉及自動(dòng)駕駛，特別是涉及一種基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的方法及其系統(tǒng)。

背景技術(shù)：

1、自動(dòng)駕駛對(duì)感知系統(tǒng)的實(shí)時(shí)性及精度有著極高的要求，感知模型需要在極短的時(shí)間內(nèi)完成數(shù)據(jù)的處理和分析?，F(xiàn)有的自動(dòng)駕駛系統(tǒng)多采用基于深度學(xué)習(xí)的感知模型以應(yīng)對(duì)復(fù)雜多變的道路環(huán)境，然而，這類模型計(jì)算復(fù)雜度較高同時(shí)其推理速度較慢，極大限制了自動(dòng)駕駛系統(tǒng)的優(yōu)化空間。

2、目前主流的自動(dòng)駕駛環(huán)境感知模型主要基于bev(bird's?eye?view,鳥瞰圖)與transformer構(gòu)建環(huán)境感知系統(tǒng)。然而，使用此類大模型也引發(fā)了模型計(jì)算的復(fù)雜度偏高、內(nèi)存占用過大等問題。這些問題將降低感知系統(tǒng)的運(yùn)行效率以及系統(tǒng)的實(shí)時(shí)性，進(jìn)而增加了自動(dòng)駕駛車輛的安全隱患。

3、為提高模型運(yùn)行效率并增強(qiáng)系統(tǒng)實(shí)時(shí)性，目前主流方法采用模型輕量化和云邊協(xié)同等方案：

4、(1)模型輕量化方法，通過剪枝、量化或知識(shí)蒸餾等方法，但基于模型輕量化的方法存在精度損失、泛化能力受限、依賴特定硬件等缺點(diǎn)；

5、(2)云邊協(xié)同是一種將云計(jì)算和邊緣計(jì)算相結(jié)合的架構(gòu)模式。但云邊協(xié)同也存在使用環(huán)境受限、資源限制、管理和維護(hù)復(fù)雜性、網(wǎng)絡(luò)延遲和穩(wěn)定性不足等問題。

6、綜上所述，使用基于大模型的感知系統(tǒng)能提供準(zhǔn)確的道路信息，但卻受限于較慢的推理速度?，F(xiàn)有的模型提速方案存在精度降低、泛化性能差、環(huán)境受限等問題。

7、為了提高自動(dòng)駕駛系統(tǒng)的實(shí)時(shí)響應(yīng)能力，對(duì)于上述方法存在的技術(shù)問題，亟需提出一種提升自動(dòng)駕駛推理速度的方法，能夠根據(jù)當(dāng)前道路環(huán)境風(fēng)險(xiǎn)等級(jí)動(dòng)態(tài)選擇原始感知大模型或輕量化之后的感知模型，并且可根據(jù)道路風(fēng)險(xiǎn)的變化動(dòng)態(tài)調(diào)整自動(dòng)駕駛車輛的速度上限，不僅提升了自動(dòng)駕駛車輛的安全性，同時(shí)也為感知模型預(yù)留了充足的調(diào)整時(shí)間。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)存在的模型計(jì)算的復(fù)雜度偏高、內(nèi)存占用過大的技術(shù)問題，實(shí)現(xiàn)了一種基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的方法及系統(tǒng)。

2、第一方面，本技術(shù)實(shí)施例提供了一種基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的方法，方法包括：

3、環(huán)境感知模型預(yù)構(gòu)建步驟：根據(jù)自動(dòng)駕駛下道路不同風(fēng)險(xiǎn)等級(jí)，輕量化處理預(yù)構(gòu)建對(duì)應(yīng)不同運(yùn)算速度的環(huán)境感知模型；

4、環(huán)境預(yù)警步驟：采集道路環(huán)境信息，并基于道路環(huán)境信息實(shí)時(shí)計(jì)算道路環(huán)境風(fēng)險(xiǎn)值，根據(jù)道路風(fēng)險(xiǎn)值的范圍確定當(dāng)前道路環(huán)境安全等級(jí)；

5、系統(tǒng)風(fēng)險(xiǎn)控制步驟：基于環(huán)境安全等級(jí)，選擇不同運(yùn)行速度對(duì)應(yīng)的環(huán)境感知模型，輸出感知結(jié)果，并動(dòng)態(tài)調(diào)整行駛速度上限，實(shí)現(xiàn)自動(dòng)駕駛感知系統(tǒng)運(yùn)行速度的智能調(diào)控。

6、可選的，本發(fā)明實(shí)施例中上述環(huán)境感知模型包括：粗略特征提取網(wǎng)絡(luò)及深度語義特征提取網(wǎng)絡(luò)；粗略特征提取網(wǎng)絡(luò)用于提取輸入數(shù)據(jù)的初步特征；深度語義特征提取網(wǎng)絡(luò)用于基于初步特征，進(jìn)一步提取深度語義信息。

7、可選的，本發(fā)明實(shí)施例中上述環(huán)境感知模型預(yù)構(gòu)建步驟還包括：

8、初步特征提取步驟：采集到的圖像調(diào)整為預(yù)設(shè)像素，通過二維卷積進(jìn)行圖像降維處理，同時(shí)增加通道數(shù)以提取初步特征圖；

9、深度語義特征提取步驟：根據(jù)初步特征圖，加入位置編碼，保留圖像中元素的空間位置信息，將初步特征圖送入多個(gè)transformer模塊組成的序列中，調(diào)整初步特征圖的維度為適合尺度，提取道路環(huán)境風(fēng)險(xiǎn)信息。

10、可選的，本發(fā)明實(shí)施例中上述環(huán)境預(yù)警步驟包括：

11、障礙物確定步驟：根據(jù)道路環(huán)境風(fēng)險(xiǎn)信息，通過檢測(cè)算法識(shí)別當(dāng)前道路上障礙物，并獲取障礙物的圖像坐標(biāo)，根據(jù)根據(jù)圖像坐標(biāo)與雷達(dá)傳感器之間的外參獲取障礙物的相對(duì)距離，并確定距離本交通工具最近的障礙物；

12、碰撞時(shí)間計(jì)算步驟：通過慣導(dǎo)與雷達(dá)獲取障礙物目標(biāo)與本交通工具的相對(duì)速度，根據(jù)相對(duì)距離與相對(duì)速度，計(jì)算距離本交通工具最近的目標(biāo)發(fā)生碰撞時(shí)間的倒數(shù)值。

13、可選的，本發(fā)明實(shí)施例中上述系統(tǒng)風(fēng)險(xiǎn)控制步驟包括：

14、高速感知模型決策步驟：當(dāng)計(jì)算的碰撞時(shí)間的倒數(shù)值小于或等于第一風(fēng)險(xiǎn)閾值時(shí)，判斷當(dāng)前道路環(huán)境較為安全，視為無危險(xiǎn)道路環(huán)境，則對(duì)應(yīng)選擇高速感知模型，輸出感知結(jié)果；

15、中速感知模型決策步驟：當(dāng)計(jì)算的碰撞時(shí)間的倒數(shù)值大于第一風(fēng)險(xiǎn)閾值，小于或者等于第二風(fēng)險(xiǎn)閾值時(shí)，判斷當(dāng)前道路環(huán)境風(fēng)險(xiǎn)提升，則對(duì)應(yīng)選擇中速感知模型，輸出感知結(jié)果；

16、低速感知模型決策步驟：當(dāng)計(jì)算的碰撞時(shí)間的倒數(shù)值大于第二風(fēng)險(xiǎn)閾值，小于或等于第三風(fēng)險(xiǎn)閾值時(shí)，則表明當(dāng)前環(huán)境需要算法謹(jǐn)慎對(duì)待，則對(duì)應(yīng)選擇低速感知模型，輸出感知結(jié)果。

17、可選的，本發(fā)明實(shí)施例中上述系統(tǒng)風(fēng)險(xiǎn)控制步驟還包括：

18、調(diào)速步驟：當(dāng)風(fēng)險(xiǎn)等級(jí)提升時(shí)，基于限速因子，限制行駛速度上限以保障用戶安全；限速因子k限速由如下函數(shù)計(jì)算：

19、

20、其中，ttc-1為碰撞時(shí)間的倒數(shù)值，當(dāng)風(fēng)險(xiǎn)增加時(shí)，限速因子隨之動(dòng)態(tài)增加。

21、可選的，本發(fā)明實(shí)施例中上述行駛速度的上限為：

22、

23、其中，為當(dāng)前行駛速度的最高限速,vmax為車輛自動(dòng)駕駛狀態(tài)規(guī)劃速度上限，k限速為限速因子。

24、第二方面，本技術(shù)實(shí)施例提供了一種基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的系統(tǒng)，采用如上所述基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的方法，系統(tǒng)包括：

25、環(huán)境感知模型預(yù)構(gòu)建模塊：用于根據(jù)自動(dòng)駕駛下道路不同風(fēng)險(xiǎn)等級(jí)，輕量化處理預(yù)構(gòu)建對(duì)應(yīng)不同運(yùn)算速度的環(huán)境感知模型；

26、環(huán)境預(yù)警模塊：用于采集道路環(huán)境信息，并基于道路環(huán)境信息實(shí)時(shí)計(jì)算道路環(huán)境風(fēng)險(xiǎn)值，根據(jù)道路風(fēng)險(xiǎn)值的范圍確定當(dāng)前道路環(huán)境安全等級(jí)；

27、系統(tǒng)風(fēng)險(xiǎn)控制模塊：用于基于環(huán)境安全等級(jí)，選擇不同運(yùn)行速度對(duì)應(yīng)的環(huán)境感知模型，輸出感知結(jié)果，并動(dòng)態(tài)調(diào)整行駛速度上限，實(shí)現(xiàn)自動(dòng)駕駛感知系統(tǒng)運(yùn)行速度的智能調(diào)控；

28、環(huán)境感知模型包括：粗略特征提取網(wǎng)絡(luò)及深度語義特征提取網(wǎng)絡(luò)；粗略特征提取網(wǎng)絡(luò)用于提取輸入數(shù)據(jù)的初步特征；深度語義特征提取網(wǎng)絡(luò)用于基于初步特征，進(jìn)一步提取深度語義信息。

29、第三方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的方法步驟。

30、第四方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上所述的基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的方法步驟。

31、第五方面，本技術(shù)實(shí)施例提供了一種自動(dòng)駕駛交通工具，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上所述的基于道路風(fēng)險(xiǎn)動(dòng)態(tài)優(yōu)化感知模型推理速度的方法的步驟。

32、相比于相關(guān)現(xiàn)有技術(shù)，具有以下突出的有益效果：

33、1、本發(fā)明方法在滿足系統(tǒng)要求的前提下，通過動(dòng)態(tài)平衡道路環(huán)境風(fēng)險(xiǎn)與推理速度，可以有效提升自動(dòng)駕駛交通工具的行駛速度。同時(shí)，通過預(yù)警模塊的實(shí)時(shí)監(jiān)測(cè)與響應(yīng)，增強(qiáng)了系統(tǒng)的安全性；

34、2、本發(fā)明方法采用模型輕量化技術(shù)作為原始感知模型的替代方案，避免了不同結(jié)構(gòu)的感知模型泛化性能差異較大的問題；

35、3、本發(fā)明方法預(yù)警模塊的引入使得系統(tǒng)能夠根據(jù)不同道路狀況智能調(diào)整感知速度，提高了系統(tǒng)的靈活性和適應(yīng)性。在面對(duì)復(fù)雜多變的交通環(huán)境時(shí)，系統(tǒng)能夠迅速作出反應(yīng)，確保行駛安全；

36、4、本發(fā)明方法的提出為自動(dòng)駕駛算法提速領(lǐng)域提供了一種新的思路和方法，推動(dòng)了相關(guān)技術(shù)的創(chuàng)新與發(fā)展。未來，隨著技術(shù)的不斷進(jìn)步和完善，本發(fā)明的應(yīng)用范圍和效果將進(jìn)一步擴(kuò)大和提升。