本發(fā)明涉及一種基于ai多傳感器融合實時多場景自動駕駛技術，尤其是涉及一種基于ai輔助的多源異質融合自動駕駛技術。

背景技術：

1、自動駕駛技術的發(fā)展已經從最初的自動化輔助駕駛系統(tǒng)逐步演化成為今天的全自動駕駛系統(tǒng)。早期系統(tǒng)主要依賴單一傳感器輸入，例如雷達或攝像頭，來檢測車輛周圍的環(huán)境。隨著技術的發(fā)展，更多類型的傳感器被整合到系統(tǒng)中，包括激光雷達(lidar)、超聲波傳感器和紅外攝像機等。這些傳感器各有優(yōu)勢和局限性，例如攝像頭在光照條件良好時性能優(yōu)異，而雷達則能在霧和雨等惡劣天氣中穩(wěn)定工作。

2、盡管傳感器技術的進步為自動駕駛車輛提供了更豐富的環(huán)境信息，但如何有效地融合來自不同傳感器的數據，仍然是一個挑戰(zhàn)。當前的多傳感器融合技術主要依賴于經典的數據融合框架，如加權融合、卡爾曼濾波器和粒子濾波器等方法。這些方法在處理低動態(tài)復雜度的場景下表現(xiàn)良好，但在高動態(tài)、多變的駕駛環(huán)境中，如城市交通和復雜的交叉路口，其效率和準確性仍有待提高。此外，現(xiàn)有的自動駕駛系統(tǒng)在實時性能上面臨挑戰(zhàn)。雖然快速的數據處理對于自動駕駛至關重要，但在實際應用中，尤其是在處理來自多個傳感器的大量數據時，往往難以達到理想的實時響應。這主要是由于傳感器數據的大量性和多樣性，以及計算資源的限制。

3、ai技術的引入為解決這些問題提供了新的可能性。通過利用深度學習等先進的機器學習算法，可以更有效地處理和解釋多種傳感器數據。例如，深度學習模型能夠從復雜的傳感器數據中學習到有用的特征表示，提高數據融合的準確性和系統(tǒng)的決策能力。然而，這些模型通常需要大量的計算資源，且訓練過程復雜耗時，這在實時自動駕駛應用中構成了限制。自動駕駛已經逐步發(fā)展為各種傳感器、計算機視覺以及深度學習等技術下車輛自主導航、全態(tài)勢感知環(huán)境及智能決策安全行駛的必然基礎。ai賦能自動駕駛已經成為大趨勢大潮流，

4、因此，發(fā)明一種新型的基于ai的多傳感器融合實時多場景自動駕駛系統(tǒng)成為了迫切的需求。這種系統(tǒng)需要能夠在多種環(huán)境和復雜場景下高效、準確地處理和融合多種傳感器數據，同時保證高實時性和可靠性，以適應日益復雜的駕駛環(huán)境。通過技術創(chuàng)新，這種系統(tǒng)將大幅提高自動駕駛車輛的智能化水平和安全性，為自動駕駛技術的未來發(fā)展奠定堅實的基礎。

技術實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術的不足，提供一種基于ai多傳感器融合實時多場景自動駕駛系統(tǒng)，適用于ai賦能自動駕駛以實現(xiàn)自動駕駛實時無縫自主智能導航。

2、針對目前自動駕駛技術在對車輛全態(tài)勢感知方面的不足，如多傳感器融合在提高環(huán)境感知精確性和可靠性中對多源異質數據在時空特性上的差異造成的態(tài)勢感知“缺口”問題，通過深度學習提高其多源融合效率及準確性，以端到端學習模型，直接從多傳感器原始數據到駕駛決策的映射，以提高反應速度，同時從信息層將多傳感器深度融合。ai賦能下利用先進的融合算法可以使得自動駕駛解決以往城市峽谷及極端惡劣天氣條件下性能不足的問題。ai輔助下的多傳感器更具生命力，對故障及低可靠環(huán)境具有自適應自學習特性，更精確地對行為預測和風險評估，增強整個系統(tǒng)的預見性及響應能力。ai技術下的人機交互系統(tǒng)使得自然語言處理nlp和增強現(xiàn)實ar技術更好地提供給乘客決策及視覺語音反饋。同時，針對當下自動駕駛車機人云互聯(lián)下大數據處理及實時計算需求之間的矛盾，以邊緣計算技術及云處理和本地計算相輔助，以達到降低功耗及實時需求。進一步，通過對智能交通系統(tǒng)的接入整合，實現(xiàn)交通大數據與ai自動駕駛的深度結合，同時估計倫理與法律問題，在高精度地圖的基礎上，以交通大數據互聯(lián)特性，實現(xiàn)車車之間相對定位，車機、人機以及車機與特定標識物之間精確位置等信息特性實現(xiàn)對復雜路況實時響應以及降低處理算法功耗的目的。在基于ai多傳感器融合實時多場景自動駕駛系統(tǒng)中，不斷增強系統(tǒng)的泛化能力，具象其適用性及可移植性，以適應更廣泛的駕駛場景。

3、本發(fā)明的技術方案為一種基于ai多傳感器融合實時多場景自動駕駛系統(tǒng)，包含以下步驟：

4、步驟s1，實現(xiàn)ai輔助多傳感器多源異質空時自適應融合機制，具體包括以下子步驟：

5、步驟s11，對車載多傳感器gnss(衛(wèi)星導航系統(tǒng))、ins(慣性導航系統(tǒng))、ws(里程計)、image(圖像視覺包括不限于slam)、lidar(包括毫米波雷達)進行硬軟件時間戳同步，對不同步的進行校準與補償，實現(xiàn)自適應時間同步。

6、步驟s12，對車載gnss、ins、ws、image、lidar多傳感器進行自適應空間同步，建立誤差方程進行聯(lián)合標定及運動補償，同時在車輛后續(xù)形式中多傳感器進行周期性標定與校準。

7、步驟s13，將5g網絡、高精度地圖及智慧交通相關定位定姿信息接入實現(xiàn)高可靠高精度的全態(tài)勢感知，以ai云數據協(xié)同輔助本地多傳感器多源異質融合實現(xiàn)全實時無縫自動駕駛。

8、步驟s14，以主流深度學習(包括不限于mvo-cnn-convlstm-attention)輔助gnss/ins/ws/image/lidar/5g/mm級聯(lián)卡爾曼自適應濾波多源融合實時感知車輛高精度位置與姿態(tài)信息，同時自動駕駛車輛間可以實現(xiàn)集群數據優(yōu)化，利用車輛間相對位置等信息，實現(xiàn)高于l3級自動駕駛。

9、步驟s2，通過步驟1獲取高精度車輛全態(tài)勢數據的基礎上，將實時信息上傳ai時空大數據云端，以云處理及邊緣計算結合進行數據再融合與ai自動駕駛數據庫aiacds，實現(xiàn)l3級以上ai自動駕駛及更高級云端智慧庫。

10、步驟s21，多源融合得到的高精度位置姿態(tài)及更加豐富的多傳感器原始信息通過云端上傳后，利用強大的云計算與邊緣計算方法對多傳感器數據進行再融合處理，并通過深度學習實現(xiàn)無縫數據化處理，將得到的更為精確的位置姿態(tài)結果及預測值返回車機系統(tǒng)迭代替換先前處理結果，實現(xiàn)高于l3級ai自動駕駛長續(xù)航保持。

11、步驟s22，建立智慧云端數據庫scd，通過智慧云端數據庫對不同車輛及相應高精度地標位置信息進行捕獲跟蹤，實現(xiàn)自動駕駛車輛云篩選及推送，將輔助信息返回車機系統(tǒng)，從而形成一個良性循環(huán)。

12、步驟s3，實現(xiàn)ai賦能增強的決策執(zhí)行機制。

13、步驟s31，利用s1及s2的信息，對車輛態(tài)勢感知進行車機ar四維實時投送及跟蹤預警，在最優(yōu)路徑及最小風險等評判準則下提供決策方案以供選擇。

14、步驟s32，在人為選擇具體方案或ai選擇最優(yōu)方案后，對執(zhí)行反饋時間進行實時監(jiān)控并數據上傳以實現(xiàn)高于l3級的無縫ai自動駕駛。

15、進一步，步驟s11中自適應時間同步，通過對多傳感器進行硬軟件自適應時間同步實現(xiàn)。通過gnss時間統(tǒng)一基準時間給各個傳感器提供時間基準，各傳感器根據已經校準后的時間為各自獨立采集的數據加時間戳信息，從而實現(xiàn)時間同步。

16、其中硬軟件自適應時間同步利用gnss時間為基準時間通過內插外推結合最小二乘對頻率時間基準不一致的各傳感器進行數據配準對齊，同時利用云端數據收集及深度學習對車輛硬件學習預測對齊時間戳。

17、在步驟s12中，自適應空間同步由于在空間同步中車輛移動，因此要補償位移變化，同時對相對位移進行補償如相機等。

18、δs＝δt*v

19、而這其中，對于速度v的計算模型一般采用高階多項式以適應不同傳感器需求。

20、在聯(lián)合標定中，進行整車標定以ins為中心，進行單傳感器及傳感器間標定。各傳感器標定有各自誤差方程，廠家也會提供標定軟件。而聯(lián)合標定以ins為中心則需要自行設定，各傳感器與ins標定公式如下：

21、

22、其中，gnss根據坐標軸旋轉與ins一致，在補償位移，而在轉換到車機顯示時，則繼續(xù)補償車體中心與ins之間的位移補償。

23、進一步地。在步驟s13中，gnss/ins/ws/image/lidar/5g/mm級聯(lián)自適應卡爾曼濾波融合機制，采用聯(lián)邦卡爾曼濾波，系統(tǒng)狀態(tài)方程為：

24、

25、狀態(tài)變量有15維到21維根據算力情況：

26、

27、式中，右側從左到右依次為失準角、速度誤差、位置誤差、陀螺零偏、加速度計零偏，進一步可以加入陀螺及速度計比例因子。

28、在步驟s14中，深度學習根據多傳感器信息進行訓練學習預測，當訓練準確率及精度達到要求時進行多源融合并可作為誤差探測手段之一，即這事可將深度學習結果作為一種傳感器使用。

29、進一步地，步驟s21中，其具體操作為：1)深度學習輔助的多源異質融合結果作為車輛態(tài)勢感知基礎上傳云端，包括各傳感器原始數據；2)通過原始數據結合云端強大計算對數據進行再處理再計算并源于先前本地處理結果進行滑動窗口精度再提高，即分段不斷迭代處理使其在先前更高精度數據集上處理當前時刻結果；3)利用后處理結合實時數據源對不合格數據值通過深度學習進一步對缺失或不合格數據進行無縫處理，從而得到高精度全周期連續(xù)可用的車輛態(tài)勢感知結果并反饋車機，減輕車機負擔并為車機實時處理得到高精度結果提供保障，實現(xiàn)高于l3級ai自動駕駛長續(xù)航保持。

30、在步驟s22中，其具體實施為：1)通過各車機歷史數據及智慧交通系統(tǒng)建立智慧云端數據庫scd；2)根據本車機位置通過智慧云端數據庫迅速匹配搜索相關車機并捕獲跟蹤形成階段性的車群并實現(xiàn)自動駕駛車輛云篩選及推送；3)根據相關車機及智慧交通系統(tǒng)下的高精度地圖、輔助道路標識信息等對本車機相對位置及絕對位置進行優(yōu)化保障；4)利用目前開源的深度學習大模型，形成一個車機云端不斷良性循環(huán)反饋的友好機制。

31、在步驟s31中，利用車輛態(tài)勢感知基礎信息及智慧云端數據庫，大大減小了本機處理難度，在云端大模型處理下端進行車機ar四維實時投送及跟蹤預警播報，提供根據不同權重下以最優(yōu)路徑、安全性、多模式交通、路況等多條件準則下的用戶可選決策方案，并顯示各方案集中優(yōu)勢，以應對不同駕駛目的及應急駕駛需求。

32、進一步地，在步驟s32中，1)人為選擇所需方案后，根據選擇方案記錄駕駛偏好，同時駕駛員也可手動增加刪除駕駛偏好以提高方案決策的契合度，并對執(zhí)行反饋時間進行實時監(jiān)控并數據上傳；2)在無人為干預選擇情況下，根據當前駕駛目的，車機系統(tǒng)自動選擇最優(yōu)方案，并對執(zhí)行反饋時間進行實時監(jiān)控并數據上傳，以對整車性能進行評估以應對應急狀況風險，特別地，在緊急避險等情況下，ai自動駕駛系統(tǒng)將主動選擇并根據長周期車機性能評估進行避險最佳方案選擇，基于云端大數據場景對于自動駕駛車輛當前性能下的多情況避險基礎模擬下進行方案決策執(zhí)行。

33、本發(fā)明的有益效果是：本發(fā)明中一種基于ai的多傳感器融合實時多場景自動駕駛系統(tǒng)，具備多方面的有益效果，極大地推動了自動駕駛技術的應用和發(fā)展。首先，本系統(tǒng)通過高級的多傳感器融合技術，顯著提升了環(huán)境感知的準確性和可靠性。傳統(tǒng)自動駕駛系統(tǒng)往往依賴單一類型的傳感器，容易受限于單個傳感器的局限性，如攝像頭在低光照條件下的性能不足，或雷達在復雜城市環(huán)境中的數據干擾問題。本發(fā)明整合了攝像頭、雷達、lidar等多種傳感器，利用深度學習算法對數據進行高效融合處理，使得車輛能夠在各種氣候和光照條件下都保持高度的環(huán)境感知能力，從而大大提高駕駛安全性。其次，本發(fā)明的實時ai駕駛決策引擎能夠快速準確地作出駕駛決策。在接收到融合后的傳感器數據時，ai引擎利用先進的算法立即評估道路情況和可能的風險，做出相應的駕駛操作決策。這種高速的數據處理和決策能力是傳統(tǒng)自動駕駛系統(tǒng)難以比擬的，它允許自動駕駛車輛更有效地應對突發(fā)情況，如緊急避讓行人或其他車輛，極大地增強了行車的安全性。此外，本系統(tǒng)的自適應學習和優(yōu)化機制使得自動駕駛車輛能夠不斷改進其性能。通過實時學習和數據反饋，ai引擎可以調整和優(yōu)化駕駛策略，以適應不斷變化的道路和交通條件。這種自我優(yōu)化能力意味著系統(tǒng)隨著使用時間的增長而變得更加精準和高效。安全與冗余設計也是本發(fā)明的重要特點。通過多重備份和故障切換機制，即使在關鍵組件發(fā)生故障時，系統(tǒng)仍能維持基本的操作功能，保證車輛和乘客的安全。這種設計極大地提高了系統(tǒng)的可靠性和乘客的信任度。最后，本發(fā)明具有高度的實用性和廣泛的應用前景。系統(tǒng)的模塊化設計使其可以容易地集成到各種車型和平臺上，無論是商用車輛還是私人用車，都能從這種先進的自動駕駛技術中受益。這不僅推動了自動駕駛技術的商業(yè)化進程，也為未來交通系統(tǒng)的革新奠定了基礎。

34、綜上所述，本發(fā)明通過其先進的技術和設計，不僅提高了自動駕駛的安全性和可靠性，也增強了車輛的智能化水平和用戶體驗，展示了自動駕駛未來的廣闊發(fā)展?jié)摿Α?/p>