本發(fā)明主要涉及城軌列車運行防護，特別是涉及一種基于圖像與雷達融合的遠距離障礙物檢測方法。

背景技術(shù)：

1、城軌列車障礙物檢測系統(tǒng)為列車自動控制系統(tǒng)和自動運行系統(tǒng)提供準確的列車位置信息和運行前方障礙物信息，是實現(xiàn)城軌列車自動駕駛的重要前提。隨著無人駕駛技術(shù)的發(fā)展，對障礙物檢測系統(tǒng)的檢測范圍、精確性和安全性提出了更高的要求。

2、目前大部分的列車障礙物檢測系統(tǒng)，是以激光雷達和imu（慣性傳感器）為主的。在imu數(shù)據(jù)（慣導數(shù)據(jù)）偏移較大或激光雷達無法探測到遠距離目標時，則障礙物檢測功能不可用，列車丟失定位或進入非安全檢測狀態(tài)。因此，采用其他傳感器數(shù)據(jù)進行信息補充是非常必要的。

3、在目前采用的激光雷達與圖像融合方式中，以決策融合為主，決策融合只注重障礙物檢測結(jié)果，而忽略障礙物的距離信息。在激光雷達無法提供障礙物的位置信息時采用圖像信息補充障礙物的位置信息，對障礙物檢測系統(tǒng)的精確性和安全性帶來了巨大的挑戰(zhàn)。

4、設計更加有效的信息融合算法，實現(xiàn)遠距離的障礙物檢測，是提高障礙物檢測系統(tǒng)檢測范圍、精確性以及安全性的有效方式。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于是提供一種基于圖像與雷達融合的遠距離障礙物檢測方法，針對現(xiàn)有技術(shù)忽略障礙物的距離信息等問題，對激光雷達未探測到的遠距離障礙物進行檢測并補償距離信息，提高障礙物檢測系統(tǒng)檢測范圍、精確性以及安全性。

2、為達到上述目的，本發(fā)明提供了一種基于圖像與雷達融合的遠距離障礙物檢測方法，包括以下步驟：

3、步驟1：相機生成圖像數(shù)據(jù)、激光雷達生成點云數(shù)據(jù)、慣性傳感器生成慣導數(shù)據(jù)，點云數(shù)據(jù)包括地面點云數(shù)據(jù)、目標點云數(shù)據(jù)、非目標點云數(shù)據(jù)，將圖像數(shù)據(jù)、點云數(shù)據(jù)以及慣導數(shù)據(jù)進行時間對齊，將圖像數(shù)據(jù)、點云數(shù)據(jù)以及慣導數(shù)據(jù)進行坐標系投影變換實現(xiàn)空間坐標對齊；

4、步驟2：基于慣導數(shù)據(jù)與點云數(shù)據(jù)融合的位姿估計，結(jié)合高精地圖識別區(qū)域內(nèi)的目標；

5、步驟3：基于圖像檢測并估計目標的距離信息，結(jié)合相應世界坐標系下的空間坐標位置的雷達檢測結(jié)果判別，當雷達檢測結(jié)果有效時，則輸出雷達檢測結(jié)果；

6、步驟4：基于圖像檢測與雷達檢測的判別結(jié)果，當只有圖像檢測結(jié)果時，結(jié)合未濾除的地面點云數(shù)據(jù)進行最近相關(guān)點搜尋，輸出未濾除的地面點云數(shù)據(jù)估計的目標距離信息；

7、步驟5：基于最近相關(guān)點的距離信息，將當前幀最近相關(guān)點的距離數(shù)據(jù)結(jié)合前4幀的距離數(shù)據(jù)求均值，得出最終的目標檢測結(jié)果及距離信息。

8、進一步的，步驟1中，將圖像數(shù)據(jù)、點云數(shù)據(jù)以及慣導數(shù)據(jù)進行時間對齊以及空間坐標對齊的具體處理過程包括：

9、s1：基于最近時間相關(guān)法比較圖像數(shù)據(jù)、點云數(shù)據(jù)以及慣導數(shù)據(jù)的時間戳，以點云數(shù)據(jù)的時間戳為基準；

10、s2：比較圖像數(shù)據(jù)在點云數(shù)據(jù)時間戳的前一幀和后一幀的時間戳是否相同或在極小的范圍內(nèi)，選擇時間戳差值最小的幀作為對齊的圖像數(shù)據(jù)；

11、s3：比較慣導數(shù)據(jù)在點云數(shù)據(jù)時間戳的前一幀和后一幀的時間戳是否相同或在極小的范圍內(nèi)，在假設慣導數(shù)據(jù)前后幀數(shù)據(jù)以固定增量變化的前提下估計與點云數(shù)據(jù)時間戳相同的慣導數(shù)據(jù)進行對齊；

12、s4：基于相機、激光雷達以及慣性傳感器坐標系基點的旋轉(zhuǎn)、平移關(guān)系，采用投影變換的方法計算坐標系之間的轉(zhuǎn)換矩陣，保證相機、激光雷達以及慣性傳感器的坐標系原點在同一坐標系下。

13、進一步的，步驟2中，基于慣導數(shù)據(jù)與點云數(shù)據(jù)融合的位姿估計，結(jié)合高精地圖識別區(qū)域內(nèi)的目標的過程為：基于事先建立的線路高精地圖，采用landmark定位方式初始化列車的位姿，結(jié)合慣導數(shù)據(jù)計算列車在地圖中的位置，剔除激光雷達采集的地面點云數(shù)據(jù)和非目標點云數(shù)據(jù)，識別出真實的障礙物目標。

14、進一步的，步驟3中，圖像檢測并估計目標的距離信息使用圖像估計目標距離算法，針對不同類型的目標分別估計中心距離，具體步驟如下：

15、s5：基于相機采集的圖像數(shù)據(jù)進行畸變校正，獲取相機的內(nèi)外參數(shù)矩陣，以此設置圖像數(shù)據(jù)的距離偏移量；

16、s6：基于圖像數(shù)據(jù)進行目標檢測，區(qū)分目標類型，為不同類型的目標分配不同的像素寬度和像素高度；

17、s7：計算不同類型目標在寬度和高度上的位置再疊加距離偏移量，比較最小值后得到目標估計距離；

18、基于圖像檢測和雷達檢測結(jié)果判別的具體處理過程包括：基于圖像估計目標距離算法檢測的目標類型及距離，根據(jù)變換矩陣計算所有點云數(shù)據(jù)在相應世界坐標系位置是否存在目標，若在該位置存在雷達檢測結(jié)果，則輸出雷達檢測結(jié)果，否則，跳轉(zhuǎn)步驟4。

19、進一步的，步驟4中，基于圖像檢測結(jié)果，結(jié)合地面點云數(shù)據(jù)的特征得出估計的目標距離信息的具體處理過程包括：

20、基于圖像估計距離以及雷達檢測結(jié)果，若在同一世界坐標系下的相同位置僅有圖像檢測結(jié)果，則將地面點云數(shù)據(jù)與圖像估計距離進行比較，即。

21、進一步的，步驟5中，基于相關(guān)點的距離信息，計算最終的目標檢測結(jié)果及距離信息的具體處理過程包括：

22、基于地面點云數(shù)據(jù)與圖像檢測結(jié)果的估計距離信息，取前4幀結(jié)果與當前幀求均值，即。

23、進一步的，還包括步驟6：輸出安全保護方案，輸出安全保護方案的流程包括以下步驟：

24、s8：將圖像數(shù)據(jù)、點云數(shù)據(jù)以及慣導數(shù)據(jù)進行融合，加入列車運行速度約束條件，判別障礙物檢測結(jié)果的有效性；

25、s9：基于障礙物檢測結(jié)果的有效性，結(jié)合城軌列車障礙物檢測場景及類型判別屬于危險障礙物類型；

26、s10：基于危險障礙物類型的分析，判斷障礙物距離是否屬于安全距離，輸出安全保護方案。

27、進一步的，在步驟s5中，圖像數(shù)據(jù)進行畸變校正的具體處理流程包括：

28、采用特制的標定板拍照，利用角點檢測將世界坐標系轉(zhuǎn)換到相機坐標系，即

29、；

30、通過泰勒公式展開計算徑向畸變系數(shù)和切向畸變系數(shù)并經(jīng)過重構(gòu)對比誤差，得到內(nèi)參矩陣；

31、基于內(nèi)外參數(shù)矩陣的值設置距離偏移量；

32、在步驟s6中，對圖像數(shù)據(jù)進行目標檢測，為不同類型的目標分配不同的像素寬度和像素高度的具體處理過程包括：采用深度學習網(wǎng)絡模型檢測目標并得到類型名稱，為特定的類型分配基于先驗信息的像素寬度、高度；

33、在步驟s7中，圖像數(shù)據(jù)估計目標距離的具體處理流程包括：

34、將深度學習網(wǎng)絡模型檢測的目標像素寬度、高度乘以焦距，再分別除以設定的像素寬度、高度并疊加距離偏移量，比較寬度位置和高度位置的最小值，將最小值作為目標的估計距離。

35、進一步的，在步驟s8中，基于圖像數(shù)據(jù)、點云數(shù)據(jù)以及慣導數(shù)據(jù)融合，判別障礙物檢測結(jié)果的有效性的具體處理過程包括：基于圖像數(shù)據(jù)、點云數(shù)據(jù)以及慣導數(shù)據(jù)，通過圖像估計目標距離算法以及圖像與雷達融合算法，獲得障礙物的類型及距離信息，根據(jù)列車運行速度的約束條件，超過運行速度的結(jié)果為無效；

36、在步驟s9中，基于障礙物檢測結(jié)果的有效性，判別危險障礙物類型的具體處理過程包括：

37、基于列車運行速度約束條件分析障礙物的有效性，結(jié)合城軌列車障礙物檢測場景及類型，分析檢測的障礙物是否屬于危險障礙物，輸出危險障礙物的信息；

38、在步驟s10中，基于障礙物檢測結(jié)果的有效性，判別危險障礙物類型的具體處理過程包括：基于危險障礙物的判別信息，比較障礙物的距離是否屬于安全距離內(nèi)，若在安全距離內(nèi)，只進行語音提示，否則，報警并提醒是否制動。

39、有益的效果：

40、有益效果：本發(fā)明提供一種基于圖像與雷達融合的遠距離障礙物檢測方法，考慮了城軌列車檢測障礙物的常見場景，明確了城軌列車檢測障礙物的距離需求及與距離相匹配的障礙物尺寸需求，考慮了城軌列車運行速度的約束條件，進一步約束障礙物所需檢測的距離范圍，考慮了現(xiàn)有圖像與雷達決策融合不補償距離信息的問題，提出了融合圖像檢測與激光雷達最近目標點的距離估計方法，不僅有利于擴大障礙物檢測范圍，而且有利于提高障礙物檢測的精確性；針對取圖像與雷達融合的障礙物檢測結(jié)果進行保護，有利于提高安全性。