本發(fā)明屬于智能駕駛，具體涉及一種基于時序鳥瞰圖的車道線識別方法、裝置、非暫時性計算機可讀存儲介質(zhì)及車輛。

背景技術：

1、在自動駕駛場景中，通過單個或者多個攝像頭提供的2d圖像，使用深度學習進行車道線估計是一種低成本、高性能的方式。但是之前的方法往往只依靠單幀圖像進行判別，這種方式在連續(xù)的視頻序列上缺少關聯(lián)信息，導致對于車道線遮擋問題無法依靠歷史幀進行輔助識別和矯正。

2、bev是鳥瞰圖(bird’s?eye?view)的簡稱，是一種用于描述感知世界的視角或坐標系(3d)，將圖像空間轉(zhuǎn)換到bev空間可以更好的表觀環(huán)境的3d信息。基于bev空間的車道線感知是目前主流的方案。其中深度信息對于3d車道線的感知至關重要，因此部分工作探索如何更好地利用深度信息來進行識別。例如lls探索利用卷積網(wǎng)絡提取圖片中的深度信息，根據(jù)深度信息獲取bev特征再進行后續(xù)的識別，但是這些方法需要額外的信息輸入，會帶來計算資源的消耗。除了深度信息的探索外，部分工作開始研究如何更好地提取和關聯(lián)圖像空間和時序空間的特征，來建模更加魯棒的bev特征。例如bevformer采用了四個時刻的6個視角的環(huán)視圖作為輸入，利用deformabledetr來進行特征的提取，persformer則是前視圖作為輸入，采用金字塔式的方式來構造bev特征。

3、然而，bevformer方案輸入的多視角圖像會帶來計算資源開銷大的問題，并且，當輸入的兩幀樣本變化較大時，難以通過運動信息對齊相同的位置點，這樣就會引入對齊無差進而影響網(wǎng)絡的學習。在實際應用場景下，從時序上看車道線往往會在某一幀被遮擋，而persformer的處理邏輯是對于每一幀單獨預測，因此當某一幀的車道線被遮擋或者變化快時，由于無法利用之前的歷史信息來輔助，導致當前車道線的識別困難。

技術實現(xiàn)思路

1、本發(fā)明實施例所要解決的技術問題在于，提供一種基于時序鳥瞰圖的車道線識別方法、裝置、非暫時性計算機可讀存儲介質(zhì)及車輛，以改善車道線被遮擋情況下的預測性能。

2、為解決上述技術問題，本發(fā)明提供一種基于時序鳥瞰圖的車道線識別方法，包括：

3、獲取車輛前方預設范圍內(nèi)的圖像，并對所述圖像進行特征提取，得到多幀圖像特征；

4、將提取的多幀圖像特征按時序存入預設圖像特征存儲隊列；

5、分別獲取所述預設圖像特征存儲隊列中歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征；

6、將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征進行融合，得到更新的歷史幀的鳥瞰圖特征；

7、采用所述更新的歷史幀的鳥瞰圖特征進行車道線識別。

8、優(yōu)選地，在將提取的多幀圖像特征按時序存入預設圖像特征存儲隊列時還包括：

9、判斷所述預設圖像特征存儲隊列中是否沒有歷史幀的鳥瞰圖特征；

10、如果沒有歷史幀的鳥瞰圖特征，則將當前幀作為歷史幀，并提取當前幀的鳥瞰圖特征作為歷史幀的鳥瞰圖特征；

11、如果有歷史幀的鳥瞰圖特征，則提取當前幀的鳥瞰圖特征。

12、優(yōu)選地，當存入所述預設圖像特征存儲隊列的當前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當存入所述預設圖像特征存儲隊列的當前幀不是初始幀時，將當前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

13、優(yōu)選地，將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征進行融合，具體是：將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征使用deformabledetr進行融合，其中，當前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

14、優(yōu)選地，在得到更新的歷史幀的鳥瞰圖特征后，還包括：判斷當前幀的鳥瞰圖特征是否是所述預設圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則繼續(xù)進行bev特征提取和歷史幀的bev特征更新。

15、本發(fā)明還提供一種非暫時性計算機可讀存儲介質(zhì)，所述非暫時性計算機可讀存儲介質(zhì)包括存儲的計算機程序；其中，所述計算機程序在運行時控制所述非暫時性計算機可讀存儲介質(zhì)所在的設備執(zhí)行所述的基于時序鳥瞰圖的車道線識別方法。

16、本發(fā)明還提供一種基于時序鳥瞰圖的車道線識別裝置，包括：

17、圖像特征提取模塊，用于對獲取的車輛前方預設范圍內(nèi)的圖像進行特征提取，得到多幀圖像特征；

18、存儲模塊，用于將提取的多幀圖像特征按時序存入預設圖像特征存儲隊列；

19、鳥瞰圖特征獲取模塊，用于分別獲取所述預設圖像特征存儲隊列中歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征；

20、鳥瞰圖特征融合模塊，用于將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征進行融合，得到更新的歷史幀的鳥瞰圖特征；

21、識別模塊，用于采用所述更新的歷史幀的鳥瞰圖特征進行車道線識別。

22、優(yōu)選地，所述存儲模塊在將提取的多幀圖像特征按時序存入預設圖像特征存儲隊列時還用于：判斷所述預設圖像特征存儲隊列中是否沒有歷史幀的鳥瞰圖特征；

23、所述鳥瞰圖特征獲取模塊還用于：如果沒有歷史幀的鳥瞰圖特征，則將當前幀作為歷史幀，并提取當前幀的鳥瞰圖特征作為歷史幀的鳥瞰圖特征；如果有歷史幀的鳥瞰圖特征，則提取當前幀的鳥瞰圖特征。

24、優(yōu)選地，所述鳥瞰圖特征獲取模塊還用于：當存入所述預設圖像特征存儲隊列的當前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當存入所述預設圖像特征存儲隊列的當前幀不是初始幀時，將當前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

25、優(yōu)選地，所述鳥瞰圖特征融合模塊具體用于：將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征使用deformabledetr進行融合，其中，當前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

26、優(yōu)選地，所述裝置還包括迭代模塊，用于在得到更新的歷史幀的鳥瞰圖特征后，判斷當前幀的鳥瞰圖特征是否是所述預設圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則由所述鳥瞰圖特征獲取模塊繼續(xù)獲取相應的鳥瞰圖特征、由所述鳥瞰圖特征融合模塊進行鳥瞰圖特征的融合。

27、本發(fā)明還提供一種車輛，包括所述的基于時序鳥瞰圖的車道線識別裝置。

28、實施本發(fā)明具有如下有益效果：通過引入具有時序信息的鳥瞰圖特征來對歷史幀的鳥瞰圖特征進行更新，從而在當前車道線被遮擋時，可以根據(jù)歷史時間信息從歷史特征中找到和當前特征相似的區(qū)域，采用該區(qū)域內(nèi)的車道線信息來輔助當前車道線識別，為改善車道線被遮擋情況下的預測性能提供有力支撐。

技術特征：

1.一種基于時序鳥瞰圖的車道線識別方法，其特征在于，包括：

2.根據(jù)權利要求1所述的方法，其特征在于，在將提取的多幀圖像特征按時序存入預設圖像特征存儲隊列時還包括：

3.根據(jù)權利要求2所述的方法，其特征在于，當存入所述預設圖像特征存儲隊列的當前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當存入所述預設圖像特征存儲隊列的當前幀不是初始幀時，將當前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

4.根據(jù)權利要求1所述的方法，其特征在于，將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征進行融合，具體是：將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征使用deformabledetr進行融合，其中，當前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

5.根據(jù)權利要求1所述的方法，其特征在于，在得到更新的歷史幀的鳥瞰圖特征后，還包括：判斷當前幀的鳥瞰圖特征是否是所述預設圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則繼續(xù)進行bev特征提取和歷史幀的bev特征更新。

6.一種非暫時性計算機可讀存儲介質(zhì)，其特征在于，所述非暫時性計算機可讀存儲介質(zhì)包括存儲的計算機程序；其中，所述計算機程序在運行時控制所述非暫時性計算機可讀存儲介質(zhì)所在的設備執(zhí)行如權利要求1～5任一項所述的基于時序鳥瞰圖的車道線識別方法。

7.一種基于時序鳥瞰圖的車道線識別裝置，其特征在于，包括：

8.根據(jù)權利要求7所述的裝置，其特征在于，所述存儲模塊在將提取的多幀圖像特征按時序存入預設圖像特征存儲隊列時還用于：判斷所述預設圖像特征存儲隊列中是否沒有歷史幀的鳥瞰圖特征；

9.根據(jù)權利要求8所述的裝置，其特征在于，所述鳥瞰圖特征獲取模塊還用于：當存入所述預設圖像特征存儲隊列的當前幀是初始幀時，則將所述初始幀作為歷史幀，對所述初始幀的圖像特征提取鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征；當存入所述預設圖像特征存儲隊列的當前幀不是初始幀時，將當前幀的前一幀作為歷史幀，對所述前一幀的圖像特征提取的鳥瞰圖特征，得到所述歷史幀的鳥瞰圖特征。

10.根據(jù)權利要求7所述的裝置，其特征在于，所述鳥瞰圖特征融合模塊具體用于：將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征使用deformabledetr進行融合，其中，當前幀的鳥瞰圖特征作為查詢向量，歷史幀的鳥瞰圖特征作為鍵向量和值向量。

11.根據(jù)權利要求7所述的裝置，其特征在于，還包括迭代模塊，用于在得到更新的歷史幀的鳥瞰圖特征后，判斷當前幀的鳥瞰圖特征是否是所述預設圖像特征存儲隊列中最后一幀的鳥瞰圖特征，若是則將當前得到的更新的歷史幀的鳥瞰圖特征用于后續(xù)車道線識別，若不是則由所述鳥瞰圖特征獲取模塊繼續(xù)獲取相應的鳥瞰圖特征、由所述鳥瞰圖特征融合模塊進行鳥瞰圖特征的融合。

12.一種車輛，其特征在于，包括如權利要求7～11任一項所述的基于時序鳥瞰圖的車道線識別裝置。

技術總結
本發(fā)明公開一種基于時序鳥瞰圖的車道線識別方法、裝置、非暫時性計算機可讀存儲介質(zhì)及車輛，其中，方法包括：獲取車輛前方預設范圍內(nèi)的圖像，并對所述圖像進行特征提取，得到多幀圖像特征；將提取的多幀圖像特征按時序存入預設圖像特征存儲隊列；分別獲取所述預設圖像特征存儲隊列中歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征；將所述歷史幀的鳥瞰圖特征和當前幀的鳥瞰圖特征進行融合，得到更新的歷史幀的鳥瞰圖特征；采用所述更新的歷史幀的鳥瞰圖特征進行車道線識別。本發(fā)明通過引入具有時序信息的鳥瞰圖特征來對歷史幀的鳥瞰圖特征進行更新，為改善車道線被遮擋情況下的預測性能提供有力支撐。

技術研發(fā)人員：胡益琿,牟永強
受保護的技術使用者：廣州汽車集團股份有限公司
技術研發(fā)日：
技術公布日：2025/1/6