本公開涉及智能車載，具體地，涉及一種智能車載終端數(shù)據(jù)采集系統(tǒng)及方法。

背景技術(shù)：

1、在駕駛過程中，疲勞駕駛是造成交通事故的重要原因之一。具體來說，疲勞駕駛是指在長時間駕駛過程中，由于疲勞、缺乏休息或睡眠不足，導(dǎo)致駕駛員的注意力、反應(yīng)能力和判斷力下降，從而增加了交通事故的風(fēng)險。這種狀態(tài)可能會導(dǎo)致嚴(yán)重的后果，包括傷亡事故。

2、隨著科技的發(fā)展，智能車載終端已經(jīng)成為了現(xiàn)代汽車的重要組成部分。這些終端可以收集和處理大量的數(shù)據(jù)，以提供各種便利的功能，如導(dǎo)航、娛樂等。然而，駕駛員的疲勞檢測仍然是一個重要且具有挑戰(zhàn)性的問題。為了避免駕駛員的疲勞駕駛而導(dǎo)致的事故風(fēng)險，期待一種優(yōu)化的方案。

技術(shù)實現(xiàn)思路

1、提供該
技術(shù)實現(xiàn)要素：
部分以便以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實施方式部分被詳細(xì)描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。

2、第一方面，本公開提供了一種智能車載終端數(shù)據(jù)采集方法，所述方法包括：

3、獲取由攝像頭采集的待分析駕駛員在預(yù)定時間段內(nèi)的駕駛監(jiān)控視頻；

4、將所述駕駛監(jiān)控視頻傳輸至智能車載終端的處理器；

5、在所述處理器中，對所述駕駛監(jiān)控視頻進(jìn)行駕駛行為分析和深度特征約束融合處理以得到全局約束性駕駛行為時序特征圖；

6、在所述處理器中，基于所述全局約束性駕駛行為時序特征圖來確定檢測結(jié)果。

7、可選地，在所述處理器中，對所述駕駛監(jiān)控視頻進(jìn)行駕駛行為分析和深度特征約束融合處理以得到全局約束性駕駛行為時序特征圖，包括：對所述駕駛監(jiān)控視頻進(jìn)行數(shù)據(jù)預(yù)處理以得到駕駛監(jiān)控視頻片段的集合；對所述駕駛監(jiān)控視頻片段的集合進(jìn)行駕駛行為時序特征提取和特征約束融合以得到所述全局約束性駕駛行為時序特征圖。

8、可選地，對所述駕駛監(jiān)控視頻進(jìn)行數(shù)據(jù)預(yù)處理以得到駕駛監(jiān)控視頻片段的集合，包括：將所述駕駛監(jiān)控視頻進(jìn)行視頻切分以得到所述駕駛監(jiān)控視頻片段的集合。

9、可選地，對所述駕駛監(jiān)控視頻片段的集合進(jìn)行駕駛行為時序特征提取和特征約束融合以得到所述全局約束性駕駛行為時序特征圖，包括：利用深度學(xué)習(xí)網(wǎng)絡(luò)模型對所述駕駛監(jiān)控視頻片段的集合進(jìn)行駕駛行為時空特征捕捉以得到駕駛行為局部時序特征圖的序列；將所述駕駛行為局部時序特征圖的序列通過基于自相關(guān)注意力機制的深度特征約束融合模塊以得到所述全局約束性駕駛行為時序特征圖。

10、可選地，利用深度學(xué)習(xí)網(wǎng)絡(luò)模型對所述駕駛監(jiān)控視頻片段的集合進(jìn)行駕駛行為時空特征捕捉以得到駕駛行為局部時序特征圖的序列，包括：將所述駕駛監(jiān)控視頻片段的集合通過基于三維卷積神經(jīng)網(wǎng)絡(luò)模型的駕駛行為時序特征捕獲器以得到所述駕駛行為局部時序特征圖的序列。

11、可選地，將所述駕駛行為局部時序特征圖的序列通過基于自相關(guān)注意力機制的深度特征約束融合模塊以得到所述全局約束性駕駛行為時序特征圖，包括：以如下深度特征約束融合公式對所述駕駛行為局部時序特征圖的序列進(jìn)行處理以得到所述全局約束性駕駛行為時序特征圖；其中，所述深度特征約束融合公式為：

12、

13、f＝[a1f1；a2f2；···；fifi；···；atft]

14、其中，hi為所述駕駛行為局部時序特征圖的序列中第i個駕駛行為局部時序特征圖的全局均值池化特征向量，wi為第i個權(quán)重系數(shù)矩陣，為第i個權(quán)重系數(shù)向量，bi為第i個偏置向量，tanh(·)表示雙曲正切函數(shù)處理，ei為第i個注意力打分系數(shù)，ek為第k個注意力打分系數(shù)，exp(·)表示以e為底的指數(shù)函數(shù)處理，ai為第i個注意力權(quán)重系數(shù)，at為第t個注意力權(quán)重系數(shù)，t為所述駕駛行為局部時序特征圖的序列的長度，fi為第i個駕駛行為局部時序特征圖，ft為第t個駕駛行為局部時序特征圖，concat[·；·]表示級聯(lián)函數(shù)，f為所述全局約束性駕駛行為時序特征圖。

15、可選地，在所述處理器中，基于所述全局約束性駕駛行為時序特征圖來確定檢測結(jié)果，包括：使用非線性響應(yīng)補償模塊對所述全局約束性駕駛行為時序特征圖進(jìn)行處理以得到校正后全局約束性駕駛行為時序特征圖；對所述校正后全局約束性駕駛行為時序特征圖進(jìn)行特征分布優(yōu)化以得到優(yōu)化的校正后全局約束性駕駛行為時序特征圖；將所述優(yōu)化的校正后全局約束性駕駛行為時序特征圖通過基于分類器的駕駛行為檢測器以得到所述檢測結(jié)果，所述檢測結(jié)果用于表示是否發(fā)出疲勞警告。

16、可選地，使用非線性響應(yīng)補償模塊對所述全局約束性駕駛行為時序特征圖進(jìn)行處理以得到校正后全局約束性駕駛行為時序特征圖，包括：以如下非線性響應(yīng)補償公式對所述全局約束性駕駛行為時序特征圖進(jìn)行處理以得到所述校正后全局約束性駕駛行為時序特征圖；其中，所述非線性響應(yīng)補償公式為：

17、

18、其中，l0i為所述全局約束性駕駛行為時序特征圖的各個位置的像素值，a、b、c和d為數(shù)值不相同的調(diào)整參數(shù)，l1i為所述校正后全局約束性駕駛行為時序特征圖的各個位置的像素值。

19、可選地，將所述優(yōu)化的校正后全局約束性駕駛行為時序特征圖通過基于分類器的駕駛行為檢測器以得到所述檢測結(jié)果，所述檢測結(jié)果用于表示是否發(fā)出疲勞警告，包括：將所述優(yōu)化的校正后全局約束性駕駛行為時序特征圖按照行向量或列向量展開為分類特征向量；使用所述分類器的多個全連接層對所述分類特征向量進(jìn)行全連接編碼以得到編碼分類特征向量；以及，將所述編碼分類特征向量通過所述分類器的softmax分類函數(shù)以得到所述分類結(jié)果。

20、第二方面，本公開提供了一種智能車載終端數(shù)據(jù)采集系統(tǒng)，所述系統(tǒng)包括：

21、駕駛監(jiān)控視頻獲取模塊，用于獲取由攝像頭采集的待分析駕駛員在預(yù)定時間段內(nèi)的駕駛監(jiān)控視頻；

22、監(jiān)控視頻傳輸模塊，用于將所述駕駛監(jiān)控視頻傳輸至智能車載終端的處理器；

23、約束融合處理模塊，用于在所述處理器中，對所述駕駛監(jiān)控視頻進(jìn)行駕駛行為分析和深度特征約束融合處理以得到全局約束性駕駛行為時序特征圖；

24、檢測結(jié)果確定模塊，用于在所述處理器中，基于所述全局約束性駕駛行為時序特征圖來確定檢測結(jié)果。

25、采用上述技術(shù)方案，通過獲取由攝像頭采集的待分析駕駛員在預(yù)定時間段內(nèi)的駕駛監(jiān)控視頻；將所述駕駛監(jiān)控視頻傳輸至智能車載終端的處理器；在所述處理器中，對所述駕駛監(jiān)控視頻進(jìn)行駕駛行為分析和深度特征約束融合處理以得到全局約束性駕駛行為時序特征圖；在所述處理器中，基于所述全局約束性駕駛行為時序特征圖來確定檢測結(jié)果。這樣，可以判斷是否存在疲勞駕駛的風(fēng)險，并及時發(fā)出疲勞警告以提醒駕駛員采取措施，預(yù)防交通事故的發(fā)生。

26、本公開的其他特征和優(yōu)點將在隨后的具體實施方式部分予以詳細(xì)說明。

技術(shù)特征：

1.一種智能車載終端數(shù)據(jù)采集方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，在所述處理器中，對所述駕駛監(jiān)控視頻進(jìn)行駕駛行為分析和深度特征約束融合處理以得到全局約束性駕駛行為時序特征圖，包括：

3.根據(jù)權(quán)利要求2所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，對所述駕駛監(jiān)控視頻進(jìn)行數(shù)據(jù)預(yù)處理以得到駕駛監(jiān)控視頻片段的集合，包括：

4.根據(jù)權(quán)利要求3所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，對所述駕駛監(jiān)控視頻片段的集合進(jìn)行駕駛行為時序特征提取和特征約束融合以得到所述全局約束性駕駛行為時序特征圖，包括：

5.根據(jù)權(quán)利要求4所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，利用深度學(xué)習(xí)網(wǎng)絡(luò)模型對所述駕駛監(jiān)控視頻片段的集合進(jìn)行駕駛行為時空特征捕捉以得到駕駛行為局部時序特征圖的序列，包括：

6.根據(jù)權(quán)利要求5所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，將所述駕駛行為局部時序特征圖的序列通過基于自相關(guān)注意力機制的深度特征約束融合模塊以得到所述全局約束性駕駛行為時序特征圖，包括：

7.根據(jù)權(quán)利要求6所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，在所述處理器中，基于所述全局約束性駕駛行為時序特征圖來確定檢測結(jié)果，包括：

8.根據(jù)權(quán)利要求7所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，使用非線性響應(yīng)補償模塊對所述全局約束性駕駛行為時序特征圖進(jìn)行處理以得到校正后全局約束性駕駛行為時序特征圖，包括：

9.根據(jù)權(quán)利要求8所述的智能車載終端數(shù)據(jù)采集方法，其特征在于，將所述優(yōu)化的校正后全局約束性駕駛行為時序特征圖通過基于分類器的駕駛行為檢測器以得到所述檢測結(jié)果，所述檢測結(jié)果用于表示是否發(fā)出疲勞警告，包括：

10.一種智能車載終端數(shù)據(jù)采集系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本公開涉及一種智能車載終端數(shù)據(jù)采集系統(tǒng)及方法。該方法包括：獲取由攝像頭采集的待分析駕駛員在預(yù)定時間段內(nèi)的駕駛監(jiān)控視頻；將所述駕駛監(jiān)控視頻傳輸至智能車載終端的處理器；在所述處理器中，對所述駕駛監(jiān)控視頻進(jìn)行駕駛行為分析和深度特征約束融合處理以得到全局約束性駕駛行為時序特征圖；在所述處理器中，基于所述全局約束性駕駛行為時序特征圖來確定檢測結(jié)果。這樣，可以判斷是否存在疲勞駕駛的風(fēng)險，并及時發(fā)出疲勞警告以提醒駕駛員采取措施，預(yù)防交通事故的發(fā)生。

技術(shù)研發(fā)人員：王磊
受保護(hù)的技術(shù)使用者：寧波易凡機械有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6