本公開(kāi)實(shí)施例涉及疲勞檢測(cè)，尤其涉及一種基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、駕駛疲勞是引發(fā)交通事故的主要原因之一，特別是在長(zhǎng)途駕駛或夜間駕駛的情況下，駕駛員的精神和體力會(huì)逐漸下降，導(dǎo)致疲勞。傳統(tǒng)的駕駛疲勞檢測(cè)方法大多基于駕駛員的某一種模態(tài)特征，如面部表情、眼睛閉合頻率、頭部姿態(tài)、心率、呼吸頻率等，這些檢測(cè)手段各有優(yōu)劣。然而，在實(shí)際駕駛環(huán)境中，單一模態(tài)的檢測(cè)手段往往存在以下問(wèn)題：

2、(1)視頻信息易受環(huán)境影響：在光線變化較大或攝像頭角度不佳的情況下，基于視頻的疲勞檢測(cè)方法(如面部表情、眼睛閉合檢測(cè)等)往往會(huì)失效。例如，在夜間駕駛或強(qiáng)光直射時(shí)，攝像頭采集到的圖像可能質(zhì)量較低，導(dǎo)致檢測(cè)準(zhǔn)確性下降。此外，駕駛員佩戴眼鏡、遮擋臉部或面部姿態(tài)變化較大時(shí)，基于面部特征的疲勞檢測(cè)模型難以提供穩(wěn)定的判斷結(jié)果。

3、(2)生理信號(hào)單一性：基于生理信號(hào)(如心率、皮膚電反應(yīng)、腦電波等)的疲勞檢測(cè)方法通常需要額外的傳感設(shè)備，與車(chē)輛集成后對(duì)駕駛員造成的干擾較大。同時(shí)，單一生理信號(hào)如心率在運(yùn)動(dòng)、情緒波動(dòng)等情況下也會(huì)出現(xiàn)較大波動(dòng)，容易產(chǎn)生誤報(bào)，無(wú)法單獨(dú)可靠判斷疲勞狀態(tài)。此外，生理信號(hào)特征往往是長(zhǎng)時(shí)間內(nèi)的逐漸變化，其反應(yīng)往往滯后于駕駛員的實(shí)際疲勞狀態(tài)，且易受外界因素影響，單獨(dú)依賴(lài)生理信號(hào)的檢測(cè)方法在實(shí)時(shí)性上可能不足。

4、(3)單模態(tài)方法的局限性：?jiǎn)我荒B(tài)方法在復(fù)雜場(chǎng)景下的適用性有限，容易受到各種干擾因素的影響。例如，單純基于視頻的檢測(cè)方法可能忽略駕駛員內(nèi)在的生理變化，而基于生理信號(hào)的檢測(cè)方法可能無(wú)法反映駕駛員的外在行為特征。由于疲勞狀態(tài)的復(fù)雜性，任何一種單模態(tài)的數(shù)據(jù)源都難以準(zhǔn)確反映駕駛員的全面狀態(tài)。

5、因此，有必要改善上述相關(guān)技術(shù)方案中存在的一個(gè)或者多個(gè)問(wèn)題。

6、需要注意的是，本部分旨在為權(quán)利要求書(shū)中陳述的本公開(kāi)的技術(shù)方案提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)實(shí)施例的目的在于提供一種基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法及系統(tǒng)，進(jìn)而至少在一定程度上克服由于相關(guān)技術(shù)的限制和缺陷而導(dǎo)致的一個(gè)或者多個(gè)問(wèn)題。

2、本公開(kāi)實(shí)施例首先提供一種基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，包括：

3、對(duì)駕駛員的面部視頻信號(hào)和生理信號(hào)進(jìn)行采集；

4、對(duì)采集到的視頻信號(hào)和生理信號(hào)進(jìn)行特征提取，其中，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻信號(hào)進(jìn)行特征提取，通過(guò)transformer模型對(duì)所述生理信號(hào)進(jìn)行時(shí)序特征提取；

5、利用哈達(dá)瑪積特征融合方法對(duì)提取到的視頻信號(hào)特征和生理信號(hào)特征進(jìn)行特征融合，生成融合特征向量；

6、將所述融合特征向量輸入到全連接層分類(lèi)器中，并通過(guò)所述全連接層分類(lèi)器判斷駕駛員的疲勞狀態(tài)。

7、本公開(kāi)的一實(shí)施例中，所述視頻信號(hào)包括：駕駛員面部表情、眼睛閉合頻率以及頭部動(dòng)作；所述生理信號(hào)包括：心率、腦電圖以及呼吸頻率。

8、本公開(kāi)的一實(shí)施例中，所述對(duì)駕駛員的面部視頻信號(hào)和生理信號(hào)進(jìn)行采集的步驟，包括：

9、在采集過(guò)程中，利用時(shí)間戳將所述視頻信號(hào)和生理信號(hào)的時(shí)間進(jìn)行同步。

10、本公開(kāi)的一實(shí)施例中，所述通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻信號(hào)進(jìn)行特征提取的步驟，包括：

11、利用第一卷積層對(duì)輸入的圖像進(jìn)行卷積操作，并利用第一池化層來(lái)減少特征圖的大小；

12、利用第二卷積層和第二池化層對(duì)所述圖像中的高級(jí)視覺(jué)特征進(jìn)行提取直至生成視頻中的空間特征；

13、對(duì)所述圖像中的全局信息進(jìn)行提取并進(jìn)行特征降維處理，生成全局信息特征向量；

14、對(duì)視頻中的光流信息的運(yùn)動(dòng)特征進(jìn)行提取和匯總，生成運(yùn)動(dòng)信息特征向量；

15、將所述全局信息特征向量和所述運(yùn)動(dòng)信息特征向量進(jìn)行特征融合。

16、本公開(kāi)的一實(shí)施例中，所述通過(guò)transformer模型對(duì)所述生理信號(hào)進(jìn)行時(shí)序特征提取的步驟，包括：

17、利用空間注意力編碼器對(duì)輸入的生理信號(hào)進(jìn)行多通道依賴(lài)性的捕捉；

18、將生理信號(hào)進(jìn)行轉(zhuǎn)置后，利用時(shí)間注意力編碼器對(duì)其時(shí)間維度上的依賴(lài)關(guān)系和重要時(shí)間點(diǎn)特征進(jìn)行捕捉；

19、利用卷積神經(jīng)網(wǎng)絡(luò)特征提取模塊對(duì)所述生理信號(hào)進(jìn)行卷積處理。

20、本公開(kāi)的一實(shí)施例中，所述利用哈達(dá)瑪積特征融合方法對(duì)提取到的視頻信號(hào)特征和生理信號(hào)特征進(jìn)行特征融合，生成融合特征向量的步驟，包括：

21、利用哈達(dá)瑪積特征融合方法對(duì)提取到的視頻信號(hào)特征和生理信號(hào)特征中的每個(gè)向量進(jìn)行逐元素相乘，生成融合特征向量。

22、本公開(kāi)的一實(shí)施例中，所述全連接層分類(lèi)器采用全連接神經(jīng)網(wǎng)絡(luò)分類(lèi)模型，在使用所述分類(lèi)模型前對(duì)所述分類(lèi)模型進(jìn)行訓(xùn)練的過(guò)程包括：

23、對(duì)所述視頻信號(hào)和生理信號(hào)進(jìn)行采集得到訓(xùn)練數(shù)據(jù)集；

24、對(duì)所述訓(xùn)練數(shù)據(jù)集中的每條數(shù)據(jù)樣本標(biāo)注對(duì)應(yīng)的疲勞狀態(tài)標(biāo)簽；

25、對(duì)標(biāo)注疲勞狀態(tài)標(biāo)簽之后的數(shù)據(jù)樣本進(jìn)行處理。

26、本公開(kāi)的一實(shí)施例中，所述疲勞狀態(tài)標(biāo)簽包括：清醒、輕度疲勞和嚴(yán)重疲勞。

27、本公開(kāi)的一實(shí)施例中，所述檢測(cè)方法還包括：

28、當(dāng)駕駛員的疲勞狀態(tài)為輕度疲勞或嚴(yán)重疲勞時(shí)，發(fā)出警報(bào)提醒或?qū)嵤┌踩胧?/p>

29、本公開(kāi)實(shí)施例還提供一種基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)系統(tǒng)，所述檢測(cè)系統(tǒng)包括：

30、車(chē)載攝像頭，用于對(duì)駕駛員的面部視頻信號(hào)進(jìn)行采集；

31、生理信號(hào)采集器，用于對(duì)駕駛員的生理信號(hào)進(jìn)行采集；

32、特征提取模塊，用于對(duì)采集到的視頻信號(hào)和生理信號(hào)進(jìn)行特征提取，其中，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻信號(hào)進(jìn)行特征提取，通過(guò)transformer模型對(duì)所述生理信號(hào)進(jìn)行時(shí)序特征提??；

33、特征融合模塊，用于利用哈達(dá)瑪積特征融合方法對(duì)提取到的視頻信號(hào)特征和生理信號(hào)特征進(jìn)行特征融合，生成融合特征向量；

34、全連接層分類(lèi)器，用于接收所述融合特征向量，并判斷駕駛員的疲勞狀態(tài)。

35、本公開(kāi)的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

36、本公開(kāi)實(shí)施例中的基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法及系統(tǒng)，通過(guò)對(duì)駕駛員的面部視頻信號(hào)和生理信號(hào)進(jìn)行采集，然后利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻信號(hào)進(jìn)行特征提取，通過(guò)transformer模型對(duì)所述生理信號(hào)進(jìn)行時(shí)序特征提取，通過(guò)哈達(dá)瑪積特征融合方法對(duì)提取的多模態(tài)特征進(jìn)行融合，融合后的特征被輸入全連接層分類(lèi)器中，以監(jiān)督學(xué)習(xí)方式進(jìn)行訓(xùn)練并實(shí)時(shí)檢測(cè)駕駛員的疲勞狀態(tài)。本申請(qǐng)通過(guò)多模態(tài)融合提高了檢測(cè)的準(zhǔn)確性與魯棒性，能夠在實(shí)際駕駛場(chǎng)景中進(jìn)行疲勞預(yù)警，為交通安全提供有效的保障。

技術(shù)特征：

1.基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述視頻信號(hào)包括：駕駛員面部表情、眼睛閉合頻率以及頭部動(dòng)作；所述生理信號(hào)包括：心率、腦電圖以及呼吸頻率。

3.根據(jù)權(quán)利要求1所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述對(duì)駕駛員的面部視頻信號(hào)和生理信號(hào)進(jìn)行采集的步驟，包括：

4.根據(jù)權(quán)利要求1所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻信號(hào)進(jìn)行特征提取的步驟，包括：

5.根據(jù)權(quán)利要求1所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述通過(guò)transformer模型對(duì)所述生理信號(hào)進(jìn)行時(shí)序特征提取的步驟，包括：

6.根據(jù)權(quán)利要求1所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述利用哈達(dá)瑪積特征融合方法對(duì)提取到的視頻信號(hào)特征和生理信號(hào)特征進(jìn)行特征融合，生成融合特征向量的步驟，包括：

7.根據(jù)權(quán)利要求1所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述全連接層分類(lèi)器采用全連接神經(jīng)網(wǎng)絡(luò)分類(lèi)模型，在使用所述分類(lèi)模型前對(duì)所述分類(lèi)模型進(jìn)行訓(xùn)練的過(guò)程包括：

8.根據(jù)權(quán)利要求7所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述疲勞狀態(tài)標(biāo)簽包括：清醒、輕度疲勞和嚴(yán)重疲勞。

9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法，其特征在于，所述檢測(cè)方法還包括：

10.基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)系統(tǒng)，其特征在于，所述檢測(cè)系統(tǒng)包括：

技術(shù)總結(jié)
本公開(kāi)關(guān)于一種基于多模態(tài)特征融合的駕駛員疲勞檢測(cè)方法及系統(tǒng)，該方法包括：對(duì)駕駛員的面部視頻信號(hào)和生理信號(hào)進(jìn)行采集；對(duì)采集到的視頻信號(hào)和生理信號(hào)進(jìn)行特征提??；利用哈達(dá)瑪積特征融合方法對(duì)提取到的視頻信號(hào)特征和生理信號(hào)特征進(jìn)行特征融合，生成融合特征向量；將所述融合特征向量輸入到全連接層分類(lèi)器中，并判斷駕駛員的疲勞狀態(tài)。本實(shí)施例通過(guò)對(duì)駕駛員的面部視頻信號(hào)和生理信號(hào)進(jìn)行采集，通過(guò)哈達(dá)瑪積特征融合方法對(duì)提取的多模態(tài)特征進(jìn)行融合，融合后的特征被輸入全連接層分類(lèi)器中，以監(jiān)督學(xué)習(xí)方式進(jìn)行訓(xùn)練并實(shí)時(shí)檢測(cè)駕駛員的疲勞狀態(tài)，提高了檢測(cè)的準(zhǔn)確性與魯棒性，能夠在實(shí)際駕駛場(chǎng)景中進(jìn)行疲勞預(yù)警，為交通安全提供有效的保障。

技術(shù)研發(fā)人員：曹盛力,胡藝輝,張妮
受保護(hù)的技術(shù)使用者：西安郵電大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9