本發(fā)明屬于智能控制，尤其涉及一種基于人臉信息的駕駛?cè)藛T情緒智能交互方法、系統(tǒng)和裝置。

背景技術(shù)：

1、目前，隨著數(shù)字經(jīng)濟(jì)的快速發(fā)展，基于人工智能技術(shù)的汽車座艙核心部分——人機(jī)交互將發(fā)生巨大的變化。汽車由單一的駕駛、乘坐工具升級(jí)為一個(gè)以消費(fèi)者為中心的“智能移動(dòng)空間”。該空間有望成為除住宅、辦公場(chǎng)所之外的第三個(gè)基本生活空間。

2、而無(wú)論技術(shù)如何進(jìn)步，安全是汽車社會(huì)永恒的話題，駕駛?cè)藛T和乘客的安全更是重中之重。本系統(tǒng)主要通過(guò)傳感器、攝像頭、人臉識(shí)別、人工智能和大數(shù)據(jù)分析等軟硬件技術(shù)，從提高圖像質(zhì)量、識(shí)別準(zhǔn)確率等方面入手，實(shí)現(xiàn)駕駛?cè)藛T狀態(tài)實(shí)時(shí)監(jiān)測(cè)，并根據(jù)構(gòu)建的評(píng)價(jià)方法進(jìn)行危險(xiǎn)駕駛行為識(shí)別及提醒，提高行車安全，保障國(guó)民的生命財(cái)產(chǎn)安全和經(jīng)濟(jì)穩(wěn)定；同時(shí)，通過(guò)對(duì)駕乘人員的情緒識(shí)別及信息交互智能化控制系統(tǒng)開(kāi)發(fā)，實(shí)現(xiàn)艙內(nèi)駕乘人員與車內(nèi)氛圍的交互，通過(guò)根據(jù)駕乘人員的情緒，調(diào)節(jié)亮度和色彩等從而影響駕乘人員，讓他們感覺(jué)放松且舒適，或者感到興奮和鼓舞，提升直觀駕乘體驗(yàn)；還可以提高駕駛?cè)藛T的認(rèn)知能力，有助于增加安全駕駛系數(shù)。

3、項(xiàng)目的研發(fā)和產(chǎn)業(yè)化，既能運(yùn)用技術(shù)手段加強(qiáng)駕駛員不安全行為的監(jiān)管和增強(qiáng)駕駛員的安全意識(shí)，能有效減少和控制駕駛員不安全行為的發(fā)生，控制事故的發(fā)生，避免和減少人員傷亡和財(cái)產(chǎn)損失；同時(shí)，也給駕乘人員帶來(lái)優(yōu)良的價(jià)值體驗(yàn)，是大數(shù)據(jù)應(yīng)用的一個(gè)最佳示范點(diǎn)，蘊(yùn)含著巨大商業(yè)價(jià)值和社會(huì)價(jià)值。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問(wèn)題是設(shè)計(jì)一種基于人臉信息的駕駛?cè)藛T情緒智能交互方法、系統(tǒng)和裝置，利用燈光、音樂(lè)、座椅等在內(nèi)的各種信息的智能交互調(diào)節(jié)，實(shí)現(xiàn)駕駛?cè)藛T不良情緒的有效控制，從而提高行車安全，保障國(guó)民的生命財(cái)產(chǎn)安全和經(jīng)濟(jì)穩(wěn)定，解決現(xiàn)有的技術(shù)問(wèn)題。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于人臉信息的駕駛?cè)藛T情緒智能交互方法，包括如下步驟：

3、步驟s1：多視角、多角度、多光照條件下采集人臉信息，并利用深度學(xué)習(xí)方法進(jìn)行模型訓(xùn)練，生成表情識(shí)別模型。

4、步驟s2：通過(guò)攝像頭在多視角、多角度、多光照條件下實(shí)時(shí)采集駕駛?cè)藛T人臉信息，并實(shí)時(shí)進(jìn)行駕駛?cè)藛T的表情識(shí)別。

5、步驟s3：根據(jù)識(shí)別結(jié)果判斷駕駛?cè)藛T當(dāng)前的情緒狀態(tài)是否為不良情緒：

6、若是，則通過(guò)控制車內(nèi)燈光、音樂(lè)和座椅對(duì)駕駛?cè)藛T的情緒進(jìn)行調(diào)節(jié)；

7、若不是，則返回步驟s2。

8、步驟s4：調(diào)節(jié)完成后再次對(duì)駕駛?cè)藛T的表情進(jìn)行識(shí)別，根據(jù)識(shí)別結(jié)果判斷是否需要經(jīng)過(guò)多次外加因素的調(diào)節(jié)與干預(yù)，直至駕駛?cè)藛T的情緒趨于穩(wěn)定。

9、步驟s5：行駛過(guò)程中不斷依次執(zhí)行步驟s2～步驟s4，直至行駛過(guò)程結(jié)束。

10、進(jìn)一步的，步驟s1中，多視角人臉表情信息采集方法為：分別利用各類機(jī)動(dòng)車駕駛艙前端位置布置的攝像器材及各類機(jī)動(dòng)車側(cè)方位位置布置的攝像器材，采集包括憤怒、厭惡、恐懼、快樂(lè)、驚訝、悲傷和中性的各類人臉表情消息。

11、進(jìn)一步的，步驟s1中，多角度人臉表情信息采集的方法為：在多視角布置攝像器材的基礎(chǔ)上，分別從包括偏向攝像頭的不同角度采集包括憤怒、厭惡、恐懼、快樂(lè)、驚訝、悲傷和中性的各類人臉表情消息。

12、進(jìn)一步的，步驟s1中，多光照人臉表情信息采集的方法為：在多視角、多角度的基礎(chǔ)上，分別在包括晴天天氣下無(wú)陽(yáng)光照在面部、晴天天氣下有陽(yáng)光照在面部、晴天天氣下有部分陽(yáng)光照在面部、晴天天氣下有很強(qiáng)的逆光照在面部、光照微弱情況下車有內(nèi)燈光照在面部、光照微弱情況下有路燈光照在面部、光照微弱情況下有對(duì)面大燈光照在面部、黑夜情況下、黑夜情況下微弱光照在面部的各類條件下，采集包括憤怒、厭惡、恐懼、快樂(lè)、驚訝、悲傷和中性的各類人臉表情信息。

13、進(jìn)一步的，采集人臉信息還包括：

14、多性別、多年齡段的實(shí)驗(yàn)人群：在男女比例為7：3的前提下，選擇18-30歲年齡段：31-40歲年齡段：41-50歲年齡段：51-60歲年齡段：61-70歲年齡段：71-80歲年齡段的比例為12：16：8：4：2：1。

15、進(jìn)一步的，步驟s1中，基于多尺度特征融合和全局注意力的小型化輕量級(jí)人臉表情識(shí)別模型，具體包括：

16、利用包含多個(gè)并行的不同采樣率的空洞卷積的空洞空間金字塔池化，捕獲圖像的局部細(xì)節(jié)信息和全局上下文信息；

17、雙分支結(jié)構(gòu)的特征融合模塊，通過(guò)融合不同層級(jí)的特征映射，準(zhǔn)確捕獲不同人臉表情的面部特征；

18、壓縮激勵(lì)通道注意力模塊，強(qiáng)化重要特征并抑制不重要特征，增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的特征表征能力。

19、進(jìn)一步的，步驟s3中，對(duì)駕駛?cè)藛T情緒的干預(yù)與調(diào)節(jié)的方法包括：自動(dòng)、智能地進(jìn)行各種調(diào)節(jié)，包括車內(nèi)燈光的顏色、車內(nèi)燈光的強(qiáng)弱、車內(nèi)燈光的持續(xù)時(shí)間、播放音樂(lè)的類型、播放音樂(lè)的時(shí)間、駕駛座椅的上下高度和駕駛座椅的前后距離的調(diào)節(jié)。

20、進(jìn)一步的，步驟s4中，如駕駛?cè)藛T情緒在3～5秒內(nèi)趨于平緩，則保持當(dāng)前各類提醒對(duì)應(yīng)的智能調(diào)節(jié)；如駕駛?cè)藛T情緒無(wú)法在3～5秒內(nèi)趨于平緩，則繼續(xù)進(jìn)行情緒調(diào)整的各類智能調(diào)節(jié)，直至駕駛?cè)藛T情緒平緩。

21、本發(fā)明還提供一種基于人臉信息的駕駛?cè)藛T情緒智能交互系統(tǒng)，包括：

22、人臉信息采集模塊，用于采集人臉信息進(jìn)行模型訓(xùn)練，以及用于實(shí)時(shí)采集駕駛?cè)藛T進(jìn)行識(shí)別；

23、模型學(xué)習(xí)模塊，利用深度學(xué)習(xí)方法進(jìn)行模型訓(xùn)練，生成表情識(shí)別模型；

24、表情識(shí)別模塊，用于對(duì)實(shí)時(shí)采集的駕駛?cè)藛T表情進(jìn)行情緒識(shí)別，并輸出結(jié)果；

25、第一判斷模塊，用于對(duì)識(shí)別的駕駛?cè)藛T的情緒進(jìn)行判斷；

26、情緒調(diào)節(jié)模塊，用于對(duì)駕駛?cè)藛T的情緒進(jìn)行調(diào)節(jié)；

27、第二判斷模塊，用于進(jìn)行情緒調(diào)節(jié)后對(duì)駕駛?cè)藛T的情緒進(jìn)行判斷。

28、本發(fā)明還提供一種基于人臉信息的駕駛?cè)藛T情緒智能交互裝置，包括：

29、至少一個(gè)處理器；以及

30、至少一個(gè)與所述處理器通信連接的存儲(chǔ)器；

31、其中，所述存儲(chǔ)器存儲(chǔ)有可被處理器執(zhí)行的指令，所述指令被所述處理器執(zhí)行，以使該裝置執(zhí)行前述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法。

32、本發(fā)明的有益效果：

33、本發(fā)明的基于人臉信息的駕駛?cè)藛T情緒智能交互方法和系統(tǒng)在實(shí)時(shí)自動(dòng)識(shí)別駕駛?cè)藛T情緒的基礎(chǔ)上，通過(guò)外界因素的智能干預(yù)，實(shí)現(xiàn)駕駛?cè)藛T情緒的交互識(shí)別，利用燈光、音樂(lè)、座椅等在內(nèi)的各種信息的智能交互調(diào)節(jié)，實(shí)現(xiàn)駕駛?cè)藛T不良情緒的有效控制，這有利于保證駕駛?cè)藛T的情緒穩(wěn)定，從而提高行車安全，更有利于減少道路事故，保障國(guó)民的生命財(cái)產(chǎn)安全和經(jīng)濟(jì)穩(wěn)定。

技術(shù)特征：

1.一種基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：步驟s1中，多視角人臉表情信息采集方法為：分別利用各類機(jī)動(dòng)車駕駛艙前端位置布置的攝像器材及各類機(jī)動(dòng)車側(cè)方位位置布置的攝像器材，采集包括憤怒、厭惡、恐懼、快樂(lè)、驚訝、悲傷和中性的各類人臉表情消息。

3.根據(jù)權(quán)利要求1所述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：步驟s1中，多角度人臉表情信息采集的方法為：在多視角布置攝像器材的基礎(chǔ)上，分別從包括偏向攝像頭的不同角度采集包括憤怒、厭惡、恐懼、快樂(lè)、驚訝、悲傷和中性的各類人臉表情消息。

4.根據(jù)權(quán)利要求1所述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：步驟s1中，多光照人臉表情信息采集的方法為：在多視角、多角度的基礎(chǔ)上，分別在包括晴天天氣下無(wú)陽(yáng)光照在面部、晴天天氣下有陽(yáng)光照在面部、晴天天氣下有部分陽(yáng)光照在面部、晴天天氣下有很強(qiáng)的逆光照在面部、光照微弱情況下車有內(nèi)燈光照在面部、光照微弱情況下有路燈光照在面部、光照微弱情況下有對(duì)面大燈光照在面部、黑夜情況下、黑夜情況下微弱光照在面部的各類條件下，采集包括憤怒、厭惡、恐懼、快樂(lè)、驚訝、悲傷和中性的各類人臉表情信息。

5.根據(jù)權(quán)利要求1所述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：采集人臉信息還包括：

6.根據(jù)權(quán)利要求1所述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：步驟s1中，基于多尺度特征融合和全局注意力的小型化輕量級(jí)人臉表情識(shí)別模型，具體包括：

7.根據(jù)權(quán)利要求1所述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：步驟s3中，對(duì)駕駛?cè)藛T情緒的干預(yù)與調(diào)節(jié)的方法包括：自動(dòng)、智能地進(jìn)行各種調(diào)節(jié)，包括車內(nèi)燈光的顏色、車內(nèi)燈光的強(qiáng)弱、車內(nèi)燈光的持續(xù)時(shí)間、播放音樂(lè)的類型、播放音樂(lè)的時(shí)間、駕駛座椅的上下高度和駕駛座椅的前后距離的調(diào)節(jié)。

8.根據(jù)權(quán)利要求1所述的基于人臉信息的駕駛?cè)藛T情緒智能交互方法，其特征在于：步驟s4中，如駕駛?cè)藛T情緒在3～5秒內(nèi)趨于平緩，則保持當(dāng)前各類提醒對(duì)應(yīng)的智能調(diào)節(jié)；如駕駛?cè)藛T情緒無(wú)法在3～5秒內(nèi)趨于平緩，則繼續(xù)進(jìn)行情緒調(diào)整的各類智能調(diào)節(jié)，直至駕駛?cè)藛T情緒平緩。

9.一種基于人臉信息的駕駛?cè)藛T情緒智能交互系統(tǒng)，其特征在于：包括：

10.一種基于人臉信息的駕駛?cè)藛T情緒智能交互裝置，其特征在于：包括：

技術(shù)總結(jié)
本發(fā)明涉及基于人臉信息的駕駛?cè)藛T情緒智能交互方法：先多視角、多角度、多光照條件下采集人臉信息，利用深度學(xué)習(xí)方法進(jìn)行模型訓(xùn)練生成表情識(shí)別模型；然后通過(guò)多視角、多角度、多光照的攝像頭實(shí)時(shí)進(jìn)行駕駛?cè)藛T的人臉信息的實(shí)時(shí)采集和表情識(shí)別；再依據(jù)駕駛?cè)藛T當(dāng)前的情緒狀態(tài)進(jìn)行包括燈光、音樂(lè)、座椅等在內(nèi)的各種信息提醒，對(duì)駕駛?cè)藛T的情緒進(jìn)行調(diào)節(jié)；最后根據(jù)各類信息提醒后的駕駛?cè)藛T的表情識(shí)別，判斷是否需要再次進(jìn)行外加因素的調(diào)節(jié)與干預(yù)，直至駕駛?cè)藛T的情緒趨于穩(wěn)定為止。本發(fā)明在實(shí)時(shí)自動(dòng)識(shí)別駕駛?cè)藛T情緒的基礎(chǔ)上，通過(guò)外界因素的智能干預(yù)，實(shí)現(xiàn)駕駛?cè)藛T情緒的交互識(shí)別，這有利于保證駕駛?cè)藛T的情緒穩(wěn)定，更有利于減少道路事故。

技術(shù)研發(fā)人員：金帥,干心一
受保護(hù)的技術(shù)使用者：上海交通大學(xué)蘇州人工智能研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6