實(shí)用新型還提供一種監(jiān)控方法,基于上述的交互式車載智能終端系統(tǒng)實(shí)現(xiàn),該 監(jiān)控方法包括:
[0070] S1、視頻采集模塊111通過多個(gè)雙攝像頭系統(tǒng)獲取視頻圖像;在該步驟中,運(yùn)多個(gè) 雙攝像頭系統(tǒng)分別安裝在車前、車尾W及車側(cè),W對(duì)車輛周圍進(jìn)行全方位的視頻監(jiān)控;
[0071] S2、數(shù)據(jù)處理模塊112從該視頻圖像中獲取圖像數(shù)據(jù),并在車輛處于行進(jìn)階段時(shí) 計(jì)算車輛與障礙物之間的距離和障礙物大小,或者在車輛處于倒車階段時(shí)計(jì)算車輛與車位 線之間的距離;
[0072] S3、在車輛處于行進(jìn)階段時(shí)語音播報(bào)障礙物大小和離車距離,或者在車輛處于倒 車階段時(shí)語音播報(bào)車輛與車位線之間距離。 陽07引上述S2具體包括:
[0074] S21、依據(jù)障礙物P與車輛的位置關(guān)系獲取相應(yīng)雙攝像頭系統(tǒng)的圖像數(shù)據(jù);在該步 驟中,是根據(jù)障礙物在車輛周圍的前、后、左、右方向,來計(jì)算該雙攝像頭攝像系統(tǒng)10離障 礙物相應(yīng)方向的距離,比如攝像頭檢測到該障礙物在車輛前方時(shí),則數(shù)據(jù)處理模塊112對(duì) 安裝在車前的雙攝像頭所獲取的圖像數(shù)據(jù)進(jìn)行處理,也就是說在該步驟中獲取的是安裝在 車前的雙攝像頭的圖像數(shù)據(jù)。
[0075] S22、設(shè)兩條直線Ll和L2的向量表示如下:Li= r i+tvi和L 2= r 2+SV2;
[0076] 其中:直線Ll為相應(yīng)雙攝像頭系統(tǒng)中其中一個(gè)攝像頭的光屯、和障礙物P投影到該 攝像頭投影面上的點(diǎn)之間所形成的直線;直線L2為另一攝像頭的光屯、和障礙物P投影到 該攝像頭投影面上的點(diǎn)之間所形成的直線:
是偏移向量,
是單位方向向量;
S和t是參數(shù)變量; 陽077] S23、計(jì)算障礙物P距離車輛的距離,計(jì)算方法如下:設(shè)A為直線Li上的點(diǎn),坐標(biāo)為 (Xi+mi1:,Yi+riil:,Zi+Pit); 陽〇7引 B為直線Lz上的點(diǎn),坐標(biāo)為(X 2+m2S, yz+DzS, Z2+P2S);
[0079] 設(shè)A到B的距離為d,則
[0080] cf = [(Xi+mit)-(X2+m2S)]2+[(yi+nit)-(y2+n2S)]2+[(Zi+Pit)-(Z2+P2S)]2,其:?足如 下公式:
[0082] 計(jì)算使得
的S和t取值如下:
[0083]
[0084] 其中,
[00化] "二巧-4-"1-十-打-,:b 二 十+1)1 , C = miiiiz+ninz+Piiv 陽086] e = m2 (而-Xi) +rii +Pi (Zjj-Zi),f = mi (Xi_X2) +rii (yi_y2) +Pi (Zi_Z2)
[0087] 將S和t分別代入直線Li和直線L 2的參數(shù)方程得到垂足的坐標(biāo)為 (Xi+mit, Yi+riit, Zi+Pit)和(X2+ni2S, yz+DzS, Z2+P2S);之后根據(jù)運(yùn)兩個(gè)垂足坐標(biāo)可 W 得到兩直線交點(diǎn)的近似值,即為障礙物P在空間坐標(biāo)中的實(shí)際位置,運(yùn)個(gè)近似值 是取兩垂足間的中點(diǎn)值。即障礙物P在該雙攝像頭系統(tǒng)中空間點(diǎn)的實(shí)際坐標(biāo)為: I而攝像頭光屯、為空間初始點(diǎn),即(〇,〇,〇)。
〇: 從而,障礙物P與該雙攝像頭系統(tǒng)之間的距離也即障礙物P與車輛之間的距離為:
[0088]
[0089] 可W理解的是,在車輛處于倒車階段時(shí),運(yùn)里需計(jì)算安裝在車后的雙攝像頭系統(tǒng) 10與車位線之間的距離,其計(jì)算過程與上述類似,只是將車位線視作P點(diǎn)進(jìn)行計(jì)算,在此不 再寶述。
[0090] 本實(shí)用新型還可通過語音識(shí)別技術(shù),識(shí)別駕駛員的語音信息,實(shí)現(xiàn)與駕駛員之間 可W進(jìn)行有效的溝通,其于此,上述監(jiān)控方法還包括:
[0091] 接收駕駛員輸入的語音信號(hào);
[0092] 對(duì)接收到的語音信號(hào)進(jìn)行識(shí)別;
[0093] 對(duì)語音識(shí)別信號(hào)分析W獲取駕駛員需求,并從數(shù)據(jù)處理模塊中調(diào)用系統(tǒng)數(shù)據(jù)W獲 取對(duì)應(yīng)的駕駛員所需信息。
[0094] 上述對(duì)接收到的語音信號(hào)進(jìn)行識(shí)別的過程中包括MFCC系數(shù)提取方法,其為語音 識(shí)別算法中關(guān)鍵的一個(gè)環(huán)節(jié),該MFCC系數(shù)提取方法包括:
[0095] 對(duì)上述收到的語音信號(hào)進(jìn)行分帖處理,預(yù)加重和加漢明窗,利用短時(shí)傅里葉變換 獲得頻譜; 陽096] 用M個(gè)Mel帶通濾波器濾波,計(jì)算獲得能量譜,疊加每個(gè)濾波器頻帶內(nèi)的能量,得 到第K個(gè)濾波器輸出功率譜X'化);在該過程中,其獲取輸出功率譜的過程為現(xiàn)有技術(shù),在 此不再具體描述;
[0097] 將每個(gè)濾波器的輸出取對(duì)數(shù),得到相應(yīng)頻帶的對(duì)數(shù)功率譜,對(duì)每一對(duì)數(shù)功率譜進(jìn) 行反離散余弦函數(shù)計(jì)算,獲取L個(gè)MFCC系數(shù),該MFCC系數(shù)的計(jì)算方法如下:
[0098]
[0099] 上述n為大于等于1的自然數(shù),本實(shí)施例中為LL的數(shù)值為16,但并不作此限制。
[0100] 上面結(jié)合附圖對(duì)本實(shí)用新型的實(shí)施例進(jìn)行了描述,但是本實(shí)用新型并不局限于上 述的【具體實(shí)施方式】,上述的【具體實(shí)施方式】僅僅是示意性的,而不是限制性的,本領(lǐng)域的普通 技術(shù)人員在本實(shí)用新型的啟示下,在不脫離本實(shí)用新型宗旨和權(quán)利要求所保護(hù)的范圍情況 下,還可做出很多形式,運(yùn)些均屬于本實(shí)用新型的保護(hù)之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種交互式車載智能終端系統(tǒng),其特征在于,其包括一車載終端、多個(gè)雙攝像頭系 統(tǒng)、所述雙攝像頭系統(tǒng)分別安裝在車前、車尾以及車側(cè),所述車載終端包括核心處理器及分 別與所述核心處理器連接的語音播報(bào)模塊和顯示模塊,其中:所述核心處理器包括: 視頻采集模塊:與每一所述雙攝像頭系統(tǒng)連接,用于獲取視頻圖像并通過所述顯示模 塊顯示; 數(shù)據(jù)處理模塊,與所述視頻采集模塊連接,用于從所述視頻圖像中獲取圖像數(shù)據(jù),并在 車輛處于行進(jìn)階段時(shí)根據(jù)所述圖像數(shù)據(jù)計(jì)算車輛與障礙物之間的距離和障礙物大?。换蛘?在車輛處于倒車階段時(shí)根據(jù)所述圖像數(shù)據(jù)計(jì)算車輛與車位線之間的距離; 所述語音播報(bào)模塊與所述數(shù)據(jù)處理模塊連接,且用于在車輛處于行進(jìn)階段時(shí)播報(bào)障礙 物大小及車輛與障礙物之間的距離,或者在車輛處于倒車階段時(shí)播報(bào)車輛與車位線之間的 距離。2. 根據(jù)權(quán)利要求1所述的交互式車載智能終端系統(tǒng),其特征在于,所述車載終端還包 括: 語音輸入模塊,用于接收駕駛員輸入的語音信號(hào); 語音識(shí)別模塊,與所述語音輸入模塊連接且用于對(duì)接收到的的所述語音信號(hào)進(jìn)行識(shí) 別; 所述核心處理器還包括語音處理模塊,分別與所述語音識(shí)別模塊和所述數(shù)據(jù)處理模塊 連接,且用于對(duì)從所述語音識(shí)別模塊接收到的語音識(shí)別信號(hào)進(jìn)行分析以獲取駕駛員需求, 并從所述數(shù)據(jù)處理模塊中調(diào)用系統(tǒng)數(shù)據(jù)以獲取對(duì)應(yīng)的駕駛員所需信息并通過所述語音播 報(bào)模塊進(jìn)行播報(bào)。3. 根據(jù)權(quán)利要求1所述的交互式車載智能終端系統(tǒng),其特征在于,所述核心處理器還 包括云服務(wù)模塊,用于接收所述數(shù)據(jù)處理模塊內(nèi)的圖像數(shù)據(jù),并將所述圖像數(shù)據(jù)最終通過 用戶終端進(jìn)行呈現(xiàn)。4. 根據(jù)權(quán)利要求3所述的交互式車載智能終端系統(tǒng),其特征在于,所述車載終端還包 括與所述數(shù)據(jù)處理模塊連接的通信模塊,用于車輛在受到外部撞擊時(shí),發(fā)送信息給所述用 戶終端。5. 根據(jù)權(quán)利要求3所述的交互式車載智能終端系統(tǒng),其特征在于,所述用戶終端為PC、 手機(jī)、PAD中的任意一種。6. 根據(jù)權(quán)利要求1所述的交互式車載智能終端系統(tǒng),其特征在于,所述交互式車載智 能終端系統(tǒng)還包括用于供電的電源模塊。7. 根據(jù)權(quán)利要求1所述的交互式車載智能終端系統(tǒng),其特征在于,所述核心處理器的 型號(hào)為MT8735。
【專利摘要】本實(shí)用新型公開了一種交互式車載智能終端系統(tǒng),包括一車載終端、多個(gè)雙攝像頭系統(tǒng),車載終端包括核心處理器及語音播報(bào)模塊和顯示模塊,核心處理器包括:視頻采集模塊,用于獲取視頻圖像;數(shù)據(jù)處理模塊,用于從視頻圖像中獲取圖像數(shù)據(jù),并在車輛處于行進(jìn)階段時(shí)根據(jù)圖像數(shù)據(jù)計(jì)算車輛與障礙物之間的距離和障礙物大?。换蛘咴谲囕v處于倒車階段時(shí)根據(jù)圖像數(shù)據(jù)計(jì)算車輛與車位線之間的距離;語音播報(bào)模塊用于在車輛處于行進(jìn)階段時(shí)播報(bào)障礙物大小及車輛與障礙物之間的距離,或者在車輛處于倒車階段時(shí)播報(bào)車輛與車位線之間的距離。實(shí)施本實(shí)用新型的有益效果是,能夠?qū)崿F(xiàn)語音播報(bào)障礙物大小及離車距離,還可與駕駛員之間進(jìn)行有效的溝通。
【IPC分類】H04N7/18, G10L25/24, G10L15/22
【公開號(hào)】CN205232353
【申請(qǐng)?zhí)枴緾N201520881122
【發(fā)明人】阮仕濤
【申請(qǐng)人】深圳市祈飛科技有限公司
【公開日】2016年5月11日
【申請(qǐng)日】2015年11月5日