本公開總體上涉及用于自動駕駛或用于輔助駕駛員的方法、系統(tǒng)和裝置，并且更具體地涉及用于利用周圍車輛的行為的預(yù)測建模在交叉口處自主決策的方法、系統(tǒng)和裝置，周圍車輛的行為的預(yù)測建模通過感知車輛運(yùn)動、轉(zhuǎn)向信號、駕駛員肢體語言和/或關(guān)于車輛的過去狀態(tài)的車輛與車輛(V2V)或車輛與基礎(chǔ)設(shè)施(V2X)信息來實(shí)現(xiàn)。

背景技術(shù)：

機(jī)動車輛為商業(yè)、政府和私營企業(yè)提供很大一部分運(yùn)輸。自主車輛和駕駛輔助系統(tǒng)目前正在被開發(fā)和部署以提供安全性、減少所需的用戶輸入的量、或甚至完全消除用戶參與。例如，一些駕駛輔助系統(tǒng)，例如防撞系統(tǒng)，當(dāng)人正在駕駛時(shí)可以監(jiān)測車輛和其他對象的行駛、位置和速度。當(dāng)系統(tǒng)檢測到碰撞或撞擊即將發(fā)生時(shí)，防撞系統(tǒng)可以干預(yù)并施加制動，使車輛轉(zhuǎn)向，或執(zhí)行其他避免或安全操縱。作為另一個示例，自主車輛可以在很少或沒有用戶輸入的情況下駕駛和導(dǎo)航車輛。然而，由于駕駛涉及的危險(xiǎn)和車輛的費(fèi)用，非常重要的是，即使在自主車輛和人駕駛的車輛都存在的情況下，自主車輛和駕駛輔助系統(tǒng)安全地操作并且能夠準(zhǔn)確地導(dǎo)航道路并避開其他車輛。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明，提供一種系統(tǒng)，該系統(tǒng)包含：

交叉口部件，該交叉口部件被配置為確定母車輛在交叉口附近；

攝像機(jī)系統(tǒng)，該攝像機(jī)系統(tǒng)被配置為拍攝鄰近車輛的圖像；

邊界部件，該邊界部件被配置為識別圖像包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分；以及

預(yù)測部件，該預(yù)測部件被配置為基于轉(zhuǎn)向信號指示器的狀態(tài)來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動。

根據(jù)本發(fā)明的一個實(shí)施例，進(jìn)一步包含轉(zhuǎn)向信號部件，該轉(zhuǎn)向信號部件被配置為處理圖像的子部分中的圖像數(shù)據(jù)以確定轉(zhuǎn)向信號指示器的狀態(tài)。

根據(jù)本發(fā)明的一個實(shí)施例，該系統(tǒng)進(jìn)一步包含先前狀態(tài)部件，該先前狀態(tài)部件被配置為基于指示鄰近車輛的一個或多個先前狀態(tài)的無線通信來確定鄰近車輛的一個或多個先前狀態(tài)，其中預(yù)測部件被配置為基于鄰近車輛的一個或多個先前狀態(tài)來預(yù)測鄰近車輛的未來運(yùn)動。

根據(jù)本發(fā)明的一個實(shí)施例，其中無線通信包含車輛與車輛(V2V)通信和車輛與基礎(chǔ)設(shè)施(V2X)通信中的一個或多個。

根據(jù)本發(fā)明的一個實(shí)施例，其中一個或多個先前狀態(tài)指示鄰近車輛已經(jīng)位于交叉口附近的持續(xù)時(shí)間。

根據(jù)本發(fā)明的一個實(shí)施例，該系統(tǒng)進(jìn)一步包含車輛運(yùn)動部件，該車輛運(yùn)動部件被配置為確定鄰近車輛的一個或多個車輛運(yùn)動，其中預(yù)測部件被配置為基于鄰近車輛的一個或多個車輛運(yùn)動來預(yù)測鄰近車輛的未來運(yùn)動。

根據(jù)本發(fā)明的一個實(shí)施例，其中邊界部件被進(jìn)一步配置為識別圖像對應(yīng)于駕駛員的位置的子部分，該系統(tǒng)進(jìn)一步包含肢體語言部件，該肢體語言部件被配置為通過識別駕駛員的頭部取向、視線方向和姿勢中的一個或多個來檢測駕駛員的肢體語言，其中預(yù)測部件被配置為基于駕駛員的肢體語言來預(yù)測鄰近車輛的未來運(yùn)動。

根據(jù)本發(fā)明，提供一種計(jì)算機(jī)實(shí)施的方法，該方法包含：

接收交叉口附近的鄰近車輛的圖像并且將圖像存儲在計(jì)算機(jī)存儲器中；

利用一個或多個處理器來識別圖像包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分；

利用一個或多個處理器來識別圖像包含鄰近車輛的駕駛員的子部分；

利用一個或多個處理器基于轉(zhuǎn)向信號指示器的狀態(tài)和駕駛員的肢體語言來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動；

利用一個或多個處理器基于鄰近車輛的預(yù)測到的未來運(yùn)動來確定母車輛行進(jìn)通過交叉口的時(shí)間；以及

使母車輛基于所確定的行進(jìn)通過交叉口的時(shí)間來執(zhí)行駕駛操縱。

根據(jù)本發(fā)明的一個實(shí)施例，該方法進(jìn)一步包含確定母車輛在交叉口附近。

根據(jù)本發(fā)明的一個實(shí)施例，該方法進(jìn)一步包含處理圖像包含轉(zhuǎn)向信號指示器的子部分中的圖像數(shù)據(jù)以確定轉(zhuǎn)向信號指示器的狀態(tài)并且處理圖像包含鄰近車輛的駕駛員的子部分中的圖像數(shù)據(jù)以確定駕駛員的肢體語言。

根據(jù)本發(fā)明的一個實(shí)施例，其中確定駕駛員的肢體語言包含識別駕駛員的頭部取向、視線方向和姿勢中的一個或多個。

根據(jù)本發(fā)明的一個實(shí)施例，進(jìn)一步包含基于無線通信來確定鄰近車輛的一個或多個先前狀態(tài)，其中預(yù)測鄰近車輛的未來運(yùn)動包含基于鄰近車輛的一個或多個先前狀態(tài)來預(yù)測。

根據(jù)本發(fā)明的一個實(shí)施例，其中無線通信包含車輛與車輛(V2V)通信和車輛與基礎(chǔ)設(shè)施(V2X)通信中的一個或多個。

根據(jù)本發(fā)明的一個實(shí)施例，該方法進(jìn)一步包含檢測鄰近車輛的一個或多個車輛運(yùn)動，其中預(yù)測鄰近車輛的未來運(yùn)動包含基于鄰近車輛的一個或多個車輛運(yùn)動來預(yù)測。

根據(jù)本發(fā)明的一個實(shí)施例，該方法進(jìn)一步包含訪問或處理將轉(zhuǎn)向信號指示器的狀態(tài)和駕駛員的肢體語言與預(yù)測的未來運(yùn)動相關(guān)聯(lián)的模型或數(shù)據(jù)庫。

根據(jù)本發(fā)明的一個實(shí)施例，其中模型或數(shù)據(jù)庫包含基于一個或多個車輛的運(yùn)動、駕駛員肢體語言和在先前的交叉口駕駛情景期間的轉(zhuǎn)向信號信息的機(jī)器學(xué)習(xí)值或相關(guān)性。

根據(jù)本發(fā)明，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)存儲指令，當(dāng)該指令由一個或多個處理器執(zhí)行時(shí)，該指令使處理器：

確定母車輛在交叉口附近；

拍攝鄰近車輛的多個圖像；

識別多個圖像中的每一個包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分；以及

基于轉(zhuǎn)向信號指示器的狀態(tài)來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動。

根據(jù)本發(fā)明的一個實(shí)施例，其中該指令進(jìn)一步使處理器處理多個圖像的子部分中的圖像數(shù)據(jù)以確定轉(zhuǎn)向信號指示器的狀態(tài)。

根據(jù)本發(fā)明的一個實(shí)施例，其中該指令進(jìn)一步使處理器：

基于指示鄰近車輛的一個或多個先前狀態(tài)的無線通信來確定鄰近車輛的一個或多個先前狀態(tài)；以及

基于鄰近車輛的一個或多個先前狀態(tài)來預(yù)測鄰近車輛的未來運(yùn)動。

根據(jù)本發(fā)明的一個實(shí)施例，其中指令進(jìn)一步使處理器：

識別圖像對應(yīng)于駕駛員的位置的子部分；

通過識別駕駛員的頭部取向、視線方向和姿勢中的一個或多個來檢測駕駛員的肢體語言；以及

基于駕駛員的肢體語言來預(yù)測鄰近車輛的未來運(yùn)動。

附圖說明

本發(fā)明的非限制性和非窮盡性的實(shí)施方式參照以下附圖進(jìn)行描述，貫穿幾個視圖，附圖中相同的附圖標(biāo)記指代相同的部件，除非另有說明。參考以下說明書和附圖，本發(fā)明的優(yōu)點(diǎn)將變得更好理解，附圖中：

圖1是說明包括自動駕駛/輔助系統(tǒng)的車輛控制系統(tǒng)的實(shí)施方式的示意性框圖；

圖2說明了車輛的透視圖；

圖3是說明示例道路環(huán)境的俯視圖的示意圖；

圖4是根據(jù)一個實(shí)施方式說明未來車輛運(yùn)動的預(yù)測的示意性框圖；

圖5是根據(jù)一個實(shí)施方式說明駕駛員意圖部件的示例部件的示意性框圖；

圖6是根據(jù)一個實(shí)施方式說明用于預(yù)測車輛運(yùn)動的方法的示意性框圖；以及

圖7是根據(jù)一個實(shí)施方式說明用于預(yù)測車輛運(yùn)動的另一種方法的示意性框圖。

具體實(shí)施方式

申請人已經(jīng)認(rèn)識到，第一代自主車輛必須在人類駕駛員存在下安全地駕駛。具體地，交叉口——包括四向?？奎c(diǎn)——是自主車輛處理的更具挑戰(zhàn)性的情景之一，因?yàn)殛P(guān)于何時(shí)進(jìn)入交叉口的決定必須在人類駕駛員存在下根據(jù)具體情況而做出，人類駕駛員的行為不是標(biāo)準(zhǔn)化的。

因此，期望的是，這些自主車輛能夠預(yù)測周圍車輛的運(yùn)動，即使它們是人駕駛的。申請人已經(jīng)認(rèn)識到，基于其他車輛的運(yùn)動、駕駛員的肢體語言、車輛轉(zhuǎn)向信號(或沒有)以及無線通信(例如車輛與車輛(V2V)或車輛與基礎(chǔ)設(shè)施(V2X))，自主車輛可以更精確地預(yù)測人類駕駛員將做什么或打算做什么。例如，自主車輛可以解釋人類駕駛員的肢體語言或者關(guān)于與自主車輛不同的車輛的其他上述信息。因此，自主車輛不依賴于其他車輛或其他車輛的駕駛員提供關(guān)于人類駕駛員打算做什么的特定信息。此外，自主車輛能夠適應(yīng)人類駕駛員的相比于自主駕駛系統(tǒng)中的更標(biāo)準(zhǔn)化的行為可能不可預(yù)測的動作。

本公開提出了用于自主駕駛系統(tǒng)或駕駛輔助系統(tǒng)以利用來自V2V或V2X的信息、來自感知系統(tǒng)的關(guān)于其他車輛中的駕駛員的肢體語言的信息、以及其他車輛的運(yùn)動和轉(zhuǎn)向信號的系統(tǒng)、方法和裝置，來自V2V或V2X的信息包括關(guān)于不能單獨(dú)經(jīng)由感知而知道的其他車輛的過去狀態(tài)的信息。這些各種類型的信息可以被融合以形成關(guān)于在交叉口處的其他車輛的運(yùn)動的預(yù)測。這些預(yù)測然后可以幫助自主決定是等待還是進(jìn)入交叉口的過程。在一個實(shí)施例中，神經(jīng)網(wǎng)絡(luò)或其他模型可以被訓(xùn)練以將車輛的過去運(yùn)動、駕駛員肢體語言、當(dāng)前車輛運(yùn)動和/或轉(zhuǎn)向信號信息與這些周圍車輛的一個或多個預(yù)期的后續(xù)運(yùn)動相關(guān)聯(lián)。感知可以通過攝像機(jī)、光測距和檢測(LIDAR)、雷達(dá)、超聲或其他距離傳感器來進(jìn)行以幫助確定給定的攝像機(jī)圖像內(nèi)的關(guān)注區(qū)域。

在一個實(shí)施例中，感知算法連同經(jīng)由V2V或V2X通信獲得的過去車輛狀態(tài)提供其他車輛的位置并且利用該信息來跟蹤車輛。在一個實(shí)施例中，系統(tǒng)可以識別關(guān)注區(qū)域以提取與駕駛員意圖有關(guān)的信息，例如頭部取向、視線方向、轉(zhuǎn)向信號和車輛運(yùn)動。根據(jù)一個實(shí)施例，自主車輛可以在所有數(shù)據(jù)傳感器的當(dāng)前360度畫面內(nèi)定位車輛。自主車輛可以確定圖像上將找到那些車輛的駕駛員的區(qū)域周圍的邊界框并且將邊界框內(nèi)的圖像數(shù)據(jù)和距離傳感器數(shù)據(jù)提供至算法，該算法將估計(jì)駕駛員頭部取向和視線方向并且還識別駕駛員姿勢。該信息可以被解釋以確定就預(yù)測的其他車輛的后續(xù)車輛運(yùn)動而言的駕駛員意圖。這些預(yù)測可以被考慮以決定何時(shí)進(jìn)入交叉口。

在一個實(shí)施例中，用于基于肢體語言或其他信息來預(yù)測人類駕駛員將做什么的預(yù)測算法可以是硬編碼的，或者可以利用人工智能來學(xué)習(xí)和修改。例如，在駕駛事件期間人類駕駛員的姿勢或肢體語言可以被監(jiān)測或?qū)W習(xí)，并且然后姿勢或肢體語言可以與產(chǎn)生的車輛運(yùn)動或車輛運(yùn)動的時(shí)間相關(guān)聯(lián)。

在下面的公開內(nèi)容中，參考附圖，附圖形成公開的一部分并且在附圖中通過例證示出可以實(shí)踐本發(fā)明的特定實(shí)施方式。應(yīng)當(dāng)理解的是，在不脫離本發(fā)明的范圍的前提下，可以利用其他實(shí)施方式并且可以進(jìn)行結(jié)構(gòu)變化。說明書中引用“一個實(shí)施例”、“一實(shí)施例”，“一個示例實(shí)施例”等表明所描述的實(shí)施例可以包括特定特征、結(jié)構(gòu)或特性，但每一個實(shí)施例可能未必包括特定特征、結(jié)構(gòu)或特性。另外，這樣的短語未必是指同一實(shí)施例。此外，當(dāng)特定特征、結(jié)構(gòu)、或特性關(guān)于一個實(shí)施例進(jìn)行描述時(shí)，可以主張的是，無論是否明確描述，關(guān)于其他實(shí)施例改變這樣的特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的知識的范圍之內(nèi)。

如本文所使用的，“自主車輛”可以是完全不受人類駕駛員的支配作用或操作的車輛；或者可以是在一些情況下不受人類駕駛員的支配作用或操作而在其他情況下人類駕駛員能夠操作車輛的車輛；或者可以是主要由人類駕駛員但在自動駕駛/輔助系統(tǒng)的輔助下操作的車輛。

本文所公開的系統(tǒng)、裝置和方法的實(shí)施方式可以包含或利用專用或通用計(jì)算機(jī)，專用或通用計(jì)算機(jī)包括計(jì)算機(jī)硬件，諸如，例如，一個或多個處理器和系統(tǒng)存儲器，如下面更詳細(xì)討論的。在本發(fā)明的范圍內(nèi)的實(shí)施方式還可以包括用于承載或存儲計(jì)算機(jī)可執(zhí)行指令和/或數(shù)據(jù)結(jié)構(gòu)的物理和其他計(jì)算機(jī)可讀介質(zhì)。這樣的計(jì)算機(jī)可讀介質(zhì)可以是可以由通用或?qū)Ｓ糜?jì)算機(jī)系統(tǒng)訪問的任何可用介質(zhì)。存儲計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)是計(jì)算機(jī)存儲介質(zhì)(裝置)。承載計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)是傳輸介質(zhì)。因此，舉例來說，而非限制，本發(fā)明的實(shí)施方式可以包含至少兩種明顯不同種類的計(jì)算機(jī)可讀介質(zhì)：計(jì)算機(jī)存儲介質(zhì)(裝置)和傳輸介質(zhì)。

計(jì)算機(jī)存儲介質(zhì)(裝置)包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、只讀光盤存儲器(CD-ROM)、固態(tài)驅(qū)動器(“SSD”)(例如，基于RAM)、閃速存儲器、相變存儲器(“PCM”)、其他類型的存儲器、其它光盤存儲器、磁盤存儲器或其它磁性存儲設(shè)備、或者可以被用于存儲以計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式的所需的程序代碼手段并且可以由通用或?qū)Ｓ糜?jì)算機(jī)訪問的任何其它介質(zhì)。

本文所公開的裝置、系統(tǒng)和方法的實(shí)施方式可以在計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行通信?！熬W(wǎng)絡(luò)”被定義為允許電子數(shù)據(jù)在計(jì)算機(jī)系統(tǒng)和/或模塊和/或其他電子設(shè)備之間傳輸?shù)囊粋€或多個數(shù)據(jù)鏈路。當(dāng)信息通過網(wǎng)絡(luò)或另一通信連接(硬線連接、無線、或硬線連接或無線的組合)被傳送或提供至計(jì)算機(jī)時(shí)，計(jì)算機(jī)適當(dāng)?shù)貙⒃撨B接視為傳輸介質(zhì)。傳輸介質(zhì)可以包括網(wǎng)絡(luò)和/或數(shù)據(jù)鏈路，網(wǎng)絡(luò)和/或數(shù)據(jù)鏈路可以被用于承載以計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式的所需的程序代碼手段并且可以由通用或?qū)Ｓ糜?jì)算機(jī)來訪問。上述組合也應(yīng)該被包括在計(jì)算機(jī)可讀介質(zhì)的范圍之內(nèi)。

計(jì)算機(jī)可執(zhí)行指令包含例如指令和數(shù)據(jù)，當(dāng)該指令和數(shù)據(jù)在處理器中執(zhí)行時(shí)，使通用計(jì)算機(jī)、專用計(jì)算機(jī)、或?qū)Ｓ锰幚碓O(shè)備來執(zhí)行某些功能或功能組。計(jì)算機(jī)可執(zhí)行指令可以是例如二進(jìn)制、例如匯編語言的中間格式指令、或甚至源代碼。雖然本發(fā)明主題已經(jīng)以針對結(jié)構(gòu)特征和/或方法論動作的語言進(jìn)行了描述，但是應(yīng)當(dāng)理解的是，在所附權(quán)利要求中限定的發(fā)明主題不一定局限于所描述的特征或以上所述的動作。相反，所描述的特征和動作被公開作為實(shí)施權(quán)利要求的示例形式。

本領(lǐng)域技術(shù)人員將領(lǐng)會的是，本發(fā)明可以在網(wǎng)絡(luò)計(jì)算環(huán)境中通過許多類型的計(jì)算機(jī)系統(tǒng)配置來實(shí)踐，包括儀表板計(jì)算機(jī)、個人計(jì)算機(jī)、臺式計(jì)算機(jī)、膝上型計(jì)算機(jī)、消息處理器、手持式設(shè)備、多處理器系統(tǒng)、基于微處理器或可編程的消費(fèi)者電子產(chǎn)品、網(wǎng)絡(luò)個人電腦(PC)、小型計(jì)算機(jī)、大型計(jì)算機(jī)、移動電話、個人數(shù)字助理(PDA)、平板電腦、尋呼機(jī)、路由器、交換機(jī)、各種存儲設(shè)備和諸如此類。本發(fā)明也可以在本地和遠(yuǎn)程計(jì)算機(jī)系統(tǒng)都執(zhí)行任務(wù)的分布式系統(tǒng)環(huán)境中實(shí)踐，本地和遠(yuǎn)程計(jì)算機(jī)系統(tǒng)通過網(wǎng)絡(luò)鏈接(或者通過硬線數(shù)據(jù)鏈路、無線數(shù)據(jù)鏈路或者通過硬線和無線數(shù)據(jù)鏈路的組合)。在分布式系統(tǒng)環(huán)境中，程序模塊可以位于本地和遠(yuǎn)程存儲器存儲設(shè)備中。

此外，在適當(dāng)情況下，本文所描述的功能可以在下列中的一種或多種中執(zhí)行：硬件、軟件、固件、數(shù)字部件、或模擬部件。例如，一個或多個專用集成電路(ASIC)可以被編程為執(zhí)行本文所描述的系統(tǒng)和程序中的一個或多個。在整個以下說明書和權(quán)利要求書中，某些術(shù)語被用來指代特定的系統(tǒng)部件。本領(lǐng)域技術(shù)人員將領(lǐng)會的是，部件可以通過不同的名稱來稱呼。本文不旨在區(qū)分名稱不同但作用相同的部件。

現(xiàn)在參照附圖，圖1說明了車輛控制系統(tǒng)100，車輛控制系統(tǒng)100包括自動駕駛/輔助系統(tǒng)102。自動駕駛/輔助系統(tǒng)102可以被用于自動或控制車輛——例如，小汽車、卡車、廂式貨車、公共汽車、大卡車、應(yīng)急車輛或用于運(yùn)輸人或貨物的任何其他機(jī)動車輛——的操作，或給人類駕駛員提供輔助。例如，自動駕駛/輔助系統(tǒng)102可以控制制動、轉(zhuǎn)向、加速、燈、警報(bào)、駕駛員通知、無線電或車輛的任何其它輔助系統(tǒng)中的一個或多個。在另一個示例中，自動駕駛/輔助系統(tǒng)102可能無法提供對駕駛(例如，轉(zhuǎn)向、加速或制動)的任何控制，但可以提供通知和警報(bào)以幫助人類駕駛員安全地駕駛。自動駕駛/輔助系統(tǒng)102包括駕駛員意圖部件104，駕駛員意圖部件104可以基于下列中的一個或多個來預(yù)測不同車輛的未來運(yùn)動：V2V或V2X通信、轉(zhuǎn)向信號指示器、駕駛員肢體語言以及車輛運(yùn)動。例如，駕駛員意圖部件104可以基于轉(zhuǎn)向信號狀態(tài)、駕駛員姿勢、駕駛員視線方向、和/或駕駛員頭部取向來估計(jì)不同車輛(例如，不包括車輛控制系統(tǒng)100的車輛)的駕駛員的意圖。

車輛控制系統(tǒng)100還包括用于檢測附近對象的存在或確定母車輛(例如，包括車輛控制系統(tǒng)100的車輛)或附近對象的位置的一個或多個傳感器系統(tǒng)/設(shè)備。例如，車輛控制系統(tǒng)100可以包括一個或多個雷達(dá)系統(tǒng)106、一個或多個LIDAR系統(tǒng)108、一個或多個攝像機(jī)系統(tǒng)110、全球定位系統(tǒng)(GPS)112和/或一個或多個超聲系統(tǒng)114。車輛控制系統(tǒng)100可以包括數(shù)據(jù)存儲器116，用于存儲用于導(dǎo)航和安全性的相關(guān)或有用數(shù)據(jù)，例如地圖數(shù)據(jù)、駕駛歷史或其他數(shù)據(jù)。車輛控制系統(tǒng)100還可以包括用于與移動或無線網(wǎng)絡(luò)、其他車輛、基礎(chǔ)設(shè)施或任何其它通信系統(tǒng)進(jìn)行無線通信的收發(fā)器118。車輛控制系統(tǒng)100可以包括車輛控制致動器120以控制車輛的駕駛的各個方面，例如電動馬達(dá)、開關(guān)或其它致動器，以控制制動、加速、轉(zhuǎn)向或諸如此類。車輛控制系統(tǒng)100還可以包括一個或多個顯示器122、揚(yáng)聲器124、或其它設(shè)備以便可以向人類駕駛員或乘客提供通知。顯示器122可以包括抬頭顯示器、儀表板顯示器或指示器、顯示屏幕、或任何其它視覺指示器，其可以被車輛的駕駛員或乘客看到。揚(yáng)聲器124可以包括車輛的音響系統(tǒng)的一個或多個揚(yáng)聲器，或者可以包括專用于駕駛員通知的揚(yáng)聲器。

可以領(lǐng)會的是，圖1的實(shí)施例僅通過舉例的方式給出。在不脫離本發(fā)明的范圍的前提下，其他實(shí)施例可以包括更少或附加的部件。此外，示出的部件可以被組合或包括在其它部件內(nèi)，而非限制。例如，駕駛員意圖部件104可以與自動駕駛/輔助系統(tǒng)102分開并且數(shù)據(jù)存儲器116可以被包括作為自動駕駛/輔助系統(tǒng)102的一部分和/或駕駛員意圖部件104的一部分。

雷達(dá)系統(tǒng)106可以包括本領(lǐng)域中公知的任何雷達(dá)系統(tǒng)。一般情況下，雷達(dá)系統(tǒng)106通過發(fā)送無線電信號和探測對象的反射來操作。在地面應(yīng)用中，雷達(dá)可以被用于探測物理對象，例如其他車輛、停車障礙或停車輪擋、風(fēng)景(例如樹、懸崖、巖石、山或諸如此類)、道路邊緣、標(biāo)志、建筑物或其他對象。雷達(dá)系統(tǒng)106可以利用反射的無線電波來確定關(guān)于物理對象或材料的大小、形狀、距離、表面紋理、或其他信息。例如，雷達(dá)系統(tǒng)106可以掃描區(qū)域以獲得特定范圍和雷達(dá)系統(tǒng)106的視角內(nèi)關(guān)于對象的數(shù)據(jù)。在一個實(shí)施例中，雷達(dá)系統(tǒng)106被配置為生成來自車輛附近的區(qū)域——例如車輛附近或周圍的一個或多個區(qū)域——的感知信息。例如，雷達(dá)系統(tǒng)106可以獲取關(guān)于緊鄰或靠近車輛的地面或垂直區(qū)域的區(qū)域的數(shù)據(jù)。雷達(dá)系統(tǒng)106可以包括許多廣泛市售的雷達(dá)系統(tǒng)之一。在一個實(shí)施例中，雷達(dá)系統(tǒng)106可以將包括二維或三維地圖或模型的感知數(shù)據(jù)提供到自動駕駛/輔助系統(tǒng)102，以供參考或處理。

LIDAR系統(tǒng)108可以包括本領(lǐng)域的任何LIDAR系統(tǒng)。一般情況下，LIDAR系統(tǒng)108通過發(fā)射可見波長或紅外波長激光并探測從對象反射的激光來操作。在地面應(yīng)用中，激光可以被用于探測物理對象，例如其他車輛、停車障礙或停車輪擋、風(fēng)景(例如樹、懸崖、巖石、山或諸如此類)、道路邊緣、標(biāo)志、建筑物或其他對象。LIDAR系統(tǒng)108可以利用反射的激光來確定關(guān)于物理對象或材料的大小、形狀、距離、表面紋理、或其他信息。例如，LIDAR系統(tǒng)108可以掃描區(qū)域以獲取LIDAR系統(tǒng)108的特定范圍和視角內(nèi)的數(shù)據(jù)或?qū)ο蟆＠?，LIDAR系統(tǒng)108可以獲取關(guān)于緊鄰或靠近車輛的地面或垂直區(qū)域的區(qū)域的數(shù)據(jù)。LIDAR系統(tǒng)108可以包括許多廣泛市售的LIDAR系統(tǒng)之一。在一個實(shí)施例中，LIDAR系統(tǒng)108可以提供包括探測到的對象或表面的二維或三維模型或地圖的感知數(shù)據(jù)。

攝像機(jī)系統(tǒng)110可以包括一個或多個攝像機(jī)，例如可見波長攝像機(jī)或紅外攝像機(jī)。攝像機(jī)系統(tǒng)110可以提供視頻饋送或周期性圖像，該視頻饋送或周期性圖像可以被處理用于對象檢測、道路識別和定位、或其他檢測或定位。在一個實(shí)施例中，攝像機(jī)系統(tǒng)110可以包括兩個或更多個攝像機(jī)，該兩個或更多個攝像機(jī)可以被用于提供視野內(nèi)對象的測距(例如，檢測距離)。在一個實(shí)施例中，圖像處理可以被用于拍攝的攝像機(jī)圖像或視頻上以檢測車輛、轉(zhuǎn)向信號、駕駛員、駕駛員的姿勢和/或肢體語言。在一個實(shí)施例中，攝像機(jī)系統(tǒng)100可以包括獲取車輛周圍的兩個或更多個方向的圖像的攝像機(jī)。

GPS系統(tǒng)112是可以基于衛(wèi)星或無線電塔信號來提供車輛的地理位置的定位系統(tǒng)的一個實(shí)施例。GPS系統(tǒng)112是公知的并且在本領(lǐng)域中廣泛可用的。雖然GPS系統(tǒng)112可以提供非常準(zhǔn)確的定位信息，但是GPS系統(tǒng)112總體上提供關(guān)于車輛與其他對象之間的距離的很少的信息或不提供關(guān)于車輛與其他對象之間的距離的信息。相反，它們僅提供位置，該位置然后可以與其它數(shù)據(jù)——例如地圖——進(jìn)行比較以確定與其他對象、道路、或關(guān)注的位置的距離。

超聲系統(tǒng)114可以被用于利用超聲波來檢測對象或車輛與對象之間的距離。例如，超聲系統(tǒng)114可以從車輛的保險(xiǎn)杠或側(cè)板位置上或附近的位置發(fā)射超聲波。超聲波——其可以通過空氣傳播短距離——可以從其它對象反射并且被超聲系統(tǒng)114檢測到?；诎l(fā)射和反射的超聲波的接收之間的時(shí)間的量，超聲系統(tǒng)114可以能夠檢測保險(xiǎn)杠或側(cè)板與任何其它對象之間的準(zhǔn)確距離。由于其較短的范圍，超聲系統(tǒng)114對于在駐車期間檢測對象或在行駛期間檢測即將發(fā)生的碰撞可能更有用。

在一個實(shí)施例中，雷達(dá)系統(tǒng)106、LIDAR系統(tǒng)108、攝像機(jī)系統(tǒng)110和超聲系統(tǒng)114可以檢測車輛附近的環(huán)境屬性或障礙物。例如，系統(tǒng)106-110和114可以檢測其他車輛、行人、人、動物、多條車道、車道寬度、路肩寬度、路面曲率、道路方向曲率、停車振動帶(rumble strip)、車道標(biāo)記、交叉口的存在、道路標(biāo)志、橋梁、天橋、障礙物、中央分離帯(median)、路緣、或關(guān)于道路的任何其他細(xì)節(jié)。作為另一示例，系統(tǒng)106-110和114可以檢測環(huán)境屬性，該環(huán)境屬性包括關(guān)于道路附近的結(jié)構(gòu)、對象或表面的信息，例如駕駛道、停車場、停車場出口/入口、人行道、通道、樹木、柵欄、建筑物、停放的車輛(在道路上或道路附近)、門、標(biāo)志、停車帶或任何其它結(jié)構(gòu)或?qū)ο蟮拇嬖凇?/p>

數(shù)據(jù)存儲器116存儲地圖數(shù)據(jù)、駕駛歷史和其他數(shù)據(jù)，該其他數(shù)據(jù)可以包括用于自動駕駛/輔助系統(tǒng)102的其他導(dǎo)航數(shù)據(jù)、設(shè)置或操作指令。地圖數(shù)據(jù)可以包括道路、停車場、停車位、或車輛可以被駕駛或停放的其他位置的位置數(shù)據(jù)，例如GPS位置數(shù)據(jù)。例如，道路的位置數(shù)據(jù)可以包括特定車道的位置數(shù)據(jù)，例如車道方向、合并車道、公路或高速公路車道、出口車道或任何其他車道或道路的分支。位置數(shù)據(jù)也可以包括停車場中一個或多個停車位或沿著道路的停車位位置。在一個實(shí)施例中，地圖數(shù)據(jù)包括關(guān)于道路或停車位置上或附近的一個或多個結(jié)構(gòu)或?qū)ο蟮奈恢脭?shù)據(jù)。例如，地圖數(shù)據(jù)可以包括關(guān)于GPS標(biāo)志位置、橋位置、建筑物或其他結(jié)構(gòu)位置或諸如此類的數(shù)據(jù)。在一個實(shí)施例中，地圖數(shù)據(jù)可以包括精度在幾米范圍內(nèi)或在亞米精度范圍內(nèi)的準(zhǔn)確位置數(shù)據(jù)。地圖數(shù)據(jù)還可以包括用于陸地車輛可以行駛的路徑、土路、或其他道路或路徑的位置數(shù)據(jù)。

駕駛歷史(或行駛歷史)可以包括車輛的過去的行程或停車位置的位置數(shù)據(jù)。例如，駕駛歷史可以包括用于先前進(jìn)行的行程或路徑的GPS位置數(shù)據(jù)。作為一個示例，駕駛歷史可以包括關(guān)于車道線、標(biāo)志、道路邊界線或道路上或道路附近的其他對象或特征的距離或相對位置數(shù)據(jù)。距離或相對位置數(shù)據(jù)可以基于GPS數(shù)據(jù)、雷達(dá)數(shù)據(jù)、LIDAR數(shù)據(jù)、攝像機(jī)數(shù)據(jù)或在車輛先前或過去進(jìn)行的行程期間收集到的其他傳感器數(shù)據(jù)來確定。在一個實(shí)施例中，自動駕駛/輔助系統(tǒng)102被配置為將車輛進(jìn)行的任何行程或駕駛的駕駛數(shù)據(jù)記錄到數(shù)據(jù)存儲器116中并且在車輛進(jìn)行的任何行程或駕駛期間將駕駛數(shù)據(jù)記錄到數(shù)據(jù)存儲器116中。

收發(fā)器118被配置為從一個或多個其它數(shù)據(jù)或信號源接收信號。收發(fā)器118可以包括被配置為根據(jù)多種通信標(biāo)準(zhǔn)和/或使用多種不同的頻率進(jìn)行通信的一個或多個無線電裝置。例如，收發(fā)器118可以從其他車輛接收信號。從另一車輛接收信號在此指代車輛與車輛(V2V)通信。在一個實(shí)施例中，收發(fā)器118也可以被用來將信息傳送到其它車輛，以潛在輔助它們定位車輛或?qū)ο蟆Ｔ赩2V通信期間，收發(fā)器118可以接收來自其他車輛有關(guān)其位置、先前位置或狀態(tài)、其他交通、事故、道路條件、停車障礙或停車輪擋的位置、或可以輔助車輛和/或自動駕駛/輔助系統(tǒng)102準(zhǔn)確或安全駕駛的任何其他詳細(xì)信息。例如，收發(fā)器118可以接收更新的模型或算法以便通過駕駛員意圖部件104用于檢測車輛運(yùn)動、轉(zhuǎn)向信號、或另一車輛的駕駛員的肢體語言。

收發(fā)器118可以從固定位置處的其他信號源接收信號?；A(chǔ)設(shè)施收發(fā)器可以被定位在特定地理位置處并且可以傳送帶時(shí)間戳的其特定地理位置。因此，自動駕駛/輔助系統(tǒng)102可以能夠基于時(shí)間戳來確定距基礎(chǔ)設(shè)施收發(fā)器的距離，并且然后基于基礎(chǔ)設(shè)施收發(fā)器的位置來確定其位置。在一個實(shí)施例中，從固定位置處的設(shè)備或塔接收或發(fā)送位置數(shù)據(jù)在此指代車輛與基礎(chǔ)設(shè)施(V2X)通信。V2X通信也可以被用于提供關(guān)于其他車輛的位置、它們的先前狀態(tài)或諸如此類的信息。例如，V2X通信可以包括關(guān)于在交叉口處車輛已停車或等待多長時(shí)間的信息。在一個實(shí)施例中，術(shù)語V2X通信也可以包含V2V通信。

在一個實(shí)施例中，收發(fā)器118可以經(jīng)由移動網(wǎng)絡(luò)或蜂窩連接來發(fā)送和接收位置數(shù)據(jù)。例如，隨著車輛沿著道路行駛，收發(fā)器118可以接收特定區(qū)域的更新的位置數(shù)據(jù)。同樣地，收發(fā)器118可以接收已沿著道路行駛或已停放在停車場該位置處或該停車位處的母車輛(parent vehicle)或其他車輛的歷史駕駛數(shù)據(jù)。例如，收發(fā)器118可以接收表明標(biāo)志、停車障礙或停車輪擋、或其他對象的位置的數(shù)據(jù)，該數(shù)據(jù)可以使用雷達(dá)系統(tǒng)106、LIDAR系統(tǒng)108、攝像機(jī)系統(tǒng)110、GPS系統(tǒng)112或超聲系統(tǒng)114可探測到。如果收發(fā)器118能夠接收來自三個或更多個基礎(chǔ)設(shè)施收發(fā)器的信號，則自動駕駛/輔助系統(tǒng)102可以能夠三角測量其地理位置。

在一個實(shí)施例中，收發(fā)器118可以發(fā)送和接收關(guān)于駕駛員的肢體語言的數(shù)據(jù)。例如，在事件期間檢測到的一個或多個姿勢或視線方向以及駕駛員的最終動作可以被更新到服務(wù)器進(jìn)行處理作為駕駛員意圖估計(jì)的機(jī)器學(xué)習(xí)的一部分。

在一個實(shí)施例中，自動駕駛/輔助系統(tǒng)102被配置為控制母車輛的駕駛或?qū)Ш?。例如，自動駕駛/輔助系統(tǒng)102可以控制車輛控制致動器120以在道路、停車場、通過交叉口、車道或其它位置的路徑上行駛。例如，自動駕駛/輔助系統(tǒng)102可以基于由部件106-118中的任何一個提供的信息或感知數(shù)據(jù)來確定路徑和行駛速度。作為另一個示例，自動駕駛/輔助系統(tǒng)102可以確定何時(shí)在交叉口處等待或行進(jìn)、何時(shí)變道、何時(shí)為另一車輛變道留下空間、或諸如此類。

在一個實(shí)施例中，駕駛員意圖部件104被配置為確定附近車輛的駕駛員的意圖和/或預(yù)測在人類駕駛員的控制下車輛的未來運(yùn)動和運(yùn)動的時(shí)間。

圖2說明了由車輛或自主車輛的攝像機(jī)或其他傳感器拍攝的圖像200。圖像200包括具有人類駕駛員204的車輛202的透視圖。例如，車輛202的視圖可以在交叉口處或交叉口附近由攝像機(jī)拍攝。駕駛員意圖部件104可以將車輛202識別為拍攝的圖像200內(nèi)的車輛。駕駛員意圖部件104可以確定圖像200的對應(yīng)于駕駛員204的位置或可能位置的子區(qū)域206。例如，駕駛員意圖部件104可以識別車輛202的駕駛員204通常就坐的一部分，例如駕駛員的座椅將被定位的位置等。

在一個實(shí)施例中，駕駛員意圖部件104可以識別車輛202的一個或多個車窗，例如駕駛員側(cè)車窗208和/或擋風(fēng)玻璃210。在一個實(shí)施例中，駕駛員意圖部件104可以基于駕駛員204的位置或可能位置、車輛202的一個或多個車窗208、210或通過檢測駕駛員204的面部來限定車輛202的子區(qū)域206。包括駕駛員204可以位于或按理期望位于的位置的子區(qū)域206可以足夠大以應(yīng)對駕駛員204的運(yùn)動(例如，駕駛員204的手臂和/或頭部的運(yùn)動)。通過選擇或限定子區(qū)域206，駕駛員意圖部件104可以降低計(jì)算容量，因?yàn)榭梢苑治霰日麄€圖像200更小的面積或更少的像素來檢測駕駛員204、視線方向、頭部取向和/或姿勢。

駕駛員意圖部件104可以確定圖像200上對應(yīng)于轉(zhuǎn)向信號指示器214的位置或可能位置的一個或多個子區(qū)域212。轉(zhuǎn)向信號指示器214可以包括左或右閃光信號燈(blinker light)或指示未來轉(zhuǎn)向、并道或變道的其他指示器。例如，駕駛員204可以具有控制器以激活或停用一個或多個轉(zhuǎn)向信號以指示駕駛員204打算轉(zhuǎn)向或駕駛車輛202的方向。在一個實(shí)施例中，駕駛員意圖部件104可以通過識別前照燈(headlight)、尾燈、保險(xiǎn)杠或諸如此類中的一個或多個來確定一個或多個子區(qū)域212。例如，駕駛員意圖部件104可以識別車輛202上可能包括燈或轉(zhuǎn)向信號指示器的區(qū)域。作為另一個示例，駕駛員意圖部件104可以執(zhí)行邊緣檢測和/或另一種算法以識別車輛202上的閃光信號燈、前照燈、尾燈、或諸如此類。駕駛員意圖部件104可以限定轉(zhuǎn)向信號指示器周圍的邊界，該邊界可以被處理以檢測轉(zhuǎn)向信號指示器的狀態(tài)(例如，信號是否正在閃爍、關(guān)閉、或諸如此類)。

在一個實(shí)施例中，駕駛員意圖部件104可以確定包括駕駛員204和一個或多個轉(zhuǎn)向信號指示器214的一個子區(qū)域。例如，駕駛員意圖部件104可以確定車輛202包括駕駛員204和轉(zhuǎn)向信號指示器214兩者的單個子區(qū)域。在一個實(shí)施例中，駕駛員意圖部件104可以選擇圖像200上包含車輛202的全部或大部分的子區(qū)域。例如，包括車輛202的子區(qū)域可以被處理以檢測駕駛員204的肢體語言和指示器214的狀態(tài)二者。

圖3是道路300的示意性俯視圖，車輛302在道路上行駛。車輛302可以包括圖1的系統(tǒng)100。在一個實(shí)施例中，一個或多個傳感器(例如攝像機(jī)系統(tǒng)110)可以收集道路300和車輛302周圍的區(qū)域的感知數(shù)據(jù)。攝像機(jī)系統(tǒng)110、LIDAR系統(tǒng)108、雷達(dá)系統(tǒng)106或其它系統(tǒng)的觀察區(qū)域可以在車輛302周圍的任何方向或所有方向上延伸。車輛302或車輛302的駕駛員意圖部件104可以接收來自傳感器的感知數(shù)據(jù)并且檢測車輛302的觀察方向內(nèi)其他車輛、對象、表面或諸如此類的存在。例如，車輛302可以檢測車輛304并將車輛304識別為不同的車輛。

在一個實(shí)施例中，車輛302可以識別感知數(shù)據(jù)的對應(yīng)于駕駛員將可能位于的位置——例如車輛的車窗或駕駛員將可能就坐的車輛的區(qū)域——的子部分。車輛302可以分析感知數(shù)據(jù)的子部分以推斷駕駛員的意圖。例如，車輛302或車輛302的駕駛員意圖部件104可以推斷駕駛員行駛、停止、等待或執(zhí)行任何其他駕駛操縱的意圖。在一個實(shí)施例中，車輛302可以識別感知數(shù)據(jù)的對應(yīng)于轉(zhuǎn)向信號位于或可能位于的位置的子部分，例如，在車輛304的前側(cè)或后側(cè)上或其附近、在保險(xiǎn)杠附近、在前照燈或尾燈附近、或諸如此類。車輛302可以分析感知數(shù)據(jù)的子部分以確定轉(zhuǎn)向信號指示器的狀態(tài)。例如，車輛302或車輛302的駕駛員意圖部件104可以確定車輛304的閃光信號燈關(guān)閉或打開并且可以確定對應(yīng)于閃光信號燈的方向(例如，左或右)。車輛302可以基于轉(zhuǎn)向信號指示器的狀態(tài)來推斷車輛304的駕駛員的意圖?；谕茢喑龅囊鈭D，車輛302可以減速、加速和/或轉(zhuǎn)向以避免潛在碰撞。

除了感知數(shù)據(jù)之外，車輛302可以從存儲的地圖、存儲的駕駛歷史或從無線信號獲取信息。例如，基礎(chǔ)設(shè)施發(fā)射器306被示出在道路300附近，其可以向車輛302提供特定的定位、環(huán)境屬性細(xì)節(jié)或其他信息。作為另外的示例，車輛302可以接收來自其他車輛(例如車輛304)或來自無線通信網(wǎng)絡(luò)(例如移動通信網(wǎng)絡(luò))的信息。在一個實(shí)施例中，車輛302可以接收關(guān)于車輛304的過去狀態(tài)或位置的信息。例如，車輛302可以從車輛304或基礎(chǔ)設(shè)施收發(fā)器306接收車輛304已經(jīng)在交叉口處等待的時(shí)間長度的指示。

圖4是說明用于確定另一車輛中的駕駛員的意圖的方法400的示意性框圖。在402，獲取感知數(shù)據(jù)，例如攝像機(jī)數(shù)據(jù)、LIDAR數(shù)據(jù)、雷達(dá)數(shù)據(jù)和超聲數(shù)據(jù)，并且在404，駕駛員意圖部件104基于感知數(shù)據(jù)來識別和定位車輛。例如，駕駛員意圖部件104可以識別對應(yīng)于車輛的觀察區(qū)域的區(qū)域或?qū)?yīng)于車輛的圖像的區(qū)域。在406，駕駛員意圖部件104找到包括車輛的駕駛員的關(guān)注區(qū)域。關(guān)注區(qū)域可以包括車窗、對應(yīng)于駕駛員的座椅的車輛的區(qū)域、以及諸如此類。在408，駕駛員意圖部件104還找到包括轉(zhuǎn)向信號指示器的關(guān)注區(qū)域，例如前保險(xiǎn)杠或后保險(xiǎn)杠、前照燈和/或尾燈附近的區(qū)域。在410，駕駛員意圖部件104估計(jì)頭部姿勢和視線方向，并且在412，執(zhí)行姿勢識別。在414，駕駛員意圖部件104還確定轉(zhuǎn)向信號狀態(tài)。例如，在414，駕駛員意圖部件104可以確定轉(zhuǎn)向信號指示器是否關(guān)閉或正在閃爍。

在416，駕駛員意圖部件104檢測一個或多個車輛運(yùn)動。例如，在416，可以檢測加速事件、減速事件、停車事件、轉(zhuǎn)向事件或車輛的任何其他運(yùn)動。在418，駕駛員意圖部件104還可以基于在420的V2V或V2X數(shù)據(jù)來確定檢測到的車輛的一個或多個先前車輛狀態(tài)。例如，先前車輛狀態(tài)可以包括車輛已經(jīng)在一位置處的時(shí)間長度、一個或多個先前位置、加速度、減速度或諸如此類?；陬^部姿勢、視線方向、檢測到的姿勢、轉(zhuǎn)向信號狀態(tài)、檢測到的車輛運(yùn)動和/或先前車輛狀態(tài)，駕駛員意圖部件104解釋422駕駛員的意圖和/或預(yù)測駕駛員的車輛的未來運(yùn)動。

圖5是根據(jù)一個實(shí)施例說明駕駛員意圖部件104的部件的示意性框圖。駕駛員意圖部件104包括感知數(shù)據(jù)部件502、邊界部件504、肢體語言部件506、轉(zhuǎn)向信號部件508、先前狀態(tài)部件510、車輛運(yùn)動部件512、交叉口部件514、預(yù)測部件516和駕駛操縱部件518。部件502-518僅以說明的方式給出，并且可以不全部都被包括在所有實(shí)施例中。實(shí)際上，一些實(shí)施例可以包括部件502-518中的僅一個或兩個或更多個的任何組合。部件502-518中的一些可以位于駕駛員意圖部件104外部，例如在自動駕駛/輔助系統(tǒng)102內(nèi)或其他地方。

感知數(shù)據(jù)部件502被配置為接收來自車輛的一個或多個傳感器系統(tǒng)的傳感器數(shù)據(jù)。例如，感知數(shù)據(jù)部件502可以接收來自雷達(dá)系統(tǒng)106、LIDAR系統(tǒng)108、攝像機(jī)系統(tǒng)110、GPS 112、超聲系統(tǒng)114以及諸如此類的數(shù)據(jù)。在一個實(shí)施例中，感知數(shù)據(jù)可以包括車輛附近的一個或多個區(qū)域的感知數(shù)據(jù)。例如，車輛的傳感器可以提供車輛周圍的360度視野。在一個實(shí)施例中，攝像機(jī)系統(tǒng)110拍攝車輛的圖像。例如，車輛可以接近駕駛員意圖部件104的母車輛。在一個實(shí)施例中，攝像機(jī)系統(tǒng)110拍攝交叉口附近的鄰近車輛的圖像。

邊界部件504被配置為識別感知數(shù)據(jù)的對應(yīng)于車輛的駕駛員或車輛的駕駛員附近的區(qū)域的子區(qū)域。例如，邊界部件504可以識別圖像或其他傳感器數(shù)據(jù)畫面的將可能包含車輛的駕駛員(如果存在的話)的子區(qū)域。子區(qū)域可以足夠大以允許駕駛員的運(yùn)動，例如姿勢。在一個實(shí)施例中，子區(qū)域可以對應(yīng)于肢體語言算法可以被應(yīng)用而不浪費(fèi)處理容量來在它們可能不位于的區(qū)域中檢測姿勢或駕駛員的區(qū)域。

在一個實(shí)施例中，邊界部件504被配置為在圖像或其他感知數(shù)據(jù)內(nèi)定位一個或多個車輛。例如，對象識別算法可以被用于將檢測到的對象或障礙物識別車輛。在一個實(shí)施例中，邊界部件504可以識別車輛的邊界并且識別該區(qū)域中對應(yīng)于車輛的像素或?qū)ο?。邊緣或邊界發(fā)現(xiàn)圖像處理算法可以被用于找到車輛的邊緣。

在一個實(shí)施例中，邊界部件504可以識別或限定圖像上對應(yīng)于車輛的駕駛員位于或可能位于的區(qū)域的子部分。在一個實(shí)施例中，邊界部件504可以在車輛的邊界內(nèi)查找以定位或限定對應(yīng)于駕駛員位置的邊界。在一個實(shí)施例中，邊界部件504被配置為基于一個或多個車窗的位置、車輛的駕駛員座椅或方向盤的位置和/或檢測到的車輛中的人的位置來識別圖像的子部分。在一個實(shí)施例中，邊界部件504可以識別一個或多個車窗的邊界或者可以估計(jì)車輛的駕駛員側(cè)前座椅的位置。在一個實(shí)施例中，子區(qū)域可以對應(yīng)于或包括車窗的邊界。例如，子區(qū)域可以具有跟隨一個或多個車窗的邊界的邊界。在一個實(shí)施例中，子區(qū)域可以具有稍大于駕駛員位于的可能區(qū)域的邊界以允許運(yùn)動或允許限定邊界的誤差。

在一個實(shí)施例中，邊界部件504被配置為識別圖像上包含車輛的轉(zhuǎn)向信號指示器的子部分。例如，圖像的子部分可以包括定位在車輛的前部、后部或任何其它位置上的轉(zhuǎn)向信號指示燈。在一個實(shí)施例中，子部分可以包括保險(xiǎn)杠上或其附近的區(qū)域、和/或車輛的前照燈或尾燈附近的區(qū)域。在一個實(shí)施例中，邊界部件504可以利用對象識別或邊緣檢測圖像處理算法來識別圖像包含轉(zhuǎn)向信號的子部分。例如，邊界部件504可以識別指示燈、前照燈、尾燈或諸如此類的邊緣或邊界。在一個實(shí)施例中，邊界部件504可以確定轉(zhuǎn)向信號指示器周圍的區(qū)域或者大于轉(zhuǎn)向信號指示器的區(qū)域，以便即使邊界沒有被完全對齊或者在轉(zhuǎn)向信號指示器上居中，轉(zhuǎn)向信號指示器的狀態(tài)也可以被準(zhǔn)確地確定。

肢體語言部件506被配置為檢測駕駛員的肢體語言。肢體語言部件506可以通過識別駕駛員的頭部取向、視線方向和姿勢中的一個或多個來檢測駕駛員的肢體語言。頭部取向可以是人的頭部的取向。例如，頭部取向可以描述駕駛員的面部所在的方向。頭部取向可以被描述為相對于駕駛員意圖部件104的母車輛的位置的一個或多個角度。例如，角度可以包括視線方向相對于在車輛的中心(或由自動駕駛/輔助系統(tǒng)102使用的其他零原點(diǎn)位置)與人類駕駛員之間的繪制出的線的角度。視線方向可以包括駕駛員正在看向的方向。在一些情況下，視線方向可以匹配頭部取向，但是如果駕駛員的眼睛沒有直視前方，則視線方向也可以不同。視線方向可以被描述為從頭部取向偏移一個或多個角度，或者可以被描述為獨(dú)立于頭部取向的角度方向。

姿勢可以包括任何其他類型的肢體語言，包括由手、手臂、肩膀、頸部、腹部、面部、頭部或駕駛員的身體的其他部分所做出的姿勢、運(yùn)動或位置。示例姿勢可以包括：在交叉口、道路交叉口或車道合并處向另一駕駛員、行人或騎自行車的人揮手的揮手姿勢；表明否或是的頭部運(yùn)動；停止或中止手部信號，其中手被舉起、手掌面向另一車輛或人、手指正面向上；聳肩；從一側(cè)到另一側(cè)的頭部運(yùn)動以檢查橫穿的車輛；或任何其他姿勢。另外的姿勢可以被識別，包括經(jīng)由機(jī)器學(xué)習(xí)或?qū)鞲衅鲾?shù)據(jù)的分析檢測到的姿勢。在一個實(shí)施例中，肢體語言部件506可以檢測由附近車輛的駕駛員執(zhí)行的這些姿勢或其他姿勢中的一個或多個。

在一個實(shí)施例中，肢體語言部件506可以通過至少最初僅嘗試在由邊界部件504確定的圖像或其他感知數(shù)據(jù)畫面的邊界內(nèi)檢測肢體語言來節(jié)省處理容量。例如，僅邊界內(nèi)的像素或諸如此類可以通過肢體語言檢測算法來處理。因?yàn)樽藙葑R別或其他肢體語言的識別可以是計(jì)算密集型的，這可能導(dǎo)致駕駛員意圖部件104或自動駕駛/輔助系統(tǒng)102節(jié)省大量時(shí)間、處理和能量。

轉(zhuǎn)向信號部件508被配置為確定鄰近車輛的轉(zhuǎn)向信號的狀態(tài)。例如，轉(zhuǎn)向信號部件508可以確定位于交叉口處母車輛附近的車輛的一個或多個轉(zhuǎn)向信號的狀態(tài)。在一個實(shí)施例中，轉(zhuǎn)向信號部件508可以處理由邊界部件504確定的一個或多個子區(qū)域以確定轉(zhuǎn)向信號指示器的狀態(tài)。例如，轉(zhuǎn)向信號部件508可以基于轉(zhuǎn)向信號指示器的一個或多個圖像來檢測轉(zhuǎn)向信號指示器是否正在發(fā)光或閃爍。在一個實(shí)施例中，轉(zhuǎn)向信號部件508可以確定是否左轉(zhuǎn)向信號指示器和右轉(zhuǎn)向指示器中的一個或多個被打開或正在閃爍。例如，轉(zhuǎn)向信號指示器508可以確定是否僅左轉(zhuǎn)向信號指示器正在閃爍、僅右轉(zhuǎn)向信號指示器正在閃爍、左轉(zhuǎn)向信號指示器和右轉(zhuǎn)向信號指示器都正在閃爍、或者左轉(zhuǎn)向信號指示器和右轉(zhuǎn)向信號指示器都不閃爍。

先前狀態(tài)部件510被配置為確定車輛——例如交叉口處的鄰近車輛——的一個或多個先前狀態(tài)。在一個實(shí)施例中，先前狀態(tài)部件510可以基于感知數(shù)據(jù)來確定未被確定或不能被確定的先前狀態(tài)。例如，先前狀態(tài)部件510可以基于指示鄰近車輛的一個或多個先前狀態(tài)的無線通信來確定鄰近車輛的一個或多個先前狀態(tài)。無線通信可以包括V2V或V2X通信。無線通信可以指示鄰近車輛的先前位置、鄰近車輛的先前速度、鄰近車輛已經(jīng)位于交叉口附近的持續(xù)時(shí)間、或關(guān)于鄰近車輛的先前運(yùn)動、位置或狀態(tài)的任何其它信息。

車輛運(yùn)動部件512被配置為檢測鄰近車輛的一個或多個運(yùn)動。例如，車輛運(yùn)動部件512可以基于由感知數(shù)據(jù)部件502接收到的感知數(shù)據(jù)或其他傳感器數(shù)據(jù)來檢測鄰近車輛的運(yùn)動。在一個實(shí)施例中，車輛運(yùn)動部件512可以確定鄰近車輛的加速度、減速度、轉(zhuǎn)向或諸如此類中的一個或多個。在一個實(shí)施例中，車輛運(yùn)動部件512可以檢測鄰近車輛的特定運(yùn)動，例如快速跟隨減速的加速。例如，快速跟隨減速的加速可以指示人類駕駛員即將移動或者人類駕駛員正在猶豫行進(jìn)通過交叉口。在一個實(shí)施例中，人駕駛的車輛的運(yùn)動與未來動作之間的相關(guān)性可以由預(yù)測部件516來確定。

肢體語言部件506、轉(zhuǎn)向信號部件508和/或車輛運(yùn)動部件512可以包括模型、神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)的參數(shù)或諸如此類以檢測肢體語言、轉(zhuǎn)向信號狀態(tài)和車輛運(yùn)動。例如，引導(dǎo)或非引導(dǎo)的機(jī)器學(xué)習(xí)算法可以處理來自真實(shí)世界或虛擬環(huán)境的感知數(shù)據(jù)以學(xué)習(xí)對應(yīng)于肢體語言、轉(zhuǎn)向信號狀態(tài)或車輛運(yùn)動的形狀、運(yùn)動或其他圖像內(nèi)容。這些機(jī)器學(xué)習(xí)算法的結(jié)果可以被包括在模型或數(shù)據(jù)庫中，以供相應(yīng)的部件使用，以在車輛行駛期間檢測肢體語言、轉(zhuǎn)向信號狀態(tài)或車輛運(yùn)動。

交叉口部件514被配置為確定母車輛位于交叉口附近。例如，交叉口部件514可以處理傳感器數(shù)據(jù)以定位交叉道路、標(biāo)志、道路標(biāo)記或涂漆線、停止的車輛或可以與交叉口相關(guān)的其他方面。在一個實(shí)施例中，交叉口部件514可以參考地圖和GPS位置來確定母車輛處于或正在接近交叉口。因?yàn)樽灾鬈囕v在交叉口處做出駕駛決定可以是困難的，所以交叉口部件514可以具體識別車輛應(yīng)當(dāng)根據(jù)交叉口情景操作。例如，特定駕駛規(guī)則可以應(yīng)用于交叉口或其他駕駛情景。

預(yù)測部件516可以基于肢體語言部件506、轉(zhuǎn)向信號部件508、先前狀態(tài)部件510、車輛運(yùn)動部件512和/或交叉口部件514來推斷駕駛員的意圖或預(yù)測附近車輛的未來運(yùn)動。例如，預(yù)測部件516可以基于駕駛員的肢體語言、轉(zhuǎn)向信號指示器的狀態(tài)、車輛的先前狀態(tài)和/或檢測到的車輛運(yùn)動來預(yù)測未來運(yùn)動和/或未來運(yùn)動的時(shí)間。

在一個實(shí)施例中，預(yù)測部件516基于由肢體語言部件506檢測到的肢體語言來確定駕駛員的意圖或預(yù)測未來運(yùn)動。例如，預(yù)測部件516可以確定駕駛員打算執(zhí)行的時(shí)間和運(yùn)動。示例運(yùn)動可以包括轉(zhuǎn)向到不同的道路上、在交叉口處等待、與車流合并、變道、離開道路、進(jìn)入道路、停放車輛、離開停車位、或諸如此類。

在一個實(shí)施例中，預(yù)測部件516參考或處理數(shù)據(jù)庫或模型以確定另一車輛的預(yù)測的運(yùn)動或預(yù)期的運(yùn)動。例如，預(yù)測部件516可以包括或訪問將肢體語言與一個或多個未來車輛運(yùn)動相關(guān)聯(lián)的數(shù)據(jù)庫或模型。在一個實(shí)施例中，數(shù)據(jù)庫或模型可以將頭部取向、視線方向和姿勢中的一個或多個與可能在頭部取向、視線方向和/或姿勢之后發(fā)生的一個或多個車輛運(yùn)動相關(guān)聯(lián)。

在一個實(shí)施例中，數(shù)據(jù)庫或模型可以將未來車輛運(yùn)動與下列中的一個或多個相關(guān)聯(lián)：手的揮動運(yùn)動、包含手掌面向車輛而手指向上的手勢、駕駛員在閾值時(shí)間段內(nèi)的視線方向(例如當(dāng)駕駛員正盯著另一車輛等待該車輛開走時(shí)或者當(dāng)駕駛員直視前方以正在或繼續(xù)向前駕駛時(shí))、一系列頭部運(yùn)動、以及視線方向的一系列快速變化(例如，檢查交叉車流)。在一個實(shí)施例中，數(shù)據(jù)庫或模型可以包括視線方向與未來駕駛方向之間的相關(guān)性。例如，模型可以指示駕駛員看向特定方向之后車輛在該特定方向移動之間的相關(guān)性。在一個實(shí)施例中，數(shù)據(jù)庫或模型將看向路肩上方與包含車道改變或轉(zhuǎn)向的未來車輛運(yùn)動相關(guān)聯(lián)。在一個實(shí)施例中，數(shù)據(jù)庫或模型可以包括一個或多個機(jī)器學(xué)習(xí)的規(guī)則或相關(guān)性。例如，數(shù)據(jù)庫或模型可以包括基于實(shí)際傳感器數(shù)據(jù)、頭部取向、視線方向和由機(jī)器學(xué)習(xí)的姿勢的相關(guān)性和可能性。

在一個實(shí)施例中，數(shù)據(jù)庫或模型還基于當(dāng)前駕駛情景關(guān)聯(lián)駕駛員的意圖或未來駕駛操作。例如，基于附近車輛或母車輛是否停在交叉口處、接近交叉口、隨著一個或多個附近車輛駛離道路、合并到道路上、離開道路、進(jìn)入停車場或停車位、離開停車場或停車位、或諸如此類，相同的姿勢可以是指不同的意思。因此，姿勢和當(dāng)前駕駛情景可以被用于精確地推斷駕駛員的意圖或預(yù)測未來駕駛操作。預(yù)測部件516可以向駕駛操縱部件518或自動駕駛/輔助系統(tǒng)102提供預(yù)測的駕駛操作或駕駛員意圖以使其做出由自動駕駛/輔助系統(tǒng)102或母車輛采取的操作或動作的決定。

在一個實(shí)施例中，預(yù)測部件516基于由轉(zhuǎn)向信號部件508確定的轉(zhuǎn)向信號指示器的狀態(tài)來確定駕駛員的意圖或預(yù)測車輛的未來運(yùn)動。例如，預(yù)測部件516可以預(yù)測車輛移動通過交叉口的行駛時(shí)間和方向。在一個實(shí)施例中，預(yù)測部件516參考或處理數(shù)據(jù)庫或模型以確定另一車輛的預(yù)測的運(yùn)動或預(yù)期的運(yùn)動。例如，預(yù)測部件516可以包括或訪問將轉(zhuǎn)向信號狀態(tài)與一個或多個未來車輛運(yùn)動相關(guān)聯(lián)的數(shù)據(jù)庫或模型。在一個實(shí)施例中，數(shù)據(jù)庫或模型可以將閃光信號燈方向與車輛在該方向上轉(zhuǎn)向通過交叉口相關(guān)聯(lián)。在一個實(shí)施例中，數(shù)據(jù)庫或模型可以將危險(xiǎn)燈的閃爍(例如，兩個轉(zhuǎn)向信號指示器都閃爍)與車輛在不可預(yù)測的方向上快速移動通過交叉口而沒有根據(jù)標(biāo)準(zhǔn)協(xié)議等待相關(guān)聯(lián)。因此，通過閃爍的危險(xiǎn)燈可以預(yù)測車輛移動通過交叉口的較早時(shí)間。

在一個實(shí)施例中，預(yù)測部件516基于由先前狀態(tài)部件510確定的鄰近車輛的一個或多個先前狀態(tài)來確定駕駛員的意圖或預(yù)測車輛的未來運(yùn)動。例如，預(yù)測部件516可以預(yù)測車輛移動通過交叉口的行駛時(shí)間和方向。在一個實(shí)施例中，預(yù)測部件516參考或處理數(shù)據(jù)庫或模型以確定另一車輛的預(yù)測的運(yùn)動或預(yù)期的運(yùn)動。例如，預(yù)測部件516可以包括或訪問將車輛的先前狀態(tài)與一個或多個未來車輛運(yùn)動相關(guān)聯(lián)的數(shù)據(jù)庫或模型。在一個實(shí)施例中，數(shù)據(jù)庫或模型可以將車輛在交叉口處的較長等待時(shí)間與通過交叉口的較快時(shí)間的運(yùn)動相關(guān)聯(lián)。在一個實(shí)施例中，已經(jīng)位于交叉口附近超過閾值時(shí)間量的車輛可以被確定為被停放或不能正常工作。因此，預(yù)測部件516可以確定已經(jīng)等待長于閾值時(shí)間的車輛可以在行進(jìn)通過交叉口之前等待更長的時(shí)間。預(yù)測部件516還可以基于先前的位置、加速度、減速度或諸如此類來預(yù)測鄰近車輛的未來運(yùn)動。

在一個實(shí)施例中，預(yù)測部件516基于由車輛運(yùn)動部件512確定的檢測到的車輛運(yùn)動來確定駕駛員的意圖或預(yù)測未來運(yùn)動。例如，預(yù)測部件516可以預(yù)測車輛移動通過交叉口的行駛時(shí)間和方向。在一個實(shí)施例中，預(yù)測部件516參考或處理數(shù)據(jù)庫或模型以確定另一車輛的預(yù)測的運(yùn)動或預(yù)期的運(yùn)動。例如，預(yù)測部件516可以包括或訪問將一個或多個檢測到的運(yùn)動與一個或多個未來運(yùn)動相關(guān)聯(lián)的數(shù)據(jù)庫或模型。例如，數(shù)據(jù)庫可以包括預(yù)測的通過交叉口的進(jìn)一步運(yùn)動的加速度、速度、減速度或其它運(yùn)動信息。

在一個實(shí)施例中，預(yù)測部件516可以基于來自肢體語言部件506、轉(zhuǎn)向信號部件508、先前狀態(tài)部件510、車輛運(yùn)動部件512以及交叉口部件514的數(shù)據(jù)的組合來確定駕駛員的意圖或車輛的未來運(yùn)動。例如，模型或數(shù)據(jù)庫可以包括基于一個或多個車輛的運(yùn)動、駕駛員肢體語言、先前車輛狀態(tài)和在先前的交叉口駕駛情景期間轉(zhuǎn)向信號信息的機(jī)器學(xué)習(xí)值或相關(guān)性。因此，預(yù)測部件516可以基于肢體語言、轉(zhuǎn)向信號指示器狀態(tài)、先前狀態(tài)、車輛運(yùn)動和在交叉口處的位置中的一個或多個的組合來預(yù)測未來運(yùn)動。

駕駛操縱部件518被配置為基于另一車輛的預(yù)測的駕駛員意圖或未來駕駛操縱來選擇母車輛的駕駛操縱。例如，駕駛操縱部件518可以從預(yù)測部件516接收一個或多個附近車輛的一個或多個預(yù)測的駕駛操縱。駕駛操縱部件518可以確定行駛路徑以避免在其執(zhí)行預(yù)測的駕駛操縱的情況下與其他車輛碰撞。例如，駕駛操縱部件518可以確定是否減速、加速和/或轉(zhuǎn)動母車輛的方向盤。在一個實(shí)施例中，駕駛操縱部件518可以確定駕駛操縱的時(shí)間。例如，駕駛操縱部件518可以確定母車輛應(yīng)當(dāng)在交叉口處等待一段時(shí)間，因?yàn)樵谶@段時(shí)間期間另一車輛可能行進(jìn)通過交叉口。作為另一個示例，駕駛操縱部件518可以基于鄰近車輛的預(yù)測的未來運(yùn)動來確定母車輛行進(jìn)通過交叉口的時(shí)間。

現(xiàn)在參照圖6，說明了根據(jù)一個實(shí)施例用于預(yù)測車輛的運(yùn)動的方法600的示意性流程圖。方法600可以由自動駕駛/輔助系統(tǒng)或駕駛員意圖部件——例如圖1的自動駕駛/輔助系統(tǒng)102或圖1或5的駕駛員意圖部件104——來執(zhí)行。

在602，方法600開始并且交叉口部件514確定母車輛在交叉口附近。在604，邊界部件504識別圖像包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分。在606，預(yù)測部件516基于轉(zhuǎn)向信號指示器的狀態(tài)來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動。

現(xiàn)在參考圖7，說明了根據(jù)一個實(shí)施例用于預(yù)測車輛的運(yùn)動的方法700的示意性流程圖。方法700可以由自動駕駛/輔助系統(tǒng)或駕駛員意圖部件——例如圖1的自動駕駛/輔助系統(tǒng)102或圖1或5的駕駛員意圖部件104——來執(zhí)行。

在702，方法700開始并且感知數(shù)據(jù)部件502接收交叉口附近的鄰近車輛的圖像。例如，鄰近車輛可以是在駕駛員意圖部件104的母車輛附近。在704，邊界部件504識別圖像包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分。在706，邊界部件504識別圖像包含鄰近車輛的駕駛員的子部分。在708，預(yù)測部件516基于轉(zhuǎn)向信號指示器的狀態(tài)和駕駛員的肢體語言來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動。在710，駕駛操縱部件518基于鄰近車輛的預(yù)測的未來運(yùn)動來確定母車輛行進(jìn)通過交叉口的時(shí)間。

示例

以下示例涉及另外的實(shí)施例。

示例1是一種系統(tǒng)，該系統(tǒng)包括交叉口部件、攝像機(jī)系統(tǒng)、邊界部件和預(yù)測部件。該交叉口部件被配置為確定母車輛在交叉口附近。該攝像機(jī)系統(tǒng)被配置為拍攝鄰近車輛的圖像。該邊界部件被配置為識別圖像包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分。該預(yù)測部件被配置為基于轉(zhuǎn)向信號指示器的狀態(tài)來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動。

在示例2中，示例1的系統(tǒng)進(jìn)一步包括轉(zhuǎn)向信號部件，該轉(zhuǎn)向信號部件被配置為處理圖像的子部分中的圖像數(shù)據(jù)以確定轉(zhuǎn)向信號指示器的狀態(tài)。

在示例3中，示例1-2中任一個的系統(tǒng)進(jìn)一步包括先前狀態(tài)部件，該先前狀態(tài)部件被配置為基于指示鄰近車輛的一個或多個先前狀態(tài)的無線通信來確定鄰近車輛的一個或多個先前狀態(tài)。預(yù)測部件被配置為基于鄰近車輛的一個或多個先前狀態(tài)來預(yù)測車輛的未來運(yùn)動。

在示例4中，示例3中的無線通信包括V2V通信和V2X通信中的一個或多個。

在示例5中，示例3-4中任一個中的一個或多個先前狀態(tài)指示鄰近車輛已經(jīng)位于交叉口附近的持續(xù)時(shí)間。

在示例6中，示例1-5中任一個的系統(tǒng)進(jìn)一步包括車輛運(yùn)動部件，該車輛運(yùn)動部件被配置為確定鄰近車輛的一個或多個車輛運(yùn)動。預(yù)測部件被配置為基于鄰近車輛的一個或多個車輛運(yùn)動來預(yù)測鄰近車輛的未來運(yùn)動。

在示例7中，示例1-6中任一個中的邊界部件被進(jìn)一步配置為識別圖像對應(yīng)于駕駛員的位置的子部分。該系統(tǒng)進(jìn)一步包括肢體語言部件，該肢體語言部件被配置為通過識別駕駛員的頭部取向、視線方向和姿勢中的一個或多個來檢測駕駛員的肢體語言。預(yù)測部件被配置為基于駕駛員的肢體語言來預(yù)測車輛的未來運(yùn)動。

示例8是一種計(jì)算機(jī)實(shí)施的方法。該方法包括接收交叉口附近的鄰近車輛的圖像并且將該圖像存儲在計(jì)算機(jī)存儲器中。該方法包括利用一個或多個處理器來識別圖像包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分，并且利用一個或多個處理器來識別圖像包含鄰近車輛的駕駛員的子部分。該方法包括利用一個或多個處理器基于轉(zhuǎn)向信號指示器的狀態(tài)和駕駛員的肢體語言來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動。該方法包括利用一個或多個處理器基于鄰近車輛的預(yù)測到的未來運(yùn)動來確定母車輛行進(jìn)通過交叉口的時(shí)間。該方法包括使母車輛基于所確定的行進(jìn)通過交叉口的時(shí)間來執(zhí)行駕駛操縱。

在示例9中，示例8的方法進(jìn)一步包括確定母車輛在交叉口附近。

在示例10中，示例8-9中任一個的方法進(jìn)一步包括處理圖像包含轉(zhuǎn)向信號指示器的子部分中的圖像數(shù)據(jù)以確定轉(zhuǎn)向信號指示器的狀態(tài)并且處理圖像包含鄰近車輛的駕駛員的子部分中的圖像數(shù)據(jù)以確定駕駛員的肢體語言。

在示例11中，示例10中確定駕駛員的肢體語言包括識別駕駛員的頭部取向、視線方向和姿勢中的一個或多個。

在示例12中，示例8-11中任一個的方法進(jìn)一步包括基于無線通信來確定鄰近車輛的一個或多個先前狀態(tài)。預(yù)測鄰近車輛的未來運(yùn)動包括基于鄰近車輛的一個或多個先前狀態(tài)來預(yù)測。

在示例13中，示例12的無線通信包括V2V通信和V2X通信中的一個或多個。

在示例14中，示例8-13中任一個的方法進(jìn)一步包括檢測鄰近車輛的一個或多個車輛運(yùn)動。預(yù)測鄰近車輛的未來運(yùn)動包括基于鄰近車輛的一個或多個車輛運(yùn)動來預(yù)測。

在示例15中，示例8-14中任一個的方法進(jìn)一步包括訪問或處理將轉(zhuǎn)向信號指示器的狀態(tài)和駕駛員的肢體語言與預(yù)測的未來運(yùn)動相關(guān)聯(lián)的模型或數(shù)據(jù)庫。

在示例16中，示例15的模型或數(shù)據(jù)庫包括基于一個或多個車輛的運(yùn)動、駕駛員肢體語言和在先前的交叉口駕駛情景期間的轉(zhuǎn)向信號信息的機(jī)器學(xué)習(xí)值或相關(guān)性。

示例17是一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)存儲指令，當(dāng)指令由一個或多個處理器執(zhí)行時(shí)，該指令使處理器確定母車輛在交叉口附近。該指令使處理器拍攝鄰近車輛的多個圖像。該指令使處理器識別多個圖像中的每一個包含鄰近車輛上的轉(zhuǎn)向信號指示器的子部分。該指令進(jìn)一步使處理器基于轉(zhuǎn)向信號指示器的狀態(tài)來預(yù)測鄰近車輛通過交叉口的未來運(yùn)動。

在示例18中，示例17的指令進(jìn)一步使處理器處理多個圖像的子部分中的圖像數(shù)據(jù)以確定轉(zhuǎn)向信號指示器的狀態(tài)。

在示例19中，示例17-18中任一個的指令進(jìn)一步使處理器：基于指示鄰近車輛的一個或多個先前狀態(tài)的無線通信來確定鄰近車輛的一個或多個先前狀態(tài)；并且基于鄰近車輛的一個或多個先前狀態(tài)來預(yù)測車輛的未來運(yùn)動。

在示例20中，示例17-19中任一個的指令進(jìn)一步使處理器：識別圖像對應(yīng)于駕駛員的位置的子部分；通過識別駕駛員的頭部取向、視線方向和姿勢中的一個或多個來檢測駕駛員的肢體語言；并且基于駕駛員的肢體語言來預(yù)測車輛的未來運(yùn)動。

應(yīng)當(dāng)指出的是，以上所討論的傳感器實(shí)施例可以包含計(jì)算機(jī)硬件、軟件、固件或其任何組合以執(zhí)行其功能的至少一部分。例如，傳感器可以包括被配置為在一個或多個處理器中執(zhí)行的計(jì)算機(jī)代碼，并且可以包括由計(jì)算機(jī)代碼控制的硬件邏輯/電子電路。本文提供這些示例設(shè)備是為了說明的目的，并不旨在進(jìn)行限制。本發(fā)明的實(shí)施例可以在其他類型的設(shè)備中實(shí)施，如相關(guān)領(lǐng)域技術(shù)人員將已知的那樣。

本發(fā)明的實(shí)施例涉及包含存儲在任何計(jì)算機(jī)可用介質(zhì)上的這樣的邏輯(例如，以軟件的形式)的計(jì)算機(jī)程序產(chǎn)品。這樣的軟件，當(dāng)在一個或多個數(shù)據(jù)處理設(shè)備中執(zhí)行時(shí)，使設(shè)備如本文所描述的那樣操作。

雖然以上已經(jīng)描述了本發(fā)明的各種實(shí)施例，但是應(yīng)當(dāng)理解的是，它們已僅通過舉例的方式呈現(xiàn)，而非限制。對相關(guān)領(lǐng)域的技術(shù)人員來說將顯而易見的是，形式和細(xì)節(jié)的各種改變可以在不脫離本發(fā)明的精神和范圍的前提下進(jìn)行。因此，本發(fā)明的廣度和范圍不應(yīng)該被上述示例性實(shí)施例中的任一個限制，而是應(yīng)該僅根據(jù)下面的權(quán)利要求書及其等同物來限定。為了說明和描述的目的，前面的描述已被呈現(xiàn)。它不旨在是窮盡或?qū)⒈景l(fā)明限制為所公開的精確形式。鑒于以上教導(dǎo)，許多修改和變化是可能的。此外，應(yīng)該指出的是，上述替代實(shí)施方式中的任一個或全部可以以任意所需的組合使用以形成本發(fā)明的附加混合實(shí)施方式。

此外，雖然本發(fā)明的特定實(shí)施方式已被描述和說明，但是本發(fā)明不被限于所描述和所說明的特定的形式或部件的布置。本發(fā)明的范圍由所附的權(quán)利要求、本申請中和不同申請中所提交的任何未來的權(quán)利要求及其等同物來限定。