攝像機系統(tǒng)相對于車輛的自動方向估算的制作方法
【專利摘要】本文可提供一種用于利用車輛的運動來估算車輛的攝像機系統(tǒng)相對于車輛的方向的方法、裝置以及系統(tǒng)?？梢詮奈挥谲囕v上的多個攝像機接收圖像數(shù)據(jù)，并且可以基于地平面上的鄰近車輛的多個特征點來為多個攝像機確定第一約束集?？梢曰谲囕v的一個或多個邊界來確定第二約束集。可以基于第一約束集和第二約束集來自動地校準攝像機中的一個或多個。
【專利說明】
攝像機系統(tǒng)相對于車輛的自動方向估算
技術(shù)領(lǐng)域
[0001 ] 實施例總體上涉及車輛攝像機環(huán)繞系統(tǒng)(vehicle camera surround system)。具 體而言，實施例涉及車輛的基于攝像機的駕駛員輔助系統(tǒng)相對于該車輛的自動校準。
【背景技術(shù)】
[0002] 近年來，后視攝像機、側(cè)視攝像機和前視攝像機在車輛中的使用有所增加。這些攝 像機可以用于在泊車時輔助駕駛員，并且也可以用于在車輛處于運動中時輔助駕駛員，來 觀察車輛的周圍區(qū)域。為了最大程度地利用在車輛上安裝的攝像機，可以進行攝像機系統(tǒng) 的校準。
[0003] 除了每個攝像機相對于彼此的位置和方向之外，也可以確定攝像機相對于車輛的 方向和位置。通常，通過使用在地上的外部標記，可以在車輛的制造期間在生產(chǎn)線的末尾對 這樣的基于攝像機的系統(tǒng)進行校準。然而，這樣的方法可能需要在校準期間相對于外部標 記非常精確地放置車輛。此外，為確保使用所述攝像機系統(tǒng)的應用程序的正確結(jié)果，可能需 要隨著時間頻繁地重復所述校準。
【附圖說明】
[0004] 對于本領(lǐng)域技術(shù)人員而言，通過閱讀以下說明書和所附權(quán)利要求書并且通過參考 以下附圖，實施例的各種優(yōu)點將變得顯而易見，其中：
[0005] 圖1是根據(jù)實施例的自動校準的示例的圖示；
[0006] 圖2是根據(jù)實施例對基于攝像機的駕駛員輔助系統(tǒng)進行校準的示例性方法的流程 圖；
[0007] 圖3是根據(jù)實施例確定由基于攝像機的駕駛員輔助系統(tǒng)所執(zhí)行的第二約束集 (constraint set)的示例性方法的流程圖；
[0008] 圖4是根據(jù)實施例確定由基于攝像機的駕駛員輔助系統(tǒng)所執(zhí)行的第一約束集的示 例性方法的流程圖；
[0009] 圖5是根據(jù)實施例的基于攝像機的駕駛員輔助系統(tǒng)的示例的框圖；
[0010]圖6是約束集合生成架構(gòu)的示例性系統(tǒng)的框圖；
[0011] 圖7是根據(jù)實施例的所投影的車輛邊緣(edge)的理想表示的示例的圖示；
[0012] 圖8A是根據(jù)實施例的來自基于攝像機的駕駛員輔助系統(tǒng)的攝像機的圖像的邊界 (border)的示例的圖示；
[0013]圖8B是根據(jù)實施例的圖像在地平面(ground plane)上的投影的示例的圖示；
[0014] 圖9是由根據(jù)實施例的基于攝像機的駕駛員輔助系統(tǒng)的攝像機所捕獲的魚眼圖像 的示例的圖示；
[0015] 圖10是根據(jù)實施例的具有導航控制器的系統(tǒng)的示例的框圖；以及
[0016] 圖11是根據(jù)實施例的具有小的形狀因子的系統(tǒng)的示例的框圖。
【具體實施方式】
[0017] 圖1是例示了示例性的基于攝像機的駕駛員輔助系統(tǒng)20的示意圖。在車輛環(huán)繞視 圖系統(tǒng)(vehicular surround view system)中，由多個圖像觸感器(例如，具有魚眼鏡頭的 攝像機）所捕獲的數(shù)據(jù)可以被組合，以使得用戶能夠容易地察看周圍環(huán)境?？梢栽谌菁{ (host)有基于攝像機的駕駛員輔助系統(tǒng)20的車輛上或之內(nèi)的各種位置提供基于攝像機的 駕駛員輔助系統(tǒng)20的圖像傳感器。可以執(zhí)行校準操作，以建立基于攝像機的駕駛員輔助系 統(tǒng)20的攝像機中的每個的外在參數(shù)和固有參數(shù)?；跀z像機的駕駛員輔助系統(tǒng)20可以包括 多個攝像機27。攝像機27可以是廣角攝像機，但不限于此。攝像機中的每個都可以包括魚眼 鏡頭，并且每個都可以包括電荷耦合器件(CCD)傳感器。攝像機的電光傳感器可以耦合到基 于攝像機的駕駛員輔助系統(tǒng)20的圖像處理模塊(未示出）。盡管所例示的系統(tǒng)20可以用于提 供駕駛員輔助，但是其它類型的基于攝像機的系統(tǒng)（例如，車輛安全系統(tǒng))例如也可以使用 本文所述的自動校準技術(shù)。
[0018] 基于攝像機的駕駛員輔助系統(tǒng)20可以是被安裝到車輛21的環(huán)繞視圖系統(tǒng)。因此， 攝像機27的視場(F0V)可以覆蓋在車輛21周圍的360°角度范圍。攝像機27可以安裝在車輛 21的前方、后方和側(cè)方。被安裝在車輛21的前方的攝像機27可以具有延伸至車輛21的前方 的F0V。同樣地，被安裝在車輛21的后方的攝像機27可以具有延伸至車輛21的后方的F0V。被 安裝在車輛的側(cè)方的攝像機27可以具有延伸至車輛21的側(cè)方的F0V。被安裝在車輛21的側(cè) 方的攝像機27可以安裝在車輛21的側(cè)視鏡(未示出）上。如果側(cè)視鏡是可動的，那么可以將 攝像機27安裝在側(cè)視鏡的主體(body)的不可動部分。
[0019] 基于攝像機的駕駛員輔助系統(tǒng)20的圖像處理模塊(未示出）可以接收由攝像機27 所生成的圖像數(shù)據(jù)，并且通過使用校準邏輯單元(該邏輯單元可以包括硬件、軟件、固件或 者其組合)來確定攝像機27的外在參數(shù)和固有參數(shù)兩者。固有參數(shù)可以包括廣角攝像機的 對所捕獲的圖像的非線性失真進行定義的參數(shù)和模型，例如焦距、主點(principal point) 等。當融合(merge)所捕獲的圖像時，處理模塊(未示出）可以存儲并且隨后取回固有參數(shù)， 以便校正所捕獲的圖像中的非線性失真。車輛定向系統(tǒng)的外在參數(shù)可以包括有關(guān)攝像機的 位置和方向的信息。
[0020] 根據(jù)示例性實施例的一個方面，基于攝像機的駕駛員輔助系統(tǒng)20的攝像機27識別 在車輛21附近的特征點22,并且估算該特征點相對于攝像機27的位置和方向?；谔卣鼽c 22的估算結(jié)果，可以為外在攝像機參數(shù)定義第一約束集23。特征點22可以是非固定的點，并 且可以相對于車輛21位于地平面上。
[0021] 此外，車輛21的一個或多個邊界24可以被檢測到，并且可以匹配車輛21自身的已 知幾何參數(shù)。車輛21的邊界24可以用于確定第二約束集25。借助于附加的第二約束集25,可 以確定所有必要的外在參數(shù)。可以估算車輛21的二維（2D)運動，并且因此可以推斷攝像機 參數(shù)。
[0022] 因此，在示例性實施例中，攝像機27的校準未利用任何固定的外部環(huán)境校準標記 或圖案。只是通過移動車輛來獲得參數(shù)?，F(xiàn)在將關(guān)于對第一約束集23的確定進行討論。 [0023]假設攝像機27彼此之間的相對方向是已知的。如果RVCaml是車輛的多個攝像機27中 的第一攝像機(攝像機1)的相對方向，并且檢測到R VCaml，那么將知道每個攝像機相對于車輛 的方向。
[0024] 然而，由于可以將此方案應用于攝像機27中的全部，所以甚至可以通過使用最小 二乘誤差方法和對測量結(jié)果中的全部進行組合來增大所獲得的參數(shù)的精度。
[0025] 特征點22中的全部都可以位于地平面上鄰近車輛21的位置處。運動恢復結(jié)構(gòu) (SFM)算法可以用于估算特征點相對于基于攝像機的駕駛員輔助系統(tǒng)的攝像機坐標系的角 度和位置。例如，假設根據(jù)第一攝像機(攝像機1 )，估算出η個特征點在地平面上，其坐標為
[0027] 將這些坐標點轉(zhuǎn)換到車輛坐標中：[0028]
[0029] 其中，F(xiàn)VCaml是攝像機1坐標系統(tǒng)與車輛坐標系之間的平移矢量，并且XVCaml是車輛 坐標中的點的坐標。這些點中的所有點都可以在地平面上，因此車輛坐標中的Z坐標將為 零:Z VCaml (η) = 0。同樣的關(guān)系對于第二攝像機有效：
[0030]
[0031]其中，Rvcam2為攝像機2相對于車輛坐標系統(tǒng)的旋轉(zhuǎn)矩陣。使用攝像機1與攝像機2之 間的相對方向和平移(translation)，這導致以下關(guān)系：
[0032]
[0033] 在方程式(2)和方程式(3)所給出的這些約束的情況下并且考慮到所有點都可以 在一個平面（Z = 0 !)中，通過僅關(guān)注最后一tX(RvCaml_31、RvCaml_32、RvCaml_33)，可以顯著地簡化
[0034] 通過知道RvCaml_31、RvCaml_32、RvCaml_33,我們依然不知道完整的矩陣。原因在于RvCaml是 標準正交的，并且以下關(guān)系有效：
[0035] RvCaml-31 +RvCaml-32 +RvCaml-33 -1 ( 4 )
[0036] 現(xiàn)在參考圖9來討論獲得第二約束集的方式。
[0037] 繼續(xù)參考圖1和圖9,可以從多個攝像機中的至少四個攝像機獲得四張圖像91、92、 93和94。多個攝像機可以包括魚眼鏡頭。該攝像機可以安裝在車輛21上，并且可以指向四個 不同的方向。附加的第二約束集25可以將攝像機系統(tǒng)相對于車輛21固定。利用魚眼鏡頭攝 像機27例如可以使得沿著外部圖像捕獲邊界，例如車輛21的邊界24。在所捕獲的圖像中可 見的邊界24可以用于生成附加的第二約束集25?？梢酝ㄟ^圖像的幀的光流(optical flow) 或者通過其它圖像處理算法來檢測邊界24。
[0038] 具體地，在圖像數(shù)據(jù)中的多個圖像幀的處理期間，可以跟蹤多個連續(xù)幀，并且可以 將多個幀中被檢測為恒定不變的圖像確定為車輛21的邊界24。圖8A分別例示了魚眼鏡頭攝 像機27所捕獲的四張圖像91、92、93和94中的邊界81、82、83和84的估算結(jié)果(estimation)。
[0039] 圖8B例示了攝像機在地平面上的投影。在所例示的情況下，僅示出了四個攝像 機一第一攝像機85 ( "攝像機Γ )、第二攝像機86 ( "攝像機2"）、第三攝像機87 ( "攝像機3"）和 第三攝像機88( "攝像機4"）。然而，四個攝像機的使用僅僅是示例性的，并且可以使用任意 數(shù)量的攝像機。
[0040] 在圖8A和圖8B中，示例性實施例僅利用被附接到車輛21的前攝像機和后攝像機的 邊界，其中邊界線投影到地平面上。對于后攝像機的投影，可以通過以下關(guān)系來確定第三攝 像機87的相對方向：RvCam3 = RvCaml · RcamlCam3,其中RcamlCam3是已知的，并且再次RvCaml是未知 的。如圖8B中所示，在投影之后，車輛前方邊界和后方邊界的投影曲線示為曲線89(例如，對 應于圖1中所例示的邊界24)。這種類型的幾何特性可以用于外在參數(shù)的優(yōu)化中。對于從圖 像所獲得的邊界點，按照以下方式執(zhí)行從地平面的投影。
[0041] 每個像素都可以投影到單位球面上。當魚眼攝像機固有校準參數(shù)為已知時，可以 容易地進行此投影。可以確定與攝像機中心的前方和在單位球面上的點相連接的線與地平 面的交點（intersection)。在車輛坐標中，攝像機中心具有坐標Fvcami?？梢酝ㄟ^以下方程式 改變單位球面上的點：
[0042]
[0043] 在方程式(5)中，
[0045]是在單位球面上的點，并且
[0047]是同一點在車輛坐標系中的坐標。以此方式，對車輛坐標中的每條線進行投影，并 且利用地平面來計算這些線的交點
[0049] 圖2是例示了根據(jù)示例性實施例自動地校準基于攝像機的駕駛員輔助系統(tǒng)的方法 31的流程圖。方法31例如可以使用電路技術(shù)(例如，專用集成電路(ASIC)、互補金屬氧化物 半導體(CMOS)或晶體管-晶體管邏輯(TTL)技術(shù)），作為一個或多個模塊，以被存儲在機器或 計算機可讀的存儲介質(zhì)（例如，隨機存取存儲器（RAM)、只讀存儲器（R0M)、可編程ROM (PR0M)、固件、閃存等）中的邏輯指令集的形式被實施，以可配置邏輯(例如，可編程邏輯陣 列(PLA)、現(xiàn)場可編程門陣列(FPGA)、復雜可編程邏輯器件(CPLD))的形式被實施，以固定功 能硬件邏輯的形式被實施，或者以它們的組合被實施。例如，執(zhí)行方法31中所示的操作的計 算機程序代碼可以用一種或多種編程語言(包括諸如C#、JAVA等之類的面向?qū)ο蟮木幊陶Z 言）的任意組合來進行編寫。
[0050] 在所例示的處理框30中，基于攝像機的駕駛員輔助系統(tǒng)的圖像處理模塊(未示出） 接收由位于車輛上的多個攝像機所捕獲的圖像數(shù)據(jù)。在框35中，可以為多個攝像機確定第 一約束集。可以基于鄰近車輛的地平面(ground plane)上的多個特征點來確定第一約束 集。
[0051] 此時，確定第二約束集?？梢砸远喾N不同的方式來確定第二約束集。如框45中所 示，可以基于車輛的一個或多個邊界來為多個攝像機確定第二約束集。車輛的前方邊界和 后方邊界可以被檢測到，并且投影到地平面，其中所投影的曲線的幾何特性可以用作第二 約束集。
[0052]或者，在框40中，可以基于從車輛傳感器所獲得的車輛傳感器信息來確定第二約 束集。該車輛傳感器可以包括，但不限于，激光掃描儀和雷達掃描儀。在另一實施例中，可以 將來自框40的傳感器信息和來自框45的車輛的邊界兩者組合使用，以確定第二約束集。 [0053]然后，在所例示的框50中，基于所確定的第一約束集和所確定的第二約束集對多 個攝像機中的一個或多個進行校準。圖3更加清楚地例示了確定第二約束集的方式。
[0054]如圖3的框45-1中所例示的，由多個攝像機所捕獲的并且與該多個攝像機中的每 個的視場相關(guān)聯(lián)的圖像數(shù)據(jù)，被基于攝像機的駕駛員輔助系統(tǒng)的圖像處理模塊(未示出）接 收。在框45-2中，可以檢驗（examine)所接收的圖像數(shù)據(jù)的幀的連續(xù)集合(a sequential set of frames)，并且可以確定在幀序列（the sequence of frames)中是否存在一致的圖 像。然后，在框45-3中可以基于連續(xù)幀的光流將該一致的圖像識別為一個或多個邊界。 [0055]圖4是示出了可以確定第一約束集的方式的流程圖。由多個攝像機所捕獲的圖像 數(shù)據(jù)可以由圖像處理模塊(未示出)接收，其中在所例示的框35-1處估算每個特征點相對于 多個攝像機的坐標系的方向。此外，在框35-2處，可以估算每個特征點相對于攝像機的坐標 系的位置。然后，可以基于所估算的特征點的方向和位置來確定第一約束集。
[0056] 參考圖5,示出了基于攝像機的駕駛員輔助系統(tǒng)28。系統(tǒng)28包括多個攝像機27,每 個都包括用于捕獲車輛(未示出）附近環(huán)境的圖像的電光部件。攝像機可以位于車輛的不同 位置，該車輛容納(host)有基于攝像機的駕駛員輔助系統(tǒng)。將多個攝像機所捕獲的圖像傳 輸(transmit)到基于攝像機的駕駛員輔助系統(tǒng)的傳感器接口 51。除了接收由多個攝像機所 捕獲的圖像之外，傳感器接口 51還可以從(位于車輛上的）一個或多個傳感器接收附加的傳 感器數(shù)據(jù)?？梢詫⒂蓚鞲衅鹘涌?51所接收的信息傳輸?shù)教卣鼽c提取器52和邊界分析器54 (54a_54c)。
[0057] 所例示的特征點提取器52接收與多個攝像機27相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于所接 收的圖像數(shù)據(jù)對多個特征點進行檢測。可以將所提取的特征點傳輸?shù)教卣鼽c分析器53 (53a-53b)，其基于多個特征點22(圖1)來為多個攝像機27確定第一約束集23(圖1)。特征點 分析器53可以包括方向估算器53a，其對每個特征點相對于多個攝像機27的坐標系的方向 進行估算。特征點分析器53還可以包括位置估算器53b，其對每個特征點相對于多個攝像機 27的坐標系的位置進行估算。
[0058]所例示的邊界分析器54基于車輛的一個或多個邊界來為多個攝像機27確定第二 約束集。邊界分析器54還可以基于附加的車輛傳感器數(shù)據(jù)來確定第二約束集。附加的車輛 傳感器可以包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤(wheel)信息和慣性數(shù)據(jù)中的一個或多個。 然而，附加的車輛傳感器數(shù)據(jù)不限于此，并且其它類型的車輛傳感器可以獲得。
[0059]邊界分析器54還可以包括：圖像數(shù)據(jù)接口 54a，該圖像數(shù)據(jù)接口 54a接收與多個攝 像機相關(guān)聯(lián)的并且從傳感器接口 51傳輸?shù)臄?shù)據(jù);幀分析器54b，該幀分析器54b基于圖像數(shù) 據(jù)中的多個連續(xù)幀（sequential frame)來確定光流。邊界分析器54還可以包括邊界檢測器 54c，該邊界檢測器54c基于圖像數(shù)據(jù)的光流來確定一個或多個邊界。具體而言，所例示的邊 界檢測器54c對由多個攝像機所捕獲的許多連續(xù)圖像幀進行分析，并且多個連續(xù)圖像幀中 恒定不變的圖像將作為車輛21的邊界的圖像。
[0060] 校準器55可以接收第一約束集和第二約束集，并且基于該第一約束集和該第二約 束集來對多個攝像機中的一個或多個進行自動校準。顯示器56可以可視化地輸出自動校準 的結(jié)果。
[0061] 現(xiàn)在轉(zhuǎn)到圖6,示出了約束集生成架構(gòu)的另一示例。如圖6所示，運動恢復結(jié)構(gòu) (Structure from Motion，SFM)算法57用于估算地平面上的特征點相對于攝像機坐標系的 角度(方向）和位置，由此生成第一約束集。如圖6所例示，第二約束集可以根據(jù)從多個攝像 機27所接收的邊緣(邊界）圖像61來確定，或者根據(jù)直接從車輛21所接收的車輛傳感器信息 62來確定。
[0062]現(xiàn)在轉(zhuǎn)到圖7,線59表示在由多個攝像機27中的一個所捕獲的圖像信號中經(jīng)識別 的邊界線。線58表示在車輛21的中心的線，并且線60與線58垂直。根據(jù)圖像數(shù)據(jù)所檢測的車 輛邊界投影在地平面上。實際上車輛的邊界的曲線在現(xiàn)實中并非按照字面意義地位于地平 面上，然而投影依然在地平面上完成，這是由于邊界曲線將會與地平面平行。圖7例示了在 將所檢測的車輛邊界投影之后的實施例。在圖7中的左邊的圖像對應于當攝像機外在參數(shù) 正確時的實施例，并且在圖7中的右邊的圖像對應于當所估算的攝像機外在參數(shù)不正確時 的實施例。對攝像機RVCaml (相對于車輛的前攝像頭方向）進行優(yōu)化，以實現(xiàn)圖7中的左邊的 圖像中所給出的表示。用于確定是否達到圖7的左邊的圖像中的表示的約束條件可以是以 下方程式6:
[0064]圖10例示了系統(tǒng)700的實施例。在示例性實施例中，系統(tǒng)700可以是媒體系統(tǒng)，盡管 系統(tǒng)700不限于此情境。例如，系統(tǒng)700可以被納入以下設備:個人計算機(PC)、膝上型計算 機、超薄膝上型計算機(ultra-laptop computer)、平板計算機、觸摸板、便攜式計算機、手 持式計算機、掌上型計算機、個人數(shù)字助理(PDA)、蜂窩電話、組合蜂窩電話/PDA、電視機、智 能設備(例如，智能手機、智能平板計算機或智能電視機）、移動互聯(lián)網(wǎng)設備(MID)、消息收發(fā) 設備、數(shù)據(jù)通信設備等。
[0065] 在示例性實施例中，系統(tǒng)700包括耦合到顯示器720的平臺702,顯示器720呈現(xiàn)可 視內(nèi)容。平臺702可以從內(nèi)容設備(例如，（一個或多個）內(nèi)容服務設備730或(一個或多個）內(nèi) 容遞送設備740)接收視頻比特流內(nèi)容或者其它類似的內(nèi)容源。包括有一個或多個導航特征 的導航控制器750可以用于與例如平臺702和/或顯示器720交互。下面詳細介紹這些部件中 的每個部件。
[0066] 在示例性實施例中，平臺702可以包括芯片組705、處理器710、存儲器712、存儲設 備714、圖形子系統(tǒng)715、應用程序716和/或無線電裝置718的任意組合(例如，網(wǎng)絡控制器）。 芯片組705可以提供處理器710、存儲器712、存儲設備714、圖形子系統(tǒng)715、應用程序716和/ 或無線電裝置718之間的相互通信。例如，芯片組705可以包括能夠提供與存儲設備714的相 互通信的存儲適配器(未示出）。
[0067]處理器710可以實施為復雜指令集計算機(CISC)或精簡指令集計算機(RISC)處理 器、x86指令集兼容處理器、多核、或者任意其它微處理器或中央處理單元(CPU)。在實施例 中，處理器710可以包括(一個或多個)多核處理器、（一個或多個)多核移動處理器等。
[0068] 存儲器712可以實施為易失性存儲器設備，例如，但不限于，隨機存取存儲器 (RAM)、動態(tài)隨機存取存儲器(DRAM)、或靜態(tài)RAM(SRAM)。
[0069] 存儲設備714可以實施為非易失性存儲設備，例如，但不限于，磁盤驅(qū)動器、光盤驅(qū) 動器、磁帶驅(qū)動器、內(nèi)部存儲設備、附加的存儲設備、閃速存儲器、電池備份S D R A Μ (同步 DRAM)、和/或網(wǎng)絡可訪問存儲設備。在實施例中，例如當包括多個硬盤驅(qū)動器時，存儲器714 可以包括對于有價值的數(shù)字媒體的用于提高存儲性能增強保護（storage performance enhanced protection)的技術(shù)。
[0070] 圖形子系統(tǒng)715可以執(zhí)行對圖像(例如，靜止圖像或視頻)的處理以供顯示。圖形子 系統(tǒng)715例如可以是圖形處理單元(GPU)或者視覺處理單元(VPU)?？梢允褂媚M或數(shù)字接 口將圖形子系統(tǒng)715和顯示器720進行通信耦合。例如，接口可以是高清多媒體接口、顯示端 口、無線HDMI、和/或兼容無線HD的技術(shù)中的任一個。圖形子系統(tǒng)715可以集成至處理器710 或芯片組705中。圖形子系統(tǒng)715可以是以通信方式與芯片組705耦合的獨立卡。在一個示例 中，圖形子系統(tǒng)715包括多個攝像機設備，并且處理器710被配置為如上所述對多個攝像機 進行自動校準。
[0071] 可以在各種硬件架構(gòu)中實施本文所描述的圖形和/或視頻處理技術(shù)。例如，圖形 和/或視頻功能可以集成在芯片組內(nèi)?；蛘?，可以使用分立的圖形和/或視頻處理器。作為又 一實施例，圖形和/或視頻功能可以由通用處理器(包括多核處理器)來實施。在另一實施例 中，可以在消費電子設備中實施這些功能。
[0072] 無線電裝置718可以是網(wǎng)絡控制器，包括能夠使用各種適當?shù)臒o線通信技術(shù)來傳 輸和接收信號的一個或多個無線電裝置。這些技術(shù)可以涉及在一個或多個無線網(wǎng)絡上的通 信。示例性的無線網(wǎng)絡包括，但不限于，無線局域網(wǎng)(WLAN)、無線個域網(wǎng)(WPAN)、無線城域網(wǎng) (WMAN)、蜂窩網(wǎng)絡和衛(wèi)星網(wǎng)絡。對于在這樣的網(wǎng)絡上的通信，無線電裝置718可以根據(jù)任意 版本的一個或多個適用標準來進行操作。
[0073] 在示例性實施例中，顯示器720可以包括任意電視機類型的監(jiān)視器或顯示器。顯示 器720例如可以包括計算機顯示屏幕、觸摸屏顯示器、視頻監(jiān)視器、類似于電視機的設備和/ 或電視機。顯示器720可以是數(shù)字的和/或模擬的。在實施例中，顯示器720可以是全息顯示 器。此外，顯示器720可以是可以接收可視投影的透明表面。這樣的投影可以傳遞各種形式 的信息、圖像和/或?qū)ο?。例如，這樣的投影可以是移動增強現(xiàn)實（MAR)應用的可視交疊 (visual overlay)。在一個或多個軟件應用716的控制下，平臺702可以在顯示器720上顯示 用戶界面722。
[0074]在示例性實施例中，（一個或多個）內(nèi)容服務設備730例如由任意國內(nèi)、國際和/或 獨立服務所容納，并且因此可訪問平臺702,例如經(jīng)由互聯(lián)網(wǎng)。（一個或多個）內(nèi)容服務設備 730可以耦合到平臺702和/或顯示器720。平臺702和/或（一個或多個）內(nèi)容服務設備730可 以耦合到網(wǎng)絡760,以通信(例如，發(fā)送和/或接收)去向和來自網(wǎng)絡760的媒體信息。內(nèi)容遞 送設備740也可以耦合到平臺702和/或顯示器720。
[0075]在實施例中，（一個或多個）內(nèi)容服務設備730可以包括有線電視盒、個人計算機、 網(wǎng)絡、手機、支持互聯(lián)網(wǎng)的設備或者能夠遞送數(shù)字信息和/或內(nèi)容的裝置(appliance)、以及 能夠經(jīng)由網(wǎng)絡760或直接地在內(nèi)容提供者與平臺702和/或顯示器720之間單向地或雙向地 通信內(nèi)容的任意其它類似的設備。應當意識到，可以經(jīng)由網(wǎng)絡760在系統(tǒng)700中部件中的任 意一個與內(nèi)容提供者之間單向地或雙向地通信內(nèi)容往來。內(nèi)容的示例可以包括任意媒體信 息，例如包括視頻、音樂、醫(yī)療和游戲信息等。
[0076](一個或多個）內(nèi)容服務設備730接收內(nèi)容，例如有線電視節(jié)目（包括媒體信息、數(shù) 字信息)和/或其它內(nèi)容。內(nèi)容提供者的示例可以包括任意有線電視或衛(wèi)星電視或無線電或 互聯(lián)網(wǎng)內(nèi)容提供者。所提供的不例并非意味著限制實施例。
[0077]在實施例中，平臺702可以從具有一個或多個導航特征的導航控制器750接收控制 信號。控制器750的導航特征例如可以用于與用戶界面722交互。在實施例中，導航控制器 750可以是定點設備(pointing device)，其可以是使用戶能夠?qū)⒖臻g（例如，連續(xù)的和多維 度的)數(shù)據(jù)輸入到計算機中的計算機硬件部件(具體地，人機接口設備）。諸如圖形用戶界面 (GUI)和電視和監(jiān)視器之類的許多系統(tǒng)使用戶能夠利用物理姿勢來控制計算機或電視機并 且向計算機或電視機提供數(shù)據(jù)。
[0078] 通過移動顯示器上所顯示的指針、光標、聚焦環(huán)或其它可視指示器，控制器750的 導航特征的移動可以在顯示器(例如，顯示器720)上重復(echo)。例如，在軟件應用716的控 制下，位于導航控制器750上的導航特征例如可以映射到用戶界面722上所顯示的可視導航 特征。在實施例中，控制器750可能不是獨立部件，而是被集成到平臺702和/或顯示器720 中。然而，實施例不限于本文所示或所述的元件或方面。
[0079] 在示例性實施例中，驅(qū)動器(未示出）例如可以包括當驅(qū)動器已啟動時，使用戶在 初始開機之后像電視機那樣通過觸摸按鈕就能立即接通或關(guān)停平臺702的技術(shù)。當"關(guān)停" 平臺時，程序邏輯可以使平臺702能夠?qū)?nèi)容流至媒體適配器或其它(一個或多個）內(nèi)容服 務設備730或（一個或多個）內(nèi)容遞送設備740。此外，芯片組705例如可以包括用于5.1環(huán)繞 聲音頻和/或高清晰度7.1環(huán)繞聲音頻的硬件和/或軟件支持。驅(qū)動器可以包括用于集成圖 形平臺的圖形驅(qū)動器。在實施例中，圖形驅(qū)動器可以包括外圍部件互連(PCI)高速圖形卡。
[0080] 在各種實施例中，可以集成系統(tǒng)700中所示的部件中的任意一個或多個。例如，可 以集成平臺702和（一個或多個）內(nèi)容服務設備730,或者可以集成平臺702和(一個或多個） 內(nèi)容遞送設備740,或者例如可以集成平臺702、（一個或多個）內(nèi)容服務設備730和（一個或 多個）內(nèi)容遞送設備740。在各種實施例中，平臺702和顯示器720可以是集成單元。例如可以 集成顯示器720和（一個或多個）內(nèi)容服務設備730,或者可以集成顯示器720和（一個或多 個）內(nèi)容遞送設備740。這些示例并非意味著限制實施例。
[0081] 在各種實施例中，系統(tǒng)700可以實施為無線系統(tǒng)、有線系統(tǒng)或兩者的組合。當實施 為無線系統(tǒng)時，系統(tǒng)700可以包括適用于通過無線共享媒體進行通信的部件和接口，例如一 個或多個天線、發(fā)射機、接收機、收發(fā)機、放大器、濾波器、控制邏輯等。無線共享媒體的示例 可以包括無線頻譜的部分，例如RF頻譜等。當實施為有線系統(tǒng)時，系統(tǒng)700可以包括適用于 通過有線通信媒體進行通信的部件和接口，例如輸入/輸出（I/O)適配器、將I/O適配器與相 對應的有線通信媒體進行連接的物理連接器、網(wǎng)絡接口卡(NIC )、碟片控制器、視頻控制器、 音頻控制器等。有線通信媒體的示例可以包括導線、電纜、金屬引線、印刷電路板(PCB)、背 板、交換結(jié)構(gòu)、半導體材料、雙絞線、同軸電纜、光纖等。
[0082]平臺702可以建立一個或多個邏輯或物理信道來通信信息。信息可以包括媒體信 息和控制信息。媒體信息可以指表示針對用戶的內(nèi)容的任何數(shù)據(jù)。內(nèi)容的示例例如可以包 括來自語音對話、視頻會議、流視頻、電子郵件消息、語音郵件消息、字母數(shù)字符號、圖形、圖 像、視頻、文本等的數(shù)據(jù)。來自語音對話的數(shù)據(jù)例如可以是語音信息、靜默時段、背景噪聲、 舒緩噪聲、音調(diào)等。控制信息可以指表示用于自動化系統(tǒng)的命令、指令或控制字等任何數(shù) 據(jù)。例如，控制信息可以用于通過系統(tǒng)來遞送媒體信息，或者指令節(jié)點以預定方式處理媒體 信息。然而，實施例不限于圖10中所示或所述的元件或方面。
[0083]如上所述，系統(tǒng)700可以以各種物理款式或形狀因子來實施。圖10例示了小形狀因 子設備800的實施例，其中可以實施系統(tǒng)700。例如，在實施例中，設備800可以實施為具有無 線功能的移動計算設備。移動計算設備可以例如指具有處理系統(tǒng)和移動功率源或電源(例 如，諸如一個或多個電池)的任意設備。
[0084] 如上所述，移動計算設備的示例可以包括個人計算機(PC)、膝上型計算機、超薄膝 上型計算機、平板計算機、觸摸板、便攜式計算機、手持式計算機、掌上型計算機、個人數(shù)字 助理(PDA)、蜂窩電話、組合蜂窩電話/PDA、電視機、智能設備(例如，智能手機、智能平板計 算機或智能電視機）、移動互聯(lián)網(wǎng)設備(MID)、消息收發(fā)設備、數(shù)據(jù)通信設備等。
[0085] 移動計算設備的示例還可以包括被設置為由人穿戴的計算機，例如腕式計算機、 手指式計算機、戒指式計算機、眼鏡式計算機、帶夾式計算機、臂帶式計算機、鞋式計算機、 衣式計算機以及其它可穿戴的計算機。例如，在實施例中，移動計算設備可以實施為能夠執(zhí) 行計算機應用程序以及語音通信和/或數(shù)據(jù)通信的智能電話。盡管以舉例的方式將某些示 例性實施例描述成把移動計算設備實施為智能電話，但是可以理解的是，也可以使用其它 無線移動計算設備來實施其它實施例。示例性實施例不限于這個方面。
[0086] 如圖11所示，設備800可以包括外殼802、顯示器804、輸入/輸出（I/O)設備806以及 天線808。設備800還可以包括導航特征812。顯示器804可以包括任意適當?shù)娘@示器單元，用 于顯示適用于移動計算設備的信息。I/O設備806可以包括任意合適的I/O設備，用于把信息 輸入到移動計算設備。I/O設備806的示例可以包括字母數(shù)字鍵盤、數(shù)字鍵盤、觸摸板、輸入 鍵、按鈕、開關(guān)、搖臂開關(guān)、麥克風、揚聲器、語音識別設備以及軟件等。還可以通過麥克風向 設備800輸入信息?？梢酝ㄟ^語音識別設備使這樣的信息數(shù)字化。實施例不限于這個方面。 [0087] 附加的注釋和示例:
[0088] 示例1可以包括一種基于攝像機的駕駛員輔助系統(tǒng)，包括多個攝像機，每個所述攝 像機包括用于捕捉圖像的電光部件，其中，所述攝像機位于容納有所述基于攝像機的駕駛 員輔助系統(tǒng)的車輛上的不同區(qū)域中；特征點分析器，所述特征點分析器基于地平面上的鄰 近所述車輛的多個特征點來為所述多個攝像機確定第一約束集;邊界分析器，所述邊界分 析器基于所述車輛的一個或多個邊界來為所述多個攝像機確定第二約束集;校準器，所述 校準器基于所述第一約束集和所述第二約束集來對所述多個攝像機中的一個或多個攝像 機進行自動校準；以及顯示器，所述顯示器可視化地輸出自動校準的結(jié)果。
[0089] 示例2可以包括如權(quán)利要求1所述的系統(tǒng)，其中，所述邊界分析器包括：圖像、數(shù)據(jù) 接口，所述圖像、數(shù)據(jù)接口接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù);幀分析器，所述幀分 析器基于所述圖像數(shù)據(jù)中的多個幀來確定光流；以及邊界檢測器，所述邊界檢測器基于所 述光流來識別所述一個或多個邊界。
[0090] 示例3可以包括如權(quán)利要求1所述的系統(tǒng)，還包括傳感器接口，所述傳感器接口從 所述車輛上的一個或多個傳感器接收附加的傳感器數(shù)據(jù)，其中，所述邊界分析器基于所述 附加的傳感器數(shù)據(jù)來確定所述第二約束集，并且所述附加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn) 向角數(shù)據(jù)、方向盤信息和慣性數(shù)據(jù)中的一個或多個。
[0091] 示例4可以包括如權(quán)利要求1所述的系統(tǒng)，其中，所述特征點分析器包括:用于估算 每個特征點相對于所述多個攝像機的坐標系的方向的方向估算器以及用于估算每個特征 點相對于所述多個攝像機的坐標系的位置的位置估算器。
[0092] 示例5可以包括如權(quán)利要求5所述的系統(tǒng)，還包括特征點提取器，所述特征點提取 器接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于所述圖像數(shù)據(jù)對所述多個特征點進 行檢測。
[0093] 示例6可以包括如權(quán)利要求1至5中任一項所述的系統(tǒng)，其中，所述校準器對所述多 個攝像機中的一個或多個攝像機的方向進行估算，以進行所述自動校準。
[0094] 示例7可以包括一種攝像機校準裝置，包括特征點分析器，所述特征點分析器基于 地平面上的鄰近所述車輛的多個特征點來為所述多個攝像機確定第一約束集;邊界分析 器，所述邊界分析器基于所述車輛的一個或多個邊界來為所述多個攝像機確定第二約束 集；以及校準器，所述校準器基于所述第一約束集和所述第二約束集來對所述多個攝像機 中的一個或多個攝像機進行自動校準。
[0095] 示例8可以包括如權(quán)利要求7所述的裝置，其中，所述邊界分析器包括圖像數(shù)據(jù)接 口，所述圖像數(shù)據(jù)接口接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù);幀分析器，所述幀分析器 基于所述圖像數(shù)據(jù)中的多個幀來確定光流；以及邊界檢測器，所述邊界檢測器基于所述光 流來識別所述一個或多個邊界。
[0096] 示例9可以包括如權(quán)利要求7所述的裝置，還包括傳感器接口，所述傳感器接口從 所述車輛上的一個或多個傳感器接收附加的傳感器數(shù)據(jù)，其中，所述邊界分析器基于所述 附加的傳感器數(shù)據(jù)來確定所述第二約束集，并且所述附加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn) 向角數(shù)據(jù)、方向盤信息和慣性數(shù)據(jù)中的一個或多個。
[0097] 示例10可以包括如權(quán)利要求7所述的裝置，其中，所述幀分析器包括：用于估算每 個特征點相對于所述多個攝像機的坐標系的方向的方向估算器，以及用于估算每個特征點 相對于所述多個攝像機的坐標系的位置的位置估算器。
[0098] 示例11可以包括如權(quán)利要求7所述的裝置，還包括特征點提取器，所述特征點提取 器接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于所接收的圖像數(shù)據(jù)對所述多個特征 點進行檢測。
[0099] 示例12可以包括如權(quán)利要求7至11中任一項所述的裝置，其中，所述校準器對所述 多個攝像機中的一個或多個攝像機的方向進行估算，以進行所述自動校準。
[0100] 示例13可以包括一種對基于攝像機的駕駛員輔助系統(tǒng)進行自動校準的方法，包括 基于地平面上的鄰近車輛的多個特征點來為多個攝像機確定第一約束集;基于所述車輛的 一個或多個邊界來為所述多個攝像機確定第二約束集；以及基于所述第一約束集和所述第 二約束集來對所述多個攝像機中的一個或多個攝像機進行自動校準。
[0101] 示例14可以包括如權(quán)利要求13所述的方法，其中，確定所述第二約束集包括接收 與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)，基于所述圖像數(shù)據(jù)中的多個幀來確定光流，以及基 于所述光流來識別所述一個或多個邊界。
[0102] 示例15可以包括如權(quán)利要求13所述的方法，還包括從所述車輛上的一個或多個傳 感器接收附加的傳感器數(shù)據(jù)，其中，所述第二約束集是基于所述附加的傳感器數(shù)據(jù)被確定 的，并且所述附加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤信息和慣性數(shù)據(jù)中的一 個或多個。
[0103] 示例16可以包括如權(quán)利要求13所述的方法，其中，確定所述第一約束集包括估算 每個特征點相對于所述多個攝像機的坐標系的方向，以及估算每個特征點相對于所述多個 攝像機的坐標系的位置。
[0104] 示例17可以包括如權(quán)利要求13所述的方法，還包括接收與所述多個攝像機相關(guān)聯(lián) 的圖像數(shù)據(jù)，以及基于所述圖像數(shù)據(jù)對所述多個特征點進行檢測。
[0105] 示例18可以包括如權(quán)利要求13至17中任一項所述的方法，其中，進行自動校準包 括對所述多個攝像機中的一個或多個攝像機的方向進行估算。
[0106] 示例19可以包括至少一種非暫態(tài)計算機可讀存儲介質(zhì)，包括指令集，當所述指令 集被計算設備執(zhí)行時，使得所述計算設備:基于地平面上的鄰近車輛的多個特征點來為多 個攝像機確定第一約束集;基于所述車輛的一個或多個邊界來為所述多個攝像機確定第二 約束集；以及基于所述第一約束集和所述第二約束集來對所述多個攝像機中的一個或多個 攝像機進行自動校準。
[0107] 示例20可以包括如權(quán)利要求19所述的至少一種計算機可讀存儲介質(zhì)，其中，所述 指令當被執(zhí)行時，使得所述計算設備接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)，基于所述 圖像數(shù)據(jù)中的多個幀來確定光流，以及基于所述光流來識別所述一個或多個邊界，以確定 所述第二約束集。
[0108] 示例21可以包括如權(quán)利要求19所述的至少一種計算機可讀存儲介質(zhì)，其中，所述 指令當被執(zhí)行時，使得所述計算設備從所述車輛上的一個或多個傳感器接收附加的傳感器 數(shù)據(jù)，其中，所述第二約束集是基于所述附加的傳感器數(shù)據(jù)被確定的，并且所述附加的傳感 器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤信息和慣性數(shù)據(jù)中的一個或多個。
[0109] 示例22可以包括如權(quán)利要求19所述的至少一種計算機可讀存儲介質(zhì)，其中，所述 指令當被執(zhí)行時，使得所述計算設備估算每個特征點相對于所述多個攝像機的坐標系的方 向，以及估算每個特征點相對于所述多個攝像機的坐標系的位置，以確定所述第一約束集。
[0110] 示例23可以包括如權(quán)利要求19所述的至少一種計算機可讀存儲介質(zhì)，其中，所述 指令當被執(zhí)行時，使得所述計算設備接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)，以及基于 所述圖像數(shù)據(jù)對所述多個特征點進行檢測。
[0111] 示例24可以包括如權(quán)利要求19至23中任一項所述的至少一種計算機可讀存儲介 質(zhì)，其中，所述指令當被執(zhí)行時，使得所述計算設備對所述多個攝像機中的一個或多個攝像 機的方向進行估算，以進行所述自動校準。
[0112] 示例25可以包括一種攝像機校準裝置，包括：用于基于地平面上的鄰近車輛的多 個特征點來為多個攝像機確定第一約束集的模塊;用于基于所述車輛的一個或多個邊界來 為所述多個攝像機確定第二約束集的模塊；以及用于基于所述第一約束集和所述第二約束 集來對所述多個攝像機中的一個或多個攝像機進行自動校準的模塊。
[0113]示例26可以包括如權(quán)利要求25所述的裝置，其中，所述用于確定第二約束集的模 塊包括用于接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)的模塊，用于基于所述圖像數(shù)據(jù)中的 多個幀來確定光流的模塊，以及用于基于所述光流來識別所述一個或多個邊界的模塊。 [0114]示例27可以包括如權(quán)利要求25所述的裝置，還包括用于從所述車輛上的一個或多 個傳感器接收附加的傳感器數(shù)據(jù)的模塊，其中，所述第二約束集基于所述附加的傳感器數(shù) 據(jù)被確定，并且所述附加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤信息和慣性數(shù)據(jù) 中的一個或多個。
[0115]示例28可以包括如權(quán)利要求25所述的裝置，其中，所述用于確定第一約束集的模 塊包括:用于估算每個特征點相對于所述多個攝像機的坐標系的方向的模塊，以及用于估 算每個特征點相對于所述多個攝像機的坐標系的位置的模塊。
[0116] 示例29可以包括如權(quán)利要求25所述的裝置，還包括用于接收與所述多個攝像機相 關(guān)聯(lián)的圖像數(shù)據(jù)的模塊，以及用于基于所接收的圖像數(shù)據(jù)對所述多個特征點進行檢測的模 塊。
[0117] 示例30可以包括如權(quán)利要求25至29中任一項所述的裝置，其中，所述用于進行所 述自動校準的裝置包括用于估算所述多個攝像機中的一個或多個攝像機的方向的模塊。
[0118] 因此，本文所描述的技術(shù)可以提供一種自動地估算攝像機系統(tǒng)相對于車輛的方向 的方法。該方法可以用于先進的駕駛員輔助系統(tǒng)和車載式信息娛樂系統(tǒng)中。信息娛樂系統(tǒng) 通常是基于信息和基于娛樂的媒體內(nèi)容或者編程系統(tǒng)，其包括被內(nèi)置在車輛內(nèi)或者可以被 添加至車輛以便增強駕駛員和/或乘客的舒適度和便利性的娛樂內(nèi)容或者硬件和/或軟件 產(chǎn)品和系統(tǒng)。該技術(shù)可以使用圖像識別軟件來處理由攝像機(位于車輛上)所捕獲的圖像。 該技術(shù)還可以提供位于車輛上的攝像機的自動校準，而不需要諸如標記或校準圖案之類的 外部資源并且不需要制造商進行服務。該技術(shù)可以自動地校準所有的旋轉(zhuǎn)參數(shù)?？梢宰R別 靠近車輛的特征點，并且可以估算特征點相對于車輛的位置和方向，以針對外在攝像機參 數(shù)確定第一約束集。該技術(shù)可以通過檢測車輛的邊界并且將所檢測的邊界與車輛自身的已 知幾何幾何形狀進行匹配，來確定第二約束集。使用附加的第二約束集的技術(shù)允許對所有 必要的外在參數(shù)?？梢詫囕v的二維運動進行估算，并且因此可以推斷攝像機參數(shù)。該技術(shù) 僅使用車輛的運動來估算攝像機系統(tǒng)相對于車輛的方向。如果地平面平坦的話，那么幾乎 可以使用任何環(huán)境。該技術(shù)能夠在無需車輛的駕駛員付出努力的情況下獲得校準參數(shù)。 [0119]除非特別聲明，否則可以理解，諸如"處理"、"計算"、"算"、"確定"等之類的術(shù)語是 指計算機或計算系統(tǒng)、或類似的電子計算設備的動作和/或過程，這些動作或過程對計算系 統(tǒng)的寄存器和/或存儲器內(nèi)表示物理量(例如，電子)的數(shù)據(jù)進行操縱和/或轉(zhuǎn)換成在計算系 統(tǒng)的存儲器、寄存器或其它這樣的信息存儲、傳輸或顯示設備中類似地表示物理量的其它 數(shù)據(jù)。實施例不限于此情境。
[0120] 本文所使用的術(shù)語"耦合的"是指所涉及的部件之間的任意類型的關(guān)系(直接的或 間接的），并且可以適用于電連接、機械連接、流體連接、光連接、電磁連接、機電連接、或其 它連接。此外，本所使用術(shù)語"第一"、"第二"等僅僅是為了便于討論，并不帶有特定的時間 或時序意義，除非另作指示。
[0121] 根據(jù)以上說明書本領(lǐng)域技術(shù)人員將意識到，可以以各種形式來實施實施例的寬泛 技術(shù)。因此，盡管已經(jīng)結(jié)合具體示例描述了本發(fā)明的實施例，但是實施例的真實范圍不應當 僅限于此，這是由于，對于本領(lǐng)域技術(shù)人員來說，在研究了附圖、說明書以及所附權(quán)利要求 書之后，其它修改將變得顯而易見。
【主權(quán)項】
1. 一種基于攝像機的駕駛員輔助系統(tǒng)，包括： 多個攝像機，每個所述攝像機包括用于捕捉圖像的電光部件，其中，所述攝像機位于容 納有所述基于攝像機的駕駛員輔助系統(tǒng)的車輛上的不同區(qū)域中； 特征點分析器，所述特征點分析器基于地平面上的鄰近所述車輛的多個特征點來為所 述多個攝像機確定第一約束集； 邊界分析器，所述邊界分析器基于所述車輛的一個或多個邊界來為所述多個攝像機確 定第二約束集； 校準器，所述校準器基于所述第一約束集和所述第二約束集來對所述多個攝像機中的 一個或多個攝像機進行自動校準；以及 顯示器，所述顯示器可視化地輸出所述自動校準的結(jié)果。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述邊界分析器包括： 圖像數(shù)據(jù)接口，所述圖像數(shù)據(jù)接口接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)； 幀分析器，所述幀分析器基于所述圖像數(shù)據(jù)中的多個幀來確定光流；以及 邊界檢測器，所述邊界檢測器基于所述光流來識別所述一個或多個邊界。3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括傳感器接口，所述傳感器接口從所述車輛上的一 個或多個傳感器接收附加的傳感器數(shù)據(jù)，其中，所述邊界分析器基于所述附加的傳感器數(shù) 據(jù)來確定所述第二約束集，并且所述附加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤 信息和慣性數(shù)據(jù)中的一個或多個。4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述特征點分析器包括： 方向估算器，所述方向估算器估算每個特征點相對于所述多個攝像機的坐標系的方 向；以及 位置估算器，所述位置估算器估算每個特征點相對于所述多個攝像機的坐標系的位 置。5. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括特征點提取器，所述特征點提取器接收與所述多 個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于所述圖像數(shù)據(jù)對所述多個特征點進行檢測。6. 根據(jù)權(quán)利要求1至5中任一項所述的系統(tǒng)，其中，所述校準器對所述多個攝像機中的 一個或多個攝像機的方向進行估算，以進行所述自動校準。7. -種攝像機校準裝置，包括： 特征點分析器，所述特征點分析器基于地平面上的鄰近車輛的多個特征點來為所述多 個攝像機確定第一約束集； 邊界分析器，所述邊界分析器基于所述車輛的一個或多個邊界來為所述多個攝像機確 定第二約束集;以及 校準器，所述校準器基于所述第一約束集和所述第二約束集來對所述多個攝像機中的 一個或多個攝像機進行自動校準。8. 根據(jù)權(quán)利要求7所述的裝置，其中，所述邊界分析器包括： 圖像數(shù)據(jù)接口，所述圖像數(shù)據(jù)接口接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)； 幀分析器，所述幀分析器基于所述圖像數(shù)據(jù)中的多個幀來確定光流；以及 邊界檢測器，所述邊界檢測器基于所述光流來識別所述一個或多個邊界。9. 根據(jù)權(quán)利要求7所述的裝置，還包括傳感器接口，所述傳感器接口從所述車輛上的一 個或多個傳感器接收附加的傳感器數(shù)據(jù)，其中，所述邊界分析器基于所述附加的傳感器數(shù) 據(jù)來確定所述第二約束集，并且所述附加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤 信息和慣性數(shù)據(jù)中的一個或多個。10. 根據(jù)權(quán)利要求7所述的裝置，其中，所述幀分析器包括： 方向估算器，所述方向估算器估算每個特征點相對于所述多個攝像機的坐標系的方 向；以及 位置估算器，所述位置估算器估算每個特征點相對于所述多個攝像機的坐標系的位 置。11. 根據(jù)權(quán)利要求7所述的裝置，還包括特征點提取器，所述特征點提取器接收與所述 多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于所接收的圖像數(shù)據(jù)對所述多個特征點進行檢測。12. 根據(jù)權(quán)利要求7至11中任一項所述的裝置，其中，所述校準器對所述多個攝像機中 的一個或多個攝像機的方向進行估算，以進行所述自動校準。13. -種對基于攝像機的駕駛員輔助系統(tǒng)進行自動校準的方法，包括： 基于地平面上的鄰近車輛的多個特征點來為多個攝像機確定第一約束集； 基于所述車輛的一個或多個邊界來為所述多個攝像機確定第二約束集；以及 基于所述第一約束集和所述第二約束集來對所述多個攝像機中的一個或多個攝像機 進行自動校準。14. 根據(jù)權(quán)利要求13所述的方法，其中，確定所述第二約束集包括： 接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)； 基于所述圖像數(shù)據(jù)中的多個幀來確定光流；以及 基于所述光流來識別所述一個或多個邊界。15. 根據(jù)權(quán)利要求13所述的方法，還包括從所述車輛上的一個或多個傳感器接收附加 的傳感器數(shù)據(jù)，其中，所述第二約束集是基于所述附加的傳感器數(shù)據(jù)被確定的，并且所述附 加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤信息和慣性數(shù)據(jù)中的一個或多個。16. 根據(jù)權(quán)利要求13所述的方法，其中，確定所述第一約束集包括： 估算每個特征點相對于所述多個攝像機的坐標系的方向；以及 估算每個特征點相對于所述多個攝像機的坐標系的位置。17. 根據(jù)權(quán)利要求13所述的方法，還包括： 接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)；以及 基于所述圖像數(shù)據(jù)對所述多個特征點進行檢測。18. 根據(jù)權(quán)利要求13至17中任一項所述的方法，其中，進行自動校準包括對所述多個攝 像機中的一個或多個攝像機的方向進行估算。19. 一種攝像機校準裝置，包括： 用于基于地平面上的鄰近車輛的多個特征點來為多個攝像機確定第一約束集的模塊； 用于基于所述車輛的一個或多個邊界來為所述多個攝像機確定第二約束集的模塊；以 及 用于基于所述第一約束集和所述第二約束集來對所述多個攝像機中的一個或多個攝 像機進行自動校準的模塊。20. 根據(jù)權(quán)利要求19所述的裝置，其中，所述用于確定第二約束集的模塊包括： 用于接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)的模塊； 用于基于所述圖像數(shù)據(jù)中的多個幀來確定光流的模塊；以及 用于基于所述光流來識別所述一個或多個邊界的模塊。21. 根據(jù)權(quán)利要求19所述的裝置，還包括用于從所述車輛上的一個或多個傳感器接收 附加的傳感器數(shù)據(jù)的模塊，其中，所述第二約束集基于所述附加的傳感器數(shù)據(jù)被確定，并且 所述附加的傳感器數(shù)據(jù)包括速度數(shù)據(jù)、轉(zhuǎn)向角數(shù)據(jù)、方向盤信息和慣性數(shù)據(jù)中的一個或多 個。22. 根據(jù)權(quán)利要求19所述的裝置，其中，所述用于確定第一約束集的模塊包括： 用于估算每個特征點相對于所述多個攝像機的坐標系的方向的模塊；以及 用于估算每個特征點相對于所述多個攝像機的坐標系的位置的模塊。23. 根據(jù)權(quán)利要求19所述的裝置，還包括： 用于接收與所述多個攝像機相關(guān)聯(lián)的圖像數(shù)據(jù)的模塊；以及 用于基于所接收的圖像數(shù)據(jù)對所述多個特征點進行檢測的模塊。24. 根據(jù)權(quán)利要求19至23中任一項所述的裝置，其中，所述用于進行所述自動校準的裝 置包括用于估算所述多個攝像機中的一個或多個攝像機的方向的模塊。
【文檔編號】G06T7/00GK106027952SQ201610101599
【公開日】2016年10月12日
【申請日】2016年2月24日
【發(fā)明人】K·納特羅什維利, K-U·舍爾
【申請人】英特爾公司