監(jiān)控?cái)z像機(jī)的標(biāo)定方法和系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)一種監(jiān)控?cái)z像機(jī)的標(biāo)定方法及系統(tǒng)。方法包括：利用采集設(shè)備在待標(biāo)定監(jiān)控?cái)z像機(jī)的場(chǎng)景中采集多幅圖像，利用待標(biāo)定監(jiān)控?cái)z像機(jī)采集圖像；對(duì)采集設(shè)備采集的多幅圖像進(jìn)行特征匹配以獲取多幅圖像之間的匹配關(guān)系；根據(jù)多幅圖像之間的匹配關(guān)系重構(gòu)監(jiān)控場(chǎng)景的三維點(diǎn)集；以及根據(jù)重構(gòu)出的三維點(diǎn)集和待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。本發(fā)明可同時(shí)對(duì)多個(gè)監(jiān)控?cái)z像機(jī)的內(nèi)、外參進(jìn)行標(biāo)定，可計(jì)算出一個(gè)區(qū)域內(nèi)的所有監(jiān)控?cái)z像機(jī)的相對(duì)位置、朝向等信息；能處理監(jiān)控?cái)z像機(jī)視場(chǎng)沒(méi)有交疊的情況，且不要求監(jiān)控?cái)z像機(jī)之間同步；只需要采集設(shè)備采集圖像或視頻將待標(biāo)定的各個(gè)監(jiān)控?cái)z像機(jī)的視場(chǎng)相連接，就能計(jì)算出多個(gè)攝像機(jī)的內(nèi)參和外參。
【專(zhuān)利說(shuō)明】監(jiān)控?cái)z像機(jī)的標(biāo)定方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種監(jiān)控?cái)z像機(jī)的標(biāo)定方法和系統(tǒng)。
【背景技術(shù)】
[0002]視頻監(jiān)控是安全防護(hù)系統(tǒng)的重要部分，其中一個(gè)關(guān)鍵問(wèn)題是如何對(duì)監(jiān)控?cái)z像機(jī)進(jìn)行標(biāo)定，得到其內(nèi)部參數(shù)(主點(diǎn)坐標(biāo)、腳距、扭曲因子等)和外部參數(shù)(攝像機(jī)坐標(biāo)系相對(duì)于一個(gè)統(tǒng)一坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量)，從而得到監(jiān)控系統(tǒng)中各個(gè)攝像機(jī)的相對(duì)架設(shè)位置、朝向和監(jiān)控視場(chǎng)范圍等。
[0003]監(jiān)控?cái)z像機(jī)的標(biāo)定方法主要有三種:傳統(tǒng)的攝像機(jī)標(biāo)定方法、基于主動(dòng)視覺(jué)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法。第一種方法需要將經(jīng)過(guò)精密加工的標(biāo)定物體(如標(biāo)定塊、標(biāo)定板、標(biāo)定棒等)放在攝像機(jī)的視場(chǎng)中，通過(guò)建立標(biāo)定物體上的已知三維坐標(biāo)的點(diǎn)與其在圖像上的坐標(biāo)的對(duì)應(yīng)關(guān)系來(lái)計(jì)算攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)。這種方法由于需要在每個(gè)攝像機(jī)上進(jìn)行上述操作，因此標(biāo)定過(guò)程費(fèi)時(shí)費(fèi)力；而且由于室外監(jiān)控場(chǎng)景范圍往往較大，而標(biāo)定物體相對(duì)較小，因此其在圖像上所占比例較小，導(dǎo)致標(biāo)定誤差較大。第二種方法主動(dòng)控制攝像機(jī)做特殊運(yùn)動(dòng)(例如純平移運(yùn)動(dòng)或繞光心旋轉(zhuǎn)等)，利用運(yùn)動(dòng)的特殊性來(lái)計(jì)算攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)。但是，由于大多數(shù)監(jiān)控?cái)z像機(jī)的安裝位置固定且運(yùn)動(dòng)很難控制，因此這種方法的適用性差；而且這種方法也需要對(duì)每個(gè)攝像機(jī)逐一進(jìn)行標(biāo)定，工作量大。第三種方法不需要標(biāo)定物體，也不需要攝像機(jī)做特殊運(yùn)動(dòng)，而是直接利用待標(biāo)定的攝像機(jī)(可以是多個(gè))采集的多幅圖像之間像素點(diǎn)的對(duì)應(yīng)關(guān)系和內(nèi)、外參的約束來(lái)進(jìn)行標(biāo)定。目前已有一些自標(biāo)定技術(shù)能通過(guò)多視圖幾何的方法對(duì)多個(gè)攝像機(jī)同時(shí)進(jìn)行標(biāo)定，但是其要求多個(gè)攝像機(jī)的視場(chǎng)必須有較大的重疊區(qū)域，否則由于圖像匹配失敗，將無(wú)法進(jìn)行標(biāo)定。此夕卜，一般要求多個(gè)監(jiān)控?cái)z像機(jī)采集的視頻圖像同步。但是，在監(jiān)控系統(tǒng)的實(shí)際架設(shè)中，多數(shù)監(jiān)控?cái)z像機(jī)之間的重疊視場(chǎng)較小，而且由于聯(lián)網(wǎng)條件等限制很難獲得這些攝像機(jī)的同步視頻，因此現(xiàn)有的自標(biāo)定技術(shù)很難實(shí)現(xiàn)對(duì)多個(gè)攝像機(jī)同時(shí)進(jìn)行標(biāo)定。

【發(fā)明內(nèi)容】

[0004]本發(fā)明旨在至少在一定程度上解決現(xiàn)有技術(shù)中的上述技術(shù)問(wèn)題之一。
[0005]為此，本發(fā)明的一個(gè)目的在于提出一種能夠標(biāo)定無(wú)重疊視場(chǎng)下的監(jiān)控?cái)z像機(jī)的內(nèi)部參數(shù)和外部參數(shù)的監(jiān)控?cái)z像機(jī)的標(biāo)定方法。
[0006]本發(fā)明的另一個(gè)目的在于提出一種能夠標(biāo)定無(wú)重疊視場(chǎng)下的監(jiān)控?cái)z像機(jī)的內(nèi)部參數(shù)和外部參數(shù)的監(jiān)控?cái)z像機(jī)的標(biāo)定系統(tǒng)。
[0007]為達(dá)到上述目的，本發(fā)明第一方面的實(shí)施例提出一種監(jiān)控?cái)z像機(jī)的標(biāo)定方法，包括:利用采集設(shè)備在待標(biāo)定監(jiān)控?cái)z像機(jī)的場(chǎng)景中采集多幅圖像，以及利用所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集圖像；對(duì)所述采集設(shè)備采集的多幅圖像進(jìn)行特征匹配以獲取所述多幅圖像之間的匹配關(guān)系；根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集；以及根據(jù)所述重構(gòu)出的三維點(diǎn)集和所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
[0008]在本發(fā)明的一個(gè)實(shí)施例中，所述利用采集設(shè)備在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中采集多幅圖像包括:標(biāo)定所述采集設(shè)備的內(nèi)參；利用已經(jīng)標(biāo)定好內(nèi)參的所述采集設(shè)備在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中主動(dòng)采集多幅圖像，其中所述多幅圖像中的至少一些與所述待標(biāo)定監(jiān)控?cái)z像機(jī)的視場(chǎng)的重疊部分超過(guò)預(yù)設(shè)值。
[0009]在本發(fā)明的一個(gè)實(shí)施例中，所述對(duì)所述采集設(shè)備采集的多幅圖像進(jìn)行特征匹配以獲取所述多幅圖像之間的匹配關(guān)系包括:當(dāng)所述采集設(shè)備具有GPS傳感器時(shí)，利用所述采集設(shè)備采集圖像時(shí)獲取的GPS位置信息獲取每幅圖像的相鄰圖像，并對(duì)相鄰的圖像進(jìn)行兩兩匹配；以及當(dāng)所述采集設(shè)備不具有GPS傳感器時(shí)，對(duì)所述多幅圖像進(jìn)行兩兩匹配。
[0010]在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集包括:從所述多幅圖像中選擇滿足預(yù)設(shè)條件的兩幅圖像作為初始圖像，其中所述預(yù)設(shè)條件為兩幅圖像上匹配點(diǎn)的數(shù)目多，且圖像間退化不嚴(yán)重；根據(jù)所述初始圖像上的匹配點(diǎn)對(duì)計(jì)算所述初始圖像的攝像機(jī)矩陣；利用所述初始圖像間的匹配關(guān)系和所述初始圖像的攝像機(jī)矩陣重構(gòu)所述監(jiān)控場(chǎng)景的三維點(diǎn)；利用所述三維點(diǎn)和除所述初始圖像外的其他圖像擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集。
[0011]在本發(fā)明的一個(gè)實(shí)施例中，所述利用所述三維點(diǎn)和除所述初始圖像外的其他圖像擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集包括:判斷是否所述采集設(shè)備采集的多幅圖像均已經(jīng)參與計(jì)算所述重構(gòu)監(jiān)控場(chǎng)景的三維點(diǎn)集；如果否，則從未參與所述重構(gòu)的圖像中找到與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像，并計(jì)算所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像對(duì)應(yīng)的攝像機(jī)矩陣；利用所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像和已經(jīng)計(jì)算出攝像機(jī)矩陣的其他圖像的匹配點(diǎn)擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集；對(duì)所述獲得的攝像機(jī)矩陣和三維點(diǎn)進(jìn)行優(yōu)化。
[0012]在本發(fā)明的另一個(gè)實(shí)施例中，所述根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集包括:獲取所述多幅圖像對(duì)應(yīng)的采集設(shè)備的GPS位置和姿態(tài)信息，并根據(jù)所述GPS位置和姿態(tài)信息計(jì)算出每幅圖像對(duì)應(yīng)的攝像機(jī)矩陣；對(duì)于每?jī)煞鶊D像，利用所述攝像機(jī)矩陣通過(guò)三角法獲得所述兩幅圖像上的匹配點(diǎn)對(duì)的三維坐標(biāo)；利用光束平差法對(duì)所述攝像機(jī)矩陣和所述匹配點(diǎn)對(duì)的三維坐標(biāo)進(jìn)行優(yōu)化。
[0013]在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)所述重構(gòu)出的三維點(diǎn)集和所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)包括:將所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像與參與所述重構(gòu)的圖像進(jìn)行特征匹配以獲取相匹配的第一特征點(diǎn)集，并計(jì)算出所述第一特征點(diǎn)集與所述三維點(diǎn)集在參與重構(gòu)的圖像中的對(duì)應(yīng)特征點(diǎn)集的交集；判斷所述交集中的特征點(diǎn)的數(shù)目是否大于預(yù)設(shè)閾值；如果否，則主動(dòng)采集新的圖像，并根據(jù)所述新的圖像擴(kuò)充所述三維點(diǎn)集以更新所述交集；重復(fù)上述步驟直至所述交集中的特征點(diǎn)的數(shù)目大于所述預(yù)設(shè)閾值；根據(jù)所述交集對(duì)應(yīng)的三維點(diǎn)集合和所述交集計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
[0014]本發(fā)明第二方面的實(shí)施例提供一種監(jiān)控?cái)z像機(jī)的標(biāo)定系統(tǒng)。所述系統(tǒng)包括:采集設(shè)備，用于在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中采集多幅圖像；以及計(jì)算裝置，用于根據(jù)所述采集設(shè)備采集的多幅圖像進(jìn)行特征匹配以獲取所述多幅圖像之間的匹配關(guān)系，并根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集，以及根據(jù)所述重構(gòu)出的三維點(diǎn)集和所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
[0015]在本發(fā)明的一個(gè)實(shí)施例中，所述采集設(shè)備的內(nèi)參已經(jīng)被標(biāo)定，且所述已經(jīng)標(biāo)定好內(nèi)參的采集設(shè)備在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中主動(dòng)采集多幅圖像，其中所述多幅圖像中的至少一些與所述待標(biāo)定監(jiān)控?cái)z像機(jī)的視場(chǎng)的重疊部分超過(guò)預(yù)設(shè)值。
[0016]在本發(fā)明的一個(gè)實(shí)施例中，所述計(jì)算裝置用于:從所述多幅圖像中選擇滿足預(yù)設(shè)條件的兩幅圖像作為初始圖像，其中所述預(yù)設(shè)條件為兩幅圖像上匹配點(diǎn)的數(shù)目多，且圖像間退化不嚴(yán)重；根據(jù)所述初始圖像上的匹配點(diǎn)對(duì)計(jì)算所述初始圖像的攝像機(jī)矩陣；利用所述初始圖像間的匹配關(guān)系和所述初始圖像的攝像機(jī)矩陣重構(gòu)所述監(jiān)控場(chǎng)景的三維點(diǎn)；利用所述三維點(diǎn)和除所述初始圖像外的其他圖像擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集。
[0017]在本發(fā)明的一個(gè)實(shí)施例中，所述計(jì)算裝置進(jìn)一步用于:判斷是否所述采集設(shè)備采集的多幅圖像均已經(jīng)參與計(jì)算所述重構(gòu)監(jiān)控場(chǎng)景的三維點(diǎn)集；如果否，則從未參與計(jì)算所述重構(gòu)的圖像中找到與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像，并計(jì)算所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像對(duì)應(yīng)的攝像機(jī)矩陣；利用所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像和已經(jīng)計(jì)算出攝像機(jī)矩陣的其他圖像的匹配點(diǎn)擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集；對(duì)所述獲得的攝像機(jī)矩陣和三維點(diǎn)進(jìn)行優(yōu)化。
[0018]在本發(fā)明的一個(gè)實(shí)施例中，所述計(jì)算裝置用于:獲取所述多幅圖像對(duì)應(yīng)的采集設(shè)備的GPS位置和姿態(tài)信息，并根據(jù)所述GPS位置和姿態(tài)信息計(jì)算出每幅圖像對(duì)應(yīng)的攝像機(jī)矩陣；對(duì)于每?jī)煞鶊D像，利用所述攝像機(jī)矩陣和所述多幅圖像之間的匹配關(guān)系通過(guò)三角法獲得所述兩幅圖像上的匹配點(diǎn)對(duì)的三維坐標(biāo)；利用光束平差法對(duì)所述攝像機(jī)矩陣和所述匹配點(diǎn)對(duì)的三維坐標(biāo)進(jìn)行優(yōu)化。
[0019]在本發(fā)明的一個(gè)實(shí)施例中，所述計(jì)算裝置用于:將所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像與參與所述重構(gòu)的圖像進(jìn)行特征匹配以獲取相匹配的第一特征點(diǎn)集，并計(jì)算出所述第一特征點(diǎn)集與所述三維點(diǎn)集在參與重構(gòu)的圖像中的對(duì)應(yīng)特征點(diǎn)集的交集；判斷所述交集中的特征點(diǎn)的數(shù)目是否大于預(yù)設(shè)閾值；如果否，則主動(dòng)采集新的圖像，并根據(jù)所述新的圖像擴(kuò)充所述三維點(diǎn)集以更新所述交集；重復(fù)上述步驟直至所述交集中的特征點(diǎn)的數(shù)目大于所述預(yù)設(shè)閾值；根據(jù)所述交集對(duì)應(yīng)的三維點(diǎn)集合和所述交集計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
[0020]本發(fā)明可以首先利用采集設(shè)備得到比較完整的監(jiān)控場(chǎng)景的圖像信息，然后精確地重構(gòu)出監(jiān)控場(chǎng)景的三維點(diǎn)，最后利用這些三維點(diǎn)和監(jiān)控?cái)z像機(jī)采集的圖像上特征點(diǎn)的匹配關(guān)系計(jì)算出監(jiān)控?cái)z像機(jī)的攝像機(jī)矩陣，從而實(shí)現(xiàn)對(duì)監(jiān)控?cái)z像機(jī)進(jìn)行標(biāo)定。同時(shí)，標(biāo)定過(guò)程是動(dòng)態(tài)的，即如果發(fā)現(xiàn)恢復(fù)的監(jiān)控場(chǎng)景的三維點(diǎn)不足以對(duì)監(jiān)控?cái)z像機(jī)進(jìn)行標(biāo)定，可以再次拍攝更多的圖像擴(kuò)充監(jiān)控場(chǎng)景的三維點(diǎn)集，從而可以保證所有待標(biāo)定的監(jiān)控?cái)z像機(jī)最終都能得到標(biāo)定。本發(fā)明不同于傳統(tǒng)的攝像機(jī)標(biāo)定方法需要標(biāo)定物、攝像機(jī)做特殊運(yùn)動(dòng)或者要求攝像機(jī)視場(chǎng)之間有重疊區(qū)域，而只需要用標(biāo)定好的采集設(shè)備主動(dòng)拍攝的監(jiān)控場(chǎng)景圖像將待標(biāo)定的各個(gè)監(jiān)控?cái)z像機(jī)的視場(chǎng)相連接，就能對(duì)多個(gè)監(jiān)控?cái)z像機(jī)同時(shí)進(jìn)行標(biāo)定，得到其內(nèi)參和相對(duì)位置關(guān)系。本發(fā)明的方法不要求待標(biāo)定的監(jiān)控?cái)z像機(jī)之間同步，且能處理監(jiān)控?cái)z像機(jī)視場(chǎng)沒(méi)有交疊的情況。如果用街景車(chē)進(jìn)行圖像采集，則可以進(jìn)行城市級(jí)別的監(jiān)控?cái)z像機(jī)網(wǎng)絡(luò)的智能分析。
[0021]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0022]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0023]圖1是本發(fā)明一個(gè)實(shí)施例的監(jiān)控?cái)z像機(jī)的標(biāo)定方法的流程圖；
[0024]圖2是本發(fā)明一個(gè)實(shí)施例的根據(jù)多幅圖像之間的匹配關(guān)系重構(gòu)待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集的方法的流程圖；
[0025]圖3是本發(fā)明一個(gè)實(shí)施例的根據(jù)重構(gòu)出的三維點(diǎn)集和待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)的方法的流程圖；以及
[0026]圖4是本發(fā)明一個(gè)實(shí)施例的監(jiān)控?cái)z像機(jī)的標(biāo)定系統(tǒng)的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0027]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。
[0028]在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括一個(gè)或者多個(gè)該特征。在本發(fā)明的描述中，“多個(gè)”的含義是兩個(gè)或兩個(gè)以上，除非另有明確具體的限定。
[0029]圖1是本發(fā)明一個(gè)實(shí)施例的監(jiān)控?cái)z像機(jī)的標(biāo)定方法的流程圖。如圖1所示，根據(jù)本發(fā)明一個(gè)實(shí)施例的監(jiān)控?cái)z像機(jī)的標(biāo)定方法包括如下步驟。
[0030]步驟SI，利用采集設(shè)備在待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中采集多幅圖像，以及利用待標(biāo)定監(jiān)控?cái)z像機(jī)采集圖像。
[0031 ] 在本發(fā)明的一個(gè)實(shí)施例中，可首先利用傳統(tǒng)的攝像機(jī)標(biāo)定方法標(biāo)定采集設(shè)備的內(nèi)部參數(shù)(焦距、長(zhǎng)寬比、主點(diǎn)、扭曲等)。由此可以增加場(chǎng)景重建的精度，從而使得最終的監(jiān)控?cái)z像機(jī)的標(biāo)定更為精確。在本發(fā)明的一個(gè)實(shí)施例中，采集設(shè)備可以是相機(jī)、手機(jī)、PTZ鏡頭、全景采集設(shè)備等。
[0032]然后，利用標(biāo)定好的采集設(shè)備在監(jiān)控場(chǎng)景中主動(dòng)采集多幅圖像或多段視頻(如果是視頻，則截取其中的多幅圖像)，從而獲取比較完整的監(jiān)控場(chǎng)景圖像信息，便于實(shí)現(xiàn)后續(xù)的場(chǎng)景三維重構(gòu)。采集時(shí)要保證采集的多幅圖像中的某些圖像和待標(biāo)定攝像機(jī)的視場(chǎng)有較大的重疊部分，從而保證通過(guò)這些圖像能將各個(gè)待標(biāo)定攝像機(jī)的視場(chǎng)連接起來(lái)。圖像或視頻可以是等間隔距離地均勻拍攝得到(例如，google街景、百度街景、soso街景等拍攝方式)，也可以是不等間隔拍攝得到(例如，同時(shí)利用互聯(lián)網(wǎng)上已有的該監(jiān)控場(chǎng)景的圖像)。在本發(fā)明的實(shí)施例中，不要求采集設(shè)備的圖像或視頻和待標(biāo)定攝像機(jī)采集的圖像同步。此外，在本發(fā)明中，可以通過(guò)多個(gè)位置和姿態(tài)不同的采集設(shè)備采集多幅圖像，或者通過(guò)一個(gè)采集設(shè)備在不同位置和姿態(tài)下采集多幅圖像。換句話說(shuō)，只要保證多幅圖像對(duì)應(yīng)的位置和姿態(tài)不同即可。
[0033]步驟S2，對(duì)采集設(shè)備采集到的多幅圖像進(jìn)行特征匹配以獲取多幅圖像之間的匹配關(guān)系。
[0034]具體地,首先提取每幅圖像的特征點(diǎn)(例如，Sift、Surf、Harris等特征點(diǎn)),獲取每個(gè)特征點(diǎn)在圖像中的位置和描述子。然后對(duì)每?jī)煞鶊D像進(jìn)行特征點(diǎn)匹配以獲取兩幅圖像上的特征點(diǎn)的對(duì)應(yīng)關(guān)系。這個(gè)步驟既可以通過(guò)計(jì)算機(jī)自動(dòng)完成，也可以通過(guò)人工手動(dòng)完成(即，人工指定兩幅圖像上匹配的特征點(diǎn)對(duì))。而且，目前已有很多自動(dòng)完成特征點(diǎn)匹配的算法，例如用特征點(diǎn)描述子的最近鄰次近鄰比約束進(jìn)行特征點(diǎn)匹配的算法(參見(jiàn)lowe，D.G., “Distinctive Image Feature from Scale-1nvariant Keypoints，，，InternationalJournal of Computer Vision, 60, 2, 91-110頁(yè)，2004)、用特征點(diǎn)位置的對(duì)極幾何約束進(jìn)行特征點(diǎn)匹配的算法(參見(jiàn) M.A.Fischer 和 R.C.Bolles, “Random sample consensus:Aparadigm for model fitting with applications to image analysis and automatedcartography”, Commun.Acm,卷 24，381-395 頁(yè)，1981 年 6 月)、用基于圖匹配的 WGTM 方法進(jìn)行特征點(diǎn)匹配的算法(參見(jiàn)Saeedi P, Izadi M.A Robust Weighted Graph TransformationMatching for Rigid and Non-rigid Image Registration[J].2012),此處不再進(jìn)行詳細(xì)描述。
[0035]由于圖像兩兩匹配的計(jì)算量較大，因此在本發(fā)明的一個(gè)實(shí)施例中，可以首先找到每個(gè)圖像的相鄰圖像，然后只對(duì)相鄰的圖像進(jìn)行兩兩匹配，從而減少匹配工作量。具體地，可以用圖像的Gist全局特征對(duì)圖像先進(jìn)行聚類(lèi)然后找到相鄰圖像，或者利用圖像Sift等特征建詞典樹(shù)對(duì)每個(gè)圖像進(jìn)行量化從而找到近鄰，或者利用采集設(shè)備采集圖像時(shí)獲取的GPS位置信息找到圖像的相鄰圖像，或者使用從視頻中截取的相鄰幀的圖像作為相鄰圖像。
[0036]步驟S3，根據(jù)多幅圖像之間的匹配關(guān)系重構(gòu)待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集。
[0037]這個(gè)步驟可以通過(guò)很多方法實(shí)現(xiàn)，例如，基于IBA (Incremental BundleAdjustment,增量式捆集調(diào)整)框架的SFM (Structure From Motion,運(yùn)動(dòng)恢復(fù)結(jié)構(gòu))算法(參見(jiàn) S.Agarwal, N.Snavely, 1.Simon, S.Seitz, R.Szelisk1.Building Rome ina Day, ICCV, 2009 )，基于離散置信傳播和列文伯格-馬夸爾特法的SFM方法(參見(jiàn)論文 Crandall D, Owens A, Snavely N, et al.Discrete-continuous optimization forlarge-scale structure from motion [C]，CVPR, 2011),或者利用采集設(shè)備上傳感器獲取的GPS和姿態(tài)信息直接重構(gòu)場(chǎng)景。
[0038]在本發(fā)明的一個(gè)實(shí)施例中，可以基于IBA框架的SFM方法重構(gòu)監(jiān)控場(chǎng)景的三維點(diǎn)集，具體地包括以下步驟。
[0039]步驟S311，從采集設(shè)備采集的多幅圖像中選擇滿足以下要求的兩幅圖像作為初始圖像:兩幅圖像上的匹配點(diǎn)的數(shù)目多，且圖像間退化不嚴(yán)重。
[0040]步驟S312，利用上面得到的兩幅初始圖像重構(gòu)場(chǎng)景的三維點(diǎn)。
[0041]具體地，首先利用兩幅初始圖像上的所有匹配的特征點(diǎn)對(duì)(Xjl，Xj2)計(jì)算出滿
足x'i'Exr_ =0的本質(zhì)矩陣E (例如使用David Nister提出的五點(diǎn)法，參見(jiàn)Nist6r D.An
efficient solution to the five-point relative pose problem[J].1EEE Transactionson Pattern Analysis and Machine Intelligence, 2004)。然后對(duì)本質(zhì)矩陣 E 進(jìn)行分解得到兩幅初始圖像對(duì)應(yīng)的攝像機(jī)矩陣P1和P2 (將其中一幅圖像對(duì)應(yīng)的坐標(biāo)系作為世界坐標(biāo)系，即一幅圖像對(duì)應(yīng)的像機(jī)矩陣為P1=KJIlO],其中K1為已知的采集設(shè)備內(nèi)參矩陣，I為3X3的單位陣，O為3X1的全零向量，具體方法見(jiàn)《計(jì)算機(jī)視覺(jué)中的多視圖幾何》第八章第六節(jié)，Richard Hartley等著,韋穗等譯)。最后,利用P1'P2通過(guò)三角法獲得這兩幅初始圖像上的匹配點(diǎn)對(duì)(Xjl，Xj2)的三維坐標(biāo)X」。
[0042]步驟S313，利用上面得到的三維點(diǎn)和除兩幅初始圖像之外的其他圖像擴(kuò)充監(jiān)控場(chǎng)景的三維點(diǎn)集，得到監(jiān)控場(chǎng)景的更加稠密的表示。具體地包括如下步驟。
[0043]步驟S3131，判斷是否所有的圖像均已經(jīng)參與計(jì)算。如果是，則結(jié)束并輸出重構(gòu)出的三維點(diǎn)集。如果否，則繼續(xù)執(zhí)行步驟S3132。
[0044]步驟S3132，從未參與重構(gòu)的圖像中找到與已重構(gòu)出的三維點(diǎn)匹配最好的圖像，并計(jì)算出其對(duì)應(yīng)的攝像機(jī)矩陣。
[0045]設(shè)已重構(gòu)出的三維點(diǎn)集為X_set，對(duì)應(yīng)的在已計(jì)算出攝像機(jī)矩陣的圖像中的特征點(diǎn)的集合為x_set，從未參與重構(gòu)的圖像中找一張圖像使得其特征點(diǎn)和x_set中的特征點(diǎn)匹配數(shù)目最多；設(shè)這些匹配上的特征點(diǎn)為x_seti，這些點(diǎn)對(duì)應(yīng)的三維點(diǎn)集為X_set的子集記作X_set1;利用已知的X-Set1和X-Set1用直接線性變換計(jì)算出新加入的圖像對(duì)應(yīng)的攝像機(jī)矩陣。
[0046]步驟S3133，利用上面得到的最佳匹配的圖像和已計(jì)算出攝像機(jī)矩陣的其他圖像的匹配結(jié)果擴(kuò)充場(chǎng)景的三維點(diǎn)集，并對(duì)得到的所有攝像機(jī)矩陣和三維點(diǎn)進(jìn)行優(yōu)化。
[0047]具體地，讀取上面得到的最佳匹配的圖像與已計(jì)算出攝像機(jī)矩陣的圖像相匹配的所有特征點(diǎn)(即，可以直接讀取上述步驟S2中獲得的匹配結(jié)果)，并將這些點(diǎn)加入到x_set中。然后，用三角法計(jì)算出新加入的點(diǎn)的三維坐標(biāo)，并將這些三維點(diǎn)坐標(biāo)加入到X_set中。
[0048]此外，可采用光束平差法對(duì)得到的攝像機(jī)矩陣和三維點(diǎn)進(jìn)行優(yōu)化:將已計(jì)算出的攝像機(jī)矩陣Pi和三維點(diǎn)坐標(biāo)Xj作為變量進(jìn)行迭代優(yōu)化，使得總反投影誤差最小，求解
【權(quán)利要求】
1.一種監(jiān)控?cái)z像機(jī)的標(biāo)定方法，其特征在于，包括: 利用采集設(shè)備在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中采集多幅圖像，以及利用待標(biāo)定監(jiān)控?cái)z像機(jī)采集圖像； 對(duì)所述采集設(shè)備采集的多幅圖像進(jìn)行特征匹配以獲取所述多幅圖像之間的匹配關(guān)系; 根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集; 根據(jù)所述重構(gòu)出的三維點(diǎn)集和所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用采集設(shè)備在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中采集多幅圖像包括: 標(biāo)定所述采集設(shè)備的內(nèi)參； 利用已經(jīng)標(biāo)定好內(nèi)參的所述采集設(shè)備在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中主動(dòng)采集多幅圖像，其中所述多幅圖像中的至少一些與所述待標(biāo)定監(jiān)控?cái)z像機(jī)的視場(chǎng)的重疊部分超過(guò)預(yù)設(shè)值。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述對(duì)所述采集設(shè)備采集的多幅圖像進(jìn)行特征匹配以獲取所述多幅圖 像之間的匹配關(guān)系包括: 當(dāng)所述采集設(shè)備具有GPS傳感器時(shí)，利用所述采集設(shè)備采集圖像時(shí)獲取的GPS位置信息獲取每幅圖像的相鄰圖像，并對(duì)相鄰的圖像進(jìn)行兩兩匹配；以及 當(dāng)所述采集設(shè)備不具有GPS傳感器時(shí)，對(duì)所述多幅圖像進(jìn)行兩兩匹配。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集包括: 從所述多幅圖像中選擇滿足預(yù)設(shè)條件的兩幅圖像作為初始圖像，其中所述預(yù)設(shè)條件為兩幅圖像上匹配點(diǎn)的數(shù)目多，且圖像間退化不嚴(yán)重； 根據(jù)所述初始圖像上的匹配點(diǎn)對(duì)計(jì)算所述初始圖像的攝像機(jī)矩陣； 利用所述初始圖像間的匹配關(guān)系和所述初始圖像的攝像機(jī)矩陣重構(gòu)所述監(jiān)控場(chǎng)景的三維點(diǎn)； 利用所述三維點(diǎn)和除所述初始圖像外的其他圖像擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述利用所述三維點(diǎn)和所述初始圖像外的其他圖像擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集包括: 判斷是否所述采集設(shè)備采集的多幅圖像均已經(jīng)參與計(jì)算所述重構(gòu)監(jiān)控場(chǎng)景的三維點(diǎn)集; 如果否，則從未參與計(jì)算所述重構(gòu)的圖像中找到與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像，并計(jì)算所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像對(duì)應(yīng)的攝像機(jī)矩陣； 利用所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像和已經(jīng)計(jì)算出攝像機(jī)矩陣的其他圖像的匹配點(diǎn)擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集； 對(duì)所述獲得的攝像機(jī)矩陣和三維點(diǎn)進(jìn)行優(yōu)化。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集包括:獲取所述多幅圖像對(duì)應(yīng)的采集設(shè)備的GPS位置和姿態(tài)信息，并根據(jù)所述GPS位置和姿態(tài)信息計(jì)算出每幅圖像對(duì)應(yīng)的攝像機(jī)矩陣； 對(duì)于每?jī)煞鶊D像，利用所述攝像機(jī)矩陣和所述多幅圖像之間的匹配關(guān)系通過(guò)三角法獲得所述兩幅圖像上的匹配點(diǎn)對(duì)的三維坐標(biāo)； 利用光束平差法對(duì)所述攝像機(jī)矩陣和所述匹配點(diǎn)對(duì)的三維坐標(biāo)進(jìn)行優(yōu)化。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述重構(gòu)出的三維點(diǎn)集和所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)包括: 將所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像與參與所述重構(gòu)的圖像進(jìn)行特征匹配以獲取相匹配的第一特征點(diǎn)集，并計(jì)算出所述第一特征點(diǎn)集與所述三維點(diǎn)集在參與重構(gòu)的圖像中的對(duì)應(yīng)特征點(diǎn)集的交集； 判斷所述交集中的特征點(diǎn)的數(shù)目是否大于預(yù)設(shè)閾值； 如果否，則主動(dòng)采集新的圖像，并根據(jù)所述新的圖像擴(kuò)充所述三維點(diǎn)集以更新所述交集; 重復(fù)上述步驟直至所述交集中的特征點(diǎn)的數(shù)目大于所述預(yù)設(shè)閾值； 根據(jù)所述交集對(duì)應(yīng)的三維點(diǎn)集合以及所述交集計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
8.—種監(jiān)控?cái)z像機(jī)的標(biāo)定系統(tǒng)，其特征在于，所述系統(tǒng)包括: 至少一個(gè)采集設(shè)備，用于在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中采集多幅圖像；· 計(jì)算裝置，用于根據(jù)所述至少一個(gè)采集設(shè)備采集的多幅圖像進(jìn)行特征匹配以獲取所述多幅圖像之間的匹配關(guān)系，并根據(jù)所述多幅圖像之間的匹配關(guān)系重構(gòu)所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景的三維點(diǎn)集，以及根據(jù)所述重構(gòu)出的三維點(diǎn)集和所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述至少一個(gè)采集設(shè)備的內(nèi)參已經(jīng)被標(biāo)定，且已經(jīng)標(biāo)定好內(nèi)參的至少一個(gè)采集設(shè)備在所述待標(biāo)定監(jiān)控?cái)z像機(jī)的監(jiān)控場(chǎng)景中主動(dòng)采集多幅圖像，其中所述多幅圖像中的至少一些與所述待標(biāo)定監(jiān)控?cái)z像機(jī)的視場(chǎng)的重疊部分超過(guò)預(yù)設(shè)值。
10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述計(jì)算裝置用于: 從所述多幅圖像中選擇滿足預(yù)設(shè)條件的兩幅圖像作為初始圖像，其中所述預(yù)設(shè)條件為兩幅圖像上匹配點(diǎn)的數(shù)目多，且圖像間退化不嚴(yán)重； 根據(jù)所述初始圖像上的匹配點(diǎn)對(duì)計(jì)算所述初始圖像的攝像機(jī)矩陣； 利用所述初始圖像間的匹配關(guān)系和所述初始圖像的攝像機(jī)矩陣重構(gòu)所述監(jiān)控場(chǎng)景的三維點(diǎn)； 利用所述三維點(diǎn)和除所述初始圖像外的其他圖像擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于，所述計(jì)算裝置進(jìn)一步用于: 判斷是否所述采集設(shè)備采集的多幅圖像均已經(jīng)參與計(jì)算所述重構(gòu)監(jiān)控場(chǎng)景的三維點(diǎn)集; 如果否，則從未參與計(jì)算所述重構(gòu)的圖像中找到與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像，并計(jì)算所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像對(duì)應(yīng)的攝像機(jī)矩陣； 利用所述與已經(jīng)重構(gòu)出的三維點(diǎn)最匹配的圖像和已經(jīng)計(jì)算出攝像機(jī)矩陣的其他圖像的匹配點(diǎn)擴(kuò)充所述監(jiān)控場(chǎng)景的三維點(diǎn)集；對(duì)所述獲得的攝像機(jī)矩陣和三維點(diǎn)進(jìn)行優(yōu)化。
12.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述計(jì)算裝置用于: 獲取所述多幅圖像對(duì)應(yīng)的采集設(shè)備的GPS位置和姿態(tài)信息，并根據(jù)所述GPS位置和姿態(tài)信息計(jì)算出每幅圖像對(duì)應(yīng)的攝像機(jī)矩陣； 對(duì)于每?jī)煞鶊D像，利用所述攝像機(jī)矩陣和所述多幅圖像之間的匹配關(guān)系通過(guò)三角法獲得所述兩幅圖像上的匹配點(diǎn)對(duì)的三維坐標(biāo)； 利用光束平差法對(duì)所述攝像機(jī)矩陣和所述匹配點(diǎn)對(duì)的三維坐標(biāo)進(jìn)行優(yōu)化。
13.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述計(jì)算裝置用于: 將所述待標(biāo)定監(jiān)控?cái)z像機(jī)采集的圖像與參與所述重構(gòu)的圖像進(jìn)行特征匹配以獲取相匹配的第一特征點(diǎn)集，并計(jì)算出所述第一特征點(diǎn)集與所述三維點(diǎn)集在參與重構(gòu)的圖像中的對(duì)應(yīng)特征點(diǎn)集的交集； 判斷所述交集中的特征點(diǎn)的數(shù)目是否大于預(yù)設(shè)閾值； 如果否，則主動(dòng)采集新的圖像，并根據(jù)所述新的圖像擴(kuò)充所述三維點(diǎn)集以更新所述交集; 重復(fù)上述步驟直至所述交集中的特征點(diǎn)的數(shù)目大于所述預(yù)設(shè)閾值； 根據(jù)所述交集對(duì)應(yīng)的三維點(diǎn)集合和所述交集計(jì)算所述待標(biāo)定監(jiān)控?cái)z像機(jī)的參數(shù)。
【文檔編號(hào)】G06T7/00GK103824278SQ201310670982
【公開(kāi)日】2014年5月28日 申請(qǐng)日期:2013年12月10日 優(yōu)先權(quán)日:2013年12月10日
【發(fā)明者】周杰, 鄧?yán)? 喻川, 張昊飏 申請(qǐng)人:清華大學(xué)