本發(fā)明涉及圖像處理領(lǐng)域，具體而言，涉及一種特征點(diǎn)跟蹤方法和裝置。

背景技術(shù)：

特征點(diǎn)(角點(diǎn))提取是一種常用的圖像特征提取方法，通過對(duì)圖像中的特征點(diǎn)進(jìn)行提取可以檢測(cè)、提取、識(shí)別和跟蹤圖像序列中的目標(biāo)。FAST(Features from Accelerated Segment Test)是一種角點(diǎn)檢測(cè)方法，它可以用于特征點(diǎn)的提取，并完成跟蹤和映射物體。FAST角點(diǎn)檢測(cè)算法最初是由Edward Rosten和Tom Drummond提出，該算法最突出的優(yōu)點(diǎn)是它的計(jì)算效率。

現(xiàn)有技術(shù)中，特征點(diǎn)跟蹤方法的工作原理如下：

在初始化時(shí)提取當(dāng)前視野中的所有特征點(diǎn)，選取其中一定數(shù)量的質(zhì)量較高的特征點(diǎn)進(jìn)行跟蹤。由于攝像頭位置的改變或攝像頭視野中物體的移動(dòng)可能導(dǎo)致圖像中的景象發(fā)生改變，在圖像發(fā)生改變時(shí)，圖像中的部分特征點(diǎn)可能會(huì)在圖像中移動(dòng)或丟失。在之后的每一幀中，視覺系統(tǒng)會(huì)利用稀疏光流的方法對(duì)特征點(diǎn)進(jìn)行跟蹤，根據(jù)之前幀的圖像和特征點(diǎn)找到之前的特征點(diǎn)在當(dāng)前幀中匹配的位置。在跟蹤特征點(diǎn)的過程中部分特征點(diǎn)可能會(huì)跟蹤失敗，導(dǎo)致圖像中總的特征點(diǎn)數(shù)降低。由于算法通常要求保證特征點(diǎn)維持在一定的數(shù)量，為保證當(dāng)前幀中跟蹤到的FAST特征點(diǎn)維持在一定數(shù)量，當(dāng)特征點(diǎn)因機(jī)器人的運(yùn)動(dòng)而消失時(shí)，需要補(bǔ)充特征點(diǎn)?，F(xiàn)有技術(shù)中，視覺系統(tǒng)會(huì)再次調(diào)用初始化時(shí)的方法遍歷當(dāng)前圖像，找出當(dāng)前視野中所有的特征點(diǎn)，并選取其中較好的特征點(diǎn)以補(bǔ)充特征點(diǎn)的數(shù)量。

上述提取當(dāng)前視野中所有特征點(diǎn)的算法會(huì)遍歷整個(gè)圖像，導(dǎo)致了較大的時(shí)間耗費(fèi)，在實(shí)時(shí)系統(tǒng)中，例如，機(jī)器人的視覺系統(tǒng)，遍歷圖像的時(shí)間開銷過大，會(huì)影響機(jī)器人整體的性能。

針對(duì)相關(guān)技術(shù)中的特征點(diǎn)跟蹤方法容易導(dǎo)致系統(tǒng)時(shí)間開銷過大的問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提供一種特征點(diǎn)跟蹤方法和裝置，以解決相關(guān)技術(shù)中的特征點(diǎn)跟蹤方法容易導(dǎo)致系統(tǒng)時(shí)間開銷過大的問題。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種特征點(diǎn)跟蹤方法。該方法應(yīng)用于具有圖像跟蹤單元的電子設(shè)備，電子設(shè)備用于基于圖像跟蹤單元執(zhí)行對(duì)目標(biāo)對(duì)象的跟蹤，該方法包括：確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n，其中，n為大于1的整數(shù)，第二幀圖像為第一幀圖像在時(shí)間維度上的前一幀圖像；對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)，其中，第一處理為在圖像中隨機(jī)選取像素點(diǎn)并檢測(cè)選取的像素點(diǎn)是否為特征點(diǎn)，新的特征點(diǎn)不同于第一幀圖像中未丟失的特征點(diǎn)；將第一幀圖像中未丟失的特征點(diǎn)和n個(gè)新的特征點(diǎn)組合得到第一幀圖像的全部特征點(diǎn)。

進(jìn)一步地，在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之后，該方法還包括：判斷數(shù)量n是否超過預(yù)設(shè)閾值，其中，在判斷數(shù)量n是否超過預(yù)設(shè)閾值之后，該方法還包括：如果判斷出數(shù)量n超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第二處理以獲取第一幀圖像的所有的特征點(diǎn)，其中，第二處理為檢測(cè)圖像中所有的像素點(diǎn)是否為特征點(diǎn)；在獲取到的第一幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)；如果判斷出數(shù)量n未超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第一處理。

進(jìn)一步地，在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之前，該方法還包括：對(duì)初始幀圖像執(zhí)行第二處理以獲取初始幀圖像的所有的特征點(diǎn)；在獲取到的初始幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)。

進(jìn)一步地，確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n包括：通過預(yù)設(shè)跟蹤算法在第一幀圖像中跟蹤第二幀圖像的特征點(diǎn)，其中，第二幀圖像的特征點(diǎn)在第一幀圖像中未跟蹤成功的特征點(diǎn)的數(shù)量為n，未跟蹤成功的特征點(diǎn)為在第二幀圖像中存在但在第一幀圖像中丟失的特征點(diǎn)。

進(jìn)一步地，第一幀圖像和第二幀圖像為通過圖像跟蹤單元獲取的圖像，在對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)之前，該方法還包括：獲取圖像跟蹤單元的運(yùn)動(dòng)信息；根據(jù)圖像跟蹤單元的運(yùn)動(dòng)信息估算第一幀圖像相較于第二幀圖像丟失的n個(gè)特征點(diǎn)在第一幀圖像中所在的區(qū)域X；相應(yīng)的，對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)，包括：對(duì)第一幀圖像中的區(qū)域X執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種特征點(diǎn)跟蹤裝置。該裝置應(yīng)用于具有圖像跟蹤單元的電子設(shè)備，電子設(shè)備用于基于圖像跟蹤單元執(zhí)行對(duì)目標(biāo)對(duì)象的跟蹤，該裝置包括：第一確定單元，用于確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n，其中，n為大于1的整數(shù)，第二幀圖像為第一幀圖像在時(shí)間維度上的前一幀圖像；第一執(zhí)行單元，用于對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)，其中，第一處理為在圖像中隨機(jī)選取像素點(diǎn)并檢測(cè)選取的像素點(diǎn)是否為特征點(diǎn)，新的特征點(diǎn)不同于第一幀圖像中未丟失的特征點(diǎn)；組合單元，用于將第一幀圖像中未丟失的特征點(diǎn)和n個(gè)新的特征點(diǎn)組合得到第一幀圖像的全部特征點(diǎn)。

進(jìn)一步地，該裝置還包括：判斷單元，用于在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之后，判斷數(shù)量n是否超過預(yù)設(shè)閾值，第二執(zhí)行單元，用于在判斷數(shù)量n是否超過預(yù)設(shè)閾值之后，如果判斷出數(shù)量n超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第二處理以獲取第一幀圖像的所有的特征點(diǎn)，其中，第二處理為檢測(cè)圖像中所有的像素點(diǎn)是否為特征點(diǎn)；在獲取到的第一幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)，其中，第一執(zhí)行單元還用于如果判斷出數(shù)量n未超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第一處理。

進(jìn)一步地，第二執(zhí)行單元還用于在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之前，對(duì)初始幀圖像執(zhí)行第二處理以獲取初始幀圖像的所有的特征點(diǎn)，該裝置還包括：第二確定單元，用于在獲取到的初始幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)。

進(jìn)一步地，第一確定單元包括：跟蹤模塊，用于通過預(yù)設(shè)跟蹤算法在第一幀圖像中跟蹤第二幀圖像的特征點(diǎn)，其中，第二幀圖像的特征點(diǎn)在第一幀圖像中未跟蹤成功的特征點(diǎn)的數(shù)量為n，未跟蹤成功的特征點(diǎn)為在第二幀圖像中存在但在第一幀圖像中丟失的特征點(diǎn)。

進(jìn)一步地，第一幀圖像和第二幀圖像為通過圖像跟蹤單元獲取的圖像，該裝置還包括：獲取單元，用于在對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)之前，獲取圖像跟蹤單元的運(yùn)動(dòng)信息；估算單元，用于根據(jù)圖像跟蹤單元的運(yùn)動(dòng)信息估算第一幀圖像相較于第二幀圖像丟失的n個(gè)特征點(diǎn)在第一幀圖像中所在的區(qū)域X；其中，第一執(zhí)行單元還用于對(duì)第一幀圖像中的區(qū)域X執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)。

本發(fā)明通過確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n，其中，n為大于1的整數(shù)，第二幀圖像為第一幀圖像在時(shí)間維度上的前一幀圖像；對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)，其中，第一處理為在圖像中隨機(jī)選取像素點(diǎn)并檢測(cè)選取的像素點(diǎn)是否為特征點(diǎn)，新的特征點(diǎn)不同于第一幀圖像中未丟失的特征點(diǎn)；將第一幀圖像中未丟失的特征點(diǎn)和n個(gè)新的特征點(diǎn)組合得到第一幀圖像的全部特征點(diǎn)，解決了相關(guān)技術(shù)中的特征點(diǎn)跟蹤方法容易導(dǎo)致系統(tǒng)時(shí)間開銷過大的問題，進(jìn)而達(dá)到了減小特征點(diǎn)跟蹤方法占用的系統(tǒng)時(shí)間開銷的效果。

附圖說明

構(gòu)成本申請(qǐng)的一部分的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明第一實(shí)施例的特征點(diǎn)跟蹤方法的流程圖；

圖2是根據(jù)本發(fā)明第二實(shí)施例的特征點(diǎn)跟蹤方法的流程圖；

圖3是根據(jù)本發(fā)明第三實(shí)施例的特征點(diǎn)跟蹤方法的流程圖；以及

圖4是根據(jù)本發(fā)明實(shí)施例的特征點(diǎn)跟蹤裝置的示意圖。

具體實(shí)施方式

需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。

為了使本技術(shù)領(lǐng)域的人員更好地理解本申請(qǐng)方案，下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分的實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本申請(qǐng)保護(hù)的范圍。

需要說明的是，本申請(qǐng)的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對(duì)象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本申請(qǐng)的實(shí)施例。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

本發(fā)明的實(shí)施例提供了一種特征點(diǎn)跟蹤方法。

該方法可以應(yīng)用于具有圖像跟蹤單元的電子設(shè)備，電子設(shè)備可以基于圖像跟蹤單元執(zhí)行對(duì)目標(biāo)對(duì)象的跟蹤。例如，電子設(shè)備可以是機(jī)器人(如地面移動(dòng)機(jī)器人、無人機(jī)等)，機(jī)器人可以通過攝像頭拍攝目標(biāo)對(duì)象，根據(jù)拍攝的圖像確定與目標(biāo)對(duì)象之間的距離和方向等信息并根據(jù)這些信息跟蹤目標(biāo)對(duì)象。

圖1是根據(jù)本發(fā)明實(shí)施例的特征點(diǎn)跟蹤方法的流程圖。如圖1所示，該方法包括以下步驟：

步驟S101，確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n。

其中，n為大于1的整數(shù)。

第一幀圖像和第二幀圖像可以是通過電子設(shè)備配置的圖像跟蹤單元拍攝到的圖像，也可以是通過其它圖像采樣裝置采集到的圖像并發(fā)送至電子設(shè)備。

第二幀圖像為第一幀圖像在時(shí)間維度上的前一幀圖像。第一幀圖像和第二幀圖像在時(shí)間上可以是相鄰的，第一幀圖像與第二幀圖像之間的時(shí)間間隔可以是根據(jù)該實(shí)施例提供的跟蹤方法確定的時(shí)間間隔，第一幀圖像與第二幀圖像之間的時(shí)間間隔可以與圖像采樣的時(shí)間間隔不同。

例如，圖像采樣的時(shí)間間隔為1ms，而該實(shí)施例提供的跟蹤方法的時(shí)間間隔為5ms，則第二幀圖像為第一幀圖像5ms之后采集得到的圖像。

電子設(shè)備在跟蹤目標(biāo)對(duì)象時(shí)，可以通過采集到的圖像執(zhí)行跟蹤，具體地，可以提取每幀圖像中的特征點(diǎn)，將每幀圖像的特征點(diǎn)與上一幀圖像的特征點(diǎn)進(jìn)行比較，確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n。

步驟S102，對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)。

在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之后，對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)。

第一處理為在圖像中隨機(jī)選取像素點(diǎn)，并檢測(cè)選取的像素點(diǎn)是否為特征點(diǎn)。其中，新的特征點(diǎn)不同于第一幀圖像中未丟失的特征點(diǎn)。

需要指出的是，在第一幀圖像中未丟失的特征點(diǎn)在第一幀圖像中所處的像素位置可能與第二幀圖像中相應(yīng)的特征點(diǎn)所處的像素位置不同，圖像跟蹤單元可以根據(jù)未丟失的特征點(diǎn)所處的像素位置的變化確定目標(biāo)對(duì)象移動(dòng)的方向和距離，并計(jì)算和控制電子設(shè)備的運(yùn)動(dòng)方向和速度以跟蹤目標(biāo)對(duì)象。

步驟S103，將第一幀圖像中未丟失的特征點(diǎn)和n個(gè)新的特征點(diǎn)組合得到第一幀圖像的全部特征點(diǎn)。

在對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)之后，將第一幀圖像中未丟失的特征點(diǎn)和n個(gè)新的特征點(diǎn)組合得到第一幀圖像的全部特征點(diǎn)。

該實(shí)施例提供的特征點(diǎn)跟蹤方法，通過確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n，其中，n為大于1的整數(shù)，第二幀圖像為第一幀圖像在時(shí)間維度上的前一幀圖像；對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)，其中，第一處理為在圖像中隨機(jī)選取像素點(diǎn)并檢測(cè)選取的像素點(diǎn)是否為特征點(diǎn)，新的特征點(diǎn)不同于第一幀圖像中未丟失的特征點(diǎn)；將第一幀圖像中未丟失的特征點(diǎn)和n個(gè)新的特征點(diǎn)組合得到第一幀圖像的全部特征點(diǎn)，解決了相關(guān)技術(shù)中的特征點(diǎn)跟蹤方法容易導(dǎo)致系統(tǒng)時(shí)間開銷過大的問題，進(jìn)而達(dá)到了減小特征點(diǎn)跟蹤方法占用的系統(tǒng)時(shí)間開銷的效果。

作為上述實(shí)施例的一個(gè)優(yōu)選實(shí)施例，在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之后，該方法還可以包括：判斷數(shù)量n是否超過預(yù)設(shè)閾值，其中，在判斷數(shù)量n是否超過預(yù)設(shè)閾值之后，該方法還包括：如果判斷出數(shù)量n超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第二處理以獲取第一幀圖像的所有的特征點(diǎn)，其中，第二處理為檢測(cè)圖像中所有的像素點(diǎn)是否為特征點(diǎn)；在獲取到的第一幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)；如果判斷出數(shù)量n未超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第一處理。

也即，在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n，如果丟失的數(shù)量n較小，例如，丟失少于5個(gè)特征點(diǎn)時(shí)，可以采用第一處理尋找新的特征點(diǎn)。如果丟失的數(shù)量n較大，則可以采用遍歷圖像中所有的像素是否為特征點(diǎn)的方式更新所有的特征點(diǎn)。

作為上述實(shí)施例的一個(gè)優(yōu)選實(shí)施例，在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之前，該方法還可以包括：對(duì)初始幀圖像執(zhí)行第二處理以獲取初始幀圖像的所有的特征點(diǎn)；在獲取到的初始幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)。

也即，在獲取初始幀圖像的特征點(diǎn)時(shí)，可以通過對(duì)初始幀圖像第二處理的方法獲取所有的特征點(diǎn)，并在獲取到的所有特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)。

預(yù)設(shè)條件可以是設(shè)置了預(yù)設(shè)數(shù)量，在所有特征點(diǎn)中隨機(jī)選擇預(yù)設(shè)數(shù)量的特征點(diǎn)。

預(yù)設(shè)條件也可以是根據(jù)預(yù)設(shè)算法在得到的所有特征點(diǎn)中選取預(yù)設(shè)數(shù)量的質(zhì)量較高的特征點(diǎn)作為初始幀圖像的特征點(diǎn)。

具體地，預(yù)設(shè)算法可以是用于計(jì)算特征點(diǎn)的質(zhì)量的算法，特征點(diǎn)的質(zhì)量可以與特征點(diǎn)在圖像中所在區(qū)域相關(guān)，例如，如果特征點(diǎn)出現(xiàn)在中心區(qū)域，則認(rèn)為其質(zhì)量較高，特征點(diǎn)的質(zhì)量也可以與未消失的特征點(diǎn)的位置相關(guān)，例如，如果特征點(diǎn)與未消失的特征點(diǎn)距離較遠(yuǎn)，則認(rèn)為其質(zhì)量較高，為了量化特征點(diǎn)的質(zhì)量，可以通過具體的算法計(jì)算質(zhì)量的“得分”，如可以確定一個(gè)質(zhì)量評(píng)價(jià)目標(biāo)函數(shù)，根據(jù)相關(guān)的因素作為因變量得到函數(shù)的值作為質(zhì)量評(píng)價(jià)的結(jié)果以作為判斷質(zhì)量高低的標(biāo)準(zhǔn)。

可選地，預(yù)設(shè)條件還可以包括在所有特征點(diǎn)中選取預(yù)設(shè)數(shù)量，例如，在通過預(yù)設(shè)算法計(jì)算特征點(diǎn)的質(zhì)量評(píng)價(jià)結(jié)果之后，按照質(zhì)量由高到低進(jìn)行排序，選取前10個(gè)特征點(diǎn)作為新的一批特征點(diǎn)。

確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n可以是通過預(yù)設(shè)跟蹤算法在第一幀圖像中跟蹤第二幀圖像的特征點(diǎn)，跟蹤丟失的特征點(diǎn)的數(shù)量即為特征點(diǎn)丟失數(shù)量n。

其中，第二幀圖像的特征點(diǎn)在第一幀圖像中未跟蹤成功的特征點(diǎn)的數(shù)量為n，未跟蹤成功的特征點(diǎn)為在第二幀圖像中存在但在第一幀圖像中丟失的特征點(diǎn)。預(yù)設(shè)跟蹤算法可以是稀疏光流跟蹤方法等。通過預(yù)設(shè)跟蹤算法未跟蹤成功的特征點(diǎn)的數(shù)量為當(dāng)前幀圖像丟失的特征點(diǎn)數(shù)量。

作為上述實(shí)施例的一個(gè)優(yōu)選實(shí)施例，第一幀圖像和第二幀圖像為通過圖像跟蹤單元獲取的圖像，在對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)之前，該方法還包括：獲取圖像跟蹤單元的運(yùn)動(dòng)信息。

獲取圖像跟蹤單元的運(yùn)動(dòng)信息可以是根據(jù)第一幀圖像和第二幀圖像中均存在的特征點(diǎn)在圖像中所處像素位置的變化確定圖像跟蹤單元的運(yùn)動(dòng)信息，如果圖像跟蹤單元固定在電子設(shè)備上，圖像跟蹤單元的運(yùn)動(dòng)信息也即電子設(shè)備的運(yùn)動(dòng)信息，運(yùn)動(dòng)信息包括方向和距離。

在獲取圖像跟蹤單元的運(yùn)動(dòng)信息之后，根據(jù)圖像跟蹤單元的運(yùn)動(dòng)信息估算第一幀圖像相較于第二幀圖像丟失的n個(gè)特征點(diǎn)在第一幀圖像中所在的區(qū)域X，對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)為在第一幀圖像中的區(qū)域X中執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)。

通過上述方法可以縮小隨機(jī)選取區(qū)域的范圍，在隨機(jī)選取像素點(diǎn)以判斷是否為新的特征點(diǎn)時(shí)可以更快更高效地尋找到n個(gè)新的特征點(diǎn)。

圖2是根據(jù)本發(fā)明第二實(shí)施例的特征點(diǎn)跟蹤方法的流程圖。該實(shí)施例可以作為上述第一實(shí)施例的優(yōu)選實(shí)施方式，如圖2所示，該方法包括以下步驟：

步驟S201，初始化，檢測(cè)一定數(shù)量FAST特征點(diǎn)。在初始幀圖像中采用FAST算法提取所有特征點(diǎn)，保存一定數(shù)量質(zhì)量較好的特征點(diǎn)用于之后的跟蹤。

在得到新的一幀圖像之后，執(zhí)行步驟S202，對(duì)新的一幀圖像執(zhí)行稀疏光流跟蹤，得到新的一幀圖像的特征點(diǎn)，新的一幀圖像的特征點(diǎn)較上一幀圖像丟失的特征點(diǎn)數(shù)量為n個(gè)。稀疏光流跟蹤是一種跟蹤算法，用于在新的一幀圖像中找到上一幀圖像中的特征點(diǎn)在新的一幀圖像中相對(duì)應(yīng)的特征點(diǎn)。在跟蹤得到新的一幀圖像的特征點(diǎn)之后，統(tǒng)計(jì)得到跟蹤失敗的特征點(diǎn)的個(gè)數(shù)確定為n。

步驟S203，判斷n是否小于閾值。如果是，執(zhí)行步驟S204，如果否，執(zhí)行步驟S205。

對(duì)得到的新的一幀圖像執(zhí)行步驟S204，步驟S204為隨機(jī)取點(diǎn)檢測(cè)。如果丟失的特征點(diǎn)少于閾值，則使用隨機(jī)取點(diǎn)檢驗(yàn)的方法在當(dāng)前幀圖像中提取到足夠數(shù)量且質(zhì)量合格的特征點(diǎn)，其中，隨機(jī)取點(diǎn)并檢驗(yàn)可以是隨機(jī)選取一個(gè)點(diǎn)并對(duì)該點(diǎn)檢測(cè)，然后再隨機(jī)選取一個(gè)點(diǎn)并對(duì)該點(diǎn)進(jìn)行檢測(cè)的逐點(diǎn)檢測(cè)方法，也可以是先隨機(jī)選取多個(gè)點(diǎn)，再逐一對(duì)選取出的多個(gè)點(diǎn)檢測(cè)是否為特征點(diǎn)，且該特征點(diǎn)的質(zhì)量是否合格，將確定合格的特征點(diǎn)加入到特征點(diǎn)序列，以保持每幀圖像中所有特征點(diǎn)的數(shù)量保持穩(wěn)定。在執(zhí)行步驟S204之后，執(zhí)行步驟S206。

步驟S205，如果丟失的特征點(diǎn)多于閾值，直接利用FAST算法遍歷當(dāng)前幀圖像中所有的像素點(diǎn)，提取該幀圖像中所有的特征點(diǎn)。在提取該幀圖像中所有的特征點(diǎn)之后，可以將提取得到的特征點(diǎn)中未與當(dāng)前已有特征點(diǎn)重復(fù)的點(diǎn)補(bǔ)充到當(dāng)前特征點(diǎn)序列，使特征點(diǎn)序列中的點(diǎn)保持在一定的數(shù)量；或者，在提取該幀圖像中所有的特征點(diǎn)之后，可以對(duì)提取得到的特征點(diǎn)進(jìn)行質(zhì)量評(píng)價(jià)，設(shè)每幀圖像需要N個(gè)特征點(diǎn)，則在提取得到的特征點(diǎn)中選取質(zhì)量排在前N的特征點(diǎn)。

在執(zhí)行步驟S204之后，執(zhí)行步驟S206，步驟S206為補(bǔ)充一定數(shù)量的特征點(diǎn)。將當(dāng)前幀圖像的特征點(diǎn)數(shù)量補(bǔ)齊。

在執(zhí)行步驟S206之后，對(duì)得到的更新的一幀圖像執(zhí)行步驟S202，如此循環(huán)。

該實(shí)施例提供的特征點(diǎn)跟蹤方法可以明顯的縮短補(bǔ)充FAST特征點(diǎn)時(shí)所需要的時(shí)間，保證算法的實(shí)時(shí)性，在有少數(shù)FAST特征點(diǎn)從視野中消失時(shí)，通過在當(dāng)前幀圖像中隨機(jī)取像素點(diǎn)并檢驗(yàn)其是否是特征點(diǎn)的方法，將新找到的特征點(diǎn)加入當(dāng)前幀圖像的特征點(diǎn)序列中，避免了對(duì)整幅圖像的數(shù)十萬個(gè)像素點(diǎn)遍歷檢測(cè)。由于消失的特征點(diǎn)較少時(shí)通常只需要抽取千點(diǎn)即可完成特征點(diǎn)的補(bǔ)充，因此，該方法較明顯的降低了時(shí)間開支。

圖3是根據(jù)本發(fā)明第三實(shí)施例的特征點(diǎn)跟蹤方法的流程圖。該實(shí)施例可以作為上述第一實(shí)施例的優(yōu)選實(shí)施方式，如圖3所示，該方法包括以下步驟：

步驟S301，初始化，檢測(cè)一定數(shù)量FAST特征點(diǎn)。在初始幀圖像中采用FAST算法提取所有特征點(diǎn)，保存一定數(shù)量質(zhì)量較好的特征點(diǎn)用于之后的跟蹤。

在得到新的一幀圖像之后，執(zhí)行步驟S302，對(duì)新的一幀圖像執(zhí)行稀疏光流跟蹤，得到新的一幀圖像的特征點(diǎn)，新的一幀圖像的特征點(diǎn)較上一幀圖像丟失的特征點(diǎn)數(shù)量為n個(gè)。稀疏光流跟蹤是一種跟蹤算法，用于在新的一幀圖像中找到上一幀圖像中的特征點(diǎn)在新的一幀圖像中相對(duì)應(yīng)的特征點(diǎn)。在跟蹤得到新的一幀圖像的特征點(diǎn)之后，統(tǒng)計(jì)得到跟蹤失敗的特征點(diǎn)的個(gè)數(shù)確定為n。

步驟S303，判斷n是否小于閾值。如果是，執(zhí)行步驟S304，如果否，執(zhí)行步驟S305。

對(duì)得到的新的一幀圖像執(zhí)行步驟S304，步驟S304為在X區(qū)域隨機(jī)取點(diǎn)檢測(cè)。

其中，在對(duì)得到的新的一幀圖像執(zhí)行步驟S304之前，先執(zhí)行步驟S307以確定X區(qū)域。

步驟S307為確定相機(jī)運(yùn)動(dòng)信息。相機(jī)是電子設(shè)備配置的相機(jī)，用于拍攝圖像。具體地，在計(jì)算相機(jī)運(yùn)動(dòng)信息時(shí)，可以采用VIO(Visual Inertial Odometry視覺慣導(dǎo)測(cè)距)算法，VIO算法是一種通過分析機(jī)器人攝像頭和內(nèi)部慣性傳感器來決定機(jī)器人位置以及方向的算法。

在確定前后兩幀圖像之間相機(jī)的運(yùn)動(dòng)信息之后，根據(jù)相機(jī)的相對(duì)運(yùn)動(dòng)信息判定相機(jī)拍攝范圍中新出現(xiàn)的區(qū)域在當(dāng)前幀圖像中的區(qū)域。例如，如果在兩幀圖像之間，相機(jī)左轉(zhuǎn)，則原有的在視野右側(cè)邊緣的特征點(diǎn)會(huì)從視野中消失，視野左側(cè)會(huì)出現(xiàn)新的區(qū)域，令新出現(xiàn)的區(qū)域?yàn)閄區(qū)域，在X區(qū)域隨機(jī)取點(diǎn)檢測(cè)。

如果丟失的特征點(diǎn)少于閾值，則在X區(qū)域使用隨機(jī)取點(diǎn)檢驗(yàn)的方法在當(dāng)前幀圖像中提取到足夠數(shù)量且質(zhì)量合格的特征點(diǎn)。在執(zhí)行步驟S304之后，執(zhí)行步驟S306。

步驟S305，如果丟失的特征點(diǎn)多于閾值，直接利用FAST算法遍歷當(dāng)前幀圖像中所有的像素點(diǎn)，提取該幀圖像中所有的特征點(diǎn)。在提取該幀圖像中所有的特征點(diǎn)之后，可以將提取得到的特征點(diǎn)中未與當(dāng)前已有特征點(diǎn)重復(fù)的點(diǎn)補(bǔ)充到當(dāng)前特征點(diǎn)序列，使特征點(diǎn)序列中的點(diǎn)保持在一定的數(shù)量；或者，在提取該幀圖像中所有的特征點(diǎn)之后，可以對(duì)提取得到的特征點(diǎn)進(jìn)行質(zhì)量評(píng)價(jià)，設(shè)每幀圖像需要N個(gè)特征點(diǎn)，則在提取得到的特征點(diǎn)中選取質(zhì)量排在前N的特征點(diǎn)。

在執(zhí)行步驟S304之后，執(zhí)行步驟S306，步驟S306為補(bǔ)充一定數(shù)量的特征點(diǎn)。將當(dāng)前幀圖像的特征點(diǎn)數(shù)量補(bǔ)齊。

在執(zhí)行步驟S306之后，對(duì)得到的更新的一幀圖像執(zhí)行步驟S302，如此循環(huán)。

該實(shí)施例提供的方法根據(jù)在稀疏光流跟蹤過程中丟失的特征點(diǎn)的數(shù)量是否超過閾值的判斷結(jié)果的不同執(zhí)行不同的處理方式，當(dāng)丟失的特征點(diǎn)較少時(shí)，通過隨機(jī)取點(diǎn)并檢驗(yàn)的方法補(bǔ)充特征點(diǎn)，由于丟失的點(diǎn)很少，該過程可以很快完成；當(dāng)丟失的特征點(diǎn)很多時(shí)，則可以保持原算法中直接檢測(cè)所有特征點(diǎn)的方法。

在已知機(jī)器人的運(yùn)動(dòng)信息時(shí)，可以預(yù)測(cè)出視野中新出現(xiàn)的部分是在當(dāng)前幀的哪個(gè)區(qū)域，則在之后的隨機(jī)取點(diǎn)過程就可以在新出現(xiàn)的區(qū)域中較多的取點(diǎn)，根據(jù)攝像頭的轉(zhuǎn)動(dòng)方向和角度，預(yù)判圖像中的新出現(xiàn)的區(qū)域并在新出現(xiàn)的區(qū)域內(nèi)取點(diǎn)檢測(cè)，這樣有更大的概率取到合適的特征點(diǎn)，同時(shí)也可以使特征點(diǎn)較均勻的分布在整個(gè)視野中。

機(jī)器人運(yùn)動(dòng)過程中視野的變化是比較平緩的，大部分時(shí)候，丟失的特征點(diǎn)數(shù)量都比較少，則該方法中隨機(jī)取點(diǎn)檢測(cè)的補(bǔ)充方法可以很快完成。由于將原始方法中遍歷圖像尋找所有特征點(diǎn)的過程幾乎完全避免，該方法明顯降低了時(shí)間耗費(fèi)，保證了系統(tǒng)的實(shí)時(shí)性。

需要說明的是，上述的特征點(diǎn)跟蹤方法中采用的特征點(diǎn)提取方法不局限于上述實(shí)施例所述的FAST特征點(diǎn)提取方法，上述的特征點(diǎn)跟蹤方法中采用的跟蹤算法不局限于上述實(shí)施例所述稀疏光流跟蹤算法。

需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

本發(fā)明的實(shí)施例還提供了一種特征點(diǎn)跟蹤裝置。需要說明的是，本發(fā)明實(shí)施例的特征點(diǎn)跟蹤裝置可以用于執(zhí)行本發(fā)明的特征點(diǎn)跟蹤方法。

圖4是根據(jù)本發(fā)明實(shí)施例的特征點(diǎn)跟蹤裝置的示意圖。該裝置可以應(yīng)用于具有圖像跟蹤單元的電子設(shè)備，電子設(shè)備用于基于圖像跟蹤單元執(zhí)行對(duì)目標(biāo)對(duì)象的跟蹤。

如圖4所示，該裝置包括第一確定單元10，用于確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n，其中，n為大于1的整數(shù)，第二幀圖像為第一幀圖像在時(shí)間維度上的前一幀圖像；第一執(zhí)行單元20，用于對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)，其中，第一處理為在圖像中隨機(jī)選取像素點(diǎn)并檢測(cè)選取的像素點(diǎn)是否為特征點(diǎn)，新的特征點(diǎn)不同于第一幀圖像中未丟失的特征點(diǎn)；組合單元30，用于將第一幀圖像中未丟失的特征點(diǎn)和n個(gè)新的特征點(diǎn)組合得到第一幀圖像的全部特征點(diǎn)。

優(yōu)選地，該裝置還可以包括：判斷單元，用于在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之后，判斷數(shù)量n是否超過預(yù)設(shè)閾值，第二執(zhí)行單元，用于在判斷數(shù)量n是否超過預(yù)設(shè)閾值之后，如果判斷出數(shù)量n超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第二處理以獲取第一幀圖像的所有的特征點(diǎn)，其中，第二處理為檢測(cè)圖像中所有的像素點(diǎn)是否為特征點(diǎn)；在獲取到的第一幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)，其中，第一執(zhí)行單元還用于如果判斷出數(shù)量n未超過預(yù)設(shè)閾值，對(duì)第一幀圖像執(zhí)行第一處理。

優(yōu)選地，第二執(zhí)行單元還可以用于在確定第一幀圖像的特征點(diǎn)相較于第二幀圖像的特征點(diǎn)丟失數(shù)量n之前，對(duì)初始幀圖像執(zhí)行第二處理以獲取初始幀圖像的所有的特征點(diǎn)，該裝置還可以包括：第二確定單元，用于在獲取到的初始幀圖像的所有的特征點(diǎn)中確定符合預(yù)設(shè)條件的特征點(diǎn)。

優(yōu)選地，第一確定單元可以包括：跟蹤模塊，用于通過預(yù)設(shè)跟蹤算法在第一幀圖像中跟蹤第二幀圖像的特征點(diǎn)，其中，第二幀圖像的特征點(diǎn)在第一幀圖像中未跟蹤成功的特征點(diǎn)的數(shù)量為n，未跟蹤成功的特征點(diǎn)為在第二幀圖像中存在但在第一幀圖像中丟失的特征點(diǎn)。

優(yōu)選地，第一幀圖像和第二幀圖像為通過圖像跟蹤單元獲取的圖像，該裝置還可以包括：獲取單元，用于在對(duì)第一幀圖像執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)之前，獲取圖像跟蹤單元的運(yùn)動(dòng)信息；估算單元，用于根據(jù)圖像跟蹤單元的運(yùn)動(dòng)信息估算第一幀圖像相較于第二幀圖像丟失的n個(gè)特征點(diǎn)在第一幀圖像中所在的區(qū)域X；其中，第一執(zhí)行單元還用于對(duì)第一幀圖像中的區(qū)域X執(zhí)行第一處理直至找到n個(gè)新的特征點(diǎn)。

顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。