本發(fā)明屬于智能識別技術領域，具體涉及一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)及方法。

背景技術：

現有生物特征識別系統(tǒng)已經成熟，在識別結果上表現也較為滿意。但隨著現代社會對更為便利和安全的用戶身份認證技術的緊迫需要，現有的生物特征識別產品尚存在一些不足，例如生物模態(tài)較為單一、圖像種類單一、人機交互性不足、設備移動性和擴展性不足等。

技術實現要素：

本發(fā)明的目的在于解決上述的技術問題而提供一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)及方法，可以應用于現有移動設備上，與移動設備協(xié)同工作或者單獨工作。

為實現上述目的，本發(fā)明采用如下技術方案：

一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)，包括：

主動光源模塊，包含多個主動光源，用于根據中央控制模塊的指令打開相應主動光源為圖像采集提供所需要的光；

圖像采集模塊，包含多個成像單元，用于根據所述中央控制模塊的指令控制相應成像單元采集目標對象的多模態(tài)生物特征圖像；

數據處理模塊，用于對圖像采集模塊采集的多模態(tài)生物特征圖像進行穩(wěn)像、多源圖像融合處理，對形成的圖像質量評價，然后將評價處理結果反饋至所述中央控制模塊；

所述中央控制模塊，與所述主動光源模塊、圖像采集模塊連接，用于控制所述圖像采集模塊通過傳輸模塊將待識別圖像傳送到所述數據處理模塊，接收所述數據處理模塊的評價反饋信息，當所述數據處理模塊的評價反饋信 息為圖像不合格時，對光源參數、成像參數或移動平臺調節(jié)，或通過人機交互模塊與目標對象交互，提示目標對象作相應動作配合圖像采集，然后重新采集目標對象的多模態(tài)生物特征圖像，直至形成合格的待識別圖像；當所述數據處理模塊的評價反饋信息為圖像合格時，控制將所述數據處理模塊處理形成的合格的待識別圖像通過所述傳輸模塊傳送至數據計算模塊識別；

所述數據計算模塊，用于自所述數據處理模塊接收合格的待識別圖像，對待識別圖像的多模態(tài)生物特征進行特征提取、編碼、匹配及識別，將識別處理結果信息通過所述傳輸模塊反饋至所述中央控制模塊，由所述人機交互模塊輸出識別結果。

所述數據處理模塊和\或數據計算模塊設置于云端服務器或設置于本地，所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊設置于本地。

所述數據計算模塊包括設置在云端的帶計算功能的存儲服務器，或者遠程的模板或特征數據庫。

所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)還包括有：

存儲模塊，用于對所述圖像采集模塊和數據處理模塊的數據進行存儲，配合實現所述傳輸模塊與中央控制模塊的功能；

供電模塊，用于為所述主動光源模塊、圖像采集模塊、中央控制模塊、人機交互模塊以及傳輸模塊，或為設在本地的數據處理模塊、數據計算模塊提提供工作電壓。

所述存儲模塊包括本地的存儲芯片、SD/CF卡、SAN、云存儲服務器的一種或幾種。

所述人機交互模塊通過語音、圖像、視頻、信號燈、投影、三維顯示、激光顯示中一種或幾種方式實現與用戶的交流互動。

所述光源包含近紅外光源、可見光源、深度成像所需要的照明光、結構光、脈沖光、半導體激光。

所述圖像采集模塊包括高分辨成像單元、深度成像單元、高動態(tài)成像單元、光場成像單元；所述高分辨成像單元包括可見光成像單元和近紅外成像單元；深度成像單元包括為激光掃描深度成像單元、結構光深度成像單元、 TOF深度成像單元、光場深度成像單元。

所述圖像采集模塊通過感興趣區(qū)域硬件挖窗形式實現將圖像傳輸至所述數據處理模塊。

本發(fā)明的目的還在于提供一種用于移動平臺的多模態(tài)生物特征識別方法，采用所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)進行多模態(tài)生物特征識別，包括以下步驟：

1)中央控制模塊控制主動光源模塊發(fā)射圖像采集所需要的光；

2)中央控制模塊控制圖像采集模塊采集目標對象的多模態(tài)生物特征圖像；

3)中央控制模塊控制圖像采集模塊將采集的多模態(tài)生物特征圖像通過傳輸模塊傳送到數據處理模塊，由數據處理模塊進行穩(wěn)像處理、多源圖像融合，對形成的圖像質量評價，并將評價處理結果發(fā)送給所述中央控制模塊；

4)所述中央控制模塊根據步驟3)的質量評價處理結果判斷圖像是否合格，是則通過傳輸模塊將多模態(tài)生物特征圖像發(fā)送給數據計算模塊；否則調整主動光源模塊或圖像采集模塊的參數或調節(jié)移動平臺，或通過人機交互模塊對目標對象做出提示配合圖像采集，之后返回步驟1)開始新一輪圖像采集過程；

5)數據計算模塊接收自所述數據處理模塊傳送來的多模態(tài)生物特征圖像并識別，并將識別處理結果通過所述傳輸模塊反饋給所述中央控制模塊，所述中央控制模塊根據識別結果控制人機交互模塊進行識別結果顯示。

本發(fā)明通過多種成像模式組合完成多種模態(tài)生物特征識別，可適應更為嚴格的身份認證需求，并且通過與移動平臺集成，更擴展了系統(tǒng)的應用范圍，提高了系統(tǒng)應用的便捷性。

附圖說明

圖1為本發(fā)明實施例提供的用于移動平臺的多模態(tài)生物特征識別系統(tǒng)原理示意圖；

圖2為本發(fā)明實施例提供的圖像成像單元的示意圖；

圖3為本發(fā)明實施例提供的一種用于移動平臺的多模態(tài)生物特征識別系 統(tǒng)的識別方法的流程圖。

具體實施方式

下面，結合實例對本發(fā)明的實質性特點和優(yōu)勢作進一步的說明，但本發(fā)明并不局限于所列的實施例。

參見圖1所示，一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)，包括：

主動光源模塊，包含多個主動光源，用于根據中央控制模塊的指令打開相應主動光源為圖像采集提供所需要的光；

圖像采集模塊，包含多個成像單元，用于根據所述中央控制模塊的指令控制相應成像單元采集目標對象的多模態(tài)生物特征圖像；

數據處理模塊，用于對圖像采集模塊采集的多模態(tài)生物特征圖像進行穩(wěn)像、多源圖像融合處理，對形成的圖像質量評價，然后將評價處理結果反饋至所述中央控制模塊；

所述中央控制模塊，與所述主動光源模塊、圖像采集模塊連接，用于控制所述圖像采集模塊通過傳輸模塊將待識別圖像傳送到所述數據處理模塊，接收所述數據處理模塊的評價反饋信息，當所述數據處理模塊的評價反饋信息為圖像不合格時，對光源參數、成像參數或移動平臺調節(jié)，或通過人機交互模塊與目標對象交互，提示目標對象作相應動作配合圖像采集，然后重新采集目標對象的多模態(tài)生物特征圖像，直至形成合格的待識別圖像；當所述數據處理模塊的評價反饋信息為圖像合格時，控制將所述數據處理模塊處理形成的合格的待識別圖像通過所述傳輸模塊傳送至數據計算模塊識別；

所述數據計算模塊，用于自所述數據處理模塊接收合格的待識別圖像，對待識別圖像的多模態(tài)生物特征進行特征提取、編碼、匹配及識別，將識別處理結果信息通過所述傳輸模塊反饋至所述中央控制模塊，由所述人機交互模塊輸出識別結果。

需要說明的是，本發(fā)明實施例中，所述數據處理模塊與數據計算模塊設置于云端服務器，所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊設置于本地。所述中央控制模塊控制圖像采集模塊采集圖像通過所述傳輸模塊，如網絡傳輸到數據處理模塊處理，數據處理模塊處理完成后， 如圖像合格則直接傳輸到數據計算模塊進行識別處理，如果數據處理模塊處理完成后圖像不合格，不符合要求，則反饋至中央控制模塊，由中央控制模塊生成反饋控制信號傳輸到主動光源模塊、圖像采集模塊，控制光源模塊調節(jié)光源參數或圖像采集模塊的圖像采集參數，或通過人機交互模塊與目標對象，如用戶進行人機交互，提示用戶調整所在位置等，配合圖像采集，或是控制對移動平臺進行相應調節(jié)，以實現最終采集到符合要求的圖像，以上幾種調節(jié)方式根據數據處理模塊的反饋結果的具體情況，決定采用一種或幾種方式來調節(jié)。

所述數據處理模塊在接收至圖像采集模塊發(fā)送來的圖像時，可以通過多種圖像處理方式對圖像進行處理，如深度成像、三維成像、多源圖像融合、移動平臺下的穩(wěn)像方法，具體不同的圖像對象選擇適用不同的處理方式，以并對圖像質量評價，并將處理結果傳輸給中央控制模塊，由所述中央控制模塊決定是否傳送到圖像計算模塊識別，或調節(jié)光源模塊、圖像采集模塊或移動平臺或對目標對象通過人機交互模塊提示后進行圖像的重新采集再處理。

需要說明的是，本發(fā)明中，所述生物特征可以是人體虹膜、人臉、掌紋、指紋等多模態(tài)生物特征，在具體對這些生物特征進行圖像采集時，可以是利用相應的多個成像單元的一種或幾種組合來進行多模態(tài)生物特征圖像的采集，并根據不同模態(tài)特征圖像的采集需要，控制相應的主動光源模塊的主動光源提供相應的圖像采集所需要的光或光照。

本發(fā)明實施例中，所述數據處理模塊與數據計算模塊可以是設置于云端服務器，數據處理模塊與數據計算模塊的處理過程在云端服務器進行，所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊設置于本地，它們之間通過相應的傳輸模塊實現數據或信號的傳輸。另外，本發(fā)明中，所述數據處理模塊與數據計算模塊也可以是與所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊一樣全部設置于本地，所有識別過程全部在本地完成，還可以是所述數據處理模塊與所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊一樣全部設置于本地，只有所述數據計算模塊可以是云端服務器進行識別處理，具體架構不限。

所述傳輸模塊負責系統(tǒng)中各模塊單元間的數據傳輸以及與云端等遠程 服務器進行數據通信和網絡傳輸，實現系統(tǒng)內各模塊間的數據或信號或指令的傳送，保證系統(tǒng)內各模塊間通信暢通。

具體實現上，所述數據計算模塊包括設置在云端的帶計算功能的存儲服務器，或者遠程的模板或特征數據庫。

進一步的，本發(fā)明中，所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)還包括有：

存儲模塊，用于對所述圖像采集模塊和數據處理模塊的數據進行存儲，配合實現所述傳輸模塊與中央控制模塊的功能；

供電模塊，用于為系統(tǒng)內各模塊供電，包括為所述主動光源模塊、圖像采集模塊、中央控制模塊、人機交互模塊以及傳輸模塊，或設置于本地的數據處理模塊、數據計算模塊提供工作電壓。

具體的，所述存儲模塊可以是包括本地的存儲芯片、SD/CF卡、SAN、云存儲服務器的一種或幾種。

為了實現更加全面的人機交互，本發(fā)明中，所述人機交互模塊可以是通過語音、圖像、視頻、信號燈、投影、三維顯示、激光顯示中一種或幾種方式實現與用戶的交流互動，例如通過語音提示用戶調整姿態(tài)，通過圖像顯示識別結果提示用戶進行動作等等。

為了實現對不同模態(tài)生物特征圖像的采集，本發(fā)明中所述光源可以是包含近紅外光源、可見光源、深度成像所需要的照明光、結構光、脈沖光、半導體激光等多種分別適應用于不同模態(tài)生物特征圖像的采集所要的光源，這樣以可以根據采集不同的模態(tài)生物特征圖像選擇相應的光源進行光照。

參見圖2所示，其中，所述圖像采集模塊可以包括高分辨成像單元、深度成像單元、高動態(tài)成像單元、光場成像單元；所述高分辨成像單元進一步的可以包括可見光成像單元和近紅外成像單元；所述深度成像單元包括可以為激光掃描深度成像單元、結構光深度成像單元、TOF深度成像單元、光場深度成像單元。

本發(fā)明通過圖像采集模塊包括多種成像單元，可以提供多種不同的成像方式，實現對不同模態(tài)生物特征均可進行圖像的采集并識別處理，擴展了系統(tǒng)的使用范圍，提高了系統(tǒng)的廣泛適用性能。

進一步的，為了實現圖像數據的高速傳輸，本發(fā)明中，所述圖像采集模塊可以選擇通過感興趣區(qū)域硬件挖窗形式實現將采集的圖像傳輸至所述數據處理模塊進行處理，這樣大大提高了圖像傳輸速度，提高了傳輸效率。

需要說明的是，本發(fā)明系統(tǒng)中可用于手機、平板電腦、車載系統(tǒng)、運動裝備、穿戴設備、機器人等移動平臺中的任意一種。

本發(fā)明的目的還在于提供一種用于移動平臺的多模態(tài)生物特征識別方法，采用所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)進行多模態(tài)生物特征識別，包括以下步驟：

1)中央控制模塊控制主動光源模塊發(fā)射圖像采集所需要的光；

2)中央控制模塊控制圖像采集模塊采集目標對象的多模態(tài)生物特征圖像；

3)中央控制模塊控制圖像采集模塊將采集的多模態(tài)生物特征圖像通過傳輸模塊傳送到數據處理模塊，由數據處理模塊進行穩(wěn)像處理、多源圖像融合，對形成的圖像質量評價，并將評價處理結果發(fā)送給所述中央控制模塊；

4)所述中央控制模塊根據步驟3)的質量評價處理結果判斷圖像是否合格，是則通過傳輸模塊將多模態(tài)生物特征圖像發(fā)送給數據計算模塊；否則調整主動光源模塊或圖像采集模塊的參數或調節(jié)移動平臺，或通過人機交互模塊對目標對象做出提示配合圖像采集，之后返回步驟1)開始新一輪圖像采集過程；

5)數據計算模塊接收自所述數據處理模塊傳送來的多模態(tài)生物特征圖像并識別，并將識別處理結果通過所述傳輸模塊反饋給所述中央控制模塊，所述中央控制模塊根據識別結果控制人機交互模塊進行識別結果顯示。

從以上分析，可以看出，本發(fā)明通過多種成像模式組合完成多種模態(tài)生物特征識別，可適應更為嚴格的身份認證需求，并且通過與移動平臺集成，更擴展了系統(tǒng)的應用范圍，提高了系統(tǒng)應用的便捷性。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。