本發(fā)明涉及安全檢查領(lǐng)域，具體而言，涉及人、包對(duì)應(yīng)的安全檢查方法、系統(tǒng)及設(shè)備。

背景技術(shù)：

目前，在公路、火車(chē)站等公共場(chǎng)合的安全檢查中，安全檢查人員主要通過(guò)核對(duì)身份證等證件來(lái)驗(yàn)證待查人員的身份。待查人員的行李常采用的技術(shù)檢查是使用特定設(shè)備(比如安檢機(jī))產(chǎn)生的放射性射線(如x射線)掃描產(chǎn)生的掃描圖像。同時(shí)，場(chǎng)所內(nèi)的視頻監(jiān)控會(huì)拍攝和存儲(chǔ)檢查區(qū)域的視頻。

旅客身份驗(yàn)證、行包檢查和視頻監(jiān)控信息彼此獨(dú)立，相互之間沒(méi)有關(guān)聯(lián)。在安全事故發(fā)生后，很難根據(jù)單一線索(比如現(xiàn)場(chǎng)遺留包裹或者視頻監(jiān)控中的可疑人員面部)自動(dòng)檢索出其他相關(guān)信息。

因此，需要一種新的安全檢查方法和系統(tǒng)。

在所述背景技術(shù)部分公開(kāi)的上述信息僅用于加強(qiáng)對(duì)本公開(kāi)的背景的理解，因此它可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)公開(kāi)一種能夠?qū)崿F(xiàn)人、包對(duì)應(yīng)的安全檢查方法、系統(tǒng)及設(shè)備，能夠提高安全檢查信息的關(guān)聯(lián)性和易用性。

本公開(kāi)的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本公開(kāi)的實(shí)踐而習(xí)得。

根據(jù)本公開(kāi)的一個(gè)方面，提供一種用于安全檢查的方法，包括：在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后，采集所述行包的行包信息和安檢待查人員信息；在所述行包進(jìn)入所述安檢機(jī)進(jìn)行掃描時(shí)，獲得所述行包的行包掃描圖像；在存儲(chǔ)系統(tǒng)中將所述行包信息、所述行包掃描圖像和所述安檢待查人員信息進(jìn)行關(guān)聯(lián)。其中，采集所述行包的行包信息、采集所述安檢待查人員信 息包括解析視頻。

根據(jù)本公開(kāi)的一實(shí)施方式，所述采集所述行包的行包信息包括：采集行包視頻；解析所述行包視頻從而得到所述行包的入口行包信息。

根據(jù)本公開(kāi)的一實(shí)施方式，所述采集所述安檢待查人員信息包括：采集行包提取視頻；解析所述行包提取視頻得到提取所述行包的安檢待查人員信息。

根據(jù)本公開(kāi)的一實(shí)施方式，所述解析所述行包提取視頻得到所述安檢待查人員信息包括：解析所述行包提取視頻得到所述安檢機(jī)出口行包信息和安檢待查人員信息；將所述出口行包信息與所述入口行包信息進(jìn)行匹配從而識(shí)別離開(kāi)所述安檢機(jī)的所述行包。

根據(jù)本公開(kāi)的一實(shí)施方式，所述解析所述行包提取視頻得到所述安檢待查人員信息包括：將所述行包進(jìn)入和離開(kāi)所述安檢機(jī)的時(shí)間進(jìn)行匹配從而識(shí)別所述離開(kāi)安檢機(jī)的所述行包；解析所述行包提取視頻得到提取所述行包的安檢待查人員信息。

根據(jù)本公開(kāi)的一實(shí)施方式，所述獲得所述行包的行包掃描圖像包括：將計(jì)算出的所述行包的掃描圖像生成時(shí)間與實(shí)際掃描圖像生成時(shí)間進(jìn)行匹配，從而獲得所述行包掃描圖像。

根據(jù)本公開(kāi)的一實(shí)施方式，所述解析視頻包括：對(duì)視頻流解碼，提取單個(gè)幀；對(duì)所述幀的圖像劃定感興趣區(qū)域和感興趣線；檢測(cè)所述感興趣區(qū)域內(nèi)的動(dòng)態(tài)物品；獲取前景圖并進(jìn)行開(kāi)閉處理；一旦處理離開(kāi)所述安檢機(jī)之后的動(dòng)態(tài)物品過(guò)所述感興趣線，則對(duì)比前一幀狀態(tài)，確定是否是關(guān)鍵幀；如果是關(guān)鍵幀，則保存并提取關(guān)鍵幀內(nèi)動(dòng)態(tài)物品的行包信息；如果不是關(guān)鍵幀，則提取下一幀。

根據(jù)本公開(kāi)的一實(shí)施方式，所述解析視頻包括：將實(shí)時(shí)視頻數(shù)據(jù)流以時(shí)間片為單位拆分為多個(gè)時(shí)間片數(shù)據(jù)；對(duì)所述多個(gè)時(shí)間片數(shù)據(jù)進(jìn)行并行處理。

根據(jù)本公開(kāi)的一實(shí)施方式，還包括將所述行包信息、所述行包掃描圖像、所述提取者信息存儲(chǔ)于服務(wù)器系統(tǒng)中。

根據(jù)本公開(kāi)的一實(shí)施方式，所述行包信息包括圖像、顏色、大小至少其中之一。

根據(jù)本公開(kāi)的一實(shí)施方式，所述提取者信息包括人臉圖像、提取視頻片段至少其中之一。

根據(jù)本公開(kāi)的一實(shí)施方式，所述掃描圖像為x光透視圖像。

根據(jù)本公開(kāi)的另一個(gè)方面，提供一種用于安全檢查的系統(tǒng)，包括：行包信息采集模塊，用于在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后采集所述行包的行包信息；行包掃描圖像獲取模塊，用于在所述行包進(jìn)入所述安檢機(jī)進(jìn)行掃描時(shí)獲得所述行包的行包掃描圖像；安檢待查人員信息采集模塊，用于在所述行包進(jìn)入所述安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)離開(kāi)所述安檢機(jī)之后采集所述行包的安檢待查人員信息；關(guān)聯(lián)模塊，用于在存儲(chǔ)系統(tǒng)中將所述行包信息、所述行包掃描圖像和所述安檢待查人員信息進(jìn)行關(guān)聯(lián)；視頻解析模塊，其中所述行包信息采集模塊、所述安檢待查人員信息采集模塊利用所述視頻解析模塊解析視頻。

根據(jù)本公開(kāi)的一實(shí)施方式，所述行包信息采集模塊包括：行包視頻采集單元，用于采集行包視頻；行包解析單元，用于解析所述行包視頻從而得到所述行包的入口行包信息。

根據(jù)本公開(kāi)的一實(shí)施方式，所述安檢待查人員信息采集模塊包括：行包提取視頻采集單元，用于采集行包提取視頻；行包提取解析單元，用于解析所述行包提取視頻從而得到所述安檢待查人員信息。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述行包提取解析單元包括：行包解析子單元，用于解析所述行包提取視頻得到出口行包信息；提取者解析子單元，用于解析所述行包提取視頻得到提取所述行包的安檢待查人員信息；行包匹配子單元，用于將所述出口行包信息與所述入口行包信息進(jìn)行匹配從而識(shí)別離開(kāi)所述安檢機(jī)的所述行包。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述行包提取解析單元包括：第一時(shí)間匹配子單元，用于將所述行包進(jìn)入和離開(kāi)所述安檢機(jī)的時(shí)間進(jìn)行匹配從而識(shí)別所述離開(kāi)安檢機(jī)的所述行包；提取者解析子單元，用于解析所述行包提取視頻得到提取所述行包的安檢待查人員信息。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述行包掃描圖像獲取模塊包括：第二時(shí)間匹配單元，用于將計(jì)算出的所述行包的掃描圖像生成時(shí)間與實(shí)際掃描圖像生成時(shí)間進(jìn)行匹配，從而獲得所述行包掃描圖像。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述視頻解析模塊包括：幀提取單元，用于對(duì)視頻流解碼，提取單個(gè)幀；劃定單元，用于對(duì)所述幀的圖像劃定感興趣區(qū)域和感興趣線；檢測(cè)單元，用于檢測(cè)所述感興趣區(qū)域內(nèi)的動(dòng)態(tài)物品；開(kāi)閉處理 單元，用于獲取前景圖并進(jìn)行開(kāi)閉處理；關(guān)鍵幀判斷單元，在處理離開(kāi)所述安檢機(jī)之后的動(dòng)態(tài)物品過(guò)所述感興趣線時(shí)，對(duì)比前一幀狀態(tài)，確定是否是關(guān)鍵幀；行包信息提取單元，用于在是關(guān)鍵幀時(shí)保存并提取關(guān)鍵幀內(nèi)動(dòng)態(tài)物品的行包信息。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述視頻解析模塊包括：時(shí)間片拆分單元，用于將實(shí)時(shí)視頻數(shù)據(jù)流以時(shí)間片為單位拆分為多個(gè)時(shí)間片數(shù)據(jù)；處理單元，用于對(duì)所述多個(gè)時(shí)間片數(shù)據(jù)進(jìn)行并行處理。

根據(jù)本公開(kāi)的一實(shí)施方式，還包括存儲(chǔ)模塊，用于將所述行包信息、所述行包掃描圖像、所述提取者信息存儲(chǔ)于服務(wù)器系統(tǒng)中。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述行包信息包括圖像、顏色、大小至少其中之一。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述提取者信息包括人臉圖像、提取視頻片段至少其中之一。

根據(jù)本公開(kāi)的一實(shí)施方式，其中所述掃描圖像為x光透視圖像。

根據(jù)本公開(kāi)的再一個(gè)方面，提供用于安全檢查的設(shè)備，包括攝像頭和安檢機(jī)，其中所述攝像頭設(shè)置在所述安檢機(jī)的入口側(cè)和/或出口側(cè)，用于在行包進(jìn)入所述安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后采集行包視頻和安檢待查人員視頻；所述安檢機(jī)對(duì)進(jìn)入其中的行包進(jìn)行掃描從而產(chǎn)生行包掃描圖像。

根據(jù)本公開(kāi)的一實(shí)施方式，所述攝像頭包括第一攝像頭和第二攝像頭，其中所述第一攝像頭設(shè)置在所述安檢機(jī)的入口側(cè)，用于在行包進(jìn)入所述安檢機(jī)之前采集所述入口行包視頻；所述第二攝像頭設(shè)置在所述安檢機(jī)的出口側(cè)，用于在行包離開(kāi)所述安檢機(jī)之后采集提取所述行包的安檢待查人員視頻。

根據(jù)本公開(kāi)的一實(shí)施方式，還包括控制單元，所述控制單元包括如上述中任一項(xiàng)所述的系統(tǒng)。

根據(jù)本公開(kāi)的用于安全檢查的方法、系統(tǒng)和設(shè)備，通過(guò)將安檢待查人員，攜帶行包圖像信息及其行包x光透視圖像進(jìn)行對(duì)應(yīng)或綁定，實(shí)現(xiàn)將旅客、攜帶的行李及其行李安檢圖像關(guān)聯(lián)起來(lái)，做到“人、包對(duì)應(yīng)”，能夠極大地提高安檢待查人員及其攜帶行包的安全檢查效率，在安全事故發(fā)生后，根據(jù)現(xiàn)場(chǎng)遺留包裹或者視頻監(jiān)控中的可疑人員信息能夠自動(dòng)檢索出其他相關(guān)信息，提高了安全檢查信息的關(guān)聯(lián)性和易用性。

另外，根據(jù)一些實(shí)施例，本公開(kāi)的用于安全檢查的方法、系統(tǒng)和設(shè)備，能夠從視頻中抓取行包并解析出行包的屬性。

根據(jù)另一些實(shí)施例，本公開(kāi)的用于安全檢查的方法、系統(tǒng)和設(shè)備，能夠提高視頻解析算法的執(zhí)行效率，加快識(shí)別行包和人臉的速度并提高識(shí)別準(zhǔn)確率。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性的，并不能限制本公開(kāi)。

附圖說(shuō)明

通過(guò)參照附圖詳細(xì)描述其示例實(shí)施方式，本公開(kāi)的上述和其它特征及優(yōu)點(diǎn)將變得更加明顯。

圖1示意性示出根據(jù)本公開(kāi)示例實(shí)施方式的用于安全檢查的方法的流程圖；

圖2為基于圖1所述的用于安全檢查的方法中的視頻解析方法的流程圖；

圖3為基于圖1所述的用于安全檢查的方法中的視頻解析處理的流程圖；

圖4示意性示出根據(jù)本公開(kāi)示例實(shí)施方式的用于安全檢查的系統(tǒng)的結(jié)構(gòu)圖；

圖5為基于圖4所述的用于安全檢查的系統(tǒng)中的視頻解析模塊的結(jié)構(gòu)圖；

圖6示意性示出根據(jù)本公開(kāi)示例實(shí)施方式的用于安全檢查的設(shè)備的結(jié)構(gòu)圖。

具體實(shí)施例

現(xiàn)在將參考附圖更全面地描述示例實(shí)施例。然而，示例實(shí)施例能夠以多種形式實(shí)施，且不應(yīng)被理解為限于在此闡述的實(shí)施例；相反，提供這些實(shí)施例使得本公開(kāi)將全面和完整，并將示例實(shí)施例的構(gòu)思全面地傳達(dá)給本領(lǐng)域的技術(shù)人員。在圖中相同的附圖標(biāo)記表示相同或類似的部分，因而將省略對(duì)它們的重復(fù)描述。

此外，所描述的特征、結(jié)構(gòu)或特性可以以任何合適的方式結(jié)合在一個(gè)或更多實(shí)施例中。在下面的描述中，提供許多具體細(xì)節(jié)從而給出對(duì)本公開(kāi)的實(shí)施例的充分理解。然而，本領(lǐng)域技術(shù)人員將意識(shí)到，可以實(shí)踐本公開(kāi)的技術(shù)方案而沒(méi)有所述特定細(xì)節(jié)中的一個(gè)或更多，或者可以采用其它的方法、組元、材料、 裝置、步驟等。在其它情況下，不詳細(xì)示出或描述公知結(jié)構(gòu)、方法、裝置、實(shí)現(xiàn)、材料或者操作以避免模糊本公開(kāi)的各方面。

附圖中所示的方框圖僅僅是功能實(shí)體，不一定必須與物理上獨(dú)立的實(shí)體相對(duì)應(yīng)。即，可以采用軟件形式來(lái)實(shí)現(xiàn)這些功能實(shí)體，或在一個(gè)或多個(gè)軟件硬化的模塊中實(shí)現(xiàn)這些功能實(shí)體或功能實(shí)體的一部分，或在不同網(wǎng)絡(luò)和/或處理器裝置和/或微控制器裝置中實(shí)現(xiàn)這些功能實(shí)體。

圖1示意性示出根據(jù)本公開(kāi)示例實(shí)施方式的用于安全檢查的方法的流程圖。

如圖1所示，在步驟s110，在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后，采集所述行包的行包信息和安檢待查人員信息。

根據(jù)示例實(shí)施例，在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后，采集所述行包的行包信息和安檢待查人員信息可以包括：在行包進(jìn)入安檢機(jī)之前，通過(guò)設(shè)置在所述安檢機(jī)入口側(cè)的攝像頭采集所述行包的行包信息和所述安檢待查人員信息，可以是采用一個(gè)攝像頭同時(shí)采集所述行包的行包信息和所述安檢待查人員信息，經(jīng)過(guò)圖像處理，將所述行包信息和所述安檢待查人員信息分別提取出來(lái)，還可以是在所述安檢機(jī)入口側(cè)設(shè)置兩個(gè)攝像頭，其中一個(gè)攝像頭采集所述安檢待查人員信息，另一個(gè)攝像頭采集所述行包的行包信息。

根據(jù)示例實(shí)施例，在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后，采集所述行包的行包信息和安檢待查人員信息可以包括：在行包離開(kāi)所述安檢機(jī)之后，通過(guò)設(shè)置在所述安檢機(jī)出口側(cè)的攝像頭采集行包提取視頻，對(duì)所述行包提取視頻進(jìn)行解析可以獲得所述行包的行包信息和所述安檢待查人員信息。

根據(jù)示例實(shí)施例，在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后，采集所述行包的行包信息和安檢待查人員信息可以包括：在行包進(jìn)入安檢機(jī)之前，采集所述行包的入口行包信息；在所述行包離開(kāi)所述安檢機(jī)之后，采集所述行包提取視頻，對(duì)所述行包提取視頻進(jìn)行解析可以獲得所述行包的出口行包信息和所述安檢待查人員信息，并通過(guò)算法(例如，可以通過(guò)時(shí)間和/或行包屬性)將所述入口行包信息和所述出口行包信息進(jìn)行匹配，獲得所述行包信息。

根據(jù)示例實(shí)施例，在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后，采集所述行包的行包信息和安檢待查人員信息可以包括：在行包進(jìn)入安檢機(jī)之前，通過(guò)設(shè)置在所述安檢機(jī)入口側(cè)的攝像頭采集所述行包的入口行包信息和入 口安檢待查人員信息；在所述行包離開(kāi)所述安檢機(jī)之后，采集所述行包提取視頻，對(duì)所述行包提取視頻進(jìn)行解析可以獲得所述行包的出口行包信息和出口安檢待查人員信息，通過(guò)算法分別將所述入口行包信息和所述出口行包信息、所述入口安檢待查人員信息和所述出口待查人員信息進(jìn)行匹配，分別獲得所述行包信息和所述安檢待查人員信息。

根據(jù)示例實(shí)施例，所述采集所述行包的行包信息包括：采集行包視頻；解析所述行包視頻從而得到所述行包的入口行包信息。

根據(jù)示例實(shí)施例，其中所述采集所述安檢待查人員信息包括：采集行包提取視頻；解析所述行包提取視頻得到提取所述行包的安檢待查人員信息。

在步驟s120，在所述行包進(jìn)入所述安檢機(jī)進(jìn)行掃描時(shí)，獲得所述行包的行包掃描圖像。

在步驟s130，在存儲(chǔ)系統(tǒng)中將所述行包信息、所述行包掃描圖像和所述安檢待查人員信息進(jìn)行關(guān)聯(lián)。其中，采集所述行包的行包信息、采集所述安檢待查人員信息包括解析視頻。

根據(jù)示例實(shí)施例，其中所述解析所述行包提取視頻得到所述安檢待查人員信息包括：解析所述行包提取視頻得到所述安檢機(jī)出口行包信息和安檢待查人員信息；將所述出口行包信息與所述入口行包信息進(jìn)行匹配從而識(shí)別離開(kāi)所述安檢機(jī)的所述行包。

根據(jù)示例實(shí)施例，其中所述解析所述行包提取視頻得到所述安檢待查人員信息包括：將所述行包進(jìn)入和離開(kāi)所述安檢機(jī)的時(shí)間進(jìn)行匹配從而識(shí)別所述離開(kāi)安檢機(jī)的所述行包；解析所述行包提取視頻得到提取所述行包的安檢待查人員信息。

根據(jù)示例實(shí)施例，其中所述獲得所述行包的行包掃描圖像包括：將計(jì)算出的所述行包的掃描圖像生成時(shí)間與實(shí)際掃描圖像生成時(shí)間進(jìn)行匹配，從而獲得所述行包掃描圖像。

根據(jù)示例實(shí)施例，還包括將所述行包信息、所述行包掃描圖像、所述提取者信息存儲(chǔ)于服務(wù)器系統(tǒng)中。

根據(jù)示例實(shí)施例，其中所述行包信息包括圖像、顏色、大小至少其中之一。

根據(jù)示例實(shí)施例，其中所述提取者信息包括人臉圖像、提取視頻片段至少其中之一。所述人臉圖像的獲取可以采用現(xiàn)有的任意一種人臉處理算法，在此 不作限定。

根據(jù)示例實(shí)施例，其中所述掃描圖像為x光透視圖像。

根據(jù)示例實(shí)施例，安檢待查人員(如地鐵、鐵路旅客)將其行李包裹(簡(jiǎn)稱“行包”)放在所述安檢機(jī)傳輸帶上，設(shè)置于所述安檢機(jī)入口處的第一攝像頭采集所述行包視頻，系統(tǒng)服務(wù)器獲取所述行包視頻，通過(guò)視頻解析算法分析所述行包視頻，解析出所述行包信息，所述行包信息包括行包的屬性，例如行包的顏色、大小、銘牌、新舊程度甚至材質(zhì)等。隨后，所述行包隨著所述安檢機(jī)的傳輸帶勻速進(jìn)入到所述安檢機(jī)，所述安檢機(jī)掃描所述行包，生成例如x光透視圖像的行包掃描圖像，所述系統(tǒng)服務(wù)器獲取所述行包的所述x光透視圖像。接著，所述行包繼續(xù)隨著所述安檢機(jī)的傳輸帶往前移動(dòng)，從所述安檢機(jī)的出口處出來(lái)，所述行包安檢完畢，所述安檢待查人員從所述安檢機(jī)的傳輸帶上取走自己的所述行包，此時(shí)，安裝在所述安檢機(jī)出口處的第二攝像頭采集所述行包和所述行包的安檢待查人員的視頻，例如安檢待查人員的人臉視頻，所述系統(tǒng)服務(wù)器獲取該視頻，通過(guò)人臉識(shí)別算法提取所述安檢待查人員的人臉圖像。所述系統(tǒng)服務(wù)器再將所述行包信息(包括所述入口行包信息和所述出口行包信息并將兩者進(jìn)行匹配)、所述安檢待查人員的人臉圖像信息和所述行包的x光透視圖像信息進(jìn)行綁定、關(guān)聯(lián)。

根據(jù)示例實(shí)施例，安全檢查人員可以依據(jù)人臉或者包的屬性檢索出其他關(guān)聯(lián)信息(以人搜包或者以包搜人)：如果安全檢查人員發(fā)現(xiàn)嫌疑人員，可以通過(guò)檢索該嫌疑人員人臉。如果檢索到，可以獲取該嫌疑人員當(dāng)時(shí)的行包視頻、圖像和x光透視圖像信息。如果安全檢查人員發(fā)現(xiàn)嫌疑行包，可以通過(guò)行包屬性檢索嫌疑人員。如果檢索到，可以獲取該嫌疑人員的人臉信息和行包的x光透視圖像信息。

圖2為基于圖1所述的用于安全檢查的方法中的視頻解析方法的流程圖。

如圖2所示，在步驟s210，對(duì)視頻流解碼，提取單個(gè)幀。

在步驟s220，對(duì)所述幀的圖像劃定感興趣區(qū)域和感興趣線。

根據(jù)示例實(shí)施例，解析所述行包視頻，對(duì)輸入視頻流解碼，提取單個(gè)幀作為當(dāng)前幀，根據(jù)與所述行包是否相關(guān)內(nèi)容對(duì)所述當(dāng)前幀的圖像劃定感興趣區(qū)域，例如在放下行包時(shí)，攝像頭會(huì)同時(shí)采集到所述安檢待查人員的手和所述行包的圖像，或者在所述行包隨著所述安檢機(jī)的傳輸帶往前將要移動(dòng)到所述安檢 機(jī)的鉛簾門(mén)時(shí)，鉛簾門(mén)恰好翻動(dòng)導(dǎo)致攝像頭同時(shí)采集到所述鉛簾門(mén)和所述行包的圖像，這樣，就需要從所述幀的圖像中將所述手或所述鉛簾門(mén)的部分劃出，劃定所述感興趣區(qū)域僅包括所述行包。

在步驟s230，檢測(cè)所述感興趣區(qū)域內(nèi)的動(dòng)態(tài)物品。

在步驟s240，獲取前景圖并進(jìn)行開(kāi)閉處理。

根據(jù)示例實(shí)施例，所述前景圖概念是和后景圖、背景圖相對(duì)而言的。三者之間是互相遮擋的作用。后景圖在最底下，背景圖在其上，前景圖在最表面。

根據(jù)示例實(shí)施例，所述開(kāi)閉處理是利用形態(tài)學(xué)的基本運(yùn)算，對(duì)圖像進(jìn)行觀察和處理，從而達(dá)到改善圖像質(zhì)量的目的；描述和定義圖像的各種幾何參數(shù)和特征，如面積，周長(zhǎng)，連通度，顆粒度，骨架和方向性。

根據(jù)示例實(shí)施例，可以采用二值圖像的形態(tài)學(xué)運(yùn)算，也可以采用灰度圖像的形態(tài)學(xué)運(yùn)算。其中，二值圖像基本的形態(tài)學(xué)運(yùn)算是腐蝕和膨脹，所述腐蝕是消除物體的所有邊界點(diǎn)的一種過(guò)程，其結(jié)果是使剩下的物體沿其周邊比原物體小一個(gè)像素的面積。如果物體是圓的，它的直徑在每次腐蝕后將減少兩個(gè)像素，如果物體在某一點(diǎn)處任意方向上連通的像素小于三個(gè)，那么該物體經(jīng)過(guò)一次腐蝕后將在該點(diǎn)處分裂為二個(gè)物體。所述膨脹運(yùn)算是將與某物體接觸的所有背景點(diǎn)合并到該物體中的過(guò)程。過(guò)程的結(jié)果是使物體的面積增大了相應(yīng)數(shù)量的點(diǎn)，如果物體是圓的，它的直徑在每次膨脹后將增大兩個(gè)像素。如果兩個(gè)物體在某一點(diǎn)的任意方向相隔少于三個(gè)像素，它們將在該點(diǎn)連通起來(lái)。

腐蝕可以消除圖像中小的噪聲區(qū)域，膨脹可以填補(bǔ)物體中的空洞。對(duì)一個(gè)圖像先進(jìn)行腐蝕運(yùn)算然后再膨脹的操作過(guò)程稱為開(kāi)運(yùn)算，它可以消除細(xì)小的物體、在纖細(xì)點(diǎn)處分離物體、平滑較大物體的邊界時(shí)不明顯的改變其面積。如果對(duì)一個(gè)圖像先膨脹然后再收縮，稱之為閉運(yùn)算，它具有填充物體內(nèi)細(xì)小的空洞、連接鄰近物體、在不明顯改變物體面積的情況下平滑其邊界的作用。

通常情況下，當(dāng)有噪聲的圖像用閾值二值化后，所得到的邊界是很不平滑的，物體區(qū)域具有一些錯(cuò)判的孔洞，背景區(qū)域散布著一些小的噪聲物體，連續(xù)的開(kāi)運(yùn)算和閉運(yùn)算可以顯著的改善這種情況，在連接幾次腐蝕迭代之后，再加上相同次數(shù)的膨脹，才可以產(chǎn)生所期望的效果。經(jīng)過(guò)上述處理，成功的消除了圖像中的噪聲點(diǎn)，同時(shí)又起到了平滑邊緣的作用。

在步驟s250，判斷處理后的所述動(dòng)態(tài)物品是否過(guò)所述感興趣線；如果是， 則進(jìn)入下一步；反之，跳回到步驟s230。

在步驟s260，將當(dāng)前幀與前一幀狀態(tài)對(duì)比。

在步驟s270，根據(jù)所述比對(duì)結(jié)果，判斷所述當(dāng)前幀是否是關(guān)鍵幀；如果是，則進(jìn)入下一步；反之，跳回到步驟s210提取下一幀。

在步驟s280，保存并提取關(guān)鍵幀內(nèi)所述動(dòng)態(tài)物品的行包信息。

根據(jù)示例實(shí)施例，還包括對(duì)所述幀的圖像劃定感興趣線，檢測(cè)所述感興趣區(qū)域內(nèi)的動(dòng)態(tài)物品，獲取前景圖并進(jìn)行開(kāi)閉處理，一旦檢測(cè)到處理后的所述動(dòng)態(tài)物品過(guò)所述感興趣線，將當(dāng)前幀與預(yù)先存儲(chǔ)的前一幀狀態(tài)對(duì)比，這里的前一幀狀態(tài)例如可以是前一幀是否過(guò)所述感興趣線，如果所述前一幀狀態(tài)是過(guò)所述感興趣線，說(shuō)明所述行包的行包信息已經(jīng)保存，可以不再對(duì)所述當(dāng)前幀進(jìn)行保存和提取行包信息的操作；如果所述前一幀狀態(tài)是沒(méi)有過(guò)所述感興趣線，說(shuō)明所述行包的行包信息沒(méi)有保存，所述當(dāng)前幀是過(guò)所述感興趣線的第一幀，保存所述當(dāng)前幀作為關(guān)鍵幀，并提取所述關(guān)鍵幀內(nèi)所述動(dòng)態(tài)物品的行包信息。這樣，可以減小系統(tǒng)存儲(chǔ)空間，提高算法的處理速度，不需要對(duì)同一個(gè)行包進(jìn)行重復(fù)存儲(chǔ)和重復(fù)提取。

圖3為基于圖1所述的用于安全檢查的方法中的視頻解析處理的流程圖。

如圖3所示，在步驟s310，將實(shí)時(shí)視頻數(shù)據(jù)流以時(shí)間片為單位拆分為多個(gè)時(shí)間片數(shù)據(jù)。

在步驟s320，對(duì)所述多個(gè)時(shí)間片數(shù)據(jù)進(jìn)行并行處理。

根據(jù)示例實(shí)施例，為了提高算法性能，采用大數(shù)據(jù)技術(shù)構(gòu)建，部署在apachespark架構(gòu)上。借助sparkstreaming技術(shù)，可以提高算法的執(zhí)行效率，加快識(shí)別行包和人臉的速度并提高準(zhǔn)確率，并實(shí)現(xiàn)海量視頻和圖像信息存儲(chǔ)。sparkstreaming是一種構(gòu)建在spark上的實(shí)時(shí)流的計(jì)算框架，它擴(kuò)展了spark處理大規(guī)模流式數(shù)據(jù)的能力。sparkstreaming基本原理是將輸入數(shù)據(jù)流以時(shí)間片(秒級(jí))為單位進(jìn)行拆分，然后以類似批處理的并行處理方式處理每個(gè)時(shí)間片數(shù)據(jù)。這里將視頻流作為實(shí)時(shí)流輸入，使用sparkstreaming技術(shù)加載視頻處理算法，實(shí)現(xiàn)算法的高效執(zhí)行。當(dāng)然，還可以采用其它可以實(shí)現(xiàn)圖像并行處理的技術(shù)，在此不作限定。

本公開(kāi)示例實(shí)施方式的用于安全檢查的方法，采用了大數(shù)據(jù)技術(shù)提供視頻解析算法的執(zhí)行效率，極大地加快了識(shí)別行包和人臉的速度并提高了識(shí)別的準(zhǔn) 確率。

圖4示意性示出根據(jù)本公開(kāi)示例實(shí)施方式的用于安全檢查的系統(tǒng)的結(jié)構(gòu)圖。

如圖4所示，該系統(tǒng)400包括：行包信息采集模塊410，用于在行包進(jìn)入安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)之后采集所述行包的行包信息；行包掃描圖像獲取模塊420，用于在所述行包進(jìn)入所述安檢機(jī)進(jìn)行掃描時(shí)獲得所述行包的行包掃描圖像；安檢待查人員信息采集模塊430，用于在所述行包進(jìn)入所述安檢機(jī)之前和/或離開(kāi)所述安檢機(jī)離開(kāi)所述安檢機(jī)之后采集所述行包的安檢待查人員信息；關(guān)聯(lián)模塊450，用于在存儲(chǔ)系統(tǒng)中將所述行包信息、所述行包掃描圖像和所述安檢待查人員信息進(jìn)行關(guān)聯(lián)；視頻解析模塊440，其中所述行包信息采集模塊410、所述安檢待查人員信息采集模塊430利用所述視頻解析模塊解析視頻。

根據(jù)示例實(shí)施例，其中所述行包信息采集模塊410包括：行包視頻采集單元，用于采集行包視頻；行包解析單元，用于解析所述行包視頻從而得到所述行包的入口行包信息。

根據(jù)示例實(shí)施例，其中所述安檢待查人員信息采集模塊430包括：行包提取視頻采集單元，用于采集行包提取視頻；行包提取解析單元，用于解析所述行包提取視頻從而得到所述安檢待查人員信息。

根據(jù)示例實(shí)施例，其中所述行包提取解析單元包括：行包解析子單元，用于解析所述行包提取視頻得到出口行包信息；提取者解析子單元，用于解析所述行包提取視頻得到提取所述行包的安檢待查人員信息；行包匹配子單元，用于將所述出口行包信息與所述入口行包信息進(jìn)行匹配從而識(shí)別離開(kāi)所述安檢機(jī)的所述行包。

根據(jù)示例實(shí)施例，其中所述行包提取解析單元包括：第一時(shí)間匹配子單元，用于將所述行包進(jìn)入和離開(kāi)所述安檢機(jī)的時(shí)間進(jìn)行匹配從而識(shí)別所述離開(kāi)安檢機(jī)的所述行包；提取者解析子單元，用于解析所述行包提取視頻得到提取所述行包的安檢待查人員信息。

根據(jù)示例實(shí)施例，其中所述行包掃描圖像獲取模塊420包括：第二時(shí)間匹配單元，用于將計(jì)算出的所述行包的掃描圖像生成時(shí)間與實(shí)際掃描圖像生成時(shí)間進(jìn)行匹配，從而獲得所述行包掃描圖像。

根據(jù)示例實(shí)施例，其中所述視頻解析模塊440包括：時(shí)間片拆分單元，用于將實(shí)時(shí)視頻數(shù)據(jù)流以時(shí)間片為單位拆分為多個(gè)時(shí)間片數(shù)據(jù)；處理單元，用于對(duì)所述多個(gè)時(shí)間片數(shù)據(jù)進(jìn)行并行處理。

根據(jù)示例實(shí)施例，還包括存儲(chǔ)模塊，用于將所述行包信息、所述行包掃描圖像、所述提取者信息存儲(chǔ)于服務(wù)器系統(tǒng)中。

根據(jù)示例實(shí)施例，其中所述行包信息包括圖像、顏色、大小至少其中之一。

根據(jù)示例實(shí)施例，其中所述安檢待查人員信息包括人臉圖像、提取視頻片段至少其中之一。

根據(jù)示例實(shí)施例，其中所述掃描圖像為x光透視圖像。

關(guān)于上述實(shí)施例中的裝置，其中各個(gè)模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述，此處將不做詳細(xì)闡述說(shuō)明。

圖5為基于圖4所述的用于安全檢查的系統(tǒng)中的視頻解析模塊440的結(jié)構(gòu)圖。

如圖5所示，包括：幀提取單元510，用于對(duì)視頻流解碼，提取單個(gè)幀；劃定單元520，用于對(duì)所述幀的圖像劃定感興趣區(qū)域和感興趣線；檢測(cè)單元530，用于檢測(cè)所述感興趣區(qū)域內(nèi)的動(dòng)態(tài)物品；開(kāi)閉處理單元540，用于獲取前景圖并進(jìn)行開(kāi)閉處理；關(guān)鍵幀判斷單元550，在處理離開(kāi)所述安檢機(jī)之后的動(dòng)態(tài)物品過(guò)所述感興趣線時(shí)，對(duì)比前一幀狀態(tài)，確定是否是關(guān)鍵幀；行包信息提取單元560，用于在是關(guān)鍵幀時(shí)保存并提取關(guān)鍵幀內(nèi)動(dòng)態(tài)物品的行包信息。

圖6示意性示出根據(jù)本公開(kāi)示例實(shí)施方式的的用于安全檢查的設(shè)備600的結(jié)構(gòu)圖。

如圖6所示，包括：攝像頭(630、640)和安檢機(jī)610。其中，所述攝像頭(630、640)設(shè)置在所述安檢機(jī)610的入口側(cè)和/或出口側(cè)，用于在行包進(jìn)入所述安檢機(jī)610之前和/或離開(kāi)所述安檢機(jī)610之后采集行包視頻和安檢待查人員視頻；所述安檢機(jī)610對(duì)進(jìn)入其中的行包進(jìn)行掃描從而產(chǎn)生行包掃描圖像。

根據(jù)示例實(shí)施例，所述攝像頭630可以設(shè)置在所述安檢機(jī)的入口側(cè)，在行包進(jìn)入安檢機(jī)之前，通過(guò)所述攝像頭采集所述行包的行包信息和所述安檢待查人員信息。其中，可以采用一個(gè)攝像頭同時(shí)采集所述行包的行包信息和所述安檢待查人員信息，經(jīng)過(guò)圖像處理，將所述行包信息和所述安檢待查人員信息分 別提取出來(lái)；還可以是在所述安檢機(jī)入口側(cè)設(shè)置兩個(gè)攝像頭，其中一個(gè)攝像頭采集所述安檢待查人員信息，另一個(gè)攝像頭采集所述行包的行包信息。

根據(jù)示例實(shí)施例，所述攝像頭640可以設(shè)置在所述安檢機(jī)的出口側(cè)，在行包離開(kāi)所述安檢機(jī)之后，通過(guò)所述安檢機(jī)攝像頭采集行包提取視頻，對(duì)所述行包提取視頻進(jìn)行解析可以獲得所述行包的行包信息和所述安檢待查人員信息。

根據(jù)示例實(shí)施例，所述攝像頭包括第一攝像頭630和第二攝像頭640。其中，所述第一攝像頭630設(shè)置在所述安檢機(jī)610的入口側(cè)，用于在行包進(jìn)入所述安檢機(jī)610之前采集所述入口行包視頻；所述第二攝像頭640設(shè)置在所述安檢機(jī)610的出口側(cè)，用于在所述行包離開(kāi)所述安檢機(jī)610之后，采集所述行包提取視頻，對(duì)所述行包提取視頻進(jìn)行解析可以獲得所述行包的出口行包信息和所述安檢待查人員信息，并通過(guò)算法(例如，可以通過(guò)時(shí)間和/或行包屬性)將所述入口行包信息和所述出口行包信息進(jìn)行匹配，獲得所述行包信息。

根據(jù)示例實(shí)施例，在行包進(jìn)入所述安檢機(jī)610之前，通過(guò)設(shè)置在所述安檢機(jī)入口側(cè)的所述第一攝像頭630采集所述行包的入口行包信息和入口安檢待查人員信息；在所述行包離開(kāi)所述安檢機(jī)610之后，通過(guò)設(shè)置在所述安檢機(jī)出口側(cè)的所述第二攝像頭640采集所述行包提取視頻，對(duì)所述行包提取視頻進(jìn)行解析可以獲得所述行包的出口行包信息和出口安檢待查人員信息，通過(guò)算法分別將所述入口行包信息和所述出口行包信息、所述入口安檢待查人員信息和所述出口待查人員信息進(jìn)行匹配，分別獲得所述行包信息和所述安檢待查人員信息。

根據(jù)示例實(shí)施例，所述第一攝像頭630和第二攝像頭640并不是對(duì)數(shù)量的限制，所述第一攝像頭630可以是一個(gè)攝像頭，也可以包括多個(gè)攝像頭，同理，所述第二攝像頭640也可以是一個(gè)攝像頭，也可以包括多個(gè)攝像頭。雖然圖示中的所述攝像頭安裝在所述安檢機(jī)610上面，但實(shí)際上所述攝像頭可以安置在所述安檢機(jī)610入口側(cè)和/或出口側(cè)的任意位置，例如地鐵或者鐵路車(chē)站的大門(mén)入口處，只要其能拍攝到監(jiān)控區(qū)域內(nèi)的人和/或物的視頻或圖像信息即可，本發(fā)明在此不作限定。

根據(jù)示例實(shí)施例，所述安檢機(jī)610還進(jìn)一步包括x光機(jī)機(jī)頭620、鉛簾門(mén)650和傳輸帶660。

根據(jù)示例實(shí)施例，所述行包提取視頻中包括所述行包670和安檢待查人員 680。

根據(jù)示例實(shí)施例，所述安檢待查人員680將所述行包670放在所述安檢機(jī)610的所述傳輸帶660上，所述第一攝像頭630采集所述行包670的視頻。采用視頻解析算法分析所述行包670的視頻圖像，獲取行包屬性；當(dāng)所述行包670在所述傳輸帶660上運(yùn)行至所述安檢機(jī)610入口側(cè)的所述鉛門(mén)簾650時(shí)，所述視頻解析算法檢測(cè)到該位置點(diǎn)，記錄該時(shí)間點(diǎn)t1；根據(jù)所述安檢機(jī)610的所述鉛門(mén)簾650到所述安檢機(jī)610的所述x光機(jī)機(jī)頭620的水平距離s，和所述安檢機(jī)610的所述傳輸帶660運(yùn)行的速度v,計(jì)算出所述行包670的x光透視圖像的生成時(shí)間t2(t2＝t1+s/v)。因此，t2時(shí)間點(diǎn)的x光透視圖像為該行包的；在所述安檢機(jī)610的出口側(cè)，所述視頻解析算法檢測(cè)所述行包670的圖像和所述安檢待查人員680的人臉信息。

根據(jù)示例實(shí)施例，所述視頻解析算法根據(jù)出入口的行包圖像進(jìn)行匹配，提取所述安檢待查人員680的人臉圖像。

根據(jù)示例實(shí)施例，還可以根據(jù)所述安檢機(jī)610入口側(cè)的所述鉛門(mén)簾650到所述安檢機(jī)610的所述x光機(jī)機(jī)頭620的水平距離s，和所述安檢機(jī)610的所述傳輸帶660運(yùn)行的速度v,計(jì)算出所述行包670從所述安檢機(jī)610的出口側(cè)出來(lái)時(shí)間t3(t3＝t1+s/v)，從而將所述入口行包和所述出口行包進(jìn)行匹配。將入口處采集的行包圖像，t2時(shí)間點(diǎn)的行包x光透視圖像以及出口處的所述安檢待查人員680的人臉圖像三者進(jìn)行對(duì)應(yīng)或綁定。

根據(jù)示例實(shí)施例，還可以記錄所述行包670到達(dá)所述安檢機(jī)610出口側(cè)的所述鉛簾門(mén)650時(shí)間點(diǎn)t3，根據(jù)所述安檢機(jī)610出口側(cè)的所述鉛簾門(mén)650到所述安檢機(jī)610的所述x光機(jī)機(jī)頭620的水平距離s1，和所述安檢機(jī)610的所述傳輸帶660運(yùn)行的速度v，計(jì)算出所述行包670到達(dá)所述安檢機(jī)610的所述x光機(jī)機(jī)頭620的時(shí)間t2(t2＝t3-s1/v)。將出口處采集的行包圖像，t2時(shí)間點(diǎn)的行包x光透視圖像以及出口處的所述安檢待查人員680的人臉圖像三者進(jìn)行對(duì)應(yīng)或綁定。

根據(jù)示例實(shí)施例，還包括控制單元，所述控制單元包括如上所述中任一項(xiàng)所述的系統(tǒng)。

圖1示出根據(jù)本公開(kāi)示例實(shí)施方式的用于安全檢查的方法的流程圖。該方法可例如利用如圖4、5或6所示的用于安全檢查的系統(tǒng)和設(shè)備實(shí)現(xiàn)，但本公 開(kāi)不限于此。需要注意的是，圖1、2和3僅是根據(jù)本公開(kāi)示例實(shí)施方式的方法所包括的處理的示意性說(shuō)明，而不是限制目的。易于理解，圖1、2和3所示的處理并不表明或限制這些處理的時(shí)間順序。另外，也易于理解，這些處理可以是例如在多個(gè)模塊/進(jìn)程/線程中同步或異步執(zhí)行的。

通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員易于理解，這里描述的示例實(shí)施方式可以通過(guò)軟件實(shí)現(xiàn)，也可以通過(guò)軟件結(jié)合必要的硬件的方式來(lái)實(shí)現(xiàn)。因此，根據(jù)本公開(kāi)實(shí)施方式的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該軟件產(chǎn)品可以存儲(chǔ)在一個(gè)非易失性存儲(chǔ)介質(zhì)(可以是cd-rom，u盤(pán)，移動(dòng)硬盤(pán)等)中或網(wǎng)絡(luò)上，包括若干指令以使得一臺(tái)計(jì)算設(shè)備(可以是個(gè)人計(jì)算機(jī)、服務(wù)器、移動(dòng)終端、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行根據(jù)本公開(kāi)實(shí)施方式的方法。

本領(lǐng)域技術(shù)人員可以理解，附圖只是示例實(shí)施方式的示意圖，附圖中的模塊或流程并不一定是實(shí)施本公開(kāi)所必須的，因此不能用于限制本公開(kāi)的保護(hù)范圍。

本領(lǐng)域技術(shù)人員可以理解上述各模塊可以按照實(shí)施方式的描述分布于裝置中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施方式的一個(gè)或多個(gè)裝置中。上述實(shí)施方式的模塊可以合并為一個(gè)模塊，也可以進(jìn)一步拆分成多個(gè)子模塊。

以上具體地示出和描述了本公開(kāi)的示例性實(shí)施方式。應(yīng)該理解，本公開(kāi)不限于所公開(kāi)的實(shí)施方式，相反，本公開(kāi)意圖涵蓋包含在所附權(quán)利要求的精神和范圍內(nèi)的各種修改和等效布置。