1.本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域，具體涉及一種監(jiān)控對(duì)象移動(dòng)識(shí)別方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)。


背景技術(shù)：

2.在電力施工現(xiàn)場(chǎng)等環(huán)境復(fù)雜的場(chǎng)景中，一些重要設(shè)備不可以被移動(dòng)。例如設(shè)置在變電站、高壓設(shè)備、起重工作地點(diǎn)等周?chē)陌踩珖鷻凇Ｒ坏┍灰苿?dòng)極容易出現(xiàn)安全事故。因此，需要對(duì)這些重要設(shè)備進(jìn)行監(jiān)控?，F(xiàn)有的監(jiān)控方法是在監(jiān)控區(qū)域安裝攝像頭，然后進(jìn)行圖像一致性比對(duì)，以確認(rèn)監(jiān)控對(duì)象是否在原有位置。但是這種方法成本較高，且固定攝像頭也容易在施工現(xiàn)場(chǎng)被破壞。采用自動(dòng)跟蹤攝像機(jī)或無(wú)人機(jī)等動(dòng)態(tài)監(jiān)控設(shè)備雖然可以節(jié)省成本，但是由于攝像視野、焦距不固定，導(dǎo)致現(xiàn)有的圖像一致性比對(duì)方法無(wú)法得到準(zhǔn)確的識(shí)別結(jié)果。此外現(xiàn)有的圖像一致性比對(duì)方法在圍欄形狀多變的情況下，也難以準(zhǔn)確檢出圍欄的實(shí)際位置和區(qū)域，易造成誤報(bào)。


技術(shù)實(shí)現(xiàn)要素：

3.針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種監(jiān)控對(duì)象移動(dòng)識(shí)別方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，以解決上述技術(shù)問(wèn)題。
4.第一方面，本發(fā)明提供一種監(jiān)控對(duì)象移動(dòng)識(shí)別方法，包括：
5.利用目標(biāo)檢測(cè)算法從監(jiān)控區(qū)域的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，并利用人體姿勢(shì)識(shí)別模型基于所述監(jiān)控對(duì)象輪廓提取第一關(guān)鍵點(diǎn)集合；
6.利用特征提取算法提取所述監(jiān)控圖像的第一特征點(diǎn)和標(biāo)準(zhǔn)圖像中與第一特征點(diǎn)具有映射關(guān)系的第二特征點(diǎn)，基于第一特征點(diǎn)和第二特征點(diǎn)計(jì)算將監(jiān)控圖像映射至標(biāo)準(zhǔn)圖像坐標(biāo)系的單應(yīng)矩陣；
7.利用單應(yīng)矩陣將所述第一關(guān)鍵點(diǎn)集合映射至標(biāo)準(zhǔn)圖像坐標(biāo)系，計(jì)算第一關(guān)鍵點(diǎn)集合在標(biāo)準(zhǔn)圖像坐標(biāo)系上圍成的多邊形面積；
8.將標(biāo)準(zhǔn)圖像中監(jiān)控對(duì)象的關(guān)鍵點(diǎn)圍成的多邊形的面積作為標(biāo)準(zhǔn)面積，計(jì)算所述多邊形面積與所述標(biāo)準(zhǔn)面積的度量值；
9.比對(duì)度量值與設(shè)定的閾值，如果度量值未超過(guò)所述閾值則判定監(jiān)控對(duì)象被移動(dòng)。
10.進(jìn)一步的，在利用目標(biāo)檢測(cè)算法從監(jiān)控區(qū)域的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，并利用人體姿勢(shì)識(shí)別模型基于所述監(jiān)控對(duì)象輪廓提取第一關(guān)鍵點(diǎn)集合之前，所述方法還包括：
11.利用圖像批量縮放工具將監(jiān)控圖像的尺寸縮放至設(shè)定的標(biāo)準(zhǔn)尺寸；
12.利用訓(xùn)練好的efficientdet網(wǎng)絡(luò)模型從標(biāo)準(zhǔn)尺寸的監(jiān)控圖像中識(shí)別人體目標(biāo)；
13.如果識(shí)別到人體目標(biāo)則繼續(xù)從標(biāo)準(zhǔn)尺寸的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，所述監(jiān)控對(duì)象輪廓為監(jiān)控對(duì)象目標(biāo)的最小外接矩形；
14.如果未識(shí)別到人體目標(biāo)則終止對(duì)所述監(jiān)控圖像的識(shí)別程序，并輸出提示信息。
15.進(jìn)一步的，利用目標(biāo)檢測(cè)算法從監(jiān)控區(qū)域的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，并利用人體姿勢(shì)識(shí)別模型基于所述監(jiān)控對(duì)象輪廓提取第一關(guān)鍵點(diǎn)集合，包括：
16.利用人體姿勢(shì)識(shí)別模型對(duì)監(jiān)控對(duì)象輪廓范圍內(nèi)的圖像進(jìn)行關(guān)鍵點(diǎn)識(shí)別，所述人體姿勢(shì)識(shí)別模型采用darkpose模型，且darkpose模型主干網(wǎng)絡(luò)使用hrnet神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam；
17.利用數(shù)據(jù)標(biāo)注軟件對(duì)識(shí)別出的所有關(guān)鍵點(diǎn)進(jìn)行坐標(biāo)標(biāo)注，并將所有關(guān)鍵點(diǎn)坐標(biāo)存儲(chǔ)為第一關(guān)鍵點(diǎn)集合。
18.進(jìn)一步的，利用特征提取算法提取所述監(jiān)控圖像的第一特征點(diǎn)和標(biāo)準(zhǔn)圖像中與第一特征點(diǎn)具有映射關(guān)系的第二特征點(diǎn)，基于第一特征點(diǎn)和第二特征點(diǎn)計(jì)算將監(jiān)控圖像映射至標(biāo)準(zhǔn)圖像坐標(biāo)系的單應(yīng)矩陣，包括：
19.利用orientedbrief特征提取算法分別從監(jiān)控圖像和標(biāo)準(zhǔn)圖像提取多個(gè)特征點(diǎn)，所述標(biāo)準(zhǔn)圖像為監(jiān)控對(duì)象在初始狀態(tài)下的圖像；
20.利用暴力算法對(duì)監(jiān)控圖像的多個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像的多個(gè)特征點(diǎn)進(jìn)行匹配，建立對(duì)監(jiān)控圖像的多個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像的多個(gè)特征點(diǎn)的一一映射關(guān)系；
21.利用公式i＝h*k計(jì)算單應(yīng)矩陣h，其中k為監(jiān)控圖像的特征點(diǎn)坐標(biāo)，i為標(biāo)準(zhǔn)圖像中的映射特征點(diǎn)坐標(biāo)；
22.利用多對(duì)具有映射關(guān)系的特征點(diǎn)計(jì)算多個(gè)單應(yīng)矩陣，從多個(gè)單應(yīng)矩陣中篩選出準(zhǔn)確單應(yīng)矩陣。
23.進(jìn)一步的，將標(biāo)準(zhǔn)圖像中監(jiān)控對(duì)象的關(guān)鍵點(diǎn)圍成的多邊形的面積作為標(biāo)準(zhǔn)面積，計(jì)算所述多邊形面積與所述標(biāo)準(zhǔn)面積的度量值，包括：
24.利用公式計(jì)算所述度量值，其中s
ref
為標(biāo)準(zhǔn)圖像中的監(jiān)控對(duì)象區(qū)域的標(biāo)準(zhǔn)面積，sn為第一關(guān)鍵點(diǎn)集合在標(biāo)準(zhǔn)圖像坐標(biāo)系上圍成的多邊形面積，|
·
|表示求像素個(gè)數(shù)運(yùn)算。
25.進(jìn)一步的，比對(duì)度量值與設(shè)定的閾值，如果度量值未超過(guò)所述閾值則判定監(jiān)控對(duì)象被移動(dòng)，包括：
26.通過(guò)預(yù)先采集多張監(jiān)控對(duì)象處于不同狀態(tài)的樣本圖像，并分別對(duì)多張樣本圖像進(jìn)行處理獲取多張樣本圖像相對(duì)于標(biāo)準(zhǔn)圖像的樣本度量值，通過(guò)分析多個(gè)樣本度量值對(duì)應(yīng)的監(jiān)控對(duì)象狀態(tài)設(shè)定閾值；
27.比對(duì)監(jiān)控圖像相對(duì)于標(biāo)準(zhǔn)圖像的度量值與設(shè)定的閾值的大小，如果所述度量值超過(guò)所述閾值，則判定監(jiān)控對(duì)象未被移動(dòng)。
28.進(jìn)一步的，所述方法還包括：
29.采集監(jiān)控區(qū)域的監(jiān)控視頻，并利用圖像批量縮放工具從所述監(jiān)控視頻中截取多幀標(biāo)準(zhǔn)尺寸的監(jiān)控圖像；
30.分別對(duì)多張監(jiān)控圖像進(jìn)行處理，得到多張監(jiān)控圖像的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果；
31.將占比較大的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果作為最終的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果輸出。
32.第二方面，本發(fā)明提供一種監(jiān)控對(duì)象移動(dòng)識(shí)別系統(tǒng)，包括：
33.目標(biāo)識(shí)別單元，用于利用目標(biāo)檢測(cè)算法從監(jiān)控區(qū)域的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪
廓，并利用人體姿勢(shì)識(shí)別模型基于所述監(jiān)控對(duì)象輪廓提取第一關(guān)鍵點(diǎn)集合；
34.矩陣計(jì)算單元，用于利用特征提取算法提取所述監(jiān)控圖像的第一特征點(diǎn)和標(biāo)準(zhǔn)圖像中與第一特征點(diǎn)具有映射關(guān)系的第二特征點(diǎn)，基于第一特征點(diǎn)和第二特征點(diǎn)計(jì)算將監(jiān)控圖像映射至標(biāo)準(zhǔn)圖像坐標(biāo)系的單應(yīng)矩陣；
35.面積計(jì)算單元，用于利用單應(yīng)矩陣將所述第一關(guān)鍵點(diǎn)集合映射至標(biāo)準(zhǔn)圖像坐標(biāo)系，計(jì)算第一關(guān)鍵點(diǎn)集合在標(biāo)準(zhǔn)圖像坐標(biāo)系上圍成的多邊形面積；
36.度量計(jì)算單元，用于將標(biāo)準(zhǔn)圖像中監(jiān)控對(duì)象的關(guān)鍵點(diǎn)圍成的多邊形的面積作為標(biāo)準(zhǔn)面積，計(jì)算所述多邊形面積與所述標(biāo)準(zhǔn)面積的度量值；
37.結(jié)果判定單元，用于比對(duì)度量值與設(shè)定的閾值，如果度量值未超過(guò)所述閾值則判定監(jiān)控對(duì)象被移動(dòng)。
38.進(jìn)一步的，系統(tǒng)還包括預(yù)處理單元，所述預(yù)處理單元用于：
39.利用圖像批量縮放工具將監(jiān)控圖像的尺寸縮放至設(shè)定的標(biāo)準(zhǔn)尺寸；
40.利用訓(xùn)練好的efficientdet網(wǎng)絡(luò)模型從標(biāo)準(zhǔn)尺寸的監(jiān)控圖像中識(shí)別人體目標(biāo)；
41.如果識(shí)別到人體目標(biāo)則繼續(xù)從標(biāo)準(zhǔn)尺寸的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，所述監(jiān)控對(duì)象輪廓為監(jiān)控對(duì)象目標(biāo)的最小外接矩形；
42.如果未識(shí)別到人體目標(biāo)則終止對(duì)所述監(jiān)控圖像的識(shí)別程序，并輸出提示信息。
43.進(jìn)一步的，目標(biāo)識(shí)別單元用于：
44.利用人體姿勢(shì)識(shí)別模型對(duì)監(jiān)控對(duì)象輪廓范圍內(nèi)的圖像進(jìn)行關(guān)鍵點(diǎn)識(shí)別，所述人體姿勢(shì)識(shí)別模型采用darkpose模型，且darkpose模型主干網(wǎng)絡(luò)使用hrnet神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam；
45.利用數(shù)據(jù)標(biāo)注軟件對(duì)識(shí)別出的所有關(guān)鍵點(diǎn)進(jìn)行坐標(biāo)標(biāo)注，并將所有關(guān)鍵點(diǎn)坐標(biāo)存儲(chǔ)為第一關(guān)鍵點(diǎn)集合。
46.進(jìn)一步的，矩陣計(jì)算單元用于：
47.利用orientedbrief特征提取算法分別從監(jiān)控圖像和標(biāo)準(zhǔn)圖像提取多個(gè)特征點(diǎn)，所述標(biāo)準(zhǔn)圖像為監(jiān)控對(duì)象在初始狀態(tài)下的圖像；
48.利用暴力算法對(duì)監(jiān)控圖像的多個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像的多個(gè)特征點(diǎn)進(jìn)行匹配，建立對(duì)監(jiān)控圖像的多個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像的多個(gè)特征點(diǎn)的一一映射關(guān)系；
49.利用公式i＝h*k計(jì)算單應(yīng)矩陣h，其中k為監(jiān)控圖像的特征點(diǎn)坐標(biāo)，i為標(biāo)準(zhǔn)圖像中的映射特征點(diǎn)坐標(biāo)；
50.利用多對(duì)具有映射關(guān)系的特征點(diǎn)計(jì)算多個(gè)單應(yīng)矩陣，從多個(gè)單應(yīng)矩陣中篩選出準(zhǔn)確單應(yīng)矩陣。
51.進(jìn)一步的，度量計(jì)算單元用于：
52.利用公式計(jì)算所述度量值，其中s
ref
為標(biāo)準(zhǔn)圖像中的監(jiān)控對(duì)象區(qū)域的標(biāo)準(zhǔn)面積，sn為第一關(guān)鍵點(diǎn)集合在標(biāo)準(zhǔn)圖像坐標(biāo)系上圍成的多邊形面積，|
·
|表示求像素個(gè)數(shù)運(yùn)算。
53.進(jìn)一步的，結(jié)果判定單元用于：
54.通過(guò)預(yù)先采集多張監(jiān)控對(duì)象處于不同狀態(tài)的樣本圖像，并分別對(duì)多張樣本圖像進(jìn)
行處理獲取多張樣本圖像相對(duì)于標(biāo)準(zhǔn)圖像的樣本度量值，通過(guò)分析多個(gè)樣本度量值對(duì)應(yīng)的監(jiān)控對(duì)象狀態(tài)設(shè)定閾值；
55.比對(duì)監(jiān)控圖像相對(duì)于標(biāo)準(zhǔn)圖像的度量值與設(shè)定的閾值的大小，如果所述度量值超過(guò)所述閾值，則判定監(jiān)控對(duì)象未被移動(dòng)。
56.進(jìn)一步的，所述系統(tǒng)還包括結(jié)果校正單元，所述結(jié)果校正單元用于：
57.采集監(jiān)控區(qū)域的監(jiān)控視頻，并利用圖像批量縮放工具從所述監(jiān)控視頻中截取多幀標(biāo)準(zhǔn)尺寸的監(jiān)控圖像；
58.分別對(duì)多張監(jiān)控圖像進(jìn)行處理，得到多張監(jiān)控圖像的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果；
59.將占比較大的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果作為最終的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果輸出。
60.第三方面，提供一種終端，包括：
61.處理器、存儲(chǔ)器，其中，
62.該存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，
63.該處理器用于從存儲(chǔ)器中調(diào)用并運(yùn)行該計(jì)算機(jī)程序，使得終端執(zhí)行上述的終端的方法。
64.第四方面，提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述各方面所述的方法。
65.本發(fā)明提供的監(jiān)控對(duì)象移動(dòng)識(shí)別方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，包括以下有益效果：
66.(1)基于圖像匹配、深度學(xué)習(xí)技術(shù)，建模動(dòng)態(tài)監(jiān)控場(chǎng)景中的目標(biāo)，識(shí)別搬移行為，提升對(duì)監(jiān)控對(duì)象的監(jiān)控能力。
67.(2)使用由“粗”到“細(xì)”的方式建模圖像中的監(jiān)控對(duì)象區(qū)域?，F(xiàn)有技術(shù)中采用目標(biāo)檢測(cè)方法獲取監(jiān)控對(duì)象位置和邊界，實(shí)現(xiàn)對(duì)監(jiān)控對(duì)象的粗略建模；本發(fā)明在現(xiàn)有方法基礎(chǔ)上加入監(jiān)控對(duì)象關(guān)鍵點(diǎn)檢測(cè)，實(shí)現(xiàn)對(duì)監(jiān)控對(duì)象的精細(xì)化建模，提升建模精度。
68.(3)利用圖像匹配技術(shù)，將當(dāng)前圖像中的監(jiān)控對(duì)象區(qū)域校正至標(biāo)準(zhǔn)圖像坐標(biāo)系，實(shí)現(xiàn)在同一坐標(biāo)系內(nèi)計(jì)算監(jiān)控對(duì)象區(qū)域的變化程度，使得本發(fā)明所提方法可應(yīng)用于動(dòng)態(tài)監(jiān)控場(chǎng)景，擴(kuò)展現(xiàn)有方法的應(yīng)用場(chǎng)景。
69.此外，本發(fā)明設(shè)計(jì)原理可靠，結(jié)構(gòu)簡(jiǎn)單，具有非常廣泛的應(yīng)用前景。
附圖說(shuō)明
70.為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，對(duì)于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
71.圖1是本發(fā)明一個(gè)實(shí)施例的方法的示意性流程圖。
72.圖2是本發(fā)明一個(gè)實(shí)施例的方法的圍欄最小外接矩形及關(guān)鍵點(diǎn)標(biāo)注示意圖。
73.圖3是本發(fā)明一個(gè)實(shí)施例的方法的圍欄搬移識(shí)別算法流程圖。
74.圖4是本發(fā)明一個(gè)實(shí)施例的方法的校正當(dāng)前圖像中圍欄關(guān)鍵點(diǎn)流程圖。
75.圖5是是本發(fā)明一個(gè)實(shí)施例的方法的參考圖像與當(dāng)前圖像中圍欄區(qū)域示意圖。
76.圖6是本發(fā)明一個(gè)實(shí)施例的系統(tǒng)的示意性框圖。
77.圖7為本發(fā)明實(shí)施例提供的一種終端的結(jié)構(gòu)示意圖。
具體實(shí)施方式
78.為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
79.為了解決現(xiàn)有圖像識(shí)別方法存在的識(shí)別準(zhǔn)確率低，且只能對(duì)固定視野和焦距的圖像進(jìn)行一致性匹配。本發(fā)明提供一種監(jiān)控對(duì)象移動(dòng)識(shí)別方法，包括以下步驟：
80.通過(guò)利用無(wú)人機(jī)定期對(duì)監(jiān)控對(duì)象進(jìn)行巡航拍照，獲取監(jiān)控圖像。利用步驟s 1-s4對(duì)監(jiān)控對(duì)象進(jìn)行處理，得到當(dāng)前次巡航的監(jiān)控結(jié)果。
81.s 1、利用目標(biāo)檢測(cè)算法從監(jiān)控區(qū)域的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，并利用人體姿勢(shì)識(shí)別模型基于所述監(jiān)控對(duì)象輪廓提取第一關(guān)鍵點(diǎn)集合。
82.s2、利用特征提取算法提取所述監(jiān)控圖像的第一特征點(diǎn)和標(biāo)準(zhǔn)圖像中與第一特征點(diǎn)具有映射關(guān)系的第二特征點(diǎn)，基于第一特征點(diǎn)和第二特征點(diǎn)計(jì)算將監(jiān)控圖像映射至標(biāo)準(zhǔn)圖像坐標(biāo)系的單應(yīng)矩陣；
83.s3、利用單應(yīng)矩陣將所述第一關(guān)鍵點(diǎn)集合映射至標(biāo)準(zhǔn)圖像坐標(biāo)系，計(jì)算第一關(guān)鍵點(diǎn)集合在標(biāo)準(zhǔn)圖像坐標(biāo)系上圍成的多邊形面積；
84.s4、將標(biāo)準(zhǔn)圖像中監(jiān)控對(duì)象的關(guān)鍵點(diǎn)圍成的多邊形的面積作為標(biāo)準(zhǔn)面積，計(jì)算所述多邊形面積與所述標(biāo)準(zhǔn)面積的度量值；
85.比對(duì)度量值與設(shè)定的閾值，如果度量值未超過(guò)所述閾值則判定監(jiān)控對(duì)象被移動(dòng)。
86.為了便于對(duì)本發(fā)明的理解，下面以本發(fā)明監(jiān)控對(duì)象移動(dòng)識(shí)別方法的原理，結(jié)合實(shí)施例中對(duì)監(jiān)控對(duì)象進(jìn)行移動(dòng)識(shí)別的過(guò)程，對(duì)本發(fā)明提供的監(jiān)控對(duì)象移動(dòng)識(shí)別方法做進(jìn)一步的描述。
87.具體的，請(qǐng)參考圖1，以監(jiān)控對(duì)象為安全圍欄為例進(jìn)行說(shuō)明，所述監(jiān)控對(duì)象移動(dòng)識(shí)別方法包括：
88.(1)圖像采集與處理：在電力安全圍欄監(jiān)控區(qū)域，使用自動(dòng)跟蹤攝像機(jī)、無(wú)人機(jī)等動(dòng)態(tài)監(jiān)控設(shè)備采集視頻數(shù)據(jù)。采用opencv工具(圖像批量縮放工具)從拍攝的視頻片段或?qū)崟r(shí)視頻流中解碼圖像，提取連續(xù)的關(guān)鍵幀圖像，并將圖像尺寸縮放至1080
×
720。
89.(2)由于安全圍欄只有在有人活動(dòng)的場(chǎng)景下才最可能被搬移，因此為了減少無(wú)用計(jì)算量，本實(shí)施例設(shè)計(jì)人體目標(biāo)檢測(cè)：將步驟1所得的圖像輸入efficientdet網(wǎng)絡(luò)(目標(biāo)檢測(cè)算法)，輸出人體目標(biāo)的檢測(cè)結(jié)果。所述efficientdet是一種輕量級(jí)的通用目標(biāo)檢測(cè)網(wǎng)絡(luò)，經(jīng)訓(xùn)練后可用于檢測(cè)電力場(chǎng)景中的目標(biāo)。采用efficientdet算法默認(rèn)的超參數(shù)訓(xùn)練網(wǎng)絡(luò)。參閱圖1，若未檢測(cè)到人體目標(biāo)，則不進(jìn)行圍欄粗略建模、精細(xì)化建模及搬移識(shí)別，返回步驟1。
90.人體目標(biāo)檢測(cè)結(jié)果格式舉例：
91.[0092][0093]
所述目標(biāo)檢測(cè)結(jié)果格式舉例中，“class”表示類(lèi)別，“person”表示人體；“confidence”表示置信度，其范圍為[0,1]；“box”表示人體目標(biāo)的最小外接矩形，格式為[x
min
,y
min
,x
max
,y
max
]。
[0094]
(3)圍欄粗略建模：采用efficientdet目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)圍欄進(jìn)行粗建模，獲得圍欄的粗略位置及區(qū)域。采用efficientdet算法默認(rèn)的超參數(shù)訓(xùn)練網(wǎng)絡(luò)。參閱圖1，若圖像中存在圍欄目標(biāo)，efficientdet模型輸出圍欄目標(biāo)的最小外接矩形，格式為[x
min
,y
min
,x
max
,y
max
]。若未檢測(cè)到圍欄目標(biāo)，則不進(jìn)行圍欄精細(xì)化建模及搬移識(shí)別，返回步驟1。
[0095]
圍欄目標(biāo)檢測(cè)結(jié)果格式舉例：
[0096][0097]
所述目標(biāo)檢測(cè)結(jié)果格式舉例中，“class”表示類(lèi)別，“safety_fence”表示安全圍欄，“confidence”表示置信度，其范圍為[0,1]；“box”表示圍欄目標(biāo)的最小外接矩形。
[0098]
(4)圍欄精細(xì)化建模：受拍攝視角的影響，僅采用目標(biāo)檢測(cè)無(wú)法精確地檢測(cè)出圍欄的實(shí)際區(qū)域。圍欄的精細(xì)化建?？刹捎藐P(guān)鍵點(diǎn)檢測(cè)、語(yǔ)義分割等技術(shù)?？紤]到語(yǔ)義分割算法計(jì)算量大、執(zhí)行效率低，本發(fā)明在圍欄目標(biāo)檢測(cè)的基礎(chǔ)上加入圍欄關(guān)鍵點(diǎn)檢測(cè)，進(jìn)一步獲取圍欄的精細(xì)化區(qū)域。本實(shí)施例中采用darkpose檢測(cè)圍欄的關(guān)鍵點(diǎn)。darkpose是一種基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，除算法性能外，其與openpose的主要不同點(diǎn)為openpose屬于自下而上的方法，而darkpose屬于自上而下的方法。darkpose需確定目標(biāo)邊界后再檢測(cè)關(guān)鍵點(diǎn)，此方式可避免其他目標(biāo)的干擾，有利于提高關(guān)鍵點(diǎn)預(yù)測(cè)的準(zhǔn)確率。目標(biāo)邊界即步驟3中圍欄的最小包圍矩形。參考圖2，圍欄的關(guān)鍵點(diǎn)位于四個(gè)頂角，即圖2中p1～p4指向的四個(gè)黑色圓點(diǎn)；a1、a2為圍欄的立柱；b為圍欄的橫桿或防護(hù)帶。采用開(kāi)源軟件labelme標(biāo)注圍欄關(guān)鍵點(diǎn)，生成訓(xùn)練集和測(cè)試集。本實(shí)施例中，darkpose主干網(wǎng)絡(luò)使用hrnet，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam，其他訓(xùn)練超參數(shù)均采用算法默認(rèn)配置。
[0099]
(5)圍欄搬移識(shí)別：當(dāng)在圖像中檢測(cè)到人體并對(duì)圍欄進(jìn)行建模后，執(zhí)行圍欄搬移識(shí)別算法。自動(dòng)跟蹤攝像機(jī)、無(wú)人機(jī)巡檢等動(dòng)態(tài)監(jiān)控場(chǎng)景拍攝過(guò)程中，若攝像機(jī)發(fā)生移動(dòng)、變焦，圖像內(nèi)的物體位置、形狀也隨之發(fā)生變化。本發(fā)明中加入圖像校正算法，將圍欄關(guān)鍵點(diǎn)映射至參考圖像坐標(biāo)系，實(shí)現(xiàn)在同一坐標(biāo)系中比較圍欄區(qū)域是否發(fā)生顯著變化，以識(shí)別圍欄是否被搬移。圍欄搬移識(shí)別算法流程如圖3所示，其過(guò)程如下：
[0100]
(5.1)獲取圖像及圍欄關(guān)鍵點(diǎn)：參考圖像i
ref
定義為實(shí)時(shí)監(jiān)控過(guò)程中首次同時(shí)檢測(cè)到人體和圍欄目標(biāo)時(shí)的圖像，圍欄搬移識(shí)別算法執(zhí)行完成后，清空參考圖像。從步驟(1)獲取參考圖像i
ref
、當(dāng)前圖像i。從步驟(4)中獲取當(dāng)前圖像中的圍欄關(guān)鍵點(diǎn)，其表示為p1＝(x1,y1)、p2＝(x2,y2)、p3＝(x3,y3)、p4＝(x4,y4)。
[0101]
(5.2)校正當(dāng)前圖像中圍欄關(guān)鍵點(diǎn)：本步驟的目的是將當(dāng)前圖像內(nèi)的關(guān)鍵點(diǎn)校正至參考圖像坐標(biāo)系，其包括提取特征點(diǎn)、匹配特征點(diǎn)、計(jì)算單應(yīng)矩陣和校正圍欄關(guān)鍵，如圖4所示。為提高圖像匹配速度，本實(shí)施例中采用orb(oriented brief)特征提取算法，快速提取當(dāng)前圖像i以及參考圖像i
ref
中的特征點(diǎn)。采用brute force方法匹配i及i
ref
中的特征點(diǎn)。通過(guò)匹配的特征點(diǎn)計(jì)算單應(yīng)矩陣h，進(jìn)而校正當(dāng)前圖像中的圍欄關(guān)鍵點(diǎn)。采用opencv中的findhomography函數(shù)求解單應(yīng)矩陣h。
[0102]
透視變換公式為：
[0103][0104]
將式1展開(kāi)可得
[0105]
x＝a
11
u+a
12
v+a
13
??????????????????????
(式2)
[0106]
y＝a
21
u+a
22
v+a
23
??????????????????????
(式3)
[0107]
z＝a
31
u+a
32
v+a
33
??????????????????????
(式4)
[0108]
由式2、3、4可計(jì)算出經(jīng)校正后得新坐標(biāo)
[0109][0110][0111]
其中，u、v為點(diǎn)的原始坐標(biāo)。由上述推導(dǎo)過(guò)程可知，通過(guò)單應(yīng)矩陣h，可計(jì)算經(jīng)透視變換后的新坐標(biāo)x
′
、y
′
。
[0112]
校正圍欄關(guān)鍵點(diǎn)：將當(dāng)前圖像中圍欄關(guān)鍵點(diǎn)p1＝(x1,y1)、p2＝(x2,y2)、p3＝(x3,y3)、p4＝(x4,y4)，帶入新坐標(biāo)計(jì)算表達(dá)式后得到校正后的圍欄關(guān)鍵點(diǎn)p
1n
＝(x
1n
,y
1n
)、p2＝(x
2n
,y
2n
)、p
3n
＝(x
3n
,y
3n
)、p
4n
＝(x
4n
,y
4n
)。
[0113]
若拍攝過(guò)程中攝像機(jī)發(fā)生移動(dòng)、變焦，經(jīng)過(guò)上述校正處理后，當(dāng)前圖像中圍欄關(guān)鍵點(diǎn)坐標(biāo)系可統(tǒng)一至參考圖像的坐標(biāo)系，實(shí)現(xiàn)在同一坐標(biāo)系內(nèi)比較圍欄區(qū)域，使得本發(fā)明所提方法可適用于動(dòng)態(tài)監(jiān)控場(chǎng)景。
[0114]
(5.3)計(jì)算圍欄區(qū)域iou：現(xiàn)有目標(biāo)檢測(cè)技術(shù)通常使用最小外接矩形建模目標(biāo)區(qū)域，此種方式易引入無(wú)效的背景區(qū)域，無(wú)法精確建模目標(biāo)區(qū)域。本發(fā)明采用基于關(guān)鍵點(diǎn)的方
式建模目標(biāo)區(qū)域，選取圍欄的四個(gè)頂角組成四邊形作為圍欄的有效區(qū)域。設(shè)參考圖像中的圍欄區(qū)域?yàn)閟
ref
，校正后的圍欄區(qū)域?yàn)閟n，如圖5所示。
[0115]
計(jì)算參考圖像中的圍欄區(qū)域與當(dāng)前圖像中校正后的圍欄區(qū)域iou，表達(dá)式為
[0116][0117]
式7中|
·
|表示求像素個(gè)數(shù)運(yùn)算。
[0118]
根據(jù)預(yù)先設(shè)置的閾值iou
th
判斷圍欄是否被搬移：
[0119]
情況1：iou≤iou
th
，圍欄被搬移；
[0120]
情況2：iou》iou
th
，圍欄未被搬移。
[0121]
本實(shí)施例中，閾值iou
th
設(shè)置為0.7。進(jìn)一步的，本發(fā)明實(shí)施例中僅說(shuō)明由單張當(dāng)前圖像判斷圍欄是否被搬移。工程實(shí)施過(guò)程中，目標(biāo)檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)算法不可避免地存在誤檢。為降低誤報(bào)率，提高圍欄搬移識(shí)別算法的魯棒性，可采用多幀檢測(cè)和“投票法”進(jìn)行判斷。具體方法為連續(xù)檢測(cè)k幀后，若“圍欄被搬移”占多數(shù)，輸出結(jié)果為圍欄被搬移；反之，輸出結(jié)果為圍欄未被搬移。實(shí)施過(guò)程中，應(yīng)根據(jù)攝像機(jī)幀率f調(diào)整k的取值，k的范圍一般為f～10f。
[0122]
此外，本實(shí)施例中的深度學(xué)習(xí)模型的訓(xùn)練集含有16000張圖像，測(cè)試集含有4000張圖像。硬件配置為16g內(nèi)存、intel core i7-9750、nvidia geforce gtx 1070。在處理1080
×
720的視頻時(shí)，速度約為20fps。
[0123]
如圖6所示，該系統(tǒng)600包括：
[0124]
目標(biāo)識(shí)別單元610，用于利用目標(biāo)檢測(cè)算法從監(jiān)控區(qū)域的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，并利用人體姿勢(shì)識(shí)別模型基于所述監(jiān)控對(duì)象輪廓提取第一關(guān)鍵點(diǎn)集合；
[0125]
矩陣計(jì)算單元620，用于利用特征提取算法提取所述監(jiān)控圖像的第一特征點(diǎn)和標(biāo)準(zhǔn)圖像中與第一特征點(diǎn)具有映射關(guān)系的第二特征點(diǎn)，基于第一特征點(diǎn)和第二特征點(diǎn)計(jì)算將監(jiān)控圖像映射至標(biāo)準(zhǔn)圖像坐標(biāo)系的單應(yīng)矩陣；
[0126]
面積計(jì)算單元630，用于利用單應(yīng)矩陣將所述第一關(guān)鍵點(diǎn)集合映射至標(biāo)準(zhǔn)圖像坐標(biāo)系，計(jì)算第一關(guān)鍵點(diǎn)集合在標(biāo)準(zhǔn)圖像坐標(biāo)系上圍成的多邊形面積；
[0127]
度量計(jì)算單元640，用于將標(biāo)準(zhǔn)圖像中監(jiān)控對(duì)象的關(guān)鍵點(diǎn)圍成的多邊形的面積作為標(biāo)準(zhǔn)面積，計(jì)算所述多邊形面積與所述標(biāo)準(zhǔn)面積的度量值；
[0128]
結(jié)果判定單元650，用于比對(duì)度量值與設(shè)定的閾值，如果度量值未超過(guò)所述閾值則判定監(jiān)控對(duì)象被移動(dòng)。
[0129]
可選地，作為本發(fā)明一個(gè)實(shí)施例，系統(tǒng)還包括預(yù)處理單元，所述預(yù)處理單元用于：
[0130]
利用圖像批量縮放工具將監(jiān)控圖像的尺寸縮放至設(shè)定的標(biāo)準(zhǔn)尺寸；
[0131]
利用訓(xùn)練好的efficientdet網(wǎng)絡(luò)模型從標(biāo)準(zhǔn)尺寸的監(jiān)控圖像中識(shí)別人體目標(biāo)；
[0132]
如果識(shí)別到人體目標(biāo)則繼續(xù)從標(biāo)準(zhǔn)尺寸的監(jiān)控圖像中識(shí)別監(jiān)控對(duì)象輪廓，所述監(jiān)控對(duì)象輪廓為監(jiān)控對(duì)象目標(biāo)的最小外接矩形；
[0133]
如果未識(shí)別到人體目標(biāo)則終止對(duì)所述監(jiān)控圖像的識(shí)別程序，并輸出提示信息。
[0134]
可選地，作為本發(fā)明一個(gè)實(shí)施例，目標(biāo)識(shí)別單元用于：
[0135]
利用人體姿勢(shì)識(shí)別模型對(duì)監(jiān)控對(duì)象輪廓范圍內(nèi)的圖像進(jìn)行關(guān)鍵點(diǎn)識(shí)別，所述人體
姿勢(shì)識(shí)別模型采用darkpose模型，且darkpose模型主干網(wǎng)絡(luò)使用hrnet神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam；
[0136]
利用數(shù)據(jù)標(biāo)注軟件對(duì)識(shí)別出的所有關(guān)鍵點(diǎn)進(jìn)行坐標(biāo)標(biāo)注，并將所有關(guān)鍵點(diǎn)坐標(biāo)存儲(chǔ)為第一關(guān)鍵點(diǎn)集合。
[0137]
可選地，作為本發(fā)明一個(gè)實(shí)施例，矩陣計(jì)算單元用于：
[0138]
利用oriented brief特征提取算法分別從監(jiān)控圖像和標(biāo)準(zhǔn)圖像提取多個(gè)特征點(diǎn)，所述標(biāo)準(zhǔn)圖像為監(jiān)控對(duì)象在初始狀態(tài)下的圖像；
[0139]
利用暴力算法對(duì)監(jiān)控圖像的多個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像的多個(gè)特征點(diǎn)進(jìn)行匹配，建立對(duì)監(jiān)控圖像的多個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像的多個(gè)特征點(diǎn)的一一映射關(guān)系；
[0140]
利用公式i＝h*k計(jì)算單應(yīng)矩陣h，其中k為監(jiān)控圖像的特征點(diǎn)坐標(biāo)，i為標(biāo)準(zhǔn)圖像中的映射特征點(diǎn)坐標(biāo)；
[0141]
利用多對(duì)具有映射關(guān)系的特征點(diǎn)計(jì)算多個(gè)單應(yīng)矩陣，從多個(gè)單應(yīng)矩陣中篩選出準(zhǔn)確單應(yīng)矩陣。
[0142]
可選地，作為本發(fā)明一個(gè)實(shí)施例，度量計(jì)算單元用于：
[0143]
利用公式計(jì)算所述度量值，其中s
ref
為標(biāo)準(zhǔn)圖像中的監(jiān)控對(duì)象區(qū)域的標(biāo)準(zhǔn)面積，sn為第一關(guān)鍵點(diǎn)集合在標(biāo)準(zhǔn)圖像坐標(biāo)系上圍成的多邊形面積，|
·
|表示求像素個(gè)數(shù)運(yùn)算。
[0144]
可選地，作為本發(fā)明一個(gè)實(shí)施例，結(jié)果判定單元用于：
[0145]
通過(guò)預(yù)先采集多張監(jiān)控對(duì)象處于不同狀態(tài)的樣本圖像，并分別對(duì)多張樣本圖像進(jìn)行處理獲取多張樣本圖像相對(duì)于標(biāo)準(zhǔn)圖像的樣本度量值，通過(guò)分析多個(gè)樣本度量值對(duì)應(yīng)的監(jiān)控對(duì)象狀態(tài)設(shè)定閾值；
[0146]
比對(duì)監(jiān)控圖像相對(duì)于標(biāo)準(zhǔn)圖像的度量值與設(shè)定的閾值的大小，如果所述度量值超過(guò)所述閾值，則判定監(jiān)控對(duì)象未被移動(dòng)。
[0147]
可選地，作為本發(fā)明一個(gè)實(shí)施例，系統(tǒng)還包括結(jié)果校正單元，所述結(jié)果校正單元用于：
[0148]
采集監(jiān)控區(qū)域的監(jiān)控視頻，并利用圖像批量縮放工具從所述監(jiān)控視頻中截取多幀標(biāo)準(zhǔn)尺寸的監(jiān)控圖像；
[0149]
分別對(duì)多張監(jiān)控圖像進(jìn)行處理，得到多張監(jiān)控圖像的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果；
[0150]
將占比較大的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果作為最終的監(jiān)控對(duì)象移動(dòng)識(shí)別結(jié)果輸出。
[0151]
圖7為本發(fā)明實(shí)施例提供的一種終端700的結(jié)構(gòu)示意圖，該終端700可以用于執(zhí)行本發(fā)明實(shí)施例提供的監(jiān)控對(duì)象移動(dòng)識(shí)別方法。
[0152]
其中，該終端700可以包括：處理器710、存儲(chǔ)器720及通信單元730。這些組件通過(guò)一條或多條總線進(jìn)行通信，本領(lǐng)域技術(shù)人員可以理解，圖中示出的服務(wù)器的結(jié)構(gòu)并不構(gòu)成對(duì)本發(fā)明的限定，它既可以是總線形結(jié)構(gòu)，也可以是星型結(jié)構(gòu)，還可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件布置。
[0153]
其中，該存儲(chǔ)器720可以用于存儲(chǔ)處理器710的執(zhí)行指令，存儲(chǔ)器720可以由任何類(lèi)型的易失性或非易失性存儲(chǔ)終端或者它們的組合實(shí)現(xiàn)，如靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)，電
可擦除可編程只讀存儲(chǔ)器(eeprom)，可擦除可編程只讀存儲(chǔ)器(eprom)，可編程只讀存儲(chǔ)器(prom)，只讀存儲(chǔ)器(rom)，磁存儲(chǔ)器，快閃存儲(chǔ)器，磁盤(pán)或光盤(pán)。當(dāng)存儲(chǔ)器720中的執(zhí)行指令由處理器710執(zhí)行時(shí)，使得終端700能夠執(zhí)行以下上述方法實(shí)施例中的部分或全部步驟。
[0154]
處理器710為存儲(chǔ)終端的控制中心，利用各種接口和線路連接整個(gè)電子終端的各個(gè)部分，通過(guò)運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)器720內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲(chǔ)在存儲(chǔ)器內(nèi)的數(shù)據(jù)，以執(zhí)行電子終端的各種功能和/或處理數(shù)據(jù)。所述處理器可以由集成電路(integrated circuit，簡(jiǎn)稱(chēng)ic)組成，例如可以由單顆封裝的ic所組成，也可以由連接多顆相同功能或不同功能的封裝ic而組成。舉例來(lái)說(shuō)，處理器710可以?xún)H包括中央處理器(central processing unit，簡(jiǎn)稱(chēng)cpu)。在本發(fā)明實(shí)施方式中，cpu可以是單運(yùn)算核心，也可以包括多運(yùn)算核心。
[0155]
通信單元730，用于建立通信信道，從而使所述存儲(chǔ)終端可以與其它終端進(jìn)行通信。接收其他終端發(fā)送的用戶(hù)數(shù)據(jù)或者向其他終端發(fā)送用戶(hù)數(shù)據(jù)。
[0156]
本發(fā)明還提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其中，該計(jì)算機(jī)存儲(chǔ)介質(zhì)可存儲(chǔ)有程序，該程序執(zhí)行時(shí)可包括本發(fā)明提供的各實(shí)施例中的部分或全部步驟。所述的存儲(chǔ)介質(zhì)可為磁碟、光盤(pán)、只讀存儲(chǔ)記憶體(英文：read-only memory，簡(jiǎn)稱(chēng)：rom)或隨機(jī)存儲(chǔ)記憶體(英文：random access memory，簡(jiǎn)稱(chēng)：ram)等。
[0157]
因此，本發(fā)明基于圖像匹配、深度學(xué)習(xí)技術(shù)，建模動(dòng)態(tài)監(jiān)控場(chǎng)景中的目標(biāo)，識(shí)別搬移行為，提升對(duì)監(jiān)控對(duì)象的監(jiān)控能力；使用由“粗”到“細(xì)”的方式建模圖像中的監(jiān)控對(duì)象區(qū)域?，F(xiàn)有技術(shù)中采用目標(biāo)檢測(cè)方法獲取監(jiān)控對(duì)象位置和邊界，實(shí)現(xiàn)對(duì)監(jiān)控對(duì)象的粗略建模；本發(fā)明在現(xiàn)有方法基礎(chǔ)上加入監(jiān)控對(duì)象關(guān)鍵點(diǎn)檢測(cè)，實(shí)現(xiàn)對(duì)監(jiān)控對(duì)象的精細(xì)化建模，提升建模精度；利用圖像匹配技術(shù)，將當(dāng)前圖像中的監(jiān)控對(duì)象區(qū)域校正至標(biāo)準(zhǔn)圖像坐標(biāo)系，實(shí)現(xiàn)在同一坐標(biāo)系內(nèi)計(jì)算監(jiān)控對(duì)象區(qū)域的變化程度，使得本發(fā)明所提方法可應(yīng)用于動(dòng)態(tài)監(jiān)控場(chǎng)景，擴(kuò)展現(xiàn)有方法的應(yīng)用場(chǎng)景，本實(shí)施例所能達(dá)到的技術(shù)效果可以參見(jiàn)上文中的描述，此處不再贅述。
[0158]
本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明實(shí)施例中的技術(shù)可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明實(shí)施例中的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中如u盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(rom，read-only memory)、隨機(jī)存取存儲(chǔ)器(ram，random access memory)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)，包括若干指令用以使得一臺(tái)計(jì)算機(jī)終端(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者第二終端、網(wǎng)絡(luò)終端等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。
[0159]
本說(shuō)明書(shū)中各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。尤其，對(duì)于終端實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例中的說(shuō)明即可。
[0160]
在本發(fā)明所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的系統(tǒng)實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，系統(tǒng)或單元的間接耦合或通
信連接，可以是電性，機(jī)械或其它的形式。
[0161]
所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
[0162]
另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。
[0163]
盡管通過(guò)參考附圖并結(jié)合優(yōu)選實(shí)施例的方式對(duì)本發(fā)明進(jìn)行了詳細(xì)描述，但本發(fā)明并不限于此。在不脫離本發(fā)明的精神和實(shí)質(zhì)的前提下，本領(lǐng)域普通技術(shù)人員可以對(duì)本發(fā)明的實(shí)施例進(jìn)行各種等效的修改或替換，而這些修改或替換都應(yīng)在本發(fā)明的涵蓋范圍內(nèi)/任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。