本技術(shù)屬于智能識(shí)別,具體涉及一種目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤方法、裝置、電子設(shè)備和介質(zhì)。
背景技術(shù):
1、在智能識(shí)別領(lǐng)域中,通過對(duì)目標(biāo)對(duì)象的活動(dòng)軌跡進(jìn)行跟蹤,記錄和分析在識(shí)別過程中的目標(biāo)對(duì)象的位置信息等,可以對(duì)目標(biāo)對(duì)象的行為進(jìn)行優(yōu)化指導(dǎo)。例如,在教學(xué)場景中,通過對(duì)教師的移動(dòng)位置進(jìn)行追蹤,可以優(yōu)化教師的教學(xué)行為。
2、現(xiàn)有技術(shù)中,對(duì)目標(biāo)對(duì)象的活動(dòng)軌跡進(jìn)行跟蹤記錄主要依賴于視頻捕捉設(shè)備,通過設(shè)備捕捉場景的圖像,然后識(shí)別圖像中的目標(biāo)對(duì)象并記錄其在場景內(nèi)的坐標(biāo)。
3、然而,采用現(xiàn)有技術(shù)的方式,確定的目標(biāo)對(duì)象的活動(dòng)軌跡的準(zhǔn)確性不高。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供一種目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤方法、裝置、電子設(shè)備和介質(zhì),以解決現(xiàn)有技術(shù)中對(duì)確定的移動(dòng)軌跡的準(zhǔn)確性不高的問題。
2、本技術(shù)實(shí)施例第一方面提供一種目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤方法,包括:
3、獲取目標(biāo)對(duì)象在目標(biāo)圖像中的第一坐標(biāo)信息,所述目標(biāo)圖像為目標(biāo)攝像頭獲取的目標(biāo)空間的圖像;
4、基于所述第一坐標(biāo)信息和透視變換矩陣,獲取所述目標(biāo)對(duì)象在所述目標(biāo)空間中的第二坐標(biāo)信息;
5、基于所述第二坐標(biāo)信息確定所述目標(biāo)對(duì)象的移動(dòng)軌跡。
6、可選的,所述基于所述第一坐標(biāo)信息和透視變換矩陣,獲取所述目標(biāo)對(duì)象在所述目標(biāo)空間中的第二坐標(biāo)信息之前,還包括:
7、獲取所述目標(biāo)空間的第一圖像的四個(gè)源點(diǎn),所述四個(gè)源點(diǎn)為所述第一圖像的四個(gè)頂點(diǎn);
8、基于所述第一圖像的四個(gè)源點(diǎn)和所述目標(biāo)空間的四個(gè)目標(biāo)點(diǎn),獲取所述透視變換矩陣。
9、可選的,所述獲取所述目標(biāo)空間的第一圖像的四個(gè)源點(diǎn),包括:
10、獲取目標(biāo)攝像頭拍攝的目標(biāo)空間的原始圖像;
11、對(duì)所述原始圖像中的課桌椅區(qū)域進(jìn)行掩碼處理,得到掩碼圖像;
12、對(duì)所述掩碼圖像進(jìn)行二值化處理,得到二值化圖像;
13、對(duì)二值化圖像進(jìn)行邊緣檢測,得到多邊形圖像;
14、若所述多邊形圖像為四邊形,則將所述多邊形圖像確定為第一圖像;
15、若所述多邊形圖像為六邊形,則對(duì)所述六邊形進(jìn)行預(yù)處理,得到所述六邊形對(duì)應(yīng)的四邊形,將所述四邊形確定為第一圖像。
16、可選的,所述對(duì)所述六邊形進(jìn)行預(yù)處理,得到所述六邊形對(duì)應(yīng)的四邊形,包括:
17、對(duì)所述六邊形的第一斜邊、第二斜邊和底邊進(jìn)行延長處理,得到所述第一斜邊的延長線與所述底邊的延長線的第一交點(diǎn),所述第二斜邊的延長線與所述底邊的延長線的第二交點(diǎn);
18、確定所述六邊形的頂邊的兩個(gè)端點(diǎn)、所述第一交點(diǎn)和所述第二交點(diǎn)構(gòu)成的四邊形為所述六邊形對(duì)應(yīng)的四邊形。
19、可選的,所述對(duì)所述原始圖像中的課桌區(qū)域進(jìn)行掩碼處理,得到掩碼圖像,包括:
20、將所述原始圖像輸入第一預(yù)設(shè)模型中,識(shí)別所述原始圖像中的課桌椅區(qū)域,并對(duì)所述課桌椅區(qū)域進(jìn)行掩碼處理,其中,所述第一預(yù)設(shè)模型是基于樣本圖像和樣本標(biāo)注進(jìn)行訓(xùn)練得到的,所述樣本圖像中的包括課桌椅被標(biāo)注。
21、可選的,所述獲取目標(biāo)對(duì)象在目標(biāo)圖像中的第一坐標(biāo)信息之前,還包括:
22、基于目標(biāo)對(duì)象的人體特征,識(shí)別所述目標(biāo)對(duì)象。
23、可選的,所述基于目標(biāo)對(duì)象的人體特征,識(shí)別所述目標(biāo)對(duì)象,包括:
24、將所述目標(biāo)對(duì)象的人體圖片輸入第二預(yù)設(shè)模型,得到第一人體特征向量,其中,所述第二預(yù)設(shè)模型是基于跨域數(shù)據(jù)預(yù)訓(xùn)練得到的;
25、將所述第一人體特征向量加入人體特征列表中;
26、對(duì)每個(gè)視頻幀進(jìn)行人體檢測,對(duì)處于第一姿態(tài)的人體進(jìn)行特征提取,得到第二人體特征向量;
27、基于所述第二人體特征向量和人體特征列表中的各第一人體特征向量的相似值,識(shí)別所述目標(biāo)對(duì)象。
28、可選的,所述基于所述第二人體特征向量和人體特征列表中的各第一人體特征向量的相似值,識(shí)別所述目標(biāo)對(duì)象,包括:
29、獲取所述第二人體特征向量與每個(gè)第一人體特征向量的相似值,確定所述相似值中的最大值大于第一預(yù)設(shè)閾值,則確定所述第二人體特征向量對(duì)應(yīng)的人體為所述目標(biāo)對(duì)象。
30、可選的,還包括:
31、若所述相似值中的最大值大于第二預(yù)設(shè)閾值,則將所述第二人體特征向量加入所述人體特征列表中,所述第二預(yù)設(shè)閾值大于所述第一預(yù)設(shè)閾值。
32、可選的,還包括:
33、若所述人體特征列表中的第一人體特征向量的數(shù)量大于預(yù)設(shè)閾值,則刪除其中一個(gè)或者多個(gè)第一人體特征向量。
34、可選的,所述基于目標(biāo)對(duì)象的人體特征,識(shí)別所述目標(biāo)對(duì)象之前,還包括:
35、基于人臉檢測,識(shí)別所述視頻幀中目標(biāo)對(duì)象的人臉,并獲取所述目標(biāo)對(duì)象的人體圖片;
36、或者,
37、確定視頻中多個(gè)處于第一姿態(tài)的人體中,處于第一姿態(tài)時(shí)間最久的人體為目標(biāo)對(duì)象,獲取所述目標(biāo)對(duì)象的人體圖片。
38、本技術(shù)實(shí)施例第二方面提供一種目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤裝置,包括:
39、獲取模塊,用于獲取目標(biāo)對(duì)象在目標(biāo)圖像中的第一坐標(biāo)信息,所述目標(biāo)圖像為目標(biāo)攝像頭獲取的目標(biāo)空間的圖像;
40、處理模塊,用于基于所述第一坐標(biāo)信息和透視變換矩陣,獲取所述目標(biāo)對(duì)象在所述目標(biāo)空間中的第二坐標(biāo)信息;
41、跟蹤模塊,用于基于所述第二坐標(biāo)信息確定所述目標(biāo)對(duì)象的移動(dòng)軌跡。
42、可選的,所述處理模塊具體用于獲取所述目標(biāo)空間的第一圖像的四個(gè)源點(diǎn),所述四個(gè)源點(diǎn)為所述第一圖像的四個(gè)頂點(diǎn);基于所述第一圖像的四個(gè)源點(diǎn)和所述目標(biāo)空間的四個(gè)目標(biāo)點(diǎn),獲取所述透視變換矩陣。
43、可選的,所述處理模塊具體用于獲取目標(biāo)攝像頭拍攝的目標(biāo)空間的原始圖像;對(duì)所述原始圖像中的課桌椅區(qū)域進(jìn)行掩碼處理,得到掩碼圖像;對(duì)所述掩碼圖像進(jìn)行二值化處理,得到二值化圖像;對(duì)二值化圖像進(jìn)行邊緣檢測,得到多邊形圖像;若所述多邊形圖像為四邊形,則將所述多邊形圖像確定為第一圖像;若所述多邊形圖像為六邊形,則對(duì)所述六邊形進(jìn)行預(yù)處理,得到所述六邊形對(duì)應(yīng)的四邊形,將所述四邊形確定為第一圖像。
44、可選的,所訴處理模塊具體用于對(duì)所述六邊形的第一斜邊、第二斜邊和底邊進(jìn)行延長處理,得到所述第一斜邊的延長線與所述底邊的延長線的第一交點(diǎn),所述第二斜邊的延長線與所述底邊的延長線的第二交點(diǎn);確定所述六邊形的頂邊的兩個(gè)端點(diǎn)、所述第一交點(diǎn)和所述第二交點(diǎn)構(gòu)成的四邊形為所述六邊形對(duì)應(yīng)的四邊形。
45、可選的,所述處理模塊具體將所述原始圖像輸入第一預(yù)設(shè)模型中,識(shí)別所述原始圖像中的課桌椅區(qū)域,并對(duì)所述課桌椅區(qū)域進(jìn)行掩碼處理,其中,所述第一預(yù)設(shè)模型是基于樣本圖像和樣本標(biāo)注進(jìn)行訓(xùn)練得到的,所述樣本圖像中的包括課桌椅被標(biāo)注。
46、可選的,所述獲取模塊具體用于基于目標(biāo)對(duì)象的人體特征,識(shí)別所述目標(biāo)對(duì)象。
47、可選的,所述獲取模塊具體用于將所述目標(biāo)對(duì)象的人體圖片輸入第二預(yù)設(shè)模型,得到第一人體特征向量,其中,所述第二預(yù)設(shè)模型是基于跨域數(shù)據(jù)預(yù)訓(xùn)練得到的;將所述第一人體特征向量加入人體特征列表中;對(duì)每個(gè)視頻幀進(jìn)行人體檢測,對(duì)處于第一姿態(tài)的人體進(jìn)行特征提取,得到第二人體特征向量;基于所述第二人體特征向量和人體特征列表中的各第一人體特征向量的相似值,識(shí)別所述目標(biāo)對(duì)象。
48、可選的,所述獲取模塊具體用于獲取所述第二人體特征向量與每個(gè)第一人體特征向量的相似值,確定所述相似值中的最大值大于第一預(yù)設(shè)閾值,則確定所述第二人體特征向量對(duì)應(yīng)的人體為所述目標(biāo)對(duì)象。
49、可選的,所述獲取模塊具體用于若所述相似值中的最大值大于第二預(yù)設(shè)閾值,則將所述第二人體特征向量加入所述人體特征列表中,所述第二預(yù)設(shè)閾值大于所述第一預(yù)設(shè)閾值。
50、可選的,所述獲取模塊具體用于若所述人體特征列表中的第一人體特征向量的數(shù)量大于預(yù)設(shè)閾值,則刪除其中一個(gè)或者多個(gè)第一人體特征向量。
51、可選的,所述獲取模塊具體用于基于人臉檢測,識(shí)別所述視頻幀中目標(biāo)對(duì)象的人臉,并獲取所述目標(biāo)對(duì)象的人體圖片;
52、或者,
53、確定視頻中多個(gè)處于第一姿態(tài)的人體中,處于第一姿態(tài)時(shí)間最久的人體為目標(biāo)對(duì)象,獲取所述目標(biāo)對(duì)象的人體圖片。
54、本技術(shù)實(shí)施例第三方面提供一種電子設(shè)備,包括:處理器和存儲(chǔ)器,所述存儲(chǔ)器存儲(chǔ)可在所述處理器上運(yùn)行的程序或指令,所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤方法的步驟。
55、本技術(shù)實(shí)施例第四方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令,所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤方法的步驟。
56、本技術(shù)實(shí)施例第五方面提供一種計(jì)算機(jī)程序產(chǎn)品,所述程序產(chǎn)品被車輛或者云服務(wù)器的處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤方法的步驟。
57、本技術(shù)實(shí)施例提供的一種目標(biāo)對(duì)象的移動(dòng)軌跡跟蹤方法、裝置、電子設(shè)備和介質(zhì),通過獲取目標(biāo)對(duì)象在目標(biāo)圖像中的第一坐標(biāo)信息,所述目標(biāo)圖像為目標(biāo)攝像頭獲取的目標(biāo)空間的圖像,基于所述第一坐標(biāo)信息和透視變換矩陣,獲取所述目標(biāo)對(duì)象在所述目標(biāo)空間中的第二坐標(biāo)信息,基于所述第二坐標(biāo)信息確定所述目標(biāo)對(duì)象的移動(dòng)軌跡,也就是,將目標(biāo)對(duì)象在目標(biāo)圖像中的第一坐標(biāo)信息結(jié)合透視變換矩陣,轉(zhuǎn)換為標(biāo)準(zhǔn)化的第二坐標(biāo)信息,從而,克服圖像畸變帶來的位置偏差問題,能夠得到更加準(zhǔn)確的坐標(biāo)信息,然后根據(jù)目標(biāo)對(duì)象的第二坐標(biāo)信息對(duì)目標(biāo)對(duì)象的移動(dòng)軌跡進(jìn)行跟蹤,從而,實(shí)現(xiàn)目標(biāo)對(duì)象在標(biāo)準(zhǔn)坐標(biāo)下的移動(dòng)軌跡跟蹤,同時(shí)提高了確定的移動(dòng)軌跡的準(zhǔn)確性。