本發(fā)明涉及計算機(jī)視覺，具體為一種基于考場多視場下的3d考生定位方法。

背景技術(shù)：

1、隨著計算機(jī)視覺和圖像處理技術(shù)的發(fā)展，多個單目相機(jī)下的目標(biāo)定位技術(shù)已經(jīng)成為了重要的研究方向。近年來，隨著教育的現(xiàn)代化，傳統(tǒng)的考試監(jiān)考方式存在效率低下、人工成本高的問題。因此，將3d考生識別定位技術(shù)應(yīng)用到考場中具有重要的現(xiàn)實(shí)意義，該方法能夠精準(zhǔn)的識別和定位考生，提高考場管理的效率和公平性。在復(fù)雜的考場環(huán)境中，由于一個單目相機(jī)的檢測空間過小且難以完成對考生的精確定位任務(wù)，因此引入多個單目相機(jī)，基于多個單目相機(jī)進(jìn)行聯(lián)合處理可以擴(kuò)展檢測范圍，實(shí)現(xiàn)多角度的三維空間建模，從而更加精確地識別和定位考生，通過多個視角的交叉驗(yàn)證減少誤檢的情況，顯著提高考生定位的準(zhǔn)確性和魯棒性。

2、盡管多相機(jī)下的目標(biāo)定位技術(shù)受到學(xué)術(shù)界的長期關(guān)注，但仍面臨諸多挑戰(zhàn)。傳統(tǒng)上，目標(biāo)定位主要用于二維圖像平面上，而近年來有很多研究方法將這種技術(shù)推廣到三維空間，從而將目標(biāo)檢測問題轉(zhuǎn)化為三維目標(biāo)定位問題。

3、傳統(tǒng)的基于深度學(xué)習(xí)的方法通常需要構(gòu)建自定義的數(shù)據(jù)集，這樣的數(shù)據(jù)集非常復(fù)雜且難以獲取。還有一些研究通過使用深度相機(jī)來獲取目標(biāo)的三維信息，但是深度相機(jī)的價格相較于普通的單目相機(jī)過高，帶來了不必要的成本。

技術(shù)實(shí)現(xiàn)思路

1、因此，本發(fā)明解決了現(xiàn)有技術(shù)中傳統(tǒng)的基于深度學(xué)習(xí)的方法通常需要構(gòu)建自定義的數(shù)據(jù)集，這樣的數(shù)據(jù)集非常復(fù)雜且難以獲??；還有一些研究通過使用深度相機(jī)來獲取目標(biāo)的三維信息，但是深度相機(jī)的價格相較于普通的單目相機(jī)過高，帶來了不必要的成本技術(shù)問題；本發(fā)明提供的基于考場多視場下的考生一致性確定策略以及3d定位方法，使用多視圖圖像中的考生檢測信息來還原考場中考生的3d位置；該方法將3d考生定位問題重新表述為對偶空間中的優(yōu)化問題，使得在僅三個視角的情況下就可以得到考場中每個考生的3d位置；與基于深度學(xué)習(xí)的方法不同，本發(fā)明僅通過幾何方法即可從2d圖像中估計出考生的3d位置，不需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，因而在計算效率和計算成本方面更具優(yōu)勢。

2、本發(fā)明的發(fā)明思想為：本發(fā)明使用yolov8算法識別到的2d考生邊界框以及多視圖的幾何關(guān)系，實(shí)現(xiàn)了準(zhǔn)確的3d考生定位。首先，對每個相機(jī)進(jìn)行標(biāo)定，獲得每個相機(jī)間的矩陣關(guān)系。接著，在一般圖像序列中使用yolov8算法識別考生邊界框并轉(zhuǎn)換為內(nèi)切橢圓。然后通過多相機(jī)間的矩陣關(guān)系，在對偶空間中通過多個視圖下的內(nèi)切橢圓估計出相應(yīng)的三維橢球面，最終實(shí)現(xiàn)3d空間中考生的定位。該發(fā)明還引入了數(shù)據(jù)預(yù)處理技術(shù)進(jìn)行了內(nèi)切橢圓的標(biāo)準(zhǔn)化和橢球的中心化處理，提高了考生三維位置計算的準(zhǔn)確性。

3、本發(fā)明為實(shí)現(xiàn)上述目的，采取的技術(shù)方案如下：一種基于考場多視場下的3d考生定位方法，包括如下步驟：

4、s1：對每個相機(jī)進(jìn)行標(biāo)定，獲得相機(jī)的內(nèi)參kf、旋轉(zhuǎn)矩陣rf和平移向量tf；

5、s2：獲取多視角圖像幀f＝1,2,…,f，這些圖像幀代表的是不同相機(jī)下的考場場景；

6、s3：使用yolov8算法在每個圖像幀中檢測考場考生，獲取識別到的每個考生的2d邊界框bif；

7、s4：將bif轉(zhuǎn)換為內(nèi)切橢圓并以齊次坐標(biāo)形式表示每個橢圓

8、s5：在三維空間中，用二次方程的齊次二次形式表示三維空間中的橢球面：

9、ztqiz＝0??(1)

10、其中，z是由對稱矩陣qi定義的橢球面的一般三維點(diǎn)的齊次向量，qi是定義橢球面的對稱矩陣；

11、s6：構(gòu)建投影矩陣pf，投影矩陣包含相機(jī)的內(nèi)參kf、旋轉(zhuǎn)矩陣rf和平移向量tf：

12、pf＝kf[rf|tf]??(2)

13、s7：將3d的歐氏空間和2d圖像中的qi和重構(gòu)到對偶空間中進(jìn)行處理，在對偶空間中，2d圖像中的橢圓可以由與其相切的所有直線的包絡(luò)表示，3d歐氏空間中的橢球面可以由與其相切的所有平面的包絡(luò)表示；

14、s8：從一組對偶橢圓中恢復(fù)對偶橢球面需要將公式重新排列為一個線性系統(tǒng)；

15、s9：在重建對偶橢球面時，至少需要三個不同視角下的考場圖像幀f＝1,2,…,f，f≥3，通過堆疊這些圖像幀的線性方程，我們得到一個最大的線性系統(tǒng)，表達(dá)式為：

16、miwi＝06f??(3)

17、s10：對線性系統(tǒng)求解；

18、s11：將向量化表示的橢球面還原為對偶橢球面，具體步驟如下：

19、s111：求解出的的前10個元素是估計出的對偶橢圓體的矢量化元素，表示為

20、s112：將還原為對偶橢球面：

21、

22、s12：在初步估計得到對偶橢球面后，通過平移向量ti進(jìn)一步將這些橢球面移動到3d空間的中心，得到新的投影矩陣

23、s13：構(gòu)建一個與中心橢球面相關(guān)的新矩陣重復(fù)步驟s10至步驟s11的過程還原出新的對偶橢球面

24、s14：將向量矩陣ti應(yīng)用到得到最終的對偶橢圓表達(dá)式如下：

25、

26、其中tit是ti的轉(zhuǎn)置矩陣；

27、s15：通過對偶矩陣的逆伴隨操作從對偶空間中恢復(fù)出原始3d空間中的橢球面，得到每個考生的三維位置信息，表達(dá)式如下：

28、

29、優(yōu)選地，步驟s1中的具體標(biāo)定步驟如下：

30、s101：使用棋盤格作為標(biāo)定板；

31、s102：對每個需要標(biāo)定的相機(jī)從不同角度拍攝棋盤格的多張圖片；

32、s103：使用opencv在每張圖像中自動檢測棋盤格的角點(diǎn)；

33、s104：使用檢測到的棋盤格角點(diǎn)和棋盤格的已知物理尺寸計算每個相機(jī)的內(nèi)參kf、旋轉(zhuǎn)矩陣rf和平移向量tf。

34、優(yōu)選地，所述步驟s4的具體步驟如下：

35、s41：內(nèi)切橢圓以邊界框的中心為中心，與圖像軸對齊，軸長等于邊界框的寬和高；

36、s42：用二次方程的齊次二次形式表示每個橢圓：

37、

38、其中，u是由對稱矩陣定義的橢圓的一般二維點(diǎn)的齊次向量。

39、優(yōu)選地，所述步驟s7中具體處理步驟如下：

40、s71：對偶空間中的2d橢圓可以由與其相切的所有直線的包絡(luò)表示，由矩陣定義，其中adj是伴隨算子；

41、s72：對對偶橢圓應(yīng)用齊次變換矩陣hif，得到標(biāo)準(zhǔn)化后的對偶橢圓

42、s73：將hif逆變換為并結(jié)合先前的投影矩陣pf重新構(gòu)建得到新的投影矩陣

43、s74：對偶空間中的3d橢球面可以由與其相切的所有平面的包絡(luò)表示，由矩陣定義；

44、s75：引入比例因子βif用于調(diào)整的尺度，使其與對偶橢球面的投影結(jié)果匹配，對偶橢圓和對偶橢球面的關(guān)系可以表示為：

45、

46、其中和分別是pf和hif的轉(zhuǎn)置矩陣。

47、優(yōu)選地，所述步驟s8中的具體排列步驟如下：

48、s81：向量化對稱矩陣，定義定義fv是對稱矩陣的向量化表示；

49、s82：構(gòu)建向量化矩陣gf，維度為6×10，將和的元素乘積排列在一個矩陣中：

50、

51、其中是kronecker乘積，矩陣d用于將普通矩陣矢量化形式轉(zhuǎn)換為對稱矩陣矢量化形式，矩陣e用于將對稱矩陣矢量化形式轉(zhuǎn)換為普通矩陣矢量化形式；

52、s83：通過向量化的矩陣gf和對稱矩陣，將公式(8)重新表示為線性系統(tǒng)：

53、

54、優(yōu)選地，所述步驟s9中具體堆疊步驟如下：

55、s91：構(gòu)建線性系統(tǒng)矩陣mi，維度為6f×(10+f)，定義如下：

56、

57、s92：構(gòu)建wi，wi是包含了對偶橢球面的向量化表示和比例因子βif的集合，維度為10+f×1，定義如下：

58、

59、優(yōu)選地，所述步驟s10的具體求解步驟如下：

60、s1001：為了避免橢圓的不準(zhǔn)確性對橢球面的擬合產(chǎn)生影響，對于實(shí)際的到的線性系統(tǒng)矩陣使用最小誤差法求解系統(tǒng)，計算公式如下：

61、

62、其中，約束條件為以避免平凡零解；

63、s1002：公式中的最小化問題可以通過對矩陣應(yīng)用奇異值分解來解決，取與最小奇異值相關(guān)的右奇異向量。

64、優(yōu)選地，將所述步驟s7中的3d歐氏空間和2d圖像中的qi和重構(gòu)到對偶空間中進(jìn)行處理，在對偶空間中，2d圖像中的橢圓可以由與其相切的所有直線的包絡(luò)表示，3d歐氏空間中的橢球面可以由與其相切的所有平面的包絡(luò)表示，具體步驟如下：

65、s71：對偶空間下的2d圖像中的橢圓可以由與其相切的所有直線的包絡(luò)表示，由矩陣定義，其中adj是伴隨算子；

66、s72：對對偶橢圓應(yīng)用齊次變換矩陣hif，得到標(biāo)準(zhǔn)化后的對偶橢圓

67、s73：得到新的投影矩陣

68、s74：對偶空間下的3d歐氏空間中的橢球面可以由與其相切的所有平面的包絡(luò)表示，由矩陣定義；

69、s75：引入比例因子βif用于調(diào)整的尺度，使其與對偶橢球面的投影結(jié)果匹配。

70、優(yōu)選地，因?yàn)樵趯ε伎臻g中處理橢圓時，由于橢圓的位移和尺寸參數(shù)之間的混合，以及視角間的幾何差異，導(dǎo)致了計算出的橢球面的不準(zhǔn)確性，在橢圓遠(yuǎn)離圖像中心時這一問題尤為明顯，對步驟s72中的橢圓進(jìn)行標(biāo)準(zhǔn)化處理，具體步驟如下：

71、s721：得到每個內(nèi)切橢圓的中心坐標(biāo)(tc1,tc2)和半軸長度l1,l2；

72、s722：對于每個橢圓，計算縮放因子h以規(guī)范化橢圓的尺寸，

73、s723：構(gòu)建齊次變換矩陣hif將橢圓從其原始位置移動到圖像中心并規(guī)范化其大小，矩陣形式為：

74、

75、s724：應(yīng)用變換矩陣hif和其轉(zhuǎn)置到對偶橢圓上以實(shí)現(xiàn)橢圓的標(biāo)準(zhǔn)化處理，是標(biāo)準(zhǔn)化后的對偶橢圓；

76、s725：在所有視圖中重復(fù)步驟721至步驟724，確保每個視圖中的橢圓都經(jīng)過相同的標(biāo)準(zhǔn)化處理。

77、優(yōu)選地，為了緩解由于橢球面中心遠(yuǎn)離原點(diǎn)而導(dǎo)致重建出的橢球面形狀不準(zhǔn)確的問題，將步驟s12中初步得到的橢球面平移到3d原點(diǎn)，具體步驟如下：

78、s121：由于確切的橢球面是未知的，假設(shè)平移參數(shù)近似于真實(shí)的橢球面的中心位置(xc,yc,zc)；

79、s122：計算初步得到的對偶橢球面的中心位置到3d原點(diǎn)的平移向量t＝(-xc,-yc,-zc)；

80、s123：構(gòu)建平移矩陣ti:

81、

82、s124：將平移矩陣應(yīng)用于初步估計得到的橢球面的每個點(diǎn)，計算得到更新后的3d空間中心下的橢球面。

83、本發(fā)明相較于現(xiàn)有技術(shù)具有如下優(yōu)點(diǎn)：

84、1.本發(fā)明提供的基于考場多視場下的3d考生定位方法，利用來自多個視角的考生二維邊界框進(jìn)行三維定位，不依賴于傳統(tǒng)的深度信息或其他高級傳感器輸入。

85、2.本發(fā)明提供的基于考場多視場下的3d考生定位方法，將三維考生定位問題轉(zhuǎn)化為二維橢圓到三維橢球的優(yōu)化問題，并轉(zhuǎn)換到了對偶空間中，提供了在對偶空間中的閉合形式解的解決方法。

86、3.本發(fā)明提供的基于考場多視場下的3d考生定位方法，為了提高對不精確邊界框的魯棒性和對橢球面進(jìn)行三維重建時的準(zhǔn)確性，引入了數(shù)據(jù)預(yù)處理技術(shù)，對考生的三維位置的計算更加準(zhǔn)確。