本發(fā)明屬于眼球追蹤技術(shù)領(lǐng)域，具體涉及一種基于視線軌跡的模擬飛行操作測試系統(tǒng)及測試方法。

背景技術(shù)：

2009年12月在南京市成功舉辦了首屆全國模擬飛行錦標(biāo)賽，有32只代表隊213名運動員爭奪30塊金牌。模擬飛行作為一項新興的以航空知識和飛行技藝為核心的運動項目，在中國乃至世界已擁有越來越廣泛的活動人群，因此在國內(nèi)外均有相關(guān)的模擬飛行組織。

然后，模擬飛行最大的價值在于可以為飛行員在實際駕駛飛行器前提供模擬訓(xùn)練，避免實際飛行過程中帶來的不必要的危險。飛行模擬器或飛行模擬機，又稱為模擬駕駛艙，是一種盡可能真實地再現(xiàn)或模擬航空器駕駛感覺的系統(tǒng)。目前，飛行模擬器已廣泛地運用于由航空工業(yè)設(shè)計和研發(fā)，以及為民用和軍用飛機做飛行員與機組成員培訓(xùn)。

然后，對于飛行員來說，還沒有一套很成熟的測試系統(tǒng)和方法來輔助其進行模擬訓(xùn)練和評估。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種基于視線軌跡的模擬飛行操作測試系統(tǒng)及測試方法。

本發(fā)明的一個實施例提供了一種基于視線軌跡的模擬飛行操作測試系統(tǒng)，包括：模擬飛行器和測試設(shè)備，所述測試設(shè)備包括通信模塊、處理模塊及采集模塊，所述處理模塊中存儲有對于不同飛行操作模式下的第一視線軌跡，所述測試設(shè)備佩戴于飛行員的頭部位置處以用于通過所述采集設(shè)備采集所述飛行員的瞳孔圖像；其中，

所述模擬飛行器啟動某一模擬飛行操作模式時，向所述測試設(shè)備發(fā)送測試指令，所述測試設(shè)備通過所述通信模塊接收所述測試指令并轉(zhuǎn)發(fā)至所述處理模塊，所述處理模塊根據(jù)所述測試指令調(diào)取對應(yīng)的所述第一視線軌跡并控制所述采集模塊采集當(dāng)前所述飛行員的第二瞳孔圖像，根據(jù)所述第二瞳孔圖像確定所述飛行員的第二視線軌跡，對比所述第一視線軌跡與所述第二視線軌跡以考核所述飛行員的操作情況。

在本發(fā)明的一個實施例中，根據(jù)所述第二瞳孔圖像確定所述飛行員的第二視線軌跡，包括：

所述處理模塊根據(jù)所述第二瞳孔圖像確定第二瞳孔的邊緣位置以確定所述第二瞳孔的中心點位置；

所述處理模塊根據(jù)預(yù)設(shè)的映射函數(shù)確定所述第二瞳孔對應(yīng)在指定平面上的第二觀測點位置；

所述處理模塊將在所述某一模擬飛行操作模式的過程中所有所述第二觀測點按照時間順序進行擬合形成所述第二視線軌跡。

在本發(fā)明的一個實施例中，所述映射函數(shù)(X,Y)＝F(x,y)為：其中，(X,Y)為觀測點在所述指定平面中的坐標(biāo)位置，(x,y)為瞳孔中心點在自有坐標(biāo)系中的坐標(biāo)位置，a、b、c、d、e、f、g、h、k、l、m及n為模型參數(shù)。

在本發(fā)明的一個實施例中，所述第一視線軌跡的形成，包括步驟：

在某一模擬飛行操作模式下，所述采集模塊采集規(guī)范飛行的操作者的第一瞳孔圖像；

所述處理模塊根據(jù)所述第一瞳孔圖像確定所述第一瞳孔圖像的瞳孔邊緣位置以確定所述第一瞳孔的中心點位置；

所述處理模塊根據(jù)預(yù)設(shè)的映射函數(shù)確定所述第一瞳孔的中心點位置對應(yīng)在指定平面上的第一觀測點位置；

所述處理模塊將在所述某一模擬飛行操作模式的過程中所有所述第一觀測點按照時間順序進行擬合形成所述第一視線軌跡。

在本發(fā)明的一個實施例中，所述映射函數(shù)(X,Y)＝F(x,y)為：其中，(X,Y)為觀測點在所述指定表面的坐標(biāo)位置，(x,y)為瞳孔中心點在自有坐標(biāo)系中的坐標(biāo)位置，a、b、c、d、e、f、g、h、k、l、m及n為模型參數(shù)。

在本發(fā)明的一個實施例中，所述映射函數(shù)(X,Y)＝F(x,y)中的所述模型參數(shù)的確定步驟為：

所述模擬飛行器的屏幕上依次顯示K個觀測點(X,Y)以引導(dǎo)所述飛行員或者所述操作者注視所述K個觀測點；所述屏幕所在的平面為所述指定平面；

所述采集模塊采集所述飛行員或者所述操作者在觀看所述K個觀測點時的瞳孔圖像，并由所述處理模塊獲得瞳孔中心點(x,y)；

所述處理器根據(jù)所述K個觀測點(X,Y)和對應(yīng)的所述瞳孔中心點(x,y)計算所述模型參數(shù)。

本發(fā)明的另一個實施例提供了一種基于視線軌跡的模擬飛行操作測試方法，包括：

進入某一模擬飛行操作模式時，接收模擬飛行器的測試指令；

根據(jù)所述測試指令調(diào)取與所述測試指令對應(yīng)的第一視線軌跡，所述第一視線軌跡是預(yù)先設(shè)定好并存儲在本地的；

采集飛行員的第二瞳孔圖像，并根據(jù)所述第二瞳孔圖像確定所述飛行員的第二視線軌跡；

對比所述第一視線軌跡和所述第二視線軌跡的偏差率以考核所述飛行員的操作情況。

在本發(fā)明的一個實施例中，根據(jù)所述第二瞳孔圖像確定所述飛行員的第二視線軌跡，包括：

根據(jù)所述第二瞳孔圖像確定第二瞳孔的邊緣位置以確定所述第二瞳孔的中心點位置；

根據(jù)預(yù)設(shè)的映射函數(shù)確定所述第二瞳孔對應(yīng)在指定平面上的第二觀測點位置；

將在所述某一模擬飛行操作模式下的所有所述第二觀測點按照時間順序進行擬合形成所述第二視線軌跡。

在本發(fā)明的一個實施例中，根據(jù)所述第二瞳孔圖像確定第二瞳孔的邊緣位置以確定所述第二瞳孔的中心點位置，包括：

對所述第二瞳孔圖像進行灰度化處理形成第二灰度圖像；

估算所述第二瞳孔的中心點位置形成初始中心點；

以所述初始中心點為中心沿指定射線方向在所述第二灰度圖像上計算灰度的梯度值，并將梯度值達到最大值時所在的位置確定為所述第二瞳孔的邊緣位置點；

對多個所述瞳孔邊緣位置點進行擬合處理形成類橢圓曲線，以所述類橢圓曲線的中心作為所述第二瞳孔的中心點位置。

在本發(fā)明的一個實施例中，所述映射函數(shù)(X,Y)＝F(x,y)為：其中，(X,Y)為觀測點在所述指定平面的坐標(biāo)位置，(x,y)為瞳孔中心點在自有坐標(biāo)系中的坐標(biāo)位置，a、b、c、d、e、f、g、h、k、l、m及n為模型參數(shù)。

本發(fā)明實施例，通過視線軌跡的對比，即將合格的飛行員在某一駕駛模式或者場景下的視線軌跡通過大數(shù)據(jù)分析的方式形成標(biāo)準(zhǔn)化的視線軌跡范圍，與被測試的飛行學(xué)員的視線軌跡進行比對，將重合度作為考核飛行學(xué)員的指標(biāo)之一，該方式可以有效地對飛行學(xué)員進行測試，能夠輔助模擬飛行的測試，提高測試效果。

附圖說明

圖1為本發(fā)明實施例提供的一種基于視線軌跡的模擬飛行操作測試系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明實施例提供的一種模擬飛行器的外形結(jié)構(gòu)示意圖；

圖3為本發(fā)明實施例提供的一種測試設(shè)備的外形結(jié)構(gòu)示意圖；

圖4為本發(fā)明實施例提供的另一種測試設(shè)備的電路結(jié)構(gòu)示意圖；

圖5為本發(fā)明實施例提供的一種視線軌跡對比的示意圖；以及

圖6為本發(fā)明實施例提供的一種基于視線軌跡的模擬飛行操作測試方法的示意圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明做進一步詳細(xì)的描述，但本發(fā)明的實施方式不限于此。

實施例一

請參見圖1及圖2，圖1為本發(fā)明實施例提供的一種基于視線軌跡的模擬飛行操作測試系統(tǒng)的結(jié)構(gòu)示意圖，圖2為本發(fā)明實施例提供的一種模擬飛行器的外形結(jié)構(gòu)示意圖。該系統(tǒng)10包括模擬飛行器11和測試設(shè)備13，其中，該模擬飛行器11與測試設(shè)備13通信連接以傳輸測試指令和對比數(shù)據(jù)。

請參見圖3，圖3為本發(fā)明實施例提供的一種測試設(shè)備的外形結(jié)構(gòu)示意圖，測試設(shè)備13的形狀可以設(shè)置為類似于眼鏡的形狀，包括鏡框131和鏡腿133，且在鏡框131的內(nèi)側(cè)緣位置設(shè)置采集模塊，該采集模塊可以為多個瞳孔圖像采集器135，且多個瞳孔圖像采集器135優(yōu)選均勻設(shè)置于內(nèi)側(cè)緣位置，當(dāng)然也可以根據(jù)實際設(shè)計要求，主要分布在上側(cè)或者下側(cè)，或者為了節(jié)省成本也可以設(shè)置一個瞳孔圖像采集器135，此處不做任何限制。

另外，瞳孔圖像采集器優(yōu)選為包括至少一個紅外燈源的圖像采集器。因為瞳孔內(nèi)、外對紅外線的反射有很明顯的差異，拍攝的圖像在瞳孔區(qū)域光線較強，亮度高；在非瞳孔區(qū)則圖像較暗，亮度低，因此采用包括紅外光源的圖像采集器可以更好地拍攝到瞳孔的圖像。

請參見圖4，圖4為本發(fā)明實施例提供的另一種測試設(shè)備的電路結(jié)構(gòu)示意圖。該測試設(shè)備13的電路組成可以包括：通信模塊、處理器及采集模塊。其中，通信模塊、采集模塊均電連接至處理器。通信模塊優(yōu)選采用WIFI模塊，采集模塊可以為包括至少一個紅外燈源的攝像器。

具體的工作原理如下：

1、第一視線軌跡形成階段：在某一模擬飛行操作模式下，所述采集模塊采集規(guī)范飛行的操作者的第一瞳孔圖像；所述處理模塊根據(jù)所述第一瞳孔圖像確定所述第一瞳孔圖像的瞳孔邊緣位置以確定所述第一瞳孔的中心點位置；所述處理模塊根據(jù)預(yù)設(shè)的映射函數(shù)確定所述第一瞳孔的中心點位置對應(yīng)在指定平面上的第一觀測點位置；所述處理模塊將在所述某一模擬飛行操作模式的過程中所有所述第一觀測點按照時間順序進行擬合形成所述第一視線軌跡。

請參見圖5，圖5為本發(fā)明實施例提供的一種視線軌跡對比的示意圖。通過大數(shù)據(jù)的分析思路，采集多個合格的飛行員在某一種駕駛模式或者場景下的視線軌跡形成視線軌跡區(qū)域，以供后期飛行學(xué)員在測試階段的參考數(shù)據(jù)。需要說明的是，由于飛行員的身高、坐姿及操作過程中個性化的視線方向等偏離因素，會影響視線軌跡的對比，因此需要通過大數(shù)據(jù)分析的方式，以大量視線軌跡形成的區(qū)域作為標(biāo)準(zhǔn)，消除這些偏離因素的影響，具備魯棒性。優(yōu)選采集100個以上的樣本。

2、測試階段，啟動某一模擬飛行操作模式時，向所述測試設(shè)備發(fā)送測試指令，所述測試設(shè)備通過所述通信模塊接收所述測試指令并轉(zhuǎn)發(fā)至所述處理模塊，所述處理模塊根據(jù)所述測試指令調(diào)取對應(yīng)的所述第一視線軌跡并控制所述采集模塊采集當(dāng)前所述飛行員的第二瞳孔圖像，根據(jù)所述第二瞳孔圖像確定所述飛行員的第二視線軌跡，對比所述第一視線軌跡與所述第二視線軌跡以考核所述飛行員的操作情況。

即在有參考視線軌跡后，飛行學(xué)員進入模擬飛行器，佩戴測試設(shè)備，做好準(zhǔn)備工作后，由語音提示開始操作啟動測試，此時，測試設(shè)備會接收到模擬飛行器的測試指令，啟動模擬操作。對應(yīng)地，處理模塊調(diào)用對應(yīng)模式下的圖像采集時間點，由采集模塊根據(jù)處理模塊規(guī)定的時間對瞳孔圖像進行采集，并將采集后的瞳孔圖像發(fā)送至處理模塊，由處理模塊進行處理形成該飛行學(xué)員的視線軌跡，將該視線軌跡與預(yù)先存儲的參考視線軌跡區(qū)域進行比對以確定該飛行學(xué)員的模擬操作成績。

具體地，所述處理模塊根據(jù)所述第二瞳孔圖像確定第二瞳孔的邊緣位置以確定所述第二瞳孔的中心點位置；所述處理模塊根據(jù)預(yù)設(shè)的映射函數(shù)確定所述第二瞳孔對應(yīng)在指定平面上的第二觀測點位置；所述處理模塊將在所述某一模擬飛行操作模式的過程中所有所述第二觀測點按照時間順序進行擬合形成所述第二視線軌跡。

其中，所述映射函數(shù)(X,Y)＝F(x,y)為：其中，(X,Y)為觀測點在所述指定平面中的坐標(biāo)位置，(x,y)為瞳孔中心點在自有坐標(biāo)系中的坐標(biāo)位置，a、b、c、d、e、f、g、h、k、l、m及n為模型參數(shù)。

對于模型參數(shù)的計算方式如下：

所述模擬飛行器的屏幕上依次顯示K個觀測點(X,Y)以引導(dǎo)所述飛行員或者所述操作者注視所述K個觀測點；所述屏幕所在的平面為所述指定平面；

所述采集模塊采集所述飛行員或者所述操作者在觀看所述K個觀測點時的瞳孔圖像，并由所述處理模塊獲得瞳孔中心點(x,y)；

所述處理器根據(jù)所述K個觀測點(X,Y)和對應(yīng)的所述瞳孔中心點(x,y)計算所述模型參數(shù)。

例如，屏幕中依次出現(xiàn)的K個點的坐標(biāo)記錄為X＝(X₁,X₂,X₃…X_k),Y＝(Y₁,Y₂,Y₃…Y_k)，對應(yīng)的瞳孔中心坐標(biāo)為x＝(x₁,x₂,x₃…x_k),y＝(y₁,y₂,y₃…y_k)，模型的建立則可以用下面的矩陣表達：

將該模型使用矩陣形式表達為：

則

在本模型中，取K＝6時，X，Y對應(yīng)有6個屏幕坐標(biāo)，瞳孔相應(yīng)也有6個對應(yīng)中心坐標(biāo)，X＝|X₁,X₂,X₃,X₄,X₅,X₆|，Y＝|Y₁,Y₂,Y₃,Y₄,Y₅,Y₆|，同理，x＝|x₁,x₂,x₃,x₄,x₅,x₆|，y＝|y₁,y₂,y₃,y₄,y₅,y₆|，那么上面的矩陣可以進一步改寫為：

通過方程組求出a、b、c、d、e、f、g、h、k、l、m及n，進而得到所述映射模型。

本實施例，通過對飛行員在模擬操作過程中的視線軌跡與預(yù)先存儲的標(biāo)準(zhǔn)視線軌跡區(qū)域在時間軸上進行對比，以作為飛行員針對此次訓(xùn)練的測試結(jié)果，對飛行員的駕駛和特情處置能力的輔助考核指標(biāo)之一，該方法可以提高模擬飛行操作的精確度。

實施例二

請參見圖6，圖6為本發(fā)明實施例提供的一種基于視線軌跡的模擬飛行操作測試方法的示意圖。該方法可以包括如下步驟：

步驟1、進入某一模擬飛行操作模式時，接收模擬飛行器的測試指令；

步驟2、根據(jù)所述測試指令調(diào)取與所述測試指令對應(yīng)的第一視線軌跡，所述第一視線軌跡是預(yù)先設(shè)定好并存儲在本地的；

步驟3、采集飛行員的第二瞳孔圖像，并根據(jù)所述第二瞳孔圖像確定所述飛行員的第二視線軌跡；

步驟4、對比所述第一視線軌跡和所述第二視線軌跡的偏差率以考核所述飛行員的操作情況。

其中，步驟2可以包括：

步驟21、根據(jù)所述第二瞳孔圖像確定第二瞳孔的邊緣位置以確定所述第二瞳孔的中心點位置；

步驟22、根據(jù)預(yù)設(shè)的映射函數(shù)確定所述第二瞳孔對應(yīng)在指定平面上的第二觀測點位置；

步驟23、將在所述某一模擬飛行操作模式下的所有所述第二觀測點按照時間順序進行擬合形成所述第二視線軌跡。

其中，步驟21可以包括如下步驟：

步驟211、對所述第二瞳孔圖像進行灰度化處理形成第二灰度圖像；

步驟212、估算所述第二瞳孔的中心點位置形成初始中心點；

步驟213、以所述初始中心點為中心沿指定射線方向在所述第二灰度圖像上計算灰度的梯度值，并將梯度值達到最大值時所在的位置確定為所述第二瞳孔的邊緣位置點；

步驟214、對多個所述瞳孔邊緣位置點進行擬合處理形成類橢圓曲線，以所述類橢圓曲線的中心作為所述第二瞳孔的中心點位置。

其中，步驟211中，采用增強算子作用在第二瞳孔圖像的每個像素以使圖像亮度增強進而實現(xiàn)灰度對比度的增大，之后對所述紅外圖像采用拉普拉斯法進行圖像濾波處理；

其中，所述增強算子的公式為：En＝c*lg(1+double(f0))；其中，En為增強算子，f0為原函數(shù)灰度值，c是常系數(shù)。其中，c的具體取值可根據(jù)實際情況設(shè)置，本發(fā)明在此不做限制。

步驟212中，采用灰度積分法在所述修正紅外圖像上估算瞳孔中心位置的坐標(biāo)(xmin，ymin)；其中，xmin和ymin的公式為：

其中，min表示取最小值運算，sum表示求和運算，f(i,j)表示在坐標(biāo)(x，y)處圖像的灰度值。

因為瞳孔中心位置處最暗，通過上述求最小值的方法，可以估算出瞳孔中心的粗略位置。

在步驟213中，由于瞳孔內(nèi)、外對紅外線的反射有很明顯的差異。瞳孔區(qū)域灰度明顯低于其他區(qū)域，在邊緣位置處，梯度變化劇烈。過處理后的圖像信息中，在指定的方向上，瞳孔區(qū)的灰度值與非瞳孔區(qū)的灰度值在交界處有劇烈的變化，在交界處的梯度值也會達到最大，據(jù)此判斷出瞳孔邊緣點的位置。

例如，設(shè)f(i,j)為圖像f在坐標(biāo)(i,j)處的灰度值，灰度值的偏微分為：

則該方向的灰度梯度D最大的點即為邊緣點。

另外，步驟214可以包括：

步驟a、從N個所述特征點中選取任意5個點，使用最小二乘法進行橢圓擬合形成第一類橢圓方程；

步驟b、對N個所述特征點利用隨機采樣一致性算法通過所述第一類橢圓方程進行局內(nèi)點和局外點甄別，統(tǒng)計得到M個局內(nèi)點和N-M個局外點；

在本實施例中，落在所述類橢圓上的點，視為局內(nèi)點。當(dāng)然，本發(fā)明不在此處做限制。

步驟c、判斷局內(nèi)點占有率是否小于第一閾值t1；若是，則確定所述5個點為非典型特征點，擬合橢圓為非典型特征橢圓，則重新執(zhí)行步驟a；若否，則確定所述5個點為典型特征點，則執(zhí)行步驟d；

步驟d、根據(jù)所述M個局內(nèi)點任意選取5個點，利用最小二乘法對所述第一類橢圓方程進行優(yōu)化形成第二類橢圓方程，并對所述N個特征點利用隨機采樣一致性算法通過所述第二類橢圓方程進行局內(nèi)點和局外點甄別，最終統(tǒng)計得到M1個局內(nèi)點和N-M1局外點；

步驟e、判斷局內(nèi)點占有率是否大于第二閾值t2；如是，則終止迭代，認(rèn)為所述第二類橢圓方程為最優(yōu)方程；若否，則執(zhí)行步驟d。

本實施例，通過飛行員的瞳孔中心點的坐標(biāo)和預(yù)設(shè)的映射模型確定在指定平面的觀測點坐標(biāo)，將觀測點坐標(biāo)按照時間進行擬合形成視線軌跡，與預(yù)設(shè)的視線軌跡進行比對，從而完成對飛行員本次模擬過程中的考核，提高了訓(xùn)練效果。

進一步地，對于第一視線軌跡的確定類似于本實施例中對于第二視線軌跡的確定方式，此處不再贅述。

以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護范圍。