本發(fā)明涉及交互數(shù)據(jù)處理領域，尤其涉及一種虛擬現(xiàn)實交互方法及視聽設備。

背景技術：

1、現(xiàn)代虛擬現(xiàn)實交互技術正處于快速發(fā)展階段，技術革新、內容擴展、市場需求和社會接受度共同推動了這一領域的進步。虛擬現(xiàn)實交互方法及視聽設備的技術背景在于創(chuàng)造一種全面沉浸式的體驗，用戶可以進入一個虛擬的世界，并能夠與該世界進行自然交互，這通常涉及到使用計算機技術生成一個三維的虛擬環(huán)境，以及各種輸入和輸出設備來實現(xiàn)多感官的交互。通過視聽設備，提供沉浸式視覺體驗，空間音頻技術模擬逼真的聲音環(huán)境，能夠創(chuàng)造高度沉浸式的環(huán)境，共同構建多感官融合的虛擬世界，同時，增強互動性，自然直觀的交互方式使得能夠更自由地探索虛擬世界，與虛擬構建空間。然而，如果對高沉浸感有提升需求，則存在對虛擬空間的計算資源存在負擔，使得系統(tǒng)性能降低。

技術實現(xiàn)思路

1、基于此，本發(fā)明有必要提供一種虛擬現(xiàn)實交互方法及視聽設備，以解決至少一個上述技術問題。

2、為實現(xiàn)上述目的，一種虛擬現(xiàn)實交互方法，包括以下步驟：

3、步驟s1：對虛擬現(xiàn)實設備進行圖像數(shù)據(jù)輸入，得到空間圖像數(shù)據(jù)；對空間圖像數(shù)據(jù)進行虛擬空間模型構建，得到虛擬空間模型；對虛擬空間模型進行虛擬音頻空間構建，得到虛擬音頻空間；

4、步驟s2：對虛擬現(xiàn)實設備進行實時人臉攝像處理，得到實時攝影流數(shù)據(jù)；對實時攝影流數(shù)據(jù)進行人臉圖像檢測，得到攝影人臉圖像數(shù)據(jù)；對攝影人臉圖像數(shù)據(jù)進行注視點生成，得到視線注視點數(shù)據(jù)；對視線注視點數(shù)據(jù)對進行坐標系映射，得到注視點坐標數(shù)據(jù)；

5、步驟s3：對虛擬現(xiàn)實設備進行頭部傳感數(shù)據(jù)獲取，得到頭部傳感數(shù)據(jù)；基于頭部傳感數(shù)據(jù)對視線注視點數(shù)據(jù)進行偏轉注視點向量計算，得到偏轉注視點向量數(shù)據(jù)；基于偏轉注視點向量數(shù)據(jù)對注視點坐標數(shù)據(jù)進行偏轉坐標計算，得到偏轉注視點坐標；

6、步驟s4：基于偏轉注視點坐標對虛擬空間模型進行虛擬視覺區(qū)域獲取，得到虛擬視覺區(qū)域數(shù)據(jù)；基于虛擬視覺區(qū)域數(shù)據(jù)對虛擬音頻空間進行注視音頻區(qū)域定位，得到注視虛擬音頻區(qū)域；對虛擬視覺區(qū)域數(shù)據(jù)以及注視虛擬音頻區(qū)域進行區(qū)域音頻優(yōu)化，得到區(qū)域音頻優(yōu)化數(shù)據(jù)。

7、本發(fā)明通過對虛擬現(xiàn)實設備的初始設置和空間構建，通過圖像數(shù)據(jù)輸入，系統(tǒng)能夠構建出虛擬空間模型，并進一步創(chuàng)建出相應的虛擬音頻空間。這樣能夠為用戶營造出一個逼真的虛擬環(huán)境，并為后續(xù)的音頻優(yōu)化奠定基礎；專注于捕捉和分析用戶的面部圖像和注視點。通過實時人臉攝像和人臉圖像檢測技術，系統(tǒng)能夠準確獲取用戶的面部數(shù)據(jù)和攝影人臉圖像。然后，系統(tǒng)生成視線注視點數(shù)據(jù)，并通過坐標系映射確定用戶的準確注視位置；利用頭部傳感數(shù)據(jù)來增強系統(tǒng)對用戶注視行為的理解。通過結合頭部傳感數(shù)據(jù)和視線注視點數(shù)據(jù)，系統(tǒng)可以計算出偏轉注視點向量，從而準確地確定用戶在虛擬空間中的偏轉注視點坐標；結合了虛擬空間模型和用戶的注視行為。通過獲取用戶的偏轉注視點坐標，系統(tǒng)能夠從虛擬空間模型中提取相應的虛擬視覺區(qū)域，并進一步定位用戶正在關注的虛擬音頻區(qū)域。隨后，系統(tǒng)對這些區(qū)域進行音頻優(yōu)化，從而提供定制的、身臨其境的音頻體驗，同時，通過只對視覺區(qū)域進行音頻優(yōu)化以減少虛擬空間計算量，有利于減少計算資源負擔以及提升系統(tǒng)性能。

8、優(yōu)選地，步驟s1包括以下步驟：

9、步驟s11：對虛擬現(xiàn)實設備進行圖像數(shù)據(jù)輸入，得到空間圖像數(shù)據(jù)；

10、步驟s12：對空間圖像數(shù)據(jù)進行空間點云數(shù)據(jù)標記，得到空間圖像點云數(shù)據(jù)；

11、步驟s13：對空間圖像點云數(shù)據(jù)進行點云數(shù)據(jù)配準，得到空間點云配準數(shù)據(jù)；

12、步驟s14：對空間圖像點云數(shù)據(jù)進行空間特征提取，得到空間點云特征數(shù)據(jù)；

13、步驟s15：對空間點云特征數(shù)據(jù)進行空間實體分割，得到空間實體數(shù)據(jù)；

14、步驟s16：基于空間實體數(shù)據(jù)以及空間點云配準數(shù)據(jù)進行虛擬空間模型構建，得到虛擬空間模型；

15、步驟s17：對虛擬空間模型進行虛擬音頻空間構建，得到虛擬音頻空間。

16、本發(fā)明通過設備獲取現(xiàn)實世界的圖像信息，為后續(xù)的空間音頻構建提供基礎數(shù)據(jù)，使得虛擬音頻空間能夠與現(xiàn)實環(huán)境相對應，提升沉浸感；將二維圖像轉化為帶有空間位置信息的三維點云數(shù)據(jù)，使得聲音可以被放置在更精確的空間位置，例如墻壁、家具等，增強聲音的定位感和真實感；通過配準，將不同視角、不同時間獲取的點云數(shù)據(jù)進行拼接和融合，構建更加完整、精確的環(huán)境模型，為聲音在空間中的傳播提供更準確的模擬基礎；提取空間中的幾何特征和語義特征，例如房間的形狀、大小、材質等，這些信息可以用于模擬聲音在不同空間中的反射、吸收和衍射等聲學特性，使虛擬音頻更加逼真；將空間劃分成不同的實體區(qū)域，例如墻壁、地面、天花板等，并賦予其不同的聲學屬性，使得聲音在不同區(qū)域的傳播和反射更加符合現(xiàn)實情況，提升聲音的空間層次感；構建出完整的三維虛擬空間模型，包含了空間幾何信息、語義信息以及聲學屬性，為虛擬音頻空間的構建提供完整的數(shù)據(jù)基礎；基于構建的虛擬空間模型，利用聲學模擬算法計算聲音在空間中的傳播路徑和聲場分布，最終生成與虛擬環(huán)境相匹配的逼真空間音頻體驗。

17、優(yōu)選地，步驟s17包括以下步驟：

18、步驟s171：對虛擬空間模型進行聲源設定，得到聲源設定數(shù)據(jù)；

19、步驟s172：對聲源設定數(shù)據(jù)進行聲源數(shù)據(jù)集合，得到聲源數(shù)據(jù)集；

20、步驟s173：基于虛擬空間模型對聲源數(shù)據(jù)集進行聲傳播路徑分析，得到聲傳播路徑數(shù)據(jù)；

21、步驟s174：基于聲傳播路徑數(shù)據(jù)對虛擬空間模型進行傳播路徑介質設定，得到傳播路徑介質數(shù)據(jù)；

22、步驟s175：基于聲源數(shù)據(jù)集以及聲傳播路徑數(shù)據(jù)對傳播路徑介質數(shù)據(jù)進行聲音反射分析，得到聲音反射數(shù)據(jù)；

23、步驟s176：基于聲源數(shù)據(jù)集以及聲傳播路徑數(shù)據(jù)對傳播路徑介質數(shù)據(jù)進行聲音障礙分析，得到聲音障礙數(shù)據(jù)；

24、步驟s177：基于聲音反射數(shù)據(jù)以及聲音障礙數(shù)據(jù)對虛擬空間模型進行音頻數(shù)據(jù)空間擬合，得到虛擬音頻空間。

25、本發(fā)明通過將虛擬的聲音來源，例如人聲、音樂等，放置在虛擬空間模型的特定位置，并設定其聲學屬性，例如音量、音色等，為后續(xù)的聲學模擬提供基礎數(shù)據(jù)；將多個聲源的數(shù)據(jù)整合到一起，形成一個完整的聲源數(shù)據(jù)集，方便后續(xù)對多個聲源進行統(tǒng)一的聲傳播路徑分析和音頻渲染；根據(jù)聲學原理和虛擬空間模型的幾何信息，計算聲音從聲源到聽者的傳播路徑，包括直達聲、反射聲、衍射聲等，為模擬真實的聲音傳播效果提供數(shù)據(jù)支持；根據(jù)聲音傳播路徑，識別路徑上不同區(qū)域的介質屬性，例如空氣、墻壁、家具等，并賦予其不同的聲學參數(shù)，例如吸收系數(shù)、反射系數(shù)等，以便更精確地模擬聲音在不同介質中的傳播變化；分析聲音在傳播路徑上遇到不同介質表面時的反射情況，包括反射方向、反射強度等，使虛擬聲音更符合現(xiàn)實世界中聲音的反射規(guī)律，增強空間感；分析聲音在傳播路徑上遇到障礙物時的遮擋和衍射情況，例如聲音繞過墻壁、家具等，使得虛擬聲音的空間遮蔽效果更加真實可信；將前面步驟得到的聲音反射、障礙等數(shù)據(jù)應用到虛擬空間模型中，并進行最終的音頻渲染，生成包含聲源、空間信息和聲學效果的完整虛擬音頻空間，使用戶獲得身臨其境的聽覺體驗。

26、優(yōu)選地，步驟s2包括以下步驟：

27、步驟s21：對虛擬現(xiàn)實設備進行實時人臉攝像處理，得到實時攝影流數(shù)據(jù)；

28、步驟s22：對實時攝影流數(shù)據(jù)進行人臉圖像檢測，得到攝影人臉圖像數(shù)據(jù)；

29、步驟s23：對攝影人臉圖像數(shù)據(jù)進行眼部區(qū)域提取，得到攝影眼部區(qū)域數(shù)據(jù)；

30、步驟s24：對攝影眼部區(qū)域數(shù)據(jù)進行瞳孔中心定位，得到瞳孔中心定位數(shù)據(jù)；

31、步驟s25：對攝影眼部區(qū)域數(shù)據(jù)進行虹膜輪廓提取，得到虹膜輪廓圖像數(shù)據(jù)；

32、步驟s26：對瞳孔中心定位數(shù)據(jù)以及虹膜輪廓圖像數(shù)據(jù)進行注視點生成，得到視線注視點數(shù)據(jù)；

33、步驟s27：對視線注視點數(shù)據(jù)對進行坐標系映射，得到注視點坐標數(shù)據(jù)。

34、本發(fā)明通過對虛擬現(xiàn)實設備進行實時人臉攝像處理，可以獲取用戶佩戴設備時的面部圖像數(shù)據(jù)流，為后續(xù)的人臉檢測和眼部跟蹤提供基礎數(shù)據(jù)源，使系統(tǒng)能夠實時捕捉和分析用戶的面部信息；對實時攝影流數(shù)據(jù)進行人臉圖像檢測，可以準確地識別出圖像中之人臉的位置和范圍，進而將人臉區(qū)域從背景中分離出來，為后續(xù)的眼部區(qū)域提取提供精準的輸入數(shù)據(jù)；眼部區(qū)域提取是整個系統(tǒng)分析用戶視線焦點的關鍵步驟。通過對攝影人臉圖像中的眼部區(qū)域進行準確的提取，能夠有效地去除圖像中的其他干擾信息，提升后續(xù)瞳孔定位和虹膜識別的準確度；瞳孔中心定位是確定用戶視線方向的重要步驟。此步驟通過分析眼部圖像數(shù)據(jù)，識別瞳孔在眼部的位置，為視線追蹤和焦點判斷提供基礎參考數(shù)據(jù)；虹膜輪廓提取能夠為準確的虹膜識別和后續(xù)的視線追蹤提供重要特征。通過提取虹膜的輪廓形狀、紋理和其他獨特特征，可以對用戶進行唯一性辨識，并提升整個系統(tǒng)的準確性；結合瞳孔中心和虹膜輪廓信息，通過幾何計算或深度學習模型，推算出用戶在三維空間中的視線注視點，即用戶正在觀察的方向和位置；將視線注視點從圖像坐標系映射到虛擬場景的坐標系中，使得虛擬場景可以根據(jù)用戶的視線進行實時交互和反饋，例如注視點選擇、視線交互等，提升體驗的沉浸感和交互性。

35、優(yōu)選地，步驟s26包括以下步驟：

36、步驟s261：對虹膜輪廓圖像數(shù)據(jù)進行虹膜特征點提取，得到虹膜特征點數(shù)據(jù)；

37、步驟s262：對瞳孔中心定位數(shù)據(jù)以及虹膜特征點數(shù)據(jù)進行眼球模型構建，得到眼球模型；

38、步驟s263：基于瞳孔中心定位數(shù)據(jù)對眼球模型進行眼球光軸數(shù)據(jù)方向獲取，得到眼球光軸方向數(shù)據(jù)；

39、步驟s264：對眼球光軸方向數(shù)據(jù)進行視線交匯點模擬，得到視線交匯點數(shù)據(jù)；

40、步驟s265：對視線交匯點數(shù)據(jù)進行視線注視點生成，得到視線注視點數(shù)據(jù)。

41、本發(fā)明通過這一步從虹膜輪廓圖像中提取出具有代表性的特征點，例如虹膜紋理、顏色變化等，這些特征點可以用于更精確地擬合眼球模型，提高視線估計的準確性；眼球模型構建是模擬人眼結構和運動的重要步驟。通過結合瞳孔中心定位數(shù)據(jù)和虹膜特征點數(shù)據(jù)，可以建立一個準確的眼球三維模型。這個模型可以模擬人眼的形狀、大小和結構，為分析眼球光軸和視線運動提供基礎框架；眼球光軸數(shù)據(jù)方向獲取是理解視線方向的關鍵。通過瞳孔中心定位數(shù)據(jù)，可以計算出眼球光軸的方向向量。此向量表示從瞳孔中心到眼球模型的穿出方向，為模擬視線交匯點和最終確定視線注視點提供重要參考；左右眼的視線會在空間中相交于一點，即視線交匯點，該點代表了用戶在三維空間中正在注視的具體位置。通過模擬雙眼視線的交匯過程，可以更準確地推斷用戶的注視點；將計算得到的視線交匯點位置作為用戶的視線注視點，該數(shù)據(jù)可以用于系統(tǒng)中的各種交互和應用，例如視線選擇、注視點渲染、眼動分析等，提升體驗的沉浸感和交互性。

42、優(yōu)選地，步驟s3包括以下步驟：

43、步驟s31：對虛擬現(xiàn)實設備進行頭部傳感數(shù)據(jù)獲取，得到頭部傳感數(shù)據(jù)；

44、步驟s32：對頭部傳感數(shù)據(jù)進行頭部姿態(tài)數(shù)據(jù)分析，得到頭部姿態(tài)數(shù)據(jù)；

45、步驟s33：基于頭部姿態(tài)數(shù)據(jù)對頭部傳感數(shù)據(jù)進行頭部偏轉特征分析，得到頭部偏轉特征數(shù)據(jù)；

46、步驟s34：基于頭部偏轉特征數(shù)據(jù)對視線注視點數(shù)據(jù)進行偏轉注視點向量計算，得到偏轉注視點向量數(shù)據(jù)；

47、步驟s35：基于偏轉注視點向量數(shù)據(jù)對注視點坐標數(shù)據(jù)進行偏轉坐標計算，得到偏轉注視點坐標。

48、本發(fā)明通過虛擬現(xiàn)實設備的頭部傳感數(shù)據(jù)是捕捉用戶頭部運動和姿態(tài)變化的基礎。通過內置在虛擬現(xiàn)實設備中的傳感器，如陀螺儀、加速計和磁力計，可以實時獲取用戶頭部在三維空間中的位置、旋轉和運動信息，為后續(xù)分析頭部姿態(tài)和偏轉特征提供必要的數(shù)據(jù)支持；頭部姿態(tài)數(shù)據(jù)分析能夠幫助系統(tǒng)理解用戶頭部的當前狀態(tài)。通過對頭部傳感數(shù)據(jù)的處理和分析，可以獲取頭部在虛擬空間中的旋轉、俯仰和偏轉角度等姿態(tài)信息，為后續(xù)的偏轉特征分析和視線追蹤提供基礎參照；頭部偏轉特征分析旨在識別和量化用戶頭部側向的偏轉運動。通過對頭部姿態(tài)數(shù)據(jù)的進一步處理，可以提取出頭部在水平方向上的偏轉角度和速度，為計算偏轉注視點向量和最終確定偏轉注視點坐標提供關鍵輸入數(shù)據(jù)；根據(jù)用戶的頭部偏轉特征，計算出一個偏轉向量，用于修正原本的視線注視點方向，使其更符合用戶實際的注視方向；過結合虛擬現(xiàn)實設備的頭部傳感數(shù)據(jù)和偏轉注視點向量，可以計算出用戶在虛擬空間中由于頭部偏轉而產生的新的注視點坐標。這個坐標數(shù)據(jù)可以與虛擬環(huán)境中的對象對應，實現(xiàn)更準確的用戶交互和更自然的人機交互體驗。

49、優(yōu)選地，步驟s33包括以下步驟：

50、步驟s331：對頭部姿態(tài)數(shù)據(jù)進行基準姿勢設定，得到頭部基準姿勢數(shù)據(jù)；

51、步驟s332：基于頭部基準姿勢數(shù)據(jù)對頭部傳感數(shù)據(jù)進行頭部偏轉角度計算，得到頭部偏轉角度；

52、步驟s333：對頭部偏轉角度進行偏轉向量方向分析，得到偏轉向量方向數(shù)據(jù)；

53、步驟s334：對頭部偏轉角度進行偏轉向量幅度計算，得到偏轉向量幅度數(shù)據(jù)；

54、步驟s335：對偏轉向量方向數(shù)據(jù)以及偏轉向量幅度數(shù)據(jù)進行特征數(shù)據(jù)擬合，得到頭部偏轉特征數(shù)據(jù)。

55、本發(fā)明通過設定頭部基準姿勢可以為后續(xù)的偏轉角度計算和分析提供參考基礎。通過建立一個標準的或初始的頭部姿勢作為基準，可以更準確地計算和量化用戶頭部的偏轉程度。這個基準姿勢通常被定義為用戶直視正前方的姿勢，為后續(xù)分析提供一個中立的參考點；頭部偏轉角度計算是理解用戶頭部側向運動的基礎。通過對比頭部傳感數(shù)據(jù)和頭部基準姿勢數(shù)據(jù)，可以計算出用戶頭部在水平方向上的偏轉角度。這個角度表示了頭部偏離基準姿勢的程度，為后續(xù)的偏轉向量分析和模擬提供量化指標；通過分析頭部偏轉角度，可以確定偏轉的方向向量。這個方向向量表示了頭部偏轉是在左、右、上下還是其他特定方向，為模擬和模擬用戶的視線運動提供重要的輸入信息；過分析頭部偏轉角度，可以計算出偏轉向量的幅度，也就是偏轉的距離或角度大小。這個幅度數(shù)據(jù)表示了頭部偏轉的強度，為模擬和分析用戶的視野范圍和頭部運動幅度提供參數(shù)；特征數(shù)據(jù)擬合是整合偏轉向量方向和幅度數(shù)據(jù)的過程。通過對方向數(shù)據(jù)和幅度數(shù)據(jù)的數(shù)學擬合，可以建立一個更完整的頭部偏轉特征模型。這個模型綜合了偏轉方向和幅度信息，能夠更準確地表示用戶的頭部偏轉行為，為后續(xù)的視線追蹤、虛擬空間交互或其他相關應用提供可靠的輸入數(shù)據(jù)。

56、優(yōu)選地，步驟s4包括以下步驟：

57、步驟s41：對虛擬空間模型進行坐標網格映射，得到虛擬空間坐標網格；

58、步驟s42：基于偏轉注視點坐標對虛擬空間坐標網格進行偏轉注視點空間定位，得到空間偏轉注視點數(shù)據(jù)；

59、步驟s43：對空間偏轉注視點數(shù)據(jù)進行虛擬視覺區(qū)域獲取，得到虛擬視覺區(qū)域數(shù)據(jù)；

60、步驟s44：基于虛擬視覺區(qū)域數(shù)據(jù)對虛擬音頻空間進行注視音頻區(qū)域定位，得到注視虛擬音頻區(qū)域；

61、步驟s45：對虛擬視覺區(qū)域數(shù)據(jù)以及注視虛擬音頻區(qū)域進行區(qū)域音頻優(yōu)化，得到區(qū)域音頻優(yōu)化數(shù)據(jù)。

62、本發(fā)明通過對虛擬空間模型進行坐標網格映射可以建立一個虛擬空間的坐標框架。通過創(chuàng)建一個三維坐標網格系統(tǒng)，可以為虛擬空間中的每個點賦予一個獨特的坐標值。這為偏轉注視點定位、虛擬視覺獲取和音頻優(yōu)化提供了基礎框架；轉注視點空間定位是將偏轉后的注視點坐標映射到虛擬空間坐標網格上的過程。通過這一步驟，可以確定用戶的偏轉視線焦點在虛擬空間中的確切位置，為后續(xù)的虛擬視覺和音頻區(qū)域獲取提供基礎參考；通過分析偏轉注視點數(shù)據(jù)，可以確定虛擬空間中進入用戶視野的區(qū)域，即虛擬視覺區(qū)域。這個區(qū)域將成為用戶當前可見的虛擬環(huán)境部分，為注視音頻區(qū)域定位和區(qū)域音頻優(yōu)化提供基礎輸入；通過分析虛擬視覺區(qū)域數(shù)據(jù)，可以確定用戶當前注視的虛擬音頻區(qū)域。這個步驟確保了音頻處理聚焦于用戶感興趣或關注的虛擬空間區(qū)域，提升音頻體驗的相關性和準確性；區(qū)域音頻優(yōu)化旨在提升用戶在虛擬空間中音頻體驗的質量。通過對虛擬視覺區(qū)域數(shù)據(jù)和注視音頻區(qū)域數(shù)據(jù)的綜合分析，可以對音頻效果進行優(yōu)化處理。例如，增強虛擬視覺區(qū)域內的音頻清晰度、提高虛擬音頻區(qū)域的音量、添加環(huán)境音場效果等，使音頻體驗更加逼真和具有臨場感。

63、優(yōu)選地，步驟s45包括以下步驟：

64、步驟s451：對注視虛擬音頻區(qū)域進行區(qū)域聲學特性分析，得到區(qū)域聲學特性數(shù)據(jù)；

65、步驟s452：基于區(qū)域聲學特性數(shù)據(jù)對虛擬音頻空間進行空間區(qū)域聲場模擬，得到空間區(qū)域聲場數(shù)據(jù)；

66、步驟s453：對虛擬視覺區(qū)域數(shù)據(jù)進行注視視覺路徑獲取，得到注視視覺路徑；

67、步驟s454：對注視視覺路徑進行音頻遮擋物識別，得到路徑音頻遮擋物數(shù)據(jù)；

68、步驟s455：基于路徑音頻遮擋物數(shù)據(jù)對空間區(qū)域聲場數(shù)據(jù)進行區(qū)域音頻仿真優(yōu)化，得到區(qū)域音頻優(yōu)化數(shù)據(jù)。

69、本發(fā)明通過區(qū)域聲學特性分析旨在了解和量化虛擬音頻區(qū)域的聲音特性。通過分析這一區(qū)域的聲學反射、吸收、擴散和其他聲學特征，可以獲得區(qū)域聲學特性數(shù)據(jù)。這些數(shù)據(jù)包括材料特性、邊界效應、聲學環(huán)境等，為后續(xù)的空間區(qū)域聲場模擬提供基礎參數(shù)；通過應用聲學原理和區(qū)域聲學特性數(shù)據(jù)，可以模擬和預測聲音在特定虛擬音頻區(qū)域中的傳播、反射和衰減效果。這一步驟幫助建立一個逼真的空間音頻模型，為最終的音頻優(yōu)化提供基礎框架；通過分析虛擬視覺區(qū)域數(shù)據(jù)，可以確定從用戶的偏轉注視點到虛擬視覺區(qū)域中其他點的視覺路徑。這個路徑表示了用戶視線在虛擬空間中的移動軌跡，為后續(xù)的音頻遮擋物識別和優(yōu)化提供重要參考；音頻遮擋物識別旨在識別虛擬空間中影響聲音傳播和聽覺體驗的障礙物。通過分析注視視覺路徑，可以識別出視覺路徑上的音頻遮擋物，例如虛擬墻壁、家具或其他虛擬物體。這一步驟為區(qū)域音頻仿真優(yōu)化提供必要的數(shù)據(jù)，確保聲音的傳播和反射符合虛擬環(huán)境設置；通過對這兩個因素的綜合分析，可以對區(qū)域音頻效果進行優(yōu)化。例如，模擬聲音在遇到遮擋物時的衰減、反射或繞射，應用適當?shù)穆晫W模型，從而實現(xiàn)更真實的音頻體驗。此優(yōu)化步驟確保了虛擬空間中的音頻呈現(xiàn)與實際物理環(huán)境一致，提升了虛擬現(xiàn)實或混合現(xiàn)實應用中的沉浸感和空間感。

70、本發(fā)明還提供視聽設備，包括頭戴顯示器，用于執(zhí)行如上所述的虛擬現(xiàn)實交互方法，該視聽設備的頭戴顯示器包括:

71、虛擬音頻空間構建模塊，用于對虛擬現(xiàn)實設備進行圖像數(shù)據(jù)輸入，得到空間圖像數(shù)據(jù)；對空間圖像數(shù)據(jù)進行虛擬空間模型構建，得到虛擬空間模型；對虛擬空間模型進行虛擬音頻空間構建，得到虛擬音頻空間；

72、注視點坐標生成模塊，用于對虛擬現(xiàn)實設備進行實時人臉攝像處理，得到實時攝影流數(shù)據(jù)；對實時攝影流數(shù)據(jù)進行人臉圖像檢測，得到攝影人臉圖像數(shù)據(jù)；對攝影人臉圖像數(shù)據(jù)進行注視點生成，得到視線注視點數(shù)據(jù)；對視線注視點數(shù)據(jù)對進行坐標系映射，得到注視點坐標數(shù)據(jù)；

73、偏轉注視點生成模塊，用于對虛擬現(xiàn)實設備進行頭部傳感數(shù)據(jù)獲取，得到頭部傳感數(shù)據(jù)；基于頭部傳感數(shù)據(jù)對視線注視點數(shù)據(jù)進行偏轉注視點向量計算，得到偏轉注視點向量數(shù)據(jù)；基于偏轉注視點向量數(shù)據(jù)對注視點坐標數(shù)據(jù)進行偏轉坐標計算，得到偏轉注視點坐標；

74、區(qū)域音頻優(yōu)化模塊，用于基于偏轉注視點坐標對虛擬空間模型進行虛擬視覺區(qū)域獲取，得到虛擬視覺區(qū)域數(shù)據(jù)；基于虛擬視覺區(qū)域數(shù)據(jù)對虛擬音頻空間進行注視音頻區(qū)域定位，得到注視虛擬音頻區(qū)域；對虛擬視覺區(qū)域數(shù)據(jù)以及注視虛擬音頻區(qū)域進行區(qū)域音頻優(yōu)化，得到區(qū)域音頻優(yōu)化數(shù)據(jù)。

75、綜上所述，本發(fā)明提供了一種虛擬現(xiàn)實交互方法及視聽設備，該虛擬現(xiàn)實交互方法及視聽設備由虛擬音頻空間構建模塊、注視點坐標生成模塊、偏轉注視點生成模塊、區(qū)域音頻優(yōu)化模塊組成，能夠實現(xiàn)本發(fā)明所述任意虛擬現(xiàn)實交互方法，用于聯(lián)合各個模塊上運行的計算機程序之間的操作實現(xiàn)任意虛擬現(xiàn)實交互方法，系統(tǒng)內部結構互相協(xié)作，這樣能夠大大減少重復工作和人力投入，能夠快速有效地提供更為準確、更高效的虛擬現(xiàn)實交互過程，從而簡化了虛擬現(xiàn)實交互方法及視聽設備。