本公開涉及音頻源的建模，并且更特別地涉及基于體素的早期聲音源反射估計方法和設(shè)備。

背景技術(shù)：

1、聲學(xué)反射表面的聲音反射可以影響音頻源的感知聲音。在目標(biāo)位置(例如，收聽者位置)處在直達(dá)聲音之后不久被反射和接收的聲音(其在本文中將被稱為早期反射(er))在對聲音源進(jìn)行建模時特別令人感興趣，因為僅考慮直達(dá)聲音和er就可以對音頻源的感知聲音準(zhǔn)確地建模。另一方面，更高階的聲學(xué)反射常常不太重要，因為它們在能量上較低并且在時間上/在空間上被er和其它組分心理聲學(xué)地掩蔽。

2、er引起若干感知效果，諸如表觀源寬度、感知的距離、音色和寬敞感。er在時間上相對稀疏并且跨越相對短的時間，通常包含在房間脈沖響應(yīng)的前～80ms內(nèi)(參見圖1)。圖1圖示了房間的回聲圖，包括直達(dá)聲音源、早期反射和晚期反射的回聲圖。圖1還允許關(guān)于直達(dá)聲音、早期反射和晚期反射之間的差異的可視化。

3、er的心理聲學(xué)相關(guān)性很大程度上取決于若干因素，諸如音頻信號的方向、水平、時間延遲和頻譜內(nèi)容。

4、er的方向特別影響收聽者的耳朵處的時間延遲和頻率響應(yīng)。因此，er的方向在感知的反射聲音中起著重要作用。當(dāng)?shù)竭_(dá)方向改變時，這意味著由于移動、障礙物等，從源到收聽者的耳朵的路徑已發(fā)生改變。路徑長度的改變影響時間延遲，并且由于耳廓的形狀，取決于到達(dá)耳朵的方向，將產(chǎn)生不同的頻率響應(yīng)。

5、為了估計er的軌跡，圖像-源(is)方法旨在找到音頻源與接收者(即，收聽者)之間的純鏡面反射路徑。這個過程通過假設(shè)聲音僅沿著直線(即，射線)傳播被簡化。音頻圖像源在垂直于邊界的線上并且在離它與原始源101相同的距離處繁衍(參見圖2)。圖2圖示了聲音源101、收聽者102、邊界和圖像源。

6、由于聲音以與入射角度相同的角度從邊界表面反射，因此產(chǎn)生了原始源101在邊界表面處被鏡像的印象。單個邊界的反射于是表示(一階)er。

7、然而，有時邊界是未知的或者缺乏定義。一個示例是用于vr應(yīng)用中的聲音渲染的3d環(huán)境的基于體素的表示。體素是具有某些聲學(xué)屬性(例如，反射性)的空間體積。為了找到用于is方法的邊界，應(yīng)當(dāng)考慮多組體素，因為單個體素不具有朝向信息，如果對它的性質(zhì)沒有明確分配反射表面朝向的話。因此，需要復(fù)雜的三角學(xué)考慮來估計邊界。圖3中描繪了示例性場景。在這個圖中，灰色體素表示反射物體，并且白色體素旁邊的灰色體素表示物體的表面的反射邊界。沒有反射朝向信息，單個體素不足以確定源101發(fā)出的聲音的反射軌跡。

8、因此，需要用于基于體素的環(huán)境中的er估計的改進(jìn)的、高效的方法，尤其是在音頻反射邊界朝向信息預(yù)先不可用時。

技術(shù)實現(xiàn)思路

1、鑒于以上情況，本公開提供了用于基于體素的3d環(huán)境(3d體素網(wǎng)格)中的早期聲音源反射估計的方法、裝置和程序以及計算機(jī)可讀存儲介質(zhì)，其具有相應(yīng)的獨(dú)立權(quán)利要求的特征。

2、根據(jù)本公開的一方面，提供了一種估計早期反射的方法?？梢垣@得(例如，接收或確定)三維音頻場景的基于體素的表示、關(guān)于三維音頻場景中的收聽者的收聽者位置的信息、以及關(guān)于三維音頻場景中的音頻源的音頻源位置的信息?？梢詫⑸渚€方向圖應(yīng)用到音頻源位置與收聽者位置之間的連接線上的一個或更多個點，以對一個或更多個點中的每一個獲得起始于相應(yīng)的點的多個射線?？梢曰诙鄠€射線和三維音頻場景的基于體素的表示確定一組碰撞體素?？梢曰谝唤M碰撞體素、收聽者位置、音頻源位置以及幾何有效性測試確定早期反射軌跡。例如，對于一組碰撞體素中的每個碰撞體素，可以確定經(jīng)由相應(yīng)的碰撞體素連接收聽者位置和音頻源位置的路徑。然后，對于每個路徑，如果該路徑幾何有效，那么可以確定該路徑作為早期反射軌跡。

3、通過采用以上指明的啟發(fā)式方法，可以在基于體素的環(huán)境中高效地估計早期反射，而不需要體素的任何反射表面朝向信息。由此，可以以高準(zhǔn)確度和低計算復(fù)雜度對聲音源進(jìn)行建模，從而使得能夠?qū)崿F(xiàn)實時應(yīng)用(例如，vr游戲)中的準(zhǔn)確且高效的聲音表示。

4、在一些實施例中，該方法還可以包括確定射線方向圖。確定射線方向圖可以包括從許多個(一組)預(yù)定義的射線方向圖選擇射線方向圖或計算射線方向圖。替代地，射線方向圖可以是固定的。另外替代地，可以利用位流接收要被使用的射線方向圖的指示。

5、在一些實施例中，該方法還可以包括基于一個或更多個點的數(shù)量(例如，計數(shù)、基數(shù))確定一個或更多個點。即，可以獲得或確定一個或更多個點的數(shù)量(例如，設(shè)置為n個點)，并且所得的(例如，n個)數(shù)量(計數(shù)或基數(shù))的一個或更多個點可以與一個或更多個點的坐標(biāo)對應(yīng)(例如，在對于一個或更多個點中的每一個存在相應(yīng)的坐標(biāo)的意義上)。

6、在一些實施例中，射線方向圖可以被定義為(例如，可以包括)射線的預(yù)定義的數(shù)量和從原點的射線的預(yù)定義的方向。射線的預(yù)定義的數(shù)量可以是例如6、8或12。射線的方向可以由體素網(wǎng)格的網(wǎng)格索引定義。

7、在一些實施例中，射線的預(yù)定義的方向可以包括以下中的一個或更多個：到鄰近的網(wǎng)格索引的水平和垂直方向；以及到鄰近的網(wǎng)格索引的對角線方向。因此，預(yù)定義的方向可以定義從射線的原點(即，體素網(wǎng)格中的網(wǎng)格索引(l,m,i))的相對方向。相對方向可以被表達(dá)為：

8、(+1,0,0)、(-1,0,0)、(0,+1,0)、(0,-1,0)、(0,0,+1)、(-0,0,-1)；

9、(+1,+1,0)、(+1,-1,0)、(-1,+1,0)、(-1,-1,0)、(+1,0,+1)、(+1,0,-1)、(-1,0,+1)、(-1,0,-1)、(0,+1,+1)、(0,+1,-1)、(0,-1,+1)、(0,-1,-1)；以及

10、(+1,+1,+1)、(+1,+1,-1)、(+1,-1,+1)、(+1,-1,-1)、(-1,+1,+1)、(-1,+1,-1)、(-1,-1,+1)、(-1,-1,-1)。

11、在一些實施例中，確定射線方向圖可以是基于三維音頻場景的場景類型、可用的計算資源、編碼器預(yù)設(shè)、或其組合。

12、在一些實施例中，連接音頻源位置和收聽者位置的線上的一個或更多個點的坐標(biāo)可以基于該一個或更多個點的數(shù)量(例如，計數(shù)、基數(shù))被確定。

13、在一些實施例中，一個或更多個點可以被確定為將連接音頻源位置和收收聽者位置的線劃分成n-1個相等的線段，其中n是一個或更多個點的數(shù)量(例如，計數(shù)、基數(shù))。n例如可以大于或等于2。

14、在一些實施例中，一個或更多個點的數(shù)量可以取決于三維音頻場景的場景類型、可用的計算資源、編碼器預(yù)設(shè)、或其組合。

15、在一些實施例中，場景類型可以包括室內(nèi)場景和室外場景。

16、在一些實施例中，每個碰撞體素可以是三維音頻場景的基于體素的表示中的遮擋物體素。

17、在一些實施例中，遮擋物體素可以表示聲學(xué)反射表面。

18、在一些實施例中，遮擋物體素可以表示三維音頻場景的基于體素的表示中除空氣以外的任何材料。即，遮擋物體素可以表示反射表面并且非遮擋體素可以表示非反射表面(或根本不定義表面)。

19、在一些實施例中，基于多個射線和三維音頻場景的基于體素的表示確定一組碰撞體素可以包括確定多個射線中的每個射線與遮擋物體素之間的一個或更多個相交(例如，相交點)。該方法還可以包括，對于每個射線，確定包含最接近相應(yīng)的射線的原點的相交的遮擋物體素作為一組碰撞體素中的碰撞體素。即，碰撞體素可以是相應(yīng)的射線首先擊中的遮擋物體素。

20、在一些實施例中，基于一組碰撞體素、收聽者位置、音頻源位置以及幾何有效性測試確定早期反射軌跡可以包括對于一組碰撞體素中的每個碰撞體素確定碰撞體素是否可以產(chǎn)生一階反射的幾何有效表示。如果確定碰撞體素可以產(chǎn)生一階反射的幾何有效表示，那么可以確定經(jīng)由相應(yīng)的碰撞體素連接收聽者位置和音頻源位置的路徑作為早期反射軌跡。

21、在一些實施例中，確定碰撞體素是否可以產(chǎn)生一階反射的幾何有效表示可以包括確定碰撞體素的在前體素。在前體素可以是包含與相應(yīng)的射線的相交、在相應(yīng)的射線的方向上在碰撞體素之前的體素?？梢源_定經(jīng)由相應(yīng)的在前體素連接收聽者位置和音頻源位置的第二路徑。如果第二路徑不包含與遮擋物體素的相交，那么碰撞體素可以產(chǎn)生一階反射的幾何有效表示。一般地，如果連接收聽者位置和在前體素的路徑以及連接音頻源位置和在前體素的路徑都不包含與遮擋物體素的相交，那么碰撞體素可以產(chǎn)生一階反射的幾何有效表示。換句話說，如果連接收聽者位置和在前體素的路徑以及連接音頻源位置和在前體素的路徑都通過視線檢查(“可見性檢查”)，那么碰撞體素可以產(chǎn)生一階反射的幾何有效表示。

22、由此，可以高效地分選出不能導(dǎo)致從音頻源位置到收聽者位置的幾何有效路徑的碰撞體素。

23、替代地或附加地，基于一組碰撞體素、收聽者位置、音頻源位置以及幾何有效性測試確定早期反射軌跡可以包括對于一組碰撞體素中的每個碰撞體素確定經(jīng)由相應(yīng)的碰撞體素連接收聽者位置和音頻源位置的路徑。對于每個路徑，如果該路徑幾何有效，那么可以確定該路徑作為早期反射軌跡。如果路徑通過視線檢查(“可見性檢查”)，即，如果連接收聽者位置和碰撞體素的路徑以及連接碰撞體素和音頻源位置的路徑都通過視線檢查，那么可以說該路徑幾何有效。

24、在一些實施例中，路徑可以包括將音頻源位置連接到一組碰撞體素中的碰撞體素的直線以及將一組碰撞體素中的同一碰撞體素連接到收聽者位置的直線。

25、在一些實施例中，如果路徑不包含與除相應(yīng)的路徑的碰撞體素以外的遮擋物體素的相交，那么該路徑可以被確定為幾何有效。即，可以丟棄具有與多于一個遮擋物體素的相交的路徑。換句話說，如果路徑?jīng)]有被除碰撞體素以外的任何遮擋體素阻擋，那么該路徑可以被確定為幾何有效。

26、在執(zhí)行對可以產(chǎn)生一階反射的幾何有效表示的碰撞體素以及對幾何有效路徑的測試的情況下，可以首先通過確定遮擋體素與連接音頻源位置、在前體素以及收聽者位置的路徑之間是否存在相交來分選出不能產(chǎn)生一階反射的幾何有效表示的碰撞體素。對于剩余的碰撞體素，可以確定連接音頻源位置、碰撞體素以及收聽者位置的路徑。最后，可以確定這些路徑與除碰撞體素以外的遮擋物體素之間是否存在相交。

27、通過組合兩個幾何有效性測試，可以僅確定幾何有效的早期反射軌跡，而不管三維音頻場景的幾何形狀如何。

28、在一些實施例中，該方法還可以包括從早期反射軌跡選擇一組聲學(xué)最相關(guān)的早期反射軌跡。

29、在一些實施例中，選擇一組聲學(xué)最相關(guān)的早期反射軌跡可以是基于早期反射軌跡的長度和/或相應(yīng)的早期反射軌跡的碰撞體素的反射系數(shù)。特別地，例如，與非聲學(xué)相關(guān)的早期反射軌跡相比，聲學(xué)相關(guān)的早期反射軌跡可以具有短的長度和/或大的反射系數(shù)。

30、在一些實施例中，反射系數(shù)可以取決于由碰撞體素建模(或以其它方式指示)的材料。

31、在一些實施例中，選擇一組聲學(xué)最相關(guān)的早期反射軌跡可以包括丟棄具有指示碰撞體素處接近180°的內(nèi)角的值的早期反射軌跡。這里，接近180°可以意味著180°-ε，其中ε是小角度。在一些實現(xiàn)中，例如，可以丟棄具有指示大于160°的內(nèi)角的所述值的早期反射軌跡。

32、在一些實施例中，指示接近180°的內(nèi)角的值可以是該內(nèi)角或早期反射軌跡的長度。

33、在一些實施例中，該方法還可以包括輸出早期反射軌跡。即，例如，可以輸出早期反射軌跡或聲學(xué)最相關(guān)的早期反射軌跡以用于渲染或進(jìn)一步處理，諸如在渲染之前的遮擋、衍射、3d范圍或混響處理。

34、在一些實施例中，該方法還可以包括例如通過虛擬現(xiàn)實vr、增強(qiáng)現(xiàn)實ar、混合現(xiàn)實mr和/或擴(kuò)展現(xiàn)實xr設(shè)備對三維音頻場景的渲染。

35、在一些實施例中，早期反射軌跡可以表示一階軌跡。在一些實施例中，一階軌跡可以是在音頻源位置與收聽者位置之間具有單次反射的反射軌跡。

36、根據(jù)本公開的另一個方面，提供了一種處理三維音頻場景的幀(例如，時間幀)的方法。可以基于根據(jù)前一個方面的方法估計該幀的反射軌跡。估計的早期反射軌跡可以被存儲(例如，被本地存儲或提交到共享存儲裝置或云存儲裝置)。替代地，前一幀的估計的早期反射軌跡可以被訪問(例如，從本地存儲裝置、共享存儲裝置或云存儲裝置)?？梢曰诟鶕?jù)前一個方面的方法計算前一幀的估計的早期反射軌跡。前一幀的估計的早期反射軌跡僅當(dāng)包含收聽者位置的體素、包含音頻源位置的體素、以及三維音頻場景的基于體素的表示的幾何形狀在該幀與前一幀之間沒有改變時才可以被訪問。

37、通過在三維音頻場景靜態(tài)時使用早期反射軌跡的先前估計，可以降低處理三維音頻場景的音頻數(shù)據(jù)的復(fù)雜度，而不對輸出的精度產(chǎn)生任何影響。

38、根據(jù)本公開的另一個方面，提供了一種用于對幾何連接的音頻源創(chuàng)建軌跡以用于體素3d網(wǎng)格上的高效實現(xiàn)的音頻處理的方法?？梢越邮张c射線方向圖‘r’相關(guān)的信息。可以確定基于射線方向圖‘r’要應(yīng)用射線投射的第一組點‘p’?？梢源_定基于第一組點和反射體素‘vox’的第二組射線-體素‘碰撞’體素‘c’。可以確定基于第二組射線-體素‘碰撞’體素‘c’的第三組有效反射軌跡‘s-c-l’。從第三組有效反射軌跡中，可以選擇并且輸出最聲學(xué)相關(guān)的有效反射軌跡的子集。

39、本公開的方面可以經(jīng)由裝置實現(xiàn)。該裝置可以包括處理器和耦合到處理器的存儲器。處理器可以適于執(zhí)行根據(jù)本公開的方面和實施例的方法。

40、本公開的方面可以經(jīng)由程序?qū)崿F(xiàn)。當(dāng)程序的指令由處理器執(zhí)行時，處理器可以執(zhí)行本公開的方面和實施例。計算機(jī)可讀存儲介質(zhì)可以存儲程序。這樣的計算機(jī)可讀存儲介質(zhì)可以包括存儲器設(shè)備，諸如本文中描述的那些，包括但不限于隨機(jī)存取存儲器(ram)設(shè)備、只讀存儲器(rom)設(shè)備等。因而，本公開中描述的主題的一些創(chuàng)新方面可以經(jīng)由其上存儲有軟件的一個或更多個計算機(jī)可讀存儲介質(zhì)實現(xiàn)。

41、將認(rèn)識到的是，裝置特征和方法步驟可以以許多方式互換。特別地，如本領(lǐng)域技術(shù)人員將認(rèn)識到的，公開的方法的細(xì)節(jié)可以由對應(yīng)的裝置(或系統(tǒng))實現(xiàn)，反之亦然。而且，以上關(guān)于方法進(jìn)行的任何陳述被理解為同樣應(yīng)用到對應(yīng)的裝置(或系統(tǒng))，反之亦然。