本申請(qǐng)涉及音頻技術(shù)領(lǐng)域,且更具體地,涉及一種聲源定位方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
背景技術(shù):
語(yǔ)音控制遠(yuǎn)場(chǎng)設(shè)備的應(yīng)用中存在諸多問(wèn)題,尤其對(duì)干擾環(huán)境下的語(yǔ)音控制提出很高的要求。
例如,在語(yǔ)音控制的過(guò)程中,如果僅用遙控器中的麥克風(fēng)進(jìn)行語(yǔ)音采集,由于遙控器一般為單麥克風(fēng),單麥克風(fēng)處理非穩(wěn)態(tài)噪聲源的時(shí)候存在局限,因而無(wú)法分離非穩(wěn)態(tài)噪聲源;或者,如果僅利用受控設(shè)備上的麥克風(fēng)進(jìn)行語(yǔ)音采集,盡管受控設(shè)備一般為麥克風(fēng)陣列,麥克風(fēng)陣列可以對(duì)于空間噪聲進(jìn)行分離,但是如果噪聲源和信號(hào)源(用戶)在同一方向,也無(wú)法做到同時(shí)分離,從而對(duì)信號(hào)源做精確定位測(cè)距。
因此,現(xiàn)有的聲源定位方法存在缺陷。
技術(shù)實(shí)現(xiàn)要素:
為了解決上述技術(shù)問(wèn)題,提出了本申請(qǐng)。本申請(qǐng)的實(shí)施例提供了一種聲源定位方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其可以實(shí)現(xiàn)聲源的精準(zhǔn)定位。
根據(jù)本申請(qǐng)的一個(gè)方面,提供了一種聲源定位方法,包括:分別接收第一設(shè)備上的第一聲音采集器件所采集的第一輸入信號(hào)和第二設(shè)備上的第二聲音采集器件所采集的第二輸入信號(hào),所述第一輸入信號(hào)和所述第二輸入信號(hào)中的每個(gè)包括來(lái)自信號(hào)源的信號(hào)分量和來(lái)自噪聲源的噪聲分量;根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的噪聲分量來(lái)確定參考噪聲;根據(jù)所述參考噪聲來(lái)分別提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量;以及根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量來(lái)確定所述信號(hào)源的位置。
根據(jù)本申請(qǐng)的另一方面,提供了一種聲源定位裝置,包括:信號(hào)接收單元,用于分別接收第一設(shè)備上的第一聲音采集器件所采集的第一輸入信號(hào)和第二設(shè)備上的第二聲音采集器件所采集的第二輸入信號(hào),所述第一輸入信號(hào)和所述第二輸入信號(hào)中的每個(gè)包括來(lái)自信號(hào)源的信號(hào)分量和來(lái)自噪聲源的噪聲分量,并且所述第一聲音采集器件與所述信號(hào)源之間的距離小于所述第二聲音采集器件與所述信號(hào)源之間的距離;參考確定單元,用于根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的噪聲分量來(lái)確定參考噪聲;分量提取單元,用于根據(jù)所述參考噪聲來(lái)分別提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量;以及位置確定單元,用于根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量來(lái)確定所述信號(hào)源的位置。
根據(jù)本申請(qǐng)的另一方面,提供了一種電子設(shè)備,包括:處理器;存儲(chǔ)器;以及存儲(chǔ)在所述存儲(chǔ)器中的計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被所述處理器運(yùn)行時(shí)使得所述處理器執(zhí)行上述的聲源定位方法。
根據(jù)本申請(qǐng)的另一方面,提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行上述的聲源定位方法。
根據(jù)本申請(qǐng)的另一方面,提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行上述的聲源定位方法。
與現(xiàn)有技術(shù)相比,采用根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),可以分別接收第一設(shè)備上的第一聲音采集器件所采集的第一輸入信號(hào)和第二設(shè)備上的第二聲音采集器件所采集的第二輸入信號(hào),所述第一輸入信號(hào)和所述第二輸入信號(hào)中的每個(gè)包括來(lái)自信號(hào)源的信號(hào)分量和來(lái)自噪聲源的噪聲分量;根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的噪聲分量來(lái)確定參考噪聲;根據(jù)所述參考噪聲來(lái)分別提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量;并且根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量來(lái)確定所述信號(hào)源的位置。因此,可以很好地分離輸入信號(hào)中的信號(hào)分量和噪聲分量,并據(jù)此準(zhǔn)確地確定聲源的位置。
附圖說(shuō)明
通過(guò)結(jié)合附圖對(duì)本申請(qǐng)實(shí)施例進(jìn)行更詳細(xì)的描述,本申請(qǐng)的上述以及其他目的、特征和優(yōu)勢(shì)將變得更加明顯。附圖用來(lái)提供對(duì)本申請(qǐng)實(shí)施例的進(jìn)一步理解,并且構(gòu)成說(shuō)明書的一部分,與本申請(qǐng)實(shí)施例一起用于解釋本申請(qǐng),并不構(gòu)成對(duì)本申請(qǐng)的限制。在附圖中,相同的參考標(biāo)號(hào)通常代表相同部件或步驟。
圖1圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源定位操作的應(yīng)用場(chǎng)景的示意圖。
圖2圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法的流程圖。
圖3圖示了根據(jù)本申請(qǐng)實(shí)施例的參考噪聲確定步驟的流程圖。
圖4圖示了根據(jù)本申請(qǐng)實(shí)施例的語(yǔ)音活動(dòng)檢測(cè)的示意圖。
圖5圖示了根據(jù)本申請(qǐng)實(shí)施例的信號(hào)分量提取步驟的流程圖。
圖6圖示了根據(jù)本申請(qǐng)實(shí)施例的自適應(yīng)濾波器的示意圖。
圖7圖示了根據(jù)本申請(qǐng)實(shí)施例的信號(hào)源定位步驟的流程圖。
圖8圖示了根據(jù)本申請(qǐng)實(shí)施例的麥克風(fēng)陣列定向的示意圖。
圖9圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源定位裝置的框圖。
圖10圖示了根據(jù)本申請(qǐng)實(shí)施例的電子設(shè)備的框圖。
具體實(shí)施方式
下面,將參考附圖詳細(xì)地描述根據(jù)本申請(qǐng)的示例實(shí)施例。顯然,所描述的實(shí)施例僅僅是本申請(qǐng)的一部分實(shí)施例,而不是本申請(qǐng)的全部實(shí)施例,應(yīng)理解,本申請(qǐng)不受這里描述的示例實(shí)施例的限制。
申請(qǐng)概述
如上所述,現(xiàn)有的聲源定位方法存在缺陷。例如,僅用遙控器中的單麥克風(fēng)和受控設(shè)備中的麥克風(fēng)陣列單獨(dú)采集語(yǔ)音指令,都無(wú)法很好地消除非穩(wěn)態(tài)噪聲,諸如電視聲、音響聲、人聲等非穩(wěn)態(tài)噪聲,從而對(duì)諸如用戶做出精確定位測(cè)距。
針對(duì)該技術(shù)問(wèn)題,本申請(qǐng)的基本構(gòu)思是提出一種聲源定位方法、裝置、電子設(shè)備、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其可以將遙控器中的麥克風(fēng)和受控設(shè)備中的麥克風(fēng)進(jìn)行有效的整合,成為一套完整的麥克風(fēng)增強(qiáng)系統(tǒng),其可以很好地處理非穩(wěn)態(tài)噪聲信號(hào),并且可以獲取說(shuō)話用戶相對(duì)于遙控器及受控設(shè)備的距離。
需要說(shuō)明的是,本申請(qǐng)的上述基本構(gòu)思不但可以應(yīng)用于遙控器和受控設(shè)備的遠(yuǎn)程控制應(yīng)用中,還可以應(yīng)用于其他系統(tǒng)應(yīng)用中,只要其中的兩個(gè)或多個(gè)設(shè)備都具有聲音采集器件即可。例如,本申請(qǐng)同樣適用于兩個(gè)設(shè)備并非具有主控和受控關(guān)系,而是功能獨(dú)立的設(shè)備。此外,本申請(qǐng)的上述基本構(gòu)思不但可以應(yīng)用于語(yǔ)音的聲源定位場(chǎng)景中,還可以應(yīng)用于諸如動(dòng)物、機(jī)器人等其他各種聲源的聲源定位場(chǎng)景中。
在介紹了本申請(qǐng)的基本原理之后,下面將參考附圖來(lái)具體介紹本申請(qǐng)的各種非限制性實(shí)施例。
示例性系統(tǒng)
圖1圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源定位操作的應(yīng)用場(chǎng)景的示意圖。
如圖1所示,用于聲源定位操作的應(yīng)用場(chǎng)景包括第一設(shè)備100、第二設(shè)備200和聲源300。
該第一設(shè)備100可以是任何類型的電子設(shè)備,其包括第一聲音采集器件。第二設(shè)備200可以是任何類型的電子設(shè)備,其可以與第一設(shè)備100具有相同或不同的類型,并且其包括第二聲音采集器件。
例如,該聲音采集器件可以用于采集包括信號(hào)源或噪聲源等聲源的音頻信號(hào),其可以是單獨(dú)的麥克風(fēng)或麥克風(fēng)陣列。例如,該麥克風(fēng)可以是全向麥克風(fēng)和/或指向麥克風(fēng)。全向麥克風(fēng)對(duì)于來(lái)自不同角度的聲音,其靈敏度是基本相同的,其頭部采用壓力感應(yīng)的原理設(shè)計(jì),振膜只接受來(lái)自外界的壓力。指向麥克風(fēng)主要采用壓力梯度的原理設(shè)計(jì),通過(guò)頭部腔體后面的小孔,振膜接受到正反兩面的壓力,因此振膜受不同方向的壓力并不相同,麥克風(fēng)具有了指向性。例如,該麥克風(fēng)陣列可以是由一定數(shù)目的麥克風(fēng)組成、用來(lái)對(duì)聲場(chǎng)的空間特性進(jìn)行采樣并處理的系統(tǒng),其可以包括各自拾音區(qū)不完全相同的多個(gè)麥克風(fēng)MIC1到MICn,其中n是大于等于2的自然數(shù)。例如,取決于各個(gè)麥克風(fēng)的相對(duì)位置關(guān)系,麥克風(fēng)陣列可以分為:線性陣列,其陣元中心位于同一條直線上;平面陣列,其陣元中心分布在一個(gè)平面上;以及空間陣列,其陣元中心分布在立體空間中。
該聲源300可以是任何類型的聲源,其可以包括發(fā)出希望關(guān)注的信號(hào)分量的信號(hào)源和希望消除的噪聲分量的噪聲源。例如,該信號(hào)源可以是有生命的信號(hào)源和無(wú)生命的信號(hào)。例如,有生命的信號(hào)源可以包括人和動(dòng)物等;而無(wú)生命的信號(hào)源可以包括機(jī)器人、電視機(jī)、音響等。
需要注意的是,上述應(yīng)用場(chǎng)景僅是為了便于理解本申請(qǐng)的精神和原理而示出,本申請(qǐng)的實(shí)施例不限于此。相反,本申請(qǐng)的實(shí)施例可以應(yīng)用于可能適用的任何場(chǎng)景。例如,該設(shè)備可以包括兩個(gè)或更多,該聲源可以是一個(gè)或多個(gè)。
示例性方法
下面結(jié)合圖1的應(yīng)用場(chǎng)景,參考圖2來(lái)描述根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法。
圖2圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法的流程圖。
如圖2所示,根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法可以包括:
在步驟S110中,分別接收第一設(shè)備上的第一聲音采集器件所采集的第一輸入信號(hào)和第二設(shè)備上的第二聲音采集器件所采集的第二輸入信號(hào),所述第一輸入信號(hào)和所述第二輸入信號(hào)中的每個(gè)包括來(lái)自信號(hào)源的信號(hào)分量和來(lái)自噪聲源的噪聲分量。
例如,為了對(duì)聲源300進(jìn)行定位,可以接收兩個(gè)設(shè)備100和200上的聲音采集器件所采集的輸入信號(hào),以用于后續(xù)處理。
在一個(gè)示例中,為了獲得最優(yōu)的信號(hào)分量和噪聲分量的分離效果,所述信號(hào)源到所述第一聲音采集器件的第一距離可以不同于所述信號(hào)源到所述第二聲音采集器件的第二距離。例如,該第一距離可以小于該第二距離。
由于信號(hào)源到兩個(gè)聲音采集器件的距離不同,所以第一聲音采集器件所采集到的輸入信號(hào)也不同于第二聲音采集器件所采集到的輸入信號(hào)。
例如,由于信號(hào)源距離第一聲音采集器件更近、距離第二聲音采集器件更遠(yuǎn),所以第一聲音采集器件所采集到的輸入信號(hào)中的信號(hào)分量大于第二聲音采集器件所采集到的輸入信號(hào)中的信號(hào)分量。另外,由于噪聲源屬于背景噪聲源,其與第一聲音采集器件和第二聲音采集器件的距離大致相同,所以第一聲音采集器件所采集到的輸入信號(hào)中的噪聲分量與第二聲音采集器件所采集到的輸入信號(hào)中的噪聲分量大致相同。
通過(guò)上述特性,可以對(duì)兩個(gè)輸入信號(hào)進(jìn)行信號(hào)分離和處理,以提取其中的信號(hào)分量和噪聲分量,并進(jìn)一步用于聲源定位。
在一個(gè)示例中,為了防止第一設(shè)備上的第一聲音采集器件和第二設(shè)備上的第二聲音采集器件可能具有不同的聲音轉(zhuǎn)換能力而抵消掉距離不同帶來(lái)的信號(hào)分量差異,可以首先對(duì)第一設(shè)備上的第一聲音采集器件和第二設(shè)備上的第二聲音采集器件進(jìn)行參數(shù)校準(zhǔn)。
因此,如圖2所示,在步驟S110之前,根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法還可以包括:
在步驟S105中,對(duì)所述第一聲音采集器件和所述第二聲音采集器件進(jìn)行校準(zhǔn),以使得它們具有相同的聲音轉(zhuǎn)換能力。
可以調(diào)節(jié)兩個(gè)聲音采集器件的參數(shù),以使得它們保持相同的轉(zhuǎn)換能力。
下面,將在一個(gè)具體示例中對(duì)該聲源定位方法進(jìn)行說(shuō)明,其中假設(shè)第一設(shè)備是遙控器,其上裝備有麥克風(fēng)或麥克風(fēng)陣列,第二設(shè)備是與之對(duì)應(yīng)的受控設(shè)備(例如,電視等),其上裝備有麥克風(fēng)或麥克風(fēng)陣列,聲源是用于發(fā)出語(yǔ)音控制命令的用戶。
例如,可以首先對(duì)遙控器上的麥克風(fēng)系統(tǒng)與電視上的麥克風(fēng)系統(tǒng)進(jìn)行參數(shù)調(diào)校,以使得兩者保持相同的轉(zhuǎn)換能力。其目的在于,對(duì)于遙控器和電視的輸入和輸出保持相同的放大增益和延遲補(bǔ)償。
例如,如果遙控器上的麥克風(fēng)系統(tǒng)具有較高的放大特性、而電視上的麥克風(fēng)系統(tǒng)具有較低的放大特性,使得相同的輸入信號(hào)被遙控器接收后比被電視接收后高出3dB,那么可以對(duì)兩者進(jìn)行增益補(bǔ)償,以確保兩者的放大倍數(shù)相同,從而保證后續(xù)算法的精度。
接下來(lái),可以利用兩個(gè)麥克風(fēng)系統(tǒng)接收用戶發(fā)出的語(yǔ)音控制命令(例如,打開電視、調(diào)節(jié)頻道等)。由于兩個(gè)麥克風(fēng)系統(tǒng)已經(jīng)校準(zhǔn)完畢,所以兩者所采集到的輸入信號(hào)可以精確地反映出其與用戶之間的距離差異。
在步驟S120中,根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的噪聲分量來(lái)確定參考噪聲。
接下來(lái),可以對(duì)兩個(gè)設(shè)備上的聲音采集器件所采集到的輸入信號(hào)進(jìn)行分析,以確定用于信噪分離的參考噪聲。
圖3圖示了根據(jù)本申請(qǐng)實(shí)施例的參考噪聲確定步驟的流程圖。
如圖3所示,該步驟S120可以包括:
在子步驟S121中,對(duì)所述第一輸入信號(hào)和所述第二輸入信號(hào)執(zhí)行分離操作,以分別得到所述第一輸入信號(hào)中的含噪信號(hào)段和純?cè)肼暥?、以及所述第二輸入信?hào)中的含噪信號(hào)段和純?cè)肼暥巍?/p>
例如,在用戶進(jìn)行語(yǔ)音控制的時(shí)候,可以使用語(yǔ)音活動(dòng)檢測(cè)(VAD)技術(shù)來(lái)分離每個(gè)輸入信號(hào)中的含噪語(yǔ)音段和純?cè)肼暥巍?/p>
語(yǔ)音活動(dòng)檢測(cè)又稱語(yǔ)音端點(diǎn)檢測(cè)、語(yǔ)音邊界檢,是指在噪聲環(huán)境中檢測(cè)語(yǔ)音的存在與否,通常用于語(yǔ)音編碼、語(yǔ)音增強(qiáng)等語(yǔ)音處理系統(tǒng)中,起到降低語(yǔ)音編碼速率、節(jié)省通信帶寬、減少移動(dòng)設(shè)備能耗、提高識(shí)別率等作用。例如,具有代表性的VAD方法有ITU-T的G.729Annex B。
圖4圖示了根據(jù)本申請(qǐng)實(shí)施例的語(yǔ)音活動(dòng)檢測(cè)的示意圖。
如圖4所示,利用VAD技術(shù)分段,可以將第一輸入信號(hào)M1分離為含噪語(yǔ)音段M1S+N和噪聲段M1N;同理,也可以將第二輸入信號(hào)M2分離為含噪語(yǔ)音段M2S+N和噪聲段M2N。也就是說(shuō),語(yǔ)音段中包含語(yǔ)音和噪聲,而噪聲段中僅包含噪聲。
可以看出,由于用戶在正常使用情況下往往手持遙控器,其嘴部距離遙控器更近、距離電視更遠(yuǎn),所以第一輸入信號(hào)M1中的含噪語(yǔ)音段M1S+N的幅度大于第二輸入信號(hào)M2中的含噪語(yǔ)音段M2S+N的幅度,而第一輸入信號(hào)M1中的噪聲段M1N的幅度等于或基本等于第二輸入信號(hào)M2中的噪聲段M2N的幅度。
在子步驟S122中,至少根據(jù)所述第二輸入信號(hào)中的純?cè)肼暥蝸?lái)確定所述參考噪聲。
例如,由于電視距離信號(hào)源用戶更遠(yuǎn),其受到用戶語(yǔ)音的影響更小,即其中包括的噪聲段M2N往往更接近于真實(shí)的背景噪聲,所以可以直接將噪聲段M2N作為所述參考噪聲。
另外,由于M1和M2中的噪聲在噪聲段廣義是相同的,因此,可以基于任一者來(lái)產(chǎn)生噪聲參考。
替換地,也可以首先將第一輸入信號(hào)M1中的含噪語(yǔ)音段M1S+N與第二輸入信號(hào)M2中的含噪語(yǔ)音段M2S+N在時(shí)域上對(duì)齊,然后通過(guò)將兩者相減來(lái)計(jì)算其中的噪聲分量,并且將所得的結(jié)果作為參考噪聲。
在步驟S130中,根據(jù)所述參考噪聲來(lái)分別提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量。
可以使用所得到的參考噪聲來(lái)分別對(duì)所述第一輸入信號(hào)和所述第二輸入信號(hào)執(zhí)行分離操作,以確定其中的信號(hào)分量。
例如,可以使用自適應(yīng)濾波器來(lái)實(shí)現(xiàn)上述分離操作。
自適應(yīng)濾波器是能夠根據(jù)輸入信號(hào)自動(dòng)調(diào)整性能進(jìn)行數(shù)字信號(hào)處理的數(shù)字濾波器。對(duì)于一些應(yīng)用來(lái)說(shuō),由于事先并不知道所需要進(jìn)行操作的參數(shù),例如一些噪聲信號(hào)的特性,所以要求使用自適應(yīng)的系數(shù)進(jìn)行處理。在這種情況下,通常使用自適應(yīng)濾波器,自適應(yīng)濾波器使用反饋來(lái)調(diào)整濾波器系數(shù)以及頻率響應(yīng)。總的來(lái)說(shuō),自適應(yīng)的過(guò)程涉及到將代價(jià)函數(shù)用于確定如何更改濾波器系數(shù),從而減小下一次迭代過(guò)程成本的算法。價(jià)值函數(shù)是濾波器最佳性能的判斷準(zhǔn)則,比如減小輸入信號(hào)中的噪聲成分的能力。
圖5圖示了根據(jù)本申請(qǐng)實(shí)施例的信號(hào)分量提取步驟的流程圖。
如圖5所示,該步驟S130可以包括:
在子步驟S131中,將所述參考噪聲輸入自適應(yīng)濾波器。
在子步驟S132中,調(diào)整所述自適應(yīng)濾波器的參數(shù),以分別從所述第一輸入信號(hào)和所述第二輸入信號(hào)中的含噪信號(hào)段中提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量。
圖6圖示了根據(jù)本申請(qǐng)實(shí)施例的自適應(yīng)濾波器的示意圖。
如圖6所示,例如,可以將在子步驟S122中得到的參考噪聲作為輸入提供到自適應(yīng)濾波器中??梢詫⒖荚肼暯Y(jié)合自適應(yīng)濾波器代入第一輸入信號(hào)M1中的含噪語(yǔ)音段M1S+N和第二輸入信號(hào)M2中的含噪語(yǔ)音段M2S+N,以提取M1和M2中的語(yǔ)音分量M1S和M2S。
在步驟S140中,根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量來(lái)確定所述信號(hào)源的位置。
例如,可以根據(jù)所得到的信號(hào)分量來(lái)對(duì)所述信號(hào)源進(jìn)行定位。
圖7圖示了根據(jù)本申請(qǐng)實(shí)施例的信號(hào)源定位步驟的流程圖。
如圖7所示,該步驟S140可以包括:
在子步驟S141中,根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量之間的相位差來(lái)確定所述信號(hào)源到所述第一聲音采集器件的第一距離和所述信號(hào)源到所述第二聲音采集器件的第二距離之間的距離差。
例如,子步驟S141可以包括:對(duì)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量進(jìn)行互相關(guān)分析,以確定兩者之間的相位差;根據(jù)所述相位差來(lái)確定兩者之間的延時(shí)差;以及根據(jù)所述延時(shí)差來(lái)計(jì)算所述距離差。
例如,可以對(duì)第一輸入信號(hào)M1和第二輸入信號(hào)M2中的語(yǔ)音分量M1S和M2S進(jìn)行進(jìn)行廣義互相關(guān)分析,分析兩者之間的相位差,得到延時(shí)差Δt。由此,可以知道聲源用戶到遙控器的距離L1和聲源用戶到電視的距離L2之間的關(guān)系為:
Δt*340m/s=L1-L2。
在子步驟S142中,根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量之間的幅度差來(lái)確定所述第一距離和所述第二距離之間的倍數(shù)關(guān)系。
例如,子步驟S142可以包括:計(jì)算所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量之間的幅度差;以及根據(jù)所述幅度差和距離幅度關(guān)系來(lái)計(jì)算所述倍數(shù)關(guān)系。
例如,可以對(duì)第一輸入信號(hào)M1和第二輸入信號(hào)M2中的語(yǔ)音分量M1S和M2S進(jìn)行進(jìn)行短時(shí)功率譜計(jì)算,分析兩者之間的幅度衰減,得到幅度差Δp。由此,根據(jù)聲波隨距離衰減原理,可以確定距離L1和之間的倍數(shù)關(guān)系。具體地,在正常情況下,聲波與麥克風(fēng)之間的距離增大一倍,能量衰減6dB,因此,可以根據(jù)該能量差確定出上述距離之差。換言之,根據(jù)能量差Δp,可以計(jì)算出距離L1和距離L2之間的關(guān)系為:
L1=k*L2。
在子步驟S143中,根據(jù)所述距離差和所述倍數(shù)關(guān)系來(lái)確定所述第一距離和所述第二距離。
通過(guò)聯(lián)立上述兩個(gè)方式,可以得到聲源用戶到遙控器的距離L1和聲源用戶到電視的距離L2。
然而,這僅僅確定了聲源到第一設(shè)備和第二設(shè)備的距離,即僅僅確定了聲源的位置范圍,并且沒(méi)有確定出聲源的完整位置。為此,還可以使得所述第一聲音采集器件和/或所述第二聲音采集器件包括麥克風(fēng)陣列,以用于確定聲源相對(duì)于麥克風(fēng)陣列的角度。
因此,如圖7所示,該步驟S140還可以包括:
在步驟S144中,響應(yīng)于所述第一聲音采集器件和/或所述第二聲音采集器件包括麥克風(fēng)陣列,使用所述麥克風(fēng)陣列來(lái)確定所述信號(hào)源與所述麥克風(fēng)陣列的陣元中心的相對(duì)角度。
圖8圖示了根據(jù)本申請(qǐng)實(shí)施例的麥克風(fēng)陣列定向的示意圖。
為了簡(jiǎn)潔起見,以兩個(gè)麥克風(fēng)構(gòu)成的雙麥克風(fēng)陣列為例進(jìn)行描述。
如圖8所示,麥克風(fēng)陣列包括兩個(gè)麥克風(fēng),其分別位于位置A和B。
例如,可以確定麥克風(fēng)陣列中每個(gè)麥克風(fēng)接收到的分路輸入信號(hào),計(jì)算各個(gè)信號(hào)之間的相關(guān)性,反推平面波從位置C到位置A的時(shí)間,即各個(gè)麥克風(fēng)之間的延遲Δd,如下式所示:
CA=Δd*340m/s。
由于兩個(gè)麥克風(fēng)之間的間距AB已知,所以可以求得信號(hào)源與麥克風(fēng)陣列的相對(duì)角度,如下式所示:
進(jìn)一步地,如圖7所示,該步驟S140還可以包括:
在步驟S145中,綜合所述第一距離、所述第二距離和所述相對(duì)角度來(lái)確定所述聲源的位置。
例如,根據(jù)麥克風(fēng)陣列的定向結(jié)果,結(jié)合L1及L2,可以確定出聲源用戶相對(duì)麥克風(fēng)陣列的精確角度和位置。
由于在本具體示例中,第二設(shè)備是被遙控的設(shè)備(例如,電視),其上可能固有地設(shè)置有麥克風(fēng)陣列,以用于接收語(yǔ)音指令,因此,出于成本的考慮,可以復(fù)用第二設(shè)備上固有的麥克風(fēng)陣列,用于定向操作。另外,由于第二設(shè)備的位置往往固定,即位置坐標(biāo)已知,所以在已知聲源相對(duì)于第二設(shè)備的距離和角度的情況下,可以直接確定出聲源的位置坐標(biāo)。
在一個(gè)示例中,根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法可以實(shí)現(xiàn)在該第一設(shè)備100和該第二設(shè)備200中的任一個(gè)或兩者上。此時(shí),該第一設(shè)備100和該第二設(shè)備200相互之間具有通信連接,可以接收另一設(shè)備上的聲音采集器件所采集的輸入信號(hào),并與本設(shè)備上的聲音采集器件所采集的輸入信號(hào)進(jìn)行聯(lián)合處理,以對(duì)聲源進(jìn)行定位。
需要說(shuō)明的是,盡管在該具體示例中以第一設(shè)備為遙控器、第二設(shè)備為電視為例進(jìn)行了說(shuō)明,但是,本申請(qǐng)不限于此。例如,該第二設(shè)備可以為位于用戶遠(yuǎn)端的需要語(yǔ)音控制的其他設(shè)備,例如,冰箱、空調(diào)等,而該第一設(shè)備可以是在正常使用狀態(tài)下通常位于用戶近端的其他設(shè)備,例如便攜式設(shè)備(手機(jī)、智能手環(huán)、智能眼睛等)、甚至是暫時(shí)位于用戶近端的固定設(shè)備(例如,用戶就坐的智能沙發(fā)等)。
在另一示例中,根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法也可以實(shí)現(xiàn)在該第一設(shè)備100和該第二設(shè)備200之外的獨(dú)立的聲源定位設(shè)備上。此時(shí),聲源定位設(shè)備分別與該第一設(shè)備100和該第二設(shè)備200具有通信連接,可以接收兩個(gè)設(shè)備上的聲音采集器件所采集的輸入信號(hào),對(duì)兩路輸入信號(hào)進(jìn)行聯(lián)合處理,以對(duì)聲源進(jìn)行定位。
由此可見,采用根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法,可以分別接收第一設(shè)備上的第一聲音采集器件所采集的第一輸入信號(hào)和第二設(shè)備上的第二聲音采集器件所采集的第二輸入信號(hào),所述第一輸入信號(hào)和所述第二輸入信號(hào)中的每個(gè)包括來(lái)自信號(hào)源的信號(hào)分量和來(lái)自噪聲源的噪聲分量;根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的噪聲分量來(lái)確定參考噪聲;根據(jù)所述參考噪聲來(lái)分別提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量;并且根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量來(lái)確定所述信號(hào)源的位置。因此,可以很好地分離輸入信號(hào)中的信號(hào)分量和噪聲分量,并進(jìn)一步據(jù)此準(zhǔn)確地確定聲源的位置。
具體來(lái)說(shuō),根據(jù)本申請(qǐng)實(shí)施例的聲源定位方法具有以下好處:
1)可以更好地抑制非穩(wěn)態(tài)噪聲,實(shí)現(xiàn)聲源信號(hào)和噪聲的分離;
2)結(jié)合設(shè)備的麥克風(fēng)陣列,可以精確對(duì)聲源進(jìn)行定向和測(cè)距。
示例性裝置
下面,參考圖9來(lái)描述根據(jù)本申請(qǐng)實(shí)施例的聲源定位裝置。
圖9圖示了根據(jù)本申請(qǐng)實(shí)施例的聲源定位裝置的框圖。
如圖9所示,根據(jù)本申請(qǐng)實(shí)施例的所述聲源定位裝置400可以包括:信號(hào)接收單元410,用于分別接收第一設(shè)備上的第一聲音采集器件所采集的第一輸入信號(hào)和第二設(shè)備上的第二聲音采集器件所采集的第二輸入信號(hào),所述第一輸入信號(hào)和所述第二輸入信號(hào)中的每個(gè)包括來(lái)自信號(hào)源的信號(hào)分量和來(lái)自噪聲源的噪聲分量,并且所述第一聲音采集器件與所述信號(hào)源之間的距離小于所述第二聲音采集器件與所述信號(hào)源之間的距離;參考確定單元420,用于根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的噪聲分量來(lái)確定參考噪聲;分量提取單元430,用于根據(jù)所述參考噪聲來(lái)分別提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量;以及位置確定單元440,用于根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量來(lái)確定所述信號(hào)源的位置。
在一個(gè)示例中,所述信號(hào)源到所述第一聲音采集器件的第一距離可以小于所述信號(hào)源到所述第二聲音采集器件的第二距離。
在一個(gè)示例中,所述聲源定位裝置400還可以包括:器件校準(zhǔn)單元,用于在分別接收第一設(shè)備上的第一聲音采集器件所采集的第一輸入信號(hào)和第二設(shè)備上的第二聲音采集器件所采集的第二輸入信號(hào)之前,對(duì)所述第一聲音采集器件和所述第二聲音采集器件進(jìn)行校準(zhǔn),以使得它們具有相同的聲音轉(zhuǎn)換能力。
在一個(gè)示例中,參考確定單元420可以對(duì)所述第一輸入信號(hào)和所述第二輸入信號(hào)執(zhí)行分離操作,以分別得到所述第一輸入信號(hào)中的含噪信號(hào)段和純?cè)肼暥?、以及所述第二輸入信?hào)中的含噪信號(hào)段和純?cè)肼暥?;并且至少根?jù)所述第二輸入信號(hào)中的純?cè)肼暥蝸?lái)確定所述參考噪聲。
在一個(gè)示例中,分量提取單元430可以將所述參考噪聲輸入自適應(yīng)濾波器;并且調(diào)整所述自適應(yīng)濾波器的參數(shù),以分別從所述第一輸入信號(hào)和所述第二輸入信號(hào)中的含噪信號(hào)段中提取所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量。
在一個(gè)示例中,位置確定單元440可以根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量之間的相位差來(lái)確定所述信號(hào)源到所述第一聲音采集器件的第一距離和所述信號(hào)源到所述第二聲音采集器件的第二距離之間的距離差;根據(jù)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量之間的幅度差來(lái)確定所述第一距離和所述第二距離之間的倍數(shù)關(guān)系;并且根據(jù)所述距離差和所述倍數(shù)關(guān)系來(lái)確定所述第一距離和所述第二距離。
在一個(gè)示例中,位置確定單元440可以對(duì)所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量進(jìn)行互相關(guān)分析,以確定兩者之間的相位差;根據(jù)所述相位差來(lái)確定兩者之間的延時(shí)差;并且根據(jù)所述延時(shí)差來(lái)計(jì)算所述距離差。
在一個(gè)示例中,位置確定單元440可以計(jì)算所述第一輸入信號(hào)和所述第二輸入信號(hào)中的信號(hào)分量之間的幅度差;并且根據(jù)所述幅度差和距離幅度關(guān)系來(lái)計(jì)算所述倍數(shù)關(guān)系。
在一個(gè)示例中,位置確定單元440還可以響應(yīng)于所述第一聲音采集器件和/或所述第二聲音采集器件包括麥克風(fēng)陣列,使用所述麥克風(fēng)陣列來(lái)確定所述信號(hào)源與所述麥克風(fēng)陣列的陣元中心的相對(duì)角度。
在一個(gè)示例中,位置確定單元440還可以綜合所述第一距離、所述第二距離和所述相對(duì)角度來(lái)確定所述聲源的位置。
上述聲源定位裝置400中的各個(gè)單元和模塊的具體功能和操作已經(jīng)在上面參考圖1到圖8描述的聲源定位方法中詳細(xì)介紹,并因此,將省略其重復(fù)描述。
如上所述,根據(jù)本申請(qǐng)實(shí)施例的聲源定位裝置400可以實(shí)現(xiàn)聲源定位設(shè)備中,該聲源定位設(shè)備可以是如圖1所示的第一設(shè)備100和第二設(shè)備200中的任一個(gè)或兩者,也可以是與它們獨(dú)立的單機(jī)設(shè)備。
在一個(gè)示例中,根據(jù)本申請(qǐng)實(shí)施例的聲源定位裝置400可以作為一個(gè)軟件模塊和/或硬件模塊而集成到該聲源定位設(shè)備中。例如,該聲源定位裝置400可以是該聲源定位設(shè)備的操作系統(tǒng)中的一個(gè)軟件模塊,或者可以是針對(duì)于該聲源定位設(shè)備所開發(fā)的一個(gè)應(yīng)用程序;當(dāng)然,該聲源定位裝置400同樣可以是該聲源定位設(shè)備的眾多硬件模塊之一。
替換地,在另一示例中,該聲源定位裝置400與該聲源定位設(shè)備也可以是分立的設(shè)備,并且該聲源定位裝置400可以通過(guò)有線和/或無(wú)線網(wǎng)絡(luò)連接到該聲源定位設(shè)備,并且按照約定的數(shù)據(jù)格式來(lái)傳輸交互信息。
示例性電子設(shè)備
下面,參考圖10來(lái)描述根據(jù)本申請(qǐng)實(shí)施例的電子設(shè)備。該電子設(shè)備可以是第一設(shè)備100和第二設(shè)備200中的任一個(gè)或兩者、或與它們獨(dú)立的單機(jī)設(shè)備,該單機(jī)設(shè)備可以與第一設(shè)備和第二設(shè)備進(jìn)行通信,以從它們接收所采集到的輸入信號(hào)。
圖10圖示了根據(jù)本申請(qǐng)實(shí)施例的電子設(shè)備的框圖。
如圖10所示,電子設(shè)備10包括一個(gè)或多個(gè)處理器11和存儲(chǔ)器12。
處理器11可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元,并且可以控制電子設(shè)備10中的其他組件以執(zhí)行期望的功能。
存儲(chǔ)器12可以包括一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品可以包括各種形式的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),例如易失性存儲(chǔ)器和/或非易失性存儲(chǔ)器。所述易失性存儲(chǔ)器例如可以包括隨機(jī)存取存儲(chǔ)器(RAM)和/或高速緩沖存儲(chǔ)器(cache)等。所述非易失性存儲(chǔ)器例如可以包括只讀存儲(chǔ)器(ROM)、硬盤、閃存等。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上可以存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)程序指令,處理器11可以運(yùn)行所述程序指令,以實(shí)現(xiàn)上文所述的本申請(qǐng)的各個(gè)實(shí)施例的聲源定位方法以及/或者其他期望的功能。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中還可以存儲(chǔ)諸如輸入信號(hào)、信號(hào)分量、噪聲分量等各種內(nèi)容。
在一個(gè)示例中,電子設(shè)備10還可以包括:輸入裝置13和輸出裝置14,這些組件通過(guò)總線系統(tǒng)和/或其他形式的連接機(jī)構(gòu)(未示出)互連。
例如,在該電子設(shè)備是第一設(shè)備100或第二設(shè)備200時(shí),該輸入裝置13可以是上述的麥克風(fēng)或麥克風(fēng)陣列,用于捕捉聲源的輸入信號(hào)。在該電子設(shè)備是單機(jī)設(shè)備時(shí),該輸入裝置13可以是通信網(wǎng)絡(luò)連接器,用于從第一設(shè)備100和第二設(shè)備200接收所采集的輸入信號(hào)。
此外,該輸入設(shè)備13還可以包括例如鍵盤、鼠標(biāo)等等。
該輸出裝置14可以向外部輸出各種信息,包括確定出的距離信息、方向信息等。該輸出設(shè)備14可以包括例如顯示器、揚(yáng)聲器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等。
當(dāng)然,為了簡(jiǎn)化,圖10中僅示出了該電子設(shè)備10中與本申請(qǐng)有關(guān)的組件中的一些,省略了諸如總線、輸入/輸出接口等等的組件。除此之外,根據(jù)具體應(yīng)用情況,電子設(shè)備10還可以包括任何其他適當(dāng)?shù)慕M件。
示例性計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
除了上述方法和設(shè)備以外,本申請(qǐng)的實(shí)施例還可以是計(jì)算機(jī)程序產(chǎn)品,其包括計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行本說(shuō)明書上述“示例性方法”部分中描述的根據(jù)本申請(qǐng)各種實(shí)施例的聲源定位方法中的步驟。
所述計(jì)算機(jī)程序產(chǎn)品可以以一種或多種程序設(shè)計(jì)語(yǔ)言的任意組合來(lái)編寫用于執(zhí)行本申請(qǐng)實(shí)施例操作的程序代碼,所述程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言,諸如Java、C++等,還包括常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言,諸如“C”語(yǔ)言或類似的程序設(shè)計(jì)語(yǔ)言。程序代碼可以完全地在用戶計(jì)算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算設(shè)備上部分在遠(yuǎn)程計(jì)算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算設(shè)備或服務(wù)器上執(zhí)行。
此外,本申請(qǐng)的實(shí)施例還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行本說(shuō)明書上述“示例性方法”部分中描述的根據(jù)本申請(qǐng)各種實(shí)施例的聲源定位方法中的步驟。
所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以采用一個(gè)或多個(gè)可讀介質(zhì)的任意組合??勺x介質(zhì)可以是可讀信號(hào)介質(zhì)或者可讀存儲(chǔ)介質(zhì)??勺x存儲(chǔ)介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合??勺x存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。
以上結(jié)合具體實(shí)施例描述了本申請(qǐng)的基本原理,但是,需要指出的是,在本申請(qǐng)中提及的優(yōu)點(diǎn)、優(yōu)勢(shì)、效果等僅是示例而非限制,不能認(rèn)為這些優(yōu)點(diǎn)、優(yōu)勢(shì)、效果等是本申請(qǐng)的各個(gè)實(shí)施例必須具備的。另外,上述公開的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用,而非限制,上述細(xì)節(jié)并不限制本申請(qǐng)為必須采用上述具體的細(xì)節(jié)來(lái)實(shí)現(xiàn)。
本申請(qǐng)中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進(jìn)行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的,可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語(yǔ)是開放性詞匯,指“包括但不限于”,且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”,且可與其互換使用,除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”,且可與其互換使用。
還需要指出的是,在本申請(qǐng)的裝置、設(shè)備和方法中,各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請(qǐng)的等效方案。
提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請(qǐng)。對(duì)這些方面的各種修改對(duì)于本領(lǐng)域技術(shù)人員而言是非常顯而易見的,并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請(qǐng)的范圍。因此,本申請(qǐng)不意圖被限制到在此示出的方面,而是按照與在此公開的原理和新穎的特征一致的最寬范圍。
為了例示和描述的目的已經(jīng)給出了以上描述。此外,此描述不意圖將本申請(qǐng)的實(shí)施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個(gè)示例方面和實(shí)施例,但是本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到其某些變型、修改、改變、添加和子組合。