一種基于自然用戶界面的環(huán)繞聲聲像控制方法及裝置的制造方法
【專利摘要】本發(fā)明涉及一種基于自然用戶界面的環(huán)繞聲聲像控制方法及裝置，該方法包括：通過(guò)光學(xué)傳感器采集用戶單手伸入檢測(cè)區(qū)域內(nèi)的初始手勢(shì)；獲取處于檢測(cè)區(qū)域內(nèi)的初始手勢(shì)的當(dāng)前空間位置坐標(biāo)并作為聲像空間的中點(diǎn)；檢測(cè)發(fā)出該初始手勢(shì)的手在聲像控制范圍內(nèi)以該聲像空間的中點(diǎn)為中心的控制聲像位置的手勢(shì)動(dòng)作；根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。本發(fā)明通過(guò)采用自然用戶界面控制三維聲像，能夠極大程度上減輕影視聲音后期人員在三維聲像控制上的工作量。
【專利說(shuō)明】
一種基于自然用戶界面的環(huán)繞聲聲像控制方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于聲像控制技術(shù)領(lǐng)域，具體涉及一種基于自然用戶界面的環(huán)繞聲聲像控制方法及裝置。
【背景技術(shù)】
[0002]在立體聲錄音技術(shù)出現(xiàn)后，就有了聲像的概念。立體聲的聲像控制主要是使用旋鈕控制，環(huán)繞聲的聲像控制主要是采用搖桿控制與二維圖形界面的方式，而在沉浸式聲音(全景聲)出現(xiàn)以后，聲像的概念擴(kuò)展到三維，但目前的解決方案還僅限于使用三維空間映射至二維圖形界面與搖桿對(duì)聲像進(jìn)行控制，如杜比實(shí)驗(yàn)室開發(fā)的全景聲聲像控制插件，用戶體驗(yàn)并不理想。
[0003]現(xiàn)有硬件控制器一般采用降低維度的方式，使用兩個(gè)聲像控制器完成三維聲像的定位。主要缺點(diǎn)在于:a)雙控制器需要用戶同時(shí)使用雙手進(jìn)行控制，無(wú)法再同時(shí)完成其他工作，如操作走帶控制器重放并錄制聲像;b)三維模型不直觀;c)用戶注意力會(huì)被復(fù)雜的聲像映射操作干擾。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種操作簡(jiǎn)單的、學(xué)習(xí)曲線平緩的、用戶控制與聲像定位所需通道高度重合的聲像控制方法及裝置，以此解決用戶在控制三維聲像上所遇到的障礙。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
一種基于自然用戶界面的環(huán)繞聲聲像控制方法，包括以下步驟:
通過(guò)光學(xué)傳感器采集用戶單手伸入檢測(cè)區(qū)域內(nèi)的初始手勢(shì)；
獲取處于檢測(cè)區(qū)域內(nèi)的該初始手勢(shì)的當(dāng)前空間位置坐標(biāo)并作為聲像空間的中點(diǎn)；檢測(cè)發(fā)出手勢(shì)的單手在聲像控制范圍內(nèi)以該聲像空間的中點(diǎn)為中心所發(fā)出的控制聲像位置的手勢(shì)動(dòng)作；
根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。
[0006]本發(fā)明的目的還在于提供一種基于自然用戶界面的環(huán)繞聲聲像控制裝置，包括:光學(xué)傳感器，用于采集用戶單手伸入檢測(cè)區(qū)域內(nèi)的初始手勢(shì)以及檢測(cè)發(fā)出初始手勢(shì)的單手在聲像控制范圍內(nèi)所發(fā)出的控制聲像位置的手勢(shì)動(dòng)作；
聲像空間中點(diǎn)獲取單元，用于獲取處于檢測(cè)區(qū)域內(nèi)的該初始手勢(shì)的當(dāng)前空間位置坐標(biāo)并作為聲像空間的中點(diǎn)；
聲像控制指令輸出單元，用于根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。
[0007]本發(fā)明通過(guò)應(yīng)用手勢(shì)，通過(guò)自然用戶界面控制三維聲像，與雙手同時(shí)控制三維聲像的控制相比，能夠極大程度上減輕影視聲音后期人員在三維聲像控制上的工作量，且控制方便，解決了目前采用雙控制器需要用戶同時(shí)使用雙手進(jìn)行控制，無(wú)法再同時(shí)完成其他工作，如操作走帶控制器重放并錄制聲像，三維模型不直觀；以及用戶注意力會(huì)被復(fù)雜的聲像映射操作干擾的技術(shù)問(wèn)題。
【附圖說(shuō)明】
[0008]圖1為本發(fā)明實(shí)施例提供的基于自然用戶界面的環(huán)繞聲聲像控制方法的流程圖；
圖2為本發(fā)明實(shí)施例提供的基于自然用戶界面的環(huán)繞聲聲像控制方法的控制示意圖； 圖3為本發(fā)明提供的一種基于自然用戶界面的環(huán)繞聲聲像控制裝置的原理結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0009]下面，結(jié)合實(shí)例對(duì)本發(fā)明的實(shí)質(zhì)性特點(diǎn)和優(yōu)勢(shì)作進(jìn)一步的說(shuō)明，但本發(fā)明并不局限于所列的實(shí)施例。
[0010]本申請(qǐng)首先將光學(xué)傳感器安置在用戶正常坐式工作姿勢(shì)手掌所處位置的下方，先使用光學(xué)傳感器采集手勢(shì)，然后通過(guò)軟件對(duì)手勢(shì)進(jìn)行識(shí)別并根據(jù)手勢(shì)控制聲像。
[0011]參見圖1所示，一種基于自然用戶界面的環(huán)繞聲聲像控制方法，包括以下步驟:
通過(guò)光學(xué)傳感器采集用戶單手伸入檢測(cè)區(qū)域內(nèi)的初始手勢(shì)；
獲取處于檢測(cè)區(qū)域內(nèi)的該初始手勢(shì)的當(dāng)前空間位置坐標(biāo)并作為聲像空間的中點(diǎn)；
檢測(cè)發(fā)出該初始手勢(shì)的單手在聲像控制范圍內(nèi)，以該聲像空間的中點(diǎn)為中心的控制聲像位置的手勢(shì)動(dòng)作；
根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。
[0012]需要說(shuō)明的是，本發(fā)明中，在預(yù)設(shè)的檢測(cè)區(qū)域內(nèi)，用戶的初始手勢(shì)才可以檢測(cè)得至IJ，并在檢測(cè)到用戶的初始手勢(shì)后，聲像控制啟動(dòng)，否則不動(dòng)作，然后將該初始手勢(shì)的空間坐標(biāo)位置作為聲像空間的中點(diǎn)，并通過(guò)檢測(cè)器件檢測(cè)發(fā)出初始手勢(shì)的單手在檢測(cè)區(qū)內(nèi)以該聲像空間的中點(diǎn)為中心的控制聲像位置的手勢(shì)動(dòng)作，檢測(cè)到相應(yīng)的控制聲像位置的手勢(shì)動(dòng)作后，可根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向及角度與聲像控制指令的對(duì)應(yīng)關(guān)系，輸出相應(yīng)的聲像控制指令傳送給音頻工作站，從而實(shí)現(xiàn)對(duì)聲像進(jìn)行控制。
[0013]其中，具體實(shí)現(xiàn)上，所述檢測(cè)區(qū)域可以是聲像控制器或聲像電位器的用戶界面至用戶的一段距離內(nèi)一預(yù)定空間，如30cm，在該30cm內(nèi)的預(yù)定空間內(nèi)，初始手勢(shì)可以被捕捉檢測(cè)到，之外則無(wú)法捕捉與檢測(cè)，即就無(wú)法進(jìn)行聲像手勢(shì)控制操作。當(dāng)用戶的手勢(shì)處于該空間范圍內(nèi)時(shí)，通過(guò)檢測(cè)手的控制聲像位置的手勢(shì)動(dòng)作手勢(shì)，即可輸出相應(yīng)的聲像位置控制指令至數(shù)字音頻工作臺(tái)，實(shí)現(xiàn)對(duì)要處理的聲音的聲像位置的范圍控制。
[0014]具體的，本發(fā)明在與數(shù)字音頻工作站聯(lián)動(dòng)方面，可以是將聲像控制信號(hào)以一組MIDI信號(hào)的形式進(jìn)行封裝傳輸至數(shù)字音頻工作站，最大保證在不同數(shù)字音頻工作站之間的兼容性。
[0015]本發(fā)明通過(guò)檢測(cè)用戶的初始手勢(shì)來(lái)控制聲像，方便了用戶的使用，用戶可以單手進(jìn)行操作實(shí)現(xiàn)聲像的控制，而另一只手可以進(jìn)行其它的操作，如操作走帶控制器，重放并錄制聲像。
[0016]為了方便用戶在首次聲像位置描述后，再進(jìn)行聲像位置的操作與修改，進(jìn)一步，本發(fā)明還包括以下步驟:
獲取用戶對(duì)聲像位置修改的后續(xù)手勢(shì)的空間位置坐標(biāo)；
計(jì)算該后續(xù)手勢(shì)的空間位置坐標(biāo)相對(duì)于聲像空間的中點(diǎn)的相對(duì)偏移量；
檢測(cè)用戶單手在后續(xù)手勢(shì)的工作范圍內(nèi)、以該后續(xù)手勢(shì)的空間位置坐標(biāo)為中心所發(fā)出的修改聲像位置的手勢(shì)動(dòng)作，根據(jù)該后續(xù)手勢(shì)動(dòng)作的方向、角度以及該后續(xù)手勢(shì)的空間位置坐標(biāo)與聲像空間的中點(diǎn)的相對(duì)偏移量，計(jì)算出后續(xù)手勢(shì)動(dòng)作以聲像空間的中點(diǎn)為中心的方向、角度；
根據(jù)以聲像空間的中點(diǎn)為中心的手勢(shì)動(dòng)作的方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。
[0017]本發(fā)明通過(guò)計(jì)算該后續(xù)手勢(shì)空間位置坐標(biāo)與聲像空間的中點(diǎn)的相對(duì)偏移量，使得用戶在對(duì)聲像位置不滿意并進(jìn)行修改操作時(shí)，不必再專門尋找原聲像空間的中點(diǎn)，只要在檢測(cè)區(qū)域內(nèi)，在后續(xù)手勢(shì)的工作范圍內(nèi)進(jìn)行相應(yīng)的控制聲像位置的手勢(shì)動(dòng)作，即可實(shí)現(xiàn)對(duì)原聲像位置的修改，大大方便了用戶對(duì)聲像位置修改的操作，極大地提升了用戶的體驗(yàn)。
[0018]具體實(shí)現(xiàn)上，本發(fā)明中，所述后續(xù)手勢(shì)的工作范圍內(nèi)通過(guò)后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量確定，所述錨軸為用戶的中軸，該后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的銷軸的相對(duì)偏移量確定方法如下:
通過(guò)光學(xué)傳感器采集用戶的圖像，確定用戶100的中軸10以及肩寬，根據(jù)用戶的中軸與肩寬計(jì)算用戶的中軸到輸出初始手勢(shì)的單手對(duì)應(yīng)的肩并節(jié)30上一點(diǎn)垂直距離d，通過(guò)該距離d即可計(jì)算出后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量(參見圖2所示)。
[0019]根據(jù)該獲取的距離d，獲得了后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量后，即可確定后續(xù)手勢(shì)的工作范圍，再計(jì)算出該以后續(xù)手勢(shì)的空間位置坐標(biāo)為中心點(diǎn)的后續(xù)手勢(shì)的轉(zhuǎn)動(dòng)方向、角度所對(duì)應(yīng)的以聲像空間的中點(diǎn)為中心的手勢(shì)動(dòng)作的方向、角度，然后即可根據(jù)原手勢(shì)動(dòng)作的方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令，實(shí)現(xiàn)對(duì)聲像位置控制、描述及處理。
[0020]本發(fā)明中，所述用戶的中軸指的人體的中軸線，即一個(gè)正常的標(biāo)準(zhǔn)的人體的中軸線，所述肩并節(jié)上一點(diǎn)可以是肩關(guān)節(jié)的旋轉(zhuǎn)中心點(diǎn)，或者是肩關(guān)節(jié)上處于手臂40與肘關(guān)節(jié)20中軸線上的一點(diǎn)。
[0021]需要說(shuō)明的是，本發(fā)明中，采集初始手勢(shì)及用戶圖像的光學(xué)傳感器可以是一個(gè)，同時(shí)執(zhí)行手勢(shì)捕捉與圖像捕捉;也可以兩個(gè)，分別采集用戶的初始手勢(shì)以及用戶的圖像，分別實(shí)現(xiàn)手勢(shì)的捕捉與上述的相對(duì)偏移量的計(jì)算。即當(dāng)采用雙傳感器識(shí)別用戶手勢(shì)時(shí)，一只傳感器負(fù)責(zé)捕捉手勢(shì)，另一傳感器通過(guò)判斷用戶身體中軸與肩寬，來(lái)計(jì)算聲像控制的聲像工作范圍，當(dāng)確定用戶的中軸與肩寬時(shí)，距離d即為后續(xù)手勢(shì)位置坐標(biāo)中心相對(duì)于聲像空間的相對(duì)偏移量，聲像控制的控制范圍可為從手臂自然姿勢(shì)為中心的一個(gè)120度圓錐。
[0022]需要說(shuō)明的是，具體實(shí)現(xiàn)上時(shí)，可以通過(guò)增加光學(xué)傳感器數(shù)量，或者提高光學(xué)傳感器精度來(lái)提高聲像控制效率。另外還可以通過(guò)多手勢(shì)組合實(shí)現(xiàn)更復(fù)雜的聲像控制。
[0023]進(jìn)一步的，為了防止用戶單手伸入檢測(cè)區(qū)內(nèi)誤動(dòng)作，在用戶單手處于檢測(cè)區(qū)內(nèi)后延時(shí)一段時(shí)間后，再執(zhí)行檢測(cè)該手勢(shì)在檢測(cè)區(qū)內(nèi)的空間位置坐標(biāo)和\或手勢(shì)動(dòng)作。
[0024]具體實(shí)現(xiàn)上，本發(fā)明中，所述的一段時(shí)間可以根據(jù)需要設(shè)定，如可以是3秒鐘，4秒鐘等，具體不限，可以根據(jù)需要自行設(shè)定。
[0025]進(jìn)一步的，為了方便用戶使用，本發(fā)明中，所述初始手勢(shì)可以一個(gè)單手抓取手勢(shì)，即展開的自然放松手型到手勢(shì)彎曲、握拳執(zhí)行類似抓取東西的手勢(shì)，該手勢(shì)即為設(shè)定聲像位置的聲像空間的中點(diǎn)的手勢(shì)，當(dāng)然也可以一個(gè)其它方便定位坐標(biāo)中心點(diǎn)的手勢(shì)，具體不限。
[0026]具體在操作時(shí)，用戶的發(fā)出手勢(shì)的手臂要自然下垂，即呈自然狀態(tài)，然后將手伸入檢測(cè)區(qū)域的空間內(nèi)進(jìn)行相應(yīng)的手勢(shì)動(dòng)作即可，用戶準(zhǔn)備開始控制聲像時(shí)，此時(shí)聲像位置的點(diǎn)即為此時(shí)用戶發(fā)出手勢(shì)的手所在三維空間內(nèi)坐標(biāo)的中點(diǎn)，直接進(jìn)行相對(duì)位置的操作和修改；當(dāng)確定用戶為首次設(shè)定聲像后，根據(jù)抓取手勢(shì)獲得手勢(shì)的中心點(diǎn)坐標(biāo)，此抓取手勢(shì)的坐標(biāo)即為聲像空間的中點(diǎn)，所有聲像的初始位置都為此點(diǎn)，都以此點(diǎn)進(jìn)行設(shè)置與設(shè)定。
[0027]當(dāng)非首次設(shè)定聲像時(shí)，用戶手所處的當(dāng)前位置為當(dāng)前聲音聲像的位置，用戶給出的聲像變化是基于此位置的偏移，其聲音的聲像空間的中點(diǎn)為修改前的聲音聲像空間的中點(diǎn)加聲像變化偏移，即若先前此聲音已經(jīng)有聲像位置信息，根據(jù)相對(duì)偏移量重置到聲像空間的中間點(diǎn)。由于在實(shí)際生產(chǎn)中，并不需要在垂直維度有太過(guò)豐富的變化，因此采用非線性的映射關(guān)系。
[0028]本發(fā)明實(shí)施例還提供一種基于自然用戶界面的環(huán)繞聲聲像控制裝置，參見圖3所示，其包括:
光學(xué)傳感器，用于采集用戶單手伸入檢測(cè)區(qū)域內(nèi)的初始手勢(shì)以及檢測(cè)發(fā)出初始手勢(shì)的單手在聲像控制范圍內(nèi)所發(fā)出的控制聲像位置的手勢(shì)動(dòng)作；
聲像空間中點(diǎn)獲取單元，用于獲取處于檢測(cè)區(qū)域內(nèi)的該初始手勢(shì)的當(dāng)前空間位置坐標(biāo)并作為聲像空間的中點(diǎn)；
聲像控制指令輸出單元，用于根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。
[0029]本發(fā)明中，在預(yù)設(shè)的檢測(cè)區(qū)域內(nèi)，用戶的初始手勢(shì)才可以檢測(cè)得到，并在檢測(cè)到用戶的初始手勢(shì)后，聲像控制啟動(dòng)，否則不動(dòng)作，然后將該初始手勢(shì)的空間坐標(biāo)位置作為聲像空間的中點(diǎn)，并通過(guò)檢測(cè)器件檢測(cè)發(fā)出初始手勢(shì)的單手在檢測(cè)區(qū)內(nèi)以該聲像空間的中點(diǎn)為中心的手勢(shì)動(dòng)作，檢測(cè)到相應(yīng)的手勢(shì)動(dòng)作后，可根據(jù)預(yù)設(shè)的單手在聲像控制范圍內(nèi)的手勢(shì)動(dòng)作方向及角度與聲像控制指令的對(duì)應(yīng)關(guān)系，輸出相應(yīng)的聲像控制指令傳送給音頻工作站，從而實(shí)現(xiàn)對(duì)聲像進(jìn)行控制。
[0030]其中，具體實(shí)現(xiàn)上，所述檢測(cè)區(qū)域可以是聲像控制器或聲像電位器的用戶界面至用戶的一段距離內(nèi)一預(yù)定空間，如30cm，在該30cm內(nèi)的預(yù)定空間內(nèi)，初始手勢(shì)可以被捕捉檢測(cè)到，之外則無(wú)法捕捉與檢測(cè)，即就無(wú)法進(jìn)行聲像手勢(shì)控制操作。當(dāng)用戶的手勢(shì)處于該空間范圍內(nèi)時(shí)，通過(guò)檢測(cè)控制聲像位置的手勢(shì)動(dòng)作，即可輸出相應(yīng)的聲像位置控制指令至數(shù)字音頻工作臺(tái)，實(shí)現(xiàn)對(duì)要處理的聲音的聲像位置的范圍控制。
[0031]具體的，本發(fā)明在與數(shù)字音頻工作站聯(lián)動(dòng)方面，可以是將聲像控制信號(hào)以一組MIDI信號(hào)的形式進(jìn)行封裝傳輸至數(shù)字音頻工作站，最大保證在不同數(shù)字音頻工作站之間的兼容性。
[0032]本發(fā)明通過(guò)檢測(cè)用戶的初始手勢(shì)來(lái)控制聲像，方便了用戶的使用，用戶可以單手進(jìn)行操作實(shí)現(xiàn)聲像的控制，而另一只手可以進(jìn)行其它的操作，如操作走帶控制器，重放并錄制聲像。
[0033]本發(fā)明中，為了方便用戶在首次聲像位置描述后，再進(jìn)行聲像位置的操作與修改，所述基于自然用戶界面的環(huán)繞聲聲像控制裝置，還包括:
后續(xù)手勢(shì)空間位置獲取單元，用于獲取用戶對(duì)聲像位置修改的后續(xù)手勢(shì)的空間位置坐標(biāo)；
相對(duì)偏移計(jì)算單元，用于計(jì)算該后續(xù)手勢(shì)的空間位置坐標(biāo)相對(duì)于聲像空間的中點(diǎn)的相對(duì)偏移量；
聲像空間中點(diǎn)重置單元，用于根據(jù)用戶的單手在后續(xù)手勢(shì)的工作范圍內(nèi)、以后續(xù)手勢(shì)的空間位置坐標(biāo)為中心所發(fā)出的修改聲像位置的手勢(shì)動(dòng)作的方向、角度以及該后續(xù)手勢(shì)的空間位置坐標(biāo)相對(duì)于聲像空間的中點(diǎn)的相對(duì)偏移量，計(jì)算出后續(xù)手勢(shì)動(dòng)作以聲像空間的中點(diǎn)為中心的方向、角度并發(fā)送到聲像控制指令輸出單元。
[0034]需要說(shuō)明的是，本發(fā)明中，所述后續(xù)手勢(shì)空間位置獲取單元與所述聲像空間中點(diǎn)獲取單元可以是一個(gè)單元，也可以是兩個(gè)不同的單元實(shí)現(xiàn)。
[0035]本發(fā)明通過(guò)相對(duì)偏移計(jì)算單元計(jì)算該后續(xù)手勢(shì)空間位置獲取單元獲取的后續(xù)空間位置坐標(biāo)與聲像空間的中點(diǎn)的相對(duì)偏移量，通過(guò)聲像空間中點(diǎn)重置單元進(jìn)行聲像空間中點(diǎn)的重置，使得用戶在對(duì)聲像位置不滿意而進(jìn)行修改操作時(shí)，不必再專門尋找原聲像空間的中點(diǎn)，只要在檢測(cè)區(qū)域內(nèi)，在后續(xù)手勢(shì)的工作范圍內(nèi)、進(jìn)行相應(yīng)的控制聲像位置的手勢(shì)動(dòng)作，即可實(shí)現(xiàn)對(duì)原聲像位置的修改，大大方便了用戶對(duì)聲像位置修改的操作，極大地提升了用戶的體驗(yàn)。
[0036]具體實(shí)現(xiàn)上，本發(fā)明中，所述后續(xù)手勢(shì)的工作范圍內(nèi)通過(guò)后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量確定，所述錨軸為用戶的中軸，該后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的銷軸的相對(duì)偏移量確定方法如下:
通過(guò)光學(xué)傳感器采集用戶的圖像，確定用戶100的中軸10以及肩寬，根據(jù)用戶的中軸與肩寬計(jì)算用戶的中軸到輸出初始手勢(shì)的單手對(duì)應(yīng)的肩關(guān)節(jié)30上一點(diǎn)垂直距離d，通過(guò)該距離d即可計(jì)算出后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量(參見圖2所示)。
[0037]根據(jù)該獲取的距離d，獲得了后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量后，即可計(jì)算出該以后續(xù)手勢(shì)的空間工作范圍。再通過(guò)計(jì)算出以后續(xù)手勢(shì)的空間位置坐標(biāo)為中心點(diǎn)的后續(xù)手勢(shì)的轉(zhuǎn)動(dòng)方向、角度所對(duì)應(yīng)的以聲像空間的中點(diǎn)為中心的手勢(shì)動(dòng)作的方向、角度，然后即可根據(jù)原手勢(shì)動(dòng)作的方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令，實(shí)現(xiàn)對(duì)聲像位置控制、描述及處理。
[0038]本發(fā)明中，所述用戶的中軸指的人體的中軸線，即一個(gè)正常的標(biāo)準(zhǔn)的人體的中軸線，所述肩并節(jié)上一點(diǎn)可以是肩關(guān)節(jié)的旋轉(zhuǎn)中心點(diǎn)，或者是肩關(guān)節(jié)上處于手臂40與肘關(guān)節(jié)20中軸線上的一點(diǎn)。
[0039]需要說(shuō)明的是，本發(fā)明中，采集初始手勢(shì)及用戶圖像的光學(xué)傳感器可以是一個(gè)，同時(shí)執(zhí)行手勢(shì)捕捉與圖像捕捉;也可以兩個(gè)，分別采集用戶的初始手勢(shì)以及用戶的圖像，分別實(shí)現(xiàn)手勢(shì)的捕捉與上述的相對(duì)偏移量的計(jì)算。即當(dāng)采用雙傳感器識(shí)別用戶手勢(shì)時(shí)，一只傳感器負(fù)責(zé)捕捉手勢(shì)，另一傳感器通過(guò)判斷用戶身體中軸與肩寬，來(lái)計(jì)算聲像控制的聲像工作范圍，當(dāng)確定用戶的中軸與肩寬時(shí)，通過(guò)距離dS卩可以計(jì)算出聲像坐標(biāo)中心的偏移量，聲像控制的控制范圍可為從手臂自然姿勢(shì)為中心的一個(gè)120度圓錐。
[0040]需要說(shuō)明的是，具體實(shí)現(xiàn)上時(shí)，可以通過(guò)增加光學(xué)傳感器數(shù)量，或者提高光學(xué)傳感器精度來(lái)提高聲像控制效率。另外，還可以通過(guò)多手勢(shì)組合實(shí)現(xiàn)更復(fù)雜的聲像控制。
[0041]進(jìn)一步的，為了防止用戶單手伸入檢測(cè)區(qū)內(nèi)誤動(dòng)作，本發(fā)明中，所述基于自然用戶界面的環(huán)繞聲聲像控制裝置，包括延時(shí)控制單元，用于在用戶單手處于檢測(cè)區(qū)域內(nèi)并延時(shí)一段時(shí)間后，觸發(fā)聲像空間中點(diǎn)獲取單元執(zhí)行檢測(cè)該初始手勢(shì)在檢測(cè)區(qū)內(nèi)的空間位置坐標(biāo)和\或觸發(fā)光學(xué)傳感器采集發(fā)出手勢(shì)的單手在聲像控制范圍內(nèi)所發(fā)出的手勢(shì)動(dòng)作。
[0042]具體實(shí)現(xiàn)上，本發(fā)明中，所述的一段時(shí)間可以根據(jù)需要設(shè)定，如可以是3秒鐘，4秒鐘等，具體不限，可以根據(jù)需要自行設(shè)定。
[0043]進(jìn)一步的，為了方便用戶使用，本發(fā)明中，所述初始手勢(shì)可以一個(gè)單手抓取手勢(shì)，即展開的自然放松手型到手勢(shì)彎曲、握拳執(zhí)行類似抓取東西的手勢(shì)，該手勢(shì)即為設(shè)定聲像位置的聲像空間的中點(diǎn)的手勢(shì)，當(dāng)然也可以一個(gè)其它方便定位坐標(biāo)中心點(diǎn)的手勢(shì)，具體不限。
[0044]具體在操作時(shí)，用戶的發(fā)出手勢(shì)的手臂要自然下垂，即呈自然狀態(tài)，然后將手伸入檢測(cè)區(qū)域的空間內(nèi)進(jìn)行相應(yīng)的控制聲像位置的手勢(shì)動(dòng)作即可，用戶準(zhǔn)備開始控制聲像時(shí)，此時(shí)聲像位置的點(diǎn)即為此時(shí)用戶發(fā)出手勢(shì)的手所在三維空間內(nèi)坐標(biāo)的中點(diǎn)，直接進(jìn)行相對(duì)位置的操作和修改；當(dāng)確定用戶為首次設(shè)定聲像后，根據(jù)抓取手勢(shì)獲得手勢(shì)的中心點(diǎn)坐標(biāo)，此抓取手勢(shì)的坐標(biāo)為聲像空間的中點(diǎn)，所有聲像的初始位置都為此點(diǎn)，都以此點(diǎn)進(jìn)行設(shè)置與設(shè)定。
[0045]當(dāng)非首次設(shè)定聲像時(shí)，用戶手所處的當(dāng)前位置為當(dāng)前聲音聲像的位置，用戶給出的聲像變化是基于此位置的偏移，其聲音的聲像空間的中點(diǎn)為修改前的聲音聲像空間的中點(diǎn)加聲像變化偏移，若先前此聲音已經(jīng)有聲像位置信息，根據(jù)相對(duì)偏移量重置到聲像空間的中間點(diǎn)。
[0046]與現(xiàn)有技術(shù)相比，本發(fā)明通過(guò)采用自然用戶界面控制三維聲像，與雙手同時(shí)控制三維聲像的控制相比，能夠極大程度上減輕影視聲音后期人員在三維聲像控制上的工作量。
[0047]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種基于自然用戶界面的環(huán)繞聲聲像控制方法，其特征在于，包括以下步驟: 通過(guò)光學(xué)傳感器采集用戶單手伸入檢測(cè)區(qū)域內(nèi)的初始手勢(shì)； 獲取處于檢測(cè)區(qū)域內(nèi)的該初始手勢(shì)的當(dāng)前空間位置坐標(biāo)并作為聲像空間的中點(diǎn)； 檢測(cè)發(fā)出手勢(shì)的單手在聲像控制范圍內(nèi)以該聲像空間的中點(diǎn)為中心所發(fā)出的控制聲像位置的手勢(shì)動(dòng)作； 根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。2.根據(jù)權(quán)利要求1所述基于自然用戶界面的環(huán)繞聲聲像控制方法，其特征在于，在用戶對(duì)聲像位置修改時(shí)，還包括以下步驟: 獲取用戶對(duì)聲像位置修改的后續(xù)手勢(shì)的空間位置坐標(biāo)； 計(jì)算該后續(xù)手勢(shì)的空間位置坐標(biāo)相對(duì)于聲像空間的中點(diǎn)的相對(duì)偏移量； 檢測(cè)用戶單手在后續(xù)手勢(shì)的工作范圍內(nèi)、以該后續(xù)手勢(shì)的空間位置坐標(biāo)為中心所發(fā)出的修改聲像位置的手勢(shì)動(dòng)作，根據(jù)該后續(xù)手勢(shì)動(dòng)作的方向、角度以及該后續(xù)手勢(shì)的空間位置坐標(biāo)與聲像空間的中點(diǎn)的相對(duì)偏移量，計(jì)算出后續(xù)手勢(shì)動(dòng)作以聲像空間的中點(diǎn)為中心的方向、角度； 根據(jù)以聲像空間的中點(diǎn)為中心的手勢(shì)動(dòng)作的方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。3.根據(jù)權(quán)利要求2所述基于自然用戶界面的環(huán)繞聲聲像控制方法，其特征在于，所述后續(xù)手勢(shì)的工作范圍內(nèi)通過(guò)后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量確定，所述錨軸為用戶的中軸，該后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量確定方法如下: 通過(guò)光學(xué)傳感器采集用戶的圖像，確定用戶的中軸以及肩寬，根據(jù)用戶的中軸與肩寬計(jì)算用戶的中軸到輸出初始手勢(shì)的單手對(duì)應(yīng)的肩并節(jié)上一點(diǎn)垂直距離D作為后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的銷軸的相對(duì)偏移量。4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述基于自然用戶界面的環(huán)繞聲聲像控制方法，其特征在于，在用戶單手處于檢測(cè)區(qū)域內(nèi)后延時(shí)一段時(shí)間后，再執(zhí)行檢測(cè)手勢(shì)在檢測(cè)區(qū)內(nèi)的空間位置坐標(biāo)和\或手勢(shì)動(dòng)作。5.根據(jù)權(quán)利要求1所述基于自然用戶界面的環(huán)繞聲聲像控制方法，其特征在于，所述初始手勢(shì)為一個(gè)單手抓取手勢(shì)，即展開的自然放松手型到手勢(shì)彎曲握拳的動(dòng)作手勢(shì)。6.一種基于自然用戶界面的環(huán)繞聲聲像控制裝置，其特征在于，包括: 光學(xué)傳感器，用于采集用戶單手伸入檢測(cè)區(qū)域內(nèi)的初始手勢(shì)以及檢測(cè)發(fā)出初始手勢(shì)的單手在聲像控制范圍內(nèi)所發(fā)出的控制聲像位置的手勢(shì)動(dòng)作； 聲像空間中點(diǎn)獲取單元，用于獲取處于檢測(cè)區(qū)域內(nèi)的該初始手勢(shì)的當(dāng)前空間位置坐標(biāo)并作為聲像空間的中點(diǎn)； 聲像控制指令輸出單元，用于根據(jù)預(yù)設(shè)的手勢(shì)動(dòng)作方向、角度與聲像控制指令的一一對(duì)應(yīng)關(guān)系輸出相應(yīng)的聲像控制指令。7.根據(jù)權(quán)利要求6所述基于自然用戶界面的環(huán)繞聲聲像控制裝置，其特征在于，還包括: 后續(xù)手勢(shì)空間位置獲取單元，用于獲取用戶對(duì)聲像位置修改的后續(xù)手勢(shì)的空間位置坐標(biāo)； 相對(duì)偏移計(jì)算單元，用于計(jì)算該后續(xù)手勢(shì)的空間位置坐標(biāo)相對(duì)于聲像空間的中點(diǎn)的相對(duì)偏移量； 聲像空間中點(diǎn)重置單元，用于根據(jù)用戶的單手在后續(xù)手勢(shì)的工作范圍內(nèi)、以后續(xù)手勢(shì)的空間位置坐標(biāo)為中心所發(fā)出的修改聲像位置的手勢(shì)動(dòng)作的方向、角度以及該后續(xù)手勢(shì)的空間位置坐標(biāo)相對(duì)于聲像空間的中點(diǎn)的相對(duì)偏移量，計(jì)算出后續(xù)手勢(shì)動(dòng)作以聲像空間的中點(diǎn)為中心的方向、角度并發(fā)送到聲像控制指令輸出單元。8.根據(jù)權(quán)利要求7所述基于自然用戶界面的環(huán)繞聲聲像控制裝置，其特征在于，所述后續(xù)手勢(shì)的工作范圍內(nèi)通過(guò)后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量確定，所述錨軸為用戶的中軸，該后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量確定方法如下: 通過(guò)光學(xué)傳感器采集用戶的圖像，確定用戶的中軸以及肩寬，根據(jù)用戶的中軸與肩寬計(jì)算用戶的中軸到輸出手勢(shì)的單手對(duì)應(yīng)的肩并節(jié)上一點(diǎn)垂直距離D作為后續(xù)手勢(shì)的空間位置坐標(biāo)與對(duì)應(yīng)的錨軸的相對(duì)偏移量。9.根據(jù)權(quán)利要求6-8任一項(xiàng)所述基于自然用戶界面的環(huán)繞聲聲像控制裝置，其特征在于，包括延時(shí)控制單元，用于在用戶單手處于檢測(cè)區(qū)域內(nèi)并延時(shí)一段時(shí)間后，觸發(fā)聲像空間中點(diǎn)獲取單元執(zhí)行檢測(cè)該初始手勢(shì)在檢測(cè)區(qū)內(nèi)的空間位置坐標(biāo)和\或觸發(fā)光學(xué)傳感器采集發(fā)出手勢(shì)的單手在聲像控制范圍內(nèi)所發(fā)出的手勢(shì)動(dòng)作。10.根據(jù)權(quán)利要求6所述基于自然用戶界面的環(huán)繞聲聲像控制裝置，其特征在于，所述初始手勢(shì)為一個(gè)單手抓取手勢(shì)，即展開的自然放松手型到手勢(shì)彎曲握拳的動(dòng)作手勢(shì)。
【文檔編號(hào)】G06F3/01GK105912118SQ201610224583
【公開日】2016年8月31日
【申請(qǐng)日】2016年4月12日
【發(fā)明人】童雷, 張軼
【申請(qǐng)人】童雷