專利名稱：三維幾何建模系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維幾何建模系統(tǒng)和方法，尤其涉及應(yīng)用于計(jì)算機(jī)輔助概念設(shè)計(jì)的基于計(jì)算機(jī)立體視覺的實(shí)時(shí)交互三維幾何建模系統(tǒng)和方法。
背景技術(shù)：
目前，在工業(yè)產(chǎn)品設(shè)計(jì)領(lǐng)域，后期的詳細(xì)設(shè)計(jì)階段所應(yīng)用的計(jì)算機(jī)輔助設(shè)計(jì)(CAD)技術(shù)已經(jīng)相當(dāng)成熟。例如在汽車制造業(yè)，整個(gè)汽車車型設(shè)計(jì)流水線幾乎全部是通過計(jì)算機(jī)輔助完成。然而，產(chǎn)品的概念設(shè)計(jì)還是通過手繪草圖來實(shí)現(xiàn)。設(shè)計(jì)人員根據(jù)自己的創(chuàng)作意圖手繪草圖?？蛻魪睦L制好的數(shù)十張草圖中選出若干符合需求的樣式，結(jié)合一些個(gè)性化的要求回饋給設(shè)計(jì)人員。設(shè)計(jì)人員據(jù)此要求進(jìn)一步細(xì)化草圖。經(jīng)過提交與反饋的多次反復(fù)，最終確定一款新車型的概念設(shè)計(jì)。顯而易見，平面的手繪草圖沒有視覺直觀性，不便于異地的協(xié)同設(shè)計(jì)，無法為下一步詳細(xì)設(shè)計(jì)精確建模提供直接的數(shù)據(jù)。從國內(nèi)外汽車工業(yè)發(fā)展來看，目前汽車市場(chǎng)趨于飽和，競(jìng)爭日益激烈，汽車開發(fā)周期縮短至一年。這些新的挑戰(zhàn)推動(dòng)汽車制造業(yè)充分利用尋求更為快捷有效的設(shè)計(jì)方法以加快產(chǎn)品開發(fā)。在信息化程度越來越高的今天，設(shè)計(jì)人員希望能夠通過自動(dòng)化的輔助概念設(shè)計(jì)工具自由表達(dá)設(shè)計(jì)意圖，并實(shí)現(xiàn)與其它工序的自動(dòng)銜接，從而實(shí)現(xiàn)汽車設(shè)計(jì)流程的完全信息化。
因此，研究計(jì)算機(jī)輔助概念設(shè)計(jì)幾何建模方法和裝置，將人的幾何設(shè)計(jì)概念，通過自然的人機(jī)交互方式輸入到計(jì)算機(jī)系統(tǒng)，建立直觀的三維幾何造型。這樣的裝置和方法對(duì)汽車制造業(yè)具有重要的應(yīng)用價(jià)值。
這樣的一種自然的實(shí)時(shí)交互三維幾何設(shè)計(jì)系統(tǒng)涉及三個(gè)技術(shù)領(lǐng)域，即三維幾何建模技術(shù)、自然的實(shí)時(shí)人機(jī)交互技術(shù)以及支持自然實(shí)時(shí)交互幾何設(shè)計(jì)的視覺計(jì)算技術(shù)。
在三維幾何造型建模技術(shù)方面，曲面形狀的設(shè)計(jì)和表達(dá)，既可以用常用的確定控制頂點(diǎn)的方法，如NURBS方法，也可以用曲面(或三維形體，或曲線)通過運(yùn)動(dòng)形式生成。曲面運(yùn)動(dòng)生成方法應(yīng)用范圍廣泛，例如，細(xì)長條狀的物體曲面的設(shè)計(jì)和表達(dá)；飛機(jī)外形也可以分解成條狀曲面(實(shí)體)的并集。運(yùn)動(dòng)生成方法具有直觀、簡單的特點(diǎn)，使許多曲面造型工作得到簡化，因而深受設(shè)計(jì)人員的喜愛。這種稱為掃掠曲面的曲面形式，在許多場(chǎng)合比其它造型方法在效率和質(zhì)量方面更符合要求，而不是局限于控制頂點(diǎn)的推拉這種靜止物體的造型方法。
實(shí)時(shí)交互運(yùn)動(dòng)生成曲面的三維幾何造型研究涉及人機(jī)交互理論及其實(shí)現(xiàn)方法。人機(jī)交互模型建立人對(duì)于運(yùn)動(dòng)物體的控制以達(dá)到建模的目的，是制約應(yīng)用的關(guān)鍵因素之一。更好的人機(jī)交互技術(shù)使計(jì)算機(jī)易于使用，能夠提高生產(chǎn)效率。華盛頓大學(xué)人機(jī)交互技術(shù)實(shí)驗(yàn)室的HMGR項(xiàng)目(Hand Motion Gesture Recognition System)研究手勢(shì)識(shí)別，他們使用隱馬爾可夫模型進(jìn)行手勢(shì)識(shí)別。通過該系統(tǒng)，交互用戶界面設(shè)計(jì)者能夠?qū)崿F(xiàn)多通道輸入系統(tǒng)，將三維空間中手的運(yùn)動(dòng)轉(zhuǎn)換為手勢(shì)符號(hào)形式，從而能夠?qū)⒄Z音輸入、靜態(tài)手勢(shì)語等其他形勢(shì)的輸入結(jié)合起來。但該裝置使用數(shù)據(jù)手套傳感器，并且僅僅局限于簡單的應(yīng)用。
美國布朗大學(xué)研制的啟發(fā)式三維繪制的交互界面，旨在提高手勢(shì)交互界面的可用性，提高基于命令的建模系統(tǒng)的可用性。在該系統(tǒng)中，通過高亮度場(chǎng)景中的相關(guān)幾何部件，用戶向系統(tǒng)傳達(dá)需要進(jìn)行何種操作的線索。系統(tǒng)根據(jù)這種線索推測(cè)可能的用戶操作，并且以縮略圖的形式表示出來。用戶通過點(diǎn)擊縮略圖的方法完成編輯操作。操作線索機(jī)制使用戶指定場(chǎng)景中圖形組件之間的幾何關(guān)系。在操作模型可區(qū)分度較低的情況下可以使用多縮略圖操作提示來解決問題。
專利申請(qǐng)?zhí)枮?0118340的日本專利，提供了一種對(duì)復(fù)雜手形圖像進(jìn)行手形手勢(shì)識(shí)別的裝置和識(shí)別方法以及程序記錄媒體。
日本奈良科技學(xué)院建立了一種混合三維對(duì)象建模系統(tǒng)NIME(ImmersiveModeling Environment)。繼承了傳統(tǒng)二維GUI界面和三維浸入式建模環(huán)境的優(yōu)點(diǎn)，該系統(tǒng)使用傾斜的背投式顯示設(shè)備將二維/三維建模環(huán)境結(jié)合成一個(gè)整體。在顯示器表面上，使用二維GUI界面建模交互。同時(shí)，使用場(chǎng)序立體成像和具有六個(gè)自由度的筆形輸入裝置，實(shí)現(xiàn)二維/三維建模環(huán)境的無縫轉(zhuǎn)換。
實(shí)時(shí)交互運(yùn)動(dòng)生成曲面三維幾何建模方法也涉及視覺計(jì)算理論與技術(shù)。視覺計(jì)算的研究目標(biāo)是使計(jì)算機(jī)具有通過二維圖像認(rèn)知三維環(huán)境信息的能力，即三維物體形狀重建、物體空間運(yùn)動(dòng)及其在空間的幾何位置，是獲取和研究客觀世界物體掃掠運(yùn)動(dòng)及其運(yùn)動(dòng)包絡(luò)，建立運(yùn)動(dòng)包絡(luò)幾何模型的重要理論工具。近十年來，實(shí)時(shí)稠密立體視差匹配已經(jīng)成為現(xiàn)實(shí)。但是直到最近，真正能夠?qū)崿F(xiàn)實(shí)時(shí)處理的系統(tǒng)都需要像數(shù)字信號(hào)處理器(DSP)或者可編程門陣列(FPGA)這樣的專用硬件支持。例如，J.Woodfill和Von Herzen的立體匹配系統(tǒng)采用16塊Xilinx 4025FPGA，以每秒42幀的速度處理320*240像素的影像。而P.Corke和Dunn使用相似的算法，采用FPGA硬件實(shí)現(xiàn)，能夠以每秒30幀的速度處理256*256像素影像。
專利申請(qǐng)?zhí)枮?3153504的中國專利使用相位和立體視覺技術(shù)，將光柵投射到物體表面上，進(jìn)而實(shí)現(xiàn)物體三維表面輪廓測(cè)量。
在概念設(shè)計(jì)手繪草圖識(shí)別工具方面，美國布朗大學(xué)計(jì)算機(jī)圖形學(xué)研究組的手繪草圖工具，結(jié)合紙筆草圖和計(jì)算機(jī)CAD系統(tǒng)的一些特點(diǎn)，提供基于手勢(shì)交互的粗略的3D多面體建模。該工具采用早期傳統(tǒng)的2D界面概念，通過手繪草圖這種形式，提供用戶按照簡單的放置規(guī)則草繪出各種三維基本元素的能力。
日本東京大學(xué)設(shè)計(jì)了基于手繪草圖的交互自由曲面設(shè)計(jì)工具，目標(biāo)是建立簡單、快速的自由模型設(shè)計(jì)系統(tǒng)，如圓鼓鼓的小動(dòng)物或者類似物體的模型設(shè)計(jì)。用戶在屏幕上交互的繪制二維筆劃，從二維側(cè)影輪廓構(gòu)造三維多邊形表面。
德國Fraunfofer計(jì)算機(jī)圖形學(xué)研究所的ARCADE研究項(xiàng)目使用虛擬設(shè)計(jì)桌面開展自由表面建模技術(shù)研究。用戶站在虛擬設(shè)計(jì)桌面之前，使用數(shù)據(jù)手套手勢(shì)實(shí)現(xiàn)自由表面的建模。ARCADE系統(tǒng)使用3D輸入設(shè)備實(shí)現(xiàn)了有效和精確的建模能力。交互技術(shù)包括自由空間對(duì)象創(chuàng)建和基于其它對(duì)象的創(chuàng)建、隱式布爾操作、3D拾取和快速移動(dòng)基于布局上下文的修改、離散操作、雙手輸入等。
申請(qǐng)?zhí)枮?0103458的專利公開了一種裝置，用于字處理的過程中，用戶用筆和編輯手勢(shì)進(jìn)行文字書寫和文稿編輯。
從上面的實(shí)現(xiàn)系統(tǒng)可以看出，自然交互的三維幾何建模工具所涉及的各方面的技術(shù)，在產(chǎn)品概念設(shè)計(jì)應(yīng)用需求的推動(dòng)下獲得了廣泛的研究，然而，上述系統(tǒng)的還存在許多問題需要加以解決。歸納起來，主要缺陷包括以下幾個(gè)方面人機(jī)交互缺乏足夠的自然性。無論是虛擬設(shè)計(jì)桌、數(shù)據(jù)手套、三維鼠標(biāo)、觸覺傳感器，還是聯(lián)機(jī)手繪草圖識(shí)別裝置，都需要用戶穿戴、直接接觸三維輸入工具。這種通過復(fù)雜工具和直接的人機(jī)物理關(guān)聯(lián)方式會(huì)給用戶帶來不便。非自然的設(shè)計(jì)工具會(huì)影響設(shè)計(jì)者創(chuàng)作思維靈感的即時(shí)捕獲。說明這一問題最直接的證據(jù)之一就是，盡管手工繪制草圖過程中需要反復(fù)嘗試，但仍然是實(shí)際設(shè)計(jì)過程中最主要的設(shè)計(jì)工具。
幾何造型交互的直接性不足。手繪草圖需要將概念轉(zhuǎn)換為二維模型，然后通過識(shí)別工具轉(zhuǎn)換為三維模型。聯(lián)機(jī)手繪草圖系統(tǒng)將這兩個(gè)過程通過設(shè)備約束在一起，反而加重了對(duì)設(shè)計(jì)者的束縛?；跀?shù)據(jù)手套的系統(tǒng)通過手的動(dòng)作實(shí)現(xiàn)對(duì)于虛擬場(chǎng)景中模型的操作，設(shè)計(jì)者對(duì)于模型建立和修改都是通過間接的方式進(jìn)行，當(dāng)設(shè)計(jì)者試圖改變模型的形狀時(shí)，需要對(duì)控制點(diǎn)進(jìn)行操作，以反饋設(shè)計(jì)者構(gòu)思的概念模型。設(shè)計(jì)意圖經(jīng)常被數(shù)據(jù)手套等設(shè)計(jì)工具所約束和打斷，造成設(shè)計(jì)過程的不連續(xù)性，影響設(shè)計(jì)效果。
應(yīng)用范圍和應(yīng)用方式不夠靈活。草圖系統(tǒng)、筆式輸入、數(shù)據(jù)手套、力反饋裝置以及虛擬設(shè)計(jì)桌面等只能實(shí)現(xiàn)單一方式的外部輸入。例如，設(shè)計(jì)者設(shè)計(jì)過程中可能會(huì)希望通過簡單的方式獲得某一具體實(shí)物的某側(cè)影輪廓，由該輪廓建立起幾何模型?，F(xiàn)有系統(tǒng)使用專用設(shè)備，將用戶直接引入概念設(shè)計(jì)過程，還存在較大的難度。
實(shí)現(xiàn)技術(shù)本身不夠完善。手繪草圖需要將二維模型轉(zhuǎn)換為三維模型，存在識(shí)別錯(cuò)誤率問題。由于手繪草圖具有隨意性和很大的自由度，樣本收集十分困難，尤其是草圖的語義更具有模糊性和不確定性，既無法完全以模板定義來枚舉識(shí)別目標(biāo)，也難以采用預(yù)定義字典庫的方式來支持其語義解釋；聯(lián)機(jī)手繪草圖提高了識(shí)別正確率，但實(shí)際使用過程中，幾何設(shè)計(jì)交互過程常常被系統(tǒng)交互所打斷，使用效率不高；數(shù)據(jù)手套等也存在著傳感器使用的空間范圍、定位分辨率等問題。
系統(tǒng)通用性不足。上述系統(tǒng)使用專用設(shè)備，因此價(jià)格昂貴。既提高了產(chǎn)品設(shè)計(jì)成本，又提高了訓(xùn)練成本和使用成本。這無疑提高了使用者進(jìn)入的門檻，限制了應(yīng)用范圍。計(jì)算機(jī)的普及歸因于成本的降低和通用性的提高。

發(fā)明內(nèi)容
為了克服現(xiàn)有系統(tǒng)存在的問題而提出了本發(fā)明。本發(fā)明的目的是使用通用、方便、經(jīng)濟(jì)的物理裝置，通過自然、實(shí)時(shí)交互方法，根據(jù)三維空間內(nèi)雙手或/及手持物體表面形狀以及空間運(yùn)動(dòng)軌跡，運(yùn)用基于運(yùn)動(dòng)的幾何建模方法，完成三維幾何形體的創(chuàng)建、修改和編輯，實(shí)現(xiàn)三維產(chǎn)品外形概念設(shè)計(jì)幾何建模。
為了實(shí)現(xiàn)這一目的，本發(fā)明提供了一種三維幾何建模方法，包括一、視頻輸入步驟，用于從分布于設(shè)計(jì)師周圍的多個(gè)視頻輸入裝置(101)采集視頻流。
二、單視頻流視覺分析步驟，使上述采集視頻流步驟采集的多個(gè)視頻流各自經(jīng)過一個(gè)單視頻流視覺分析處理，以檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，估計(jì)運(yùn)動(dòng)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置以及計(jì)算運(yùn)動(dòng)物體的邊緣輪廓并估計(jì)輪廓特征。
三、多視頻流視覺分析步驟，用于接收上述若干單視頻流視覺分析的處理結(jié)果，進(jìn)行雙目立體匹配，并基于所獲得的輪廓和特征進(jìn)行三維重建和物體運(yùn)動(dòng)軌跡擬合以及計(jì)算運(yùn)動(dòng)物體截面，并將所獲得的物體模型、物體運(yùn)動(dòng)軌跡以及物體的截面輪廓提供給實(shí)時(shí)交互語義識(shí)別處理步驟。
四、實(shí)時(shí)交互語義識(shí)別步驟，用于對(duì)多視頻視覺分析步驟的輸出進(jìn)行處理以獲得人機(jī)交互語義，并利用預(yù)先存儲(chǔ)在一個(gè)語義模型存儲(chǔ)單元中的語義定義解釋所獲得的人機(jī)交互語義。
五、三維幾何建模步驟，用于對(duì)多視頻視覺分析步驟輸出的物體模型、物體運(yùn)動(dòng)軌跡、物體截面輪廓以及實(shí)時(shí)交互語義識(shí)別步驟的輸出進(jìn)行處理，從而獲得三維幾何設(shè)計(jì)造型，并將處理結(jié)果存儲(chǔ)到三維幾何模型存儲(chǔ)單元中。
六、三維模型繪制步驟，用于將三維幾何模型存儲(chǔ)單元中實(shí)時(shí)存儲(chǔ)的三維幾何模型繪制到視頻輸出裝置上。
七、視頻輸出步驟，用于在視頻輸出裝置上顯示設(shè)計(jì)師所設(shè)計(jì)的三維幾何造型。
此外，本分明還提供一種三維幾何建模系統(tǒng)，包括一、多個(gè)視頻輸入裝置，分布于設(shè)計(jì)師周圍用于采集設(shè)計(jì)師設(shè)計(jì)動(dòng)作的視頻流。
二、對(duì)應(yīng)于每個(gè)視頻輸入裝置的單視頻流視覺分析單元，使由上述視頻輸入裝置采集的多個(gè)視頻流各自經(jīng)過一個(gè)所述單視頻流視覺分析單元的處理，以檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，估計(jì)運(yùn)動(dòng)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置以及計(jì)算運(yùn)動(dòng)物體的邊緣輪廓并估計(jì)輪廓特征。
三、多視頻流視覺分析單元，用于接收上述多個(gè)單視頻流視覺分析單元的處理結(jié)果，進(jìn)行雙目立體匹配，并基于所獲得的輪廓和特征進(jìn)行三維重建和物體運(yùn)動(dòng)軌跡擬合，計(jì)算運(yùn)動(dòng)物體截面，并將所獲得的物體模型、物體運(yùn)動(dòng)軌跡以及物體的截面輪廓提供給實(shí)時(shí)交互語義識(shí)別單元。
四、實(shí)時(shí)交互語義識(shí)別單元，用于對(duì)多視頻視覺分析單元的輸出進(jìn)行處理以獲得人機(jī)交互語義，并利用預(yù)先存儲(chǔ)在一個(gè)語義模型存儲(chǔ)單元中的語義定義解釋所獲得的人機(jī)交互語義。
五、三維幾何建模單元，用于對(duì)多視頻視覺分析單元的輸出結(jié)果以及實(shí)時(shí)交互語義識(shí)別單元的輸出進(jìn)行綜合處理，從而獲得三維幾何設(shè)計(jì)造型，并將處理結(jié)果存儲(chǔ)到一個(gè)三維幾何模型存儲(chǔ)單元中。
六、三維模型繪制單元，用于以三維幾何模型存儲(chǔ)單元中實(shí)時(shí)存儲(chǔ)的三維幾何模型為輸入，將幾何模型繪制到視頻輸出裝置上。
七、視頻輸出裝置，用于顯示設(shè)計(jì)師所設(shè)計(jì)的三維幾何造型。
根據(jù)本發(fā)明的另一方面，提供一種單視頻流視覺分析處理方法，包括影像分析方法，對(duì)從視頻輸入設(shè)備采集的視頻信號(hào)進(jìn)行處理，獲得具有不同分辨率尺度和不同特征元素的特征視頻流，為運(yùn)動(dòng)檢測(cè)和立體匹配提供輸入；實(shí)時(shí)運(yùn)動(dòng)檢測(cè)方法，檢測(cè)出視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)的背景區(qū)域；運(yùn)動(dòng)估計(jì)和預(yù)測(cè)方法，估計(jì)運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置。輪廓計(jì)算方法，用于計(jì)算運(yùn)動(dòng)物體的邊緣輪廓并估計(jì)輪廓特征。
根據(jù)本發(fā)明的又一方面，提供了一種多視頻流視覺分析處理方法，包括立體匹配算法，使從兩個(gè)視頻運(yùn)動(dòng)檢測(cè)輸出的數(shù)據(jù)經(jīng)過立體匹配和視差計(jì)算，得到運(yùn)動(dòng)物體的區(qū)域分割和運(yùn)動(dòng)物體深度信息；三維模型建立方法，通過立體匹配輸出的深度數(shù)據(jù)建立三維立體模型；從輪廓恢復(fù)立體的方法，按照輪廓計(jì)算獲得的輪廓描述數(shù)據(jù)，業(yè)已建立運(yùn)動(dòng)體三維模型及其主要投影特征，以及從輪廓恢復(fù)形狀的算法，獲得運(yùn)動(dòng)物體的三維外形；截面計(jì)算方法，按照輪廓數(shù)據(jù)和運(yùn)動(dòng)軌跡，建立相對(duì)于運(yùn)動(dòng)軌跡的截面輪廓；軌跡擬合方法，對(duì)于從運(yùn)動(dòng)估計(jì)和預(yù)測(cè)獲得數(shù)據(jù)進(jìn)行平滑處理，得到平滑的運(yùn)動(dòng)軌跡；根據(jù)本發(fā)明的第五方面，提供了一種實(shí)時(shí)交互語義識(shí)別方法，包括碰撞檢測(cè)方法，按照運(yùn)動(dòng)物體的運(yùn)動(dòng)軌跡和外形輪廓確定語義類型為操作性語義，之后與業(yè)已建立的三維幾何模型進(jìn)行碰撞檢測(cè)，確定碰撞發(fā)生的位置和方式；操作語義分析方法，按照碰撞檢測(cè)的結(jié)果，確定語義的操作對(duì)象、操作類型等操作語義；交互語義分析方法，按照運(yùn)動(dòng)軌跡確定及截面輪廓獲得的輸入進(jìn)行處理，得到交互語義的解析結(jié)果；語音語義分析方法，從語音分析獲得交互語音的語義解析；根據(jù)本發(fā)明的第六方面，提供了一種三維幾何建模方法，包括重復(fù)處理方法，用于消除視頻影像中運(yùn)動(dòng)物體在運(yùn)動(dòng)過程中的重復(fù)、重疊性運(yùn)動(dòng)；運(yùn)動(dòng)處理方法，用于消除運(yùn)動(dòng)物體在運(yùn)動(dòng)過程中的發(fā)生的顫抖和抖動(dòng)；包括計(jì)算方法，用于根據(jù)已經(jīng)消除抖動(dòng)和重復(fù)的運(yùn)動(dòng)軌跡和截面輪廓，計(jì)算出物體運(yùn)動(dòng)產(chǎn)生的包絡(luò)面；造型編輯方法，用于對(duì)所建立的三維幾何模型進(jìn)行修改。
根據(jù)本發(fā)明的第七方面，提供一種視頻輸出設(shè)備包括顯示裝置，用于顯示運(yùn)動(dòng)物體的幾何模型、空間位置和姿態(tài)，以及顯示業(yè)已建立的三維幾何造型；根據(jù)本發(fā)明的第八方面，提供一種繪制方法，將三維幾何設(shè)計(jì)模型繪制在顯示裝置上，將運(yùn)動(dòng)物體幾何模型、相對(duì)位置和姿態(tài)繪制在顯示裝置上。
使用本系統(tǒng)或應(yīng)用本方法進(jìn)行產(chǎn)品外形概念設(shè)計(jì)將在以下方面產(chǎn)生有益的效果。
1通過使用廉價(jià)的、非專用的物理設(shè)備，降低產(chǎn)品設(shè)計(jì)成本，拓寬應(yīng)用范圍。
2自然的實(shí)時(shí)交互方式，便于將普通用戶引入開放的概念設(shè)計(jì)循環(huán)過程，有利于消除產(chǎn)品外型幾何設(shè)計(jì)中的被動(dòng)性、片面性，將多方面的因素直接納入產(chǎn)品的開發(fā)、設(shè)計(jì)、制造過程。
3基于視覺和通用設(shè)備的設(shè)計(jì)環(huán)境，便于引入環(huán)境特征。環(huán)境特征是影響產(chǎn)品設(shè)計(jì)的一個(gè)重要因素，包括微觀層次的環(huán)境物理特征和宏觀層次的社會(huì)文化特征。該發(fā)明的裝置允許走出設(shè)計(jì)室，在產(chǎn)品的使用環(huán)境中進(jìn)行概念設(shè)計(jì)，是實(shí)現(xiàn)良好環(huán)境特征引入的一種解決方法。
4支持三維可視化設(shè)計(jì)。概念設(shè)計(jì)的主要問題是將設(shè)計(jì)產(chǎn)品模型化。概念設(shè)計(jì)的建模方法包括從正規(guī)的定義到高層視覺表達(dá)。在目前使用較多的模型表達(dá)方式包括語言模型、幾何模型、圖形模型、對(duì)象模型、知識(shí)模型和圖像模型，最接近人的思考和推理的模型是圖像模型。該發(fā)明是將可視化思考模型用于設(shè)計(jì)實(shí)踐的重要方法。
5直接的三維數(shù)字產(chǎn)品。該發(fā)明提供直接的三維數(shù)字產(chǎn)品作為系統(tǒng)輸出，可以得到快捷的設(shè)計(jì)評(píng)價(jià)反饋。


圖1是根據(jù)本發(fā)明第一具體實(shí)施例的三維幾何建模系統(tǒng)100的結(jié)構(gòu)的方框圖；圖2是根據(jù)本發(fā)明第一具體實(shí)施例的攝像機(jī)具體布局方式的示意圖；圖3是根據(jù)本發(fā)明第一具體實(shí)施例的單/多視頻流視覺分析單元結(jié)構(gòu)的方框圖；圖4是根據(jù)本發(fā)明第一具體實(shí)施例的多視頻流視覺分析單元的操作流程圖；圖5示出了本發(fā)明的立體恢復(fù)操作的坐標(biāo)系統(tǒng)；圖6是根據(jù)本發(fā)明第一具體實(shí)施例的語義識(shí)別流程框圖；圖7是根據(jù)本發(fā)明第一具體實(shí)施例的三維幾何建模流程圖；圖8是根據(jù)本發(fā)明第一具體實(shí)施例計(jì)算機(jī)系統(tǒng)的示意圖；
圖9是根據(jù)本發(fā)明第二具體實(shí)施例的三維幾何建模系統(tǒng)200的結(jié)構(gòu)方框圖；圖10是根據(jù)本發(fā)明第二具體實(shí)施例的語義識(shí)別流程框圖；圖11是根據(jù)本發(fā)明第三具體實(shí)施例的三維幾何建模系統(tǒng)300的結(jié)構(gòu)方框圖；圖12示出了根據(jù)本發(fā)明第三具體實(shí)施例的攝像機(jī)具體布局方式；圖13是根據(jù)本發(fā)明第三具體實(shí)施例的多視頻流視覺分析單元的操作流程圖；圖14是根據(jù)本發(fā)明第三具體實(shí)施例計(jì)算機(jī)系統(tǒng)的示意圖。
圖15示出了根據(jù)本發(fā)明第一具體實(shí)施例的交互手勢(shì)模式舉例具體實(shí)施方式
第一具體實(shí)施例圖1是根據(jù)本發(fā)明第一具體實(shí)施例的三維幾何建模系統(tǒng)100的結(jié)構(gòu)的方框圖。如圖1所示，視頻輸入裝置101可以是數(shù)字?jǐn)z像機(jī)，用于攝取三維幾何造型設(shè)計(jì)師的幾何設(shè)計(jì)建模動(dòng)作影像。在本實(shí)施例中，視頻輸入裝置101由四個(gè)數(shù)字?jǐn)z像機(jī)C01、C02、C03和C04組成，其具體布局方式在本發(fā)明的一個(gè)實(shí)施例中如圖2所示，它們被分別放置在概念設(shè)計(jì)者右方、右前方、左前方和左方四個(gè)不同的位置，距離地面的高度和姿態(tài)以適合設(shè)計(jì)師手勢(shì)表達(dá)為宜，即設(shè)計(jì)師的設(shè)計(jì)動(dòng)作應(yīng)該能夠被攝像機(jī)完全攝錄，并且不影響設(shè)計(jì)師的操作及其它活動(dòng)。相應(yīng)于每一個(gè)數(shù)字?jǐn)z像機(jī)分別提供一個(gè)單視頻流視覺分析單元104。每部數(shù)字?jǐn)z像機(jī)通過通用接口按照公知的連接方式直接連接到該數(shù)字?jǐn)z像機(jī)所對(duì)應(yīng)的單視頻流視覺分析單元104，由各單視頻流視覺分析單元104分別對(duì)從其所對(duì)應(yīng)的視頻輸入裝置101采集的連續(xù)的視頻流進(jìn)行處理，檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，估計(jì)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置，以及計(jì)算物體的邊緣輪廓并估計(jì)輪廓特征，并將處理結(jié)果提供給多視頻流視覺分析單元105。多視頻流視覺分析單元105接收上述4個(gè)單視頻流視覺分析單元104的處理輸出，包括運(yùn)動(dòng)區(qū)域檢測(cè)結(jié)果，運(yùn)動(dòng)物體的運(yùn)動(dòng)方向和速度，物體的輪廓及輪廓特征。之后，多視頻流視覺分析單元105對(duì)輸入數(shù)據(jù)進(jìn)行處理，進(jìn)行雙目立體匹配，基于輪廓和特征進(jìn)行三維重建和物體運(yùn)動(dòng)軌跡擬合，計(jì)算運(yùn)動(dòng)物體截面等。上述單視頻流視覺分析單元105的處理產(chǎn)生的輸出結(jié)果為物體模型，物體運(yùn)動(dòng)軌跡以及物體截面輪廓。將多視頻流視覺分析單元105的處理結(jié)果提供給實(shí)時(shí)交互語義識(shí)別單元106作為輸入。實(shí)時(shí)交互語義識(shí)別單元106用于對(duì)多視頻視覺分析單元105的輸出進(jìn)行處理以獲得人機(jī)交互語義，并利用預(yù)先存儲(chǔ)在語義模型存儲(chǔ)單元110中的語義定義解釋所獲得的人機(jī)交互語義。三維幾何建模單元107對(duì)多視頻視覺分析單元105的輸出結(jié)果以及實(shí)時(shí)交互語義識(shí)別單元106的輸出進(jìn)行綜合處理，從而獲得三維幾何設(shè)計(jì)造型。三維幾何建模單元107的處理結(jié)果存儲(chǔ)到三維幾何模型存儲(chǔ)單元111中。三維模型繪制單元108基于三維幾何模型存儲(chǔ)單元111中實(shí)時(shí)存儲(chǔ)的三維幾何模型，將幾何模型繪制到視頻輸出裝置109上。視頻輸出裝置109用于顯示物體的幾何外形以及幾何形體設(shè)計(jì)師所設(shè)計(jì)的三維幾何造型。
下面將參考附圖具體描述本實(shí)施例的三維幾何建模系統(tǒng)的操作以及系統(tǒng)結(jié)構(gòu)。系統(tǒng)由系統(tǒng)初始化、攝像機(jī)標(biāo)定、物體模型建立、運(yùn)動(dòng)幾何造型設(shè)計(jì)等幾個(gè)基本工作狀態(tài)組成。
<系統(tǒng)初始化>
首先描述系統(tǒng)的初始化工作狀態(tài)。當(dāng)三維造型設(shè)計(jì)師開啟該三維幾何建模系統(tǒng)100后，首先開始系統(tǒng)初始化過程。系統(tǒng)初始化包括系統(tǒng)初始參數(shù)裝載與建立，背景影像統(tǒng)計(jì)模型建立。
系統(tǒng)初始化過程按照預(yù)定設(shè)置和當(dāng)前系統(tǒng)配置，首先加載系統(tǒng)初始化工作環(huán)境參數(shù)，本實(shí)例中系統(tǒng)初始工作環(huán)境參數(shù)如表1所示。
表1實(shí)施例初始化參數(shù)表系統(tǒng)工作參數(shù)

用戶表

模型表

攝像機(jī)參數(shù)表

攝像機(jī)表

第i攝像機(jī)參數(shù)表

攝像機(jī)布局參數(shù)表

第i攝像機(jī)布局參數(shù)表

初始化工作參數(shù)加載后，由視頻輸入裝置101(C01，C02，C03和C04)對(duì)操作背景連續(xù)采集多幅圖像，并將這些圖像提供給各視頻輸入裝置所對(duì)應(yīng)的單視頻流視覺分析單元104，由它通過處理這些圖像建立初始背景的統(tǒng)計(jì)模型。例如在本實(shí)施例中，如圖3所示，單視頻流視覺分析單元104還包括一個(gè)影像分析單元1041用于對(duì)由視頻輸入裝置101所采集的視頻信號(hào)進(jìn)行處理以獲得背景的統(tǒng)計(jì)模型，即具有不同分辨率尺度和不同特征元素的特征視頻流。
在本發(fā)明的一個(gè)具體實(shí)施例中的影像分析單元1041采用了下述建立背景統(tǒng)計(jì)模型的方法。對(duì)于系統(tǒng)中與每個(gè)攝像機(jī)Ci相對(duì)應(yīng)的背景Bi，建立一個(gè)初始背景模型Mi。對(duì)Bi中的每一個(gè)像素點(diǎn)p，定義μp為該點(diǎn)顏色值的期望，σp2為顏色值分布的方差，有如下公式μp=1nΣt=1nhpt---(1)]]>σp2=1nΣt=1n(hpt-μp)2---(2)]]>其中，hpt是p點(diǎn)在第t幀影像上的顏色值。這樣，每個(gè)點(diǎn)p的(μp，σp2)構(gòu)成Bi的背景模型&Mgr;i={(μp,σp2)|p∈Bi}---(3)]]>另外，系統(tǒng)按照預(yù)定設(shè)置生成具有簡單、規(guī)則幾何表面的初始物體模型，例如，6長方體，球體等。通過修改系統(tǒng)設(shè)置，可以選擇生成何種預(yù)定義的物體或者不生成任何初始物體。
<攝像機(jī)標(biāo)定>
當(dāng)首次使用該系統(tǒng)時(shí)或者攝像機(jī)的布局、位置和姿態(tài)發(fā)生改變，也或者更換了攝像機(jī)時(shí)，需要進(jìn)行攝像機(jī)標(biāo)定，即開始一個(gè)建立攝像機(jī)參數(shù)的攝像機(jī)標(biāo)定工作過程。在該工作狀態(tài)下，系統(tǒng)中的各攝像機(jī)將獲取影像并按照本領(lǐng)域技術(shù)人員公知的攝像機(jī)標(biāo)定方法計(jì)算出各攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)。如果不是首次使用該系統(tǒng)并且沒有改變攝像機(jī)的布局、位置和姿態(tài)，也沒有更換攝像機(jī)則不需要進(jìn)行建立攝像機(jī)參數(shù)的攝像機(jī)標(biāo)定工作。
<物體模型建立>
上述攝像機(jī)標(biāo)定工作過程結(jié)束后，設(shè)計(jì)師便可以使用本實(shí)施例所述系統(tǒng)在攝像機(jī)組前適當(dāng)位置利用手或手持物體進(jìn)行三維幾何建模。根據(jù)手的外形或手持物體的幾何外形所建立的幾何模型稱為物體三維模型，或簡稱為物體模型。物體模型是一種動(dòng)態(tài)模型，隨著手以及手持物體的空間位置、姿態(tài)、形狀的變化而即時(shí)變化。本發(fā)明使用物體模型作為設(shè)計(jì)工具，進(jìn)行三維幾何造型設(shè)計(jì)。同時(shí)，簡單手持物體模型本身也可以作為三維幾何造型設(shè)計(jì)的初始模型。
<運(yùn)動(dòng)幾何造型設(shè)計(jì)>
系統(tǒng)經(jīng)歷了初始化、攝像機(jī)標(biāo)定、物體模型建立三個(gè)運(yùn)行過程后，進(jìn)入運(yùn)動(dòng)幾何造型設(shè)計(jì)工作狀態(tài)。設(shè)計(jì)師使用本實(shí)施例所述系統(tǒng)在攝像機(jī)組前適當(dāng)位置利用手或手持物體，通過手或手持物體的外形及其運(yùn)動(dòng)，將自己的三維幾何設(shè)計(jì)構(gòu)思輸入到三維幾何建模系統(tǒng)100中以獲得三維幾何建模結(jié)果。所建立的三維幾何模型按照規(guī)定的文件格式被實(shí)時(shí)存儲(chǔ)到三維幾何模型存儲(chǔ)單元111中并被實(shí)時(shí)輸出到諸如CRT或LCD顯示器的視頻輸出裝置109上。例如，可以通過存儲(chǔ)介質(zhì)，例如磁盤存儲(chǔ)器進(jìn)行存儲(chǔ)，也可以通過計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備或可移動(dòng)存儲(chǔ)設(shè)備進(jìn)行傳輸并存儲(chǔ)。在一個(gè)具體實(shí)施例中，一個(gè)三維幾何模型的格式可以以表2所示的格式進(jìn)行存儲(chǔ)。
表2三維幾何模型數(shù)據(jù)結(jié)構(gòu)模型表


對(duì)象列表

點(diǎn)數(shù)據(jù)結(jié)構(gòu)

邊數(shù)據(jù)結(jié)構(gòu)


面數(shù)據(jù)結(jié)構(gòu)

如表2所示，三維幾何模型數(shù)據(jù)結(jié)構(gòu)包括模型編碼，模型標(biāo)識(shí)，模型類型編碼，模型類型標(biāo)識(shí)，模型屬性表，模型參數(shù)表，版本號(hào)，對(duì)象數(shù)量對(duì)象列表指針等數(shù)據(jù)項(xiàng)。其中，模型標(biāo)識(shí)用于唯一標(biāo)識(shí)該模型。模型類型編碼用來表示該模型的類型。本實(shí)施例中，作為設(shè)計(jì)結(jié)果而生成的三維幾何模型和作為設(shè)計(jì)工具而生成的物體模型使用相同的數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ)。因此，模型類型用來區(qū)分三維幾何模型和物體模型。同時(shí)，為了設(shè)計(jì)方便，系統(tǒng)對(duì)預(yù)定義物體模型進(jìn)行分類并賦予唯一的模型類型標(biāo)識(shí)。模型屬性表定義了幾何模型所具備的屬性，例如尺度屬性，位置屬性等。版本號(hào)用來表示幾何模型數(shù)據(jù)結(jié)構(gòu)的版本。一個(gè)模型可以有若干對(duì)象構(gòu)成，對(duì)象列表描述對(duì)象的屬性，包括對(duì)象類型，對(duì)象標(biāo)識(shí)，父對(duì)象指針，子對(duì)象指針，幾何數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)等等。
設(shè)計(jì)師可以通過多種形式向計(jì)算機(jī)表達(dá)其概念設(shè)計(jì)的幾何設(shè)計(jì)構(gòu)思。
第一種方式通過設(shè)計(jì)師的手直接地進(jìn)行三維幾何設(shè)計(jì)。具體來說就是設(shè)計(jì)師通過手的運(yùn)動(dòng)包絡(luò)以及手勢(shì)表達(dá)三維幾何設(shè)計(jì)構(gòu)思。
第二種方式是通過手持物體進(jìn)行三維幾何形體設(shè)計(jì)。具體來說可以分為①設(shè)計(jì)師單純通過手持物的外形表達(dá)要建立的三維幾何設(shè)計(jì)構(gòu)思，例如，設(shè)計(jì)者想設(shè)計(jì)一個(gè)圓球，他可以將一個(gè)圓球放置到攝像機(jī)前，系統(tǒng)將自動(dòng)建立起該球的三維幾何外形作為物體模型。然后，設(shè)計(jì)者通過下達(dá)命令將物體模型復(fù)制為三維幾何模型輸出；②設(shè)計(jì)師通過該手持物的外形及其運(yùn)動(dòng)聯(lián)合表達(dá)運(yùn)動(dòng)包絡(luò)三維幾何模型，例如，設(shè)計(jì)者在攝像機(jī)前手持一個(gè)圓球，系統(tǒng)將自動(dòng)建立起該球的三維幾何外形作為物體模型。設(shè)計(jì)者手持該圓球做圓弧狀空間運(yùn)動(dòng)，系統(tǒng)根據(jù)作為該球的三維幾何外形的物體模型和該球的運(yùn)動(dòng)軌跡，建立一個(gè)由球的運(yùn)動(dòng)包絡(luò)形成的三維幾何設(shè)計(jì)模型，即一個(gè)空間圓弧形管子并進(jìn)行輸出。
第三種方式是對(duì)已建立的三維幾何模型的編輯和修改。設(shè)計(jì)師使用手或/和手持物按照預(yù)定的交互語義模型對(duì)已有三維幾何模型進(jìn)行三維幾何編輯，例如拉伸、扭曲等來生成新的三維幾何模型。
當(dāng)然，正如本領(lǐng)域技術(shù)人員容易理解的那樣，設(shè)計(jì)師可以綜合使用上述三種方式表達(dá)設(shè)計(jì)構(gòu)思。
無論以上述何種方式或何種方式的組合，本實(shí)施例所述的三維幾何建模系統(tǒng)都對(duì)通過多個(gè)攝像機(jī)獲得的視頻數(shù)據(jù)經(jīng)由下述處理●單視頻流視覺分析在該環(huán)節(jié)中，各單視頻流視覺分析單元104分別對(duì)從其所對(duì)應(yīng)的視頻輸入裝置101采集的連續(xù)的視頻流進(jìn)行處理，檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，估計(jì)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置，以及計(jì)算物體的邊緣輪廓并估計(jì)輪廓特征，將處理結(jié)果提供給多視頻流視覺分析單元105。具體而言，包括如下操作I.影像分析如圖3所示，每個(gè)單視頻流視覺分析單元104還包括一個(gè)影像分析單元1041，對(duì)于每一路視頻輸入裝置101的輸入，影像分析單元1041將進(jìn)行如下步驟的處理。首先，從各個(gè)視頻輸入裝置101中獲取各個(gè)影像幀，然后，按照影像分辨率建立分層結(jié)構(gòu)，輸出分層的影像序列。
在本發(fā)明的一個(gè)實(shí)施例中的影像分析單元1041建立影像分層數(shù)據(jù)的實(shí)現(xiàn)方法是采用三級(jí)金字塔結(jié)構(gòu)，對(duì)原始影像ML建立一組影像序列{ML，ML-1，ML-2}，其中Mi-1是Mi降低一半分辨率后得到的圖像。并且將ML稱為金字塔底層，或高分辨率層；將ML-1稱為金字塔中層，或中分辨率層；將ML-2稱為金字塔頂層，或低分辨率層。影像金字塔數(shù)據(jù)結(jié)構(gòu)如表3所示。
表3影像數(shù)據(jù)緩存隊(duì)列描述


幀數(shù)據(jù)結(jié)構(gòu)

在處理過程中，時(shí)間序列影像數(shù)據(jù)被依次存儲(chǔ)在影像處理緩存隊(duì)列中，隊(duì)列長度是7個(gè)影像幀。隊(duì)列使用靜態(tài)循環(huán)表實(shí)現(xiàn)。
II.實(shí)時(shí)運(yùn)動(dòng)檢測(cè)如圖3所示，每個(gè)單視頻流視覺分析單元104還包括一個(gè)運(yùn)動(dòng)檢測(cè)單元1042，用于對(duì)每一路影像分析單元1041的處理結(jié)果進(jìn)行實(shí)時(shí)運(yùn)動(dòng)檢測(cè)。運(yùn)動(dòng)檢測(cè)的目標(biāo)是檢測(cè)影像上的運(yùn)動(dòng)區(qū)域以及運(yùn)動(dòng)方向以獲得準(zhǔn)確的運(yùn)動(dòng)區(qū)域分割和運(yùn)動(dòng)區(qū)域邊緣。實(shí)時(shí)運(yùn)動(dòng)檢測(cè)單元在多分辨率影像層的中層影像上通過影像差分算法檢測(cè)運(yùn)動(dòng)區(qū)域以及通過光流法獲得運(yùn)動(dòng)方向。在本實(shí)施例中，運(yùn)動(dòng)檢測(cè)單元1042對(duì)來自影像分析單元1041的分層數(shù)據(jù)處理結(jié)果進(jìn)行如下操作a)背景消除對(duì)于每一個(gè)攝像機(jī)Ci在t時(shí)刻采集的影像Iit，按照下述方法進(jìn)行前景區(qū)域提取設(shè)影像Iit中點(diǎn)p的顏色值為hp，通過以下公式將圖像二值化dp=1|hp-μp|≤3σp0|hp-μp|>3σp---(4)]]>影像Iit中所有dp為零的點(diǎn)p構(gòu)成前景區(qū)域Fi。
b)影像差分計(jì)算
差分影像Id(i，j)是二值圖像d(i，j)d(i,j)=0|f1(i,j)-f2(i,j)|≤ϵ1other---(5)]]>其中，fk(i，j)是時(shí)間序列影像中前后相鄰的兩幀影像，ε是一個(gè)很小的正數(shù)。在差分影像中，數(shù)值是1的像素位置表明運(yùn)動(dòng)發(fā)生的地方。由此，利用該公式獲得運(yùn)動(dòng)區(qū)域。
c)平面運(yùn)動(dòng)參數(shù)計(jì)算下面描述按照光流法計(jì)算投影平面上的運(yùn)動(dòng)速度c(u，v)的操作?；居?jì)算步驟如下①對(duì)于一幅圖像上所有的像素(i，j)，估計(jì)光流初始值c(i，j)＝0；②令k表示迭代次數(shù)，對(duì)于所有的像素(i，j)，利用公式(6)、(7)計(jì)算數(shù)值uk(i,j)=u‾k-1(i,j)-fx(i,j)P(i,j)D(i,j)---(6)]]>vk(i,j)=v‾k-1(i,j)-fy(i,j)P(i,j)D(i,j)---(7)]]>其中，P(i，j)＝fx(i，j)u+fy(i，j)v(8)D(i,j)=λ2+fx2(i,j)+fy2(i,j)---(9)]]>u和v表示u鄰域和v鄰域中的均值，該均值可以通過利用圖像局部平滑算子計(jì)算得到。根據(jù)圖像中噪聲的大小對(duì)λ取值。當(dāng)噪聲較大時(shí)，取較小的值；當(dāng)噪聲較小時(shí)，取較大的值。
③當(dāng)ΣiΣjE2(i,j)<ϵ---(10)]]>時(shí)，迭代過程終止；其中，E2(x,y)=(fxu+fyv+ft)2+λ(ux2+uy2+vx2+vy2)---(11)]]>III.輪廓計(jì)算如圖3所示，所述單視頻流視覺分析單元104還包括一個(gè)輪廓計(jì)算單元1043，其在運(yùn)動(dòng)物體區(qū)域上通過基于膚色的檢測(cè)算法獲得手的區(qū)域。除去手的區(qū)域，獲得手持物體的區(qū)域。在此基礎(chǔ)上計(jì)算出區(qū)域的邊緣輪廓。在本實(shí)施例中，輪廓計(jì)算單元1043對(duì)來自運(yùn)動(dòng)檢測(cè)單元1042的處理結(jié)果進(jìn)行手邊緣獲取和精細(xì)輪廓檢測(cè)操作a)手邊緣獲取操作在本實(shí)施例中，使用運(yùn)動(dòng)信息和皮膚顏色信息融合的策略進(jìn)行手部區(qū)域的分割和輪廓檢測(cè)。
首先描述基于運(yùn)動(dòng)信息的區(qū)域獲取在這一過程中，攝像機(jī)處于靜止?fàn)顟B(tài)，其拍攝的彩色圖像序列是由R，G，B分量組成的彩色圖像序列。在輪廓計(jì)算單元1043中，定義s＝(x，y)表示圖像平面空間坐標(biāo)系，t表示時(shí)間坐標(biāo)系，i表示RGB空間中任意一個(gè)分量。則Iti表示分量i在t時(shí)刻的亮度圖像。利用t-Δt，t，t+Δt時(shí)刻連續(xù)3幀圖像計(jì)算t時(shí)刻i分量運(yùn)動(dòng)圖像dti為dti(s)=min(|Iti(s)-It-Δti(s)|,|Iti(s)-It+Δti(s)|)---(12)]]>i＝r，g，b (13)綜合(r，g，b)分量，可得彩色序列在t時(shí)刻的運(yùn)動(dòng)圖像dt為dt(s)=max(dtr(s),dtg(s),dtb(s))---(14)]]>最后，對(duì)運(yùn)動(dòng)圖像進(jìn)行平滑和二值化處理，得到運(yùn)動(dòng)圖像 接下來描述基于膚色檢測(cè)的手區(qū)域識(shí)別我們都知道同種顏色在不同分布的光照下亮度不同，但是色彩的感覺基本上是保持恒定的。輪廓計(jì)算單元1043正是利用了人體皮膚顏色在Luv空間的分布以及亮度這一特征，在Luv色彩空間上進(jìn)行膚色檢測(cè)。輪廓計(jì)算單元1043的操作步驟如下①色彩空間轉(zhuǎn)換。將RGB色彩空間轉(zhuǎn)換為Luv色彩空間；②以前一幀膚色檢測(cè)結(jié)果(或初始膚色特征)作為初值，采用移動(dòng)平均算法對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行分割。將當(dāng)前幀每個(gè)色元的密度分布函數(shù)作為一個(gè)概率密度函數(shù)。定義本區(qū)域的概率函數(shù)的均值與中心值之間的差為平均轉(zhuǎn)移向量。平均轉(zhuǎn)移向量總是沿著最大概率密度的方向，這樣可以通過搜索找到最大密度的實(shí)際方向。具體的計(jì)算方法是設(shè)圖像中像素點(diǎn)pi的色彩特征矢量xi可以定義為xi＝(L，u，v)(15)其中，L，u，v是圖像的相對(duì)亮度和u*、v*色度坐標(biāo)。令x0表示p0點(diǎn)的色彩特征矢量，xi表示窗口內(nèi)pi點(diǎn)的特征矢量。本實(shí)施例中窗口大小為7。通過下述兩個(gè)步驟的迭代計(jì)算，獲得密度梯度為零的點(diǎn)。
計(jì)算平均移動(dòng)矢量mh，G(x)(x)mh,G(x)(x)=Σi=1nxig(||x-xih||2)Σi=1ng(||x-xih||2)-x---(16)]]>其中，h是色彩分辨率，g(x)是多元正態(tài)函數(shù)g(x)=(2π)-d/2exp(-12||x||2)---(17)]]>按mh，G(x)(x)平移核函數(shù)G(x)。其中，x是當(dāng)前窗口中心特征矢量，mh，G(x)(x)是窗口內(nèi)以G為權(quán)的加權(quán)平均與窗口中心的差。上述迭代過程必定收斂且按平滑的軌跡收斂于密度梯度為零的點(diǎn)。
③確定局部最大值點(diǎn)后，按照特征空間的局部結(jié)構(gòu)確定與最大值點(diǎn)相聯(lián)系的特征類，得到膚色在空間中的實(shí)際位置。綜合基于膚色的檢測(cè)結(jié)果和基于運(yùn)動(dòng)的檢測(cè)結(jié)果，獲得手的邊緣輪廓。
b)精細(xì)輪廓檢測(cè)如上所述，在多分辨率中層影像上的運(yùn)動(dòng)檢測(cè)結(jié)果已經(jīng)獲得了較低分辨率的區(qū)域分割。下面將要描述本實(shí)施例的輪廓計(jì)算單元1043根據(jù)區(qū)域分割結(jié)果和輪廓檢測(cè)步驟，在原始影像上進(jìn)行輪廓計(jì)算以獲得較為精確的物體輪廓的步驟。在本實(shí)施例中，運(yùn)用S.M.Smith和J.M.Brady的邊緣檢測(cè)方法檢測(cè)邊緣，該方法使用5*5圓形窗口模板。具體步驟為①根據(jù)區(qū)域分割結(jié)果建立邊緣檢測(cè)區(qū)，該區(qū)域在邊緣附近一定像素寬度內(nèi)；②將窗口中心置于邊緣檢測(cè)區(qū)內(nèi)的每一個(gè)像點(diǎn)位置上，計(jì)算窗口中心點(diǎn)r0與窗口內(nèi)其它像素點(diǎn)r具有相近亮度的點(diǎn)的個(gè)數(shù)n(r0)以確定該像素是否是圖像邊緣點(diǎn)。利用下述公式(18)計(jì)算n(r0)n(r0)=Σrc(r,r0)---(18)]]>其中，c(r，r0)表示窗口內(nèi)點(diǎn)r的亮度I(r)與窗口中心點(diǎn)r0的亮度I(r0)相似程度c(r,r0)=e-(|I(r)-I(r0)|t)6---(19)]]>其中，t表示亮度閾值。顯然，當(dāng)兩點(diǎn)亮度之差小于t時(shí)，c(r，r0)＝1。通過n(r0)可以計(jì)算出邊緣的中心和方向，通過非極大值抑制細(xì)化邊緣。
由此，輪廓計(jì)算單元1043獲得了手以及手持物的邊緣輪廓。
IV.運(yùn)動(dòng)估計(jì)和預(yù)測(cè)如圖3所示，單視頻流視覺分析單元104還包括一個(gè)運(yùn)動(dòng)估計(jì)和預(yù)測(cè)單元1044用于跟蹤由輪廓計(jì)算單元1043計(jì)算的輪廓的運(yùn)動(dòng)軌跡。本發(fā)明的一個(gè)實(shí)施例使用基于目標(biāo)輪廓的中心作為焦點(diǎn)，跟蹤運(yùn)動(dòng)并獲得時(shí)間離散的運(yùn)動(dòng)軌跡。運(yùn)動(dòng)跟蹤的結(jié)果是一系列帶有時(shí)間標(biāo)簽的輪廓中心的平面坐標(biāo)，即四元組(x，y，t，i)來表示，其中，i用于表示攝像機(jī)。為了提高系統(tǒng)時(shí)間效率，本實(shí)施例使用卡爾曼濾波進(jìn)行運(yùn)動(dòng)預(yù)測(cè)，預(yù)測(cè)結(jié)果作為運(yùn)動(dòng)檢測(cè)裝置的輸入，提供下一幀運(yùn)動(dòng)檢測(cè)的預(yù)先估計(jì)。
由此，已經(jīng)描述了單視頻流視覺分析單元104中的各部件及結(jié)構(gòu)，以及其具體的操作。單視頻流視覺分析單元的輸出包括分辨率分層的影像序列，影像序列的輪廓特征序列以及運(yùn)動(dòng)空間點(diǎn)序列。單視頻流視覺分析單元104的輸出結(jié)果數(shù)據(jù)結(jié)構(gòu)如表4所示。
表4單視頻流分析輸出數(shù)據(jù)結(jié)構(gòu)描述

單視頻分析輸出序列包括攝像機(jī)標(biāo)識(shí)，幀序列標(biāo)識(shí)，時(shí)間標(biāo)識(shí)，幀類型標(biāo)識(shí)，影像數(shù)據(jù)屬性表，點(diǎn)特征數(shù)據(jù)屬性表，區(qū)域特征數(shù)據(jù)屬性表，邊緣特征數(shù)據(jù)屬性表，原始影像數(shù)據(jù)指針，中分辨率影像數(shù)據(jù)指針，低分辨率影像數(shù)據(jù)指針，特征點(diǎn)數(shù)據(jù)表指針，特征結(jié)構(gòu)數(shù)據(jù)表指針，運(yùn)動(dòng)區(qū)域數(shù)據(jù)表指針，背景區(qū)域數(shù)據(jù)表指針，運(yùn)動(dòng)區(qū)域邊緣數(shù)據(jù)表等。其中，攝像機(jī)標(biāo)識(shí)用于區(qū)分系統(tǒng)不同的攝像機(jī)。幀序列標(biāo)識(shí)是該攝像機(jī)的幀序列編號(hào)。時(shí)間標(biāo)識(shí)用于記錄該影像幀的獲取時(shí)間。各種特征數(shù)據(jù)的屬性表描述了給類特征數(shù)據(jù)的長度等信息。各類數(shù)據(jù)指針給出了影像數(shù)據(jù)以及特征數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的地址。
●多視頻流視覺分析下面將參考圖3以及圖4描述本實(shí)施例的多視頻流視覺分析單元105，該單元接受所有四個(gè)單視頻流視覺分析單元104的輸出，并進(jìn)行下述處理I.立體匹配四路視頻輸入設(shè)備可以兩兩組合出三組輸入對(duì)。而本實(shí)施例的多視頻流視覺分析單元105包括一個(gè)立體匹配單元1051，該單元使用三對(duì)輸入對(duì)中的兩對(duì)雙視圖輸入構(gòu)造雙視圖立體匹配，從而計(jì)算物體的三維空間坐標(biāo)，即由立體匹配和攝影平面上的平面坐標(biāo)(x，y)計(jì)算出相對(duì)于攝像機(jī)的深度坐標(biāo)(z坐標(biāo))，進(jìn)而根據(jù)攝像機(jī)參數(shù)確定出物體三維空間坐標(biāo)。通過雙視圖影像立體匹配可以實(shí)現(xiàn)深度重建。首先，在單元1051上述獲得的影像上的非背景區(qū)域中確定一個(gè)目標(biāo)點(diǎn)，以目標(biāo)點(diǎn)為中心定義大小為m×n的模板窗口。為了在另一影像上尋找該目標(biāo)點(diǎn)的匹配點(diǎn)，在另一影像上可能的匹配區(qū)域定義一個(gè)大小為(m+c)×(n+d)的灰度矩陣作為搜索窗口，通過塊匹配算法實(shí)現(xiàn)影像匹配。塊匹配算法就是在搜索窗口中移動(dòng)模板窗口并按匹配測(cè)度計(jì)算出大小為(c+1)×(d+1)的相似度矩陣。相似度矩陣中最大(最小)值所對(duì)應(yīng)的搜索窗口內(nèi)的影像塊就是模板窗口的最佳匹配。
本實(shí)施例的立體匹配單元1051使用如公式(20)所示的差絕對(duì)值和的計(jì)算公式來計(jì)算相似性測(cè)度ρ(i,j)=Σu=1mΣv-1n|I(u,v)-I′(u+i,v+j)|0≤i≤c,0≤j≤d---(20)]]>其中，I(u，v)和I′(u，v)兩視圖影像；m、n是匹配窗口的寬度和高度，c+m、d+n搜索區(qū)域的寬度和高度。具體實(shí)現(xiàn)時(shí)，可以通過逐次選擇不同的閾值，獲得比差絕對(duì)值和方法的樸素實(shí)現(xiàn)更為快速的實(shí)現(xiàn)方法。
本實(shí)施例的立體匹配單元1051在可能的目標(biāo)邊界區(qū)域使用移動(dòng)式窗口，即，在輸入影像上移動(dòng)窗口的位置從而獲得更多的覆蓋區(qū)域，從中選出最佳匹配位置。而在其它區(qū)域使用標(biāo)準(zhǔn)窗口。
II.SFS&FBR(從輪廓恢復(fù)立體和基于特征的三維重建)如圖3和圖4所示，多視頻流視覺分析單元105還包括一個(gè)SFS&FBR單元1052和物體模型存儲(chǔ)單元1056。其中，SFS&FBR單元1052是從輪廓恢復(fù)立體和基于特征的三維重建單元，物體模型存儲(chǔ)單元1056用于存儲(chǔ)重建的物體模型。SFS&FBR單元1052用于按照單視頻流視覺分析單元104的輪廓計(jì)算結(jié)果和已經(jīng)建立的在物體模型存儲(chǔ)單元1056中存儲(chǔ)的物體模型，運(yùn)用從輪廓恢復(fù)形狀的方法以及基于特征的目標(biāo)識(shí)別算法，恢復(fù)物體的表面形狀。該單元進(jìn)行基于空間變化的輪廓恢復(fù)形狀操作，算法如下①對(duì)于空間點(diǎn)P，根據(jù)公式(24)、(25)計(jì)算影像上的點(diǎn)P′，(xh，yh)Px′=(P-C)·h→(P-C)·a→---(24)]]>Py′=(P-C)·v→(P-C)·a→---(25)]]>其中，h→=f·h→′+a→·xh---(26)]]>v→=f·v→′+a→·yh---(27)]]>P′是世界坐標(biāo)系(X，Y，Z)中的點(diǎn)P在像平面坐標(biāo)系的投影。C是世界坐標(biāo)系原點(diǎn)到投影中心的向量， 是攝像機(jī)光軸方向的單位向量， 是像平面坐標(biāo)系上水平方向的單位向量， 是像平面坐標(biāo)系上垂直方向的單位向量。詳細(xì)的坐標(biāo)系統(tǒng)見圖5，即W-XYZ世界坐標(biāo)系和c-xy影像平面坐標(biāo)系。
②如果P′位于影像上的背景區(qū)，則空間點(diǎn)P是被去除的點(diǎn)；否則，P被保留；③使用簡單的空間八叉樹算法，簡化計(jì)算過程；④通過多視圖輪廓剪裁，獲得幾個(gè)不同角度的重建結(jié)果；III.物體模型建立如圖3和圖4所示，多視頻流視覺分析單元105還包括一個(gè)模型建立單元1053，用于在獲得立體匹配后使用光束法解算出三維空間中目標(biāo)的三維坐標(biāo)。該單元的具體操作如下假設(shè)三維空間中一組點(diǎn)Xj被矩陣為Pi的一組攝像機(jī)所拍攝。用xji標(biāo)記第i個(gè)空間點(diǎn)在第j個(gè)攝像機(jī)像平面上的坐標(biāo)，則已知圖像坐標(biāo)xji的集合，求攝像機(jī)矩陣Pi和空間點(diǎn)Xj使得PiXj=Xji---(21)]]>如果對(duì)于Xj或者Pi不做進(jìn)一步的約束，上述重構(gòu)是一個(gè)射影重構(gòu)，即Xj與真正的重構(gòu)相差一個(gè)任意的三維射影變換。
由于噪聲、匹配誤差等因素，方程Xji=PiXj]]>不會(huì)完全滿足。通常假定該類誤差滿足高斯分布，然后求出最大似然解。在此，需要估計(jì)射影矩陣 和真正投影到圖像點(diǎn) 的空間點(diǎn) 即X^ji=P^iX^j---(22)]]>并且在每一幀圖像中最小化重投影點(diǎn)和圖像點(diǎn)之間的圖像距離，即minΣP^j,WX^jd(P^iX^j,xji)---(23)]]>其中，d(x，y)是齊次點(diǎn)x和y之間的幾何圖像距離。通過調(diào)整每個(gè)攝像機(jī)中心和三維空間點(diǎn)之間的射線束來估計(jì)Xj和Pi的最大似然值。
上述方法所使用的初值是攝像機(jī)標(biāo)定過程獲得的投影矩陣參數(shù)、上一幀的估計(jì)值和初始三維重建估計(jì)值。并且，通過攝像機(jī)參數(shù)約束獲得歐氏三維重建。
上述方法獲得的三維模型表達(dá)是點(diǎn)云模型。接著將點(diǎn)云模型轉(zhuǎn)化為細(xì)分表面表示的幾何模型。由于該轉(zhuǎn)換過程對(duì)于本領(lǐng)域的普通技術(shù)人員是公知的，因此在此不再贅述。
模型建立單元1053建立物體的立體模型，包括手的立體模型，具有簡單幾何外形的手持物體的立體模型。簡單幾何外形手持物體可以是一個(gè)具有一定形狀的彈性鋼條。簡單幾何外形手持物也可以是一個(gè)球體，一個(gè)長方體等，這些物體的截面形狀被用來作為運(yùn)動(dòng)生成曲面的截面線。
按照操作控制命令，系統(tǒng)可以重建環(huán)境中靜止物體的三維表面形狀，重建結(jié)果是可以被交互編輯的物體模型，該結(jié)果被存儲(chǔ)到物體模型存儲(chǔ)單元1056中。表5描述了三維幾何模型的數(shù)據(jù)文件格式。
表5三維幾何模型數(shù)據(jù)文件格式

點(diǎn)數(shù)據(jù)結(jié)構(gòu)

邊數(shù)據(jù)結(jié)構(gòu)

面數(shù)據(jù)結(jié)構(gòu)

IV.軌跡擬合單視頻流視覺分析單元104獲得的運(yùn)動(dòng)速度和物體輪廓是物體空間運(yùn)動(dòng)在攝像機(jī)攝影平面上的投影，是基于攝像機(jī)像平面的運(yùn)動(dòng)軌跡坐標(biāo)序列，因此這些平面坐標(biāo)是時(shí)空離散的。如圖3和圖4所示，多視頻流視覺分析單元105還包括一個(gè)軌跡擬合單元1055和一個(gè)運(yùn)動(dòng)軌跡存儲(chǔ)單元1058，所述軌跡擬合單元1055使用空間分布的多個(gè)攝像機(jī)攝影平面和攝像機(jī)相對(duì)定向參數(shù)，通過空間坐標(biāo)交會(huì)、曲線擬合估計(jì)出空間連續(xù)運(yùn)動(dòng)軌跡描述。輸出空間點(diǎn)坐標(biāo)序列并存儲(chǔ)到所述運(yùn)動(dòng)軌跡存儲(chǔ)單元1058中。該單元的操作如下a)基于攝影矩陣的空間點(diǎn)計(jì)算對(duì)于一組攝像機(jī)Ck，k＝1，…，n，n是攝像機(jī)總數(shù)目。每個(gè)攝像機(jī)的絕對(duì)定位參數(shù)是Pi(x，y，z)，絕對(duì)定向參數(shù)為Ri(α，β，γ)。已獲得的各個(gè)攝像機(jī)像平面運(yùn)動(dòng)軌跡坐標(biāo)序列中t時(shí)刻的平面坐標(biāo)是s(x，y，t，i)，其中，x，y是像平面坐標(biāo)，t是時(shí)間，i是攝像機(jī)編號(hào)。由攝像機(jī)外部參數(shù)和內(nèi)部參數(shù)唯一確定投影矩陣Mi。
Mi=m11im12im13im14im21im22im23im24im31im32im33im34i---(28)]]>同一時(shí)刻，空間點(diǎn)P(X，Y，Z)在每個(gè)像平面上的投影坐標(biāo)s(x，y，t，i)滿足方程(29)、(30)(xim31i-m11i)X+(xim32i-m12i)Y+(xim33i-m13i)Z=m14i-xim34i---(29)]]>(yim31i-m21i)X+(yi-m31i-m22i)Y+(yim33i-m23i)Z=m24i-yim34i---(30)]]>根據(jù)n個(gè)攝像機(jī)各自的投影矩陣和像平面坐標(biāo)，可以構(gòu)造出2n個(gè)上述方程，通過最小二乘法求解出空間點(diǎn)坐標(biāo)(X，Y，Z)。
b)基于三角測(cè)量的空間點(diǎn)計(jì)算在獲得多攝像機(jī)和攝像機(jī)定位定向參數(shù)的條件下，通過三角測(cè)量原理和最小二乘方法，可以確定手的空間位置。具體的操作方法可以是將三維空間內(nèi)攝像機(jī)的位置和姿態(tài)投影到三個(gè)正交的坐標(biāo)平面上。在每個(gè)平面上，分別計(jì)算空間點(diǎn)的各坐標(biāo)分量。該方法不需要標(biāo)定攝像機(jī)內(nèi)部參數(shù)。
c)軌跡擬合采用三次基樣條法進(jìn)行軌跡擬合。并使用光順條件確定樣條擬合的邊界條件。
V.截面計(jì)算如圖3和圖4所示，多視頻流視覺分析單元105還包括一個(gè)截面計(jì)算單元1054和一個(gè)截面輪廓存儲(chǔ)單元1057。所述界面計(jì)算單元1054根據(jù)由所述軌跡擬合單元1054所獲得的連續(xù)運(yùn)動(dòng)軌跡確定軌跡上各影像幀處的法平面。物體在法平面上的投影就是各幀位置的運(yùn)動(dòng)物體截面輪廓線。
至此，已經(jīng)描述了多視頻流視覺分析單元105的主要數(shù)據(jù)處理單元1051、1052、1053、1054和1055的功能。單元105中還包括了三個(gè)數(shù)據(jù)存儲(chǔ)單元，即物體模型存儲(chǔ)單元1056、截面輪廓存儲(chǔ)單元1057和運(yùn)動(dòng)軌跡存儲(chǔ)單元1058。
物體模型存儲(chǔ)單元1056是系統(tǒng)永久性存儲(chǔ)單元，存儲(chǔ)運(yùn)動(dòng)物體的三維幾何模型。這里，永久性存儲(chǔ)單元是指系統(tǒng)重新運(yùn)行后，該存儲(chǔ)單元存儲(chǔ)的內(nèi)容不變。在本實(shí)例中，物體模型的數(shù)據(jù)結(jié)構(gòu)如表2所示。系統(tǒng)中所建立的全部物體模型都存儲(chǔ)在物體模型存儲(chǔ)單元1056中。在單元1056中，每個(gè)物體模型用一個(gè)模型表數(shù)據(jù)結(jié)構(gòu)來存儲(chǔ)。每個(gè)模型表中，存儲(chǔ)了模型編號(hào)、模型標(biāo)識(shí)、模型類型編號(hào)、模型類型標(biāo)識(shí)、模型屬性表、模型參數(shù)表、模型中對(duì)象的個(gè)數(shù)以及各個(gè)對(duì)象的存儲(chǔ)表結(jié)構(gòu)。對(duì)于剛性物體，每個(gè)物體對(duì)應(yīng)于一個(gè)模型表。對(duì)于手和受約束的可變形物體，單元1056中將對(duì)每個(gè)物體及其該物體的基本變形存儲(chǔ)幾個(gè)模型表。對(duì)于簡單物體，模型表中僅僅包含一個(gè)幾何對(duì)象；對(duì)于復(fù)雜物體，模型表中用多個(gè)幾何對(duì)象存儲(chǔ)復(fù)雜物體的各個(gè)組成成分。模型屬型表描述模型的基本屬性和可擴(kuò)展屬性。模型參數(shù)表存儲(chǔ)模型的基本參數(shù)。
截面輪廓存儲(chǔ)單元1057是系統(tǒng)工作存儲(chǔ)單元，存貯運(yùn)動(dòng)物體在其運(yùn)動(dòng)方向上的時(shí)間離散截面輪廓。本實(shí)施例中，使用循環(huán)隊(duì)列存儲(chǔ)有限長時(shí)間序列物體輪廓數(shù)據(jù)表。例如，可以存放當(dāng)前工作時(shí)間之前連續(xù)數(shù)百幀的物體輪廓數(shù)據(jù)表。
運(yùn)動(dòng)軌跡存儲(chǔ)單元1058是系統(tǒng)工作存儲(chǔ)單元，存貯運(yùn)動(dòng)物體的空間運(yùn)動(dòng)時(shí)間離散軌跡。本實(shí)施例中，使用循環(huán)隊(duì)列存儲(chǔ)有限長時(shí)間序列物體運(yùn)動(dòng)軌跡數(shù)據(jù)表，軌跡數(shù)據(jù)包括物體幾何中心的空間坐標(biāo)和姿態(tài)。例如，可以存放對(duì)應(yīng)于物體截面輪廓物體運(yùn)動(dòng)軌跡數(shù)據(jù)表。
●實(shí)時(shí)交互語義識(shí)別實(shí)時(shí)交互語義識(shí)別由實(shí)時(shí)交互語義識(shí)別單元106完成，如圖1和圖6所示。三維幾何建模系統(tǒng)100的實(shí)時(shí)交互語義識(shí)別單元106接受多視頻流視覺分析單元105的輸出，并且從已經(jīng)定義的語義模型存儲(chǔ)單元110中讀取語義模型，進(jìn)行運(yùn)動(dòng)語義的分析與解釋并輸出三維造型命令。實(shí)時(shí)交互語義識(shí)別單元106包括一個(gè)碰撞檢測(cè)單元1061，用于讀取運(yùn)動(dòng)軌跡存儲(chǔ)單元1058的運(yùn)動(dòng)軌跡，通過碰撞檢測(cè)方法檢測(cè)三維幾何模型存儲(chǔ)單元111中的三維幾何設(shè)計(jì)模型和物體模型存儲(chǔ)單元1056的物體模型之間的碰撞。碰撞檢測(cè)結(jié)果將作為操作語義分析單元1062和交互語義分析單元1063的輸入。實(shí)時(shí)交互語義識(shí)別單元106還包括交互語義分析單元1063和操作語義分析單元1062，它們根據(jù)碰撞檢測(cè)單元1061的碰撞檢測(cè)結(jié)果以及物體模型存儲(chǔ)單元1056、運(yùn)動(dòng)軌跡存儲(chǔ)單元1058、語義模型存儲(chǔ)單元110所存儲(chǔ)的數(shù)據(jù)獲取運(yùn)動(dòng)物體對(duì)于三維幾何模型的操作語義。語義分析結(jié)果輸出三維造型命令，并存儲(chǔ)在一個(gè)三維造型命令存儲(chǔ)單元1065中。
實(shí)時(shí)交互語義識(shí)別單元106包含進(jìn)行如下基本操作I.碰撞檢測(cè)碰撞檢測(cè)單元1061根據(jù)多視頻流視覺分析單元105所建立的物體模型、截面輪廓和運(yùn)動(dòng)軌跡，通過碰撞檢測(cè)方法檢測(cè)三維幾何設(shè)計(jì)模型和物體模型之間的碰撞結(jié)果。如前所述，物體模型、截面輪廓和運(yùn)動(dòng)軌跡分別存儲(chǔ)于物體模型存儲(chǔ)單元1056、截面輪廓存儲(chǔ)單元1057和運(yùn)動(dòng)軌跡存儲(chǔ)單元1058中。碰撞檢測(cè)單元1061提供交互語義分析的上下文環(huán)境，同時(shí)為設(shè)計(jì)師對(duì)幾何設(shè)計(jì)模型的操作與交互提供視覺反饋。
碰撞檢測(cè)結(jié)果將直接提供給語義分析單元，具體的分析過程將在下文中具體描述。兩物體之間的實(shí)時(shí)碰撞檢測(cè)采用本領(lǐng)域技術(shù)人員所公知的AABB樹算法實(shí)現(xiàn)，在此不再贅述。
II.操作語義分析單元操作語義分析單元1062用于解釋操作性的語義。例如，“選擇”操作語義、“取消”操作語義等，在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)手模型和三維設(shè)計(jì)模型發(fā)生碰撞接觸并持續(xù)一定時(shí)間時(shí)，被判定為“選擇”操作語義；在手模型和三維設(shè)計(jì)模型已經(jīng)接觸的情況下，持續(xù)接觸并保持靜止一段時(shí)間時(shí)，則判定為“取消選擇”操作語義。語義解析結(jié)果取決于當(dāng)前物體的姿態(tài)和預(yù)定的語義模型。為了保證操作的靈活性，操作方式可以包括幾種類型對(duì)已經(jīng)生成的模型的操作和對(duì)界面菜單和工具條的操作。
a)對(duì)界面菜單和工具條的操作該類界面操作有兩種方式鼠標(biāo)鍵盤方式和虛擬手方式。鼠標(biāo)鍵盤方式即傳統(tǒng)的平面圖形界面方式。虛擬手方式類似于現(xiàn)有技術(shù)中觸摸屏的操作，通過虛擬手的運(yùn)動(dòng)和點(diǎn)擊對(duì)界面的菜單、工具條進(jìn)行操作。當(dāng)虛擬手運(yùn)動(dòng)到系統(tǒng)圖形界面操作區(qū)域時(shí)，系統(tǒng)自動(dòng)切換到界面命令操作模式，鼠標(biāo)鍵盤方式和虛擬手方式通過響應(yīng)即時(shí)輸入自動(dòng)切換。
b)對(duì)生成模型的操作常用的交互語義被設(shè)置成虛擬3D空間的浮動(dòng)球。這些浮動(dòng)球被稱為操作球，每個(gè)球被定義為一種操作。當(dāng)虛擬手抓獲一個(gè)操作球后，表示虛擬手將開始該操作。按照操作上下文環(huán)境，操作球自動(dòng)消隱、浮現(xiàn)并改變其在虛擬三維空間中的深度。最可能被選擇的操作球?qū)⑻幱谔摂M手最易抓獲的位置。
虛擬空間操作、GUI界面操作和語音命令操作這三種操作通過上下文環(huán)境自動(dòng)切換。當(dāng)虛擬手運(yùn)動(dòng)到系統(tǒng)界面的菜單命令區(qū)時(shí)，自動(dòng)切換為虛擬鼠標(biāo)模式。當(dāng)虛擬手運(yùn)動(dòng)到繪制區(qū)域時(shí)，變換為虛擬三維空間造型操作方式。
III.交互語義分析單元交互語義分析單元1063根據(jù)碰撞檢測(cè)結(jié)果、物體模型存儲(chǔ)單元1056和運(yùn)動(dòng)軌跡存儲(chǔ)單元1058以及語義模型存儲(chǔ)單元110確定交互語義。本實(shí)施例中，交互性語義通過靜態(tài)交互手勢(shì)來表達(dá)。交互語義分析單元1063對(duì)靜態(tài)手勢(shì)采用基于表觀的識(shí)別方法進(jìn)行語義分析。即根據(jù)預(yù)定義手勢(shì)模板，按照模板匹配的方法進(jìn)行手勢(shì)語義分析。本實(shí)施例中，基于模板匹配的語義分析按照下述方法進(jìn)行首先對(duì)邊緣圖像進(jìn)行距離變換，即對(duì)二值圖像進(jìn)行距離變換以得到對(duì)應(yīng)原邊緣圖像的等尺寸的距離映射圖，此距離映射圖中的每個(gè)“像素點(diǎn)”的新值為距離值，距離變換定義如下D(p)＝min(de(p，q))q∈O (31)其中，de(p，q)表示像素點(diǎn)p，q間的歐氏距離，O為目標(biāo)物體的元素集合。Euclidean距離變換de(p，q)的定義如下de(p,q)=(px-qx)2+(py-qy)2---(32)]]>為減小計(jì)算量，開方運(yùn)算被省略，即使用公式(33)代替公式(32)de(p，q)＝(px-qx)2+(py-qy)2(33)經(jīng)過如上述距離變換后，形成的距離映射圖中的每一個(gè)點(diǎn)的新值即為在原圖像中距該點(diǎn)最近的物體像素點(diǎn)的距離。
本實(shí)施例使用單向Hausdorff距離h(M，I)進(jìn)行模型匹配。M為選取的手勢(shì)模板邊緣像素集合，I為邊緣提取后圖像邊緣像素點(diǎn)的集合。匹配識(shí)別時(shí)，先對(duì)邊緣提取后的待識(shí)別圖像實(shí)施Euclidean距離變換以得到距離映射圖，然后在距離空間內(nèi)，將模板在距離映射圖上進(jìn)行平移匹配。相應(yīng)地，hj(M，I)(下標(biāo)j為平移次數(shù))取為模板中的邊緣像素點(diǎn)在當(dāng)前距離映射圖上對(duì)應(yīng)位置處的若干值中的最大者，它度量了模板在當(dāng)前平移位置與邊緣圖像上對(duì)應(yīng)像素點(diǎn)之間的最大不匹配度?；拘问降腍ausdorff距離模板匹配的判別規(guī)則是取所有平移匹配中得到的上述hj(M，I)值中的最小值作為這個(gè)模板與該圖像中有可能存在的該模板對(duì)應(yīng)對(duì)象之間相似度的度量值。在平移匹配過程中，若出現(xiàn)幾個(gè)模型與當(dāng)前待識(shí)別圖像的相似度很接近時(shí)，則再將邊緣方向信息加入到平移匹配判別中，此時(shí)判斷處于某一平移點(diǎn)q(以某一次平移中模板左下角的像素點(diǎn)為參考點(diǎn))處，模板與邊緣圖像相應(yīng)位置處是否匹配的條件是①設(shè)第j次平移匹配時(shí)，若模板中符合匹配要求的點(diǎn)與模板像素點(diǎn)總點(diǎn)數(shù)的比率為RjRj=maxq∈Q{n([m∈M|∃i∈I,||(m+q)-i||<τ,||Ang(m)-Ang(i)|<θ]/n(M)}---(34)]]>上式中，Q為模板在邊緣圖像上由若干次平移中模板左下角像素點(diǎn)形成的點(diǎn)集；n(·)為取集合中元素個(gè)數(shù)的操作；函數(shù)Ang(x)為求得的邊緣像素點(diǎn)x的角度值；τ為給定的距離差閾值；θ為給定的方向弧度差閾值。
②取P(k)＝max(Rj)，其中k＝1，2，…，是模板個(gè)數(shù)，J對(duì)某一個(gè)模板進(jìn)行若干次平移的次數(shù)。
③取與max P(k)對(duì)應(yīng)的模板所指示的手勢(shì)為最終識(shí)別結(jié)果。
在本實(shí)施例采取了修正的Hausdorff距離進(jìn)行模板匹配，即通過對(duì)若干次平移中得到的hi(M，I)的平均來得到模板相對(duì)于待識(shí)別圖像的相似度，hi(M,I)=1Nhi(M,I)---(35)]]>其中，N為模板中的邊緣像素點(diǎn)的個(gè)數(shù)。
按照上述方法，可以確定數(shù)種交互手勢(shì)的基本語義。圖15示出了交互語義手勢(shì)的幾種實(shí)例。
●三維幾何建模如圖7所示，三維集合建模系統(tǒng)100還包括一個(gè)三維幾何建模單元107用于基于從多視頻流視覺分析單元105獲得運(yùn)動(dòng)與姿態(tài)識(shí)別，以及基于從實(shí)時(shí)交互語義識(shí)別單元106獲得語義分析結(jié)果，即三維造型命令，通過重復(fù)處理單元1071、抖動(dòng)處理單元1072、包絡(luò)計(jì)算單元1073以及造型編輯單元1074，建立新的三維幾何設(shè)計(jì)形體，并對(duì)已有的三維幾何形體進(jìn)行編輯替換，并實(shí)時(shí)讀取并存儲(chǔ)三位幾何模型存儲(chǔ)單元111。三維幾何建模單元107包含如下處理步驟I.重復(fù)處理重復(fù)處理單元1071對(duì)物體運(yùn)動(dòng)過程中產(chǎn)生的重復(fù)動(dòng)作進(jìn)行處理，消除物體的重復(fù)、重疊性運(yùn)動(dòng)。
II.抖動(dòng)處理抖動(dòng)處理單元1072對(duì)物體的運(yùn)動(dòng)進(jìn)行平滑、光順處理，消除物體運(yùn)動(dòng)軌跡和姿態(tài)的微小抖動(dòng)。
III.包絡(luò)計(jì)算單元包絡(luò)計(jì)算單元1073的基本功能是根據(jù)業(yè)已消除抖動(dòng)和重復(fù)的運(yùn)動(dòng)軌跡和截面輪廓，求解出包絡(luò)微分方程，然后利用龍格-庫塔算法計(jì)算出物體運(yùn)動(dòng)產(chǎn)生的包絡(luò)面。該單元輸出物體運(yùn)動(dòng)產(chǎn)生的包絡(luò)面。
IV.造型編輯單元造型編輯單元1074用包絡(luò)計(jì)算單元1073產(chǎn)生的運(yùn)動(dòng)包絡(luò)面替換現(xiàn)有的三維幾何造型模型，并進(jìn)行新舊面片的光滑連接處理。所述替換過程按照約束和修改規(guī)則處理拼接點(diǎn)和拼接面的連接與平滑，對(duì)所建立的三維幾何模型進(jìn)行修改。
●模型繪制與顯示對(duì)三維幾何模型的修改將激活模型繪制過程，并將繪制結(jié)果輸出到顯示裝置109上。
由此，已經(jīng)描述了根據(jù)本發(fā)明的第一具體實(shí)施例的技術(shù)方案。此外，如圖8所示，本實(shí)施例的三維幾何建模系統(tǒng)100可以由三臺(tái)通用數(shù)字計(jì)算機(jī)構(gòu)成，兩臺(tái)前端計(jì)算機(jī)1201、1202和一臺(tái)后端計(jì)算機(jī)1203。每兩部數(shù)字?jǐn)z像機(jī)被連接到一臺(tái)前端計(jì)算機(jī)(1201，1202)上，兩臺(tái)前端計(jì)算機(jī)1201和1202連接到后端計(jì)算機(jī)1203上，后端計(jì)算機(jī)1203和視頻輸出裝置109相連。在前端計(jì)算機(jī)1201、1202中均提供有與其所連接的視頻輸入裝置101相對(duì)應(yīng)的單視頻視覺分析單元104以及多視頻視覺分析單元105中的立體匹配單元1051。在后端計(jì)算機(jī)1203中提供有除立體匹配單元1051之外的多視頻視覺分析單元105的各個(gè)組建以及實(shí)時(shí)交互語義識(shí)別單元106，三維幾何建模單元107，三維模型繪制單元108。計(jì)算機(jī)1203的存儲(chǔ)系統(tǒng)提供有語義模型存儲(chǔ)單元110和三維幾何模型存儲(chǔ)單元111。本發(fā)明的上述組建可以通過軟件、固件以及集成電路等等來實(shí)現(xiàn)。
第二具體實(shí)施例如圖9所示，根據(jù)本發(fā)明第二實(shí)施例的三維幾何建模系統(tǒng)200還包括一個(gè)音頻輸入裝置202和音頻識(shí)別單元203。音頻輸入裝置202可以是通用話筒和將自然語音轉(zhuǎn)換為數(shù)字語音信號(hào)的聲卡設(shè)備。本實(shí)施例中，音頻輸入裝置設(shè)備作為輔助輸入設(shè)備，提供多通道用戶交互方式的輔助交互輸入。在獲得音頻輸入后，語音識(shí)別單元203進(jìn)行語音識(shí)別，即實(shí)現(xiàn)將音頻輸入轉(zhuǎn)換為受限語言的功能。語音識(shí)別單元203僅識(shí)別限于預(yù)先定義的語音模式，沒有定義的語音輸入將被丟棄。例如，可以使用Microsoft Speech 5.X微軟語音識(shí)別引擎對(duì)基本語音進(jìn)行識(shí)別。通過設(shè)置語音識(shí)別引擎中的基于XML文件的受限文法設(shè)置，可以使得系統(tǒng)僅僅識(shí)別文法中給出的語音命令，有效的提高識(shí)別率，限制其它可能導(dǎo)致系統(tǒng)異常行為的語音輸入。
語音識(shí)別單元203識(shí)別出的語音提供給實(shí)時(shí)交互語義識(shí)別單元206。實(shí)時(shí)交互語義識(shí)別單元206除進(jìn)行第一實(shí)施例的碰撞檢測(cè)、操作和交互語義分析等操作外，還包括一個(gè)語音語義分析單元2064，對(duì)已經(jīng)語音識(shí)別單元203識(shí)別的語音進(jìn)行進(jìn)行語義識(shí)別。每當(dāng)從語音識(shí)別單元203獲得經(jīng)過識(shí)別的語音輸入時(shí)，語音語義分析單元2064根據(jù)系統(tǒng)當(dāng)前上下文環(huán)境對(duì)獲得語音進(jìn)行語義解釋。下面示出了一個(gè)語義解析文件實(shí)例，其中以<O></O>為標(biāo)記的語義解析文法是可選文法。用戶可以根據(jù)具體的需要修改這個(gè)部分的內(nèi)容，體現(xiàn)個(gè)性化人機(jī)交互的思想。<GRAMMAR LANGID＝″804″>
<RULE NAME＝″WithPara″TOPLEVEL＝″ACTIVE″>
<P>
<O>
<L>
<P>請(qǐng)</P>
<P>我想</P>
</L>
</O>
<L>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″CrePoint″>創(chuàng)建點(diǎn)</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″CreLine″>創(chuàng)建線</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″CreSurface″>創(chuàng)建面</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″Delete″>刪除</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″Cancel″>撤銷</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″Done″>結(jié)束</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″Edit″>編輯</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″SelePoint″>選擇點(diǎn)</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″SeleLine″>選擇線</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″SeleSurface″>選擇面</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″zin″>縮小</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″zout″>放大</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″Translation″>平移</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″X″>X坐標(biāo)值</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″Y″>Y坐標(biāo)值</P>
<P PROPNAME＝″TYPE_RULEREF″VALSTR＝″Z″>Z坐標(biāo)值</P>
</L>
<L>
<P VALSTR＝“value”>Value</P>
</L></P>
</RULE></GRAMMAR>
同時(shí)，在實(shí)時(shí)交互語義識(shí)別單元206中進(jìn)行的操作如圖10所示。本實(shí)施例的實(shí)時(shí)交互語義識(shí)別單元206包括碰撞檢測(cè)單元2061，操作語義分析單元2062，交互語義分析單元2063、語音語義分析單元2064以及三維造型命令存儲(chǔ)單元2065。實(shí)時(shí)交互語義識(shí)別單元206的主要工作步驟如下碰撞檢測(cè)單元2061讀取運(yùn)動(dòng)軌跡存儲(chǔ)單元2058的運(yùn)動(dòng)軌跡，通過碰撞檢測(cè)方法檢測(cè)三維幾何設(shè)計(jì)存儲(chǔ)單元211的三維幾何設(shè)計(jì)模型和物體模型存儲(chǔ)單元2056的物體模型之間的碰撞。碰撞檢測(cè)結(jié)果將作為操作語義分析單元2062和交互語義分析單元2063的輸入。交互語義分析單元2063和操作語義分析單元2062根據(jù)碰撞檢測(cè)單元2061的碰撞檢測(cè)結(jié)果以及物體模型存儲(chǔ)單元2056、運(yùn)動(dòng)軌跡存儲(chǔ)單元2058、語義模型存儲(chǔ)單元210中存儲(chǔ)的數(shù)據(jù)獲取運(yùn)動(dòng)物體對(duì)于三維幾何模型的操作語義，生成三維造型命令存儲(chǔ)在三維造型命令存儲(chǔ)單元2065中。語音語義分析單元2064從語音識(shí)別結(jié)果單元203中獲取受限語言的語義識(shí)別結(jié)果，根據(jù)語義模型存儲(chǔ)單元210的語義解析定義，獲得語音語義的解釋并生成三維造型命令存儲(chǔ)在三維造型命令存儲(chǔ)單元2065中。
在此，語音操作作為輔助交互通道，可以在系統(tǒng)人機(jī)交互過程中用作命令操作和繪制過程中的控制操作。
除上述描述之外，根據(jù)本發(fā)明的第二實(shí)施例與第一實(shí)施例相同獲相似的部分所實(shí)施的技術(shù)方案是相同的。
第三具體實(shí)施例圖11示出了應(yīng)用本發(fā)明的三維幾何建模系統(tǒng)300的第三具體實(shí)施例的結(jié)構(gòu)圖。圖11所示的視頻輸入設(shè)備301是一種數(shù)字?jǐn)z像機(jī)。本實(shí)施例中，視頻輸入設(shè)備301由六個(gè)數(shù)字?jǐn)z像機(jī)組成；相對(duì)應(yīng)于每個(gè)數(shù)字?jǐn)z像機(jī)有一個(gè)單視頻流視覺分析單元304，每部數(shù)字?jǐn)z像機(jī)按照通常連接方式通過連接線直接連接到通用計(jì)算機(jī)設(shè)備接口，由單視頻流視覺分析單元304處理。音頻輸入裝置302是一個(gè)通用話筒和將自然語音轉(zhuǎn)換為數(shù)字語音信號(hào)的聲卡設(shè)備。與第一具體實(shí)施例不同，該實(shí)施例不僅采用了更多的攝像裝置，而且連接方式也不同。具體來說，攝像機(jī)C01、C02以及C03位于和設(shè)計(jì)師手部運(yùn)動(dòng)等高的位置，攝像機(jī)C04、C05以及C06位于設(shè)計(jì)師上方。該配置由于增加了攝像機(jī)的數(shù)目，因而可以更好的避免運(yùn)動(dòng)過程可能造成的遮擋問題。另一個(gè)不同之處時(shí)是攝像機(jī)的連接方式的改變。如圖13所示，6個(gè)攝像機(jī)平均分為兩組，每組的三個(gè)攝像機(jī)連接成兩個(gè)可供雙視圖匹配使用的影像輸入對(duì)，提供給多視頻流視覺分析單元305進(jìn)行深度獲取和立體匹配。
六個(gè)攝像裝置被分別放置在概念設(shè)計(jì)者前方、左前方、右前方、上方、左上方和右上方六個(gè)不同的位置，其距離地面的高度和姿態(tài)以適合設(shè)計(jì)師手勢(shì)表達(dá)為宜，即設(shè)計(jì)師的設(shè)計(jì)動(dòng)作應(yīng)該能夠被攝像機(jī)完全攝錄，并且不影響設(shè)計(jì)師的操作及其它活動(dòng)。數(shù)字?jǐn)z像機(jī)的一種具體布局實(shí)施方式由圖12示出。
本實(shí)施例中，計(jì)算機(jī)系統(tǒng)由三臺(tái)通用數(shù)字計(jì)算機(jī)構(gòu)成，如圖14所示。每兩部攝像機(jī)被連接到一臺(tái)前端計(jì)算機(jī)1901、1902上，兩臺(tái)前端計(jì)算機(jī)連接到一臺(tái)后端計(jì)算機(jī)1903上，后端計(jì)算機(jī)和音頻輸入設(shè)備、顯示設(shè)備相連。
本實(shí)施例的運(yùn)行過程與第一具體實(shí)施例基本相同。當(dāng)三維造型設(shè)計(jì)師開啟該裝置的計(jì)算機(jī)系統(tǒng)后，首先開始系統(tǒng)初始化過程。然后生成簡單物體的三維幾何模型。所不同的是，相對(duì)于第一具體實(shí)施例的多視頻流視覺分析，本實(shí)施例的該多視頻流視覺分析接受所有六個(gè)單視頻流視覺分析的輸出。其處理過程按照?qǐng)D14所示組合對(duì)視頻輸入進(jìn)行處理。
以上描述了本發(fā)明的三位幾何建模系統(tǒng)和方法的實(shí)現(xiàn)方式。雖然上面描述是參照本發(fā)明的特定實(shí)施例而進(jìn)行的，但是應(yīng)該理解在不脫離其精神的情況下可以進(jìn)行各種修改。因此本公開實(shí)施例在所有方面都是示例性而不是限制性的，本發(fā)明的范圍由所附權(quán)利要求而不是前面描述來表示，因此屬于權(quán)利要求的等效含義和范圍的所有變動(dòng)均包括在其中。
權(quán)利要求
1.一種三維幾何建模方法，包括視頻輸入步驟從分布于設(shè)計(jì)師周圍的多個(gè)視頻輸入裝置(101)采集視頻流；單視頻流視覺分析步驟使上述采集視頻流步驟采集的多個(gè)視頻流各自經(jīng)過一個(gè)單視頻流視覺分析處理，以檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，估計(jì)運(yùn)動(dòng)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置以及計(jì)算運(yùn)動(dòng)物體的邊緣輪廓并估計(jì)輪廓特征；多視頻流視覺分析步驟接收上述若干單視頻流視覺分析的處理結(jié)果，進(jìn)行雙目立體匹配，并基于所獲得的輪廓和特征進(jìn)行三維重建和物體運(yùn)動(dòng)軌跡擬合以及計(jì)算運(yùn)動(dòng)物體截面，并將所獲得的物體模型、物體運(yùn)動(dòng)軌跡以及物體的截面輪廓提供給實(shí)時(shí)交互語義識(shí)別處理步驟；實(shí)時(shí)交互語義識(shí)別步驟對(duì)多視頻視覺分析步驟的輸出進(jìn)行處理以獲得人機(jī)交互語義，并利用預(yù)先存儲(chǔ)在一個(gè)語義模型存儲(chǔ)單元中的語義定義解釋所獲得的人機(jī)交互語義；三維幾何建模步驟對(duì)多視頻視覺分析步驟輸出的物體模型、物體運(yùn)動(dòng)軌跡、物體截面輪廓以及實(shí)時(shí)交互語義識(shí)別步驟的輸出進(jìn)行處理，從而獲得三維幾何設(shè)計(jì)造型，并將處理結(jié)果存儲(chǔ)到三維幾何模型存儲(chǔ)單元中；三維模型繪制步驟將三維幾何模型存儲(chǔ)單元中實(shí)時(shí)存儲(chǔ)的三維幾何模型繪制到視頻輸出裝置上；視頻輸出步驟在視頻輸出裝置上顯示設(shè)計(jì)師所設(shè)計(jì)的三維幾何造型。
2.根據(jù)權(quán)利要求1所述的三維幾何建模方法，其特征在于，所述單視頻流視覺分析步驟還包括影像分析步驟對(duì)其所對(duì)應(yīng)的視頻輸入裝置采集的視頻信號(hào)進(jìn)行處理，獲得具有不同分辨率尺度和不同特征元素的特征視頻流；實(shí)時(shí)運(yùn)動(dòng)檢測(cè)步驟根據(jù)所述影像分析步驟所獲得的特征視頻流檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域以及運(yùn)動(dòng)方向以獲得準(zhǔn)確的運(yùn)動(dòng)區(qū)域分割和運(yùn)動(dòng)區(qū)域邊緣；輪廓計(jì)算步驟在運(yùn)動(dòng)物體區(qū)域上通過基于膚色檢測(cè)獲得手的區(qū)域，除去手的區(qū)域獲得手持物體的區(qū)域，從而計(jì)算出區(qū)域的邊緣輪廓；運(yùn)動(dòng)估計(jì)和預(yù)測(cè)步驟估計(jì)運(yùn)動(dòng)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置。
3.根據(jù)權(quán)利要求1所述的三維幾何建模方法，其特征在于，所述多視頻流視覺分析步驟，包括立體匹配步驟接收來自兩個(gè)所述單視頻流視覺分析步驟中的運(yùn)動(dòng)檢測(cè)步驟輸出的運(yùn)動(dòng)檢測(cè)結(jié)果，經(jīng)過立體匹配和視差計(jì)算獲得運(yùn)動(dòng)物體的區(qū)域分割和運(yùn)動(dòng)物體深度信息；SFS&FBR步驟按照所述單視頻流視覺分析步驟中的輪廓計(jì)算步驟輸出的輪廓，計(jì)算恢復(fù)物體的表面形狀；軌跡擬合步驟使用空間分布的多個(gè)攝像機(jī)攝影平面和攝像機(jī)相對(duì)定向參數(shù)，通過空間坐標(biāo)交會(huì)、曲線擬合估計(jì)出空間連續(xù)運(yùn)動(dòng)軌跡；截面計(jì)算步驟按照所述單視覺視頻分析步驟中的輪廓計(jì)算步驟輸出的輪廓數(shù)據(jù)和上述軌跡擬合步驟所獲得的連續(xù)運(yùn)動(dòng)軌跡，計(jì)算運(yùn)動(dòng)物體的截面輪廓；物體模型建立步驟通過上述立體匹配步驟的結(jié)果所指示的深度信息數(shù)據(jù)建立物體模型。
4.根據(jù)權(quán)利要求1所述的三維幾何建模方法，其特征在于，所述實(shí)時(shí)交互語義識(shí)別步驟還包括碰撞檢測(cè)步驟根據(jù)多視頻流視覺分析步驟所建立的物體模型、截面輪廓和運(yùn)動(dòng)軌跡，檢測(cè)三維幾何模型和物體模型之間的碰撞，確定碰撞發(fā)生的位置和方式；操作語義分析步驟按照碰撞檢測(cè)的結(jié)果根據(jù)預(yù)定的語義模型確定語義的操作對(duì)象、操作類型等操作語義；交互語義分析步驟根據(jù)碰撞檢測(cè)結(jié)果、所存儲(chǔ)的物體模型和所存儲(chǔ)的運(yùn)動(dòng)軌跡以及語義模型存儲(chǔ)單元預(yù)先存儲(chǔ)的語義模型，確定交互語義。
5.根據(jù)權(quán)利要求1所述的三維幾何建模方法，其特征在于，所述三維幾何建模步驟包括重復(fù)處理步驟對(duì)物體運(yùn)動(dòng)過程中產(chǎn)生的重復(fù)動(dòng)作進(jìn)行處理，消除物體的重復(fù)、重疊性運(yùn)動(dòng)；抖動(dòng)處理步驟對(duì)物體的運(yùn)動(dòng)進(jìn)行平滑、光順處理，消除物體運(yùn)動(dòng)軌跡和姿態(tài)的微小抖動(dòng)；包絡(luò)計(jì)算步驟根據(jù)已經(jīng)消除抖動(dòng)和重復(fù)的運(yùn)動(dòng)軌跡和截面輪廓，計(jì)算出物體運(yùn)動(dòng)產(chǎn)生的包絡(luò)面；造型編輯步驟對(duì)所建立的三維幾何模型進(jìn)行修改。
6.根據(jù)權(quán)利要求1所述的三維幾何建模方法，其特征在于，所述方法還包括從語音輸入裝置輸入語音命令的步驟；語音識(shí)別步驟根據(jù)預(yù)定的語音模型對(duì)從語音輸入裝置輸入的語音命令進(jìn)行識(shí)別；其中所述實(shí)時(shí)交互語義識(shí)別步驟還包括一個(gè)語音語義分析步驟對(duì)多視頻視覺分析步驟的輸出以及語音識(shí)別步驟的輸出進(jìn)行處理，獲得人機(jī)交互語義，并將所獲得的人機(jī)交互語義結(jié)果提供給三維幾何建模步驟。
7.根據(jù)權(quán)利要求1所述的三維幾何建模方法，其特征在于，所述視頻輸入裝置的數(shù)量為4個(gè)，分別分布于設(shè)計(jì)師的右方、右前方、左前方和左方且置于適合設(shè)計(jì)師手勢(shì)表達(dá)的位置。
8.根據(jù)權(quán)利要求1所述的三維幾何建模方法，其特征在于，所述視頻輸入裝置的數(shù)量為6個(gè)，分別分布于設(shè)計(jì)師的前方、左前方、右前方、上方、左上方和右上方且置于適合設(shè)計(jì)師手勢(shì)表達(dá)的位置。
9.一種三維幾何建模系統(tǒng)，包括多個(gè)視頻輸入裝置分布于設(shè)計(jì)師周圍用于采集設(shè)計(jì)師設(shè)計(jì)動(dòng)作的視頻流；多個(gè)單視頻流視覺分析單元對(duì)應(yīng)于每個(gè)視頻輸入裝置，使由上述視頻輸入裝置采集的多個(gè)視頻流各自經(jīng)過一個(gè)所述單視頻流視覺分析單元的處理，以檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，估計(jì)運(yùn)動(dòng)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置以及計(jì)算運(yùn)動(dòng)物體的邊緣輪廓并估計(jì)輪廓特征；多視頻流視覺分析單元用于接收上述多個(gè)單視頻流視覺分析單元的處理結(jié)果，進(jìn)行雙目立體匹配，并基于所獲得的輪廓和特征進(jìn)行三維重建和物體運(yùn)動(dòng)軌跡擬合，計(jì)算運(yùn)動(dòng)物體截面，并將所獲得的物體模型、物體運(yùn)動(dòng)軌跡以及物體的截面輪廓提供給實(shí)時(shí)交互語義識(shí)別單元；實(shí)時(shí)交互語義識(shí)別單元用于對(duì)多視頻視覺分析單元的輸出進(jìn)行處理以獲得人機(jī)交互語義，并利用預(yù)先存儲(chǔ)在一個(gè)語義模型存儲(chǔ)單元中的語義定義解釋所獲得的人機(jī)交互語義；三維幾何建模單元用于對(duì)多視頻視覺分析單元的輸出結(jié)果以及實(shí)時(shí)交互語義識(shí)別單元的輸出進(jìn)行綜合處理，從而獲得三維幾何設(shè)計(jì)造型，并將處理結(jié)果存儲(chǔ)到一個(gè)三維幾何模型存儲(chǔ)單元中；三維模型繪制單元用于將三維幾何模型存儲(chǔ)單元中實(shí)時(shí)存儲(chǔ)的三維幾何模型繪制到視頻輸出裝置上；視頻輸出裝置用于顯示設(shè)計(jì)師所設(shè)計(jì)的三維幾何造型。
10.根據(jù)權(quán)利要求9所述的三維幾何建模系統(tǒng)，其特征在于，所述單視頻流視覺分析單元還包括影像分析單元用于對(duì)其所對(duì)應(yīng)的視頻輸入裝置采集的視頻信號(hào)進(jìn)行處理，獲得具有不同分辨率尺度和不同特征元素的特征視頻流；實(shí)時(shí)運(yùn)動(dòng)檢測(cè)單元用于根據(jù)所述影像分析單元所獲得的特征視頻流檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域以及運(yùn)動(dòng)方向以獲得準(zhǔn)確的運(yùn)動(dòng)區(qū)域分割和運(yùn)動(dòng)區(qū)域邊緣；輪廓計(jì)算單元用于在運(yùn)動(dòng)物體區(qū)域上通過基于膚色檢測(cè)獲得手的區(qū)域，除去手的區(qū)域獲得手持物體的區(qū)域，從而計(jì)算出區(qū)域的邊緣輪廓；運(yùn)動(dòng)估計(jì)和預(yù)測(cè)單元用于估計(jì)運(yùn)動(dòng)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)運(yùn)動(dòng)位置。
11.根據(jù)權(quán)利要求9所述的三維幾何建模系統(tǒng)，其特征在于，所述多視頻流視覺分析單元包括立體匹配單元用于接收兩個(gè)所述單視頻流視覺分析單元中的運(yùn)動(dòng)檢測(cè)單元輸出的運(yùn)動(dòng)檢測(cè)結(jié)果，經(jīng)過立體匹配和視差計(jì)算獲得運(yùn)動(dòng)物體的區(qū)域分割和運(yùn)動(dòng)物體深度信息；SFS&FBR單元用于按照所述單視頻流視覺分析單元中的輪廓計(jì)算單元輸出的輪廓計(jì)算結(jié)果，恢復(fù)物體的表面形狀；軌跡擬合單元用于使用空間分布的多個(gè)攝像機(jī)攝影平面和攝像機(jī)相對(duì)定向參數(shù)，通過空間坐標(biāo)交會(huì)、曲線擬合估計(jì)出空間連續(xù)運(yùn)動(dòng)軌跡；截面計(jì)算單元用于按照所述單視頻流視覺分析單元中的輪廓計(jì)算單元輸出的輪廓數(shù)據(jù)和上述軌跡擬合單元所獲得的連續(xù)運(yùn)動(dòng)軌跡，計(jì)算運(yùn)動(dòng)物體的截面輪廓；物體模型建立單元用于通過上述立體匹配單元的結(jié)果所指示的深度信息數(shù)據(jù)建立物體模型。
12.根據(jù)權(quán)利要求9所述的三維幾何建模系統(tǒng)，其特征在于，所述實(shí)時(shí)交互語義識(shí)別單元還包括碰撞檢測(cè)單元用于根據(jù)多視頻流視覺分析單元所建立的物體模型、截面輪廓和運(yùn)動(dòng)軌跡，檢測(cè)三維幾何模型和物體模型之間的碰撞，確定碰撞發(fā)生的位置和方式；操作語義分析單元用于按照碰撞檢測(cè)單元的檢測(cè)結(jié)果根據(jù)預(yù)定的語義模型確定語義的操作對(duì)象、操作類型等操作語義；交互語義分析單元用于根據(jù)碰撞檢測(cè)單元的結(jié)果、所存儲(chǔ)的物體模型和所存儲(chǔ)的運(yùn)動(dòng)軌跡以及語義模型存儲(chǔ)單元預(yù)先存儲(chǔ)的語義模型，確定交互語義。
13.根據(jù)權(quán)利要求9所述的三維幾何建模系統(tǒng)，其特征在于，所述三維幾何建模單元包括重復(fù)處理單元用于對(duì)物體運(yùn)動(dòng)過程中產(chǎn)生的重復(fù)動(dòng)作進(jìn)行處理，消除物體的重復(fù)、重疊性運(yùn)動(dòng)；抖動(dòng)處理單元用于對(duì)物體的運(yùn)動(dòng)進(jìn)行平滑、光順處理，消除物體運(yùn)動(dòng)軌跡和姿態(tài)的微小抖動(dòng)；包絡(luò)計(jì)算單元用于根據(jù)已經(jīng)消除抖動(dòng)和重復(fù)的運(yùn)動(dòng)軌跡和截面輪廓，計(jì)算出物體運(yùn)動(dòng)產(chǎn)生的包絡(luò)面；造型編輯單元用于對(duì)所建立的三維幾何模型進(jìn)行修改。
14.根據(jù)權(quán)利要求9所述的三維幾何建模系統(tǒng)，其特征在于，所述系統(tǒng)還包括語音輸入裝置用于輸入語音命令；語音識(shí)別單元用于根據(jù)預(yù)定的語音模型對(duì)從語音輸入裝置輸入的語音命令進(jìn)行識(shí)別；其中所述實(shí)時(shí)交互語義識(shí)別單元，用于對(duì)多視頻視覺分析單元的輸出以及語音識(shí)別單元的輸出進(jìn)行處理，獲得人機(jī)交互語義，并將所獲得的人機(jī)交互語義結(jié)果提供給三維幾何建模單元。
15.根據(jù)權(quán)利要求9所述的三維幾何建模系統(tǒng)，其特征在于，所述視頻輸入裝置的數(shù)量為4個(gè)，分別分布于設(shè)計(jì)師的右方、右前方、左前方和左方且置于適合設(shè)計(jì)師手勢(shì)表達(dá)的位置。
16.根據(jù)權(quán)利要求9所述的三維幾何建模系統(tǒng)，其特征在于，所述視頻輸入裝置的數(shù)量為6個(gè)，分別分布于設(shè)計(jì)師的前方、左前方、右前方、上方、左上方和右上方且置于適合設(shè)計(jì)師手勢(shì)表達(dá)的位置。
全文摘要
本發(fā)明公開一種三維幾何建模系統(tǒng)，包括若干視頻輸入裝置，用于采集設(shè)計(jì)師設(shè)計(jì)動(dòng)作的視頻流；多個(gè)單視頻流視覺分析單元，用于檢測(cè)視頻流中的運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，估計(jì)物體運(yùn)動(dòng)的方向和速度并預(yù)測(cè)下一個(gè)位置及計(jì)算運(yùn)動(dòng)物體的邊緣輪廓并估計(jì)輪廓特征；多視頻流視覺分析單元，用于進(jìn)行雙目立體匹配，進(jìn)行三維重建、物體運(yùn)動(dòng)軌跡擬合及計(jì)算運(yùn)動(dòng)物體截面；實(shí)時(shí)交互語義識(shí)別單元，用于對(duì)多視頻視覺分析單元的輸出進(jìn)行處理以獲得人機(jī)交互語義；三維幾何建模單元，用于獲得三維幾何設(shè)計(jì)造型；三維模型繪制單元，用于將幾何模型繪制到視頻輸出裝置上；視頻輸出裝置，用于顯示物體的幾何外形以及幾何形體設(shè)計(jì)師所設(shè)計(jì)的三維幾何造型。
文檔編號(hào)H04N13/00GK1747559SQ20051001227
公開日2006年3月15日 申請(qǐng)日期2005年7月29日 優(yōu)先權(quán)日2005年7月29日
發(fā)明者汪國平, 王宇宙, 張凱, 葛文兵 申請(qǐng)人:北京大學(xué)