專利名稱：圖形處理單元和信息處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
此處描述的實施例一般涉及圖形處理單元和使用圖形處理單元的信息處理設(shè)備。
背景技術(shù)：
通常，在諸如個人計算機的信息處理設(shè)備中，使用圖形處理單元(GPU)，以便提高信息處理設(shè)備的圖像描繪性能。大部分現(xiàn)代的GPU包括可并行操作的多個處理核，并且可以高速執(zhí)行例如2D或3D圖形運算操作。另一方面，通常通過被稱作“聲音控制器”的數(shù)字信號處理器(DSP)執(zhí)行信息處理設(shè)備中的音頻數(shù)據(jù)(也稱為“聲音數(shù)據(jù)”)的處理。然而，通常，DSP的運算處理性能相對較低。因此，DSP難以單獨對音頻數(shù)據(jù)執(zhí)行高級處理。另外，近來，已經(jīng)發(fā)展了被設(shè)計成處理視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者的介質(zhì)處理LSI。然而，由普通的介質(zhì)處理LSI實現(xiàn)的最多不過是對視頻數(shù)據(jù)進(jìn)行編碼或解碼的功能，以及對音頻數(shù)據(jù)進(jìn)行編碼或解碼的功能。此外，在普通的介質(zhì)處理LSI中，對視頻數(shù)據(jù)的處理和對音頻數(shù)據(jù)的處理是彼此獨立的。在包括視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)字內(nèi)容(例如電影、DVD視頻、廣播節(jié)目等等)中， 視頻數(shù)據(jù)和音頻數(shù)據(jù)是相關(guān)的。因此，在重放數(shù)字內(nèi)容的設(shè)備中，為了使得對視頻數(shù)據(jù)的處理和對音頻數(shù)據(jù)的處理彼此合作，需要實現(xiàn)新的功能。

發(fā)明內(nèi)容
該發(fā)明的目的是提供一種圖形處理單元和信息處理設(shè)備，其可以協(xié)同視頻數(shù)據(jù)處
理音頻數(shù)據(jù)。根據(jù)一個實施例，圖形處理單元包括主機接口、存儲器控制器、多個處理核、運算控制單元、視頻信號輸出接口和音頻信號輸出接口。主機接口從主機接收視頻數(shù)據(jù)和音頻數(shù)據(jù)。存儲器控制器將接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)存儲在存儲器中。運算控制單元通過使用多個處理核中的至少一個第一處理核，分析存儲器上的視頻數(shù)據(jù)的幀來檢測視頻數(shù)據(jù)的特征，并且通過使用多個處理核中的至少一個第二處理核，將與檢測到的視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到存儲器上的音頻數(shù)據(jù)。視頻信號輸出接口產(chǎn)生與視頻數(shù)據(jù)相對應(yīng)的視頻信號，并將產(chǎn)生的視頻信號輸出到顯示裝置。音頻信號輸出接口產(chǎn)生與已經(jīng)應(yīng)用處理的音頻數(shù)據(jù)相對應(yīng)的音頻信號，并將產(chǎn)生的音頻信號輸出到聲音裝置。


現(xiàn)在將參考附圖描述實現(xiàn)實施例的各種特征的一般構(gòu)造。附圖和相關(guān)說明被提供用于圖解實施例，而不用于限制本發(fā)明的范圍。圖1是圖解根據(jù)實施例的信息處理設(shè)備的結(jié)構(gòu)的示范性的立體圖；圖2是圖解實施例的信息處理設(shè)備的系統(tǒng)配置的示范性的框圖；圖3是圖解設(shè)置在實施例的信息處理設(shè)備中的圖形處理單元的結(jié)構(gòu)的示范性的框圖；圖4是用于說明由圖3中所示的圖形處理單元執(zhí)行的處理的流程的示意圖；圖5是用于說明由圖3中所示的圖形處理單元執(zhí)行的回響處理的流程的示意圖；圖6是用于說明通過圖3中所示的圖形處理單元對視頻數(shù)據(jù)和音頻數(shù)據(jù)執(zhí)行的處理的流程的示意圖；圖7是用于說明通過圖3中所示的圖形處理單元基于視頻數(shù)據(jù)的分析結(jié)果執(zhí)行的音頻處理的實例的示意圖；圖8是用于說明在使用常規(guī)的圖形處理單元的系統(tǒng)中的視頻數(shù)據(jù)和音頻數(shù)據(jù)的流程的示意圖；圖9是用于說明在使用圖3中所示的圖形處理單元的系統(tǒng)中的視頻數(shù)據(jù)和音頻數(shù)據(jù)的流程的示意圖；和圖10是用于說明圖3中所示的圖形處理單元的功能結(jié)構(gòu)的示意圖。
具體實施例方式以下將參考

各種實施例。通常，根據(jù)一個實施例，圖形處理單元包括主機接口、存儲器控制器、多個處理核、 運算控制單元、視頻信號輸出接口和音頻信號輸出接口。主機接口被配置成從主機接收視頻數(shù)據(jù)和音頻數(shù)據(jù)。存儲器控制器被配置成將接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)存儲在存儲器中。多個處理核被連接到存儲器。運算控制單元被配置成通過使用多個處理核中的至少一個第一處理核，分析存儲器上的視頻數(shù)據(jù)的幀來檢測視頻數(shù)據(jù)的特征，并且通過使用多個處理核中的至少一個第二處理核，將與檢測到的視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到存儲器上的音頻數(shù)據(jù)。視頻信號輸出接口被配置成產(chǎn)生與視頻數(shù)據(jù)相對應(yīng)的視頻信號，并將產(chǎn)生的視頻信號輸出到顯示裝置。音頻信號輸出接口被配置成產(chǎn)生與已經(jīng)應(yīng)用處理的音頻數(shù)據(jù)相對應(yīng)的音頻信號，并將產(chǎn)生的音頻信號輸出到聲音裝置。圖1是顯示根據(jù)實施例的信息處理設(shè)備的外觀的立體圖。該信息處理設(shè)備例如被實現(xiàn)為筆記本型個人計算機10。如圖1所示，計算機10包括計算機主體11和顯示單元 12。IXD (液晶顯示器)17裝配在顯示單元12中。顯示單元12被附接到計算機主體11，以使顯示單元12可在打開位置和閉合位置之間旋轉(zhuǎn)，在打開位置，計算機主體11的上表面被露出，在閉合位置，計算機主體11的上表面被覆蓋。計算機主體11具有薄盒形的外殼。鍵盤13、用于使計算機10通電/斷電的電源按鈕14、輸入操作面板15、觸摸板16以及揚聲器18A和18B被配置在計算機主體11的外殼的上表面上。各種操作按鈕被設(shè)置在輸入操作面板15上。計算機主體11的右側(cè)表面設(shè)置有USB連接器19，USB連接器19用于連接到例如 USB (通用串行總線)2. 0標(biāo)準(zhǔn)的USB電纜或USB裝置。另外，支持例如HDMI (高清晰多媒體接口)標(biāo)準(zhǔn)的外部顯示器連接端子(未顯示)被設(shè)置在計算機主體11的后表面。外部顯示器連接端子被用于將數(shù)字視頻信號輸出到外部顯示器。圖2是顯示計算機10的系統(tǒng)配置的圖。如圖2所示，計算機10包括CPU 101、北橋102、主存儲器103、南橋104、圖形處理單元(GPU) 105、存儲器105A、BI0S-R0M 107、LAN控制器108、硬盤驅(qū)動器(HDD) 109、光盤驅(qū)動器(ODD)、USB控制器111A、卡控制器111B、無線LAN控制器112、嵌入式控制器/鍵盤控制器(EC/KBC) 113 和 FEI3ROM 114。CPU 101是用于控制計算機10中的各個部件的操作的處理器。CPU 101執(zhí)行從 HDD109被裝載到主存儲器103中的操作系統(tǒng)(OS) 201和各種應(yīng)用程序。應(yīng)用程序包括用于重放各種數(shù)字內(nèi)容(例如電影、DVD視頻、廣播節(jié)目數(shù)據(jù)等等)的視頻播放器。視頻播放器被配置成通過使用GPU 105重放被包括在數(shù)字內(nèi)容中的視頻數(shù)據(jù)和音頻數(shù)據(jù)。CPU 101還執(zhí)行存儲在BIOS-ROM 107中的BIOS。BIOS是用于硬件控制的程序。北橋102是連接CPU 101的局部總線和南橋104的橋裝置。北橋102包括存取控制主存儲器103的存儲器控制器。北橋102還具有經(jīng)由例如PCI EXPRESS串行總線與GPU 105通信的功能。GPU 105控制用作計算機10的顯示監(jiān)視器的IXD 17和外部顯示器。由GPU 105 產(chǎn)生的視頻信號被發(fā)送到IXD 17。另外，GPU 105可以經(jīng)由HDMI控制電路3和HDMI端子 2將數(shù)字視頻信號發(fā)送到外部顯示器1。HDMI端子2是以上描述的外部顯示器接線端子。 HDMI端子2能夠經(jīng)由單個電纜將無壓縮的數(shù)字視頻信號和數(shù)字音頻信號發(fā)送到諸如TV的外部顯示器1。HDMI控制電路3是用于經(jīng)由HDMI端子2將數(shù)字視頻信號發(fā)送到外部顯示器1的接口，外部顯示器1被稱作“HDMI監(jiān)視器”。GPU 105經(jīng)由例如PCI Express串行總線被耦接到CPU 101。GPU 105被配置成按照來自CPU 101的請求，處理圖形數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)。更具體地，GPU 105包括用于將音頻信號(也稱為“聲音信號”)輸出到揚聲器或其它外部聲音裝置的音頻信號輸出接口(音頻信號輸出接口單元)、以及分析和處理音頻數(shù)據(jù)的功能。因此，在計算機10中，GPU 105不但可以處理圖形數(shù)據(jù)，而且還可以處理視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者。由GPU 105產(chǎn)生的視頻信號和音頻信號(也稱為聲音信號)被直接地從GPU 105輸出到顯示裝置(例如，IXD 17，外部顯示器)和聲音裝置(揚聲器18A、18B，外部聲音裝置)。如此，在本實施例中，GPU 105可以同時處理視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者，并且可以直接將對應(yīng)于視頻數(shù)據(jù)的視頻信號和對應(yīng)于音頻數(shù)據(jù)的音頻信號輸出到外面。GPU 105合并多個處理核(流處理器)。GPU 105經(jīng)由例如PCI EXPRESS總線接收來自CPU 101的音頻數(shù)據(jù)，并通過使用至少一個處理核來處理接收到的音頻數(shù)據(jù)。處理核對音頻數(shù)據(jù)的處理可以通過由固件或軟件控制與處理核相對應(yīng)的指令組來實現(xiàn)。從而，可以使得由GPU 105執(zhí)行的音頻數(shù)據(jù)的處理是可編程的，并且可以由GPU 105執(zhí)行對音頻數(shù)據(jù)的各種處理(編輯)。音頻數(shù)據(jù)的編輯意味著采用對音頻數(shù)據(jù)的處理。音頻數(shù)據(jù)的編輯包括，例如，各種聲音效果、各種濾波器、2D到3D的聲音轉(zhuǎn)換以及音量控制。例如，GPU 105可以根據(jù)裝載在處理核上的程序分析音頻數(shù)據(jù)，并且可以根據(jù)分析結(jié)果適當(dāng)?shù)靥幚?編輯) 音頻數(shù)據(jù)。類似地，GPU 105還可以經(jīng)由例如PCI EXPRESS總線從CPU 101接收視頻數(shù)據(jù)，并通過使用至少一個處理核來處理接收到的視頻數(shù)據(jù)。處理核對視頻數(shù)據(jù)的處理也可以通過由固件或軟件控制與處理核相對應(yīng)的指令組來實現(xiàn)。從而，可以使得由GPU 105執(zhí)行的視頻數(shù)據(jù)的處理是可編程的，并且可以由GPU 105執(zhí)行對視頻數(shù)據(jù)的各種處理(編輯)。視頻數(shù)據(jù)的編輯意味著采用對視頻數(shù)據(jù)的處理。視頻數(shù)據(jù)的編輯包括，例如，高分辨率轉(zhuǎn)換、2D 到3D的視頻轉(zhuǎn)換、縮放以及旋轉(zhuǎn)。GPU 105可以根據(jù)裝載在處理核上的程序分析視頻數(shù)據(jù)的每個幀，并且可以根據(jù)分析結(jié)果適當(dāng)?shù)靥幚?編輯)視頻數(shù)據(jù)。此外，GPU 105可以按照視頻數(shù)據(jù)的內(nèi)容適當(dāng)?shù)靥幚硪纛l數(shù)據(jù)。在這種情況下， GPU105通過分析視頻數(shù)據(jù)的幀來檢測視頻數(shù)據(jù)的特征，并且將與檢測到的視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到音頻數(shù)據(jù)。例如，GPU 105基于視頻數(shù)據(jù)的特征檢測視頻數(shù)據(jù)中的具體場景(例如會話場景、暗圖像場景、亮圖像場景、快速移動場景、緩慢移動場景等等)，并且將與具體場景有關(guān)的預(yù)定處理應(yīng)用到屬于檢測到的具體場景的音頻數(shù)據(jù)中的每個幀。在每個視頻幀的分析中，例如，GPU 105可以產(chǎn)生視頻數(shù)據(jù)的每個幀的直方圖，并且可以基于該直方圖檢測每個視頻幀的特征。反之，GPU 105可以通過使用至少一個處理核分析音頻數(shù)據(jù)的幀來檢測音頻數(shù)據(jù)的特征，并且可以通過使用至少一個其他處理核將與檢測到的音頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到視頻數(shù)據(jù)。視頻數(shù)據(jù)的處理結(jié)果和音頻數(shù)據(jù)的處理結(jié)果可以被直接輸出到外面，作為視頻信號和音頻信號?；蛘?，視頻數(shù)據(jù)的處理結(jié)果和音頻數(shù)據(jù)的處理結(jié)果可以從GPU 105被傳送到CPU 101。此外，為了遞歸地執(zhí)行視頻數(shù)據(jù)的處理和音頻數(shù)據(jù)的處理，視頻數(shù)據(jù)的處理結(jié)果和音頻數(shù)據(jù)的處理結(jié)果可以被反饋到GPU 105中的相關(guān)的處理核。此外，GPU 105可以將時間戳(時間碼)添加到視頻數(shù)據(jù)中的每個視頻幀和音頻數(shù)據(jù)中的每個音頻幀。通過時間戳，處理的視頻數(shù)據(jù)和處理的音頻數(shù)據(jù)可以被同步化，并且與處理的視頻數(shù)據(jù)相對應(yīng)的視頻信號和與處理的音頻數(shù)據(jù)相對應(yīng)的音頻信號可以在視頻信號和音頻信號被同步化的狀態(tài)下被輸出到外面。南橋104控制PCI (外設(shè)部件互連)總線上的裝置和LPC (低引腳計數(shù))總線上的裝置。南橋104包括用于控制HDD 109和ODD 110的IDE (集成驅(qū)動電子設(shè)備)控制器。LAN控制器108是執(zhí)行例如IEEE 802. 3標(biāo)準(zhǔn)的有線通信的有線通信裝置。另一方面，無線LAN控制器112是執(zhí)行例如IEEE 802. Ilg標(biāo)準(zhǔn)的無線通信的無線通信裝置。USB 控制器IllA與支持例如USB 2. 0標(biāo)準(zhǔn)的外部裝置(該外部裝置經(jīng)由USB連接器19被連接)通信?？刂破鱅llB執(zhí)行對諸如SD卡的存儲器卡的數(shù)據(jù)寫入和數(shù)據(jù)讀取，存儲器卡被插入設(shè)置在計算機主體11中的卡槽中。EC/KBC 113是單片微型計算機，其中集成了用于電源管理的嵌入式控制器和用于控制鍵盤13和觸摸板16的鍵盤控制器。EC/KBC 113具有按照用戶對電源按鈕14的操作使計算機10通電/斷電的功能。接下來，參照圖3，描述GPU 105的結(jié)構(gòu)。GPU 105包括PCI Express接口 201、網(wǎng)絡(luò)集線器202、圖形引擎203、多個流處理器(SP) 204、存儲器控制器205、存儲器105A、視頻信號輸出接口 206和音頻信號輸入/輸出接口 207。PCI Express接口 201是主機接口(主機接口單元)，用于與主機(CPU 101，主存儲器103)通信。PCI Express接口 201從主機(CPU 101，主存儲器103)接收圖形數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)。另外，PCI Express接口 201從主機接收用于處理圖形數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)的請求(指令)。已經(jīng)通過PCI Express接口 201從CPU 101接收到的圖形數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)通過存儲器控制器205被存儲在存儲器105A中(緩沖)。存儲器 105A是稱為“幀緩沖器”或“視頻存儲器”的存儲器。存儲器105A被用作GPU 105的本地存儲器。通過例如經(jīng)由存儲器總線連接到GPU 105的外部存儲器或裝配在GPU 105中內(nèi)部存儲器、或者外部存儲器和內(nèi)部存儲器兩者，來實現(xiàn)存儲器105A。內(nèi)部存儲器可以是高速緩沖存儲器。圖形引擎203通過使用流處理器(SP) 204對圖形數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)執(zhí)行處理。每個流處理器(SP)204用作處理核(也稱為“可編程的著色器”)，其可以執(zhí)行圖形運算操作和通用的運算操作。可以通過在每個流處理器(SP) 204中的從圖形引擎203裝載的指令，來確定由每個流處理器(SP) 204執(zhí)行的運算操作的內(nèi)容。每個流處理器(SP) 204 可以經(jīng)由存儲器控制器205參考存儲器105A上的圖形數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)。此外， 每個流處理器(SP) 204可以經(jīng)由存儲器控制器205將圖形數(shù)據(jù)、視頻數(shù)據(jù)或音頻數(shù)據(jù)的處理結(jié)果寫入存儲器105A。將要執(zhí)行的處理通過圖形引擎203被分配給各個流處理器(SP) 204。在這種意義上，圖形引擎203是將多個處理(任務(wù))分配到多個流處理器(SP) 204，從而并行地執(zhí)行多個處理的分配器(也稱為“程序機”)。在本實施例中，為了能夠按照視頻數(shù)據(jù)的每個幀的分析結(jié)果適當(dāng)?shù)靥幚硪纛l數(shù)據(jù)的每個幀，圖形引擎203包括運算控制單元203A。運算控制單元203A將第一任務(wù)分配給多個流處理器(SP) 204中的至少一個第一流處理器(SP) 204，第一任務(wù)用于通過分析存儲器105A上的視頻數(shù)據(jù)的幀來檢測視頻數(shù)據(jù)的特征。這個任務(wù)可以被實現(xiàn)為線程(thread)。此外，運算控制單元203A將第二任務(wù)分配給多個流處理器(SP)204中的至少一個第二流處理器(SP) 204，第二任務(wù)用于將與檢測到的視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到存儲器105A上的音頻數(shù)據(jù)。第一任務(wù)和第二任務(wù)通過不同的流處理器(SF) 204被并行執(zhí)行。分配第一任務(wù)的每個第一流處理器(SF) 204執(zhí)行從運算控制單元203A裝載到第一流處理器(SF) 204中的指令。每個第一流處理器(SF) 204從存儲器105A中取出視頻數(shù)據(jù)的幀，并分析該幀的圖像。在分析處理中，可以執(zhí)行例如檢測每個視頻幀的圖像特征的處理、檢測視頻幀中出現(xiàn)的特定物體(例如人)的處理、檢測特定物體的運動的處理以及檢測在視頻幀中的特定物體的位置的處理。指示每個視頻幀的特征的分析處理結(jié)果被存儲在存儲器105A中。分配第二任務(wù)的每個第二流處理器(SF) 204執(zhí)行從運算控制單元203A裝載到第二流處理器(SF) 204中的指令。例如，基于指示存儲在存儲器105A中的每個視頻幀的特征的分析處理結(jié)果，每個第二流處理器(SF) 204將與相應(yīng)的視頻幀的特征有關(guān)的處理(編輯) 應(yīng)用到每個音頻幀。在這種情況下，每個第二流處理器204從存儲器105A中取出音頻數(shù)據(jù)的幀，并且將與相應(yīng)的視頻幀的特征有關(guān)的處理(編輯)應(yīng)用到取出的音頻數(shù)據(jù)的幀。在本實施例中，如上所述，通過使用多個流處理器(SP) 204，可以并行地執(zhí)行分析存儲器105A上的視頻數(shù)據(jù)的處理和按照視頻數(shù)據(jù)的分析結(jié)果將處理(編輯)應(yīng)用到存儲器105A上的音頻數(shù)據(jù)的處理。視頻信號輸出接口(視頻信號輸出接口單元)206產(chǎn)生與由流處理器(SP) 204處理的視頻數(shù)據(jù)相對應(yīng)的視頻信號，并將產(chǎn)生的視頻信號輸出到顯示裝置。視頻信號輸出接口 206包括數(shù)模轉(zhuǎn)換器(DAC) 301、顯示模擬輸出接口(顯示模擬輸出接口單元)302和顯示數(shù)字輸出接口(顯示數(shù)字輸出接口單元)303。數(shù)模轉(zhuǎn)換器(DAC) 301和顯示模擬輸出接口 302從處理的視頻數(shù)據(jù)中產(chǎn)生模擬視頻信號(RGB信號)。模擬視頻信號(RGB信號)經(jīng)由設(shè)置在GPU 105中的模擬視頻信號輸出插腳被輸出到外部的RGB監(jiān)視器。顯示數(shù)字輸出接口 303從處理的視頻數(shù)據(jù)中產(chǎn)生數(shù)字視頻信號。數(shù)字視頻信號經(jīng)由設(shè)置在GPU105中的數(shù)字視頻信號輸出插腳被輸出到外部的數(shù)字監(jiān)視器(DVI監(jiān)視器、HDMI監(jiān)視器、DP監(jiān)視器等
寸J ο音頻信號輸入/輸出接口(音頻信號輸入/輸出接口單元)207從外部裝置接收音頻信號，并且輸出音頻信號到外部裝置。音頻信號輸入/輸出接口 207包括數(shù)模轉(zhuǎn)換器 (DAC)311、聲音模擬輸出接口(聲音模擬輸出接口單元)312、模數(shù)轉(zhuǎn)換器(ADC)313、聲音模擬輸入接口(聲音模擬輸入接口單元)314、聲音數(shù)字輸出接口(聲音數(shù)字輸出接口單元)315以及聲音數(shù)字輸入接口(聲音數(shù)字輸入接口單元)316。數(shù)模轉(zhuǎn)換器(DAC) 311和聲音模擬輸出接口 312從處理的音頻數(shù)據(jù)中產(chǎn)生模擬音頻信號(也稱為“模擬聲音信號”)。模擬音頻信號經(jīng)由設(shè)置在GPU 105中的模擬音頻信號輸出插腳被輸出到揚聲器或其它的外部模擬聲音裝置。聲音模擬輸入接口 314從麥克風(fēng)等輸入模擬音頻信號，并且模數(shù)轉(zhuǎn)換器(ADC) 313將輸入的模擬音頻信號轉(zhuǎn)換成數(shù)字音頻信號。聲音數(shù)字輸出接口 315從處理的音頻數(shù)據(jù)產(chǎn)生數(shù)字音頻信號(也稱為“數(shù)字聲音信號”)。數(shù)字音頻信號經(jīng)由設(shè)置在GPU 105中的數(shù)字音頻信號輸出插腳被輸出到外部的數(shù)字聲音裝置。聲音數(shù)字輸入接口 316從外面輸入數(shù)字音頻信號。輸入音頻信號還可以通過流處理器(SP) 204被處理。例如運算控制單元203A還可以通過使用至少一個流處理器(SP) 204，執(zhí)行識別從麥克風(fēng)輸入的語音信號(音頻信號) 的語音識別處理。語音識別的結(jié)果可以經(jīng)由PCI Express接口 201被發(fā)送到主機。在實施例中，如上所述，GPU 105另外設(shè)置有輸入/輸出音頻信號所必需的外部接口。此外，通過使用GPU 105的存儲器105A和流處理器204執(zhí)行高級音頻處理，在高級音頻處理中，通常在DSP中被實現(xiàn)的音頻處理被擴展。因此，用于處理音頻的DSP可以從計算機10的系統(tǒng)中被排除，并且可以減少系統(tǒng)的總成本。圖4圖解了由流處理器(SP) 204執(zhí)行的運算處理。來自運算控制單元203A的至少一個指令被輸入到流處理器204(輸入?yún)R編器)。按照指令，流處理器(SP)從存儲器105A 中取出數(shù)據(jù)，并對取出的數(shù)據(jù)執(zhí)行各種運算操作。通過指令確定執(zhí)行的運算操作的內(nèi)容。流處理器(SP) 204連續(xù)地執(zhí)行數(shù)據(jù)的取出和運算操作，同時根據(jù)需要將運算結(jié)果寫入存儲器 105A或?qū)⑦\算結(jié)果反饋到流處理器(SP) 204本身。圖5圖解了由流處理器(SP) 204執(zhí)行的回響處理的運算處理的實例。以下指令被預(yù)裝載在流處理器(SP) 204中數(shù)據(jù)[n]=數(shù)據(jù)[η]+ 數(shù)據(jù)[n-1] XR其中R是表示回響處理中的回響的強度的系數(shù)。音頻數(shù)據(jù)包括以時間系列方式排列的一系列數(shù)據(jù)(Α、B、C、D、...)。音頻數(shù)據(jù)被預(yù)先緩存在存儲器105Α中。流處理器(SP) 204從存儲器105Α中獲取音頻數(shù)據(jù)作為離散數(shù)據(jù)，并執(zhí)行預(yù)先給出的指令。因此，最后通過流處理器(SP) 204產(chǎn)生音頻數(shù)據(jù)，在該音頻數(shù)據(jù)中，回響效果被應(yīng)用到每個離散數(shù)據(jù)。在圖5中的“輸出”部分中，GPU 105將音頻信號輸出到外面，該音頻信號對應(yīng)于已經(jīng)經(jīng)過回響處理的音頻數(shù)據(jù)，即，已經(jīng)應(yīng)用回響效果的音頻數(shù)據(jù)。在上述方式中，可以通過GPU 10中的流處理器(SP) 204執(zhí)行DSP的替代處理。接下來，參考圖6，給出由GPU 105執(zhí)行的視頻數(shù)據(jù)和音頻數(shù)據(jù)的處理流程的說明。在本實施例中，所有的以下處理可以由GPU 105完成。(I)GPU 105從主機接收視頻數(shù)據(jù)和音頻數(shù)據(jù)，并將接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)存儲在存儲器105A中。另外，GPU 105可以從主機接收其中視頻數(shù)據(jù)和音頻數(shù)據(jù)被多路傳輸?shù)牧鲾?shù)據(jù)，并且可以將接收到的流數(shù)據(jù)存儲在存儲器105A中。(2)GPU 105分析視頻數(shù)據(jù)，并按照視頻數(shù)據(jù)的分析結(jié)果處理該視頻數(shù)據(jù)。通過 GPU105中的至少一個流處理器(SP) 204，執(zhí)行視頻數(shù)據(jù)的分析和處理。根據(jù)裝載在流處理器(SP) 204中的指令，流處理器(SP) 204執(zhí)行視頻數(shù)據(jù)的分析和處理。在與視頻數(shù)據(jù)的分析和處理并行中，GPU 105可以分析音頻數(shù)據(jù)并按照音頻數(shù)據(jù)的分析結(jié)果處理該音頻數(shù)據(jù)。 通過GPU 105中的至少一個流處理器(SP) 204，執(zhí)行音頻數(shù)據(jù)的分析和處理。根據(jù)裝載在流處理器(SP) 204中的指令，流處理器(SP) 204執(zhí)行音頻數(shù)據(jù)的分析和處理。(3)在視頻數(shù)據(jù)的處理中，為了當(dāng)前的視頻幀的運算操作，可以反饋前一個視頻幀的運算結(jié)果。類似地，在音頻數(shù)據(jù)的處理中，為了當(dāng)前的音頻幀的運算操作，可以反饋前一個音頻幀的運算結(jié)果。此外，如上所述，基于每個視頻幀的分析結(jié)果，GPU 105可以處理相應(yīng)的音頻幀。(4)GPU 105將與處理的視頻數(shù)據(jù)相對應(yīng)的視頻信號和與處理的音頻數(shù)據(jù)相對應(yīng)的音頻信號直接輸出到外面。由此，一旦數(shù)據(jù)被裝載在GPU 105的存儲器105A中之后，GPU 105就不需要與 CPUlOl通信。因此，可以減少CPU資源。接下來，參考圖7，給出其中基于視頻幀的分析結(jié)果處理音頻幀的實例的說明?，F(xiàn)在描述該情況，舉例來說，其中屬于正在說話的人的場景的音頻數(shù)據(jù)中的每個幀被處理成加強人的語音，以便該語音可以被容易地聽到。在流處理器(SP)204中，預(yù)裝載執(zhí)行以下處理的指令。(1)分析視頻數(shù)據(jù)的每個幀的圖像，搜索嘴唇，并識別嘴唇的動作。(2)從嘴唇的動作中，檢測(識別)“其中人正在說話的場景”。(3)在屬于人正在說話的場景的音頻數(shù)據(jù)的每個幀上，執(zhí)行人的聲帶范圍的開啟、 均衡等的處理，以便可以加強聲帶范圍。(4)處理的音頻數(shù)據(jù)的每個幀被反饋到存儲器105A上的相應(yīng)的音頻幀。隨后，一些流處理器(SP) 204從存儲器105A取出視頻數(shù)據(jù)和音頻數(shù)據(jù)，并執(zhí)行預(yù)先給出的指令。因此，最后，通過流處理器(SP)204產(chǎn)生音頻數(shù)據(jù)，在該音頻數(shù)據(jù)中，人的音帶范圍在人正在說話的場景中被加強。然后，與視頻數(shù)據(jù)相對應(yīng)的視頻信號和與處理的音頻數(shù)據(jù)相對應(yīng)的音頻信號被直接輸出到外面?；谝曨l幀的分析結(jié)果來處理音頻幀的實例不局限于上述實例。例如，音頻數(shù)據(jù)中的每個幀的音量可以按照視頻數(shù)據(jù)中的每個幀的亮度被調(diào)整。在這種情況下，可以降低與相對暗的場景相對應(yīng)的音頻數(shù)據(jù)的音量，并且可以增大與相對亮的場景相對應(yīng)的音頻數(shù)據(jù)的音量。另外，回響處理或環(huán)繞處理可以被應(yīng)用到屬于特定場景的每個音頻幀。同時，近年來，已經(jīng)發(fā)展了所謂的“GPGPU”環(huán)境，在“GPGPU”環(huán)境中，GPU被用于通用的操作。為了使得GPU執(zhí)行通用的運算操作，使用“GPGPU”環(huán)境，通用的運算操作諸如科學(xué)上的和技術(shù)上的運算操作。在“GPGPU”環(huán)境中，將指令和數(shù)據(jù)從CPU發(fā)送到GPU，并且將通過GPU獲得的運算結(jié)果從GPU發(fā)送回CPU。因此，即使如圖8所示，(1)將音頻數(shù)據(jù)從CPU 501輸入到常規(guī)的GPU 503，(2)音頻數(shù)據(jù)的處理結(jié)果也需要從GPU 503被發(fā)送回CPU 501， 并且進(jìn)一步地(3)音頻數(shù)據(jù)的處理結(jié)果需要從CPU 501被傳送到DSP504。從而，消耗許多總線帶。在本實施例中，如圖9所示，GPU 105可以通過使用流處理器(SP) 204處理視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者，并且GPU 105可以直接輸出視頻信號和音頻信號。因此，簡單地通過 (1)將視頻數(shù)據(jù)和音頻數(shù)據(jù)從CPU 101傳送到GPU 105，(2)GPU 105可以輸出視頻信號和音頻信號。因此，可以不消耗CPU資源或總線帶。接下來，參考圖10，描述GPU 105的功能結(jié)構(gòu)。GPU 105包括視頻流緩沖器601、視頻解碼器602、視頻幀緩沖器603、音頻流緩沖器604、音頻解碼器605、音頻幀緩沖器606、視頻&音頻編輯處理模塊607和視頻&音頻同步處理模塊608。視頻流緩沖器601、視頻幀緩沖器603、音頻流緩沖器604和音頻幀緩沖器 606是存儲器105A上的存儲區(qū)域。視頻流緩沖器601是用于存儲從主機傳送的視頻數(shù)據(jù)流的緩沖器。視頻數(shù)據(jù)流可以被編碼。音頻流緩沖器604是用于存儲從主機傳送的音頻數(shù)據(jù)流的緩沖器。音頻數(shù)據(jù)流也可以被編碼。視頻解碼器602從視頻流緩沖器601中取出視頻數(shù)據(jù)，并對取出的視頻數(shù)據(jù)進(jìn)行解碼。通過對視頻數(shù)據(jù)進(jìn)行解碼，幀單元數(shù)據(jù)、伴隨每個幀的信息(例如顏色信息)以及用于同步的時間碼被提取。顏色信息指示相應(yīng)的視頻幀的顏色格式(YUV，RGB)。通過解碼以逐幀為基礎(chǔ)獲得的視頻幀(圖像數(shù)據(jù))、顏色信息和時間碼被存儲在視頻幀緩沖器603中。 可以通過使得例如至少一個流處理器(SP) 204執(zhí)行解碼處理來實現(xiàn)視頻解碼器602。換句話說，可以通過運算控制單元203A和至少一個流處理器(SP)來實現(xiàn)視頻解碼器602，通過運算控制單元203A將用于視頻解碼的任務(wù)分配給至少一個流處理器(SP) 204。音頻解碼器605從音頻流緩沖器604中取出音頻數(shù)據(jù)，并對取出的音頻數(shù)據(jù)進(jìn)行解碼。通過對音頻數(shù)據(jù)進(jìn)行解碼，幀單元數(shù)據(jù)、伴隨每個幀的信息以及用于同步的時間碼被提取。通過解碼以逐幀為基礎(chǔ)獲得的音頻幀(數(shù)據(jù))和時間碼被存儲在音頻幀緩沖器606 中。視頻&音頻編輯處理模塊607執(zhí)行視頻幀緩沖器603上的視頻數(shù)據(jù)的分析和處理，并且還執(zhí)行音頻幀緩沖器606上的音頻數(shù)據(jù)的分析和處理。此外，視頻&音頻編輯處理模塊607還可以基于視頻幀緩沖器603上的視頻數(shù)據(jù)的幀的分析結(jié)果，處理音頻幀緩沖器 606上的音頻數(shù)據(jù)。視頻&音頻編輯處理模塊607可以通過運算控制單元203A、由運算控制單元203A分配有用于視頻分析的任務(wù)的至少一個流處理器(SP) 204和由運算控制單元 203A分配有用于音頻編輯的任務(wù)的至少一個流處理器(SP) 204來實現(xiàn)。視頻&音頻編輯處理模塊607還可以基于音頻幀緩沖器606上的音頻數(shù)據(jù)的每個幀的分析結(jié)果，處理視頻幀緩沖器603上的視頻數(shù)據(jù)的每個幀。視頻&視頻編輯處理模塊 607可以通過運算控制單元203A、由運算控制單元203A分配有用于音頻分析的任務(wù)的至少一個流處理器(SP) 204和由運算控制單元203A分配有用于視頻編輯的任務(wù)的至少一個流處理器(SP) 204來實現(xiàn)。視頻&音頻同步處理模塊608通過使用每個被分析和處理的視頻幀的時間碼以及每個被分析和處理的音頻幀的時間碼，使視頻數(shù)據(jù)和音頻數(shù)據(jù)同步。與處理的視頻數(shù)據(jù)相對應(yīng)的視頻信號經(jīng)由視頻信號輸出接口 206被輸出到外面。同時，與處理的音頻數(shù)據(jù)相對應(yīng)的音頻信號經(jīng)由音頻信號輸入/輸出接口 207被輸出到外面。在以上說明中，已經(jīng)主要描述了以合作的方式處理視頻數(shù)據(jù)和音頻數(shù)據(jù)的實例。 類似地，可以按照圖形數(shù)據(jù)的每個幀的分析結(jié)果處理音頻數(shù)據(jù)的每個幀。已經(jīng)如上所述，根據(jù)本實施例，GPU 105可以適當(dāng)?shù)貙⑴c例如視頻數(shù)據(jù)的每個場景的特征相對應(yīng)的各種處理應(yīng)用到音頻數(shù)據(jù)。另外，GPU 105可以將與視頻數(shù)據(jù)相對應(yīng)的視頻信號和與音頻數(shù)據(jù)相對應(yīng)的音頻信號直接輸出到外面。因此，音頻數(shù)據(jù)可以協(xié)同視頻數(shù)據(jù)被處理。此處描述的系統(tǒng)的各種模塊可以被實現(xiàn)為軟件應(yīng)用程序、硬件和/或軟件模塊、 或者諸如服務(wù)器的一個或多個計算機上的部件。同時，各種模塊被分開圖示，它們可以共用一些或全部相同的基礎(chǔ)邏輯或密碼。雖然已經(jīng)描述了某些實施例，但是這些實施例僅僅是通過實例的方式來呈現(xiàn)，而并不意欲限制本發(fā)明的范圍。實際上，此處描述的新的實施例可以被具體化為各種其他形態(tài)；此外，在沒有背離本發(fā)明的精神的情況下，可以對此處描述的實施例作出各種省略、置換和改變。附有的權(quán)利要求書和它們的同等物是用來覆蓋這種作為將落入本發(fā)明的范圍和精神之內(nèi)的形態(tài)或修改。
權(quán)利要求
1.一種圖形處理單元，其特征在于，包括配置成從主機接收視頻數(shù)據(jù)和音頻數(shù)據(jù)的主機接口；配置成將接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)存儲在存儲器中的存儲器控制器；連接到所述存儲器的多個處理核；運算控制單元，配置成通過使用所述多個處理核中的至少一個第一處理核，分析所述存儲器上的所述視頻數(shù)據(jù)的幀來檢測所述視頻數(shù)據(jù)的特征，以及通過使用所述多個處理核中的至少一個第二處理核，將與檢測到的所述視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到所述存儲器上的所述音頻數(shù)據(jù)；視頻信號輸出接口，配置成產(chǎn)生與所述視頻數(shù)據(jù)相對應(yīng)的視頻信號，并將產(chǎn)生的視頻信號輸出到顯示裝置；和音頻信號輸出接口，配置成產(chǎn)生與已經(jīng)被應(yīng)用所述處理的所述音頻數(shù)據(jù)相對應(yīng)的音頻信號，并將產(chǎn)生的音頻信號輸出到聲音裝置。
2.如權(quán)利要求1所述的圖形處理單元，其特征在于，所述運算控制單元被配置成基于所述視頻數(shù)據(jù)的所述特征來檢測所述視頻數(shù)據(jù)中的特定場景，并將預(yù)定處理應(yīng)用到屬于所述特定場景的所述音頻數(shù)據(jù)的每個幀。
3.如權(quán)利要求1所述的圖形處理單元，其特征在于，所述運算控制單元被配置成將第一任務(wù)分配給所述至少一個第一處理核，并且將第二任務(wù)分配給所述至少一個第二處理核，所述第一任務(wù)用于通過分析所述存儲器上的所述視頻數(shù)據(jù)的所述幀來檢測所述視頻數(shù)據(jù)的所述特征，所述第二任務(wù)用于將與檢測到的所述視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到所述存儲器上的所述音頻數(shù)據(jù)。
4.如權(quán)利要求1所述的圖形處理單元，其特征在于，所述運算控制單元被配置成通過使用所述多個處理核中的至少一個處理核，分析所述存儲器上的所述音頻數(shù)據(jù)的幀來檢測所述音頻數(shù)據(jù)的特征，并且通過使用所述多個處理核中的至少一個處理核，將與檢測到的所述音頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到所述存儲器上的所述視頻數(shù)據(jù)。
5.如權(quán)利要求1所述的圖形處理單元，其特征在于，進(jìn)一步包括配置成從所述聲音裝置輸入音頻信號的音頻信號輸入接口。
6.一種信息處理設(shè)備，其特征在于，包括 CPU ；和圖形控制器，耦接到所述CPU，并且配置成按照來自所述CPU的請求處理圖形數(shù)據(jù)、視頻數(shù)據(jù)和音頻數(shù)據(jù)，其中，所述圖形控制器包括配置成從所述CPU接收視頻數(shù)據(jù)和音頻數(shù)據(jù)的主機接口 ；配置成將接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)存儲在存儲器中的存儲器控制器；連接到所述存儲器的多個處理核；運算控制單元，配置成通過使用所述多個處理核中的至少一個第一處理核，分析所述存儲器上的所述視頻數(shù)據(jù)的幀來檢測所述視頻數(shù)據(jù)的特征，以及通過使用所述多個處理核中的至少一個第二處理核，將與檢測到的所述視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到所述存儲器上的所述音頻數(shù)據(jù)；視頻信號輸出接口，配置成產(chǎn)生與所述視頻數(shù)據(jù)相對應(yīng)的視頻信號，并將產(chǎn)生的視頻信號輸出到顯示裝置；和音頻信號輸出接口，配置成產(chǎn)生與已經(jīng)被應(yīng)用所述處理的所述音頻數(shù)據(jù)相對應(yīng)的音頻信號，并將產(chǎn)生的音頻信號輸出到聲音裝置。
7.如權(quán)利要求6所述的信息處理設(shè)備，其特征在于，所述運算控制單元被配置成基于所述視頻數(shù)據(jù)的所述特征來檢測所述視頻數(shù)據(jù)中的特定場景，并將預(yù)定處理應(yīng)用到屬于所述特定場景的所述音頻數(shù)據(jù)的每個幀。
8.如權(quán)利要求6所述的信息處理設(shè)備，其特征在于，所述運算控制單元被配置成將第一任務(wù)分配給所述至少一個第一處理核，并且將第二任務(wù)分配給所述至少一個第二處理核，所述第一任務(wù)用于通過分析所述存儲器上的所述視頻數(shù)據(jù)的所述幀來檢測所述視頻數(shù)據(jù)的所述特征，所述第二任務(wù)用于將與檢測到的所述視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到所述存儲器上的所述音頻數(shù)據(jù)。
全文摘要
本發(fā)明提供一種圖形處理單元和信息處理設(shè)備。根據(jù)一個實施例，圖形處理單元(105)通過使用多個處理核(204)中的至少一個第一處理核(204)，分析視頻數(shù)據(jù)的幀來檢測視頻數(shù)據(jù)的特征，并且通過使用多個處理核(204)中的至少一個第二處理核(204)，將與檢測到的視頻數(shù)據(jù)的特征有關(guān)的處理應(yīng)用到存儲器(105A)上的音頻數(shù)據(jù)。圖形處理單元(105)包括音頻信號輸出接口(207)，并將與已經(jīng)被應(yīng)用處理的音頻數(shù)據(jù)相對應(yīng)的音頻信號輸出到聲音裝置。
文檔編號G06T1/20GK102314671SQ20111013405
公開日2012年1月11日 申請日期2011年5月12日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者八矢好司, 巖城力 申請人:株式會社東芝