專利名稱：圖像信號處理器復(fù)用的制作方法
圖像信號處理器復(fù)用背景本文描述的主題一般涉及圖像處理領(lǐng)域，且尤其涉及圖像信號處理器復(fù)用的系統(tǒng)和方法。諸如移動電話、個人數(shù)字助理、便攜計算機(jī)等電子設(shè)備可包括相機(jī)以捕捉圖像。作為示例，移動電話可包括設(shè)置在電話背面上的相機(jī)以捕捉圖像。電子設(shè)備可配備有圖像信號處理流水線以捕捉由相機(jī)收集的圖像、處理圖像并將圖像存儲在存儲器中和/或顯示圖像。用于使電子設(shè)備配備有多個相機(jī)的技術(shù)可找到實用。 附圖簡述參考附圖來描述具體實施方式
。圖I是根據(jù)一些實施例用于圖像信號處理器復(fù)用的電子設(shè)備的示意圖。圖2是根據(jù)實施例用于圖像信號處理器復(fù)用的組件的示意圖。圖3是根據(jù)一些實施例的圖像信號處理器復(fù)用中的數(shù)據(jù)流的示意圖。圖4是示出根據(jù)一些實施例的圖像信號處理器復(fù)用的流程圖。
具體實施例方式本文描述的是用于圖像信號處理器復(fù)用的示例性系統(tǒng)和方法。在以下描述中，闡述了許多具體細(xì)節(jié)以提供對各實施例的透徹理解。然而，本領(lǐng)域的技術(shù)人員將理解無需這些具體細(xì)節(jié)就可實踐各實施例。在其它實例中，并未對公知方法、程序、組件以及電路進(jìn)行詳細(xì)圖示和描述以免模糊具體實施例。在一些實施例中，本文描述的主題使得電子設(shè)備能夠配備有多個相機(jī)而不需要獨(dú)立的圖像信號處理器信道。因此，本文描述的系統(tǒng)和方法使得電子設(shè)備能夠通過單個圖像處理器流水線復(fù)用來自多個相機(jī)的圖像信號。圖像信號可被存儲在存儲器中和/或顯示在顯示設(shè)備上。圖I是根據(jù)一些實施例用于圖像信號處理器復(fù)用的電子設(shè)備的示意圖。參考

圖1，在一些實施例中，電子設(shè)備Iio可體現(xiàn)為移動電話、個人數(shù)字助理(PDA)等。電子設(shè)備110可包括用于收發(fā)RF信號的RF收發(fā)機(jī)150和用于處理由RF收發(fā)機(jī)150接收的信號的信號處理模塊152。RF收發(fā)機(jī)可經(jīng)由諸如藍(lán)牙或802. IlX之類的協(xié)議實現(xiàn)本地?zé)o線連接。遵守IEEE802. 11a、b或g的接口(參見，例如，用于IT-電信和LAN/MAN系統(tǒng)之間的信息交換的IEEE標(biāo)準(zhǔn)一第二部分無線LAN媒體訪問控制(MAC)和物理層(PHY)規(guī)范修訂4 :在2. 4GHz頻帶中的更高數(shù)據(jù)率擴(kuò)展，802. 11G-2003)。無線接口的另一個示例是通用分組無線電服務(wù)(GPRS)接口(參見例如，GPRS手機(jī)要求指南，全球移動通信系統(tǒng)/GSM協(xié)會，版本3. O. 1,2002年12月)。電子設(shè)備110還可包括一個或多個處理器154和存儲器模塊156。正如本文所使用的，術(shù)語“處理器”表示任意類型的計算元件，諸如但不限于微處理器、微控制器、復(fù)雜指令集計算(CSIC)微處理器、精簡指令集(RISC)微處理器、超長指令字(VLIW)微處理器或任何其它類型的處理器或處理電路。在一些實施例中，處理器154可以是可從從美國加利福尼亞州圣克拉拉市的英特爾公司購買到的Intel PXA27x處理器族中的一個或多個處理器?；蛘?，可使用其它CPU,諸如英特爾的丨tanium 、XEON 和CeleroiT 處理器。而且，可利用來自其它制造者的一個或多個處理器。此外，處理器可具有單核或多核設(shè)計。在一些實施例中，存儲器模塊156包括隨機(jī)存取存儲器(RAM);然而，可利用諸如動態(tài)RAM (DRAM)、同步DRAM (SDRAM)等其它存儲器類型實現(xiàn)存儲器模塊156。電子設(shè)備110還可包括諸如鍵盤158和一個或多個顯不器160之類的一個或多個輸入/輸出接口。在一些實施例中，電子設(shè)備110包括兩個或更多個相機(jī)162和圖像信號處理器164。作為示例而非限制，第一相機(jī)162可定位在電子設(shè)備110的前面，而第二相機(jī)可定位在電子設(shè)備110的背面。將參考圖2-4進(jìn)一步詳細(xì)地解釋相機(jī)和圖像信號處理器164及相關(guān)聯(lián)的流水線的各方面。圖2是根據(jù)實施例用于圖像信號處理器復(fù)用的組件的示意圖。參考圖2，在一些實施例中，ISP模塊164可被實現(xiàn)為集成電路或其組件，或芯片組，或芯片上系統(tǒng)(SOC)內(nèi)·的模塊。在可選實施例中，ISP模塊164可被實現(xiàn)為在例如現(xiàn)場可編程門陣列(FPGA)之類的可編程設(shè)備中編碼的邏輯，或被實現(xiàn)為通用處理器上的邏輯指令或諸如數(shù)字信號處理器(DSP)或單指令多數(shù)據(jù)(SMD)向量處理器之類的專用處理器上的邏輯指令。在圖2所述的實施例中，ISP模塊164包括圖像信號處理器212、任務(wù)管理器220、第一相機(jī)接收器222和第二相機(jī)接收器224、直接存儲器訪問(DMA)引擎226和存儲器管理單元(MMU)228。ISP模塊164耦合于存儲器模塊156。存儲器模塊156保持第一寄存器230和第二寄存器232、幀緩沖器A 240和幀緩沖器A’242、幀緩沖器B 250和幀緩沖器B’252。每個相機(jī)的3A (自動白平衡、自動聚焦、自動曝光)的兩個線程400A和400B運(yùn)行在主CPU上，主CPU可對應(yīng)于圖I描述的處理器154。參考圖2-4解釋電子設(shè)備的操作。在一些實施例中，來自第一相機(jī)162A的圖像被輸入到第一接收器222 (操作410)，而來自第二相機(jī)162B的圖像被輸入到第二接收器224(操作415)。在一些實施例中，相機(jī)162A和162B (在本文中有時由附圖標(biāo)記162共同指代)可包括光學(xué)配置，例如，耦合到例如電荷耦合器件(CCD)的圖像捕捉設(shè)備的一個或多個透鏡。電荷耦合器件的輸出可以是拜耳幀(Bayer frame)格式?？杉皶r采樣從C⑶或CMOS設(shè)備輸出的拜耳幀，以產(chǎn)生一系列拜耳幀，這些幀被引導(dǎo)到接收器222、224。這些未經(jīng)處理的圖像幀在本文中有時被稱為原始幀。本領(lǐng)域的技術(shù)人員將意識到原始圖像幀可體現(xiàn)為數(shù)據(jù)值的陣列或矩陣。在一些實施例中，用于調(diào)節(jié)聚焦、白平衡和曝光的控制程序被實現(xiàn)在進(jìn)程線程3A、400A和400B中。在操作420 (圖4)，原始幀被存儲在幀緩沖器中。參考圖2和3，來自相機(jī)162的圖像被輸入到接收器222、224。在一些實施例中，直接存儲器訪問引擎220檢索來自接收器A 216的圖像幀并將該圖像幀存儲在幀緩沖器A 240中。類似地，DMA引擎220檢索來自接收器B 218的圖像幀并將該圖像幀存儲在幀緩沖器B 250中。操作425-440限定一環(huán)路，通過該環(huán)路幀緩沖器240、250中的原始幀被處理成視頻流格式。在一些實施例中，幀處理每次完成來自每個相機(jī)源的一個幀，使得幀處理是交織的。因此，在操作425，幀緩沖器A的內(nèi)容通過圖像信號處理器接口 214輸入到圖像信號處理器212，它將幀緩沖器A的內(nèi)容饋送到圖像信號處理器流水線216。如圖3所示，在流水線216中處理幀緩沖器A的內(nèi)容，例如，通過將幀緩沖器240的內(nèi)容從原始拜耳幀轉(zhuǎn)換成適當(dāng)?shù)囊曨l格式，例如相應(yīng)數(shù)量的YUV視頻幀。圖像信號處理器222可利用線程3A 400A傳送來自幀緩沖器A的參數(shù)。處理線程3A 400A可使用這些參數(shù)來設(shè)置相機(jī)162上的適當(dāng)設(shè)置?？赏ㄟ^首先存儲在寄存器A中來傳送3A參數(shù)和用于處理幀緩沖器A中的幀的參數(shù)。在操作430，直接存儲器訪問(DMA)引擎226在存儲器156的存儲器緩沖器242中存儲YUV視頻幀。如果在操作435，未完成幀處理，則控制傳回操作425，且?guī)彌_器中的更多的原始幀以交織方式被處理成視頻流格式。作為示例，在利用兩個或更多個相機(jī)的實施例中，幀緩沖器B的內(nèi)容通過圖像信號處理器接口 214被輸入到圖像信號處理器，它將幀緩沖器B的內(nèi)容饋送到圖像信號處理器流水線216。在流水線中處理幀緩沖器B的內(nèi)容，例如，通過將幀緩沖器的內(nèi)容從原始拜耳幀轉(zhuǎn)換成適當(dāng)?shù)囊曨l格式，例如相應(yīng)數(shù)量的YUV視頻幀。基于通過寄存器B傳送的參數(shù)處理3A 400幀B。在操作430，從緩沖器中的原始視頻幀生成 的視頻流被存儲在存儲器中。在一些實施例中，DMA引擎226在存儲器156的第二幀緩沖器B’ 252中存儲從幀緩沖器B 240生成的視頻流。在一些實施例中，視頻流可被存儲在畫中畫視圖中。在一些實施例中，可通過多視頻編碼器/解碼器(編解碼器)將視頻流編碼并保持為兩個流，使得視頻流可顯示在任何目標(biāo)設(shè)備上。而且，如果在操作435，未完成幀處理，則控制傳送到操作440，且處理從接收器B切換回接收器A。因此，操作425-435限定一環(huán)路，通過該環(huán)路，來自多個相機(jī)的原始幀可被復(fù)用成視頻流并存儲在電子設(shè)備的存儲器中。相反，如果在操作435，幀緩沖器完成處理，則控制傳送到操作445，且使視頻流適合顯示。在一些實施例中，視頻流可被組合成畫中畫視圖。在操作450，視頻流可被呈現(xiàn)在顯示器上。本文中引用的術(shù)語“邏輯指令”涉及可被一個或多個機(jī)器理解以執(zhí)行一個或多個邏輯操作的表達(dá)式。例如，邏輯指令可包括能被處理器編譯器解釋以對一個或多個數(shù)據(jù)對象執(zhí)行一個或多個操作的指令。然而，這僅僅是機(jī)器可讀指令的示例，且實施例不限于此方面。本文中引用的術(shù)語“計算機(jī)可讀介質(zhì)”涉及能夠維持可被一個或多個機(jī)器理解的表達(dá)式的介質(zhì)。例如，計算機(jī)可讀介質(zhì)可包括一個或多個存儲設(shè)備，用于存儲計算機(jī)可讀指令或數(shù)據(jù)。這種存儲設(shè)備可包括諸如光、磁或半導(dǎo)體存儲介質(zhì)的存儲介質(zhì)。然而，這僅僅是計算機(jī)可讀介質(zhì)的示例，且實施例不限于此方面。本文中引用的術(shù)語“邏輯”涉及用于執(zhí)行一個或多個邏輯操作的結(jié)構(gòu)。例如，邏輯可包括基于一個或多個輸入信號提供一個或多個輸出信號的電路。這種電路可包括接收數(shù)字輸入并提供數(shù)字輸出的有限狀態(tài)機(jī)或響應(yīng)于一個或多個模擬輸入信號提供一個或多個模擬輸出信號的電路。這種電路可設(shè)置在專用集成電路(ASIC)或現(xiàn)場可編程門陣列(FPGA)中。同樣，邏輯可包括存儲在與處理器電路結(jié)合的存儲器中的機(jī)器可讀指令，以執(zhí)行這些機(jī)器可讀指令。然而，這些僅僅是可提供邏輯的結(jié)構(gòu)的示例，且實施例不限于此方面。本文描述的一些方法可體現(xiàn)為計算機(jī)可讀介質(zhì)上的邏輯指令。當(dāng)在處理器上執(zhí)行時，邏輯指令導(dǎo)致處理器被編程為實現(xiàn)所述方法的專用機(jī)器。處理器在通過邏輯指令配置成執(zhí)行本文所述的方法時，構(gòu)成用于執(zhí)行所述方法的結(jié)構(gòu)?；蛘?，本文所述的方法可被簡化為例如現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)等上的邏輯。在說明書和權(quán)利要求書中，可使用術(shù)語耦合和連接及其衍生詞。在特定實施例中，可使用“連接的”來指示兩個或更多元件彼此直接物理和/或電氣接觸。耦合可表示兩個或多個元件直接物理或電氣接觸。然而，耦合還可表示兩個或更多元件相互不直接接觸，但仍相互協(xié)作或相互作用。在本說明書中對“一個實施例”或“實施例”的參考表示結(jié)合實施例描述的特定特征、結(jié)構(gòu)或特性包括在至少一個實現(xiàn)中。在說明書的各位置出現(xiàn)的短語“在一個實施例中”不一定全指同一實施例。
雖然用結(jié)構(gòu)特征和/或方法動作專屬語言描述了本發(fā)明的實施例，但是應(yīng)當(dāng)理解所保護(hù)的主題可不限于所描述的具體特征或動作。相反，該特定特征和動作被公開作為實現(xiàn)所保護(hù)主題的樣本形式。
權(quán)利要求
1.一種方法，包括 將來自第一相機(jī)的第一組輸入幀接收到第一緩沖器中，以及將來自第二相機(jī)的第二組輸入幀接收到第二緩沖器中； 利用一個或多個處理參數(shù)處理來自第一幀緩沖器的第一組輸入幀以生成第一視頻流； 利用一個或多個處理參數(shù)處理來自第二幀緩沖器的第二組輸入幀以生成第二視頻流；以及 在存儲器模塊中存儲第一視頻流和第二視頻流。
2.如權(quán)利要求I所述的方法，其特征在于，將來自第一相機(jī)的第一組輸入幀接收到第一緩沖器中包括將來自第一相機(jī)的第一組輸入幀接收到第一相機(jī)接收器中，且還包括 執(zhí)行對第一組輸入幀的從第一相機(jī)接收器至第一緩沖器的直接存儲器訪問讀取。
3.如權(quán)利要求2所述的方法，其特征在于，將來自第二相機(jī)的第二組輸入幀接收到第二緩沖器中包括將來自第二相機(jī)的第二組輸入幀接收到第二相機(jī)接收器中，且還包括 執(zhí)行對第二組輸入幀的從第二相機(jī)接收器至第二緩沖器的直接存儲器訪問讀取。
4.如權(quán)利要求I所述的方法，其特征在于，利用存儲在第一存儲器中的一個或多個處理參數(shù)處理來自第一幀緩沖器的第一組輸入幀以生成第一視頻流包括將一個或多個原始幀轉(zhuǎn)換成一個或多個YUV視頻幀。
5.如權(quán)利要求4所述的方法，其特征在于，利用存儲在第二存儲器中的一個或多個處理參數(shù)處理來自第二幀緩沖器的第二組輸入幀以生成第二視頻流包括將一個或多個原始幀轉(zhuǎn)換成相應(yīng)數(shù)量的YUV視頻幀。
6.如權(quán)利要求I所述的方法，其特征在于 在存儲器模塊中存儲第一視頻流和第二視頻流包括從第一視頻流和第二視頻流生成合成圖像，且還包括在電子設(shè)備的顯示設(shè)備上呈現(xiàn)合成圖像。
7.—種電子設(shè)備,包括 第一相機(jī)和第二相機(jī)； 用于接收來自第一相機(jī)的第一組輸入幀的第一緩沖器以及用于接收來自第二相機(jī)的第二組輸入幀的第二緩沖器； 耦合到第一緩沖器和第二緩沖器的單個圖像信號處理器，用于利用存儲在第一存儲器中的一個或多個處理參數(shù)處理來自第一幀緩沖器的第一組輸入幀以生成第一視頻流，并且用于利用存儲在第二存儲器寄存器中的一個或多個處理參數(shù)處理來自第二幀緩沖器的第二組輸入幀以生成第二視頻流；以及 存儲器模塊，用于存儲第一視頻流和第二視頻流。
8.如權(quán)利要求7所述的電子設(shè)備，其特征在于，還包括 第一相機(jī)接收器，用于接收來自第一相機(jī)的第一組輸入幀； 直接存儲器引擎，用于執(zhí)行對第一組輸入幀的從接收器至幀緩沖器的直接存儲器訪問讀取。
9.如權(quán)利要求8所述的電子設(shè)備，其特征在于，還包括 第二相機(jī)接收器，用于接收來自第二相機(jī)的第二組輸入幀； 直接存儲器引擎，用于執(zhí)行對第二組輸入幀的從接收器至幀緩沖器的直接存儲器訪問讀取。
10.如權(quán)利要求7所述的電子設(shè)備，其特征在于，所述圖像處理器將來自第一組輸入幀的一個或多個原始幀轉(zhuǎn)換成相應(yīng)數(shù)量的YUV視頻幀。
11.如權(quán)利要求10所述的電子設(shè)備，其特征在于，所述圖像處理器將來自第二組輸入幀的一個或多個原始幀轉(zhuǎn)換成一個或多個YUV視頻幀。
12.如權(quán)利要求7所述的電子設(shè)備，其特征在于，所述存儲器存儲從第一視頻流和第二視頻流生成的合成圖像。
13.如權(quán)利要求12所述的電子設(shè)備，其特征在于，還包括用于呈現(xiàn)合成圖像的顯示器。
14.一種設(shè)備，包括 單個圖像信號處理器，包括用于執(zhí)行以下動作的邏輯 利用存儲在第一存儲器寄存器中的一個或多個處理參數(shù)處理來自第一接收器的第一組輸入幀以生成第一視頻流；以及 利用存儲在第二存儲器寄存器中的一個或多個處理參數(shù)處理來自第二幀緩沖器的第二組輸入幀以生成第二視頻流。
15.如權(quán)利要求14所述的設(shè)備，其特征在于，還包括 第一相機(jī)接收器，用于接收來自第一相機(jī)的第一組輸入幀； 直接存儲器引擎，用于執(zhí)行對第一組輸入幀的從接收器至幀緩沖器的直接存儲器訪問讀取。
16.如權(quán)利要求15所述的設(shè)備，其特征在于，還包括 第二相機(jī)接收器，用于接收來自第二相機(jī)的第二組輸入幀； 直接存儲器引擎，用于執(zhí)行對第二組輸入幀的從接收器至幀緩沖器的直接存儲器訪問讀取。
17.如權(quán)利要求15所述的設(shè)備，其特征在于，所述圖像處理器將來自第一組輸入幀的一個或多個原始幀轉(zhuǎn)換成相應(yīng)數(shù)量的YUV視頻幀。
18.如權(quán)利要求16所述的設(shè)備，其特征在于，所述圖像處理器將來自第二組輸入幀的一個或多個原始幀轉(zhuǎn)換成相應(yīng)數(shù)量的YUV視頻幀。
19.如權(quán)利要求14所述的設(shè)備，其特征在于，還包括存儲器模塊，用于存儲從第一視頻流和第二視頻流生成的合成圖像。
20.如權(quán)利要求19所述的設(shè)備，其特征在于，還包括用于呈現(xiàn)合成圖像的顯示器。
全文摘要
在一些實施例中，一種電子設(shè)備包括第一相機(jī)和第二相機(jī)；用于接收來自第一相機(jī)的第一組輸入幀的第一緩沖器以及用于接收來自第二相機(jī)的第二組輸入幀的第二緩沖器；耦合到第一緩沖器和第二緩沖器的單個圖像信號處理器，用于利用存儲在第一存儲器中的一個或多個處理參數(shù)處理來自第一幀緩沖器的第一組輸入幀以生成第一視頻流，并且用于利用存儲在第二存儲器寄存器中的一個或多個處理參數(shù)處理來自第二幀緩沖器的第二組輸入幀以生成第二視頻流；以及存儲器模塊，用于存儲第一視頻流和第二視頻流。
文檔編號H04N1/387GK102918560SQ201180027454
公開日2013年2月6日 申請日期2011年6月13日 優(yōu)先權(quán)日2010年6月28日
發(fā)明者M·S·艾瑟瑞亞, J·周 申請人:英特爾公司