圖像信號處理器和包括圖像信號處理器的裝置的制造方法
【專利摘要】提供一種圖像信號處理器和包括圖像信號處理器的裝置?？商峁┮环N圖像信號處理器，包括：第一數(shù)據(jù)處理電路；第二數(shù)據(jù)處理電路；復用控制電路，被配置為在時分復用模式下將包括在第一幀數(shù)據(jù)中的第一行數(shù)據(jù)和包括在第二幀數(shù)據(jù)中的第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路。復用控制電路還可被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，其中，切換控制信號指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)。
【專利說明】圖像信號處理器和包括圖像信號處理器的裝置
[0001 ] 本申請要求于2015年2月23日提交到韓國知識產(chǎn)權(quán)局的第10-2015-0025390號韓國專利申請的優(yōu)先權(quán)，該申請的公開通過引用全部包含于此。
技術(shù)領(lǐng)域
[0002]示例實施例涉及圖像信號處理器，更具體地講，示例實施例涉及以行數(shù)據(jù)為單位對圖像執(zhí)行時分復用的圖像信號處理器和/或包括所述圖像信號處理器的裝置。
【背景技術(shù)】
[0003]根據(jù)傳統(tǒng)技術(shù)，單個圖像信號處理器可通過使用外部幀存儲器執(zhí)行時分復用來處理多個輸入圖像。當圖像信號處理器在時分復用模式下使用外部幀存儲器對輸入圖像執(zhí)行圖像信號處理時，圖像信號處理器可以以幀數(shù)據(jù)為單位執(zhí)行復用。因此，圖像信號處理器以幀數(shù)據(jù)為單位將輸入圖像存儲在外部幀存儲器中。此時，輸入圖像中的幀數(shù)據(jù)單位中的每個通過總線被寫入外部幀存儲器或從外部幀存儲器被讀取，這因總線事務導致包括該圖像信號處理器的系統(tǒng)的功耗的增加。

【發(fā)明內(nèi)容】

[0004]根據(jù)本發(fā)明構(gòu)思的示例實施例，一種圖像信號處理器包括:第一數(shù)據(jù)處理電路;第二數(shù)據(jù)處理電路;復用控制電路，被配置為在時分復用模式下將包括在第一幀數(shù)據(jù)中的第一行數(shù)據(jù)和包括在第二幀數(shù)據(jù)中的第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路。復用控制電路還可被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，切換控制信號指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)。
[0005]第一幀數(shù)據(jù)可以是由具有第一分辨率的第一成像裝置捕捉的數(shù)據(jù)，第二幀數(shù)據(jù)可以是由具有第二分辨率的第二成像裝置捕捉的數(shù)據(jù)。
[0006]所述圖像信號處理器還可包括:第一緩沖器和第二緩沖器。此時，第一數(shù)據(jù)處理電路可包括:存儲器控制器，被配置為將第一行數(shù)據(jù)和第二行數(shù)據(jù)分別存儲在第一緩沖器和第二緩沖器中。
[0007]當切換控制信號指示當前行數(shù)據(jù)是第一行數(shù)據(jù)時，第一數(shù)據(jù)處理電路可將元件配置為處理第一行數(shù)據(jù)，并且當切換控制信號指示當前行數(shù)據(jù)是第二行數(shù)據(jù)時，第一數(shù)據(jù)處理電路可將元件配置為處理第二行數(shù)據(jù)。
[0008]第一數(shù)據(jù)處理電路可以是第一圖像信號處理器核，第二數(shù)據(jù)處理電路可以是第二圖像信號處理器核。第一數(shù)據(jù)處理電路可以是第一縮放器，第二數(shù)據(jù)處理電路可以是第二縮放器。
[0009]復用控制電路可被配置為基于與第一幀數(shù)據(jù)相關(guān)的第一同步信號的相位和與第二幀數(shù)據(jù)相關(guān)的第二同步信號的相位，首先將第一行數(shù)據(jù)和第二行數(shù)據(jù)中的一個發(fā)送到第一數(shù)據(jù)處理電路。復用控制電路可包括:行存儲器，被配置為存儲第一行數(shù)據(jù)和第二行數(shù)據(jù)中的另一個。
[0010]復用控制電路可被配置為以單個流將第一行數(shù)據(jù)和第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路。
[0011]根據(jù)本發(fā)明構(gòu)思的示例實施例，一種應用處理器包括:總線；圖像信號處理器，連接到總線；中央處理器(CPU)，連接到總線并被配置為控制所述圖像信號處理器。所述圖像信號處理器可包括:第一數(shù)據(jù)處理電路;第二數(shù)據(jù)處理電路;復用控制電路，被配置為在時分復用模式下將包括在第一幀數(shù)據(jù)中的第一行數(shù)據(jù)和包括在第二幀數(shù)據(jù)中的第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路。第一幀數(shù)據(jù)和第二幀數(shù)據(jù)可分別具有第一分辨率和第二分辨率。復用控制電路還可被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，切換控制信號是指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)的信號。
[0012]根據(jù)本發(fā)明構(gòu)思的示例實施例，一種移動計算裝置包括:具有第一分辨率的第一成像裝置;具有第二分辨率的第二成像裝置;應用處理器，連接到第一成像裝置和第二成像裝置。所述應用處理器可包括:總線；圖像信號處理器，連接到總線;CPU，連接到總線并被配置為控制所述圖像信號處理器。所述圖像信號處理器可包括:第一數(shù)據(jù)處理電路;第二數(shù)據(jù)處理電路;復用控制電路，被配置為在時分復用模式下將第一行數(shù)據(jù)和第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路。第一行數(shù)據(jù)可包括在從第一成像裝置輸出的第一幀數(shù)據(jù)中，第二行數(shù)據(jù)可包括在從第二成像裝置輸出的第二幀數(shù)據(jù)中。復用控制電路還可被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，其中，切換控制信號指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)。
[0013]當切換控制信號指示當前行數(shù)據(jù)是第一行數(shù)據(jù)時，第一數(shù)據(jù)處理電路可將元件配置為處理第一行數(shù)據(jù)，并且當切換控制信號指示當前行數(shù)據(jù)是第二行數(shù)據(jù)時，第一數(shù)據(jù)處理電路可將元件配置為處理第二行數(shù)據(jù)。
[0014]復用控制電路可被配置為基于與第一幀數(shù)據(jù)相關(guān)的第一同步信號的相位和與第二幀數(shù)據(jù)相關(guān)的第二同步信號的相位，將第一行數(shù)據(jù)和第二行數(shù)據(jù)中的一個發(fā)送到第一數(shù)據(jù)處理電路，并且復用控制電路可包括:行存儲器，被配置為存儲第一行數(shù)據(jù)和第二行數(shù)據(jù)中的另一個。
[0015]根據(jù)本發(fā)明構(gòu)思的示例實施例，一種圖像信號處理器包括:第一數(shù)據(jù)處理電路;第二數(shù)據(jù)處理電路;復用控制電路，包括切換確定電路、第一行存儲器和第一選擇電路。切換確定電路可被配置為產(chǎn)生第一選擇信號。第一選擇電路可被配置為基于第一選擇信號，在第一時間通過傳輸線發(fā)送從第一行數(shù)據(jù)和第二行數(shù)據(jù)之中選擇的一個行數(shù)據(jù)，在第二時間發(fā)送存儲在第一行存儲器中的第一行數(shù)據(jù)和第二行數(shù)據(jù)中的未被選擇的一個行數(shù)據(jù)，其中，第二時間可晚于第一時間。
【附圖說明】
[0016]通過參照附圖詳細描述一些示例實施例，本發(fā)明構(gòu)思的以上以及其它特征和優(yōu)點將變得更加清楚，在附圖中:
[0017]圖1是根據(jù)本發(fā)明構(gòu)思的示例實施例的數(shù)據(jù)處理系統(tǒng)的框圖；
[0018]圖2是示出圖1中示出的圖像信號處理器(ISP)的示例的框圖；
[0019]圖3是示出圖1中示出的ISP的另一示例的框圖；
[0020]圖4是根據(jù)本發(fā)明構(gòu)思的示例實施例的從成像裝置輸出的圖像的示圖；
[0021]圖5是根據(jù)本發(fā)明構(gòu)思的示例實施例的成像裝置的操作模式的示圖；
[0022]圖6是示出圖2或圖3中示出的復用控制電路的示例的框圖；
[0023]圖7是示出根據(jù)本發(fā)明構(gòu)思的示例實施例的由圖6中示出的復用控制電路執(zhí)行的行數(shù)據(jù)的時分復用的時序圖；
[0024]圖8是示出根據(jù)本發(fā)明構(gòu)思的另一示例實施例的由圖6中示出的復用控制電路執(zhí)行的行數(shù)據(jù)的時分復用的時序圖；
[0025]圖9是示出圖2或圖3中示出的復用控制電路的另一示例的框圖；
[0026]圖10是根據(jù)本發(fā)明構(gòu)思的示例實施例的圖2或圖3中示出的第一ISP核的詳細框圖；
[0027]圖11是示出圖1中示出的ISP的另一示例的框圖；
[0028]圖12是示出圖11中示出的復用控制電路的示例的框圖；
[0029]圖13A至圖13C是示出根據(jù)本發(fā)明構(gòu)思的示例實施例的由圖12中示出的復用控制電路執(zhí)行的行數(shù)據(jù)的時分復用的時序圖；
[0030]圖14是示出圖11中示出的復用控制電路的另一示例的框圖；
[0031]圖15是示出圖1中示出的ISP的另一示例的框圖；
[0032]圖16是根據(jù)本發(fā)明構(gòu)思的示例實施例的操作圖1中示出的ISP的方法的流程圖。
【具體實施方式】
[0033]現(xiàn)在，將在下文中參照附圖更充分地描述本發(fā)明構(gòu)思的各種示例實施例，附圖中示出了本發(fā)明構(gòu)思的示例實施例。然而，本發(fā)明構(gòu)思可以以許多不同形式體現(xiàn)，并且不應被解釋為受限于在此闡述的示例實施例。而是，提供這些示例實施例使得本公開將是徹底的和完整的，并將把本發(fā)明構(gòu)思的范圍充分傳達給本領(lǐng)域技術(shù)人員。在附圖中，為了清楚起見，可夸大層和區(qū)域的尺寸和相對尺寸。相同的標號始終表示相同的元件。
[0034]將理解的是，當元件被稱為“連接到”或“結(jié)合到”另一元件時，該元件可直接連接到或結(jié)合到該另一元件，或者可存在中間元件。相反，當元件被稱為“直接連接到”或“直接結(jié)合到”另一元件時，不存在中間元件。如在這里使用的，術(shù)語“和/或”包括相關(guān)列出項中的一個或更多個的任意和全部組合，并且可被縮寫為7”。
[0035]將理解的是，雖然在這里可使用術(shù)語“第一”、“第二”等來描述各種元件，但是這些元件不應該被這些術(shù)語限制。這些術(shù)語僅用于將一個元件與另一個元件區(qū)分開。例如，在不脫離本公開的教導的情況下，第一信號可被稱為第二信號，類似地，第二信號可被稱為第一信號。
[0036]為了方便描述，在這里可使用空間相關(guān)術(shù)語(諸如“在……以下”、“在……下方”、“下面”、“在……之上”、“上面”等)來描述如附圖中所示出的一個元件或特征與其它元件或特征的關(guān)系。將理解，除了附圖中描繪的方位之外，空間相關(guān)術(shù)語意圖包含裝置在使用或操作中的不同方位。例如，如果附圖中的裝置被翻轉(zhuǎn)，則被描述為在其它元件或特征“下方”或“以下”的元件將隨后被定位于在所述其它元件或特征“之上”。因此，示例術(shù)語“下方”可包含上面和下面的方位兩者。裝置可以被另外定位(旋轉(zhuǎn)90度或在其它方位)，并且這里使用的空間相關(guān)描述符被相應地解釋。
[0037]這里使用的術(shù)語僅是為了描述特定示例實施例的目的，而不意圖限制本發(fā)明構(gòu)思。如這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復數(shù)形式。還將理解，當在本說明書中被使用時，術(shù)語“包括”和/或“包含”指定存在所陳述的特征、區(qū)域、整體、步驟、操作、元件和/或組件，但是不排除存在或添加一個或更多個其它特征、區(qū)域、整體、步驟、操作、元件、組件和/或它們的組。
[0038]同時，當可以以任何其它方式實現(xiàn)任何實施例時，可與流程圖中指定的流程不同地執(zhí)行特定框中指定的功能或操作。例如，兩個連續(xù)的框可事實上同時執(zhí)行功能或操作，并且根據(jù)相關(guān)操作或功能，兩個框可相反地執(zhí)行功能或操作。
[0039]除非另行定義，否則在此使用的所有術(shù)語(包括技術(shù)術(shù)語和科學術(shù)語)具有與本發(fā)明構(gòu)思所屬技術(shù)領(lǐng)域的普通技術(shù)人員所通常理解的意思相同的意思。還將理解的是，諸如在常用辭典中定義的術(shù)語應被解釋為具有與它們在相關(guān)領(lǐng)域和/或本申請的語境中的意思一致的意思，并且將不以理想化或過于形式化的含義來解釋它們，除非這里明確地如此定義。
[0040]同時，當可以以任何其它方式實現(xiàn)任何實施例時，可與流程圖中指定的流程不同地執(zhí)行特定框中指定的功能或操作。例如，兩個連續(xù)的框可事實上同時執(zhí)行功能或操作，并且根據(jù)相關(guān)操作或功能，兩個框可相反地執(zhí)行功能或操作。
[0041]本發(fā)明構(gòu)思的示例實施例可被實施為硬件、軟件或者硬件和軟件的組合。本發(fā)明構(gòu)思的示例實施例還可被實施為計算機可讀介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)是可將數(shù)據(jù)存儲為可由計算機系統(tǒng)之后讀取的程序的任何數(shù)據(jù)存儲裝置。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(R0M)、隨機存取存儲器(RAM)、CD-R0M、磁帶、軟盤和光學數(shù)據(jù)存儲裝置。計算機可讀記錄介質(zhì)還可被分布在與計算機系統(tǒng)結(jié)合的網(wǎng)絡(luò)上，從而以分布式的方式存儲和執(zhí)行計算機可讀代碼。此外，根據(jù)本發(fā)明構(gòu)思的示例實施例的功能程序、代碼和代碼段可被本發(fā)明構(gòu)思的示例實施例所屬領(lǐng)域的普通程序員解釋。
[0042]這里公開的一些示例實施例可包括程序代碼，程序代碼包含由一個或更多個物理硬件裝置實現(xiàn)的程序指令、軟件組件、軟件模塊、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。程序代碼的示例包括由編譯器產(chǎn)生的機器代碼和使用解釋器執(zhí)行的高級程序代碼。硬件裝置包括一個或更多個處理器。所述一個或更多個處理器是被配置為通過執(zhí)行算術(shù)、邏輯和輸入/輸出運算來執(zhí)行程序代碼的計算機處理裝置。一旦程序代碼被加載到所述一個或更多個處理器，所述一個或更多個處理器可被編程為執(zhí)行程序代碼，從而將所述一個或更多個處理器轉(zhuǎn)變?yōu)閷Ｓ锰幚砥鳌?br>[0043]在下文中，將參照附圖更詳細地解釋一些示例實施例。
[0044]圖1是根據(jù)本發(fā)明構(gòu)思的示例實施例的數(shù)據(jù)處理系統(tǒng)100的框圖。數(shù)據(jù)處理系統(tǒng)100可包括處理器200、多個成像裝置310和320、外部存儲器330和顯示器340。數(shù)據(jù)處理系統(tǒng)100可被實現(xiàn)為例如個人計算機(PC)或移動計算裝置。移動計算裝置可以是例如膝上型計算機、蜂窩電話、智能電話、平板PC、個人數(shù)字助理(PDA)、企業(yè)數(shù)字助理(EDA)、數(shù)字靜態(tài)相機、數(shù)字視頻相機、便攜式多媒體播放器(PMP)、個人導航裝置或便攜式導航裝置(PND)、手持游戲機、移動網(wǎng)絡(luò)裝置(MID)、可穿戴計算機、物聯(lián)網(wǎng)(1T)裝置、萬物聯(lián)網(wǎng)(1E)裝置或電子書。
[0045]處理器200可被實現(xiàn)為集成電路(IC)、主板、片上系統(tǒng)(SoC)、應用處理器(AP)或移動AP。處理器200可包括總線架構(gòu)(或總線)201、中央處理器(CPU)210、多個接口 220-1和220-2、圖像信號處理器(ISP)230、存儲器控制器250和顯示器控制器270 XPU 210、ISP230、存儲器控制器250和顯示器控制器270可通過總線架構(gòu)201相互傳送命令和/或數(shù)據(jù)?？偩€架構(gòu)201可被實現(xiàn)為例如使用高級微控制器總線架構(gòu)(AMBA)協(xié)議的總線、使用先進高性能總線(AHB)協(xié)議的總線、使用先進外圍總線(APB)協(xié)議的總線、使用AMBA擴展互連(AXI)協(xié)議的總線或它們的組合。
[0046]CPU 210可控制處理器200的總體操作。例如，CPU 210可控制接口220-1和220-2、ISP 230、存儲器控制器250以及顯示器控制器270XPU 210可包括至少一個核。
[0047]第一接口220-1可例如從第一成像裝置310接收第一圖像和第一控制信號，并將第一圖像和第一控制信號發(fā)送到ISP 230。第二接口 220-2可例如從第二成像裝置320接收第二圖像和第二控制信號，并將第二圖像和第二控制信號發(fā)送到ISP 230。第一圖像可指例如第一圖片、第一圖像數(shù)據(jù)、第一數(shù)據(jù)流或第一幀數(shù)據(jù)。第二圖像可指例如第二圖片、第二圖像數(shù)據(jù)、第二數(shù)據(jù)流或第二幀數(shù)據(jù)。
[0048]第一成像裝置310可被實現(xiàn)為例如互補金屬氧化物半導體(CMOS)圖像傳感器芯片或相機模塊。第一成像裝置310可使用例如移動工業(yè)處理器接口(MIPI)相機串行接口(CSI)將第一圖像和第一控制信號發(fā)送到第一接口 220-1。第二成像裝置320也可被實現(xiàn)為CMOS圖像傳感器芯片或相機模塊。第二成像裝置320可使用例如MIPI CSI將第二圖像和第二控制信號發(fā)送到第二接口 220-2。第一圖像的分辨率可與第二圖像的分辨率不同。
[0049]ISP 230可對第一圖像和/或第二圖像執(zhí)行時分復用(TDM) JDM可不以幀數(shù)據(jù)為單位被執(zhí)行。而是，TDM可在不使用外部存儲器330的情況下以行數(shù)據(jù)為單位被執(zhí)行。ISP 230可包括多個核以并行或?qū)崟r動態(tài)地(on the fly)在TDM模式下以行數(shù)據(jù)為單位同時處理從成像裝置310和320輸出的圖像。因此，ISP 230可被實現(xiàn)為多核ISP。
[0050]每個ISP核可執(zhí)行以下項中的至少一項:自動暗電平補償、壞像素替換、降噪、鏡頭陰影補償、顏色校正、RGB伽馬校正、邊緣增強、色調(diào)控制和顏色抑制。稍后將參照圖10描述的塊500-1、500-3和500-4中的每個可執(zhí)行例如前述操作中的至少一個操作。
[0051]例如，為了并行或?qū)崟r動態(tài)地在TDM模式下以行數(shù)據(jù)為單位同時處理從成像裝置310和320輸出的圖像，圖11中示出的ISP 230B可包括多個ISP核601和603以及多個縮放器609和61I。
[0052]存儲器控制器250可根據(jù)CPU 210的控制將在TDM模式下已由ISP 230處理的行數(shù)據(jù)存儲在外部存儲器330中。顯示器控制器270可根據(jù)CPU 210的控制將數(shù)據(jù)(例如，幀數(shù)據(jù))從外部存儲器330發(fā)送到顯示器340。例如，顯示器控制器270可使用例如MIPI顯示器串行接口(DSI)或嵌入式顯示器端口(eDP)將數(shù)據(jù)(例如，幀數(shù)據(jù))從外部存儲器330發(fā)送到顯示器340。
[0053]圖2是示出圖1中示出的ISP230的示例的框圖。雖然在圖2中示出的示例實施例中存在兩個成像裝置310和320以及兩個ISP核233-1和233-2，但是本發(fā)明構(gòu)思不限于成像裝置和ISP核的所述數(shù)量。當數(shù)據(jù)處理系統(tǒng)100包括雙相機(包括成像裝置310和320)時，第一成像裝置310可以是后置相機，第二成像裝置320可以是前置相機。
[0054]ISP 230A-1可包括復用控制電路231、ISP核233-1和233-2、縮放/格式化電路235、第一直接存儲器存取(DMA)控制器237、多媒體處理電路239和第二 DMA控制器241。多媒體處理電路239可被實現(xiàn)為例如聯(lián)合圖像專家組(JPEG)電路或運動圖像專家組(MPEG)電路。
[0055]第一接口220-1可將來自第一成像裝置310的第一圖像DATAl和第一控制信號SYNCl發(fā)送到復用控制電路231。第二接口 220-2可將來自第二成像裝置320的第二圖像DATA2和第二控制信號SYNC2發(fā)送到復用控制電路231。
[0056]圖4是根據(jù)本發(fā)明構(gòu)思的示例實施例的從成像裝置輸出的圖像的示圖。參照圖4，第一圖像DATAl可包括多個行數(shù)據(jù)LAl至LAn。第二圖像DATA2可包括多個行數(shù)據(jù)LBl至LBm。這里，“n”和“m”是至少為4的自然數(shù)。當?shù)谝粓D像DATAl的分辨率高于第二圖像DATA2的分辨率時，“η”可大于“m”。
[0057]第一控制信號SYNCl涉及第一圖像DATAl的處理，并可包括第一垂直同步信號、第一水平同步信號、第一時鐘信號和第一數(shù)據(jù)使能信號。第二控制信號SYNC2涉及第二圖像DATA2的處理，并可包括第二垂直同步信號、第二水平同步信號、第二時鐘信號和第二數(shù)據(jù)使能信號。在下文中，第一控制信號SYNCl可被稱為第一同步信號SYNCl，第二控制信號SYNC2可被稱為第二同步信號SYNC2。
[0058]復用控制電路231可基于第一模式控制信號SCS1、第一同步信號SYNCl和第二同步信號SYNC2將包括在第一圖像DATAl中的行數(shù)據(jù)LAl至LAn中的每個發(fā)送到第一 ISP核233-1或第二 ISP核233-2。復用控制電路231還可基于第一模式控制信號SCS1、第一同步信號SYNCl和第二同步信號SYNC2將包括在第二圖像DATA2中的行數(shù)據(jù)LBI至LBm中的每個發(fā)送到第一 ISP 核 233-1 或第二 ISP 核 233-2。
[0059]復用控制電路231可根據(jù)第一模式控制信號SCSI將第一輸出數(shù)據(jù)LDl輸出到第一ISP核233-1。根據(jù)成像裝置310和320中的每個的操作模式，第一輸出數(shù)據(jù)LDl可包括例如第一圖像DATAl的行數(shù)據(jù)LAl至LAn、第二圖像DATA2的行數(shù)據(jù)LBl至LBm、或者第一圖像DATAl的行數(shù)據(jù)LAl至LAn中的至少一個行數(shù)據(jù)和第二圖像DATA2的行數(shù)據(jù)LBl至LBm中的至少一個行數(shù)據(jù)。
[0060]當?shù)谝籌SP核233-1處理捕捉的圖像時，根據(jù)成像裝置310和320的操作模式，第一成像裝置310可執(zhí)行第一操作(例如，圖像捕捉操作)，第二成像裝置320可執(zhí)行第二操作(例如，預覽操作)。隨后，復用控制電路231可將第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1，并可將第二輸出數(shù)據(jù)LD2發(fā)送到第二 ISP核233-2，其中，第一輸出數(shù)據(jù)LDl是從第一成像裝置310輸出的第一圖像DATAl，第二輸出數(shù)據(jù)LD2是從第二成像裝置320輸出的第二圖像DATA2。第二操作可以是除了圖像捕捉操作之外的諸如記錄操作或預覽操作的操作。此時，復用控制電路231可將第三同步信號SYNCf連同第一輸出數(shù)據(jù)LDl (=DATAl)發(fā)送到第一ISP核233-1，并還可將第一切換控制信號CSFl發(fā)送到第一ISP核233-1，其中，第一切換控制信號CSFl指示第一輸出數(shù)據(jù)LDl ( =DATAl)中的每個行數(shù)據(jù)在第一圖像DATAl中被涉及到。可基于第一同步信號SYNCl產(chǎn)生第三同步信號SYNCf。此外，復用控制電路231可將第四同步信號SYNC2r連同第二輸出數(shù)據(jù)LD2(=DATA2)發(fā)送到第二ISP核233-2，并還可將第二切換控制信號CSF2發(fā)送到第二ISP核233-2，其中，第二切換控制信號CSF2指示第二輸出數(shù)據(jù)LD2( =DATA2)中的每個行數(shù)據(jù)在第二圖像DATA2中被涉及到?？苫诘诙叫盘朣YNC2產(chǎn)生第四同步信號SYM^。
[0061]第一ISP核233-1可根據(jù)第一切換控制信號CSFl將元件或組件(例如，圖10中的500-1至500-4)配置為處理包括在第一輸出數(shù)據(jù)LDl ( =DATAl)中的每個行數(shù)據(jù)。第二 ISP核233-2可根據(jù)第二切換控制信號CSF2將其元件或組件(或硬件組件)配置為處理包括在第二輸出數(shù)據(jù)LD2 ( = DATA2)中的每個行數(shù)據(jù)。
[0062]當?shù)谝籌SP核233-1處理捕捉的圖像時，根據(jù)成像裝置310和320的操作模式，第一成像裝置310可執(zhí)行第二操作(例如，預覽操作)，第二成像裝置320可執(zhí)行第一操作(例如，圖像捕捉操作)。隨后，復用控制電路231可將從第二成像裝置320輸出的第二圖像DATA2作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1，并可將從第一成像裝置310輸出的第一圖像DATAl作為第二輸出數(shù)據(jù)LD2發(fā)送到第二 ISP核233-2。此時，復用控制電路231可將第三同步信號SYNCV連同第一輸出數(shù)據(jù)LD1(=DATA2)發(fā)送到第一ISP核233-1，并還可將第一切換控制信號CSFl發(fā)送到第一ISP核233-1，其中，第一切換控制信號CSFl指示第一輸出數(shù)據(jù)LDl(=DATA2)中的每個行數(shù)據(jù)在第二圖像DATA2中被涉及到?？苫诘诙叫盘朣YNC2產(chǎn)生第三同步信號SYNCV。此外，復用控制電路231可將第四同步信號SYNC2,連同第二輸出數(shù)據(jù)LD2( =DATAl)發(fā)送到第二 ISP核233-2，并還可將第二切換控制信號CSF2發(fā)送到第二 ISP核233-2，其中，第二切換控制信號CSF2指示第二輸出數(shù)據(jù)LD2( =DATAl)中的每個行數(shù)據(jù)在第一圖像DATAl中被涉及到?？苫诘谝煌叫盘朣YNCl產(chǎn)生第四同步信號SYM^。
[0063]第一ISP核233-1可根據(jù)第一切換控制信號CSFl將其元件(或組件)配置為處理包括在第一輸出數(shù)據(jù)LD1(=DATA2)中的每個行數(shù)據(jù)。第二 ISP核233-2可根據(jù)第二切換控制信號CSF2將其元件配置為處理包括在第二輸出數(shù)據(jù)LD2( =DATAl)中的每個行數(shù)據(jù)。
[0064]當?shù)谝籌SP核233-1處理捕捉的圖像時，根據(jù)成像裝置310和320的操作模式，第一成像裝置310和第二成像裝置320兩者可執(zhí)行第一操作(例如，圖像捕捉操作)。隨后，復用控制電路231可將從第一成像裝置310輸出的第一圖像DATAl作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1，并可將從第二成像裝置320輸出的第二圖像DATA2作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1。例如，如圖7或圖8或者圖13A至圖13C所示，復用控制電路231可使用時分(時間劃分)來對行數(shù)據(jù)進行交錯。
[0065]此時，復用控制電路231可將第三同步信號SYNCf連同第一輸出數(shù)據(jù)LDI發(fā)送到第一 ISP核233-1，并還可將指示第一輸出數(shù)據(jù)LDl中的每個行數(shù)據(jù)在第一圖像DATAl或第二圖像DATA2中被涉及到的第一切換控制信號CSFl發(fā)送到第一 ISP核233-1?？苫诘谝煌叫盘朣YNCl和第二同步信號SYNC2產(chǎn)生第三同步信號SYNCV。
[0066]第一輸出數(shù)據(jù)LDl可包括第一圖像DATAl的行數(shù)據(jù)LAl至LAn中的至少一個行數(shù)據(jù)以及第二圖像DATA2的行數(shù)據(jù)LBl至LBm中的至少一個行數(shù)據(jù)。換言之，復用控制電路231可使用數(shù)據(jù)交錯方法將時分的行數(shù)據(jù)發(fā)送到第一 ISP核233-1。第一 ISP核233-1可根據(jù)指示第一輸出數(shù)據(jù)LDl中的每個行數(shù)據(jù)是包括在第一圖像DATAl中還是第二圖像DATA2中的第一切換控制信號CSFl而改變其元件的配置。
[0067]縮放/格式化電路235可對從第一ISP核233-1和/或第二 ISP核233-2輸出的數(shù)據(jù)執(zhí)行縮放操作，并可改變縮放數(shù)據(jù)的格式以產(chǎn)生改變格式的數(shù)據(jù)。此時，縮放操作可包括放大操作或縮小操作。
[0068]第一DMA控制器237可通過總線架構(gòu)201將從縮放/格式化電路235輸出的處理的圖像DATAf和DATA2'存儲在外部存儲器330中。第一處理的圖像DATAf可被存儲在外部存儲器330的第一存儲區(qū)域331中，第二處理的圖像DATA2'可被存儲在外部存儲器330的第二存儲區(qū)域333中。外部存儲器330可包括例如隨機存取存儲器(RAM)或動態(tài)RAM(DRAM)。
[0069]縮放/格式化電路235可將處理的數(shù)據(jù)發(fā)送到多媒體處理電路239。多媒體處理電路239可使用第二DMA控制器241從外部存儲器330讀取或獲得第一處理的圖像DATAV，可處理第一處理的圖像DATAf，并可使用第二DMA控制器241將處理的圖像寫入外部存儲器330。此外，多媒體處理電路239可使用第二 DMA控制器241從外部存儲器330讀取或獲得第二處理的圖像DATA2'，可處理第二處理的圖像DATA2'，并可使用第二DMA控制器241將處理的圖像寫入外部存儲器330。
[0070]圖3是示出圖1中示出的ISP 230的另一示例的框圖。參照圖2和圖3，ISP 230A-2不包括第一DMA控制器237。圖3中示出的ISP 230A-2的結(jié)構(gòu)和操作與圖2中示出的ISP 230A-1的結(jié)構(gòu)和操作基本上相同或類似。因此，將省略ISP 230A-2的結(jié)構(gòu)和操作的詳細描述。
[0071]在圖3中示出的示例實施例中，縮放/格式化電路235可將處理的數(shù)據(jù)發(fā)送到多媒體處理電路239。多媒體處理電路239可處理從縮放/格式化電路235輸出的數(shù)據(jù)并使用第二DMA控制器241通過總線架構(gòu)201將處理的圖像DATAV和DATA2'存儲在外部存儲器330中。第一處理的圖像DATAf可被存儲在外部存儲器330的第一存儲區(qū)域331中，第二處理的圖像DATA27可被存儲在外部存儲器330的第二存儲區(qū)域333中。
[0072]圖3中示出的多媒體處理電路239可支持行數(shù)據(jù)交錯。如圖2和圖3中所示，ISP230A-1或230A-2直到圖像被ISP核233-1和233-3處理才訪問外部幀存儲器。
[0073]圖5是根據(jù)本發(fā)明構(gòu)思的示例實施例的成像裝置310和320的操作模式的示圖。參照圖2和圖5，在第一情況CASEl下，成像裝置310和320兩者在捕捉模式下操作。在第二情況CASE2下，第一成像裝置310在捕捉模式下操作，第二成像裝置320在預覽模式下操作。成像裝置310和320可在捕捉模式下執(zhí)行圖像捕捉操作或第一操作。
[0074]第一模式控制信號SCSI可與關(guān)于成像裝置310和320中的每個的操作模式的信息(或數(shù)據(jù))相關(guān)。第一模式控制信號SCSI可被編程或存儲在例如寄存器(例如，特殊功能寄存器(SFR))中。CPU 210可將第一模式控制信號SCSI編程或設(shè)置在寄存器中。第一模式控制信號SCSI可以是數(shù)字信號或數(shù)字代碼。
[0075]在第一情況CASEl下，復用控制電路231可使用行數(shù)據(jù)交錯來處理行數(shù)據(jù)。在第二情況CASE2下，第一圖像DATAl被第一 ISP核233-1處理，第二圖像DATA2被第二 ISP核233-2處理。在第一成像裝置310在預覽模式下操作且第二成像裝置320在捕捉模式下操作的第三情況CASE3下，第一圖像DATAl被第二ISP核233-2處理，第二圖像DATA2被第一ISP核233-1處理。
[0076]圖6是示出圖2或圖3中示出的復用控制電路231的示例的框圖。圖7是示出根據(jù)本發(fā)明構(gòu)思的示例實施例的由圖6中示出的復用控制電路231A執(zhí)行的行數(shù)據(jù)的時分復用的時序圖。
[0077]假設(shè)成像裝置310和320兩者在捕捉模式下操作，并且第一ISP核233-1專門處理由各個成像裝置310和320捕捉的圖像DATAl和DATA2。此時，第一模式控制信號SCSI可以是指示成像裝置310和320兩者在捕捉模式下操作的信號。換言之，第一模式控制信號SCSI可指示圖像DATAl和DATA2將被第一 ISP核233-1處理。
[0078]參照圖6，復用控制電路231A可包括切換確定電路410、第一選擇電路412、行存儲器414、第二選擇電路416和同步信號發(fā)生器418。行存儲器414可被實現(xiàn)為先入先出(FIFO)存儲器。行存儲器414可以是I行數(shù)據(jù)存儲器。
[0079]切換確定電路410可基于第一模式控制信號SCS1、第一同步信號SYNCl和第二同步信號SYNC2產(chǎn)生第一選擇信號SELl和第二選擇信號SEL2，并還可產(chǎn)生第一切換控制信號CSFl和第二切換控制信號CSF2。第一選擇信號SELl可以是用于控制第一選擇電路412的選擇操作的信號。當?shù)谝贿x擇信號SELl處于第一電平(例如，低電平或邏輯O)時，第一選擇電路412可將包括在第一圖像DATAl中的行數(shù)據(jù)發(fā)送到行存儲器414。當?shù)谝贿x擇信號SELl處于第二電平(例如，高電平或邏輯I)時，第一選擇電路412可將包括在第二圖像DATA2中的行數(shù)據(jù)發(fā)送到行存儲器414。換言之，第一選擇電路412可將包括在第一圖像DATAl中的行數(shù)據(jù)或包括在第二圖像DATA2中的行數(shù)據(jù)作為輸出行數(shù)據(jù)SOUT輸出到行存儲器414。
[0080]第二選擇信號SEL2可以是用于控制第二選擇電路416的選擇操作的信號。第二選擇電路416可響應于第二選擇信號SEL2，通過第一輸出端子OUTl或第二輸出端子0UT2輸出通過第一傳輸線TLl接收的行數(shù)據(jù)、從行存儲器414輸出的行數(shù)據(jù)L0UT、或通過第二傳輸線TL2接收的行數(shù)據(jù)。第二選擇電路416可響應于第二選擇信號SEL2，通過第一輸出端子OUTl輸出通過第一傳輸線TLl接收的行數(shù)據(jù)，并通過第二輸出端子0UT2輸出通過第二傳輸線TL2接收的行數(shù)據(jù)。第二選擇電路416還可響應于第二選擇信號SEL2，通過第二輸出端子0UT2輸出通過第一傳輸線TLl接收的行數(shù)據(jù)，并通過第一輸出端子OUTl輸出通過第二傳輸線TL2接收的行數(shù)據(jù)。
[0081]第一切換控制信號CSFl和第二切換控制信號CSF2中的每個可指示當前發(fā)送的行數(shù)據(jù)是包括在第一圖像DATAl中的行數(shù)據(jù)還是包括在第二圖像DATA2中的行數(shù)據(jù)。
[0082]同步信號發(fā)生器418可產(chǎn)生在第一輸出數(shù)據(jù)LDl的處理中涉及到的第三同步信號SYNCV和在第二輸出數(shù)據(jù)LD2的處理中涉及到的第四同步信號SYNC2,?？苫诘谝煌叫盘朣YNCl和第二同步信號SYNC2兩者或者第一同步信號SYNCl和第二同步信號SYNC2中的任意一個產(chǎn)生第三同步信號SYNC1/。也可基于第一同步信號SYNC1和第二同步信號SyNC2兩者或者第一同步信號SYNCl和第二同步信號SYNC2中的任意一個產(chǎn)生第四同步信號SYM^。
[0083]假設(shè)成像裝置310和320兩者在捕捉模式下操作，并且僅第一ISP核233-1處理由各個成像裝置310和320捕捉的圖像DATAl和DATA2。
[0084]如圖7中所示，當在第一時間點Tll輸入的第一同步信號SYNCl的相位超前于在第二時間點T12輸入的第二同步信號SYNC2的相位時，切換確定電路410可產(chǎn)生用于將通過第一傳輸線TLl發(fā)送的第一圖像DATAl的第一行數(shù)據(jù)LAl輸出到第一 ISP核233-1的第二選擇信號SEL2。此時，切換確定電路410可產(chǎn)生處于第二電平的第一選擇信號SELl。
[0085]第二選擇電路416可將通過第一傳輸線TLl接收的第一圖像DATAl的第一行數(shù)據(jù)LAl作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LDU = LAl)的發(fā)送(或處理)中涉及到的第三同步信號SYNCV發(fā)送到第一ISP核233-1?？苫诘谝煌叫盘朣YNCl產(chǎn)生第三同步信號SYNCV。
[0086]當在第一圖像DATAl的第一行數(shù)據(jù)LAl正被發(fā)送到第一ISP核233-1的同時第二圖像DATA2的第一行數(shù)據(jù)LBl被輸入到復用控制電路231A時，切換確定電路410可產(chǎn)生處于第二電平的第一選擇信號SEL1，使得第二圖像DATA2的第一行數(shù)據(jù)LBl被發(fā)送到行存儲器414。因此，第一選擇電路412的輸出行數(shù)據(jù)SOUT (例如，第二圖像DATA2的第一行數(shù)據(jù)LBl)可被存儲在行存儲器414中。
[0087]當?shù)谝粓D像DATAl的第一行數(shù)據(jù)LAl被完全發(fā)送到第一ISP核233-1時，切換確定電路410可產(chǎn)生用于將存儲在行存儲器414中的第二圖像DATA2的第一行數(shù)據(jù)LBl輸出到第一ISP核233-1的第二選擇信號SEL2。第二選擇電路416可將行存儲器414的輸出行數(shù)據(jù)LOUT(例如，第二圖像DATA2的第一行數(shù)據(jù)LBl)作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LD1(=LB1)的發(fā)送(或處理)中涉及到的第三同步信號SYNCf發(fā)送到第一ISP核233-1?？苫诘诙叫盘朣YNC2產(chǎn)生第三同步信號SYNCl7 ο
[0088]當?shù)谝煌叫盘朣YNCl的相位超前于第二同步信號SYNC2的相位時，切換確定電路410可產(chǎn)生用于將第一圖像DATAl的第二行數(shù)據(jù)LA2輸出到第一 ISP核233-1的第二選擇信號SEL2。第二選擇電路416可將通過第一傳輸線TLl接收的第一圖像DATAl的第二行數(shù)據(jù)LA2作為第一輸出數(shù)據(jù)LDl發(fā)送到第一ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LD1(=LA2)的發(fā)送(或處理)中涉及到的第三同步信號SYNCf發(fā)送到第一ISP核233-1?？苫诘谝煌叫盘朣YNCl產(chǎn)生第三同步信號SYNCf。
[0089]當在第一圖像DATAl的第二行數(shù)據(jù)LA2正被發(fā)送到第一ISP核233-1的同時第二圖像DATA2的第二行數(shù)據(jù)LB2被輸入到復用控制電路231A時，切換確定電路410可產(chǎn)生處于第二電平的第一選擇信號SEL1，使得第二圖像DATA2的第二行數(shù)據(jù)LB2被發(fā)送到行存儲器414。因此，第二圖像DATA2的第二行數(shù)據(jù)LB2可通過第一選擇電路412被發(fā)送到行存儲器414。
[0090]當?shù)谝粓D像DATAl的第二行數(shù)據(jù)LA2被完全發(fā)送到第一ISP核233-1時，切換確定電路410可產(chǎn)生用于將第二圖像DATA2的第二行數(shù)據(jù)L0UT(=LB2)從行存儲器414輸出到第一ISP核233-1的第二選擇信號SEL2。第二選擇電路416可將從行存儲器414接收的第二圖像DATA2的第二行數(shù)據(jù)LOUT(例如，第二行數(shù)據(jù)LB2)作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LD1(=LB2)的發(fā)送(或處理)中涉及到的第三同步信號SYNCV發(fā)送到第一ISP核233-1?？苫诘诙叫盘朣YNC2產(chǎn)生第三同步信號SYNCf。
[0091]第一圖像DATAl的第三行數(shù)據(jù)LA3和第二圖像DATA2的第三行數(shù)據(jù)LB3也可在TDM模式下被順序地發(fā)送到第一 ISP核233-1。換言之，第一圖像DATAl的行數(shù)據(jù)LAl至LAn和第二圖像DATA2的行數(shù)據(jù)LBl至LBm可根據(jù)行數(shù)據(jù)交錯而經(jīng)受TDM。
[0092]如圖7中所示，從不同成像裝置310和320輸出的行數(shù)據(jù)1^1、1^1、1^2、1^2、1^3和LB3可以以單個流或單個比特流被發(fā)送到第一 ISP核233-1?？蛇x擇地，如圖8中所示，從不同成像裝置310和320輸出的行數(shù)據(jù)1^1、1^1、1^2、1^2、1^3和1^3可以以單個流或單個比特流被發(fā)送到第一 ISP核233-1。僅提供圖7和圖8中示出的實施例來解釋本發(fā)明構(gòu)思，包括在單個流中的行數(shù)據(jù)的順序和數(shù)量可被不同地修改。
[0093]圖10是根據(jù)本發(fā)明構(gòu)思的示例實施例的圖2或圖3中示出的第一ISP核233-1的詳細框圖。第一ISP核233-1的結(jié)構(gòu)與第二ISP核233-2的結(jié)構(gòu)基本上相同或類似。因此，將參照圖10僅描述第一 ISP核233-1的結(jié)構(gòu)和操作。
[0094]參照圖10，第一 ISP核233-1可包括串聯(lián)連接的元件500-1至500-4。元件500-1至500-4可形成鏈或管線。元件500-1、500-2和500-4可以是處理行數(shù)據(jù)的處理電路。例如，元件500-1、500-2和500-4可執(zhí)行以下項中的至少一項:自動暗電平補償、壞像素替換、降噪、鏡頭陰影補償、顏色校正、RGB伽馬校正、邊緣增強、色調(diào)控制和顏色抑制。
[0095]第一切換控制信號CSFl可控制元件500-1至500-4的操作。第一塊500-1可接收第一切換控制信號CSFl、第一輸出數(shù)據(jù)LDl和第三同步信號SYNCV，并可基于第一切換控制信號CSFl和第三同步信號SYNCV處理第一輸出數(shù)據(jù)LDl。
[0096]存儲器控制器500-2可響應于第一切換控制信號CSFl將從前一元件輸出的行數(shù)據(jù)存儲在第一緩沖器510或第二緩沖器520中。第一緩沖器510可用于存儲包括在第一圖像DATAl中的行數(shù)據(jù)LAl至LAn，第二緩沖器520可用于存儲包括在第二圖像DATA2中的行數(shù)據(jù)LBI 至 LBm ο
[0097]第i塊500-3可包括第一寄存器REGl和第二寄存器REG2。第一寄存器REGl可存儲用于處理包括在第一圖像DATAl中的行數(shù)據(jù)LAl至LAn的第一參數(shù)。第二寄存器REG2可存儲用于處理包括在第二圖像DATA2中的行數(shù)據(jù)LBl至LBm的第二參數(shù)。第一切換控制信號CSFl可用于將第一參數(shù)編程或設(shè)置在第一寄存器REGl中，并將第二參數(shù)編程或設(shè)置在第二寄存器REG2中。元件500-1、500-2和500-4中的至少一個可使用第一參數(shù)處理包括在第一圖像DATAl中的行數(shù)據(jù)LAl至LAn，并可使用第二參數(shù)處理包括在第二圖像DATA2中的行數(shù)據(jù)LBl至 LBm ο
[0098]第k塊500-4可基于第一切換控制信號CSFl處理從前一元件輸出的數(shù)據(jù)，并可將處理的數(shù)據(jù)輸出到縮放/格式化電路235。
[0099]例如，如圖7中所示，當?shù)谝粓D像DATAl的第一行數(shù)據(jù)LAl首先被輸入到第一ISP核233-1時，第一 ISP核233-1可響應于指示處理第一行數(shù)據(jù)LAl的第一切換控制信號CSFl將元件500-1至500-4的配置改變?yōu)樘幚淼谝恍袛?shù)據(jù)LAl。當?shù)诙D像DATA2的第一行數(shù)據(jù)LBl接下來被輸入到第一ISP核233-1時，第一ISP核233-1可響應于指示處理第一行數(shù)據(jù)LBl的第一切換控制信號CSFl將元件500-1至500-4的配置改變?yōu)樘幚淼谝恍袛?shù)據(jù)LBl。當?shù)谝粓D像DATAl的第二行數(shù)據(jù)LA2再接下來被輸入到第一 ISP核233-1時，第一 ISP核233-1可響應于指示處理第二行數(shù)據(jù)LA2的第一切換控制信號CSFl將元件500-1至500-4的配置改變?yōu)樘幚淼诙袛?shù)據(jù)LA2。
[0100]換言之，第一ISP核233-1可響應于指示當前行數(shù)據(jù)是包括在第一圖像DATAl中的行數(shù)據(jù)還是包括在第二圖像DATA2中的行數(shù)據(jù)的第一切換控制信號CSFl，將元件500-1至500-4的配置改變?yōu)樘幚懋斍靶袛?shù)據(jù)。例如，當當前行數(shù)據(jù)是包括在第一圖像DATAl中的行數(shù)據(jù)時，第一 ISP核233-1的元件500-1至500-4可被設(shè)置為具有第一配置。當當前行數(shù)據(jù)是包括在第二圖像DATA2中的行數(shù)據(jù)時，第一 ISP核233-1的元件500-1至500-4可被設(shè)置為具有第二配置。
[0101]假設(shè)成像裝置310和320兩者在捕捉模式下操作且第一ISP核233-1專門處理由各個成像裝置310和320捕捉的圖像DATAl和DATA2。如圖8中所示，當在第四時間點T22輸入的第一同步信號SYNCl的相位滯后于在第三時間點T21輸入的第二同步信號SYNC2的相位時，復用控制電路231A可在發(fā)送第一圖像DATAl的第一行數(shù)據(jù)LAl之前，將第二圖像DATA2的第一行數(shù)據(jù)LBl發(fā)送到第一 ISP核233-1。
[0102]切換確定電路410可產(chǎn)生用于將第二圖像DATA2的第一行數(shù)據(jù)LBl輸出到第一ISP核233-1的第二選擇信號SEL2。此時，切換確定電路410可產(chǎn)生處于第一電平的第一選擇信號SELl。
[0103]第二選擇電路416可將通過第二傳輸線TL2接收的第二圖像DATA2的第一行數(shù)據(jù)LBl作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LDI (例如，LBI)的處理中涉及到的第三同步信號SYNCI’發(fā)送到第一ISP核233-1?？苫诘诙叫盘朣YNC2產(chǎn)生第三同步信號SYNCf。
[0104]當在第二圖像DATA2的第一行數(shù)據(jù)LBl正被發(fā)送到第一ISP核233-1的同時第一圖像DATAl的第一行數(shù)據(jù)LAl被輸入到復用控制電路231A時，切換確定電路410可產(chǎn)生處于第一電平的第一選擇信號SEL1，使得第一圖像DATAl的第一行數(shù)據(jù)LAl被發(fā)送到行存儲器414。第一選擇電路412可響應于處于第一電平的第一選擇信號SELl將第一圖像DATAl的第一行數(shù)據(jù)LAl發(fā)送到行存儲器414。因此，行存儲器414可存儲第一圖像DATAl的第一行數(shù)據(jù)LA1。
[0105]當?shù)诙D像DATA2的第一行數(shù)據(jù)LBl被完全發(fā)送到第一ISP核233-1時，切換確定電路410可產(chǎn)生用于將存儲在行存儲器414中的第一圖像DATAl的第一行數(shù)據(jù)LAl輸出到第一ISP核233-1的第二選擇信號SEL2。第二選擇電路416可將第一圖像DATAl的第一行數(shù)據(jù)LOUT(例如，LAl)作為第一輸出數(shù)據(jù)LDl從行存儲器414發(fā)送到第一ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LD1(例如，LAl)的處理中涉及到的第三同步信號SYNCV發(fā)送到第一ISP核233-1?？苫诘谝煌叫盘朣YNCl產(chǎn)生第三同步信號SYNCV。
[0106]當?shù)谝煌叫盘朣YNCl的相位滯后于第二同步信號SYNC2的相位時，切換確定電路410可產(chǎn)生用于將第二圖像DATA2的第二行數(shù)據(jù)LB2輸出到第一 ISP核233-1的第二選擇信號SEL2。此時，切換確定電路410可產(chǎn)生處于第一電平的第一選擇信號SELl。
[0107]第二選擇電路416可將通過第二傳輸線TL2接收的第二圖像DATA2的第二行數(shù)據(jù)LB2作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LD1( = LB2)的處理中涉及到的第三同步信號SYNCf發(fā)送到第一ISP核233-1?？苫诘诙叫盘朣YNC2產(chǎn)生第三同步信號SYNCf。
[0108]當在第二圖像DATA2的第二行數(shù)據(jù)LB2正被發(fā)送到第一ISP核233-1的同時第一圖像DATAl的第二行數(shù)據(jù)LA2被輸入到復用控制電路231A時，切換確定電路410可產(chǎn)生處于第一電平的第一選擇信號SEL1，使得第一圖像DATAl的第二行數(shù)據(jù)LA2被發(fā)送到行存儲器414。此時，第一選擇電路412可響應于處于第一電平的第一選擇信號SELl將第一圖像DATAl的第二行數(shù)據(jù)LA2發(fā)送到行存儲器414。因此，行存儲器414可存儲第一圖像DATAl的第二行數(shù)據(jù)LA2o
[0109]當?shù)诙D像DATA2的第二行數(shù)據(jù)LB2被完全發(fā)送到第一ISP核233-1時，切換確定電路410可產(chǎn)生用于將第一圖像DATAl的第二行數(shù)據(jù)LA2輸出到第一 ISP核233-1的第二選擇信號SEL2 ο第二選擇電路416可將從行存儲器414接收的第一圖像DATAl的第二行數(shù)據(jù)LOUT (例如，LA2)作為第一輸出數(shù)據(jù)LDl發(fā)送到第一 ISP核233-1。此時，同步信號發(fā)生器418可將在第一輸出數(shù)據(jù)LDl (例如，LA2)的處理中涉及到的第三同步信號SYNCV發(fā)送到第一ISP核233-
1。可基于第一同步信號SYNCl產(chǎn)生第三同步信號SYNCV。
[0110]第二圖像DATA2的第三行數(shù)據(jù)LB3和第一圖像DATAl的第三行數(shù)據(jù)LA3也可在TDM模式下被順序地發(fā)送到第一 ISP核233-1。換言之，第二圖像DATA2的行數(shù)據(jù)LBl至LBm和第一圖像DATAl的行數(shù)據(jù)LAl至LAn可根據(jù)行數(shù)據(jù)交錯而經(jīng)受TDM。
[0111]存儲器控制器500-2可響應于第一切換控制信號CSFl將從前一元件輸出的數(shù)據(jù)存儲在第一緩沖器510或第二緩沖器520中。例如，如圖8中所示，當?shù)诙D像DATA2的第一行數(shù)據(jù)LBl首先被輸入到第一 ISP核233-1時，第一 ISP核233-1可響應于指示處理第一行數(shù)據(jù)LBl的第一切換控制信號CSFl將元件500-1至500-4的配置改變?yōu)樘幚淼谝恍袛?shù)據(jù)LB1。
[0112]當?shù)谝粓D像DATAl的第一行數(shù)據(jù)LAl接下來被輸入到第一ISP核233-1時，第一ISP核233-1可響應于指示處理第一行數(shù)據(jù)LAl的第一切換控制信號CSFl將元件500-1至500-4的配置改變?yōu)樘幚淼谝恍袛?shù)據(jù)LAl。當?shù)诙D像DATA2的第二行數(shù)據(jù)LB2再接下來被輸入到第一 ISP核233-1時，第一 ISP核233-1可響應于指示處理第二行數(shù)據(jù)LB2的第一切換控制信號CSFl將元件500-1至500-4的配置改變?yōu)樘幚淼诙袛?shù)據(jù)LB2。
[0113]換言之，第一ISP核233-1可響應于指示當前行數(shù)據(jù)是包括在第一圖像DATAl中的行數(shù)據(jù)還是包括在第二圖像DATA2中的行數(shù)據(jù)的第一切換控制信號CSFl，針對每個行數(shù)據(jù)將元件500-1至500-4的配置改變?yōu)樘幚懋斍靶袛?shù)據(jù)。
[0114]圖9是示出圖2或圖3中示出的復用控制電路231的另一示例的框圖。參照圖9，復用控制電路231B可包括切換確定電路410A、第一行存儲器420-1、第二行存儲器420-2、選擇電路422和同步信號發(fā)生器424。
[0115]第一行存儲器420-1可存儲包括在第一圖像DATAl中的行數(shù)據(jù)并可將存儲的行數(shù)據(jù)LOUTl發(fā)送到選擇電路422。第二行存儲器420-2可存儲包括在第二圖像DATA2中的行數(shù)據(jù)并可將存儲的行數(shù)據(jù)L0UT2發(fā)送到選擇電路422。第一行存儲器420-1和第二行存儲器420-2中的每個可被實現(xiàn)為例如FIFO存儲器。
[0116]同步信號發(fā)生器424可基于第一同步信號SYNCl產(chǎn)生第三同步信號SYNCf并可基于第二同步信號SYNC2產(chǎn)生第四同步信號SYM^。根據(jù)一些示例實施例，同步信號發(fā)生器424可基于第一同步信號SYNCl和第二同步信號SYNC2兩者產(chǎn)生第三同步信號SYNCV。
[0117]切換確定電路410A可基于第一模式控制信號SCS1、第一同步信號SYNCl和第二同步信號SYNC2產(chǎn)生選擇信號SEL，并還可產(chǎn)生第一切換控制信號CSFl和第二切換控制信號CSF2o
[0118]如圖7中所示，當?shù)谝煌叫盘朣YNCl的相位超前于第二同步信號SYNC2的相位時，包括在第一圖像DATAl中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)LDl通過第三傳輸線TL3和選擇電路422的第一輸出端子OUTl被發(fā)送到第一 ISP核233-1，包括在第二圖像DATA2中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)LDl通過第二行存儲器420-2和選擇電路422的第一輸出端子OUTl被發(fā)送到第一 ISP核233-1。
[0119]因此，復用控制電路2318可在了01模式下順序地將行數(shù)據(jù)1^1、1^1、1^2、1^2、1^3和LB3發(fā)送到第一ISP核233-1。此外，復用控制電路231B還可將第三同步信號SYNCV連同行數(shù)據(jù)1^1、1^1、1^2、1^2、1^3和1^3中的每個發(fā)送到第一13?核233-1。可基于第一同步信號SYNCl和第二同步信號SYNC2產(chǎn)生第三同步信號SYNCV。
[0120]如圖8中所示，當?shù)谝煌叫盘朣YNCl的相位滯后于第二同步信號SYNC2的相位時，包括在第二圖像DATA2中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)LDl通過第四傳輸線TL4和選擇電路422的第一輸出端子OUTl被發(fā)送到第一 ISP核233-1，包括在第一圖像DATAl中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)LDl通過第一行存儲器420-1和選擇電路422的第一輸出端子OUTl被發(fā)送到第一 ISP核233-1。
[0121]因此，復用控制電路2318可在了01模式下順序地將行數(shù)據(jù)1^1、1^1、1^2、1^2、1^3和LA3發(fā)送到第一ISP核233-1。此外，復用控制電路231B還可將第三同步信號SYNCV連同行數(shù)據(jù)1^1、1^1、1^2、1^2、1^3和1^3中的每個發(fā)送到第一13?核233-1。可基于第一同步信號SYNCl和第二同步信號SYNC2產(chǎn)生第三同步信號SYNCV。
[0122]圖11是示出圖1中示出的ISP230的另一示例的框圖。參照圖11，ISP230B可包括第一 ISP核601、第二 ISP核603和縮放/格式化電路605。
[0123]第一ISP核601可從第一成像裝置310接收第一同步信號SYNCl和第一圖像DATAl，處理第一圖像DATAl，并產(chǎn)生第三圖像PDATAl和第一同步信號SYNCl。雖然在圖11中示出被輸入到第一 ISP核601的第一同步信號SYNCl與從第一 ISP核601輸出的第一同步信號SYNCl相同，但是被輸入到第一ISP核601的第一同步信號SYNCl可與從第一ISP核601輸出的第一同步信號SYNCl不同。
[0124]第二 ISP核602可從第二成像裝置320接收第二同步信號SYNC2和第二圖像DATA2，處理第二圖像DATA2，并產(chǎn)生第四圖像PDATA2和第二同步信號SYNC2。雖然在圖11中示出被輸入到第二 ISP核603的第二同步信號SYNC2與從第二 ISP核603輸出的第二同步信號SYNC2相同，但是被輸入到第二ISP核603的第二同步信號SYNC2可與從第二ISP核603輸出的第二同步信號SYNC2不同。
[0125]縮放/格式化電路605可包括復用控制電路607、第一縮放器609、第二縮放器611和格式化電路613。第一縮放器609的第一縮放比率可與第二縮放器611的第二縮放比率相同或不同。第一縮放比率和第二縮放比率可被改變。
[0126]復用控制電路607可基于第二模式控制信號SCS2以及第一同步信號SYNCl和第二同步信號SYNC2將包括在第三圖像PDATAl中的每個行數(shù)據(jù)發(fā)送到第一縮放器609或第二縮放器611。復用控制電路607還可基于第二模式控制信號SCS2以及第一同步信號SYNCl和第二同步信號SYNC2將包括在第四圖像PDATA2中的每個行數(shù)據(jù)發(fā)送到第一縮放器609或第二縮放器611。
[0127]復用控制電路607可根據(jù)第二模式控制信號SCS2將第一輸出數(shù)據(jù)SDATAl輸出到第一縮放器609。根據(jù)成像裝置310和320的操作模式，第一輸出數(shù)據(jù)SDATAl可包括包含在第四圖像PDATA2中的每個行數(shù)據(jù)，或可包括包含在第三圖像PDATAl中的多個行數(shù)據(jù)之中的至少一個行數(shù)據(jù)和包含在第四圖像PDATA2中的多個行數(shù)據(jù)之中的至少一個行數(shù)據(jù)。
[0128]當?shù)谝豢s放器609專門處理捕捉的圖像時，根據(jù)成像裝置310和320的操作模式，第一成像裝置310可執(zhí)行第一操作(例如，圖像捕捉操作)，第二成像裝置320可執(zhí)行第二操作(例如，預覽操作)。復用控制電路607可將從第一 ISP核601接收的第三圖像PDATAl作為第一輸出數(shù)據(jù)SDATAl發(fā)送到第一縮放器609，并可將從第二 ISP核603接收的第四圖像PDATA2作為第二輸出數(shù)據(jù)SDATA2發(fā)送到第二縮放器611。此時，復用控制電路607可將同步信號連同第一輸出數(shù)據(jù)SDATAl發(fā)送到第一縮放器609，并還可將第一縮放器控制信號CTRLl發(fā)送到第一縮放器609，其中，第一縮放器控制信號CTRLl指示包括在第一輸出數(shù)據(jù)SDATAl中的行數(shù)據(jù)是來自第三圖像TOATA1。此時，可基于第一同步信號SYNCl產(chǎn)生同步信號。此外，復用控制電路607可將同步信號連同第二輸出數(shù)據(jù)SDATA2發(fā)送到第二縮放器611，并還可將第二縮放器控制信號CTRL2發(fā)送到第二縮放器611，其中，第二縮放器控制信號CTRL2指示包括在第二輸出數(shù)據(jù)SDATA2中的行數(shù)據(jù)是來自第四圖像PDATA2。此時，可基于第二同步信號SYNC2產(chǎn)生同步信號。
[0129]第一縮放器609可根據(jù)第一縮放器控制信號CTRLl將其元件設(shè)置為處理包括在第一輸出數(shù)據(jù)SDATAl中的每個行數(shù)據(jù)。第二縮放器611可根據(jù)第二縮放器控制信號CTRL2將其元件設(shè)置為處理包括在第二輸出數(shù)據(jù)SDATA2中的每個行數(shù)據(jù)。
[0130]當?shù)谝豢s放器609專門處理捕捉的圖像時，根據(jù)成像裝置310和320的操作模式，第一成像裝置310可執(zhí)行第二操作(例如，預覽操作)，第二成像裝置320可執(zhí)行第一操作(例如，圖像捕捉操作)。復用控制電路607可將從第二ISP核603接收的第四圖像TOATA2作為第一輸出數(shù)據(jù)SDATAl發(fā)送到第一縮放器609，并可將從第一 ISP核601接收的第三圖像PDATAl作為第二輸出數(shù)據(jù)SDATA2發(fā)送到第二縮放器611。此時，復用控制電路607可將同步信號連同第一輸出數(shù)據(jù)SDATA1(例如，PDATA2)發(fā)送到第一縮放器609，并還可將指示包括在第一輸出數(shù)據(jù)SDATAl (例如，PDATA2)中的行數(shù)據(jù)是來自第四圖像PDATA2的第一縮放器控制信號CTRLl發(fā)送到第一縮放器609。此時，可基于第二同步信號SYNC2產(chǎn)生同步信號。此外，復用控制電路607可將同步信號連同第二輸出數(shù)據(jù)SDATA2 (例如，PDATAl)發(fā)送到第二縮放器611，并還可將指示包括在第二輸出數(shù)據(jù)SDATA2( =PDATAl)中的行數(shù)據(jù)是來自第三圖像PDATAl的第二縮放器控制信號CTRL2發(fā)送到第二縮放器611。此時，可基于第一同步信號SYNCl產(chǎn)生同步信號。
[0131]第一縮放器609可根據(jù)第一縮放器控制信號CTRLl將其元件設(shè)置為處理包括在第一輸出數(shù)據(jù)SDATAU例如，PDATA2)中的每個行數(shù)據(jù)。第二縮放器611可根據(jù)第二縮放器控制信號CTRL2將其元件設(shè)置為處理包括在第二輸出數(shù)據(jù)SDATA2(例如，PDATAl)中的每個行數(shù)據(jù)。
[0132]當?shù)谝豢s放器609專門處理捕捉的圖像并且根據(jù)成像裝置310和320的操作模式，第一成像裝置310和第二成像裝置320兩者執(zhí)行第一操作(例如，圖像捕捉操作)時，復用控制電路607可將從第一 ISP核601接收的第三圖像PDATAl作為第一輸出數(shù)據(jù)SDATAU例如，PDATA1)發(fā)送到第一縮放器609，并還可將從第二 ISP核603接收的第四圖像PDATA2作為第一輸出數(shù)據(jù)SDATAl (=PDATA2)發(fā)送到第一縮放器609。此時，復用控制電路607可將同步信號連同第一輸出數(shù)據(jù)SDATAl發(fā)送到第一縮放器609，并還可將第一縮放器控制信號CTRLl發(fā)送到第一縮放器609，其中，第一縮放器控制信號CTRLl指示包括在第一輸出數(shù)據(jù)SDATAl中的行數(shù)據(jù)是來自第三圖像PDATAl或第四圖像TOATA2。此時，可基于第一同步信號SYNCl和第二同步信號SYNC2兩者產(chǎn)生同步信號。
[0133]此時，第一輸出數(shù)據(jù)SDATAl可包括包含在第三圖像PDATAl中的行數(shù)據(jù)之中的至少一個行數(shù)據(jù)和包含在第四圖像PDATA2中的行數(shù)據(jù)之中的至少一個行數(shù)據(jù)。換言之，復用控制電路607可使用行數(shù)據(jù)交錯將時分的行數(shù)據(jù)發(fā)送到第一縮放器609。
[0134]第一縮放器609可根據(jù)第一縮放器控制信號CTRLl對第一輸出數(shù)據(jù)SDATAl執(zhí)行縮放操作，并輸出第一縮放圖像SDATA3 ο第二縮放器611可根據(jù)第二縮放器控制信號CTRL2對第二輸出數(shù)據(jù)SDATA2執(zhí)行縮放操作，并輸出第二縮放圖像SDATA4。由縮放器609和611中的每個執(zhí)行的縮放操作可以是放大操作或縮小操作。放大操作可表示放大或上采樣，縮小操作可表示縮小或下采樣。
[0135]縮放器609和611中的每個可將第一輸出數(shù)據(jù)SDATAl和/或第二輸出數(shù)據(jù)SDATA2存儲在緩沖器620中。第一輸出數(shù)據(jù)SDATAl可被存儲在緩沖器620的第一存儲區(qū)域621中，第二輸出數(shù)據(jù)SDATA2可被存儲在緩沖器620的第二存儲區(qū)域622中。
[0136]縮放器609和611中的每個可使用在存儲在緩沖器620中的第一輸出數(shù)據(jù)SDATAl中包括的多個行數(shù)據(jù)LAl、LA2、……和/或在存儲在緩沖器620中的第二輸出數(shù)據(jù)SDATA2中包括的多個行數(shù)據(jù)LB1、LB2、……來執(zhí)行縮放。格式化電路613可決定分別從縮放器609和611輸出的縮放圖像SDATA3和SDATA4的格式。
[0137]圖12是示出圖11中示出的復用控制電路607的示例的框圖。參照圖12，復用控制電路607A可包括切換確定電路630、第一選擇電路632、行存儲器634和第二選擇電路636。
[0138]第二模式控制信號SCS2可以是指示縮放器609和611中的每個的操作的指示符信號。假設(shè)第一縮放器609是被配置為對捕捉的圖像進行縮放的縮放器，并且第一成像裝置310和第二成像裝置320正在捕捉模式下操作。
[0139]當在CASE4中第一同步信號SYNCl的相位超前于第二同步信號SYNC2的相位時，復用控制電路607A以與圖7的時序圖中示出的時序基本上相同或相似的時序處理包括在第三圖像PDATAl中的行數(shù)據(jù)和包括在第四圖像PDATA2中的行數(shù)據(jù)。包括在與第一同步信號SYNCl相關(guān)的第三圖像TOATAl中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第五傳輸線TL5和第二選擇電路636被發(fā)送到第一縮放器609。包括在與第二同步信號SYNC2相關(guān)的第四圖像TOATA2中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第一選擇電路632、行存儲器634和第二選擇電路636被發(fā)送到第一縮放器609。
[0140]切換確定電路630可輸出處于第二電平的第一選擇信號SEL1。第一選擇電路632可響應于處于第二電平的第一選擇信號SELl輸出包括在第四圖像TOATA2中的行數(shù)據(jù)作為輸出信號M0UT。行存儲器634可將從第一選擇電路632接收的行數(shù)據(jù)MOUT作為輸出數(shù)據(jù)MOUT輸出到第二選擇電路636。第二選擇電路636可輸出包括在通過第五傳輸線TL5接收的第三圖像TOATAl中的行數(shù)據(jù)或包括在從行存儲器634接收的第四圖像TOATA2中的行數(shù)據(jù)作為第一輸出數(shù)據(jù)SDATAl。
[0141]當在CASE5中第一同步信號SYNCl的相位滯后于第二同步信號SYNC2的相位時，復用控制電路607A可以以與圖8的時序圖中示出的時序基本上相同或相似的時序處理包括在第四圖像TOATA2中的行數(shù)據(jù)和包括在第三圖像TOATAl中的行數(shù)據(jù)。包括在與第二同步信號SYNC2相關(guān)的第四圖像TOATA2中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第六傳輸線TL6和第二選擇電路636被發(fā)送到第一縮放器609。包括在與第一同步信號SYNCl相關(guān)的第三圖像TOATAl中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第一選擇電路632、行存儲器634和第二選擇電路636被發(fā)送到第一縮放器609。
[0142]切換確定電路630可輸出處于第一電平的第一選擇信號SEL1。第一選擇電路632可響應于處于第一電平的第一選擇信號SELl輸出包括在第三圖像TOATAl中的行數(shù)據(jù)作為輸出信號M0UT。行存儲器634可將從第一選擇電路632接收的行數(shù)據(jù)MOUT作為輸出數(shù)據(jù)MOUT輸出到第二選擇電路636。第二選擇電路636可輸出包括在通過第六傳輸線TL6接收的第四圖像TOATA2中的行數(shù)據(jù)或包括在從行存儲器634接收的第三圖像TOATAl中的行數(shù)據(jù)作為第一輸出數(shù)據(jù)SDATAl。
[0143]圖13A至圖13C是示出根據(jù)本發(fā)明構(gòu)思的示例實施例的由圖12中示出的復用控制電路607A執(zhí)行的行數(shù)據(jù)的TDM的時序圖。參照圖13A，復用控制電路607A可將包括在第三圖像TOATAl中的第一行數(shù)據(jù)LAl、包括在第四圖像TOATA2中的第一行數(shù)據(jù)LBl、包括在第三圖像TOATAl中的第二行數(shù)據(jù)LA2和包括在第四圖像PDATA2中的第二行數(shù)據(jù)LB2作為第一輸出數(shù)據(jù)SDATAl輸出到第一縮放器609。如圖13A中所示，交替地從成像裝置310和320輸出的行數(shù)據(jù)LAl、LBl、LA2、LB2、……可以以單個流或單個比特流被發(fā)送到第一縮放器609。
[0144]參照圖13B，復用控制電路607A可將包括在第三圖像TOATAl中的兩個行數(shù)據(jù)LAl和LA2以及包括在第四圖像TOATA2中的一個行數(shù)據(jù)LBl作為第一輸出數(shù)據(jù)SDATAl發(fā)送到第一縮放器609。如圖138中所示，從成像裝置310和320輸出的行數(shù)據(jù)1^1、1^2、1^1、1^3、……可以以在從第一成像裝置310輸出的兩個行數(shù)據(jù)被發(fā)送之后從第二成像裝置320輸出的一個行數(shù)據(jù)被發(fā)送的方式，以單個流或單個比特流被發(fā)送到第一縮放器609。
[0145]參照圖13C，復用控制電路607A可將包括在第三圖像PDATAl中的三個行數(shù)據(jù)LAl、LA2和LA3以及包括在第四圖像PDATA2中的一個行數(shù)據(jù)LBl作為第一輸出數(shù)據(jù)SDATAl發(fā)送到第一縮放器609。如圖13C中所示，從成像裝置310和320輸出的行數(shù)據(jù)LAl、LA2、LA3、LB1、……可以以在從第一成像裝置310輸出的三個行數(shù)據(jù)被發(fā)送之后從第二成像裝置320輸出的一個行數(shù)據(jù)被發(fā)送的方式，以單個流或單個比特流被發(fā)送到第一縮放器609。包括在單個流或單個比特流中的行數(shù)據(jù)的數(shù)量和順序可被不同地改變。
[0146]圖14是示出圖11中示出的復用控制電路607的另一示例的框圖。參照圖14，復用控制電路607B可包括切換確定電路640、第一行存儲器642、第二行存儲器644和選擇電路646。
[0147]第二模式控制信號SCS2可以是指示縮放器609和611中的每個的操作的指示符信號。假設(shè)第一縮放器609是被配置為對捕捉的圖像進行縮放的縮放器，并且第一成像裝置310和第二成像裝置320正在捕捉模式下操作。
[0148]當在CASE4中第一同步信號SYNCl的相位超前于第二同步信號SYNC2的相位時，復用控制電路607B以與圖7的時序圖中示出的時序基本上相同或相似的時序處理包括在第三圖像PDATAl中的行數(shù)據(jù)和包括在第四圖像PDATA2中的行數(shù)據(jù)。包括在與第一同步信號SYNCl相關(guān)的第三圖像TOATAl中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第七傳輸線TL7和選擇電路646被發(fā)送到第一縮放器609。包括在與第二同步信號SYNC2相關(guān)的第四圖像PDATA2中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第二行存儲器644和選擇電路646被發(fā)送到第一縮放器609。
[0149]選擇電路646可輸出包括在通過第七傳輸線TL7接收的第三圖像PDATAl中的行數(shù)據(jù)或包括在從第二行存儲器644接收的第四圖像TOATA2中的行數(shù)據(jù)M0UT2作為第一輸出數(shù)據(jù)SDATAl。
[0150]當在CASE5中第一同步信號SYNCl的相位滯后于第二同步信號SYNC2的相位時，復用控制電路607B可以以與圖8的時序圖中示出的時序基本上相同或相似的時序處理包括在第四圖像TOATA2中的行數(shù)據(jù)和包括在第三圖像TOATAl中的行數(shù)據(jù)。包括在與第二同步信號SYNC2相關(guān)的第四圖像TOATA2中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第八傳輸線TL8和選擇電路646被發(fā)送到第一縮放器609。包括在與第一同步信號SYNCl相關(guān)的第三圖像PDATAl中的每個行數(shù)據(jù)可作為第一輸出數(shù)據(jù)SDATAl通過第一行存儲器642和選擇電路646被發(fā)送到第一縮放器609。
[0151]選擇電路646可輸出包括在通過第八傳輸線TL8接收的第四圖像PDATA2中的行數(shù)據(jù)或與第三圖像PDATAl相關(guān)的從第一行存儲器642接收的行數(shù)據(jù)MOUTl作為第一輸出數(shù)據(jù)SDATAl。選擇電路646可根據(jù)圖13A、圖13B或圖13C中示出的行數(shù)據(jù)交錯，將包括在圖像PDATAl或PDATA2中的行數(shù)據(jù)作為第一輸出數(shù)據(jù)SDATAl發(fā)送到第一縮放器609。
[0152]圖15是示出圖1中示出的ISP230的另一示例的框圖。參照圖15，ISP230C可包括第一 ISP核701、第二 ISP核702、縮放/格式化電路705和DMA控制器707。
[0153]第一ISP核701可通過第一接口 220-1從第一成像裝置310接收第一圖像，處理第一圖像，并將處理的第一圖像發(fā)送到縮放/格式化電路705。第二 ISP核702可通過第二接口220-2從第二成像裝置320接收第二圖像，處理第二圖像，并將處理的第二圖像發(fā)送到縮放/格式化電路705。
[0154]假設(shè)第一圖像是捕捉的圖像，并且第二圖像用于預覽。此時，縮放/格式化電路705可將第一圖像轉(zhuǎn)換為第一格式，以產(chǎn)生第一格式的第一圖像CAPTURE1，并可將第二圖像轉(zhuǎn)換為第二格式，以產(chǎn)生第二格式的第二圖像CAPTURE2?？s放/格式化電路705可使用DMA控制器707將第一格式的第一圖像CAPTURE1和第二格式的第二圖像CAPTURE2發(fā)送到總線架構(gòu)201。
[0155]圖16是根據(jù)本發(fā)明構(gòu)思的示例實施例的操作圖1中示出的ISP230的方法的流程圖。在操作SllO中，ISP 230可以以行數(shù)據(jù)為單位對分別從成像裝置310和320輸出的多個幀數(shù)據(jù)DATAl和DATA2執(zhí)行TDM。
[0156]在操作S120中，ISP 230可將時分復用的行數(shù)據(jù)中的每個發(fā)送到多個數(shù)據(jù)處理電路中的一個數(shù)據(jù)處理電路。數(shù)據(jù)處理電路可以是ISP核或縮放器。
[0157]在操作S130中，ISP 230可使用一個數(shù)據(jù)處理電路處理時分復用的行數(shù)據(jù)中的每個。在操作S140中，ISP 230可使用DMA控制器以幀數(shù)據(jù)為單位將由數(shù)據(jù)處理電路處理的每個行數(shù)據(jù)存儲在外部存儲器330中。
[0158]如上所述，根據(jù)本發(fā)明構(gòu)思的一些示例實施例，包括行存儲器的ISP使由ISP訪問的存儲資源(例如，外部幀存儲器或諸如DRAM的系統(tǒng)存儲器)的使用最小化。ISP可在不使用外部幀存儲器或系統(tǒng)存儲器的情況下，使用行存儲器在時分模式下處理從每個數(shù)據(jù)處理電路輸出的幀數(shù)據(jù)中的每個行。ISP可使用內(nèi)部行存儲器來代替外部幀存儲器。因此，可減少因存儲占用而導致的外部幀存儲器的使用和/或系統(tǒng)存儲器的過度使用。此外，包括行存儲器的ISP解決了因訪問外部幀存儲器和/或系統(tǒng)存儲器的總線事務而導致的系統(tǒng)資源(例如，總線、外部幀存儲器和/或系統(tǒng)存儲器)的過度使用的問題。此外，ISP可減少執(zhí)行前述總線事務而消耗的電力。此外，ISP的時分性能可不受外部幀存儲器和/或系統(tǒng)存儲器的帶寬限制。
[0159]雖然已參照本發(fā)明構(gòu)思的一些示例實施例具體示出并描述了本發(fā)明構(gòu)思，但是本領(lǐng)域普通技術(shù)人員將理解，在不脫離由權(quán)利要求限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可在形式和細節(jié)上做出各種改變。
【主權(quán)項】
1.一種圖像信號處理器，包括: 第一數(shù)據(jù)處理電路；以及 復用控制電路，被配置為在時分復用模式下將包括在第一幀數(shù)據(jù)中的第一行數(shù)據(jù)和包括在第二幀數(shù)據(jù)中的第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路，復用控制電路還被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，切換控制信號指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)。2.如權(quán)利要求1所述的圖像信號處理器，其中，第一幀數(shù)據(jù)是由具有第一分辨率的第一成像裝置捕捉的數(shù)據(jù)，第二幀數(shù)據(jù)是由具有第二分辨率的第二成像裝置捕捉的數(shù)據(jù)。3.如權(quán)利要求1所述的圖像信號處理器，還包括: 第一緩沖器； 第二緩沖器， 其中，第一數(shù)據(jù)處理電路包括:存儲器控制器，被配置為將第一行數(shù)據(jù)和第二行數(shù)據(jù)分別存儲在第一緩沖器和第二緩沖器中。4.如權(quán)利要求1所述的圖像信號處理器，其中， 當切換控制信號指示當前行數(shù)據(jù)是第一行數(shù)據(jù)時，第一數(shù)據(jù)處理電路被配置為處理第一行數(shù)據(jù)， 當切換控制信號指示當前行數(shù)據(jù)是第二行數(shù)據(jù)時，第一數(shù)據(jù)處理電路被配置為處理第二行數(shù)據(jù)。5.如權(quán)利要求1所述的圖像信號處理器，還包括:第二數(shù)據(jù)處理電路， 其中，第一數(shù)據(jù)處理電路是第一圖像信號處理器核，第二數(shù)據(jù)處理電路是第二圖像信號處理器核。6.如權(quán)利要求1所述的圖像信號處理器，還包括:第二數(shù)據(jù)處理電路， 其中，第一數(shù)據(jù)處理電路是第一縮放器，第二數(shù)據(jù)處理電路是第二縮放器。7.如權(quán)利要求1所述的圖像信號處理器，其中，復用控制電路被配置為基于與第一幀數(shù)據(jù)相關(guān)的第一同步信號的相位和與第二幀數(shù)據(jù)相關(guān)的第二同步信號的相位，首先將第一行數(shù)據(jù)和第二行數(shù)據(jù)中的一個發(fā)送到第一數(shù)據(jù)處理電路。8.如權(quán)利要求7所述的圖像信號處理器，其中，復用控制電路包括:行存儲器，被配置為存儲第一行數(shù)據(jù)和第二行數(shù)據(jù)中的另一個。9.如權(quán)利要求1所述的圖像信號處理器，其中，復用控制電路被配置為以單個流將第一行數(shù)據(jù)和第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路。10.—種應用處理器，包括: 總線； 圖像信號處理器，連接到總線，所述圖像信號處理器包括: 第一數(shù)據(jù)處理電路，和 復用控制電路，被配置為在時分復用模式下將包括在第一幀數(shù)據(jù)中的第一行數(shù)據(jù)和包括在第二幀數(shù)據(jù)中的第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路，第一幀數(shù)據(jù)和第二幀數(shù)據(jù)分別具有第一分辨率和第二分辨率，復用控制電路還被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，切換控制信號是指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)的信號；以及 中央處理器(CRJ)，連接到總線并被配置為控制所述圖像信號處理器。11.如權(quán)利要求10所述的應用處理器，其中，復用控制電路被配置為以單個流將第一行數(shù)據(jù)和第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路。12.如權(quán)利要求10所述的應用處理器，其中，所述圖像信號處理器還包括:第一緩沖器和第二緩沖器，其中，第一數(shù)據(jù)處理電路包括:存儲器控制器，被配置為將第一行數(shù)據(jù)和第二行數(shù)據(jù)分別存儲在第一緩沖器和第二緩沖器中。13.如權(quán)利要求10所述的應用處理器，其中，當切換控制信號指示當前行數(shù)據(jù)是第一行數(shù)據(jù)時，第一數(shù)據(jù)處理電路被配置為處理第一行數(shù)據(jù)，并且當切換控制信號指示當前行數(shù)據(jù)是第二行數(shù)據(jù)時，第一數(shù)據(jù)處理電路被配置為處理第二行數(shù)據(jù)。14.如權(quán)利要求10所述的應用處理器，其中，所述圖像信號處理器還包括第二數(shù)據(jù)處理電路， 其中，第一數(shù)據(jù)處理電路是第一圖像信號處理器核，第二數(shù)據(jù)處理電路是第二圖像信號處理器核。15.如權(quán)利要求10所述的應用處理器，其中，所述圖像信號處理器還包括第二數(shù)據(jù)處理電路， 其中，第一數(shù)據(jù)處理電路是第一縮放器，第二數(shù)據(jù)處理電路是第二縮放器。16.如權(quán)利要求10所述的應用處理器，其中，復用控制電路被配置為基于與第一幀數(shù)據(jù)相關(guān)的第一同步信號的相位和與第二幀數(shù)據(jù)相關(guān)的第二同步信號的相位，首先將第一行數(shù)據(jù)和第二行數(shù)據(jù)中的一個發(fā)送到第一數(shù)據(jù)處理電路。17.如權(quán)利要求16所述的應用處理器，其中，復用控制電路包括:行存儲器，被配置為存儲第一行數(shù)據(jù)和第二行數(shù)據(jù)中的將不被發(fā)送的行數(shù)據(jù)。18.—種移動計算裝置，包括: 具有第一分辨率的第一成像裝置； 具有第二分辨率的第二成像裝置；以及 應用處理器，連接到第一成像裝置和第二成像裝置，所述應用處理器包括: 總線， 圖像信號處理器，連接到總線，所述圖像信號處理器包括: 第一數(shù)據(jù)處理電路，和 復用控制電路，被配置為在時分復用模式下將第一行數(shù)據(jù)和第二行數(shù)據(jù)發(fā)送到第一數(shù)據(jù)處理電路，第一行數(shù)據(jù)包括在從第一成像裝置輸出的第一幀數(shù)據(jù)中，第二行數(shù)據(jù)包括在從第二成像裝置輸出的第二幀數(shù)據(jù)中，復用控制電路還被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，切換控制信號指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)，以及 中央處理器(CRJ)，連接到總線并被配置為控制所述圖像信號處理器。19.如權(quán)利要求18所述的移動計算裝置，其中，當切換控制信號指示當前行數(shù)據(jù)是第一行數(shù)據(jù)時，第一數(shù)據(jù)處理電路被配置為處理第一行數(shù)據(jù)，并且當切換控制信號指示當前行數(shù)據(jù)是第二行數(shù)據(jù)時，第一數(shù)據(jù)處理電路被配置為處理第二行數(shù)據(jù)。20.如權(quán)利要求18所述的移動計算裝置，其中，復用控制電路被配置為基于與第一幀數(shù)據(jù)相關(guān)的第一同步信號的相位和與第二幀數(shù)據(jù)相關(guān)的第二同步信號的相位，將第一行數(shù)據(jù)和第二行數(shù)據(jù)中的一個發(fā)送到第一數(shù)據(jù)處理電路，并且復用控制電路包括:行存儲器，被配置為存儲第一行數(shù)據(jù)和第二行數(shù)據(jù)中的另一個。21.—種圖像信號處理器，包括: 第一數(shù)據(jù)處理電路；以及 復用控制電路，包括切換確定電路、第一行存儲器和第一選擇電路，切換確定電路被配置為產(chǎn)生第一選擇信號，第一選擇電路被配置為基于第一選擇信號，在第一時間通過傳輸線發(fā)送從第一行數(shù)據(jù)和第二行數(shù)據(jù)之中選擇的一個行數(shù)據(jù)，在第二時間發(fā)送存儲在第一行存儲器中的第一行數(shù)據(jù)和第二行數(shù)據(jù)中的未被選擇的一個行數(shù)據(jù)，第二時間晚于第一時間。22.如權(quán)利要求21所述的圖像信號處理器，其中，切換確定電路還被配置為將切換控制信號發(fā)送到第一數(shù)據(jù)處理電路，切換控制信號指示將被發(fā)送到第一數(shù)據(jù)處理電路的當前行數(shù)據(jù)是第一行數(shù)據(jù)還是第二行數(shù)據(jù)。23.如權(quán)利要求21所述的圖像信號處理器，其中， 切換確定電路還被配置為產(chǎn)生第二選擇信號， 復用控制電路還包括第二選擇電路，第二選擇電路被配置為基于第二選擇信號發(fā)送第一行數(shù)據(jù)和第二行數(shù)據(jù)之中的將被存儲在行存儲器中的一個行數(shù)據(jù)。24.如權(quán)利要求21所述的圖像信號處理器，還包括:第二數(shù)據(jù)處理電路， 其中，第一數(shù)據(jù)處理電路是第一圖像信號處理器核，第二數(shù)據(jù)處理電路是第二圖像信號處理器核。25.如權(quán)利要求21所述的圖像信號處理器，還包括:第二數(shù)據(jù)處理電路， 其中，第一數(shù)據(jù)處理電路是第一縮放器，第二數(shù)據(jù)處理電路是第二縮放器。
【文檔編號】H04N5/268GK105915780SQ201610098417
【公開日】2016年8月31日
【申請日】2016年2月23日
【發(fā)明人】白秉俊, 林卿鐘
【申請人】三星電子株式會社