專利名稱：成像設(shè)備、信號處理方法以及計算機程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像設(shè)備、信號處理方法和計算M序。更具體地，
本發(fā)明涉及一種具有用于在諸如液晶顯示器(LCD )的監(jiān)視器上顯示圖像 的實時取景(liveview)功能的成像設(shè)備，諸如單鏡頭反光(SLR)照相 機，還涉及一種信號處理方法和計算;lil^呈序。
背景技術(shù)：
在使用照相機來觀察被攝對象時，通過光學(xué)取景器(OVF)來進行 觀察成為了主流方式。近年來，具有"實時取景顯示"功能的照相機越來 越多，該功能用于在設(shè)置于照相機的后表面或其它位置的諸如LCD的顯 示器上顯示圖像傳感器(成像元件)的輸出。與OVF相比，使用諸如LCD 的顯示器的取景器被稱為電子取景器(EVF )。例如，在2006 - 267381號 日本未審查專利申請公報中公開了一種包括OVF和EVF的照相機。
在顯示器被用作取景器的具有實時取景顯示功能的照相機中，需要處 理圖像傳感器(成像元件)的輸出信號，以顯示實時取景。還需要處理圖 像傳感器(成像元件)的輸出信號，以執(zhí)行拍照和記錄處理。使用由集成 電路(IC)芯片等形成的圖像信號處理電路，iM"圖像傳感器的輸出執(zhí)行 各種類型的信號處理，諸如白平衡調(diào)節(jié)、增益控制、伽馬(y)校正以及 色彩校正。
在不涉及顯示處理的照相機中，成像元件的輸出僅用于記錄處理，如 圖1所示，圖4象傳感器1的輸出被輸出到信號處理芯片2，然后記錄信號 處理芯片2的輸出。信號處理芯片2僅用于記錄處理。例如使用允許高速 數(shù)據(jù)傳輸?shù)某碗妷翰罘中盘?subLVDS )傳輸系統(tǒng)來進行圖像傳感器1 與信號處理芯片2之間的數(shù)據(jù)傳輸。
另 一方面，具有實時取景顯示功能的照相機設(shè)置有輸出用于記錄處理 的數(shù)據(jù)的圖像傳感器以及輸出用來顯示實時取景的數(shù)據(jù)的副圖像傳感器， 并且兩個圖像傳感器的輸出信號都被處理。例如，如圖2所示，具有多于 一個的多個圖像傳感器(N個圖像傳感器)的照相機可以被配置為包括多組(N組)圖寸象傳感器3-1到3-N以;^信號處理芯片4一1到4一N， 它們是以一一對應(yīng)的方式互相連接的。然而，信號處理芯片相對昂貴，從 而上述結(jié)構(gòu)會導(dǎo)致成本的增加。
圖3示出用于減少昂貴的信號處理芯片的數(shù)目的結(jié)構(gòu)。如圖3所示， 單個信號處理芯片6設(shè)置有接口，這些接口被用作從多個圖像傳感器5-1到5-N接收信號的輸入單元。在信號處理芯片6中，從圖像傳感器5 -1到5-N接收的信號被切換并處理。然而，該結(jié)構(gòu)的問題在于，由于 需要提供具有附加功能(即用于實現(xiàn)多個輸入的接口功能和用于切換處理 信號的切換功能)的信號處理芯片6，所以難以使用現(xiàn)有芯片，這會導(dǎo)致 需要開發(fā)新的芯片。

發(fā)明內(nèi)容
因此希望提供一種成像設(shè)備、信號處理方法和計算M序，其中可以 使用單獨的信號處理芯片來處理多個圖像傳感器輸出，該芯片是通M不 進行修改的情況下使用具有一個輸入信號接口的現(xiàn)有信號處理芯片來實 現(xiàn)的。
在本發(fā)明實施例中， 一種成像設(shè)備包括:主圖像傳感器，用于獲取用 于記錄的圖像；副圖像傳感器，用于獲取實時取景圖像；輸入切換單元； 以及信號處理器，其中，輸入切換單元接收包括主圖像傳感器的輸出和副 圖像傳感器的輸出的多個傳感器輸出，以時分方式對接收的多個傳感器輸 出進行切換，并將多個傳感器輸出的以時分切換的信號輸出到信號處理 器，以及其中，信號處理器從輸入切換單元接收以時分切換的信號，并對 所接收的以時分切換的信號執(zhí)行信號處理。
輸入切換單元可以用于以比副圖像傳感器的輸出高的優(yōu)先級將主圖 像傳感器的輸出輸入到信號處理器，使得在主圖像傳感器的輸出被輸入到 信號處理器期間，副圖像傳感器的輸出被停止輸入到信號處理器。
輸入切換單元可以包括存儲器，并可以用于執(zhí)行這樣的處理將主圖 像傳感器的輸出臨時存儲到存儲器、從存儲器讀取主圖像傳感器的輸出、 以及將讀取的主圖像傳感器的輸出輸出到信號處理器。
成像設(shè)備還可以包括反射鏡，用于在主圖像傳感器和副圖像傳感器之 間切換被攝對象圖像的光路，其中，輸入切換單元可以設(shè)置主圖像傳感器 的輸出被輸出到信號處理器的定時，使得定時被包括于在副圖像傳感器的非啄光期期間所獲得的副圖像傳感器的輸出被輸出到信號處理器的期間 內(nèi)，非曝光期是由反射鏡的操作引起的。
存儲器可以是能夠高速讀取的存儲器。
輸入切換單元可以用于使用多通道傳輸線將多個傳感器輸出輸出到 信號處理器，以及其中，用于副圖《象傳感器的輸出的通道數(shù)可以等于或小 于用于主圖像傳感器的輸出的通道數(shù)。
輸入切換單元可以用于使用超低電壓差分信號傳輸系統(tǒng)將多個傳感 器的輸出輸出到信號處理器。
在本發(fā)明另一個實施例中， 一種信號處理方法，用于執(zhí)行成像設(shè)備中
的信號處理，包括步驟由主圖像傳感器獲取用于記錄的圖像；由副圖像 傳感器獲取實時取景圖像；由輸入切換單元接收包括主圖像傳感器的輸出 和副圖像傳感器的輸出的多個傳感器輸出，以時分方式對多個接收的傳感 器輸出進行切換，并將多個傳感器輸出的以時分切換的信號輸出到信號處 理器；以及由信號處理器從輸入切換單元接收以時分切換的信號，并對所 接收的以時分切換的信號執(zhí)行信號處理。
由輸入切換單元進行接收的步驟可以包括這樣的步驟以比副圖像傳 感器的輸出高的優(yōu)先級將主圖像傳感器的輸出輸入到信號處理器，使得在 主圖像傳感器的輸出被輸入到信號處理器期間，副圖像傳感器的輸出被停 止輸入到信號處理器。
由輸入切換單元進行接收的步驟可以包括這樣的步驟執(zhí)行將主圖像 傳感器的輸出臨時存儲到存儲器、M儲器讀取主圖像傳感器的輸出、以 及將所讀取的主圖像傳感器的輸出輸出到信號處理器的處理。
成像設(shè)備可以包括反射鏡，用于在主圖像傳感器和副圖像傳感器之間 切換被攝對象圖像的光路。在由輸入切換單元進行接收的步驟中，可以設(shè) 置主圖像傳感器的輸出被輸出到信號處理器的定時，使得定時被包括于在 副圖像傳感器的非曝光期期間所獲得的副圖像傳感器的輸出被輸出到信 號處理器的期間內(nèi)，非曝光期是由反射鏡的操作引起的。
存儲器可以是能夠高速讀取的存儲器。
由輸入切換單元進行接收的步驟可以包括使用多通道傳輸線將多個 傳感器輸出輸出到信號處理器的步驟，以及用于副圖像傳感器的輸出的通 道數(shù)可以等于或小于用于主圖像傳感器的輸出的通道數(shù)。由輸入切換單元進行接收的步驟可以包括使用超低電壓差分信號傳 輸系統(tǒng)將多個傳感器的輸出輸出到信號處理器的步驟。
在本發(fā)明的又一個實施例中， 一種用于在成像i殳備中執(zhí)行信號處理的 計算;feil4呈序，包括步驟使主圖像傳感器獲取用于記錄的圖像；使副圖像 傳感器獲取實時取景圖像；使輸入切換單元接收包括主圖像傳感器的輸出 和副圖像傳感器的輸出的多個傳感器輸出，以時分方式對多個接收的傳感 器輸出進行切換，并將多個傳感器輸出的以時分切換的信號輸出到信號處 理器；以及使信號處理器從輸入切換單元接收以時分切換的信號，并對接 收到的以時分切換的信號執(zhí)4亍信號處理。
根據(jù)本發(fā)明實施例的程序可以是例如能夠通過計算機可讀格式的存 儲介質(zhì)或通信^h質(zhì)而被提供給能夠執(zhí)行各種程序代碼的通用系統(tǒng)的程序。 當以計算機可讀格式提供該程序時，在計算機系統(tǒng)上實現(xiàn)根據(jù)該程序的處 理。
根據(jù)下面結(jié)合附圖對本發(fā)明示例性實施例的詳細描述，本發(fā)明的實施 例的其它特征和優(yōu)點將變得明顯。如這里使用的，術(shù)語"系統(tǒng)"指多個裝 置的邏輯集合。注意這些裝置不必放置在同一外殼內(nèi)。
因此，根據(jù)本發(fā)明實施例，輸入切換單元用于以時分方式切換包括獲 取用于記錄的圖像的主圖像傳感器的輸出和獲取實時取景圖像的副圖像 傳感器的輸出的多個傳感器輸出，并將以時分切換的傳感器輸出輸出到信 號處理器。這種結(jié)構(gòu)能夠使用包括單個信號輸入單元的通用信號處理器來 處理多個傳感器輸出。輸入切換單元還用于將主圖像傳感器的輸出存儲到 存儲器、M儲器中讀取它、并將它輸出到信號處理器。將主圖像傳感器 的輸出的輸出定時設(shè)置在這樣的數(shù)據(jù)輸出期間內(nèi)在該期間內(nèi)副圖像傳感 器由于^^射鏡的^Mt而未曝光。這種結(jié)構(gòu)能夠減少經(jīng)歷曝光的實時取景圖 《象的非顯示期。


圖1是示出在沒有實時取景顯示功能的照相機中傳感器與信號處理 器之間的數(shù)據(jù)傳輸?shù)氖纠Y(jié)構(gòu)的圖2是示出在具有實時取景顯示功能的照相機中M感器與^ft號 處理器之間的數(shù)據(jù)傳輸?shù)氖纠Y(jié)構(gòu)的圖3是示出在具有實時取景顯示功能的照相機中各傳感器與信號處理器之間的數(shù)據(jù)傳輸?shù)氖纠Y(jié)構(gòu)的圖4是示出用作根據(jù)本發(fā)明實施例的照相機的例子的SLR照相機的 示例內(nèi)部結(jié)構(gòu)的圖5是示出用作根據(jù)本發(fā)明實施例的照相機的例子的SLR照相機的
硬件結(jié)構(gòu)的圖6是示出根據(jù)本發(fā)明實施例的例子的用于在具有實時取景顯示功
能的照相機中的各傳感器與信號處理器之間傳輸數(shù)據(jù)的示例結(jié)構(gòu)的圖7是示出根據(jù)本發(fā)明實施例的例子的用于在具有實時取景顯示功
能的照相機中的各傳感器與信號處理器之間傳輸數(shù)據(jù)的示例結(jié)構(gòu)的圖8是示出用于將作為用于記錄的圖像的主圖像和實時取景圖像傳
輸?shù)叫盘柼幚砥鞯氖纠詌t據(jù)傳輸處理的圖9是示出圖7中所示的輸入切換單元不包括用于臨時緩存圖像傳感
器輸出的存儲器的結(jié)構(gòu)下的示例性操作的圖10是示出根據(jù)本發(fā)明實施例的例子的用于在具有實時取景顯示功 能的照相機中各傳感器與信號處理器之間傳輸數(shù)據(jù)的示例結(jié)構(gòu)的圖ll是示出在圖IO所示的輸入切換單元包括用于臨時緩存圖像傳感 器輸出的存儲器的結(jié)構(gòu)下的示例性^Mt的圖。
具體實施例方式
下文中將參考附圖詳細說明根據(jù)本發(fā)明實施例的成像設(shè)備、信號處理 方法和計算積4呈序。
首先，將參考圖4和圖5說明根據(jù)本發(fā)明實施例的示例性結(jié)構(gòu)。圖4 是示出用作根據(jù)本發(fā)明實施例的照相機例子的數(shù)字SLR照相機的內(nèi)部結(jié) 構(gòu)的圖，圖5是示出其硬件結(jié)構(gòu)的圖。
參考圖4和圖5,主圖像傳感器35是輸出用于記錄的圖像信號的圖 像傳感器，副圖像傳感器23是輸出用于在監(jiān)視器40上顯示實時取景的圖 像信號的圖像傳感器。傳感器35和23的每一個例如可以由互#^屬氧化 物半導(dǎo)體(COMS)傳感器、電荷耦合器件(CCD)傳感器、或任何其 它適合的傳感器形成。來自這兩個傳感器的輸出被輸入到單獨的信號處理 芯片，即圖5中所示的信號處理器(IC芯片)77,用于進行信號處理。
9下面將詳細描述傳感器35和23與信號處理器77之間的數(shù)據(jù)傳輸以及信 號處理結(jié)構(gòu)。
圖4中所示的數(shù)字SLR照相機(下文中簡稱為照相機)主要由可互 換的鏡頭(未示出)和用作照相機本體的照相機體10形成。期望的可互 換鏡頭被可拆卸地安裝到照相機體10的前表面上的體架(body mount) 45。
從可互換鏡頭(未示出)入射的被攝對象光通量被一部分由半反射鏡 構(gòu)成的主反射鏡11的表面^^射，并經(jīng)由屏12ii/V棱鏡13。 ii^棱鏡13 的被攝對象光通量被棱鏡13的內(nèi)部反射面和反射鏡A (下文中稱為"反 射鏡(A)" ) 15反射，并且通過具有多個透鏡的中繼透鏡系統(tǒng)16 ^L^射 鏡B (下文中稱為"反射鏡(B)") 17和反射鏡C (下文中稱為"反射鏡 (C )" ) 18進一步反射。^L^射的光通量經(jīng)過具有多個透鏡的目鏡透鏡系 統(tǒng)("高倍放大鏡"光學(xué)系統(tǒng))20，以便由觀看者的眼睛(未示出)通過 取景器28進行觀看。棱鏡13、 ^Jt鏡(A) 15、中繼透鏡系統(tǒng)16、反射 鏡(B) 17以及反射鏡(C) 18形成中繼光學(xué)系統(tǒng)。該中繼光學(xué)系統(tǒng)被設(shè) 計為使屏12上形成的被攝對象圖^^反射鏡(C ) 18與目鏡透鏡系統(tǒng)20 之間重新聚焦。
反射鏡(B) 17由半反射鏡形成，入射光的一部分投射過反射鏡(B) 17,并經(jīng)由位于反射鏡(B) 17后面的重新聚焦光學(xué)系統(tǒng)的重新聚焦透鏡 系統(tǒng)22被引導(dǎo)到副圖像傳感器23中。副圖像傳感器23形成第二成像元 件，而主圖1象傳感器35形成下面描述的第一成〗象元件。副圖4象傳感器23 是生成用于將基本實時運動圖像作為直通圖像(through-image)在監(jiān)視 器40上顯示的圖像信號的圖像傳感器。換句話說，副圖像傳感器23是用 于生成實時取景圖像(LV圖像)的圖像傳感器。
穿過主反射鏡11的被攝對象光通量被設(shè)置在主反射鏡11后表面上的 副反射鏡30>^射，并被引導(dǎo)到用于自動測距的自動聚焦(AF)單元31。 主反射鏡11可繞軸lla旋轉(zhuǎn)。在對被攝對象進行觀察期間，主反射鏡ll 位于由圖4中所示實線所表示的位置，以提供到作為用于生成實時取景圖 像(LV圖像)的圖像傳感器的副圖像傳感器23的光路。
當照相開始時，主反射鏡11關(guān)于軸lla旋轉(zhuǎn)并向上運動，到達圖4 中虛線所示的位置(收回位置)("向上")。當照相結(jié)束時，主《J^鏡11 關(guān)于軸lla旋轉(zhuǎn)并向下運動，到達實線所示的位置("向下")。在該向上 -向下期間，到作為用于生成實時取景圖像(LV圖像)的圖像傳感器的副圖像傳感器23的光路被阻擋。當主反射鏡11被移動到收回位置時，副 反射鏡30被折疊，也與主反射鏡11 一起被移動到收回位置。
在主反射鏡ll的后面，沿著照相光軸設(shè)置焦平面快門33、低通濾波 器34以及附到成傳教36的主圖像傳感器35。主圖像傳感器35用作第一 成像元件。在成像板36后面設(shè)置具有各種電子部件的基底38。監(jiān)視器40 被設(shè)置在基底38后面。監(jiān)視器40用作諸如LCD的顯示單元。照相者能 夠通過設(shè)置在照相機體10后表面上的監(jiān)視器窗口 41來觀看顯示在監(jiān)視器 40的屏幕上的圖像。
如上所述，在監(jiān)視器40上，顯示由作為用于生成實時取景圖1象(LV 圖像)的圖像傳感器的副圖像傳感器23獲得的圖像。
圖5是示出根據(jù)本發(fā)明實施例的數(shù)字SLR照相機的電子系統(tǒng)結(jié)構(gòu)的 框圖。在圖5所示的照相機中，可互換鏡頭80被安裝到圖4所述的體架 45。
在圖5中，控制器50作為用于控制照相機的整體操作并執(zhí)行算^it 算的控制單元，它是由例如中央處理單元(CPU)形成的?？刂破?0通 過馬達驅(qū)動電路51連接到快門反射鏡驅(qū)動馬達52，還通過快門控制電路 53連接到焦平面快門33?？刂破?0還被連接到設(shè)置在AF單元31中的 測距傳感器55、用于測量^L攝對象亮度的測光傳感器56、當進行快門充 電時被切換的充電凸輪開關(guān)(SW )57、安裝到焦平面快門33的第一簾(未 示出)并用于檢測焦平面快門33的完全打開的第一簾開關(guān)(SW) 58、用 于驅(qū)動主圖像傳感器35的主圖像傳感器驅(qū)動電路60、用于驅(qū)動副圖像傳 感器23的副圖像傳感器驅(qū)動電路61、用于驅(qū)動監(jiān)視器40的監(jiān)視器驅(qū)動 電路62、以及用于驅(qū)動取景器內(nèi)顯示LCD 26的LCD驅(qū)動電路63。
控制器50還被連接到用于處理主圖像傳感器35和副圖像傳感器23 的輸出信號的信號處理器(IC芯片)77,以及用于在主圖像傳感器35和 副圖像傳感器23的要輸入到信號處理器77的輸出信號之間進行切換的輸 入切換單元75。
控制器50還連接到操作掩組65、操作撥盤66、釋放開關(guān)(SW) 67、 記錄介質(zhì)69、存儲器70以及圖像數(shù)據(jù)存儲器71。操作按鈕65包括圖中 未示出的菜單^、十字鍵以及OK按鈕，并被用于執(zhí)行照相機的各種操 作。操作撥盤66是用于設(shè)置照相期間的拍攝模式的操作構(gòu)件。
釋放開關(guān)67是用于執(zhí)行預(yù)拍攝操作和曝光操作的掩組。釋放開關(guān)67包括兩步開關(guān)，即第一釋放開關(guān)和第二釋放開關(guān)。半按下釋放掩組(未示 出)來接通第一釋放開關(guān)，從而執(zhí)行包括測光處理和測距處理的預(yù)拍攝操 作。全部按下釋放^^來接通第二釋放開關(guān)，從而執(zhí)行曝光操作。
記錄介質(zhì)69是可以通過照相機的接口 (未示出)從照相機體10拆卸 的記錄介質(zhì)，諸如存儲卡或外部硬盤驅(qū)動器(HDD)。在存儲器70中預(yù) 先存儲用于控制數(shù)字照相機的全部操作的控制程序。圖像數(shù)據(jù)存儲器71 是用于臨時保持圖l象數(shù)據(jù)的存儲器。
可互換鏡頭80包括控制器81?？刂破?1由CPU等構(gòu)成，用于控制 可互換鏡頭80內(nèi)每個部件的驅(qū)動?？刂破?1經(jīng)由馬達驅(qū)動電路82連接 到聚焦馬達83、經(jīng)由光圏驅(qū)動電路84連接到光圏馬達85，還被連接到聚 焦脈沖計數(shù)器87、變焦編碼器88和存儲器卯。
聚焦馬達83是用于基于照相機體10中的測距傳感器55的測距結(jié)果 來驅(qū)動可互換鏡頭80中的聚焦鏡頭(未示出)的馬達。光圏馬達85是用 于基于照相機體10中的測光傳感器56的測光結(jié)果來驅(qū)動可互換鏡頭80 中的光圏(未示出)的馬達。聚焦脈沖計數(shù)器87用于檢測聚焦鏡頭的運 動，以在聚焦鏡頭被驅(qū)動之前執(zhí)行位置控制。變焦編碼器88根據(jù)照相鏡 頭(未示出)的焦距iM^測運動信號，并將該運動信號輸出到控制器81。 存儲器卯存儲關(guān)于可互換鏡頭80的鏡頭信息。
經(jīng)由通信連接器等(未示出)，控制器81被電連接到照相機體10中 的控制器50。根據(jù)照相機體10的控制器50的指令來控制控制器81。
圖4和圖5中所示的主圖像傳感器35是輸出用于記錄的圖像信號的 圖像傳感器，而副圖像傳感器23是輸出用于在監(jiān)視器40上顯示實時取景 的圖像信號的圖像傳感器。
如圖5中所示，主圖像傳感器35和副圖像傳感器23的輸出被輸入到 輸入切換單元75，并且然后被輸入到信號處理器(IC芯片)77。當接收 到傳感器35和23的輸出時，信號處理器77執(zhí)行各種類型的信號處理， 諸如白平衡調(diào)節(jié)、增益控制、伽馬校正以及色彩校正。信號處理器77接 收例如符合subLVDS傳輸系統(tǒng)的信號。
信號處理器(IC芯片)77是具有一個信號輸入單元的通用信號處理 IC芯片?，F(xiàn)在將根據(jù)本發(fā)明的實施例，描述關(guān)于主圖像傳感器35、副圖 像傳感器23、輸入切換單元75與信號處理器77之間的連接結(jié)構(gòu)、它們 之間的數(shù)據(jù)傳輸和信號處理結(jié)構(gòu)的例子。首先，將參考圖6說明本發(fā)明實施例的基本示例的結(jié)構(gòu)。在圖6中， 示出了多個圖像傳感器101 — 1到101 -N、輸入切換單元102以及信號處 理器(IC芯片)103。多個圖像傳感器101 - 1到101 -N中的至少一個是 用于獲取用于拍攝圖像的記錄的圖像的傳感器，并對應(yīng)于圖4和圖5中所 示的主圖像傳感器35。此外，至少一個圖像傳感器是用于獲取用來在監(jiān) 視器上顯示實時取景圖像的圖像的傳感器，并對應(yīng)于圖4和圖5中所示的 副圖像傳感器23。在圖6中，值N (NS )被用iMt圖像傳感器進行概括 的說明。
在這種結(jié)構(gòu)中，信號處理器(IC芯片)103是具有一個信號輸入單 元的通用信號處理IC芯片，并用于對輸入信號執(zhí)行各種類型的信號處理， 諸如白平衡調(diào)節(jié)、增益控制、伽馬校正以及色彩校正。例如，使用實現(xiàn)高 速數(shù)據(jù)傳輸?shù)膕ubLVDS傳輸系統(tǒng)來執(zhí)行輸入切換單元102與信號處理器 (IC芯片)103之間的信號傳輸。通道數(shù)目例如可以是8。
輸入切換單元102是由例如IC芯片構(gòu)成，并包括從多個圖像傳感器 101 — 1到101 — N接收信號的多個輸入單元，以及將選擇信號輸出到信號 處理器(IC芯片)103的一個輸出單元。像上述輸入切換單元102與信號 處理器(IC芯片)103之間的信號傳輸一樣，也根據(jù)實現(xiàn)高速數(shù)據(jù)傳輸?shù)?subLVDS傳輸系統(tǒng)來執(zhí)行多個圖像傳感器101 - 1到101 - N與輸入切換 單元102之間的信號傳輸。subLVDS是傳輸系統(tǒng)的示例，可以使用任何 其它信號傳輸系統(tǒng)。
在本實施例的例子中，信號處理器(IC芯片)103從輸入切換單元 102接收例如符合8通道subLVDS系統(tǒng)的數(shù)據(jù)輸入，并且能夠在不對通 用IC芯片進行修改的情況下，用通用IC芯片來實現(xiàn)信號處理器(IC芯 片)103。
在實施例的本示例中，通用信號處理器(IC芯片)103可以以簡單 的結(jié)構(gòu)使用，在該結(jié)構(gòu)中，具有多個輸入(N個輸入)和一個輸出的輸入 切換單元102被連接在多個圖像傳感器101 — 1到101 — N與信號處理器 (IC芯片)103之間。不像信號處理器103，輸入切換單元102由不涉及 復(fù)雜處理的執(zhí)行的電路構(gòu)成，因此能夠被制造成具有相對低成本的芯片。 從而，可以使用單個信號處理器(IC芯片)103來處理多個圖像傳感器輸 出，而不增加整體成本。除了簡單的輸入/輸出切換功能，輸入切換單元 102還可以配置為具有用于對每個圖像傳感器輸出執(zhí)行信號處理等的電 路。
13接下來，將參考圖7到圖11來描述基于上述實施例的基本例子的以 下兩個特定例子的示例'性^作。
(1) 示例結(jié)構(gòu)，其中，輸入切換單元不包括用于臨時緩存圖像傳感 器輸出的存儲器。
(2) 示例結(jié)構(gòu)，其中，輸入切換單元包括用于臨時緩存圖像傳感器 輸出的存儲器。
首先，將參考圖7到圖9來描述第一例子的示例性操作，其中輸入切 換單元不包括用于臨時緩存圖像傳感器輸出的存儲器。當輸入切換單元包 括存儲器但不使用它時，執(zhí)行相似的處理。如圖7所示，主圖像傳感器 211和副圖像傳感器212的每一個將獲得的數(shù)據(jù)輸出到輸入切換單元215。 輸入切換單元215的輸出信號控制器216選擇兩個傳感器輸入中的一個， 并將所選擇的傳感器輸入輸出到信號處理器221。
圖7中所示的主圖像傳感器211是輸出用于記錄圖像的圖像的傳感 器，并對應(yīng)于參考圖4和圖5所描述的主圖4象傳感器35。副圖4象傳感器 212是輸出用于在監(jiān)視器40上顯示的實時取景圖像的傳感器，并對應(yīng)于 參考圖4和圖5所描述的副圖像傳感器23。
在圖7所示的示例結(jié)構(gòu)中，輸入切換單元215不包括用于臨時緩存圖 像傳感器輸出的存儲器。從而，輸入切換單元215的輸出信號控制器216 將從副圖像傳感器212輸入的實時取景圖像的輸入數(shù)據(jù)和從主圖像傳感 器211輸入的用于記錄的圖像的輸入數(shù)據(jù)一幀一幀地進行切換，并將輸入 數(shù)據(jù)輸出到信號處理器221。當提供了存儲器但不使用時，也執(zhí)行上述處 理。如果沒有來自主圖像傳感器2U的輸入，則從副圖像傳感器212輸入 的實時取景圖#^輸出到信號處理器221。當出現(xiàn)了來自主圖像傳感器 211的輸入時，從副圖像傳感器212輸入的實時取景圖像的輸出被停止， 并且來自主圖像傳感器2U的輸入，即用于記錄的信號，被優(yōu)先輸出到信 號處理器221。
如上所述，根據(jù)例如實現(xiàn)高速數(shù)據(jù)傳輸?shù)膕ubLVDS傳輸系統(tǒng)執(zhí)行從 輸入切換單元215到信號處理器(IC芯片)221的信號傳輸。subLVDS 傳輸線使用8通道傳輸線，并且主圖像的圖像尺寸大于或等于實時取景圖 像的尺寸。
如圖8所示，在根據(jù)本發(fā)明實施例的例子的傳輸處理中，假設(shè)使用8 個subLVDS通道來傳輸主圖像，而使用一個subLVDS通道來傳輸實時取景圖像。在這種方式中，通過控制用于傳輸實時取景圖像的通道的數(shù)目，
可以降低功耗。通道數(shù)目的組合可以是1和8，但不限于此。例如，使用 數(shù)目等于或小于用于主圖像傳感器輸出的通道數(shù)的通道傳輸副圖像傳感 器輸出。
圖9是描述信號輸入和輸出定時的時序圖。在圖9中，下面的信號輸 入和輸出以及操作定時是按照從左向右時間增加的方式示出的。
(a)副圖像傳感器輸出(實時取景圖像)
(b )主反射鏡操作(圖4所示的主反射鏡11的操作)
(c) 主圖像傳感器輸出(記錄圖像)
(d) 輸入切換單元輸出
(e) 監(jiān)視器輸出(實時取景顯示)
根據(jù)照相處理來改變副圖像傳感器輸出(實時取景圖像)(見圖9的 部分(a))。例如，在連續(xù)拍攝的情況下，以200ms的間隔將幀圖像輸出 到輸入切換單元，即速率是五幀每秒。在圖9的例子中，示出了將副圖像 傳感器輸出(實時取景圖像)以60幀每秒的速率輸入到輸入切換單元的 示例性處理。例如，副圖像傳感器的輸出幀301a被輸入到輸入切換單元， 作為輸入切換單元的輸出301b (見圖9的部分(d))被輸入到信號處理 器，并在執(zhí)行了預(yù)定信號處理之后，作為輸出幀301c以實時取景方式顯 示在監(jiān)視器上(見圖9的部分(e))。
然而，如圖9的部分(b)所示，當執(zhí)行照相處理時，在照相開始時 主^^射鏡開始向上移動^Mt ("向上")，并且開始移動到圖4的虛線所示 的主反射鏡11的位置。從而如圖4所示，到副圖像傳感器23的光路被阻 擋。副圖像傳感器不被曝光，直到照相結(jié)束后主反射鏡被返回到原始狀態(tài)。 從而，在圖9所示的從時間tl到時間t5的時段期間，副圖像傳感器被避 免曝光。
當主反射鏡已經(jīng)完全移動到上面后，在時間t2,主圖像傳感器(在圖 4的示例中是主圖像傳感器35)被曝光。然后，在時間t3，開始來自主圖 像傳感器的數(shù)據(jù)的輸出，并且用于記錄的主圖像^L傳輸?shù)捷斎肭袚Q單元。
由于輸入切換單元沒有存儲器，輸入切換單元立即將輸入數(shù)據(jù)輸出到 信號處理器。輸出在圖9所示的時間t4開始。之后，在直到時間t6的期 間內(nèi)，對應(yīng)于由主圖像傳感器獲得的用于記錄的圖像的圖像數(shù)據(jù)被從輸切換單元輸出到信號處理器。
在從時間t4到時間t6的期間內(nèi)，從輸入切換單元到信號處理器的數(shù) 據(jù)傳輸線被作為用于記錄的圖像的主圖像占據(jù)。因此，在該期間，從副圖 像傳感器到輸入切換單元的信號輸入不被輸出到信號處理器，并且在該期 間圖像的實時取景顯示被中斷。
結(jié)果，監(jiān)視器上不顯示從主反射鏡開始向上移動操作("向上")的時 間tl到從輸入切換單元到信號處理器的主圖4象輸出結(jié)束的時間t6的期間 內(nèi)的實時取景圖像。如圖9的部分(e)所示，該期間被稱作實時取景圖 像非顯示期。
該實時取景圖像非顯示期的前半個期間是副圖像傳感器由于反射鏡 操作而不被曝光的部分。后半個期間是圖像非顯示部分，這是由于盡管在 該期間副圖像傳感器被曝光，但是從輸入切換單元到信號處理器的輸出通 道被主圖像占據(jù)，即圖9的部分(a)和部分(e)所示的數(shù)據(jù)集302a和 302c。
在這種方式中，輸入切換單元不包括用于臨時存儲圖像傳感器輸出的 存儲器，這導(dǎo)致了長的實時取景圖像非顯示期。也就是說，從輸入切換單 元到信號處理器的輸出通道因主圖像的傳^i皮占據(jù)，這阻止由副圖像傳感 器所獲得的圖像被顯示，盡管已經(jīng)執(zhí)行了副圖像傳感器的曝光。
接下來，將參考圖10到圖ll說明，為了克服這種不便，輸入切換單 元包括用于臨時存儲圖像傳感器輸出的存儲器的第二例子的示例性^Mt。
圖10示出包括用于臨時緩存圖像傳感器輸出的存儲器222的輸入切 換單元215的結(jié)構(gòu)。在圖10中，主圖傳_傳感器211和副圖4象傳感器212 的每一個都將獲得的數(shù)據(jù)輸出到輸入切換單元215。輸入切換單元215的 輸出信號控制器216選擇兩個傳感器輸入中的一個，并將所選的傳感器輸 入輸出到信號處理器221。
圖10所示的主圖像傳感器211是輸出用于記錄圖像的圖像的傳感器， 并對應(yīng)于參考圖4和圖5所描述的主圖4象傳感器35。副圖4象傳感器212 是輸出用于在監(jiān)視器40上顯示實時取景圖像的圖像的傳感器，并對應(yīng)于 參考圖4和圖5所描述的副圖傳_傳感器23。
在圖10所示的結(jié)構(gòu)中，從主圖像傳感器211到輸入切換單元215的 輸入被臨時存儲在存儲器222中。存儲器222可以是例如能夠高速記錄和 讀取的雙數(shù)據(jù)速率(DDR)存儲器。輸入切換單元215在預(yù)定時間將記錄在存儲器222上的用于記錄的主圖像信號輸出到信號處理器221。具體 來說，在某個定時輸出主圖像信號，以便盡可能不禁止對曝光后所獲得的 實時取景圖像的有效的監(jiān)視器顯示。
圖11是描述當前示例性實施例的信號輸入和輸出定時的時序圖。在 圖11中，類似于圖9，如上所述，下面的信號輸入和輸出以及操作定時 是按照從左向右時間增加的方式示出的。
(a)副圖像傳感器輸出(實時取景圖像)
(b )主反射鏡操作(圖4所示的主及Jt鏡11的操作)
(c) 主圖像傳感器輸出(記錄圖像)
(d) 輸入切換單元輸出
(e) 監(jiān)視器輸出(實時取景顯示)
同樣，在實施例的本例子中，根據(jù)照相處理來改變副圖像傳感器輸出 (實時取景圖像)(見圖11的部分(a))。例如，在連續(xù)拍攝的情況下， 以200ms的間隔將幀圖像輸出到輸入切換單元，即速率是五幀每秒。在 圖ll的例子中，與圖9一樣，示出了將副圖《象傳感器輸出(實時取景圖 像)以60幀每秒的速率輸入到輸入切換單元的示例性處理。例如，副圖 像傳感器的輸出幀301a被輸入到輸入切換單元，作為輸入切換單元的輸 出301b (見圖11的部分(d))被輸入到信號處理器，并在執(zhí)^f亍了預(yù)定的 信號處理之后，作為輸出幀301c以實時取景方式顯示在監(jiān)視器上(見圖 ll的部分(e))。
如圖11的部分(b)所示，當執(zhí)行照相處理時，在照相開始時主^Jt 鏡開始向上移動操作("向上")，并且副圖像傳感器不被曝光，直到照相 結(jié)束后主反射鏡返回到原始位置("向下")。從而，在圖11所示的從時間 tl到時間t4的時段期間，副圖像傳感器不被曝光。
當主>^射鏡已經(jīng)完全移動到上面后，在時間t2,主圖像傳感器(在圖 4的例子中是主圖像傳感器35)被曝光。然后，在時間t3，來自主圖像傳 感器的數(shù)據(jù)的輸出開始，并且用于記錄的主圖像被傳輸?shù)捷斎肭袚Q單元。
在實施例的本例子中，如參考圖10描述的，輸入切換單元215包括 存儲器222，并且來自主圖像傳感器211的數(shù)據(jù)被存儲在輸入切換單元215 的存儲器222中。也就是說，不像圖9所示的例子，輸入切換單元215不 會立即將輸入數(shù)據(jù)輸出到信號處理器221。在圖9所示的例子中，用于記錄的主圖像的數(shù)據(jù)從主圖像傳感器到輸 入切換單元的輸入，與從輸入切換單元到信號處理器的數(shù)據(jù)輸出基本同時 地執(zhí)行，并且從輸入切換單元到信號處理器的該數(shù)據(jù)輸出期間可能使得難 以將被曝光的副圖像傳感器的輸出輸出到信號處理器。
在該示例性處理中，例如，如圖11中所示，當在下一個照相操作的 反射鏡操作期間(向上—向下期間)內(nèi)的副圖像傳感器不被曝光期所獲得 的數(shù)據(jù)被從輸入切換單元輸出到信號處理器時，即在圖11所示的從時間 t5到時間t8的期間內(nèi)，存儲于存儲器中的主圖^#:輸出到信號處理器。 也就是說，在圖11所示的從時間t6到時間t7的期間輸出主圖像。圖11 所示的從時間t6到時間t7的期間要短于圖9所示的將主圖^^輸入切換 單元輸出到信號處理器的期間。這是因為使用了可以是能夠進行高速讀取 的存儲器的DDR存儲器，并且不像圖9所示的例子，在圖11所示的例子 中，以高速來執(zhí)行對用于記錄的圖像信號的數(shù)據(jù)傳輸。
利用該處理，將存儲于存儲器中的主圖像輸出到信號處理器僅僅禁止 輸出副圖像傳感器的非曝光期的數(shù)據(jù)。這保證了在副圖像傳感器的非曝光 期之外的其它期間獲得的數(shù)據(jù)能夠被輸出到監(jiān)視器上。
如上述參考圖9的描述，盡管副圖像傳感器已經(jīng)被曝光但不提供監(jiān)視 器顯示的數(shù)據(jù)集對應(yīng)于數(shù)據(jù)集351 (即圖11中所示的351a到351c)。對 于圖9所示的例子中的監(jiān)視器輸出操作，數(shù)據(jù)集351是不允許的，這是因 為其輸出定時與從輸入切換單元到信號處理器的主圖^象輸出的輸出定時 相交疊。然而，在本示例性實施例中，副圖像傳感器的輸出被從輸入切換 單元輸出到信號處理器，以執(zhí)行監(jiān)視器顯示。
如圖11所示，執(zhí)行下一個照相處理并JJL生^^射鏡移動，這導(dǎo)致了 副圖像傳感器的非曝光期。在該非曝光期中，從存儲器讀取主圖像，并將 其輸出到信號處理器。這使得被曝光的副圖像傳感器的所有輸出都被作為 實時取景圖像顯示。
在圖11的例子中，執(zhí)行下一個照相處理并JL良生^^射鏡移動，這導(dǎo) 致副圖像傳感器的非曝光期。通過在該非曝光期進行數(shù)據(jù)傳輸，被曝光的 副圖像傳感器的所有輸出都能夠被作為實時取景圖像顯示。另一方面，例 如在不執(zhí)行下一個照相處理并且沒發(fā)生反射鏡移動的情況下，可以使用能 夠高速讀取的存儲器，諸如DDR存儲器，來臨時存儲主圖像，從而減小 主圖像從輸入切換單元輸出到信號處理器的期間以及丟失實時取景圖像 的期間。雖然已經(jīng)詳細描述了本發(fā)明實施例的特定例子，本領(lǐng)域技術(shù)人員應(yīng)該 理解，在不脫離本發(fā)明范圍的情況下，可以對該實施例的例子進行修改或 替代。本發(fā)明的實施例的例子已經(jīng)通過說明性示例的方式被公開，但不構(gòu) 成對本發(fā)明的范圍的限制。本發(fā)明的范圍應(yīng)由所附的權(quán)利要求書來確定。
這里所述的一系列處理能夠通過硬件或軟件、或者其結(jié)合來實現(xiàn)。當 通過軟件來實現(xiàn)這一 系列處理時，可以將具有處理順序的程序安裝到包含 在專用硬件中的計算機的內(nèi)部存儲器中并執(zhí)行，或者將該程序安裝到能夠 執(zhí)行各種類型的處理的通用計算機中并執(zhí)行。例如，該程序能夠被預(yù)先記 錄在記錄介質(zhì)上'可以從記錄介質(zhì)中將該程序安裝到計算機中，或者可以
通過諸如局域網(wǎng)(LAN)或因特網(wǎng)的網(wǎng)^^收該程序，并安裝到諸如^it 的內(nèi)置記錄介質(zhì)中。
根據(jù)執(zhí)行處理的裝置的性能或者根據(jù)需要，這里描述的處理可以是并 行執(zhí)行或單獨執(zhí)行的，并且以這里描述的順序來執(zhí)行。這里使用的術(shù)語"系 統(tǒng)"指裝置的邏輯集合，無論這些裝置是否位于單獨的外殼中。
本申請包含涉及于2008年3月17日在日本專利局提交的日本優(yōu)先權(quán) 專利申請JP2008-068491的主題，其整個內(nèi)容通過引用包含于此。
本領(lǐng)域技術(shù)人員應(yīng)該理解，依據(jù)設(shè)計要求和其它因素，可以進行各種 變型、組合、子組合和修改，它們落入所附權(quán)利要求書及其等同的范圍之 內(nèi)。
19
權(quán)利要求
1.一種成像設(shè)備，包括主圖像傳感器，用于獲取用于記錄的圖像；副圖像傳感器，用于獲取實時取景圖像；輸入切換單元；以及信號處理器，其中，所述輸入切換單元接收包括主圖像傳感器的輸出和副圖像傳感器的輸出的多個傳感器輸出，以時分方式對接收的多個傳感器輸出進行切換，并將多個傳感器輸出的以時分切換的信號輸出到所述信號處理器，以及其中，所述信號處理器從所述輸入切換單元接收所述以時分切換的信號，并對所接收的以時分切換的信號執(zhí)行信號處理。
2. 根據(jù)權(quán)利要求1所述的成像設(shè)備，其中，所述輸入切換單元用于 以比副圖像傳感器的輸出高的優(yōu)先級將主圖像傳感器的輸出輸入到所述 信號處理器，使得在主圖像傳感器的輸出被輸入到所述信號處理器期間， 副圖像傳感器的輸出被停止輸入到所述信號處理器。
3. 根據(jù)權(quán)利要求1所述的成像設(shè)備，其中，所述輸入切換單元包括 存儲器，并用于執(zhí)行這樣的處理將主圖像傳感器的輸出臨時存儲到所述 存儲器、從所述存儲器讀取主圖像傳感器的輸出、以及將讀取的主圖像傳 感器的輸出輸出到所述信號處理器。
4. 根據(jù)權(quán)利要求3所述的成像設(shè)備，還包括反射鏡，用于在主圖像 傳感器和副圖像傳感器之間切換被攝對象圖像的光路，其中，所述輸入切換單元設(shè)置主圖像傳感器的輸出被輸出到信號處理 器的定時，使得所述定時被包括于在副圖像傳感器的非曝光期期間所獲得 的副圖像傳感器的輸出被輸出到所述信號處理器的期間內(nèi)，所述非曝光期 是由所述反射鏡的操作引起的。
5. 根據(jù)權(quán)利要求3或4所述的成像設(shè)備，其中，所述存儲器是能夠 高速讀取的存儲器。
6. 根據(jù)權(quán)利要求1所述的成像設(shè)備，其中，所述輸入切換單元用于 使用多通道傳輸線將所述多個傳感器輸出輸出到所述信號處理器，以及其中，用于副圖像傳感器的輸出的通道數(shù)等于或小于用于主圖像傳感 器的輸出的通道數(shù)。
7. 根據(jù)權(quán)利要求6所述的成像設(shè)備，其中，所述輸入切換單元用于 使用超低電壓差分信號傳輸系統(tǒng)將多個傳感器的輸出輸出到所述信號處 理器。
8. —種信號處理方法，用于執(zhí)行成像設(shè)備中的信號處理，包括步驟: 由主圖像傳感器獲取用于記錄的圖像;由副圖像傳感器獲取實時取景圖像；由輸入切換單元接收包括主圖像傳感器的輸出和副圖像傳感器的輸 出的多個傳感器輸出，以時分方式對多個接收的傳感器輸出進行切換，并 將多個傳感器輸出的以時分切換的信號輸出到信號處理器；以及由所述信號處理器從所述輸入切換單元接收以時分切換的信號，并對 所接收的以時分切換的信號執(zhí)行信號處理。
9. 根據(jù)權(quán)利要求8所述的信號處理方法，其中，由所述輸入切換單 元進行接收的步驟包括這樣的步驟以比副圖4象傳感器的輸出高的優(yōu)先級 將主圖像傳感器的輸出輸入到所述信號處理器，使得在主圖像傳感器的輸 出被輸入到所述信號處理器期間，副圖像傳感器的輸出被停止輸入到所述 信號處理器。
10. 根據(jù)權(quán)利要求8所述的信號處理方法，其中，由所述輸入切換單 元進行接收的步驟包括這樣的步驟執(zhí)行將主圖像傳感器的輸出臨時存儲 到存儲器、從所述存儲器讀取主圖像傳感器的輸出、以及將所讀取的主圖 寸象傳感器的輸出輸出到所述信號處理器的處理。
11. 根據(jù)權(quán)利要求10所述的信號處理方法，其中，所述成像設(shè)備包 括反射鏡，用于在主圖像傳感器和副圖像傳感器之間切換被攝對象圖像的 光路，其中，在由所述輸入切換單元進行接收的步驟中，設(shè)置主圖像傳感器 的輸出被輸出到所述信號處理器的定時，使得所述定時被包括于在副圖像 傳感器的非曝光期期間所獲得的副圖像傳感器的輸出被輸出到所述信號 處理器的期間內(nèi)，所述非曝光期是由所述反射鏡的操作引起的。
12. 根據(jù)權(quán)利要求10或11所述的信號處理方法，其中，所述存儲器 是能夠高速讀取的存儲器。
13. 根據(jù)權(quán)利要求8所述的信號處理方法，其中，由所述輸入切換單 元進行接收的步驟包括使用多通道傳輸線將所述多個傳感器輸出輸出到 所述信號處理器的步驟，以及其中，用于副圖像傳感器的輸出的通道數(shù)等于或小于用于主圖像傳感 器的輸出的通道數(shù)。
14. 根據(jù)權(quán)利要求13所述的信號處理方法，其中，由所述輸入切換 單元進行接收的步驟包括使用超低電壓差分信號傳輸系統(tǒng)將多個傳感器 的輸出輸出到所述信號處理器的步驟。
15. —種用于在成像設(shè)備中執(zhí)行信號處理的計算機程序，包括步驟 使主圖像傳感器獲取用于記錄的圖像；使副圖像傳感器獲取實時取景圖像；使輸入切換單元接收包括主圖像傳感器的輸出和副圖像傳感器的輸 出的多個傳感器輸出，以時分方式對多個接收的傳感器輸出進行切換，并 將多個傳感器輸出的以時分切換的信號輸出到信號處理器；以及使所述信號處理器從所述輸入切換單元接收所述以時分切換的信號， 并對接收到的以時分切換的信號執(zhí)行信號處理。
全文摘要
一種成像設(shè)備、信號處理方法以及計算機程序。成像設(shè)備包括用于獲取用于記錄的圖像的主圖像傳感器、用于獲取實時取景圖像的副圖像傳感器、輸入切換單元和信號處理器。輸入切換單元接收包括主圖像傳感器的輸出和副圖像傳感器的輸出的多個傳感器輸出，以時分方式將接收的傳感器輸出進行切換，并將多個傳感器輸出的時分切換信號輸出到信號處理器。信號處理器從輸入切換單元接收時分切換信號，并對接收的時分切換信號執(zhí)行信號處理。
文檔編號H04N5/225GK101540843SQ20091012714
公開日2009年9月23日 申請日期2009年3月13日 優(yōu)先權(quán)日2008年3月17日
發(fā)明者桑添泰嘉 申請人:索尼株式會社