專利名稱：用于數字攝像機系統(tǒng)的閃光補償系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種閃光補償系統(tǒng)，所述閃光補償系統(tǒng)基于景深測量并可適用于標準 消費數字攝像機或SLR/專業(yè)數字攝像機系統(tǒng)，以及一種控制閃光補償系統(tǒng)的方法。
背景技術：
在JP 2004-328657中公開了一種數字攝像機的圖像輸入設備和圖像輸入方法， 其中，獲得圖像中的深度信息。圖像輸入設備包括成像裝置，該成像裝置基于設置的曝光時 間間隔來捕獲要拍攝的對象的圖像。發(fā)光設備用于向對象提供輻射光。在指示曝光時，將 曝光時間設置為第一時間間隔，并且通過發(fā)光裝置將光輻射到成像對象。成像裝置捕獲對 象的第一圖像，此后在無需向對象輻射光的情況下，成像裝置捕獲第二圖像。將第二圖像的 曝光時間設置為第一時間間隔。檢測第一與第二圖像之間的差異。獲得第三圖像，該第三 圖像代表反射光的強度分布，該反射光是成像對象反射了發(fā)光裝置輻射給該對象的光而獲 得的，并且第三圖像包括成像對象的深度信息。此外，JP 2005-354199公開了一種成像裝置及其控制方法，其中，提供發(fā)光裝置用 于對要拍攝的場景執(zhí)行光發(fā)射。為了獲得曝光信息以控制成像裝置，在結合主曝光執(zhí)行主 光發(fā)射之前，執(zhí)行初步光發(fā)射。第一測光裝置對對象所反射的初步光發(fā)射的光進行測量。成 像裝置還包括第二測光裝置，用于在執(zhí)行初步光發(fā)射時將直接測光應用于閃光發(fā)射?；?第一和第二測光裝置在初步光發(fā)射期間所測量的測光信息的檢測結果，來控制隨后的主光 發(fā)射。在閃光攝影之后，基于由第二測光裝置所測量的光發(fā)射量，通過消除由于閃光燈管的 光發(fā)射量的變化而引起的拾取圖像的亮度變化來對拾取圖像進行亮度校正，以獲得穩(wěn)定的 亮度。然而，由于閃光操作，場景的較遠部分基本上保持為暗，而場景中接近攝影師的部 分而看起來太亮，因此結合閃光的使用不能獲得正確的曝光結果。

發(fā)明內容
因此，本發(fā)明的目的是提供一種閃光補償系統(tǒng)，所述閃光補償系統(tǒng)確保對圖像傳 感器所拾取的圖像上均勻分布的照明的補償。根據本發(fā)明，該目的可以由根據權利要求1所述特征的數字攝像機的閃光補償系 統(tǒng)來實現，也可以由根據權利要求10所述特征的用于控制數字攝像機的閃光補償系統(tǒng)的 方法來實現。相應地，本發(fā)明提供了一種數字攝像機的閃光補償系統(tǒng)，包括攝像機，所述攝像 機包含圖像傳感器，用于拾取要拍攝的場景的圖像；閃光設備，用于向場景發(fā)射光；以及多 個傳感器，用于測量相應場強度，并產生相應輸出信號。該系統(tǒng)還包括景深估計器，用于基 于多個傳感器的輸出信號來估計場景的景深；以及補償器單元，用于基于景深估計器的景 深估計，提供對圖像傳感器所拾取的、并正由閃光設備照射的場景的亮度調整。因此，通過數字攝像機的閃光補償系統(tǒng)，能夠測量場景的景深，以便用于基于由景深估計器提供的景深估計，對拾取圖像的場景進行亮度調整。結合閃光設備的照射(光發(fā) 射)，捕獲由圖像傳感器所拾取的場景的圖像。可以基于從多個傳感器的輸出信號獲得的深 度信息，由亮度調整來補償場景圖像上不均勻分布的照射。優(yōu)選地，多個傳感器彼此間隔布置。將它們布置在數字攝像機系統(tǒng)的相對的邊緣。 此外，多個傳感器根據預定距離彼此間隔布置。相應地，能夠獲得與要拍攝的場景的整個圖像的交錯深度(staggered depth)有 關的空間信息?；诠烙嫷纳疃刃畔鼍皥D像的照射調整引起質量提高，以補償攝像機 閃光對場景的(多次)照射不足場景的有限可能性。多個傳感器還適于同時執(zhí)行對相應強度場的測量。因此，通過同時感測操作或多 個傳感器的測量操作，在一次曝光過程中獲得估計的深度信息的基礎。此外，多個傳感器執(zhí)行對要拍攝的場景的背景對前景距離的測量，以及補償器單 元適于控制場景中遠離攝像機的區(qū)域中的強度增加，以及場景中接近攝像機的區(qū)域中的強 度降低。即，通過由多個傳感器執(zhí)行的測量，檢測到場景的背景與場景中接近攝像機的前景 之間的距離，從而獲得與圖像傳感器所拾取的整個場景的交錯深度有關的信息。在基于拾 取圖像的場景的具體區(qū)域中，執(zhí)行強度的降低或增加，以執(zhí)行對圖像拾取過程期間由閃光 設備發(fā)射的閃光所照射的場景的期望亮度調整。閃光補償系統(tǒng)還包括噪聲減小單元，適于向場景的預定部分提供空間濾波操作。 這可以用于補償場景的預定部分中被放大的噪聲。具體地，向場景的變暗部分提供空間濾 波操作，使得在對場景進行亮度調整過程中，為暗照片區(qū)域處的放大噪聲提供補償，其中， 期望補償濾波器能夠帶來更好(或最好的)效果。根據用于控制數字攝像機的閃光補償系統(tǒng)的方法，該方法包括步驟拾取要拍攝 的場景的圖像；向所述場景發(fā)射閃光；由多個傳感器對相應強度場進行測量，并產生相應 輸出信號；基于所述輸出信號對所述場景的景深進行估計；以及基于在估計步驟中估計的 景深，提供對閃光照射的場景的亮度調整。因此本發(fā)明提供了一種閃光補償系統(tǒng)以及一種用于控制數字攝像機的閃光補償 系統(tǒng)的相應方法，利用測量場景的景深的裝置，以便于結合對圖像的圖像測量，有效地減少 標準消費或SLR(單反)/專業(yè)數字攝像機中的以下問題(不期望效果)圖像傳感器所記 錄(捕獲、拾取)的圖像上不均勻分布的照射。本發(fā)明涉及數字攝像機系統(tǒng)的閃光補償系統(tǒng)，其中，當閃光設備發(fā)射的閃光照射 場景時，基于由多個傳感器測量的相應強度場，在由圖像傳感器拾取的場景的圖像上執(zhí)行 亮度補償。依賴于多個傳感器的輸出信號，對場景的景深進行估計，并且這種估計為對被閃 光設備照射時的拾取為圖像的場景的亮度調整提供基礎。該系統(tǒng)和方法適合于有效地減少 與拾取的場景圖像上不均勻分布的照射有關的問題。結合附圖，參照下文中描述的實施例，本發(fā)明的這些和其他方面將變得顯而易見， 并對本發(fā)明的這些和其他方面進行說明。


圖1示出了本發(fā)明實施例的數字攝像機的閃光補償系統(tǒng)的總體圖示；圖2以圖示示出了根據本發(fā)明實施例的數字攝像機系統(tǒng)的平面圖。
具體實施例方式下文中將基于圖1和2描述本發(fā)明的實施例。根據示出了數字攝像機或數字攝像機系統(tǒng)的閃光補償系統(tǒng)的示例，攝像機及其相 應元件由虛線包圍。數字攝像機系統(tǒng)DC包括用于拾取圖像的圖像傳感器1，以及用于照射要拍攝的 場景3的閃光設備2。當對場景3拍攝時，例如，提供CXD傳感器或CMOS傳感器形式的圖像傳感器1，來 拾取場景3的圖像，場景3由從閃光設備2輻射到場景3的照射光來照射。場景3也可以 由環(huán)境光來照射，并且閃光設備的照射提供對要拍攝的場景3的主要照射。數字攝像機系 統(tǒng)還包括多個傳感器4和5，這些傳感器4和5被布置在數字攝像機系統(tǒng)上，并用于測量要 拍攝的場景的照射條件(曝光條件)。更詳細地，構成輔助傳感器并作為低成本傳感器提供 的多個傳感器用于測量要拍攝的場景3的相應強度場，并提供或產生用于進一步數據評估 的相應輸出信號。多個傳感器所產生的相應輸出信號表示場景3的相應強度場。根據實施例，多個傳感器4和5可以由構成立體傳感器的至少兩個傳感器(即，在 該實施例中，至少為第一和第二傳感器4和5)提供，或者由數字攝像機系統(tǒng)DC上布置的多 于兩個的傳感器提供。具體地，可以將用于檢測相應強度場的多個傳感器4和5布置在數字攝像機系統(tǒng) DC上的不同位置，這些位置彼此具有預定距離。優(yōu)選地，在數字攝像機系統(tǒng)DC的正面的指 定位置處進行布置，而在數字攝像機系統(tǒng)DC的頂面上布置的傳感器也可以測量攝像師上 面一定高度的深度信息?？梢栽跀底謹z像機系統(tǒng)DC上的預定位置處布置三個傳感器來代 替優(yōu)選的第一和第二傳感器4和5 (立體傳感器)，或者根據不同實施例，優(yōu)選地根據特定的 對稱性在數字攝像機系統(tǒng)DC上布置四個傳感器。四個或多個傳感器可以用于根據多個傳 感器4和5產生的相應輸出信號的預定數據評估來獲得相應強度場的期望測量。將多個傳感器4和5或相應第一和第二傳感器的輸出信號提供給景深估計器6， 提供景深估計器6用于對場景3的景深進行估計。具體地，景深估計器6基于多個傳感器 4和5的輸出信號來估計場景3的景深?？梢蕴峁┒鄠€傳感器4和5作為每個像素的深度 估計的裝置、立體差異估計的裝置或外推至每個像素的信息的飛行時間矩陣傳感器。將基于多個傳感器4和5的輸出信號的估計景深提供給補償器單元7，補償器單元 7能夠提供對圖像傳感器(主傳感器)1的控制，并且可以提供對圖像傳感器1所拾取的以 及由來自閃光設備2的輻射光照射的場景的亮度調整。補償單元7執(zhí)行的亮度調整基于由景深估計器6執(zhí)行的景深估計。噪聲減小單元11可以連接至景深估計器6和補償器單元17，并且可以執(zhí)行對拾取 的場景3的完整圖像中的噪聲或其特定部分中的噪聲的補償。噪聲減小單元11可以輸出 場景3的最終照片。這由圖1中從噪聲減小單元11延伸的箭頭表示。該系統(tǒng)還包括允許用戶調整補償量的用戶接口 9。為此，用戶接口 9連接至補償器 單元7。用戶接口 9實現了與諸如主機或個人計算機等外部設備的連接，或者用戶能夠直接 輸入反映用戶偏好的相應指令。這由指向用戶接口 9的箭頭表示。關于圖2，示意性示出了數字攝像機系統(tǒng)DC的平面圖，數字攝像機系統(tǒng)DC具有鏡頭8，鏡頭8接收從要拍攝的場景3反射的光，并在物鏡8的光軸10處、在位于數字攝像機 系統(tǒng)DC中的圖像傳感器1上產生場景的圖像。物鏡8可以是整體提供給數字攝像機系統(tǒng) DC的固定透鏡，或者可以是可拆卸附著的物鏡8。在數字攝像機系統(tǒng)DC上，提供閃光設備2作為數字攝像機系統(tǒng)DC的內置閃光設 備，或者作為可以分離地安裝至數字攝像機系統(tǒng)DC的分離布置的閃光設備。如圖2所示，可以在數字攝像機系統(tǒng)DC的正面(面對要拍攝的場景3)上的相對 邊緣處分別布置多個傳感器4和5，具體地，第一和第二傳感器，使得根據預定距離彼此間 隔地布置多個傳感器4和5。多個傳感器4和5之間的預定距離可以近似由數字攝像機系 統(tǒng)DC的尺寸限定，并可以依賴于數字攝像機系統(tǒng)DC的外形和尺寸而改變。在多個傳感器4 和5包括多于兩個傳感器的情況下，可以將這些多個傳感器以預定方式分布至或布置在數 字攝像機系統(tǒng)DC的正面。在下文中解釋根據本發(fā)明的閃光補償系統(tǒng)的功能。再次參照圖1，當數字攝像機系統(tǒng)DC要執(zhí)行曝光操作時，圖像傳感器1拾取場景3 的圖像，場景3由閃光設備2的閃光照明(輻射的閃光)照射。通過物鏡8在圖像傳感器 1上產生要由圖像傳感器1拾取的圖像，并沿著光軸10將該圖像引導到圖像傳感器1上。多個傳感器4和5可以同時操作，并測量相應場強度，以及產生代表測量的場強度 的相應輸出信號。場強度是要拍攝的場景3的亮度或照明強度。可以與構成主傳感器的圖 像傳感器1分離地提供多個傳感器4和5，并且優(yōu)選地，多個傳感器4和5可以位于相應傳 感器4和5之間至少具有預定距離的數字攝像機系統(tǒng)DC上。多個傳感器4和5的同時操作，導致這些傳感器的輸出信號的產生為要由景深估 計器6執(zhí)行的深度估計提供基礎，這些傳感器的輸出信號表示要拍攝的場景3的場強度，景 深估計器6由多個傳感器4和5的相應輸出信號供應。為要拍攝的整個場景3同時執(zhí)行景 深估計。該場景通常包括數字攝像機系統(tǒng)DC所針對的主要對象，更具體地，對物鏡8進行
聚焦ο結合多個傳感器4和5的同時操作，景深估計器6同時執(zhí)行的景深估計避免了在 拍攝運動對象的情況下發(fā)生的嚴重問題。景深估計器6所估計的、并提供給補償器單元7的景深用作提供圖像增強的基礎， 具體地，提供對要拍攝的整個場景3的亮度調整的基礎，場景3由從閃光設備2輻射到場景 3的閃光來照明。對場景的亮度調整提供了對來自于數字攝像機系統(tǒng)DC的閃光設備在場景3上輻 射的閃光的(多次)不足場景照射的有限可能性的補償。可以通過多個傳感器4和5，從背景對前景距離的測量中導出基本信息，具體地通 過測量相應強度場，從而通過景深估計器6來估計場景3的景深，景深估計器6由多個傳感 器4和5的輸出信號供應。由景深估計器6提供的深度信息然后用于控制較遠區(qū)域中強度增加以及接近攝 像機的區(qū)域中的強度降低。即，通過景深估計，將多個傳感器4和5檢測的強度與由景深估 計器6估計的要拍攝場景3的深度信息相關。景深包括與作為拍攝目標的對象有關以及與 要拍攝的場景3的整個背景有關的信息，并且該對象位于要拍攝的場景3中并且從而形成 場景3的一部分。
因此針對整個場景3執(zhí)行景深估計，因此，針對在由圖像傳感器拾取的圖像中所 包括的、以及以前景距離或背景距離布置的不同部分來執(zhí)行景深估計。通過補償由多個傳感器4和5檢測到的測量反射光強以及使用濾波器(濾波方 法)來實現亮度調整，這實現了總體圖像的改善，特別是與屬于背景的對象相對應的區(qū)域 的改善。盡管這樣的背景對象或背景通常對于用戶的照片的內容不十分重要，但是，由于背 景部分提供調整總體照片并降低極大對比度的手段，典型地在現有消費攝像機結合閃光照 明進行曝光操作時提供的圖像中能夠觀察到該極大對比度，因此要拍攝的場景3的背景部 分，從而由圖像傳感器1拾取的整個圖像對貢獻于總體圖像質量是重要的。因此，對場景3 的亮度調整提供對拾取圖像的處理，并構成用于補償來自于攝像機閃光(閃光設備2的照 明)的不足場景照射的有限可能性。提供這種結果的要求是景深估計器6對場景3的真實景深的近似估計；背景對 前景距離的測量；補償亮度具體地對比度調整的平衡方程；以及要由噪聲減小單元11(圖 1)執(zhí)行的可選空間濾波器操作，以補償變暗圖像區(qū)域(與場景3的預定部分相對應)處的 放大噪聲，其中，期望補償濾波器能夠引入更好(或最大)的效果。因此本發(fā)明提供非常優(yōu) 良的信息，以便進行圖像增強。更具體地，基于多個傳感器4和5的相應輸出信號以及結合 景深估計器6的深度估計，提供了景深與強度場的三維相關性。根據以上討論的特征滿足這些要求。相同的技術也可以用于恢復由于具有不均勻(或高度非線性)光反射屬性的廉價 鏡頭的性能而引起的圖像質量降低，即，這些廉價鏡頭對遠離或偏離鏡頭中心的光源不敏 感。與該問題關聯(lián)的效應是一種通常被稱為魚眼或桶形效應的效應，典型地在廉價鏡頭中 觀察到的這種效應，同樣降低圖像質量。為了考慮與上述攝像機設備有關的信息，還可以將與閃光強度或紅外閃光中心有 關的信息連同與鏡頭類型和拍攝參數(諸如快門速度、光圈焦距等曝光條件)有關的信息 一起從攝像機輸入到系統(tǒng)。用戶接口 9實現了在典型的數字攝像機系統(tǒng)中使用閃光補償系統(tǒng)與閃光補償補 償系統(tǒng)之外的設備(例如，個人計算機)的連接。因此對于用戶而言，能夠從外部訪問閃光 補償系統(tǒng)，并且允許用戶在預覽攝像機監(jiān)視器屏幕(LCD屏幕)之后能夠根據其偏好為每張 照片調整補償量。此外，需要用戶偏好來調整需要應用于閃光補償照片的平滑量。基于多 個傳感器(優(yōu)選地，第一和第二傳感器4和5)的輸出信號，根據由景深估計器6提供的深 度估計結果，將這種空間自適應濾波應用于主要屬于背景的照片區(qū)域，這些傳感器以預定 方式布置在面對要拍攝的場景3的數字攝像機系統(tǒng)DC的正面上。否則，在場景3中不存在 突出對象的情況下，可以將濾波處理均勻地應用于由圖像傳感器1拾取的整個圖像。因此， 可以根據用戶意向可選地提供濾波處理。盡管在附圖和上述描述中詳細示意和描述了本發(fā)明，但是這樣的示意和描述不應 視為示意性的或示例性的，并且也不是限制性的；本發(fā)明不限于上述公開的實施例。用于控制數字攝像機系統(tǒng)的閃光補償系統(tǒng)的方法步驟包括上述步驟，并且這些步 驟不排除所附權利要求的范圍所覆蓋的其他元件或步驟。附圖標記不應視為限制該范圍。
權利要求
一種用于數字攝像機系統(tǒng)的閃光補償系統(tǒng)，包括攝像機(DC)，包括用于拾取要拍攝的場景(3)的圖像的圖像傳感器(1)，閃光設備(2)，用于向所述場景發(fā)射光，以及多個傳感器(4、5)，用于測量相應強度場，并產生相應輸出信號，所述系統(tǒng)還包括景深估計器(6)，用于基于所述多個傳感器的輸出信號來估計場景的景深，以及補償器單元(7)，用于基于景深估計器估計的景深，提供對由圖像傳感器拾取并由閃光設備照射的場景的亮度調整。
2.根據權利要求1所述的系統(tǒng)，其中，所述多個傳感器(4、5)彼此間隔放置。
3.根據權利要求2所述的系統(tǒng)，其中，所述多個傳感器(4、5)根據預定距離彼此間隔放置。
4.根據權利要求1所述的系統(tǒng)，其中，所述多個傳感器(4、5)包括被放置在所述攝像機 的相對邊緣上的第一和第二傳感器。
5.根據權利要求1至3之一所述的系統(tǒng)，其中，所述多個傳感器(4、5)適于同時執(zhí)行對 所述相應強度場的測量。
6.根據權利要求1至3之一所述的系統(tǒng)，其中，所述多個傳感器(4、5)適于執(zhí)行場景 (3)的背景距離對前景距離的測量。
7.根據權利要求1所述的系統(tǒng)，其中，所述補償器單元(7)適于控制場景中遠離所述攝 像機(DC)的區(qū)域中的強度增加，以及場景中接近所述攝像機區(qū)域中的強度降低。
8.根據權利要求1至3之一所述的系統(tǒng)，還包括噪聲減小單元(11)，適于向場景(3) 的預定區(qū)域提供空間濾波操作。
9.根據權利要求8所述的系統(tǒng)，其中，所述噪聲減小單元適于向場景(3)中變暗的部分 提供所述空間濾波操作。
10.一種用于控制數字攝像機系統(tǒng)的閃光補償系統(tǒng)的方法，所述方法包括步驟 在向場景發(fā)射閃光的同時拾取要拍攝的所述場景的圖像，由多個傳感器對相應強度場進行測量，并且產生相應輸出信號， 基于所述輸出信號估計所述場景的景深，以及 基于估計步驟中估計的景深，來提供對由閃光照射的場景的亮度調整。
11.一種數字攝像機系統(tǒng)，包括根據權利要求1至9中任一項所述的閃光補償系統(tǒng)。
全文摘要
本發(fā)明涉及一種閃光補償系統(tǒng)，以及一種用于數字攝像機系統(tǒng)的相應方法，其中，當場景由閃光設備(2)發(fā)射的閃光照射時，基于由多個傳感器(4、5)測量相應強度場，來對由圖像傳感器(1)拾取的場景(3)的圖像執(zhí)行亮度補償。根據多個傳感器的輸出信號，來估計場景的景深，并且該估計為對由閃光設備照射的同時被拾取為圖像的場景進行亮度調整提供基礎。該系統(tǒng)和方法適于有效地減少拾取的場景圖像上不均勻分布照射的問題。
文檔編號G03B15/03GK101884011SQ200880118963
公開日2010年11月10日 申請日期2008年12月3日 優(yōu)先權日2007年12月5日
發(fā)明者珊拉費姆·艾菲斯特拉泰蒂斯, 理查德·P·克萊霍斯特 申請人:Nxp股份有限公司