專利名稱：數(shù)碼相機的快門信號前和快門信號后的圖像捕捉和分揀的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及在用戶生成快門開啟信號之前和之后在數(shù)碼相機中捕 捉圖像，然后分揀(sort)這些圖像以供用戶選擇一個或多個圖像。
背景技術(shù)：
數(shù)碼相機用戶經(jīng)常錯過在合適時間捕捉圖像的機會。這有時是因為傻
瓜(point-and-shoot)數(shù)碼相機緩慢的相機響應。另一潛在原因是主體已經(jīng) 移動、擺出錯誤姿勢、取景不正確或者光照已經(jīng)變化，從而產(chǎn)生未正確曝 光的圖像。結(jié)果，當用戶在設(shè)備上或者其個人計算機上檢閱其所捕捉的圖 像時，他們經(jīng)常失望地意識到最終結(jié)果并非期望結(jié)果。

發(fā)明內(nèi)容
一種方法包括，在接收到來自相機用戶輸入元件的拍攝照片信號之 前，捕捉多個數(shù)字圖像幀。該方法還包括，在接收到所述拍攝照片信號之 后，捕捉多個圖像幀。所捕捉的幀可被看作形成了初始幀集合。從所述初 始幀集合中丟棄不滿足質(zhì)量標準的幀以產(chǎn)生經(jīng)過濾的圖像集合。將所述經(jīng) 過濾的圖像集合呈現(xiàn)給用戶，以供從中選擇一個或多個圖像，并且響應于 用戶的幀選擇，存儲來自所述經(jīng)過濾的圖像集合的一個或多個幀。
在某些實現(xiàn)方式中，該方法可以包括僅壓縮產(chǎn)生最小壓縮后大小的幀 以形成經(jīng)壓縮幀集合。只有所述經(jīng)過濾圖像集合中的幀可被壓縮。如果所 述經(jīng)過濾圖像集合中的幀產(chǎn)生大于閾值的壓縮文件，那么該幀不被壓縮。 只有所述經(jīng)壓縮幀集合中的幀被呈現(xiàn)給所述用戶。
所述方法可以在數(shù)碼相機設(shè)備中并且/或者在接收來自數(shù)碼相機設(shè)備的 幀信息的計算機中執(zhí)行。
在另一方面， 一種相機系統(tǒng)具有圖像傳感器和在接收到用戶照片信號之前和之后接收來自所述傳感器的圖像幀的處理裝置。該處理裝置丟棄不 滿足質(zhì)量標準的幀并且僅壓縮剩余幀的子集以將其呈現(xiàn)給用戶。
在另一方面， 一種系統(tǒng)包括用于在生成照片信號之前和之后產(chǎn)生圖像 幀以產(chǎn)生初始幀集合的裝置。提供了用于基于至少一個質(zhì)量度量來過濾來 自所述初始幀集合的幀以產(chǎn)生經(jīng)過濾幀集合的裝置。另外，提供了用于把 來自所述經(jīng)過濾幀集合的幀呈現(xiàn)給用戶以便選擇至少一個幀的裝置。


本發(fā)明的結(jié)構(gòu)和操作方面的細節(jié)參考附圖可以得到最好的理解，在附 圖中類似的標號指代類似的部分，并且在附圖中 圖l是示例性相機的示意性框圖；并且
圖2是根據(jù)本發(fā)明的示例性邏輯的流程圖。
具體實施例方式
初始參考圖1，數(shù)碼相機10包括容納諸如但不限于電荷耦合器件 (CCD)的相機傳感器14的便攜式輕型手持外殼12。傳感器14產(chǎn)生通過 鏡頭16感測到的圖像，并且在所示出的示例性非限制性實施例中，這些 圖像被發(fā)送到執(zhí)行根據(jù)下面公開內(nèi)容的壓縮/幀選擇邏輯的處理電路18， 同時明白圖2的邏輯也可改為完全通過例如下述PC或存儲介質(zhì)上的軟件 來實現(xiàn)。
接著，處理電路18可以與外殼12中的相機處理器20通信，該相機處 理器20可以訪問計算機可讀介質(zhì)22上的數(shù)據(jù)并且可以將數(shù)據(jù)存儲在計算 機可讀介質(zhì)22上。介質(zhì)22可以是(但不限于)基于盤的存儲裝置和/或固 態(tài)存儲裝置，并且在一種實現(xiàn)方式中由隨機存取存儲器(RAM)來實現(xiàn)。
為了激活相機10，可以在外殼12上設(shè)置電源按鈕24。用戶可以操縱 電源按鈕24來使得一個或多個相機電池26給相機10的組件供電，這些組 件包括處理器20和虛擬顯示器28，該虛擬顯示器28例如是但不限于液晶 顯示器(LCD)。另外，通常在外殼12上設(shè)置照片按鈕30，用戶可以操 縱該按鈕來表明其將某一幀捕捉為照片的愿望。如果需要的話，可以設(shè)置類的通信接口 32，以使得相機 處理器20能夠與例如用戶的個人計算機34通信。
將會明白，相機10可被實現(xiàn)為具有成像傳感器和存儲裝置的電子設(shè) 備，例如數(shù)碼相機本身、配備相機的移動電話、個人數(shù)字助理(PDA)和 具有內(nèi)置相機的筆記本計算機。
現(xiàn)在參考圖2，在塊35，相機IO例如通過用戶操縱電源按鈕24而被 激活。在配備相機的移動計算設(shè)備的情況下，塊35可以通過啟動相機應 用而實現(xiàn)。
在塊36，圖像如下面進一步陳述那樣被捕捉并進行過濾壓縮，然后在 塊38，圖像捕捉在接收到可能通過用戶操縱照片按鈕26而生成的用戶生 成的"拍攝照片"信號之后繼續(xù)。在一個實施例中，在接收到"拍攝照 片"信號之后捕捉"N"個幀，其中"N"是整數(shù)；另外，如果需要的 話，可以僅保留在"拍攝照片"信號之前的"M"個幀(其中"M"是整 數(shù))。
無論如何，繼續(xù)進行到塊40，在拍攝照片信號之前的并且與響應于拍 攝照片信號而拍攝的幀一起保留在例如RAM中的臨時位置中的幀，加上 所保留的在信號之后的幀，被針對質(zhì)量進行分析，其中不滿足一項或多項 質(zhì)量度量的幀被丟棄。例如，如果發(fā)現(xiàn)幀曝光不足，即曝光低于閾值，那 么可以在塊40丟棄幀，從而節(jié)省存儲空間和帶寬。
如在這里所明白的，在塊42可以優(yōu)選使用無損視頻編碼技術(shù)來壓縮 如上所述捕捉的圖像序列，以便使存儲要求最小化，此外，只有某些幀可 以經(jīng)歷壓縮。具體而言，在塊42，只有產(chǎn)生最小壓縮文件的幀可被壓縮， 即，只有滿足例如至少壓縮20%的壓縮量閾值的幀被壓縮。例如，可能已 經(jīng)通過塊40處的曝光測試但是由于曝光異常將導致壓縮文件大小的顯著 增加(這是因為在無損視頻編碼中使用的運動補償技術(shù)可能無法找到與被 測幀類似的幀，并因而產(chǎn)生即使在壓縮之后仍然較大的文件)的幀在塊42 將不被壓縮。因此，只有成功通過塊40的篩選測試的幀的子集可在塊42 被壓縮。
來自塊42的最終經(jīng)壓縮幀集合在塊44被存儲，并且在塊46在例如顯示器28上(在解壓縮后)被呈現(xiàn)給用戶。這些幀可被自動呈現(xiàn)或者響應 于用戶信號而被呈現(xiàn)，這可以使得用戶能夠滾動瀏覽幀然后選擇一個或多 個，如果需要的話，未被選擇的幀被從存儲器中丟棄。
在不是完全在相機10上執(zhí)行上述處理的替代實施例中，幀可以通過 通信接口 32被發(fā)送到PC或者服務器以進行所述處理。另外，用戶不僅有 機會在相機10本身上分析所捕捉的圖像序列，而且也可以改為把由塊42 輸出的幀下載到PC 34并且使用軟件應用，該軟件應用使得用戶能夠瀏覽 該圖像序列并且重新捕捉所需的幀。
在所示出的示例性非限制性實現(xiàn)方式中，無損視頻編碼算法是在直接 從傳感器14捕捉圖像的硬件處理電路18中實現(xiàn)的，同時相機IO使用直接 存儲器訪問(DMA)處理壓縮圖像序列并將壓縮圖像序列存儲到存儲介質(zhì) 22，以使處理負荷最小化。然而，本發(fā)明也可以以軟件方式實現(xiàn)在相機10 或個人計算機34中。
如果需要的話，在將圖像序列呈現(xiàn)給用戶之前，可以根據(jù)本領(lǐng)域已知 的圖像增強原理向圖像序列應用圖像增強。這種增強可以包括但不限于向 所捕捉的幀應用超分辨率(super-resolution)算法。
現(xiàn)在可以認識到，使用本發(fā)明，通過給予數(shù)碼相機或者配備相機的移 動設(shè)備的用戶不僅檢閱他們所捕捉的圖像而且檢閱先前以及后續(xù)的幀的機 會，這些用戶有機會校正所捕捉圖像中的問題。用戶可以在其設(shè)備上或者 其個人計算機上選擇其所選擇的幀，并最終將該幀保存到其相冊中。他們 還有機會創(chuàng)建馬賽克或者通過對所捕捉的圖像序列使用超分辨率成像來增 強所捕捉圖像的質(zhì)量。
除此之外，可以使用各種傳感器來確定何時開始自動幀捕捉。對諸如 方向傳感器、熱傳感器、相機CCD/CMOS圖像、接近傳感器或加速度計 之類的各種傳感器的使用可以用來確定何時捕捉照片。例如，接近傳感器 一檢測到用戶的臉在取景目鏡附近，上述自動捕捉就可以開始。
此外，諸如圖像對比度或正確曝光之類的度量可被用于確定已被自動 捕捉的幀是否值得保留。其他可被使用的度量是確定興趣點是否被正確地 定位/分布，顏色/光是否被正確地平衡，等等。
8另外，可以例如使用超分辨率技術(shù)組合兩個或更多個幀來創(chuàng)建新照 片，該照片是幾個次優(yōu)幀的組合并且比任何原始幀好得多，事實上是用戶 否則可能從未能夠捕捉到的幀。超分辨率成像因此可被用于在拍攝夜景期 間提高動態(tài)范圍并且還消除相機傳感器噪聲。
雖然這里示出并詳細描述了具體的數(shù)碼相機的快門信號前和快門信號 后的圖像捕捉和分揀，但是將會明白，本發(fā)明所包含的主題僅受權(quán)利要求 限制。
權(quán)利要求
1.一種方法，包括在接收到來自相機用戶輸入元件的拍攝照片信號之前，捕捉多個數(shù)字圖像幀；在接收到所述拍攝照片信號之后，捕捉多個圖像幀，所捕捉的幀形成初始幀集合；從所述初始幀集合中丟棄至少一個不滿足質(zhì)量標準的幀以產(chǎn)生經(jīng)過濾圖像集合；將所述經(jīng)過濾圖像集合呈現(xiàn)給用戶，以供從中選擇一個或多個圖像；以及響應于用戶的幀選擇，存儲來自所述經(jīng)過濾圖像集合的至少一個幀。
2. 如權(quán)利要求1所述的方法，包括僅壓縮產(chǎn)生最小壓縮后大小的幀 以形成經(jīng)壓縮幀集合。
3. 如權(quán)利要求2所述的方法，其中，只有所述經(jīng)過濾圖像集合中的 幀被壓縮。
4. 如權(quán)利要求3所述的方法，其中，如果所述經(jīng)過濾圖像集合中的 至少一個幀產(chǎn)生大于閾值的壓縮文件，那么該幀不被壓縮。
5. 如權(quán)利要求4所述的方法，其中，只有所述經(jīng)壓縮幀集合中的幀 被呈現(xiàn)給用戶。
6. 如權(quán)利要求1所述的方法，其中，所述方法是在數(shù)碼相機設(shè)備中 執(zhí)行的。
7. 如權(quán)利要求1所述的方法，其中，所述方法是在接收來自數(shù)碼相 機設(shè)備的幀信息的計算機中執(zhí)行的。
8. —種相機系統(tǒng)，包括 圖像傳感器；以及在接收到用戶照片信號之前和之后接收來自所述傳感器的圖像幀的處 理裝置，該處理裝置丟棄不滿足至少一個質(zhì)量標準的幀并且僅壓縮剩余幀 的子集以將其呈現(xiàn)給用戶。
9. 如權(quán)利要求8所述的相機系統(tǒng)，其中，所述處理裝置包括相機外 殼內(nèi)的處理電路。
10. 如權(quán)利要求8所述的相機系統(tǒng)，其中，僅考慮壓縮在所述用戶照 片信號之后成像的最多"N"個幀和在所述用戶圖像信號之前成像的最多"M"個幀。
11. 如權(quán)利要求8所述的相機系統(tǒng)，其中，所述質(zhì)量標準是充分的曝光。
12. 如權(quán)利要求8所述的相機系統(tǒng)，其中，所述剩余幀的子集滿足壓 縮量標準，而其他不滿足所述壓縮量標準的剩余幀不被壓縮。
13. 如權(quán)利要求8所述的相機系統(tǒng)，其中，所述處理裝置位于容納所 述圖像傳感器的相機外殼外部。
14. 一種系統(tǒng)，包括用于在生成照片信號之前和之后產(chǎn)生圖像幀以產(chǎn)生初始幀集合的裝置；用于基于至少一個質(zhì)量度量來過濾來自所述初始幀集合的幀以產(chǎn)生經(jīng) 過濾幀集合的裝置；以及用于把來自所述經(jīng)過濾幀集合的幀呈現(xiàn)給用戶以便選擇至少一個幀的 裝置。
15. 如權(quán)利要求14所述的系統(tǒng)，還包括用于對所述經(jīng)過濾幀集合中滿足壓縮量閾值的幀進行壓縮以形成經(jīng)壓 縮幀集合的裝置，所述經(jīng)過濾幀集合中不滿足所述壓縮量閾值的幀不被壓縮，所述呈現(xiàn)裝置僅把所述經(jīng)壓縮幀集合中的幀呈現(xiàn)給所述用戶。
16. 如權(quán)利要求15所述的系統(tǒng)，其中，所述壓縮裝置和過濾裝置被 實現(xiàn)在容納所述用于產(chǎn)生的裝置的相機外殼中。
17. 如權(quán)利要求15所述的系統(tǒng)，其中，所述壓縮裝置和過濾裝置被 實現(xiàn)在與所述相機外殼分離的計算機中。
18. 如權(quán)利要求14所述的系統(tǒng)，其中，所述質(zhì)量度量包括曝光。
19. 如權(quán)利要求14所述的系統(tǒng)，其中，所述用于過濾的裝置是以硬 件方式實現(xiàn)的。
20.如權(quán)利要求15所述的系統(tǒng)，其中，所述用于過濾的裝置和所述用于壓縮的裝置是以軟件方式實現(xiàn)的。
全文摘要
本發(fā)明公開了數(shù)碼相機的快門信號前和快門信號后的圖像捕捉和分揀。一種相機系統(tǒng)包括圖像傳感器和在接收到用戶照片信號之前和之后接收來自所述傳感器的圖像幀的處理裝置。該處理裝置丟棄不滿足質(zhì)量標準的幀，例如曝光不足的幀。另外，處理裝置僅壓縮剩余幀的子集，具體而言，滿足壓縮量閾值的那些剩余幀。剩余幀被呈現(xiàn)給用戶，該用戶可以選擇代表性的幀作為所拍攝的“照片”。
文檔編號H04N5/232GK101668123SQ20091017201
公開日2010年3月10日 申請日期2009年9月3日 優(yōu)先權(quán)日2008年9月3日
發(fā)明者保羅·黃, 尼考勞斯·喬治斯, 艾德里安·科瑞森, 費瑞德瑞克·卡皮奧 申請人:索尼株式會社;索尼電子有限公司