專利名稱：選擇性地拒絕數(shù)字圖像的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)圖像采集，并且尤其涉及由于存在一個或 者多個不符合要求特征，例如存在有遮光或者有陰影的面部特 征或者其他關(guān)鍵特征，而取消景物作為被處理的永久圖像的候 選者的資格。
背景技術(shù)：
照相機(jī)正在成為強(qiáng)大的計算工具。特別是，作為本專利申 請受讓人的FotoNation公司開發(fā)了許多便利的人臉檢測工具。 第10/608， 776號、第10/608， 810號、第10/764, 339號、第 10/919， 226號、第11/182， 718號以及第11/027， OOl號美國專利 申請描述了這些面部檢測工具中的一些面部檢測工具，在此引用這些專利申請供參考。
這與利用快門觸發(fā)器拍照不同。這也與等待可能發(fā)生或者
可能不發(fā)生的事件(例如，微笑)不同。第6，301，440號美國專 利披露了根據(jù)對臨時圖像所做的分析調(diào)整捕像參數(shù)以及等到該 臨時圖像中的每個人都微笑時拍照。該照相機(jī)必須等待可能發(fā) 生或者可能從不發(fā)生的特定事件。在拍照之前，讓人們等待照 相機(jī)判定景物是最佳的，往往不可接受，而且第6，301，440號美 國專利沒有描述如何緩解該難題。第6， 301， 440號美國專利也沒 有提供關(guān)于如何檢測或者確定景物中特定特征的任何指導(dǎo)。
還有當(dāng)目標(biāo)進(jìn)入照相機(jī)的視野時進(jìn)行拍照的監(jiān)視照相機(jī)。 這些照相機(jī)一般用于檢測通常是在靜止景物內(nèi)的運(yùn)動或者突然 變化。

發(fā)明內(nèi)容
提供了一種作為取消不符合要求景物的資格并作為照相 機(jī)的圖像采集控制。分析捕獲圖像的內(nèi)容確定是否應(yīng)該采集該 圖像還是應(yīng)該廢棄該圖像。 一個例子包括人臉。根據(jù)在眨眼過 程中該眼睛是閉合的、部分閉合的還是向下閉合或者向上運(yùn)動 的，可以確定圖像是否是不符合要求的。作為一種選擇，可以 檢測其他不希望的或者不符合要求的表情或者動作，例如，鈹 眉、手遮擋某人的臉或者景物的面部特征或者其他關(guān)鍵特征的 其他遮光或者陰影，或者頭轉(zhuǎn)動到偏離照相機(jī)等。
采集或者捕獲包括人臉圖區(qū)的景物的當(dāng)前圖像。識別一組 或者多組對應(yīng)于該景物中的感興趣圖區(qū)或者關(guān)鍵特征的像素， 諸如該人臉圖區(qū)內(nèi)的一個或者多個面部特征，例如該景物內(nèi)的 眼睛、鼻子、頭發(fā)或者嘴、部分或者整個人臉圖區(qū)，或者另一個特征。確定該關(guān)鍵特征是否有遮光或者有陰影。如果有遮光 或者有陰影，則在該關(guān)鍵特征持續(xù)有遮光或者有陰影時，取消 該景物作為被處理的永久圖像的候選者資格。
該當(dāng)前圖像可以包括預(yù)覽圖像，并且該取消資格可以包括 延遲高清晰度捕獲該景物的圖像。該延遲可以包括在預(yù)定等待 時間之后結(jié)束該取消資格。
可以使用預(yù)覽圖像。這樣可以提供眼睛可能在捕獲圖像中 的感興趣圖區(qū)(ROI)的指示。這樣可以根據(jù)通過分析預(yù)覽圖像 提供的空間信息在最終圖像中快速搜索諸如人臉、嘴或者眼睛 的關(guān)鍵特征。
該延遲可以包括預(yù)測不再存在遮光或者陰影的時間以及 在接近該預(yù)測時間時結(jié)束該取消資格。可以根據(jù)平均遮光或者 陰影時長，預(yù)設(shè)預(yù)定的遮光或者陰影時長。估計時長可以基于 相對于當(dāng)前預(yù)覽圖像的時域捕像參數(shù)對一個或者多個先前預(yù)覽 圖像的時域捕像參數(shù)所做的分析。該估計可以涉及確定遮光或 者陰影形成對象是離開還是移動到其而進(jìn)一步使該關(guān)鍵特征有 遮光或者有陰影，并且確定該關(guān)鍵特征有遮光或者有陰影的程 度。
該方法可以包括確定該關(guān)鍵特征是否有遮光或者有陰影， 這包括確定有遮光或者有陰影的程度?；趯Ξ?dāng)前預(yù)覽圖像與 在短于有遮光或者有陰影期間的時長內(nèi)相對采集的一個或者多 個其他預(yù)覽圖像所做的相對分析，可以確定該有遮光或者有陰 影的程度。該時長估計可以基于確定遮光或者陰影形成對象的 模糊程度，例如，以確定該對象移入該景物或者移出該景物的 速度?？梢源_定是否顯示該關(guān)鍵特征以及顯示該關(guān)鍵特征的程 度。可以對該關(guān)鍵特征圖區(qū)進(jìn)行色彩分析，并且將對應(yīng)于該關(guān)
12鍵特征的像素與遮光或者陰影形成對象區(qū)別開。可以對該關(guān)鍵 特征圖區(qū)進(jìn)行形狀分析，并且/或者將像素區(qū)分為對應(yīng)于該關(guān)鍵 特征的像素或者該關(guān)鍵特征的有遮光或者有陰影像素。
該當(dāng)前圖像可以包括高清晰度捕獲圖像。該取消資格可以 包括放棄進(jìn)一步處理該當(dāng)前圖像。該方法可以包括拼裝包括該 當(dāng)前圖像中像素和不同圖像中對應(yīng)于在眨眼的眼睛的睜眼眼睛 像素的合成圖像。該不同圖像可以包括預(yù)覽圖像或者后覽圖像 或者另一個高清晰度圖像。該不同圖像可以包括比該當(dāng)前圖像 低的清晰度，并且該拼裝可以包括增抽樣該不同圖像或者降抽 樣該當(dāng)前圖像或者它們的組合。該方法還可以包括調(diào)準(zhǔn)當(dāng)前圖 像與該不同圖像，這包括使睜眼眼睛像素圖區(qū)與該當(dāng)前圖像中 的眨眼眼睛圖區(qū)匹配。
還可以實施本發(fā)明，以取消作為諸如視頻流的流部分的一 組圖像中的圖像的資格。
該方法可以包括確定可以顯示的部分關(guān)鍵特征和/或者預(yù) 期有該關(guān)鍵特征的圖區(qū)?？梢赃M(jìn)行色彩分析和/或者色調(diào)分析， 并且將像素區(qū)分為對應(yīng)于該關(guān)鍵特征的像素或者不對應(yīng)于該關(guān) 鍵特征的像素。還可以進(jìn)行形狀分析，并且將像素區(qū)分為對應(yīng) 于該關(guān)鍵特征的像素或者不對應(yīng)于該關(guān)鍵特征的像素。
該當(dāng)前圖像可以包括高清晰度圖像。該方法可以包括拼裝 包括該當(dāng)前圖像中的像素和不同圖像中對應(yīng)于該關(guān)鍵特征被遮 擋'或者有陰影的圖區(qū)的沒有遮光或者沒有陰影像素的合成圖 像。該不同圖像可以包括預(yù)覽圖像或者后覽圖像或者另一個高 清晰度圖像。該不同圖像可以包括比該當(dāng)前圖像低的清晰度， 并且該拼裝可以包括增抽樣該不同圖像或者降抽樣該當(dāng)前圖像 或者它們的組合。該方法還可以包括調(diào)準(zhǔn)該當(dāng)前圖像與該不同圖像，這包括使沒有遮光或者沒有陰影圖區(qū)與該關(guān)鍵特征被遮
擋或者有陰影的圖區(qū)匹配。
基于識別人臉圖區(qū)以及為了確定其中諸如一個或者兩個
眼睛、嘴或者嘴特征、鼻子、頭發(fā)、下巴、面頰、前額、 一個 或者兩個耳朵或者它們的組合的面部特征而分析該人臉圖區(qū)，
可以識別嘴圖區(qū)。
由于該取消資格，可以捕獲用于代替該當(dāng)前圖像的新圖像。
可以捕獲并分析一對圖像，以確定該對圖像至少之一不包 括眨眼。
可以計算長于單次眨眼時間的多次捕像之間的間隔。 可以提供關(guān)于該遮光或者陰影的報警信號，以使攝影者可 以意識到她可能需要拍攝另一張圖片。
本發(fā)明的各種變型可以用于尋找單個圖像中的一個或者
多個人臉，例如，組拍攝鏡頭(group shot)?？梢宰R別該景物
內(nèi)的同一個人臉或者第二人臉的第二關(guān)鍵特征或者非面部特 征?？梢栽诰拔飪?nèi)識別附加特征?？梢源_定該第二關(guān)鍵特征是 否有遮光或者有陰影。如果有遮光或者有陰影，則該方法可以 包括在該第二關(guān)鍵特征被遮擋或者有陰影時取消該景物作為被 處理的永久圖像的候選者的資格。在該景物中的每個人臉圖區(qū) 或者其他圖區(qū)的關(guān)鍵特征不包括有遮光或者有陰影的關(guān)鍵特征 之前，可以取消捕獲或者進(jìn)一步處理高清晰度圖像的資格。
提供了又 一 種作為照相機(jī)的圖像采集控制方式自動取消 不符合要求景物資格的方法。該方法包括采集多個預(yù)覽圖像。 從該多個預(yù)覽圖像中提取信息。在該多個臨時圖像的各圖像之 間，分析該景物中的一個或者多個變化。根據(jù)該分析，確定該景物中是否存在一個或者多個不符合要求特征。在該一個或者 多個不符合要求特征繼續(xù)存在時，取消該景物作為被處理的永 久圖像的候選者資格。
該分析可以包括識別一組或者多組對應(yīng)于被不符合要求 地遮擋或者有陰影的關(guān)鍵特征圖區(qū)的像素。該一組或者多組像 素可以包括人臉或者面部特征，并且該不符合要求形態(tài)可以包
括遮光或者陰影或者諸如噘嘴(frowning mouth)或者眨眼眼 睛的不符合要求形態(tài)?？梢源_定在其間不采集被處理的永久圖 像的取消資格間隔。
該分析可以包括識別一組或者多組對應(yīng)于具有不符合要 求形態(tài)的面部特征的像素。該一組或者多組像素可以包括任意 遮光，例如，手遮擋人臉，或者人臉轉(zhuǎn)動偏離照相機(jī)。
還提供了處理器可讀代碼嵌入其上的一種或者多種處理 器可讀存儲器件。該處理器可讀代碼用于對一個或者多個處理 器編程，以執(zhí)行上面或者下面描述的作為照相機(jī)的圖像采集控 制方式取消不符合要求景物資格的方法?？梢郧度朐撎幚砥?， 作為照相機(jī)的一部分，該處理器或者在該采集裝置的外部。該 采集裝置可以是手持式照相機(jī)、固定式照相機(jī)、攝像機(jī)、裝備 了采集裝置的移動電話、裝備了采集裝置的手持式裝置、諸如 用于肖像攝影的攝影棚(kiosk booth)、諸如用于監(jiān)控或者用 于識別或者通用的專用豎式照相機(jī)、任意捕像裝置。


圖l示出根據(jù)優(yōu)選實施例取消包括有遮光或者有陰影的面 部特征的景物資格的方法。
圖2示出根據(jù)優(yōu)選實施例預(yù)測有遮光或者有陰影的時間間隔的方法。
圖3示出根據(jù)優(yōu)選實施例確定面部特征有遮光或者有陰影 的程度的方法。
圖4a示出根據(jù)優(yōu)選實施例確定是否放棄對圖像進(jìn)行進(jìn)一
步處理的方法。
圖4b示出根據(jù)優(yōu)選實施例拼裝合成圖像的方法。
圖5示出根據(jù)在圖像中探測到的關(guān)鍵特征的遮光或者陰影 校正圖像的工作流程的優(yōu)選實施例。
圖6a示出根據(jù)優(yōu)選實施例利用圖像中的關(guān)鍵特征信息使 圖像采集延遲的通用工作流程。
圖6b示出根據(jù)優(yōu)選實施例利用一個或者多個圖像中的人 臉信息調(diào)整圖像再現(xiàn)參數(shù)、然后輸出該圖像的通用工作流程。
圖7a至7d示出根據(jù)一個或者多個優(yōu)選實施例的人臉檢測、 眼睛檢測、嘴檢測或者其他面部特征檢測或者它們的組合。
圖8a示出根據(jù)一個或者多個優(yōu)選實施例的遮光或者陰影
檢測和校正方法。
圖8b描述了根據(jù)優(yōu)選實施例作為采集過程的一部分在照 相機(jī)中確定關(guān)鍵面部特征是否被遮擋或者有陰影，以及是捕獲 該圖像、廢棄該圖像還是存儲該圖像，或者是否用沒有遮光或 者沒有陰影特征代替有遮光或者有陰影圖區(qū)的說明性系統(tǒng)。
圖9示出根據(jù)一個或者多個優(yōu)選實施例的作為采集過程的
一部分在照相機(jī)中根據(jù)檢測到關(guān)鍵特征的自動聚焦能力。
具體實施例方式
描述了根據(jù)優(yōu)選實施例和變換實施例的系統(tǒng)和方法。這些 技術(shù)不僅避免丟失拍攝鏡頭(shot),而且提供了增強(qiáng)型功能和改進(jìn)的使用性能。利用這些技術(shù)，數(shù)字照相機(jī)能夠判定何時目 標(biāo)的面部表情是不恰當(dāng)、令人不符合要求或者是不希望的。一 個例子是眨眼，并且其它例子包括皺眉頭、遮光和陰影。捕像 裝置要么不拍攝該幅圖片、延遲適當(dāng)時間采集，要么立即拍攝 另一幅圖片、或者向照相機(jī)用戶報警，或者采取各種措施隨后 增強(qiáng)不符合要求的圖像，或者這些或其它措施的組合。照相機(jī)
可以延遲諸如O. l秒、0.3秒、0. 5秒或者1. 0秒的特定時間長度、
或者延遲平均遮光或者陰影時間間隔、或者延遲直到確定該遮 光或者陰影已經(jīng)結(jié)束拍攝另一幅圖片?？梢栽诳炫膱D片之前， 或者在拍攝關(guān)鍵特征有遮光或者有陰影的圖片之后，向用戶報壑。
提供了一種預(yù)測系統(tǒng)，如果關(guān)鍵特征有遮光或者被遮擋， 例如，有干擾物遮擋關(guān)鍵特征或者使關(guān)鍵特征形成陰影，例如， 諸如眼睛、嘴、鼻子、頭發(fā)、耳朵、臉頰、下巴這樣的關(guān)鍵面 部特征或者關(guān)鍵非面部特征、或者它們的組合，則該預(yù)測系統(tǒng) 取消該圖像的資格。該系統(tǒng)預(yù)測何時不能拍攝圖片，g口，預(yù)測 被檢測的遮光或者陰影將要發(fā)生的這些時間。
取消資格的圖像可能已經(jīng)被捕獲，并且僅在照相機(jī)內(nèi)或者 在外部設(shè)備上執(zhí)行的后捕像濾波操作中使它取消資格。為了不 因為包括一個或者多個有遮光或者有陰影特征而提高取消一幅 或者多幅圖像的資格的概率，該系統(tǒng)可以拍攝多幅圖像。對于 一個目標(biāo)處于眨眼過程的概率隨著目標(biāo)數(shù)量的增加而增大的一 組拍攝鏡頭，這種系統(tǒng)有用。該系統(tǒng)可以根據(jù)圖像中人臉的數(shù) 量自動確定要順序拍攝的圖像數(shù)量，以保證這些圖像中至少一
幅圖像沒有眨眼的概率高于閾值數(shù)，例如，50%， 60%、 67。％、 70%、 75%、 80%、 90%或者95%。可以通過合成當(dāng)前圖像以及預(yù)覽圖像、后覽圖像或者其它 高清晰度圖像，生成圖像。例如，該合成圖像可以包括人臉圖
區(qū)和一些背景影像(background imagery),其中利用預(yù)覽圖像、 后覽圖像或者其它高清晰度圖像中沒有遮光或者未被遮擋的同 樣圖區(qū)代替當(dāng)前圖像中不符合要求地有遮光或者有陰影的面部 特征圖區(qū)。該特征可以與在和本專利申請為同一受讓人的第 10/608， 776號美國專利申請中描述的特征組合，并且在此引用 該專利申請供參考。在第10/608，776號美國專利申請中，描述 了采用人臉檢測的數(shù)字圖像處理方法。識別對應(yīng)于數(shù)字圖像內(nèi) 的人臉的一組像素。識別對應(yīng)于該數(shù)字圖像中的另一個特征的 第二組像素。確定包括該人臉和該另一個特征至少之一的一組 新像素的復(fù)合圖像(re-compositioned image)。
這里的實施例通常涉及數(shù)字圖像或者景物中的單個人臉 (例如，在圖像捕獲之前，或者已經(jīng)利用數(shù)字方法捕獲)，而且 通常涉及"面部特征"。然而，這些描述可以擴(kuò)展到單個人臉上 的其他特征，或者人臉之外的關(guān)鍵特征。在參考附圖描述的優(yōu) 選實施例和變換實施例中通常涉及這里的面部特征，但是該描 述可以應(yīng)用于其他關(guān)鍵特征或者人、動物、車輛、輪船、風(fēng)景、 海景、自然物體或者人造物體、行星(planet)或者其他天體、 監(jiān)視活動中的感興趣對象，或者其他情況。這些描述可以擴(kuò)展 到一個以上的人臉(組拍攝鏡頭(group shot))或者關(guān)鍵特征， 并且如果例如在包括20人的一組拍攝鏡頭中，確定一個或者兩 個、三個、四個或者更多個的特定數(shù)量的人臉或者其他關(guān)鍵特 征有遮光或者有陰影，則該照相機(jī)可以使該景物取消資格，允 許具有一個或者兩個有遮光或者有陰影的人臉，因此在使該景 物取消的資格之前將沒有遮光或者沒有陰影特征的閾值設(shè)定為3。該照相機(jī)可以執(zhí)行如在此描述的和在此沒有描述的取消資格 和/或者其他操作，直到高百分比數(shù)量的關(guān)鍵特征或者全部關(guān)鍵 特征均沒有遮光和/或者沒有陰影。還可以確定有陰影或者有遮 光的程度，以致當(dāng)關(guān)鍵特征的遮光或者陰影小于閾值時，即使 關(guān)鍵特征被部分遮光或者部分有陰影，仍認(rèn)為該景物是合格的。
在一個實施例中，該照相機(jī)可以在該目標(biāo)的陰影或者遮光 剛好結(jié)束后拍攝該圖片?？梢岳帽鞠到y(tǒng)取消其關(guān)鍵特征有遮 光或者有陰影的圖像的資格，而且可以拍攝多個圖像，以防止 圖像均有遮光或者有陰影，'即，更好地保證至少一幅圖像包括 沒有遮光或者沒有陰影的關(guān)鍵特征。對于每個目標(biāo)人，該圖像 之一可能具有沒有遮光或者沒有陰影的關(guān)鍵特征，例如，面部 特征，并且這些圖片可以具有與沒有遮光或者沒有陰影關(guān)鍵特 征合成為單個圖像的混合像素。該照相機(jī)根據(jù)該圖像中目標(biāo)的 數(shù)量判定要拍攝的圖像數(shù)量。人越多， 一個人眨眼的可能性越 高，因此，應(yīng)該采集更多的圖像。如果為了效率，可以接受在 一大組拍攝鏡頭中特定百分比的人數(shù)可以眨眼，例如，低于特 定數(shù)量，例如5%，則可以減少圖像的數(shù)量?？梢杂烧障鄼C(jī)產(chǎn)品 的制造商、程序開發(fā)者或者數(shù)字圖像采集設(shè)備的用戶選擇這些 閾值數(shù)和百分比容差?？梢愿鶕?jù)對預(yù)覽圖像的分析，產(chǎn)生該信 息。該預(yù)覽圖像還可以支持確定該眼睛的位置，以便更快地對 該預(yù)覽分析確定的感興趣圖區(qū)進(jìn)行后處理分析。
本系統(tǒng)設(shè)置根據(jù)其不拍攝圖片或者根據(jù)其不使用該圖片、 或者在已經(jīng)拍攝圖片后根據(jù)其進(jìn)一步處理該圖片，和/或者根據(jù) 其拍攝一個附加圖像或若干附加圖像以代替不符合要求圖像的 條件。因此，根據(jù)優(yōu)選實施例的系統(tǒng)的另一個有利特征是，利 用預(yù)覽圖像或者后覽圖像或者另一個高清晰度圖像中的面部特征或者其他關(guān)鍵特征，該系統(tǒng)可以校正所采集的有遮光或者有 陰影圖區(qū)。本系統(tǒng)優(yōu)選使用通常具有較低分辨率并可以被更快 速處理的預(yù)覽圖像。本系統(tǒng)還可以尋求圖像之間的面部特征或 者其他關(guān)鍵特征(例如，眼睛或者嘴)的變化，作為取消圖像 捕獲的景物的資格的潛在觸發(fā)方式。
在此所做的描述通常涉及處理其中的對象人的面部特征 被遮擋或者有遮光的景物。然而，本發(fā)明可以應(yīng)用于其它特征， 例如，當(dāng)人在眨眼或者皺眉時，或者當(dāng)人出現(xiàn)不令人滿意的姿 勢、交談、吃東西、頭發(fā)不好，或反之令人有好感時，或者當(dāng)
另一個人給某人戴兔耳(bimnyear)時，或者當(dāng)動物或其他人 出乎意料地穿過照相機(jī)與人目標(biāo)之間時，或者當(dāng)光出乎意料地 發(fā)生變化時，或者在刮風(fēng)時，當(dāng)存在部分遮擋或者部分有陰影 的關(guān)鍵特征時，或者其它情況時?？梢允謩釉O(shè)置和/或者超控一 種或者更多種或者所有這些取消資格環(huán)境。
圖l示出根據(jù)優(yōu)選實施例取消包括有遮光或者有陰影的面 部特征的景物的資格的方法。在iio，采集包括人臉圖區(qū)的景物 的當(dāng)前圖像。任選地，在120，識別該人臉圖區(qū)，然后，分析該 人臉圖區(qū)以確定其上的面部特征圖區(qū)。在130，識別對應(yīng)于該人 臉圖區(qū)內(nèi)的選擇的或者預(yù)定的面部特征圖區(qū)的一組或者多組像 素。在140，確定面部特征圖區(qū)是否正被遮擋或者有陰影。如果 在140確定該面部特征被遮擋或者有陰影，則在150取消該景物 作為被處理的永久圖像的候選者的資格。此處，可以僅停止該 過程，或者再次從開頭開始該過程，或者由于該取消資格，而 在160捕獲新圖像，以代替該當(dāng)前圖像。在170，可以提供關(guān)于 該遮光或者陰影的報警信號。在180，可以延遲高清晰度捕獲該 景物的圖像。如圖4A和4B所示，可以停止對當(dāng)前圖像進(jìn)行進(jìn)一
20步處理，或者作為增強(qiáng)該取消資格圖像的一種方式，可以拼裝 合成圖像。
圖2示出根據(jù)優(yōu)選實施例預(yù)測遮光或者陰影何時結(jié)束的方 法。在210，預(yù)測遮光或者陰影何時結(jié)束，并且該取消資格間隔
將在預(yù)測的遮光或者陰影停止時間結(jié)束。在220，以預(yù)定等待時 間設(shè)置該間隔?？梢愿鶕?jù)所知的一秒或者兩秒或者半秒的平均 遮光或者陰影時長，或者在約O. 2秒至2.0秒的范圍內(nèi)設(shè)置該間 隔，也可以將該間隔設(shè)置為O. 4秒、0.5秒、0.8秒、l.O秒、1.2 秒或者l. 5秒，可是為了保證該遮光或者陰影結(jié)束而將等待時間 設(shè)置得太長，不利于允許第二次遮光或者陰影開始、或者只是 使拍攝圖片涉及的每個人必須等待太長時間，以致該取消資格 期間不能結(jié)束。在此要求并且保證更精確地確定該遮光或者陰 影的結(jié)束時間。
在230，提供面部特征被遮擋或者有陰影的程度。接著進(jìn) 行圖3所示的過程。在270，可以確定產(chǎn)生遮擋或者陰影的對象 是否在運(yùn)動，并且如果在運(yùn)動，則確定在哪個方向運(yùn)動。在280， 根據(jù)對與該當(dāng)前圖像的時域捕像參數(shù)相關(guān)的一幅或者多幅預(yù)覽 圖像的時域捕像參數(shù)所做的分析，估計遮光或者陰影停止時間。
在圖3所示的310，進(jìn)一步提供面部特征被遮擋或者有陰影 的程度。對于遮光，該程度取決于正顯示的面部特征的百分比 是多少，而對于陰影，可以分別或者組合考慮該面部特征的亮 度程度和有陰影的特征的百分比?？梢詢?yōu)選執(zhí)行形狀分析360， 以將對應(yīng)于面部特征的像素—與對應(yīng)于遮光和/或者陰影形成對 象的像素區(qū)別開。在330，優(yōu)選相對于在短于遮光或者陰影期間 的時長內(nèi)采集的一幅或者多幅其他預(yù)覽圖像，分析該當(dāng)前圖像。 在340，可以確定正顯示的一部分面部特征或者其他關(guān)鍵特征，從而有助于確定有遮光或者有陰影的程度是多少。在350，為了
確定遮光或者陰影何時結(jié)束，任選確定遮光或者陰影形成對象
的模糊程度有助于確定對象的速度。在360，還可以執(zhí)行色彩分 析，以將對應(yīng)于關(guān)鍵特征的像素與對應(yīng)于遮光或者陰影形成對 象的像素區(qū)別開。
圖4a示出根據(jù)優(yōu)選實施例確定是否放棄對圖像進(jìn)行進(jìn)一 步處理的方法410。在這種情況下，為了與計算遮光或者陰影停 止時間不同的目的，在420，確定關(guān)鍵特征被遮擋或者有陰影的 程度。在該實施例中，可以預(yù)設(shè)閾值遮光度或者閾值陰影度， 例如，以致當(dāng)根據(jù)與圖3所示的310至360之任一或者它們的組合 類似的420、 430、 440、 450、 460、 470或者480、或者它們的組 合對圖像進(jìn)行分析時，如果該特征有遮光或者有陰影至少達(dá)到 閾值程度或者更嚴(yán)重，則取消該景物的資格，因為該特征有遮 光或者有陰影太嚴(yán)重了，或者基本上都有遮光或者有陰影。這 可以對應(yīng)于關(guān)鍵特征沒有被遮擋或者沒有陰影的情況，或者該 特征處于遮光或者陰影事件的最開始階段或者最末尾階段的情 況，以致該特征被遮擋或者有陰影的程度不足以取消該圖像的 資格。
圖4b示出根據(jù)優(yōu)選實施例拼裝合成圖像的方法。在480， 拼裝包括當(dāng)前圖像中的像素和對應(yīng)于該當(dāng)前圖像中有遮光或者 有陰影的特征的不同圖像中的沒有遮光或者沒有陰影特征像素 的合成圖像。在490，該不同圖像可以是預(yù)覽圖像或者后覽圖像。 在這種情況下，特別是如果預(yù)覽圖像或者后覽圖像具有比當(dāng)前 圖像低的分辨率，則在500，可以對該預(yù)覽圖像進(jìn)行增抽樣，或 者對后覽圖像進(jìn)行降抽樣，或者它們的組合。在510，優(yōu)選調(diào)準(zhǔn) 該當(dāng)前圖像和該不同圖像，以使該預(yù)覽圖像或者后覽圖像中的沒有遮光或者沒有陰影像素圖區(qū)與該當(dāng)前圖像中的有遮光或者 有陰影圖區(qū)匹配。
圖5示出又一個實施例。如果確定圖像中的一個或者多個 關(guān)鍵特征，特別是面部特征被遮擋或者有陰影，則根據(jù)如下描 述優(yōu)選取消該圖像被進(jìn)一步處理的資格。作為一種選擇，可以
在某處以諸如圖5的例子所示的方式執(zhí)行有遮光或者有陰影確 定140?？梢岳梅娇?102中的應(yīng)用程序打開圖像。然后，如方 框1106所描述的，該軟件確定人臉或者面部特征或者它們二者 或者其他關(guān)鍵特征是否在該圖片中。如果沒有檢測到這種特征，
則該軟件就停止對該圖像工作，然后在iiio,退出。在下面所
做的描述中，為了提高效率，通常僅涉及面部特征，但是人臉 或者面部特征或者其他關(guān)鍵非面部特征或者它們的組合也可以 作為特定操作的目標(biāo)或者各目標(biāo)(請參考圖1中的110、120和130 以及第10/608，776號美國專利申請，在此引用該專利申請供參 考)。
該軟件還可以提供手動模式，在此模式下，在方框1116， 用戶可以將存在面部特征通知該軟件，然后，在111S，手動標(biāo) 記它們。在1116，如果沒有發(fā)現(xiàn)面部特征，則可以自動激活手 動選擇，甚或可以在自動步驟之后選擇性地激活它，使得用戶 通過某個用戶界面或者在1112對自動選擇附加更多面部特征， 甚或在1114消除由自動處理1118在1110錯誤地識別為面部特征 的圖區(qū)。此外，用戶還可以手動選擇選項，以調(diào)用在1106定義 的處理。對于用戶可以根據(jù)檢測到該關(guān)鍵特征而手動決定增強(qiáng) 或者校正該圖像的情況，該選項有用。標(biāo)記該關(guān)鍵特征的各種 方式，無論是自動的還是手動的，無論是在照相機(jī)內(nèi)還是利用 應(yīng)用程序，以及無論是手動執(zhí)行還是自動執(zhí)行尋找圖像中的該特征的命令，全部被包括于在此的優(yōu)選實施例中。在優(yōu)選實施 例中，首先檢測人臉，然后，檢測每張人臉上的一個或者多個 面部特征。
在變換實施例中，作為采集過程的一部分，可以激活照相 機(jī)內(nèi)的特征檢測軟件，如方框1104所描述的。在這種情況下，
可以采用不同方法實現(xiàn)眼睛檢測部分1106，以支持實時操作或
者接近實時操作。這種實現(xiàn)可以包括子抽樣圖像和加權(quán)抽樣，
以減少對其進(jìn)行計算的像素數(shù)。將參考圖6a，進(jìn)一步描述該實 施例。在變換實施例中，該眼睛檢測還可以接著利用預(yù)覽圖像 提供的信息確定眼睛在預(yù)覽中的位置，這樣可以加速在該最終 圖像的較小圖區(qū)內(nèi)進(jìn)行的分析。
在變換實施例中，作為輸出過程的一部分，可以激活再現(xiàn) 裝置內(nèi)的特征檢測軟件，如方框1103所描述的。在這種情況下， 或者在再現(xiàn)裝置內(nèi)利用捕獲的圖像或者利用一個或者多個預(yù)覽 圖像，或者在這種裝置的外部驅(qū)動器內(nèi)，執(zhí)行特征檢測部分 1106。將參考圖6b,進(jìn)一步描述該實施例。
在標(biāo)志或者標(biāo)記了該人臉、面部特征和/或者其他特征后， 無論是1118中描述的手動方式還是1106描述的自動方式，該軟 件都準(zhǔn)備好根據(jù)該面部特征檢測、人臉檢測或者其他特征檢測 步驟產(chǎn)生的信息對該圖像進(jìn)行操作。該工具可以作為采集的一 部分、作為后處理的一部分、或者作為它們二者，予以實現(xiàn)。 如上所述，在140，此時執(zhí)行遮光或者陰影確定(請參考圖l至 4b以及上述內(nèi)容)。如果發(fā)現(xiàn)足夠大的遮光或者陰影，則在1119， 可以取消該圖像的資格，以便有效放棄數(shù)字照相技術(shù)領(lǐng)域內(nèi)的 技術(shù)人員公知的處理。
方框1120描述搖攝或者變焦推攝該面部特征或者人臉。該工具可以作為采集過程的一部分，以幫助跟蹤面部特征或者人 臉或者其他特征，然后，產(chǎn)生合意的構(gòu)圖，或者作為后處理步 驟，或者修剪圖像或者利用該圖像產(chǎn)生包括運(yùn)動的幻燈片式顯 示。
方框1130描述了該圖像的自動取向，即，可以在照相機(jī)內(nèi) 作為采集后處理的一部分、或者通過主軟件實現(xiàn)的工具。
方框1140描述了根據(jù)人臉膚色或者面部特征色調(diào)或者其
他特征色調(diào)對該圖像進(jìn)行色彩校正的方式。該工具可以是當(dāng)將 該圖像從RAW讀出數(shù)據(jù)格式轉(zhuǎn)換為公知的例如RGB表示時在照相
機(jī)中、或者之后作為圖像增強(qiáng)軟件的一部分在主機(jī)中進(jìn)行的自 動彩色變換的一部分。各種圖像增強(qiáng)操作可以是影響整個圖像 的諸如旋轉(zhuǎn)的整體操作，并且/或者可以是基于局部判據(jù)的選擇 性操作。例如，在如方框1140限定的選擇性色彩或者曝光校正 中，優(yōu)選實施例包括對整個圖像所作的校正、或者在空間掩蔽 操作中僅對人臉或者面部或者其他關(guān)鍵特征圖區(qū)所作的校正、 或者對屬于亮度掩蔽操作的特定曝光所作的校正。還請注意， 這種掩膜可以包括與不同程度的應(yīng)用校正相關(guān)的不同強(qiáng)度。這 允許局部增強(qiáng)，以更好地融入該圖像中。
方框1150描述了進(jìn)行諸如修剪和縮放圖像的建議構(gòu)圖，以 產(chǎn)生更合意構(gòu)圖。該工具1150與方框1120描述的工具不同，在 1150中，該面部特征或者人臉或者遮光或者陰影形成對象作為 錨定器(anchor),或者用于跟蹤目標(biāo)、對象或者陰影，或者用 于保證照相機(jī)根據(jù)人臉或者特征的位置、或者根據(jù)遮光或者陰 影形成對象的位置、或者陰影的位置而運(yùn)動。
方框1160描述了可以在照相機(jī)內(nèi)執(zhí)行的或者作為后 處理步驟的數(shù)字輔助閃光模擬。作為數(shù)字輔助閃光的一種選擇，該工具也可以是實際閃光傳感器，用于確定在總體曝光量中是 否需要輔助閃光，如方框1170所述。在這種情況下，在確定了 該圖像的總體曝光量后，如果在該圖像中被檢測的人臉或者面 部或者其他關(guān)鍵特征有陰影，則可以自動采用輔助閃光。請注 意，根據(jù)整個圖像與人臉或者面部特征的曝光差，可以計算該 輔助閃光的精確功率，它不必是該閃光的最大功率。這種計算 可以基于在光圈、曝光時間、增益以及閃光功率之間的折衷。
方框1180描述了照相機(jī)聚焦在面部特征、人臉或者其他關(guān) 鍵特征上，或者聚焦在遮光或者陰影形成對象上或者陰影上的 能力。它可以用作照相機(jī)中的預(yù)采集聚焦工具，或者用于延遲
捕像或者提前捕像(請參考圖1中的160、 170、 180)。
參考圖6a，該圖描述了利用人臉檢測改善照相機(jī)采集參數(shù) 的過程，如上面圖5中的方框1106所述。在這種情況下，在IOOO， 例如，通過半按下快門、開啟照相機(jī)等，激活照相機(jī)。然后， 照相機(jī)經(jīng)過正常預(yù)采集步驟，在1004確定正確的采集參數(shù)，諸 如光圈、快門速度、閃光燈功率、增益、色平衡、白點(diǎn)或者焦 點(diǎn)。此外，在1002，加載特別是與該圖像中的可能人臉或者其 他特征相關(guān)的一組默認(rèn)圖像屬性。這些屬性可以是總色平衡、 曝光量、對比度、取向等。作為一種選擇，在1003，可以對一 批預(yù)覽圖像進(jìn)行分析，以在1006，確定該圖片中可能存在的人 臉。在1008，還可以預(yù)測當(dāng)捕獲高清晰度圖像時眼睛可能在其 中的圖區(qū)。這種可替換的技術(shù)可以包括轉(zhuǎn)移到方框1010和/或者 1002。
然后，在IOIO，在傳感器上利用數(shù)字方法捕獲圖像。這種
動作可以連續(xù)更新，而且可以包括也可以不包括將這樣捕獲的 圖像保存到永久存儲器中。
26在1020 ,對捕獲的圖像應(yīng)用圖像分類(image classification)并且特別是人臉檢測技術(shù)領(lǐng)域內(nèi)的技術(shù)人員 公知的圖像檢測過程、優(yōu)選是人臉檢測過程，以在該圖像中尋 找面部特征、人臉或者其他特征。這些人臉檢測技術(shù)包括但并 不局限于基于知識的；特征不變(feature-invariant);模 板匹配(template-matching);基于外貌；彩色提示或者活動 提示；基于adaboost的人臉檢測器一Viola-Jones;等等。
如果沒有發(fā)現(xiàn)人臉，則在1032中止該過程。作為一種選擇， 或者除了在1030進(jìn)行自動檢測，在1034，用戶通過利用例如照 相機(jī)顯示器，使用某種交互式用戶界面機(jī)制，可以手動選擇被 檢測的人臉或者其他特征。作為一種選擇，通過改變該檢測過 程的靈敏度或者閾值，在沒有可視用戶界面的情況下，也可以 實現(xiàn)該過程。作為一種選擇，可以從預(yù)捕像過程1003獲取該數(shù) 據(jù)。
當(dāng)在1040檢測到面部特征或者其他預(yù)定的或者選擇的特 征時，可以標(biāo)記和標(biāo)志它們。在1040定義的檢測，不僅是選擇 是否檢測特征的二元過程，它還可以用作，基于這些面部特征 的尺寸、在該幀中的位置、或者在此描述的限定該特征相對于 被檢測的特征的重要性的其它參數(shù)，對該面部特征分別賦予各 自權(quán)重的部分過程。
作為一種選擇，或者此外，在1044，用戶可以手動取消選 擇被錯誤地誤檢測為關(guān)鍵特征的圖區(qū)。由于特征被誤檢測，或 者在攝影者希望將注意力集中在作為主要主題的特征之一，而 不希望將注意力集中在其他特征時，可以進(jìn)行這種選擇。作為 一種選擇，在1046，用戶可以重新選擇或者強(qiáng)調(diào)一個或者多個 特征，以指出在計算過程中，這些特征相對于其他特征具有更高的重要性。在1046限定的此過程進(jìn)一步限定了作為連續(xù)值過
程的優(yōu)選識別過程，它與二元過程相反。利用可視用戶界面， 或者通過調(diào)節(jié)檢測過程的靈敏度，可以實現(xiàn)該過程。
在1040，正確隔離了人臉或者其它關(guān)鍵特征后，在1050， 將它們的屬性與在1002預(yù)定的默認(rèn)值進(jìn)行比較。這種比較將確 定這兩個圖像之間的可能變換，以達(dá)到相同的值。然后，在1070, 該變換被轉(zhuǎn)化為照相機(jī)捕像參數(shù)，在1090，采集該圖像。
實際例子是如果捕獲的人臉太暗，則可以改變采集參數(shù)， 以允許較長時間的曝光，或者開大光圈。請注意，圖像屬性不 必僅與人臉或者關(guān)鍵特征圖區(qū)相關(guān)，還可以與總體曝光量相關(guān)。 作為例子，如果總體曝光量是正確的，而人臉曝光不足，則該 照相機(jī)可以轉(zhuǎn)至輔助閃光模式。
在1060，延遲捕像，直到被檢測的圖像屬性與默認(rèn)圖像屬 性匹配。根據(jù)優(yōu)選實施例的例子是延遲捕像，直到各特征沒有 遮光或者沒有陰影并且不再存在遮光或者陰影形成對象。在 1070，可以鍵入手動超控指令(manual override instruction),
以便即使在該圖片中檢測到遮光或者陰影，無論如何也拍攝圖 片，或者保存圖片，或者繼續(xù)處理圖片。在1090，拍攝該圖片， 或者根據(jù)另一個實施例，以高清晰度存儲該圖片。
參考圖6b，描述了利用人臉或者其它關(guān)鍵特征檢測來改善 輸出參數(shù)或者再現(xiàn)參數(shù)的過程，如上在圖5中的方框1103所述。 在這種情況下，在2100，激活諸如打印機(jī)或者顯示器這樣的再 現(xiàn)裝置，下面稱為"裝置"。例如，在打印機(jī)內(nèi)，或者在連接到 打印機(jī)的諸如個人電腦或者照相機(jī)的裝置內(nèi)，可以執(zhí)行這種激 活。然后，該裝置通過正常預(yù)再現(xiàn)步驟，以在2104確定正確的 再現(xiàn)參數(shù)，諸如色調(diào)再現(xiàn)、彩色變換輪廓、增益、色平衡、白點(diǎn)和分辨率。此外，在2102，加載特別是與圖像中的可能面部 特征或者人臉相關(guān)的一組默認(rèn)圖像屬性。這些屬性可以是總色 平衡、曝光量、對比度或者取向或者它們的組合。
然后，在2110,利用數(shù)字方法將圖像下載到該裝置上。在 2120,對該下載圖像應(yīng)用圖像檢測過程，優(yōu)選應(yīng)用面部特征或 者人臉檢測過程，以在該圖像中尋找面部特征或者人臉。如果 沒有發(fā)現(xiàn)圖像，則在2132終止該過程，然后，該裝置重新開始 其正常再現(xiàn)過程。作為一種選擇，或者除了在2130進(jìn)行自動檢 測，在2134，采用例如該裝置上的顯示器，利用某種交互式用 戶界面機(jī)制，用戶可以手動選擇被檢測的面部特征或者人臉或 者其他特征。作為一種選擇，通過改變該檢測過程的靈敏度或 者閾值，在沒有可視用戶界面的情況下，也可以實施該過程。
當(dāng)在2130，檢測到人臉或者諸如面部特征的其他關(guān)鍵特征 時，在2140標(biāo)記它們，然后，標(biāo)志它們。2130的檢測不僅僅是 選擇是否檢測面部特征或者人臉的二元過程。它還可以用作， 根據(jù)該人臉或者面部特征或者其他關(guān)鍵特征的尺寸、在幀內(nèi)的 位置、在此描述的用于限定該特征相對于被檢測的其他特征的 重要性的其它參數(shù)等等，對這些面部特征或者人臉分別賦予各 自權(quán)重的部分過程。
作為一種選擇，或者此外，在2144，用戶可以手動取消選 擇被錯誤地誤檢測為關(guān)鍵特征或者人臉的圖區(qū)。由于誤檢測到 特征，或者在攝影者希望將注意力集中在作為主要主題的特征， 而不希望將注意力集中在其他特征時，可以進(jìn)行這種選擇。作 為一種選擇，在2146，用戶可以重新選擇或者強(qiáng)調(diào)一個或者多 個諸如人臉的特征，以表示在計算過程中這些特征相對于其他 特征更重要。1146限定的該過程進(jìn)一步限定作為連續(xù)值過程的優(yōu)選識別過程，它與二元過程相反。利用可視用戶界面或者通 過調(diào)節(jié)選擇過程的靈敏度，可以實現(xiàn)該過程。
當(dāng)在2140，正確隔離了該面部特征或者人臉或者其它景物
或者圖像特征后，在2150，將其屬性與在2102預(yù)定的默認(rèn)值進(jìn) 行比較。該過程尋找的至少一個優(yōu)選屬性是有遮光或者有陰影 的關(guān)鍵特征。這種比較將確定這兩個圖像之間的可能變換，以 達(dá)到相同的值。如果確定一個或者多個關(guān)鍵特征有遮光或者有 陰影，則在2160，可以取消該圖像的資格。在2170，可以手動 超控該取消資格，或者替換為不同圖像中沒有遮光或者沒有陰 影的特征。該變換可以轉(zhuǎn)化為裝置再現(xiàn)參數(shù)，然后，在2190, 可以對該圖像進(jìn)行再現(xiàn)。該過程可以包括多個圖像。在這種情 況下，在2180，在進(jìn)行該再現(xiàn)過程之前，可以對每個圖像重復(fù) 該過程。實際例子是在單個顯示實例上創(chuàng)建一組低分辨率圖像 的略圖或者聯(lián)系表(contact sheet)。
實際例子是，如果在非常暗情況下捕獲該關(guān)鍵特征，則該 再現(xiàn)參數(shù)可以改變色調(diào)再現(xiàn)曲線，從而使該特征增亮。請注意， 該圖像屬性不必僅與該關(guān)鍵特征圖區(qū)相關(guān)，還可以與整個色調(diào) 再現(xiàn)相關(guān)。
參考圖7a至7d，它們描述了根據(jù)在圖5中的方框1130醒目 的嘴、眼睛、人臉、其它人臉特征或者其它非面部特征的位置 和取向，使圖像自動旋轉(zhuǎn)。圖7a中提供了兩個人臉的圖像。請 注意，這兩個人臉的取向不同，并且這兩個人臉可能有遮擋。 在這種情況下，每個人臉上分別示出兩個眼睛，但是可以僅示 出一個眼睛。此外，示出兩個嘴，但是在其他景物中可能有一 個嘴或者兩個嘴都看不見。
包括圖5中方框1108和1118功能的人臉檢測步驟中的軟件，將標(biāo)記母親和兒子的兩張人臉或者兩個嘴或者四個眼睛，
例如，可以將這兩個人臉分別標(biāo)記為估計的橢圓形2100和2200。 利用諸如橢圓協(xié)方差距陣的公知數(shù)學(xué)工具，該軟件將分別確定 兩張人臉2120和2220的主軸以及副軸2140和2240。在照相機(jī)處 于水平方向的風(fēng)景畫模式的情況下，或者在處于垂直方向或者 + 90度，即順時針，或者處于一90度，即逆時針，的肖像模式 的情況下，甚至在該步驟，僅通過比較各軸的尺寸，該軟件就 可以認(rèn)為該圖像的取向為90度。作為一種選擇，該應(yīng)用程序還 可以應(yīng)用于任意旋轉(zhuǎn)量。然而，該信息不足以判定該圖像是順 時針旋轉(zhuǎn)還是逆時針旋轉(zhuǎn)。
圖7c描述了提取通常非常容易被檢測到的人臉的相關(guān)特 征的步驟。這種對象可以包括眼睛2140、 2160和2240、 2260以 及嘴唇2180和2280，或者鼻子、眼眉、眼皮，以及眼睛、頭發(fā)、 前額、下巴、耳朵等的特征。兩個眼睛和嘴唇中心的組合形成 三角形2300，檢測三角形2300不僅可以確定人臉的取向，而且 可以確定該人臉相對于人臉拍攝鏡頭(facial shot)的旋轉(zhuǎn)。 請注意，該圖像存在其它非常容易被檢測到的部分，例如，鼻 孔、眼眉、發(fā)際線、鼻梁以及作為人臉的實際延伸的脖子，等 等，可以標(biāo)志它們并將它們用于取向檢測。在該圖中，將眼睛 和嘴唇作為這種面部特征的例子。根據(jù)該眼睛，如果存在眼睛， 和嘴的位置，應(yīng)該使該圖像以逆時針方向旋轉(zhuǎn)。根據(jù)形狀、色 調(diào)或者運(yùn)動分析，可以確定面部特征是否被對象遮光或者有陰 影。
請注意，僅定位不同的面部特征可能還不夠，可以將這些 特征互相比較。例如，可以比較眼睛的顏色，以確保這對眼睛 是同一個人的，或者確保沒有遮光。作為一種選擇，可以將該
31人臉的特征與預(yù)覽圖像進(jìn)行比較。這樣處理可以防止發(fā)生將上 部雙眼皮錯當(dāng)成半閉眼睛的情況。
另一個例子是圖7c和7d所示的例子，如果該軟件將嘴2180 與眼睛2260、 2240組合在一起，則該取向被確定為順時針。在 這種情況下，通過比較嘴和眼睛的相對尺寸，該軟件檢測正確 取向。上述方法描述了根據(jù)不同人臉對象的相對位置，確定圖 像的取向的典型說明性技術(shù)。例如，可以預(yù)期這兩個眼睛位于 水平位置，鼻梁垂直于該眼睛，嘴在鼻子下面等。作為一種選 擇，可以根據(jù)人臉器官本身的幾何結(jié)構(gòu)，確定取向。例如，可 以預(yù)期眼睛在水平方向是細(xì)長的，這意味著，當(dāng)將諸如黑圈 (bloc) 2140和2160所示的橢圓形布置在該眼睛上時，可以預(yù) 期該主軸應(yīng)該是水平的。與適合橢圓形的嘴唇類似，該主軸應(yīng) 該是水平的。作為一種選擇，還可以研究該人臉周圍的圖區(qū)。 特別是，作為具有唯一接近的皮膚色調(diào)、連接到頭部的脖子和 肩膀，可以作為人臉取向和檢測人臉的指標(biāo)。
在優(yōu)選實施例中，確定圖像取向的過程可以作為數(shù)字顯示 裝置的一部分予以實現(xiàn)。作為一種選擇，該過程可以作為數(shù)字 打印裝置的一部分，或者在數(shù)字采集裝置內(nèi)，予以實現(xiàn)。
該過程還可以作為在同一頁上或者屏幕上顯示多個圖像 的一部分，諸如顯示圖像的聯(lián)系表或者略圖中，予以實現(xiàn)。在 這種情況下，用戶可以分別或者可以通過同時選擇多個圖像來 接受或者拒絕建議的圖像取向。對于序列圖像，可以根據(jù)用戶 對前面圖像接受的信息，確定圖像的取向。
作為一種選擇，如圖8a的流程圖所描述的，在預(yù)采集步驟 可以采用類似的方法，以例如當(dāng)確定面部特征將被遮擋或者有 陰影時，確定沒有遮光或者沒有陰影的圖像的數(shù)字模擬或者復(fù)合是否有利。在圖5所示的方框1108，照相機(jī)搜索該圖像中存在 的嘴、眼睛或者人臉或者其他特征。在1460，確定該圖像中是 否存在一個或者多個這種特征。如果不存在，則在1462退出。 如果存在，則在1464標(biāo)記該特征。在1470，分析該特征圖區(qū)。 如果在1474確定該特征被充分設(shè)定為沒有遮光或者沒有陰影， 則在147S，原樣保留該圖像。但是，如果確定該特征被不符合 要求地遮擋或者有陰影，或者該特征被部分遮擋或者部分有陰 影超過閾值量，則該過程繼續(xù)進(jìn)行，以在1480、 1490和/或者1494 進(jìn)行校正。在1480，提供用于數(shù)字模擬沒有遮光或者沒有陰影 的特征的子例程。掩膜或者各掩膜限定選擇的圖區(qū)，即，該例 中的眼睛或者人臉圖區(qū)。在1484，可以增加曝光，也可以跳過 此步驟。在1486,對該選擇圖區(qū)進(jìn)行形狀處理和/或者色彩處理。 例如，如果在原始圖像中存在遮光或者陰影，則提供沒有遮光 或者沒有陰影的特征，以代替有遮光或者有陰影的特征。在 1488，提供色調(diào)再現(xiàn)。
在1490，可以對用戶提供一個或者多個結(jié)果。在1492，用 戶可以選擇優(yōu)選結(jié)果，然后，在1498，進(jìn)行校正。作為一種選 擇，在1494，可以利用要修改的參數(shù)，諸如有遮光或者有陰影 的面部特征，對用戶顯示該圖像。然后，在1496，用戶調(diào)整修 改范圍，在1498，校正該圖像。
圖8b提供了另一個與圖5中一樣在1104啟動圖片拍攝模式 的工作流程。在4820，分析該圖像。在1106，確定該圖像中是 否存在關(guān)鍵特征。如果不存在，則在lllO，退出。如果存在， 則在1108，標(biāo)記該特征。在4840，分析該關(guān)鍵特征圖區(qū)，然后， 如果在4960，該特征沒有遮光或者陰影，則在4880，或者拍攝 圖片、存儲圖片(例如，如果事先拍攝了該圖片)或者拍攝并存儲該圖片。在4860，如果確定這些特征中的一個或者多個有 遮光或者有陰影，則在49S0，丟棄該圖像，或者延遲捕獲圖像， 或者作為一種選擇，在4900，拍攝該圖片。在后者實施例中， 在4920，用沒有遮光或者沒有陰影的嘴圖區(qū)代替有遮光或者有 陰影特征的像素，然后，在4940，存儲該合成圖片。
圖9示出涉及遮光或者陰影形成對象或者陰影的運(yùn)動的技 術(shù)。在1170，啟動聚焦機(jī)構(gòu)。在1750，照相機(jī)搜索該對象或者 陰影以及/或者關(guān)鍵特征。如果在1760，沒有檢測到對象或者陰 影或者關(guān)鍵特征，則在1762，開始執(zhí)行基于空間的自動聚焦技 術(shù)。如果檢測到遮光或者陰影形成對象或者陰影或者關(guān)鍵特征， 則在1770，標(biāo)記該圖區(qū)。在1772，顯示該圖區(qū)。在1790，用戶 可以拍攝該圖片。然而，在1780，用戶可以轉(zhuǎn)換到焦點(diǎn)跟蹤模 式。在1782，當(dāng)例如在形成遮光或者陰影的過程中或者在使遮 光或者陰影事件結(jié)束的過程中，該對象、特征或者陰影運(yùn)動時， 在1784，跟蹤該對象、特征或者陰影的運(yùn)動。在1786，當(dāng)該對 象、特征或者陰影在遮光過程中運(yùn)動時，施加延遲或者取消景 物的資格。在1790，在該取消資格期間結(jié)束時，用戶可以拍攝 該圖片，或者預(yù)設(shè)該照相機(jī)，以自動拍攝該鏡頭。
下面是參考文獻(xiàn)引用清單，在披露變換實施例時，除了背 景技術(shù)、發(fā)明內(nèi)容、摘要
、以及附圖和上面引用的 其它參考文獻(xiàn)，在此將下面的參考文獻(xiàn)引入優(yōu)選實施例的詳細(xì) 說明中供參考
第6， 965， 684號、第6， 301， 440號、第RE33682號、第RE31370 號、第4，047，187號、第4，317，991號、第4，367，027號、第 4'638，364號、第5,291，234號、第5，488，429號、第5， 638， 136 號、第5，710，833號、第5，724，456號、第5，781，650號、第5，812，193號、第5，818，975號、第5，835，616號、第5，870'138 號、第5，978，519號、第5，991，456號、第6，097，470號、第 6，101，271號、第6，128，397號、第6，148，092號、第6，151，075 號、第6，188，777號、第6，192，149號、第6，249，315號、第 6'263，113號、第6，268，939號、第6，282，317號、第6， 301， 370 號、第6，332，033號、第6，393，148號、第6，404，900號、第 6，407，777號、第6，421，468號、第6，438，264號、第6， 456， 732 號、第6，459，436號、第6，473，199號、第6，501，857號、第 6，504，942號、第6，504，951號、第6，516，154號、第6， 526, 161 號、第6，151，073號、第5，862，218號、第6，956，966號、第 6， 904， 168號、第6， 873， 743號以及第6， 751， 348號美國專利;
第2003/0071908號、第2003/0052991號、第2003/0025812 號、第2002/0172419號、第2002/01 H535號、第2002/0105662 號以及第2001/0031142號美國專利申請公開；
標(biāo)題為"Human Eye Detector"的第60/776， 338號美國
臨時專利申請；
第JP5260360A2號日本專利申請； 第GB0031423. 7號英國專利申請；
Yang等人，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24， no. 1， pp 34-58 (Jan. 2002);以及
Baluja禾口 Rowley ， " Neural Network-based Face Detection, " IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20， No. 1， p 23-28， January 1998。
盡管描述并示出了本發(fā)明的典型示意圖和特定實施例，但是應(yīng)該明白，本發(fā)明的范圍并不局限于所討論的特定實施例。 因此，應(yīng)該將該實施例看作是說明性的，而非限制性的，還應(yīng) 該明白，在不脫離下面的權(quán)利要求書及其等效結(jié)構(gòu)和等效功能 限定的本發(fā)明范圍的情況下，本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員可以對 這些實施例進(jìn)行變更。
此外，在根據(jù)下面的權(quán)利要求書和/或者在此的優(yōu)選實施 例可以執(zhí)行的方法中，以選擇的排印順序描述各操作。然而， 選擇該順序，并且為了排印方便而如此排序，而且該順序無意 暗示執(zhí)行該操作的任意特定順序，除非明確提出該特定順序， 或者本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員必然這樣理解該特定順序。
權(quán)利要求
1. 一種基于存儲圖像不符合進(jìn)行進(jìn)一步圖像處理要求而取消該存儲圖像資格的方法，包括(a)采集并存儲包括關(guān)鍵特征圖區(qū)的景物的當(dāng)前圖像；(b)在后采集數(shù)字圖像處理期間，從該存儲圖像中提取信息；(c)識別一組或者多組對應(yīng)于該關(guān)鍵特征圖區(qū)的像素；(d)確定所述關(guān)鍵特征圖區(qū)的一個或者多個細(xì)節(jié)是否是不符合要求的；并且如果是不符合要求的，則(e)拒絕對該當(dāng)前圖像進(jìn)行進(jìn)一步后采集數(shù)字圖像處理。
2. 根據(jù)權(quán)利要求l所述的方法，進(jìn)一步包括(i) 采集一個或者多個預(yù)覽圖像；以及(ii) 確定所述一個或者多個預(yù)覽圖像中是否存在一個或 者多個人臉，以及所述一個或者多個人臉在所述一個或者多個 預(yù)覽圖像中的位置；以及(iii) 其中識別該當(dāng)前圖像中的一組或者多組像素是至少 部分地基于所述確定所述預(yù)覽圖像中所述是否存在人臉以及所 述人臉在所述預(yù)覽圖像中的所述位置。
3. 根據(jù)權(quán)利要求l所述的方法，其中該識別包括識別一組 或者多組對應(yīng)于該關(guān)鍵特征的像素；而該確定包括確定該關(guān)鍵 特征是否被顯著遮擋或者有顯著陰影；并且如果被顯著遮擋或 者有顯著陰影，則該拒絕包括取消該圖像以及同樣被遮擋或者 同樣有陰影的即將臨時捕獲的其他任意圖像作為被進(jìn)一步處理 的候選者的資格。
4. 根據(jù)權(quán)利要求3所述的方法，其中確定該關(guān)鍵特征是否 被遮擋或者有陰影包括確定該關(guān)鍵特征被遮擋或者有陰影的程度。
5. 根據(jù)權(quán)利要求3所述的方法，其中該當(dāng)前圖像包括高清 晰度捕獲圖像，并且該關(guān)鍵特征包括人臉圖區(qū)或者部分人臉圖 區(qū)。
6. 根據(jù)權(quán)利要求3所述的方法，其中該當(dāng)前圖像包括高清 晰度捕獲圖像，并且該方法進(jìn)一步包括拼裝包括該當(dāng)前圖像中 的像素和不同圖像中對應(yīng)于該關(guān)鍵特征的沒有遮擋或者沒有陰 影像素的合成圖像。
7. 根據(jù)權(quán)利要求3所述的方法，其中識別該關(guān)鍵特征圖區(qū) 包括識別人臉圖區(qū)；以及分析該人臉圖區(qū)，以確定其內(nèi)的眼 睛或者嘴圖區(qū)。
8. 根據(jù)權(quán)利要求3所述的方法，進(jìn)一步包括因為該取消資 格而處理不同圖像，以代替該當(dāng)前圖像。
9. 一種基于采集圖像被遮擋或者有遮光特征至使該采集 圖像不符合永久保存的要求而取消該采集圖像資格的方法，包 括(a) 采集包括關(guān)鍵特征的景物的當(dāng)前圖像；(b) 識別對應(yīng)于該關(guān)鍵特征的一組或者多組像素；(c) 確定在該當(dāng)前圖像中該關(guān)鍵特征是否有陰影或者有遮 光或者二者都有；并且如果是有陰影或者有遮光或者二者都有，(d) 拒絕該當(dāng)前圖像作為后采集數(shù)字圖像處理的候選者， 而在延遲了一段時間之后，自動采集新圖像以代替該當(dāng)前圖像。
10. 根據(jù)權(quán)利要求9所述的方法，其中所述延遲所述采集 該新圖像對應(yīng)于所述關(guān)鍵特征的所述陰影或者遮光發(fā)生變化的 估計時間。
11. 根據(jù)權(quán)利要求9所述的方法，進(jìn)一步包括提供所述當(dāng) 前圖像是不符合要求的通知。
12. 根據(jù)權(quán)利要求ll所述的方法，其中所述通知是可視 的、可聽的或者它們的組合。
13. 根據(jù)權(quán)利要求9所述的方法，進(jìn)一步包括(i) 采集一個或者多個預(yù)覽圖像；以及(ii) 確定所述一個或者多個預(yù)覽圖像中是否存在陰影或 者遮光或者它們二者以及它們在所述一個或者多個預(yù)覽圖像中 的位置；以及(iii) 其中在所述當(dāng)前圖像中進(jìn)行的該確定是至少部分地 基于在所述預(yù)覽圖像中進(jìn)行的所述確定。
14. 根據(jù)權(quán)利要求9所述的方法，其中該識別包括識別一 組或者多組對應(yīng)于人臉圖區(qū)的像素；而該確定進(jìn)一步包括確定 該人臉圖區(qū)是否具有不符合要求的形態(tài)；并且如果具有不符合 要求的形態(tài)，則該拒絕包括在該人臉圖區(qū)具有該不符合要求的 形態(tài)時，取消該景物作為被處理的永久圖像的候選者資格。
15. 根據(jù)權(quán)利要求14所述的方法，其中該不符合要求的形 態(tài)包括眨眼或者鈹眉或者它們二者。
16. 根據(jù)權(quán)利要求9所述的方法，其中該延遲包括預(yù)測該 遮光或者陰影何時停止，并且在接近預(yù)測的遮光或者陰影結(jié)束 時間時，結(jié)束該延遲。
17. 根據(jù)權(quán)利要求9所述的方法，其中該確定該關(guān)鍵特征 是否有陰影或者有遮光包括確定該關(guān)鍵特征有陰影或者有遮光 的程度。
18. —種自動取消不符合要求景物的資格并作為照相機(jī) 的圖像采集控制的方法，包括(a) 采集多個預(yù)覽圖像；(b) 從所述多個預(yù)覽圖像中提取信息；(c) 在所述多個臨時圖像的各圖像之間，分析該景物中的 一個或者多個變化；(d) 根據(jù)該分析，確定該景物中的一個或者多個關(guān)鍵特征 是否有陰影或者有遮光；以及(e) 在所述陰影或者遮光繼續(xù)存在時，取消該景物作為已 處理的永久的圖像候選者的資格。
19. 根據(jù)權(quán)利要求18所述的方法，其中該分析包括根據(jù)被 檢測的陰影或者遮光形成對象的運(yùn)動來估計該陰影或者遮光將 繼續(xù)存在的時間長度。
20. 根據(jù)權(quán)利要求19所述的方法，進(jìn)一步包括確定該陰影 或者遮光繼續(xù)存在和不采集已處理的永久圖像的取消資格間 隔；以及在該間隔結(jié)束時結(jié)束該取消資格。
21. —種包括成像光學(xué)系統(tǒng)和數(shù)字圖像檢測器以及存儲 介質(zhì)并且其內(nèi)存儲了程序指令的圖像采集設(shè)備，該程序指令用 于對一個或者多個處理器編程，以執(zhí)行權(quán)利要求1至20之任一所述的對采集圖像取消資格的方法。
22. —種或者多種處理器可讀存儲器件，處理器可讀代碼 嵌入在該可讀存儲器件上，所述處理器可讀代碼用于對一個或 者多個處理器編程，以執(zhí)行基于存儲圖像不符合被進(jìn)一步圖像 處理的要求而取消該存儲圖像的資格的方法，該方法包括(a) 采集并存儲包括關(guān)鍵特征圖區(qū)的景物的當(dāng)前圖像；(b) 在后采集數(shù)字圖像處理期間，從該存儲圖像中提取信加、5(C)識別一組或者多組對應(yīng)于該關(guān)鍵特征圖區(qū)的像素；(d) 確定所述關(guān)鍵特征的一個或者多個細(xì)節(jié)是否是不符合要求的；并且如果是不符合要求的，則(e) 拒絕對該當(dāng)前圖像進(jìn)行進(jìn)一步后采集數(shù)字圖像處理。
23. 根據(jù)權(quán)利要求22所述的一種或者多種存儲器件，該方 法進(jìn)一步包括(i) 采集一個或者多個預(yù)覽圖像；以及(ii) 確定所述一個或者多個預(yù)覽圖像中是否存在一個或 者多個人臉，以及所述一個或者多個人臉在所述一個或者多個 預(yù)覽圖像中的位置；以及(iii) 其中識別該當(dāng)前圖像中的一組或者多組像素是至少 部分地基于所述確定所述預(yù)覽圖像中所述是否存在人臉以及所 述人臉在所述預(yù)覽圖像中的所述位置。
24. 根據(jù)權(quán)利要求22所述的一種或者多種存儲器件，其中 該識別包括識別一組或者多組對應(yīng)于該關(guān)鍵特征的像素；而該 確定包括確定該關(guān)鍵特征是否被顯著遮擋或者有顯著陰影；并 且如果被顯著遮擋或者有顯著陰影，則該拒絕包括取消該圖像 以及同樣被遮擋或者同樣有陰影的即將臨時捕獲的其他任意圖 像作為被進(jìn)一步處理的候選者的資格。
25. 根據(jù)權(quán)利要求24所述的一種或者多種存儲器件，其中 確定該關(guān)鍵特征是否被遮擋或者有陰影包括確定該關(guān)鍵特征被 遮擋或者有陰影的程度。
26. 根據(jù)權(quán)利要求24所述的一種或者多種存儲器件，其中 該當(dāng)前圖像包括高清晰度捕獲圖像，并且該關(guān)鍵特征包括人臉 圖區(qū)或者部分人臉圖區(qū)。
27. 根據(jù)權(quán)利要求24所述的一種或者多種存儲器件，其中 該當(dāng)前圖像包括高清晰度捕獲圖像，并且該方法進(jìn)一步包括拼裝包括該當(dāng)前圖像中的像素和不同圖像中對應(yīng)于該關(guān)鍵特征的 沒有遮擋或者沒有陰影像素的合成圖像。
28. 根據(jù)權(quán)利要求24所述的一種或者多種存儲器件，其中 識別該關(guān)鍵特征圖區(qū)包括識別人臉圖區(qū)；以及分析該人臉圖區(qū)，以確定其內(nèi)的眼睛或者嘴圖區(qū)。
29. 根據(jù)權(quán)利要求24所述的一種或者多種存儲器件，該方 法進(jìn)一步包括因為該取消資格而處理不同圖像，以代替該當(dāng)前 圖像。
30. —種或者多種處理器可讀存儲器件，處理器可讀代碼 嵌入在該可讀存儲器件上，所述處理器可讀代碼用于對一個或 者多個處理器編程，以執(zhí)行基于采集圖像根據(jù)其被遮擋或者有 遮光特征不符合永久保存的要求而取消該采集圖像資格的方 法，該方法包括(a) 采集包括關(guān)鍵特征的景物的當(dāng)前圖像；(b) 識別對應(yīng)于該關(guān)鍵特征的一組或者多組像素；(c) 確定在該當(dāng)前圖像中該關(guān)鍵特征是否有陰影或者有遮 光或者二者都有；并且如果是有陰影或者有遮光或者二者都有，則(d) 拒絕該當(dāng)前圖像作為后采集數(shù)字圖像處理的候選者， 而在延遲了一段時間之后，自動采集新圖像以代替該當(dāng)前圖像。
31. 根據(jù)權(quán)利要求30所述的一種或者多種存儲器件，其中 所述延遲所述采集該新圖像對應(yīng)于所述關(guān)鍵特征的所述陰影或 者遮光基本結(jié)束的估計時間。
32. 根據(jù)權(quán)利要求30所述的一種或者多種存儲器件，該方 法進(jìn)一步包括提供所述當(dāng)前圖像是不符合要求的通知。
33. 根據(jù)權(quán)利要求32所述的一種或者多種存儲器件，其中所述通知是可視的、可聽的或者它們的組合。
34. 根據(jù)權(quán)利要求30所述的一種或者多種存儲器件，該方 法進(jìn)一步包括(i) 采集一個或者多個預(yù)覽圖像；以及(ii) 確定所述一個或者多個預(yù)覽圖像中是否存在陰影或 者遮光或者它們二者以及它們在所述一個或者多個預(yù)覽圖像中 的位置；以及(iii) 其中在所述當(dāng)前圖像中進(jìn)行的該確定是至少部分地 基于在所述預(yù)覽圖像中進(jìn)行的所述確定。
35. 根據(jù)權(quán)利要求30所述的一種或者多種存儲器件，其中該識別進(jìn)一步包括識別一組或者多組對應(yīng)于人臉圖區(qū)的像素； 而該確定進(jìn)一步包括確定該人臉圖區(qū)是否具有不符合要求的形 態(tài)；并且如果具有不符合要求的形態(tài)，則該拒絕包括在該人臉 圖區(qū)具有該不符合要求的形態(tài)時，取消該景物作為被處理的永 久圖像的候選者資格。
36. 根據(jù)權(quán)利要求35所述的一種或者多種存儲器件，其中該不符合要求的形態(tài)包括眨眼或者皺眉或者它們二者。
37. 根據(jù)權(quán)利要求30所述的一種或者多種存儲器件，其中該延遲包括預(yù)測該遮光或者陰影何時停止，并且在接近預(yù)測的 遮光或者陰影停止時間時，結(jié)束該延遲。
38. 根據(jù)權(quán)利要求30所述的一種或者多種存儲器件，其中該確定該關(guān)鍵特征是否有陰影或者有遮光包括確定該關(guān)鍵特征 有陰影或者有遮光的程度。
39. —個或者多個處理器編程，處理器可讀代碼嵌入在該 可讀存儲器件上，所述處理器可讀代碼用于對一個或者多個處理器編程，以執(zhí)行自動取消不符合要求景物的資格并作為照相機(jī)的圖像采集控制的方法，包括(a) 采集多個預(yù)覽圖像；(b) 從所述多個預(yù)覽圖像中提取信息；(C)在所述多個臨時圖像的各圖像之間，分析該景物中的 一個或者多個變化；(d) 根據(jù)該分析，確定該景物中的一個或者多個關(guān)鍵特征 是否有陰影或者有遮光；以及(e) 在所述陰影或者遮光繼續(xù)存在時，取消該景物作為已 處理的永久的圖像候選者的資格。
40. 根據(jù)權(quán)利要求39所述的一種或者多種存儲器件，其中 該分析包括根據(jù)被檢測的陰影或者遮光形成對象的運(yùn)動來估計 該陰影或者遮光將繼續(xù)存在的時間長度。
41. 根據(jù)權(quán)利要求40所述的一種或者多種存儲器件，該方 法進(jìn)一步包括確定該陰影或者遮光繼續(xù)存在和不采集已處理的 永久圖像的取消資格間隔；以及在該間隔結(jié)束時結(jié)束該取消資 格。
全文摘要
作為照相機(jī)的圖像采集控制方式，取消不符合要求景物的資格。采集圖像。在該圖像中確定一個或者多個人臉圖區(qū)或者其他關(guān)鍵特征圖區(qū)。分析這些圖區(qū)，以確定它們是否被不符合要求地遮擋或者有陰影，并且如果被不符合要求地遮擋或者有陰影，則當(dāng)該特征繼續(xù)被遮擋或者有陰影時，取消該景物作為被處理的永久圖像的候選者的資格。
文檔編號G06K9/00GK101427263SQ200680054364
公開日2009年5月6日 申請日期2006年8月3日 優(yōu)先權(quán)日2006年2月24日
發(fā)明者埃蘭·斯坦伯格, 彼得·科科倫, 彼得羅內(nèi)爾·比焦伊 申請人:快圖影像有限公司