用根據(jù)本發(fā)明示例性實施例的相機模塊的拍攝和圖像處理相關的整體操作。具體來講，在拍攝模式下，控制器180可控制與用于在拍攝選項被設置的圖像拍攝方案下應用拍攝選項的圖像補償?shù)暮筇幚聿僮飨嚓P的整體操作?？刂破?80可使顯示圖像與具有全分辨率的圖像(靜止圖像)分離，以并行地(單獨地)處理圖像?？刂破?80被配置為控制相機模塊170處理預覽模式下的顯示圖像?？刂破?80控制相機模塊170同時地(例如，表示基本上同時，在同一時刻或在給定的重疊時間段內)根據(jù)顯示圖像來處理預覽顯示，并針對具有全分辨率的圖像來處理圖像轉換的后臺(諸如，后處理補償)。
[0067]如果在通過執(zhí)行存儲在存儲器150中的至少一個程序對顯示圖像的預覽進行顯示時接收到基于拍攝選項的拍攝命令，則控制器180處理將拍攝選項應用于具有全分辨率的圖像的圖像補償，還執(zhí)行與進入預覽模式相關的操作以基于下一幀的顯示圖像來處理預覽顯示(即，并行地通過圖像補償進行處理)。所述至少一個程序可包括用于執(zhí)行與下述處理相關的操作的命令:將從相機模塊獲取的圖像轉換為顯示圖像和具有全分辨率的圖像(靜止圖像)，對轉換后的顯示圖像和具有全分辨率的圖像進行緩存，顯示被緩存的顯示圖像作為預覽圖像，在對顯示圖像進行顯示作為預覽的同時，在設置拍攝選項的輸入被接收時，顯示通過將拍攝選項應用于顯示圖像而獲得的效果預覽圖像，在快門按鈕的輸入被接收時，作為后臺處理將拍攝選項應用于具有全分辨率的圖像的圖像補償，并在作為后臺處理將拍攝選項應用于具有全分辨率的圖像的圖像補償?shù)耐瑫r，在快門按鈕的輸入被接收時進入預覽模式以基于下一幀的顯示圖像來處理預覽顯示。將參照附圖在便攜式裝置的操作及其控制方法的示例中描述控制器180的詳細的控制操作。
[0068]在控制器180的控制下，供電單元190使用從外部電源施加的電力或內部電源對其施加的電力，并向每個構成元件供應操作每個構成元件所需的電力。我們注意到了電子裝置的供電單元可僅包括可拆卸的電源線，其中，所述電源線可能包括也可能不包括傳遞某一期望水平的能量的轉換電路。此外，申請人所附的權利要求不描述電池，并且供電單元可包括連接到電源的硬件。
[0069]同時，根據(jù)本發(fā)明的各種示例性實施例可被實現(xiàn)在其上存儲有機器可執(zhí)行代碼的介質可讀介質中，其中，所述機器可執(zhí)行代碼可被加載到計算機、處理器或微處理器內以進行執(zhí)行。根據(jù)硬件實現(xiàn)，可使用專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理器件(DSro)、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器和用于執(zhí)行所述功能的電子單元(僅列舉一些非限制性的可能性)中的至少一種來實現(xiàn)本發(fā)明各種示例性實施例。在某些情況下，可由控制器180實現(xiàn)變化示例性實施例。根據(jù)軟件實現(xiàn)，可通過包括機器可執(zhí)行代碼的單獨的軟件模塊來實現(xiàn)根據(jù)說明書的過程和功能的實施例，其中，所述機器可執(zhí)行代碼被加載到硬件內以發(fā)揮功能。當軟件模塊被加載到硬件內并被執(zhí)行時，所述軟件模塊可執(zhí)行說明書中所描述的功能和操作中的至少—個°
[0070]此外，圖1中所示的便攜式裝置可包括使用應用處理器(AP)、圖像處理單元(GPU)和中央處理單元(CPU)來支持本發(fā)明的某些實施例的功能的各種裝置，諸如各種信息和通信裝置、多媒體裝置及其應用裝置。例如，便攜式裝置包括基于與各種通信系統(tǒng)相應的各個通信協(xié)議進行操作的裝置，諸如，平板個人計算機(PC)、平板電話、智能電話、數(shù)碼相機、便攜式多媒體播放器(PMP)、媒體播放器、便攜式游戲裝置、膝上型計算機、個人數(shù)字助理(PDA)以及移動通信裝置。
[0071]圖2是示意性地示出根據(jù)本發(fā)明示例性實施例的相機模塊170的示例性配置的框圖。
[0072]現(xiàn)在參照圖2，相機模塊170包括相機210、圖像處理器230和編解碼器250。
[0073]可實現(xiàn)與圖1和圖2相比具有更多或更少元件的相機模塊170。
[0074]當由控制器180驅動相機模塊170時，也就是說，當激活拍攝功能時，相機210通過內部傳感器來獲取圖像。相機210可包括例如光學單元211、圖像傳感器213和信號處理器 215。
[0075]繼續(xù)參照圖2，光學單元211通過meca快門、馬達和致動器進行操作，并可通過致動器來操作縮放操作和聚焦操作。光學單元211提供外圍圖像，并且圖像傳感器213檢測從光學單元211提供的圖像并將所述圖像轉換為電信號。圖像傳感器231可以是具有高分辨率的圖像傳感器，諸如CMOS傳感器或CCD傳感器。在本發(fā)明示例性實施例中，圖像傳感器231可以是檢測大于的超高清(UHD)級的圖像的傳感器。圖像傳感器213可在其中包括全局快門。通過信號處理器215將從圖像傳感器213檢測到的圖像轉換為數(shù)字圖像，并輸出所述數(shù)字圖像。
[0076]信號處理器215可包括圖像信號處理器(ISP)。相機210可包括取景器。圖像處理器230將從相機210產生的圖像轉換為顯示圖像，并對所述顯示圖像進行處理。此外，當拍攝選項被添加時，圖像處理器230可對使用顯示圖像的圖像轉換和使用靜止圖像的圖像轉換進行處理。圖像處理器230可包括預處理器231、圖像縮放器233、靜止圖像緩沖器235、顯示圖像緩沖器237和后處理器239。
[0077]預處理器231執(zhí)行對從相機210獲取的圖像進行預處理的功能。例如，預處理功能可包括3A(AWB(自動白平衡)、AE(自動曝光)、AF(自動聚焦)提取和處理功能、鏡頭暗角校正、壞像素校正和畸變(knee)校正功能。
[0078]圖像縮放器233將從預處理器231輸出的相機210的具有全分辨率的圖像調整(縮放)為用于顯示在顯示單元130上的尺寸。例如，可通過諸如尺寸調節(jié)、抽取、插值、裁剪、相加和平均的各種方案中的至少一種方案來實現(xiàn)圖像縮放。圖像縮放器233可包括尺寸調節(jié)器和/或求和平均單元，其中，尺寸調節(jié)器和求和平均單元中的每一個包括用于操作的硬件，諸如，處理器、子處理器和/或與其相關的電路。
[0079]當通過尺寸調節(jié)器(未示出)來實現(xiàn)圖像縮放器233時，尺寸調節(jié)器對從預處理器輸出的具有高分辨率的圖像進行尺寸調節(jié)，以使其符合將顯示在顯示單元130上的圖像的容量和尺寸。在這種情況下，如上所述，所述尺寸調節(jié)可執(zhí)行適合于顯示單元130的寬高比的諸如抽取、插值和裁剪的操作，并可在控制單元180的控制下進行操作。
[0080]當通過求和平均來實現(xiàn)圖像縮放器233時，求和平均單元(未示出)被配置為對圖像的鄰近像素進行相加和平均，以減少圖像的像素數(shù)量。求和平均單元對從預處理器231輸出的具有全分辨率的圖像的鄰近像素進行平均，以減少顯示圖像的像素數(shù)量。
[0081]靜止圖像緩沖器235提供機器可讀存儲器對從預處理器231輸出的相機210的具有高分辨率的圖像進行緩存。靜止圖像緩沖器235可被設置為具有足以存儲具有高分辨率的幀圖像的容量的尺寸。靜止圖像緩沖器235對每一幀的從預處理器231輸出的具有全分辨率的圖像進行緩存。當圖像捕捉被請求時，可訪問在控制器180的控制下被選擇的圖像。
[0082]顯示圖像緩沖器237可對從圖像縮放器233輸出的縮放后的圖像進行緩存。顯示圖像緩沖器237可針對時間進行補償，以顯示和處理顯示單元130上的顯示圖像。
[0083]從顯示圖像緩沖器237輸出的顯示圖像和/或從靜止圖像緩沖器235輸出的靜止圖像被輸入到后處理器239。后處理器239執(zhí)行諸如色彩插值、噪聲抑制和色彩校正的后處理，并通過對經(jīng)過后處理的圖像進行圖像轉換處理來產生YUV數(shù)據(jù)。更具體地講，后處理器239對經(jīng)過預處理的圖像進行色彩插值的后處理，并將經(jīng)過后處理的圖像轉換為YUV圖像。后處理器239可包括色彩插值器、圖像處理鏈(IPC)和圖像轉換器。
[0084]色彩插值器執(zhí)行將輸入圖像轉換為彩色圖像的色彩插值功能。例如，色彩插值器可將從相機210輸出的圖像的像素轉換為包括三種顏色RGB的色彩(全色轉換)。色彩插值器使用鄰近像素之間的相關性來執(zhí)行色彩插值。通常，在圖像處理器230內，在色彩插值之前的圖像處理可被稱為預處理，并且色彩插值之后的圖像處理可被稱為后處理。
[0085]后處理器239的IPC還可對通過色彩插值器被色彩插值的圖像執(zhí)行降噪、伽馬校正和亮度校正。
[0086]圖像轉換器將經(jīng)過后處理的圖像轉換為YUV圖像。
[0087]在預覽模式下，后處理器239可輸出由顯示單元130顯示的圖像。后處理器239在捕捉模式下將后處理器239的圖像分類為顯示圖像和靜止圖像，在顯示單元130上輸出顯示圖像，通過后臺對具有全分辨率的圖像進行后處理補償，并通過編解碼器250輸出存儲器150中的圖像。可在加載到硬件內以執(zhí)行的軟件方案中配置后處理器239的功能。
[0088]在配置后處理器239的功能的方法中，控制器180在每一幀區(qū)間期間控制顯示圖像緩沖器239和靜止圖像緩沖器250，以選擇應用于后處理器239的圖像，并控制從后處理器239輸出的圖像，以將所述圖像分類為顯示圖像和靜止圖像?？刂破?80將經(jīng)分類的顯示圖像恢復到預覽模式，并控制顯示單元130輸出所述顯示圖像，并且作為后臺針對經(jīng)分類的靜止圖像處理圖像補償以完成圖像補償?；诤笈_的后處理補償功能可被存儲或加載在至少一個存儲器150中，并由控制器180或單獨的處理器(未示出)執(zhí)行?？赏ㄟ^單獨的用于基于后臺的后處理的圖像補償應用來實現(xiàn)基于后臺的后處理補償功能，其中，用于基于后臺的后處理的圖像補償應用與執(zhí)行拍攝功能(具體地講，預覽模式、預覽模式下的預覽圖像的顯示和拍攝)的基本拍攝應用分離。在這種情況下，拍攝應用和圖像補償應用并行地對圖像進行處理。如果拍攝應用終止而后處理補償還未終止，則圖像補償應用可繼續(xù)執(zhí)行任務而不考慮拍攝應用的終止，直到后處理補償已終止為止。圖像補償?shù)娜蝿湛筛鶕?jù)用戶設置在預設時間段期間被操作，或者被手動終止，或者根據(jù)用戶選擇而被執(zhí)行?？砂凑崭鞣N單位來設置預設時間段期間的操作，可以以預定時間段(例如，預定時間間隔的夜間(例如，用戶睡覺時的時間間隔))為單位、以時間為單位、以星期為單位、以周為單位和以月為單位來設置預設時間段期間的操作。
[0089]編解碼器250包含或配置用于對從圖像處理器230輸出的靜止圖像進行壓縮編碼并在存儲器150中存儲編碼后的靜止圖像的硬件。編解碼器250可包括JPEG編解碼器。
[0090]將描述具有上述構造的便攜式裝置的操作。
[0091]控制器180根據(jù)通過用戶輸入單元120輸入的控制命令來控制相機模塊170的操作。換言之，當相機模塊170的驅動命令被產生時，用戶控制相機210和圖像處理器230在預覽模式下執(zhí)行操作。
[0092]更詳細地講，控制器180根據(jù)驅動命令來驅動相機210，并且從相機210輸出的圖像被輸入到預處理器231。在控制器180的控制下，預處理器231針對每個幀周期(幀率)產生幀圖像。幀周期可具有30fps (幀/秒)或更大(例如，60fps)。預處理器231從幀圖像提取并處理3A(AWB、AE、AF)，并執(zhí)行鏡頭暗角補償、壞像素和畸變補償。如上所述，經(jīng)過預處理的圖像是具有全分辨率的圖像，所述圖像被應用于圖像縮放器233和靜止圖像緩沖器 235。
[0093]圖像縮放器233將具有全分辨率的輸入圖像縮放為將在顯示單元130上顯示的尺寸?？赏ㄟ^下列處理來實現(xiàn)圖像縮放:減少具有全分辨率的圖像的像素數(shù)量，以將圖像縮放為將在顯示單元130上顯示的合適尺寸；將具有全分辨率的圖像縮放到合適的寬高比?？砂凑詹煌壤齺韺崿F(xiàn)圖像縮放。
[0094]如上所述，將縮放后的圖像應用于顯示圖像緩沖器237，使得縮放后的圖像可由顯示圖像緩沖器237緩存。顯示圖像緩沖器237可調整顯示圖像的處理時間。換言之，在捕捉模式下，顯示圖像緩沖器237可對下一幀的顯示圖像進行緩存，直到對靜止圖像的處理終止為止。
[0095]此外，靜止圖像緩沖器235對從預處理器231輸出的具有全分辨率的圖像進行緩存。在這種情況下，靜止圖像緩沖器235可具有環(huán)形緩沖器配置，并可緩存預設數(shù)量的幀圖像。換言之，靜止圖像緩沖器235可以是“N”(N是除了 I以外的整數(shù))個能夠緩存N個幀的圖像數(shù)據(jù)的環(huán)形緩沖器配置，并可針對每一幀對從預處理器231輸出的幀圖像數(shù)據(jù)進行緩存。例如，從靜止圖像緩沖器235的第一緩沖器起，對針對每一幀產生的幀圖像數(shù)據(jù)進行緩存。如果幀圖像數(shù)據(jù)被緩存到最后一個緩沖器，則控制器180將從預處理器231輸出的幀圖像數(shù)據(jù)重新覆蓋在第一緩沖器中。
[009