本申請要求題為“RELIABILITY MEASUREMENTS FOR PHASE BASED AUTOFOCUS(用于基于相位的自動聚焦的可靠性測量)”并且于2014年7月10日提交的美國專利申請序列號14/327,798的優(yōu)先權,該專利申請要求題為“RELIABILITY MEASUREMENTS FOR PHASE BASED AUTOFOCUS(用于基于相位的自動聚焦的可靠性測量)”并且于2014年6月13日提交的美國臨時專利申請序列號62/011,897的優(yōu)先權,這兩個專利均通過引用以其全文結合在此。
背景技術:
在數(shù)字相機中,自動聚焦可以用于聚焦到興趣對象上。這類數(shù)字相機可以作為獨立設備被提供,或者它們可以集成到多功能設備中,諸如智能電話等。在各種實現(xiàn)方式中,數(shù)字相機可以使用基于相位的自動聚焦(或相位自動聚焦)或基于對比度的自動聚焦。目前,諸如傻瓜相機和集成到多功能設備(諸如智能電話)中的移動相機等移動相機設備趨于使用基于對比度的自動聚焦,但是相位自動聚焦在這類移動相機設備中正變得更加廣泛。例如,在一些實現(xiàn)方式中相位自動聚焦可能是有利的,因為其通??煊诨趯Ρ榷鹊淖詣泳劢埂@?,相位自動聚焦可以允許數(shù)字相機基于捕獲信息的單個幀來確定鏡頭位置運動的正確的方向和量,這可以增加聚焦速度。而且,相位自動聚焦可能是有利的,因為其限制或消除過沖(例如,如在基于對比度的自動聚焦中執(zhí)行的,相機將鏡頭位置改變超過聚焦的位置以便獲得確定聚焦位置所需的信息)。這種過沖花費時間,并且會在視頻捕獲中降低質量。
然而,相位自動聚焦并非對于所有的場景以及在所有條件下都是可靠的。這類問題在小型數(shù)字相機、集成到智能電話中的相機、以及大量生產的數(shù)字相機中可能尤其顯著。
附圖說明
在附圖中通過舉例而非限制的方式展示了在此所描述的材料。為了圖示的簡明和清晰,圖中所展示的元件不一定按比例繪制。例如,為清楚起見,某些元件的尺寸相對于其他元件可能被放大了。此外,在認為適當?shù)那闆r下,在附圖之間對參考標記加以重復以表示相應的或相似的元件。在附圖中:
圖1是用于提供自動聚焦的示例成像設備的示意圖;
圖2是用于提供自動聚焦的示例傳感器的示意圖;
圖3展示了用于提供自動聚焦的強度分布圖;
圖4是示例成像設備的說明性框圖;
圖5展示了包括示例興趣區(qū)域的示例場景;
圖6展示了示例累積相位差值和示例相移的示例圖;
圖7展示了示例累積相位差值和示例相移的示例圖;
圖8是展示了用于提供自動聚焦的示例過程的流程圖;
圖9是用于提供自動聚焦的示例系統(tǒng)的示意圖;
圖10是示例系統(tǒng)的示意圖;以及
圖11展示了全部根據(jù)本公開的至少一些實現(xiàn)方式而安排的示例設備。
具體實施方式
現(xiàn)在參照附圖描述一個或多個實施例或實現(xiàn)方式。雖然對特定配置和安排進行了討論,但應理解,這僅出于說明目的來進行。相關領域的技術人員將認識到,在不背離本描述的精神和范圍的情況下可以采用其他配置和安排。對相關領域技術人員而言將明顯的是,在此描述的技術和/或安排還可以在除了在此描述的系統(tǒng)和應用之外的各種各樣的其他系統(tǒng)和應用中被采用。
雖然以下描述闡述可以在如例如片上系統(tǒng)(SoC)架構的架構中顯現(xiàn)各實現(xiàn)方式,但在此描述的技術和/或安排的實現(xiàn)方式并不局限于具體的架構和/或計算系統(tǒng)并且出于類似目的可以由任何架構和/或計算系統(tǒng)實現(xiàn)。例如,采用例如多個集成電路(IC)芯片和/或封裝體、和/或各種計算設備和/或消費電子產品(CE)設備(如機頂盒、智能電話等)的各架構可以實現(xiàn)在此描述的技術和/或安排。此外,雖然以下描述可以闡述許多特定的細節(jié)(如邏輯實現(xiàn)、系統(tǒng)組件的類型和內在關系、邏輯劃分/集成選擇等),但要求保護的主題可以在沒有這些特定細節(jié)的情況下被實踐。在其他實例中,可以不詳細示出某些材料(諸如,例如,控制結構和完整的軟件指令序列),以便不模糊在此公開的材料。
在此公開的材料可以在硬件、固件、軟件、或其任意組合中實現(xiàn)。在此公開的材料還可以被實現(xiàn)為存儲于機器可讀介質上的指令,這些指令可以由一個或多個處理器來讀取并執(zhí)行。機器可讀介質可以包括用于存儲或傳輸具有由機器(例如,計算設備)可讀的形式的信息的任何介質和/或機制。例如,機器可讀介質可以包括只讀存儲器(ROM);隨機存取存儲器(RAM);磁盤存儲介質;光學存儲介質;閃存設備;電氣、光學、聲學或其他形式的傳播信號(例如,載波、紅外信號、數(shù)字信號等)等。
說明書中提到“一種實現(xiàn)方式(one implementation)”、“實現(xiàn)方式(an implementation)”、“示例實現(xiàn)方式(an example implementation)”等表明所描述的實現(xiàn)方式可以包括具體特征、結構、或特性,但每個實施例可能不一定包括這個具體特征、結構、或特性。此外,這些短語不一定指代同一實現(xiàn)方式。此外,當結合一個實施方式來說明特定特征、結構或特性時,應當指出,無論是否在本文中明確說明,結合其他實施方式來實現(xiàn)這種特征、結構或特性都在本領域技術人員的知識范圍內。
在此描述的方法、設備、系統(tǒng)、和制品涉及為成像設備提供自動聚焦,并且更具體地用于生成可靠性值或基于相位自動聚焦而生成的聚焦相移的可靠性值。
如上所述,數(shù)字相機(例如,相機或集成在諸如智能電話等設備內的相機)可以使用相位自動聚焦或基于對比度的自動聚焦來進行自動聚焦。在一些實例中,數(shù)字相機可以使用相位自動聚焦,所述相位自動聚焦有利地更快速并且可消除過沖。然而,在一些場景和/或條件中相位自動聚焦可能不可靠。
在此所討論的一些實施例中,可以生成與聚焦相移相關聯(lián)(例如,在具有子像素準確性的像素中測量的被確定為對準相機的焦點的相移)的置信度或可靠性值或測量。如在此所使用的,置信度或可靠性值或測量可以表征為可靠性值。顧名思義,所述可靠性值可以提供聚焦相移中可靠性或置信度水平。這一可靠性值可以由數(shù)字相機來使用以便進行自動聚焦并在一些示例中實現(xiàn)包括相位自動聚焦和基于對比度的自動聚焦的混合自動聚焦系統(tǒng)。例如,當所述可靠性值高時,數(shù)字相機可以使用聚焦相移來確定鏡頭位置移位(例如,基于電機單元等)、移位鏡頭位置、并基于相位自動聚焦向用戶提供自動聚焦。如所討論的,這一自動聚焦可以較快速且無過沖。在當所述可靠性值低的示例中,數(shù)字相機可以采用基于對比度的自動聚焦或者相位自動聚焦與基于對比度的自動聚焦的組合來確定鏡頭位置移位、移位鏡頭位置并向用戶提供自動聚焦。
在一些實施例中,可以通過針對場景(例如,被捕獲的場景)的興趣區(qū)域(例如,用于對成像設備進行聚焦的區(qū)域)確定與兩張相位自動聚焦圖像的相移相關聯(lián)的累積相位差值來生成所述可靠性值。例如,相位自動聚焦圖像可以是經由穿插在圖像傳感器中的相位自動聚焦像素傳感器對(例如,從而使得每個像素與像素傳感器相關聯(lián))而接收的左相位自動聚焦圖像和右相位自動聚焦圖像。如在此進一步討論的,可以基于累積相位差值和相移來進行曲線擬合以便生成累積相位差值擬合曲線,并且可以基于所述擬合曲線(例如,對擬合曲線進行分析)生成可靠性值。成像設備的聚焦可以至少部分地基于可靠性值,從而使得例如所述成像設備可以基于所述可靠性值在相位自動聚焦與對比度自動聚焦之間做出選擇,或者根據(jù)所述可靠性值對鏡頭運動步長進行適配。
通過使用這類技術,可以提供自動聚焦,在一些場景和條件下,所述自動聚焦基于相位自動聚焦并且由此而較快速且無過沖。在不適用于相位自動聚焦的其他場景和條件下,可以提供在基于對比度的自動聚焦(或基于對比度的自動聚焦和相位自動聚焦的結合)基礎上的自動聚焦,從而使得可以針對這種場景和條件提供高質量自動聚焦(盡管更慢)。
圖1是根據(jù)本公開的至少一些實現(xiàn)方式安排的用于提供自動聚焦的示例成像設備100的示意圖。如圖1所示,在實施例中,成像設備100是智能電話。如所示的,成像設備100可以包括正面101和背面102。在一些示例中,如所示的,成像設備100的背面102可以包括集成相機103(例如,包括鏡頭、光圈和成像傳感器)和閃光燈104(例如,閃光燈或手電筒(諸如超級電容器LED等))。還如所示的,成像設備100的正面101可以包括揚聲器106、顯示器107、以及一個或多個按鈕108。此外,成像設備100可以包括麥克風105,所述麥克風在所展示的示例中被示出在成像設備100的底部。這類設備可以提供成像設備100的各種各樣的用途。
所描述的成像設備100的這些部件可以以任何適當?shù)姆绞较嘟Y合。例如,相機103和閃光燈104可以結合在成像設備100的正面101上。在一些示例中,前置和后置相機兩者以及閃光燈可以結合于成像設備100中。此外,在一些示例中,顯示器107可以是觸摸屏顯示器,從而使得用戶可以經由通過顯示器107(諸如輕擊顯示器107)發(fā)起的命令與成像設備100進行交互以便指示聚焦的對象或興趣區(qū)域。如所討論的,在一些示例中,成像設備100可以包括所描述的部件中的每一個部件。在其他示例中,成像設備100可以不包括所描述的部件中的一個或多個部件。例如,成像設備100可以不包括揚聲器106、顯示器107、和/或麥克風105。此外,所討論的部件可以并入任何形成因子設備中,如所展示的智能電話、專用相機、超級筆記本、膝上計算機、平板計算機、或在此討論的任何其他設備。例如,專用相機可以包括自動對焦相機、可互換鏡頭系統(tǒng)相機、無反光鏡相機、數(shù)碼單鏡頭反光(DSLR)相機等。
如所討論的,相機103可以包括圖像傳感器。如在此所討論的,所述圖像傳感器可以捕獲圖像數(shù)據(jù)和相位自動聚焦數(shù)據(jù)。
圖2是根據(jù)本公開的至少一些實現(xiàn)方式安排的用于提供自動聚焦的示例傳感器200的示意圖。如圖2所示,傳感器200可以包括(如經由特寫視圖201所示)穿插在圖像像素傳感器205中的相位自動聚焦像素傳感器對202,為了清楚呈現(xiàn),并未單獨展示所述圖像像素傳感器。例如,傳感器200可以包括任何數(shù)量的圖像像素傳感器205(諸如8兆像素、10兆像素、12兆像素等)和任何數(shù)量的相位自動聚焦像素傳感器對202,諸如,例如30000對、400000對、或500000對等。例如,相位自動聚焦像素傳感器對202可以具有足以提供分辨率的密度以便執(zhí)行在此所討論的技術。圖像像素傳感器205和自動聚焦像素傳感器對202可以包括任何適當?shù)膱D片傳感器(諸如電荷耦合設備)、有源像素傳感器、光電二極管、或將光轉換為電信號的任何其他設備。
此外,如在此所討論的,可以以任何適當?shù)姆绞桨才畔辔蛔詣泳劢瓜袼貍鞲衅鲗?02中的像素對,從而使得它們可以獲得兩張相位自動聚焦圖像。例如,如圖2所示,如相對于相位自動聚焦像素傳感器203和相位自動聚焦像素傳感器204所示的,相位自動聚焦像素傳感器對202可以在對角線方向上被安排并且彼此相鄰。在其他示例中,相位自動聚焦像素傳感器203和相位自動聚焦像素傳感器204可以水平地被安排并且彼此相鄰、或者豎直地被安排并且彼此相鄰。在展示的示例中,相位自動聚焦像素傳感器203、204被示出為基本上彼此接近。在其他示例中,相位自動聚焦像素傳感器203、204可以被分開一定距離,從而使得它們并不彼此接近,并且從而使得一個或多個圖像像素傳感器205處于它們之間。相位自動聚焦像素傳感器對202可以以任何方式(如圖2所示的均勻地)或者以變化模式被安排在傳感器200上。此外,自動聚焦像素傳感器對202可以被分開一定偏移量206。如在此進一步討論的,偏移量206可以與相移相關聯(lián)。相位自動聚焦像素傳感器對202可以單獨記錄光線(如關于圖3進一步討論的),從而使得傳感器對中的一個傳感器可以記錄從光圈的左側進入的光線,并且所述傳感器對中的另一個傳感器可以記錄從光圈的右側進入的光線??梢砸匀魏芜m當?shù)姆绞皆O置這種分離,諸如將額外材料層覆蓋在傳感器200上,所述分離從左或右等阻擋光。此外,為了清楚呈現(xiàn)僅提供在此使用的術語左和右。例如,光線可以如所述的朝向左和右或者頂部和底部或者可以提供相位自動聚焦所需的單獨圖像的任何其他朝向。
單獨記錄左光線和右光線可以提供兩張相位自動聚焦圖像(例如,左圖像和右圖像)。例如,左圖像和右圖像可以基于同一圖像幀和/或圖像。在一些示例中,左圖像和右圖像可以是經由傳感器200的相位自動聚焦像素傳感器203、204獲得的。在一些示例中,沒有單獨和全左和全右圖像或圖像平面可以是可用的,并且相反,可以動態(tài)地對來自傳感器200的像素流(例如,如以下進一步討論的PAF傳感器數(shù)據(jù)407的)進行處理(例如,如以下進一步討論的,圖像處理和自動聚焦模塊401可以一次僅具有幀的一條或兩條線)。類似地,如在此描述的左圖像和右圖像可以包括與左圖像和右圖像相關聯(lián)的數(shù)據(jù)流(無需全圖像在任何時間都完全可用)。如在此所使用的,術語圖像包括完全成形的圖像或圖像平面或部分成形的圖像或圖像平面或表示這類完全或部分成形的圖像或圖像平面的數(shù)據(jù)。
此外,如在此進一步討論的,可以通過相對于彼此(例如,如在此所討論的水平地或豎直地)移位這些圖像來提供相位自動聚焦以便確定聚焦相移(例如,可以對準圖像并且由此提供聚焦的移位)。此外,如在此所討論的,可以生成可靠性值,所述可靠性值與聚焦相移相關聯(lián)。例如,相位自動聚焦像素傳感器對202可以提供特定像素密度的左灰度圖像和右灰度圖像(例如,與偏移量206相關聯(lián)),從而使得可以進行相移以便估計所獲得的相位自動聚焦圖像。此外,如在此進一步討論的,子像素分辨率聚焦相移可以是經由曲線擬合和/或內插獲得的。在一些示例中,傳感器200的相機傳感器區(qū)域可以被劃分為包括框(例如,16x12個框)的網格,其中,每個框覆蓋多個像素的區(qū)域從而使得被覆蓋的像素中的一些像素是相位自動聚焦(PAF)像素。
圖3展示了根據(jù)本公開的至少一些實現(xiàn)方式安排的用于提供自動聚焦的示例強度分布圖。如圖3所示,對象301可以聚焦于兩個鏡頭位置302和303中。此外,如所示的,光線305至308可以從對象301進行反射并穿過光學器件304和光圈309進入到傳感器200上??梢酝ㄟ^傳感器200的相位自動聚焦像素傳感器202單獨對光線305和光線306進行記錄,并且類似地,可以通過傳感器200的相位自動聚焦像素傳感器202單獨對光線307和單獨對光線308(在鏡頭位置等改變之后)進行記錄以便分別生成強度分布圖310至313。雖然在圖3中被展示為一維(1D)信號,但強度分布圖310至313可以是通過傳感器200的區(qū)域提供的二維(2D)信號。如果來自單獨記錄的光線的強度分布圖被對準或接近對準(例如,如果強度分布圖310和311被對準或者如果強度分布圖312和313被對準),則對象301聚焦。在一些示例中,可以基于對傳感器200的2D區(qū)域內的逐個像素對的差異進行估計來判定強度分布圖是否被對準。在圖3中展示的示例中,雖然兩者均不是完美地聚焦,但鏡頭位置303比鏡頭位置302更好地聚焦。此外,鏡頭位置302、303均過于遠離對象301被聚焦。雖然未在圖3中示出,但太接近的鏡頭位置將提供交叉的光線(例如,光線305和光線306將在到達傳感器200之前交叉),并且基于光線是否交叉,可以確定鏡頭位置運動的方向。由此,基于相對于彼此的強度分布圖310至313的峰值與其朝向之間的距離(例如,哪一個在左),可以針對成像設備100確定相位自動聚焦移位和方向。在一些示例中,相位自動聚焦移位可以表征為相位差或相位差信息。例如,相位自動聚焦移位或相位差可以是移位量(例如,在像素中,具有子像素準確性),所述移位量是消除左PAF像素與右PAF像素(或頂部PAF對底部PAF)之間的差異所需要的。
圖4是根據(jù)本公開的至少一些實現(xiàn)方式安排的示例成像設備100的說明性框圖。如圖4所示,成像設備100可以包括傳感器200、圖像處理和自動聚焦模塊401、累積相位差模塊402、曲線擬合模塊403、聚焦相移模塊404、聚焦相移可靠性模塊405、以及聚焦驅動器406。在各示例中,如在此進一步討論的,成像設備100的模塊401至406中的任一個模塊可以經由一個或多個中央處理單元、圖像處理單元、和/或(多個)圖形處理單元被實現(xiàn)。
如圖4所示,圖像處理和自動聚焦模塊401可以從傳感器200獲得相位自動聚焦(PAF)傳感器數(shù)據(jù)407。例如,如在此所討論的,PAF傳感器數(shù)據(jù)407可以經由傳感器200的相位自動聚焦像素傳感器對202被提供。PAF傳感器數(shù)據(jù)407可以包括任何適當?shù)臄?shù)據(jù),諸如指示傳感器強度等的電信號。在一些示例中,PAF傳感器數(shù)據(jù)407可以臨時存儲在成像設備100的存儲器中。如在此所討論的,圖像處理和自動聚焦模塊401可以從傳感器200或存儲器接收PAF傳感器數(shù)據(jù)407,并且可以實時且動態(tài)地生成相位自動聚焦(PAF)圖像408或相位自動聚焦圖像的多個部分。例如,如在此所討論的,PAF圖像408可以包括第一PAF圖像和第二PAF圖像,諸如左PAF圖像和右PAF圖像。在一些示例中,PAF圖像408包括與在相位自動聚焦像素傳感器對202處測量或獲得的強度相關聯(lián)的灰度圖像。如所討論的,在一些示例中,沒有單獨和全左和全右圖像(例如,PAF圖像408)或圖像平面可以是可用的,并且相反,可以動態(tài)地對來自傳感器200的像素流(例如,PAF傳感器數(shù)據(jù)407的)進行處理(例如,圖像處理和自動聚焦模塊401可以一次僅具有幀的一條或兩條線)。類似地,如在此描述的左圖像和右圖像可以包括與左圖像和右圖像相關聯(lián)的數(shù)據(jù)流(無需全圖像在任何時間都完全可用)。例如,如經由圖像信號處理器(ISP)實現(xiàn)的圖像處理和自動聚焦模塊401可以接收PAF傳感器數(shù)據(jù)407并且動態(tài)地提供PAF圖像408(或其多個部分),并且如在此描述的后續(xù)模塊可以動態(tài)地處理數(shù)據(jù),而無需獲得全圖像數(shù)據(jù)等。
此外,圖像處理和自動聚焦模塊401可以生成興趣區(qū)域409(或多個興趣區(qū)域)。圖5展示了根據(jù)本公開的至少一些實現(xiàn)方式安排的包括示例興趣區(qū)域501、502的示例場景500。圖5展示了示例場景500,諸如用戶正在拍照或錄像的場景。如所示的,場景500可以包括興趣區(qū)域501、502,從而使得可以期望成像設備100聚焦在興趣區(qū)域501、502上和/或成像設備100判定興趣區(qū)域501、502是否對應于與成像設備100的不同距離、是否聚焦在興趣區(qū)域或興趣區(qū)域502上(例如,基于興趣區(qū)域中的對象更接近、大于、更接近于場景500的中心等)。興趣區(qū)域501、502可以由成像設備100(例如,經由圖像處理和自動聚焦模塊401或成像設備100的另一模塊)使用任何適當?shù)募夹g或多種技術來確定。例如,可以基于對象檢測或識別技術或人臉檢測技術等來確定興趣區(qū)域501、502。在其他示例中,用戶可以輕擊顯示器107以便指示興趣區(qū)域,或者興趣區(qū)域可以是場景500的默認位置,諸如場景的中心等。雖然利用兩個興趣區(qū)域進行了展示,但可以使用任何數(shù)量的興趣區(qū)域。
返回至圖4,興趣區(qū)域409可以以任何適當?shù)姆绞絹硐薅?多個)興趣區(qū)域,諸如提供興趣區(qū)域的邊界或者興趣區(qū)域的位置和維度等。此外,如所示的,在一些示例中,圖像處理和自動聚焦模塊401可以提供PAF圖像408和興趣區(qū)域409。在其他示例中,圖像處理和自動聚焦模塊401可以僅提供與興趣區(qū)域相關聯(lián)的圖像數(shù)據(jù)。例如,圖像處理和自動聚焦模塊401可以僅針對興趣區(qū)域向累積相位差模塊402提供相位自動聚焦圖像數(shù)據(jù)。圖像處理和自動聚焦模塊401可以向累積相位差模塊402和/或向成像設備100的存儲器提供PAF圖像408和興趣區(qū)域409(或等價信息)。
如所示的,圖像處理和自動聚焦模塊401還可以生成信噪比(SNR)數(shù)據(jù)414。信噪比數(shù)據(jù)414可以包括指示對興趣區(qū)域409中的信噪比的度量的任何適當數(shù)據(jù)。例如,信噪比數(shù)據(jù)414可以包括模擬增益、鏡頭陰影校正(LSC)增益、數(shù)字增益、傳感器上增益、其他增益、或信號電平等。例如,此數(shù)據(jù)經由圖像處理和自動聚焦模塊401的圖像處理模塊或圖像處理流水線等可以是可用的。圖像處理和自動聚焦模塊401可以將信噪比數(shù)據(jù)414傳遞至聚焦相移可靠性模塊405和/或成像設備100的存儲器。
累積相位差模塊402可以從圖像處理和自動聚焦模塊401或存儲器接收PAF圖像408和興趣區(qū)域409(或等價信息),并且累積相位差模塊402可以針對興趣區(qū)域409確定累積相位差值(APDV)410。如在此所使用的,術語差異可以指代彼此鄰近或被配對以用于相移的兩個相位自動聚焦像素(例如,自動聚焦像素對)之間的差異,在所述兩個相位自動聚焦像素中,一個像素是從光圈(例如,在此標記為pafpixL(x,y))的左(或頂部)側接收光,并且另一像素是從光圈(例如,在此標記為pafpixR(x,y))的右(或底部)側接收光。如所討論的,為了表示的清楚起見,使用了左和右,但是可以使用任何相對的或相反側(例如,頂部和底部等)。如所討論的,所述相位自動聚焦像素對可以彼此接近(例如,相鄰或空間上接近)。在一些示例中,所述相位自動聚焦像素對可以在對角線方向上彼此接近(例如,如Gr像素和Gb像素在拜耳方格中彼此接近)。如所討論的,在一些示例中,所述相位自動聚焦像素對在其之間具有一定距離。此外,坐標(例如,如在此提供的(x,y))指代相位自動聚焦像素平面坐標(例如,不包括成像像素)。
累積相位差值410可以包括多個相移中的每個相移的累積相位差值。例如,相移可以使PAF圖像408相對于彼此移位以便找到聚焦相移(例如,在具有與基于興趣區(qū)域501、502等的成像設備100和場景500的最佳聚焦的測量相關聯(lián)的子像素準確性的像素中的相移)。累積相位差值410中的單獨累積相位差值可以通過興趣區(qū)域針對具體移位對多個乘積進行求和來確定。例如,每個乘積可以是兩個值的乘積。第一值可以是左相位自動聚焦圖像的像素的相位自動聚焦值(例如,強度值)與右相位自動聚焦圖像的像素的相位自動聚焦值之間的差,并且第二值可以是閾值確定值。例如,基于對所述左相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述右相位自動聚焦圖像的所述像素的所述相位自動聚焦值的閾值化,所述閾值確定值可以是零或一。例如,如果相位自動聚焦值的最小值和最大值處于最小閾值與最大閾值之間,則閾值確定值可以是一,并且如果相位自動聚焦值中的一個值或兩個值均處于閾值之外,則閾值確定值可以是零。
通過使用這種技術,可以針對多個相移確定累積相移差值。例如,零相移可以不將任何移位應用于左相位自動聚焦圖像和右相位自動聚焦圖像(例如,PAF圖像408),+2相移可以將右PAF圖像向右移位兩次(例如,向右移位兩個像素),-7相移可以將右PAF圖像向左移位七次(例如,向左移位七個像素),依此類推??梢葬槍θ魏螖?shù)量的相移生成任何數(shù)量的累積相位差值410,從而使得后續(xù)的曲線擬合和可靠性值生成可以提供有效結果。在如在此所討論的圖6和圖7的示例圖中,使用11相移(例如,-5到+5)。在其他示例中,可以使用15相移(例如,-7到+7)。在又其他示例中,可以使用5、7或9相移。此外,在一些示例中,相移可以以0相移為中心。在其他示例中,可以實現(xiàn)更左或右相移。在一些示例中,如在此所討論的,相移可以與偏移量206相關聯(lián)。如所討論的,相移可以相差整數(shù)值,諸如1。在其他示例中,相移可以相差浮點值,從而使得PAF圖像(例如,PAF像素平面)的內插可以用于提供子像素準確移位。在一些示例中,內插可以是雙線性內插。
在一些示例中,累積相位差值410可以被標記為pafdiff(j),從而使得針對每個相移j確定累積相位差值,其中,j∈[j最小移位,j最大移位],諸如,例如j∈[-7,+7]。在一些示例中,針對不同類型的相移(例如,左/右、頂部/底部、對角線、和/或在空間上改變曝光(SVE)傳感器的情況下針對多次不同曝光的可選地單獨累積相位差值)可以具有累積相位差值410(例如,pafdiff(j))的多個版本。在以下示例中,討論了左/右移位,然而,所提供的技術可以擴展至其他關系。例如,累積相位差值410(例如,paff(j)))可以被確定為如方程(1)所示:
c低=min(pafpixL(x,y),pafpixR(x+j,y)),
c高=max(pafpixL(x,y),pafpixR(x+j,y)),
其中,(x,y)可以覆蓋ROI內的所有像素坐標,ROI可以是興趣區(qū)域,pafdiff(j)可以是在相移j處的累積相位差值,pafpixL(x,y)可以是在(x,y)處針對左相位自動聚焦圖像的相位自動聚焦值,pafpixR(x+j,y)可以是在(x+j,y)處針對右相位自動聚焦圖像的相位自動聚焦值,bj可以是左相位自動聚焦圖像的像素的相位自動聚焦值與右相位自動聚焦圖像的像素的相位自動聚焦值之差,c低可以是在(x,y)處左相位自動聚焦圖像的相位自動聚焦值和在(x+j,y)處右相位自動聚焦圖像的相位自動聚焦值中的最小值,c高可以是在(x,y)處左相位自動聚焦圖像的相位自動聚焦值和在(x+j,y)處右相位自動聚焦圖像的相位自動聚焦值中的最大值,a可以是閾值確定值,pafdiff閾值_低可以是可以根據(jù)估計的噪音水平或其他類似信息(所述信息指示動態(tài)范圍的最黑端不可靠)而設置的低閾值,并且pafdiff閾值_高可以是可以根據(jù)傳感器飽和、像素浮散、和/或其他因素(所述因素指示動態(tài)范圍的最亮端不可靠)而設置的高閾值。在其他示例中,如果本地鄰域中任何像素的尺寸kx×ky(例如,5×5)超過上限閾值,則可以接收相位像素部件(例如,pafpixL(x,y)和pafpixL(x,y))兩者以避免像素浮散或其他串擾的問題。如所討論的,在一些示例中,根本不使用閾值(例如,移除了計算的a和乘以a)。
如方程(1)所示,可以通過在興趣區(qū)域上對多個乘積進行求和來確定與具體相移相關聯(lián)的累積相位差值,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,所述閾值確定值基于在第一相位自動聚焦圖像的像素的相位自動聚焦值和第二相位自動聚焦圖像的像素的相位自動聚焦值的基礎上的閾值化而為零或一。此外,在零相移處,第一相位自動聚焦圖像的像素和第二相位自動聚焦圖像的像素包括傳感器的像素對。針對其他累積相位差值,第二相位自動聚焦圖像的像素相對于第一相位自動聚焦圖像的像素被移位所述偏移量。
此外,如方程(1)中所示,第一相位自動聚焦圖像的像素的相位自動聚焦值和第二相位自動聚焦圖像的像素的相位自動聚焦值中的最大值和最小值可以與低閾值和高閾值進行比較,并且當?shù)谝幌辔蛔詣泳劢箞D像的像素的相位自動聚焦值和第二相位自動聚焦圖像的像素的相位自動聚焦值中的所述最大值不大于高閾值并且第一相位自動聚焦圖像的像素的相位自動聚焦值和第二相位自動聚焦圖像的像素的相位自動聚焦值的最小值不小于低閾值時,可以將閾值確定值設置為一。否則(例如,當最小值和最大值中的一者或兩者小于和/或大于相關閾值時),可以將閾值確定值設置零。
在其他示例中,可以通過在興趣區(qū)域上對多個乘積進行求和來確定與具體相移相關聯(lián)的累積相位差值,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,所述閾值確定值基于在第一相位自動聚焦圖像的像素的相位自動聚焦值與第二相位自動聚焦圖像的像素的相位自動聚焦值之差的閾值化而為零或一。此外,在零相移處,第一相位自動聚焦圖像的像素和第二相位自動聚焦圖像的像素包括傳感器的像素對。針對其他累積相位差值,第二相位自動聚焦圖像的像素相對于第一相位自動聚焦圖像的像素被移位所述偏移量。在這種示例中,第一相位自動聚焦圖像的像素的相位自動聚焦值與第二相位自動聚焦圖像的像素的相位自動聚焦值之差可以與低閾值和高閾值進行比較,并且當?shù)谝幌辔蛔詣泳劢箞D像的像素的相位自動聚焦值與第二相位自動聚焦圖像的像素的相位自動聚焦值之差處于低閾值與高閾值之間時,可以將閾值確定值設置為一,并且當?shù)谝幌辔蛔詣泳劢箞D像的像素的相位自動聚焦值與第二相位自動聚焦圖像的像素的相位自動聚焦值之差不處于低閾值與高閾值之間時,可以將閾值確定值設置為零。
如所討論的,相移或偏移量j可以是整數(shù)值或者其可以是浮點值,在這種情況下,PAF像素平面的內插(例如,雙線性內插)可以用于使能子像素準確移位或移位。類似地,相移或偏移量j可以是1(如在示例中)或任何其他整數(shù)值。
如關于方程(1)所示的,在一些示例中,一些差值(例如,bj)可以經由閾值化(例如,經由閾值pafdiff閾值_低和pafdiff閾值_高)被拒絕,從而使得閾值確定值a為零。在這種示例中,被拒絕的相位自動聚焦像素對(或者可替代地,當a為一時的接受的相位自動聚焦像素對)可以被統(tǒng)計且針對每個累積相位差值存儲在存儲器中,并且相關累積差值(例如,針對每個ROI的所有pafdiff(j))可以由對其進行計算所使用的相位自動聚焦像素對的數(shù)量來進行歸一化。例如,這種歸一化可以基于被拒絕的像素對來消除累積相位差值410中的潛在偏置。此外,在其他示例中,可以不執(zhí)行閾值化(例如,可以不實現(xiàn)閾值確定值a、以及閾值pafdiff閾值_低和pafdiff閾值_高)。在這種示例中,方程(1)中展示的求和可以對bj值進行求和(例如,從而使得pafdiff(j)=SUMx,y(bj))。在這種示例中,如在此進一步討論的,基于亮度的圍繞像素對的可靠性可以基于原始圖像的低分辨率表示來估計(例如,使用常規(guī)的3A統(tǒng)計網格)并且經由聚焦相移可靠性模塊405被應用于可靠性值。
如圖4所示,累積相位差值410可以從累積兩位差模塊402傳遞至曲線擬合模塊403和/或傳遞至成像設備100的存儲器。曲線擬合模塊403可以從累積兩位差模塊402或存儲器接收累積相位差值410,并且曲線擬合模塊403可以基于累積相位差值410和相關聯(lián)的相移來進行曲線擬合以便生成擬合曲線(FC)411,諸如累積相位差擬合曲線。例如,當曲線被擬合至那些數(shù)據(jù)點時,pafdiff(j)的值j∈[j最小移位,j最大移位]可以形成曲線pafdiff_f(x)。
在一些示例中,擬合曲線411可以通過以下各項來生成:確定所述多個累積相位差值410的全局最小值;將函數(shù)(諸如二次函數(shù))擬合至所述全局最小值、與所述全局最小值的左邊相鄰的累積相位差值移位、以及與所述全局最小值的右邊相鄰的累積相位差值移位;將線性函數(shù)擬合在剩余累計相位差值之間;以及通過對曲線函數(shù)和線性函數(shù)進行組合來生成擬合曲線411。
圖6展示了根據(jù)本公開的至少一些實現(xiàn)方式安排的示例累積相位差值601和示例相移602的示例圖600。如圖6所示,全局最小值603可以被確定為累積相位差值601的最小值。例如,全局最小值603可以被確定為如方程(2)所示:
其中,jg最小可以是全局最小值(例如,與累積相位差值601的全局最小值相關聯(lián)的相移),并且argmin可以提供超過j的patdiff(j)的最小值。
此外,圖6展示了曲線函數(shù)604可以擬合至全局最小值603、累積相位差值605、以及累積相位差值606。如示出的,累積相位差值605可以被移位成與于全局最小值相鄰,從而使得一個相移(例如,-1)遠離全局最小值603,并且累積相位差值606可以被移位成與于全局最小值相鄰,從而使得一個相移(例如,+1)遠離全局最小值603。如示出的,曲線函數(shù)604可以從累積相位差值605延伸至累積相位差值606。在所展示的示例中,曲線函數(shù)延伸通過全局最小值603;然而,在其他示例中,曲線函數(shù)604可以不延伸通過全局最小值603。例如,曲線函數(shù)604可以是擬合至patdiff(jg最小-1)、patdiff(jg最小)和patdiff(jg最小+1)的二次函數(shù)。
同樣如示出的,線性函數(shù)(諸如標注的線性函數(shù)607、609;為了清楚,并未對所有的線性函數(shù)進行標注)可以擬合在累積相位差值605和累積相位差值606與剩余累積相位差值之間。例如,線性函數(shù)607可以擬合在累積相位差值606與累積相位差值608之間,線性函數(shù)609可以擬合在累積相位差值610與累積相位差值611之間。如示出的,可以對曲線函數(shù)604和線性函數(shù)(諸如線性函數(shù)607、609)進行組合以便生成累積相位差值擬合曲線612。雖然關于二次函數(shù)討論了擬合至全局最小值603、累積相位差值605和累積相位差值606的曲線函數(shù)604和其他針對其他累積相位差值的線性函數(shù),但是可以使用其他適當?shù)臄M合函數(shù)。
圖6還展示了聚焦相移613(例如,在具有子像素準確性的像素中測量的被確定為對準相機的焦點的相移)。在一些示例中,聚焦相移613可以被確定為累積相位差值擬合曲線612的最小值。例如,聚焦相移613可以被確定為如方程(3)所示:
其中,pafdiff最小可以是累積相位差值擬合曲線612的最小值,并且argmin可以提供超過x的最小patdiff_f(x),并且如所討論的,patdiff_f(x)可以提供累積相位差值擬合曲線612。在圖6的展示示例中,聚焦相移613可以大約為-0.4個像素。
圖7展示了根據(jù)本公開的至少一些實現(xiàn)方式安排的示例累積相位差值701和示例相移702的示例圖700。如圖7所示,全局最小值703可以被確定為累積相位差值702的最小值。例如,可以如在此所討論的來確定全局最小值703。例如,全局最小值703可以被確定為如以上方程(2)所示。圖6還展示了曲線函數(shù)704可以擬合至全局最小值703、累積相位差值705、和累積相位差值706。如示出的,累積相位差值705可以被移位成與于全局最小值相鄰,從而使得一個相移(例如,-1)遠離全局最小值703,并且累積相位差值706可以被移位成與于全局最小值相鄰,從而使得一個相移(例如,+1)遠離全局最小值603。如示出的,曲線函數(shù)704可以從累積相位差值705延伸至累積相位差值706。如關于曲線函數(shù)604所討論的,曲線函數(shù)704可以是擬合至patdiff(jg最小-1)、patdiff(jg最小)和patdiff(jg最小+1)的二次函數(shù)。
同樣如示出的,線性函數(shù)(未標注)可以擬合在累積相位差值705和累積相位差值706與剩余累積相位差值701之間。例如,線性函數(shù)可以通過使用如關于圖6在此討論的技術而擬合在累積相位差值705和累積相位差值706與剩余累積相位差值701之間。如示出的,可以對曲線函數(shù)704和線性函數(shù)進行組合以便生成累積相位差值擬合曲線707。圖7還展示了聚焦相移708。如關于聚焦相移613所討論的,聚焦相移708可以被確定為累積相位差值擬合曲線707的最小值。例如,聚焦相移708可以被確定為如以上方程(3)所示。在所展示的示例中,聚焦相移708可以大約為+1.05個像素。
返回至圖4,曲線擬合模塊403可以將擬合曲線411(例如,累積相位差值擬合曲線)傳遞至聚焦相移模塊404、聚焦相移可靠性模塊405、和/或成像設備100的存儲器。曲線擬合模塊403可以使用任何適當?shù)募夹g(諸如通過提供與曲線函數(shù)和線性函數(shù)相關聯(lián)的系數(shù))來傳遞411指示實現(xiàn)的函數(shù)類型的數(shù)據(jù)、指示多個移位的數(shù)據(jù)等。聚焦相移模塊404可以從曲線擬合模塊403或存儲器接收擬合曲線411,并且聚焦相移模塊404可以基于擬合曲線411確定聚焦相移(FPS)412。例如,如所討論的,擬合曲線411可以包括擬合至累積相位差值410的一個或多個函數(shù)以及相關聯(lián)的相移(例如,如關于圖6和圖7示出的)。所述函數(shù)可以包括二次函數(shù)和線性函數(shù)等。
如在此所討論的,聚焦相移模塊404可以使用任何適當?shù)募夹g或多種技術(諸如確定擬合曲線411的最小值)來確定聚焦相移412。圖6和圖7展示了擬合曲線的示例最小值(例如,分別為擬合曲線612的聚焦相移613和擬合曲線707的聚焦相移708)。在一些示例中,可以基于以上討論的方程(3)來確定擬合曲線411的聚焦相移412。聚焦相移模塊404可以將聚焦相移412傳遞至圖像處理和自動聚焦模塊401和/或成像設備100的存儲器。
如圖4所示,聚焦相移可靠性模塊405(所述聚焦相移可靠性模塊還可以表征為置信模塊等)可以從曲線擬合模塊403或存儲器接收擬合曲線411,并且聚焦相移可靠性模塊405可以生成可靠性值(RV)413。例如,聚焦相移可靠性模塊405可以通過分析擬合曲線411(例如,源于針對不同的相移量生成累積相位差值并將曲線擬合到那個數(shù)據(jù)上的擬合曲線)來估計或確定聚焦相移412的置信度或可靠性(例如,提供聚焦所估計的相位差信息)。在一些示例中,聚焦相移可靠性模塊405還可以從圖像處理和自動聚焦模塊401或存儲器接收信噪比數(shù)據(jù)414,并且聚焦相移可靠性模塊405可以基于擬合曲線411和信噪比數(shù)據(jù)414生成可靠性值413。同樣,在一些示例中,聚焦相移可靠性模塊405可以生成或接收數(shù)據(jù)或對興趣區(qū)域中圍繞像素對的基于亮度的可靠性的度量。在其他示例中,聚焦相移可靠性模塊405可以僅基于擬合曲線411生成可靠性值413。
聚焦相移可靠性模塊404可以使用任何適當?shù)募夹g或多種技術來確定可靠性值413。在一些示例中,聚焦相移可靠性模塊405可以基于累積相位差值擬合曲線411生成與累積相位差值410的聚焦相移412相關聯(lián)的可靠性值413。在一些示例中,可靠性值413可以通過以下各項生成:確定與累積相位差值擬合曲線411相關聯(lián)的一次或多次測量和與所述測量相關聯(lián)的一個或多個權重;以及基于所述一次或多次測量和所述一個或多個權重來生成可靠性值413。例如,可靠性值413可以通過以下各項生成:確定測量和權重中的每一測量和權重的值,所述值包括一減去所述權重加上權重和測量的乘積;以及在所述多個生成的值上求乘積以便確定可靠性值413。在一些示例中,聚焦相移可靠性模塊405可以確定如方程(4)中示出的可靠性值413:
其中,pafdiff置信度可以是可靠性值,i可以是計數(shù)器變量,n可以是所使用的測量和相關聯(lián)的權重的次數(shù),c可以是權重,并且m可以是測量。例如,權重c可以是將測量m的相對貢獻實現(xiàn)到可靠性值413的[0∶1]范圍中的相對權重。此外,在一些示例中,雖然可以使用任何適當?shù)姆秶?,但是測量m也可以處于[0∶1]的范圍中。在一些示例中,可靠性值413可以處于0與1之間的范圍,從而使得值0指示聚焦相移412完全可靠,并且值1指示聚焦相移412的完全置信度。在一些示例中,權重c可以是預定權重。在一些示例中,權重c可以基于其現(xiàn)有知識對可靠性值的影響而被預先確定。
如所討論的,一次或多次測量以及相關聯(lián)的權重可以用于確定可靠性值413。在實施例中,如以下討論的,可以使用五次測量以及相關聯(lián)的權重。在這種示例中,方程(4)可以被重寫為如方程(5)所示:
pafdiff置信度=((1-c范圍)+c范圍*m范圍)*((1-cDSC)+cDSC*mDSC)*((1-c對稱性)+c對稱性*m對稱性)*((1-cSoP)+cSoP*mSoP)*((1-cSNR)+cSNR*mSNR),
(5)
其中,c范圍可以是與m范圍相關聯(lián)的權重,m范圍可以是對如以下進一步討論的擬合曲線411的動態(tài)范圍的度量,cDSC可以是與mDSC相關聯(lián)的權重,mDSC可以是對如以下進一步討論的擬合曲線411的導數(shù)的符號變化的數(shù)量的度量,c對稱性可以是與m對稱性相關聯(lián)的權重,m對稱性可以是對如以下進一步討論的擬合曲線411的左側與右側之間的對稱性的度量,cSoP可以是與mSoP相關聯(lián)的權重,mSoP可以是對如以下進一步討論的駐留在擬合曲線411的全局最小值處的波谷的銳度測量,cSNR可以是與mSNR相關聯(lián)的權重,并且mSNR可以是對興趣區(qū)域409中的信噪比的度量(例如,基于信噪比數(shù)據(jù)414)。
如所討論的,在一些示例中,擬合曲線411的動態(tài)范圍的度量(以及相關聯(lián)的權重)可以用于確定可靠性值413??梢允褂萌魏芜m當?shù)膭討B(tài)范圍測量。在一些示例中,動態(tài)范圍可以被確定為如方程(6)所示:
pafdiff最大_右=max(pafdiff_f(x)),x∈[jg最小,j最大移位]
pafdiff最大_左=max(pafdiff_f(x)),x∈[j最小移位,jg最小]
其中,m范圍可以是對動態(tài)范圍的度量,K范圍e可以是動態(tài)范圍增益(例如,預定值),pafdiff最大_右可以是擬合曲線411的右側最大值,pafdiff最大_左可以是擬合曲線411的左側最大值,patdiff_f(x)可以是超過x的擬合曲線411,jg最小可以是全局最小值,j最大移位可以是最大移位(例如,向右最遠移位),j最小移位可以是最小移位(例如,向左最遠移位),并且pafdiff最小可以是如以上關于方程(3)討論的擬合曲線411的最小值。如所討論的,K范圍可以是預定的動態(tài)范圍增益。K范圍可以是任何適當?shù)闹?,諸如在2至6的范圍中的值等。在實施例中,K范圍為4。
如所討論的,在一些示例中,擬合曲線411的導數(shù)的符號變化的數(shù)量的度量(以及相關聯(lián)的權重)可以用于確定可靠性值413。例如,具有鋸齒狀或起伏狀的擬合曲線可以提供不可靠聚焦相移,因為不清楚哪個匹配與最佳聚焦相關聯(lián)。任何適當?shù)募夹g或多種技術可以用于測量擬合曲線411的導數(shù)的符號變化的數(shù)量。在一些示例中,可以確定擬合曲線的導數(shù)(例如,d/dx(patdiff_f(x))),并且可以統(tǒng)計導數(shù)的符號變化的數(shù)量。
如所討論的,在一些示例中,擬合曲線411的左側與右側之間的對稱性測量(以及相關聯(lián)的權重)可以用于確定可靠性值413??梢允褂脭M合曲線411的任何適當?shù)膶ΨQ性測量。在一些示例中,對稱性測量可以被確定為如方程(7)所示:
其中,m對稱性可以是對稱性測量,s可以是遠離用于確定對稱性測量的擬合曲線411的最小值的兩側的步數(shù)(例如,通常大約3或4),并且K對稱性可以是對稱性測量的增益。K對稱性可以是任何適當?shù)脑鲆嬷怠@?,K對稱性可以在大約1至2的范圍中。在實施例中,K對稱性為1.33。例如,針對完全對稱的擬合曲線411,m對稱性具有值1,并且當擬合曲線411變得更不對稱時,m對稱性達到0。
如所討論的,在一些示例中,駐留在擬合曲線411的全局最小值處的波谷的銳度測量(以及相關聯(lián)的權重)可以用于確定可靠性值413。例如,基本上V形可以比更平坦的形狀提供對聚焦相移更可靠的估計。可以使用駐留在擬合曲線411的全局最小值處的任何適當?shù)匿J度測量。
在一些示例中,銳度測量可以被確定為如方程(8)所示:
其中,mSoP可以是銳度測量,步長SoP可以是從pafdiff最小的最小位置的相移步,并且KSoP可以是銳度測量的增益。KSoP可以是任何適當?shù)脑鲆嬷?。例如,KSoP可以在大約5至9的范圍中。在實施例中,KSoP為7。例如,銳度和顯著的峰值可以提供銳度測量方式1,并且較淺或平坦的峰值可以提供銳度測量方式0。
此外,在一些示例中,興趣區(qū)域409的信噪比的測量mSNR(以及相關聯(lián)的權重CSNR)可以用于確定可靠性值413。在一些示例中,可以從圖像處理和自動聚焦模塊401接收對興趣區(qū)域409的信噪比的測量。在其他示例中,可以從圖像處理和自動聚焦模塊401接收與興趣區(qū)域409的信噪比相關聯(lián)的原始數(shù)據(jù),并且聚焦相移可靠性模塊405可以確定對興趣區(qū)域409的信噪比的測量。在一些示例中,信噪比可以被歸一化或者提供有增益等,從而使得其處于大約0至1的范圍中。在一些示例中,針對興趣區(qū)域409,信噪比測量可以與模擬增益、鏡頭陰影校正(LSC)增益、數(shù)字增益、傳感器上增益、其他增益、或信號電平等相關聯(lián)。
同樣,如關于方程(1)討論的,在一些示例中,可以不執(zhí)行閾值化(例如,可以不實現(xiàn)閾值確定值a以及閾值pafdiff閾值_低和pafdiff閾值_高),并且上述在方程(1)中示出的求和可以對bj值進行求和(例如,從而使得pafdiff(j)=SUMx,y(bj))。在這種示例中,如在此進一步討論的,基于亮度的圍繞像素對的可靠性可以基于原始圖像的低分辨率表示或版本被估計(例如,使用常規(guī)的3A統(tǒng)計網格)并且經由聚焦相移可靠性模塊405被應用于可靠性值。在一些示例中,聚焦相移可靠性模塊405可以添加附加術語或多個附加術語,諸如與基于亮度的圍繞像素對的區(qū)域的可靠性相關聯(lián)的測量和權重(例如,平均測量等)。例如,測量mrel_亮度和相關聯(lián)的權重C可靠性_亮度可以經由方程(4)被實現(xiàn),從而使得m可靠性_亮度可以是對基于亮度的可靠性的度量(諸如針對興趣區(qū)域或其他測量的基于亮度的平均可靠性),并且C可靠性_亮度可以是相關聯(lián)的權重。在一些示例中,聚焦相移可靠性模塊405可以基于亮度從圖像處理和自動聚焦模塊401接收對可靠性的度量,并且在其他示例中,聚焦相移可靠性模塊405可以基于PAF圖像408等確定基于亮度的可靠性的度量。
權重c可以是對測量m的相對貢獻進行修改的任何適當?shù)闹怠T谝恍┦纠?,權重CDSC(例如,與mDSC相關聯(lián)的權重、對擬合曲線的導數(shù)的符號變化的數(shù)量測量)可以承載最大的權重,權重c范圍(例如,與m范圍相關聯(lián)的權重、對擬合曲線的動態(tài)范圍的度量)可以承載第二最大的權重,并且所述使用的任何其他測量可以承載更少的權重。如所討論的,可以對權重進行修改以改變與權重相關聯(lián)的測量的相對優(yōu)先級。
如所討論的,與擬合至累積相位差值的擬合曲線相關聯(lián)的一次或多次測量可以用于確定與聚焦相移相關聯(lián)的可靠性值。例如,圖6展示了可以提供基本上高的可靠性值的示例累積相位差值擬合曲線612,而圖7展示了可以提供基本上低的可靠性值的示例累積相位差值擬合曲線707。例如,如所示的,與擬合曲線707相比,擬合曲線612可以提供更大的對稱性,擬合曲線612的導數(shù)可以提供比擬合曲線707的導數(shù)更少的符號變化(例如,擬合曲線707的右側可以于若干個點處在正斜率與負斜率之間發(fā)生變化),并且與擬合曲線707相比,擬合曲線612可以提供更大的動態(tài)范圍(例如,針對大約1.05×104的差,擬合曲線612具有大于2.1×104的最大值和大約1.05×104的最小值,并且針對大約0.037×104的差,擬合曲線707具有大約3.486×104的最大值和和大約3.449×104的最小值)。此外,圍繞聚焦相移613的波谷的銳度可以大于圍繞聚焦相移707的波谷的銳度(例如,在此注意圖6與圖7之間的比例差異)。因此,與聚焦相移613相關聯(lián)的所產生的可靠性值可以基本上大于與聚焦相移613相關聯(lián)的所產生的可靠性值。
如所討論的,可以基于擬合曲線來確定與聚焦相移相關聯(lián)的可靠性值。例如,可以生成這一可靠性值,而無需可以是計算密集且潛在慢速的邊緣檢測、方差或類似技術。例如,邊緣檢測、方差、或類似技術可以將平坦的圖像區(qū)域與具有邊緣或紋理信息的區(qū)域分開,并且相位自動聚焦在平坦的圖像區(qū)域中可能被視為不可靠;然而,如所討論的,這種技術對于一些圖像可能是慢速的且不可靠。
返回至圖4,如示出的,圖像處理和自動聚焦模塊401可以分別接收或者從成像設備100的存儲器接收聚焦相移412和可靠性值413聚焦相移模塊404以及聚焦相移可靠性模塊405。圖像處理和自動聚焦模塊401可以基于聚焦相移412和可靠性值413確定自動聚焦(AF)數(shù)據(jù)415。例如,自動聚焦數(shù)據(jù)415可以包括鏡頭位置移位、更新后的鏡頭位置、或用于驅動鏡頭的多個鏡頭電機單元等。在示例中,可以基于聚焦相移經由通過圖像處理和自動聚焦模塊401實現(xiàn)的查找表來確定多個鏡頭電機單元。例如,圖像處理和自動聚焦模塊401可以向聚焦驅動器406提供自動聚焦數(shù)據(jù)415,所述聚焦驅動器可以通過調整成像設備100的鏡頭位置等對成像設備100進行聚焦。
如所討論的,圖像處理和自動聚焦模塊401可以基于聚焦相移412和可靠性值413確定自動聚焦數(shù)據(jù)415。例如,當可靠性值413高時,圖像處理和自動聚焦模塊401可以提供基于或等于聚焦相移412的自動聚焦數(shù)據(jù)415。例如,可靠性值413可以與閾值進行比較,并且基于所述比較,圖像處理和自動聚焦模塊401可以提供基于或等于聚焦相移412的自動聚焦數(shù)據(jù)415。例如,如果可靠性值413大于閾值,則自動聚焦數(shù)據(jù)415可以基于或等于聚焦相移412。閾值可以是任何適當?shù)拈撝?,諸如預先確定的閾值或啟發(fā)式確定的閾值等。在示例中,當可靠性值處于0至1的范圍中時,閾值可以是0.3、0.5、0.6、或0.8等。如果可靠性值413小于閾值(或小于等于閾值),則圖像處理和自動聚焦模塊401可以在基于對比度的自動聚焦的基礎上執(zhí)行自動聚焦。例如,圖像處理和自動聚焦模塊401可以基于經由基于對比度的自動聚焦模塊(未示出)等對基于對比度的自動聚焦的實現(xiàn)來生成自動聚焦數(shù)據(jù)415。
在一些示例中,可以實現(xiàn)場景的多于一個的興趣區(qū)域。在這種示例中,可以生成多個聚焦相移和多個相關聯(lián)的可靠性值。在示例中,可以對不同興趣區(qū)域的可靠性值進行比較,并且圖像處理和自動聚焦模塊401可以確定基于或等于聚焦相移的自動聚焦數(shù)據(jù)415,所述聚焦相移與具有最大可靠性值或閾值之上的可靠性值等相關聯(lián)。在示例中,自動聚焦數(shù)據(jù)415可以是與閾值之上的可靠性值相關聯(lián)的聚焦相移的平均值。
如所討論的,在一些示例中,閾值可以用于經由圖像處理和自動聚焦模塊401來判定是否使用聚焦相移412或基于對比度的自動聚焦等。在其他示例中,多個閾值或元素可以用于做出這種判定。例如,可以基于權重決定等對在此討論的測量分布進行估計以便作出這種判定。此外,在一些示例中,圖像處理和自動聚焦模塊401可以判定是否使用聚焦相移412或基于對比度的自動聚焦。在其他示例中,圖像處理和自動聚焦模塊401可以基于可靠性值413和/或再次討論的測量對聚焦相移412進行修改。例如,如果可靠性值413相對低,則可以減小聚焦相移值412,并且可以從新鏡頭位置再次執(zhí)行所討論的技術。例如,如果可靠性值413相對低,則可以減小一次自動聚焦迭代中鏡頭運動的步長。例如,如果高或相對高的可靠性將會導致使得鏡頭移動X單元,則相對低的可靠性可能導致使得所述鏡頭僅移動X的一部分。
在一些示例中,在此討論的技術可以允許混合的基于相位和對比度的自動聚焦。此外,在此討論的技術可以在成像設備方面提供經改進的圖像質量和經改進的視頻質量。
圖8是展示根據(jù)本公開的至少一些實現(xiàn)方式安排的用于提供自動聚焦的示例過程800的流程圖。如圖8所展示的,過程800可以包括一個或多個操作801-804。過程800可以形成自動聚焦過程的至少一部分。通過非限制性示例,針對如在此所討論的成像設備100,過程800可以形成自動聚焦過程的至少一部分。而且,在此將參考圖9的系統(tǒng)900描述過程800。
圖9是根據(jù)本公開的至少一些實現(xiàn)方式安排的用于提供自動聚焦的示例系統(tǒng)900的示意圖。如圖9所示,系統(tǒng)900可以包括一個或多個中央處理單元(CPU)901、圖形處理單元(GPU)902、以及存儲器存儲設備903。還如所示的,CPU 901可以包括圖像處理和自動聚焦模塊401、累積相位差模塊402、曲線擬合模塊403、聚焦相移模塊404、以及聚焦相移可靠性模塊405。在系統(tǒng)900的示例中,存儲器存儲設備903可以存儲圖像內容(諸如捕獲的圖像(或圖像幀)(例如,圖像或相位自動聚焦圖像)或圖像相關的數(shù)據(jù)(諸如經由成像流水線和/或系統(tǒng)或模塊生成的圖像數(shù)據(jù)(諸如測量和權重)))、聚焦相移、可靠性值、累積相位差興趣區(qū)域、擬合曲線數(shù)據(jù)、信噪比數(shù)據(jù)、或如在此所討論的其他數(shù)據(jù)。
如所示的,在一些示例中,可以經由中央處理單元901來實現(xiàn)圖像處理和自動聚焦模塊401、累積相位差模塊402、曲線擬合模塊403、聚焦相移模塊404、以及聚焦相移可靠性模塊405。在其他示例中,可以經由圖形處理單元902來實現(xiàn)圖像處理和自動聚焦模塊401、累積相位差模塊402、曲線擬合模塊403、聚焦相移模塊404、以及聚焦相移可靠性模塊405中的一項或多項。在其他示例中,可以經由成像流水線和/或圖像信號處理器等來實現(xiàn)圖像處理和自動聚焦模塊401、累積相位差模塊402、曲線擬合模塊403、聚焦相移模塊404、以及聚焦相移可靠性模塊405中的一項或多項。此外,系統(tǒng)800可以包括經由中央處理單元901和/或圖形處理單元902實現(xiàn)的傳感器200、聚焦驅動器406、或如在此所討論的任何其他模塊或設備。
圖像處理單元902可以包括任意數(shù)量和類型的圖像處理單元,這些圖形處理單元可以提供如在此所討論的操作。這些操作可以經由軟件或硬件或其組合來實現(xiàn)。例如,圖形處理單元902可以包括專門用于操縱從存儲器存儲設備903獲得的圖像的電路。如在此所討論的,中央處理單元901可以包括任意數(shù)量和類型的處理單元或模塊,這些處理單元或模塊可以為系統(tǒng)900提供控制以及其他高級別的功能和/或提供任何操作。存儲器存儲設備903可以是任意類型的存儲器,如易失性存儲器(例如,靜態(tài)隨機存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)等)或非易失性存儲器(例如,閃存等)等等。在非限制性示例中,存儲器存儲設備903可以由緩存存儲器實現(xiàn)。在實施例中,可以經由圖形處理單元902的執(zhí)行單元(EU)實現(xiàn)圖像處理和自動聚焦模塊401、累積相位差模塊402、曲線擬合模塊403、聚焦相移模塊404、以及聚焦相移可靠性模塊405(或在此討論的其他模塊)中的一個或多個模塊。EU可以包括例如可編程邏輯或電路,如可以提供廣泛的可編程邏輯功能陣列的一個或多個邏輯核。在實施例中,可以經由專用硬件(如固定功能電路等)實現(xiàn)圖像處理和自動聚焦模塊401、累積相位差模塊402、曲線擬合模塊403、聚焦相移模塊404、以及聚焦相移可靠性模塊405(或在此討論的其他模塊)中的一個或多個模塊。固定功能電路可以包括專用邏輯或電路并且可以提供固定功能入口點的集合,所述集合可以映射到針對固定目的或功能的專用邏輯。
返回至對圖8的討論,過程800可以在操作801(“針對場景的興趣區(qū)域確定與相位自動聚焦圖像的相移相關聯(lián)的累積相位差值”)處開始,其中,針對場景的興趣區(qū)域,可以確定與第一相位自動聚焦圖像和第二相位自動聚焦圖像的多個相移相關聯(lián)的多個累積相位差值。例如,如經由CPU 901或其他電路實現(xiàn)的累積相位差模塊402可以基于相位自動聚焦圖像408(例如,如經由傳感器200獲得的)來確定相關聯(lián)的相移(諸如相移602、702)的累積相位差值410、601、或701。例如,累積相位差值可以基于如在此所討論的方程(1)被確定。
處理可以在操作802(“基于累積相位差值和相移來進行曲線擬合以便生成累積相位差值擬合曲線”)處繼續(xù),其中,可以基于所述多個累積相位差值和所述多個相移來進行曲線擬合以便生成累積相位差值擬合曲線。例如,如經由CPU 901或其他電路實現(xiàn)的曲線擬合模塊403可以基于累積相位差值410、601、或701和相關聯(lián)的相移來進行曲線擬合以便生成累積相位差值擬合曲線411、612、或707。例如,曲線擬合模塊403可以通過以下各項生成擬合曲線:確定累積相位差值的全局最小值;將函數(shù)(諸如二次函數(shù))擬合至所述全局最小值和兩個相鄰的累積相位差值(例如,所述全局最小值的每一側上一個累積相位差值);將線性函數(shù)擬合至剩余累積相位差值;以及基于所述曲線函數(shù)和線性函數(shù)來生成累積相位差值擬合曲線(例如,通過對其進行組合)。
處理可以在操作803(“基于累積相位差值擬合曲線來生成與聚焦相移相關聯(lián)的可靠性值”)處繼續(xù),其中,可以至少部分地基于累積相位差值擬合曲線而生成與所述多個累積相位差值和所述多個相移的聚焦相移相關聯(lián)的可靠性值。例如,如經由CPU 901或其他電路實現(xiàn)的聚焦相移模塊404可以生成聚焦相移(諸如聚焦相移412、613、或708)作為累積相位差值擬合曲線的最小值。此外,例如,如關于以上方程(4)討論的,如經由CPU 901或其他電路實現(xiàn)的聚焦相移可靠性模塊405可以基于可靠性值擬合曲線通過以下各項來生成所述值413:確定與累積相位差值擬合曲線相關聯(lián)的測量以及權重測量;以及確定可靠性值413。例如,所述多次測量可以包括以下各項中的至少一項:對所述累積相位差值擬合曲線的動態(tài)范圍的度量、對所述累積相位差值擬合曲線的符號變化的度量、對所述累積相位差值擬合曲線的對稱性的度量、對圍繞所述多個累積相位差值的全局最小值的波谷的銳度的度量、或者對興趣區(qū)域的信噪比的度量。
處理可以在操作804(“部分地基于可靠性值對成像設備進行聚焦”)處繼續(xù),其中,所述成像設備可以至少部分地基于所述可靠性值提供聚焦。例如,如在此所討論的,圖像設備可以基于聚焦相移和可靠性值提供聚焦。例如,如在此所討論的,如經由CPU 901或其他電路實現(xiàn)的圖像處理和自動聚焦模塊401可以判定是否基于聚焦相移(諸如聚焦相移412、613、或708)而使用相位自動聚焦(例如,當可靠性值413或相關聯(lián)的測量指示高可靠性時)、或者使用基于對比度的自動聚焦(例如,當可靠性值413或相關聯(lián)的測量指示低可靠性時)或其他聚焦技術。如在此所討論的,當成像設備100使用相位自動聚焦時,聚焦可以基于聚焦相移412、613、或708等,從而使得可以基于聚焦相移確定鏡頭位置或運動。在一些示例中,如在此所討論的,系統(tǒng)900可以經由聚焦驅動器406實現(xiàn)由圖像處理和自動聚焦模塊401提供的聚焦數(shù)據(jù)。
可以針對經由成像設備100的用戶實現(xiàn)的任意數(shù)量的曝光串行地或者并行地重復過程800任意次數(shù)。而且,可以在經由成像設備100的用戶實現(xiàn)單次曝光的過程中串行地或者并行地重復過程800任意次數(shù)。例如,在基于過程800提供自動聚焦之后,或者當在此的場景或對象可能已經發(fā)生改變時,成像設備100可以從新鏡頭位置重復過程800以便獲得甚至更好的聚焦。例如,可以基本上連續(xù)執(zhí)行此過程直到用戶已經采取曝光。如所討論的,過程800可以提供與相位自動聚焦移位(例如,聚焦相移、在具有子像素準確性的像素中測量的對準相機的焦點的相移)相關聯(lián)的可靠性值,從而使得針對具有高可靠性值的曝光,可以實現(xiàn)更快速的相位自動聚焦,并且針對具有低可靠性值的曝光,可以使用基于對比度的自動聚焦。這種混合自動聚焦可以為成像設備100的用戶提供經改進的自動聚焦能力。
在此描述的系統(tǒng)的各種組件可以用軟件、固件、和/或硬件和/或其任意組合來實現(xiàn)。例如,成像設備100、系統(tǒng)400、系統(tǒng)1000或設備1100的各組件可以至少部分地由如可以在計算系統(tǒng)(諸如,例如,智能電話)中找到的計算片上系統(tǒng)(SoC)的硬件來提供。本領域技術人員可以認識到,在此描述的系統(tǒng)可以包括尚未在相應附圖中描繪的附加組件。例如,在此討論的系統(tǒng)可以包括為了清楚起見尚未被描繪的附加組件,諸如比特流復用器或解復用器模塊等。
雖然在此討論的示例過程的實現(xiàn)方式可以包括按所展示的順序采取示出的所有操作,但是本公開并不限于這個方面,并且在各個示例中,此處的示例過程的實現(xiàn)方式可以僅包括所示操作的子集、以與所展示的順序不同的順序執(zhí)行的操作、或附加操作。
另外,在此討論的操作中的任何一個或多個操作可以響應于由一個或多個計算機程序產品提供的指令而被采取。這類程序產品可以包括提供指令的信號承載介質,當指令由例如處理器執(zhí)行時可以提供在此描述的功能。計算機程序產品可以以一個或多個機器可讀介質的任何形式被提供。因此,例如,包括一個或多個圖形處理單元或處理器核的處理器可以響應于由一個或多個機器可讀介質傳達給處理器的程序代碼和/或指令或指令集而采取此處的示例過程的塊中的一個或多個塊。通常,機器可讀介質可以以程序代碼和/或指令或指令集的形式傳達軟件,這些程序編碼和指令集可以使在此描述的設備和/或系統(tǒng)中的任意一者實現(xiàn)成像設備100、系統(tǒng)400、系統(tǒng)1000或設備1100的至少多個部分、或者如在此所討論的任何其他模塊或組件。
如在此描述的任何實現(xiàn)方式中所使用的,術語“模塊”指被配置成用于提供在此所描述的功能的軟件邏輯、固件邏輯、硬件邏輯和/或電路的任意組合。軟件可以具體化為軟件包、代碼和/或指令集或指令,并且如在此描述的任何實現(xiàn)方式中所使用的,“硬件”可以例如單獨地或以任何組合包括硬連線電路、可編程電路、狀態(tài)機電路、固定功能電路、執(zhí)行單元電路和/或存儲由可編程電路執(zhí)行的指令的固件。這些模塊可以統(tǒng)一地或單獨地具體化為形成例如,集成電路(IC)、片上系統(tǒng)(SoC)等的較大系統(tǒng)的一部分的電路。
圖10是根據(jù)本公開的至少一些實現(xiàn)方式安排的示例系統(tǒng)1000的示意圖。在各實現(xiàn)方式中,盡管系統(tǒng)1000不限于此上下文,但系統(tǒng)1000可以是媒體系統(tǒng)。例如,系統(tǒng)1000可以并入個人計算機(PC)、膝上計算機、超級膝上計算機、平板機、觸摸板、便攜式計算機、手持式計算機、掌上型計算機、個人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視、智能設備(例如,智能電話、智能平板機或智能電視)、移動互聯(lián)網設備(MID)、消息設備、數(shù)據(jù)通信設備、相機(例如,自動對焦相機、超級變焦相機、數(shù)碼單鏡頭反光(DSLR)相機)等。
在各實現(xiàn)方式中,系統(tǒng)1000包括耦合至顯示器1020的平臺1002。平臺1002可以從內容設備(諸如(多個)內容服務設備1030或(多個)內容傳遞設備1040或者其他類似內容源)接收內容。包括一個或多個導航特征的導航控制器1050可以用于例如與平臺1002和/或顯示器1020進行交互。以下更詳細地描述這些組件中的每一個組件。
在各實現(xiàn)方式中,平臺1002可以包括芯片組1005、處理器1010、存儲器1012、天線1013、存儲設備1014、圖形子系統(tǒng)1015、應用1016和/或無線電1018的任意組合。芯片組1005可以在處理器1010、存儲器1012、存儲設備1014、圖形子系統(tǒng)1015、應用1016和/或無線電1018之中提供相互通信。例如,芯片組1005可以包括能夠提供與存儲設備1014的相互通信的存儲器適配器(未描繪)。
處理器1010可以被實現(xiàn)為復雜指令集計算機(CISC)或精簡指令集計算機(RISC)處理器、x86指令集兼容處理器、多核處理器、或任何其他微處理器或中央處理器單元(CPU)。在各實現(xiàn)方式中,處理器1010可以是(多個)雙核處理器、(多個)雙核移動處理器等。
存儲器1012可以被實現(xiàn)為易失性存儲設備,如但不限于隨機存取存儲器(RAM)、動態(tài)隨機存取存儲器(DRAM)、或靜態(tài)RAM(SRAM)。
存儲設備1014可以被實現(xiàn)為非易失性存儲設備,如但不限于磁盤驅動器、光盤驅動器、磁帶驅動器、內部存儲設備、附屬存儲設備、閃存、電池應急SDRAM(同步DRAM)和/或網絡可接入的存儲設備。在各實現(xiàn)方式中,存儲設備1014可以包括用于當例如包括多個硬盤驅動器時增加對有價值的數(shù)字媒體的存儲性能增強型保護的技術。
圖形子系統(tǒng)1015可以執(zhí)行對諸如用于顯示的靜態(tài)或視頻圖像的處理。例如,圖形子系統(tǒng)1015可以是圖形處理單元(GPU)或視覺處理單元(VPU)。可以使用模擬或數(shù)字接口來通信地耦合圖形子系統(tǒng)1015與顯示器1020。例如,接口可以是高清多媒體接口、顯示端口、無線HDMI、和/或符合無線HD技術中的任何一個接口。圖形子系統(tǒng)1015可以集成到處理器1010或芯片組1005中。在一些實現(xiàn)方式中,圖形子系統(tǒng)1015可以是通信地耦合至芯片組1005的獨立設備。
在此描述的圖形和/或視頻處理技術可以用各種硬件架構實現(xiàn)。例如,圖形和/或視頻功能可以集成到芯片組中??商娲?,可以使用離散圖形和/或視頻處理器。如又另一種實現(xiàn)方式,圖形和/或視頻功能可以由通用處理器(包括多核處理器)來提供。在進一步的實施例中,所述功能可以在消費電子設備中實現(xiàn)。
無線電1018可以包括能夠使用各種適當?shù)臒o線通信技術發(fā)射并接收信號的一個或多個無線電。這類技術可以涉及跨一個或多個無線網絡的通信。示例無線網絡包括(但不限于)無線局域網(WLAN)、無線個人局域網(WPAN)、無線城域網(WMAN)、蜂窩網和衛(wèi)星網。在跨這類網絡進行通信時,無線電1018可以根據(jù)任何版本中的一個或多個可適用標準進行操作。
在各實現(xiàn)方式中,顯示器1020可以包括任何電視機類型的監(jiān)測器或顯示器。顯示器1020可以包括例如,計算機顯示屏、觸摸屏顯示器、視頻監(jiān)視器、類似電視機的設備和/或電視機。顯示器1020可以是數(shù)字的和/或模擬的。在各實現(xiàn)方式中,顯示器1020可以是全息顯示器。同樣,顯示器1020可以是可以接收視覺投影的透明表面。這種投影可以傳達各種形式的信息、圖像和/或對象。例如,這種投影可以是針對移動增強現(xiàn)實(MAR)應用的視覺疊加。在一個或多個軟件應用1016的控制下,平臺1002可以在顯示器1020上顯示用戶界面1022。
在各實現(xiàn)方式中,(多個)內容服務設備1030可以由任何國家的、國際的和/或獨立的服務托管,并因此例如經由互聯(lián)網可接入平臺1002。(多個)內容服務設備1030可以耦合至平臺1002和/或至顯示器1020。平臺1002和/或(多個)內容服務設備1030可以耦合至網絡1060以便將媒體信息傳達至網絡1060或從網絡傳達(例如,發(fā)送和/或接收)。(多個)內容傳遞設備1040也可以耦合至平臺1002和/或至顯示器1020。
在各實現(xiàn)方式中,(多個)內容服務設備1030可以包括有線電視盒、個人計算機、網絡、電話、能夠傳遞數(shù)字信息和/或內容的支持互聯(lián)網的設備或電器、以及能夠在內容提供方與平臺1002和/或顯示器1020之間經由網絡1060或直接地單向或雙向傳達內容的任何其他類似設備。將認識到,內容可以經由網絡1060被單向地和/或雙向地傳達到系統(tǒng)1000中的組件中的任何一個組件和內容提供方且從系統(tǒng)中的組件中的任何一個組件和內容提供方被傳達。內容的示例可以包括任何媒體信息,包括例如視頻、音樂、醫(yī)療和游戲信息等。
(多個)內容服務設備1030可以接收如包括媒體信息、數(shù)字信息和/或其他內容的有線電視節(jié)目的內容。內容提供方的示例可以包括任何有線或衛(wèi)星電視或無線電或互聯(lián)網內容提供方。所提供的示例不旨在以任何方式限制根據(jù)本公開的實現(xiàn)方式。
在各實現(xiàn)方式中,平臺1002可以從具有一個或多個導航特征的導航控制器1050中接收控制信號??刂破?050的導航特征可以用于例如與用戶界面1022進行交互。在各實施例中,導航控制器1050可以是定點設備,所述定點設備可以是允許用戶輸入空間(例如,連續(xù)的和多維的)數(shù)據(jù)到計算機的計算機硬件組件(特別是人機接口設備)。諸如圖形用戶界面(GUI)、和電視機以及監(jiān)視器的許多系統(tǒng)允許用戶使用物理姿勢來控制計算機或電視機并向計算機或電視機提供數(shù)據(jù)。
可以通過指針、光標、聚焦環(huán)或在顯示器上顯示的其他視覺指示器的移動在顯示器(例如,顯示器1020)上復制控制器1050的導航特征的移動。例如,在軟件應用1016的控制下,位于導航控制器1050上的導航特征可以例如被映射至用戶界面1022上顯示的虛擬導航特征。在各實施例中,控制器1050可以不是獨立組件但可以集成在平臺1002和/或顯示器1020內。然而,本公開不限于在此示出或描述的元素或上下文。
在各實現(xiàn)方式中,驅動器(未示出)可以包括使用戶能夠通過例如在初始引導后啟動的按鈕的觸摸立刻打開和關閉類似電視機的平臺1002的技術。即使當平臺被“關閉”時,程序邏輯可以允許平臺1002將內容流入到媒體適配器或一個或多個其他內容服務設備1030或一個或多個內容交付設備1040。此外,芯片組1005可以包括支持例如5.1環(huán)繞聲音頻和/或高清7.1環(huán)繞聲音頻的硬件和/或軟件。驅動器可以包括用于集成圖形平臺的圖形驅動器。在各實施例中,圖形驅動器可以包括外圍組件互連(PCI)快速圖形卡。
在各實現(xiàn)方式中,系統(tǒng)1000中示出的組件中的任何一個或多個組件可以是集成的。例如,平臺1002和(多個)內容服務設備1030可以是集成的,或者平臺1002和(多個)內容傳遞設備1040可以是集成的,或者平臺1002、(多個)內容服務設備1030和(多個)內容傳遞設備1040可以例如是集成的。在各實施例中,平臺1002和顯示器1020可以是集成單元。例如,顯示器1020和(多個)內容服務設備1030可以是集成的,或者顯示器1020和(多個)內容傳遞設備1040可以是集成的。這些示例并不意在限制本公開。
在各實施例中,系統(tǒng)1000可以被實現(xiàn)為無線系統(tǒng)、有線系統(tǒng)、或二者的組合。當被實現(xiàn)為無線系統(tǒng)時,系統(tǒng)1000可以包括適用于時間段、背景噪音、舒適噪音、聲調等的組件和接口。無線共享介質的示例可以包括無線頻譜部分,如RF頻譜等。當被實現(xiàn)為有線系統(tǒng)時,系統(tǒng)1000可以包括適用于通過有線通信介質(如輸入/輸出(I/O)適配器、利用相應有線通信介質連接I/O適配器的物理連接器、網絡接口卡(NIC)、光盤控制器、視頻控制器、音頻控制器等)進行通信的組件和接口。有線通信介質的示例可以包括導線、電纜、金屬引線、印刷電路板(PCB)、背板、交換光纖、半導體材料、雙絞線、同軸電纜、光纖等。
平臺1002可以建立一個或多個邏輯或物理信道以傳達信息。所述信息可以包括媒體信息和控制信息。媒體信息可以指表示針對用戶的內容的任何數(shù)據(jù)。內容的示例可以包括例如,來自語音對話、視頻會議、流媒體視頻、電子郵件(“email”)消息、語音郵件消息、字母數(shù)字符號、圖形、圖像、視頻、文字等的數(shù)據(jù)。來自語音對話的數(shù)據(jù)可以是例如,語音信息、靜默時間段、背景噪音、舒適噪音、聲調等??刂菩畔⒖梢灾副硎踞槍ψ詣踊到y(tǒng)的命令、指令或控制字的任何數(shù)據(jù)。例如,控制信息可以用于通過系統(tǒng)路由媒體信息、或者指示節(jié)點以預定方式處理所述媒體信息。然而,各實施例并不限于圖10中示出或描述的元素或上下文。
如上所述,系統(tǒng)1000可以用變化的物理風格或形成因子來體現(xiàn)。圖11展示了可以用其具體化系統(tǒng)1000的小形成因子設備1100的實現(xiàn)方式。在各實施例中,例如,設備1100可以被實現(xiàn)為具有無線能力的移動計算設備。例如,移動計算設備可以指具有處理系統(tǒng)和移動電源或電源(諸如一個或多個電池)的任何設備。
如上所述,移動計算設備的示例可以包括個人計算機(PC)、膝上計算機、超級膝上計算機、平板計算機、觸摸板、便攜式計算機、手持式計算機、掌上型計算機、個人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視、智能設備(例如,智能電話、智能平板計算機或智能電視)、移動互聯(lián)網設備(MID)、消息設備、數(shù)據(jù)通信設備、相機(例如,自動對焦相機、超級變焦相機、數(shù)碼單鏡頭反光(DSLR)相機)等。
移動計算設備的示例還可以包括被安排以由人穿戴的計算機,諸如手腕計算機、手指計算機、戒指計算機、眼鏡計算機、皮帶夾計算機、臂帶計算機、鞋計算機、服裝計算機、以及其他可穿戴計算機。在各實施例中,例如移動計算設備可以被實現(xiàn)為能夠執(zhí)行計算機應用、以及語音通信和/或數(shù)據(jù)通信的智能電話。舉例來講,盡管一些實施例可以用被實現(xiàn)為智能電話的移動計算設備來描述,但可以理解的是,其他實施例也可以使用其他無線移動計算設備來實現(xiàn)。實施例并不限于本上下文中。
如圖11所示,設備1100可以包括外殼1102、顯示器1104、輸入/輸出(I/O)設備1106、和天線1108。設備1100還可以包括導航特征1112。顯示器1104可以包括適合于移動計算設備的用于顯示信息的任何適當?shù)娘@示單元。I/O設備1106可以包括用于將信息輸入移動計算設備中的任何適當?shù)腎/O設備。I/O設備1106的示例可以包括:字母數(shù)字鍵盤、數(shù)字小鍵盤、觸摸板、輸入鍵、按鈕、開關、搖桿式開關、麥克風、揚聲器、語音識別設備和軟件等。信息也可以通過麥克風(未示出)輸入到設備1100中。這種信息可以由語音識別設備(未示出)數(shù)字化。實施例并不限于本上下文中。
可以使用硬件元件、軟件元件、或兩者的組合來實現(xiàn)各實施例。硬件元件的示例可以包括:處理器、微處理器、電路、電路元件(例如,晶體管、電阻器、電容器、電感器等等)、集成電路、專用集成電路(ASIC)、可編程邏輯器件(PLD)、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、邏輯門、寄存器、半導體器件、芯片、微芯片、芯片組等等。軟件的示例可以包括:軟件組件、程序、應用、計算機程序、應用程序、系統(tǒng)程序、機器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、函數(shù)、方法、過程、軟件接口、應用程序接口(API)、指令集、計算代碼、計算機代碼、代碼段、計算機代碼段、字、值、符號、或其任意組合。判定是否使用硬件元件和/或軟件元件來實現(xiàn)實施例可以根據(jù)任意數(shù)量的因子而變化,如預期的計算速率、功率電平、耐熱性、處理周期預算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度以及其他設計或性能約束。
可以由機器可讀介質上所存儲的表屬性指令實現(xiàn)至少一個實施例的一個或多個方面,所述指令代表處理器內的各種邏輯,當被機器讀取時所述指令使所述機器制作用于執(zhí)行在此所描述的技術的邏輯。此類表示(稱為“IP核”)可以被存儲在有形的機器可讀介質上并提供給各顧客或制造設施以加載至實際制作所述邏輯或處理器的制作機器中。
雖然已經參照各實現(xiàn)方式描述了在此闡述的某些特征,但并不打算在限制性意義上解釋本說明書。因此,本公開涉及的對本領域技術人員而言明顯的對在此描述的實現(xiàn)方式以及其他實現(xiàn)方式的各種修改被視為是在本公開的精神和范圍內。
在一個或多個第一實施例中,一種用于為成像設備提供自動聚焦的方法包括:針對場景的興趣區(qū)域確定與第一相位自動聚焦圖像和第二相位自動聚焦圖像的多個相移相關聯(lián)的多個累積相位差值;基于所述多個累積相位差值和所述多個相移來進行曲線擬合以便生成累積相位差值擬合曲線;至少部分地基于所述累積相位差值擬合曲線來生成與所述多個累積相位差值和所述多個相移的聚焦相移相關聯(lián)的可靠性值;以及至少部分地基于所述可靠性值對所述成像設備進行聚焦。
進一步針對所述第一實施例,所述方法進一步包括經由具有多個相位自動聚焦像素傳感器對的傳感器來獲得所述第一相位自動聚焦圖像和所述第二相位自動聚焦圖像。
進一步針對所述第一實施例,所述方法進一步包括經由具有多個相位自動聚焦像素傳感器對的傳感器來獲得所述第一相位自動聚焦圖像和所述第二相位自動聚焦圖像,其中,所述傳感器包括多個圖像像素傳感器。
進一步針對所述第一實施例,所述方法進一步包括經由具有多個相位自動聚焦像素傳感器對和多個圖像像素傳感器的傳感器來獲得所述第一相位自動聚焦圖像和所述第二相位自動聚焦圖像。
進一步針對所述第一實施例,確定與第一相移相關聯(lián)的第一累積相位差值包括在所述興趣區(qū)域上對多個乘積進行求和,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一。
進一步針對所述第一實施例,確定與第一相移相關聯(lián)的第一累積相位差值包括在所述興趣區(qū)域上對多個乘積進行求和,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一,其中,所述第一相位自動聚焦圖像的所述像素和所述第二相位自動聚焦圖像的所述像素包括與傳感器的相位自動聚焦像素對相關聯(lián)的像素對。
進一步針對所述第一實施例,確定與第一相移相關聯(lián)的第一累積相位差值包括在所述興趣區(qū)域上對多個乘積進行求和,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一,其中,所述第二相位自動聚焦圖像的所述像素相對于所述第一相位自動聚焦圖像的所述像素被移位一定偏移量。
進一步針對所述第一實施例,確定與第一相移相關聯(lián)的第一累積相位差值包括在所述興趣區(qū)域上對多個乘積進行求和,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一,其中,所述第一相位自動聚焦圖像的所述像素和所述第二相位自動聚焦圖像的所述像素包括與傳感器的相位自動聚焦像素對相關聯(lián)的像素對或被移位一定偏移量的像素中的至少一者,從而使得所述第二相位自動聚焦圖像的所述像素相對于所述第一相位自動聚焦圖像的所述像素被移位所述偏移量。
進一步針對所述第一實施例,確定與第一相移相關聯(lián)的第一累積相位差值包括在所述興趣區(qū)域上對多個乘積進行求和,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一,其中,所述閾值化包括:將所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值中的最大值與高閾值進行比較,并且將所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值中的最小值與低閾值進行比較;以及當所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值中的所述最大值不大于所述高閾值并且所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值中的所述最小值不小于所述低閾值時,將所述閾值確定值設置為一,否則,將所述閾值確定值設置為零。
進一步針對所述第一實施例,其中,進行所述曲線擬合包括:確定所述多個累積相位差值的全局最小值;將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線。
進一步針對所述第一實施例,其中,進行所述曲線擬合包括:確定所述多個累積相位差值的全局最小值;將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線,所述方法進一步包括將最終相移確定為所述累積相位差值擬合曲線的最小值。
進一步針對所述第一實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值。
進一步針對所述第一實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,基于所述多個度量和所述多個權重來生成所述可靠性值包括:生成每一多個度量和權重的值,所述值至少包括每個度量與每個權重的乘積;以及在所述多個值上求乘積以便確定所述可靠性值。
進一步針對所述第一實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,所述多個度量包括以下各項中的至少一項:對所述累積相位差值擬合曲線的動態(tài)范圍的度量、對所述累積相位差值擬合曲線的符號變化的度量、對所述累積相位差值擬合曲線的對稱性的度量、或者對圍繞所述多個累積相位差值的全局最小值的波谷的銳度的度量。
進一步針對所述第一實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,所述多個度量進一步包括以下各項中的至少一項:對所述興趣區(qū)域的信噪比的度量、或者對圍繞所述興趣區(qū)域中的像素對的基于可靠性的亮度的度量。
進一步針對所述第一實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,基于所述多個度量和所述多個權重來生成所述可靠性值包括:生成每一多個度量和權重的值,所述值至少包括每個度量與每個權重的乘積;以及在所述多個值上求乘積以便確定所述可靠性值,和/或其中,所述多個度量包括以下各項中的至少一項:對所述累積相位差值擬合曲線的動態(tài)范圍的度量、對所述累積相位差值擬合曲線的符號變化的度量、對所述累積相位差值擬合曲線的對稱性的度量、或者對圍繞所述多個累積相位差值的全局最小值的波谷的銳度的度量,和/或其中,所述多個度量進一步包括以下各項中的至少一項:對所述興趣區(qū)域的信噪比的度量、或者對圍繞所述興趣區(qū)域中的像素對的基于可靠性的亮度的度量。
進一步針對所述第一實施例,至少部分地基于所述可靠性值對所述成像設備進行聚焦包括基于所述可靠性值與閾值的比較使用最終相移來進行自動聚焦。
進一步針對所述第一實施例,至少部分地基于所述可靠性值對所述成像設備進行聚焦包括基于所述可靠性值與閾值的比較使用基于對比度的自動聚焦值來進行自動聚焦。
進一步針對所述第一實施例,至少部分地基于所述可靠性值對所述成像設備進行聚焦包括以下各項中的至少一項:基于使用最終相移來進行自動聚焦或者使用基于對比度的自動聚焦值來進行自動聚焦。
進一步針對所述第一實施例,所述方法進一步包括:生成與所述場景的第二興趣區(qū)域的第二最終相移相關聯(lián)的第二可靠性值,其中,至少部分地基于所述可靠性值對所述成像設備進行聚焦包括:至少部分地基于所述可靠性值大于所述第二可靠性值而使用所述最終相移來對所述成像設備進行聚焦。
在一個或多個第二實施例中,一種用于為成像設備提供自動聚焦的系統(tǒng)包括:被配置成用于存儲圖像數(shù)據(jù)的存儲器以及耦合至所述存儲器的中央處理單元,其中,所述中央處理單元包括:累積相位差電路,所述累積相位差電路被配置成用于針對場景的興趣區(qū)域確定與第一相位自動聚焦圖像和第二相位自動聚焦圖像的多個相移相關聯(lián)的多個累積相位差值;曲線擬合電路,曲線擬合電路,所述曲線擬合電路被配置成用于基于所述多個累積相位差值和所述多個相移來進行曲線擬合以便生成累積相位差值擬合曲線;聚焦相移可靠性電路,所述聚焦相移可靠性電路被配置成用于至少部分地基于所述累積相位差值擬合曲線來生成與所述多個累積相位差值和所述多個相移的聚焦相移相關聯(lián)的可靠性值;以及自動聚焦電路,所述自動聚焦電路被配置成用于至少部分地基于所述可靠性值對所述成像設備進行聚焦。
進一步針對所述第二實施例,所述累積相位差電路被配置成用于確定所述多個累積相位差值包括所述累積相位差電路被配置成用于通過被配置成用于在所述興趣區(qū)域上對多個乘積進行求和來確定與第一相移相關聯(lián)的第一累積相位差值,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一。
進一步針對所述第二實施例,所述曲線擬合電路被配置成用于進行所述曲線擬合包括所述曲線擬合電路被配置成用于:確定所述多個累積相位差值的全局最小值;將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線。
進一步針對所述第二實施例,所述曲線擬合電路被配置成用于進行所述曲線擬合包括所述曲線擬合電路被配置成用于:確定所述多個累積相位差值的全局最小值;將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線,所述系統(tǒng)進一步包括最終相移電路,所述最終相移電路被配置成用于將最終相移確定為所述累積相位差值擬合曲線的最小值。
進一步針對所述第二實施例,所述聚焦相移可靠性電路被配置成用于生成所述可靠性值包括所述聚焦相移可靠性電路被配置成用于:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值。
進一步針對所述第二實施例,所述聚焦相移可靠性電路被配置成用于生成所述可靠性值包括所述聚焦相移可靠性電路被配置成用于:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,所述多個度量包括以下各項中的至少一項:對所述累積相位差值擬合曲線的動態(tài)范圍的度量、對所述累積相位差值擬合曲線的符號變化的度量、對所述累積相位差值擬合曲線的對稱性的度量、或者對圍繞所述多個累積相位差值的全局最小值的波谷的銳度的度量。
進一步針對所述第二實施例,所述聚焦相移可靠性電路被配置成用于生成所述可靠性值包括所述聚焦相移可靠性電路被配置成用于:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,所述多個度量進一步包括以下各項中的至少一項:對所述興趣區(qū)域的信噪比的度量、或者對圍繞所述興趣區(qū)域中的像素對的基于可靠性的亮度的度量。
在一個或多個第三實施例中,一種用于為成像設備提供自動聚焦的系統(tǒng)包括:用于針對場景的興趣區(qū)域確定與第一相位自動聚焦圖像和第二相位自動聚焦圖像的多個相移相關聯(lián)的多個累積相位差值的裝置;用于基于所述多個累積相位差值和所述多個相移來進行曲線擬合以便生成累積相位差值擬合曲線的裝置;用于至少部分地基于所述累積相位差值擬合曲線來生成與所述多個累積相位差值和所述多個相移的聚焦相移相關聯(lián)的可靠性值的裝置;以及用于至少部分地基于所述可靠性值對所述成像設備進行聚焦的裝置。
進一步針對所述第三實施例,所述用于確定所述多個累積相位差值的裝置包括用于通過在所述興趣區(qū)域上對多個乘積進行求和來確定與第一相移相關聯(lián)的第一累積相位差值的裝置,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一。
進一步針對所述第三實施例,所述用于進行所述曲線擬合的裝置包括:用于確定所述多個累積相位差值的全局最小值的裝置;用于將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值的裝置,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;用于將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值的裝置,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及用于基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線的裝置。
進一步針對所述第三實施例,所述用于進行所述曲線擬合的裝置包括:用于確定所述多個累積相位差值的全局最小值的裝置;用于將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值的裝置,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;用于將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值的裝置,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及用于基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線的裝置,所述系統(tǒng)進一步包括:用于將最終相移確定為所述累積相位差值擬合曲線的最小值的裝置。
進一步針對所述第三實施例,所述用于生成所述可靠性值的裝置包括:用于確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重的裝置;以及用于基于所述多個度量和所述多個權重來生成所述可靠性值的裝置。
進一步針對所述第三實施例,所述用于生成所述可靠性值的裝置包括:用于確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重的裝置;以及用于基于所述多個度量和所述多個權重來生成所述可靠性值的裝置,其中,所述多個度量包括以下各項中的至少一項:對所述累積相位差值擬合曲線的動態(tài)范圍的度量、對所述累積相位差值擬合曲線的符號變化的度量、對所述累積相位差值擬合曲線的對稱性的度量、或者對圍繞所述多個累積相位差值的全局最小值的波谷的銳度的度量。
進一步針對所述第三實施例,所述用于生成所述可靠性值的裝置包括:用于確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重的裝置;以及用于基于所述多個度量和所述多個權重來生成所述可靠性值的裝置,其中,所述多個度量進一步包括以下各項中的至少一項:對所述興趣區(qū)域的信噪比的度量、或者對圍繞所述興趣區(qū)域中的像素對的基于可靠性的亮度的度量。
在一個或多個第四實施例中,至少一種機器可讀介質包括多條指令,所述指令響應于在成像設備上被執(zhí)行而使所述成像設備通過以下各項提供自動聚焦:針對場景的興趣區(qū)域確定與第一相位自動聚焦圖像和第二相位自動聚焦圖像的多個相移相關聯(lián)的多個累積相位差值;基于所述多個累積相位差值和所述多個相移來進行曲線擬合以便生成累積相位差值擬合曲線;至少部分地基于所述累積相位差值擬合曲線來生成與所述多個累積相位差值和所述多個相移的聚焦相移相關聯(lián)的可靠性值;以及至少部分地基于所述可靠性值對所述成像設備進行聚焦。
進一步針對所述第四實施例,確定與第一相移相關聯(lián)的第一累積相位差值包括在所述興趣區(qū)域上對多個乘積進行求和,每個乘積包括所述第一相位自動聚焦圖像的像素的相位自動聚焦值與所述第二相位自動聚焦圖像的像素的相位自動聚焦值之差與閾值確定值的乘積,其中,所述閾值確定值基于在所述第一相位自動聚焦圖像的所述像素的所述相位自動聚焦值和所述第二相位自動聚焦圖像的所述像素的所述相位自動聚焦值的基礎上的閾值化而包括零或一。
進一步針對所述第四實施例,進行所述曲線擬合包括:確定所述多個累積相位差值的全局最小值;將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線。
進一步針對所述第四實施例,進行所述曲線擬合包括:確定所述多個累積相位差值的全局最小值;將二次函數(shù)擬合至所述多個累積相位差值的所述全局最小值、第一累積相位差值和第二累積相位差值,其中,所述第一和第二累積相位差值各自被移位成與所述全局最小值相鄰;將線性函數(shù)擬合至所述多個累積相位差值中的剩余累積相位差值,每個線性函數(shù)包括在所述剩余累積相位差中的移位相鄰累積相位差值之間的線;以及基于所述二次函數(shù)和所述線性函數(shù)來生成所述累積相位差值擬合曲線,所述機器可讀介質進一步包括多條指令,所述指令使所述成像設備通過將最終相移確定為所述累積相位差值擬合曲線的最小值來提供自動聚焦。
進一步針對所述第四實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值。
進一步針對所述第四實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,基于所述多個度量和所述多個權重來生成所述可靠性值包括:生成每一多個度量和權重的值,所述值至少包括每個度量與每個權重的乘積;以及在所述多個值上求乘積以便確定所述可靠性值。
進一步針對所述第四實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,所述多個度量包括以下各項中的至少一項:對所述累積相位差值擬合曲線的動態(tài)范圍的度量、對所述累積相位差值擬合曲線的符號變化的度量、對所述累積相位差值擬合曲線的對稱性的度量、或者對圍繞所述多個累積相位差值的全局最小值的波谷的銳度的度量。
進一步針對所述第四實施例,生成所述可靠性值包括:確定與所述累積相位差值擬合曲線相關聯(lián)的多個度量以及與所述多個度量相關聯(lián)的多個權重;以及基于所述多個度量和所述多個權重來生成所述可靠性值,其中,所述多個度量進一步包括以下各項中的至少一項:對所述興趣區(qū)域的信噪比的度量、或者對圍繞所述興趣區(qū)域中的像素對的基于可靠性的亮度的度量。
在一個或多個第五實施例中,至少一種機器可讀介質可以包括多條指令,所述指令響應于在計算設備上被執(zhí)行而使所述計算設備執(zhí)行根據(jù)以上實施例中的任一個實施例的方法。
在一個或多個第六實施例中,一種裝置可以包括:用于執(zhí)行根據(jù)以上實施例中的任一個實施例的方法的裝置。
將認識到,這些實施例并不限于如此描述的這些實施例,而是可在不背離所附權利要求書的范圍的情況下通過修改和變更來實踐。例如,以上實施例可以包括特征的特定組合。然而,以上實施例并不限于這個方面,并且在各實現(xiàn)方式中,以上實施例可以包括僅采取這類特征的子集、采取這類特征的不同順序、采取這類特征的不同組合、和/或采取除了明確例舉的那些特征之外的附加特征。因此,這些實施例的范圍應當參考所附權利要求書、連同這樣的權利要求書有權獲得的等效物的全部范圍來確定。