圖像處理裝置和具有該圖像處理裝置的移動(dòng)計(jì)算裝置的制造方法
【專利說明】圖像處理裝置和具有該圖像處理裝置的移動(dòng)計(jì)算裝置
[0001]本申請(qǐng)要求于2014年4月28日提交的第61/985，019號(hào)美國(guó)臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)和2015年2月12日提交的第10-2015-0021547號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，所述專利申請(qǐng)中的每件的全部?jī)?nèi)容通過引用包含于此。
技術(shù)領(lǐng)域
[0002]本發(fā)明構(gòu)思的實(shí)施例涉及一種圖像處理裝置，尤其涉及一種能夠把從全PAF像素陣列輸出的數(shù)據(jù)中提取的顏色數(shù)據(jù)和深度數(shù)據(jù)以并行方式和/或串行方式輸出的圖像處理裝置和一種包括該圖像處理裝置的移動(dòng)計(jì)算裝置。
【背景技術(shù)】
[0003]PAF代表相位檢測(cè)自動(dòng)對(duì)焦或相位差自動(dòng)對(duì)焦。在攝影領(lǐng)域中，動(dòng)態(tài)范圍是最大可測(cè)量光強(qiáng)度與最小可測(cè)量光強(qiáng)度之間的范圍。光強(qiáng)度的變化程度取決于用作圖像捕獲裝置的裝置，其中，該圖像捕獲裝置決定圖像傳感器的動(dòng)態(tài)范圍方面的總體性能。
[0004]寬動(dòng)態(tài)范圍(WDR)也稱作高動(dòng)態(tài)范圍(HDR)。WDR技術(shù)通過以數(shù)字方式對(duì)每個(gè)像素應(yīng)用多次曝光，物理地提高了像素性能或者增大了圖像傳感器的動(dòng)態(tài)范圍。
[0005]理想的WDR傳感器是滿阱容量(FWC)高的傳感器。FWC定義為入射信號(hào)在讀出期間所能容納而不飽和的最大電子數(shù)。隨著FWC增大，圖像傳感器的動(dòng)態(tài)范圍增大。
[0006]在數(shù)字信號(hào)透鏡反射(DSLR)相機(jī)中，相機(jī)傳感器包括能夠直接檢測(cè)相位差的像素，以減少被相位差自動(dòng)對(duì)焦模塊占據(jù)的空間。因此，DSLR相機(jī)可以執(zhí)行自動(dòng)對(duì)焦。這種技術(shù)被應(yīng)用到無反射鏡DSLR。
[0007]相關(guān)技術(shù)的相位差檢測(cè)像素采用金屬等遮蔽光電二極管的一部分，并僅檢測(cè)入射到光電二極管的未遮蔽部分上的光。在相關(guān)技術(shù)中，使用遮蔽部分和未遮蔽部分(即，兩個(gè)像素)來檢測(cè)相位差的方法具有以下問題:彩色圖像的圖像質(zhì)量由于不規(guī)則地工作的兩個(gè)像素而劣化。

【發(fā)明內(nèi)容】

[0008]在示例實(shí)施例中，一種圖像處理裝置包括:像素陣列，包括二維布置的像素并被配置成捕獲圖像，所述像素中的每個(gè)像素包括多個(gè)光電轉(zhuǎn)換元件；以及圖像數(shù)據(jù)處理電路，被配置成由從所述像素輸出的像素信號(hào)來產(chǎn)生圖像數(shù)據(jù)。所述圖像處理裝置還包括:顏色數(shù)據(jù)處理電路，被配置成從所述圖像數(shù)據(jù)提取顏色數(shù)據(jù)并輸出提取的顏色數(shù)據(jù)。所述圖像處理裝置還包括:深度數(shù)據(jù)提取電路，被配置成從所述圖像數(shù)據(jù)提取深度數(shù)據(jù)并輸出提取的深度數(shù)據(jù)。所述圖像處理裝置還包括:輸出控制電路，被配置成控制所述顏色數(shù)據(jù)和所述深度數(shù)據(jù)的輸出。
[0009]在一個(gè)示例實(shí)施例中，所述圖像處理裝置被實(shí)現(xiàn)在一個(gè)CMOS圖像傳感器芯片中。
[0010]在一個(gè)示例實(shí)施例中，所述像素陣列和所述圖像數(shù)據(jù)處理電路被集成到第一芯片中，所述顏色數(shù)據(jù)處理電路、所述深度數(shù)據(jù)提取電路和所述輸出控制電路被集成到第二芯片中。
[0011 ] 在一個(gè)示例實(shí)施例中，所述圖像處理裝置還包括:應(yīng)用處理器，被配置成控制所述顏色數(shù)據(jù)處理電路、所述深度數(shù)據(jù)提取電路和所述輸出控制電路的操作。
[0012]在一個(gè)示例實(shí)施例中，所述圖像數(shù)據(jù)包括長(zhǎng)曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)。
[0013]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成以并行方式基于線來輸出顏色數(shù)據(jù)和深度數(shù)據(jù)。
[0014]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成確定顏色數(shù)據(jù)和深度數(shù)據(jù)的輸出順序。
[0015]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成以串行方式輸出顏色數(shù)據(jù)和深度數(shù)據(jù)。
[0016]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成在一個(gè)水平時(shí)間段期間以串行方式輸出大小彼此不同的顏色數(shù)據(jù)和深度數(shù)據(jù)。
[0017]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成以串行方式輸出對(duì)應(yīng)于第一線數(shù)的顏色數(shù)據(jù)和對(duì)應(yīng)于第二線數(shù)的深度數(shù)據(jù)，所述第一線數(shù)和所述第二線數(shù)中的每個(gè)為自然數(shù)，所述第一線數(shù)等于或大于所述第二線數(shù)。
[0018]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成以串行方式輸出對(duì)應(yīng)于第一像素?cái)?shù)的顏色數(shù)據(jù)和對(duì)應(yīng)于第二像素?cái)?shù)的深度數(shù)據(jù)，所述第一像素?cái)?shù)和所述第二像素?cái)?shù)中的每個(gè)為自然數(shù)，所述第一像素?cái)?shù)等于或大于所述第二像素?cái)?shù)。
[0019]在示例實(shí)施例中，所述移動(dòng)計(jì)算裝置包括被配置成產(chǎn)生圖像數(shù)據(jù)的圖像傳感器，所述圖像傳感器包括:像素陣列，包括二維布置的像素并被構(gòu)造成捕獲圖像，所述像素中的每個(gè)像素包括多個(gè)光電轉(zhuǎn)換元件；以及圖像數(shù)據(jù)處理電路，被配置成由從所述像素輸出的像素信號(hào)產(chǎn)生圖像數(shù)據(jù)。所述移動(dòng)計(jì)算裝置還包括被配置成處理所述圖像數(shù)據(jù)的處理電路，所述處理電路包括被配置成從所述圖像數(shù)據(jù)提取顏色數(shù)據(jù)并輸出提取的顏色數(shù)據(jù)的顏色數(shù)據(jù)處理電路。所述處理電路還包括被配置成從所述圖像數(shù)據(jù)提取深度數(shù)據(jù)并輸出提取的深度數(shù)據(jù)的深度數(shù)據(jù)提取電路。所述處理電路還包括被配置成控制所述顏色數(shù)據(jù)和所述深度數(shù)據(jù)的輸出的輸出控制電路。
[0020]在一個(gè)示例實(shí)施例中，所述圖像數(shù)據(jù)包括長(zhǎng)曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)，所述長(zhǎng)曝光圖像數(shù)據(jù)與從包括在所述多個(gè)像素中的每個(gè)像素中的第一光電轉(zhuǎn)換元件輸出的第一像素信號(hào)對(duì)應(yīng)，所述短曝光圖像數(shù)據(jù)與從包括在所述多個(gè)像素中的每個(gè)像素中的第二光電轉(zhuǎn)換元件輸出的第二像素信號(hào)對(duì)應(yīng)。
[0021]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成以并行方式基于線來輸出顏色數(shù)據(jù)和深度數(shù)據(jù)。
[0022]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成確定顏色數(shù)據(jù)和深度數(shù)據(jù)的輸出順序。
[0023]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成以串行方式輸出顏色數(shù)據(jù)和深度數(shù)據(jù)。
[0024]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成在一個(gè)水平時(shí)間期間以串行方式輸出大小不同的顏色數(shù)據(jù)和深度數(shù)據(jù)。
[0025]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成以串行方式輸出對(duì)應(yīng)于第一線數(shù)的顏色數(shù)據(jù)和對(duì)應(yīng)于第二線數(shù)的深度數(shù)據(jù)，所述第一線數(shù)和所述第二線數(shù)中的每個(gè)為自然數(shù)，所述第一線數(shù)等于或大于所述第二線數(shù)。
[0026]在一個(gè)示例實(shí)施例中，所述輸出控制電路被配置成輸出對(duì)應(yīng)于第一像素?cái)?shù)的顏色數(shù)據(jù)和對(duì)應(yīng)于第二像素?cái)?shù)的深度數(shù)據(jù)，所述第一像素?cái)?shù)和所述第二像素?cái)?shù)中的每個(gè)為自然數(shù)，所述第一像素?cái)?shù)等于或大于所述第二像素?cái)?shù)。
[0027]在一個(gè)示例實(shí)施例中，所述移動(dòng)計(jì)算裝置還包括應(yīng)用處理器，所述應(yīng)用處理器具有被配置成處理從輸出控制電路輸出的顏色數(shù)據(jù)和深度數(shù)據(jù)的另一個(gè)處理電路，并且所述另一個(gè)處理電路集成在圖像傳感器和應(yīng)用處理器中的至少一個(gè)中。
[0028]在示例實(shí)施例中，一種圖像處理裝置包括:存儲(chǔ)器，被配置成存儲(chǔ)計(jì)算機(jī)可讀指令；以及處理器，被配置成執(zhí)行所述計(jì)算機(jī)可讀指令，從而由與具有多個(gè)光電轉(zhuǎn)換元件的像素陣列的像素關(guān)聯(lián)的像素信號(hào)產(chǎn)生圖像數(shù)據(jù)，從所述圖像數(shù)據(jù)提取顏色數(shù)據(jù)和深度數(shù)據(jù)，并且輸出所述顏色數(shù)據(jù)和所述深度數(shù)據(jù)。
[0029]在一個(gè)示例實(shí)施例中，所述像素陣列為相位差自動(dòng)對(duì)焦像素陣列。
[0030]在一個(gè)示例實(shí)施例中，所述圖像數(shù)據(jù)包括長(zhǎng)曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)，相比于與所述短曝光圖像數(shù)據(jù)關(guān)聯(lián)的像素信號(hào)，所述長(zhǎng)曝光圖像數(shù)據(jù)對(duì)應(yīng)于與曝光時(shí)間較長(zhǎng)的像素關(guān)聯(lián)的像素信號(hào)。
[0031 ] 在一個(gè)示例實(shí)施例中，所述多個(gè)光電轉(zhuǎn)換元件中的至少一個(gè)第一光電轉(zhuǎn)換元件被構(gòu)造成產(chǎn)生長(zhǎng)曝光圖像數(shù)據(jù)，并且所述多個(gè)光電轉(zhuǎn)換元件中的至少一個(gè)第二光電轉(zhuǎn)換元件被構(gòu)造成產(chǎn)生短曝光圖像數(shù)據(jù)。
[0032]在一個(gè)示例實(shí)施例中，所述處理器還被配置成在利用長(zhǎng)曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)提取顏色數(shù)據(jù)之前，對(duì)圖像數(shù)據(jù)進(jìn)行處理，所述處理包括降噪處理、邊緣銳化處理、顏色校正處理和伽瑪處理中的至少一種。
[0033]在一個(gè)示例實(shí)施例中，所述處理器還被配置成在利用長(zhǎng)曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)提取深度數(shù)據(jù)之前處理圖像數(shù)據(jù)。
[0034]在一個(gè)示例實(shí)施例中，所述處理器還被配置成通過提取每對(duì)長(zhǎng)曝光圖像數(shù)據(jù)和短曝光圖像數(shù)據(jù)之間的差值數(shù)據(jù)來處理所述圖像數(shù)據(jù)。
【附圖說明】
[0035]本發(fā)明構(gòu)思的這些和/或其他方面及優(yōu)點(diǎn)將根據(jù)下面結(jié)合附圖對(duì)實(shí)施例的描述而變得明了和更易于理解，在附圖中:
[0036]圖1示出根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的包括多個(gè)像素的圖像傳感器的像素陣列。
[0037]圖2示出根據(jù)示例實(shí)施例的在圖1中示出的像素陣列的一部分。
[0038]圖3示出根據(jù)示例實(shí)施例的在圖1中示出的像素陣列的一部分。
[0039]圖4示出根據(jù)示例實(shí)施例的在圖1中示出的像素陣列的一部分。
[0040]圖5示出根據(jù)示例實(shí)施例的在圖1中示出的像素陣列的一部分。
[0041]圖6示出根據(jù)示例實(shí)施例的在圖1中示出的像素陣列的一部分。
[0042]圖7示出根據(jù)示例實(shí)施例的包括兩個(gè)光電二極管的像素的剖視圖。
[0043]圖8示出根據(jù)示例實(shí)施例的包括四個(gè)光電二極管的像素的剖視圖。
[0044]圖9示出根據(jù)示例實(shí)施例的包括兩個(gè)光電二極管的像素(例如，PAF像素)的電路圖。
[0045]圖10是根據(jù)示例實(shí)施例描述在圖9中示出的像素的操作的時(shí)序圖。
[0046]圖11示出根據(jù)示例實(shí)施例的包括四個(gè)光電二極管的像素(例如，PAF像素)的電路圖。
[0047]圖12是根據(jù)示例實(shí)施例描述在圖11中示出的像素的操作的時(shí)序圖。
[0048]圖13是根據(jù)另一示例實(shí)施例描述在圖11中示出的像素的操作的時(shí)序圖。
[0049]圖14是根據(jù)示例實(shí)施例的包括圖1的像素陣列的圖像傳感器的框圖。
[0050]圖15是根據(jù)示例實(shí)施例的包括圖1的像素陣列的圖像傳感器的另一框圖。
[0051]圖16是根據(jù)包括圖1中示出的像素陣列的數(shù)據(jù)處理系統(tǒng)的一個(gè)示例實(shí)施例的框圖。
[0052]圖17是根據(jù)示例實(shí)施例的圖16的圖像信號(hào)處理器(ISP)的示意性框圖。
[0053]圖18A和圖18B示出根據(jù)示例實(shí)施例的在圖16中示出的CMOS圖像傳感器中一個(gè)掃描場(chǎng)期間的曝光時(shí)間和積累曝光量。
[0054]圖19示出根據(jù)示例實(shí)施例的長(zhǎng)曝光圖像信號(hào)的輸入/輸出亮度特性和短曝光圖像信號(hào)的輸入/輸出亮度特性以描述長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)的組合處理。
[0055]圖20是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的數(shù)據(jù)處理裝置的框圖。
[0056]圖21是根據(jù)示例實(shí)施例的描述根據(jù)像素的位置的差值的概念圖。
[0057]圖22至圖27是根據(jù)示例實(shí)施例的從圖20中示出的處理電路輸出顏色數(shù)據(jù)和深度數(shù)據(jù)的時(shí)序圖。
[0058]圖28是示出包括在圖20中示出的處理電路的數(shù)據(jù)處理裝置的示例實(shí)施例的框圖。
[0059]圖29是示出包括在圖20中示出的處理電路的數(shù)據(jù)處理裝置的示例實(shí)施例的框圖。
[0060]圖30是示出