圖像傳感器芯片、操作方法和包括圖像傳感器芯片的系統(tǒng)的制作方法
【專利摘要】提供了一種圖像傳感器芯片、操作方法和包括圖像傳感器芯片的系統(tǒng),所述圖像傳感器芯片包括彩色傳感器像素和用于感測對象的運動的動態(tài)視覺傳感器(DVS)像素。所述方法包括:根據(jù)模式選擇信號激活彩色傳感器像素和DVS像素中的一個,并且處理從所激活的像素輸出的像素信號。
【專利說明】圖像傳感器芯片、操作方法和包括圖像傳感器芯片的系統(tǒng)
[0001]本申請要求于2012年7月3日提交到韓國知識產(chǎn)權(quán)局的第10-2012-0072462號韓國專利申請的優(yōu)先權(quán),該申請的全部公開通過引用合并于此。
【技術(shù)領(lǐng)域】
[0002]示例性實施例涉及一種圖像傳感器芯片。更具體地,示例性實施例涉及一種基于從圖像傳感器芯片中的彩色傳感器像素和運動傳感器像素中的一個輸出的像素信號來獲取圖像數(shù)據(jù)的方法以及使用所述方法的系統(tǒng)。
【背景技術(shù)】
[0003]互補金屬氧化物半導體(CMOS)圖像傳感器是一種使用CMOS的感測裝置。CMOS圖像傳感器比電荷耦合器件(CCD)圖像傳感器便宜,且比CCD圖像傳感器消耗的功率低。CMOS圖像傳感器比CCD圖像傳感器消耗的功率低是因為CMOS圖像傳感器包括比CCD圖像傳感器小的元件。此外,隨著CMOS圖像傳感器的性能的提高,將CMOS圖像傳感器用于包括便攜式裝置的電器,其中,所述便攜式裝置即智能電話和數(shù)碼相機。
[0004]然而,移動環(huán)境下的CMOS圖像傳感器要求最小功耗。因為在功耗和性能之間存在折衷關(guān)系,所以期望在仍保持CMOS圖像傳感器的性能的同時使功耗最小化。
【發(fā)明內(nèi)容】
[0005]根據(jù)示例性實施例的一方面,提供了一種操作包括彩色傳感器像素和用于感測對象的運動的動態(tài)視覺傳感器(DVS)像素的圖像傳感器芯片的方法。所述方法包括:根據(jù)模式選擇信號激活彩色傳感器像素和DVS像素中的一個,并且處理從所激活的像素輸出的像
素信號。
[0006]所述方法還可包括:在激活彩色傳感器像素和DVS像素中的一個之前,默認激活DVS像素,并且基于從默認激活的DVS像素輸出的像素信號來改變模式選擇信號的電平。
[0007]根據(jù)另一示例性實施例的一方面,提供了一種操作包括彩色傳感器像素和用于感測對象的運動的DVS像素的圖像傳感器芯片的方法。所述方法包括:激活DVS像素,根據(jù)模式選擇信號來確定是否激活彩色傳感器像素,并且基于確定結(jié)果和模式選擇信號來處理從DVS像素和彩色傳感器像素中的一個輸出的像素信號。
[0008]根據(jù)另一示例性實施例的一方面,提供了一種圖像傳感器芯片,包括:像素陣列,包括彩色傳感器像素組和DVS像素組,其中,彩色傳感器像素組包括多個彩色傳感器像素,DVS像素組包括用于感測對象的運動的多個DVS像素;控制電路,配置為根據(jù)模式選擇信號來激活彩色傳感器像素組和DVS像素組中的一個;和像素信號處理電路,配置為處理從所激活的像素組輸出的像素信號。
[0009]圖像傳感器芯片還可包括:運動傳感器像素激活控制器,配置為根據(jù)控制電路的控制來控制供給DVS像素組的功率。
[0010]像素信號處理電路可包括:行地址事件表示(AER),配置為處理由各個DVS像素生成的多個事件信號中的至少一個;和列AER,配置為處理由各個DVS像素生成的多個事件信號中的至少另一個。行AER可布置在像素陣列的一側(cè),用于激活每個彩色傳感器像素的行驅(qū)動器可布置在像素陣列的另一側(cè),并且行AER與行驅(qū)動器彼此面對。
[0011]可選地,像素信號處理電路可包括:行AER,配置為處理由各個DVS像素生成的多個事件信號中的至少一個;和列AER,配置為處理由各個DVS像素生成的多個事件信號中的至少另一個。行AER可與用于激活每個彩色傳感器像素的行驅(qū)動器布置在像素陣列的同一側(cè)。
[0012]根據(jù)另一示例性實施例的一方面,提供了一種片上系統(tǒng)(SoC),包括:上述圖像傳感器芯片;圖像信號處理器(ISP),配置為處理從圖像傳感器芯片輸出的圖像數(shù)據(jù);和中央處理單元(CPU),配置為從ISP接收處理后的圖像數(shù)據(jù)并基于處理后的圖像數(shù)據(jù)生成模式選擇信號。
[0013]根據(jù)另一示例性實施例的一方面,提供了一種圖像傳感器芯片,包括:像素陣列,包括彩色傳感器像素、深度傳感器像素和DVS像素;和輸出選擇電路,配置為根據(jù)模式選擇信號來選擇從彩色傳感器像素與深度傳感器像素接收的信號和從DVS像素接收的信號中的一個,并且輸出所選擇的信號。
[0014]根據(jù)另一示例性實施例的一方面,提供了一種圖像處理系統(tǒng),包括:圖像傳感器,用于生成與來自至少一個彩色傳感器像素的彩色圖像數(shù)據(jù)或者來自至少一個運動傳感器像素的運動圖像數(shù)據(jù)對應的數(shù)字圖像數(shù)據(jù),并且發(fā)送數(shù)字圖像數(shù)據(jù);圖像信號處理器(ISP),配置為接收并處理來自圖像傳感器的數(shù)字圖像數(shù)據(jù),并且發(fā)送處理后的圖像數(shù)據(jù);和顯示單元,用于從ISP接收處理后的圖像數(shù)據(jù),并且顯示處理后的圖像數(shù)據(jù)。
【專利附圖】
【附圖說明】
[0015]通過參照附圖詳細描述示例性實施例,示例性實施例的以上及其他特征和優(yōu)點會變得更清楚,其中:
[0016]圖1是根據(jù)一些實施例的圖像處理系統(tǒng)的框圖;
[0017]圖2是根據(jù)一些實施例的圖1所示的圖像傳感器的框圖;
[0018]圖3是包括圖2所示的像素信號處理電路的示例的圖像傳感器的框圖;
[0019]圖4是根據(jù)一些實施例的圖2所示的像素陣列的像素排列的示圖;
[0020]圖5是根據(jù)其他實施例的圖2所示的像素陣列的像素排列的示圖;
[0021]圖6是根據(jù)另外實施例的圖2所示的像素陣列的像素排列的示圖;
[0022]圖7是根據(jù)其他實施例的圖2所示的像素陣列的像素排列的示圖;
[0023]圖8A是根據(jù)其他實施例的圖2所示的像素陣列的像素排列的示圖;
[0024]圖SB是根據(jù)其他實施例的圖2所示的像素陣列的像素排列的示圖;
[0025]圖9A是根據(jù)另外實施例的圖2所示的像素陣列的像素排列的示圖;
[0026]圖9B是根據(jù)其他實施例的圖2所示的像素陣列的像素排列的示圖
[0027]圖10是根據(jù)一些實施例的圖4所示的像素陣列的布線圖;
[0028]圖11是根據(jù)其他實施例的圖4所示的像素陣列的布線圖;
[0029]圖12A是根據(jù)一些實施例的圖10所示的彩色傳感器像素的電路圖;
[0030]圖12B是根據(jù)其他實施例的圖10所示的彩色傳感器像素的電路圖;[0031]圖12C是根據(jù)另外實施例的圖10所示的彩色傳感器像素的電路圖;
[0032]圖12D是根據(jù)其他實施例的圖10所示的彩色傳感器像素的電路圖;
[0033]圖12E是根據(jù)其他實施例的圖10所示的彩色傳感器像素的電路圖;
[0034]圖13是根據(jù)一些實施例的圖10所示的運動傳感器像素的示圖;
[0035]圖14是根據(jù)其他實施例的圖1所示的圖像傳感器的框圖;
[0036]圖15是根據(jù)另外實施例的圖1所示的圖像傳感器的框圖;
[0037]圖16是根據(jù)其他實施例的圖1所示的圖像傳感器的框圖;
[0038]圖17是包括圖2所示的像素信號處理電路的另一示例的圖像傳感器的框圖;
[0039]圖18是包括圖2所示的像素信號處理電路的另一示例的圖像傳感器的框圖;
[0040]圖19是圖18所示的像素信號處理電路的變型的框圖;
[0041]圖20是包括圖2所示的像素信號處理電路的另一示例的圖像傳感器的框圖;
[0042]圖21是包括圖15所示的像素信號處理電路的示例的圖像傳感器的框圖;
[0043]圖22是包括圖15所示的像素信號處理電路的另一示例的圖像傳感器的框圖;
[0044]圖23是包括圖15所示的像素信號處理電路的另一示例的圖像傳感器的框圖;
[0045]圖24是包括圖15所示的像素信號處理電路的另一示例的圖像傳感器的框圖;
[0046]圖25是根據(jù)一些實施例的操作圖像傳感器芯片的方的流程圖;
[0047]圖26是根據(jù)其他實施例的操作圖像傳感器芯片的方法的流程圖;
[0048]圖27是根據(jù)另外實施例的操作圖像傳感器芯片的方法的流程圖;
[0049]圖28是根據(jù)一些實施例的包括圖1所示的圖像傳感器的電子系統(tǒng)的框圖;
[0050]圖29是根據(jù)一些實施例的包括圖1所示的圖像傳感器的系統(tǒng)的框圖。
【具體實施方式】
[0051]以下,將參照其中示出實施例的附圖更詳細地描述示例性實施例。然而,這些示例性實施例可以以很多不同的形式來實現(xiàn),而不應解釋為限于此處闡述的實施例。反而,提出這些實施例以使本公開全面和完整,并將示例性實施例的范圍充分地傳達給本領(lǐng)域技術(shù)人員。在附圖中,為清楚起見,可夸大各層和區(qū)域的尺寸和相對尺寸。類似的標號始終指示類似的元件。
[0052]應理解,當將一個元件稱作“連接”或“結(jié)合”至另一元件時,這個元件可直接連接或結(jié)合至其他元件,或者可存在中間元件。相比之下,當將一個元件稱作“直接連接”或“直接結(jié)合”至另一元件時,不存在中間元件。如這里所使用的情況,術(shù)語“和/或”包括一個或多個相關(guān)所列項的任何和全部組合,且可縮寫為“/”。
[0053]應理解,雖然這里可使用術(shù)語第一、第二等來描述各種元件,但這些元件不應被這些術(shù)語所限制。這些術(shù)語僅用于區(qū)分一個元件與另一個元件。例如,在不脫離本公開的教導的情況下,可將第一信號稱作第二信號,類似地,可將第二信號稱作第一信號。
[0054]這里使用的術(shù)語僅僅是為了描述特定實施例,而并不是為了限制示例性實施例。如這里所使用的情況,單數(shù)形式也意圖包括復數(shù)形式,除非上下文清楚地另有指示。還將理解:本說明書使用的術(shù)語“包括”和/或“包含”明確指定存在聲明的特征、區(qū)域、整體、步驟、操作、元件和/或部件,但是并不排除存在或附加一個或多個其它特征、區(qū)域、整體、步驟、操作、元件、部件和/或上述項的組合。[0055]除非以其他方式定義,否則這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學術(shù)語)具有與由這些示例性實施例所屬的本領(lǐng)域普通技術(shù)人員所通常理解的含義相同的含義。進一步理解,諸如通用詞典中所定義的術(shù)語應被解釋為具有與它們在相關(guān)技術(shù)和/或本申請的背景下的含義一致的含義,而不應在理想化或過度正式的含義上來解釋,除非在這里如此地明確定義。
[0056]圖1是根據(jù)一些實施例的圖像處理系統(tǒng)10的框圖。圖像處理系統(tǒng)10可包括圖像傳感器100、圖像信號處理器(ISP) 200、顯示單元205、中央處理單元(CPU)210以及外圍電路220。圖像處理系統(tǒng)10可作為片上系統(tǒng)(SoC)來實現(xiàn)。
[0057]圖像處理系統(tǒng)10既可具有用于獲取對象的彩色圖像數(shù)據(jù)的彩色傳感器的功能,還可具有用于感測對象的運動并獲取運動圖像數(shù)據(jù)的運動傳感器的功能。運動傳感器可分析按照幀連續(xù)拍攝的圖像,并可將分析后的幀的陰影信息以數(shù)字代碼的形式存儲在幀存儲器(未示出)中。運動傳感器可比較已存儲于幀存儲器中的先前幀的陰影信息與目前輸入的當前幀的陰影信息,并且感測對象的運動。此外,當獲取像素的陰影信息時,運動傳感器可同時處理相鄰像素(例如,在分別四個方向上的四個像素)的陰影信息,并計算陰影的移動方向。
[0058]可選地,運動傳感器可包括位于像素中的信號存儲元件(例如電容器)。運動傳感器可存儲與先前幀的像素信號對應的電壓,將所述電壓和與當前幀的像素信號對應的電壓進行比較并且感測對象的運動。
[0059]圖像傳感器100可生成從至少一個彩色傳感器像素(未示出)輸出的彩色圖像數(shù)據(jù)或者從至少一個運動傳感器像素(未示出)輸出的運動圖像數(shù)據(jù),并將數(shù)字圖像數(shù)據(jù)IDATA發(fā)送至ISP200。圖像傳感器100可根據(jù)從CPU210接收的模式選擇信號MSEL來輸出與彩色圖像數(shù)據(jù)或運動圖像數(shù)據(jù)對應的圖像數(shù)據(jù)IDATA。
[0060]例如,當模式選擇信號MSEL處于低電平時,圖像傳感器100可輸出與運動圖像數(shù)據(jù)對應的圖像數(shù)據(jù)IDATA,當模式選擇信號MSEL處于高電平時,圖像傳感器100可輸出與彩色圖像數(shù)據(jù)對應的圖像數(shù)據(jù)IDATA。然而,示例性實施例不限于這些示例。在其他實施例中,圖像傳感器100可包括至少一個深度傳感器像素(未示出),并將彩色圖像數(shù)據(jù)與深度圖像數(shù)據(jù)一起輸出。
[0061]圖像傳感器100可作為單獨的芯片來實現(xiàn)。圖像傳感器100可以是互補金屬氧化物半導體(CMOS)圖像傳感器。
[0062]ISP200可接收圖像數(shù)據(jù)IDATA,處理圖像數(shù)據(jù)IDATA并且生成處理后的圖像數(shù)據(jù)IDATA'。ISP200可將圖像數(shù)據(jù)IDATA處理成幀。ISP200還可調(diào)整圖像數(shù)據(jù)IDATA的亮度、對比度和色彩飽和度。當圖像數(shù)據(jù)IDATA包括深度圖像數(shù)據(jù)時,ISP200可使用飛行時間(TOF)法生成深度傳感器像素的深度信息,并將深度信息嵌入處理后的圖像數(shù)據(jù)IDATA'中。
[0063]ISP200可包括幀存儲器,比較先前幀的陰影信息與當前幀的陰影信息并且根據(jù)比較結(jié)果生成運動圖像數(shù)據(jù)??蛇x地,ISP200可將像素的陰影信息和相鄰像素的陰影信息一起處理,并且計算陰影的移動方向。ISP200還可將處理后的圖像數(shù)據(jù)IDATA'發(fā)送到至顯示單元205和CPU210。
[0064]ISP200可控制在圖像傳感器100中包括的控制寄存器組(未示出),以便控制圖像傳感器100的總體操作。雖然在圖1所示的實施例中,在圖像傳感器100的外部來實現(xiàn)ISP200,但示例性實施例不限于此??稍趫D像傳感器100的內(nèi)部來實現(xiàn)ISP200。
[0065]顯示單元205可顯示處理后的圖像數(shù)據(jù)IDATA'。顯示單元205可以是能輸出圖像的任何裝置。顯示單元205可作為電子裝置來實現(xiàn),其中,所述電子裝置諸如計算機、移動電話或相機。
[0066]CPU210可從ISP200接收處理后的圖像數(shù)據(jù)IDATA',并基于處理后的圖像數(shù)據(jù)IDATA'生成模式選擇信號MSEL。CPU210可將模式選擇信號MSEL發(fā)送至圖像傳感器100。
[0067]當圖像處理系統(tǒng)10通電時,CPU210可輸出處于默認電平(例如,低電平)的模式選擇信號MSEL。當CPU210基于處理后的圖像數(shù)據(jù)IDATA'確定模式修正為必需時,CPU210可輸出處于變化后的電平(例如,高電平)的模式選擇信號MSEL。
[0068]CPU210可比較處理后的圖像數(shù)據(jù)IDATA'與已存儲的模式修正代碼以生成模式選擇信號MSEL。當處理后的圖像數(shù)據(jù)IDATA'與模式修正代碼相同時,CPU210可改變模式選擇信號MSEL的電平。
[0069]模式修正代碼可以是諸如一個人的指紋或臉的特定二維(2D)圖像、包括深度信息的三維(3D)圖像或者與諸如手勢的連續(xù)運動對應的參考運動圖像。
[0070]當模式修正代碼是手指畫圈的運動圖像時,CPU210可確定處理后的圖像數(shù)據(jù)IDATA'是否對應于手指畫圈的運動圖像,并根據(jù)確定結(jié)果生成模式選擇信號MSEL。然而,示例性實施例未被模式修正代碼的類型所限制。
[0071]在只有運動傳感器默認操作且彩色傳感器像素在睡眠模式下停用的情況下,當用戶輸入的特定動作與模式修正代碼相同時,CPU210可激活彩色傳感器像素或者諸如電力系統(tǒng)、音頻系統(tǒng)等與圖像處理系統(tǒng)連接的系統(tǒng)或者具體應用。
[0072]模式修正代碼可在用戶的請求下改變,且可設(shè)定為默認值。
[0073]CPU210可基于從外圍電 路220接收的信號(或數(shù)據(jù))生成模式選擇信號MSEL,并將模式選擇信號MSEL發(fā)送至圖像傳感器100。
[0074]圖像傳感器100可根據(jù)模式選擇信號MSEL來輸出與彩色圖像數(shù)據(jù)或運動圖像數(shù)據(jù)對應的圖像數(shù)據(jù)IDATA。外圍電路220可提供根據(jù)系統(tǒng)狀態(tài)生成的或為CPU210輸入的信號(或數(shù)據(jù))。
[0075]外圍電路220可作為輸入/輸出(I/O)接口來實現(xiàn)。在此情況下,外圍電路220可將根據(jù)用戶的輸入生成的信號發(fā)送至CPU210。I/O接口可以是任何類型的I/O裝置,諸如,外部輸入按鈕、觸摸屏或鼠標。
[0076]可選地,外圍電路220可作為功率監(jiān)測模塊來實現(xiàn)。在此情況下,當外圍電路220確定系統(tǒng)功率不足時,外圍電路220可將對應于所述確定的信號發(fā)送至CPU210。作為另一選擇,外圍電路220可作為應用執(zhí)行模塊來實現(xiàn)。在此情況下,當執(zhí)行特定應用時,外圍電路220可將通過執(zhí)行生成的信號發(fā)送至CPU210。所述特定應用可以是相機拍攝應用、增強現(xiàn)實應用或需要相機圖像的應用。
[0077]圖2是根據(jù)一些實施例的圖像傳感器100A的框圖。圖像傳感器100A可包括像素陣列110、控制邏輯(或控制電路)120、行驅(qū)動器130、運動傳感器像素激活控制器140以及像素?目號處理電路150。
[0078]像素陣列110包括用于獲取對象的彩色圖像數(shù)據(jù)的多個彩色傳感器像素C以及用于感測對象的運動的多個運動傳感器像素Μ。像素陣列110還可包括濾色器陣列(未示出),所述濾色器陣列包括以預定波長發(fā)射光的多個濾色器層(未示出)。
[0079]像素陣列110還可包括用于獲取對象的深度信息的深度傳感器像素(未示出)。當使用TOF法處理深度傳感器像素的像素信號時,圖像傳感器100Α還可包括紅外帶通濾波器(未示出),其中,紅外帶通濾波器對除了由控制邏輯120控制的紅外光源(未示出)所發(fā)射的紅外光以及在被紅外光源發(fā)射后從對象反射的紅外光以外的光進行濾除。
[0080]運動傳感器像素M可由動態(tài)視覺傳感器(DVS)像素來實現(xiàn),但示例性實施例不限于此。
[0081]控制邏輯120可基于模式選擇信號MSEL來控制圖像傳感器100Α的總體操作??刂七壿?20可控制行驅(qū)動器130、運動傳感器像素激活控制器140以及像素信號處理電路150。
[0082]行驅(qū)動器130可根據(jù)控制邏輯120的控制按照行來激活彩色傳感器像素C。
[0083]運動傳感器像素激活控制器140可根據(jù)控制邏輯120的控制來激活運動傳感器像素Μ。運動傳感器像素激活控制器140還根可據(jù)控制邏輯120的控制來控制對運動傳感器像素M供電。
[0084]控制邏輯120可基于模式選擇信號MSEL來控制行驅(qū)動器130和運動傳感器像素激活控制器140,從而激活在包括彩色傳感器像素C的彩色傳感器像素組和包括運動傳感器像素M的運動傳感器像素組中的一個組。此時,像素信號處理電路150可處理從像素陣列110輸出的像素信號(例如,從每個運動傳感器像素M輸出的像素信號或從每個彩色傳感器像素C輸出的像素信號),并且輸出處理結(jié)果以作為圖像數(shù)據(jù)IDATA。
[0085]可選地,控制邏輯120可在已激活了包括運動傳感器像素M的運動傳感器像素組的狀態(tài)下,根據(jù)模式選擇信號MSEL僅控制是否激活包括彩色傳感器像素C的彩色傳感器像素組。此時,像素信號處理電路150可根據(jù)控制邏輯120的控制來選擇從運動傳感器像素M輸出的像素信號或者從彩色傳感器像素C輸出的像素信號,并基于選擇結(jié)果輸出圖像數(shù)據(jù)IDATA。
[0086]當運動傳感器像素M通過DVS像素來實現(xiàn)時,像素信號處理電路150可包括地址事件表不(address event representation, AER)(未不出)。AER可處理從用于感測光量的變化的每個運動傳感器像素M輸出的事件信號,并將復位信號發(fā)送至已生成事件信號的每個運動傳感器像素M。在后面參照圖3、圖17、圖18和圖20來詳述AER的配置。
[0087]當像素陣列110包括深度傳感器像素(未示出)時,深度傳感器像素的激活控制和從深度傳感器像素輸出的像素信號的處理與彩色傳感器像素C的激活控制和從彩色傳感器像素C輸出的像素信號的處理基本上相同。
[0088]圖3是包括圖2所示的像素信號處理電路150的示例150A的圖像傳感器100A-1的框圖。圖3示出包括通過DVS像素實現(xiàn)的運動傳感器像素M的圖像傳感器100A-1。
[0089]參照圖2和圖3,圖3所示的像素信號處理電路150A可包括列AER_C154、讀出電路156、行AER_R158以及輸出選擇電路160。
[0090]像素陣列110中包括的每個運動傳感器像素M可根據(jù)光量的變化輸出事件信號。將參照圖13詳細描述事件信號。列AER_C154可接收事件信號,并基于事件信號來輸出已生成事件信號的每個運動傳感器像素M的列地址值。[0091]讀出電路156可接收從像素陣列110中包括的每個彩色傳感器像素C所輸出的像
素信號,并且處理像素信號。
[0092]讀出電路156可包括列解碼器(未示出)、列驅(qū)動器(未示出)、相關(guān)雙采樣(CDS)塊(未示出)、模數(shù)轉(zhuǎn)換器(ADC)塊(未示出)以及輸出緩沖器(未示出)。
[0093]列AER_C154和讀出電路156可分別以單獨的電路來實現(xiàn)。
[0094]行AER_R158可接收從每個運動傳感器像素M輸出的事件信號,并基于事件信號來輸出已生成事件信號的每個運動傳感器像素M的行地址值??蓪⑿械刂分蛋l(fā)送至輸出選擇電路160。
[0095]可在行驅(qū)動器130的對面實現(xiàn)行AER_R158。
[0096]輸出選擇電路160可根據(jù)控制邏輯120的控制來選擇列AER_C154的輸出、行AER_R158的輸出和讀出電路156的輸出中的至少一個輸出,并基于選擇結(jié)果來輸出圖像數(shù)據(jù)IDATA。
[0097]輸出選擇電路160可根據(jù)控制邏輯120的控制來選擇列AER_C154的輸出和行AER_R158的輸出,并基于選擇結(jié)果來輸出圖像數(shù)據(jù)IDATA。
[0098]可選地,輸出選擇電路160可根據(jù)控制邏輯120的控制來選擇讀出電路156的輸出,并基于選擇結(jié)果來輸出圖像數(shù)據(jù)IDATA。
[0099]輸出選擇電路160可通過例如復用器的單元來實現(xiàn),所述復用器用于從多個輸入信號中選擇一個。然而,示例性實施例不限于此。當從包括彩色傳感器像素C的彩色傳感器像素組和包括運動傳感器像素M的運動傳感器像素組中的一個輸出信號時,輸出選擇電路160可旁路掉所述信號。
[0100]當像素陣列110包括深度傳感器像素時,輸出選擇電路160可根據(jù)模式選擇信號MSEL來選擇從彩色傳感器像素C或深度傳感器像素輸出的像素信號或者從運動傳感器像素M輸出的像素信號,并輸出所選擇的信號。
[0101]圖4是根據(jù)一些實施例的圖2所示的像素陣列110的像素排列110-1的示圖。圖5是根據(jù)其他實施例的圖2所示的像素陣列110的像素排列110-2的示圖。圖6是根據(jù)另外實施例的圖2所示的像素陣列110的像素排列110-3的示圖。圖7是根據(jù)其他實施例的圖2所示的像素陣列110的像素排列110-4的示圖。圖8A是根據(jù)其他實施例的圖2所示的像素陣列110的像素排列110-5a的示圖。圖SB是根據(jù)其他實施例的圖2所示的像素陣列110的像素排列110-5b的示圖。圖9A是根據(jù)另外實施例的圖2所示的像素陣列110的像素排列110_6a的示圖。圖9B是根據(jù)其他實施例的圖2所示的像素陣列110的像素排列110-6b的示圖。
[0102]為方便起見,在圖4至圖7所示的實施例中,假設(shè)像素陣列110具有5行和5列的5X5矩陣形式。然而,示例性實施例不限于此。
[0103]參照圖2以及圖4至圖7,像素陣列110可包括彩色傳感器像素組和運動傳感器像素組,其中,彩色傳感器像素組包括彩色傳感器像素C,運動傳感器像素組包括運動傳感器像素M。運動傳感器像素組可包括能以比彩色傳感器像素C低的功率工作的DVS像素。
[0104]可根據(jù)模式選擇信號MSEL來激活彩色傳感器像素組和運動傳感器像素組中的任何一個或兩者。
[0105]當默認激活以低功率工作的運動傳感器像素組,彩色傳感器像素組處于睡眠模式,且用戶的運動與模式修正代碼相同時,可根據(jù)模式選擇信號MSEL激活彩色傳感器像素組。在圖4所示的像素排列110-1中,可將每個彩色傳感器像素C置于運動傳感器像素M之間。
[0106]可將多個運動傳感器像素M置于相鄰的彩色傳感器像素C之間,但示例性實施例不限于此。
[0107]可選地,彩色傳感器像素C和運動傳感器像素M可以以不等間隔排列。
[0108]圖5所示的像素排列110-2可包括置于內(nèi)側(cè)的彩色傳感器像素組以及置于彩色傳感器像素組的邊界處的運動傳感器像素M。
[0109]換言之,包括運動傳感器像素M的運動傳感器像素組可排列在包括彩色傳感器像素C的彩色傳感器像素組的邊緣處??蛇x地,彩色傳感器像素C可排列在包括運動傳感器像素M的運動傳感器像素組的邊緣處。
[0110]雖然將運動傳感器像素M以單線形式排列在彩色傳感器像素組的邊界處,但也可將運動傳感器像素M以多線形式排列。
[0111]圖6所示的像素排列110-3在每列中可僅包括彩色傳感器像素C或僅包括運動傳感器像素M。換言之,運動傳感器像素M在行方向上(即在水平方向上)與彩色傳感器像素C交替。
[0112]雖然在圖6所示的實施例中,一列彩色傳感器像素C與一列運動傳感器像素M交替,但可將多列運動傳感器像素M置于彩色傳感器像素C的相鄰列之間。
[0113]可以以不等間隔來排列各列彩色傳感器像素C和各列運動傳感器像素M。
[0114]各列彩色傳感器像素C和各列運動傳感器像素M可包括線光學黑色(line-optical black, L-0B)像素以去除行噪聲。例如,在排列有各列彩色傳感器像素C和各列運動傳感器像素M的區(qū)域的左側(cè)和右側(cè)的每側(cè)可排列一列L-OB像素。然而,示例性實施例不限于本示例。
[0115]行噪聲是從彩色傳感器像素C輸出的像素信號中所包含的噪聲。行噪聲可導致在圖像數(shù)據(jù)IDATA中出現(xiàn)水平條紋圖形。行噪聲主要由供給圖像傳感器100的功率的變化、在行驅(qū)動器130驅(qū)動時發(fā)生的噪聲等引起。行噪聲具有時變特性。
[0116]ISP200可通過從與L-OB像素同一行的彩色傳感器像素C的像素信號中減去L-OB像素的像素信號來去除行噪聲,并生成處理后的圖像數(shù)據(jù)IDATA'。
[0117]L-OB像素可包括用于遮擋入射光的遮擋層(未示出)。
[0118]圖7所示的像素排列110-4在每行中可僅包括彩色傳感器像素C或僅包括運動傳感器像素M。換言之,運動傳感器像素M在列方向上(即在垂直方向上)與彩色傳感器像素C交替。
[0119]雖然在圖7所示的實施例中,一行彩色傳感器像素C與一行運動傳感器像素M交替,但可將多行運動傳感器像素M置于彩色傳感器像素C的相鄰行之間。
[0120]可以以不等間隔來排列各行彩色傳感器像素C和各行運動傳感器像素M。
[0121]各行彩色傳感器像素C和各行運動傳感器像素M可包括L-OB像素以去除行噪聲。
[0122]圖8A至圖9B示出根據(jù)運動傳感器像素M和彩色傳感器像素C的相對尺寸的像素陣列Iio的不同的像素排列110-5a和像素排列110-6a,以及當像素陣列110包括深度傳感器像素Z時的像素陣列110的不同的像素排列110-5b和像素排列110-6b。[0123]圖8A所示的像素排列110_5a對應于這樣的情況,其中,運動傳感器像素M的尺寸與RGB彩色傳感器像素R、G、B的尺寸相同。由于單個運動傳感器像素M的尺寸與RGB彩色傳感器像素R、G、B中的每個的尺寸相同,因此,當像素陣列110具有2X2矩陣形式時,像素排列110-5a包括一個運動傳感器像素M以及RGB彩色傳感器像素R、G、B。
[0124]在圖8B所示的像素排列110_5b中,RGB彩色傳感器像素R、G、B和深度傳感器像素Z以拜耳圖形排列。RGB彩色傳感器像素R、G、B和深度傳感器像素Z可形成3D傳感器像素組??蓪⒅辽僖粋€運動傳感器像素M置于拜耳圖形周圍。
[0125]圖9A所示的像素排列110_6a對應于這樣的情況,其中,運動傳感器像素M的尺寸與四個RGB彩色傳感器像素R、G、B的組的尺寸相同。由于單個運動傳感器像素M的尺寸與由四個RGB彩色傳感器像素R、G、B組成的拜耳圖形的尺寸相同,因此,可根據(jù)分別通過圖4至圖7所示的像素排列110-1至像素排列110-4中的一個來排列運動傳感器像素M和四個RGB彩色傳感器像素R、G、B。
[0126]在圖9B所示的像素排列110_6b中,運動傳感器像素M的尺寸與3D傳感器像素組中包括的拜耳圖形的尺寸相同。此時,可根據(jù)分別通過圖4至圖7所示的像素排列110-1至像素排列110-4中的一個來排列拜耳圖形和運動傳感器像素M。
[0127]可以以各種方式改變運動傳感器像素M與彩色傳感器像素C的相對尺寸。
[0128]圖10是根據(jù)一些實施例的圖4所示的像素陣列110-1的布線圖。參照圖4和圖10,圖10示出圖4所示的像素陣列110的部分112以及分別作為單獨電路實現(xiàn)的列AER_C154和讀出電路156。像素陣列110的部分112包括彩色傳感器像素C、第一運動傳感器像素112-1以及第二運動傳感器像素112-2。
[0129]第一運動傳感器像素112-1具有與彩色傳感器像素C相同的行地址。第二運動傳感器像素112-2具有與彩色傳感器像素C相同的列地址。以行方向延伸的布線可包括選擇信號線SEL、復位信號線RS、傳送信號線TG、行AER事件信號線REQY以及行AER復位信號線ACKY0
[0130]選擇信號線SEL可連接至行驅(qū)動器130和彩色傳感器像素C。行驅(qū)動器130可將選擇信號通過選擇信號線SEL傳輸至彩色傳感器像素C。
[0131]復位信號線RS和傳送信號線TG也可連接至行驅(qū)動器130和彩色傳感器像素C。行驅(qū)動器130可將復位信號和傳輸信號分別通過復位信號線RS和傳送信號線TG傳輸至彩色傳感器像素C。
[0132]行AER事件信號線REQY可連接至行AER_R158和第一運動傳感器像素112_1。第一運動傳感器像素112-1可將導通/截止事件信號通過行AER事件信號線REQY傳輸至行AER_R158。
[0133]行AER復位信號線ACKY也可連接至行AER_R158和第一運動傳感器像素112_1。行AER_R158可將第一 DVS復位信號通過行AER復位信號線ACKY傳輸至第一運動傳感器像素 112-1。
[0134]以列方向延伸的布線可包括像素信號線PIXEL、列AER導通事件信號線REQX_0N、列AER截止事件信號線REQX_0FF以及列AER復位信號線ACKX。
[0135]像素信號線PIXEL可連接至讀出電路156和彩色傳感器像素C。彩色傳感器像素C可將像素信號通過像素信號線PIXEL傳輸至讀出電路156。[0136]列AER導通事件信號線REQX_0N可連接至列AER_C154和第二運動傳感器像素112-2。第二運動傳感器像素112-2可將導通事件信號通過列AER導通事件信號線REQX_0N傳輸至列AER_C154。
[0137]列AER截止事件信號線REQX_0FF可連接至列AER_C154和第二運動傳感器像素112-2。第二運動傳感器像素112-2可將截止事件信號通過列AER截止事件信號線REQX_OFF傳輸至列AER_C154。
[0138]列AER復位信號線ACKX可連接至列AER_C154和第二運動傳感器像素112_2。列AER_C154可將第二 DVS復位信號通過列AER復位信號線ACKX傳輸至第二運動傳感器像素112-2。
[0139]在其他實施例中,當像素陣列110包括深度傳感器像素Z時,用于深度傳感器像素Z的布線結(jié)構(gòu)與圖10所示的用于彩色傳感器像素C的布線結(jié)構(gòu)基本相同。
[0140]將參照圖12A至圖13來詳細描述通過圖10所示的信號線傳輸?shù)男盘枴?br>
[0141]圖11是根據(jù)其他實施例的圖4所示的像素陣列110-1的布線圖。參照圖4和圖11,就列方向上的布線而目,可將圖10所不的像素彳目號線PIXEL和列AER復位彳目號線ACKX實現(xiàn)為公共信號線ACKX&PIXEL。換言之,公共信號線ACKX&PIXEL可連接至彩色傳感器像素C、運動傳感器像素M和信號路徑選擇電路170。
[0142]信號路徑選擇電路170可根據(jù)控制邏輯120的控制將公共信號線ACKX&PIXEL連接至讀出電路156或列AER_C154。信號路徑選擇電路170可通過解復用器來實現(xiàn)。
[0143]當模式選擇信號MSEL處于例如低電平的第一電平時,控制邏輯120可控制信號路徑選擇電路170將公共信號線ACKX&PIXEL連接至列AER_C154。因此,公共信號線ACKX&PIXEL可用作列AER復位信號線ACKX。
[0144]當模式選擇信號MSEL處于例如高電平的第二電平時,控制邏輯120可控制信號通道選擇電路170將公共信號線ACKX&PIXEL連接至讀出電路156。因此,公共信號線ACKX&PIXEL可用作像素信號線PIXEL。
[0145]為方便起見,在圖10和圖11所示的實施例中僅描述了彩色傳感器像素C、第一運動傳感器像素112-1和第二運動傳感器像素112-2,但圖10或圖11所示的布線可適用于像素陣列110中包括的每個運動傳感器像素M和每個彩色傳感器像素C。
[0146]圖12A是根據(jù)一些實施例的圖10所示的彩色傳感器像素C的電路圖。圖12B是根據(jù)其他實施例的圖10所示的彩色傳感器像素C的電路圖。圖12C是根據(jù)另外實施例的圖10所示的彩色傳感器像素C的電路圖。圖12D是根據(jù)其他實施例的圖10所示的彩色傳感器像素C的電路圖。圖12E是根據(jù)其他實施例的圖10所示的彩色傳感器像素C的電路圖。
[0147]參照圖12A,單位彩色傳感器像素115a可包括光電二極管H)、傳送晶體管Tx、浮動擴散節(jié)點FD、復位晶體管Rx、驅(qū)動晶體管Dx以及選擇晶體管Sx。
[0148]光電二極管ro是光電轉(zhuǎn)換元件的示例。光電二極管ro可以是光電晶體管、光電門、釘扎光電二極管(PPD)或上述元件的組合。
[0149]圖12A示出包括單個光電二極管H)和四個MOS晶體管Tx、Rx、Dx、Sx的4_晶體管(4T)結(jié)構(gòu)。然而,示例性實施例不限于本示例。至少包括光電二極管ro和三個晶體管的任何電路均可用于實施例中,其中,所述三個晶體管至少包括驅(qū)動晶體管Dx和選擇晶體管Sx。
[0150]在單位彩色傳感器像素115a的操作中,光電二極管H)生成隨著入射光的強度變化的光電荷。傳送晶體管Tx可響應于從行驅(qū)動器130通過傳送信號線TG接收的傳送信號而將光電荷傳送至浮動擴散節(jié)點FD。驅(qū)動晶體管Dx可基于與在浮動擴散節(jié)點FD處累積的光電荷對應的電位將光電荷放大并將光電荷發(fā)送至選擇晶體管Sx。選擇晶體管Sx的漏極連接至驅(qū)動晶體管Dx的源極,選擇晶體管Sx可響應于從行驅(qū)動器130通過選擇信號線SEL接收的選擇信號將像素信號輸出至與單位彩色傳感器像素115a連接的像素信號線PIXEL。復位晶體管Rx可響應于從行驅(qū)動器130通過復位信號線RS接收的復位信號而將浮動擴散節(jié)點FD復位至VDD。
[0151]單位彩色傳感器像素115a可通過濾色器層(未示出)接收入射光。濾色器層可包括至少一個紅色濾光器、至少一個綠色濾光器和至少一個藍色濾光器,或者濾色器層可包括至少一個品紅濾光器、至少一個青色濾光器和至少一個黃色濾光器。根據(jù)濾色器層的類型,可將單位彩色傳感器像素115a分成紅色像素R、綠色像素G或藍色像素B。根據(jù)濾色器層,單位彩色傳感器像素115a可感測不同波長的入射光,且ISP200可處理從每個單位彩色傳感器像素115a輸出的像素信號以生成2D圖像。
[0152]圖12B至圖12E中示出單位彩色傳感器像素的其他示例。
[0153]參照圖12B,單位彩色傳感器像素115b具有3-晶體管(3T)結(jié)構(gòu),其中,3_晶體管結(jié)構(gòu)可包括光電二極管H)、復位晶體管Rx、驅(qū)動晶體管Dx和選擇晶體管Sx??蓪⒂晒怆姸O管ro生成的光電荷立即累積在浮動擴散節(jié)點FD處,單位彩色傳感器像素115b可根據(jù)驅(qū)動晶體管Dx和選擇晶體管Sx的操作將像素信號輸出至像素信號線PIXEL。
[0154]參照圖12C,單位彩色傳感器像素115c具有3T結(jié)構(gòu),其中,3T結(jié)構(gòu)可包括光電二極管H)、傳送晶體管Tx、復位晶體管Rx以及驅(qū)動晶體管Dx。復位晶體管Rx可通過η溝道耗盡型晶體管來實現(xiàn)。復位晶體管Rx可響應于從行驅(qū)動器130通過復位信號線RS接收的復位信號而將浮動擴散節(jié)點FD復位至VDD或低電平(例如,0V),從而執(zhí)行與選擇晶體管Sx類似的功能。在其他實施例中,可通過選擇信號線SEL來接收復位信號。
[0155]參照圖12D,單位彩色傳感器像素115d具有5-晶體管(5T)結(jié)構(gòu),其中,5_晶體管結(jié)構(gòu)包括光電二極管PD、傳送晶體管Tx、復位晶體管Rx、驅(qū)動晶體管Dx、選擇晶體管Sx以及一個或多個晶體管Gx。
[0156]參照圖12E,單位彩色傳感器像素115e具有5T結(jié)構(gòu),其中,5T結(jié)構(gòu)包括光電二極管PD、傳送晶體管Tx、復位晶體管Rx、驅(qū)動晶體管Dx、選擇晶體管Sx以及一個或多個晶體管Ρχ。
[0157]在其他實施例中,當像素陣列110包括深度傳感器像素Z時,深度傳感器像素Z的內(nèi)部結(jié)構(gòu)與圖12A至圖12E之一所示的結(jié)構(gòu)基本相同。深度傳感器像素Z除了可實現(xiàn)為I抽頭結(jié)構(gòu)外,還可實現(xiàn)為2抽頭結(jié)構(gòu),深度傳感器像素Z與在圖12A至圖12E中的任何一個所示的彩色傳感器像素C具有相同的內(nèi)部結(jié)構(gòu)。
[0158]圖13是根據(jù)一些實施例的圖10所示的運動傳感器像素M的示圖。參照圖10和圖13,運動傳感器像素M可以是DVS像素。將參照圖13詳細描述作為DVS像素的運動傳感器像素M的每個操作。
[0159]單位DVS像素117可包括光電二極管117_1、電流電壓(I/V)轉(zhuǎn)換器117_2、放大器電路117-3、比較器電路117-4以及數(shù)字邏輯117-5。
[0160]光電二極管117-1是光電轉(zhuǎn)換元件的示例。光電二極管117-1可以是光電晶體管、光電門、PF1D或上述兀件的組合。光電二極管117-1可根據(jù)入射光的強度生成光電流I。
[0161]I/V轉(zhuǎn)換器117-2可包括轉(zhuǎn)換晶體管Cx和反相器INV??赏ㄟ^運動傳感器像素激活控制器140對轉(zhuǎn)換晶體管Cx供電。
[0162]當運動傳感器像素組停用時,運動傳感器像素激活控制器140可對轉(zhuǎn)換晶體管Cx施加比預定電平低的電壓,以使轉(zhuǎn)換晶體管Cx不工作。反相器INV可使光電二極管117-1的端子處的電壓反相以輸出第一電壓Vin。換言之,I/V轉(zhuǎn)換器117-2可感測光電二極管117-1中流過的光電流I,并且輸出與光電流I對應的第一電壓Vin。
[0163]放大器電路117-3可包括第一電容器Cl、第二電容器C2、放大器AMP以及復位開關(guān)SW。放大器電路117-3可基于第一電壓Vin輸出與第一電壓Vin隨時間的變化相關(guān)的第二電壓Vout。復位開關(guān)SW可根據(jù)數(shù)字邏輯117-5的控制將第二電壓Vout復位至復位電壓。
[0164]比較器電路117-4可包括第一比較器COMPl和第二比較器C0MP2。第一比較器COMPl可比較第二電壓Vout與導通閾值電壓,并根據(jù)比較結(jié)果生成導通事件信號。第二比較器C0MP2可比較第二電壓Vout與截止閾值電壓,并根據(jù)比較結(jié)果生成截止事件信號。換言之,當單位DVS像素117的陰影的變化高于預定水平時,比較器電路117-4可生成導通事件信號或截止事件信號。
[0165]例如,當單位DVS像素117的陰影比預定水平亮時,導通事件信號可處于高電平,而當單位DVS像素117的陰影比預定水平暗時,截止事件信號可處于高電平??蓪ㄊ录盘柡徒刂故录盘柊l(fā)送至數(shù)字邏輯117-5。
[0166]數(shù)字邏輯117-5可根據(jù)從比較器電路117-4輸出的導通事件信號和截止事件信號來生成事件信號。例如,數(shù)字邏輯117-5可包括或門以接收導通事件信號和截止事件信號,當導通事件信號和截止事件信號中的一個處于高電平時,數(shù)字邏輯117-5生成導通/截止事件信號??蓪?截止事件信號通過行AER事件信號線REQY傳輸至行AER_R158。在其他實施例中,可在單位DVS像素117外部(例如在行AER_R158內(nèi)部)實現(xiàn)或門。
[0167]數(shù)字邏輯117-5可將導通事件信號通過列AER導通事件信號線REQX_0N傳輸至列AER_C154,且可將截止事件信號通過列AER截止事件信號線REQX_0FF傳輸至列AER_C154。
[0168]數(shù)字邏輯117-5可根據(jù)從比較器電路117-4輸出的導通事件信號和截止事件信號來生成復位開關(guān)信號RS_SW。例如,數(shù)字邏輯117-5可包括或門以接收導通事件信號和截止事件信號,當導通事件信號和截止事件信號中的一個處于高電平時,數(shù)字邏輯117-5生成復位開關(guān)信號RS_SW。復位開關(guān)SW可根據(jù)復位開關(guān)信號RS_SW復位第二電壓Vout。在其他實施例中,可在單位DVS像素117外部實現(xiàn)或門。
[0169]用于生成導通/截止事件信號的或門可與用于生成復位開關(guān)信號RS_SW的或門相同。
[0170]數(shù)字邏輯117-5可分別通過行AER復位信號線ACKY和列AER復位信號線ACKX來接收第一 DVS復位信號和第二 DVS復位信號。數(shù)字邏輯117-5可根據(jù)從行AER_R158發(fā)送的第一 DVS復位信號和從列AER_C154發(fā)送的第二 DVS復位信號來生成復位開關(guān)信號RS_
Sffo[0171]例如,數(shù)字邏輯117-5可包括與門,當?shù)谝?DVS復位信號和第二 DVS復位信號處于高電平時,數(shù)字邏輯117-5生成復位開關(guān)信號RS_SW。可在單位DVS像素117外部實現(xiàn)與門。
[0172]圖13所示的單位DVS像素117僅為示例。然而,示例性實施例不限于此。根據(jù)實施例的運動傳感器像素M可適用于感測對象的運動的任何像素。
[0173]圖14是根據(jù)其他實施例的圖像傳感器100B的框圖。圖像傳感器100B是圖1所示的圖像傳感器100的另一示例。參照圖1和圖14,圖像傳感器100B可包括僅包括彩色傳感器像素C的彩色傳感器像素陣列IlOA以及僅包括運動傳感器像素M的運動傳感器像素陣列110B。在此情況下,行驅(qū)動器130可根據(jù)控制邏輯120的控制來激活彩色傳感器像素陣列IlOA中的彩色傳感器像素C。運動傳感器像素激活控制器140可根據(jù)控制邏輯120的控制來控制運動傳感器像素陣列IlOB中的運動傳感器像素M的激活或停用。
[0174]圖15是根據(jù)另外實施例的圖像傳感器100C的框圖。圖16是根據(jù)其他實施例的圖像傳感器100D的框圖。圖像傳感器100C和圖像傳感器100D是圖1所示的圖像傳感器100的其他示例。參照圖1、圖15和圖16,圖像傳感器100C和圖像傳感器100D可不包括運動傳感器像素激活控制器140。
[0175]像素信號處理電路150可在控制邏輯120的控制下控制每個運動傳感器像素M的輸出。詳細來說,在激活運動傳感器像素M的狀態(tài)下,可通過像素信號處理電路150來僅控制彩色傳感器像素C和運動傳感器像素M中的每個的輸出。
[0176]當運動傳感器像素M是DVS像素時,運動傳感器像素M可根據(jù)從像素信號處理電路150接收的信號而不輸出事件信號。
[0177]圖17是包括圖2所示的像素信號處理電路150的另一示例150B的圖像傳感器100A-2的框圖。圖18是包括圖2所示的像素信號處理電路150的另一示例150C的圖像傳感器100A-3的框圖。參照圖2、圖17和圖18,運動傳感器像素M在圖像傳感器110A-2和圖像傳感器110A-3中是DVS像素。
[0178]參照圖17,在像素信號處理電路150B中,可將列AER_C154和讀出電路156分別以單獨的電路來實現(xiàn)。此外,像素信號處理電路150B中的行AER_R158可與行驅(qū)動器130在同一側(cè)實現(xiàn)。
[0179]行AER和行驅(qū)動器塊132可包括行驅(qū)動器130和行AER_R158??蓪⑿蠥ER和行驅(qū)動器塊132在功能上和邏輯上分成行AER_R158和行驅(qū)動器130,但不必需在物理上如此劃分。
[0180]參照圖18,像素信號處理電路150C可包括列AER、讀出電路塊152和行AER_R158。列AER和讀出電路塊152可包括列AER_C154和讀出電路156??蓪⒘蠥ER和讀出電路塊152在功能上和邏輯上分成列AER_C154和讀出電路156,但不必需在物理上如此劃分。
[0181]列AER和讀出電路塊152可使用單一方法(或邏輯)來處理從運動傳感器像素M輸出的事件信號和從彩色傳感器像素C輸出的像素信號。在此情況下,用于對從彩色傳感器像素C輸出的像素信號進行模數(shù)轉(zhuǎn)換的單獨的塊可在列AER和讀出電路塊152的內(nèi)部或外部來實現(xiàn)。將參照圖19詳細描述這一點。
[0182]行AER_R158可在行驅(qū)動器130的對面來實現(xiàn)。已根據(jù)光量的變化生成事件信號的運動傳感器像素M的行地址值可從行AER_R158被發(fā)送至列AER和讀出電路塊152。[0183]圖19是圖18所示的像素信號處理電路150C的變型150C'的框圖。參照圖18和圖19,圖19所示的像素信號處理電路15(V可包括列AER和模擬前端(AFE)電路塊152'、行AER_R158、輸出選擇電路160'以及模數(shù)轉(zhuǎn)換器(ADC)塊172。
[0184]列AER和AFE電路塊152'可包括列AER_C154和AFE電路170。AFE電路170可以是這樣的電路,其中,在讀出電路156所包括的元件中,所述電路包括在模數(shù)轉(zhuǎn)換前執(zhí)行操作的元件??蓪⒘蠥ER和AFE電路塊152'在功能上和邏輯上分成列AER_C154和AFE電路170,但不必需在物理上如此劃分。
[0185]列AER和AFE電路塊152'可使用單一方法(或邏輯)來處理從運動傳感器像素M輸出的事件信號和從彩色傳感器像素C輸出的像素信號。
[0186]列AER和AFE電路塊152'可處理從運動傳感器像素M輸出的事件信號和從彩色傳感器像素C輸出的像素信號。列AER和AFE電路塊152'可將需要模數(shù)轉(zhuǎn)換的處理結(jié)果(例如,處理來自彩色傳感器像素C的像素信號的結(jié)果)發(fā)送至ADC塊172,并且將不需要模數(shù)轉(zhuǎn)換的處理結(jié)果(例如,處理來自運動傳感器像素M的事件信號的結(jié)果)發(fā)送至輸出選擇電路16(V。
[0187]ADC塊172可對從列AER和AFE電路塊152'接收的處理結(jié)果進行模數(shù)轉(zhuǎn)換,并且將通過轉(zhuǎn)換獲得的數(shù)字信號發(fā)送至輸出選擇電路160'。ADC塊172可包括⑶S電路(未示出)、斜坡發(fā)生器(未示出)、比較器(未示出)以及計數(shù)器(未示出),并且可根據(jù)控制邏輯120的控制進行模數(shù)轉(zhuǎn)換。
[0188]輸出選擇電路160'可選擇并處理從列AER和AFE電路塊152'發(fā)送的信號以及從ADC塊172發(fā)送的信號,以便輸出圖像數(shù)據(jù)IDATA。
[0189]圖20是包括圖2所示的像素信號處理電路150的另一示例的圖像傳感器100A-4的框圖。圖像傳感器100A-4包括像素信號處理電路150D。
[0190]行AER_R158可與行驅(qū)動器130在同一側(cè)來實現(xiàn)。行AER和行驅(qū)動器塊132可包括行驅(qū)動器130和行AER_R158??蓪⑿蠥ER和行驅(qū)動器塊132在功能上和邏輯上分成行AER_R158和行驅(qū)動器130,但不必需在物理上如此劃分。
[0191]圖21是包括圖15所示的像素信號處理電路150的示例的圖像傳感器100C-1的框圖。圖22是包括圖15所示的像素信號處理電路150的另一示例的圖像傳感器100C-2的框圖。圖23是包括圖15所示的像素信號處理電路150的另一示例的圖像傳感器100C-3的框圖。圖24是包括圖15所示的像素信號處理電路150的另一示例的圖像傳感器100C-4的框圖。
[0192]參照圖15以及圖21至圖24,圖像傳感器100C-1至圖像傳感器100C-4包括通過DVS像素實現(xiàn)的運動傳感器像素M,不包括圖2所示的運動傳感器像素激活控制器140。在圖像傳感器100C-1至圖像傳感器100C-4中的像素陣列110中所包括的運動傳感器像素M的激活狀態(tài)被保持,可通過列AER_C154和行AER_R158來控制運動傳感器像素M的輸出。
[0193]參照圖13以及圖21至圖24,列AER_C154和行AER_R158可在初始狀態(tài)(例如復位狀態(tài))下根據(jù)控制邏輯120的控制來保持電壓Vout,從而抑制運動傳感器像素M生成輸出(即事件信號),其中,運動傳感器像素M基于作為參考的所述電壓Vout來生成事件信號。例如,當根據(jù)模式選擇信號MSEL來激活彩色傳感器像素C時,列AER_C154和行AER_R158可根據(jù)控制邏輯120的控制來抑制運動傳感器像素M生成輸出(例如事件信號)。[0194]除了上述特征以外,圖21至圖24分別示出的像素信號處理電路150A至像素信號處理電路150D的結(jié)構(gòu)和操作與在圖3、圖17、圖18和圖20中分別示出的像素信號處理電路150A至像素信號處理電路150D的結(jié)構(gòu)和操作基本相同。
[0195]圖25是根據(jù)一些實施例的操作圖像傳感器芯片的方法的流程圖。參照圖1至圖3以及圖14至圖25,在操作SlO中,控制邏輯120可基于模式選擇信號MSEL激活彩色傳感器像素C或運動傳感器像素M。
[0196]CPU210可根據(jù)對通過例如輸入接口的外圍電路220輸入的用戶輸入的分析結(jié)果來生成模式選擇信號MSEL??刂七壿?20可通過控制行驅(qū)動器130來激活彩色傳感器像素C,并且通過控制運動傳感器像素激活控制器140來激活運動傳感器像素M。
[0197]在操作S12中,像素信號處理電路150可處理從已激活的彩色傳感器像素C或運動傳感器像素M輸出的像素信號。
[0198]圖26是根據(jù)其他實施例的操作圖像傳感器芯片的方法的流程圖。參照圖1至圖3以及圖14至圖26,當圖像處理系統(tǒng)10通電時,CPU210可輸出處于默認設(shè)置的電平的模式選擇信號MSEL。在操作S20中,控制邏輯120可基于模式選擇信號MSEL來默認激活運動傳感器像素M。
[0199]從已激活的運動傳感器像素M輸出的像素信號可通過像素信號處理電路150來處理,且作為圖像數(shù)據(jù)IDATA被提供給ISP200。ISP200可處理圖像數(shù)據(jù)IDATA并將處理后的圖像數(shù)據(jù)IDATA'發(fā)送至CPU210。在操作S22中,CPU210可基于處理后的圖像數(shù)據(jù)IDATA'來改變模式選擇信號MSEL的電平。換言之,CPU210可基于從運動傳感器像素M輸出的像素信號來改變模式選擇信號MSEL的電平。
[0200]操作S24和操作S26與圖25所示的操作SlO和操作S12基本相同。因此,將省略詳細描述。
[0201]圖27是根據(jù)另外實施例的操作圖像傳感器芯片的方法的流程圖。參照圖2、圖3、圖14至圖24以及圖27,在操作S30中,運動傳感器像素激活控制器140可激活運動傳感器像素M。
[0202]在操作S32中,控制邏輯120可基于模式選擇信號MSEL來確定是否激活彩色傳感器像素C。在操作S34中,像素信號處理電路150可處理從運動傳感器像素M或彩色傳感器像素C輸出的像素信號。像素信號處理電路150可在激活彩色傳感器像素C時處理從彩色傳感器像素C輸出的像素信號,可在未激活彩色傳感器像素C時處理從運動傳感器像素M輸出的像素信號??蛇x地,當激活彩色傳感器像素C時,輸出選擇電路160可選擇并處理來自運動傳感器像素M的像素信號或來自彩色傳感器像素C的像素信號,并且輸出圖像數(shù)據(jù) IDATA。
[0203]圖28是根據(jù)一些實施例的包括圖1所示的圖像傳感器100的電子系統(tǒng)1000的框圖。參照圖1和圖28,電子系統(tǒng)1000可通過數(shù)據(jù)處理設(shè)備來實現(xiàn),其中,所述數(shù)據(jù)處理設(shè)備諸如可使用或支持移動產(chǎn)業(yè)處理器接口(MIPI)接口的移動電話、個人數(shù)字助理(PDA)、便攜式媒體播放器(PMP)、IP TV或智能電話。電子系統(tǒng)1000包括圖像傳感器100、應用處理器1010以及顯示器1050。
[0204]在應用處理器1010中包括的相機串行接口(CSI)主機1012與圖像傳感器1040中包括的CSI裝置1041通過CSI進行串行通信。例如,可在CSI主機1012中實現(xiàn)光串行器,且可在CSI裝置1041中實現(xiàn)光解串器。
[0205]在應用處理器1010中包括的顯示器串行接口(DSI)主機1011與顯示器1050中包括的DSI裝置1051通過DSI進行串行通信。例如,可在DSI主機1011中實現(xiàn)光串行器,可在DSI裝置1051中實現(xiàn)光解串器。
[0206]電子系統(tǒng)1000還可包括與應用處理器1010通信的射頻(RF)芯片1060。電子系統(tǒng)1000的物理通道(PHY) 1013和RF芯片1060的PHY根據(jù)MIPI DigRF標準來彼此通信數(shù)據(jù)。電子系統(tǒng)1000還可包括GPS1020、存儲裝置1070、麥克風1080、動態(tài)隨機存取存儲器(DRAM) 1085和揚聲器1090中的至少一個元件。電子系統(tǒng)1000可使用全球微波接入互操作性(Wimax) 1030、無線局域網(wǎng)(WLAN) 1100或超寬帶(UWB) 1110等來通信。
[0207]圖29是根據(jù)一些實施例的包括圖1所示的圖像傳感器100的圖像處理系統(tǒng)1100的框圖。參照圖1和圖29,圖像處理系統(tǒng)1100可包括圖像傳感器100、處理器1110、存儲器1120、顯示單元1130以及接口 1140。
[0208]處理器1110可控制圖像傳感器100的操作。處理器1110可基于從圖像傳感器100接收的彩色信息、深度信息和運動信息而生成2D、3D和/或運動圖像數(shù)據(jù)。
[0209]存儲器1120可存儲用于根據(jù)處理器1110的控制通過總線1150來控制圖像傳感器100的操作的程序以及通過處理器1110生成的圖像。處理器1110可訪問存儲器1120中存儲的信息且執(zhí)行所述程序。存儲器1120可通過非易失性存儲器來實現(xiàn)。
[0210]圖像傳感器100可在處理器1110的控制下,基于數(shù)字像素信號(例如,彩色信息、深度信息或運動信息)生成2D、3D和/或運動圖像數(shù)據(jù)。顯示單元1130可使用顯示器(例如,液晶顯示器(IXD)或有源矩陣有機發(fā)光二極管(AMOLED)顯示器)顯示從處理器1110或存儲器1120接收的圖像??蔀?D圖像或3D圖像的輸入或輸出設(shè)置接口 1140。接口 1140可作為無線接口來實現(xiàn)。
[0211]還可將示例性實施例作為計算機可讀介質(zhì)中的計算機可讀代碼來實施。計算機可讀記錄介質(zhì)是可存儲數(shù)據(jù)以作為隨后可由計算機系統(tǒng)讀取的程序的任何數(shù)據(jù)存儲裝置。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、⑶-ROM、磁帶、軟盤以及光學數(shù)據(jù)存儲裝置。
[0212]還可將計算機可讀記錄介質(zhì)分布在網(wǎng)絡連接的計算機系統(tǒng)中,從而以分布式存儲和執(zhí)行計算機可讀代碼。而且,程序設(shè)計者可容易地解釋用于完成示例性實施例的功能程序、代碼和代碼段。
[0213]如上所述,根據(jù)一些實施例,基于從彩色傳感器像素輸出的像素信號來獲取圖像數(shù)據(jù),從而可精確地識別對象的2D彩色圖像。此外,在其他情況下,基于從運動傳感器像素輸出的像素信號來獲取圖像數(shù)據(jù),從而可降低功耗。換言之,根據(jù)具體環(huán)境,可進行選擇,從而或者精確地識別對象的2D彩色圖像,或者降低功耗。
[0214]雖然已參照示例性實施例具體示出且描述了示例性實施例,但本領(lǐng)域技術(shù)人員會理解,在不脫離由權(quán)利要求所限定的示例性實施例的精神和范圍內(nèi),可在形式和細節(jié)上作出各種變化。
【權(quán)利要求】
1.一種操作包括彩色傳感器像素和用于感測對象的運動的動態(tài)視覺傳感器(DVS)像素的圖像傳感器芯片的方法,所述方法包括: 根據(jù)模式選擇信號來激活彩色傳感器像素和DVS像素中的一個;和 處理從所激活的像素輸出的像素信號。
2.如權(quán)利要求1所述的方法,還包括:在激活彩色傳感器像素和DVS像素中的一個之N /.刖, 默認激活DVS像素;和 基于從默認激活的DVS像素輸出的像素信號來改變模式選擇信號的電平。
3.如權(quán)利要求2所述的方法,其中,改變模式選擇信號的電平的步驟包括:當模式修正代碼是與根據(jù)對從默認激活的DVS像素輸出的像素信號的處理結(jié)果所生成的代碼相同的代碼時,改變模式選擇信號的電平。
4.如權(quán)利要求1所述的方法,還包括:在激活彩色傳感器像素和DVS像素中的一個之N /.刖, 分析用戶輸入;和 根據(jù)用戶輸入的分析結(jié)果生成模式選擇信號。
5.如權(quán)利要求1所述的方法,其中,彩色傳感器像素是從由紅色像素、綠色像素和藍色像素構(gòu)成的組中選擇的像素,且以拜耳圖形來排列彩色傳感器像素。`
6.一種操作包括彩色傳感器像素和用于感測對象的運動的動態(tài)視覺傳感器(DVS)像素的圖像傳感器芯片的方法,所述方法包括: 激活DVS像素; 根據(jù)模式選擇信號來確定是否激活彩色傳感器像素;和 基于確定結(jié)果和模式選擇信號來處理從DVS像素和彩色傳感器像素中的一個輸出的像素號。
7.如權(quán)利要求6所述的方法,其中,處理像素信號的步驟包括:當激活彩色傳感器像素時處理從彩色傳感器像素輸出的像素信號,而當未激活彩色傳感器像素時處理從DVS像素輸出的像素信號。
8.如權(quán)利要求所述的方法6,其中,彩色傳感器像素是從由紅色像素、綠色像素和藍色像素構(gòu)成的組中選擇的像素,且以拜耳圖形排列彩色傳感器像素。
9.一種圖像傳感器芯片,包括: 像素陣列,包括彩色傳感器像素組和動態(tài)視覺傳感器(DVS)像素組,其中,彩色傳感器像素組包括多個彩色傳感器像素,DVS像素組包括用于感測對象的運動的多個DVS像素;控制電路,配置為根據(jù)模式選擇信號來激活彩色傳感器像素組和DVS像素組中的一個;和 像素信號處理電路,配置為處理從所激活的像素組輸出的像素信號。
10.如權(quán)利要求9所述的圖像傳感器芯片,還包括:運動傳感器像素激活控制器,配置為根據(jù)控制電路的控制來控制供給DVS像素組的功率。
11.如權(quán)利要求9所述的圖像傳感器芯片,其中,像素信號處理電路包括: 行地址事件表示(AER),配置為處理由各個DVS像素生成的多個事件信號中的至少一個;和列AER,配置為處理由各個DVS像素生成的多個事件信號中的至少另一個,并且行AER布置在像素陣列的一側(cè),用于激活每個彩色傳感器像素的行驅(qū)動器布置在像素陣列的另一側(cè),并且行AER與行驅(qū)動器彼此面對。
12.如權(quán)利要求9所述的圖像傳感器芯片,其中,像素信號處理電路包括: 行地址事件表示(AER),配置為處理由各個DVS像素生成的多個事件信號中的至少一個;和 列AER,配置為處理由各個DVS像素生成的多個事件信號中的至少另一個,并且 行AER與用于激活每個彩色傳感器像素的行驅(qū)動器布置在像素陣列的同一側(cè)。
13.如權(quán)利要求9所述的圖像傳感器芯片,其中,DVS像素組與彩色傳感器像素組分開布置。
14.如權(quán)利要求9所述的圖像傳感器芯片,其中,DVS像素中的每個布置在彩色傳感器像素之間。
15.如權(quán)利要求9所述的圖像傳感器芯片,其中,DVS像素布置在彩色傳感器像素組的邊緣處。
16.如權(quán)利要求9所述的圖像傳感器芯片,其中,DVS像素在行方向上與彩色傳感器像素交替。
17.如權(quán)利要求9所述的圖像傳感器芯片,其中,DVS像素在列方向上與彩色傳感器像素交替。
18.如權(quán)利要求9所述的圖像傳感器芯片,其中,DVS像素與彩色傳感器像素的尺寸不同。
19.如權(quán)利要求9所述的圖像傳感器芯片,其中,在DVS像素和彩色傳感器像素中,具有同一列地址的DVS像素和彩色傳感器像素彼此共用至少一個信號線。
20.如權(quán)利要求9所述的圖像傳感器芯片,其中,像素信號處理電路包括: 運動傳感器像素信號處理電路,配置為處理從DVS像素組輸出的像素信號;和 彩色傳感器像素信號處理電路,配置為處理從彩色傳感器像素組輸出的像素信號。
21.如權(quán)利要求20所述的圖像傳感器芯片,還包括:輸出選擇電路,配置為選擇運動傳感器像素信號處理電路的輸出和彩色傳感器像素信號處理電路的輸出中的一個。
22.—種片上系統(tǒng)(SoC),包括: 如權(quán)利要求9所述的圖像傳感器芯片; 圖像信號處理器(ISP),配置為處理從圖像傳感器芯片輸出的圖像數(shù)據(jù);和中央處理單元(CPU),配置為從ISP接收處理后的圖像數(shù)據(jù)并基于處理后的圖像數(shù)據(jù)生成模式選擇信號。
23.—種圖像傳感器芯片,包括: 像素陣列,包括彩色傳感器像素、深度傳感器像素和動態(tài)視覺傳感器(DVS)像素;和輸出選擇電路,配置為根據(jù)模式選擇信號來選擇從彩色傳感器像素與深度傳感器像素接收的信號和從DVS像素接收的信號中的一個,并且輸出所選擇的信號。
24.如權(quán)利要求23所述的圖像傳感器芯片,其中,彩色傳感器像素是從由紅色像素、綠色像素和藍色像素構(gòu)成的組中選擇的像素,并且 其中,將彩色傳感器像素和深度傳感器像素以拜耳圖形排列。
25.如權(quán)利要求23所述的圖像傳感器芯片,其中,輸出選擇電路包括復用器。
26.—種圖像處理系統(tǒng),包括: 圖像傳感器,用于生成與來自至少一個彩色傳感器像素的彩色圖像數(shù)據(jù)或者來自至少一個運動傳感器像素的運動圖像數(shù)據(jù)對應的數(shù)字圖像數(shù)據(jù),并且發(fā)送數(shù)字圖像數(shù)據(jù); 圖像信號處理器(ISP),配置為接收并處理來自圖像傳感器的數(shù)字圖像數(shù)據(jù),并且發(fā)送處理后的圖像數(shù)據(jù);和 顯示單元,用于從ISP接收處理后的圖像數(shù)據(jù),并且顯示處理后的圖像數(shù)據(jù)。
27.如權(quán)利要求26所述的圖像處理系統(tǒng),還包括: 中央處理單元(CPU),配置為根據(jù)來自ISP的處理后的圖像數(shù)據(jù)和來自功率監(jiān)測模塊的信號中的一個來生 成模式選擇信號,并且發(fā)送模式選擇信號。
28.如權(quán)利要求27所述的圖像處理系統(tǒng),其中,功率監(jiān)測模塊確定圖像處理系統(tǒng)是否具有充足的功率,當圖像處理系統(tǒng)不具有充足的功率時,功率監(jiān)測模塊將信號發(fā)送至CPU。
29.如權(quán)利要求27所述的圖像處理系統(tǒng),其中,圖像傳感器基于來自CPU的模式選擇信號來生成與彩色圖像數(shù)據(jù)或運動圖像數(shù)據(jù)對應的數(shù)字圖像數(shù)據(jù)。
【文檔編號】H04N5/3745GK103533263SQ201310277408
【公開日】2014年1月22日 申請日期:2013年7月3日 優(yōu)先權(quán)日:2012年7月3日
【發(fā)明者】金泰瓚, 金茂永 申請人:三星電子株式會社