两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

信號(hào)處理設(shè)備和信號(hào)處理方法

文檔序號(hào):7652646閱讀:188來源:國(guó)知局
專利名稱:信號(hào)處理設(shè)備和信號(hào)處理方法
技術(shù)領(lǐng)域
本發(fā)明涉及一種信號(hào)處理設(shè)備和一種信號(hào)處理方法,以及一種程序和它的記錄介質(zhì),尤其涉及一種圖像拾取設(shè)備,一種信號(hào)處理設(shè)備和信號(hào)處理方法,以及一種程序和它的記錄介質(zhì),藉此例如為圖像信號(hào)的信號(hào)處理獲得適當(dāng)?shù)膱D像信號(hào),并且圖像信號(hào)受信號(hào)處理的控制,從而產(chǎn)生高質(zhì)量圖像信號(hào)。
背景技術(shù)
圖像拾取設(shè)備的一個(gè)實(shí)例是數(shù)字照相機(jī)(靜態(tài)的或視頻),其具有傳感器裝置(或成像裝置),諸如CCD(電荷耦合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)成像器(亦稱為″CMOS傳感器″),例如它們接收物體光(來自物體的光)并輸出與所接收的光量相對(duì)應(yīng)的圖像信號(hào)。傳感器裝置充當(dāng)一種這樣的傳感器,即通過感測(cè)來自物體的光并對(duì)其執(zhí)行光電變換而以電信號(hào)的形式輸出對(duì)應(yīng)于該物體光的圖像信號(hào)。
例如,使用傳感器裝置的方式有許多種,諸如單-傳感器系統(tǒng)和三-傳感器系統(tǒng)。對(duì)于單-傳感器系統(tǒng)而言,濾色器傳導(dǎo)R(紅)、G(綠)和B(藍(lán))光,例如以稱為拜爾矩陣(Bayer array)的模式排列的光學(xué)濾光器,并且R、G或B光之一被投射入傳感像素。因此,傳感器的每一個(gè)像素接收R、G或B之一的光,并且為一個(gè)像素輸出具有R、G或B之一的信號(hào)分量的圖像信號(hào)。由此,對(duì)于單-傳感器系統(tǒng)而言,構(gòu)成從傳感器獲得的圖像的每一個(gè)像素都只具有R、G或B的一個(gè)信號(hào)分量,因此隨后對(duì)每個(gè)像素不具有的信號(hào)分量執(zhí)行內(nèi)插。例如,注意到一個(gè)像素只包含R信號(hào)(分量),通過一個(gè)鄰近的只具有G信號(hào)的像素和一個(gè)鄰近的只具有B信號(hào)的像素來預(yù)測(cè)所關(guān)心的像素的G信號(hào)和B信號(hào)(例如,請(qǐng)參看,公開號(hào)為2002-135797的日本未審查專利申請(qǐng))。
此外,還有稱為插值算法(demosaic)的信號(hào)處理,其中將從單一CCD獲得的只具有R、G或B信號(hào)之一的像素轉(zhuǎn)換為具有所有R、G和B信號(hào)的像素(例如,參見國(guó)際公開No.00/49812)。
另一方面,對(duì)于三-傳感器系統(tǒng)而言,該傳感器裝置配置有三個(gè)傳感器,每一個(gè)用于R、G和B,因此R傳感器接收R光,G傳感器接收G光,而B傳感器接收B光,以致輸出每個(gè)像素都具有R信號(hào)、G信號(hào)和B信號(hào)三個(gè)分量的圖像信號(hào)。
此刻,對(duì)于具有三-傳感器系統(tǒng)的圖像拾取設(shè)備而言,請(qǐng)注意某一光線,該所關(guān)心的光線通過一個(gè)棱鏡被分成R、G和B光,從而R傳感器接收R光,G傳感器接收G光,而B傳感器接收B光。因此,用于R、G和B的每個(gè)傳感器被置于光學(xué)上等效(相同)的位置上,以便在用于每個(gè)R、G和B的每個(gè)傳感器上的相同位置處接收所關(guān)心光線的R、G和B光。請(qǐng)注意,已經(jīng)提出在圖像拾取設(shè)備中如此放置G傳感器,即,使其相對(duì)于R傳感器和B傳感器偏移1/2像素,以便獲得在垂直方向上提高了分辨率的圖像信號(hào)(例如,請(qǐng)參看,專利申請(qǐng)?zhí)枮?8-256345的日本未審查專利申請(qǐng))。
此外,對(duì)于普通設(shè)備來說,像電荷耦合器件(以下簡(jiǎn)稱為″CCD″)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)成像器(以下簡(jiǎn)稱為″CMOS傳感器″,或″CMOS″)這樣的感測(cè)裝置的輸出被放大,以獲得適當(dāng)級(jí)別(level)的圖像信號(hào)。
傳感器裝置的輸出由諸如AGC(自動(dòng)增益控制器)此類的放大器放大。然而,在物體的對(duì)比度很大的情況下,可能存在使用信號(hào)放大器難于獲得適當(dāng)?shù)膱D像信號(hào)級(jí)別的情形。因此,公開號(hào)為06-086155的日本未審查專利申請(qǐng)公開了一種方法,其通過使用具有不同增益的兩個(gè)放大器放大傳感器裝置的輸出,從而輕易地放大一個(gè)寬的動(dòng)態(tài)范圍。
現(xiàn)在,傳感器裝置的后續(xù)過程中,通常執(zhí)行信號(hào)處理以便改善傳感器裝置輸出的圖像信號(hào)的圖像質(zhì)量。也就是說,傳感器裝置(成像裝置)的CCD或CMOS傳感器接收入射光(在預(yù)定的曝光時(shí)間期間,對(duì)應(yīng)于像素的范圍之內(nèi)的物體光),并輸出對(duì)應(yīng)于所接收光量的圖像信號(hào)。因此,可以說傳感器好像是在預(yù)定的曝光時(shí)間期間內(nèi),對(duì)與像素相對(duì)應(yīng)的范圍內(nèi)的持續(xù)光進(jìn)行時(shí)間序列或空間序列采樣,并且輸出作為圖像信號(hào)(像素值)的采樣結(jié)果。
在這種方式下,傳感器裝置輸出的圖像信號(hào)是時(shí)間序列和空間序列持續(xù)光的采樣結(jié)果,這意味著將丟失包含在原始光中的一部分信息。因此,與原始光相比較而言,傳感器裝置輸出的圖像信號(hào)在圖像質(zhì)量(即信息量)方面將有所衰減。這就是為什么要在傳感器裝置的后續(xù)過程中要執(zhí)行信號(hào)處理,以提高與原始光相比較而言其圖像質(zhì)量已衰減了的圖像信號(hào)的圖像質(zhì)量。
目前,對(duì)于通常配置而言,傳感器裝置被制造為不對(duì)后續(xù)過程中執(zhí)行的信號(hào)處理給予任何考慮,并且其輸出圖像信號(hào)的操作也不對(duì)后續(xù)過程中執(zhí)行的信號(hào)處理給予任何考慮。因此,傳感器裝置具有與后續(xù)過程中中執(zhí)行的信號(hào)處理無關(guān)的屬性,即傳感器裝置沒有考慮后續(xù)過程中執(zhí)行的信號(hào)處理。如此,不僅使得傳感器裝置具有與后續(xù)過程中執(zhí)行的信號(hào)處理的無關(guān)的屬性,而且也使得以統(tǒng)一的方式輸出圖像信號(hào),這意味著通過在傳感器裝置的后續(xù)過程中執(zhí)行信號(hào)處理所能改善的圖像質(zhì)量的程度是有限的。
相反地,如果傳感器裝置能夠輸出適于在后續(xù)過程中執(zhí)行信號(hào)處理的圖像信號(hào),那么通過信號(hào)處理可以獲得更高圖像質(zhì)量的圖像信號(hào)。

發(fā)明內(nèi)容
根據(jù)上述觀點(diǎn)而提出本發(fā)明,并且由此,本發(fā)明的一個(gè)目的是獲得適于信號(hào)處理的圖像信號(hào)并執(zhí)行圖像信號(hào)的信號(hào)處理,藉此能夠獲得高質(zhì)量圖像信號(hào)。
根據(jù)本發(fā)明第一個(gè)方面,一種信號(hào)處理設(shè)備包括傳感器裝置,用于感測(cè)信息并輸出與該信息相對(duì)應(yīng)的信號(hào);以及信號(hào)處理裝置,用于使傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理;其中該傳感器裝置被設(shè)置成與信號(hào)處理相對(duì)應(yīng)的屬性。
一種相應(yīng)于本發(fā)明第一個(gè)方面的信號(hào)處理方法,包括獲取步驟,用于感測(cè)信息并獲取由傳感器裝置輸出與該信息相對(duì)應(yīng)的信號(hào);以及信號(hào)處理步驟,使傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理;其中傳感器裝置被設(shè)置成與信號(hào)處理相對(duì)應(yīng)的屬性。
一種相應(yīng)于本發(fā)明第一個(gè)方面的計(jì)算機(jī)可讀程序,包括獲取步驟代碼,該步驟用于感測(cè)信息,并獲取由傳感器裝置輸出的與該信息相對(duì)應(yīng)的信號(hào);以及信號(hào)處理步驟代碼,該步驟用干使傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理;其中傳感器裝置被設(shè)置成與信號(hào)處理相對(duì)應(yīng)的屬性。
一種相應(yīng)于本發(fā)明第一個(gè)方面的記錄介質(zhì)存儲(chǔ)有計(jì)算機(jī)可讀程序,其中該程序包括獲取步驟代碼,該步驟用于感測(cè)信息,并獲取由傳感器裝置輸出的與該信息相對(duì)應(yīng)的信號(hào);以及信號(hào)處理步驟代碼,該步驟用于使傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理;其中傳感器裝置被設(shè)置成與信號(hào)處理相對(duì)應(yīng)的屬性。
使用根據(jù)本發(fā)明第一個(gè)方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)的記錄介質(zhì),在感測(cè)信息并輸出與該信息相對(duì)應(yīng)的信號(hào)的傳感器裝置所輸出的信號(hào)上執(zhí)行信號(hào)處理。在該情況下,傳感器裝置被設(shè)置成與信號(hào)處理相對(duì)應(yīng)的屬性。
根據(jù)本發(fā)明第二個(gè)方面,一種信號(hào)處理設(shè)備包括傳感器裝置,具有至少一個(gè)用于感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器,和用于輸出該圖像信號(hào)的第二分量的第二傳感器;以及信號(hào)處理裝置,使從傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受信號(hào)處理并輸出第二數(shù)字圖像;其中通過預(yù)先執(zhí)行的學(xué)習(xí),將第一和第二傳感器設(shè)置在與信號(hào)處理相對(duì)應(yīng)的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第二個(gè)方面的信號(hào)處理方法,包括獲取步驟,用于獲取由具有至少感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和輸出該圖像信號(hào)的第二分量的第二傳感器的傳感器裝置輸出的圖像信號(hào);和信號(hào)處理步驟,用于使從傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受信號(hào)處理,并輸出第二數(shù)字圖像信號(hào);其中通過預(yù)先執(zhí)行的學(xué)習(xí),將第一和第二傳感器設(shè)置在與信號(hào)處理相對(duì)應(yīng)的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第二方面的計(jì)算機(jī)可讀程序,包括獲取步驟代碼,用于獲得由具有至少感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和輸出該圖像信號(hào)的第二分量的第二傳感器的傳感器裝置輸出的圖像信號(hào),和信號(hào)處理步驟代碼,用于使從傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受信號(hào)處理,并輸出第二數(shù)字圖像信號(hào);其中通過預(yù)先執(zhí)行的學(xué)習(xí),將第一和第二傳感器設(shè)置在與信號(hào)處理相對(duì)應(yīng)的放置狀態(tài)上。
一種相應(yīng)于本發(fā)明第二方面的記錄介質(zhì)存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括獲取步驟代碼,用于獲得由具有至少感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和輸出該圖像信號(hào)的第二分量的第二傳感器的傳感器裝置輸出的圖像信號(hào);以及信號(hào)處理步驟代碼,用于使從傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受信號(hào)處理,并輸出第二數(shù)字圖像信號(hào);其中通過預(yù)先執(zhí)行的學(xué)習(xí)將第一和第二傳感器設(shè)置在與信號(hào)處理相對(duì)應(yīng)的放置狀態(tài)上。
對(duì)于根據(jù)本發(fā)明第二方面的信號(hào)處理設(shè)備和信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì),所述信號(hào)處理是在第一數(shù)字圖像信號(hào)上執(zhí)行的,藉此輸出第二數(shù)字圖像信號(hào),其中第一數(shù)字圖像信號(hào)是從具有至少一個(gè)感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和輸出該圖像信號(hào)的第二分量的第二傳感器的傳感器裝置的輸出獲得的。在這種情況下,通過預(yù)先執(zhí)行的學(xué)習(xí),第一和第二傳感器被放置在與信號(hào)處理相對(duì)應(yīng)的放置狀態(tài)上。
根據(jù)本發(fā)明的第三方面,一種信號(hào)處理設(shè)備包括信號(hào)處理裝置,用于使從感測(cè)信息并輸出與該信息相對(duì)應(yīng)的信號(hào)的傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理;控制裝置,用于控制傳感器裝置的屬性;評(píng)估裝置,用于評(píng)估有關(guān)具有由控制裝置所控制的屬性的傳感器裝置的輸出進(jìn)行信號(hào)處理的結(jié)果;以及確定裝置,用于根據(jù)評(píng)估裝置的評(píng)估結(jié)果確定與該信號(hào)處理相對(duì)應(yīng)的傳感器裝置的屬性,并輸出該屬性的信息。
一種相應(yīng)于本發(fā)明第三方面的信號(hào)處理方法,包括信號(hào)處理步驟,用于使從感測(cè)信息并輸出與該信息相對(duì)應(yīng)的信號(hào)的傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理;控制步驟,用于控制傳感器裝置的屬性;評(píng)估步驟,用于評(píng)估有關(guān)對(duì)具有在控制步驟中所控制的屬性的傳感器裝置的輸出進(jìn)行信號(hào)處理的結(jié)果;以及,確定步驟,用于根據(jù)評(píng)估步驟的評(píng)估結(jié)果確定與信號(hào)處理相對(duì)應(yīng)的傳感器裝置的屬性,并輸出該屬性的信息。
一種相應(yīng)于本發(fā)明第三方面的計(jì)算機(jī)可讀程序,包括信號(hào)處理步驟代碼,使從感測(cè)信息并輸出與該信息相對(duì)應(yīng)的信號(hào)的傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理的信號(hào)處理;控制步驟代碼,用于控制傳感器裝置的屬性;評(píng)估步驟代碼,用于評(píng)估有關(guān)對(duì)具有在控制步驟中所控制的屬性的傳感器裝置的輸出進(jìn)行信號(hào)處理的結(jié)果;以及,確定步驟代碼,用于根據(jù)代碼的評(píng)估結(jié)果確定與信號(hào)處理相對(duì)應(yīng)的傳感器裝置的屬性,并輸出該屬性的信息。
一種相應(yīng)于本發(fā)明第三方面的記錄介質(zhì)存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括信號(hào)處理步驟代碼,用于使從感測(cè)信息并輸出與該信息相對(duì)應(yīng)的信號(hào)的傳感器裝置輸出的信號(hào)經(jīng)受信號(hào)處理;控制步驟代碼,用于控制傳感器裝置的屬性;評(píng)估步驟代碼,用于評(píng)估有關(guān)對(duì)具有在控制步驟中所控制的屬性的傳感器裝置的輸出進(jìn)行信號(hào)處理的結(jié)果;以及,確定步驟代碼,用于根據(jù)代碼的評(píng)估結(jié)果確定與該信號(hào)處理相對(duì)應(yīng)的傳感器裝置的屬性,并輸出該屬性的信息。
對(duì)于根據(jù)本發(fā)明第三方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì),其中信號(hào)處理是在感測(cè)信息并輸出與該信息相對(duì)應(yīng)的信號(hào)的傳感器裝置輸出的信號(hào)上執(zhí)行的,而在另一方面,傳感器裝置的屬性被控制,并且評(píng)估在具有被控制屬性的傳感器裝置的輸出上進(jìn)行的信號(hào)處理的結(jié)果。根據(jù)評(píng)估結(jié)果確定與信號(hào)處理相對(duì)應(yīng)的傳感器裝置的屬性,并輸出該屬性的信息。
根據(jù)本發(fā)明第四方面,一種信號(hào)處理設(shè)備,包括信號(hào)處理裝置,使從傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受信號(hào)處理,該傳感器裝置具有至少一個(gè)感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和用于輸出該圖像信號(hào)的第二分量的第二傳感器;控制裝置,用于控制第一和第二傳感器的放置狀態(tài);評(píng)估裝置,用于評(píng)估對(duì)傳感器裝置的輸出進(jìn)行信號(hào)處理所獲得的第二數(shù)字圖像信號(hào),其中,第一和第二傳感器的放置狀態(tài)由控制裝置控制;并且根據(jù)評(píng)估裝置的評(píng)估結(jié)果確定與該信號(hào)處理相對(duì)應(yīng)的第一和第二傳感器的放置狀態(tài),并輸出放置狀態(tài)的信息。
一種相應(yīng)于本發(fā)明第四方面的信號(hào)處理方法,包括信號(hào)處理步驟,用于使從傳感器裝置獲得的信號(hào)經(jīng)受信號(hào)處理,該傳感器裝置具有至少一個(gè)感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和輸出圖像信號(hào)的第二分量的第二傳感器;控制步驟,用于控制第一和第二傳感器的放置狀態(tài);評(píng)估步驟,用于評(píng)估通過對(duì)傳感器裝置的輸出進(jìn)行信號(hào)處理所獲得的第二數(shù)字圖像信號(hào),其中第一和第二傳感器的放置狀態(tài)是在控制步驟中控制的;以及確定步驟,用于根據(jù)評(píng)估步驟的評(píng)估結(jié)果確定與該信號(hào)處理相對(duì)應(yīng)的第一和第二傳感器的放置狀態(tài),并輸出該放置狀態(tài)的信息。
一種相應(yīng)于本發(fā)明第四方面的計(jì)算機(jī)可讀程序,包括信號(hào)處理步驟代碼,使從傳感器裝置的輸出中獲得的信號(hào)經(jīng)受信號(hào)處理,該傳感器裝置具有至少一個(gè)感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和輸出圖像信號(hào)的第二分量的第二傳感器;控制步驟代碼,用于控制第一和第二傳感器的放置狀態(tài);評(píng)估步驟代碼,用于評(píng)估對(duì)傳感器裝置的輸出進(jìn)行信號(hào)處理所獲得的第二數(shù)字圖像信號(hào),其中第一和第二傳感器的放置狀態(tài)是在控制步驟中控制的;以及確定步驟代碼,用于根據(jù)評(píng)估步驟的評(píng)估結(jié)果,確定與該信號(hào)處理相對(duì)應(yīng)的第一和第二傳感器的放置狀態(tài),并輸出該放置狀態(tài)的信息。
一種相應(yīng)于本發(fā)明第四方面的記錄介質(zhì)存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括信號(hào)處理步驟代碼,用于使從傳感器裝置的輸出中獲得的信號(hào)經(jīng)受信號(hào)處理,該傳感器裝置具有至少一個(gè)感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量的第一傳感器和輸出圖像信號(hào)的第二分量的第二傳感器;控制步驟代碼,用于控制第一和第二傳感器的放置狀態(tài);評(píng)估步驟代碼,用于評(píng)估通過對(duì)傳感器裝置的輸出進(jìn)行信號(hào)處理所獲得的第二數(shù)字圖像信號(hào),其中第一和第二傳感器的放置狀態(tài)是在控制步驟中控制的;以及確定步驟代碼,用于根據(jù)評(píng)估步驟的評(píng)估結(jié)果,確定與該信號(hào)處理相對(duì)應(yīng)的第一和第二傳感器的放置狀態(tài),并輸出該放置狀態(tài)的信息。
對(duì)于根據(jù)本發(fā)明第四方面的信號(hào)處理設(shè)備、方法、程序和相應(yīng)于該程序的記錄介質(zhì),所述信號(hào)處理是在第一數(shù)字圖像信號(hào)上執(zhí)行的,該第一數(shù)字圖像是從具有至少一個(gè)用于感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào)的第一分量和輸出該圖像信號(hào)的第二分量及輸出第二數(shù)字圖像信號(hào)的傳感器的輸出中獲得的,藉此輸出第二數(shù)字圖像信號(hào),而另一方面,控制第一和第二傳感器的放置狀態(tài),并評(píng)估通過在具有所控制的放置狀態(tài)的傳感器裝置的輸出上執(zhí)行信號(hào)處理而獲得第二數(shù)字圖像。根據(jù)評(píng)估結(jié)果確定與信號(hào)處理相對(duì)應(yīng)的第一或第二傳感器裝置的放置狀態(tài),并輸出該放置狀態(tài)的信息。
根據(jù)本發(fā)明第五個(gè)方面,一種信號(hào)處理設(shè)備包括圖像轉(zhuǎn)換裝置,使從成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像轉(zhuǎn)換處理,該成像裝置具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器;評(píng)估裝置,用于評(píng)估第二數(shù)字圖像信號(hào);控制裝置,根據(jù)評(píng)估裝置的評(píng)估控制第一和第二傳感器至少一個(gè)的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第五方面的信號(hào)處理方法,包括圖像轉(zhuǎn)換步驟,使從成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像轉(zhuǎn)換處理,該成像裝置具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器;評(píng)估步驟,用于評(píng)估第二數(shù)字圖像信號(hào);以及控制步驟,用于根據(jù)評(píng)估步驟的評(píng)估控制第一和第二傳感器至少一個(gè)的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第五方面的計(jì)算機(jī)可讀程序,該程序包括圖像轉(zhuǎn)換步驟代碼,用于使從成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像轉(zhuǎn)換處理,該成像裝置具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器;評(píng)估步驟代碼,評(píng)估第二數(shù)字圖像信號(hào);以及控制步驟代碼,用于根據(jù)評(píng)估步驟的評(píng)估控制第一和第二傳感器至少一個(gè)的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第五方面的記錄介質(zhì)存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括圖像轉(zhuǎn)換步驟代碼,使從成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像轉(zhuǎn)換處理,該成像裝置具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器;評(píng)估步驟代碼,評(píng)估第二數(shù)字圖像信號(hào);以及控制步驟代碼,用于根據(jù)評(píng)估步驟的評(píng)估控制第一和第二傳感器至少一個(gè)的放置狀態(tài)。
對(duì)于根據(jù)本發(fā)明第五方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì),該圖像轉(zhuǎn)換處理是在第一數(shù)字圖像上執(zhí)行的,該第一數(shù)字圖像信號(hào)是從具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器的成像裝置的輸出中獲得的。此外,評(píng)估第二數(shù)字圖像信號(hào),并根據(jù)評(píng)估控制第一和第二傳感器中的至少一個(gè)的放置狀態(tài)。
根據(jù)本發(fā)明第六方面,一種信號(hào)處理設(shè)備包括參數(shù)獲取裝置,用于獲得預(yù)定的參數(shù);控制裝置,用于控制具有至少一個(gè)獲取圖像信號(hào)的第一分量的第一傳感器和根據(jù)預(yù)定參數(shù)獲取圖像信號(hào)的第二分量的第二傳感器的成像裝置的第一傳感器或第二傳感器中的至少一個(gè)的放置狀態(tài);以及圖像轉(zhuǎn)換裝置,用于使從成像裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受與預(yù)定參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào)。
一種相應(yīng)于本發(fā)明第六方面的信號(hào)處理方法,包括獲取步驟,用于獲得預(yù)定的參數(shù);控制步驟,用于控制具有至少一個(gè)獲取圖像信號(hào)的第一分量的第一傳感器和根據(jù)預(yù)定參數(shù)獲取圖像信號(hào)的第二分量的第二傳感器的成像裝置的第一傳感器或第二傳感器中的至少一個(gè)的放置狀態(tài);以及圖像轉(zhuǎn)換步驟,用于使從成像裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受與預(yù)定參數(shù)相對(duì)應(yīng)一個(gè)的圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào)。
一種相應(yīng)于本發(fā)明第六方面的計(jì)算機(jī)可讀程序,包括獲取步驟代碼,用于獲得預(yù)定的參數(shù);控制步驟代碼,用于控制具有至少一個(gè)獲取圖像信號(hào)的第一分量的第一傳感器和根據(jù)預(yù)定參數(shù)獲取圖像信號(hào)的第二分量的第二傳感器的成像裝置的第一傳感器或第二傳感器中的至少一個(gè)的放置狀態(tài);以及圖像轉(zhuǎn)換步驟代碼,使從成像裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受與預(yù)定參數(shù)的圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào)。
一種相應(yīng)于本發(fā)明第六方面的記錄介質(zhì)存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括獲取步驟代碼,用于獲得預(yù)定的參數(shù);控制步驟代碼,控制具有至少一個(gè)獲取圖像信號(hào)的第一分量的第一傳感器和根據(jù)預(yù)定參數(shù)獲取圖像信號(hào)的第二分量的第二傳感器的成像裝置的第一傳感器或第二傳感器中的至少一個(gè)的放置狀態(tài);以及圖像轉(zhuǎn)換步驟代碼,使從成像裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受與預(yù)定參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào)。
對(duì)于根據(jù)本發(fā)明第六方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì)而言,具有至少一個(gè)獲取圖像信號(hào)的第一分量的第一傳感器和獲取圖像信號(hào)的第二分量的第二傳感器的成像裝置的第一傳感器或第二傳感器中的至少一個(gè)的放置狀態(tài)根據(jù)預(yù)定參數(shù)控制,并且在從成像裝置的輸出獲得的第一數(shù)字圖像信號(hào)上執(zhí)行與預(yù)定參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理,藉此輸出第二數(shù)字圖像信號(hào)。
根據(jù)本發(fā)明第七方面,一種信號(hào)處理設(shè)備包括獲取裝置,用于獲得預(yù)定的參數(shù);圖像轉(zhuǎn)換裝置,使從具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器的成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像處理;控制裝置,用于控制第一或第二傳感器中的至少一個(gè)的放置狀態(tài);評(píng)估裝置,用于評(píng)估第二數(shù)字圖像信號(hào);以及存儲(chǔ)裝置,與評(píng)估裝置的評(píng)估相對(duì)應(yīng)以關(guān)聯(lián)的方式存儲(chǔ)預(yù)定參數(shù)和第一或第二傳感器的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第七方面的信號(hào)處理方法,包括獲取步驟,用于獲得預(yù)定的參數(shù);圖像轉(zhuǎn)換步驟,使從具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器的成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像處理;控制步驟,用于控制第一或第二傳感器中的至少一個(gè)的放置狀態(tài);評(píng)估步驟,用于評(píng)估第二數(shù)字圖像信號(hào);以及存儲(chǔ)步驟,與評(píng)估裝置的評(píng)估相對(duì)應(yīng)以關(guān)聯(lián)的方式存儲(chǔ)預(yù)定參數(shù)和第一或第二傳感器的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第七方面的計(jì)算機(jī)可讀程序,包括獲取步驟代碼,用于獲得預(yù)定的參數(shù);圖像轉(zhuǎn)換步驟代碼,使從具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器的成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像處理;控制步驟代碼,控制第一或第二傳感器中的至少一個(gè)的放置狀態(tài);評(píng)估步驟代碼,評(píng)估第二數(shù)字圖像信號(hào);以及存儲(chǔ)步驟代碼,與評(píng)估裝置的評(píng)估相對(duì)應(yīng)以關(guān)聯(lián)的方式存儲(chǔ)預(yù)定參數(shù)和第一或第二傳感器的放置狀態(tài)。
一種相應(yīng)于本發(fā)明第七方面的存儲(chǔ)介質(zhì)存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中程序包括獲取步驟代碼,用于獲得預(yù)定的參數(shù);圖像轉(zhuǎn)換步驟代碼,使從具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器的成像裝置的輸出中獲得的第一數(shù)字圖像經(jīng)受圖像處理;控制步驟代碼,控制第一或第二傳感器中的至少一個(gè)的放置狀態(tài);評(píng)估步驟代碼,評(píng)估第二數(shù)字圖像信號(hào);以及存儲(chǔ)步驟代碼,與評(píng)估裝置的評(píng)估相對(duì)應(yīng)以關(guān)聯(lián)的方式存儲(chǔ)預(yù)定參數(shù)和第一或第二傳感器的放置狀態(tài)。
對(duì)于根據(jù)本發(fā)明第七方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì),該圖像處理是在第一數(shù)字圖像上執(zhí)行的,該第一數(shù)字圖像信號(hào)是從具有至少一個(gè)獲得圖像信號(hào)的第一分量的第一傳感器和獲得圖像信號(hào)的第二分量并輸出第二數(shù)字圖像信號(hào)的第二傳感器的成像裝置的輸出中獲得的。此外,控制第一和第二傳感器中的至少一個(gè)的放置狀態(tài),評(píng)估第二數(shù)字圖像信號(hào),并且與該評(píng)估相對(duì)應(yīng),以關(guān)聯(lián)的方式存儲(chǔ)預(yù)定參數(shù)和第一或第二傳感器的放置狀態(tài)。
根據(jù)本發(fā)明第八方面,一種信號(hào)處理設(shè)備包括圖像轉(zhuǎn)換裝置,使從具有多個(gè)光電轉(zhuǎn)換裝置的傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào);以及評(píng)估裝置,評(píng)估預(yù)定區(qū)域的第一數(shù)字圖像信號(hào);其中與預(yù)定區(qū)域的第一數(shù)字圖像信號(hào)相對(duì)應(yīng)的一部分傳感器裝置被改變?yōu)榕c在評(píng)估裝置所進(jìn)行的評(píng)估相對(duì)應(yīng)的特性(capability)。
一種相應(yīng)于本發(fā)明第八方面的信號(hào)處理方法,包括圖像轉(zhuǎn)換步驟,使從具有多個(gè)光電轉(zhuǎn)換裝置的傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào);以及評(píng)估步驟,評(píng)估預(yù)定區(qū)域的第一數(shù)字圖像信號(hào);其中與預(yù)定區(qū)域的第一數(shù)字圖像信號(hào)相對(duì)應(yīng)的一部分傳感器裝被改變?yōu)榕c在評(píng)估步驟所進(jìn)行的評(píng)估相對(duì)應(yīng)的特性。
一種相應(yīng)于本發(fā)明第八方面的計(jì)算機(jī)可讀程序,包括圖像轉(zhuǎn)換步驟代碼,使從具有多個(gè)光電轉(zhuǎn)換裝置的傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào);以及評(píng)估步驟代碼,評(píng)估預(yù)定區(qū)域的第一數(shù)字圖像信號(hào);其中與預(yù)定區(qū)域的第一數(shù)字圖像信號(hào)相對(duì)應(yīng)的一部分傳感器裝被改變?yōu)榕c在評(píng)估步驟所進(jìn)行的評(píng)估相對(duì)應(yīng)的特性。
一種相應(yīng)于本發(fā)明第八方面的存儲(chǔ)介質(zhì)存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括圖像轉(zhuǎn)換步驟代碼,使從具有多個(gè)光電轉(zhuǎn)換裝置的傳感器裝置的輸出中獲得的第一數(shù)字圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,并輸出第二數(shù)字圖像信號(hào);以及評(píng)估步驟代碼,用于評(píng)估預(yù)定區(qū)域的第一數(shù)字圖像信號(hào);其中與預(yù)定區(qū)域的第一數(shù)字圖像信號(hào)相對(duì)應(yīng)的一部分傳感器裝被改變?yōu)榕c在評(píng)估步驟所進(jìn)行的評(píng)估相對(duì)應(yīng)的特性。
對(duì)于根據(jù)本發(fā)明第八方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì)而言,圖像轉(zhuǎn)換處理是在從傳感器裝置的輸出獲得的第一數(shù)字圖像上執(zhí)行的,并輸出第二數(shù)字圖像信號(hào)。另一方面,評(píng)估預(yù)定區(qū)域的第一數(shù)字圖像信號(hào),以及與預(yù)定區(qū)域的第一數(shù)字圖像信號(hào)相對(duì)應(yīng)的一部分傳感器裝置被改變?yōu)榕c預(yù)定區(qū)域的第一數(shù)字圖像信號(hào)的評(píng)估相對(duì)應(yīng)的特性。
根據(jù)本發(fā)明第九方面,一種執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的信號(hào)處理設(shè)備,包括類分類裝置,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;控制裝置,根據(jù)第一圖像信號(hào)的級(jí)別分布控制成像裝置;抽頭因數(shù)輸出裝置,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);以及計(jì)算裝置,通過使用由控制裝置控制的成像裝置輸出的第一圖像信號(hào)和類分類裝置獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第九方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的信號(hào)處理方法,包括類分類步驟,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;控制步驟,根據(jù)第一圖像信號(hào)的級(jí)別分布控制成像裝置;抽頭因數(shù)輸出步驟,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);計(jì)算步驟,通過使用在控制步驟中所控制的成像裝置輸出的第一圖像信號(hào)和類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第九方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的計(jì)算機(jī)可讀程序,包括類分類步驟代碼,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;控制步驟代碼,根據(jù)第一圖像信號(hào)的級(jí)別分布控制成像裝置;抽頭因數(shù)輸出步驟代碼,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);計(jì)算步驟代碼,通過使用在控制步驟中所控制的成像裝置輸出的第一圖像信號(hào)和類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第九方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的存儲(chǔ)介質(zhì),其存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括類分類步驟代碼,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;控制步驟代碼,根據(jù)第一圖像信號(hào)的級(jí)別分布控制成像裝置;抽頭因數(shù)輸出步驟代碼,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);計(jì)算步驟代碼,通過使用在控制步驟中所控制的成像裝置輸出的第一圖像信號(hào)和類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
對(duì)于根據(jù)本發(fā)明第九方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì)而言,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布來執(zhí)行將第二圖像信號(hào)分到多個(gè)類中之一的類分類,并且根據(jù)第一圖像信號(hào)的級(jí)別分布控制成像裝置。此外,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù),并使用控制裝置控制的成像裝置輸出的第一圖像信號(hào)和類分類裝置獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算,藉此獲得第二圖像信號(hào)。
根據(jù)本發(fā)明第十方面,一種執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的信號(hào)處理設(shè)備,包括類分類裝置,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;活動(dòng)檢測(cè)裝置,檢測(cè)第一圖像信號(hào)的活動(dòng);控制裝置,根據(jù)第一圖像信號(hào)的活動(dòng)控制成像裝置;抽頭因數(shù)輸出裝置,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);以及計(jì)算裝置,通過使用由控制裝置控制的成像裝置輸出的第一圖像信號(hào)和類分類裝置獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第十方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的信號(hào)處理方法,包括類分類步驟,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;活動(dòng)檢測(cè)步驟,檢測(cè)第一圖像信號(hào)的活動(dòng);控制步驟,根據(jù)第一圖像信號(hào)的活動(dòng)控制成像裝置;抽頭因數(shù)輸出步驟,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);計(jì)算步驟,通過使用在控制步驟所控制的成像裝置輸出的第一圖像信號(hào)和類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第十方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的計(jì)算機(jī)可讀程序,包括類分類步驟代碼,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;檢測(cè)步驟代碼,檢測(cè)第一圖像信號(hào)的活動(dòng);控制步驟代碼,根據(jù)第一圖像信號(hào)的活動(dòng)控制成像裝置;抽頭因數(shù)輸出步驟代碼,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);計(jì)算步驟代碼,通過使用在控制步驟中控制的成像裝置輸出的第一圖像信號(hào)和類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第十方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的存儲(chǔ)介質(zhì),其存儲(chǔ)了一種計(jì)算機(jī)可讀程序,其中該程序包括類分類步驟代碼,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;活動(dòng)檢測(cè)步驟代碼,根據(jù)第一圖像信號(hào)的級(jí)別分布檢測(cè)成像裝置;抽頭因數(shù)輸出步驟代碼,為通過學(xué)習(xí)所獲得的每一個(gè)類輸出抽頭因數(shù);計(jì)算步驟代碼,通過使用在控制步驟中控制的成像裝置輸出的第一圖像信號(hào)和類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
對(duì)于根據(jù)本發(fā)明第十方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì),根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布來執(zhí)行將第二圖像信號(hào)分到多個(gè)類中之一的分類。此外,檢測(cè)第一圖像信號(hào)的活動(dòng),并且根據(jù)第一圖像信號(hào)的活動(dòng)控制成像裝置。為通過學(xué)習(xí)所獲得的每一類輸出抽頭因數(shù),并使用控制裝置控制的成像裝置輸出的第一圖像信號(hào)和類分類裝置獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算,藉此獲得第二圖像信號(hào)。
根據(jù)本發(fā)明第十一方面,一種執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的信號(hào)處理設(shè)備,包括類分類裝置,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置產(chǎn)生的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;參數(shù)輸出裝置,輸出表示第二圖像信號(hào)的分辯率的參數(shù);控制裝置,根據(jù)該參數(shù)控制成像裝置;抽頭因數(shù)生成裝置,從通過學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)和該參數(shù)中為每一個(gè)類產(chǎn)生抽頭因數(shù);以及計(jì)算裝置,通過使用控制裝置控制的成像裝置輸出的第一圖像信號(hào)和類分類裝置獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第十一方面的執(zhí)行將第二圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的信號(hào)處理方法,包括類分類步驟,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第二圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;參數(shù)輸出步驟,輸出表示第二圖像信號(hào)的分辯率的參數(shù);控制步驟,根據(jù)該參數(shù)控制成像裝置;抽頭因數(shù)生成步驟,從通過學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)和該參數(shù)中為每一個(gè)類產(chǎn)生抽頭因數(shù);計(jì)算步驟,通過使用在控制步驟中控制的成像裝置輸出的第一圖像信號(hào)和在類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第十一方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的計(jì)算機(jī)可讀程序,包括類分類步驟代碼,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置產(chǎn)生的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;參數(shù)輸出步驟代碼,輸出表示第二圖像信號(hào)的分辯率的參數(shù);控制步驟代碼,根據(jù)該參數(shù)控制成像裝置;抽頭因數(shù)生成步驟代碼,從通過學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)和該參數(shù)中為每一個(gè)類產(chǎn)生抽頭因數(shù);計(jì)算步驟代碼,通過使用在控制步驟中控制的成像裝置輸出的第一圖像信號(hào)和在類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
一種相應(yīng)于本發(fā)明第十一方面的執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理的存儲(chǔ)介質(zhì),其存儲(chǔ)了產(chǎn)生計(jì)算機(jī)可讀程序,其中該程序包括類分類步驟代碼,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置產(chǎn)生的第一圖像信號(hào)的級(jí)別分布將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中;參數(shù)輸出步驟代碼,輸出表示第二圖像信號(hào)的分辯率的參數(shù);控制步驟代碼,根據(jù)該參數(shù)控制成像裝置;抽頭因數(shù)生成步驟代碼,從通過學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)和該參數(shù)中為每一個(gè)類產(chǎn)生抽頭因數(shù);計(jì)算步驟代碼,通過使用在控制步驟中控制的成像裝置輸出的第一圖像信號(hào)和在類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算以獲得第二圖像信號(hào)。
對(duì)于根據(jù)本發(fā)明第十一方面的信號(hào)處理設(shè)備、信號(hào)處理方法、程序和相應(yīng)于該程序的記錄介質(zhì)而言,根據(jù)把來自物體的物體光轉(zhuǎn)換為圖像信號(hào)的成像裝置輸出的第一圖像信號(hào)的級(jí)別分布來執(zhí)行將第二圖像信號(hào)分到多個(gè)類中的一個(gè)之中的分類。此外,輸出表示第二圖像信號(hào)的分辯率的參數(shù),以及根據(jù)該參數(shù)控制成像裝置。此外,從通過學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)和該參數(shù)中為每一個(gè)類產(chǎn)生抽頭因數(shù),使用在控制步驟中控制的成像裝置輸出的第一圖像信號(hào)和在類分類步驟中獲得的類的抽頭因數(shù)來執(zhí)行計(jì)算,藉此獲得第二圖像信號(hào)。


圖1示出了已應(yīng)用本發(fā)明的圖像拾取設(shè)備的一個(gè)具體實(shí)施例的配置實(shí)例的方框圖;圖2示出了信號(hào)處理單元4和輸出單元5的配置實(shí)例的方框圖;
圖3示出了傳感器單元1的配置實(shí)例的方框圖;圖4示出了信號(hào)處理單元11的配置實(shí)例的方框圖;圖5是描述圖像拾取設(shè)備的操作的流程圖;圖6示出了圖像轉(zhuǎn)換單元31的配置實(shí)例的方框圖;圖7示出了因數(shù)輸出單元124的配置實(shí)例的方框圖;圖8示出了學(xué)習(xí)抽頭因數(shù)的學(xué)習(xí)設(shè)備的配置實(shí)例的方框圖;圖9是描述學(xué)習(xí)抽頭因數(shù)的學(xué)習(xí)過程的流程圖;圖10是描述圖像轉(zhuǎn)換單元31的處理的流程圖;圖11示出了作為學(xué)習(xí)放置位置上學(xué)習(xí)設(shè)備的圖像拾取設(shè)備的第一具體實(shí)施例的配置實(shí)例的方框圖;圖12示出了傳感器231的配置實(shí)例的方框圖;圖13A到13D是描述控制R感光器單元256、G感光器單元256G和B感光器單元256B的放置位置的框圖;圖14示出了評(píng)估單元235的配置實(shí)例的方框圖;圖15示出了位置確定單元236的配置實(shí)例的方框圖;圖16是描述圖像拾取設(shè)備作為學(xué)習(xí)設(shè)備的學(xué)習(xí)過程的流程圖;圖17示出了已應(yīng)用本發(fā)明的計(jì)算機(jī)的配置實(shí)例的方框圖;圖18示出了已應(yīng)用本發(fā)明的圖像拾取設(shè)備的第二具體實(shí)施例的配置實(shí)例的方框圖;圖19示出了信號(hào)處理單元404和輸出單元405的配置實(shí)例的方框圖;圖20示出了傳感器單元401的配置實(shí)例的方框圖;圖21A到21D是描述控制R感光器單元423R、G感光器單元423G和B感光器單元423RB的放置位置的框圖;圖22是說明信號(hào)處理單元411的配置實(shí)例的方框圖;圖23是說明評(píng)估單元433的第一配置實(shí)例的方框圖;圖24是說明偏移量和相關(guān)值之間的關(guān)系的框圖;圖25是描述圖像拾取設(shè)備的操作的流程圖;圖26是描述評(píng)估單元433所進(jìn)行的評(píng)估處理的流程圖;
圖27是說明已應(yīng)用本發(fā)明的圖像拾取設(shè)備的第三具體實(shí)施例的配置實(shí)例的方框圖;圖28是說明信號(hào)處理單元411的配置實(shí)例的方框圖;圖29是說明圖像轉(zhuǎn)換單元431的配置實(shí)例的方框圖;圖30是說明因數(shù)輸出單元124的另一配置實(shí)例的方框圖;圖31是描述抽頭因數(shù)更新處理的流程圖;圖32是說明學(xué)習(xí)因數(shù)種子數(shù)據(jù)的學(xué)習(xí)設(shè)備的第一配置實(shí)例的方框圖;圖33是描述學(xué)習(xí)因數(shù)種子數(shù)據(jù)的學(xué)習(xí)方法的框圖;圖34是描述學(xué)習(xí)因數(shù)種子數(shù)據(jù)的學(xué)習(xí)過程的流程圖;圖35是描述學(xué)習(xí)因數(shù)種子數(shù)據(jù)的學(xué)習(xí)方法的框圖;圖36是說明學(xué)習(xí)因數(shù)種子數(shù)據(jù)的學(xué)習(xí)設(shè)備的第二配置實(shí)例的方框圖;圖37是說明信號(hào)處理單元411的配置實(shí)例的方框圖;圖38是說明控制單元211的配置實(shí)例的方框圖;圖39是描述圖像拾取設(shè)備的操作的流程圖;圖40是說明學(xué)習(xí)參數(shù)表的學(xué)習(xí)設(shè)備的配置實(shí)例的方框圖;圖41是說明位置確定單元535的配置實(shí)例的方框圖;圖42是描述學(xué)習(xí)一種參數(shù)表的學(xué)習(xí)過程的流程圖;圖43是描述對(duì)位置確定單元535進(jìn)行評(píng)估處理的流程圖;圖44是說明已應(yīng)用本發(fā)明的圖像拾取設(shè)備的第四具體實(shí)施例的配置實(shí)例的方框圖;圖45A和45B是描述傳感器單元601根據(jù)信號(hào)處理單元601輸出的控制信號(hào)而在特性上變化的框圖;圖46是說明傳感器601的配置實(shí)例的方框圖;圖47是說明信號(hào)處理單元604的配置實(shí)例的方框圖;圖48是說明級(jí)別評(píng)估單元623的第一配置實(shí)例的方框圖;圖49是描述圖像拾取設(shè)備的操作的流程圖;圖50是描述級(jí)別評(píng)估單元623的處理的流程圖;
圖51是描述圖像拾取設(shè)備的操作的流程圖;圖52是說明級(jí)別評(píng)估單元623的第二配置實(shí)例的方框圖;圖53是說明級(jí)別評(píng)估單元623的第三配置實(shí)例的方框圖;圖54是說明圖像轉(zhuǎn)換處理目標(biāo)的區(qū)域的框圖;圖55是說明已應(yīng)用本發(fā)明的傳感器系統(tǒng)的第五具體實(shí)施例的配置實(shí)例的方框圖;圖56是說明DRC電路802的第一配置實(shí)例的方框圖;圖57A和57B分別是說明分類抽頭和預(yù)測(cè)抽頭的框圖;圖58A到58C是說明已應(yīng)用本發(fā)明的傳感器系統(tǒng)的配置實(shí)例的框圖;圖59A和59B是描述控制聚光鏡852的位置的框圖;圖60A和60B是描述分類代碼的框圖;圖61是描述DRC電路802的處理的流程圖;圖62是描述控制信息產(chǎn)生處理的流程圖;圖63A到63C是描述控制聚光鏡852的位置的框圖;圖64是描述控制信息產(chǎn)生處理的流程圖;圖65是說明DRC電路802的第二配置實(shí)例的方框圖;圖66A和66B是描述分類抽頭的動(dòng)態(tài)范圍的框圖;圖67是描述DRC電路802的處理的流程圖;圖68是描述控制信息產(chǎn)生處理的流程圖;圖69是描述控制信息產(chǎn)生處理的流程圖;以及圖70是說明DRC電路802的第三配置實(shí)例的方框圖。
具體實(shí)施例方式
接下來,將描述本發(fā)明的具體實(shí)施例。
第一具體實(shí)施例圖1示出了已應(yīng)用本發(fā)明的圖像拾取設(shè)備的第一具體實(shí)施例的配置實(shí)例。請(qǐng)注意圖1所示的這個(gè)圖像拾取設(shè)備可以是例如數(shù)字式靜態(tài)照相機(jī)或攝像機(jī)。假定在這里該圖像拾取設(shè)備是一種數(shù)字?jǐn)z像機(jī)。
傳感器單元1包括多個(gè)與像素相對(duì)應(yīng)的光電轉(zhuǎn)換元件,用于感測(cè)從物體發(fā)出的物體光,并輸出與該物體光相對(duì)應(yīng)的圖像信號(hào)。也就是說,傳感器單元1接收物體光并向信號(hào)調(diào)整單元2提供與所接收的光量相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào)。
信號(hào)調(diào)整單元2執(zhí)行相關(guān)的復(fù)式抽樣(CDS),以消除包含在傳感器單元1輸出的圖像信號(hào)中的所謂的復(fù)位噪音,并且將獲得的作為處理結(jié)果的圖像信號(hào)提供給A/D轉(zhuǎn)換單元3。A/D轉(zhuǎn)換單元3對(duì)信號(hào)調(diào)整單元2提供的圖像信號(hào)執(zhí)行模數(shù)轉(zhuǎn)換,即量化圖像信號(hào)并將所獲得的作為其結(jié)果的數(shù)字圖像信號(hào)提供給信號(hào)處理單元4。
信號(hào)處理單元4將A/D轉(zhuǎn)換單元3提供的數(shù)字圖像信號(hào)(以下簡(jiǎn)稱為″圖像信號(hào)″)作為第一圖像信號(hào),并使第一圖像信號(hào)經(jīng)受預(yù)定的圖像轉(zhuǎn)換處理,并向輸出單元5輸出作為其結(jié)果的數(shù)字圖像信號(hào)作為第二圖像信號(hào)。
輸出單元5接收信號(hào)處理單元4輸出的第二圖像信號(hào),并輸出這些第二圖像信號(hào)。也就是說,輸出單元5從未示出的輸出端輸出來自信號(hào)處理單元4的第二圖像信號(hào),或者將其顯示在未示出的監(jiān)視器上。此外,輸出單元5將第二圖像信號(hào)存儲(chǔ)在未示出的記錄介質(zhì)中,諸如光盤、磁盤、磁光盤、磁帶,半導(dǎo)體存儲(chǔ)器等等,或者通過如電話線、因特網(wǎng)、局域網(wǎng)或其他的如電纜或無線傳輸介質(zhì)發(fā)送這些圖像信號(hào)。
對(duì)于上述配置的圖像拾取設(shè)備而言,物體光是在傳感器單元1處接收的,并且通過信號(hào)調(diào)整單元2和A/D轉(zhuǎn)換單元3,將與所接收到的光量相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào)提供給信號(hào)處理單元4。信號(hào)處理單元4使傳感器單元1通過信號(hào)調(diào)整單元2和A/D轉(zhuǎn)換單元3提供的圖像信號(hào)作為第一圖像信號(hào)經(jīng)受信號(hào)處理,該信號(hào)處理是像例如通過提高分辯率來提高圖像質(zhì)量的圖像轉(zhuǎn)換處理,并且將已藉此提高了圖像質(zhì)量的第二圖像信號(hào)提供給輸出單元5。在輸出單元5中,輸出信號(hào)處理單元4提供的第二圖像信號(hào)。
此時(shí),傳感器單元1被設(shè)置為與在信號(hào)處理單元4處執(zhí)行的信號(hào)處理相對(duì)應(yīng)的屬性,即設(shè)置屬性以使從傳感器單元1輸出適合于信號(hào)處理單元4執(zhí)行信號(hào)處理的圖像信號(hào)。
更具體地說,傳感器單元1是一種三-傳感器系統(tǒng)傳感器裝置,例如包括三個(gè)用于獲得圖像信號(hào)的R、G和B分量(隨后所述的R感光器單元23R、G感光器單元23G和B感光器單元23B)的傳感器。因此,傳感器單元1為每個(gè)像素輸出具有R信號(hào)、G信號(hào)和B信號(hào)三個(gè)分量的圖像信號(hào)。此外,事先通過隨后所描述的學(xué)習(xí)來獲得用于從傳感器單元1輸出適合于信號(hào)處理單元4執(zhí)行信號(hào)處理的圖像信號(hào)的與傳感器單元1的屬性有關(guān)的信息,并且將傳感器單元1設(shè)置為該屬性。具體地說,傳感器單元1的三個(gè)傳感器中的一個(gè)或多個(gè)傳感器的放置狀態(tài)被設(shè)置為下述狀態(tài)即由此傳感器單元1輸出適于信號(hào)處理單元4執(zhí)行信號(hào)處理的圖像信號(hào),即被設(shè)置為與信號(hào)處理單元4執(zhí)行的信號(hào)處理相對(duì)應(yīng)的放置狀態(tài)。此刻,傳感器放置狀態(tài)包括傳感器的放置位置,和傳感器的空間角度(轉(zhuǎn)動(dòng)狀態(tài))。然而,請(qǐng)注意對(duì)于當(dāng)前具體實(shí)施例而言,為了便于描述,傳感器單元1的傳感器的放置位置將被作為傳感器單元1的屬性利用。當(dāng)然,這并不意味著傳感器的空間角度不能同樣作為傳感器單元1的屬性來使用。
如上所述,傳感器單元1被設(shè)置為與信號(hào)處理單元4執(zhí)行的信號(hào)處理相對(duì)應(yīng)的屬性,藉此傳感器單元1輸出適于信號(hào)處理單元4執(zhí)行信號(hào)處理的圖像信號(hào)。從而,在信號(hào)處理單元4使圖像信號(hào)經(jīng)受信號(hào)處理可以獲得高質(zhì)量圖像信號(hào)。
圖2是說明圖1所示的信號(hào)處理單元4和輸出單元5的配置實(shí)例的方框圖;信號(hào)處理單元4包括三個(gè)信號(hào)處理單元,11R、11G和11B。信號(hào)處理單元11R接收A/D轉(zhuǎn)換單元3提供的具有R、G和B信號(hào)的第一圖像信號(hào),并使該第一圖像信號(hào)經(jīng)受信號(hào)處理,藉此獲得第二圖像信號(hào)的R信號(hào)(分量)將其輸出到輸出單元5。信號(hào)處理單元11G接收A/D轉(zhuǎn)換單元3提供的具有R、G和B信號(hào)的第一圖像信號(hào),并使第一圖像信號(hào)經(jīng)受信號(hào)處理,藉此獲得第二圖像信號(hào)的G信號(hào)(分量)將其輸出到輸出單元5。信號(hào)處理單元11B接收A/D轉(zhuǎn)換單元3提供的具有R、G和B信號(hào)的第一圖像信號(hào),并使第一圖像信號(hào)經(jīng)受信號(hào)處理,藉此獲得第二圖像信號(hào)的B信號(hào)(分量),然后將其輸出到輸出單元5。
輸出單元5包括輸出單元12R、12G和12B。輸出單元12R、12G和12B分別接收并輸出信號(hào)處理單元11R、11G和11B輸出的第二圖像信號(hào)的R信號(hào)、G信號(hào)和B信號(hào)。請(qǐng)注意,在下文中,只要適當(dāng)?shù)臅r(shí)候,信號(hào)處理單元11R、11G和/或11B也可以是整體或個(gè)體,簡(jiǎn)稱為″信號(hào)處理單元11″。
接著,圖3是說明圖1和2所示的傳感器單元1的配置實(shí)例的方框圖;物體光射入透鏡21,并且透鏡21通過棱鏡22將物體光聚集到R感光器單元23R、G感光器單元23G和B感光器單元23B的每一個(gè)上。也就是說,射入透鏡21中的物體光被發(fā)射到棱鏡22。棱鏡22將來自透鏡21的物體光分解為R、G和B光,并且分別沿R感光器單元23R、G感光器單元23G和B感光器單元23B所處位置的方向發(fā)射R、G和B光。
R感光器單元23R、G感光器單元23G和B感光器單元23B被配置為光電轉(zhuǎn)換裝置,像例如光電二級(jí)管此類,其從棱鏡22接收R、G和B光,并藉此產(chǎn)生作為與所接收的光量相對(duì)應(yīng)的電信號(hào)形式的R信號(hào)、G信號(hào)和B信號(hào),然后將這些信號(hào)輸出到信號(hào)調(diào)整單元2。
可以用于R感光器單元23R、G感光器單元23G和B感光器單元23B的裝置的一個(gè)實(shí)例是CCD(電荷耦合器件)。但是,請(qǐng)注意R感光器單元23R、G感光器單元23G和B感光器單元23B絕非僅限于CCD,其也可以使用CMOS傳感器,或HARP(高增益雪崩沖擊非晶態(tài)光電導(dǎo)體)來替換,該HARP是利用發(fā)生在a-Se(非晶態(tài)硒)半導(dǎo)體的光電導(dǎo)靶中的電子雪崩現(xiàn)象的顯象管。
對(duì)于上述配置的傳感器單元1而言,R感光器單元23R、G感光器單元23G和B感光器單元23B的放置位置被設(shè)置到適于在信號(hào)處理單元4的信號(hào)處理單元11R、11G和11B中進(jìn)行信號(hào)處理的圖像信號(hào)的RGB信號(hào)被輸出的位置上。也就是說,R感光器單元23R、G感光器單元23G和B感光器單元23B被放置在與信號(hào)處理單元4執(zhí)行信號(hào)處理相對(duì)應(yīng)的位置上。此刻,例如通過執(zhí)行隨后所描述的學(xué)習(xí)來事先獲得與信號(hào)處理單元4執(zhí)行信號(hào)處理相對(duì)應(yīng)的R感光器單元23R、G感光器單元23G和B感光器單元23B的放置位置。
在這里為了便于描述,假定整個(gè)R感光器單元23R的放置位置已被設(shè)置到通過學(xué)習(xí)獲得的位置上。此外,假定整個(gè)G感光器單元23G和B感光器單元23B的放置位置已被設(shè)置到通過學(xué)習(xí)獲得的位置上。然而,應(yīng)注意為了將R感光器單元23R的每一像素放置在通過學(xué)習(xí)獲得的位置上,可以使用MEMS(微機(jī)電系統(tǒng))技術(shù)來進(jìn)行安排,由此所利用的R感光器單元23R是一個(gè)在其中像素的放置位置基本可以改變(移動(dòng))的感光器單元,R感光器單元23R的每一像素的放置位置都是通過學(xué)習(xí)預(yù)先獲得的,且對(duì)應(yīng)于在信號(hào)處理單元4處進(jìn)行的信號(hào)處理。這對(duì)于G感光器單元23G和B感光器單元23B也同樣成立。
接著,圖4是示出了2所示的信號(hào)處理單元11的配置實(shí)例;已向信號(hào)處理單元11R、11G和11B提供由傳感器1輸出的并經(jīng)過圖像校正單元2和A/D轉(zhuǎn)換單元3的作為第一圖像信號(hào)的圖像信號(hào)。
信號(hào)處理單元11R包括圖像轉(zhuǎn)換單元31R。提供給信號(hào)處理單元11R的第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元31R。圖像轉(zhuǎn)換單元31R使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,以例如通過提高分辯率來提高圖像質(zhì)量,并向輸出單元5提供作為信號(hào)處理結(jié)果的具有提高圖像質(zhì)量的R數(shù)字圖像信號(hào)作為第二圖像信號(hào)的R信號(hào)。
信號(hào)處理單元11G包括圖像轉(zhuǎn)換單元31G。提供給信號(hào)處理單元11G的第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元31G。圖像轉(zhuǎn)換單元31G使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,以例如通過提高分辯率來提高圖像質(zhì)量,并向輸出單元5提供作為信號(hào)處理結(jié)果的具有提高圖像質(zhì)量的G數(shù)字圖像信號(hào)作為第二圖像信號(hào)的G信號(hào)。
信號(hào)處理單元11B包括圖像轉(zhuǎn)換單元31B和圖像存儲(chǔ)單元32B。提供給信號(hào)處理單元11B的第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元31B。圖像轉(zhuǎn)換單元31B使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,以例如通過提高分辯率來提高圖像質(zhì)量,并向輸出單元5提供作為信號(hào)處理結(jié)果的具有提高圖像質(zhì)量的B數(shù)字圖像信號(hào)作為第二圖像信號(hào)的B信號(hào)。
應(yīng)注意,圖像轉(zhuǎn)換單元31R、31G和31B具有相同的配置,并因此可視情況而合稱或分稱為″圖像轉(zhuǎn)換單元31″。
緊接著,將參考圖5中的流程圖來描述圖1和2所示的圖像拾取設(shè)備的操作。
對(duì)于圖像拾取設(shè)備來說,首先,在步驟S1中,信號(hào)處理單元4從傳感器單元1獲得將要經(jīng)受信號(hào)處理的第一圖像信號(hào)。也就是說,在步驟S1中,傳感器單元1接收物體光,然后執(zhí)行光電轉(zhuǎn)換,藉此獲得電信號(hào)形式的圖像信號(hào)(即,使物體成像),并將圖像信號(hào)提供給信號(hào)調(diào)整單元2。信號(hào)調(diào)整單元2使傳感器單元1提供的圖像信號(hào)經(jīng)受CDS處理,然后將這些圖像信號(hào)提供給A/D轉(zhuǎn)換單元3。A/D轉(zhuǎn)換單元3對(duì)信號(hào)調(diào)整單元2提供的圖像信號(hào)執(zhí)行A/D轉(zhuǎn)換,然后將其作為第一圖像信號(hào)提供給信號(hào)處理單元4,從而,信號(hào)處理單元4獲得第一圖像信號(hào),然后,流程步驟S1進(jìn)行到步驟S2。
在步驟S2中,在信號(hào)處理單元4處,信號(hào)處理單元11的圖像轉(zhuǎn)換單元31(圖4)使A/D轉(zhuǎn)換單元3提供的第一圖像信號(hào)經(jīng)受作為信號(hào)處理的圖像轉(zhuǎn)換處理,藉此在第一圖像信號(hào)之上產(chǎn)生圖像質(zhì)量提高的第二圖像信號(hào),然后流程進(jìn)行到步驟S3。
在步驟S3中,信號(hào)處理單元11輸出在步驟S2獲得的第二圖像信號(hào)給輸出單元5,藉此完成一個(gè)幀(或場(chǎng))的處理。對(duì)于圖像拾取設(shè)備而言,重復(fù)根據(jù)圖5的流程圖的處理,直到例如用戶下達(dá)停止圖像拾取的命令。
如上所述,傳感器單元1(圖3)的R感光器單元23R、G感光器單元23G和B感光器單元23B的放置位置已被設(shè)置到適于在信號(hào)處理單元4(信號(hào)處理單元11R、11G和11B)進(jìn)行信號(hào)處理的RGB圖像信號(hào)被輸出的位置上。也就是說,R感光器單元23R、G感光器單元23G和B感光器單元23B被放置在與信號(hào)處理單元4的信號(hào)處理相對(duì)應(yīng)的位置上。因此,適于在信號(hào)處理單元4進(jìn)行信號(hào)處理的圖像信號(hào)從傳感器單元1輸出,如此通過使圖像信號(hào)經(jīng)受信號(hào)處理可以獲得高質(zhì)量圖像。
接著,圖6是說明圖4所示的圖像轉(zhuǎn)換單元31的配置實(shí)例的方框圖。圖像轉(zhuǎn)換單元31使提供給其的第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,并輸出通過圖像轉(zhuǎn)換處理而獲得的第二圖像信號(hào)。
此刻,如果我們例如說,第一圖像信號(hào)是低分辨率圖像信號(hào),而第二圖像信號(hào)是高分辨率圖像信號(hào),那么圖像轉(zhuǎn)換處理可以說成是分辯率提高處理。此外,如果我們例如說,第一圖像信號(hào)是低-S/N(信號(hào)/噪音,信噪比)圖像信號(hào),而第二圖像信號(hào)是高-S/N圖像信號(hào),那么圖像轉(zhuǎn)換處理可以說成是噪音去除處理。此外,如果我們例如說,第一圖像信號(hào)是預(yù)定大小的圖像信號(hào),而第二圖像信號(hào)是大于或小于第一圖像信號(hào)的大小的圖像信號(hào),那么圖像轉(zhuǎn)換處理也可以說成是圖像縮放(擴(kuò)大或縮小)處理。
在圖像轉(zhuǎn)換單元31中,要經(jīng)受圖像轉(zhuǎn)換處理的第一圖像信號(hào)被提供給預(yù)測(cè)抽頭提取單元121和特征提取單元122。
預(yù)測(cè)抽頭提取單元121順序地獲得構(gòu)成第二圖像信號(hào)的像素作為所關(guān)心像素,并且進(jìn)一步提取構(gòu)成第一圖像信號(hào)的幾個(gè)像素(其像素值)作為預(yù)測(cè)抽頭。具體地說,預(yù)測(cè)抽頭提取單元121從第一圖像信號(hào)提取在第一圖像信號(hào)中的與所關(guān)心的像素相對(duì)應(yīng)的第一圖像信號(hào)中的某一像素(例如,第一圖像信號(hào)中的最接近所關(guān)心的空間序列和時(shí)間序列像素的像素)的鄰近空間序列或時(shí)間序列的多個(gè)像素,作為預(yù)測(cè)抽頭。預(yù)測(cè)抽頭提取單元121然后將有關(guān)所關(guān)心的像素的預(yù)測(cè)抽頭提供給計(jì)算單元125。
特征提取單元122使用第一圖像信號(hào)提取所關(guān)心像素的特征,并將該特征提供給類分類單元123。可被使用的所關(guān)心像素的實(shí)例包括第一圖像信號(hào)中的與所關(guān)心的像素相對(duì)應(yīng)的第一圖像信號(hào)中某一像素的鄰近空間序列或時(shí)間序列的多個(gè)像素的像素值的級(jí)別分布,等等。
類分類單元123執(zhí)行類分類,以根據(jù)來自特征提取單元122的所關(guān)心像素的特征,將所關(guān)心的像素分到多個(gè)類中的一個(gè),并且將作為結(jié)果所獲得的與該類相對(duì)應(yīng)的分類代碼提供給因數(shù)輸出單元124。也就是說,在所關(guān)心的像素的特征由學(xué)者值,或通過量化學(xué)者值而獲得的量化值表示時(shí),類分類單元123輸出學(xué)者值本身作為分類代碼。此外,在所關(guān)心像素的特征由多個(gè)分量構(gòu)成的矢量值表示時(shí),類分類單元123輸出通過量化矢量值而獲得的值,或是通過ADRC(自適應(yīng)動(dòng)態(tài)范圍編碼)獲得的值作為分類代碼。
此刻,對(duì)于K位ADRC而言,例如檢測(cè)構(gòu)成表示所關(guān)心像素的特征的矢量值的分量的最大值MAX和最小值MIN,并且使用作為一組的局部動(dòng)態(tài)范圍的DR=MAX-MIN,根據(jù)這個(gè)動(dòng)態(tài)范圍DR將構(gòu)成所關(guān)心像素的特征的分量再次量化成K位。也就是說,最小值MIN被從構(gòu)成所關(guān)心像素的特征的分量中減去,并且被減的值除(被量化)DR/2K。在其中根據(jù)預(yù)定順序排列構(gòu)成所關(guān)心像素的特征的K位分量的一位串被作為ADRC代碼輸出。因此,在表示所關(guān)心像素的特征的矢量值經(jīng)受1位ADRC處理的情況下,構(gòu)成所關(guān)心像素的特征的每個(gè)分量除以最大值MAX和最小值MIN的平均值(舍入到小數(shù)),借此每個(gè)分量變?yōu)橐粋€(gè)位(即,二進(jìn)位化)。其中以預(yù)定順序排列1位分量的位串被作為ADRC代碼輸出。類分類單元123輸出例如通過對(duì)所關(guān)心像素的特征進(jìn)行ADRC處理所獲得的ADRC代碼作為分類代碼。
因數(shù)輸出單元124存儲(chǔ)每一類的抽頭因數(shù),并且此外對(duì)已存儲(chǔ)的抽頭因數(shù),向計(jì)算單元125輸出類分類單元123提供的分類代碼的類的抽頭因數(shù)。應(yīng)當(dāng)注意的是,在這里抽頭因數(shù)等于在數(shù)字濾波器中的所謂抽頭中乘以輸入數(shù)據(jù)的因數(shù)。
計(jì)算單元125獲得預(yù)測(cè)抽頭提取單元121輸出的預(yù)測(cè)抽頭和因數(shù)輸出單元124輸出的抽頭因數(shù),并且使用預(yù)測(cè)抽頭和抽頭因數(shù)執(zhí)行預(yù)定的預(yù)測(cè)計(jì)算,以獲得所關(guān)心像素的真實(shí)值的預(yù)測(cè)值。因此,計(jì)算單元125獲得并輸出所關(guān)心像素的像素值(更準(zhǔn)確地說,或它的預(yù)測(cè)值),即構(gòu)成第二圖像信號(hào)的像素的像素值。
接著,圖7是說明圖6所示的因數(shù)輸出單元124的配置實(shí)例的方框圖。在圖7中,因數(shù)輸出單元124包括因數(shù)存儲(chǔ)器181。因數(shù)存儲(chǔ)器181存儲(chǔ)通過隨后所述學(xué)習(xí)而預(yù)先獲得的每個(gè)類的抽頭因數(shù)。一旦類分類單元123已將分類代碼提供到該因數(shù)存儲(chǔ)器181,因數(shù)存儲(chǔ)器181就讀出該分類代碼的抽頭因數(shù),并將其提供給計(jì)算單元125。
接著,將描述在圖6所示的計(jì)算單元125中執(zhí)行的預(yù)測(cè)計(jì)算和用于預(yù)測(cè)計(jì)算的存儲(chǔ)在圖7所示的因數(shù)存儲(chǔ)器181中的抽頭因數(shù)的學(xué)習(xí)。
假定我們有作為第二圖像信號(hào)的高圖像質(zhì)量圖像信號(hào)和作為第一圖像信號(hào)的低質(zhì)量信號(hào),該低質(zhì)量信號(hào)是通過使用降低其分辨率的LPF(低通濾波器)對(duì)高圖像質(zhì)量圖像信號(hào)進(jìn)行過濾而獲得。現(xiàn)在我們將考慮這樣的例子,即從低圖像質(zhì)量圖像信號(hào)提取預(yù)測(cè)抽頭,并根據(jù)預(yù)定的預(yù)測(cè)計(jì)算,使用預(yù)測(cè)抽頭和抽頭因數(shù)來獲得高圖像質(zhì)量像素的像素值。
例如使用線性基本預(yù)測(cè)計(jì)算作為預(yù)定的預(yù)測(cè)計(jì)算,通過以下線性基本表達(dá)式可以獲得高圖像質(zhì)量像素的像素值y。
y=Σn=1Nwnxn---(1)]]>其中xn表示構(gòu)成有關(guān)高圖像質(zhì)量像素y的預(yù)測(cè)抽頭的第n個(gè)低圖像質(zhì)量圖像信號(hào)像素的像素值(以下視情況稱為″低圖像質(zhì)量像素″),和wn表示要與第n個(gè)低圖像質(zhì)量像素的像素值相乘的第n個(gè)抽頭因數(shù)。請(qǐng)注意,在表達(dá)式(1)中,預(yù)測(cè)抽頭包括N個(gè)低圖像質(zhì)量像素x1、x2等等直到xn。
此刻,高圖像質(zhì)量像素的像素值y可以通過二次表達(dá)式或更高階的表達(dá)式來獲得,而不是表達(dá)式(1)的線性基本表達(dá)式。
對(duì)于由yk表示的第k個(gè)采樣的高圖像質(zhì)量像素的像素值的真實(shí)值和從表達(dá)式1獲得的真實(shí)值yk的預(yù)測(cè)值yk′而言,它的預(yù)測(cè)誤差ek如以下表達(dá)式示出。
ek=y(tǒng)k-yk′(2)
在這里,表達(dá)式(2)中的預(yù)測(cè)值yk′是根據(jù)表達(dá)式(1)獲得的,因此根據(jù)表達(dá)式(1)代入表達(dá)式(2)的yk′中而得到下列表達(dá)式。
ek=yk-(Σn=1Nwnxn,k)---(3)]]>請(qǐng)注意,在表達(dá)式(3)中,xn,k表示構(gòu)成有關(guān)第k個(gè)采樣的高圖像質(zhì)量像素的預(yù)測(cè)抽頭的第n個(gè)低圖像質(zhì)量像素。
此刻,雖然在表達(dá)式(3)(或在表達(dá)式(2))中具有預(yù)測(cè)誤差ek為0的抽頭因數(shù)wn對(duì)于預(yù)測(cè)高圖像質(zhì)量像素是最佳的,但是為所有高圖像質(zhì)量像素獲得像抽頭因數(shù)wn這樣的抽頭因數(shù)通常是很困難的。因此,使用作為最佳抽頭因數(shù)wn的標(biāo)準(zhǔn)表示的最小平方法,可以通過最小化下列表達(dá)式表示的誤差平方和E來獲得最佳抽頭因數(shù)wn。
E=Σk=1Kek2---(4)]]>其中K表示多組高圖像質(zhì)量像素yk和構(gòu)成有關(guān)高圖像質(zhì)量像素yk的預(yù)測(cè)抽頭的低圖像質(zhì)量像素x1,k、x2,k等直到xn,k的采樣數(shù)量(即,學(xué)習(xí)采樣的數(shù)量)。
使用wn獲得表達(dá)式(4)中的誤差平方和E的最小值(極小值),其中使用抽頭因數(shù)wn對(duì)和E進(jìn)行偏微分而得到0,如表達(dá)式(5)所示。
∂E∂wn=e1∂e1∂wn+e2∂e2∂wn+···+ek∂en∂wn=0(n=1,2,···,N)---(5)]]>因此,使用wn對(duì)上述表達(dá)式(3)進(jìn)行偏微分而給出了下列表達(dá)式。
∂ek∂w1=-x1,k,∂ek∂w2=-x2,k,···,∂ek∂wN=-xN,k,(k=1,2,···,K)---(6)]]>下列表達(dá)式是根據(jù)表達(dá)式(5)和(6)獲得的。
Σk=1Kekx1,k=0,Σk=1Kekx2,k=0,···Σk=1KekxN,k=0---(7)]]>將表達(dá)式(3)代入表達(dá)式(7)中的ek中,從而使得表達(dá)式(7)表示為表達(dá)式(8)的正規(guī)方程式。
例如,使用消去計(jì)算(高斯-喬丹消去法),表達(dá)式(8)的正規(guī)方程式可以解算出抽頭因數(shù)wn。為每個(gè)類解算表達(dá)式(8)的正規(guī)方程式,使得能夠?yàn)槊總€(gè)類獲得最佳抽頭因數(shù)wn(在這種情況下,該抽頭因數(shù)使誤差平方和E最小)。
緊接著,圖8說明執(zhí)行學(xué)習(xí)以通過為每個(gè)類解算表達(dá)式(8)的正規(guī)方程式而獲得每個(gè)類的抽頭因數(shù)wn的學(xué)習(xí)設(shè)備的配置實(shí)例。
用于學(xué)習(xí)抽頭因數(shù)wn的學(xué)習(xí)圖像信號(hào)被輸入學(xué)習(xí)設(shè)備。在這里,學(xué)習(xí)圖像信號(hào)的一個(gè)實(shí)例為高分辨率的高圖像質(zhì)量圖像信號(hào)。學(xué)習(xí)圖像信號(hào)被提供給學(xué)習(xí)設(shè)備的導(dǎo)師數(shù)據(jù)生成單元131和學(xué)生數(shù)據(jù)生成單元133。
導(dǎo)師數(shù)據(jù)生成單元131從供給其的學(xué)習(xí)圖像信號(hào)中生成導(dǎo)師數(shù)據(jù),并將它們提供給導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132。也就是說,在這里,導(dǎo)師數(shù)據(jù)生成單元131將高圖像質(zhì)量圖像信號(hào)作為學(xué)習(xí)圖像信號(hào)不加變化的提供到導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132作為導(dǎo)師數(shù)據(jù)。導(dǎo)師數(shù)據(jù)存儲(chǔ)單元131存儲(chǔ)由導(dǎo)師數(shù)據(jù)生成單元131生成的作為導(dǎo)師數(shù)據(jù)的高圖像質(zhì)量圖像信號(hào)。
學(xué)生數(shù)據(jù)生成單元133從學(xué)習(xí)圖像信號(hào)中生成學(xué)生數(shù)據(jù),并將這個(gè)學(xué)生數(shù)據(jù)提供給學(xué)生數(shù)據(jù)存儲(chǔ)單元134。也就是說,學(xué)生數(shù)據(jù)生成單元133執(zhí)行作為學(xué)習(xí)圖像信號(hào)的高圖像質(zhì)量圖像信號(hào)的過濾,以便降低它的分辨率,藉此生成低圖像質(zhì)量圖像信號(hào)并作為學(xué)生數(shù)據(jù)提供給學(xué)生數(shù)據(jù)存儲(chǔ)單元134。學(xué)生數(shù)據(jù)存儲(chǔ)器134存儲(chǔ)來自于學(xué)生數(shù)據(jù)生成單元133的學(xué)生數(shù)據(jù)。
預(yù)測(cè)抽頭提取單元135連續(xù)地獲得作為所關(guān)心導(dǎo)師像素的像素,這些像素構(gòu)成作為存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中的導(dǎo)師數(shù)據(jù)的高圖像質(zhì)量圖像信號(hào),并從構(gòu)成作為存儲(chǔ)在學(xué)生數(shù)據(jù)存儲(chǔ)單元134中的學(xué)生數(shù)據(jù)的低圖像質(zhì)量圖像信號(hào)的低圖像質(zhì)量像素中提取預(yù)定的一個(gè)像素,藉此設(shè)置一個(gè)預(yù)測(cè)抽頭,該預(yù)測(cè)抽頭具有與圖6所示的預(yù)測(cè)抽頭提取單元121配置的預(yù)測(cè)抽頭相同的抽頭結(jié)構(gòu),并提供給加法單元38。
與所關(guān)心的導(dǎo)師像素相對(duì)應(yīng),特征提取單元136以與圖6所示特征提取單元122同樣的方式使用構(gòu)成低圖像質(zhì)量圖像信號(hào)的低圖像質(zhì)量像素來提取所關(guān)心導(dǎo)師像素的特征,并提供給類分類單元137,該低圖像質(zhì)量圖像信號(hào)作為存儲(chǔ)在學(xué)生數(shù)據(jù)存儲(chǔ)單元134中的學(xué)生數(shù)據(jù)。
根據(jù)特征提取單元136輸出的所關(guān)心的導(dǎo)師像素的特征,類分類單元137執(zhí)行與圖6所示的類分類單元123相同的類分類,并且向加法單元138輸出與所獲得的作為結(jié)果的類相對(duì)應(yīng)的分類代碼。
類分類單元137輸出的有關(guān)所關(guān)心導(dǎo)師像素的分類代碼被提供給加法單元138。加法單元138從導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中讀出所關(guān)心的像素,并為類分類單元137提供的每個(gè)分類代碼執(zhí)行有關(guān)所關(guān)心的導(dǎo)師像素和學(xué)生數(shù)據(jù)的相加,該學(xué)生數(shù)據(jù)構(gòu)成預(yù)測(cè)抽頭提取單元135提供的關(guān)于所關(guān)心的導(dǎo)師像素所配置的預(yù)測(cè)抽頭。
也就是說,向加法單元138提供存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中的導(dǎo)師數(shù)據(jù)yk、從預(yù)測(cè)抽頭提取單元135輸出的預(yù)測(cè)抽頭x0,k和從類分類單元137輸出的分類代碼。
對(duì)于類分類單元137提供的與分類代碼相對(duì)應(yīng)的每個(gè)類而言,加法單元138使用預(yù)測(cè)抽頭(學(xué)生數(shù)據(jù))xn,k執(zhí)行計(jì)算,該計(jì)算等于表達(dá)式(8)的矩陣左邊中的學(xué)生數(shù)據(jù)的一個(gè)與另一個(gè)(xn,kxn’,k)的乘積和其相加和(∑)。
同樣,對(duì)于類分類單元137提供的與分類代碼相對(duì)應(yīng)的每個(gè)類而言,加法單元138使用預(yù)測(cè)抽頭(學(xué)生數(shù)據(jù))xn,k和導(dǎo)師數(shù)據(jù)yk執(zhí)行計(jì)算,該計(jì)算等于表達(dá)式(8)右側(cè)的矢量中的學(xué)生數(shù)據(jù)xn,k和導(dǎo)師數(shù)據(jù)yk的乘積(xn,k,yk)和其相加和(∑)。
也就是說,加法單元138在它的存儲(chǔ)器(未示出)中存儲(chǔ)的表達(dá)式(8)所獲得的將早先的作為所關(guān)心導(dǎo)師像素的有關(guān)導(dǎo)師數(shù)據(jù)的其左側(cè)矩陣分量(∑xn,kxn’,k)和右側(cè)分矢量(∑xn,kyk),并加上矩陣分量(∑xn,kxn’,k)或分矢量(∑xn,kyk)、有關(guān)作為所關(guān)心的導(dǎo)師像素的新的導(dǎo)師數(shù)據(jù)的相應(yīng)分量xn,k-1、xn’,k-1或xn,k-1yk-1,使用導(dǎo)師數(shù)據(jù)yk-1和學(xué)生數(shù)據(jù)xn,k-1計(jì)算相應(yīng)分量xn,k-1xn’,k-1或xn,k-1或xn,k-1yk-1(即執(zhí)行表達(dá)式(8)表示的求和的加法)。
加法單元138使用導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132存儲(chǔ)的所有導(dǎo)師數(shù)據(jù)作為所關(guān)心導(dǎo)師像素來執(zhí)行這一加法,以便為每個(gè)類構(gòu)成表達(dá)式(8)給出的正規(guī)方程式,然后輸出該正規(guī)方程式給抽頭因數(shù)計(jì)算單元139。抽頭因數(shù)計(jì)算單元139為每個(gè)類解算加法單元138提供的正規(guī)方程式,從而為每個(gè)抽頭獲得并輸出最佳抽頭因數(shù)wn。
圖7所示的因數(shù)存儲(chǔ)器181為通過圖8所示的學(xué)習(xí)設(shè)備而獲得的每個(gè)類存儲(chǔ)抽頭因數(shù)wn。
請(qǐng)注意,對(duì)于上述方案而言,學(xué)習(xí)圖像信號(hào)是作為與沒有變化的第二圖像信號(hào)相對(duì)應(yīng)的導(dǎo)師數(shù)據(jù)獲得的,以及其中已經(jīng)降低了學(xué)習(xí)圖像信號(hào)的分辨率的低圖像質(zhì)量圖像信號(hào)作為與第一圖像信號(hào)相對(duì)應(yīng)的學(xué)生數(shù)據(jù),根據(jù)此執(zhí)行抽頭因數(shù)的學(xué)習(xí),因此可以啟動(dòng)圖像轉(zhuǎn)換處理而獲得抽頭因數(shù),其中可以實(shí)現(xiàn)對(duì)第一圖像信號(hào)進(jìn)行分辨率提高處理從而將其處理為具有提高的分辨率的第二圖像信號(hào)。
此刻,依賴于與第一圖像信號(hào)相對(duì)應(yīng)的學(xué)生數(shù)據(jù)的圖像信號(hào)和與第二圖像信號(hào)相對(duì)應(yīng)的導(dǎo)師數(shù)據(jù)的圖像信號(hào)是如何選擇的,可以獲得用于各種類型的圖像轉(zhuǎn)換處理的抽頭因數(shù)。
也就是說,例如,對(duì)于其中高圖像質(zhì)量圖像信號(hào)被作為導(dǎo)師數(shù)據(jù),并且噪音是被附加在導(dǎo)師數(shù)據(jù)高圖像質(zhì)量圖像信號(hào)上以產(chǎn)生被作為學(xué)生數(shù)據(jù)的帶有噪音的圖像信號(hào)的安排中,執(zhí)行學(xué)習(xí)處理,藉此可以獲得執(zhí)行圖像轉(zhuǎn)換處理的抽頭因數(shù),該圖像轉(zhuǎn)換處理是將第一圖像信號(hào)轉(zhuǎn)換為已去除了(或減少)包含在其中的噪音的第二圖像信號(hào)的去除處理。
同樣,例如,對(duì)于這樣的方案而言,即其中所給出的圖像信號(hào)作為導(dǎo)師數(shù)據(jù)以及減少作為導(dǎo)師數(shù)據(jù)的圖像信號(hào)所具有的像素?cái)?shù)量的圖像信號(hào)而產(chǎn)生作為學(xué)生數(shù)據(jù)的圖像信號(hào),或者其中所給出的圖像信號(hào)作為學(xué)生數(shù)據(jù)以及根據(jù)預(yù)定減少比例減少作為學(xué)生數(shù)據(jù)的圖像信號(hào)所具有的像素?cái)?shù)量的圖像信號(hào)以產(chǎn)生作為導(dǎo)師數(shù)據(jù)的圖像信號(hào),執(zhí)行學(xué)習(xí)處理,藉此可以獲得執(zhí)行圖像轉(zhuǎn)換處理的抽頭因數(shù),該圖像轉(zhuǎn)換處理為縮放處理,其將第一圖像信號(hào)轉(zhuǎn)換為被擴(kuò)大或減小的第二圖像。此外,以某一方式設(shè)置作為導(dǎo)師數(shù)據(jù)和學(xué)生數(shù)據(jù)的圖像信號(hào),允許獲得執(zhí)行各種圖像轉(zhuǎn)換處理的抽頭因數(shù),諸如像素?cái)?shù)量的轉(zhuǎn)換、高寬比的轉(zhuǎn)換等。
緊接著,將參考圖9的流程來描述通過圖8所示的學(xué)習(xí)設(shè)備執(zhí)行的處理,即學(xué)習(xí)處理。
首先,在步驟S51中,導(dǎo)師數(shù)據(jù)生成單元131和學(xué)生數(shù)據(jù)生成單元133分別從學(xué)習(xí)圖像信號(hào)產(chǎn)生導(dǎo)師數(shù)據(jù)和學(xué)生數(shù)據(jù),然后輸出。也就是說,導(dǎo)師數(shù)據(jù)生成單元131未作改變而輸出學(xué)習(xí)圖像信號(hào)作為導(dǎo)師數(shù)據(jù)。同樣,學(xué)生數(shù)據(jù)生成單元133使用LPF以預(yù)定的切斷頻率過濾該學(xué)習(xí)圖像信號(hào),藉此為每個(gè)幀生成并輸出有關(guān)導(dǎo)師數(shù)據(jù)(學(xué)習(xí)圖像信號(hào))的學(xué)生數(shù)據(jù)。
導(dǎo)師數(shù)據(jù)生成單元131輸出的導(dǎo)師數(shù)據(jù)被提供給導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132并存儲(chǔ)在其中,而學(xué)生數(shù)據(jù)生成單元133輸出的學(xué)生數(shù)據(jù)被提供給學(xué)生數(shù)據(jù)存儲(chǔ)單元134并存儲(chǔ)在其中。
隨后,流程進(jìn)行到步驟S52,在該步驟中,從存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中的導(dǎo)師數(shù)據(jù)中,預(yù)測(cè)抽頭提取單元135取出作為還沒有被作為所關(guān)心的導(dǎo)師像素的一個(gè)所關(guān)心的導(dǎo)師像素。此外,在步驟S52中,預(yù)測(cè)抽頭提取單元135從存儲(chǔ)在學(xué)生數(shù)據(jù)存儲(chǔ)單元134中的學(xué)生數(shù)據(jù)設(shè)置關(guān)于所關(guān)心的導(dǎo)師像素的預(yù)測(cè)抽頭,然后將其提供給加法單元138,然后流程進(jìn)行到步驟S53。
在步驟S53中,特征提取單元136使用學(xué)生數(shù)據(jù)存儲(chǔ)單元134存儲(chǔ)的學(xué)生數(shù)據(jù)提取所關(guān)心的導(dǎo)師像素的特征,然后將其提供給類分類單元137,然后流程進(jìn)行到步驟S54。
在步驟S54中,類分類單元137根據(jù)來自于特征提取單元136的與所關(guān)心的導(dǎo)師像素有關(guān)的所關(guān)心特征的像素執(zhí)行所關(guān)心導(dǎo)師像素的分類,并向加法單元138輸出藉此獲得的與該類相對(duì)應(yīng)的分類代碼,然后流程進(jìn)行到步驟S55。
在步驟S55中,加法單元138為類分類單元137提供的分類代碼從導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中讀出所關(guān)心的導(dǎo)師像素,執(zhí)行表達(dá)式(8)的相加,該相加有關(guān)所關(guān)心的導(dǎo)師像素和構(gòu)成預(yù)測(cè)抽頭提取單元135提供的有關(guān)所關(guān)心的導(dǎo)師像素所配置的預(yù)測(cè)抽頭,于是流程進(jìn)行到步驟S56。
在步驟S56中,確定預(yù)測(cè)抽頭提取單元135是否在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中存儲(chǔ)了還沒有作為所關(guān)心的導(dǎo)師像素的導(dǎo)師數(shù)據(jù)。如果在步驟S56所作的確定是預(yù)測(cè)抽頭提取單元135在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中仍存儲(chǔ)有還沒有作為所關(guān)心的導(dǎo)師像素的導(dǎo)師數(shù)據(jù),那么對(duì)于還沒有作為所關(guān)心導(dǎo)師像素的導(dǎo)師數(shù)據(jù),預(yù)測(cè)抽頭提取單元135返回到步驟S52,并重復(fù)執(zhí)行相同的處理。另一方面,如果步驟S56所作的確定是預(yù)測(cè)抽頭提取單元135在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中不再有還沒有作為所關(guān)心的導(dǎo)師像素的導(dǎo)師數(shù)據(jù),那么加法單元138為迄今為止通過處理所已經(jīng)獲得的每個(gè)類將表達(dá)式(8)的左側(cè)矩陣和右側(cè)矢量提供給計(jì)算單元139,接著流程進(jìn)行到步驟S57。
在步驟S57中,抽頭因數(shù)計(jì)算單元139為加法單元138提供的每個(gè)類解算構(gòu)成表達(dá)式(8)的左側(cè)矩陣和右側(cè)矢量的每個(gè)類的正規(guī)方程式,藉此為每個(gè)類獲得并輸出抽頭因數(shù)wn,接著結(jié)束處理。
雖然可能存在這種情況,即由于學(xué)習(xí)圖像信號(hào)的數(shù)量不夠等原因,不能獲得為獲得抽頭因數(shù)所需的正規(guī)方程式的數(shù)量,但是例如可安排抽頭因數(shù)計(jì)算單元139為這樣的類輸出缺省的抽頭因數(shù)。
圖7所示的因數(shù)存儲(chǔ)器181為如上述那樣所獲得的每個(gè)類存儲(chǔ)抽頭因數(shù)。然而,應(yīng)注意圖4所示的圖像轉(zhuǎn)換單元31R的因數(shù)存儲(chǔ)器181存儲(chǔ)通過執(zhí)行只使用圖像信號(hào)的R信號(hào)作為導(dǎo)師數(shù)據(jù)和圖像信號(hào)的R、G和B信號(hào)作為學(xué)生數(shù)據(jù)的學(xué)習(xí)所獲得的抽頭因數(shù)。同樣,圖4所示的圖像轉(zhuǎn)換單元31G的因數(shù)存儲(chǔ)器181存儲(chǔ)通過執(zhí)行只使用圖像信號(hào)的G信號(hào)作為導(dǎo)師數(shù)據(jù)和圖像信號(hào)的R、G和B信號(hào)作為學(xué)生數(shù)據(jù)的學(xué)習(xí)所獲得的抽頭因數(shù)。另外,圖4所示的圖像轉(zhuǎn)換單元31B的因數(shù)存儲(chǔ)器181存儲(chǔ)通過執(zhí)行只使用圖像信號(hào)的B信號(hào)作為導(dǎo)師數(shù)據(jù)和圖像信號(hào)的R、G和B信號(hào)作為學(xué)生數(shù)據(jù)的學(xué)習(xí)所獲得的抽頭因數(shù)。
接著,將參考圖10中的流程圖來描述由圖6所示的圖像轉(zhuǎn)換單元31執(zhí)行的圖像轉(zhuǎn)換處理。請(qǐng)注意,參考圖10所描述的圖像轉(zhuǎn)換處理是在圖5的步驟S2中執(zhí)行的處理。
在步驟S61中,預(yù)測(cè)抽頭提取單元121將構(gòu)成第二圖像信號(hào)的還沒有作為所關(guān)心像素的一個(gè)像素作為所關(guān)心的像素,并且提取構(gòu)成第一圖像信號(hào)的幾個(gè)像素(事實(shí)上,像素的像素值)作為預(yù)測(cè)抽頭,該像素用于預(yù)測(cè)第二圖像信號(hào)的所關(guān)心的像素的像素值,然后流程進(jìn)行到步驟S62。
在步驟S62中,特征提取單元122使用第一圖像信號(hào)提取所關(guān)心像素的特征,并將該特征提供給類分類單元123,然后流程進(jìn)行到步驟S63。在步驟S63中,類分類單元123根據(jù)特征提取單元122提供的所關(guān)心的像素的特征執(zhí)行用于將所關(guān)心像素分類在多個(gè)類中的一個(gè)的類分類處理,并提供與作為處理結(jié)果所獲得的類相對(duì)應(yīng)的分類代碼給因數(shù)輸出單元124,然后流程進(jìn)行到步驟S64。在步驟S64中,因數(shù)輸出單元124讀出類分類單元123提供的分類代碼的類的抽頭因數(shù),然后將其輸出給計(jì)算單元125,然后流程進(jìn)行到步驟S65。
在步驟S65,計(jì)算單元125使用抽頭提取單元121提供的預(yù)測(cè)抽頭和從因數(shù)輸出單元124輸出的所關(guān)心像素的類的抽頭因數(shù)來執(zhí)行表達(dá)式(1)的計(jì)算,藉此獲得所關(guān)心像素的像素值。
圖像轉(zhuǎn)換單元31為作為一屏(即,一幀或場(chǎng))的所關(guān)心像素的第二圖像信號(hào)的所有像素執(zhí)行步驟S61到S65的處理,然后流程返回。
接著,圖11說明作為用于執(zhí)行學(xué)習(xí)傳感器單元1屬性信息的學(xué)習(xí)設(shè)備的圖像拾取設(shè)備的布置的配置實(shí)例,該傳感器單元1用于輸出適于圖1所示的信號(hào)處理單元4執(zhí)行的信號(hào)處理的圖像信號(hào),該屬性信息即有關(guān)R感光器單元23R、G感光器單元23G和B感光器單元23B的放置狀態(tài)的信息,其與信號(hào)處理單元4執(zhí)行的信號(hào)處理相對(duì)應(yīng)。傳感器單元231具有多個(gè)與像素相對(duì)應(yīng)的光電轉(zhuǎn)換設(shè)備,以檢測(cè)投射入其中的物體光,并且輸出與物體光相對(duì)應(yīng)的圖像信號(hào)。也就是說,傳感器單元231接收物體光并獲得與所接收光量相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào),然后將其提供給信號(hào)調(diào)整單元232和238。
請(qǐng)注意,如下所述,安排傳感器單元231以能夠獲得等于圖1所示的傳感器單元1獲得的圖像信號(hào)(以下視情況也稱為″正常圖像信號(hào)″)和高質(zhì)量圖像信號(hào),該高質(zhì)量圖像信號(hào)(以下視情況也稱為″評(píng)估圖像信號(hào)″)用于隨后描述的評(píng)估單元235,其等于圖1所示的信號(hào)處理單元輸出的第二圖像信號(hào)。傳感器單元231向信號(hào)調(diào)整單元232提供正常圖像信號(hào),并將評(píng)估圖像信號(hào)提供給信號(hào)調(diào)整單元238。
同時(shí),將來自于控制器240的控制信號(hào)提供給傳感器單元231。傳感器單元231的屬性根據(jù)控制器240提供的控制信號(hào)變化,并且根據(jù)變化的屬性來獲得與物體光相對(duì)應(yīng)的正常圖像信號(hào)。
如同圖1中的信號(hào)調(diào)整單元2一樣,信號(hào)調(diào)整單元232使傳感器單元231輸出的正常圖像信號(hào)經(jīng)受CDS處理,并將獲得的作為處理結(jié)果的圖像信號(hào)提供給A/D轉(zhuǎn)換單元233。
如同圖1中的A/D轉(zhuǎn)換單元3一樣,A/D轉(zhuǎn)換單元233使信號(hào)調(diào)整單元232提供的正常圖像信號(hào)經(jīng)受A/D轉(zhuǎn)換,即采樣及量化正常圖像信號(hào),并將作為處理結(jié)果而獲得的數(shù)字圖像信號(hào)作為第一圖像信號(hào)提供給信號(hào)處理單元234。
以與圖2所示的信號(hào)處理單元4相同的方式設(shè)置信號(hào)處理單元234,并且使來自于A/D轉(zhuǎn)換單元233的第一圖像信號(hào)經(jīng)受像圖6到圖10所述信號(hào)處理的圖像轉(zhuǎn)換處理,藉此獲得第二圖像信號(hào)(R、G和B信號(hào))并將此提供給評(píng)估單元235。
向評(píng)估單元235提供來自于信號(hào)處理單元234的第二圖像信號(hào),以及控制器240提供的控制傳感器單元231的屬性的控制信號(hào)和來自于A/D轉(zhuǎn)換單元239的評(píng)估圖像信號(hào)。評(píng)估單元235使用A/D轉(zhuǎn)換單元239提供的評(píng)估圖像信號(hào)評(píng)估信號(hào)處理單元234提供的第二圖像信號(hào),并且在獲得該評(píng)估時(shí),關(guān)聯(lián)該評(píng)估和控制信號(hào)表示的傳感器單元231的屬性,也就是說,在獲得第一圖像信號(hào)時(shí),關(guān)聯(lián)該評(píng)估和表示傳感器單元231的屬性的屬性信息,這是在信號(hào)處理單元234處進(jìn)行信號(hào)處理的目的,以便獲得評(píng)估后的第二圖像信號(hào)。此外,評(píng)估單元235將該組第一圖像信號(hào)的評(píng)估和屬性信息提供給位置確定單元236。
當(dāng)獲得適于在信號(hào)處理單元234進(jìn)行信號(hào)處理的第一圖像信號(hào)時(shí),位置確定單元236根據(jù)評(píng)估單元235提供的該組的第二圖像信號(hào)的評(píng)估和屬性信息確定傳感器231單元的屬性,即與信號(hào)處理單元234處的信號(hào)處理相對(duì)應(yīng)(因此傳感器單元1的屬性與圖1所示的信號(hào)處理單元4的信號(hào)處理相對(duì)應(yīng))的傳感器單元231的屬性,并且將標(biāo)識(shí)屬性的屬性信息提供給位置存儲(chǔ)單元237。位置存儲(chǔ)單元237存儲(chǔ)位置確定單元236提供的屬性信息。
如同信號(hào)調(diào)整單元232一樣,信號(hào)調(diào)整單元238使傳感器單元231輸出的評(píng)估圖像信號(hào)經(jīng)受CDS處理,并且將作為處理結(jié)果獲得的評(píng)估圖像信號(hào)提供給A/D轉(zhuǎn)換單元239。但是,請(qǐng)注意,由于信號(hào)調(diào)整單元232處理正常圖像信號(hào),信號(hào)調(diào)整單元238處理圖像質(zhì)量高于正常圖像信號(hào)的評(píng)估圖像信號(hào),因此信號(hào)調(diào)整單元238具有比信號(hào)調(diào)整單元232高的能力,以便保持評(píng)估圖像信號(hào)的圖像質(zhì)量。
如同A/D轉(zhuǎn)換單元233一樣,A/D轉(zhuǎn)換單元239使信號(hào)調(diào)整單元238提供的評(píng)估圖像信號(hào)經(jīng)受A/D轉(zhuǎn)換,即采樣和量化評(píng)估圖像信號(hào),并且將作為其結(jié)果而獲得的數(shù)字評(píng)估圖像信號(hào)提供給評(píng)估單元235。但是,請(qǐng)注意,由于A/D轉(zhuǎn)換單元233處理正常圖像信號(hào),A/D轉(zhuǎn)換單元239處理圖像質(zhì)量高于正常圖像信號(hào)的評(píng)估圖像信號(hào),因此A/D轉(zhuǎn)換單元239具有比A/D轉(zhuǎn)換單元233高的能力(例如,比A/D轉(zhuǎn)換單元233更多的量化位或更高的采樣頻率),以便保持評(píng)估圖像信號(hào)的圖像質(zhì)量。
控制器240向傳感器單元231和評(píng)估單元235提供用于控制傳感器單元241的屬性的控制信號(hào)。
接著,圖12示出圖11所示的傳感器單元231的配置實(shí)例。物體光投射入透鏡251中,然后透鏡251通過半反射鏡252和棱鏡253將物體光聚集在評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B上,同時(shí)通過半反射鏡252和棱鏡254將物體光聚集在R感光器單元256R、G感光器單元256G和B感光器單元256B上。
也就是說,投射入透鏡251中的物體光被發(fā)射到半反射鏡252。半反射鏡252將一部分物體光從透鏡251反射到棱鏡253,并且將剩余部分發(fā)送到棱鏡254。
棱鏡253將來自于半反射鏡252的物體光分離為R、G和B光,并將R、G和B光發(fā)射到評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B各自所在位置的方向上。評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B設(shè)置有光電轉(zhuǎn)換單元,諸如光電二極管等等,以便從棱鏡253接收R、G和B光,并獲得相應(yīng)于所接收的光量的電信號(hào)形式的R信號(hào)、G信號(hào)和B信號(hào)。然后,由R信號(hào)、G信號(hào)和B信號(hào)組成的圖像信號(hào)然后被作為評(píng)估圖像信號(hào)輸出到信號(hào)調(diào)整單元238(圖11)。評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B的實(shí)例包括CCD、CMOS傳感器、HARP等等。
棱鏡254將來自于透鏡251的物體光分離成RGB光,并在R感光器單元256R、G感光器單元256G和B感光器單元256B各自所在的位置的方向上發(fā)射R、G和B光。R感光器單元256R、G感光器單元256G和B感光器單元256B設(shè)置有光電轉(zhuǎn)換單元,諸如光電二極管等等,以便從棱鏡254接收R、G和B光,并獲得與所接收的光量相對(duì)應(yīng)的電信號(hào)形式的R信號(hào)、G信號(hào)和B信號(hào)。由R信號(hào)、G信號(hào)和B信號(hào)組成的圖像信號(hào)然后被作為正常圖像信號(hào)輸出到信號(hào)調(diào)整單元232(圖11)。R感光器單元256R、G感光器單元256G和B感光器單元256B的實(shí)例包括CCD、CMOS傳感器、HARP等。然而,R感光器單元256R、G感光器單元256G和B感光器單元256B優(yōu)選地具有與圖3所示的R感光器單元23R、G感光器單元23G和B感光器單元23B相同的特性。
R控制單元257R、G控制單元257G和B控制單元257B每一個(gè)都根據(jù)控制器240(圖11)提供的控制信號(hào)對(duì)R感光器單元256R、G感光器單元256G和B感光器單元256B的放置位置的移動(dòng)進(jìn)行控制,藉此改變傳感器單元251的屬性。
現(xiàn)在,為了便于描述,我們?cè)诖思俣≧控制單元257R控制整個(gè)R感光器單元256R的放置位置,G控制單元257G控制整個(gè)G感光器單元256G的放置位置,以及B控制單元257B控制整個(gè)B感光器單元256B的放置位置。然而,應(yīng)注意,例如使用MEMS技術(shù),允許R感光器單元256R的像素的放置位置能夠基本上被改變(移動(dòng)),藉此可以獨(dú)立地控制R感光器單元256R的單個(gè)像素的放置位置。這對(duì)于G感光器單元256G和G控制單元257G,以及B感光器單元256B以及B控制單元257B同樣成立。
同樣,評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B具有比獲得正常圖像信號(hào)的R感光器單元256R、G感光器單元256G和B感光器單元256B高的特性,由于藉此將獲得高質(zhì)量的評(píng)估圖像信號(hào)。也就是說,評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B具有例如比R感光器單元256R、G感光器單元256G和B感光器單元256B寬的動(dòng)態(tài)范圍、更多的數(shù)量或像素,等等。
接著,將參考圖13A到13D描述由圖12所示的R控制單元257R、G控制單元257G和B控制單元257B對(duì)R感光器單元256R、G感光器單元256G和B感光器單元256B中每一個(gè)的控制。
圖13A所示的R感光器單元256R、圖13B所示G感光器單元256G和圖13C所示的B感光器單元256B每一個(gè)都具有有限區(qū)域的像素(相應(yīng)于一個(gè)光電二極管等等),并輸出與在每個(gè)像素處所接收的光量相對(duì)應(yīng)的圖像信號(hào)。請(qǐng)注意,在圖13A到13D中,像素是每邊為有限長(zhǎng)度的正方形。
在這里,R感光器單元256R、G感光器單元256G和B感光器單元256B的像素的每個(gè)位置各自由像素的正方形的重心表示,并且R感光器單元256R、G感光器單元256G和B感光器單元256B的像素分別由點(diǎn)、圓和X表示。以制造圖像拾取設(shè)備的觀點(diǎn)來看,諸如攝像機(jī)或靜態(tài)照相機(jī),例如R感光器單元256R、G感光器單元256G和B感光器單元256B的相應(yīng)像素的位置完全在光學(xué)上相匹配。也就是說,R感光器單元256R、G感光器單元256G和B感光器單元256b被全部排列在光學(xué)等效位置上,以便通過相應(yīng)的像素接收光線的R、G和B射線。
R控制單元257R、G控制單元257G和B控制單元257B根據(jù)控制器240(圖11)提供的控制信號(hào)分別移動(dòng)R感光器單元256R、G感光器單元256G和B感光器單元256B的放置位置,該放置位置為傳感器單元241的屬性。也就是說,R感光器單元256R、G感光器單元256G和B感光器單元256B的放置位置不是固定的而是可移動(dòng)的,并且因此傳感器單元241中的R感光器單元256R、G感光器單元256G和B感光器單元256B的相應(yīng)像素沒必要在光學(xué)上相同的位置上。
如圖13D所示,對(duì)于作為參考的R感光器單元256R的像素的位置(圖13A和13D所示的點(diǎn))而言,在G感光器單元256G的像素位置的水平方向和垂直方向上偏移度(圖13B和13D所示的圓圈)被表示為PhG和PvG,在B感光器單元256B的像素位置的水平方向和垂直方向上偏移度(圖13C和13D所示的X)被表示為PhB和PvB。
R控制單元257R、G控制單元257G和B控制單元257B根據(jù)控制器240提供的控制信號(hào)移動(dòng)R感光器單元256R、G單元256G和B感光器單元256B的放置位置,以便實(shí)現(xiàn)PhG、PvG、PhB和PvB的偏移量。
現(xiàn)在,在這種情況下,在其中可做一些安排,例如,R感光器單元256R的位置是固定的,只移動(dòng)G感光器單元256G和B感光器單元256B?;蛘?,可在其中做另一種安排,即除R控制單元257R外,G控制單元257G和B控制單元257B中的一個(gè)是固定的,移動(dòng)剩余的兩個(gè),此外可在其中做這樣的安排,即可以移動(dòng)所有的R感光器單元256R、G感光器單元256G和B感光器單元256B。
同樣,在圖12所示的傳感器單元241中,雖然評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B在光學(xué)上具有相同位置的像素位置,但可以移動(dòng)R感光器單元256R、G感光器單元256G和B感光器單元256B的放置位置。也就是說,對(duì)于評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B被全部置于光學(xué)上等效的位置上,如此光線的R、G和B射線由相應(yīng)的像素接收。
圖14說明圖11所示的評(píng)估單元235的配置實(shí)例。評(píng)估單元235包括圖像存儲(chǔ)單元261、相關(guān)性計(jì)算單元262和評(píng)估值存儲(chǔ)單元263。圖像存儲(chǔ)單元261為傳感器231通過信號(hào)調(diào)整單元238和A/D轉(zhuǎn)換單元239提供的某一物體光存儲(chǔ)評(píng)估圖像信號(hào)。
相關(guān)性計(jì)算單元262使用圖像存儲(chǔ)單元261中存儲(chǔ)的評(píng)估圖像信號(hào)評(píng)估從正常圖像信號(hào)獲得的第二圖像信號(hào),該第二圖像信號(hào)相應(yīng)于存儲(chǔ)在圖像存儲(chǔ)單元261中的信號(hào)處理單元234提供的評(píng)估圖像信號(hào),即相關(guān)性計(jì)算單元262獲得信號(hào)處理單元234提供的第二圖像信號(hào)和存儲(chǔ)在圖像存儲(chǔ)單元261中的評(píng)估圖像信號(hào)之間的相關(guān)值,并且將其的相關(guān)值提供到評(píng)估值存儲(chǔ)單元263,作為信號(hào)處理單元234提供的評(píng)估結(jié)果或第二圖像信號(hào)的評(píng)估值。
此時(shí),第二圖像信號(hào)和評(píng)估圖像信號(hào)的一個(gè)幀(場(chǎng))之間的相關(guān)值的實(shí)例是第二圖像信號(hào)和評(píng)估圖像信號(hào)之間的位于相同位置的部分或全部像素的差分的絕對(duì)值之和的倒數(shù)。
除了來自于相關(guān)性計(jì)算單元262的第二圖像信號(hào)的評(píng)估值,還向評(píng)估值存儲(chǔ)單元263提供控制器240輸出的控制信號(hào)。由控制器240輸出的控制信號(hào)表示當(dāng)用于獲得相關(guān)性計(jì)算單元262輸出的第二圖像信號(hào)的評(píng)估值的第一圖像已通過傳感器單元231獲得時(shí),該傳感器231的屬性,即圖12所示的R控制單元257R、G控制單元257G和B控制單元257B的放置位置。評(píng)估值存儲(chǔ)單元263以相關(guān)的方式存儲(chǔ)放置位置和來自于相關(guān)性計(jì)算單元262的第二圖像信號(hào)的評(píng)估值。評(píng)估值存儲(chǔ)單元263為有關(guān)預(yù)先設(shè)定的多個(gè)位置(以下簡(jiǎn)稱為”設(shè)定位置”)的每個(gè)位置的多個(gè)圖像的每個(gè)第二圖像信號(hào)存儲(chǔ)評(píng)估值,該設(shè)定位置有關(guān)R感光器單元256R、G感光器單元256G和B感光器單元256B的位置,然后將評(píng)估值提供給位置確定單元236(圖11)。
請(qǐng)注意,在這里,圖11所示的控制器240輸出作為用于控制傳感器241(圖12)的R感光器單元256R、G感光器單元256G和B感光器單元256B的放置位置的控制信號(hào),該信號(hào)表示在G感光器單元256G的像素位置的水平方向和垂直方向上的偏移量PhG和PvG,和在B感光器單元256B的像素位置的水平方向和垂直方向上的偏移量PhB和PvB(這些偏移量PhG、PvG、PhB和PvB可以建成為″偏移量P″)。
接著,圖15是說明圖11所示的位置確定單元236的配置實(shí)例;向評(píng)估值整合單元271提供有關(guān)多個(gè)設(shè)定位置的多個(gè)第二圖像信號(hào)的每個(gè)的評(píng)估值,該評(píng)估值由評(píng)估單元235的評(píng)估值存儲(chǔ)單元263輸出。評(píng)估值整合單元271為多個(gè)設(shè)定位置的每個(gè)位置的多個(gè)第二圖像信號(hào)的每個(gè)圖像信號(hào)的有關(guān)設(shè)定位置整合評(píng)估值,并且將通過整合所獲得的評(píng)估值(以下視情況也稱為″整合評(píng)估值″)提供給最佳位置確定單元272。
最佳位置確定單元272根據(jù)評(píng)估值整合單元271提供的多個(gè)設(shè)定位置的每個(gè)位置的整合評(píng)估值確定與要在信號(hào)處理單元234進(jìn)行信號(hào)處理相對(duì)應(yīng)的設(shè)定位置,即確定圖12所示的R感光器單元256R、G感光器單元256G和B感光器單元256B的放置位置,并且將該放置位置作為在信號(hào)處理單元234處(以及信號(hào)處理單元4)進(jìn)行信號(hào)處理的最佳位置提供給位置存儲(chǔ)單元237(圖11)。
接下來,將參考圖16所示的流程圖來描述圖11所示的圖像拾取設(shè)備的最佳位置的學(xué)習(xí)過程(學(xué)習(xí)過程)。
首先,在步驟S201中,控制器240將所關(guān)心組的多個(gè)放置位置中所關(guān)心的一個(gè)放置位置作為圖12所示的傳感器單元241的R感光器單元256R、G感光器單元256G和B感光器256B放置位置,并且將表示所關(guān)心的放置位置的控制信號(hào)提供給圖14所示的評(píng)估單元235的評(píng)估值存儲(chǔ)單元263。此外,在步驟S201中,控制器240將表示所關(guān)心的放置位置的控制信號(hào)提供給傳感器單元241的R控制單元257R、G控制單元257G和B控制單元257B,并將R感光器單元257R、G感光器單元257G和B感光器單元257B的放置位置移動(dòng)到所關(guān)心的放置位置,接著流程進(jìn)行到步驟S202。
在步驟S202中,信號(hào)處理單元234獲得傳感器單元231輸出的圖像信號(hào)。也就是說,在步驟S202中,傳感器單元231接收物體光,然后執(zhí)行光電轉(zhuǎn)換,藉此獲得作為電信號(hào)的圖像信號(hào)(即,使物體成像),并將圖像信號(hào)提供給信號(hào)調(diào)整單元232和238。信號(hào)調(diào)整單元232使傳感器單元231提供的圖像信號(hào)經(jīng)受CDS處理,并且將這些圖像信號(hào)提供給A/D轉(zhuǎn)換單元233。A/D轉(zhuǎn)換單元233對(duì)信號(hào)調(diào)整單元232提供的圖像信號(hào)進(jìn)行A/D轉(zhuǎn)換,并將其作為第一圖像信號(hào)提供給信號(hào)處理單元234。另一方面,信號(hào)調(diào)整單元238使傳感器單元231提供的圖像信號(hào)經(jīng)受CDS處理,并且將這些圖像信號(hào)提供給A/D轉(zhuǎn)換單元239。A/D轉(zhuǎn)換單元239對(duì)信號(hào)調(diào)整單元238提供的圖像信號(hào)進(jìn)行A/D轉(zhuǎn)換,并將其作為評(píng)估圖像信號(hào)提供給評(píng)估裝置235。
也就是說,在傳感器單元231處,放置在所關(guān)心的放置位置上的R感光器單元256R、G感光器單元256G和B感光器單元256B獲得與入射物體光相對(duì)應(yīng)的正常圖像信號(hào)。通過信號(hào)調(diào)整單元232和A/D轉(zhuǎn)換單元233向信號(hào)處理單元234提供該正常圖像信號(hào)。
此外,在傳感器231處,評(píng)估R感光器單元255R、評(píng)估G感光器單元255G和評(píng)估B感光器單元255B獲得同樣與入射物體光相對(duì)應(yīng)的評(píng)估圖像信號(hào)。通過信號(hào)調(diào)整單元238和A/D轉(zhuǎn)換單元239向評(píng)估單元235提供評(píng)估圖像信號(hào)。在圖14所示的評(píng)估單元235處,在圖像存儲(chǔ)單元261中存儲(chǔ)評(píng)估圖像信號(hào)。
然后,流程從步驟S202進(jìn)行到步驟S203,信號(hào)處理單元234使通過A/D轉(zhuǎn)換單元232提供的第一圖像信號(hào)經(jīng)受與圖1所示的信號(hào)處理單元4執(zhí)行的信號(hào)處理相同的圖像轉(zhuǎn)換處理,藉此獲得具有在第一圖像信號(hào)之上改善了圖像質(zhì)量的第二圖像信號(hào),并將第二圖像信號(hào)提供給評(píng)估單元235,然后流程進(jìn)行到步驟S204。
在步驟S204中,評(píng)估單元235執(zhí)行評(píng)估信號(hào)處理單元234提供的第二圖像信號(hào)的評(píng)估處理,然后流程進(jìn)行到步驟S205。也就是說,在圖14所示的評(píng)估單元235處,相關(guān)性計(jì)算單元262從存儲(chǔ)在圖像存儲(chǔ)單元261中的評(píng)估圖像信號(hào)中讀出評(píng)估圖像信號(hào)作為所關(guān)心的評(píng)估圖像信號(hào),該評(píng)估圖像信號(hào)從與用于獲得信號(hào)處理單元234提供的第二圖像信號(hào)的正常的圖像信號(hào)的物體光相同的物體光中獲得。此外,相關(guān)性計(jì)算單元262獲得信號(hào)處理單元234提供的第二圖像信號(hào)和所關(guān)心的評(píng)估圖像信號(hào)之間的相關(guān)值,并將該相關(guān)值作為信號(hào)處理單元234提供的第二圖像信號(hào)的評(píng)估值提供給評(píng)估值存儲(chǔ)單元263。
評(píng)估值存儲(chǔ)單元263將來自于相關(guān)性計(jì)算單元262的第二圖像信號(hào)的評(píng)估值與剛才前面的步驟S201中的控制器240提供的所關(guān)心的設(shè)定位置的控制信號(hào)關(guān)聯(lián)起來,并存儲(chǔ)與所關(guān)心的設(shè)定位置關(guān)聯(lián)的評(píng)估值。
在步驟S205中,控制器240確定預(yù)定數(shù)目的幀中的每個(gè)幀是否已獲得有關(guān)所關(guān)心的設(shè)定位置的評(píng)估值。如果在步驟S205中確定預(yù)定數(shù)目的幀中的每個(gè)幀還沒有獲得有關(guān)所關(guān)心的設(shè)定位置的評(píng)估值,那么流程返回步驟S202,傳感器單元231在那時(shí)接收入射物體光,并施行光電轉(zhuǎn)換,以便獲得電信號(hào)形式的圖像信號(hào),然后重復(fù)相同的處理。
同樣,如果在步驟S205中確定預(yù)定數(shù)目的幀中的每個(gè)幀已獲得有關(guān)所關(guān)心的設(shè)定位置的評(píng)估值,那么流程進(jìn)行到步驟S206,并且控制器240確定所有多個(gè)設(shè)定位置是否已被作為所關(guān)心的設(shè)定位置。
如果在步驟S206中確定還并非所有的多個(gè)設(shè)定位置都被作為所關(guān)心的設(shè)定位置,那么流程返回步驟S201,控制器240測(cè)定還沒有被作為所關(guān)心的設(shè)定位置的多個(gè)設(shè)定位置之一,并隨后重復(fù)相同的處理。
同樣,如果在步驟S206中確定所有多個(gè)設(shè)定位置都被作為所關(guān)心的設(shè)定位置,即如果為預(yù)定數(shù)目的幀中的每個(gè)幀已經(jīng)獲得與多個(gè)設(shè)定位置中的每個(gè)設(shè)定位置相對(duì)應(yīng)的評(píng)估值,并將其存儲(chǔ)在圖14所示的評(píng)估單元235的評(píng)估值存儲(chǔ)單元263中,那么評(píng)估值存儲(chǔ)單元263將已為預(yù)定數(shù)目的幀的每個(gè)圖像獲得的與多個(gè)設(shè)定位置中的每個(gè)設(shè)定位置相對(duì)應(yīng)的評(píng)估值提供給位置確定單元236,然后流程進(jìn)行到步驟S207。
在步驟S207,圖15所示的位置確定單元236的評(píng)估值整合單元271為多個(gè)設(shè)定位置中的每個(gè)設(shè)定位置整合已為預(yù)定數(shù)目的幀的每個(gè)圖像獲得的與多個(gè)設(shè)定位置中的每個(gè)設(shè)定位置相對(duì)應(yīng)的評(píng)估值,從而獲得多個(gè)設(shè)定位置中的每個(gè)設(shè)定位置的整合評(píng)估值,然后將其提供給最佳位置確定單元272。也就是說,評(píng)估值整合單元271獲取某一設(shè)定位置,獲得例如為預(yù)定數(shù)目的圖像幀中的每個(gè)圖像幀獲得的評(píng)估值的平均值、極大值、最小值等等,作為所關(guān)心的設(shè)定位置的整合評(píng)估值,并將其提供給最佳位置確定單元272。
流程從步驟S207進(jìn)行到步驟S208,在此最佳位置確定單元272根據(jù)評(píng)估值整合單元271提供的多個(gè)設(shè)定位置的每個(gè)設(shè)定位置的整合評(píng)估值確定與信號(hào)處理單元234的信號(hào)處理相對(duì)應(yīng)的設(shè)定位置,即圖12所示的傳感器單元241中的R感光器單元256R、G感光器單元256G和B感光器單元256B的放置位置。
也就是說,在步驟S208中,最佳位置確定單元272例如從評(píng)估值整合單元271提供的多個(gè)設(shè)定位置中的每個(gè)設(shè)定位置的整合評(píng)估值中獲得最大值,并且確定與最大整合評(píng)估值相對(duì)應(yīng)的設(shè)定位置,將其作為與信號(hào)處理單元234的信號(hào)處理相對(duì)應(yīng)的設(shè)定位置,即為圖1所示的信號(hào)處理單元4的信號(hào)處理而放置圖3所示的R感光器單元23R、G感光器單元23G和B感光器單元23B的最佳放置位置。
此外,在步驟S208中,最佳位置確定單元272在位置存儲(chǔ)單元237中存儲(chǔ)表示最佳位置的信息(相當(dāng)于上述的屬性信息),然后結(jié)束流程。
在圖1所示的傳感器單元1中,R感光器單元23R、G感光器單元23G和B感光器單元23B(圖3)被放置在通過上述學(xué)習(xí)過程所存儲(chǔ)在位置存儲(chǔ)器237中的信息所表示的最佳位置上。因此,對(duì)于圖1所示的傳感器單元1,可以獲得適于在信號(hào)處理單元4進(jìn)行信號(hào)處理的圖像信號(hào),并且對(duì)從傳感器單元1獲得的圖像信號(hào)執(zhí)行信號(hào)處理又使得能夠獲得高圖像質(zhì)量的圖像信號(hào)。
在上述實(shí)例中,第二圖像信號(hào)被描述為通過獲得第二圖像信號(hào)和評(píng)估圖像信號(hào)之間的相關(guān)性來評(píng)估的,但是應(yīng)注意,例如可以根據(jù)第二圖像信號(hào)的S/N來執(zhí)行。此外,可以從外部輸入第二圖像信號(hào)的評(píng)估。也就是說,可以實(shí)施這樣的安排,其中顯示第二圖像信號(hào),并且例如由觀察顯示圖像的用戶輸出第二圖像信號(hào)的評(píng)估。
接下來,可以由專用硬件或軟件來執(zhí)行上述的由信號(hào)處理單元4和234、評(píng)估單元235、位置確定單元236、控制器240等執(zhí)行的一系列處理。在使用軟件執(zhí)行這一系列處理的情況下,構(gòu)成該軟件的程序被安裝在微型電腦、通用計(jì)算機(jī)等等中。
現(xiàn)在,圖17說明要在其中安裝用于執(zhí)行上述系列處理程序的計(jì)算機(jī)的配置實(shí)例。
該程序可以存儲(chǔ)在硬盤305或ROM 303中,這些都是計(jì)算機(jī)內(nèi)置的記錄介質(zhì)?;蛘撸摮绦蜻€可以臨時(shí)或永久地存儲(chǔ)在可移去存儲(chǔ)介質(zhì)311上,諸如軟磁盤、CD-ROM(壓縮光盤只讀存儲(chǔ)器);MO(磁光盤)盤;DVD(數(shù)字化通用光盤)、磁盤、半導(dǎo)體存儲(chǔ)器等等。這樣的一種可移動(dòng)記錄介質(zhì)311可以作為所謂的壓縮軟件提供。
除了從這種可移動(dòng)記錄介質(zhì)311向計(jì)算機(jī)安裝程序之外,可以從下載站點(diǎn)通過衛(wèi)星、諸如數(shù)字廣播衛(wèi)星無線地,或者通過諸如LAN(局域網(wǎng))或因特網(wǎng)此類的網(wǎng)絡(luò)有線地將該程序傳送到計(jì)算機(jī)中,計(jì)算機(jī)使用通信單元308接收所傳送的程序,并將其安裝在內(nèi)置硬盤305中。
計(jì)算機(jī)具有內(nèi)置的CPU(中央處理器)302。輸入/輸出接口310通過總線301連接于CPU 302,并且當(dāng)用戶通過使用由諸如鍵盤、鼠標(biāo)、麥克風(fēng)等此類組成的輸入單元307來輸入命令,通過輸入/輸出接口310,相應(yīng)的執(zhí)行存儲(chǔ)在ROM(只讀存儲(chǔ)器)303中的程序?;蛘?,CPU 302可以將存儲(chǔ)在硬盤305上、或通過衛(wèi)星或網(wǎng)絡(luò)傳送的由通信單元308接收并安裝在硬盤305上、或者從裝配在驅(qū)動(dòng)器309上的可移動(dòng)記錄介質(zhì)311中讀出并安裝在硬盤305上的程序載入RAM(隨機(jī)存取存儲(chǔ)器)304以便執(zhí)行。因此,CPU 302根據(jù)上述流程或上述方框圖的配置執(zhí)行處理。然后,CPU 302根據(jù)需要使用輸入/輸出接口310從由LCD(液晶顯示器)或揚(yáng)聲器構(gòu)成的輸出單元306輸出,或者從通信單元308傳送處理結(jié)果,或?qū)⑵浯鎯?chǔ)在硬盤305中,等等。
現(xiàn)在,在當(dāng)前的說明書中,以程序代碼的形式描述處理步驟以使計(jì)算機(jī)執(zhí)行并不需按流程圖給出的時(shí)間序列順序處理的各種處理,可以并行或單獨(dú)地被執(zhí)行(例如,并行處理或基于對(duì)象的處理)。此外,該程序可由單機(jī)或多個(gè)計(jì)算機(jī)來處理。而且,可將該程序傳送到遠(yuǎn)程計(jì)算機(jī)上執(zhí)行。
請(qǐng)注意,信號(hào)處理單元4和234可以執(zhí)行除了上述圖像轉(zhuǎn)換處理之外的用于獲得第二圖像信號(hào)的處理,諸如使第一圖像信號(hào)經(jīng)受數(shù)字鉗位處理、白色均衡調(diào)整處理、伽馬校正處理、線性內(nèi)插處理,等等。
同時(shí),雖然所描述的當(dāng)前具體實(shí)施例為傳感器單元1和231使用所謂的三-傳感器裝置,但是傳感器單元1和231也可以使用單-傳感器、雙-傳感器、或四個(gè)或以上的傳感器系統(tǒng)。
此外,對(duì)于當(dāng)前具體實(shí)施例,已相對(duì)于傳感器單元1和231作出了描述,傳感器單元1和傳感器231感測(cè)光并輸出與該光相對(duì)應(yīng)的圖像信號(hào),但是,可以在其中作這樣的安排,即傳感器單元1和231是感測(cè)聲音的麥克風(fēng),并且其輸出與該聲音相對(duì)應(yīng)的音頻信號(hào),或者傳感器單元1和232是感測(cè)例如溫度或加速度等其它類型的信息并輸出與該信息相對(duì)應(yīng)的信號(hào)的傳感器。盡管這樣,請(qǐng)注意,根據(jù)所感測(cè)的信息類型,在傳感器單元1和231的后階段所執(zhí)行的信號(hào)處理不同。
同樣,除了R感光器單元23R、G感光器單元23G和B感光器單元23B的放置狀態(tài)之外,傳感器單元1(和傳感器231同樣)的屬性的實(shí)例包括用于將光聚集在像素上的片上透鏡的放置位置,與每個(gè)像素已存儲(chǔ)的電荷相對(duì)應(yīng)的電壓(電流)放大率,等等。
第二具體實(shí)施例接下來,將描述本發(fā)明的第二具體實(shí)施例。
圖18說明已應(yīng)用本發(fā)明的圖像拾取設(shè)備的第二具體實(shí)施例的配置實(shí)例。該圖18所示的圖像拾取設(shè)備例如可以是數(shù)字靜態(tài)照相機(jī)或數(shù)字?jǐn)z像機(jī)。
同圖1所示的傳感器單元1一樣,傳感器401包括與像素相對(duì)應(yīng)的多個(gè)光電轉(zhuǎn)換單元,其用于感測(cè)投射到其中的物體光,并向信號(hào)調(diào)整單元402輸出與所接收光量相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào)。同樣,與圖1所示的傳感器單元1不同,傳感器單元401根據(jù)信號(hào)處理單元404提供的控制信號(hào)來改變它的狀態(tài)。
信號(hào)調(diào)整單元402執(zhí)行CDS處理以去除包含在傳感器401輸出的圖像信號(hào)中的復(fù)位噪音,并且將作為處理結(jié)果所獲得的圖像信號(hào)提供給A/D轉(zhuǎn)換單元403。A/D轉(zhuǎn)換單元403對(duì)信號(hào)調(diào)整單元402提供的圖像信號(hào)執(zhí)行A/D轉(zhuǎn)換,即通過采樣量化圖像信號(hào)并將作為結(jié)果所獲得的數(shù)字圖像提供給信號(hào)處理單元404。
信號(hào)處理單元404將A/D轉(zhuǎn)換單元403提供的數(shù)字圖像信號(hào)(以下簡(jiǎn)稱為″圖像信號(hào)″)作為第一圖像信號(hào),并使第一圖像信號(hào)經(jīng)受預(yù)定的圖像轉(zhuǎn)換處理,并向輸出單元405輸出作為其結(jié)果所獲得的數(shù)字圖像信號(hào)作為第二圖像信號(hào)。同樣,信號(hào)處理單元404對(duì)作為它的結(jié)果所獲得的第二圖像信號(hào)進(jìn)行評(píng)估,并將與該評(píng)估相對(duì)應(yīng)的控制信號(hào)提供給傳感器單元401,以控制傳感器單元401的狀態(tài)。
輸出單元405接收信號(hào)處理單元404輸出的第二圖像信號(hào),并輸出這些第二圖像信號(hào)。也就是說,輸出單元405從未示出的輸出端輸出來自信號(hào)處理單元404的第二圖像信號(hào),或者將其顯示在未示出的監(jiān)視器上。此外,輸出單元405將第二圖像信號(hào)存儲(chǔ)在未示出的記錄介質(zhì)中,諸如光盤、磁盤、磁光盤、磁帶,半導(dǎo)體存儲(chǔ)器等等,或者通過像電話線、因特網(wǎng)、局域網(wǎng)或其他像電纜或無線傳輸介質(zhì)發(fā)送這些圖像信號(hào)。
對(duì)于上述配置的圖像拾取設(shè)備來說,在傳感器單元401處接收物體光,并通過信號(hào)調(diào)整單元402和A/D轉(zhuǎn)換單元403將與所接收光量相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào)提供給信號(hào)處理單元404。信號(hào)處理單元404使傳感器401通過信號(hào)調(diào)整單元402和A/D轉(zhuǎn)換單元403提供的圖像信號(hào)作為第一圖像信號(hào)經(jīng)受諸如圖像轉(zhuǎn)換處理此類的信號(hào)處理,并向輸出單元405輸出藉此已提高圖像質(zhì)量的第二圖像信號(hào),該圖像轉(zhuǎn)換處理例如通過提高分辨率來提高圖像質(zhì)量。在輸出單元405中,輸出信號(hào)處理單元404提供的第二圖像信號(hào)。
同樣,信號(hào)處理單元404評(píng)估通過使來自于傳感器單元401的第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理所獲得的第二圖像信號(hào)。此外,信號(hào)處理單元404向傳感器401提供與其評(píng)估相對(duì)應(yīng)的控制信號(hào)以控制傳感器401的狀態(tài)。
傳感器401根據(jù)信號(hào)處理單元404提供的控制信號(hào)改變其狀態(tài),并輸出在遵循改變的狀態(tài)下所獲得的圖像信號(hào)。
傳感器401是一種三-傳感器成像傳感器裝置,例如包括三個(gè)用于獲得圖像信號(hào)的R、G和B分量的傳感器(隨后所述的R感光器單元23R、G感光器單元23G和B感光器單元23B)。因此,傳感器單元1為每個(gè)像素輸出具有R信號(hào)、G信號(hào)和B信號(hào)三個(gè)分量的圖像信號(hào)。傳感器401根據(jù)信號(hào)處理單元404提供的控制信號(hào)來改變?nèi)齻€(gè)傳感器中的一個(gè)或多個(gè)傳感器的放置狀態(tài)。因此,傳感器401的傳感器放置狀態(tài)是由信號(hào)處理單元404提供的控制信號(hào)來控制的。此刻,傳感器放置狀態(tài)包括傳感器的放置位置和傳感器的姿態(tài)(轉(zhuǎn)動(dòng)狀態(tài))。然而,請(qǐng)注意對(duì)于當(dāng)前具體實(shí)施例,為了便于描述,將進(jìn)行有關(guān)使用來自于信號(hào)處理單元404的控制信號(hào)控制傳感器或傳感器單元401的放置位置的描述。也應(yīng)注意傳感器的姿態(tài)同樣可以控制。
圖19說明圖18所示的信號(hào)處理單元404和輸出單元405的配置實(shí)例。信號(hào)處理單元404包括三個(gè)信號(hào)處理單元411R、411G和411B。信號(hào)處理單元411R接收A/D轉(zhuǎn)換單元403提供的具有R、G和B信號(hào)的第一圖像信號(hào),并使第一圖像信號(hào)轉(zhuǎn)換經(jīng)受圖像轉(zhuǎn)換處理,藉此獲得第二圖像信號(hào)的R信號(hào)(分量),然后將該R信號(hào)輸出到輸出單元405。信號(hào)處理單元411G接收A/D轉(zhuǎn)換單元403提供的具有R、G和B信號(hào)的第一圖像信號(hào),并使第一圖像信號(hào)轉(zhuǎn)換經(jīng)受圖像轉(zhuǎn)換處理,藉此獲得第二圖像信號(hào)的G信號(hào)(分量),然后將該G信號(hào)輸出到輸出單元405。信號(hào)處理單元411G同樣對(duì)第二圖像信號(hào)的G信號(hào)進(jìn)行評(píng)估,并根據(jù)這個(gè)評(píng)估控制傳感器單元401的各傳感器的放置狀態(tài)。信號(hào)處理單元411B接收A/D轉(zhuǎn)換單元403提供的具有R、G和B信號(hào)的第一圖像信號(hào),并使第一圖像信號(hào)轉(zhuǎn)換經(jīng)受圖像轉(zhuǎn)換處理,藉此獲得第二圖像信號(hào)的B信號(hào)(分量),然后將該B信號(hào)輸出到輸出單元405。
注意,在這里,信號(hào)處理單元411G對(duì)第二圖像信號(hào)的G信號(hào)進(jìn)行評(píng)估,獲得向輸出單元405提供的第二圖像信號(hào)的B信號(hào)(分量)。然而,雖然安排信號(hào)處理單元411G對(duì)第二圖像信號(hào)的G信號(hào)進(jìn)行評(píng)估,并根據(jù)該評(píng)估控制傳感器或傳感器單元401的放置狀態(tài),但是也可以通過評(píng)估第二圖像信號(hào)的R信號(hào)或B信號(hào)中的任一個(gè)而不是評(píng)估G信號(hào)來對(duì)傳感器單元401進(jìn)行控制,或者也可以對(duì)第二圖像信號(hào)的R、G和B信號(hào)的兩個(gè)或多個(gè)信號(hào)進(jìn)行評(píng)估。
輸出單元405包括輸出單元412R、412G和412B。輸出單元412R、412G和412B分別接收并輸出信號(hào)處理單元411R、411G和411B輸出的第二圖像信號(hào)的R信號(hào)、G信號(hào)和B信號(hào)。請(qǐng)注意,在下文中,只要適當(dāng)?shù)臅r(shí)候,信號(hào)處理單元411R、411G和/或411B也可以是合稱或分稱為″信號(hào)處理單元411″。
接著,圖20是說明圖18和19所示的傳感器單元401的配置實(shí)例;物體光射入透鏡421中,并且透鏡421通過棱鏡422將物體光聚集到R感光器單元423R、G感光器單元423G和B感光器單元423B的每一個(gè)上。也就是說,投射入透鏡421中光被發(fā)射到棱鏡422中。棱鏡422將來自于透鏡421的物體光分解為R、G和B光,并且沿相應(yīng)于R感光器單元423R、G感光器單元423G和B感光器單元423B所處位置的方向發(fā)射R、G和B光。
R感光器單元423R、G感光器單元423G和B感光器單元423B被配置為光電轉(zhuǎn)換裝置,像例如光電二級(jí)管此類,其從棱鏡422接收R、G和B光,并藉此產(chǎn)生與所接收光量相對(duì)應(yīng)的電信號(hào)形式的R信號(hào)、G信號(hào)和B信號(hào),然后將這些信號(hào)輸出到信號(hào)調(diào)整單元402。
可以用于R感光器單元423R、G感光器單元423G和B感光器單元423B裝置的一個(gè)實(shí)例是CCD(電荷耦合器件)。然而,請(qǐng)注意R感光器單元423R、G感光器423G和B感光器423B并不限于CCD,也可以用CMOS傳感器或HARP來替換。
R控制單元424R、G控制單元424G和B控制單元424B其每一個(gè)都根據(jù)信號(hào)處理單元411G提供的控制信號(hào)對(duì)R感光器單元423R、G感光器單元423G和B感光器單元423B放置位置的移動(dòng)進(jìn)行控制。
在這里為了便于描述,假定整個(gè)R感光器單元423R的位置已被設(shè)置到由R控制單元424R獲得的位置上。此外,假定整個(gè)G感光器單元423G和B感光器單元423B的放置位置已被設(shè)置到由G控制單元424G和B控制單元424B獲得的位置上。但是,應(yīng)注意可以使用MEMS技術(shù)來進(jìn)行安排,借此所利用的R感光器單元423R是一個(gè)在其中像素的放置位置基本可以改變(移動(dòng))的感光器單元,因此R控制單元424R可以個(gè)別地控制R感光器單元423R的每個(gè)像素的放置位置。這對(duì)于G感光器單元423G、G控制單元424G、B感光器單元423B和B控制單元424B也同樣成立。
接下來,將參考附圖21A到21D來描述圖21所示的使用R控制單元424R、G控制單元424G和B控制單元424B對(duì)R感光器單元423R、G感光器單元423G和B感光器單元423B中的每一個(gè)所進(jìn)行的控制。
圖21A所示的R感光器單元423R、圖21B所示的G感光器單元423G和圖21C所示的B感光器單元423B,其每個(gè)都具有有限區(qū)域(相應(yīng)于一個(gè)光電二極管等等)的像素,并輸出在每個(gè)像素與所接收的光量相對(duì)應(yīng)的圖像信號(hào)(像素值)。請(qǐng)注意,在圖21A到21D中,所述像素是每個(gè)邊都具有有限長(zhǎng)度的正方形。
在這里,R感光器單元423R、G感光器單元423G和B感光器單元423B的像素的位置每一個(gè)由作為像素的正方形的重心表示,并且R感光器單元423R、G感光器單元423G和B感光器單元423B的像素分別由點(diǎn)、圓和X代表。接近表明圖像拾取設(shè)備,諸如攝像機(jī)或靜態(tài)照相機(jī),R感光器單元423R、G感光器單元423G和B感光器單元423B的例如相應(yīng)像素的位置全部在光學(xué)上匹配。也就是說,R感光器單元423R、G感光器單元423G和B感光器單元423B被全部放置在光學(xué)上等效位置上,以使光線的R、G和B射線由相應(yīng)的像素接收。
R控制單元424R、G控制單元424G和B控制單元424B其分別根據(jù)信號(hào)處理單元411G(圖11)提供的控制信號(hào)對(duì)R感光器單元423R、G感光器單元423G和B感光器單元423B的位置移動(dòng)進(jìn)行控制。也就是說,R感光器單元423R、G感光器單元423G和B感光器單元423B的放置位置不是固定的而是可移動(dòng)的,并因此傳感器401中的R感光器單元423R、G感光器單元423G和B感光器單元423B的相應(yīng)像素沒有必要在光學(xué)上相同的位置上。
如圖21D所示,對(duì)于作為參考的R感光器單元423R的像素的位置(圖13A和13D的點(diǎn)所示)而言,在G感光器單元423G的像素位置的水平方向和垂直方向上的偏移量(由圖21所示的圓表示)被表示為PhG和PvG,而在B感光器單元423B的像素位置的水平方向和垂直方向上的偏移量(由圖21中的X表示)被表示為PhB和PvB。
R控制單元424R、G控制單元424G和B控制單元424B根據(jù)信號(hào)處理單元411G提供的控制信號(hào)移動(dòng)R感光器單元423R、G單元423G和B感光器單元423B得放置位置,以便實(shí)現(xiàn)偏移量PhG、PvG、PhB、PvB。
現(xiàn)在,在這種情況下,在其中可做一些安排,例如,R感光器單元423R的位置是固定的,只移動(dòng)感光器單元423G和B感光器單元423B。或者,可在其中另一個(gè)安排,即R感光器單元423R、G感光器單元423G和B感光器單元423B中除R感光器單元423R之外的另一個(gè)感光器單元是固定的,而剩余的兩個(gè)可以移動(dòng),此外可在其中做這樣的安排,即可以移動(dòng)所有的R感光器單元423R、G感光器單元423G和B感光器單元423B。
接下來,圖22說明圖19所示的信號(hào)處理單元411的配置實(shí)例。信號(hào)處理單元411R、411G和411B已提供來自傳感器401并通過信號(hào)調(diào)整單元402和A/D轉(zhuǎn)換單元403的圖像信號(hào)作為第一圖像信號(hào)。
信號(hào)處理單元411R包括圖像轉(zhuǎn)換單元431R和圖像存儲(chǔ)單元432R。提供給信號(hào)處理單元411R的第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元431R。圖像轉(zhuǎn)換單元431R使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,以例如通過提高分辯率來提高圖像質(zhì)量,并向圖像存儲(chǔ)單元432R提供具有作為信號(hào)處理結(jié)果的提高圖像質(zhì)量的R數(shù)字圖像信號(hào)作為第二圖像信號(hào)的R信號(hào)。
圖像存儲(chǔ)單元432R臨時(shí)存儲(chǔ)圖像轉(zhuǎn)換單元431R提供的第二圖像信號(hào)。此外,圖像存儲(chǔ)單元432R根據(jù)信號(hào)處理單元411G的評(píng)估單元433提供的用于選擇圖像的選擇信息從所存儲(chǔ)的第二圖像信號(hào)中讀出第二圖像信號(hào),并將讀出的第二圖像信號(hào)提供給輸出單元405。
信號(hào)處理單元411G包括圖像轉(zhuǎn)換單元431G、圖像存儲(chǔ)單元432G和評(píng)估單元433。提供給信號(hào)處理單元411G的第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元431G。圖像轉(zhuǎn)換單元431G使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,以例如通過提高分辯率來提高圖像質(zhì)量,并向圖像存儲(chǔ)單元432G和評(píng)估單元433提供具有作為信號(hào)處理結(jié)果的提高圖像質(zhì)量的G數(shù)字圖像信號(hào)作為第二圖像信號(hào)的G信號(hào)。
圖像存儲(chǔ)單元432G臨時(shí)存儲(chǔ)圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)。此外,圖像存儲(chǔ)單元432G根據(jù)信號(hào)處理單元411G的評(píng)估單元433提供的用于選擇圖像的選擇信息從所存儲(chǔ)的第二圖像信號(hào)中讀出第二圖像信號(hào),并將讀出的第二圖像信號(hào)提供給輸出單元405。
評(píng)估單元433對(duì)圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)的G信號(hào)進(jìn)行評(píng)估,并且向傳感器單元401提供相應(yīng)于評(píng)估的控制信號(hào),藉此控制傳感器401的R感光器單元423R、G感光器單元423G和B感光器單元423B的放置位置(圖20)。此外,評(píng)估單元433將相應(yīng)于第二圖像信號(hào)的評(píng)估的選擇信息提供給圖像存儲(chǔ)單元432G,并進(jìn)一步將相同的選擇信息提供給信號(hào)處理單元411R的圖像存儲(chǔ)單元432R和信號(hào)處理單元411B的圖像存儲(chǔ)單元432B。
信號(hào)處理單元411B包括圖像轉(zhuǎn)換單元431B和圖像存儲(chǔ)單元432B。提供給信號(hào)處理單元411B的第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元431B。圖像轉(zhuǎn)換單元431B使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,以例如通過提高分辯率來提高圖像質(zhì)量,并向圖像存儲(chǔ)單元432B提供具有作為信號(hào)處理結(jié)果的提高圖像質(zhì)量的B數(shù)字圖像信號(hào)作為第二圖像信號(hào)的B信號(hào)。
圖像存儲(chǔ)單元432B臨時(shí)存儲(chǔ)圖像轉(zhuǎn)換單元431B提供的第二圖像信號(hào)。此外,圖像存儲(chǔ)單元432B根據(jù)信號(hào)處理單元411G的評(píng)估單元433提供的用于選擇圖像的選擇信息從所存儲(chǔ)的第二圖像信號(hào)中讀出第二圖像信號(hào),并將讀出的第二圖像信號(hào)提供給輸出單元405。
請(qǐng)注意,圖像轉(zhuǎn)換單元431R、431G和431B具有相同的配置,因此可視情況,合稱或分稱為″圖像轉(zhuǎn)換單元431″。此外,應(yīng)注意圖像存儲(chǔ)單元432R、432G和432B具有相同的配置,因此視情況,可合稱或分稱為″圖像存儲(chǔ)單元432″。
接著,圖23說明圖22所示的評(píng)估單元433的配置實(shí)例;評(píng)估單元433包括存儲(chǔ)單元441、相關(guān)性計(jì)算單元442、確定評(píng)估單元443和控制信號(hào)輸出單元444,并且評(píng)估圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)的G信號(hào)的圖像質(zhì)量。
更具體地說,圖像存儲(chǔ)單元441臨時(shí)存儲(chǔ)圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)。相關(guān)性計(jì)算單元442計(jì)算圖像轉(zhuǎn)換單元431G上次提供的第二圖像信號(hào)和圖像轉(zhuǎn)換單元431G這次提供的第二圖像信號(hào)之間的相關(guān)性,并將作為計(jì)算結(jié)果獲得的相關(guān)值提供給確定評(píng)估單元443。
確定評(píng)估單元443根據(jù)相關(guān)性計(jì)算單元442提供的相關(guān)值來評(píng)估圖像轉(zhuǎn)換單元431G輸出的第二圖像信號(hào),并獲得效果為第二圖像信號(hào)的圖像質(zhì)量是高,或是低的評(píng)估結(jié)果。此外,確定評(píng)估單元443將第二圖像信號(hào)的評(píng)估結(jié)果提供給控制信號(hào)輸出單元444,并根據(jù)該評(píng)估結(jié)果向圖22所示的圖像存儲(chǔ)單元432R、432G和432B輸出選擇信息。
控制信號(hào)輸出單元444向傳感器401的R控制單元424R、G控制單元424G和B控制單元424B提供控制傳感器401的R感光器單元423R、G感光器單元423G和B感光器單元423B(圖20)的放置位置的控制信號(hào),該控制信號(hào)與來自確定評(píng)估單元443的第二圖像信號(hào)的評(píng)估結(jié)果相對(duì)應(yīng)。因此,R感光器單元423R、G感光器單元423G和B感光器單元423B的放置位置得到控制。
對(duì)于如上述設(shè)置的評(píng)估單元433而言,存儲(chǔ)單元441連續(xù)地存儲(chǔ)圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)。當(dāng)相關(guān)性計(jì)算單元442接收?qǐng)D像轉(zhuǎn)換單元431G提供的新的第二圖像信號(hào)時(shí),其計(jì)算這些第二圖像信號(hào)和圖像轉(zhuǎn)換單元431G上次提供的并存儲(chǔ)在存儲(chǔ)單元441中的第二圖像信號(hào)之間的相關(guān)值。
此時(shí),第二圖像信號(hào)的兩個(gè)幀(場(chǎng))之間的相關(guān)值的實(shí)例是兩個(gè)圖像信號(hào)之間的位于相同位置的部分或所有像素的差分絕對(duì)和的倒數(shù)。
相關(guān)性計(jì)算單元442將獲得的相關(guān)值提供給確定評(píng)估單元443。確定評(píng)估單元443根據(jù)相關(guān)性計(jì)算單元442提供的相關(guān)值來評(píng)估圖像轉(zhuǎn)換單元431G輸出的第二圖像信號(hào),并獲得效果為第二圖像信號(hào)的圖像質(zhì)量是高,或是低的評(píng)估結(jié)果。如果確定評(píng)估單元443獲得的效果為第二圖像信號(hào)的圖像質(zhì)量是低的評(píng)估結(jié)果,那么確定評(píng)估單元443將評(píng)估結(jié)果提供給控制信號(hào)輸出單元444。
如圖21所示,當(dāng)接收到效果為第二圖像信號(hào)的圖像質(zhì)量為低的評(píng)估結(jié)果時(shí),控制信號(hào)輸出單元444向傳感器401提供與評(píng)估結(jié)果相對(duì)應(yīng)控制傳感器401的R感光器單元423R、G感光器單元423G和B感光器單元423B(圖20)的放置位置的控制信號(hào),即,參考R感光器單元423R的像素位置,改變G感光器單元423G的像素位置的偏移量值PhG和PvG,以及B感光器單元423B的像素位置的偏移量值PhB和PvB的控制信號(hào)?,F(xiàn)在,對(duì)于具有當(dāng)前偏移量PhG、PvG、PhB和PvB為分量的四維矢量而言,它的分量表示為矢量P(PhG、PvG、PhB、PvB),以及四維無窮小矢量表示為Δp,在成像某一幀時(shí),控制信號(hào)輸出單元444新設(shè)置一個(gè)還沒被設(shè)置的矢量P+Δp,并輸出用于控制R感光器單元423R、G感光器單元423G和B感光器單元423B偏移到與矢量P+Δp的分量值相匹配的位置的控制信號(hào)。此時(shí),無窮小矢量Δp的分量例如可以是隨機(jī)數(shù)。
在這種情況下,根據(jù)控制信號(hào)輸出單元444提供的控制信號(hào)移動(dòng)傳感器401的R感光器單元423R、G感光器單元423G或B感光器單元423B(圖20)的放置位置。此外,傳感器401的R感光器單元423R、G感光器單元423G和B感光器單元423B隨其移動(dòng)接收物體光,并輸出與所接收的光量相對(duì)應(yīng)的圖像信號(hào)。通過信號(hào)調(diào)整單元402和A/D轉(zhuǎn)換單元403,由傳感器401輸出的圖像信號(hào)被作為新的第一圖像信號(hào)提供給信號(hào)處理單元411。圖22所示的信號(hào)處理單元411的圖像轉(zhuǎn)換單元431使新的第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理,并將作為圖像轉(zhuǎn)換處理的結(jié)果所獲得的新的第二圖像信號(hào)提供給圖像存儲(chǔ)單元432并存儲(chǔ)在其中。此外,圖像轉(zhuǎn)換單元431R將新的第二圖像信號(hào)提供給評(píng)估單元433。
評(píng)估單元433的相關(guān)性計(jì)算單元442從圖像轉(zhuǎn)換單元431R接收新的第二圖像信號(hào),并計(jì)算該第二圖像信號(hào)和圖像轉(zhuǎn)換單元431G上次提供的并存儲(chǔ)在存儲(chǔ)器411中的第二圖像信號(hào)之間的相關(guān)值,該相關(guān)值將提供給確定評(píng)估單元443。
通過重復(fù)上述處理,確定評(píng)估單元443獲得從以偏移量PhG、PvG、PhB和PvB成像的第一圖像信號(hào)中獲得的第二圖像信號(hào)的相關(guān)值。
現(xiàn)在,圖24說明對(duì)于每個(gè)值,偏移量PhG、PvG、PhB和PvB之間的關(guān)系和使用從以偏移量PhG、PvG、PhB和PvB成像的第一圖像信號(hào)中獲得的第二圖像信號(hào)的相關(guān)值。相關(guān)值表示由某一偏移量PhG、PvG、PhB和PvB得到的第二圖像信號(hào)和由偏移量PhG’、PvG’、PhB’和PvB’得到的第二圖像信號(hào)之間的相關(guān)性,該偏移量PhG’、PvG’、PhB’和PvB’由相應(yīng)于上述無窮小矢量Δp的無窮小量來偏移。
因此,某一偏移量PhG、PvG、PhB、PvB的低相關(guān)值表示由偏移量PhG、PvG、PhB、PvB得到的第二圖像信號(hào)是具有模糊邊緣而沒有銳化的低圖像質(zhì)量。另一方面,某一偏移量PhG、PvG、PhB、PvB的高相關(guān)值表示由偏移量PhG、PvG、PhB、PvB得到的第二圖像信號(hào)是具有銳化邊緣的高圖像質(zhì)量。
因此,如果相關(guān)性計(jì)算單元442提供的相關(guān)值是低的,那么圖23所示的確定評(píng)估單元443將第二圖像信號(hào)的圖像質(zhì)量評(píng)估為低,相反如果相關(guān)值是高的,例如如果如圖24所示的那樣獲得最大值(或最高值),那么將第二圖像信號(hào)的圖像質(zhì)量評(píng)估為高。如果評(píng)估結(jié)果是第二圖像信號(hào)的圖像質(zhì)量為高,那么確定評(píng)估單元443向圖像存儲(chǔ)單元432輸出效果為獲得這些評(píng)估結(jié)果時(shí)所用來計(jì)算相關(guān)值的兩個(gè)第二圖像信號(hào)中的一個(gè)將要被選擇的選擇信息(圖22)。
在圖像存儲(chǔ)單元432R、432G和432B處,根據(jù)該選擇信息的第二圖像信號(hào),即關(guān)于所獲評(píng)估結(jié)果是圖像質(zhì)量為高的第二圖像信號(hào),從上述存儲(chǔ)的第二圖像信號(hào)中讀出,并將其提供給輸出單元405。
接下來,將參考圖25中的流程圖來描述圖18和19所示的圖像拾取設(shè)備的操作。
對(duì)于圖像拾取設(shè)備而言,首先,在步驟S101中,傳感器401接收物體光,然后執(zhí)行光電轉(zhuǎn)換,藉此獲得電信號(hào)形式的圖像信號(hào)(即,使物體成像),并且將圖像信號(hào)提供給信號(hào)調(diào)整單元402。信號(hào)調(diào)整單元402使傳感器單元401提供的圖像信號(hào)經(jīng)受CDS處理,然后將這些信號(hào)提供給A/D轉(zhuǎn)換單元403。A/D轉(zhuǎn)換單元403對(duì)信號(hào)調(diào)整單元402提供的圖像信號(hào)執(zhí)行A/D轉(zhuǎn)換,然后作為第一圖像信號(hào)提供給信號(hào)處理單元404,因此,信號(hào)處理單元404獲得第一圖像信號(hào),從而流程從S101進(jìn)行到步驟S102。
在步驟S102中,在信號(hào)處理單元404處,信號(hào)處理單元411的圖像轉(zhuǎn)換單元431(圖22)使來自于A/D轉(zhuǎn)換單元403的第一圖像信號(hào)經(jīng)受作為信號(hào)處理的圖像轉(zhuǎn)換處理,藉此在第一圖像信號(hào)之上產(chǎn)生圖像質(zhì)量提高的第二圖像信號(hào),并提供給圖像存儲(chǔ)單元432并存儲(chǔ)在其中。此外,在步驟S102中,圖像轉(zhuǎn)換單元431G將作為圖像轉(zhuǎn)換處理的結(jié)果所獲得的第二圖像信號(hào)提供給評(píng)估單元433,從而流程進(jìn)行到步驟S103。
在步驟S103中,評(píng)估單元433執(zhí)行用于對(duì)圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)進(jìn)行評(píng)估的評(píng)估處理,然后流程進(jìn)行到步驟S104。在步驟S104中,評(píng)估單元433確定所獲評(píng)估結(jié)果是圖像質(zhì)量為高的第二圖像是否已經(jīng)獲得。
在步驟S104中,如果確定在步驟S104中,如果確定所獲評(píng)估結(jié)果是圖像質(zhì)量為低的第二圖像已被獲得,那么流程進(jìn)行到步驟S105,而且評(píng)估單元433將向傳感器401提供控制信號(hào)以指定偏移量PhG、PvG、PhB和PvB,藉此移動(dòng)傳感器單元401的R感光器單元423R、G感光器單元423G或B感光器單元423B(圖20)的放置位置,然后流程返回步驟S101。
在步驟S101中,在先前步驟S105中已移動(dòng)到的放置位置處為傳感器單元401的R感光器單元423R、G感光器單元423G或感光器單元423B中的每一個(gè)獲得圖像信號(hào),并且重復(fù)相同的處理。
在步驟S104中,如果確定所獲評(píng)估結(jié)果是圖像質(zhì)量為高的第二圖像信號(hào)已被獲得,那么評(píng)估單元433向圖像存儲(chǔ)單元432提供產(chǎn)生評(píng)估結(jié)果的第二圖像信號(hào)將被選擇的選擇信息,然后流程進(jìn)行到步驟S106。
在步驟S106中,圖像存儲(chǔ)單元432R、432G和432B根據(jù)評(píng)估單元433提供的選擇信息從在步驟S102狀態(tài)下存儲(chǔ)的剩余第二圖像信號(hào)中選擇并讀出第二信號(hào),即高圖像質(zhì)量的第二圖像信號(hào),并輸出到輸出單元405,從而圖像數(shù)據(jù)的一個(gè)幀(或場(chǎng))的處理結(jié)束。圖像拾取設(shè)備根據(jù)圖25的流程圖重復(fù)處理,例如直到用戶給出圖像拾取停止指令。
接下來,將參考圖26的流程圖來描述圖25的在步驟S103中由圖23所示的評(píng)估單元433執(zhí)行的評(píng)估處理。
在評(píng)估處理中,首先,在步驟S311中,存儲(chǔ)單元411存儲(chǔ)在前步驟S102中圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)(圖25),并且相關(guān)性計(jì)算單元442接收這些第二圖像信號(hào)。此外,在步驟S311中,相關(guān)性計(jì)算單元442計(jì)算圖像轉(zhuǎn)換單元431G提供的第二圖像信號(hào)和存儲(chǔ)單元441在先前步驟S311中存儲(chǔ)的第二圖像信號(hào)之間的相關(guān)值,并將相關(guān)值提供到確定評(píng)估單元443,然后流程進(jìn)行到步驟S312。
在步驟S312中,在取得用于獲得相關(guān)值的兩個(gè)第二圖像信號(hào)之一時(shí),確定評(píng)估單元443臨時(shí)存儲(chǔ)相關(guān)性計(jì)算單元442以與偏移量PhG、PvG、PhB和PvB相關(guān)的形式提供的相關(guān)值,然后流程進(jìn)行到步驟S313。此時(shí),當(dāng)取得用于獲得相關(guān)性計(jì)算單元422提供的相關(guān)值的兩個(gè)第二圖像信號(hào)之一時(shí),確定評(píng)估單元443從控制信號(hào)輸出單元444獲得偏移量PhG、PvG、PhB和PvB。
在步驟S313中,對(duì)于迄今為止在步驟S312存儲(chǔ)的相關(guān)值和偏移量之間的關(guān)系,確定評(píng)估單元443確定是否已獲得相關(guān)值的最大值。如果在步驟S313中確定還沒有獲得相關(guān)值的最大值,那么流程進(jìn)行到步驟S314,確定評(píng)估單元443做出效果為第二圖像信號(hào)是低圖像質(zhì)量的圖像信號(hào)的評(píng)估,然后流程返回圖25中的步驟S104。
在這種情況下,在圖25的步驟S104中,確定評(píng)估單元443確定還沒有獲得效果為圖像質(zhì)量是高的評(píng)估結(jié)果,并因此將評(píng)估結(jié)果,即效果為第二圖像信號(hào)是低圖像質(zhì)量的評(píng)估結(jié)果提供給控制信號(hào)輸出單元444。在步驟S105中,控制信號(hào)輸出單元444接收效果為第二圖像信號(hào)是低圖像質(zhì)量的評(píng)估結(jié)果,并向傳感器單元401提供與該評(píng)估結(jié)果相對(duì)應(yīng)的用于指定新的偏移量PhG、PvG、PhB和PvB的控制信號(hào)。
返回步驟S26,如果在步驟S313中確定已經(jīng)獲得相關(guān)值的最大值,那么流程進(jìn)行到步驟S315,確定評(píng)估單元443做出效果為第二圖像信號(hào)是高圖像質(zhì)量的評(píng)估,然后流程返回圖25中的步驟S104。
在這種情況下,在圖25的步驟S104中,如果確定所獲評(píng)估結(jié)果是圖像質(zhì)量為高的第二圖像信號(hào)已被獲得,那么評(píng)估單元433向圖像存儲(chǔ)單元432提供效果為產(chǎn)生評(píng)估結(jié)果的第二圖像信號(hào)將被選擇的選擇信息,然后流程進(jìn)行到步驟S106。
在步驟S106中,圖像存儲(chǔ)單元432R、432G和432B根據(jù)評(píng)估單元433提供的選擇信息從在步驟S102狀態(tài)下存儲(chǔ)的剩余第二圖像信號(hào)中選擇并讀出第二信號(hào),即具有高圖像質(zhì)量的第二圖像信號(hào)。
如上所述,對(duì)第二數(shù)字圖像信號(hào)進(jìn)行評(píng)估,根據(jù)評(píng)估結(jié)果控制偏移量PhG,PvG,PhB,和PvB,如此控制傳感器單元401的R感光器單元423R、G感光器單元423G和B感光器單元423B(圖20)的放置位置,因此對(duì)于具有放置在與偏移量PhG、PvG、PhB和PvB相對(duì)應(yīng)的位置上的R感光器單元423R、G感光器單元423G和B感光器單元423B的傳感器單元401而言,輸出適于在圖像轉(zhuǎn)換單元431進(jìn)行圖像轉(zhuǎn)換處理的圖像信號(hào),從而在圖像轉(zhuǎn)換單元431可以獲得高圖像質(zhì)量的第二圖像信號(hào)。
雖然在上述描述中,在步驟S313中獲得的相關(guān)值是最大值的情況下,做出效果為第二圖像信號(hào)是高圖像質(zhì)量的評(píng)估結(jié)果,但是可以應(yīng)用一個(gè)替換的安排,其中如果在步驟S313中獲得的相關(guān)值的最大值超過了預(yù)定閾值的最大值,那么做出效果為第二圖像信號(hào)是高圖像質(zhì)量的評(píng)估結(jié)果。
同樣,在上述情況中,第二圖像信號(hào)是以根據(jù)相關(guān)值評(píng)估的形式描述的,但是可以使用替換的安排,其中根據(jù)相對(duì)于偏移量PhG、PvG、PhB和PvB的每個(gè)值獲得的第二圖像信號(hào)的S/N來對(duì)第二圖像信號(hào)進(jìn)行評(píng)估。此外,可以從外部輸入第二圖像信號(hào)的評(píng)估。也就是說,例如可以實(shí)施這樣的安排,其中顯示第二圖像信號(hào),并且例如通過觀察所顯示圖像的用戶輸出第二圖像信號(hào)的評(píng)估。
此外,可以對(duì)有關(guān)的偏移量進(jìn)行安排,其中預(yù)先準(zhǔn)備幾個(gè)值,獲得有關(guān)所有幾個(gè)偏移量值的相關(guān)值,當(dāng)獲得最高相關(guān)值時(shí),在圖25的步驟S106中輸出兩個(gè)圖像信號(hào)之一。
同樣,可以做這樣的安排,即在一個(gè)幀(場(chǎng))時(shí)期之內(nèi)盡可能多次的執(zhí)行圖25中的步驟S101到S105的循環(huán),并且在圖25的步驟S106中,當(dāng)獲得在循環(huán)處理期間所獲得的相關(guān)值的最高相關(guān)值時(shí),輸出兩個(gè)圖像信號(hào)之一。
圖22所示的圖像轉(zhuǎn)換單元431的設(shè)置與圖4所示的圖像轉(zhuǎn)換單元31相同,因此在這里省略了對(duì)它的描述(請(qǐng)參照?qǐng)D6至10及對(duì)它的描述)。
第三具體實(shí)施例緊接著,圖27是說明已應(yīng)用本發(fā)明的圖像拾取設(shè)備的第三具體實(shí)施例的配置實(shí)例。請(qǐng)注意,相應(yīng)于圖18或19中的那些部件以相同的附圖標(biāo)記給出,并且視情況省略了其中的描述。簡(jiǎn)單地說,除了進(jìn)一步提供的操作單元185之外,根據(jù)圖27所示的第三具體實(shí)施例的圖像拾取設(shè)備基本上與根據(jù)圖18和19所示的第二具體實(shí)施例的圖像拾取設(shè)備相同。
操作單元185是例如通過用戶操作的按鈕,并且向信號(hào)處理單元404輸出與該操作相對(duì)應(yīng)的參數(shù)。圖27中的信號(hào)處理單元404配置有信號(hào)處理單元411R、411G和411B,如圖19所說明的那樣。
圖28說明組成圖27所示的信號(hào)處理單元404的信號(hào)處理單元411R、411G和411B的配置實(shí)例。請(qǐng)注意,與圖22中的那些部件相對(duì)應(yīng)的部件以相同的附圖標(biāo)記表示,并且視情況省略了其中的描述。就所關(guān)心的信號(hào)處理單元411R、411G和411B而言,它們都是以與圖22所示的相同方式配置的,但是在此所作安排的不同點(diǎn)在于從操作單元185輸出的參數(shù)被提供給圖像轉(zhuǎn)換單元431(由431R、431G和431B組成),使用圖像轉(zhuǎn)換單元431施行與該參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理。
圖29是說明圖28所示的圖像轉(zhuǎn)換單元431的配置實(shí)例。請(qǐng)注意,與圖6中的那些部件相對(duì)應(yīng)的部件以相同的附圖標(biāo)記表示,并且視情況省略了其中的描述。在這里,圖22所示的圖像轉(zhuǎn)換單元431具有與圖4所示的圖像轉(zhuǎn)換單元31相同的配置,而且圖4所示的圖像轉(zhuǎn)換單元31已以圖6到圖10的方式描述過了。然而,操作單元185輸出的參數(shù)被提供給因數(shù)輸出單元124。
圖30是說明圖29所示的因數(shù)輸出單元124的另一配置實(shí)例。在這里同樣使用相同的參考數(shù)字來表示與圖7所示的那些部件相對(duì)應(yīng)的部件。
雖然圖7所示的安排包括因數(shù)輸出單元124,存儲(chǔ)通過預(yù)先學(xué)習(xí)而獲得的每個(gè)類的抽頭因數(shù),但是對(duì)于圖30中的安排而言,因數(shù)輸出單元124為每個(gè)類從好似作為種子的抽頭種子數(shù)據(jù)和預(yù)定參數(shù)中生成能夠產(chǎn)生所希望質(zhì)量的圖像的抽頭因數(shù)。
因數(shù)存儲(chǔ)器181為每個(gè)類存儲(chǔ)因數(shù)生成單元182提供的抽頭因數(shù)。一旦類分類單元123提供分類代碼,因數(shù)存儲(chǔ)器181從為每個(gè)類存儲(chǔ)的抽頭因數(shù)中讀取分類代碼表示的類的抽頭因數(shù),并輸出到計(jì)算單元125。
因數(shù)生成單元182根據(jù)存儲(chǔ)在因數(shù)種子存儲(chǔ)器183中的因數(shù)種子數(shù)據(jù)和存儲(chǔ)在參數(shù)存儲(chǔ)器184中的參數(shù)為每個(gè)類生成抽頭因數(shù),該抽頭因數(shù)被提供給因數(shù)存儲(chǔ)器181并通過覆蓋而被存儲(chǔ)。
因數(shù)種子存儲(chǔ)器183為每個(gè)類存儲(chǔ)通過學(xué)習(xí)隨后描述的因數(shù)種子數(shù)據(jù)而獲得的因數(shù)種子數(shù)據(jù)。因數(shù)種子數(shù)據(jù)是作為生成抽頭因數(shù)的種子的數(shù)據(jù)。
如果用戶運(yùn)行操作單元185,參數(shù)存儲(chǔ)器184就根據(jù)該操作通過覆蓋來存儲(chǔ)操作單元185輸出的參數(shù)。
對(duì)于圖30所示的因數(shù)輸出單元124而言,對(duì)于每個(gè)抽頭存儲(chǔ)(設(shè)置)在因數(shù)存儲(chǔ)器181中的抽頭因數(shù),即計(jì)算單元125使用的每個(gè)類的抽頭因數(shù)而言,根據(jù)用戶對(duì)操作單元185所作的操作對(duì)其進(jìn)行更新。
現(xiàn)在,將參考附圖31的流程圖來描述為每個(gè)類更新抽頭因數(shù)的處理,該處理是在圖30所示的因數(shù)輸出單元124處執(zhí)行的,即抽頭因數(shù)更新處理。
首先,在步驟S171中,參數(shù)存儲(chǔ)器184確定操作單元185是否已提供了參數(shù),并且當(dāng)在步驟S171中確定操作單元185已提供參數(shù),那么流程進(jìn)行到步驟S172,其中參數(shù)存儲(chǔ)器184通過覆蓋存儲(chǔ)所提供的參數(shù),然后流程進(jìn)行到步驟S173。
此外,如果在步驟S171中確定操作單元185還沒有提供參數(shù),那么跳過步驟S172,流程進(jìn)行到步驟S173。
因此,對(duì)于參數(shù)存儲(chǔ)器184而言,如果操作單元185由用戶操作并且操作單元185提供了與用戶操作相對(duì)應(yīng)的參數(shù),那么以提供的參數(shù)更新所存儲(chǔ)的內(nèi)容。
在步驟S173中,因數(shù)生成單元182為每個(gè)類從因數(shù)種子存儲(chǔ)器183中讀出因數(shù)種子數(shù)據(jù),并且從參數(shù)存儲(chǔ)器184中讀出參數(shù),藉此獲得因數(shù)種子數(shù)據(jù)和參數(shù),并根據(jù)因數(shù)種子數(shù)據(jù)和參數(shù)為每個(gè)類獲得抽頭因數(shù)。然后流程進(jìn)行到步驟S174,在這里,因數(shù)生成單元182將每個(gè)類的抽頭因數(shù)提供給因數(shù)存儲(chǔ)器181,并通過覆蓋存儲(chǔ)。流程從步驟S174返回到S171,此后重復(fù)相同的處理。
因此,在圖29中的圖像轉(zhuǎn)換單元431處,使用以該參數(shù)更新的抽頭因數(shù)來利用先前的表達(dá)式(1)執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的圖像轉(zhuǎn)換處理,即與該參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理。
請(qǐng)注意,在圖31中,如果新的參數(shù)在參數(shù)存儲(chǔ)器184中被覆蓋,那么將執(zhí)行步驟S173和S174中的處理,否則將被跳過。
緊接著,將對(duì)有關(guān)在因數(shù)生成單元182處生成抽頭因數(shù)和學(xué)習(xí)要被存儲(chǔ)在因數(shù)種子存儲(chǔ)器183中的因數(shù)種子數(shù)據(jù)作出描述。
假定我們有高圖像質(zhì)量的圖像信號(hào)作為第二圖像信號(hào)和低質(zhì)量信號(hào)作為第一圖像信號(hào),該低質(zhì)量信號(hào)通過使用降低分辨率的LPF(低通濾波器)對(duì)高圖像質(zhì)量圖像信號(hào)進(jìn)行過濾獲得?,F(xiàn)在我們將考慮這樣的例子,即從低圖像質(zhì)量圖像信號(hào)提取預(yù)測(cè)抽頭,并根據(jù)預(yù)定的預(yù)測(cè)計(jì)算,例如表達(dá)式(1)的線性基本預(yù)測(cè)計(jì)算,使用預(yù)測(cè)抽頭和抽頭因數(shù)來獲得高圖像質(zhì)量像素的像素值。
此時(shí),高圖像質(zhì)量像素的像素值y可以通過二次表達(dá)式或更高的表達(dá)式來獲得,而非線性基本表達(dá)式(1)。
另一方面,在因數(shù)生成單元182處,根據(jù)存儲(chǔ)在因數(shù)種子存儲(chǔ)器183中的因數(shù)種子數(shù)據(jù)和存儲(chǔ)在參數(shù)存儲(chǔ)器184中的參數(shù)生成抽頭因數(shù)wn,在此假定使用因數(shù)種子數(shù)據(jù)和參數(shù)來利用下列表達(dá)式執(zhí)行因數(shù)生成單元182處的抽頭因數(shù)wn的生成。
wn=Σm=1Mβm,nzm-1---(9)]]>其中βm,n表示用于獲得第n個(gè)抽頭因數(shù)wn的第m個(gè)因數(shù)種子數(shù)據(jù),而z表示參數(shù)。請(qǐng)注意,在表達(dá)式(9)中,使用M個(gè)因數(shù)種子數(shù)據(jù)βn,1、βn,2等直到βn,M來獲得抽頭因數(shù)wn。
現(xiàn)在,應(yīng)當(dāng)理解從因數(shù)種子βm,n和參數(shù)z中獲得抽頭因數(shù)wn的表達(dá)式并不僅限于表達(dá)式(9)。
在表達(dá)式(9)中的由參數(shù)z確定zm-1的值通過引入一個(gè)新的變量tm來使用下列表達(dá)式定義。
tm=zm-1(m=1,2,...M)(10)將表達(dá)式(10)代入表達(dá)式(9)中產(chǎn)生下列表達(dá)式。
wn=Σm=1Mβm,ntm---(11)]]>根據(jù)表達(dá)式(11),通過因數(shù)種子數(shù)據(jù)βm,n和變量的tm線性基本表達(dá)式來獲得抽頭因數(shù)wn。
此刻,高圖像質(zhì)量像素的像素值的第k個(gè)采樣的真實(shí)值為yk,以及真實(shí)值yk的預(yù)測(cè)值為yk′,預(yù)測(cè)誤差ek使用下列表達(dá)式表達(dá)。
ek=y(tǒng)k-yk′(12)此刻,表達(dá)式(12)中的預(yù)測(cè)值yk′是根據(jù)表達(dá)式(1)獲得的,因此根據(jù)表達(dá)式(1)將yk′代入表達(dá)式(12)而得到下列表達(dá)式(1)。
ek=yk-(Σn=1Nwnxn,k)---(13)]]>其中xn,k表示構(gòu)成有關(guān)高圖像質(zhì)量像素的第k個(gè)采樣的預(yù)測(cè)抽頭的第n個(gè)低圖像質(zhì)量像素。
將表達(dá)式(11)代入表達(dá)式(13)的Wn中產(chǎn)生下列表達(dá)式。
ek=yk-(Σn=1N(Σm=1Mβm,ntm)xn,k)---(14)]]>此刻,對(duì)于預(yù)測(cè)高圖像質(zhì)量像素而言,其中在表達(dá)式(14)中的預(yù)測(cè)誤差ek是0的因數(shù)種子數(shù)據(jù)βm,n是最佳的,但是對(duì)于所有高圖像質(zhì)量像素而言,要獲得這樣的因數(shù)種子數(shù)據(jù)βm,n一般是困難的。
因此,例如可以利用最小平方法并最小化誤差平方和E來獲得其中因數(shù)種子數(shù)據(jù)βm,n是最佳的范圍。
E=Σk=1Kek2---(15)]]>其中K表示高圖像質(zhì)量像素yk和低圖像質(zhì)量像素x1,k、x2,k等直到xN,k的組的采樣數(shù)量(即,學(xué)習(xí)采樣的數(shù)量),該低圖像質(zhì)量像素構(gòu)成有關(guān)高圖像質(zhì)量像素yk的預(yù)測(cè)抽頭。
使用βm,n獲得表達(dá)式(15)中的誤差平方和E的最小值(極小值),其中使用因數(shù)種子數(shù)據(jù)βm,n對(duì)和E進(jìn)行偏微分而得到0,如表達(dá)式(16)所示。
∂E∂βm,n=Σk=1K2·∂ek∂βm,n·ek=0---(16)]]>將表達(dá)式(13)代入表達(dá)式(16)中產(chǎn)生下列表達(dá)式。
Σk=1Ktmxn,kek=Σk=1Ktmxn,k(yk-(Σn=1N(Σm=1Mβm,ntm)xn,k)=0---(17)]]>我們同樣如公式(18)和(19)那樣來定義Xi,p,j,q和yi,p
Xi,p,j,q=Σk=1Kxi,ktpxj,ktp(i=1,2,···,N:j=1,2,···N:p=1,2,···,M:q=1,2,···,)---(18)]]>Yi,p=Σk=1Kxi,ktpyk---(19)]]>在該情況中,公式(17)通過使用Xi,p,j,q和yi,p而能夠表達(dá)為如公式(20)所示的正規(guī)方程式。
例如,使用消去計(jì)算(高斯-喬丹消去法),表達(dá)式(20)的正規(guī)方程式可以解算出因數(shù)種子數(shù)據(jù)βm,n。
圖29所示的因數(shù)種子存儲(chǔ)器183存儲(chǔ)通過其中運(yùn)用大量的高圖像質(zhì)量像素y1、y2等直到y(tǒng)K作為學(xué)習(xí)的導(dǎo)師的導(dǎo)師數(shù)據(jù),和構(gòu)成高圖像質(zhì)量像素每一個(gè)yk的預(yù)測(cè)抽頭的低圖像質(zhì)量像素x1,k、x2,k等直到xN,k作為學(xué)習(xí)的學(xué)生的學(xué)生數(shù)據(jù),來解算表達(dá)式(20)的學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)βm,n。因數(shù)生成單元182根據(jù)表達(dá)式(9)從因數(shù)種子數(shù)據(jù)βm,n和存儲(chǔ)在參數(shù)存儲(chǔ)器184中的參數(shù)z中生成抽頭因數(shù)wn。計(jì)算單元125然后使用抽頭因數(shù)wn和構(gòu)成有關(guān)所關(guān)心像素的預(yù)測(cè)抽頭的低圖像質(zhì)量像素(第一圖像信號(hào)的像素)xn計(jì)算表達(dá)式(1),該所關(guān)心像素是高圖像質(zhì)量像素,藉此獲得所關(guān)心像素的近似預(yù)測(cè)值,該所關(guān)心像素是高圖像質(zhì)量像素。
緊接著,圖32說明通過設(shè)置和解算表達(dá)式(20)的正規(guī)方程式來獲得因數(shù)種子數(shù)據(jù)βm,n的學(xué)習(xí)設(shè)備的配置實(shí)例。請(qǐng)注意,相應(yīng)于圖8中的那些部件以相同的附圖標(biāo)記表示,并且視情況省略了其中的描述。
用于學(xué)習(xí)因數(shù)種子數(shù)據(jù)βm,n的學(xué)習(xí)圖像信號(hào)被輸入學(xué)習(xí)設(shè)備。例如,高圖像質(zhì)量圖像信號(hào)可以用于學(xué)習(xí)圖像信號(hào)。
在學(xué)習(xí)設(shè)備中,學(xué)習(xí)圖像信號(hào)被提供給導(dǎo)師數(shù)據(jù)生成單元131和學(xué)生數(shù)據(jù)生成單元133。導(dǎo)師數(shù)據(jù)生成單元131從供給其的學(xué)習(xí)圖像信號(hào)中生成導(dǎo)師數(shù)據(jù),然后將導(dǎo)師數(shù)據(jù)提供給導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132。也就是說,在此,導(dǎo)師數(shù)據(jù)生成單元131將高圖像質(zhì)量圖像信號(hào)作為學(xué)習(xí)圖像信號(hào)不加變化的提供給導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132作為導(dǎo)師數(shù)據(jù)。導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132存儲(chǔ)由導(dǎo)師數(shù)據(jù)生成單元132生成的作為導(dǎo)師數(shù)據(jù)的高圖像質(zhì)量圖像信號(hào)。
學(xué)生數(shù)據(jù)生成單元133從學(xué)習(xí)圖像信號(hào)中生成學(xué)生數(shù)據(jù),并將學(xué)生數(shù)據(jù)提供給學(xué)生數(shù)據(jù)存儲(chǔ)單元134。也就是說,學(xué)生數(shù)據(jù)生成單元133對(duì)作為學(xué)習(xí)圖像信號(hào)的高圖像質(zhì)量圖像信號(hào)執(zhí)行過濾,以便降低它的分辨率,藉此生成低圖像質(zhì)量圖像信號(hào),并且將該低圖像質(zhì)量圖像信號(hào)作為學(xué)生數(shù)據(jù)提供給學(xué)生數(shù)據(jù)存儲(chǔ)單元134。
此時(shí),除了向?qū)W生數(shù)據(jù)生成單元133提供學(xué)習(xí)圖像信號(hào)之外,還向其提供向圖30中的參數(shù)存儲(chǔ)器184提供的參數(shù)z的范圍內(nèi)的多個(gè)值,這些值由參數(shù)生成單元191提供。也就是說,如果我們假定可以將參數(shù)z的范圍假定為0到Z范圍內(nèi)的實(shí)數(shù),那么從參數(shù)生成單元191向?qū)W生數(shù)據(jù)生成單元133提供例如z=0、1、2,等等直到Z。
此外,學(xué)生數(shù)據(jù)生成單元133使用LPF,相應(yīng)于提供給其的參數(shù)z,以預(yù)定的切斷頻率來過濾作為學(xué)習(xí)圖像信號(hào)的高圖像質(zhì)量圖像信號(hào),藉此生成作為學(xué)生數(shù)據(jù)的低圖像質(zhì)量圖像信號(hào)。
因此,在這種情況下,在學(xué)生數(shù)據(jù)生成單元133處,根據(jù)作為學(xué)習(xí)圖像信號(hào)的高圖像質(zhì)量圖像信號(hào),生成了具有不同分辨率的作為學(xué)生數(shù)據(jù)的Z+1種類型的低圖像質(zhì)量圖像信號(hào),如圖33所示。請(qǐng)注意例如參數(shù)Z值越高,用于過濾高圖像質(zhì)量圖像信號(hào)所使用的LPF的切斷頻率就越高,藉此生成作為學(xué)生數(shù)據(jù)的低圖像質(zhì)量圖像信號(hào)。因此,參數(shù)z的值越大,與其相對(duì)應(yīng)的低圖像質(zhì)量圖像信號(hào)的分辯率就越高。
同樣,對(duì)于本實(shí)例而言,為了便于描述,在學(xué)生數(shù)據(jù)生成單元133生成低圖像質(zhì)量圖像信號(hào),在其中分辯率在高圖像質(zhì)量圖像信號(hào)的水平方向和垂直方向上已降低了相應(yīng)于參數(shù)z的數(shù)量。
返回圖32,學(xué)生數(shù)據(jù)存儲(chǔ)單元134存儲(chǔ)學(xué)生數(shù)據(jù)生成單元133提供的學(xué)生數(shù)據(jù)。
預(yù)測(cè)抽頭提取單元135連續(xù)地獲得作為所關(guān)心導(dǎo)師像素的像素,所述像素構(gòu)成作為存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中的導(dǎo)師數(shù)據(jù)的高圖像質(zhì)量圖像信號(hào),并從構(gòu)成作為存儲(chǔ)在學(xué)生數(shù)據(jù)存儲(chǔ)單元134中的作為學(xué)生數(shù)據(jù)的低圖像質(zhì)量圖像信號(hào)的低圖像質(zhì)量像素中提取預(yù)定的一個(gè),藉此配置一個(gè)預(yù)測(cè)抽頭,該預(yù)測(cè)抽頭具有與通過圖29所示的預(yù)測(cè)抽頭提取單元121所配置的預(yù)測(cè)抽頭相同的配置,將預(yù)測(cè)抽頭提供給加法單元192。
相對(duì)于所關(guān)心的導(dǎo)師像素而言,特征提取單元136以與圖29所示特征提取單元122相同的方式使用存儲(chǔ)在學(xué)生數(shù)據(jù)存儲(chǔ)單元134中的作為學(xué)生數(shù)據(jù)的低圖像質(zhì)量像素來提取所關(guān)心導(dǎo)師像素的特征,并將這些特征提供給類分類單元137。
請(qǐng)注意,預(yù)測(cè)抽頭提取單元135和特征提取單元136接收參數(shù)生成單元191生成并提供的參數(shù)z,而且預(yù)測(cè)抽頭提取單元135和特征提取單元136使用相應(yīng)于參數(shù)生成單元191提供的參數(shù)z所生成的學(xué)生數(shù)據(jù)構(gòu)成預(yù)測(cè)抽頭或提取所關(guān)心導(dǎo)師像素的特征(在此,是使用具有相應(yīng)于參數(shù)z的LPF的切斷頻率生成作為學(xué)生數(shù)據(jù)的低圖像質(zhì)量信號(hào))。
根據(jù)特征提取單元136輸出的所關(guān)心的導(dǎo)師像素,類分類單元137執(zhí)行與圖29所示的類分類單元123相同的類分類,并且向加法單元192輸出與類分類結(jié)果的類相對(duì)應(yīng)的分類代碼。
加法單元192從導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中讀出所關(guān)心的導(dǎo)師像素,并為類分類單元137的每個(gè)類執(zhí)行有關(guān)所關(guān)心的導(dǎo)師像素和學(xué)生數(shù)據(jù)以及當(dāng)產(chǎn)生學(xué)生數(shù)據(jù)時(shí)參數(shù)z的相加,該學(xué)生數(shù)據(jù)構(gòu)成有關(guān)預(yù)測(cè)抽頭提取單元135提供的所關(guān)心的導(dǎo)師像素設(shè)置的預(yù)測(cè)抽頭。
也就是說,向加法單元192提供存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中的導(dǎo)師數(shù)據(jù)yk、預(yù)測(cè)抽頭提取單元135輸出的預(yù)測(cè)抽頭xi,k(xj,k)、和從類分類單元137中輸出的分類代碼,以及由參數(shù)生成單元191提供的生成用于配置預(yù)測(cè)抽頭的學(xué)生數(shù)據(jù)的參數(shù)z。
同樣,對(duì)于每個(gè)與類分類單元137提供的分類代碼相對(duì)應(yīng)的類而言,加法單元192使用預(yù)測(cè)抽頭(學(xué)生數(shù)據(jù))xi,k(xj,k)和參數(shù)z執(zhí)行計(jì)算,該計(jì)算等于用于獲得表達(dá)式(20)左側(cè)矩陣中的表達(dá)式(18)所定義的分量xi,p,j,q的學(xué)生數(shù)據(jù)和參數(shù)z的乘法(xi,ktpxj,ktq),以及它們的加法(∑)。請(qǐng)注意,表達(dá)式(18)中的tp是根據(jù)表達(dá)式(10)從參數(shù)z中計(jì)算出來的。這對(duì)于表達(dá)式(18)中的tq來說也是成立的。
同樣,對(duì)于每個(gè)與類分類單元137提供的分類代碼相對(duì)應(yīng)的類而言,加法單元192使用預(yù)測(cè)抽頭(學(xué)生數(shù)據(jù))xi,k、導(dǎo)師數(shù)據(jù)yk和參數(shù)z執(zhí)行計(jì)算,該計(jì)算等于用于獲得表達(dá)式(20)右側(cè)的矢量中的表達(dá)式(19)中所定義的分量yi,p的學(xué)生數(shù)據(jù)xi,k、導(dǎo)師數(shù)據(jù)yk和參數(shù)z的乘法(xi,ktpyk),以及它們的加法(∑)。請(qǐng)注意,表達(dá)式(19)中的tp是根據(jù)表達(dá)式(10)從參數(shù)z中計(jì)算出來的。
也就是說,加法單元192在它的存儲(chǔ)器(未示出)中存儲(chǔ)有關(guān)將導(dǎo)師數(shù)據(jù)看作先前感興趣的導(dǎo)師像素而獲得的表達(dá)式(20)的左側(cè)矩陣分量xi,p,j,q和右側(cè)分矢量yi,p,并加上與矩陣分量xi,p,j,q或分矢量yi,p相對(duì)應(yīng)的有關(guān)作為所關(guān)心導(dǎo)師像素獲得的新導(dǎo)師數(shù)據(jù)的分量xi,ktpxj,ktq或分量xi,ktpyk,使用導(dǎo)師數(shù)據(jù)yk、學(xué)生數(shù)據(jù)xi,k(xj,k)和參數(shù)z計(jì)算相應(yīng)分量xi,ktpxj,ktq或xi,ktpyk(即,執(zhí)行表達(dá)式(18)中的分量xi,p,j,q或表達(dá)式(19)中的分量yi,p的相加和所表示的加法)。
對(duì)于參數(shù)z的所有值0、1等等直到Z,加法單元192使用導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132存儲(chǔ)所有導(dǎo)師數(shù)據(jù)作為所關(guān)心的導(dǎo)師像素執(zhí)行這個(gè)加法,以便為每個(gè)類構(gòu)成表達(dá)式(20)給出的正規(guī)方程式,然后將正規(guī)方程式提供給抽頭因數(shù)計(jì)算單元193。抽頭因數(shù)計(jì)算單元193解算加法單元192所提供的每個(gè)類的正規(guī)方程式,并因此為每個(gè)類獲得并輸出因數(shù)種子數(shù)據(jù)βm,n。
參數(shù)生成單元191生成多個(gè)值z(mì)=0、1、2等等直到Z,要提供給圖30中的參數(shù)存儲(chǔ)器184的參數(shù)z的范圍可以如上述假定,并將這些值提供給學(xué)生數(shù)據(jù)生成單元133。此外,參數(shù)生成單元191將生成的參數(shù)z提供給預(yù)測(cè)抽頭提取單元135、特征提取單元136和加法單元192。
接下來,將參考圖34的流程圖來描述圖32所示的學(xué)習(xí)設(shè)備執(zhí)行的處理(學(xué)習(xí)過程)。
首先,在步驟S181中,導(dǎo)師數(shù)據(jù)生成單元131和學(xué)生數(shù)據(jù)生成單元133分別從學(xué)習(xí)圖像信號(hào)中生成導(dǎo)師數(shù)據(jù)和學(xué)生數(shù)據(jù),將后將它們輸出。也就是說,導(dǎo)師數(shù)據(jù)生成單元131不加變化的輸出學(xué)習(xí)圖像信號(hào)作為導(dǎo)師數(shù)據(jù)。同樣,向?qū)W生數(shù)據(jù)生成單元133提供通過參數(shù)生成單元191生成的具有z+1值的參數(shù)z,并且學(xué)生數(shù)據(jù)生成單元133,與使用LPF以與參數(shù)生成單元191生成的具有z+1個(gè)值(0、1等等直到z)的參數(shù)z相對(duì)應(yīng)的切斷頻率過濾學(xué)習(xí)圖像信號(hào),藉此生成并輸出有關(guān)每個(gè)幀的導(dǎo)師數(shù)據(jù)(學(xué)習(xí)圖像信號(hào))的學(xué)生數(shù)據(jù)的z+1個(gè)幀。
導(dǎo)師數(shù)據(jù)生成單元131輸出的導(dǎo)師數(shù)據(jù)被提供給導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132并被存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中,學(xué)生數(shù)據(jù)生成單元133輸出的學(xué)生數(shù)據(jù)被提供給學(xué)生數(shù)據(jù)存儲(chǔ)器134并存儲(chǔ)在其中。
隨后,流程進(jìn)行到步驟S182,在這里,參數(shù)生成單元191將參數(shù)z設(shè)置到初值、例如零,并且將這個(gè)參數(shù)z提供給預(yù)測(cè)抽頭提取單元135、特征提取單元136和加法單元192,然后流程進(jìn)行到S183。在步驟S183中,預(yù)測(cè)抽頭提取單元135從存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中的導(dǎo)師數(shù)據(jù)中獲得還沒有被作為所關(guān)心的導(dǎo)師像素獲得的一個(gè)所關(guān)心的導(dǎo)師像素。此外,在步驟S183中,與所關(guān)心的導(dǎo)師像素相對(duì)應(yīng),預(yù)測(cè)抽頭提取單元135從學(xué)生數(shù)據(jù)存儲(chǔ)單元134所存儲(chǔ)的學(xué)生數(shù)據(jù)中配置關(guān)于參數(shù)生成單元191輸出的參數(shù)z的預(yù)測(cè)抽頭,(通過使用與參數(shù)z相對(duì)應(yīng)的切斷頻率的LPF過濾與作為所關(guān)心的導(dǎo)師像素的導(dǎo)師數(shù)據(jù)相對(duì)應(yīng)的學(xué)習(xí)圖像信號(hào)而生成學(xué)生數(shù)據(jù)),并將其提供給加法單元192,然后流程進(jìn)行到步驟S184。
在步驟S184中,特征提取單元136使用學(xué)生數(shù)據(jù)存儲(chǔ)器134存儲(chǔ)的與參數(shù)生成單元191輸出的參數(shù)z有關(guān)的學(xué)生數(shù)據(jù)提取所關(guān)心的導(dǎo)師像素的特征,然后將其提供給類分類單元137,然后流程進(jìn)行到步驟S185。
在步驟S185中,類分類單元137根據(jù)有關(guān)來自于特征提取單元136的所關(guān)心的導(dǎo)師像素的所關(guān)心特征的像素執(zhí)行所關(guān)心導(dǎo)師像素的分類,并輸出藉此獲得的與該類相對(duì)應(yīng)的分類代碼給加法單元192,然后流程進(jìn)行到步驟S186。
在步驟S186中,加法單元192從導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中讀出所關(guān)心的導(dǎo)師像素,并且使用所關(guān)心的導(dǎo)師像素、預(yù)測(cè)抽頭提取單元135提供的預(yù)測(cè)抽頭和參數(shù)生成單元191輸出的參數(shù)z來計(jì)算表達(dá)式(20)的左側(cè)矩陣分量xi,ktpxj,ktq和右側(cè)分矢量xi,ktpyk。此外,對(duì)已獲得的矩陣分量和分矢量,加法單元192在類分類單元137的分類代碼的矩陣分量和分矢量上加上與其相對(duì)應(yīng)的從所關(guān)心的像素、預(yù)測(cè)抽頭和參數(shù)z獲得的矩陣分量xi,ktpxj,ktq和分矢量xi,ktpyk,然后流程進(jìn)行到步驟S187。
在步驟S187中,參數(shù)生成單元191確定輸出的參數(shù)z是否等于Z可以假定的最大值。如果在步驟S187中確定參數(shù)z不等于(即,小于)Z可以假定的最大值,那么流程進(jìn)行到步驟S188,參數(shù)生成單元191使參數(shù)z加1,并向預(yù)測(cè)抽頭提取單元135、特征提取單元136和加法單元192輸出新的參數(shù)z。然后流程返回步驟S183,隨后重復(fù)相同的處理。
同樣,如果在步驟S187中確定參數(shù)z等于Z可以假定的最大值,那么流程進(jìn)行到步驟S189,并且預(yù)測(cè)抽頭提取單元135確定是否還有沒有作為所關(guān)心的導(dǎo)師像素的導(dǎo)師數(shù)據(jù)存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中。如果確定還沒有作為所關(guān)心的導(dǎo)師像素獲得的導(dǎo)師數(shù)據(jù)仍然還存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中,那么預(yù)測(cè)抽頭提取單元135攜帶還沒有作為所關(guān)心的導(dǎo)師像素的導(dǎo)師數(shù)據(jù)返回步驟S182,并重復(fù)相同的處理。
另一方面,如果在步驟S189中確定導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132不再有還沒有作為所關(guān)心的導(dǎo)師像素的導(dǎo)師數(shù)據(jù),那么加法單元192向抽頭因數(shù)計(jì)算單元193提供迄今為止通過處理已獲得的每個(gè)類的表達(dá)式(20)的左邊矩陣和右側(cè)矢量,然后流程進(jìn)行到步驟S190。
在步驟S190中,抽頭因數(shù)計(jì)算單元193為加法單元192提供的每個(gè)類解算構(gòu)成表達(dá)式(20)的左側(cè)矩陣和右側(cè)矢量的每個(gè)類的正規(guī)方程式,藉此獲得并輸出每個(gè)類的因數(shù)種子數(shù)據(jù)βm,n,接著結(jié)束處理。
雖然可能存在這種情況,即由于學(xué)習(xí)圖像信號(hào)的數(shù)量不夠等原因,不能獲得為獲得因數(shù)種子數(shù)據(jù)所需的正規(guī)方程式的數(shù)量,例如可安排因數(shù)種子計(jì)算單元193為這樣的類輸出缺省的因數(shù)種子數(shù)據(jù)。
此時(shí),對(duì)于圖32所示學(xué)習(xí)設(shè)備而言,已將學(xué)習(xí)描述為以高圖像質(zhì)量圖像信號(hào)作為導(dǎo)師數(shù)據(jù)的學(xué)習(xí)圖像信號(hào)和通過相應(yīng)于參數(shù)z來降低高圖像質(zhì)量圖像信號(hào)的分辯率而獲得低圖像質(zhì)量圖像信號(hào)作為學(xué)生數(shù)據(jù),從表達(dá)式(11)的因數(shù)種子數(shù)據(jù)βm,n所表示的抽頭因數(shù)wn、相應(yīng)于參數(shù)z的變量tn和學(xué)生數(shù)據(jù)Xn中直接獲得因數(shù)種子數(shù)據(jù)βm,n而執(zhí)行的,該抽頭因數(shù)wn使由表達(dá)式(1)的線性基本表達(dá)式預(yù)測(cè)的導(dǎo)師數(shù)據(jù)的預(yù)測(cè)值y的誤差平方和最小化,如圖33所示;然而,因數(shù)種子數(shù)據(jù)βm,n的學(xué)習(xí)并不限于這些,例如也可以替代地使用圖35所示而執(zhí)行。
也就是說,對(duì)于圖35所示的安排而言,同圖33的情況類似,作為學(xué)習(xí)圖像信號(hào)的高圖像質(zhì)量圖像信號(hào)作為導(dǎo)師數(shù)據(jù),和通過使用與參數(shù)z相對(duì)應(yīng)的切斷頻率的LPF降低高圖像質(zhì)量圖像信號(hào)的水平方向和垂直方向分辨率而獲得的低圖像質(zhì)量圖像信號(hào)作為學(xué)生數(shù)據(jù),首先,為參數(shù)z的每個(gè)值(在這里,z=0、1等等直到Z)從抽頭因數(shù)wn和學(xué)生數(shù)據(jù)xn獲得抽頭因數(shù)wn,該抽頭因數(shù)wn使由表達(dá)式(1)的線性基本表達(dá)式預(yù)測(cè)的導(dǎo)師數(shù)據(jù)的預(yù)測(cè)值y的誤差平方和最小化。此外對(duì)于圖35中的安排而言,獲得的抽頭因數(shù)wn作為導(dǎo)師數(shù)據(jù)而參數(shù)z作為學(xué)生數(shù)據(jù),為獲得因數(shù)種子數(shù)據(jù)βm,n而執(zhí)行學(xué)習(xí),該因數(shù)種子數(shù)據(jù)βm,n使作為導(dǎo)師數(shù)據(jù)的抽頭因數(shù)wn的預(yù)測(cè)值的誤差平方和最小化,而該抽頭因數(shù)wn是使用表達(dá)式(11)通過因數(shù)種子數(shù)據(jù)βm,n和相應(yīng)于參數(shù)z的變量tn預(yù)測(cè)的。此時(shí),通過解算表達(dá)式(8)的正規(guī)方程式,可以為每個(gè)類的每個(gè)參數(shù)值(z=0、1等等直到Z)獲得給出由表達(dá)式(11)的線性基本預(yù)測(cè)表達(dá)式預(yù)測(cè)的導(dǎo)師數(shù)據(jù)的預(yù)測(cè)值y的誤差平方和E的最小(最小的)值的抽頭因數(shù)wn,如圖8所示的學(xué)習(xí)設(shè)備的情況。
此時(shí),從因數(shù)種子數(shù)據(jù)βm,n中獲得抽頭因數(shù)和與參數(shù)z相對(duì)應(yīng)的變量tn,如表達(dá)式(11)所表示的那樣。這意味著,對(duì)于從表達(dá)式(11)獲得的抽頭因數(shù)wn′而言,其中由表達(dá)式(11)獲得的最佳抽頭因數(shù)wn和抽頭因數(shù)wn′之間的誤差en是0的因數(shù)種子數(shù)據(jù)βm,n是用于預(yù)測(cè)下列表達(dá)式(21)所示的最佳抽頭因數(shù)wn的最佳因數(shù)種子數(shù)據(jù)βm,n,但是對(duì)于所有抽頭因數(shù)Wn來說獲得這種因數(shù)種子數(shù)據(jù)βm,n一般是困難的。
en=wn-wn′(21)通過表達(dá)式(11)可以將表達(dá)式(21)修改為下列表達(dá)式。
en=wn-(Σm=1Mβm,ntm)---(22)]]>此時(shí),在這種情況下將采用最小平方法作為指示因數(shù)種子數(shù)據(jù)βm,n是最佳的標(biāo)準(zhǔn),可以通過最小化下列表達(dá)式中的誤差平方和E來獲得最佳因數(shù)種子數(shù)據(jù)βm,n。
E=Σn=1Nen2---(23)]]>使用因數(shù)種子數(shù)據(jù)βm,n來獲得表達(dá)式(23)中的誤差平方和E的最小值(極小值),其中使用因數(shù)種子數(shù)據(jù)βm,n對(duì)和E進(jìn)行偏微分產(chǎn)生0,如表達(dá)式(24)所示。
∂E∂βm,n=Σm=1M2∂en∂βm,n·en=0---(24)]]>將表達(dá)式(22)代入表達(dá)式(24)中產(chǎn)生下列表達(dá)式。
Σm=1Mtm(wn-(Σm=1Mβm,ntm))=0---(25)]]>現(xiàn)在,讓我們定義表達(dá)式(26)和(27)中的xi,j和yi。
Xi,j=Σz=0Ztitj(i=1,2,···,M:j=1,2,···,M)---(26)]]>Yi=Σz=0Ztiwn---(27)]]>在這種情況下,使用xi,j和yi表達(dá)式(25)可以由表達(dá)式(28)所示的正規(guī)方程式給出。
例如,同樣表達(dá)式(28)的正規(guī)方程式可以通過使用消去法(高斯-喬丹消去法)來解算出種子數(shù)據(jù)βm,n。
接下來,圖36說明學(xué)習(xí)設(shè)備的配置實(shí)例,其用于執(zhí)行學(xué)習(xí)以通過給出并解算表達(dá)式(28)中的正規(guī)方程式來獲得因數(shù)種子數(shù)據(jù)βm,n。請(qǐng)注意,與圖8或32中相對(duì)應(yīng)的那些部件以相同的參考標(biāo)記表示,并且視情況省略了其中的描述。
有關(guān)類分類單元137輸出的所關(guān)心的導(dǎo)師像素的分類代碼和參數(shù)生成單元191輸出的參數(shù)z被提供給加法單元138。加法單元138從導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中讀出所關(guān)心的導(dǎo)師像素,并為類分類單元137提供的每個(gè)分類代碼和參數(shù)生成單元191輸出的參數(shù)z的每一個(gè)值執(zhí)行有關(guān)所關(guān)心的導(dǎo)師像素和學(xué)生數(shù)據(jù)的相加,該學(xué)生數(shù)據(jù)構(gòu)成相對(duì)于預(yù)測(cè)抽頭提取單元135提供的所關(guān)心的導(dǎo)師像素設(shè)置的預(yù)測(cè)抽頭。
也就是說,向加法單元138提供存儲(chǔ)在導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132中的導(dǎo)師數(shù)據(jù)yk、預(yù)測(cè)抽頭提取單元135輸出的預(yù)測(cè)抽頭xm,k、類分類單元137輸出的分類代碼,以及用于生成配置預(yù)測(cè)抽頭xn,k的學(xué)生數(shù)據(jù)的參數(shù)z,該參數(shù)已由參數(shù)生成單元191輸出。
對(duì)于每個(gè)與類分類單元137提供的分類代碼相對(duì)應(yīng)的類和參數(shù)生成單元191輸出的每個(gè)參數(shù)z值而言,加法單元138使用預(yù)測(cè)抽頭(學(xué)生數(shù)據(jù))xn,k執(zhí)行計(jì)算,該計(jì)算等于表達(dá)式(8)的左邊矩陣中的學(xué)生數(shù)據(jù)的一個(gè)與另一個(gè)的相乘(xn,kxn’,k)和相加(∑)。
同樣,對(duì)于每個(gè)與類分類單元137提供的分類代碼相對(duì)應(yīng)的類和參數(shù)生成單元191輸出的每個(gè)參數(shù)Z值而言,加法單元138使用預(yù)測(cè)抽頭(學(xué)生數(shù)據(jù))xn,k和導(dǎo)師數(shù)據(jù)yk執(zhí)行計(jì)算,該計(jì)算等于于表達(dá)式(8)右邊矢量中的學(xué)生數(shù)據(jù)xn,k和導(dǎo)師數(shù)據(jù)yk的乘積(xn,kxn,k)和相加和(∑)。
也就是說,加法單元138在它的存儲(chǔ)器(未示出)中存儲(chǔ)表達(dá)式(8)的所獲得的將早先的作為所關(guān)心導(dǎo)師像素的有關(guān)導(dǎo)師數(shù)據(jù)的其左邊矩陣分量(∑xn,kxn’k)和右側(cè)分矢量(∑xn,kyk),并加上矩陣分量(∑xn,kxn’k)或分矢量(∑xn,kyk)、有關(guān)作為所關(guān)心的導(dǎo)師像素獲取新的導(dǎo)師數(shù)據(jù)的相應(yīng)分量xn,k-1、xn′,k-1或xn,k-1yk-1,使用導(dǎo)師數(shù)據(jù)yk-1和學(xué)生數(shù)據(jù)xn,k-1計(jì)算的相應(yīng)分量xn,k-1xn′,k或xn,k-1yk-1(即執(zhí)行表達(dá)式(8)表示的求和的加法)。加法單元138使用導(dǎo)師數(shù)據(jù)存儲(chǔ)單元132存儲(chǔ)的所有導(dǎo)師數(shù)據(jù)作為所關(guān)心導(dǎo)師像素來執(zhí)行這個(gè)加法,以便為每個(gè)類和參數(shù)z的每個(gè)值構(gòu)成表達(dá)式(8)給出的正規(guī)方程式,然后將正規(guī)方程式給抽頭因數(shù)計(jì)算單元139。抽頭因數(shù)計(jì)算單元139使用參數(shù)z的每個(gè)值為每個(gè)類解算加法單元138提供的正規(guī)方程式,從而為每個(gè)類獲得并輸出具有參數(shù)z的每個(gè)值的最佳抽頭因數(shù)wn,然后將其提供給加法單元201。
加法單元201為每個(gè)類執(zhí)行有關(guān)參數(shù)z(或相應(yīng)其的變量tm)和最佳抽頭因數(shù)Wn的相加。也就是說,加法單元201使用通過表達(dá)式(10)從參數(shù)z中獲得的變量ti(tj)執(zhí)行計(jì)算,該計(jì)算等于與參數(shù)z相對(duì)應(yīng)的變量與另一個(gè)變量ti(tj)的相乘(titj)以及它的相加,以獲得定義在表達(dá)式(26)中的分量Xi,j,該表達(dá)式在表達(dá)式(28)中左側(cè)的矩陣中。
應(yīng)理解,一旦充分的話,僅由參數(shù)z確定分量Xi,j且不與類有關(guān),因此分量Xi,j的計(jì)算實(shí)際上不需要為每個(gè)類執(zhí)行。
此外,加法單元201使用通過表達(dá)式(10)從參數(shù)z獲得的變量ti和最佳抽頭因數(shù)Wn執(zhí)行計(jì)算,該計(jì)算等于與參數(shù)z相對(duì)應(yīng)的變量ti和最佳抽頭因數(shù)的乘法(tiwn)以及它們的和,該參數(shù)z用于獲得定義在表達(dá)式(28)中的右側(cè)的矢量中的表達(dá)式(27)中的分量yi。
加法單元201為每個(gè)類獲得由表達(dá)式(26)表示的分量Xi,j和由表達(dá)式(27)表示的分量yi,并為每個(gè)類設(shè)置表達(dá)式(28)的正規(guī)方程式,以及將正規(guī)方程式提供給因數(shù)種子計(jì)算單元202。因數(shù)種子計(jì)算單元202為每個(gè)類解算加法單元201提供的表達(dá)式(28),藉此為每個(gè)類獲得并輸出因數(shù)種子數(shù)據(jù)βm,n。
圖30所的因數(shù)種子存儲(chǔ)器183可以被安排為上述獲得的類存儲(chǔ)因數(shù)種子數(shù)據(jù)βm,n。
此時(shí),對(duì)于圖30所示的因數(shù)輸出單元124而言,可以對(duì)其進(jìn)行安排,其中例如不向因數(shù)種子存儲(chǔ)器183提供圖36所示的抽頭因數(shù)計(jì)算單元139輸出的參數(shù)z每個(gè)值的已存儲(chǔ)在存儲(chǔ)器的最佳抽頭因數(shù)wn,和根據(jù)存儲(chǔ)在參數(shù)存儲(chǔ)器184中的參數(shù)z選擇的存儲(chǔ)在存儲(chǔ)器中并設(shè)置在因數(shù)存儲(chǔ)器181中的最佳抽頭因數(shù)。然而,在這種情況下,存儲(chǔ)器具有與參數(shù)z可假定的值成比例的特性是必要的。相反地,對(duì)于提供因數(shù)種子存儲(chǔ)器183以存儲(chǔ)因數(shù)種子數(shù)據(jù)的安排中,因數(shù)種子存儲(chǔ)器183的存儲(chǔ)特性并不依賴于參數(shù)z可假定的值,從而可使用小特性的存儲(chǔ)器作為因數(shù)種子存儲(chǔ)器183。此外,在存儲(chǔ)因數(shù)種子數(shù)據(jù)βm,n時(shí),通過表達(dá)式(9)從和參數(shù)z的值中生成的抽頭因數(shù)wn,因此可以根據(jù)參數(shù)z的值獲得可以說是連續(xù)的抽頭因數(shù)wn。因此,可以較少步驟的方式調(diào)整計(jì)算單元125輸出的作為第二圖像信號(hào)的高圖像質(zhì)量圖像信號(hào)的圖像質(zhì)量。
請(qǐng)注意,對(duì)于上述方案而言,學(xué)習(xí)圖像信號(hào)被作為與未加變化的第二圖像信號(hào)相對(duì)應(yīng)的導(dǎo)師數(shù)據(jù),并且其中已經(jīng)降低了學(xué)習(xí)圖像信號(hào)的分辨率的低圖像質(zhì)量圖像信號(hào)被作為與第一圖像信號(hào)相對(duì)應(yīng)的學(xué)生數(shù)據(jù),根據(jù)此執(zhí)行因數(shù)種子數(shù)據(jù)的學(xué)習(xí),因此可以啟動(dòng)圖像轉(zhuǎn)換處理而獲得因數(shù)種子數(shù)據(jù),其中可以實(shí)現(xiàn)對(duì)第一圖像信號(hào)進(jìn)行分辨率提高處理從而將其處理為具有提高的分辨率的第二圖像信號(hào)。
在這種情況下,在圖像轉(zhuǎn)換單元431處,根據(jù)參數(shù)z可以提高圖像信號(hào)的水平方向分辨率和垂直方向分辨率。因此,在這種情況下,可以說參數(shù)z是與分辯率相對(duì)應(yīng)的參數(shù)。
此刻,依賴于如何選擇與第一圖像信號(hào)相對(duì)應(yīng)的學(xué)生數(shù)據(jù)的圖像信號(hào)和與第二圖像信號(hào)相對(duì)應(yīng)的導(dǎo)師數(shù)據(jù)的圖像信號(hào),可以獲得用于各種類型的圖像轉(zhuǎn)換處理的因數(shù)種子數(shù)據(jù)。
也就是說,例如,對(duì)于其中高圖像質(zhì)量圖像信號(hào)被作為導(dǎo)師數(shù)據(jù)的方案中,與參數(shù)z相對(duì)應(yīng)的噪音是被附加在導(dǎo)師數(shù)據(jù)高圖像質(zhì)量圖像信號(hào)上以產(chǎn)生作為學(xué)生數(shù)據(jù)的帶有噪音的圖像信號(hào),執(zhí)行學(xué)習(xí)處理,藉此可以獲得執(zhí)行圖像轉(zhuǎn)換處理的因數(shù)種子數(shù)據(jù),該圖像轉(zhuǎn)換處理是將第一圖像信號(hào)轉(zhuǎn)換為已去除了(或減少)包含其中的噪音的第二圖像信號(hào)的噪音去除處理。
同樣,例如,對(duì)于這樣的方案而言,即其中所給出的圖像信號(hào)作為導(dǎo)師數(shù)據(jù)以及減少將具有作為導(dǎo)師數(shù)據(jù)的圖像信號(hào)所具有的像素?cái)?shù)量的圖像信號(hào)而產(chǎn)生作為學(xué)生數(shù)據(jù)的圖像信號(hào),或者其中所給出的圖像信號(hào)作為學(xué)生數(shù)據(jù)以及根據(jù)預(yù)定減少比例減少作為學(xué)生數(shù)據(jù)的圖像信號(hào)所具有的像素?cái)?shù)量的圖像信號(hào)以產(chǎn)生作為導(dǎo)師數(shù)據(jù)圖像信號(hào),執(zhí)行學(xué)習(xí)處理,藉此可以獲得執(zhí)行圖像轉(zhuǎn)換處理的因數(shù)種子數(shù)據(jù),該圖像轉(zhuǎn)換處理為縮放處理,其將第一圖像信號(hào)轉(zhuǎn)換為被擴(kuò)大或減小的第二圖像。
當(dāng)在因數(shù)種子存儲(chǔ)器183中,為噪音去除處理存儲(chǔ)因數(shù)種子數(shù)據(jù),或者為縮放處理存儲(chǔ)因數(shù)種子數(shù)據(jù)時(shí),可以在圖像轉(zhuǎn)換單元31處執(zhí)行與參數(shù)z相對(duì)應(yīng)的噪音去除或縮放(擴(kuò)大或減少)。
在上述情況中,抽頭因數(shù)wn通過β1,nz0+β2,nz1+…+βM,nzM-1定義,如表達(dá)式(9)所表示那樣,使用表達(dá)式(9)獲得與參數(shù)z相對(duì)應(yīng)的提高水平方向和垂直方向分辨率的抽頭因數(shù)wn,但是可以為抽頭因數(shù)wn作這樣的安排,其中水平方向分辨率和垂直方向分辨率都與各自的參數(shù)zx和zy相對(duì)應(yīng)而獨(dú)立提高的。
也就是說,抽頭因數(shù)wn是通過這樣來定義的,例如三次表達(dá)式β1,nzx0zy0+β2,nzx1zy0+β3,nzx2zy0+β4,nzx3zy0+β5,nzx0zy1+β6,nzx0zy2+β7,nzx0zy3+β8,nzx1zy1+β9,nzx2zy1+β10,nzx1zy2而不是表達(dá)式(9),而且定義在表達(dá)式(10)中的變量tm是通過t1=zx0zy0,t2=zx1zy0,t3=zx2zy0,t4=zx3zy0,t5=zx0zy1,t6=zx0zy2,t7=zx0zy3,t8=zx1zy1,t9=zx2zy1,t10=zx1zy2來定義的,而不是表達(dá)式(10)。同樣,在這種情況下,抽頭因數(shù)wn最后可以表示為表達(dá)式(11),從而使用作為學(xué)生信號(hào)的圖像信號(hào)的學(xué)習(xí)可以在學(xué)習(xí)設(shè)備(圖32和36)處執(zhí)行,其中導(dǎo)師信號(hào)的水平方向分辨率和垂直方向分辨率都已經(jīng)與參數(shù)zx和zy相對(duì)應(yīng)地降低,藉此獲得因數(shù)種子數(shù)據(jù)βm,n,從而可以獲得與各自參數(shù)zx和zy相對(duì)應(yīng)獨(dú)自的來提高水平方向分辨率和垂直方向分辨率的抽頭因數(shù)wn。
其他實(shí)例除了與水平方向分辨率和垂直方向分辨率相對(duì)應(yīng)的各自參數(shù)zx和zy之外還包括引入與時(shí)間序列分辨率相對(duì)應(yīng)的參數(shù)zt,藉此能夠獲得用于與各自參數(shù)zx、zy和zt相對(duì)應(yīng)的提高水平方向分辨率、垂直方向分辨率、時(shí)間序列分辨率的抽頭因數(shù)wn。
同樣,對(duì)于縮放處理而言,同樣可以與分辯率提高處理相同的方式獲得用于在水平方向或垂直方向上縮放與參數(shù)z相對(duì)應(yīng)的擴(kuò)大百分比(減少百分比)的抽頭因數(shù)wn,或者獲得用于在水平方向和垂直方向上獨(dú)立的縮放與各自的參數(shù)zx和zy相對(duì)應(yīng)的擴(kuò)大百分比(減少百分比)的抽頭因數(shù)wn。
此外,對(duì)于學(xué)習(xí)設(shè)備(圖32和36)而言,可以通過與參數(shù)zx相對(duì)應(yīng)地降低導(dǎo)師數(shù)據(jù)的水平方向和垂直方向分辨率來執(zhí)行學(xué)習(xí),并且將噪音增加到與參數(shù)zy相對(duì)應(yīng)的導(dǎo)師數(shù)據(jù),以及將獲得因數(shù)種子數(shù)據(jù)βm,n的圖像信號(hào)作為作為學(xué)生數(shù)據(jù),借此可以獲得與參數(shù)zx相對(duì)應(yīng)的提高水平方向分辨率和垂直方向分辨率的抽頭因數(shù)Wn,并且也與參數(shù)zy相對(duì)應(yīng)的執(zhí)行噪音去除。
圖28所示的圖像轉(zhuǎn)換單元431R的因數(shù)種子存儲(chǔ)器183(圖30)存儲(chǔ)因數(shù)種子數(shù)據(jù),該因數(shù)種子數(shù)據(jù)是通過僅使用作為導(dǎo)師數(shù)據(jù)的圖像信號(hào)的R信號(hào)和所有作為學(xué)生數(shù)據(jù)的圖像信號(hào)的R、G和B信號(hào)的學(xué)習(xí)獲得的。同樣,圖28所示的圖像轉(zhuǎn)換單元431G的因數(shù)種子存儲(chǔ)器183(圖30)存儲(chǔ)只使用作為導(dǎo)師數(shù)據(jù)的圖像信號(hào)的G信號(hào)和所有作為學(xué)生數(shù)據(jù)的圖像信號(hào)的R、G和B信號(hào)的學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)。以同樣的方式,圖28所示的圖像轉(zhuǎn)換單元431B的因數(shù)種子存儲(chǔ)器183(圖30)存儲(chǔ)只使用作為導(dǎo)師數(shù)據(jù)的圖像信號(hào)的B信號(hào)和所有學(xué)生數(shù)據(jù)的圖像信號(hào)的R、G和B信號(hào)的學(xué)習(xí)所獲得的因數(shù)種子數(shù)據(jù)。
接著,圖37說明組成圖27所示的組成信號(hào)處理單元404的信號(hào)處理單元411R、411G和411B的另一配置實(shí)例。請(qǐng)注意,相應(yīng)于圖28中的那些部件以相同的附圖標(biāo)記表示,并且視情況省略了其中的描述。也就是說,圖37所示的信號(hào)處理單元411R、411G和411B是以圖28所示的相同方式布置的,除了沒有提供圖像存儲(chǔ)單元432R、432G和432B,而且提供控制單元211,該控制單元211代替評(píng)估單元433。
在圖37中,向控制單元211提供操作單元185輸出的參數(shù),而不是圖像轉(zhuǎn)換單元431G輸出的第二圖像信號(hào)??刂茊卧?11獲得操作單元185輸出的參數(shù),并控制傳感器單元401(圖20)的R感光器單元423R、G感光器單元423G和B感光器單元423B的放置位置。
圖38說明圖37所示的控制單元211的配置實(shí)例??刂菩盘?hào)輸出單元221獲得操作單元185提供的參數(shù),并識(shí)別偏移量PhG、PvG、PhB和PvB,該等偏移量與從操作單元185獲得的參數(shù)有關(guān),該參數(shù)存儲(chǔ)在參數(shù)表存儲(chǔ)單元222的參數(shù)表中。此外,控制信號(hào)輸出單元221以與上述控制信號(hào)輸出單元444相同的方式將向傳感器單元401提供用于指定使用參數(shù)表識(shí)別的偏移量PhG、PvG、PhB和PvB的控制信號(hào),藉此控制傳感器單元401(圖20)的R感光器單元423R、G感光器單元423G和B感光器單元423B的放置位置。
參數(shù)表存儲(chǔ)單元222存儲(chǔ)由操縱操作單元185輸入的參數(shù)相關(guān)的參數(shù)表,以及在根據(jù)參數(shù)獲得適合圖像轉(zhuǎn)換處理的圖像信號(hào)時(shí)代表了傳感器單元401的R感光器單元423R,G感光器單元423G和B感光器單元423B的放置位置的偏移量PhG,PvG,PhB,和PvB。參數(shù)表通過后面描述的參數(shù)表學(xué)習(xí)被事先獲得。
相應(yīng)地,在控制信號(hào)輸出單元221,向傳感器單元401提供用于指定與從操作單元185獲得的參數(shù)相關(guān)聯(lián)的偏移量PhG,PvG,PhB,和PvB的控制信號(hào)來控制傳感器單元401(圖20)的R感光器單元423R,G感光器單元423G和G感光器單元423B的放置位置,因此與從操作單元185獲得的參數(shù)相對(duì)應(yīng)的適合于圖像轉(zhuǎn)換處理的圖像信號(hào)是傳感器單元401輸出。使這樣的圖像信號(hào)經(jīng)受與從操作單元185獲得的參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理,可以獲得具有更高質(zhì)量的圖像信號(hào)。
接下來,參考圖39中的流程圖,圖27中所示的圖像拾取設(shè)備的操作將參考圖37中所示的對(duì)信號(hào)處理單元411的配置進(jìn)行描述,其組成了圖27中所示的信號(hào)處理單元404。
首先,在步驟S191中,控制單元211(圖38)的控制信號(hào)輸出單元221獲得操作單元185輸出的參數(shù),且流程進(jìn)入步驟S192。在步驟S192中,控制單元211識(shí)別從操作單元185處獲得的與參數(shù)有關(guān)的偏移量PhG,PvG,PhB,和PvB,在參數(shù)表存儲(chǔ)單元222里存儲(chǔ)的參數(shù)表中為指定傳感器單元401的偏移量PhG,PvG,PhB,和PvB提供控制信號(hào),流程進(jìn)入步驟S193。相應(yīng)地,控制傳感器單元401的R感光器單元423R,G感光器單元423G和B感光器單元423B的放置位置被。
在步驟S193中,傳感器單元401接收物體光,并進(jìn)行光電轉(zhuǎn)換,從而獲得電信號(hào)形式的圖像信號(hào)(即,使物體成像),并把圖像信號(hào)提供給信號(hào)調(diào)整單元402。信號(hào)調(diào)整單元402使傳感器單元401提供的圖像信號(hào)經(jīng)受CDS處理并把這些提供給A/D轉(zhuǎn)換單元403。A/D轉(zhuǎn)換單元403使信號(hào)調(diào)整單元402提供的圖像信號(hào)經(jīng)受A/D轉(zhuǎn)換,然后作為第一圖像信號(hào)提供給信號(hào)處理單元411,且流程從步驟S193進(jìn)入步驟S194。
就是說,這種情況下,傳感器單元401(圖20)的R感光器單元423R,G感光器單元423G和B感光器單元423B放置位置的是與操作單元185輸出的參數(shù)相關(guān)聯(lián)的偏移量PhG,PvG,PhB,和PvB相對(duì)應(yīng)的位置。相應(yīng)地,在步驟S193中,與操作單元185輸出的參數(shù)相對(duì)應(yīng)的適合于圖像轉(zhuǎn)換處理的圖像信號(hào)從傳感器單元401輸出,且向信號(hào)處理單元411提供該圖像信號(hào)作為第一圖像信號(hào)。
在步驟S194中,信號(hào)處理單元411(圖37)的圖像轉(zhuǎn)換單元431(圖29)使A/D轉(zhuǎn)換單元403提供的第一圖像信號(hào)經(jīng)受作為與操作單元185輸出的參數(shù)相對(duì)應(yīng)的信號(hào)處理的圖像轉(zhuǎn)換處理,從而在第一圖像信號(hào)之上產(chǎn)生圖像質(zhì)量提高的第二圖像信號(hào),然后流程進(jìn)入步驟S195。
現(xiàn)在,如前面所提到的,提供給圖像轉(zhuǎn)換單元431的第一圖像信號(hào)是與操作單元185輸出的參數(shù)相對(duì)應(yīng)的適合于圖像轉(zhuǎn)換處理的圖像信號(hào),相應(yīng)地,在步驟S194中,使第一圖像信號(hào)經(jīng)受與操作單元185獲得的參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理以便獲得更高圖像質(zhì)量的圖像信號(hào)。
在步驟S195中,圖像轉(zhuǎn)換單元431向輸出單元405輸出所獲得的圖像轉(zhuǎn)換處理的第二圖像信號(hào),從而完成但一個(gè)幀(或場(chǎng))的處理。采用圖像拾取設(shè)備,重復(fù)根據(jù)圖39的流程圖,直到例如用戶下達(dá)停止圖像拾取的命令。
接下來,圖40闡明了學(xué)習(xí)設(shè)備的配置實(shí)例,用于執(zhí)行圖38中所示的存儲(chǔ)在參數(shù)表存儲(chǔ)單元222中的參數(shù)表的學(xué)習(xí)。
傳感器單元531,信號(hào)調(diào)整單元532,和A/D轉(zhuǎn)換單元533與圖27中所示的傳感器單元401,信號(hào)調(diào)整單元402和A/D轉(zhuǎn)換單元403相同的方式配置。然而,應(yīng)注意,通過圖27中所示的圖像拾取設(shè)備,傳感器單元401(圖20)的R感光器單元423R,G感光器單元423G和B感光器單元423B的放置位置是由信號(hào)處理單元404(或者說是,構(gòu)成處理單元404的信號(hào)處理單元411G)的控制單元211輸出的控制信號(hào)進(jìn)行控制的,通過圖40中所示的學(xué)習(xí)設(shè)備,傳感器單元531的每個(gè)與R感光器單元423R,G感光器單元423G和B感光器單元423B相對(duì)應(yīng)的感光器單元的放置位置(此后,視情況指代“傳感器單元531中的放置位置”)由控制器537輸出的控制信號(hào)所控制。
圖像轉(zhuǎn)換單元534以與圖29中所示的圖像轉(zhuǎn)換單元431(431G)相同的方式進(jìn)行配置。然而,圖29所示的圖像轉(zhuǎn)換單元431執(zhí)行與操作單元185輸出的參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理,圖40中所示的圖像轉(zhuǎn)換單元534在A/D轉(zhuǎn)換單元533輸出的第一圖像信號(hào)上執(zhí)行與控制器537輸出的參數(shù)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理。
位置確定單元535獲得控制器537輸出的參數(shù)所指定的控制信號(hào)和偏移量PhG、PvG、PhB、和PvB(此后視情況簡(jiǎn)稱“偏移量P”)。另外,位置確定單元535從圖像轉(zhuǎn)換處理單元534獲得第二圖像信號(hào),該第二圖像信號(hào)使在與控制器537輸出的控制信號(hào)相對(duì)應(yīng)的傳感器單元531的放置位置處(即,由控制信號(hào)指定的偏移量P代表的狀態(tài))成像的第一圖像信號(hào)經(jīng)受與控制器537輸出的參數(shù)相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換處理(此后也可視情況稱為“與控制信號(hào)和參數(shù)相對(duì)應(yīng)的第二圖像信號(hào)”)。然后位置確定單元535評(píng)估圖像轉(zhuǎn)換單元534提供的第二圖像信號(hào),與評(píng)估結(jié)果相對(duì)應(yīng),將控制器537輸出的參數(shù)和控制信號(hào)指示的偏移量P相關(guān)聯(lián),并把這些提供給位置存儲(chǔ)單元536。
位置存儲(chǔ)單元536以參數(shù)和偏移量P組的形式存儲(chǔ)從位置確定單元535提供的參數(shù)和偏移量P。位置存儲(chǔ)單元536存儲(chǔ)控制器537輸出的參數(shù)z的多個(gè)值中的每一個(gè)所相關(guān)的參數(shù)和偏移量組,并且參數(shù)表是參數(shù)和偏移量組的列表。
控制器537產(chǎn)生一些參數(shù)z可以假定的值,例如,z=0,1,2,等等直到z,這和圖32中的參數(shù)生成單元191的方式一樣。另外,對(duì)于每個(gè)產(chǎn)生的參數(shù)值,控制器537產(chǎn)生一些偏移量P可以假定的值(P1,P2,等等直到PN,其中N是一個(gè)大于或等于2的值),控制器537然后順序?qū)a(chǎn)生的參數(shù)值做為所關(guān)心的參數(shù)值,且把所關(guān)心的參數(shù)值z(mì),和所產(chǎn)生的與所關(guān)心的參數(shù)值相對(duì)應(yīng)的偏移量P的多個(gè)值中的每一個(gè)值提供給位置確定單元535。另外,控制器537向位置確定單元535和傳感器單元531提供指定偏移量P的控制信號(hào)。
圖41闡明了圖40中所示的位置確定單元535的配置實(shí)例。位置確定單元535包括,存儲(chǔ)單元541,相關(guān)性計(jì)算單元542,和確定評(píng)估單元543。存儲(chǔ)單元541,相關(guān)性計(jì)算單元542和確定評(píng)估單元543每個(gè)都是與圖23中所示的存儲(chǔ)單元441,相關(guān)性計(jì)算單元442和確定評(píng)估單元443的相同的方式配置的。
然而應(yīng)注意,也向確定評(píng)估單元543提供參數(shù)(所關(guān)心的參數(shù)值)和從控制器537(圖40)輸出的偏移量的輸入。與圖23中所示的確定評(píng)估單元443相同,確定評(píng)估單元543對(duì)從圖像轉(zhuǎn)換單元534(圖40)輸出的第二圖像信號(hào)進(jìn)行評(píng)估,該評(píng)估基于從相關(guān)性計(jì)算單元542提供的相關(guān)值,并輸出評(píng)估結(jié)果是第二圖像信號(hào)的圖像質(zhì)量是高或低。另外,確定評(píng)估單元543根據(jù)評(píng)估結(jié)果把從控制器537提供的參數(shù)和偏移量相關(guān)聯(lián),并把關(guān)聯(lián)的參數(shù)和偏移量組提供給位置存儲(chǔ)單元536(圖40)。
接下來,采用圖40中所示的學(xué)習(xí)設(shè)備的參數(shù)表學(xué)習(xí)處理將參考圖42中的流程進(jìn)行描述。
首先,在步驟S320中,控制器537從參數(shù)z所能假定的范圍中選擇一個(gè)值作為所關(guān)心參數(shù)值z(mì),并把該值提供給位置確定單元535(圖41)的圖像轉(zhuǎn)換單元534和確定評(píng)估單元543。同樣在步驟S320中,圖像轉(zhuǎn)換單元534和確定評(píng)估單元543從控制器537獲的所關(guān)心的參數(shù)值z(mì),流程進(jìn)入步驟S321。
在步驟S321中,傳感器單元531接收物體的光,并進(jìn)行光電轉(zhuǎn)換,藉此獲得電信號(hào)(即,使物體成像)形式的圖像信號(hào),并把該圖像信號(hào)提供給信號(hào)調(diào)整單元532。信號(hào)調(diào)整單元532使傳感器單元531提供的圖像信號(hào)經(jīng)受CDS處理并把這些提供給A/D轉(zhuǎn)換單元533,A/D轉(zhuǎn)換單元533使信號(hào)調(diào)整單元532提供的圖像信號(hào)經(jīng)受A/D轉(zhuǎn)換,然后作為第一圖像信號(hào)提供給信號(hào)處理單元534,流程從步驟S321進(jìn)入步驟S322。
在步驟322中,圖像轉(zhuǎn)換單元534使A/D轉(zhuǎn)換單元533提供的第一圖像信號(hào)經(jīng)受與控制器537獲得的所關(guān)心參數(shù)值z(mì)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理,從而在第一圖像信號(hào)之上產(chǎn)生圖像質(zhì)量提高的第二圖像信號(hào),進(jìn)而流程進(jìn)入步驟S323。
在步驟323中,位置確定單元535評(píng)估圖像轉(zhuǎn)換單元534提供的第二圖像信號(hào),流程進(jìn)入步驟S324。在步驟S323中所執(zhí)行的評(píng)估過程將稍后參考圖43進(jìn)行詳細(xì)的描述。
在步驟324中,位置確定單元535(圖41)的確定評(píng)估單元543確定是否獲得第二圖像信號(hào)的圖像質(zhì)量為高的評(píng)估結(jié)果為,如剛剛所述的步驟S323中的第二圖像信號(hào)的評(píng)估結(jié)果。
如果在步驟S324中,確定第二圖像信號(hào)的圖像質(zhì)量為高的評(píng)估結(jié)果還沒有獲得,流程進(jìn)入步驟S325,控制器537把指定偏移量P的控制信號(hào)提供給傳感器單元531,由此改變(移動(dòng))傳感器單元531的放置位置被改變。注意,控制器537以圖23中所示的控制信號(hào)輸出單元444相同的方式來設(shè)置控制信號(hào)所估計(jì)的偏移量P,舉例來說。另外,在步驟324中,控制器537也把提供給傳感器單元531的偏移量P提供給位置確定單元535的確定評(píng)估單元543,流程返回步驟S321。
在步驟S321中,以其放置位置在先前的步驟S325中已經(jīng)被改變的傳感器單元531來獲得圖像信號(hào),隨后,重復(fù)步驟S321到S325。
由于步驟S321到S325的循環(huán),圖像轉(zhuǎn)換單元534使由傳感器單元531的多個(gè)放置位置的每一個(gè)獲得的第一圖像信號(hào)經(jīng)受與所關(guān)心參數(shù)值z(mì)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理,由此產(chǎn)生作為與所關(guān)心參數(shù)值z(mì)相對(duì)應(yīng)的圖像轉(zhuǎn)換處理結(jié)果的第二圖像信號(hào)。另外,與有關(guān)所關(guān)心參數(shù)值z(mì)而獲得的多個(gè)偏移量相對(duì)應(yīng)的每個(gè)第二圖像信號(hào)在步驟S323中被評(píng)估。注意,如果是在步驟S320后第一次執(zhí)行步驟S231,傳感器單元531以默認(rèn)的放置位置來獲得圖像信號(hào)。
隨后,如果在步驟S324中,確定已經(jīng)獲得第二圖像信號(hào)的圖像質(zhì)量為高的評(píng)估結(jié)果,流程進(jìn)入步驟S326,并且當(dāng)獲得評(píng)估結(jié)果時(shí),位置確定單元535的確定評(píng)估單元543把所關(guān)心參數(shù)值z(mì)和控制器537提供的偏移量P相關(guān)聯(lián),即,以與所關(guān)心參數(shù)值z(mì)相關(guān)聯(lián)的方式,向位置存儲(chǔ)單元536提供并存儲(chǔ)當(dāng)獲得表示已獲得高質(zhì)量評(píng)估結(jié)果的與第二圖像信號(hào)相對(duì)應(yīng)的第一圖像信號(hào)時(shí)指示傳感器單元531的放置狀態(tài)的偏移量P,以及有關(guān)的所關(guān)心參數(shù)值z(mì)和偏移量P。相應(yīng)地,位置存儲(chǔ)單元536存儲(chǔ)了偏移量P,由此與所關(guān)心參數(shù)值z(mì)相對(duì)應(yīng)的適合于圖像轉(zhuǎn)換處理的第一圖像信號(hào)(此后簡(jiǎn)稱為“最佳偏移量”)。
然后流程從步驟S326進(jìn)入步驟S327,這里控制器537把參數(shù)z可以假定的范圍內(nèi)的所有數(shù)值做為所關(guān)心的參數(shù)值z(mì),并根據(jù)最佳偏移量P是否已被獲得來完成確定。如果在參數(shù)z可假定的范圍內(nèi)的所有值都考慮的情況下,在步驟S327中確定沒有獲得最佳偏移量P,則流程返回步驟S320,在這里控制器537從參數(shù)z可假定的范圍內(nèi)再挑選一個(gè)沒有被做用作過所關(guān)心參數(shù)值的數(shù)值做為新的所關(guān)心參數(shù)值,同樣的處理重復(fù)進(jìn)行。
同樣,如果在參數(shù)z可假定的范圍內(nèi)的所有的值都被考慮的情況下,在步驟S327中確定獲得了最佳偏移量P,即,如果參數(shù)表已經(jīng)被存儲(chǔ)在位置存儲(chǔ)單元536中,該參數(shù)表是一些參數(shù)z可假定范圍內(nèi)多個(gè)數(shù)值中的每個(gè)數(shù)值和其最佳偏移量P組,則流程結(jié)束。
如前所述,與參數(shù)z相對(duì)應(yīng)的圖像轉(zhuǎn)換處理是關(guān)于傳感器單元531在與多個(gè)偏移量P的每一個(gè)相對(duì)應(yīng)的位置上獲得的每個(gè)第一圖像信號(hào)來執(zhí)行的,對(duì)于參數(shù)z的多個(gè)值中的每個(gè)值,通過圖像轉(zhuǎn)換處理獲得的第二圖像信號(hào)被評(píng)估,并且獲得最佳偏移量P,該最佳偏移量P是在獲得高圖像質(zhì)量的第二圖像信號(hào)時(shí)的偏移量;相應(yīng)地,可以獲得參數(shù)表,該參數(shù)表是在獲得與參數(shù)z相對(duì)應(yīng)的適合圖像轉(zhuǎn)換處理的第一圖像信號(hào)時(shí),參數(shù)z和最佳偏移量P的關(guān)聯(lián)關(guān)系。如圖37至圖39所示,第一圖像信號(hào),基于參數(shù)表與操作單元185輸出的參數(shù)z相對(duì)應(yīng)的偏移量所代表的位置上由傳感器單元401在該放置位置進(jìn)行成像,從而,與參數(shù)z相對(duì)應(yīng)的適合于圖像轉(zhuǎn)換處理的圖像信號(hào)就能被獲得,相應(yīng)地,具有更高圖像質(zhì)量的第二圖像信號(hào)就可獲得了。
注意,通過圖42中的學(xué)習(xí)過程,可以為參數(shù)z可假定范圍內(nèi)的一些值獲得參數(shù)表,因此,存儲(chǔ)在圖38中所示的參數(shù)表存儲(chǔ)單元222中的參數(shù)表可以不存儲(chǔ)與操作單元185輸出的參數(shù)一樣的值。這種情況下,通過對(duì)存儲(chǔ)在參數(shù)表存儲(chǔ)單元222中的參數(shù)表中的參數(shù)和偏移量的線性內(nèi)插或相似方法,控制信號(hào)輸出單元221獲得與操作單元185輸出的參數(shù)相對(duì)應(yīng)的偏移量。
接下來,在圖42中的步驟S323中的由圖41所示的位置確定單元535執(zhí)行的評(píng)估處理將參考圖43中的流程圖進(jìn)行描述。
對(duì)于該評(píng)估處理,首先,在步驟S330中,存儲(chǔ)單元541存儲(chǔ)由在前面步驟S322(圖42)圖像轉(zhuǎn)換單元534提供的第二圖像信號(hào),且相關(guān)性計(jì)算單元542接收這些第二圖像信號(hào)。另外,在步驟S330中,相關(guān)性計(jì)算單元542計(jì)算從圖像轉(zhuǎn)換單元534提供的第二圖像信號(hào)和在前一步驟S330中由存儲(chǔ)單元541存儲(chǔ)的第二圖像信號(hào)之間的相關(guān)值,流程進(jìn)入步驟S331。
在步驟S331中,確定評(píng)估單元543臨時(shí)存儲(chǔ)相關(guān)性計(jì)算單元542提供的相關(guān)值,某種程度上,當(dāng)用于獲得相關(guān)值的兩個(gè)第二圖像信號(hào)中選擇一個(gè)時(shí),和偏移量P相關(guān)聯(lián),流程進(jìn)入步驟S332。現(xiàn)在,在從用于獲得相關(guān)性計(jì)算單元542提供的相關(guān)值的兩個(gè)第二圖像信號(hào)中選擇一個(gè)時(shí),確定評(píng)估單元543從圖40所示的控制器537獲得偏移量P。
在步驟S332中,對(duì)于迄今為止在步驟S331中存儲(chǔ)的相關(guān)值和偏移量之間的關(guān)系,確定評(píng)估單元543確定是否已經(jīng)為相關(guān)值獲得最大值。如果步驟S332中確定沒有為相關(guān)值獲得最大值,流程進(jìn)入步驟S333,確定評(píng)估單元543作出效果為第二圖像信號(hào)是低圖像質(zhì)量的評(píng)估,流程返回圖42中的步驟S324。
這種情況下,在圖42的步驟S324中,確定評(píng)估單元543確定沒有獲得效果為圖像質(zhì)量為高的評(píng)估結(jié)果,流程進(jìn)入步驟S325。在步驟S325中,控制器537向傳感器單元531提供與評(píng)估結(jié)果相對(duì)應(yīng)的用于指定新偏移量的控制信號(hào),并把該偏移量P提供給確定評(píng)估單元543。
返回圖43中的步驟S332,如果在步驟S332中確定已經(jīng)為相關(guān)值獲得最大值,流程進(jìn)入步驟S334,確定評(píng)估單元543作出效果為第二圖像信號(hào)具有高圖像質(zhì)量的評(píng)估,流程返回圖42中的步驟S324。
這種情況下,在圖42的步驟S324中,確定有關(guān)其所獲的評(píng)估結(jié)果是圖像質(zhì)量為高的第二圖像信號(hào)已被獲得,流程進(jìn)入步驟S326。在步驟S326中,確定評(píng)估單元543把所關(guān)心的參數(shù)值z(mì)和在獲得評(píng)估結(jié)果時(shí)控制器537提供的偏移量P相關(guān)聯(lián),即,在有關(guān)其所獲評(píng)估結(jié)果的效果為圖像質(zhì)量為高(最佳偏移量)的第二圖像信號(hào)相對(duì)應(yīng)而獲得的第一圖像信號(hào)時(shí),代表傳感器單元401的放置狀態(tài)的偏移量P,并且相關(guān)的有效參數(shù)值z(mì)和最佳偏移量被提供和存儲(chǔ)在位置存儲(chǔ)單元536中。
在前面所述的情況中,根據(jù)下述安排進(jìn)行描述,其中,如果在步驟S332中已經(jīng)獲得相關(guān)值的最大值,則做出效果為第二圖像信號(hào)是高圖像質(zhì)量的評(píng)估,但是,也可以作另一種安排,其中如果在步驟S332中獲得一個(gè)等于或高于預(yù)定閾值的相關(guān)值的最大值,則做出效果為第二圖像信號(hào)是高圖像質(zhì)量的評(píng)估。
同樣,在前面所述的情況中,根據(jù)下述安排進(jìn)行描述,其中,在基于相關(guān)值作出第二圖像信號(hào)的評(píng)估,然而,可以作另一種安排,其中例如,基于有關(guān)偏移量PhG、PvG、PhB、和PvB的每個(gè)值而獲得的第二圖像信號(hào)的S/N等來進(jìn)行評(píng)估。另外,第二圖像信號(hào)的評(píng)估可能從外部被輸入。就是說,例如,可能作一種安排,其中顯示第二圖像信號(hào),并且例如通過觀察所顯示圖像的用戶輸出第二圖像信號(hào)的評(píng)估。
前面描述的由信號(hào)處理單元404,圖像轉(zhuǎn)換單元534,位置確定單元535、控制器537,等等進(jìn)行的一系列處理可以由專門的硬件或軟件執(zhí)行。當(dāng)用軟件來執(zhí)行該一系列的處理時(shí),參考圖17,如前所述,組成該軟件的程序?qū)⒈话惭b在微型計(jì)算機(jī)上,一種通用計(jì)算機(jī)上,等等。
同時(shí)注意到,除了前面所述的圖像轉(zhuǎn)換處理外,圖像轉(zhuǎn)換單元431和534可以執(zhí)行獲得第二圖像信號(hào)的處理,比如使第一圖像信號(hào)經(jīng)受數(shù)字鉗位處理,白色均衡調(diào)整處理、伽馬校正處理、線性內(nèi)插處理,等等。
同樣,當(dāng)現(xiàn)有實(shí)施例被描述為傳感器單元401和531采用所謂的三-傳感器裝置,則單-傳感器,二-傳感器,或四或更多傳感器系統(tǒng)可以被應(yīng)用到傳感器單元401和531上。
此外,當(dāng)在上述安排中,使用第二圖像信號(hào)的G信號(hào)對(duì)該第二圖像信號(hào)進(jìn)行評(píng)估時(shí),也可以使用R信號(hào)或B信號(hào)或R,G和B信號(hào)中的兩個(gè)或多個(gè)對(duì)第二圖像信號(hào)進(jìn)行評(píng)估。
第四具體實(shí)施例接下來,本發(fā)明的第四具體實(shí)施例將參考圖44進(jìn)行描述。圖44說明了已應(yīng)用本發(fā)明的圖像拾取設(shè)備的第四具體實(shí)施例的配置實(shí)例。圖44所示的圖像拾取設(shè)備可以是例如數(shù)字式靜態(tài)照相機(jī)或攝像機(jī),同圖18所示的圖像拾取設(shè)備。
傳感器單元601包括,多個(gè)與像素相對(duì)應(yīng)的光電轉(zhuǎn)換元件,用于接收通過未示出的光學(xué)系統(tǒng)投射到其中的物體光,并向信號(hào)調(diào)整單元602提供與該物體光相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào)。此外,傳感器單元601根據(jù)信號(hào)處理單元604提供的控制信號(hào)改變其特性。
為消除包含在傳感器單元601輸出的圖像信號(hào)中的復(fù)位噪音,信號(hào)調(diào)整單元602執(zhí)行CDS處理,同圖18中的信號(hào)調(diào)整單元402,并把獲得的作為處理結(jié)果的圖像信號(hào)提供給A/D轉(zhuǎn)換單元603。A/D轉(zhuǎn)換單元603對(duì)信號(hào)調(diào)整單元602提供的圖像信號(hào)執(zhí)行A/D轉(zhuǎn)換,同圖18中的A/D轉(zhuǎn)換單元403,即,通過采樣量化圖像信號(hào),并將作為其結(jié)果而獲得的數(shù)字圖像信號(hào)提供給信號(hào)處理單元604。
信號(hào)處理單元604將A/D轉(zhuǎn)換單元603提供的數(shù)字圖像信號(hào)(此后簡(jiǎn)稱為“圖像信號(hào)”)當(dāng)作第一圖像信號(hào),并使第一圖像信號(hào)經(jīng)受預(yù)定的圖像轉(zhuǎn)換處理,并向輸出單元605輸出做為其結(jié)果的數(shù)字圖信號(hào)作為第二圖像信號(hào)。同樣,信號(hào)處理單元604對(duì)一屏的預(yù)定區(qū)域(一幀或場(chǎng))中的第一圖像信號(hào)進(jìn)行評(píng)估,并把控制信號(hào)提供給與評(píng)估相對(duì)應(yīng)的傳感器單元601。
輸出單元605接收信號(hào)處理單元604輸出的第二圖像信號(hào),同圖18中的輸出單元405,并輸出這些第二圖像信號(hào)。也就是說,輸出單元605從未示出的外部終端輸出來自信號(hào)處理單元604的第二圖像信號(hào),或顯示在未示出的監(jiān)視器上。同樣,輸出單元605將第二圖像信號(hào)存儲(chǔ)在未示出的記錄介質(zhì)中,諸如光盤、磁盤、磁光盤、磁帶,半導(dǎo)體存儲(chǔ)器等等,或者通過像電話線、因特網(wǎng)、局域網(wǎng)或其他像電纜或無線傳輸介質(zhì)發(fā)送這些圖像信號(hào)。
對(duì)于上述配置的圖像拾取設(shè)備來說,在傳感器單元601處接收物體光,并通過信號(hào)調(diào)整單元602和A/D轉(zhuǎn)換單元603將與所接收光量相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào)提供給信號(hào)處理單元604。信號(hào)處理單元604使傳感器601通過信號(hào)調(diào)整單元602和A/D轉(zhuǎn)換單元603提供的圖像信號(hào)作為第一圖像信號(hào)經(jīng)受諸如圖像轉(zhuǎn)換處理此類的信號(hào)處理,并向輸出單元605輸出藉此已提高圖像質(zhì)量的第二圖像信號(hào),該圖像轉(zhuǎn)換處理例如通過提高分辨率來提高圖像質(zhì)量。在輸出單元605中,輸出信號(hào)處理單元604提供的第二圖像信號(hào)。
同樣,信號(hào)處理單元604以其一屏的預(yù)定的區(qū)域評(píng)估來自于傳感器單元601的第一圖像信號(hào)。也就是說,信號(hào)處理單元604對(duì)來自傳感器單元601的第一圖像信號(hào)的每一屏進(jìn)行評(píng)估。另外,與該評(píng)估相對(duì)應(yīng),信號(hào)處理單元604向傳感器單元601提供控制信號(hào)。
與預(yù)定區(qū)域的第一圖像信號(hào)相對(duì)應(yīng),傳感器單元601改變一屏(整個(gè)感光面)的每個(gè)像素的特性。而后,傳感器單元601輸出從改變特性的像素獲得的圖像信號(hào)。
接下來,將根據(jù)信號(hào)處理單元604輸出的控制信號(hào),描述傳感器單元的特性變化。如前所述,從傳感器單元601輸出的圖像信號(hào)在A/C轉(zhuǎn)換單元603被量化。相應(yīng)地,如果一屏中的預(yù)定區(qū)域是平面的,相應(yīng)地,預(yù)定區(qū)域的圖像信號(hào)的信號(hào)級(jí)別的變化是足夠小的以適合圖45A所示的A/D轉(zhuǎn)換單元603執(zhí)行的量化中的量化步幅,預(yù)定區(qū)域中的圖像信號(hào)在A/D轉(zhuǎn)換單元603處都被量化為同樣的值,濾掉微小的變化。在信號(hào)處理單元604上被量化為相同值的數(shù)字圖像信號(hào)上執(zhí)行圖像轉(zhuǎn)換處理不可能產(chǎn)生高分辨率的圖像。
相應(yīng)地,信號(hào)處理單元604為改變傳感器單元601的特性提供控制信號(hào),從而改變傳感器單元601的特性,以使合適的圖像信號(hào)可以通過圖像轉(zhuǎn)換處理而被輸出,即,以使通過圖像轉(zhuǎn)換處理能產(chǎn)生高分辨率圖像的圖像信號(hào)能被輸出,舉例來說。
也就是說,信號(hào)處理單元604對(duì)傳感器單元601輸出的預(yù)定區(qū)域的圖像信號(hào)進(jìn)行評(píng)估,并且如果圖像信號(hào)的信號(hào)級(jí)別的變化被認(rèn)為與圖45A所示的一樣小,傳感器單元601的特性將被改變,以便從傳感器單元601輸出的圖像信號(hào)的信號(hào)級(jí)別的變化是較大的,如圖45B所示。這種情況下,在其中信號(hào)級(jí)別的變化明顯的圖像信號(hào)被輸入到信號(hào)處理單元604,且對(duì)此圖像信號(hào)上進(jìn)行圖像轉(zhuǎn)換處理,從而獲得高分辨率的圖像。
圖46闡明了一種采用變化特性的傳感器單元601的配置實(shí)例。傳感器單元601具有排列在水平和垂直方向大量像素,從而組成了一種感光面。例如,每個(gè)像素都由感光器單元611和控制器單元612組成,如圖46所示。
感光器單元611被配置為例如光電二極管等光電轉(zhuǎn)換設(shè)備,以便向控制單元612輸出與所接收的光量相對(duì)應(yīng)的電信號(hào)??刂茊卧?12是由晶體管等組成的,用于通過預(yù)定放大率把來自感光器單元611的電信號(hào)進(jìn)行放大,并輸出到信號(hào)調(diào)整單元602。同樣,向控制單元612提供來自信號(hào)處理單元604的控制信號(hào),且控制單元612控制放大率,由此來自感光器單元601的電信號(hào)根據(jù)控制信號(hào)進(jìn)行放大。
控制單元612根據(jù)來自信號(hào)處理單元604的控制信號(hào)改變放大率做為其特性,以便輸出適于在信號(hào)處理單元604上進(jìn)行圖像轉(zhuǎn)換處理的具有變化了的信號(hào)級(jí)別的圖像信號(hào)。
現(xiàn)在,由像素組成的具有感光器單元611和控制單元612的傳感器單元601可以通過在CMOS傳感器上應(yīng)用MEMS技術(shù)被配置,舉例來說。然而,應(yīng)該理解,傳感器單元601決不限于CMOS傳感器,其也可以使用CCD,或HARP來替換,該HARP是利用發(fā)生在a-Se半導(dǎo)體的光電導(dǎo)靶中的電子雪崩現(xiàn)象的顯象管。同樣,傳感器單元601也可以由具有放大單元的設(shè)備組成,該放大單元用于為整個(gè)的或者一個(gè)或更多像素的遞增放大圖像信號(hào),以便根據(jù)控制信號(hào)改變放大單元的放大率。
接下來,圖47闡明了一種對(duì)圖44中所示的信號(hào)處理單元604的配置實(shí)例。在圖47中,信號(hào)處理單元604包括,圖像轉(zhuǎn)換單元621,圖像校正單元622,和級(jí)別評(píng)估單元623。
從傳感器單元601輸出的圖像信號(hào)通過信號(hào)調(diào)整單元602和A/D轉(zhuǎn)換單元603提供給信號(hào)處理單元604作為第一圖像信號(hào)。該第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元621和級(jí)別評(píng)估單元623。
圖像轉(zhuǎn)換單元621使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理以提高圖像質(zhì)量,例如諸如提高分辨率,并將提高質(zhì)量的數(shù)字圖像信號(hào)做為第二圖像信號(hào)提供給圖像校正單元622。
已經(jīng)向圖像校正單元622提供來自圖像轉(zhuǎn)換單元621的第二圖像信號(hào),以及來自級(jí)別評(píng)估單元623的放大率信息和區(qū)域信息?;谟杉?jí)別評(píng)估單元623提供的放大率信息和區(qū)域信息,圖像校正單元622校正來自圖像轉(zhuǎn)換單元621的第二圖像信號(hào),并將校正后的第二圖像信號(hào)提供給輸出單元605。
級(jí)別評(píng)估單元623通過一屏的一部分的預(yù)定區(qū)域來評(píng)估第一圖像信號(hào)。另外,級(jí)別評(píng)估單元623確定放大率,由此圖46所示的控制單元執(zhí)行放大操作,并且把指示放大率的放大信息,和指示執(zhí)行評(píng)估的區(qū)域的區(qū)域信息提供給圖像校正單元622。同樣,做為控制信號(hào),級(jí)別評(píng)估單元623把放大信息提供給控制單元612的組成預(yù)定區(qū)域的像素,其出自組成傳感器單元601的像素。
也就是說,級(jí)別評(píng)估單元623評(píng)估在一屏中的每個(gè)區(qū)域的第一圖像信號(hào)是否適合圖像校正單元621的圖像校正處理。特別地,級(jí)別評(píng)估單元623識(shí)別每個(gè)預(yù)定區(qū)域的第一圖像信號(hào)的信號(hào)級(jí)別(亮度或顏色),并評(píng)估信號(hào)級(jí)別變化是大還是小。另外,在有關(guān)所獲評(píng)估為信號(hào)級(jí)別的變化太小時(shí),級(jí)別評(píng)估單元623為組成區(qū)域的像素的放大率制定一個(gè)較大值,并且同樣在有關(guān)所獲評(píng)估為信號(hào)級(jí)別的變化太大時(shí),級(jí)別評(píng)估單元623為組成區(qū)域的像素的放大率制定一個(gè)較小值,并把代表放大率的放大信息提供給每個(gè)區(qū)域的像素的控制單元612(圖46)做為控制信號(hào)。
如圖46中所示的控制單元612,感光器單元611的輸出信號(hào)以來自級(jí)別評(píng)估單元623的控制信號(hào)的放大率進(jìn)行放大,相應(yīng)地,適合在圖像轉(zhuǎn)換單元621上進(jìn)行圖像轉(zhuǎn)換處理的具有信號(hào)級(jí)別變化的圖像信號(hào)從傳感器單元601輸出。
另一方面,在級(jí)別評(píng)估單元623處,被做為控制信號(hào)提供給傳感器單元601的控制單元612的放大率信息,和表示按由放大信息代表的放大率執(zhí)行放大操作的像素所組成的區(qū)域的區(qū)域信息被相互關(guān)聯(lián),并被提供給圖像校正單元622。圖像校正單元622,根據(jù)由級(jí)別評(píng)估單元623提供的放大率信息和區(qū)域信息,校正由圖像轉(zhuǎn)換單元621使第一圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換處理而獲得的第二圖像信號(hào)。
也就是說,通過與和區(qū)域信息有關(guān)的放大率信息所表示的放大率相對(duì)應(yīng)的增益,區(qū)域信息指示區(qū)域的第一圖像信號(hào)的值和從傳感器單元601的感光器單元611輸出的信號(hào)的值不同。相應(yīng)地,圖像校正單元622校正該區(qū)域的第二圖像信號(hào),該區(qū)域的區(qū)域信息由和區(qū)域信息有關(guān)的放大信息所指示的放大率所代表,以便產(chǎn)生能獲得與圖像信號(hào)本應(yīng)獲得的增益相同的第二圖像信號(hào),這通過對(duì)從傳感器單元601的感光器單元611輸出的信號(hào)進(jìn)行圖像轉(zhuǎn)換處理而獲得。特別地,通過和區(qū)域信息有關(guān)的放大信息指示的放大率成比例的值來衰減增益,圖像校正單元622校正區(qū)域信息指示的區(qū)域的第二圖像信號(hào)。
注意,通過級(jí)別評(píng)估單元623,做為評(píng)估增量的預(yù)定區(qū)域可以是這個(gè)屏幕(區(qū)域的幀),或由單個(gè)或多個(gè)像素組成的區(qū)域。
現(xiàn)在,在級(jí)別評(píng)估單元623處,如果做為評(píng)估增量的預(yù)定區(qū)域是一個(gè)像素或多個(gè)像素,但不是整個(gè)一屏,對(duì)第一圖像信號(hào)的圖像轉(zhuǎn)換處理在圖像轉(zhuǎn)換單元621進(jìn)行,該第一圖像信號(hào)對(duì)每個(gè)預(yù)定區(qū)域有不同的放大率。當(dāng)在圖像轉(zhuǎn)換單元621實(shí)施不同類型的計(jì)算時(shí),如果計(jì)算是對(duì)具有不同放大率的第一圖像信號(hào)來執(zhí)行,則在執(zhí)行計(jì)算時(shí)有必要考慮放大率的不同。這里,為了簡(jiǎn)化描述,讓我們假設(shè)在級(jí)別評(píng)估單元623處將要做為評(píng)估增量的預(yù)定區(qū)域?yàn)檎麄€(gè)屏幕。
接下來,圖48闡明了圖47中所示的級(jí)別評(píng)估單元623的第一配置實(shí)例。在圖48中,級(jí)別評(píng)估單元623由評(píng)估像素提取單元631,占用程度計(jì)算單元632,和放大率確定單元633組成。
向評(píng)估像素提取單元631提供來自傳感器單元601的第一圖像信號(hào),經(jīng)由信號(hào)調(diào)整單元602和A/D轉(zhuǎn)換單元603到信號(hào)處理單元604。評(píng)估像素提取單元631提取被用作評(píng)估第一圖像信號(hào)的一屏的像素做為評(píng)估像素,并把這些提供給占用程度計(jì)算單元632。占用程度計(jì)算單元632計(jì)算作為評(píng)估增量的一屏上的評(píng)估像素的占用程度,并把這個(gè)提供給放大率確定單元633。
在放大率確定單元633,根據(jù)占用程度計(jì)算單元632提供的占用程度,作為評(píng)估增量的一屏的第一圖像信號(hào)被評(píng)估,且確定一個(gè)與評(píng)估相對(duì)應(yīng)的放大率作為與傳感器單元601的一屏的圖像信號(hào)相對(duì)應(yīng)的像素的控制單元612的放大率。另外,放大率確定單元633把指示這個(gè)放大率的放大率信息提供給傳感器單元601(或其控制單元612)做為控制信號(hào)。另外,放大率確定單元633把放大率信息和代表一屏的區(qū)域信息相關(guān)聯(lián)提供給圖像校正單元622,該區(qū)域以由放大率信息所指示的放大率進(jìn)行放大操作的像素組成(圖47)。
接下來,圖44中所示的圖像拾取設(shè)備的操作將參考圖49中的流程圖進(jìn)行描述。
對(duì)于該圖像拾取設(shè)備,首先,在步驟S401中,傳感器單元601的感光器單元611接收物體光并進(jìn)行光電轉(zhuǎn)換,從而獲得電信號(hào)信號(hào)形式的第一圖像信號(hào)(使物體成像),控制單元612以預(yù)定的放大率放大該圖像信號(hào),被放大的信號(hào)提供給信號(hào)調(diào)整單元602,流程進(jìn)入步驟S402。注意,如果是在打開圖像拾取設(shè)備的電源后第一次采集圖像,傳感器單元601的控制單元612的放大率是一個(gè)默認(rèn)值。
在步驟S402中,信號(hào)調(diào)整單元602使傳感器單元601提供的一屏圖像信號(hào)經(jīng)受信號(hào)調(diào)整,如CDS處理,然后把這些提供給A/D轉(zhuǎn)換單元603,且流程進(jìn)入步驟S403。在步驟S403中,A/D轉(zhuǎn)換單元603使來自信號(hào)調(diào)整單元602的一屏圖像信號(hào)經(jīng)受圖像轉(zhuǎn)換,然后做為第一圖像信號(hào)提供給信號(hào)處理單元604,且流程進(jìn)入步驟S404。
在步驟S404中,信號(hào)處理單元604(圖47)的級(jí)別評(píng)估單元623對(duì)由A/D轉(zhuǎn)換單元603提供的一屏第一圖像信號(hào)進(jìn)行評(píng)估,并為圖46中所示的控制單元612確定放大率。另外,在步驟S404中,級(jí)別評(píng)估單元623把指示其放大率的放大信息,和指示與評(píng)估被執(zhí)行有關(guān)的一屏的區(qū)域信息提供給圖像校正單元622,并把放大率信息提供給組成傳感器601的一屏的像素的控制單元612做為其控制信息,且流程進(jìn)入步驟S405。現(xiàn)在,在步驟S404中進(jìn)行的詳細(xì)處理將稍后被描述。
在步驟S405中,傳感器單元601中的每個(gè)像素的控制單元612控制放大率,由此,根據(jù)在先前步驟S404中級(jí)別評(píng)估單元623提供的控制信號(hào),感光器單元611的輸出被放大了,且流程進(jìn)入步驟S406。
在步驟S406中,由信號(hào)處理單元604(圖47)的圖像轉(zhuǎn)換單元621執(zhí)行關(guān)于A/D轉(zhuǎn)換單元603提供的第一圖像信號(hào)的圖像轉(zhuǎn)換處理,具有在第一圖像信號(hào)上提高了圖像質(zhì)量的第二圖像信號(hào)被提供給圖像校正單元622,且流程進(jìn)入步驟S407。
在步驟S407中,基于在先步驟S404中的級(jí)別評(píng)估單元623提供的放大率信息和區(qū)域信息,圖像校正單元622對(duì)圖像轉(zhuǎn)換單元621提供的圖像信號(hào)進(jìn)行校正,已被校正的第二圖像信號(hào)被提供給輸出單元605,且流程進(jìn)入步驟S408。
在步驟S408中,輸出單元605輸出由信號(hào)處理單元604的圖像校正單元622提供的第二圖像信號(hào),因而,完成有關(guān)一屏圖像的處理。也就是說,對(duì)于圖44中的圖像拾取設(shè)備,重復(fù)根據(jù)圖49中一個(gè)圖像屏幕的處理的流程,直到例如用戶下達(dá)停止圖像拾取的命令。
相應(yīng)地,在接下來的步驟S401中,從傳感器單元601的感光器單元611輸出的圖像信號(hào)以前面的處理的步驟S404中所控制的放大率進(jìn)行放大,相應(yīng)地,適合圖像轉(zhuǎn)換處理的第一圖像信號(hào)被提供給圖像轉(zhuǎn)換單元621。
接下來,圖49中的步驟S404的評(píng)估處理將參考圖50中的流程圖進(jìn)行描述,首先,在步驟S421中的評(píng)估處理中,級(jí)別評(píng)估單元(圖48)的評(píng)估像素提取單元631從作為評(píng)估增量的組成一屏的像素中提取像素作為評(píng)估像素,用于評(píng)估該屏的第一圖像信號(hào)的像素。這就是說,評(píng)估像素提取單元631從組成一屏的像素中提取例如具有比第一級(jí)別要高的第一圖像信號(hào)級(jí)別的像素,和具有比第二級(jí)別要低的級(jí)別的像素做為評(píng)估像素。
現(xiàn)在,對(duì)于第一級(jí)別,一個(gè)接近和等于或比第一圖像信號(hào)可以假定的最大值要小的值可以被使用。同樣,對(duì)于第二級(jí)別,一個(gè)接近和等于或比第一圖像信號(hào)可以假定的最小值要大的值可以被使用。在下面的描述中,第一圖像信號(hào)中具有比第一級(jí)別高的級(jí)別的像素將視情況稱為“高級(jí)別像素”,并且第一圖像信號(hào)中具有比第二級(jí)別低的級(jí)別的像素視情況稱為“低級(jí)別像素”。
在步驟S421中,評(píng)估像素提取單元631從做為評(píng)估增量的組成一屏的像素中,提取高級(jí)別像素和低級(jí)別像素做為評(píng)估像素,并把該評(píng)估像素提供給占用程度計(jì)算單元632,且流程進(jìn)入步驟S422。
步驟S422中,在作為評(píng)估增量的一屏中,占用程度計(jì)算單元632計(jì)算由評(píng)估像素提取單元631在步驟S421提供的每個(gè)高級(jí)別像素和低級(jí)別像素的占用比率,作為高級(jí)別占用程度和低級(jí)別占用程度,把它們提供給放大率確定單元633,且流程進(jìn)入步驟S423。
在步驟S423中,根據(jù)占用程度單元632提供的高級(jí)別占用程度和低級(jí)別占用程度,放大率確定單元633對(duì)作為評(píng)估增量的一屏第一圖像信號(hào)進(jìn)行評(píng)估,且依據(jù)該評(píng)估確定放大率做為與一屏圖像信號(hào)相對(duì)應(yīng)的像素的控制單元612的放大率。
也就是說,如果高級(jí)別占用程度足夠大于低級(jí)別占用程度,這意味著在一屏中存在著大量的高級(jí)別像素,所以放大率確定單元633做出的評(píng)估為一屏的第一圖像信號(hào)不適合于在圖像轉(zhuǎn)換單元621進(jìn)行圖像轉(zhuǎn)換處理,且給放大率確定了一個(gè)比當(dāng)前值低的值做為控制其單元612的放大率。同樣,如果低級(jí)別占用程度足夠大于高級(jí)別占用程度,這意味著在一屏中存在著大量低級(jí)別像素,所以放大率確定單元633做出的評(píng)估為一屏的第一圖像信號(hào)不適合于在圖像轉(zhuǎn)換單元621進(jìn)行圖像轉(zhuǎn)換處理,且給放大率限定了一個(gè)比當(dāng)前值高的值做為控制其單元612的放大率。否則,放大率確定單元633做出的評(píng)估為,一屏的第一圖像信號(hào)適合于在圖像轉(zhuǎn)換單元621的圖像轉(zhuǎn)換處理,且給放大率確定了一個(gè)先前值做為控制其單元612的放大率。
在步驟S423中,放大率確定單元633提供指示預(yù)定放大率的放大信息給傳感器單元601(或其控制單元612)做為控制信號(hào),并且把放大率信息和指示以一屏為區(qū)域的區(qū)域信息相關(guān)聯(lián),提供關(guān)聯(lián)的放大率信息和區(qū)域信息給圖像校正單元622(圖47),該區(qū)域以由放大率信息所指示的放大率進(jìn)行放大操作的像素組成,且流程返回。
這種情況下,在圖像轉(zhuǎn)換單元621處具有圖像轉(zhuǎn)換處理的合適級(jí)別的圖像信號(hào)從傳感器單元601被輸出,接下來,具有更高圖像質(zhì)量的第二圖像信號(hào)能從圖像轉(zhuǎn)換處理過程中得到。應(yīng)該注意,可以作一種安排,即僅為高級(jí)別像素確定一個(gè)低放大率時(shí),和僅為低級(jí)別像素預(yù)定一個(gè)高放大率。
如圖49所示的安排,在步驟S401中,傳感器單元601將感光器單元611輸出的圖像信號(hào)以在前面步驟S404控制的放大率進(jìn)行放大,所以傳感器單元601的當(dāng)前幀或場(chǎng)的圖像信號(hào)以由被評(píng)估的當(dāng)前幀或場(chǎng)的圖像所確定的放大率進(jìn)行放大。另一方面,可以作一種安排,其中在傳感器單元601處以由被評(píng)估的當(dāng)前幀或場(chǎng)的圖像所確定的放大率放大當(dāng)前幀或場(chǎng)的圖像信號(hào)。
現(xiàn)在,圖44中所示的圖像拾取設(shè)備的操作,將參考一種情況被描述,該情況是傳感器單元601處以由被評(píng)估的該幀或場(chǎng)的圖像所確定的放大率放大當(dāng)前幀或場(chǎng)的圖像信號(hào)。這種情況下,圖51的步驟S431到S435執(zhí)行與圖49步驟S401到S435相同的處理,且流程進(jìn)入步驟S436。
在步驟S436中,與圖49中的步驟S401相對(duì)應(yīng)的步驟S431,傳感器單元601的感光器單元611接收物體光并執(zhí)行光電轉(zhuǎn)換,從而獲得電信號(hào)形式的第一圖像信號(hào)。另外,在步驟S636中,控制單元612以在前步驟S635所控制的放大率來放大由感光器單元611獲得的圖像信號(hào),并把放大的圖像信號(hào)經(jīng)由信號(hào)調(diào)整單元602和A/D轉(zhuǎn)換單元603提供給信號(hào)處理單元604,且流程進(jìn)入步驟S437。
流程由步驟S437按順序進(jìn)行到步驟S439,由此,執(zhí)行和圖49中的步驟S406到S408相同的處理過程,從而完成一幀或場(chǎng)的圖像的處理。根據(jù)圖51中的流程圖,重復(fù)采用圖44所示的圖像拾取設(shè)備的處理,直到例如用戶下達(dá)停止圖像拾取的命令。
圖51中的流程圖的處理中,在步驟S431和S436中,傳感器單元601在一幀或場(chǎng)的循環(huán)中執(zhí)行兩次圖像拾取。在步驟S434中,第一次拾取的圖像信號(hào)被評(píng)估,基于評(píng)估結(jié)果在步驟S435確定第二次拾取的圖像信號(hào)的放大率。相應(yīng)地,在傳感器單元601,由當(dāng)前區(qū)域的幀的第二次成像獲得的圖像信號(hào)以通過對(duì)第一次成像所獲得的圖像信號(hào)進(jìn)行評(píng)估來確定的放大率進(jìn)行放大。
注意,根據(jù)圖49中的流程圖的處理,對(duì)于單幀(場(chǎng)),傳感器單元601只需要執(zhí)行一次成像,但根據(jù)圖51中的流程圖的處理,對(duì)于單幀(場(chǎng)),傳感器單元601需要執(zhí)行至少兩次成像。
接下來,圖52闡明了圖47中的級(jí)別評(píng)估單元623的另一種安排。圖52中,級(jí)別評(píng)估單元623包括一種活動(dòng)性計(jì)算單元641和一種放大率確定單元642。
經(jīng)過A/D轉(zhuǎn)換單元603和信號(hào)調(diào)整單元602,由傳感器單元601提供到信號(hào)處理單元604的第一圖像信號(hào)提供給活動(dòng)性計(jì)算單元641?;顒?dòng)性計(jì)算單元641計(jì)算作為評(píng)估增量的一屏中的第一圖像信號(hào)的活動(dòng)性,并把算得的活動(dòng)性提供給放大率確定單元642。
現(xiàn)在,一個(gè)可以采用的一屏的第一信號(hào)的活動(dòng)性的一個(gè)實(shí)例可以是一屏(即,動(dòng)態(tài)范圍)的第一圖像信號(hào)的最大和最小值的差,第一圖像信號(hào)中的相鄰像素的之差的絕對(duì)值的總和,一屏中的第一圖像信號(hào)的差值,等等。
放大率確定單元642對(duì)作為評(píng)估增量的一屏中的第一圖像信號(hào)進(jìn)行評(píng)估,并確定與其評(píng)估相對(duì)應(yīng)的放大率作為與傳感器單元601的一屏圖像信號(hào)相對(duì)應(yīng)的像素的控制單元612的放大率。
也就是說,例如如果從活動(dòng)性計(jì)算單元641得到的活動(dòng)性很大,做出的評(píng)估為一屏的第一圖像信號(hào)不適合于在圖像轉(zhuǎn)換單元621進(jìn)行的圖像轉(zhuǎn)換處理,所以放大率確定單元642確定一個(gè)較當(dāng)前放大率低的放大率作為控制單元612的放大率。同樣,例如如果從活動(dòng)性計(jì)算單元641得到的活動(dòng)性很小,做出的評(píng)估為一屏的第一圖像信號(hào)不適合于在圖像轉(zhuǎn)換單元621進(jìn)行圖像轉(zhuǎn)換處理,所以放大率確定單元642確定一個(gè)較當(dāng)前放大率高的放大率作為控制單元612的放大率。另外,如果從活動(dòng)性計(jì)算單元641得到的活動(dòng)性既不大也不小,做出的評(píng)估為一屏的第一圖像信號(hào)適合于在圖像轉(zhuǎn)換單元621進(jìn)行圖像轉(zhuǎn)換處理,所以放大率確定單元642確定當(dāng)前放大率作為控制單元612的放大率。
放大率確定單元642把所確定的放大率所指示的放大信息提供給傳感器單元601(其控制單元612)做為控制信號(hào),同樣把放大信息和指示一屏的區(qū)域信息相關(guān)聯(lián),該區(qū)域由放大率信息所指示的放大率進(jìn)行放大操作的傳感器單元601的像素組成,且該關(guān)聯(lián)的放大率信息和區(qū)域信息被提供給了圖像校正單元622(圖47)。
這種情況下,同樣,在圖像轉(zhuǎn)換單元621具有圖像轉(zhuǎn)換處理的合適級(jí)別的圖像信號(hào)被從傳感器單元601輸出,而后,具有更高圖像質(zhì)量的第二圖像信號(hào)就能從圖像轉(zhuǎn)換處理獲得了。
接下來,圖53闡明了圖47所述的級(jí)別評(píng)估單元623的第三配置安排。在圖53中,級(jí)別評(píng)估單元由比較單元651和放大率確定單元652配置。
經(jīng)過A/D轉(zhuǎn)換單元603和信號(hào)調(diào)整單元602,從傳感器單元601提供給信號(hào)處理單元604的第一圖像信號(hào)被提供給比較單元651。比較單元651把作為評(píng)估增量的一屏的第一圖像信號(hào)和預(yù)定的閾值進(jìn)行比較,并把比較結(jié)果提供給放大率確定單元652。和第一圖像信號(hào)進(jìn)行比較的閾值的例子是第一閾值,它是為圖像轉(zhuǎn)換單元621的圖像轉(zhuǎn)換處理目的的一個(gè)較小的值,第二閾值是對(duì)圖像轉(zhuǎn)換處理來說的較大的值。
同樣,在比較單元651中與第一和第二閾值進(jìn)行比較的第一圖像信號(hào)的例子包括,作為評(píng)估增量的一屏的任意第一圖像信號(hào),在一屏上擁有最大數(shù)量的像素?cái)?shù)目的第一圖像信號(hào),第一圖像信號(hào)在一屏上的平均值,等等。
根據(jù)與比較單元651提供的閾值進(jìn)行比較的結(jié)果,放大率確定單元652評(píng)估作為評(píng)估增量的一屏第一圖像信號(hào),且確定與評(píng)估相對(duì)應(yīng)的放大率作為與一屏圖像信號(hào)相對(duì)應(yīng)的像素的控制單元612的放大率。
也就是說,如果比較單元651的比較結(jié)果指示第一圖像信號(hào)等于和低于第一閾值,放大率確定單元652做出評(píng)估為一屏的第一圖像信號(hào)不適合圖像轉(zhuǎn)換單元621進(jìn)行圖像轉(zhuǎn)換處理,并基于評(píng)估確定一個(gè)比當(dāng)前值要高的放大率值做為控制單元612的放大率。同樣,如果比較單元651的比較結(jié)果指示第一圖像信號(hào)等于和高于第二閾值,放大率確定單元652做出評(píng)估為一屏的第一圖像信號(hào)不適合圖像轉(zhuǎn)換單元621進(jìn)行圖像轉(zhuǎn)換處理,并基于評(píng)估確定一個(gè)比當(dāng)前值要低的放大率值做為控制單元612的放大率。另外,如果比較單元651的比較結(jié)果指示第一圖像信號(hào)在第一閾值和第二閾值的范圍內(nèi),放大率確定單元652做出評(píng)估為一屏的第一圖像信號(hào)適合圖像轉(zhuǎn)換單元621進(jìn)行圖像轉(zhuǎn)換處理,并基于評(píng)估確定當(dāng)前值做為控制單元612的放大率。
然后放大率確定單元652把指示所確定的放大率的放大率信息提供給傳感器單元601(其控制單元612)做為控制信號(hào),同樣,把放大率信息和指示一屏的區(qū)域信息相關(guān)聯(lián),該區(qū)域由放大率由放大率信息指示的放大率進(jìn)行放大操作的傳感器單元601的像素所組成,且相關(guān)的放大率信息和區(qū)域信息被提供給圖像校正單元622(圖47)。
這種情況下,同樣,圖像轉(zhuǎn)換單元621的圖像轉(zhuǎn)換處理的合適級(jí)別的圖像信號(hào)從傳感器單元601被輸出,而后,具有更高圖像質(zhì)量的第二圖像信號(hào)能從圖像轉(zhuǎn)換處理獲得。
注意,可以作一種安排,其中在單像素增量中執(zhí)行第一圖像信號(hào)和閾值的比較,根據(jù)比較結(jié)果,確定每個(gè)像素的放大率。
圖47中圖像轉(zhuǎn)換單元621的配置與圖6中圖像轉(zhuǎn)換單元21的配置一樣,相應(yīng)地,其描述將省略(見圖6至圖10,和相應(yīng)的描述)。同樣,可以對(duì)圖像拾取設(shè)備作一種安排,其中如圖27所示的安排一樣提供操作單元185,以便使圖47中的圖像轉(zhuǎn)換單元621的配置和圖29(見圖29至圖36,和相應(yīng)的描述)中的圖像轉(zhuǎn)換單元431的配置相同。如果采用了這種安排的情況下,信號(hào)處理單元604提供給傳感器單元601做為控制信號(hào)的放大率信息所指示的放大率可以根據(jù)參數(shù)校正。即,放大率可以被校正使得與參數(shù)相對(duì)應(yīng)的分辨率越高,放大率的值越大。
同樣,前面的描述已經(jīng)參考一個(gè)例子進(jìn)行了描述,其中,在圖像轉(zhuǎn)換處理中,一幀或場(chǎng)的整體由第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào),但其中可以作一種安排,例如,一幀或場(chǎng)的部分區(qū)域由第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào),如圖54所示。
前面所述的信號(hào)處理單元604的一系列處理可由專門的硬件或軟件實(shí)施。如果以軟件來實(shí)施這系列處理,參考圖17,如前所述,組成軟件的程序被安裝在一種微型計(jì)算機(jī)上,一種通用計(jì)算機(jī)中,等等。
第五具體實(shí)施例下面將描述本發(fā)明的第五具體實(shí)施例。圖55闡明了一種應(yīng)用本發(fā)明的傳感器系統(tǒng)的實(shí)施例。應(yīng)該注意,在此術(shù)語(yǔ)“系統(tǒng)”用以指代多個(gè)設(shè)備的一種邏輯配置,和組件設(shè)備是否在一個(gè)單一的實(shí)例中無關(guān)。
所述傳感器系統(tǒng)配置有CMOS成像器801和DRC(數(shù)字現(xiàn)實(shí)創(chuàng)建)電路802,和物體(物體光)的感測(cè)燈,并輸出與物體相對(duì)應(yīng)的高圖像質(zhì)量的圖像信號(hào)。也就是說,CMOS成像器801接收物體光,并向DRC電路802提供與所接收的光量相對(duì)應(yīng)的電信號(hào)形式的圖像信號(hào)。
DRC電路802對(duì)CMOS成像器801提供的圖像信號(hào)執(zhí)行信號(hào)處理,并獲得并輸出具有更高圖像質(zhì)量的圖像信號(hào)(此后視情況稱為“高圖像質(zhì)量圖像信號(hào)”)。另外,DRC電路802基于CMOS成像器801提供的圖像信號(hào)來控制CMOS成像器801。相應(yīng)地,控制CMOS成像器801,以便于輸出適于DRC電路802進(jìn)行信號(hào)處理的圖像信號(hào)。
相應(yīng)地,對(duì)于圖55中的傳感器系統(tǒng),CMOS成像器801輸出適于DRC電路802進(jìn)行信號(hào)處理的圖像信號(hào),所以,DRC電路802能通過在這些圖像信號(hào)上進(jìn)行信號(hào)處理來獲得高圖像質(zhì)量的圖像信號(hào)。
圖56闡明了一種圖55所示的DRC電路802的第一配置實(shí)例。在圖56中,DRC電路802包括DRC單元811,用于對(duì)CMOS成像器801輸出的圖像信號(hào)進(jìn)行信號(hào)處理,控制單元812,用于根據(jù)CMOS成像器801提供的圖像信號(hào)控制CMOS成像器801。
DRC單元811進(jìn)行多種信號(hào)處理,其中的一個(gè)例子是轉(zhuǎn)換圖像信號(hào)從第一圖像信號(hào)到第二圖像信號(hào)的圖像轉(zhuǎn)換處理。通過像前面所述的實(shí)現(xiàn)圖像轉(zhuǎn)換處理相同的配置,可以實(shí)現(xiàn)所述圖像轉(zhuǎn)換處理,然而,此時(shí),包括對(duì)CMOS成像器108的控制的應(yīng)用CMOS成像器108的實(shí)例將被描述,應(yīng)該注意的是,其中的部分描述和前面的描述相同。
現(xiàn)在,例如,如果我們假設(shè)第一圖像信號(hào)為低分辨率圖像信號(hào),且第二圖像信號(hào)為高分辨率圖像信號(hào),圖像轉(zhuǎn)換處理可以被說成是對(duì)分辨率提高處理。同樣,例如,如果我們假設(shè)第一圖像信號(hào)為低S/N(信號(hào)/噪音)圖像信號(hào),且第二圖像信號(hào)為高S/N圖像信號(hào),圖像轉(zhuǎn)換處理可以被說成是噪音去除處理。另外,例如,如果我們假設(shè)第一圖像信號(hào)為預(yù)定大小的圖像信號(hào),且第二圖像信號(hào)比第一圖像信號(hào)的信號(hào)要更大或者更小,圖像轉(zhuǎn)換處理可以被說成是一種圖像縮放(擴(kuò)大或縮小)處理。相應(yīng)地,通過圖像轉(zhuǎn)換處理,可以實(shí)現(xiàn)不同種類的處理,這取決于第一和第二圖像信號(hào)是如何定義的。
DRC單元811將CMOS成像器108輸出的圖像信號(hào)做為第一圖像信號(hào),并把第一圖像信號(hào)轉(zhuǎn)換成高圖像質(zhì)量圖像信號(hào)作為第二圖像信號(hào)。
現(xiàn)在,在DRC單元811,從CMOS成像器108提供的圖像信號(hào)被做為第一圖像信號(hào)提供給預(yù)測(cè)抽頭提取單元821和分類抽頭提取單元822。預(yù)測(cè)抽頭提取單元821順序的將組成第二圖像信號(hào)的像素做為所關(guān)心的像素,另外,提取一些用于構(gòu)成第一圖像信號(hào)的像素(或更恰當(dāng)?shù)卣f,其像素值)做為預(yù)測(cè)抽頭用于預(yù)測(cè)所關(guān)心像素的像素值。
更具體來說,預(yù)測(cè)抽頭提取單元821從第一圖像信號(hào)提取與所關(guān)心的像素相對(duì)應(yīng)的第一圖像信號(hào)中的某一像素(例如,第一圖像信號(hào)中的最接近所關(guān)心的空間序列和時(shí)間序列像素的像素)的鄰近空間序列或時(shí)間序列的多個(gè)像素,作為預(yù)測(cè)抽頭。
分類抽頭提取單元822提取組成第一圖像信號(hào)的一些像素作為分類抽頭,用以執(zhí)行類分類從而將所關(guān)心的像素分到多個(gè)類中的一個(gè)。
現(xiàn)在,預(yù)測(cè)抽頭和分類抽頭可以具有相同的抽頭結(jié)構(gòu),或具有不同的抽頭結(jié)構(gòu)。同樣需要注意的是,分類抽頭提取單元822與圖6中的特征提取單元122相對(duì)應(yīng)。
預(yù)測(cè)抽頭提取單元821獲得的預(yù)測(cè)抽頭被提供給預(yù)測(cè)計(jì)算單元825,且分類抽頭提取單元822獲得的分類抽頭被提供給了分類代碼生成單元823。
基于組成來自分類抽頭提取單元822的分類抽頭的像素的級(jí)別分布,分類代碼生成單元823把所關(guān)心的像素分到到多個(gè)類中的一個(gè),并生成與作為其結(jié)果的類相對(duì)應(yīng)的分類代碼,然后該分類代碼被提供給因數(shù)生成單元824。應(yīng)該注意,分類代碼生成單元823對(duì)應(yīng)于圖6中的類分類單元123。
如前所述,類分類可以通過采用例如ADRC或相似方法進(jìn)行。通過使用ADRC的方法,組成分類抽頭的像素的像素值經(jīng)受ADRC處理,且所關(guān)心的像素的分類遵循合成ARC碼而確定。
此刻,對(duì)于K位ADRC而言,例如檢測(cè)構(gòu)成表示分類抽頭的特征的矢量值的分量的最大值MAX和最小值MIN,并且使用作為一組的局部動(dòng)態(tài)范圍的DR=MAX-MIN,根據(jù)這個(gè)動(dòng)態(tài)范圍DR將構(gòu)成分類抽頭的特征的分量再次量化成K位。也就是說,最小值MIN被從構(gòu)成分類抽頭的特征的分量中減去,并且被減的值除(被量化)DR/2K。在其中根據(jù)預(yù)定順序排列構(gòu)成分類抽頭的特征的K位分量的一位串被作為ADRC代碼輸出。因此,在表示分類抽頭的特征的矢量值經(jīng)受1位ADRC處理的情況下,構(gòu)成分類抽頭的特征的每個(gè)分量除以最大值MAX和最小值MIN的平均值(舍入到小數(shù)),借此每個(gè)分量變?yōu)橐粋€(gè)位(即,二進(jìn)位化)。其中以預(yù)定順序排列1位分量的位串被作為ADRC代碼輸出。類分類單元123輸出例如通過對(duì)分類抽頭的特征進(jìn)行ADRC處理所獲得的ADRC代碼作為分類代碼。
現(xiàn)在,組成分類抽頭的像素的級(jí)別分布模式,例如,可以被當(dāng)作分類代碼輸出到分類代碼生成單元823,不做任何改變。但是,這種情況下,如果分類抽頭包括,N個(gè)像素的像素值,并且為每個(gè)像素的像素值指派K位,由分類代碼生成單元823輸出的分類代碼的個(gè)數(shù)應(yīng)該為(2N)K,一個(gè)與像素的像素值位數(shù)K的數(shù)值成指數(shù)地成比例的非常大的數(shù)。
相應(yīng)地,在分類代碼生成單元823上,類分類更適宜通過前面所述的ADRC處理,矢量量化或相似的方法來壓縮分類抽頭信息的數(shù)量來執(zhí)行。
現(xiàn)在,在分類抽頭提取單元822處分類抽頭可以從CMOS成像器801輸出的圖像信號(hào)獲得,從而分類代碼是從分類代碼生成單元823得到的。相應(yīng)地,可以說,分類抽頭提取單元822和分類代碼生成單元823組成了執(zhí)行類分類的類分類單元。
因數(shù)生成單元824為每個(gè)通過學(xué)習(xí)獲得的類存儲(chǔ)抽頭因數(shù),并從存儲(chǔ)的抽頭因數(shù)中提供(輸出)抽頭因數(shù)給預(yù)測(cè)計(jì)算單元823,該抽頭因數(shù)存儲(chǔ)在與來自分類代碼生成單元823的分類代碼相對(duì)應(yīng)的地址中(具有從分類代碼生成單元823提供的分類代碼所表示的類的抽頭抽頭因數(shù))?,F(xiàn)在,抽頭因數(shù)等于在數(shù)字濾波器中的所謂抽頭中的輸入數(shù)據(jù)相乘的因數(shù)。
預(yù)測(cè)計(jì)算單元825獲得預(yù)測(cè)抽頭提取單元821輸出的預(yù)測(cè)抽頭,和因數(shù)生成單元824輸出的抽頭因數(shù),并采用預(yù)測(cè)抽頭和抽頭因數(shù),為獲得所關(guān)心像素的真值的預(yù)測(cè)值執(zhí)行預(yù)定的預(yù)測(cè)計(jì)算。相應(yīng)地,預(yù)測(cè)計(jì)算單元825輸出所關(guān)心像素的像素值的預(yù)測(cè)值,即,組成第二圖像信號(hào)的像素的像素值。
根據(jù)從CMOS成像器801輸出的圖像信號(hào)的級(jí)別分布,控制單元812控制CMOS成像器801。更確切地,從CMOS成像器801輸出的圖像信號(hào)中提取的分類抽頭的分類代碼從分類代碼生成單元823提供給控制單元812。在控制單元812,DL(延遲線)826臨時(shí)存儲(chǔ)從分類代碼生成單元823提供的分類代碼,并把所存儲(chǔ)的分類代碼提供給移動(dòng)量控制單元827。移動(dòng)量控制單元827根據(jù)從DL 826提供的分類代碼來控制CMOS成像器801。
現(xiàn)在,如前所述,分類代碼生成單元823通過使分類代碼經(jīng)受ADRC處理來產(chǎn)生分類代碼。該分類代碼是一個(gè)再次量化值的字符串,其中組成從CMOS成像器801輸出的圖像信號(hào)中提取的分類抽頭的多個(gè)像素的像素值已被再次量化,相應(yīng)地,可以說代表了組成分類抽頭的多個(gè)像素,即,從CMOS成像器801輸出的圖像信號(hào)的級(jí)別分布。相應(yīng)地,可以說,根據(jù)分類代碼控制CMOS成像器801的移動(dòng)量控制單元827根據(jù)CMOS成像器801已輸出的圖像信號(hào)的級(jí)別分布控制CMOS成像器801。
接下來,圖57A和57B中分別地闡明了預(yù)測(cè)抽頭和分類抽頭的抽頭結(jié)構(gòu)的實(shí)例。圖57A闡明了一種分類抽頭的抽頭結(jié)構(gòu)的實(shí)例。圖57A中所示的例子具有一種配置了九個(gè)像素的分類抽頭。就是說,采用圖57A中的例子,為與CMOS成像器801輸出的圖像信號(hào)中的所關(guān)心的像素相對(duì)應(yīng)的像素配置一種十字型的分類抽頭,且在其上,下,左和右方向都有兩個(gè)相鄰的像素。
圖57B闡明了一種預(yù)測(cè)抽頭的抽頭結(jié)構(gòu)的例子。圖57B中所示的例子具有一種配置了13個(gè)像素的預(yù)測(cè)抽頭。就是說,采用圖57B所示的例子,為與CMOS成像器801輸出的圖像信號(hào)中的所關(guān)心的像素相對(duì)應(yīng)的像素配置一種菱形的分類抽頭,且在其上,下,左和右的方向都有兩個(gè)像素,在四個(gè)對(duì)角線方向各有一個(gè)像素。
圖56所示的預(yù)測(cè)計(jì)算單元825的預(yù)測(cè)計(jì)算和圖6所示的計(jì)算單元125的處理過程一樣,具體描述在此略去,因?yàn)轭A(yù)測(cè)計(jì)算中使用的抽頭因數(shù)的學(xué)習(xí)可以采用和存儲(chǔ)在圖7中的因數(shù)存儲(chǔ)器181中的抽頭因數(shù)的學(xué)習(xí)方法同樣的方式(見圖8至圖10)。
相應(yīng)學(xué)習(xí)設(shè)備的配置和圖8所示的學(xué)習(xí)設(shè)備的配置一樣,然而,應(yīng)該注意,特征提取單元136采用和分類抽頭單元822的抽頭配置一樣的方式配置分類抽頭,它被提供給了類分類單元137。然后類分類單元137產(chǎn)生和分類代碼生成單元823一樣的分類代碼。
接下來,圖58A至圖58C闡明了一種圖55所示的傳感器系統(tǒng)的配置例子。圖58A是圖55的傳感器系統(tǒng)的一種平面視圖。
傳感器系統(tǒng)通過半導(dǎo)體的處理被配置在一種單個(gè)的芯片上。在圖58A中,CMOS成像器801被構(gòu)造在一個(gè)芯片的右上部分,DRC電路802和其它電路被配置在其他部分。
如圖58B所示,CMOS成像器801具有大量在晶格布局中排列的所謂單元,這些單元等同于像素。CMOS成像器801的每個(gè)像素具有光電二極管851,聚光鏡852,和MEMS單元853,如圖58C所示。
光電二極管851接收入射光,并產(chǎn)生并輸出與所接收光量相對(duì)應(yīng)的電信號(hào)。光電二極管851輸出的每個(gè)電信號(hào)都是單個(gè)像素的像素值。
聚光鏡852是一種所謂的片上透鏡,并被放置在面對(duì)光電二極管851的感光面的位置。聚光鏡852聚集光束,并把聚集的光束發(fā)射到光電二極管851上。在聚光鏡852上聚集光束并發(fā)射到光電二極管851使在光電二極管852上的光束的使用效率可以被提高。
MEMS單元853是一種配置有MEMS技術(shù)的可移動(dòng)的部分,它容納著聚光鏡852。驅(qū)動(dòng)MEMS單元853將聚光鏡852的位置移動(dòng)至光電二極管的感光面的位置。
注意,雖然CMOS成像器801的每個(gè)像素都具有像放大器等一樣的電路,但說明中略去了這些。
圖56中所示的控制單元812的移動(dòng)量控制單元827通過驅(qū)動(dòng)MEMS單元853來控制聚光鏡852的位置。注意到這些,采用移動(dòng)量控制單元827的聚光鏡852的位置控制將參考圖59A至圖60B進(jìn)行描述。
現(xiàn)在,如圖58A和59B所示,通過驅(qū)動(dòng)MEMS單元853,聚光鏡852的位置可以移動(dòng)到接近光電二極管851的位置和遠(yuǎn)離光電二極管851的位置,即,兩個(gè)位置。另外,如圖59A所示,如果聚光鏡852的位置遠(yuǎn)離光電二極管851,將從聚光鏡852向光電二極管851發(fā)射窄范圍的物體光。同樣,如圖59B所示,如果聚光鏡852的位置接近光電二極管851,將從聚光鏡852向光電二極管851發(fā)射寬范圍的物體光。同樣,聚光鏡852的位置和從聚光鏡852發(fā)射到光電二極管851的物體光的范圍的關(guān)系可能與前面所述內(nèi)容是相反的。
從聚光鏡852射出的物體光被光電二極管851接收,與所接收的光量的整數(shù)值近似成比例的電信號(hào)作為像素值輸出。從而,所接收的光量在光電二極管851被整合并作為像素值,所以物體光的微小改變?cè)谙袼刂瞪媳粊G棄(即,量化)。在像素值上被丟棄的物體光的微小改變將視情況稱為“整合效應(yīng)”。光電二極管851接收的物體光范圍越寬,整合效應(yīng)越大,這表示物體光中的更多的微小變化被丟棄了,從而獲得了具有低分辨率的圖像(具有一些移動(dòng)模糊的圖像)。
如果與物體光相對(duì)應(yīng)的圖像是一種在級(jí)別上(平面部分)具有很小變化的平面圖像,噪音變的顯著。相應(yīng)地,這種情況下,由于整合效應(yīng),采用光電二極管851在一個(gè)較大面積上接收物體光可以使從光電二極管851輸出的像素值的圖像中包含的噪音減少。
同樣,如果與物體光相對(duì)應(yīng)的圖像是在級(jí)別上(非平面部分)變化很大的圖像,由于整合效應(yīng),采用光電二極管851在一個(gè)較大面積上接收物體光將減輕較大的級(jí)別變化并降低分辨率。相應(yīng)地,這種情況下,采用光電二極管851在一個(gè)較窄面積上接收物體光可以使從光電二極管851輸出的像素值的圖像中的物體光的較大級(jí)別變化得到相對(duì)真實(shí)的反映。
另一方面,在DRC單元811執(zhí)行的信號(hào)處理中(圖像轉(zhuǎn)換處理),由光電二極管851輸出的像素值配置預(yù)測(cè)抽頭,且所關(guān)心的像素(或其像素值)通過使用該預(yù)測(cè)抽頭的計(jì)算被預(yù)測(cè)出來。相應(yīng)地,如果從平滑圖像中配置(提取)的預(yù)測(cè)抽頭中的像素中包含有噪音,則所關(guān)心像素的預(yù)測(cè)準(zhǔn)確率下降了。同樣,如果預(yù)測(cè)抽頭中的像素原本已經(jīng)在級(jí)別上有了很大變化,但已被作為級(jí)別變化減小的圖像像素,則所關(guān)心像素的預(yù)測(cè)準(zhǔn)確率會(huì)下降。
也就是說,對(duì)于平滑(平面)圖像,為了執(zhí)行合適的信號(hào)處理以便所關(guān)心像素可以以高準(zhǔn)確率和從DRC單元811獲得的高圖像質(zhì)量圖像信號(hào)進(jìn)行預(yù)測(cè),預(yù)測(cè)抽頭需要采用具有很少噪音的像素進(jìn)行配置。同樣,對(duì)于級(jí)別上具有較大變化的圖像,預(yù)測(cè)抽頭需要由能如實(shí)反映級(jí)別變化的像素進(jìn)行配置。
如前所述,讓光電二極管851在一種較寬的范圍接收物體光可以減少光電二極管851輸出的像素值的圖像中所包含的噪音。同樣,讓光電二極管851在一種較窄的范圍接收物體光可以使物體光中的較大的級(jí)別變化在光電二極管851輸出的像素值的圖像中被如實(shí)反映。
相應(yīng)地,為得到平滑的圖像光電二極管851在一種較寬范圍接收物體光,且對(duì)于物體光的級(jí)別變化較大的圖像,光電二極管851在較窄范圍接收物體光,從而DRC單元811可以以高的準(zhǔn)確率預(yù)測(cè)所關(guān)心的像素,從而合適的圖像處理可以被實(shí)施以便獲得具有更高圖像質(zhì)量的圖像信號(hào)。
相應(yīng)地,移動(dòng)量控制單元827根據(jù)經(jīng)由DL826從分類代碼生成單元823提供的分類代碼,控制聚光鏡852的位置,如下。
圖60A和60B闡明了從分類代碼生成單元823輸出的分類代碼的例子。圖60A闡明了通過在圖57A所示的十字型分類抽頭上執(zhí)行1位ADRC處理而獲得的分類代碼。同樣,圖60B闡明了組成圖57A中所示的分類抽頭的九個(gè)像素的像素值P1至P9,以從像素P1至P9的順序排列成一個(gè)單行。
對(duì)于1位ADRC處理,組成分類抽頭的像素的像素值由平均值進(jìn)行再次量化,該平均值為組成分類抽頭的像素的最大值MAX(最大像素值)和其最小值MIN(最小像素值)的平均值。也就是說,小于最大MAX和最小值MIN的平均值的像素值變?yōu)?,等于或大于此平均值的像素值變?yōu)?。
相應(yīng)地,對(duì)于從圖像的平滑部分提取的分類抽頭,組成分類抽頭的像素P1至P9的像素值的變化是很小的,所以在分類代碼中相鄰的位幾乎沒有位倒置,例如圖60A中的“000000001”。
另一方面,對(duì)于從具有較大變化的圖像的一部分提取的分類抽頭,組成分類抽頭的像素P1至P9的像素值的變化是很較大的,所以分類代碼由相鄰的位的位倒置的次數(shù)獲得,例如圖60B中的“1011010101”。
相應(yīng)地,對(duì)于分類代碼,如果相鄰位的位倒置的次數(shù)較少,可以識(shí)別該圖像為為平滑圖像,如果相鄰位的位倒置的次數(shù)較大則可以識(shí)別級(jí)別上有較大變化。
相應(yīng)地,如果分類代碼中的相鄰位的位倒置的次數(shù)較小,由光電二極管851獲得的像素值的圖像是平滑的,所以移動(dòng)量控制單元827控制聚光鏡852的位置在圖59B所示的接近光電二極管851的位置上,以便光電二極管851在一個(gè)較寬范圍接收物體光。同樣,如果分類代碼中的相鄰位的位倒置的次數(shù)較大,則光電二極管851將獲得的像素值的圖像具有較大的級(jí)別變化,所以移動(dòng)量控制單元827控制聚光鏡852的位置在圖59A所示的遠(yuǎn)離光電二極管851的位置上,以便光電二極管851在一個(gè)較窄范圍接收物體光。
接下來,圖56中所示的DRC電路802的信號(hào)處理過程將參考圖61進(jìn)行闡述。這里需要注意,DRC電路811把第N+1個(gè)幀(或場(chǎng))中的一種像素做為所關(guān)心的像素,并預(yù)測(cè)該所關(guān)心像素。
這種情況下,在從CMOS成像器801輸出的第N個(gè)幀的圖像信號(hào)上,在步驟S511中分類抽頭提取單元822以CMOS成像器801輸出的第N幀中的所關(guān)心像素的位置距離最近的位置上的像素為中心以十字型提取像素做為所關(guān)心的像素的分類抽頭(圖57A),并把提取的像素提供給分類代碼生成單元823,且流程進(jìn)入步驟S512。這就是說,在此,第N+1幀的圖像信號(hào)的所關(guān)心像素的分類抽頭是從第N個(gè)幀的圖像信號(hào)中提取的,就是前面的一幀。
在步驟S512中,分類代碼生成單元823通過對(duì)由分類抽頭提取單元822提供的分類抽頭執(zhí)行1位ADRC處理來獲得所關(guān)心像素的分類代碼,并提供給因數(shù)生成單元824,同時(shí)經(jīng)由DL 826提供給移動(dòng)量控制單元827,且流程進(jìn)入步驟S513。
在步驟S513中,與經(jīng)由DL 826提供的分類代碼相對(duì)應(yīng),移動(dòng)量控制單元827為控制聚光鏡852的位置產(chǎn)生控制信息,且流程進(jìn)入步驟S514。在步驟S514中,移動(dòng)量控制單元827遵循在在先步驟S513中產(chǎn)生的控制信息來控制在組成所關(guān)心像素的預(yù)測(cè)抽頭的像素的MEMS單元853,從而把像素的聚光鏡852移動(dòng)到接近光電二極管851的位置或遠(yuǎn)離光電二極管851的位置。
接下來,在第N+1幀的成像定時(shí)處,當(dāng)?shù)贜+1個(gè)幀的圖像信號(hào)在CMOS成像器801成像并輸出時(shí),流程從步驟S514進(jìn)行至步驟S515,并且預(yù)測(cè)抽頭提取單元821以CMOS成像器801輸出的第N+1個(gè)幀中的所關(guān)心像素的位置距離最近的位置上的像素為中心以菱形提取像素做為所關(guān)心像素的預(yù)測(cè)抽頭(圖57B),并把提取的像素提供給預(yù)測(cè)計(jì)算單元825,且流程進(jìn)入步驟S516。
就是說,在步驟S514中,做為所關(guān)心像素的預(yù)測(cè)抽頭的像素的MEMS單元853被控制了,由此該像素的聚光鏡852的位置也被控制。相應(yīng)地,在步驟S515中,所關(guān)心像素的預(yù)測(cè)抽頭包括從像素的光電二極管851輸出的像素值,據(jù)此方法來控制聚光鏡852的位置。
在步驟S516中,因數(shù)生成單元824輸出由分類代碼生成單元823提供的所關(guān)心像素的分類代碼指示的抽頭因數(shù)。也就是說,通過前面所述的學(xué)習(xí)設(shè)備中的學(xué)習(xí),因數(shù)生成單元824為每個(gè)預(yù)先獲得的類存儲(chǔ)抽頭因數(shù),并相應(yīng)地為每個(gè)類從抽頭因數(shù)中讀取出由所關(guān)心的像素的分類代碼指示的類的抽頭因數(shù)。并輸出抽頭因數(shù)給預(yù)測(cè)計(jì)算單元825。
然后流程進(jìn)入步驟S516至步驟S517,采用預(yù)測(cè)抽頭提取單元821提供的預(yù)測(cè)抽頭和因數(shù)生成單元824提供的抽頭因數(shù),預(yù)測(cè)計(jì)算單元825執(zhí)行上面表達(dá)式(1)的計(jì)算,從而獲得了所關(guān)心的像素值,且處理過程結(jié)束。
從而,上面所述的處理將第N+1幀中的每個(gè)像素當(dāng)作所關(guān)心的像素來順序執(zhí)行,更進(jìn)一步,關(guān)于第N+2個(gè)幀也是這樣,等等。
注意,前面所述的安排包括從第N幀提取的所關(guān)心的像素的分類抽頭,第N幀是第N+1前面的一幀,但是所關(guān)心的像素的分類抽頭可能被布置從第N+1幀的圖像信號(hào)中提取,該幀為所關(guān)心的像素的幀。
同樣,在第N+1個(gè)幀中存在某些情況,其中在某一像素#A是所關(guān)心的像素的情況下以及在接近該像素的像素#B是所關(guān)心的像素情況下,CMOS成像器801的同一像素的聚光鏡852被控制到不同的位置。這可以通過當(dāng)像素#A是所關(guān)心的像素的情況下在像素的聚光鏡852的位置上和當(dāng)像素#B是所關(guān)心的像素的情況下在像素的聚光鏡852的位置上以時(shí)間序列在CMOS成像器801處對(duì)第N+1幀的圖像信號(hào)進(jìn)行成像來解決。
另外,在此所述的安排包括,通過在做為所關(guān)心的像素的預(yù)測(cè)抽頭的像素上控制MEMS單元853來控制的聚光鏡852的位置,但是也可以作出一種安排其中,例如,只控制有所關(guān)心的像素的最接近的像素的聚光鏡852的位置,或者控制在所關(guān)心的像素的某一范圍中的全部像素的聚光鏡852的位置,等等。
接下來,圖61中的步驟S513中的處理過程(為生成與分類代碼相對(duì)應(yīng)的控制信息的控制信息生成處理)將被詳細(xì)描述,參考圖62中的流程圖。
首先,在步驟S521中,移動(dòng)量控制單元827計(jì)算所關(guān)心的像素的分類代碼中的在相鄰位的位倒置的次數(shù),且流程進(jìn)入步驟S522。
如果分類代碼是,例如,如圖60A所示的“000000001”,這里只有在第8和第9位存在由0到1的倒置,所以計(jì)算得到的位倒置的次數(shù)是1。同樣,如果分類代碼是,例如,圖60B所示的“101101010”,在第1和第2位存在從1到0的倒置,在第2和第3位存在從0到1的倒置,在第4和第5位存在從1到0的倒置,在第5和第6位存在從0到1的倒置,在第6和第7位存在從1到0的倒置,在第7和第8位存在從0到1的倒置,且在第8和第9位存在從1到0的倒置,所以計(jì)算得到的位倒置的次數(shù)是7。
在步驟S522中,移動(dòng)量控制單元827判斷所關(guān)心的像素的分類代碼中的位倒置的次數(shù)是否大于一預(yù)定的閾值。如果分類代碼是上面情況一樣的9位(或如果組成分類抽頭的像素的個(gè)數(shù)是九個(gè)像素),采用的預(yù)定閾值可以是3,等等,例如。
如果所關(guān)心的像素的分類代碼中的位倒置的次數(shù)被確定為大于預(yù)定的閾值,即,比如圖60B中所示,如果分類代碼是“101101010”,所以位倒置的次數(shù)為7,這比預(yù)定的閾值3大,流程進(jìn)入步驟S523,且移動(dòng)量控制單元827把這個(gè)結(jié)果理解為接近由CMOS成像器801成像的圖像的所關(guān)心的像素的位置的級(jí)別變化是較大的,且相應(yīng)地產(chǎn)生控制信息將聚光鏡852的位置控制在遠(yuǎn)離光電二極管851的位置上,即,一個(gè)窄范圍的物體光射入光電二極管851的位置上,且流程返回。
如果所關(guān)心的像素的分類代碼中的位倒置的次數(shù)被確定為不大于預(yù)定的閾值,即,如圖60B所示,如果分類代碼是“000000001”,所以位倒置的次數(shù)為1,這不大于預(yù)定的閾值3,流程進(jìn)入步驟S524,且移動(dòng)量控制單元827把這個(gè)結(jié)果理解為接近由CMOS成像器801成像的圖像的所關(guān)心的像素的位置級(jí)別是平滑的,且相應(yīng)地產(chǎn)生控制信息將聚光鏡852的位置控制在接近光電二極管851的位置上,即,一個(gè)寬范圍的物體光射入光電二極管851的位置上,且流程返回。
然而根據(jù)另一種安排,這里已進(jìn)行了描述,在這個(gè)安排中從分類抽頭獲得分類代碼被用作指示接近由CMOS成像器801成像的圖像的所關(guān)心的像素的位置的級(jí)別分布的信息,除了采用分類抽頭的安排,其他的安排也可以被制定,比如一種使用接近預(yù)測(cè)抽頭或一種類似所關(guān)心的像素的多個(gè)任意像素的安排,做為指示接近所關(guān)心的像素的位置的級(jí)別分布的信息。
同樣,在上述情況中,通過控制MEMS單元853,對(duì)于聚光鏡852的控制被確定在兩個(gè)位置中的一個(gè)上,即,一種接近光電二極管851的位置和一種遠(yuǎn)離它的位置,但聚光鏡852的位置可以被控制在三個(gè)或更多的位置上。
圖63A至63C闡明了一種安排,其中聚光鏡852的位置被控制在三個(gè)位置中的一個(gè)位置上,該三個(gè)位置是距光電二極管851有一定距離并被當(dāng)作標(biāo)準(zhǔn)位置的位置,一個(gè)接近光電二極管851的位置,一個(gè)遠(yuǎn)離光電二極管851的位置。
應(yīng)該理解,同樣在這個(gè)安排中,聚光鏡852距光電二極管851的位置越遠(yuǎn),從聚光鏡852射向光電二極管851的物體光的范圍就越窄,且聚光鏡852距光電二極管851的位置越近,從聚光鏡852射向光電二極管851的物體光的范圍就越寬。
如圖63A至63C所示,當(dāng)控制聚光鏡852的位置到三個(gè)位置中的標(biāo)準(zhǔn)位置上,接近光電二極管851的位置和遠(yuǎn)離光電二極管851的位置時(shí),移動(dòng)量控制單元827仍然控制與分類代碼相對(duì)應(yīng)的聚光鏡852的位置。
就是說,如果分類代碼中的位倒置的次數(shù)較小,且相應(yīng)地,從CMOS成像器801輸出的圖像信號(hào)中的所關(guān)心的像素的位置的周圍區(qū)域是平滑部分,移動(dòng)量控制單元827控制聚光鏡852的位置在接近光電二極管851的位置上,如圖63C所示,以便在光電二極管851上投射一種寬范圍的物體光。同樣,如果分類代碼中的位倒置的次數(shù)較大,從CMOS成像器801輸出的圖像信號(hào)中的所關(guān)心的像素的位置的周圍區(qū)域的級(jí)別變化較大,移動(dòng)量控制單元827控制聚光鏡852的位置在原理光電二極管851的位置上,如圖63A所示,以便在光電二極管851上投射一種窄范圍的物體光。而且,如果分類代碼中的位倒置的次數(shù)既不大又不小,從CMOS成像器801輸出的圖像信號(hào)中的所關(guān)心的像素的位置的周圍區(qū)域的級(jí)別變化既不大又不小,即,居中,移動(dòng)量控制單元827控制聚光鏡852的位置在標(biāo)準(zhǔn)位置上,如圖63B所示,以便在光電二極管851上投射一種范圍不寬也不窄的物體光,即,居中。
接下來,圖61中的步驟S513中的控制信息生成處理中,如圖63A至圖63C所示,聚光鏡852的位置被控制在三個(gè)位置中的標(biāo)準(zhǔn)位置上、接近光電二極管851的位置,和遠(yuǎn)離光電二極管851的位置,這將參考圖64中的流程圖進(jìn)行詳細(xì)的描述。
首先,在步驟S531中,移動(dòng)量控制單元827計(jì)算所關(guān)心的像素的分類代碼中的相鄰位的位倒置的次數(shù),且流程進(jìn)入步驟S532。這里讓我們假設(shè)組成分類代碼碼的位的數(shù)量是9,和圖62中的例子一樣。這種情況下,分類代碼中的位倒置次數(shù)的最小值是0,且最大值是8。
在步驟S532中,移動(dòng)量控制單元827確定所關(guān)心的像素的分類代碼中的位倒置次數(shù)是否相對(duì)較小,比如,在0到2次之間。
在步驟S532中,如果所關(guān)心的像素的分類代碼中的位倒置次數(shù)被判定在0到2次之間,流程進(jìn)入標(biāo)準(zhǔn)S533,移動(dòng)量控制單元827認(rèn)為在CMOS成像器801成像的圖像中的所關(guān)心的像素的位置周圍的級(jí)別變化的量較小,并相應(yīng)地產(chǎn)生控制信息來控制聚光鏡852的位置到接近光電二極管851的位置上,即,一個(gè)寬范圍的物體光射入光電二極管851的位置,且流程返回。
在步驟S532中,如果所關(guān)心的像素的分類代碼中的位倒置次數(shù)被判定不在0到2次之間,流程進(jìn)入步驟S534,移動(dòng)量控制單元827判定所關(guān)心的像素的分類代碼中的位倒置次數(shù)是否較大,比如,在6到8次之間。
如果在步驟S534中,所關(guān)心的像素的分類代碼中的位倒置次數(shù)被判定在6到8次之間,流程進(jìn)入步驟S535,移動(dòng)量控制單元827認(rèn)為在CMOS成像器801生成的圖像中的所關(guān)心的像素的位置周圍的級(jí)別變化的量較大,并相應(yīng)地產(chǎn)生控制信息來控制聚光鏡852的位置到遠(yuǎn)離光電二極管851的位置上,即,一個(gè)窄范圍的物體光射入光電二極管851的位置,且流程返回。
在步驟S534中,如果所關(guān)心的像素的分類代碼中的位倒置次數(shù)被判定不在6到8次之間,流程進(jìn)入步驟S536,移動(dòng)量控制單元827判定所關(guān)心的像素的分類代碼中的位倒置次數(shù)是否既不大又不小,比如,在3到5次之間。
如果在步驟S536中,所關(guān)心的像素的分類代碼中的位倒置次數(shù)被判定在3到5次之間,流程進(jìn)入步驟S537,移動(dòng)量控制單元827認(rèn)為在CMOS成像器801生成的圖像中的所關(guān)心的像素的位置周圍的級(jí)別變化的量既不大又不小,并相應(yīng)地產(chǎn)生控制信息來控制聚光鏡852的位置在參考位置上,即,一個(gè)對(duì)于光電二極管851的中間位置,從而一個(gè)中間范圍的物體光射入光電二極管851,且流程返回。
同樣,在步驟S536中,如果所關(guān)心的像素的分類代碼中的位倒置次數(shù)被判定不在6到8次之間,移動(dòng)量控制單元827把這種情況當(dāng)作錯(cuò)誤,并不產(chǎn)生控制信息而返回。這種情況下,聚光鏡852的位置保持在以前的位置上,例如。
如果分類代碼具有9-位并根據(jù)分類代碼中的位倒置的次數(shù)來控制聚光鏡852的位置,聚光鏡852的位置可以有9個(gè)之多。
接下來,圖65闡明了圖55所示的DRC電路802的第二配置的實(shí)例。圖65中的組件和圖56中的組件是一樣的,并被用相同的參考標(biāo)記指示,且視情況將略去描述。就是說,圖65所示的DRC電路和圖56中的DRC電路的配置基本相同,除了用控制單元862替代了控制單元812??刂茊卧?62包括活動(dòng)性檢測(cè)單元876和運(yùn)動(dòng)量控制單元877。
由分類抽頭提取單元822輸出的所關(guān)心的像素的分類抽頭被提供給了活動(dòng)性檢測(cè)單元876。從來自分類抽頭提取單元822的所關(guān)心的像素的分類抽頭中,活動(dòng)性檢測(cè)單元876檢測(cè)CMOS成像器801輸出的圖像信號(hào)中的所關(guān)心的像素位置附近的活動(dòng),并把活動(dòng)提供給了移動(dòng)量控制單元877。這里的活動(dòng)的例子包括組成所關(guān)心的像素的分類抽頭的像素的動(dòng)態(tài)范圍(組成分類抽頭的像素的最大和最小值的差),組成所關(guān)心的像素的分類抽頭的相鄰像素的之差的絕對(duì)值之和,組成所關(guān)心的像素的分類抽頭的每個(gè)像素之差的絕對(duì)值之和及其平均值,等等。在這個(gè)安排中,組成所關(guān)心的像素的分類抽頭的像素的動(dòng)態(tài)范圍,例如,將被用作活動(dòng)。
根據(jù)活動(dòng)性檢測(cè)單元876提供的活動(dòng),移動(dòng)量控制單元877以圖56中移動(dòng)量控制單元827一樣的方式控制CMOS成像器。就是說,根據(jù)活動(dòng)性檢測(cè)單元876提供的活動(dòng),移動(dòng)量控制單元877控制所關(guān)心的像素的預(yù)測(cè)抽頭中的像素的聚光鏡852的位置。
圖66A和66B闡明了從分類抽頭提取單元822輸出的分類抽頭的例子,組成圖57A中的分類抽頭的9個(gè)像素的像素值P1至P9以P1至P9的順序被排列在了單一的行上。
對(duì)于從圖像的平滑部分提取的分類抽頭,組成分類抽頭的像素P1至P9的像素值的變化較小,所以動(dòng)態(tài)范圍DR如圖66A所示為較小值,比如。
另一方面,對(duì)于從具有較大的變化的圖像的一部分中提取的分類抽頭,組成分類抽頭的像素值P1至P9的變化是較大的,所以,例如如圖66B所示,動(dòng)態(tài)范圍DR是一個(gè)較大的值。
相應(yīng)地,如果分類抽頭的動(dòng)態(tài)范圍較小,一種平滑的圖像可以被認(rèn)定,并且如果分類抽頭的動(dòng)態(tài)范圍較大,一種具有較大級(jí)別變化的圖像可以被認(rèn)定。
從而,如果分類抽頭的動(dòng)態(tài)范圍較小,且相應(yīng)地由光電二極管851獲得的圖像值的圖像是平滑的,移動(dòng)量控制單元877控制聚光鏡852的位置到接近光電二極管851的位置上,如圖59B所示,以便在光電二極管851上投射一種寬范圍的物體光。同樣,如果分類抽頭的動(dòng)態(tài)范圍較大,且相應(yīng)地由光電二極管851提供的圖像值的圖像有較大的級(jí)別變化,移動(dòng)量控制單元877控制聚光鏡852的位置到遠(yuǎn)離光電二極管851的位置上,如圖59A所示,以便在光電二極管851上投射一種窄范圍的物體光。
接下來,圖65中所示的DRC電路802的信號(hào)處理過程將參考圖67中的流程圖進(jìn)行描述。這里,如圖61中的情況,DRC單元811把的N+1個(gè)幀(或場(chǎng))中的某一像素當(dāng)作所關(guān)心的像素,并預(yù)測(cè)此所關(guān)心的像素。
這種情況下,在從CMOS成像器801輸出的第N個(gè)幀的圖像信號(hào)上,步驟S541中,分類抽頭提取單元822以CMOS成像器801輸出的圖像信號(hào)的第N個(gè)幀的所關(guān)心的像素的最近的位置上的像素為中心提取十字型像素作為分類抽頭的所關(guān)心的像素(圖57),并把它提供給分類代碼生成單元823和活動(dòng)性檢測(cè)單元876,且流程進(jìn)入步驟S542。這里同樣,就是說,第N+1幀的所關(guān)心的像素的分類抽頭是從前一幀也就是第N幀圖像信號(hào)中提取的,如圖61中的情況。
在步驟S542中,分類代碼生成單元823通過執(zhí)行分類抽頭提取單元822提供的分類抽頭的1位ADRC處理來獲得所關(guān)心的像素的分類代碼,并把它提供給因數(shù)生成單元824,且流程進(jìn)入步驟S543。
在步驟S543中,活動(dòng)性檢測(cè)單元876檢測(cè)來自分類抽頭提取單元822的所關(guān)心的像素的分類抽頭的動(dòng)態(tài)范圍作為活動(dòng),把它提供給移動(dòng)量控制單元877,且流程進(jìn)入步驟S544。
在步驟S543中,移動(dòng)量控制單元877產(chǎn)生(確定)控制信息,來根據(jù)從活動(dòng)性檢測(cè)單元876提供的分類抽頭的動(dòng)態(tài)范圍控制聚光鏡852的位置,且流程進(jìn)入步驟S545,在步驟S545中,移動(dòng)量控制單元877根據(jù)前一步驟S543中產(chǎn)生的控制信息,控制組成所關(guān)心的像素的預(yù)測(cè)抽頭的像素的MEMS單元853,從而,把該像素的聚光鏡852的位置移動(dòng)到了預(yù)定位置。
接下來,在第N+1幀的成像定時(shí)處,當(dāng)?shù)贜+1幀的圖像信號(hào)被成像且在CMOS成像器801輸出,流程從S545進(jìn)入S546,且預(yù)測(cè)抽頭提取單元821以CMOS成像器801輸出的圖像信號(hào)的第N個(gè)幀的所關(guān)心的像素的最近的位置上的像素為中心以菱形提取像素作為分類抽頭的所關(guān)心的像素(圖57B),并把它提供給預(yù)測(cè)計(jì)算單元825,且流程進(jìn)入步驟S547。
也就是說,在步驟S545中,做為所關(guān)心的像素的預(yù)測(cè)抽頭的某一像素的MEMS單元853被控制了,由此該像素的聚光鏡852的位置也被控制。相應(yīng)地,在步驟S546中,所關(guān)心的像素的預(yù)測(cè)抽頭包括從像素的光電二極管851輸出的像素值,據(jù)此方法來控制聚光鏡852的位置。
在步驟S547中,因數(shù)生成單元824向預(yù)測(cè)計(jì)算單元825輸出由分類代碼生成單元823提供的所關(guān)心的像素的分類代碼的分類抽頭因數(shù),且流程進(jìn)入步驟S548,這里預(yù)測(cè)計(jì)算單元825采用從預(yù)測(cè)抽頭提取單元821提供的預(yù)測(cè)抽頭和因數(shù)生成單元824提供的抽頭因數(shù)執(zhí)行上面表達(dá)式(1)的計(jì)算,從而,獲得了所關(guān)心的像素的像素值,且流程結(jié)束。
將N+1幀中的每個(gè)像素都做為所關(guān)心的像素順序執(zhí)行前面所述的處理過程,另外,對(duì)于的N+2幀也是這樣,等等。
注意,前面所述的安排包括從作為第N+1幀前一幀的第N幀的圖像信號(hào)中提取所關(guān)心的像素的分類抽頭,但可能安排從作為所關(guān)心的像素的幀的第N+1幀的圖像信號(hào)中提取所關(guān)心像素的分類抽頭。
同樣,在第N+1幀中存在某些情況,其中在某一像素#A是所關(guān)心的像素的情況下以及在接近該像素的像素#B是所關(guān)心的像素情況下,CMOS成像器801的同一像素的聚光鏡852被控制到不同的位置。這可以通過當(dāng)像素#A是所關(guān)心的像素的情況下在像素的聚光鏡852的位置上和當(dāng)像素#B是所關(guān)心的像素的情況下在像素的聚光鏡852的位置上以時(shí)間序列在CMOS成像器801處對(duì)第N+1幀的圖像信號(hào)進(jìn)行成像來解決?;?,將優(yōu)先權(quán)交給與作為之前或之后作為所關(guān)心的像素的像素相對(duì)應(yīng)的聚光鏡852的位置。
另外,在此所述的安排包括,通過在做為所關(guān)心的像素的預(yù)測(cè)抽頭的像素上控制MEMS單元853來控制的聚光鏡852的位置,但是也可以作出一種安排其中,例如,只控制有所關(guān)心的像素的最接近的像素的聚光鏡852的位置,或者控制在所關(guān)心的像素的某一范圍中的全部像素的聚光鏡852的位置,等等。
接下來,圖67的步驟S544中的處理過程(為生成與分類抽頭的活動(dòng)相對(duì)應(yīng)的控制信息的控制信息生成處理)將被詳細(xì)描述,該描述參考了控制聚光鏡的位置在兩個(gè)位置的一個(gè)或另一個(gè)上,如圖59所示的接近或遠(yuǎn)離光電二極管851的情況,參考圖68中的流程圖。
首先,在步驟S551中,移動(dòng)量控制單元877以最大動(dòng)態(tài)范圍規(guī)格化所關(guān)心的像素的分類抽頭的動(dòng)態(tài)范圍,且流程進(jìn)入步驟S552。也就是說,移動(dòng)量控制單元877以最大動(dòng)態(tài)范圍分割分類抽頭的動(dòng)態(tài)范圍,最大動(dòng)態(tài)范圍是從CMOS成像器801輸出的圖像信號(hào)可假定的最大和最小值的差,從而規(guī)格化了分類抽頭的動(dòng)態(tài)范圍。此后,被規(guī)格化了的分類抽頭的動(dòng)態(tài)范圍視情況將被引用為“已規(guī)格化的動(dòng)態(tài)范圍”。注意,規(guī)格化分類抽頭的動(dòng)態(tài)范圍不一定是必要的。
在步驟S552中,移動(dòng)量控制單元877確定已規(guī)格化的動(dòng)態(tài)范圍是否大于一預(yù)定的閾值。采用的閾值可以是,例如,0.5等。
在步驟S552中,如果已規(guī)格化的動(dòng)態(tài)范圍被確定大于預(yù)定的閾值,流程進(jìn)入步驟S553,且移動(dòng)量控制單元877將此表示為在所關(guān)心的像素位置附近,由CMOS成像器801成像的圖像級(jí)別的變化是很大的,且相應(yīng)地生成控制信息將聚光鏡852的位置控制到遠(yuǎn)離光電二極管851的位置上,即,一種窄范圍的物體光被投射在光電二極管851的位置,且流程返回。
在步驟S552中,如果已規(guī)格化的動(dòng)態(tài)范圍被確定不大于預(yù)定的閾值,流程進(jìn)入步驟S553,且移動(dòng)量控制單元877將此表示為在所關(guān)心的像素位置附近,由CMOS成像器801成像的圖像級(jí)別的變化是平滑的,且相應(yīng)地生成控制信息將聚光鏡852的位置控制到接近光電二極管851的位置上,即,一種寬范圍的物體光被投射在光電二極管851的位置,且流程返回。
然而,在此描述一種安排,其中,分類抽頭的已規(guī)格化的動(dòng)態(tài)范圍被用作指示由CMOS成像器801成像的圖像中的所關(guān)心的像素位置附近的活動(dòng)的信息,除了采用分類抽頭的布置,其他布置也可被制定,例如,一種采用在預(yù)測(cè)抽頭或類似所關(guān)心像素附近的多個(gè)任意像素的最大和最小值之差的作為指示所關(guān)心的像素位置附近的活動(dòng)的信息的安排。
同樣,在上述情況中,通過控制MEMS單元853,對(duì)聚光鏡852的在兩個(gè)位置中的一個(gè)進(jìn)行的控制,即,接近光電二極管851的位置和遠(yuǎn)離光電二極管851的位置,但聚光鏡852可以被控制在三個(gè)或更多的位置上。
接下來,圖67的步驟S544中的控制信息生成處理中,如圖63A至圖63C所示,聚光鏡852的位置被控制在三個(gè)位置中的一個(gè),即,標(biāo)準(zhǔn)位置、接近光電二極管851的位置,和遠(yuǎn)離光電二極管851的位置,這將參考圖69中的流程圖進(jìn)行詳細(xì)的描述。
首先,在步驟S561中,通過規(guī)格化所關(guān)心的像素的分類抽頭的動(dòng)態(tài)范圍,移動(dòng)量控制單元877獲得作為所關(guān)心的像素的分類抽頭的動(dòng)態(tài)范圍比率的已規(guī)格化的動(dòng)態(tài)范圍作為最大動(dòng)態(tài)范圍,且流程進(jìn)入步驟S562。
在步驟S562中,移動(dòng)量控制單元877確定已規(guī)格化的動(dòng)態(tài)范圍是否相對(duì)較小,例如,是個(gè)比0.3小的值。
在步驟S562中,如果已規(guī)格化的動(dòng)態(tài)范圍確定比0.3小,流程進(jìn)入步驟S563,在此移動(dòng)量控制單元877將由CMOS成像器801成像的圖像在所關(guān)心的像素位置附近的級(jí)別變化量較小,并相應(yīng)地產(chǎn)生控制信息將聚光鏡852控制在標(biāo)準(zhǔn)位置上,即,讓居中范圍的物體光投射在光電二極管851的位置,且流程返回。
在步驟S562中,如果已規(guī)格化的動(dòng)態(tài)范圍被確定為不小于0.3,流程進(jìn)入步驟S564,且移動(dòng)量控制單元877確定已規(guī)格化的動(dòng)態(tài)范圍既不大又不小,比如,大于等于0.3但小于0.6的值。在步驟S564中,如果已規(guī)格化的動(dòng)態(tài)范圍被認(rèn)定為大于等于0.3但小于0.6的值,流程進(jìn)入步驟S565,移動(dòng)量控制單元877確定由CMOS成像器801成像的圖像在所關(guān)心的像素位置附近的級(jí)別變化量既不大又不小,并相應(yīng)地產(chǎn)生控制信息來控制聚光鏡852在遠(yuǎn)離距光電二極管851的位置上,即,一種讓窄范圍的物體光投射在光電二極管851的位置,且流程返回。
在步驟S564中,如果已規(guī)格化的動(dòng)態(tài)范圍被認(rèn)定為不是一個(gè)大于等于0.3但小于0.6的值,流程進(jìn)入步驟S566,且移動(dòng)量控制單元877決定已規(guī)格化的動(dòng)態(tài)范圍是否相對(duì)較大,比如,一個(gè)大于0.6的值。
在步驟S566中,如果已規(guī)格化的動(dòng)態(tài)范圍被認(rèn)定為是一個(gè)大于0.6的值,流程進(jìn)入步驟S567,移動(dòng)量控制單元877認(rèn)為由CMOS成像器801成像的圖像在所關(guān)心的像素位置附近的級(jí)別變化量較大,并相應(yīng)地產(chǎn)生控制信息將聚光鏡852控制在遠(yuǎn)離光電二極管851的位置上,即,一種讓窄范圍的物體光投射在光電二極管851的位置,且流程返回。
同樣,在步驟S566中,如果已規(guī)格化的動(dòng)態(tài)范圍被認(rèn)定為是一個(gè)不大于0.6的值,移動(dòng)量控制單元877把這種情況當(dāng)作錯(cuò)誤處理,并不產(chǎn)生控制信息而返回。這種情況下,聚光鏡852的位置保持在以前的位置上,例如。
前面所述的布置包括圖56和65中所示的因數(shù)生成單元824,它存儲(chǔ)通過事先的學(xué)習(xí)而獲得的每個(gè)類的抽頭因數(shù),但對(duì)于因數(shù)生成單元824,其為每個(gè)類從好似作為種子的抽頭種子數(shù)據(jù)和預(yù)定參數(shù)中生成能夠產(chǎn)生所希望質(zhì)量的圖像的抽頭因數(shù)。
通過因數(shù)種子數(shù)據(jù)和預(yù)定的參數(shù),為每個(gè)類生成抽頭因數(shù)的因數(shù)生成單元的配置和圖30所示的因數(shù)生成單元124的配置一樣,所以詳細(xì)的描述將被略去(見圖30至36和其描述)。
同樣,與學(xué)習(xí)設(shè)備相對(duì)應(yīng)的配置和圖20中所示的學(xué)習(xí)設(shè)備的配置一樣,但特征提取單元136配置和分類抽頭提取單元822配置的抽頭配置相同的分類抽頭,并把這些提供給類分類單元137。類分類單元137生成與分類代碼生成單元823配置相同的分類代碼。
根據(jù)與圖30所示的分辨率等相對(duì)應(yīng)的參數(shù),如果為每個(gè)類在因數(shù)輸出單元124上生成抽頭因數(shù),CMOS成像器801可能根據(jù)參數(shù)而控制,而不是根據(jù)分類代碼或分類抽頭活動(dòng)。
圖70闡明了DRC電路802的另一種配置的例子,它根據(jù)參數(shù)來控制CMOS成像器801。注意,與圖56或65中相對(duì)應(yīng)的組件由同樣的參考標(biāo)記指示,并視情況略去其描述。簡(jiǎn)單的說,圖70中闡明的DRC電路802基本上和圖56所示的一樣,不同點(diǎn)在于移動(dòng)量控制單元917被提供而不是控制單元812的DL 826和移動(dòng)量控制單元827。
圖70中,用戶操作操作單元985,該單元根據(jù)其操作輸出參數(shù)z給因數(shù)生成單元824和移動(dòng)量控制單元917。因數(shù)生成單元824由圖30的方法被配置,并基于從操作單元985提供的參數(shù)z來為每個(gè)類配置抽頭因數(shù),并把指示分類代碼生成單元823提供的分類代碼的抽頭因數(shù)輸出給預(yù)測(cè)計(jì)算單元825。
移動(dòng)量控制單元917控制與操作單元985提供的參數(shù)z相對(duì)應(yīng)的CMOS成像器801。也就是說,如果參數(shù)z較大,因數(shù)生成單元824產(chǎn)生抽頭因數(shù)來極大的提高分辨率,并且如果參數(shù)z較小,因數(shù)生成單元824產(chǎn)生抽頭因數(shù)來輕微的提高分辨率。對(duì)于DRC單元811,如果極大的提高分辨率的抽頭因數(shù)被使用,組成預(yù)測(cè)抽頭的像素也應(yīng)該具有高分辨率以適合在DRC單元811執(zhí)行的信號(hào)處理。同樣,對(duì)于DRC單元811,如果輕微的提高分辨率的抽頭因數(shù)被使用,組成預(yù)測(cè)抽頭的像素也應(yīng)該具有不高的分辨率以適合在DRC單元811執(zhí)行的信號(hào)處理。
相應(yīng)地,如果參數(shù)z較大且一個(gè)極大的提高分辨率的因數(shù)已經(jīng)產(chǎn)生,移動(dòng)量控制單元917控制聚光鏡852在遠(yuǎn)離光電二極管851的位置上,以便一個(gè)窄范圍的物體光射入光電二極管851中。同樣,如果參數(shù)z較小且一個(gè)輕微的提高分辨率的因數(shù)已經(jīng)產(chǎn)生,移動(dòng)量控制單元917控制聚光鏡852在接近光電二極管851的位置上,以便一個(gè)寬范圍的物體光射入光電二極管851中。
DRC電路802可以通過專門的硬件實(shí)現(xiàn),或通過一個(gè)計(jì)算機(jī),例如一個(gè)包括CPU(中央處理器),(包括DSP(數(shù)字信號(hào)處理))和半導(dǎo)體存儲(chǔ)器等和微型計(jì)算機(jī),來執(zhí)行如前面所述的處理的程序而實(shí)現(xiàn)。
程序可以被安裝在計(jì)算機(jī)中,或被存儲(chǔ)在可移動(dòng)存儲(chǔ)介質(zhì),如軟盤,CD-ROM(壓縮光盤只讀存儲(chǔ)器),MO(磁光盤)盤,一種DVD(數(shù)字化通用光盤),磁盤,半導(dǎo)體存儲(chǔ)器等等,并當(dāng)作封裝軟件提供。
除了從這種可移動(dòng)記錄介質(zhì)相微型計(jì)算機(jī)安裝程序之外,可以從下載站點(diǎn)通過衛(wèi)星、諸如數(shù)字廣播衛(wèi)星無線地,或者通過諸如LAN(局域網(wǎng))或因特網(wǎng)此類的網(wǎng)絡(luò)有線地將該程序傳送到計(jì)算機(jī)中,下載并安裝。
現(xiàn)在,在本說明書中,在使計(jì)算機(jī)實(shí)現(xiàn)的多個(gè)處理的程序代碼中描述的處理過程不一定要按流程圖中給出時(shí)間順序來處理,器可以并行或單獨(dú)執(zhí)行(比如,并行處理或面向?qū)ο蟮奶幚?。另外,程序可以由單個(gè)或多個(gè)計(jì)算機(jī)處理。
如前所述,控制CMOS成像器801以便輸出適于DRC單元811進(jìn)行信號(hào)處理的圖像信號(hào),所以具有提高圖像質(zhì)量的圖像信號(hào)可以通過DRC單元811的信號(hào)處理而獲得。
注意,雖然本實(shí)施例采用CMOS成像器(CMOS傳感器)來拾取圖像,其他的成像方法,比如CCDs,可以被替代使用。
同樣,雖然本實(shí)施例中CMOS成像器801和DRC電路802被配置在了一個(gè)芯片上,CMOS成像器801和DRC電路802也可以被配置在分離的芯片上。
另外,本實(shí)施例中,雖然射到入光電二極管851的物體光范圍是通過控制聚光鏡852的位置來控制的,但控制射入到光電二極管851的物體光范圍的方法不局限于此。例如,可以作出一種安排,其中,為CMOS成像器801的每個(gè)像素提供采用MEMS技術(shù)的膜片,以便射入到光電二極管851的物體光范圍能通過調(diào)整膜片而被調(diào)節(jié)。同樣,除了控制射入到光電二極管851的物體光范圍,光電二極管851接收光的時(shí)間量(曝光時(shí)間),等等,也可以被控制。
權(quán)利要求
1.一種信號(hào)處理設(shè)備,其執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理,該設(shè)備包括類分類裝置,用于根據(jù)從成像裝置輸出的第一圖像信號(hào)的級(jí)別分布把第二圖像信號(hào)分類到多個(gè)類中的一個(gè)之中,以便把作為來自物體的光的物體光轉(zhuǎn)換為圖像信號(hào);控制裝置,用于根據(jù)所述第一圖像信號(hào)的級(jí)別分布,控制裝置控制成像裝置;抽頭因數(shù)輸出裝置,用于對(duì)通過學(xué)習(xí)得到的每一個(gè)類輸出抽頭因數(shù);以及計(jì)算裝置,用于通過執(zhí)行使用第一圖像信號(hào)和所述類的抽頭因數(shù)的計(jì)算獲得第二圖像信號(hào),該第一圖像信號(hào)由所述控制裝置所控制的成像裝置輸出,所述類的抽頭因數(shù)由類分類裝置獲得。
2.根據(jù)權(quán)利要求1的信號(hào)處理設(shè)備,成像裝置還包括用于將物體光匯聚到每個(gè)像素上的聚光鏡,其中所述控制裝置控制所述聚光鏡的位置。
3.根據(jù)權(quán)利要求1的信號(hào)處理設(shè)備,其中成像裝置是互補(bǔ)金屬氧化物半導(dǎo)體傳感器。
4.根據(jù)權(quán)利要求3的信號(hào)處理設(shè)備,完整地由互補(bǔ)金屬氧化物半導(dǎo)體傳感器形成。
5.根據(jù)權(quán)利要求1的信號(hào)處理設(shè)備,其中所述成像裝置是電荷耦合器件。
6.根據(jù)權(quán)利要求1的信號(hào)處理設(shè)備,所述類分類裝置包括分類抽頭提取裝置,用于從第一圖像信號(hào)中提取像素作為分類抽頭供分類使用;分類代碼生成裝置,用于根據(jù)所述分類抽頭的像素的動(dòng)態(tài)范圍,獲取所述分類抽頭的像素的1位的級(jí)別分布,并生成代表與其級(jí)別分布相對(duì)應(yīng)的類的分類代碼。
7.根據(jù)權(quán)利要求6的信號(hào)處理設(shè)備,其中與1位級(jí)別分布中位倒置的次數(shù)相對(duì)應(yīng),所述控制裝置控制所述成像裝置。
8.根據(jù)權(quán)利要求6的信號(hào)處理設(shè)備,其中與分類抽頭像素的動(dòng)態(tài)范圍相對(duì)應(yīng),所述控制裝置控制所述成像裝置。
9.根據(jù)權(quán)利要求6的信號(hào)處理設(shè)備,其中計(jì)算裝置執(zhí)行使用第一圖像信號(hào)和所述類的抽頭因數(shù)的計(jì)算,該第一圖像信號(hào)由所述控制裝置控制的所述成像裝置輸出,該類的抽頭因數(shù)從第一圖像信號(hào)中一幀或場(chǎng)之前的第一圖像信號(hào)的級(jí)別分布獲得。
10.一種信號(hào)處理設(shè)備,其執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理,設(shè)備包括類分類裝置,用于根據(jù)從成像裝置輸出的第一圖像信號(hào)的級(jí)別分布把第二圖像信號(hào)分類到多個(gè)類中的一個(gè)之中,以便把作為來自物體的光的物體光轉(zhuǎn)換為圖像信號(hào);活動(dòng)探測(cè)裝置,用于探測(cè)第一圖像信號(hào)的活動(dòng);控制裝置,用于根據(jù)所述第一圖像信號(hào)的活動(dòng)控制所述成像裝置;抽頭因數(shù)輸出裝置,用于對(duì)通過學(xué)習(xí)獲得的每一個(gè)類輸出抽頭因數(shù);以及計(jì)算裝置,用于通過執(zhí)行使用第一圖像信號(hào)和所述類的抽頭因數(shù)的計(jì)算獲得第二圖像信號(hào),該第一圖像信號(hào)由所述控制裝置所控制的成像裝置輸出,所述類的抽頭因數(shù)由類分類裝置獲得。
11.根據(jù)權(quán)利要求10的信號(hào)處理設(shè)備,成像裝置還包括用于將物體光匯聚到每個(gè)像素上的聚光鏡,其中所述控制裝置控制所述聚光鏡的位置。
12.根據(jù)權(quán)利要求10的信號(hào)處理設(shè)備,其中成像裝置是一種互補(bǔ)金屬氧化物半導(dǎo)體傳感器。
13.根據(jù)權(quán)利要求10的信號(hào)處理設(shè)備,其中成像裝置是一種電荷耦合器件。
14.根據(jù)權(quán)利要求10的信號(hào)處理設(shè)備,其中活動(dòng)探測(cè)裝置獲得預(yù)定的第一圖像信號(hào)的多個(gè)像素的動(dòng)態(tài)范圍作為活動(dòng)。
15.一種信號(hào)處理設(shè)備,其執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理,該設(shè)備包括類分類裝置,用于根據(jù)從成像裝置輸出的第一圖像信號(hào)的級(jí)別分布把第二圖像信號(hào)分類到多個(gè)類中的一個(gè)之中,以便把作為來自物體的光的物體光轉(zhuǎn)換為圖像信號(hào);參數(shù)輸出裝置,輸出表示所述第二圖像信號(hào)分辨率的參數(shù);控制裝置,用于根據(jù)所述參數(shù)控制所述成像裝置;抽頭因數(shù)生成裝置,從學(xué)習(xí)而獲得的因數(shù)種子數(shù)據(jù)和所述參數(shù)為每個(gè)類生成抽頭因數(shù);以及計(jì)算裝置,用于通過執(zhí)行使用所述第一圖像信號(hào)和所述類的抽頭因數(shù)的計(jì)算獲取所述第二圖像信號(hào),該第一圖像信號(hào)由控制裝置所控制的成像裝置輸出,該類的抽頭因數(shù)由所述類分類裝置獲得。
16.根據(jù)權(quán)利要求10的信號(hào)處理設(shè)備,所述成像裝置還包括用于將物體光匯聚到每個(gè)像素上的聚光鏡,其中控制裝置控制所述聚光鏡的位置。
17.根據(jù)權(quán)利要求10的信號(hào)處理設(shè)備,完整地由互補(bǔ)金屬氧化物半導(dǎo)體傳感器形成。
18. 根據(jù)權(quán)利要求10的信號(hào)處理設(shè)備,其中成像裝置是一種電荷耦合器件。
19.一種信號(hào)處理方法,其執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理,該方法包括類分類步驟,用于根據(jù)從成像裝置輸出的第一圖像信號(hào)的級(jí)別分布把第二圖像信號(hào)分類到多個(gè)類中的一個(gè)之中,以便把作為來自物體的光的物體光轉(zhuǎn)換為圖像信號(hào);控制步驟,用于根據(jù)第一圖像信號(hào)的級(jí)別分布來控制所述成像裝置;抽頭因數(shù)輸出步驟,用于對(duì)通過學(xué)習(xí)獲得的每一個(gè)類輸出抽頭因數(shù);以及計(jì)算步驟,用于通過執(zhí)行使用第一圖像信號(hào)和所述類的抽頭因數(shù)的計(jì)算獲得第二圖像信號(hào),該第一圖像信號(hào)由控制步驟所控制的成像裝置輸出,該類的抽頭因數(shù)由分類步驟獲得。
20.一種信號(hào)處理方法,其執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理,所述方法包括類分類步驟,用于根據(jù)從成像裝置輸出的第一圖像信號(hào)的級(jí)別分布把第二圖像信號(hào)分類到多個(gè)類中的一個(gè)之中,以便把作為來自物體的光的物體光轉(zhuǎn)換為圖像信號(hào);活動(dòng)探測(cè)步驟,探測(cè)第一圖像信號(hào)的活動(dòng);控制步驟,用于根據(jù)第一圖像信號(hào)的活動(dòng)控制所述成像裝置;抽頭因數(shù)輸出步驟,用于對(duì)通過學(xué)習(xí)獲得的每一個(gè)類輸出抽頭因數(shù);以及計(jì)算步驟,用于通過執(zhí)行使用第一圖像信號(hào)和所述類的抽頭因數(shù)的計(jì)算獲得第二圖像信號(hào),該第一圖像信號(hào)由控制步驟所控制的成像裝置輸出,所述類的抽頭因數(shù)由分類步驟獲得。
21.一種信號(hào)處理方法,其用于執(zhí)行將第一圖像信號(hào)轉(zhuǎn)換為第二圖像信號(hào)的信號(hào)處理,該方法包括類分類步驟,用于根據(jù)從成像裝置輸出的第一圖像信號(hào)的級(jí)別分布把第二圖像信號(hào)分類到多個(gè)類中的一個(gè)之中,以便把作為來自物體的光的物體光轉(zhuǎn)換為圖像信號(hào);參數(shù)輸出步驟,用于輸出表示所述第二圖像信號(hào)分辨率的參數(shù);控制步驟,用于根據(jù)所述參數(shù)控制所述成像裝置;抽頭因數(shù)生成步驟,用于從學(xué)習(xí)獲得得因數(shù)種子數(shù)據(jù)和所述參數(shù)為每個(gè)所述類生成抽頭因數(shù);以及計(jì)算步驟,用于通過執(zhí)行使用第一圖像信號(hào)和所述類的抽頭因數(shù)的計(jì)算獲取第二圖像信號(hào),該第一圖像信號(hào)由控制裝置所控制的所述成像裝置輸出,所述類的抽頭因數(shù)由分類裝置獲得。
全文摘要
一種信號(hào)處理單元使從一種采用CMOS傳感器等的三-傳感器系統(tǒng)的傳感器單元輸出的第一圖像信號(hào)經(jīng)受信號(hào)處理,從而獲得高圖像質(zhì)量的第二圖像信號(hào)。三個(gè)傳感器被放置在適于信號(hào)處理單元進(jìn)行信號(hào)處理的位置上。適合的放置位置已經(jīng)通過預(yù)先執(zhí)行的學(xué)習(xí)而獲得。在一種安排中,信號(hào)處理單元評(píng)估第二圖像信號(hào),并根據(jù)評(píng)估結(jié)果來控制三個(gè)傳感器的放置位置。在另一種安排中,第一信號(hào)在預(yù)定區(qū)域中被評(píng)估,并且根據(jù)評(píng)估結(jié)果改變預(yù)定區(qū)域的傳感器的特性。在另一種安排中,傳感器單元根據(jù)第一圖像信號(hào)的級(jí)別分布來控制。本發(fā)明可被應(yīng)用到靜態(tài)或視頻數(shù)字照相機(jī)中。
文檔編號(hào)H04N5/374GK101047789SQ20071010100
公開日2007年10月3日 申請(qǐng)日期2004年7月30日 優(yōu)先權(quán)日2003年7月31日
發(fā)明者近藤哲二郎 申請(qǐng)人:索尼株式會(huì)社
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
鄂伦春自治旗| 盐津县| 高密市| 尉犁县| 浠水县| 彭泽县| 察哈| 嘉禾县| 江城| 航空| 肇源县| 分宜县| 疏勒县| 万源市| 白水县| 北辰区| 宽甸| 那坡县| 莫力| 沂南县| 阿拉善盟| 阳东县| 闽清县| 永和县| 新河县| 广河县| 泰州市| 哈尔滨市| 筠连县| 景洪市| 漠河县| 武鸣县| 石楼县| 湟源县| 铅山县| 塔河县| 玉林市| 仙桃市| 嘉禾县| 荣成市| 宁远县|