專利名稱：實(shí)時(shí)數(shù)字圖像處理體系結(jié)構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于實(shí)時(shí)評估照相機(jī)提供的圖像幀序列的方法和數(shù)字圖像處理 設(shè)備。而且，其涉及一種用于執(zhí)行這種方法的計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
在如DE69915481T2所述的便攜式光學(xué)生物傳感器中，具有待研究樣本的盒體 (cartridge)的大部分區(qū)域可以在一個(gè)步驟中光學(xué)地讀出，并且同時(shí)，通過使用數(shù)字照相機(jī) 可以獲得高空間分辨率。隨后，這種照相機(jī)提供的幀序列需要參考樣本中發(fā)生的局部處理 而得以評估。使用通用處理器上的軟件進(jìn)行這種處理需要在小型便攜式設(shè)備中通常不可獲 得的高處理能力。

發(fā)明內(nèi)容
基于該背景，本發(fā)明的目的是提供用于有效評估數(shù)字圖像的裝置，其中需要這些 裝置允許在如生物傳感器的便攜式設(shè)備中實(shí)時(shí)評估圖像。由根據(jù)權(quán)利要求1所述的數(shù)字圖像處理設(shè)備、根據(jù)權(quán)利要求14所述的方法以及根 據(jù)權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品實(shí)現(xiàn)該目的。在從屬權(quán)利要求中公開了優(yōu)選實(shí)施例。根據(jù)本發(fā)明的數(shù)字圖像處理設(shè)備用于實(shí)時(shí)評估諸如CCD或CMOS照相機(jī)的數(shù)字照 相機(jī)提供的圖像幀序列。該圖像尤其可以描述某些光學(xué)生物傳感器中的盒體區(qū)域，但是本 發(fā)明不局限于該應(yīng)用。圖像處理設(shè)備包括下列兩個(gè)主要部件a)數(shù)字“像素處理單元”，其用于確定與圖像區(qū)域中的一組處理點(diǎn)相關(guān)的至少一個(gè) 特征參數(shù)，其中，根據(jù)圖像值流進(jìn)行所述確定。像素處理單元尤其可以由一些特定數(shù)字硬件 實(shí)現(xiàn)，例如，現(xiàn)場可編程門陣列(FPGA)?！疤幚睃c(diǎn)”應(yīng)當(dāng)指照相機(jī)所成像的整個(gè)區(qū)域中的感 興趣子區(qū)域。所提及的“一組處理點(diǎn)”可以包括僅一個(gè)要素，然而優(yōu)選地是包括多個(gè)這種處 理點(diǎn)。通常(但是并非必須)，處理點(diǎn)將不重疊。最后，應(yīng)當(dāng)注意到，“圖像值”指構(gòu)成整個(gè) 幀的獨(dú)立圖像點(diǎn)或像素的數(shù)字值；圖像值通常表示亮度和/或顏色(例如，以RGB坐標(biāo))。b)高級“數(shù)字控制單元”，其與像素處理單元耦合用于與其通信，并且適于設(shè)置 (確定和規(guī)定)當(dāng)前要由像素處理單元處理的該組處理點(diǎn)。而且，數(shù)字控制單元適于讀出和 后處理由像素處理單元確定的特征參數(shù)。數(shù)字控制單元通常將包括一些通用數(shù)字?jǐn)?shù)據(jù)處理 硬件，例如具有相關(guān)軟件的微型計(jì)算機(jī)或微控制器。所述圖像處理設(shè)備提供了一種體系結(jié)構(gòu)，其最優(yōu)地適于快速、實(shí)時(shí)地處理來自照 相機(jī)的幀，這是因?yàn)槠鋵?shí)現(xiàn)了智能任務(wù)共享一方面，由像素處理單元快速(但簡單地)持 續(xù)處理不斷引入的圖像值流；另一方面，由數(shù)字控制單元對整個(gè)過程進(jìn)行高級控制并且對 原始結(jié)果進(jìn)一步更精密地評估。這樣，設(shè)備的通用計(jì)算容量免于直接處理輸入數(shù)據(jù)流，并且 作為替代地集中在高級控制和評估任務(wù)上。已經(jīng)提及的是，處理點(diǎn)一般指(已連接的或未連接的)成像區(qū)域的子區(qū)域。優(yōu)選 地，處理點(diǎn)涉及矩形圖像區(qū)域，該區(qū)域的邊緣分別平行于圖像幀的行和列定向。然后，這種
4處理點(diǎn)能夠順利地僅由第一/最后行/列的四個(gè)坐標(biāo)而描述。而且，這種形狀尤其適于處 理逐行表示圖像的像素流。該組處理點(diǎn)可以僅包括一個(gè)單一處理點(diǎn)。優(yōu)選地，其包括由像素處理單元并行處 理的多個(gè)處理點(diǎn)。多個(gè)處理點(diǎn)可以散布在整個(gè)圖像區(qū)域上，因而覆蓋整個(gè)幀，或者處理點(diǎn)可 以僅位于圖像條紋中。在后者情況下，處理整個(gè)圖像幀通常將通過逐個(gè)處理一系列圖像條 紋而進(jìn)行。一般地，由像素處理單元確定的至少一個(gè)特征參數(shù)可以是能夠根據(jù)圖像值(像 素)流計(jì)算的感興趣的任何參量。在大部分情況下，特征參數(shù)將是根據(jù)圖像值流容易一次 確定的參量，例如圖像值的一些積分(總和)。尤其，特征參數(shù)可以包括所考慮的處理點(diǎn)中 的所有圖像值(例如灰階)和/或所有這些圖像值與給定參考值的偏差的(例如，絕對偏 差或者平方偏差的)函數(shù)的(歸一化)積分。第一這些積分涉及處理點(diǎn)的亮度，而第二這 些積分表示點(diǎn)區(qū)域中該值的空間變化(噪聲)。前述參考值和/或其變化率可以任選地由數(shù)字控制單元基于在先幀的特征參數(shù) 確定。數(shù)字圖像處理設(shè)備可以特別地包括至少一個(gè)寄存器，稱為“影子寄存器(shadow register) ”，用于暫時(shí)存儲(chǔ)要在像素處理單元和數(shù)字控制單元之間交換的數(shù)據(jù)。這樣，可以 緩和對數(shù)據(jù)交換速度的需求。根據(jù)特定應(yīng)用，不同的方法將最適于由數(shù)字控制單元設(shè)置像素處理單元中的當(dāng)前 組處理點(diǎn)。因而，例如，可以在評估整個(gè)幀序列之前一次設(shè)置該組處理點(diǎn)。如果在所有連續(xù) 幀中處理點(diǎn)都是相同的并且如果有足夠的容量來存儲(chǔ)所有處理點(diǎn)數(shù)據(jù)，該方法是可行的。然而，如果處理點(diǎn)的位置和/或形狀在不同幀之間發(fā)生變化，該組處理點(diǎn)將寧愿 在每個(gè)新幀開始時(shí)在像素處理單元中重新設(shè)置。類似地，該組處理點(diǎn)可以在整個(gè)幀的每個(gè) 預(yù)定子幀開始時(shí)設(shè)置，例如始終在照相機(jī)圖像的新條紋(包括給定數(shù)量的圖像線)的開始 處。如果像素處理單元不具有足夠的容量以并行處理整個(gè)幀的所有處理點(diǎn)，那么通常將對 子幀應(yīng)用這種處理。最后，能夠在像素處理單元要求時(shí)設(shè)置當(dāng)前組處理點(diǎn)。每次像素處理單元已經(jīng) 完成處理點(diǎn)的評估時(shí)，例如其可以向數(shù)字控制單元發(fā)布中斷，以指示可獲得處理點(diǎn)的結(jié)果 (特征參數(shù))并且能夠設(shè)置待評估的新處理點(diǎn)的坐標(biāo)。該方法關(guān)于處理點(diǎn)的位置和/或形 狀具有最高靈活性，即它們可以非常任意地(在一種情況下為蘑菇形)分布在圖像區(qū)域上。在本發(fā)明的又一演變中，設(shè)計(jì)數(shù)字控制單元以迭代地使處理點(diǎn)適配于標(biāo)記物的圖 像，即適配于照相機(jī)提供的圖像中已知外觀(形狀、尺寸、強(qiáng)度和/或顏色)的結(jié)構(gòu)。使處 理點(diǎn)適配于標(biāo)記物，通?；谥饌€(gè)幀進(jìn)行，并且將最終產(chǎn)生關(guān)于圖像中的標(biāo)記物的信息，例 如其位置、尺寸和/或形狀。該標(biāo)記物例如可以由線、十字交叉、圓環(huán)或被成像的對象所包 括的一些其他符號。已知一個(gè)或多個(gè)標(biāo)記物的位置將允許推斷區(qū)域中其他區(qū)域的位置，例 如(至少最初)不可檢測或者幾乎不可檢測的研究區(qū)域。一旦經(jīng)由標(biāo)記物確定了這些區(qū)域， 可以將處理點(diǎn)分配給它們，用于評估照相機(jī)的觀察力(observation)。然而，光學(xué)像差，例如 正或負(fù)(枕形)失真和/或變化的光學(xué)放大倍數(shù)，能夠借助于對準(zhǔn)標(biāo)記物而被檢測和校正。在本發(fā)明的又一演變中，圖像處理設(shè)備包括聚焦模塊，其用于基于至少一個(gè)確定 的特征參數(shù)而改變照相機(jī)的焦點(diǎn)。聚焦模塊可以例如包括機(jī)電機(jī)構(gòu)，其能夠移動(dòng)照相機(jī)的透鏡。而且，焦點(diǎn)改變可以尤其基于在處理點(diǎn)中所有圖像值與參考值的偏差函數(shù)的積分，例 如基于在所述點(diǎn)中圖像值的標(biāo)準(zhǔn)偏差。這種偏差相關(guān)值的最大值通常是靶圖像區(qū)域的最優(yōu) 焦點(diǎn)的良好指示器。圖像處理設(shè)備可以進(jìn)一步任選地包括狀態(tài)指示器，例如聲學(xué)或光學(xué)信號發(fā)出設(shè) 備，其用于在檢測到至少一個(gè)圖像幀中的異常狀態(tài)(尤其是劣化的光學(xué)質(zhì)量)時(shí)發(fā)出信號。 檢測這種誤差狀態(tài)對于避免錯(cuò)誤測量結(jié)果的不正確解釋是重要的。劣化的光學(xué)質(zhì)量可以例 如經(jīng)由前述標(biāo)準(zhǔn)偏差(或者更一般地，所有圖像值與參考值的積分偏差)的異常值來檢測。數(shù)字控制單元的后處理可以優(yōu)選地包括對針對圖像幀的選定子組已經(jīng)獲得的特 征參數(shù)進(jìn)行時(shí)間濾波。時(shí)間濾波可以特別地包括帶通或低通濾波，例如，通過對與圖像幀的 選定子組對應(yīng)的特征參數(shù)求平均而實(shí)現(xiàn)。通過濾波，可以移除諸如不相關(guān)噪聲的一些噪聲 成分。根據(jù)前述實(shí)施例的又一演變，數(shù)字控制單元的后處理還包括使經(jīng)時(shí)間濾波的特征 參數(shù)與針對不屬于選定子組(這通?？梢允撬衅溆鄨D像幀)的圖像幀已經(jīng)獲得的對應(yīng)特 征參數(shù)相關(guān)。所應(yīng)用的相關(guān)可以特別地包括相減，即從對應(yīng)特征參數(shù)中減去經(jīng)濾波的特征 參數(shù)(或者反之亦然)。由于濾波處理，能夠從經(jīng)濾波的特征參數(shù)中選擇性地移除噪聲成 分，并且因此當(dāng)經(jīng)濾波的特征參數(shù)與未濾波的特征參數(shù)相關(guān)時(shí)，該噪聲成分將不起作用。在時(shí)間濾波方法中，與其余圖像幀相比，針對圖像幀的選定子組，處理點(diǎn)的尺寸和 /或位置可以改變。如果選定子組的圖像幀應(yīng)當(dāng)例如捕獲一些背景或參考值，其可以有利于 擴(kuò)大其中計(jì)算對應(yīng)特征參數(shù)的處理點(diǎn)。根據(jù)本發(fā)明的又一演變，數(shù)字圖像處理設(shè)備可以進(jìn)一步包括可控照明單元，借助 其能夠選擇性地對不同圖像幀設(shè)置曝光條件。照明單元可以例如包括光源，其主動(dòng)地對照 相機(jī)所記錄的場景進(jìn)行照明，或者其可以控制確定進(jìn)入照相機(jī)的光的量的光圈。照明單元 適于為獨(dú)立的圖像幀選擇性地設(shè)置照明條件，即適于從一個(gè)圖像幀到下一個(gè)圖像幀切換照 明條件。在光源的情況下，照明可能例如每隔兩個(gè)圖像幀而中斷(關(guān)閉)。前述實(shí)施例尤其可以與后處理組合，所述后處理包括對圖像幀的選定子組進(jìn)行時(shí) 間濾波。然后，能夠分別針對圖像幀的選定子組和其余圖像幀設(shè)置不同的曝光條件。因而， 例如對屬于選定子組并且應(yīng)當(dāng)進(jìn)行時(shí)間濾波的圖像幀關(guān)閉照明是可行的。本發(fā)明還涉及一種用于評估由照相機(jī)提供的圖像幀序列的方法，所述方法包括下 列步驟a)使用像素處理單元，根據(jù)幀值流確定圖像區(qū)域中當(dāng)前組處理點(diǎn)的至少一個(gè)特征 參數(shù)。b)使用高級數(shù)字控制單元，確定(下一)組處理點(diǎn)并且對至少一個(gè)(在先)特征 參數(shù)進(jìn)行后處理。c)在像素處理單元已經(jīng)完成對當(dāng)前幀的當(dāng)前組處理點(diǎn)的處理之后，在數(shù)字控制單 元和像素處理單元之間交換數(shù)據(jù)。通常，該方法包括能夠使用上述類型的圖像處理設(shè)備執(zhí)行的步驟。因而，可以參考 在先描述以獲得關(guān)于該方法的細(xì)節(jié)、優(yōu)點(diǎn)和改進(jìn)的更多信息。本發(fā)明還涉及將上述數(shù)字圖像處理設(shè)備用于分子診斷、生物樣本分析或化學(xué)樣本 分析、食物分析和/或法醫(yī)鑒定的用途。分子診斷可以例如借助于直接或間接附著于靶分子的磁珠或熒光微粒而實(shí)現(xiàn)。圖像處理設(shè)備通常將是可編程的，例如，其可以微處理器或FPGA。因此，本發(fā)明還 包括計(jì)算機(jī)程序產(chǎn)品，其當(dāng)在計(jì)算設(shè)備上執(zhí)行時(shí)，提供了根據(jù)本發(fā)明的方法中的任意一種 的功能。此外，本發(fā)明包括數(shù)據(jù)載體，例如ROM、存儲(chǔ)卡、軟盤、硬盤或光盤(CD-ROM)，其以 機(jī)器可讀形式存儲(chǔ)計(jì)算機(jī)產(chǎn)品，并且當(dāng)在計(jì)算設(shè)備上執(zhí)行存儲(chǔ)在數(shù)據(jù)載體上的程序時(shí)，其 執(zhí)行本發(fā)明的至少一種方法。現(xiàn)在，在因特網(wǎng)或公司內(nèi)部互聯(lián)網(wǎng)上常常提供這種軟件的下載，因而，本發(fā)明還包 括通過局域網(wǎng)或廣域網(wǎng)傳送根據(jù)本發(fā)明的計(jì)算機(jī)產(chǎn)品。計(jì)算設(shè)備可以包括個(gè)人計(jì)算機(jī)或工 作站。計(jì)算設(shè)備可以包括微處理器或FPGA中之一。


從下文所述實(shí)施例中，本發(fā)明的這些和其他方面將變得顯而易見，并且將參考下 文所述的實(shí)施例加以闡明。這些實(shí)施例將借助于隨附附圖通過實(shí)例而描述，其中圖1示意性地示出了在光學(xué)生物傳感器中使用的根據(jù)本發(fā)明的數(shù)字圖像處理設(shè) 備；圖2示出了由圖1的照相機(jī)提供的圖像區(qū)域；圖3示出了用于處理一個(gè)處理點(diǎn)的點(diǎn)處理塊(SPB)的第一體系結(jié)構(gòu)；圖4示出了用于計(jì)算標(biāo)準(zhǔn)偏差的SPB的變型；圖5示出了使用點(diǎn)亮度的估計(jì)斜率處理一個(gè)處理點(diǎn)的第二 SPB體系結(jié)構(gòu)；圖6示出了具有劃分成條紋的結(jié)合部位的規(guī)則圖案的圖像區(qū)域；圖7示出了用于處理處于圖6的情形中的一個(gè)處理點(diǎn)的第三SPB體系結(jié)構(gòu)；圖8示出了第三SPB體系結(jié)構(gòu)中的時(shí)間數(shù)據(jù)流；圖9示出了具有結(jié)合部位的不規(guī)則圖案的圖像區(qū)域；圖10示出了用于處理處于圖9的情形中的一個(gè)處理點(diǎn)的第四SPB體系結(jié)構(gòu)；圖11示出了第四SPB體系結(jié)構(gòu)中的時(shí)間數(shù)據(jù)流；圖12至16示出了基于相關(guān)處理點(diǎn)的亮度檢測圖像中對準(zhǔn)標(biāo)記物的各個(gè)實(shí)施例；圖17和18示出了基于相關(guān)處理點(diǎn)的標(biāo)準(zhǔn)偏差檢測圖像中對準(zhǔn)標(biāo)記物的兩個(gè)實(shí)施 例；圖19示意性地示出了變型后的圖像處理設(shè)備，使用其能夠產(chǎn)生和處理暗圖像幀 的子組；圖20示出了在不同照明條件下針對一個(gè)處理點(diǎn)獲得的亮度的處理。附圖中相同的附圖標(biāo)記指示相同或相似的部件。下文將參考其在光學(xué)生物傳感器中的應(yīng)用，描述根據(jù)本發(fā)明的圖像處理體系結(jié) 構(gòu)，但是其用途不局限于此。
具體實(shí)施例方式圖1示意性地示出了(未按比例，并且以邏輯部件和硬件部件混合表示)用于生 物測定的盒體10和相關(guān)的(便攜式)讀取器100。一次性盒體10通常包括生物樣本(例
7如血液或唾液)，該生物樣本包含感興趣的靶分子1，其應(yīng)當(dāng)經(jīng)由接觸表面3上的特異性結(jié) 合位點(diǎn)2而檢測。在將盒體10插入讀取器100之后，由光源102照射接觸表面3，并且由 (CCD)照相機(jī)101持續(xù)對反射光成像。照相機(jī)101可以特別地用于觀察在接觸表面上的(已 占據(jù))結(jié)合位點(diǎn)處發(fā)生的熒光和/或受阻總內(nèi)部反射。圖2示出了照相機(jī)101所見的典型圖像。照常地，表示圖像的幀由圖像像素(例 如L = 480和M = 752)的L行(χ-方向)和M列(y_方向)構(gòu)成。結(jié)合點(diǎn)BS分布在圖像 區(qū)域中，所述點(diǎn)與覆蓋有(不同的)特異性結(jié)合分子2的盒體10的接觸表面3上的區(qū)域相 對應(yīng)。雖然結(jié)合點(diǎn)規(guī)則地分布在成像區(qū)域的上部中，下部示出了結(jié)合點(diǎn)的尺寸和位置的更 一般、不規(guī)則的分布。通過(主要)對接觸表面3的均勻照明并且經(jīng)由光學(xué)系統(tǒng)將反射光 投射至照相機(jī)101上來獲得圖片。與周圍白區(qū)域相比，結(jié)合點(diǎn)BS的暗色化是對結(jié)合位點(diǎn)2 和靶分子1之間的結(jié)合數(shù)目的量度。圖2還示出了兩個(gè)十字交叉形的對準(zhǔn)標(biāo)記物AM，其印記或刻在接觸表面3上，關(guān)于 結(jié)合點(diǎn)BS位于已知的相對位置處。由于它們的高對比度，能夠從每個(gè)幀的開始處檢測標(biāo)記 物AM。因而，它們能夠用于精確地確定在測定期間尚不可見的結(jié)合點(diǎn)BS的位置。而且，圖2中示出了兩個(gè)典型的矩形“處理點(diǎn)”PSi*PSa，其分別設(shè)置在結(jié)合位點(diǎn) BS和對準(zhǔn)標(biāo)記物AM處。第一處理點(diǎn)PSi用于評估盒體的相應(yīng)結(jié)合點(diǎn)BS的測量值，而第二 處理點(diǎn)PSa用于尋找相關(guān)對準(zhǔn)標(biāo)記物的位置。由于處理點(diǎn)是矩形區(qū)域，它們能夠由四個(gè)坐 標(biāo)簡單地加以描述(起始行a、起始列b、結(jié)束行C、結(jié)束列d)。應(yīng)當(dāng)注意到，出于參考或校準(zhǔn)的目的，處理點(diǎn)還能夠與(不包括結(jié)合位點(diǎn)的)“白 區(qū)域”相關(guān)。而且，處理點(diǎn)能夠任選地限制于結(jié)合點(diǎn)的子區(qū)域，因而避免還覆蓋“白區(qū)域”。 這樣，由多個(gè)矩形處理點(diǎn)可以例如近似環(huán)形結(jié)合點(diǎn)。處理點(diǎn)PSi與結(jié)合點(diǎn)BS對準(zhǔn)的準(zhǔn)確度通常在對準(zhǔn)標(biāo)記物AM更接近結(jié)合點(diǎn)時(shí)是較 好的。此外，當(dāng)由于例如結(jié)合或接近定位的對準(zhǔn)標(biāo)記物結(jié)合點(diǎn)BS可見時(shí)，結(jié)合點(diǎn)BS本身能 夠用于更準(zhǔn)確地對準(zhǔn)對應(yīng)的處理點(diǎn)PSi?；跇?biāo)記物或基于結(jié)合點(diǎn)自身的所述對準(zhǔn)(當(dāng)例如在結(jié)合之后或者由于印刷技 術(shù)而可見時(shí))還能夠用于實(shí)時(shí)追蹤結(jié)合點(diǎn)位置。因而，例如在手持應(yīng)用中接觸、搖晃和振動(dòng) 盒體所引起的盒體關(guān)于讀取器的可能機(jī)械位移，例如可以得以抑制，或者至少使用持續(xù)追 蹤得以補(bǔ)償。為了正確地解釋盒體10中的(生物)化學(xué)處理，通常每秒必須處理來自 752HX480V (CXD/CM0S)視頻照相機(jī)的至少十幀It。對于每個(gè)幀It，必須計(jì)算來自結(jié)合點(diǎn)BS 和圍繞其的白區(qū)域中的每個(gè)的平均和質(zhì)量(噪聲)。在軟件中，這將需要大量處理能力來實(shí) 現(xiàn)。而且，在大量測定中，軟件還將必須照顧(用于操作磁交互標(biāo)記微粒)實(shí)時(shí)磁致動(dòng)電流 驅(qū)動(dòng)器。尤其在手持讀取器設(shè)備中，這將花費(fèi)大量功率耗散和昂貴的μ P。為了解決上述問題，在此建議了圖1的讀取器100的體系結(jié)構(gòu)。該體系結(jié)構(gòu)包括 兩個(gè)主要部件-“像素處理單元(PPU)” 112，其用于關(guān)于給定當(dāng)前組處理點(diǎn)PSi (t)評估引入圖像 值(像素)流I(x，y，t)。像素處理單元112是低級硬件模塊110的一部分，其還包括用于 照相機(jī)101提供的圖像幀It的中間存儲(chǔ)器111，以及用于控制讀取器的光源102的亮度的 具有LED驅(qū)動(dòng)器114的類似硬件(AH) 113。
-高級“數(shù)字控制單元(D⑶)”130，其包括具有相關(guān)軟件的微處理器(μ P) 131。數(shù) 字控制單元130從像素處理單元112讀取結(jié)果(例如，處理點(diǎn)的亮度Ei),并且向像素處理 單元112提供控制數(shù)據(jù)(例如，將處理的活動(dòng)組處理點(diǎn)PSi (t))。像素處理單元112和數(shù)字控制單元130之間的數(shù)據(jù)交換優(yōu)選經(jīng)由影子寄存器120 進(jìn)行，以緩和時(shí)間需求。而且，數(shù)字控制單元130可能經(jīng)由附加PDA(=個(gè)人數(shù)字助理，未示 出)，與顯示器141和控制按鈕142通信，以與用戶交互。像素處理單元112(例如，現(xiàn)場可編程門陣列FPGA)在每個(gè)視頻幀^期間計(jì)算多個(gè) 預(yù)定區(qū)域、即上述類型的一組處理點(diǎn)PSi (t)中的積分光強(qiáng)度Ei(t)和積分質(zhì)量σ ‘ i(t)， 其中ο ‘ i是“噪聲”指示器，其應(yīng)當(dāng)合適地限定以獲得顯著性、復(fù)雜性和功耗之間的折衷。 像素處理單元112與數(shù)字控制單元130中的軟件(例如μ Ρ131或Labview應(yīng)用程序)通 信，其_啟動(dòng)時(shí)(在插入盒體10之后)，基于已獲得的視頻幀計(jì)算視頻幀It的處理點(diǎn) PSi(t)中的活動(dòng)像素(對應(yīng)于結(jié)合點(diǎn)和/或白區(qū)域)的坐標(biāo)(定義和實(shí)現(xiàn)方式尚未公開， 參見本稿第一標(biāo)注)，并且將所述坐標(biāo)寫入像素處理單元112。應(yīng)當(dāng)注意到，這可以由低速 微處理器執(zhí)行，因?yàn)闊o需實(shí)時(shí)計(jì)算。-以按幀方式從像素處理單元112收集每個(gè)所述處理點(diǎn)PSi(t)中的積分Ei (t)和 質(zhì)量ο ‘ i (t)，并且根據(jù)這些數(shù)據(jù)計(jì)算平均強(qiáng)度/噪聲。-對每個(gè)處理點(diǎn)PSi(t)，將平均信號Ei (t)解釋為時(shí)間t的函數(shù)，并且對于下一個(gè) 幀It+1 (基于前一幀)將已推斷得的積分值色(t)遞交至用于質(zhì)量測量的像素處理單元112。該方法提供了通過量的優(yōu)點(diǎn)，其可能具有高幀率、低功耗、低復(fù)雜性(無需幀存儲(chǔ) 器)和高靈活性。其包括硬件和軟件處理之間的最佳平衡。圖3示意性地示出了“點(diǎn)處理塊(SPB) ”，即像素處理單元112所需用于評估單一 處理點(diǎn)PSi的硬件部件(即，處理塊112通常包括并行操作的多個(gè)這種SPB)。從照相機(jī)101中，將圖像值流I (x，y，t)(例如，IOb像素)持續(xù)提供給SPB的第一 積分器INTl和第二積分器INT2的輸入。定時(shí)控制器TC分別從照相機(jī)像素時(shí)鐘和幀同步接收時(shí)鐘信號elk(指示新像素) 和幀信號frm(指示新幀)。而且，定時(shí)控制器TC設(shè)置有(啟動(dòng)時(shí))待處理當(dāng)前處理點(diǎn)PSi 的坐標(biāo)。定時(shí)控制器TC能夠在每個(gè)新幀It開始時(shí)(經(jīng)由輸入rs)重新設(shè)置積分器INT1、 INT2，并且在一個(gè)幀內(nèi)指示應(yīng)當(dāng)(經(jīng)由輸入int)對圖像值(像素)求和與否。在視頻幀It期間，積分器INTl根據(jù)下列公式確定所考慮的處理點(diǎn)PSi (t)中的像 素值I(x，y，t)的積分Ei (t)
權(quán)利要求
一種數(shù)字圖像處理設(shè)備(100)，其用于實(shí)時(shí)評估由照相機(jī)(101)提供的圖像幀(It)序列，所述數(shù)字圖像處理設(shè)備包括a)數(shù)字像素處理單元(112)，其用于根據(jù)圖像值流(I(x，y，t))確定圖像區(qū)域中的一組處理點(diǎn)(PSi，PSa，PSb)的至少一個(gè)特征參數(shù)(Ei，σ′i)；b)高級數(shù)字控制單元(130)，其與所述像素處理單元(112)通信，從而設(shè)置所述組處理點(diǎn)以及讀出確定的特征參數(shù)并對所述確定的特征參數(shù)進(jìn)行后處理。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于所述處理點(diǎn)涉及矩形圖像區(qū)域(PSi, PSa, PSb)。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于所述組處理點(diǎn)(PSi;PSa，PSb)包括僅僅單一處理點(diǎn)、來自圖像條紋(Sj)的多個(gè)處理點(diǎn)， 和/或來自整個(gè)圖像區(qū)域的多個(gè)處理點(diǎn)。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于所述特征參數(shù)包括處理點(diǎn)(PSi)中所有圖像值(I(X，y，t))的積分(Ei)和/或它們與 參考值(§i)的偏差的函數(shù)的積分(ο ‘》。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備(100)，其特征在于所述參考值(§i)和/或其變化率(d^i/dt)由所述數(shù)字控制單元(130)基于在先幀的特 征參數(shù)(Ei)確定。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于其包括至少一個(gè)影子寄存器(120-124)，所述影子寄存器用于存儲(chǔ)在所述像素處理單 元(112)和所述數(shù)字控制單元(130)之間待交換的數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于在評估幀序列之前、在每幀開始時(shí)、在子幀(SJ開始時(shí)和/或根據(jù)所述像素處理單元 (112)的要求，一次設(shè)置所述組處理點(diǎn)(PSi;PSa，PSb)。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于所述數(shù)字控制單元(130)使至少一個(gè)處理點(diǎn)(PSa，PSb)迭代地與標(biāo)記物(AM)的圖像位置適配。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于其包括聚焦模塊(143)，所述聚焦模塊用于基于所述特征參數(shù)(Ei, σ ‘》，尤其是基于 在處理點(diǎn)(PSa，PSb)中所有圖像值(I(x，y，t))與參考值(Si)的偏差的函數(shù)，來改變所述照 相機(jī)(101)的焦點(diǎn)。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于其包括狀態(tài)指示器(141)，所述狀態(tài)指示器用于在檢測到至少一個(gè)圖像幀(It)中的異 常狀態(tài)時(shí)，尤其是檢測到劣化的光學(xué)質(zhì)量時(shí)發(fā)出信號。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于所述數(shù)字控制單元(130)的所述后處理包括對所述特征參數(shù)(Ei (t e Sd))進(jìn)行時(shí)間濾 波，所述特征參數(shù)是針對所述圖像幀(It)的選定子組進(jìn)行獲得的。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備(100)，其特征在于濾波后的特征參數(shù)(<Ei>)與針對不屬于所述選定子組的圖像幀(It)獲得的對應(yīng)特征參數(shù)(Ei (t e Sb))相關(guān)-優(yōu)選為從其中減去所述濾波后的特征參數(shù)。
13.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備(100)，其特征在于其包括可控照明單元(102)，借助于所述可控照明單元能夠針對不同圖像幀(It)選擇 性地設(shè)置曝光條件。
14.一種用于評估由照相機(jī)(101)提供的圖像幀(It)序列的方法，包括a)使用像素處理單元(112)根據(jù)圖像值流(I(x，y，t))確定圖像區(qū)域中的一組處理點(diǎn) (PSi;PSa, PSb)的至少一個(gè)特征參數(shù)(Ei, ο ‘》；b)使用高級數(shù)字控制單元(130)確定一組處理點(diǎn)(PSi，PSa，PSb)，并且對所述至少一個(gè) 特征參數(shù)進(jìn)行后處理；c)在所述像素處理單元(112)已經(jīng)完成對一幀的當(dāng)前組處理點(diǎn)(PSi;PSa，PSb)的處理 之后，在所述數(shù)字控制單元(130)和所述像素處理單元(112)之間交換數(shù)據(jù)
15.一種計(jì)算機(jī)程序產(chǎn)品，其使得能夠?qū)嵤└鶕?jù)權(quán)利要求14所述的方法。
全文摘要
本發(fā)明涉及一種數(shù)字圖像處理體系結(jié)構(gòu)，尤其用于處理由生物傳感器讀取器(100)的照相機(jī)(101)提供的數(shù)字圖像。該體系結(jié)構(gòu)包括像素處理單元(112)，用于關(guān)于圖像區(qū)域中給定組的處理點(diǎn)(PSi(t))評估圖像值流(I(x，y，t))，因而確定例如處理點(diǎn)(PSi(t))中的像素值的積分(Ei(t))的特征參數(shù)。像素處理單元(112)與高級數(shù)字控制單元(130)通信，其設(shè)置將評估的處理點(diǎn)(PSi(t))，并且讀出像素處理單元(112)的結(jié)果并對所述結(jié)果進(jìn)行后處理。
文檔編號G06T7/60GK101971210SQ200880127968
公開日2011年2月9日 申請日期2008年12月18日 優(yōu)先權(quán)日2008年3月12日
發(fā)明者J·A·H·M·卡爾曼 申請人:皇家飛利浦電子股份有限公司