專利名稱：用于在局部區(qū)域跟蹤圖象的跟蹤裝置的制作方法
技術領域：
本發(fā)明涉及一種跟蹤裝置，更具體地說，涉及一種通過連續(xù)跟蹤由電視攝像機拾取的圖象內的運動圖象跟蹤圖象的跟蹤裝置。
在局部區(qū)域內跟蹤圖象的跟蹤裝置是通過連續(xù)跟蹤拾取的圖象中的移動目標來跟蹤圖象的(以下簡稱為局部區(qū)域圖象跟蹤裝置)，這種裝置可以用于各種系統(tǒng)中。利用無需使用加速傳感器或可視運動矢量的非接觸型運動測量系統(tǒng)，自動監(jiān)測系統(tǒng)，識別人類手勢，表達或視線的系統(tǒng)，制作電影或轉播體育比賽時控制攝像機的系統(tǒng)，，控制機器人或自控車輛的系統(tǒng)或從衛(wèi)星跟蹤移動目標的系統(tǒng)。


圖1為一個系統(tǒng)框圖，顯示了常規(guī)的局部區(qū)域跟蹤裝置的例子的一部分。在圖1中，局部區(qū)域跟蹤裝置包括一個圖象拾取裝置501，模數(shù)轉換器(A/D)502，檢索圖象存儲器503，參考圖象存儲器504，相關運算單元505，地址發(fā)生器506，相關值峰值位置檢測器507。
由圖象拾取裝置501拾取的模擬圖象數(shù)據(jù)由A/D轉換器502轉換成數(shù)字圖象，然后存儲在檢索圖象存儲器503。參考圖象存儲器504預先存儲固定的與要跟蹤的預定目標相關的參考圖象數(shù)據(jù)。相關運算單元505執(zhí)行相關運算，得出指示檢索圖象存儲器503中的圖象數(shù)據(jù)和參考圖象存儲器504中參考圖象數(shù)據(jù)之間的相關性的相關值。相關值峰值位置檢測器507檢測該相關值峰值位置，即，在拾取的圖象中具有最高的相關性的位置。該峰值位置被送回到地址發(fā)生器506，地址發(fā)生器506產生一個對應于該峰值位置的存儲器地址，并將該存儲器地址送到檢索圖象存儲器503和參考圖象存儲器504。于是，在峰值位置檢測器507總能得到相關值的峰值，根據(jù)該峰值位置，可以以實時的方式跟蹤在拾取的圖象中的目標。但是，在傳統(tǒng)的局部區(qū)域圖象跟蹤裝置中存在下面的問題。
首先，當來自圖象拾取裝置501的圖象數(shù)據(jù)通過A/D轉換器502被寫進檢索圖象存儲器503時，無法從檢索圖象存儲器503中讀出數(shù)據(jù)并在相關性運算單元505中執(zhí)行相關性運算。因此，產生的問題是針對每個拾取的圖象，無法對每個幀進行跟蹤處理。結果，在相關性運算單元505中的相關性運算是針對圖象數(shù)據(jù)的每個其它一幀進行的，這樣，只能對每個其它一幀進行跟蹤處理。換句話說，在傳統(tǒng)的局部區(qū)域圖象跟蹤裝置中，不能夠以高速進行跟蹤處理。
其次，由于相對于圖象拾取裝置501只提供有一個相關性運算單元505，在同一時刻跟蹤目標的個數(shù)由于相關性運算單元的處理能力而受到限制。另一方面，由于新的圖象數(shù)據(jù)以每一幀的單位不斷地從圖象拾取單元501傳送過來，相關性運算單元必須在一幀的時間內完成相關性處理。但是，當在同時需要處理的目標數(shù)目較大時，在一幀的時間內完成每個目標的相關性運算是不可能的。根據(jù)相關性運算單元505的處理能力，只可能在同一時刻跟蹤一個目標。結果，傳統(tǒng)的局部區(qū)域圖象跟蹤裝置不能以高速執(zhí)行跟蹤處理。
第三，由于參考圖象存儲器504預先存儲了與要跟蹤的預定目標相關的固定參考圖象數(shù)據(jù)，產生的問題是在跟蹤處理過程中，參考圖象存儲器504的內容不能在任意的時間進行刷新。
因此，本發(fā)明的主要目的就是提供一種局部區(qū)域圖象跟蹤裝置，其中上面所述的問題都得以消除。
本發(fā)明的另一個目的就是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，一個圖象數(shù)據(jù)總線，用于傳送來自圖象拾取裝置的輸入圖象數(shù)據(jù)，多個相關性跟蹤處理器，并聯(lián)到圖象數(shù)據(jù)總線，針對一個檢索圖象分別可以獨立地執(zhí)行跟蹤處理，對于一個或多個檢索圖象的處理由所述多個相關性處理器分布地處理。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，通過以并行的方式操作所述多個相關性跟蹤處理器，可以以高速進行跟蹤處理。
本發(fā)明的另一個目的就是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，至少三個圖象存儲器，選擇器裝置，用于選擇地轉換圖象存儲器到存儲輸入圖象數(shù)據(jù)的輸入圖象存儲器，一個檢索圖象存儲器，用于存儲檢索圖象數(shù)據(jù)，一個參考圖象存儲器，存儲參考圖象數(shù)據(jù)，相關性運算裝置，通過執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，峰值位置檢測裝置，用于得到來自相關性運算裝置的相關值的峰值位置，圖象存儲器管理裝置，用于根據(jù)從峰值位置檢測裝置得到的峰值位置控制選擇器裝置并相繼地在圖象存儲器中存儲參考圖象的歷史，以便根據(jù)存儲在檢索圖象存儲器內的相關值的峰值位置的歷史，刷新參考圖象數(shù)據(jù)。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，可以改善跟蹤處理的可靠性。
本發(fā)明的第四個目的是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，存儲器裝置，用于存儲至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產生裝置，用于自動從輸入圖象數(shù)據(jù)中自動產生參考圖象數(shù)據(jù)，地址產生裝置，用于產生用于從存儲器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關性運算裝置，用于通過執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，控制裝置，用于輸出運動指令，通過運動裝置移動圖象拾取裝置，用于根據(jù)從峰值位置檢測裝置得到的峰值位置跟蹤任意的局部區(qū)域。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，可以自動檢測由拾取裝置拾取的輸入圖象內的運動目標。
本發(fā)明的另一個目的是提供一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，存儲器裝置，用于存儲至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產生裝置，用于自動從輸入圖象數(shù)據(jù)中自動產生與多個局部區(qū)域相關的參考圖象數(shù)據(jù)，標號裝置，用于對多個局部區(qū)域標號，以便識別該多個局部區(qū)域，地址產生裝置，用于產生用于從存儲器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關性運算裝置，用于對多個標號的局部區(qū)域的每個執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，控制裝置，用于根據(jù)從峰值位置檢測裝置得到的峰值位置跟蹤多個標號的局部區(qū)域。根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置，即使只用一個固定的圖象拾取裝置，也可以滿意地跟蹤和拾取多個運動目標。
本發(fā)明的其它目的和進一步的特征通過下面結合附圖的詳細的描述，將會更為明晰。
圖1為系統(tǒng)框圖，顯示了傳統(tǒng)局部區(qū)域圖象跟蹤裝置的一部分；圖2為系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第一實施例的一般結構；圖3為一個時序圖，顯示了象素時鐘和圖象數(shù)據(jù)之間的關系；圖4為一個系統(tǒng)框圖，顯示了第一實施例的相關性跟蹤處理器的結構；圖5顯示了一個8象素×8象素參考圖象；圖6顯示了一個16象素×16象素檢索圖象；圖7顯示了在檢索區(qū)域內具有與參考圖象相同尺寸的部分區(qū)域圖象；圖8顯示了參考圖象；
圖9顯示了檢索圖象；圖10顯示了對圖8中的參考圖象和圖9中的檢索圖象的相關性運算結果；圖11為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第2實施例的相關性跟蹤處理器的結構；圖12為一個系統(tǒng)框圖，顯示了存儲器選擇器的實例；圖13為一個視圖，解釋了送到只讀存儲器的5位地址信號；圖14為一個視圖，顯示了送到只讀存儲器的5位地址信號值和從只讀存儲器中讀出的選擇數(shù)據(jù)值之間的關系；圖15為一個系統(tǒng)框圖，顯示了一個檢索圖象地址產生器的實例；圖16為一個系統(tǒng)框圖，顯示了一個參考圖象地址產生器的實例；圖17為一視圖，解釋了第二實施例中圖象存儲器的轉換；圖18為一個系統(tǒng)框圖，顯示了本發(fā)明的第三實施例的相關性跟蹤處理器的結構；圖19為一個系統(tǒng)框圖，顯示了圖18中的存儲器選擇器的實例；圖20為一視圖，解釋了送到圖19所示的只讀存儲器的一個(3n＋1)—位地址信號；圖21為一視圖，顯示了送到圖19所示的只讀存儲器的一個(3n＋1)—位地址信號的值和從只讀存儲器讀出的選擇數(shù)據(jù)的值之間的關系；圖22為一視圖，解釋了第三實施例中圖象存儲器的轉換；
圖23為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第四實施例的相關性處理器的結構；圖24為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第五實施例的一般結構；圖25為一個系統(tǒng)框圖，顯示了第五實施例的相關性跟蹤處理器的結構；圖26為一個系統(tǒng)框圖，顯示了一個存儲器選擇器的實例，及一個控制計算機接口的一部分；圖27為一個時序圖，顯示了幀同步信號和刷新指令標志的關系；圖28為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置第六實施例的相關性跟蹤處理器的結構；圖29為一個系統(tǒng)框圖，顯示了參考圖象地址產生器，檢索圖象地址產生器和控制計算機接口的一部分；圖30為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第七實施例的相關性跟蹤處理器的結構；圖31為一個系統(tǒng)框圖，顯示了圖30中所示的控制計算機接口的第一實施例的一部分；圖32為一個視圖，用于解釋256個相關值向圖30所示的雙端存儲器內存；圖33為一個系統(tǒng)框圖，顯示了圖10所示的控制計算機接口的第二實施例的一部分；圖34為一視圖，解釋了256個相關值向一個清零的雙端存儲器的存儲；
圖35為一視圖，解釋了在圖34所示的狀態(tài)之后，256個相關值向一個清零的雙端存儲器的存儲；圖36為一系統(tǒng)框圖，顯示了圖30所示的控制計算機接口的第三實施例的一部分；圖37為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第八實施例的一部分連同一個控制計算機結構；圖38為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第九實施例的一部分連同一個控制計算機結構；圖39為一個視圖，解釋了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十實施例的工作過程；圖40A，40B和40C分別顯示了第十實施例的操作過程；圖41A，41B和41C分別顯示了第十實施例的操作過程；圖42A，42B和42C分別顯示了第十實施例的操作過程；圖43為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十一實施例的一部分；圖44為一個系統(tǒng)框圖，顯示了一個可行的局部區(qū)域圖象跟蹤裝置；圖45為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十二實施例的一部分；圖46為一個流程圖，解釋了當中央處理單元構成圖象存儲器管理器時中央處理單元的操作；圖47為一個視圖，解釋了圖象存儲器數(shù)字的排列；圖48為一個視圖，解釋了圖象存儲器數(shù)字的排列的初始狀態(tài)；圖49為一視圖，解釋了一個存儲器表；
圖50為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十三實施例的結構；圖51為一個流程圖，解釋了當中央處理單元構成圖象存儲器管理器時中央處理單元的操作；圖52為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十四實施例的結構；圖53為一個流程圖，解釋了當中央處理單元構成圖象存儲器管理器時中央處理單元的操作；圖54為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十五實施例的結構；圖55A，55B，55C和55D分別為解釋第五實施例操作的視圖；圖56為一個流程圖，用于解釋第五實施例的操作圖57為一個視圖，解釋了攝像機座的控制；圖58為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十六實施例的結構；圖59為解釋實施例16的操作的流程圖；圖60為解釋實施例16的操作的流程圖；圖61為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例17的操作的流程圖；圖62為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十八實施例的結構；圖63為解釋實施例18的操作的流程圖；圖64為一個系統(tǒng)框圖，顯示了根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十九實施例的結構；
圖65為解釋實施例19的操作的流程圖；圖66為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例20的操作的流程圖；圖67A和67B分別為解釋當跟蹤多個進入的目標標號過程的視圖；圖68為解釋標號過程的流程圖；圖69為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例21的操作的流程圖；圖70為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例22的操作的流程圖；圖71為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例23的操作的流程圖；圖72為解釋根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例24的操作的流程圖。
首先參照圖2—圖10描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第一實施例。
圖2顯示了第一實施例的一般結構。在圖2中，所述局部區(qū)域圖象跟蹤裝置包括一個圖象拾取裝置1，例如一個攝像機，一個包含A/D轉換器的圖象輸入單元2，多個相關性跟蹤處理器4—1到4—M，通過圖象數(shù)據(jù)總線3與圖象輸入單元2相連。換句話說，多個相關性跟蹤處理器4—1到4—M通過圖象數(shù)據(jù)總線3與圖象輸入單元并聯(lián)。相關性跟蹤處理器4—1到4—M分別具有相同的結構。
由圖象拾取裝置1拾取的圖象數(shù)據(jù)在圖象輸入單元2中被轉換成數(shù)字圖象數(shù)據(jù)，并通過圖象數(shù)據(jù)總線3的幀同步信號線，象素時鐘信號線和圖象數(shù)據(jù)信號線被送到每個相關性跟蹤處理器4—1到4—M。在象素時鐘信號線上傳送的象素時鐘和在圖象數(shù)據(jù)信號線上傳送的圖象數(shù)據(jù)具有圖3所示的時序關系。相關性跟蹤處理器4—1至4—M的每個響應于象素時鐘的上升沿鎖存每個象素時鐘并將象素數(shù)據(jù)存儲在相應的圖象存儲器中。
通過有選擇地操作并聯(lián)的相關性跟蹤處理器4—1至4—M的任一個，可以以高速進行跟蹤處理。每個相關性跟蹤處理器4—1至4—M有選擇地轉換和使用圖象存儲器，使得向圖象存儲器的寫入過程和讀出過程，以及執(zhí)行相關性運算可以以并行方式進行，從而，可以對圖象數(shù)據(jù)的每一幀執(zhí)行跟蹤處理。
圖4為一個系統(tǒng)框圖，顯示了該實施例的相關性跟蹤處理器4的結構。其中，相關性跟蹤處理器4包括一個圖象輸入控制器5，連接于圖象數(shù)據(jù)總線3，一個檢索圖象存儲器6，一個參考圖象存儲器7，和一個相關運算單元8。圖象輸入控制器5，檢索圖象存儲器6，參考圖象存儲器7，相關運算單元8都提供于一個單一的結構上。
與由圖象拾取裝置1拾取裝圖象相關的模擬圖象數(shù)據(jù)被在圖象輸入單元2中轉換成數(shù)字圖象數(shù)據(jù)，并通過相關性跟蹤處理器4的圖象輸入控制器5被相繼地存儲到檢索圖象存儲器6中。參考圖象存儲器7預先存儲與要跟蹤的目標相關的參考圖象數(shù)據(jù)。相關性運算單元8執(zhí)行相關性運算，以便得出指示檢索圖象存儲器6內的圖象數(shù)據(jù)和參考圖象存儲器7內的參考圖象數(shù)據(jù)之間的相關性的相關值。于是由相關值峰值位置檢測器(未示出)檢測出該相關值的峰值位置，即在被拾取的圖象中具有最高相關性的位置。因此，在相關值峰值位置檢測器中總能夠檢測出相關值的峰值位置，根據(jù)該峰值位置，可以在拾取的圖象中以實時的方式跟蹤預定的目標。
相關性運算單元8針對檢索圖象存儲器6中的圖象數(shù)據(jù)和參考圖象存儲器7中的參考圖象數(shù)據(jù)執(zhí)行下述操作。為了方便起見，假定參考圖象如圖5所示由8×8象素構成，該參考圖象的象素值用Xi，j表示。在該例中，如圖16所示，檢索圖象是由16×16象素構成的，相關性運算單元8利用與圖7所示的檢索圖象內的參考圖象相同尺寸的局部區(qū)域圖象執(zhí)行下面公式的操作。在下面的公式中，Yi，j表示檢索圖象內的象素值，Dm，n表示一個相關值通過數(shù)字值m＝0，...，7，n＝0，...，7指示兩個圖象的相近程度。Dm,n=Σi=07Σj=07|Xi,j-Yi+m,j+n|]]>在上述的公式中，兩個圖象越接近，Dm，n值越小。
圖8顯示了實際參考圖象的例子，圖9顯示了實際檢索圖象的例子。圖10顯示了對圖8顯示的實際參考圖象和圖9顯示的實際檢索圖象執(zhí)行相關性運算的結果。在該例中，當m＝5，n＝4時，Dm，n具有一個最小值，指示在該位置的局部區(qū)域圖象最接近參考圖象。
執(zhí)行相關性運算可以發(fā)現(xiàn)最接近參考圖象的圖象位置。因此，通過對運動圖象的每一幀執(zhí)行這種相關性運算，就可以跟蹤圖象內的運動的目標。
如果上述公式描述的的相關性運算處理由相關性運算單元8執(zhí)行到這樣一種程度，即在32×32象素的檢索圖象內對256局部區(qū)域的16×16象素構成的參考圖象進行相關性運算，以得到相關值的話，已經研制了用于相關性運算單元的大規(guī)模集成電路(LSI)，包括相關值峰值位置檢測器在內，用于檢測相關值的峰值位置。在這種LSI中，用于上述相關性運算的運算時間僅為500微秒或更少。例如，可以采用S.G.S Thomson生產的STI3220 LSI作為相關性運算單元8。因此，在此實施例中，將參考圖象的尺寸設置為16×16象素，即可以實現(xiàn)高速局部區(qū)域圖象跟蹤裝置，在一幀的時間內，執(zhí)行50—70次相關性運算。
此外，即使要跟蹤目標數(shù)目很大，對于每個目標的相關性運算也可以分散到多個相關性跟蹤處理器4—1至4—M，并以并行的方式由他們執(zhí)行處理。因此，不管要跟蹤的目標的個數(shù)如何，都可以以高速執(zhí)行跟蹤處理。
下面參照圖11—圖17描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第二實施例。在該實施例中，也采用了圖2所示的第一實施例的基本結構。
圖11為一個系統(tǒng)框圖，顯示了第二實施例的相關性跟蹤處理器4的結構。在圖11中，相關性跟蹤處理器4包括選擇器11，17和18，圖象存儲器12—1，12—2，12—3，地址選擇器15和16，存儲器選擇器19，參考圖象地址產生器20，檢索圖象地址產生器21，相關性運算單元22，峰值位置檢測器23，其連接如圖所示。在該實施例中，3個圖象存儲器12—1到12—3被有選擇地用于在每一幀中實現(xiàn)跟蹤處理，檢索圖象以每一幀的輸入，和參考圖象的以任意幀的間隔的刷新。
選擇器從圖象數(shù)據(jù)總線3的圖象數(shù)據(jù)信號線接收8比特輸入圖象數(shù)據(jù)。選擇器11根據(jù)一個來自存儲器選擇器19的2比特輸入存儲器選擇信號提供8比特輸入圖象數(shù)據(jù)到3個圖象存儲器12—1至12—3這的選擇一個。
圖12為一個系統(tǒng)框圖，顯示了存儲器選擇器19的實例。在圖12中，存儲器選擇器19包括一個常數(shù)只讀存儲器ROM 31，一個比較器32，一個幀計數(shù)器33，一個鎖存電路34，一個反相器35，一個觸發(fā)器36，和一個ROM 37，其連接如圖所示。
常數(shù)只讀存儲器31預先存儲指示參考圖象轉換間隔的常數(shù)。另一方面，從圖象數(shù)據(jù)總線3的幀同步信號線得到的幀同步信號經過反相器35被送到幀計數(shù)器33和觸發(fā)器36的時鐘輸入端。相應地，幀計數(shù)器33對來自反相器35的反相的幀同步信號計數(shù)，并將計數(shù)值提供給比較器32。比較器32將從常數(shù)ROM31讀出的常數(shù)與從幀計數(shù)器33輸出的計數(shù)值進行比較，當比較的常數(shù)值和計數(shù)值相匹配時，輸出一個轉換脈沖。該轉換脈沖開始參考圖象存儲器的轉換。該轉換脈沖被提供到參考圖象地址產生器20，如圖11所示，同時也送到鎖存電路34和觸發(fā)器36的清零端。
觸發(fā)器36的A/Q輸出(反相Q輸出)被送到其數(shù)據(jù)輸入端D，觸發(fā)器36的Q輸出端被送到ROM 37，作為ROM 37的地址信號比特的1比特輸出。余下的ROM的地址信號的4比特由鎖存電路34提供。ROM 37預先存儲與圖象存儲器12—1至12—3的選擇相關的選擇數(shù)據(jù)。從ROM 37讀出的由5比特地址信號規(guī)定的選擇數(shù)據(jù)被輸出，作為2比特檢索圖象存儲器選擇信號和2比特參考圖象存儲器選擇信號。輸入圖象存儲器選擇信號決定圖象存儲器12—1至12—3中的哪一個被作為輸入圖象存儲器，用于存儲輸入圖象數(shù)據(jù)。同樣，檢索圖象存儲器選擇信號決定圖象存儲器12—1至12—3中的哪一個被作為檢索圖象存儲器，用于存儲檢索圖象數(shù)據(jù)。參考圖象存儲器選擇信號決定圖象存儲器12—1至12—3中的哪一個被作為參考圖象存儲器，用于存儲參考圖象數(shù)據(jù)。
所述2比特輸入圖象存儲器選擇信號和2比特檢索圖象存儲器選擇信號被提供到ROM37作為經過鎖存電路34的余下的4位地址信號。此外，2比特輸入圖象存儲器選擇信號被送到選擇器11，2比特檢索圖象存儲器選擇信號被送到地址選擇器15和選擇器18，2比特參考圖象存儲器選擇信號被送到地址選擇器16和選擇器17。
圖13為一視圖，顯示了提供到ROM 37的5比特位地址。如圖13所示，該地址信號由比特A0到A4構成。比特A0對應于來自觸發(fā)器36的信號。比特A1和A2對應于經過鎖存電路34得到的2比特檢索圖象存儲器選擇信號。比特A3和A4對應于經過鎖存電路34得到的2比特輸入圖象存儲器選擇信號。根據(jù)比特A0是‘0’或‘1’，圖象存儲器12—1至12—3被轉換，以便有選擇地交替輸入圖象數(shù)據(jù)到作為參考圖象存儲器的圖象存儲器之外的兩個圖象存儲器。
圖14顯示了提供到ROM 37的5比特地址信號值(ROM地址)，根據(jù)ROM地址從ROM 37讀出的選擇數(shù)據(jù)，即2比特輸入圖象存儲器選擇信號，2比特檢索圖象存儲器選擇信號和2比特參考圖象存儲器選擇信號的關系。例如，當ROM地址值為“2”，輸入圖象存儲器選擇信號值為“2”，檢索圖象存儲器選擇信號值為“0”，參考圖象存儲器選擇信號值為“1”。在該例中，圖象存儲器12—1當圖象存儲器選擇信號值為“1”時被選擇，當圖象存儲器選擇信號值為“2”時，圖象存儲器12—3被選擇。相應地，當存儲器地址值為“2”時，圖象存儲器12—3被選擇為輸入圖象存儲器，圖象存儲器12—1被選為檢索圖象存儲器，圖象存儲器12—2被選為參考圖象存儲器。換句話說，圖22所示的選擇器11根據(jù)輸入圖象存儲器選擇信號值為“0”，“1”，或“2”有選擇地提供圖象數(shù)據(jù)到圖象存儲器12—1，12—2或12—3。。當然，圖14并未示出所有的關系，為了方便起見只是示出了一部分關系。
圖11所示的地址選擇器15，根據(jù)來自存儲器選擇器19的檢索圖象存儲器選擇信號，提供從一個從檢索圖象地址產生器21產生的18比特的檢索圖象地址到圖象存儲器12—1至12—3其中之一的以被選為檢索圖象存儲器的那個存儲器。此外，地址選擇器16，根據(jù)來自存儲器選擇器19的參考圖象存儲器選擇信號，提供從一個從參考圖象地址產生器20產生的18比特的檢索圖象地址到圖象存儲器12—1至12—3其中之一的以被選為參考圖象存儲器的那個存儲器。
從圖象存儲器12—1至12—3讀出的圖象數(shù)據(jù)被送到選擇器17和18的每一個。如上所述，選擇器17接收來自存儲器選擇器19的檢索圖象存儲器選擇信號，選擇器18接收來自存儲器選擇器19的參考圖象存儲器選擇信號。于是，在從圖象存儲器12—1至12—3讀出的圖象數(shù)據(jù)中，選擇器17和18只選擇檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)并將這些數(shù)據(jù)送到相關性運算單元22。通過執(zhí)行與實施例1相似的相關性運算，相關性運算單元22得出相關值。該值從相關性運算單元22被送到峰值位置檢測器23。由于峰值位置檢測器23輸出一個指示峰值位置的18比特峰值地址，根據(jù)該峰值位置，可以以實時的方式，在拾取的圖象中跟蹤預定的目標。從峰值位置檢測器23輸出的18比特峰值位置地址被送到參考圖象地址產生器20和檢索圖象地址產生器21。
圖15為一個系統(tǒng)框圖，顯示了檢索圖象地址產生器21的實例。在圖15中，檢索圖象地址產生器21包括常數(shù)ROM 41，43，47和49，加法器42，46，48和52，X地址計數(shù)器44，比較器45和51，Y地址計數(shù)器50，其連接如圖所示。
常數(shù)ROM 41預先存儲了一個9比特X地址最小值(偏移值)。加法器42加上一個9比特x地址最小值(從常數(shù)ROM 41讀出)和從峰值位置檢測器23輸出的18比特峰值位置地址以外的圖象數(shù)據(jù)的X地址相關的9比特，如圖11所示，將該加上9比特的值送到加法器46。X地址計數(shù)器44對從圖象數(shù)據(jù)總線3的象素時鐘信號線得到的象素時鐘信號進行計數(shù)，將9比特計數(shù)值送到加法器46和比較器45。象素時鐘信號是根據(jù)形成圖象數(shù)據(jù)的每個象素(圖象元)而產生的。
另一方面，常數(shù)ROM 43預先存儲一個9比特X尺寸數(shù)據(jù)。X—尺寸數(shù)據(jù)指示X方向檢索圖象的尺寸(幅度)。比較器45比較從常數(shù)ROM 45讀出的X尺寸數(shù)據(jù)和從X地址計數(shù)器44輸出的計數(shù)值，如果二者相互匹配，則輸出一個匹配信號。該匹配信號被送到X地址計數(shù)器44的一個清零端對其清零，并且也送到Y地址計數(shù)器50。
Y地址計數(shù)器50對匹配信號計數(shù)并將一個9比特計數(shù)值送到加法器52和比較器51。常數(shù)ROM 47預先存儲一個9比特Y地址最小值(偏移值)。加法器48加上一個9比特Y地址最小值(從常數(shù)ROM 47讀出)和從峰值位置檢測器23輸出的18比特峰值位置地址以外的圖象數(shù)據(jù)的Y地址相關的9比特，如圖11所示，將該加上9比特的值送到加法器52。常數(shù)ROM 49預先存儲一個9比特Y尺寸數(shù)據(jù)。Y尺寸數(shù)據(jù)指示Y方向檢索圖象的尺寸(幅度)。比較器51比較從常數(shù)ROM 49讀出的Y尺寸數(shù)據(jù)和從Y地址計數(shù)器50輸出的計數(shù)值，如果二者相互匹配，則輸出一個匹配信號。該匹配信號被送到Y地址計數(shù)器50的一個清零端對其清零。
于是，從加法器46中得到檢索圖象地址的9比特的低地址，從加法器52中得到檢索圖象地址的9比特高地址。從加法器46和52中，得到具有18比特的檢索圖象地址，并送到圖11所示的地址選擇器15。
圖16為一個系統(tǒng)框圖，顯示了參考圖象地址產生器20的實例。在圖16中，參考圖象地址產生器20包括一個鎖存電路55，常數(shù)ROM 56，58，62和64，選擇器57和63，X地址計數(shù)器59，比較器60和66，Y地址計數(shù)器65，和加法器61和67，其連接如圖所示。
如圖11所示，鎖存電路55接收來自存儲器選擇器19的轉換脈中，該鎖存電路55的輸出被送到選擇器57和63。常數(shù)ROM 56預先存儲一個9比特X地址最小值，常數(shù)ROM62預先存儲一個9比特Y地址最小值。除了從圖11所示的峰值位置檢測器23輸出的18比特峰值位置，與圖象數(shù)據(jù)的X地址相關的9比特被送到選擇器57。此外，除了從峰值位置檢測器23輸出的18比特峰值位置，與圖象數(shù)據(jù)的Y地址相關的9比特被送到選擇器63。選擇器57根據(jù)鎖存電路55的輸出有選擇地提供從常數(shù)ROM 56讀出的X地址最小值和峰值位置內的X地址之中的一個。選擇器63根據(jù)鎖存電路55的輸出有選擇地提供從常數(shù)ROM 62讀出的Y地址最小值和峰值位置內的Y地址之中的一個。
X地址計數(shù)器59對從圖象數(shù)據(jù)總線3的象素時鐘信號線得到的象素時鐘信號計數(shù)，并將9比特的計數(shù)值送到加法器61和比較器60。常數(shù)ROM 58預先存儲一個9比特X尺寸數(shù)據(jù)。X—尺寸數(shù)據(jù)指示X方向參考圖象的尺寸(幅度)。比較器60比較從常數(shù)ROM 58讀出的X尺寸數(shù)據(jù)和從X地址計數(shù)器59輸出的計數(shù)值，如果二者相互匹配，則輸出一個匹配信號。該匹配信號被送到X地址計數(shù)器59的一個清零端對其清零，并且也送到Y地址計數(shù)器65。
Y地址計數(shù)器65對匹配信號計數(shù)并將一個9比特計數(shù)值送到加法器67和比較器66。常數(shù)ROM 64預先存儲一個9比特Y尺寸。Y尺寸數(shù)據(jù)指示Y方向參考圖象的尺寸(幅度)。比較器66比較從常數(shù)ROM 64讀出的Y尺寸數(shù)據(jù)和從Y地址計數(shù)器65輸出的計數(shù)值，如果二者相互匹配，則輸出一個匹配信號。該匹配信號被送到Y地址計數(shù)器65的一個清零端對其清零。
因此，從加法器61中得到參考圖象地址的9比特的低地址，從加法器67中得到參考圖象地址的9比特高地址。從加法器61和67中，得到具有18比特的參考圖象地址，并送到圖11所示的地址選擇器16。
于是，當針對該實施例中的輸入圖象，確定參考圖象并執(zhí)行跟蹤處理時，除了被選擇作為參考圖象存儲器的一個圖象存儲器被選為檢索圖象存儲器，剩下的一個圖象存儲器被選為輸入圖象存儲器。相關性運算單元22中的相關性運算使用最新的輸入圖象作為檢索圖象，其輸入被完成。此外，通過使用在當前幀用作檢索圖象存儲器的圖象存儲器在下一個后續(xù)幀中作為參考圖象存儲器，可以刷新參考圖象。在參考圖象被刷新后的一幀中，在前一幀中作為輸入圖象存儲器的圖象存儲器被作為檢索圖象存儲器，在前一幀中作為參考圖象存儲器的圖象存儲器被用作輸入圖象存儲器。結果，3個圖象存儲器12—1至12—3被轉換使用，使得跟蹤處理可以在每一幀進行，可以在每一幀中進行檢索圖象的輸入，參考圖象可以在任意幀間隔被刷新。
圖17顯示了解釋圖象存儲器12—1至12—3的轉換的視圖。在圖17中，方塊標志表示圖象存儲器正存儲著參考圖象，圓形標志指示圖象存儲器正存儲著檢索圖象數(shù)據(jù)，實線指示圖象存儲器正在存儲輸入圖象數(shù)據(jù)。此外，箭頭SW1和SW2分別指示參考圖象存儲器根據(jù)圖11所示的存儲器選擇器的選擇脈沖，參考圖象存儲器轉換的時間。更具體地說，SW1指示參考圖象存儲器從圖象存儲器12—1被轉換到圖象存儲器12—2的時間，SW2指示參考圖象存儲器從圖象存儲器12—2被轉換到圖象存儲器12—3的時間。
下面，參考圖18到22描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第三實施例。該實施例將也采用圖2所示的基本結構。
圖18為一個系統(tǒng)框圖，顯示了第三實施例的相關性跟蹤處理器4的結構。在圖18中，與圖11中相同的部件用相同的標號表示并省略了其描述。
在該實施例中，如果N為大于或等于4的整數(shù)，在圖18中提供了N個圖象存儲器12—1至12—N。此外，存儲器選擇器19A輸出一個n比特輸入圖象存儲器選擇信號，一個n比特檢索圖象存儲器選擇信號，一個n比特參考圖象存儲器選擇信號。其它部分基本與圖11所示的相同。在該實施例中，2n-1＜N-1＜2n。
圖19為一個系統(tǒng)框圖，顯示了圖18所示的存儲器選擇器19A的實施例。在圖19中，與圖12中相同的部件用相同的標號表示并省略了其描述。在圖19所示的存儲器選擇器19A中，ROM地址具有3n＋1比特，ROM37分別具有n比特的輸入圖象存儲器選擇信號，檢索圖象存儲器選擇信號，參考圖象存儲器選擇信號。此外，鎖存電路34接收從ROM37讀出的n比特的輸入圖象存儲器選擇信號。另外，其它部分基本與圖12所示的存儲器選擇器相同。
圖20解釋了送到圖19所示的ROM37的(3n＋1)比特的地址信號。如圖20所示，該地址信號由比特A0至A3n組成。比特A0對應于來自觸發(fā)器36的信號。比特A1至An對應于從鎖存電路34得到的n比特的輸入圖象存儲器選擇信號。比特An＋1至A2n對應于從鎖存電路34得到的。此外，比特A2n＋1至A3n對應于從鎖存電路34得到的n比特參考圖象存儲器選擇信號。圖象存儲器12—1至12—N的轉換是根據(jù)比特A0是“0”或“1”來執(zhí)行的，以便交替地輸入圖象數(shù)據(jù)到參考圖象存儲器之外的兩個圖象存儲器。
圖21顯示了送到圖19所示的ROM 37的(3n＋1)比特的地址信號(ROM地址)值，根據(jù)ROM地址，從ROM 37讀出的選擇數(shù)據(jù)，即n比特的輸入圖象存儲器選擇信號值，n比特的檢索圖象存儲器選擇信號值，n比特參考圖象存儲器選擇信號值。為方便起見，圖21顯示當n＝3和N＝6的情況。例如，ROM地址值為“34”，n比特的輸入圖象存儲器選擇信號值為“3”，n比特的檢索圖象存儲器選擇信號值為“1”，n比特參考圖象存儲器選擇信號值為“2”。在該例中，當圖象存儲器選擇信號值為“0”時，圖象存儲器12—1被選擇，當圖象存儲器選擇信號值為“1”時，圖象存儲器12—2被選擇，當圖象存儲器選擇信號值為“2”時，圖象存儲器12—3被選擇，當圖象存儲器選擇信號值為“3”時，圖象存儲器12—4被選擇。相應地，當ROM地址值為“34”，圖象存儲器12—4被選為輸入圖象存儲器，圖象存儲器12—2被選為檢索圖象存儲器，圖象存儲器12—3被選為參考圖象存儲器。換句話說，根據(jù)輸入圖象存儲器選擇信號值是“0”，“1”，...或“N－1”，圖18所示的選擇器11有選擇地提供圖象數(shù)據(jù)到圖象存儲器12—1，12—2….，或12—N。當然，圖21中并未示出所有的關系，而只是示出了這些關系的一部分。
如上所述，當針對該實施例中的輸入圖象，確定參考圖象并執(zhí)行跟蹤處理時，除了被選擇作為參考圖象存儲器的一個圖象存儲器被選為檢索圖象存儲器，剩下的一個圖象存儲器被選為輸入圖象存儲器。相關性運算單元22中的相關性運算使用最新的輸入圖象作為檢索圖象，其輸入被完成。此外，通過使用在當前幀用作檢索圖象存儲器的圖象存儲器在下一個后續(xù)幀中作為參考圖象存儲器，可以刷新參考圖象。在參考圖象被刷新后的一幀中，在前一幀中作為輸入圖象存儲器的圖象存儲器被作為檢索圖象存儲器，在前一幀中作為參考圖象存儲器的圖象存儲器被用作輸入圖象存儲器。結果，N個圖象存儲器12—1至12—N被轉換使用，使得跟蹤處理可以在每一幀進行，可以在每一幀中進行檢索圖象的輸入，參考圖象可以在任意幀間隔被刷新。
此外，當刷新參考圖象時，在前一幀作為參考圖象存儲器的圖象存儲器可以被未被選用的并沒有存儲參考圖象數(shù)據(jù)的圖象存儲器所取代。如果過去的參考圖象數(shù)據(jù)被存儲在所有的未被選用的圖象存儲器中，也可以將在前一幀用作參考圖象存儲器的圖象存儲器用存儲最早的參考圖象數(shù)據(jù)的圖象存儲器替代。此外，存儲器選擇器19A也具有用在該時間點作為參考圖象存儲器的圖象存儲器替代以任意幀存儲參考圖象數(shù)據(jù)的圖象存儲器的功能。因此，可以存儲多個候選的參考圖象，通過有選擇地使用除了過去刷新的參考圖象以外的具有最高相關性的參考圖象，高度可靠地執(zhí)行跟蹤處理。
圖22顯示了解釋圖象存儲器12—1至12—N的轉換的視圖。在圖22中，方塊標志表示圖象存儲器正存儲著參考圖象，圓形標志指示圖象存儲器正存儲著檢索圖象數(shù)據(jù)，實線指示圖象存儲器正在存儲輸入圖象數(shù)據(jù)。此外，箭頭SW1和SW2分別指示參考圖象存儲器根據(jù)圖18所示的存儲器選擇器19A的選擇脈沖，參考圖象存儲器轉換的時間。更具體地說，SW1指示參考圖象存儲器從圖象存儲器12—i被轉換到圖象存儲器12—j的時間，SW2指示參考圖象存儲器從圖象存儲器12—j被轉換到圖象存儲器12—k的時間，其中，i，j和k為l到N的互不相同的整數(shù)。
下面，參考圖23描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第四實施例。該實施例將也采用圖2所示的基本結構。
圖23為一個系統(tǒng)框圖，顯示了第四實施例的相關性跟蹤處理器4的結構。在圖23中，與圖18中相同的部件用相同的標號表示并省略了其描述。
在該實施例中，在選擇器17和相關性運算單元22之間提供了一個先入先出(FIFO)68，在選擇器18和相關性運算單元22之間提供了一個先入先出(FIFO)69，如圖23所示。來自選擇器18和19的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)被送到對應的FIFO 68和69并相繼存儲在FIFO 68和69中。當可讀的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)存在于FIFO 68和69中時，關性運算單元22開始，并且通過從FIFO 68和69中讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)執(zhí)行相關性運算。
根據(jù)該實施例，利用選擇器17和18取出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，即，從圖象存儲器12—1至12—N，相關性運算單元22針對檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的相關性運算以并行的方式進行。因此，可以進一步改進跟蹤處理的速度。
下面參見圖24至27描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤處理裝置的第五實施例。
圖24為一系統(tǒng)框圖，顯示了第五實施例的結構。在圖24中，局部區(qū)域圖象跟蹤處理裝置包括一個圖象拾取裝置1，例如，一臺攝像機，一個包括A/D轉換器的圖象輸入單元2，多個相關性跟蹤處理器4—1至4—M，通過圖象總線3連接到圖象輸入單元2，一個控制計算機70，和一個控制計算機總線71。換句話說，多個相關性跟蹤處理器4—1至4—M通過圖象數(shù)據(jù)總線3與圖象輸入單元2并聯(lián)，并且相關性跟蹤處理器4—1至4—M通過控制計算機總線71與控制計算機并聯(lián)。相關性跟蹤處理器4—1至4—M分別具有相同的結構。
由圖象拾取裝置1拾取的圖象數(shù)據(jù)在圖象輸入單元2中被轉換成數(shù)字圖象數(shù)據(jù)，并通過圖象數(shù)據(jù)總線3的幀同步信號線，象素時鐘信號線和圖象數(shù)據(jù)信號線被送到每個相關性跟蹤處理器4—1到4—M。在象素時鐘信號線上傳送的象素時鐘和在圖象數(shù)據(jù)信號線上傳送的圖象數(shù)據(jù)具有圖3所示的時序關系。相關性跟蹤處理器4—1至4—M的每個響應于象素時鐘的上升沿鎖存每個象素時鐘并將象素數(shù)據(jù)存儲在相應的圖象存儲器中。
通過有選擇地操作并聯(lián)的相關性跟蹤處理器4—1至4—M的任一個，可以以高速進行跟蹤處理。每個相關性跟蹤處理器4—1至4—M有選擇地轉換和使用圖象存儲器，使得向圖象存儲器的寫入過程和讀出過程，以及執(zhí)行相關性運算可以以并行方式進行，從而，可以對圖象數(shù)據(jù)的每一幀執(zhí)行跟蹤處理。
控制計算機70通過控制計算機總線71對相關性處理器4—1至4—M進行各種控制。包括刷新參考圖象的控制，選擇和轉換圖象存儲器的控制。相關性處理器4—1至4—M分別具有提供有各種控制寄存器的控制計算機接口，根據(jù)其本身控制計算機接口內的控制寄存器中設置的值，相關性處理器4—1至4—M可被控制?？刂朴嬎銠C接口內的控制寄存器被映射為控制計算機總線上的不同的地址空間，當控制計算機70訪問預定的地址空間時，進行對控制計算機接口內的控制寄存器的讀出和寫入。換句話說，控制寄存器中的值可以從控制計算機70任意設置。此外，控制計算機70控制計算機70管理通過控制計算機總線71從每個相關性跟蹤處理器4—1至4—M得到的相關值的峰值位置，因此，可以很容易地跟蹤一個或多個運動的目標。
例如，符合VME標準的總線可以用作控制計算機總線71。該例中，采用了具有VME標準的計算機作為控制計算機70。
圖25為一個系統(tǒng)框圖，顯示了該實施例的相關性跟蹤處理器4的結構。在圖25中，與圖18中相同的部件用相同的標號表示并省略了其描述。
在該例中，提供了如圖25所示的控制計算機接口71。該控制計算機接口74通過控制計算機總線71連接到控制計算機70。此外，控制計算機接口74也接到存儲器選擇器19B。
圖26為一個系統(tǒng)框圖，顯示了相關性存儲器選擇器19B連同控制計算機接口74的一部分的實例。在圖26中，與圖19中相同的部件用相同的標號表示并省略了其描述。
在圖26中，存儲器選擇器19B包括一個鎖存電路76，替代比較器32和幀計數(shù)器33，如圖19所示。該鎖存電路76接收一個存儲在控制計算機接口內的控制寄存器77中的刷新指令標志RN，刷新指令標志RN可以通過控制計算機總線71從控制計算機70設置，當設置時，該刷新指令標志RN向存儲器選擇器19B指令刷新參考圖象。鎖存電路76也接收從反相器35得到的反相的幀同步信號。如圖27所示，當幀同步信號處于刷新指令RN被設置的狀態(tài)，鎖存電路76響應于幀同步信號的下降沿，輸出一個轉換脈沖?？刂朴嬎銠C接口74內的控制寄存器77存儲了除了刷新指令標志RN以外的各種標志，控制計算機接口74具有除了控制寄存器77以外的各種控制寄存器，但是，這種標志和控制寄存器并不直接涉及本發(fā)明的主題，因此，本說明書中略去了其描述。
下面，參照圖28和29描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第六實施例，該實施例采用了圖24所示的第五實施例相似的結構。
圖28為一個系統(tǒng)框圖，顯示了該實施例的相關性跟蹤處理器4的結構。在圖28中，與圖23中相同的部件用相同的標號表示并省略了其描述。
在該實施例中，參考圖象地址產生器20B分別通過控制計算機接口74B和控制計算機總線71連接到控制計算機70。因此，參考圖象地址產生器20B和檢索圖象地址產生器21B根據(jù)來自控制計算機的指令，可以分別產生參考圖象地址和檢索圖象地址。
圖29為一個系統(tǒng)框圖，顯示了參考圖象地址產生器20B，檢索圖象地址產生器21B，控制計算機接口74B的一部分。在圖29中，與圖15中相同的部件用相同的標號表示并省略了其描述。
如圖29所示，參考圖象地址產生器20B沒有存儲X地址最小值的常數(shù)ROM56和存儲Y地址最小值的常數(shù)ROM62。而是在控制計算機接口74B內提供了對應于常數(shù)ROM 56的X地址最小值寄存器56B和對應于常數(shù)ROM 62的Y地址最小值寄存器62B。類似地，檢索圖象地址產生器21B沒有存儲X地址最小值的常數(shù)ROM 41和存儲Y地址最小值的常數(shù)ROM47。而是在控制計算機接口74B內提供了對應于常數(shù)ROM 41的X地址最小值寄存器41B和對應于常數(shù)ROM 47的Y地址最小值寄存器47B。
因此，根據(jù)該實施例，通過從控制計算機70設置每個寄存器56B，62B，41B和47B，可以任意確定參考圖象的X和Y地址最小值和檢索圖象的X和Y地址最小值。此外，盡管略去了其圖示，通過在控制計算機接口74B內提供對應的寄存器，可以省略參考圖象地址產生器20B內的常數(shù)ROM 58，64，使得可以以類似的方式，從控制計算機70任意設置參考圖象的X和Y尺寸。另外，通過在控制計算機接口74B內提供對應的寄存器，可以省略參考圖象地址產生器21B內的常數(shù)ROM 43和49，使得可以以類似的方式，從控制計算機70任意設置參考圖象的X和Y尺寸。
下面，參照圖30至36描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第七實施例，該實施例采用了圖24所示的第五實施例相似的結構。
圖30為一個系統(tǒng)框圖，顯示了該實施例的相關性跟蹤處理器4的結構。在圖30中，與圖28中相同的部件用相同的標號表示并省略了其描述。
在該實施例中，控制計算機接口74C接于相關性運算單元22，峰值位置檢測器23，存儲器選擇器19B，參考圖象地址產生器20B和檢索圖象地址產生器21B。
圖31為一個系統(tǒng)框圖，顯示了在圖30中所示的控制計算機接口74C的實施例的一部分?？刂朴嬎銠C接口74C包括FIFO 81和84，地址產生計數(shù)器82，雙端存儲器83，寄存器85。FIFO 81相繼地存儲從相關性運算單元22輸出的相關值，從FIFO 81輸出的每個相關值都以地址產生計數(shù)器82產生的地址存儲在雙端存儲器83中。如果假定相關性運算單元22參考圖象及檢索圖象內的256個局部區(qū)域圖象的相關值，地址產生計數(shù)器82反復地產生地址“0”至“256”?？刂朴嬎銠C70可以通過控制計算機總線71參考存儲在雙端存儲器83中的相關值。另一方面，F(xiàn)IFO 84相繼地存儲來自峰值位置檢測器23的峰值位置，例如，存儲在寄存器85中的相對于256相關值的1峰值位置?？刂朴嬎銠C70可以通過控制計算機總線71參考存儲在寄存器85中的峰值位置。
圖32示出了256個相關值向雙端存儲器83的存儲。在圖32中，左部分顯示了檢索圖象，右部分顯示了存儲在雙端存儲器83中的相關值Di，j。
圖33為一個系統(tǒng)框圖，顯示了圖30所示的控制計算機接口74C的第二實施例的一部分。在圖33中，與圖31中相同的部件用相同的標號表示并省略了其描述。
在圖33中，控制計算機接口74C包括FIFO 81，地址產生計數(shù)器82，雙端存儲器83，加法器87，鎖存電路88。雙端存儲器83響應于第一幀開始時幀同步信號的上升沿而被清零。因此，從雙端存儲器83讀出的相關值通過鎖存電路88被送到加法器87。因此，前一個相關值的相加值和目前的相關值從加法器87被送到雙端存儲器83并存儲在雙端存儲器87中。
圖34示出了256個相關值向雙端存儲器83的存儲。在圖34中，左部分顯示了檢索圖象，右部分顯示了存儲在雙端存儲器83中的相關值Di，j，已被加上“0”并被存儲在雙端存儲器83中。
圖35示出了在圖34的狀態(tài)之后256個相關值向雙端存儲器83的存儲。在圖35中，左部分顯示了檢索圖象，右部分顯示了存儲在雙端存儲器83中的相關值D’i，j，已被加上先前的相關值Di，j并被存儲在雙端存儲器83中。
因此，根據(jù)控制計算機接口74C的第二實施例，通過每個跟蹤處理得到的相關值分布被相繼地相加并存儲在雙端存儲器83中。
圖36為一系統(tǒng)框圖，示出了圖30所示的控制計算機接口74C的第三實施例的一部分，在圖36中，與圖333中相同的部件用相同的標號表示并省略了其描述。
在圖36中，控制計算機接口74C包括FIFO 81，地址產生計數(shù)器82，雙端存儲器83，加法器87，鎖存電路88，選擇器89，常數(shù)ROM90，控制寄存器91。選擇器89接收來自加法器87的相加值和從常數(shù)ROM90讀出的值“0”。當在控制寄存器91內設置清除標志CF時，值“0”從雙端存儲器83送出并存儲在雙端存儲器83中對其清零。另一方面，當清除標志CF未被設置時，選擇器89將來自加法器87的相加值送到雙端存儲器83并存儲在雙端存儲器83中。
因此，根據(jù)控制計算機接口74C的第三實施例，由雙端存儲器83中的多個跟蹤處理的每個得到的相關值分布的相加和存儲可以通過從控制計算機70在控制寄存器91中設置或寄存清零標志CF來指令。
下面，參照圖37描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第八實施例，該實施例采用了圖24所示的第五實施例相似的結構。
圖37為一個系統(tǒng)框圖，顯示了相關性跟蹤處理器4連同控制計算機70的一部分的實例。在圖37中，與圖30中相同的部件用相同的標號表示并省略了其描述。
在該實施例中，控制計算機70通過控制計算機總線71相繼向FIFO95和96寫入指示參考圖象和檢索圖象位置的數(shù)據(jù)塊。換句話說，控制計算機70首先向FIFO 95寫入送到參考圖象地址產生器20B的參考圖象的X地址最小值和Y地址最小值。此外，控制計算機70首先向FIFO 95寫入送到參考圖象地址產生器21B的檢索圖象的X地址最小值和Y地址最小值。因此，該實施例大體與圖28和29所示的第六實施例相同，區(qū)別在于該實施例利用FI-FO95和96代替寄存器。
根接該實施例，通過先向FIFO95和96寫入多個數(shù)據(jù)塊，可以在一次操作中執(zhí)行多個跟蹤處理而無需控制計算機70的介入。
下面，參照圖38描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第九實施例，該實施例采用了圖24所示的第五實施例相似的結構。
圖38為一個系統(tǒng)框圖，顯示了該實施例的相關性跟蹤處理4連同控制計算機70的結構的一部分。
在該實施例中，來自相關性運算單元22的相關值被相繼地寫入控制計算機接口74E內的FIFO98，從峰值位置檢測器23輸出的峰值位置被相繼地寫入控制計算機接口74E內的FIFO99。該實施例的操作和結構基本與上述第七實施例相同，區(qū)別在于該實施例沒有使用雙端存儲器及寄存器。
根據(jù)該實施例，控制計算機70可以在任意時刻訪問控制計算機接口74E內的FIFO99，讀出寫入的相關值和峰值位置。
當然，圖37所示的結構和圖38所示的結構可以處于1個控制計算機接口中。
下面，參照圖39至42描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十實施例，該實施例采用了圖24所示的第五實施例相似的結構。此外，相關性跟蹤處理器4的一部分如圖30所示，控制計算機接口74C如圖36和37所示。
圖39為一個流程圖，解釋了該實施例的操作。為方便起見，假定跟蹤處理是針對16n×16m象素的參考圖象進行的。在圖39中，控制計算機70在步驟S1對控制計算機接口74C內的雙端存儲器83清零，在相應的步驟S2和S3中，設置j和i為“0”。此外，控制計算機70在步驟S4在控制計算機接口74C中的FIFO 95中設置檢索圖象地址Rx和Ry，在步驟S5在控制計算機接口74c中的FIFO96中設置檢索圖象地址Sx和Sy。Rx為用Rxo＋16xi表示的參考圖象的X地址最小值，Ry為用Ryo＋16xj表示的參考圖象的Y地址最小值。此外，Sx為用Sxo＋16xi表示的參考圖象的X地址最小值，Sy為用Syo＋16xj表示的參考圖象的Y地址最小值。
相關性運算單元22在步驟S6執(zhí)行相關性運算。因此，控制計算機70在步驟S7增加i，并在步驟S8中確定是否i＝n。如果在步驟S8中的結果是否，處理返回至步驟S4。另一方面，如果在步驟S8中的確定結果為是，控制計算機70在步驟S9中增加j，并在步驟S10確定是否j＝m。如果結果為否，處理返回至步驟S3。另一方面，如果確定結果為是，峰值位置檢測器23在步驟S11檢測相關值位置。當運動矢量用vx和vy代表時，控制計算機70在步驟S20將vx加到Sxo，vy到Syo，流程返回至步驟S1。
圖40A顯示了一個相鄰的參考圖象，圖40B顯示了對應于圖40A中所示的參考圖象的檢索圖象，圖40C顯示了從圖40A和40B所示的參考和檢索圖象得到的相關值分布。
圖41A顯示了另一個相鄰的參考圖象，圖41B顯示了對應于圖41A中所示的參考圖象的檢索圖象，圖41C顯示了從圖41A和41B所示的參考和檢索圖象得到的相關值分布。
此外，圖42A顯示了構成圖40A和40B中所示的相鄰參考圖象的參考圖象，圖42B顯示了對應于圖42B中所示的參考圖象的檢索圖象，圖42C顯示了通過加上圖40C和41C所示的相關值分布得到的相關值分布。換句話說，控制計算機接口74C內的加法器87將圖40C和41C所示的相關值分布相加，圖42C中所示的相關值分布被存儲在雙端存儲器83中。
根據(jù)該實施例，針對相鄰參考圖象的跟蹤處理得出的相關值分布都被相加到一起，得出相加的相關值分布的峰值位置。因此，可以可以對16n×16m象素即任意幅度的16×16象素的參考圖象執(zhí)行跟蹤處理。
下面，參照圖43描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十一實施例，該實施例采用了圖2所示的第一實施例相似的結構，或圖24所示的第五實施例的基本結構。此外，跟蹤處理器4部分可以采用與前述任一實施例相同的結構。
在前述的實施例2到10中，從圖象輸入單元2輸出的圖象數(shù)據(jù)為8比特單色或彩色信息，因此，每個相關性處理器4—1至4—M具有8比特的結構。也就是說，可以使用目前市面上現(xiàn)有的8比特LSI作為相關性運算單元22，很方便地制成局部區(qū)域圖象跟蹤裝置。但是，如果從圖象輸入單元2輸出的圖象數(shù)據(jù)為24比特彩色信息，相關性處理器4—1至4—M要被改進為24比特結構，以適應24比特彩色信息。
圖43為一系統(tǒng)框圖，顯示了該實施例的一部分。在圖43中，一個16M字節(jié)的存儲器(ROM)預先存儲一個轉換表，用于將從圖象輸入單元2輸出的24比特彩色圖象數(shù)據(jù)轉換成8比特偽彩色圖象數(shù)據(jù)。更具體地說，24比特彩色圖象數(shù)據(jù)被輸入到存儲器100作為地址，8比特偽彩色圖象數(shù)據(jù)從存儲器100的輸入地址輸出。
存儲器100可以提供于圖象輸入單元2，在圖象輸入單元2和圖象數(shù)據(jù)總線3之間，或在每個相關性跟蹤處理器4—1至4—M之內。
根據(jù)該實施例，即使從圖象輸入單元2輸出的圖象的比特數(shù)和由每個相關性處理器4—1至4—M處理的比特數(shù)不同，通過在存儲器100中進行必要的轉換，每個相關性跟蹤處理器4—1至4—M也可以設置成處理固定比特數(shù)的結構。存儲器100的輸入比特數(shù)和輸出比特數(shù)并不限于24比特和8比特。
對于每一幀對參考圖象無條件地刷新成檢索圖象內的相關值分布的峰值位置處的區(qū)域圖象是可以想象的。
圖44為一個系統(tǒng)框圖，顯示了采用參考圖象刷新的局部區(qū)域圖象跟蹤裝置。在圖44中，與圖1對應的部分用相同的標號表示，并省略其描述。
在圖44中，假定參考圖象存儲器504預先存儲了參考圖象數(shù)據(jù)。首先，在第一個1幀中，一輸入開關511被轉換到將來自A/D轉換器502的圖象數(shù)據(jù)提供并存儲到緩沖存儲器514的狀態(tài)。另外，輸出開關512被轉換到將來自A/D轉換器504的圖象數(shù)據(jù)提供并存儲到相關性運算單元505的狀態(tài)。
當?shù)谝粋€1幀的相關值的峰值位置被測定并且這一峰值從相關值峰值位置檢測器507反饋到地址產生器506時，輸入開關511和輸出開關裝置512被從上述狀態(tài)轉換，來自A/D轉換器502的圖象數(shù)據(jù)被儲存在參考圖象存儲器504，從緩沖存儲器514讀出的圖象數(shù)據(jù)被送到相關性運算單元505作為參考圖象數(shù)據(jù)。結果，對于每一幀，參考圖象被無條件地刷新為在檢索圖象內的相關值分布峰值位置的區(qū)域的圖象。
然而，如果這一方法被用于對每一幀的參考圖象刷新，跟蹤處理就可能利用一個新的參考圖象——相對參考圖象具有低相關值區(qū)的圖象—執(zhí)行，跟蹤誤差就更容易積累。此外，如果包含噪聲的的區(qū)的圖象作為新參考圖象，跟蹤處理的誤差就更大，局部區(qū)域圖象跟蹤裝置就約受到噪聲的影響。
因此，下面描述一個局部區(qū)域圖象跟蹤裝置，可以去除上述缺點。
下面，參照圖45至49描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十二實施例，在圖45中，與圖44中相同的部件采用相同的標號并略去其說明。
在圖45中，該局部區(qū)域圖象跟蹤裝置包括一個圖象拾取裝置501，A/D轉換器502，檢索圖象存儲器503，相關性運算單元505，相關值峰值位置檢測器507，輸入選擇器111，輸出選擇器112，圖象存儲器113—1至113—N，相關性比較器115，圖象存儲器管理器116，其中N為一個大于或等于3的整數(shù)。在該實施例中，圖象存儲器113—1至113—N中至少有兩個被用作參考圖象存儲器，一個被用作輸入圖象存儲器。
與圖象拾取裝置501拾取的圖象相關的模擬圖象數(shù)據(jù)由A/D轉換器502轉換成數(shù)字圖象數(shù)據(jù)，并一方面相繼存儲在檢索圖象存儲器503，另一方面送到輸入選擇器111。圖象存儲器113—1至113—N被用來存儲過去的輸入圖象數(shù)據(jù)。相關性運算單元505執(zhí)行相關性運算，以便得出只是檢索圖象存儲器503中的圖象數(shù)據(jù)和被用作參考圖象存儲器的圖象存儲器113—1至113—N的一個之中的參考圖象數(shù)據(jù)之間的相關性的相關值。由相關值峰值檢測器507檢測出相關值峰值位置，即拾取圖象中具有最高相關性的位置。于是，從檢測器507中可以不斷地得出相關值峰值位置，根據(jù)個相關值位置，可以以實時的方式在拾取的圖象中跟蹤預定的目標。
相關性運算單元505針對檢索圖象存儲器503中的圖象數(shù)據(jù)和參考圖象存儲器中的參考圖象數(shù)據(jù)進行下述操作。為了方便起見，假定參考圖象度由圖5所示的8×8象素構成的，在個參考圖象內的象素值用Xi，j表示。在該例中，檢索圖象由16×16象素構成，如圖6所示，相關性運算單元505針對具有與圖7所示的參考圖象相同尺寸的局部區(qū)域圖象進行下面公式描述的操作。在公式中，Yi，j表示檢索圖象內的象素值，Dm，n表示兩個值是如何相近的，其中m＝0，...，7，n＝0，...，7。
Dm,n=Σi=07Σj=07|Xi,j-Yi+m,j+n|]]>在上述公式中，兩個值越接近，Dm，n就越小。
圖8顯示了實際參考圖象的例子，圖9顯示了實際檢索圖象的例子。此外，圖10顯示了對圖8所示的參考圖象和圖9所示的檢索圖象由相關性運算單元505執(zhí)行相關性運算而得出的結果。在該特定例子中，當m＝5，n＝4時，Dm，n具有一個最小值，指示在該位置的局部區(qū)域圖象最接近參考圖象。
對圖象執(zhí)行相關性運算可以發(fā)現(xiàn)最接近參考圖象的圖象區(qū)域。因此，通過對每幀運動的圖象執(zhí)行相關性運算，就可以跟蹤在圖象內的運動目標。
如果由相關性運算單元505執(zhí)行的上面公式描述的相關性運算只是到這樣一種程度，即針對由32×32象素構成的檢索圖象內的256個局部區(qū)域圖象相對于16×16象素構成參考圖象進行相關性運算處理，已經研制了一種相關性運算單元的LSI，其中已經包括峰值位置檢測器用于檢測相關值的峰值位置。在這種LSI中，對上述相關性運算處理所需的時間只為500微秒和更少。例如，由S.G.S Thomson生產的LSI STI3220可以用作相關性運算505。因此，通過將參考圖象的尺寸設置成16×16象素，即可以實現(xiàn)小型的高速局部區(qū)域圖象跟蹤裝置，可以在一幀的時間內執(zhí)行50至70次相關性運算。
相關值峰值位置檢測器507對圖10所示的相關值分布的相關值的峰值位置進行檢測，通過相關值比較器115將該峰值位置送到圖象存儲器管理器116。當圖象存儲器管理器116產生圖象存儲器地址時使用該峰值。此外，圖象存儲器管理器116存儲由作為輸入圖象存儲器的圖象存儲器的識別數(shù)字和相關值的峰值位置構成的對，并確定每一幀要作為參考圖象存儲器和輸入圖象存儲器的圖象存儲器。取決于圖象存儲器管理器116的圖象存儲器的確定的轉換信號被送到輸入選擇器111和輸出選擇器112。在每一幀的跟蹤處理中，圖象存儲器113—1至113—N中的作為輸入圖象存儲器和參考圖象存儲器的圖象存儲器被轉換，在檢索圖象內的相關值分布的峰值位置處的區(qū)域的圖象的歷史被存儲，參考圖象被刷新成從所述圖象的歷史中選擇的圖象。
相關性比較器115比較從相關值峰值位置檢測器507得到的每個相關值分布的峰值位置，并確定圖象存儲器(參考圖象存儲器)，存儲具有最高相關值的參考圖象，和圖象存儲器(參考圖象存儲器)，存儲具有最小相關值的參考圖象。相關性比較器115向圖象存儲器管理器116通知該確定結果。上述確定和通知操作是在相繼使用那些除了用作輸入圖象存儲器以外的用作參考圖象存儲器的圖象存儲器執(zhí)行N－1次跟蹤處理時在1幀的時間內執(zhí)行的。
因此，圖象存儲器管理器116存儲由具有最大相關值的峰值位置和目前作為輸入圖象存儲器的圖象存儲器的識別數(shù)字構成的一對，并且使用存儲具有最大相關值的參考圖象的圖象存儲器作為參考圖象存儲器。此外，如果存在可用的或未使用的圖象存儲器，該存儲器作為下一幀的輸入圖象存儲器。另一方面，如果沒有未使用的存儲器存在，存儲具有最小相關值的參考圖象的存儲器用作下一幀的輸入圖象存儲器。用作下一幀輸入圖象存儲器的圖象存儲器的選擇是通過從圖象存儲器管理器116向輸入選擇器111和輸出選擇器112提供轉換信號來實現(xiàn)的。
當然，相關性比較器115可以作為圖象存儲器管理器116的一部分。
根據(jù)本實施例，參考圖象被相繼地刷新成與除了圖象歷史外被存儲在輸入圖象存儲器中的輸入圖象具有最高相關值的圖象。因此，即使在跟蹤過程當中，根據(jù)目標的觀察而外觀有所改變，也可以改善跟蹤處理的可靠性。
下面，參照圖46描述該實施例的操作。圖46為一個流程圖，顯示了中央處理單元CPU的操作，其中圖象存儲器管理器116由該CPU構成。
在圖46中，步驟S21設置具有存儲器號為Mem(I)的存儲器作為輸入圖象存儲器，具有存儲器號為Mem(S)的存儲器作為檢索圖象存儲器，具有存儲器號為R的存儲器作為參考圖象存儲器。在該實施例中，存儲器號的排列如圖47所示。在圖47中，S指示檢索圖象存儲器的排列指數(shù)，I指示輸入圖象存儲器的排列指數(shù)。此外，圖48顯示了存儲器號的排列的初始狀態(tài)，其中參考圖象存儲器的存儲器號R被設定為“0”。
步驟S22將參考圖象數(shù)據(jù)送到相關性運算單元22并開始相關性運算處理，即，跟蹤處理。S23在圖49所示的存儲器表的存儲器號Mem(S)的間隙中寫入相關值峰值的位置的坐標。步驟S24確定是否刷新參考圖象。在圖49所示的存儲器表中，“0”—“N”表示存儲器號，“X0”—“X6”表示相關值峰值位置的X坐標，“Y0”—“Y6”表示相關值峰值位置的Y坐標，“-1”表示在該位置未寫入的坐標。
如果在步驟S24的確定結果為否，S25增加檢索圖象存儲器的排列指數(shù)S。步驟S26確定檢索圖象存儲器的排列指數(shù)S是否為N—2，如果在步驟S26的確定結果為是，步驟S27設置檢索圖象存儲器的排列指數(shù)S為“0”。在步驟S27之后，或步驟S26的確定結果為否，S28增加輸入圖象存儲器的排列指數(shù)I。步驟S29確定輸入圖象存儲器的排列指數(shù)I是否為N－2，如果在步驟S29的確定結果為是，步驟S30設置輸入圖象存儲器的排列指數(shù)I為“0”。在步驟S30之后，或步驟S29的確定結果為否，流程返回至步驟S21。
另一方面，如果在步驟S24的確定結果為是，步驟S31在刷新之后設置檢索圖象存儲器的排列指數(shù)S*為S－1。在步驟S32確定在刷新之后檢索圖象存儲器的排列指數(shù)S*是否小于“0”，如果是，在步驟S23設置S*為N－2。在步驟S33之后，或如果在步驟S32的確定結果為否，在步驟S34設置輸入圖象器在刷新之后的排列指數(shù)I*為I＋1。在步驟S35確定在刷新之后輸入圖象存儲器的排列指數(shù)I*是否大于“N－2”，如果是，在步驟S36設置輸入圖象器在刷新之后的排列指數(shù)I*為“0”。在步驟S36之后，或如果在步驟S35的確定結果為否，流程進至步驟S37。
通過相繼地使用除了當I*＝S*時的存儲器號Mem(I*)的圖象存儲器，當U*＜S*時的存儲器號Mem(I*)至(S*)的圖象存儲器以及存儲器號Mem(I*)至(N－2)和Mem(0)至(S*)的存儲器之外的不具有輸入的參考圖象存儲器作為參考圖象存儲器，并利用具有存儲器號Mem(S)的圖象存儲器作為檢索圖象存儲器，在步驟S37執(zhí)行跟蹤處理。步驟S37也得到存儲具有最高(最大)相關值參考圖象數(shù)據(jù)的參考圖象存儲器的指數(shù)最大值，存儲具有最低(最小)相關值參考圖象數(shù)據(jù)的參考圖象存儲器的指數(shù)最小值。但是，如果存在沒有輸出的圖象存儲器，該圖象存儲器的指數(shù)被視為指數(shù)最小值。
下面，步驟S38設置存儲器號，該存儲器具有的存儲器號Mem(N－2)—R，Mem(0)—Mem(S)，Mem(1)—Mem(I)，Mem(2)—Mem(Min)，Mem(3)至Mem(N－3)—Mem(I*)至Mem(S*)，如果I*＜S*以及到Mem(I*)至Mem(N－2)和Mem(0)至Mem(S*)，如果I*＞S*，并具有除最大和最小的指數(shù)，并設置R為R＝Mem(最大)。
步驟S39設置檢索圖象存儲器的排列指數(shù)S為“1”，設置輸入圖象存儲器的排列指數(shù)I為“2”。在步驟S39之后，流程返回至步驟21。
下面，參照圖50和51描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十三個實施例。在圖50中，與圖45相同的部件用相同的標號表示并略去其說明。
在該實施例中，圖50中的相關性評測器117替代了圖45中的相關性比較器115。相關性評測器117比較在相關值分布的峰值位置的相關值，該相關值分布是通過在每一幀中對預定的門限值跟蹤處理得到的，并通過只有當相關值小于或等于門限值時轉換參考圖象存儲器來刷新參考圖象。換句話說，跟蹤處理是通過在存儲在參考圖象存儲器和檢索圖象存儲器中的圖象數(shù)據(jù)之間進行相關運算來執(zhí)行的，在該過程中，相關性評測器117比較相關值峰值和預定的門限值。
如果比較的結果是相關值的峰值大于門限值，由目前輸入圖象存儲器的存儲器號和相關值的峰值位置形成的對被記錄下來。如果存在未被利用的圖象存儲器，則其作為下一個輸入圖象存儲器。另外，如果沒有未被利用的存儲器，具有最老的輸入的圖象存儲器被用作下一個輸入圖象存儲器。
如果相關值峰值小于或等于門限值，具有最近輸入的圖象存儲器被用作參考圖象存儲器，針對目前的輸入圖象數(shù)據(jù)，再次執(zhí)行跟蹤處理。在這種情況下，由相關值的峰值位置和目前輸入圖象存儲器的存儲器號形成的對被記錄。如果未使用的圖象存儲器存在，如果該未用的圖象存儲器存在，其作為下一個輸入圖象存儲器。如果不存在，具有最老輸入的圖象存儲器作為下個輸入圖象存儲器。
當然，評測器117可以是圖象存儲器管理器116的一個部分。
根據(jù)本實施例，參考圖象被相繼地刷新成與除了圖象歷史外被存儲在輸入圖象存儲器中的輸入圖象具有最高相關值的圖象。因此，即使在跟蹤過程當中，根據(jù)目標的觀察而外觀有所改變，也可以改善跟蹤處理的可靠性。此外，在跟蹤處理中如果相關值小于或等于預定門限值，也可以將參考圖象刷新成圖象存儲器內最近的圖象。
下面，參照圖51描述該實施例的操作。圖51為一個流程圖，顯示了中央處理單元CPU的操作，其中圖象存儲器管理器116由該CPU構成。在圖51中，與圖46中相同的部件用相同的標號表示并略去其說明。
在圖51中，步驟S44確定相關值的峰值是否小于門限值。如果否，流程進至步驟S25。如果是，流程進至步驟S31。步驟S37設置第一圖象存儲器指數(shù)，除了具有儲器號Mem(I*)，如果I*＝S*以及Mem(I*)至Mem(S*)，如果I*＜S*，以及Mem(I*)至Mem(N－2)和Mem(O)至Mem(S*)之外，不具有輸入到最小值的圖象存儲器。
下面，參照圖52和53描述根據(jù)本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十四個實施例。在圖52中，與圖45和50中相同的部件用相同的標號表示并略去其說明。
如圖52所示，除了相關性比較器115和相關性評測器117，提供了模式開關118。相關性比較器115和相關性評測器117的操作與上述第十二和第十三實施例中的相似。模式開關118轉換狀態(tài)，使得可以有選擇地執(zhí)行第十二實施例或第十三實施例的操作。
通過對存儲在參考圖象存儲器和檢索圖象存儲器中的圖象數(shù)據(jù)之間進行相關性運算執(zhí)行跟蹤處理，在該處理中，相關性評測器117比較相關值的峰值和預定門限值。
如果比較的結果是相關值的峰值大于門限值，由目前輸入圖象存儲器的存儲器號和相關值的峰值位置形成的對被記錄下來。如果存在未被利用的圖象存儲器，則其作為下一個輸入圖象存儲器。另外，如果沒有未被利用的存儲器，具有最老的輸入的圖象存儲器被用作下一個輸入圖象存儲器。
如果相關值峰值小于或等于門限值，參考圖象存儲器以下述方式刷新。即，如果相關值峰值小于或等于門限值，相關性比較器115比較從相關值峰值位置檢測器507得到的相關值峰值位置分布的峰值位置，確定存儲具有最大相關值的參考圖象的圖象存儲器(參考圖象存儲器)以及存儲具有最小相關值的參考圖象的圖象存儲器(參考圖象存儲器)。確定的參考圖象存儲器由相關性比較器115通知給圖象存儲器管理器116。
相關性比較器115向圖象存儲器管理器116通知該確定結果。上述確定和通知操作是在相繼使用那些除了用作輸入圖象存儲器以外的用作參考圖象存儲器的圖象存儲器執(zhí)行N－1次跟蹤處理時在1幀的時間內執(zhí)行的。因此，圖象存儲器管理器116存儲由具有最大相關值的峰值位置和目前作為輸入圖象存儲器的圖象存儲器的識別數(shù)字構成的一對，并且使用存儲具有最大相關值的參考圖象的圖象存儲器作為參考圖象存儲器。此外，如果存在可用的或未使用的圖象存儲器，該存儲器作為下一幀的輸入圖象存儲器。另一方面，如果沒有未使用的存儲器存在，存儲具有最小相關值的參考圖象的存儲器用作下一幀的輸入圖象存儲器。用作下一幀輸入圖象存儲器的圖象存儲器的選擇是通過從圖象存儲器管理器116向輸入選擇器111和輸出選擇器112提供轉換信號來實現(xiàn)的。
當然，相關性比較器115，相關性評測器117和模式開關118，可以作為圖象存儲器管理器116的一部分。
下面，參照圖53描述該實施例的操作。圖53為一個流程圖，顯示了中央處理單元CPU的操作，其中圖象存儲器管理器116由該CPU構成。在圖53中，與圖46和51中相同的部件用相同的標號表示并略去其說明。
在他53中，步驟S44與圖51中的S44相同，步驟S37和S38與圖46中的步驟S37和S38相同。
當然，第十二至第十四實施例也適用于圖2或圖24所示的基本結構。
當將上述局部區(qū)域圖象跟蹤裝置用于自動保安或報警系統(tǒng)時，該系統(tǒng)自動拾取進入者的圖象，或者適用于自動圖象拾取系統(tǒng)，該系統(tǒng)利用攝像機自動跟蹤和拾取籃球或高爾夫球的圖象，參考圖象數(shù)據(jù)事先是不知道的，必須在每次跟蹤操作時設置參考圖象。因此，下面描述可以自動檢測和設置參考圖象數(shù)據(jù)的實施例。
圖54為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十五個實施例的結構。在圖54中，具有與圖45中相同的部件用相同的標號表示并略去其說明。
在圖54中，該局部區(qū)域圖象跟蹤裝置包括一個圖象拾取裝置(攝像機)501，A/D轉換器502，錄像機201，輸入圖象存儲器202，運動檢測器203，背景圖象存儲器204，報警單元205，輸入開關206，檢索圖象存儲器503，參考圖象存儲器207，相關性運算單元505，地址產生器506A，相關值峰值位置檢測器507，攝像機座控制器208，攝像機座209，其連接如圖所示。攝像機座209包括一個馬達，用于移動攝像機501。
例如攝像機501拾取圖55A所示的輸入圖象，該輸入圖象被送到A/D轉換器502。A/D轉換器502將數(shù)字的輸入圖象送到輸入圖象存儲器503并存儲起來。該數(shù)字輸入圖象數(shù)據(jù)也經過輸入轉換開關206送到并存儲在參考圖象存儲器207中。與圖55B所示的背景圖象相關的背景圖象也預先存儲在背景圖象存儲器204。通過從由輸入圖象存儲器202讀出的輸入圖象中去除從背景圖象存儲器204中讀出的背景圖象，運動檢測器203得出與差別圖象相關的差別圖象。
在該實施例和下面的每個實施例中，為了方便起見假定所述的局部區(qū)域圖象跟蹤裝置應用于一個報警系統(tǒng)。因此，與圖55B相關的背景圖象涉及一個被監(jiān)視的房間是固定的。如果差別圖象大于或等于預定的值，運動檢測器203判斷由進入的物體存在，并將檢測信號送到報警單元205和輸入轉換開關206。結果，報警單元205產生報警信號。
來自攝像機501的輸入圖象數(shù)據(jù)也被送到錄像機201并記錄在記錄介質上。該錄像機201也接于報警單元205。因此，可以在報警單元205產生報警信號時，在記錄介質上表示輸入圖象數(shù)據(jù)。錄像機201也可以在報警單元205產生報警時記錄輸入圖象數(shù)據(jù)。這樣就可以減少錄像機201的存儲容量。
輸入轉換開關206響應于運動檢測器203的檢測信號進行轉換，將輸入圖象數(shù)據(jù)從A/D轉換器502送到檢索圖象存儲器503。在差別圖象數(shù)據(jù)大于或等于預定值之后，接收到的輸入圖象數(shù)據(jù)被存儲在檢索圖象存儲器503中。
運動檢測器203根據(jù)差別圖象數(shù)據(jù)得出參考圖象的位置用于在跟蹤處理中使用，并將該位置設置在地址產生器506A中。結果，與圖55A相關的檢索圖象數(shù)據(jù)和與圖55D相關的參考圖象數(shù)據(jù)被從檢索圖象存儲器503和參考圖象存儲器207得出并送到相關性運算單元505。相關性運算單元505利用上述方法得出相關值，相關值峰值位置檢測器507利用上述方法得出相關值峰值位置。因此，作為結果，相關值峰值位置檢測器507得出引入目標的運動量并送到地址產生器506A并加到檢索圖象地址。此外，相關值峰值位置檢測器507還將該運動量送到攝像機座控制器208，攝像機座控制器208通過移動攝像機座來控制攝像機501的拾取位置，使得進入目標處于拾取圖象的中心部位，即屏幕的中心部位。
一旦參考圖象數(shù)據(jù)被存儲在參考圖象存儲器207，局部區(qū)域圖象跟蹤處理本身可以利用在上述實施例中采用的任何方法。
圖56為一個流程圖，解釋了實施例十五的操作。在圖56中，步驟S51同時將輸入圖象數(shù)據(jù)輸入和存儲到輸入圖象存儲器202和參考圖象存儲器207。步驟S52得出輸入圖象數(shù)據(jù)和背景圖象數(shù)據(jù)之間的差別圖象數(shù)據(jù)。步驟S53確定二者是否有差別，如果差別圖象數(shù)據(jù)大于或等于預定值則確定差別存在，使得裝置對噪聲不過分敏感。如果判定結果為否，流程返回至步驟S51。如果在步驟S53的確定結果為是，步驟S54開始由錄像機201記錄輸入圖象數(shù)據(jù)，由報警單元205產生報警。步驟S55將參考圖象(模板圖象)的位置設置為檢索圖象地址在地址產生器506A中跟蹤處理中使用。
步驟S56由運動檢測器203轉換輸入開關使得輸入圖象數(shù)據(jù)被送到檢索圖象存儲器503。步驟S58根據(jù)地址產生器506A中產生的地址從相應的檢索圖象存儲器503和參考圖象存儲器207中讀檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，并送到相關性運算單元505得出相關值。步驟S59根據(jù)從相關值運算單元505得出的相關值由相關值峰值位置檢測器507得出進入目標的移動量。步驟S60將得到的運動量送到地址產生器506A并加到檢索圖象地址。此外，步驟S61向攝像機座209提供移動指令用于移動攝像機座209，使得進入的目標始終處于圖象中心部分，即，圖57顯示了攝像機座209的控制。圖57顯示了攝像機501拾取的輸入圖象，屏幕的中心坐標由(Cx，Cy)表示，進入目標的中心坐標由(Tx，Ty)表示。在該實施例中，進入目標的中心坐標(Tx，Ty)與屏幕的中心坐標(Cx，Cy)在X軸上相距Δx，進入目標的中心坐標(Tx，Ty)與屏幕的中心坐標(Cx，Cy)在Y軸上相距ΔY。攝像機座控制器208控制攝像機座209的運動，使得進入目標的中心坐標(Tx，Ty)與屏幕的中心坐標(Cx，Cy)大體相符，進入目標的跟蹤因此更為容易。更具體地說，送到攝像機座209的運動指令由指示沿X軸運動量ΔPan＝Kp*Δx和指示沿Y軸運動量的Δtilt＝Kt*ΔY構成，其中Kp和Kt為取決于攝像機座209中使用的馬達等的常數(shù)。運動指令從攝像機控制器208以預定的時間間隔例如1/10秒送到攝像機座209。
因此，根據(jù)該實施例，可以自動地檢測和設置參考圖象數(shù)據(jù)。
圖58為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十六個實施例的結構。在圖58中，具有與圖45中相同的部件用相同的標號表示并略去其說明。在該實施例中，輸入圖象中的運動也是由相關性運算單元得出的。
在圖58中，該局部區(qū)域圖象跟蹤裝置包括一個圖象拾取裝置(攝像機)501，A/D轉換器502，錄像機201，報警單元205，輸入開關206，檢索圖象存儲器503，參考圖象存儲器207—1，207—2，相關性運算單元505，地址產生器506B，相關值峰值位置檢測器507，輸出開關211，控制計算機212，攝像機座控制器208，攝像機座209，其連接如圖所示。
圖59為一個流程圖，顯示了第十六實施例的操作。下面通過參照圖59描述該實施例的操作。
在該實施例中，來自攝像機501的輸入圖象數(shù)據(jù)通過A/D轉換器502被送到檢索圖象存儲器503和輸入轉換開關210，并且也送到錄像機201。步驟S71轉換和控制輸入開關210和輸出開關211使得開關210將輸入圖象數(shù)據(jù)送到參考圖象存儲器207—1，輸出開關211輸出從該參考圖象存儲器207—1讀出的輸入圖象數(shù)據(jù)。步驟S72轉換輸入開關210，使得輸入圖象數(shù)據(jù)被輸入到另一參考圖象存儲器207—2。換句話說，控制計算機212控制對參考圖象存儲器207—1和207—2的訪問，使得在從其中之一讀出的同時，向另一個參考圖象存儲器寫入。
步驟S73從控制計算機212控制地址產生器506B，使得根據(jù)從地址產生器506B產生的地址，檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)分別從檢索圖象存儲器503和參考圖象存儲器207—1讀出。讀出的圖象數(shù)據(jù)對應于以預定時間間隔的輸入圖象數(shù)據(jù)，由于讀出圖象數(shù)據(jù)以圖60所示在屏幕內分成多個小區(qū)形式被送到相關性運算單元505，相關性運算單元505針對每個小區(qū)執(zhí)行上述的相關性運算。在圖60中，一屏當中被分成25個方塊的小區(qū)，當然，小區(qū)的個數(shù)和形狀并不限于圖60所示。圖60示出了進入目標從位置A移動到位置A’的情況。相關性運算單元505得出每個小區(qū)的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)之間的相關值，其輸出通過相關值峰值檢測器507被送到控制計算機212。因此，控制計算機212可以根據(jù)每個小區(qū)的相關值的變化，檢測輸入圖象內的運動。
步驟S74檢測是否檢測到運動的小區(qū)的個數(shù)大于門限值。如果確定結果為否，步驟S57轉換并控制輸出開關211輸出從參考圖象存儲器207—2讀出的參考圖象數(shù)據(jù)，流程返回至步驟S72。另一方面，如果在步驟S74的確定結果為是，步驟S76通過控制計算機212控制錄像機201和報警單元205使得錄像機201記錄輸入圖象數(shù)據(jù)，報警單元205產生報警。
步驟S77從控制計算機212在地址產生器506A中將參考圖象(模板圖象)的位置設置為檢索圖象地址和參考圖象地址用于跟蹤處理。步驟S78從控制計算機212轉換輸入開關使得輸入開關210將輸入圖象數(shù)據(jù)送到參考圖象存儲器207—1和207—2中未存儲參考圖象的那個存儲器中，例如，送到參考圖象存儲器207—1。此外，步驟S79在檢索圖象存儲器503中存儲輸入圖象。步驟S80根據(jù)由地址產生器506B產生的地址，從檢索圖象存儲器503和參考圖象存儲器207—1從讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，并將檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)送到相關性運算單元505，以便得到相關值。步驟S81根據(jù)從相關性運算單元505得出的相關值得出進入目標在相關值峰值位置中的運動量。步驟S82將得到的運動量送到地址產生器506B并加到檢索圖象地址。此外，步驟S83向攝像機座209發(fā)出運動指令根據(jù)運動量移動攝像機座209，使得進入目標位于攝像機拾取的圖象的中心位置，流程返回至步驟S79。
在該實施例中，可以不必專門為檢測輸入圖象中的運動提供運動檢測器或類似裝置。因此，可以使用相對簡單的結構自動地檢測和設置圖象數(shù)據(jù)。
圖61為一個流程圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的操作。在該實施例中，其結構與圖58相同。在圖61中，與圖59相同的部件用相同的標號表示并略去其說明。在該實例中，當相關值峰值小于或等于門限值時，參考圖象被刷新成輸入圖象。
在圖61中，步驟S79—1存儲輸入圖象數(shù)據(jù)到檢索圖象存儲器503，同時，存儲輸入圖象數(shù)據(jù)到參考圖象存儲器207—1和207—2中未使用的一個中，例如參考圖象存儲器207—2。步驟S80根據(jù)由地址產生器506B產生的地址，從檢索圖象存儲器503和參考圖象存儲器207—1從讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，并將檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)送到相關性運算單元505，以便得到相關值。步驟S81根據(jù)從相關性運算單元505得出的相關值得出進入目標在相關值峰值位置中的運動量。步驟S82將得到的運動量送到地址產生器506B并加到檢索圖象地址。步驟S85確定是否從相關值峰值位置檢測器507得出的相關值峰值大于門限值，如果不是，流程進至步驟S83。步驟S83向攝像機座209發(fā)出運動指令根據(jù)運動量移動攝像機座209，使得進入目標位于攝像機拾取的圖象的中心位置，流程返回至步驟S79—1。
如果步驟S85的確定結果為是，步驟S86從控制計算機212設置檢索圖象地址到地址產生器506B作為參考圖象地址。此外，步驟S87控制和轉換輸入開關212，流程進至步驟S83。
于是，用于局部區(qū)域圖象跟蹤處理的參考圖象數(shù)據(jù)被刷新成存儲在檢索圖象存儲器503中的輸入圖象數(shù)據(jù)。因此，即使在跟蹤過程中進入目標的外觀改變，如二維圖象拾取的角度變化造成進入目標的視圖的改變，也可以實現(xiàn)穩(wěn)定的跟蹤。
圖62為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第十八個實施例。在圖62中，與圖58相同的部件用相同的標號表示并略去其說明。在該實例中，利用變焦機構，記錄了進入目標的近視圖。
在該實施例中，變焦機構222被提供在攝像機501上，如如62所示?？刂朴嬎銠C212通過變焦控制器221對變焦機構進行變焦設置。除了變焦控制器221和變焦機構222之外，其余部分與圖58中的相同。
圖63為一個流程圖，顯示了第十八實施例的操作。在圖63中，與圖61相同的步驟用相同的標號表示并略去其說明。
在圖63中，步驟S71至87與圖61所示的相同。在該實施例中，步驟S91在步驟S83之后執(zhí)行。通過控制計算機212確定變焦機構222變焦設定值是否相遇預定目標值，如果是，流程返回至步驟S79—1。如果否，步驟S92通過控制計算機212控制變焦控制器221，增加變焦設定值。在步驟S92之后，流程返回至步驟S79—1。
因此，根據(jù)該實施例，在穩(wěn)定跟蹤進入目標的同時可以通過變焦，使得變焦設定值逐漸接近目標值同時以與第十七實施例相似刷新參考圖象數(shù)據(jù)，在錄像機201上記錄進入目標的近視圖象。因此，當該實施例用于報警系統(tǒng)時，可以記錄進入目標的近視圖，從而改善報警系統(tǒng)的性能。
圖64為一個系統(tǒng)框圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的的第十九實施例。在圖64中，與圖58相同的部件用相同的標號表示并略去其說明。在該實例中，進入目標的近視圖通過2個攝像機的變焦機構被記錄。
在該實施例中，除了攝像機501之外，還提供了具有變焦機構的圖象拾取裝置(變焦攝像機)501—1，如圖64所示。變焦攝像機501—1被設置在攝像機座209—1上。控制計算機212通過攝像機座控制器208—1執(zhí)行變焦設定和變焦攝像機501—1的位置控制。除了攝像機座控制器208—1，攝像機座209—1，變焦攝像機501—1，其余部分與圖58相同。
圖65為一個流程圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置十九實施例的操作。在該實施例中。在圖65中，與圖61相同的步驟用相同的標號表示并略去其說明。
在圖65中，步驟S71至87與圖61所示的相同。在該實施例中，步驟S94在步驟S83之后執(zhí)行。步驟S94通過控制計算機212控制攝像機座控制器208—1，使得攝像機座控制器208—1輸出運動指令，用于根據(jù)變焦設定(變焦比)控制變焦攝像機501—1的攝像機座209—1。在步驟S94之后，流程返回至步驟S79—1。
于是，根據(jù)該實施例，對進入目標拉近的變焦攝像機501—1的位置可以被控制同時對由拉遠的攝像機501拾取的輸入圖象中的進入目標進行跟蹤。因此，即使進入目標速度很高，也可以穩(wěn)定地跟蹤進入目標而不會失去跟蹤。由錄像機201可以記錄進入目標的近視圖。當該實施例用于報警系統(tǒng)時，可以記錄進入目標的正面的近視圖來進一步改善報警系統(tǒng)的性能。
圖66為一個流程圖，顯示了本發(fā)明的局部區(qū)域圖象跟蹤裝置的第二十實施例的操作。在該實施例中，其結構與圖62相同。在圖66中，與圖63相同的部件用相同的標號表示并略去其說明。
在圖66中，步驟S71至87與圖63所示的相同。通過有限地控制變焦可以得到拉近的圖象。
在圖66所示的步驟S83之后，步驟S101通過控制計算機212確定輸入圖象數(shù)據(jù)的記錄是否由錄像機201開始。如果確定結果為是，步驟S102確定變焦設定值是否小于目標值，如果在步驟S102的確定為是，步驟S103控制變焦控制器221，以便變焦拉近，流程返回至步驟S79—1。如果在步驟S102的確定結果為否，步驟S104開始由錄像機201記錄輸入圖象數(shù)據(jù)，流程返回至步驟S79—1。
如果在步驟S101的確定結果為否，步驟S105確定錄像機201進行的輸入圖象數(shù)據(jù)的記錄是否結束，如果在步驟S105的確定結果為否，流程返回至步驟S79—1。如果確定結果為是，步驟S106在控制計算機212中確定變焦設定值是否大于一個初始值。如果是步驟S107控制變焦控制器221以便減少變焦設置值，流程返回至步驟S79—1。另外，如果在步驟S106的確定結果為否，流程返回至步驟S79—1。
由錄像機201對輸入圖象的記錄的開始和結束是以預定的時間間隔進行的。在該實例中，輸入圖象數(shù)據(jù)是記錄預定的時間的。
下面參照圖67—69描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的二十一實施例。在該實施例中，其結構與圖58相同并略去其說明圖67A和67B解釋了標記處理過程，圖68為一個流程圖解釋了標記處理過程。圖69為流程圖，用于解釋實施例21的操作。在該實施例中，多個進入目標被檢測和跟蹤。
首先，通過參照圖67A，67B和68描述標記處理。當多個進入目標存在時，對每個進入目標進行標記，以便識別每個進入目標。在圖67A中，陰影所示區(qū)域表示在輸入圖象中產生了運動，即進入目標。通過將所述區(qū)分成獨立運動區(qū)來執(zhí)行標記處理，將分開的區(qū)作為獨立的進入目標，如圖67B所示。結果，標記A至E被分配給每個進入目標，如圖67B所示。
圖68所示的標記處理由如圖58所示的控制計算機212執(zhí)行。在圖68中，步驟S501最初設置運動目標號(標記)L為“1”，區(qū)域i和j為“0”。步驟S502確定區(qū)(i，j)是否產生運動。檢測過程可以采用前述任一方法。如果在步驟S502的確定結果為是，步驟S503設置區(qū)(i，j)的標記L，K為“0”，l為“0”，“計數(shù)”為“0”。步驟S504確定區(qū)(k，l)的標記是否為L。如果是，步驟S505在區(qū)(k－1，l－1)產生運動并標記該區(qū)。如果在步驟S505的確定結果為是，步驟S506設置區(qū)(K－1，l－1)的標記為L，對“計數(shù)”增加“1”。如果在步驟S504的確定結果為否，流程進至步驟S521，將在下面描述。
如果在步驟S505的確定結果為否，或在步驟S506之后，步驟S507確定在區(qū)(k－1，l)是否產生運動，并且該區(qū)被去除標記。如果在步驟S507的確定結果為是，步驟S508設置區(qū)(k－1，l)的標記為L，對“計數(shù)”增加“1”如果在步驟S507的確定結果為否，或在步驟S508之后，步驟S509確定在區(qū)(k－1，l＋1)是否產生運動，并且該區(qū)被去除標記。如果在步驟S509的確定結果為是，步驟S510設置區(qū)(k－1，l＋1)的標記為L，對“計數(shù)”增加“1”。
如果在步驟S509的確定結果為否，或在步驟S510之后，步驟S511確定在區(qū)(k，l－1)是否產生運動，并且該區(qū)被去除標記。如果在步驟S511的確定結果為是，步驟S512設置區(qū)(k，l－1)的標記為L，對“計數(shù)”增加“1”。如果在步驟S511的確定結果為否，或在步驟S512之后，步驟S513確定在區(qū)(k，l＋1)是否產生運動，并且該區(qū)被去除標記。如果在步驟S513的確定結果為是，步驟S514設置區(qū)(k，l＋1)的標記為L，對“計數(shù)”增加“1”。
如果在步驟S513的確定結果為否，或在步驟S514之后，步驟S515確定在區(qū)(k＋1，l－1)是否產生運動，并且該區(qū)被去除標記。如果在步驟S513的確定結果為是，步驟S51 6設置區(qū)(k＋1，l－1)的標記為L，對“計數(shù)”增加“1”。如果在步驟S515的確定結果為否，或在步驟S516之后，步驟S517確定在區(qū)(k＋1，l)是否產生運動，并且該區(qū)被去除標記。如果在步驟S517的確定結果為是，步驟S518設置區(qū)(k＋1，l)的標記為L，對“計數(shù)”增加“1”。
如果在步驟S517的確定結果為否或在步驟S518之后，步驟S519確定在區(qū)域(K＋1，l＋1)是否產生運動并且該區(qū)被去除標記。如果在步驟S519的確定結果為是，步驟S520設置區(qū)域(K＋1，l＋1)的標記為L，并對“計數(shù)”增加“1”。如果在步驟S519的確定結果為否或在步驟S520之后，步驟S521對l增加“1”，在步驟S522確定是否l等于NUM—X。如果在步驟S522的結果為否，流程返回步驟S504。如果結果為是，步驟S523設置l為“0”并對K增加“1”。此外，步驟S524確定是否K等于NUM—Y，如果確定結果為否，流程返回至步驟S504。如果確定結果為是，在步驟S525，確定是否“計數(shù)”等于“0”，如果在步驟S525確定結果為是，步驟S526對L增加“1”。如果確定結果為否，流程返回至步驟S503。
另一方面，如果在步驟S502的確定結果為否或在步驟S526之后，步驟S527對j增加“1”，在步驟S528確定是否j等于NUM—X。如果在步驟S5528的結果為是，流程返回步驟S504。如果結果為是，步驟S529設置j為“0”并對i增加“1”。步驟S530確定是否i等于NUM—Y，如果確定結果為是，流程結束。如果在步驟S528或S530確定結果為是，流程返回至步驟S502。
利用這種方式，可以自動地標記存在運動的輸入圖象中的每個區(qū)域。
圖69為一個流程圖，顯示了實施例21的操作。在圖69中，與圖59中相同的步驟用相同的標號表示并略去其說明。在該例中，假定攝像機501是固定的，進入到固定攝像機的視域的物體目標被自動跟蹤。因此可以省略圖58中的攝像機座控制器208和攝像機座209及運動裝置如馬達。具有廣角鏡頭和寬視域的攝像機可以作為固定的攝像機501。
在圖69中，當從步驟S73上面的步驟S71開始執(zhí)行時，步驟S111在控制計算機212中對產生運動的輸入圖象的每個區(qū)域執(zhí)行標記處理，從而將輸入圖象分成多個進入的目標。下面，步驟S112在控制計算機212中確定是否產生運動的區(qū)的數(shù)字大于門限值。如果不大于，步驟S113從控制計算機212控制和轉換輸出開關211，流程返回至步驟S72另一方面，如果在步驟S112中的確定結果為是，步驟S114從控制計算機212控制錄像機201開始記錄輸入圖象數(shù)據(jù)，并從報警單元205產生報警。步驟S115在控制計算機212中存儲用于每個進入目標或運動目標(該產生運動的區(qū)域數(shù)字大于門限值)的跟蹤處理的參考圖象的位置，作為檢索圖象地址和參考圖象地址的初始值。步驟S116從控制計算機212中控制和轉換輸入開關210，步驟S117在檢索圖象存儲器503中存儲輸入圖象數(shù)據(jù)。步驟S118在控制計算機212中設置i為“0”。
步驟S119從控制計算機212中設置被存儲在地址產生器506B中的用于進入目標(i)的檢索圖象地址和參考圖象地址，相關性運算單元505進行相關性運算。此外，步驟S120從相關值峰值位置檢測器507中得出進入目標(i)的運動量，通過在控制計算機212中將該運動量加到進入目標(i)的檢索圖象地址，步驟S121對檢索圖象地址進行刷新。在步驟S122對i增加“1”，步驟S123確定是否i小于進入目標的數(shù)字。如果是，流程返回至步驟S119，如果不是，流程返回至步驟S117。
根據(jù)該實施例，可以對攝像機視域內的多個進入目標(運動目標)的每個執(zhí)行跟蹤處理。
下面參照圖70描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例22。在該實施例中，局部區(qū)域圖象跟蹤裝置于圖58的相同。所以略去其圖示及說明。圖70為該實施例的操作流程圖。其中與圖69中相同的步驟用相同的標號表示并略去其說明。
在該例中，假定攝像機501是固定的，進入到固定攝像機的視域的物體目標被自動跟蹤。因此可以省略圖58中的攝像機座控制器208和攝像機座209及運動裝置如馬達。具有廣角鏡頭和寬視域的攝像機可以作為固定的攝像機501。
在圖70中，步驟S71至S122與圖69中的相同。在圖70中，如果在步驟S123中的確定結果為否則流程進至步驟S125。在步驟S125中，在控制計算機212中確定是否存在相關值峰值大于門限值的進入目標。如果確定結果為否，流程返回至步驟S117。如果確定結果為是，步驟S126在控制計算機121中刷新每個進入目標的參考圖象地址為目前檢索圖象地址。此外，步驟S127在控制計算機212中轉換和控制輸入開關210和輸出開關211，流程返回至步驟S117。
根據(jù)該實施例，即使只有一個具有較差相關值的進入目標，也可以跟蹤每個進入目標，因為參考圖象已對每個屏幕刷新，即所有的進入目標的參考圖象都被刷新。
下面參照圖71描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例23。在該實施例中，局部區(qū)域圖象跟蹤裝置與圖58的相同。所以略去其圖示及說明。圖71為該實施例的操作流程圖。其中與圖69中相同的步驟用相同的標號表示并略去其說明。
在該實施例中，攝像機501可以由攝像機座控制器208移動，攝像機座208具有移動裝置如馬達。
在圖71中，在步驟S114之后，步驟S115—1利用控制計算機212針對具有最大區(qū)域數(shù)字的進入目標在地址產生器506B中設置參考圖象地址用于跟蹤處理，所述區(qū)中產生有運動，作為檢索圖象地址和參考圖象地址。步驟S116和117于圖69中的相同。在步驟S117之后，步驟S131從控制計算機212控制地址產生器506B，相關性運算單元505通過從檢索圖象存儲器503和參考圖象存儲器207—1或207—2中讀出檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)執(zhí)行相關性運算。步驟S132通過相關值峰值為位置檢測器507得出進入目標的運動量，步驟S133將該運動量加到檢索圖象地址并將該相加值設置到地址產生器506B。步驟S134從控制計算機212中輸出運動指令，用于根據(jù)運動量通過攝像機座控制器208控制攝像機座209，使得進入目標處于屏幕的中心位置，流程返回至步驟S117。
根據(jù)該實施例，被檢測的多個進入目標，即，具有檢測到運動的區(qū)域的最大總和進入目標，通過控制攝像機座209被自動選擇和自動跟蹤。因此，該實施例特別適合用于不被察覺的監(jiān)視系統(tǒng)。
下面參照圖72描述本發(fā)明的局部區(qū)域圖象跟蹤裝置的實施例24。在該實施例中，局部區(qū)域圖象跟蹤裝置與圖64的相同。所以略去其圖示及說明。圖72為該實施例的操作流程圖。其中與圖69中相同的步驟用相同的標號表示并略去其說明。
在實施例中，使用了兩個攝像機501和501—1。跟蹤最好由具有寬視域的攝像機501執(zhí)行同時刷新多個進入圖象的參考圖象，并且具體的進入目標被相繼地在變焦攝像機501—1上被拾取。
在圖72中，如果在步驟S112中的確定結果為是，步驟S141在控制計算機212或連接到控制計算機212的存儲器中針對具有區(qū)域數(shù)字大于門限值的進入目標(運動目標)設置參考圖象(模板圖象)位置，用于跟蹤處理，所述區(qū)中產生有運動，作為檢索圖象地址和參考圖象地址的初始值。步驟S142從控制計算機212中控制和轉換輸入開關210，并設置j為“0”。步驟S143在檢索圖象存儲器503中存儲輸入圖象數(shù)據(jù)并設置i為“0”。
步驟S144從控制計算機212中設置被存儲在地址產生器506B中的用于進入目標(i)的檢索圖象地址和參考圖象地址，相關性運算單元505進行相關性運算。此外，步驟S145從相關值峰值位置檢測器507中得出進入目標(i)的運動量，步驟S146通過在控制計算機212中將該運動量加到進入目標(i)的檢索圖象地址，刷新檢索圖象地址，在步驟S147對i增加“1”，步驟S148確定是否i小于進入目標的數(shù)字。如果是，流程返回至步驟S144，如果不是，流程進至步驟S149。步驟S149確定是否存在相關值峰值大于門限值的目標如果確定結果為否，流程進至步驟S143。如果確定結果為是，流程進至步驟S150。
步驟S150刷新每個進入目標的參考圖象地址到控制計算機212中目前檢索圖象地址。步驟S151從控制計算機212控制和轉換輸入開關210和輸出開關211，步驟S512確定是否圖象拾取時間結束。如果是，步驟S153對j增加“1”，并在控制計算機212中確定是否j小于進入目標數(shù)。如果在步驟S154中的確定結果為是，步驟S155從控制計算機212中輸出運動指令，用于控制攝像機座209—1，使得變焦攝像機501—1面對運動目標(i)的方向，以便開始圖象拾取。如果在步驟S152和154中的確定結果為否，或在步驟S155之后，流程返回至步驟S143。
根據(jù)該實施例，可以對攝像機視域內的多個進入目標(運動目標)的每個執(zhí)行跟蹤處理。此外，可以由變焦攝像機按順序地對拾取每個進入目標的圖象。因此，可以以滿意的方式監(jiān)視多個進入的目標。
在上述的每個實施例中，對于局部區(qū)域圖象跟蹤裝置，除了攝像機，攝像機座，A/D轉換器，錄像機和報警單元以外的部件都可以制成半導體封裝形式或半導體器件單元。攝像機控制器可以另外提供，A/D轉換器可以可以包含在封裝之內。
當然，上述第五至第二十四實施例可以任意組合。
另外，本發(fā)明并不限于上述實施例，可以作出各種改進，而并不脫離本發(fā)明之精神。
權利要求
1.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，一個圖象數(shù)據(jù)總線，用于傳送來自圖象拾取裝置的輸入圖象數(shù)據(jù)，多個相關性跟蹤處理器，并聯(lián)到圖象數(shù)據(jù)總線，針對一個檢索圖象分別可以獨立地執(zhí)行跟蹤處理，對于一個或多個檢索圖象的處理由所述多個相關性處理器分布地處理。
2.根據(jù)權利要求1的局部區(qū)域圖象跟蹤裝置，包括，至少三個圖象存儲器，選擇器裝置，用于選擇地轉換圖象存儲器到存儲輸入圖象數(shù)據(jù)的輸入圖象存儲器，一個檢索圖象存儲器，用于存儲檢索圖象數(shù)據(jù)，一個參考圖象存儲器，存儲參考圖象數(shù)據(jù)，地址產生裝置，用于產生地址，用于讀存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)；相關性運算裝置，通過執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，峰值位置檢測裝置，用于得到來自相關性運算裝置的相關值的峰值位置。
3.根據(jù)權利要求2的局部區(qū)域圖象跟蹤裝置，其中所述的選擇器裝置固定地控制輸入圖象數(shù)據(jù)到所述圖象存儲器的存儲順序，以便對輸入圖象的每一幀執(zhí)行跟蹤處理，檢索圖象數(shù)據(jù)的每一幀到所述圖象存儲器存儲，在任意幀間隔對參考圖象數(shù)據(jù)的刷新。
4.根據(jù)權利要求2的局部區(qū)域圖象跟蹤裝置，其中提供了至少四個圖象存儲器，圖象存儲器管理裝置，所述的選擇器裝置固定地控制輸入圖象數(shù)據(jù)到所述圖象存儲器的存儲順序，以便對輸入圖象的每一幀執(zhí)行跟蹤處理，檢索圖象數(shù)據(jù)的每一幀到所述圖象存儲器存儲，多個參考圖象數(shù)據(jù)到多個圖象存儲器的存儲，在任意幀間隔對參考圖象數(shù)據(jù)的刷新。
5.根據(jù)權利要求2的局部區(qū)域圖象跟蹤裝置，其中所述的相關性運算裝置對16×16象素的參考圖象和在大于參考圖象的檢索圖象內的多個局部區(qū)域圖象執(zhí)行相關性運算得出相關值。
6.根據(jù)權利要求1的局部區(qū)域圖象跟蹤裝置，包括先入先出裝置，用于暫時和相繼地存儲從所述圖象存儲器讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，所述相關性運算裝置根據(jù)從先入先出裝置讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，通過執(zhí)行相關性運算處理，以并行的方式，執(zhí)行檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的讀出和相關性運算處理。
7.根據(jù)權利要求1的局部區(qū)域圖象跟蹤裝置，其中進一步包括一個控制計算機；連接到所述控制計算機的控制計算機總線，所述相關性運算裝置并聯(lián)到，所述控制計算機通過所述控制計算機總線執(zhí)行有關參考圖象數(shù)據(jù)的刷新，每個所述相關性跟蹤處理器的選擇和轉換的控制。
8.根據(jù)權利要求7的局部區(qū)域圖象跟蹤裝置，其中每個相關性跟蹤處理器包括至少三個圖象存儲器，選擇器裝置，用于選擇地轉換圖象存儲器到存儲輸入圖象數(shù)據(jù)的輸入圖象存儲器，一個檢索圖象存儲器，用于存儲檢索圖象數(shù)據(jù)，一個參考圖象存儲器，存儲參考圖象數(shù)據(jù)，相關性運算裝置，通過執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，峰值位置檢測裝置，用于得到來自相關性運算裝置的相關值的峰值位置?？刂朴嬎銠C接口，連接于至少所述的選擇器裝置和控制計算機總線，在每個所述相關性跟蹤處理器和所述控制計算機之間提供接口。
9.根據(jù)權利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計算機通過控制計算機總線對控制計算機接口指令以任意時間刷新參考圖象數(shù)據(jù)。
10.根據(jù)權利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計算機通過控制計算機總線對控制計算機接口指令以任意時間從檢索圖象存儲器和參考圖象存儲器讀出局部區(qū)域。
11.根據(jù)權利要求8的局部區(qū)域圖象跟蹤裝置，其中所述控制計算機接口包括存儲裝置，用于存儲來自相關性運算裝置的至少一個相關值和來自所述峰值位置檢測裝置的峰值位置，所述的控制計算機通過控制計算機總線讀取存儲在所述存儲器中的信息。
12.根據(jù)權利要求7的局部區(qū)域圖象跟蹤裝置，還包括先入先出裝置，用于暫時和相繼地存儲從所述圖象存儲器讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，所述相關性運算裝置根據(jù)從先入先出裝置讀出的檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，通過執(zhí)行相關性運算處理，以并行的方式，執(zhí)行檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的讀出和相關性運算處理。
13.根據(jù)權利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計算機接口包括先入先出裝置，用于相繼地存儲來自控制計算機的指令，每個所述相關性運算裝置根據(jù)先入先出裝置中存儲的指令，執(zhí)行相關性運算處理，無需所述控制計算機的干預。
14.根據(jù)權利要求13的局部區(qū)域圖象跟蹤裝置，其中所述的控制計算機接口包括第二先入先出裝置，用于相繼地存儲來自所述相關性運算裝置的相關值和來自所述峰值位置檢測裝置的峰值位置，所述控制計算機以任意時間讀取存儲在所述第二先入先出裝置中的信息。
15.根據(jù)權利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計算機接口包括存儲器裝置，用于存儲在跟蹤處理中從相關性運算裝置得到的相關值分布；加法裝置，用于相繼地加在每個跟蹤處理中得到的相關值分布。
16.根據(jù)權利要求15的局部區(qū)域圖象跟蹤裝置，其中所述的控制計算機接口由所述的控制計算機的指令控制，是否在所述加法裝置中加上在每個跟蹤處理中得到的相關值分布。
17.根據(jù)權利要求8的局部區(qū)域圖象跟蹤裝置，其中所述的控制計算機控制所述的控制計算機接口，對具有任意幅度的參考圖象通過對所有作為跟蹤處理結果的相關值分布相加執(zhí)行跟蹤處理，所述跟蹤處理是對具有固定尺寸的相鄰參考圖象進行的，并得出相加的相關值分布的峰值位置。
18.根據(jù)權利要求1的局部區(qū)域圖象跟蹤裝置，還包括轉換裝置，將多個比特的來自圖象拾取裝置的輸入圖象數(shù)據(jù)轉換為適于所述相關性運算裝置的多個處理比特。
19.根據(jù)權利要求18的局部區(qū)域圖象跟蹤裝置，其中所述的轉換裝置將m比特彩色圖象數(shù)據(jù)轉換成n比特偽彩色圖象數(shù)據(jù)，這里，m＞n。
20.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，至少三個圖象存儲器，選擇器裝置，用于選擇地轉換圖象存儲器到存儲輸入圖象數(shù)據(jù)的輸入圖象存儲器，一個檢索圖象存儲器，用于存儲檢索圖象數(shù)據(jù)，一個參考圖象存儲器，存儲參考圖象數(shù)據(jù)，相關性運算裝置，通過執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，峰值位置檢測裝置，用于得到來自相關性運算裝置的相關值的峰值位置。圖象存儲器管理裝置，根據(jù)從所述的峰值位置檢測裝置得到的峰值位置控制所述的選擇器裝置并相繼地在所述圖象存儲器中存儲參考圖象的歷史，根據(jù)存儲在檢索圖象存儲器的相關值的峰值位置的歷史，刷新參考圖象位置。
21.根據(jù)權利要求20的局部區(qū)域圖象跟蹤裝置，還包括相關性運算裝置，根據(jù)從所述峰值位置檢測裝置得到的峰值位置，通過所述圖象存儲器管理裝置將具有最大相關值的圖象存儲器設置為參考圖象存儲器，刷新參考圖象數(shù)據(jù)。
22.根據(jù)權利要求20的局部區(qū)域圖象跟蹤裝置，還包括相關性評測裝置，根據(jù)從所述峰值位置檢測裝置得到的峰值位置，評測存儲在參考圖象存儲器內的參考圖象數(shù)據(jù)的相關性，并根據(jù)評測的相關值，刷新參考圖象數(shù)據(jù)。
23.根據(jù)權利要求22的局部區(qū)域圖象跟蹤裝置，其中只有當在跟蹤過程中，相關值小于或等于門限值，所述的相關性評測裝置刷新參考圖象數(shù)據(jù)到最近的參考圖象數(shù)據(jù)。
24.根據(jù)權利要求22的局部區(qū)域圖象跟蹤裝置，還包括相關性比較裝置，只有當相關性評測裝置檢測到在跟蹤過程中相關值小于預定的門限值時，根據(jù)從所述峰值位置檢測裝置得到的峰值位置，通過所述圖象存儲器管理裝置將存儲具有最大相關值的參考圖象數(shù)據(jù)的圖象存儲器設置為參考圖象存儲器，刷新參考圖象數(shù)據(jù)。
25.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，存儲器裝置，用于存儲至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產生裝置，用于自動從輸入圖象數(shù)據(jù)中自動產生參考圖象數(shù)據(jù)，地址產生裝置，用于產生用于從存儲器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關性運算裝置，用于通過執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，控制裝置，用于輸出運動指令，通過運動裝置移動圖象拾取裝置，用于根據(jù)從峰值位置檢測裝置得到的峰值位置跟蹤任意的局部區(qū)域。
26.根據(jù)權利要求25的局部區(qū)域圖象跟蹤裝置，其中所述的存儲器裝置存儲輸入圖象數(shù)據(jù)，所述參考圖象數(shù)據(jù)產生裝置比較輸入圖象數(shù)據(jù)和目前背景圖象數(shù)據(jù)并根據(jù)比較的圖象數(shù)據(jù)之間的差產生參考圖象數(shù)據(jù)。
27.根據(jù)權利要求25的局部區(qū)域圖象跟蹤裝置，其中所述參考圖象數(shù)據(jù)產生裝置以預定的時間將輸入圖象數(shù)據(jù)分成多個區(qū)，在所述的相關性運算裝置中對每個區(qū)執(zhí)行相關性運算處理得出產生運動的區(qū)，根據(jù)產生運動的區(qū)的數(shù)目是否超過預定值，產生參考圖象數(shù)據(jù)。
28.根據(jù)權利要求25的局部區(qū)域圖象跟蹤裝置，其中當相關值超過預定值時，控制裝置通過將檢索圖象數(shù)據(jù)的地址設置到所述地址產生裝置作為參考圖象的地址，刷新參考圖象數(shù)據(jù)。
29.根據(jù)權利要求25的局部區(qū)域圖象跟蹤裝置，其中所述的圖象拾取裝置包括變焦裝置，所述控制裝置控制所述變焦裝置的變焦值，使得任意局部區(qū)域都可以利用目前的變焦設定值逐漸拾取。
30.根據(jù)權利要求29的局部區(qū)域圖象跟蹤裝置，其中所述的控制裝置根據(jù)在任意局部區(qū)域的運動和變焦值輸出指示報警和輸入圖象數(shù)據(jù)記錄開始的信號。
31.根據(jù)權利要求25的局部區(qū)域圖象跟蹤裝置，其中控制裝置包括對多個局部區(qū)域分配標記的裝置，以便識別每個局部區(qū)域，多個標記的局部區(qū)域的最大的局部區(qū)域執(zhí)行跟蹤處理的裝置。
32.根據(jù)權利要求25的局部區(qū)域圖象跟蹤裝置，其中所述圖象拾取裝置包括第一圖象拾取裝置，可移動地支持在所述運動裝置上，第一圖象拾取裝置，具有變焦裝置，所述控制裝置輸出運動指令控制所述第一圖象拾取裝置跟蹤任意局部區(qū)域并根據(jù)變焦比控制第二圖象拾取裝置的方向。
33.根據(jù)權利要求32的局部區(qū)域圖象跟蹤裝置，對多個局部區(qū)域分配標記的裝置，以便識別每個局部區(qū)域，控制裝置，用于第一圖象拾取裝置，對于多個標記的局部區(qū)域執(zhí)行跟蹤處理，并控制第二圖象拾取裝置按順序地拉近每個標記的局部區(qū)域。
34.一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，存儲器裝置，用于存儲至少檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)，參考圖象數(shù)據(jù)產生裝置，用于自動從輸入圖象數(shù)據(jù)中自動產生與多個局部區(qū)域相關的參考圖象數(shù)據(jù)，標號裝置，用于對多個局部區(qū)域標號，以便識別該多個局部區(qū)域，地址產生裝置，用于產生用于從存儲器裝置中讀取檢索圖象數(shù)據(jù)和參考圖象數(shù)據(jù)的地址，相關性運算裝置，用于對多個標號的局部區(qū)域的每個執(zhí)行相關性運算處理，運算指示存儲在參考圖象存儲器中的參考圖象數(shù)據(jù)和存儲在檢索圖象存儲器中的檢索圖象數(shù)據(jù)之間的相關性的相關值，控制裝置，用于根據(jù)從峰值位置檢測裝置得到的峰值位置跟蹤多個標號的局部區(qū)域。
35.根據(jù)權利要求34的局部區(qū)域圖象跟蹤裝置，其中所述的存儲器裝置存儲輸入圖象數(shù)據(jù)，所述參考圖象數(shù)據(jù)產生裝置比較輸入圖象數(shù)據(jù)和目前背景圖象數(shù)據(jù)并根據(jù)比較的圖象數(shù)據(jù)之間的差產生參考圖象數(shù)據(jù)。
36.根據(jù)權利要求34的局部區(qū)域圖象跟蹤裝置，其中所述參考圖象數(shù)據(jù)產生裝置以預定的時間將輸入圖象數(shù)據(jù)分成多個區(qū)，在所述的相關性運算裝置中對每個區(qū)執(zhí)行相關性運算處理得出產生運動的區(qū)，根據(jù)產生運動的區(qū)的數(shù)目是否超過預定值，產生參考圖象數(shù)據(jù)。
37.根據(jù)權利要求34的局部區(qū)域圖象跟蹤裝置，其中當相關值超過預定值時，控制裝置通過將檢索圖象數(shù)據(jù)的地址設置到所述地址產生裝置作為參考圖象的地址，刷新參考圖象數(shù)據(jù)。
38.根據(jù)權利要求34的局部區(qū)域圖象跟蹤裝置，其中所述的控制裝置根據(jù)在任意局部區(qū)域的運動和變焦值輸出指示報警和輸入圖象數(shù)據(jù)記錄開始的信號。
全文摘要
一種局部區(qū)域圖象跟蹤裝置，它通過將要跟蹤處理的檢索圖象數(shù)據(jù)與任意局部區(qū)域相關的參考圖象數(shù)據(jù)比較來連續(xù)跟蹤由檢索圖象數(shù)據(jù)表達的檢索圖象內的任意局部區(qū)域，包括，一個圖象數(shù)據(jù)總線，用于傳送來自圖象拾取裝置的輸入圖象數(shù)據(jù)，多個相關性跟蹤處理器，并聯(lián)到圖象數(shù)據(jù)總線，針對一個檢索圖象分別可以獨立地執(zhí)行跟蹤處理，對于一個或多個檢索圖象的處理由所述多個相關性處理器分布地處理。
文檔編號G06T7/20GK1129382SQ95116558
公開日1996年8月21日 申請日期1995年9月20日 優(yōu)先權日1994年9月20日
發(fā)明者沢崎直之, 佐藤雅彥 申請人:富士通株式會社