專利名稱：運動向量檢測方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及依據(jù)MPEG(活動圖像編碼專家組)進行圖像編碼處理時所用的對運動向量進行檢測的運動向量檢測方法和裝置。
背景技術(shù)：
MPEG方式，是將畫面內(nèi)DCT(離散余弦變換)、圖像間運動補償預(yù)測和可變長編碼組合在一起對活動圖像數(shù)據(jù)進行壓縮的編碼方式。
通常，圖像間運動補償預(yù)測中所進行的運動向量檢測，靠所謂的塊匹配進行。這種塊匹配，對屬于處理對象的基準(zhǔn)圖像中按規(guī)定像素數(shù)目分割的基準(zhǔn)塊，提取以參照圖像內(nèi)同一位置為起點的運動向量所對應(yīng)的參照塊和具有與上述規(guī)定像素數(shù)目相同的像素數(shù)的區(qū)域，運算基準(zhǔn)塊和參照塊所對應(yīng)的像素其差分的絕對值，對基準(zhǔn)塊內(nèi)全部像素進行差分絕對值的和運算處理。而檢測運動向量時，邊使參照圖像探索區(qū)內(nèi)提取的區(qū)域每次移動1像素，邊重復(fù)進行上述塊匹配，以上述差分絕對值之和給出最小值的點為基點檢測運動向量。
但進行上述塊匹配時，是將針對參照圖像求出運動向量時的探索區(qū)域和針對基準(zhǔn)圖像求出運動向量時的探索區(qū)域作為相同大小范圍進行的。而求出基準(zhǔn)圖像運動向量時，即便是基準(zhǔn)塊的運動向量在某種程度上可預(yù)測，也是以參照圖像的運動向量為基準(zhǔn)，以某種一定大小的區(qū)域為探索區(qū)域，檢測出基準(zhǔn)圖像運動向量的。
此外，靠上述塊匹配對運動向量進行的檢測處理，對于進行塊匹配時所進行的上述差分其絕對值求和處理，運算量非常龐大，這花費MPEG等圖像壓縮處理的一大半時間，用軟件實現(xiàn)時便成為障礙，故希望減少運算量。
發(fā)明概述本發(fā)明第一目的，是針對上述實際情況提出的，其目的在于，提供一種可以減少對隔行掃描方式的場圖像檢測運動向量時運算量的運動向量檢測方法和裝置。
而本發(fā)明第二目的在于，提供一種在保證檢測運動向量時檢測精度的同時可以減少運算量的運動向量檢測方法和裝置。
此外，本發(fā)明第三目的在于，提供一種可以減少檢測運動向量時進行塊匹配的次數(shù)，以便檢測運動向量時實現(xiàn)減少運算量和縮短處理時間的運動向量檢測方法和裝置。
本申請發(fā)明人，為了達到上述第一目的，反復(fù)進行了銳意研究，結(jié)果發(fā)現(xiàn)，隔行掃描方式中，對構(gòu)成活動圖像的各場圖像進行運動向量檢測時，前場圖像和后場圖像相關(guān)度高這一點可用于運動向量預(yù)測。
本發(fā)明第一目的的運動向量檢測方法和裝置，正是根據(jù)這樣的見解完成的，為一種對依據(jù)隔行掃描方式的場圖像進行運動向量檢測的運動向量檢測方法和裝置，其特征在于，用第一場圖像，在規(guī)定探索區(qū)域中對第二場圖像進行運動向量檢測；將參照的場圖像和第三場圖像之間的場間距離同所述第一場圖像和第二場圖像之間的場間距離進行比較，運算對第三場圖像進行運動向量檢測時的探索區(qū)域；以針對所述第二場圖像的運動向量其指示點為起點，在所述運算得到的探索區(qū)域中對第三場圖像進行運動向量檢測。
利用這種運動向量檢測方法和裝置的話，便用針對其他場圖像的運動向量，變動設(shè)定對場圖像進行運動向量檢測時的探索區(qū)域，在該設(shè)定的探索區(qū)域內(nèi)進行塊匹配，對第三場圖像進行運動向量檢測。
而達到上述第二目的的本發(fā)明運動向量檢測方法和裝置，其特征在于，確定以與基準(zhǔn)幀在時間或空間上接近的參照幀所包含的參照塊中表示運動向量的點為中心的第一探索區(qū)域；確定以根據(jù)基準(zhǔn)幀和參照幀之間的幀間距離使所述參照塊運動向量延長的點為中心的第二探索區(qū)域；在包含所述第一探索區(qū)域和第二探索區(qū)域的運動向量探索區(qū)域內(nèi)，運算基準(zhǔn)幀所包含的基準(zhǔn)塊圖像數(shù)據(jù)和參照幀所包含的參照塊圖像數(shù)據(jù)，對基準(zhǔn)塊進行運動向量檢測。
這種運動向量檢測方法和裝置，對基準(zhǔn)塊進行運動向量檢測時，進行以參照塊運動向量為基點確定第一探索區(qū)域，并按照使參照塊運動向量延長的點確定第二探索區(qū)域這種處理，在包含第一探索區(qū)域和第二探索區(qū)域的運動向量探索區(qū)域中對基準(zhǔn)塊進行運動向量檢測處理。
此外，本申請發(fā)明人，為了達到上述第三目的反復(fù)進行銳意研究，結(jié)果發(fā)現(xiàn)，進行運動向量檢測時，相鄰像素塊的運動向量中相關(guān)度高這一點，可用于運動向量的預(yù)測。
本發(fā)明第三目的的運動向量檢測方法和裝置，正是根據(jù)這樣的見解完成的，其特征在于，在第一探索區(qū)域中對第一塊進行運動向量檢測；根據(jù)針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的運動向量，設(shè)定對第二塊進行運動向量檢測時的第二探索區(qū)域；在所述第二探索區(qū)域中進行塊匹配來檢測針對所述第二塊的運動向量。
利用這種運動向量檢測方法和裝置的話，對上述第一塊在第一探索區(qū)域中進行塊匹配來進行運動向量的檢測，對與上述第一塊相鄰的第二塊，則用針對相鄰的第一塊的運動向量設(shè)定第二探索區(qū)域，在與上述規(guī)定探索區(qū)域不同規(guī)模的第二探索區(qū)域中進行塊匹配，對第二塊進行運動向量的檢測。
本發(fā)明其他目的以及本發(fā)明所獲得的具體優(yōu)點，從以下對實施例所作的說明當(dāng)中可進一步明了。
附圖簡要說明

圖1是表示適用本發(fā)明的第一實施例運動向量檢測裝置構(gòu)成的框圖。
圖2是隔行掃描方式場圖像的場間距離的說明圖。
圖3是表示第一實施例運動向量檢測裝置所具有的CPU按照運動向量檢測程序進行運動向量檢測處理步驟的流程圖。
圖4是確定規(guī)定探索區(qū)域?qū)\動向量VTT進行探索的說明圖。
圖5是用運動向量VTT確定對運動向量VBB進行探索的起點和探索區(qū)域的說明圖。
圖6是用運動向量VTT確定對運動向量VTB進行探索的起點和探索區(qū)域的說明圖。
圖7是用運動向量VTT確定對運動向量VBT進行探索的起點和探索區(qū)域的說明圖。
圖8是用以說明第一實施例運動向量檢測裝置中探索區(qū)域設(shè)定、運動向量檢測處理的流程圖。
圖9是用以說明第一實施例運動向量檢測裝置中探索區(qū)域設(shè)定、運動向量檢測處理的流程圖。
圖10是由CPU生成映射圖的處理的說明圖。
圖11是一例CPU存儲器生成的映射圖的說明圖。
圖12是另一例CPU存儲器生成的映射圖的說明圖。
圖13是表示適用本發(fā)明的第二實施例運動向量檢測裝置構(gòu)成的框圖。
圖14是第三實施例運動向量檢測裝置所具有的CPU進行運動向量檢測處理時幀圖像按宏塊單位分割的說明圖。
圖15是表示第三實施例運動向量檢測裝置所具有的CPU按照運動向量檢測程序進行運動向量檢測處理步驟的流程圖。
圖16是表示第三實施例運動向量檢測裝置所具有的CPU按照運動向量檢測程序進行運動向量檢測處理步驟的流程圖。
圖17是水平方向上相鄰宏塊指示不同方向時用相鄰宏塊運動向量設(shè)定探索區(qū)域進行運動向量檢測的說明圖。
圖18是水平方向上相鄰宏塊指示大致相同方向時用相鄰宏塊運動向量設(shè)定探索區(qū)域進行運動向量檢測的說明圖。
圖19是垂直方向上相鄰宏塊指示不同方向時用相鄰宏塊運動向量設(shè)定探索區(qū)域進行運動向量檢測的說明圖。
圖20是水平方向上相鄰宏塊指示大致相同方向時用相鄰宏塊運動向量設(shè)定探索區(qū)域進行運動向量檢測的說明圖。
實施發(fā)明的最佳方式以下參照附圖詳細(xì)說明本發(fā)明第一、第二和第三目的涉及的第一、第二和第三而且，以下說明中，將利用前場圖像和后場圖像之間的相關(guān)度設(shè)定探索區(qū)域來檢測運動向量的運動向量檢測裝置作為第一實施例說明，利用時間上先后幀或先后場的相關(guān)度設(shè)定探索區(qū)域來檢測運動向量的運動向量檢測裝置作為第二實施例說明，而利用相鄰像素塊運動向量當(dāng)中相關(guān)度高這一點設(shè)定探索區(qū)域來檢測運動向量的運動向量檢測裝置則作為第三實施例說明。
本發(fā)明第一實施例的運動向量檢測裝置例如按圖1所示構(gòu)成。
該運動向量檢測裝置1包括CPU(中央處理單元)2，在場圖像依據(jù)MPEG2規(guī)范的圖像編碼處理當(dāng)中對運動向量進行檢測處理。該CPU2通過啟動運動向量檢測程序，對運動向量進行檢測處理。該CPU2檢測運動向量時，利用存儲器3存儲的圖形數(shù)據(jù)和運動向量檢測程序。這時，CPU2通過將控制信號輸出給存儲器3和HDD(硬盤驅(qū)動器)4，對它們加以控制，使得HDD4中存儲的圖像數(shù)據(jù)和運動向量檢測程序存儲至存儲器3。
而CPU2對圖像數(shù)據(jù)依據(jù)例如MPEG方式進行圖像壓縮處理時，通過對I(Intra幀內(nèi))圖像進行DCT(離散余弦變換)處理的同時，對B(Bidirectionallypredictive雙向預(yù)測)、P(Predictive預(yù)測)圖像進行運動補償預(yù)測，來進行圖像壓縮處理。這時，CPU2對一場圖像求運動向量時，參照時間上先后場圖像的場間距離來確定探索運動向量時的探索區(qū)域。然后，CPU2通過在上述探索區(qū)域中按例如8×8像素組成的宏塊單位進行塊匹配，來檢測運動向量。
該CPU2進行塊匹配時，提取作為運動向量檢測處理對象的基準(zhǔn)場圖像中所包含的分割為規(guī)定像素數(shù)目的基準(zhǔn)塊，和以該基準(zhǔn)塊所對應(yīng)的參照場圖像位置為起點指示運動向量的一參照塊，運算基準(zhǔn)塊和參照塊所對應(yīng)的像素的差分絕對值，對基準(zhǔn)塊內(nèi)的全部像素進行差分絕對值的和運算處理。
而且，CPU2進行運動向量檢測時，邊使參照場圖像探索區(qū)內(nèi)提取的區(qū)域每次移動1像素，邊重復(fù)進行上述塊匹配，以上述差分絕對值之和給出最小值的點為基點檢測運動向量。另外，下面詳細(xì)說明該CPU2進行的運算上述探索區(qū)域以檢測運動向量的處理步驟。
存儲器3通過由上述CPU2控制，來控制所存儲的內(nèi)容。該存儲器3根據(jù)CPU2輸出的控制信號由HDD4存儲運動向量檢測程序和圖像數(shù)據(jù)，同時讀取所存儲的運動向量檢測程序和圖像數(shù)據(jù)。
HDD4存儲圖像數(shù)據(jù)和運動向量檢測程序。而且，該HDD4根據(jù)CPU2輸出的控制信號，將指定的圖像數(shù)據(jù)輸出給存儲器3。
該HDD4存儲的圖像數(shù)據(jù)如圖2所示，是依據(jù)隔行掃描方式、前場圖像(T)和后場圖像(B)交替排列而成的時間序列的活動圖像數(shù)據(jù)。而且，CPU2將例如前場圖像T1和下一前場圖像T2之間的場間距離設(shè)定為“1．0”時，便將前場圖像T1和后場圖像T2之間的場間距離設(shè)定為“1．5”，后場圖像B1和前場圖像T2之間的場間距離設(shè)定為“0．5”，后場圖像B1和后場圖像B2之間的場間距離設(shè)定為“1．0”，對上述探索區(qū)域進行運算處理。
圖1所示的I／F(接口)電路5，由例如外部輸入圖像數(shù)據(jù)，同時根據(jù)CPU2輸出的控制信號將圖像數(shù)據(jù)輸出至外部。該I／F電路5從例如外部輸入圖像數(shù)據(jù)時，將該圖像數(shù)據(jù)輸出至HDD4。
這樣構(gòu)成的第一實施例的運動向量檢測裝置1，由CPU2對多個場圖像組成的圖像數(shù)據(jù)進行運動向量檢測時，通過執(zhí)行HDD4存儲的運動向量檢測程序，進行圖3中流程圖所示處理。
首先在步驟S1中，CPU2如圖4所示，進行將探索起點設(shè)定為(0，0)的處理。具體來說，CPU2進行的是將為了檢測運動向量而進行塊匹配時的探索區(qū)域其起點設(shè)定為(0，0)作為初始設(shè)定這種處理。
下一步驟S2中，CPU2將按例如上述圖2所示利用前場圖像T1對前場圖像T2進行運動補償時所用的、對運動向量VTT進行探索的探索區(qū)域S0，設(shè)定為以例如上述起點(0，0)為中心、點(-32，-32)和點(+32，+32)為對角點定義的矩形區(qū)域。另外，該步驟S2中，CPU2也可以是對運動向量VTT進行檢測時足以對探索區(qū)域正確地檢測運動向量的任意規(guī)模。
下一步驟S3中，CPU2通過在上述步驟S2中確定的探索區(qū)域內(nèi)進行塊匹配，對運動向量VTT進行檢測處理。具體來說，CPU2將例如前場圖像T1設(shè)定為上述參照場圖像，并且將前場圖像T2設(shè)定為上述基準(zhǔn)場圖像，用前場圖像T1所包含的規(guī)定像素數(shù)目組成的基準(zhǔn)塊A，在探索區(qū)域內(nèi)進行塊匹配。由此，CPU2對前場圖像T2所包含的參照塊B進行探索，檢測運動向量VTT。
下一步驟S4中，CPU2轉(zhuǎn)移到以后場圖像B1為參照場圖像、并以后場圖像B2為基準(zhǔn)場圖像對運動向量VBB進行檢測的處理。此時，CPU2如圖5所示進行處理，將對運動向量VBB進行探索的起點設(shè)定為上述步驟S3中檢測出的運動向量VTT前端的座標(biāo)位置(hTT，vTT)。這里，由于進行運動向量VTT檢測時所采用的基準(zhǔn)場圖像和參照場圖像之間的場間距離和后場圖像B1和后場圖像B2之間的場間距離相同，因而CPU2在不使運動向量VTT前端伸縮的情況下，將對運動向量VBB進行探索的起點設(shè)定為運動向量VTT前端的座標(biāo)位置(hTT，vTT)。
下一步驟S5中，CPU2設(shè)定以上述步驟S4中設(shè)定的座標(biāo)位置(hTT，vTT)為中心的規(guī)定像素數(shù)目所組成的圖5中探索區(qū)域SBB。這里，CPU2將例如以點(hTT，vTT)為中心、以點(hTT-4，vTT-4)和點(hTT+4，vTT+4)為對角點定義的矩形區(qū)域設(shè)定為探索區(qū)域SBB。另外，該步驟S5當(dāng)中，CPU2也可以將進行運動向量VBB檢測時的探索區(qū)域SBB設(shè)定為任意像素數(shù)目。
下一步驟S6中，CPU2通過在上述步驟S5中設(shè)定的探索區(qū)域SBB內(nèi)與上述步驟S3相同進行塊匹配，來進行運動向量VBB的檢測處理。
下一步驟S7中，CPU2轉(zhuǎn)移到以前場圖像T1為參照場圖像、并以后場圖像B2為基準(zhǔn)場圖像對運動向量VTB進行檢測的處理。此時，CPU2如圖6所示進行處理，將對運動向量VTB進行探索的起點設(shè)定為上述步驟S3中檢測出的運動向量VTT長度1．5倍的座標(biāo)位置。具體來說，由于前場圖像T1和后場圖像B2之間的場間距離，與前場圖像T1和前場圖像T2之間的場間距離相比為1．5倍，因而CPU2進行的是將對運動向量VTB進行探索的起點設(shè)定為座標(biāo)位置(1．5hTT，1．5vTT)的處理。
下一步驟S8中，CPU2以上述步驟S7中設(shè)定的座標(biāo)位置(1．5hTT，1．5vTT)為中心，設(shè)定上述步驟S5中所設(shè)定的探索區(qū)域其1．5倍的像素數(shù)目所組成的探索區(qū)域STB。具體來說，CPU2將以座標(biāo)(1．5hTT，1．5vTT)為中心、座標(biāo)(1．5hTT-6，1．5vTT-6)和座標(biāo)(1．5hTT+6，1．5vTT+6)為對角點定義的矩形區(qū)域設(shè)定為探索區(qū)域STB。
下一步驟S9中，CPU2通過在上述步驟S8中設(shè)定的探索區(qū)域STB內(nèi)與上述步驟S3相同進行塊匹配，來進行運動向量VTB的檢測處理。
下一步驟S10中，CPU2轉(zhuǎn)移到以后場圖像B1為參照場圖像、并以前場圖像T2為基準(zhǔn)場圖像對運動向量VBT進行檢測的處理。此時，CPU2如圖7所示進行處理，將對運動向量VBT進行探索的起點設(shè)定為上述步驟S3中檢測出的運動向量VTT長度0．5倍的座標(biāo)位置。具體來說，由于后場圖像B1和前場圖像T2之間的場間距離，與前場圖像T1和前場圖像T2之間的場間距離相比為0．5倍，因而CPU2進行的是將對運動向量VBT進行探索的起點設(shè)定為座標(biāo)位置(0．5hTT，0．5vTT)的處理。
下一步驟S11中，CPU2以上述步驟S10中設(shè)定的座標(biāo)位置(0．5hTT，0．5vTT)為中心，設(shè)定上述步驟S5中所設(shè)定的探索區(qū)域其0．5倍的像素數(shù)目所組成的探索區(qū)域SBT。具體來說，CPU2將以座標(biāo)(0．5hTT，0．5vTT)為中心、座標(biāo)(0．5hTT-2，0．5vTT-2)和座標(biāo)(0．5hTT+2，0．5vTT+2)為對角點定義的矩形區(qū)域設(shè)定為探索區(qū)域SBT。
下一步驟S12中，CPU2通過在上述步驟S11中設(shè)定的探索區(qū)域SBT內(nèi)與上述步驟S3相同進行塊匹配，來進行運動向量VBT的檢測處理。
進行這種處理的結(jié)果是，CPU2得到2個運動向量，是根據(jù)前場圖像T1和后場圖像B1這2個場圖像之間關(guān)系來對前場圖像T2的運動向量進行預(yù)測的2個運動向量。而且，CPU2從這2個運動向量當(dāng)中選擇最佳的運動向量，作為對于前場圖像T2的運動向量。另外，對于后場圖像B2的運動向量，CPU2也從根據(jù)前場圖像T1和后場圖像B1這2個場圖像所預(yù)測的運動向量當(dāng)中選擇最佳的運動向量。
所具有的CPU2進行這種處理的第一實施例運動向量檢測裝置1，對依據(jù)隔行掃描方式的場圖像進行運動向量檢測處理時，如上述步驟S1～步驟S3所示，先檢測運動向量VTT再檢測其他運動向量VBB、VBT、VTB時，以上述運動向量VTT的前端位置為探索起點，同時根據(jù)場間距離進行塊匹配，使檢測其他運動向量VBB、VBT、VTB時的探索區(qū)域變化，因而可利用前場圖像和后場圖像之間的相關(guān)度來縮小探索區(qū)域的像素規(guī)模。所以，利用該運動向量檢測裝置1的話，可通過縮小探索區(qū)域的像素規(guī)模來減少檢測運動向量的運算量，同時還可縮短處理時間。
另外，對上述CPU2處理的說明中，是就先檢測運動向量VTT再設(shè)定檢測其他運動向量VBB、VBT、VTB時探索區(qū)域的情形進行說明的，但運動向量檢測裝置1也可以先檢測運動向量VTT、VBB、VBT、VTB當(dāng)中任一運動向量，再使檢測其他運動向量時的探索區(qū)域其像素規(guī)模與場間距離成正比變化。
此外，對上述CPU2處理的說明中，說明的是對于各個場圖像求出運動向量時。用時間上靠前配置的某一場圖像求出運動向量的一例，具體來說，說明的是對于例如前場圖像T2求出運動向量時，用前場圖像T1和后場圖像B1求出運動向量VTT和運動向量VTB的情形，但也可以僅求出運動向量VTT和運動向量VTB其中一個運動向量，作為對于各個場圖像的運動向量。
接下來說明本發(fā)明適用的第二實施例運動向量檢測裝置。該第二實施例的運動向量檢測裝置，與上述第一實施例的運動向量檢測裝置1相同，具有圖1所示構(gòu)成。
CPU2內(nèi)部具有存儲器，對于按照運動向量檢測程序進行塊匹配檢測運動向量的探索區(qū)域，確定以時間上接近基準(zhǔn)幀的參照幀所包含的參照塊中表示運動向量的點為中心的第一探索區(qū)域，并以根據(jù)基準(zhǔn)幀和參照幀的場間距離或幀間距離所延長的點為中心設(shè)定第二探索區(qū)域。
而CPU2對構(gòu)成基準(zhǔn)幀的每一基準(zhǔn)塊，生成表明是進行塊匹配的探索區(qū)域的標(biāo)志，并存儲于上述存儲器，來進行運動向量的檢測。由此，CPU2在上述存儲器中生成一映射圖，用以判斷是否存在與基準(zhǔn)幀相對應(yīng)的標(biāo)志。
此時，CPU2以例如“1”作為進行塊匹配的標(biāo)志，而以例如“0”作為不進行塊匹配的標(biāo)志，生成映射圖。而且，CPU2參照標(biāo)志組成的映射圖，在所設(shè)定的探索區(qū)域內(nèi)進行塊匹配，來進行運動向量的檢測。
用圖8和圖9中流程圖說明該第二實施例運動向量檢測裝置1中所具有的CPU2的處理。
首先在步驟S21中，CPU2判定宏塊單位的參照塊中是否存在運動向量。而且，CPU2當(dāng)判定參照塊存在運動向量時進入步驟S2，而判定參照塊中不存在運動向量時則進入步驟S23。
下一步驟S22中，CPU2將上述運動向量探索區(qū)域的中心位置設(shè)定為參照塊運動向量的前端位置。具體來說，CPU2將距上述中心位置規(guī)定像素數(shù)目的矩形區(qū)域設(shè)定為運動向量探索區(qū)域，并設(shè)定為生成由表明進行塊匹配的標(biāo)志所組成的映射圖的區(qū)域。
下一步驟S24中，CPU2如圖10所示，將上述步驟S22中設(shè)定的運動向量探索區(qū)域的中心位置設(shè)定為上述存儲器存儲的標(biāo)志所組成的映射圖的中心位置，將以(-Sh，-Sv)和(+Sh，+Sv)為對角點的矩形區(qū)域設(shè)定為映射圖基區(qū)。具體來說，該CPU2便在內(nèi)部存儲器中生成一在上述基區(qū)內(nèi)表明進行塊匹配的“1”標(biāo)志或表明不進行塊匹配的“0”標(biāo)志所組成的映射圖。
下一步驟S25中，CPU2將以參照塊運動向量前端為中心、具有規(guī)定像素數(shù)目的區(qū)域設(shè)定為第一探索區(qū)域，并以參照塊運動向量起延長的點為中心位置設(shè)定為第二探索區(qū)域。此時，CPU2根據(jù)為運動向量檢測對象的基準(zhǔn)幀和上述參照塊所存在的參照幀之間的幀間距離，確定從參照塊運動向量起延長的點的位置，確定以這樣確定的點為中心的第二探索區(qū)域的大小。也就是說，該CPU2將與基準(zhǔn)幀和參照幀之間距離成正比的區(qū)域大小設(shè)定為第二探索區(qū)域大小。接下來，該CPU2根據(jù)對第一探索區(qū)域和第二探索區(qū)域的設(shè)定，生成表明進行塊匹配的標(biāo)志。接著，CPU2設(shè)定將所設(shè)定的第一探索區(qū)域和第二探索區(qū)域相連的連線，將上述第一探索區(qū)域、第二探索區(qū)域和連線所包圍的區(qū)域視為運動向量探索區(qū)域，生成標(biāo)志。
因此，CPU2通過將如上所述設(shè)定的第一探索區(qū)域和第二探索區(qū)域設(shè)定為例如圓形，將第二探索區(qū)域其大小設(shè)定為半徑隨幀間距離變大，在存儲器基區(qū)內(nèi)對第一探索區(qū)域和第二探索區(qū)域相連的切線作為連線所包圍的表示運動向量探索區(qū)域的標(biāo)志進行映射變換，在存儲器內(nèi)生成給出圖11所示第一探索區(qū)域A、第二探索區(qū)域B和連線C所包圍的運動向量探索區(qū)域的映射圖。另外，上述圖11中，帶網(wǎng)格部分表示標(biāo)志為“1”的運動向量探索區(qū)域，而空白部分則表示標(biāo)志為“0”的區(qū)域。
而判定上述步驟S21中參照塊不存在運動向量的步驟S23中，CPU2將運動向量探索區(qū)域的中心位置設(shè)定為基準(zhǔn)塊內(nèi)的座標(biāo)(0，0)。
下一步驟S26中，CPU2將以上述步驟S23中設(shè)定的運動向量探索區(qū)域的中心為中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對角點的矩形區(qū)域設(shè)定為映射圖基區(qū)，進入步驟S27。具體來說，CPU2根據(jù)步驟S21中判定參照塊中不存在運動向量，在存儲器中生成映射圖，將以運動向量探索區(qū)域的中心為上述矩形區(qū)域的中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對角點的矩形區(qū)域作為運動向量探索區(qū)域。
步驟S27中，CPU2將上述步驟S25或步驟S26生成的映射圖中上述基區(qū)左上座標(biāo)位置指定為初始位置。具體來說，該CPU2檢測運動向量時所進行的塊匹配探索位置從上述基區(qū)左上座標(biāo)(H，V)開始。其中，H和V是表示上述映射圖中座標(biāo)位置的變量。
下一步驟S28中，CPU2根據(jù)對運動向量進行檢測的基準(zhǔn)幀，從存儲器3當(dāng)中讀取宏塊單位的基準(zhǔn)塊的圖像數(shù)據(jù)。
下一步驟S29中，CPU2從存儲器中存儲的映射圖讀出座標(biāo)(H，V)的標(biāo)志。
下一步驟S30中，CPU2判定上述步驟S29中讀出的標(biāo)志是“1”還是“0”。具體來說，該CPU2利用存儲器存儲的映射圖座標(biāo)位置所對應(yīng)的基準(zhǔn)塊像素和參照塊像素，判定是否進行塊匹配。接著，CPU2當(dāng)標(biāo)志為“1”時，即進行塊匹配時進入圖9所示的步驟S31，當(dāng)標(biāo)志為“0”時，即不進行塊匹配時進入圖9所示的步驟S35。
步驟S31中，CPU2根據(jù)參照幀從存儲器3讀出與座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)。
下一步驟S32中，CPU2通過比較上述步驟S28讀出的上述座標(biāo)(H，V)所對應(yīng)的基準(zhǔn)塊的圖像數(shù)據(jù)和與上述步驟S31輸入的座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)，來運算構(gòu)成基準(zhǔn)塊的各像素和構(gòu)成參照塊的各像素之間的差分，運算差分的絕對值和。
下一步驟S33中，CPU2判定上述步驟S32中求出的差分絕對值和是否最小。而且，CPU2判定差分絕對值和最小時便進入步驟S34中，將差分絕對值和作為最小值存儲座標(biāo)(H，V)，而判定并非最小時便進入步驟S35中。由此，CPU2對運動向量進行檢測。
接著在步驟S35中，CPU2通過使映射圖的座標(biāo)(H，V)遞增來指定下一像素，步驟S36判定映射圖座標(biāo)是否是右下，即判定座標(biāo)是否是(右側(cè)Right，底端Bottom)。接下來，CPU2判定映射圖座標(biāo)不是右下時，便對步驟S35指定的像素進行步驟S29以后的處理，而判定映射圖座標(biāo)為右下時，則結(jié)束對基準(zhǔn)塊進行運動向量檢測的處理。
所具有的CPU2進行這種處理的第二實施例運動向量檢測裝置1，對某個基準(zhǔn)塊進行運動向量檢測時，通過在步驟S25中確定用參照塊的運動向量進行塊匹配的區(qū)域，并重復(fù)步驟S29至步驟S36的處理，來僅對生成有標(biāo)志的座標(biāo)進行塊匹配，用步驟S32運算得到的差分絕對值和為最小時的參照塊座標(biāo)，來檢測基準(zhǔn)塊的運動向量。
所以，第二實施例的運動向量檢測裝置1如上述步驟S25說明的那樣，用參照塊的運動向量來設(shè)定第一探索區(qū)域和第二探索區(qū)域，僅在包含該第一探索區(qū)域和第二探索區(qū)域的探索區(qū)域內(nèi)進行塊匹配，因而與不用參照塊設(shè)定探索區(qū)域時相比較，可縮小探索區(qū)域。因而，利用第二實施例運動向量檢測裝置1的話，可減少進行塊匹配的次數(shù)，并可以大幅減少用于運動向量檢測的運算量。
而且，利用第二實施例運動向量檢測裝置1的話，可以在保持運動向量檢測處理精度的同時減少運算量，可縮短處理時間。
此外，通過一并采用如第一實施例中說明的那樣利用后場圖像和前場圖像之間相關(guān)進行探索區(qū)域設(shè)定處理的運動向量檢測程序，可進一步縮小探索區(qū)域，減少進行塊匹配的次數(shù)。
另外，對第二實施例運動向量檢測裝置1處理的說明中，是就圖11所示的在步驟S25中將第一探索區(qū)域A和第二探索區(qū)域B形成為圓形區(qū)域的一例加以說明的，但運動向量檢測裝置1，也可以如圖12所示將第一探索區(qū)域和第二探索區(qū)域形成為矩形區(qū)域，在第一探索區(qū)域和第二探索區(qū)域相連的直線和上述第一探索區(qū)域和第二探索區(qū)域所包圍的上述運動探索區(qū)域內(nèi)進行運動向量檢測這種處理。通過象這樣第一探索區(qū)域和第二探索區(qū)域取矩形區(qū)域，運動向量檢測裝置1與設(shè)定圓形區(qū)域的探索區(qū)域相比，可以減少用于探索區(qū)域設(shè)定的處理量，可進一步縮短處理時間。
將上述第二實施例的運動向量檢測裝置1作為功能框，對圖13所示的運動向量檢測裝置100進行說明。
該運動向量檢測裝置100，包括一基準(zhǔn)幀存儲器101，以存儲作為求得運動向量的對象的基準(zhǔn)幀圖像數(shù)據(jù)。該基準(zhǔn)幀存儲器101，其存儲的基準(zhǔn)幀圖像數(shù)據(jù)由運動檢測部102按例如宏塊單位的基準(zhǔn)塊讀取。
而且，該運動向量檢測裝置100，還包括一參照幀存儲器103，以存儲對基準(zhǔn)幀進行運動向量檢測時所用的參照幀圖像數(shù)據(jù)。該參照幀存儲器103根據(jù)探索區(qū)域確定部104輸出的參照塊讀出控制信號，將參照幀圖像數(shù)據(jù)按例如宏塊單位的參照塊輸出給運動檢測部102。
上述運動檢測部102，通過利用上述基準(zhǔn)幀存儲器101輸出的基準(zhǔn)塊和上述參照幀存儲器103輸出的參照塊進行塊匹配，對基準(zhǔn)塊進行運動向量檢測。這里，所謂塊匹配，是將基準(zhǔn)幀和參照幀分割為規(guī)定像素數(shù)目的矩形小區(qū)域(基準(zhǔn)塊、參照塊)，就每一塊進行運動向量檢測這種處理。對于基準(zhǔn)塊和參照塊的大小來說，有例如橫向8像素×縱向8像素、橫向16像素×縱向16像素等。而且，該運動檢測部102將對基準(zhǔn)塊檢測出的運動向量不僅向外部輸出，而且向探索區(qū)域確定部104輸出。
探索區(qū)域確定部104將運動檢測部102輸出的運動向量用作參照塊的運動向量，由運動檢測部102進行上述塊匹配，來進行基準(zhǔn)塊運動向量檢測時運動向量探索區(qū)域確定這種處理。具體來說，該探索區(qū)域確定部104不僅通過用參照塊的運動向量運算來確定以參照塊中表示運動向量的點為中心的第一探索區(qū)域，還通過根據(jù)基準(zhǔn)幀和參照幀之間幀間距離運算來確定以參照塊運動向量起延長的點為中心的第二探索區(qū)域。然后，該探索區(qū)域確定部104就包含上述第一探索區(qū)域和第二探索區(qū)域的運動向量探索區(qū)域生成參照塊讀出控制信號，由參照幀存儲器103將運動向量探索區(qū)域所包含的參照塊輸出給運動檢測部102。
這里，探索區(qū)域確定部104，內(nèi)部具有存儲器，確定上述各探索區(qū)域，而且就每一構(gòu)成基準(zhǔn)幀的各基準(zhǔn)塊，生成一標(biāo)志以表明是進行塊匹配的區(qū)域并存儲于上述存儲器。由此，探索區(qū)域確定部104在上述存儲器中生成用于判斷是否存在基準(zhǔn)幀所對應(yīng)標(biāo)志的映射圖。探索區(qū)域確定部104令例如“1”作為進行塊匹配的標(biāo)志，而令“0”作為不進行塊匹配的標(biāo)志，生成映射圖。然后，由運動檢測部102進行塊匹配時，探索區(qū)域確定部104參照標(biāo)志組成的映射圖，生成參照塊讀出控制信號，輸出給參照幀存儲器103。
就由這樣構(gòu)成的運動向量檢測裝置100生成上述標(biāo)志、對一個基準(zhǔn)塊進行運動向量檢測的處理來說，與上述圖8和圖9流程圖中的處理大致相同，但下面再次參照圖8和圖9說明圖13所示的運動向量檢測裝置100的處理。
檢測該運動向量的處理，首先在步驟S21中，探索區(qū)域確定部104判定對參照幀存儲器103輸出的宏塊單位的參照塊是否存在運動向量，當(dāng)判定存在運動向量時進入步驟S22，而當(dāng)判定不存在運動向量時則進入步驟S23。
下一步驟S22中，探索區(qū)域確定部104將上述運動向量探索區(qū)域的中心位置設(shè)定為參照塊運動向量的前端位置。
下一步驟S24中，探索區(qū)域確定部104如圖10所示，將上述步驟S22中設(shè)定的運動向量探索區(qū)域的中心位置設(shè)定為上述存儲器存儲的標(biāo)志所組成的映射圖的中心位置，而將以(-Sh，-Sv)和(+Sh，+Sv)為對角點的矩形區(qū)域設(shè)定為映射圖的基區(qū)。具體來說，該探索區(qū)域確定部104在內(nèi)部存儲器中生成一由上述基區(qū)內(nèi)表示進行塊匹配的“1”標(biāo)志或表示不進行塊匹配的“0”標(biāo)志所組成的映射圖。
下一步驟S25中，探索區(qū)域確定部104將以參照塊運動向量前端為中心、具有規(guī)定像素數(shù)目的區(qū)域設(shè)定為第一探索區(qū)域，并根據(jù)幀間距離以參照塊運動向量起延長的點為中心位置設(shè)定為第二探索區(qū)域。而且，該探索區(qū)域確定部104根據(jù)對第一探索區(qū)域和第二探索區(qū)域的設(shè)定，生成表明進行塊匹配的標(biāo)志。此外，探索區(qū)域確定部104設(shè)定將所設(shè)定的第一探索區(qū)域和第二探索區(qū)域相連的連線，將上述第一探索區(qū)域、第二探索區(qū)域和連線所包圍的區(qū)域作為運動向量探索區(qū)域，生成標(biāo)志。
因此，探索區(qū)域確定部104通過將如上所述設(shè)定的第一探索區(qū)域和第二探索區(qū)域設(shè)定為例如圓形，將第二探索區(qū)域其大小設(shè)定為半徑隨幀間距離變大，在存儲器基區(qū)內(nèi)對第一探索區(qū)域和第二探索區(qū)域相連的切線作為連線所包圍的表示運動向量探索區(qū)域的標(biāo)志進行映射變換，在存儲器內(nèi)生成給出圖11所示第一探索區(qū)域A、第二探索區(qū)域B和連線C所包圍的運動向量探索區(qū)域的映射圖。另外，上述圖11中，帶網(wǎng)格部分表示標(biāo)志為“1”的運動向量探索區(qū)域，而空白部分則表示標(biāo)志為“0”的區(qū)域。
而判定上述步驟S21中參照塊不存在運動向量的步驟S23中，探索區(qū)域確定部104將運動向量探索區(qū)域的中心位置設(shè)定為基準(zhǔn)塊內(nèi)的座標(biāo)(0，0)。
下一步驟S26中，探索區(qū)域確定部104將以上述步驟S23中設(shè)定的運動向量探索區(qū)域的中心為中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對角點的矩形區(qū)域設(shè)定為映射圖基區(qū)，進入步驟S27。步驟S26中，探索區(qū)域確定部104根據(jù)步驟S21中判定參照塊中不存在運動向量，在存儲器中生成映射圖，將以運動向量探索區(qū)域的中心為上述矩形區(qū)域的中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對角點的矩形區(qū)域作為運動向量探索區(qū)域。
步驟S27中，探索區(qū)域確定部104將上述步驟S25或步驟S26生成的映射圖中上述基區(qū)左上座標(biāo)位置指定為初始位置。具體來說，該探索區(qū)域確定部104使運動檢測部102檢測運動向量時所進行的塊匹配探索位置是從上述基區(qū)左上座標(biāo)(H，V)開始。其中，H和V是表示上述映射圖中座標(biāo)位置的變量。
下一步驟S28中，運動檢測部102根據(jù)對運動向量進行檢測的基準(zhǔn)幀，從基準(zhǔn)幀存儲器101當(dāng)中讀取宏塊單位的基準(zhǔn)塊的圖像數(shù)據(jù)。
下一步驟S29中，探索區(qū)域確定部104從存儲器中存儲的映射圖當(dāng)中讀出座標(biāo)(H，V)的標(biāo)志。
下一步驟S30中，探索區(qū)域確定部104判定上述步驟S29中讀出的標(biāo)志是“1”還是“0”。具體來說，該探索區(qū)域確定部104利用存儲器存儲的映射圖座標(biāo)位置所對應(yīng)的基準(zhǔn)塊像素和參照塊像素，判定是否進行塊匹配。而且，探索區(qū)域確定部104當(dāng)標(biāo)志為“1”時，即進行塊匹配時，進入圖9所示的步驟S31，當(dāng)標(biāo)志為“0”時，即不進行塊匹配時，進入圖9所示的步驟S35。
接著在步驟S35中，探索區(qū)域確定部104通過使映射圖的座標(biāo)(H，V)遞增來指定下一像素，步驟S36判定映射圖座標(biāo)是否是右下，即判定座標(biāo)是否是(右側(cè)Right，底端Bottom)。接下來，探索區(qū)域判定部104當(dāng)判定映射圖座標(biāo)不是右下時，便對步驟S35指定的像素進行步驟S29以后的處理，而判定映射圖座標(biāo)為右下時，則結(jié)束對基準(zhǔn)塊進行運動向量檢測的處理。
步驟S31中，探索區(qū)域確定部104通過將參照塊讀出控制信號輸出給參照幀存儲器103，控制使得參照幀存儲器103將參照幀與座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)輸出給運動檢測部102。
下一步驟S32中，運動檢測部102通過比較上述步驟S28讀出的上述座標(biāo)(H，V)所對應(yīng)的基準(zhǔn)塊的圖像數(shù)據(jù)和與上述步驟S31輸入的座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)，來運算構(gòu)成基準(zhǔn)塊的各像素和構(gòu)成參照塊的各像素之間的差分，運算差分的絕對值和。
下一步驟S33中，運動檢測部102判定上述步驟S32中求出的差分絕對值和是否最小，判定差分絕對值和最小時便進入步驟S34，將差分絕對值和作為最小值來存儲座標(biāo)(H，V)。由此，運動檢測部102便檢測出運動向量。
接著在步驟S35中，探索區(qū)域確定部104如上所述指定基區(qū)內(nèi)的下一參照塊，步驟S36中指定的參照塊座標(biāo)在步驟S36中判定映射圖座標(biāo)是否是右下，即判定座標(biāo)是否是(右側(cè)Right，底端Bottom)。
象這樣運動向量檢測裝置100對某個基準(zhǔn)塊進行運動向量檢測時，通過在步驟S25中確定用參照塊的運動向量進行塊匹配的區(qū)域，并重復(fù)步驟S29至步驟S36的處理，來僅對生成有標(biāo)志的座標(biāo)進行塊匹配，用步驟S32運算得到的差分絕對值和為最小時的參照塊座標(biāo)，來檢測基準(zhǔn)塊的運動向量。
所以，進行這種處理的運動向量檢測裝置100如上述步驟S25說明的那樣，用參照塊的運動向量來設(shè)定第一探索區(qū)域A和第二探索區(qū)域B，僅在包含該第一探索區(qū)域A和第二探索區(qū)域B的運動向量探索區(qū)域內(nèi)進行塊匹配，因而與不用參照塊設(shè)定探索區(qū)域時相比較，可縮小探索區(qū)域。因而，利用運動向量檢測裝置100的話，可減少進行塊匹配的次數(shù)，并可以大幅減少用于運動向量檢測的運算量。而且，利用進行上述處理的運動向量檢測裝置100的話，可以在保持運動向量檢測處理精度的同時減少運算量，可縮短處理時間。
另外，對上述第二實施例運動向量檢測裝置1及100其處理的說明中，除了圖11所示例以外，也可以如圖12所示，將第一探索區(qū)域和第二探索區(qū)域形成為矩形區(qū)域，在第一探索區(qū)域和第二探索區(qū)域相連的直線和上述第一探索區(qū)域和第二探索區(qū)域所包圍的上述運動探索區(qū)域內(nèi)進行運動向量檢測這種處理。
接下來說明用于實現(xiàn)本發(fā)明第三目的的第三實施例。另外，以下對第三實施例的說明中，說明的是用第一實施例的圖1所示構(gòu)成的運動向量檢測裝置1所適用的一例。
該第三實施例運動向量檢測裝置，利用相鄰像素塊運動向量中相關(guān)度高這一點，設(shè)定探索區(qū)域，檢測運動向量。
這時，CPU2對場圖像或幀圖像求運動向量時，通過設(shè)定進行運動向量探索時的探索區(qū)域，在上述探索區(qū)域中按例如8×8像素組成的宏塊單位進行塊匹配，來檢測運動向量。具體來說，CPU2按照運動向量檢測程序，就每一宏塊分割幀圖像，用相鄰宏塊的運動向量，設(shè)定進行塊匹配時的探索區(qū)域。
CPU2進行運動向量檢測時，首先通過在規(guī)定探索區(qū)內(nèi)對圖14中帶格部分所示每隔1個宏塊進行塊匹配，來進行運動向量檢測處理。接著，CPU2采用對于上述帶網(wǎng)格部分中的宏塊的運動向量運算探索區(qū)域，通過在該探索區(qū)域進行塊匹配，對圖14中空白部分的宏塊進行運動向量檢測處理。
這樣構(gòu)成的運動向量檢測裝置1，通過由CPU2在對幀圖像的圖像數(shù)據(jù)進行運動向量檢測時執(zhí)行HDD4中存儲的運動向量檢測程序，來進行圖15和圖16中流程圖所示的處理。
首先在步驟S41中，CPU2通過對如圖17所示在水平方向上排列有多個宏塊而成的行的地址進行指定，來進行行號(No．)的指定處理。這里，CPU對水平方向排列有宏塊(MB)的多個行當(dāng)中位于最上部的行號(0)進行指定。其中，上述行號從上部起包括0，1，2，…，底端(Bottom)。
下一步驟S42中，CPU2在上述步驟S41中指定的行“0”當(dāng)中，對檢測運動向量的宏塊序號(0)進行指定處理。構(gòu)成各行的多個宏塊序號，從左端至右端包括0，1，2，…，右側(cè)(Right)。
下一步驟S43中，CPU2對上述步驟S42指定的序號的宏塊設(shè)定探索區(qū)域。這里，CPU2將探索區(qū)域設(shè)定為由規(guī)定像素數(shù)目所組成的搜索范圍R。此時，CPU2將例如相對于表示宏塊中心位置的座標(biāo)具有(±R，±R)對角點的矩形區(qū)域設(shè)定為探索區(qū)域。而且，CPU2將32×32像素組成的矩形區(qū)域設(shè)定為例如搜索范圍R的探索區(qū)域。然后，該CPU2還通過利用由規(guī)定像素數(shù)目組成的探索區(qū)域中在時間上有前后的幀圖像所對應(yīng)的宏塊，進行上述塊匹配，來進行運動向量的檢測處理。
下一步驟S44中，CPU2對與上述步驟S43中進行運動檢測的宏塊在水平方向上左右錯開2個序號的宏塊進行指定處理。
接下來在步驟S45中，CPU2判斷上述步驟S44指定的宏塊是否位于幀圖像右端。而CPU2判斷所指定的宏塊位于幀圖像右端位置時，進入步驟S46，而判斷并非位于右端位置時則返回步驟S43。具體來說，CPU2通過進行上述步驟S43～步驟S45所示的處理，就所指定行中從位于左端的宏塊起向右端每隔2個序號，進行上述步驟S43中說明的在規(guī)定探索區(qū)域?qū)\動向量的檢測處理。
下一步驟S46中，CPU2對上述步驟S42指定的序號“0”的宏塊其右側(cè)相鄰的序號“1”的宏塊進行指定處理。
下一步驟S47中，CPU2判斷上述步驟S46或下面說明的步驟S54中指定序號的宏塊其右側(cè)相鄰的宏塊是否存在。而且，CPU2當(dāng)判斷指定序號的宏塊其右側(cè)不存在相鄰的宏塊時進入步驟S48，而當(dāng)判斷指定序號的宏塊其右側(cè)存在相鄰的宏塊時，則進入步驟S49。
步驟S48中，CPU2通過對上述步驟S47中判斷為其右側(cè)相鄰的宏塊不存在的宏塊，設(shè)定上述步驟S43中上述規(guī)定的探索區(qū)域，在該探索區(qū)域進行塊匹配，來進行運動向量的檢測處理，進入步驟S54。
而步驟S49中，CPU2運算上述步驟S46或下面述及的步驟S54中指定的宏塊兩側(cè)相鄰的宏塊其運動向量的差分，運算該差分的絕對值△V。這里，上述運動向量差分的絕對值△V，當(dāng)宏塊兩側(cè)相鄰的宏塊運動向量所指示的方向為大致相同方向時為較小數(shù)值，而宏塊兩側(cè)相鄰的宏塊運動向量所指示的方向越是不同，其數(shù)值便越大。
下一步驟S50中，CPU2判斷上述步驟S49運算得到的差分絕對值△V與搜索范圍r相比是否足夠大。這里，“r”為任意值，所謂搜索范圍r是指具有點(-r，-r)和點(+r，+r)作為對角點的矩形區(qū)域。而該搜索范圍r定義的矩形區(qū)域所占據(jù)區(qū)域比上述步驟S43中搜索范圍R定義的矩形區(qū)域要小，例如為6×6像素組成的矩形區(qū)域。而且，CPU2當(dāng)差分絕對值△V與搜索范圍r相比足夠大時，即相鄰的宏塊各運動向量所指示方向不同時，便進入步驟S51，而差分絕對值△V與搜索范圍r相比并非足夠大時，即相鄰的宏塊各運動向量所指示方向為大致相同方向時，則進入步驟S52。
步驟S51中，CPU2將針對上述步驟S46或下面述及的步驟S54中指定的宏塊在水平方向兩側(cè)相鄰的宏塊的各運動向量作為圖17所示指定的宏塊的左上座標(biāo)位置，以所指示點為中心，分別設(shè)定按搜索范圍r定義的探索區(qū)域A、B。而且，CPU2通過在各探索區(qū)域A、B中進行塊匹配，來進行運動向量檢測，進入步驟S54。
而步驟52中，CPU2則利用針對步驟S46或步驟S54中指定的宏塊在水平方向兩側(cè)相鄰的宏塊的各運動向量，運算圖18所示的平均運動向量AveV(h，v)。
下一步驟S53中，CPU2設(shè)定以平均運動向量AveV(h，v)前端所指示的座標(biāo)位置(h，v)為中心、以點(-r，-r)和點(+r，+r)為對角點的矩形探索區(qū)域C。然后，CPU2通過在所設(shè)定的探索區(qū)域C中進行塊匹配，對步驟S46或步驟S54中指定的宏塊進行運動向量檢測。
下一步驟S54中，CPU2進行從上述步驟S53中檢測出運動向量的宏塊起在水平方向上向右前進2個序號這種處理。
下一步驟S55中，CPU2判斷上述步驟S54指定序號的宏塊是否位于水平行的右端。而且，CPU2當(dāng)判斷所指定的宏塊位于水平行右端時便進入步驟S56，而判斷所指定的宏塊并非位于水平行右端時則返回步驟S47。也就是說，CPU2通過重復(fù)上述步驟S42～步驟S55的處理，對正進行上述處理的水平行其構(gòu)成的全部宏塊進行運動向量檢測。
步驟S56中，CPU2進行從進行過上述步驟S43至步驟S55處理的水平行起，向底端前進2個序號，對新水平行進行指定這種處理。
下一步驟S57中，CPU2判斷上述步驟S56指定的水平行序號是否是底端。而且，CPU2當(dāng)判斷所指定的水平行為底端時便進入圖16所示的步驟S58，而判斷所指定的水平行并非為底端時則返回步驟S42，對所指定的水平行進行上述步驟S42～步驟S55所示的處理。也就是說，CPU2通過進行步驟S41～步驟S57的處理，便從幀圖像中序號“0”的水平行至底端水平行每隔2個序號進行上述步驟S42～步驟S55所示的處理。
下一步驟S58中，CPU2對如圖14所示多個宏塊在垂直方向上排列而成的水平行進行指定序號的處理。這里，CPU2在宏塊按水平方向排列的多個水平行當(dāng)中，指定上端起向下1個序號相鄰的水平行“1”的序號。
下一步驟S59中，CPU2進行在上述步驟S58中指定的水平行“1”當(dāng)中指定進行運動向量檢測的宏塊序號“0”這種處理。
下一步驟S60中，CPU2判斷上述步驟S59中指定的宏塊下側(cè)是否存在宏塊。而且，CPU2當(dāng)判斷所指定的宏塊下側(cè)并不存在宏塊時，便進入步驟S61，而判斷所指定的宏塊下側(cè)存在宏塊時則進入步驟S62。
步驟S61中，CPU2對于上述步驟S60中判斷為并不存在下側(cè)相鄰的宏塊的宏塊，設(shè)定上述步驟S43中搜索范圍R的探索區(qū)域，通過在該探索區(qū)域中進行塊匹配來進行運動向量的檢測處理，進入步驟S67。
而步驟S62中，CPU2運算在上述步驟S59或下面述及的步驟S67指定的宏塊在垂直方向上相鄰的宏塊其運動向量的差分，運算該差分絕對值△V。
下一步驟S63中，CPU2判斷上述步驟S62中運算得到的差分絕對值△V是否大于搜索范圍r。而且，CPU2當(dāng)差分絕對值△V小于搜索范圍r時進入步驟S65，而差分絕對值△V并非小于搜索范圍r時，則進入步驟S64。
步驟S64中，CPU2將針對上述步驟S59或下面述及的步驟S67中指定的宏塊在垂直方向兩側(cè)相鄰的宏塊的各運動向量作為圖19所示指定的宏塊的左上座標(biāo)位置，以所指示點為中心，分別設(shè)定按搜索范圍r定義的探索區(qū)域D、E。而且，CPU2通過在各探索區(qū)域D、E中進行塊匹配，來進行運動向量檢測。
而步驟65中，CPU2則利用針對步驟S59或步驟S67中指定的宏塊在垂直方向兩側(cè)相鄰的宏塊的各運動向量，運算圖20所示的平均運動向量AveV(h，v)。
下一步驟S66中，CPU2設(shè)定以平均運動向量AveV(h，v)前端所指示的座標(biāo)位置(h，v)為中心、以點(-r，-r)和點(+r，+r)為對角點的矩形探索區(qū)域F。而且，CPU2通過在所設(shè)定的探索區(qū)域內(nèi)進行塊匹配，對步驟S59或步驟S67中指定的宏塊進行運動向量檢測。
下一步驟S67中，CPU2進行從上述步驟S66中檢測出運動向量的宏塊起在水平方向上向右前進1個序號這種處理。
下一步驟S68中，CPU2判斷上述步驟S67指定序號的宏塊是否位于水平行的右端。而且，CPU2當(dāng)判斷所指定的宏塊位于水平行右端時便進入步驟S69，而判斷所指定的宏塊并非位于水平行右端時則返回步驟S60。也就是說，CPU2通過重復(fù)上述步驟S60～步驟S68的處理，對正進行上述處理的水平行其構(gòu)成的全部宏塊進行運動向量檢測。
步驟S69中，CPU2進行從進行過上述步驟S59至步驟S68處理的水平行起，向底端前進2個序號，對新水平行進行指定這種處理。
下一步驟S70中，CPU2判斷上述步驟S69指定的水平行序號是否是底端。而且，CPU2當(dāng)判斷所指定的水平行為底端時便結(jié)束處理，而判斷所指定的水平行并非為底端時則返回步驟S59，對所指定的水平行進行上述步驟S42～步驟S68所示的處理。也就是說，CPU2通過進行步驟S58～步驟S70的處理，便在幀圖像垂直方向上從序號“0”的水平行至底端水平行每隔2個序號進行上述步驟S59～步驟S68所示的處理。
上述第三實施例的運動向量檢測裝置1，通過執(zhí)行步驟S41～步驟S57所示的處理，對所指定的水平行當(dāng)中沿水平方向排列的全部宏塊進行運動向量檢測，通過執(zhí)行步驟S58～步驟S70所示的處理，便指定非上述步驟S41～步驟S57處理對象的水平行，用垂直方向上相鄰的宏塊檢測運動向量，這樣對構(gòu)成幀圖像的全部宏塊進行運動向量檢測。
所以，利用第三實施例運動向量檢測裝置1的話，通過進行步驟S43所示的處理，對構(gòu)成幀圖像的部分宏塊在規(guī)定像素規(guī)模的探索區(qū)域內(nèi)進行塊匹配，來進行運動向量的檢測處理，對于其他宏塊，則通過參照相鄰的宏塊運動向量，在像素規(guī)模比上述規(guī)定像素規(guī)模小的探索區(qū)域內(nèi)進行塊匹配，對運動向量進行檢測，因而，與對于構(gòu)成幀圖像的全部宏塊預(yù)先設(shè)定的規(guī)定像素規(guī)模的探索區(qū)域中進行塊匹配來進行運動向量檢測的情況相比，可縮小探索區(qū)域，可以減少進行塊匹配的次數(shù)。所以，利用第三實施例運動向量檢測裝置1的話，可以大幅縮短進行運動向量檢測所需的處理時間。具體來說，第三實施例運動向量檢測裝置1將上述步驟S43中搜索范圍R設(shè)定為32×32像素，而將參照相鄰的宏塊運動向量時的上述搜索范圍r設(shè)定為6×6像素時，可以將對構(gòu)成幀圖像的全部宏塊進行運動向量檢測所需的處理時間縮短為1／100。
而且，利用第三實施例運動向量檢測裝置1的話，通過進行步驟S49和步驟S50所示處理，對進行運動向量檢測的宏塊相鄰的宏塊運動向量其指示方向進行判斷，根據(jù)各運動向量所指示方向使設(shè)定的探索范圍變動，因而，相鄰宏塊運動向量即便指示不同方向，也可以進行高精度的運動向量檢測。
另外，上述第一～第三實施例的運動向量檢測裝置，可以僅進行上述第一～第三實施例中說明的處理，此外，也可以進行組合處理設(shè)定探索區(qū)域來進行運動向量檢測。由此，運動向量檢測裝置可進一步減少運動向量檢測的運算量。
工業(yè)實用性綜上所述，本發(fā)明第一目的的運動向量檢測方法和裝置，通過將參照的場圖像和第三場圖像之間的場間距離同上述第一場圖像和第二場圖像之間的場間距離作比較，來運算對第三場圖像進行運動向量檢測時的探索區(qū)域，因而可以使針對第三場圖像求運動向量時的探索區(qū)域其規(guī)模變化。所以，利用本運動向量檢測方法和裝置的話，可以利用運動向量中前場圖像和后場圖像之間相關(guān)度高這一點，來設(shè)定規(guī)模小的探索區(qū)域。因而，按照本運動向量檢測方法和裝置，可通過縮小進行運動向量檢測時進行塊匹配的探索區(qū)域，來減少進行塊匹配的次數(shù)，可以減少處理時間。
而本發(fā)明第二目的的運動向量檢測方法和裝置，確定與基準(zhǔn)幀在時間或空間上接近的參照幀所包含的參照塊中表示運動向量的點為中心的第一探索區(qū)域，確定根據(jù)幀間距離使上述參照塊運動向量延長的點為中心的第二探索區(qū)域，在包含上述第一探索區(qū)域和第二探索區(qū)域的運動向量探索區(qū)域內(nèi)，對基準(zhǔn)塊進行運動向量檢測，因此可以根據(jù)參照塊運動向量使運動向量探索區(qū)域變形對運動向量進行檢測。所以，利用本運動向量檢測方法和裝置的話，與對運動向量進行探索的區(qū)域固定的場合相比，可縮小運動向量探索區(qū)域，可減少對運動向量進行檢測而進行塊匹配的次數(shù)，可減少運算量。
此外，本發(fā)明第三目的的運動向量檢測方法和裝置，根據(jù)針對與第二塊在水平方向或垂直方向兩側(cè)相鄰的第一塊的運動向量，設(shè)定對第二塊進行運動向量檢測時的第二探索區(qū)域，在第二探索區(qū)域中進行塊匹配來檢測針對第二塊的運動向量，因此，可在像素規(guī)模與對第一塊進行運動向量檢測時的探索區(qū)域不同的第二探索區(qū)域中，進行塊匹配來對第二塊進行運動向量檢測。所以，按照本運動向量檢測方法和裝置，可以根據(jù)針對第二塊所相鄰的第一塊的運動向量，使第二探索區(qū)域與第一探索區(qū)域相比形成為較小像素規(guī)模，可通過減少進行運動向量檢測時進行塊匹配的次數(shù)，來實現(xiàn)運動向量檢測時運算量的減少和處理時間的縮短。
權(quán)利要求
1．一種運動向量檢測方法，對依據(jù)隔行掃描方式的場圖像進行運動向量檢測，其特征在于，用第一場圖像，在規(guī)定探索區(qū)域中對第二場圖像進行運動向量檢測；將參照的場圖像和第三場圖像之間的場間距離同所述第一場圖像和第二場圖像之間的場間距離進行比較，運算對第三場圖像進行運動向量檢測時的探索區(qū)域；以針對所述第二場圖像的運動向量其指示點為起點，在所述運算得到的探索區(qū)域中對第三場圖像進行運動向量檢測。
2．一種運動向量檢測裝置，對依據(jù)隔行掃描方式的場圖像進行運動向量檢測，其特征在于，包括用第一場圖像，在規(guī)定探索區(qū)域中對第二場圖像進行運動向量檢測的第一運動檢測手段；將參照的場圖像和第三場圖像之間的場間距離同所述第一場圖像和第二場圖像之間的場間距離進行比較，運算對第三場圖像進行運動向量檢測時的探索區(qū)域的探索區(qū)域運算手段；和以針對所述第二場圖像的運動向量其指示點為起點，在所述探索區(qū)域確定手段運算得到的探索區(qū)域中對場圖像進行運動向量檢測的第二運動檢測手段。
3．一種運動向量檢測方法，其特征在于，確定以與基準(zhǔn)幀在時間或空間上接近的參照幀所包含的參照塊中表示運動向量的點為中心的第一探索區(qū)域；確定以根據(jù)基準(zhǔn)幀和參照幀之間的幀間距離使所述參照塊運動向量延長的點為中心的第二探索區(qū)域；在包含所述第一探索區(qū)域和第二探索區(qū)域的運動向量探索區(qū)域內(nèi)，運算基準(zhǔn)幀所包含的基準(zhǔn)塊圖像數(shù)據(jù)和參照幀所包含的參照塊圖像數(shù)據(jù)，對基準(zhǔn)塊進行運動向量檢測。
4．如權(quán)利要求3所述的運動向量檢測方法，其特征在于，根據(jù)基準(zhǔn)幀和參照幀之間的幀間距離，確定所述第二探索區(qū)域相對于所述第一探索區(qū)域的大小。
5．如權(quán)利要求3所述的運動向量檢測方法，其特征在于，確定由連接所述第一探索區(qū)域和第二探索區(qū)域的連線、第一探索區(qū)域和第二探索區(qū)域所包圍的運動探索區(qū)域；在所述第三探索區(qū)域內(nèi)運算基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)，檢測基準(zhǔn)塊運動向量。
6．如權(quán)利要求5所述的運動向量檢測方法，其特征在于，取所述第一探索區(qū)域和第二探索區(qū)域為圓形區(qū)域；在連接所述第一探索區(qū)域和第二探索區(qū)域的切線、所述第一探索區(qū)域和第二探索區(qū)域所包圍的所述運動向量探索區(qū)域內(nèi)，運算基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)，檢測基準(zhǔn)塊的運動向量。
7．如權(quán)利要求5所述的運動向量檢測方法，其特征在于，取第一探索區(qū)域和第二探索區(qū)域為矩形區(qū)域；在連接所述第一探索區(qū)域和第二探索區(qū)域的連線、所述第一探索區(qū)域和第二探索區(qū)域所包圍的所述運動向量探索區(qū)域內(nèi)，對基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)進行比較，檢測基準(zhǔn)塊的運動向量。
8．如權(quán)利要求3所述的運動向量檢測方法，其特征在于，對給出所述運動向量探索區(qū)域的區(qū)域生成標(biāo)志；按照所述標(biāo)志對是否進行運動向量檢測進行判斷，運算基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)，檢測基準(zhǔn)塊中的運動向量。
9．一種運動向量檢測裝置，其特征在于，包括確定以與基準(zhǔn)幀在時間或空間上接近的參照幀所包含的參照塊中表示運動向量的點為中心的第一探索區(qū)域的第一區(qū)域確定手段；確定以根據(jù)基準(zhǔn)幀和參照幀之間的幀間距離使所述參照塊運動向量延長的點為中心的第二探索區(qū)域的第二區(qū)域確定手段；在包含所述第一區(qū)域確定手段輸出的第一探索區(qū)域和第二區(qū)域確定手段輸出的第二探索區(qū)域的運動向量探索區(qū)域內(nèi)，運算基準(zhǔn)幀所包含的基準(zhǔn)塊圖像數(shù)據(jù)和參照幀所包含的參照塊圖像數(shù)據(jù)，對基準(zhǔn)塊進行運動向量檢測的運動向量檢測手段。
10．如權(quán)利要求9所述的運動向量檢測裝置，其特征在于，所述第二區(qū)域確定手段根據(jù)基準(zhǔn)幀和參照幀之間的幀間距離，確定第二探索區(qū)域相對于第一探索區(qū)域的大小。
11．如權(quán)利要求9所述的運動向量檢測裝置，其特征在于，包括一運動向量區(qū)域確定手段，以確定由連接第一探索區(qū)域和第二探索區(qū)域的連線、第一探索區(qū)域和第二探索區(qū)域所包圍的運動向量探索區(qū)域；所述運動向量檢測手段，在所述運動向量區(qū)域確定手段輸出的運動向量探索區(qū)域內(nèi)運算基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)，檢測基準(zhǔn)塊運動向量。
12．如權(quán)利要求11所述的運動向量檢測裝置，其特征在于，所述第一區(qū)域確定手段和第二區(qū)域確定手段取第一探索區(qū)域和第二探索區(qū)域為圓形區(qū)域；所述運動向量檢測手段，在連接第一探索區(qū)域和第二探索區(qū)域的切線、所述第一探索區(qū)域和第二探索區(qū)域所包圍的所述運動向量探索區(qū)域內(nèi)，運算基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)，檢測基準(zhǔn)塊的運動向量。
13．如權(quán)利要求11所述的運動向量檢測裝置，其特征在于，所述第一區(qū)域確定手段和第二區(qū)域確定手段取第一探索區(qū)域和第二探索區(qū)域為矩形區(qū)域；所述運動向量檢測手段，在連接所述第一探索區(qū)域和第二探索區(qū)域的連線、所述第一探索區(qū)域和第二探索區(qū)域所包圍的所述運動向量探索區(qū)域內(nèi)，運算基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)，檢測基準(zhǔn)塊的運動向量。
14．如權(quán)利要求9所述的運動向量檢測裝置，其特征在于，包括一標(biāo)志生成手段，對表示所述運動向量探索區(qū)域的區(qū)域生成標(biāo)志；所述運動向量檢測手段，按照所述標(biāo)志生成手段生成的標(biāo)志對是否進行運動向量檢測進行判斷，運算基準(zhǔn)塊圖像數(shù)據(jù)和參照塊圖像數(shù)據(jù)，檢測基準(zhǔn)塊中的運動向量。
15．一種運動向量檢測方法，對多個塊組成的圖像進行運動向量檢測，其特征在于，在第一探索區(qū)域中對第一塊進行運動向量檢測；根據(jù)針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的運動向量，設(shè)定對第二塊進行運動向量檢測時的第二探索區(qū)域；在所述第二探索區(qū)域中進行塊匹配來檢測針對所述第二塊的運動向量。
16．如權(quán)利要求15所述的運動向量檢測方法，其特征在于，判定針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運動向量其指示方向，根據(jù)所述各運動向量其指示方向，設(shè)定第二探索區(qū)域。
17．如權(quán)利要求16所述的運動向量檢測方法，其特征在于，針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運動向量其指示方向為大致相同方向時，運算各運動向量的平均來設(shè)定所述第二探索區(qū)域。
18．如權(quán)利要求16所述的運動向量檢測方法，其特征在于，針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運動向量其指示方向為不同方向時，按各運動向量的指示方向來設(shè)定所述第二探索區(qū)域。
19．一種運動向量檢測裝置，對多個塊組成的圖像進行運動向量檢測，其特征在于，包括在第一探索區(qū)域中對第一塊進行運動向量檢測的第一運動向量檢測手段；探索區(qū)域設(shè)定手段，根據(jù)針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰、所述第一運動向量檢測手段檢測出的第一塊的運動向量，設(shè)定對第二塊進行運動向量檢測時的第二探索區(qū)域；和在所述第二探索區(qū)域中進行塊匹配來檢測針對所述第二塊運動向量的第二運動向量檢測手段。
20．如權(quán)利要求19所述的運動向量檢測裝置，其特征在于，所述探索區(qū)域設(shè)定手段，判定針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運動向量其指示方向，根據(jù)所述各運動向量其指示方向，設(shè)定第二探索區(qū)域。
21．如權(quán)利要求20所述的運動向量檢測裝置，其特征在于，所述探索區(qū)域設(shè)定手段，針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運動向量其指示方向為大致相同方向時，運算各運動向量的平均來設(shè)定所述第二探索區(qū)域。
22．如權(quán)利要求20所述的運動向量檢測裝置，其特征在于，所述探索區(qū)域設(shè)定手段，針對與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運動向量其指示方向為不同方向時，按各運動向量的指示方向來設(shè)定所述第二探索區(qū)域。
全文摘要
依據(jù)MPEG(活動圖像編碼專家組)進行圖像編碼處理時所用的運動向量檢測時,對利用場圖像和幀圖像之間的相關(guān)、各圖像的圖像間距離的相關(guān)、圖像內(nèi)像素塊的相關(guān)等檢測運動向量時的探索區(qū)域進行運算,在該探索區(qū)域內(nèi)進行運動向量的檢測,來減少運算量。
文檔編號H04N7/26GK1291409SQ99803179
公開日2001年4月11日 申請日期1999年10月18日 優(yōu)先權(quán)日1998年10月22日
發(fā)明者安藤裕司 申請人:索尼株式會社