專利名稱：視頻評價(jià)裝置及方法、幀速率確定裝置、及視頻處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻評價(jià)裝置、幀速率確定裝置、視頻處理裝置、視頻評價(jià)方法，以及視頻評價(jià)程序。
背景技術(shù)：
包含視頻的取得、儲(chǔ)存、傳送、顯示、編碼、譯碼等的視頻處理一般用固定幀速率進(jìn)行處理。在此，所謂幀速率是指每1秒鐘處理的幀數(shù)。此外。所謂固定幀速率是指把每1秒鐘處理的幀數(shù)設(shè)置為一定的幀速率。作為固定幀速率的具體例子，例如在美國和日本采用的全國電視標(biāo)準(zhǔn)委員會(huì)(National Television Standards CommitteeNTSC(全國電視系統(tǒng)委員會(huì)制式))的標(biāo)準(zhǔn)中，被定義為29.97fps(frameper second幀/秒)。此外，在歐洲采用的全國電視標(biāo)準(zhǔn)委員會(huì)的相位交替行(Phase Alternating LinePAL(逐行倒相制式))標(biāo)準(zhǔn)中，被定義為25fps。進(jìn)而，還有使用15fps和24fps的固定幀速率的情況。另外所謂“視頻”是通過使各個(gè)靜止圖像即“幀圖像”連續(xù)而構(gòu)成的。
當(dāng)用固定幀速率進(jìn)行視頻處理的情況下，如果增加幀速率，則連續(xù)的幀的時(shí)間間隔變短。由此可以處理更平滑的運(yùn)動(dòng)的視頻。例如，以30fps的幀速率處理的視頻與用15fps的幀速率處理的視頻相比，因?yàn)槊繂挝粫r(shí)間內(nèi)的幀數(shù)多所以可以更細(xì)致地表現(xiàn)視頻的運(yùn)動(dòng)，作為全體可以以更平滑的運(yùn)動(dòng)來表現(xiàn)。
此外，除了采用上述固定幀速率的視頻處理外，還可以進(jìn)行采用可變幀速率的視頻處理。該可變幀速率的視頻處理依照視頻的處理量和數(shù)據(jù)量改變幀速率。例如，在編碼視頻時(shí)，在判斷為編碼的數(shù)據(jù)量多的情況下，減少幀速率削減每單位時(shí)間內(nèi)編碼的幀數(shù)。這是因?yàn)槿绻麛?shù)據(jù)量增加則視頻處理所需要的時(shí)間增加的緣故。在此，在可變幀速率中，當(dāng)把連續(xù)的幀圖像的時(shí)間間隔設(shè)置為T的情況下，在2張幀圖像間的幀速率是1/T。
用于改變這樣的幀速率的技術(shù)例如公開在專利文獻(xiàn)1(特開平11-112940號公報(bào))中。
可是，當(dāng)以固定幀速率處理視頻的情況下，如果為了實(shí)現(xiàn)平滑的運(yùn)動(dòng)而增加幀速率，則伴隨視頻處理的處理量、數(shù)據(jù)量以及電力消耗量增大。如果具體地說，例如，在取得視頻的情況下，由于在每單位時(shí)間內(nèi)需要取得的幀數(shù)增加，因而處理量以及伴隨處理的電力消耗量增大。此外，在儲(chǔ)存視頻的情況下，由于每單位時(shí)間內(nèi)需要儲(chǔ)存的幀數(shù)增加，所以數(shù)據(jù)量增大。
另一方面，為了降低伴隨視頻處理的處理量、數(shù)據(jù)量以及電力消耗而使幀速率減少，則視頻的運(yùn)動(dòng)平滑性降低，成為不平滑的運(yùn)動(dòng)的視頻。
此外，當(dāng)用可變幀速率處理視頻的情況下，如果只依照視頻的處理量和數(shù)據(jù)量改變幀速率，則視頻的運(yùn)動(dòng)平滑性降低，成為不平滑的運(yùn)動(dòng)視頻。
這樣如果不考慮視頻的運(yùn)動(dòng)特征而改變幀速率，則存在不必要的許多的處理量、數(shù)據(jù)量以及電力消耗、成為不平滑的視頻的問題。
因而，本發(fā)明為了解決上述問題，其目的在于提供一種根據(jù)視頻的運(yùn)動(dòng)的平滑性確定幀速率的視頻評價(jià)裝置、幀速率確定裝置、視頻處理裝置、視頻評價(jià)方法、幀速率確定方法、視頻處理方法、視頻評價(jià)程序、幀速率確定程序，以及視頻處理程序。
本發(fā)明的視頻評價(jià)裝置的特征在于，包括基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示在各幀圖像間的變化程度的變化量的變化量檢測部件；基于變化量以及各幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值并將其輸出到外部的評價(jià)值計(jì)算部件。
此外，本發(fā)明的視頻評價(jià)方法的特征在于，包括基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示在各幀圖像間的變化程度的變化量的變化量檢測步驟；基于變化量以及各幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值并將其輸出到外部的評價(jià)值計(jì)算步驟。
進(jìn)而，本發(fā)明的視頻評價(jià)程序的特征在于使計(jì)算機(jī)發(fā)揮以下部件的功能基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示在各幀圖像間的變化程度的變化量的變化量檢測部件；基于變化量以及各幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值并將其輸出到外部的評價(jià)值計(jì)算部件。
如果采用這些發(fā)明，則基于包含在輸入視頻信號中的多個(gè)幀圖像檢測變化量，基于該變化量以及輸入視頻信號的各幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值。因而，可以依照根據(jù)所定的幀速率輸入的輸入視頻信號的變化量，評價(jià)在視頻處理時(shí)的幀速率中的視頻的運(yùn)動(dòng)的平滑性。此外，因?yàn)榘迅鶕?jù)該評價(jià)得到的評價(jià)值輸出到外部，所以可以基于該評價(jià)值確定幀速率。即，可以依照該視頻的運(yùn)動(dòng)的平滑性確定幀速率。
在本發(fā)明的視頻評價(jià)裝置中理想的是，上述評價(jià)值計(jì)算部件根據(jù)變化量以及各幀圖像間的時(shí)間間隔，推斷變化量以及與各幀圖像間的時(shí)間間隔相應(yīng)的時(shí)間變化量，用該時(shí)間變化量計(jì)算評價(jià)值。如果是這樣，則可以計(jì)算考慮了與變化量以及各幀圖像間的時(shí)間間隔相應(yīng)地推斷的時(shí)間變化量的評價(jià)值。
在本發(fā)明的視頻評價(jià)裝置中理想的是，上述變化量是基于各幀圖像間的亮度值的差的值，或者是各幀圖像間的運(yùn)動(dòng)向量。如果是這樣，則可以根據(jù)在各幀圖像間的亮度值的差，或者在各幀圖像間的運(yùn)動(dòng)向量計(jì)算評價(jià)值。
在本發(fā)明的視頻評價(jià)裝置中理想的是，進(jìn)一步具備根據(jù)上述變化量計(jì)算表示輸入視頻信號的運(yùn)動(dòng)的特征的運(yùn)動(dòng)特征值的特征值計(jì)算部件，上述評價(jià)值計(jì)算部件根據(jù)運(yùn)動(dòng)特征值以及各幀圖像間的時(shí)間間隔計(jì)算評價(jià)值。如果是這樣，則可以計(jì)算考慮了表示輸入視頻信號的運(yùn)動(dòng)的特征的特征值的評價(jià)值。
在本發(fā)明的視頻評價(jià)裝置中理想的是，上述評價(jià)值計(jì)算部件根據(jù)運(yùn)動(dòng)特征值以及各幀圖像間的時(shí)間間隔，推斷與變化量以及各幀圖像間的時(shí)間間隔相應(yīng)的時(shí)間變化量，使用該時(shí)間變化量計(jì)算評價(jià)值。如果是這樣，則可以計(jì)算考慮了與變化量以及各幀圖像間的時(shí)間間隔的相應(yīng)的時(shí)間變化量的評價(jià)值。
在本發(fā)明的視頻評價(jià)裝置中理想的是，上述變化量是各幀圖像間的運(yùn)動(dòng)向量，上述運(yùn)動(dòng)特征值是根據(jù)運(yùn)動(dòng)向量的大小計(jì)算的值。如果是這樣，則可以根據(jù)各幀間的運(yùn)動(dòng)向量的大小計(jì)算評價(jià)值。
本發(fā)明的幀速率確定裝置，其特征在于包括發(fā)生第1幀速率的幀速率發(fā)生部件；基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示各幀圖像間的變化程度的變化量的變化量檢測部件；基于變化量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值的評價(jià)值計(jì)算部件；使用評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率并將其輸出到外部的幀速率確定部件。
此外，本發(fā)明的幀速率確定方法，其特征在于包括發(fā)生第1幀速率的幀速率發(fā)生步驟；根據(jù)包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示各幀圖像間的變化程度的變化量的變化量檢測步驟；根據(jù)變化量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值的評價(jià)值計(jì)算步驟；使用評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率并將其輸出到外部的幀速率確定步驟。
進(jìn)而，本發(fā)明的幀速率確定程序，其特征在于使計(jì)算機(jī)發(fā)揮以下裝置的功能發(fā)生第1幀速率的幀速率發(fā)生部件；根據(jù)包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示各幀圖像間的變化程度的變化量的變化量檢測部件；根據(jù)變化量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值的評價(jià)值計(jì)算步驟；使用評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率并將其輸出到外部的幀速率確定部件。
如果采用這些發(fā)明，則根據(jù)包含在輸入視頻信號中的許多幀圖像檢測變化量，根據(jù)該變換量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，利用該評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率。即，在與按照第1幀速率輸入的輸入視頻信號的變化量相應(yīng)，評價(jià)第1幀速率中的視頻的運(yùn)動(dòng)的平滑性的同時(shí)，使用該評價(jià)確定第2幀速率。因而，可以用與視頻的運(yùn)動(dòng)的平滑性的評價(jià)相對應(yīng)地確定的第2幀速率讀入輸入視頻信號。即，在與視頻的運(yùn)動(dòng)的平滑性相應(yīng)確定輸入視頻信號的幀速率的同時(shí)，可以一邊保持視頻的運(yùn)動(dòng)平滑性一邊讀入輸入視頻信號。
在本發(fā)明的幀速率確定裝置中理想的是，上述幀速率確定部件把評價(jià)值和所定的規(guī)定值比較，當(dāng)評價(jià)值大于規(guī)定值時(shí)，使第2幀速率小于第1幀速率，當(dāng)評價(jià)值大于規(guī)定值時(shí)，使第2幀速率大于第1幀速率。如果是這樣，則可以確定考慮了用于評價(jià)視頻的運(yùn)動(dòng)的平滑性的評價(jià)值收斂于所定的評價(jià)基準(zhǔn)的第2幀速率。即，可以一邊把視頻的運(yùn)動(dòng)平滑性保持在所定的基準(zhǔn)范圍內(nèi)一邊讀入輸入視頻信號。
本發(fā)明的視頻處理裝置的特征在于，包括存儲(chǔ)輸入視頻信號的緩沖部件；發(fā)生第1幀速率的幀速率發(fā)生部件；根據(jù)包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示在各幀圖像間的變化的程度的變化量的變化量檢測部件；根據(jù)變化量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值的評價(jià)值計(jì)算部件；使用評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率的幀速率確定部件；使用第2幀速率讀入由緩沖部件存儲(chǔ)的上述輸入視頻信號進(jìn)行視頻處理的視頻處理部件。
此外，本發(fā)明的視頻處理方法的特征在于，包括存儲(chǔ)輸入視頻信號的緩沖步驟；發(fā)生第1幀速率的幀速率發(fā)生步驟；根據(jù)包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示在各幀圖像間的變化程度的變化量的變化量檢測步驟；根據(jù)變化量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的平均值的平均值計(jì)算步驟；使用評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率的幀速率確定步驟；使用第2幀速率讀入由緩沖部件存儲(chǔ)的上述輸入視頻信號進(jìn)行視頻處理的視頻處理步驟。
進(jìn)而，本發(fā)明的視頻處理程序的特征在于，使計(jì)算機(jī)發(fā)揮以下部件的功能存儲(chǔ)輸入視頻信號的緩沖部件；發(fā)生第1幀速率的幀速率發(fā)生部件；根據(jù)包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示在各幀圖像間的變化程度的變化量的變化量檢測部件；根據(jù)變化量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值的評價(jià)值計(jì)算部件；使用評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率的幀速率確定部件；使用第2幀速率讀入由緩沖部件存儲(chǔ)的上述輸入視頻信號進(jìn)行視頻處理的視頻處理部件。
如果采用這些發(fā)明，則根據(jù)包含在輸入視頻信號中的許多幀圖像檢測變化量，根據(jù)該變化量以及與第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，利用該評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率。此外，使用該第2幀速率進(jìn)行輸入視頻信號的視頻處理。即，與按照第1幀速率輸入的輸入視頻信號的變化量相應(yīng)，在評價(jià)第1幀速率中的視頻的運(yùn)動(dòng)平滑性的同時(shí)，使用該評價(jià)確定第2幀速率。此外，使用根據(jù)相對輸入視頻信號的評價(jià)值確定的第2幀速率，進(jìn)行輸入視頻信號的視頻處理。因而，根據(jù)與運(yùn)動(dòng)平滑性的評價(jià)相應(yīng)確定的第2幀速率，可以進(jìn)行輸入視頻信號的視頻處理。即，在與視頻的運(yùn)動(dòng)的平滑性相應(yīng)確定幀速率的同時(shí)，可以一邊保持視頻的運(yùn)動(dòng)的平滑性一邊進(jìn)行輸入視頻信號的視頻處理。
本發(fā)明的視頻評價(jià)裝置的特征在于，包括基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示輸入視頻信號的運(yùn)動(dòng)的位移程度的運(yùn)動(dòng)位移量的位移量檢測部件；根據(jù)運(yùn)動(dòng)位移量以及輸入視頻信號的幀速率，計(jì)算并輸出用于評價(jià)輸入視頻信號的運(yùn)動(dòng)平滑性的評價(jià)值的評價(jià)值計(jì)算部件。
此外，本發(fā)明的視頻評價(jià)方法的特征在于，包括基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示輸入視頻信號的運(yùn)動(dòng)的位移程度的運(yùn)動(dòng)位移量的位移量檢測步驟；基于運(yùn)動(dòng)位移量以及輸入視頻信號的幀速率，計(jì)算并輸出用于評價(jià)輸入視頻信號的運(yùn)動(dòng)平滑性的評價(jià)值的評價(jià)值計(jì)算步驟。
進(jìn)而，本發(fā)明的視頻評價(jià)程序的特征在于使計(jì)算機(jī)發(fā)揮以下部件的功能根據(jù)包含在輸入視頻信號中的許多幀圖像，檢測表示輸入視頻信號的運(yùn)動(dòng)的位移程度的運(yùn)動(dòng)位移量的位移量檢測部件；根據(jù)運(yùn)動(dòng)位移量以及輸入視頻信號的幀速率，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)平滑性的評價(jià)值輸出到外部的評價(jià)值計(jì)算部件。
如果采用這些發(fā)明，則根據(jù)包含在輸入視頻信號中的許多幀圖像檢測運(yùn)動(dòng)位移量，根據(jù)該運(yùn)動(dòng)位移量以及輸入視頻信號的幀速率，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值。因而，可以與按照所定的幀速率輸入的輸入視頻信號的運(yùn)動(dòng)的位移量，評價(jià)視頻處理時(shí)的幀速率中的視頻的運(yùn)動(dòng)的平滑性。此外，因?yàn)榘淹ㄟ^該評價(jià)得到的評價(jià)值輸出到外部，所以可以根據(jù)該評價(jià)值確定幀速率。即，可以根據(jù)視頻的運(yùn)動(dòng)平滑性確定幀速率。
在本發(fā)明的視頻評價(jià)裝置中理想的是，進(jìn)一步包括根據(jù)上述運(yùn)動(dòng)位移量，計(jì)算表示輸入視頻信號的運(yùn)動(dòng)的特征的運(yùn)動(dòng)特征值的特征值計(jì)算部件，上述評價(jià)值計(jì)算部件根據(jù)運(yùn)動(dòng)特征值以及輸入視頻信號的幀速率，計(jì)算評價(jià)值。如果是這樣，則可以計(jì)算考慮到表示輸入視頻信號的運(yùn)動(dòng)的特征的運(yùn)動(dòng)特征值的評價(jià)值。
在本發(fā)明的視頻評價(jià)裝置中理想的是，上述評價(jià)值計(jì)算部件根據(jù)運(yùn)動(dòng)位移量以及輸入視頻信號的幀速率，推斷表示各幀間的運(yùn)動(dòng)的程度的運(yùn)動(dòng)量，用該運(yùn)動(dòng)量計(jì)算評價(jià)值。此外，上述評價(jià)值計(jì)算部件根據(jù)運(yùn)動(dòng)特征值以及輸入視頻信號的幀速率，推斷表示各幀間的運(yùn)動(dòng)的程度的運(yùn)動(dòng)量，使用該運(yùn)動(dòng)量計(jì)算評價(jià)值。如果是這樣，則可以計(jì)算考慮到表示各幀間的運(yùn)動(dòng)的程度的運(yùn)動(dòng)量的評價(jià)值。
在本發(fā)明的視頻評價(jià)裝置中理想的是，上述運(yùn)動(dòng)位移量是運(yùn)動(dòng)向量，上述運(yùn)動(dòng)特征值是根據(jù)運(yùn)動(dòng)向量的大小計(jì)算出的值。如果是這樣，則可以根據(jù)各幀間的運(yùn)動(dòng)向量的大小計(jì)算評價(jià)值。
本發(fā)明的幀速率確定裝置的特征在于，包括發(fā)生第1幀速率的幀速率發(fā)生部件；根據(jù)包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示輸入視頻信號的運(yùn)動(dòng)的位移程度的運(yùn)動(dòng)位移量的位移量檢測部件；根據(jù)運(yùn)動(dòng)位移量以及第1幀速率計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值的評價(jià)值計(jì)算部件；使用評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率輸出到外部的幀速率確定部件。
如果采用本發(fā)明，則根據(jù)包含在輸入視頻信號中的許多幀圖像檢測運(yùn)動(dòng)位移量，根據(jù)該運(yùn)動(dòng)位移量以及第1幀速率，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，使用該評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率。即，在與按照第1幀速率輸入的輸入視頻信號的運(yùn)動(dòng)的位移量相應(yīng)地評價(jià)在第1幀速率中的視頻的運(yùn)動(dòng)的平滑性的同時(shí)，使用該評價(jià)確定第2幀速率。因而，可以用與視頻的運(yùn)動(dòng)的平滑性的評價(jià)相應(yīng)確定的第2幀速率讀入輸入視頻信號。即，在與視頻運(yùn)動(dòng)的平滑性相應(yīng)地確定輸入視頻信號的幀速率的同時(shí)，可以在保持視頻的運(yùn)動(dòng)平滑性的同時(shí)讀入輸入視頻信號。
在本發(fā)明的幀速率確定裝置中理想的是，上述幀速率確定部件把評價(jià)值和所定的規(guī)定值比較，在評價(jià)值比規(guī)定值還大的情況下，使第2幀速率比第1幀速率還小，當(dāng)評價(jià)值比規(guī)定值還小的情況下，使第2幀速率比第1幀速率還大。如果是這樣，則可以確定考慮了如用于評價(jià)視頻的運(yùn)動(dòng)的平滑性的評價(jià)值收斂在所定的評價(jià)基準(zhǔn)那樣的第2幀速率。即，可以一邊把視頻的運(yùn)動(dòng)的平滑性保持的規(guī)定的基準(zhǔn)范圍內(nèi)一邊讀入輸入視頻信號。
本發(fā)明的視頻處理裝置的特征在于，包括存儲(chǔ)輸入視頻信號的緩沖部件；發(fā)生第1幀速率的幀速率發(fā)生部件；根據(jù)包含在輸入視頻信號中的許多幀圖像，檢測表示輸入視頻信號的運(yùn)動(dòng)的位移程度的運(yùn)動(dòng)位移量的位移量檢測部件；根據(jù)運(yùn)動(dòng)位移量以及第1幀速率，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值的評價(jià)值計(jì)算部件；使用該評價(jià)值，確定進(jìn)行輸入視頻信號的處理的第2幀速率的幀速率確定部件；使用該第2幀速率讀入由緩沖部件存儲(chǔ)的輸入視頻信號進(jìn)行視頻處理的視頻處理部件。
如果采用本發(fā)明，則根據(jù)包含在輸入視頻信號中的許多幀圖像檢測運(yùn)動(dòng)位移量，根據(jù)該運(yùn)動(dòng)位移量以及第1幀速率，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，利用該評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率。此外，使用該第2幀速率進(jìn)行輸入視頻信號的視頻處理。即，在根據(jù)按照第1幀速率輸入的輸入視頻信號的運(yùn)動(dòng)的位移量評價(jià)第1幀速率中的視頻的運(yùn)動(dòng)的平滑性的同時(shí)，使用該評價(jià)確定第2幀速率。此外，使用根據(jù)對輸入視頻信號的評價(jià)值確定的第2幀速率，進(jìn)行輸入視頻信號的視頻處理。因而，根據(jù)與運(yùn)動(dòng)的平滑性的評價(jià)相應(yīng)確定的第2幀速率，可以進(jìn)行輸入視頻信號的視頻處理。即，在與視頻的運(yùn)動(dòng)的平滑性相應(yīng)確定幀速率的同時(shí)，可以一邊保持視頻的運(yùn)動(dòng)的平滑性一邊進(jìn)行輸入視頻信號的視頻處理。
如果采用本發(fā)明的視頻評價(jià)裝置、幀速率確定裝置、視頻處理裝置、視頻評價(jià)方法、幀速率確定方法、視頻處理方法、視頻評價(jià)程序、幀速率確定程序，以及視頻處理程序，因?yàn)榭梢愿鶕?jù)視頻的運(yùn)動(dòng)的平滑性確定幀速率，所以在節(jié)減處理量、數(shù)據(jù)量以及電力消耗的同時(shí)，可以提供平滑性的運(yùn)動(dòng)的視頻。


圖1是展示實(shí)施方式1的變形例子中的視頻評價(jià)裝置的功能構(gòu)成的圖。
圖2是用于說明檢測位移量的方法的圖。(a)是展示幀圖像P0的圖，(b)是展示幀圖像P1的圖。
圖3是用于說明評價(jià)運(yùn)動(dòng)的平滑性的方法的圖。(a)是用于說明推斷幀間運(yùn)動(dòng)量的方法的圖，(b)是用于說明基于幀間運(yùn)動(dòng)量計(jì)算評價(jià)值的方法的圖。
圖4是展示實(shí)施方式1的變形例子的視頻評價(jià)處理的流程的流程圖。
圖5是用于說明基于各運(yùn)動(dòng)向量的大小和方向所求得的范圍的圖。
圖6是展示在實(shí)施方式1的變形例子中的視頻評價(jià)程序的模塊構(gòu)成的圖。
圖7是展示實(shí)施方式2中的幀速率確定裝置的功能構(gòu)成的圖。
圖8(a)是示例第1幀速率的圖，(b)是示例輸入視頻信號的采樣速率的圖。
圖9是展示實(shí)施方式2中的幀速率確定處理的流程的流程圖。
圖10是例示實(shí)施方式2中的幀速率確定程序的模塊構(gòu)成的圖。
圖11是例示實(shí)施方式3中的視頻處理裝置的功能構(gòu)成的圖。
圖12是展示實(shí)施方式3中的視頻處理的流程的流程圖。
圖13是例示實(shí)施方式3中的視頻處理程序的模塊構(gòu)成的圖。
圖14是例示實(shí)施方式1中的視頻評價(jià)裝置的功能構(gòu)成的圖。
圖15是用于說明檢測變化量的方法的圖。
圖16是用于說明評價(jià)運(yùn)動(dòng)的平滑性的方法的圖。(a)是用于說明推斷時(shí)間變化量的方法的圖，(b)是用于說明基于時(shí)間變化量計(jì)算評價(jià)值的方法的圖。
圖17是展示實(shí)施方式1中的視頻評價(jià)處理的流程的流程圖。
圖18是示例實(shí)施方式1中的視頻評價(jià)程序的模塊構(gòu)成的圖。
具體實(shí)施例方式
以下，基于

涉及本發(fā)明的視頻評價(jià)裝置、幀速率確定裝置、視頻處理裝置、視頻評價(jià)方法、幀速率確定方法、視頻處理方法、視頻評價(jià)程序、幀速率確定程序，以及視頻處理程序的各實(shí)施方式。進(jìn)而，在各圖中，在同一要素上附加同一符號并省略重復(fù)的說明。
首先，說明本發(fā)明的實(shí)施方式1。圖14是例示實(shí)施方式1中的視頻評價(jià)裝置140的功能構(gòu)成的圖。
在此，視頻評價(jià)裝置140物理上是具備CPU(中央處理裝置)；存儲(chǔ)器等的存儲(chǔ)裝置，以及通信裝置等的計(jì)算機(jī)。因而，視頻評價(jià)裝置140即可以是PC終端等的固定通信終端，也可以是手機(jī)等的移動(dòng)通信終端。即，作為視頻評價(jià)裝置140，可以廣泛適用可以進(jìn)行信息處理的裝置。
參照圖14說明視頻評價(jià)裝置140的功能構(gòu)成。如圖14所示，視頻評價(jià)裝置140包括變化量檢測單元1401；評價(jià)值計(jì)算單元1402。
變化量檢測單元1401把從外部作為運(yùn)動(dòng)圖像信號輸入的輸入視頻信號1403分解為幀圖像。變化量檢測單元1401基于分解的多個(gè)幀圖像，檢測表示在輸入視頻信號的各幀圖像間的變化程度的變化量。變化量檢測單元1401把檢測出的變化量1405輸出到評價(jià)值計(jì)算單元1402。
在此，參照圖15具體說明檢測變化量1405的方法。變化量檢測單元1401順序讀入從輸入視頻信號1403中分解的連續(xù)的2張的幀圖像。在此，為了便于說明，把連續(xù)的2張幀圖像以讀入的順序作為幀圖像P0、幀圖像P1說明。變化量檢測單元1401求在讀入的幀圖像P1和幀圖像P0中分別位于同一坐標(biāo)上的象素間的亮度值的差，針對包含在幀圖像全體中的每個(gè)象素計(jì)算該差的平方值。變化量檢測單元1401通過計(jì)算對每個(gè)象素計(jì)算出的上述平方值的平均值，檢測變化量1405。因而，計(jì)算出的平均值作為變化量1405輸出到評價(jià)值計(jì)算單元1402。
評價(jià)值計(jì)算單元1402根據(jù)從變化量檢測單元1401接收到的變化量1405、基于從外部接收到的幀速率信息1404的幀圖像間的時(shí)間間隔，推斷與變化量1405以及各幀圖像間的時(shí)間間隔相應(yīng)的時(shí)間變化量。評價(jià)值計(jì)算單元1402基于推斷出的時(shí)間變化量，計(jì)算用于評價(jià)輸入視頻的運(yùn)動(dòng)的平滑性的評價(jià)值。評價(jià)值計(jì)算單元1402把計(jì)算出的評價(jià)值1406輸出到外部。在此，作為外部相當(dāng)于，例如基于評價(jià)值1406確定用于進(jìn)行輸入視頻信號1403的視頻處理的最佳的幀速率的裝置。通過向這樣的外部裝置輸出評價(jià)值1406，可以確定與輸入視頻信號1403的視頻的運(yùn)動(dòng)的平滑性相應(yīng)的幀速率。
在此，參照圖16具體說明評價(jià)運(yùn)動(dòng)的平滑性的方法。首先，參照圖16(a)說明例如推斷在時(shí)刻T1中的時(shí)間變化量S1的方法。評價(jià)值計(jì)算單元1402根據(jù)基于幀速率信息1404的幀圖像P0的時(shí)刻T0和幀圖像P1的時(shí)刻T1的時(shí)間間隔Δt1以及變化量Δc1，推斷時(shí)間變化量S1。另外，時(shí)刻T0和時(shí)刻T1的時(shí)間間隔Δt1例如在時(shí)刻T1中的幀速率信息1404的幀速率是F1fps的情況下，為1/F1秒。
對于推斷時(shí)間變化量的方法進(jìn)一步具體地說明。如圖16(a)所示，在時(shí)刻T1中的時(shí)刻變化量S1例如在把時(shí)刻T0和時(shí)刻T1的時(shí)間間隔設(shè)置為Δt1，把在時(shí)刻T1中的變化量設(shè)置為Δc1的情況下，為Δt1·Δc1(圖16(a)所示的斜線部分S1的面積)。同樣，在時(shí)刻T2中的時(shí)間變化量S2例如在把時(shí)刻T1和時(shí)刻T2的時(shí)間間隔設(shè)置為Δt2，把在時(shí)刻T2中的變化量設(shè)置為Δc2的情況下，為Δt2·Δc2(圖16(a)所示的斜線部分S2的面積)。
以下，參照圖16(b)，說明基于時(shí)間變化量計(jì)算評價(jià)值的方法。評價(jià)值計(jì)算單元1402對于包含在輸入視頻信號中的全部的幀圖像，計(jì)算在各幀圖像的時(shí)刻Tn(n正整數(shù)。以下相同)中的運(yùn)動(dòng)的平滑性的評價(jià)值。如果具體地說，則評價(jià)值計(jì)算單元1402使用在各幀圖像的時(shí)刻Tn中的時(shí)間變化量Sn，計(jì)算在時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值。如果更具體地說，則評價(jià)值計(jì)算單元1402例如用使用了時(shí)間變化量Sn的下式、α/Sn(α是常數(shù))，計(jì)算在時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值。此外，評價(jià)值計(jì)算單元1402例如也可以用使用了時(shí)間變化量Sn的下式、a×exp-bsn+c(a，b，c是常數(shù))，計(jì)算在時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值。評價(jià)值計(jì)算單元1402基于計(jì)算出的各評價(jià)值，計(jì)算在輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的平均值。該平均值作為輸入視頻的最終的評價(jià)值1406輸出到外部。
以下，參照圖17說明在實(shí)施方式1的視頻評價(jià)裝置140中的視頻評價(jià)處理的流程。
首先，變化量檢測單元1401順序讀入從輸入視頻信號1403中分解的連續(xù)的2張的幀圖像(幀圖像P0，幀圖像P1)(步驟S1701)。
以下，變化量檢測單元1401在讀入的幀圖像P1和幀圖像P0中分別求位于同一坐標(biāo)上的象素間的亮度值的差，針對包含在幀圖像全體中的每個(gè)象素計(jì)算其差的平方值(步驟S1702)。
以下，變化量檢測單元1401計(jì)算針對每個(gè)象素計(jì)算出的上述平方值的平均值(步驟S1703)。該計(jì)算出的平均值作為變化量1405輸出到評價(jià)值計(jì)算單元1402。
以下，評價(jià)值計(jì)算單元1402根據(jù)從變化量檢測單元1401接收到的變化量1405和基于從外部接收到的幀速率信息1404的幀圖像間的時(shí)間間隔，計(jì)算與變化量1405以及各幀圖像間的時(shí)間間隔相應(yīng)的時(shí)間變化量(步驟1704)。
以下，評價(jià)值計(jì)算單元1402對包含在輸入視頻信號中的全部的幀圖像，使用時(shí)間變化量計(jì)算在各幀圖像的時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值(步驟S1705)。
以下，平均值計(jì)算單元1402基于計(jì)算出的各評價(jià)值，計(jì)算在輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的平均值(步驟S1706)。
以下，評價(jià)值計(jì)算單元1402把計(jì)算出的評價(jià)值作為對于輸入視頻信號1403全體的運(yùn)動(dòng)的平滑性的評價(jià)值1406輸出到外部(步驟1707)。
如上所述，如果采用實(shí)施方式1的視頻評價(jià)裝置140，則基于包含在輸入視頻信號中的多個(gè)幀圖像的各幀間的亮度值的差的平方值計(jì)算變化量。此外，根據(jù)該變化量以及基于輸入視頻信號的幀速率的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值。因而，基于按照所定的幀速率輸入的輸入視頻信號的亮度值的變化量，可以評價(jià)在視頻處理時(shí)的幀速率中的視頻的運(yùn)動(dòng)的平滑性。此外，因?yàn)榘淹ㄟ^該評價(jià)得到的評價(jià)值輸出到外部，所以可以基于該評價(jià)值在外部確定幀速率。即，可以依照視頻的運(yùn)動(dòng)的平滑性來確定幀速率。
另外，采用上述的變化量檢測單元1401的變化量檢測的單位并不限于上述的幀圖像全體。例如，也可以是塊單位、1象素單位、目標(biāo)區(qū)域單位等。
此外，采用變化量計(jì)算單元1401的變化量計(jì)算的方法并不限于使用針對包含在上述的幀圖像中的每個(gè)象素計(jì)算出的上述平方值的平均值。例如，可以使用針對每個(gè)象素計(jì)算出的上述平方值的最大值、中間值或者最小值，也可以使用上述平方值的最大值、中間值或者最小值的平方根的值，還可以使用在上述平方值的幀圖像全體中的分散值。
此外，采用變化量檢測單元1401的變化量檢測的方法并不限于使用位于上述的各幀的同一坐標(biāo)上的象素間的亮度值的差的平方值。例如，也可以使用位于各幀的同一坐標(biāo)上的象素間的亮度值的差的值，或者該差的絕對值。
此外，在采用變化量檢測單元1401的變化量檢測方法中，除了上述的各值外，例如還可以使用在輸入視頻信號的幀圖像間的運(yùn)動(dòng)向量等，表示在幀間的輸入視頻信號的變化的所有的值。
此外，采用評價(jià)值計(jì)算單元1402的時(shí)間變化量的推斷方法并不限于使用上述的式子(例如，Δt1·Δc1)的方法，只要可以根據(jù)變化量和基于幀速率信息的幀圖像間的時(shí)間間隔進(jìn)行推斷即可。
此外，由評價(jià)值計(jì)算單元1402所推斷的時(shí)間變化量不一定必須在幀單位中是1個(gè)。例如也可以在塊單位、象素單位、目標(biāo)單位中是1個(gè)。
此外，用評價(jià)值計(jì)算單元1402計(jì)算出的輸入視頻的最終的評價(jià)值1406并不限于在上述的輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的平均值。例如，也可以是在輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的最大值，中間值或者最小值。
此外，用評價(jià)值計(jì)算單元1402計(jì)算的輸入視頻的最終的評價(jià)值1406不一定必須對于包含在輸入視頻信號中的全部的幀圖像是1個(gè)。例如，也可以針對幾張幀圖像、1張幀圖像、塊、象素、目標(biāo)的每個(gè)是1個(gè)。
最后，參照圖18說明用于使計(jì)算機(jī)作為上述的視頻評價(jià)裝置140發(fā)揮功能的視頻評價(jià)程序180。
如圖18所示，視頻評價(jià)程序140包括匯總處理的主模塊程序1801；變化量檢測模塊1802；評價(jià)值計(jì)算模塊1803。變化量檢測模塊1802以及評價(jià)值計(jì)算模塊1803使計(jì)算機(jī)發(fā)揮的功能分別和上述的變化量檢測單元1401以及評價(jià)值計(jì)算單元1402具有的功能相同。
進(jìn)而，視頻評價(jià)值程序180例如由CD-ROM、DVD或者ROM等的存儲(chǔ)介質(zhì)或者半導(dǎo)體存儲(chǔ)器提供。此外，視頻評價(jià)程序180作為重疊在載波上的計(jì)算機(jī)數(shù)據(jù)信號也可以經(jīng)由網(wǎng)絡(luò)提供。
以下，說明上述的實(shí)施方式1的變形例子。圖1是例示在實(shí)施方式1的變形例子中的視頻評價(jià)裝置10的功能構(gòu)成的圖。
在此，視頻評價(jià)裝置10物理上是具備CPU(中央處理裝置)、存儲(chǔ)器等的存儲(chǔ)裝置，以及通信裝置等的計(jì)算機(jī)。因而，視頻評價(jià)裝置10可以是PC終端等的固定通信終端，也可以是手機(jī)等的移動(dòng)通信終端。即，作為視頻評價(jià)裝置10可以廣泛適用可以進(jìn)行信息處理的裝置。
參照圖1說明視頻評價(jià)裝置10的構(gòu)成功能。如圖1所示，視頻評價(jià)裝置10包括位移量檢測單元101；特征值計(jì)算單元102；評價(jià)值計(jì)算單元103。
位移量檢測單元101把從外部作為運(yùn)動(dòng)圖像信號輸入的輸入視頻信號104分解為幀圖像。位移量檢測單元101基于分解后的多個(gè)幀圖像，檢測表示輸入視頻信號的運(yùn)動(dòng)的位移程度的位移量(運(yùn)動(dòng)位移量)。位移量檢測單元101把檢測出的位移量106輸出到特征值計(jì)算單元102。
另外，位移量并不限于輸入視頻信號的運(yùn)動(dòng)的位移程度，只要是表示在輸入視頻信號的各幀圖像間的變化程度的量即可。
在此，參照圖2具體說明檢測位移量106的方法。位移量檢測單元101順序讀入從輸入視頻信號104中分解的連續(xù)的2張幀圖像。在此，為了便于說明，把連續(xù)的2張幀圖像按照讀入的順序作為幀圖像P0(參照圖2(a))，幀圖像P1(參照圖2(b))進(jìn)行說明。位移量檢測單元101把讀入的幀圖像P1分割為規(guī)定大小的塊。位移量檢測單元101對于幀圖像P1的各塊，從幀圖像P0中查找與該各塊的圖像信號圖案最相似的圖像信號圖案。該查找例如可以通過使用由圖2所示的塊匹配(相關(guān)法)的查找處理來實(shí)現(xiàn)。位移量檢測單元101基于通過查找處理判斷為最相似的兩圖像的信號圖案，檢測在兩圖像的信號圖案間的空間性的位移量即運(yùn)動(dòng)向量V(MVx，MVy)。該運(yùn)動(dòng)向量V作為位移量106輸出到特征值計(jì)算單元102。
特征值計(jì)算單元102基于從位移量檢測單元101接收到的位移量106，計(jì)算表示輸入視頻信號的運(yùn)動(dòng)的特征的運(yùn)動(dòng)特征值107。特征值計(jì)算單元102把計(jì)算出的運(yùn)動(dòng)特征值107輸出到評價(jià)值計(jì)算單元103。
在此，具體地說明計(jì)算運(yùn)動(dòng)特征值的方法。特征值計(jì)算單元102使用作為位移量106接收到的幀圖像P1的各塊的運(yùn)動(dòng)向量，求幀圖像P1的各塊的運(yùn)動(dòng)向量的大小。該運(yùn)動(dòng)向量的大小例如在把幀圖像P1上的任意的塊的運(yùn)動(dòng)向量的x成分、y成分分別設(shè)置成MVx、MVy的情況下，通過(MVx2+MVy2)1/2求得。特征值計(jì)算單元102基于各運(yùn)動(dòng)向量的大小，計(jì)算成為幀圖像P1的特征的值。該計(jì)算出的值作為運(yùn)動(dòng)特征值107輸出到評價(jià)值計(jì)算單元103。作為用特征值計(jì)算單元102計(jì)算出的值(運(yùn)動(dòng)特征值107)，相當(dāng)于例如，針對包含在幀圖像中的每個(gè)塊求得的運(yùn)動(dòng)向量的大小的最大值、平均值、中間值或者最小值。
評價(jià)值計(jì)算單元103根據(jù)從特征值計(jì)算單元102接收到的運(yùn)動(dòng)特指值107，和基于從外部接收到的幀速率信息105的幀圖像間的時(shí)間間隔，推斷表示在各幀圖像間的運(yùn)動(dòng)的程度的幀間運(yùn)動(dòng)向量。評價(jià)值計(jì)算單元103基于推斷出的幀間運(yùn)動(dòng)量計(jì)算用于評價(jià)輸入視頻的運(yùn)動(dòng)的平滑性的評價(jià)值。評價(jià)值計(jì)算單元103把計(jì)算出的評價(jià)值108輸出到外部。在此，作為外部相當(dāng)于，例如基于評價(jià)值108確定用于進(jìn)行輸入視頻信號104的視頻處理的最佳的幀速率的裝置等。通過向這樣的外部裝置輸出評價(jià)值108，可以確定與采用輸入視頻信號104的視頻的運(yùn)動(dòng)平滑性相應(yīng)的幀速率。
進(jìn)而，在計(jì)算評價(jià)值時(shí)，不一定必須基于幀間運(yùn)動(dòng)量來計(jì)算。例如，可以基于與位移量106以及各幀圖像間的時(shí)間間隔相對應(yīng)的時(shí)間變化量，來計(jì)算評價(jià)值。該時(shí)間變化量可以根據(jù)從特征值計(jì)算單元102接收到的運(yùn)動(dòng)特征值107、基于從外部接收到的幀速率信息105的幀圖像間的時(shí)間間隔來推斷。
在此，參照圖3具體說明評價(jià)運(yùn)動(dòng)的平滑性的方法。首先，參照圖3(a)例如說明推斷在時(shí)刻T1中的幀間運(yùn)動(dòng)量S1的方法。評價(jià)值計(jì)算單元103根據(jù)基于幀速率信息105的幀圖像P0的時(shí)刻T0和幀圖像P1的時(shí)刻T1的時(shí)間間隔Δt1以及幀圖像P1的運(yùn)動(dòng)特征值Δd1，推斷幀間運(yùn)動(dòng)量S1。另外，時(shí)刻T0和時(shí)刻T1的時(shí)間間隔Δt1例如在時(shí)刻T1中的幀速率信息105的幀速率是F 1fps的情況下為1/F1秒。
對推斷幀間運(yùn)動(dòng)量的方法更具體地說明。如圖3(a)所示，在時(shí)刻T1中的幀間運(yùn)動(dòng)量S1例如在把時(shí)刻T0和時(shí)刻T1的時(shí)間間隔設(shè)置為Δt1，把時(shí)刻T1中的運(yùn)動(dòng)特征值設(shè)置為Δd1的情況下，為Δt1·Δd1/2(圖3(a)所示的斜線部分S1的面積)。同樣，在時(shí)刻T2中的幀間運(yùn)動(dòng)量S2例如在把時(shí)刻T1和時(shí)刻T2的時(shí)間間隔設(shè)置為Δt2，把時(shí)刻T2中的運(yùn)動(dòng)特征值設(shè)置為Δd2的情況下，為Δt2·Δd2/2(圖3(a)所示的斜線部分S2的面積)。
以下，參照圖3(b)說明基于幀間運(yùn)動(dòng)量計(jì)算評價(jià)值的方法。評價(jià)值計(jì)算單元103對包含在輸入視頻信號中的全部的幀圖像，計(jì)算各幀圖像的時(shí)刻Tn(n正整數(shù)。以下一樣)中的運(yùn)動(dòng)平滑性的平均值。如果具體地說，則是評價(jià)值計(jì)算單元103使用在各幀圖像的時(shí)刻Tn中的幀間運(yùn)動(dòng)量Sn，計(jì)算在時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值。如果更具體地說，則是評價(jià)值計(jì)算單元103例如用使用了幀間運(yùn)動(dòng)量Sn的下式、α/Sn(α是常數(shù))，計(jì)算在時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值。此外，評價(jià)值計(jì)算單元103例如用使用了幀間運(yùn)動(dòng)量Sn的下式，a×exp-bSn+c(a，b，c是常數(shù))，可以計(jì)算在時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值。評價(jià)值計(jì)算單元103基于計(jì)算出的各評價(jià)值，計(jì)算在輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的平均值。該平均值作為輸入視頻的最終的評價(jià)值108輸出到外部。
以下，參照圖4說明實(shí)施方式1的變形例子的視頻評價(jià)裝置10中的視頻評價(jià)處理的流程。
首先，位移量檢測單元101順序讀入從輸入視頻信號104所分解的連續(xù)的2張幀圖像(幀圖像P0，幀圖像P1)(步驟S401)。
以下，位移量檢測單元101把讀入的幀圖像P1分割為所定大小的塊(步驟S402)。
以下，位移量檢測單元101對于幀圖像P1的各塊，從幀圖像P0中查找與該各塊的圖像信號圖案最相似的圖像信號圖案(步驟S403)。
以下，位移量檢測單元101基于通過查找判斷為最相似的兩圖像的信號圖案，檢測在該圖像信號圖案間的空間性的位移量即運(yùn)動(dòng)向量(MVx，MVy)(步驟S404)。該被檢測出的運(yùn)動(dòng)向量作為位移量106輸出到特征值計(jì)算單元102。
以下，特征值計(jì)算單元102使用包含在位移量106中的幀圖像P1的各塊的運(yùn)動(dòng)向量，求幀圖像P1的各塊的運(yùn)動(dòng)向量的大小(步驟S405)。
以下，特征值計(jì)算單元102基于各運(yùn)動(dòng)向量的大小，計(jì)算成為幀圖像P1的特征的值(步驟S406)。該計(jì)算出的值作為運(yùn)動(dòng)特征值107輸出到評價(jià)值計(jì)算單元103。
以下，評價(jià)值計(jì)算單元103根據(jù)從特征值計(jì)算單元102接收到的運(yùn)動(dòng)特征值107、基于從外部接收到的幀速率信息105的幀圖像間的時(shí)間間隔，計(jì)算在各幀圖像間的運(yùn)動(dòng)向量即幀間運(yùn)動(dòng)向量(步驟S407)。
以下，評價(jià)值計(jì)算單元103對于包含在輸入視頻信號中的全部的幀圖像，使用幀間運(yùn)動(dòng)向量計(jì)算在各幀圖像的時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的平均值(步驟S408)。
以下，評價(jià)值計(jì)算單元103基于計(jì)算出的各評價(jià)值，計(jì)算輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的平均值(步驟S409)。
以下，評價(jià)值計(jì)算單元103把計(jì)算出的平均值作為對輸入視頻信號104的全體的運(yùn)動(dòng)的平滑性的評價(jià)值108輸出到外部(步驟410)。
如上所述，如果采用實(shí)施方式1的變形例子的視頻評價(jià)裝置10，則基于包含在輸入視頻信號中的多個(gè)幀圖像檢測運(yùn)動(dòng)向量，基于該運(yùn)動(dòng)向量的大小計(jì)算運(yùn)動(dòng)特征值。此外，根據(jù)該運(yùn)動(dòng)特征值以及基于輸入視頻信號的幀速率的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)平滑性的評價(jià)值。因而，可以與按照規(guī)定的幀速率輸入的輸入視頻信號的運(yùn)動(dòng)向量的大小相應(yīng)地評價(jià)視頻處理時(shí)的幀速率中的視頻運(yùn)動(dòng)的平滑性。此外，因?yàn)榘淹ㄟ^該評價(jià)所得到的評價(jià)值輸出到外部，所以可以根據(jù)該評價(jià)值在外部確定幀速率。即，可以依照視頻運(yùn)動(dòng)的平滑性來確定幀速率。
另外，采用上述位移量檢測單元101的圖像信號圖案的查找單位并不限于上述的塊單位。例如，也可以是幀單位、1象素單位、目標(biāo)區(qū)域單位等。此外，采用位移量檢測單元101的查找處理方法并不限于上述的塊匹配。例如，也可以是濃度梯度法等。
此外，位移量檢測單元101作為上述的輸入視頻信號104，也可以讀入包含視頻的運(yùn)動(dòng)向量的輸入視頻信號104。在這種情況下，位移量檢測單元101從由外部接收到的輸入視頻信號104檢測運(yùn)動(dòng)向量。把該檢測到的運(yùn)動(dòng)向量作為位移量106輸出到特征值計(jì)算單元102。
此外，用特征值計(jì)算單元102計(jì)算出的運(yùn)動(dòng)特征值107并不限于針對上述每個(gè)塊所求得的運(yùn)動(dòng)向量的大小的最大值、平均值、中間值或者最小值。例如，可以是針對每個(gè)幀圖像求得的1個(gè)運(yùn)動(dòng)向量的大小，也可以是針對幀圖像內(nèi)的每1象素或者每個(gè)目標(biāo)區(qū)域所求得的運(yùn)動(dòng)向量的大小的最大值、平均值、中間值或者最小值。
此外，由特征值計(jì)算單元102計(jì)算出的運(yùn)動(dòng)特征值107在幀單位中沒有必要必須是1個(gè)，例如，也可以在塊單位、象素單位或者目標(biāo)單位中是1個(gè)。此外，運(yùn)動(dòng)特征值107對于塊單位、象素單位或者目標(biāo)單位所求得的運(yùn)動(dòng)向量的分布，可以是在用以圖5所示的原點(diǎn)為中心的多個(gè)圓和從原點(diǎn)放射狀延伸的多條線所劃分的范圍R(例如，R1，R2，R3)單位中是1個(gè)。
在此，參照圖5對于在上述范圍R單位中計(jì)算運(yùn)動(dòng)特征值107的方法，以把1個(gè)幀圖像分割為9個(gè)塊時(shí)的情況為例子具體地說明。首先，在被分割的9個(gè)塊單位上求1個(gè)運(yùn)動(dòng)向量。把該求得的各運(yùn)動(dòng)向量作為運(yùn)動(dòng)向量V1～V9。以下，把各運(yùn)動(dòng)向量V1～V9投影在圖5所示的曲線上。例如，假設(shè)運(yùn)動(dòng)向量V1～V4包含在圖5所示的范圍R1中，運(yùn)動(dòng)向量V5、V6包含在圖5所示的范圍R2上，運(yùn)動(dòng)向量V7～V9包含在圖5所示的范圍R3中。在這種情況下，例如，作為運(yùn)動(dòng)向量V1～V4的平均值計(jì)算出的運(yùn)動(dòng)向量VR1作為范圍R1的運(yùn)動(dòng)特征值107被求得，作為運(yùn)動(dòng)向量V5、V6的平均值計(jì)算的運(yùn)動(dòng)向量VR2作為范圍R2的運(yùn)動(dòng)特征值107被求得，作為運(yùn)動(dòng)向量V7～V9的平均值計(jì)算的運(yùn)動(dòng)向量VR3作為范圍R3的運(yùn)動(dòng)特征值107被求得。進(jìn)而，求運(yùn)動(dòng)向量的方法并不限于示例的塊單位，例如，也可以是象素單位或者目標(biāo)單位。
此外，采用評價(jià)值計(jì)算單元103的幀間運(yùn)動(dòng)量的推斷方法并不限于使用了上述的式子(例如，Δt1·Δd1/2)的方法。例如，也可以通過使用位移量106即運(yùn)動(dòng)向量(MVx，MVy)和基于幀速率信息105的幀圖像間的時(shí)間間隔表示的下式，β·MVx·Δt1/2+γ·MVy·Δt1/2(β，γ是常數(shù))來推斷。
此外，用評價(jià)值計(jì)算單元103所推斷的幀間運(yùn)動(dòng)量在幀單位中沒有必要必須是1個(gè)。例如也可以在塊單位、象素單位、目標(biāo)單位或者上述的范圍R(參照圖5)單位中是1個(gè)。
此外，在通過評價(jià)值計(jì)算單元103所計(jì)算出的各幀圖像的時(shí)刻Tn中的運(yùn)動(dòng)的平滑性的評價(jià)值并不限于用上述的α/Sn(α是常數(shù))或者a×exp-bSn+c(a，b，c是常數(shù))來計(jì)算。例如，也可以使用位移量106即運(yùn)動(dòng)向量(MVx，MVy)和基于幀速率信息105的幀圖像間的時(shí)間間隔的函數(shù)來計(jì)算。
此外，用評價(jià)值計(jì)算單元103計(jì)算出的輸入視頻像的最終的評價(jià)值108并不限于以上所述的輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的平均值。例如，也可以是輸入視頻的全部時(shí)刻中的運(yùn)動(dòng)的平滑性的評價(jià)值的最大值、中間值或者最小值。
此外，用評價(jià)值計(jì)算單元103計(jì)算的輸入視頻的最終的評價(jià)值108對于包含在輸入視頻信號中的全部的幀圖像沒有必要必須是1個(gè)。例如，也可以針對幾張幀圖像、1張幀圖像、塊、象素、目標(biāo)或者上述的范圍R(參照圖5)的每個(gè)是1個(gè)。
最后，參照圖6說明用于使計(jì)算機(jī)作為上述的視頻評價(jià)裝置10而發(fā)揮功能的視頻評價(jià)程序50。
如圖6所示，視頻評價(jià)程序50包括匯總處理的主模塊程序501；位移量檢測模塊502；特征值計(jì)算模塊503；評價(jià)值計(jì)算模塊504。位移量計(jì)算模塊502、特征值計(jì)算模塊503以及評價(jià)值計(jì)算模塊504使計(jì)算機(jī)具有的功能分別和上述的位移量檢測單元101、特征值計(jì)算單元102以及評價(jià)值計(jì)算單元103具有的功能相同。
進(jìn)而，視頻評價(jià)程序50例如由CD-ROM、DVD或者ROM等的存儲(chǔ)介質(zhì)或者半導(dǎo)體存儲(chǔ)器提供。此外，視頻評價(jià)程序50也可以作為重疊在載波上的計(jì)算機(jī)數(shù)據(jù)信號經(jīng)由網(wǎng)絡(luò)被提供。
此外，實(shí)施方式1的變形例子的視頻評價(jià)裝置10統(tǒng)一位移量檢測單元101以及特征值計(jì)算單元102，通過重新設(shè)置成位移量檢測單元，可以設(shè)置成和實(shí)施方式1中的視頻評價(jià)裝置140具有的功能構(gòu)成相同的功能構(gòu)成。
以下，說明本發(fā)明的實(shí)施方式2。圖7是例示在實(shí)施方式2中的幀速率確定裝置70的功能構(gòu)成的圖。
在此，幀速率確定裝置70是物理上具備CPU(中央處理裝置)、存儲(chǔ)器等的存儲(chǔ)裝置，以及通信裝置等的計(jì)算機(jī)。因而，幀速率確定裝置70可以是PC終端等的固定通信終端，也可以是手機(jī)等的移動(dòng)通信終端。即，作為幀速率確定裝置70可以被廣泛地適用于可以進(jìn)行信息處理的裝置。
參照圖7說明幀速率確定裝置70的功能構(gòu)成。如圖7所示，幀速率確定裝置70包括幀速率發(fā)生單元701；視頻評價(jià)單元702；幀速率確定單元703。
幀速率發(fā)生單元701發(fā)生第1幀速率705。幀速率發(fā)生單元701把發(fā)生的第1幀速率705輸出到視頻評價(jià)單元702以及幀速率確定單元703。
視頻評價(jià)單元702具有與上述實(shí)施方式1所述的視頻評價(jià)裝置140具有的功能，或者實(shí)施方式1的變形例子所述的視頻評價(jià)裝置10具有的功能相同的功能。即，視頻評價(jià)單元702具有與上述變化量檢測單元1401以及評價(jià)值計(jì)算單元1402具有的功能，或者位移量檢測單元101、特征值計(jì)算單元102以及評價(jià)值計(jì)算單元103具有的功能相同的功能。
視頻評價(jià)單元702從由外部作為運(yùn)動(dòng)圖像信號輸入的輸入視頻信號704，以與第1幀速率705相應(yīng)的時(shí)間間隔讀入幀圖像，計(jì)算相對輸入視頻信號704全體的運(yùn)動(dòng)的平滑化的評價(jià)值706。視頻評單元702把計(jì)算出的運(yùn)動(dòng)的平滑性的評價(jià)值706輸出到幀速率確定單元703。
在此，第1幀速率705即使和輸入視頻信號704的采樣速率不同也沒有特別問題。例如，相對圖8(a)所示的第1幀速率705是1/15秒，圖8(b)所示的輸入視頻信號704的采樣速率是1/30秒。
幀速率確定單元703基于從視頻評價(jià)單元702接收到的評價(jià)值706和從幀速率發(fā)生單元701接收到的第1幀速率705，確定第2幀速率707。幀速率確定單元703把已確定的第2幀速率707作為用于進(jìn)行輸入視頻信號704的處理的幀速率，輸出到幀速率確定裝置70。
如果具體地說明，則幀速率確定單元703例如在評價(jià)值706大于所定的規(guī)定值時(shí)，使第2幀速率707小于第1幀速率705。此外，幀速率確定單元703例如在評價(jià)值706小于所定的規(guī)定值時(shí)，使第2幀速率707大于第1幀速率705。此外幀速率確定裝置70例如在評價(jià)值706和所定的規(guī)定值一致時(shí)，把第2幀速率707設(shè)置成和第1幀速率705一樣的幀速率。
如果這樣，則可以確定如用于評價(jià)視頻的運(yùn)動(dòng)的平滑性的評價(jià)值收斂于所定的評價(jià)基準(zhǔn)的范圍內(nèi)那樣的第2幀速率。即，可以一邊把視頻的運(yùn)動(dòng)的平滑性保持在所定的基準(zhǔn)范圍內(nèi)一邊讀入輸入視頻信號。另外，上述的所定的規(guī)定值可以是預(yù)先設(shè)定的值，也可以是從外部給予的值。
以下，參照圖9說明實(shí)施方式2的幀速率確定裝置70中的幀速率確定處理的流程。
首先，幀速率發(fā)生單元701發(fā)生第1幀速率705(步驟S901)。
以下，視頻評價(jià)單元702從輸入視頻信號704中以與第1幀速率705相應(yīng)的時(shí)間間隔讀入幀圖像(步驟902)。
以下，視頻評價(jià)單元702基于各幀圖像，計(jì)算相對輸入視頻信號704全體的運(yùn)動(dòng)的平滑性的評價(jià)值706(步驟903)。即，基于各幀圖像，通過進(jìn)行在上述實(shí)施方式1中說明的步驟S1701～S1707的視頻評價(jià)處理(參照圖17)，或者進(jìn)行在上述實(shí)施方式1的變形例子中說明的步驟S401～S410的視頻評價(jià)處理(參照圖4)，計(jì)算相對人工視頻信號704全體的運(yùn)動(dòng)平滑性的評價(jià)值706。
以下，幀速率確定單元703基于從視頻評價(jià)單元702接收到的評價(jià)值706、從幀速率發(fā)生單元701接收到的第1幀速率705，確定第2幀速率707(步驟904)。
以下，幀速率確定單元703把第2幀速率707作為用于進(jìn)行輸入視頻信號704的處理的幀速率輸出到外部(步驟905)。
如上所述，如果采用實(shí)施方式2的幀速率確定裝置70，則根據(jù)輸入視頻信號的變化量以及基于第1幀速率的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，確定利用該評價(jià)值進(jìn)行輸入視頻信號的處理的第2幀速率。即，在根據(jù)按照第1幀速率輸入的輸入視頻信號的變化量評價(jià)在第1幀速率的視頻的運(yùn)動(dòng)平滑性，同時(shí)使用該評價(jià)確定第2幀速率。
此外，基于包含在輸入視頻信號中的多個(gè)幀圖像檢測運(yùn)動(dòng)向量，基于該運(yùn)動(dòng)向量的大小計(jì)算運(yùn)動(dòng)特征值。而后，根據(jù)該運(yùn)動(dòng)特征值以及基于第1幀速率的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，利用該評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率。即，根據(jù)按照第1幀速率輸入的輸入視頻信號的運(yùn)動(dòng)的特征量，在評價(jià)在第1幀速率的視頻的運(yùn)動(dòng)平滑性的同時(shí)，使用該評價(jià)確定第2幀速率。
因而，可以依照視頻的運(yùn)動(dòng)平滑性確定輸入視頻信號的幀速率的同時(shí)，可以在保持視頻的運(yùn)動(dòng)平滑性的同時(shí)讀入輸入視頻信號。
最后，參照圖10說明用于使計(jì)算機(jī)作為上述幀速率確定裝置70而發(fā)揮功能的幀速率確定程序100。
如圖10所示，幀速率確定程序100包括匯總處理的主模塊程序1001；幀速率發(fā)生模塊1002；視頻評價(jià)模塊1003；幀速率確定模塊1004。幀速率發(fā)生模塊1002、視頻評價(jià)模塊1003以及幀速率確定模塊1004使計(jì)算機(jī)具有的功能分別和上述的幀速率發(fā)生單元701、視頻評價(jià)單元702以及幀速率確定單元703具有的功能相同。
進(jìn)而，幀速率確定程序100例如由CD-ROM、DVD或者ROM等的存儲(chǔ)介質(zhì)或者半導(dǎo)體存儲(chǔ)器提供。此外，幀速率確定程序100也可以作為重疊在載波上的計(jì)算機(jī)數(shù)據(jù)信號經(jīng)由網(wǎng)絡(luò)被提供。
以下，說明本發(fā)明的實(shí)施方式3。圖11是例示實(shí)施方式3中的視頻處理裝置110的功能構(gòu)成的圖。
在此，視頻處理裝置110物理上是具備CPU(中央處理裝置)、存儲(chǔ)器等的存儲(chǔ)裝置，以及通信裝置等的計(jì)算機(jī)。因而，視頻處理裝置110可以是PC終端等的固定通信終端，也可以是手機(jī)等的移動(dòng)通信終端。即，作為視頻處理裝置110可以被廣泛地適用于可以進(jìn)行信息處理的裝置。
參照圖11說明視頻處理裝置110的功能構(gòu)成。如圖11所示，視頻處理裝置包括緩沖單元1101；幀速率確定單元1102；視頻處理單元1103。
緩沖單元1101把從外部作為運(yùn)動(dòng)信號所輸入的輸入視頻信號1104暫時(shí)保持在存儲(chǔ)器上的緩沖區(qū)上。緩沖單元1101把輸入視頻信號1104輸出到幀速率確定單元1102。另外，被暫時(shí)保存在緩沖區(qū)上的輸入視頻信號1104用以后敘述的視頻處理單元1103作為處理視頻信號1106讀入。
幀速率確定單元1102具有與上述實(shí)施方式2所述的幀速率確定裝置70具有的功能相同的功能。即，幀速率確定單元1102具有與上述的幀速率發(fā)生單元701、視頻評價(jià)單元702以及幀速率確定單元703具有的功能相同的功能。幀速率確定單元1102使用從緩沖單元1101接收到的輸入視頻信號1104，計(jì)算與上述第2幀速率707相當(dāng)?shù)囊曨l處理幀速率1105。幀速率確定單元1102把計(jì)算出的視頻處理幀速率1105輸出到視頻處理單元1103。
視頻處理單元1103以與視頻處理幀速率1105相應(yīng)的時(shí)間間隔從緩沖單元1101讀入處理視頻信號1106，基于該處理視頻信號1106進(jìn)行視頻處理。如果具體地說，則視頻處理單元1103在包含于被保存在緩沖單元1101中的處理視頻信號1106中的幀圖像中，只讀入與從幀速率確定單元1102接收到的視頻處理幀速率1105對應(yīng)的時(shí)刻的幀圖像，進(jìn)行視頻處理。視頻處理單元1103把由視頻處理所生成的視頻輸出到外部。另外，由視頻處理單元1103所進(jìn)行的視頻處理例如相當(dāng)于視頻的取得、儲(chǔ)存、傳送、編碼、譯碼。
以下，參照圖12說明實(shí)施方式3的視頻處理裝置110中的視頻處理的流程。
首先，緩沖單元1101在把從外部作為運(yùn)動(dòng)信號所輸入的輸入視頻信號1104輸出到幀速率確定單元1102的同時(shí)，把該輸入視頻信號1104暫時(shí)保存在存儲(chǔ)器上的緩沖區(qū)上(步驟S1201)。
以下，幀速率確定單元1102使用從緩沖單元1101接收到的輸入視頻信號1104，計(jì)算視頻處理幀速率1105(步驟1202)。即，通過使用輸入視頻信號1104進(jìn)行在上述的實(shí)施方式2中說明的步驟S901～S905的幀速率確定處理(參照圖9)，計(jì)算作為第2幀速率的視頻處理幀速率1105。
以下，視頻處理單元1103以與視頻處理幀速率1105對應(yīng)的時(shí)間間隔從緩沖單元1101中讀入處理視頻信號1106，基于該處理視頻信號1106進(jìn)行視頻處理(步驟S1203)。
以下，視頻處理單元1103把由視頻處理生成的視頻輸出到外部(步驟1204)。
如上所述，如果采用實(shí)施方式3的視頻處理裝置110，則根據(jù)輸入視頻信號的變化量以及基于第1幀速率的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，確定利用該評價(jià)值進(jìn)行輸入視頻信號的處理的第2幀速率。而后，使用該第2幀速率進(jìn)行輸入視頻信號的視頻處理。即，在根據(jù)按照該第2幀速率輸入的輸入視頻信號的變化量評價(jià)在第1幀速率中的視頻的運(yùn)動(dòng)的平滑性的同時(shí)，使用該評價(jià)確定第2幀速率。而后，使用基于相對于輸入視頻信號的評價(jià)值所確定的第2幀速率，進(jìn)行輸入視頻信號的視頻處理。
此外，基于包含在輸入視頻信號中的多個(gè)幀圖像檢測運(yùn)動(dòng)向量，基于該運(yùn)動(dòng)向量的大小計(jì)算運(yùn)動(dòng)特征值。而后，根據(jù)該運(yùn)動(dòng)特征值以及基于該第1幀速率的幀圖像間的時(shí)間間隔，計(jì)算用于評價(jià)輸入視頻信號的運(yùn)動(dòng)的平滑性的評價(jià)值，利用該評價(jià)值確定進(jìn)行輸入視頻信號的處理的第2幀速率。進(jìn)而，使用該第2幀速率進(jìn)行輸入視頻信號的視頻處理。即，在根據(jù)按照第1幀速率輸入的輸入視頻信號的運(yùn)動(dòng)的特征值評價(jià)第1幀速率中的視頻的運(yùn)動(dòng)平滑性的同時(shí)，使用該評價(jià)確定第2幀速率。而后，使用基于相對于輸入視頻信號的評價(jià)值所確定的第2幀速率，進(jìn)行輸入視頻信號的視頻處理。
因而，基于依照運(yùn)動(dòng)的平滑性的評價(jià)所確定的第2幀速率，可以進(jìn)行輸入信號的視頻處理。即，可以在依照視頻的運(yùn)動(dòng)的平滑性確定幀速率的同時(shí)，一邊保持視頻的運(yùn)動(dòng)的平滑性一邊進(jìn)行輸入視頻信號的視頻處理。
進(jìn)而，上述的視頻處理裝置110例如可適用于視頻取得裝置(例如照相機(jī))、視頻傳送裝置、視頻編碼裝置，或者視頻譯碼裝置。
首先，在把視頻處理裝置110適用于視頻取得裝置的情況下，上述的各功能具有以下所述的功能。緩沖單元1101將利用采樣速率(例如，30fps)所輸入的輸入視頻信號1104進(jìn)行緩沖。幀速率確定單元1102使用從緩沖單元1101接收到的輸入視頻信號1104，計(jì)算視頻取得裝置取得視頻時(shí)的最佳的視頻處理幀速率1105(例如，15fps)，輸出到視頻處理單元1103。視頻處理單元1103使用從幀速率確定單元1102接收到的視頻處理幀速率1105(例如，15fps)，采樣被保持在緩沖單元1101中的輸入視頻信號1104。視頻處理單元1103把由該采樣得到的處理視頻信號1106通過視頻處理幀速率1105(例如，15fps)取得。
此外，當(dāng)把視頻處理裝置110適用于視頻存儲(chǔ)裝置的情況下，上述各功能具有以下所述的功能。緩沖單元1101將利用采樣速率(例如，30fps)所輸入的輸入視頻信號1104進(jìn)行緩沖。幀速率確定單元1102使用從緩沖單元1101接收到的輸入視頻信號1104，計(jì)算視頻存儲(chǔ)裝置儲(chǔ)存視頻時(shí)的最佳的視頻處理幀速率1105(例如，15fps)，輸出到視頻處理單元1103。視頻處理單元1103使用從幀速率確定單元1102接收到的視頻處理幀速率1105(例如，15fps)，采樣被保持在緩沖單元1101中的輸入視頻信號1104。視頻處理單元1103把由該采樣得到的處理視頻信號1106以視頻處理幀速率1105(例如，15fps)進(jìn)行儲(chǔ)存。
此外，當(dāng)把視頻處理裝置110適用到視頻傳送裝置的情況下，上述的各功能具有以下所述的功能。緩沖單元1101將利用采樣速率(例如，30fps)所輸入的輸入視頻信號1104進(jìn)行緩沖。幀速率確定單元1102使用從緩沖單元1101接收到的輸入視頻信號1104，計(jì)算在視頻傳送裝置傳送視頻時(shí)最適宜的視頻處理幀速率1105(例如，15fps)，輸出到視頻處理單元1103。視頻處理單元1103使用從幀速率確定單元1102接收到的視頻處理幀速率1105(例如，15fps)，采樣被保存在緩沖單元1101中的輸入視頻信號1104。視頻處理單元1103以視頻處理幀速率1105(例如，15fps)傳送由該采樣得到的處理視頻信號1106。
此外，在把視頻處理裝置110適用到視頻編碼裝置的情況下，上述各功能具有以下所述的功能。緩沖單元1101將利用采樣速率(例如，30fps)所輸入的輸入視頻信號1104進(jìn)行緩沖。幀速率確定單元1102使用從緩沖單元1101中接收到的輸入視頻信號1104，計(jì)算視頻編碼裝置編碼視頻時(shí)的最佳的視頻處理幀速率1105(例如，15fps)，輸出到視頻處理單元1103。視頻處理單元1103使用從幀速率確定單元1102接收到的視頻處理幀速率1105(例如，15fps)，采樣被保存在緩沖單元1101上的輸入視頻信號1104。視頻處理單元1103以視頻處理幀速率1105(例如，15fps)編碼由該采樣得到的處理視頻信號1106。
此外，在把視頻處理裝置110適用到視頻譯碼裝置的情況下，上述各功能具有以下所述的功能。緩沖單元1101將利用采樣速率(例如，30fps)所輸入的輸入視頻信號1104進(jìn)行緩沖。幀速率確定單元1102使用從緩沖單元1101接收到的輸入視頻信號1104，計(jì)算在視頻譯碼裝置譯碼視頻時(shí)最佳的視頻處理幀速率1105(例如，15fps)，輸出到視頻處理單元1103。視頻處理單元1103使用從幀速率確定單元1102接收到的視頻處理速率1105(例如，15fps)，采樣被保存在緩沖單元1101中的輸入視頻信號1104。視頻處理單元1103以視頻處理幀速率1105(例如，15fps)譯碼由該采樣得到的處理視頻信號1106。
最后，參照圖13說明用于使計(jì)算機(jī)作為上述的視頻處理裝置110發(fā)揮功能的視頻處理程序130。
如圖13所示，視頻處理程序130包括匯總處理的主模塊程序1301；緩沖模塊1302；幀速率確定模塊1303；視頻處理模塊1304。緩沖模塊1302、幀速率確定模塊1303以及視頻處理模塊1304使計(jì)算機(jī)發(fā)揮的功能分別和上述的緩沖單元1101、幀速率確定單元1102及視頻處理單元1103具有的功能相同。
進(jìn)而，視頻處理程序130例如用CD-ROM、DVD或者ROM等的存儲(chǔ)介質(zhì)或者半導(dǎo)體存儲(chǔ)器提供。此外，視頻處理程序130可以作為重疊在載波上的計(jì)算機(jī)數(shù)據(jù)信號經(jīng)由網(wǎng)絡(luò)被提供。
權(quán)利要求
1.一種視頻評價(jià)裝置，其特征在于包括基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示在上述各幀圖像間的變化程度的變化量的變化量檢測部件；基于上述變化量以及上述各幀圖像間的時(shí)間間隔，計(jì)算與上述輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值并將其輸出到外部的評價(jià)值計(jì)算部件。
2.根據(jù)權(quán)利要求1所述的視頻評價(jià)裝置，其特征在于上述評價(jià)值計(jì)算部件基于上述變化量以及上述各幀圖像間的時(shí)間間隔，推斷與上述變化量以及上述各幀圖像間的時(shí)間間隔相應(yīng)的時(shí)間變化量，使用該時(shí)間變化量計(jì)算上述評價(jià)值。
3.根據(jù)權(quán)利要求1或者2所述的視頻評價(jià)裝置，其特征在于上述變化量是基于在上述各幀圖像間的亮度值的差的值。
4.根據(jù)權(quán)利要求1或者2所述的視頻評價(jià)裝置，其特征在于上述變化量是在上述各幀圖像間的運(yùn)動(dòng)向量。
5.根據(jù)權(quán)利要求1的視頻評價(jià)裝置，其特征在于還包括基于上述變化量計(jì)算表示上述輸入視頻信號的運(yùn)動(dòng)的特征的特征值的特征值計(jì)算部件，上述評價(jià)值計(jì)算部件基于上述運(yùn)動(dòng)特征值以及上述各幀圖像間的時(shí)間間隔，計(jì)算上述評價(jià)值。
6.根據(jù)權(quán)利要求5所述的視頻評價(jià)裝置，其特征在于上述評價(jià)值計(jì)算部件基于上述運(yùn)動(dòng)特征值以及上述各幀圖像間的時(shí)間間隔，推斷與上述變化量以及上述各幀圖像間的時(shí)間間隔相應(yīng)的時(shí)間變化量，使用該時(shí)間變化量計(jì)算上述評價(jià)值。
7.根據(jù)權(quán)利要求5或者6所述的視頻評價(jià)裝置，其特征在于上述變化量是上述各幀圖像間的運(yùn)動(dòng)向量，上述運(yùn)動(dòng)特征值是基于上述運(yùn)動(dòng)向量的大小計(jì)算的值。
8.一種幀速率確定裝置，其特征在于包括發(fā)生第1幀速率的幀速率發(fā)生部件；基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測表示上述各幀圖像間的變化程度的變化量的變化量檢測部件；基于上述變化量以及與上述第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與上述輸入視頻信號的運(yùn)動(dòng)的平滑性相關(guān)的評價(jià)值的評價(jià)值計(jì)算部件；使用上述評價(jià)值確定進(jìn)行上述輸入視頻信號的處理的第2幀速率并將其輸出到外部的幀速率確定部件。
9.根據(jù)權(quán)利要求8所述的幀速率確定裝置，其特征在于上述幀速率確定部件把上述評價(jià)值和所定的規(guī)定值進(jìn)行比較，當(dāng)上述評價(jià)值大于上述規(guī)定值時(shí)，使上述第2幀速率小于上述第1幀速率，當(dāng)上述評價(jià)值小于上述規(guī)定值時(shí)，使上述第2幀速率大于上述第1幀速率。
10.一種視頻處理裝置，其特征在于包括存儲(chǔ)輸入視頻信號的緩沖部件；發(fā)生第1幀速率的幀速率發(fā)生部件；基于包含在上述輸入視頻信號中的多個(gè)幀圖像，檢測表示上述各幀圖像間的變化程度的變化量的變化量檢測部件；基于上述變化量以及與上述第1幀速率對應(yīng)的幀圖像間的時(shí)間間隔，計(jì)算與上述輸入視頻信號的運(yùn)動(dòng)平滑性有關(guān)的評價(jià)值的評價(jià)值計(jì)算部件；使用上述評價(jià)值確定進(jìn)行上述輸入視頻信號的處理的第2幀速率的幀速率確定部件；使用上述第2幀速率讀入由上述緩沖部件存儲(chǔ)的上述輸入視頻信號并進(jìn)行視頻處理的視頻處理部件。
11.一種視頻評價(jià)方法，其特征在于包括基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測在上述各幀圖像間的變化程度的變化量的變化量檢測步驟；基于上述變化量以及上述各幀圖像間的時(shí)間間隔，計(jì)算與上述輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值并將其輸出到外部的評價(jià)值計(jì)算步驟。
12.一種視頻評價(jià)程序，其特征在于使計(jì)算機(jī)發(fā)揮以下部件的功能基于包含在輸入視頻信號中的多個(gè)幀圖像，檢測在上述各幀圖像間的變化程度的變化量的變化量檢測部件；基于上述變化量以及上述各幀圖像間的時(shí)間間隔，計(jì)算與上述輸入視頻信號的運(yùn)動(dòng)的平滑性有關(guān)的評價(jià)值并將其輸出到外部的評價(jià)值計(jì)算部件。
全文摘要
本發(fā)明提供視頻評價(jià)裝置、幀速率確定裝置、視頻處理裝置、視頻評價(jià)方法，以及視頻評價(jià)程序。與視頻的運(yùn)動(dòng)平滑性相應(yīng)地確定幀速率。變化量檢測部件(1401)基于包含在從外部作為運(yùn)動(dòng)圖像信號所輸入的輸入視頻信號(1403)中的多個(gè)幀圖像，抽出變化量，把該變化量(1405)輸出到評價(jià)值計(jì)算單元(1402)。評價(jià)值計(jì)算單元(1402)根據(jù)變化量(1405)以及基于幀速率信息(105)的幀圖像間的時(shí)間間隔，推斷各幀圖像間的時(shí)間變化量，根據(jù)該時(shí)間變化量計(jì)算用于評價(jià)輸入視頻的運(yùn)動(dòng)的平滑性的評價(jià)值。把該評價(jià)值作為確定幀速率的要素輸出到外部。
文檔編號H04N7/01GK1750635SQ20051010399
公開日2006年3月22日 申請日期2005年9月16日 優(yōu)先權(quán)日2004年9月16日
發(fā)明者加藤禎篤, 文仲丞, 堀越力 申請人:株式會(huì)社Ntt都科摩