專利名稱：動態(tài)圖像再現(xiàn)裝置、動態(tài)圖像再現(xiàn)程序以及動態(tài)圖像再現(xiàn)方法
技術(shù)領(lǐng)域：
本申請涉及降低所取得的動態(tài)圖像數(shù)據(jù)的幀頻，并顯示基于降低了幀頻的動態(tài)圖像數(shù)據(jù)的動態(tài)圖像的動態(tài)圖像再現(xiàn)裝置、動態(tài)圖像再現(xiàn)方法以及使運算裝置作為動態(tài)圖像再現(xiàn)裝置工作的動態(tài)圖像再現(xiàn)程序。
背景技術(shù)：
近年來，個人計算機(以下簡單記作“PC”)的低價趨向增強，為了抑制PC的價格， 而抑制用在該PC中的部件的價格，相應(yīng)地也抑制了 PC的性能。例如，在低價格段的筆記本型個人計算機(以下簡單記作“筆記本PC”)中，對于具有液晶顯示畫面等顯示設(shè)備也不能使用價格高的部件，大多選擇其響應(yīng)速度只有50fps(幀/秒)的顯示設(shè)備。因此，即使將該筆記本PC連接到互聯(lián)網(wǎng)并在該筆記本PC上再現(xiàn)顯示互聯(lián)網(wǎng)上的某一 60fps的動態(tài)圖像 HD (High Definition 高清晰度)內(nèi)容，該筆記本PC的顯示設(shè)備也只能以50fps進行顯示， 顯示速度每秒落后10幀，從而產(chǎn)生丟幀顯示這樣的缺點。為了應(yīng)對該問題，考慮降低動態(tài)圖像的幀頻，使得即使在該低功能的顯示設(shè)備上也能夠進行顯示(參照專利文獻1 4)。在此，動態(tài)圖像內(nèi)容大多采用MPEG格式、尤其是 MPEG2格式。在該MPEG2格式中以15幀形成一個組。將該組稱作GOP (Group of Picture 圖像組)。在MPEG2格式中，以該GOP為單位進行解碼處理，因此難以為了降低幀頻而單純地對幀進行間疏(間引 < )。此外，由于低價，搭載有例如工作速度為1. 6GHz等工作速度慢的CPU(Central Processing Unit)，難以進行需要較大的處理能力的運算來降低幀頻?，F(xiàn)有技術(shù)文獻專利文獻專利文獻1 日本特開2002-94947號公報專利文獻2 日本特開2003-309834號公報專利文獻3 日本特開2006-319784號公報專利文獻4 日本特表2007-520741號公報

發(fā)明內(nèi)容
發(fā)明所要解決的課題鑒于上述情況，本申請公開的動態(tài)圖像再現(xiàn)裝置、動態(tài)圖像再現(xiàn)程序以及動態(tài)圖像再現(xiàn)方法的課題在于，以比較小的運算能力來降低所取得的動態(tài)圖像數(shù)據(jù)的幀頻。用于解決課題的手段本申請公開的動態(tài)圖像再現(xiàn)裝置具有動態(tài)圖像取得部、動態(tài)圖像再現(xiàn)部和動態(tài)圖像顯示部。動態(tài)圖像取得部取得多個幀以第一幀頻循環(huán)反復(fù)而得到的第一動態(tài)圖像數(shù)據(jù)，該多個幀包含以下兩方的幀具有背景圖像和運動體圖像這兩者信息的幀、和具有除了背景圖像以外的運動體圖像的信息的幀。動態(tài)圖像再現(xiàn)部根據(jù)由動態(tài)圖像取得部所取得的第一動態(tài)圖像數(shù)據(jù)，對比所述第一幀頻低的第二幀頻的第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)。動態(tài)圖像顯示部根據(jù)由動態(tài)圖像再現(xiàn)部所再現(xiàn)的第二動態(tài)圖像數(shù)據(jù)，顯示動態(tài)圖像。此處，動態(tài)圖像再現(xiàn)部具有插值數(shù)據(jù)計算部和幀圖像再現(xiàn)部。插值數(shù)據(jù)計算部根據(jù)構(gòu)成上述第一動態(tài)圖像數(shù)據(jù)的多個幀的、描繪了運動體的移動區(qū)域內(nèi)的圖像及該移動區(qū)域的移動量，計算構(gòu)成上述第二動態(tài)圖像數(shù)據(jù)的插值幀的、描繪了運動體的新移動區(qū)域內(nèi)的圖像及該新移動區(qū)域的移動量。幀圖像再現(xiàn)部通過根據(jù)由插值數(shù)據(jù)計算部計算出的插值幀的新移動區(qū)域的移動量，對該新移動區(qū)域內(nèi)的圖像和背景圖像進行合成，對插值幀整個區(qū)域內(nèi)的圖像進行再現(xiàn)。本申請包含將上述動態(tài)圖像再現(xiàn)裝置的思想體現(xiàn)為動態(tài)圖像再現(xiàn)程序和動態(tài)圖像再現(xiàn)方法的情況。發(fā)明效果根據(jù)本申請公開的動態(tài)圖像再現(xiàn)裝置、動態(tài)圖像再現(xiàn)程序以及動態(tài)圖像再現(xiàn)方法，能夠以比較小的運算能力來降低所取得的動態(tài)圖像數(shù)據(jù)的幀頻。


圖1是示出構(gòu)建本申請的一個實施方式的筆記本PC的一例的外觀立體圖。圖2是示出在圖1中示出外觀的筆記本PC的硬件結(jié)構(gòu)概要的框圖。圖3是動態(tài)圖像再現(xiàn)用程序(再現(xiàn)應(yīng)用程序)的流程圖(一部分)。圖4是動態(tài)圖像再現(xiàn)用程序(再現(xiàn)應(yīng)用程序)的流程圖(剩余部分)。圖5是示出了在圖3、圖4的再現(xiàn)應(yīng)用程序起動時顯示在顯示畫面上的菜單畫面的一例的圖。圖6是示出在圖5所示的菜單畫面上選擇了 “視頻A”時的顯示畫面例的圖。圖7是作為MPEG2格式下的預(yù)測法的代表例的雙向預(yù)測㈧和前向預(yù)測⑶的說明圖。圖8是示出MPEG2解碼處理的概要的圖。圖9是示出本申請的一個實施方式中的解碼處理的概要的圖。圖10是示出移動區(qū)域和移動量的圖。圖11是示出了通常的MPEG解碼運算處理(A)和插值運算處理后的MPEG解碼運算處理(B)的圖。
具體實施例方式以下說明本申請的實施方式。圖1是示出構(gòu)建本申請的一個實施方式的筆記本PC的一例的外觀立體圖。該圖1所示的筆記本PC 10具有主體單元20和顯示單元30。主體單元20在內(nèi)部具有CPU和硬盤驅(qū)動器(以下簡單記作“HDD”)等，并且在上表面具有鍵盤21和作為點擊設(shè)備的一種的觸摸板22等。此外，顯示單元30經(jīng)由鉸鏈40與主體單元10聯(lián)結(jié)并相對于主體單元20構(gòu)成為開閉自如，在處于打開狀態(tài)時的前表面具有顯示畫面31。圖2是示出在圖1中示出外觀的筆記本PC的硬件結(jié)構(gòu)概要的框圖。
此處，示出了 CPU 51、主存儲器52、非易失性存儲器53、在圖1中也示出的鍵盤21 以及包含圖形模塊541和圖1的顯示畫面31而構(gòu)成的顯示部M。并且此處，還示出了通信接口 55、HDD 56、在圖1中也示出的觸摸板22以及包含音頻接口 571和揚聲器572而構(gòu)成的聲音輸出部57。這些各要素21、27、51 57經(jīng)由總線50相互連接。通信接口 55與互聯(lián)網(wǎng)連接而進行經(jīng)由互聯(lián)網(wǎng)的通信。此處，尤其接收依據(jù)MPEG2 的動態(tài)圖像內(nèi)容。HDD 56是大容量存儲裝置，此處，存儲有包含作為本申請的一個實施方式的動態(tài)圖像再現(xiàn)程序的各種程序、和經(jīng)由互聯(lián)網(wǎng)輸入的動態(tài)圖像內(nèi)容等。觸摸板22是點擊設(shè)備的一種，其移動構(gòu)成顯示部討的顯示畫面31 (參照圖1)上的光標(biāo)并點擊顯示畫面31 上的任意圖標(biāo)等。聲音輸出部57接收聲音數(shù)據(jù)，由音頻接口 571轉(zhuǎn)換為模擬的聲音信號并由揚聲器572輸出聲音。此外，CPU 51是執(zhí)行程序的中央運算處理裝置。在本實施方式中使用的筆記本PC 中，采用了工作速度比較慢的工作速度為1. 6GHZ的CPU。主存儲器52是為了 CPU 51中的執(zhí)行而展開從HDD 56讀出的程序的存儲器。并且，該主存儲器52還被用作由CPU 51執(zhí)行程序時的數(shù)據(jù)的臨時存儲場所。在非易失性存儲器53中，存儲有對該筆記本PClO通電時最初執(zhí)行的程序即BIOS (Basic Input Output System :基本輸入輸出系統(tǒng))。此外，鍵盤21 是操作者進行各種信息和指示輸入用的工具。顯示部M接收顯示用數(shù)據(jù)并在顯示畫面31 (參照圖1)上顯示與該數(shù)據(jù)對應(yīng)的圖像。此處，特別地，接收動態(tài)圖像數(shù)據(jù)，由圖形模塊541轉(zhuǎn)換為顯示用的動態(tài)圖像數(shù)據(jù)，并在顯示畫面31上顯示動態(tài)圖像。此處，該顯示部M具有對顯示速度比較慢的、最大50fps的動態(tài)圖像進行顯示的能力。此外，構(gòu)成該顯示部M的顯示畫面31 (參照圖1)是IOMX 574 像素的顯示畫面。此處，由通信接口 55接收經(jīng)由互聯(lián)網(wǎng)傳送來的MPEG2格式的動態(tài)圖像內(nèi)容。在由通信接口 55接收到動態(tài)圖像內(nèi)容時，該動態(tài)圖像內(nèi)容被臨時保管到HDD 56中。之后，在該動態(tài)圖像內(nèi)容為被指定為以60fps的幀頻進行顯示的動態(tài)圖像內(nèi)容時，利用在CPU 51中執(zhí)行的動態(tài)圖像再現(xiàn)程序降低該動態(tài)圖像內(nèi)容的幀頻，并將該降低了幀頻的動態(tài)圖像數(shù)據(jù)發(fā)送到顯示部54。于是，在圖形模塊541中根據(jù)該發(fā)送來的動態(tài)圖像內(nèi)容描繪動態(tài)圖像，并將該動態(tài)圖像顯示在顯示畫面31 (參照圖1)上。此外，將該動態(tài)圖像內(nèi)容中的聲音數(shù)據(jù)發(fā)送到聲音輸出部57，由聲音輸出部57輸出與動態(tài)圖像在顯示畫面31上的顯示同步的聲音。圖3和圖4是動態(tài)圖像再現(xiàn)用的程序(此處稱作“再現(xiàn)應(yīng)用程序”)的流程圖。此外，圖5是示出了在圖3、圖4的再現(xiàn)應(yīng)用程序起動時顯示在顯示畫面31(參照圖1)上的菜單畫面的一例的圖，圖6是示出在圖5所示的菜單畫面上選擇了“視頻A”時的顯示畫面例的圖。在起動圖3、圖4所示的再現(xiàn)應(yīng)用程序時，顯示表示從互聯(lián)網(wǎng)上下載并存儲在HDD 56中的動態(tài)圖像內(nèi)容一覽的、例如圖5所示的菜單畫面。在該菜單畫面上例如選擇“視頻 A”時，顯示圖6所示的畫面。在該圖6所示的畫面上選擇“再現(xiàn)”時，開始視頻A的再現(xiàn)。 另一方面，在該圖6所示的畫面上選擇“轉(zhuǎn)入主菜單”時，返回圖5所示的菜單畫面。沿著圖3、圖4所示的再現(xiàn)應(yīng)用程序的流程圖進行說明。在起動再現(xiàn)應(yīng)用程序后，首先由用戶判定是否選擇了 60fps的動態(tài)圖像再現(xiàn)(步驟S01)。待再現(xiàn)的動態(tài)圖像的選擇如參照圖4、圖5所說明那樣。在選擇60fps的動態(tài)圖像再現(xiàn)時，接著從存儲在非易失性存儲器53(參照圖2)中的BIOS信息等設(shè)備信息中檢測承擔(dān)該動態(tài)圖像再現(xiàn)的筆記本PC(此處，為圖1、圖2所示的筆記本PC10)的顯示部的響應(yīng)速度(步驟。在此次要再現(xiàn)的動態(tài)圖像為60fps且顯示部的響應(yīng)速度小于60fps時，直接顯示的話不能避免丟幀，因此進入到圖4所示的流程圖，變更幀頻(步驟S(XB)。但是，此處先針對如下情況進行說明此次作為要再現(xiàn)的圖像而被選擇的動態(tài)圖像是以不足60fps 的幀頻進行顯示的動態(tài)圖像或者顯示部的響應(yīng)速度為60fps以上而不需要幀頻的變更。在步驟SOl中，選擇了不足60fps的幀頻的動態(tài)圖像或者即使在選擇了 60fps的動態(tài)圖像的情況下也判定為顯示部的響應(yīng)速度在60fps以上時，進行到步驟S04。在步驟 S04中，判定動態(tài)圖像再現(xiàn)處理是否中斷或結(jié)束。在再現(xiàn)此次的動態(tài)圖像直至最后的情況下、或由用戶指示了中斷的情況下等，產(chǎn)生處理的中斷/結(jié)束。在產(chǎn)生了處理的中斷/結(jié)束時，該再現(xiàn)應(yīng)用程序結(jié)束。在沒有產(chǎn)生處理的中斷/結(jié)束時，以GOP為單位從HDD 56讀出動態(tài)圖像內(nèi)容并輸入到主存儲器52 (步驟，執(zhí)行MPEG2解碼處理(步驟S06 S08)。此處，針對MPEG2的幀格式說明概要。依據(jù)MPEG2格式的動態(tài)圖像內(nèi)容具有 I 幀(Intra-coded Frame 內(nèi)部編碼幀)、P 幀(Predicted Frame 預(yù)測幀)、B 幀 (Bi-directional PredictedFrame 雙向預(yù)測中貞),由 I1-B2-B3-P4-B5-B6-P7-B8-B9-P10-B11-B12-P13-B14-B15 這 15 個幀構(gòu)成了一個 G0P(Group of Picture 圖像組)。I 幀、P 幀和B幀的每幀的平均數(shù)據(jù)量大致為IPB=421左右。I幀是不使用幀間預(yù)測進行編碼的幀，P幀是僅使用前向預(yù)測進行編碼的幀，B幀是選擇前向預(yù)測、后向預(yù)測和雙向預(yù)測中的任意一個進行編碼的幀。在該MPEG2中，采用了被稱作幀間預(yù)測的技術(shù)。所謂幀間預(yù)測，是在動態(tài)圖像中利用前一幀和當(dāng)前幀非常類似的情況而根據(jù)前一幀預(yù)測當(dāng)前幀的技術(shù)。在幀間預(yù)測中，只要對輸入圖像和預(yù)測圖像的差分進行編碼即足夠，因此能夠得到較高的壓縮率。在MPEG2中，為了進一步提高壓縮效率，并用被稱作運動補償(MC5Motion Compensation)的技術(shù)。所謂運動補償，是指在幀間預(yù)測中對前一幀和當(dāng)前幀之間的幀內(nèi)的物體運動進行補償?shù)募夹g(shù)。即，在預(yù)測當(dāng)前幀的情況下，使用偏離了幀內(nèi)物體運動的量的位置的圖像。為了進行該運動補償，對估計圖像的運動量的運動矢量、和僅用該運動矢量不能充分表現(xiàn)的包含差分數(shù)據(jù)的幀數(shù)據(jù)進行編碼。圖7是作為MPEG2中的預(yù)測法的代表例的雙向預(yù)測㈧和前向預(yù)測⑶的說明圖。在圖7㈧的雙向預(yù)測的情況下，根據(jù)前方的I幀或P幀預(yù)測P巾貞，關(guān)于B巾貞，根據(jù)前方的I幀或P幀和后方的P幀雙方進行預(yù)測。在圖7(B)的前向預(yù)測的情況下，關(guān)于B幀，也始終根據(jù)前方的幀進行預(yù)測。關(guān)于MPEG2的幀格式等是廣泛公知的技術(shù)，此處只作以上的說明。圖8是示出MPEG2解碼處理的概要的圖。MPEG2解碼處理也是廣泛公知的技術(shù)，因此，此處參照該圖8和圖3的流程圖，僅對與后述的包含降低幀頻的處理的解碼處理(參照圖9)的對比所需的方面進行說明。此處，以雙向預(yù)測為前提進行說明。其中，在圖8中，為了避免圖示的煩雜，示出了基于前向預(yù)測的箭頭。對于Il幀，僅由該Il幀進行解碼從而再現(xiàn)Fl幀。該Fl幀是由背景和該Il幀內(nèi)的移動區(qū)域W構(gòu)成的幀。此外，對于P4幀，由該P4幀和Il幀進行解碼從而再現(xiàn)F4幀。該F4幀是由背景和該P4幀內(nèi)的移動區(qū)域構(gòu)成的幀。接Il幀之后的Bl幀和接該Bl幀之后的B2幀是分別僅對移動區(qū)域m、N2進行了編碼的幀，根據(jù)Bl幀、B2幀的數(shù)據(jù)計算移動區(qū)域N2、N3內(nèi)的圖像數(shù)據(jù)和各移動區(qū)域N2、N3 的移動量(步驟S06)，并且與由Il幀和P4幀再現(xiàn)的背景幀進行合成，對F2幀和F3幀進行再現(xiàn)(步驟S07)。還同樣再現(xiàn)接著F4幀的F5幀、F6幀、...。在完成由15個幀構(gòu)成的一個GOP的再現(xiàn)后(步驟S08)，以G0P(15幀)為單位發(fā)送到顯示部(步驟S09)。顯示部顯示基于發(fā)送到顯示畫面31 (參照圖1)上的動態(tài)圖像數(shù)據(jù)的動態(tài)圖像。圖9是示出本申請的一個實施方式中的解碼處理的概要的圖。在圖3的步驟SOl中選擇待以60fps再現(xiàn)的動態(tài)圖像，并且在步驟S03中判定為顯示部的顯示速度小于60fps時，轉(zhuǎn)入圖4的步驟S11。此處，為了降低動態(tài)圖像內(nèi)容的幀頻，從HDD 56將構(gòu)成該再現(xiàn)應(yīng)用程序的一個程序部件即插值幀構(gòu)建引擎讀入到主存儲器 52上。接著步驟Sll的步驟S12 S14是分別與圖3的步驟S03 S06相同的處理，因而省略重復(fù)說明。在步驟S15中，通過在步驟Sll中讀入的插值幀構(gòu)建引擎，對移動區(qū)域的移動量進行平均來計算作為平均的移動量Vm，在步驟S16中，根據(jù)移動區(qū)域N生成新移動區(qū)域M。具體而言，計算從Il幀內(nèi)的移動區(qū)域W到B2幀的移動區(qū)域N2的移動量Vn2的1/2移動量 Vml、和從B2幀的移動區(qū)域N2到B3幀的移動區(qū)域N3的移動量Vn3的1/2移動量Vm2，并且生成處于Il幀的移動區(qū)域W與B2幀的移動區(qū)域N2的中間位置(移動量Vml的位置)處的新移動區(qū)域Ml的圖像數(shù)據(jù)、和處于B2幀的移動區(qū)域N2與B3幀的移動區(qū)域N3的中間位置 (移動量Vm2的位置)處的新移動區(qū)域M2的圖像數(shù)據(jù)。圖10是示出移動區(qū)域和移動量的圖。該圖10中假想示出了在背景幀F(xiàn)上配置了 Il幀的移動區(qū)域附和B2幀的移動區(qū)域N2后的狀態(tài)。對于新移動區(qū)域M1，生成具有從移動區(qū)域m到移動區(qū)域N2的移動量Vn2 的一半移動量Vml = Vn2/2的新移動區(qū)域Ml。例如在移動區(qū)域m的坐標(biāo)為(00，00)，移動區(qū)域N2的坐標(biāo)為(10，10)時，從移動區(qū)域m到移動區(qū)域N2的移動量Vn2為Vn2 = (10，10)， 新移動區(qū)域Ml的移動量Vml為Vml = (05,05).此外，在兩個移動區(qū)域N1、N2為尺寸相互不同的移動區(qū)域時，該新移動區(qū)域Ml具有這兩個移動區(qū)域Ni、N2的中間尺寸。例如，在移動區(qū)域m的面積為10且移動區(qū)域N2的面積為30時，新移動區(qū)域Ml的面積例如為20。并且此處，移動區(qū)域Ni、N2以及新移動區(qū)域Ml均用長方形的框示出，但是也可以不必要是長方形，而為變形后的形狀的區(qū)域。返回圖9繼續(xù)說明。如圖9所示，在生成新移動區(qū)域M1、M2時，通過MPEG解碼運算處理，各新移動區(qū)域 Ml、M2與根據(jù)Il幀和P4幀再現(xiàn)的背景圖像進行合成，對各插值幀F(xiàn)l、F2整個區(qū)域的圖像進行再現(xiàn)。還同樣生成、再現(xiàn)之后接著的新移動區(qū)域M4、M5...和插值幀F(xiàn)4、F5...。如上所述那樣結(jié)束15幀的處理(圖4的步驟S18)并生成10幀的插值幀后(圖 4的步驟S19)，將插值幀發(fā)送到以GOP (10幀)為單位的顯示部M (參照圖幻。在顯示部討中，根據(jù)由發(fā)送來的插值幀的連續(xù)構(gòu)成的動態(tài)圖像數(shù)據(jù)，用圖形模塊541進行描繪而將動態(tài)圖像顯示在顯示畫面31上。
在本實施方式中，如上所述，使用移動區(qū)域那樣的、對于整個幀區(qū)域的圖像而言的較窄的一部分圖像區(qū)域來計算新移動區(qū)域并與背景圖像進行合成，因此與生成整個幀區(qū)域的圖像再生成插值幀的情況相比能夠大幅度削減運算量。接著，示出能夠利用本實施方式的方法以60fps的幀頻進行動態(tài)圖像顯示的估
笪弁。圖11是示出了通常的MPEG解碼運算處理(A)和插值運算處理后的MPEG解碼運算處理(B)的圖。針對幀合成已完成說明，因此，此處不進行合成的說明而僅針對移動區(qū)域的平均化進行說明。如前所述，此處的前提為CPU的工作速度為1.6GHz，顯示畫面31的顯示能力為 1024X574的畫面尺寸、M位色、最大幀頻50fps。如前所述，MPEG數(shù)據(jù)以II —B2 —B3 —P4 —B5 —B6 —· · · —B14 —B15 —116 —· · ·
連續(xù)。通過插值運算新生成的新移動區(qū)域Mi是對Ii幀內(nèi)的移動區(qū)域m和由B2幀表示的移動區(qū)域N2進行平均而得到的區(qū)域。即，根據(jù)從移動區(qū)域m移動到移動區(qū)域N2時的移動量Vn2對移動區(qū)域W的位置和移動區(qū)域N2的位置進行平均，設(shè)為對該位置進行平均后的移動量Vml = Vn2/2，在該坐標(biāo)處配置新移動區(qū)域Ml。此處，作為背景的圖像數(shù)據(jù)由以往那樣的MPEG解碼生成，直接對其復(fù)制即可，不需要用于該背景的圖像數(shù)據(jù)生成的新處理。在以往的MPEG解碼處理中，為了對1張幀圖像進行解碼，能夠用5. 6msc的時間進行處理。這根據(jù)所輸入的圖像數(shù)據(jù)的格式而不同，但是該值為根據(jù)實機驗證的現(xiàn)有處理中的平均處理時間。在本實施方式中，除了以往的MPEG解碼處理以外，新追加了用于生成新移動區(qū)域Ml、 M2、...的處理。在該新移動區(qū)域M1、M2、...的生成時，根據(jù)移動區(qū)域Ni、N2、...和移動量Vn2、Vn3、...生成新移動區(qū)域Ml、M2、...，因此生成一個新移動區(qū)域不需要5. 6msec。生成該新移動區(qū)域所需的時間大致如下所述。B幀的信息量為I幀的信息量的1/4、P幀的信息量為I幀的信息量的1/2，因此(I 幀數(shù) +B 幀數(shù) /4+P 幀數(shù) / X 5. 6msec= (1+10/4+4/2) X4X5. 6 = 123. 2msec該123. 2msec是圖9的“插值運算處理”所需的時間，“移動區(qū)域計算處理”和“MPEG 解碼運算處理”所需的時間包含在每1幀5. 6msec中。因此，再現(xiàn)60幀的圖像所需的運算時間為5. 6X60+123. 2 = 459. 2msec,該時間大大小于1秒，且即使追加上述插值運算處理也能夠正常顯示動態(tài)圖像。此外，在本實施方式的情況下，成為40fps的顯示，因此實際上成為40fpS/60fpS 的處理時間，處理時間與上述估計相比成為更短的時間。此外，還存在所輸入的動態(tài)圖像數(shù)據(jù)自身為30fps、且每幀顯示兩次來實現(xiàn)60fps 的顯示的動態(tài)圖像內(nèi)容。此時，處理時間與上述估計相比也成為更短的時間。由此，根據(jù)本實施方式，能夠足夠高速地、即以較少的運算量降低動態(tài)圖像數(shù)據(jù)的幀頻來進行動態(tài)圖像顯示。此外，此處針對通過根據(jù)3幀生成2幀來將幀頻降低為2/3的例子進行了說明，但是本申請不僅能夠應(yīng)用于將幀頻降低為2/3的情況，還能夠廣泛應(yīng)用于降低幀頻的情況。此外，此處，以MPEG2格式的動態(tài)圖像數(shù)據(jù)為例進行了說明，但是也可以是MPEG2格式以外的MPEG格式。并且，還可以是MPEG格式以外，通過伴隨運動補償?shù)膸g預(yù)測進行解碼后的動態(tài)圖像數(shù)據(jù)。另外，只要是包含以下兩種幀的多個幀循環(huán)重復(fù)的動態(tài)圖像數(shù)據(jù)， 則能夠應(yīng)用本申請，即，具有背景圖像和運動體的圖像這兩者信息的幀、和具有除了背景圖像以外的運動體的圖像信息的幀。標(biāo)號說明10 筆記本PC ；20 主體單元；21 鍵盤；22 觸摸板；30 顯示單元；31 顯示畫面； 40 鉸鏈；50 總線；51 =CPU ；52 主存儲器；53 非易失性存儲器；54 顯示部；55 通信接口 ；56 硬盤驅(qū)動器；57 聲音輸出部；541 圖形模塊；571 音頻接口 ；572 揚聲器。
權(quán)利要求
1.一種動態(tài)圖像再現(xiàn)裝置，其特征在于，該動態(tài)圖像再現(xiàn)裝置具有動態(tài)圖像取得部，其取得多個幀以第一幀頻循環(huán)反復(fù)而得到的第一動態(tài)圖像數(shù)據(jù)，該多個幀包含以下兩方的幀具有背景圖像和運動體圖像這兩者信息的幀、和具有除了背景圖像以外的運動體圖像的信息的幀；動態(tài)圖像再現(xiàn)部，其根據(jù)由所述動態(tài)圖像取得部所取得的第一動態(tài)圖像數(shù)據(jù)，對比所述第一幀頻低的第二幀頻的第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)；以及動態(tài)圖像顯示部，其根據(jù)由所述動態(tài)圖像再現(xiàn)部進行了再現(xiàn)的第二動態(tài)圖像數(shù)據(jù)，顯示動態(tài)圖像，所述動態(tài)圖像再現(xiàn)部具有插值數(shù)據(jù)計算部，其根據(jù)構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的多個幀的、描繪了運動體的移動區(qū)域內(nèi)的圖像和該移動區(qū)域的移動量，計算構(gòu)成所述第二動態(tài)圖像數(shù)據(jù)的插值幀的、描繪了運動體的新移動區(qū)域內(nèi)的圖像和該新移動區(qū)域的移動量；以及幀圖像再現(xiàn)部，其根據(jù)由所述插值數(shù)據(jù)計算部計算出的插值幀的新移動區(qū)域的移動量對該新移動區(qū)域內(nèi)的圖像和背景圖像進行合成，由此對該插值幀的整個區(qū)域內(nèi)的圖像進行再現(xiàn)。
2.根據(jù)權(quán)利要求1所述的動態(tài)圖像再現(xiàn)裝置，其特征在于，所述動態(tài)圖像取得部取得通過伴隨運動補償?shù)膸g預(yù)測而編碼的第一幀頻的第一動態(tài)圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的動態(tài)圖像再現(xiàn)裝置，其特征在于，所述動態(tài)圖像取得部取得具有MPEG格式的第一幀頻的第一動態(tài)圖像數(shù)據(jù)， 所述動態(tài)圖像再現(xiàn)部對所述第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)，所述第二動態(tài)圖像數(shù)據(jù)通過交替配置位于構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的I幀或P幀與該接該I幀或P幀之后的第一 B 幀中間的第一插值幀的圖像、和位于該第一 B幀和接該第一 B幀之后的第二 B幀中間的第二插值幀的圖像而得到。
4.根據(jù)權(quán)利要求3所述的動態(tài)圖像再現(xiàn)裝置，其特征在于，所述插值數(shù)據(jù)計算部進行位于構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的I幀或P幀與接該I幀或 P幀之后的第一 B幀中間的、第一插值幀的新移動區(qū)域內(nèi)的圖像和該新移動區(qū)域的移動量的計算，并且進行位于該第一 B幀和接該第一 B幀之后的第二 B幀中間的、第二插值幀的新移動區(qū)域內(nèi)的圖像以及該新移動區(qū)域的移動量的計算，所述幀圖像再現(xiàn)部進行所述第一插值幀和所述第二插值幀這兩者的圖像再現(xiàn)。
5.一種動態(tài)圖像再現(xiàn)程序，其在運算裝置內(nèi)執(zhí)行，該運算裝置具有取得動態(tài)圖像數(shù)據(jù)的動態(tài)圖像取得部、顯示動態(tài)圖像的動態(tài)圖像顯示部、和執(zhí)行程序的程序執(zhí)行部，在該運算裝置內(nèi)構(gòu)建動態(tài)圖像再現(xiàn)部，該動態(tài)圖像再現(xiàn)部根據(jù)所述動態(tài)圖像取得部取得通過包含具有背景圖像和運動體圖像這兩者信息的幀、和具有除了背景圖像以外的運動體圖像的信息的幀這兩者的幀的多個幀以第一幀頻循環(huán)重復(fù)而得到的第一動態(tài)圖像數(shù)據(jù)時的該第一動態(tài)圖像數(shù)據(jù)，對比該第一幀頻低的第二幀頻的第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)，并使所述動態(tài)圖像再現(xiàn)部顯示基于該第二動態(tài)圖像數(shù)據(jù)的動態(tài)圖像，該動態(tài)圖像再現(xiàn)程序的特征在于，在所述運算裝置內(nèi)構(gòu)建動態(tài)圖像再現(xiàn)部，該動態(tài)圖像再現(xiàn)部具有 插值數(shù)據(jù)計算部，其根據(jù)構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的多個幀的、描繪了運動體的移動區(qū)域內(nèi)的圖像和該移動區(qū)域的移動量，計算構(gòu)成所述第二動態(tài)圖像數(shù)據(jù)的插值幀的、描繪了運動體的新移動區(qū)域和該新移動區(qū)域的移動量；以及幀圖像再現(xiàn)部，其通過根據(jù)由所述插值數(shù)據(jù)計算部計算出的插值幀的新移動區(qū)域的移動量，對該新移動區(qū)域內(nèi)的圖像和背景圖像進行合成，對該插值幀整個區(qū)域內(nèi)的圖像進行再現(xiàn)。
6.根據(jù)權(quán)利要求5所述的動態(tài)圖像再現(xiàn)程序，其特征在于，所述動態(tài)圖像再現(xiàn)部根據(jù)所述動態(tài)圖像取得部取得通過伴隨運動補償?shù)膸g預(yù)測而編碼的第一幀頻的第一動態(tài)圖像數(shù)據(jù)時的該第一動態(tài)圖像數(shù)據(jù)，對比該第一幀頻低的第二幀頻的第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)。
7.根據(jù)權(quán)利要求6所述的動態(tài)圖像再現(xiàn)程序，其特征在于，所述動態(tài)圖像再現(xiàn)部對所述第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)，所述第二動態(tài)圖像數(shù)據(jù)通過交替配置位于構(gòu)成所述動態(tài)圖像取得部取得具有MPEG格式的第一幀頻的動態(tài)圖像數(shù)據(jù)時的該第一動態(tài)圖像數(shù)據(jù)的I幀或P幀與該接該I幀或P幀之后的第一 B幀中間的第一插值幀的圖像、和位于該第一 B幀和接該第一 B幀之后的第二 B幀中間的第二插值幀的圖像而得到。
8.根據(jù)權(quán)利要求7所述的動態(tài)圖像再現(xiàn)程序，其特征在于，所述插值數(shù)據(jù)計算部進行位于構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的I幀或P幀與該接該I幀或P幀之后的第一B幀中間的第一插值幀的新移動區(qū)域內(nèi)的圖像和該新移動區(qū)域的移動量的計算、和位于該第一 B幀和接該第一 B幀之后的第二 B幀中間的第二插值幀的新移動區(qū)域內(nèi)的圖像以及該移動區(qū)域的移動量的計算，所述幀圖像再現(xiàn)部進行所述第一插值幀和所述第二插值幀這雙方的圖像再現(xiàn)。
9.一種動態(tài)圖像再現(xiàn)方法，其特征在于，該動態(tài)圖像再現(xiàn)方法具有動態(tài)圖像取得步驟，取得多個幀以第一幀頻循環(huán)反復(fù)而得到的第一動態(tài)圖像數(shù)據(jù)，該多個幀包含以下兩方的幀具有背景圖像和運動體圖像這兩者信息的幀、和具有除了背景圖像以外的運動體圖像的信息的幀；動態(tài)圖像再現(xiàn)步驟，根據(jù)在所述動態(tài)圖像取得步驟中所取得的第一動態(tài)圖像數(shù)據(jù)，對比所述第一幀頻低的第二幀頻的第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)；動態(tài)圖像顯示步驟，根據(jù)在所述動態(tài)圖像再現(xiàn)步驟中所再現(xiàn)的第二動態(tài)圖像數(shù)據(jù)，顯示動態(tài)圖像，所述動態(tài)圖像再現(xiàn)步驟具有插值數(shù)據(jù)計算步驟，根據(jù)構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的多個幀的、描繪了運動體的移動區(qū)域內(nèi)的圖像和該移動區(qū)域的移動量，計算構(gòu)成所述第二動態(tài)圖像數(shù)據(jù)的插值幀的、描繪了運動體的新移動區(qū)域內(nèi)的圖像和該新移動區(qū)域的移動量；以及幀圖像再現(xiàn)步驟，通過根據(jù)在所述插值數(shù)據(jù)計算步驟中計算出的插值幀的新移動區(qū)域的移動量對該新移動區(qū)域內(nèi)的圖像和背景圖像進行合成，由此對該插值幀整個區(qū)域內(nèi)的圖像進行再現(xiàn)。
10.根據(jù)權(quán)利要求9所述的動態(tài)圖像再現(xiàn)方法，其特征在于，所述動態(tài)圖像取得步驟是取得通過伴隨運動補償?shù)膸g預(yù)測而編碼的具有第一幀頻的第一動態(tài)圖像數(shù)據(jù)的步驟，所述動態(tài)圖像再現(xiàn)步驟是如下步驟根據(jù)在所述動態(tài)圖像取得步驟中所取得的第一動態(tài)圖像數(shù)據(jù)，對具有比所述第一幀頻低的第二幀頻的第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)。
11.根據(jù)權(quán)利要求10所述的動態(tài)圖像再現(xiàn)方法，其特征在于，所述動態(tài)圖像取得步驟是取得具有MPEG格式的第一幀頻的第一動態(tài)圖像數(shù)據(jù)的步驟，所述動態(tài)圖像再現(xiàn)步驟是對所述第二動態(tài)圖像數(shù)據(jù)進行再現(xiàn)的步驟，所述第二動態(tài)圖像數(shù)據(jù)通過交替配置位于構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的I幀或P幀與接該I幀或P幀之后的第一 B幀中間的第一插值幀的圖像、和位于該第一 B幀和接該第一 B幀之后的第二 B幀中間的第二插值幀的圖像而成。
12.根據(jù)權(quán)利要求11所述的動態(tài)圖像再現(xiàn)方法，其特征在于，所述插值數(shù)據(jù)計算是如下步驟進行位于構(gòu)成所述第一動態(tài)圖像數(shù)據(jù)的I幀或P幀與接該I幀或P幀之后的第一B幀中間的第一插值幀的新移動區(qū)域內(nèi)的圖像和該新移動區(qū)域的移動量的計算、和位于該第一 B幀和接該第一 B幀之后的第二 B幀中間的第二插值幀的新移動區(qū)域內(nèi)的圖像以及該新移動區(qū)域的移動量的計算，所述幀圖像再現(xiàn)步驟是進行所述第一插值幀和所述第二插值幀這雙方的圖像再現(xiàn)的步驟。
全文摘要
本申請涉及動態(tài)圖像再現(xiàn)裝置等，為了以比較小的運算能力降低動態(tài)圖像數(shù)據(jù)的幀頻，在取得第一幀頻的第一動態(tài)圖像數(shù)據(jù)并生成比所述第一幀頻低的第二幀頻的第二動態(tài)圖像數(shù)據(jù)時，根據(jù)構(gòu)成第一動態(tài)圖像數(shù)據(jù)的多個幀內(nèi)的、描繪了運動體的移動區(qū)域及該移動區(qū)域的移動量，計算構(gòu)成第二動態(tài)圖像數(shù)據(jù)的插值幀的、描繪了運動體的新移動區(qū)域和該新移動區(qū)域的移動量，將該新移動區(qū)域的圖像與背景圖像進行合成而對插值幀整個區(qū)域的圖像進行再現(xiàn)。
文檔編號H04N7/26GK102577364SQ200980161468
公開日2012年7月11日 申請日期2009年9月16日 優(yōu)先權(quán)日2009年9月16日
發(fā)明者大柜敏郎 申請人:富士通株式會社