專利名稱：用標記語言描述的多媒體內容結構的生成的制作方法
技術領域：
本發(fā)明涉及一種包含生成用標記語言描述的包括各場景的多媒體內容結構的裝置的設備。
本發(fā)明還涉及一種用標記語言生成包含各場景的多媒體內容結構描述的方法。
本發(fā)明還涉及當由處理器執(zhí)行時，含有用于生成用標記語言描述的包含各場景的多媒體內容的指令的程序。
本發(fā)明使按照MPEG-7具體生成例如視頻的多媒體內容描述成為可能。這種描述使多媒體內容容易使用。這種描述使可能例如進行搜索。
背景技術：
由M.Bonnet、A.Bugatti、R.Leonardi和P.Migliorati在出版物“Int.Workshop onVery Low Bitrate Video，VLBV′99，Kyoto，Japan，October29-30，1999”發(fā)表的名稱為“用于多媒體文件的多層導航的視頻內容分析”的文章描述了一種可能產生視頻文件結構的自動提取工具。這種結構是各個內容類型表的時間結構。這種結構例如是按照MPEG-7標準文件描述的。
MPEG-7是多媒體內容摸式標準。這種標準具體按描述計劃和描述符進行描述。按照MPEG-7標準的描述是這些描述計劃的例子。它們是以由W3C協(xié)會定義的稱為XML的標記語言寫的。
因為是自動得到由這種類型提取工具提供的結構，所以必然有缺陷。本發(fā)明的目的特別是提出一種能改善獲得的結構的使用戶好用的工具。

發(fā)明內容
根據本發(fā)明，一種按引導段描述的設備，其特征在于它具有-用于顯示所述結構的至少一部分的視頻圖象的裝置，所述可視圖象包括表示各場景的圖象，-處理所述可視圖象的圖形裝置，以便修改所述結構，
-更新所述圖形的裝置，以便考慮所述修改。
因此，本發(fā)明提供一種能使操作員修改由自動提取工具提供的初始結構的用戶好用的工具?？梢晥D象能使操作員理解結構的內容。這使容易對當前結構作出修改。
例如本發(fā)明涉及內容類型表的時間結構，其中各場景是按時間、或指數類型的分層結構排序的，其中各場景被通過自身、子自身、關鍵詞等進行分組，并且其中場景和相同場景可以同時出現在若干標題上。
圖形處理裝置最好包括所述可視圖象的各場景的選擇、剪切、粘貼和復制的裝置。它們還具有用于定位和用于消除所述可視圖象的各場景之間的界限的裝置。
最好是，按照本發(fā)明的裝置具有顯示所述結構的至少一部分樹狀圖象的裝置和更新所述樹狀圖象的裝置，以便考慮所述修改。
這種樹狀圖象能使操作員具有該結構的全貌。最好是，操作員可以同時看到視頻圖象和對應的樹狀圖象。
一般，這種樹狀圖象具有各個節(jié)點、分支和葉。最好是，按照本發(fā)明的裝置具有開拓或減少一個或多個分支的裝置，所減少的分支由所述可視圖象中的一個單一圖象代表。
操作員可以根據其要求選擇開拓樹狀圖象的僅一個、幾個或所有分支。因此可視圖象被更新。因此，操作員可獲得不同視圖，所述結構或多或少會擴大。
最好是，按照本發(fā)明的裝置具有用于注釋所述圖形的編輯裝置。某些注釋是由操作員手工獲取的(例如，人的類型、動作、目標、什么時候、什么地方、怎樣做、為什么等注釋)，而其它的是由操作員啟動的外部規(guī)則系統(tǒng)提供的(例如，攝象機移動類型、顏色直方圖等的注釋)。


本發(fā)明將參照表示在各附圖中的實施例進一步描述，但是本發(fā)明并不限于此圖1是描述按照本發(fā)明的裝置的例子的框圖；圖2是按照本發(fā)明的例子的框圖；圖3是按照本發(fā)明的視頻圖象的例子的圖；圖4是按照本發(fā)明的樹狀圖象的例子的圖。
具體實施例方式
按照本發(fā)明的裝置能使操作員產生多媒體內容的結構圖象。一般，多媒體內容的結構具有一個或等多個分層。下文為了簡單起見，描述具有一個分的結構。但這并不是限制。
這里認為的多媒體內容含有各個場景。一個場景是一系列通過連續(xù)操作產生的連續(xù)視頻幀，并表示在時間和空間連續(xù)的動作。
圖1是按照本發(fā)明的裝置的優(yōu)選實施例的框圖。在圖1中，方塊1代表含有各個場景的多媒體內容MC。多媒體內容MC包括一個視頻例子。方塊2代表多媒體內容MC代表多媒體內容MC的結構SS。利用本身公知的自動提取工具EXT從多媒體內容MC中生成初始結構并由方塊3代表。按照本發(fā)明的裝置生成-由方塊4表示的結構SS的樹狀圖象TR，-由方塊5表示的結構SS的可視圖象VR-由方塊6表示的結構SS的DES圖形。
按照本發(fā)明的裝置使用于在樹狀圖象TR上和在DES圖形上激活可視圖象VR的裝置由方塊8代表的操作員OP可用。在圖1中，在可視圖象VR上的操作員OP的激活是由箭頭AV代表。這種激活包括處理可視圖象VR，以便修改結構SS。接著這種修改，更新樹狀圖象TR和圖形DES。這些更新由箭頭UT和UD代表。在樹狀圖象上的操作員的激活由箭頭AT代表。這種激活包括樹狀圖象的修改，以便獲得結構SS的其它視圖。這使得出現可視圖象VR的更新。這種更新在圖1中由箭頭UV代表。最后，在描述DES上的操作員OP的激活由箭頭AD代表。這種激活包括描述DES的注釋。
圖2表示按照標號10的本發(fā)明的例子。根據圖2，裝置10具有讀出數據存儲器13的至少裝置12、程序存器14和處理器15。數據存儲器包括一個部件、硬盤或盤的可移動支持、盒式磁帶機、軟磁盤裝置等類型。還可用集成到具有一個或多個功能的半導體器件中。形成裝置10的一部分或不形成其一部分。該裝置包含多媒體內容MC。程序存儲器14特別含有程序PG，該程序包含實現已經結合圖1描述過的各個功能的指令。當由處理器15執(zhí)行時，程序PG生成對存儲在數據存儲器中多媒體內容MC的結構SS的以標記語言的描述DES。裝置10還具有由顯示屏17和點擊與選擇顯示屏的裝置18組成的用戶接口16。點擊與選擇顯示屏的裝置18包括例如鼠標或鍵盤。
在具體的優(yōu)選實施例中，顯示屏17用于顯示一個或多個窗口Fi(i＝1、2、...)和一個或多個菜單項目Mj(j＝1、2、...)。在具體的一個窗口F1至少可以專用于可視圖象的顯示，該可視圖象至少是多媒體內容MC的結構的一部分。菜單項目M1提供給用戶顯示在窗口F1中的可視圖象的圖形處理的至少某些菜單。以例子的方式，菜單項目包括用于剪切在可視圖象中事先選擇的圖象的圖符C1，和用于復制在可視圖象中事先選擇的圖象的圖符C2，和用于粘貼事先剪切或復制的可視圖象的圖符C3。
圖3表示這種可視圖象的例子。圖3的可視圖象由標號為I1到I13的13個圖象序列組成。在序列中的每個圖象代表一個場景或一組場景。
序列中的各個圖象由可以激活和去激活的劃界L彼此分割。例如，操作員可以利用點擊與選擇顯示屏的裝置18選擇劃界的激活或非激活狀態(tài)進行修改。當操作員選擇劃界時，這個劃界的屏幕表示被修改。例如，非激活劃界由具有透明背景的矩形表示，而激活的劃界由黑色矩形表示。在圖3中激活了兩個劃界，即，分開圖象I5和I6的劃界和分開圖象I12和I13的劃界。
此外，有益地使用了代表在給定例子中選擇的在序列中的一個圖象和一些圖象的特殊圖象表示。例如，在圖3中，選擇的圖象I8由框D8框起來。
有益地是，設置滾動條U/D，使得可以滾動顯示在屏幕上的可視圖象，以便顯示圖象序列的所需部分。
在一個優(yōu)選實施例中，另一個窗口F2專用于顯示多媒體內容MC的結構的至少一部分的樹狀圖象。這種樹表示具有根、節(jié)點、分支和葉。當該結構具有一層的分層時，利用單一節(jié)點每個葉都附屬到根上。有益地是，提供用于拓寬或減少樹表示的分支的裝置。為此在樹狀圖象中有開節(jié)點和閉節(jié)點。減少分支通過樹狀圖象的閉節(jié)點和通過可視圖象中的單一圖象來表示。拓寬分支附屬到樹狀圖象中的開節(jié)點上。當該結構僅具有一個分層時，拓寬分支支撐一些每個由可視圖象中的一個圖象表示的葉。當結構具有若干分層時，拓寬的各個分支還可以支撐為開節(jié)點或為閉節(jié)點的各個節(jié)點。
當操作員修改樹狀圖象結構時，可視表示是自適應進行的。
同樣，考慮到操作員對顯示在窗口F1的可視表示在結構上作出的修改，樹狀圖象也進行更新。具體地講，在可視圖象中激活劃界時，在樹狀圖象中產生一個節(jié)點，并且接著所述劃界代表各個圖象的各個葉附屬到從而產生的節(jié)點上。因此，當在可視表示中去激活一個劃界時，省略掉在樹狀圖象中的對應節(jié)點，并且以前曾附屬到被省略掉的節(jié)點上的各個葉被附屬到樹狀圖象中以前被省略的節(jié)點上。
因此，在任何時間，由樹規(guī)定的收圖與可視圖象是彼此對應的。
可以預計各種實施例。例如，在第一實施例中，操作員利用點擊與選擇裝置18進行選擇，修改節(jié)點的開或閉狀態(tài)。當操作員拓寬分支時，在這個分支上的各個節(jié)點是初始開的或者初始閉的。另外，菜單條M1具有圖符C4，用于限定整個樹狀圖象結構的展開水平。
開節(jié)點和閉節(jié)點最好不以相同方式描述，例如，開節(jié)點用圓圈而閉節(jié)點用叉子表示。
圖4給出按照本發(fā)明的對應于在圖3描述的可視圖形的樹狀圖象的例子。這個圖象具有根R，兩個開節(jié)點ON1和ON2和一個閉節(jié)點CN1。分支B1附屬到開節(jié)點ON1上。這個分支B1支撐5個葉S1、S2、S3、S4和S5，它們對應于可視圖象的圖象I1到I5。分支B2附屬到開節(jié)點ON2上。這個分支支撐7個葉S6、S7、S8、S9、S10、S11和S12，它們分別對應于可視圖象的I6到I12。最后，閉節(jié)點CN1對應于可視圖象的圖象I13。
有益地是，在樹狀圖象中具體表示用于指示選擇的圖象或各圖象。在圖4中，選擇的圖象I8是用黑矩形表示的，而未被選擇的其它圖象是由白方形表示的。
在另外優(yōu)選實施例中，另外窗口F3專用于顯示當前結構的描述。有益地是，這種描述是用XML標記語言寫的MPEG-7描述。對于樹狀圖象中的每個節(jié)點，對應于MPEG-7圖形中的一個“Video Segment”單元。MPEG-7的每個“VideoSegment”單元含有一定數量的其它單元，某些這些單元用于注釋該圖形。例如，MPEG-7定義其它各個單元，這些單元將被用于描述類型、目的、目標、位置、時間、動作的原因、使用彩色的直方圖、攝象機的移動等等。
這些信息的某些信息將由操作員直接輸入，而另外一些信息項是由專門程序產生的(這是在彩色的直方圖、或者攝象機移動的情況下)。
有益的是，設置編輯窗口F4，用于輸入信息或1啟動產生信息的程序。例如，編輯窗口F4具有用于將每種類型信息增加到圖形DES中的表。圖2表示標號為O1到O3的3個表。對應于從專用程序產生信息的表的選擇提供所述專用程序的啟動。
本發(fā)明不限于以例子方式業(yè)已描述的各個實施例。具體地講-同時顯示的窗口數量可以是任何數量，-對于圖形接口和對于圖象處理工具而言，本專業(yè)技術人員容易進行各種變形，-結構的分層數量可以是任何數量；當該結構具有多于一層時，裝置(例如圖形裝置)必須能使操作員使得該裝置產生或者消除一層；這種裝置是由本專業(yè)技術人員容易實現的。
已經描述了一個按照本發(fā)明的設備具有顯示可視圖象的裝置的優(yōu)選實施例，但是還有顯示樹狀圖象的裝置和顯示當前結構的圖形的裝置。
在另外的非優(yōu)選實施例中，該設備僅具有顯示可視圖象的裝置、處理顯示的可視圖象的裝置和更新結構的圖形的裝置。本實施例能使操作員修改由自動提取工具饋送的初始結構。但它不能去注釋該圖形。
權利要求
1.一種包括用于以標記語言生成多媒體內容(MC)結構的描述(DES)裝置的設備(10)，其特征在于該設備具有-顯示所述結構的至少一部分的可視圖象(VR)的裝置，所述可視圖象包括表示各個場景的各個圖象(I1-I13)，-處理所述可視圖象的圖形裝置(14、14、17、18、M1、F1-F4)，以便修改所述結構，-更新所述圖形的裝置(14、15)，以便考慮所述修改。
2.按照權利要求1的設備，其特征在于具有編輯裝置(F4、O1-O3)，用于注釋所述圖形。
3.按照權利要求1的設備，其特征在于具有顯示所述結構至少一部分的樹狀圖象(TR)的裝置和更新所述樹狀圖象的裝置(14、15)以便考慮所述修改。
4.按照權利要求3的設備，其特征在于所述樹狀圖象包括各個節(jié)點(ON1、ON2、CN1)、各個分支和各個葉(S1-S12)，具有拓寬或減少一個或多個所述分支，在可視圖象中被減少的分支由圖象表示。
5.一種用標記語言生成包含各個場景的多媒體內容結構的描述的方法，其特征在于，包括處理所述結構的至少一部分的可視圖象(VR)的步驟(AV)，所述可視圖象包括表示各個場景的圖象(I1-I13)，利用圖形工具(M1、F1-F4、17、18)修改所述結構，所述圖形被自動更新(UD)，以便考慮所述修改。
6.按照權利要求5的方法，其特征在于，包括利用一種編輯工具注釋所述圖形的步驟(AD)。
7.一種含有當由處理器(15)執(zhí)行時用標記語言生成包含各場景的多媒體內容(MC)結構的描述(DES)的指令的程序(PG)，其特征在于，所述指令包括-用于顯示所述結構的至少一部分的可視圖象(VR)的指令，所述可視圖象包括表示各個場景的各個圖象(I1-I13)，-用于向用戶提供圖形工具(17、18、M1、F1-F4)的指令，用于處理所述可視圖象，以便修改所述結構，-用于更新所述圖形(DES)的指令，用于考慮所述修改。
8.按照所述權利要求7的程序，其特征在于，所述指令包括向用戶提供編輯工具(F4、O1-O3)，使得能注釋所述圖象(AD)。
9.按照所述權利要求7的程序，其特征在于，所述包括用于顯示所述結構至少一部分的樹狀圖象(TR)的指令，和用于更新所述樹狀圖象(UT)的指令用于考慮所述修改(AV)。
10.按照所述權利要求7的程序，其特征在于，所述樹狀圖象包括節(jié)點(ON1、ON2、CN1)、各個分支和各個葉(S1-S12)，所述指令包括用于拓寬或減少一個或多個分支的指令，減少的分支是由所述可視圖象中的圖象表示的。
全文摘要
本發(fā)明提出一種能生成例如視頻多媒體內容結構的圖形的設備。按照本發(fā)明利用本身是用公知的規(guī)則系統(tǒng)自動提取生成的初始有缺陷的結構。該設備包括顯示獲得的結構的可視圖象的裝置,和用于修改結構的圖形處理裝置。更新該結構,以便考慮執(zhí)行修改。應用:MPEG－7,視頻描述。
文檔編號G11B27/034GK1389788SQ02141310
公開日2003年1月8日 申請日期2002年5月28日 優(yōu)先權日2001年5月31日
發(fā)明者B·莫里, J·利亞奇－平薩奇 申請人:皇家菲利浦電子有限公司