專利名稱：動畫圖形圖象的產(chǎn)生及編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及動畫圖形圖象的形成、處理和編碼，尤其是，但不僅是涉及動畫圖形對象的編碼，所述動畫圖形圖象用于傳輸?shù)胶?或接收自多個遠程用戶中某一個的手持或移動裝置。
大多數(shù)當(dāng)前的手持移動裝置由基于文本的用戶接口驅(qū)動。用戶能通過這些接口瀏覽手機的功能性范圍并選擇和執(zhí)行所需的任務(wù)。這類移動裝置還可使用諸如作為移動通信全球系統(tǒng)(GSM)數(shù)字標(biāo)準(zhǔn)一部分的短消息業(yè)務(wù)(SMS)協(xié)議來交換信息。這些基于文本的顯示性能有限而且缺乏圖形信息的靈活性和吸引力。將圖形信息加入以提高功能性、用戶接口的易用性以及信息交換的需求日益增長。
已經(jīng)存在大量諸如GIF(圖形交換格式)、JPEG(聯(lián)合圖象專家組)和PNG(可移植的網(wǎng)絡(luò)圖形)的圖象標(biāo)準(zhǔn)。這些圖象標(biāo)準(zhǔn)中的每個都需要存儲一幅圖象中每個像素的值。即使這些格式采用復(fù)雜的壓縮算法以降低各自圖象文件的大小，圖象仍然需要相當(dāng)大的存儲空間?？紤]到手持移動裝置的存儲空間有限且用于傳輸和接收的帶寬有限，因此只有有限數(shù)量的裝置支持這些圖象標(biāo)準(zhǔn)，而且即使支持這些標(biāo)準(zhǔn)，事實經(jīng)常是只能存儲一或兩幅圖象。此外，傳輸這類圖象是一件費時且代價高昂的事情。
在國際專利申請WO99/37095(Koninklijke Philips ElectronicsN.V.)中，描述了使用可縮放矢量圖形的圖形圖象的形成、處理和編碼。為允許圖形圖象直接傳輸?shù)绞殖只蛞苿友b置，使用一個組件對象規(guī)范，它通過包括(線、多邊形、點/圓等)的對象來描述一幅圖象。這是編碼圖象通常較小的整體尺寸和顯示裝置內(nèi)所需的處理水平之間一個很好的折中。以組件對象形式發(fā)送圖象的主要優(yōu)點是編碼圖象的大小。對于簡單的畫線，由于編碼的低冗余性，比基于位圖的編碼技術(shù)得到相當(dāng)大的節(jié)省。一個有用的附加特性是圖象在顯示點處可容易地縮放至任意尺寸，允許無論顯示裝置如何，要顯示的發(fā)送圖象始終如一。如此，只需要有限的傳輸和接收帶寬且裝置上只需有限的存儲容量。
盡管這種方法已經(jīng)證明是成功的，但在任何時刻只允許說明和顯示數(shù)量有限的屏幕對象。為提高這類手持移動裝置的可用性和一般用戶友好性，需要能夠存儲、接收、傳輸和顯示簡單的動畫圖象的裝置。
根據(jù)本發(fā)明的第一方面，提供了一種產(chǎn)生和編碼動畫圖形圖象用于傳輸?shù)姆椒ǎㄏ率霾襟E由一個預(yù)先確定的對象類型集合中的多個組件對象合成圖象的第一幀，該合成包括在固定坐標(biāo)系圖象域內(nèi)縮放和定位每個對象；將第一幀編碼為一個組件對象的有序再現(xiàn)列表，該再現(xiàn)列表標(biāo)識在重建圖象時要再現(xiàn)的組件對象的順序；順序地將隨后的每個幀(n)編碼為代表該幀(n)和前一幀(n-1)之間差別的若干數(shù)據(jù)字。
對隨后每個幀(n)編碼的數(shù)據(jù)字可以標(biāo)識要加入的新組件對象或從前一幀(n-1)移動、改變或去除的組件對象。
該方法可以包括將形狀定義為多個組件對象的步驟，其中形狀的定義和動畫圖形圖象一起傳輸，其中當(dāng)產(chǎn)生動畫圖形圖象時，對形狀的引用被替換為組件對象。
數(shù)據(jù)字可以包括放置對象、放置形狀、絕對移動、相對移動、調(diào)整大小和去除中所選的多個，將在此后的典型實施方案中定義。
根據(jù)本發(fā)明的另一方面，提供一種被配置為接收和解碼根據(jù)此處描述的方法所產(chǎn)生和編碼的動畫圖形圖象的便攜式通信設(shè)備，該設(shè)備包括一個與被安排用于格式化要顯示圖象的顯示驅(qū)動器系統(tǒng)連接的顯示裝置；一個被安排用于重建編碼圖象的處理器；一個與所述顯示驅(qū)動器連接，可接收編碼圖象數(shù)據(jù)并將其傳到處理器的接收機；包含所述對象和動畫標(biāo)識碼的第一個存儲裝置，用于保存重建的圖象幀的第二個存儲裝置；其中處理器被安排用于通過從對象標(biāo)識碼確定并重建對象，并且根據(jù)動畫碼對前幾幀的對象應(yīng)用動畫變換來重建動畫的各個幀。
顯示驅(qū)動器系統(tǒng)可能包括處理器、第一個存儲裝置和第二個存儲裝置。
顯示驅(qū)動器系統(tǒng)可以是一個矢量圖形系統(tǒng)。
本發(fā)明允許動畫圖形以高度壓縮的方式定義。雖然如下文所述，本發(fā)明與位圖的使用并不矛盾，可以將它們作為另一種結(jié)構(gòu)組件納入，但取代傳統(tǒng)的播放位圖序列的方法而定義了一個矢量圖形格式，即從結(jié)構(gòu)組件方面描述圖象。一旦根據(jù)結(jié)構(gòu)組件定義形狀，其即可被放置在屏幕上、組合、復(fù)制、調(diào)整大小和移動以產(chǎn)生圖形動畫。此外，所描述的矢量圖形格式令目標(biāo)平臺上的處理需求最小，因此尤其適用于手持裝置。
本發(fā)明的示例將參考附圖詳細描述，附圖如下

圖1是由7個對象構(gòu)成的組件圖象的示例；圖2是圖1圖象中每個對象各自的屬性表；圖3代表標(biāo)識一個對象的命令字的比特結(jié)構(gòu)；圖4是圖3命令字中的對象類型比特值表及各自的含義；圖5表示被修改以包括動畫命令字的圖3的比特結(jié)構(gòu)；圖6是圖5命令字中的動畫類型比特值表及各自的含義；圖7是適于實施本發(fā)明的接收機設(shè)備的框圖；圖8是組件圖象的進一步示例；且圖9是圖8的圖象中每個對象各自的屬性表。
下例中使用的組件對象圖象包括三種主要的繪畫對象點、文本和多邊形；多邊形可能有一到九條邊，并且假定單色或雙色顯示時，可以對其填充或不填充。每個對象可以用“黑”(帶有像素設(shè)定)或白(像素被清除)繪制。圖1示出一個由全部10個對象11-20構(gòu)成的組件對象圖象10示例。注意有可能將對象互相覆蓋，按照對象在編碼數(shù)據(jù)流中規(guī)定的順序進行繪制，因此編碼數(shù)據(jù)表示顯示對象的有序列表。這種內(nèi)含的信息(也即列表中對象的數(shù)目)不需要明確地傳達，但可以用來向圖象的發(fā)信者返回信息(例如用戶已經(jīng)選擇的對象數(shù)目)。
作為例子，圖1示例圖象中每個對象的屬性示于圖2的表中。由于對象14(白色填充多邊形)在對象13(黑色填充多邊形)后繪制，因此在箭頭形狀的多邊形13上出現(xiàn)。同樣，文本字符串(對象15)在白色填充多邊形14上出現(xiàn)。
在使用如圖1所示XY坐標(biāo)系統(tǒng)的固定坐標(biāo)圖象域中規(guī)定組件對象圖象中的所有頂點，原點在左上角，且每個坐標(biāo)軸范圍是0-127。盡管圖象域是“方形”(X軸和Y軸的范圍相同)，但顯示裝置不可能是方形。在終端將對圖象進行縮放以適合顯示。
盡管當(dāng)繪制圖象時并不必知道目標(biāo)顯示的精確顯示分辨率，還是建議把要繪制的圖象的寬高比設(shè)計得與顯示裝置的一致，此處應(yīng)知寬高比是寬對高的比例，由此，寬160個像素、高64個像素的顯示其寬高比是2.5且源圖象應(yīng)相應(yīng)縮放。另外，操作者也可以在包含組件對象圖象的消息的頭標(biāo)中規(guī)定想要的顯示分辨率和安排終端相應(yīng)地縮放數(shù)據(jù)。
數(shù)據(jù)的編碼希望達到非常緊湊每次諸如繪制或移動一個對象的操作由后跟可變長度數(shù)據(jù)的命令字表示。數(shù)據(jù)可能是字符(7比特ASCII)或坐標(biāo)(14比特)。假定在此例中接收機/解碼器預(yù)先知道組件對象數(shù)據(jù)的長度，因此沒有明確的終止；可使用若干機制將此數(shù)據(jù)傳送給顯示終端，正如用下例將便于理解的-例如如果GSM移動電話是接收裝置，此數(shù)據(jù)可能構(gòu)成SMS分組頭的一部分。
命令以7比特數(shù)據(jù)字格式化。整個比特格式示于圖3，所有數(shù)據(jù)以最高到最低有效位的順序編碼。第一個比特c是顏色比特，指示對象周界線是以背景色(“白”，c＝0)還是前景色(“黑”，c＝1)繪制。如圖4的表中所標(biāo)識，下兩個比特CC指示對象的類型(點、文本、填充或不填充多邊形)。CC后面是一個比特s，指示接收端用戶裝置是否可以選擇對象(0為不可以，1為可以)，隨后的三個比特ppp規(guī)定參數(shù)值為0到7。三個參數(shù)比特ppp的含義取決于所選擇的對象類型CC(下述)。
命令后可能跟隨有關(guān)圖象域的坐標(biāo)。坐標(biāo)使用14比特，頭7個比特代表X坐標(biāo)，提供0到127的值，其它7個比特用于Y坐標(biāo)，提供0到127的值。
圖5表示被修改以包括動畫命令字的圖3的比特結(jié)構(gòu)。命令字修改后，包括一個4比特命令標(biāo)識符100、保留以備將來之需的一個3比特標(biāo)識符110、有效載荷長度標(biāo)識符120和有效載荷自身130。命令標(biāo)識符100定義多個可能的命令動作中的一個。有效載荷長度120如果為低(0)，則定義有效載荷為8比特數(shù)字；如果為高(1)，定義為16比特數(shù)字。如此，當(dāng)處理命令字時，可以如處理器不理解的那些命令字一樣，略過無關(guān)的命令字。因此確保了后向兼容。有效載荷自身取決于特定的命令標(biāo)識符。命令標(biāo)識符的類型和相應(yīng)有效載荷示于圖6的表中。
優(yōu)選將對象組合在一起以定義隨后可被處理的形狀，而不是定義并參考諸如圖1到4中的單個屏幕對象?！岸x形狀”命令字允許由命令字的有效載荷來定義形狀。在這種情況下，有效載荷可能是諸如參考圖1到4中定義的那些對象命令字中的一個或多個。所定義的形狀隨后保存在存儲器里的一個字典中，并由形狀標(biāo)識符引用，它們隨后可被放置在屏幕上并根據(jù)形狀標(biāo)識符進行操作。例如，在圖1中由對象13到15和18到20所定義的箭頭形狀的復(fù)合圖形在字典中可被定義為單個形狀。如此，所定義的形狀可被寫到顯示器，在第一個位置給出形狀13到15，接著在第二個位置給出18到20。單個形狀定義命令和兩個形狀寫命令代替先前繪制兩個形狀必需的六個對象命令。
動畫縮放矢量圖形優(yōu)選包括一個頭標(biāo)，后跟一個或多個形狀定義命令字，再后面是多個幀處理命令。為顯示動畫矢量圖形文件，所定義的形狀被裝入存儲器中的字典且依次為每一幀產(chǎn)生再現(xiàn)列表。每個再現(xiàn)列表包括每個要放置在屏幕上的形狀的細節(jié)，關(guān)于形狀的x軸位置、y軸位置、縮放、任何運動矢量和形狀的顏色。在一幀的再現(xiàn)列表中，形狀以將要放置到屏幕上的順序出現(xiàn)。一旦產(chǎn)生初始幀的再現(xiàn)列表，就通過應(yīng)用從為該幀定義的碼字得到的動畫變換來產(chǎn)生對隨后的每個幀的再現(xiàn)列表。如此，為得到幀2，可以對幀1的形狀應(yīng)用從幀2碼字得到的動畫變換。隨后對所得到的幀2的形狀應(yīng)用幀3的動畫變換以獲得幀3。直到產(chǎn)生所有的幀后，此過程終止。
當(dāng)通常用從0到255(無符號字節(jié))范圍的坐標(biāo)定義屏幕時，處理動畫矢量圖形時優(yōu)選使用有符號的16比特數(shù)字來跟蹤形狀的位置。如此，一個形狀有可能部分或全部離開屏幕。
一個為接收和處理組件對象編碼消息而設(shè)計的移動/手持接收機的示意框圖示于圖7。多數(shù)組件部分的功能應(yīng)為專業(yè)領(lǐng)域讀者所理解，除了它們承載的與本發(fā)明操作有關(guān)的方面外，將不再細述。
從天線20或其它信號輸入接收到的信號通過收發(fā)器22和解碼器24送到中央處理單元26，該單元(在本實施方案中)還處理顯示驅(qū)動器將圖形和文本數(shù)據(jù)格式化為用于輸出到顯示屏28的顯示命令的功能。設(shè)備存儲器30與處理器連接且保存設(shè)備的基本操作數(shù)據(jù)和程序。存儲器30還可以存儲最近重建的圖象，充當(dāng)顯示器28的幀緩沖區(qū)；還可選擇提供一個單獨(專用)的存儲器。用戶輸入通過控制器32到處理器26這些輸入可以是簡易鍵盤形式和/或它們可以通過觸摸屏設(shè)備與顯示器28組合，如虛線34所示。裝置的其它常規(guī)功能(例如音頻處理)通常示于36。
與處理器26連接的是另一個存儲器38，它包含命令字碼(見圖3和圖6)以允許處理器/顯示驅(qū)動器26解釋接收到的命令字、重建編碼圖象并使其完成動畫此存儲器還可保存用于文本字符串的ASCII碼表。存儲器39與處理器連接并被安排來保存一個能夠存儲以一個或多個已定義對象形式的形狀的字典和一個或多個根據(jù)字典中形狀來定義幀的再現(xiàn)列表。與處理器26連接的還有縮放級40，可以包含一個簡單的硬件乘法電路，將接收到數(shù)據(jù)流中的圖象域坐標(biāo)轉(zhuǎn)換以適合顯示裝置28的可用區(qū)域和寬高比。最后，從處理器輸出的信號，例如語音消息、對象選擇的指示或裝置產(chǎn)生的新圖形圖象(由控制器32的用戶操作)通過編碼器42送到收發(fā)器22用于發(fā)送。
正如所認識到的，圖7的電路可能有許多改變。例如，命令字碼存儲器38和存儲器39可以合并入通用裝置存儲器30。同樣，解碼器24/編碼器42和/或縮放電路40的功能可以完全以軟件實施并在處理器26中執(zhí)行。處理器的顯示驅(qū)動器功能可以選擇或另外由單獨的單元處理，任選一個顯示存儲器用來讀出顯示數(shù)據(jù)。
以處理器和存儲器裝置形式的矢量圖形引擎可以合并入顯示裝置28的控制器。如此，可通過將矢量圖形文件送給顯示控制器并要求其依次再現(xiàn)每一幀來進行顯示。在執(zhí)行顯示控制器中的圖象處理和產(chǎn)生時，與由中央處理器驅(qū)動的常規(guī)顯示模型相比內(nèi)部通信量減少。這種設(shè)計對于諸如資源有限的移動電話之類的移動手機來說尤其有利。
觸摸屏34非常適合于圖形顯示器。它們不僅為對象選擇，也為對象創(chuàng)建提供方法。這種輸入機制與編碼機制結(jié)合，允許將圖形信息被打包到消息中，消息被發(fā)送并在接收機端解碼以允許在移動裝置間交換圖形。
同樣如所認識到的，所支持的組件對象類型和功能命令字也可能有變化。圖8是組件圖象的進一步示例，再次使用可縮放XY坐標(biāo)，但現(xiàn)在每個方向的范圍為0-255，圖中示出另外的一些組件對象例子。如圖2一樣，圖9是圖8圖象中每個對象各自的屬性表。
黑色矩形對象50與圖1中對象一樣定義，在XY坐標(biāo)系統(tǒng)中定義四個角的位置，對象的顏色規(guī)定為黑，且填充命令定義所有內(nèi)部像素為指定顏色。
曲線51是一條貝塞爾曲線，在XY坐標(biāo)系統(tǒng)中定義開始點為X0，Y0，結(jié)束點為X3，Y3，一對中間導(dǎo)點X1，Y1和X2，Y2。貝塞爾曲線算法計算通過這四個點的一條線上的像素位置。
用開始和結(jié)束的坐標(biāo)可簡單地定義線52(是一條線，而不是圖1中的有一條邊的多邊形11)。多線-端到端連接的線序列-還可定義為XY坐標(biāo)的序列。
53處的標(biāo)志由位圖定義，必需的數(shù)據(jù)是文件尺寸、標(biāo)志的XY坐標(biāo)位置和位圖數(shù)據(jù)自身。
54處的點簡單地定義為顏色和XY位置不象圖1中的點16，無需定義半徑(參看下面對象56的描述)。
55處的文本字符串以開始XY坐標(biāo)和以空(null)結(jié)束的ASCII字符串定義。
橢圓56(作為多邊形可以填充或未填充)定義為中心XY坐標(biāo)和對X和Y方向分別定義的半徑。正如所認識到的，定義共同的XY半徑將產(chǎn)生一個圓，其顯示的寬高比是1∶1，或者可選擇不同的半徑，在完成寬高比轉(zhuǎn)換到除1∶1以外的比例后，導(dǎo)致顯示一個圓。在支持橢圓規(guī)范的情況下，上述點對象54無需定義半徑。
還可支持的對象類型是子形狀，也就是說在大的父形狀內(nèi)出現(xiàn)的對象，一個例子是圖1中黑色填充多邊形13內(nèi)的白色填充多邊形14。子形狀對象定義為父形狀內(nèi)的XY坐標(biāo)位置，可能還包括用于相對于父對象縮放子對象的命令。
除上述更多對象類型之外，可以支持附加的命令字以增加變化和可用于所顯示形狀的動畫。一種這類命令字是運動矢量，用來定義一個對象從開始XY坐標(biāo)位置的運動，而不是必須順序定義一系列的XY坐標(biāo)位置來表示一個對象在顯示器四處移動。還有一個命令，可能是將一系列操作重復(fù)指定次數(shù)命令由分別指示要循環(huán)的一系列操作序列的開始和結(jié)束的第一個和第二個字來標(biāo)識，其中第一個字(“開始循環(huán)”)指示要進行的重復(fù)數(shù)目。如果選擇循環(huán)值為0，則所選擇的操作將持續(xù)循環(huán)，直到不再選擇圖象(或至少是受所選擇操作影響的圖象的一部分)用于顯示為止。
可能的大量應(yīng)用領(lǐng)域包括用戶可配置用戶接口，使用服務(wù)器剪取藝術(shù)(clip-art)的消息構(gòu)造，汽車地圖導(dǎo)航，交通信息，很多包括國際象棋和格斗等的交互游戲等。使用所述編碼技術(shù)的觸摸屏用戶接口允許在裝置電話編碼圖畫的同時用筆繪制。使用這種輸入機制，可以允許在消息中加入繪制和手寫文本，令移動裝置之間交換的消息個性化。
如前所述，我們已經(jīng)提供了一種機制，由此動畫對象可用優(yōu)化格式編碼以用于低比特率移動數(shù)據(jù)通信。編碼機制允許動畫以相對屏幕坐標(biāo)的形式定義，從而令動畫可在與裝置無關(guān)的方式下再現(xiàn)。
通過閱讀本公開內(nèi)容，對本領(lǐng)域技術(shù)人員而言其它修改是顯而易見的。這些改變可能包括在設(shè)計中已知的其它特征、交互圖象編碼設(shè)備及其組件部分的制造和使用以及那些可以替代或附加到此處描述到的特征上的變化。
權(quán)利要求
1.一種產(chǎn)生和編碼動畫圖形圖象用于傳輸?shù)姆椒?，包括下述步驟由一個預(yù)先確定的對象類型集合中的多個組件對象合成圖象的第一幀，該合成包括在固定坐標(biāo)系圖象域內(nèi)縮放和定位每個對象；將第一幀編碼為一個組件對象的有序再現(xiàn)列表，再現(xiàn)列表標(biāo)識在重建圖象時要再現(xiàn)的組件對象的順序；順序地將隨后的每個幀(n)編碼為代表該幀(n)和前一幀(n-1)之間差別的若干數(shù)據(jù)字。
2.如權(quán)利要求1的方法，其中對隨后每個幀編碼的數(shù)據(jù)字標(biāo)識要加入的新組件對象或從前一幀(n-1)移動、改變或去除的組件對象。
3.如權(quán)利要求1或2的方法，還包括將形狀定義為多個組件對象的步驟，其中形狀的定義和動畫圖形圖象一起傳輸，其中當(dāng)產(chǎn)生動畫圖形圖象時，對形狀的引用被替換為組件對象。
4.如權(quán)利要求1或2的方法，還包括在位圖中定義對象形狀用于所合成幀中至少一個組件對象的方法。
5.如權(quán)利要求1、2或3的方法，其中數(shù)據(jù)字包括放置對象、放置形狀、絕對移動、相對移動、調(diào)整大小和去除中所選擇的多個。
6.如權(quán)利要求1、2或3的方法，其中數(shù)據(jù)字定義標(biāo)識各個對象運動模式的運動矢量，可從中確定隨后幀中該對象的位置。
7.一種被配置為接收和解碼根據(jù)如權(quán)利要求1到6中任意一種方法產(chǎn)生和編碼的動畫圖形圖象的便攜式通信設(shè)備，該設(shè)備包括一個與被安排用于格式化要顯示圖象的顯示驅(qū)動器系統(tǒng)連接的顯示裝置；一個被安排用于重建編碼圖象的處理器；一個與所述顯示驅(qū)動器連接，可為接收編碼圖象數(shù)據(jù)并將其傳到處理器的接收機；包含所述對象和動畫標(biāo)識碼的第一個存儲裝置，用于保存重建的圖象幀的第二個存儲裝置；其中處理器被安排用于通過從對象標(biāo)識碼確定并重建對象，并且根據(jù)動畫碼對前幾幀的對象應(yīng)用動畫變換來重建動畫的各個幀。
8.如權(quán)利要求7的便攜式通信設(shè)備，其中顯示驅(qū)動器系統(tǒng)包括處理器、第一個存儲裝置和第二個存儲裝置。
9.如權(quán)利要求7或8的便攜式通信設(shè)備，其中顯示驅(qū)動器系統(tǒng)是矢量圖形系統(tǒng)。
全文摘要
一種產(chǎn)生及編碼動畫圖形圖象用于傳輸?shù)绞殖只蛞苿友b置的方法,該方法使用對象組件技術(shù),其中由組件類型的有限集合,特別是點和多邊形合成圖象。初始幀定義為要顯示的對象的一個列表。隨后的幀被編碼為相對前幀的對象的一系列改變。
文檔編號G06T13/00GK1386247SQ01802318
公開日2002年12月18日 申請日期2001年5月11日 優(yōu)先權(quán)日2000年6月7日
發(fā)明者P·R·西蒙斯 申請人:皇家菲利浦電子有限公司