專利名稱：使用圖像的通信方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電視電話會議或電視會議、視頻郵件等進行使用圖像的通信的通信方法，或在使用圖像的通信裝置間控制通信的通信控制方法及其裝置。
背景技術(shù)：
眾所周知，作為使用圖像進行通信的裝置及方法，有電視電話、電視會議系統(tǒng)、視頻郵件等各種形態(tài)。即使在這些形態(tài)的任何一種形態(tài)中，使用圖像的主要目的在于對被攝體的姿態(tài)(例如臉部)進行攝像，并將該圖像發(fā)送到通信目的地。
但是，在這些裝置中，在保密的觀點上有欠缺。例如，在被攝體為自己的情況下，對捕獲自己的臉部的圖像數(shù)據(jù)不進行任何處理就發(fā)送到通信對方并顯示在通信對方的顯示器上，這對于希望不想讓自己的臉部被通信對方看到的用戶來說，不能進行保密，給用戶帶來精神上的痛苦。
在家庭和辦公室中使用該裝置時，即使不想發(fā)送家庭或辦公室內(nèi)的狀況的情況下，會與自己的姿態(tài)一起都讓通信對方知道，有在保密和保護辦公室內(nèi)的機密的方面都很不方便的問題。
因此，為了解決這樣的問題，在(日本)特開平5-91407號公報中，披露了以下技術(shù)通過從攝像機攝影的圖像中除去背景部分后進行發(fā)送，從而保護家庭內(nèi)的秘密和辦公室內(nèi)的機密。
另外，在特開平6-46414號公報中，披露了以下技術(shù)通過從攝像機的輸入圖像中檢測人物的臉部，并僅對臉部進行加工來發(fā)送，使通信對方僅無法識別臉部，從而保護用戶的個人秘密。
而且，在特開平2000-175168號公報中，披露了以下技術(shù)通過在相互的畫面上顯示可任意改變的特征圖像等代理圖像來代替通話者的實際圖像，從而進行保密，并且用圖像來傳遞自己的感情。
目前，通過網(wǎng)絡(luò)的寬帶化的擴展，可以進行使用超過以往的圖像的通信。這樣一來，當然要保存進行了該通信的數(shù)據(jù)，以便后面再利用該數(shù)據(jù)。于是，應(yīng)該保護與圖像中攝像的自身的有關(guān)秘密的要求比以往更強烈。
從目前的電子郵件系統(tǒng)和WEB系統(tǒng)的狀況來看，可以容易地設(shè)想，為了保存并再利用圖像數(shù)據(jù)，用戶想簡便地進行圖像數(shù)據(jù)的檢索和管理的請求會提高。
另一方面，作為多地點的多個用戶進行基于圖像的通信的通信方法，有使用集中控制裝置的電視會議系統(tǒng)。這種情況下，可從一個圖像通信終端將發(fā)送的圖像通過集中控制裝置發(fā)送到兩個以上的圖像通信終端。
在這樣的多地點的電視會議系統(tǒng)中，在采用保密技術(shù)的情況下，例如，在電視會議系統(tǒng)中，如果為了保密而除去背景或?qū)δ槻繀^(qū)域進行加工，則對于參加會議的所有成員，一樣地發(fā)送除去背景或?qū)δ槻繀^(qū)域進行了加工的圖像。
但是，如上所述，在多地點的多個用戶進行基于圖像的通信系統(tǒng)中，有以下情況除了會議這樣用在非常特殊化目的的形態(tài)以外，通過如WEB中的聊天那樣不確定的用戶參加的形態(tài)(以下稱為‘視頻聊天’)、從多地點中的多個用戶間利用添加了視頻郵件和圖像的郵件來實現(xiàn)用戶間的通信。
這樣的情況下，有希望根據(jù)通信對方的情況來控制圖像的公開信息(即，有無被攝體區(qū)域的公開、有無背景區(qū)域的公開)這樣的要求。例如，存在某個圖像通信終端的用戶可以讓確定的圖像通信終端的用戶看見自己的臉部，但不希望除此以外的用戶看見自己的臉部的情況。
即使在商業(yè)用途的多地點間的電視會議系統(tǒng)中，在公司內(nèi)的用戶和公司外的用戶混雜的情況下，可考慮使公司內(nèi)的用戶可看見背景，而對公司外的用戶則除去背景來進行通信。
但是，在現(xiàn)有的方法情況下，在為了保密而要除去背景或?qū)δ槻繀^(qū)域進行加工的情況下，對參加視頻聊天及電視會議的所有成員不得不一樣地發(fā)送除去背景或?qū)δ槻繀^(qū)域進行加工的圖像。因此，通過用戶非常不便于使用。
此外，對包含這些圖像的通信數(shù)據(jù)原狀地記錄管理，在以后想檢索背景或臉部區(qū)域中未加工的地方的情況下，需要掃描整個圖像序列，效率非常差。
此外，即使在記錄的圖像序列的自身管理中，單獨記錄管理與圖像序列的數(shù)據(jù)的公開內(nèi)容有關(guān)的信息，所以這些信息可能丟失，或放置錯誤，或被除去。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種通信方法，在進行圖像通信的情況下，添加保密的功能，而且即使在添加了保密功能的情況下，也可以由用戶對該通信數(shù)據(jù)的再利用性及多地點間的通信容易并且方便地進行保密控制。
本發(fā)明使一張以上的圖像構(gòu)成的圖像序列和所述圖像序列的至少一張圖像相關(guān)聯(lián)，并且進行與圖像的公開或非公開有關(guān)的控制信息的通信，控制信息使與包含圖像內(nèi)的被攝體的一部分或全部的關(guān)注區(qū)域和非關(guān)注區(qū)域的某一個或雙方相關(guān)聯(lián)。
本發(fā)明通過同時發(fā)送接收控制信息和圖像，來克服現(xiàn)有技術(shù)的問題。
作為本發(fā)明的系統(tǒng)形態(tài)，有在通信裝置間進行1對1的通信情況(第1實施例)，以及由控制三個以上的通信裝置間和其通信終端間的通信的通信控制裝置來進行多地點通信的情況(第2實施例)。


圖1是本發(fā)明第1實施例的通信裝置的方框圖。
圖2是元數(shù)據(jù)描述格式的說明圖。
圖3是表示圖像序列和元數(shù)據(jù)的關(guān)聯(lián)的圖。
圖4、圖5是表示以MPEG-7形式描述元數(shù)據(jù)的例子的圖。
圖6是‘media Time Point Type’的格式定義圖。
圖7是原來的輸入數(shù)據(jù)的例示圖。
圖8(a)、圖8(b)是將非關(guān)注區(qū)域(背景)作為非公開的例示圖。
圖9(a)～圖9(c)是將關(guān)注區(qū)域作為非公開的例示圖。
圖10是在關(guān)注區(qū)域上實施重疊規(guī)定圖像的加工的例示圖。
圖11在關(guān)注區(qū)域的一部分上實施重疊規(guī)定圖像的加工的例示圖。
圖12是輸出數(shù)據(jù)的例示圖。
圖13是本發(fā)明第2實施例的通信控制裝置的方框圖。
圖14是元數(shù)據(jù)描述格式的說明圖。
圖15是以MPEG-7形式描述元數(shù)據(jù)的例示圖。
圖16是通信控制裝置和各通信裝置之間的發(fā)送接收狀態(tài)的說明圖。
圖17是組的設(shè)定例的說明圖。
圖18是通信控制裝置和各通信裝置之間的發(fā)送接收狀態(tài)的說明圖。
具體實施例方式
以下，參照附圖來說明本發(fā)明的實施例。
(第1實施例)在第1實施例中，說明通過本發(fā)明的通信方法及其裝置來進行1對1通信的情況。圖1是本發(fā)明第1實施例的通信裝置的方框圖。
在該通信裝置中，用戶1面對輸入單元2、顯示單元3及圖像輸入單元4。
輸入單元2由鍵盤(包含數(shù)字鍵等)和鼠標器等構(gòu)成，用戶1用其將有關(guān)公開、非公開的控制信息及其他必要的信息輸入到該通信裝置中。
這里，在將本通信裝置用作使用圖像輸入單元4的監(jiān)控系統(tǒng)或監(jiān)視系統(tǒng)的情況下，最好是在輸入單元2中追加讀取裝置。
這樣的話，被圖像輸入單元4攝影的用戶1不進行鍵盤輸入等，也可以將有關(guān)公開和非公開的控制信息輸入到本通信裝置中。
例如，用戶1攜帶可與輸入單元2進行無線通信的帶有IC卡的徽章或內(nèi)置ID芯片的無線薄片等，將有關(guān)公開和非公開的控制信息記錄在該IC卡或ID芯片上。這樣的話，用戶1僅攜帶徽章或無線薄片，就可以將該控制信息簡單地輸入到本通信裝置中。
后面將詳述，公開控制信息包含用戶1為被攝體的一部分或全部，是表示是否公開關(guān)注區(qū)域和非關(guān)注區(qū)域的其中一個或雙方的信息。
顯示單元3由LCD等構(gòu)成，在其畫面上顯示通信對方發(fā)送的圖像或操作上所需的信息。
圖像輸入單元4用于將至少一張以上的圖像構(gòu)成的圖像序列輸入到該通信裝置中，有攝像機、數(shù)據(jù)輸入裝置、數(shù)據(jù)記錄媒體等各種形態(tài)。通常，就該圖像序列而言，主要使用對用戶1進行攝影的圖像序列。
區(qū)域提取單元5從該圖像序列的圖像中提取包含被攝體的一部分或全部的關(guān)注區(qū)域。
關(guān)注區(qū)域是包含被攝體的一部分或全部的區(qū)域，而非關(guān)注區(qū)域是圖像中關(guān)注區(qū)域1以外的區(qū)域、背景等。
以往，作為提取被攝體區(qū)域的方法，公開了各種技術(shù)。
例如，在(日本)特開平5-91407號公報中披露了以下方法進行活動圖像的相鄰幀間的圖像信號的相對比較，將移動量小的圖像部分作為背景部分，將除此以外的部分作為被攝體區(qū)域來提取。
此外，在特開平5-161131號公報中披露了以下方法預(yù)先保持僅有背景的圖像，對每個像素獲得只有背景的圖像和活動圖像的各幀的差別，將差別小的區(qū)域作為背景區(qū)域，將差別大的區(qū)域作為被攝體區(qū)域。
此外，在關(guān)注區(qū)域是頭部或臉部區(qū)域的情況下，在谷內(nèi)等人的‘視點固定型パン·チルト·ズ一ムオメラを用いた適應(yīng)的見え方モデルに基づく人物頭部の檢出·追跡’(MIRU2000畫像の認識·理解シンポジウム講演論文集I pp.9-14)中披露了以下方法檢測圖像中的橢圓區(qū)域，進行頭部檢測。
另外，還存在根據(jù)顏色信息來檢測臉部的方法(例如，檢測膚色區(qū)域等)、著眼于眼和嘴等的臉部部分的方法、模板匹配等公知的各種方法。
雖然公開了包含以上方法的有關(guān)區(qū)域提取的各種技術(shù)，但在該區(qū)域提取單元5中，采用這些各種公知技術(shù)的任何一種技術(shù)都沒有關(guān)系。
再有，在本發(fā)明中，進行區(qū)域提取的目的在于保密，不一定需要正確地提取被攝體的區(qū)域，只要被攝體的一部分或全部進行隱藏而使秘密受到保護就足夠了。例如，在關(guān)注區(qū)域是頭部或臉部區(qū)域的情況下，也可以作為包含關(guān)注區(qū)域的一部分或全部的橢圓區(qū)域來檢測。
此外，在本實施例中，區(qū)域提取單元5可自動地提取關(guān)注區(qū)域，但在從圖像輸入單元4輸入的圖像的關(guān)注區(qū)域的場所是已知的情況下，可以省略區(qū)域提取單元5。
再有，本發(fā)明的目的是實現(xiàn)保密，所以期望最好是將表現(xiàn)人物個性的場所、特別是臉部、頭部、或其一部分作為關(guān)注區(qū)域。
而且，用戶1或本通信裝置的管理者將關(guān)注區(qū)域作為固定的區(qū)域，可以在攝影之前預(yù)先設(shè)定，用戶1或本通信裝置的管理者也可以一邊監(jiān)視通過圖像輸入單元4攝影的圖像，一邊用人工作業(yè)來設(shè)定關(guān)注區(qū)域。
發(fā)送數(shù)據(jù)處理單元6使從圖像輸入單元4輸入的圖像、區(qū)域提取單元5提取的關(guān)注區(qū)域、從輸入單元2輸入的公開控制信息等形成關(guān)聯(lián)的控制信息，而且與圖像合并來形成用于進行通信的數(shù)據(jù)。
再有，對于發(fā)送的對方，根據(jù)關(guān)注區(qū)域、非關(guān)注區(qū)域來實施加工，以便不能掌握作為非公開的區(qū)域的細節(jié)，并形成發(fā)送數(shù)據(jù)。后面將詳細地說明這方面的內(nèi)容。
通信單元7通過通信路徑與對方的信息處理裝置至少進行上述各數(shù)據(jù)的發(fā)送接收。再有，這里的通信模式是任意的，例如可以是電視電話那樣的同步式通信，也可以是郵件那樣的非同步式通信。
接收數(shù)據(jù)處理單元8將通過通信單元7接收的對方的數(shù)據(jù)記錄在記錄單元9中，同時進行可以顯示在顯示單元3上的處理。
記錄單元9由存儲器或硬盤裝置等構(gòu)成，具有至少記錄接收數(shù)據(jù)處理單元8的接收數(shù)據(jù)的區(qū)域。
控制單元10控制圖1所示的各單元的數(shù)據(jù)的流動和處理。
下面，用圖2～圖5來說明在本實施例的通信方法中，在通信裝置間進行通信的圖像序列(包含靜止圖像)和公開控制信息。
如上所述，圖像序列是從圖像輸入單元4輸入的數(shù)據(jù)。圖像序列是所謂內(nèi)容的一種，公開控制信息最好是被描述在元數(shù)據(jù)中，而元數(shù)據(jù)描述有關(guān)與成為內(nèi)容的圖像序列成對生成的內(nèi)容。
圖2表示本實施例中使用的元數(shù)據(jù)描述格式。其中，“區(qū)域信息”是表示成為對象的區(qū)域是關(guān)注區(qū)域或非關(guān)注區(qū)域這兩者中的哪一個區(qū)域的信息。
“公開控制信息”為是否公開成為對象的區(qū)域的標記。例如，在內(nèi)容的某一階段中，在使關(guān)注區(qū)域非公開的情況下，使成為關(guān)注區(qū)域的區(qū)域信息的公開控制信息為‘非公開’。
此外，在另一幀中，在進行變更以便可以公開關(guān)注區(qū)域的情況下，將公開控制信息變更為‘公開’。再有，該設(shè)定可以設(shè)定在各個關(guān)注區(qū)域、非關(guān)注區(qū)域中。該設(shè)定由用戶1通過輸入單元2來進行。
再有，除了公開和非公開的標記以外，也可以設(shè)定公開度這樣的值。例如，在公開度以0～1來賦給的情況下，在公開度為‘0’時變成非公開，在公開度為‘1’時變成公開。
而且，0～1中間的值，例如在公開度為‘0.8’時，通過圖像處理的參數(shù)控制等，來進行改變公開的程度的處理。
“區(qū)域指定信息”是表示成為對象的區(qū)域的圖像中的位置的數(shù)據(jù)(例如輪廓坐標列)。
此外，還有成為對象的區(qū)域是整個圖像的情況，或在圖像中完全不存在成為對象的區(qū)域的情況。再有，作為指定成為對象區(qū)域的區(qū)域，除了設(shè)定輪廓坐標列以外，還可考慮設(shè)定二進制數(shù)據(jù)作為屏蔽數(shù)據(jù)。
而且，在預(yù)先知道成為對象區(qū)域的形狀(矩形、多角形、橢圓等)的情況下，可考慮僅用表示該形狀在哪里的充分的信息來表現(xiàn)。再有，本發(fā)明不僅適用于一張圖像，而且也適用于活動圖像。
這種情況下，在指定成為對象區(qū)域的信息中，不僅可以使用表示空間位置的信息，而且也可以使用表示時間的區(qū)間的信息或時間空間如何移動這樣的信息。其中的任何一種情況都包含在本發(fā)明中。
再有，在元數(shù)據(jù)中，通常除了公開控制信息以外，還包含‘內(nèi)容的編碼類型’等這樣的有關(guān)內(nèi)容的描述。此外，該內(nèi)容可以如圖表那樣來描述，也可以分層地描述。在本例中，如圖2所示，對公開控制信息分層地進行描述，使其從屬于區(qū)域信息，。
不用說，可以獨立描述區(qū)域信息和公開控制信息，也可以另外描述它們之間的關(guān)系。在以上任何一種情況下，只要將公開控制信息和區(qū)域信息以某些形態(tài)來加以設(shè)定，就包含在本發(fā)明中。
圖3例示圖像序列和元數(shù)據(jù)的關(guān)聯(lián)。在該例中，圖像序列由多個靜止圖像(稱為幀)的序列構(gòu)成。
在該圖像序列中，例如可以使用模擬或數(shù)字、交織或漸進、編碼或非編碼的任意的合適的格式。
各幀存在包含被攝體(在本例中為年輕女性的臉部)的四個幀和不包含被攝體的兩個幀。
根據(jù)需要，元數(shù)據(jù)中描述的公開控制信息可以與一個幀、連續(xù)的幀組(序列幀組)、不連續(xù)的幀組(非序列幀組)、如整個圖像序列那樣的圖像序列中的任意個數(shù)的幀相關(guān)聯(lián)。
在公開控制信息中設(shè)定是否向其他人公開區(qū)域信息的標記。例如，在內(nèi)容的某個階段中，在使關(guān)注區(qū)域為非公開的情況下，使標記為‘非公開’。
在其他的幀中，在變更為也可以公開關(guān)注區(qū)域的情況下，在該時刻設(shè)定‘公開’這樣的標記。
作為描述這里所說的元數(shù)據(jù)的形式，存在各種各樣的標準化規(guī)格和獨立規(guī)格。這里，說明基于MPEG-7規(guī)格的描述例。
MPEG-7是被正式稱為Multimedia Content Description Interface(ISO/IEC15938)的MPEG(Moving Picture Experts GroupISO/IEC JTC1/SC29/WG11)的MPEG-1、-2、-4之后第4次標準化項目。
該標準規(guī)定用于描述多媒體信息的內(nèi)容的框架，是以在來自數(shù)字庫(digital library)的檢索和編輯這樣的應(yīng)用中使用為目的的規(guī)格。
MPEG-7規(guī)定用于描述以圖像-聲音為中心的多媒體信息的內(nèi)容的描述符(Descriptor)的標準集合。通過將該描述(Description)賦予在內(nèi)容中，可以進行基于多媒體信息的內(nèi)容的檢索。
由此，具有促進內(nèi)容的流通-利用的意圖。因此，該規(guī)格的描述對于以保密的通信為目的的本發(fā)明來說，是合適的描述形式。
作為實際的描述定義語言，由對于XML(eXtensible Markup Language)Schema語言實施必要的擴展的語言組成。因此，即使進行這種擴展，也保留與XML Schema的語法的互換性。
然后，在MPEG-7中，對于描述內(nèi)容的特征表現(xiàn)來說，只要將以下的基本要素進行組合就可以。
1.描述符(Descriptor縮略語為D)在多媒體內(nèi)容中，在用于描述某個單一特征的基本工具MPEG-7中，規(guī)定描述符的表記方法(Syntax)及意義(Semantics)。
2.描述模式(Description Schema縮略語為DS)規(guī)定了多個描述工具間的構(gòu)造、有意義的關(guān)系的框架。在MPEG-7中，與描述符同樣，規(guī)定這些描述模式的表記方法(Syntax)及意義(Semantics)。再有，作為構(gòu)成描述模式的描述工具，除了描述符以外，還包含其他描述模式本身。
3.描述定義語言(Description Definition Language)用于規(guī)定描述符及描述模式的表記方法的語言。在MPEG-7中，以W3C標準化制定的模式語言XML Schema為基礎(chǔ)，通過追加多媒體內(nèi)容的特征描述時所需的各種數(shù)據(jù)類型等，來規(guī)定描述定義語言。
作為DS的例子，有描述內(nèi)容的使用者的‘Person DS’、描述圖像內(nèi)的區(qū)域的‘Still Region DS’、或描述內(nèi)容的使用方法的‘Usage Information DS’。
而作為Descriptor的例子，有描述內(nèi)容的訪問權(quán)的‘Rights’等。
再有，在MPEG-7中，除了標準定義的DS及Descriptor以外，還規(guī)定定義新的Descriptor或DS并用于要擴展的語言(Description DefinitionLanguage)。
因此，在描述本發(fā)明的元數(shù)據(jù)的情況下，如果根據(jù)上述規(guī)定進行描述，則成為MPEG-7形式的描述。
圖4表示根據(jù)MPEG-7規(guī)格來描述圖3所示的描述元數(shù)據(jù)的例子。在圖4中，“<！--”是注釋，區(qū)域信息用‘Still Region DS’來描述。
然后，對于公開控制信息，由‘Usage Information Ds’的‘Availability DS’中的‘Publication Type’來描述。
在該‘Publication Type’中，可以描述分配該內(nèi)容的機構(gòu)。
這里，通過公開控制機構(gòu)描述唯一提供的公開和非公開信息，來確定分配內(nèi)容情況下公開控制的結(jié)構(gòu)。
對于區(qū)域指定信息來說，使用‘Contour Shape’，作為輪廓坐標序列來描述。
再有，如上所述，在區(qū)域信息中，不僅有對于一張圖像的區(qū)域信息，還有活動的區(qū)域的信息‘Moving Region DS’、與聲音合并的區(qū)域信息‘AudioVisual Region DS’等。
作為包含它們的基本定義，有表示多媒體內(nèi)容的一部分的‘Segment DS’這樣的定義，但只要是以該定義為基礎(chǔ)的DS，就可以進行與圖4所示的描述相同的描述。
下面詳細說明與活動圖像的關(guān)聯(lián)。在圖5中，表示根據(jù)MPEG-7規(guī)格來描述圖3的元數(shù)據(jù)的例子。
在圖5中，使用‘Video Segment DS’使圖4所示的區(qū)域信息與成為對象的圖像幀相關(guān)聯(lián)。這種情況下，與實際的圖像幀的關(guān)聯(lián)在‘Media Time’的‘Media Time Point’中實行。
在‘Media Time’中，以圖6所示的形式來描述該Video Segment的對象時刻。例如，在‘T13:20:01:1F15’中，具有‘13時20分01秒的第1幀(其中，在每1秒15幀下，是0幀至14幀)’這樣的意義。
由此，可進行僅對活動圖像中的某一部分的區(qū)間進行公開這樣的控制。
再有，以上的描述畢竟是一例，即使是除此以外的描述方法，只要具有同等的意義，就包含在本發(fā)明中。
在MPEG-7中，使用XML來表現(xiàn)元數(shù)據(jù)。而且，目前的XML因其通用性在信息處理領(lǐng)域中十分引人注目，正在開發(fā)和提供對XML文件進行編輯、操作的各種工具，但MPEG-7元數(shù)據(jù)使用XML來表現(xiàn)，所以可以最大限度發(fā)揮這些XML通用工具的便利。
而且，與基于XML的其他標準規(guī)格、例如HTML(Hyper Text MakupLanguage)和SMIL(Synchronized Multimedia Integration Language)等的親和性也高。
再有，在本發(fā)明中，只要以與內(nèi)容相關(guān)聯(lián)的形式進行描述就足夠了，所以即使用包含上述規(guī)格在內(nèi)的、所有的元數(shù)據(jù)進行描述也沒有關(guān)系。
再有，就元數(shù)據(jù)描述來說，在本發(fā)明中，為了容易對附圖進行說明，所以根據(jù)文本格式中的描述進行說明，但即使是二進制格式也沒有關(guān)系，包含在本發(fā)明中。
例如，在對應(yīng)于多媒體內(nèi)容的各種特征作為XML文件表記的情況下，MPEG-7元數(shù)據(jù)自身的數(shù)據(jù)規(guī)模龐大，有導(dǎo)致存儲或傳輸?shù)牡托实奈ｋU。
作為其對策，考慮使用MPEG-7中規(guī)定的二進制格式。這樣的話，作為XML文件表記的MPEG-7元數(shù)據(jù)可不損失其信息量地壓縮至百分之一以下的規(guī)模。在本格式中，依據(jù)文本格式的元數(shù)據(jù)表記和依據(jù)二進制格式的元數(shù)據(jù)表記作為其保有的信息是完全等價的。
因此，在文本格式和二進制格式的變換之間具有雙向性，一旦將作為XML文件表記的MPEG-7元數(shù)據(jù)變?yōu)镸PEG-7二進制數(shù)據(jù)后，即使再次變換為XML文本數(shù)據(jù)，原來的信息也被完全保持。
此外，即使是二進制格式，不僅對數(shù)據(jù)內(nèi)部的隨機存取是可能的，而且將數(shù)據(jù)內(nèi)部的描述刪除一部分，或進行改寫為其他內(nèi)容的操作也是可能的。
這里，在本發(fā)明中，只要是作為元數(shù)據(jù)來描述就足夠了，無論以上述任何一種格式來描述，都包含在本發(fā)明中。
下面用圖7～圖12來說明發(fā)送數(shù)據(jù)處理單元6進行的處理。
該發(fā)送數(shù)據(jù)處理單元6將從圖像輸入單元4輸入的圖像、區(qū)域提取單元5提取的關(guān)注區(qū)域、以及從輸入單元2輸入的公開控制信息形成相關(guān)聯(lián)的控制信息。
這里，在本例中，發(fā)送數(shù)據(jù)處理單元6根據(jù)控制信息來實施加工，使得不能掌握非公開的區(qū)域的細節(jié)。但是，該加工不僅可由發(fā)送數(shù)據(jù)處理單元6進行，也可以由接收該控制信息的對方的接收數(shù)據(jù)處理單元8來進行，還可以由其他的通信路徑上的信息處理裝置來進行。
無論如何，最終用其他用戶觀看到圖像前的路徑的某一處的單元進行可滿足非公開要求的加工就可以，本發(fā)明并不限定于用發(fā)送數(shù)據(jù)處理單元6來進行該加工的情況。
圖7表示實施加工前的原來的輸入數(shù)據(jù)，圖8～圖11表示對圖7的圖像實施了各種加工的例子。再有，這些例子可以適當組合使用。
這里，設(shè)區(qū)域提取單元5以臉部作為關(guān)注區(qū)域來提取。
圖8是表示對非關(guān)注區(qū)域(背景)進行非公開的處理結(jié)果。由于對背景進行非公開，所以在圖8(a)中使背景模糊不清，而在圖8(b)中使背景變暗。
相反，圖9～圖11表示對關(guān)注區(qū)域(臉部區(qū)域)進行非公開的處理結(jié)果的例子。在圖9(a)中使關(guān)注區(qū)域模糊不清，在圖9(b)中在關(guān)注區(qū)域中加入瑪塞克，而在圖9(c)中在關(guān)注區(qū)域中加入壓紋。
圖10表示在關(guān)注區(qū)域的臉部區(qū)域上，重疊與關(guān)注區(qū)域的圖像不同的規(guī)定的計算機圖像(CG)符號或符號圖像的例子。而且，如圖11所示，也可考慮在關(guān)注區(qū)域的臉部區(qū)域的眼睛部分上顯示墨鏡的CG或重疊圖像。
再有，除了這些處理以外，還可考慮各種加工方法，但無論哪種方法，只要是進行使作為非公開區(qū)域的細節(jié)無法掌握的加工就可以。另外，以上例示的加工本身可以由公知技術(shù)來實施。
如上所述，在本實施例中，發(fā)送數(shù)據(jù)處理單元6進行使得在圖像中不能掌握非公開的區(qū)域的細節(jié)的加工。圖12表示對圖3的輸入數(shù)據(jù)進行加工后的輸出數(shù)據(jù)的例子。
于是，根據(jù)本發(fā)明，接收輸出數(shù)據(jù)的對方的信息處理裝置取得將非公開的區(qū)域加工后的活動圖像、以及包含對于該圖像存在的公開控制信息的元數(shù)據(jù)。
而且，上述加工也可以加密。這種情況下(例1)用公開密鑰來加密非公開區(qū)域，在元數(shù)據(jù)中加入公開密鑰證明書后進行發(fā)送，被容許觀看非公開區(qū)域的接收者可以使用與公開密鑰對應(yīng)的私有密鑰對非公開區(qū)域進行解密；或者(例2)用共用密鑰來加密非公開區(qū)域，同時對共用密鑰進行加密并加入到元數(shù)據(jù)中后進行發(fā)送，被容許觀看非公開區(qū)域的接收者用私有密鑰對共用密鑰進行解密來獲得共用密鑰，可以用該共用密鑰對非公開區(qū)域進行解密。
在(例1)中，具有對每個非公開區(qū)域容易進行個別加密的優(yōu)點，在(例2)中，具有處理負擔比(例1)輕的優(yōu)點。
無論通過(例1)、(例2)的哪一個，具有私有密鑰的人可以對非公開區(qū)域進行解密來觀看，而沒有私有密鑰的人不能觀看非公開區(qū)域。即，即使經(jīng)由相同的網(wǎng)絡(luò)來發(fā)送圖像，也只有指定的人才可以觀看非公開區(qū)域。
再有，本實施例的通信裝置和接收信息處理裝置中的通信形態(tài)可以是電視電話那樣的同步式通信，也可以是郵件那樣的非同步式通信。
在這些通信形態(tài)中，在接收端的信息處理裝置中，都存在記錄本實施例的通信裝置發(fā)送的發(fā)送數(shù)據(jù)的情況。
這種情況下，圖像序列和與其相關(guān)聯(lián)的描述被同時接收，并且被記錄，然后，即使在希望僅重放公開的場所的情況下，也不需要特意用快速發(fā)送等來檢索整個圖像序列，只要僅檢索內(nèi)容描述數(shù)據(jù)就足夠了，操作處理十分容易。
因此，根據(jù)本實施例，可以非常簡便、高效率并且高速地進行檢索。
而且，由于是上述流形式，所以圖像本身的管理也容易。例如，作為元數(shù)據(jù)，除了公開控制信息以外，還可以包含通信的時間日期等。通過與圖像一起取得這些元數(shù)據(jù)，從而不丟失元數(shù)據(jù)中描述的時間日期和公開控制信息這樣的信息，沒有放置錯誤或被除去的危險。
因此，在接收端的信息處理裝置中，在由記錄單元進行記錄的情況下，不用另一個文件來保存有關(guān)內(nèi)容描述的信息，而可以進行基于文件自身的管理。由此，即使在已記錄的情況下，用戶也不需要預(yù)先具有有關(guān)內(nèi)容的描述，就可以取得必要的圖像數(shù)據(jù)。
如上所述，根據(jù)本發(fā)明第1實施例的通信方法，對于圖像序列來說，存在于其關(guān)聯(lián)的元數(shù)據(jù)，其中包含公開控制信息，所以在記錄該數(shù)據(jù)的情況下容易進行一元管理，而且即使在以后檢索內(nèi)容的情況下，也可以使用元數(shù)據(jù)的信息僅檢索已公開的地方，所以可以進行效率非常高的檢索。
再有，在本實施例中，舉例說明了通信單元7進行雙向通信的情況，但從用戶1向?qū)Ψ綄D像數(shù)據(jù)進行單方向通信的視頻郵件等中也可以采用本發(fā)明。
這種情況下，對方的信息處理裝置可以僅具有接收發(fā)送的圖像數(shù)據(jù)并進行畫面顯示的結(jié)構(gòu)。
(第2實施例)下面，作為第2實施例，公開了在本發(fā)明的通信裝置的發(fā)送對方是2以上的通信裝置，進行對一部分對方裝置進行公開，對另一部分對方裝置不進行公開這樣的控制情況下的有效方法。
這種情況下，在發(fā)送端的通信裝置和接收端的通信裝置之間，插入控制這些裝置間通信的本發(fā)明的通信控制裝置。該通信控制裝置也包含在本發(fā)明的‘通信裝置’中。
圖13是實現(xiàn)本發(fā)明第2實施例的通信方法的通信控制裝置的方框圖。
這里，如圖16所示，假設(shè)由圖13所示的通信控制裝置25來控制通信裝置A、通信裝置B、通信裝置C這三個裝置間的通信。
如圖13所示，通信控制裝置25由通信單元16、接收數(shù)據(jù)處理單元17、記錄單元18、發(fā)送數(shù)據(jù)處理單元19、控制單元20構(gòu)成。
這里，如圖16所示，通信單元16通過通信路徑與三個通信裝置A、B、C進行數(shù)據(jù)的發(fā)送接收。再有，這里的通信模式是任意的，例如可以是電視電話這樣的同步式通信或是郵件這樣的非同步式通信。
此外，作為網(wǎng)絡(luò)的形態(tài)，不僅是圖16所示的形態(tài)，也可以是圖18所示的形態(tài)。此時，通信裝置B、C存在于相同的網(wǎng)絡(luò)上，僅通信裝置A通過通信控制裝置25連接到該網(wǎng)絡(luò)。
于是，通過通信裝置A，對用戶A進行攝影的未加工的(不保護非公開區(qū)域)圖像被發(fā)送到通信控制裝置25，但達到這樣的狀態(tài)，即不會有該未加工的圖像不進行任何加工就通過該網(wǎng)絡(luò)的情況，可以提高非公開區(qū)域的秘密性。
因此，作為提供IP攝像機的圖像檢測服務(wù)和活動圖像分配服務(wù)等的服務(wù)供應(yīng)商內(nèi)部的網(wǎng)絡(luò)，這樣的網(wǎng)絡(luò)形態(tài)(特別是在通信裝置A和通信控制裝置25之間)是有用的。
在圖13中，接收數(shù)據(jù)處理單元17接收來自通信裝置A、B、C的數(shù)據(jù)，對接收的元數(shù)據(jù)進行解析，取得發(fā)送數(shù)據(jù)處理單元19所需的信息。
在該數(shù)據(jù)中，除了至少有關(guān)公開、非公開的控制信息以外，還包含利用各裝置A、B、C的用戶、識別用戶所屬的利用組或利用的裝置的標記的至少一個識別信息。關(guān)于該數(shù)據(jù)，后面將詳細說明。
記錄單元18保存利用通信控制裝置的用戶、用戶所屬的利用組或利用的裝置的全部或部分信息。此外，還有本記錄單元18記錄接收時的數(shù)據(jù)的情況。
發(fā)送數(shù)據(jù)處理單元19在需要對接收數(shù)據(jù)處理單元17接收的數(shù)據(jù)的圖像序列進行加工的情況下，實施不能掌握非公開區(qū)域的細節(jié)的加工。
下面用圖14來說明在本實施例的通信方法中，通信裝置間進行通信的數(shù)據(jù)格式。
在圖14中，表示本實施例使用的元數(shù)據(jù)描述格式。在本實施例中，相對于第1實施例，附加與新的確定者有關(guān)的信息(確定者信息)。
‘確定者’是指對于區(qū)域的公開和非公開希望設(shè)定與不確定者不同的值的用戶，這些不同的值包括例如有關(guān)用戶的信息、利用組信息、所屬機關(guān)信息、包含電子地址的地址信息、終端識別信息等。
這里，在MPEG-7中，將使用通信數(shù)據(jù)的對象的總稱叫做‘自主體(Agent)’。而且，如圖14所示，在區(qū)域信息中，除了對不確定者公開控制信息以外，還包含對確定者公開控制信息。
再有，就公開控制信息的內(nèi)容來說，與第1實施例相同。
于是，通過以圖14的格式來修正第1實施例，例如在將數(shù)據(jù)從通信裝置A發(fā)送到通信裝置B、C的情況下，將通信裝置B的用戶設(shè)定為‘確定者’，對通信裝置B的用戶進行與不確定者(通信裝置A、C的用戶)不同的處理，可以控制公開和非公開。
圖15表示用MPEG-7形式來描述圖14的元數(shù)據(jù)描述格式的例子。這里，與第1實施例的圖4相比，作為確定者信息，追加使用新的‘Person Group DS’。
在該Person Group DS中，作為確定者的信息，例如可以提供表示自己的朋友組的唯一名字。
再有，在本實施例中，說明了組的唯一名字被預(yù)先提供的例子，但也可以在該元數(shù)據(jù)中定義。這種情況下，對于組來說，在Person Group DS中定義可包含什么樣的成員。
再有，作為確定者信息，這里論述了Person Group DS，但除此以外，在MPEG-7中，有表示人物的‘Person DS’、表示機關(guān)的‘Organization DS’、作為使用通信數(shù)據(jù)的對象的總稱來定義的‘Agent DS’、表示場所的‘PlaceDS’，但無論是哪一個，只要是確定用戶的信息，就都具有與Person Group DS的例子同等的效果，包含在本發(fā)明中。
下面，說明對于上述元數(shù)據(jù)描述中的確定者信息，本實施例的通信控制裝置25依據(jù)通信對方A、B、C來控制圖像序列的公開和非公開的流程。
圖16是表示通過通信控制裝置25由至少三個通信裝置A、B、C進行發(fā)送接收情況下的模式圖。
這里，設(shè)從通信裝置A向通信裝置B、C發(fā)送數(shù)據(jù)。并且，設(shè)關(guān)注區(qū)域為臉部區(qū)域。
而且，在從通信裝置A發(fā)送的元數(shù)據(jù)中，作為確定者信息，設(shè)定用戶B的識別信息。
這種情況下，在從通信裝置A向通信裝置B、C通過通信控制裝置25發(fā)送數(shù)據(jù)的情況下，作為發(fā)送數(shù)據(jù)，如數(shù)據(jù)29那樣，關(guān)注區(qū)域被以公開的形式進行發(fā)送。
然后，通信控制裝置25的接收數(shù)據(jù)處理單元17(參照圖13)從元數(shù)據(jù)中取得識別信息和公開控制信息，發(fā)送數(shù)據(jù)處理單元19在發(fā)送目的地是用戶B的情況下根據(jù)確定者的公開控制信息，將關(guān)注區(qū)域以公開的數(shù)據(jù)30的形式來發(fā)送。而發(fā)送數(shù)據(jù)處理單元19對于不是確定者的用戶C，如數(shù)據(jù)31那樣實施使非公開的區(qū)域的臉部區(qū)域的細節(jié)無法知道的加工后進行發(fā)送。
在該確定者信息中，還可以設(shè)定不是用戶的利用組。該利用組是通常的電子郵件系統(tǒng)中的郵件表格，在通信控制裝置25的記錄單元18中設(shè)定該信息。圖17表示這樣的組的設(shè)定例。
這種情況下，如圖17所示，組的信息成為每個組的表格構(gòu)造，但除此以外，對于用戶的表格來說，也可以是提供該用戶屬于哪個組的識別信息的表格形式。
此外，也可以是在與各通信目的地通信時進行與組或所屬有關(guān)的信息的交換，將其中途結(jié)果的信息保存在記錄單元18中的形式。
無論如何，在通信控制裝置25中，只要是可以識別利用組的識別信息，就包含在本發(fā)明中。
如上所述，根據(jù)本實施例的通信方法，對于確定者和不確定者，可以按各自的區(qū)域的公開狀態(tài)來發(fā)送圖像。
因此，在為了保密而希望對確定者進行非公開的情況下，用戶可以進行非公開，而在僅希望對確定者公開的情況下，可以進行公開，可進行用戶使用非常方便的考慮了保密的通信方法。
如上所述，根據(jù)本發(fā)明，在各種狀況下，可確保保密并同時進行圖像的通信。
權(quán)利要求
1.一種圖像的通信方法，使一張以上的圖像構(gòu)成的圖像序列和所述圖像序列的至少一張圖像相關(guān)聯(lián)，并且進行與圖像的公開或非公開有關(guān)的控制信息的通信，其中該控制信息與包含圖像內(nèi)的被攝體的一部分或全部的關(guān)注區(qū)域和非關(guān)注區(qū)域的某一個或雙方相關(guān)聯(lián)，該控制信息包含是否公開相關(guān)聯(lián)的區(qū)域的信息。
2.如權(quán)利要求1所述的使用圖像的通信方法，其中，對于根據(jù)控制信息進行非公開的區(qū)域，實施加工，以便不能掌握區(qū)域的細節(jié)。
3.如權(quán)利要求1或2所述的使用圖像的通信方法，其中，圖像序列是編碼的活動圖像。
4.如權(quán)利要求2所述的使用圖像的通信方法，其中，所述加工是使進行非公開的區(qū)域的圖像質(zhì)量變?yōu)閳D像質(zhì)量低的圖像處理。
5.如權(quán)利要求4所述的使用圖像的通信方法，其中，所述加工是將進行非公開的區(qū)域的解像度變換成低解像度的處理。
6.如權(quán)利要求4所述的使用圖像的通信方法，其中，所述加工是除去進行非公開的區(qū)域或通過二進制處理的表現(xiàn)變換處理。
7.如權(quán)利要求2所述的使用圖像的通信方法，其中，所述加工是對進行非公開的區(qū)域進行加密的處理。
8.如權(quán)利要求4所述的使用圖像的通信方法，其中，圖像是編碼的活動圖像，所述加工是在進行編碼時控制進行公開及非公開的區(qū)域的編碼參數(shù)的處理。
9.如權(quán)利要求1所述的使用圖像的通信方法，其中，關(guān)注區(qū)域是膚色區(qū)域。
10.如權(quán)利要求1所述的使用圖像的通信方法，其中，關(guān)注區(qū)域是包含臉部和頭部的一部分或全部的區(qū)域。
11.如權(quán)利要求1所述的使用圖像的通信方法，其中，進行非公開的區(qū)域是包含臉部和頭部的一部分或全部的區(qū)域，所述加工是重疊目標的處理，以便覆蓋進行非公開的區(qū)域的一部分或全部區(qū)域。
12.一種使用圖像的通信方法，使一張以上的圖像構(gòu)成的圖像序列和所述圖像序列的至少一張圖像相關(guān)聯(lián)，并且進行與圖像的公開或非公開有關(guān)的控制信息的通信，其中所述控制信息除了不確定的用戶以外，還包含對確定的用戶的有關(guān)公開和非公開的信息。
13.如權(quán)利要求12所述的使用圖像的通信方法，其中，對確定的用戶的有關(guān)公開和非公開的信息至少由在與利用圖像序列的用戶有關(guān)的信息、利用組信息、所述機關(guān)信息、包含電子地址的地址信息、終端識別信息、存取圖像的自主體信息中的一種或兩種以上的組合來構(gòu)成。
14.如權(quán)利要求12所述的使用圖像的通信方法，其中，對確定的用戶的有關(guān)公開和非公開的信息包含對非公開區(qū)域加密的密鑰本體、對所述密鑰本體加密的信息、與對非公開區(qū)域加密的密鑰有關(guān)的證明書信息或?qū)λ鲎C明書加密的信息中的其中一個信息。
15.如權(quán)利要求1所述的使用圖像的通信方法，其中，在與確定圖像的用戶進行通信的情況下，根據(jù)與該確定的用戶有關(guān)的公開和非公開的控制信息，來控制相關(guān)聯(lián)的區(qū)域的公開。
16.如權(quán)利要求1所述的使用圖像的通信方法，其中，控制信息是用與圖像序列的至少一張圖像相關(guān)聯(lián)的元數(shù)據(jù)形式描述的數(shù)據(jù)。
17.如權(quán)利要求16所述的使用圖像的通信方法，其中，將元數(shù)據(jù)以標準化的格式來描述。
18.如權(quán)利要求17所述的使用圖像的通信方法，其中，標準化的格式是MPEG-7格式。
19.一種通信裝置，包括通信單元，通過通信路徑，與對方的通信裝置進行數(shù)據(jù)通信；記錄單元，記錄由一張以上的圖像構(gòu)成的圖像序列；輸入單元，對于構(gòu)成圖像的一部分或全部的確定的區(qū)域，輸入表示是否向?qū)Ψ焦_的公開控制信息；以及發(fā)送數(shù)據(jù)處理單元，根據(jù)公開控制信息，形成實施加工后的發(fā)送數(shù)據(jù)，使得對方不能掌握圖像中進行非公開的區(qū)域的細節(jié)，使用所述通信單元將該發(fā)送數(shù)據(jù)發(fā)送到對方的通信裝置。
20.如權(quán)利要求19所述的通信裝置，其中，所述公開控制信息僅由對不確定者的公開控制信息構(gòu)成。
21.如權(quán)利要求20所述的通信裝置，其中，所述公開控制信息包含對確定者的公開控制信息。
22.如權(quán)利要求19所述的通信裝置，其中，所述公開控制信息作為基于MPEG-7格式的元數(shù)據(jù)來描述。
全文摘要
一種通信方法，使一張以上的圖像構(gòu)成的圖像序列和所述圖像序列的圖像相關(guān)聯(lián)，并且進行與圖像的公開或非公開有關(guān)的控制信息的通信?？刂菩畔⑹鞘古c包含圖像內(nèi)的被攝體的一部分或全部的關(guān)注區(qū)域和非關(guān)注區(qū)域的某一個或雙方相關(guān)聯(lián)，并且是否公開區(qū)域的信息。還與對不確定/確定的用戶的公開和非公開相對應(yīng)。
文檔編號H04N7/24GK1419377SQ0215029
公開日2003年5月21日 申請日期2002年11月11日 優(yōu)先權(quán)日2001年11月13日
發(fā)明者今川和幸, 松尾英明, 高田雄二, 巖佐克博, 西隆曉, 福宮英二 申請人:松下電器產(chǎn)業(yè)株式會社