本公開涉及圖像處理裝置、圖像處理方法和程序。

背景技術(shù)：

用于數(shù)字相機(jī)等的相機(jī)抖動(dòng)校正技術(shù)例如在專利文獻(xiàn)1中說明的那樣已經(jīng)是常見的。相機(jī)抖動(dòng)校正技術(shù)的已知示例是使用安裝于圖像拍攝裝置上的陀螺儀傳感器來檢測相機(jī)抖動(dòng)、然后驅(qū)動(dòng)校正透鏡以朝消除相機(jī)抖動(dòng)的方向移動(dòng)光軸的光學(xué)技術(shù)。還已知檢測所拍攝的圖像中的相機(jī)抖動(dòng)、然后切出區(qū)域以用于一致的目標(biāo)區(qū)域的電子相機(jī)抖動(dòng)校正技術(shù)。

引文列表

專利文獻(xiàn)1：日本特開2009-272890號公報(bào)

技術(shù)實(shí)現(xiàn)要素：

上述相機(jī)抖動(dòng)校正技術(shù)使得即使當(dāng)在圖像拍攝裝置抖動(dòng)的環(huán)境中拍攝圖像的情況下也能夠記錄穩(wěn)定的圖像。同時(shí)，經(jīng)過相機(jī)抖動(dòng)校正的圖像可能無法充分再現(xiàn)在圖像拍攝時(shí)感覺到的真實(shí)感。上述技術(shù)能夠在圖像拍攝時(shí)選擇是否校正相機(jī)抖動(dòng)，但是難以在拍攝和記錄圖像之后改變關(guān)于是否應(yīng)用相機(jī)抖動(dòng)校正的選擇。當(dāng)再現(xiàn)圖像時(shí)，無法充分再現(xiàn)用戶期望的穩(wěn)定性或真實(shí)感。

因此，本公開提出了一種新穎的和改進(jìn)過的圖像處理裝置、圖像處理方法和程序，其能夠再現(xiàn)添加有用戶所期望的效果的圖像。

根據(jù)本公開，提供一種圖像處理裝置，包括：圖像反向穩(wěn)定化處理單元，被配置成根據(jù)關(guān)于圖像的抖動(dòng)的抖動(dòng)信息對該圖像添加表現(xiàn)抖動(dòng)的效果。

另外，根據(jù)本公開，提供一種圖像處理裝置，包括：圖像反向穩(wěn)定化處理單元，被配置成根據(jù)觀察者針對圖像的沉浸感的期望值，決定要被添加到該圖像的表現(xiàn)抖動(dòng)的效果的程度。

另外，根據(jù)本公開，提供一種圖像處理方法，包括：由處理器根據(jù)關(guān)于圖像的抖動(dòng)的抖動(dòng)信息，對該圖像添加表現(xiàn)抖動(dòng)的效果。

根據(jù)本公開，提供一種圖像處理方法，包括：由處理器根據(jù)觀察者針對圖像的沉浸感的期望值，決定要被添加到該圖像的表現(xiàn)抖動(dòng)的效果的程度。

另外，根據(jù)本公開，提供一種程序，用于使計(jì)算機(jī)執(zhí)行：根據(jù)關(guān)于圖像的抖動(dòng)的抖動(dòng)信息對該圖像添加表現(xiàn)抖動(dòng)的效果的功能。

另外，根據(jù)本公開，提供一種程序，用于使計(jì)算機(jī)執(zhí)行：根據(jù)觀察者針對圖像的沉浸感的期望值決定要被添加到該圖像的表現(xiàn)抖動(dòng)的效果的程度的功能。

如上所述，根據(jù)本公開，能夠再現(xiàn)添加有用戶所期望的效果的圖像。

注意上述效果并非限定。與上述效果一起或代替上述效果，可以實(shí)現(xiàn)本說明書中說明的任意的效果或者可以從本說明書掌握的其它效果。

附圖說明

圖1是示出根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的功能結(jié)構(gòu)示例的原理框圖。

圖2是示出本公開的第1實(shí)施方式的記錄處理的示例的流程圖。

圖3是示出本公開的第1實(shí)施方式的再現(xiàn)處理的示例的流程圖。

圖4是更詳細(xì)地示出用于在根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)中執(zhí)行記錄處理的功能結(jié)構(gòu)的框圖。

圖5是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的解復(fù)用器和解碼模塊的功能結(jié)構(gòu)的框圖。

圖6是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的沉浸度計(jì)算模塊的功能結(jié)構(gòu)的框圖。

圖7是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的圖像反向穩(wěn)定化模塊的功能結(jié)構(gòu)的框圖。

圖8是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的顯示模塊的功能結(jié)構(gòu)的框圖。

圖9是用于進(jìn)一步說明在根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)中計(jì)算沉浸度的處理的圖。

圖10是示出本公開的第1實(shí)施方式中的圖像顯示的第1示例的圖。

圖11是示出本公開的第1實(shí)施方式中的圖像顯示的第2示例的圖。

圖12是示出根據(jù)本公開的第2實(shí)施方式的圖像處理系統(tǒng)的功能結(jié)構(gòu)示例的原理框圖。

圖13是示出本公開的第2實(shí)施方式中的記錄處理的示例的流程圖。

圖14是示出本公開的第2實(shí)施方式中的再現(xiàn)處理的示例的流程圖。

圖15是示出根據(jù)本公開的第3實(shí)施方式的圖像處理系統(tǒng)的功能結(jié)構(gòu)示例的原理框圖。

圖16是示出根據(jù)本公開的實(shí)施方式的圖像處理裝置的硬件配置示例的框圖。

具體實(shí)施方式

在下文中，將參照附圖詳細(xì)說明本公開的優(yōu)選的一個(gè)或多個(gè)實(shí)施方式。在本說明書和附圖中，用相同的附圖標(biāo)記表示具有實(shí)質(zhì)上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)部件，并且省略對這些結(jié)構(gòu)部件的重復(fù)說明。

將按照以下順序進(jìn)行說明。

第1實(shí)施方式

1-1.功能結(jié)構(gòu)

1-2.處理流程

1-3.各單元的詳細(xì)功能結(jié)構(gòu)

1-4.計(jì)算沉浸度的處理

1-5.顯示例

2.第2實(shí)施方式

3.第3實(shí)施方式

4.硬件配置

5.補(bǔ)充信息

(1.第1實(shí)施方式)

(1-1.功能結(jié)構(gòu))

圖1是示出根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的功能結(jié)構(gòu)示例的原理框圖。圖1示出圖像處理系統(tǒng)100包括信號捕獲和處理模塊110、編碼和復(fù)用器模塊120、存儲(chǔ)器模塊130、解復(fù)用器和解碼模塊140、沉浸度計(jì)算模塊150、圖像反向穩(wěn)定化模塊160以及顯示模塊190。沉浸度計(jì)算模塊150接收模式設(shè)置170和觀眾環(huán)境設(shè)置180。以下詳細(xì)討論各部件。

上述圖像處理系統(tǒng)100的功能結(jié)構(gòu)例如可以由單個(gè)圖像處理裝置實(shí)現(xiàn)，或者可以由多個(gè)圖像處理裝置分散實(shí)現(xiàn)。例如，上述圖像處理系統(tǒng)100的整體功能結(jié)構(gòu)可以在諸如數(shù)字相機(jī)或配備有相機(jī)的智能手機(jī)或平板電腦的終端裝置中實(shí)現(xiàn)。在這種情況下，可以在終端裝置本身上瀏覽由終端裝置拍攝并經(jīng)過反向穩(wěn)定化處理的圖像。存儲(chǔ)器模塊130可以內(nèi)置于終端裝置，或者可以是可移除記錄介質(zhì)。

同時(shí)，例如，圖像處理系統(tǒng)100的功能結(jié)構(gòu)可以由終端裝置和服務(wù)器裝置分散地實(shí)現(xiàn)。在這種情況下，例如，信號捕獲和處理模塊110和顯示模塊190可以在終端裝置中實(shí)現(xiàn)，這兩者之間的功能結(jié)構(gòu)(即，編碼和復(fù)用器模塊120、存儲(chǔ)器模塊130、解復(fù)用器和解碼模塊140、沉浸度計(jì)算模塊150和圖像反向穩(wěn)定化模塊160)可以由一個(gè)或多個(gè)服務(wù)器裝置實(shí)現(xiàn)。終端裝置與服務(wù)器裝置之間的通信以及服務(wù)器裝置之間的通信經(jīng)由包括因特網(wǎng)、Wi-Fi和藍(lán)牙(注冊商標(biāo))的各種有線或無線網(wǎng)絡(luò)來執(zhí)行。

編碼和復(fù)用器模塊120、存儲(chǔ)器模塊130、解復(fù)用器和解碼模塊140、沉浸度計(jì)算模塊150和圖像反向穩(wěn)定化模塊160中的一些可以在終端裝置中實(shí)現(xiàn)。在這種情況下，實(shí)現(xiàn)信號捕獲和處理模塊110的終端裝置與實(shí)現(xiàn)顯示模塊190的終端裝置不同。例如，信號捕獲和處理模塊110在數(shù)字相機(jī)中實(shí)現(xiàn)，顯示模塊190可以在與數(shù)字相機(jī)不同的個(gè)人計(jì)算機(jī)中實(shí)現(xiàn)。

(1-2.處理流程)

圖2是示出本公開的第1實(shí)施方式的記錄處理的示例的流程圖。圖2示出信號捕獲和處理模塊110首先捕獲圖像拍攝裝置的運(yùn)動(dòng)(S101)，并捕獲音頻和圖像(S102)。此外，信號捕獲和處理模塊110按照在S101中獲取的運(yùn)動(dòng)來穩(wěn)定圖像(S103)，并且編碼和復(fù)用器模塊120對音頻和圖像進(jìn)行編碼和復(fù)用(S104)。然后，存儲(chǔ)器訪問(S105)使音頻和圖像的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器模塊130中。

此處，在本實(shí)施方式中，指示S103的圖像穩(wěn)定化中的幀圖像的移動(dòng)量的向量與穩(wěn)定過的圖像的數(shù)據(jù)一起被編碼和復(fù)用(S104)，并存儲(chǔ)在存儲(chǔ)器模塊130中(S105)。該向量被用于后述的再現(xiàn)時(shí)的處理。

圖3是示出本公開的第1實(shí)施方式的再現(xiàn)處理的示例的流程圖。圖3示出解復(fù)用器和解碼模塊140首先對從存儲(chǔ)器模塊130讀出的圖像和音頻的數(shù)據(jù)進(jìn)行解復(fù)用和解碼(S121)。此時(shí)，存儲(chǔ)在存儲(chǔ)器模塊130中的穩(wěn)定化向量的數(shù)據(jù)與圖像和音頻的數(shù)據(jù)一起被讀出，并被解碼和解復(fù)用。

接下來，在反向穩(wěn)定化之前決定適合于要被再現(xiàn)的圖像的顯示的沉浸度。以下討論沉浸度的定義。沉浸度計(jì)算模塊150根據(jù)模式設(shè)置170確定模式(S122)。如果模式是“手動(dòng)”，沉浸度計(jì)算模塊150手動(dòng)設(shè)置沉浸度(S123)。此處設(shè)置的沉浸度的值可以是例如通過用戶操作而輸入的值。同時(shí)，如果S122中的確定表示模式是“自動(dòng)”，則沉浸度計(jì)算模塊150分析圖像(S124)并自動(dòng)計(jì)算沉浸度(S125)。

圖像反向穩(wěn)定化模塊160根據(jù)在S125中通過沉浸度計(jì)算模塊150自動(dòng)計(jì)算出的沉浸度、或者在S123中通過沉浸度計(jì)算模塊150手動(dòng)設(shè)置的沉浸度，對圖像進(jìn)行反向穩(wěn)定(S126)。此外，顯示模塊190顯示反向穩(wěn)定過的圖像(S127)。

(1-3.各單元的詳細(xì)功能結(jié)構(gòu))

圖4是更詳細(xì)地示出用于在根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)中執(zhí)行記錄處理的功能結(jié)構(gòu)的框圖。以下參照圖4，主要對信號捕獲和處理模塊110以及編碼和復(fù)用器模塊120的結(jié)構(gòu)更詳細(xì)地進(jìn)行說明。

信號捕獲和處理模塊110包括透鏡111、陀螺儀傳感器112、成像器傳感器113、麥克風(fēng)114和圖像穩(wěn)定化處理單元115。成像器傳感器113通過透鏡111接收光，并生成圖像數(shù)據(jù)。陀螺儀傳感器112檢測包括透鏡111的殼體的振動(dòng)。按照由陀螺儀傳感器112檢測到的振動(dòng)，移動(dòng)被包含于透鏡111的校正透鏡，從而實(shí)現(xiàn)使光軸朝消除抖動(dòng)的方向移動(dòng)的光學(xué)相機(jī)抖動(dòng)校正(圖像穩(wěn)定化)。盡管未圖示，也可以通過移動(dòng)成像器傳感器113來實(shí)現(xiàn)光學(xué)相機(jī)抖動(dòng)校正。

圖像穩(wěn)定化處理單元115按照由陀螺儀傳感器112檢測到的振動(dòng)，對從成像器傳感器113輸出的圖像應(yīng)用電子相機(jī)抖動(dòng)校正(穩(wěn)定圖像)。更具體而言，圖像穩(wěn)定化處理單元115以將比從成像器傳感器113提供的輸入圖像的區(qū)域小的區(qū)域用作輸出圖像的區(qū)域并使被包含于輸出圖像的目標(biāo)區(qū)域固定的方式，執(zhí)行從輸入圖像切出輸出圖像的區(qū)域的處理。此處，圖像穩(wěn)定化處理單元115可以按照通過陀螺儀傳感器112檢測振動(dòng)而獲得的結(jié)果來決定要切出的區(qū)域，或者可以根據(jù)圖像的分析來決定要切出的區(qū)域。

由圖像穩(wěn)定化處理單元115穩(wěn)定過的圖像被輸入到編碼和復(fù)用器模塊120的圖像編碼單元122。在本實(shí)施方式中，從陀螺儀傳感器112提供到圖像穩(wěn)定化處理單元115并指示殼體的振動(dòng)的向量、或者與由圖像穩(wěn)定化處理單元115執(zhí)行的圖像穩(wěn)定化處理對應(yīng)的向量(例如，指示從輸入圖像切出的輸出圖像的位置從中心偏移的向量)被輸入到編碼和復(fù)用器模塊120的穩(wěn)定化向量編碼單元121。上述各向量也被稱作穩(wěn)定化向量。此外，由麥克風(fēng)114獲取并與圖像對應(yīng)的音頻數(shù)據(jù)被輸入到編碼和復(fù)用器模塊120的音頻編碼單元123。

此處，上述相機(jī)抖動(dòng)校正(圖像穩(wěn)定化)處理能夠是去除圖像拍攝時(shí)的由圖像拍攝裝置的抖動(dòng)造成的影響的至少一部分的處理。該處理允許圖像穩(wěn)定化處理單元115輸出穩(wěn)定過的圖像。在這種情況下，圖像是去除了由圖像拍攝裝置的抖動(dòng)造成的影響的至少一部分的圖像。如下所述，圖像反向穩(wěn)定化模塊160對圖像添加表現(xiàn)抖動(dòng)的效果，從而在圖像中再現(xiàn)圖像拍攝裝置的抖動(dòng)。穩(wěn)定化向量是指示在圖像拍攝時(shí)發(fā)生的圖像拍攝裝置的抖動(dòng)的圖像拍攝裝置抖動(dòng)信息的示例。

編碼和復(fù)用器模塊120包括穩(wěn)定化向量編碼單元121、圖像編碼單元122、音頻編碼單元123和復(fù)用器124。如上所述，各編碼單元對從信號捕獲和處理模塊110提供的圖像數(shù)據(jù)、音頻數(shù)據(jù)以及穩(wěn)定化向量進(jìn)行編碼。復(fù)用器124對由各編碼單元編碼過的數(shù)據(jù)進(jìn)行復(fù)用。復(fù)用過的數(shù)據(jù)被存儲(chǔ)在被包含于存儲(chǔ)器模塊130的數(shù)據(jù)存儲(chǔ)裝置131中。

圖5是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的解復(fù)用器和解碼模塊的功能結(jié)構(gòu)的框圖。圖5示出解復(fù)用器和解碼模塊140包括解復(fù)用器141、穩(wěn)定化向量解碼單元142、圖像解碼單元143和音頻解碼單元144。

解復(fù)用器141對通過編碼和復(fù)用器模塊120而存儲(chǔ)在存儲(chǔ)器模塊130中的數(shù)據(jù)存儲(chǔ)裝置131中的數(shù)據(jù)進(jìn)行解復(fù)用，并獲取穩(wěn)定化向量的數(shù)據(jù)、圖像數(shù)據(jù)和音頻數(shù)據(jù)。相應(yīng)的解碼單元對由編碼和復(fù)用器模塊120編碼過的圖像數(shù)據(jù)、音頻數(shù)據(jù)、穩(wěn)定化向量進(jìn)行解碼。由此提供解碼過的穩(wěn)定化向量145、解碼過的圖像(穩(wěn)定過)146和解碼過的音頻147。

圖6是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的沉浸度計(jì)算模塊的功能結(jié)構(gòu)的框圖。圖6示出沉浸度計(jì)算模塊150包括運(yùn)動(dòng)分析單元151、圖像分析單元152、音頻分析單元153、顯示裝置分析單元154和沉浸感分析單元155。

運(yùn)動(dòng)分析單元151執(zhí)行基于解碼過的穩(wěn)定化向量145的分析。圖像分析單元152執(zhí)行基于解碼過的圖像(穩(wěn)定過)146的分析。音頻分析單元153執(zhí)行基于解碼過的音頻147的分析。顯示裝置分析單元154執(zhí)行基于單獨(dú)獲取的與顯示裝置有關(guān)的信息的分析。

沉浸感分析單元155根據(jù)由各分析單元執(zhí)行的分析的結(jié)果，執(zhí)行對沉浸感的分析。此時(shí)，沉浸感分析單元155還使用模式設(shè)置(自動(dòng)/手動(dòng))170和觀眾環(huán)境設(shè)置180作為輸入。沉浸感分析單元155根據(jù)分析的結(jié)果輸出沉浸度157。以下，討論沉浸感分析部155中的分析處理的具體示例。

圖7是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的圖像反向穩(wěn)定化模塊的功能結(jié)構(gòu)的框圖。圖7示出圖像反向穩(wěn)定化模塊160包括圖像反向穩(wěn)定化單元161。圖像反向穩(wěn)定化單元161根據(jù)沉浸度157執(zhí)行圖像反向穩(wěn)定化處理。圖像反向穩(wěn)定化單元161使用解碼過的穩(wěn)定化向量145和解碼過的圖像(穩(wěn)定過)146作為輸入。圖像反向穩(wěn)定化單元161輸出反向穩(wěn)定過的圖像162。

此處，圖像反向穩(wěn)定化模塊160是根據(jù)關(guān)于圖像的抖動(dòng)的抖動(dòng)信息對圖像添加表現(xiàn)抖動(dòng)的效果的圖像反向穩(wěn)定化處理單元的示例。抖動(dòng)信息是指示在拍攝圖像時(shí)發(fā)生的圖像拍攝裝置的抖動(dòng)的圖像拍攝裝置抖動(dòng)信息。換言之，抖動(dòng)信息能夠包括穩(wěn)定化向量145。如下所述，圖像反向穩(wěn)定化模塊160根據(jù)通過沉浸度計(jì)算模塊150計(jì)算出的沉浸度157來決定上述效果的程度。在本實(shí)施方式中，沉浸度157代表關(guān)于圖像的捕獲環(huán)境的捕獲環(huán)境信息、或者關(guān)于圖像的觀眾環(huán)境的觀眾環(huán)境信息。

圖像反向穩(wěn)定化模塊160也能夠是根據(jù)觀察者對圖像的沉浸感的期望值來決定要對圖像添加的表現(xiàn)抖動(dòng)的效果的程度的圖像反向穩(wěn)定化處理單元的示例。在本實(shí)施方式中，沉浸度157代表沉浸感的期望值。如下所述，沉浸度計(jì)算模塊150根據(jù)指示圖像的捕獲環(huán)境的捕獲環(huán)境信息、或者指示圖像的觀眾環(huán)境的觀眾環(huán)境信息來決定沉浸度157。

圖8是更詳細(xì)地示出被包含于根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)的顯示模塊的功能結(jié)構(gòu)的框圖。圖8示出顯示模塊190包括顯示I/O191。顯示I/O191根據(jù)反向穩(wěn)定過的圖像162和解碼過的音頻147顯示圖像并輸出音頻。或者，顯示I/O191將圖像信號和音頻信號發(fā)送到外部連接的顯示裝置。

(1-4.計(jì)算沉浸度的處理)

圖9是用于進(jìn)一步說明在根據(jù)本公開的第1實(shí)施方式的圖像處理系統(tǒng)中計(jì)算沉浸度的處理的圖。以下對使用被包含于沉浸度計(jì)算模塊150的運(yùn)動(dòng)分析單元151、圖像分析單元152、音頻分析單元153、顯示裝置分析單元154、沉浸感分析單元155和觀眾環(huán)境設(shè)置180的分析進(jìn)行說明。

此處，在本說明書中，沉浸度是觀察者對所顯示的圖像的沉浸感的期望值。沉浸感可以被解釋為例如印象深刻、身臨其境之感等。旨在使觀察者感覺他們更沉浸(更令人印象深刻、或者更逼真)的圖像因此具有更高的適合于顯示的沉浸度。例如，能夠從內(nèi)容的細(xì)節(jié)、場景、圖像的顏色等計(jì)算適合于顯示圖像的沉浸度。

運(yùn)動(dòng)分析單元151按照穩(wěn)定化向量(圖像的幀的移動(dòng)向量)的方向、大小或者其趨勢，輸出用于計(jì)算沉浸度的值。也就是說，在本實(shí)施方式中由沉浸度157代表的捕獲環(huán)境信息能夠包括關(guān)于圖像的幀的移動(dòng)向量的信息。運(yùn)動(dòng)分析單元151使用向量變化量(VC)和每個(gè)運(yùn)動(dòng)類型的權(quán)重用于分析。向量變化量(VC)是用于將諸如向量范數(shù)的變化或角度的變化的、從原始穩(wěn)定化向量提取的特征映射到輸出值的函數(shù)。在預(yù)先生成的表中定義每個(gè)運(yùn)動(dòng)類型的權(quán)重(MW)。例如根據(jù)運(yùn)動(dòng)分析的結(jié)果，決定要定義的運(yùn)動(dòng)類型。在示出的例子中，對“加速”的運(yùn)動(dòng)設(shè)置權(quán)重MW1。此時(shí)，運(yùn)動(dòng)分析單元151根據(jù)向量變化量的輸出VC和針對運(yùn)動(dòng)類型的權(quán)重MW1，輸出VC*MW1的值。

更具體而言，可以例如對較大的運(yùn)動(dòng)輸出較大的值(VC*MW)的方式設(shè)置運(yùn)動(dòng)分析單元151。在這種情況下，例如可以對較大的運(yùn)動(dòng)輸出較大的值的方式來設(shè)置向量變化量(VC)，或者可以對較大的運(yùn)動(dòng)設(shè)置較大的權(quán)重(MW)。

另外，可以輸出值(VC*MW)按照運(yùn)動(dòng)類型(諸如垂直和水平移動(dòng)或旋轉(zhuǎn))而變化的方式設(shè)置運(yùn)動(dòng)分析單元151。例如，可以對垂直和水平移動(dòng)輸出較大的值(VC*MW)以易于反向穩(wěn)定化的方式來設(shè)置運(yùn)動(dòng)分析單元151，同時(shí)可以對旋轉(zhuǎn)運(yùn)動(dòng)輸出較小的值(VC*MW)以使反向穩(wěn)定化困難(即圖像穩(wěn)定)的方式來設(shè)置運(yùn)動(dòng)分析單元151。

圖像分析單元152按照由圖像所指示的特征輸出用于計(jì)算沉浸度的值。也就是說，在本實(shí)施方式中，由沉浸度157代表的捕獲環(huán)境信息能夠包括由圖像所指示的圖像特征。圖像分析單元152使用圖像變化量(IC)和每個(gè)場景類型的權(quán)重用于分析。圖像變化量(IC)是用于將諸如亮度的變化或顏色分布的變化的、從原始的輸入圖像提取的特征映射到輸出值的函數(shù)。也就是說，在本實(shí)施方式中，圖像特征能夠包括圖像的亮度或顏色特征。另外，圖像特征可以包括場景類型。在預(yù)先生成的表中定義每個(gè)場景類型的權(quán)重(SW)。例如根據(jù)場景分析的結(jié)果，決定要定義的場景類型。在示出的例子中，對“滑雪”的場景設(shè)置權(quán)重SW2。此時(shí)，圖像分析單元152根據(jù)圖像變化量的輸出IC和針對場景類型的權(quán)重SW2，輸出IC*SW2的值。

更具體而言，可以例如對諸如體育或滑雪的場景輸出較大的值(IC*SW)以易于反向穩(wěn)定化的方式來設(shè)置圖像分析單元152。在這種情況下，例如可以使上述場景的亮度或顏色分布的變化被顯著反映的方式設(shè)置圖像變化量(IC)，或者可以對上述場景類型設(shè)置更大的權(quán)重(SW)。

可以當(dāng)顏色分布顯著變化時(shí)輸出較大的值(IC*SW)以易于反向穩(wěn)定化的方式來設(shè)置圖像分析單元152。同時(shí)，可以當(dāng)顏色分布經(jīng)歷變化很少時(shí)輸出較小的值(IC*SW)以使反向穩(wěn)定化困難的方式來設(shè)置圖像分析單元152。這是因?yàn)轭伾植嫉淖兓梢员徽J(rèn)為指示畫面如何劇烈變化。例如，在畫面經(jīng)歷很少變化的會(huì)議室拍攝的圖像在顏色分布上具有小的變化。同時(shí)，在諸如過山車的畫面劇烈變化的地方而拍攝的圖像在顏色分布上具有大的變化。

音頻分析單元153按照由伴隨圖像的音頻所指示的特征，輸出用于計(jì)算沉浸度的值。也就是說，在本實(shí)施方式中，由沉浸度157代表的捕獲環(huán)境信息能夠包括由伴隨圖像的音頻所指示的音頻特征。音頻分析單元153使用音頻變化量(AC)和針對每個(gè)音頻類型的權(quán)重用于分析。音頻變化量(AC)是用于將諸如音頻的高頻分量能量的變化或音頻的振幅的、從原始的輸入音頻提取的特征映射到輸出值的函數(shù)。也就是說，在本實(shí)施方式中，音頻特征能夠包括音頻的頻率分量、音頻的振幅或由音頻所表示的音頻類型。在預(yù)先生成的表中定義每個(gè)音頻類型的權(quán)重(AW)。例如根據(jù)音頻分析的結(jié)果，決定要定義的音頻類型。在示出的例子中，對“叫聲”的場景設(shè)置權(quán)重AW1。此時(shí)，音頻分析單元153根據(jù)音頻變化量的輸出AC和針對音頻類型的權(quán)重AW1輸出AC*AW1的值。

更具體而言，可以例如當(dāng)獲取諸如電動(dòng)機(jī)聲和漂移聲的噪聲音頻時(shí)輸出較大的值(AC*AW)以易于反向穩(wěn)定化的方式來設(shè)置音頻分析單元153。在這種情況下，例如可以使音頻的頻率分量或振幅的變化被顯著地反映的方式設(shè)置音頻變化量(AC)，或者可以對上述音頻類型設(shè)置較大的權(quán)重(AW)。同時(shí)，可以當(dāng)獲取指示安靜環(huán)境的音頻時(shí)輸出較小的值(AC*AW)以使反向穩(wěn)定化困難(即圖像穩(wěn)定)的方式來設(shè)置音頻分析單元153。

顯示裝置分析單元154使用裝置分析量(DA)和針對每個(gè)裝置類型的權(quán)重用于分析。裝置分析量(DA)是用于將例如顯示裝置的畫面的尺寸或分辨率映射到輸出值的函數(shù)。也就是說，在本實(shí)施方式中，由沉浸度157代表的觀眾環(huán)境信息能夠包括顯示有圖像的畫面的尺寸。顯示裝置的畫面的尺寸或分辨率能夠從例如指示內(nèi)置于該裝置的監(jiān)視器或投影儀的操作狀態(tài)的信息、或者經(jīng)由外部監(jiān)視器接口獲取的信息而獲得。在預(yù)先生成的表中定義針對每個(gè)裝置類型的權(quán)重(DW)。在示出的例子中，對場景“智能手機(jī)”設(shè)置權(quán)重DW3。此時(shí)，顯示裝置分析單元154根據(jù)裝置分析量的輸出值DA和針對裝置類型的權(quán)重DW3輸出DC*DW3的值。

更具體而言，可以對具有較大的尺寸和/或較高的分辨率的畫面輸出較小的值(DA*DW)以使反向穩(wěn)定化困難的方式來設(shè)置顯示裝置分析單元154。同時(shí)，可以對具有較小的尺寸和/或較低的分辨率的畫面輸出較大的值(DA*DW)以易于反向穩(wěn)定化的方式來設(shè)置顯示裝置分析單元154。這是因?yàn)楫?dāng)畫面的尺寸大或分辨率高時(shí)，通過穩(wěn)定圖像而不是使圖像逼真來減少對觀察者的負(fù)擔(dān)(諸如誘發(fā)性視覺運(yùn)動(dòng)障礙)經(jīng)常更為有用。

觀看分析量(WA)和針對每個(gè)觀眾環(huán)境設(shè)置的權(quán)重被用于使用觀眾環(huán)境設(shè)置180的分析。觀看分析量(WA)是將例如從觀察者到畫面的距離映射到輸出值的函數(shù)。也就是說，在本實(shí)施方式中，由沉浸度157代表的觀眾環(huán)境信息能夠包括從觀察者到顯示有圖像的畫面的距離。在預(yù)先生成的表中定義針對每個(gè)觀眾環(huán)境設(shè)置的權(quán)重(EW)。例如根據(jù)用戶的設(shè)置操作，能夠生成該表。在示出的例子中，對“家”的觀眾環(huán)境設(shè)置設(shè)置權(quán)重EW2。然后，在使用觀眾環(huán)境設(shè)置180的分析中，根據(jù)觀看分析量的輸出值WA和針對每個(gè)觀眾環(huán)境設(shè)置的權(quán)重EW2，輸出WA*EW2的值。

更具體而言，可以當(dāng)觀察者離畫面具有更短的距離時(shí)輸出較小的值(WA*EW)以使反向穩(wěn)定化困難的方式來設(shè)置使用觀眾環(huán)境設(shè)置180的分析。同時(shí)，可以當(dāng)觀察者離畫面具有更長的距離時(shí)輸出較大的值(WA*EW)以易于反向穩(wěn)定化的方式來設(shè)置使用觀眾環(huán)境設(shè)置180的分析。這是因?yàn)楫?dāng)觀察者靠近畫面時(shí)，通過穩(wěn)定圖像而不是使圖像逼真來減少對觀察者的負(fù)擔(dān)(諸如誘發(fā)性視覺運(yùn)動(dòng)障礙)經(jīng)常更為有用。

沉浸感分析單元155將使用運(yùn)動(dòng)分析單元151、圖像分析單元152、音頻分析單元153、顯示裝置分析單元154和觀眾環(huán)境設(shè)置180的分析的結(jié)果結(jié)合。例如，如圖所示的例子那樣，該結(jié)合能夠通過依照VC*MW1+IC*SW2+AC*AW1+DA*DW3+EA*EW2將被加權(quán)的輸出值相加來進(jìn)行。此外，沉浸度函數(shù)(ID)將結(jié)合的結(jié)果映射到沉浸度157的輸出值。沉浸度157被用于在圖像反向穩(wěn)定化模塊160中控制圖像的反向穩(wěn)定化。

此處，如圖所示，沉浸度157能夠作為連續(xù)值而輸出。圖像反向穩(wěn)定化模塊160例如按照沉浸度157的值，可以決定通過使用穩(wěn)定化向量的反向穩(wěn)定化，在要被再現(xiàn)的圖像中以何種程度再現(xiàn)圖像拍攝時(shí)的圖像拍攝裝置的抖動(dòng)(在圖像中表現(xiàn)抖動(dòng)的效果的程度)。在這種情況下，圖像反向穩(wěn)定化模塊160根據(jù)沉浸度157是否超過預(yù)定的閾值，可以決定是否通過使用穩(wěn)定化向量的反向穩(wěn)定化在要被再現(xiàn)的圖像中再現(xiàn)圖像拍攝時(shí)的圖像拍攝裝置的抖動(dòng)(是否對圖像添加表現(xiàn)抖動(dòng)的效果)。如上所述，在本實(shí)施方式中，沉浸度157代表關(guān)于圖像的捕獲環(huán)境的捕獲環(huán)境信息、或者關(guān)于圖像的觀眾環(huán)境的觀眾環(huán)境信息。因此，也可以說由圖像反向穩(wěn)定化模塊160進(jìn)行的上述決定是基于捕獲環(huán)境信息或觀眾環(huán)境信息的決定。

(1-5.顯示示例)

圖10是示出本公開的第1實(shí)施方式中的圖像顯示的第1示例的圖。圖10所示的例子示出當(dāng)模式設(shè)置170被設(shè)置為自動(dòng)、手動(dòng)(關(guān))和手動(dòng)(開)時(shí)的單個(gè)畫面和帶有子畫面的畫面的顯示示例。在圖中，“R”代表反向穩(wěn)定過的圖像，“S”代表穩(wěn)定過的圖像(未反向穩(wěn)定)。

如果模式設(shè)置170被設(shè)置為自動(dòng)，例如，根據(jù)在上述的沉浸度計(jì)算模塊150的處理中計(jì)算出的沉浸度157，對于單個(gè)畫面顯示反向穩(wěn)定過的圖像和穩(wěn)定過的圖像中的任意一個(gè)。同時(shí)，在帶有子畫面的畫面的情況下，按照沉浸度157，選擇是在主畫面上顯示反向穩(wěn)定過的圖像并在子畫面上顯示穩(wěn)定過的圖像，還是相反地在主畫面上顯示穩(wěn)定過的圖像并在子畫面上顯示反向穩(wěn)定過的圖像。

此處，當(dāng)模式設(shè)置170被設(shè)置為自動(dòng)時(shí)，如果沉浸度157大于預(yù)定的閾值，反向穩(wěn)定過的圖像能夠在單個(gè)畫面上顯示，并且穩(wěn)定過的圖像能夠在帶有子畫面的畫面的主畫面上顯示。同時(shí)，如果沉浸度157不大于預(yù)定的閾值，穩(wěn)定過的圖像能夠在單個(gè)畫面上顯示，并且反向穩(wěn)定過的圖像能夠在附帶子畫面的畫面的子畫面上顯示。

同時(shí)，如果模式設(shè)置170被設(shè)置為手動(dòng)(關(guān))，不管沉浸度157如何，在單個(gè)畫面上顯示穩(wěn)定過的圖像(未反向穩(wěn)定)。在這種情況下，沉浸度計(jì)算模塊150無需執(zhí)行計(jì)算沉浸度157的處理。

如果模式設(shè)置170被設(shè)置為手動(dòng)(開)時(shí)，不管沉浸度157如何，反向穩(wěn)定過的圖像能夠在單個(gè)畫面上顯示，并且反向穩(wěn)定過的圖像能夠在帶有子畫面的畫面的主畫面上顯示。在這種情況下，沉浸度計(jì)算模塊150無需執(zhí)行計(jì)算沉浸度157的處理。在該示例中，手動(dòng)操作可以切換是在主畫面上顯示反向穩(wěn)定過的圖像并在子畫面上顯示穩(wěn)定過的圖像，還是相反地在主畫面上顯示穩(wěn)定過的圖像并在子畫面上顯示反向穩(wěn)定過的圖像。

圖11是示出本公開的第1實(shí)施方式中的圖像顯示的第2示例的圖。在圖11所示的例子中，反向穩(wěn)定過的圖像在全景圖像被顯示為子畫面的畫面的主畫面(主)上顯示，并且穩(wěn)定過的圖像(未反向穩(wěn)定)在顯示全景圖像的子畫面上(全景)顯示。此處，全景圖像經(jīng)常被用于例如俯視廣闊的區(qū)域。因此，如圖示例那樣，子畫面可以被設(shè)置成不管沉浸度157如何均顯示穩(wěn)定過的圖像。

(2.第2實(shí)施方式)

圖12是示出根據(jù)本公開的第2實(shí)施方式的圖像處理系統(tǒng)的功能結(jié)構(gòu)示例的原理框圖。圖12示出圖像處理系統(tǒng)200包括信號捕獲和處理模塊110、編碼和復(fù)用器模塊120、存儲(chǔ)器模塊130、解復(fù)用器和解碼模塊140、沉浸度計(jì)算模塊150、圖像反向穩(wěn)定化模塊160和顯示模塊190。沉浸度計(jì)算模塊150接收模式設(shè)置170和觀眾環(huán)境設(shè)置180。

根據(jù)本實(shí)施方式的圖像處理系統(tǒng)200包括與第1實(shí)施方式的部件相似的部件，但是所述部件的布置不同。在本實(shí)施方式中，由信號捕獲和處理模塊110獲取的圖像、音頻和穩(wěn)定化向量被輸入到編碼和復(fù)用器模塊120，也被輸入到沉浸度計(jì)算模塊150。通過沉浸度計(jì)算模塊150計(jì)算出的沉浸度與圖像、音頻和穩(wěn)定化向量一起在編碼和復(fù)用器模塊120中被編碼和復(fù)用，并且被存儲(chǔ)在存儲(chǔ)器模塊130中。

從存儲(chǔ)器模塊130讀出數(shù)據(jù)的解復(fù)用器和解碼模塊140對數(shù)據(jù)進(jìn)行解復(fù)用和解碼，從而將沉浸度與圖像、音頻和穩(wěn)定化向量一起獲得。圖像、音頻、穩(wěn)定化向量和沉浸度被輸入到圖像反向穩(wěn)定化模塊160，并且在圖像反向穩(wěn)定化模塊160中執(zhí)行與圖像的沉浸度一致的反向穩(wěn)定化。通過顯示模塊190輸出由圖像反向穩(wěn)定化模塊160處理過的圖像和音頻。

在本實(shí)施方式中，在記錄的圖像作為數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器模塊130中之前已經(jīng)計(jì)算出沉浸度。因此，在再現(xiàn)時(shí)不進(jìn)行圖像分析也能夠?qū)D像反向穩(wěn)定。這樣的結(jié)構(gòu)例如在執(zhí)行再現(xiàn)處理的裝置不具有高處理能力而執(zhí)行記錄處理的裝置具有足夠的處理能力的情況下是有效的。例如，如果模式設(shè)置170和觀眾環(huán)境設(shè)置180被設(shè)置為在再現(xiàn)時(shí)與在記錄時(shí)不同，沉浸度計(jì)算模塊150的處理的一部分可以在再現(xiàn)時(shí)被再次執(zhí)行來更新沉浸度。

圖13是示出本公開的第2實(shí)施方式中的記錄處理的示例的流程圖。圖13示出信號捕獲和處理模塊110首先捕獲圖像拍攝裝置的運(yùn)動(dòng)(S201)，并捕獲音頻和圖像(S202)。此外，信號捕獲和處理模塊110按照在S201中獲取的運(yùn)動(dòng)穩(wěn)定圖像(S203)。

在本實(shí)施方式中，此處決定圖像的沉浸度。沉浸度計(jì)算模塊150根據(jù)模式設(shè)置170確定模式(S204)。如果模式是“手動(dòng)”，沉浸度計(jì)算模塊150手動(dòng)設(shè)置沉浸度(S205)。此處被設(shè)置的沉浸度的值能夠是例如通過用戶操作而輸入的值。同時(shí)，如果S204中的確定示出模式是“自動(dòng)”，則沉浸度計(jì)算模塊150分析圖像(S206)，并自動(dòng)計(jì)算沉浸度(S207)。

編碼和復(fù)用器模塊120根據(jù)在S207中通過沉浸度計(jì)算模塊150自動(dòng)計(jì)算出的沉浸度、或在S205中通過沉浸度計(jì)算模塊150手動(dòng)設(shè)置的沉浸度，對圖像、音頻、穩(wěn)定化向量和沉浸度進(jìn)行編碼和復(fù)用(S208)。然后，存儲(chǔ)器訪問(S209)使復(fù)用過的數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器模塊130中。

圖14是示出本公開的第2實(shí)施方式中的再現(xiàn)處理的示例的流程圖。圖14示出解復(fù)用器和解碼模塊140首先對從存儲(chǔ)器模塊130讀出的圖像和音頻的數(shù)據(jù)進(jìn)行解復(fù)用和解碼(S221)。此時(shí)，存儲(chǔ)在存儲(chǔ)器模塊130中的穩(wěn)定化向量和沉浸度的數(shù)據(jù)與圖像和音頻的數(shù)據(jù)一起被讀出，并被解碼和解復(fù)用。

接著，圖像反向穩(wěn)定化模塊160根據(jù)解碼過的穩(wěn)定化向量和解碼過的沉浸度，將圖像反向穩(wěn)定(S222)。此外，顯示模塊190顯示反向穩(wěn)定過的圖像(S223)。

(3.第3實(shí)施方式)

圖15是示出根據(jù)本公開的第3實(shí)施方式的圖像處理系統(tǒng)的功能結(jié)構(gòu)示例的原理框圖。圖15示出圖像處理系統(tǒng)300包括信號捕獲和處理模塊110、編碼和復(fù)用器模塊120、存儲(chǔ)器模塊130、解復(fù)用器和解碼模塊140、沉浸度計(jì)算模塊150、圖像反向穩(wěn)定化模塊160和顯示模塊190。沉浸度計(jì)算模塊150接收模式設(shè)置170和觀眾環(huán)境設(shè)置180。此外，圖像處理系統(tǒng)300還包括第2存儲(chǔ)器模塊310。

根據(jù)本實(shí)施方式的圖像處理系統(tǒng)300與上述第1實(shí)施方式如下相似：沉浸度計(jì)算模塊150根據(jù)從存儲(chǔ)器模塊130讀出并且由解復(fù)用器和解碼模塊140解復(fù)用和解碼過的圖像、音頻和穩(wěn)定化向量，計(jì)算沉浸度。然而，在本實(shí)施方式中，通過沉浸度計(jì)算模塊150計(jì)算出的沉浸度被存儲(chǔ)在第2存儲(chǔ)器模塊310中。圖像反向穩(wěn)定化模塊160根據(jù)由解復(fù)用器和解碼模塊140解碼過的圖像、音頻和穩(wěn)定化向量以及從第2存儲(chǔ)器模塊310讀出的沉浸度，執(zhí)行反向穩(wěn)定化處理。

在本實(shí)施方式中，通過沉浸度計(jì)算模塊150計(jì)算出的沉浸度暫時(shí)存儲(chǔ)在存儲(chǔ)器模塊310中。因此，能夠在再現(xiàn)圖像之前執(zhí)行計(jì)算沉浸度的處理。因此，例如只要在記錄的圖像被再現(xiàn)之前通過批量處理計(jì)算出沉浸度，在再現(xiàn)時(shí)不進(jìn)行圖像分析也能夠?qū)D像反向穩(wěn)定。這樣的結(jié)構(gòu)例如在執(zhí)行記錄處理的裝置和執(zhí)行再現(xiàn)處理的裝置都不具有高處理能力并向服務(wù)器請求計(jì)算沉浸度的處理的情況下是有效的。

即使執(zhí)行記錄處理的裝置和執(zhí)行再現(xiàn)處理的裝置具有足夠的處理能力，向服務(wù)器請求計(jì)算沉浸度的處理也能夠節(jié)約例如移動(dòng)裝置或可佩戴裝置的電池。在這種情況下，根據(jù)本實(shí)施方式的結(jié)構(gòu)能夠是有效的。

(4.硬件配置)

接著，參照圖16說明根據(jù)本公開的實(shí)施方式的圖像處理裝置的硬件配置。圖16是示出根據(jù)本公開的實(shí)施方式的圖像處理裝置的硬件配置示例的框圖。所示的圖像處理裝置900能夠?qū)崿F(xiàn)例如上述實(shí)施方式中的終端裝置和/或服務(wù)器裝置。

圖像處理裝置900包括中央處理單元(CPU)901、只讀存儲(chǔ)器(ROM)903和隨機(jī)存取存儲(chǔ)器(RAM)905。另外，該圖像處理裝置900可以包括主機(jī)總線907、橋909、外部總線911、接口913、輸入裝置915、輸出裝置917、存儲(chǔ)裝置919、驅(qū)動(dòng)器921、連接端口923和通信裝置925。此外，圖像處理裝置900必要時(shí)可以包括圖像拍攝裝置933和傳感器935。圖像處理裝置900可以不包括CPU901而包括稱為數(shù)字信號處理器(DSP)或?qū)Ｓ眉呻娐?ASIC)的處理電路，或者將CPU 901和上述的處理電路都包括。

CPU 901作為運(yùn)算處理器和控制器發(fā)揮功能，按照記錄在ROM 903、RAM905、存儲(chǔ)裝置919或可移除記錄介質(zhì)927中的各種程序，控制圖像處理裝置900中的全部或一些操作。ROM 903存儲(chǔ)CPU 901使用的程序、運(yùn)算參數(shù)等。RAM 905主要存儲(chǔ)被用于CPU 901的執(zhí)行的程序和在執(zhí)行中被適當(dāng)修改的參數(shù)。CPU 901、ROM 903和RAM 905通過包括諸如CPU總線的內(nèi)部總線的主機(jī)總線907互相連接。此外，主機(jī)總線907經(jīng)由橋909連接到諸如外設(shè)部件互連/接口(PCI)總線的外部總線911。

輸入裝置915是由用戶操作的裝置，諸如鼠標(biāo)、鍵盤、觸摸面板、按鈕、開關(guān)和控制桿。輸入裝置915可以是例如使用紅外線或其它無線電波的遙控裝置，或者可以是響應(yīng)于圖像處理裝置900的操作而可操作的外部連接裝置929(諸如移動(dòng)電話)。輸入裝置915包括根據(jù)由用戶輸入的信息生成輸入信號并將輸入信號輸出到CPU 901的輸入控制電路。用戶通過操作輸入裝置915，對圖像處理裝置900輸入各種類型的數(shù)據(jù)或要求處理操作。

輸出裝置917包括能夠通過視覺或聽覺將獲取的信息通知給用戶的裝置。輸出裝置917可以包括諸如液晶顯示器(LCD)、等離子體顯示面板(PDP)和有機(jī)電致發(fā)光(EL)顯示器的顯示裝置、諸如揚(yáng)聲器和耳機(jī)的音頻輸出裝置和打印機(jī)。輸出裝置917可以以諸如文本和圖像的圖像形式和以諸如音頻和聲響的音頻形式，輸出從圖像處理裝置900的處理而獲得的結(jié)果。

存儲(chǔ)裝置919是被配置為圖像處理裝置900的存儲(chǔ)單元的示例的用于數(shù)據(jù)存儲(chǔ)的裝置。存儲(chǔ)裝置919包括例如諸如硬盤驅(qū)動(dòng)器(HDD)的磁存儲(chǔ)裝置、半導(dǎo)體存儲(chǔ)裝置、光存儲(chǔ)裝置或磁光存儲(chǔ)裝置。存儲(chǔ)裝置919存儲(chǔ)要被CPU 901執(zhí)行的程序、各種類型的數(shù)據(jù)、從外部獲取的各種數(shù)據(jù)等。

驅(qū)動(dòng)器921是用于諸如磁盤、光盤、磁光盤和半導(dǎo)體存儲(chǔ)器的可移除記錄介質(zhì)927的讀寫器，并且內(nèi)置或外部附接于圖像處理裝置900。驅(qū)動(dòng)器921讀出在附接于圖像處理裝置900的可移動(dòng)記錄介質(zhì)927中記錄的信息，并將讀出的信息輸出到RAM905。此外，驅(qū)動(dòng)器921將記錄寫入到所裝載的可移動(dòng)記錄介質(zhì)927。

連接端口923是用于將裝置直接連接到圖像處理裝置900的端口。連接端口923可以包括例如通用串行總線(USB)端口、IEEE1394端口和小型計(jì)算機(jī)系統(tǒng)接口(SCSI)端口。連接端口923還可以包括RS-232C端口、光音頻終端、高清晰度多媒體接口(HDMI)(注冊商標(biāo))端口等。外部連接裝置929到連接端口923的連接使得能夠在圖像處理裝置900和外部連接裝置929之間交換各種類型的數(shù)據(jù)。

通信裝置925是例如包括用于連接到通信網(wǎng)絡(luò)931的通信裝置等的通信接口。通信裝置925可以是例如用于有線或無線局域網(wǎng)(LAN)、藍(lán)牙(注冊商標(biāo))、無線USB(WUSB)等的通信卡。此外，通信裝置925可以是用于光通信的路由器、用于非對稱數(shù)字用戶線路(ADSL)的路由器、用于各種通信的調(diào)制解調(diào)器等。通信裝置925根據(jù)預(yù)定的協(xié)議(諸如TCP/IP)，向例如因特網(wǎng)或其它的通信裝置發(fā)送信號和從其接收信號。此外，連接到通信裝置925的通信網(wǎng)絡(luò)931可以是以有線或無線方式連接的網(wǎng)絡(luò)，可以是例如因特網(wǎng)、家庭LAN、紅外通信、無線電波通信、衛(wèi)星通信等。

圖像拍攝裝置933是例如通過使用諸如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)的圖像傳感器以及諸如用于控制在圖像傳感器上的目標(biāo)圖像的形成的透鏡的各種部件來拍攝真實(shí)空間的圖像，來生成拍攝圖像的裝置。圖像拍攝裝置933可以是拍攝靜止圖像的裝置，也可以是拍攝運(yùn)動(dòng)圖像的裝置。

傳感器935例如包括各種傳感器，諸如加速度傳感器、陀螺儀傳感器、地磁傳感器、光傳感器和聲音傳感器。傳感器935獲取諸如圖像處理裝置900的殼體的姿勢的關(guān)于圖像處理裝置900的狀態(tài)的信息，以及諸如圖像處理裝置900周圍的亮度和噪聲的關(guān)于圖像處理裝置900周圍的環(huán)境的信息。傳感器935還可以包括用于接收GPS信號并測量裝置的緯度、經(jīng)度和高度的全球定位系統(tǒng)(GPS)傳感器。

目前為止，說明了圖像處理裝置900的硬件配置的示例。上述各部件可以用通用的部件進(jìn)行配置，也可以用專門于各部件的功能的硬件進(jìn)行配置。也可以按照在實(shí)施時(shí)的技術(shù)水平對這樣的結(jié)構(gòu)進(jìn)行適當(dāng)變更。

(5.補(bǔ)充信息)

本公開的實(shí)施方式例如可以包括如上所述的圖像處理裝置(終端裝置或服務(wù)器裝置)、系統(tǒng)、由圖像處理裝置或系統(tǒng)執(zhí)行的信息處理方法、用于使圖像處理裝置發(fā)揮功能的程序和程序記錄于其上的非暫時(shí)性有形介質(zhì)。

以上，已參照附圖說明了本公開的優(yōu)選的一個(gè)或多個(gè)實(shí)施方式，然而本發(fā)明不限于以上實(shí)施方式。本領(lǐng)域的技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)發(fā)現(xiàn)各種替換和修改，并且應(yīng)當(dāng)理解為它們自然屬于本發(fā)明的技術(shù)范圍內(nèi)。

此外，在本說明書中說明的效果僅是說明性或例示的效果，并非限定。即，與上述效果一起或代替上述效果，根據(jù)本公開內(nèi)容的技術(shù)可以實(shí)現(xiàn)基于本說明書的說明的本領(lǐng)域技術(shù)人員可知的其它效果。

此外，本技術(shù)也可以被配置如下。

(1)一種圖像處理裝置，包括：

圖像反向穩(wěn)定化處理單元，被配置成根據(jù)關(guān)于圖像的抖動(dòng)的抖動(dòng)信息對該圖像添加表現(xiàn)抖動(dòng)的效果。

(2)根據(jù)(1)的圖像處理裝置，其中，

所述抖動(dòng)信息包括指示在拍攝所述圖像時(shí)發(fā)生的圖像拍攝裝置的抖動(dòng)的圖像拍攝裝置抖動(dòng)信息。

(3)根據(jù)(1)或(2)的圖像處理裝置，其中，

所述圖像反向穩(wěn)定化處理單元根據(jù)關(guān)于所述圖像的捕獲環(huán)境的捕獲環(huán)境信息，決定所述效果的程度。

(4)根據(jù)(3)的圖像處理裝置，其中，

所述圖像反向穩(wěn)定化處理單元根據(jù)所述捕獲環(huán)境信息，決定添加所述效果的程度。

(5)根據(jù)(4)的圖像處理裝置，其中，

所述圖像反向穩(wěn)定化處理單元決定是否添加所述效果，作為添加所述效果的程度。

(6)根據(jù)(3)至(5)中的任意一項(xiàng)的圖像處理裝置，其中，

所述捕獲環(huán)境信息包括關(guān)于所述圖像的幀的移動(dòng)向量的信息。

(7)根據(jù)(3)至(6)中的任意一項(xiàng)的圖像處理裝置，其中，

所述捕獲環(huán)境信息包括由所述圖像指示的圖像特征。

(8)根據(jù)(7)的圖像處理裝置，其中，

所述圖像特征包括所述圖像的亮度或顏色特征。

(9)根據(jù)(7)或(8)的圖像處理裝置，其中，

所述圖像特征包括場景類型。

(10)根據(jù)(3)至(9)中的任意一項(xiàng)的圖像處理裝置，其中，

所述捕獲環(huán)境信息包括由伴隨所述圖像的音頻指示的音頻特征。

(11)根據(jù)(10)的圖像處理裝置，其中，

所述音頻特征包括所述音頻的頻率分量、所述音頻的振幅或由所述音頻指示的音頻類型。

(12)根據(jù)(1)至(11)中的任意一項(xiàng)的圖像處理裝置，其中，

所述圖像反向穩(wěn)定化處理單元根據(jù)關(guān)于所述圖像的觀眾環(huán)境的觀眾環(huán)境信息，決定所述效果的程度。

(13)根據(jù)(12)的圖像處理裝置，其中，

所述觀眾環(huán)境信息包括顯示所述圖像的畫面的尺寸。

(14)根據(jù)(12)或(13)的圖像處理裝置，其中，

所述觀眾環(huán)境信息包括從觀察者到顯示所述圖像的畫面的距離。

(15)根據(jù)(1)至(14)中的任意一項(xiàng)的圖像處理裝置，其中，

所述圖像是圖像拍攝裝置的抖動(dòng)所造成的影響的至少一部分被去除的圖像，并且所述圖像反向穩(wěn)定化處理單元對所述圖像添加所述效果以在所述圖像中再現(xiàn)所述圖像拍攝裝置的抖動(dòng)。

(16)一種圖像處理裝置，包括：

圖像反向穩(wěn)定化處理單元，被配置成根據(jù)觀察者針對圖像的沉浸感的期望值，決定要被添加到所述圖像的表現(xiàn)抖動(dòng)的效果的程度。

(17)根據(jù)(16)的圖像處理裝置，其中，

根據(jù)指示所述圖像的捕獲環(huán)境的捕獲環(huán)境信息，決定所述沉浸感的期望值。

(18)根據(jù)(17)的圖像處理裝置，其中，

所述捕獲環(huán)境信息包括由所述圖像指示的圖像特征。

(19)根據(jù)(17)或(18)的圖像處理裝置，其中，

所述捕獲環(huán)境信息包括由伴隨所述圖像的音頻指示的音頻特征。

(20)根據(jù)(16)至(19)中的任意一項(xiàng)的圖像處理裝置，其中，

根據(jù)指示所述圖像的觀眾環(huán)境的觀眾環(huán)境信息，決定所述沉浸感的期望值。

(21)根據(jù)(20)的圖像處理裝置，其中，

所述觀眾環(huán)境信息包括顯示所述圖像的畫面的尺寸。

(22)根據(jù)(21)的圖像處理裝置，其中，

所述觀眾環(huán)境信息包括從觀察者到顯示所述圖像的畫面的距離。

(23)根據(jù)(16)至(22)中的任意一項(xiàng)的圖像處理裝置，其中，

所述圖像反向穩(wěn)定化處理單元根據(jù)關(guān)于所述圖像的抖動(dòng)的抖動(dòng)信息，添加所述效果。

(24)一種圖像處理方法，包括：

由處理器根據(jù)關(guān)于圖像的抖動(dòng)的抖動(dòng)信息，對所述圖像添加表現(xiàn)抖動(dòng)的效果。

(25)一種圖像處理方法，包括：

由處理器根據(jù)觀察者針對圖像的沉浸感的期望值，決定要被添加到所述圖像的表現(xiàn)抖動(dòng)的效果的程度。

(26)一種程序：

用于使計(jì)算機(jī)執(zhí)行根據(jù)關(guān)于圖像的抖動(dòng)的抖動(dòng)信息對所述圖像添加表現(xiàn)抖動(dòng)的效果的功能。

(27)一種程序：

用于使計(jì)算機(jī)執(zhí)行根據(jù)觀察者針對圖像的沉浸感的期望值決定要被添加到所述圖像的表現(xiàn)抖動(dòng)的效果的程度的功能。

(28)一種圖像處理裝置，包括：

圖像反向穩(wěn)定化處理單元，被配置成根據(jù)關(guān)于圖像的捕獲環(huán)境的捕獲環(huán)境信息，添加所述圖像的表現(xiàn)抖動(dòng)的效果。

(29)一種圖像處理裝置，包括：

圖像反向穩(wěn)定化處理單元，被配置成根據(jù)關(guān)于圖像的觀眾環(huán)境的觀眾環(huán)境信息，添加所述圖像的表現(xiàn)抖動(dòng)的效果。

附圖標(biāo)記說明

100、200、300：圖像處理系統(tǒng)

110：信號捕獲和處理模塊

120：編碼和復(fù)用器模塊

130：存儲(chǔ)器模塊

140：解復(fù)用器和解碼模塊

150：沉浸度計(jì)算模塊

160：圖像反向穩(wěn)定化模塊

190：顯示模塊

310：第2存儲(chǔ)器模塊