圖像處理系統(tǒng)、圖像處理方法
【專利摘要】本發(fā)明涉及圖像處理系統(tǒng)以及圖像處理方法，其目的在于提供能夠用負荷較小的處理來生成閱覽者沒有不協(xié)調感覺的圖像的圖像系統(tǒng)。本發(fā)明的圖像處理系統(tǒng)(200)可用來輸出在顯示部上顯示的動畫數(shù)據(jù)，其中包括：用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)的第一輸出部；用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)的第二輸出部；以及，用于將經過所述第一輸出部和所述第二輸出部處理的圖像數(shù)據(jù)作為在所述顯示部上顯示的動畫數(shù)據(jù)輸出的第三輸出部。
【專利說明】
圖像處理系統(tǒng)、圖像處理方法
技術領域
[0001] 本發(fā)明設及圖像處理系統(tǒng)W及圖像處理方法。
【背景技術】
[0002] 全天球攝像系統(tǒng)如專利文獻1(肝特開2013-187860號公報)公開的，利用多個魚眼 鏡頭、超廣角鏡頭等廣角鏡頭，進行一次性全方位拍攝。在運種全天球攝像系統(tǒng)中，各個拍 攝的像被投影到傳感器面上，通過圖像處理將得到的各張圖像拼接起來，生成全天球圖像。 例如用具有超過180度視角的兩個廣角鏡頭能夠生成全天球圖像。
[0003] 但是，用上述專利文獻1公開的全天球攝像系統(tǒng)生成的典型的全天球圖像采用球 面坐標系統(tǒng)表示，為此，在不施加任何加工的情況下，圖像發(fā)生變形，會使閱覽者感到不協(xié) 調。對此，在顯示全天球圖像時，通常需要使用專用瀏覽器，用來將全天球圖像轉換為適用 于平面器件的圖像。
[0004] 另一方面，存在不使用專用瀏覽器，而是用通用瀏覽器或顯示器來顯示全天球圖 像的要求。同時還有所謂實況顯示的要求，即用照相機主機具備的顯示器、與照相機主機連 接的顯示器、或者能夠與照相機主機通信的終端裝置的顯示器一邊確認被攝體一邊拍攝。 雖然在全天球攝像系統(tǒng)的照相機主機內安設與上述專用瀏覽器等同的處理可W滿足上述 要求，但會造成計裝成本、電力消費、W及發(fā)熱量的上升。
【發(fā)明內容】
[0005] 本發(fā)明是鑒于上述問題提出的技術方案，的目的在于，提供一種能夠用負荷較小 的處理來生成能夠避免閱覽者產生不協(xié)調感覺的圖像的圖像系統(tǒng)。
[0006] 為了達到上述目的，本發(fā)明提供一種圖像處理系統(tǒng)，可用來輸出在顯示部上顯示 的動畫數(shù)據(jù)，其中包括:第一輸出部，用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù);第 二輸出部，用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；W及，第=輸出 部，用于將經過所述第一輸出部和所述第二輸出部的處理的圖像數(shù)據(jù)作為在所述顯示部上 顯示的動畫數(shù)據(jù)輸出。
[0007] 本發(fā)明的效果在于，W負荷較小的處理生成能夠避免閱覽者產生不協(xié)調感覺的圖 像。
【附圖說明】
[000引圖1是本實施方式設及的全天球相機的剖面圖。
[0009] 圖2是本實施方式的全天球相機的硬件結構模塊圖。
[0010] 圖3是關于在本實施方式設及的全天球相機上實現(xiàn)的顯示圖像輸出功能的主要功 能模塊圖。
[0011] 圖4是本實施方式設及的全天球相機生成的經過轉換的全天球圖像(A)和生成的 顯示圖像(B)的示意圖。
[0012] 圖5是本實施方式設及的全天球相機實行的第一處理的流程中的記錄處理的流程 圖。
[0013] 圖6是本實施方式設及的全天球相機實行的第一處理的流程中的顯示圖像輸出處 理的流程圖。
[0014] 圖7是本實施方式設及的全天球相機實行的第二處理的流程中的顯示圖像輸出處 理的流程圖。
[0015] 圖8是用來說明本實施方式設及的全天球相機的映射關系的示意圖。
[0016] 圖9是本實施方式設及的全天球圖像的圖像數(shù)據(jù)結構示意圖。
[0017] 圖10是用來描述本實施方式設及的全天球相機使用的轉換參數(shù)的示意圖。
[0018] 圖11是本實施方式設及的全天球相機根據(jù)兩幅部分圖像生成的全天球圖像的示 意圖
[0019] 圖12是本實施方式設及的全天球相機實行的坐標轉換處理的示意圖。
[0020] 圖13是本實施方式設及的全天球相機將通過基于各個注目點的圖像轉動所生成 的轉換后全天球圖像的示意圖。
【具體實施方式】
[0021] W下參考附圖描述本發(fā)明的實施方式。在此需要說明的是本發(fā)明不受下述實施方 式的限制。W下用兼?zhèn)涫褂脙蓚€魚眼鏡頭的攝像功能和圖像處理功能的全天球相機100作 為一例圖像處理系統(tǒng)和攝像系統(tǒng)，來描述本實施方式。
[0022] 首先參考圖1和圖2,描述本實施方式的全天球相機100的整體構成。圖1是本實施 方式設及的全天球相機100的剖面圖。圖1所示的全天球相機100具有攝像體12、用來保持該 攝像體12W及控制電路板和電池等元件的售體14、設于該售體14上的攝像鍵18。
[0023] 圖1所示的攝像體12包括兩個成像光學系統(tǒng)20A和20BW及兩個攝像元件22A和 22B。攝像元件22A和22B是CCD(畑arge Coupled DeViCe)傳感器或CMOS(CompIementaiT Metal Oxide Semiconductor)傳感器等。成像光學系統(tǒng)20例如是六組屯片的魚眼鏡頭。在 圖1所示的實施方式中，該魚眼鏡頭具有大于180° ( = 36〇Vn，光學系數(shù)n = 2)的全視角，優(yōu) 選具有190° W上的視角。用一個如此大視角的成像光學系統(tǒng)20和一個攝像元件22組成光學 系統(tǒng)作為廣角攝像光學系統(tǒng)。
[0024] 兩個成像光學系統(tǒng)20A和20B的光學元件(透鏡、菱鏡、濾光片W及光圈）相對于攝 像元件22A和22B的位置關系固定。成像光學系統(tǒng)20A和20B的光學元件的光軸被定位為，垂 直于對應的攝像元件22的受光區(qū)域的中屯、部分，而且受光區(qū)域為對應的魚眼鏡頭的成像 面。
[0025] 兩個成像光學系統(tǒng)20A和20BW相同規(guī)格組合，互相相反但兩條光軸保持一致。攝 像元件22A和22B將受光的光分布轉換為圖像信號，依次把圖像帖輸出到控制電路板上的圖 像處理模塊中。攝像元件22A和2?各自拍攝的圖像經過合成處理后，生成立體角度如球面 度圖像（W下稱為全天球圖像）。對此將在W下詳述。全天球圖像是從攝影地點所能夠瞭望 的所有方向拍攝的圖像。在本實施方式中生成全天球圖像，但也可W只是水平面360°拍攝 的圖像，即所謂的全景立體圖，或者全天球或水平面360°全景拍攝中的一部分圖像，還可W 作為動畫保存。
[0026] 圖2是本實施方式的全天球相機100的硬件結構模塊圖。全天球相機100包含CPU (Cental Processing Unit)112、R0M(Read Only Memo;ry)114、圖像處理模塊 116、動畫壓 縮模塊118、經由DRAM(Dynamic Random Memory)接口 120連接的DRAM132、W及經由外部傳 感器接口 124連接的姿勢傳感器136。
[0027] CPU112控制全天球相機110的各個部分的動作和整體動作。R0M114用于存放用編 碼描述且CPU112能夠解讀的控制程序或各種參數(shù)。圖像處理模塊116與兩個攝像元件130A 和130B(圖1中的攝像元件22A和22B)連接，分別用來輸入該兩個攝像元件130A和130B各自 拍攝的圖像的圖像信號。圖像處理模塊116包含ISP(Image Signal Processor)等，對從攝 像元件130輸入的圖像信號進行陰影補償、拜耳(Bayer)插值補償、白平衡補償、伽瑪補償?shù)?處理。進而，圖像處理模塊116還對從多個攝像元件130A和130B，經過上述處理取得的多幅 圖像進行合成處理，由此生成上述全天球圖像。
[0028] 動畫壓縮模塊118是MPEG-4AVC/H. 264等動畫縮放的編解碼模塊，用于保存生成的 全天球圖像的動畫數(shù)據(jù)，或者重放輸出保存的動畫數(shù)據(jù)。DRAM132用于在實施各種信號處理 和圖像處理時提供暫時保存的存儲區(qū)域。姿勢傳感器136W加速度傳感器、巧螺傳感器、地 磁傳感器或運些傳感器的組合構成，用于確定全天球相機100的姿勢。例如，立軸加速度傳 感器能夠檢測=個軸向的加速度成分。=軸巧螺傳感器能夠檢測=個軸向的角速度。地磁 傳感器能夠測定磁場方向。單獨利用運些傳感器輸出或者結合運些傳感器輸出，能夠求出 全天球相機100的=個姿勢角度。姿勢傳感器136提供的信息用于實施全天球圖像的天頂補 償，或者實施按照下述注目點的圖像轉動處理。
[00巧]全天球相機110進一步具有外部寄存器接口 122、USB化niversal Serial Bus)接 口 126、串行模塊128、影像輸出接口 129。外部寄存器接口 122連接被插入到存儲卡插槽中的 存儲卡等外部寄存器134。外部寄存器接口 122控制外部寄存器134的讀寫。
[0030] USB接口 126連接USB連接器138dUSB接口 126控制與經由USB連接器138連接的個人 計算機等外部設備之間的USB通信。串接模塊128與控制個人計算機等外部設備之間的串行 通信，連接無線NIC(化twork Intedace Card)140。影像輸出接口 129用于與皿11化1邑11- Definition Multimedia Inte計ace,HDMI為注冊商標)等外部顯示器的連接，能夠向外部 顯示器等影像輸出將錄制之前的圖像、正在錄制的圖像、或錄制了的圖像。
[0031] 本實施方式中WUSB連接器138、無線NIC140、HDMI(注冊商標)作為影像輸出接口 129的例子，但是本發(fā)明并不局限于特殊規(guī)格，在其他實施方式中也可W通過有線LAN 化ocal Area化twork)等有線通信、Blue Tooth(注冊商標)或無線USB等其他無線通信、 DiSPIayPort (注冊商標)或VGA(Video GraphiC Array)等其他影像輸出接口來連接外設。
[0032] 通過電源開關操作，使電源成為接通狀態(tài)后，將上述控制程序上載到主存儲器中。 CPU112按照被讀入主存儲器的程序，控制裝置各部動作，同時將控制所需要的數(shù)據(jù)暫時保 存到存儲器中。運樣，便實現(xiàn)全天球相機110的后述各項功能和處理。
[0033] 上述本實施方式的全天球相機100具有拍攝全天球圖像的靜畫或動畫的功能。在 某些情況下提供將全天球圖像轉換為適用于平面器件的圖像的專用瀏覽器，用來閱覽錄制 的全天球圖像。與此同時，還存在不用上述專用瀏覽器閱覽，而采用直接顯示輸入圖像的通 用瀏覽器或顯示器來顯示全天球相機100拍攝的圖像的要求。除此之外，還有所謂實況顯示 的要求，即在能夠與相機主機通信的顯示器上，一邊確認被攝體一邊拍攝。
[0034] 但是，在全天球相機100主機中設置與上述專用瀏覽器等同的處理，會提高全天球 相機100的計裝成本，進而引起圖像處理耗電W及增加發(fā)熱量。
[0035] 對此，本實施方式采用W下構成。即根據(jù)基于傳感器信息決定的注目點，對全天球 圖像實行坐標轉換處理，并從經過坐標轉換處理生成的轉換后的全天球圖像中切出的一部 分，生成用于輸出的顯示圖像。在優(yōu)選實施方式中，通過實行切出轉換后的全天球圖像的中 央部分的處理，能夠生成與W全天球圖像中注目點為中屯、的部分相對應的圖像，作為顯示 圖像。
[0036] 上述構成能夠W負荷較小的處理，生成顯示全天球圖像中的一部分、且不會讓閱 覽者感到不協(xié)調的顯示畫面。在優(yōu)選實施方式中，實施坐標轉換處理，將W注目點為中屯、的 圖像設置在全天球圖像中變形較少的中央部分，切出與該中央部分對應的圖像，作為顯示 圖像輸出。為此，閱覽者不用專用瀏覽器也能夠看到自然的圖形。而且，坐標轉換處理是組 裝在全天球相機100中的處理，用于天頂補償，為此不會對全天球相機100造成額外的計裝 成本，而且從能減少圖像處理的電力消費量和發(fā)熱量。
[0037] W下將要描述的實施方式構成為向通過上述影像接口 129連接的外部顯示器輸出 影像顯示畫面。但是，本發(fā)明并不受到該實施方式的限制。在其他實施方式中，也可W使用 通過USB連接器138、無線NIC140之類的有線或無線的通信連接的智能手機或平板計算機等 用戶終端裝置，來顯示全天球圖像的顯示畫面。在運種情況下，用戶啟動在用戶終端裝置上 運行的通用瀏覽器的應用軟件，可W用通用瀏覽器顯示全天球相機100輸出的圖像。再進一 步其他的實施方式中，全天球相機100本身具備顯示器，此時也可W構成為在全天球相機 100所具備的顯示器上顯示顯示圖像。
[0038] W下參考圖3和圖4,概述本實施方式設及的全天球相機100具備的顯示圖像輸出 功能。圖3顯示關于在本實施方式設及的全天球相機100上實現(xiàn)的顯示圖像輸出功能的主要 功能模塊200。
[0039] 全天球相機100的功能模塊200如圖3所示，構成為包含攝像圖像取得部202、拼接 處理部204、天頂補償部206、全天球圖像生成部208、圖像壓縮部210、圖像展開部212、注目 點決定部214、圖像轉動部216、轉換后全天球圖像生成部218、切出處理部220、放大/信箱處 理部222、W及輸出部224。
[0040] 圖3顯示兩個圖像處理流程。第一流程為一旦保存全天球相機100拍攝的全天球圖 像，而后響應用戶操作，輸出保存的全天球圖像的顯示圖像。被保存的全天球圖像的圖像數(shù) 據(jù)既可W是靜畫也可W是動畫。第一流程對應錄制后閱覽。第二流程是一邊用全天球相機 100拍攝全天球圖像一邊輸出生成的全天球圖像的顯示圖像。第二流程對應錄制之前或正 在錄制時現(xiàn)時閱覽攝影狀態(tài)。
[0041] W下首先描述相對錄制后閱覽的第一處理的流程。攝像圖像取得部202控制上述 兩個攝像元件130A和130B，取得攝像元件130A和130B各自的攝像圖像。在靜止畫的情況下， 取得按動快口時刻取得的組成一帖的兩幅圖像。而在動畫的情況下，依次拍攝連續(xù)的帖，取 得每一帖的兩幅攝像圖像。攝像元件130各自拍攝的圖像是視角大致覆蓋全天球中半球的 魚眼圖像，為全天球圖像的一部分圖像。W下將攝像元件130各自拍攝的圖像稱為部分圖 像。
[0042] 拼接處理部204檢測取得的兩幅部分圖像之間的拼接位置，實行兩幅圖像的拼接 處理。在拼接位置檢測處理中，對每帖圖像中位于多個部分圖像之間的重復區(qū)域實行檢測 處理，檢測重復區(qū)域中多個對應點各自的位置偏離量。
[0043] 天頂補償部206控制圖2所示的姿勢傳感器136,檢測全天球相機100的姿勢角度， 實行補償處理，使得生成的全天球圖像的天頂方向與規(guī)定基準方向保持一致。在此，典型的 規(guī)定基準方向為鉛直方向，即重力加速度方向。通過補償，全天球圖像的天頂方向與鉛直方 向保持一致，從而，尤其在動畫中，即便閱覽時發(fā)生視角變化，用戶也不會感到不調和，如產 生二維暈眩等。
[0044] 全天球圖像生成部208在拼接處理部204和天頂補償部206的處理結果得到反映的 狀態(tài)下，根據(jù)拍攝的兩幅部分圖像，實行生成全天球圖像的處理。本實施方式中，存在用于 根據(jù)兩幅部分圖像生成全天球圖像的轉換參數(shù)，拼接處理部204將拼接位置檢測的結果反 映到該轉換參數(shù)中。天頂補償部206也把補償結果反映到轉換參數(shù)中。而后，全天球圖像生 成部208用運些反映了處理結果的轉換參數(shù)，生成基于兩幅部分圖像的全天球圖像。通過上 述處理，能夠減輕用來獲得最終全天球圖像的處理負荷。
[0045] 但是，本發(fā)明不受上述實施方式限制，也可W構成為拼接兩幅部分圖像生成全天 球圖像，而后對生成的全天球圖像實行天頂補償處理，生成經過天頂補償處理的全天球圖 像。關于轉換參數(shù)將在W下敘述。
[0046] 圖像壓縮部210包含靜止畫壓縮模塊，在拍攝靜止畫的場合下，將拍攝的圖像壓縮 為肝EGQoint Photographic E邱erts Group)等規(guī)定的靜止畫格式。圖像壓縮部210還包 含圖2所示的動畫壓縮模塊118,在拍攝動畫的場合下，將拍攝的連續(xù)圖像帖壓縮為規(guī)定動 畫格式的圖像數(shù)據(jù)。對于動畫壓縮格式并沒有特殊限定，例如有H.264/MPEG-4AVC (Advanced Video Coding)、H.265/肥VCXHigh Efficien巧 Video Coding)'Motion 肝EG、 Motion肝EG2000等各種動畫壓縮格式。生成的圖像數(shù)據(jù)被保存到安裝在全天球相機100上 的外部寄存器134或其他全天球相機100所具備的閃存等寄存器中。
[0047] 第一處理流程中，例如全天球相機100的用戶發(fā)出指定重放對象的影像輸出指示 后，功能部212至224開始動作。圖像展開部212讀取保存在上述寄存器中的圖像數(shù)據(jù)，取得 全天球圖像。取得的全天球圖像被展開到內存上。
[0048] 注目點決定部214根據(jù)姿勢傳感器136輸出的傳感器信息，決定注目點。在第一處 理中全天球相機在W后的影像輸出處理中幾乎不實行攝像動作，因此能夠作為用來操作注 目點的操作控制器來使用。根據(jù)姿勢傳感器136輸出的傳感器信息，決定與全天球相機100 面對的方向相對應的注目點（照相機的姿勢角度a，e，丫）。注目點決定部214構成本實施方 式中的決定部。
[0049] 在第一處理的流程中，為顯示對象的全天球圖像中已經實施了天頂補償。為此，雖 然并不是特別限定，在此可W將作為操作控制器的全天球相機100面向正上方的狀態(tài)（即把 圖1所示的全天球相機100的攝像體12-端向上的垂直設置狀態(tài))為基準，用W定義全天球 相機100的姿勢角度。在本實施方式的描述中將全天球相機100作為操作控制器。但是，也可 W另設能夠與具備姿勢傳感器的全天球相機100通信的外設作為操作控制器，如操作專用 控制器、智能手機、平板計算機、頭頂顯示器等。
[0050] 注目點決定部214決定注目點后，圖像轉動部216對前天求圖象實行坐標轉換處 理。坐標轉換處理具體是指用與注目點對應的角度來=維轉動轉換全天球圖像各個坐標的 處理。關于坐標轉換處理將在W下詳述。圖像轉動部216構成本實施方式的坐標轉換處理 部。
[0051] 轉換后全天球圖像生成部218根據(jù)坐標轉換處理結果實行全天球圖像生成處理， 從原來的全天球圖像生成對應與于注目點的轉換后的全天球圖像。轉換后全天球圖像生成 部218構成本實施方式的圖像生成部。圖4的(A)是本實施方式的全天球相機100生成的一例 轉換后全天球圖像。轉換后全天球圖像經過坐標轉換后，注目點被置于圖像中屯、，為此，（A) 所示的全天球圖像的中屯、與決定的注目點相對應。
[0052] 切出處理部220用于從通過坐標轉換處理生成的轉換后全天球圖像中切出一部 分，生成切出圖像。在優(yōu)選實施方式中，切出處理部220切出轉換后全天球圖像的中央部分， 因而能夠從全天球圖像中切出與W注目點為中屯、且具有一定大小的部分相對應的圖像。圖 4的(A)中用虛線矩形表示從全天球圖像中切出的中央部分的區(qū)域。切出處理部220構成本 實施方式的切出部。
[0053] 在本實施方式的描述中，設切出部具有從圖像中切出一部分W生成切出圖像的功 能。但是本發(fā)明并不受此限制，在其他實施方式中，切出部不僅具備從圖像中切出一部分W 生成切出圖像的功能，而且還可W具有減少分辨率的功能。另外在本實施方式的描述中，圖 像轉動部216實行處理之后切出處理部220實行處理，但是在實行的前后順序上，本發(fā)明并 不受此限制。
[0054] 放大/信箱處理部222按照輸出一方的顯示器或投影儀等影像輸出裝置的分辨率 W及縱橫比，對切出處理部220切出的圖像實行放大處理，并在切出的圖像部分的上下加上 黑條，生成顯示圖像。輸出部224通過影像輸出接口 129,輸出經過放大/信箱處理部222處理 后生成的顯示圖像。在切出圖形與影像輸出裝置的分辨率W及縱橫比對應的情況下，可W 省略放大/信箱處理部222的處理。
[0055] 圖4的(B)是本實施方式設及的全天球相機100根據(jù)同圖的(A)所示的全天球圖像 通過輸出部224輸出的顯示圖像的示意圖。如圖4所示，（A)的全天球圖像的四周部分變形較 大，中央部分變形較小。為此，切出中央部分生成的顯示圖像如圖4的(B)所示，是對閱覽者 來說比較自然的圖像。
[0056] 在靜止畫的情況下，至少每次注目點發(fā)生變化時，典型的為每隔規(guī)定間隔，對同一 幅全天球圖像反復實行上述功能部214至224的影像輸出處理，按照該時刻的注目點更新顯 示圖像。在動畫的情況下，典型的是對每一帖反復實行上述功能部214至224的影像輸出處 理，更行顯示圖像。
[0057] 用戶將作為操作控制器的全天球相機100面對正上方狀態(tài)為基準，能夠在全天求 相機100發(fā)生前后左右的傾斜或轉動時，改變注目點，閱覽與按照改變后的注目點相對應的 全天球圖像的顯示圖像。
[0058] W下，繼續(xù)參考圖3描述用于錄制前和錄制期間實況閱覽的第二處理的流程。在第 二處理的流程中在用戶指示開始實況顯示后，功能部202、204、214至224動作。
[0059] 攝像圖像取得部202與第一流程相同，控制上述兩個攝像元件130A和130B，取得每 一帖的兩幅部分圖像，展開到內存上。拼合處理部204檢測取得的兩幅部分圖像之間的連接 位置，并將連接位置檢測結果反映到轉換參數(shù)中。
[0060] 注目點決定部214根據(jù)操作控制器的姿勢傳感器的傳感器信息，決定注目點。在第 二處理流程中，全天球相機100在影像輸出處理期間也實行攝影動作，因而設定另外準備用 來操作注目點的操作控制器。在此可W用操作專用控制器、智能手機、平板計算機、頭盎式 顯示器等具備姿勢傳感器，且能夠與全天球相機100通信的外設作為操作控制器。根據(jù)操作 控制器發(fā)送的姿勢傳感器的傳感器信息，取得與操作控制器面對的方向對應的注目點（操 作控制器的姿勢角度a，e，T )。
[0061 ]注目點決定部214決定了注目點之后，圖像轉動部216實行坐標轉換處理，用與注 目點對應的角度=維轉動轉換全天球圖像的各個坐標。該圖像轉動部216的坐標轉換處理 結果被反映到用于從兩幅部分圖像生成全天球圖像的轉換參數(shù)中。
[0062] 轉換后全天球圖像生成部218實行生成處理，用反映了拼接處理部204W及圖像轉 動部216的處理實行結果的轉換參數(shù)，合成拍攝的兩幅部分圖像，直接生成轉換后的全天球 圖像。
[0063] 在第二處理的流程中，除了控制注目點的操作控制器W外，拍攝全天球圖像的全 天球相機100的姿勢也可能發(fā)生變化。為此，優(yōu)選在圖像轉動部216的=維轉動轉換中加入 對應全天球相機100的姿勢的天頂補償。例如，將基準定義為，在全天球相機100面向正上方 狀態(tài)，且操作控制器面向正上方狀態(tài)下，全天球圖像的天頂與重力方向（天方向）一致，實行 =維轉動轉換。
[0064] 與第一處理的流程相同，切出處理部220切出轉換后全天球圖像中的一部分，生成 切出圖像。放大/信箱處理部222對切出處理部220切出的圖像，實行放大處理和黑邊增加處 理。輸出部224通過影像輸出接口 129,輸出經過放大/信箱處理部222處理生成的顯示圖像。 對每一帖圖像反復實行上述功能部202、204、214至224的處理。
[0065] 在第二處理的流程中，用戶例如固定設置全天球相機100實行攝影，W外部操作控 制器面向正上方為基準，能夠通過前后左右傾斜或轉動來改變注目點，閱覽與注目點對應 的全天球圖像的實況顯示。在W上的描述中，將全天球相機100的天頂補償反映到轉動轉換 中。運樣，無論全天球相機100是否相對于鉛直方向傾斜，均能夠通過改變操作控制器的姿 勢，便于W用戶感覺到的重力方向為基準客觀地設定注目點。但是，本發(fā)明并不受此限制。 在其他實施方式中也可W構成為，不實行根據(jù)全天球相機100的姿勢的天頂補償，而是僅根 據(jù)操作控制器的姿勢來控制注目點。
[0066] W下參考圖5至圖13描述第一處理的流程中實行的處理。圖5和圖6是本實施方式 設及的全天球相機100實行的第一處理的流程中的記錄處理W及顯示圖像輸出處理的流程 圖。圖7是本實施方式設及的全天球相機100實行的第二處理的流程中的顯示圖像輸出處理 的流程圖。
[0067] W下參考圖5和圖6描述第一處理的流程中實行的處理。圖5所示的記錄處理從用 戶按動攝影鍵等記錄指示后的步驟SlOO開始。在圖5和圖6所示的處理中適用于拍攝并閱覽 靜止畫。在步驟SlOl中，全天球相機100通過攝像圖像取得部202取得攝像元件130A和130B 拍攝的攝像圖像。
[0068] 圖8是用來說明本實施方式設及的全天球相機100的映射關系的示意圖。在本實施 方式中，一個魚眼鏡頭拍攝的圖像大約覆蓋W攝影地點為起始的半個球的方位。魚眼鏡頭 如圖8的(A)所示，W與相對于光軸的入射角度*相對應的像高h生成圖像。像高h與入射角度 ,(P:之間的關系取決于與規(guī)定投影模型相對應的映射函數(shù)。
[0069] 映射函數(shù)隨魚眼鏡頭性質而不同。作為上述投影模型，可^例舉出等距離映射方式 C h二午':f )、中屯、投影方式（h寫f，1 a n擎）、立體映射方式（h= 2 f ? t a M Cp / 2 ))、 等立體角映射方式（h = 2 f . S i n ( tp / 2 ) )W及映射設方式(h = f * S i n <p)。無 論是哪一種方式都能夠對應相對于光軸的入射角度巧和焦距f，決定從成像的像高h。本實施 方式采用成像圈直徑小于圖像對角線的所謂圓周魚眼鏡頭的構成，獲得的部分圖像如圖8 的(B)所示，攝影范圍的大約半個球包含被投影的整個成像圈的平面圖象。
[0070] 圖9是本實施方式設及的全天球圖像的圖像數(shù)據(jù)結構示意圖。如圖9所示，全天球 圖像的格式用^?>和9為坐標的像素值的排列來表示，^>是與相對于規(guī)定軸形成的角度相對 應的垂直角度，0是與圍繞上述軸的轉動角對應的水平角度。各個坐標值（0，qO與表示W拍 攝地點為中屯、的全方位球面上的各點相對應，將全方位映射到全天球圖像上。
[0071 ]圖10是用來描述本實施方式設及的全天球相機使用的轉換參數(shù)的示意圖。轉換參 數(shù)用來限定從W平面坐標表示的部分圖像映射到W球面坐標表示的圖像。轉換參數(shù)如圖10 的(A)所示，記錄了每個魚眼鏡頭的所有坐標值Ce, <p)的信息，該信息中補償后圖像的坐 標值（&，CP.)與該坐標值(.0，<p)被映射之前的補償前的部分圖像的坐標值(x，y)相關聯(lián)。 在圖10所示的示例中，一個像素覆蓋的角度在0方向和*方向均為1/10度，轉換參數(shù)具有各 個魚眼鏡頭的表示3600X1800的對應關系的信息。原始的轉換參數(shù)可W預先通過制造商等 在相對于理想透鏡模型實施變形補償?shù)幕A上計算并列為圖表。
[0072] 返回圖5,在步驟S102中，全天球相機100通過拼接處理部204檢測取得的兩幅部分 圖像之間的重疊區(qū)域中的連接位置，并將連接位置的檢測結果反映到轉換參數(shù)中。通過反 映連接位置檢測結果，圖10的(A)所示的轉換參數(shù)被修改為，補償后圖像的坐標值（@，中） 與反映了連接位置補償?shù)牟糠謭D像的坐標值(x，y)相對應。
[0073] 在步驟S103,全天球相機100通過天頂補償部206檢測全天球相機100相對于重力 方向的姿勢角度，并修改轉換參數(shù)，使得生成的全天球圖像的天頂方向與鉛直方向保持一 致。關于天頂補償，具體可W實施與下述的=維轉動轉換相同的處理，在此省略詳述。在步 驟S104,全天球相機100通過全天球圖像生成部208,用轉換參數(shù)實行全天球圖像生成處理， 從拍攝的兩幅部分圖像生成全天球圖像。步驟S104首先利用轉換參數(shù)將部分圖像從平面坐 標系轉換到球面坐標系，而后合成兩幅球面坐標系的部分圖像，生成全天球圖像。
[0074] 圖11是本實施方式設及的全天球相機100根據(jù)兩幅部分圖像生成的全天球圖像的 示意圖。圖11顯示了在未將全天球相機100正上方方向與鉛直線保持一致的狀態(tài)下拍攝的 兩幅部分圖像(A)和(C)、W及根據(jù)運兩幅部分圖像經過天頂補償后生成的全天球圖像(B)。 在圖11的示例中，全天球相機100處于傾斜狀態(tài)下拍攝了第一部分圖像(A)和第二部分圖像 (C)，此時，一方的魚眼鏡頭面向地面，另一方魚眼鏡頭面向天空。參考圖11可知，通過上述 天頂補償，全天球圖像被補償為風景中的水平線位于中央。
[0075] 返回圖5,在步驟S105中，全天球相機100通過圖像壓縮部210對生成的全天球圖像 的圖像數(shù)據(jù)進行壓縮，在步驟S106中，將生成的圖像數(shù)據(jù)保存到寄存器中，而后一旦結束處 理。
[0076] 圖6所示的顯示圖像輸出處理W用戶發(fā)出指定圖像數(shù)據(jù)的影像輸出指示為開始。 在步驟S201中，全天球相機100通過圖像展開部212從寄存器中讀取指定的全天球圖像的圖 像數(shù)據(jù)，在步驟S202中，將全天球圖像展開到內存上。
[0077] 在步驟S203,全天球相機100通過注目點決定部214,根據(jù)全天球相機100的姿勢傳 感器136輸出的傳感器信息，來決定注目點（相機主機的姿勢角度a、e、丫）。在W下的描述 中，通過結合加速度傳感器、巧螺傳感器W及地磁傳感器，來獲得W相機主機面向正上方的 狀態(tài)為基準的相機主機姿勢角度a，e，丫。在步驟S204,全天球相機100通過圖像轉動部216， 按照步驟S203決定的注目點實行全天球圖像的坐標轉換處理。在步驟S204所示的坐標轉換 處理中，將全天球圖像的各個坐標值(自1，CPl )作為輸入值進行坐標轉換，從而求出轉換后 的各個坐標值（沿，q>2).
[0078] 在此說明坐標轉換處理。圖12是本實施方式設及的全天球相機100實行的坐標轉 換處理的示意圖。在此，設坐標轉換之前的=維正交坐標為Ul，yl，Zl),球面坐標為 (ei，<pl)，坐標轉換之前的S維正交坐標為(x2，y2，z2)，球面坐標為（e2，cp2)。
[0079] 坐標轉換處理中利用下式（1)至（6)，將球面坐標（61，則）轉換為球面坐標 (始，(62)。坐標轉換處理包括根據(jù)下式（1)至(3)的坐標轉換、根據(jù)下式(4)的坐標轉換、 W及根據(jù)下式(5)和式(6)的坐標轉換。
[0080] xl = sin( 4 l)cos(目 1)...(1)
[0081] yl = sin( 4 l)sin(目 1)。-(2)
[0082] zl = cos( 4 1)...(3)
[0083] I
[0084]
[0085]
[0086] 首先，因需要用=維正交坐標轉動轉換，因此用上式（I)至（3)實行從球面坐標 (.掃1,利）轉換到S位正交坐標(xl，yl，zl)的處理。
[0087] 其次，用作為注目點給出的照相機主機的姿勢角度a，e，丫，按照上式(4)將S維正 交坐標系(xl，yl，zl)轉換為S維正交坐標系(x2，y2，z2)。換言之，上式(4)給出姿勢角度a， e，丫的定義。即上式(4)表示，Wx軸為轉動軸將原有坐標系轉動a, Wy軸為轉動軸將原有坐 標系轉動e，Wz軸為轉動軸將原有坐標系轉動T，成為轉換后的坐標系。
[0088] 最后，用上式(5)和上式(6)將轉換后的S維正交坐標系(x2，y2，z2)回到球面坐標 (92, cp2) C
[0089] 返回圖6,在步驟S205中，全天球相機100通過轉換后全天球圖像生成部218,根據(jù) 坐標轉換處理的實行結果，實行生成處理，從原有的全天球圖像生成對應注目點的轉變后 全天球圖像。通過上述S204的處理，求出全天球圖像各個坐標值（91，cpl)的轉換后的坐標 值(的，僻〉。為此，轉換后全天球圖像生成處理設定了對應轉換后的全天球圖像的輸入 坐標值(刖，叫）求出的轉換后坐標值（貼，恥)的像素值。據(jù)此，生成轉換后的全天球圖 像。
[0090] 在步驟S206,全天球相機100通過切出處理部220,切出轉換后的全天球圖像的中 央部分，生成切出圖像。例如，W縱橫均為全天球圖像1/2大小從中央切出。在步驟S207,全 天球相機100通過放大/信箱處理部222,根據(jù)輸出方影像輸出裝置的分辨率和縱橫比，放大 切出圖像，并增加黑帶，生成顯示圖像。在步驟S208,全天球相機100通過輸出部224,經由影 像輸出接口 129輸出生成的顯示圖像，結束本處理。
[0091] 圖6所示的步驟S203至S208的處理，在靜止畫的情況下，在每當注目點隨著全天球 相機100的姿勢變化而發(fā)生改變反復實行，或者W規(guī)定間隔反復實行，而在動畫的情況下， 則在每一帖圖像中反復實行。
[0092] W下參考圖7,描述在第二處理的流程中實行的處理。用戶發(fā)出的實況顯示開始指 示后圖7所示的顯示圖像輸出處理開始。在步驟S301中，全天球相機100通過攝像圖像取得 部202取得攝像元件130A和130B拍攝的攝像圖像。
[0093] 在步驟S302中，全天球相機100通過拼接處理部204檢測取得的兩幅部分圖像之間 的重疊區(qū)域中的連接位置，并將連接位置的檢測結果反映到轉換參數(shù)中。通過反映連接位 置檢測結果，圖10的(A)所示的轉換參數(shù)得到修改，補償后圖像的坐標值（e，(6)與反映了 連接位置補償?shù)牟糠謭D像的坐標值(x，y)相對應。在步驟S303,全天球相機100通過注目點 決定部214,根據(jù)外部操作控制器的姿勢傳感器輸出的傳感器信息，來決定注目點（操作控 制器的姿勢角度a，e，丫）。在W下的描述中，通過結合加速度傳感器、巧螺傳感器W及地磁 傳感器，來獲得W操作控制器面向正上方的狀態(tài)為基準的相機主機姿勢角度a，e，丫。在步 驟S303中還檢測到全天球相機100的姿勢角度，對已定的姿勢角度進行補償，在操作控制器 面向正上方的狀態(tài)(姿勢角度(a，e，丫）= (〇,〇,〇))下使得全天球圖像的天頂方向與鉛直方 向保持一致。在W下的描述中，出于方便，設全天球相機IOOW固定設置為面向正上方的狀 態(tài)進行攝影。
[0094] 在步驟S304,全天球相機100通過圖像轉動部216,按照步驟S303決定的注目點實 行全天球圖像的來修改轉換參數(shù)。在步驟S304所示的坐標轉換處理中，將全天球圖像的坐 標值所對應的圖10所示的轉換參數(shù)的的各個轉換后坐標值（9，坪)作為輸入值(01，恥） 進行坐標轉換，，用上述式（1)至(6)求出轉換后的各個坐標值(02,恥）。關于坐標轉換處 理，參考圖12的描述。在步驟S305中，全天球相機100通過轉換后全天球圖像生成部218,用 反映了坐標轉換處理實行結果的轉換參數(shù)實行生成處理，從拍攝的兩幅部分圖像直接生成 轉變后全天球圖像。對轉換參數(shù)的各個坐標值（&，（P)，將運些值作為輸入值（目1，則）， 求出轉換后的坐標值（02，恥）。為此，轉換后全天球圖像生成處理是，設定與對應轉換后 全天球圖像的輸入坐標值（0U fO求出的轉換后坐標值(破，恥）相關聯(lián)的部分圖像的 坐標值(x，y)的像素值，用W作為該坐標值（目1，(61)的像素值。據(jù)此，獲得展開到球面坐標 系上的兩幅部分圖像，合成該兩個球面坐標系的部分圖像，生成轉換后的全天球圖像。 [00M] 在步驟S306,全天球相機100通過切出處理部220,切出轉換后的全天球圖像的中 央部分，生成切出圖像。在步驟S307，全天球相機100通過放大/信箱處理部222，根據(jù)輸出方 影像輸出裝置的分辨率和縱橫比，放大切出圖像，并增加黑帶，生成顯示圖像。在步驟S308， 全天球相機100通過輸出部224，經由影像輸出接口 129輸出生成的顯示圖像，結束本處理。 圖7所示的步驟S301至S308的處理W每一帖為間隔反復實行。
[0096] 圖13是本實施方式設及的全天球相機100將通過基于各個注目點的圖像轉動所生 成的轉換后全天球圖像與切出的中央部分一起顯示的圖。其中的（B)是基準注目點的轉換 后全天球圖像和切出的中央部分。圖13的(B)對應用戶保持操作控制器(全天球相機100/外 部操作控制器)垂直的狀態(tài)。
[0097] 對此，圖13的(A)顯示，操作控制器相對于(B)對應的姿勢傾斜，使圖13(B)中的注 目點向下移動時的轉換后全天球圖像W及切出的中央部分。圖13的（C)顯示，從(B)對應的 姿勢出發(fā)，圍繞主機軸轉動操作控制器，使圖13(B)中的注目點向右移動時的轉換后全天球 圖像W及切出的中央部分。
[0098] 如圖13所示，上述實施方式根據(jù)姿勢傳感器等輸出的傳感器信息所決定的注目 點，對全天球圖像實行坐標轉換處理，通過從實行坐標轉換處理生成的轉換后全天球圖像 中切出一部分圖像，生成用于輸出的顯示圖像。優(yōu)選實施方式為，切出轉換后全天球圖像的 中央部分，將W全天球圖像中的注目點為中屯、的部分所對應的圖像作為顯示圖像。
[0099] 利用上述實施方式，能夠W負荷較小的處理來生成顯示出全天球圖像中的一部分 且不會讓閱覽者感到不調諧的顯示圖像。而優(yōu)選實施方式實施的坐標轉換處理，將W注目 點為中屯、的圖像配置在全天球圖像中變形較少的中央部分，為此閱覽者在不使用專用瀏覽 器的情況下也能夠看到自然的圖像。而坐標轉換處理是安裝在全天球相機100中的處理，用 來實行天頂補償，因此，還能夠降低計裝成本，減少發(fā)熱。
[0100] 如上所述，本實施方式提供的圖像處理系統(tǒng)、圖像處理方法W及攝像系統(tǒng)能夠W 小負荷處理生成閱覽者沒有不協(xié)調感的對象圖像的顯示圖像。
[0101] 上述實施方式用全天球相機100作為一例，用來描述圖像處理系統(tǒng)和攝像系統(tǒng)，但 是圖像處理系統(tǒng)和攝像系統(tǒng)的構成并不受到上述實施方式的限制。
[0102] 在其他的實施方式中，可W將功能部202至224中一部分處理分散安裝到能夠作為 外部個人計算機或服務器、操作控制器動作的計算機等一臺W上圖像處理裝置上。在某些 特定的實施方式中，具備攝像元件130的攝像裝置及全天球相機或與全天球相機分開的圖 像處理裝置上可W具備上述注目點決定部214、圖像轉動部216、轉換后全天球圖像生成部 218、切出處理部220、放大/信箱處理部222W及輸出部224。操作控制器可W是與全天球相 機、上述圖像處理裝置、或全天球相機及圖像處理裝置分開的裝置。
[0103] 進而，拼接處理部204的拼接處理、圖像轉動部216的圖像轉動、W及切出處理部 220的切出處理的順序并不受到圖3所示的【具體實施方式】的限制。也可W按照W下順序實行 處理。
[0104] (1)拼接處理后實行圖像轉動，而后實行切出處理后輸出。除此之外，還可W如下 處理。
[0105] (2)圖像轉動之后實行拼接處理，而后實行切出處理輸出。
[0106] (3)圖像轉動之后實行切出處理，而后實行拼接處理輸出。
[0107] (4)拼接處理之后實行切出處理，而后實行圖像像轉動輸出。
[0108] (5)切出處理之后實行拼接處理，而后圖像轉動輸出。
[0109] (6)切出處理之后實行圖像轉動，而后實行拼接處理后輸出。
[0110] 進而還可W在動畫狀態(tài)下實行圖像轉動和切出處理。
[0111] 上述各項功能模塊通過執(zhí)行用匯編語言、C、c++、c# Java(注冊商標)等傳統(tǒng)編程 語言或面向對象編程語言等敘述的計算機可執(zhí)行程序來實現(xiàn)。該程序可W保存在ROM、 EEPROM、EPROM、閃存、軟磁盤、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、藍光盤、SD 卡、MO 等 裝置可讀取的存儲媒體中，還可W通過電子通信線頒發(fā)。上述功能部中的一部分或全部可 安裝在例如現(xiàn)場可編程口陣列（FieId-Programmable Gate Array，略寫為FPGA)等可編程 設備（ProgrammabIe Device,略寫為PD)中，還可W作為專用集成電路（Application Specific Integrated Circuit，ASIC)安裝，進而，可W用記錄媒體頒發(fā)用于下載到PD上的 比特流數(shù)據(jù)（BitStrearn Data)、生成電路構成數(shù)據(jù)的HDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等描述的數(shù)據(jù)，用來在PD實現(xiàn)上述功能。
[0112] 至此描述了本發(fā)明的實施方式，但是本發(fā)明并不受到上述實施方式的限制。本發(fā) 明至少在W下的方面具有特征。
[0113] (1) 一種圖像處理系統(tǒng)，可用來輸出在顯示部上顯示的動畫數(shù)據(jù)，其中包括：
[0114] 第一輸出部，用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)；
[0115] 第二輸出部，用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；W 及，
[0116] 第=輸出部，用于將經過所述第一輸出部和所述第二輸出部的處理的圖像數(shù)據(jù)作 為在所述顯示部上顯示的動畫數(shù)據(jù)輸出。
[0117] (2)-種圖像處理系統(tǒng)，可用來合成多幅圖像W生成一幅圖像，其中包括：
[0118] 第一輸出部，用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)；
[0119] 第二輸出部，用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；
[0120] 第四輸出部，用來將被輸入的多幅圖像的圖像數(shù)據(jù)合成后作為一個圖像數(shù)據(jù)輸 出，W及，
[0121] 第=輸出部，用于將經過所述第一輸出部和所述第二輸出部W及所述第四輸出部 的處理的圖像數(shù)據(jù)作為在所述顯示部上顯示的動畫數(shù)據(jù)輸出。
[0122] (3)根據(jù)上述(1)或(2)所述的圖像處理系統(tǒng)，其中，
[0123] 所述第一輸出部是切出部，用來從所述被輸入的圖像數(shù)據(jù)中切出一部分，
[0124] 所述第二輸出部是坐標轉換處理部，用來根據(jù)基于傳感器信息決定的注目點，對 所述被輸入的圖像數(shù)據(jù)實行坐標轉換處理。
[0125] (4)根據(jù)上述(3)所述的圖像處理系統(tǒng)，其中，
[0126] 被輸入到所述第二輸出部中的圖像數(shù)據(jù)是球面坐標系的圖像，
[0127] 所述坐標轉換處理包含：
[0128] 第一坐標轉換處理，將被輸入到所述第二輸出部中的圖像數(shù)據(jù)的坐標轉換為=維 坐標；
[0129] 第二坐標轉換處理，對經過所述第一坐標轉換處理得到的=維坐標進行=維轉動 轉換；W及，
[0130] 第=坐標轉換處理，將經過所述=維轉動轉換得到的=維坐標轉換到球面坐標 系。
[0131] (5)根據(jù)上述(3)或(4)所述的圖像處理系統(tǒng)，其中，所述切出部用來實行切出所述 被輸入的圖像數(shù)據(jù)中的中央部分的切出處理，通過該切出處理，W所述被輸入的圖像數(shù)據(jù) 中的所述注目點為中屯、的部分所對應的圖像被作為所述一部分圖像數(shù)據(jù)輸出。
[0132] (6)根據(jù)上述(3)至(5)中任意一個方面的圖像處理系統(tǒng)，其中，所述傳感器信息包 含從加速度傳感器、巧螺傳感器、W及地磁傳感器中至少一種傳感器得到的信息。
[0133] (7)根據(jù)上述(1)至(6)中任意一個方面的圖像處理系統(tǒng)，其中，
[0134] 進一步包含圖像取得部，該圖像取得部用來取得多個攝像部拍攝的多幅圖像的圖 像數(shù)據(jù)，
[0135] 所述多個攝像部各自包含透鏡光學系統(tǒng)和攝像元件，用來向互不相同的方向拍 攝。
[0136] (8)根據(jù)上述(7)所述的圖像處理系統(tǒng)，其中，
[0137] 所述多個攝像部各自具有規(guī)定的視角，通過組合所述多個攝像部的視角W達到仙 球面度的立體角，
[0138] 所述第=輸出部輸出的圖像數(shù)據(jù)為全天球圖像。
[0139] (9) 一種用于圖像輸出裝置輸出在顯示部上顯示的動畫數(shù)據(jù)的圖像處理方法，其 中包括W下步驟：
[0140] 第一輸出步驟，輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)；
[0141] 第二輸出步驟，輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；W及，
[0142] 第=輸出步驟，將經過所述第一輸出步驟和所述第二輸出部步驟的處理的圖像數(shù) 據(jù)作為在所述顯示部上顯示的動畫數(shù)據(jù)輸出。
[0143] (10)-種用于圖像處理裝置合成多幅圖像W生成一幅圖像的圖像處理方法，其中 包括W下步驟：
[0144] 第一輸出步驟，輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)；
[0145] 第二輸出步驟，輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；
[0146] 第四輸出步驟，將被輸入的多幅圖像的圖像數(shù)據(jù)合成后作為一個圖像數(shù)據(jù)輸出， W及，
[0147] 第=輸出步驟，用于將經過所述第一輸出步驟和所述第二輸出步驟W及所述第四 輸出步驟的處理的圖像數(shù)據(jù)作為在所述顯示部上顯示的動畫數(shù)據(jù)輸出。
[014引（11)根據(jù)上述(9)或（10)所述的圖像處理方法，其中，
[0149 ]所述第一輸出步驟是切出步驟，從所述被輸入的圖像數(shù)據(jù)中切出一部分，
[0150] 所述第二輸出步驟是坐標轉換處理步驟，根據(jù)基于傳感器信息決定的注目點，對 所述被輸入的圖像數(shù)據(jù)實行坐標轉換處理。
[0151] (12)根據(jù)上述(11)所述的圖像處理方法，其中，
[0152] 被輸入到所述第二輸出部中的圖像數(shù)據(jù)是球面坐標系的圖像，
[0153] 所述坐標轉換處理包含：
[0154] 第一坐標轉換處理，將在所述第二輸出步驟中被輸入的圖像數(shù)據(jù)的坐標轉換為= 維坐標；
[0K5]第二坐標轉換處理，對經過所述第一坐標轉換處理得到的=維坐標進行=維轉動 轉換；W及，
[0156]第=坐標轉換處理，將經過所述=維轉動轉換得到的=維坐標轉換到球面坐標 系。
[0157] (13)-種用來輸出在顯示部上顯示的動畫數(shù)據(jù)的攝像系統(tǒng)，其中包括：
[0158] 攝像部，用于拍攝圖像數(shù)據(jù)，其中包含多個透鏡光學系統(tǒng)和攝像元件；
[0159] 控制部，用于改變注目點；
[0160] 第一輸出部，用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)；
[0161] 第二輸出部，用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；W 及，
[0162] 第=輸出部，用于將經過所述第一輸出部和所述第二輸出部處理的圖像數(shù)據(jù)作為 在所述顯示部上顯示的動畫數(shù)據(jù)輸出。
[0163] (14) 一種用來合成多幅圖像W生成一幅圖像的攝像系統(tǒng)，其中包括：
[0164] 攝像部，用于拍攝圖像數(shù)據(jù)，其中包含多個透鏡光學系統(tǒng)和攝像元件；
[0165] 控制部，用于改變注目點；
[0166] 第一輸出部，用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)；
[0167] 第二輸出部，用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；
[0168] 第四輸出部，用來將被輸入的多幅圖像的圖像數(shù)據(jù)合成后作為一個圖像數(shù)據(jù)輸 出，W及，
[0169] 第=輸出部，用于將經過所述第一輸出部和所述第二輸出部處理W及所述第四輸 出部的圖像數(shù)據(jù)作為在所述顯示部上顯示的動畫數(shù)據(jù)輸出。
[0170] 此外，對于上述實施方式，只要在本技術領域的專業(yè)人員能夠想到的范圍內，可W 進行刪減或改變，還可W采用其他實施方式，但是無論哪一種實施方式，只要具有本發(fā)明作 用和效果，均屬于本發(fā)明范疇。
【主權項】
1. 一種圖像處理系統(tǒng)，可用來輸出在顯示部上顯示的動畫數(shù)據(jù)，其中包括： 第一輸出部，用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)； 第二輸出部，用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；以及， 第三輸出部，用于將經過所述第一輸出部和所述第二輸出部的處理的圖像數(shù)據(jù)作為在 所述顯示部上顯示的動畫數(shù)據(jù)輸出。2. -種圖像處理系統(tǒng)，可用來合成多幅圖像以生成一幅圖像，其中包括： 第一輸出部，用于輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)； 第二輸出部，用于輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)； 第四輸出部，用來將被輸入的多幅圖像的圖像數(shù)據(jù)合成后作為一個圖像數(shù)據(jù)輸出，以 及， 第三輸出部，用于將經過所述第一輸出部和所述第二輸出部以及所述第四輸出部的處 理的圖像數(shù)據(jù)作為在所述顯示部上顯示的動畫數(shù)據(jù)輸出。3. 根據(jù)權利要求1或2所述的圖像處理系統(tǒng)，其中， 所述第一輸出部是切出部，用來從所述被輸入的圖像數(shù)據(jù)中切出一部分， 所述第二輸出部是坐標轉換處理部，用來根據(jù)基于傳感器信息決定的注目點，對所述 被輸入的圖像數(shù)據(jù)實行坐標轉換處理。4. 根據(jù)權利要求3所述的圖像處理系統(tǒng)，其中， 被輸入到所述第二輸出部中的圖像數(shù)據(jù)是球面坐標系的圖像， 所述坐標轉換處理包含： 第一坐標轉換處理，將被輸入到所述第二輸出部中的圖像數(shù)據(jù)的坐標轉換為三維坐 標； 第二坐標轉換處理，對經過所述第一坐標轉換處理得到的三維坐標進行三維轉動轉 換；以及， 第三坐標轉換處理，將經過所述三維轉動轉換得到的三維坐標轉換到球面坐標系。5. 根據(jù)權利要求3或4所述的圖像處理系統(tǒng)，其中，所述切出部用來實行切出所述被輸 入的圖像數(shù)據(jù)中的中央部分的切出處理，通過該切出處理，以所述被輸入的圖像數(shù)據(jù)中的 所述注目點為中心的部分所對應的圖像被作為所述一部分圖像數(shù)據(jù)輸出。6. 根據(jù)權利要求3至5中任意一項所述的圖像處理系統(tǒng)，其中，所述傳感器信息包含從 加速度傳感器、陀螺傳感器、以及地磁傳感器中至少一種傳感器得到的信息。7. 根據(jù)權利要求1至6中任意一項所述的圖像處理系統(tǒng)，其中， 進一步包含圖像取得部，該圖像取得部用來取得多個攝像部拍攝的多幅圖像的圖像數(shù) 據(jù)， 所述多個攝像部各自包含透鏡光學系統(tǒng)和攝像元件，用來向互不相同的方向拍攝。8. 根據(jù)權利要求7所述的圖像處理系統(tǒng)，其中， 所述多個攝像部各自具有規(guī)定的視角，通過組合所述多個攝像部的視角以達到牡球面 度的立體角， 所述第三輸出部輸出的圖像數(shù)據(jù)為全天球圖像。9. 一種用于圖像輸出裝置輸出在顯示部上顯示的動畫數(shù)據(jù)的圖像處理方法，其中包括 以下步驟： 第一輸出步驟，輸出被輸入的圖像數(shù)據(jù)中的一部分圖像數(shù)據(jù)； 第二輸出步驟，輸出通過轉換被輸入的圖像數(shù)據(jù)的坐標而得到的圖像數(shù)據(jù)；以及， 第三輸出步驟，將經過所述第一輸出步驟和所述第二輸出部步驟的處理的圖像數(shù)據(jù)作 為在所述顯示部上顯示的動畫數(shù)據(jù)輸出。10. 根據(jù)權利要求9所述的圖像處理方法，其中， 所述第一輸出步驟是切出步驟，從所述被輸入的圖像數(shù)據(jù)中切出一部分， 所述第二輸出步驟是坐標轉換處理步驟，根據(jù)基于傳感器信息決定的注目點，對所述 被輸入的圖像數(shù)據(jù)實行坐標轉換處理。11. 根據(jù)權利要求10所述的圖像處理方法，其中， 被輸入到所述第二輸出部中的圖像數(shù)據(jù)是球面坐標系的圖像， 所述坐標轉換處理包含： 第一坐標轉換處理，將在所述第二輸出步驟中被輸入的圖像數(shù)據(jù)的坐標轉換為三維坐 標； 第二坐標轉換處理，對經過所述第一坐標轉換處理得到的三維坐標進行三維轉動轉 換；以及， 第三坐標轉換處理，將經過所述三維轉動轉換得到的三維坐標轉換到球面坐標系。
【文檔編號】H04N5/232GK105979123SQ201610111895
【公開日】2016年9月28日
【申請日】2016年2月29日
【發(fā)明人】森岡真人
【申請人】株式會社理光