用于調(diào)整多個(gè)圖像的明亮度的方法
【專利摘要】提供了用于調(diào)整多個(gè)圖像的明亮度的裝置，所述多個(gè)圖像的每個(gè)圖像包括多個(gè)像素。該裝置可以包括配置為存儲(chǔ)指令的存儲(chǔ)器。該裝置還可以包括處理器，其配置為執(zhí)行該指令，以確定圖像的整體亮度值。該處理器還可以配置為根據(jù)該圖像確定參考圖像和基于該整體亮度值的參考整體亮度值。該處理器可以進(jìn)一步配置為：基于參考圖像的參考整體亮度值來確定圖像的調(diào)整因子；確定待調(diào)整圖像中的像素的加權(quán)因子；以及基于圖像的調(diào)整因子和像素的加權(quán)因子來調(diào)整待調(diào)整圖像中的像素的亮度值。
【專利說明】
用于調(diào)整多個(gè)圖像的明亮度的方法
技術(shù)領(lǐng)域
[0001] 本公開總體上涉及圖像處理技術(shù)，并具體涉及用于在多個(gè)圖像中調(diào)整明亮度的系 統(tǒng)和方法。
【背景技術(shù)】
[0002] 圖像〃拼接〃，即，將多個(gè)圖像邊對(duì)邊接合以創(chuàng)建單個(gè)組合圖像，已在許多應(yīng)用領(lǐng)域 日益興起，例如，計(jì)算機(jī)視覺、數(shù)字地圖、衛(wèi)星成像、醫(yī)學(xué)成像以及甚至業(yè)余攝影領(lǐng)域。例如， 為了創(chuàng)造身臨其境的虛擬現(xiàn)實(shí)體驗(yàn)，可使用多個(gè)相機(jī)來捕捉覆蓋了場(chǎng)景的不同部分的源圖 像。這些源圖像然后被"拼接"在一起，以形成360度的全景圖，其可用在例如交互式全景電 影、建筑漫游、多節(jié)點(diǎn)電影的應(yīng)用中，以及與使用獲取自真實(shí)世界的圖像來生成虛擬3D環(huán)境 的其他應(yīng)用。
[0003] 由于用于全景圖拼接的源圖像會(huì)由不同成像裝置在不同時(shí)間和/或在不同光照條 件下生成，對(duì)于全景圖拼接來說眾所周知的挑戰(zhàn)是使源圖像的圖像參數(shù)保持一致，其可能 展現(xiàn)出明亮度和/或顏色上的差異。為了解決不一致問題，傳統(tǒng)方法調(diào)整相鄰源圖像以確保 重疊區(qū)域中的亮度和/或色度直方圖（表示明亮度的變化)是匹配的。這種調(diào)整會(huì)導(dǎo)致某些 圖像中不期望的副作用。即，某些圖像在調(diào)整后會(huì)過度曝光或曝光不足。
[0004] 例如，當(dāng)?shù)谝粓D像顯得比其他圖像更暗時(shí)，必須調(diào)整第一圖像以增加其明亮度。確 定待調(diào)整的圖像的調(diào)整因子?；谠撜{(diào)整因子來調(diào)整該圖像的明亮度。換言之，基于該調(diào)整 因子來調(diào)整每個(gè)像素的亮度值。然而，由于圖像中像素的明亮度的分布通常不是均勻的，圖 像通常包括比其他區(qū)域更暗的一些區(qū)域。如果圖像的較暗區(qū)域和較亮區(qū)域均用同一調(diào)整因 子來調(diào)整，該較亮區(qū)域在調(diào)整后會(huì)顯得過度曝光。備選地，如果第一圖像顯得比其他圖像更 亮，其明亮度應(yīng)該降低。如果用單個(gè)調(diào)整因子來調(diào)整圖像的較暗區(qū)域和較亮區(qū)域的明亮度， 較暗區(qū)域在調(diào)整后會(huì)顯得曝光不足。由于這些副作用，會(huì)降低拼接的全景圖像的整體質(zhì)量。 因此，需要一種能夠在明亮度調(diào)整期間防止或減少過度曝光或曝光不足的方法。
[0005] 所公開的系統(tǒng)和方法解決了以上列出的一個(gè)以上問題。

【發(fā)明內(nèi)容】

[0006] 與本公開的一個(gè)實(shí)施例一致，提供了一種用于調(diào)整多個(gè)圖像的明亮度的裝置，該 多個(gè)圖像的每個(gè)包括多個(gè)像素。該裝置可以包括配置為存儲(chǔ)指令的存儲(chǔ)器。該裝置還可以 包括處理器，其配置為執(zhí)行該指令以確定圖像的整體亮度值。該處理器還可以配置為執(zhí)行 該指令，以根據(jù)該圖像確定參考圖像和基于該整體亮度值的參考整體亮度值。該處理器還 可以配置為執(zhí)行該指令，以基于該參考圖像的參考整體亮度值確定該圖像的調(diào)整因子，并 確定待調(diào)整圖像中的像素的加權(quán)因子。該處理器可以進(jìn)一步配置為執(zhí)行該指令，以基于該 圖像的調(diào)整因子和該像素的加權(quán)因子來調(diào)整待調(diào)整圖像的像素的亮度值。
[0007] 與本公開的另一個(gè)實(shí)施例一致，提供了一種用于調(diào)整多個(gè)圖像的明亮度的方法， 該多個(gè)圖像的每個(gè)包括多個(gè)像素。該方法可以包括確定圖像的整體亮度值。該方法還可以 包括根據(jù)該圖像確定參考圖像和基于該整體亮度值的參考整體亮度值。該方法還可以包括 基于該參考圖像的參考整體亮度值確定該圖像的調(diào)整因子，并確定待調(diào)整圖像中的像素的 加權(quán)因子。該方法可以進(jìn)一步包括基于該圖像的調(diào)整因子和該像素的加權(quán)因子來調(diào)整待調(diào) 整圖像的像素的亮度值。
[0008] 與本公開的又一實(shí)施例一致，提供了一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ) 指令，當(dāng)處理器執(zhí)行該指令時(shí)使得該處理器執(zhí)行用于調(diào)整多個(gè)圖像的明亮度的方法，該多 個(gè)圖像的每個(gè)包括多個(gè)像素。該方法可以包括確定圖像的整體亮度值。該方法還可以包括 根據(jù)該圖像確定參考圖像和基于該整體亮度值的參考整體亮度值。該方法還可以包括基于 該參考圖像的參考整體亮度值確定該圖像的調(diào)整因子，并確定待調(diào)整圖像中的像素的加權(quán) 因子。該方法可以進(jìn)一步包括基于該圖像的調(diào)整因子和該像素的加權(quán)因子來調(diào)整待調(diào)整圖 像的像素的亮度值。
【附圖說明】
[0009] 這里描述的方法、系統(tǒng)和/或程序進(jìn)一步用示例性實(shí)施例進(jìn)行描述。參照附圖來具 體描述這些示例性實(shí)施例。這些實(shí)施例是非限制性的示例性實(shí)施例，其中類似的附圖標(biāo)記 在附圖的一些視圖中表示類似的結(jié)構(gòu)。
[0010]圖1為根據(jù)示例性實(shí)施例的圖示了用于創(chuàng)建全景圖像的成像系統(tǒng)的示意圖。
[0011] 圖2為根據(jù)示例性實(shí)施例的使用在圖1所示的成像系統(tǒng)中的控制器的框圖。
[0012] 圖3為根據(jù)示例性實(shí)施例的用于調(diào)整多個(gè)圖像的明亮度的方法的流程圖。
[0013] 圖4為圖示了根據(jù)示例性實(shí)施例的拼接多個(gè)圖像的方法的示意圖。
[0014] 圖5A為示出了根據(jù)示例性實(shí)施例的像素的加權(quán)因子和亮度值之間的單調(diào)遞減關(guān) 系的繪圖。
[0015] 圖5B為示出了根據(jù)示例性實(shí)施例的像素的加權(quán)因子和亮度值之間的單調(diào)遞增關(guān) 系的繪圖。
[0016] 圖6A示出了用明亮度調(diào)整方法處理之前的原始圖像。
[0017]圖6B示出了用傳統(tǒng)的明亮度調(diào)整方法處理之后的圖6A的圖像。
[0018]圖7示出了用所公開的明亮度調(diào)整方法處理之后的圖6A的圖像。
[0019]圖8A示出了用傳統(tǒng)方法處理后的圖像。
[0020]圖8B示出了用所公開的方法處理后的與圖8A的源圖像相同的源圖像。
【具體實(shí)施方式】
[0021] 現(xiàn)在將詳細(xì)參照所公開的實(shí)施例，其例子圖示在附圖中。只要是方便之處，將在整 個(gè)附圖中使用相同的附圖標(biāo)記來指代相同或類似的部件。
[0022] 本公開的特征和特性，連同操作方法和相關(guān)的結(jié)構(gòu)元件以及部件組合的功能和制 造的經(jīng)濟(jì)性，將在考慮如下參照附圖的描述后變得顯而易見，所有附圖構(gòu)成本說明書的一 部分。然而，應(yīng)當(dāng)理解的是，附圖僅僅是用于圖示和描述的目的，而不旨在對(duì)本發(fā)明的界限 進(jìn)行限定。在說明書和權(quán)利要求中使用的單數(shù)形式的"一"、"一個(gè)"和"該"包括復(fù)數(shù)指稱，除 非上下文另行明確地指明。
[0023] 圖1為根據(jù)示例性實(shí)施例的圖示了用于創(chuàng)建全景圖像的成像系統(tǒng)100的示意圖。系 統(tǒng)100可包括相機(jī)裝配件110、一個(gè)以上的相機(jī)120(例如，相機(jī)120a、120b、...和120h)和控 制器130。除非另有注明，否則術(shù)語"相機(jī)120"應(yīng)理解成意為相機(jī)120a-120h中的任一個(gè)或全 部。
[0024] 相機(jī)裝配件110可以是用于安裝相機(jī)120的結(jié)構(gòu)。相機(jī)裝配件110可以構(gòu)建為形成 特別設(shè)計(jì)的相機(jī)路徑。工業(yè)標(biāo)準(zhǔn)捆綁和夾緊裝置可以結(jié)合多種定制裝配方案使用，以允許 定位、高度和相機(jī)移動(dòng)方面的較大靈活性。相機(jī)裝配件110可包括復(fù)雜的結(jié)構(gòu)，其包括多種 不同直徑的圓和曲線、直軌道、斜/傾角、高架裝配等。相機(jī)裝配件110還可以是簡(jiǎn)單的單個(gè) 直軌道或曲軌道。例如，在360度全景攝影中，相機(jī)裝配件110可以形成360度的圓形以對(duì)齊 相機(jī)120。
[0025] 相機(jī)120可以是包括下列任一項(xiàng)的圖像捕捉裝置:光學(xué)裝置、透鏡、電荷耦合器件 (CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)檢測(cè)器陣列和驅(qū)動(dòng)電路，以及用于從多種波長(zhǎng)的光生 成圖像數(shù)據(jù)的光學(xué)部件、電子部件和控制電路的其他排布。例如，相機(jī)120可以是運(yùn)動(dòng)型相 機(jī)、數(shù)字相機(jī)、網(wǎng)絡(luò)相機(jī)或數(shù)字單鏡頭反光(DSLR)相機(jī)。相機(jī)120還可以嵌入其他裝置中，例 如嵌入智能手機(jī)、計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、監(jiān)視裝置、視頻游戲控制臺(tái)等。
[0026] 相機(jī)120可以配置為以多種方式捕捉環(huán)境的一個(gè)以上圖像。這里所用的"圖像"指 的是部分或整體的靜態(tài)或動(dòng)態(tài)的視覺表示，其包括但不限于照片、圖片、圖形、視頻、全息 圖、虛擬現(xiàn)實(shí)圖像、增強(qiáng)現(xiàn)實(shí)圖像、其他視覺表示或其組合。例如，相機(jī)120可以配置為，通過 編程、通過硬件設(shè)置或其組合而在用戶的啟動(dòng)下捕捉圖像。在一些實(shí)施例中，當(dāng)相機(jī)120配 置為通過軟件或硬件編程或通過硬件設(shè)置來捕捉圖像時(shí)，可以在一個(gè)以上預(yù)定條件下執(zhí)行 圖像捕捉。例如，可由控制器120控制多個(gè)相機(jī)120來同時(shí)捕捉圖像或以有序的方式捕捉圖 像?？蛇x地或另外地，一組預(yù)定條件，例如感測(cè)到移動(dòng)對(duì)象，可觸發(fā)相機(jī)120捕捉圖像。在一 些實(shí)施例中，捕捉圖像可包括將相機(jī)120置于能夠捕捉一個(gè)以上圖像的模式或設(shè)定。
[0027] 相機(jī)120可包括適合于全景圖創(chuàng)建的多種特性。在一個(gè)實(shí)施例中，相機(jī)120可使用 能夠以加強(qiáng)的顏色和對(duì)比度來捕捉高分辨率(例如，4608x3456)照片的16MP(兆像素）成像 傳感器。相機(jī)120還可具有寬視野，例如155度視角。相機(jī)120可進(jìn)一步配置為以多種分辨率 和幀率記錄視頻，例如30fps幀率下1296p的分辨率，以及30fps或60fps幀率下1080p的分辨 率。
[0028]如圖1所示，在一個(gè)實(shí)施例中，八個(gè)相機(jī)（即相機(jī)120a_120h)均勻地分開并安裝在 相機(jī)裝配件110上以形成圓形并朝外。八個(gè)相機(jī)120可協(xié)作實(shí)現(xiàn)完全的360度全景覆蓋。例 如，由相機(jī)120同時(shí)或在不同時(shí)點(diǎn)獲取的源圖像可以拼接在一起以生成360度的全景圖像。 [0029] 雖然圖1示出了系統(tǒng)100包括八個(gè)相機(jī)120,但系統(tǒng)100中還可包括更多個(gè)或更少個(gè) 相機(jī)或甚至單個(gè)相機(jī)120來創(chuàng)建全景圖像。例如，單個(gè)相機(jī)120可以改變其位置和/或取向來 在不同時(shí)點(diǎn)捕捉多個(gè)源圖像。這些原圖像然后可被拼接在一起以形成全景圖像。
[0030] 不論待拼接的源圖像是由不同相機(jī)同時(shí)捕捉的還是由同一相機(jī)在不同時(shí)點(diǎn)捕捉 的，由于每個(gè)源圖像是在不同條件下取得的，不同的源圖像會(huì)有不同的明亮度。例如，由于 圖像捕捉參數(shù)是根據(jù)環(huán)境的實(shí)時(shí)成像條件而對(duì)每個(gè)源圖像在相機(jī)120中自動(dòng)設(shè)定的，照度 等級(jí)的變化會(huì)引起待拼接的相鄰源圖像中的不同的曝光等級(jí)，產(chǎn)生的圖像中不同的源圖像 中的同一物體顯得不是亮了就是暗了。
[0031] 例如，如圖1所示，相機(jī)120a-120h可用來在光源140(例如閃光單元或太陽）下同時(shí) 分別捕捉源圖像1^(未示出）。源圖像Ma-Mh可然后相繼拼接以創(chuàng)建360度全景圖像，其中M a 是第一源圖像，Mh是最后源圖像。相機(jī)120a和120b可能工作在逆光條件下使得源圖像1和施 將物體顯示得更黑，而相機(jī)120e和120f工作在反光條件下使得源圖像M e和Mf將同一物體顯 示得更亮。因此，在作為結(jié)果的全景圖中，雖然源圖像(Ma，M b)并未緊鄰源圖像Me、Mf，但(Ma， Mb)和(MuMf)之間的明亮度的不一致會(huì)顯著到足以引起觀看者的注意。此外，在360度全景 圖中，第一源圖像M a和最后源圖像Mh也需要拼接在一起，因此MjPMh之間任何明亮度的不一 致也會(huì)容易被注意到。
[0032] 當(dāng)調(diào)整圖像之間的明亮度差時(shí)，傳統(tǒng)方法使用單個(gè)調(diào)整因子來調(diào)整圖像中所有像 素的亮度值。例如，通過乘以單個(gè)調(diào)整因子來增加所有像素的亮度值。然而，圖像可能包括 不同區(qū)域中的不均一明亮度。例如，圖像的一些區(qū)域可能顯得比其他區(qū)域更亮。因此，當(dāng)使 用單個(gè)調(diào)整因子來調(diào)整圖像的明亮度時(shí)（即，當(dāng)調(diào)整包括在圖像中的所有像素的亮度值 時(shí)），當(dāng)調(diào)整圖像來增加其明亮度時(shí)一些已經(jīng)較亮的區(qū)域可能發(fā)生曝光過度。另外，當(dāng)調(diào)整 圖像來降低其明亮度時(shí)一些已經(jīng)較暗的區(qū)域可能發(fā)生曝光不足。
[0033] 為了解決上述問題，本公開提供了一種明亮度調(diào)整方法，其通過防止或減小曝光 過度和/或曝光不足，使得不但在形成全景圖的一些或全部源圖像之間實(shí)現(xiàn)明亮度的一致 性，而且在相同圖像的不同區(qū)域之間實(shí)現(xiàn)明亮度的一致性。即，所公開的方法不但確保了相 鄰兩個(gè)源圖像之間的全局明亮度一致性，而且確保了圖像之內(nèi)的局部亮度一致性。
[0034] 在示例性實(shí)施例中，相機(jī)120可以將捕捉的源圖像發(fā)送給圖像處理裝置130(也稱 為控制器130)以進(jìn)行進(jìn)一步處理，包括使用所公開的方法調(diào)整圖像的明亮度以確保圖像之 間和特定圖像之內(nèi)的明亮度一致性，并創(chuàng)建全景圖像?？刂破?30可以是為全景圖創(chuàng)建而專 門設(shè)計(jì)的獨(dú)立裝置。備選地，控制器130可以是另一裝置(例如計(jì)算機(jī))的一部分?？刂破?30 可以通過硬件、軟件或硬件和軟件的組合來實(shí)施?？刂破?30可以用有線和/或無線的方式 通過網(wǎng)絡(luò)135(圖2)連接至相機(jī)120,例如通過通信電纜和/或WiFi、蜂窩、近場(chǎng)通信或紅外。 控制器130可以發(fā)送控制信號(hào)給相機(jī)120以控制相機(jī)操作，包括捕捉源圖像、調(diào)整相機(jī)設(shè)置 等。在一些實(shí)施例中，控制器130的一些或全部功能可以包括在相機(jī)120的一些或全部中，以 隨軟件一起在相機(jī)120之間提供功能協(xié)調(diào)。
[0035] 控制器130還可以從相機(jī)120接收捕捉的源圖像和/或視頻幀，調(diào)整圖像的明亮度， 并將這些源圖像拼接成全景圖像。在一些實(shí)施例中，控制器130可以在接收到圖像時(shí)使用所 公開的方法自動(dòng)調(diào)整圖像的明亮度而不要求用戶輸入。
[0036] 圖2為根據(jù)示例性實(shí)施例的控制器130的框圖?？刂破?30可以包括在圖1所示的成 像系統(tǒng)100中?？刂破?30可包括輸入/輸出（I/O)接口 132、處理器134、存儲(chǔ)裝置136和/或存 儲(chǔ)器138。在一些實(shí)施例中，存儲(chǔ)裝置136和/或存儲(chǔ)器138可以不包括在控制器130中，而是 包括在與控制器130分離的系統(tǒng)中（例如，云存儲(chǔ)或計(jì)算裝置或系統(tǒng)）。
[0037] I/O接口 132可配置為在控制器130和多種裝置之間進(jìn)行雙向通信。例如，處理器 134可以通過I/O接口 132發(fā)送操作信號(hào)給相機(jī)120。處理器134可以通過I/O接口 132從相機(jī) 120接收捕捉的圖像和/或視頻幀。I/O接口 132可以通過網(wǎng)絡(luò)135與相機(jī)120通信以交換數(shù) 據(jù)。網(wǎng)絡(luò)135可以包括任何類型的允許傳送和接收數(shù)據(jù)的有線或無線網(wǎng)絡(luò)。例如，網(wǎng)絡(luò)135可 以包括區(qū)域性或全國(guó)性蜂窩網(wǎng)絡(luò)、本地?zé)o線網(wǎng)絡(luò)(例如藍(lán)牙?、近場(chǎng)通信、紅外或WiFi)和/或 有線網(wǎng)絡(luò)(例如通過電纜實(shí)現(xiàn)的有線網(wǎng)絡(luò)）。
[0038] I/O接口 132可配置為將其從相機(jī)120接收的圖像數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)135發(fā)送給處理器 134。處理器134可包括任何合適類型的通用或?qū)Ｓ梦⑻幚砥?、?shù)字信號(hào)處理器或微處理器。 處理器134可配置為用來創(chuàng)建全景圖像的單獨(dú)的處理器模塊。備選地，處理器134可配置為 共享處理器模塊，用于執(zhí)行與全景圖創(chuàng)建無關(guān)的其他功能。處理器134可執(zhí)行計(jì)算機(jī)指令 (程序代碼)并根據(jù)這里描述的技術(shù)來執(zhí)行功能。計(jì)算機(jī)指令包括例程、程序、對(duì)象、組件、數(shù) 據(jù)結(jié)構(gòu)、過程、模塊和函數(shù)。
[0039] 存儲(chǔ)裝置136和/或存儲(chǔ)器138可配置為存儲(chǔ)用于創(chuàng)建全景圖像的指令和/或數(shù)據(jù)。 存儲(chǔ)裝置136和/或存儲(chǔ)器138可以使用任意類型的易失性或非易失性存儲(chǔ)裝置或其組合來 實(shí)現(xiàn)，例如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、電可擦除可編程只讀存儲(chǔ)器(EEPR0M)、可擦除可編 程只讀存儲(chǔ)器(EPROM )、可編程只讀存儲(chǔ)器(PR0M )、只讀存儲(chǔ)器(ROM )、磁存儲(chǔ)器、閃存、磁盤 或光盤或硬盤。
[0040] 存儲(chǔ)裝置136和/或存儲(chǔ)器138可配置為存儲(chǔ)計(jì)算機(jī)指令和數(shù)據(jù)，其可由處理器134 使用來執(zhí)行與本公開一致的功能。例如，存儲(chǔ)裝置136和/或存儲(chǔ)器138可存儲(chǔ)待拼接的源圖 像和創(chuàng)建的全景圖像。作為另一個(gè)例子，存儲(chǔ)裝置136和/或存儲(chǔ)器138可存儲(chǔ)計(jì)算機(jī)指令， 其用于執(zhí)行所公開的在全景圖創(chuàng)建期間調(diào)整明亮度的方法。
[0041] 圖3為根據(jù)示例性實(shí)施例的用于調(diào)整多個(gè)圖像的明亮度的方法300的流程圖。方法 300可由控制器130(例如，處理器134)來執(zhí)行。
[0042]例如，在步驟310中，處理器134可以獲得各包括多個(gè)像素的η個(gè)源圖像，其中η為正 整數(shù)且η多2。在一些實(shí)施例中，處理器134可以對(duì)η個(gè)源圖像按順序進(jìn)行排序。每個(gè)已排序的 源圖像可部分地與其相鄰的源圖像重疊。例如，在η多3的情況下，當(dāng)i為整數(shù)且n>i多2時(shí)，第 i源圖像可具有與第(i-Ι)源圖像的至少一部分重疊的第一區(qū)域和與第(i+Ι)源圖像的至少 一部分重疊的第二區(qū)域。此外，在360度全景圖創(chuàng)建中，第η源圖像還可與第一源圖像重疊。 如下所具體描述的，處理器134可通過在重疊區(qū)域進(jìn)行合并來拼接這η個(gè)源圖像。
[0043] 在圖1所示的系統(tǒng)100中，處理器134可獲得8個(gè)源圖像1-1^并將它們按Ma、Mb、... 和Mh的次序排序。每個(gè)源圖像可包括分別與兩個(gè)相鄰源圖像重疊的兩個(gè)區(qū)域。由于Ma-M h聯(lián) 合地覆蓋360度視圖，并且第一圖像1和最后圖像Mh部分地彼此重疊，因此1和也也認(rèn)為是 "相鄰的"源圖像。
[0044] 在步驟320中，處理器134可以確定η個(gè)圖像的整體明亮度，即，亮度值。每個(gè)圖像的 整體亮度值可以用P〇(i)表示，其中i = l，2,……，n。下面參照?qǐng)D4描述為每個(gè)圖像確定整體 亮度值的方法。
[0045] 圖4示意性地示出了拼接多個(gè)圖像的方法。該方法可由控制器130(例如，處理器 134)來執(zhí)行。雖然可以用兩個(gè)或多于三個(gè)的圖像來拼接以創(chuàng)建360度全景圖像，但為了說明 性的目的，圖4示出了三個(gè)源圖像施、M 2和M3。通常，η個(gè)圖像施，M2，……Mn可用來創(chuàng)建360度全 景圖像，其中η為大于等于2的正整數(shù)。
[0046] 每個(gè)源圖像可包括分別與兩個(gè)相鄰的源圖像重疊的兩個(gè)區(qū)域。例如，圖像Μη的區(qū) 域Rib可以與圖像M2的區(qū)域R 2a重疊，圖像M2的區(qū)域R2b可以與圖像M3的區(qū)域R3a重疊，圖像M3的 區(qū)域R 3b可以與圖像施的區(qū)域Rla重疊。六個(gè)重疊區(qū)域各具有平均明亮度(例如包括在每個(gè)區(qū) 域中的所有像素的平均亮度值），分別用￥1 3、￥^￥23、￥%、^和^來表示。圖像姐的整體亮度 值P〇(i)可以基于它的兩個(gè)重疊區(qū)域的明亮度來確定。
[0047]在一些實(shí)施例中，圖像Mi的整體亮度值Po(i)可以基于它的兩個(gè)重疊區(qū)域的亮度 值的統(tǒng)計(jì)值(例如平均值)來確定。例如，圖像施的整體亮度值Po (1)可以確定為Yla和Ylb的平 均值。類似地，圖像M2的整體亮度值Po (2)可以確定為Y2a和Y2b的平均值，以及圖像M3的整體 亮度值P〇 (3)可以確定為Y3JPY3b的平均值。
[0048]在一些實(shí)施例中，圖像Mi的整體亮度值Po(i)可以基于圖像Mi的全部像素的亮度值 來確定。例如，圖像Mi的整體亮度值Po (i)可以是包括在圖像Mi中的所有像素的亮度值的平 均值或中值或其他統(tǒng)計(jì)表示形式。
[0049] 返回參照?qǐng)D3，在步驟320中，對(duì)η個(gè)圖像確定多個(gè)整體亮度值Po ( i )，其中i = 1， 2,……，n。方法300可以進(jìn)一步包括步驟330,其中處理器134可以根據(jù)多個(gè)圖像確定參考圖 像和基于該η個(gè)整體亮度值的參考整體亮度值。處理器134可以基于圖像的η個(gè)整體亮度值 獲得統(tǒng)計(jì)值Ps。例如，統(tǒng)計(jì)值Ps可以是η個(gè)整體亮度值Po(1)、Po (2)、……、Ρο(η)的平均。再 例如，統(tǒng)計(jì)值Ps可以是η個(gè)整體亮度值Po (1)、Po (2)、……、Po (η)的中值。也可以將基于Po (1) 、Po (2)、......、Po (η)計(jì)算的其他統(tǒng)計(jì)表示形式用作Ps。
[0050] 為了說明方法300的其余部分，在下面的論述中，將η個(gè)整體亮度值Po(l)、Po (2) 、……、Po(n)的中值用作統(tǒng)計(jì)值Ps(因此Ps也稱為中值Ps)。處理器134可以將每個(gè)整體 亮度值Po(1)、Po (2)、……、Po (η)與中值Ps相比較，以確定最接近中值Ps的第k個(gè)值Po (k) (例如，在所有的P〇(i)中，P〇(k)與Ps之間的絕對(duì)差最?。?。處理器134可以選擇第k個(gè)值Po (k)作為參考整體亮度值，并選擇相應(yīng)的圖像Mk作為參考圖像。在拼接η個(gè)圖像以創(chuàng)建全景 圖像之前，可使用所公開的方法調(diào)整η個(gè)圖像的整體亮度值以確保不同圖像間的一致性和 圖像的不同區(qū)域間的一致性。
[00511在圖3所示的步驟340中，處理器134可以基于參考圖像的參考整體亮度值來確定 圖像的調(diào)整因子。例如，處理器134可以將參考整體亮度值Po(k)除以η個(gè)整體亮度值Ρο(1)、 Ρ0(2)、……、Ρο(η)中的每一個(gè)，來確定η個(gè)調(diào)整因子f(l)、f(2)、……、f(k)、……、f(n)，其 中f(i) =Po(k)/Po(i)，i = l，2,......，k，......，n。因此，參考圖像的調(diào)整因子為1.0,這意味 著參考圖像不需要調(diào)整。對(duì)于那些其整體亮度值小于參考整體亮度值的圖像，調(diào)整因子大 于1.0,這意味著這些圖像的亮度值要增加。對(duì)于那些其整體亮度值大于參考整體亮度值的 圖像，調(diào)整因子小于1.0,這意味著這些圖像的亮度值要減小或降低。
[0052]在圖3的步驟350中，處理器134可以確定包括在待調(diào)整的圖像中的像素的加權(quán)因 子。待調(diào)整的圖像中的像素的加權(quán)因子可以基于調(diào)整前所獲得的像素的亮度值而變化。因 此，對(duì)于調(diào)整前具有不同亮度值的像素，用于這些像素的加權(quán)因子可以不同。例如，對(duì)于待 調(diào)整的圖像I，其中i = l，2,……，k-l，k+l，……，n，假設(shè)圖像1的調(diào)整因子是f(i)，處理器 134可以確定每個(gè)像素的加權(quán)因子。像素 X的加權(quán)因子可以是像素 X的亮度值的函數(shù)(亮度值 可以是調(diào)整前的亮度值）。加權(quán)因子可以表示為W[I(x)]，其中I(x)表示像素 X的亮度值。對(duì) 于每個(gè)圖像I，可以有N個(gè)加權(quán)因子W[I(x)]，其中N是圖像1中的像素的總數(shù)，并且x=l， 2，……，N。包括在圖像Mi中的全部像素的亮度值I ( X )可以落入預(yù)定范圍，例如[0， Maxscale]，其中0可以對(duì)應(yīng)于最暗的像素，Maxscale可以對(duì)應(yīng)于最亮的像素。Maxscale可以 是圖像Mi中的全部像素的預(yù)定最大亮度值。例如，在一個(gè)實(shí)施例中，Maxscale = 255。也可以 使用其他合適的值作為Maxs ca 1 e。
[0053]加權(quán)因子W[I(x)]可以隨著調(diào)整前獲得的像素的亮度值I(x)而單調(diào)地改變(例如 增加或減少）。例如，加權(quán)因子W[I(X)]可以隨著調(diào)整前獲得的像素的亮度值I(x)在預(yù)定范 圍內(nèi)的變化(例如，從零到預(yù)定最大亮度值，如Maxscale)而遞增或遞減。
[0054] 在一些實(shí)施例中，當(dāng)待調(diào)整的圖像I的調(diào)整因子f(i)大于預(yù)定因子時(shí)（例如，f(i) >1.0)，隨著調(diào)整前獲得的像素的亮度值Ι(χ)從零增加至預(yù)定最大像素值(例如Maxscale)， 像素的加權(quán)因子可在預(yù)定范圍內(nèi)（例如，從1.0至〇,或在其他適當(dāng)?shù)姆秶鷥?nèi)）遞減。當(dāng)待調(diào)整 的圖像I的調(diào)整因子f(i)小于預(yù)定因子時(shí)（例如，以1)〈1.0)，隨著調(diào)整前獲得的像素的亮 度值I(x)從零增加至預(yù)定最大像素值(例如Maxscale )，像素的加權(quán)因子W[I(x)]可在預(yù)定 范圍內(nèi)（例如，從1.0至〇,或在其他適當(dāng)?shù)姆秶鷥?nèi)）遞增。
[0055] 例如，可以基于下式確定加權(quán)因子W[I(x)]:
[0056]
[0057] 雖然上式中使用了余弦函數(shù)cos()作為實(shí)現(xiàn)單調(diào)遞增或單調(diào)遞減的加權(quán)因子W[I (X)]的一個(gè)實(shí)施例，但也可以使用其他函數(shù)，例如線性函數(shù)、正弦函數(shù)、多項(xiàng)式和余弦函數(shù) 的其他變型。此外，在一些實(shí)施例中，隨著像素的亮度值Ι(χ)在預(yù)定范圍內(nèi)（例如，[0， Maxscale])增加或減少，加權(quán)因子W[I(x)]可以非線性地增加或減少。在一些實(shí)施例中，隨 著像素的亮度值I(x)在預(yù)定范圍內(nèi)（例如，[0，Maxscale])增加或減少，加權(quán)因子W[I(x)]可 以分段地線性和非線性增加或減少。
[0058] 圖5A為示出了 f(i)>1.0時(shí)根據(jù)上式的像素的加權(quán)因子W[I(x)]和亮度值I(x)之間 的單調(diào)遞減關(guān)系的繪圖。橫軸是像素的亮度值I(x)，縱軸是加權(quán)因子W[I(x)]。圖5A示出了 當(dāng)?shù)趇個(gè)圖像I的調(diào)整因子f(i)大于1.0時(shí)，隨著像素的亮度值I(x)從0增加到Maxscale(例 如255)，加權(quán)因子W[I(x)]單調(diào)遞減。
[0059] 圖5B為示出了 f(i)〈1.0時(shí)根據(jù)上式的像素的加權(quán)因子W[I(x)]和亮度值I(x)之間 的單調(diào)遞增關(guān)系的繪圖。橫軸是像素的亮度值I(x)，縱軸是加權(quán)因子W[I(x)]。圖5B示出了 當(dāng)?shù)趇個(gè)圖像I的調(diào)整因子f(i)小于1.0時(shí)，隨著像素的亮度值I(x)從0增加到Maxscale(例 如255)，加權(quán)因子W[I(x)]單調(diào)遞增。
[0060] 返回參照?qǐng)D3,在步驟360中，處理器134可以基于圖像的調(diào)整因子和像素的加權(quán)因 子來調(diào)整待調(diào)整圖像的像素的亮度值。例如，對(duì)于待調(diào)整的第i個(gè)圖像姐，圖像I的調(diào)整因子 可以是f(i)，可以基于上式而對(duì)包括在圖像1中的全部像素計(jì)算加權(quán)因子W[I(x)]。處理器 134可以基于為圖像1確定的調(diào)整因子f(i)和為像素 X確定的加權(quán)因子W[I(x)]來為每個(gè)像 素 X確定亮度調(diào)整量值，其中W[I(x)]是基于調(diào)整前獲得的像素 X的亮度值I(x)確定的。
[0061] 例如，像素 X的亮度調(diào)整量值可以表示為ΔΙ(χ)，并可以根據(jù)ΔΙ(Χ) = α(υ-1)*￥ [Ι(Χ)]*Ι(χ)來計(jì)算。換言之，可以基于圖像1的調(diào)整因子f(i)、像素 X的加權(quán)因子W[I(x)] 和調(diào)整前獲得的像素 X的亮度值I(x)來計(jì)算亮度調(diào)整量值。像素 X調(diào)整后的亮度值Γ(χ)可 以根據(jù)I'（χ) = Ι(χ)+Δ Ι(χ)確定。
[0062] 因此，當(dāng)f(i)>1.0,則ΔΙ(χ)>〇,這意味著圖像Mi要調(diào)整以增加其明亮度。如圖5Α 所示，隨著I(x)從0增加至Maxscale，加權(quán)因子從W[I(x)]從1.0單調(diào)遞減至0。換言之，用于 較亮像素（即，亮度值更接近Maxscale的像素）的調(diào)整因子W[I(x)]小于用于較暗像素（即， 亮度值更接近〇的像素）的調(diào)整因子W[I(x)]。因此，較亮像素的亮度調(diào)整量值小于較暗像素 的亮度調(diào)整量值。結(jié)果是，當(dāng)調(diào)整期間圖像的明亮度增加時(shí)防止了對(duì)較亮像素的曝光過度。 [0063]當(dāng)汽1)〈1.0，則八1&)〈〇，這意味著圖像1要調(diào)整以降低其明亮度。如圖58所示， 隨著I(x)從0增加至Maxscale，加權(quán)因子從W[I(x)]從0單調(diào)增至1.0。換言之，用于較暗像素 (即，亮度值更接近〇的像素）的調(diào)整因子W[I(x)]小于用于較亮像素（即，亮度值更接近 Maxscale的像素）的調(diào)整因子W[I(x)]。因此，較暗像素的亮度調(diào)整量值小于較亮像素的亮 度調(diào)整量值。結(jié)果是，當(dāng)調(diào)整期間圖像的明亮度降低時(shí)防止了對(duì)較暗像素的曝光不足。 [0064]根據(jù)所公開的實(shí)施例，對(duì)于每個(gè)像素，加權(quán)因子W[I(x)]對(duì)為全體圖像1確定的調(diào) 整因子f(i)進(jìn)行調(diào)整。（f(i)_l)*W[I(x)]可以認(rèn)為是有效的調(diào)整因子。因?yàn)榧訖?quán)因子W[I (X)]是每個(gè)像素的亮度值的函數(shù)，對(duì)于具有不同明亮度的不同像素值來說，有效的調(diào)整因 子(f(i)-l)*W[I(x)]可以不同。相反，在傳統(tǒng)的明亮度調(diào)整方法中，為整個(gè)圖像確定的單個(gè) 調(diào)整因子f(i)用于調(diào)整每個(gè)像素的明亮度，并且不使用基于每個(gè)像素的亮度值而變化的加 權(quán)因子W[I(x)]來對(duì)調(diào)整因子f(i)進(jìn)行調(diào)整。結(jié)果是，當(dāng)使用傳統(tǒng)方法時(shí)，當(dāng)使用單個(gè)調(diào)整 因子f(i)來增加圖像的明亮度時(shí)在圖像中的較亮區(qū)域會(huì)發(fā)生曝光過度，并且當(dāng)使用單個(gè)調(diào) 整因子f(i)來降低圖像的明亮度時(shí)在圖像中的較暗區(qū)域會(huì)發(fā)生曝光不足。所公開的方法通 過使用考慮了每個(gè)像素的亮度值的加權(quán)因子W[I(x)]來修正為整個(gè)圖像確定的調(diào)整因子f (i)，能有效地防止或顯著地降低曝光過度和曝光不足。
[0065]圖6A示出了用明亮度調(diào)整方法處理之前的原始圖像。圖6B示出了在使用傳統(tǒng)明亮 度調(diào)整方法處理后的圖6A的圖像，該傳統(tǒng)明亮度調(diào)整方法使用單個(gè)調(diào)整因子f(i)，而不是 使用考慮了每個(gè)單獨(dú)像素的明亮度的加權(quán)因子W[I(x)]，來調(diào)整所有像素的明亮度。如圖6B 所示，在增加了原始圖像的明亮度之后，在圖像中的窗口區(qū)域（由虛線圈所指示）中的像素 發(fā)生了曝光過度。
[0066]圖7示出了用所公開的明亮度調(diào)整方法處理之后的圖6A的圖像。如上所述，所公開 的方法使用有效的調(diào)整因子(f(i)-l)*W[I(x)]來調(diào)整每個(gè)單獨(dú)像素，并且該有效的調(diào)整因 子基于調(diào)整前獲得的每個(gè)單獨(dú)像素的亮度值而變化。因此，有效的調(diào)整因子考慮了每個(gè)單 獨(dú)像素的明亮度。對(duì)比圖6B和圖7可以看出，采用所公開的方法，窗口區(qū)域(圖7中）中的像素 的曝光過度被顯著降低或防止。
[0067]圖8A示出了用傳統(tǒng)方法處理后的圖像。如圖8A所示，在天空區(qū)域曝光過度而在地 面區(qū)域曝光不足。圖8B示出了用所公開的方法處理后的與圖8A的源圖像相同的源圖像。對(duì) 比圖8B和圖8A可以看出，采用所公開的調(diào)整明亮度的方法，降低了天空區(qū)域的曝光過度和 地面區(qū)域的曝光不足。與圖8A所示的圖像的整體表現(xiàn)相比，圖8B所示的圖像的整體表現(xiàn)更 加平滑。
[0068]返回參照?qǐng)D3,在一些實(shí)施例中，方法300可以包括另外的步驟。例如，在調(diào)整了η個(gè) 圖像的明亮度后，處理器134可以拼接圖像來創(chuàng)建組合圖像，例如360度全景圖像。該處理如 圖4所示。具體而言，在圖4所示的例子中，處理器134通過在重疊區(qū)域處進(jìn)行合并而拼接圖 像，例如，將施的1^與Μ 2的R2a合并，將Μ2的R2b與Μ3的R 3a合并，以及將Μ3的R3b與施的1^合并。 [0069]雖然在此描述了圖示的實(shí)施例，但本領(lǐng)域技術(shù)人員基于本公開將能夠認(rèn)識(shí)到具有 等同元件、更改、省略、組合(例如多種實(shí)施例交叉的方案）、適應(yīng)性改動(dòng)和/或替換的任一或 全部實(shí)施例的范圍。權(quán)利要求中的限定要基于權(quán)利要求中使用的語言而寬泛地解釋，而不 限于本說明書中描述的或本申請(qǐng)實(shí)行中的例子。上述例子應(yīng)解讀為非排他的。此外，所公開 的過程中的步驟可用任何方式修改，包括對(duì)步驟重新排序和/或插入或刪除步驟。因此，說 明書和例子旨在僅作圖示考慮，而真實(shí)范圍和精神由隨附的權(quán)利要求及其全部的等同范圍 來表示。
【主權(quán)項(xiàng)】
1. 一種用于調(diào)整多個(gè)圖像的明亮度的裝置，所述多個(gè)圖像的每個(gè)圖像包括多個(gè)像素， 該裝置包括： 存儲(chǔ)器，其被配置為存儲(chǔ)指令；以及 處理器，其被配置為執(zhí)行所述指令，以： 確定圖像的整體亮度值； 根據(jù)圖像確定： 參考圖像;和 基于整體亮度值的參考整體亮度值； 基于參考圖像的參考整體亮度值來確定圖像的調(diào)整因子； 確定待調(diào)整的圖像中的像素的加權(quán)因子；以及 基于圖像的調(diào)整因子和像素的加權(quán)因子來調(diào)整待調(diào)整圖像中的像素的亮度值。2. 權(quán)利要求1所述的裝置，其中所述處理器進(jìn)一步被配置為執(zhí)行指令，以針對(duì)待調(diào)整圖 像： 基于下列因子來確定圖像的像素的亮度調(diào)整量值： 針對(duì)圖像確定的調(diào)整因子;和 基于調(diào)整前獲得的像素的亮度值而針對(duì)像素確定的加權(quán)因子；以及 基于亮度調(diào)整量值來調(diào)整像素的亮度值。3. 權(quán)利要求1所述的裝置，其中待調(diào)整的圖像中的像素的加權(quán)因子隨調(diào)整前獲得的像 素的亮度值而單調(diào)變化。4. 權(quán)利要求3所述的裝置，其中所述加權(quán)因子隨著調(diào)整前獲得的像素的亮度值在零和 預(yù)定最大亮度值之間的范圍內(nèi)變化而單調(diào)變化。5. 權(quán)利要求4所述的裝置，其中當(dāng)待調(diào)整圖像的調(diào)整因子大于預(yù)定因子時(shí)，像素的加權(quán) 因子隨著調(diào)整前獲得的像素的亮度值從零增加到預(yù)定最大亮度值而單調(diào)遞減。6. 權(quán)利要求4所述的裝置，其中當(dāng)待調(diào)整圖像的調(diào)整因子小于預(yù)定因子時(shí)，像素的加權(quán) 因子隨著調(diào)整前獲得的像素的亮度值從零增加到預(yù)定最大亮度值而單調(diào)遞增。7. 權(quán)利要求1所述的裝置，其中待調(diào)整的圖像中的像素的加權(quán)因子基于調(diào)整前獲得的 像素的亮度值而變化。8. 權(quán)利要求1所述的裝置，其中所述處理器進(jìn)一步配置為執(zhí)行指令，以： 在調(diào)整了圖像中的像素的亮度值后，拼接圖像以獲得組合的圖像。9. 權(quán)利要求8的裝置，其中，所述組合的圖像為360度全景視圖。10. -種用于調(diào)整多個(gè)圖像的明亮度的方法，所述多個(gè)圖像的每個(gè)圖像包括多個(gè)像素， 該方法包括： 確定圖像的整體亮度值； 根據(jù)圖像確定： 參考圖像;和 基于整體亮度值的參考整體亮度值； 基于參考圖像的參考整體亮度值來確定圖像的調(diào)整因子； 確定待調(diào)整的圖像中的像素的加權(quán)因子；以及 基于圖像的調(diào)整因子和像素的加權(quán)因子來調(diào)整待調(diào)整圖像中的像素的亮度值。11. 權(quán)利要求10所述的方法，進(jìn)一步包括： 針對(duì)待調(diào)整的圖像， 基于下列因子來確定圖像的像素的亮度調(diào)整量值： 針對(duì)圖像確定的調(diào)整因子;和 基于調(diào)整前獲得的像素的亮度值而針對(duì)像素確定的加權(quán)因子；以及 基于亮度調(diào)整量值來調(diào)整像素的亮度值。12. 權(quán)利要求10所述的方法，其中待調(diào)整的圖像中的像素的加權(quán)因子隨調(diào)整前獲得的 像素的亮度值而單調(diào)變化。13. 權(quán)利要求12所述的方法，其中所述加權(quán)因子隨著調(diào)整前獲得的像素的亮度值在零 和預(yù)定最大亮度值之間的范圍內(nèi)變化而單調(diào)變化。14. 權(quán)利要求13所述的方法，其中當(dāng)待調(diào)整圖像的調(diào)整因子大于預(yù)定因子時(shí)，像素的加 權(quán)因子隨著調(diào)整前獲得的像素的亮度值從零增加到預(yù)定最大亮度值而單調(diào)遞減。15. 權(quán)利要求13所述的方法，其中當(dāng)待調(diào)整圖像的調(diào)整因子小于預(yù)定因子時(shí)，像素的加 權(quán)因子隨著調(diào)整前獲得的像素的亮度值從零增加到預(yù)定最大亮度值而單調(diào)遞增。16. 權(quán)利要求10所述的方法，其中待調(diào)整的圖像中的像素的加權(quán)因子基于調(diào)整前獲得 的像素的亮度值而變化。17. 權(quán)利要求10所述的方法，進(jìn)一步包括： 在調(diào)整了圖像中的像素的亮度值后，拼接圖像以獲得組合的圖像。18. 權(quán)利要求17所述的方法，其中，所述組合的圖像為360度全景視圖。
【文檔編號(hào)】G06T3/40GK105976325SQ201610496593
【公開日】2016年9月28日
【申請(qǐng)日】2016年6月29日
【發(fā)明人】汪孔橋, 牟俊舟
【申請(qǐng)人】上海小蟻科技有限公司