基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)與方法
【專利摘要】本發(fā)明公開了一種基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)與方法，其系統(tǒng)包括相機自動標定模塊和顏色在線校正模塊；相機自動標定模塊包括初始單應矩陣計算子模塊、重疊區(qū)域計算子模塊、重疊區(qū)域調整子模塊、特征匹配子模塊和單應矩陣修正子模塊；顏色在線校正模塊包括重疊區(qū)域顏色校正子模塊和整圖顏色校正子模塊；其方法包括相機自動標定步驟S1、顏色在線校正步驟S2和全景圖像拼接步驟S3。本發(fā)明在自動標定時通過縮放矩陣和偏移矩陣對待拼接圖像間的單應矩陣進行修正，使其更加準確；在進行重疊區(qū)域的顏色校正時，利用連續(xù)三幀間的圖像信息對轉換關系矩陣進行修正，使得視頻中全景圖像幀與幀之間的顏色變換更加平滑和流暢。
【專利說明】
基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)與方法
技術領域
[0001] 本發(fā)明涉及一種基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)與方法，
【背景技術】
[0002] 目前，大量攝像機被安裝在政府大樓、軍事基地、銀行、學校、商場、賽場，隨著視頻 會議、遠程教育、機器人導航等領域的興起，單一相機由于視角限制不能記錄下大場景下的 所有目標，全景拼接技術的出現(xiàn)滿足了各個領域對大視場的需求;當今社會激烈的競爭，人 們平時都忙于工作，所以假日選擇出游地點大部分依靠的是旅游景點的宣傳，但傳統(tǒng)的圖 片不能向游客全方位的展示景點，已經不能滿足游客的需求，從而無法吸引游客的眼球;汽 車展覽時間往往是有限的，人們在網上查詢時僅僅能獲得汽車局部的圖片展示，無法全方 位的讓人提前全面的了解，而要依靠汽車銷售現(xiàn)場不停的解說;買房子時，人們除了要到銷 售中心看小區(qū)的整體布局之外，還要去看房子的內部構造，同時還需要銷售人員不停的解 說，所以如何全方位的展示目標場景是眾多技術研究人員的研究熱點。
[0003] 雖然目前已經具有較為成熟的圖片拼接技術，但是一張張獨立的拼接圖片仍然不 能夠滿足人們的需求，相比之下，人們更傾向于匯聚聲，樂，圖等的高清全景視頻;譬如汽車 外部的全景展示，可以從每個角度觀看汽車外觀，可以在網上構建不落幕的車展;汽車內部 的全景展示，可以展示汽車內飾和局部細節(jié);可以讓人實現(xiàn)輕松看車、買車。同時高清全景 視頻在監(jiān)控領域也具有重要作用;眾所周知，監(jiān)控的運用是十分廣泛的，例如交通、銀行、企 業(yè)、小區(qū)、地鐵、火車和商店等;如果將高清全景視頻的技術運動到球賽直播，那么就可以實 現(xiàn)實時全景轉播，讓用戶可以在有限的屏幕內一覽廣闊球場的每一個角落，這提高用戶體 驗感。
[0004] 但是傳統(tǒng)的全景視頻拼接技術通常會有不可避免的出現(xiàn)圖形畸變和光照引起的 同一幀內和幀間的色差問題；因此在拼接過程中我們需要對待拼接圖像進行幾何校正和顏 色校正;傳統(tǒng)的幾何校正針對不同投影畫面間存在的重疊區(qū)域，需要對對重疊區(qū)域進行幾 何對準，存在"畫面分割""重疊區(qū)域提取""全局幾何對準" "多圖像邊緣融合"等一系列關鍵 問題，具有較大的工程難度;而且較好的幾何校正效果依賴于識別重疊區(qū)域的準確性，進而 依賴于相機標定的可靠性和相機參數(shù)的精確性，傳統(tǒng)的相機標定依賴于準確的相機內參和 棋盤格的一系列繁瑣過程。對于相機參數(shù)存在較大誤差的情況下，傳統(tǒng)的相機標定不能得 到較好的幾何校正效果;傳統(tǒng)的顏色校正采用的自動場景平衡算法傾向于調整曝光，以使 得圖像的平均顏色是中性灰色，這對于許多安防用途的消費者來說是可以接受的，但是對 于球賽直播，看房和旅游類具有特定場景或者較高色彩保真要求的用戶是不可接受的；例 如，簡單的平衡攝影ID圖像以使得背景成為白色通常會使得對象的臉、頭發(fā)和眼睛著色失 真，會使得臉變亮，從而沖去特征;可替換地，在這樣的場景中朝著中性灰色平衡可能會受 對象衣服的著色的影響，并且產生有色背景;相似地，從天空、雪或冰場景中去掉了藍色調， 導致超出可接受水平的著色改變，對于具有暗陰影的圖像也是如此;使陰影變亮或者改變 陰影顏色可能會影響整個圖像，因為使得陰影太亮或者因為不可接受地移動了圖像的其它 區(qū)域顏色；當進行顏色平衡以校正其它顏色的傾斜(skewing)時，會發(fā)生類似的不可接受的 結果;并且，對于視頻來說，傳統(tǒng)的顏色校正只是對同一時刻的圖像進行了顏色校正，但幀 間圖像由于拍攝時角度變化和光照不均勻會出現(xiàn)較大的顏色差異。

【發(fā)明內容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種基于相機自動標定和顏色校正 的全景視頻拼接系統(tǒng)與方法，在自動標定時通過縮放矩陣和偏移矩陣對待拼接圖像間的單 應矩陣進行修正，使其更加準確;在進行重疊區(qū)域的顏色校正時，利用連續(xù)三幀間的圖像信 息對轉換關系矩陣進行修正，使得視頻中全景圖像幀與幀之間的顏色變換更加平滑和流 暢。
[0006] 本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：基于相機自動標定和顏色校正的全 景視頻拼接系統(tǒng)包括相機自動標定模塊和顏色在線校正模塊；
[0007] 相機自動標定模塊包括初始單應矩陣計算子模塊、重疊區(qū)域計算子模塊、重疊區(qū) 域調整子模塊、特征匹配子模塊和單應矩陣修正子模塊；
[0008] 初始單應矩陣計算子模塊用于根據相機內外參數(shù)相機的內外參數(shù)計算待拼接的 兩幅相鄰局部圖像間的初始單應矩陣;重疊區(qū)域計算子模塊用于根據初始單應矩陣計算待 拼接的兩幅相鄰局部圖像間重疊區(qū)域;重疊區(qū)域調整子模塊用于對重疊區(qū)域進行縮放和平 移的調整;特征匹配子模塊用于對調整前后的重疊區(qū)域進行特征匹配切得偏移矩陣和縮放 矩陣;單應矩陣修正子模塊用于根據偏移矩陣和縮放矩陣對初始單應矩陣進行修正；
[0009] 顏色在線校正模塊包括重疊區(qū)域顏色校正子模塊和整圖顏色校正子模塊;重疊區(qū) 域顏色校正子模塊用于對待拼接的兩幅相鄰局部圖像重疊區(qū)域進行顏色校正，整圖顏色校 正子模塊用于對當前幀圖像中每一個像素點的像素值進行校正；
[0010] 重疊區(qū)域顏色校正子模塊包括初始轉換矩陣計算單元、轉換矩陣修正單元和重疊 區(qū)域校正單元;初始轉換矩陣計算單元用于通過修正后的單應矩陣計算重疊區(qū)域范圍，提 取重疊區(qū)域在兩幅圖像中的色彩直方圖，進行直方圖規(guī)定化，并計算出轉換過程的初始轉 換矩陣;轉換矩陣修正單元用于融入時間信息對初始轉換矩陣進行校正;重疊區(qū)域校正單 元用于根據修正后的矩陣對重疊區(qū)域的顏色進行校正。
[0011] 所述的基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)，還包括全景圖像拼接 模塊，所述的全景拼接模塊用于對通過相機標定模塊和在線顏色校正模塊處理后的全景圖 像通過光流法拼接成全景視頻。
[0012] 基于相機自動標定和顏色校正的全景視頻拼接方法，對每一幀全景圖像的處理， 均包括相機自動標定步驟S1和顏色在線校正步驟S2:
[0013] 所述的相機自動標定步驟S1包括以下子步驟：
[0014] S11.在當前幀全景圖像中，對于任意兩幅待拼接局部圖像A、B，根據其對應的相機 內外參數(shù)計算初始單應矩陣H:
[0015] S12.根據初始單應矩陣H進行坐標系變換，求出局部圖像A和局部圖像B的重疊區(qū) 域；
[0016] S13.將重疊區(qū)域縮放到統(tǒng)一高度，擴大重疊區(qū)域范圍；
[0017] S14.根據特征匹配算算將局部圖像A和局部圖像B的重疊區(qū)域進行特征匹配;得到 準確的參數(shù)^、1&、&;根據匹配結果求偏移矩陣_卩縮放矩陣1 "1 0 tj
[0018] !/=0】-&; 0 0 1 s.x. 0 0
[0019] 0 & 0 ； 0 0 1
[0020] 式中，tx表示重疊圖像在x軸平移的坐標;ty表示重疊圖像在y軸平移的坐標;&表 示重疊圖像在x軸的縮放比例;s y表示重疊圖像在y軸的縮放比例；
[0021] 具體地，這里采用SURF特征點匹配算法對局部圖像A和局部圖像B的重疊區(qū)域進行 特征匹配，然后再利用匹配結果計算偏移矩陣和縮放矩陣。
[0022] S15.對初始單應矩陣H進行修正，得到修正后的單應矩陣把：
[0023] H7 =M ? H ? N；
[0024]所述的顏色在線校正步驟S2包括以下子步驟：
[0025] S21.重疊區(qū)域顏色校正:求得當前幀重疊區(qū)域的顏色轉換關系矩陣，并利用連續(xù) 三幀間的圖像信息對轉換關系矩陣進行修正，再根據修正后的轉換關系矩陣對重疊區(qū)域進 行顏色校正；
[0026] S22.整幅圖像的顏色校正：分別統(tǒng)計當前幀全景圖像中R，G，B三原色通道圖像的 直方圖，并對每個原色通道分別進行顏色校正。
[0027]所述的基于相機自動標定和顏色校正的全景視頻拼接方法，還包括全景圖像拼接 步驟S3:運用光流法對視頻每一幀全景圖像進行拼接，獲得了連續(xù)的全景圖。
[0028] 所述的步驟S11包括以下子步驟：
[0029] S111.將局部圖像A的坐標系投影到世界坐標系得到單應矩陣H1;
[0030] S112.將局部圖像B的坐標系投影到世界坐標系，得到單應矩陣H2;
[0031] S113.計算得到從局部圖像A到局部圖像B的初始單應矩陣：
[0032] H = //, ? //,1 ,
[0033]進一步地，壓和出由相機的內外參數(shù)決定。
[0034] 所述的步驟S21包括以下子步驟：
[0035] S211.利用步驟S15中計算得到的單應矩陣礦計算局部圖像A和局部圖像B重疊區(qū) 域的范圍；
[0036] S212.提取局部圖像A中重疊區(qū)域的色彩直方圖&和局部圖像B中重疊區(qū)域的第二 直方圖G 2，并進行直方圖規(guī)定化得到直方圖G3;
[0037] S213.利用直方圖G3對局部圖像A中的重疊區(qū)域進行校正，得到校正后的局部圖像 A1;其轉換關系矩陣R為：
[0038]
[0039] h表示局部圖像B的像素信息；12表示圖像A1的像素信息；其中1^12分別是[n 3] 的矩陣，n是圖像的像素點個數(shù)，3表示RGB三原色;也就是說1^12均為n行3列的矩陣。
[0040] S214.融入時間信息對轉換矩陣R進行修正：定義當前幀為T，T-l、T-2分別為前2 幀;對轉換矩陣R中的I:進行修正得到1/ :
[0041] !/=[!?,-! ^T-D! I(T-2)l]T,
[0042] IT1表示當前幀局部圖像B的像素信息，I(T-m和I( T-2)1分別表示前兩幀局部圖像B的 像素信息；
[0043]同時對轉換矩陣R中的12進行修正得到1/ :
[0044] 12' = [It2 I(T-1)2 I(T-2)2]T，
[0045] 式中，IT2表示當前幀校正后的圖像A1的像素信息；I(T-2)2和I( T-1)2分別表示前兩幀 校正后的圖像A1的像素信息；
[0046]計算修正后的轉換矩陣V為：
[0047]
[0048] S215.利用修正后的矩陣f對重疊區(qū)域進行顏色校正。
[0049]由于融入了時間信息，采用三幀連續(xù)間的圖像信息對轉換關系矩陣進行修正，在 對重疊區(qū)域進行顏色校正，使得視頻中全景圖像幀與幀之間的顏色變換更加平滑和流暢。
[0050] 步驟S22中對每個原色通道的校正均對包括以下子步驟：
[0051] S221.在當前通道的圖像中，建立直方圖：對于每個像素值^，統(tǒng)計其像素點個數(shù) 為S(xi)，
[0052]并計算該像素值在圖像中出現(xiàn)的概率h(Xl):
[0054] 得到直方圖H(R):
[0055] H(R) = [h(xi)，h(X2)，."h(xi)，…，h(xs)]，
[0056] 式中，n為圖像中像素點總數(shù);s為圖像中像素值的個數(shù)，在H(R)中，橫坐標為像素 值，縱坐標為該像素值在圖像中出現(xiàn)的概率；
[0057] S222.定義當前通道圖像的偏暗閾值為A，偏亮閾值為1-A，求偏暗閾值A對應的像 素值Xb :
[0058] Y,h(x)=A V.'
[0059]進一步地，A可以認為是已知量，一般情況下，偏暗閾值A = 〇 . 〇1，偏亮閾值1-入= 0 ? 99 〇
[0060]進一步地，如果計算得到的Xb不是整數(shù)，則對Xb取整。
[0061 ]求得偏亮閾值1-A對應的像素值Xw: .rlt：
[0062] 藝/?(，'?)=丨
[0063] 進一步地，如果計算得到的xw不是整數(shù)，則對xw取整。
[0064] S223.定義當前幀圖像為第T幀的圖像，T彡2，T-l、T-2幀的圖像為前2幀圖像，對a 的值進行修正，得到修正后的偏暗閾值A對應的像素值X，：
[0066]對xw的值進行修正，得到修正后的偏亮閾值1-A對應的像素值x/ :
[0068]進一步地，如果當前幀為第二幀，則xi/和x/的修正只對第二幀和前一幀求均值， 如果當前幀為第一幀，則不需要進行修正。
[0069] S224.對整幅圖像中的每一個像素點的像素值x進行校正：
[0070] (1)如果像素點的像素值x滿足彡x彡x\，則進行線性校正，該像素點校正后的 像素值F(x)為：
[0071] F(x) =a+bx,
[0072] (2)如果當前像素點的像素值x滿足(Xx<xi/或者x\〈x<255,則該像素點校正后 的像素值F(x)為：
[0073] F(x) =c+t(x/t)d；
[0074] 式中，a，b，c，d為設定的校正參數(shù)，t = 255。
[0075] 進一步地，xi/ SxSx'w時，a和b由（xi/，人*255)和（1\，255(1-人））兩個點帶入卩(叉） = a+bx來確定；
[0076] 在(Xx<xi/ 時，c和d由（0，0)和(xi/，入*255)帶入F(x) = c+t(x/t)d來確定，且d小 于1;
[0077] 在X' w〈x彡255時，c和d由（X' w，255(l_人））和（255，255)帶入F(x) = c+t(x/t)d來確 定，且d大于1。
[0078] 本發(fā)明的有益效果是：（1)在自動標定時通過重疊區(qū)域的特征點匹配來求得縮放 矩陣和偏移矩陣，進而修正得到待拼接圖像間的單應矩陣，從而使得相機標定得到的單應 矩陣更加準確。
[0079] (2)既進行了重疊區(qū)域的顏色校正，也進行了整幅圖像的顏色校正，校正后的到的 圖像效果更好。
[0080] (3)在進行重疊區(qū)域顏色校正時，融入了時間信息，采用連續(xù)三幀間的圖像信息對 轉換關系矩陣進行修正，使得視頻中全景圖像幀與幀之間的顏色變換更加平滑和流暢。
[0081] (4)在進行整幅圖像的顏色校正時，分別統(tǒng)計當前幀全景圖像中三原色通道圖像 的直方圖，并對每個原色通道分別進行顏色校正，且在校正過程中，采用連續(xù)三幀圖像對偏 暗閾值對應的像素值和偏亮閾值對應的像素值進行修正;保持了同幀圖像顏色的一致性， 進一步加強了幀與幀間顏色變化的流暢性。
【附圖說明】
[0082]圖1為本發(fā)明的系統(tǒng)原理框圖；
[0083]圖2為本發(fā)明的方法流程圖；
[0084]圖3為重疊區(qū)域顏色校正的流程圖；
[0085]圖4為整幅圖像中每個像素點的像素值校正示意圖；。
【具體實施方式】
[0086]下面結合附圖進一步詳細描述本發(fā)明的技術方案，但本發(fā)明的保護范圍不局限于 以下所述。
[0087]如圖1所示，基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)包括相機自動標 定模塊和顏色在線校正模塊；
[0088] 相機自動標定模塊包括初始單應矩陣計算子模塊、重疊區(qū)域計算子模塊、重疊區(qū) 域調整子模塊、特征匹配子模塊和單應矩陣修正子模塊；
[0089] 初始單應矩陣計算子模塊用于根據相機內外參數(shù)相機的內外參數(shù)計算待拼接的 兩幅相鄰局部圖像間的初始單應矩陣;重疊區(qū)域計算子模塊用于根據初始單應矩陣計算待 拼接的兩幅相鄰局部圖像間重疊區(qū)域;重疊區(qū)域調整子模塊用于對重疊區(qū)域進行縮放和平 移的調整;特征匹配子模塊用于對調整前后的重疊區(qū)域進行特征匹配切得偏移矩陣和縮放 矩陣;單應矩陣修正子模塊用于根據偏移矩陣和縮放矩陣對初始單應矩陣進行修正；
[0090] 顏色在線校正模塊包括重疊區(qū)域顏色校正子模塊和整圖顏色校正子模塊;重疊區(qū) 域顏色校正子模塊用于對待拼接的兩幅相鄰局部圖像重疊區(qū)域進行顏色校正，整圖顏色校 正子模塊用于對當前幀圖像中每一個像素點的像素值進行校正；
[0091] 重疊區(qū)域顏色校正子模塊包括初始轉換矩陣計算單元、轉換矩陣修正單元和重疊 區(qū)域校正單元;初始轉換矩陣計算單元用于通過修正后的單應矩陣計算重疊區(qū)域范圍，提 取重疊區(qū)域在兩幅圖像中的色彩直方圖，進行直方圖規(guī)定化，并計算出轉換過程的初始轉 換矩陣;轉換矩陣修正單元用于融入時間信息對初始轉換矩陣進行校正;重疊區(qū)域校正單 元用于根據修正后的矩陣對重疊區(qū)域的顏色進行校正。
[0092] 所述的基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)，還包括全景圖像拼接 模塊，所述的全景拼接模塊用于對通過相機標定模塊和在線顏色校正模塊處理后的全景圖 像通過光流法拼接成全景視頻。
[0093] 如圖2所示，基于相機自動標定和顏色校正的全景視頻拼接方法，對每一幀全景圖 像的處理，均包括相機自動標定步驟S1和顏色在線校正步驟S2:
[0094] 所述的相機自動標定步驟S1包括以下子步驟：
[0095] S11.在當前幀全景圖像中，對于任意兩幅待拼接局部圖像A、B，根據其對應的相機 內外參數(shù)計算初始單應矩陣H:
[0096] S12.根據初始單應矩陣H進行坐標系變換，求出局部圖像A和局部圖像B的重疊區(qū) 域；
[0097] S13.將重疊區(qū)域縮放到統(tǒng)一高度，擴大重疊區(qū)域范圍；
[0098] S14.根據特征匹配算算將局部圖像A和局部圖像B的重疊區(qū)域進行特征匹配;得到 準確的參數(shù)^山、&、^;根據匹配結果求偏移矩陣11和縮放矩陣1 '1 0 tx~
[0099] M：= 0 1 tr ； 0 0 1 0 0
[0100] 0 s：y 0 ； 0 0 1
[01 01 ]式中，tx表示重疊圖像在X軸平移的坐標;ty表示重疊圖像在y軸平移的坐標;&表 示重疊圖像在x軸的縮放比例;sy表示重疊圖像在y軸的縮放比例；
[0102]具體地，這里采用SURF特征點匹配算法對局部圖像A和局部圖像B的重疊區(qū)域進行 特征匹配，然后再利用匹配結果計算偏移矩陣和縮放矩陣。
[0103] S15.對初始單應矩陣H進行修正，得到修正后的單應矩陣把：
[0104] H7 =M ? H ? N；
[0105] 所述的顏色在線校正步驟S2包括以下子步驟：
[0106] S21.重疊區(qū)域顏色校正:求得當前幀重疊區(qū)域的顏色轉換關系矩陣，并利用連續(xù) 三幀間的圖像信息對轉換關系矩陣進行修正，再根據修正后的轉換關系矩陣對重疊區(qū)域進 行顏色校正；
[0107] S22.整幅圖像的顏色校正:分別統(tǒng)計當前幀全景圖像中R，G，B三原色通道圖像的 直方圖，并對每個原色通道分別進行顏色校正。
[0108] 所述的基于相機自動標定和顏色校正的全景視頻拼接方法，還包括全景圖像拼接 步驟S3:運用光流法對視頻每一幀全景圖像進行拼接，獲得了連續(xù)的全景圖，即全景視頻。
[0109] 所述的步驟S11包括以下子步驟：
[0110] S111.將局部圖像A的坐標系投影到世界坐標系得到單應矩陣H1;
[0111] S112.將局部圖像B的坐標系投影到世界坐標系，得到單應矩陣H2;
[0112] S113.計算得到從局部圖像A到局部圖像B的初始單應矩陣：
[0113] H = //, ? II,' 〇
[0114] 進一步地，壓和出由相機的內外參數(shù)決定。
[0115] 如圖3所示，所述的步驟S21包括以下子步驟：
[0116] S211.利用步驟S15中計算得到的單應矩陣礦計算局部圖像A和局部圖像B重疊區(qū) 域的范圍；
[0117] S212.提取局部圖像A中重疊區(qū)域的色彩直方圖&和局部圖像B中重疊區(qū)域的第二 直方圖G 2，并進行直方圖規(guī)定化得到直方圖G3;
[0118] S213.利用直方圖G3對局部圖像A中的重疊區(qū)域進行校正，得到校正后的局部圖像 A1;其轉換關系矩陣R為：
[0119]
[0120] h表示局部圖像B的像素信息；12表示圖像A1的像素信息；其中1^12分別是[n 3] 的矩陣，n是圖像的像素點個數(shù)，3表示RGB三原色；
[0121] S214.融入時間信息對轉換矩陣R進行修正：定義當前幀為T，T-l、T-2分別為前2 幀;對轉換矩陣R中的I:進行修正得到1/ :
[0122] Ii/=[Iti I(t-i)i I(t-2)i]t,
[0123] IT1表示當前幀局部圖像B的像素信息，I(T-m和I( T-2)1分別表示前兩幀局部圖像B的 像素信息；
[0124] 同時對轉換矩陣R中的12進行修正得到1/ :
[0125] ]V = [It2 I(T-1)2 I(T-2)2]T，
[0126] 式中，IT2表示當前幀校正后的圖像A1的像素信息；I(T-2)2和I( T-1)2分別表示前兩幀 校正后的圖像A1的像素信息；
[0127] 計算修正后的轉換矩陣V為：
[0128] 'if 右；
[0129] S215.利用修正后的矩陣f對重疊區(qū)域進行顏色校正。
[0130]由于融入了時間信息，采用三幀連續(xù)間的圖像信息對轉換關系矩陣進行修正，在 對重疊區(qū)域進行顏色校正，使得視頻中全景圖像幀與幀之間的顏色變換更加平滑和流暢。
[0131] 步驟S22中對每個原色通道的校正均對包括以下子步驟：
[0132] S221.在當前通道的圖像中，建立直方圖：對于每個像素值^，統(tǒng)計其像素點個數(shù) 為S(xi)，
[0133] 并計算該像素值在圖像中出現(xiàn)的概率h(Xl):
[0135] 得到直方圖H(R):
[0136] H(R) = [h(xi) ,h(x2), ???h(xi), ??? ,h(xs)],
[0137] 式中，n為圖像中像素點總數(shù);s為圖像中像素值的個數(shù)，在H(R)中，橫坐標為像素 值，縱坐標為該像素值在圖像中出現(xiàn)的概率；
[0138] S222.定義當前通道圖像的偏暗閾值為A，偏亮閾值為1-A，求偏暗閾值A對應的像 素值Xb :
[0139] l]/?(-Y)=乂
[0140]進一步地，A可以認為是已知量，一般情況下，偏暗閾值A = 〇 . 〇 1，偏亮閾值1 -入= 0 ? 99 〇
[0141 ]進一步地，如果計算得到的Xb不是整數(shù)，則對Xb取整。
[0142] 求得偏亮閾值1-A對應的像素值Xw:
[0143] [M.v)=l-2 X1
[0144] 進一步地，如果計算得到的^不是整數(shù)，則對Xw取整。
[0145] S223.定義當前幀圖像為第T幀的圖像，T彡2，T-l、T-2幀的圖像為前2幀圖像，對a 的值進行修正，得到修正后的偏暗閾值A對應的像素值X，：
[0147]對^的值進行修正，得到修正后的偏亮閾值1-A對應的像素值x/ :
[0149] 進一步地，如果當前幀為第二幀，則xV和x/的修正只對第二幀和前一幀求均值， 如果當前幀為第一幀，則不需要進行修正。
[0150] S224.如圖4所示，對整幅圖像中的每一個像素點的像素值x進行校正：
[0151] (1)如果像素點的像素值x滿足則進行線性校正，該像素點校正后的 像素值F(x)為：
[0152] F(x)=a+bx，
[015：3] (2)如果當前像素點的像素值x滿足(Xx<xi/或者x\〈x<255,則該像素點校正后 的像素值F(x)為：
[0154] F(x) =c+t(x/t)d；
[0155] 式中，a，b，c，d為設定的校正參數(shù)，t = 255。
[0156] 進一步地，xi/ SxSx'w時，a和b由（xi/，人*255)和(叉\，255(1-人））兩個點帶入F(x) = a+bx來確定；
[0157] 在(Xx<xi/ 時，c和d由（0，0)和(xi/，入*255)帶入F(x) = c+t(x/t)d來確定，且d小 于1;
[0158] 在x\〈x彡255時，c和d由（叉\，255(1_人））和（255,255)帶入卩(叉）=〇+以叉八） (1來確 定，且d大于1。
[0159] 進一步地，在進行全景視頻拼接的過程中，一般采用三臺不同方位的攝像機進行 圖像數(shù)據采集，三臺攝像機分別輸入每一幀全景圖像待拼接的左圖、中圖和右圖；每一幀全 景圖像的拼接過程，實際上就是將左圖、右圖分別與中圖拼接;左圖與中圖可以看作是兩幅 待拼接局部圖像;右圖與中圖也可以看作是兩幅待拼接局部圖像；
[0160] 在本申請中，可以將左圖看作上述的局部圖像A，中圖看作上述的局部圖像B，將其 按照步驟S1進行相機自動標定，再按照步驟S21進行重疊區(qū)域的顏色校正。右圖與中圖重疊 區(qū)域顏色校正同理，將其分別看作局部圖像A和局部圖像B，按照步驟S1進行相機自動標定， 按照步驟S21進行重疊區(qū)域顏色校正即可。重疊區(qū)域顏色校正完成后，再按照步驟S22對整 幅全景圖像進行顏色校正。
【主權項】
1. 基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)，其特征在于:包括相機自動標 定模塊和顏色在線校正模塊； 相機自動標定模塊包括初始單應矩陣計算子模塊、重疊區(qū)域計算子模塊、重疊區(qū)域調 整子模塊、特征匹配子模塊和單應矩陣修正子模塊； 初始單應矩陣計算子模塊用于根據相機內外參數(shù)相機的內外參數(shù)計算待拼接的兩幅 相鄰局部圖像間的初始單應矩陣;重疊區(qū)域計算子模塊用于根據初始單應矩陣計算待拼接 的兩幅相鄰局部圖像間重疊區(qū)域;重疊區(qū)域調整子模塊用于對重疊區(qū)域進行縮放和平移的 調整；特征匹配子模塊用于對調整前后的重疊區(qū)域進行特征匹配切得偏移矩陣和縮放矩 陣;單應矩陣修正子模塊用于根據偏移矩陣和縮放矩陣對初始單應矩陣進行修正； 顏色在線校正模塊包括重疊區(qū)域顏色校正子模塊和整圖顏色校正子模塊;重疊區(qū)域顏 色校正子模塊用于對待拼接的兩幅相鄰局部圖像重疊區(qū)域進行顏色校正，整圖顏色校正子 模塊用于對當前幀圖像中每一個像素點的像素值進行校正； 重疊區(qū)域顏色校正子模塊包括初始轉換矩陣計算單元、轉換矩陣修正單元和重疊區(qū)域 校正單元;初始轉換矩陣計算單元用于通過修正后的單應矩陣計算重疊區(qū)域范圍，提取重 疊區(qū)域在兩幅圖像中的色彩直方圖，進行直方圖規(guī)定化，并計算出轉換過程的初始轉換矩 陣;轉換矩陣修正單元用于融入時間信息對初始轉換矩陣進行校正;重疊區(qū)域校正單元用 于根據修正后的矩陣對重疊區(qū)域的顏色進行校正。2. 根據權利要求1所述的基于相機自動標定和顏色校正的全景視頻拼接系統(tǒng)，其特征 在于:還包括全景圖像拼接模塊，所述的全景拼接模塊用于對通過相機標定模塊和在線顏 色校正模塊處理后的全景圖像通過光流法拼接成全景視頻。3. 基于相機自動標定和顏色校正的全景視頻拼接方法，其特征在于:對每一幀全景圖 像的處理，均包括相機自動標定步驟Sl和顏色在線校正步驟S2: 所述的相機自動標定步驟Sl包括以下子步驟：511. 在當前幀全景圖像中，對于任意兩幅待拼接局部圖像A、B，根據其對應的相機內外 參數(shù)計算初始單應矩陣H:512. 根據初始單應矩陣H進行坐標系變換，求出局部圖像A和局部圖像B的重疊區(qū)域；513. 將重疊區(qū)域縮放到統(tǒng)一高度，擴大重疊區(qū)域范圍；514. 根據特征匹配算算將局部圖像A和局部圖像B的重疊區(qū)域進行特征匹配;得到準確 的參數(shù)。、。、&、&;根據匹配結果求偏移矩陣1和縮放矩陣1式中，tx表示重疊圖像在X軸平移的坐標;ty表示重疊圖像在y軸平移的坐標;Sx表示重 疊圖像在X軸的縮放比例;sy表示重疊圖像在y軸的縮放比例；515. 對初始單應矩陣H進行修正，得到修正后的單應矩陣把： H7 =M · H · N； 所述的顏色在線校正步驟S2包括以下子步驟：521. 重疊區(qū)域顏色校正:求得當前幀重疊區(qū)域的顏色轉換關系矩陣，并利用連續(xù)三幀 間的圖像信息對轉換關系矩陣進行修正，再根據修正后的轉換關系矩陣對重疊區(qū)域進行顏 色校正；522. 整幅圖像的顏色校正：分別統(tǒng)計當前幀全景圖像中R，G，B三原色通道圖像的直方 圖，并對每個原色通道分別進行顏色校正。4. 根據權利要求3所述的基于相機自動標定和顏色校正的全景視頻拼接方法，其特征 在于:還包括全景圖像拼接步驟S3:運用光流法對視頻每一幀全景圖像進行拼接，獲得了連 續(xù)的全景圖，即全景視頻。5. 根據權利要求3所述的基于相機自動標定和顏色校正的全景視頻拼接方法，其特征 在于:所述的步驟Sll包括以下子步驟： Slll .將局部圖像A的坐標系投影到世界坐標系得到單應矩陣H1; Sl 12.將局部圖像B的坐標系投影到世界坐標系，得到單應矩陣H2; S113.計算得到從局部圖像A到局部圖像B的初始單應矩陣：6. 根據權利要求3所述的基于相機自動標定和顏色校正的全景視頻拼接方法，其特征 在于:所述的步驟S21包括以下子步驟： 5211. 利用步驟S15中計算得到的單應矩陣把計算局部圖像A和局部圖像B重疊區(qū)域的 范圍； 5212. 提取局部圖像A中重疊區(qū)域的色彩直方圖G1和局部圖像B中重疊區(qū)域的第二直方 圖62，并進行直方圖規(guī)定化得到直方圖G 3; 5213. 利用直方圖G3對局部圖像A中的重疊區(qū)域進行校正，得到校正后的局部圖像Al;其 轉換關系矩陣R為：I1表示局部圖像B的像素信息；I2表示圖像Al的像素信息； 5214. 融入時間信息對轉換矩陣R進行修正:定義當前幀為Τ，Τ-1、Τ-2分別為前2幀;對 轉換矩陣R中的I:進行修正得到17 i: I7I= [Ιτι I(t-i)i I(t-2)i]t, It1表示當前幀局部圖像B的像素信息，I(T-m和Ι(τ-2)1分別表示前兩幀局部圖像B的像素 信息；同時對轉換矩陣R中的I2進行修正得到疒2: Ι'2=[Ιτ2 Ι(Τ-1)2 Ι(Τ-2)2]丁， 式中，It2表示當前幀校正后的圖像Al的像素信息；Ι(τ-2)2和Ι(τ- 1)2分別表示前兩幀校正 后的圖像Al的像素信息； 計算修正后的轉換矩陣V為：5215. 利用修正后的矩陣f對重疊區(qū)域進行顏色校正。7. 根據權利要求3所述的基于相機自動標定和顏色校正的全景視頻拼接方法，其特征 在于:步驟S22中對每個原色通道的校正均對包括以下子步驟： 5221. 在當前通道的圖像中，建立直方圖：對于每個像素值^，統(tǒng)計其像素點個數(shù)為S (X1)，并計算該像素值在圖像中出現(xiàn)的概率hUO:得到直方圖H(R): H(R) = [h(xi)，h(X2)，."Ii(Xi)，···，h(xs)]， 式中，η為圖像中像素點總數(shù);s為圖像中像素值的個數(shù)，在H(R)中，橫坐標為像素值，縱 坐標為該像素值在圖像中出現(xiàn)的概率； 5222. 定義當前通道圖像的偏暗閾值為λ，偏亮閾值為l-λ，求偏暗閾值λ對應的像素值 Xb:求得偏亮閾值1 -λ對應的像素值Xw:5223. 定義當前幀圖像為第T幀的圖像，2，T-I、Τ-2幀的圖像為前2幀圖像，對Xb的值 進行修正，得到修正后的偏暗閾值λ對應的像素值X，：對的值進行修正，得到修正后的偏亮閾值l-λ對應的像素值χ/ :5224. 對整幅圖像中的每一個像素點的像素值X進行校正： (1) 如果像素點的像素值X滿足X7 bSxSx' w，則進行線性校正，該像素點校正后的像素 值F(X)為： F(x) =a+bx， (2) 如果當前像素點的像素值X滿足OSX<X7 b或者X7 w〈x<255，則該像素點校正后的像 素值F(x)為： F(x) = c+t(x/t)d； 式中，a，b, c，d為設定的校正參數(shù)，t = 255。
【文檔編號】G06T5/40GK105931186SQ201610266342
【公開日】2016年9月7日
【申請日】2016年4月26日
【發(fā)明人】程洪, 林枝葉, 楊路, 白欣逸
【申請人】電子科技大學