本技術(shù)涉及雙目視覺的，具體而言，涉及基于光照參考的雙目相機視差計算方法、基于光照參考的雙目相機視差計算系統(tǒng)及電子設備。

背景技術(shù)：

1、在現(xiàn)代城市的發(fā)展中，智慧城市逐漸成為城市建設的重要方向。智慧城市可借助云邊端架構(gòu)整合多種先進技術(shù)，實現(xiàn)城市管理服務的智能化和高效化。在智慧城市的框架中，城市信息的采集可借助智慧路燈系統(tǒng)搭建，智慧路燈不僅可承擔照明功能，還可融合多種傳感器和通信設備，成為智慧城市的關(guān)鍵節(jié)點。通過在智慧路燈上加裝雙目相機不僅可以實時采集視野區(qū)域的圖像數(shù)據(jù)，還可以獲取視野區(qū)域內(nèi)各個目標的深度信息，進而得到各個目標的三維信息。

2、光照是影響圖像成像的主要因素，在光照條件不佳時(如光照不足、光照不均、光照太強)，雙目相機獲取到的圖像像素對比度偏低，不僅成像難以分辨，而且在進行立體匹配計算時，也會因為像素差異值過小而降低匹配準確率，進而影響視差計算的準確性。因此，需要對光照不佳時的立體匹配方法進行改進，例如公開號為cn112150519a的中國發(fā)明專利申請《一種對光照不敏感的局部立體匹配方法》，以保證能夠獲取到準確的視差圖，進而提高智慧城市構(gòu)建的準確性。

3、而現(xiàn)有技術(shù)中，雙目相機在光照不佳時的立體匹配方法通常較為復雜，且并沒有與光照正常時的圖像/視差圖真實值存在關(guān)聯(lián)，只是將其作為真值進行試驗驗證，導致需要反復調(diào)整算法，延長了開發(fā)周期。

技術(shù)實現(xiàn)思路

1、本技術(shù)的目的在于：如何以光照正常時的圖像/視差值作為參考，以降低立體匹配方法的復雜性，并提高視差計算的準確性。

2、本技術(shù)第一方面的技術(shù)方案是：提供了一種基于光照參考的雙目相機視差計算方法，該方法包括：步驟1：獲取第一光照條件下雙目相機采集到的第一左圖像和第一右圖像，并計算相應的第一視差圖；步驟2：基于第一視差圖，對第一左圖像中的靜態(tài)目標區(qū)域進行標注，并提取靜態(tài)目標區(qū)域在第一左圖像中對應區(qū)域圖像的光照參考特征；步驟3：基于光照參考特征，對第二光照條件下雙目相機采集到的第二左圖像和第二右圖像進行光照校正；步驟4：基于校正后的第二左圖像和校正后的第二右圖像，確定第二視差圖，其中，第二光照條件為弱光照條件和/或強光照條件。

3、上述任一項技術(shù)方案中，進一步地，基于第一視差圖，對第一左圖像中的靜態(tài)目標區(qū)域進行標注，具體包括：步驟21：對第一視差圖進行聚類，確定聚類區(qū)域；步驟22：當判定連續(xù)多幀的第一視差圖中任一聚類區(qū)域的像素坐標的變化小于或等于靜態(tài)閾值時，將聚類區(qū)域標記為靜態(tài)視差區(qū)域；步驟23：基于靜態(tài)視差區(qū)域的像素坐標，在第一左圖像中進行標注，將標注的區(qū)域記作靜態(tài)目標區(qū)域。

4、上述任一項技術(shù)方案中，進一步地，步驟3中，具體包括：步驟31：基于靜態(tài)目標區(qū)域，對第二左圖像相應位置處的圖像進行光照特征提取，得到當前光照特征；步驟32：基于光照參考特征、當前光照特征，計算第二光照條件下、各個靜態(tài)目標區(qū)域?qū)膮^(qū)域增量指標；步驟33：計算區(qū)域增量指標的均值，并利用均值對第二左圖像和第二右圖像進行光照校正。

5、上述任一項技術(shù)方案中，進一步地，步驟4中，具體包括：

6、步驟41：基于校正后的第二左圖像和校正后的第二右圖像，確定邊緣圖像；

7、步驟42：基于邊緣圖像、校正后的第二左圖像和校正后的第二右圖像，構(gòu)建ad-census代價值；

8、步驟43：基于靜態(tài)目標區(qū)域?qū)囊暡钪?，對ad-census代價值進行優(yōu)化，并基于優(yōu)化后的ad-census代價值，確定固定路徑聚合代價值，其中，優(yōu)化后的ad-census代價值的計算公式為：

9、

10、式中，c(p,d)為優(yōu)化后的ad-census代價值，c0(p,d)為ad-census代價值，p為校正后的第二左圖像中的像素點，d表示像素點p在校正后的第二右圖像中偏移的視差值，d′為靜態(tài)目標區(qū)域rtorj對應的視差值，λ為優(yōu)化系數(shù)；

11、步驟44：基于固定路徑聚合代價值，構(gòu)建全局能量函數(shù)，并將全局能量函數(shù)取值最小時對應的視差值，記作像素點p的視差值；

12、步驟45：遍歷校正后的第二左圖像中的像素點，確定視差圖。

13、上述任一項技術(shù)方案中，進一步地，邊緣圖像包括左邊緣圖像、右邊緣圖像，分別由校正后的第二左圖像、校正后的第二右圖像確定，步驟41中，確定左邊緣圖像的方法，具體包括：對校正后的第二左圖像轉(zhuǎn)換為灰度圖，并對灰度圖像進行濾波，生成濾波圖像；計算濾波圖像中每個像素點的自適應閾值，其中，自適應閾值由像素點的灰度值與相應的權(quán)值確定，權(quán)值由像素點的灰度值與相應像素窗口內(nèi)灰度均值的差值絕對值確定；基于自適應閾值，采用sobel邊緣檢測算法，確定左邊緣圖像。

14、上述任一項技術(shù)方案中，進一步地，對灰度圖像進行濾波，生成濾波圖像，具體包括：基于預設濾波窗口，計算當前中心點對應的最小灰度值、最大灰度值和灰度中值；當判定最小灰度值、最大灰度值的差值小于灰度閾值時，將當前中心點的灰度值記作中心點灰度值；當判定最小灰度值、最大灰度值的差值大于或等于灰度閾值時，判斷灰度中值是否大于最小灰度值、且小于最大灰度值，若是，將灰度中值記作中心點灰度值，若否，按照預設步長增大預設濾波窗口的大小，重新計算當前中心點對應的最小灰度值、最大灰度值和灰度中值；基于中心點灰度值，生成濾波圖像。

15、上述任一項技術(shù)方案中，進一步地，邊緣圖像包括左邊緣圖像、右邊緣圖像，步驟42中，具體包括：將校正后的第二左圖像、校正后的第二右圖像，轉(zhuǎn)變?yōu)榛叶葓D，分別記作左灰度圖、右灰度圖；分別基于左灰度圖、右灰度圖，采用滑動窗口的方式，將窗口中每個像素的灰度值與窗口中心像素的灰度值進行比較，生成窗口中心像素對應的左灰度01字符串、右灰度01字符串；分別基于左邊緣圖像、右邊緣圖像，采用滑動窗口的方式，根據(jù)窗口內(nèi)的像素點為邊緣點的分布，生成窗口中心像素的左邊緣01字符串、右邊緣01字符串；分別將左灰度01字符串、右灰度01字符串與左邊緣01字符串、右邊緣01字符串進行拼接，生成窗口中心像素的左編碼、右編碼；基于左編碼、右編碼的漢明距離，計算census值，并基于census值、校正后的第二左圖像和校正后的第二右圖像，構(gòu)建ad-census代價值。

16、上述任一項技術(shù)方案中，進一步地，ad-census代價值的計算公式為：

17、c0(p,d)＝ρ(ad,λad)+ρ(census，λcensus)

18、

19、式中，c0(p,d)為ad-census代價值，ρ()為映射函數(shù)，ad為像素點絕對值之差，census為census值，表示像素點臨近區(qū)域相對關(guān)系相似性，λad、λcensus為預設參數(shù)，為校正后的第二左圖像中的像素點p對應的rgb三通道中q通道的取值，為校正后的第二右圖像中對應像素點p偏移d視差后的像素點對應的rgb三通道中q通道的取值。

20、本技術(shù)第二方面的技術(shù)方案是：提供了一種基于光照參考的雙目相機視差計算系統(tǒng)，該系統(tǒng)包括：第一視差計算單元，第一視差計算單元被配置為：獲取第一光照條件下雙目相機采集到的第一左圖像和第一右圖像，并計算相應的第一視差圖；特征計算單元，特征計算單元被配置為：基于第一視差圖，對第一左圖像中的靜態(tài)目標區(qū)域進行標注，并提取靜態(tài)目標區(qū)域在第一左圖像中對應區(qū)域圖像的光照參考特征；校正單元，校正單元被配置為：基于光照參考特征，對第二光照條件下雙目相機采集到的第二左圖像和第二右圖像進行光照校正；第二視差計算單元，第二視差計算單元被配置為：基于校正后的第二左圖像和校正后的第二右圖像，確定第二視差圖，其中，第二光照條件為弱光照條件和/或強光照條件。

21、本技術(shù)第三方面的技術(shù)方案是：提供了一種電子設備，包括：存儲器，存儲器存儲執(zhí)行指令；處理器，處理器執(zhí)行存儲器存儲的執(zhí)行指令，使得處理器執(zhí)行上述第一方面技術(shù)方案中任一項的基于光照參考的雙目相機視差計算方法。

22、本技術(shù)的有益效果是：

23、本技術(shù)中的技術(shù)方案，以安裝在智慧燈桿上雙目相機的視野不會發(fā)生變化為前提，首先通過在光照正常情況下的視差圖中確定靜態(tài)目標區(qū)域，然后依據(jù)該區(qū)域的坐標，在相應的左圖像中提取光照參考特征，最后再利用該光照參考特征對光照異常條件下的左右圖像進行校正，以降低立體匹配方法的復雜性，得到準確的視差圖。

24、本技術(shù)為了提高視差計算的準確性，還提出了利用邊緣圖像輔助計算視差圖的方法，在已知靜態(tài)目標區(qū)域中特征區(qū)域視差圖的情況下，通過向代價值中增加該區(qū)域中計算視差與已知視差之間的差異，可使得計算結(jié)果向已知標準參考結(jié)果靠攏，以提高其匹配精度進而可提高整幅圖像匹配準確度。