本發(fā)明涉及巡檢管理，尤其是涉及一種碼頭堆場全域可視化視頻融合智能巡檢方法及其平臺。

背景技術：

1、堆場作為干散貨碼頭貨物轉運輸?shù)木彌_區(qū)，在碼頭運輸中有著重要地位。堆場的人員、車輛安全管理及皮帶日常巡檢，是決定碼頭服務能力的關鍵因素之一?，F(xiàn)階段，主要是通過傳統(tǒng)視頻監(jiān)控結合人工巡檢的方式進行管理，現(xiàn)有的視頻監(jiān)控系統(tǒng)往往缺乏宏觀位置信息的整合和展示，各個攝像頭產生的視頻數(shù)據(jù)通常是分散、孤立、割裂、不連貫，難以形成對整個監(jiān)控區(qū)域的宏觀把握。這種分散的數(shù)據(jù)形態(tài)使得監(jiān)控人員需要花費大量時間和精力去分析各個攝像頭的視頻畫面，難以快速準確地了解整個監(jiān)控區(qū)域的實時態(tài)勢。公開于該背景技術部分的信息僅僅旨在加深對本發(fā)明的總體背景技術的理解，而不應當被視為承認或以任何形式暗示該信息構成已為本領域技術人員所公知的現(xiàn)有技術。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供碼頭堆場全域可視化視頻融合智能巡檢方法及其平臺，通過集成視頻融合、視頻孿生、ai分析和物聯(lián)感知、地理信息、大數(shù)據(jù)等相關技術，實現(xiàn)堆場碼頭的全面可視化監(jiān)控與智能化管理。該平臺不僅提升了堆場管理的精細化水平，還集成了業(yè)務協(xié)同、指揮調度、監(jiān)測預警、風險控制、設備維護等多項功能于一體，為堆場的安全生產與管理提供了強有力的技術支持，充分體現(xiàn)視頻融合技術基于三維場景的綜合應用技術創(chuàng)新點。

2、為了實現(xiàn)上述目的，本發(fā)明采用以下技術方案：

3、本發(fā)明提供了一種碼頭堆場全域可視化視頻融合智能巡檢方法，其包括：

4、s1、視頻融合處理

5、采用三維地理信息場景視頻拼接融合技術，利用圖像拼接的技術原理進行視頻拼接，通過獲取固定相機之間的位置關系，對圖像進行幾何變換，并三維空間信息融合，得到實時的三維全景視頻；

6、s2、視頻預處理

7、對采集的有重疊區(qū)域的每幀圖像進行亮度矯正、畸變矯正和柱面變換預處理以提高匹配的準確性和拼接效果；

8、s3、特征點提取和匹配

9、依靠圖像中紋理信息較為豐富的特征點，建立相鄰圖像坐標變換關系，進行統(tǒng)一坐標變換得到全景拼接結果；

10、s4、單應矩陣估計

11、采用ransac算法剔除匹配中的誤匹配點；

12、s5、坐標變換

13、在對柱面變換后的圖像對計算sift匹配后得到單應關系后，通過如下公式進行坐標變換，將圖像變換到統(tǒng)一坐標系下；

14、s6、圖像融合處理

15、采用基于灰度像素加權平均算法，進行拼縫融合；

16、s7、后處理

17、包括：捆綁調整和曝光補償。

18、優(yōu)選地，在s1中，包括：

19、對多路視頻圖像的圖像預處理(幾何校正、增強、去噪)；

20、對處理后的圖像配準(拼接、剪裁)；

21、建立變換模型(色彩融合、透視變換)；

22、進行統(tǒng)一坐標變換；

23、進行圖像時空融合和多源傳感設備融合；

24、融合后的的圖像在三維空間場景中進行數(shù)據(jù)分析和業(yè)務應用。

25、優(yōu)選地，在s2中，

26、所述亮度矯正為直方圖均衡算法，該方法通過計算圖像全局整體對比度分布，通過概率均衡化思路自適應擴展圖像亮度范圍，提高圖像對比度；

27、其中，圖像中每個灰度級出現(xiàn)的概率為：

28、p(x)＝xs/n；

29、式中，n為圖像全部像素個數(shù)，xs為灰度值為x的像素個數(shù)，從而得到累積分布函數(shù)：

30、

31、從而將ts映射到[0,256]區(qū)間得到歸一化后的均衡直方圖，然后對遍歷圖像中的每個像素得到新的像素值；

32、所述畸變矯正通過棋盤標定算法，求解畸變系數(shù)，進行圖像畸變矯正，公式如下：

33、

34、其中，r2＝x2+y2，k1,k2為畸變系數(shù)；

35、所述柱面變換直接將平面圖像，投影到柱面上，使多幅圖像拼接后形成一個環(huán)視柱面；

36、柱面投影變換如下：

37、

38、其中，s＝f，f為相機焦距。

39、優(yōu)選地，在s3中，包括：

40、s31、尺度空間極值檢測：利用二維高斯核函數(shù)與圖像進行卷積獲取金字塔圖像；

41、二維高斯核函數(shù)為：

42、

43、一幅二維圖像，在不同的尺度下的尺度空間可以由圖像與高斯核卷積得到：

44、l(x，y，σ)＝g(x，y，σ)*i(x，y)

45、檢測尺度空間極值時，單個像素需要跟包括統(tǒng)一尺度周圍8鄰域像素和相鄰尺度對應位置周圍鄰域9*2個像素進行比較；

46、s32、通過擬合三維二次函數(shù)以精確確定關鍵點的位置和尺度，同時去除低對比度的關鍵點和不穩(wěn)定的邊緣響應點；

47、s33、利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)，使算子具有旋轉不變形；

48、

49、θ(x,y)＝αtg2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))

50、上式為像素(x,y)處的模值和方向公式；

51、s34、生成sift描述子，接下來以關鍵點中心取8*8的窗口，每個小格的箭頭代表該像素的梯度方向，箭頭長度代表梯度模值，在每個4*4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成種子點，每個種子點有8個方向的方向向量信息，作為描述子的值；

52、特征點的匹配，主要是根據(jù)sift描述子的歐式距離得到，距離小于一定閾值的作為匹配點，記錄匹配點對應坐標；

53、

54、優(yōu)選地，在s4中，包括：

55、s41、從數(shù)據(jù)集中隨機選取n個數(shù)據(jù)點的子集s1；

56、s42、對選取的子集s1求解模型m1；

57、s43、估計m1與其余數(shù)據(jù)點的距離，記錄距離在閾值內的點的個數(shù)；

58、s44、如果點的個數(shù)大于一定比例則迭代完成，否則回到步驟a；

59、采用ransac算法剔除誤匹配點對，并且得到基于最大后驗概率的透視關系模型h。

60、優(yōu)選地，在s6中，包括：

61、假設圖像拼縫線作為中線，像素點與拼縫線的距離為d；

62、r′＝d×r1+(1-d)×r2

63、g′＝d×g1+(1-d)×g2

64、b′＝d×b1+(1-d)×b2；

65、r,g,b分別紅，綠，藍通道像素值，拼接區(qū)域新的像素值通過相鄰兩幅圖像像素值的距離加權得到；

66、本發(fā)明還提供一種全域可視化視頻融合智能巡檢平臺，采用所述的碼頭堆場全域可視化視頻融合智能巡檢方法。

67、采用上述技術方案，本發(fā)明具有如下有益效果：

68、本發(fā)明不僅提升了堆場管理的精細化水平，還集成了業(yè)務協(xié)同、指揮調度、監(jiān)測預警、風險控制、設備維護等多項功能于一體，為堆場的安全生產與管理提供了強有力的技術支持，充分體現(xiàn)視頻融合技術基于三維場景的綜合應用技術創(chuàng)新點。