本發(fā)明涉及機械安全監(jiān)控，尤其涉及一種起重機吊鉤位置感知和安全預警方法及系統(tǒng)。

背景技術：

1、起重機作為一種大型的工程機械設備，它被廣泛的應用于施工建設、設備安裝和消費救援，可以有效的提高工作效率。然而，起重機吊裝屬于高空作業(yè)，對于一些復雜的吊裝任務，例如隔山吊，盲吊。操作員受視野的限制，通常難以準確的觀測或感知吊鉤在作業(yè)環(huán)境中的位置，導致錯誤的操作引發(fā)吊鉤碰撞，存在嚴重的安全隱患。

2、目前，現(xiàn)有技術通常采用距離傳感器或2d相機來監(jiān)測吊鉤的位置，但距離傳感器測量的結(jié)果僅能提供機械值，無法反映作業(yè)中吊鉤受運動慣性的擺動狀態(tài)和吊鉤與周圍環(huán)境的位置關系。針對這個問題，研究者提出在起重機臂架上安裝2d相機，并從高空拍攝的圖像中來監(jiān)測吊鉤在作業(yè)場景中的位置。然而2d相機拍攝的圖像反映的是二維空間中物體的位置關系，缺乏立體的深度信息。導致操作員無法快速的做出有效和安全的吊裝操作。

技術實現(xiàn)思路

1、有鑒于此，有必要提供一種起重機吊鉤位置感知和安全預警方法，用以解決現(xiàn)有技術的上述缺陷。

2、為了解決上述問題，第一方面，本發(fā)明實施例提供一種起重機吊鉤位置感知和安全預警方法，包括：

3、s1，實時采集起重機吊鉤圖像，基于實時采集的起重機吊鉤圖像和預先建立的起重機吊鉤模板庫，進行起重機吊鉤跟蹤；

4、s2，采用slam技術根據(jù)實時采集的圖像構建起重機作業(yè)場景的地圖，并在地圖中定位相機的位置；

5、s3，根據(jù)相機成像原理和吊鉤跟蹤結(jié)果，計算吊鉤與相機的距離；

6、s4，根據(jù)相機定位結(jié)果和吊鉤與相機的距離，得到吊鉤在地圖中的位置，根據(jù)吊鉤位置進行吊鉤碰撞預警和吊鉤擺動監(jiān)測。

7、優(yōu)選的，步驟s1具體包括：

8、s11，使用單目相機拍攝起重機吊鉤的連續(xù)圖像；

9、s12，構建包含多種吊鉤圖像的起重機吊鉤模板庫，使用單目相機拍攝的前若干幀圖像來自適應的初始化吊鉤模板特征；

10、s13，根據(jù)初始化的模板特征，跟蹤后續(xù)圖像中的起重機吊鉤；

11、s14，根據(jù)吊鉤跟蹤結(jié)果更新在線模板隊列，以消除累計誤差。

12、優(yōu)選的，步驟s12中，所述使用單目相機拍攝的前若干幀圖像來自適應的初始化吊鉤模板特征，具體包括：

13、將單目相機拍攝的第一幀圖像分割為多個區(qū)域，對于每個分割的區(qū)域，都與起重機吊鉤模板庫中的吊鉤模版進行匹配，并計算邊界框置信度分數(shù)；其中，所述邊界框置信度分數(shù)表示當前區(qū)域與吊鉤模板之間的相似度。

14、選擇邊界框置信度分數(shù)最高的三個吊鉤模板，分別計算三個吊鉤模板在后續(xù)若干幀圖像中的平均置信度；

15、根據(jù)計算的平均置信度，選擇平均置信度分數(shù)最高的吊鉤模板用于計算初始模板特征tinit，初始模板特征tinit用于在后續(xù)幀中識別和跟蹤吊鉤。

16、優(yōu)選的，步驟s14中，所述根據(jù)吊鉤跟蹤結(jié)果更新在線模板隊列，包括：

17、對每個時刻的圖像中的吊鉤模板計算一個置信度分數(shù)、預測框和模板特征；

18、比較預測框中吊鉤模板的歷史寬高比和當前寬高比的差異，若判斷獲知歷史寬高比和當前寬高比的比值小于預設閾值，則使用一個自適應權重來聚合當前模板和初始模板，得到更新后的在線模板；

19、使用更新后的在線模板和初始模板特征tinit來跟蹤后續(xù)圖像中起重機吊鉤的位置和預測框。

20、優(yōu)選的，步驟s3中，所述根據(jù)相機成像原理和吊鉤跟蹤結(jié)果，計算吊鉤與相機的距離，具體包括：

21、s31，根據(jù)單目相機的成像原理，得到圖像中吊鉤的像素寬度x和像素長度y的表達式：

22、

23、

24、式中，fx和fy分別表示像素寬度x和像素長度y在相機內(nèi)參矩陣中對應的焦距參數(shù)；w和h分別表示吊鉤在真實世界中的寬度和長度；d為相機到吊鉤之間的距離；

25、s32，根據(jù)吊鉤的像素寬度和像素長度的表達式，結(jié)合步驟s1得到的起重機吊鉤跟蹤結(jié)果，計算吊鉤在圖像中的對角線長度l；

26、

27、將像素寬度x和像素長度y的表達式帶入上式中，得到吊鉤與相機的距離d的表達式：

28、

29、s33，由于吊鉤在作業(yè)過程中會受到擺動等因素的影響，導致圖像中吊鉤的像素寬度x和像素長度y對應的真實寬度w和真實長度h是波動的；因此，將上述關系式轉(zhuǎn)換為冪函數(shù)形式，得到：

30、d＝k×lα。

31、式中，k和α是常數(shù)；

32、將起重機吊鉤從高到低勻速下降，并記錄下降過程中吊鉤與相機的距離d和圖像中吊鉤的對角線長度l，通過擬合這些數(shù)據(jù)點，得到k和α的值。

33、優(yōu)選的，步驟s4中，所述吊鉤碰撞預警流程包括：

34、獲取起重機作業(yè)場景地圖中每一地圖點與吊鉤位置之間的距離s；

35、將距離s小于預設距離警戒值的地圖點投影到起重機吊鉤圖像中，并進行標注，將吊鉤碰撞預警的結(jié)果可視化到操控室。

36、優(yōu)選的，步驟s4中，所述吊鉤擺動監(jiān)測流程包括：

37、根據(jù)地圖中吊鉤位置和軌跡計算吊鉤的擺動角和擺動距離，計算公式為：

38、

39、

40、

41、式中，為吊鉤在x軸方向上的擺動角度，為吊鉤在y軸方向上的擺動角度，(x’、y’、z’)為吊鉤在三維空間中的位置坐標，ox和oy表示吊鉤在靜止狀態(tài)下的坐標點，l表示吊鉤的擺動距離；

42、將吊鉤擺動監(jiān)測的結(jié)果可視化到操控室；

43、將吊鉤的擺動參數(shù)作為防擺系統(tǒng)的輸入信號，根據(jù)吊鉤的擺動參數(shù)調(diào)整防擺系統(tǒng)的防擺參數(shù)，實現(xiàn)吊鉤防擺系統(tǒng)的負反饋控制；其中，所述防擺參數(shù)包括起重機液壓和臂架旋轉(zhuǎn)速度。

44、第二方面，本發(fā)明實施例提供一種起重機吊鉤位置感知和安全預警系統(tǒng)，包括：

45、起重機吊鉤跟蹤模塊，用于實時采集起重機吊鉤圖像，基于實時采集的起重機吊鉤圖像和預先建立的起重機吊鉤模板庫，進行起重機吊鉤跟蹤；

46、地圖構建模塊，用于采用slam技術根據(jù)實時采集的圖像構建起重機作業(yè)場景的地圖，并在地圖中定位相機的位置；

47、吊鉤距離測量模塊，用于根據(jù)相機成像原理和吊鉤跟蹤結(jié)果，計算吊鉤與相機的距離；

48、安全預警模塊，用于根據(jù)相機定位結(jié)果和吊鉤與相機的距離，得到吊鉤在地圖中的位置，根據(jù)吊鉤位置進行吊鉤碰撞預警和吊鉤擺動監(jiān)測。

49、第三方面，本發(fā)明還提供了一種電子設備，包括存儲器和處理器，其中，

50、所述存儲器，用于存儲程序；

51、所述處理器，與所述存儲器耦合，用于執(zhí)行所述存儲器中存儲的所述程序，以實現(xiàn)如本發(fā)明第一方面實施例所述的起重機吊鉤位置感知和安全預警方法中的步驟。

52、第四方面，本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，用于存儲計算機可讀取的程序或指令，所述程序或指令被處理器執(zhí)行時能夠?qū)崿F(xiàn)如本發(fā)明第一方面實施例所述的起重機吊鉤位置感知和安全預警方法中的步驟。

53、本發(fā)明提供的起重機吊鉤位置感知和安全預警方法及系統(tǒng)，與現(xiàn)有技術相比，具有以下有益效果：

54、1)本發(fā)明通過單目相機和吊鉤跟蹤技術，實現(xiàn)了對吊鉤位置的實時、準確感知，避免了2d相機缺乏深度信息的問題?；陬A先建立的起重機吊鉤模板庫，進行吊鉤的跟蹤。通過自適應的初始化吊鉤模板特征，提高了吊鉤位置感知的準確性。

55、2)本發(fā)明根據(jù)吊鉤在地圖中的位置和軌跡，進行吊鉤碰撞預警和吊鉤擺動監(jiān)測，將預警結(jié)果可視化到操控室，提高了操作員的安全意識和反應速度。

56、3)本發(fā)明實現(xiàn)吊鉤防擺系統(tǒng)的負反饋控制，根據(jù)吊鉤的擺動參數(shù)調(diào)整防擺參數(shù)，如起重機液壓和臂架旋轉(zhuǎn)速度，以減小吊鉤的擺動幅度，提高了起重機的穩(wěn)定性和安全性。