本發(fā)明屬于機器人技術(shù)和機器視覺領域，尤其涉及視覺識別、視覺定位以及視覺伺服等技術(shù)，具體為一種基于視覺主動導引的加工刀具自動送檢機器人。

背景技術(shù)：

1、隨著我國不斷發(fā)展，航空航天領域作為科技創(chuàng)新的前沿陣地愈發(fā)重要，大型飛機、戰(zhàn)略武器等高端裝備處于產(chǎn)業(yè)鏈核心環(huán)節(jié)，是大國間經(jīng)濟和國防競爭的主戰(zhàn)場和制高點。航空航天領域所需的零件通常具有復雜幾何形狀、大型薄壁結(jié)構(gòu)和微小精密組件。上述復雜零件的加工不僅要求極高的精度，還需要應對材料硬度高、加工路徑復雜等一系列挑戰(zhàn)。而加工刀具的工作狀態(tài)直接影響零件的加工質(zhì)量，因此，針對加工刀具的全生命周期管理是保證加工刀具健康工作狀態(tài)的關鍵。

2、在刀具全生命周期管理過程中，需在加工前后均對刀具的幾何參數(shù)、磨損狀態(tài)進行測量。目前，人工刀具送檢存在效率低、流程不規(guī)范的問題，嚴重拖緩生產(chǎn)節(jié)拍。為提高檢測效率和智能化程度，基于移動機器人的刀具自動化送檢技術(shù)成為智能制造的熱門研究方向。

3、“加工刀具的視覺檢測管理系統(tǒng)及方法”(專利號cn201810906007.8)能夠獲取每個刀具在每次出庫離開刀具載板和入庫安置于刀具載板上的時間間隔，并將該時間間隔的數(shù)值存入每個刀具對應的管理記錄信息中；利用視覺檢測識別對應刀具的身份識別碼，并獲取該對應刀具的管理記錄信息；最后實現(xiàn)預測刀具壽命范圍，但上述技術(shù)沒有考慮加工刀具從加工場所至檢測設備的送檢流程自動化。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)難題是針對加工現(xiàn)場中刀具的使用工位與檢測工位分離，依賴人工取刀、送檢，自動化程度低，嚴重減緩生產(chǎn)節(jié)拍的問題，發(fā)明基于隨位機器人的刀具自動識別與夾取系統(tǒng)。該系統(tǒng)通過制作加工刀具訓練集并使用yolov8算法進行訓練，以實現(xiàn)對待測刀具實時識別；通過雙目視覺測距，實現(xiàn)待測刀具空間在位感知；通過規(guī)劃夾取送檢流程，實現(xiàn)加工刀具高效檢測。

2、本發(fā)明的技術(shù)方案如下：

3、一種基于視覺主動導引的加工刀具自動送檢機器人，制作高質(zhì)量加工刀具圖像數(shù)據(jù)集，訓練基于yolo算法的刀具識別深度學習模型，并通過雙目相機完成待測加工刀具的自主識別與實時空間定位；通過結(jié)合agv小車的隨位夾取機器人送檢路徑規(guī)劃，實現(xiàn)加工刀具的自動送檢。具體步驟如下：

4、第一步，設計搭建視覺主動導引的加工刀具自動送檢機器人；

5、搭建加工刀具自動送檢機器人，包括agv小車1、工控機2、5g傳輸模組3、電動夾爪4、末端夾具5、雙目相機6以及機械臂7；雙目相機6與電動夾爪4通過機械連接固連在末端夾具5上，再由末端夾具5與機械臂7的末端相連，雙目相機6通過usb連接在工控機2上，電動夾爪4通過機械臂7的i/o進行控制，機械臂7與工控機2通過5g?tcp/ip方式進行無線通訊，形成視覺導引與夾取單元；機械臂7的基座與agv小車1機械固連，agv小車1與工控機1通過5gtcp/ip方式進行遠程通訊，組成送檢系統(tǒng)；

6、送檢過程中，視覺導引與夾取單元隨agv小車1移動；夾取過程中，雙目相機6與電動夾爪4隨機械臂7移動；送檢指令發(fā)出后，agv小車1自動移動至夾取目標區(qū)域，再由雙目相機6識別待測刀具并返回其空間位置至工控機2，工控機2將該空間位置由相機坐標系轉(zhuǎn)換至機械臂基座坐標系，并控制機械臂7運動使電動夾爪4到達夾取位置，電動夾爪4確認夾緊后返回信號至工控機2，工控機2控制agv小車1運動至放置目標區(qū)域，完成刀具實時自主識別、在位空間感知與自動夾取送檢過程；

7、第二步，構(gòu)建基于深度學習的復雜結(jié)構(gòu)刀具識別模型；

8、采集1500張高質(zhì)量圖像的數(shù)據(jù)集，數(shù)據(jù)集滿足以下條件：(1)為保證數(shù)據(jù)集圖像分辨率多樣性，分別采集720p、1080p、2k、4k四種分辨率圖像；(2)為保證數(shù)據(jù)集圖像視角多樣性，以2°為梯度，以水平視角為基準，圖像采集范圍從俯視45°到仰視45°；(3)為保證距離的多樣性，以0.1m為梯度，以0.2m為基準，圖像采集范圍從0.2m到4m；數(shù)據(jù)集中分辨率為720p的圖像比例為21％，分辨率為1080p的圖像比例為27％，分辨率為2k的圖像比例為27％，分辨率為4k的圖像比例為25％，各角度梯度以及距離梯度圖像數(shù)量均相等，最后采用labelimg插件將圖像中的刀具及刀柄類型進行標記與分類；按照3：1：1的比例將采集的圖像以及標記信息分為訓練集、測試集以及驗證集，其中訓練集需保證其涵蓋最大的樣本量且具有多樣性，驗證集和測試集需保證其圖像背景復雜、識別難度較大；

9、為保證刀具識別模型實時、準確的識別表現(xiàn)，在cuda?12.1環(huán)境下采用yolo?v8x預訓練模型對數(shù)據(jù)集進行深度學習訓練，通過設置預訓練的訓練次數(shù)(epochs)、每個批次處理圖像數(shù)量(batch)、工作線程數(shù)(workers)等訓練參數(shù)，平衡識別效果與訓練時間，獲得刀具識別模型；訓練完成后生成“best.pt”和“l(fā)ast.pt”兩個刀具識別模型的權(quán)重文件，后者為在模型訓練過程中最后一個保存的文件，其用于從上一次訓練的斷點繼續(xù)訓練，或用于刀具識別模型的推理和評估；前者為在訓練集或測試集上表現(xiàn)最好的模型權(quán)重文件，其用于后續(xù)的視覺識別，輸入待識別圖像，其將對圖像以網(wǎng)格形式劃分，通過概率計算輸出識別到的刀柄、刀具的中心位置，并給出當前預測結(jié)果的置信度水平：

10、

11、其中，class表示分類結(jié)果，i為類別，object為檢測到的物體，truth為真值，pred為預測值，iou為預測結(jié)果與真值間的重合度水平；p(classi|object)為目標物體屬于某個特定類別的概率；p(object)為目標物體出現(xiàn)在圖像中的概率，具體表示為模型檢測到某個區(qū)域內(nèi)存在物體的置信度；p(classi)為特定類別出現(xiàn)在圖像中的概率；

12、第三步，構(gòu)建基于雙目視覺的目標刀具空間位置感知與刀具準確夾取算法；

13、在搭建的加工刀具自動送檢機器人中，雙目相機6是主要視覺信息感知元件，其由左、右兩個具有不同視角的相機構(gòu)成，兩坐標系間相對關系如下：

14、

15、其中，xr、yr、zr為物體在右相機坐標系中的坐標，x、y、z為物體在左相機坐標系中的位置，ri分別表示左相機坐標系映射到右相機坐標系的各軸方向，ti左相機坐標系在右相機坐標系各軸的平移量，矩陣r和矩陣t分別是表示左鏡頭坐標系o-xyz和右相機坐標系or-xryrzr之間的變換關系的旋轉(zhuǎn)矩陣和平移向量，通過相機標定過程直接獲得；

16、識別過程中，雙目相機6同時采集圖像，通過刀具識別模型分別獲得兩組圖像刀具、刀柄的像素空間位置，通過相機標定結(jié)果與兩組圖像視差對比，再通過光三角法進一步解算目標刀具在相機坐標系下的真實三維坐標(xcam，ycam，zcam)：

17、

18、其中，x、y為物體在左相機圖像平面中的像素坐標，z為物體在左相機坐標系中的深度，fl、fr分別表示左右相機的焦距，xl、yl為物體在左相機坐標系中的坐標，xr、yr為物體在右相機坐標系中的坐標；

19、由于夾取過程需在機械臂基座坐標系下進行逆運動學計算，因此還需通過手眼標定獲得相機坐標系與機械臂末端坐標系的固定相對關系t，并通過d-h表解算獲得機械臂末端坐標系與機械臂基座坐標系的轉(zhuǎn)換關系t，即將相機坐標系下的目標刀具空間位置(xcam，ycam，zcam)轉(zhuǎn)換至機械臂基座坐標系下：

20、

21、其中，rpg(i)為各姿態(tài)下末端夾爪中心點在機械臂基坐標系下的坐標；為各姿態(tài)下機械臂末端坐標系與機械臂末端坐標系與基坐標系的轉(zhuǎn)換矩陣，由機械臂的d-h表給出；為相機坐標系與機械臂末端坐標系與末端坐標系的轉(zhuǎn)換矩陣，因采用“眼在手上”的安裝方式，故各姿態(tài)下相機與機械臂末端保持相對固定，其通過手眼標定獲取；cpg為相機坐標系下末端夾爪中心點坐標，其通過雙目測量獲取；

22、為實現(xiàn)目標刀具準確夾取，僅需移動機械臂7使得電動夾爪4中心坐標rpg(i)與目標刀具坐標rpobj(i)重合即可；

23、第四步，設定機器人自動送檢流程；

24、加工刀具自動送檢流程分為調(diào)度、移位、搜尋、夾取、送檢、歸位六個部分；首先，機器人停泊在初始站點，用戶在控制軟件中下達調(diào)度指令后，指令通過5g傳輸模組3遠程傳遞至agv小車1與機械臂7，控制機械臂7移動至移位保護位姿，并控制agv小車1移位至夾取搜尋站點；然后，在搜尋站點機械臂7末端進行360°目標搜尋動作，雙目相機6發(fā)現(xiàn)視野里存在加工刀具后中止機械臂7運動，根據(jù)粗定位結(jié)果控制機械臂7運動至精定位位姿；在精定位位姿下，獲得目標加工刀具空間位置，并控制機械臂7末端中心到達夾取位置，通過io控制電動夾爪4握持、實現(xiàn)刀具夾取；電動夾爪4返回確認夾取完畢信號后，機械臂7再次回到移位保護位姿，并控制agv小車1移位至檢測展位，機械臂7將夾取的刀具放置在待檢刀具庫中，完成送檢流程；最后，確認放置完畢后，agv小車1返回初始站點，若電量低于設定標準值，則自動到充電樁位置進行充電；通過上述流程，實現(xiàn)目標加工刀具從入庫位置至刀具檢測中心、刀具存儲中心的自動、準確、高效隨位送檢過程。

25、本發(fā)明的有益效果：本發(fā)明提出的方法結(jié)合yolo視覺識別技術(shù)與雙目測量技術(shù)，可快速、精確、穩(wěn)定地實現(xiàn)待測刀具自主識別、目標位置實時感知功能，通過自動送檢機器人可進一步提升刀具送檢流程自動化、無人化程度，提高加工、檢測效率。