本發(fā)明涉及機器人單目視覺引導(dǎo)領(lǐng)域，尤其涉及一種機器人單目視覺引導(dǎo)系統(tǒng)的標定方法。
背景技術(shù)：
：機器視覺是人工智能正在快速發(fā)展的一個分支。簡單來說，機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)是通過機器視覺產(chǎn)品將被攝取目標轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，得到被攝目標的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進行各種運算來抽取目標的特征，進而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。隨著工業(yè)4.0的推進，工廠自動化的進程正在加速中，工業(yè)機器人在生產(chǎn)線上發(fā)揮了巨大作用，機器視覺與圖像處理技術(shù)是機器人與工業(yè)作業(yè)環(huán)境順利交互的基礎(chǔ)，能夠處理大量的信息，成為機器人最重要的感知功能。機器人視覺引導(dǎo)技術(shù)在自動化工業(yè)生產(chǎn)中的作用日益重要，其中，在工廠環(huán)境中的零件自動識別與分揀的應(yīng)用中，視覺引導(dǎo)技術(shù)起到了關(guān)鍵作用，機器人利用其視覺功能對待分揀的零件進行自動定位，找出其的相對于機器人的空間位置，然后將定位信息傳遞給機械臂，從而進行抓取。機器人視覺系統(tǒng)的標定，目的是找出固定于機械臂上的相機的圖像坐標系和機器人坐標系的轉(zhuǎn)換關(guān)系，是機器人視覺引導(dǎo)過程中的關(guān)鍵技術(shù)之一。申請?zhí)枮?01410371760.3的中國發(fā)明專利申請中公開了一種機器人視覺系統(tǒng)的快速標定方法，其采用的技術(shù)方案具體包括：步驟一、設(shè)置標定板，標定板上設(shè)置多個用于視覺系統(tǒng)感應(yīng)的預(yù)置點，對標定板建立坐標；步驟二、機械手設(shè)置一個用于標定機械手移動的感應(yīng)點；根據(jù)預(yù)置點的位置設(shè)置機械手的移動規(guī)則，機械手受處理器控制，使得機械手每次移動后感應(yīng)點均位于預(yù)置點的上方；步驟三、機械手開始移動，同時相機對機械手進行圖像拍攝，視覺系統(tǒng)對顯示窗口劃分坐標，同時計算感應(yīng)點在相機窗口中的坐標軌跡；步驟四、機械手移動至其中一個預(yù)置點，暫停t秒；視覺系統(tǒng)保存此時感應(yīng)點在顯示窗口的坐標信息，同時保存預(yù)置點的坐標信息；步驟五、多次重復(fù)步驟三、四，獲得多個感應(yīng)點在顯示窗口的坐標信息(x1、y1)、(x2、y2)、(x3、y3)……(xn、yn)，以及對應(yīng)的多個預(yù)置點的坐標信息(x1、y1)、(x2、y2)、(x3、y3)……(xn、yn)；步驟六、建立感應(yīng)點和預(yù)置點的坐標映射關(guān)系，求得轉(zhuǎn)換矩陣，得到機器人視覺系統(tǒng)的坐標與機械手坐標系統(tǒng)的坐標的轉(zhuǎn)換關(guān)系，完成視覺系統(tǒng)的坐標標定。目前的機器人視覺引導(dǎo)系統(tǒng)的標定方法存在標定過程復(fù)雜、花費時間長的缺點。技術(shù)實現(xiàn)要素：有鑒于現(xiàn)有技術(shù)的上述缺陷，為了在實際場景中快速標定，本發(fā)明提供了一種機器人單目視覺引導(dǎo)系統(tǒng)的自動標定裝置，用于與標定板配合以確定機器人的機械臂末端與固定在所述機械臂上的相機間的坐標轉(zhuǎn)換關(guān)系，該裝置包括：機械臂驅(qū)動模塊，用于連接所述機械臂的控制系統(tǒng)，從而實現(xiàn)對所述機械臂的控制；相機通信模塊，用于連接所述相機，從而實現(xiàn)與所述相機間的數(shù)據(jù)交互；圖像采集模塊，用于管理所述機械臂在標定時的運動，并且采集所述相機拍攝的標定板圖像；相機標定模塊，其調(diào)用所述圖像采集模塊中的標定板圖像集，據(jù)此生成相應(yīng)的相機內(nèi)參、外參和鏡頭畸變系數(shù)；手眼標定模塊，其調(diào)用所述圖像采集模塊中的標定板圖像集以及所述相機標定模塊中相應(yīng)的相機內(nèi)參、外參和鏡頭畸變系數(shù)，計算得到相機坐標系與機械臂末端坐標系的轉(zhuǎn)換關(guān)系；以及交互界面，用于與所述自動標定裝置的人機交互；并且所述標定板設(shè)置有棋盤格圖案。進一步地，所述圖像采集模塊在標定中的操作包括：接收預(yù)設(shè)的若干個機械臂狀態(tài)，其限定相應(yīng)的拍攝位置；在機械臂依次運動到各拍攝位置時，指令相機拍攝并接收拍攝到的標定板圖像。進一步地，將所述圖像采集模塊采集的標定板圖像通過所述交互界面顯示。進一步地，所述相機標定模塊在標定中的執(zhí)行內(nèi)容包括：調(diào)用所述圖像采集模塊得到的標定板圖像集；提取每幅標定板圖像中，標定板角點在圖像中的像素位置；保存角點位置信息；根據(jù)角點位置信息和標定板參數(shù)，利用張氏標定法進行相機標定，得到該標定板圖像的相機內(nèi)參、外參和畸變系數(shù)。進一步地，所述交互界面設(shè)置有自動完成所述相機標定模塊執(zhí)行內(nèi)容的選項。進一步地，所述手眼標定模塊在標定中的執(zhí)行內(nèi)容包括：調(diào)用所述圖像采集模塊中的3幅標定板圖像作為一組；調(diào)用所述相機標定模塊中該組中的3幅標定板圖像的外參，以及對應(yīng)的機械臂6維狀態(tài)，將機械臂狀態(tài)轉(zhuǎn)化成4*4的矩陣，從而建立一組計算數(shù)據(jù)；根據(jù)該組計算數(shù)據(jù)，建立機械臂末端旋轉(zhuǎn)量、平移量，以及相應(yīng)的標定板圖像的旋轉(zhuǎn)量、平移量之間的關(guān)系；計算旋轉(zhuǎn)變換轉(zhuǎn)軸與轉(zhuǎn)角，以及手眼參數(shù)的旋轉(zhuǎn)量和平移量，從而獲得基于該組計算數(shù)據(jù)的手眼標定結(jié)果。進一步地，建立多組計算數(shù)據(jù)并分別獲得相應(yīng)的多個手眼標定結(jié)果，剔除顯著偏離平均量的值，并對剩余的值求平均值。進一步地，所述多組計算數(shù)據(jù)中所涉的標定板圖像各不相同。進一步地，所述多組計算數(shù)據(jù)中所涉的標定板圖像遍歷所述圖像采集模塊中的標定板圖像集。進一步地，所述交互界面設(shè)置有自動完成所述手眼標定模塊執(zhí)行內(nèi)容的選項。本發(fā)明具有以下有益效果：1、能夠快速、準確、自動地求得機器人單目視覺引導(dǎo)系統(tǒng)中相機坐標系與機械臂末端坐標系的轉(zhuǎn)換關(guān)系；2、實現(xiàn)過程自動化，在獲得標定板圖像集后，可以自動獲得相機參數(shù)和手眼參數(shù)，簡單易用；3、利用標定板圖像集與相對應(yīng)的機械臂狀態(tài)，計算得到多組手眼矩陣，并對這些手眼矩陣進行優(yōu)化。以下將結(jié)合附圖對本發(fā)明的構(gòu)思、具體結(jié)構(gòu)及產(chǎn)生的技術(shù)效果作進一步說明，以充分地了解本發(fā)明的目的、特征和效果。附圖說明圖1是機器人單目視覺引導(dǎo)系統(tǒng)進行標定時的裝置示意圖；圖2是本發(fā)明的一個較佳實施例的系統(tǒng)結(jié)構(gòu)示意圖；圖3是圖2中系統(tǒng)的數(shù)據(jù)處理流程圖；圖4示出圖2中圖像采集模塊采集的定位板圖像集；圖5示出圖2中相機標定模塊的角點提取畫面；圖6示出圖2中相機標定模塊的相機標定結(jié)果畫面；圖7示出圖2中手眼標定模塊的手眼標定結(jié)果畫面。具體實施方式在本發(fā)明的實施方式的描述中，需要理解的是，術(shù)語“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“頂”、“底”、“內(nèi)”、“外”、“順時針”、“逆時針”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。附圖為原理圖或者概念圖，各部分厚度與寬度之間的關(guān)系，以及各部分之間的比例關(guān)系等等，與其實際值并非完全一致。本實施例針對的機器人單目視覺系統(tǒng)在標定中的裝置構(gòu)成如圖1所示，相機1固定于機械臂2的末端，標定板3置于相機1下方，標定板3在圖像采集過程中保持不動。在依靠視覺功能進行機械臂引導(dǎo)的工業(yè)環(huán)境中，為提高標定的準確性，標定板3與相機1的物距，應(yīng)與目標和相機的物距相近；標定板3采用棋盤格圖案。本實施例中，視覺系統(tǒng)標定的目的是確定相機坐標系與機械臂末端坐標系之間的轉(zhuǎn)換關(guān)系，即求出手眼轉(zhuǎn)換矩陣。手眼轉(zhuǎn)換關(guān)系是求取圖像像素坐標系和世界坐標系之間轉(zhuǎn)換關(guān)系的必不可少的一部分。如圖2所示，本實施例的一種機器人單目視覺引導(dǎo)系統(tǒng)的自動標定裝置包括機械臂驅(qū)動模塊、相機通信模塊、圖像采集模塊、相機標定模塊、手眼標定模塊和交互界面，其中機械臂驅(qū)動模塊用于連接機械臂的控制系統(tǒng)，從而實現(xiàn)對機械臂的控制；相機通信模塊，用于連接相機，從而可以控制相機進行拍攝以及采集拍攝的圖像；通過機械臂驅(qū)動模塊和相機通信模塊實現(xiàn)了對于外部裝置(機械臂和相機)的控制和信息交互；交互界面用于裝置的人機交互。圖3示出了圖2中系統(tǒng)的數(shù)據(jù)處理流程，以下進一步詳述。圖像采集模塊的處理流程包括：設(shè)計得到機械臂的n個運動狀態(tài)，將這n個機械臂狀態(tài)輸入圖像采集模塊中(可通過交互界面或特定文件形式的導(dǎo)入)。機械臂圍繞標定板按照既定的狀態(tài)進行運動，在既定的n個位置停下，相機依次拍攝得到相應(yīng)的標定板圖像。在設(shè)置機械臂運動狀態(tài)時，要使得機械臂末端所處位置拍攝的標定板的角點均在圖像范圍內(nèi)，在整個拍攝過程中，標定板需在一個位置固定不動。為了使得拍攝的標定板圖像遍歷圖像視野范圍的各個角落和呈現(xiàn)多角度的狀態(tài)，在設(shè)計機械臂狀態(tài)時，盡可能包括平移和旋轉(zhuǎn)運動。在本實施例的交互界面中，設(shè)置了“自動標定拍圖”鍵，從而可以一鍵點擊來完成標定板圖像采集功能，點此鍵后能夠使機械臂運動到既定位置，然后通過相機通信模塊發(fā)送一個信號給相機，相機拍攝標定板圖像，并通過與相機通信模塊建立的連接回傳圖像，由圖像采集模塊接收，上述位置拍攝完成后機械臂就運動到下一個既定位置，直到完成拍攝n幅標定板圖像?！白詣訕硕ㄅ膱D”的實現(xiàn)步驟如下：(1)導(dǎo)入設(shè)計得到的n個機械臂狀態(tài)；(2)與相機建立通訊；(3)機械臂每運動到一個位置，給相機發(fā)送拍照指令，拍攝的照片保存在既定路徑下，拍完后反饋給機械臂，機械臂運動到下一個位置，直至遍歷完n個狀態(tài)。圖4是顯示與交互界面的標定板圖像集，其中拍攝標定板圖像所使用的機械臂狀態(tài)如下(以前19幅圖像為例)："(0,0.6,0.6,0,3.1416,0)",//originalpositionvector"(0,0.6,0.6,-0.0524,3.0892,0)",//1st"(0,0.6,0.6,-0.08,3.0892,0)",//2st"(0,0.6,0.6,-0.0524,3.1416,0)",//3rd"(0,0.6,0.6,-0.1,3.1416,0)",//4rd"(0,0.6,0.6,-0.0524,3.1940,0)",//5th"(0,0.6,0.6,-0.0524,3.1940,0.1)",//6th"(0,0.6,0.6,0.0524,3.1940,0)"http://7th"(0,0.6,0.6,0.07,3.1940,0)"http://8th"(0,0.6,0.6,0.0524,3.1416,0)",//9rd"(0,0.6,0.6,0.06,3.0892,0.12)",//10th"(0,0.6,0.6,0,3.0892,0)",//11th"(0,0.6,0.6,0,3.1067,0)",//12th"(0,0.6,0.6,0.02,3.04,0.03)"http://13th"(0,0.6,0.6,0,3.1765,0)",//14th"(0,0.6,0.6,0,3.1940,0)",//15th"(0,0.6,0.6,0.09,3.17,0.04)"http://16th"(0,0.6,0.6,0.0349,3.1416,0)",//17th"(0,0.6,0.6,0.0349,3.1940,0)",//18th其中，對于每一個機械臂狀態(tài)，前三個量為機械臂末端相對于基坐標系的平移量(米)，后三個量為機械臂末端相對于基坐標系的旋轉(zhuǎn)量(弧度)。相機標定模塊的處理流程包括：使用圖像采集模塊得到的標定板圖像集，進行相機標定，獲得相機的內(nèi)參、外參和鏡頭畸變系數(shù)，并可對相機標定結(jié)果進行評價。標定方法是把相機對焦到棋盤格標定板上，棋盤格尺寸已知，通過不同角度觀察標定板，通過每個標定板圖像計算相機的內(nèi)參、畸變系數(shù)和相機相對標定板的相對位置(即外參)。通過得到的相機內(nèi)參和外參，對標定板的角點進行重新投影計算，得到新的投影點，計算新舊投影點之間的誤差，以此對相機標定結(jié)果進行評價。每次相機標定至少需要3張標定板圖像，為提高標定精度，可使用了多張標定板圖像。在本實施例的交互界面中，設(shè)置了“自動相機標定”鍵或“一鍵標定”鍵，從而一鍵實現(xiàn)相機標定功能。同樣地，也可以在交互界面設(shè)置手動標定，若使用手動標定，可將交互界面進一步設(shè)置為，在標定板圖像集中手動選擇圖像，然后可選擇手動角點提取或自動角點提取，每完成一幅圖像的角點提取，點擊“確定保存”鍵，保存角點信息，達到一定的角點數(shù)量后，點擊“開始標定”鍵完成相機標定。若使用自動標定，則直接點擊“自動相機標定”鍵或“一鍵標定”鍵，一鍵獲得相機內(nèi)參、外參和鏡頭畸變系數(shù)。在開始標定之前，首先在交互界面上輸入標定板的參數(shù)，如圖5所示，“自動相機標定”(或“一鍵標定”)的實現(xiàn)步驟如下：(1)調(diào)用圖像采集模塊中的標定板圖像集；(2)提取每幅標定板圖像中標定板的角點在圖像中的像素位置；(3)依次分別保存角點信息；(4)調(diào)用保存的角點位置和標定板參數(shù)，利用張氏標定法進行相機標定，得到相機內(nèi)參、外參和畸變系數(shù)；(5)將相機內(nèi)參和畸變系數(shù)輸出，顯示到交互界面。本實施例中，如圖6所示，輸出顯示的內(nèi)參矩陣為：畸變系數(shù)為：[-0.0810.3860.0020.0030.787]并且得到相機外參19組，以下列舉前3幅圖像的外參：圖片00002.22137690.724030-2.20741262.7801060.045742701.358154圖片0001-2.20083889.2148132.1813226.6113850.033931709.175293圖片0002-2.20039880.4373472.18288316.5048100.006448709.180725…………………其中，每個外參有6個參數(shù)(第0至5)，第0、2、4個參數(shù)為標定板坐標系相對于相機坐標系的旋轉(zhuǎn)量(弧度)，第1、3、5個參數(shù)為標定板坐標系相對于相機坐標系的平移量(毫米)。手眼標定模塊的處理流程包括：調(diào)用圖像采集模塊中的標定板圖像，每組手眼標定計算需要3幅圖像和相應(yīng)的機械臂狀態(tài)，需要注意的是這三個位置不能共線，每幅圖像對應(yīng)相應(yīng)的機械臂狀態(tài)，形成一組手眼標定數(shù)據(jù)，得到一個手眼標定結(jié)果(手眼矩陣)。計算出多組手眼矩陣，對計算結(jié)果進行數(shù)據(jù)處理，得到平均手眼矩陣。在本實施例的交互界面中，設(shè)置了“自動手眼標定”鍵或“一鍵標定”鍵，從而一鍵獲得手眼標定結(jié)果。同樣地，也可以在交互界面設(shè)置手動標定，若使用手動標定，可將交互界面進一步設(shè)置為，可從n幅標定板圖像中任意選擇3幅作為手眼標定的圖像，然后進行提取角點和確認取點操作，然后點擊“開始標定”得到手眼標定結(jié)果。若使用“自動手眼標定”或“一鍵標定”，則可一鍵直接獲得手眼矩陣?！白詣邮盅蹣硕ā?或“一鍵標定”)的實現(xiàn)步驟如下：(1)從圖像采集模塊中的標定板圖像集中，隨機選擇3幅圖像作為一組；(2)調(diào)用相機標定模塊中得到的上述3幅標定板圖像的外參，調(diào)用對應(yīng)的機械臂的6維狀態(tài)，將機械臂狀態(tài)轉(zhuǎn)化成4*4的矩陣；(3)在該組計算數(shù)據(jù)中(三幅圖像外參和相應(yīng)機械臂狀態(tài)為一組)，建立機械臂末端旋轉(zhuǎn)量平移量和圖像外參中的旋轉(zhuǎn)量平移量之間的關(guān)系；(4)計算旋轉(zhuǎn)變換轉(zhuǎn)軸與轉(zhuǎn)角；(5)計算手眼參數(shù)的旋轉(zhuǎn)量；(6)計算手眼參數(shù)的平移量；(7)判斷步驟(1)是否遍歷所有組合，若否，則重復(fù)步驟(1)至(6)，重復(fù)步驟中選擇的標定板圖像是之前沒有選用過的，若已遍歷所有組合，則進入步驟(8)；(8)自動剔除顯著偏離平均量的值(如偏離)，對集合中剩余的值求均值，得到相機坐標系與機械臂末端坐標系的轉(zhuǎn)換關(guān)系的平均值；(9)將手眼矩陣輸出，顯示到交互界面。本實施例中，如圖7所示，輸出顯示的手眼標定結(jié)果(手眼矩陣)為：其中，位于手眼矩陣左上角的3*3矩陣為手眼關(guān)系的旋轉(zhuǎn)量(弧度)，最右邊一列為手眼關(guān)系的平移量(毫米)。本實施例的技術(shù)方案能夠快速、準確、自動地求得機器人單目視覺引導(dǎo)系統(tǒng)的相機內(nèi)部參數(shù)、手眼關(guān)系參數(shù)，具有誤差小、準確性高、使用方便的優(yōu)點，能夠自動優(yōu)化、評價參數(shù)，人機交互友好，能夠提高單目視覺系統(tǒng)的標定效率，簡化標定過程。以上詳細描述了本發(fā)明的較佳具體實施例。應(yīng)當理解，本領(lǐng)域的普通技術(shù)人員無需創(chuàng)造性勞動就可以根據(jù)本發(fā)明的構(gòu)思作出諸多修改和變化。因此，凡本
技術(shù)領(lǐng)域：
中技術(shù)人員依本發(fā)明的構(gòu)思在現(xiàn)有技術(shù)的基礎(chǔ)上通過邏輯分析、推理或者有限的實驗可以得到的技術(shù)方案，皆應(yīng)在由權(quán)利要求書所確定的保護范圍內(nèi)。當前第1頁12