專利名稱：一種遙操縱機器人基于視覺的動覺示教控制方法
技術領域：
本發(fā)明屬于機器人人機交互領域，特別涉及一種遙操縱機器人基于視覺的動覺示教控制方法。
背景技術：
隨著人類對海底、地下資源和宇宙空間的合理開發(fā)和利用，機器人對于高溫、高壓、強輻射等極限環(huán)境下作業(yè)任務的完成發(fā)揮了愈來愈重要的作用。機器人正朝著智能化的方向發(fā)展。然而，由于受控制、傳感及人工智能等發(fā)展水平的制約，要研制出在變化環(huán)境下的全自主機器人是短期內(nèi)難以達到的目標。機器人遙操縱技術將人的智慧參與到機器人的實時控制中，極大提高了復雜環(huán)境下機器人作業(yè)的適應性。因此，機器人的局部自主融入操作者的高級決策能力是目前遙操縱領域的發(fā)展趨勢。在主從機器人的控制過程中，操作者由于與機器人相距較遠而無法親身感知作業(yè)現(xiàn)場的真實環(huán)境，只能依據(jù)現(xiàn)場反饋的圖像、聲音、力/觸覺等信息來完成作業(yè)任務。主從機器人控制領域仍有許多問題有待解決:首先，機器人作業(yè)任務完成的成功與否以及效率高低，過多的依賴于操作人員的技能水平和熟練程度；其次，現(xiàn)場反饋的視頻圖像信息在遠距離傳輸中不可避免的存在較大時滯，而傳統(tǒng)的“移動-等待”策略無疑大大降低了機器人的作業(yè)效率；同時，操作者由于無法直接感知圖像中的景深信息，也就難以精確把握機器人與作業(yè)對象的距離遠近，勢必導致機器人操控效率低下。再者，現(xiàn)有的主從機器人雙向伺服控制策略幾乎無一例外地強調(diào)“作業(yè)反力”的“再現(xiàn)與感知”，力反饋效果產(chǎn)生的前提是機器人已經(jīng)與作業(yè)環(huán)境接觸。這在某些諸如高速、重載等應用場合，機器人對作業(yè)環(huán)境的瞬間沖擊，很可能在操作人員感知現(xiàn)場作業(yè)反力之前便已造成無法彌補的損失。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術的缺點與不足，提出一種全新的遙操縱機器人基于視覺的動覺示教控制方法。為達上述目的，本發(fā)明采用如下的技術方案:一種遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，包括以下步驟:S1、采用立體視覺技術對現(xiàn)場的作業(yè)對象及背景環(huán)境(障礙物)進行識別與空間信息提??；S2、以步驟SI中獲取的作業(yè)對象與機器人末端間的位姿關系為參數(shù)，構建作業(yè)對象對機器人的虛擬吸引力；S3、以步驟SI中獲取的機器人末端沿其速度方向與背景環(huán)境(障礙物)的距離為參數(shù)，構建機器人所受的障礙物排斥力；S4、將作業(yè)對象虛擬吸引力、障礙物虛擬斥力以及機器人抓取物體時的真實作用力合成機器人不教力；S5、通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將示教力向操作手柄反饋，從而實現(xiàn)對操作者的動覺示教。根據(jù)權利要求1所述的遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，所述步驟Si包括:包括以下步驟:Sll.1、將Bumblebee雙目攝像頭米用eye-to-hand方式固定在現(xiàn)場環(huán)境正上方，光軸與地面垂直，簡稱為環(huán)境相機；Sll.2、根據(jù)環(huán)境相機圖像中各像素點的顏色、灰度或紋理特征，從中剔除機器人區(qū)域及作業(yè)對象區(qū)域，以獲得背景圖像；Sll.3、根據(jù)圖像匹配及攝像機標定的結果，實時計算背景圖像中各像素點的空間坐標；Sll.4、采用基于空間自相關性的內(nèi)插方式來預測估計所剔除的機器人區(qū)域及作業(yè)對象區(qū)域應有像素屬性，并結合背景圖像像素特征，生成背景環(huán)境的高程數(shù)據(jù)模型；S12.1、將Kinect相機采用eye-1n_hand方式固連于機器人末端,簡稱為手部相機；S12.2、根據(jù)手部相機圖像中各像素點的顏色、紋理特征，采用結合人口統(tǒng)計與區(qū)域增長的圖像分割方法來提取作業(yè)對象區(qū)域，并采用分裂-合并算法提取該區(qū)域輪廓的近似多邊形，取多邊形的頂點為作業(yè)對象圖像特征；S12.3、根據(jù)圖像匹配及攝像機標定的結果，實時計算作業(yè)對象區(qū)域各像素點的空間坐標，并構建其OBB (Oriented Bounding Box-有向包圍盒)包圍盒模型。上述的遙操縱機器人基于視覺的動覺示教控制方法，所述步驟S2包括:設機器人處于由作業(yè)對象和障礙物構成的虛擬勢場V中，根據(jù)Khatib的人工勢場法原理，沿著勢場負梯度方向的虛擬力可保證機器人的運動收斂于系統(tǒng)的低勢能點，由此構建作業(yè)對象引力Fg 為..
Fg=- ( Y ο- Y ) ο其中Ytl為機器人末端的當前位姿向量，Y為機器人末端的期望位姿向量。上述的遙操縱機器人基于視覺的動覺示教控制方法，所述步驟S3包括:基于與步驟S2同樣的理論，構建障礙物虛擬斥力F。為:
權利要求
1.一種遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，包括如下步驟: 51、采用立體視覺技術對現(xiàn)場的作業(yè)對象及背景環(huán)境即障礙物進行識別與空間信息提?。? 52、以步驟SI中獲取的作業(yè)對象與機器人末端間的位姿關系為參數(shù)，構建作業(yè)對象對機器人的虛擬吸引力； 53、以步驟SI中獲取的機器人末端沿其速度方向與背景環(huán)境(即障礙物)的距離為參數(shù)，構建機器人所受的障礙物排斥力； 54、將作業(yè)對象虛擬吸引力、障礙物虛擬斥力以及機器人抓取物體時的真實作用力合成機器人示教力； 55、通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將示教力向操作手柄反饋，從而實現(xiàn)對操作者的動覺示教。
2.根據(jù)權利要求1所述的遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，所述步驟SI包 括:包括以下步驟: Sll.1、將Bumblebee雙目攝像頭采用eye-to_hand方式固定在現(xiàn)場環(huán)境正上方,光軸與地面垂直，簡稱為環(huán)境相機； Sll.2、根據(jù)環(huán)境相機圖像中各像素點的顏色、灰度或紋理特征，從中剔除機器人區(qū)域及作業(yè)對象區(qū)域，以獲得背景圖像； Sll.3、根據(jù)圖像匹配及攝像機標定的結果，實時計算背景圖像中各像素點的空間坐標； 511.4、采用基于空間自相關性的內(nèi)插方式來預測估計所剔除的機器人區(qū)域及作業(yè)對象區(qū)域應有像素屬性，并結合背景圖像像素特征，生成背景環(huán)境的高程數(shù)據(jù)模型； 512.1、將Kinect相機采用eye-1n-hand方式固連于機器人末端,簡稱為手部相機； S12.2、根據(jù)手部相機圖像中各像素點的顏色、紋理特征，采用結合人口統(tǒng)計與區(qū)域增長的圖像分割方法來提取作業(yè)對象區(qū)域，并采用分裂-合并算法提取該區(qū)域輪廓的近似多邊形，取多邊形的頂點為作業(yè)對象圖像特征； S12.3、根據(jù)圖像匹配及攝像機標定的結果，實時計算作業(yè)對象區(qū)域各像素點的空間坐標，并構建其OBB (Oriented Bounding Box-有向包圍盒)包圍盒模型。
3.根據(jù)權利要求1所述的遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，所述步驟S2包括:設機器人處于由作業(yè)對象和障礙物構成的虛擬勢場V中，根據(jù)Khatib的人工勢場法原理，沿著勢場負梯度方向的虛擬力可保證機器人的運動收斂于系統(tǒng)的低勢能點，由此構建作業(yè)對象引力Fc為: Fg=- (Y 0~ Y) ο 其中Ytl為機器人末端的當前位姿向量，Y為機器人末端的期望位姿向量。
4.根據(jù)權利要求1所述的遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，所述步驟S3包括:基于與步驟S2同樣的理論，構建障礙物虛擬斥力匕為: / 1 1Jr -η(---)—V p<p0 F0 =< P A, P.υρ> P0 其中，P為機器人末端與障礙物間的距離；P C1為設定的機器人末端與障礙物的安全距離；η為常數(shù)；ν為機器人末端運動速度的單位向量。
5.根據(jù)權利要求1所述的遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，所述步驟S4包括:本著安全性第一、效率第二的原則，選擇合理的加權系數(shù)，或根據(jù)機器人末端與作業(yè)對象及障礙物的相對位姿關系，通過時變的加權方式，將步驟S2的作業(yè)對象虛擬引力、步驟S3中的障礙物虛擬斥力以及通過傳感器檢測得到的機器人抓取物體時的真實作用力Fe進行合成: Fm= α Fg+ β F0+Fe 其中，α、β分別為虛擬引力、虛擬斥力的影響系數(shù)。
6.根據(jù)權利要求1所述的遙操縱機器人基于視覺的動覺示教控制方法，其特征在于，所述步驟S5包括:通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將步驟S4中的示教力向手控器反饋。動覺引導在宏觀上表現(xiàn)為手控器產(chǎn)生的對人手“推拽”和“示教”的運動趨勢，可通過虛擬引導力作用下的位置預測控制，來實現(xiàn)手控器的運動覺和力覺提示效果。
全文摘要
本發(fā)明提供一種遙操作機器人基于視覺的動覺示教控制方法，其步驟包括采用立體視覺技術對現(xiàn)場的作業(yè)對象及背景環(huán)境(障礙物)進行識別與空間信息提??；以通過視覺識別、計算出的作業(yè)對象與機器人末端間的位姿關系為參數(shù)，構建作業(yè)對象對機器人的虛擬吸引力；以機器人末端沿其速度方向與背景環(huán)境(障礙物)的距離為參數(shù)，構建機器人所受的障礙物排斥力；將作業(yè)對象虛擬吸引力、障礙物虛擬斥力以及機器人抓取物體時的真實作用力合成機器人示教力；通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將示教力向操作手柄反饋，從而實現(xiàn)對操作者的動覺示教。本發(fā)明可有效提高主從機器人系統(tǒng)的智能性、安全性與易操控性。
文檔編號G05D1/00GK103105851SQ20131001173
公開日2013年5月15日 申請日期2013年1月12日 優(yōu)先權日2012年11月7日
發(fā)明者倪濤, 張紅彥, 李驍鵬 申請人:吉林大學