两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

基于視覺特征捆綁和強化學(xué)習(xí)理論的避障機器人的制作方法

文檔序號:8472469閱讀:624來源:國知局
基于視覺特征捆綁和強化學(xué)習(xí)理論的避障機器人的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明為基于視覺特征捆綁和強化學(xué)習(xí)理論的避障機器人,該發(fā)明利用視覺特征 捆綁和強化學(xué)習(xí)理論,基于卷積網(wǎng)絡(luò)和圖像匹配技術(shù),融合深度圖像信息,學(xué)習(xí)復(fù)雜環(huán)境的 先驗知識,基于特征捆綁機制,并將結(jié)果反饋到避障機器人的避障中,智能、快速、高效、準 確地做出決策。 2.
【背景技術(shù)】
[0002] 為了實現(xiàn)視覺特征捆綁理論在現(xiàn)實生活中的應(yīng)用,嘗試為機器智能提供認知基礎(chǔ) 和參考模型,本發(fā)明在基于PCNN的視覺圖像分割技術(shù)、卷積神經(jīng)網(wǎng)絡(luò)(CNNs)模型、基于灰 度的圖像匹配技術(shù)、基于CNNs的圖像識別技術(shù)等基本理論方法的基礎(chǔ)上,嘗試了多種理論 方法的不同組合,并據(jù)此發(fā)明了基于視覺特征捆綁和強化學(xué)習(xí)理論的避障機器人。
[0003]隨著人工智能領(lǐng)域的不斷發(fā)展,越來越多的機器學(xué)習(xí)算法應(yīng)用于傳統(tǒng)的控制領(lǐng)域 中,無論國內(nèi)還是國外都在積極地探索將機器學(xué)習(xí)理論應(yīng)用于生產(chǎn)實踐中,相比之下國外 研宄機構(gòu)對機器學(xué)習(xí)的應(yīng)用遠超過國內(nèi)。無論是在機器人領(lǐng)域,還是計算機視覺領(lǐng)域或語 音識別領(lǐng)域中,機器學(xué)習(xí)理論都發(fā)揮著重大的作用。
[0004]本發(fā)明嘗試用避障機器人攜帶Kinect視覺傳感器,在行進過程中捕捉前方路況, 并在相應(yīng)前方路障位置放置手寫1位阿拉伯?dāng)?shù)字,由傳感器捕捉此標識,并實時傳遞給遠 端處理器。處理器在圖像匹配、圖像識別的基礎(chǔ)上,智能識別出數(shù)字內(nèi)容,并將此前編輯的 數(shù)字所對應(yīng)的相應(yīng)控制指令,實時傳遞給繼續(xù)行進中的機器人,來控制修正進一步的行進 參數(shù)。而此處的手寫數(shù)字,本發(fā)明采用的MNIST手寫數(shù)據(jù)集。當(dāng)然,如何能夠快速的捕捉, 實時地測距,及時的反饋,這是復(fù)雜的應(yīng)用過程。本發(fā)明主要利用Kinect的深度攝像頭,提 取深度數(shù)據(jù),得到圖像相對機器人之間的距離,實現(xiàn)了在捕捉到實時圖像后,智能地截取需 要的圖像位置,快速準確地識別出圖像內(nèi)容,并及時將該圖像代表的控制指令傳遞到避障 機器人的控制模塊。 3.

【發(fā)明內(nèi)容】

[0005]本發(fā)明采用MNIST手寫數(shù)據(jù)集,并對0-9這10個數(shù)字分別賦予不同的控制信號含 義,利用Kinect傳感器采集復(fù)雜環(huán)境中運動距離包含手寫數(shù)字的RGBD圖像,通過灰度化處 理,采用PCNN的圖像分割技術(shù),創(chuàng)建輸出的圖像矩陣,并進行圖像匹配,之后將匹配過的圖 片二值化處理,并代入已訓(xùn)練好的圖像識別模型,最終判定傳感器前方的數(shù)字,并將相應(yīng)的 控制信號傳給機器人控制端。附圖2給出了該發(fā)明的基本流程。
[0006] 3. 1基本環(huán)境
[0007] 發(fā)明初期,基本確定了 2種環(huán)境配置,并從中選優(yōu),確定了最終的實驗環(huán)境。
[0008] 3.I.IVS2013+KinectSDK+OpenCV:
[0009]KinectSDK為微軟官方庫,其主要是針對Wind〇ws7設(shè)計,內(nèi)含驅(qū)動、原始感測數(shù) 據(jù)流程試開發(fā)接口、自然用戶接口、安裝文件等部分。該工具包的優(yōu)點如下:
[0010] 1)提供視頻支持;
[0011] 2)能調(diào)整傾角的轉(zhuǎn)動電機。
[0012] 之所以沒有最終采用是因為對于本實驗來說,其具有如下缺憾:
[0013] 1)只提供了部分接口,有些地方進行了封裝,難以進行二次開發(fā),限制了很大一部 分功能的開發(fā)與擴展;
[0014] 2)微軟對非商業(yè)使用的限制;
[0015] 3)該工具包在語言上與OpenCV不兼容;KinectSDK主要支持C#,在一定程度上 弱化了C++。而OpenCV主要支持C++。
[0016] 3.I. 2VS2013+0penNI+0penCV:
[0017]OpenNI是一個多語言,跨平臺的框架。它定義了編寫應(yīng)用程序,并利用其自然交互 的API。該工具包可以克服微軟所提供官方工具包的一些缺點,更適用于本實驗。由于其所 使用語言與OpenCV的高度兼容,使得實驗工作量減少許多,成為本實驗開發(fā)環(huán)境更適合的 選擇。
[0018] 最終使用如下環(huán)境配置及實驗流程。
[0019] l)Kinect :Kinect傳感器初始化,如果附圖3所示,開始采集圖像。
[0020] 2)OpenNI:提取KinectRGBD圖像(即得到每個像素點的深度值)。
[0021] 3)采用PCNN對灰度圖像進行圖像分割和二值化處理。
[0022] 4)0penCV:將圖像轉(zhuǎn)換成灰度圖像,利用其模板匹配方法,尋找到合適的匹配區(qū) 域。
[0023] 5)OpenNI:在整個深度圖中結(jié)合第二步中所提取坐標,進一步得到更加精確的具 體目標的深度值。(用于確定機器人在距該目標多遠處發(fā)出某個行動。)
[0024] 6)基于Python的Theano庫:將目標區(qū)域所截的符合輸入的圖片送至卷積網(wǎng)絡(luò)進 行卷積匹配,得到預(yù)先約定的控制機器人行動方式的信息。
[0025] 3. 2麗1ST手寫數(shù)字圖像數(shù)據(jù)集
[0026]MNIST數(shù)據(jù)集由NISTSpecialDatabase3 和SpecialDatabase1 構(gòu)成。NIST 數(shù)據(jù)庫最初構(gòu)建時采用SD-3作為訓(xùn)練集,而將SD-I作為測試集。但是由于SD-3采集于美 國人口調(diào)查局(CensusBureau)的員工,而SD-I則采集于美國高中學(xué)生的手寫數(shù)據(jù)。所以 SD-3相比于SD-I更加清楚且容易辨認。為了使得訓(xùn)練結(jié)果和測試結(jié)果能更加獨立于其所 采用的數(shù)據(jù)集,LeCun綜合了這兩個數(shù)據(jù)集的特點,構(gòu)建了MNIST數(shù)據(jù)集。MNIST中的訓(xùn)練 集選用了SD-3和SD-I中的各30, 000個樣例,抽選的60, 000個樣例來自于大約250個不 同的個體的手寫數(shù)據(jù),并且保證了測試集和訓(xùn)練集的數(shù)據(jù)來自于不同的個體。同樣,測試集 也選用了SD-3和SD-I中各5, 000個樣例。
[0027] 麗1ST數(shù)據(jù)集中的所有圖片都經(jīng)過了尺寸標準化和中心化,每張圖片的大小為 28X28。數(shù)據(jù)集中部分數(shù)字的圖像見附圖4和附圖5,從圖中可以看到,手寫數(shù)字中相同標 簽下不同圖像之間還是有很大差異的。
[0028] 3. 3基于像素灰度值的圖像匹配算法及其改進
[0029] 為了尋找合適的圖像匹配方法,本實驗嘗試了多種圖像匹配方法,并分別予以測 試,最終確定了采用序貫相似度檢測算法(SSDA)的圖像匹配改進算法?,F(xiàn)將嘗試失敗和成 功的方法分別描述如下。
[0030] 3. 3. 1邊緣點檢測法
[0031]圖像的邊緣是圖像最基本的特征。所謂的邊緣即指在其周圍像素灰度有階躍變化 或屋頂變化的那些像素的集合,即指圖像局部強度變化最顯著的部分。邊緣廣泛存在于目 標與背景、目標與目標、區(qū)域與區(qū)域之間,蘊含了豐富的內(nèi)在信息(方向、階躍性質(zhì)、形狀等 等),是圖像分割、紋理特征、形狀特征等圖像分析的重要基礎(chǔ)。該方法能勾畫出目標物體, 使觀察者一目了然,是人們對圖像最感興趣的特征之一,所以,也是最容易想到的感興趣區(qū) 域提取辦法之一。
[0032]針對于本實驗,其實驗效果不佳導(dǎo)致最終沒能采用的原因如下:
[0033] 1)該方法基于圖像的灰度值展開計算,灰度值的測量很大程度上依賴于光線的強 弱,對光照條件要求甚高。本實驗的實驗環(huán)境多種多樣,對光照條件不進行限制。由此,很 難以獲得正確灰度值,從而難以據(jù)此計算準確邊界值,給實驗帶來一定誤差。
[0034] 2)對于邊緣點檢測的各種算法,都需要遍歷所有的像素點。由于該實驗?zāi)康臑橥?過提取圖像感興趣區(qū)域,從而依據(jù)該區(qū)域的特征進行實時控制機器人的下一步去向,對時 間要求嚴格,而實驗采集的圖片大小為640*480,經(jīng)過一次完整遍歷所需時間已遠遠不能滿 足實時性的需求。不僅如此,必須經(jīng)過完整的遍歷也使得計算量增加,不利于實驗之后的拓 展。
[0035] 3)在處理灰度值方面,對于灰度閾值的設(shè)定也給最終結(jié)果帶來嚴重影響。還需前 期進行閾值選取的實驗,大大增加實驗工作量。
[0036] 4)該方法僅僅能實現(xiàn)邊緣的檢測,即便是能正確地檢測出各個邊緣,但也難以保 證改邊緣所圍成的區(qū)域即為本實驗感興趣區(qū)域。不僅如此,該方法還可能檢測出多
當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
额尔古纳市| 榕江县| 宜丰县| 元阳县| 香港| 饶河县| 南部县| 通道| 南投县| 隆尧县| 永春县| 鲁山县| 讷河市| 青州市| 鄱阳县| 龙海市| 宜黄县| 商洛市| 巴塘县| 长沙县| 吉安市| 哈尔滨市| 睢宁县| 静乐县| 伊宁市| 九寨沟县| 织金县| 惠东县| 平昌县| 灌南县| 元朗区| 伊川县| 金秀| 栾川县| 琼海市| 抚顺县| 兴仁县| 滨海县| 莱阳市| 浪卡子县| 太仓市|