專利名稱：具有元件布局檢查功能的抓取式設備的制作方法
技術領域：
抓取式設備通常用于制造電路板。通常，把空白的電路板提供給抓取式設備，然后抓取式設備從元件供給裝置抓起電路元件，并將這些元件安置在電路板上。通過焊油或粘結劑暫時將元件保持在板上，直到隨后的步驟為止，在所述隨后的步驟中，熔化焊油或者粘結劑完全固化。
背景技術：
抓取式設備的操作富有挑戰(zhàn)性。由于設備的速度是和生產(chǎn)效率相對應的，所以抓取式設備運行得越快，制造電路板所需的成本越少。此外，布置的精度是極為重要的。許多電氣元件，如芯片電容器和芯片電阻器都相當小，必須將它們準確地放置在同樣小的布置位置。另外一些元件雖然較大，但具有一定數(shù)目的引線和導線，這些線相互分開的間距相當窄小。這樣一些元件也必須被準確定位，才能保證每根引線都放置在合適的焊盤上。因而，抓取式設備不僅操作極快，而且放置元件也必須極其準確。
為了提高電路板的制造質(zhì)量，通常在安置的布局操作之后，并在焊劑回流之前和之后，都要對全部填充的或部分填充的電路板進行檢查，以識別布局不正確的或遺漏的元件，或者可能發(fā)生的各種錯誤。完成這樣一些操作的自動系統(tǒng)是非常有用的，它們可以在焊劑回流之前幫助識別元件布局的問題，使得返工修改更加容易，并且可以在焊劑回流之后幫助識別有缺陷的電路板，這樣的電路板是返工修改的候補對象。這種系統(tǒng)的一個例子的商品名稱型號為KS 200，可以從CyberOptics Corporation of GoldenVelley，Minnesota得到。這種系統(tǒng)可用于識別如下問題對準誤差和轉動誤差、遺漏和跳出的元件、橫列定向(billboards)、板上元件標記(tombstones)、元件缺陷、極性錯誤，以及元件錯誤。在焊劑回流之前識別出誤差有一系列優(yōu)點焊劑回流較容易、便于進行閉環(huán)制作的控制、存在于生產(chǎn)流程中的產(chǎn)生誤差與修復之間的工作量較少。雖然這些系統(tǒng)可提供非常有益的檢查，但它們卻要占據(jù)設備內(nèi)的空間，還需要占據(jù)編程時間，還需要努力進行維護等等。
在授予Asai等人的美國專利US 6,317,972中公開了一種相當近期的嘗試，有利于在抓取式設備內(nèi)部進行布局后的檢查。這篇參考文獻報告了一種用于安裝電氣元件的方法，其中，在元件要布局之前獲得安裝位置的圖像，將這個圖像與元件布局后的安裝位置圖像進行比較，以便在元件級別檢查布局操作。
雖然Asai等人公開的內(nèi)容標志著一種嘗試，采用在機器內(nèi)的元件級別的檢查，但Asai等人公開的內(nèi)容主要涉及轉臺型抓取式設備，其中布局位置并不沿x和y方向移動，而只是簡單的上、下移動。這種系統(tǒng)中，在管咀(一個或多個)附近設置相當大而笨重的成像系統(tǒng)，對多個布局事件成像，而且對于布局設備的速度或設計布置只有一點相反的影響或者根本沒有影響。對比之下，關于橋式抓取式設備(Asai等人給予相當小的關注)，管咀至少沿x和y方向之一移動。這樣，用來為多個布局事件成像的光路也沿x和/或y方向移動。因此，在橋式抓取式設備中，光學系統(tǒng)自身的大小和質(zhì)量(慣性負荷)可能會阻礙橋式抓取式設備在置放頭上的使用。進而，由于橋式抓取式設備的置放頭沿x和/或y方向移動，因此，重要的是，要減小光學系統(tǒng)的尺寸，以便能夠減小光學系統(tǒng)與抓取式設備其它部分碰撞的幾率。
對于具有沿x和/或y方向移動置放頭的抓取式設備而言，質(zhì)量增加是一個問題，因為慣量增加了。實現(xiàn)一定的設備生產(chǎn)效率，部分取決于置放頭的加速度。如果通過抓取式設備的電-機系統(tǒng)提供一定的動力，則質(zhì)量的增加將會使加速度減小。
由于一系列原因，固定到移動頭上的光學系統(tǒng)的尺寸，即它的體積和/或形狀也會出現(xiàn)問題。一個原因是，可能將移動頭設計成使得在環(huán)繞它的工作空間移動時，恰好與它的周圍環(huán)境相配合，不會與任何東西發(fā)生碰撞。要增加突出于現(xiàn)有的移動頭結構存在空間之外的東西，必須十分小心地進行，其中要考慮到發(fā)生物理碰撞的可能性。移動頭的尺寸和/或形狀可能成為問題的另一個原因是，一般情況下，會有相當數(shù)量的電纜、管道、電機，以及其它結構要安裝到移動頭上。增加可能與設備的安裝或維護發(fā)生沖突的某些東西通常是不利的。
為了在抓取式設備中提高元件級別布局檢查的可行性，有益的作法是，對于以下各方面進行改進光學系統(tǒng)、照明系統(tǒng)、圖像獲取，以及圖像處理，同時對于生產(chǎn)效率和設計不得有不利的影響。另外，有益的作法還有，在轉臺式和橋式的抓取式設備中都提供可以實現(xiàn)的光學系統(tǒng)和技術。

發(fā)明內(nèi)容
本發(fā)明的各個實施例關于由抓取式設備執(zhí)行的元件級別檢查進行了改進。這樣的改進包括預期布局位置的立體成像；被加強的照明，以便于在所述布局管咀附近的有限空間提供相當大功率的照明；使圖像獲取設備能從相對于布局位置的平面成一定角度的地方觀察布局位置的光路，從而減小這種圖像被元件擋住的可能性；利用商業(yè)上適用的CCD陣列迅速獲取圖像的技術，以使前、后圖像的獲取不明顯影響系統(tǒng)生產(chǎn)效率；提供元件檢查和確認信息的圖像處理技術。本發(fā)明的這些和其它優(yōu)點從下面的描述中將變成顯而易見的。


圖1是可實施本發(fā)明的實施例的抓取式設備示意圖；圖2是按照本發(fā)明實施例的立體圖像獲取系統(tǒng)簡化示意圖；圖3是說明操作本發(fā)明一種實施例抓取式設備的方法流程圖；圖4是說明如何按照本發(fā)明一種實施例使用和/或組合各種圖像以提供元件布局檢查的方塊圖；圖5是本發(fā)明一種實施例的照明系統(tǒng)示意圖；圖6是本發(fā)明一種實施例安裝到發(fā)光二極管(LED)上的光管的放大視圖；圖7是采用沙伊姆普夫盧格(Scheimpflug)條件的抓取式設備的圖像獲取系統(tǒng)的光學裝置的示意圖；圖8是本發(fā)明實施例所用的行間傳輸CCD陣列的示意圖；
圖9是本發(fā)明一種實施例的使用電子快門的圖像獲取系統(tǒng)的示意圖；圖10是本發(fā)明一種實施例的使用行間傳輸CCD陣列的獲取多個圖像的方法的流程圖；圖11是本發(fā)明實施例所用的幀傳輸CCD陣列的示意圖；圖12是本發(fā)明一種實施例使用多個CCD陣列和一個共用的通過分束器的光學裝置的圖像獲取系統(tǒng)的示意圖；圖13是本發(fā)明一種實施例用以產(chǎn)生一個布局位置的多個影像的多個圖像獲取系統(tǒng)的俯視圖；圖14是多光路成像系統(tǒng)的示意圖；圖15是本發(fā)明實施例的在所得到的便于圖像比較的圖像中識別位置的方法流程圖；圖16是像素及其鄰接周邊的示意圖；圖17是本發(fā)明一種實施例的用于分析圖像以提供元件布局確認方法的示意圖；圖18是本發(fā)明另一實施例的用于分析圖像以提供元件布局確認方法的示意圖；圖19是本發(fā)明又一實施例的用于分析圖像以提供元件布局確認方法的示意圖；圖20是本發(fā)明一種實施例的用于分析圖像以便實現(xiàn)數(shù)值/類型確認、X，Yθ位置對準測量，以及極性確定方法的示意圖；圖21和22是本發(fā)明實施例的校準目標示意圖；圖23A-23G是本發(fā)明實施例所使用和/或所產(chǎn)生的典型圖像。
具體實施例方式
雖然針對橋式抓取式設備描述本發(fā)明的實施例，但本領域的普通技術人員應該認識到，本發(fā)明的實施例還可以應用到其它形式的抓取式設備。
圖1是可應用本發(fā)明的實施例的典型抓取式設備201的示意圖。抓取式設備201通過傳送系統(tǒng)或傳送帶202接收一個工件，如電路板203。然后，置放頭206從元件供給裝置(未示出)獲得要安裝在工件203上的一個或多個電元件，并且沿x、y和z方向移動，以便沿正確的方位將元件放置在工件203上的正確位置。置放頭203可以包括傳感器200，當置放頭206把元件從抓取位置移動到放置位置時，傳感器200可以在由管咀208、210、212夾持的元件下方通過。傳感器200使抓取式設備201能夠觀察到由管咀208、210、212夾持的元件的下側，從而可以在元件從元件抓取位置移動到放置位置的同時實現(xiàn)元件定向，并且在某種程度上可以實現(xiàn)元件檢查。別的抓取式設備可以使用能夠在一臺靜止攝像機上移動從而能夠使元件成像的置放頭。置放頭206也可以是一個俯視照像機209，俯視照像機209通常用來在工件203上定位基準標記，從而可以很容易地計算出置放頭206相對于工件203的相對位置。
圖2是本發(fā)明實施例的置放頭示意圖。圖2表示一對圖像獲取設備300、302，用于在將元件304自管咀210放在位置360之前獲得元件304之放置位置360的圖像。在放置元件304之前，圖像獲取設備300和302獲得工件304在工件203上的放置位置360的圖像，并簡化此之后的過程。比較這些放置前、后的圖像，以便進行元件級別的檢查和確認。由于通常是在管咀，比如管咀210在放置位置上方夾持元件304時實行獲得放置位置的圖像，所以重要的是，要能夠為放置位置360成像，同時要使來自這個元件自身，或者可能已經(jīng)安裝在工件上的其它的附近元件的干擾減至最小。這樣，最好使設備300和302使用的光軸能夠相對于工件203的平面傾斜成一個角度θ進行觀察。為了補嘗設備300和302觀察放置位置360的角度θ，最好使設備300和302適于使用沙伊姆普夫盧格(Scheimpflug)條件。一種可以使用沙伊姆普夫盧格(Scheimpflug)條件的特殊方法是適于使每個設備300和302內(nèi)所要設置的區(qū)域陣列檢測器相對于對應的設備300、302的光學裝置的光軸成一定角度。在這種條件下，使傾斜的目標平面(放置位置)正確地向傾斜的圖像平面(在設備300、302內(nèi)的區(qū)域陣列檢測器)成像。
如圖2所示，設備300、302最好關于z軸也隔開一個角度φ，從而使設備300、302可提供放置位置360的立體圖像。這樣的立體成像有一系列好處，下面對此還要作更加詳細的描述。在放置位置前面的條件和后面條件的立體成像可以利用x-y數(shù)據(jù)產(chǎn)生所要的高度圖形。立體成像的兩個優(yōu)點是可產(chǎn)生預期元件放置位置的深度圖形；以及使元件影像沿著視線被其它較高的元件擋住的可能性減至最小，或者至少是有所減小。如果元件影像被擋住一點，通常還可以用其它攝像機觀察到。
設備300、302當中的每一個最好還包括非結構式的照明體306和結構式照明體308。雖然圖中表示的非結構式照明體306設置在每個設備300、302上，但是在一些實施例中，還可能提供單獨安裝的單個非結構式的照明體。
圖2所示的系統(tǒng)提供一系列特征，可以單獨使用或者組合使用這些特征，以給出優(yōu)良的元件檢查。有一種方式可以使用這種系統(tǒng)，即采用結構光，以重構來自放置位置360任何一個影像的高度。另一種方式是，簡單地使用結構光作為照明源，在放置位置360的表面上提供光的圖形，然后使用已知的關聯(lián)算法，例如由Rosenfeld，A.和A.C.Kak報告的算法(1982，“數(shù)字圖像處理”，第2卷，科學出版社，紐約)，關聯(lián)從不同的影像獲得的兩個圖像之間的結構照明，并從兩個立體圖像計算電路板的表面高度(在放置之前或者在放置之后)的圖形。如這里所用的，所述結構光包括正弦圖形、光點或形狀的規(guī)則陣列、光的隨機圖形，甚至包括光的偽隨機圖形。有時，當工件表面的一些部分沒有出現(xiàn)在兩個圖像中的一個圖像上時，也有一些管咀結構情況。可以布置附加的攝像機，觀察可能從一個或多個圖像中遺漏的工件表面部分。作為選擇，還可以從其它影像(放置之前的或者放置之后的)拼接出遺漏的圖像部分，獲得必要的圖像，從而或者提供布局的質(zhì)量信息，或者提供要得到高度信息所必需的立體信息。
圖3是獲得圖像，從而可以在抓取式設備中實現(xiàn)元件級別檢查的方法的流程圖。在步驟350，激勵一個或多個非結構式的照明體(如照明體306)，以便在元件放置之前照明預期的放置位置。在步驟352，當用非結構式照明體照明設備300、302時，每個設備300、302獲取放置位置的一個預放置圖像。優(yōu)選地是，使設備300、302彼此同時或者基本上同時地獲得它們各自的圖像。如這里使用的，基本上同時意味著在時間上足夠地接近，以致于物理系統(tǒng)在圖像獲取之間沒有明顯的移動。這樣，在步驟352實現(xiàn)獲得放置前立體圖像，去掉激勵非結構式的照明體。最好對于放置前檢查，可以使用在預期的元件布局位置的結構式照明的放置前立體圖像(一個或多個)。這樣的操作包括在適當位置涂敷焊油，以便接納相關的元件引線；沒有位碎屑或其它不期望的材料被放置在目標放置；或者任何其它可能期望的檢查操作。
從每個圖像獲取設備可以獲取結構式照明圖像，以便在元件放置前獲得預期的元件布局位置的三維圖像信息。一旦每個圖像獲取設備使用它自已的結構式照明體，則該圖像獲取設備隨后就應該獲得它的對應圖像，以使一個圖像獲取設備的結構式照明不會干擾另一個圖像獲取設備的結構式照明。然而，如果使用適當?shù)慕Y構式照明體，使每個照明體的結構式照明在處理過程中都是很清晰的，則每個圖像獲取設備都可能同時地獲得它們對應的結構式照明圖像。
在步驟354，管咀(如管咀210)元件放在它的預期元件布局位置。在步驟356，圖像獲取設備300、302再次獲得放置位置的立體圖像，放置后的立體圖像。最好在步驟358，可以激勵結構式照明體308，當元件304座落在它的預期元件布局位置時，在元件304上進行結構式照明。于是，當用結構式照明體照明預期的元件布局位置時，設備300、302可以隨意獲得下一組立體圖像(方框359)。任選的步驟358和359，便于產(chǎn)生期望的元件布局位置的放置后的3維基準點圖像。
圖4是如何使用各個照明體和圖像獲取設備產(chǎn)生各種圖像以及這些圖像如何組合，以給出重要檢查信息的示意圖。如圖4所示，設備300包括非結構式的照明體306、攝像機310和結構式照明體308。設備302包括非結構式的照明體306、攝像機312和結構式照明體308。有如從圖中可見者，設備300的攝像機310和非結構式的照明體306相互協(xié)作，產(chǎn)生放置前灰度圖像314和放置后灰度圖像316，然后，利用這些圖像產(chǎn)生對應于設備300的影像的灰度差(Δ)圖像318。此外，攝像機310和結構式照明體308協(xié)同動作，以產(chǎn)生設備300的影像的結構圖像320。
設備302類似于上面關于設備300所述那樣產(chǎn)生圖像322、324和326，但這些圖像來自于不同的影像，因此便于進行立體成像。具體來說，圖像322的獲得最好與圖像320的獲得同時進行，或者基本上同時進行。類似地，圖像324、326的獲得最好與圖像316、314的獲得同時進行，或者基本上同時進行。可以組合分別從設備300、302的不同影像取得的兩個結構式照明圖像320和322，以提供3維基準點圖像328。此外，可以組合由設備302獲得的灰度圖像，以提供灰度差圖像330。使用3維基準點圖像32來校正用于投影的灰度差圖像318、330中的每一個，由此分別形成經(jīng)過投影校正的第一和第二灰度差圖像332、334。然后，將經(jīng)過投影校正的灰度差圖像332和334用于一系列元件布局檢查。這樣一些檢查的實例可以包括元件存在與否的檢查，如方框336所示；圖形/字符的識別，如方框338所示；部件幾何條件的分析，如方框340所示；圖像對稱性分析，如方框342所示。在元件304上的圖形/字符識別338本身便于確認元件304的正確類型的數(shù)值，如方框344所示。此外，通過分析部件的幾何條件，可以測量和確認x、y和轉角θ的對準情況，如框346所示。最后，如方框342所示那樣分析圖像的對稱性，可以提供分析元件極性的方便處理方法，如方框348所示。
照明下面有關照明的方案為本發(fā)明的實施例提供附加的優(yōu)點。事實上，如下公開的照明的各方面內(nèi)容包含本發(fā)明的各方面內(nèi)容，但并非一定要使用上述立體成像技術來實施。
由于需要高分辨率、短的圖像獲取時間、向著攝像機的較低目標物體反射系數(shù)以及其它原因，以致要得到足夠好的圖像質(zhì)量，通常要求有相當明亮的照明。發(fā)光二極管(LED)通常是一個好的選擇，因為它們在一般情況下是可靠、高效、廉價和緊湊小型的。然而，在抓取式設備中，放置點附近的空間受到嚴格的限制，因此在放置點附近定位所需的發(fā)光二極管是極其困難的。
在這種情況下，有益的作法是使用光管，特別是光纖導管，用以把定位在遠處的發(fā)光二極管的光傳送到目標區(qū)域。在抓取式設備中使用光管的優(yōu)點包括為了明亮照明所需的足夠大量的發(fā)光二極管在放置位置附近安裝所需的空間非常大；在放置位置附近，從放置位置除去發(fā)光二極管光源，可減小所述管咀附近的發(fā)熱(因熱膨脹可改變元件、管咀和任何其它的受熱材料的尺寸，所以管咀附近的發(fā)熱是一個問題)；可以對發(fā)光二極管進行安排以優(yōu)化包裝；以及光纖導管是柔性的，可以對光纖導管進行適當安排，以便能夠關于具有靜止發(fā)光二極管光源的移動的置放頭傳送光。
許多應用都要求有經(jīng)適當布置的照明，以揭示進一步處理所必需的特征或細節(jié)。在有些情況下，或者為了有效地利用空間，或者為了更好地匹配成像幾何條件的某種固有的對稱性，期望對于照明進行安排，以補充對稱性。例如，使用大的環(huán)形光在球形焊珠上形成均勻的圓形特征，或者使用直線形的照明體，以便大大減小行掃描攝像機的尺寸。
商業(yè)上適用的照明結構通常只是分開包裝的長方形的或圓形的陣列或芯片級別的發(fā)光二極管陣列。雖然這些發(fā)光二極管組件中的任何一個都可以安排成任意的結構，但分立組件的尺寸限制了這種安排，只能粗略地大致間隔開；芯片級別的照明體陣列通常被限制成平直的平面。不管在哪種情況下，實現(xiàn)任何一種安排可能都是一種復雜的和昂貴的負擔。
與柔性光纖導管上耦合的發(fā)光二極管或其它合適的光源，提供一種可予改進的和簡單方便的技術，實現(xiàn)幾乎是任意的照明結構。使光源具有預期位置和取向的復雜性在于如何固定光纖的輸出端。由于適合用作光管的光纖通常是十分柔軟的，并且具有相當小的直徑(0.25-1.0mm)，所以，通過把光纖導管的輸出端固定到一個或多個經(jīng)適當加工的構件上，就可以實現(xiàn)這種安排。
光纖導管到發(fā)光二極管的有效耦合一般要求在發(fā)光二極管組件或模塊與光纖輸入端之間有一個透鏡。每個發(fā)光二極管透鏡和光纖必須保持嚴格對準。整個組件變得略顯有些龐大，不太適于預先制定的安排，特別是使用單件透鏡陣列的條件下，更是如此。
按照本發(fā)明實施例的照明部件的一種方案包括使光纖導管輸入端直接耦合到發(fā)光二極管。
圖5是說明本發(fā)明實施例照明部件的各方面內(nèi)容的示意圖。圖5表示相對于電路板203設置的管咀210和圖像獲取設備300，因此當放置位置360受到照明系統(tǒng)306照明時，設備300獲得放置位置360的圖像。照明系統(tǒng)306最好為單個點光源的陣列，例如具有多個單個發(fā)光二極管364的發(fā)光二極管陣列362。適當數(shù)目的光管366與單個光源364耦接，把照明從陣列362傳送到靠近放置位置360的位置。優(yōu)選地，使光管366的輸出端368耦合到固定裝置370附近，固定裝置370可以按照任何期望的形式安裝光管366的輸出端368。輸出端368可以是成束的、排列好的和/或仿形的，以便可以按照適當角度并在適當位置向放置位置360引導照明，從而可以在圖像中提供適當?shù)牧炼群?或對比度；并且可以提供期望的圖像特征形狀或外觀。此外，輸出端368可以是成束的、排列好的和/或仿形的，以適應置放頭的尺寸、空間和其它的機械限制。
圖6是與發(fā)光二極管光纖導管366耦合的輸入端368的示意圖。在發(fā)光二極管364的組件或封裝的一個部分制成孔369，用以容納光管366。以這樣的方式，可將光纖端368放置在距發(fā)光二極管模塊很近的地方，使幾何耦合效率很高。另外，可以將折射率匹配的粘結劑填充在光纖端368與發(fā)光二極管丙烯封裝或組件372之間的空間370。然而，如果對于光管366使用丙烯光纖，則光纖366和發(fā)光二極管組件可以簡單地融合在一起，導致?lián)p耗降低。這種安排有相當高的耦合效率，不需要耦合透鏡。不過，對準是固定形成的，并且是穩(wěn)定的，而且可為優(yōu)化包裝進行設計。例如，允許光纖以相當多的角度離開組件。進而還有，可將發(fā)光二極管和光纖組件裝入盒內(nèi)以增加牢固性。
在有些實施例中，所述陣列362中的所有的發(fā)光二極管全是一種顏色。優(yōu)選地，圖像獲取設備可以包括一個濾波器，這個濾波器排斥環(huán)境光，但可通過波長為照明波段的光。然而，顯然期望可以使用幾種顏色的發(fā)光二極管以及與其一起使用的一個或多個合適的濾波器。
光路按照本發(fā)明實施例的照明系統(tǒng)，不僅必需是緊湊小型的和有適應能力的，而且在檢查攝像機本身在尺寸、形狀和觀察接近要成像的區(qū)域的程度等方面，也必須能適應嚴格的限制。雖然最好是將成像元件和照明元件兩者組裝成單個集成和可相互協(xié)作的單元，但這樣的集成對于實施本發(fā)明的如以上所述，圖像獲取系統(tǒng)300、302最好使用傾斜的圖像平面，以使設備300、302能夠使用相當大的觀察角，并且向著成像陣列準確地成像這些角度。使用這樣的傾斜圖像平面的一個例子是沙伊姆普夫盧格(Scheimpflug)條件。雖然可以與遠心光學裝置和非遠心光學裝置一起使用這種技術，但是本發(fā)明的實施例最好使用非遠心光學裝置。其原因只在于，對于遠心成像光學裝置的要求之一是遠心成像光學裝置的目標元素必須大于視場。
圖7是在設備300、302之一或兩者中優(yōu)先采用的光學系統(tǒng)示意圖。光學系統(tǒng)380是非遠心光學裝置，允許物鏡元件382的直徑小于視場。另外，由于光學系統(tǒng)380是非遠心光學裝置，可以使高度H減小，與遠心光學系統(tǒng)相比，可以提供緊湊的攝像機。為了增大對于放置位置360的視線的傾斜接近程度，和/或使光學系統(tǒng)的直徑減至最小，在物鏡元件382和放置位置360之間插入光闌384。此外，還可以使用光闌384協(xié)助阻斷環(huán)境光?？梢允褂梅垂忡R386彎曲光軸，如圖7所示。優(yōu)選的作法是，將光闌384定位在物鏡元件382和反光鏡386之間。
使用非遠心光學裝置時，建議執(zhí)行一種校準過程，以便可以將x、y像素地址映射成在所預期的元件布局平面上的x、y位置。為此，在布局區(qū)域平面上設置校準目標，這個平面上的所述目標具有一系列已知的指示值，最好是具有已知間隔的、尺寸已知的一些方格。然后，觀察在布局區(qū)域的平面上的已知的校準目標，以使系統(tǒng)能夠對于3×3均勻投影變換矩陣求解。這個矩陣把x、y像素地址變換成在布局平面上的x、y位置，最好以毫米為單位。這種變換還對比例刻度和投影畸變予以校正。此外，使用兩個或多個攝像機有利于立體視覺校正，為的是從可在兩個或多個攝像機中觀察的特征推導出深度(z)數(shù)據(jù)。Z數(shù)據(jù)用于把具有高度的特征沿垂直方向向下投影到所述布局平面上。圖21表示一個優(yōu)選的校準目標。通過對圖像進行閾值處理，將校準目標的圖像處理成二進制圖像。為了定位這些黑色方塊，進行連接性能分析。然后，以亞像素精度使這些線精確地擬合到灰度圖像中每個方塊的每一側。然后計算所有相鄰線的交點。如果選定數(shù)目的方塊在圖像中是可見的(例如30個方塊)，那么，方塊的數(shù)目乘以角的數(shù)目(30×4)就可以提供相當大數(shù)目的點(如120個點)，在這些點可以以亞像素精度計算x、y的值。然后，使這些位置與以毫米為單位校準目標上的已知角位置比較，以計算校準矩陣。
圖22表示在處理過程中校準目標的圖像，其中的加號表示“光泡“中心，并且在長方形方格的邊上清晰可見線擬合的布局。為了處理極端的投影，這個算法從圖像中最大的光泡(由標號600表示)開始。通過包括最靠近最大的方塊、然后包括越來越多的方塊直到在最后的計算中使用了網(wǎng)格中的所有方塊時為止，使校準矩陣連續(xù)地得以細化。校準步驟如以下所述。首先，從圖像中提取所有的光泡。放棄被剪斷的光泡，并且定位具有最大面積的光泡。然后，粗略地定位最大面積光泡的4個角。使用線擬合法，把這些線擬合到大方塊的四個邊。然后，這個系統(tǒng)利用轉置、換算和校正，對于3×3均勻變換矩陣進行求解，把像素單位變換為毫米單位。這是相當粗糙的估算，使方塊的二維陣列在圖像中正交。然后，產(chǎn)生指向先前找到的光泡的光泡指針的兩維網(wǎng)格。這是基于校準網(wǎng)格中已知的毫米間隔進行的。然后，從網(wǎng)格中最大光泡中的(+/-)行、(+/-)列的光泡(可能有多達9個光泡)開始一個循環(huán)。對于循環(huán)中的每個光泡，使該光泡與最大光泡的四個角一起使用，以便對于新的3×3像素一毫米變換進行求解。使用被細化的變換，可以重新產(chǎn)生指向較早發(fā)現(xiàn)之光泡的光泡指針的2維網(wǎng)格。然后，在由(+/-)行、(+/-)列的光泡當前所用的光泡周圍擴展可用的網(wǎng)格。如果網(wǎng)格的擴展已經(jīng)填滿，則循環(huán)結束。否則，對下一個光泡繼續(xù)進行循環(huán)。循環(huán)一旦完成，使用在循環(huán)執(zhí)行期間計算出來的最終校準矩陣變換光泡中心。然后，對于網(wǎng)格中所有的光泡的所有四個邊進行線擬合，并且通過對于所有相鄰擬合線的交點進行求解，對于網(wǎng)格中的所有光泡計算這些角。最后，使用在圖像中找到的所有角以及它們的預期位置，知道了校準目標中方塊大小和網(wǎng)格間距，即可求解最后的校準矩陣。
對于立體視覺進行校準，可以從使用兩個或多個攝像機觀察到的特征中提供深度數(shù)據(jù)。通過執(zhí)行上述校準兩次，可以實現(xiàn)具有重疊視場的兩個或多個攝像機的校準。在與布局平面重合的校準目標上進行校準以后，使用較高的校準目標(具有已知的高度)并重復進行校準。通過分析在每個攝像機圖像中因校準目標的不同位置所引起的圖像特征空間移動的方向和數(shù)值，并且比較攝像機之間的移動，即可確定深度。距攝像機的距離反比于圖像移動的數(shù)值。
圖像獲取一般地說，本發(fā)明的實施例獲得所需元件布局位置的兩個或多個相繼的圖像(即放置前的和放置后的)。由于布局發(fā)生的相對較快，并且由于不希望降低設備的生產(chǎn)效率，有時必須極為迅速地獲得兩個相繼的圖像，因為置放頭與電路板之間相對運動的停止是極其短暫的。例如，在約10毫秒的時間間隔內(nèi)必須得到所述的兩幅圖像。
按照本發(fā)明的各的方案，可有不同的方法迅速獲得多個相繼的圖像。一種方法是使用商業(yè)上適用的CCD設備，并使它們按非標準方式工作，可按比從設備中讀出速率更快的速率獲取圖像。另一種方法是使用多個CCD陣列通過公共的光學裝置觀察期望的元件布局位置。
目前有兩種通用的CCD陣列結構行間傳輸CCD陣列(如圖8所示)和幀傳輸CCD陣列(如圖11所示)(這里分別稱之為IT和FT)。這兩種類型可以綜合成一種設備，這樣的設備包括圖像區(qū)和存儲區(qū)，圖像區(qū)積累的電荷量與其曝光量成比例，而存儲區(qū)則與光是屏蔽的。CCD的圖像區(qū)是圖像元(以下稱之為像素)的兩維陣列。存儲部分以及圖像如何傳送到存儲部分以及通過存儲部分是區(qū)別這兩種設備類型的重要因素。在行間傳輸CCD中，在幾個時鐘周期內(nèi)整個圖像從圖像部分傳送到靠近像素的存儲部分各處，而幀傳輸CCD從圖像部分到存儲部分傳輸圖像是一次傳輸一行。
行間傳輸CCD390的動作通常是按照以下順序發(fā)生的。首先，圖像區(qū)復位，清除任何殘余電荷的像素，如圖10中方框410所示。一旦解除復位，像素對光作出響應開始積累電荷，如方框412所示。在適宜的曝光時間后，在幾個時鐘周期內(nèi)，陣列的整個圖像部分積累的電荷傳送到陣列的存儲部分，如方框414所示。圖像一旦進入存儲部分，圖像就受到保護，不受光的侵蝕，可以曝光下一個圖像。由于第一幀圖像傳送進存儲位置是在幾個時鐘周期內(nèi)發(fā)生的，因此在獲取每幀圖像之間的時間延遲可能小于100微秒。存儲部分中第一個圖像的每一行隨后傳送到水平寄存器396，在這里移出每個像素，一次一個(或者對于多分支設備可為一次幾個)，并使每個像素數(shù)字化，如方框416所示。一旦第一圖像計時時間到，可以計時第二個圖像。
從本質(zhì)上看，CCD的幀速率隨著圖像中行數(shù)的減小而增加。對于如圖7所示的圖像幾何條件，圖像的長寬比在傾斜方向上加長。由于在這個方向上不需要全圖像，所以可以減小這個方向的分辨率(即行數(shù))。實現(xiàn)減小圖像行分辨率的方法是，把在CCD存儲部分中的任何不希望出現(xiàn)的行傳送到水平寄存器396，并且這些行不移位。一旦將所有不希望出現(xiàn)的行都計時于水平寄存器396中，水平寄存器396移動它的整個長度，以便在將第一行預期的圖像從存儲部分394傳送進水平寄存器396之前清除任何殘余電荷。因此，幀時間減小量等于不期望的行數(shù)乘以從水平寄存器移出一行所需的時間。
另一種通用類型CCD設備是幀傳輸CCD陣列。按照本發(fā)明的實施例，也可以使用這種類型CCD陣列。這種設備的操作(如圖11所示)按如下順序發(fā)生。首先，復位圖像區(qū)452，清除它中間的殘余積累電荷。一旦解除復位，構成圖像區(qū)452的像素開始對于光作出響應，以積累電荷。在適當?shù)钠毓鈺r間后，在每個像素中積累的電荷沿垂直方向移動進入存儲區(qū)454，一次移動一行。不必從圖像區(qū)向存儲區(qū)移動所有的行，要移動的第一行必須是最下邊的一行。另外，重要在于要說明，包含圖像的未移動部分的像素要繼續(xù)對入射光曝光，因此，要受到這種光的侵蝕，這種情況下是在垂直方向。因此，幀傳輸設備最經(jīng)常使用的環(huán)境是有某種能夠控制光抵達檢測器的時間以及光是否能抵達檢測器的外部裝置的那種環(huán)境。
存儲區(qū)454中的圖像適于讀出，很像行間傳輸CCD結構。然而，關鍵的差別在于，因為存儲圖像的每一行都垂直移動，從而給一個或多個水平讀出寄存器456加載，因而設備的光敏部分也垂直移動。這就意味著，當設備的光敏區(qū)正在給要保留預備后來讀出的圖像曝光時，不可能發(fā)生存儲圖像的讀取。有關在幀傳輸CCD陣列上高速獲取多個圖像的進一步的細節(jié)，可見共同待審查的美國專利申請No.09/522,519(2000年3月10日提交，題目是“利用抗振動視頻捕獲的檢查系統(tǒng)”)。
如上所述，沿著圖像的一個軸，不必使用全圖像分辨率。因此，覆蓋布局區(qū)所需的行數(shù)小于圖像陣列中的列數(shù)。通過適當?shù)厝∠蛩f的陣列，只有代表布局位置的行才需要傳送到存儲區(qū)內(nèi)，這樣就進一步減小了圖像獲取之間所需的時間。在小于正常規(guī)定的幀周期時間間隔內(nèi)，利用已知的CCD設備有可能得到多個圖像。與控制曝光第一圖像后落在設備上的光的方法一起使用，這種圖像獲取是很便利的。
為了防止侵害第二圖像，必須保證當?shù)诙D像在第一圖像的光敏部分中等待第一圖像從存儲區(qū)讀出時，只有可忽略的光抵達CCD。在這種情況下，可以在第一圖像已經(jīng)傳送到存儲區(qū)后的任何時間開始第二圖像的曝光，其中包括極短的時間。
解決這個問題的一種方法是，使用電控光快門控制落在CCD陣列上的光。電控的光快門包括(但不限于)液晶光閥、微通道空間光調(diào)制器，以及電-光的光開關。
圖9示出一種這樣的電快門402，它設置在行間傳輸CCD陣列390與透鏡404之間。下面參照附圖10所示的流程圖描述如圖9所示的系統(tǒng)的工作過程。
在步驟410，當系統(tǒng)初始化時，控制信號也被傳送到電快門，以開啟快門，借此使光通過，同時還傳送一個信號，以復位CCD390的像素。在第一圖像已傳送到陣列390的存儲部分后，如方框414所示，光敏像素準備好開始獲取新圖像。在經(jīng)過適當?shù)姆e分周期后，一個信號傳送到電快門402，使快門402關閉，阻止光通過，如方框422所示。在方框424時，結束從陣列390讀出第一圖像，控制進至方框426，在這一步驟，第二圖像從像素392傳送到存儲陣列394。最后，在步驟428，從陣列400讀出第二圖像。
另外，使用具有幀傳輸CCD陣列的電快門，在迅速進行的連續(xù)過程中也能獲得兩個全分辨率(所有行)的圖像。為此，復位所說的區(qū)452；使區(qū)域452曝露于第一圖像；阻擋落在光敏區(qū)452上的附加光；盡可能快地逐行移動所得的圖像，使其進入存儲區(qū)454，所說的這個最終的圖像只由設備的垂直傳送循環(huán)速度限定；最好再次復位光敏區(qū)452；使光敏區(qū)452曝露于第二圖像；再次阻擋落在光敏區(qū)452上的附加光；然后逐個像素地、并且逐行地讀出兩個圖像。
可以看出，可將這種處理方法擴展到快速獲取多于兩個的多個圖像，但為了實現(xiàn)這種情況，要求每一個圖像具有小于100％的可利用的行。例如，為了迅速連續(xù)獲得相同大小的3個圖像，圖像只限于全圖像尺寸的一半。
控制CCD曝光的另外解決方案包括控制成像系統(tǒng)本身的照明和光環(huán)境。一種控制光環(huán)境的方法是，通過控制照明體的波長，以保證這種波長在一個很窄的波長范圍內(nèi)，從而使環(huán)境光的影響效果減至最小，并在CCD前方設置一個濾波器，對于這個濾波器進行設計，使其可以排除不在照明體波長范圍內(nèi)的光。當使用按照這個實施例的系統(tǒng)的時候，攝像機的放置環(huán)境應該不包括落在這個帶通濾波器的波長內(nèi)的環(huán)境光。因而，陣列內(nèi)的像素只對外部照明體敏感，這個照明體是由攝像機控制的，并且與CCD的曝光同步地閃光。
控制環(huán)境光的另一種方法是不控制照明體的波長，而提供尺寸足夠小的光闌，或放在光學裝置系列中的中性濾光片，從而可以將環(huán)境光減小到相當不明顯的水平。因為環(huán)境光減小了，所以，可在適當?shù)臅r間并在適當?shù)某掷m(xù)時間內(nèi)選通照明體，即使存在小的光闌或中性濾光片，也能提供足夠的光為像素曝光。
圖12表示可用于設備300、302中任何一個或設備300、302兩者的、在一個時間間隔可獲得多個圖像的另一種安排，它的幀速率可能超過市場上可購得的CCD攝像機的幀速率。具體來說，系統(tǒng)470包括包括一對CCD陣列472、474，它們都耦合到電路476，電路476還控制照明體478。兩個CCD陣列472、474是光學裝置系列的一部分，其中使用分束器480的光學裝置系列允許兩個CCD陣列472、474通過透鏡482觀察目標平面。雖然現(xiàn)代彩色CCD攝像機中使用了類似的結構，其中通常包括3個不同的CCD陣列，并且每個陣列接收不同波長段的光，但不會相信這種設備已被用于能夠獲得多個在時間上彼此極其接近，彼此卻不是同時發(fā)生的基本上是單色的影像。如果不使用同時獲得圖像的每個CCD陣列(像在彩色CCD攝像機的情況下)，還可以順序觸發(fā)每個CCD陣列，以便在視場中放置目標之前、之后、以及這期間的任何時候捕獲圖像。有如所示出的，電路476耦合到高速數(shù)據(jù)總線484及觸發(fā)信息源486；所述觸發(fā)信息源486最好包括合適的位置編碼器。應予說明的是，本實施例的各個方面可與上述高速圖像獲取結合起來，使每個CCD陣列的操作都能夠以快于從每個陣列讀出速率的速率獲取圖像，有效并且快速地捕獲超過兩個圖像的多個圖像。
雖然參照附圖2描述的系統(tǒng)有一對攝像機用于立體成像，但還可以使用附加的攝像機和照明系統(tǒng)，以得到另外的好處。因此，本發(fā)明的一個方面包括使用一個檢查目標的多個補充影像，影像中既有重疊區(qū)又有非重疊區(qū)。
多個影像可以完整地覆蓋目標。任何影像的非重疊區(qū)填入其它所有影像沒有的信息。這對于影像通常不是取自正上方的檢查應用是特別重要的，因為傾斜的影像要被擋住一部分。
可以使用同一個目標的多個不同的影像產(chǎn)生唯一的信息，這個信息是只從一個圖像得不到的。(1)影像的重疊部分提供冗余數(shù)據(jù)，以改進共用區(qū)中特征的識別。(2)可以直接地或通過某種特定的準備階段(如結構式照明)導出唯一的信息，比如高度。
通過下述給出多個圖像1)完全分開的照明體、光學裝置和檢測器；2)完全分開的光學裝置和具有共用照明的檢測器；或3)具有共用的光學裝置和照明的分開的檢測器。
最簡單的結構由多個相同的全套的“攝像機”(檢測器、光學裝置和照明)組成，它們的視場基本上是重疊的，并且從所有的側面完全覆蓋預期的目標。
圖13是從上邊看下去的一個4攝像機結構的示意圖。攝像機300、302、500、502捕獲圖像并還可提供照明。要說明的是，在4個影像之一中只能看見目標的每個角的一小部分。在兩個影像之間還有明顯的重疊區(qū)。
使用多個影像改進識別結果具有一系列優(yōu)點。這種方法不是憑借復雜的光學裝置使期望的目標覆蓋在單個影像里，而是使用少數(shù)的相當簡單的在一起工作的攝像機。不僅覆蓋是完整的，而且可以從不同的攝像機影像的冗余的重疊部分得到附加的信息。這些信息是從單個攝像機中得不到的。此外，還存在某種由冗余性提供和增加的可靠性，這是因為，在具有多個影像的情況下，可以對一個圖像中擋住的區(qū)域進行修改，或者用另一個圖像的類似部分代替。
使用合適的光學裝置的同時，還可以使用單個檢測器，以便通過使用具有多個光路的成像系統(tǒng)來收集多個影像。圖14即為這種成像系統(tǒng)的示意圖。通過適當?shù)墓鈱W裝置508引導每個單獨的影像504、506到檢測器表面的子集。這樣，由檢測器獲得的圖像將包含如在509所示的兩個影像。這在檢測器極其昂貴或者空間限制要求通過光纖裝置或其它裝置將影像傳送到運處的檢測器的條件下，可能是特別有用的。
圖像處理如上所述，為了確認元件在印刷電路板上的布局，要獲取在電路板上元件預期放置位置的放置前和放置后的兩個圖像，然后從一個圖像中扣除另一個圖像。以此抑制放置前和放置后圖像之間沒有發(fā)生變化的圖像部分，在最終的圖像中清晰地展現(xiàn)新放置的元件的人為制造的成分。然而，放置前和放置后的圖像由于機械振動、機械移動不準確，或者因為印刷電路板和/或攝像機在獲取圖像時還在移動，通常不能完美地對齊。當兩個圖像(放置前和放置后)不能對齊時，在最終的差分圖像中出現(xiàn)的人為制造的成分可能是存在所說元件的一個虛假的指示。估算兩個圖像沒對齊的一種技術是使用校正(如歸一化灰度校正)。然而，只有垂直邊緣出現(xiàn)在模板(要校正的區(qū)域)上這個校正才能進行。如果邊緣不出現(xiàn)，或者邊緣只出現(xiàn)在一個方向，則校正將不會產(chǎn)生唯一的(x、y)對齊位置。
如果CAD數(shù)據(jù)可以利用并且視覺系統(tǒng)知道正在針對CAD描述查看電路板上的什么位置，視覺系統(tǒng)，比如本發(fā)明實施例使用的視覺系統(tǒng)，可以為模板拾取好的位置。作為選擇，如果通過正在顯示的每個可能的視場離線地通知給視覺系統(tǒng)，則視覺系統(tǒng)可能要預先確定始的位置或模板。然而，如果這些條件都不滿足，那么，視覺系統(tǒng)就需要在運行時間內(nèi)迅速確定好的模板位置。
本發(fā)明實施例的一個方面提供一種用于確定一個圖像中的良好位置，以便選擇用于校正另一圖像的模板的有效計算方法。圖15示出這種方法，該方法從方框510開始，在這里針對放置前的圖像計算Sobel邊緣濾波器，其中計算圍繞每個像素的最強邊緣的數(shù)值和方向。(按照另一種方式，每個像素周圍的一個3×3鄰域中可以使用較簡單的梯度運算)。在方框512時，對于邊緣數(shù)值進行閾值處理，并且邊緣方向四舍五入成以下8個度數(shù)之一0、45、90、135、180、225、270、315度。
圖16示出一個像素514和它的8個鄰域。每個箭頭表示一個正常的邊緣方向。在方框516時，對于每個像素的8個方向進行編碼，使之成為一個8位的字節(jié)(邊緣編碼像素)。在這個步驟列出的8個方向可以用它們的羅盤方向來描述如下東(E)-7、東北(EN)-6、北(N)-5、西北(NW)-4、西(W)-3、西南(SW)-2、南(S)-1、東南(SE)-0。在方框518，對于編碼數(shù)據(jù)進行“或”矩形波串濾波。正常的矩形波串濾波器與帶通濾波器類似計算的是一個平均值；與此不同，這個“或”矩形波串濾波器是對孔徑光圈鄰域內(nèi)的像素進行逐位的“或”運算。孔徑光圈可以是5×5像素或者7×7像素(或者某些其它大小的合適像素)。在最終的邊緣編碼像素的“圖像“中，每個像素表明在它的5×5或7×7鄰域中出現(xiàn)哪一個邊緣方向。在方框520時，使用預先確定的查找表對于圖像中的每個8位的邊緣編碼像素打分。在一般情況下，只需要很小數(shù)目的分數(shù)(如4)。因為8位代碼編入查找表，所以查找表只需要28或256個元素。分數(shù)越高，5×5或7×7代表的鄰域用于校正模板的情況越好。在256個8位邊緣編碼中，大多數(shù)是對稱的，因此在下邊的表中只表示出幾個采樣分數(shù)。
表1

在方框522，通過對打過分的4×4個鄰域求和，以減小圖像的大小。(換言之，建立物理圖像)。按另一種方式，可對具有4×4或更大孔徑光圈的圖像進行附加的矩形波串濾波。最后，在方框524，對于打過分的最終圖像進行掃描以便得到高分數(shù)。高分數(shù)表示在原始圖像中的好位置，可用作校正模板。由于元件將放置在圖像的中心部分的某處，所以查找高分數(shù)應該限于圖像中心部分的外部。(事實上，為了高效，以上所有的處理都要避開圖像的中心區(qū))
圖17表示按照本發(fā)明的實施例分析獲取的圖像以確定元件是否存在(方框336)的方法。在方框540，獲取放置前和放置后的兩個圖像。放置前和放置后的兩個圖像的實例分別示于圖23A和圖23B。虛線方框544表示一個任選的步驟，使用一維或兩維校正對齊兩個圖像。優(yōu)選地使用上述參照附圖15和16描述的對齊方法。在方框546，對齊的放置前圖像和放置后圖像相互扣除。給出每個像素的絕對值。這一步驟加亮了圖像的變化，因此加亮了兩個圖像之間的差。在圖23C中示出了典型的差分圖像。在方框548，對于差分圖像進行閾值處理，提供的圖像可能類似于圖23D中所示的圖像。對于差分圖像的閾值處理可產(chǎn)生一個二進制圖像，用于區(qū)別變化區(qū)與非變化區(qū)。
在方框549a，在經(jīng)過閾值處理的圖像中，對于已知的在兩個圖像之間總是變化的區(qū)(如管咀和管咀的反射區(qū))進行屏蔽。這種屏蔽是通過在已知要變化的區(qū)域上的按其它方式得到的白色屏蔽圖像中繪出填滿的黑色多邊形實現(xiàn)的。已知變化的屏蔽圖像和經(jīng)過閾值處理的圖像進行“與“操作。任選地，如果在方框549b可以得到包括元件的長度、寬度和高度在內(nèi)的元件數(shù)據(jù)，則系統(tǒng)產(chǎn)生白色屏蔽，所說的白色屏蔽覆蓋一個體積的圖像平面上的兩維投影，所說的體積期望被在按其它方式得到的黑色圖像中的零件所占據(jù)。這種屏蔽是通過在放置零件的區(qū)域中的按其它方式得到的黑色屏蔽圖像中繪出白色填滿的多邊形實現(xiàn)的。然后，對于期望的零件屏蔽圖像和進行閾值處理的圖像進行“與“操作。
在方框550，可執(zhí)行一次或多次任選的形態(tài)腐蝕操作，如標記為“N”的循環(huán)所示者。這種腐蝕對于去除導致最終的噪聲或圖像對不齊是很有用的。在方框552，提供另一種任選的形態(tài)操作。具體來說，方框552提供一種任選的擴大操作，這個操作執(zhí)行一次或多次，如標記為“M”的循環(huán)所示者。擴大操作可促進已經(jīng)被腐蝕操作分離的或者利用與背景圖像匹配的元件的特征分離的單個目標的消融。圖23E中給出經(jīng)過這種擴大操作后的圖像實例。在方框554，進行連接性分析，以找出圖像中的目標。這種分析可以對于圖像中的每個目標找出許多有用的度量值，如目標的中心、長度、寬度、面積、轉角、等(Gleason等人的《用于傳感器控制的操縱和檢查的插件式視覺系統(tǒng)》，1979年3月第9屆有關工業(yè)機器人研討會的會議錄，第57-570頁)。最后，在方框556，通過比較，在圖像中找到的目標度量值和期望的目標度量值，以確認元件布局。這個比較可以包括(但不限于)比如中心位置、寬度、面積、轉角等度量值。
圖18是本發(fā)明實施例用于分析圖像以確定元件是否存在的另一種方法的示意圖。圖18中所示的方法也包括參照附圖17描述過的步驟540、542、544、546。因此，圖18中既不描述也不表現(xiàn)這些步驟，圖18從步驟560開始，在步驟546之后執(zhí)行步驟560。在方框560，確定布局位置的像素變化計數(shù)。這是通過計數(shù)其數(shù)值大于某個閾值，并且其數(shù)值在圖像的期望放置元件區(qū)域內(nèi)的像素實現(xiàn)的。在方框562，確定總像素計數(shù)，這是通過計數(shù)其數(shù)值大于某個閾值，并且其數(shù)值不在圖像的期望放置元件區(qū)域內(nèi)的像素實現(xiàn)的。在方框564，通過比較布局位置像素變化計數(shù)(方框560)和總像素變化計數(shù)(方框562)，執(zhí)行元件布局確認。
圖19是本發(fā)明實施例用于分析圖像以確定元件是否存在(方框336)的又一種方法的示意圖。圖19所示的方法也包括參照附圖17描述過的步驟540、542、544、546。因此，圖19中既不描述也不表現(xiàn)這些步驟，圖19從步驟566開始，在步驟546之后執(zhí)行步驟566。在方框566，通過對于其數(shù)值大于某個閾值，并且其數(shù)值在圖像的期望放置元件區(qū)域內(nèi)的像素求和，計算“布局位置像素差強度和”。在方框568，通過在整個差值圖像中對于像素強度值求和，計算“總的像素差強度和”。在方框570，通過比較“布局位置像素差強度和”以及“總像素差強度和”，確認元件布局。
圖20的示意圖表示用于分析圖像，以便進行“數(shù)值/數(shù)型確認”(圖4中的方框344)、“x、y、θ對齊測量”(圖4中的方框346)以及“極性確定”(圖4中的方框348)的方法。圖20中所示的方法包括參照附圖17描述過的步驟540、542、544、546、548、549a、549b。因此，圖20中既不描述也不表現(xiàn)這些步驟，圖20從步驟582開始，在步驟549b之后執(zhí)行步驟582。
步驟544-549b以及582-584的程序產(chǎn)生一個屏蔽圖像。以上描述了步驟544-549b。步驟582對于經(jīng)過閾值處理的差分圖像執(zhí)行多次(比如5次)3×3二進制擴充。步驟584是大的矩形波串濾波(通常為19×19個像素)，使擴充的差分圖像變模糊，產(chǎn)生類似于圖23F的圖像。在步驟586，使通過步驟584產(chǎn)生的模糊的屏蔽圖像乘以在步驟540獲得的“放置后圖像”。這就隔離了在圖像中放置的元件，擦除了圖像的非變化部分。模糊的屏蔽圖像乘以放置后圖像優(yōu)于簡單使非模糊的屏蔽圖像和放置后圖像，進行“與”操作，這是因為使屏蔽圖像和灰度圖像進行“與”操作可能會沿屏蔽的周邊產(chǎn)生人為的邊緣。在圖23G中表示出從這種乘法操作導出的典型圖像。
步驟588要放置各種度量工具，如線吻合器和“標尺”，或者“卡尺”，以便定位元件的引線，或者在引線(實際上是焊珠)隱藏在零件下方的情況下，定位元件的4個邊。在定位元件的引線和/或各個邊之后，可以計算元件的x、y和θ位置。
類似地，可在用于“數(shù)值/類型確認”之方框586產(chǎn)生的圖像上使用光字符識別(OCR)或者校正。還可以將附加的度量工具應用于所述圖像，以確定極性。
雖然參照優(yōu)選實施例描述了本發(fā)明，但本領域的普通技術人員應該認識到，在不偏離本發(fā)明的構思和范圍的情況下，可以進行形式和細節(jié)方面的變化。
權利要求
1.一種抓取式設備，用于將元件放在工件上，所述抓取式設備包括置放頭，具有至少一個管咀，用于可釋放地夾持所述元件；機器人系統(tǒng)，用于在置放頭與工件之間產(chǎn)生相對運動；第一圖像獲取設備，用于在放置元件之前獲取預期的元件布局位置的第一影像放置前圖像，以及在放置元件之后獲取預期的元件布局位置的第一影像放置后圖像；第二圖像獲取設備，用于在放置元件之前獲取預期的元件布局位置的第二影像放置前圖像，以及在放置元件之后獲取預期的元件布局位置的第二影像放置后圖像；其中，所述第一影像和第二影像被分離開，以提供預期的元件布局位置的立體成像檢查。
2.根據(jù)權利要求1所述的設備，其中，第一影像相對于預期的元件布局位置的平面成一角度；和相對于第一圖像獲取系統(tǒng)的光軸成一定角度地設置在第一圖像獲取設備內(nèi)的檢測器陣列。
3.根據(jù)權利要求1所述的設備，其中，還包括照明體，它包括距管咀遠距離安裝的一個光源；和光管，可選擇地耦合到光源上，并具有一個輸出端，引導所述輸出端，以照明預期的布局位置。
4.根據(jù)權利要求3所述的設備，其中，所述照明體提供的光具有一定波長段，并且其中至少第一圖像獲取系統(tǒng)包括一個濾波器，以通過在波長段內(nèi)的光并擋住波長段外的光。
5.根據(jù)權利要求1所述的設備，其中，所述第一圖像獲取系統(tǒng)使用非遠心光學裝置。
6.根據(jù)權利要求1所述的設備，其中，還包括一個結構式照明體，適于將結構式照明引導到預期的元件布局位置，并且，所述第一和第二圖像獲取設備中的至少一個在元件布局后獲得預期的元件布局位置結構式照明圖像。
7.根據(jù)權利要求1所述的設備，其中，所述第一圖像獲取設備包括具有一定幀速率的CCD陣列，并且所述第一圖像獲取設備以超過幀速率的速率使CCD陣列獲得第一影像在放置前的圖像和第一影像在放置后的圖像。
8.根據(jù)權利要求7所述的設備，其中，所述CCD陣列是行間傳輸?shù)腃CD陣列。
9.根據(jù)權利要求7所述的設備，其中，所述CCD陣列是幀傳輸?shù)腃CD陣列。
10.根據(jù)權利要求7所述的設備，其中，所述第一圖像獲取設備還包括電控的光快門裝置，以便在第一影像放置后圖像的積分時間過后能擋住過多的光。
11.根據(jù)權利要求1所述的設備，其中，還包括結構式照明體，適于將結構式照明引導到預期的元件布局位置，并且所述第一和第二圖像獲取設備中的至少一個在元件放置前獲得預期的元件布局位置的結構式照明。
12.根據(jù)權利要求1所述的設備，其中，所述預期的元件布局位置的檢查包括預期的元件布局位置的放置前檢查。
13.一種用于抓取式設備的照明體，包括光源；和光管，任選地耦合到光源，光管有一個輸出端，適于在抓取式設備內(nèi)部進行安裝，以照明引至預期的元件布局位置。
14.根據(jù)權利要求13所述的設備，其中，所述光源是發(fā)光二極管。
15.根據(jù)權利要求13所述的設備，其中，所述光管是柔性的。
16.根據(jù)權利要求13所述的設備，其中，所述光管是光纖導管。
17.根據(jù)權利要求13所述的設備，其中，還包括至少一個附加光源；和至少一個附加光管，與所述至少一個附加光源耦合，并且所述光管有一個輸出端。
18.根據(jù)權利要求17所述的設備，其中，所述光源和至少一個附加光源用發(fā)光二極管陣列實現(xiàn)。
19.根據(jù)權利要求17所述的設備，其中，將所述光管的輸出端和至少一個附加光管安裝成能夠以預期的角度把照明引至預期的元件布局位置。
20.根據(jù)權利要求17所述的設備，其中，將所述光管的輸出端和至少一個附加光管安裝成能夠以預期的形狀把照明引至預期的元件布局位置。
21.根據(jù)權利要求17所述的設備，其中，所述光源和至少一個附加光源提供的光實質(zhì)上為相同波長。
22.根據(jù)權利要求17所述的設備，其中，所述光源和至少一個附加光源提供的光實質(zhì)上為不同波長。
23.根據(jù)權利要求13所述的設備，其中，所述光源適于安裝在抓取式設備的置放頭上。
24.一種抓取式設備用的圖像獲取設備，其中，所述圖像獲取設備包括檢測器陣列；光學裝置，它的光軸使其可以相對于預期的元件布局位置的平面成一定角度地觀察預期的元件布局位置，并且適于在檢測器陣列上聚焦預期的元件布局位置的圖像；所述檢測器陣列設置成相對于光軸成一定角度。
25.根據(jù)權利要求24所述的設備，其中，還包括一個反光鏡，該反光鏡任選地插在檢測器陣列與預期的元件布局位置之間。
26.根據(jù)權利要求24所述的設備，其中，選擇所述角度，滿足沙伊姆普夫盧格條件。
27.根據(jù)權利要求24所述的設備，其中，所述光學裝置是非遠心光學裝置。
28.根據(jù)權利要求27所述的設備，其中，還包括光闌，所述光闌插在光學裝置與放置位置之間。
29.根據(jù)權利要求28所述的設備，其中，所述光闌與圖像獲取設備集成在一起。
30.根據(jù)權利要求24所述的設備，其中，還包括照明體，所述照明體包括光源，和光管，它與光源可選擇地耦合，所述光管有一個輸出端，所述輸出端被安裝成使得在抓取式設備中可將照明引至預期的元件布局位置。
31.根據(jù)權利要求30所述的設備，其中，所述照明體與所述設備集成在一起。
32.一種獲取抓取式設備中多個圖像的方法，其中，所述方法包括如下步驟復位光敏陣列的像素；獲取關于像素的第一圖像；將第一圖像傳送到陣列的非光敏區(qū)；復位光敏陣列的像素，以清除第一圖像；和產(chǎn)生受控的曝光，以便在從陣列的非光敏區(qū)完整讀出第一圖像之前獲取第二圖像。
33.根據(jù)權利要求32所述的方法，其中，所述把第一圖像傳送到非光敏區(qū)步驟還包括把第一圖像傳送到行間傳輸CCD陣列的垂直寄存器。
34.根據(jù)權利要求32所述的方法，其中，所述把第一圖像傳送到非光敏區(qū)步驟還包括把第一圖像傳送到幀傳輸CCD陣列的存儲區(qū)。
35.根據(jù)權利要求32所述的方法，其中，所述第一圖像和第二圖像小于陣列的成像區(qū)的尺寸。
36.根據(jù)權利要求35所述的方法，其中，還包括相對于光軸成一定角度地定位光敏陣列以提供第一和第二圖像的步驟。
37.根據(jù)權利要求32所述的方法，其中，所述產(chǎn)生第二圖像的受控曝光步驟包括在第二圖像的積分時間過后擋住所有的落在光敏陣列上的光。
38.根據(jù)權利要求37所述的方法，其中，所述擋住所有光的步驟包括使一個電控的光快門進入閉合狀態(tài)，以此阻止光通過。
39.根據(jù)權利要求32所述的方法，其中，還包括步驟不阻礙落在光敏陣列上的在所選波長段的照明；和產(chǎn)生受控的曝光包括在放置位置提供所選波長段內(nèi)的照明歷時所選的曝光時間。
40.一種獲得抓取式設備中多個放置位置圖像的方法，其中，所述方法包括如下步驟復位第一光敏陣列的像素；獲得第一光敏陣列的像素的第一圖像；復位第二光敏陣列的像素；和獲得第二光敏陣列的像素的第二圖像；所述第一和第二陣列通過共用的光學裝置依次獲得圖像。
41.根據(jù)權利要求40所述的方法，其中，所述第一和第二光敏陣列根據(jù)實質(zhì)上為單色的照明獲得圖像。
42.一種處理抓取式設備中預期元件布局位置之多個圖像以確認元件布局的方法，其中，所述方法包括如下步驟獲得預期的元件布局位置的放置前和放置后的圖像；在放置前和放置后的圖像中選擇一個感興趣的區(qū)域；根據(jù)放置前和放置后的圖像之間的差產(chǎn)生差分圖像；對差分圖像進行閾值處理，產(chǎn)生二進制差分圖像；對二進制差分圖像進行連接性分析，獲得圖像的度量值；比較這個度量值與預期的目標度量值，給出元件布局確認。
43.根據(jù)權利要求42所述的方法，其中，還包括在放置前和放置后的圖像中遮蓋已知要變化的至少一個區(qū)域。
44.根據(jù)權利要求43所述的方法，其中，所述區(qū)域包括抓取式設備的管咀。
45.根據(jù)權利要求42所述的方法，其中，還包括遮蓋不在元件的預期外形內(nèi)的至少一個區(qū)域。
46.根據(jù)權利要求42所述的方法，其中，還包括對齊放置前和放置后的圖像，以獲得差分圖像。
47.根據(jù)權利要求46所述的方法，其中，所述對齊步驟包括施加校正。
48.根據(jù)權利要求42所述的方法，其中，還包括對所述二進制差分圖像實行形態(tài)侵蝕操作。
49.根據(jù)權利要求48所述的方法，其中，重復進行所述形態(tài)侵蝕操作。
50.根據(jù)權利要求42所述的方法，其中，還包括對所述二進制差分圖像實行擴展操作。
51.根據(jù)權利要求50所述的方法，其中，重復進行所述形態(tài)擴展操作。
52.根據(jù)權利要求42所述的方法，其中，所述度量值包括目標中心。
53.根據(jù)權利要求42所述的方法，其中，所述度量值包括目標長度。
54.根據(jù)權利要求42所述的方法，其中，所述度量值包括目標寬度。
55.根據(jù)權利要求42所述的方法，其中，所述度量值包括目標面積。
56.根據(jù)權利要求42所述的方法，其中，所述度量值包括目標轉角。
57.根據(jù)權利要求42所述的方法，其中，所述方法是在圖像獲取設備中實行的。
58.一種處理抓取式設備中預期元件布局位置之多個圖像以確認元件布局的方法，其中，所述方法包括如下步驟獲得預期元件布局位置的放置前和放置后的圖像；在放置前和放置后的圖像中選擇一個感興趣的區(qū)域；根據(jù)放置前和放置后的圖像之間的差產(chǎn)生差分圖像；對差分圖像進行閾值處理，產(chǎn)生二進制差分圖像；計算預期元件布局位置的像素變化計數(shù)；計算總像素變化計數(shù)；以及比較預期元件布局位置的像素變化計數(shù)與總像素計數(shù)，給出元件布局確認。
59.一種處理抓取式設備中預期元件布局位置的多個圖像以確認元件布局的方法，所述方法包括如下步驟獲得預期元件布局位置的放置前和放置后的圖像；在放置前和放置后的圖像中選擇一個感興趣的區(qū)域；根據(jù)放置前和放置后的圖像之間的差產(chǎn)生差分圖像；計算預期元件布局位置的差值強度和；計算總的像素差值強度和；并且比較預望元件布局位置的像素差值強度和與總的像素差值強度和，給出元件布局確認。
60.一種抓取式設備，用于在工件上放置元件，其中，所述抓取式設備包括圖像獲取系統(tǒng)，它具有一個CCD陣列；光學裝置，它包括多個圖像路徑，以將預期元件布局位置的多個圖像同時聚焦在CCD陣列上；所述圖像獲取系統(tǒng)在放置元件前獲取預期元件布局位置的多個放置前圖像，并在放置元件后獲取預期元件布局位置的多個放置后圖像；以及主控制器，它與圖像獲取系統(tǒng)耦合，用以比較所述放置前圖像與放置后圖像，以確認元件布局。
61.一種校正抓取式設備中離軸圖像系統(tǒng)的方法，其中，所述方法包括如下步驟在預期的元件布局位置放置已知的目標；獲得已知目標的離軸圖像；從所獲得的圖像確定關于已知目標之已知人為制造成分的初始位置；計算變換矩陣。
62.根據(jù)權利要求61所述的方法，其中，還包括以下步驟在獲得離軸圖像步驟之后，在沿z軸的不同位置顯示已知目標；在所述不同位置獲得已知目標的至少一個附加圖像；從至少一個附加圖像確定關于已知目標之已知人為制造成分的調(diào)節(jié)位置；以及比較初始位置與調(diào)節(jié)位置，以細化變換矩陣。
63.一種在抓取式設備中校正多個圖像獲取設備的方法，其中，所述方法包括如下步驟在預期的元件布局位置放置已知目標；利用每個圖像獲取設備獲取已知目標的圖像；從獲取的圖像確定已知人為制造的成分關于已知目標的位置；以及比較從每個獲取的圖像確定的位置，以校正深度。
全文摘要
由抓取式設備(301)實行改進的元件布局檢查和確認。這些改進包括預期元件布局位置的立體成像；強化照明，以促進在置放管嘴(208，210，212)附近的有限空間內(nèi)提供相當高功率的照明；光學裝置(380)使圖像獲取設備(300，302)能夠從相對于放置位置平面成一定角度觀察放置位置(360)；利用以商業(yè)上適用的CCD陣列快速獲取圖像的技術，使放置前和放置后圖像的獲取不致明顯影響整個系統(tǒng)；圖像處理技術可以提供元件檢查和確認的信息。
文檔編號H05K13/04GK1613285SQ02826679
公開日2005年5月4日 申請日期2002年11月12日 優(yōu)先權日2001年11月13日
發(fā)明者戴維·W·杜基特, 保羅·R·豪根, 戴維·菲什拜因, 斯科特·D·羅思, 托馬斯·W·布什曼, 約翰·D·加意達, 戴維·D·馬德森, 西奧多·保羅·戴爾, 托德·D·利伯蒂, 布蘭特·O·布?？?申請人:賽博光學公司