用于引導農(nóng)業(yè)機器上的照相機系統(tǒng)的方法
【專利摘要】本發(fā)明涉及一種農(nóng)業(yè)收割機(51)，該農(nóng)業(yè)收割機裝備有可運動卸載裝置(1、2)，以便將農(nóng)作物材料輸送至在收割機附近驅動的容器(4)，這樣，從收割機看，容器有近側上部邊界(4)和遠側上部邊界(8)，其中，3D照相機(15)提供于收割機上，用于捕獲圖像(19)，在該圖像(19)中，至少能夠看見近側邊界(6)，以便根據(jù)這些圖像來引導卸載裝置，其特征在于：照相機(15)可繞基本水平軸線(25、42)旋轉地安裝。本發(fā)明還涉及一種用于將可旋轉照相機的旋轉角度布置成使得近側邊界(6)總是保留在照相機的視野內(nèi)的方法。另外，本發(fā)明涉及一種用于控制卸載裝置的方法，這樣，處理后的農(nóng)作物材料在離近側邊界(6)預定距離處沉積在容器中。
【專利說明】用于引導農(nóng)業(yè)機器上的照相機系統(tǒng)的方法

【技術領域】
[0001] 本發(fā)明涉及農(nóng)業(yè)收割機，例如聯(lián)合收割機或飼料收割機，該農(nóng)業(yè)收割機裝備有卸 載裝置（例如噴口），用于將收割和處理后的農(nóng)作物材料充裝至與該收割機并排運行的容 器中。更具體地說，本發(fā)明涉及一種用于根據(jù)圖像數(shù)據(jù)來控制這種容器的充裝的方法。

【背景技術】
[0002] 在上述類型的飼料收割機中，根據(jù)照相機圖像來控制噴口位置以及噴口的可樞軸 轉動端部部分（折片）的位置為本領域已知。專利文獻W0-A-2011101458介紹了一種系統(tǒng)， 其中，3D照相機布置在排出噴口上。照相機獲取緊跟著機器驅動的容器的圖像。這些圖像 確定至少兩個堅直條。分析這些條提供了容器的前壁和/或后壁相對于照相機的位置。根 據(jù)該信息，噴口控制成使得農(nóng)作物材料卸載至容器中。當使用具有有限堅直觀察角度類型 的3D照相機時（但是其中在光靈敏性和分辨率方面，結果很有利），有容器或者至少容器的 近側邊界消失在照相機視野外的危險，因此不再保證正確充裝。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明通過使用在附加權利要求中所述的農(nóng)業(yè)收割機和方法而提供了對于上述 問題的解決方案。
[0004] 因此，本發(fā)明首先涉及一種收割機，該收割機裝備有可運動卸載裝置，以便將農(nóng)作 物材料輸送至在收割機附近驅動的容器，這樣，從收割機看，容器有近側上部邊界和遠側上 部邊界，其中，3D照相機提供于收割機上，用于捕獲圖像，在該圖像中，至少能夠看見近側邊 界，以便根據(jù)這些圖像來引導卸載裝置，照相機可繞基本水平軸線旋轉地安裝。
[0005] 卸載裝置優(yōu)選是排出噴口，該排出噴口可繞堅直軸線旋轉，且該排出噴口在它的 端部裝備有可旋轉部件，也稱為折片，該可旋轉部件用于將處理后的農(nóng)作物材料流引導至 容器中。噴口自身能夠繞水平軸線旋轉，因此能夠控制折片自身的高度。照相機優(yōu)選是布 置在排出噴口的底部上。照相機的旋轉軸線可以與排出噴口的水平旋轉軸線平行或重合。
[0006] 根據(jù)本發(fā)明的收割機還可以裝備有光源，該光源也可旋轉地安裝在照相機附近， 其中，光源和照相機設置成繞相同或不同的水平軸同時旋轉。
[0007] 在根據(jù)本發(fā)明的收割機上，卸載裝置可以包括排出噴口，該排出噴口有在端部處 的鉸接折片，照相機和光源固定在排出噴口的底部，并設置成繞兩個不同的、相互平行的軸 樞軸轉動，光源的旋轉軸線位于照相機的旋轉軸線和鉸接折片之間。
[0008] 光源或照相機的旋轉能夠由線性促動器來控制，且機械連接件提供于光源和照相 機之間，因此光源的任何旋轉也由照相機執(zhí)行，或者反之亦然。
[0009] 照相機和光源的旋轉也可以由單獨的促動器來控制，該促動器自身由相同的控制 信號來控制。
[0010] 本發(fā)明還涉及一種用于將收割機的可運動卸載裝置引導向在收割機附近驅動的 容器的方法，當從收割機看時，該容器包括近側上部邊界和遠側上部邊界，該方法包括以下 步驟：
[0011] 一使用在收割機上的3D照相機來用于捕獲圖像，在該圖像中至少能夠看見近側 邊界，且照相機產(chǎn)生圖像數(shù)據(jù)，該圖像數(shù)據(jù)包含關于在照相機和近側邊界之間的距離的信 息；
[0012] 一處理該圖像數(shù)據(jù)，用于由此推導出關于在近側邊界和卸載裝置之間的相對位置 的數(shù)據(jù)；以及
[0013] 一使用該相對位置數(shù)據(jù)來用于使得卸載裝置相對于收割機自動地運動；
[0014] 其特征在于：照相機安裝成可繞基本水平的旋轉軸線旋轉，且照相機繞該軸線的 角度位置控制成這樣，在收割機和/或容器的運動過程中，使得近側邊界保持在照相機的 觀察圖像的預定區(qū)域內(nèi)。
[0015] 近側邊界的位置可以根據(jù)至少兩個堅直條來檢測，該堅直條確定于由照相機觀察 的容器圖像中。
[0016] 根據(jù)該方法的一個實施例，預定區(qū)域是在兩個平行線之間的條，這兩個平行線位 于照相機的觀察圖像的下半部分中，該方法包括以下步驟：
[0017] 檢測近側邊界，
[0018] 當邊界可見，但是如通過堅直條的分析所確定，邊界的位置并不在線之間時，
[0019] ?檢測邊界是位于條的上面還是下面，
[0020] ?當邊界位于條的上面時，向上轉動照相機，一旦至少一個位置處于條中時，就保 持照相機位置，
[0021] ?當邊界位于條下面時，向下轉動照相機，一旦多個位置中的至少一個處于條中 時，就保持照相機的位置；以及
[0022] 當邊界在圖像中不可見時，使得照相機運動至預定的開始位置。
[0023] 開始位置優(yōu)選是這樣的位置，在該位置中，照相機引導成使得觀察的圖像不會僅 包含容器的遠側邊界。
[0024] 根據(jù)一個實施例，卸載裝置包括噴口和在該噴口端部處的鉸接折片，折片的位置 根據(jù)檢測的、從近側邊界至照相機的距離來控制，這樣，折片持續(xù)引導向位于離近側邊界預 定距離的點。

【專利附圖】

【附圖說明】
[0025] 圖1是裝備有旋轉3D照相機和光源的收割機的充裝噴口的視圖。
[0026] 圖2表示了由照相機看見的容器的圖像的實例，表示了在應用本發(fā)明的方法時容 器邊界必須保持在其中的界限。
[0027] 圖3表示了根據(jù)照相機圖像來確定要檢測的容器邊界的方法。
[0028] 圖4表不了根據(jù)優(yōu)選實施例的3D照相機和光源的布置方式。
[0029] 圖5a和5b更詳細地表示了圖4的布置方式。
[0030] 圖6A表示了要在離近側邊界距離P處充裝容器所需的幾何參數(shù)。
[0031] 圖6b表示了當噴口并不垂直于容器邊界定向時的距離P'和它與P的關系。

【具體實施方式】
[0032] 下面將參考附圖介紹優(yōu)選實施例。詳細說明并不是限制本發(fā)明的范圍，本發(fā)明的 范圍只由附加權利要求來確定。
[0033] 圖1是排出噴口 1的示意圖，該排出噴口 1的基部以本領域已知的方式安裝成用 于繞堅直軸線旋轉和繞在飼料收割機上的水平軸線樞軸轉動。噴口安裝件裝備有用于改變 噴口的角度位置的促動器，例如液壓馬達10,并有用于改變噴口端部高度的還一促動器，例 如液壓缸（未示出）。噴口還有在它的端部處的可樞軸轉動折片2,該折片2裝備有第三促 動器，例如線性電促動器11。三個促動器由控制系統(tǒng)12來控制，該控制系統(tǒng)12設置成引導 處理后的農(nóng)作物材料流3進入容器4,通過人工控制器13或通過微處理器14來管理。容 器有：近側側壁5,該近側側壁5最接近飼料收割機，并有上部邊界6 ;以及相對的遠側側壁 7,該遠側側壁7有上部邊界8。農(nóng)作物材料沉積在容器4中，并在其中形成堆9。3D照相 機15和光源16安裝在噴口上，并在表不為低于折片2的位置。照相機設置成產(chǎn)生作為一 組像素的圖像19,并對于在圖中的各像素確定從照相機至圖像中的物體的距離值。該距離 可以根據(jù)經(jīng)過時間（time-of-flight)的原理來確定。照相機的視野由邊界線17和18來 表不。
[0034] 光源優(yōu)選是近紅外線（NIR)燈，該光源發(fā)射具有特定波長的調制光。相同波長的 反射光由照相機捕獲。在根據(jù)本發(fā)明的機器中，照相機15可繞水平軸線25旋轉，或者換句 話說，可繞與噴口 1的中間面垂直的軸線旋轉。當存在光源16時，它優(yōu)選是也可繞水平軸 線旋轉。在圖1的結構中，光源16是固定在照相機15的底部處的聚光燈，并能夠與照相機 一起繞軸線25樞軸轉動。根據(jù)優(yōu)選實施例（該優(yōu)選實施例將在下文中介紹），照相機和光 源實施為這樣，將照相機和光源同時旋轉，但是并不繞相同軸線。照相機的旋轉通過促動器 (圖1中未示出）來實現(xiàn)，優(yōu)選是電線性促動器，它由來自控制系統(tǒng)12的信號來控制。本發(fā) 明還涉及用于控制照相機的旋轉的方法，這樣，容器的合適部分總是保留在圖像中。該方法 在下面結合在W0-A-2011/101458中所述的方法（用于檢測邊界6)來解釋。不過，本發(fā)明 也能夠與其它檢測方法結合使用。
[0035] 為了能夠應用W0-A-2011/101458的方法，照相機相對于容器4的位置為這樣，在 水平方向，照相機布置在容器的一側（即，照相機的水平位置A并不位于容器的側壁5和6 的橫向水平位置B和C之間）。在堅直方向，照相機優(yōu)選是布置成高于容器的側壁5和7的 上部邊界6和8。因此，在照相機獲取的圖像中，可以看見至少近側側壁5和（可能的）遠 側側壁7的前表面（即面對收割機的表面）以及這些側壁的近側上部邊界6和（可能的） 遠側上部邊界7,如圖2中的實例所示。（近側側壁5的）近側上部邊界6表示在圖像的下 部部分中，而（遠側側壁7的）遠側上部邊界8表示在圖像的上部部分中。圖2的圖像在 噴口將農(nóng)作物材料傳送至容器內(nèi)時獲取。這些排出的農(nóng)作物材料可見為圖像中的中心區(qū)域 20 〇
[0036] 根據(jù)W0-A-2011/101458中所述的發(fā)明方法，對在圖2中的圖像進行分析，以便確 定至少近側上部邊界6和（當可見時）遠側上部邊界8的位置。根據(jù)容器在飼料收割機的 哪一側運行，容器4的前部和后部邊界可以顯示在圖像的左側或右側部分中。在如圖2中 所示的圖像中，選擇第一和第二堅直條21和22,所述條分別位于噴口的左側和右側，即在 圖像的中心區(qū)域20的左側和右側。根據(jù)優(yōu)選實施例，在該中心區(qū)域20中選擇第三堅直條 23。選擇的條各自包括多排像素的堆垛，各排對應于圖像上的堅直位置，各像素有相應的距 離值，該距離值由包含在圖像（假定該圖像由3D經(jīng)過時間的照相機來獲取）中的數(shù)據(jù)得 出。對于各堅直位置的距離數(shù)據(jù)再進行過濾，以便除去可疑值（例如物體太遠或太近，或者 反射光的幅值太?。?，并產(chǎn)生用于該堅直位置的單個過濾距離值。根據(jù)優(yōu)選實施例，過濾的 距離值等于在條中的各垂直位置的平均距離值。
[0037] 通過過濾值，獲得三個距離曲線，如圖3A至3C中所示，分別對應于在條21、23和 22中的過濾距離。與左側和右側條21和22相對應的曲線表示了在多個區(qū)域中距離值的 清楚跳躍或飛躍，在這些區(qū)域中表示近側和遠側上部邊界6和8。與中心條23相對應的曲 線只表示了在近側上部邊界6的位置處的跳躍（假定在區(qū)域20中，遠側上部邊界隱藏在排 出的農(nóng)作物的后面）。至少一個上部邊界6或8的堅直位置由一個或兩個跳躍的位置來獲 得，且噴口 1和折片2相對于收割機的位置控制成將收割的農(nóng)作物引導至容器中，即引導至 高于近側上部邊界6和/或低于遠側上部邊界8的位置。根據(jù)優(yōu)選實施例，使用圖3A至3C 中的曲線的一階和/或二階導數(shù)，與它自身的測量距離組合，作為用于確定邊界6和8的堅 直位置的基礎。如圖3D至3F中所示，一階導數(shù)表示了在邊界6和8的位置處的尖銳峰值。 這些峰值能夠比圖3A至3C中的距離曲線的跳躍更容易檢測。同樣，二階導數(shù)表示了類似 的峰值，因此也能夠用作確定邊界6和8的位置的基礎。當一階和/或二階導數(shù)高于預定 界限值時，能夠支持已經(jīng)找到邊界。
[0038] 下面結合上述圖像處理系統(tǒng)來解釋根據(jù)本發(fā)明的方法。本發(fā)明的方法利用這樣的 情況，即照相機15安裝成具有旋轉能力。兩個水平線30和31在照相機的視野中，確定于 圖像的下部部分中，如圖2所示。根據(jù)本發(fā)明的方法包括使得照相機旋轉，以使得容器的近 側上部邊界6(圖像中的下部邊界）的至少一部分總是在這兩條線之間。該方法包括以下 步驟：
[0039] 一通過上述三個條21、22、23的分析來檢測近側邊界6 ;
[0040] 一當邊界可見，但是如通過三個條的分析所確定，邊界6的三個位置并不在線30 和31之間延伸時，
[0041] ?檢測邊界6是位于條30/31的上面還是下面，
[0042] ?當邊界6位于條30/31上面時，向上旋轉照相機，一旦三個位置中的至少一個處 于條30/31中，保持照相機位置，
[0043] ?當邊界6位于條30/31下面時，向下旋轉照相機，一旦三個位置中的至少一個處 于條30/31中，保持照相機位置；
[0044] -當邊界在圖像中不可見時，使得照相機運動至預定的開始位置。這可能在例如 機器在田地邊界上的已經(jīng)收割的土地條（所謂的畦頭未耕地）上運行時產(chǎn)生。
[0045] 因此，確定是否三個位置中的至少一個在條30/31內(nèi)。當照相機（和噴口）垂直 于容器邊界6時，三個位置通常在一直線上，該直線或多或少地平行于觀察圖像的下部邊 界延伸（如圖2中所示），換句話說，三個位置能夠同時位于條30/31中。不過，當噴口并不 垂直于容器的邊界時（例如見圖6b)，邊界6觀察為處于一定角度，且邊界6的視圖并不平 行于圖像的底部。在這種情況下，圖像中的三個位置的最高或最低位置處于條30/31中就 足以保證邊界保持為由照相機"可見"。收割機和容器的相對位置和尺寸優(yōu)選是使得邊界6 在圖像中與水平方位的偏離并不非常大。
[0046] 在收割機的整個操作過程中，上述步驟持續(xù)運行。當靠近容器運行時，它的頂部邊 界自動地保持在圖像中，因此保證正確充裝。當轉彎或其它操縱時邊界6離開圖像時，照相 機自動運動至開始位置，控制能夠從該開始位置重新取得。該開始位置是這樣的位置，其 中，照相機旋轉至它不可能只看見遠側邊界8的位置。它優(yōu)選是這樣的位置，其中，照相機 朝向容器的下側，因此近側邊界6和遠側邊界8都不在邊框中。如上述確定的開始位置保 證在搜索近側邊界6時，遠側邊界8不會錯誤地被認為是近側邊界6。在（重新）開始該方 法時，照相機從開始位置向上旋轉，直到邊界6進入圖像。從該點開始，（再次）執(zhí)行上述 步驟。
[0047] 如上所述，光源16優(yōu)選是也可旋轉地布置，且優(yōu)選是這樣的，它與照相機同時旋 轉。用于實現(xiàn)它的一種優(yōu)選布置方式如圖4和5a/5b中所示。由金屬板制造的殼體40固定 在噴口 1的底部上。光源16和照相機15分別安裝在金屬板托架43和44上，該金屬板托架 43和44固定在軸41和42上，該軸41和42安裝在殼體中的軸承上。這樣，支承件43/44 以及光源和照相機繞軸41和42的軸線旋轉。在處于支承件43/44的頂部處的點之間的樞 軸轉動機械連接件45保證光源和照相機同時旋轉。該旋轉由線性促動器46來控制，該線 性促動器46能夠使得在光源的支承件43的頂部處的點相對于殼體的固定點47向前和向 后運動。促動器46優(yōu)選是電促動器，它裝備成接收控制信號，以便使得照相機和光源旋轉 至合適位置，例如根據(jù)上述方法。
[0048] 在照相機和光源之間的距離有助于照相機圖像的質量，特別是在收割過程中大量 灰塵存在于空氣中的情況下。當使用的光源照明的區(qū)域近似對應于照相機的視野（該視野 在堅直平面中由在圖1的線17和18之間的角度來確定）時，同時控制照相機和光源的旋 轉將特別有利。同時旋轉保證發(fā)射光的大部分實際落在合適區(qū)域上。代替在照相機和光源 之間的機械連接件45,這樣的同時操作也可以通過軟件來執(zhí)行。在這種情況下，照相機和光 源各自由它們自身的促動器來驅動，例如各軸41和42的伺服馬達，該促動器由相同控制信 號來控制。后一種布置方式也能夠進行這樣的控制，其中，照相機的旋轉并不取決于光源的 旋轉，例如，當人們希望使用覆蓋區(qū)域比照相機的視野更大的光源時。
[0049] 本發(fā)明最后涉及一種用于根據(jù)可旋轉照相機15的旋轉角度而將噴口 1的折片2 導向容器中的特定位置的方法。這種布置方式的實例如后面所述。在圖6a中，示意表示了 收割機51，該收割機51與容器4并排運行。噴口 1的、具有折片2的外部部分Γ能夠繞它 的基部處的水平軸線旋轉。可旋轉照相機（未示出）能夠通過在噴口上的點D而繞水平軸 線旋轉。折片2自身能夠在點E處相對于噴口旋轉。容器的近側邊界能夠在剖視圖中看見 為點F。距離DE是收割機的常數(shù)特征。距離DF可由3D圖像推導出，該3D圖像由照相機來 捕獲。角度Ψ是在線DF和線DE(排出噴口）之間的角度。角度β是噴口自身的可旋轉 部分Γ相對于水平線的方位角度。在正常的收割操作中，β保持恒定。在線DE和EF之 間的角度α的值由已知的噴口長度（距離DE)、距離DF和角度Ψ推導出：
[0050]

【權利要求】
1. 一種農(nóng)業(yè)收割機（51)，裝備有可運動卸載裝置（1、2)，以便將農(nóng)作物材料輸送至在 收割機附近驅動的容器（4)，這樣，從收割機看，該容器有近側上部邊界（4)和遠側上部邊 界（8)，其中，3D照相機（15)提供于收割機上，用于捕獲圖像（19)，在該圖像（19)中，至少 能夠看見近側邊界（6)，以便根據(jù)這些圖像來引導卸載裝置，其特征在于：照相機（15)可繞 基本水平軸線（25、42)旋轉地安裝。
2. 根據(jù)權利要求1所述的農(nóng)業(yè)收割機，還裝備有：光源（16)，該光源（16)也可旋轉地 安裝在照相機（15)附近，其中，光源和照相機設置成繞相同或不同的水平軸（41、42)同時 旋轉。
3. 根據(jù)權利要求2所述的農(nóng)業(yè)收割機，其特征在于：卸載裝置包括排出噴口（1)，該排 出噴口（1)有在端部處的鉸接折片（2)，照相機和光源固定在排出噴口的底部上，并設置成 繞兩個不同的、相互平行的軸（41、42)樞軸轉動，光源的旋轉軸線（42)位于照相機的旋轉 軸線（42)和鉸接折片⑵之間。
4. 根據(jù)權利要求3所述的農(nóng)業(yè)收割機，其特征在于：光源（16)或照相機（15)的旋轉 能夠由線性促動器（46)來控制，且機械連接件（45)提供于光源和照相機之間，因此光源的 任何旋轉也由照相機執(zhí)行，或者反之亦然。
5. 根據(jù)權利要求3所述的農(nóng)業(yè)收割機，其特征在于：照相機（15)和光源（16)的旋轉 由單獨的促動器來控制，該促動器自身由相同的控制信號來控制。
6. -種用于將農(nóng)業(yè)收割機（51)的可運動卸載裝置（1)引導向在收割機附近驅動的容 器（4)的方法，當從收割機看時，該容器包括近側上部邊界（6)和遠側上部邊界（8)，該方法 包括以下步驟： 一使用在收割機上的3D照相機（15)來用于捕獲圖像（19)，在該圖像（19)中至少能夠 看見近側邊界（6)，且照相機產(chǎn)生圖像數(shù)據(jù)，該圖像數(shù)據(jù)包含關于在照相機和近側邊界（6) 之間的距離的信息； 一處理該圖像數(shù)據(jù)，用于由此推導出關于在近側邊界（6)和卸載裝置（1)之間的相對 位置的數(shù)據(jù)；以及 一使用該相對位置數(shù)據(jù)用于使得卸載裝置（1)相對于收割機自動地運動； 其特征在于：照相機（15)安裝成可繞基本水平的旋轉軸線（25、42)運動，且照相機繞 該軸線的角度位置控制成這樣，在收割機和/或容器的運動過程中，使得近側邊界（6)保持 在照相機的觀察圖像（19)的預定區(qū)域（30/31)內(nèi)。
7. 根據(jù)權利要求6所述的方法，其特征在于：近側邊界（6)的位置根據(jù)至少兩個堅直 條（21/22/32)來檢測，該堅直條確定于由照相機觀察的容器（4)的圖像中。
8. 根據(jù)權利要求7所述的方法，其特征在于：該預定區(qū)域是在兩個平行線（30、31)之 間的條，這兩個平行線位于照相機的觀察圖像（19)的下半部分中，該方法包括以下步驟： 一檢測近側邊界（6)， 一當邊界（6)可見，但是如通過堅直條的分析所確定的，邊界（6)的位置并不在線 (30/31)之間時， ?檢測邊界（6)是位于條（30/31)的上面還是下面， ?當邊界（6)位于條（30/31)的上面時，向上轉動照相機，一旦多個位置中的至少一個 位置處于條（30/31)中，就保持照相機位置， ?當邊界（6)位于條（30/31)下面時，向下轉動照相機，一旦多個位置中的至少一個處 于條（30/31)中，就保持照相機位置； ?當邊界在圖像中不可見時，使得照相機運動至預定的開始位置。
9. 根據(jù)權利要求8所述的方法，其特征在于：開始位置是這樣的位置，在該位置中，照 相機引導成使得觀察的圖像不只包含容器的遠側邊界（8)。
10. 根據(jù)權利要求6至9中任意一項所述的方法，其特征在于：卸載裝置包括排出噴口 (1)和在該排出噴口端部處的鉸接折片（2)，折片的位置根據(jù)檢測的、從近側邊界（6)至照 相機（15)的距離來控制，這樣，折片持續(xù)引導向位于離近側邊界（6)預定距離⑵的點。
11. 根據(jù)權利要求10所述的方法，其特征在于：折片（2)的位置根據(jù)照相機（15)的角 度位置（Ψ)來控制。
【文檔編號】A01D43/08GK104066314SQ201280055053
【公開日】2014年9月24日 申請日期:2012年11月9日 優(yōu)先權日:2011年11月10日
【發(fā)明者】K·M·C·維安尼, B·米斯索藤, B·E·D·德佩斯泰爾 申請人:Cnh工業(yè)比利時股份有限公司