JPH0319607A - 走行作業機の操舵制御における画像情報の２値化処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に列状に植立された稲、麦、大豆等の当
該列に沿って走行機体を走行させて刈取り脱穀する等の
いわゆる汎用コンバインまたは普通形コンバイン等の収
穫機や、芝仮刈機等の走行作業車両において、刈取り等
の作業地の状態を撮像して得られるカラー画像情報を２
値化し、その２値画像のデータを自動操舵制御に利用す
るための、当該カラー画像情報の２値化処理装置に関す
るものである。

〔従来の技術〕

圃場に植立した稲列に沿ってコンバインを前進走行させ
、当該稲列を複数条づつ刈取るように、当該コンバイン
を自動操舵走行させるに際して、未刈取地と既刈取地と
の境界線を検出する技術として、本出願人は、特願昭６
３−２６３７９４号において、カラー撮像手段をコンバ
インに搭載し、該カラー撮像手段にて未刈取り地である
サンブリ冫ゲ領域でＣ”）　３　ＪｉＦｆ色の色威分か
・ニラ、末刈取り地と既メ＋Ｊ取り地と包区別するため
の所定の２値化１、５きい値条４１１式を作威ずる一方
、作＊　，．ｔｉｊ″時におけろ二！ンハインの進行＋
ｉｉｉ　．．／Ｊ向０）未刈取地と既刈取地との両範囲
（．こわノ１−．−’：、てｆ１！像し５、このカラー
画像デタ（ア）３原色成分を抽出し、前記２値化し２き
い値条イ／１↑（を満足するか否かを判断して、，未刈
取り地と既刈取り地との境界線を抽出する技術を提案し
た。

〔発明が解決し５よ・）とする課題〕 この先ｊＪ拉術における２値化しきい値条件式は、未メ
リ取り地のリンゾリング領域におけろ３つの色成分ごと
に、各々が所定の偏斧を含む３つの不専ｊ（とし５て設
定したものでありる。

換こ１ずれば、検査ずべき涸所における３゛っの色威分
のレー・ルが、各々ｉｉｊ記３つの不専式の範囲に入っ
ているとき（不等八を満足するとき）には未刈取り地と
判断し、不等式を満足しないときには既刈取り地と’ｔ
’ｌ＋断ずるものであった。

そして、識別すべき個所が他の個所と全く色が異なるよ
うな場合、例えば未刈取り地では緑色または黄色が強い
が、既刈取り地では地面の色（！ｌ｛色や灰色）で両省
の色の区別のつき易い場合では、前記のよ・）に各色成
う）ごと（、こ独立し２て求めた２値化しきい値条件式
でも両者の判別は可能である。

しかし、二１ンバ・インにおシノる刈取作業において、
刈り取った穀稈（｛ｊ１藁）を短く切り刻んで既刈取り
地に放出しばらまくような作業を実行していると、未刈
取り地におりる稲等の植立した穀稈の色と、刈取り後の
排藁の色が同色系統であるので、カラー撮像手段によっ
て得られたカラー画像情報による未刈取り地の色戒分の
仙と既刈取り地の色威分の植とが近似し２ているので、
前記の各色威分ごとに独立して求めた２値化し７きい値
条件式では、前記両者の領域を区別しすらいという問題
があっノこ。

本願発明はこの問題を解決することを１−１的とするも
のである。

〔課題を解決するためのＴ段〕

この目的を達成するため、本発明は、走行作業機に搭載
したカラー撮像手段にて圃場専の未刈取り地と既刈取り
地と６こねたる作業面を撮像し、，そのカラー画像情報
から未刈取り地と既刈取り地とに区別するための２値化
処理する画像処理装置において、カラー画像情報から青
色成分信号値（Ｂ）と赤色成分信号値（Ｒ）と緑色成分
信号値（Ｇ）との３　Ｊｇ．色ｆ１”１号値を抽出する
信号値抽出手段と、前記各信号値から、〔Ｂ／　（Ｒ＋
Ｇ））．　　（Ｒ／（丁３→Ｇ））．　　（Ｇ／　（Ｂ
＋Ｒ））なる３つの色成分比率を演算する演算手段と、
未刈取り地のサンプリング領域における前記３つの色成
分比率と作業面における前記３一つの色成分比率とを各
々比較判断して未刈取り地と既刈取り地とに区別する２
値化しきい値を決定する判別手段とから或るように構威
したものである。

〔実施例〕

次に本発明を汎用コンバインに適用した実施例について
説明すると、走行作業機であるコンバイン１は走行機体
２のｆ面に左右一対の腹帯式の走行装置３．３を備え、
走行機体２の前進方向に向かって右側前部には座席付き
の操縦部４を配設しその後方にはエンジン（図示せず）
及び穀粒蓄積用のタンク５を備え、走行機体２の左側に
は、円周外面にダブルビソヂのスクリュー板と適宜個数
の抜歯とを植設した前後長手の扱胴６ａ等を内蔵した脱
穀部６と、その下方に受１１１ｉ’ｌ８と、冫一ブ等に
よる揺動選別装置９と、唐箕ファン１０の風による風選
別装置とを備える。

一方、走行機体２の前面には、前記脱穀部６の前部開口
に連通ずる角筒状のフィーダハウス１１を昇降用油圧シ
リンダ１２を介して走行機体に対して昇降自在に装着し
てあり、該フィーダハウス１１の内部には、左右長手の
搬送板を尤右一対のチェンに適宜間隔で取付けたチェン
コンベヤ１３を配設し、このヂエンコンベヤ１３にて後
述の刈取部１５からの刈取穀稈を前記脱穀部６に搬送す
るものである。

符号７ａは、二番樋（図示せず）からの穀粒を脱穀部６
に還元するように比送する二番還元筒、符号７ｂは前記
タンク５内の穀粒を外部に排出するための排出筒である
。

５ ６ 刈取部１５は、走行礪体２の全幅にわたって左右に延び
るハケノト状のプラノトホーム１７と、該プラントホー
ム１７に走行機体２の全幅にわたって設けたタインハー
１８付きのリール１９とから戒り、プラノ１〜ホーム１
７の下面側には同しく左右長手のハリカン状の刈刃２０
を有し、プラソ１−ホーム１７の底板上方には、矢印方
向に回転ずる横長の掻き込み用のオーガ２２を備えてあ
り、伝動部を介して前記リール１９及びオーガ２２を回
転駆動し、且つ刈刃２０を駆動ずる。

なお、符号２３は刈取部ｌ５の左右両端から前向きに突
出する分草体であり、また、前記リール１９は、穀稈の
倒伏状態等に応して前後移動調節及び上下揺動調節自在
に構成されている。

符号２４は、第１図等に示すように、圃場に適宜間隔に
て縦横に植立した被検出物である稲の穀稈で、この縦横
に適宜間隔で植立した穀稈２４に向かってコンバイン１
を前進させてこれらを刈取るものである。

第３図は、本考案の制御手段のブロソク図を示読み出し
専用メモリ　ＣＲＯＭ＞　、２　７は読み害、き可能メ
モＩＪ　　（ＲＡＭ）　、２　８は収穫機１の走行距離
を計測する走行距離計である。

符号３１は方位設定器で、収ｆｉ機１を予め進行方向に
向けたときの地磁気センザー等の方位検出器３０にて読
み込んだ方位（目標方位）を手動にて七ソ１・すること
ができるものであり、目標方位は修正され得る。

比較器３２は前記方位検出器３０にて設定した目標方位
と、収Ｗｉ機が自動走行している状態において方位設定
器３１にて検出された現実の方位との差異を比較するも
のである。

符号３３は超音波を利用する等した非接触型の穀稈検出
センサーで、発信器と受信器との対からなる穀稈検出セ
ンサー３３は、前記刈取部５における分草体２３の内側
方等に横向きに装着してあり、刈取部５におけるプラン
トホーム１７の左右幅内に位置する植立した穀稈のうち
分草体２３に対してもっとも近い位置の穀稈に向けて発
信した超音波の反射音を受信器で受け、発信から受信迄
の時間の多少により、分草体２３の側方から走行機体の
進行方向と略直角の横方向に位置する穀稈迄の検出距離
を検出し、および穀稈により超音波が遮られるのを利用
して穀稈の有無を判別するものである。

符号３４、３５は、前記中央制御装置２５からの出力信
号（操向指令）に応して右側または左側の走行装置３、
３への動力伝達をＯＦＦにずる操向クラソチを作動させ
る油圧切換弁等の電磁ソレノイドで、該操向クラソチは
手動レハー（図示せず）によっても操作できる。

カラー情報を得るためのカラー撮像手段３６は、対象を
検出するに際して、いわゆるカラー用ビデオカメラのご
とく撮像画面（結像面）がｘ−ｙ平面のように縦横の拡
がりを持つ二次元的な平面を有するいわるエリアセンサ
ーであり、例えば、二次元ＭＯＳ撮像素子や二次元ＣＣ
Ｄ撮像素子を内臓したものでは、レンズを通して結ばれ
た像は、その結像面に二次元的に配列された各撮像素子
（光電素子）にて感知されて撮像画面の光学情報を電気
信号として出力できるものである。

カラー撮像手段３６は、ＲＧＢ表色系〔赤色（Ｒ〉，緑
色（Ｇ），青色（Ｂ）の色光を原色光とし、加光により
白が得られる〕による赤色成分（Ｒ）、緑色戒分（Ｇ）
、青色威分（Ｂ）との各色成分の信号にて圃場面の特徴
を抽出することができる。

符号３７は前記カラー撮像手段３６からの出力信号をア
ナログ信号からデジタル信号に変換するＡ／Ｄ変換器、
符号３８はＩＪｉ像された１画面ごとに画像情報を記憶
させる画像メモリで、該画像メモリ３８では、例えば６
　４．　Ｘ　６　４ドット（縦×横）についてのカラー
情報を赤色成分（Ｒ）、緑色戒分（Ｇ）、青色威分（Ｂ
）の色信号のレベルとして６４階調（０〜６３〉で抽出
して記憶される。

２値化処理装置３９は、前記サンプル画像情報にて得ら
れた前記３色戒分からなるサンプルデタを基準とする２
値化のしきい値を決定するための２値化条件式作或手段
である演算を実行すると９ １〇一 共に、後の自動走行時の検出画像情報乙こて得られた前
記３色成分からなる検出色成分データが所定の前記２値
化条件式を満足するか否かを判別する判別手段である。

符号４０は前記副制御装置３９に対する読み出し専用メ
モリ　（Ｒ　ＯＭ’）　、４　１ば読み書き可能メモリ
　（ＲＡＭ）である。

次にこの構戊による２値化処理を第６図に示すフローチ
ャ−１−に従って説明すると、テイーチング走行時にお
いて、スタート及びステノブＳの初期値設定に続き、第
４図に示すように符号＋−ｉで示ず排藁がばらまかれた
進行方向右側の既作業地（Ｋｌ）と左側の未作業地（Ｍ
１）とに跨る適宜範聞をカラー撮像手段３６にて撮像ず
ると、第５図に示ずように撮像画面４３には、その右側
略半分の範囲に既作業地の画像（Ｋ）が、左略半分の範
囲には未作業地の画像（Ｍ）が各々写る。

撮像画面４３における左略半分の画面のうち、点線で囲
む適宜範囲をザンプル領域（ＳＡＭＩ））として採用す
れば、この部分では未作業地のみ（例えば、穀稈が立植
している範囲のみ）のカラ情報としてのサンプル画（＠
！情報が得られろことになる。

ステソブＳ２では、自ｉｆ記サンプル領１ａ５（ＳＡＭ
Ｐ）における全画素または複数の箇所の画素を４ノンブ
リングし、このサンプルデータをＡ　／　Ｉ）変換器３
７を介して画像メモリ３８に記１，ａさ廿る。

即ち、ステノプＳ２では、前記サンプル領域（Ｓ　Ａ　
Ｍ　ｌ）　）ごと、そのサンプルデータから赤色衣分（
Ｒ）、緑色威分（Ｇ）、青色成分（■３）の３色成分に
分解してそのレベル　Ｒ，Ｇ．Ｂ，を読み込み、記憶さ
せる。

ステソプＳ３では、前記３一つの色戒分ごと（、こ、各
色戒分を他の２つの色成分乙こ対する比率として求めた
戒分比率を計算する。

ここで、 （以下余白） 赤色威分の色戒分比率 である。

次に、前記ステノブＳ３にて得られたザンブルデータか
ら、サンプル領域における３色成分の各色成分比率の平
均値及び標準偏差を計算する。

ここで、ｒａｖは赤色成分の色成分比率Ｒｓの平均値で
あり、ｇａνは緑色成分の色威分比率Ｇｓの平均値、ｂ
ａνは青色成分の色威分比率Ｂｓの平均値を各々示し、
ｒｖ，ｇν，ｂｖは、同しく前記ザンプル領域ごとにお
ける各色威分の色威比率の標準偏差であり、 例えば、ｒν−．（；酢［７７−：了ΣΣ７さらに、ス
テノブＳ５では、２値化しきい値条件式のためのの上限
値と下限値とを予め演算しておく。

ここで、赤色戒分に対するｊ二限値Ｒｓｔ＋＝ｒａｖ　
＋ｒｖ、下限値Ｒｓｌ＝ｒａｖ−ｒｖ、緑色成分に対ず
るＬ．限値Ｇｓｈ＝ｇａｖ　ｊｇｖ　　，下限値Ｇｓｌ
　＝ｇａｖ　　−４ｖ，青色戒分に対ずる上限値Ｂ　ｓ
ｈ　＝　ｂａｖ　　→−ｂν　、下限値Ｂｓｌ＝ｂａｖ
　−ｂｖ　　である。

なお、圃場における適宜複数のサンプリング箇所で、前
記のザンブリングを実行して、そのサンプルデータの平
均値から各々２値化条件式を求めるようにしても良いし
、一つの圃場に対して−つの２値化条件式で代表させる
ようにしても良い。

次に無人自動走行に入り、ステップＳ６ではその自動走
行中、適宜時間間隔（中央制御装置２５に内臓のクロノ
クにて測定する）または適宜走行距ｍ＜走行距離計２８
にて測定する）ごとに、圃場の既刈取り地と未刈取り地
との両者に跨る適宜範囲をカラー撮像手段３６にて撮像
して、Ａ／Ｄ変換器３７を介して画像メモリ３８に検出
画像情１３ １４ 報として記憶させる。

この場合、前記一つの検出画像情報（一つの画面）にお
ける画面中の予め定められた複数箇所の各標本点ごとに
赤色成分（Ｒｘ）　、緑色威分（Ｇ×）、青色戒分（Ｂ
ｘ）のレベルを検出し、読み込む。

ステップＳ７では、前記各標本点ごとに、各色威分の色
成分比率を演算する。

ここで、Ｒｘｓ−（Ｒｘ／　（Ｇｘ＋Ｂｘ）　）、Ｇｘ
ｓ−ＣＧｘ／　（Ｒｘ＋Ｂｘ）　）、Ｂｘｓ−（Ｂｘ／
　（Ｇｘ＋Ｒｘ）　）である。

ステップＳ８では、前記標本点ごとに、対応する２値化
条件式（Ａ）が満足するか否かを判別する。

ここで、２値化条件式（Ａ）の例として、Ｒｓｈ　（＝
ｒａｖ　＋ｒｖ） ＞Ｒｘｓ＞Ｒｓｌ　（＝ｒａｖ　−ｒｖ）　−■Ｇｓｈ
　（　＝ｇａｖ　＋ｇｖ） ＞　Ｇｘｓ　＞　Ｇｓｌ　（　一ｇａｖ　−ｇｖ）　＝
　＝■Ｂｓｈ　　（＝ｂａｖ　　＋ｂｖ） ＞Ｂｘｓ＞Ｂｓｌ　（一ｂａｖ　−ｂｖ）　−■の３つ
の不等式■■■を同時に満足している（ｙｅｓ）ときに
は、未刈取り地であるとして、２値のレヘルＶａｌ＝１
とし（ステソプＳ９）、前記不等式のいずれか一つでも
満足していない（ｎＯ）のときには、２値のレヘルＶａ
ｌ＝０とずる（ステソプＳ１０）。

なお、前記２値のレベルＶａｌの「１」と「０」とを前
記と逆になるようにしても良いのは当然である。

前記２値化しきい値決定のための条件式の他の実施例と
して、未刈取り地におけるサンプリング領域と既刈取り
地におけるサンプリング領域とにおいて各々前記（１）
と同しく色成分比率を求め、その各領域における色威分
比率から、各々平均値と標準偏差を演算する。　そして
、未刈取り地における２値化しきい値の上限と下限とを
各色成分について以下ようにする。

赤色成分について： 上限Ｒｓｈｍ　　（＝ｒａｖ　＋ｒｖ）、下限Ｒｓｌｍ
　　（＝ｒａｖ　−ｒｖ）緑色成分について： 上限Ｇｓｈｍ　　（　＝ｇａｖ　＋ｇｖ）、下限Ｇｓｌ
ｍ　　（＝ｇａｖ　　ｇｖ）青色戒分について： 上限Ｂｓｈｍ　　（＝ｂａｖ　＋ｂｙ）、下限Ｂｓｌｍ
　　（一ｂａｖ　−ｂｖ）とし、同様に既刈取り地にお
ける２値化しきい値の上限と下限とを、 赤色戒分について： 上限Ｒｓｈｋ，下限Ｒｓｌｋ 緑色戒分について： 」二限Ｇｓｈｋ　　，　　下限Ｇｓｌｋ青色戒分に付い
て： 上限Ｂｓｈｋ−．下限Ｂｓｌｋ とするとき、各色成分ごとについて、未刈取り地におけ
る２値化しきい値の上限と下限とで挟まれ２る値の範囲
と既刈取り地における２値化しきい値の上限と下限とで
挟まれる値の範囲とを比較し、前記範囲が互いに重複し
ないような色成分を選択し、この色成分についての２値
化しきい値決定の条件式（Ａ１）を以下のように設定す
る。

例えば、赤色戒分について選択できたとして、Ｒｓｈｍ
　＞Ｒｘｓ＞Ｒｓｌｍのとき「１」とし、その他のとき
にはｒＯＪとするか、 Ｒｓｈｋ　＞　Ｒｘｓ＞　Ｒｓｌｋとなるとき「０」と
し、その他のときには「１」とするものである。

このように２値化処理を実行して得た境界線をハフ変換
等にて仮想直線として求め、その仮想直線に沿って走行
機体１が進行するように電磁ソレノイド３４．３５を作
動させれば、未刈取り地と既刈取り地との境界に沿って
コンハインを走行させて刈取り脱穀作業を実行できるの
である。

なお、サンプリングデータの採取は始めの一回限りだけ
に限定されず、自動走行時における画像取込みごとに未
刈取り地部分のザンブリング領域のデータを基準に次回
の走行時の２値化条件式を作威し、順次この２値化条件
式を更新するようにしても良いのである。

〔発明の作用及び効果〕

この未刈取り地と既刈取り地との差異のように、１７一 １８ 同系色であって、ｈ色八分の信号し・＼ルの埴が瓦い似
かまっているときには、従来のごとく３原色の各色成分
の信号Ｌ・・＼ル中独で判別した場合には、未刈取り地
と既刈取り地との各色成分の差異は殆ど出てこない。

また分母に３原色の色成分の総和を取り、それにクｊず
る各色戒分の比率を求めるときには、明度を無視ずる形
となるだ２Ｊであって、米刈取り地と既刈取り地との色
或−）ｊの斧異が小さいときには、そのＺ″−異を強調
して判別することはできない。

しかし、本発明で番。１、赤色成分の色成分比率Ｒ　ｓ
　＝　（Ｒ／　（Ｂ　＋Ｇ）　）　、緑色威分の色成分
比十〇ｓ　−　（Ｇ／　（Ｂ＋Ｒ））　、青色八分の色
成分比率Ｂ　ｓ−（１３／　（Ｒ　十Ｇ）　）というよ
うに、他のＩ−Ｉ７つの色威分に対ずる・つの色威分の
比率を求めて、これを基礎にして２埴化しきい値を決定
するので、未刈取り地と既刈取り地とで各色成分の差異
が微小であっても、その斧異を強調した形で粘里を得る
ことができるので、同系色の−二つの領域で区別がイく
１き易くなるのである。

さらに、２値化処理の際のしきい値を決定−Ｊ−　７．
，手段とし，て、ｒめ圃場内を走行機体が走行して、未
作業地の画像情報をザンブリングし７て、その３色成分
の色成分比４シを基礎に＋，−（２仙化条イ！１式を作
成するので、撮像状況に応してＵ７きい値を晶適なもの
↓こ設定できること乙こなり、未作業地と既竹業地との
境界線の区別を明確に判別できる。

【図面の簡単な説明】

図面は本発明の実施例を示し、第１図１、よコンハイン
の平面図、第２図は側面図、第３図１．！本発明装置の
ブロノク図、第４図は撮像状態の説ｌリ１凶、第５図は
撮像画面の説明図、第６　Ｕｙ１ｉＪフローチャｌ・で
ある。 １・・・・コンハイン、３，３・・・・走行公置、１５
・・・・刈取部、２５・・・・中央制御装置、３６・・
・カラー撮像手段、，３７・・・・Ａ　／　Ｉ）変換器
、３８・・画像メモリ、３９・・・・２値化処理装置。 １９ 特開平３ １９６０７　（７）

Claims (1)

【特許請求の範囲】
1. （１）、走行作業機に搭載したカラー撮像手段にて圃場
   等の未刈取り地と既刈取り地とにわたる作業面を撮像し
   、そのカラー画像情報から未刈取り地と既刈取り地とに
   区別するための２値化処理する画像処理装置において、
   カラー画像情報から青色成分信号値（Ｂ）と赤色成分信
   号値（Ｒ）と緑色成分信号値（Ｇ）との３原色信号値を
   抽出する信号値抽出手段と、前記各信号値から、〔Ｂ／
   （Ｒ＋Ｇ）〕、〔Ｒ／（Ｂ＋Ｇ）〕、〔Ｇ／（Ｂ＋Ｒ）
   〕なる３つの色成分比率を演算する演算手段と、未刈取
   り地のサンプリング領域における前記３つの色成分比率
   と作業面における前記３つの色成分比率とを各々比較判
   断して未刈取り地と既刈取り地とに区別する２値化しき
   い値を決定する判別手段とから成ることを特徴とする走
   行作業機の操舵制御における画像情報の２値化処理装置
   。