[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7565677B2 - 農作業車のための障害物検出システム - Google Patents

農作業車のための障害物検出システム Download PDF

Info

Publication number
JP7565677B2
JP7565677B2 JP2019120480A JP2019120480A JP7565677B2 JP 7565677 B2 JP7565677 B2 JP 7565677B2 JP 2019120480 A JP2019120480 A JP 2019120480A JP 2019120480 A JP2019120480 A JP 2019120480A JP 7565677 B2 JP7565677 B2 JP 7565677B2
Authority
JP
Japan
Prior art keywords
obstacle
image
unit
detection
obstacle detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019120480A
Other languages
English (en)
Other versions
JP2021006011A (ja
Inventor
俊介 江戸
憲一 石見
隼輔 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2019120480A priority Critical patent/JP7565677B2/ja
Priority to US17/609,544 priority patent/US20220230444A1/en
Priority to PCT/JP2020/019932 priority patent/WO2020261823A1/ja
Priority to CN202080039882.6A priority patent/CN113873868A/zh
Priority to EP20830975.7A priority patent/EP3991531A4/en
Publication of JP2021006011A publication Critical patent/JP2021006011A/ja
Application granted granted Critical
Publication of JP7565677B2 publication Critical patent/JP7565677B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B76/00—Parts, details or accessories of agricultural machines or implements, not provided for in groups A01B51/00 - A01B75/00
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D75/00—Accessories for harvesters or mowers
    • A01D75/18—Safety devices for parts of the machines
    • A01D75/185—Avoiding collisions with obstacles
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D75/00—Accessories for harvesters or mowers
    • A01D75/20—Devices for protecting men or animals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A01D41/1274—Control or measuring arrangements specially adapted for combines for drives
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Soil Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Combines (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、圃場を走行しながら圃場作業を行う農作業車のための障害物検出システムに関する。
特許文献１には、機体に備えられたカメラによって取得された撮影画像を用いて、圃場における障害物が存在する存在領域を推定する画像認識モジュールを備えた収穫機が開示されている。この画像認識モジュールは、深層学習を採用したニューラルネットワーク技術を用いて構築されている。
特開２０１９－００４７７２号公報
特許文献１での障害物検出では、撮影画像を入力画像とし、深層学習を採用したニューラルネットワークで、障害物の検出が行われている。このようなニューラルネットワークでは、走行前方を撮影視野とする大きな画像サイズの撮影画像が入力画像として用いられる。このため、カメラから離れた障害物は小さい被写体となり、障害物検出ための演算回数が大きくなり、短時間で障害物を検出するためには、価格の高い高性能演算ユニットが要求される。
このことから、農作業車のための、コストパフォーマンスに優れた障害物検出システムが要望されている。
本発明による農作業車のための障害物検出システムは、圃場の障害物を検出する障害物センサと、前記障害物センサからの検出信号に基づいて、圃場における障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定部と、前記圃場を撮影し、撮影画像を出力する撮影部と、前記障害物存在領域情報と前記撮影部の撮影画角情報とに基づいて前記障害物の存在領域が含まれるように前記撮影画像をトリミングすることで得られる、元の撮影画像より画像サイズが縮小され、当該撮影画像に較べて前記障害物の存在領域の占める割合が大きくなっているトリミング画像を生成する画像前処理部と、入力された入力画像から前記障害物の検知結果を含む障害物検知情報を出力するように学習された学習型の障害物検知ユニットと、を備え、前記障害物検知ユニットは、機械学習されたニューラルネットワークとして構成されており、前記トリミング画像を入力画像として入力し、前記障害物の種類が含まれている前記障害物検知情報を出力する。
この障害物検出システムでは、従来から知られている、圃場の障害物を検出する障害物センサと、撮影画像を用いて障害物を検知する障害物検知ユニットとを備えている。例えば、障害物センサによって障害物が検出されると、当該障害物の存在領域を示す障害物存在領域情報が出力される。画像前処理部は、障害物存在領域情報を用いて、撮影部からの撮影画像における障害物存在領域を決定し、この障害物存在領域が含まれるように撮影画像をトリミングする。トリミングによって得られたトリミング画像は、障害物（反射体）を含むにもかかわらず、元の撮影画像より画像サイズが縮小された画像（画素数が少なくなった画像）となる。このトリミング画像が障害物検知ユニットの入力画像として用いられるので、障害物検知ユニットの演算負担、例えば、画像認識処理の演算負担が減少する。これにより、障害物検知ユニットのコストパフォーマンスが改善される。
障害物検知ユニットによって検出された障害物が農作業車の走行前方に位置する場合には、農作業車は障害物を回避する必要がある。あるいは、その障害物が農作業車の走行前方に位置しない場合でも、障害物が農作業車に近づいてくる可能性がある。このことから、本発明の好適な実施形態の１つでは、前記障害物検知ユニットから出力された前記障害物検知情報に基づいて、前記農作業車の走行制御が障害物回避制御に変更される。この障害物回避制御には、農作業車の減速、停止、あるいは旋回などが含まれることが好ましい。
本発明の好適な実施形態の１つでは、前記障害物センサは、超音波ビームまたは光ビームまたは電磁波ビームを用いた走査型センサであり、送信ビームが反射体で反射して戻ってくる反射ビームから前記検出信号を出力するように構成され、前記障害物推定部は、前記検出信号から、前記反射体を前記障害物とみなして、前記障害物の三次元位置を算出し、前記三次元位置を含む前記障害物存在領域情報を出力するように構成されている。このような走査型センサは、農作業車の周囲の広範囲を短い周期で探査することが可能であり、そのビームの戻り時間から障害物までの距離も算出可能である。したがって、障害物推定部は、このような走査型の障害物センサからの検出信号に基づいて、障害物の三次元位置を算出し、障害物存在領域情報として出力する。画像前処理部は、障害物の三次元位置と撮影画像を撮影する撮影部の撮影画角情報とに基づいて、撮影画像における障害物の位置を正確に算出するとともに、当該撮影画像から障害物を含む領域を取り出したトリミング画像を生成することができる。
撮影画像を前処理して得られた画像を入力画像とする障害物検知ユニットとして、パターンマッチングを用いた画像認識ユニットが従来から知られている。さらには、近年、機械学習されたニューラルネットワークを用いることで、障害物の種類（人や動物など）も正確に区分けする障害物検知ユニットが知られている。機械学習されたニューラルネットワークを構築するためには、高性能の演算ユニットが必要となるが、適切にトリミングされたトリミング画像を入力画像とすることで、汎用的な演算ユニットでも良好な推定結果を出力することが可能となる。このことから、本発明の好適な実施形態の１つでは、前記障害物検知ユニットは、機械学習されたニューラルネットワークとして構成されており、前記入力画像に基づいて出力される前記障害物検知情報には、前記障害物の種類が含まれている。
コンバインの側面図である。 コンバインの平面図である。 コンバインの制御系の機能ブロック図である。 障害物検出システムにおける制御の流れを示す模式図である。 障害物検出システムにおける各処理ステップで生成されるデータを画像の形態で表した模式図である。
本発明を実施するための形態について、図面に基づき説明する。尚、以下の説明においては、特に断りがない限り、図１及び図２に示す矢印Ｆの方向を「前」、矢印Ｂの方向を「後」とする。また、図２に示す矢印Ｌの方向を「左」、矢印Ｒの方向を「右」とする。また、図１に示す矢印Ｕの方向を「上」、矢印Ｄの方向を「下」とする。
本発明による障害物検出システムを搭載する農作業車の一形態である普通型のコンバインは、図１及び図２に示すように、クローラ式の走行装置１１、運転部１２、脱穀装置１３、穀粒タンク１４、収穫部１５、搬送装置１６、穀粒排出装置１８、衛星測位モジュール８０を備えている。コンバインの機体１０は、コンバインの主な構成要素の集合体を意味するが、場合によっては、走行装置１１や収穫部１５などの個別の構成要素を意味することがある。
走行装置１１は、コンバインにおける下部に備えられている。また、走行装置１１は、エンジン（図示せず）からの動力によって駆動する。運転部１２、脱穀装置１３、穀粒タンク１４は、走行装置１１よりも上側に備えられている。運転部１２には、コンバインの作業を監視するオペレータが搭乗可能である。尚、オペレータは、コンバインの機外からコンバインの作業を監視していても良い。
穀粒排出装置１８は、脱穀装置１３及び穀粒タンク１４よりも上側に設けられている。また、衛星測位モジュール８０は、運転部１２を構成するキャビンの天井上面に取り付けられている。衛星測位モジュール８０は、人工衛星ＧＳからのＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の信号（ＧＰＳ信号を含む）を受信して、機体位置を取得する。なお、衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール８０に組み込まれている。もちろん、慣性航法ユニットは、コンバインにおいて衛星測位モジュール８０と別の箇所に配置されても良い。
収穫部１５は、コンバインにおける前部に備えられている。そして、搬送装置１６は、収穫部１５の後端部と脱穀装置１３の前端部とに亘る状態で設けられている。収穫部１５及び搬送装置１６は、不図示の油圧シリンダの伸縮作動によって、機体横向き軸芯回りに上下揺動可能に構成されている。
収穫部１５は、収穫対象の植立穀稈を掻き込むと共に、圃場の植立穀稈を刈り取る。これにより、収穫部１５は、圃場の植立穀稈を収穫する。コンバインは、収穫部１５によって圃場の植立穀稈を刈り取りながら走行装置１１によって走行する。
収穫部１５により刈り取られた刈取穀稈は、搬送装置１６によって脱穀装置１３へ搬送される。脱穀装置１３において、刈取穀稈は脱穀処理される。脱穀処理により得られた穀粒は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された穀粒は、必要に応じて、穀粒排出装置１８によって機外に排出される。
図１及び図２に示すように、コンバインは、走査ビーム式の障害物センサの一例であるＬＩＤＡＲ２１が穀粒排出装置１８の前端に取り付けられている。ＬＩＤＡＲ２１は、走査ビームとしてパルス状のレーザビーム（送信ビーム）を放射して、障害物などの反射体で反射されてくる反射ビームを検出する。ビームの伝播時間に基づいて反射体までの距離を算出することができる。ＬＩＤＡＲ２１は、水平方向にレーザビームを走査させることができるので、複数台のＬＩＤＡＲ２１の走査面を鉛直方向に並べることで、実質的に三次元の走査も可能となる。この実施形態では、少なくとも１２０度を超える水平走査角を有する２つのＬＩＤＡＲ２１が、植立穀稈の高さ以下のレベルと、植立穀稈の高さを超える高さのレベルとに分けられて配置されている。
さらに、穀粒排出装置１８の前端には、圃場の撮影画像を出力する撮影部としてのカメラ２２も取り付けられている。カメラ２２の撮影範囲は、コンバインの走行方向前方の圃場となっている。カメラ２２の取付位置は調整可能であるが、調整後は、固定され、その撮影画角も決定している。この実施形態では、カメラ２２には広角レンズが装着されており、その撮影画角はほぼ１２０度である。
図３には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のＥＣＵと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。報知デバイス８４は、運転者等に障害物の検出結果や作業走行の状態などの警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。
制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。衛星測位モジュール８０からの測位データ、カメラ２２からの撮影画像、ＬＩＤＡＲ２１からの検出信号は、配線網を通じて制御ユニット６に入力される。
制御ユニット６は、入出力インタフェースとして、出力処理部６Ｂと入力処理部６Ａとを備えている。出力処理部６Ｂは、車両走行機器群７Ａおよび作業装置機器群７Ｂと接続している。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群７Ｂには、収穫部１５、搬送装置１６、脱穀装置１３、穀粒排出装置１８における動力制御機器などが含まれている。
入力処理部６Ａには、走行状態検出センサ群８２や作業状態検出センサ群８３などが接続されている。走行状態検出センサ群８２には、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業状態検出センサ群８３には、収穫部１５、搬送装置１６、脱穀装置１３、穀粒排出装置１８における装置状態および穀稈や穀粒の状態を検出するセンサが含まれている。
制御ユニット６には、走行制御モジュール６０、障害物処理ユニット５０、障害物回避指令生成部６５、機体位置算出部６６、報知部６７が備えられている。この実施形態では、障害物検出システムは、ＬＩＤＡＲ２１と、カメラ２２と、機体位置算出部６６と、障害物処理ユニット５０とから構成されている。
報知部６７は、制御ユニット６の各機能部からの要求に基づいて報知データを生成し、報知デバイス８４に与える。機体位置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１０の少なくとも１つの特定箇所、例えば収穫部１５などの地図座標（または圃場座標）である機体位置を算出する。
この実施形態のコンバインは、自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能である。走行制御モジュール６０には、走行制御部６１と作業制御部６２とに加えて、走行指令部６３および走行経路設定部６４が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）が運転部１２内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。
走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、収穫部１５、脱穀装置１３、穀粒排出装置１８、搬送装置１６などの動きを制御するために、作業装置機器群７Ｂに作業制御信号を与える。
走行経路設定部６４は、自動走行のための走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。
走行指令部６３は、自動走行指令として、自動操舵指令および車速指令を生成して、走行制御部６１に与える。自動操舵指令は、走行経路設定部６４によって設定された走行経路と、機体位置算出部６６によって算出された自機位置との間の方位ずれおよび位置ずれを解消するように生成される。自動走行時には、車速指令は、前もって設定されている車速値に基づいて生成される。手動走行時には、車速指令は、手動車速操作に基づいて生成される。但し、障害物検出などの緊急事態が発生した場合は、強制的な停止を含む車速変更や、エンジン停止などが自動的に行われる。
自動走行モードが選択されている場合、走行指令部６３によって与えられる自動走行指令に基づいて、走行制御部６１は、操舵に関する車両走行機器群７Ａや車速に関する車両走行機器群７Ａを制御する。手動走行モードが選択されている場合、運転者による操作に基づいて、走行制御部６１が制御信号を生成し、車両走行機器群７Ａを制御する。
障害物処理ユニット５０は、ＬＩＤＡＲ２１からの検出信号と、カメラ２２からの撮影画像とに基づいて、障害物の位置及び種類を検知する機能を有する。障害物処理ユニット５０には、画像取得部５１と、障害物推定部５２と、画像前処理部５３と、障害物検知ユニット５４とが含まれている。次に、図４と図５とを用いて障害物処理ユニット５０における障害物検知の流れを説明する。なお、図５では、図４で示されている各機能部によって生成されるデータが画像として表現されている。
ＬＩＤＡＲ２１が動作するとＬＩＤＡＲ２１から検出信号が出力され、カメラ２２が動作するとカメラ２２から撮影画像が出力される（図５の＃０１）。画像取得部５１は、カメラ２２から所定周期で送られてくる撮影画像を、機体位置算出部６６によって算出された自機位置とリンクさせてメモリに格納する。さらに、画像取得部５１は、所定位置におけるカメラ２２による撮影画像に写り込む撮影領域を算出するために必要な撮影画角を撮影画角情報として管理している。
障害物推定部５２は、ＬＩＤＡＲ２１からの検出信号を機体位置算出部６６によって算出された自機位置とリンクさせてメモリに格納するとともに、この検出信号に基づいて、圃場における障害物が存在する障害物存在領域を推定して障害物存在領域情報を出力する（図５の＃０２）。具体的には、障害物推定部５２は、ＬＩＤＡＲ２１から送られてくる検出信号を蓄積して、三次元空間で管理する。これにより、レーダのような３次元点群データが得られる。この点群データを構成する各点は、三次元座標値（三次元位置）を有する。圃場に障害物が存在しない場合には、植立穀稈または圃場の刈取り面からの反射ビームに基づく一様分布した点群データが得られるが、送信ビームの反射体としての障害物が存在すれば、その反射ビームによって特徴付けられる当該障害物が存在している領域が他の領域とは異なる点群データを示すことになる。これにより、障害物の存在領域が推定可能となる。障害物推定部５２は、その障害物の存在領域を示す点群データから障害物存在領域を推定し、障害物存在領域情報として出力する。
画像前処理部５３は、トリミング領域算出処理機能とトリミング処理機能とを備えている。トリミング領域算出処理では、障害物推定部５２から出力される障害物存在領域情報と、画像取得部５１で管理されている撮影画角情報とに基づいて、障害物推定画像における撮影画像の領域が決定される（図５の＃０３）。
撮影画像の領域から障害物の存在が推定される障害物推定領域が絞り込まれる。この障害物推定領域が、撮影画像に対するトリミング枠となり、この撮影画像におけるトリミング枠の位置を示すトリミングデータが生成される（図５の＃０４）。
トリミング処理では、画像取得部５１で取得された撮影画像に対して、トリミング枠を用いてトリミング処理が行われ、撮影画像における一部の領域からなるトリミング画像が生成される（図５の＃０５）。推定された障害物が含まれているトリミング画像は、撮影画像の一部の領域であり、画素数が低減された入力画像として、障害物検知ユニット５４に与えられる。
障害物検知ユニット５４は、機械学習されたニューラルネットワークで構成されており、ディープラーニングアルゴリズムが用いられている。ディープラーニングアルゴリズムは、通常高性能な演算ユニットを要求する。しかしながら、このニューラルネットワークには、入力画像として、撮影画像から、障害物の存在が推定される領域が含まれるようにトリミングされたトリミング画像が用いられているので、高性能な演算ユニットを用いなくとも、効果的な結果が迅速に得られる。出力される障害物検知情報には、障害物の種類（人間、動物、電柱など）や障害物の位置などの検知結果が含まれる。障害物検知情報と障害物存在領域情報とに基づいて、機体１０からの障害物への方向及び距離が算出可能である。障害物検知情報は、障害物検知を報知するために報知部６７に与えられる。
障害物回避指令生成部６５は、機体１０からの障害物への方向及び距離に基づいて、障害物回避制御を行うため、機体１０の減速指令、停止指令、旋回指令などから最適なものを選択して障害物回避指令を生成して、走行制御モジュール６０に与える。
なお、図３と図４とに示された障害物処理ユニット５０を構成する構成要素は、主に説明目的で分けられており、当該構成要素の統合や、当該構成要素の分割は、自由に行われてよい。
〔別実施の形態〕
（１）上述した実施形態では、走査ビーム式の障害物センサ（走査型センサ）として、光ビーム（レーザビーム）を用いた２台のＬＩＤＡＲ２１が採用されたが、１台でもよいし、３台以上でもよい。さらには、走査ビーム式の障害物センサとして、超音波ビームを用いた超音波センサや赤外線ビームを用いた赤外線センサや電磁波ビームを用いたレーダを採用してもよい。
（２）上述した実施形態では、カメラ２２として広角レンズを装着した可視光カメラが採用されたが、赤外光カメラあるいは可視光カメラと赤外光カメラとからなるハイブリッドカメラを採用してもよい。
（３）上述した実施形態では、ＬＩＤＡＲ２１及びカメラ２２は、穀粒排出装置１８の前端に取り付けられていたが、もちろんその他の部位に、しかもそれぞれ別々の部位に取り付けられることも可能である。走行方向の前方を監視することが重要なので、コンバインの前部、例えば、収穫部１５や運転部１２の天井前端が好適である。
（４）上述した実施形態では、障害物検知ユニット５４は、ディープラーニングアルゴリズムを用いて機械学習されたニューラルネットワークで構成されていたが、もちろん、ディープラーニングアルゴリズム以外のアルゴリズムを用いたニューラルネットワーク、例えばリカレントニューラルネットワークで構成されてもよい。さらには、機械学習されたニューラルネットワーク以外の画像認識技術が採用されてもよい。
（５）上述した実施形態では、農作業車として普通型コンバインが取り扱われたが、これに代えて、自脱型コンバイン、さらには、トラクタや田植機などが取り扱われてもよい。
本発明は、障害物検出が必要な農作業車に適用可能である。
１０ ：機体
２１ ：ＬＩＤＡＲ（障害物センサ）
２２ ：カメラ（撮影部）
５０ ：障害物処理ユニット
５１ ：画像取得部
５２ ：障害物推定部
５３ ：画像前処理部
５４ ：障害物検知ユニット
６ ：制御ユニット
６０ ：走行制御モジュール
６１ ：走行制御部
６２ ：作業制御部
６３ ：走行指令部
６４ ：走行経路設定部
６５ ：障害物回避指令生成部
６６ ：機体位置算出部
８０ ：衛星測位モジュール
８４ ：報知デバイス

Claims (3)

  1. 農作業車のための障害物検出システムであって、
    圃場の障害物を検出する障害物センサと、
    前記障害物センサからの検出信号に基づいて、前記圃場における前記障害物の存在領域を推定して障害物存在領域情報を出力する障害物推定部と、
    前記圃場を撮影し、撮影画像を出力する撮影部と、
    前記障害物存在領域情報と前記撮影部の撮影画角情報とに基づいて前記障害物の前記存在領域が含まれるように前記撮影画像をトリミングすることで得られる、元の撮影画像より画像サイズが縮小され、当該撮影画像に較べて前記障害物の存在領域の占める割合が大きくなっているトリミング画像を生成する画像前処理部と、
    入力された入力画像から前記障害物の検知結果を含む障害物検知情報を出力するように学習された学習型の障害物検知ユニットと、を備え、
    前記障害物検知ユニットは、機械学習されたニューラルネットワークとして構成されており、前記トリミング画像を入力画像として入力し、前記障害物の種類が含まれている前記障害物検知情報を出力する障害物検出システム。
  2. 前記障害物検知ユニットから出力された前記障害物検知情報に基づいて、前記農作業車の走行制御が障害物回避制御に変更される請求項１に記載の障害物検出システム。
  3. 前記障害物センサは、超音波ビームまたは光ビームまたは電磁波ビームを用いた走査型センサであり、送信ビームが反射体で反射して戻ってくる反射ビームから前記検出信号を出力し、
    前記障害物推定部は、前記検出信号から、前記反射体を前記障害物とみなして、前記障害物の三次元位置を算出し、前記三次元位置を含む前記障害物存在領域情報を出力する請求項１または２に記載の障害物検出システム。
JP2019120480A 2019-06-27 2019-06-27 農作業車のための障害物検出システム Active JP7565677B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019120480A JP7565677B2 (ja) 2019-06-27 2019-06-27 農作業車のための障害物検出システム
US17/609,544 US20220230444A1 (en) 2019-06-27 2020-05-20 Obstacle Detection System, Agricultural Work Vehicle, Obstacle Detection Program, Recording Medium on Which Obstacle Detection Program is Recorded, and Obstacle Detection Method
PCT/JP2020/019932 WO2020261823A1 (ja) 2019-06-27 2020-05-20 障害物検出システム、農作業車、障害物検出プログラム、障害物検出プログラムを記録した記録媒体、障害物検出方法
CN202080039882.6A CN113873868A (zh) 2019-06-27 2020-05-20 障碍物检出系统、农用作业车辆、障碍物检出程序、存储障碍物检出程序的存储介质、障碍物检出方法
EP20830975.7A EP3991531A4 (en) 2019-06-27 2020-05-20 OBSTACLE DETECTION SYSTEM, AGRICULTURAL WORK VEHICLE, OBSTACLE DETECTION PROGRAM, RECORDING MEDIA ON WHICH AN OBSTACLE DETECTION PROGRAM IS RECORDED, AND OBSTACLE DETECTION METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019120480A JP7565677B2 (ja) 2019-06-27 2019-06-27 農作業車のための障害物検出システム

Publications (2)

Publication Number Publication Date
JP2021006011A JP2021006011A (ja) 2021-01-21
JP7565677B2 true JP7565677B2 (ja) 2024-10-11

Family

ID=74061350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019120480A Active JP7565677B2 (ja) 2019-06-27 2019-06-27 農作業車のための障害物検出システム

Country Status (5)

Country Link
US (1) US20220230444A1 (ja)
EP (1) EP3991531A4 (ja)
JP (1) JP7565677B2 (ja)
CN (1) CN113873868A (ja)
WO (1) WO2020261823A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4268152A1 (en) * 2020-12-28 2023-11-01 Blue River Technology Inc. Machine-learned obstruction detection in a farming machine
US11733369B2 (en) 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
JP7482838B2 (ja) 2021-06-28 2024-05-14 株式会社クボタ 作業支援システム
US20230027496A1 (en) * 2021-07-22 2023-01-26 Cnh Industrial America Llc Systems and methods for obstacle detection
WO2023119996A1 (ja) * 2021-12-24 2023-06-29 株式会社クボタ 障害物検出システム、農業機械および障害物検出方法
GB202213881D0 (en) * 2022-09-23 2022-11-09 Agco Int Gmbh Operator assistance system
GB202213882D0 (en) * 2022-09-23 2022-11-09 Agco Int Gmbh Operator assistance system
CN115390572A (zh) * 2022-10-28 2022-11-25 潍柴雷沃智慧农业科技股份有限公司 一种无人收获机的避障控制方法和系统
WO2024095798A1 (ja) * 2022-10-31 2024-05-10 株式会社クボタ 障害物検知システム
JP2024092334A (ja) * 2022-12-26 2024-07-08 株式会社クボタ 作業車両

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343198A (ja) 2005-06-08 2006-12-21 Hiroshi Murase 車両用画像処理装置、運転支援装置
JP2008230476A (ja) 2007-03-22 2008-10-02 Denso Corp 車両外部撮影表示システムおよび画像表示制御装置
JP2016224854A (ja) 2015-06-03 2016-12-28 シャープ株式会社 自律走行装置
WO2018207303A1 (ja) 2017-05-11 2018-11-15 三菱電機株式会社 車載用監視カメラ装置
JP2018194912A (ja) 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
JP2018197945A (ja) 2017-05-23 2018-12-13 株式会社デンソーテン 障害物検出装置および障害物検出方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007025739A (ja) * 2005-07-12 2007-02-01 Alpine Electronics Inc 車両用画像表示装置
JP5617396B2 (ja) * 2010-07-13 2014-11-05 株式会社デンソー 運転支援装置
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
DE102016118227A1 (de) * 2016-09-27 2018-03-29 Claas Selbstfahrende Erntemaschinen Gmbh Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
JP6739364B2 (ja) * 2017-01-20 2020-08-12 株式会社クボタ 自動走行作業車
JP2018136803A (ja) * 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
JP6833630B2 (ja) * 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
JP7068781B2 (ja) 2017-06-23 2022-05-17 株式会社クボタ 収穫機
KR102589076B1 (ko) * 2017-06-23 2023-10-16 가부시끼 가이샤 구보다 수확기
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
DE102017122712A1 (de) * 2017-09-29 2019-04-04 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
DE102017122710A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
JP6919531B2 (ja) * 2017-11-30 2021-08-18 井関農機株式会社 作業車両
CN109344687B (zh) * 2018-08-06 2021-04-16 深圳拓邦股份有限公司 基于视觉的障碍物检测方法、装置、移动设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343198A (ja) 2005-06-08 2006-12-21 Hiroshi Murase 車両用画像処理装置、運転支援装置
JP2008230476A (ja) 2007-03-22 2008-10-02 Denso Corp 車両外部撮影表示システムおよび画像表示制御装置
JP2016224854A (ja) 2015-06-03 2016-12-28 シャープ株式会社 自律走行装置
WO2018207303A1 (ja) 2017-05-11 2018-11-15 三菱電機株式会社 車載用監視カメラ装置
JP2018194912A (ja) 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
JP2018197945A (ja) 2017-05-23 2018-12-13 株式会社デンソーテン 障害物検出装置および障害物検出方法

Also Published As

Publication number Publication date
EP3991531A1 (en) 2022-05-04
WO2020261823A1 (ja) 2020-12-30
JP2021006011A (ja) 2021-01-21
CN113873868A (zh) 2021-12-31
EP3991531A4 (en) 2023-07-26
US20220230444A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
JP7565677B2 (ja) 農作業車のための障害物検出システム
JP7034866B2 (ja) 収穫機
JP7195543B2 (ja) 収穫機
JP7246641B2 (ja) 農作業機
US20190225214A1 (en) Advanced wild-life collision avoidance for vehicles
JP7381402B2 (ja) 自動走行システム
JP7433362B2 (ja) 走行経路生成システム
WO2020261824A1 (ja) 作業車、障害物検知方法、および障害物検知プログラム
JP7068781B2 (ja) 収穫機
JP2019062793A (ja) コンバインの制御システム
JP2019083703A (ja) 収穫機
WO2020218464A1 (ja) 収穫機、障害物判定プログラム、障害物判定プログラムを記録した記録媒体、障害物判定方法、農作業機、制御プログラム、制御プログラムを記録した記録媒体、制御方法
JP2020178619A (ja) 農作業機
JP7527838B2 (ja) 農作業機
JP7041889B2 (ja) 自脱型コンバイン
JP7482838B2 (ja) 作業支援システム
WO2020218528A1 (ja) 収穫機等の農作業機
WO2020262416A1 (ja) 自動走行システム、農作業機、プログラム、プログラムを記録した記録媒体、及び方法
WO2020262287A1 (ja) 農作業機、自動走行システム、プログラム、プログラムを記録した記録媒体、及び方法
WO2024095798A1 (ja) 障害物検知システム
JP7174487B2 (ja) 農作業機
JP6765349B2 (ja) 収穫機
JP2024082938A (ja) 車両制御システム及び作業車
JP2023097980A (ja) 走行管理システム
JP2024084486A (ja) 作業車

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221025

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241001

R150 Certificate of patent or registration of utility model

Ref document number: 7565677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150