[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5629740B2 - 作業車両用周辺監視システム及び作業車両 - Google Patents

作業車両用周辺監視システム及び作業車両 Download PDF

Info

Publication number
JP5629740B2
JP5629740B2 JP2012208733A JP2012208733A JP5629740B2 JP 5629740 B2 JP5629740 B2 JP 5629740B2 JP 2012208733 A JP2012208733 A JP 2012208733A JP 2012208733 A JP2012208733 A JP 2012208733A JP 5629740 B2 JP5629740 B2 JP 5629740B2
Authority
JP
Japan
Prior art keywords
image
work vehicle
vessel
dump truck
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012208733A
Other languages
English (en)
Other versions
JP2014064208A (ja
Inventor
光田 慎治
慎治 光田
栗原 毅
毅 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2012208733A priority Critical patent/JP5629740B2/ja
Priority to CN201280002985.0A priority patent/CN103828353B/zh
Priority to PCT/JP2012/077062 priority patent/WO2014045457A1/ja
Priority to AU2012372161A priority patent/AU2012372161A1/en
Priority to CA2817396A priority patent/CA2817396C/en
Priority to US13/825,175 priority patent/US9796330B2/en
Publication of JP2014064208A publication Critical patent/JP2014064208A/ja
Application granted granted Critical
Publication of JP5629740B2 publication Critical patent/JP5629740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)

Description

本発明は、作業車両の周辺を監視する技術に関する。
土木作業現場又は鉱山の採石現場では、ダンプトラック、油圧ショベル等といった様々な作業車両が稼働する。特に鉱山においては、超大型の作業車両が用いられる。このような作業車両は、一般的な車両と比較して著しく車幅及び車高、さらには前後長さが大きいため、サイドミラー等によって周辺の状況をオペレータが確認し、把握することが困難である。このため、車両周辺の状況をオペレータに簡易に把握させ、運転支援をする技術として、車両の周辺を監視する装置が提案されている。例えば、鳥瞰されたダンプトラックの全体を表すグラフィック画像又は輪郭画像を、複数のカメラの出力に基づく鳥瞰図画像に透過的に多重する技術が記載されている(特許文献1)。
特開2010−093605号公報
作業車両のオペレータは、作業車両を操作する際に、作業車両とその周囲に存在する物体との関係を把握するため、俯瞰画像に作業車両の全体を表示したい場合がある。このとき、作業車両の下方を透過して俯瞰画像に表示すると、オペレータは作業車両の全体を把握しにくい可能性がある。その結果、オペレータ(作業車両を点検又は修理する際はサービスマン)は、作業車両とその周囲に存在する物体との関係を把握しにくくなる可能性がある。
本発明は、複数の撮像装置が撮像した画像を合成した俯瞰画像によって運転支援をするにあたって、作業車両の操作者が理解しやすい画像を提供することを目的とする。
本発明は、前輪及び後輪を支持する車体フレームと、前記後輪よりも前記車体フレームの後方に張り出して積荷を積載するベッセルとを含む作業車両の周辺を監視するシステムであり、前記作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、複数の前記画像情報を取得し、取得した前記画像情報を合成して前記作業車両及びその周辺の俯瞰画像を表示装置に表示するための俯瞰画像情報を生成する俯瞰画像合成部と、前記作業車両の後方側における一部が除かれた前記ベッセルを少なくとも含む第1ベッセル画像を前記俯瞰画像の前記作業車両が存在する領域に重ねた第1画像と、すべての前記ベッセルを少なくとも含む第2ベッセル画像を前記俯瞰画像が存在する領域に重ねた第2画像と、のいずれか一方を前記表示装置に表示する表示制御部と、を含むことを特徴とする作業車両用周辺監視システムである。
本発明において、前記表示制御部は、前記作業機械を操作する操作者の操作に基づいて、前記第1画像の表示と前記第2画像との表示を切り替えることが好ましい。
本発明において、前記表示制御部は、前記作業車両の状態に応じて、前記第1画像の表示と前記第2画像との表示を切り替えることが好ましい。
本発明において、前記表示制御部は、前記作業車両の走行速度に基づいて、前記第1画像の表示と前記第2画像との表示を切り替えることが好ましい。
本発明において、前記作業車両は、自身の後方に存在する物体を検知する物体検出装置を有し、
前記表示制御部は、前記物体検出装置が物体を検出した場合に、前記第1画像の表示と前記第2画像との表示を切り替えることが好ましい。
本発明において、
前記表示制御部は、前記作業車両の走行モードが後進になった場合に、前記第1画像の表示と前記第2画像との表示を切り替えることが好ましい。
本発明は、前輪及び後輪を支持する車体フレームと、前記後輪よりも前記車体フレームの後方に張り出して積荷を積載するベッセルとを含む作業車両の周辺を監視するシステムであり、前記作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、複数の前記画像情報を取得し、取得した前記画像情報を合成して前記作業車両及びその周辺の俯瞰画像を表示装置に表示するための俯瞰画像情報を生成する俯瞰画像合成部と、前記作業車両の後方側における一部が除かれた前記ベッセルを少なくとも含む第1ベッセル画像を前記俯瞰画像の前記作業車両が存在する領域に重ねた第1画像と、すべての前記ベッセルを少なくとも含む第2ベッセル画像を前記俯瞰画像が存在する領域に重ねた第2画像と、のいずれか一方を前記表示装置に表示する表示制御部と、を含み、前記表示制御部は、前記作業機械を操作する操作者の操作又は前記作業車両の状態に応じて前記表示を切り替えることを特徴とする作業車両用周辺監視システムである。
本発明において、前記第1ベッセル画像は、前記ベッセルに表示された前記前輪及び前記後輪を含み、前記第2ベッセル画像は、前記ベッセルに表示された前記前輪及び前記後輪を含むことが好ましい。
本発明において、前記表示制御部は、前記前輪及び前記後輪の全体を表示することが好ましい。
本発明において、前記後輪は、前記ベッセルの左側と右側とにそれぞれ複数の車輪が表示されることが好ましい。
本発明において、前記第1ベッセル画像は、前記作業車両の後方側における前記後輪の端部よりも後方が除かれていることが好ましい。
本発明は、前記作業車両用周辺監視システムを備えたことを特徴とする作業車両である。
本発明は、複数の撮像装置が撮像した画像を合成した俯瞰画像によって運転支援をするにあたって、作業車両の操作者が理解しやすい画像を提供することができる。
図1は、本実施形態に係る作業車両を示す斜視図である。 図2は、本実施形態に係る作業車両が有するキャブ3の構造及び内部を示す図である。 図3は、本実施形態に係る周辺監視システム10を示す図である。 図4は、本実施形態に係る周辺監視システム10が有する撮像装置11〜16を搭載したダンプトラック1の斜視図である。 図5は、複数の撮像装置11〜16によって撮像される領域及び複数の撮像装置11〜16によって撮像された画像の情報に基づいて生成された俯瞰画像200を示す模式図である。 図6は、レーダ装置21〜26の配置を示す斜視図である。 図7は、仮想投影面VPを用いた画像変換の手法を示す図である。 図8は、俯瞰画像情報200Iを示す概念図である。 図9は、第1ベッセル画像200B1を示す図である。 図10は、第2ベッセル画像200B2を示す図である。 図11は、第1俯瞰画像201の一例を示す図である。 図12は、第2俯瞰画像202の一例を示す図である。 図13は、第1俯瞰画像201の表示と第2俯瞰画像202の表示とを切り替える制御の一例を示すフローチャートである。
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。以下の説明において、前、後、左及び右は、運転席に着座した操作者であるオペレータを基準とする用語である。例えば、前は、運転席に着座したオペレータの視線が向かう側であり、運転席からオペレータによって操作されるハンドルに向かう側である。後は、前の反対側であり、ハンドルから運転席に向かう側である。作業車両の車幅方向は、作業車両の左右方向と同義である。
<作業車両>
図1は、本実施形態に係る作業車両を示す斜視図である。図2は、本実施形態に係る作業車両が有するキャブ3の構造及び内部を示す図である。本実施形態において、作業車両としてのダンプトラック(オフハイウェイトラックともいう)1は、鉱山での作業等に用いられる自走式の超大型の車両である。ダンプトラックの形式は限定されるものではない。ダンプトラック1は、例えば、アーティキュレーテッド式等であってもよい。ダンプトラック1は、車体部2と、キャブ3と、ベッセル4と、前輪5と、後輪6とを含む。車体部2は、アッパデッキ2b及び前後方向に沿って配置されたフレーム2fを含む。また、ダンプトラック1は、自身の周囲を監視して、その結果を表示する周辺監視システムを有する。周辺監視システムの詳細は後述する。
本実施形態において、ダンプトラック1は、ディーゼルエンジン等の内燃機関が発電機を駆動することによって発生した電力で電動機を駆動し、後輪6を駆動する。このように、ダンプトラック1は、いわゆる電気駆動方式であるが、ダンプトラック1の駆動方式はこれに限定されるものではない。例えば、ダンプトラック1は、内燃機関の動力を、トランスミッションを介して後輪6へ伝達し、これを駆動するものであってもよいし、架線からトロリーを介して供給された電力で電動機を駆動し、この電動機によって後輪6を駆動するものであってもよい。
フレーム2fは、内燃機関及び発電機等の動力発生機構とその補機類とを支持している。フレーム2fの前部には、左右の前輪5(図1では右前輪のみを示している)が支持されている。フレーム2fの後部には、左右の後輪6(図1では右後輪のみを示している)が支持されている。前輪5及び後輪6は、直径が2m(メートル)〜4m(メートル)程度である。後輪6は、ベッセル4の幅方向内側の位置又はベッセル4の幅方向外側と後輪6の幅方向外側とがほぼ同じ位置に配置される。フレーム2fは、ロアデッキ2aと、アッパデッキ2bとを有する。このように、鉱山で用いられるダンプトラック1は、ロアデッキ2aとアッパデッキ2bとを有する二重デッキ構造となっている。
ロアデッキ2aは、フレーム2fの前面の下部に取り付けられる。アッパデッキ2bは、ロアデッキ2aの上方に配置されている。ロアデッキ2aの下方には、例えば、キャブ3への乗降用に用いられる可動式のラダー2cが配置されている。ロアデッキ2aとアッパデッキ2bとの間には、両者の間を行き来するための斜めラダー2dが配置されている。また、ロアデッキ2aとアッパデッキ2bとの間には、ラジエーターが配置されている。アッパデッキ2bの上には、柵状の手すり2eが配置されている。本実施形態において、ラダー2c及び斜めラダー2dは、アッパデッキ2b及びロアデッキ2aの一部であるものとする。
図1に示すように、キャブ(運転室)3は、アッパデッキ2b上に配置されている。キャブ3は、アッパデッキ2b上において、車幅方向の中央よりも車幅方向における一方側にずらされて配置されている。具体的には、キャブ3は、アッパデッキ2b上において車幅方向の中央よりも左側に配置されている。キャブ3の配置は、車幅方向の中央よりも左側に限定されるものではない。例えば、キャブ3は、車幅方向の中央よりも右側に配置されていてもよいし、車幅方向の中央に配置されていてもよい。キャブ3内には、運転席、ハンドル、シフトレバー、アクセルペダル及びブレーキペダル等の操作部材が配置されている。
図2に示すように、キャブ3は、複数本(本実施形態では4本)の支柱3a、3b、3c、3dを含むROPS(Roll-Over Protection System:転倒時保護構造)を備えている。ROPSは、万一ダンプトラック1が転倒した場合、キャブ3内のオペレータを保護する。ダンプトラック1の運転者は、車体部2の左側の路肩を容易に確認できる状態で走行するが、車体部2の周囲を確認するためには、頭を大きく動かす必要がある。また、アッパデッキ2bには、ダンプトラック1の周囲を確認するために、図示しないサイドミラーが複数設けられている。これらのサイドミラーは、キャブ3から離れた位置に配置されているので、運転者は、サイドミラーを用いて車体部2の周辺を確認する場合にも、頭を大きく動かす必要がある。
図2に示すように、キャブ3内には、運転席31、ハンドル32、ダッシュカバー33、無線装置34、ラジオ受信機35、リターダ36、シフトレバー37、トレーナー席38、図2には示していない監視制御装置としてのコントローラ(詳細は後述する)、モニタ50、アクセルペダル及びブレーキペダル等が設けられている。モニタ50は、ダッシュカバー33に組み込まれたものを図2に示している。しかし、これに限定されず、例えば、モニタ50は、ダッシュカバー33の上に設置されたものでもよいし、キャブ3内の天井から吊り下げて設置されたものでもよい。つまり、オペレータがモニタ50を視認できる位置にモニタ50が設置されていればよい。なお、図2には示していないコントローラは、後述する周辺監視システム10の一部である。シフトレバー37は、ダンプトラック1のオペレータが、ダンプトラック1の進行方向を切り替えたり、速度段を切り替えたりするための装置である。
図1に示すベッセル4は、砕石等の積荷を積載するための容器である。ベッセル4の底面の後部は、回転ピンを介してフレーム2fの後部に回動可能に連結されている。ベッセル4は、油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取ることができる。積載姿勢は、図1に示すように、ベッセル4の前部がキャブ3の上部に位置する姿勢である。起立姿勢は、積荷を排出する姿勢であり、ベッセル4が後方かつ下方へ向かって傾斜した状態となる姿勢である。ベッセル4の前部が上方に回動することによってベッセル4は積載姿勢から起立姿勢に変化する。ベッセル4は、前方に鍔部4Fを有している。鍔部4Fは、プロテクターとも呼ばれることがあり、キャブ3の上方まで延出してキャブ3を覆っている。キャブ3の上方に延出した鍔部4Fは、砕石等の衝突からキャブ3を保護する。
<周辺監視システム>
図3は、本実施形態に係る周辺監視システム10を示す図である。図4は、本実施形態に係る周辺監視システム10が有する撮像装置11〜16を搭載したダンプトラック1の斜視図である。図5は、複数の撮像装置11〜16によって撮像される領域及び複数の撮像装置11〜16によって撮像された画像の情報に基づいて生成された俯瞰画像200を示す模式図である。図5に示す、複数の撮像装置によって撮像される領域は、地面を基準とした領域である。図3に示すように、周辺監視システム10は、複数(本実施形態では6台)の撮像装置11、12、13、14、15、16と、複数(本実施形態では8台)のレーダ装置21、22、23、24、25、26、27、28と、モニタ50と、監視制御装置としてのコントローラ100とを有している。なお、本実施形態において、周辺監視システム10には、レーダ装置21、22、23、24、25、26、27、28は必ずしも必要ではない。
<撮像装置>
撮像装置11、12、13、14、15、16は、ダンプトラック1に取り付けられる。撮像装置11、12、13、14、15、16は、例えば、ワイドダイナミックレンジ(WDR:Wide Dynamic Range)カメラである。ワイドダイナミックレンジカメラは、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したカメラである。
撮像装置11、12、13、14、15、16は、ダンプトラック1の周囲を撮像し、画像情報として出力する。以下において、適宜、撮像装置11を第1撮像装置11、撮像装置12を第2撮像装置12、撮像装置13を第3撮像装置13、撮像装置14を第4撮像装置14、撮像装置15を第5撮像装置15、撮像装置16を第6撮像装置16という。また、これらを区別する必要がない場合、適宜、撮像装置11〜16という。
図4に示すように、6台の撮像装置11〜16は、ダンプトラック1の周囲360度の範囲における画像を撮像するために、ダンプトラック1の外周部分にそれぞれ取り付けられている。本実施形態において、それぞれの撮像装置11〜16は、左右方向において120度(左右60度ずつ)、高さ方向において96度の視野範囲を有しているが、このような視野範囲に限定されるものではない。また、図4には各撮像装置11〜16から矢印を示しているが、これら矢印の向きは各撮像装置11〜16が向いている方向を表している。
図4に示すように、第1撮像装置11は、ダンプトラック1の前面に取り付けられる。具体的には、第1撮像装置11は、斜めラダー2dの上端部、より具体的には、最上段の踊り場部分の下部に配置される。第1撮像装置11は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の前方に向かって固定されている。図5に示すように、第1撮像装置11は、ダンプトラック1の周囲に存在する領域のうち第1領域11Cを撮像して画像情報としての第1画像情報を出力する。第1領域11Cは、ダンプトラック1の車体部2の前方に広がる領域である。
図4に示すように、第2撮像装置12は、ダンプトラック1の前面における一方の側部に取り付けられる。具体的には、第2撮像装置12は、アッパデッキ2bの前面の右側部に配置される。第2撮像装置12は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の右斜め前方に向かって固定されている。図5に示すように、第2撮像装置12は、ダンプトラック1の周囲に存在する領域のうち第2領域12Cを撮像して画像情報としての第2画像情報を出力する。第2領域12Cは、ダンプトラック1の車体部2の右斜め前方に広がる領域である。
図4に示すように、第3撮像装置13は、ダンプトラック1の前面における他方の側部に取り付けられる。具体的には、第3撮像装置13は、アッパデッキ2bの前面の左側部に配置される。そして、第3撮像装置13は、ダンプトラック1の車幅方向中央を通る軸に対して第2撮像装置12と左右対称となるように配置される。第3撮像装置13は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の左斜め前方に向かって固定されている。図5に示すように、第3撮像装置13は、ダンプトラック1の周囲に存在する領域のうち第3領域13Cを撮像して画像情報としての第3画像情報を出力する。第3領域13Cは、ダンプトラック1の車体部2の左斜め前方に広がる領域である。
図4に示すように、第4撮像装置14は、ダンプトラック1の一方の側面に取り付けられる。具体的には、第4撮像装置14は、アッパデッキ2bの右側面の前部に配置される。第4撮像装置14は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の右斜め後方に向かって固定されている。図5に示すように、第4撮像装置14は、ダンプトラック1の周囲に存在する領域のうち第4領域14Cを撮像して画像情報としての第4画像情報を出力する。第4領域14Cは、ダンプトラック1の車体部2の右斜め後方に広がる領域である。
図4に示すように、第5撮像装置15は、ダンプトラック1の他方の側面に取り付けられる。具体的には、第5撮像装置15は、アッパデッキ2bの左側面の前部に配置される。そして、第5撮像装置15は、ダンプトラック1の車幅方向中央を通る軸に対して第4撮像装置14と左右対称となるように配置される。図5に示すように、第5撮像装置15は、ダンプトラック1の周囲に存在する領域のうち第5領域15Cを撮像して画像情報としての第5画像情報を出力する。第5領域15Cは、ダンプトラック1の車体部2の左斜め後方に広がる領域である。
図4に示すように、第6撮像装置16は、ダンプトラック1の後部に取り付けられる。具体的には、第6撮像装置16は、フレーム2fの後端であって、2個の後輪6、6を連結するアクスルハウジングの上方、かつベッセル4の回動軸付近に配置される。第6撮像装置16は、左右のフレーム2fを連結するクロスバーに取り付けられたブラケットを介して、ダンプトラック1の後方に向かって固定されている。図5に示すように、第6撮像装置16は、ダンプトラック1の周囲に存在する領域のうち第6領域16Cを撮像して画像情報としての第6画像情報を出力する。第6領域16Cは、ダンプトラック1の車体部2の後方に広がる領域である。
上述した6台の撮像装置11〜16を用いることにより、本実施形態に係る周辺監視システム10は、図5の中央に示すように、ダンプトラック1の全周360度の画像を撮像し、その画像情報を取得することができる。6台の撮像装置11〜16は、それぞれが撮像した画像情報としての第1画像情報〜第6画像情報を、図3に示すコントローラ100に送信する。
第1撮像装置11、第2撮像装置12、第3撮像装置13、第4撮像装置14及び第5撮像装置15は、比較的高い位置にあるアッパデッキ2bに設けられている。このため、コントローラ100は、第1撮像装置11〜第5撮像装置15によって上方から地面を見下ろすような画像を得ることができ、また、地面に存在する車両等の対象物を広範囲に撮像することができる。また、第1撮像装置11〜第6撮像装置16が取得した第1画像情報〜第6画像情報から、コントローラ100が図5に示す俯瞰画像200を生成する際に視点変換を実行した場合でも、第1画像情報〜第6画像情報のうち第1画像情報〜第5画像情報は上方から撮像されて得られた情報なので、立体物の変形の程度が抑制される。
<レーダ装置>
図6は、レーダ装置21〜28の配置を示す斜視図である。本実施形態において、物体検出装置としてのレーダ装置21、22、23、24、25、26、27、28(以下、適宜レーダ装置21〜28という)は、方位80度(左右40度)、検出距離が最大15m以上のUWB(Ultra Wide Band)レーダ(超広域帯レーダ)である。レーダ装置21〜28は、ダンプトラック1の周囲に存在する対象物とダンプトラック1との相対的な位置(相対位置)を検出する。それぞれのレーダ装置21〜28は、撮像装置11〜16と同様に、ダンプトラック1の外周部分に取り付けられる。また、図6には各レーダ装置21〜28から矢印を示しているが、これら矢印の向きが各レーダ装置21〜28の検出範囲の方向を表している。
レーダ装置21(適宜第1レーダ装置21という)は、図6に示すように、地上から1m程度の高さに配置されているロアデッキ2aにおける車体部2の正面、かつ車体部2の車幅方向中心よりもやや右側に配置されている。第1レーダ装置21の検出範囲は、ダンプトラック1の車体部2の前方から左斜め前方に広がる範囲となる。
レーダ装置22(適宜第2レーダ装置22という)は、図6に示すように、ロアデッキ2aにおける車体部2の正面、かつ車体部2の車幅方向中心よりもやや左側に配置されている。すなわち、第2レーダ装置22は、第1レーダ装置21の左側に、第1レーダ装置21と隣接して配置されている。第2レーダ装置22の検出範囲は、ダンプトラック1の車体部2の前方から右斜め前方に広がる範囲となる。
レーダ装置23(適宜第3レーダ装置23という)は、図6に示すように、ロアデッキ2aの右側面前端部付近に配置されている。第3レーダ装置23の検出範囲は、ダンプトラック1の車体部2の右斜め前方から右方に広がる範囲となる。
レーダ装置24(適宜第4レーダ装置24という)は、図6に示すように、車体部2の側部におけるロアデッキ2aとアッパデッキ2bとの中間の高さ位置における右側端部近傍に配置されている。第4レーダ装置24の検出範囲は、ダンプトラック1の車体部2の右方から後方に広がる範囲となる。
レーダ装置25(適宜第5レーダ装置25という)は、図6に示すように、ベッセル4の下方であって、ダンプトラック1の左右の後輪6に駆動力を伝達するアクスルの上方に配置されている。第5レーダ装置25の検出範囲は、ダンプトラック1の車体部2の右斜め後方から後方に向かって広がる範囲となる。
レーダ装置26(適宜第6レーダ装置26という)は、図6に示すように、第5レーダ装置25と同様に、アクスルの上方であって、第5レーダ装置25の右側に隣接して配置されている。第6レーダ装置26の検出範囲は、第5レーダ装置25の検知範囲と交差するように、ダンプトラック1の車体部2の左斜め後方から後方に向かって広がる範囲となる。
レーダ装置27(適宜第7レーダ装置27という)は、図6に示すように、車体部2の側面におけるロアデッキ2aとアッパデッキ2bとの中間の高さ位置における左側端部近傍、すなわち、車体部2の車幅方向中心軸に対して第4レーダ装置24と左右対称の位置に配置されている。第7レーダ装置27の検出範囲は、ダンプトラック1の車体部2の左方から後方に広がる範囲となる。
レーダ装置28(適宜第8レーダ装置28という)は、図6に示すように、ロアデッキ2aの左側面における前端部近傍、すなわち、車体部2の車幅方向中心軸に対して第3レーダ装置23と左右対称の位置に配置されている。第8レーダ装置28の検出範囲は、ダンプトラック1の車体部2の左斜め前方から左方に広がる範囲となる。
8台のレーダ装置21〜28は、ダンプトラック1の周囲360度全周を検出範囲として、対象物とダンプトラック1との相対位置を検出することができる。8台のレーダ装置21〜28は、それぞれ検出した対象物とダンプトラック1との相対位置を示す相対位置情報をコントローラ100に送信する。このように、複数(8台)のレーダ装置21〜28は、車体部2に設けられて、車体部2の全周範囲に存在する物体を検出可能である。
<コントローラ>
図3に示すコントローラ100は、撮像装置11〜16及びレーダ装置21〜28を用いて、ダンプトラック1の周囲における対象物の有無を俯瞰画像200に表示し、必要に応じて対象物の存在をオペレータに報知する。コントローラ100は、図3に示すように、俯瞰画像合成部110、カメラ画像切替・視点変換部120、対象物位置情報生成部130、表示制御部150、ベッセル画像生成部140、対象物情報収集部210及び対象物処理部220を有している。
俯瞰画像合成部110は、図3に示すように、撮像装置11〜16に接続されている。俯瞰画像合成部110は、それぞれの撮像装置11〜16が撮像し、生成した複数の画像情報(第1画像情報〜第6画像情報)を受信する。そして、俯瞰画像合成部110は、受信した複数の画像情報に対応した画像を合成して、ダンプトラック1の全周囲を含む俯瞰画像200を生成する。具体的には、俯瞰画像合成部110は、複数の画像情報をそれぞれ座標変換することによって、複数の画像を所定の投影面上に投影させた俯瞰画像200をモニタ50に表示するための俯瞰画像情報を生成する。俯瞰画像情報については後述する。
カメラ画像切替・視点変換部120は、図3に示すように、撮像装置11〜16に接続されている。そして、カメラ画像切替・視点変換部120は、例えば、レーダ装置21〜28による障害物検出の結果等に応じて、俯瞰画像200とともにモニタ50の画面に表示される各撮像装置11〜16による撮像画像を切り替える。また、カメラ画像切替・視点変換部120は、各撮像装置11〜16によって取得された画像情報を、上方無限遠からの視点からの画像情報に変換する。
対象物位置情報生成部130は、図3に示すように、カメラ画像切替・視点変換部120、表示制御部150及び対象物処理部220に接続されている。対象物位置情報生成部130は、各撮像装置11〜16によって取得された画像情報を合成して形成される俯瞰画像200中に、レーダ装置21〜28によって取得された対象物の位置情報を合成して表示させるための対象物位置情報を生成し、カメラ画像切替・視点変換部120及び表示制御部150に対して送信する。
図3に示すように、ベッセル画像生成部140は、表示制御部150に接続されている。ベッセル画像生成部140は、図1及び図4に示すダンプトラック1のベッセル4の画像であって、ベッセル4の後方側における一部が除かれたベッセル4を表す第1ベッセル画像をモニタ50に表示するための情報(第1情報P1)と、すべてのベッセル4の全体を表す第2ベッセル画像をモニタ50に表示するための情報(第2情報P2)とを生成する。そして、ベッセル画像生成部140は、生成した第1ベッセル画像と第2ベッセル画像との少なくとも一方を、表示制御部150に送信する。第1ベッセル画像及び第2ベッセル画像には、いずれも図1に示すダンプトラック1の前輪5及び後輪6が表示されていてもよい。第1ベッセル画像及び第2ベッセル画像については後述する。
表示制御部150は、図3に示すように、俯瞰画像合成部110、カメラ画像切替・視点変換部120、対象物位置情報生成部130及びベッセル画像生成部140に接続されている。表示制御部150は、俯瞰画像合成部110が生成したダンプトラック1の全周囲における俯瞰画像情報と、レーダ装置21〜28によって取得されたダンプトラック1の全周囲における対象物位置情報とに基づいて、対象物の位置が含まれた俯瞰画像200を生成する。この画像は、モニタ50に表示される。
また、表示制御部150は、ベッセル画像生成部140が生成した第1ベッセル画像と第2ベッセル画像との少なくとも一方を取得する。そして、表示制御部150は、第1ベッセル画像を俯瞰画像200のダンプトラック1の部分に重ねた第1俯瞰画像201と、第2ベッセル画像を俯瞰画像200のダンプトラック1の部分に重ねた第2俯瞰画像202との少なくとも一方を生成する。表示制御部150は、生成した第1俯瞰画像201と第2俯瞰画像202とのいずれか一方をモニタ50に表示する。表示制御部150は、モニタ50への第1俯瞰画像201の表示と第2俯瞰画像202の表示とを切り替えることができる。第1俯瞰画像201及び第2俯瞰画像202については後述する。
図3に示すように、表示制御部150には、シフトレバー37及び画像切替スイッチ39が接続されている。表示制御部150は、シフトレバー37及び画像切替スイッチ39から送信される信号を受信する。表示制御部150は、例えば、シフトレバー37が後進側に切り替えられた場合、すなわち、ダンプトラック1の走行モードが後進に切り替えられた場合に、モニタ50に表示する画像を第6撮像装置16により撮像された画像(車体部2の後方に広がる領域である第6領域16C(図5)を撮像した画像)のみに切り替える。すなわち、シフトレバー37がニュートラル又は前進側にある場合は、第1俯瞰画像又は第2俯瞰画像と、撮像装置11〜16のいずれかにより撮像された画像とを並べてモニタ50に表示しているが、後進時にはダンプトラック1の後方の画像をオペレータに示すため、シフトレバー37が後進側に切り替えられた場合には、モニタ50には単一の画像を表示させる。なお、シフトレバー37がニュートラル又は前進側にある場合、モニタ50に俯瞰画像のみを表示させてもよいし、撮像装置11〜16により撮像された画像のうちのいずれかの画像のみを表示させてもよい。あるいは、モニタ50に、俯瞰画像及び撮像装置11〜16により撮像された画像のうちのいずれかの2つの画像を並べて表示させてもよい。このようなモニタ50の表示の切り替えは、図示しないスイッチをオペレータが操作することにより行うことができる。そのスイッチは表示制御部150に接続されている。
また、表示制御部150は、例えば、ダンプトラック1の操作者であるオペレータ(作業車両を点検又は修理する際は、オペレータではなくサービスマン)によって画像切替スイッチ39が第1俯瞰画像201を表示するように操作された場合に、モニタ50に表示する画像を第1俯瞰画像201に切り替える。画像切替スイッチ39は、押しボタン式スイッチであり、モニタ50に隣接して設けても運転席31の近傍に設けてもよい。画像切替スイッチ39が設けられる位置は、オペレータの手が届きやすい場所にあることが好ましい。また、モニタ50をタッチパネルとし、このタッチパネルを指で触れることで画像切替スイッチ39が機能するようにしてもよい。
対象物情報収集部210は、図3に示すように、レーダ装置21〜28と対象物処理部220とに接続されている。対象物情報収集部210は、レーダ装置21〜28からそれぞれの検出範囲における対象物検出結果を受信し、対象物処理部220へ送信する。
対象物処理部220は、図3に示すように、対象物情報収集部210と対象物位置情報生成部130とに接続されている。対象物処理部220は、対象物情報収集部210から受信した対象物の位置情報を、対象物位置情報生成部130へ送信する。
コントローラ100は、例えば、演算装置としてのCPU(Central Processing Unit)と記憶装置としてのメモリとを組み合わせたコンピュータと、俯瞰画像の合成等といった画像処理を実行する画像処理用デバイス(例えば、画像ボード)とを組み合わせたものである。画像処理用デバイスは、例えば、俯瞰画像を合成する等の画像処理を実行する専用のIC(例えばFPGA:Field-Programmable Gate Array)及びメモリ(例えばVRAM:Video Random Access Memory)等を搭載している。
本実施形態において、図4に示すように、撮像装置11〜16がアッパデッキ2bの正面及び側面並びにベッセル4の下方に配置されている。そして、コントローラ100は、撮像装置11〜16が撮像し、取得した第1画像情報〜第6画像情報を合成して、図5に示すような俯瞰画像200を生成して、キャブ3内における運転席31の前方に配置されるモニタ50に表示させる。このとき、モニタ50は、コントローラ100の制御に応じて、俯瞰画像200等の画像を表示する。俯瞰画像200は、撮像装置11〜16が撮像した第1領域11C〜第6領域16Cに対応する第1画像情報〜第6画像情報をコントローラ100が合成することによって得られる。周辺監視システム10は、このような俯瞰画像200をモニタ50に表示する。このため、ダンプトラック1のオペレータは、モニタ50に表示された俯瞰画像200を視認するだけで、ダンプトラック1の周囲360度の全範囲を監視することができる。次に、俯瞰画像について説明する。
<俯瞰画像の生成>
図7は、仮想投影面VPを用いた画像変換の手法を示す図である。コントローラ100は、複数の第1画像情報〜第6画像情報によって示される複数の画像に基づいて、ダンプトラック1の周囲の俯瞰画像200を作成する。具体的には、コントローラ100は、所定の変換情報を用いて第1画像情報〜第6画像情報の座標変換を実行する。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。本実施形態において、入力画像は、撮像装置11〜16によって撮像された画像であり、第1画像情報〜第6画像情報に対応する画像である。出力画像は、モニタ50に表示される俯瞰画像200である。
コントローラ100は、変換情報を用いて、撮像装置11〜16によって撮像された画像を、ダンプトラック1の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図7に示すように、撮像装置11〜16によって撮像された画像は、所定の仮想投影面VPに投影されることにより、ダンプトラック1の上方に位置する仮想視点VIPから見た画像に変換される。変換情報は、この仮想投影面VPを表している。変換後の画像がモニタ50に表示される俯瞰画像である。コントローラ100は、複数の撮像装置11〜16から取得した複数の第1画像情報〜第6画像情報を所定の仮想投影面VPに投影して合成することにより、ダンプトラック1の周囲の俯瞰画像200を生成する。
図5に示すように、それぞれの撮像装置11〜16が撮像したダンプトラック1の周囲の領域は、第1重複領域OA1〜第6重複領域OA6において重複している。コントローラ100は、俯瞰画像200において、それぞれの第1重複領域OA1〜第6重複領域OA6において互いに隣接する2個の撮像装置11〜16からの第1画像情報〜第6画像情報に対応する画像を重ねて表示する。
具体的には、コントローラ100は、第1重複領域OA1では、第1撮像装置11からの第1画像情報の画像と、第3撮像装置13からの第3画像情報の画像とを重ねて表示する。また、コントローラ100は、第2重複領域OA2では、第1撮像装置11からの第1画像情報の画像と、第2撮像装置12からの第2画像情報の画像とを重ねて表示する。また、コントローラ100は、第3重複領域OA3では、第3撮像装置13からの第3画像情報の画像と、第5撮像装置15からの第5画像情報の画像とを重ねて表示する。また、コントローラ100は、第4重複領域OA4では、第2撮像装置12からの第2画像情報の画像と、第4撮像装置14からの第4画像情報の画像とを重ねて表示する。また、コントローラ100は、第5重複領域OA5では、第5撮像装置15からの第5画像情報の画像と、第6撮像装置16からの第6画像情報の画像とを重ねて表示する。また、コントローラ100は、第6重複領域OA6では、第4撮像装置14からの第4画像情報の画像と、第6撮像装置16からの第6画像情報の画像とを重ねて表示する。
このように、第1重複領域OA1〜第6重複領域OA6において、2個の画像情報を重ねて合成する場合には、第1画像情報〜第6画像情報の値に合成比率を乗じた値が加算される。合成比率は、第1画像情報〜第6画像情報に対応した値であり、コントローラ100が記憶している。例えば、第1画像情報の合成比率が0.5であり、第2画像情報の合成比率が0.5である等、第1画像情報〜第6画像情報毎に合成比率が定められている。合成比率が用いられることにより、第1重複領域OA1〜第6重複領域OA6において複数の画像情報が平均化されて表示される。その結果、色及びコントラストの急激な変化が抑えられ、コントローラ100は、自然な俯瞰画像200を作成することができる。コントローラ100は、上述のように合成された俯瞰画像200を表示するためのす合成画像情報を生成して、モニタ50に出力する。
<それぞれの撮像装置の撮像範囲>
図2に示すように、ダンプトラック1は、第1撮像装置11、第2撮像装置12、第3撮像装置13、第4撮像装置14及び第5撮像装置15がアッパデッキ2bに配置され、第6撮像装置16がフレーム2fの後端であってベッセル4の下方に配置されている。特に、第2撮像装置12と第3撮像装置13とは、ダンプトラック1の車体部2の左右斜め前方から左右側方までを撮像可能な領域としてカバーしている。また、第4撮像装置14と第5撮像装置15とは、ダンプトラック1の車体部2の左右側方から左右斜め後方までを撮像可能な領域としてカバーしている。このようにすることで、コントローラ100は、第1撮像装置11及び第6撮像装置16によって撮像され、取得された第1画像情報及び第6画像情報と合わせて、ダンプトラック1の全周囲をカバーした俯瞰画像200を生成して、ダンプトラック1の周辺を監視することができる。
また、本実施形態では、図5に示すように、それぞれの撮像装置11〜16が撮像可能な領域である第1領域11C〜第6領域16Cが、互いの隣接部分において重複するように、互いに隣接する撮像装置11〜16が配置されている。コントローラ100は、それぞれの撮像装置11〜16が撮像可能な第1領域11C〜第6領域16Cの重複した部分において接続線を設けることで、ダンプトラック1の平面上における360度全周囲の監視が可能となる。なお、俯瞰画像200において、互いに隣接する第1領域11C〜第6領域16Cを接続する接続線は、第1領域11C〜第6領域16Cの重複範囲内における任意の位置に設定することができる。
<モニタに表示される画像>
図2、図3に示すモニタ50に表示される画像は、上述した第1俯瞰画像201又は第2俯瞰画像202である。第1俯瞰画像201又は第2俯瞰画像202は、図3に示すコントローラ100、より具体的には第1画像情報〜第6画像情報が俯瞰画像合成部110によって合成されて得られた俯瞰画像情報に基づく俯瞰画像200に、上述した第1ベッセル画像及び第2ベッセル画像を組み合わせることによって生成される。ここでは、俯瞰画像情報について説明するとともに、第1ベッセル画像及び第2ベッセル画像並びに第1俯瞰画像201及び第2俯瞰画像202について説明する。
図8は、俯瞰画像情報200Iを示す概念図である。図8に示す俯瞰画像情報200Iは、ダンプトラック1が存在する領域である作業車両領域TRの情報と、ダンプトラック1の周辺の領域である周辺領域SRの情報とを含んでいる。上述した通り、俯瞰画像情報200Iは、撮像装置11〜16が撮像した画像の情報、すなわち第1画像情報〜第6画像情報から生成される。撮像装置11〜16は、ダンプトラック1の外側に取り付けられているため、撮像装置11〜16のレンズよりも内側における領域は撮像されない。このため、俯瞰画像情報200Iの作業車両領域TRには、ダンプトラック1の画像の情報及び周辺領域SRの画像の情報は含まれない。したがって、例えば、俯瞰画像情報200Iのみに基づく画像をモニタ50に表示すると、表示された画像の作業車両領域TRの部分は、例えば、影のように表示される。
俯瞰画像200がモニタ50に表示される場合、例えば、コントローラ100は、ダンプトラック1の上面図を示す画像の情報(情報の形式は、例えば、ビットマップ形式)を俯瞰画像情報200Iの作業車両領域TRに組み合わせて、得られた画像の情報に基づいて俯瞰画像200をモニタに表示する。図5に示す俯瞰画像200は、このようにして生成された画像の情報がモニタ50に表示されたものである。次に、第1ベッセル画像及び第2ベッセル画像について説明する。
図9は、第1ベッセル画像200B1を示す図である。図10は、第2ベッセル画像200B2を示す図である。図9、図10中の符号Lは、ベッセル4又はダンプトラック1の前方を示し、符号Tは後方を示す。第1ベッセル画像200B1は上述した第1情報P1に基づく画像であり、第2ベッセル画像200B2は上述した第2情報P2に基づく画像である。第1ベッセル画像200B1は、例えば、第1情報P1がモニタ50に表示されて可視化される。同様に、第2ベッセル画像200B2は、例えば、第2情報P2がモニタ50に表示されて可視化される。本実施形態において、第1情報P1及び第2情報P2は、例えば、ビットマップ形式の画像データであるが、これに限定されない。これらは、例えば、ベクタ形式の画像データであってもよい。なお、第1ベッセル画像200B1又は第2ベッセル画像200B2は、ベッセル4の前部にある鍔部4Fの前端部4Lをラインで示している。この前端部4Lは表示することは必須ではないが、前端部4Lも表示することで、荷台部全体(ベッセル4と鍔部4F)の形状が示されることになる。
第1ベッセル画像200B1は、図1及び図4に示すダンプトラック1の後方T側、すなわちベッセル4の後端4T側における一部(ベッセル後部)4TP(図9に示す斜線の範囲)が除かれたベッセル4が、例えばモニタ50に表示される画像である。本実施形態において、ベッセル後部4TPが除かれた後におけるベッセル4の後端4T1は、後輪6よりも後方T側と、ベッセル後部4TPが除かれる前におけるベッセル4の後端4Tとの間にある。本実施形態において、第1ベッセル画像200B1は、少なくとも、ベッセル後部4TPが除かれたベッセル4を含んでいればよい。このため、例えば、第1ベッセル画像200B1は、図3に示す車体部2の一部、キャブ3の一部及び斜めラダー2d等のうち少なくとも1つをさらに含んでいてもよい。
第2ベッセル画像200B2は、図1及び図4に示すダンプトラック1が備えるベッセル4のすべてが、例えばモニタ50に表示される画像である。したがって、第2ベッセル画像200B2は、第1ベッセル画像200B1では表示されないベッセル後部4TPも表示する。本実施形態において、第2ベッセル画像200B2は、少なくとも、すべてのベッセル4を含んでいればよい。このため、例えば、第2ベッセル画像200B2は、図3に示す車体部2の一部、キャブ3の一部及び斜めラダー2d等のうち少なくとも1つをさらに含んでいてもよい。
第1ベッセル画像200B1及び第2ベッセル画像200B2は、少なくともベッセル4を含んでいればよいが、図9、図10に示すように、図1に示すダンプトラック1の前輪5及び後輪6がさらに含まれて、ベッセル4とともに表示されていてもよい。次に、前輪5及び後輪6が、第1ベッセル画像200B1及び第2ベッセル画像200B2に含まれる場合について説明する。この場合、前輪5及び後輪6は、それぞれの回転軸と直交する方向から見た場合における全体の画像が、第1ベッセル画像200B1及び第2ベッセル画像200B2に重ねて表示されている。前輪5及び後輪6の画像は、長方形形状である。第1ベッセル画像200B1及び第2ベッセル画像200B2は、ダンプトラック1を上方から見た場合の状態を示しているので、前輪5及び後輪6は、ベッセル4を透過したように表示されることになる。
前輪5及び後輪6は、少なくとも一部が第1ベッセル画像200B1及び第2ベッセル画像200B2に表示されることにより、ダンプトラック1のオペレータは、前輪5及び後輪6とダンプトラック1の周辺に存在する物体(対象物)との位置関係を容易に把握することができる。前輪5及び後輪6は、一部が表示されていればよいが、本実施形態のように、前輪5及び後輪6の全体が表示されることにより、一部が表示される場合と比較して、ダンプトラック1のオペレータは、前輪5及び後輪6の存在並びに前輪5及び後輪6とダンプトラック1及びベッセル4との位置関係を容易に把握することができる。前輪5及び後輪6は、ベッセル4と区別できればよく、ベッセル4とは異なる色で示されたり、ベッセル4とは同じ色だが前輪5及び後輪6を示す線で囲むことによって表示されたりしていればよい。
前輪5及び後輪6は、ダンプトラック1を上方から俯瞰して見た場合において前輪5及び後輪6が配置される位置に表示される。本実施形態において、左側前輪5Lはベッセル4の左側前方に、右側前輪5Rはベッセル4の右側前方に、左側後輪6Lはベッセル4の左側後方に、右側後輪6Rはベッセル4の右側後方に表示される。このようにすることで、ダンプトラック1のオペレータは、ダンプトラック1及びベッセル4と前輪5及び後輪6との関係を把握しやすくなる。
前輪5及び後輪6を表示する場合、第1ベッセル画像200B1は、ダンプトラック1の後方側における後輪6の端部よりも後方を除くことが好ましい。このようにすることで、第1ベッセル画像200B1に、後輪6の全体を表示することができる。なお、前輪5及び後輪6を表示する場合、ダンプトラック1の後方側における後輪6の端部よりも前方からベッセル4を除いた第1ベッセル画像200B1を排除するものではない。例えば、ダンプトラック1の後方を撮像する第6撮像装置16は、ベッセル4の下方かつ左側後輪6Lと右側後輪6Rとの間に配置される。このため、第1ベッセル画像200B1は、第6撮像装置16の位置からダンプトラック1の後方側におけるベッセル4を除いてもよい。また、第1ベッセル画像200B1は、第6撮像装置16が撮像可能な位置からダンプトラック1の後方側におけるベッセル4を除いてもよい。このようにすれば、後述する第1俯瞰画像201に、第6撮像装置16が撮像可能な領域をすべて表示させることができるので、ダンプトラック1のオペレータは」ダンプトラック1の周囲の状況をより把握しやすくなる。
実際のダンプトラック1は、各タイヤが受ける荷重(車体重量と積載物重量)のバランスが考慮されている。このため、ダンプトラック1は、前輪5がシングルタイヤであり、後輪6がダブルタイヤ、すなわち、2本のタイヤを複数並列に並べたタイヤである。このため、後輪6、すなわち左側後輪6Lと右側後輪6Rとは、ベッセル4の左側と右側とにそれぞれ複数(本実施形態では2個)の車輪6LO、6LI及び車輪6RO、6RIが表示されるようにしてもよい。このようにすることで、ダンプトラック1のオペレータは、ダンプトラック1の前後を直感的に把握しやすくなる。本実施形態では、実際のダンプトラック1に合わせて左側後輪6Lと右側後輪6Rとをそれぞれ2個としているが、これらの数は2個に限定されない。また、後輪6の幅を、前輪5の幅より大きく表示してもよい。さらに、前輪5と後輪6との間で、それぞれを表示する色を異ならせたり、前輪5を点滅させたりしてもよい。このようにしても、ダンプトラック1のオペレータは、後輪6と前輪5とを区別することができるので、ダンプトラック1の前後を直感的に把握しやすくなる。
例えば、上述のように、モニタ50がキャブ3内の天井から吊り下げて設置されたものである場合であって、オペレータが着座した状態で右方向(又は左方向)にモニタ50が設置された場合、モニタ50の上側とダンプトラック1の前側とが一致しない。このような場合、モニタ50に表示された第1ベッセル画像200B又は第2ベッセル画像200B2はどちらが前後方向であるのか、ダンプトラック1のオペレータが直観的に視認できないことが考えられる。このような場合、前輪5及び後輪6の全体を表示することで、オペレータは、モニタ50に表示されている第1ベッセル画像200B又は第2ベッセル画像200B2の前後方向を認識することが容易になる。
このように、前輪5と後輪6との間でそれぞれの表示形態を異ならせることにより、ダンプトラック1のオペレータは、後輪6と前輪5とを区別することができるので、ダンプトラック1の前後を直感的に把握しやすくなる。次に、第1俯瞰画像201及び第2俯瞰画像202について説明する。
図11は、第1俯瞰画像201の一例を示す図である。図12は、第2俯瞰画像202の一例を示す図である。第1俯瞰画像201は、上述した第1ベッセル画像200B1を俯瞰画像200の作業車両領域TRに重ねた画像である。第2俯瞰画像202は、上述した第2ベッセル画像200B2を俯瞰画像200の作業車両領域TRに重ねた画像である。第1俯瞰画像201及び第2俯瞰画像202は、いずれもコントローラ100によってモニタ50に表示されて可視化される。第1俯瞰画像201及び第2俯瞰画像202は、第1ベッセル画像200B1又は第2ベッセル画像200B2と俯瞰画像200とを重ね合わせて合成するだけで生成できるので、コントローラ100の処理の負荷を軽減できる。
第1俯瞰画像201及び第2俯瞰画像202は、いずれも図3に示すコントローラ100の表示制御部150によって生成されて、モニタ50に表示される。表示制御部150は、俯瞰画像合成部110が生成した俯瞰画像情報200Iと、ベッセル画像生成部140が生成した第1情報P1とを組み合わせて第1合成画像情報201Iを生成する。また、表示制御部150は、俯瞰画像情報200Iと、ベッセル画像生成部140が生成した第2情報P2とを組み合わせて第2合成画像情報202Iを生成する。第1合成画像情報201Iは第1俯瞰画像201をモニタ50等に表示するための情報であり、第2合成画像情報202Iは第2俯瞰画像202をモニタ50等に表示するための情報である。
本実施形態において、第1俯瞰画像201及び第2俯瞰画像202は、ベッセル4に加え、ダンプトラック1の車体部2の一部及び斜めラダー2dも含んでいる。第1俯瞰画像201及び第2俯瞰画像202は、ベッセル4及び車体部2の一部等と、ダンプトラック1の周囲とを含み、これらがモニタ50等に表示されて可視化される。ダンプトラック1の周囲は、ベッセル4の左側部4SL、右側部4SR、後端4T1、4T及び車体部2の前部2Lの周囲である。
本実施形態において、第1俯瞰画像201及び第2俯瞰画像202には、ダンプトラック1の周囲に点線RL1、RL2、RL3が表示されている。点線RL1はダンプトラック1に最も近い位置に表示され、点線RL3はダンプトラック1から最も遠い位置に表示される。点線RL2は、点線RL1と点線RL3との間に表示される。点線RL1、RL2、RL3は、それぞれダンプトラック1から所定の距離だけ離れた位置を示している。ダンプトラック1のオペレータは、点線RL1、RL2、RL3によって、第1俯瞰画像201又は第2俯瞰画像202に表示された物体である対象物(例えば、人又は自動車等の車両)とダンプトラック1との距離を把握することができる。
第6撮像装置16は、ダンプトラック1の後方であって左側後輪6Lと右側後輪6Rとの間、かつベッセル4の下方に配置される。このため、第6撮像装置16は、ベッセルの下方の一部を撮像できるので、図8に示す俯瞰画像情報200Iは、ベッセルの下方の一部を含んでいる。第1俯瞰画像201は、ベッセル後部4TPが除かれたベッセル4が表示されている。このため、第1俯瞰画像201は、第6撮像装置16によって撮像された、ベッセル後部4TPの下方の領域が表示される。これに対し、第2俯瞰画像202は、ベッセル後部4TPの下方の領域はベッセル後部4TPによって隠されるが、全体が表示されたベッセル4の後端4Tが表示される。
第1俯瞰画像201は、ベッセル後部4TPの下方の領域も表示されるので、ダンプトラック1のオペレータは、ダンプトラック1の周辺の状況をより詳細に把握することができる。このため、コントローラ100は、少なくともダンプトラック1の発進前に第1俯瞰画像201をモニタ50に表示すると、オペレータの状況確認に対して好適である。例えば、ベッセル4の高さよりも低い高さの対象物が後輪6の後方に存在する場合、より確実な周辺監視が可能となる。第2俯瞰画像202は、全体が表示されたベッセル4の後端4Tが表示される。このため、ベッセル4の後方に対象物が存在する場合、コントローラ100が第2俯瞰画像202をモニタ50に表示することにより、ダンプトラック1のオペレータは、ベッセル4の後端4Tと対象物との位置関係を把握しやすくなる。特に、ダンプトラック1が後進する際において有利である。例えば、ベッセル4の後端4Tの高さと同等以上の高さの対象物が、ダンプトラック1の周囲に存在する場合、より確実な周辺監視が可能となる。
第1俯瞰画像201は、ベッセル後部4TPの下方の領域を表示し、かつベッセル後部4TPの外周部、特に後端4Tを示す画像を表示してもよい。図11に示す例では、ベッセル後部4TPの外縁に相当する部分に点線の画像を表示している。このようにすることで、ダンプトラック1のオペレータは、ベッセル4の後方に対象物が存在する場合に、ベッセル4の後端4Tと対象物との位置関係を把握しやすくなる。なお、第2俯瞰画像202は、ベッセル4の全体を表示しているため、第1俯瞰画像201にベッセル後部4TPの外周部を表示する場合と比較して、ベッセル4の後端4Tと対象物との位置関係をより把握しやすくなると考えられる。次に、第1俯瞰画像201の表示と第2俯瞰画像202の表示とを切り替える制御例について説明する。
<第1俯瞰画像と第2俯瞰画像との切替制御例>
図13は、第1画像(第1俯瞰画像201(第1ベッセル画像200B1))の表示と第2画像(第2俯瞰画像202(第2ベッセル画像200B2))の表示とを切り替える制御の一例を示すフローチャートである。この制御例は、ダンプトラック1のオペレータの操作及びダンプトラック1の状態の少なくとも1つに基づいて、モニタ50への第1画像の表示と第2画像の表示とを切り替える。より具体的には、モニタ50に表示される、第1画像としての第1ベッセル画像200B1と第2画像としての第2ベッセル画像200B2の表示とを切り替えることができる。なお、前述したように、第1画像としての第1俯瞰画像201の表示と第2画像としての第2俯瞰画像202の表示とを切り替えてもよい。また、周辺監視システム10は、特にダンプトラック1が発進する前に、ダンプトラック1のオペレータに対してダンプトラック1の周辺の状態を認識させ、より確実な周辺監視を可能とさせるものである。この目的のためには、コントローラ100は、原則として第1俯瞰画像201をモニタ50に表示し、モニタ50の表示を切り替える条件が成立したときに第2俯瞰画像202をモニタ50に表示することが好ましい。したがって、本実施形態においては、まず第1俯瞰画像201がモニタ50に表示され、モニタ50の表示を切り替える条件が成立したときに、コントローラ100は、モニタ50の表示を第2俯瞰画像202に切り替える。
本制御例を実行するにあたり、ステップS101において、図3に示すコントローラ100は、モニタ50に第1俯瞰画像201を表示する。なお、ダンプトラック1が内燃機関(以下、エンジン)を始動する際は、必ずモニタ50に第1俯瞰画像201を表示させるようにしてもよい。つまり、ダンプトラック1のエンジンを始動させるための図示しないキースイッチをオペレータが操作して、エンジンが始動されたならば、コントローラ100がキースイッチの信号(エンジン始動信号)をトリガー信号として受けて、モニタ50に第2俯瞰画像202ではなく第1俯瞰画像201を表示させるようする。次に、ステップS102に進み、コントローラ100の表示制御部150は、モニタ50の表示を切り替える条件が成立した場合(ステップS102、Yes)、ステップS103の処理を実行する。この場合、コントローラ100の表示制御部150は、モニタ50の表示を第1俯瞰画像201から第2俯瞰画像202に切り替える。このようにすることで、ステップS103において、モニタ50には第2俯瞰画像202が表示される。
モニタ50の表示を切り替える条件が成立しない場合(ステップS102、No)、表示制御部150はステップS101以降の処理を実行する。すなわち、モニタ50には、第1俯瞰画像201の表示が継続される。このように、ステップS102におけるモニタ50の表示を切り替える条件は、モニタ50の表示を第1俯瞰画像201から第2俯瞰画像202に切り替えるための条件(第1条件)である。
次に、ステップS104に進み、コントローラ100の表示制御部150は、モニタ50の表示を切り替える条件が成立した場合(ステップS104、Yes)、ステップS105の処理を実行する。この場合、コントローラ100の表示制御部150は、モニタ50の表示を第2俯瞰画像202から第1俯瞰画像201に切り替える。このようにすることで、ステップS105において、モニタ50には第1俯瞰画像201が表示される。
モニタ50の表示を切り替える条件が成立しない場合(ステップS104、No)、表示制御部150はステップS103及びステップS104の処理を実行する。このため、モニタ50には、第2俯瞰画像202の表示が継続される。このように、ステップS104におけるモニタ50の表示を切り替える条件は、モニタ50の表示を第2俯瞰画像202から第1俯瞰画像201に切り替えるための条件(第2条件)である。次に、モニタ50の表示を切り替える条件、より具体的には、上述した第1条件及び第2条件について説明する。
(モニタの表示を切り替える条件)
モニタ50の表示を切り替える条件(適宜画像切替条件という)のうち第1条件として定義されるものは、ダンプトラック1を操作するオペレータの操作によるものがある。このような例として、例えば、オペレータが自分の意思でモニタ50の表示を切り替えるものがある。一例として、オペレータは、モニタ50の表示が第1俯瞰画像201から第2俯瞰画像202となるように、図3に示す画像切替スイッチ39を操作する。すると、画像切替スイッチ39は、モニタ50に第2俯瞰画像202を表示する旨の信号を発生させる。この信号を受信したコントローラ100の表示制御部150は、ステップS103においてモニタ50の表示を第1俯瞰画像201から第2俯瞰画像202に切り替える。
画像切替条件のうち第2条件として定義されるものは、ダンプトラック1を操作するオペレータの操作によるものと、ダンプトラック1の状態によるものとがある。第2条件がオペレータの操作によるものとしては、第1条件と同様に、オペレータが自分の意志でモニタ50の表示を切り替えるものがある。一例として、オペレータは、モニタ50の表示が第2俯瞰画像202から第1俯瞰画像201となるように、図3に示す画像切替スイッチ39を操作する。すると、画像切替スイッチ39は、モニタ50に第1俯瞰画像201を表示する旨の信号を発生させる。この信号を受信したコントローラ100の表示制御部150は、ステップS105においてモニタ50の表示を第2俯瞰画像202から第1俯瞰画像201に切り替える。
第2条件がダンプトラック1の状態によるものとしては、例えば、ダンプトラック1が走行する速度(走行速度)が所定の閾値以下になった場合がある。走行速度は、ダンプトラック1の前進及び後進の両方におけるものを含む。所定の閾値は、0も含む。周辺監視システム10は、特にダンプトラック1が発進する前に、オペレータに対してダンプトラック1の周辺の状態を認識させるものであることから、前述した所定の閾値は、ダンプトラック1が停止していると見なすことができる程度の大きさとすることが好ましいが、これに限定されるものではない。
コントローラ100の表示制御部150は、ダンプトラック1の運転を制御する図示しない制御装置から、ダンプトラック1の走行速度を取得する。ダンプトラック1の走行速度は、図示しない車速センサにより検出することができる。そして、取得された走行速度が所定の閾値以下である場合に、表示制御部150は、ステップS105においてモニタ50の表示を第2俯瞰画像202から第1俯瞰画像201に切り替える。このようにすることで、ダンプトラック1が停止したときには、第1俯瞰画像201を確実にモニタ50に表示することができる。その結果、オペレータは、常にダンプトラック1の発進前において、ベッセル後部4TPの下方の状態を含めたダンプトラック1の周囲の状態をより詳細に把握することができるので、より確実な周辺監視が実現できる。
また、第2条件がダンプトラック1の状態によるものとしては、例えば、物体検出装置がダンプトラック1の後方に存在する物体を対象物として検知した場合がある。ダンプトラック1の後方に存在する物体を検知する物体検出装置は、例えば、図6に示す第5レーダ装置25、第6レーダ装置26、第7レーダ装置27及び第8レーダ装置28のうち少なくとも一台である。なお、物体の位置によっては、一つの物体を2つのレーダ装置が対象物として検知する場合を第2条件に含めてもよい。
コントローラ100の表示制御部150は、図3に示す対象物位置情報生成部130からダンプトラック1の後方に物体が存在するという情報を取得したら、ステップS105においてモニタ50の表示を第1俯瞰画像202から第1俯瞰画像201に切り替える。このようにすることで、ダンプトラック1の後方に物体が存在する場合は、ベッセル後部4TPをモニタ50に表示しないことで、ベッセル後部4TPの下方の状態をオペレータが確認することができる。その結果、オペレータは、ダンプトラック1の発進に際して、ダンプトラック1の周囲の状態をより詳細に把握することができるので、より確実な周辺監視が実現できる。
さらに、第2条件がダンプトラック1の状態によるものとしては、例えば、ダンプトラック1の走行モードが後進になった場合がある。これは、例えば、図3に示すシフトレバー37がダンプトラック1のオペレータによって後進側に操作された場合である。例えば、シフトレバー37が後進側の位置に操作されることによって、ダンプトラック1の走行モードを後進に切り替える旨の信号が発生する。この信号を受信したコントローラ100の表示制御部150は、ステップS105において、モニタ50の表示を第2俯瞰画像202から第1俯瞰画像201に切り替える。その結果、オペレータは、ダンプトラック1を後進させる前において、ベッセル後部4TPの下方の状態を含めたダンプトラック1の周囲の状態をより詳細に把握することができるので、より確実な周辺監視が実現できる。なお、ダンプトラック1の走行モードが前進になった場合には、モニタ50の表示は第2俯瞰画像202から第1俯瞰画像201には切り替えられないようにしてもよい。この場合、モニタ50に第2俯瞰画像202が表示されていれば、その状態が維持される。
以上、本実施形態において、周辺監視システム10が備えるコントローラ100は、モニタ50に対する第1画像(第1ベッセル画像200B1及び第1俯瞰画像201の少なくとも一方)の表示と第2画像(第2ベッセル画像200B2及び第2俯瞰画像202の少なくとも一方)の表示とを切り替えることができる。このため、周辺監視システム10は、ダンプトラック1のオペレータの操作によって、第1俯瞰画像201と第2俯瞰画像202とを切り替えてモニタ50に表示させることができるので、オペレータは自身が理解しやすい画像をモニタ50で確認することができる。また、オペレータは、ダンプトラック1とその周囲に存在する対象物との関係を直感的に把握しやすくなる。このように、本実施形態に係る周辺監視システム10は、オペレータが理解しやすい画像を提供することができる。
また、本実施形態において、周辺監視システム10が備えるコントローラ100は、原則として第1俯瞰画像201をモニタ50に表示する。そして、コントローラ100は、オペレータの操作があった場合には、第2俯瞰画像202をモニタ50に表示する。このようにすることで、オペレータの意思に沿った画像をモニタ50に表示することができる。また、本実施形態において、原則としてモニタ50に表示されるのは、ベッセル後部4TPを除いてベッセル後部4TPの下方が表示された第1俯瞰画像201であるので、通常の状態において、オペレータがモニタ50を用いて確認できる範囲が広くなるという利点もある。本実施形態は、原則として第1俯瞰画像201をモニタ50に表示するものとしたが、原則として第2俯瞰画像202をモニタ50に表示するようにしてもよい。ただし、上述のように、オペレータがダンプトラック1の周囲の状況をより詳細に把握することができるようにするために、原則として第1俯瞰画像201をモニタ50に表示するようにすることが好ましい。
さらに、本実施形態において、周辺監視システム10が備えるコントローラ100は、第1俯瞰画像201及び第2俯瞰画像202にダンプトラック1の前輪5及び後輪6も表示する。このため、ダンプトラック1のオペレータは、前輪5及び後輪6の位置とダンプトラック1の周辺に存在する物体との関係を把握しやすくなるので、より確実な周辺監視を実現できる。特に、ベッセル4からベッセル後部4TPを除いた場合、後輪6を表示すれば、オペレータは、後輪6の後方に存在する物体を後輪6との関係で把握することができるので、このような物体を早期に、かつ適切な相対位置関係の把握により認識しやすくなる。このように、周辺監視システム10は、第1俯瞰画像201及び第2俯瞰画像202に前輪5及び後輪6を表示することで、複数の撮像装置が撮像した画像を合成した俯瞰画像によって運転支援をするにあたって、ダンプトラック1のオペレータが理解しやすい画像を提供することができる。
また、本実施形態において、周辺監視システム10が備えるコントローラ100は、前輪5と後輪6との表示形態を異ならせてモニタ50に表示する。このようにすることで、ダンプトラック1のオペレータは、ダンプトラック1の前後を容易に判別することができるので、自身が操作するダンプトラック1と、その周辺に存在する物体との関係を直感的に把握しやすくなる。特に、キャブ3内のレイアウトの関係から、モニタ50がオペレータの前方ではなく側方に配置されたような場合においては、オペレータは自身の頭をモニタ50の方向に向けてモニタ50を確認する必要がある。このような場合、オペレータは、ダンプトラック1の方向を把握しにくいことがあるが、本実施形態のように、前輪5と後輪6との表示形態を異ならせてモニタ50に表示することで、オペレータはダンプトラック1の前後を容易かつ確実に把握できるという利点がある。
周辺監視システム10は、撮像装置11〜16にワイドダイナミックレンジカメラを用いる。このため、撮像装置11〜16は、明るい部分を視認できるレベルに保ちながら、ダンプトラック1の影になった部分のような暗い部分を明るく補正できる。したがって、撮像装置11〜16が撮像した画像は、黒潰れ及び白飛びが起きにくくなり、全体としてより分かりやすい画像となる。その結果、撮像装置11〜16を備える周辺監視システム10は、ダンプトラック1の影となる領域に存在する車両等の対象物が視認しやすくなった第1俯瞰画像201又は第2俯瞰画像202をモニタ50に表示することができる。このように、周辺監視システム10は、撮像装置11〜16が撮像した画像を用いてダンプトラック1の周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の対象物を第1俯瞰画像201又は第2俯瞰画像202に表示することができる。その結果、ダンプトラック1のオペレータは、ダンプトラック1の周囲、特に影となる領域に存在する対象物を、環境によらず、確実に視認することができる。
このように、周辺監視システム10は、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の対象物を確実に表示する第1俯瞰画像201及び第2俯瞰画像202を生成することができるので、オペレータの死角に存在する対象物を、第1俯瞰画像201又は第2俯瞰画像202によって確実に視認できるようにすることができる。したがって、周辺監視システム10は、上述したような、鉱山で用いられる非常に大型のダンプトラック1の周辺を監視する際に非常に有効である。すなわち、ダンプトラック1は、非常に大きい影となる領域を形成する場合があり、かつ影となる領域を自身で作りながら移動し、さらにベッセル4の昇降によって影となる領域が大きく変化し、また、死角となる領域が大きい。周辺監視システム10は、このようなダンプトラック1において、ダンプトラック1の周囲の対象物を確実に表示する第1俯瞰画像201又は第2俯瞰画像202を生成して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。また、周辺監視システム10は、赤道直下のような日向と日陰との照度差が非常に大きくなるような場所で稼働するダンプトラック1に対して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。
以上、本実施形態を説明したが、上述した内容により本実施形態が限定されるものではない。また、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 ダンプトラック
2 車体部
2L 前部
2c、2d ラダー
2e 手すり
2f フレーム
3 キャブ
4 ベッセル
4T、4T1 後端
4TP ベッセル後部
5 前輪
6 後輪
6LI、6LO、6RI、6RO 車輪
10 作業車両用周辺監視システム(周辺監視システム)
11、12、13、14、15、16 撮像装置
21、22、23、24、25、26、27、28 レーダ装置
31 運転席
39 画像切替スイッチ
50 モニタ
100 コントローラ
110 俯瞰画像合成部
120 カメラ画像切替・視点変換部
130 対象物位置情報生成部
140 ベッセル画像生成部
150 表示制御部
210 対象物情報収集部
220 対象物処理部

Claims (13)

  1. 前輪及び後輪を支持する車体フレームと、前記後輪よりも前記車体フレームの後方に張り出して積荷を積載するベッセルとを含む作業車両の周辺を監視するシステムであり、
    前記作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、
    複数の前記画像情報を取得し、取得した前記画像情報を合成して前記作業車両及びその周辺の俯瞰画像を表示装置に表示するための俯瞰画像情報を生成する俯瞰画像合成部と、
    前記作業車両の後方側における前記ベッセルの一部が除かれた前記ベッセルを少なくとも含む第1ベッセル画像を前記俯瞰画像の前記作業車両が存在する領域に重ね、前記ベッセル後部の下方の領域を前記一部に対応する前記俯瞰画像に表示させた第1画像と、すべての前記ベッセルを少なくとも含む第2ベッセル画像を前記俯瞰画像が存在する領域に重ねた第2画像と、のいずれか一方を切り替えて前記表示装置に表示する表示制御部とを含み
    前記表示制御部は、前記作業車両のエンジンを始動する際には、前記第1画像を前記表示装置に表示する
    ことを特徴とする作業車両用周辺監視システム。
  2. 前記表示制御部は、前記作業車両を操作する操作者による画像切替スイッチの操作に基づいて、前記第1画像の表示と前記第2画像との表示を切り替える、請求項1に記載の作業車両用周辺監視システム。
  3. 前記表示制御部は、前記作業車両の状態に応じて、前記第1画像の表示と前記第2画像との表示を切り替える、請求項1に記載の作業車両用周辺監視システム。
  4. 前記表示制御部は、前記作業車両の走行速度に基づいて、前記第1画像の表示と前記第2画像との表示を切り替える、請求項3に記載の作業車両用周辺監視システム。
  5. 前記作業車両は、自身の後方に存在する物体を検知する物体検出装置を有し、
    前記表示制御部は、前記物体検出装置が物体を検出した場合に、前記第1画像の表示と前記第2画像との表示を切り替える、請求項3に記載の作業車両用周辺監視システム。
  6. 前記表示制御部は、前記作業車両の走行モードが後進になった場合に、前記第1画像の表示と前記第2画像との表示を切り替える、請求項3に記載の作業車両用周辺監視システム。
  7. 前輪及び後輪を支持する車体フレームと、前記後輪よりも前記車体フレームの後方に張り出して積荷を積載するベッセルとを含む作業車両の周辺を監視するシステムであり、
    前記作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、
    複数の前記画像情報を取得し、取得した前記画像情報を合成して前記作業車両及びその周辺の俯瞰画像を表示装置に表示するための俯瞰画像情報を生成する俯瞰画像合成部と、
    前記作業車両の後方側における前記ベッセルの一部が除かれた前記ベッセルを少なくとも含む第1ベッセル画像を前記俯瞰画像の前記作業車両が存在する領域に重ね、前記ベッセル後部の下方の領域を前記一部に対応する前記俯瞰画像に表示させた第1画像と、すべての前記ベッセルを少なくとも含む第2ベッセル画像を前記俯瞰画像が存在する領域に重ねた第2画像と、のいずれか一方を切り替えて前記表示装置に表示する表示制御部と、
    を含み、
    前記表示制御部は、
    前記作業車両のエンジンを始動する際には、前記第1画像を前記表示装置に表示し、
    前記作業車両を操作する操作者による画像切替スイッチの操作又は前記作業車両の状態に応じて前記表示を切り替えることを特徴とする作業車両用周辺監視システム。
  8. 前記第1ベッセル画像は、前記ベッセルに表示された前記前輪及び前記後輪を含み、前記第2ベッセル画像は、前記ベッセルに表示された前記前輪及び前記後輪を含む、請求項1から7のいずれか1項に記載の作業車両用周辺監視システム。
  9. 前記表示制御部は、前記前輪及び前記後輪の全体を表示する、請求項8に記載の作業車両用周辺監視システム。
  10. 前記後輪は、前記ベッセルの左側と右側とにそれぞれ複数の車輪が表示される、請求項8又は9に記載の作業車両用周辺監視システム。
  11. 前記第1ベッセル画像は、前記作業車両の後方側における前記後輪の端部よりも後方が除かれている、請求項8から10のいずれか1項に記載の作業車両用周辺監視システム。
  12. 前記第1画像には、前記ベッセル後部の外縁に相当する部分を示す表示がされる請求項1から11のいずれか1項に記載の作業車両用周辺監視システム。
  13. 請求項1から12のいずれか1項に記載の作業車両用周辺監視システムを備えたことを特徴とする作業車両。
JP2012208733A 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両 Active JP5629740B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012208733A JP5629740B2 (ja) 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両
CN201280002985.0A CN103828353B (zh) 2012-09-21 2012-10-19 自卸汽车用周边监视系统以及自卸汽车
PCT/JP2012/077062 WO2014045457A1 (ja) 2012-09-21 2012-10-19 作業車両用周辺監視システム及び作業車両
AU2012372161A AU2012372161A1 (en) 2012-09-21 2012-10-19 Working vehicle periphery monitoring system and working vehicle
CA2817396A CA2817396C (en) 2012-09-21 2012-10-19 Working vehicle periphery monitoring system and working vehicle
US13/825,175 US9796330B2 (en) 2012-09-21 2012-10-19 Working vehicle periphery monitoring system and working vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012208733A JP5629740B2 (ja) 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014046842A Division JP5823553B2 (ja) 2014-03-10 2014-03-10 作業車両用周辺監視システム及び作業車両

Publications (2)

Publication Number Publication Date
JP2014064208A JP2014064208A (ja) 2014-04-10
JP5629740B2 true JP5629740B2 (ja) 2014-11-26

Family

ID=50340804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012208733A Active JP5629740B2 (ja) 2012-09-21 2012-09-21 作業車両用周辺監視システム及び作業車両

Country Status (5)

Country Link
US (1) US9796330B2 (ja)
JP (1) JP5629740B2 (ja)
CN (1) CN103828353B (ja)
AU (1) AU2012372161A1 (ja)
WO (1) WO2014045457A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP2014204361A (ja) * 2013-04-08 2014-10-27 株式会社ビートソニック 車載モニタリングシステムにおける車載カメラ用アダプター
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE102014216159B4 (de) * 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
CN106797449B (zh) * 2015-09-30 2019-12-03 株式会社小松制作所 履带式作业机械的周边监视装置
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
CN107632537A (zh) * 2017-09-12 2018-01-26 北京矿冶研究总院 一种地下矿用车辆的控制装置
JP7150447B2 (ja) * 2018-02-28 2022-10-11 株式会社小松製作所 情報提示装置および情報提示方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP7265323B2 (ja) * 2018-07-31 2023-04-26 株式会社小松製作所 作業機械を制御するためのシステム及び方法
CN109484302A (zh) * 2018-11-23 2019-03-19 广州路派电子科技有限公司 一种汽车全景泊车辅助系统及泊车方法
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP2005014686A (ja) * 2003-06-24 2005-01-20 Matsushita Electric Ind Co Ltd ドライブレコーダ
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP2006287826A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP5054294B2 (ja) * 2005-08-05 2012-10-24 株式会社小松製作所 作業用車両に搭載される表示装置、及び同表示装置の表示方法
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
KR100934947B1 (ko) * 2007-10-02 2010-01-06 볼보 컨스트럭션 이키프먼트 홀딩 스웨덴 에이비 레벨링 수단이 구비된 중장비의 영상표시 시스템
EP2280547A4 (en) * 2008-05-19 2013-02-13 Panasonic Corp VEHICLE SURROUNDING MONITORING DEVICE AND VEHICLE ENTOURING MONITORING METHOD
JP2011161935A (ja) * 2008-05-30 2011-08-25 Sanyo Electric Co Ltd 運転支援装置
JP5124351B2 (ja) * 2008-06-04 2013-01-23 三洋電機株式会社 車両操作システム
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
JP5503259B2 (ja) * 2009-11-16 2014-05-28 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5605617B2 (ja) * 2010-05-26 2014-10-15 アイシン精機株式会社 駐車支援装置
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
DE102011010624B4 (de) * 2011-02-08 2014-10-16 Mekra Lang Gmbh & Co. Kg Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs
CN102303568B (zh) 2011-06-23 2014-12-10 赵彬 一种车前侧盲区可视装置
CA2815831C (en) 2012-09-21 2015-09-01 Komatsu Ltd. Working vehicle periphery monitoring system and working vehicle
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両

Also Published As

Publication number Publication date
CN103828353B (zh) 2018-01-26
WO2014045457A1 (ja) 2014-03-27
CN103828353A (zh) 2014-05-28
US9796330B2 (en) 2017-10-24
AU2012372161A1 (en) 2014-04-10
JP2014064208A (ja) 2014-04-10
US20150217690A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5456123B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5781978B2 (ja) ダンプトラック
JP5324690B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5550695B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5938222B2 (ja) 運搬車両の周囲監視装置
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5230828B1 (ja) 作業車両用周辺監視システム及び作業車両
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
CA2815831C (en) Working vehicle periphery monitoring system and working vehicle
JP5788048B2 (ja) 作業車両用周辺監視システム及び作業車両
CA2817396C (en) Working vehicle periphery monitoring system and working vehicle
JP5964353B2 (ja) ダンプトラック
AU2011332655A1 (en) Use of AGE-specific aptamer for treating renal disease
CA2815838C (en) Work vehicle periphery monitoring system and work vehicle

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141006

R150 Certificate of patent or registration of utility model

Ref document number: 5629740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250