JP6262644B2 - 作業機械の周囲監視装置 - Google Patents

Description

本発明は、作業機械の周囲監視装置に関する。

従来、カメラにより所定時刻に撮影された画像とその所定時刻より単位時間前に撮影された画像とから画面上の動ベクトルの分布を検出し、動ベクトルの分布に基づいて移動物体を検出する移動物体検出装置が知られている（特許文献１）。

特開平７−１２９７７７号公報

特許文献１のように、動ベクトルを用いて移動物体を検出する手法を用いて、夜間など照度が低い周囲環境の中から障害物を検出する場合、移動物体の影、移動物体の光源による路面反射などのように、移動物体に追随して移動する障害物でないものも障害物として検出されることがある。従来は、照度に関係なく一定の方法で移動物体の検出結果を表示しており、これら移動物体に追随して移動する影や路面反射も障害物として表示されてしまい、ユーザにとって見づらい。

請求項１の発明に係る作業機械の周囲監視装置は、作業機械の周囲環境を撮影するカメラから画像を取得する周囲画像取得部と、周囲画像取得部により取得された画像の中から、移動物体を検出する検出部と、周囲画像取得部により取得された画像に基づいて表示画像を生成する表示画像生成部とを備えた作業機械の周囲監視装置であって、周囲環境の照度に関する照度情報を取得する照度情報取得部と、照度情報に基づいて、検出部の検出結果の表示形態を異なる複数の表示形態から選択する選択部と、を備え、複数の表示形態には、表示画像の画像領域を分割してなる複数の第１分割領域において、移動物体の存在する第１分割領域の領域全体を示す注意喚起表示を表示する第１表示形態が含まれ、選択部は、周囲環境の照度が所定閾値未満の場合には第１表示形態を選択し、表示画像生成部は、表示画像に選択部で選択された表示形態に基づく注意喚起表示を重畳表示する。

本発明によれば、障害物の検出結果について周囲環境の照度に応じた見易い表示を行うことができる。

本発明の第１および第２の実施の形態による周囲監視装置が搭載される作業機械を模式的に示した斜視図である。 作業機械の周囲環境に関する俯瞰画像について説明する図である。 本発明の第１および第２の実施の形態による周囲監視装置の一構成例を示すブロック図である。 障害物検出部により移動物体として検出される画像領域について説明する図である。 表示方法選択部が作業機械の周囲環境の照度が所定閾値以上の場合に選択する障害物検出結果の表示方法に関する説明に用いる図である。 表示方法選択部が作業機械の周囲環境の照度が所定閾値未満の場合に選択する障害物検出結果の表示方法に関する説明に用いる図である。 誤報の一例を示す図である。 周囲監視装置が行う処理に関するフローチャートである。 表示方法選択部および表示画像生成部に関するフローチャートである。 本発明の第２の実施の形態において表示方法選択部が作業機械の周囲環境の照度が所定閾値未満の場合に選択する障害物検出結果の表示方法について説明する図である。 本発明の第２の実施の形態において表示方法選択部が作業機械の周囲環境の照度が所定閾値未満の場合に選択する障害物検出結果の表示方法について説明する図である。 俯瞰画像以外の画像に所定画像を重畳して移動物体の位置を強調表示する変形例を示す図である。

以下、図面を参照して本発明の一実施の形態による作業機械の周囲監視装置について詳細に説明する。本実施の形態では、作業機械の一例として、鉱山での作業等に用いられるダンプトラックに周囲監視装置を搭載した場合について説明する。なお、以下において、「左方」とはダンプトラックの運転室から見た左方向であり、「右方」とはダンプトラックの運転室から見た右方向である。

（第１の実施の形態）
図１は、本発明の第１の実施の形態による周囲監視装置を搭載するダンプトラック３０１を模式的に示した全体斜視図である。ダンプトラック３０１は、前面上部に運転室３１０を有しており、運転室３１０の前方にダンプトラック３０１の前方を撮影する前方カメラ３０２と、ダンプトラック３０１の周囲環境の照度を測定する照度センサ４１０と、ダンプトラック３０１の前方の周囲環境を照らす前照灯４１１が設けられている。前照灯４１１は、夜間だけでなく昼間でも点灯している。ダンプトラック３０１の左側面、たとえばダンプトラック３０１の左方前輪４０１ａの上方には、ダンプトラック３０１の左方を撮影する左方カメラ３０３が設けられている。ダンプトラック３０１の後部、荷台４０３の下には、ダンプトラック３０１の後方を撮影する後方カメラ３０４が設けられている。ダンプトラック３０１の右側面、たとえばダンプトラック３０１の右方前輪４０１ｂの上方には、ダンプトラック３０１の右方を撮影する右方カメラ３０５が設けられている。前方カメラ３０２、左方カメラ３０３、後方カメラ３０４、および右方カメラ３０５は、それぞれ魚眼レンズのような広画角のレンズを有し、地表面を主に撮影するために所定の俯角をつけて設置されている。

図１には、前方カメラ３０２、左方カメラ３０３、後方カメラ３０４および右方カメラ３０５により撮影された画像の一例が図示されている。前方画像３０６は、前方カメラ３０２により撮影される画像の一例である。左方画像３０７は、左方カメラ３０３により撮影される画像の一例である。後方画像３０８は、後方カメラ３０４により撮影される画像の一例である。右方画像３０９は、右方カメラ３０５により撮影される画像の一例である。図２（ａ）〜（ｄ）に例示されるように、前方画像３０６、左方画像３０７、後方画像３０８および右方画像３０９には、それぞれ前方抽出領域６０１、左方抽出領域６０２、後方抽出領域６０３、右方抽出領域６０４が設定されている。周囲監視装置は、前方抽出領域６０１、左方抽出領域６０２、後方抽出領域６０３および右方抽出領域６０４の各画像を用いて図２（ｅ）に示すような俯瞰画像６０５を生成し、俯瞰画像６０５を運転室３１０（図１）に設けられた表示モニタ（不図示）などに表示する。なお、以降の説明では、前方画像３０６、左方画像３０７、後方画像３０８および右方画像３０９のことを周囲画像３０６〜３０９と略記する。また、前方抽出領域６０１、左方抽出領域６０２、後方抽出領域６０３および右方抽出領域６０４のことを抽出領域６０１〜６０４と略記する。

俯瞰画像６０５の中央にはダンプトラック３０１の位置を示す自車アイコン６１０が配置されており、自車アイコン６１０の上側には前方抽出領域６０１の各画素を座標変換して俯瞰画像とした前方変換画像６０６が配置されている。同様に、自車アイコン６１０の左側には左方抽出領域６０２の各画素を座標変換して俯瞰画像とした左方変換画像６０７が配置されており、自車アイコン６１０の下側には後方抽出領域６０３の各画素を座標変換して俯瞰画像とした後方変換画像６０８が配置されており、自車アイコン６１０の右側には右方抽出領域６０４の各画素を座標変換して俯瞰画像とした右方変換画像６０９が配置されている。前方抽出領域６０１、左方抽出領域６０２、後方抽出領域６０３および右方抽出領域６０４の形状は、前方変換画像６０６、左方変換画像６０７、後方変換画像６０８および右方変換画像６０９が図２（ｅ）に図示したように重なることなく境界線で接するように予め定められている。自車アイコン６１０には、運転室３１０、左方前輪４０１ａ、右方前輪４０１ｂなどの位置を示す画像が含まれており、ユーザがダンプトラック３０１の向きを容易に判断できるようにしている。

図３は、本発明の一実施の形態による周囲監視装置のブロック図である。周囲監視装置１００は、コントローラ１１０と、表示モニタ１１１とを備える。コントローラ１１０は、不図示のＣＰＵ、ＲＡＭ、ＲＯＭなどを有し、ＲＯＭなどに予め記憶されたプログラムを実行することにより、周囲画像取得部１０１、障害物検出部１０２、照度情報取得部１０３、表示方法選択部１０４、表示画像生成部１０５および速度取得部１０６として機能する。表示モニタ１１１は、図１に示した運転室３１０に設けられる表示モニタなどを含む。

周囲画像取得部１０１は、前方カメラ３０２、左方カメラ３０３、後方カメラ３０４および右方カメラ３０５から周囲画像３０６〜３０９（図１参照）に関する画像情報を所定のフレームレートで順次取得する。周囲画像取得部１０１は、取得した周囲画像３０６〜３０９に関する画像情報を障害物検出部１０２や表示画像生成部１０５に出力する。

障害物検出部１０２は、周囲画像取得部１０１により順次取得された複数の周囲画像３０６〜３０９に関する画像情報の中から作業員や自動車など、ダンプトラック３０１の周囲を移動する障害物を検出する。以降、障害物検出部１０２により検出された障害物の画像に関して、周囲画像における障害物の画像の領域を物体領域と呼ぶ。なお、障害物検出処理の詳細は後述する。

照度情報取得部１０３は、ダンプトラック３０１の周囲環境の照度に関する照度情報を取得する。たとえば、照度情報取得部１０３は、図１に示した照度センサ４１０により測定された照度に関する出力信号を取得し、その出力信号に基づいて照度の測定結果を取得する。照度情報取得部１０３は、取得した照度情報を表示方法選択部１０４に出力する。

表示方法選択部１０４は、照度情報取得部１０３により取得された照度情報に基づいて、障害物検出部１０２による検出結果を表示モニタ１１１に表示する方法を選択する。表示方法選択部１０４は、昼間のように、ダンプトラック３０１の周囲環境の照度が所定閾値以上であり、明るいとき、障害物検出部１０２により検出された物体領域を強調表示する昼間用表示方法を選択する。一方、表示方法選択部１０４は、夜間のように、ダンプトラック３０１の周囲環境の照度が所定閾値より低い場合には、誤報を防止する夜間用表示方法を選択する。ここで、所定閾値は、たとえば、昼間の作業現場で予め測定された照度の分布と、夜間の作業現場で予め測定された照度の分布とに基づいて設定され、不図示の操作部材を操作することで手動調整可能に構成してもよい。

表示画像生成部１０５は、表示モニタ１１１に表示させる表示画像を生成し、その表示画像を表示モニタ１１１に出力する。具体的には、表示画像生成部１０５は、周囲画像取得部１０１により取得された周囲画像３０６〜３０９に基づいて俯瞰画像６０５を生成し、ダンプトラック３０１が走行しているときはその俯瞰画像６０５を表示画像として表示モニタ１１１に出力する。表示画像生成部１０５は、ダンプトラック３０１が発進していないとき、すなわちダンプトラック３０１が駐停車しているときは、障害物検出部１０２により検出された移動物体を示す画像を表示方法選択部１０４により設定された表示方法に基づいて俯瞰画像６０５の上に重畳させて合成画像を生成し、その合成画像を表示画像として表示モニタ１１１に出力する。

速度取得部１０６は、ダンプトラック３０１の走行速度に関する速度情報を取得する。速度取得部１０６は、たとえば、ダンプトラック３０１の前輪または後輪の角速度、ＧＰＳ信号などの情報を取得して、ダンプトラック３０１の走行速度を算出する。なお、ダンプトラック３０１の他の車載システムからダンプトラック３０１の走行速度に関する情報を取得することにしてもよい。

（障害物検出処理）
図４（ａ）〜（ｃ）は、障害物検出部１０２により実行される障害物検出処理について説明するための図である。図４（ａ）〜（ｃ）では、ダンプトラック３０１の周囲環境が夜間であるものとする。図４（ａ）および（ｂ）は、周囲画像取得部１０１により所定のフレームレートで取得された連続する２フレームの画像の一例を示す。図４（ｂ）は、時刻ｔ０に周囲画像取得部１０１により右方カメラ３０５から取得されたｆ０フレーム目の右方画像３０９ｂを示す。図４（ａ）は、図４（ｂ）よりも１フレーム前、すなわちｆ０−１フレーム目の右方画像３０９ａを示す。換言すると、図４（ａ）は、時刻ｔ０−Δｔにおいて右方カメラ３０５から取得した映像を処理した右方画像３０９ａを示す。右方画像３０９ａには、前照灯を点灯した自動車の像４１０ａが右方抽出領域６０４の右端近傍に存在し、前照灯による路面反射の像４１０ｂが自動車の像４１０ａよりも左側に存在している。なお、本明細書において路面とは、舗装された道路上の地面だけでなく、作業現場など作業機械が走行可能な地面全般を含む。ｆ０−１フレームからｆ０フレームの期間Δｔ、すなわち時刻ｔ０−Δｔから時刻ｔ０の期間Δｔの期間に自動車は移動しており、右方画像３０９ｂでは、自動車の像４１１ａが右方抽出領域６０４の中央近傍に存在している。自動車の移動に付随して路面反射の像４１１ｂも右方抽出領域６０４の左端近傍に移動している。

右方画像３０９ａおよび右方画像３０９ｂは、不図示の複数の小領域に分割されている。たとえば、右方画像３０９ａが６４０×４８０画素で、小領域が８×８画素の領域の場合、４８００個の小領域に分割されている。

障害物検出部１０２は、右方画像３０９ａの各小領域に対し右方画像３０９ｂにおける同一または周辺の位置の小領域との相関演算を行う。障害物検出部１０２は、それらの相関演算の結果に基づいて、右方画像３０９ａの小領域ごとにそれぞれに最も相関が高い右方画像３０９ｂの小領域を検出する。障害物検出部１０２は、右方画像３０９ａの小領域と、その小領域と最も相関が高い右方画像３０９ｂの小領域との位置関係を表す動ベクトル、すなわち、右方画像３０９ａの各小領域の画像がそれぞれΔｔの間にどの方向にどれだけ移動したかを示すベクトルを右方画像３０９ａの各小領域ごとに算出する。障害物検出部１０２は、動ベクトルの方向と大きさが同一または類似である小領域には同一の移動物体の像が含まれていると判断し、それらの小領域を統合し、障害物に関する物体領域として検出する。図４（ｃ）は、障害物検出部１０２により障害物として検出された自動車の物体領域４１２ａと路面反射の物体領域４１２ｂとを図４（ｃ）に示す。自動車の前照灯による路面反射は、自動車と共に移動しただけであり障害物ではない。このように障害物検出部１０２は、夜間など周囲環境の照度が低いとき、すなわち暗いとき、障害物ではない移動物体も障害物として検出することがある。

図５は、昼間用表示方法の一例を示す。図５に例示された昼間用表示方法では、障害物検出部１０２により検出された物体領域に対応する俯瞰画像６０５上の位置に矩形枠７０１が重畳された合成画像７００ａが生成される。矩形枠７０１の縦横の辺の長さは、障害物検出部１０２により検出された各物体領域に対応する俯瞰画像６０５上の領域をそれぞれ枠内に含むことができる範囲で最小である。昼間は、夜間とは違い前照灯４１１（図１）などの灯具を点灯させたとしても周囲環境の明るさに紛れるため、路面反射等、障害物でない移動物体が検出されにくい。したがって、検出された物体領域ごとに矩形枠７０１を重畳することにしても、障害物でない移動物体を障害物として強調表示する誤報が起きにくい。検出された物体領域ごとに矩形枠７０１を表示することで、周囲の障害物の位置、個数等の情報を見易い表示態様でユーザに提供することができる。

図６は、夜間用表示方法の一例を示す。図６に例示された夜間用表示方法では、前方変換画像６０６、左方変換画像６０７、後方変換画像６０８および右方変換画像６０９のうち、障害物検出部１０２により物体領域が検出された変換画像の外周を強調表示した合成画像７００ｂが表示画像として生成される。図６の例では、前方変換画像６０６から、ダンプトラック３０１の前方を移動する自動車８０１、前方の自動車８０１の前照灯による路面反射８０２、ダンプトラック３０１の前照灯の光８０６によりできた前方の自動車８０１の影８０３が移動物体として検出される。また、右方変換画像６０９から、右方を移動する自動車８０４の前照灯による路面反射８０５が移動物体として検出される。表示画像生成部１０５は、前方変換画像６０６から自動車８０１、路面反射８０２、影８０３が移動物体として検出されたことに応じて、前方変換画像６０６の外周を強調した台形枠８００ａを俯瞰画像６０５に重畳し、合成画像７００ｂを生成する。また、表示画像生成部１０５は、右方変換画像６０９から路面反射８０５が移動物体として検出されたことに応じて、右方変換画像６０９の外周を強調した台形枠８００ｂを俯瞰画像６０５に重畳して合成画像７００ｂを生成する。

図７に示すように、夜間に矩形枠７０１を用いて障害物検出部１０２により検出された物体領域を強調表示すると、路面反射や影など障害物でない移動物体も障害物として強調してしまう誤報が起きるおそれがある。夜間用表示方法では、移動物体が検出された変換画像６０６〜６０９の外周を強調した注意喚起表示を行うことで、移動物体が変換画像６０６〜６０９の内側で検出されたことをユーザに通知するだけに留める。その結果、路面反射のような障害物でない画像を障害物と表示されるのを防止でき、周囲の障害物に関する情報を見易い表示態様で誤報なく提供することができる。

図８に示すフローチャートを用いて周囲監視装置１００の演算処理について説明する。ユーザがダンプトラック３０１の運転室３１０に搭乗し、ダンプトラック３０１を起動すると、コントローラ１１０は、図８のステップＳ２０１に進み、周囲画像取得部１０１により周囲画像３０６〜３０９に関する画像情報を取得する。周囲画像３０６〜３０９に関する画像情報を取得したコントローラ１１０は、ステップＳ２０２に進み、前フレームの周囲画像３０６〜３０９に関する画像情報が存在するか否かを判定する。このような判定を行うのは、障害物検出部１０２による動ベクトルの算出を行うためには複数の時点における周囲画像３０６〜３０９が必要であるからである。周囲画像取得部１０１により周囲画像３０６〜３０９に関する画像情報の取得を開始した直後は、前フレームの周囲画像３０６〜３０９が存在しないためステップＳ２０２を否定判定し、ステップＳ２０１に進んで次フレームの周囲画像３０６〜３０９に関する画像情報を取得する。次フレームの周囲画像３０６〜３０９に関する画像情報を取得したコントローラ１１０は、先に取得した周囲画像３０６〜３０９を前フレームの周囲画像３０６〜３０９に関する画像情報として判断し、ステップＳ２０２を肯定判定してステップＳ２０３に進む。ステップＳ２０３では、ステップＳ２０１で取得した最新の周囲画像３０６〜３０９に基づいて俯瞰画像６０５を生成する。

コントローラ１１０は、俯瞰画像６０５の生成が終わると、ステップＳ２０４に進み、障害物検出部１０２により物体領域を検出する。すなわち、前述したように、コントローラ１１０は、障害物検出部１０２により、二つの異なるフレームの周囲画像に関してそれらの周囲画像を構成する小領域ごとに動ベクトルを算出する。算出された動ベクトルの大きさと方向が同一または類似の小領域を統合して移動物体として検出し、それらの物体領域を検出する。なお、ダンプトラック３０１の周辺に移動物体が存在しない場合は、物体領域は検出されない。

ステップＳ２０４における障害物検出部１０２による移動物体検出処理が終わると、コントローラ１１０は、ステップＳ２０５に進み、障害物検出部１０２により物体領域が検出されたか否かを判定する。コントローラ１１０は、障害物検出部１０２により物体領域が検出されている場合、ステップＳ２０５からステップＳ２０６に進み、その物体領域が前方抽出領域６０１、左方抽出領域６０２、後方抽出領域６０３および右方抽出領域６０４のいずれかの中に含まれるか否かを判定する。物体領域が前方抽出領域６０１、左方抽出領域６０２、後方抽出領域６０３および右方抽出領域６０４のいずれかの中に含まれる場合、ステップＳ２０６からステップＳ２０７へ進む。逆に、物体領域が抽出領域６０１〜６０４に含まれていない場合は、ステップＳ２１０に進む。ステップＳ２０７では、コントローラ１１０は、障害物検出部１０２の検出結果の表示方法を表示方法選択部１０４により選択して、その表示方法に基づいて表示画像生成部１０５により合成画像７０１を生成し、ステップＳ２０９に進む。ステップＳ２０７における制御については、図９を用いて詳述する。ステップＳ２０９では、コントローラ１１０は、生成したその合成画像７０１を表示画像として表示モニタ１１１に出力する。一方、ステップＳ２０５において障害物検出部１０２により物体領域が検出されていないと判定されると、ステップＳ２１０に進む。ステップＳ２１０では、コントローラ１１０は、表示画像生成部１０５により、ステップＳ２０３で生成した俯瞰画像を表示画像として表示モニタ１１１に出力する。

コントローラ１１０は、ステップＳ２０９またはステップＳ２１０において表示画像を表示モニタ１１１に出力すると、ステップＳ２１１に進み、速度取得部１０６により取得された速度情報に基づいてダンプトラック３０１が駐車または停車しているか否かを判定する。コントローラ１１０は、ダンプトラック３０１が駐車または停車している場合、ステップＳ２１１を肯定判定してステップＳ２０１の処理に戻る。ダンプトラック３０１が発進し、ダンプトラック３０１が移動している場合は、ステップＳ２１１を否定判定してステップＳ２１２の処理に進む。

ステップＳ２１２では、コントローラ１１０は、ステップＳ２０１と同様に周囲画像取得部１０１により周囲画像３０６〜３０９に関する画像情報を取得する。ステップＳ２１２において画像情報を取得すると、コントローラ１１０は、表示画像生成部１０５により、ステップＳ２１３においてその画像情報を用いて俯瞰画像６０５を生成し、ステップＳ２１４において俯瞰画像６０５を表示画像として出力し、ステップＳ２１１の判定に戻る。

図９は、図８のステップＳ２０７でコントローラ１１０により実行される制御に関するフローチャートである。
コントローラ１１０は、図８のステップＳ２０７の処理を開始すると、ステップＳ２７１に進む。ステップＳ２７１では、コントローラ１１０は、照度情報取得部１０３により照度センサ４１０から照度情報を取得する。ステップＳ２７２では、コントローラ１１０は、ステップＳ２７１で取得した照度情報に基づいて、ダンプトラック３０１の周囲環境の照度が所定閾値未満か否か、すなわちダンプトラック３０１の周囲環境が夜間のように暗いか否かを判定する。コントローラ１１０は、ダンプトラック３０１の周囲環境の照度が所定閾値未満の場合、ステップＳ２７２からステップＳ２７３に進み、障害物検出部１０２の検出結果の表示方法として夜間用表示方法を選択する。夜間用表示方法を選択したコントローラ１１０は、ステップＳ２７４に進み、前方変換画像６０６、左方変換画像６０７、後方変換画像６０８および右方変換画像６０９の各画像領域のうち、障害物検出部１０２により移動物体が検出された画像領域を抽出し、ステップＳ２７５に進む。ステップＳ２７５では、コントローラ１１０は、俯瞰画像６０５に対してステップＳ２７４で抽出した画像領域について台形枠を重畳して、合成画像７００ｂを生成し、図８のステップＳ２０９に進む。

ステップＳ２７２において、ダンプトラック３０１の周囲環境の照度が所定閾値以上と判定されると、コントローラ１１０は、ステップＳ２７６に進み、障害物検出部１０２の検出結果の表示方法として昼間用表示方法を選択する。昼間用表示方法を選択したコントローラ１１０は、ステップＳ２７７に進み、障害物検出部１０２により検出された各移動物体の物体領域について、俯瞰画像６０５上の位置および形状を算出し、その位置および形状に基づいて矩形枠７０１の表示位置と縦横の辺の長さを設定する。矩形枠７０１に関する設定をしたコントローラ１１０は、ステップＳ２７８に進み、ステップＳ２７７で設定した矩形枠７０１をそれぞれ俯瞰画像６０５の上に重畳させて合成画像７００ａを生成し、図８のステップＳ２０９に進む。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）第１の実施の形態による周囲監視装置１００は、周囲画像取得部１０１と障害物検出部１０２と表示画像生成部１０５と照度情報取得部１０３と表示方法選択部１０４として機能するコントローラ１１０を備える。周囲画像取得部１０１は、作業機械、たとえばダンプトラック３０１の周囲環境を撮影するカメラ、たとえば前方カメラ３０２、左方カメラ３０３、後方カメラ３０４および右方カメラ３０５から周囲画像３０６〜３０９を取得する。障害物検出部１０２は、周囲画像取得部１０１により取得された複数の周囲画像３０６〜３０９の中から移動物体を検出する。表示画像生成部１０５は、周囲画像取得部１０１により取得された画像に基づいて表示画像、たとえば俯瞰画像６０５を生成する。照度情報取得部１０３は、周囲環境の照度に関する照度情報、たとえば照度センサ４１０の出力信号を取得する。表示方法選択部１０４は、その照度情報に基づいて、障害物検出部１０２の検出結果の表示形態を複数の表示形態の中から選択する。複数の表示形態には、俯瞰画像６０５の画像領域を複数に分割した複数の第１分割領域、すなわち前方変換画像６０６、左方変換画像６０７、後方変換画像６０８、右方変換画像６０９の各画像領域において、移動物体の存在する第１分割領域全体に台形枠を重畳した合成画像を表示する夜間用表示方法を含む。表示方法選択部１０４は、周囲環境の照度が所定閾値未満の場合には夜間用表示方法を選択する。表示画像生成部１０５は、表示方法選択部１０４により選択された表示形態に基づく注意喚起表示、たとえば矩形枠７０１、台形枠８００ａおよび８００ｂを俯瞰画像６０５に重畳表示する。
したがって、障害物の検出結果についてダンプトラック３０１の周囲環境の照度に応じた見易い表示を行うことができる。たとえば、夜間のように周囲環境の照度が低い場合は、移動物体が検出された変換画像の画像領域全体に台形枠を重畳することで、障害物でない画像を障害物と表示されるのを防止でき、周囲環境から移動物体が障害物として検出されたか否かを見易い表示態様で提供することができる。

（２）表示方法選択部１０４は、周囲環境の照度が所定閾値以上の場合、たとえば昼間のように周囲環境の照度が高い場合には、昼間用表示方法を選択する。昼間用表示方法では、たとえば障害物検出部１０２により検出された物体領域ごとに俯瞰画像６０５に矩形枠７０１を重畳させた合成画像７００ａを運転室３１０の表示モニタ１１１に表示する。したがって、作業機械の周囲の障害物の位置、個数等の情報を見易い表示態様でユーザに提供することができる。

（３）表示方法選択部１０４は、周囲画像取得部１０１により複数のカメラ、たとえば前方カメラ３０２、左方カメラ３０３、後方カメラ３０４および右方カメラ３０５から取得された画像情報に基づいて、部分画像領域、たとえば前方変換画像６０６、左方変換画像６０７、後方変換画像６０８および右方変換画像６０９を生成する。表示方法選択部１０４は、周囲環境の照度が所定閾値未満の場合は、障害物検出部１０２により移動物体が検出された周囲画像３０６〜３０９を取得したカメラ３０２〜３０５に対応する部分画像領域、たとえば図６の前方変換画像６０６および右方変換画像６０９を強調表示する。すなわち、周囲環境の照度が低い場合には、移動物体が変換画像６０６〜６０９の内側で検出されたことをユーザに通知するだけに留める。その結果、路面反射や影のような障害物でない画像を障害物として詳細な位置を表示することを抑制することできる。

（第２の実施の形態）
本発明の第２の実施の形態による周囲監視装置について説明する。第２の実施の形態による周囲監視装置は、ダンプトラック３０１の周辺環境の照度が所定閾値未満の場合に表示方法選択部１０４が選択する夜間用表示方法の内容が、第１の実施の形態における夜間用表示方法と異なる。第２の実施の形態における夜間表示方法では、前方変換画像領域６０６、左方変換画像領域６０７、後方変換画像領域６０８および右方変換画像領域６０９を、ダンプトラック３０１からの距離に応じて複数のブロックに分割する。そして、検出された移動物体の物体領域を含むブロックを囲う枠を重畳する注意喚起表示を行う。その結果、障害物検出部１０２の検出結果について、第１の実施の形態よりも詳細に情報提供することができる。

図１０では、前方変換画像６０６がダンプトラック３０１からの距離に応じて三つのブロックに分割されており、これらのブロックのことを自車アイコン６１０に近い方から近距離ブロック６０６ａ、中距離ブロック６０６ｂ、遠距離ブロック６０６ｃと呼ぶ。左方変換画像領域６０７、後方変換画像領域６０８および右方変換画像領域６０９もそれぞれ同様に近距離ブロック６０７ａ〜６０９ａ、中距離ブロック６０７ｂ〜６０９ｂ、遠距離ブロック６０７ｃ〜６０９ｃという三つに分割されている。表示画像生成部１０５は、各ブロックの中から移動物体が検出されたか否かを判定し、その判定結果に基づいてそのブロックを囲う枠を俯瞰画像６０５に重畳させるか否かを判断する。なお、前方変換画像領域６０６、左方変換画像領域６０７、後方変換画像領域６０８および右方変換画像領域６０９の分割数は、二つ以上であればよく、三つに限定しない。

表示画像生成部１０５は、障害物検出部１０２により移動物体が検出されたブロックが隣接している場合は、それらのブロックを一塊として枠で囲う。たとえば、図１１に示すように、自動車８０１と路面反射８０２が中距離ブロック６０６ｂと遠距離ブロック６０６ｃから検出された場合、表示画像生成部１０５は、中距離ブロック６０６ｂと遠距離ブロック６０６ｃを一塊として囲う枠８２０を俯瞰画像６０５に重畳させて合成画像７００ｃを生成する。図１１に示す合成画像７００ｃでは、自動車８０４の前照灯による路面反射８０５が検出された近距離ブロック６０９ａについても枠８２１が重畳されている。

第２の実施の形態における周囲監視装置１００の制御は、図９のステップＳ２７４およびステップＳ２７５における制御以外は、第１の実施の形態と同様である。第２の実施の形態では、コントローラ１１０は、ステップＳ２７４において、障害物検出部１０２により検出された移動物体の物体領域を含むブロックを抽出し、抽出されたブロックに基づいて、俯瞰画像６０５に重畳表示させる枠の個数や各枠で囲うブロックなどを設定する。ステップＳ２７５では、コントローラ１１０は、その枠に関する設定に基づいて、俯瞰画像６０５に枠を重畳させる。

上述した第２の実施の形態によれば、次の作用効果が得られる。
（１）変換画像６０６〜６０９の画像領域は、ダンプトラック３０１、より具体的には自車アイコン６１０からの距離に応じて複数のブロックに分割されている。表示画像生成部１０５は、周囲環境の照度が所定閾値未満の場合に、移動物体の存在するブロック全体を枠で囲う注意喚起表示を行う。
したがって、路面反射や影のような障害物でない移動物体について詳細な位置を誤報することを抑制しつつ、障害物である移動物体の位置について第１の実施の形態より詳細に情報を提供することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上記の実施の形態では、表示画像生成部１０５は、昼間用表示方法において、俯瞰画像６０５に矩形枠７０１を重畳させて合成画像７００ａを生成したが、周囲画像に矩形枠７０１を重畳させて図１２（ｄ）に示すような合成画像９０１を生成することにしてもよい。図１２（ｄ）に示す合成画像９０１では、図１２（ｃ）に示す後方画像３０８の左右を反転させた後方鏡像画像９０８が下部に配置される。後方鏡像画像９０８の左上には、図１２（ａ）に示す左方画像３０７を反時計回りに９０°回転させた回転左方画像９０７が配置される。後方鏡像画像９０８の右上には、図１２（ｂ）に示す右方画像３０９を時計回りに９０°回転させた回転右方画像９０９が配置される。また、回転左方画像９０７と後方鏡像画像９０８に含まれる移動物体の物体領域には、障害物検出部１０２により検出された物体領域を囲うように矩形枠７０１が重畳されている。

また、夜間用表示方法において、表示画像生成部１０５は、俯瞰画像６０５を複数に分割した変換画像６０６〜６０９の画像領域の上に台形枠を重畳させて合成画像を生成したが、回転左方画像９０７、後方鏡像画像９０８、回転右方画像９０９に、それらの一部、たとえば抽出領域６０２〜６０４（図２参照）の外周を強調する枠を重畳させて合成画像を生成することにしてもよい。

（変形例２）
上記の実施の形態では、表示画像生成部１０５は、俯瞰画像６０５や合成画像７００などの表示画像を運転室３１０に設けられた表示モニタ１１１に出力している。しかし、表示画像生成部１０５による表示画像の出力先は、運転室３１０に設けられた表示モニタ１１１だけに限定されない。たとえば、ダンプトラック３０１が稼働する作業現場の状況を集中管理する外部管理センタにも表示画像を送信することにしてもよいし、外部管理センタにのみ表示画像を送信することにしてもよい。

（変形例３）
上記の実施の形態では、周囲画像取得部１０１は、前方カメラ３０２、左方カメラ３０３、後方カメラ３０４および右方カメラ３０５からそれぞれ周囲画像３０６〜３０９を取得することにした。しかし、周囲画像取得部１０１が画像情報を取得するカメラの個数は、４個に限定しない。たとえば、運転室３１０から周囲環境を視認することが特に困難な右方と後方のみにカメラを設けることにしてもよいし、４台以上のカメラを設けることにしてもよい。

（変形例４）
上記の実施の形態では、照度情報取得部１０３は、ダンプトラック３０１の周囲環境の照度に関する照度情報を照度センサ４１０から取得することにしたが、照度センサ４１０以外のものから照度情報を取得することにしてもよい。たとえば、周囲画像３０６〜３０９から輝度画像を生成し、輝度画像に含まれる画素ごとの輝度情報の平均値を照度情報として取得することにしてもよい。また、ダンプトラック３０１の周囲環境の照度について目測または照度計を用いて暗いか否かユーザに判断させ、ユーザの判断結果を入力操作可能な物理的なスイッチの出力信号を照度情報として取得することにしてもよい。スイッチからの出力信号では、照度が所定閾値未満の周囲環境に対応する第１状態と、照度が所定閾値以上の周囲環境に対応する第２状態とをそれぞれ表現することができる。また、ＧＰＳ衛星から受信した信号を照度情報として取得することにしてもよい。

ＧＰＳ衛星から受信した信号を照度情報として取得する場合は、次のようにしてダンプトラック３０１の周囲環境の照度について判断することにすればよい。ＧＰＳ衛星から受信した信号に基づいてダンプトラック３０１が位置する緯度および経度を算出し、ダンプトラック３０１の緯度および経度に関する情報と不図示のカレンダ部から取得した年月日情報とに基づいて日の入り時刻および日の出時刻を算出する。算出した日の入り時刻および日の出時刻を不図示のタイマ部から取得した現在日時に関する時刻情報と比較して、現在時刻が日の出後日の入り前であるか否かを判定する。現在時刻が日の出後日の入り前である場合は、周囲環境の照度が所定閾値以上であると判断し、現在時刻が日の入り後日の出前である場合は、周囲環境の照度が所定閾値未満であると判断する。

（変形例５）
上記の実施の形態では、本発明に係る周囲監視装置を鉱山での作業等に用いられるダンプトラックに搭載した場合について説明した。しかし、本発明に係る周囲監視装置を搭載する作業機械は、鉱山での作業等に用いられるダンプトラックだけに限定されない。たとえば、通常のダンプトラック、油圧ショベル、クレーン、ホイールローダなど、他の作業機械に本発明に係る周囲監視装置を搭載することにしてもよい。なお、稼働中に前照灯などの灯具の点灯、消灯を切り替え可能な作業機械にあっては、その灯具の点灯情報、たとえばその灯具の点灯、消灯を切り替える制御信号、たとえば照明スイッチの出力信号を照度情報として用いることにしてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１００：周囲監視装置、１０１：周囲画像取得部（周囲画像取得部）、１０２：障害物検出部（検出部）、１０３：照度情報取得部（照度情報取得部）、１０４：表示方法選択部（選択部）、１０５：表示画像生成部（表示画像生成部）、１０６：速度取得部、１１０：コントローラ、１１１：表示モニタ、３０１：ダンプトラック、６０５：俯瞰画像、７００ａ、７００ｂ、７００ｃ：合成画像、７０１：矩形枠、８００ａ、８００ｂ：台形枠

Claims (5)

1. 作業機械の周囲環境を撮影するカメラから画像を取得する周囲画像取得部と、
   前記周囲画像取得部により取得された画像の中から、移動物体を検出する検出部と、
   前記周囲画像取得部により取得された画像に基づいて表示画像を生成する表示画像生成部とを備えた作業機械の周囲監視装置であって、
   前記周囲環境の照度に関する照度情報を取得する照度情報取得部と、
   前記照度情報に基づいて、前記検出部の検出結果の表示形態を異なる複数の表示形態から選択する選択部と、を備え、
   前記複数の表示形態には、前記表示画像の画像領域を分割してなる複数の第１分割領域において、前記移動物体の存在する第１分割領域の領域全体を示す注意喚起表示を表示する第１表示形態が含まれ、
   前記選択部は、前記周囲環境の照度が所定閾値未満の場合には第１表示形態を選択し、
   前記表示画像生成部は、前記表示画像に前記選択部で選択された表示形態に基づく前記注意喚起表示を重畳表示する、作業機械の周囲監視装置。
2. 請求項１に記載の作業機械の周囲監視装置において、
   前記選択部は、前記周囲環境の照度が所定閾値以上の場合には、前記移動物体の一部にマークを重畳する第２表示形態を選択する、作業機械の周囲監視装置。
3. 請求項１に記載の作業機械の周囲監視装置において、
   前記周囲画像取得部は複数のカメラから画像を取得し、
   前記複数の第１分割領域の画像は前記複数のカメラから取得された画像に基づいて生成される、作業機械の周囲監視装置。
4. 請求項１に記載の作業機械の周囲監視装置において、
   前記周囲画像取得部は複数のカメラから画像を取得し、
   前記複数の第１分割領域の画像は前記複数のカメラから取得された画像であって、さらに、前記第１分割領域の各々は前記作業機械からの距離に応じて設定される複数の第２分割領域に分割され、
   前記第１表示形態では、前記移動物体の存在する前記第１分割領域に前記注意喚起表示を表示するのに代えて、前記移動物体の存在する前記第２分割領域にその領域全体を示す注意喚起表示を重畳表示する、作業機械の周囲監視装置。
5. 請求項１乃至４のいずれか一項に記載の作業機械の周囲監視装置において、
   前記照度情報取得部が取得する前記照度情報は、
   前記周囲画像取得部が取得した画像に基づいて算出される輝度情報と、
   前記作業機械の周囲環境の照度を測定する照度センサの測定情報と、
   前記所定閾値未満に対応する第１状態と前記所定閾値以上に対応する第２状態とを選択操作可能なスイッチからの状態情報と、
   前記作業機械に設けられた照明装置からの点消灯情報と、
   ＧＰＳ衛星から受信した受信情報と、からなる群より選択される一の情報である作業機械の周囲監視装置。

Images