JP5755578B2

JP5755578B2 - 周囲監視装置

Info

Publication number: JP5755578B2
Application number: JP2012021275A
Authority: JP
Inventors: 芳永清田
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2012-02-02
Filing date: 2012-02-02
Publication date: 2015-07-29
Anticipated expiration: 2032-02-02
Also published as: JP2013159930A

Description

本発明は、作業機械の周囲を監視する周囲監視装置に関し、特に、作業機械と物体とが接近した場合に警告を出力する周囲監視装置に関する。

従来、建設機械の周囲に設定された監視領域内に障害物が入った場合に警報を発し、且つ、障害物が建設機械に接触した場合に建設機械を停止させる監視装置が知られている（例えば、特許文献１参照。）。

また、作業機械の周囲の障害物が静止障害物であるか移動障害物であるかを判定し、静止障害物に対応する画像と移動障害物に対応する画像とを異なる形態で表示用モニタに表示する周囲監視装置が知られている（例えば、特許文献２参照。）。この周囲監視装置は、作業機械の周囲に設定された警報範囲内に移動障害物が入った場合に警報を発するように構成されている。

特開平９−１５８２５８号公報特開２００８−１６３７１９号公報

しかしながら、特許文献１の監視装置は、障害物がどのようなものであっても、監視領域内に入りさえすれば警報を発してしまう。

同様に、特許文献２の周囲監視装置は、警報範囲内に移動障害物が入った場合には、移動障害物がどのようなものであったとしても、警報範囲内に入りさえすれば警報を発してしまう。

このように、特許文献１及び２に記載の装置は何れも、操作者が障害物の存在を既に知っていたとしてもその障害物が接近すれば常に警報を発してしまい、操作者に煩わしさを感じさせてしまう。

上述の点に鑑み、本発明は、特定の物体が作業機械に接近した場合とそれ以外の物体が作業機械に接近した場合とで警告の出力態様を変えられる周囲監視装置を提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る周囲監視装置は、作業機械の周囲を監視する周囲監視装置であって、前記作業機械に搭載される、前記作業機械の周囲に設定される監視領域内の固定設置物としての物体を検知する物体検知装置の検知結果と、前記作業機械に搭載される撮像装置が撮像する画像内の、作業現場の所定位置に固定的に設置されるマーカーに対応するマーカー画像とに基づいて、前記監視領域内の固定設置物としての物体が警告制限対象物であるか否かを判定する警告制限対象物当否判定部と、前記監視領域内の固定設置物としての物体が警告制限対象物であるか否かに応じて警告の出力態様を制御する警告出力制御部と、を備え、前記警告出力制御部は、前記監視領域内の固定設置物としての物体が警告制限対象物である場合に、警告の出力を禁止することを特徴とする。

上述の手段により、本発明は、特定の物体が作業機械に接近した場合とそれ以外の物体が作業機械に接近した場合とで警告の出力態様を変えられる周囲監視装置を提供することができる。

本発明の実施例に係る周囲監視装置が搭載されるショベルの概略図である。本発明の実施例に係る周囲監視装置の構成を示す機能ブロック図である。第一周囲監視処理の流れを示すフローチャートである。周囲監視装置が進入防止処理を実行する際の作業現場の状況を示す図である。第一判定処理の流れを示すフローチャートである。周囲監視装置が第一判定処理を実行する際の作業現場の状況を示す図である。第二判定処理の流れを示すフローチャートである。周囲監視装置が第二判定処理を実行する際の作業現場の状況を示す図である。第二周囲監視処理の流れを示すフローチャートである。周囲監視装置が第二周囲監視処理を実行する際の作業現場の状況を示す図である。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の実施例に係る周囲監視装置が搭載される作業機械であるショベル５０の構成例を示す概略図である。ショベル５０の下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられ、ブーム４の先端には、アーム５が取り付けられ、アーム５の先端には、バケット６が取り付けられる。ブーム４、アーム５、及びバケット６は、掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。さらに、上部旋回体３には、ショベル５０の向きに関する向き情報を取得する向き情報取得装置２２、ショベル５０の周囲を撮像する撮像装置２４、及び、ショベル５０の周囲に存在する物体を検知する物体検知装置２５が搭載される。また、キャビン１０の内部には、制御装置２０、記憶装置２６、表示装置２７、及び音声出力装置２８が搭載され、キャビン１０の天井部には、本体位置情報取得装置２１が搭載される。なお、制御装置２０、本体位置情報取得装置２１、向き情報取得装置２２、撮像装置２４、物体検知装置２５、記憶装置２６、表示装置２７、及び音声出力装置２８の詳細は後述する。

図２は、本発明の実施例に係る周囲監視装置１００の構成を示す機能ブロック図である。周囲監視装置１００は、制御装置２０を含み、本体位置情報取得装置２１、向き情報取得装置２２、撮像装置２４、物体検知装置２５、記憶装置２６、表示装置２７、及び音声出力装置２８に接続される。

制御装置２０は、周囲監視装置１００の動作を制御する装置であり、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えるコンピュータである。具体的には、制御装置２０は、マーカー認識部２００、マーカー解読部２０１、警告制限対象物当否判定部２０２、及び警告出力制御部２０３の各機能要素に対応するプログラムをＲＯＭから読み出してＲＡＭにロードし、各機能要素に対応する処理をＣＰＵに実行させる。

本体位置情報取得装置２１は、作業機械本体の位置に関する本体位置情報を取得する装置である。本実施例では、本体位置情報取得装置２１は、ＧＰＳ（Global Positioning System）受信機によりＧＰＳアンテナを介してＧＰＳ衛星が出力する信号を受信して本体位置情報（例えば、緯度、経度、高度である。）を測位・演算するＧＰＳ装置である。具体的には、本体位置情報取得装置２１は、ショベル５０の天井部に搭載されるＧＰＳ装置であり、例えば、ショベル５０の基準位置（例えば、旋回中心である。）に対応する本体位置情報を取得し、取得した本体位置情報を制御装置２０に対して出力する。

向き情報取得装置２２は、作業機械の向きに関する向き情報を取得する装置である。本実施例では、向き情報取得装置２２は、掘削アタッチメントが位置する側を前側としてショベル５０の向き（方位）を取得する地磁気センサであり、検出した向き情報を制御装置２０に対して出力する。

また、向き情報取得装置２２は、本体位置情報取得装置２１としてのＧＰＳ装置の設置位置とは異なるショベル５０上の位置に搭載される別のＧＰＳ装置であってもよい。２つのＧＰＳ装置のそれぞれが取得する位置情報に基づいてショベル５０の向きを特定できるためである。

撮像装置２４は、作業機械の周囲を撮像する装置であり、例えば、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えたカメラである。本実施例では、撮像装置２４は、ショベル５０の左側方を撮像する左側方カメラ２４Ｌ、ショベル５０の右側方を撮像する右側方カメラ２４Ｒ、及び、ショベル５０の後方を撮像する後方カメラ２４Ｂを含む。撮像装置２４は、撮像した画像（以下、「周囲画像」とする。）を制御装置２０に対して出力する。

物体検知装置２５は、作業機械の周囲に存在する物体を検知する装置であり、例えば、レーザーレンジファインダ、超音波センサ、ミリ波センサ等である。本実施例では、物体検知装置２５は、ショベル５０の左側方に存在する物体を検知する左側方レーザレンジファインダ２５Ｌ、及び、ショベル５０の右側方に存在する物体を検知する右側方レーザレンジファインダ２５Ｒを含む。なお、物体検知装置２５は、ショベル５０の後方に存在する物体を検知する後方レーザレンジファインダを含んでいてもよい。

図３は、物体検知装置２５の監視領域Ａ１を示す図である。図３の点線で示すように、左側方レーザレンジファインダ２５Ｌは、ショベル５０の左側方に左側方監視領域Ａ１Ｌを有し、右側方レーザレンジファインダ２５Ｒは、ショベル５０の右側方に右側方監視領域Ａ１Ｒを有する。

記憶装置２６は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等を含む。本実施例では、記憶装置２６は、キャビン１０内に設置される半導体メモリである。

表示装置２７は、各種情報を表示する装置であり、例えば、液晶ディスプレイ、ＬＥＤ等を含む。本実施例では、表示装置２７は、キャビン１０内に設置される液晶ディスプレイである。

音声出力装置２８は、各種情報を音声出力する装置であり、例えば、スピーカ、ブザー等を含む。本実施例では、音声出力装置２８は、キャビン１０内に設置されるスピーカである。

次に、制御装置２０における各種機能要素について説明する。

マーカー認識部２００は、作業現場におけるマーカーに対応するマーカー画像を認識する機能要素である。

「マーカー」とは、所定の幾何学的な形状又は模様を有する物体であり、例えば、ＡＲ（Augmented Reality）技術で用いられるＡＲマーカー、ＱＲコード（登録商標）等の二次元コードを含む。

また、マーカーは、作業現場の所定位置に固定的に設置される。マーカーは、例えば、建造物の壁面に貼り付けられてもよく、作業現場に設置される杭の頂部に取り付けられてもよく、或いは、表面を露出させながら地面に埋め込まれてもよい。

具体的には、マーカー認識部２００は、パターンマッチング等の画像処理技術を用いて、撮像装置２４が撮像した周囲画像における、マーカーに対応するマーカー画像を認識する。

また、マーカー認識部２００は、認識したマーカー画像の大きさに基づいて、撮像装置２４とマーカーとの間の距離を算出し、認識したマーカー画像の周囲画像内における位置に基づいて、撮像装置２４から見たマーカーの方向を算出する。この場合、マーカーは、所定の大きさを有する。

マーカー解読部２０１は、マーカー認識部２００が認識したマーカー画像が表す内容を解読する機能要素である。

マーカー画像が表す内容は、例えば、マーカーが貼り付けられた物体に関する情報、マーカーが定める所定領域に関する情報等を含む。

マーカーが貼り付けられた物体に関する情報は、例えば、その物体が警告制限対象物であることを表す情報を含む。「警告制限対象物」とは、作業機械との接触を防止するための警告の出力態様が、その他の物体（以下、「警告対象物」とする。）に関する警告の出力態様と異なる物体である。具体的には、周囲監視装置１００は、ショベル５０と警告対象物との間の距離が閾値以下となった場合、すなわち警告対象物が物体検知装置２５の監視領域Ａ１に入った場合に警告を出力する。これに対し、周囲監視装置１００は、ショベル５０と警告制限対象物との間の距離が閾値以下となった場合、すなわち警告制限対象物が物体検知装置２５の監視領域Ａ１に入った場合であっても警告の出力を禁止する。

マーカーが定める所定領域に関する情報は、例えば、所定領域を定めるのに用いられるマーカーの数、所定領域の位置情報（例えば緯度及び経度で表される情報である。）、所定領域の大きさ、高さ、又は深さ、所定領域が設定される時間帯又は有効期限等を含む。なお、所定領域は、例えば、警報禁止領域、警報制限領域等を含む。警報禁止領域は、その領域内にある物体と作業機械との間の距離が閾値以下となっても、すなわち物体が物体検知装置２５の監視領域Ａ１に入ったとしても警告の出力が禁止されるようにする領域である。また、警報制限領域は、その領域内にある物体と作業機械との間の距離が、通常の閾値より小さい閾値以下となった場合に限り警告が出力されるようにする領域である。

具体的には、マーカー解読部２０１は、記憶装置２６に予め記憶された、マーカー画像とそのマーカー画像が表す内容との対応関係を保持するテーブルを参照し、認識されたマーカー画像が表す内容を解読する。

また、マーカー解読部２０１は、解読した内容を随時読み出し可能に記憶装置２６に記憶する。マーカー画像を繰り返し認識・解読することなく、後述の警告制限対象物当否判定部２０２による判定が行われるようにするためである。具体的には、マーカー解読部２０１は、マーカーが貼り付けられた物体の位置及び範囲に関する情報、警報禁止領域の位置及び範囲に関する情報、警報制限領域の位置及び範囲に関する情報等を随時読み出し可能に記憶装置２６に記憶する。なお、マーカー解読部２０１は、解読した内容の記憶装置２６への記憶を省略してもよい。警告制限対象物当否判定部２０２による判定が行われる度に、マーカー画像の認識・解読が行われるようにするためである。

なお、マーカー解読部２０１は、１つのマーカー画像に基づいて１つの内容を解読してもよく、複数のマーカー画像の組み合わせに基づいて１つの内容を解読してもよい。

警告制限対象物当否判定部２０２は、物体検知装置２５の監視領域Ａ１に入った物体が警告制限対象物であるか警告対象物であるかを判定する機能要素である。

具体的には、警告制限対象物当否判定部２０２は、物体検知装置２５により監視領域Ａ１内で物体が検知された場合に、マーカー解読部２０１が出力する解読結果に基づいて、或いは、マーカー解読部２０１が記憶装置２６に記憶した解読結果に基づいて、その物体が警告制限対象物であるか否かを判定する。警告制限対象物当否判定部２０２は、例えば、物体検知装置２５が検知した物体の位置と、マーカー解読部２０１が解読したマーカーの位置とが一致する場合にその物体が警告制限対象物であると判定する。或いは、警告制限対象物当否判定部２０２は、物体検知装置２５が検知した物体の位置が、マーカー解読部２０１が解読した警告禁止領域又は警告制限領域に含まれる場合に、その物体が警告制限対象物であると判定する。

検知された物体が警告制限対象物でない、すなわち警告対象物であると判定した場合、警告制限対象物当否判定部２０２は、所定の制御信号（以下、「警告許可信号」とする。）を警告出力制御部２０３に対して出力する。音声出力装置２８に警告を出力させるための制御信号（以下、「警告信号」とする。）を警告出力制御部２０３が音声出力装置２８に対して出力できるようにするためである。

一方、検知された物体が警告制限対象物であると判定した場合、警告制限対象物当否判定部２０２は、警告許可信号を警告出力制御部２０３に対して出力しない。警告出力制御部２０３が警告信号を音声出力装置２８に対して出力しないようにするためである。

或いは、警告制限対象物当否判定部２０２は、検知された物体が警告制限対象物であると判定した場合に所定の制御信号（以下、「警告禁止信号」とする。）を警告出力制御部２０３に対して出力してもよい。音声出力装置２８に警告を出力させるための制御信号（以下、「警告信号」とする。）を警告出力制御部２０３が音声出力装置２８に対して出力できないようにするためである。この場合、警告制限対象物当否判定部２０２は、検知された物体が警告制限対象物でないと判定した場合には、警告禁止信号を警告出力制御部２０３に対して出力しない。警告出力制御部２０３が警告信号を音声出力装置２８に対して出力できるようにするためである。

或いは、警告制限対象物当否判定部２０２は、検知された物体が警告制限対象物であると判定した場合に警告禁止信号を警告出力制御部２０３に対して出力し、検知された物体が警告制限対象物でないと判定した場合に警告許可信号を警告出力制御部２０３に対して出力してもよい。

警告出力制御部２０３は、警告制限対象物当否判定部２０２の判定結果に応じて警告の出力態様を制御する機能要素である。

具体的には、警告出力制御部２０３は、警告制限対象物当否判定部２０２から警告許可信号を受信した場合に、音声出力装置２８に対して警告信号を出力する。一方、警告出力制御部２０３は、警告制限対象物当否判定部２０２から警告許可信号を受信しない場合、音声出力装置２８に対して警告信号を出力しない。監視領域Ａ１の物体が警告制限対象物のためである。

或いは、警告出力制御部２０３は、警告制限対象物当否判定部２０２から警告禁止信号を受信した場合に、警告信号の出力を禁止し、警告禁止信号を受信しない場合に、警告信号を出力してもよい。

或いは、警告出力制御部２０３は、警告制限対象物当否判定部２０２から警告禁止信号を受信した場合に警告信号の出力を禁止し、警告許可信号を受信した場合に警告信号を出力してもよい。

次に、図４を参照しながら、周囲監視装置１００がショベル５０の周囲を監視する処理（以下、「第一周囲監視処理」とする。）について説明する。なお、図４は、第一周囲監視処理の流れを示すフローチャートであり、周囲監視装置１００は、この第一周囲監視処理を所定周期で繰り返し実行する。

最初に、周囲監視装置１００の制御装置２０は、物体検知装置２５の出力に基づいて監視領域Ａ１内で物体が検知されたか否かを判定する（ステップＳ１）。

監視領域Ａ１内で物体が検知されたと制御装置２０が判定した場合（ステップＳ１のＹＥＳ）、制御装置２０の警告制限対象物当否判定部２０２は、その物体が警告制限対象物であるか否かを判定する（ステップＳ２）。

監視領域Ａ１内で検知された物体が警告制限対象物であると判定した場合（ステップＳ２のＹＥＳ）、警告制限対象物当否判定部２０２は、制御装置２０の警告出力制御部２０３に対して警告禁止信号を出力し、警告出力制御部２０３が音声出力装置２８に対して警告信号を出力しないようにする。

このように、監視領域Ａ１に入った物体が警告制限対象物であるため、警告出力制御部２０３は、音声出力装置２８による警告の出力を禁止する（ステップＳ３）。

一方、監視領域Ａ１内で検知された物体が警告制限対象物でない、すなわち警告対象物であると判定した場合（ステップＳ２のＮＯ）、警告制限対象物当否判定部２０２は、警告出力制御部２０３に対して警告許可信号を出力し、警告出力制御部２０３が音声出力装置２８に対して警告信号を出力できるようにする。

このように、監視領域Ａ１に入った物体が警告対象物であるため、警告出力制御部２０３は、音声出力装置２８による警告の出力を許可する（ステップＳ４）。

次に、図５及び図６を参照しながら、監視領域Ａ１に入った物体が警告制限対象物であるか否かを周囲監視装置１００が判定する処理（以下、「第一判定処理」とする。）について説明する。なお、図５は、第一判定処理の流れを示すフローチャートであり、周囲監視装置１００は、物体検知装置２５により監視領域Ａ１内で物体が検知された場合に、この第一判定処理を実行する。また、図６は、周囲監視装置１００が第一判定処理を実行する際の作業現場の状況を示す図である。図６に示すように、作業現場には、マーカーＭＫ１が貼り付けられた物体ＯＢ１と、マーカーが貼り付けられていない物体ＯＢ２とが存在する。また、マーカーＭＫ１の模様は、マーカーＭＫ１の位置から所定の距離範囲内にある物体、すなわち物体ＯＢ１が警告制限対象物であることを表す二次元コードを構成する。また、図６（Ａ）は、左側方監視領域Ａ１Ｌに物体ＯＢ１が入った状態を示し、図６（Ｂ）は、右側方監視領域Ａ１Ｒに物体ＯＢ２が入った状態を示す。

最初に、制御装置２０のマーカー認識部２００は、撮像装置２４が出力する周囲画像内における、マーカーＭＫ１に対応するマーカー画像の認識を試みる（ステップＳ１１）。具体的には、マーカー認識部２００は、パターンマッチングにより、周囲画像内に含まれるマーカー画像を認識する。

また、マーカー認識部２００は、認識したマーカー画像の大きさに基づいて、ショベル５０の基準位置とマーカーＭＫ１との間の距離を算出する。また、マーカー認識部２００は、認識したマーカー画像の周囲画像内における位置に基づいて、ショベル５０の基準位置から見たマーカーＭＫ１の方向を算出する。さらに、マーカー認識部２００は、算出した距離及び方向と、本体位置情報取得装置２１及び向き情報取得装置２２のそれぞれの出力とに基づいて、マーカーＭＫ１の位置に関する情報（例えば緯度及び経度で表される二次元座標、又は、緯度、経度、及び高度で表される三次元座標である。）を算出する。

マーカー認識部２００がマーカー画像を認識した場合（ステップＳ１１のＹＥＳ）、制御装置２０におけるマーカー解読部２０１は、マーカー画像が表す内容を解読する。具体的には、マーカー解読部２０１は、マーカーＭＫ１に対応するマーカー画像によって、マーカーＭＫ１から所定の距離範囲内にある物体を警告制限対象物とする内容を解読する。なお、マーカーＭＫ１は、自身の位置に関する情報（例えば、緯度及び経度によって表される二次元座標、又は、緯度、経度、及び高度で表される三次元座標である。）を有していてもよい。その場合、マーカー認識部２００は、ショベル５０の基準位置とマーカーＭＫ１との間の距離、ショベル５０の基準位置から見たマーカーＭＫ１の方向、マーカーＭＫ１の位置に関する情報等を算出する必要はない。

ここで、警告制限対象物当否判定部２０２は、物体検知装置２５が検知した物体の位置と、マーカー認識部２０１が認識したマーカーＭＫ１の位置とを比較する（ステップＳ１２）。

検知した物体の位置とマーカーＭＫ１の位置とが一致する場合（ステップＳ１２のＹＥＳ）、すなわち、図６（Ａ）に示す状態では、警告制限対象物当否判定部２０２は、物体ＯＢ１を警告制限対象物であると判定する（ステップＳ１３）。

なお、「検知した物体の位置とマーカーの位置とが一致する場合」は、検知した物体の座標（例えばショベル５０との間の距離が最小となる物体上の点に対応する座標である。）が、マーカーが定める座標範囲内にある場合を含む。

一方、マーカー認識部２００がマーカー画像を認識しない場合（ステップＳ１１のＮＯ）、或いは、検知した物体の位置とマーカーＭＫ１の位置とが一致しない場合（ステップＳ１２のＹＥＳ）、すなわち、図６（Ｂ）に示す状態では、警告制限対象物当否判定部２０２は、物体ＯＢ２を警告対象物であると判定する（ステップＳ１４）。

以上の構成により、周囲監視装置１００は、マーカーＭＫ１を用いて予め定められる警告制限対象物を認識することによって、警告制限対象物がショベル５０に接近した場合と警告対象物がショベル５０に接近した場合とで警告の出力態様を変えることができる。その結果、周囲監視装置１００は、例えば、既知の障害物を警告の対象外とすることで、既知の障害物であるにもかかわらず警告が頻繁に出力されてしまうのを防止することができ、操作者が煩わしさを感じるのを防止することができる。

次に、図７及び図８を参照しながら、監視領域Ａ１に入った物体が警告制限対象物であるか否かを周囲監視装置１００が判定する別の処理（以下、「第二判定処理」とする。）について説明する。なお、図７は、第二判定処理の流れを示すフローチャートであり、周囲監視装置１００は、監視領域Ａ１内で物体が検知された場合に、この第二判定処理を実行する。また、図８は、周囲監視装置１００が第二判定処理を実行する際の作業現場の状況を示す図である。図８に示すように、作業現場には、マーカーＭＫ１１〜ＭＫ１５が固定的に設置されている。マーカーＭＫ１１〜ＭＫ１５は、隣接するマーカー同士を結ぶ想像線によって、図８の斜線ハッチングで示す警告禁止領域を定める。なお、マーカーＭＫ１１〜ＭＫ１５のそれぞれは、同じ大きさ及び同じ模様を有し、その模様は、特定数のマーカーによって警告禁止領域が定められていることを表す二次元コードを構成する。また、図８（Ａ）は、左側方監視領域Ａ１Ｌに物体ＯＢ１が入った状態を示し、図８（Ｂ）は、右側方監視領域Ａ１Ｒに物体ＯＢ２が入った状態を示す。

最初に、マーカー認識部２００は、撮像装置２４が出力する周囲画像内における、マーカーＭＫ１１〜ＭＫ１５のそれぞれに対応する未認識のマーカー画像の認識を試みる（ステップＳ２１）。具体的には、マーカー認識部２００は、パターンマッチングにより、周囲画像内に含まれるマーカー画像を認識する。

また、マーカー認識部２００は、認識したマーカー画像の大きさに基づいて、ショベル５０の基準位置とマーカーＭＫ１１〜ＭＫ１５のそれぞれとの間の距離を算出する。また、マーカー認識部２００は、認識したマーカー画像の周囲画像内における位置に基づいて、ショベル５０の基準位置から見たマーカーＭＫ１１〜ＭＫ１５のそれぞれの方向を算出する。さらに、マーカー認識部２００は、算出した距離及び方向と、本体位置情報取得装置２１及び向き情報取得装置２２のそれぞれの出力とに基づいて、マーカーＭＫ１１〜ＭＫ１５のそれぞれの位置に関する情報を算出する。

マーカー認識部２００が未認識のマーカー画像を認識した場合（ステップＳ２１のＹＥＳ）、制御装置２０におけるマーカー解読部２０１は、マーカー画像が表す内容を解読する（ステップＳ２２）。具体的には、マーカー解読部２０１は、マーカーＭＫ１１〜ＭＫ１５のそれぞれに対応する５つのマーカー画像によって警告禁止領域が定められるとの内容を解読する。

その後、マーカー解読部２０１は、警告禁止領域に関する情報を随時読み出し可能に記憶装置２６に記憶する。例えば、マーカー解読部２０１は、算出されたマーカーＭＫ１１〜ＭＫ１５のそれぞれの位置に関する情報を用いて定められる警告禁止領域を記憶装置２６に記憶する。なお、マーカーＭＫ１１〜ＭＫ１５のそれぞれが警告禁止領域の位置及び範囲に関する情報を保持する場合、マーカー解読部２０１は、その情報をそのまま記憶装置２６に記憶すればよい。その場合、マーカー認識部２００は、ショベル５０の基準位置とマーカーＭＫ１１〜ＭＫ１５のそれぞれとの間の距離、ショベル５０の基準位置から見たマーカーＭＫ１１〜ＭＫ１５のそれぞれの方向、マーカーＭＫ１１〜ＭＫ１５のそれぞれの位置に関する情報等を算出する必要はない。

なお、マーカー認識部２００が未認識のマーカー画像を認識しない場合（ステップＳ２１のＮＯ）、周囲監視装置１００は、ステップＳ２２及びステップＳ２３を実行することなく、以下のステップＳ２４を実行する。

その後、制御装置２０は、記憶装置２６を参照して警告禁止領域が設定されているか否かを判定する（ステップＳ２４）。

制御装置２０により警告禁止領域が設定されていると判定された場合（ステップＳ２４のＹＥＳ）、警告制限対象物当否判定部２０２は、物体検知装置２５が検知した物体が警告禁止領域内に存在するか否かを判定する（ステップＳ２５）。

検知した物体が警告禁止領域内に存在すると判定した場合（ステップＳ２５のＹＥＳ）、すなわち、図８（Ａ）に示す状態では、警告制限対象物当否判定部２０２は、物体ＯＢ１を警告制限対象物であると判定する（ステップＳ２６）。

一方、制御装置２０により警告禁止領域が設定されていないと判定された場合（ステップＳ２４のＮＯ）、或いは、検知した物体が警告禁止領域内に存在しないと判定した場合（ステップＳ２５のＮＯ）、すなわち、図８（Ｂ）に示す状態では、警告制限対象物当否判定部２０２は、物体ＯＢ２を警告対象物であると判定する（ステップＳ２７）。

なお、上述の実施例では、複数のマーカーによって警告禁止領域が設定されているが、１つのマーカーによって警告禁止領域が設定されてもよい。

以上の構成により、周囲監視装置１００は、マーカーＭＫ１１〜ＭＫ１５を用いて予め定められる警告禁止領域を認識することによって、警告禁止領域内の物体がショベル５０に接近した場合と、警告禁止領域外の物体がショベル５０に接近した場合とで警告の出力態様を変えることができる。その結果、周囲監視装置１００は、例えば、既知の障害物を警告の対象外とすることで、既知の障害物であるにもかかわらず警告が頻繁に出力されてしまうのを防止することができ、操作者が煩わしさを感じるのを防止することができる。

次に、図９及び図１０を参照しながら、周囲監視装置１００がショベル５０の周囲を監視する別の処理（以下、「第二周囲監視処理」とする。）について説明する。なお、図９は、第二周囲監視処理の流れを示すフローチャートであり、周囲監視装置１００は、この第二周囲監視処理を所定周期で繰り返し実行する。また、図１０は、図８（Ａ）に対応し、周囲監視装置１００が第二周囲監視処理を実行する際の作業現場の状況を示す。図１０に示すように、作業現場には、マーカーＭＫ１１〜ＭＫ１５が固定的に設置されている。マーカーＭＫ１１〜ＭＫ１５は、隣接するマーカー同士を結ぶ想像線によって、図１０の斜線ハッチングで示す警告禁止領域を定める。なお、マーカーＭＫ１１〜ＭＫ１５のそれぞれは、同じ大きさ及び同じ模様を有し、その模様は、特定数のマーカーによって警告禁止領域が定められていることを表す二次元コードを構成する。また、図１０に示すように、監視領域Ａ１の内部には、物体検知装置２５による別の監視領域である第二監視領域Ａ２が設定されている。具体的には、左側方監視領域Ａ１Ｌの内部には、第二左側方監視領域Ａ２Ｌが設定され、右側方監視領域Ａ１Ｌの内部には、第二右側方監視領域Ａ２Ｒが設定されている。なお、図１０は、第二左側方監視領域Ａ２Ｌに物体ＯＢ１が入った状態を示す。

最初に、制御装置２０は、物体検知装置２５の出力に基づいて監視領域Ａ１内で物体が検知されたか否かを判定する（ステップＳ３１）。

監視領域Ａ１内で物体が検知されたと制御装置２０が判定した場合（ステップＳ３１のＹＥＳ）、警告制限対象物当否判定部２０２は、その物体が警告制限対象物であるか否かを判定する（ステップＳ３２）。

監視領域Ａ１内で検知された物体が警告制限対象物であると判定した場合（ステップＳ３２のＹＥＳ）、警告制限対象物当否判定部２０２は、その物体が第二監視領域Ａ２内に存在するか否かを判定する（ステップＳ３３）。

物体検知装置２５が検知した物体が第二監視領域Ａ２内に存在すると判定した場合（ステップＳ３３のＹＥＳ）、警告制限対象物当否判定部２０２は、警告出力制御部２０３に対して警告許可信号を出力し、警告出力制御部２０３が音声出力装置２８に対して警告信号を出力できるようにする。この場合、第二監視領域Ａ２内に入った物体が警告制限対象物であったとしても、警告出力制御部２０３は、音声出力装置２８による警告の出力を許可する（ステップＳ３４）。

また、監視領域Ａ１内で検知された物体が警告制限対象物でないと判定した場合にも（ステップＳ３２のＮＯ）、警告制限対象物当否判定部２０２は、警告出力制御部２０３に対して警告許可信号を出力し、警告出力制御部２０３が音声出力装置２８に対して警告信号を出力できるようにする。このようにして、警告出力制御部２０３は、音声出力装置２８による警告の出力を許可する（ステップＳ３４）。

一方、監視領域Ａ１内で物体が検知されていないと制御装置２０が判定した場合（ステップＳ３１のＮＯ）、或いは、警告制限対象物が未だ第二監視領域Ａ２内にないと判定した場合には（ステップＳ３３のＮＯ）、警告制限対象物当否判定部２０２は、警告出力制御部２０３に対して警告許可信号を出力せず、警告出力制御部２０３が音声出力装置２８に対して警告信号を出力しないようにする。その結果、警告出力制御部２０３は、音声出力装置２８による警告の出力を禁止する。

以上の構成により、周囲監視装置１００は、監視範囲Ａ１内で検知した物体が警告制限対象物であっても、その警告制限対象物が第二監視領域Ａ２に入った場合には警告を出力する。このように、周囲監視装置１００は、例えば、既知の障害物であるにもかかわらず警告が頻繁に出力されてしまうのを防止しながらも、その既知の障害物がさらに接近した場合には警告を出力する。その結果、操作者が煩わしさを感じるのを防止しながらも、その既知の障害物がショベル５０に接触するのを防止することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、警告制限対象物や警告禁止領域は、マーカーを用いて予め設定されるが、表示装置２７と入力装置（図示せず。）を用いて動的に設定されてもよい。具体的には、操作者は、表示装置２７と入力装置とを兼ねるタッチパネルを用いて、タッチパネル上に表示される周囲画像の一部領域を選択することによって、警告制限対象物や警告禁止領域を設定してもよい。

１・・・下部走行体２・・・旋回機構３・・・上部旋回体４・・・ブーム５・・・アーム６・・・バケット７・・・ブームシリンダ８・・・アームシリンダ９・・・バケットシリンダ１０・・・キャビン２０・・・制御装置２１・・・本体位置情報取得装置２２・・・向き情報取得装置２４・・・撮像装置２４Ｌ・・・左側方カメラ２４Ｒ・・・右側方カメラ２４Ｂ・・・後方カメラ２５・・・物体検知装置２５Ｌ・・・左側方超音波センサ２５Ｒ・・・右側方超音波センサ２６・・・記憶装置２７・・・表示装置２８・・・音声出力装置５０・・・ショベル１００・・・周囲監視装置２００・・・マーカー認識部２０１・・・マーカー解読部２０２・・・警告制限対象物当否判定部２０３・・・警告出力制御部

Claims

作業機械の周囲を監視する周囲監視装置であって、
前記作業機械に搭載される、前記作業機械の周囲に設定される監視領域内の固定設置物としての物体を検知する物体検知装置の検知結果と、前記作業機械に搭載される撮像装置が撮像する画像内の、作業現場の所定位置に固定的に設置されるマーカーに対応するマーカー画像とに基づいて、前記監視領域内の固定設置物としての物体が警告制限対象物であるか否かを判定する警告制限対象物当否判定部と、
前記監視領域内の固定設置物としての物体が警告制限対象物であるか否かに応じて警告の出力態様を制御する警告出力制御部と、を備え、
前記警告出力制御部は、前記監視領域内の固定設置物としての物体が警告制限対象物である場合に、警告の出力を禁止する、
ことを特徴とする周囲監視装置。
前記警告出力制御部は、前記監視領域に含まれる、前記作業機械により近い所定の領域内に警告制限対象物が入った場合に、警告を出力する、
ことを特徴とする請求項１に記載の周囲監視装置。
前記警告制限対象物は、前記マーカーが貼り付けられた物体である、
ことを特徴とする請求項１又は２に記載の周囲監視装置。
前記警告制限対象物は、前記マーカーによって定められる領域内に存在する物体である、
ことを特徴とする請求項１又は２に記載の周囲監視装置。