JP5755576B2

JP5755576B2 - 運転補助装置

Info

Publication number: JP5755576B2
Application number: JP2012013399A
Authority: JP
Inventors: 芳永清田
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2012-01-25
Filing date: 2012-01-25
Publication date: 2015-07-29
Anticipated expiration: 2032-01-25
Also published as: JP2013151830A

Description

本発明は、作業機械に搭載されたカメラが撮像する画像内の画像情報に応じて作業機械の運転を補助する運転補助装置に関する。

従来、暗夜や積雪のため作業車両の運転者が周囲の障害物を視認できないときに、ＧＰＳ受信装置を通じて取得した作業車両の位置と、データベースに格納された障害物地図情報とを比較し、作業車両が障害物に近づくと警報を発する作業車両が知られている（例えば、特許文献１参照。）。

特開２００８−２２４６２５号公報

しかしながら、特許文献１に記載の作業車両は、障害物地図情報に登録されていない障害物に近づいても警報を発することができず、作業車両と障害物との接触を防止するには不十分である。

上述の点に鑑み、本発明は、作業機械の運転をより適切に補助できる運転補助装置を提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る運転補助装置は、作業機械の運転を補助する運転補助装置であって、前記作業機械に搭載される撮像装置が撮像する画像内の、作業現場におけるマーカーに対応するマーカー画像が表す情報を解読するマーカー解読部と、前記マーカー解読部が解読する前記マーカー画像が表す情報に応じて前記作業機械の動きの制限に関する補助内容を決定する補助内容決定部と、前記補助内容決定部が決定する前記補助内容にしたがって前記作業機械の動きを制限する動作制御部を備えることを特徴とする。

上述の手段により、本発明は、作業機械の運転をより適切に補助できる運転補助装置を提供することができる。

本発明の実施例に係る運転補助装置が搭載されるショベルの概略図である。本発明の実施例に係る運転補助装置の構成を示す機能ブロック図である。進入禁止処理の流れを示すフローチャートである。運転補助装置が進入禁止処理を実行する際の作業現場の状況を示す図である。法面形成支援処理の流れを示すフローチャートである。運転補助装置が法面形成支援処理を実行する際の作業現場の状況を示す図である。指示応答処理の流れを示すフローチャートである。運転補助装置が指示応答処理を実行する際の作業現場の状況を示す図である。接触予防処理の流れを示すフローチャートである。運転補助装置が接触予防処理を実行する際の作業現場の状況を示す図である。ＨＭＤを装着した操作者が視認するキャビン内の様子を示す図である。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明の実施例に係る運転補助装置が搭載される作業機械であるショベル５０の構成例を示す概略図である。ショベル５０の下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられ、ブーム４の先端には、アーム５が取り付けられ、アーム５の先端には、バケット６が取り付けられる。ブーム４、アーム５、及びバケット６は、掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。さらに、上部旋回体３には、ショベル５０の向きに関する向き情報を取得する向き情報取得装置２２、及び、ショベル５０の周囲を撮像する撮像装置２４が搭載される。キャビン１０の内部には、制御装置２０、記憶装置２６、及び表示装置２７が搭載され、キャビン１０の天井部には、本体位置情報取得装置２１が搭載される。掘削アタッチメントには、掘削アタッチメントの姿勢に関する姿勢情報を取得する姿勢情報取得装置２３が搭載される。なお、制御装置２０、本体位置情報取得装置２１、向き情報取得装置２２、姿勢情報取得装置２３、撮像装置２４、記憶装置２６、及び表示装置２７の詳細は後述する。

図２は、本発明の実施例に係る運転補助装置１００の構成を示す機能ブロック図である。運転補助装置１００は、制御装置２０を含み、本体位置情報取得装置２１、向き情報取得装置２２、姿勢情報取得装置２３、撮像装置２４、記憶装置２６、及び表示装置２７に接続される。

制御装置２０は、運転補助装置１００の動作を制御する装置であり、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えるコンピュータである。具体的には、制御装置２０は、マーカー認識部２００、マーカー解読部２０１、補助内容決定部２０２、及び動作制御部２０３の各機能要素に対応するプログラムをＲＯＭから読み出してＲＡＭにロードし、各機能要素に対応する処理をＣＰＵに実行させる。

本体位置情報取得装置２１は、作業機械本体の位置に関する本体位置情報を取得する装置である。本実施例では、本体位置情報取得装置２１は、ＧＰＳ（Global Positioning System）受信機によりＧＰＳアンテナを介してＧＰＳ衛星が出力する信号を受信して本体位置情報（例えば、緯度、経度、高度である。）を測位・演算するＧＰＳ装置である。具体的には、本体位置情報取得装置２１は、ショベル５０の天井部に搭載されるＧＰＳ装置であり、例えば、ショベル５０の基準位置（例えば、旋回中心である。）に対応する本体位置情報を取得し、取得した本体位置情報を制御装置２０に対して出力する。

向き情報取得装置２２は、作業機械の向きに関する向き情報を取得する装置である。本実施例では、向き情報取得装置２２は、掘削アタッチメントが位置する側を前側としてショベル５０の向き（方位）を取得する地磁気センサであり、検出した向き情報を制御装置２０に対して出力する。

また、向き情報取得装置２２は、本体位置情報取得装置２１としてのＧＰＳ装置の設置位置とは異なるショベル５０上の位置に搭載される別のＧＰＳ装置であってもよい。２つのＧＰＳ装置のそれぞれが取得する位置情報に基づいてショベル５０の向きを特定できるためである。

姿勢情報取得装置２３は、作業機械の姿勢に関する姿勢情報を取得する装置である。本実施例では、姿勢情報取得装置２３は、ショベル５０の掘削アタッチメントの姿勢情報を取得するためのセンサである。具体的には、姿勢情報を取得するためのセンサは、上部旋回体３に対するブーム４の傾きを検出するブーム角度センサ２３ａ、ブーム４に対するアーム５の傾きを検出するアーム角度センサ２３ｂ、及び、アーム５に対するバケット６の傾きを検出するバケット角度センサ２３ｃを含む。また、姿勢情報は、バケット６の先端の位置、掘削アタッチメントの旋回半径等を含む。姿勢情報取得装置２３は、取得した姿勢情報を制御装置２０に対して出力する。

撮像装置２４は、作業機械の周囲を撮像する装置であり、例えば、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子を備えたカメラである。本実施例では、撮像装置２４は、ショベル５０の左側方を撮像する左側方カメラ２４Ｌ、ショベル５０の右側方を撮像する右側方カメラ２４Ｒ、及び、ショベル５０の後方を撮像する後方カメラ２４Ｂを含む。撮像装置２４は、撮像した画像（以下、「周囲画像」とする。）を制御装置２０に対して出力する。

記憶装置２６は、各種情報を記憶するための装置である。記憶装置２６は、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。

表示装置２７は、各種情報を表示する装置である。本実施例では、表示装置２７は、キャビン１０内に設置される液晶ディスプレイである。

次に、制御装置２０における各種機能要素について説明する。

マーカー認識部２００は、作業現場におけるマーカーに対応するマーカー画像を認識する機能要素である。

「マーカー」とは、所定の幾何学的な形状又は模様を有する物体であり、例えば、ＡＲ（Augmented Reality）技術で用いられるＡＲマーカー、ＱＲコード（登録商標）等の二次元コードを含む。

また、マーカーは、作業現場の所定位置に固定的に設置される固定マーカー、作業現場内を移動する物体（例えば作業員のヘルメットである。）に取り付けられる移動マーカー、作業員が必要に応じて提示する携帯可能な指示マーカー等を含む。なお、固定マーカーは、地面や壁面に取り付けられていてもよく、三次元空間上に独立して配置されるよう杭等の先端に取り付けられてもよい。

具体的には、マーカー認識部２００は、パターンマッチング等の画像処理技術を用いて、撮像装置２４が撮像した周囲画像における、マーカーに対応するマーカー画像を認識する。

また、マーカー認識部２００は、認識したマーカー画像の大きさに基づいて、撮像装置２４とマーカーとの間の距離を算出し、認識したマーカー画像の周囲画像内における位置に基づいて、撮像装置２４から見たマーカーの方向を算出する。この場合、マーカーは、所定の大きさを有する。

マーカー解読部２０１は、マーカー認識部２００が認識したマーカー画像が表す内容を解読する機能要素である。

マーカー画像が表す内容は、例えば、進入禁止領域に関する情報、目標法面に関する情報、後退継続指示や後退停止指示等の指示に関する情報、作業員の周囲に設定される接触予防距離に関する情報等を含む。

進入禁止領域に関する情報は、例えば、進入禁止領域を定めるマーカーの数、進入禁止領域の位置（例えば、緯度及び経度によって表される三次元座標である。）、進入禁止領域の大きさ、高さ、又は深さ、進入禁止領域が設定される時間帯又は有効期限、進入禁止方向、進入禁止領域が適用される作業機械の種類等を含む。なお、進入禁止領域は、歩行者や作業員が通る通路、保護対象となる建物の周辺、穴や崖等の危険な地形が存在する領域等を含む。

目標法面に関する情報は、例えば、目標法面を定めるマーカーの数、目標法面の幅、高さ、又は水平面に対する傾斜角度等を含む。

具体的には、マーカー解読部２０１は、記憶装置２６等に予め記憶された、マーカー画像とそのマーカー画像が表す内容との対応関係を保持するテーブルを参照し、認識されたマーカー画像が表す内容を解読する。

なお、マーカー解読部２０１は、１つのマーカー画像に基づいて１つの内容を解読してもよく、複数のマーカー画像の組み合わせに基づいて１つの内容を解読してもよい。

補助内容決定部２０２は、マーカー解読部２０１が解読した内容に基づいてショベル５０の運転を補助する際の補助内容を決定する機能要素である。

例えば、マーカー解読部２０１により、作業現場に設置された固定マーカーに対応するマーカー画像が表す内容が、ショベル５０の進入禁止領域に関する情報であった場合を想定する。

この場合、補助内容決定部２０２は、マーカー解読部２０１が解読した内容であるショベル５０の進入禁止領域に関する情報を随時読み出し可能に記憶装置２６に記憶する。そして、補助内容決定部２０２は、本体位置情報取得装置２１が取得するショベル５０の基準位置が進入禁止領域に入った場合にショベル５０の下部走行体１の動きを停止させる処理を補助内容として決定する。

動作制御部２０３は、補助内容決定部２０２が決定した補助内容にしたがってショベル５０の動きを制御する機能要素である。具体的には、動作制御部２０３は、補助内容決定部２０２が決定した補助内容に対応するプログラムを実行する。

例えば、ショベル５０の基準位置が進入禁止領域に入った場合にショベル５０の下部走行体１の動きを停止させるという機能が補助内容として決定された場合を想定する。

この場合、動作制御部２０３は、本体位置情報取得装置２１の出力に基づいてショベル５０の基準位置が進入禁止領域に入ったと判定した場合に、下部走行体１の動きを自動的に停止させる。なお、動作制御部２０３は、下部走行体１の動きを自動的に停止させる代わりに或いはそれに加えて、キャビン１０内の図示しないスピーカから警報を出力してもよく、表示装置２７に警告メッセージを表示してもよい。

次に、図３及び図４を参照しながら、ショベル５０が所定領域へ進入するのを防止する処理（以下、「進入禁止処理」とする。）について説明する。なお、図３は、進入禁止処理の流れを示すフローチャートであり、運転補助装置１００は、この進入禁止処理を所定周期で繰り返し実行する。

また、図４は、運転補助装置１００が進入禁止処理を実行する際の作業現場の状況を示す図である。図４に示すように、作業現場には、太線で示す境界線ＢＬで区切られる作業可能領域Ｒ１と作業不可領域Ｒ２とが存在する。また、境界線ＢＬの作業可能領域Ｒ１側には、境界線ＢＬに沿って固定マーカーＭＫ１〜ＭＫ５が固定的に設置されている。固定マーカーＭＫ１〜ＭＫ５は、隣接するマーカー同士を結ぶ想像線によって、図４の斜線ハッチングで示す進入禁止領域を定める。本実施例では、固定マーカーＭＫ１〜ＭＫ５のそれぞれは、同じ大きさ及び同じ模様を有し、その模様は、特定数のマーカーによって進入禁止領域が定められていることを表す二次元コードを構成する。

最初に、制御装置２０のマーカー認識部２００は、撮像装置２４が出力する周囲画像内における、固定マーカーＭＫ１〜ＭＫ５のそれぞれに対応するマーカー画像の認識を試みる（ステップＳ１）。具体的には、マーカー認識部２００は、パターンマッチングにより、周囲画像内に含まれるマーカー画像を認識する。

また、マーカー認識部２００は、認識したマーカー画像の大きさに基づいて、ショベル５０の基準位置と固定マーカーＭＫ１〜ＭＫ５のそれぞれとの間の距離を算出する。さらに、マーカー認識部２００は、認識したマーカー画像の周囲画像内における位置に基づいて、ショベル５０の基準位置から見た固定マーカーＭＫ１〜ＭＫ５のそれぞれの方向を算出する。

マーカー認識部２００が未認識のマーカー画像を認識した場合（ステップＳ１のＹＥＳ）、制御装置２０のマーカー解読部２０１は、マーカー画像が表す内容を解読する（ステップＳ２）。具体的には、マーカー解読部２０１は、固定マーカーＭＫ１〜ＭＫ５のそれぞれに対応する５つのマーカー画像によって定められる進入禁止領域に関する情報を取得する。

その後、制御装置２０の補助内容決定部２０２は、マーカー解読部２０１が解読した内容に基づいてショベル５０の運転を補助する際の補助内容を決定する（ステップＳ３）。具体的には、補助内容決定部２０２は、マーカー解読部２０１が解読した内容であるショベル５０の進入禁止領域に関する情報を随時読み出し可能に記憶装置２６に記憶する。例えば、補助内容決定部２０２は、本体位置情報取得装置２１の出力に基づく現在のショベル５０の基準位置（例えば緯度及び経度で表される二次元座標である。）から固定マーカーＭＫ１〜ＭＫ５のそれぞれの位置（例えば緯度及び経度で表される二次元座標である。）を算出する。そして、補助内容決定部２０２は、それら位置情報を用いて定められる進入禁止領域を記憶装置２６に記憶する。なお、マーカーＭＫ１〜ＭＫ５のそれぞれが進入禁止領域の詳細な位置情報を保持する場合、補助内容決定部２０２は、その位置情報をそのまま記憶装置２６に記憶すればよい。そして、補助内容決定部２０２は、ショベル５０が進入禁止領域に入った場合にショベル５０の動きを停止させる機能（以下、「進入禁止機能」とする。）を補助内容として決定する。

なお、マーカー認識部２００が未認識のマーカー画像を認識しない場合（ステップＳ１のＮＯ）、運転補助装置１００は、ステップＳ２及びステップＳ３を実行することなく、以下のステップＳ４を実行する。

その後、制御装置２０は、記憶装置２６を参照して進入禁止領域が設定されているか否かを判定する（ステップＳ４）。

制御装置２０により進入禁止領域が設定されていると判定された場合（ステップＳ４のＹＥＳ）、制御装置２０の動作制御部２０３は、進入禁止機能に対応するプログラムを実行し、ショベル５０が進入禁止領域に入ったか否かを判定する（ステップＳ５）。

ショベル５０が進入禁止領域に入ったと判定した場合（ステップＳ５のＹＥＳ）、動作制御部２０３は、ショベル５０の動きを停止させる（ステップＳ６）。ショベル５０が作業不可領域Ｒ２に進入するのを防止するためである。

例えば、動作制御部２０３は、本体位置情報取得装置２１の出力に基づいてショベル５０の基準位置を取得し、その基準位置から進入禁止領域までの最短距離を算出する。そして、動作制御部２０３は、その算出した最短距離が所定距離を下回った場合に、ショベル５０が進入禁止領域に入ったと判定する。この場合、動作制御部２０３は、下部走行体１の動きを停止させる。ショベル５０の基準位置は下部走行体１を動作させることにより、すなわちショベル５０を移動させることにより変化するためである。

或いは、動作制御部２０３は、本体位置情報取得装置２１、向き情報取得装置２２、及び姿勢情報取得装置２３のそれぞれの出力に基づいてエンドアタッチメントであるバケット６のバケット位置（例えば緯度及び経度で表される二次元座標である。）を取得し、上述の最短距離の代わりに、そのバケット位置から進入禁止領域までの最短距離を算出してもよい。この場合、動作制御部２０３は、掘削アタッチメントの動き又は上部旋回体３の動きを停止させる。バケット位置は掘削アタッチメントを動作させることにより、或いは、上部旋回体３を旋回させることにより変化するためである。

一方、進入禁止領域が設定されていないと制御装置２０が判定した場合（ステップＳ４のＮＯ）、或いは、ショベル５０が進入禁止領域に入っていないと動作制御部２０３が判定した場合（ステップＳ５のＮＯ）、運転補助装置１００は、ステップＳ６を実行することなく、今回の進入禁止処理を終了させる。

なお、上述の実施例では、複数の固定マーカーによって進入禁止領域が設定されているが、１つの固定マーカーによって進入禁止領域が設定されてもよい。

以上の構成により、運転補助装置１００は、固定マーカーＭＫ１〜ＭＫ５によって定められる進入禁止領域を検知することによって、ショベル５０が進入禁止領域に入った場合にショベル５０の動きを自動的に停止させることができる。このようにして、運転補助装置１００は、ショベル５０が誤って作業不可領域Ｒ２に進入してしまわないように、ショベル５０の運転を適切に補助することができる。

次に、図５及び図６を参照しながら、ショベル５０による法面の形成を支援する処理（以下、「法面形成支援処理」とする。）について説明する。なお、図５は、法面形成支援処理の流れを示すフローチャートであり、運転補助装置１００は、この法面形成支援処理を所定周期で繰り返し実行する。

また、図６は、運転補助装置１００が法面形成支援処理を実行する際の作業現場の状況を示す図である。図６に示すように、作業現場には、３つの固定マーカーＭＫ１１〜ＭＫ１３が設置されている。３つの固定マーカーＭＫ１１〜ＭＫ１３のそれぞれが示す三次元空間上の３点は、高さＨ、幅Ｗ、及び傾斜角度θを有する目標法面Ｒ１１を定める。それら３点は、例えば、固定マーカーＭＫ１１〜ＭＫ１３のそれぞれの模様の中心にある点であってもよく、その中心にある点から所定距離（例えば１メートル）だけ鉛直下方にある点であってもよい。なお、マーカーＭＫ１１〜ＭＫ１３のそれぞれは、同じ大きさ及び同じ模様を有し、その模様は、特定数のマーカーによって目標法面が定められていることを表す二次元コードを構成する。

最初に、マーカー認識部２００は、撮像装置２４が出力する周囲画像内における、固定マーカーＭＫ１１〜ＭＫ１３のそれぞれに対応するマーカー画像の認識を試みる（ステップＳ１１）。具体的には、マーカー認識部２００は、パターンマッチングにより、周囲画像内に含まれるマーカー画像を認識する。

また、マーカー認識部２００は、認識したマーカー画像の大きさに基づいて、ショベル５０の基準位置と固定マーカーＭＫ１１〜ＭＫ１３のそれぞれとの間の距離を算出する。さらに、マーカー認識部２００は、認識したマーカー画像の周囲画像内における位置に基づいて、ショベル５０の基準位置から見た固定マーカーＭＫ１１〜ＭＫ１３のそれぞれの方向を算出する。

マーカー認識部２００が未認識のマーカー画像を認識した場合（ステップＳ１１のＹＥＳ）、マーカー解読部２０１は、マーカー画像が表す内容を解読する（ステップＳ１２）。具体的には、マーカー解読部２０１は、３つのマーカーＭＫ１１〜ＭＫ１３によって定められる目標法面Ｒ１１に関する情報を取得する。

その後、補助内容決定部２０２は、マーカー解読部２０１が解読した内容に基づいてショベル５０の運転を補助する際の補助内容を決定する（ステップＳ１３）。具体的には、補助内容決定部２０２は、マーカー解読部２０１が解読した内容である目標法面Ｒ１１に関する情報を随時読み出し可能に記憶装置２６に記憶する。例えば、補助内容決定部２０２は、本体位置情報取得装置２１の出力に基づく現在のショベル５０の基準位置（例えば、緯度、経度、及び高度で表される三次元座標である。）からマーカーＭＫ１１〜ＭＫ１３のそれぞれの位置（例えば、緯度、経度、及び高度で表される三次元座標である。）を算出する。そして、補助内容決定部２０２は、それら三次元情報を用いて定められる目標法面Ｒ１１を記憶装置２６に記憶する。なお、マーカーＭＫ１１〜ＭＫ１３のそれぞれが自身又は目標法面Ｒ１１の三次元情報を保持する場合、補助内容決定部２０２は、その位置情報をそのまま記憶装置２６に記憶すればよい。そして、補助内容決定部２０２は、バケット６（例えば法面バケットである。）が目標法面Ｒ１１に達した場合に、目標法面Ｒ１１よりも深く掘削しようとする掘削アタッチメントの動きを制限する機能（以下、「法面形成支援機能」とする。）を補助内容として決定する。

なお、マーカー認識部２００が未認識のマーカー画像を認識しない場合（ステップＳ１１のＮＯ）、運転補助装置１００は、ステップＳ１２及びステップＳ１３を実行することなく、以下のステップＳ１４を実行する。

その後、制御装置２０は、記憶装置２６を参照して目標法面Ｒ１１が設定されているか否かを判定する（ステップＳ１４）。

制御装置２０により目標法面Ｒ１１が設定されていると判定された場合（ステップＳ１４のＹＥＳ）、動作制御部２０３は、法面形成支援機能に対応するプログラムを実行し、バケット位置が目標法面Ｒ１１に達したか否かを判定する（ステップＳ１５）。

バケット位置が目標法面Ｒ１１に達したと判定した場合（ステップＳ１５のＹＥＳ）、動作制御部２０３は、バケット位置が目標法面Ｒ１１を越えるような掘削アタッチメントの動きを制限する（ステップＳ１６）。バケット６が目標法面Ｒ１１より深く掘削してしまうのを防止するためである。

例えば、動作制御部２０３は、本体位置情報取得装置２１、向き情報取得装置２２、及び姿勢情報取得装置２３のそれぞれの出力に基づいてバケット６のバケット位置を算出する。そして、動作制御部２０３は、その算出したバケット位置（緯度、経度）におけるバケット６の高さが、そのバケット位置（緯度、経度）における目標法面Ｒ１１の高さに達した場合に、バケット６が目標法面Ｒ１１に達したと判定する。この場合、動作制御部２０３は、バケット位置が目標法面Ｒ１１を越える方向への掘削アタッチメントの動きを制限する。バケット位置は掘削アタッチメントを動作させることにより変化するためである。なお、動作制御部２０３は、バケット６を目標法面Ｒ１１から遠ざけるための掘削アタッチメントの動きを制限することはない。目標法面Ｒ１１より深く掘削することがないためである。また、動作制御部２０３は、バケット位置が目標法面Ｒ１１に沿って移動する方向への掘削アタッチメントの動きについても制限しない。

一方、目標法面Ｒ１１が設定されていないと制御装置２０が判定した場合（ステップＳ１４のＮＯ）、或いは、バケット位置が目標法面に達していないと動作制御部２０３が判定した場合（ステップＳ１５のＮＯ）、運転補助装置１００は、ステップＳ１６を実行することなく、今回の法面形成支援処理を終了させる。

以上の構成により、運転補助装置１００は、固定マーカーＭＫ１１〜ＭＫ１３によって定められる目標法面Ｒ１１を検知することによって、バケット６が目標法面Ｒ１１に達した場合に掘削アタッチメントの動きを自動的に制限することができる。このようにして、運転補助装置１００は、目標法面Ｒ１１にしたがった法面を操作者が容易に形成できるように、ショベル５０の運転を適切に補助することができる。なお、バケット位置が目標法面Ｒ１１に達したと判断した場合（ステップＳ１５のＹＥＳ）、動作制御部２０３は、操作者の掘削操作に応じて、掘削アタッチメントのバケット位置が目標法面Ｒ１１に沿って移動する方向への動きを積極的に作り出すようにしてもよい。

次に、図７及び図８を参照しながら、ショベル５０の周囲にいる作業者が行う指示に応じてショベル５０の運転を支援する処理（以下、「指示応答処理」とする。）について説明する。なお、図７は、指示応答処理の流れを示すフローチャートであり、運転補助装置１００は、この指示応答処理を所定周期で繰り返し実行する。

また、図８は、運転補助装置１００が指示応答処理を実行する際の作業現場の状況を示す図である。図８に示すように、作業現場には、ショベル５０の後方からショベル５０に向かって指示を出す作業者が存在し、その作業者は必要に応じて指示マーカーＭＫ２１又はＭＫ２２をショベル５０に向けて提示する。指示マーカーＭＫ２１及びＭＫ２２は、それぞれ異なる模様を有する。指示マーカーＭＫ２１の模様は、ショベル５０の後退が可能であることを表す二次元コードを構成し、指示マーカーＭＫ２１の模様は、ショベル５０の後退が不可能であることを表す二次元コードを構成する。なお、図８において、点線は過去の状態を示し、実線は現在の状態を示す。

最初に、マーカー認識部２００は、撮像装置２４が出力する周囲画像内における、指示マーカーＭＫ２１又はＭＫ２２に対応するマーカー画像の認識を試みる（ステップＳ２１）。具体的には、マーカー認識部２００は、パターンマッチングにより、周囲画像内に含まれるマーカー画像を認識する。

マーカー認識部２００がマーカー画像を認識した場合（ステップＳ２１のＹＥＳ）、マーカー解読部２０１は、マーカー画像が表す内容を解読する（ステップＳ２２）。具体的には、マーカー解読部２０１は、記憶装置２６に予め記憶されたテーブルを参照し、指示マーカーＭＫ２１に対応するマーカー画像がショベル５０の後退を許容する意味であり、指示マーカーＭＫ２２に対応するマーカー画像がショベル５０の後退を禁止する意味であることを解読する。

その後、補助内容決定部２０２は、マーカー解読部２０１が解読した内容に基づいてショベル５０の運転を補助する際の補助内容を決定する（ステップＳ２３）。

具体的には、補助内容決定部２０２は、指示マーカーＭＫ２１が提示された場合にショベル５０の後退を許容し、指示マーカーＭＫ２２が提示された場合にショベル５０の後退を停止させる。

その後、動作制御部２０３は、ショベル５０の後方にいる作業者によって指示マーカーＭＫ２１が提示されたならば（ステップＳ２４の後退継続指示）、下部走行体１の動きを停止させることなく、後退が可能であることを示すテキストメッセージを表示装置２７に表示する（ステップＳ２５）。なお、動作制御部２０３は、音声メッセージを出力させてもよい。

一方、ショベル５０の後方にいる作業者によって指示マーカーＭＫ２２が提示されたならば（ステップＳ２４の後退停止指示）、動作制御部２０３は、下部走行体１の動きを自動的に停止させ、ショベル５０の後退を自動的に停止させる（ステップＳ２６）。

なお、マーカー認識部２００がマーカー画像を認識しない場合には（ステップＳ２１のＮＯ）、運転補助装置１００は、ステップＳ２２〜ステップＳ２６の処理を実行することなく、今回の指示応答処理を終了させる。

以上の構成により、運転補助装置１００は、指示マーカーＭＫ２１又はＭＫ２２によって表される指示内容を検知することによって、ショベル５０の後退を継続させ、或いは、ショベル５０の後退を停止させることができる。このようにして、運転補助装置１００は、ショベル５０の後方にいる作業者が大声を出す必要なくショベル５０の後退を誘導できるように、ショベル５０の操作者とショベル５０の周囲にいる作業者との間のコミュニケーションを適切に補助し、且つ、ショベル５０の運転を適切に補助することができる。

次に、図９及び図１０を参照しながら、ショベル５０の周囲にいる作業者がショベル５０に接触するのを予防する処理（以下、「接触予防処理」とする。）について説明する。なお、図９は、接触予防処理の流れを示すフローチャートであり、運転補助装置１００は、この接触予防処理を所定周期で繰り返し実行する。

また、図１０は、運転補助装置１００が接触予防処理を実行する際の作業現場の状況を示す図である。図１０に示すように、作業現場には、ショベル５０の周辺で作業する３人の作業者が存在し、それら作業者はそれぞれ所定の形状及び模様を有する移動マーカーＭＫ３１〜ＭＫ３３としてのヘルメットを装着している。本実施例では、移動マーカーＭＫ３１〜ＭＫ３３のそれぞれは、同じ大きさ及び同じ模様を有し、その模様は、移動マーカーが示す位置とショベル５０との間に所定の接触予防距離を置くべきことを表す二次元コードを構成する。

最初に、マーカー認識部２００は、撮像装置２４が出力する周囲画像内における、移動マーカーＭＫ３１〜ＭＫ３３のそれぞれに対応するマーカー画像の認識を試みる（ステップＳ３１）。具体的には、マーカー認識部２００は、パターンマッチングにより、周囲画像内に含まれるマーカー画像を認識する。

また、マーカー認識部２００は、認識したマーカー画像の大きさに基づいて、ショベル５０の基準位置と移動マーカーＭＫ３１〜ＭＫ３３のそれぞれとの間の距離を算出する。さらに、マーカー認識部２００は、認識したマーカー画像の周囲画像内における位置に基づいて、ショベル５０の基準位置から見た移動マーカーＭＫ３１〜ＭＫ３３のそれぞれの方向を算出する。

マーカー認識部２００がマーカー画像を認識した場合（ステップＳ３１のＹＥＳ）、マーカー解読部２０１は、マーカー画像が表す内容を解読する（ステップＳ３２）。具体的には、マーカー解読部２０１は、マーカーＭＫ３１〜ＭＫ３３のそれぞれとショベル５０との間に設定される所定の接触予防距離に関する情報を取得する。

その後、補助内容決定部２０２は、マーカー解読部２０１が解読した内容に基づいてショベル５０の運転を補助する際の補助内容を決定する（ステップＳ３３）。具体的には、補助内容決定部２０２は、移動マーカーＭＫ３１〜ＭＫ３３の何れかとショベル５０との間の距離が所定の接触予防距離以下となった場合にショベル５０の動きを停止させる機能（以下、「接触予防機能」とする。）を補助内容として決定する。

その後、動作制御部２０３は、接触予防機能に対応するプログラムを実行し、ショベル５０の周辺で作業する作業者、すなわち移動マーカーＭＫ３１〜ＭＫ３３のそれぞれとショベル５０の基準位置との間の距離Ｄ３１〜Ｄ３３が接触予防距離以下であるか否かを判定する（ステップＳ３４）。

距離Ｄ３１〜Ｄ３３のうちの少なくとも１つが接触予防距離以下であると判定した場合（ステップＳ３４のＹＥＳ）、動作制御部２０３は、ショベル５０の動きを停止させる（ステップＳ３５）。作業者とショベル５０とが接触するのを防止するためである。

例えば、動作制御部２０３は、本体位置情報取得装置２１の出力に基づいてショベル５０の基準位置を取得し、その基準位置と移動マーカーＭＫ３１〜ＭＫ３３のそれぞれとの間の距離Ｄ３１〜Ｄ３３を算出する。そして、動作制御部２０３は、その算出した距離Ｄ３１〜Ｄ３３のうちの少なくとも１つが接触予防距離以下となった場合に、下部走行体１の動きを停止させる。ショベル５０の基準位置は下部走行体１を動作させることによって、すなわちショベル５０を移動させることによって変化するためである。

或いは、動作制御部２０３は、本体位置情報取得装置２１、向き情報取得装置２２、及び姿勢情報取得装置２３のそれぞれの出力に基づいてエンドアタッチメントであるバケット６のバケット位置（緯度、経度）を取得し、上述の距離Ｄ３１〜Ｄ３３の代わりに、そのバケット位置と移動マーカーＭＫ３１〜ＭＫ３３のそれぞれとの間の距離を算出してもよい。この場合、動作制御部２０３は、掘削アタッチメントの動き又は上部旋回体３の動きを停止させる。バケット位置は掘削アタッチメントを動作させることにより、或いは、上部旋回体３を旋回させることにより変化するためである。

一方、マーカー認識部２００がマーカー画像を認識しない場合（ステップＳ３１のＮＯ）、或いは、移動マーカーＭＫ３１〜ＭＫ３３のそれぞれとショベル５０との間の距離が何れも所定の接触予防距離より大きい場合（ステップＳ３４のＮＯ）、運転補助装置１００は、ステップＳ３５を実行することなく、今回の接触予防処理を終了させる。

以上の構成により、運転補助装置１００は、移動マーカーＭＫ３１〜ＭＫ３３のそれぞれとショベル５０との間の距離を検知することによって、作業者がショベル５０に接近した場合にショベル５０の動きを自動的に停止させることができる。このようにして、運転補助装置１００は、ショベル５０を周囲の作業者に接触させてしまわないように、ショベル５０の運転を適切に補助することができる。

次に、図１１を参照しながら、運転補助装置１００における表示装置２７の機能について説明する。ここでは、表示装置２７としてＨＭＤ（ヘッドマウントディスプレイ）を採用する。なお、図１１は、ＨＭＤ２６を装着した操作者が視認するキャビン１０内の様子を示す図である。また、キャビン１０のピラーに設置されるＨＭＤ姿勢捕捉用ターゲットＴ１、Ｔ２は、ＨＭＤ２６に搭載されるカメラが認識可能なターゲットであり、ＨＭＤ２６が自身の姿勢を認識して適切な画像表示位置を決定できるように設置される。

図１１に示すように、運転補助装置１００は、進入禁止処理における進入禁止領域を表す画像Ｇ１、法面形成支援処理が稼働中であることを示す画像Ｇ２、及び、指示応答処理における後退が可能であることを表す画像Ｇ３をＨＭＤ２６上に表示する。また、運転補助装置１００は、接触予防処理におけるショベル５０と作業者のそれぞれとの位置関係を示す画像Ｇ４ａ、及び、接触予防処理において認識された作業者を特定するための画像Ｇ４ｂをＨＭＤ２６上に表示する。さらに、運転補助装置１００は、埋設物の存在を表す固定マーカーＭＫ４１に関する情報である画像Ｇ５をＨＭＤ２６上に表示する。

この構成により、運転補助装置１００は、進入禁止処理、法面形成支援処理、指示応答処理、接触予防処理等の種々の処理に関する情報を分かり易く操作者に提示することができ、現在どのような補助が行われているかを操作者に分かり易く伝えることができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、運転補助装置１００は、旋回機構２を備えたショベル５０に適用されるが、ホイールローダ等の旋回機構のない作業機械に適用されてもよい。

１・・・下部走行体２・・・旋回機構３・・・上部旋回体４・・・ブーム５・・・アーム６・・・バケット７・・・ブームシリンダ８・・・アームシリンダ９・・・バケットシリンダ１０・・・キャビン２０・・・制御装置２１・・・本体位置情報取得装置２２・・・向き情報取得装置２３・・・姿勢情報取得装置２３ａ・・・ブーム角度センサ２３ｂ・・・アーム角度センサ２３ｃ・・・バケット角度センサ２４・・・撮像装置２４Ｌ・・・左側方カメラ２４Ｒ・・・右側方カメラ２４Ｂ・・・後方カメラ２６・・・記憶装置２７・・・表示装置５０・・・ショベル１００・・・運転補助装置２００・・・マーカー認識部２０１・・・マーカー解読部２０２・・・補助内容決定部２０３・・・動作制御部

Claims

作業機械の運転を補助する運転補助装置であって、
前記作業機械に搭載される撮像装置が撮像する画像内の、作業現場におけるマーカーに対応するマーカー画像が表す情報を解読するマーカー解読部と、
前記マーカー解読部が解読する前記マーカー画像が表す情報に応じて前記作業機械の動きの制限に関する補助内容を決定する補助内容決定部と、
前記補助内容決定部が決定する前記補助内容にしたがって前記作業機械の動きを制限する動作制御部を備える、
ことを特徴とする運転補助装置。
前記マーカーは、作業現場の所定位置に設置される固定マーカーであり、
前記補助内容決定部は、前記マーカー解読部が解読する前記固定マーカーに対応するマーカー画像が表す情報に基づいて進入禁止処理を補助内容として決定すると共に進入禁止領域を設定し、
前記動作制御部は、前記作業機械が前記進入禁止領域に入った場合に、前記作業機械の動きを停止させる、
ことを特徴とする請求項１に記載の運転補助装置。
前記マーカーは、作業現場の所定位置に設置される固定マーカーであり、
前記補助内容決定部は、前記マーカー解読部が解読する前記固定マーカーに対応するマーカー画像が表す情報に基づいて法面形成支援処理を補助内容として決定すると共に目標法面を設定し、
前記動作制御部は、前記作業機械の掘削アタッチメントが前記目標法面に達した場合に、前記掘削アタッチメントの動きを制限する、
ことを特徴とする請求項１に記載の運転補助装置。
前記マーカーは、前記作業機械の後方で作業する作業者が提示する指示マーカーであり、
前記補助内容決定部は、前記マーカー解読部が解読する前記指示マーカーに対応するマーカー画像が表す情報に基づいて指示応答処理を補助内容として決定すると共に前記作業機械の後退を禁止するか否かを判定し、
前記動作制御部は、前記補助内容決定部が前記作業機械の後退を禁止すると判定した場合に、前記作業機械の動きを停止させる、
ことを特徴とする請求項１に記載の運転補助装置。
前記マーカーは、作業現場内を移動する移動マーカーであり、
前記補助内容決定部は、前記マーカー解読部が解読する前記移動マーカーに対応するマーカー画像が表す情報に基づいて接触予防処理を補助内容として決定すると共に接触予防距離を設定し、
前記動作制御部は、前記移動マーカーと前記作業機械との間の距離が前記接触予防距離以下となった場合に、前記作業機械の動きを停止させる、
ことを特徴とする請求項１に記載の運転補助装置。
前記マーカー解読部が解読する前記マーカー画像が表す情報を表示する表示装置を更に備える、
ことを特徴とする請求項１乃至５の何れか一項に記載の運転補助装置。