JP2022179081A

JP2022179081A - 遠隔操作支援システム、遠隔操作支援装置

Info

Publication number: JP2022179081A
Application number: JP2021086324A
Authority: JP
Inventors: 裕一綾戸; Yuichi Ayato
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2021-05-21
Filing date: 2021-05-21
Publication date: 2022-12-02

Abstract

【課題】遠隔操作が行われる場合の作業機械の安全性をより向上させることが可能な技術を提供する。【解決手段】本開示の一実施形態の遠隔操作支援システムＳＹＳは、作業機械１００の周辺の物体に関するデータを取得する撮像装置４０と、遠隔操作支援装置２００と通信を行う通信装置６０と、作業機械１００と通信を行う通信装置２２０と、作業機械１００を遠隔操作するための入力を受け付ける遠隔操作装置２４０Ａと、撮像装置４０の出力に基づき、作業機械１００の周辺の監視物体を検知するコントローラ３０と、監視物体が作業機械１００の周辺の報知範囲内で検知された場合、遠隔操作装置２４０Ａを利用するユーザにその旨を報知する出力装置２３０と、を備える。そして、遠隔操作支援システムＳＹＳは、作業機械１００と遠隔操作支援装置２００との間の通信遅延が相対的に大きい場合、通信遅延が相対的に小さい場合よりも報知範囲の外縁を外側に変化させる。【選択図】図８

Description

本開示は、作業機械の遠隔操作支援システム等に関する。

従来、作業機械の遠隔操作に関する技術が知られている（例えば、特許文献１参照）。

特許文献１では、作業機械（ショベル）に撮像装置や距離センサが搭載され、これらの出力から作業機械の周辺の所定範囲内で人等の監視対象の物体（以下、「監視物体」）が検知されると、遠隔操作を行う外部装置のオペレータ等に対する報知が行われる。

国際公開第２０２０／２１８４５５号

しかしながら、作業機械と外部装置との間では、通信遅延が生じうる。そのため、通信遅延が相対的に大きくなると、監視対象の人等が所定範囲内に進入したことが撮像装置や距離センサ等に捉えられてから、実際に、遠隔操作を行う外部装置のオペレータ等に報知が行われるまでのタイムラグが相対的に大きくなる可能性がある。その結果、外部装置のオペレータ等に報知が行われた時点では、監視対象の人等と作業機械との距離が更に近接する可能性がある。よって、ショベルの安全性の観点で改善の余地がある。

そこで、上記課題に鑑み、遠隔操作が行われる場合の作業機械の安全性をより向上させることが可能な技術を提供することを目的とする。

上記目的を達成するため、本開示の一実施形態では、
作業機械に設けられ、前記作業機械の周辺の物体に関するデータを取得する取得装置と、
前記作業機械に設けられ、前記作業機械の遠隔操作を支援する外部装置と通信を行う作業機械用通信装置と、
前記外部装置に設けられ、前記作業機械と通信を行う外部装置用通信装置と、
前記外部装置に設けられ、前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
前記作業機械又は前記外部装置に設けられ、前記取得装置の出力に基づき、前記作業機械の周辺の所定の物体を検知する物体検知装置と、
前記外部装置に設けられ、前記物体検知装置により前記所定の物体が前記作業機械を基準とする所定範囲内で検知された場合、前記遠隔操作装置を利用するユーザにその旨を報知する報知装置と、を備え、
前記作業機械と前記外部装置との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも前記所定範囲の外縁を前記作業機械から離れる方向に変化させる、
遠隔操作支援システムが提供される。

また、本開示の他の実施形態では、
作業機械の周辺の物体に関するデータを取得する取得装置を有する作業機械と通信を行う通信装置と、
前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
前記取得装置の出力に基づき所定の物体が前記作業機械を基準とする所定範囲内で検知された場合、前記遠隔操作装置を利用するユーザにその旨を報知する報知装置と、を備え、
前記作業機械との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも前記所定範囲の外縁を前記作業機械から離れる方向に変化させる、
遠隔操作支援装置が提供される。

上述の実施形態によれば、遠隔操作が行われる場合の作業機械の安全性をより向上させることができる。

遠隔操作支援システムの一例を示す概略図である。ショベルの一例を示す側面図である。ショベルの一例を示す上面図である。クローラクレーンの一例を示す図である。遠隔操作支援システムの構成の一例を示す図である。ショベルの構成の一例を示す図である。クローラクレーンの構成の一例を示す図である。制御装置による報知範囲の設定処理の第１例を概略的に示すフローチャートである。制御装置による報知範囲の設定処理の第２例を概略的に示すフローチャートである。制御装置による報知範囲の設定処理の第３例を概略的に示すフローチャートである。表示装置に表示されるショベルの周辺画像の一例を示す図である。表示装置に表示されるクローラクレーンの周辺画像の一例を示す図である。表示装置に表示されるショベルの周辺画像の他の例を示す図である。表示装置に表示されるクローラクレーンの周辺画像の他の例を示す図である。

以下、図面を参照して実施形態について説明する。

［遠隔操作支援システムの概要］
まず、図１～図４を参照して、本実施形態に係る遠隔操作支援システムＳＹＳの概要について説明をする。

図１は、本実施形態に係る遠隔操作支援システムＳＹＳの一例を示す概略図である。図２～図４は、遠隔操作支援システムＳＹＳに含まれる作業機械１００の具体例を示す図である。具体的には、図２、図３は、ショベル１００Ａの一例を示す側面図及び上面図であり、図４は、クローラクレーン１００Ｂの一例を示す図である。以下、ショベル１００Ａ及びクローラクレーン１００Ｂの対応する構成要素（例えば、同じ機能を有する構成要素）には同じ符号を付して説明を行う。

図１に示すように、遠隔操作支援システムＳＹＳは、作業機械１００と、遠隔操作支援装置２００とを含む。

遠隔操作支援システムＳＹＳに含まれる作業機械１００は、一台であってもよいし、複数台であってもよい。また、遠隔操作支援システムＳＹＳに複数の作業機械１００が含まれる場合、複数の作業機械１００は、全て同じ種類であってもよいし、その少なくとも一部が互いに異なる種類であってもよい。例えば、遠隔操作支援システムＳＹＳは、後述のショベル１００Ａ及びクローラクレーン１００Ｂの何れか一方だけを複数台含んでいてもよいし、ショベル１００Ａ及びクローラクレーン１００Ｂの双方を含んでいてもよい。

また、遠隔操作支援システムＳＹＳに含まれる遠隔操作支援装置２００は、複数であってもよい。即ち、複数の遠隔操作支援装置２００は、遠隔操作支援システムＳＹＳに関する処理を分散して実施してよい。例えば、複数の遠隔操作支援装置２００は、それぞれ、遠隔操作支援システムＳＹＳに含まれる全ての作業機械１００のうちの担当する一部の作業機械１００との間で相互に通信を行い、一部の作業機械１００を対象とする処理を実行してよい。

遠隔操作支援システムＳＹＳは、遠隔操作支援装置２００において、作業機械１００の遠隔操作を支援する。

また、後述の如く、作業機械１００が完全自動運転によって作業を行う場合、遠隔操作支援システムＳＹＳは、例えば、遠隔操作支援装置２００において、作業機械１００の完全自動運転による作業の遠隔監視を支援してもよい。この場合、遠隔操作支援システムＳＹＳは、遠隔操作支援装置２００において、完全自動運転機能に対する監視者の介入による作業機械１００の操作を支援してよい。

＜作業機械の概要＞
図２～図４に示すように、作業機械１００は、下部走行体１と、旋回機構２を介して下部走行体１に旋回自在に搭載される上部旋回体３と、上部旋回体３に取り付けられるアタッチメントＡＴと、オペレータが搭乗するキャビン１０とを備える。以下、作業機械１００（上部旋回体３）の前方は、ショベル１００Ａを上部旋回体３の旋回軸に沿って真上から平面視（上面視）で見たときに、上部旋回体３に対するアタッチメントが延び出す方向に対応する。

尚、作業機械１００は、ショベル１００Ａやクローラクレーン１００Ｂとは異なる他の機械であってもよい。例えば、作業機械１００は、フォークリフト、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等であってもよい。

作業機械１００は、下部走行体１、上部旋回体３、及びアタッチメントＡＴの少なくとも一つを動作させることにより、各種作業を行うことができる。

また、作業機械１００は、通信装置６０を搭載し、所定の通信回線ＮＷを通じて、遠隔操作支援装置２００と相互に通信を行うことができる。これにより、作業機械１００は、各種情報を遠隔操作支援装置２００に送信（アップロード）したり、遠隔操作支援装置２００から各種の信号（例えば、情報信号や制御信号）等を受信したりすることができる。

通信回線ＮＷには、例えば、広域ネットワーク（ＷＡＮ：Wide Area Network）が含まれる。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、作業機械１００の上空の通信衛星を利用する衛星通信網が含まれてもよい。また、広域ネットワークには、例えば、インターネット網が含まれてもよい。また、通信回線ＮＷには、例えば、遠隔操作支援装置２００が設置される施設等のローカルネットワーク（ＬＡＮ：Local Area Network）が含まれてもよい。ローカルネットワークは、無線回線であってもよいし、有線回線であってもよいし、その両方を含む回線であってよい。また、通信回線ＮＷには、例えば、ＷｉＦｉやブルートゥース（登録商標）等の所定の無線通信方式に基づく近距離通信回線が含まれてもよい。

作業機械１００は、遠隔操作支援装置２００から遠隔操作（リモート操作）が可能に構成される。作業機械１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。

具体的には、遠隔操作支援装置２００で行われる作業機械１００のアクチュエータに関するユーザ（オペレータ）からの入力によって、作業機械１００が操作される。この場合、作業機械１００は、例えば、後述の撮像装置４０，４２の撮像画像や撮像画像に基づく加工画像（例えば、視点変換画像）等の作業機械１００の周辺の様子を画像（以下、「周辺画像」）のデータを外部装置に送信する。そして、周辺画像は、遠隔操作支援装置２００に設けられる、後述の表示装置２３０Ａに表示される。また、作業機械１００のキャビン１０内の出力装置５０（表示装置）に表示される各種の情報画像（情報画面）は、同様に、遠隔操作支援装置２００の表示装置２３０Ａにも表示されてよい。これにより、オペレータは、例えば、表示装置２３０Ａに表示される作業機械１００の周辺の様子を表す周辺画像や各種の情報画像等の表示内容を確認しながら、作業機械１００を遠隔操作することができる。そして、作業機械１００は、遠隔操作支援装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。

また、作業機械１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータ（例えば、油圧アクチュエータ）を動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。以下、オペレータの操作には、キャビン１０のオペレータによる操作装置２６に対する操作、及び外部のオペレータによる遠隔操作の双方が含まれる前提で説明を進める。

また、作業機械１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、作業機械１００は、下部走行体１、上部旋回体３、アタッチメントＡＴ等の被駆動要素の少なくとも一部を自動で動作させる機能、即ち、いわゆる「自動運転機能」或いは「マシンコントロール（Machine Control：ＭＣ）機能」を実現する。

自動運転機能には、オペレータの操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能、即ち、いわゆる「半自動運機能」或いは「操作支援型のＭＣ機能」が含まれてよい。また、自動運転機能には、オペレータの操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能、即ち、いわゆる「完全自動運転機能」或いは「完全自動型のＭＣ機能」が含まれてもよい。作業機械１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、作業機械１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される、いわゆる「自律運転機能」が含まれてもよい。

作業機械１００は、例えば、ショベル１００Ａである。

図２、図３に示すように、ショベル１００Ａは、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、各種作業を行うためのアタッチメントＡＴと、キャビン１０とを備える。

下部走行体１は、例えば、左右一対のクローラ１Ｃを含む。下部走行体１は、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲで油圧駆動されることにより、ショベル１００Ａを走行させる。

上部旋回体３は、旋回機構２が旋回油圧モータ２Ｍで油圧駆動されることにより、下部走行体１に対して旋回する。

アタッチメントＡＴは、被駆動要素としてのブーム４Ａ、アーム５Ａ、及びバケット６Ａを含む。

ブーム４Ａは、上部旋回体３の前部中央に俯仰可能に取り付けられ、ブーム４Ａの先端には、アーム５Ａが上下回動可能に取り付けられ、アーム５Ａの先端には、バケット６Ａが上下回動可能に取り付けられる。

バケット６Ａは、エンドアタッチメントの一例である。バケット６Ａは、例えば、掘削作業等に用いられる。また、アーム５Ａの先端には、作業内容等に応じて、バケット６Ａの代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他のエンドアタッチメントは、攪拌機、ブレーカ、グラップル等のバケット以外の種類のエンドアタッチメントであってもよい。また、アーム５Ａと、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。

また、バケット６Ａには、クレーン作業用のフックＨＫが取り付けられてもよい。フックＨＫは、基端が、アーム５Ａとバケット６Ａとの間を連結するバケットピンに回動可能に連結される。これにより、フックＨＫは、掘削作業等のクレーン作業（吊り作業）以外の作業が行われる場合、２本のバケットリンクの間に形成される空間に収納される。

ブーム４Ａ、アーム５Ａ、及びバケット６Ａは、それぞれ、油圧アクチュエータとしてのブームシリンダ７Ａ、アームシリンダ８Ａ、及びバケットシリンダ９Ａにより油圧駆動される。

尚、ショベル１００Ａは、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００Ａは、ハイブリッドショベルや電動ショベルであってもよい。

キャビン１０は、オペレータが搭乗する操縦室であり、例えば、上部旋回体３の前部左側に搭載される。

尚、オペレータがショベル１００Ａに搭乗して操作を行わず、専ら、作業機械１００が遠隔操作や完全自動運転機能で動作する場合、キャビン１０は省略されてよい。以下、クローラクレーン１００Ｂの場合についても同様である。

また、作業機械１００は、例えば、クローラクレーン１００Ｂである。

図４に示すように、クローラクレーン１００Ｂは、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、アタッチメントＡＴと、マスト５Ｂと、バックストップ６Ｂと、フックＨＫと、カウンタウェイト９Ｂと、キャビン１０とを備える。

下部走行体１は、例えば、左右一対のクローラ１Ｃを含む。下部走行体１は、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲ（図７参照）で油圧駆動されることにより、クローラクレーン１００Ｂを走行させる。

上部旋回体３は、旋回油圧モータ２Ｍ（図７参照）で旋回機構２が油圧駆動されることにより、下部走行体１に対して旋回する。

アタッチメントＡＴ（作業装置の一例）は、ブーム４Ｂと、主巻ロープ７Ｂとを含む。

ブーム４Ｂは、上部旋回体３の前部中央に起伏可能に取り付けられる。ブーム４Ｂの先端部から主巻ロープ７Ｂが垂下され、主巻ロープ７Ｂの先端には、フックＨＫが取り付けられる。即ち、ブーム４Ｂの先端には、主巻ロープ７Ｂを介してフックＨＫが取り付けられる。

主巻ロープ７Ｂは、その基端が、ブーム４Ｂの基端と先端との間の後面部分に取り付けられる主巻ウインチ７Ｂａに取り付けられ、その先端がフックＨＫに取り付けられる。主巻ロープ７Ｂは、主巻油圧モータ７Ｍ（図７参照）で油圧駆動される主巻ウインチ７Ｂａにより巻き取り及び巻き出しが行われることにより、フックＨＫを上下させることができる。

マスト５Ｂは、上部旋回体３のブーム４Ｂの基端部よりも若干後方において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。マスト５Ｂの先端部は、ペンダントロープ５Ｂａを介してブーム４Ｂの先端部と接続され、起伏油圧モータ５Ｍ（図７参照）で油圧駆動されるブーム起伏ウインチ５Ｂｃによるブーム起伏ロープ５Ｂｂの巻き取り及び巻き出しにより、マスト５Ｂを介してブーム４Ｂが起伏する。

尚、クローラクレーン１００Ｂは、ショベル１００Ａの場合と同様、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。

バックストップ６Ｂは、その基端がブーム４Ｂの基端よりも後方の上部旋回体３の部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられ、その先端がブーム４Ｂの基端と先端との間の後面部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。バックストップ６Ｂは、ブーム４Ｂの起伏動作に応じて伸縮し、例えば、ブーム４Ｂが略直立状態の場合にブーム４Ｂを後方から支える機能を有する。

フックＨＫは、主巻ロープ７Ｂの先端に取り付けられ、吊り荷を吊り下げるために用いられる。

カウンタウェイト９Ｂは、上部旋回体３の後端部に設けられ、ブーム４Ｂ及び吊り荷ＳＬの重量との重量バランスを取る機能を有する。

キャビン１０は、例えば、上部旋回体３の右前端部に取り付けられる。キャビン１０の内部には、操縦席や各種アクチュエータを操作する操作装置２６（図７参照）が設けられる。

＜遠隔操作支援装置の概要＞
遠隔操作支援装置２００（外部装置の一例）は、作業機械１００の遠隔操作を支援する。また、遠隔操作支援装置２００は、完全自動運転で作業を行う作業機械１００の遠隔監視を支援してもよい。

遠隔操作支援装置２００は、例えば、作業機械１００が作業を行う作業現場の外部の管理センタ等に設置されるオンプレミスサーバやクラウドサーバであってよい。また、遠隔操作支援装置２００は、例えば、作業機械１００が作業行う作業現場内、或いは、作業現場から相対的に近い場所に配置されるエッジサーバであってもよい。また、遠隔操作支援装置２００は、作業機械１００の作業現場内の管理事務所等に配置される定置型の端末装置或いは携帯型の端末装置（携帯端末）であってもよい。定置型の端末装置には、例えば、デスクトップ型のコンピュータ端末が含まれてよい。また、携帯型の端末装置には、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等が含まれてよい。

遠隔操作支援装置２００は、例えば、通信装置２２０（図５～図７参照）を有し、上述の如く、通信回線ＮＷを通じて、作業機械１００と相互に通信を行う。これにより、遠隔操作支援装置２００は、作業機械１００からアップロードされる各種情報を受信したり、各種信号を作業機械１００に送信したりすることができる。そのため、遠隔操作支援装置２００のユーザは、出力装置２３０（図２、図３参照）を通じて、作業機械１００に関する各種情報を確認することができる。また、遠隔操作支援装置２００は、例えば、作業機械１００に情報信号を送信し、作業に必要な情報を提供したり、制御信号を送信し、作業機械１００を制御したりすることができる。遠隔操作支援装置２００のユーザには、例えば、作業機械１００のオーナ、作業機械１００の管理者、作業機械１００のメーカの技術者、作業機械１００のオペレータ、作業機械１００の作業現場の管理者、監督者、作業者等が含まれてよい。

例えば、遠隔操作支援装置２００は、オペレータが遠隔操作を行うための入力を行う遠隔操作装置２４０Ａ、及び作業機械１００の周辺の画像（周辺画像）等を表示する表示装置２３０Ａを有する。遠隔操作装置２４０Ａから入力される信号は、遠隔操作信号として、遠隔操作支援装置２００から作業機械１００に送信される。これにより、遠隔操作支援装置２００のユーザ（オペレータ）は、表示装置２３０Ａで作業機械１００の周辺の様子を確認しながら、遠隔操作装置２４０Ａを用いて、作業機械１００の遠隔操作を行うことができる。

例えば、遠隔操作支援装置２００のユーザ（監視者）は、表示装置２３０Ａで作業機械１００の作業の様子を監視することができる。また、例えば、遠隔操作支援装置２００のユーザ（監視者）は、作業機械１００に異常が発生している場合や作業機械１００の動作が不適切な場合等に、遠隔操作装置２４０Ａを利用して、作業機械１００の自動運転機能に対する介入操作を行うことができる。そのため、監視者は、遠隔操作装置２４０Ａを用いて、作業機械１００を非常停止させたり、作業機械１００に適切な動作を行わせる遠隔操作を実施したりすることができる。

［遠隔操作支援システムの構成］
次に、図５～図７を参照して、遠隔操作支援システムＳＹＳの構成について説明する。

図５は、本実施形態に係る遠隔操作支援システムＳＹＳの構成の一例を示すブロック図である。図６は、ショベル１００Ａの構成の一例を示す図である。具体的には、図６は、図５に対応するショベル１００Ａの構成の具体例を示す図である。図７は、クローラクレーン１００Ｂの構成の一例を示す図である。具体的には、図７は、図５に対応するクローラクレーン１００Ｂの構成の具体例を示す図である。

尚、図５～図７では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。

＜作業機械の構成＞
作業機械１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。

＜＜油圧駆動系＞＞
図５に示すように、本実施形態に係る作業機械１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係る作業機械１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

図６に示すように、作業機械１００がショベル１００Ａである場合、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７Ａ、アームシリンダ８Ａ、及びバケットシリンダ９Ａ等が含まれる。

また、図７に示すように、作業機械１００がクローラクレーン１００Ｂである場合、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、起伏油圧モータ５Ｍ、及び主巻油圧モータ７Ｍ等が含まれる。

エンジン１１は、作業機械１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

尚、エンジン１１に代えて、或いは、加えて、他の原動機（例えば、電動機）等が作業機械１００に搭載されてもよい。

レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、或いは、コントローラ３０から出力される自動運転機能に関する操作指令に応じて、油圧アクチュエータＨＡの制御を行う油圧制御装置である。自動運転機能に対応する操作指令は、コントローラ３０が生成してもよいし、自動運転機能に関する制御を行う他の制御装置（演算装置）が生成してもよい。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作、或いは、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。

＜＜操作系＞＞
図５に示すように、本実施形態に係る作業機械１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

尚、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給される。

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。

例えば、図４に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐されるパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

尚、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。また、作業機械１００が遠隔操作される場合や自動運転機能により動作する場合、操作装置２６は省略されてもよい。

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、図４に示すように、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。また、図５に示すように、油圧制御弁３１は、パイロットライン２７Ｂ及びパイロットライン２７を通じて、直接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。そのため、コントローラ３０は、油圧制御弁３１から電気式の操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づく作業機械１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、自動運転機能を実現してもよい。具体的には、コントローラ３０は、操作装置２６の操作の有無に依らず、自動運転機能に関する操作指令に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から自動運転機能に関する操作指令に対応するパイロット圧をコントロールバルブ１７に供給させ、自動運転機能に基づく作業機械１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、作業機械１００の遠隔操作を実現してもよい。具体的には、コントローラ３０は、通信装置６０によって、遠隔操作支援装置２００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づく作業機械１００の動作を実現することができる。

シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、自動運転機能を実現することができる。

油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、作業機械１００の自動運転機能や遠隔操作機能をより適切に実現することができる。

＜＜ユーザインタフェース系＞＞
図５に示すように、本実施形態に係る作業機械１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。

出力装置５０は、作業機械１００のユーザ（例えば、キャビン１０のオペレータや作業機械１００の周辺の作業車等）に向けて各種情報を出力する。

例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置等を含む。照明機器は、例えば、警告灯等である。表示装置は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。照明機器や表示装置は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置は、例えば、上部旋回体３の側面等に設けられ、作業機械１００の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。

また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置を含む。音出力装置には、例えば、ブザーやスピーカ等が含まれる。音出力装置は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に聴覚的な方法で各種情報を出力してよい。

また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。

入力装置５２は、作業機械１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。入力装置５２は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、作業機械１００の周辺の作業者等からの入力を受け付けてもよい。

例えば、入力装置５２は、操作入力を受け付ける操作入力装置である。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。

また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置であってもよい。音声入力装置には、例えば、マイクロフォンが含まれる。

また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置であってもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。

＜＜通信系＞＞
図５に示すように、本実施形態に係る作業機械１００の通信系は、通信装置６０を含む。

通信装置６０（作業装置用通信装置の一例）は、通信回線ＮＷに接続し、作業機械１００と別に設けられる装置（例えば、遠隔操作支援装置２００）と通信を行う。作業機械１００と別に設けられる装置には、作業機械１００の外部にある装置の他、作業機械１００のユーザによりキャビン１０に持ち込まれる携帯型の端末装置が含まれてよい。通信装置６０は、例えば、４Ｇ（4^th Generation）や５Ｇ（5^th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、ＷｉＦｉ通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。

＜＜制御系＞＞
図５に示すように、本実施形態に係る作業機械１００の制御系は、コントローラ３０を含む。また、本実施形態に係る作業機械１００の制御系は、操作圧センサ２９と、撮像装置４０，４２と、取得装置ＳＸとを含む。

コントローラ３０（物体検知装置の一例）は、作業機械１００に関する各種制御を行う。コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。

コントローラ３０は、機能部として、操作制御部３０１と、画像送信部３０２と、物体検知部３０３と、安全制御部３０４とを含む。操作制御部３０１、画像送信部３０２、物体検知部３０３、及び安全制御部３０４の機能は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしＣＰＵ上で実行することにより各種機能を実現される。

尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。

操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。

尚、操作装置２６が電気式である場合、操作圧センサ２９は省略される。コントローラ３０は、操作装置２６から取り込まれる操作信号に基づき、操作装置２６を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。

撮像装置４０（取得装置の一例）は、ショベル１００Ａの周辺において、オペレータから見た死角や視認しにくい場所を補間するための画像を取得する。撮像装置４０の出力は、コントローラ３０に取り込まれる。

撮像装置４０は、例えば、単眼カメラ、ステレオカメラ、デプスカメラ等を含む。また、撮像装置４０は、撮像画像に基づき、所定の撮像範囲（画角）内における作業機械１００の周辺の物体の位置及び外形を表す三次元データ（例えば、点群データやサーフェスデータ）を取得してもよい。

例えば、図２、図３に示すように、ショベル１００Ａの撮像装置４０は、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、オペレータは、出力装置５０や表示装置２３０Ａを通じて、撮像装置４０の撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体３の左方、右方、及び後方の様子を確認することができる。

尚、図３の二点鎖線は、カメラ４０Ｂ，４０Ｌ，４０Ｒの上面視の画角（撮像範囲）を表している。

また、例えば、図４に示すように、クローラクレーン１００Ｂの撮像装置４０は、例えば、ブーム４Ｂに取り付けられ、フックＨＫ及びフックＨＫに吊られる吊り荷の周辺の様子を上から見た撮像画像を取得する。これにより、オペレータは、出力装置５０（表示装置）や表示装置２３０Ａを通じて、撮像装置４０の撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、フックＨＫに吊られる吊り荷の周辺の様子を上から見た視点で確認することができる。

尚、ショベル１００Ａにおいて、図４の形態の撮像装置４０が設けられてもよいし、クローラクレーン１００Ｂにおいて、図２、図３の形態の撮像装置４０（カメラ４０Ｂ，４０Ｌ，４０Ｒ）が設けられてもよい。

撮像装置４２は、遠隔操作のオペレータや遠隔監視の監視者がアタッチメントＡＴによる作業の様子を確認するための作業機械１００の周辺の画像を取得する。撮像装置４２の出力は、コントローラ３０に取り込まれる。

撮像装置４２は、例えば、単眼カメラ、ステレオカメラ、デプスカメラ等を含む。また、撮像装置４２は、撮像画像に基づき、所定の撮像範囲（画角）内における作業機械１００の周辺の物体の位置及び外形を表す三次元データ（例えば、点群データやサーフェスデータ）を取得してもよい。

例えば、図２、図３に示すように、ショベル１００Ａの撮像装置４２は、例えば、キャビン１０の上面前部等、上部旋回体３の前部に設けられ、アタッチメントＡＴの先端（バケット６Ａ）を含む上部旋回体３の前方の様子を撮像する。これにより、オペレータは、表示装置２３０Ａを通じて、撮像装置４２の撮像画像や当該撮像装置４２に基づき生成される加工画像等の周辺画像を視認することで、バケット６Ａを含むアタッチメントＡＴの動作を確認しながら、ショベル１００Ａを操作することができる。

また、例えば、図４に示すように、クローラクレーン１００Ｂの撮像装置４２は、例えば、キャビン１０の上面前部等、上部旋回体３の前部に設けられ、フックＨＫを含む上部旋回体３の前方の様子を撮像する。具体的には、撮像装置４２は、上部旋回体３の前方斜め上の地面から離れた相対的に高い高さ方向の空間を撮像するカメラ４２Ａと、上部旋回体３の前方斜め下の地面付近の相対的に低い高さ方向の範囲を撮像するカメラ４２Ｂとを含む。これにより、オペレータは、表示装置２３０Ａを通じて、撮像装置４２の撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、フックＨＫの動きを確認しながら、クローラクレーン１００Ｂを操作することができる。

取得装置ＳＸは、ショベル１００Ａの状態やショベル１００Ａの周辺の状態等に関する情報を取得する。取得装置ＳＸの出力は、コントローラ３０に取り込まれる。

図６に示すように、作業機械１００がショベル１００Ａである場合、取得装置ＳＸは、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体姿勢センサＳ４と、旋回角度センサＳ５とを含む。

また、図７に示すように、作業機械１００がクローラクレーン１００Ｂである場合、取得装置ＳＸは、機体姿勢センサＳ４と、旋回角度センサＳ５とを含む。

ブーム角度センサＳ１は、所定基準（例えば、水平面やブーム４Ａの可動角度範囲の両端の何れかの状態等）に対するブーム４Ａの姿勢角度（以下、「ブーム角度」）に関する検出情報を取得する。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ（Inertial Measurement Unit）等を含んでよい。また、ブーム角度センサＳ１は、ブームシリンダ７Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。

アーム角度センサＳ２は、所定基準（例えば、ブーム４Ａの両端の連結点間を結ぶ直線やアーム５Ａの可動角度範囲の両端の何れかの状態等）に対するアーム５Ａの姿勢角度（以下、「アーム角度」）に関する検出情報を取得する。アーム角度センサＳ２は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、アーム角度センサＳ２は、アームシリンダ８Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。

バケット角度センサＳ３は、所定基準（例えば、アーム５Ａの両端の連結点間を結ぶ直線やバケット６Ａの可動角度範囲の両端の何れかの状態等）に対するバケット６Ａの姿勢角度（以下、「バケット角度」）に関する検出情報を取得する。バケット角度センサＳ３は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、バケット角度センサＳ３は、バケットシリンダ９Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。

機体姿勢センサＳ４は、下部走行体１及び上部旋回体３を含む作業機械１００の機体の姿勢状態に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、上部旋回体３に搭載され、上部旋回体３の水平面に対する傾斜角度や旋回軸回りの姿勢角度（即ち、地面を基準とする上部旋回体３の向き）に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、加速度センサ（傾斜センサ）、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。

旋回角度センサＳ５は、下部走行体１を基準とする上部旋回体３の旋回角度（即ち、上部旋回体３の向き）に関する検出情報を取得する。旋回角度センサＳ５は、例えば、ポテンショメータ、ロータリエンコーダ、レゾルバ等を含む。

また、例えば、取得装置ＳＸは、自機の絶対位置を測位可能な測位装置を含んでもよい。測位装置は、例えば、ＧＮＳＳ（Global Navigation Satellite System）センサである。これにより、作業機械１００の姿勢状態の推定精度を向上させることができる。

また、例えば、取得装置ＳＸは、作業機械１００の周辺の物体との距離を検出する距離センサ（取得装置の一例）を含んでもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detecting and Ranging）、ミリ波レーダ、超音波センサ、赤外線センサ、距離画像センサ等を含む。これにより、コントローラ３０（物体検知部３０３）は、撮像装置４０，４２の出力に代えて、或いは、加えて、距離センサの出力を用いて、作業機械１００の周辺の物体を検知することができる。

尚、ショベル１００ＡのセンサＳ１～Ｓ５やクローラクレーン１００ＢのセンサＳ４，Ｓ５は、省略されてもよい。例えば、撮像装置４０，４２や後述の距離センサ等により取得されるショベル１００Ａの周辺の情報には、機体（上部旋回体３）から見た周囲の物体やアタッチメントの位置や形状等に関する情報が含まれる場合がある。この場合、例えば、コントローラ３０は、要求される精度によっては、その情報からアタッチメントＡＴや機体（上部旋回体３）の姿勢状態を推定することも可能だからである。

操作制御部３０１は、油圧制御弁３１を制御対象として、作業機械１００の油圧アクチュエータの操作に関する制御を行う。

操作制御部３０１は、例えば、油圧制御弁３１を制御対象として、電気式の操作装置２６の操作に基づく作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の操作に関する制御を行う。具体的には、操作制御部３０１は、操作装置２６から出力される操作信号の内容に応じて、複数の油圧アクチュエータＨＡ（被駆動要素）のそれぞれに対応する油圧制御弁３１を選択的に制御してよい。

また、操作制御部３０１は、例えば、油圧制御弁３１を制御対象として、作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の遠隔操作に関する制御を行う。即ち、作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の操作には、作業機械１００の外部（遠隔操作支援装置２００）からの油圧アクチュエータＨＡの遠隔操作が含まれる。具体的には、操作制御部３０１は、通信装置６０を通じて遠隔操作支援装置２００から受信される遠隔操作信号の内容に応じて、複数の油圧アクチュエータＨＡ（被駆動要素）のそれぞれに対応する油圧制御弁３１を選択的に制御してよい。

また、操作制御部３０１は、例えば、油圧制御弁３１を制御対象として、作業機械１００の自動運転機能に関する制御を行う。具体的には、即ち、作業機械１００の油圧アクチュエータＨＡの操作には、自動運転機能に基づき出力される、作業機械１００の油圧アクチュエータＨＡの操作指令が含まれてよい。具体的には、操作制御部３０１は、操作指令の内容に応じて、複数の油圧アクチュエータＨＡ（被駆動要素）のそれぞれに対応する油圧制御弁３１を選択的に制御してよい。

画像送信部３０２は、撮像装置４０の撮像画像、或いは、撮像装置４０の撮像画像に基づき生成する加工画像等の周辺画像を、通信装置６０を通じて、遠隔操作支援装置２００に送信する。

例えば、ショベル１００Ａの画像送信部３０２は、撮像装置４０の撮像画像に基づき、複数のカメラ（カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの少なくとも二つのカメラ）の撮像画像を合成した加工画像（合成画像）を生成し、遠隔操作支援装置２００に送信してよい。

具体的には、画像送信部３０２は、カメラ４０Ｂ、４０Ｌ，４０Ｒの撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た合成画像（視点変換画像）を生成し、遠隔操作支援装置２００に送信してよい。

また、例えば、クローラクレーン１００Ｂの画像送信部３０２は、撮像装置４０の撮像画像に基づき、視点変換画像を生成し、遠隔操作支援装置２００に送信してよい。

同様に、画像送信部３０２は、撮像装置４２の撮像画像、或いは、撮像装置４２の撮像画像に基づきコントローラ３０が生成する加工画像等の周辺画像を、通信装置６０を通じて、遠隔操作支援装置２００に送信する。

例えば、ショベル１００Ａの画像送信部３０２は、撮像装置４２の撮像画像に基づき、視点変換画像を生成し、遠隔操作支援装置２００に送信してよい。また、ショベル１００Ａの画像送信部３０２は、撮像装置４０，４２の撮像画像に対して既知の視点変換処理及び合成処理等を行うことにより、ショベル１００Ａの周辺の水平方向３６０度を仮想視点から見た合成画像を生成し、遠隔操作支援装置２００に送信してもよい。

物体検知部３０３は、撮像装置４０の出力に基づき、作業機械１００の周辺の監視対象の所定の物体（以下、「監視物体」）を検知する。

監視物体には、作業機械１００の周辺で作業する作業者や作業現場の監督者等の人が含まれてよい。また、監視物体には、作業現場の人以外の任意の物体（障害物）が含まれてよい。作業現場の人以外の障害物には、例えば、穴、溝、土砂の山等の特定の地形、ロードコーン、柵、電柱、仮置きの資材、作業現場の仮設事務所等の定置された（移動しない）障害物が含まれてよい。また、作業現場の人以外の障害物には、例えば、他の作業機械や作業車両等の移動可能な障害物が含まれてよい。

物体検知部３０３は、撮像装置４０の出力、即ち、撮像装置４０で撮像された撮像画像に基づき、作業機械１００（上部旋回体３）の周辺の所定の監視エリア（以下、便宜的に「監視エリア」）において、監視物体を検知する。以下、物体検知部３０３に関する説明は、作業機械１００が水平面に位置している仮定の下で行う。具体的には、ショベル１００Ａの物体検知部３０３は、上部旋回体３の後方、左方、及び右方に亘る監視エリアにおいて、監視物体を検知してよい。また、クローラクレーン１００Ｂの物体検知部３０３は、フックＨＫに吊られた吊り荷の周辺の監視エリアにおいて、監視物体を検知してよい。

尚、物体検知部３０３は、上部旋回体３に上述の距離センサが搭載される場合、撮像装置４０の出力に代えて、或いは、加えて、距離センサの出力に基づき、監視物体を検知してよい。また、物体検知部３０３は、撮像装置４０の出力に加えて、撮像装置４２の出力に基づき、上部旋回体３の周辺の物体を検知してもよい。即ち、物体検知部３０３は、撮像装置４０，４２の出力に基づき、撮像装置４２の撮像範囲を含む監視エリアにおいて、監視物体を検知してもよい。また、作業機械１００が、専ら、遠隔操作で使用される場合、物体検知部３０３の機能は、遠隔操作支援装置２００（例えば、制御装置２１０（物体検知装置の一例））に移管されてもよい。この場合、通信装置６０を通じて、撮像装置４０や距離センサの出力が遠隔操作支援装置２００に送信される。

物体検知部３０３は、例えば、作業機械１００から見た水平方向（以下、単に「水平方向」）、つまり、作業機械１００が作業している（下部走行体１が接地している）平面（以下、便宜的に「作業平面」）に沿う方向に延在する監視エリア内において、監視物体を検知する。具体的には、物体検知部３０３は、作業機械１００の所定の部位からの距離Ｄが閾値Ｄｔｈ１以内の監視エリア内で監視物体を検知してよい。この際、閾値Ｄｔｈ１は、作業機械１００の所定の部位から見た方向に依らず一定であってもよいし、作業機械１００の所定部位から見た方向によって変化してもよい。例えば、ショベル１００Ａの物体検知部３０３は、上部旋回体３からの水平方向の距離Ｄが閾値Ｄｔｈ１（例えば、１０メートル）以内の監視エリア内で、監視物体を検知する。また、クローラクレーン１００Ｂの物体検知部３０３は、フックＨＫ（或いは、吊り荷）からの水平方向の距離が閾値Ｄｔｈ１以内の監視エリア内で、監視物体を検知する。

例えば、物体検知部３０３は、既知の各種画像処理手法や人工知能（ＡＩ：Artificial Intelligence）等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視物体を認識する。また、監視物体が作業者等の人である場合、物体検知部３０３は、認識した人が予め登録される複数の登録済みの作業者の中の何れかに該当するかを特定してもよい。

また、物体検知部３０３は、既知の各種手法を適用することにより、単眼の撮像装置４０の撮像画像に映っている、認識された監視物体が存在する位置（例えば、人の足元位置）（以下、「実在位置」）を判定（推定）してよい。

例えば、ショベル１００Ａの物体検知部３０３は、認識された監視物体の撮像画像上における大きさ（例えば、撮像画像上の高さ方向の大きさ）に基づき、上部旋回体３から見た水平方向の位置（以下、「水平位置」）を推定してよい。認識された監視物体の撮像画像上における大きさは、監視物体がショベル１００Ａ（上部旋回体３）から離れるほど小さくなる相関関係があるからである。具体的には、監視物体には、想定される大きさの範囲（例えば、想定される人の身長の範囲）があるため、想定された大きさの範囲に含まれる当該監視物体のショベル１００Ａから見た水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、物体検知部３０３は、例えば、コントローラ３０の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視物体の大きさとショベル１００Ａから見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視物体の実在位置（上部旋回体３からの水平位置）を推定することができる。

また、例えば、物体検知部３０３は、監視物体が作業機械１００（具体的には、下部走行体１）と同じ平面上に存在する前提の下、撮像画像の当該平面上への射影変換（ホモグラフィ）等によって、その実在位置（例えば、足元位置）を推定してもよい。この場合、撮像画像を構成するある部分（例えば、ある画素）は、作業機械１００と同じ平面上のある位置に対応づけられる。

また、物体検知部３０３は、入力装置５２に対するオペレータ等による所定の操作に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。

安全制御部３０４は、作業機械１００の機能安全に関する制御を行う。具体的には、安全制御部３０４は、物体検知部３０３により監視対象が検知される場合に、安全機能を作動させてよい。

安全機能には、例えば、キャビン１０の内部、キャビン１０の外部、及び作業機械１００の遠隔のオペレータや管理者等の少なくとも一つに対する警報等を出力し、監視対象の検知を報知する報知機能が含まれてよい。これにより、キャビン１０の内部のオペレータ、作業機械１００の周辺の作業者、作業機械１００の遠隔操作や遠隔監視を行うオペレータや監視者等に対して、作業機械１００の周辺の所定範囲内に監視対象が存在していることに関する注意を促すことができる。以下、キャビン１０の内部（オペレータ等）への報知機能を「内部報知機能」、作業機械１００の外部（作業者等）への報知機能を「外部報知機能」、及び作業機械１００の遠隔操作や遠隔監視を行うオペレータや監視者への報知機能を「遠隔報知機能」とそれぞれ称し、区別する場合がある。

また、安全機能には、例えば、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対する作業機械１００の動作を制限する動作制限機能が含まれてよい。これにより、作業機械１００の動作を強制的に制限し、作業機械１００や吊り荷と周辺の物体との接近や接触等の可能性を低減させることができる。動作制限機能には、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対する作業機械１００の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に関わらず、作業機械１００の動作を停止させ、停止状態を維持させる動作停止機能が含まれてもよい。

安全制御部３０４は、例えば、物体検知部３０３により監視エリアに含まれる所定の範囲（以下、「報知範囲」）で監視対象が検知される場合に、報知機能を作動させる。報知範囲は、監視エリアと同じ範囲、或いは、監視エリアよりもその外縁が上部旋回体３やフックＨＫ（或いは吊り荷）に相対的に近くなるような範囲に設定される。具体的には、安全制御部３０４は、作業機械１００の所定の部位からの距離Ｄが閾値Ｄｔｈ２（≦Ｄｔｈ１）以内の報知範囲内で監視物体が検知されると、報知機能を作動させてよい。この際、閾値Ｄｔｈ２は、作業機械１００の所定の部位から見た方向に依らず一定であってもよいし、作業機械１００の所定部位から見た方向によって変化してもよい。

安全制御部３０４は、例えば、出力装置５０（音出力装置）を制御することにより、キャビン１０の内部及び外部の少なくとも一方に対する音（即ち、聴覚的な方法）による内部報知機能や外部報知機能を作動させる。このとき、安全制御部３０４は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。

また、安全制御部３０４は、例えば、視覚的な方法による内部報知機能を作動させる。具体的には、安全制御部３０４は、キャビン１０の内部の出力装置５０（表示装置）を制御することにより、表示装置に監視物体が検知されていることを表す画像を表示させてよい。また、安全制御部３０４は、キャビン１０の内部の表示装置に表示される周辺画像に映っている監視物体や、検知された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、安全制御部３０４は、表示装置に表示されている周辺画像上に、検知されている監視物体を囲む枠を重畳して表示させたり、検知された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、出力装置５０（表示装置）は、オペレータに対する視覚的な報知機能を実現することができる。また、安全制御部３０４は、キャビン１０の内部の警告灯や照明装置等を用いて、監視物体が検知されていることをキャビン１０の内部のオペレータ等に対して通知してもよい。

また、安全制御部３０４は、例えば、上部旋回体３のハウス部の側面等に設けられる出力装置５０（例えば、前照灯等の照明装置や表示装置）を制御することにより、視覚的な方法による外部報知機能を作動させてもよい。また、安全制御部３０４は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法で内部報知機能を作動させてもよい。これにより、コントローラ３０は、オペレータや作業機械１００の周辺の作業者及び監督者等に対して、作業機械１００の周辺に監視物体（例えば、作業者等の人）が存在することを認識させることができる。そのため、コントローラ３０は、オペレータに対して、作業機械１００の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。

また、安全制御部３０４は、例えば、通信装置６０を通じて、報知機能の作動を示す指令信号を遠隔操作支援装置２００に送信することにより、遠隔報知機能を作動させてもよい。この場合、遠隔操作支援装置２００（制御装置２１０）は、通信装置２２０により作業機械１００から指令信号を受信すると、出力装置２３０を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、遠隔操作支援装置２００を通じて作業機械１００の遠隔操作や遠隔監視を行うオペレータや監視者は、作業機械１００の周辺の報知範囲内に監視物体が進入したことを把握することができる。

尚、安全制御部３０４の遠隔報知機能は、遠隔操作支援装置２００（例えば、後述の報知制御部２１０３）に移管されてもよい。この場合、遠隔操作支援装置２００は、作業機械１００から物体検知部３０３による監視物体の検知状況に関する情報を受信し、受信した情報に基づき、報知範囲内への監視物体の進入の有無を判断し、報知範囲内に監視物体が存在する場合に、外部報知機能を作動させる。

また、安全制御部３０４は、報知範囲内で検知されている監視物体と、作業機械１００との位置関係に応じて、報知態様（即ち、報知の仕方）を異ならせてもよい。

例えば、安全制御部３０４は、物体検知部３０３により報知範囲内で検知された監視物体が上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対して相対的に遠い位置に存在する場合、監視物体への注意を促す程度の相対的に緊急度が低い警報（以下、「注意レベルの警報」）を出力してよい。以下、報知範囲のうちの上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対する距離が相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全制御部３０４は、物体検知部３０３により報知範囲内で検知された監視物体が上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対して相対的に近い位置に存在する場合、監視物体が作業機械１００の所定の部位に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報（以下、「警戒レベルの警報」）を出力してよい。以下、報知範囲のうちの上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対する距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。

この場合、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、出力装置（音出力装置）から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、出力装置５０（表示装置）に表示される監視物体が検知されていることを表す画像や、表示装置に表示される周辺画像上の監視物体或いは監視物体の位置を強調させる画像（例えば、枠やマーカ等）の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ３０は、音出力装置から出力される報知音（警報音）や表示装置に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視物体の作業機械１００の所定の部位に対する接近度を把握させることができる。

安全制御部３０４は、報知機能の作動開始後、物体検知部３０３により検知されていた監視物体が監視エリア内で検知されなくなった場合、報知機能を停止させてよい。また、安全制御部３０４は、報知機能の作動開始後、入力装置５２を通じて、報知機能の作動を解除する所定の操作が受け付けられた場合に、報知機能を停止させてもよい。

また、安全制御部３０４は、例えば、物体検知部３０３により監視エリアに含まれる所定範囲（以下、「動作制限範囲」）内で監視物体が検知される場合に、動作制限機能を作動させる。動作制限範囲は、上述の報知範囲よりもその外縁が上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に相対的に近くなるような範囲に設定される。これにより、安全制御部３０４は、例えば、監視物体が外側から報知範囲に進入すると、まず、報知機能を作動させ、その後に、監視物体が内側の動作制限範囲に進入すると、更に、動作制限機能を作動させることができる。そのため、コントローラ３０は、監視物体の監視エリア内での内側への移動に合わせて、段階的に、報知機能及び動作制限機能を作動させることができる。具体的には、安全制御部３０４は、作業機械１００の所定の部位からの距離Ｄが閾値Ｄｔｈ３（＜Ｄｔｈ２）以内の報知範囲内で監視物体が検知されると、報知機能を作動させてよい。この際、閾値Ｄｔｈ３は、作業機械１００の所定の部位から見た方向に依らず一定であってもよいし、作業機械１００の所定部位から見た方向によって変化してもよい。

また、動作制限範囲には、操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に対する作業機械１００の動作速度を通常よりも遅くする動作減速範囲、及び操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に関わらず、作業機械１００の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、動作制限範囲のうちの上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に近接する範囲である。そして、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。

安全制御部３０４は、油圧制御弁３１を制御することにより、作業機械１００の動作を制限する動作制限機能を作動させる。この場合、安全制御部３０４は、全ての被駆動要素（即ち、対応する油圧アクチュエータ）の動作を制限してもよいし、一部の被駆動要素（油圧アクチュエータ）の動作を制限してもよい。これにより、コントローラ３０は、作業機械１００の周辺に監視物体が存在する場合に、作業機械１００の動作を減速させたり、停止させたりすることができる。そのため、コントローラ３０は、作業機械１００の周辺の監視物体と作業機械１００や吊り荷との接触の発生を抑制することができる。また、安全制御部３０４は、パイロットライン２５の図示しない電磁切換弁を制御し、パイロットライン２５を遮断することにより、動作制限機能（動作停止機能）を作動させてもよい。

また、安全制御部３０４は、動作制限機能の作動開始後、物体検知部３０３により検知されていた監視物体が検知されなくなった場合、動作制限機能を停止させてよい。また、安全制御部３０４は、動作制限機能の作動開始後、入力装置５２を通じて、動作制限機能の作動を解除する所定の操作が受け付けられた場合に、動作制限機能を停止させてもよい。入力装置５２に対する報知機能の作動解除のための操作と、動作制限機能の作動解除のための操作とは、同じであってもよいし、異なっていてもよい。

また、安全制御部３０４は、入力装置５２に対するオペレータ等による所定の操作に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。

＜遠隔操作支援装置の構成＞
図５に示すように、遠隔操作支援装置２００は、制御装置２１０と、通信装置２２０と、出力装置２３０と、入力装置２４０とを含む。

制御装置２１０は、遠隔操作支援装置２００に関する各種制御を行う。制御装置２１０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現される。制御装置２１０は、例えば、ＣＰＵ、ＲＡＭ等のメモリ装置、ＲＯＭ等の不揮発性の補助記憶装置、及び各種の入出力用のインタフェース装置等を含むコンピュータを中心に構成される。

制御装置２１０は、機能部として、遠隔操作支援部２１０１と、表示制御部２１０２と、報知制御部２１０３と、通信状況監視部２１０４と、操作状態監視部２１０５を含む。遠隔操作支援部２１０１、表示制御部２１０２、報知制御部２１０３、通信状況監視部２１０４、及び操作状態監視部２１０５の機能は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしＣＰＵ上で実行することにより実現される。

通信装置２２０（外部装置用通信装置の一例）は、通信回線ＮＷに接続し、遠隔操作支援装置２００の外部（例えば、作業機械１００）と通信を行う。

出力装置２３０（報知装置の一例）は、遠隔操作支援装置２００のユーザに向けて各種情報を出力する。出力装置２３０は、表示装置２３０Ａと、音出力装置２３０Ｂとを含む。

表示装置２３０Ａは、制御装置２１０の制御下で、視覚的な方法で遠隔操作支援装置２００のユーザに向けて遠隔操作支援装置２００に関する各種情報を出力する。具体的には、表示装置２３０Ａは、遠隔操作支援装置２００に関する情報画像を表示する。表示装置２３０Ａは、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を含む。

尚、出力装置２３０は、視覚的な方法で遠隔操作支援装置２００のユーザに各種情報を出力する照明装置を含んでもよい。照明装置は、例えば、警告ランプ等を含む。

音出力装置２３０Ｂは、聴覚的な方法で遠隔操作支援装置２００のユーザに各種情報を出力する音出力装置を含む。音出力装置は、例えば、ブザーやスピーカ等を含む。

入力装置２４０は、遠隔操作支援装置２００のユーザからの入力を受け付け、入力（例えば、操作入力、音声入力、ジェスチャ入力等）の内容を表す信号を出力する。入力の内容を表す信号は、制御装置２１０に取り込まれる。遠隔操作支援装置２００のユーザは、遠隔操作支援装置２００の管理者、作業機械１００のオペレータ、作業機械１００の監視者等を含む。

入力装置２４０は、例えば、遠隔操作装置２４０Ａを含む。

遠隔操作装置２４０Ａは、オペレータによる作業機械１００の遠隔操作や監視者による自動運転機能に対する介入による作業機械１００の遠隔操作のために用いられる。遠隔操作装置２４０Ａは、オペレータや監視者からの複数のアクチュエータ（被駆動要素）の遠隔操作のための入力を受け付け、入力の内容を表す信号を制御装置２１０に出力する。

遠隔操作支援部２１０１は、作業機械１００の遠隔操作に関する制御を行う。具体的には、遠隔操作支援部２１０１は、遠隔操作装置２４０Ａで受け付けられる作業機械１００の遠隔操作に関する入力の信号を取り込み、通信装置２２０を用いて、作業機械１００の遠隔操作の内容を表す遠隔操作信号を作業機械１００に送信してよい。

表示制御部２１０２は、表示装置２３０Ａを制御し、表示装置２３０Ａに各種情報画像を表示させる。

表示制御部２１０２は、例えば、作業機械１００からアップロードされる作業機械１００の周辺の様子を表す画像（周辺画像）を表示装置２３０Ａに表示させる。

具体的には、表示制御部２１０２は、撮像装置４２の撮像範囲に対応する周辺画像を表示装置２３０Ａに表示させる。これにより、遠隔操作支援装置２００のユーザ（オペレータ）は、撮像装置４２の撮像範囲に対応する周辺画像を視認することで、アタッチメントＡＴの動きを確認しながら、作業機械１００の遠隔操作を行うことができる。また、遠隔操作支援装置２００のユーザ（監視者）は、撮像装置４２の撮像範囲に対応する周辺画像を視認することで、アタッチメントＡＴの動きを確認しながら、作業機械１００の作業状況を監視することができる。

また、表示制御部２１０２は、撮像装置４０の撮像範囲に対応する周辺画像を表示装置２３０Ａに表示させる。これにより、遠隔操作支援装置２００のユーザは、撮像装置４０の撮像範囲に対応する周辺画像を視認することで、撮像装置４２の撮像範囲に対応する周辺画像だけでは確認しにくい、作業機械１００の周辺の状況を確認することができる。そのため、遠隔操作支援装置２００は、作業機械１００及び作業機械１００が使用される作業現場の安全性を向上させることができる。

尚、表示制御部２１０２は、作業機械１００からアップロードされる撮像装置４０の撮像画像に基づき、自ら、周辺画像として加工画像を生成し、表示装置２３０Ａに表示させてもよい。

報知制御部２１０３は、通信装置２２０を通じて、報知機能（遠隔報知機能）の作動を示す指令信号が受信される場合に、出力装置２３０を通じて、オペレータや監視者に対して作業機械１００の周辺の報知範囲で監視物体が検知されたことを報知する。

報知制御部２１０３は、例えば、音出力装置２３０Ｂを制御することにより、聴覚的な方法でオペレータや監視者に対して作業機械１００の周辺の報知範囲で監視物体が検知されたことを報知する。このとき、報知制御部２１０３は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。

また、報知制御部２１０３は、例えば、視覚的な方法でオペレータや監視者に対して作業機械１００の周辺の報知範囲で監視物体が検知されたことを報知する。具体的には、報知制御部２１０３は、表示制御部２１０２を通じて表示装置２３０Ａを制御することにより、表示装置２３０Ａに監視物体が検知されていることを表す画像を表示させてよい。また、報知制御部２１０３は、表示制御部２１０２を通じて、表示装置２３０Ａに表示される周辺画像に映っている監視物体や、検知された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、報知制御部２１０３は、表示制御部２１０２を通じて、表示装置２３０Ａに表示されている周辺画像上に、検知されている監視物体を囲む枠を重畳して表示させたり、検知された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置２３０Ａは、オペレータや監視者に対する視覚的な報知機能を実現することができる。また、報知制御部２１０３は、警告灯等の照明装置を用いて、監視物体が報知範囲内で検知されていることをオペレータや監視者に対して通知してもよい。

通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信状況を監視する。

具体的には、通信状況監視部２１０４は、作業機械１００から受信される所定の信号の有無や所定の信号の送信から受信までの所要時間等に基づき、作業機械１００と遠隔操作支援装置２００との間の通信状況を監視する。作業機械１００と遠隔操作支援装置２００との間の通信状況には、例えば、作業機械１００と遠隔操作支援装置２００との間の通信途絶の発生状況が含まれる。また、作業機械１００と遠隔操作支援装置２００との間の通信状況には、例えば、作業機械１００から遠隔操作支援装置２００に信号が送信される場合の通信遅延の発生状況（通信遅延の大きさ）が含まれる。所定の信号は、例えば、通信状況監視部２１０４が通信装置２２０を通じて周期的に作業機械１００に送信する応答を要求する信号に対する作業機械１００からの返信の信号である。また、所定の信号は、例えば、作業機械１００から定期的に送信（アップロード）されるデータ（例えば、周辺画像）に対応する信号であってもよい。これにより、通信状況監視部２１０４は、所定の信号の受信の有無により、通信途絶の発生の有無を監視することができる。また、通信状況監視部２１０４は、所定の信号に含まれる送信タイミングを表すデータ（タイムスタンプ）と、通信装置２２０を通じて実際に所定の信号を受信したときの時刻データとに基づき、通信遅延の大きさを計測することができる。

操作状態監視部２１０５は、遠隔操作装置２４０Ａで受け付けられる入力状態に基づき、作業機械１００のアクチュエータ（被駆動要素）の操作状態を監視する。

［報知範囲の設定処理］
次に、図８～図１０を参照して、制御装置２１０による報知範囲の設定処理について説明する。

＜報知範囲の設定処理の第１例＞
図８は、制御装置２１０による報知範囲の設定処理の第１例を概略的に示すフローチャートである。本フローチャートは、作業機械１００の稼働中、即ち、作業機械１００の起動（例えば、キースイッチのオン）から作業機械１００の停止（例えば、キースイッチオフ）までの間で、所定の周期ごとに繰り返し実行される。以下、後述の図９、図１０のフローチャートについても同様であってよい。

図８に示すように、ステップＳ１０２にて、通信状況監視部２１０４は、上述の所定の信号の受信状況や所定の信号の送信から受信までのタイムラグ等に基づき、作業機械１００と遠隔操作支援装置２００との間の通信状況の監視を行う。

制御装置２１０は、ステップＳ１０２の処理が完了すると、ステップＳ１０４に進む。

通信状況監視部２１０４は、監視結果に基づき、作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えているか否かを判定する。通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えていない場合、ステップＳ１０６に進み、所定基準を超えている場合、ステップＳ１０８に進む。

ステップＳ１０６にて、通信状況監視部２１０４は、安全制御部３０４による報知機能の報知範囲をデフォルトの状態に設定する。

制御装置２１０は、ステップＳ１０６の処理が完了すると、ステップＳ１１０に進む。

一方、ステップＳ１０８にて、通信状況監視部２１０４は、安全制御部３０４による報知機能の報知範囲をデフォルトより外側に拡大した状態に設定する。

例えば、作業機械１００と遠隔操作支援装置２００との間の通信遅延が大きくなると、撮像装置４０等によって作業機械１００の周辺の報知範囲で監視物体が捉えられてから、遠隔操作支援装置２００で報知機能が作動するまでのタイムラグが大きくなる。そのため、遠隔操作支援装置２００で報知機能が作動し、オペレータや監視者が監視物体の存在を確認したときには、監視物体が報知範囲の内側に移動し、作業機械１００や吊り荷等に更に接近してしまう可能性がある。そのため、作業機械１００や作業現場の安全性が低下する可能性がある。

一方、例えば、自動車の場合（例えば、特開２０１６－７１５８５等参照）のように、作業機械１００と遠隔操作支援装置２００との間の通信遅延が大きくなると、自動的に、動作制限機能を作動させ、安全性を確保することも可能である。

しかしながら、自動車は、相対的に高い速度での移動が主たる機能であり、安全性の確保のためにはその減速や停止が必須である一方、作業機械は、相対的に狭い範囲での作業が主たる機能であり、一律に減速や停止が必要でない場合があり得る。そのため、一律に動作制限機能を作動させると、それほど安全性が低下していないような状況でも作業機械１００の動作が減速或いは停止されてしまう可能性がある。その結果、作業機械１００の安全性と作業機械１００の作業性との両立の観点で問題がある。

また、例えば、作業機械１００と遠隔操作支援装置２００との間の通信遅延が大きくなると、監視物体が作業機械１００の周辺の監視エリアで検知されている場合に限定して、動作制限機能を作動させることも可能である。

しかしながら、監視物体が作業機械１００の周辺の監視エリアで検知されている場合でも、例えば、その監視物体が監視エリアの外縁付近を移動しているだけの状況等、それほど安全性が低下していないような場合も存在しうる。そのため、監視物体が作業機械１００の周辺の監視エリアで検知された場合に限定して、作業機械１００の動作制限機能を作動させるだけでは、作業機械１００の作業性の確保の観点で十分でない可能性がある。

これらに対して、本例では、制御装置２１０は、報知範囲をデフォルトよりも外側に拡大させることができる。そのため、制御装置２１０は、作業機械１００と遠隔操作支援装置２００との間の通信遅延が大きい状況でも、監視物体が作業機械や吊り荷等の相対的に近い範囲に接近する前に、遠隔操作支援装置２００で報知機能を作動させることができる。よって、制御装置２１０は、作業機械１００の作業性（作業効率）の低下を抑制しつつ、作業機械１００の安全性を向上させることができる。

例えば、通信状況監視部２１０４は、予め規定された量或いは比率だけ報知範囲の外縁を外側に拡大した状態に設定する。この際、報知範囲の外縁の拡大量や拡大率は、一律であってもよいし、場所によって、異なっていてもよく、拡大される場所と拡大されない場所とが存在してもよい。

また、例えば、通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信遅延の大きさが大きくなるほど、変化量（拡大量）が大きくなるように報知範囲の外縁を外側に拡大した状態に設定してもよい。

制御装置２１０は、ステップＳ１０８の処理が完了すると、ステップＳ１１０に進む。

ステップＳ１１０にて、通信状況監視部２１０４は、通信装置２２０を通じて、ステップＳ１０６或いはステップＳ１０８で設定した報知範囲に設定するように要求する信号を作業機械１００に送信する。その結果、コントローラ３０（安全制御部３０４）は、通信装置６０を通じて遠隔操作支援装置２００から受信される信号に応じて、報知範囲を設定する。これにより、制御装置２１０は、ステップＳ１０６，Ｓ１０８の設定内容を作業機械１００での実際の報知機能に関する制御に反映させることができる。

制御装置２１０は、ステップＳ１１０の処理が完了すると、今回のフローチャートの処理を終了する。

＜報知範囲の設定処理の第２例＞
図９は、制御装置２１０による報知範囲の設定処理の第２例を概略的に示すフローチャートである。

図９に示すように、ステップＳ２０２，Ｓ２０４は、図８のステップＳ１０２，Ｓ１０４と同じであるため、説明を省略する。

ステップＳ２０４にて、通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えていない場合、ステップＳ２０６に進み、所定基準を超えている場合、ステップＳ２０８に進む。

ステップＳ２０６は、図８のステップＳ１０６の処理と同じであるため、説明を省略する。

制御装置２１０は、ステップＳ２０６の処理が完了すると、ステップＳ２１２に進む。

一方、ステップＳ２０８にて、操作状態監視部２１０５は、遠隔操作装置２４０Ａの入力状態に基づき、作業機械１００の操作状態を監視する。

制御装置２１０は、ステップＳ２０８の処理が完了すると、ステップＳ２１０に進む。

ステップＳ２１０にて、通信状況監視部２１０４は、ステップＳ２０２の監視結果に基づき、作業機械１００の操作状態に合わせて、安全制御部３０４による報知機能の報知範囲をデフォルトより外側に拡大した状態に設定する。

例えば、通信状況監視部２１０４は、遠隔操作装置２４０Ａを通じて下部走行体１の走行操作が行われている場合、報知範囲の外縁のうちの作業機械１００の走行方向の外縁部分を他の方向の外縁部分よりも相対的に大きく外側の拡大した状態に設定してよい。作業機械１００が移動することによって、作業機械１００の移動方向（走行方向）に存在する監視物体と作業機械１００との距離が相対的に小さくなるからである。

また、例えば、通信状況監視部２１０４は、遠隔操作装置２４０Ａを通じて上部旋回体３の旋回操作が行われている場合、報知範囲の外縁のうちのアタッチメントＡＴの向きを基準とする旋回軸回りで旋回方向の外縁部分を、旋回方向と逆方向の外縁部分よりも相対的に大きく外側に拡大した状態に設定してよい。作業機械１００が旋回することによって、旋回軸回りで旋回方向に存在する監視物体とアタッチメントＡＴとの距離が相対的に小さくなるからである。

制御装置２１０は、ステップＳ２１０の処理が完了すると、ステップＳ２１２に進む。

ステップＳ２１２にて、通信状況監視部２１０４は、通信装置２２０を通じて、ステップＳ２０６或いはステップＳ２１０で設定した報知範囲に設定するように要求する信号を作業機械１００に送信する。その結果、コントローラ３０（安全制御部３０４）は、通信装置６０を通じて遠隔操作支援装置２００から受信される信号に応じて、報知範囲を設定する。これにより、制御装置２１０は、ステップＳ２０６，Ｓ２１０の設定内容を作業機械１００での実際の報知機能に関する制御に反映させることができる。

＜報知範囲の設定処理の第３例＞
図１０は、制御装置２１０による報知範囲の設定処理の第３例を概略的に示すフローチャートである。

図１０に示すように、ステップＳ３０２，Ｓ３０４は、図８のステップＳ１０２，Ｓ１０４の処理と同じであるため、説明を省略する。

ステップＳ３０４にて、通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えていない場合、ステップＳ３０６に進み、所定基準を超えている場合、ステップＳ３０８に進む。

ステップＳ３０６は、図８のステップＳ１０６の処理と同じであるため、説明を省略する。

制御装置２１０は、ステップＳ３０６の処理が完了すると、ステップＳ３１４に進む。

一方、ステップＳ３０８にて、通信状況監視部２１０４は、作業機械１００の物体検知部３０３により監視物体が検知されているか否かを判定する。通信状況監視部２１０４は、通信装置２２０を通じて作業機械１００から逐次受信される物体の検知状況を表すデータに基づき、監視物体の検知の有無を判定することができる。通信状況監視部２１０４は、物体検知部３０３により監視物体が検知されている場合、ステップＳ３１０に進み、監視物体が検知されていない場合、ステップＳ３１２に進む。

ステップＳ３１０にて、通信状況監視部２１０４は、検知されている監視物体の位置及び移動状況の少なくとも一方に応じて報知範囲の外縁をデフォルトより外側に拡大した状態に設定する。

例えば、通信状況監視部２１０４は、報知範囲の外縁のうちの検知されている監視物体の位置している方向の外縁部分を他の方向の外縁部分よりも大きく外側に変化させてよい。監視物体が報知範囲の内側に向かって移動する可能性があるからである。

また、例えば、通信状況監視部２１０４は、監視物体が報知範囲の内側に向かって移動している場合、監視物体が報知範囲の内側に向かって移動していない場合よりも報知範囲の外側に大きく変化させてもよい。報知範囲の内側に向かって移動してくる監視物体の存在をより早いタイミングでオペレータや監視者に通知する必要があるからである。

また、例えば、通信状況監視部２１０４は、監視物体の移動速度が相対的に大きい場合、監視物体の移動速度が相対的に小さい場合よりも報知範囲の外縁を外側に大きく変化させてもよい。報知範囲の内側により速く移動してくる監視物体をより早いタイミングでオペレータや監視者に通知する必要があるからである。

制御装置２１０は、ステップＳ３１０の処理が完了すると、ステップＳ３１４に進む。

一方、ステップＳ３１２にて、通信状況監視部２１０４は、監視物体が検知されている場合よりも変化の程度（変化量或いは変化率）が相対的に小さくなるように、報知範囲の外縁をデフォルトよりも外側に拡大した状態に設定する。

制御装置２１０は、ステップＳ３１２の処理が完了すると、ステップＳ３１４に進む。

ステップＳ３１４にて、通信状況監視部２１０４は、通信装置２２０を通じて、ステップＳ３０６、ステップＳ３１０、或いはステップＳ３１２で設定した報知範囲に設定するように要求する信号を作業機械１００に送信する。その結果、コントローラ３０（安全制御部３０４）は、通信装置６０を通じて遠隔操作支援装置２００から受信される信号に応じて、報知範囲を設定する。これにより、制御装置２１０は、ステップＳ３０６，Ｓ３１０，Ｓ３１２の設定内容を作業機械１００での実際の報知機能に関する制御に反映させることができる。

［監視画面の具体例］
次に、図１１～図１４を参照して、表示装置２３０Ａに表示される、作業機械１００の周辺画像を含む画面（以下、「監視画面」）の具体例について説明する。

＜通信遅延が相対的に小さい場合の監視画面＞
図１１、図１２は、表示装置２３０Ａに表示される、作業機械１００の周辺画像を含む監視画面の一例を示す図である。具体的には、図１１、図１２は、通信状況監視部２１０４により作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準以下であると判断される場合の監視画面の具体例を示す図である。より具体的には、図１１は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するショベル１００Ａの周辺画像を含む監視画面の一例（監視画面１１００）を示す図である。図１２は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するクローラクレーン１００Ｂの周辺画像を含む監視画面の一例（監視画面１２００）を示す図である。

尚、本例の場合、図１１、図１２の監視画面１１００，１２００とは別に、撮像装置４２の撮像画像や当該撮像画像に基づき生成される加工画像が表示装置２３０Ａの別の表示領域、或いは、複数の表示装置２３０Ａのうちの他の表示装置２３０Ａに表示される。以下、後述の図１３、図１４の監視画面１３００，１４００が表示装置２３０Ａに表示される場合についても同様である。

例えば、図１１に示すように、表示装置２３０Ａには、表示制御部２１０２の制御下で、ショベル画像ＣＧと、ショベル画像ＣＧの周辺に配置される、ショベル１００Ａの周辺画像としての視点変換画像ＥＰとを含む監視画面１１００が表示される。ショベル画像ＣＧ及び視点変換画像ＥＰは、ショベル１００Ａ（上部旋回体３）と撮像装置４０（カメラ４０Ｂ，４０Ｌ，４０Ｒ）の撮像範囲との間の位置関係に合わせて配置される。これにより、オペレータは、監視画面１１００を通じて、ショベル１００Ａと、視点変換画像ＥＰに映っているショベル１００Ａの周辺の物体との位置関係を適切に把握することができる。

本例では、視点変換画像ＥＰは、ショベル１００Ａに隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベル１００Ａから当該周辺領域を水平方向に見た水平画像ＨＶＰとの組み合わせで構成される。視点変換画像ＥＰは、カメラ４０Ｂ，４０Ｌ，４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。

また、本例では、監視画面１１００の視点変換画像ＥＰには、ショベル１００Ａからの一定距離のラインＬＮ１が重畳して表示される。ラインＬＮ１は、例えば、安全制御部３０４による報知範囲の外縁を表してよい。これにより、オペレータや監視者は、ショベル１００Ａと視点変換画像ＥＰに映っている周辺の物体との距離の関係を適切に把握することができる。

また、本例では、監視画面１１００の視点変換画像ＥＰには、ショベル画像ＣＧの後方に相当する場所に作業者Ｗが映っている。これにより、オペレータや監視者は、ショベル１００Ａ（上部旋回体３）の後方に作業者Ｗが位置（存在）していることを認識することができる。

本例では、作業者Ｗは、報知範囲の外縁に相当するラインＬＮ１の外側に存在している。そのため、作業者Ｗは、視覚的な報知機能の作動対象にはなっておらず、作業者Ｗの存在を強調する画像（例えば、後述の枠ＦＲＭ１）等は表示されていない。

尚、表示制御部２１０２は、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの少なくとも一つの撮像画像を含む監視画面を表示装置２３０Ａに表示させてもよい。つまり、表示制御部２１０２は、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの全ての撮像画像或いは二つのカメラの撮像画像を表示装置２３０Ａに並べて表示させてもよいし、何れか一つのカメラの撮像画像を表示装置２３０Ａに表示させてもよい。典型的には、表示制御部２１０２は、カメラ４０Ｂ，４０Ｒの撮像画像を表示装置２３０Ａに並べて表示させてよい。この場合、表示制御部２１０２は、視点変換画像ＥＰの場合と同様、表示装置２３０Ａのカメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像を含む監視画面に監視エリアや報知範囲等の外縁を表すラインを重畳して表示させてよい。

また、例えば、図１２に示すように、表示装置２３０Ａには、表示制御部２１０２の制御下で、クローラクレーン１００Ｂの周辺画像としての撮像装置４０の撮像画像を含む監視画面１２００が表示される。

監視画面１２００（撮像装置４０の撮像画像）には、主巻ロープ７Ｂの先端のフックＨＫと、フックＨＫに玉掛けされた吊り荷ＳＬが映っている。

また、本例では、監視画面１２００には、吊り荷ＳＬからの一定距離のラインＬＮ２が重畳して表示される。ラインＬＮ２は、例えば、安全制御部３０４による報知範囲等の外縁を表す。これにより、オペレータや監視者は、吊り荷ＳＬと監視画面１２００（撮像装置４０の撮像画像）に映っている周辺の物体との位置関係を適切に把握することができる。

また、本例では、監視画面１２００には、吊り荷ＳＬの周辺の２つの障害物ＯＢが映っている。これにより、オペレータや監視者は、吊り荷ＳＬの周辺に２つの障害物ＯＢが存在していることを認識することができる。

本例では、２つの障害物ＯＢは、共に、報知範囲の外縁を表すラインＬＮ１よりも外側に存在している。そのため、２つの障害物ＯＢは、共に、視覚的な報知機能の作動対象になっておらず、障害物ＯＢの存在を強調する画像（例えば、後述の枠ＦＲＭ２）等は表示されていない。

尚、表示制御部２１０２は、周辺画像として、クローラクレーン１００Ｂの撮像装置４０の撮像画像に基づき生成される視点変換画像を表示装置２３０Ａに表示させてもよい。

＜通信遅延が相対的に大きい場合の監視画面＞
図１３、図１４は、表示装置２３０Ａに表示される、作業機械１００の周辺画像を含む監視画面の他の例を示す図である。具体的には、図１３、図１４は、通信状況監視部２１０４により作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えていると判断される場合の監視画面の具体例を示す図である。より具体的には、図１３は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するショベル１００Ａの周辺画像を含む監視画面の他の例（監視画面１３００）を示す図である。図１４は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するクローラクレーン１００Ｂの周辺画像を含む監視画面の一例（監視画面１４００）を示す図である。

例えば、図１３に示すように、表示装置２３０Ａには、上述の一例（図１１）の場合と同様、表示制御部２１０２の制御下で、ショベル画像ＣＧと、ショベル１００Ａの周辺画像としての視点変換画像ＥＰとを含む監視画面１３００が表示される。

また、本例では、監視画面１３００の視点変換画像ＥＰには、上述の一例の場合と同様、報知範囲の外縁に相当するラインＬＮ１が重畳して表示される。

本例では、ラインＬＮ１は、上述の一例の場合よりも外側、即ち、ショベル画像ＣＧから離れる方向に一律に変化している。ショベル１００Ａと遠隔操作支援装置２００との間の通信遅延が所定基準を超えているからである。これにより、制御装置２１０は、表示装置２３０Ａを通じて、報知範囲の外縁が通常時（通信遅延が相対的に小さい場合）よりも外側に変化していることを把握させることができる。また、制御装置２１０は、表示装置２３０Ａ（監視画面１３００）上でラインＬＮ１が通常時よりも外側に移動していることを通じて、ショベル１００Ａと遠隔操作支援装置２００との間の通信遅延が相対的に大きくなっていることを把握させることができる。

また、本例では、監視画面１３００の視点変換画像ＥＰには、上述の一例の場合と同様、ショベル画像ＣＧの後方に相当する場所に作業者Ｗが映っている。

また、本例では、監視画面１３００の視点変換画像ＥＰには、作業者Ｗを囲む枠ＦＲＭ１が重畳して表示される。報知範囲の外縁が外側に変化することで、作業者ＷがラインＬＮ１の内側に存在するようになったからである。これにより、作業者Ｗが撮像装置４０で捉えられてから遠隔操作支援装置２００で報知機能が作動するまでのタイムラグが相対的に大きい状況において、より早いタイミングで作業者Ｗの存在をオペレータや監視者に把握させることができる。

尚、報知範囲の外縁に相当するラインＬＮ１の上述の一例に対する変化の態様は、上述の如く、ショベル１００Ａの操作状態に応じて可変されてもよい。例えば、ショベル１００Ａが上部旋回体３の後方に向かって走行操作される場合、ラインＬＮ１の上述の一例の場合に対する変化の程度は、ショベル画像ＣＧの左側や右側の部分（直線部分）よりもショベル画像ＣＧの後方（下側）の部分（曲線部分）の方が大きくされてよい。また、例えば、ショベル１００Ａの上部旋回体３が右方向に旋回操作されている場合、ラインＬＮ１の上述の一例の場合に対する変化の程度は、ショベル画像ＣＧの左側の部分よりも右側の部分の方が大きくされてよい。また、報知範囲の外縁に相当するラインＬＮ１の上述の一例に対する変化の態様は、上述の如く、ショベル１００Ａの周辺の監視物体（作業者Ｗ）の位置や移動状況に応じて可変されてもよい。例えば、ラインＬＮ１の上述の一例の場合に対する変化の程度は、作業者Ｗの存在するショベル画像ＣＧの後方（下側）の部分の方が作業者Ｗの存在しないショベル画像ＣＧの左側や右側よりも大きくされてよい。また、例えば、ラインＬＮ１の上述の一例に対する変化の程度は、作業者Ｗがショベル１００Ａに向かって移動している場合、作業者Ｗがショベル１００Ａに向かって移動していない場合よりも大きくされてよい。また、例えば、ラインＬＮ１の上述の一例に対する変化の程度は、作業者Ｗの移動速度が相対的に大きい場合、相対的に小さい場合よりも大きくされてもよい。

また、本例では、監視画面１３００には、ショベル１００Ａと遠隔操作支援装置２００との間で相対的に大きな通信遅延が生じている旨のメッセージを表す画像ＭＳＧ１が表示される。これにより、オペレータや監視者は、ショベル１００Ａと遠隔操作支援装置２００との間に相対的に大きな通信遅延が生じていること、及び、その通信遅延の影響で、ラインＬＮ１が通常時から変化していること等を把握することができる。

また、例えば、図１４に示すように、表示装置２３０Ａには、上述の一例（図１２）の場合と同様、表示制御部２１０２の制御下で、クローラクレーン１００Ｂの周辺画像としての撮像装置４０の撮像画像を含む監視画面１４００が表示される。

監視画面１４００（撮像装置４０の撮像画像）には、上述の一例の場合と同様、主巻ロープ７Ｂの先端のフックＨＫと、フックＨＫに玉掛けされた吊り荷ＳＬが映っている。

また、本例では、監視画面１２００には、上述の一例の場合と同様、報知範囲の外縁を表すラインＬＮ２が重畳して表示される。

本例では、ラインＬＮ２は、上述の一例の場合よりも外側、即ち、吊り荷ＳＬ（フックＨＫ）から離れる方向に変化している。クローラクレーン１００Ｂと遠隔操作支援装置２００との間の通信遅延が所定基準を超えているからである。これにより、制御装置２１０は、表示装置２３０Ａを通じて、報知範囲の外縁が通常時（通信遅延が相対的に小さい場合）よりも外側に変化していることを把握させることができる。また、制御装置２１０は、表示装置２３０Ａ（監視画面１４００）上でラインＬＮ２が通常時よりも外側に移動していることを通じて、ショベル１００Ａと遠隔操作支援装置２００との間の通信遅延が相対的に大きくなっていることを把握させることができる。

また、本例では、監視画面１４００には、上述の一例の場合と同様、吊り荷ＳＬの周辺の２つの障害物ＯＢが映っている。

また、本例では、監視画面１４００には、２つの障害物ＯＢのそれぞれを囲む枠ＦＲＭ２が重畳して表示される。報知範囲の外縁が外側に変化することで、障害物ＯＢがラインＬＮ２の内側に存在するようになったからである。これにより、障害物ＯＢが撮像装置４０で捉えられてから遠隔操作支援装置２００で報知機能が作動するまでのタイムラグが相対的に大きい状況において、より早いタイミングで障害物ＯＢの存在をオペレータや監視者に把握させることができる。

尚、報知範囲の外縁に相当するラインＬＮ２の上述の一例に対する変化の態様は、上述の如く、クローラクレーン１００Ｂの操作状態に応じて可変されてもよい。例えば、クローラクレーン１００Ｂが上部旋回体３の前方に向かって走行操作される場合、ラインＬＮ２の上述の一例の場合に対する変化の程度は、フックＨＫ（吊り荷ＳＬ）の左側、右側、及び後側の部分よりも前側の部分の方が大きくされてよい。また、例えば、クローラクレーン１００Ｂの上部旋回体３が右方向に旋回操作されている場合、ラインＬＮ２の上述の一例の場合に対する変化の程度は、フックＨＫ（吊り荷ＳＬ）の左側の部分よりも右側の部分の方が大きくされてよい。また、報知範囲の外縁に相当するラインＬＮ２の上述の一例に対する変化の態様は、上述の如く、クローラクレーン１００Ｂの周辺の監視物体（障害物ＯＢ）の位置や移動状況に応じて可変されてもよい。例えば、ラインＬＮ２の上述の一例の場合に対する変化の程度は、障害物ＯＢの存在するフックＨＫ（吊り荷ＳＬ）の前側や後側の部分の方が障害物ＯＢの存在しないフックＨＫ（吊り荷ＳＬ）の左側や右側よりも大きくされてよい。また、例えば、ラインＬＮ２の上述の一例に対する変化の程度は、障害物ＯＢがフックＨＫ（吊り荷ＳＬ）向かって相対的に移動している場合、障害物ＯＢがフックＨＫ（吊り荷ＳＬ）に向かって相対的に移動していない場合よりも大きくされてよい。また、例えば、ラインＬＮ２の上述の一例に対する変化の程度は、障害物ＯＢのフックＨＫ（吊り荷ＳＬ）に対する相対的な移動速度が相対的に大きい場合、相対的に小さい場合よりも大きくされてもよい。

また、本例では、監視画面１４００には、クローラクレーン１００Ｂと遠隔操作支援装置２００との間で相対的に大きな通信遅延が生じている旨のメッセージを表す画像ＭＳＧ２が表示される。これにより、オペレータや監視者は、クローラクレーン１００Ｂと遠隔操作支援装置２００との間に相対的に大きな通信遅延が生じていること、及び、その通信遅延の影響で、ラインＬＮ２が通常時から変化していること等を把握することができる。

［作用］
次に、本実施形態に係る遠隔操作支援システムＳＹＳの作用について説明する。

本実施形態では、作業機械１００の撮像装置４０は、作業機械１００の周辺の物体に関するデータ（画像データ）を取得する。また、作業機械１００の通信装置６０は、遠隔操作支援装置２００と通信を行う。また、遠隔操作支援装置２００の通信装置２２０は、作業機械１００と通信を行う。遠隔操作支援装置２００の遠隔操作装置２４０Ａは、作業機械１００を遠隔操作するための入力を受け付ける。また、作業機械１００のコントローラ３０、或いは、遠隔操作支援装置２００の制御装置２１０は、撮像装置４０の出力に基づき、作業機械１００の周辺の監視物体を検知する。また、出力装置２３０は、遠隔操作支援装置２００に設けられ、制御装置２１０の制御下で、コントローラ３０或いは制御装置２１０により監視物体が作業機械１００の周辺の報知範囲内で検知された場合、遠隔操作装置２４０Ａを利用するユーザにその旨を報知する。そして、遠隔操作支援システムＳＹＳは、作業機械１００と遠隔操作支援装置２００との間の通信遅延が相対的に大きい場合、通信遅延が相対的に小さい場合よりも報知範囲の外縁を外側に変化させる。

これにより、遠隔操作支援システムＳＹＳは、報知範囲の内側の安全性が低下しうる範囲に進入してくるよりもある程度早い段階で監視物体を報知機能の作動対象とすることができる。そのため、遠隔操作支援システムＳＹＳは、監視物体が撮像装置４０で捉えられてから遠隔操作支援装置２００で報知機能が作動するまでのタイムラグが通信遅延により相対的に大きい状況でも、監視物体が報知範囲の内側の安全性が相対的に低下しうる範囲に進入する前に、監視者やオペレータに監視物体の存在を報知することができる。よって、作業機械１００の安全性を向上させることができる。また、オペレータや監視者が報知機能の作動に応じて、表示装置２３０Ａに表示される監視画面等を確認し、作業機械１００の動作継続或いは動作停止を自ら判断することができる。そのため、作業機械１００と遠隔操作支援装置２００との間の通信遅延が相対的に大きくなると、一律に動作制限機能が作動したり、動作制限範囲が外側に拡大されたりする場合のように、作業機械１００の作業性が大きく低下するような事態を抑制することができる。よって、遠隔操作支援システムＳＹＳは、作業機械１００の作業性（作業効率）の低下を抑制しつつ、作業機械１００の安全性を向上させることができる。

また、本実施形態では、遠隔操作支援システムＳＹＳは、上述の通信遅延が相対的に大きい場合、遠隔操作装置２４０Ａに対するユーザの入力内容に応じて、報知範囲の外縁を外側に変化させてよい。

これにより、遠隔操作支援システムＳＹＳは、上述の通信遅延が相対的に大きい状況で、遠隔操作装置２４０Ａを通じた作業機械１００の操作状態に合わせて、報知範囲の外縁のうちの安全性に影響のある外縁部分を中心に外側に変化させることができる。そのため、遠隔操作支援システムＳＹＳは、作業機械１００の安全性と作業機械１００の作業性とをより適切に両立させることができる。

また、本実施形態では、遠隔操作支援システムＳＹＳは、上述の通信遅延が相対的に大きい場合、遠隔操作装置２４０Ａを通じて作業機械１００の走行操作が行われているときに、作業機械１００から見て走行している方向の報知範囲の外縁を他の方向の報知範囲の外縁よりも外側に大きく変化させてよい。

これにより、遠隔操作支援システムＳＹＳは、遠隔操作装置２４０Ａを通じた作業機械１００の操作状態に合わせて、具体的に、報知範囲の外縁のうちの作業機械１００の安全性に影響のある外縁部分を中心に外側に変化させることができる。

また、本実施形態では、遠隔操作支援システムＳＹＳは、上述の通信遅延が相対的に大きい場合、遠隔操作装置２４０Ａを通じて作業機械１００の旋回操作が行われているときに、旋回軸回りで作業アタッチメントの向きを基準とする旋回方向にある報知範囲の外縁を旋回方向と反対方向にある報知範囲の外縁よりも外側に大きく変化させる。

また、本実施形態では、遠隔操作支援システムＳＹＳは、上述の通信遅延が相対的に大きい場合、作業機械１００の周辺に存在する監視物体の位置及び移動状況の少なくとも一方に応じて、報知範囲の外縁を変化させる。

これにより、遠隔操作支援システムＳＹＳは、監視物体の位置や移動状況に合わせて、報知範囲の外縁のうちの安全性に影響のある外縁部分を中心に外側に変化させることができる。そのため、遠隔操作支援システムＳＹＳは、作業機械１００の安全性と作業機械１００の作業性とをより適切に両立させることができる。

また、本実施形態では、遠隔操作支援システムＳＹＳは、通信遅延が相対的に大きい場合、作業機械１００から見て監視物体が位置している方向の報知範囲の外縁を、他の方向の報知範囲の外縁よりも外側に大きく変化させてよい。

これにより、遠隔操作支援システムＳＹＳは、監視物体の位置に合わせて、具体的に、報知範囲の外縁のうちの安全性に影響のある外縁部分を中心に外側に変化させることができる。

また、本実施形態では、遠隔操作支援システムＳＹＳは、通信遅延が相対的に大きい場合、監視物体が報知範囲の内側に向かって移動しているときに、監視物体が報知範囲の内側に向かって移動していないときよりも報知範囲の外縁を外側に大きく変化させてもよい。

これにより、遠隔操作支援システムＳＹＳは、監視物体の移動状況に合わせて、具体的に、報知範囲の外縁のうちの安全性に影響のある外縁部分を中心に外側に変化させることができる。

また、本実施形態では、遠隔操作支援システムＳＹＳは、通信遅延が相対的に大きい場合、監視物体の移動速度が相対的に大きいときに、監視物体の移動速度が相対的に小さいときよりも所定の範囲の外縁を外側に大きく変化させてもよい。

また、本実施形態では、表示装置２３０Ａは、報知範囲の外縁の変化に応じて表示内容が変化するように、報知範囲に関する情報を表示してもよい。

これにより、遠隔操作支援システムＳＹＳは、表示装置２３０Ａを通じて、上述の通信遅延の増大に伴う報知範囲の外縁の変化をオペレータや監視者に把握させることができる。

以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

３０コントローラ（物体検知装置）
４０撮像装置（取得装置）
４０Ｂカメラ
４０Ｌカメラ
４０Ｒカメラ
４２撮像装置
４２Ａカメラ
４２Ｂカメラ
５０出力装置
５２入力装置
６０通信装置（作業装置用通信装置）
１００作業機械
１００Ａショベル
１００Ｂクローラクレーン
２００遠隔操作支援装置（外部装置）
２１０制御装置（物体検知装置）
２２０通信装置（外部装置用通信装置）
２３０出力装置（報知装置）
２３０Ａ表示装置
２３０Ｂ音出力装置
２４０入力装置
２４０Ａ遠隔操作装置
２１０１遠隔操作支援部
２１０２表示制御部
２１０３報知制御部
２１０４通信状況監視部
２１０５操作状態監視部
ＳＹＳ遠隔操作支援システム

Claims

作業機械に設けられ、前記作業機械の周辺の物体に関するデータを取得する取得装置と、
前記作業機械に設けられ、前記作業機械の遠隔操作を支援する外部装置と通信を行う作業機械用通信装置と、
前記外部装置に設けられ、前記作業機械と通信を行う外部装置用通信装置と、
前記外部装置に設けられ、前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
前記作業機械又は前記外部装置に設けられ、前記取得装置の出力に基づき、前記作業機械の周辺の所定の物体を検知する物体検知装置と、
前記外部装置に設けられ、前記物体検知装置により前記所定の物体が前記作業機械の周辺の所定範囲内で検知された場合、前記遠隔操作装置を利用するユーザにその旨を報知する報知装置と、を備え、
前記作業機械と前記外部装置との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも前記所定範囲の外縁を外側に変化させる、
遠隔操作支援システム。
前記通信遅延が相対的に大きい場合、前記遠隔操作装置に対するユーザの入力内容に応じて、前記所定範囲の外縁を外側に変化させる、
請求項１に記載の遠隔操作支援システム。
前記通信遅延が相対的に大きい場合、前記遠隔操作装置を通じて前記作業機械の走行操作が行われているときに、前記作業機械から見て走行している方向の前記所定範囲の外縁を他の方向の前記所定範囲の外縁よりも外側に大きく変化させる、
請求項２に記載の遠隔操作支援システム。
前記通信遅延が相対的に大きい場合、前記遠隔操作装置を通じて前記作業機械の旋回操作が行われているときに、旋回軸回りで作業アタッチメントの向きを基準とする旋回方向にある前記所定範囲の外縁を前記旋回方向と反対方向にある前記所定範囲の外縁よりも外側に大きく変化させる、
請求項２又は３に記載の遠隔操作支援システム。
前記通信遅延が相対的に大きい場合、前記作業機械の周辺に存在する前記所定の物体の位置及び移動状況の少なくとも一方に応じて、前記所定範囲の外縁を変化させる、
請求項１乃至４の何れか一項に記載の遠隔操作支援システム。
前記通信遅延が相対的に大きい場合、前記作業機械から見て前記所定の物体が位置している方向の前記所定範囲の外縁を、他の方向の前記所定範囲の外縁よりも外側に大きく変化させる、
請求項５に記載の遠隔操作支援システム。
前記通信遅延が相対的に大きい場合、前記所定の物体が前記所定範囲の内側に向かって移動しているときに、前記所定の物体が前記所定範囲の内側に向かって移動していないときよりも前記所定範囲の外縁を外側に大きく変化させる、
請求項５又は６に記載の遠隔操作支援システム。
前記通信遅延が相対的に大きい場合、前記所定の物体の移動速度が相対的に大きいときに、前記所定の物体の移動速度が相対的に小さいときよりも前記所定の範囲の外縁を外側に大きく変化させる、
請求項５乃至７の何れか一項に記載の遠隔操作支援システム。
前記外部装置に設けられ、前記所定範囲の外縁の変化に応じて表示内容が変化するように、前記所定範囲に関する情報を表示する表示装置を備える、
請求項１乃至８の何れか一項に記載の遠隔操作支援システム。
作業機械の周辺の物体に関するデータを取得する取得装置を有する作業機械と通信を行う通信装置と、
前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
前記取得装置の出力に基づき所定の物体が前記作業機械の周辺の所定範囲内で検知された場合、前記遠隔操作装置を利用するユーザにその旨を報知する報知装置と、を備え、
前記作業機械との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも前記所定範囲の外縁を前記作業機械から離れる方向に変化させる、
遠隔操作支援装置。