JP2020007081A - 遠隔操作端末及び作業車両 - Google Patents

Abstract

【課題】作業装置を現在位置から目標位置まで移動させるための操作具の操作手順を表示することにより、操作具を容易に操作可能とする遠隔操作端末を提供する。【解決手段】クレーンのクレーン装置を遠隔操作する遠隔操作端末３２であって、クレーンの通信機と通信する端末側通信機と、クレーン装置を操作するための端末側操作具と、クレーンのカメラで撮影された画像を表示する端末側表示装置と、端末側通信機、端末側操作具及び端末側表示装置を制御する端末側制御装置と、を備え、端末側制御装置は、荷物Ｗの現在位置及び移動先の目標位置を取得し、荷物Ｗを現在位置から前記目標位置まで移動させるための端末側操作具の操作手順を算出し、端末側表示装置は、カメラで撮影された画像ｉに操作手順を示す画像５２が重畳された画像５０を表示する構成とする。【選択図】図５

Description

本発明は、遠隔操作端末及び作業車両に関する。

従来から、移動式クレーンや高所作業車等の作業装置を備える作業車両において、作業装置の周囲を撮影して表示装置に表示するものが知られている。そして、撮影した画像に様々な情報を重畳して表示することも提案されている。例えば、特許文献１には、ジブの先端に取り付けられたカメラによって撮影された画像上に、作業員によって入力された吊り荷を移動させる目標を表す印を表示することが記されている。

また近年、作業車両の作業装置を遠隔操作端末を用いて操作可能とする技術が提案されている。遠隔操作端末を用いた作業では、操縦者が作業装置の操作装置から離れた吊り荷近傍又は吊り荷の目標位置において吊り荷の移動状態を確認しながら作業を行うことができる。

特開２０１６−１７５７６６号公報

特許文献１の技術によれば、クレーンの操縦者に荷物の移動先の位置を伝達することができる。しかしながら、荷物の移動先を表示するだけではクレーンを移動させる操作に必要な十分な情報量であるとはいえない。したがって、クレーンを移動させる操作を容易にするためには、画像の表示形態にさらなる改良の余地がある。これは、遠隔操作端末においても同様である。

本発明は、作業装置を現在位置から目標位置まで移動させるための操作具の操作手順を表示することにより、操作具を容易に操作可能とする遠隔操作端末及び作業車両を提供することを目的とする。

遠隔操作端末は、作業車両の作業装置を遠隔操作する遠隔操作端末であって、前記作業車両の通信機と通信する端末側通信機と、前記作業装置を操作するための端末側操作具と、前記作業車両のカメラで撮影された画像を表示する端末側表示装置と、前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、前記端末側制御装置は、前記作業装置の現在位置及び移動先の目標位置を取得し、前記作業装置を前記現在位置から前記目標位置まで移動させるための前記端末側操作具の操作手順を算出し、前記端末側表示装置は、前記カメラで撮影された画像に前記操作手順を示す画像が重畳された画像を表示することを特徴とする。

上記の遠隔操作端末において、前記端末側表示装置は、前記カメラで撮影された画像に前記目標位置を示す画像が重畳された画像を表示するようにしてもよい。

また、上記の遠隔操作端末において、前記目標位置は、前記端末側操作具から入力された位置であってもよい。

また、上記の遠隔操作端末において、前記端末側通信機は、前記目標位置が記された施工計画情報を受信し、前記端末側制御装置は、前記施工計画情報を取得して前記目標位置を抽出するようにしてもよい。

また、上記の遠隔操作端末において、前記端末側制御装置は、前記作業装置を前記現在位置から前記目標位置まで移動させるための移動経路を算出し、前記端末側表示装置は、前記カメラで撮影された画像に前記移動経路を示す画像が重畳された画像を表示するようにしてもよい。

また、上記の遠隔操作端末において、前記端末側制御装置は、前記作業装置を前記現在位置から前記目標位置まで自動で移動させるための制御手順情報を算出し、前記端末側通信機は、前記制御手順情報を送信するようにしてもよい。

作業車両は、遠隔操作端末と、前記遠隔操作端末によって遠隔操作される作業装置と、カメラと、前記遠隔操作端末と通信する通信機と、を備える作業車両であって、前記遠隔操作端末は、前記通信機と通信する端末側通信機と、前記作業装置を操作するための端末側操作具と、前記カメラで撮影された画像を表示する端末側表示装置と、前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、前記端末側制御装置は、前記作業装置の現在位置及び移動先の目標位置を取得し、前記作業装置を前記現在位置から前記目標位置まで移動させるための前記端末側操作具の操作手順を算出し、前記端末側表示装置は、前記カメラで撮影された画像に前記操作手順を示す画像が重畳された画像を表示することを特徴とする。

作業車両は、作業装置を備える作業車両であって、カメラと、前記カメラで撮影された画像を表示する表示装置と、前記作業装置を操作するための操作具と、前記カメラ、前記表示装置及び前記操作具を制御する制御装置と、を備え、前記制御装置は、前記作業装置の現在位置及び移動先の目標位置を取得し、前記作業装置を前記現在位置から前記目標位置まで移動させるための前記操作具の操作手順を算出し、前記表示装置は、前記カメラで撮影された画像に前記操作手順を示す画像が重畳された画像を表示することを特徴とする。

上記の作業車両において、前記作業装置は、ブームと、前記ブームの基端側から先端側に向けて架け渡されるワイヤロープと、前記ブームの先端側から垂下されて前記ワイヤロープの繰り入れ及び繰り出しによって昇降するフックとを有し、前記カメラは、前記ブームの先端近傍に設けられ、前記フックを含む画像を撮影するようにしてもよい。

本発明によれば、作業装置を現在位置から目標位置まで移動させるための操作具の操作手順を表示することにより、操縦者は操作手順を見ることで直ぐに操作手順を認識できる。よって、操縦者は操作手順にしたがって操作具を容易に操作することができる。

一実施形態のクレーンの全体構成を示す側面図である。 一実施形態のクレーンの制御構成を示すブロック図である。 一実施形態の遠隔操作端末の概略構成を示す平面図である。 一実施形態の遠隔操作端末の制御構成を示すブロック図である。 第１の表示態様の画像を示す図である。 第１の表示形態の他の画像を示す図である。 第２の表示態様の画像を示す図である。 第３の表示態様の画像を示す図である。

以下に、図１と図２とを用いて、本発明の一実施形態に係る作業車両として移動式クレーン（ラフテレーンクレーン）であるクレーン１について説明する。なお、本実施形態においては、作業車両としてクレーン（ラフテレーンクレーン）ついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン、高所作業車等でもよい。

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、車両２、作業装置であるクレーン装置６及びクレーン装置６を遠隔操作可能な遠隔操作端末３２（図２参照）を有する。

車両２は、クレーン装置６を搬送するものである。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。車両２は、アウトリガ５を車両２の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン１の作業可能範囲を広げることができる。

クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げるものである。クレーン装置６は、旋回台７、ブーム９、ジブ９ａ、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６及びキャビン１７等を具備する。

旋回台７は、クレーン装置６を旋回可能に構成するものである。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである油圧式の旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。

旋回用油圧モータ８は、電磁比例切換弁である旋回用バルブ２３（図２参照）によって回転操作される。旋回用バルブ２３は、旋回用油圧モータ８に供給される作動油の流量を任意の流量に制御することができる。つまり、旋回台７は、旋回用バルブ２３によって回転操作される旋回用油圧モータ８を介して任意の旋回速度に制御可能に構成されている。旋回台７には、旋回台７の旋回位置（角度）と旋回速度とを検出する旋回用エンコーダ２７（図２参照）が設けられている。

ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持するものである。ブーム９は、複数のブーム部材から構成されている。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。ブーム９は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ａが設けられている。ジブ９ａは、ブーム９のベースブーム部材に設けられたジブ支持部によってベースブーム部材に沿った姿勢で保持されている。ジブ９ａの基端は、トップブーム部材のジブ支持部に連結可能に構成されている。

伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ２４（図２参照）によって伸縮操作される。伸縮用バルブ２４は、伸縮用油圧シリンダに供給される作動油の流量を任意の流量に制御することができる。ブーム９には、ブーム９の長さを検出するブーム長検出センサ２８と、荷物Ｗの重量を検出する重量センサ２９と、ブーム９の先端を中心とする方位を検出する方位センサ４６とが設けられている（図２参照）。

カメラ９ｂ（図２参照）は、メインフック１０ａ又はサブフック１１ａと、荷物Ｗと、荷物Ｗ周辺の地物とを撮影するものである。カメラ９ｂは、ブーム９の先端又は先端近傍に設けられている。カメラ９ｂは、荷物Ｗの鉛直上方からメインフック１０ａ又はサブフック１１ａと、荷物Ｗと、クレーン１周辺の地物や地形を撮影可能に構成されている。

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。

アクチュエータである起伏用油圧シリンダ１２は、ブーム９を起立及び倒伏させ、ブーム９の姿勢を保持するものである。起伏用油圧シリンダ１２は、シリンダ部の端部が旋回台７に揺動自在に連結され、ロッド部の端部がブーム９のベースブーム部材に揺動自在に連結されている。起伏用油圧シリンダ１２は、電磁比例切換弁である起伏用バルブ２５（図２参照）によって伸縮操作される。起伏用バルブ２５は、起伏用油圧シリンダ１２に供給される作動油の流量を任意の流量に制御することができる。ブーム９には、ブーム９の起伏角度を検出する起伏用エンコーダ３０（図２参照）が設けられている。

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）及び繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。

メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ２６ｍ（図２参照）によって回転操作される。メインウインチ１３は、メイン用バルブ２６ｍによってメイン用油圧モータを制御し、任意の繰り入れ及び繰り出し速度に操作可能に構成されている。同様に、サブウインチ１５は、電磁比例切換弁であるサブ用バルブ２６ｓ（図２参照）によってサブ用油圧モータを制御し、任意の繰り入れ及び繰り出し速度に操作可能に構成されている。メインウインチ１３には、メインフック１０ａの吊下長さを検出するメイン用エンコーダ３４ｍ（図２参照）が設けられ、サブウインチ１５には、サブフック１１ａの吊下長さを検出するサブ用エンコーダ３４ｓ（図２参照）が設けられている。

キャビン１７は、操縦席を覆うものである。キャビン１７は、旋回台７に搭載されている。キャビン１７内には図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具やクレーン装置６を操作するための旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ、サブドラム操作具２１ｓ等が設けられている（図２参照）。旋回操作具１８は、旋回用油圧モータ８を操作することができる。起伏操作具１９は、起伏用油圧シリンダ１２を操作することができる。伸縮操作具２０は、伸縮用油圧シリンダを操作することができる。メインドラム操作具２１ｍは、メイン用油圧モータを操作することができる。サブドラム操作具２１ｓは、サブ用油圧モータを操作することができる。

通信機２２（図２参照）は、遠隔操作端末３２からの制御信号を受信し、クレーン装置６からの制御情報等を送信するものである。通信機２２は、キャビン１７に設けられている。通信機２２は、遠隔操作端末３２からの制御信号等を受信すると図示しない通信線を介して制御装置３１に転送するように構成されている。また、通信機２２は、制御装置３１からの制御情報やカメラ９ｂからの画像ｉを無線通信によって遠隔操作端末３２に送信するように構成されている。

また、通信機２２は、図示しないインターネット等の通信ネットワークを介してサーバ装置から施工計画情報を受信することができる。施工計画情報には、クレーン１の作業工程が含まれる。そして、作業工程には、荷物Ｗの移動先である目標位置が含まれる。サーバ装置は、施工計画情報を格納しており、例えば、施工を管理する管理事務所に設置される。

表示装置４３（図２参照）は、カメラ９ｂで撮影された画像ｉに操作具の操作手順をはじめとする各種情報が重畳された画像を表示するものである。表示装置４３は、液晶画面等の画像表示装置から構成されている。表示装置４３は、キャビン１７に設けられている。表示装置４３は、制御装置３１からの画像を表示するように構成されている。

また、表示装置４３はタッチパネルを備えている。タッチパネルはカメラ９ｂで撮影された画像ｉ上の任意の位置を指定可能に構成されている。操縦者は荷物Ｗの移動先である目標位置をカメラ９ｂで撮影された画像ｉ上のタッチパネルを操作することによって指定することができる。

方位センサ４６（図２参照）は、クレーン装置６のブーム９の先端を中心とする方位を検出するものである。方位センサ４６としては、例えば、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成するＧＮＳＳ受信機を用いることができる。方位センサ４６は、ブーム９の先端部分に設けられている。

図２に示すように、制御装置３１は、各バルブを介してクレーン１のアクチュエータを制御するものである。制御装置３１は、キャビン１７内に設けられている。制御装置３１は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置３１には、各アクチュエータやバルブ、センサ等の動作を制御するために種々のプログラムやデータが格納されている。

制御装置３１は、カメラ９ｂ、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ及びサブドラム操作具２１ｓに接続され、カメラ９ｂの画像ｉを取得し、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍ及びサブドラム操作具２１ｓのそれぞれの操作量を取得することができる。

制御装置３１は、通信機２２に接続され、遠隔操作端末３２からの制御信号を取得し、クレーン装置６からの制御情報やカメラ９ｂからの画像ｉ等を送信することができる。また、制御装置３１は、通信機２２を介してサーバ装置から施工計画情報を取得し、目標位置を抽出する。また、制御装置３１は、操縦者がタッチパネルの操作によって指定した位置を目標位置として取得する。また、制御装置３１は、各種センサの検出結果から荷物Ｗの現在位置を算出する。また、制御装置３１は、荷物Ｗを現在位置から目標位置まで移動させるための操作具の操作手順を算出する。

制御装置３１は、旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍ及びサブ用バルブ２６ｓに接続され、旋回用バルブ２３、起伏用バルブ２５、メイン用バルブ２６ｍ及びサブ用バルブ２６ｓに制御信号を伝達することができる。

制御装置３１は、旋回用エンコーダ２７、ブーム長検出センサ２８、重量センサ２９、起伏用エンコーダ３０、メイン用エンコーダ３４ｍ及びサブ用エンコーダ３４ｓに接続され、旋回台７の旋回位置、ブーム長さ、起伏角度、メインフック１０ａの吊下長さ、サブフック１１ａの吊下長さ、メインフック１０ａの高さ、サブフック１１ａの高さ及び荷物Ｗの重量を取得することができる。

制御装置３１は、表示装置４３に接続され、表示装置４３にカメラ９ｂで撮影された画像ｉに操作具の操作手順をはじめとする各種情報が重畳された画像を表示させることができる。また、制御装置３１は、方位センサ４６に接続され、ブーム９の先端を中心とする方位を取得することができる。

制御装置３１は、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍ及びサブドラム操作具２１ｓの操作量に基づいて各操作具に対応した制御信号を生成する。

このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏操作具１９の操作によって起伏用油圧シリンダ１２でブーム９を任意の起伏角度に起立させて、伸縮操作具２０の操作によってブーム９を任意のブーム９長さに延伸させたりすることでクレーン装置６の揚程や作業半径を拡大することができる。また、クレーン１は、メインドラム操作具２１ｍ等によって荷物Ｗを吊り上げて、旋回操作具１８の操作によって旋回台７を旋回させることで荷物Ｗを搬送することができる。

次に、図３及び図４を用いて遠隔操作端末３２について説明する。図３に示すように、遠隔操作端末３２は、クレーン１を遠隔操作する際に使用するものである。遠隔操作端末３２は、筐体３３、筐体３３の操作面に設けられる端末側操作具である吊り荷移動操作具３５、端末側操作具である端末側旋回操作具３６、端末側操作具である端末側伸縮操作具３７、端末側操作具である端末側メインドラム操作具３８ｍ、端末側操作具である端末側サブドラム操作具３８ｓ、端末側操作具である端末側起伏操作具３９、端末側表示装置４０、端末側方位センサ４７（図４参照）、端末側通信機４１及び端末側制御装置４２（図２、図４参照）等を具備する。遠隔操作端末３２は、吊り荷移動操作具３５又は各種端末側操作具の操作により荷物Ｗを移動させる各アクチュエータのバルブの制御信号をクレーン１へ送信する。

筐体３３は、遠隔操作端末３２の主たる構成部材である。筐体３３は、操縦者が手で保持可能な大きさの筐体に構成されている。筐体３３には、操作面に吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ、端末側起伏操作具３９、端末側表示装置４０及び端末側通信機４１（図２、図４参照）が設けられている。

吊り荷移動操作具３５は、任意の水平面において任意の方向に任意の速度で荷物Ｗを移動させる指示が入力されるものである。吊り荷移動操作具３５は、筐体３３の操作面から略垂直に起立した操作スティック及び操作スティックの傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。吊り荷移動操作具３５は、操作スティックが任意の方向に傾倒操作可能に構成されている。吊り荷移動操作具３５は、センサで検出した操作スティックの傾倒方向及び傾倒量についての信号を端末側制御装置４２に伝達するように構成されている。吊り荷移動操作具３５には、筐体３３の操作面に向かって上方向を示す矢印Ａａ、操作面に向かって右方向を示す矢印Ａｂ、操作面に向かって下方向を示す矢印Ａｃ、操作面に向かって左方向を示す矢印Ａｄが吊り荷移動操作具３５の操作方向の目安として表示されている。

端末側旋回操作具３６は、クレーン装置６を任意の移動方向に任意の移動速度で旋回させる指示が入力されるものである。端末側旋回操作具３６は、筐体３３の操作面から略垂直に起立した操作スティック及び操作スティックの傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側旋回操作具３６は、左旋回を指示する方向及び右旋回を指示する方向にそれぞれ傾倒可能に構成されている。

端末側伸縮操作具３７は、伸縮ブーム９を任意の速度で伸縮させる指示が入力されるものである。端末側伸縮操作具３７は、筐体３３の操作面から起立した操作スティック及びその傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側伸縮操作具３７は、延伸を指示する方向及び収縮を指示する方向にそれぞれ傾倒可能に構成されている。

端末側メインドラム操作具３８ｍは、メインウインチ１３を任意の速度で任意の方向に回転させる指示が入力されるものである。端末側メインドラム操作具３８ｍは、筐体３３の操作面から起立した操作スティック及びその傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側メインドラム操作具３８ｍは、メインワイヤロープ１４の巻き上げを指示する方向及び巻き下げを指示する方向にそれぞれ傾倒可能に構成されている。端末側サブドラム操作具３８ｓについても同様に構成されている。

端末側起伏操作具３９は、伸縮ブーム９を任意の速度で起伏させる指示が入力されるものである。端末側起伏操作具３９は、筐体３３の操作面から起立した操作スティック及びその傾倒方向及び傾倒量を検出する図示しないセンサから構成されている。端末側起伏操作具３９は、起立を指示する方向及び倒伏を指示する方向にそれぞれ傾倒可能に構成されている。

端末側表示装置４０は、カメラ９ｂで撮影された画像ｉに端末側操作具の操作手順をはじめとする各種情報が重畳された画像を表示するものである。端末側表示装置４０は、液晶画面等の画像表示装置から構成されている。端末側表示装置４０は筐体３３の操作面に設けられている。端末側表示装置４０は、端末側制御装置４２からの画像を表示するように構成されている。

また、端末側表示装置４０はタッチパネルを備えている。タッチパネルはカメラ９ｂで撮影された画像ｉ上の任意の位置を指定可能に構成されている。操縦者は荷物Ｗの移動先である目標位置をカメラ９ｂで撮影された画像ｉ上のタッチパネルを操作することによって指定することができる。

端末側方位センサ４７は、例えばＧＮＳＳ受信機から構成されている。端末側方位センサ４７は、遠隔操作端末３２の筐体３３の操作面を上向きとした状態における筐体３３を中心とする方位を算出するように構成されている。

図４に示すように、端末側通信機４１は、クレーン装置６の制御情報等を受信し、遠隔操作端末３２からの制御情報等を送信するものである。端末側通信機４１は、筐体３３の内部に設けられている。端末側通信機４１は、クレーン１からの画像ｉや制御信号等を受信すると端末側制御装置４２に伝達するように構成されている。また、端末側通信機４１は、端末側制御装置４２からの制御情報をクレーン１に送信するように構成されている。

また、端末側通信機４１は、通信機２２と同様に、図示しないインターネット等の通信ネットワークを介してサーバ装置から施工計画情報を受信することができる。

端末側制御装置４２は、遠隔操作端末３２を制御するものである。端末側制御装置４２は、遠隔操作端末３２の筐体３３内に設けられている。端末側制御装置４２は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。端末側制御装置４２は、吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ、端末側起伏操作具３９、端末側表示装置４０、端末側方位センサ４７、端末側通信機４１等の動作を制御するために種々のプログラムやデータが格納されている。

端末側制御装置４２は、吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ及び端末側起伏操作具３９に接続され、各端末側操作具の操作スティックの傾倒方向及び傾倒量からなる操作信号を取得することができる。

端末側制御装置４２は、吊り荷移動操作具３５、端末側旋回操作具３６、端末側伸縮操作具３７、端末側メインドラム操作具３８ｍ、端末側サブドラム操作具３８ｓ及び端末側起伏操作具３９の各センサから取得した各操作スティックの操作信号から、対応する旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍ及びサブ用バルブ２６ｓの制御信号を生成することができる。

端末側制御装置４２は、端末側表示装置４０に接続され、端末側表示装置４０にクレーン１からの画像ｉや端末側操作具の操作手順を表示させることができる。端末側制御装置４２は、端末側通信機４１に接続され、端末側通信機４１を介してクレーン１の通信機２２との間で各種情報を送受信することができる。また、端末側制御装置４２は、端末側通信機４１を介してサーバ装置から施工計画情報を取得し、目標位置を抽出する。また、端末側制御装置４２は、操縦者がタッチパネルの操作によって指定した位置を目標位置として取得する。また、端末側制御装置４２は、各種センサの検出結果から荷物Ｗの現在位置を算出する。また、端末側制御装置４２は、荷物Ｗを現在位置から目標位置まで移動させるための端末側操作具の操作手順を算出する。

端末側制御装置４２は、端末側方位センサ４７に接続され、筐体３３の操作面を上向きとした状態における筐体３３を中心とする方位の方位信号を取得することができる。また、端末側制御装置４２は、端末側通信機４１を介してブーム９の先端を中心とする方位の方位信号を取得することができる。

本実施形態では、方位を基準として遠隔操作端末３２に表示される画像ｉの表示方向を決定する場合を例に説明する。例えば、遠隔操作端末３２の筐体３３の操作面に向かって上方向が北を向いている場合、端末側制御装置４２は方位センサ４６で算出された方位に基づいてカメラ９ｂで撮影された画像ｉにおける北方向を求め、端末側表示装置４０には、カメラ９ｂで撮影された画像ｉの北方向が筐体３３の上方向に一致するように、画像ｉが回転配置されて表示される。そして、遠隔操作端末３２が回転操作された場合はそれに追従して方位を維持するように端末側表示装置４０に表示される画像ｉも回転する。このように、遠隔操作端末３２は、方位センサ４６と端末側方位センサ４７によって、自動的に画像ｉの方位を筐体３３の操作面上での方位に一致させて表示するように構成されている。

また、端末側操作具の操作中においては、遠隔操作端末３２の方向を固定する。つまり、端末側操作具の操作開始から操作終了までの間は、操作開始時に取得した端末側方位センサ４７の方位を用いて制御する構成である。これにより、操縦者が端末側操作具の操作中に向きを変え、遠隔操作端末３２の方向が変わっても、端末側表示装置４０に表示される画像は操作開始時の方位に基づいて表示され、端末側操作具の傾倒方向も操作開始時の方位に基づいて算出される。その結果、操縦者が端末側操作具をある方向に傾倒させながら向きを変えても荷物Ｗの移動方向（クレーン装置６の作動方向）が変わることがないので、意図しない操作を防止できる。

次に、図５から図８を用いて端末側表示装置４０の表示態様について説明する。図５は、第１の表示態様の画像５０を示す図である。図５に示すように、遠隔操作端末３２は、カメラ９ｂで撮影された画像ｉに、目標位置を示す画像５１と、荷物Ｗを現在位置から目標位置まで移動させるための端末側操作具の操作手順を示す画像５２とを重畳した画像５０を端末側表示装置４０に表示させることができる。画像５０の生成過程は以下の通りである。なお、遠隔操作端末３２を用いた作業中においては、特別な操作がない限り、端末側表示装置４０にカメラ９ｂの画像ｉがリアルタイムで表示されているものとする。

端末側制御装置４２は、端末側表示装置４０上で入力された目標位置、又は施工計画情報から抽出した目標位置を取得する。それとともに、端末側制御装置４２は、荷物Ｗの現在位置を算出する。続いて端末側制御装置４２は、荷物Ｗの現在位置及び目標位置に基づいて、荷物Ｗを現在位置から目標位置まで移動させるための端末側操作具の操作手順を算出する。

操作手順を算出するのに必要な高さ等の情報は、例えば、クレーン１の周囲の三次元の地図情報から抽出することができる。この三次元の地図情報はサーバ装置に格納されていてもよいし、カメラ９ｂで撮影した画像に基づいて制御装置３１で生成してもよい。

続いて端末側制御装置４２は、その操作手順を示す画像５２を生成する。続いて端末側制御装置４２は、カメラ９ｂで撮影された画像ｉに、目標位置を示す画像５１と、操作手順を示す画像５２とを重畳した画像５０を生成して端末側表示装置４０へ出力する。

そして、端末側表示装置４０はその画像５０を表示する。画像５０において、目標位置を示す画像５１は十字の図形で表され、建設中の建物上に位置している。なお、目標位置を示す画像の形態には特に限定はなく、他の形状の図形や文字、それらの組み合わせであってもよい。また、画像５０において、操作手順を示す画像５２は１から３の箇条書きで示されている。

１番目の操作手順は端末側メインドラム操作具３８ｍをメインワイヤロープ１４の巻き上げを指示する方向に傾倒させる操作である。この操作により、メインワイヤロープ１４が巻き上げられ、荷物Ｗは目標位置よりも高い位置まで持ち上げられる。

次に、２番目の操作手順は吊り荷移動操作具３５を右上方向へ操作することである。これは、吊り荷移動操作具３５を矢印Ａａと矢印Ａｂとの間の方向へ傾倒させる操作を意味する。この操作により、荷物Ｗは水平方向に移動され、目標位置の鉛直上方まで移動される。

次に、３番目の操作手順は端末側メインドラム操作具３８ｍをメインワイヤロープ１４の巻き下げを指示する方向に傾倒させる操作である。この操作により、メインワイヤロープ１４が巻き下げられ、荷物Ｗは目標位置に下ろされる。

なお、操作手順を示す画像５２に括弧で記されている距離は必要な移動量を表している。よって、操縦者はこの移動量を参考にしながら操作手順にしたがって操作することができる。

図６は、第１の表示形態の他の画像５７を示す図である。画像５７は、カメラ９ｂで撮影された画像ｉに、目標位置を示す画像５１と、操作手順を示す画像５８とが重畳されて構成される。

図５の状態から操縦者が右へ９０°回転した場合、つまり遠隔操作端末３２が右へ９０°回転操作された場合、それに追従して方位を維持するように端末側表示装置４０に表示される画像ｉは左へ９０°回転し、図６の状態となる。このとき、画像ｉの向きに応じて操作手順も変わるため、端末側制御装置４２は再度操作手順を算出し、端末側表示装置４０には再度算出した操作手順を示す画像５８が表示される。

これにより、操縦者は端末側表示装置４０に表示された操作手順を見ることで直ぐに操作手順を認識できる。よって、第１の表示態様を有する遠隔操作端末３２によれば、操縦者がクレーン装置６の操作に未熟な場合や操縦者から荷物Ｗが見えにくい場合であっても、操作手順にしたがって端末側操作具を容易に操作することができる。また、操縦者は目標位置を示す画像５１を見て荷物Ｗの移動先の位置を確認できるため、その後の操作を容易に行うことができる。さらに、目標位置が施工計画情報から抽出されたものである場合、操縦者は目標位置を入力する必要がないため、操縦者の負担を軽減することができる。

なお、端末側操作具の操作手順を示す画像５２は文字に限定されることはなく、端末側操作具及びその操作方向等を示す図形や文字及び図形の組み合わせであってもよい。

図７は、第２の表示態様の画像５３を示す図である。画像５３は、カメラ９ｂで撮影された画像ｉに、目標位置を示す画像５１と、操作手順を示す画像５２と、荷物Ｗを現在位置から目標位置まで移動させるための移動経路を示す画像５４とが重畳されて構成される。移動経路は、荷物Ｗの現在位置及び目標位置に基づいて端末側制御装置４２によって算出される。

移動経路は、操作手順通りに操作された場合に荷物Ｗが移動する軌跡を示す線である。図７における移動経路は、メインワイヤロープ１４を巻き上げる操作により、荷物Ｗが目標位置よりも高い位置まで持ち上げられる経路と、吊り荷移動操作具３５の右上方向への操作により、荷物Ｗが水平方向に目標位置の鉛直上方まで移動される経路と、メインワイヤロープ１４を巻き下げる操作により、荷物Ｗが目標位置に下ろされる経路とで構成される。

これにより、操縦者は端末側表示装置４０に表示された移動経路を見ることで目標位置までの操作手順を認識し易い。よって、第２の表示態様を有する遠隔操作端末３２によれば、操縦者がクレーン装置６の操作に未熟な場合や操縦者から荷物Ｗが見えにくい場合であっても、移動経路を参考にして端末側操作具を容易に操作することができる。

本実施形態において移動経路を示す画像５４は破線としているが、移動経路を示す画像５４の線種や線色には特に限定はなく、他の画像と識別可能であればよい。

なお、移動経路から外れて操作された場合、遠隔操作端末３２は、操縦者に注意を促すために警報を鳴らしたり表示したりするようにしてもよい。また、移動経路から外れて操作された場合、遠隔操作端末３２は、荷物Ｗの現在位置に基づいて再度移動経路を算出して表示するようにしてもよい。

図８は、第３の表示態様の画像５５を示す図である。画像５５は、カメラ９ｂで撮影された画像ｉに、目標位置を示す画像５１と、移動経路を示す画像５４と、自動搬送選択画像５６とが重畳されて構成される。自動搬送選択画像５６は、荷物Ｗを現在位置から目標位置まで自動で搬送するか否かの選択を促すとともに、選択操作可能とする画像である。

図８における自動搬送選択画像５６は、操縦者に対して荷物Ｗを移動経路に沿って自動で搬送するか否かを聞く「自動搬送しますか？」という質問文と、それに対する「はい」「いいえ」の応答文と、「はい」又は「いいえ」を選択するための操作可能なカーソルとで構成される。図８ではカーソルが「はい」の位置にある状態を示している。そして、遠隔操作端末３２が操作され「はい」が選択決定されると、クレーン装置６は自動搬送を開始する。一方、「いいえ」が選択決定されると、自動搬送は実行されず、例えば、端末側表示装置４０に図７に示した画像５３が表示され、手動搬送の入力待ちの状態となる。

自動搬送の制御として、端末側制御装置４２は、荷物Ｗを現在位置から目標位置まで自動で移動させるための制御手順情報を算出する。具体的には、端末側制御装置４２は、算出した移動経路に沿って荷物Ｗを移動させるときの各バルブの制御信号を生成し、各制御信号を制御順に並べて制御手順情報とする。算出された制御手順情報は端末側通信機４１から送信され、通信機２２で受信されて制御装置３１に送られる。そして、制御装置３１は、制御手順情報にしたがってクレーン装置６を稼働させる。これにより、荷物Ｗは現在位置から目標位置まで自動で搬送される。

このように、荷物Ｗを現在位置から目標位置まで自動で搬送可能とすることにより、操縦者の負担を軽減することができる。

以下に、上記の実施形態の変形例を列挙する。上記の実施形態では端末側表示装置４０に表示される画像及び制御手順情報を端末側制御装置４２で算出して生成する構成としたが、制御装置３１で算出して生成する構成としてもよい。

また、画像ｉの枠形状は矩形でも円形でもよい。また、画像ｉは３Ｄマッピング等を用いて三次元で表現された画像であってもよい。三次元の画像上では荷物Ｗの移動経路も三次元で表現することができる。また、端末側表示装置４０はＨＭＤ（ヘッドマウントディスプレイ）であってもよい。また、荷物Ｗがサブフック１１ａに吊り下げられている場合にも同様の表示態様を適用できる。

また、上記の実施形態では端末側表示装置４０の表示態様について説明したが、クレーン１側の表示装置４３でも同様の表示が可能である。この場合、制御装置３１がクレーン１側の操作具の操作手順を算出し、表示装置４３がカメラ９ｂで撮影された画像ｉに操作手順を示す画像が重畳された画像を表示する。この形態は、遠隔操作端末３２を有さないクレーンにも適用できる。

目標位置は操作具の操作によって入力可能としてもよい。例えば、吊り荷移動操作具３５を操作してカメラ９ｂで撮影された画像ｉ上の所望の位置を目標位置に指定できるようにしてもよい。また、目標位置の座標を入力できるようにしてもよい。

１ クレーン（作業車両）
６ クレーン装置（作業装置）
９ ブーム
９ｂ カメラ
１０ａ メインフック（フック）
１１ａ サブフック（フック）
１４ メインワイヤロープ（ワイヤロープ）
１６ サブワイヤロープ（ワイヤロープ）
１８ 旋回操作具（操作具）
１９ 起伏操作具（操作具）
２０ 伸縮操作具（操作具）
２１ｍ メインドラム操作具（操作具）
２１ｓ サブドラム操作具（操作具）
２２ 通信機
３１ 制御装置
３２ 遠隔操作端末
３５ 吊り荷移動操作具（端末側操作具）
３６ 端末側旋回操作具（端末側操作具）
３７ 端末側伸縮操作具（端末側操作具）
３８ｍ 端末側メインドラム操作具（端末側操作具）
３８ｓ 端末側サブドラム操作具（端末側操作具）
３９ 端末側起伏操作具（端末側操作具）
４０ 端末側表示装置
４１ 端末側通信機
４２ 端末側制御装置
４３ 表示装置
５１ 目標位置を示す画像
５２ 操作手順を示す画像
５４ 移動経路を示す画像
ｉ カメラで撮影された画像

Claims (9)

1. 作業車両の作業装置を遠隔操作する遠隔操作端末であって、
   前記作業車両の通信機と通信する端末側通信機と、
   前記作業装置を操作するための端末側操作具と、
   前記作業車両のカメラで撮影された画像を表示する端末側表示装置と、
   前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、
   前記端末側制御装置は、前記作業装置の現在位置及び移動先の目標位置を取得し、前記作業装置を前記現在位置から前記目標位置まで移動させるための前記端末側操作具の操作手順を算出し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記操作手順を示す画像が重畳された画像を表示することを特徴とする遠隔操作端末。
2. 前記端末側表示装置は、前記カメラで撮影された画像に前記目標位置を示す画像が重畳された画像を表示することを特徴とする請求項１に記載の遠隔操作端末。
3. 前記目標位置は、前記端末側操作具から入力された位置であることを特徴とする請求項１又は請求項２に記載の遠隔操作端末。
4. 前記端末側通信機は、前記目標位置が記された施工計画情報を受信し、
   前記端末側制御装置は、前記施工計画情報を取得して前記目標位置を抽出することを特徴とする請求項１又は請求項２に記載の遠隔操作端末。
5. 前記端末側制御装置は、前記作業装置を前記現在位置から前記目標位置まで移動させるための移動経路を算出し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記移動経路を示す画像が重畳された画像を表示することを特徴とする請求項１から請求項４の何れか一項に記載の遠隔操作端末。
6. 前記端末側制御装置は、前記作業装置を前記現在位置から前記目標位置まで自動で移動させるための制御手順情報を算出し、
   前記端末側通信機は、前記制御手順情報を送信することを特徴とする請求項１から請求項５の何れか一項に記載の遠隔操作端末。
7. 遠隔操作端末と、
   前記遠隔操作端末によって遠隔操作される作業装置と、
   カメラと、
   前記遠隔操作端末と通信する通信機と、を備える作業車両であって、
   前記遠隔操作端末は、
   前記通信機と通信する端末側通信機と、
   前記作業装置を操作するための端末側操作具と、
   前記カメラで撮影された画像を表示する端末側表示装置と、
   前記端末側通信機、前記端末側操作具及び前記端末側表示装置を制御する端末側制御装置と、を備え、
   前記端末側制御装置は、前記作業装置の現在位置及び移動先の目標位置を取得し、前記作業装置を前記現在位置から前記目標位置まで移動させるための前記端末側操作具の操作手順を算出し、
   前記端末側表示装置は、前記カメラで撮影された画像に前記操作手順を示す画像が重畳された画像を表示することを特徴とする作業車両。
8. 作業装置を備える作業車両であって、
   カメラと、
   前記カメラで撮影された画像を表示する表示装置と、
   前記作業装置を操作するための操作具と、
   前記カメラ、前記表示装置及び前記操作具を制御する制御装置と、を備え、
   前記制御装置は、前記作業装置の現在位置及び移動先の目標位置を取得し、前記作業装置を前記現在位置から前記目標位置まで移動させるための前記操作具の操作手順を算出し、
   前記表示装置は、前記カメラで撮影された画像に前記操作手順を示す画像が重畳された画像を表示することを特徴とする作業車両。
9. 前記作業装置は、ブームと、前記ブームの基端側から先端側に向けて架け渡されるワイヤロープと、前記ブームの先端側から垂下されて前記ワイヤロープの繰り入れ及び繰り出しによって昇降するフックとを有し、
   前記カメラは、前記ブームの先端近傍に設けられ、前記フックを含む画像を撮影することを特徴とする請求項７又は請求項８に記載の作業車両。

Images