[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016160741A - 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 - Google Patents

作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 Download PDF

Info

Publication number
JP2016160741A
JP2016160741A JP2015044050A JP2015044050A JP2016160741A JP 2016160741 A JP2016160741 A JP 2016160741A JP 2015044050 A JP2015044050 A JP 2015044050A JP 2015044050 A JP2015044050 A JP 2015044050A JP 2016160741 A JP2016160741 A JP 2016160741A
Authority
JP
Japan
Prior art keywords
work
image
work machine
information
bucket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015044050A
Other languages
English (en)
Other versions
JP6777375B2 (ja
Inventor
裕 吉灘
Yutaka Yoshinada
裕 吉灘
貴頌 谷本
Takanobu Tanimoto
貴頌 谷本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Osaka University NUC
Original Assignee
Komatsu Ltd
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015044050A priority Critical patent/JP6777375B2/ja
Application filed by Komatsu Ltd, Osaka University NUC filed Critical Komatsu Ltd
Priority to CA2976890A priority patent/CA2976890C/en
Priority to AU2016227095A priority patent/AU2016227095B2/en
Priority to PCT/JP2016/054437 priority patent/WO2016140055A1/ja
Priority to KR1020177023851A priority patent/KR102013761B1/ko
Priority to DE112016001043.5T priority patent/DE112016001043T5/de
Priority to US15/553,663 priority patent/US10829910B2/en
Priority to CN201680011986.XA priority patent/CN107250466B/zh
Publication of JP2016160741A publication Critical patent/JP2016160741A/ja
Priority to US17/012,362 priority patent/US11384515B2/en
Application granted granted Critical
Publication of JP6777375B2 publication Critical patent/JP6777375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

【課題】作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制すること。
【解決手段】作業機械の画像表示システムは、作業具を有する作業機を備えた作業機械に取り付けられる撮像装置と、前記作業機の姿勢を検出する姿勢検出装置と、前記作業機械の作業対象までの距離の情報を求める距離検出装置と、前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の位置の情報とを用いて、前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像を生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、表示装置に表示させる処理装置と、を含む。
【選択図】図1

Description

本発明は、作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械に関する。
特許文献1に記載されているように、油圧ショベル等の作業機械を遠隔操作する技術が知られている。
特願2004−294067号公報
作業機械を遠隔操作する場合、作業機械のオペレータ視点の画像を用いた操作では、表示される画像が2次元のため、遠近感に乏しくなる。そのため、作業対象と作業機械との距離の把握が難しくなり、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。
本発明は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することを目的とする。
本発明は、作業具を有する作業機を備えた作業機械に取り付けられる撮像装置と、前記作業機の姿勢を検出する姿勢検出装置と、前記作業機械の作業対象までの距離の情報を求める距離検出装置と、前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の位置の情報とを用いて、前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像を生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、表示装置に表示させる処理装置と、を含む、作業機械の画像表示システムである。前記処理装置は、前記作業具に対応する部分の画像を、前記撮像装置を基準として生成することが好ましい。
前記線画像は、複数の第1の線画像と、前記複数の第1の線画像と交差する複数の第2の線画像とを備えた格子であることが好ましい。
前記処理装置は、前記作業機の姿勢を用いて前記作業具が前記作業対象の画像に占める領域を求め、得られた前記領域を前記作業対象の形状の情報から除去することが好ましい。
前記作業具はバケットであり、前記処理装置は、前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像として、前記作業対象上で前記バケットの刃先に対応する部分の線画像を生成することが好ましい。
前記処理装置は、前記バケットの刃先の幅方向における一方の端部側と前記作業対象とを結ぶ直線の画像及び前記バケットの刃先の幅方向における他方の端部側と前記作業対象とを結ぶ直線の画像を生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、表示装置に表示させることが好ましい。
前記処理装置は、前記作業具又は前記作業対象に関する空間位置情報を求めて前記表示装置に表示させることが好ましい。
前記処理装置は、前記作業具の位置、前記作業具の姿勢、前記作業対象の位置、前記作業対象の相対的な姿勢、前記作業具と前記作業対象との相対的な距離及び前記作業具と前記作業対象との相対的な姿勢の少なくとも1つを求めて前記表示装置に表示させることが好ましい。
前記処理装置は、前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させることが好ましい。
前記撮像装置、前記姿勢検出装置及び距離検出装置は前記作業機械に備えられ、前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられることが好ましい。
本発明は、作業具を有する作業機を備えた作業機械を遠隔操作するにあたり、表示装置と、前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記作業機械が備える距離検出装置が求めた前記作業機の作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用いて、前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像を、前記撮像装置を基準として生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、前記表示装置に表示させる処理装置と、を含む、作業機械の画像表示システムである。
本発明は、前述した作業機械の画像表示システムと、前記作業機械が備える前記作業機を操作する操作装置と、を含む、作業機械の遠隔操作システムである。
本発明は、前述した作業車両の画像表示システムを備えた、作業機械である。
本発明は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することができる。
図1は、実施形態に係る作業機械の画像表示システム及び作業機械の遠隔操作システムを示す図である。 図2は、実施形態に係る作業機械である油圧ショベルを示す斜視図である。 図3は、実施形態に係る作業機械である油圧ショベルの制御系を示す図である。 図4は、実施形態に係る画像表示システム及び遠隔操作システムでの座標系を説明するための図である。 図5は、油圧ショベルの背面図である。 図6は、撮像装置及び距離検出装置の座標系を説明する図である。 図7は、画像表示システム及び遠隔操作システムが実行する制御例のフローチャートである。 図8は、撮像装置及び距離検出装置と作業対象とを示す図である。 図9は、占有領域を説明する図である。 図10は、占有領域を除去した作業対象の形状の情報を示す図である。 図11は、作業対象上でバケットの位置を示す画像を説明するための図である。 図12は、作業対象上でバケットの位置を示す画像を説明するための図である。 図13は、作業対象上でバケットの位置を示す画像を説明するための図である。 図14は、基準画像である格子画像を示す図である。 図15は、基準画像である格子画像を示す図である。 図16は、作業用の画像を示す図である。 図17は、ローディングショベル型の作業機を用いる場合の刃先位置画像を説明するための図である。 図18は、刃先位置画像を求める処理の第1変形例を示す図である。 図19は、刃先位置画像を求める処理の第2変形例を説明するための図である。 図20は、刃先位置画像を求める処理の第2変形例を説明するための図である。 図21は、変形例に係る油圧ショベルの制御系を示す図である。
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。
<作業機械の画像表示システム及び作業機械の遠隔操作システムの概要>
図1は、実施形態に係る作業機械の画像表示システム100及び作業機械の遠隔操作システム101を示す図である。作業機械の画像表示システム100(以下、適宜画像表示システム100と称する)は、オペレータが、作業機械である油圧ショベル1を遠隔操作する際に、油圧ショベル1の作業対象、より具体的には、油圧ショベル1が備える作業機2による作業の対象である地形面、すなわち作業対象WA及び作業具であるバケット8を撮像装置19で撮像し、得られた画像を表示装置52に表示させる。このとき、画像表示システム100は、撮像装置19によって撮像された作業対象WAの画像68と、格子画像65と、作業対象WA上においてバケット8の位置を示すための画像60と、を含む作業用の画像69を、表示装置52に表示させる。
画像表示システム100は、撮像装置19と、姿勢検出装置32と、距離検出装置20と、処理装置51とを含む。作業機械の遠隔操作システム101(以下、適宜遠隔操作システム101と称する)は、撮像装置19と、姿勢検出装置32と、距離検出装置20と、作業機制御装置27と、表示装置52と、処理装置51と、操作装置53とを含む。実施形態において、画像表示システム100の撮像装置19、姿勢検出装置32及び距離検出装置20は油圧ショベル1に設けられ、処理装置51は施設50に設けられる。施設50は、油圧ショベル1を遠隔操作したり、油圧ショベル1を管理したりする施設である。実施形態において、遠隔操作システム101の撮像装置19、姿勢検出装置32、距離検出装置20及び作業機制御装置27は油圧ショベル1に設けられ、表示装置52、処理装置51及び操作装置53は施設50に設けられる。
画像表示システム100の処理装置51は、処理部51Pと、記憶部51Mと、入出力部51IOとを含む。処理部51Pは、例えばCPU(Central Processing Unit)のようなプロセッサである。記憶部51Mは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ、ストレージデバイス又はこれらの組み合わせである。入出力部51IOは、処理装置51と外部機器とを接続するためのインターフェース回路である。実施形態において、入出力部51IOには、外部機器として、表示装置52、操作装置53及び通信装置54が接続されている。入出力部51IOに接続される外部機器はこれらに限定されるものではない。
処理装置51は、作業機2の姿勢を用いて得られた作業具であるバケット8の位置の情報と、距離検出装置20が求めた距離の情報から得られた作業対象WAの位置の情報とを用いて、バケット8と対向する作業対象WA上でバケット8に対応する部分の画像を、撮像装置19を基準として生成する。そして、処理装置51は、撮像装置19によって撮像された作業対象WAの画像と合成して、表示装置52に表示させる。作業対象WAは、油圧ショベル1の作業機2が掘削又は地ならし等の作業をする対象となる面である。
表示装置52は、液晶ディスプレイ又はプロジェクタが例示されるがこれらに限定されるものではない。通信装置54は、アンテナ54Aを備えている。通信装置54は、油圧ショベル1に備えられた通信装置25と通信して、油圧ショベル1の情報を取得したり、油圧ショベル1に情報を送信したりする。
操作装置53は、オペレータの左側に設置される左操作レバー53Lと、オペレータの右側に配置される右操作レバー53Rと、を有する。左操作レバー53L及び右操作レバー53Rは、前後左右の動作が2軸の動作に対応されている。例えば、右操作レバー53Rの前後方向の操作は、油圧ショベル1が備える作業機2のブーム6の操作に対応されている。右操作レバー53Rの左右方向の操作は、作業機2のバケット8の操作に対応されている。左操作レバー53Lの前後方向の操作は、作業機2のアーム7の操作に対応している。左操作レバー53Lの左右方向の操作は、油圧ショベル1の上部旋回体3の旋回に対応している。
左操作レバー53L及び右操作レバー53Rの操作量は、例えば、ポテンショメータ及びホールIC等によって検出され、処理装置51は、これらの検出値に基づいて電磁制御弁を制御するための制御信号を生成する。この信号は、施設50の通信装置54及び油圧ショベル1の通信装置25を介して作業機制御装置27に送られる。作業機制御装置27は、制御信号に基づいて電磁制御弁を制御することによって作業機2を制御する。電磁制御弁については後述する。
処理装置51は、左操作レバー53L及び右操作レバー53Rの少なくとも一方に対する入力を取得し、作業機2及び上部旋回体3の少なくとも一方を動作させるための命令を生成する。処理装置51は、生成した命令を、通信装置54を介して油圧ショベル1の通信装置25に送信する。油圧ショベル1が備える作業機制御装置27は、通信装置25を介して処理装置51からの命令を取得し、命令にしたがって作業機2及び上部旋回体3の少なくとも一方を動作させる。
油圧ショベル1は、通信装置25と、作業機制御装置27と、姿勢検出装置32と、撮像装置19と、距離検出装置20と、アンテナ21、22と、グローバル位置演算装置23とを備える。作業機制御装置27は、作業機2を制御する。通信装置25は、アンテナ24に接続されており、施設50に備えられた通信装置54と通信する。作業機制御装置27は、作業機2及び上部旋回体3を制御する。姿勢検出装置32は、作業機2及び油圧ショベル1の少なくとも一方の姿勢を検出する。撮像装置19は、油圧ショベル1に取り付けられて、作業対象WAを撮像する。距離検出装置20は、油圧ショベル1の所定の位置から作業対象WAまでの距離の情報を求める。アンテナ21、22は、測位衛星200からの電波を受信する。グローバル位置演算装置23は、アンテナ21、22が受信した電波を用いて、アンテナ21、22のグローバル位置、すなわちグローバル座標における位置を求める。
<油圧ショベル1の全体構成>
図2は、実施形態に係る作業機械である油圧ショベル1を示す斜視図である。油圧ショベル1は、本体部としての車両本体1Bと作業機2とを有する。車両本体1Bは、旋回体である上部旋回体3と走行体としての走行装置5とを有する。上部旋回体3は、機関室3EGの内部に、動力発生装置であるエンジン及び油圧ポンプ等の装置を収容している。実施形態において、油圧ショベル1は、動力発生装置であるエンジンに、例えばディーゼルエンジン等の内燃機関が用いられるが、動力発生装置は内燃機関に限定されない。油圧ショベル1の動力発生装置は、例えば、内燃機関と発電電動機と蓄電装置とを組み合わせた、いわゆるハイブリッド方式の装置であってもよい。また、油圧ショベル1の動力発生装置は、内燃機関を有さず、蓄電装置と発電電動機とを組み合わせた装置であってもよい。
上部旋回体3は、運転室4を有する。運転室4は、上部旋回体3の他端側に設置されている。すなわち、運転室4は、機関室3EGが配置されている側とは反対側に設置されている。上部旋回体3の上方には、手すり9が取り付けられている。
走行装置5は、上部旋回体3を搭載する。走行装置5は、履帯5a、5bを有している。走行装置5は、左右に設けられた油圧モータ5cの一方又は両方が駆動する。走行装置5の履帯5a、5bが回転することにより、油圧ショベル1を走行させる。作業機2は、上部旋回体3の運転室4の側方側に取り付けられている。
油圧ショベル1は、履帯5a、5bの代わりにタイヤを備え、エンジンの駆動力を、トランスミッションを介してタイヤへ伝達して走行が可能な走行装置を備えたものであってもよい。このような形態の油圧ショベル1としては、例えば、ホイール式油圧ショベルがある。また、油圧ショベル1は、このようなタイヤを有した走行装置を備え、さらに車両本体(本体部)に作業機が取り付けられ、図1に示すような上部旋回体3及びその旋回機構を備えていない構造を有する、例えばバックホウローダであってもよい。すなわち、バックホウローダは、車両本体に作業機が取り付けられ、車両本体の一部を構成する走行装置を備えたものである。
上部旋回体3は、作業機2及び運転室4が配置されている側が前であり、機関室3EGが配置されている側が後である。上部旋回体3の前後方向がx方向である。前に向かって左側が上部旋回体3の左であり、前に向かって右側が上部旋回体3の右である。上部旋回体3の左右方向は、幅方向又はy方向ともいう。油圧ショベル1又は車両本体1Bは、上部旋回体3を基準として走行装置5側が下であり、走行装置5を基準として上部旋回体3側が上である。上部旋回体3の上下方向がz方向である。油圧ショベル1が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。
作業機2は、ブーム6とアーム7と作業具であるバケット8とブームシリンダ10とアームシリンダ11とバケットシリンダ12とを有する。ブーム6の基端部は、ブームピン13を介して車両本体1Bの前部に回動可能に取り付けられている。アーム7の基端部は、アームピン14を介してブーム6の先端部に回動可能に取り付けられている。アーム7の先端部には、バケットピン15を介してバケット8が取り付けられている。バケット8は、バケットピン15を中心として回動する。バケット8は、バケットピン15とは反対側に複数の刃8Bが取り付けられている。刃先8Tは、刃8Bの先端である。
バケット8は、複数の刃8Bを有していなくてもよい。つまり、図2に示されるような刃8Bを有しておらず、刃先が鋼板によってストレート形状に形成されたようなバケットであってもよい。作業機2は、例えば、単数の刃を有するチルトバケットを備えていてもよい。チルトバケットとは、バケットチルトシリンダを備え、バケットが左右にチルト傾斜することで油圧ショベルが傾斜地にあっても、斜面、平地を自由な形に成形したり、整地したりすることができ、底板プレートによる転圧作業もできるバケットである。この他にも、作業機2は、バケット8の代わりに、法面バケット又は削岩用のチップを備えた削岩用のアタッチメント等を作業具として備えていてもよい。
図2に示されるブームシリンダ10とアームシリンダ11とバケットシリンダ12とは、それぞれ油圧ポンプから吐出される作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ10はブーム6を駆動して、昇降させる。アームシリンダ11は、アーム7を駆動して、アームピン14の周りを回動させる。バケットシリンダ12は、バケット8を駆動して、バケットピン15の周りを回動させる。
上部旋回体3の上部には、アンテナ21、22及びアンテナ24が取り付けられている。アンテナ21、22は、油圧ショベル1の現在位置を検出するために用いられる。アンテナ21、22は、図3に示されるグローバル位置演算装置23と電気的に接続されている。グローバル位置演算装置23は、油圧ショベル1の位置を検出する位置検出装置である。グローバル位置演算装置23は、RTK−GNSS(Real Time Kinematic - Global Navigation Satellite Systems、GNSSは全地球航法衛星システムをいう)を利用して油圧ショベル1の現在位置を検出する。以下の説明において、アンテナ21、22を、適宜GNSSアンテナ21、22と称する。GNSSアンテナ21、22が受信したGNSS電波に応じた信号は、グローバル位置演算装置23に入力される。グローバル位置演算装置23は、グローバル座標系におけるGNSSアンテナ21、22の設置位置を求める。全地球航法衛星システムの一例としては、GPS(Global Positioning System)が挙げられるが、全地球航法衛星システムは、これに限定されるものではない。
GNSSアンテナ21、22は、図2に示されるように、上部旋回体3の上であって、油圧ショベル1の左右方向、すなわち幅方向に離れた両端位置に設置されることが好ましい。実施形態において、GNSSアンテナ21、22は、上部旋回体3の幅方向両側にそれぞれ取り付けられた手すり9に取り付けられる。GNSSアンテナ21、22が上部旋回体3に取り付けられる位置は手すり9に限定されるものではないが、GNSSアンテナ21、22は、可能な限り離れた位置に設置される方が、油圧ショベル1の現在位置の検出精度は向上するので好ましい。また、GNSSアンテナ21、22は、オペレータの視界を極力妨げない位置に設置されることが好ましい。
撮像装置19は、図1に示される作業対象WAを撮像し、距離検出装置20は、自身(油圧ショベル1の所定の位置)から作業対象WAまでの距離を求めるので、できる限り広い作業対象WAからの情報を取得することが好ましい。このため、実施形態において、アンテナ24、撮像装置19及び距離検出装置20は、上部旋回体3の運転室4の上方に設置される。撮像装置19及び距離検出装置20が設置される場所は運転席4の上方に限定されるものではない。例えば、撮像装置19及び距離検出装置20は、運転室4の内部かつ上方に設置されてもよい。
撮像装置19は、撮像面19Lが上部旋回体3の前方を向いている。距離検出装置20は、検出面20Lが上部旋回体3の前方を向いている。実施形態において、撮像装置19は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのようなイメージセンサを備えた単眼カメラである。実施形態において、距離検出装置20は、3次元レーザーレンジファインダ又は距離センサである。撮像装置19及び距離検出装置20はこれらに限定されるものではない。例えば、撮像装置19及び距離検出装置20の代わりに、作業対象WAの画像を取得する機能と、作業対象WAまでの距離を求める機能との両方を有する装置が用いられてもよい。このような装置としては、例えば、ステレオカメラが例示される。
<油圧ショベル1の制御系>
図3は、実施形態に係る作業機械である油圧ショベル1の制御系1Sを示す図である。制御系1Sは、通信装置25と、センサコントローラ26と、作業機制御装置27と、撮像装置19と、距離検出装置20と、グローバル位置演算装置23と、姿勢検出装置32と、IMU(Inertial Measurement Unit:慣性計測装置)33と、油圧システム36と、を備える。通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35によって接続されている。このような構造により、通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35を介して相互に情報をやり取りすることができる。制御系1S内で情報を伝達する信号線は、CAN(Controller Area Network)のような車内信号線が例示される。
センサコントローラ26は、CPU(Central Processing Unit)等のプロセッサと、RAM及びROM等の記憶装置とを有する。センサコントローラ26には、グローバル位置演算装置23の検出値、撮像装置19によって撮像された画像の情報、距離検出装置20の検出値、姿勢検出装置32の検出値及びIMU33の検出値が入力される。センサコントローラ26は、入力された検出値及び画像の情報を、信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
作業機制御装置27は、CPU(Central Processing Unit)等のプロセッサと、RAM(Random Access Memory)及びROM(Read Only Memory)等の記憶装置とを有する。作業機制御装置27は、施設50の処理装置51によって生成された、作業機2及び上部旋回体3の少なくとも一方を動作させるための命令を、通信装置25を介して取得する。作業機制御装置27は、取得した命令に基づいて、油圧システム36の電磁制御弁28を制御する。
油圧システム36は、電磁制御弁28と、油圧ポンプ29と、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30等の油圧アクチュエータとを備える。油圧ポンプ29は、エンジン31によって駆動されて、油圧アクチュエータを動作させるための作動油を吐出する。作業機制御装置27は、電磁制御弁28を制御することにより、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30に供給される作動油の流量を制御する。このようにして、作業機制御装置27は、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30の動作を制御する。
センサコントローラ26は、第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18の検出値を取得する。第1ストロークセンサ16はブームシリンダ10に、第2ストロークセンサ17はアームシリンダ11に、第3ストロークセンサ18はバケットシリンダ12に、それぞれ設けられる。
第1ストロークセンサ16は、ブームシリンダ10の長さであるブームシリンダ長を検出してセンサコントローラ26に出力する。第2ストロークセンサ17は、アームシリンダ11の長さであるアームシリンダ長を検出してセンサコントローラ26に出力する。第3ストロークセンサ18は、バケットシリンダ12の長さであるバケットシリンダ長を検出してセンサコントローラ26に出力する。
ブームシリンダ長、アームシリンダ長及びバケットシリンダ長が決定されれば、作業機2の姿勢が決定される。したがって、これらを検出する第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18は、作業機2の姿勢を検出する姿勢検出装置32に相当する。姿勢検出装置32は、第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18に限定されるものではなく、角度検出器であってもよい。
センサコントローラ26は、第1ストロークセンサ16が検出したブームシリンダ長から、油圧ショベル1の座標系であるローカル座標系における水平面と直交する方向(z軸方向)に対するブーム6の傾斜角を算出する。作業機制御装置27は、第2ストロークセンサ17が検出したアームシリンダ長から、ブーム6に対するアーム7の傾斜角を算出する。作業機制御装置27は、第3ストロークセンサ18が検出したバケットシリンダ長から、アーム7に対するバケット8の傾斜角を算出する。ブーム6、アーム7及びバケット8の傾斜角は、作業機2の姿勢を示す情報である。すなわち、センサコントローラ26は、作業機2の姿勢を示す情報を求める。センサコントローラ26は、算出した傾斜角を、信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
GNSSアンテナ21は、自身の位置を示す位置P1を測位衛星から受信する。GNSSアンテナ22は、自身の位置を示す位置P2を測位衛星から受信する。GNSSアンテナ21、22は、例えば10Hz周期で位置P1、P2を受信する。位置P1、P2は、グローバル座標系において、GNSSアンテナが設置されている位置の情報である。GNSSアンテナ21、22で受信されたGNSS電波に応じた信号、すなわち位置P1、P2は、グローバル位置演算装置23に入力される。GNSSアンテナ21、22は、位置P1、P2を受信する毎に、グローバル位置演算装置23に出力する。
グローバル位置演算装置23は、CPU等のプロセッサと、RAM及びROM等の記憶装置とを有する。グローバル位置演算装置23は、例えば10Hzの周波数でグローバル座標系におけるGNSSアンテナ21、22の位置P1、P2を検出し、基準位置情報Pga1、Pga2としてセンサコントローラ26に出力する。実施形態において、グローバル位置演算装置23は、取得した2つの位置P1、P2から、油圧ショベル1の方位角、より具体的には上部旋回体3の方位角であるヨー角を求めてセンサコントローラ26に出力する。センサコントローラ26は、取得した基準位置情報Pga1、Pga2及びヨー角を、信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
IMU33は、油圧ショベル1の動作及び姿勢を検出する。油圧ショベル1の動作は、上部旋回体3の動作及び走行装置5の動作の少なくとも一方を含む。油圧ショベル1の姿勢は、油圧ショベル1のロール角、ピッチ角及びヨー角によって表すことができる。実施形態において、IMU33は、油圧ショベル1の角速度及び加速度を検出して出力する。
<座標系について>
図4は、実施形態に係る画像表示システム100及び遠隔操作システム101での座標系を説明するための図である。図5は、油圧ショベル1の背面図である。図6は、撮像装置及び距離検出装置の座標系を説明する図である。画像表示システム100及び遠隔操作システム101においては、グローバル座標系と、ローカル座標系と、撮像装置19の座標系と、距離検出装置20の座標系とが存在する。実施形態において、グローバル座標系とは、例えば、GNSSにおける座標系である。グローバル座標系は、油圧ショベル1の作業区画GAに設置された基準となる、例えば基準杭80の基準位置PGを基準とした、(X、Y、Z)で示される3次元座標系である。図5に示されるように、基準位置PGは、例えば、作業区画GAに設置された基準杭80の先端80Tに位置する。
ローカル座標系とは、油圧ショベル1を基準とした、(x、y、z)で示される3次元座標系である。実施形態において、ローカル座標系の原点位置PLは、上部旋回体3の回転中心軸であるz軸と、上部旋回体3のスイングサークル内においてz軸と直交する平面との交点であるがこれに限定されるものではない。スイングサークル内においてz軸と直交する平面は、スイングサークルのz軸方向における中心を通る平面とすることができる。
実施形態において、撮像装置19の座標系は、図6に示されるように、撮像素子19RCの受光面19Pの中心を原点PCとした、(Xc、Yc、Zc)で示される3次元座標系である。実施形態において、距離検出装置20の座標系は、図6に示されるように、距離検出素子20RCの受光面20Pの中心を原点PDとした、(Xd、Yd、Zd)で示される3次元座標系である。
<油圧ショベル1の姿勢>
図5に示されるように、上部旋回体3の左右方向、すなわち幅方向に対する傾斜角θ4は油圧ショベル1のロール角であり、上部旋回体3の前後方向に対する傾斜角θ5は油圧ショベル1のピッチ角であり、z軸周りにおける上部旋回体3の角度は油圧ショベル1のヨー角である。ロール角はIMU33によって検出されたx軸周りの角速度を時間で積分することにより、ピッチ角はIMU33によって検出されたy軸周りの角速度を時間で積分することにより、ヨー角はIMU33によって検出されたz軸周りの角速度を時間で積分することにより求められる。z軸周りの角速度は、油圧ショベル1の旋回角速度ωである。すなわち、旋回角速度ωを時間で積分することにより油圧ショベル1、より具体的には上部旋回体3のヨー角が得られる。
IMU33が検出した加速度及び角速度は、動作情報としてセンサコントローラ26に出力される。センサコントローラ26は、IMU33から取得した動作情報にフィルタ処理及び積分といった処理を施して、ロール角である傾斜角θ4、ピッチ角である傾斜角θ5及びヨー角を求める。センサコントローラ26は、求めた傾斜角θ4、傾斜角θ5及びヨー角を、油圧ショベル1の姿勢に関連する情報として、図3に示される信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
センサコントローラ26は、前述したように、作業機2の姿勢を示す情報を求める。作業機2の姿勢を示す情報は、具体的には、ローカル座標系における水平面と直交する方向(z軸方向)に対するブーム6の傾斜角θ1、ブーム6に対するアーム7の傾斜角θ2及びアーム7に対するバケット8の傾斜角θ3である。図1に示される施設50の処理装置51は、油圧ショベル1のセンサコントローラ26から取得した作業機2の姿勢を示す情報、すなわち傾斜角θ1、θ2、θ3からバケット8の刃先8Tの位置(以下、適宜刃先位置と称する)P4を算出する。
処理装置51の記憶部51Mは、作業機2のデータ(以下、適宜作業機データという)を記憶している。作業機データは、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3を含む。図4に示されるように、ブーム6の長さL1は、ブームピン13からアームピン14までの長さに相当する。アーム7の長さL2は、アームピン14からバケットピン15までの長さに相当する。バケット8の長さL3は、バケットピン15からバケット8の刃先8Tまでの長さに相当する。刃先8Tは、図2に示される刃8Bの先端である。また、作業機データは、ローカル座標系の原点位置PLに対するブームピン13までの位置の情報を含む。処理装置51は、長さL1、L2、L3、傾斜角θ1、θ2、θ3及び原点位置PLを用いて、原点位置PLに対する刃先位置P4を求めることができる。実施形態において、施設50の処理装置51が刃先位置P4を求めたが、油圧ショベル1のセンサコントローラ26が刃先位置P4を求めて施設50の処理装置51に送信してもよい。
<画像表示システム100及び遠隔操作システム101が実行する制御例>
図7は、画像表示システム100及び遠隔操作システム101が実行する制御例のフローチャートである。図8は、撮像装置19及び距離検出装置20と作業対象WAとを示す図である。
ステップS101において、図3に示されるセンサコントローラ26は、油圧ショベル1の情報を取得する。油圧ショベル1の情報は、撮像装置19、距離検出装置20、グローバル位置演算装置23、姿勢検出装置32及びIMU33から得られる情報である。撮像装置19は、図8に示されるように、撮像範囲TA内で作業対象WAを撮像し、作業対象WAの画像を得る。距離検出装置20は、検出範囲MA内に存在する作業対象WA及びその他の物体までの、距離検出装置20からの距離Ldを検出する。グローバル位置演算装置23は、グローバル座標系におけるGNSSアンテナ21、22の位置P1、P2に対応する基準位置情報Pga1、Pga2を求める。姿勢検出装置32は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を検出する。IMU33は、油圧ショベル1の姿勢、より具体的には、上部旋回体3のロール角θ4、ピッチ角θ5及びヨー角を検出する。
ステップS102において、画像表示システム100及び遠隔操作システム101の処理装置51は、油圧ショベル1の通信装置25及び処理装置51に接続された通信装置54を介して、油圧ショベル1のセンサコントローラ26から油圧ショベル1の情報を取得する。
処理装置51がセンサコントローラ26から取得する油圧ショベル1の情報は、撮像装置19によって撮像された作業対象WAの画像と、距離検出装置20が検出した、距離検出装置20から作業対象WAまでの距離の情報と、姿勢検出装置32によって検出された油圧ショベル1が備える作業機2の姿勢の情報と、基準位置情報Pga1、Pga2と、油圧ショベル1の姿勢の情報と、を含む。
距離検出装置20から作業対象WAまでの距離の情報は、検出範囲MA内に存在する作業対象WA又は物体OBまでの距離Ldと、距離Ldに対応する位置Pdの方位の情報とを含む。図8では、作業対象WAまでの距離として距離Ldを示す。位置Pdの方位の情報は、距離検出装置20を基準としたときの位置Pdの方位であり、距離検出装置20の座標系の各軸Xd、Yd、Zdに対する角度である。処理装置51が取得する作業機2の姿勢の情報は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を用いてセンサコントローラ26が求めた、作業機2の傾斜角θ1、θ2、θ3である。油圧ショベル1の姿勢の情報は、油圧ショベル1、より具体的には上部旋回体3のロール角θ4、ピッチ角θ5及びヨー角である。
処理装置51は、センサコントローラ26から取得した作業機2の傾斜角θ1、θ2、θ3と、記憶部51Mに記憶されているブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3とを用いて、バケット8の刃先位置P4を求める。バケット8の刃先位置P4は、油圧ショベル1のローカル座標系(x、y、z)における座標の集合である。
ステップS103に進み、処理装置51は、作業対象WAまでの距離の情報を用いて、作業対象WAまでの距離Ldを位置の情報に変換する。位置の情報は、距離検出装置20の座標系(Xd、Yd、Zd)における位置Pdの座標である。ステップS103においては、検出範囲MA内で距離検出装置20によって検出されたすべての距離Ldが、位置の情報に変換される。処理装置51は、距離Ldと、距離Ldに対応する位置Pdの方位の情報とを用いて、距離Ldを位置の情報に変換する。ステップS103においては、検出範囲MA内に存在する物体OBまでの距離も、作業対象WAの距離Ldと同様に、位置の情報に変換される。ステップS103の処理によって、検出範囲MA内における作業対象WAの位置の情報の情報が得られる。作業対象WAの位置の情報の情報から、作業対象WAの形状の情報を得ることができる。
作業対象WAの位置の情報及び形状の情報は、距離検出装置20の座標系(Xd、Yd、Zd)における位置Pdの座標の集合である。処理装置51は、作業対象WAの形状の情報を、撮像装置19の座標系(Xc、Yc、Zc)の値に変換した後、油圧ショベル1のローカル座標系(x、y、z)の値に変換する。
ステップS104において、処理装置51は、作業対象WAの位置の情報、バケット8の刃先位置P4及び油圧ショベル1のセンサコントローラ26から取得した基準位置情報Pga1、Pga2を、グローバル座標系(X、Y、Z)に変換する。グローバル座標系(X、Y、Z)への変換にあたって、処理装置51は、センサコントローラ26から取得した油圧ショベル1のロール角θ4、ピッチ角θ5及びヨー角を用いた回転行列を生成する。処理装置51は、生成した回転行列を用いて、作業対象WAの位置の情報、バケット8の刃先位置P4及び基準位置情報Pga1、Pga2を、グローバル座標系(X、Y、Z)に変換する。次に、ステップS105に進み、処理装置51は、占有領域を求める。
図9は、占有領域SAを説明する図である。占有領域SAは、作業対象WAの形状の情報内において、作業機2が占める領域である。図9に示される例では、作業機2のバケット8の一部が距離検出装置20の検出範囲MA内、かつ距離検出装置20と作業対象WAとの間に入っている。このため、占有領域SAの部分は、距離検出装置20によって、作業対象WAまでの距離ではなくバケット8までの距離が検出される。実施形態において、処理装置51は、ステップS103で得られた作業対象WAの形状の情報から、占有領域SAの部分を除去する。
処理装置51は、バケット8の位置及び姿勢の少なくとも一方に応じて距離検出装置20が検出する位置及び姿勢の少なくとも一方の情報を、例えば記憶部51Mに記憶させておく。このような情報は、本実施形態において油圧ショベル1の作業機2の姿勢に含まれる。作業機2の姿勢は、作業機2の傾斜角θ1、θ2、θ3、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3を用い、必要に応じて油圧ショベル1の姿勢を用いて求めることができる。そして、処理装置51は、距離検出装置20によって検出されたデータと記憶部51Mに記憶されている情報とを比較し、両者がマッチングしたならば、バケット8が検出されたものとすることができる。このような作業機2の姿勢を用いた処理により、処理装置51は、図1に示される格子画像65を生成する際に、占有領域SAのバケット8の情報を使わないので、格子画像65を正確に生成できる。
占有領域SAの部分を除去するために、作業機2の姿勢を用いた処理は、次のような方法によって行われてもよい。作業機2の姿勢に含まれる、バケット8のグローバル座標系における位置及び姿勢の少なくとも一方に関する情報は、作業機2の傾斜角θ1、θ2、θ3、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3から求められる。ステップS103及びステップS104で、グローバル座標系における作業対象WAの形状の情報が得られている。ステップS106において、処理装置51は、バケット8の位置を作業対象WAの形状の情報に投影した領域を占有領域SAとして、作業対象WAの形状から除去する。
図10は、占有領域を除去した作業対象WAの形状の情報を示す図である。作業対象WAの形状の情報IMWAは、グローバル座標系(X、Y、Z)における座標Pgd(X、Y、Z)の集合である。占有領域IMBAは、ステップS106の処理により、座標の情報が存在しない。次に、ステップS107に進み、処理装置51はバケット8の位置を示す画像を生成する。バケット8の位置を示す画像は、作業対象WA上でバケット8に対応する部分の画像である。
図11から図13は、作業対象WA上でのバケット8の位置を示す画像を説明するための図である。実施形態において、バケット8の位置を示す画像は、作業対象WA上でのバケット8の刃先8Tの位置を示す画像である。以下において、バケット8の刃先8Tの位置を示す画像を、適宜、刃先位置画像と称する。刃先位置画像は、図11に示されるように、刃先8Tを鉛直方向、すなわち重力が作用する方向の作業対象WAに投影したときに、作業対象WAの表面WAPの位置Pgt(X、Y、Z)で規定される画像である。鉛直方向は、グローバル座標系(X、Y、Z)におけるZ方向であり、X方向及びY方向とは直交する方向である。
図12に示されるように、作業対象WAの表面WAPの第1位置Pgt1(X1、Y1、Z1)と第2位置Pgt2(X2、Y2、Z2)との間で、作業対象WAの表面WAPに沿って形成される線画像が、刃先位置画像61である。第1位置Pgt1(X1、Y1、Z1)は、バケット8の幅方向Wbの一方の端部8Wt1側における刃8Bの外側の位置Pgb1から鉛直方向に向かって延ばした直線LV1と作業対象WAの表面WAPとの交点である。第2位置Pgt2(X2、Y2、Z2)は、バケット8の幅方向Wbの他方の端部8Wt2側における刃8Bの外側の位置Pgb2から鉛直方向に向かって延ばした直線LV2と作業対象WAの表面WAPとの交点である。バケット8の幅方向Wbは、複数の刃8Bが配列される方向である。
処理装置51は、バケット8の位置Pgb1及び位置Pgb2から鉛直方向に延びた直線LV1及び直線LV2を求める。次に、処理装置51は、得られた直線LV1及び直線LV2と、作業対象WAの形状の情報とから、第1位置Pgt1(X1、Y1、Z1)及び第2位置Pgt2(X2、Y2、Z2)を求める。そして、処理装置51は、第1位置Pgt1と第2位置Pgt2とを結ぶ直線を作業対象WAの表面WAPに投影したときの表面WAPの位置Pgtの集合を刃先位置画像61とする。
実施形態において、処理装置51は、位置Pgb1と第1位置Pgt1(X1、Y1、Z1)とを結ぶ直線LV1の画像である第1直線画像62と、位置Pgb2と第2位置Pgt2(X2、Y2、Z2)とを結ぶ直線LV2の画像である第2直線画像63とを生成する。次に、処理装置51は、刃先位置画像61、第1直線画像62及び第2直線画像63を、撮像装置19を基準、すなわち撮像装置19の視点の画像に変換する。
図13に示されるように、撮像装置19の視点の画像は、グローバル座標系(X、Y、Z)における撮像装置の原点Pgc(Xc、Yc、Zc)から刃先位置画像61、第1直線画像62及び第2直線画像63を見たときの画像である。撮像装置の原点Pgc(Xc、Yc、Zc)は、撮像装置19が備える撮像素子19RCの受光面19Pの中心、すなわち原点PCを、グローバル座標系(X、Y、Z)に変換した座標である。
刃先位置画像61、第1直線画像62及び第2直線画像63は、3次元空間内の画像であるが、撮像装置19の視点の画像は2次元の画像である。したがって、処理装置51は、3次元空間、すなわちグローバル座標系(X、Y、Z)内に定義された刃先位置画像61、第1直線画像62及び第2直線画像63を、2次元面上に投影する透視投影変換を実行する。撮像装置19の視点の画像に変換された刃先位置画像61、第1直線画像62及び第2直線画像63を、以下においては適宜、作業具案内画像60と称する。
図14及び図15は、基準画像である格子画像65を示す図である。作業具案内画像60が生成されたら、ステップS108に進み、処理装置51は、基準画像である格子画像65を生成する。格子画像65は、作業対象WAの位置の情報を用いて作業対象WAの表面WAPに沿った線画像である。格子画像65は、複数の第1の線画像66と、複数の第1の線画像66と交差する複数の第2の線画像67とを備えた格子である。実施形態において、第1の線画像66は、例えば、グローバル座標系(X、Y、Z)におけるX方向と平行に延び、Y方向に配置される線画像である。第1の線画像66は、グローバル座標系(X、Y、Z)において、油圧ショベル1が備える上部旋回体3の前後方向と平行に伸び、上部旋回体3の幅方向に配置される線画像であってもよい。
格子画像65は、作業対象WAの位置の情報、より具体的には表面WAPの位置Pgg(X、Y、Z)を用いて生成される。第1の線画像66と第2の線画像67との交点が位置Pgg(X、Y、Z)となる。第1の線画像66及び第2の線画像67は、図15に示されるように、グローバル座標系(X、Y、Z)で定義されるので、3次元の情報を含んでいる。実施形態において、複数の第1の線画像66は等間隔で配置され、複数の第2の線画像67は等間隔で配置される。隣接する第1の線画像66同士の間隔と、隣接する第2の線画像67同士の間隔とは等しい。
格子画像65は、表面WAPの位置Pgg(X、Y、Z)を用いて生成された第1の線画像66及び第2の線画像67が、撮像装置19の視点の画像に変換された画像である。処理装置51は、第1の線画像66及び第2の線画像67を生成したら、これらを撮像装置19の視点の画像に変換して、格子画像65を生成する。第1の線画像66及び第2の線画像67が撮像装置19の視点の画像に変換されることで、作業対象WAの絶対距離を補助するために、水平面において等間隔の格子画像65を、作業対象WAの形状に合わせて変形させて表示させることができる。
次に、ステップS109において、処理装置51は、生成された作業具案内画像60及び基準画像である格子画像65から、前述した占有領域SAを除去する。ステップS109において、処理装置51は、占有領域SAを撮像装置19の視点の画像に変換して、作業具案内画像60及び基準画像である格子画像65から除去する。実施形態において、処理装置51は、撮像装置19の視点の画像に変換される前の刃先位置画像61、第1直線画像62及び第2直線画像63と、撮像装置19の視点の画像に変換される前の第1の線画像66及び第2の線画像67とから、それぞれ撮像装置19の視点の画像に変換される前の占有領域SAを除去してもよい。
図16は、作業用の画像69を示す図である。ステップS110において、処理装置51は、占有領域SAが除去された作業具案内画像60と、格子画像65と、撮像装置19によって撮像された作業対象WAの画像68とを合成して、作業用の画像69を生成する。ステップS111において、処理装置51は、生成された作業用の画像68を、表示装置52に表示する。作業用の画像69は、作業対象WAの画像68に、格子画像65及び作業具案内画像60が表示された画像である。
格子画像65は、作業対象WAの表面WAPに沿った格子なので、油圧ショベル1のオペレータは、格子画像65を参照することにより、作業対象WAの位置を把握することができる。例えば、オペレータは、第2の線画像67により奥行き、すなわち油圧ショベル1が備える上部旋回体3の前後方向の位置を把握でき、第1の線画像66によりバケット8の幅方向の位置を把握できる。
作業具案内画像60は、刃先位置画像61が、作業対象WAの表面WAP及び格子画像65に沿って表示される。このため、オペレータは、格子画像65及び刃先位置画像61により、バケット8と作業対象WAとの位置関係を把握できるので、作業効率及び作業の精度が向上する。実施形態においては、バケット8の幅方向Wbの両側から、第1直線画像62と第2直線画像63とが刃先位置画像61の両端を結んでいる。オペレータは、第1直線画像62及び第2直線画像63により、バケット8と作業対象WAとの位置関係を、さらに容易に把握できる。格子画像65及び刃先位置画像61は、作業対象となる地形(作業対象WA)の形状に沿って表示されるため、地形面上(2次元上)での両者の相対位置関係が容易に把握できる。さらに、格子画像65を構成する、第1の線画像66及び第2の線画像67は、グローバル座標系にて等間隔に配置されているため、地形面上での距離感をつかみやすく、遠近感の把握が容易になる。
実施形態において、作業用の画像69は、バケット8の刃先8Tと作業対象WAとの距離を示す情報64を含む。このようにすることで、オペレータは、バケット8の刃先8Tと作業対象WAとの実際の距離を把握できるという利点がある。バケット8の刃先8Tと作業対象WAとの距離は、バケット8の幅方向Wbの中央における刃先8Tから作業対象WAの表面WAPまでの距離とすることができる。
なお、情報64は、バケット8の刃先8Tと作業対象WAとの距離に代え、又はその距離に加えて、バケット8の角度といった姿勢に関する情報、バケット8と作業対象WAとの相対距離を示す情報、バケット8の例えば刃先8Tの向きと作業対象WAの面の向きとの関係を示す情報、バケット8の位置を座標で示した情報、作業対象WAの面の向きを示す情報及び撮像装置19からバケット8の刃先8Tまでのローカル座標系におけるx方向の距離を示す情報といった情報を含む、作業具又は作業対象Wに関する空間位置情報であればよい。
すなわち、処理装置51は、作業具であるバケット8の位置、バケット8の姿勢、作業対象WAの位置、作業対象WAの相対的な姿勢、バケット8と作業対象WAとの相対的な距離、バケット8と作業対象WAとの相対的な姿勢の少なくとも1つを求めて、表示装置52に表示させてもよい。
以上、画像表示システム100及び遠隔操作システム101は、撮像装置19の視点で生成された作業具案内画像60及び格子画像65を、撮像装置19によって撮像された実際の作業対象WAの画像68と重ね合わせて、表示装置52に表示する。このような処理により、画像表示システム100及び遠隔操作システム101は、表示装置52に表示された作業対象WAの画像を用いて油圧ショベル1を遠隔操作するオペレータに、バケット8の位置と作業対象WAとの位置関係を把握させやすくすることができるので、作業効率及び作業の精度を向上させることができる。経験の浅いオペレータも、画像表示システム100及び遠隔操作システム101を用いることにより、バケット8の位置と作業対象WAとの位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。また、画像表示システム100及び遠隔操作システム101は、作業具案内画像60と、格子画像65と、実際の作業対象WAの画像68とを重ね合わせて表示装置52に表示することにより、作業中にオペレータが注目する画面を単一として、作業効率を向上させることができる。
格子画像65は、隣接する第1の線画像66同士の間隔と、隣接する第2の線画像67同士の間隔とが等しい。このため、格子画像65と、撮像装置19によって撮像された実際の作業対象WAの画像68とを重ね合わせて表示することにより、作業対象WAでの作業地点を把握しやすくなる。また、作業具案内画像60の刃先位置画像61と格子画像65とを重ね合わせることにより、オペレータは、バケット8が移動した距離を把握することが容易になるので、作業効率が向上する。
作業具案内画像60及び格子画像65は、作業機2の領域である占有領域SAが除去されるので、作業具案内画像60及び格子画像65は、占有領域SAによる歪み及び作業機2に作業具案内画像60及び格子画像65が重畳して表示されることを回避できる。その結果、画像表示システム100及び遠隔操作システム101は、オペレータにとって見やすい形態で作業用の画像69を表示装置52に表示できる。
実施形態において、作業具案内画像60は、少なくとも刃先位置画像61を含んでいればよい。格子画像65は、少なくとも複数の第2の線画像67、すなわち油圧ショベル1が備える上部旋回体3の前後方向と直交する方向を示す複数の線画像を含んでいればよい。また、処理装置51は、バケット8の刃先8Tと作業対象WAとの距離に応じて、作業具案内画像60のうち、例えば刃先位置画像61の色を変更してもよい。このようにすることで、オペレータは、バケット8の位置と作業対象WAとの距離を把握しやすくなる。
実施形態において、処理装置51は、作業対象WAの形状の情報をグローバル座標系(X、Y、Z)に変換して作業具案内画像60及び格子画像65を生成したが、作業対象WAの形状の情報をグローバル座標系(X、Y、Z)に変換しなくてもよい。この場合、処理装置51は、作業対象WAの形状の情報を油圧ショベル1のローカル座標系(x、y、z)で取り扱い、作業具案内画像60及び格子画像65を生成する。作業対象WAの形状の情報を油圧ショベル1のローカル座標系(x、y、z)で取り扱う場合、GNSSアンテナ21、22及びグローバル位置演算装置23は不要である。
前述の実施形態では、距離検出装置20により検出された油圧ショベル1の一部(例えば、前述のようにバケット8)を除去し、作業対象WAの形状の情報(3次元地形データ)とした。しかし、過去(例えば数秒前)に取得した3次元地形データを処理装置51の記憶部51Mに記憶しておき、処理装置51の処理部51Pが、現在の作業対象WAと、その記憶されている3次元地形データとが同じ位置であるのか判断し、同じ位置であるのであれば、過去の3次元地形データを用いて、格子画像65を表示させてもよい。つまり、処理装置51は、撮像装置19から見て、油圧ショベル1の一部によって隠れている地形があっても、過去の3次元地形データがあれば、格子画像65を表示させることができる。
また、格子を用いた格子画像65による表示ではなく、例えばローカル座標系を極座標系として格子画像65を表示させるようにしてもよい。具体的には、油圧ショベル1の中心(例えば、上部旋回体3の旋回中心)からの距離に応じた等間隔の同心円を線画像(第2の線画像)として描き、かつ上部旋回体3の旋回角度に応じて旋回中心から等間隔に放射状の線画像(第1の線画像)を描くようにしてもよい。この場合、同心円の線画像である第2の線画像と旋回中心からの放射状の線画像である第1の線画像とは交差する。このような格子画像を表示させることによっても、旋回時や掘削時にバケット8の位置と作業対象WAとの位置関係を容易に把握することができる。
<ローディングショベル型の作業機2aの刃先位置画像61>
図17は、ローディングショベル型の作業機2aを用いる場合の刃先位置画像61を説明するための図である。ローディングショベルでは、バケット8が油圧ショベル1の後方から前方に回動するため、土砂をすくうことができる。ローディングショベル型の作業機2aは、バケット8の刃先8Tが上部旋回体3の前方を向き、上部旋回体3の前方の作業対象である作業対象WAを掘削する。この場合、刃先位置画像61は、図17に示されるように、刃先8Tを水平方向、すなわち重力が作用する方向とは直交する方向の作業対象WAに投影したときに、作業対象WAの表面WAPの位置Pgt(X、Y、Z)で規定される画像である。水平方向は、グローバル座標系(X、Y、Z)におけるX方向又はY方向であり、Zとは直交する方向である。処理装置51は、作業対象WAの表面WAPの位置Pgt(X、Y、Z)の情報を用いて、前述した方法と同様の方法を用いて刃先位置画像61及び第1直線画像62及び第2直線画像63を生成する。処理装置51は、生成した刃先位置画像61、第1直線画像62及び第2直線画像63を、撮像装置19の視点の画像に変換して、作業具案内画像60を得る。
<刃先位置画像61を求める処理について>
図18は、刃先位置画像を求める処理の第1変形例を示す図である。第1変形例において、処理装置51は、仮想平面70と作業対象WAとの交線71と直交し、かつバケット8の刃先8Tを通る直線72を求める。仮想平面70は、図5及び図6に示される油圧ショベル1のローカル座標系(x、y、z)におけるxz平面である。xz平面は、バケット8の幅方向Wbにおける中心を通る。
次に、処理装置51は、バケット8の幅方向Wbの一方の端部8Wt1側における刃8Bの外側の位置Pgb1を通り、かつ直線72と平行な直線LV1と、幅方向Wbの他方の端部8Wt2側における刃8Bの外側の位置Pgb2を通り、かつ直線72と平行な直線LV2とを求める。直線LV1と作業対象WAの表面WAPとの交点が第1位置Pgt1であり、直線LV2と作業対象WAの表面WAPとの交点が第2位置Pgt2である。処理装置51は、第1位置Pgt1及び第2位置Pgt2を求め、第1位置Pgt1と第2位置Pgt2とを結ぶ直線を作業対象WAの表面WAPに投影したときにおける表面WAPの位置Pgtの集合を刃先位置画像61とする。
第1直線画像62及び第2直線画像63は、直線LV1及び直線LV2の画像である。処理装置51は、生成した刃先位置画像61、第1直線画像62及び第2直線画像63を、撮像装置19の視点の画像に変換して、作業具案内画像60を得る。バケット8は、仮想平面70と平行に移動するので、第1変形例の処理によって得られた刃先位置画像61は、バケット8の刃先8Tが作業対象WAに向かう位置を示す。
図19及び図20は、刃先位置画像を求める処理の第2変形例を説明するための図である。油圧ショベル1の上部旋回体3が水平面、すなわちグローバル座標系(X、Y、Z)のXY平面に対して傾斜すると、図19に示されるように、バケット8の刃先8Tの列は、作業対象WAの表面WAPに対して傾斜することがある。バケット8は、前述した仮想平面70と平行に移動するため、刃先8Tの鉛直方向に存在する作業対象WAの表面WAPに刃先8Tを投影して刃先位置画像61を得ると、バケット8の移動方向と刃先位置画像61と、にずれが生ずる可能性がある。
第2変形例において、処理装置51は、バケット8の刃先位置P4から鉛直方向に延びた直線LV1及び直線LV2を求める。次に、処理装置51は、得られた直線LV1及び直線LV2を、油圧ショベル1の上部旋回体3が水平面に対して傾斜した角度、すなわちロール角θ4だけ、直線LV1及び直線LV2を回転させる。直線LV1及び直線LV2を回転させる方向は、これらが仮想平面70と平行になる方向である。この場合、処理装置51は、バケット8の位置Pgb1及び位置Pgb2を中心として、直線LV1と直線LV2とで形成される平面PV12上をθ4だけ、直線LV1及び直線LV2を回転させる。このようにして、処理装置51は、回転後の直線LV1a及び直線LV2aを得る。
次に、処理装置51は、回転後の直線LV1a及び直線LV2aと、作業対象WAの表面WAPとの交点を求め、得られた2つの交点を、それぞれ第1位置Pgt1a及び第2位置Pgt2aとする。そして、処理装置51は、第1位置Pgt1aと第2位置Pgt2aとを結ぶ直線を作業対象WAの表面WAPに投影したときにおける表面WAPの位置Pgtの集合を刃先位置画像61とする。第1直線画像62及び第2直線画像63は、直線LV1a及び直線LV2aの画像である。処理装置51は、生成した刃先位置画像61、第1直線画像62及び第2直線画像63を、撮像装置19の視点の画像に変換して、作業具案内画像60を得る。第2変形例の処理によって得られた刃先位置画像61は、バケット8の刃先8Tが作業対象WAに向かう位置を示す。
<油圧ショベル1の制御系の変形例>
図21は、変形例に係る油圧ショベル1の制御系1Saを示す図である。前述した画像表示システム100及び遠隔操作システム101は、図1に示される施設50の操作装置53を用いて油圧ショベル1を遠隔操作した。本変形例は、図2に示される運転室4内に表示装置52が設けられており、油圧ショベル1にオペレータの作業を補助するために、作業用の画像69が表示装置52に表示される。
このため、制御系1Saは、前述した制御系1Sの信号線35に、処理装置51及び操作装置53aが接続されている。処理装置51には、表示装置52が接続されている。制御系1Saが備える処理装置51は、前述した画像表示システム100及び遠隔操作システム101において図1に示される施設50に備えられる処理装置51と同様の機能を有している。制御系1Saの表示装置52は、作業用の画像69を表示するための専用の表示装置であってもよいし、油圧ショベル1が備えている表示装置であってもよい。操作装置53aは、油圧ショベル1を操作するための装置であり、左操作レバー53La及び右操作レバー53Raを備えている。操作装置53aは、パイロット油圧方式であってもよいし、電気方式であってもよい。
制御系1Saを備える油圧ショベル1は、撮像装置19の視点で生成された作業具案内画像60及び格子画像65を、撮像装置19によって撮像された実際の作業対象WAの画像68とともに、運転室4内の表示装置52に表示する。このような処理により、油圧ショベル1は、表示装置52に表示された作業対象WAの画像を用いて油圧ショベル1を操作するオペレータに、バケット8の位置と作業対象WAとの位置関係を把握させやすくすることができる。その結果、作業効率及び作業の精度を向上させることができる。また、経験の浅いオペレータも、制御系1Saを備える油圧ショベル1を用いることにより、バケット8の位置と作業対象WAとの位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。さらに、夜間作業等の場合、オペレータが実際の作業対象WAを目視し難い状況であっても、表示装置52に表示された作業具案内画像60及び格子画像65を見ながら作業することができるので、作業効率の低下が抑制される。
以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも1つを行うことができる。作業機械は油圧ショベル1に限定されず、ホイールローダー又はブルドーザのような他の作業機械であってもよい。
1 油圧ショベル
1B 車両本体
1S、1Sa 制御系
2、2a 作業機
3 上部旋回体
4 運転席
6 ブーム
7 アーム
8 バケット
8B 刃
8T 刃先
16 第1ストロークセンサ
17 第2ストロークセンサ
18 第3ストロークセンサ
19 撮像装置
20 距離検出装置
21、22 アンテナ(GNSSアンテナ)
23 グローバル位置演算装置
26 センサコントローラ
27 作業機制御装置
32 姿勢検出装置
33 IMU
50 施設
51 処理装置
52 表示装置
53、53a 操作装置
60 作業具案内画像(画像)
61 刃先位置画像
62 第1直線画像
63 第2直線画像
65 格子画像
66 第1の線画像
67 第2の線画像
68 画像
69 作業用の画像
100 作業機械の画像表示システム(画像表示システム)
101 作業機械の遠隔操作システム(遠隔操作システム)

Claims (12)

  1. 作業具を有する作業機を備えた作業機械に取り付けられる撮像装置と、
    前記作業機の姿勢を検出する姿勢検出装置と、
    前記作業機械の作業対象までの距離の情報を求める距離検出装置と、
    前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の位置の情報とを用いて、前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像を生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、表示装置に表示させる処理装置と、
    を含む、作業機械の画像表示システム。
  2. 前記処理装置は、
    前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる、請求項1に記載の作業機械の画像表示システム。
  3. 前記線画像は、
    複数の第1の線画像と、前記複数の第1の線画像と交差する複数の第2の線画像とを備えた格子である、請求項2に記載の作業機械の画像表示システム。
  4. 前記作業具はバケットであり、
    前記処理装置は、
    前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像として、前記作業対象上で前記バケットの刃先に対応する部分の線画像を生成する、請求項1から請求項3のいずれか1項に記載の作業機械の画像表示システム。
  5. 前記処理装置は、
    前記バケットの刃先の幅方向における一方の端部側と前記作業対象とを結ぶ直線の画像及び前記バケットの刃先の幅方向における他方の端部側と前記作業対象とを結ぶ直線の画像を生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、表示装置に表示させる、請求項4に記載の作業機械の画像表示システム。
  6. 前記処理装置は、
    前記作業具又は前記作業対象に関する空間位置情報を求めて前記表示装置に表示させる、請求項1から請求項5のいずれか1項に記載の作業機械の画像表示システム。
  7. 前記処理装置は、
    前記作業具の位置、前記作業具の姿勢、前記作業対領域の位置、前記作業対象の相対的な姿勢、前記作業具と前記作業対象との相対的な距離及び前記作業具と前記作業対象との相対的な姿勢の少なくとも1つを求めて前記表示装置に表示させる、請求項1から請求項6のいずれか1項に記載の作業機械の画像表示システム。
  8. 前記処理装置は、
    前記作業機の姿勢を用いて前記作業具が前記作業対象の画像に占める領域を求め、得られた前記領域を前記作業対象の形状の情報から除去する、請求項1から請求項7のいずれか1項に記載の作業機械の画像表示システム。
  9. 前記撮像装置、前記姿勢検出装置及び距離検出装置は前記作業機械に備えられ、
    前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる、
    請求項1から請求項8のいずれか1項に記載の作業機械の画像表示システム。
  10. 作業具を有する作業機を備えた作業機械を遠隔操作するにあたり、
    表示装置と、
    前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記作業機械が備える距離検出装置が求めた前記作業機の作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用いて、前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像を、前記撮像装置を基準として生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、前記表示装置に表示させる処理装置と、
    を含む、作業機械の画像表示システム。
  11. 請求項10に記載の作業機械の画像表示システムと、
    前記作業機械が備える前記作業機を操作する操作装置と、
    を含む、作業機械の遠隔操作システム。
  12. 請求項1から請求項9のいずれか1項に記載の作業機械の画像表示システムを備えた、作業機械。
JP2015044050A 2015-03-05 2015-03-05 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 Active JP6777375B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2015044050A JP6777375B2 (ja) 2015-03-05 2015-03-05 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
AU2016227095A AU2016227095B2 (en) 2015-03-05 2016-02-16 Image display system for work machine, remote operation system for work machine, and work machine
PCT/JP2016/054437 WO2016140055A1 (ja) 2015-03-05 2016-02-16 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
KR1020177023851A KR102013761B1 (ko) 2015-03-05 2016-02-16 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
CA2976890A CA2976890C (en) 2015-03-05 2016-02-16 Image display system for work machine, remote operation system for work machine, and work machine
DE112016001043.5T DE112016001043T5 (de) 2015-03-05 2016-02-16 Bildanzeigesystem für eine Arbeitsmaschine, Fernbedienungssystem für eine Arbeitsmaschine und Arbeitsmaschine
US15/553,663 US10829910B2 (en) 2015-03-05 2016-02-16 Image display system for work machine, remote operation system for work machine, and work machine
CN201680011986.XA CN107250466B (zh) 2015-03-05 2016-02-16 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械
US17/012,362 US11384515B2 (en) 2015-03-05 2020-09-04 Image display system for work machine, remote operation system for work machine, and work machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015044050A JP6777375B2 (ja) 2015-03-05 2015-03-05 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020170801A Division JP7131779B2 (ja) 2020-10-08 2020-10-08 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の画像表示方法

Publications (2)

Publication Number Publication Date
JP2016160741A true JP2016160741A (ja) 2016-09-05
JP6777375B2 JP6777375B2 (ja) 2020-10-28

Family

ID=56844370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015044050A Active JP6777375B2 (ja) 2015-03-05 2015-03-05 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械

Country Status (8)

Country Link
US (2) US10829910B2 (ja)
JP (1) JP6777375B2 (ja)
KR (1) KR102013761B1 (ja)
CN (1) CN107250466B (ja)
AU (1) AU2016227095B2 (ja)
CA (1) CA2976890C (ja)
DE (1) DE112016001043T5 (ja)
WO (1) WO2016140055A1 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017170382A1 (ja) * 2016-03-30 2017-10-05 住友建機株式会社 ショベル
WO2018043301A1 (ja) * 2016-09-02 2018-03-08 株式会社小松製作所 作業機械の画像表示システム
WO2018062523A1 (ja) * 2016-09-30 2018-04-05 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
JP6346375B1 (ja) * 2017-02-09 2018-06-20 株式会社小松製作所 作業車両及び表示装置
WO2018164172A1 (ja) * 2017-03-07 2018-09-13 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム
CN109403400A (zh) * 2018-12-11 2019-03-01 南京天辰礼达电子科技有限公司 一种自动铲刀控制系统及控制方法
WO2019054003A1 (ja) * 2017-09-15 2019-03-21 株式会社小松製作所 表示システム、表示方法、及び表示装置
JP2019054465A (ja) * 2017-09-15 2019-04-04 株式会社小松製作所 表示システム、表示方法、及び表示装置
WO2019187565A1 (ja) * 2018-03-28 2019-10-03 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP2019198905A (ja) * 2018-05-14 2019-11-21 株式会社Ihiエアロスペース 画像表示装置、画像表示方法および遠隔操縦システム
JP2019202877A (ja) * 2018-05-25 2019-11-28 株式会社豊田自動織機 産業車両用遠隔操作システム
WO2020003631A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御装置、および表示制御方法
WO2020003632A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御装置、表示制御システムおよび表示制御方法
WO2020003633A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
JP2020033704A (ja) * 2018-08-27 2020-03-05 日立建機株式会社 作業機械
JP2020045688A (ja) * 2018-09-19 2020-03-26 日立建機株式会社 作業機械
JP2020101008A (ja) * 2018-12-21 2020-07-02 株式会社東芝 掘削深さ測定装置、掘削深さ測定方法、および掘削深さ測定プログラム
WO2020241618A1 (ja) * 2019-05-31 2020-12-03 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP2021156000A (ja) * 2020-03-26 2021-10-07 日立建機株式会社 作業機械
WO2022234697A1 (ja) * 2021-05-06 2022-11-10 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
WO2023157707A1 (ja) 2022-02-18 2023-08-24 日立建機株式会社 表示制御装置、及び遠隔操作装置
DE112022000845T5 (de) 2021-03-31 2023-11-16 Komatsu Ltd. Bauverwaltungssystem, Datenverarbeitungsvorrichtung und Bauverwaltungsverfahren
US11908076B2 (en) 2019-05-31 2024-02-20 Komatsu Ltd. Display system and display method
JP7513496B2 (ja) 2020-10-30 2024-07-09 株式会社エビデント 画像表示方法、表示制御装置、およびプログラム

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017170900A1 (ja) * 2016-03-31 2017-10-05 住友建機株式会社 ショベル
JP6468444B2 (ja) * 2016-04-28 2019-02-13 コベルコ建機株式会社 建設機械
CN109716058B (zh) * 2016-10-31 2021-05-14 株式会社小松制作所 测量系统、作业机械及测量方法
EP3604695B1 (en) * 2017-03-31 2021-07-28 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel with display device and image display method in shovel
CN110446816B (zh) * 2017-08-09 2023-01-20 住友建机株式会社 挖土机、挖土机的显示装置及挖土机的显示方法
EP3693829B1 (en) * 2017-08-24 2023-02-22 IHI Corporation Remote control device for a construction machine
CN107740448A (zh) * 2017-11-30 2018-02-27 南京工业大学 一种无人自动化挖掘机智能施工系统
KR102627093B1 (ko) * 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
DE102018200060B4 (de) * 2018-01-04 2024-05-08 Robert Bosch Gmbh Verfahren zum Betreiben einer mobilen Arbeitsmaschine und mobile Arbeitsmaschine
JP6854255B2 (ja) * 2018-03-15 2021-04-07 日立建機株式会社 建設機械
JP7087545B2 (ja) * 2018-03-28 2022-06-21 コベルコ建機株式会社 建設機械
WO2019227194A1 (en) * 2018-06-01 2019-12-05 Motion Metrics International Corp. Method, apparatus and system for monitoring a condition associated with operating heavy equipment such as a mining shovel or excavator
US10801180B2 (en) * 2018-06-11 2020-10-13 Deere & Company Work machine self protection system
JP2020037767A (ja) * 2018-08-31 2020-03-12 株式会社小松製作所 バケット高さ通知装置およびバケット高さ通知方法
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
US11772556B2 (en) 2018-10-31 2023-10-03 Komatsu Ltd. Display control system and display control method
JP7296713B2 (ja) 2018-10-31 2023-06-23 株式会社小松製作所 表示制御システム、表示制御方法および遠隔操作システム
JP7151392B2 (ja) * 2018-11-07 2022-10-12 コベルコ建機株式会社 建設機械の遠隔操作装置
JP7315333B2 (ja) * 2019-01-31 2023-07-26 株式会社小松製作所 建設機械の制御システム、及び建設機械の制御方法
JP7099358B2 (ja) * 2019-02-20 2022-07-12 コベルコ建機株式会社 作業機械用表示システム
JP7287045B2 (ja) * 2019-03-26 2023-06-06 コベルコ建機株式会社 遠隔操作システム
EP3951091A4 (en) * 2019-03-29 2022-06-01 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR AND EXCAVATOR CONTROL DEVICE
US11124942B2 (en) 2019-05-03 2021-09-21 Caterpillar Inc. System for controlling the position of a work implement
JP7351478B2 (ja) * 2019-07-26 2023-09-27 株式会社小松製作所 表示システム、遠隔操作システム、及び表示方法
JP7396875B2 (ja) * 2019-11-27 2023-12-12 株式会社小松製作所 作業機械の制御システム、作業機械、および作業機械の制御方法
KR102415420B1 (ko) * 2019-11-29 2022-07-04 한국생산기술연구원 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법
CN114787453B (zh) * 2019-12-19 2023-07-25 神钢建机株式会社 远程操作装置及远程操作系统
WO2021154111A1 (en) * 2020-01-28 2021-08-05 Limited Liability Company "Topcon Positioning Systems" System and method for controlling an implement on a work machine using machine vision
JP7452038B2 (ja) * 2020-01-30 2024-03-19 コベルコ建機株式会社 作業支援システム
JP7500219B2 (ja) * 2020-02-21 2024-06-17 株式会社小松製作所 作業機械の遠隔操作システム
DE102020206372A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung eines Grabvorgangs mittels eines Löffelbaggers
EP3926107A1 (en) * 2020-06-17 2021-12-22 Volvo Construction Equipment AB A system, an off-board controller and method therein for remote operation of a working machine comprising a tool
US11473270B2 (en) * 2020-08-07 2022-10-18 Caterpillar Inc. System and method for assisting remote operation of a work machine
JP7333551B2 (ja) * 2020-09-29 2023-08-25 株式会社小松製作所 作業機械の画像表示システム
EP4033035A1 (en) * 2021-01-20 2022-07-27 Volvo Construction Equipment AB A system and method therein for remote operation of a working machine comprising a tool
KR20220121612A (ko) * 2021-02-25 2022-09-01 현대두산인프라코어(주) 머신 가이던스 프로그램 및 이를 이용하는 굴삭기
US20220303472A1 (en) * 2021-03-19 2022-09-22 Kobelco Construction Machinery Co., Ltd. Image capturing function control system and image capturing function control method
US20230060815A1 (en) * 2021-08-27 2023-03-02 Caterpillar Inc. Loading Machine with Visual Reference System
KR102605814B1 (ko) * 2021-10-04 2023-11-23 김응조 원격조종이 가능한 운전원 비탑승식 스키드로더
CN118318080A (zh) 2021-12-03 2024-07-09 神钢建机株式会社 图像显示系统、远程操作支援系统及图像显示方法
CN115143930B (zh) * 2022-06-27 2024-05-24 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机
US20240209595A1 (en) 2022-12-22 2024-06-27 Caterpillar Sarl Object visualization in construction heavy equipment

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01165827A (ja) * 1987-12-21 1989-06-29 Mitsui Constr Co Ltd 圧気ケーソン用掘削機
JPH06317090A (ja) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd 3次元表示装置
JPH1136373A (ja) * 1996-11-19 1999-02-09 Caterpillar Inc 作業現場に対し地形変更機械を操作するための方法と装置
JPH11213154A (ja) * 1998-01-27 1999-08-06 Komatsu Ltd 遠隔操縦支援装置
US5996702A (en) * 1995-06-29 1999-12-07 David Hall System for monitoring movement of a vehicle tool
JP2001098585A (ja) * 1999-10-01 2001-04-10 Komatsu Ltd 建設機械の掘削作業ガイダンス装置および掘削制御装置
US20030226290A1 (en) * 2000-05-05 2003-12-11 Savard Hassel J Laser-guided construction equipment
US20050256607A1 (en) * 2004-05-11 2005-11-17 J.C. Bamford Excavators Limited Operator display system
JP2006053922A (ja) * 2004-08-10 2006-02-23 Caterpillar Inc 機械操作者にとっての視認性を高める方法及び装置
JP2008121280A (ja) * 2006-11-13 2008-05-29 Shin Caterpillar Mitsubishi Ltd 掘削状況表示装置付き掘削機械
JP2013113044A (ja) * 2011-11-30 2013-06-10 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械用モニタシステム
WO2014054354A1 (ja) * 2012-10-05 2014-04-10 株式会社小松製作所 掘削機械の表示システム及び掘削機械
WO2014061790A1 (ja) * 2012-10-19 2014-04-24 株式会社小松製作所 油圧ショベルの掘削制御システム
JP2014074318A (ja) * 2012-10-05 2014-04-24 Komatsu Ltd 掘削機械の表示システム及び掘削機械

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001220766A (ja) 2000-02-09 2001-08-17 Shin Caterpillar Mitsubishi Ltd 伸縮アームを備えた作業機械
JP2004294067A (ja) 2003-03-25 2004-10-21 Penta Ocean Constr Co Ltd 無人化施工装置
JP4984384B2 (ja) 2004-10-06 2012-07-25 日本ゼオン株式会社 電極の製造方法
CN100464036C (zh) 2005-03-28 2009-02-25 广西柳工机械股份有限公司 用于液压挖掘机工作装置的轨迹控制系统及方法
JP5667638B2 (ja) * 2010-10-22 2015-02-12 日立建機株式会社 作業機械の周辺監視装置
KR101735116B1 (ko) 2011-01-24 2017-05-15 두산인프라코어 주식회사 건설중장비의 운행정보 기록장치
US8914199B2 (en) 2012-10-05 2014-12-16 Komatsu Ltd. Excavating machine display system and excavating machine
JP6147037B2 (ja) * 2013-03-14 2017-06-14 株式会社トプコン 建設機械制御システム
US10094654B2 (en) * 2014-08-25 2018-10-09 Trimble Navigation Limited All-in-one integrated sensing device for machine control
US9428885B2 (en) * 2014-09-15 2016-08-30 Trimble Navigation Limited Guidance system for earthmoving machinery
EP3168373B1 (en) * 2014-11-14 2019-07-10 Caterpillar Inc. A machine with a system for improving safety

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01165827A (ja) * 1987-12-21 1989-06-29 Mitsui Constr Co Ltd 圧気ケーソン用掘削機
JPH06317090A (ja) * 1993-05-07 1994-11-15 Tokyu Constr Co Ltd 3次元表示装置
US5996702A (en) * 1995-06-29 1999-12-07 David Hall System for monitoring movement of a vehicle tool
JPH1136373A (ja) * 1996-11-19 1999-02-09 Caterpillar Inc 作業現場に対し地形変更機械を操作するための方法と装置
JPH11213154A (ja) * 1998-01-27 1999-08-06 Komatsu Ltd 遠隔操縦支援装置
JP2001098585A (ja) * 1999-10-01 2001-04-10 Komatsu Ltd 建設機械の掘削作業ガイダンス装置および掘削制御装置
US20030226290A1 (en) * 2000-05-05 2003-12-11 Savard Hassel J Laser-guided construction equipment
US20050256607A1 (en) * 2004-05-11 2005-11-17 J.C. Bamford Excavators Limited Operator display system
JP2006053922A (ja) * 2004-08-10 2006-02-23 Caterpillar Inc 機械操作者にとっての視認性を高める方法及び装置
JP2008121280A (ja) * 2006-11-13 2008-05-29 Shin Caterpillar Mitsubishi Ltd 掘削状況表示装置付き掘削機械
JP2013113044A (ja) * 2011-11-30 2013-06-10 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械用モニタシステム
WO2014054354A1 (ja) * 2012-10-05 2014-04-10 株式会社小松製作所 掘削機械の表示システム及び掘削機械
JP2014074318A (ja) * 2012-10-05 2014-04-24 Komatsu Ltd 掘削機械の表示システム及び掘削機械
WO2014061790A1 (ja) * 2012-10-19 2014-04-24 株式会社小松製作所 油圧ショベルの掘削制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岩滝宗一郎: "建設機械の操作支援のための3DCGモデルへのテクスチャマッピングを用いた周囲環境と作業部映像の同時提示シ", 第15回計測自動制御学会システムインテグレーション部門講演会 講演論文集, JPN7020002734, December 2014 (2014-12-01), pages 2106 - 2109, ISSN: 0004341751 *

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017170382A1 (ja) * 2016-03-30 2017-10-05 住友建機株式会社 ショベル
KR102298318B1 (ko) 2016-03-30 2021-09-03 스미토모 겐키 가부시키가이샤 쇼벨 및 쇼벨의 표시장치
US10934689B2 (en) 2016-03-30 2021-03-02 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel
JPWO2017170382A1 (ja) * 2016-03-30 2019-02-07 住友建機株式会社 ショベル
KR20180129815A (ko) * 2016-03-30 2018-12-05 스미토모 겐키 가부시키가이샤 쇼벨
WO2018043301A1 (ja) * 2016-09-02 2018-03-08 株式会社小松製作所 作業機械の画像表示システム
US11634890B2 (en) 2016-09-02 2023-04-25 Komatsu Ltd. Image display system for work machine
CN109661494B (zh) * 2016-09-30 2021-05-18 株式会社小松制作所 作业机械的检测处理装置及作业机械的检测处理方法
JP2018059268A (ja) * 2016-09-30 2018-04-12 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
WO2018062523A1 (ja) * 2016-09-30 2018-04-05 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
CN109661494A (zh) * 2016-09-30 2019-04-19 株式会社小松制作所 作业机械的检测处理装置及作业机械的检测处理方法
US20190253641A1 (en) * 2016-09-30 2019-08-15 Komatsu Ltd. Detection processing device of work machine, and detection processing method of work machine
WO2018146782A1 (ja) * 2017-02-09 2018-08-16 株式会社小松製作所 作業車両及び表示装置
JP6346375B1 (ja) * 2017-02-09 2018-06-20 株式会社小松製作所 作業車両及び表示装置
EP3385458A4 (en) * 2017-02-09 2018-11-14 Komatsu Ltd. Work vehicle and display device
US10668854B2 (en) 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
CN110382793A (zh) * 2017-03-07 2019-10-25 住友重机械工业株式会社 挖土机及施工机械的作业支援系统
KR102455260B1 (ko) 2017-03-07 2022-10-14 스미도모쥬기가이고교 가부시키가이샤 쇼벨 및 건설기계의 작업지원시스템
CN110382793B (zh) * 2017-03-07 2022-04-12 住友重机械工业株式会社 挖土机及施工机械的作业支援系统
KR20190122699A (ko) * 2017-03-07 2019-10-30 스미도모쥬기가이고교 가부시키가이샤 쇼벨 및 건설기계의 작업지원시스템
WO2018164172A1 (ja) * 2017-03-07 2018-09-13 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム
US12031301B2 (en) 2017-03-07 2024-07-09 Sumitomo Heavy Industries, Ltd. Shovel and work support system for construction machine
EP3594415A4 (en) * 2017-03-07 2020-07-29 Sumitomo Heavy Industries, Ltd. SHOVEL AND CONSTRUCTION MACHINE SUPPORT SYSTEM
JPWO2018164172A1 (ja) * 2017-03-07 2020-01-09 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム
US11613873B2 (en) 2017-03-07 2023-03-28 Sumitomo Heavy Industries, Ltd. Shovel and work support system for construction machine
JP2019054464A (ja) * 2017-09-15 2019-04-04 株式会社小松製作所 表示システム、表示方法、及び表示装置
JP2019054465A (ja) * 2017-09-15 2019-04-04 株式会社小松製作所 表示システム、表示方法、及び表示装置
US11230825B2 (en) 2017-09-15 2022-01-25 Komatsu Ltd. Display system, display method, and display apparatus
WO2019054003A1 (ja) * 2017-09-15 2019-03-21 株式会社小松製作所 表示システム、表示方法、及び表示装置
AU2018333193B2 (en) * 2017-09-15 2021-03-18 Komatsu Ltd. Display system, display method, and display device
US11280062B2 (en) 2017-09-15 2022-03-22 Komatsu Ltd. Display system, display method, and display device
US11732439B2 (en) 2018-03-28 2023-08-22 Kobelco Construction Machinery Co., Ltd. Remote control system and main control device
JP2019173379A (ja) * 2018-03-28 2019-10-10 コベルコ建機株式会社 遠隔操作システム及び主操作装置
WO2019187565A1 (ja) * 2018-03-28 2019-10-03 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP7122863B2 (ja) 2018-05-14 2022-08-22 株式会社Ihiエアロスペース 画像表示装置、画像表示方法および遠隔操縦システム
JP2019198905A (ja) * 2018-05-14 2019-11-21 株式会社Ihiエアロスペース 画像表示装置、画像表示方法および遠隔操縦システム
JP2019202877A (ja) * 2018-05-25 2019-11-28 株式会社豊田自動織機 産業車両用遠隔操作システム
US11459735B2 (en) 2018-06-29 2022-10-04 Komatsu Ltd. Display control system, display control device, and display control method
US11427988B2 (en) 2018-06-29 2022-08-30 Komatsu Ltd. Display control device and display control method
US12088968B2 (en) 2018-06-29 2024-09-10 Komatsu Ltd. Display control device, display control system, and display control method
JP7372029B2 (ja) 2018-06-29 2023-10-31 株式会社小松製作所 表示制御装置、表示制御システムおよび表示制御方法
WO2020003631A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御装置、および表示制御方法
JP7285051B2 (ja) 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
WO2020003632A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御装置、表示制御システムおよび表示制御方法
WO2020003633A1 (ja) * 2018-06-29 2020-01-02 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
JP2020002716A (ja) * 2018-06-29 2020-01-09 株式会社小松製作所 表示制御システム、表示制御装置、および表示制御方法
JP2020002717A (ja) * 2018-06-29 2020-01-09 株式会社小松製作所 表示制御装置、表示制御システムおよび表示制御方法
JP7080750B2 (ja) 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
AU2019292457B2 (en) * 2018-06-29 2022-07-28 Komatsu Ltd. Display control device, display control system, and display control method
JP2020002718A (ja) * 2018-06-29 2020-01-09 株式会社小松製作所 表示制御装置、および表示制御方法
JP2020033704A (ja) * 2018-08-27 2020-03-05 日立建機株式会社 作業機械
JP7023813B2 (ja) 2018-08-27 2022-02-22 日立建機株式会社 作業機械
JP2020045688A (ja) * 2018-09-19 2020-03-26 日立建機株式会社 作業機械
JP7065002B2 (ja) 2018-09-19 2022-05-11 日立建機株式会社 作業機械
CN109403400A (zh) * 2018-12-11 2019-03-01 南京天辰礼达电子科技有限公司 一种自动铲刀控制系统及控制方法
JP2020101008A (ja) * 2018-12-21 2020-07-02 株式会社東芝 掘削深さ測定装置、掘削深さ測定方法、および掘削深さ測定プログラム
JP7150588B2 (ja) 2018-12-21 2022-10-11 株式会社東芝 掘削深さ測定装置、掘削深さ測定方法、および掘削深さ測定プログラム
WO2020241618A1 (ja) * 2019-05-31 2020-12-03 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
US11908076B2 (en) 2019-05-31 2024-02-20 Komatsu Ltd. Display system and display method
JP7263127B2 (ja) 2019-05-31 2023-04-24 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP2020197431A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP2021156000A (ja) * 2020-03-26 2021-10-07 日立建機株式会社 作業機械
JP7263287B2 (ja) 2020-03-26 2023-04-24 日立建機株式会社 作業機械
JP7513496B2 (ja) 2020-10-30 2024-07-09 株式会社エビデント 画像表示方法、表示制御装置、およびプログラム
DE112022000845T5 (de) 2021-03-31 2023-11-16 Komatsu Ltd. Bauverwaltungssystem, Datenverarbeitungsvorrichtung und Bauverwaltungsverfahren
WO2022234697A1 (ja) * 2021-05-06 2022-11-10 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
WO2023157707A1 (ja) 2022-02-18 2023-08-24 日立建機株式会社 表示制御装置、及び遠隔操作装置
KR20240130809A (ko) 2022-02-18 2024-08-29 히다찌 겐끼 가부시키가이샤 표시 제어 장치, 및 원격 조작 장치

Also Published As

Publication number Publication date
AU2016227095B2 (en) 2019-03-07
CA2976890A1 (en) 2016-09-09
WO2016140055A1 (ja) 2016-09-09
US20200399869A1 (en) 2020-12-24
JP6777375B2 (ja) 2020-10-28
CN107250466B (zh) 2021-01-15
CA2976890C (en) 2019-10-08
US11384515B2 (en) 2022-07-12
US20180051446A1 (en) 2018-02-22
KR102013761B1 (ko) 2019-08-23
CN107250466A (zh) 2017-10-13
US10829910B2 (en) 2020-11-10
KR20170107076A (ko) 2017-09-22
DE112016001043T5 (de) 2017-11-23
AU2016227095A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
US11384515B2 (en) Image display system for work machine, remote operation system for work machine, and work machine
JP7263127B2 (ja) マップ生成システム及びマップ生成方法
WO2018043301A1 (ja) 作業機械の画像表示システム
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
JP6322612B2 (ja) 施工管理システム及び形状計測方法
JP6585697B2 (ja) 施工管理システム
JP2024028438A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
AU2019202194A1 (en) Construction method, work machine control system, and work machine
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP6606230B2 (ja) 形状計測システム
JP7128497B2 (ja) 作業機械の画像表示システム
JP7344675B2 (ja) 表示システム、遠隔操作システムおよび表示方法
JP7333551B2 (ja) 作業機械の画像表示システム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201008

R150 Certificate of patent or registration of utility model

Ref document number: 6777375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250