JP7114521B2

JP7114521B2 - WORK SUPPORT SYSTEM AND WORK SUPPORT METHOD FOR REMOTE-CONTROLLED ROBOT

Info

Publication number: JP7114521B2
Application number: JP2019065753A
Authority: JP
Inventors: 直孝菅沼; 紘司上田; 俊一川端; 謙司松崎
Original assignee: Toshiba Corp; Toshiba Energy Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Energy Systems and Solutions Corp
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2022-08-08
Anticipated expiration: 2039-03-29
Also published as: JP2020163511A

Description

本発明の実施形態は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具を用いてロボットの作業を支援する遠隔操作ロボットの作業支援システム及び作業支援方法に関する。 TECHNICAL FIELD Embodiments of the present invention relate to a work support system and a work support method for a remote-controlled robot that support the work of a robot using a virtual jig provided in a virtual space to guide work on an object.

遠隔操作ロボットの一つとして、放射線環境など人が立ち入ることができない場所での作業に用いられるマスタースレーブロボットがある。このマスタースレーブロボットは、オペレータ（操作者）がマスターロボットを操作することで、対象物に対する作業をスレーブロボットに実行させるものである。マスターロボットとスレーブロボットの双方の情報は通信により伝送されるため、オペレータが操作したマスターロボットの動作が、スレーブロボットでリアルタイムに再現される特色がある。マスターロボットとスレーブロボットの駆動軸数や軸配置が同じ同構造タイプのほか、マスターロボットは人が操作しやすいようにスレーブロボットとは構造が異なる異構造タイプもある。 One of the remote-controlled robots is a master-slave robot that is used for work in places where humans cannot enter, such as radiation environments. The master-slave robot is operated by an operator (manipulator) to cause the slave robot to perform work on an object. Since the information of both the master robot and the slave robot is transmitted by communication, there is a feature that the action of the master robot operated by the operator is reproduced in real time by the slave robot. In addition to the same structure type in which the number of drive axes and the axis arrangement of the master robot and slave robot are the same, there is also a different structure type in which the master robot has a different structure from the slave robot so that it is easier for people to operate.

マスタースレーブロボットを用いての遠隔作業は、スレーブロボット側に取り付けられたカメラ映像などを基に、オペレータがマスターロボットを操作するのであるが、作業性が悪いことが課題である。例えばピンを穴に挿入するような作業は、遠隔操作では距離感の把握が難しく、更に反力や触覚等の力覚情報が十分得られない場合には、作業自体はおろか対象物への位置決めさえも困難になることがある。 In remote work using a master-slave robot, an operator operates the master robot based on images from a camera attached to the slave robot, but the problem is poor workability. For example, for tasks such as inserting a pin into a hole, it is difficult to grasp the sense of distance with remote control. even can be difficult.

一方、マスターロボットの操作により生成したロボット動作データを用いて、実際の作業空間には存在しない仮想物体モデルにより干渉を検出し、検出結果を反力としてオペレータへ提示する第１の従来システムが提案されている。このシステムにより、目標位置の穴の周囲をコーン形状の仮想ガイドで覆うことで、スレーブロボットの手先で把持しているピンを、仮想ガイドに沿って穴の位置へ誘導することができる。 On the other hand, a first conventional system has been proposed that uses robot motion data generated by the operation of a master robot to detect interference with a virtual object model that does not exist in the actual work space, and presents the detection result to the operator as a reaction force. It is With this system, by covering the hole at the target position with a cone-shaped virtual guide, the pin gripped by the hand of the slave robot can be guided to the hole position along the virtual guide.

また、遠隔操作における自律機能とマニュアル操作機能を組み合わせる手法として、予め登録された作業モデルと物体モデルをオペレータが選択することで、ロボットに搭載されたステレオカメラによって距離画像を計測し、この計測により得られた作業空間内の物体モデルに対して作業を自律的に行う第２の従来システムが提案されている。 In addition, as a method of combining autonomous functions and manual operation functions in remote control, the operator selects a pre-registered work model and object model, and the distance image is measured by the stereo camera mounted on the robot. A second conventional system has been proposed that works autonomously on an object model in the obtained workspace.

特開平８－２５２５４号公報JP-A-8-25254

ところが、第１の従来システムでは、位置情報を示すマーカーを操作開始前に対象物に配置し、カメラによりマーカーを撮像して位置を計測することで、仮想ガイドの位置を修正する処理を行っている。このため、事前の準備が必要になり、放射線環境下などのように対象物に事前準備を行えない環境下では成立し得ない。 However, in the first conventional system, the position of the virtual guide is corrected by placing a marker indicating position information on the target object before starting the operation, and measuring the position by imaging the marker with a camera. there is For this reason, advance preparation is required, and it cannot be established in an environment such as a radiation environment in which advance preparation cannot be performed for the object.

また、第２の従来システムでは、事前の準備をすることなしに対象となる物体に作業を行うことが可能である。ところが、この第２の従来システムでは、遠隔操作と自律作業をある程度明確に区別する必要があり、事前に準備した対象となる物体モデルに対する作業データだけが自律作業の対象になり、試行錯誤しながらの遠隔作業には適さない。また、例え作業を細かく分解して登録したとしても、物体モデルに対する作業データの指示をオペレータが選択することになり、作業効率が低下してしまうと考えられる。 Also, in the second conventional system, it is possible to work on the object of interest without prior preparation. However, in this second conventional system, it is necessary to clearly distinguish between remote operation and autonomous work to some extent. not suitable for remote work. Further, even if the work is broken down into smaller parts and registered, the operator will have to select the instruction of the work data for the object model, which may reduce work efficiency.

本発明の実施形態は、上述の事情を考慮してなされたものであり、仮想治具及び仮想ロボットの支援によりマスターロボットを操作して対象物に対する作業をスレーブロボットに実行させる際に、仮想治具の設置に関する操作者の負担を軽減して作業効率を向上できる遠隔操作ロボットの作業支援システム及び作業支援方法を提供することを目的とする。 The embodiments of the present invention have been made in consideration of the above circumstances. It is an object of the present invention to provide a work support system and a work support method for a remotely controlled robot capable of reducing the burden on an operator for installing tools and improving work efficiency.

本発明の実施形態における遠隔操作ロボットの作業支援システムは、対象物を含む周囲環境を計測する環境計測部と、前記環境計測部の環境計測データから、前記対象物を検出すると共に、前記対象物を含む３次元位置データを作成する環境計測処理部と、前記対象物及び工具に関するデータを格納する対象物データベースと、前記対象物に対する作業に関するデータを格納する作業データベースと、前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するロボット制御部と、前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得する仮想治具生成・取得部と、前記対象物に対応する仮想対象物を含む前記仮想空間、前記仮想ロボット、及び前記仮想治具を表示する表示装置とを有し、マスターロボットが操作されることで、前記対象物に対する前記作業を前記スレーブロボットに実行させる遠隔操作ロボットの作業支援システムであって、前記ロボット制御部は、前記３次元位置データ、前記対象物データベースから選択された前記対象物及び工具に関するデータ、前記作業データベースから選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とするものである。 A work support system for a remote-controlled robot according to an embodiment of the present invention includes an environment measurement unit that measures a surrounding environment including an object, detects the object from environmental measurement data of the environment measurement unit, and an environment measurement processing unit that creates three-dimensional position data including: an object database that stores data on the object and tools; a work database that stores data on work on the object; a robot control unit that creates a virtual space based on the position and motion data of the slave robot, generates a virtual robot based on the position and motion data of the slave robot, and integrates the virtual robot into the virtual space; a virtual jig generation/acquisition unit that generates or acquires one or more types of virtual jigs provided in the virtual space; a display device for displaying tools, and a work support system for a remote-controlled robot that causes the slave robot to perform the work on the object by operating a master robot, wherein the robot control unit comprises: The virtual jig based on the three-dimensional position data, data on the object and tool selected from the object database, data on the work selected from the work database, and position and motion data of the slave robot. It is characterized in that it is configured to determine at least one of the type, shape, size and installation position of the fixture.

本発明の実施形態における遠隔操作ロボットの作業支援方法は、対象物を含む周囲環境を計測する環境計測部の環境計測データから、対象物を検出すると共に、前記対象物を含む３次元位置データを作成するステップと、前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するステップと、前記対象物及び工具に関するデータを対象物データベースから、前記対象物に対する作業に関するデータを作業データベースから、それぞれ選択して取り込むステップと、前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を複数種類生成または取得するステップと、前記仮想治具の種類、形状、寸法及び設置位置を、前記３次元位置データ、前記対象物データベースから選択された前記対象物及び工具に関するデータ、前記作業データベースから選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて選択して決定するステップと、前記仮想ロボット及び前記仮想治具の支援によりマスターロボットを操作することで、前記対象物に対する前記作業を前記スレーブロボットに実行させるステップと、を有することを特徴とするものである。 A work support method for a remote-controlled robot according to an embodiment of the present invention detects an object from environment measurement data of an environment measurement unit that measures the surrounding environment including the object, and calculates three-dimensional position data including the object. creating a virtual space based on the three-dimensional position data, generating a virtual robot based on the position and motion data of the slave robot, integrating the virtual robot into the virtual space; a step of selecting and importing data on tools and data from an object database and data on work on the object from a work database; and a virtual jig provided in the virtual space for guiding the work on the object. and the type , shape, size and installation position of the virtual jig, the three-dimensional position data, the data on the object and tool selected from the object database , and the work database selecting and determining based on data related to the work selected from and the position and motion data of the slave robot; and causing the slave robot to perform the work on the object.

本発明の実施形態によれば、仮想治具及び仮想ロボットの支援によりマスターロボットを操作して対象物に対する作業をスレーブロボットに実行させる際に、仮想治具の設置に関する操作者の負担を軽減して作業効率を向上できる。 According to the embodiment of the present invention, when the master robot is operated with the assistance of the virtual jig and the virtual robot to cause the slave robot to perform the work on the target object, the operator's burden regarding installation of the virtual jig is reduced. can improve work efficiency.

第１実施形態に係る遠隔操作ロボットの作業支援システムを示すブロック図。1 is a block diagram showing a work support system for a remote-controlled robot according to the first embodiment; FIG. 図１の遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムの構成を示す構成図。FIG. 2 is a configuration diagram showing the configuration of a master-slave robot system to which the work support system for remote-controlled robots of FIG. 1 is applied; 図２のマスタースレーブロボットシステムによる配管フランジのボルト着脱作業を説明する説明図。FIG. 3 is an explanatory diagram for explaining bolt attachment/detachment work of a pipe flange by the master-slave robot system of FIG. 2 ; 図３のボルトに対応する仮想ボルトに設置された仮想治具を示す説明図。FIG. 4 is an explanatory diagram showing a virtual jig installed on a virtual bolt corresponding to the bolt in FIG. 3; 図４の仮想治具の絞込作業を説明する説明図。FIG. 5 is an explanatory diagram for explaining the work of narrowing down the virtual jigs in FIG. 4 ; 図１における遠隔操作ロボットの作業支援システムが仮想治具を用いた遠隔操作を行なう場合の作用を示すフローチャート。FIG. 2 is a flow chart showing the action when the work support system for the remote-controlled robot shown in FIG. 1 performs remote control using a virtual jig; FIG. 第２実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる丸鋸を用いた配管切断作業を説明する説明図。FIG. 10 is an explanatory diagram for explaining pipe cutting work using a circular saw by a master-slave robot system to which the work support system for a remote-controlled robot according to the second embodiment is applied; 図７の配管切断作業時に仮想配管に設置された仮想治具を示す説明図。FIG. 8 is an explanatory view showing a virtual jig installed in a virtual pipe during the pipe cutting work of FIG. 7; 第３実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる通過禁止領域を表す仮想治具を示す説明図。FIG. 11 is an explanatory diagram showing a virtual jig representing a passage prohibited area by a master-slave robot system to which the work support system for remote-controlled robots according to the third embodiment is applied;

以下、本発明を実施するための形態を、図面に基づき説明する。 EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated based on drawing.

［Ａ］第１実施形態（図１～図６）
図１は、第１実施形態に係る遠隔操作ロボットの作業支援システムを示すブロック図である。また、図２は、図１の遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムの構成を示す構成図である。マスタースレーブロボットシステム１０に適用される遠隔操作ロボットの作業支援システム２０は、マスターロボット１１が操作者（オペレータ）１により操作されることで、対象物（例えば図３に示す配管フランジ２のボルト３）に対する遠隔操作をスレーブロボット１２に実行させるシステムである。遠隔操作ロボットの作業支援システム２０は、環境計測部２２、環境計測処理部２３、対象物データベース２４、作業データベース２５、仮想治具生成・取得部２６、ロボット制御部２７、及び表示装置としてのディスプレイ２８を有して構成される。 [A] First embodiment (Figs. 1 to 6)
FIG. 1 is a block diagram showing a work support system for remote-controlled robots according to the first embodiment. FIG. 2 is a configuration diagram showing the configuration of a master-slave robot system to which the work support system for remote-controlled robots of FIG. 1 is applied. A work support system 20 for a remote-controlled robot applied to a master-slave robot system 10 operates a master robot 11 by an operator 1 to operate an object (for example, a bolt 3 of a pipe flange 2 shown in FIG. 3). ) to the slave robot 12. A work support system 20 for a remote-controlled robot includes an environment measurement unit 22, an environment measurement processing unit 23, an object database 24, a work database 25, a virtual jig generation/acquisition unit 26, a robot control unit 27, and a display as a display device. 28.

このうちのロボット制御部２７は、マスターロボット制御部３１、スレーブロボット制御部３２、仮想空間作成部３３、仮想ロボット生成部３４、仮想治具決定部３５、仮想治具絞込部３６及び接触力演算部３７を備えてなる。このロボット制御部２７は、１台のコンピュータで構成されてもよいが、マスターロボット制御部３１とスレーブロボット制御部３２とを別々のコンピュータで構成し、これらのいずれかのコンピュータにより仮想空間作成部３３、仮想ロボット生成部３４、仮想治具決定部３５、仮想治具絞込部３６、接触力演算部３７がそれぞれ機能するように構成されてもよい。 The robot control unit 27 includes a master robot control unit 31, a slave robot control unit 32, a virtual space creation unit 33, a virtual robot generation unit 34, a virtual jig determination unit 35, a virtual jig narrowing unit 36, and a contact force control unit 31. It has a computing unit 37 . The robot control unit 27 may be composed of one computer, but the master robot control unit 31 and the slave robot control unit 32 are composed of separate computers, and one of these computers is used to control the virtual space creation unit. 33, the virtual robot generation unit 34, the virtual jig determination unit 35, the virtual jig narrowing unit 36, and the contact force calculation unit 37 may be configured to function.

ここで、マスタースレーブロボットシステム１０では、図２に示すように、操作者１がマスターロボット１１を操作したときの操作データは、マスターロボット１１に接続されたマスターロボット制御部３１に送信され、このマスターロボット制御部３１から通信回線１３を経てスレーブロボット制御部３２に送信される。なお、通信回線１３は、データを双方向に送信可能な通信回線である。スレーブロボット制御部３２は、スレーブロボット１２に接続されており、上述の操作データに基づいてスレーブロボット１２を制御する。 Here, in the master-slave robot system 10, as shown in FIG. 2, operation data when the operator 1 operates the master robot 11 is transmitted to the master robot control section 31 connected to the master robot 11, and this It is transmitted from the master robot control section 31 to the slave robot control section 32 via the communication line 13 . Note that the communication line 13 is a communication line capable of bi-directionally transmitting data. The slave robot control section 32 is connected to the slave robot 12 and controls the slave robot 12 based on the operation data described above.

マスターロボット１１及びスレーブロボット１２は本第１実施形態ではマニピュレータであり、スレーブロボット１２の先端部にエンドエフェクタ1４が設けられている。このエンドエフェクタ１４に、作業に応じて多指ハンドやグリッパ、インパクトレンチ、丸鋸などの工具（作業ツール）が装着される。対象物が例えば図３に示す配管フランジ２のボルト３である場合には、エンドエフェクタ１４にインパクトレンチ１５が装着される。スレーブロボット１２は、インパクトレンチ１５をボルト３に位置決めし回転させることで、ボルト３の着脱作業を行なう。 The master robot 11 and the slave robot 12 are manipulators in the first embodiment, and an end effector 14 is provided at the tip of the slave robot 12 . A tool (work tool) such as a multifingered hand, a gripper, an impact wrench, or a circular saw is attached to the end effector 14 according to the work. When the object is, for example, the bolt 3 of the pipe flange 2 shown in FIG. The slave robot 12 attaches and detaches the bolt 3 by positioning the impact wrench 15 on the bolt 3 and rotating it.

また、スレーブロボット１２には、対象物（例えばボルト３）を含む周囲環境を計測する環境計測部２２が設置されている。この環境計測部２２は、スレーブロボット１２の周囲環境を撮像するためのカメラ、スレーブロボット１２のエンドエフェクタ１４部分を撮像するためのカメラ、またはスレーブロボット１２の周囲環境を、点群データとして計測するための距離画像計測装置などである。この環境計測部２２は、図１及び図２に示すように、環境計測処理部２３を介してロボット制御部２７の例えばスレーブロボット制御部３２に接続される。環境計測部２２がカメラの場合には、このカメラからの画像データが環境計測処理部２３にて圧縮されて、例えばスレーブロボット制御部３２へ送信される。 Also, the slave robot 12 is provided with an environment measurement unit 22 that measures the surrounding environment including the object (for example, the bolt 3). The environment measurement unit 22 measures a camera for imaging the surrounding environment of the slave robot 12, a camera for imaging the end effector 14 portion of the slave robot 12, or the surrounding environment of the slave robot 12 as point cloud data. It is a distance image measuring device for The environment measurement unit 22 is connected to, for example, the slave robot control unit 32 of the robot control unit 27 via the environment measurement processing unit 23, as shown in FIGS. When the environment measurement unit 22 is a camera, the image data from this camera is compressed by the environment measurement processing unit 23 and transmitted to the slave robot control unit 32, for example.

一方、マスターロボット１１付近にはディスプレイ２８が設置される。このディスプレイ２８は、ロボット制御部２７の例えばマスターロボット制御部３１に接続される。ディスプレイ２８には、環境計測部２２のカメラからの画像データが直接、または環境計測処理部２３、スレーブロボット制御部３２及びマスターロボット制御部３１を経て送信されて表示される。 On the other hand, a display 28 is installed near the master robot 11 . This display 28 is connected to the master robot control section 31 of the robot control section 27, for example. The image data from the camera of the environment measurement unit 22 is displayed on the display 28 directly or after being transmitted through the environment measurement processing unit 23, the slave robot control unit 32 and the master robot control unit 31.

カメラ画像による遠隔操作の場合には、操作者１は、ディスプレイ２８の画像を視認しながらマスターロボット１１を操作して、スレーブロボット１２に対象物に対する作業を実行させる。ところが、このカメラ画像による遠隔操作の場合には、特に、スレーブロボット１２のエンドエフェクタ１４に装着されたインパクトレンチ１５等の工具とボルト３などの対象物との位置決めが、奥行き情報やカメラの死角の影響で不十分になる恐れがある。 In the case of remote control using a camera image, the operator 1 operates the master robot 11 while visually recognizing the image on the display 28 to cause the slave robot 12 to perform work on the target object. However, in the case of remote control using this camera image, the positioning of the tool such as the impact wrench 15 attached to the end effector 14 of the slave robot 12 and the target object such as the bolt 3 depends on the depth information and blind spots of the camera. may become inadequate under the influence of

そこで、本第１実施形態では、カメラ画像による遠隔操作と併用してまたは単独で、仮想治具を用いた遠隔操作を実施可能とする。この仮想治具を用いた遠隔操作は、仮想空間上の仮想ロボット及び仮想治具２１（図４）の支援によりマスターロボット１１が操作者１により操作されることで、対象物(例えばボルト３)に対する遠隔作業をスレーブロボット１２に実行させる操作である。以下、この仮想治具を用いた遠隔操作について述べる。 Therefore, in the first embodiment, remote operation using a virtual jig can be performed in combination with remote operation using a camera image or alone. The remote operation using this virtual jig is performed by the operator 1 operating the master robot 11 with the support of the virtual robot in the virtual space and the virtual jig 21 (FIG. 4). This is an operation to cause the slave robot 12 to perform remote work on the . Remote operation using this virtual jig will be described below.

図１に示す環境計測処理部２３は、環境計測部２２の距離画像計測装置からの環境計測データである点群データから、対象物（例えば配管フランジ２のボルト３）を検出すると共に、点群データをノイズフィルタリング処理して３次元位置データに変換する。この３次元位置データは、環境計測部２２の距離画像計測装置にて計測した点群データによるものに限らず、図面などから事前に作成したものであってもよい。環境計測処理部２３にて作成された３次元位置データは、ロボット制御部２７を経てまたは直接ディスプレイ２８へ送信される。なお、環境計測処理部２３は、ロボット制御部２７に組み込まれて構成されてもよい。 The environment measurement processing unit 23 shown in FIG. 1 detects an object (for example, the bolt 3 of the pipe flange 2) from the point cloud data, which is the environment measurement data from the distance image measurement device of the environment measurement unit 22, and detects the point cloud The data is subjected to noise filtering and converted into three-dimensional position data. The three-dimensional position data is not limited to the point cloud data measured by the distance image measuring device of the environment measurement unit 22, and may be created in advance from a drawing or the like. The three-dimensional position data created by the environment measurement processing unit 23 is sent to the display 28 via the robot control unit 27 or directly. Note that the environment measurement processing unit 23 may be configured by being incorporated in the robot control unit 27 .

ロボット制御部２７の仮想空間作成部３３は、環境計測処理部２３にて作成された３次元位置データに基づき、仮想空間（不図示）を作成する。この仮想空間には、対象物に対応した仮想対象物（例えば図４及び図５の仮想ボルト３０Ａ）が含まれる。また、図１に示すロボット制御部２７の仮想ロボット生成部３４は、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、スレーブロボット１２に対応する仮想ロボット（不図示）を生成し更新する。ロボット制御部２７は、仮想ロボット生成部３４にて生成された仮想ロボットを、仮想空間作成部３３により作成された仮想空間に統合する。 A virtual space creation unit 33 of the robot control unit 27 creates a virtual space (not shown) based on the three-dimensional position data created by the environment measurement processing unit 23 . This virtual space includes a virtual object corresponding to the object (for example, the virtual bolt 30A in FIGS. 4 and 5). 1 generates a virtual robot (not shown) corresponding to the slave robot 12 based on the position and motion data of the slave robot 12 held by the slave robot control unit 32. is generated and updated. The robot controller 27 integrates the virtual robot generated by the virtual robot generator 34 into the virtual space created by the virtual space creator 33 .

対象物データベース２４は、図３に示すボルト３や図７に示す配管４、図９に示す構造物５などの対象物に関するデータ、及びこの対象物に対する作業を実施するためにスレーブロボット１２のエンドエフェクタ１４に装着される工具（例えば図３に示すインパクトレンチ１５、図７に示す丸鋸１６、図９に示すグリッパ１７など）に関するデータを格納するデータベースである。また、作業データベース２５は、対象物に対して行なう作業、例えば位置決め作業、ボルト回転作業、配管切断作業などに関するデータを格納したデータベースである。 The object database 24 includes data on objects such as the bolt 3 shown in FIG. 3, the pipe 4 shown in FIG. 7, and the structure 5 shown in FIG. It is a database that stores data related to tools attached to the effector 14 (for example, the impact wrench 15 shown in FIG. 3, the circular saw 16 shown in FIG. 7, the gripper 17 shown in FIG. 9, etc.). The work database 25 is a database that stores data related to work performed on an object, such as positioning work, bolt rotation work, pipe cutting work, and the like.

対象物データベース２４の対象物及び工具に関するデータ、並びに作業データベース２５の作業に対するデータは、ディスプレイ２８に表示される。操作者１がディスプレイ２８に表示された対象物、工具及び作業を表す表示部分を、タッチパネル入力、キーボード入力、マウス入力、音声入力などにより選択すると、この選択された対象物、工具、作業がロボット制御部２７へ送信される。 Data relating to objects and tools in the object database 24 and data to operations in the job database 25 are displayed on the display 28 . When the operator 1 selects the display portion representing the object, tool and work displayed on the display 28 by touch panel input, keyboard input, mouse input, voice input, etc., the selected object, tool and work are displayed on the robot. It is transmitted to the control unit 27 .

仮想治具生成・取得部２６は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具２１(図４)を、１種類もしくは複数種類生成する。または、仮想治具生成・取得部２６は、予め生成された仮想冶具群を格納した仮想治具データベースを備え、仮想治具群から仮想冶具を取得する。この仮想治具２１の生成または取得は、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、並びに作業データベース２５から操作者１により選択された作業に関するデータに基づいて実施される。例えば、図３に示す配管フランジ２のボルト３（対象物）を着脱作業する場合には、スレーブロボット１２に装着されたインパクトレンチ１５（工具）のボルト３への位置決め作業をガイドするための仮想治具２１と、インパクトレンチ１５の回転作業をガイドするための仮想治具(不図示)とが生成または取得される。 The virtual jig generation/acquisition unit 26 generates one or a plurality of types of virtual jigs 21 (FIG. 4) provided in the virtual space to guide the work on the object. Alternatively, the virtual jig generation/acquisition unit 26 has a virtual jig database that stores pre-generated virtual jig groups, and acquires virtual jigs from the virtual jig groups. The generation or acquisition of this virtual jig 21 is performed based on the data on the object and tool selected by the operator 1 from the object database 24 and the data on the work selected by the operator 1 from the work database 25. be. For example, when the bolt 3 (object) of the pipe flange 2 shown in FIG. A jig 21 and a virtual jig (not shown) for guiding the rotation operation of the impact wrench 15 are generated or acquired.

仮想治具生成・取得部２６により生成または取得された仮想治具２１と、仮想ロボット生成部３４にて生成された仮想ロボットとの接触力は、ロボット制御部２７の接触力演算部３７にて演算される。この接触力は、マスターロボット制御部３１を介してマスターロボット１１へ出力され、操作者１に対し力覚や触覚などの情報として提示される。これにより、操作者１は、仮想治具２１に接触する感覚を得ることが可能になる。 The contact force between the virtual jig 21 generated or acquired by the virtual jig generation/acquisition unit 26 and the virtual robot generated by the virtual robot generation unit 34 is calculated by the contact force calculation unit 37 of the robot control unit 27. calculated. This contact force is output to the master robot 11 via the master robot control unit 31 and presented to the operator 1 as information such as a sense of force and a sense of touch. As a result, the operator 1 can get the sensation of touching the virtual jig 21 .

ディスプレイ２８は、前述の如く、環境計測部２２であるカメラからの画像を表示すると共に、仮想空間作成部３３にて作成された仮想空間（仮想対象物を含む）に、仮想ロボット生成部３４にて生成された仮想ロボットと、仮想治具生成・取得部２６にて生成または取得され且つ仮想治具決定部３５にて後述のように決定された仮想治具２１とが統合された画像を表示する。 As described above, the display 28 displays an image from the camera, which is the environment measurement unit 22, and displays the virtual space (including the virtual object) created by the virtual space creation unit 33 in the virtual robot creation unit 34. and the virtual jig 21 generated or obtained by the virtual jig generation/acquisition unit 26 and determined as described later by the virtual jig determination unit 35 are displayed. do.

ロボット制御部２７の仮想治具決定部３５は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つを選択する。 The virtual jig determination unit 35 of the robot control unit 27 receives the three-dimensional position data generated by the environment measurement processing unit 23, the data on the object and tool selected by the operator 1 from the object database 24, and the work database 25. at least one of the type, shape, size, and installation position of the virtual jig 21 based on the data related to the work selected by the operator 1 from and the position and operation data of the slave robot 12 held by the slave robot control unit 32 to select.

例えば、仮想治具決定部３５は、３次元位置データ、作業に関するデータ、並びにスレーブロボット１２の位置及び動作データから、図３及び図４に示すように、スレーブロボット１２に装着された工具（インパクトレンチ１５）が対象物（ボルト３）に接近していると判断した場合には、位置決め用のコーン形状の仮想治具２１を決定し、また、対象物及び工具に関するデータからの工具の寸法データから仮想治具２１の形状及び寸法を決定し、更に、３次元位置データから仮想治具２１の設置位置を決定する。この仮想治具２１は、対象物に対応して仮想空間に設けられる仮想対象物（仮想ボルト３０Ａ）の全てに設置される。 For example, the virtual jig determination unit 35 determines a tool (impact tool) attached to the slave robot 12 as shown in FIGS. When it is determined that the wrench 15) is approaching the object (bolt 3), a cone-shaped virtual jig 21 for positioning is determined, and the dimension data of the tool is obtained from the data on the object and the tool. The shape and dimensions of the virtual jig 21 are determined from the data, and the installation position of the virtual jig 21 is determined from the three-dimensional position data. The virtual jigs 21 are installed on all virtual objects (virtual bolts 30A) provided in the virtual space corresponding to the objects.

図１に示すロボット制御部２７の仮想治具絞込部３６は、環境計測処理部２３にて作成された３次元位置データ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、図３及び図４に示すように、環境計測処理部２３で検出された複数の対象物（例えばボルト３）に対して、スレーブロボット１２（またはこのスレーブロボット１２のエンドエフェクタ１４に装着されたインパクトレンチ１５）に最も近傍の対象物（ボルト３）に対応する仮想対象物（仮想ボルト３０Ａ）に設置された仮想治具２１を優先して「有効」に設定し、仮想治具２１の絞り込みを行なう。 The virtual jig narrowing unit 36 of the robot control unit 27 shown in FIG. 3 and 4, the slave robot 12 (or the end effector 14 of the slave robot 12) detects a plurality of objects (for example, bolts 3) detected by the environment measurement processing unit 23. The virtual jig 21 installed on the virtual object (virtual bolt 30A) corresponding to the object (bolt 3) closest to the mounted impact wrench 15) is preferentially set to “effective”, and the virtual jig 21 is set to “effective”. 21 is narrowed down.

例えば、図３及び図５に示すように、仮想治具絞込部３６は、スレーブロボット１２に装着されたインパクトレンチ１５に最も近傍のボルト３に対応する仮想ボルト３０ＡＸに設置された仮想治具２１Ｘを「有効」に設定し、他の複数の仮想ボルト２１を「無効」に設定する。「無効」に設定された仮想治具２１であっても、スレーブロボット１２に装着されたインパクトレンチ１５に対して最も近傍のボルト３に対応した仮想ボルト３０Ａになった場合には、この仮想ボルト３０Ａに設置された仮想治具２１が仮想治具絞込部３６により「有効」に設定されることになる。 For example, as shown in FIGS. 3 and 5, the virtual jig narrowing-down unit 36 is a virtual jig installed on the virtual bolt 30AX corresponding to the bolt 3 closest to the impact wrench 15 attached to the slave robot 12. 21X is set to "valid" and the other virtual vaults 21 are set to "invalid". Even if the virtual jig 21 is set to "invalid", if the virtual bolt 30A corresponding to the bolt 3 closest to the impact wrench 15 attached to the slave robot 12 is used, this virtual bolt The virtual jig 21 installed in 30A is set to "valid" by the virtual jig screening unit .

次に、遠隔操作ロボットの作業支援システム２０が仮想治具２１を用いた遠隔操作を実施する場合の作用について、特に図６により説明する。
環境計測処理部２３は、環境計測部２２が計測した環境計測データ（例えば点群データ）から対象物（例えば配管フランジ２のボルト３）を検出すると共に、対象物の位置データを含む３次元位置データを作成する（Ｓ１）。 Next, the action when the work support system 20 for the remote controlled robot performs remote control using the virtual jig 21 will be described with particular reference to FIG.
The environment measurement processing unit 23 detects an object (for example, the bolt 3 of the pipe flange 2) from the environment measurement data (for example, point cloud data) measured by the environment measurement unit 22, and detects a three-dimensional position including the position data of the object. Create data (S1).

次に、ロボット制御部２７の仮想空間作成部３３は、環境計測処理部２３からの３次元位置データに基づいて仮想空間を作成する（Ｓ２）。また、ロボット制御部２７の仮想ロボット生成部３４は、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づき仮想ロボットを生成する。この仮想ロボットは、仮想ロボット生成部３４またはロボット制御部２７により仮想空間に統合される（Ｓ３）。 Next, the virtual space creation section 33 of the robot control section 27 creates a virtual space based on the three-dimensional position data from the environment measurement processing section 23 (S2). Also, the virtual robot generator 34 of the robot controller 27 generates a virtual robot based on the position and motion data of the slave robot 12 held by the slave robot controller 32 . This virtual robot is integrated into the virtual space by the virtual robot generator 34 or the robot controller 27 (S3).

ロボット制御部２７は、操作者１により選択された対象物データベース２４からの対象物及び工具に関するデータと作業データベース２５からの作業に関するデータとを入力する（Ｓ４）。これらの入力された対象物及び工具に関するデータ、並びに作業に関するデータに基づいて、仮想治具生成・取得部２６は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具２１を、１種類または複数種類生成しまたは取得する（Ｓ５）。 The robot control unit 27 inputs the data on the object and the tool from the object database 24 selected by the operator 1 and the data on the work from the work database 25 (S4). Based on the input data regarding the object and tools, and the data regarding the work, the virtual jig generation/acquisition unit 26 creates the virtual jig 21 provided in the virtual space to guide the work on the object. One type or a plurality of types are generated or acquired (S5).

次に、ロボット制御部２７の仮想治具決定部３５は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具２１の種類、形状及び寸法の少なくとも一つを決定し、この決定した仮想治具２１を、仮想ロボットが統合された仮想空間上で、仮想対象物（例えば仮想ボルト３０Ａ）の位置に設置する（Ｓ６）。 Next, the virtual jig determination unit 35 of the robot control unit 27 obtains the three-dimensional position data generated by the environment measurement processing unit 23, the object and tool data selected by the operator 1 from the object database 24, At least one of the type, shape, and size of the virtual jig 21 is determined based on the data related to the work selected by the operator 1 from the work database 25 and the position and motion data of the slave robot 12 held by the slave robot control unit 32. is determined, and the determined virtual jig 21 is installed at the position of the virtual object (for example, the virtual bolt 30A) in the virtual space where the virtual robots are integrated (S6).

次に、ロボット制御部２７の仮想治具絞込部３６は、複数の仮想対象物（例えば仮想ボルト３０Ａ）のそれぞれに仮想治具２１が設置されている場合には、スレーブロボット１２に最も近傍の対象物に対応する仮想対象物に設置された仮想治具２１、つまり、仮想ロボットに最も近傍の仮想対象物（例えば仮想ボルト３０ＡＸ）に設置された仮想治具２１を「有効」として、仮想治具２１の絞り込みを行う（Ｓ７）。 Next, the virtual jig narrowing unit 36 of the robot control unit 27 selects the virtual jig 21 closest to the slave robot 12 when the virtual jig 21 is installed on each of a plurality of virtual objects (for example, virtual bolts 30A). , i.e., the virtual jig 21 installed on the virtual object closest to the virtual robot (for example, the virtual bolt 30AX) is set as "valid", and the virtual The jig 21 is narrowed down (S7).

その後、操作者１は、仮想空間、仮想ロボット及び仮想治具２１が表示されたディスプレイ２８を視認しながらマスターロボット１１を操作して、仮想空間上で仮想ロボットを仮想治具２１のガイドにより仮想対象物（例えば仮想ボルト３０Ａ）に対して動作させることで、現実空間においてスレーブロボット１２を対象物（例えばボルト３）に対して作業（例えば位置決め作業）させる（Ｓ８）。 After that, the operator 1 operates the master robot 11 while viewing the display 28 on which the virtual space, the virtual robot, and the virtual jig 21 are displayed, and virtualizes the virtual robot in the virtual space with the guide of the virtual jig 21. The slave robot 12 is caused to work (for example, positioning work) for the target (for example, the bolt 3) in the real space by operating it for the target (for example, the virtual bolt 30A) (S8).

以上のように構成されたことから、本第１実施形態によれば、次の効果（１）及び（２）を奏する。
（１）図１、図３及び図４に示すように、対象物（例えばボルト３）に対する作業（例えば位置決め作業）をガイドするために仮想空間に設けられる仮想治具２１は、仮想治具生成・取得部２６により、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、並びに作業データベース２５から操作者１により選択された作業に関するデータに基づいて生成または取得される。そして、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つは、ロボット制御部２７の仮想治具決定部３５により、環境計測処理部２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて決定される。 With the configuration as described above, according to the first embodiment, the following effects (1) and (2) are obtained.
(1) As shown in FIGS. 1, 3 and 4, a virtual jig 21 provided in a virtual space for guiding work (for example, positioning work) on an object (for example, a bolt 3) is created by creating a virtual jig. The acquisition unit 26 generates or acquires data on the object and the tool selected by the operator 1 from the object database 24 and data on the work selected by the operator 1 from the work database 25 . At least one of the type, shape, size, and installation position of the virtual jig 21 is determined by the virtual jig determination unit 35 of the robot control unit 27, and the three-dimensional position data created by the environment measurement processing unit 23, the object Data related to objects and tools selected by the operator 1 from the object database 24, data related to work selected by the operator 1 from the work database 25, and position and motion data of the slave robot 12 held by the slave robot control unit 32. determined based on

従って、仮想治具２１の例えば設置位置を決定するために、マーカーを事前に配置したり、操作者１が仮想治具２１の設置位置に関して指示を与えたりする必要がない。この結果、仮想治具２１の設置に関する操作者の負担を軽減でき、マスターロボット１１の操作によりスレーブロボット１２を対象物（例えばボルト３）に対して作業（例えば位置決め作業）させる遠隔作業の作業効率を向上させることができる。 Therefore, in order to determine, for example, the installation position of the virtual jig 21, there is no need to place a marker in advance or to give an instruction regarding the installation position of the virtual jig 21 by the operator 1. FIG. As a result, the burden on the operator for installing the virtual jig 21 can be reduced, and the work efficiency of the remote work in which the master robot 11 is operated to operate the slave robot 12 on the target object (for example, the bolt 3) (for example, positioning work). can be improved.

（２）図１、図３及び図５に示すように、複数の仮想対象物（例えば仮想ボルト３０Ａ）にそれぞれ設置された複数の仮想治具２１は、ロボット制御部２７の仮想治具絞込部３６により、環境計測処理部２３にて作成された３次元位置データ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、スレーブロボット１２に最も近傍の対象物（例えばボルト３）に対応する仮想対象物（例えば仮想ボルト３０Ａ）に設置された仮想治具２１（即ち、仮想ロボットに最も近傍の仮想対象物に設置された仮想治具２１）が優先して「有効」に設定されて絞り込まれる。このため、仮想治具２１が複数存在する場合にも、操作者１が作業の度に仮想治具２１を指定する必要がないので、この点からも、操作者１の負担を軽減でき、マスターロボット１１の操作によるスレーブロボット１２の遠隔作業の作業効率を、より一層向上させることができる。また、不要な仮想冶具２１は有効としないことで、演算負荷を軽減することができる。 (2) As shown in FIGS. 1, 3, and 5, a plurality of virtual jigs 21 respectively installed on a plurality of virtual objects (for example, virtual bolts 30A) are used by the robot control unit 27 to narrow down the virtual jigs. Based on the three-dimensional position data created by the environment measurement processing unit 23 and the position and motion data of the slave robot 12 held by the slave robot control unit 32, the unit 36 detects the nearest object ( For example, the virtual jig 21 installed on the virtual object (for example, the virtual bolt 30A) corresponding to the bolt 3) (i.e., the virtual jig 21 installed on the virtual object closest to the virtual robot) is prioritized. Enabled” and narrowed down. Therefore, even if there are a plurality of virtual jigs 21, the operator 1 does not need to specify the virtual jig 21 for each operation. The work efficiency of the remote work of the slave robot 12 by the operation of the robot 11 can be further improved. Further, by not validating unnecessary virtual jigs 21, the computational load can be reduced.

なお、操作者１が作業データベース２５から作業に関するデータを選択する代わりに、ロボット制御部２７の仮想治具決定部３５は、マスターロボット１１にジェスチャーを実行させたときのマスターロボット１１の動作データに基づいて作業を推測して作業に関するデータを求め、これにより、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つを決定してもよい。 Note that instead of the operator 1 selecting work-related data from the work database 25, the virtual jig determination unit 35 of the robot control unit 27 selects the motion data of the master robot 11 when the master robot 11 is caused to execute a gesture. At least one of the type, shape, size, and installation position of the virtual jig 21 may be determined based on the data about the work by estimating the work.

また、仮想治具生成・取得部２６は、スレーブロボット１２に設置された接触センサ(不図示)からのデータや、スレーブロボット１２自身に作用する負荷（例えばモータ電流など）のデータに基づいて、一度接触した箇所に、次回の接触を禁止させる壁（ブロック）のような仮想治具を生成してもよい。この場合、制御ロボット２７の仮想治具決定部３５は、３次元位置データ、及び上述の接触センサのデータ等に基づいて、次回接触禁止用の仮想治具を、スレーブロボット１２が一度接触した箇所に設置する。これにより、ディスプレイ２８に表示される仮想空間には、スレーブロボット１２が一度接触した箇所に上述の仮想治具が自動で設定されるので、操作者１は、この仮想治具を視認することで、スレーブロボット１２が一度接触した箇所を再び接触させることなく、スレーブロボット１２に作業を実施させることができる。 In addition, the virtual jig generation/acquisition unit 26, based on data from a contact sensor (not shown) installed in the slave robot 12 and data on the load acting on the slave robot 12 itself (for example, motor current), A virtual jig such as a wall (block) that prohibits the next contact may be generated at the location where contact has been made once. In this case, the virtual jig determination unit 35 of the control robot 27 selects a virtual jig for prohibiting contact next time based on the three-dimensional position data, the data of the contact sensor, and the like. to be installed. As a result, in the virtual space displayed on the display 28, the above-described virtual jig is automatically set at the location where the slave robot 12 touched once. , the slave robot 12 can be caused to perform the work without contacting again the location where the slave robot 12 once touched.

［Ｂ］第２実施形態（図１、図７、図８）
図７は、第２実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる丸鋸を用いた配管切断作業を説明する説明図である。この第２実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。 [B] Second embodiment (Figs. 1, 7 and 8)
FIG. 7 is an explanatory diagram for explaining pipe cutting work using a circular saw by a master-slave robot system to which the work support system for remote-controlled robots according to the second embodiment is applied. In the second embodiment, the same parts as in the first embodiment are denoted by the same reference numerals as in the first embodiment, so that the explanation is simplified or omitted.

本第２実施形態の遠隔操作ロボットの作業支援システム４０が前記第１実施形態と異なる点は、対象物が配管４であり、工具が丸鋸１６であり、作業が、丸鋸１６を用いて配管４を切断する配管切断作業であり、仮想治具４１（図８）が、丸鋸１６を配管４の同一箇所に同一姿勢（傾き）で繰り返し接触させて切断させる際にガイドとなる平面形状の仮想治具である点である。 The work support system 40 for a remote-controlled robot of the second embodiment differs from the first embodiment in that the object is the pipe 4, the tool is the circular saw 16, and the work is performed using the circular saw 16. This is a pipe cutting work for cutting the pipe 4, and the virtual jig 41 (FIG. 8) has a planar shape that serves as a guide when the circular saw 16 is repeatedly brought into contact with the same portion of the pipe 4 in the same posture (inclination) and cut. is a virtual jig for

本第２実施形態の遠隔操作ロボットの作業支援システム４０(図１)におけるロボット制御部４２の仮想治具生成・取得部４３は、対象物を配管４とし、工具を丸鋸１６とする対象物及び工具データ、並びに配管切断作業を内容とする作業データに基づいて、平面形状の仮想治具４１を生成し、または仮想治具データベースから該当する仮想治具４１を取得する。 The virtual jig generation/acquisition unit 43 of the robot control unit 42 in the work support system 40 ( FIG. 1 ) for the remote-controlled robot of the second embodiment uses the piping 4 as the target object and the circular saw 16 as the tool. Also, based on the tool data and work data containing pipe cutting work, a planar virtual jig 41 is generated, or the corresponding virtual jig 41 is acquired from the virtual jig database.

また、ロボット制御部４２の仮想治具決定部４４は、仮想治具４１の種類、形状、寸法及び設置位置の少なくとも一つを、環境計測処理部２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データ、並びにスレーブロボット１２の作業動作により取得されたデータに基づいて決定する。 In addition, the virtual jig determination unit 44 of the robot control unit 42 determines at least one of the type, shape, size, and installation position of the virtual jig 41 from the three-dimensional position data created by the environment measurement processing unit 23, the object Data about the object and tools selected by the operator 1 from the object database 24, data about the work selected by the operator 1 from the work database 25, position and motion data of the slave robot 12 held by the slave robot control unit 32, Also, it is determined based on the data acquired by the work operation of the slave robot 12 .

つまり、仮想治具決定部４４は、配管切断作業を内容とする作業に関するデータから、配管切断をガイドする種類の仮想治具、即ち仮想治具４１を決定する。また、仮想治具決定部４４は、３次元位置データと、スレーブロボット１２が丸鋸１６を用いて配管４を最初に切削したときのスレーブロボット１２の作業動作により得られた切削痕１８の位置データとから、仮想治具４１の設置位置を決定する。この仮想治具４１の設置位置は、配管４に対応した仮想対象物としての仮想配管３０Ｂ(図８)における上記切削痕１８に対応した仮想切削痕位置１９である。 In other words, the virtual jig determining unit 44 determines the type of virtual jig that guides the cutting of the pipe, ie, the virtual jig 41, from the data related to the pipe cutting work. In addition, the virtual jig determination unit 44 stores the three-dimensional position data and the position of the cut mark 18 obtained by the work operation of the slave robot 12 when the slave robot 12 cuts the pipe 4 using the circular saw 16 for the first time. Based on the data, the installation position of the virtual jig 41 is determined. The installation position of the virtual jig 41 is a virtual cut mark position 19 corresponding to the cut mark 18 in a virtual pipe 30B (FIG. 8) as a virtual object corresponding to the pipe 4. FIG.

なお、切削痕１８の位置データは、具体的には、環境計測２２により計測されたデータ、またはスレーブロボット１２に設置されたセンサ(不図示)により丸鋸１６が配管４に接触したことを検知したときのスレーブロボット１２の位置データ等から求められる。 The position data of the cut mark 18 is, specifically, the data measured by the environmental measurement 22 or the sensor (not shown) installed in the slave robot 12 detecting that the circular saw 16 has come into contact with the pipe 4. It can be obtained from the position data of the slave robot 12 when

また、仮想治具決定部４４は、配管４及び丸鋸１６の直径データを内容とする対象物及び工具に関するデータから仮想治具４１の寸法を決定する。更に、仮想治具決定部４４は、スレーブロボット１２が丸鋸１６を用いて配管４を最初に切断したときのスレーブロボット１２の姿勢データ（即ち丸鋸１６の傾きデータ）を内容とするスレーブロボット１２の位置及び動作データに基づいて、仮想治具４１の形状、即ち仮想治具４１の傾きを決定する。 The virtual jig determination unit 44 also determines the dimensions of the virtual jig 41 from the data on the objects and tools including the diameter data of the pipe 4 and the circular saw 16 . Furthermore, the virtual jig determining unit 44 is a slave robot having posture data (that is, inclination data of the circular saw 16) when the slave robot 12 first cuts the pipe 4 using the circular saw 16. 12, the shape of the virtual jig 41, that is, the inclination of the virtual jig 41 is determined.

以上のように構成されたことから、本第２実施形態によれば、第１実施形態の効果（１）と同様な効果を奏するほか、次の効果（３）を奏する。 With the configuration as described above, according to the second embodiment, the following effect (3) can be obtained in addition to the same effect as the effect (1) of the first embodiment.

（３）操作者１が、スレーブロボット１２を動作させて配管４に丸鋸１６の切削痕１８を最初に形成すれば、この最初に切削痕１８を形成したときの丸鋸１６の傾きと同一の傾きの平面形状の仮想治具４１が仮想治具生成・取得部４３により生成または取得され、この仮想治具４１が仮想治具決定部４４により、配管４に対応した仮想配管３０Ｂにおいて切削痕１８に対応した仮想切削痕位置１９に設置される。 (3) If the operator 1 operates the slave robot 12 to first form the cut mark 18 of the circular saw 16 on the pipe 4, the inclination of the circular saw 16 is the same as when the cut mark 18 was first formed. A virtual jig 41 having a planar shape with an inclination of 18 is installed at a virtual cutting mark position 19 corresponding to 18 .

従って、操作者１は、ディスプレイ２８に表示された仮想空間上で、スレーブロボット１２に対応する仮想ロボットに設けられた丸鋸１６に対応する仮想工具を仮想治具４１に沿って繰り返し動作させれば、現実空間における丸鋸１６を、配管４の切削痕１８の位置に同一の傾きを保持して繰り返し投入して、配管４を切断できる。この結果、丸鋸１６を用いた配管４の切断作業を、操作者１が丸鋸１６の位置及び傾きを細かく調整することなく、容易且つ確実に実施できる。 Therefore, the operator 1 repeatedly operates the virtual tool corresponding to the circular saw 16 provided on the virtual robot corresponding to the slave robot 12 along the virtual jig 41 in the virtual space displayed on the display 28 . For example, the pipe 4 can be cut by repeatedly throwing the circular saw 16 in the real space at the position of the cutting mark 18 of the pipe 4 while maintaining the same inclination. As a result, the operator 1 can easily and reliably cut the pipe 4 using the circular saw 16 without finely adjusting the position and inclination of the circular saw 16 .

［Ｃ］第３実施形態（図９）
図９は、第３実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる通過禁止領域を表す仮想治具を示す説明図である。この第３実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。 [C] Third embodiment (Fig. 9)
FIG. 9 is an explanatory diagram showing a virtual jig representing a passage prohibited area by a master-slave robot system to which the work support system for remote-controlled robots according to the third embodiment is applied. In the third embodiment, parts similar to those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, thereby simplifying or omitting the description.

本第３実施形態の遠隔操作ロボットの作業支援システム５０が第１実施形態と異なる点は、対象物が、狭隘空間を有して隣接配置された構造物５であり、作業が、スレーブロボット１２のエンドエフェクタ１４に装着されたグリッパ１７などの工具及びスレーブロボット１２を構造物５間の狭隘空間内で作業させるものであり、仮想治具５１が、工具及びスレーブロボット１２の寸法よりも狭い狭隘空間に対して工具及びスレーブロボット１２の通過を禁止するための通過禁止領域を表す仮想治具である点である。 A work support system 50 for a remote-controlled robot according to the third embodiment differs from the first embodiment in that the target object is the structure 5 that is adjacently arranged with a narrow space, and the work is performed by the slave robot 12 The tool such as the gripper 17 attached to the end effector 14 of the above and the slave robot 12 are operated in a narrow space between the structures 5, and the virtual jig 51 is narrower than the dimensions of the tool and the slave robot 12. The point is that it is a virtual jig representing a passage prohibited area for prohibiting passage of the tool and the slave robot 12 with respect to the space.

本第３実施形態の遠隔操作ロボットの作業支援システム５０(図１)におけるロボット制御部５２の仮想治具生成・取得部５３は、狭隘空間を有して隣接配置された構造物５を対象物とする対象物及び工具データ、並びにスレーブロボット１２に装着された工具及びスレーブロボット１２を、隣接配置された構造物５間の狭隘空間内で作業させることを内容とする作業データに基づいて、工具(例えばグリッパ１７)及びスレーブロボット１２の上記狭隘空間への通過禁止領域を表す仮想治具５１を生成し、または仮想治具データベースから該当する仮想治具５１を取得する。 The virtual jig generation/acquisition unit 53 of the robot control unit 52 in the work support system 50 (FIG. 1) for a remote-controlled robot according to the third embodiment selects the structure 5, which is adjacently arranged in a narrow space, as an object. Based on the object and tool data as well as the work data for causing the tool and the slave robot 12 mounted on the slave robot 12 to work in the narrow space between the adjacently arranged structures 5, the tool A virtual jig 51 representing an area where passage of (for example, the gripper 17) and the slave robot 12 into the narrow space is prohibited is generated, or the corresponding virtual jig 51 is acquired from the virtual jig database.

ロボット制御部５２の仮想治具決定部５４は、工具及びスレーブロボット１２の通過禁止領域を表す仮想治具５１の種類、形状、寸法及び設置位置の少なくとも一つを、環境計測処理物２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベースから操作者１により選択された作業に関するデータ、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データ、並びにスレーブロボット１２の寸法に関するデータに基づいて決定する。 The virtual jig determination unit 54 of the robot control unit 52 determines at least one of the type, shape, size, and installation position of the virtual jig 51 representing the passage prohibited area for the tool and the slave robot 12 from the environmental measurement processing object 23. Created three-dimensional position data, data on objects and tools selected by the operator 1 from the object database 24, data on work selected by the operator 1 from the work database, slaves held by the slave robot control unit 32 The determination is based on robot 12 position and motion data and data on slave robot 12 dimensions.

つまり、仮想治具決定部５４は、スレーブロボット１２のエンドエフェクタ１４に装着された工具及びスレーブロボット１２を、隣接配置された構造物５間の狭隘空間内で作業させることを内容とする作業に関するデータから、構造物５間の狭隘空間への工具(例えばグリッパ１７)及びスレーブロボット１２の通過を禁止する通過禁止領域を表す種類の仮想治具５１を決定する。 In other words, the virtual jig determining unit 54 is related to the operation of making the slave robot 12 and the tool attached to the end effector 14 of the slave robot 12 work in the narrow space between the adjacently arranged structures 5. From the data, a type of virtual fixture 51 is determined that represents a no-passage zone that prohibits passage of tools (eg grippers 17) and slave robots 12 into tight spaces between structures 5. FIG.

また、仮想治具決定部５４は、スレーブロボット１２の位置及び動作データと３次元位置データとから、スレーブロボット１２の周囲に存在する構造物５間の狭隘空間の寸法に関するデータを求める。そして、仮想治具決定部５４は、上記狭隘空間の寸法に関するデータと、対象物及び工具に関するデータからの工具(例えばグリッパ１７)の寸法に関するデータと、スレーブロボット１２の寸法に関するデータとを用いて、工具及びスレーブロボット１２の少なくとも一方の寸法が上記狭隘空間の寸法よりも大きいか否かを判断する。 The virtual jig determining unit 54 also obtains data on the dimensions of the narrow space between the structures 5 existing around the slave robot 12 from the position and motion data of the slave robot 12 and the three-dimensional position data. Then, the virtual jig determination unit 54 uses the data on the dimensions of the narrow space, the data on the dimensions of the tool (for example, the gripper 17) from the data on the object and the tool, and the data on the dimensions of the slave robot 12. , determines whether the size of at least one of the tool and the slave robot 12 is greater than the size of the narrow space.

工具(例えばグリッパ１７)及びスレーブロボット１２の少なくとも一方の寸法が構造物５間の狭隘空間寸法よりも大きい場合に、仮想治具決定部５４は、工具及びスレーブロボット１２の当該狭隘空間への通過を禁止する通過禁止領域を表す仮想治具５１の設置位置を決定する。この設置位置は、工具(例えばグリッパ１７)及びスレーブロボット１２の少なくとも一方の寸法よりも小さな寸法の狭隘空間を有する隣接した構造物５に対応する仮想対象物としての仮想構造物３０Ｃ間の狭隘空間である。 If the dimension of at least one of the tool (for example, the gripper 17) and the slave robot 12 is larger than the dimension of the narrow space between the structures 5, the virtual jig determination unit 54 determines whether the tool and the slave robot 12 can pass through the narrow space. is determined. This installation position is the narrow space between the virtual structures 30C as virtual objects corresponding to the adjacent structure 5 having the narrow space with dimensions smaller than the dimensions of at least one of the tool (for example, the gripper 17) and the slave robot 12. is.

更に、仮想治具決定部５４は、３次元位置データから、仮想治具５１が設置される狭隘空間を有する仮想構造物３０Ｃに対応した現実空間の構造物５間の狭隘空間の寸法を求め、この狭隘空間の寸法に基づき仮想治具５１の形状及び寸法を決定する。 Furthermore, the virtual jig determining unit 54 obtains the dimensions of the narrow space between the structures 5 in the real space corresponding to the virtual structure 30C having the narrow space in which the virtual jig 51 is installed, from the three-dimensional position data, The shape and dimensions of the virtual jig 51 are determined based on the dimensions of this narrow space.

以上のように構成されたことから、本第３実施形態においても、第１実施形態の効果（１）と同様な効果を奏するほか、次の効果（４）を奏する。 Due to the configuration as described above, the third embodiment also has the same effect as the effect (1) of the first embodiment, and also has the following effect (4).

（４）スレーブロボット１２に工具(例えばグリッパ１７)を装着して隣接配置された構造物５間の狭隘空間内で作業する場合、構造物５間の狭隘空間の寸法よりもスレーブロボット１２と工具の少なくとも一方の寸法が大きいときには、上記狭隘空間を有する構造物５に対応する仮想空間上の仮想構造物３０Ｃの狭隘空間に仮想治具５１が設置される。このため、操作者１は、上記仮想空間が表示されたディスプレイ２８を視認して、仮想ロボット及び仮想工具を仮想治具５１に接触しないように動作させることで、現実空間においてスレーブロボット１２及び工具を構造物５に干渉させることなく、構造物５間の狭隘空間内で作業させることができる。 (4) When a tool (for example, a gripper 17) is attached to the slave robot 12 and work is performed in a narrow space between adjacent structures 5, the size of the narrow space between the structures 5 is larger than that of the slave robot 12 and the tool. is large, the virtual jig 51 is installed in the narrow space of the virtual structure 30C in the virtual space corresponding to the structure 5 having the narrow space. For this reason, the operator 1 visually recognizes the display 28 on which the virtual space is displayed, and operates the virtual robot and the virtual tool so that they do not come into contact with the virtual jig 51, thereby allowing the slave robot 12 and the tool to operate in the real space. can work in a narrow space between the structures 5 without interfering with the structures 5.

なお、本第３実施形態を走行移動型のマスタースレーブロボットに適用してもよい。例えば、走行移動するスレーブロボットの寸法が扉の寸法よりも大きな場合には、上記扉に対応する仮想空間上の仮想扉に通過禁止を表す仮想治具を設置する。これにより、仮想空間において仮想ロボットが上記仮想治具に接触しないようにすることで、現実空間において、移動するスレーブロボットが通過不可能な扉に干渉する事態を回避できる。 Note that the third embodiment may be applied to a running movement type master-slave robot. For example, when the size of the slave robot that runs and moves is larger than the size of the door, a virtual jig indicating passage prohibition is installed on the virtual door in the virtual space corresponding to the door. Thus, by preventing the virtual robot from contacting the virtual jig in the virtual space, it is possible to prevent the moving slave robot from interfering with a door that cannot pass through in the real space.

［Ｄ］第４実施形態（図１）
この第４実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。 [D] Fourth Embodiment (Fig. 1)
In the fourth embodiment, the same parts as in the first embodiment are denoted by the same reference numerals as in the first embodiment to simplify or omit the description.

本第４実施形態の遠隔操作ロボットの作業支援システム６０では、ロボット制御部１１は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具を生成または取得し且つこの仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するための一連の作業データを学習させ、または予め規定することで、仮想治具の生成または取得処理と、仮想治具の種類、形状、寸法及び設置位置の少なくとも一つの決定処理とを自律的に実行可能に構成させてもよい。ここで、上記学習は、ディープラーニング等の機械学習や強化学習である。 In the remote controlled robot work support system 60 of the fourth embodiment, the robot control unit 11 uses the three-dimensional position data generated by the environment measurement processing unit 23, the object selected by the operator 1 from the object database 24, and the A virtual jig is generated or acquired based on data on objects and tools, data on work selected by the operator 1 from the work database 25, and position and motion data of the slave robot 12 held by the slave robot control unit 32. By learning or prescribing a series of work data for determining at least one of the type, shape, size and installation position of the virtual jig, the virtual jig generation or acquisition process and the virtual jig At least one of the type, shape, size and installation position of the tool may be autonomously executed. Here, the learning is machine learning such as deep learning or reinforcement learning.

これにより、対象物（例えばボルト３）及び工具（例えばインパクトレンチ１５）を決め、且つスレーブロボット１２の位置及び動作データが決まった状況下では、複数の作業（例えば位置決め作業、ボルト回転作業、周囲の構造物に干渉させないでの狭隘空間内の作業）を操作者１が選択しなくても、ロボット制御部６１はその作業を推定できる。更に、ロボット制御部６１は、その推定した作業に対応する種類の仮想治具（位置決め用仮想治具、対象物と工具の回転軸を一致させるための仮想治具、通過禁止領域を表す仮想治具など）を自律的に生成または取得し、その仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを自律的に決定することができる。 Thus, in a situation where the object (for example, the bolt 3) and the tool (for example, the impact wrench 15) have been determined, and the position and motion data of the slave robot 12 have been determined, a plurality of operations (for example, positioning, bolt rotation, peripheral Even if the operator 1 does not select the work in a narrow space without interfering with other structures, the robot control unit 61 can estimate the work. Furthermore, the robot control unit 61 selects a virtual jig of a type corresponding to the estimated work (a virtual jig for positioning, a virtual jig for matching the rotation axis of the object and the tool, a virtual jig representing the passage prohibited area). jig, etc.), and autonomously determines at least one of the type, shape, size, and installation position of the virtual jig.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができ、また、それらの置き換えや変更は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the invention have been described above, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention, and these replacements and changes can be made. is included in the scope and gist of the invention, and is included in the scope of the invention described in the claims and its equivalents.

１…操作者、３…ボルト（対象物）、４…配管（対象物）、５…構造物（対象物）、１０…マスタースレーブロボットシステム、１１…マスターロボット、１２…スレーブロボット、１５…インパクトレンチ（工具）、１６…丸鋸（工具）、１８…切削痕、２０…遠隔操作ロボットの作業支援システム、２１、２１Ｘ…仮想治具、２２…環境計測部、２３…環境計測処理部、２４…対象物データベース、２５…作業データベース、２６…仮想治具生成・取得部、２７…ロボット制御部、２８…ディスプレイ（表示装置）、３０Ａ、３０ＡＸ…仮想ボルト（仮想対象物）、３０Ｂ…仮想配管（仮想対象物）、３０Ｃ…仮想構造物（仮想対象物）、３１…マスターロボット制御部、３２…スレーブロボット制御部、３３…仮想空間作成部、３４…仮想ロボット生成部、３５…仮想治具決定部、３６…仮想治具絞込部、４０…遠隔操作ロボットの作業支援システム、４１…仮想治具、４３…仮想治具生成・取得部、４４…仮想治具決定部、５０…遠隔操作ロボットの作業支援システム、５１…仮想治具、５３…仮想治具生成・取得部、５４…仮想治具決定部、６０…遠隔操作ロボットの作業支援システム、６１…ロボット制御部 DESCRIPTION OF SYMBOLS 1... Operator, 3... Bolt (object), 4... Piping (object), 5... Structure (object), 10... Master-slave robot system, 11... Master robot, 12... Slave robot, 15... Impact Wrench (tool) 16 Circular saw (tool) 18 Cut marks 20 Work support system for remote-controlled robot 21, 21X Virtual jig 22 Environment measurement unit 23 Environment measurement processing unit 24 Object database 25 Work database 26 Virtual jig generation/acquisition unit 27 Robot control unit 28 Display (display device) 30A, 30AX Virtual bolt (virtual object) 30B Virtual piping (virtual object), 30C... virtual structure (virtual object), 31... master robot control unit, 32... slave robot control unit, 33... virtual space creation unit, 34... virtual robot generation unit, 35... virtual jig Determination unit 36 Virtual jig narrowing unit 40 Work support system for remote controlled robot 41 Virtual jig 43 Virtual jig generation/acquisition unit 44 Virtual jig determination unit 50 Remote operation Work support system for robot 51 Virtual jig 53 Virtual jig generation/acquisition unit 54 Virtual jig determination unit 60 Work support system for remote control robot 61 Robot control unit

Claims

an environment measurement unit that measures the surrounding environment including the object;
an environment measurement processing unit that detects the object from the environment measurement data of the environment measurement unit and creates three-dimensional position data including the object;
an object database that stores data about the objects and tools;
a work database that stores data related to work on the object;
a robot control unit that creates a virtual space based on the three-dimensional position data, generates a virtual robot based on the position and motion data of the slave robot, and integrates the virtual robot into the virtual space;
a virtual jig generation/acquisition unit that generates or acquires one or more types of virtual jigs provided in the virtual space to guide the work on the object;
a display device for displaying the virtual space including the virtual object corresponding to the object, the virtual robot, and the virtual jig;
A work support system for a remote-controlled robot that causes the slave robot to perform the work on the object by operating the master robot,
The robot controller controls the three-dimensional position data, data on the object and tool selected from the object database, data on the work selected from the work database, and position and motion data of the slave robot. A work support system for a remote-controlled robot, wherein at least one of the type, shape, size and installation position of the virtual jig is determined based on the above.

Based on the three-dimensional position data created by the environment measurement processing unit and the position and motion data of the slave robot held by the robot control unit, the robot control unit detects a plurality of values detected by the environment measurement processing unit. With respect to the object, a virtual jig installed on the virtual object corresponding to the object closest to the slave robot is preferentially set to be effective, and the virtual jigs are narrowed down. A work support system for a remote-controlled robot according to claim 1, characterized in that:

The robot control unit controls three-dimensional position data created by the environment measurement processing unit, data related to objects and tools selected from a target object database, data related to work selected from a work database, and data held by the robot control unit. The type, shape, size and installation of the virtual jig created or acquired by the virtual jig generation/acquisition unit based on the position and motion data of the slave robot and the data acquired by the work motion of the slave robot 2. The work support system for a remotely controlled robot according to claim 1, wherein the work support system is configured to determine at least one of the positions.

The robot control unit controls three-dimensional position data created by the environment measurement processing unit, data related to objects and tools selected from a target object database, data related to work selected from a work database, and data held by the robot control unit. to determine at least one of the type, shape, size, and installation position of a virtual jig representing the movement-prohibited area of the slave robot, based on the position and motion data of the slave robot and the data on the dimensions of the slave robot. 2. A work support system for a remote-controlled robot according to claim 1, wherein:

The robot control unit controls three-dimensional position data created by the environment measurement processing unit, data related to objects and tools selected from a target object database, data related to work selected from a work database, and the robot control unit Learning a series of work data for generating or acquiring a virtual jig and determining at least one of the type, shape, size and installation position of this virtual jig based on the position and motion data of the slave robot that it possesses The processing for generating or obtaining the virtual jig and the processing for determining at least one of the type, shape, size, and installation position of the virtual jig can be autonomously executed. A work support system for a remote-controlled robot according to claim 1.

a step of detecting an object from environment measurement data of an environment measurement unit that measures the surrounding environment including the object and creating three-dimensional position data including the object;
a step of creating a virtual space based on the three-dimensional position data, generating a virtual robot based on the position and motion data of the slave robot, and integrating the virtual robot into the virtual space;
a step of selecting and importing data on the object and the tool from an object database and data on work on the object from a work database;
a step of generating or acquiring a plurality of types of virtual jigs provided in the virtual space to guide the work on the object;
The type, shape, size, and installation position of the virtual jig, the three-dimensional position data, the data regarding the object and tool selected from the object database , the data regarding the work selected from the work database , and selecting and determining based on position and motion data of the slave robot;
and a step of causing the slave robot to perform the work on the object by operating the master robot with the assistance of the virtual robot and the virtual jig.