[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2017191351A - Work support system and method - Google Patents

Work support system and method Download PDF

Info

Publication number
JP2017191351A
JP2017191351A JP2016078581A JP2016078581A JP2017191351A JP 2017191351 A JP2017191351 A JP 2017191351A JP 2016078581 A JP2016078581 A JP 2016078581A JP 2016078581 A JP2016078581 A JP 2016078581A JP 2017191351 A JP2017191351 A JP 2017191351A
Authority
JP
Japan
Prior art keywords
work
worker
dimensional data
data
work space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016078581A
Other languages
Japanese (ja)
Other versions
JP6643170B2 (en
Inventor
浩彦 佐川
Hirohiko Sagawa
浩彦 佐川
辰哉 鈴木
Tatsuya Suzuki
辰哉 鈴木
佳生 山村
Yoshio Yamamura
佳生 山村
敏彰 柴田
Toshiaki Shibata
敏彰 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016078581A priority Critical patent/JP6643170B2/en
Publication of JP2017191351A publication Critical patent/JP2017191351A/en
Application granted granted Critical
Publication of JP6643170B2 publication Critical patent/JP6643170B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To support a worker so as to properly perform confirmation of a work result performed by the worker.SOLUTION: A user terminal 201 comprises: a storage device for storing a work space model of a work space including an attachment object body which is a work object present in a work space, a component model of a component to be attached to the attachment object body, and work manual data indicating a work procedure of one or more work steps; a depth sensor 204 for acquiring three-dimensional data of the work space which is viewed from the worker, in a period when the worker performs the work; and a central processing unit. The central processing unit outputs the work procedure of each work step, on the basis of the work manual data, compares the attachment object body and the model of the component related to the first work step, with three-dimensional data of the work space acquired by the depth sensor 204, then determines whether or not a finish condition of visual inspection confirmation work of the first work step, is satisfied, and when the finish condition is not satisfied, outputs a guidance for satisfying the finish condition.SELECTED DRAWING: Figure 2

Description

本発明は、製品の組み立てや設備の保守等の各種作業において、作業に必要な情報を作業者に提示することにより作業者を支援する、作業支援システムに関するものである。   The present invention relates to a work support system that supports an operator by presenting information necessary for the operation to the operator in various operations such as product assembly and facility maintenance.

製品の組み立てや設備の保守等の各種作業においては、作業が適切に完了したか否かの確認を作業者が行う必要がある。その際、必要な箇所を見落としなく確認を行うための支援が必要である。また、作業を実施した箇所や対象物を撮影した写真等により、作業結果を保存する場合もあるが、この場合も、作業後に確認を行うために必要な箇所の写真等が適切に取得されるよう、作業者を支援することが望ましい。   In various operations such as product assembly and equipment maintenance, it is necessary for an operator to check whether the operation has been properly completed. At that time, it is necessary to provide support for confirming the necessary parts without overlooking them. In addition, the work result may be saved depending on the place where the work is performed or a photograph of the object, etc. In this case, too, the photograph of the place necessary for checking after the work is appropriately acquired. It is desirable to assist workers.

近年、実世界を映した映像上の適切な位置に他の画像や文字等の仮想情報を提示することにより、使用者による実世界の理解を補助する技術である拡張現実感と呼ばれる技術が注目されている(例えば、非特許文献1)。拡張現実感を用いることにより、作業者が見ている作業空間上に作業を実施する対象物の位置を3次元的に提示することができる。このように提示された対象物の位置は確認を行う必要がある場所でもあることから、作業結果の確認の支援を目的として使用することも可能である。さらに、対象物の位置を表示する際に、対象物の場所に作業者の視線を誘導するような3次元的な表示も可能である。   In recent years, a technology called Augmented Reality, which is a technology that assists users in understanding the real world by presenting virtual information such as other images and characters at appropriate positions on images that reflect the real world, has attracted attention. (For example, Non-Patent Document 1). By using augmented reality, it is possible to present the position of an object to be worked in a three-dimensional manner on the work space that the worker is looking at. Since the position of the object presented in this way is also a place that needs to be confirmed, it can be used for the purpose of assisting the confirmation of the work result. Furthermore, when displaying the position of the object, three-dimensional display that guides the operator's line of sight to the place of the object is also possible.

例えば、特許文献1及び特許文献2では、3次元CADデータや3次元の目標データと、3次元計測機やステレオ画像により取得した3次元データとの差分を求めることにより、作業の進捗を判定する技術が記載されている。さらに特許文献2では、目標データと取得した3次元データとを重畳表示させることにより、目標とするデータとの差分を視覚化する技術が記載されている。   For example, in Patent Document 1 and Patent Document 2, the progress of work is determined by obtaining a difference between 3D CAD data or 3D target data and 3D data acquired by a 3D measuring instrument or a stereo image. The technology is described. Further, Patent Document 2 describes a technique for visualizing a difference between target data by superimposing and displaying target data and acquired three-dimensional data.

特許文献3では、データベース中の写真と新たに取得した写真を比較し、差異をハイライト表示する技術が記載されている。   Patent Document 3 describes a technique for comparing a photograph in a database with a newly acquired photograph and highlighting the difference.

特許文献4及び特許文献5では、非特許文献1にある拡張現実感技術において、状況に応じて、現実空間上に重ね合わせる情報を変える技術が記載されている。例えば、特許文献4では対象の位置・方向に基づいて情報の内容を変化させる技術が、特許文献5では作業者の手を検出し、その有無で表示の色や透過度を変える技術がそれぞれ示されている。   Patent Document 4 and Patent Document 5 describe a technique of changing the information to be superimposed on the real space according to the situation in the augmented reality technology in Non-Patent Document 1. For example, Patent Document 4 shows a technique for changing the content of information based on the position and direction of an object, and Patent Document 5 shows a technique for detecting a worker's hand and changing the display color and transparency depending on the presence or absence of the hand. Has been.

特開平9−133519号公報JP-A-9-133519 特開2002−352224号公報JP 2002-352224 A 特許5740884号公報Japanese Patent No. 5740884 特願2009−55575号公報Japanese Patent Application No. 2009-55575 特願2010−269635号公報Japanese Patent Application No. 2010-269635

「特集 拡張現実感」、情報処理学会誌、Vol.51、No.4、2010年“Feature Augmented Reality”, Journal of Information Processing Society, Vol. 51, no. 4, 2010

非特許文献1の技術を用いることにより、確認が必要な箇所や対象物に対して、作業者の視線を誘導することが可能となる。また、特許文献1、特許文献2及び特許文献3の技術を用いることにより、3次元の目標データや3次元CADデータと作業完了後の対象物の状態との差異を作業者が認識することが可能である。   By using the technique of Non-Patent Document 1, it is possible to guide the operator's line of sight to a location or an object that needs to be confirmed. In addition, by using the techniques of Patent Document 1, Patent Document 2, and Patent Document 3, the operator can recognize the difference between the three-dimensional target data and the three-dimensional CAD data and the state of the object after the work is completed. Is possible.

しかしながら、これらの技術では、作業者が特定の箇所や対象物のどの部分を確認し、どの部分を確認していないかを判定し、確認していない部分を作業者に提示することができない。   However, with these techniques, it is impossible for the worker to check which part of the specific part or target object is checked and which part is not checked, and to show the unchecked part to the worker.

また、非特許文献1の技術では、作業者が見ている作業空間上に対象物の位置を3次元的に提示することができるため、確認すべき場所を特定できた場合に、作業者の視線をその箇所に誘導する技術として有効であると考えられる。   In the technique of Non-Patent Document 1, since the position of the object can be presented three-dimensionally on the work space that the worker is looking at, when the place to be confirmed can be identified, It is considered effective as a technique for guiding the line of sight to that point.

しかしながら、作業者と対象物との距離が近いような場合、表示装置によっては、必要な箇所が表示領域内に納まらないことがある。このような場合、逆に、作業者が状況を把握しづらくなる可能性がある。   However, when the distance between the worker and the object is short, a necessary portion may not be within the display area depending on the display device. In such a case, conversely, it may be difficult for the operator to grasp the situation.

また、非特許文献1の技術では、作業者と作業空間の位置関係を推定する処理を行うが、その処理が適切に実施されない場合、情報がまったく提示されなくなるという問題もある。   Further, in the technique of Non-Patent Document 1, a process for estimating the positional relationship between the worker and the work space is performed. However, if the process is not appropriately performed, there is a problem that information is not presented at all.

特許文献4及び特許文献5では、状況に基づいて提示する情報の内容を変化させているが、現実空間上への重ね合わせ表示のみを対象としているため、上記のような状況に対しては十分な方法であるとは言えない。   In Patent Document 4 and Patent Document 5, the content of the information to be presented is changed based on the situation, but only the superimposed display on the real space is targeted, so that the above situation is sufficient. It cannot be said that it is a simple method.

そこで、本発明の目的は、作業者が行う作業結果の確認を適切に遂行できるように作業者を支援する技術を提供することにある。   Accordingly, an object of the present invention is to provide a technique for assisting an operator so that confirmation of an operation result performed by the operator can be appropriately performed.

本発明のさらに別の目的は、作業結果の確認を支援するための情報を作業者に分かりやすく提供することである。   Still another object of the present invention is to provide an operator with easy-to-understand information for supporting confirmation of work results.

本発明の一つの実施態様に従う作業支援システムは、作業空間内にある、作業対象の被取付体及び前記被取付体に取り付ける部品の3次元データと、1以上の作業工程の作業手順を示す作業マニュアルデータと、を記憶する記憶装置と、作業者が作業を行っている間、前記作業者から見える作業空間の3次元データを取得する3次元データ取得装置と、中央処置装置と、を備える。前記中央処理装置は、前記記憶手段に記憶されている作業マニュアルデータに基づいて、各作業工程の作業手順を出力させる処理と、前記記憶手段に記憶されている、第1の作業工程に係る被取付体及び部品の3次元データと、前記3次元データ取得装置が取得した作業空間の3次元データとを比較し、第1の作業工程の目視確認作業の終了条件を満たすか否かを判定する処理と、前記判定で前記終了条件が満たされないときは、前記終了条件を満たすためのガイダンスを出力させる処理と、を行う。   A work support system according to one embodiment of the present invention is a work that shows three-dimensional data of a work body to be attached and parts to be attached to the work body and work procedures of one or more work processes in the work space. A storage device that stores manual data, a three-dimensional data acquisition device that acquires three-dimensional data of a work space that is visible to the worker while the worker is working, and a central treatment device. The central processing unit is configured to output a work procedure of each work process based on work manual data stored in the storage means, and to perform a process related to the first work process stored in the storage means. The three-dimensional data of the attachment body and the part is compared with the three-dimensional data of the work space acquired by the three-dimensional data acquisition device, and it is determined whether or not the end condition of the visual confirmation work in the first work process is satisfied. A process and a process of outputting guidance for satisfying the end condition when the end condition is not satisfied in the determination are performed.

好適な実施態様では、前記中央処理装置は、さらに、前記3次元データ取得装置の位置及び姿勢を推定し、前記推定の結果に基づいて前記第1の作業工程に係る被取付体及び部品の3次元データと、前記作業空間の3次元データとをマッチングさせる処理を行ってよい。前記目視確認作業の終了条件は、前記第1の作業工程に係る被取付体及び部品の3次元データと前記作業空間の3次元データとの差分が所定の閾値以下でよい。   In a preferred embodiment, the central processing unit further estimates the position and orientation of the three-dimensional data acquisition device and, based on the result of the estimation, 3 of the mounted body and the part related to the first work process. A process of matching the dimensional data with the three-dimensional data of the work space may be performed. The condition for ending the visual confirmation work may be that a difference between the three-dimensional data of the mounted body and the part related to the first work process and the three-dimensional data of the work space is not more than a predetermined threshold.

好適な実施態様では、前記終了条件を満たすためのガイダンスは、前記作業者が見る視点及び視線の方向を示すものでよい。   In a preferred embodiment, the guidance for satisfying the end condition may indicate a viewpoint and a line-of-sight direction viewed by the worker.

好適な実施態様では、前記作業者が見る視点は、前記第1の作業工程に係る被取付体及び部品の3次元データにあって前記作業空間の3次元データにない領域であってよい。   In a preferred embodiment, the viewpoint viewed by the worker may be a region that is in the three-dimensional data of the mounted body and the part related to the first work process but not in the three-dimensional data of the work space.

好適な実施態様では、前記作業者によって装着されるヘッドマウントディスプレイをさらに備えてよい。前記終了条件を満たすためのガイダンスは、前記ヘッドマウントディスプレイを通して前記作業者から見える作業空間において、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向を、前記ヘッドマウントディスプレイに表示する第1の表示態様と、前記取付体及び前記部品を含むCG画像において前記作業者が見る前記被取付体または前記部品の位置及び視線の方向をコンピュータグラフィックスで前記ヘッドマウントディスプレイに表示する第2の表示態様と、のいずれかの表示態様で出力されてよい。   In a preferred embodiment, the apparatus may further include a head mounted display worn by the operator. Guidance for satisfying the termination condition is displayed on the head mounted display in the work space that is visible to the worker through the head mounted display, the position of the attached body or the part viewed by the worker and the direction of the line of sight. A first display mode for displaying the position of the attached body or the part and the direction of the line of sight as seen by the worker in the CG image including the attachment body and the part on the head mounted display by computer graphics. It may be output in any one of the two display modes.

好適な実施態様では、前記ガイダンスは、(1)〜(4)のいずれかが満たされるとき、前記第2の表示態様で出力されてよい。
(1)前記作業者と前記部品の距離が所定以下であるとき
(2)前記作業者が見る前記被取付体または前記部品の位置を遮蔽するまたは遮蔽するおそれがある物があるとき
(3)第1の表示態様では、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向の表示が前記ヘッドマウントディスプレイに収まらないとき
(4)前記マッチングを行っても前記第1の作業工程に係る被取付体及び部品の3次元データと前記作業空間の3次元データとのズレが所定以上であるとき
In a preferred embodiment, the guidance may be output in the second display mode when any one of (1) to (4) is satisfied.
(1) When the distance between the worker and the part is equal to or less than a predetermined value (2) When there is an object that shields or may shield the position of the mounted body or the part viewed by the worker (3) In the first display mode, when the display of the position of the attached body or the part and the direction of the line of sight seen by the worker does not fit in the head mounted display. (4) Even if the matching is performed, the first work When the deviation between the three-dimensional data of the mounted body and the part related to the process and the three-dimensional data of the work space is greater than or equal to a predetermined value

好適な実施態様では、前記中央処理装置は、さらに、前記判定で前記終了条件が満たされるときは、第1の作業工程の次の第2の作業工程の作業手順を出力させてよい。   In a preferred embodiment, the central processing unit may further output a work procedure of a second work process subsequent to the first work process when the end condition is satisfied in the determination.

好適な実施態様では、前記中央処理装置は、さらに、前記判定で前記終了条件が満たされたときは、前記作業空間の3次元データを前記記憶装置に保存してよい。   In a preferred embodiment, the central processing unit may further store the three-dimensional data of the work space in the storage device when the termination condition is satisfied in the determination.

本発明によれば、作業者が行う作業結果の確認を適切に遂行できるように作業者を支援することができる。   ADVANTAGE OF THE INVENTION According to this invention, an operator can be supported so that confirmation of the work result which an operator performs can be performed appropriately.

また、本発明によれば、作業結果の確認を支援するための情報を作業者に分かりやすく提供することができる。   Further, according to the present invention, information for supporting confirmation of the work result can be provided to the worker in an easily understandable manner.

本発明の第1の実施形態に係る作業支援システムを実現するための情報処理装置のハードウェア構成の一例An example of a hardware configuration of an information processing apparatus for realizing the work support system according to the first embodiment of the present invention 本実施形態における作業支援システムの利用シーンの一例Example of usage scene of work support system in this embodiment デプスセンサにより取得される作業空間データのフォーマットの一例An example of the format of workspace data acquired by the depth sensor 作業者のビュー及びそれに対応する領域の作業空間データの一例140Example of worker's view and workspace data of corresponding area 140 部品モデル及び作業空間モデルを点群データの形式で保存する場合のデータフォーマットの一例Example of data format when saving part model and workspace model in the form of point cloud data 点群データとして設備を表した場合のイメージImage when equipment is represented as point cloud data 部品モデル及び作業空間モデルをポリゴンの形式で保存する場合のデータフォーマットの一例Example of data format when saving part model and workspace model in polygon format 作業マニュアルデータのデータフォーマットの一例Example of data format of work manual data 作業支援の手順を示すフローチャートFlow chart showing work support procedure 位置及び姿勢の推定の説明図Illustration of position and orientation estimation 確認状態判定プログラムで実行される処理のフローチャートFlow chart of processing executed by the confirmation status determination program 作業空間データが不足している部品モデル上の領域を特定する処理の説明図Explanatory drawing of the processing to identify the area on the part model that lacks work space data 作業者が見るべき方向を決定する処理の説明図Explanatory drawing of processing to determine the direction to be viewed by the operator 作業者に見るべき位置及び方向を提示する方法の一例An example of a method for presenting the position and direction to be viewed to the worker 本発明の第2の実施形態に係る作業支援システムの構成図The block diagram of the work assistance system which concerns on the 2nd Embodiment of this invention. 作業履歴のデータフォーマットの一例Example of work history data format 第2の実施形態で実行される処理の流れを表すシーケンス図Sequence diagram showing the flow of processing executed in the second embodiment

以下、本発明の実施形態に係る作業支援システムについて図面を参照して説明する。本実施形態に係る作業支援システムは、例えば、組み立て作業を行う作業者に対して作業手順などの情報を提供して作業を支援する。   Hereinafter, a work support system according to an embodiment of the present invention will be described with reference to the drawings. The work support system according to the present embodiment supports work by providing information such as work procedures to a worker who performs assembly work, for example.

図1は、本発明を適用した第1の実施形態に係る作業支援システムを実現するための情報処理装置のハードウェア構成の一例を示す。   FIG. 1 shows an example of a hardware configuration of an information processing apparatus for realizing a work support system according to a first embodiment to which the present invention is applied.

図1において、情報処理装置は、中央処理装置101と、入力装置102と、出力装置103と、記憶装置104と、を備える。   In FIG. 1, the information processing apparatus includes a central processing unit 101, an input device 102, an output device 103, and a storage device 104.

中央処理装置101が各種のプログラムを実行する。   The central processing unit 101 executes various programs.

入力装置102は、作業を実施する設備や対象物を含む空間に関するデータを作業空間データとして入力する装置である。本実施形態では、作業空間データを入力する装置102は、対象物までの距離を画素値とする距離画像を取得するデプスセンサ204でよい。また、入力装置102は、例えば、キーボード、マウス、タッチパネル等の一般的なコンピュータにおける入力装置を含んでもよい。   The input device 102 is a device for inputting data relating to a space including equipment and objects for performing work as work space data. In the present embodiment, the device 102 for inputting work space data may be a depth sensor 204 that acquires a distance image having a pixel value as a distance to an object. The input device 102 may include an input device in a general computer such as a keyboard, a mouse, and a touch panel.

出力装置103は情報を作業者へ提示する装置であり、HMD(ヘッドマウントディスプレイ)205と呼ばれる頭部装着型の表示装置でよい。   The output device 103 is a device that presents information to the worker, and may be a head-mounted display device called an HMD (head mounted display) 205.

記憶装置104は、作業管理プログラム105、位置姿勢推定プログラム106、確認状態判定プログラム107、及び表示内容生成プログラム108を記憶する。各プログラムは中央処理装置101により実行されることで以下に説明する機能が実現される。   The storage device 104 stores a work management program 105, a position / orientation estimation program 106, a confirmation state determination program 107, and a display content generation program 108. Each program is executed by the central processing unit 101 to realize the functions described below.

記憶装置104は、さらに、作業マニュアルデータ800と、部品モデル120と、作業空間モデル130と、作業空間データ140とを有する。   The storage device 104 further includes work manual data 800, a part model 120, a work space model 130, and work space data 140.

作業管理プログラム105は、位置姿勢推定プログラム106、確認状態判定プログラム107、及び表示内容生成プログラム108の実行を制御し、作業者に提示する情報を管理するプログラムである。作業管理プログラム105は、例えば、作業マニュアルデータ800に基づいて、各作業工程の作業手順を出力させよい。作業管理プログラム105は、一つの作業工程の終了条件が満たされるときは、次の作業工程の作業手順を出力させてよい。   The work management program 105 is a program that controls execution of the position / orientation estimation program 106, the confirmation state determination program 107, and the display content generation program 108 and manages information presented to the worker. For example, the work management program 105 may output the work procedure of each work process based on the work manual data 800. The work management program 105 may output the work procedure of the next work process when the end condition of one work process is satisfied.

位置姿勢推定プログラム106は、作業空間データ1400と作業空間モデル1300の対応関係を求めることにより、デプスセンサ204と作業空間との位置関係を推定するプログラムである。位置姿勢推定プログラム106は、デプスセンサ204の位置及び姿勢を推定し、その推定の結果に基づいて被取付体及び部品の3次元データと、作業空間の3次元データとをマッチングさせる。   The position / orientation estimation program 106 is a program that estimates the positional relationship between the depth sensor 204 and the work space by obtaining the correspondence between the work space data 1400 and the work space model 1300. The position / orientation estimation program 106 estimates the position and orientation of the depth sensor 204, and matches the three-dimensional data of the mounted body and the part with the three-dimensional data of the work space based on the estimation result.

確認状態判定プログラム107は、位置姿勢推定プログラム106により推定されたデプスセンサ204と作業空間との位置関係に基づいて、作業者が対象物に対して確認を行った部分を推定するプログラムである。例えば、確認状態判定プログラム107は、被取付体及び部品の3次元データと、デプスセンサ204が取得した作業空間の3次元データとを比較し、各作業工程の目視確認作業の終了条件を満たすか否かを判定してもよい。目視確認作業の終了条件は、被取付体及び部品の3次元データと作業空間の3次元データとの差分が所定の閾値以下としてもよい。   The confirmation state determination program 107 is a program for estimating a portion where the worker has confirmed the object based on the positional relationship between the depth sensor 204 and the work space estimated by the position / orientation estimation program 106. For example, the confirmation state determination program 107 compares the three-dimensional data of the mounted body and the part with the three-dimensional data of the work space acquired by the depth sensor 204, and whether or not the end condition of the visual confirmation work of each work process is satisfied. It may be determined. As a condition for ending the visual confirmation work, a difference between the three-dimensional data of the mounted body and the part and the three-dimensional data of the work space may be a predetermined threshold or less.

表示内容生成プログラム108は、確認状態判定プログラム107の結果に基づいて、作業者が見るべき位置及び方向を決定し、作業者に提示する情報を生成するプログラムである。例えば、確認状態判定プログラム107が目視確認作業の終了条件が満たされないと判断したときは、表示内容生成プログラム108は、その終了条件を満たすためのガイダンスを出力させてよい。このガイダンスは、作業者が見る視点及び視線の方向を示すものでよい。作業者が見る視点は、被取付体及び部品の3次元データにあって作業空間の3次元データにない領域でよい。   The display content generation program 108 is a program that determines the position and direction to be viewed by the worker based on the result of the confirmation state determination program 107 and generates information to be presented to the worker. For example, when the confirmation state determination program 107 determines that the end condition of the visual confirmation work is not satisfied, the display content generation program 108 may output guidance for satisfying the end condition. This guidance may indicate the viewpoint and the direction of the line of sight viewed by the worker. The viewpoint seen by the worker may be an area that is in the three-dimensional data of the mounted body and the part but not in the three-dimensional data of the work space.

部品モデル120は、被取付体に取り付ける部品を表す3次元のモデルである。部品モデル120は、点群データの形式で表現され得る。また、部品モデル120は、部品を取り付ける場所及び取り付ける向きをコンピュータグラフィックス(CG)技術を用いて作業者に提示するために、ポリゴン(多角形)を用いた3次元モデルであってもよい。ポリゴンは、あらかじめ定めた大きさになるまで分割し、その頂点を抽出することにより、点群モデルに変換され得る。記憶装置104には、予め複数の部品の部品モデルが登録されていてもよい。   The part model 120 is a three-dimensional model that represents a part to be attached to an attached body. The part model 120 can be expressed in the form of point cloud data. In addition, the part model 120 may be a three-dimensional model using polygons (polygons) in order to present the location and orientation of the parts to the worker using computer graphics (CG) technology. The polygon can be converted into a point cloud model by dividing the polygon to a predetermined size and extracting the vertex. A part model of a plurality of parts may be registered in the storage device 104 in advance.

作業空間モデル130は、作業を実施する空間全体を表す3次元のモデルである。作業空間モデル130には、作業空間内にある作業対象の被取付体の3次元モデルを含む。作業空間モデル130は、部品モデル120と同様に、点群データの形式で表現され得る。記憶装置104には、複数の作業空間の状態に対応する複数の作業空間モデル130が点群データの形式で保存されていてもよい。   The work space model 130 is a three-dimensional model that represents the entire space in which work is performed. The work space model 130 includes a three-dimensional model of a work target attached body in the work space. The workspace model 130 can be expressed in the form of point cloud data, similar to the part model 120. A plurality of work space models 130 corresponding to a plurality of work space states may be stored in the storage device 104 in the form of point cloud data.

作業マニュアルデータ800は、1以上の作業工程について、各作業工程の作業手順を示す。例えば、作業マニュアルデータ800には、作業工程及び各作業工程の作業手順に関する情報と、作業で用いられる部品に関する情報と、作業空間モデルにおける部品の位置及び姿勢に関する情報が含まれる。   The work manual data 800 indicates the work procedure of each work process for one or more work processes. For example, the work manual data 800 includes information on work processes and work procedures of each work process, information on parts used in the work, and information on positions and orientations of parts in the work space model.

図2は、本実施形態における作業支援システムの利用シーンの一例を示す。   FIG. 2 shows an example of a usage scene of the work support system in the present embodiment.

図2において、201はユーザ端末である。ユーザ端末201は、例えば、作業支援システムの各種処理を行う携帯型端末であり、小型コンピュータやタブレット型端末、スマートフォン等でよい。ユーザ端末201にはタッチパネル202が装備されており、タッチパネル202が受け付けたユーザ操作に従って、作業支援システムが動作するようにしてもよい。例えば、システムを開始または終了させる場合、及びシステムが誤って次の作業工程へ遷移した際に元の作業工程へ戻す場合等に、タッチパネル202がユーザ操作を受け付ける。本実施形態では、図1の情報処理装置がユーザ端末201であってよい。つまり、本実施形態では、ユーザ端末201が作業管理プログラム105、位置姿勢推定プログラム106、確認状態判定プログラム107、及び表示内容生成プログラム108の機能を実現する。   In FIG. 2, 201 is a user terminal. The user terminal 201 is, for example, a portable terminal that performs various processes of the work support system, and may be a small computer, a tablet terminal, a smartphone, or the like. The user terminal 201 is equipped with a touch panel 202, and the work support system may operate according to a user operation received by the touch panel 202. For example, the touch panel 202 receives a user operation when starting or ending the system, or when returning to the original work process when the system erroneously changes to the next work process. In the present embodiment, the information processing apparatus in FIG. That is, in this embodiment, the user terminal 201 implements the functions of the work management program 105, the position / orientation estimation program 106, the confirmation state determination program 107, and the display content generation program 108.

203は、作業者が作業中に装着するヘルメットである。ヘルメット203は、例えば、入力装置102である作業中空間データを入力するためのデプスセンサ204と、出力装置103である頭部装着型の表示装置のHMD(ヘッドマウントディスプレイ)205とを有する。   A helmet 203 is worn by the worker during work. The helmet 203 includes, for example, a depth sensor 204 for inputting work space data as the input device 102 and a head mounted display (HMD) 205 as a head-mounted display device as the output device 103.

デプスセンサ204は、作業者が作業を行っている間、作業者から見える作業空間の3次元データを取得する3次元データ取得装置である。デプスセンサ204は、作業中の作業者の視線の作業空間を表す作業空間データ140を取得する。そのため、デプスセンサ204はHMD205に設置されてもよい。あるいは、作業者の肩や胸等、目的の空間の情報を取得することが可能な任意の箇所にデプスセンサ204を設置してもよい。   The depth sensor 204 is a three-dimensional data acquisition device that acquires three-dimensional data of a work space that is visible to the worker while the worker is working. The depth sensor 204 acquires work space data 140 representing the work space of the line of sight of the worker who is working. Therefore, the depth sensor 204 may be installed in the HMD 205. Or you may install the depth sensor 204 in the arbitrary places which can acquire the information of the target space, such as a worker's shoulder and chest.

デプスセンサ204で取得された距離画像は、センサの焦点距離や中心位置を用いることにより、3次元空間上における点の集合として対象空間の情報を表す点群データに変換され得る。本実施形態における作業空間データ140は点群データとして表現されたものを使用する。また、デプスセンサ204としては、通常のカラー画像も取得することができるものを使用することができる。この場合、色情報が付加された点群データを取得することができる。本実施形態では、色情報が付加された点群データを使用する。   The distance image acquired by the depth sensor 204 can be converted into point cloud data representing information on the target space as a set of points on the three-dimensional space by using the focal length and the center position of the sensor. The workspace data 140 in this embodiment uses data expressed as point cloud data. Further, as the depth sensor 204, a sensor capable of acquiring a normal color image can be used. In this case, point cloud data to which color information is added can be acquired. In the present embodiment, point cloud data to which color information is added is used.

206は作業空間中に配置された設備であり、設備206に対して取り付けを行う部品207、208、209、210が取り付けられる。図2では、既に取り付けが終了した状態を表しているが、作業開始時は部品207〜210は、設備206上には設置されていない状態となる。   206 is equipment arranged in the work space, and parts 207, 208, 209 and 210 to be attached to the equipment 206 are attached. Although FIG. 2 shows a state where the attachment has already been completed, the components 207 to 210 are not installed on the facility 206 at the start of the work.

本実施形態では、図2の設備206に部品を取り付ける場合を例に説明するが、本発明は製品、機械、装置等の本体を被取付体としてこれに部品を取り付けるような、部品の取り付け工程の作業に対して適用することができる。   In the present embodiment, a case where a part is attached to the facility 206 in FIG. 2 will be described as an example. It can be applied to the work of

図3は、デプスセンサ204により取得される作業空間データ140のフォーマットの一例を示す。   FIG. 3 shows an example of the format of the work space data 140 acquired by the depth sensor 204.

作業空間データ140は、点の数1401と、点の位置座標1402と、点の色情報1403とをデータ項目として有する。作業空間データ140は点の数1401に示す点の数だけ点の位置座標1402及び色情報1403を有する。   The work space data 140 includes, as data items, the number of points 1401, point position coordinates 1402, and point color information 1403. The work space data 140 includes point position coordinates 1402 and color information 1403 corresponding to the number of points indicated by the number 1401 of points.

位置座標1402は、一般的に使用されるx軸、y軸及びz軸上の座標値の組み合わせで表現することができる。位置座標1402は、他の座標系で表現されてもよい。   The position coordinates 1402 can be expressed by a combination of coordinate values on the x-axis, y-axis, and z-axis that are generally used. The position coordinates 1402 may be expressed in another coordinate system.

色情報1403は、例えば、三原色(赤、緑、青)の各成分の値の組み合わせで表現することができる。色情報1403は、他の色空間を用いて表現されてもよい。   The color information 1403 can be expressed by, for example, a combination of the values of the three primary colors (red, green, and blue). The color information 1403 may be expressed using another color space.

図4Aは、作業者がHMD205を通して見ている作業空間である作業者のビュー401を示す。作業者のビュー401には、部品209と設備206の一部が含まれる。   FIG. 4A shows a worker's view 401, which is a work space that the worker is looking through the HMD 205. The worker's view 401 includes a part 209 and a part of the facility 206.

図4Bは、作業者のビュー401に対応する領域の作業空間データ140(点群データ)に基づいて描画した図を示す。図4Bに示すように、デプスセンサ204から取得される点群データを空間上に表示すると、作業空間内の設備206及び部品209の面が点の集合として表現される。   FIG. 4B shows a drawing drawn based on the work space data 140 (point cloud data) of the area corresponding to the worker's view 401. As shown in FIG. 4B, when the point cloud data acquired from the depth sensor 204 is displayed on the space, the surfaces of the equipment 206 and the part 209 in the work space are expressed as a set of points.

図5は、部品モデル120及び作業空間モデル130を点群データの形式で保存する場合のデータフォーマットの一例を示す。部品モデル120及び作業空間モデル130は共通のフォーマットでよい。ここでは、点群データの形式の部品モデル120及び作業空間モデル130を、3次元モデル(点群データ)500と呼ぶ。   FIG. 5 shows an example of a data format when the part model 120 and the work space model 130 are stored in the form of point cloud data. The part model 120 and the workspace model 130 may have a common format. Here, the part model 120 and the work space model 130 in the form of point cloud data are referred to as a three-dimensional model (point cloud data) 500.

3次元モデル(点群データ)500は、データ項目として名称501と、点の数502と、点の位置座標503と、点の色情報504とを有する。3次元モデル(点群データ)500は複数の点の位置座標503及び色情報504を有する。   The three-dimensional model (point cloud data) 500 includes a name 501, the number of points 502, point position coordinates 503, and point color information 504 as data items. The three-dimensional model (point group data) 500 includes position coordinates 503 and color information 504 of a plurality of points.

名称501は、部品あるいは作業空間の名称で、識別子である。名称501としては、任意の文字列を使用することができる。   A name 501 is a name of a part or work space, and is an identifier. An arbitrary character string can be used as the name 501.

点の数502は、部品または作業空間の3次元モデルを構成する点の数である。   The number of points 502 is the number of points constituting a three-dimensional model of a part or work space.

点の位置座標503は、部品または作業空間の3次元モデルを構成する点の位置座標である。点の位置座標503の表現方法は、位置座標1402と同じでよい。   Point position coordinates 503 are position coordinates of points constituting a three-dimensional model of a part or a work space. The method of expressing the point position coordinates 503 may be the same as the position coordinates 1402.

点の色情報504は、部品または作業空間の3次元モデルを構成する点の色情報である。点の色情報504の表現方法は、色情報1403と同じでよい。   The point color information 504 is color information of a point constituting a three-dimensional model of a part or work space. The expression method of the point color information 504 may be the same as the color information 1403.

図6は、作業空間モデル130として、図2の設備206を示す点群データを3次元モデル(点群データ)500形式で有するとき、それを空間上に表示した場合の設備イメージ601を示す。   FIG. 6 shows an equipment image 601 when the work space model 130 has point cloud data indicating the equipment 206 of FIG. 2 in the form of a three-dimensional model (point cloud data) 500, which is displayed on the space.

図7は、部品モデル120及び作業空間モデル130をポリゴン(多角形)の形式で保存する場合のデータフォーマットの一例を示す。部品モデル120及び作業空間モデル130は共通のフォーマットでよい。ここでは、ポリゴン形式の部品モデル120及び作業空間モデル130を、3次元モデル(ポリゴンデータ)700と呼ぶ。   FIG. 7 shows an example of a data format when the part model 120 and the work space model 130 are stored in a polygon (polygon) format. The part model 120 and the workspace model 130 may have a common format. Here, the polygonal part model 120 and the work space model 130 are referred to as a three-dimensional model (polygon data) 700.

3次元モデル(ポリゴンデータ)700は、データ項目として、名称701、ポリゴンの数702、ポリゴンの頂点数703、頂点の位置座標704、法線の向き706及びポリゴンの色情報707を有する。   The three-dimensional model (polygon data) 700 includes, as data items, a name 701, the number of polygons 702, the number of vertexes 703 of the polygons, the position coordinates 704 of the vertexes, the normal direction 706, and polygon color information 707.

名称701は、各部品や作業空間を区別するために付与される名称であり、識別子である。名称701としては、任意の文字列を使用することができる。   The name 701 is a name given to distinguish each component and work space, and is an identifier. An arbitrary character string can be used as the name 701.

ポリゴンの数702は、部品や作業空間を構成するポリゴンの数である。3次元モデル(ポリゴンデータ)700は、ポリゴンの数702だけポリゴンの頂点数703〜ポリゴンの色情報707を有する。   The number of polygons 702 is the number of polygons constituting a part or work space. The three-dimensional model (polygon data) 700 has polygon vertex numbers 703 to polygon color information 707 by the number of polygons 702.

ポリゴンの頂点数703は、ポリゴンを構成する頂点の数であり、ポリゴンが三角形であれば3、四角形であれば4などの数値が登録される。3次元モデル(ポリゴンデータ)700は、ポリゴンの頂点数703だけ頂点の位置座標704を有する。   The number of vertexes 703 of the polygon is the number of vertices constituting the polygon, and a numerical value such as 3 is registered if the polygon is a triangle and 4 if the polygon is a quadrangle. The three-dimensional model (polygon data) 700 has vertex position coordinates 704 corresponding to the number of polygon vertices 703.

頂点の位置座標704は、ポリゴンを構成する各頂点の位置座標である。頂点の位置座標704は、ポリゴンの頂点数703だけデータを有する。位置座標の表現方法は位置座標1402と同じでよい。   A vertex position coordinate 704 is a position coordinate of each vertex constituting the polygon. Vertex position coordinates 704 have data corresponding to the number of polygon vertices 703. The method for expressing the position coordinates may be the same as the position coordinates 1402.

法線の向き706は、ポリゴンの法線の方向を示すベクトルに関する情報である。法線の向き706は、ベクトルのx軸、y軸及びz軸方向の成分の値により表すことができる。   The normal direction 706 is information regarding a vector indicating the direction of the normal line of the polygon. The normal direction 706 can be represented by the values of components in the x-axis, y-axis, and z-axis directions of the vector.

ポリゴンの色情報707は、ポリゴンの色を示す。ポリゴンの色情報707の表現方法は、色情報1403と同じでよい。   Polygon color information 707 indicates the color of the polygon. The method of expressing the polygon color information 707 may be the same as the color information 1403.

図8は、作業マニュアルデータ800のデータフォーマットの一例を示す。   FIG. 8 shows an example of the data format of the work manual data 800.

作業マニュアルデータ800は、作業を構成する複数の作業工程ごとの各工程の作業手順に関する情報と、作業で被取付体に対して取り付ける部品に関する情報と、作業空間モデルにおける部品の位置及び姿勢に関する情報が含まれる。   The work manual data 800 includes information on the work procedure of each process for each of a plurality of work processes constituting the work, information on a part to be attached to the mounted body in the work, and information on the position and orientation of the part in the work space model. Is included.

作業の名称801は、複数の作業がある場合に各作業を区別するために付与される名称であり、識別子である。作業の名称801は、任意の文字列を使用することができる。   The work name 801 is a name given to distinguish each work when there are a plurality of works, and is an identifier. An arbitrary character string can be used for the work name 801.

作業工程の数802は、作業を構成する工程の数である。   The number of work steps 802 is the number of steps constituting the work.

作業工程の名称803は、各作業工程の名称である。作業工程の名称803には、任意の文字列を使用することができる。   The work process name 803 is the name of each work process. An arbitrary character string can be used for the work process name 803.

作業工程の内容804は、各作業工程で行う作業工程の内容である。作業工程の内容804には、任意の文字列を使用することができる。作業工程の内容804には、具体的な作業手順を示す画像や動画を含めることができる。   The work process content 804 is the content of the work process performed in each work process. An arbitrary character string can be used for the content 804 of the work process. The work process content 804 can include an image or a moving image showing a specific work procedure.

作業空間モデル名805は、各作業工程に関連する作業空間モデル130の名称である。作業空間は作業が進むにともなって変化していくことになるため、図8に示すデータフォーマットでは、作業工程毎に異なる作業空間モデル130を指定できるようにしている。   The workspace model name 805 is the name of the workspace model 130 related to each work process. Since the work space changes as the work progresses, the data format shown in FIG. 8 allows a different work space model 130 to be specified for each work process.

部品モデル名806は、各作業工程において取り付けられる部品の部品モデルの名称である。   The part model name 806 is the name of the part model of the part attached in each work process.

部品の位置及び姿勢807は、部品モデル名806の部品の位置及び姿勢を示す情報であり、位置と向きに関する情報で構成される。位置は一般的に使用されるx軸、y軸及びz軸上の座標値の組み合わせでよい。向きは、x軸、y軸及びz軸周りの回転角度で表すことができる。位置及び向きの表現方法としては、同様の機能を有する方法であれば、どのような表現を用いても良い。   The part position and orientation 807 is information indicating the position and orientation of the part of the part model name 806, and includes information on the position and orientation. The position may be a combination of commonly used coordinate values on the x-axis, y-axis, and z-axis. The direction can be expressed by rotation angles around the x-axis, y-axis, and z-axis. As a method for expressing the position and orientation, any expression may be used as long as it has a similar function.

また、図8に示すフォーマットでは、各作業工程で対象となる部品(部品モデル名806及び部品の位置及び姿勢807)は一つであるが、複数の部品を登録できるようにしても良い。   Further, in the format shown in FIG. 8, there is one part (part model name 806 and part position and orientation 807) that is a target in each work process, but a plurality of parts may be registered.

図9のフローチャートを用いて、本実施形態に係る作業支援システムが行う作業支援の手順について説明する。   A procedure of work support performed by the work support system according to the present embodiment will be described with reference to the flowchart of FIG.

図9のステップ901では、作業管理プログラム105が作業マニュアルデータ800から作業者が選択した作業工程に関する情報をシステムに読み込む。作業工程を選択する方法としては、例えば、作業工程の一覧をユーザ端末201の画面上に一覧表示し、タッチパネル等を用いて選択できるようにすれば良い。   In step 901 in FIG. 9, the work management program 105 reads information on the work process selected by the worker from the work manual data 800 into the system. As a method for selecting a work process, for example, a list of work processes may be displayed on the screen of the user terminal 201 so that the work process can be selected using a touch panel or the like.

ステップ902では、読み込んだ作業工程における作業工程の内容が実施対象の作業手順として設定される。   In step 902, the content of the work process in the read work process is set as a work procedure to be executed.

ステップ903では、システム状態が「作業中」に設定される。   In step 903, the system state is set to “working”.

ステップ904では、作業管理プログラム105が、デプスセンサ204から作業者が見ている作業空間のデータ(点群データ)を取得する。   In step 904, the work management program 105 acquires work space data (point cloud data) viewed by the worker from the depth sensor 204.

ステップ905では、姿勢推定プログラム106が作業空間モデル130に対するデプスセンサ204の位置及び姿勢の推定を行う。姿勢推定プログラム106は、作業管理プログラム105により起動されてもよい。   In step 905, the posture estimation program 106 estimates the position and posture of the depth sensor 204 with respect to the work space model 130. The posture estimation program 106 may be activated by the work management program 105.

姿勢推定プログラム106は、ステップ904で取り込んだ作業空間データ140と、実施中の作業工程の作業空間モデル名805に対応する作業空間モデル130の点群データとを用いて、デプスセンサ204の位置及び姿勢を推定してもよい。例えば、位置姿勢推定プログラム106は、デプスセンサ204から取得された作業空間データ140と、実施中の作業工程の作業空間モデル名805に対応する作業空間モデル130の点群データとが最も良く一致するように、一方の点群データの並進及び回転を行う変換行列を求めることにより、デプスセンサ204の位置及び姿勢を推定してもよい。   The posture estimation program 106 uses the work space data 140 acquired in step 904 and the point cloud data of the work space model 130 corresponding to the work space model name 805 of the work process being performed, to determine the position and posture of the depth sensor 204. May be estimated. For example, the position / orientation estimation program 106 is configured so that the work space data 140 acquired from the depth sensor 204 and the point cloud data of the work space model 130 corresponding to the work space model name 805 of the work process being executed most closely match. In addition, the position and orientation of the depth sensor 204 may be estimated by obtaining a transformation matrix that translates and rotates one of the point cloud data.

図10を参照して、位置及び姿勢の推定について具体的に説明する。   With reference to FIG. 10, the estimation of the position and orientation will be specifically described.

同図Aは、デプスセンサ204から取得された作業空間データ140に基づいて描画した作業空間1001を示す。同図Bは、実施中の作業工程の作業空間モデル名805に対応する作業空間モデル130の点群データを描画した作業空間モデル601である。   FIG. 3A shows a work space 1001 drawn based on the work space data 140 acquired from the depth sensor 204. FIG. B is a work space model 601 in which the point cloud data of the work space model 130 corresponding to the work space model name 805 of the work process being executed is drawn.

位置姿勢推定プログラム106は、例えば、作業空間1001を、作業空間モデル601における対応箇所1002に一致するように、作業空間1001を並進及び回転させる変換行列を求める。作業空間1001及び対応箇所1002が最も良く一致する変換行列を求める方法としては、点群データの位置合わせとして良く知られている方法、例えば、ICP(Iterative Closest Point)アルゴリズム(S. Rusinkiewicz and M. Levoy、 “Efficient Variants of the ICP Algorithm”、 Third International Conference on 3D Digital Imaging and Modeling、 2001)やNDT(Normal Distributions Transformation)(P. Biber and W. StraBer、 “The Normal Distributions Transform:A New Approach to Laser ScanMatching Proceedings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems、 2003)等を用いることができる。   The position / orientation estimation program 106 obtains, for example, a transformation matrix that translates and rotates the work space 1001 so that the work space 1001 matches the corresponding location 1002 in the work space model 601. As a method for obtaining a transformation matrix that best matches the work space 1001 and the corresponding portion 1002, a method well known as alignment of point cloud data, for example, the ICP (Iterative Closest Point) algorithm (S. Rusinkiewicz and M. Levoy, “Efficient Variants of the ICP Algorithm”, Third International Conference on 3D Digital Imaging and Modeling, 2001) and NDT (Normal Distributions Transformation) (P. Biber and W. StraBer, “The Normal Distributions Transform: A New Approach to Laser ScanMatching Proceedings of the 2003 IEEE / RSJ International Conference on Intelligent Robots and Systems, 2003) can be used.

デプスセンサ204の位置及び姿勢の推定を行う方法としては、二つの点群データが最も良く一致する回転行列を求める手法であれば、これ以外のどのような手法を用いても良い。   As a method for estimating the position and orientation of the depth sensor 204, any method other than this may be used as long as it is a method for obtaining a rotation matrix in which the two point cloud data most closely match.

図9に戻ると、ステップ906では、作業管理プログラム105が、システム状態が「作業中」であるか「確認中」であるかを判定する。システム状態が「作業中」の場合はステップ907に、「確認中」の場合はステップ910に進む。   Returning to FIG. 9, in step 906, the work management program 105 determines whether the system state is “working” or “confirming”. If the system status is “working”, the process proceeds to step 907, and if it is “confirming”, the process proceeds to step 910.

ステップ907では、作業管理プログラム105が、実施中の作業工程の内容に関する情報を作業マニュアルデータ800から抽出し、HMD205に表示させてよい。この場合、表示される情報は、作業手順の名称803及び作業工程の内容804でよい。   In step 907, the work management program 105 may extract information on the contents of the work process being performed from the work manual data 800 and display it on the HMD 205. In this case, the displayed information may be a work procedure name 803 and a work process content 804.

このとき、作業管理プログラム105が、部品モデル名806の部品モデル120と、部品の位置及び姿勢807と、ステップ905で推定されたデプスセンサ204の位置及び姿勢とに基づいて、作業者のビューにおいて、作業空間内の部品と重畳されるように、部品のCG画像をHMD205に表示してもよい。このようなHMD205への表示は、例えば、拡張現実感(Augmented Reality)として良く知られている技術を用いることにより行うことができる。   At this time, the work management program 105 uses the part model 120 of the part model name 806, the position and orientation 807 of the part, and the position and orientation of the depth sensor 204 estimated in step 905 in the worker's view. A CG image of a part may be displayed on the HMD 205 so as to be superimposed on the part in the work space. Such display on the HMD 205 can be performed, for example, by using a technique well known as augmented reality.

ステップ908では、作業管理プログラム105が、作業者から確認開始の指示があったか否かを判定する。ここで、確認とは、各工程の作業手順が終了したあとに、その工程の作業が仕様通りに完了しているか否かについて、作業者が目視で行う確認である。この目視確認の終了条件が満たされると、ステップ914で次の作業工程に遷移する。   In step 908, the work management program 105 determines whether or not there is an instruction to start confirmation from the worker. Here, the confirmation is a confirmation that an operator visually confirms whether or not the work of the process is completed as specified after the work procedure of each process is completed. When this visual confirmation end condition is satisfied, the process proceeds to the next work process in step 914.

確認開始の指示は、例えば、ユーザ端末201の画面上に確認開始用のボタンを表示し、入力装置102として装備されているキーボードやマウス、タッチパネル等を用いて表示されているボタンを押下することにより行うことができる。あるいは、あらかじめ決められたキーボードやボタンを押下する方法や、デプスセンサ204により取得された点群データから、あらかじめ決められたジェスチャを検出する等、システムに指示を行う方法であれば、どのような手段でも用いることができる。   For the confirmation start instruction, for example, a confirmation start button is displayed on the screen of the user terminal 201, and a button displayed using a keyboard, a mouse, a touch panel, or the like provided as the input device 102 is pressed. Can be performed. Alternatively, any method may be used as long as it is a method of instructing the system, such as a method of pressing a predetermined keyboard or button or a predetermined gesture detected from point cloud data acquired by the depth sensor 204. But it can also be used.

作業者による確認開始の指示が行われていない場合は、そのままステップ904に戻る。   If the operator has not instructed confirmation start, the process returns to step 904 as it is.

作業者による確認開始の指示が行われた場合は、作業管理プログラム105がステップ909でシステム状態を「確認中」に設定した後、ステップ904に戻る。   When the operator gives an instruction to start confirmation, the work management program 105 sets the system state to “confirming” in step 909 and then returns to step 904.

ステップ906において、システム状態が「確認中」の場合は、ステップ910に進む。   If the system status is “confirming” in step 906, the process proceeds to step 910.

ステップ910では、作業管理プログラム105により起動された確認状態判定プログラム107が、確認の状態を判定する。例えば、確認状態判定プログラム107は、作業者によって行われている確認の状況が作業工程の終了条件を満たすか否かを判定する。確認状態判定プログラム107は、さらに、確認されていない部品の領域があると判定された場合は、その領域を作業者による確認が必要な領域、つまり作業者が見る位置及び方向とする。   In step 910, the confirmation state determination program 107 started by the work management program 105 determines the confirmation state. For example, the confirmation state determination program 107 determines whether or not the confirmation status being performed by the worker satisfies the end condition of the work process. If the confirmation state determination program 107 further determines that there is an unconfirmed part area, the confirmation state determination program 107 sets the area as an area that needs to be confirmed by the operator, that is, the position and direction viewed by the worker.

確認状態判定プログラム107で実行される処理について、図11から図13を用いて説明する。   Processing executed by the confirmation state determination program 107 will be described with reference to FIGS.

確認状態判定プログラム107は、ステップ1101においてデプスセンサ204から取得された作業空間データ140から、実施中の作業工程に関連する部品に対応する点群データを抽出する。   The confirmation state determination program 107 extracts point cloud data corresponding to parts related to the work process being performed from the work space data 140 acquired from the depth sensor 204 in step 1101.

この処理は、まず、確認状態判定プログラム107が、作業空間モデル130における部品の領域を特定してもよい。この部品領域は、例えば、作業マニュアルデータ800の部品モデル名806で特定される部品モデル120を、位置及び姿勢807で特定される情報を用いて座標変換して特定してもよい。次に、確認状態判定プログラム107が、ステップ905で推定されたデプスセンサ204の位置及び姿勢を用いて、デプスセンサ204により取得された作業空間データを作業空間モデルと同じ座標系に座標変換してもよい。そして、確認状態判定プログラム107が、座標変換された作業空間データから部品領域の点群データを抽出してもよい。部品領域が既に抽出されているときは、抽出済みの部品領域の点群データに新たに抽出された点群データを足して(合成して)よい。   In this process, first, the confirmation state determination program 107 may specify a part area in the work space model 130. For example, the component area may be identified by coordinate-transforming the component model 120 identified by the component model name 806 of the work manual data 800 using information identified by the position and orientation 807. Next, the confirmation state determination program 107 may perform coordinate conversion of the work space data acquired by the depth sensor 204 into the same coordinate system as the work space model, using the position and orientation of the depth sensor 204 estimated in step 905. . Then, the confirmation state determination program 107 may extract the point group data of the component area from the work space data subjected to coordinate conversion. When the part region has already been extracted, the newly extracted point group data may be added (synthesized) to the point group data of the extracted part region.

図12に示す具体例を用いて説明する。   This will be described using a specific example shown in FIG.

同図において、1201が、作業空間データ140を作業空間モデル130と同じ座標系に座標変換した後に、作業空間データ140の点群データを描画した作業空間を示す。1202が、部品の位置及び姿勢807により作業空間1201において特定された部品の領域である。このとき、部品領域1202に含まれる点群データ1203が部品に対する点群データとして抽出される。   In the figure, reference numeral 1201 denotes a work space in which the point cloud data of the work space data 140 is drawn after the work space data 140 is coordinate-transformed into the same coordinate system as the work space model 130. Reference numeral 1202 denotes an area of the part specified in the work space 1201 by the position and orientation 807 of the part. At this time, point cloud data 1203 included in the component area 1202 is extracted as point cloud data for the component.

抽出された点群データは、作業空間モデルと同じ座標系に座標変換されている。そのため、このあとにデプスセンサ204がさらに取得した点データをこの抽出された点群データに追加していくことで、点群データの合成を行うことができる。なお、合成後の点群データで、同じ位置に点が重複する場合や、特定の範囲に点が密集する場合があるため、特定の間隔で点を抽出する等の処理を行うことにより、均等に点が分布した点群データに変換されてもよい。   The extracted point cloud data is coordinate-transformed into the same coordinate system as the work space model. Therefore, the point cloud data can be synthesized by adding the point data further acquired by the depth sensor 204 to the extracted point cloud data. In addition, in the point group data after synthesis, there are cases where the points overlap at the same position, or there are cases where the points are concentrated in a specific range, so that by performing processing such as extracting points at specific intervals, It may be converted into point cloud data in which points are distributed.

図11に戻ると、ステップ1102では、確認状態判定プログラム107が、ステップ1101で抽出された部品領域の点が所定以上であるか否かを判定する。例えば、確認状態判定プログラム107が、抽出された部品の点群データと部品モデルとの差分が所定以下であるか否かを判定する。例えば、確認状態判定プログラム107が、部品モデルには存在するが、デプスセンサ204が取得した対象の部品の点群データには存在しない領域があるか否かを判定してもよい。この判定が、目視確認作業の終了条件であってもよい。   Returning to FIG. 11, in step 1102, the confirmation state determination program 107 determines whether or not the point of the part area extracted in step 1101 is greater than or equal to a predetermined value. For example, the confirmation state determination program 107 determines whether or not the difference between the point cloud data of the extracted part and the part model is equal to or smaller than a predetermined value. For example, the confirmation state determination program 107 may determine whether there is an area that exists in the part model but does not exist in the point cloud data of the target part acquired by the depth sensor 204. This determination may be an end condition for the visual confirmation work.

この処理は、ステップ1101で抽出された部品領域の点群データとそれ以前に抽出済みの部品領域の点群データとを合成した点群データと、部品モデルと比較することにより行ってもよい。   This processing may be performed by comparing the point group data obtained by synthesizing the point group data of the part area extracted in step 1101 and the point group data of the part area extracted before that with the part model.

部品モデルが点群データである場合、ステップ1102の判定を以下のようにして行ってもよい。例えば、確認状態判定プログラム107が、抽出された部品の点群データ中の各点と一番近い部品モデルの点を求め、点間の距離を計算する。そして、確認状態判定プログラム107は、点間の距離があらかじめ定められた閾値より大きくなる部品モデル上の点を抽出する。これにより、抽出された点が集まった領域を、デプスセンサ204で取得された点群データが不足している部品モデル上の領域としてもよい。   When the part model is point cloud data, the determination in step 1102 may be performed as follows. For example, the confirmation state determination program 107 obtains a point of the part model that is closest to each point in the extracted point group data of the part, and calculates the distance between the points. Then, the confirmation state determination program 107 extracts points on the part model where the distance between the points is larger than a predetermined threshold. Thereby, the area where the extracted points are collected may be an area on the part model in which the point cloud data acquired by the depth sensor 204 is insufficient.

部品モデルがポリゴンの形式である場合は、ステップ1102の判定を以下のようにして行ってもよい。例えば、確認状態判定プログラム107が、抽出された部品の点群データ中の各点から下ろした垂線が一番短くなる部品モデル上のポリゴンを検索し、垂線の距離及び垂線とポリゴンとの交点を求める。そして、確認状態判定プログラム107が垂線の距離があらかじめ定められた閾値より大きくなる垂線とポリゴンの交点を抽出する。点群データの場合と同様に、抽出された点が集まった領域を、デプスセンサ204で取得された点群データが不足している部品モデル上の領域としてもよい。   If the part model is in the form of a polygon, the determination in step 1102 may be performed as follows. For example, the confirmation state determination program 107 searches for a polygon on the part model in which the perpendicular drawn from each point in the extracted point cloud data of the part is the shortest, and finds the perpendicular distance and the intersection of the perpendicular and the polygon. Ask. Then, the confirmation state determination program 107 extracts the intersection of the perpendicular and the polygon where the distance of the perpendicular is larger than a predetermined threshold. As in the case of point cloud data, the area where the extracted points are collected may be the area on the part model for which the point cloud data acquired by the depth sensor 204 is insufficient.

図12では、1204が点群データとして保存された部品モデルである。このとき、部品モデル1204と点群データ1203とが上記の方法で比較されると、1205で示した部品の領域が点群データが不足している領域として特定される。特定された領域の大きさがあらかじめ定められた閾値より大きい場合は、部品に対する点群データが十分に取得されていないと判定する。あるいは、点群データが不足している領域の大きさと部品の表面積の比率を求め、求めた比率があらかじめ定められた閾値より大きい場合、部品に対する点群データが十分に取得されていないと判定しても良い。   In FIG. 12, reference numeral 1204 denotes a part model stored as point cloud data. At this time, when the component model 1204 and the point cloud data 1203 are compared by the above method, the region of the component indicated by 1205 is specified as the region where the point cloud data is insufficient. When the size of the specified area is larger than a predetermined threshold, it is determined that the point cloud data for the part is not sufficiently acquired. Alternatively, the ratio between the size of the area where the point cloud data is insufficient and the surface area of the part is obtained, and if the obtained ratio is larger than a predetermined threshold, it is determined that the point cloud data for the part is not sufficiently acquired. May be.

図11に戻ると、ステップ1103で、ステップ1102において部品に対する点群データが不足していると判定された場合、ステップ1104に進む。部品に対する点群データが十分に取得された場合は処理を終了する。   Returning to FIG. 11, if it is determined in step 1103 that the point cloud data for the part is insufficient in step 1102, the process proceeds to step 1104. If the point cloud data for the part is sufficiently acquired, the process is terminated.

ステップ1104では、点群データが不足している領域に対して、作業者の視点及び視線の方向を決定する。   In step 1104, the operator's viewpoint and line-of-sight direction are determined for the area where the point cloud data is insufficient.

作業者が見るべき位置(視点)は、例えば、点群データが不足している領域の中心や重心等でよい。また、該当する領域があらかじめ定めた閾値より大きい場合は、該当する領域をより小さい領域に分割し、得られた小さい領域の一つに対して中心や重心等を求めても良い。領域を分割する方法としては、例えば、二つに分割する場合、領域を特定の座標軸上に写像し、写像された領域の中間点を通る平面で分割すれば良い。   The position (viewpoint) that the operator should look at may be, for example, the center or the center of gravity of an area where point cloud data is insufficient. When the corresponding area is larger than a predetermined threshold, the corresponding area may be divided into smaller areas, and the center, the center of gravity, etc. may be obtained for one of the obtained small areas. As a method of dividing the region, for example, when dividing into two, the region may be mapped on a specific coordinate axis and divided by a plane passing through an intermediate point of the mapped region.

確認状態判定プログラム107は、作業者が見るべき位置を決定した後、作業者が見る方向を決定する。   The confirmation state determination program 107 determines the viewing direction after the operator determines the position to be viewed.

図13を用いて、作業者が見るべき方向(視線の方向)の決定方法について説明する。   A method for determining the direction (the direction of the line of sight) that the operator should look at will be described with reference to FIG.

図13において、1301が点群データが不足していると判定された領域であり、1302は作業者が見るべき位置として決定された位置であるとする。ここで、確認状態判定プログラム107は、領域1301の法線の逆ベクトルを作業者が位置1302を見るべき方向の基準方向1303として設定してもよい。   In FIG. 13, it is assumed that 1301 is an area where it is determined that the point cloud data is insufficient, and 1302 is a position determined as a position to be viewed by the operator. Here, the confirmation state determination program 107 may set the inverse vector of the normal line of the region 1301 as the reference direction 1303 in which the operator should look at the position 1302.

次に、確認状態判定プログラム107は、基準方向1303の直線と他の部品を構成するポリゴンが交差するかどうかを検証してもよい。これにより、作業者が基準方向1303から位置1302を見た場合に視界を遮る他の部品があるかどうかの判定ができる。あるいは、確認状態判定プログラム107が基準方向1303の直線と他の部品を構成する点があらかじめ定められた閾値以内の距離にあるかどうかを検証することにより、視界を遮る可能性がある部品の有無を判定してもよい。図13の場合、基準方向1303から位置1302を見る場合、他の部品1304が視界を遮ると判断される。視界を遮る他の部品が無いと判断された場合は、基準方向1303を作業者が位置1302を見るべき方向として決定されてよい。視界を遮る他の部品があると判断された場合、確認状態判定プログラム107は、基準方向1303を中心として角度を変化させた方向(例えば、図中の1305または1306)について、上述と同様の方法で、位置1302を見た場合に視界を遮る他の部品の有無を判定し、視界を遮る他の部品が無いと判定された方向を作業者が位置1302を見るべき方向として決定してもよい。   Next, the confirmation state determination program 107 may verify whether or not a straight line in the reference direction 1303 and a polygon constituting another part intersect. Thereby, when the worker looks at the position 1302 from the reference direction 1303, it can be determined whether there are other parts that block the field of view. Alternatively, the presence / absence of a part that may obstruct the field of view by verifying whether or not the confirmation state determination program 107 is at a distance within a predetermined threshold between a straight line in the reference direction 1303 and another part. May be determined. In the case of FIG. 13, when viewing the position 1302 from the reference direction 1303, it is determined that another part 1304 blocks the field of view. When it is determined that there is no other part that blocks the field of view, the reference direction 1303 may be determined as the direction in which the operator should look at the position 1302. When it is determined that there is another part that blocks the field of view, the confirmation state determination program 107 uses the same method as described above for the direction in which the angle is changed around the reference direction 1303 (for example, 1305 or 1306 in the drawing). Thus, when the position 1302 is viewed, the presence or absence of other parts that block the field of view is determined, and the direction in which it is determined that there is no other part that blocks the field of view may be determined as the direction in which the operator should view the position 1302 .

視線方向の角度を変化させる方法としては、あらかじめ角度を変化させる幅を設定しておき、設定されている幅を用いて、角度を変換させて良い。また、視界を遮る他の部品の有無の判定は、見るべき方向を表す直線からあらかじめ定めた範囲内にポリゴンや点が存在しない場合に視界を遮る他の部品が存在しないと判定しても良い。図13の場合、視界を遮る他の部品が存在しない方向1305が選択されてよい。   As a method of changing the angle of the line-of-sight direction, a width for changing the angle may be set in advance, and the angle may be converted using the set width. Further, the determination of the presence or absence of other parts that block the view may be determined that there are no other parts that block the view when there are no polygons or points within a predetermined range from the straight line representing the direction to be viewed. . In the case of FIG. 13, a direction 1305 in which there is no other part that blocks the view may be selected.

図9に戻ると、ステップ911では、表示内容生成プログラム108が起動される。そして、表示内容生成プログラム108が、作業者が確認のために見るべき領域の位置及び見る方向を示すガイダンスの画像を生成する。ガイダンスの画像は、ステップ910において決定された、作業者が見ていない部品の領域及びその領域を見る方向に基づいて生成されるものでよい。   Returning to FIG. 9, in step 911, the display content generation program 108 is activated. Then, the display content generation program 108 generates a guidance image indicating the position and viewing direction of the region that the operator should see for confirmation. The guidance image may be generated based on the region of the part that is not viewed by the operator and the direction in which the region is viewed, determined in step 910.

ガイダンス画像としては、良く知られた拡張現実感技術を用いることにより、作業者がHMD205を通して見ている実際の部品に重なるようにHMD205に位置及び方向を示す画像でよい。ガイダンス画像には文字が含まれていてもよい。   The guidance image may be an image showing a position and a direction on the HMD 205 so as to overlap an actual part that an operator is looking through the HMD 205 by using a well-known augmented reality technology. The guidance image may include characters.

ガイダンス画像は、例えば、HMD205を通して作業者から見える作業空間において、作業者が見る被取付体または部品の位置及び視線の方向を示す画像でよい。これは、拡張現実感技術を用いて実現されるものでよい。また、ガイダンス画像は、被取付体及び部品を含むCG画像において作業者が見る被取付体または部品の位置及び視線の方向を示す画像でよい。   The guidance image may be, for example, an image indicating the position of the attached body or part viewed by the worker and the direction of the line of sight in the work space that is visible to the worker through the HMD 205. This may be realized using augmented reality technology. In addition, the guidance image may be an image indicating the position of the mounted body or the part viewed by the operator and the direction of the line of sight in the CG image including the mounted body and the part.

例えば、図14Aのように、表示内容生成プログラム108が、作業者が実際に見ている作業空間(作業者のビュー)に位置及び方向を示す矢印と確認を促すメッセージを組み合わせた画像1401をHMD205に表示して良い。あるいは、図14Bに示すように、メッセージの代わりに、目視を想起させる目や顔、カメラ等の画像1403がCGとの組み合わせで提示されるようにしても良い。あるいは、目視する位置へ移動する矢印等によるアニメーションを用いることもできる。さらに、拡張現実感による実際の部品による重ね合わせを行う他、図14Cに示すようなCG画像1404を表示させてもよい。CG画像1404は、部品モデル120及び作業空間モデル130に基づいて生成された作業空間及び部品のCGにおいて、作業者が見るべき位置及び方向を表示するものでよい。CG画像1404は、作業者の視界を遮らないHMD205内の位置、例えば、左右の上方等に提示するようにしても良い。   For example, as shown in FIG. 14A, the display content generation program 108 displays an image 1401 in which an arrow indicating the position and direction and a message for prompting confirmation are combined in a work space (worker's view) actually viewed by the worker. May be displayed. Alternatively, as shown in FIG. 14B, instead of a message, an image 1403 such as an eye, a face, a camera, etc. that recalls visual observation may be presented in combination with CG. Alternatively, an animation using an arrow or the like that moves to a viewing position can be used. Furthermore, in addition to performing superimposition with actual parts based on augmented reality, a CG image 1404 as shown in FIG. 14C may be displayed. The CG image 1404 may display the position and direction that the operator should see in the CG of the work space and parts generated based on the part model 120 and the work space model 130. The CG image 1404 may be presented at a position in the HMD 205 that does not block the operator's field of view, for example, on the upper left and right sides.

この場合、拡張現実感技術を用いることにより、表示内容生成プログラム108が、作業者が実際の部品及び作業空間を見ているのと同じ視点からみた部品モデル及び作業空間モデルのCG画像をリアルタイムに生成するようにしても良い。作業者に見るべき領域の位置及び方向を提示する方法としては、見るべき領域の位置及び方向を認識できる方法であれば、どのような方法を用いても良い。   In this case, by using augmented reality technology, the display content generation program 108 can display in real time a CG image of a part model and a workspace model viewed from the same viewpoint as the worker is viewing an actual part and workspace. You may make it produce | generate. As a method for presenting the position and direction of the region to be viewed to the operator, any method may be used as long as the method can recognize the position and direction of the region to be viewed.

さらには、表示内容生成プログラム108は、デプスセンサ204が取得した作業空間データにおいて、作業者の手や作業者が把持している工具を検出してもよい。そして、検出された作業者の手や工具が対象となっている部品と重なって見える位置にある場合、あるいは、あらかじめ定められた範囲内に存在している場合は、表示内容生成プログラム108はCG画像を用いた提示方法を採用し、それ以外の場合は拡張現実感技術を用いた提示方法を採用してもよい。これは、作業者の手や工具が作業者が見るべき部品等の位置を遮蔽または遮蔽するおそれがあるからである。   Further, the display content generation program 108 may detect the operator's hand or the tool held by the operator in the work space data acquired by the depth sensor 204. If the detected operator's hand or tool is in a position where it can be seen to overlap with the target part, or if it is within a predetermined range, the display content generation program 108 selects the CG. A presentation method using an image may be adopted, and in other cases, a presentation method using augmented reality technology may be adopted. This is because the operator's hand or tool may shield or shield the position of a part or the like that the operator should see.

部品を遮蔽するものがあるとき、及び作業者と部品の距離が近いときは、図9のステップ905における位置及び姿勢の推定が適切に完了しない場合が多い。従って、位置及び姿勢推定が適切である場合は拡張現実感技術を用いた方法を使用し、そうでない場合はCG画像を用いた方法を使用するようにしても良い。   When there is something that shields the part, and when the distance between the worker and the part is short, in many cases, the estimation of the position and orientation in step 905 in FIG. 9 is not properly completed. Therefore, a method using augmented reality technology may be used when position and orientation estimation is appropriate, and a method using CG images may be used otherwise.

ここで、位置及び姿勢の推定が適切に完了したか否かの判定は、例えば以下のように行ってもよい。すなわち、推定された位置及び姿勢を用いたデプスセンサ204から取得された作業空間データが作業空間モデルの座標系に座標変換された後、変換された作業空間データと作業空間モデルとの距離が、あらかじめ定めた閾値以内であれば位置及び姿勢の推定が適切であると判定されるようにしてよい。位置及び姿勢の推定が適切でない場合のCG画像としては、例えば、最後に位置及び姿勢の推定が適切に完了した際に得られた位置及び姿勢を用いて生成されたCG画像でもよいし、あるいは、あらかじめ定めされた位置及び姿勢を用いて生成されたCG画像でもよい。   Here, the determination of whether or not the estimation of the position and orientation is properly completed may be performed as follows, for example. That is, after the work space data acquired from the depth sensor 204 using the estimated position and orientation is coordinate-converted into the coordinate system of the work space model, the distance between the converted work space data and the work space model is determined in advance. If it is within a predetermined threshold, it may be determined that the estimation of the position and orientation is appropriate. The CG image when the position and orientation estimation is not appropriate may be, for example, a CG image generated using the position and orientation obtained when the position and orientation estimation is completed properly at the end, or A CG image generated using a predetermined position and orientation may be used.

また、表示内容生成プログラム108は、図14A及び図14Bに示す拡張現実感を用いた提示方法と、図14Cに示すCG画像を用いた提示方法を切り替えるようにしてもよい。例えば、(1)作業者と部品の距離が所定以下であるとき、(2)作業者が見る被取付体または部品の位置を遮蔽するまたは遮蔽するおそれがある物があるとき、(3)拡張現実感を用いた画像では、作業者が見る被取付体または部品の位置及び視線の方向の表示がHMD205に収まらないとき、(4)座標変換後の第1の作業工程に係る被取付体及び部品の3次元データと作業空間の3次元データとの距離が所定以上であるとき、のいずれかの場合には、CG画像を用いた方法を使用するようにしても良い。   Further, the display content generation program 108 may switch between a presentation method using augmented reality shown in FIGS. 14A and 14B and a presentation method using CG images shown in FIG. 14C. For example, (1) When the distance between the worker and the part is less than or equal to a predetermined value, (2) When there is an object that shields or may shield the position of the mounted body or part that the worker sees, and (3) Expansion In the image using reality, when the display of the position of the attached body or part and the direction of the line of sight that the operator sees does not fit in the HMD 205, (4) the attached body according to the first work process after coordinate conversion In any case where the distance between the three-dimensional data of the part and the three-dimensional data of the work space is a predetermined distance or more, a method using a CG image may be used.

図9に戻ると、ステップ912では、ステップ910において確認が完了した(終了条件が満たされた)と判定された場合、ステップ913に進む。確認が完了していない(終了条件が満たされていない)と判定された場合はステップ904に戻る。   Returning to FIG. 9, if it is determined in step 912 that the confirmation is completed in step 910 (end condition is satisfied), the process proceeds to step 913. If it is determined that the confirmation has not been completed (end condition is not satisfied), the process returns to step 904.

ステップ913に進む前に、確認が完了したことや次の手順に進むことを作業者に通知する情報をHMD205に提示するようにしても良い。この場合、さらに、通知に対する作業者の応答を入力装置102から取得し、応答取得後にステップ913に進むようにしても良い。   Before proceeding to step 913, information for notifying the operator that the confirmation has been completed or the next procedure may be performed may be presented to the HMD 205. In this case, the operator's response to the notification may be acquired from the input device 102, and the process may proceed to step 913 after the response is acquired.

ステップ913では、作業管理プログラム105がすべての作業工程が終了したかどうかを判定する。すべての作業工程が終了した場合は、処理を終了する。処理を終了する際には、確認時に取得された作業空間データ(各部品の点群データを含む)140を記憶装置104に保存するようにしても良い。さらに、各作業手順の開始時刻や確認開始時刻、確認終了時刻等を併せて保存してもよい。   In step 913, the work management program 105 determines whether all work processes have been completed. When all the work steps are finished, the process is finished. When the process is ended, the work space data (including point cloud data of each part) 140 acquired at the time of confirmation may be stored in the storage device 104. Furthermore, the start time, confirmation start time, confirmation end time, etc. of each work procedure may be stored together.

すべての作業工程が終了していない場合は、ステップ914で次の作業工程に遷移し、ステップ915でシステム状態を「作業中」に設定し、ステップ904に戻る。   If all work processes have not been completed, the process proceeds to the next work process in step 914, the system state is set to “working” in step 915, and the process returns to step 904.

なお、本システムはタイムアウトを判定する機能を有していてもよい。すなわち、ステップ912において対象の部品の確認が完了しておらず、かつ、確認の開始時からの経過時間が所定時間以上になると、作業管理プログラム105が強制的にステップ903以降の処理を行うようにしてもよい。このとき、作業管理プログラム105が作業のやり直しを作業者に指示する情報をHMD205に提示してもよい。さらに、作業のやり直しの指示に対する作業者の応答を入力装置102により取得し、応答取得後にステップ903に戻るようにしても良い。   Note that the present system may have a function of determining timeout. In other words, when the confirmation of the target part is not completed in step 912 and the elapsed time from the start of the confirmation exceeds a predetermined time, the work management program 105 forcibly performs the processing after step 903. It may be. At this time, the work management program 105 may present information to the HMD 205 instructing the worker to redo the work. Furthermore, the operator's response to the instruction to redo the work may be acquired by the input device 102, and the process may return to step 903 after the response is acquired.

さらに、本システムは、作業空間データと部品モデルと適合度合いが低いとき、強制リセットする機能を有していてもよい。すなわち、ステップ912において、作業空間データと部品モデルとの距離があらかじめ定められた閾値より大きい場合、作業管理プログラム105が強制的にステップ903以降の処理を行うようにしてもよい。このとき、作業管理プログラム105が作業のやり直しを作業者に指示する情報をHMD205に提示してもよい。さらに、作業のやり直しの指示に対する作業者の応答を入力装置102により取得し、応答取得後にステップ903に戻るようにしても良い。   Furthermore, this system may have a function of forcibly resetting when the degree of conformity between the work space data and the part model is low. That is, in step 912, when the distance between the work space data and the part model is larger than a predetermined threshold, the work management program 105 may forcibly perform the processing from step 903 onward. At this time, the work management program 105 may present information to the HMD 205 instructing the worker to redo the work. Furthermore, the operator's response to the instruction to redo the work may be acquired by the input device 102, and the process may return to step 903 after the response is acquired.

なお、本実施形態では、出力装置としてHMD205を用いる例で説明したが、ユーザ端末201を出力装置としてもよい。例えば、作業中の作業者への支援を目的とする場合はHMD205を出力装置とするのが好適であり、作業後に作業結果を確認することを目的とする場合はユーザ端末201を出力装置とするのが好適である。   In the present embodiment, the example in which the HMD 205 is used as the output device has been described. However, the user terminal 201 may be used as the output device. For example, the HMD 205 is preferably used as an output device for the purpose of assisting a worker who is working, and the user terminal 201 is used as an output device for the purpose of confirming work results after work. Is preferred.

ユーザ端末201を出力装置とする場合、デプスセンサ204は、ユーザ端末201と一体でもよいし、ユーザ端末201に装着されていてもよい。各種の処理や表示方法はHMDの利用を前提とした場合の処理や表示方法と同様でよい。   When the user terminal 201 is an output device, the depth sensor 204 may be integrated with the user terminal 201 or may be attached to the user terminal 201. Various processes and display methods may be the same as the processes and display methods on the assumption that the HMD is used.

また、本実施形態では、取り付け作業を対象として説明を行ったが、より一般的な製造工程や建設・改修工事、点検等における確認作業の完了確認にも適用可能である。   Further, in the present embodiment, the description has been made on the attachment work, but the present invention can also be applied to confirmation of completion of confirmation work in a more general manufacturing process, construction / renovation work, inspection, or the like.

さらに、作業者への情報提示方法として、CG画像を用いた方法と拡張現実感を用いた方法を切り替える方法は、確認作業時のみならず、取り付け等の通常の作業時にも適用することが可能である。   Furthermore, as a method for presenting information to the worker, a method of switching between a method using a CG image and a method using augmented reality can be applied not only during a confirmation work but also during a normal work such as installation. It is.

本実施形態により、作業者が作業結果の確認を行う際に、確認が不足している箇所を自動的に検出し、検出した箇所に作業者の視線を誘導することにより、確実に作業結果の確認を遂行できるように作業者を支援することが可能となる。さらに、作業結果の確認を行っている際の作業者や作業空間の状況に応じて、作業者が状況を理解しやすい情報を提示することができる。   According to the present embodiment, when the worker confirms the work result, the location where the confirmation is insufficient is automatically detected, and the operator's line of sight is guided to the detected location, so that the work result can be reliably confirmed. It is possible to assist the worker so that the confirmation can be performed. Furthermore, information that makes it easy for the worker to understand the situation can be presented according to the worker or the situation of the workspace when the work result is being confirmed.

次に、本発明の第2の実施形態に係る作業支援システムについて、図15〜図17を用いて説明する。   Next, a work support system according to a second embodiment of the present invention will be described with reference to FIGS.

図15は、第2の実施形態に係る作業支援システムの構成図である。   FIG. 15 is a configuration diagram of a work support system according to the second embodiment.

本実施形態に係る作業支援システムは、作業者用端末1501と、作業情報管理用端末1517とを有し、これらがネットワーク1516を介して接続されている。そして、作業情報管理用端末1517が本システムで使用するデータを管理する。作業者用端末1501は、作業情報管理用端末1517からデータを取得して作業者の支援を行う。以下の説明において、第1の実施形態と同様の機能または構成については説明を省略する場合がある。   The work support system according to the present embodiment includes a worker terminal 1501 and a work information management terminal 1517, which are connected via a network 1516. The work information management terminal 1517 manages data used in the present system. The worker terminal 1501 obtains data from the work information management terminal 1517 and supports the worker. In the following description, description of functions or configurations similar to those of the first embodiment may be omitted.

作業者用端末1501は、中央処理装置1502、入力装置1503、出力装置1504、及び記憶装置1506を有する。これらは、図1における中央処理装置101、入力装置102、出力装置103、及び記憶装置104とそれぞれ同様のものである。   The worker terminal 1501 includes a central processing unit 1502, an input device 1503, an output device 1504, and a storage device 1506. These are the same as the central processing unit 101, the input device 102, the output device 103, and the storage device 104 in FIG.

記憶装置1506には、送受信プログラム1507と、作業管理プログラム1508と、位置姿勢推定プログラム1509と、確認状態判定プログラム1510と、表示内容生成プログラム1511と、部品モデル1513と、作業空間モデル1514と、作業マニュアルデータ1515とが記憶されている。   The storage device 1506 includes a transmission / reception program 1507, a work management program 1508, a position / orientation estimation program 1509, a confirmation state determination program 1510, a display content generation program 1511, a part model 1513, a work space model 1514, a work Manual data 1515 is stored.

作業管理プログラム1508は、第1の実施形態における作業管理プログラム105と同様の機能を有し、さらに、作業情報管理用端末1517との間で、データの送受信を行う機能を有する。   The work management program 1508 has the same function as the work management program 105 in the first embodiment, and further has a function of transmitting and receiving data to and from the work information management terminal 1517.

位置姿勢推定プログラム1509、確認状態判定プログラム1510、表示内容生成プログラム1511は、第1の実施形態における位置姿勢推定プログラム106、確認状態判定プログラム107、表示内容生成プログラム108とそれぞれ同様のものである。   The position / orientation estimation program 1509, the confirmation state determination program 1510, and the display content generation program 1511 are the same as the position / orientation estimation program 106, the confirmation state determination program 107, and the display content generation program 108 in the first embodiment, respectively.

部品モデル1513、作業空間モデル1514、及び作業マニュアルデータ1515は、第1の実施形態における部品モデル120、作業空間モデル130、及び作業マニュアルデータ800とそれぞれ同様のものである。   The part model 1513, the work space model 1514, and the work manual data 1515 are the same as the part model 120, the work space model 130, and the work manual data 800 in the first embodiment.

作業者用端末1501は、さらに、通信装置1505を備える。通信装置1505は、作業情報管理用端末1517との間で情報のやり取りを行うための装置である。   The worker terminal 1501 further includes a communication device 1505. The communication device 1505 is a device for exchanging information with the work information management terminal 1517.

作業結果1512には、作業の開始時刻や確認完了時刻等の作業時間に関する情報や、各部品を確認した結果取得された作業空間データ(点群データ)が保存される。   The work result 1512 stores information on work time such as work start time and confirmation completion time, and work space data (point cloud data) acquired as a result of checking each part.

また、記憶装置1506に格納される送受信プログラム1507は、作業者が選択した作業に関する作業マニュアルデータ及びそれに付随する部品モデルや作業空間モデルを作業情報管理用端末1517から受信し、作業空間モデル1513、部品モデル1514、及び作業マニュアルデータ1515にそれぞれ格納するとともに、実施中の作業完了後、作業結果1512に保存されている作業時間に関する情報や各部品の点群データを作業情報管理用端末1517に送信するためのプログラムである。   The transmission / reception program 1507 stored in the storage device 1506 receives work manual data related to the work selected by the worker and the accompanying part model and work space model from the work information management terminal 1517, and the work space model 1513, The information is stored in the part model 1514 and the work manual data 1515, and after completion of the work in progress, information on the work time stored in the work result 1512 and point cloud data of each part are transmitted to the work information management terminal 1517. It is a program to do.

作業情報管理用端末1517は、作業手順に関する情報及びそれに付随する部品モデルや作業空間モデルを一括管理する作業情報管理用端末である。   The work information management terminal 1517 is a work information management terminal that collectively manages information related to work procedures and the accompanying part models and work space models.

1518は、各種のプログラムを実行するための中央処理装置である。   Reference numeral 1518 denotes a central processing unit for executing various programs.

1519は、各種プログラムを制御するためのキーボードあるいはマウス、タッチパネル等の一般的なコンピュータにおける入力装置である。   Reference numeral 1519 denotes an input device in a general computer such as a keyboard, a mouse, or a touch panel for controlling various programs.

1520はディスプレイ等、一般的なコンピュータで使用される出力装置である。   Reference numeral 1520 denotes an output device used in a general computer such as a display.

1521は、作業者用端末1501との間で情報のやり取りを行うための通信装置である。   Reference numeral 1521 denotes a communication device for exchanging information with the worker terminal 1501.

記憶装置1522には、送受信プログラム1523と、作業手順登録プログラム1524、作業履歴閲覧プログラム1525、部品モデル1526と、作業空間モデル1527と、作業マニュアルデータ1528と、作業履歴1529とが格納される。   The storage device 1522 stores a transmission / reception program 1523, a work procedure registration program 1524, a work history browsing program 1525, a part model 1526, a work space model 1527, work manual data 1528, and a work history 1529.

送受信プログラム1523は、作業マニュアルデータ及びそれに付随する部品モデルや作業空間モデルを作業者用端末1501に送信するとともに、作業者用端末1501から送信される作業時間に関する情報や各部品の点群データを受信し、作業履歴1529に格納するプログラムである。   The transmission / reception program 1523 transmits the work manual data and the accompanying part model and work space model to the worker terminal 1501, and also transmits information on the work time and point cloud data of each part transmitted from the worker terminal 1501. This program is received and stored in the work history 1529.

作業手順登録プログラム1524は、作業マニュアルデータ及びそれに付随する部品モデル及び作業空間モデルを追加、修正及び削除するためのプログラムである。   The work procedure registration program 1524 is a program for adding, modifying, and deleting work manual data and the accompanying part model and work space model.

作業履歴閲覧プログラム1525は、作業履歴1529の内容を出力装置1520上に表示し、作業履歴の内容の確認や情報の追加・修正を行うためのプログラムである。   The work history browsing program 1525 is a program for displaying the contents of the work history 1529 on the output device 1520 and confirming the contents of the work history and adding / modifying information.

部品モデル1526、作業空間モデル1527、作業マニュアルデータ1528は、部品モデル120、作業空間モデル130、作業マニュアルデータ800とそれぞれ同様のものである。   The part model 1526, work space model 1527, and work manual data 1528 are the same as the part model 120, work space model 130, and work manual data 800, respectively.

作業履歴1529は、過去に実施した作業における各作業手順の時間情報や確認時に取得した作業空間データを作業の実施履歴として保存する。作業履歴1529のデータフォーマットは、作業結果1512に保存される作業結果データ1600と同様である。   The work history 1529 stores time information of each work procedure in work performed in the past and work space data acquired at the time of confirmation as work execution history. The data format of the work history 1529 is the same as the work result data 1600 stored in the work result 1512.

図16に作業結果データ1600のデータフォーマットの一例を示す。   FIG. 16 shows an example of the data format of the work result data 1600.

1601は作業の名称であり、識別子である。作業の名称1601は、任意の文字列を使用することができる。   Reference numeral 1601 denotes a work name, which is an identifier. An arbitrary character string can be used for the work name 1601.

1602は作業を実施した日時を示す。作業実施日時1602は日付と時刻を有する。時刻は作業の開始時刻及び終了時刻の一方または両方を含めることができる。   Reference numeral 1602 denotes the date and time when the work was performed. The work execution date 1602 has a date and time. The time can include one or both of a work start time and an end time.

1603は作業項目の数を示す。   Reference numeral 1603 denotes the number of work items.

1604は、作業工程の完了時刻である。   Reference numeral 1604 denotes the completion time of the work process.

1605は、作業工程の確認が完了した時点の作業空間データである。各工程の作業の目視確認が終了した時点で取得済みの作業空間の点群データでよい。   Reference numeral 1605 denotes work space data at the time when the confirmation of the work process is completed. It may be the point cloud data of the work space that has been acquired when the visual confirmation of the work of each process is completed.

作業結果データ1600は、作業項目の数1603だけの作業工程の完了時刻1604及び作業空間データ1605を有する   The work result data 1600 includes work process completion times 1604 and work space data 1605 corresponding to the number of work items 1603.

図16のデータフォーマットでは、各作業工程の完了時刻のみを記載しているが、作業工程の開始時刻や確認の開始時刻を含めることもできる。   In the data format of FIG. 16, only the completion time of each work process is described, but the start time of the work process and the start time of confirmation can also be included.

図17は、本実施形態における処理の流れを表すシーケンス図を示す。   FIG. 17 is a sequence diagram showing the flow of processing in this embodiment.

作業者がシステムを起動すると(1701)、作業者用端末1501は作業管理プログラム1508を用いて、作業情報管理用端末1517に、作業に関する情報の一覧を要求する(1702)。   When the worker activates the system (1701), the worker terminal 1501 uses the work management program 1508 to request the work information management terminal 1517 for a list of information regarding work (1702).

作業情報管理用端末1517は、作業者用端末1501からの要求を受信し、要求に応じて、作業に関する情報の一覧を作業者用端末1501に送信する(1703)。   The work information management terminal 1517 receives the request from the worker terminal 1501, and transmits a list of information related to the work to the worker terminal 1501 in response to the request (1703).

作業者用端末1501は作業に関する情報の一覧を受信し、受信した作業の一覧を出力装置1504に表示する(1704)。   The worker terminal 1501 receives a list of information related to the work, and displays the received work list on the output device 1504 (1704).

作業者が実施対象の作業工程を選択すると(1705)、作業者用端末1501は、作業情報管理用端末1517に、作業者が選択した作業工程に関する作業マニュアルデータとその作業工程に付随する3次元モデルを要求する(1706)。   When the worker selects a work process to be executed (1705), the worker terminal 1501 sends work manual data related to the work process selected by the worker to the work information management terminal 1517 and the three-dimensional data attached to the work process. A model is requested (1706).

作業情報管理用端末1517は、作業者用端末1501からの要求に基づいて作業マニュアルデータと3次元モデルを送信する(1707)。   The work information management terminal 1517 transmits work manual data and a three-dimensional model based on a request from the worker terminal 1501 (1707).

作業者用端末1501では作業管理プログラム1508により、受信した作業マニュアルデータと3次元モデルに基づいて、第1の作業工程に関する情報を出力装置1504に表示する(1708)。   The worker terminal 1501 displays information on the first work process on the output device 1504 based on the received work manual data and the three-dimensional model by the work management program 1508 (1708).

作業者が第1の作業工程の確認開始を作業者用端末1501に通知すると(1709)、作業者用端末1501では、第1の実施例と同様に、位置及び姿勢推定プログラム1509、確認状態判定プログラム1510、及び表示内容生成プログラム1511を用いることにより作業者の確認作業の支援を行う。確認が完了すると、第2の作業工程に関する情報を出力装置1504に表示する(1710)。   When the worker notifies the worker terminal 1501 of the start of confirmation of the first work process (1709), the worker terminal 1501 determines the position and orientation estimation program 1509, the confirmation state determination, as in the first embodiment. By using the program 1510 and the display content generation program 1511, the operator's confirmation work is supported. When the confirmation is completed, information on the second work process is displayed on the output device 1504 (1710).

最後の作業工程である第n番目の作業工程に関する確認開始が作業者から通知され(1711)、確認が完了すると、作業者用端末1501は、作業完了の通知を出力装置1504上に表示する(1712)。   The worker is notified of the start of confirmation regarding the nth work process, which is the last work process (1711), and when the confirmation is completed, the worker terminal 1501 displays a notice of work completion on the output device 1504 ( 1712).

さらに作業者用端末1501は、各工程の開始時刻や終了時刻等の時間情報と、確認時に取得された各部品を含む作業空間データとを作業結果として作業情報管理用端末1517に送信する(1713)。作業情報管理用端末1517では、受信した作業結果を作業履歴1529に保存する。   Further, the worker terminal 1501 transmits time information such as the start time and end time of each process and work space data including each part acquired at the time of confirmation to the work information management terminal 1517 as a work result (1713). ). The work information management terminal 1517 stores the received work result in the work history 1529.

第2の実施形態では、作業マニュアルデータ、部品モデル及び作業空間モデルの管理のみを作業情報管理用端末1517が実施するが、作業支援の機能の一部または全部を作業情報管理用端末1517が行うようにしても良い。この場合、作業者用端末1501は、入力装置1503から取得した点群データを作業情報管理用端末1517に送信するとともに、作業情報管理用端末1517から受信した表示内容を出力装置1504に表示する処理のみを実施することになり、作業結果1512、部品モデル1513、作業空間モデル1514及び作業マニュアルデータ1515も作業者用端末1501から削除された構成でよい。   In the second embodiment, the work information management terminal 1517 performs only management of the work manual data, the part model, and the work space model, but the work information management terminal 1517 performs part or all of the work support function. You may do it. In this case, the worker terminal 1501 transmits the point cloud data acquired from the input device 1503 to the work information management terminal 1517, and displays the display contents received from the work information management terminal 1517 on the output device 1504. Only the work result 1512, the part model 1513, the work space model 1514, and the work manual data 1515 may be deleted from the worker terminal 1501.

第2の実施形態に係る作業支援システムにより、第1の実施形態と同様に作業者を支援することが可能となる。さらに、第2の実施形態では、作業マニュアルデータを作業情報管理用端末で一元管理し、必要な作業マニュアルデータのみを作業者用端末に読み込ませることにより、各作業者に応じた作業支援を行うことが可能となる。また、作業履歴を作業情報管理用端末に集約することにより、作業者以外が作業結果を確認することや、作業結果の比較分析等を行うことも容易となる。   The work support system according to the second embodiment can support the worker in the same manner as in the first embodiment. Furthermore, in the second embodiment, work manual data is centrally managed by the work information management terminal, and only necessary work manual data is read into the worker terminal, thereby providing work support according to each worker. It becomes possible. Further, by consolidating the work history into the work information management terminal, it becomes easy for a person other than the operator to check the work result, to perform a comparative analysis of the work result, and the like.

105 作業管理プログラム
106 位置姿勢推定プログラム
107 確認状態判定プログラム
108 表示内容生成プログラム
120 部品モデル
130 作業空間モデル
130 作業空間モデル
140 作業空間データ
201 ユーザ端末
202 タッチパネル
203 ヘルメット
204 デプスセンサ
205 ヘッドマウントディスプレイ(HMD)

105 Work Management Program 106 Position / Orientation Estimation Program 107 Confirmation State Determination Program 108 Display Content Generation Program 120 Part Model 130 Work Space Model 130 Work Space Model 140 Work Space Data 201 User Terminal 202 Touch Panel 203 Helmet 204 Depth Sensor 205 Head Mount Display (HMD)

Claims (9)

作業空間内にある、作業対象の被取付体及び前記被取付体に取り付ける部品の3次元データと、1以上の作業工程の作業手順を示す作業マニュアルデータと、を記憶する記憶装置と、
作業者が作業を行っている間、前記作業者から見える作業空間の3次元データを取得する3次元データ取得装置と、
中央処置装置と、を備えた作業支援システムであって、
前記中央処理装置は、
前記記憶手段に記憶されている作業マニュアルデータに基づいて、各作業工程の作業手順を出力させる処理と、
前記記憶手段に記憶されている、第1の作業工程に係る被取付体及び部品の3次元データと、前記3次元データ取得装置が取得した作業空間の3次元データとを比較し、第1の作業工程の目視確認作業の終了条件を満たすか否かを判定する処理と、
前記判定で前記終了条件が満たされないときは、前記終了条件を満たすためのガイダンスを出力させる処理と、を行う作業支援システム。
A storage device for storing three-dimensional data of a work target attached body and a part attached to the work attached in the work space, and work manual data indicating a work procedure of one or more work steps;
A three-dimensional data acquisition device for acquiring three-dimensional data of a work space that is visible to the worker while the worker is working;
A work support system comprising a central treatment device,
The central processing unit is
Based on the work manual data stored in the storage means, processing to output the work procedure of each work process,
A comparison is made between the three-dimensional data of the mounted body and the part related to the first work process stored in the storage means and the three-dimensional data of the work space acquired by the three-dimensional data acquisition device, A process of determining whether or not the end condition of the visual confirmation work of the work process is satisfied,
And a process for outputting guidance for satisfying the end condition when the end condition is not satisfied in the determination.
前記中央処理装置は、さらに、
前記3次元データ取得装置の位置及び姿勢を推定し、前記推定の結果に基づいて前記第1の作業工程に係る被取付体及び部品の3次元データと、前記作業空間の3次元データとをマッチングさせる処理を行い、
前記目視確認作業の終了条件は、前記第1の作業工程に係る被取付体及び部品の3次元データと前記作業空間の3次元データとの差分が所定の閾値以下である、請求項1に記載の作業支援システム。
The central processing unit further includes:
Estimating the position and orientation of the three-dimensional data acquisition device, and matching the three-dimensional data of the mounted body and parts related to the first work process with the three-dimensional data of the work space based on the estimation result Process
2. The end condition of the visual confirmation work is that the difference between the three-dimensional data of the attached body and the part according to the first work process and the three-dimensional data of the work space is a predetermined threshold value or less. Work support system.
前記終了条件を満たすためのガイダンスは、前記作業者が見る視点及び視線の方向を示す、請求項2に記載の作業支援システム。   The work support system according to claim 2, wherein the guidance for satisfying the end condition indicates a viewpoint and a line-of-sight direction viewed by the worker. 前記作業者が見る視点は、前記第1の作業工程に係る被取付体及び部品の3次元データにあって前記作業空間の3次元データにない領域である、請求項3記載の作業支援システム。   The work support system according to claim 3, wherein the viewpoint viewed by the worker is an area that is in the three-dimensional data of the mounted body and the part related to the first work process but not in the three-dimensional data of the work space. 前記作業者によって装着されるヘッドマウントディスプレイをさらに備え、
前記終了条件を満たすためのガイダンスは、
前記ヘッドマウントディスプレイを通して前記作業者から見える作業空間において、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向を、前記ヘッドマウントディスプレイに表示する第1の表示態様と、
前記取付体及び前記部品を含むCG画像において前記作業者が見る前記被取付体または前記部品の位置及び視線の方向をコンピュータグラフィックスで前記ヘッドマウントディスプレイに表示する第2の表示態様と、のいずれかの表示態様で出力される、請求項2〜4のいずれかに記載の作業支援システム。
Further comprising a head mounted display worn by the operator,
Guidance for satisfying the termination condition is as follows:
A first display mode for displaying a position and a line-of-sight direction of the attached body or the component viewed by the worker on the head-mounted display in a work space that is visible to the worker through the head-mounted display;
Any one of the second display modes in which the position and the direction of the line of sight of the mounted body or the part viewed by the worker in the CG image including the mounting body and the part are displayed on the head mounted display by computer graphics. The work support system according to claim 2, wherein the work support system is output in such a display mode.
前記ガイダンスは、(1)〜(4)のいずれかが満たされるとき、前記第2の表示態様で出力される、請求項5に記載の作業支援システム。
(1)前記作業者と前記部品の距離が所定以下であるとき
(2)前記作業者が見る前記被取付体または前記部品の位置を遮蔽するまたは遮蔽するおそれがある物があるとき
(3)第1の表示態様では、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向の表示が前記ヘッドマウントディスプレイに収まらないとき
(4)前記マッチングを行っても前記第1の作業工程に係る被取付体及び部品の3次元データと前記作業空間の3次元データとのズレが所定以上であるとき
The work support system according to claim 5, wherein the guidance is output in the second display mode when any one of (1) to (4) is satisfied.
(1) When the distance between the worker and the part is equal to or less than a predetermined value (2) When there is an object that shields or may shield the position of the mounted body or the part viewed by the worker (3) In the first display mode, when the display of the position of the attached body or the part and the direction of the line of sight seen by the worker does not fit in the head mounted display. (4) Even if the matching is performed, the first work When the deviation between the three-dimensional data of the mounted body and the part related to the process and the three-dimensional data of the work space is greater than or equal to a predetermined value
前記中央処理装置は、さらに、
前記判定で前記終了条件が満たされるときは、第1の作業工程の次の第2の作業工程の作業手順を出力させる処理を行う、請求項1〜6のいずれかに記載の作業支援システム。
The central processing unit further includes:
The work support system according to claim 1, wherein when the end condition is satisfied in the determination, a process for outputting a work procedure of a second work process subsequent to the first work process is performed.
前記中央処理装置は、さらに、
前記判定で前記終了条件が満たされたときは、前記作業空間の3次元データを前記記憶装置に保存する処理を行う、請求項1〜7のいずれかに記載の作業支援システム。
The central processing unit further includes:
The work support system according to claim 1, wherein when the end condition is satisfied in the determination, a process of saving the three-dimensional data of the work space in the storage device is performed.
作業空間内にある、作業対象の被取付体及び前記被取付体に取り付ける部品の3次元データと、1以上の作業工程の作業手順を示す作業マニュアルデータと、を記憶する記憶装置と、
作業者が作業を行っている間、前記作業者から見える作業空間の3次元データを取得する3次元データ取得装置と、
中央処置装置と、を備えた作業支援システムが行う作業支援方法であって、
前記中央処理装置が、
前記記憶手段に記憶されている作業マニュアルデータに基づいて、各作業工程の作業手順を出力させる処理と、
前記記憶手段に記憶されている、第1の作業工程に係る被取付体及び部品の3次元データと、前記3次元データ取得装置が取得した作業空間の3次元データとを比較し、第1の作業工程の目視確認作業の終了条件を満たすか否かを判定する処理と、
前記判定で前記終了条件が満たされないときは、前記終了条件を満たすためのガイダンスを出力させる処理と、を行う方法。
A storage device for storing three-dimensional data of a work target attached body and a part attached to the work attached in the work space, and work manual data indicating a work procedure of one or more work steps;
A three-dimensional data acquisition device for acquiring three-dimensional data of a work space that is visible to the worker while the worker is working;
A work support method performed by a work support system comprising a central treatment device,
The central processing unit is
Based on the work manual data stored in the storage means, processing to output the work procedure of each work process,
A comparison is made between the three-dimensional data of the mounted body and the part related to the first work process stored in the storage means and the three-dimensional data of the work space acquired by the three-dimensional data acquisition device, A process of determining whether or not the end condition of the visual confirmation work of the work process is satisfied,
And a process of outputting guidance for satisfying the end condition when the end condition is not satisfied in the determination.
JP2016078581A 2016-04-11 2016-04-11 Work support system and method Active JP6643170B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016078581A JP6643170B2 (en) 2016-04-11 2016-04-11 Work support system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016078581A JP6643170B2 (en) 2016-04-11 2016-04-11 Work support system and method

Publications (2)

Publication Number Publication Date
JP2017191351A true JP2017191351A (en) 2017-10-19
JP6643170B2 JP6643170B2 (en) 2020-02-12

Family

ID=60086394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016078581A Active JP6643170B2 (en) 2016-04-11 2016-04-11 Work support system and method

Country Status (1)

Country Link
JP (1) JP6643170B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6321879B1 (en) * 2017-12-20 2018-05-09 グレイステクノロジー株式会社 Work support system and work support program
JP2019144153A (en) * 2018-02-22 2019-08-29 一般財団法人電力中央研究所 Reproduction method, reproduction device, and reproduction program of electric wire shape, and evaluation method, evaluation device, and evaluation program of point group accuracy
JP2019159942A (en) * 2018-03-14 2019-09-19 沖電気工業株式会社 Information processing device, information processing system, information processing method, and program
WO2020049619A1 (en) * 2018-09-03 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント Information processing device, information processing method, and program
WO2020158942A1 (en) * 2019-01-31 2020-08-06 味の素エンジニアリング株式会社 Structure managment system
JP2020144813A (en) * 2019-03-08 2020-09-10 株式会社竹中工務店 Support system and support program
JP2020144776A (en) * 2019-03-08 2020-09-10 株式会社日立製作所 Work support system, work support device, and work support method
JP2020149546A (en) * 2019-03-15 2020-09-17 ダイダン株式会社 Construction support system and construction support device
JP2020181531A (en) * 2019-04-26 2020-11-05 三菱重工業株式会社 Construction method of installation, video display device, and inspection method of installation position
JP2021064267A (en) * 2019-10-16 2021-04-22 東芝プラントシステム株式会社 Image processing apparatus and image processing method
JP2021103168A (en) * 2019-12-25 2021-07-15 エーディーエーティー テクノロジー カンパニー リミテッド Augmented reality device and positioning method
WO2021157464A1 (en) * 2020-02-04 2021-08-12 株式会社トプコン Data management system, management method, and management program
US11188053B2 (en) 2018-08-28 2021-11-30 Optim Corporation Computer system, operation verification method, and program
JP2022049410A (en) * 2020-09-16 2022-03-29 Jfeプラントエンジ株式会社 Construction support system and construction support method
JP7568047B1 (en) 2023-11-21 2024-10-16 トヨタ自動車株式会社 Device
JP7570632B2 (en) 2021-03-26 2024-10-22 株式会社日立製作所 Design support device, design support method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133519A (en) * 1995-11-10 1997-05-20 Ishikawajima Harima Heavy Ind Co Ltd Method for inspecting three-dimensional structure
JP2010271536A (en) * 2009-05-21 2010-12-02 Kanto Auto Works Ltd Work training system and work training method, as well as recording medium with the work training method recorded thereon
JP2013097466A (en) * 2011-10-28 2013-05-20 Hitachi Ltd Work support system, work support method, and terminal for work
JP2014149718A (en) * 2013-02-01 2014-08-21 Nec Corp Photographing instruction device, photographing instruction method, and program
JP2014229057A (en) * 2013-05-22 2014-12-08 川崎重工業株式会社 Component assembly work support system and component assembly method
WO2015173882A1 (en) * 2014-05-13 2015-11-19 株式会社日立製作所 Content generation method and management device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133519A (en) * 1995-11-10 1997-05-20 Ishikawajima Harima Heavy Ind Co Ltd Method for inspecting three-dimensional structure
JP2010271536A (en) * 2009-05-21 2010-12-02 Kanto Auto Works Ltd Work training system and work training method, as well as recording medium with the work training method recorded thereon
JP2013097466A (en) * 2011-10-28 2013-05-20 Hitachi Ltd Work support system, work support method, and terminal for work
JP2014149718A (en) * 2013-02-01 2014-08-21 Nec Corp Photographing instruction device, photographing instruction method, and program
JP2014229057A (en) * 2013-05-22 2014-12-08 川崎重工業株式会社 Component assembly work support system and component assembly method
WO2015173882A1 (en) * 2014-05-13 2015-11-19 株式会社日立製作所 Content generation method and management device

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769536B2 (en) 2017-12-20 2020-09-08 Grace Technology, Inc. Work support system and work support program
WO2019123861A1 (en) * 2017-12-20 2019-06-27 グレイステクノロジー株式会社 Work assistance system and work assistance program
JP2019109844A (en) * 2017-12-20 2019-07-04 グレイステクノロジー株式会社 Work support system and work support program
JP6321879B1 (en) * 2017-12-20 2018-05-09 グレイステクノロジー株式会社 Work support system and work support program
JP2019144153A (en) * 2018-02-22 2019-08-29 一般財団法人電力中央研究所 Reproduction method, reproduction device, and reproduction program of electric wire shape, and evaluation method, evaluation device, and evaluation program of point group accuracy
JP7098349B2 (en) 2018-02-22 2022-07-11 一般財団法人電力中央研究所 Wire shape reproduction method, reproduction device, and reproduction program, as well as point cloud accuracy evaluation method, evaluation device, and evaluation program.
JP2019159942A (en) * 2018-03-14 2019-09-19 沖電気工業株式会社 Information processing device, information processing system, information processing method, and program
JP7000935B2 (en) 2018-03-14 2022-01-19 沖電気工業株式会社 Information processing equipment, information processing system, information processing method and program
US11188053B2 (en) 2018-08-28 2021-11-30 Optim Corporation Computer system, operation verification method, and program
WO2020049619A1 (en) * 2018-09-03 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント Information processing device, information processing method, and program
US11461957B2 (en) 2018-09-03 2022-10-04 Sony Interactive Entertainment Inc. Information processing device, information processing method, and program
JP6990777B2 (en) 2018-09-03 2022-01-12 株式会社ソニー・インタラクティブエンタテインメント Information processing equipment, information processing methods, and programs
JPWO2020049619A1 (en) * 2018-09-03 2021-06-10 株式会社ソニー・インタラクティブエンタテインメント Information processing equipment, information processing methods, and programs
WO2020158942A1 (en) * 2019-01-31 2020-08-06 味の素エンジニアリング株式会社 Structure managment system
JP2020123222A (en) * 2019-01-31 2020-08-13 味の素エンジニアリング株式会社 Building management system
JP2020144813A (en) * 2019-03-08 2020-09-10 株式会社竹中工務店 Support system and support program
JP7296220B2 (en) 2019-03-08 2023-06-22 株式会社竹中工務店 Support system and support program
JP2020144776A (en) * 2019-03-08 2020-09-10 株式会社日立製作所 Work support system, work support device, and work support method
JP7109395B2 (en) 2019-03-08 2022-07-29 株式会社日立製作所 WORK SUPPORT SYSTEM, WORK SUPPORT DEVICE, AND WORK SUPPORT METHOD
JP2020149546A (en) * 2019-03-15 2020-09-17 ダイダン株式会社 Construction support system and construction support device
JP7240573B2 (en) 2019-03-15 2023-03-16 ダイダン株式会社 Construction support system and construction support device
JP7336253B2 (en) 2019-04-26 2023-08-31 三菱重工業株式会社 Installation method
JP2020181531A (en) * 2019-04-26 2020-11-05 三菱重工業株式会社 Construction method of installation, video display device, and inspection method of installation position
JP7403273B2 (en) 2019-10-16 2023-12-22 東芝プラントシステム株式会社 Image processing device and image processing method
JP2021064267A (en) * 2019-10-16 2021-04-22 東芝プラントシステム株式会社 Image processing apparatus and image processing method
NL2025743B1 (en) * 2019-12-25 2021-09-09 Adat Tech Co Ltd Augmented reality device and positioning method
JP7114686B2 (en) 2019-12-25 2022-08-08 エーディーエーティー テクノロジー カンパニー リミテッド Augmented reality device and positioning method
JP2021103168A (en) * 2019-12-25 2021-07-15 エーディーエーティー テクノロジー カンパニー リミテッド Augmented reality device and positioning method
US11158081B2 (en) 2019-12-25 2021-10-26 Adat Technology Co., Ltd. Augmented reality device and positioning method
JP2021124867A (en) * 2020-02-04 2021-08-30 株式会社トプコン Data management system, management method, management program
WO2021157464A1 (en) * 2020-02-04 2021-08-12 株式会社トプコン Data management system, management method, and management program
JP7442329B2 (en) 2020-02-04 2024-03-04 株式会社トプコン Data management system, management method, management program
US12007962B2 (en) 2020-02-04 2024-06-11 Topcon Corporation Data management system and management method
JP2022049410A (en) * 2020-09-16 2022-03-29 Jfeプラントエンジ株式会社 Construction support system and construction support method
JP7572579B2 (en) 2020-09-16 2024-10-23 Jfeプラントエンジ株式会社 Construction support system and construction support method
JP7570632B2 (en) 2021-03-26 2024-10-22 株式会社日立製作所 Design support device, design support method
JP7568047B1 (en) 2023-11-21 2024-10-16 トヨタ自動車株式会社 Device

Also Published As

Publication number Publication date
JP6643170B2 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
JP6643170B2 (en) Work support system and method
JP5263049B2 (en) Information processing apparatus, information processing method, and program
KR101816041B1 (en) See-through smart glasses and see-through method thereof
JP2011028309A5 (en)
US20110311127A1 (en) Motion space presentation device and motion space presentation method
JP6742701B2 (en) Information processing apparatus, control method thereof, and program
JP6946087B2 (en) Information processing device, its control method, and program
JP2019008623A (en) Information processing apparatus, information processing apparatus control method, computer program, and storage medium
JP2015125641A (en) Information processing device, control method therefor, and program
US11610381B2 (en) Information processing apparatus, system, and method for detecting collision between a physical and virtual object
JPWO2015107665A1 (en) Work support data creation program
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
JP2020052790A (en) Information processor, information processing method, and program
CN112655027A (en) Maintenance support system, maintenance support method, program, method for generating processed image, and processed image
CN109584361B (en) Equipment cable virtual preassembling and track measuring method and system
JP6295296B2 (en) Complex system and target marker
JP6364389B2 (en) Inspection method and inspection system
KR20110088995A (en) Method and system to visualize surveillance camera videos within 3d models, and program recording medium
JP6676294B2 (en) Information processing apparatus, information processing method, and program
JP2019185475A (en) Specification program, specification method, and information processing device
JP6726016B2 (en) Information processing device and information processing method
JP2010205030A (en) Method, system and program for specifying related information display position
KR20190048810A (en) Apparatus and method for providing augmented reality contents
JP7039216B2 (en) Information processing equipment and its methods, programs
JP6800599B2 (en) Information processing equipment, methods and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R150 Certificate of patent or registration of utility model

Ref document number: 6643170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150