[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2009199004A - Technology managing device and technology managing method - Google Patents

Technology managing device and technology managing method Download PDF

Info

Publication number
JP2009199004A
JP2009199004A JP2008043265A JP2008043265A JP2009199004A JP 2009199004 A JP2009199004 A JP 2009199004A JP 2008043265 A JP2008043265 A JP 2008043265A JP 2008043265 A JP2008043265 A JP 2008043265A JP 2009199004 A JP2009199004 A JP 2009199004A
Authority
JP
Japan
Prior art keywords
driving information
worker
point
gazing point
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008043265A
Other languages
Japanese (ja)
Other versions
JP5079542B2 (en
Inventor
Kengo Nakao
憲午 中尾
Minoru Harada
稔 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP2008043265A priority Critical patent/JP5079542B2/en
Publication of JP2009199004A publication Critical patent/JP2009199004A/en
Application granted granted Critical
Publication of JP5079542B2 publication Critical patent/JP5079542B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To perform technology management by following the operator's viewpoint without preparing simulation data. <P>SOLUTION: A technology managing method for performing technology management through managing, by using a viewpoint following device 10 and an operation information managing device 20, the field of view and the point of gaze of the operator wearing the viewpoint following device includes: a step to acquire the operator's visual field image; a step to acquire the operator's point of gaze on the visual field image by following the operator's point of gaze; a step to judge the position of the point of gaze; a step to acquire operation information relevant to the position of the point of gaze; and a step to output the operation information to a sound output section 17. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、技術管理装置及び技術管理方法に関し、特に、作業者の頭部で取得される画面上に、作業対象物の仕様と作業者の注視点とを重ね合わせて表示する技術管理装置及び技術管理方法に関する。   TECHNICAL FIELD The present invention relates to a technology management apparatus and a technology management method, and in particular, a technology management apparatus that superimposes and displays a specification of a work target and a worker's point of sight on a screen acquired by a worker's head, and Technical management method.

従来、製造業等における作業方法の教習は、実際の作業現場や専門の研修設備等の限られた場所で実際に作業機械を用いて行われたり、又は、紙面に記載した作業方法により行なわれたりしている。
そして、熟練した作業者が減少する社会背景上、短時間に技術技能を伝承する必要があり、さらに、企業内の合理化が進む中、OJT(On−the−Job Training)する時間も確保するのが難しい。そのため、効率的に作業方法に関する技術技能を教習していくことが、製造業等の業種において重要課題となっている。
Conventionally, training of working methods in the manufacturing industry, etc. is actually performed using working machines in limited places such as actual work sites and specialized training facilities, or by working methods described on paper. It is.
In addition, due to the social background of reducing skilled workers, it is necessary to pass on technical skills in a short time, and while rationalization within the company is progressing, time for on-the-job training (OJT) is also secured. Is difficult. For this reason, it is an important issue in industries such as the manufacturing industry to efficiently learn technical skills related to work methods.

また、実際の作業を利用することなく、シミュレーションコース上での基本画像データを予め記憶し、操作者による操作信号に基づき、シミュレーションデータを生成して、操作者が装着したヘッドマウントディスプレイに表示することで、作業内容の教育研修を行う方法が提案されている(特許文献1)。   Also, basic image data on the simulation course is stored in advance without using actual work, and simulation data is generated based on an operation signal from the operator and displayed on a head mounted display worn by the operator. Thus, a method for conducting training on work content has been proposed (Patent Document 1).

特開2004−252024号公報JP 2004-252024 A

しかしながら、提案されている方法では、シミュレーションコースに対応した3次元画像作成、実際の作業車両の出力に対応したシミュレーションデータの作成など、シミュレーションデータを準備するための多大な準備作業が必要になる。さらに、シミュレーションコースや作業車両の変更に対応した3次元画像等の変更にも多大な作業が生じる等の不都合があった。   However, the proposed method requires a great deal of preparation work for preparing simulation data, such as creation of a three-dimensional image corresponding to a simulation course and creation of simulation data corresponding to the output of an actual work vehicle. In addition, there is a disadvantage that a great deal of work is required for changing the three-dimensional image corresponding to the change of the simulation course or the work vehicle.

そこで、本発明は、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理することで、作業対象物の運転情報を作業者に提供することを目的とする。   Therefore, an object of the present invention is to provide a worker with driving information of a work target by managing the worker's field of view and gaze point with respect to the work target using a viewpoint tracking device.

そこで上記の目的を達成するために、一実施形態において、視点追尾装置及び運転情報管理装置を用いて、視点追尾装置を装着した作業者の視野と注視点とを管理することで技術管理を行うための技術管理方法であって、作業者の視野画像を取得するステップと、作業者の注視点を追尾して視野画像の上の作業者の注視点を取得するステップと、注視点の位置を判断するステップと、注視点の位置に関連する運転情報を取得するステップと、運転情報を音声出力部に出力するステップと、を有する技術管理方法を提供する。   Therefore, in order to achieve the above object, in one embodiment, technology management is performed by managing the field of view and gaze point of the worker wearing the viewpoint tracking device using the viewpoint tracking device and the driving information management device. A method of acquiring a worker's field of view image, tracking a worker's gaze point, obtaining a worker's gaze point on the field image, and determining a position of the gaze point There is provided a technology management method including a step of determining, a step of acquiring driving information related to a position of a gazing point, and a step of outputting the driving information to a voice output unit.

運転情報管理装置は、過去の作業者の視野画像、注視点、注視点に関連する運転情報を記憶し、運転情報管理装置の表示部で、作業者の視野画像、注視点、及び運転情報と、過去の作業者の視野画像、注視点、及び運転情報とを同時に表示しても良い。   The driving information management device stores the visual field image, the gazing point, and the driving information related to the gazing point of the past worker, and the display unit of the driving information management device displays the visual field image, the gazing point, and the driving information of the worker. The visual field image, the gazing point, and the driving information of the past worker may be displayed at the same time.

また、運転情報管理装置は、過去の作業者の視野画像、注視点、注視点に関連する運転情報を記憶し、注視点の位置に関連する運転情報を取得するステップは、注視点の位置と過去の作業者の注視点の位置とを比較して、過去の作業者の注視点に関連する運転情報を取得し、運転情報を出力するステップは、過去の作業者の注視点に関連する運転情報を音声出力部に出力しても良い。   In addition, the driving information management device stores the driving information related to the visual field image, the gazing point, and the gazing point of the past worker, and the step of acquiring the driving information related to the position of the gazing point includes the position of the gazing point and The step of acquiring driving information related to the past worker's point of interest by comparing with the position of the previous worker's point of interest and outputting the driving information is the operation related to the point of attention of the past worker. Information may be output to the audio output unit.

そこで上記の目的を達成するために、一実施形態において、視点追尾装置を装着した作業者の視野と注視点とを管理することで技術管理を行うための技術管理装置であって、作業者の注視点を追尾して視野画像の上の作業者の注視点を取得する注視点取得部と、注視点の位置を判断する注視点位置判断部と、注視点の位置に関連する運転情報を取得する運転情報取得部と、運転情報を音声出力部に出力する運転情報出力部と、を有する技術管理装置を提供する。   Therefore, in order to achieve the above object, in one embodiment, a technical management device for managing technology by managing the field of view and gaze point of an operator wearing a viewpoint tracking device, A gaze point acquisition unit that acquires the gaze point of the worker on the view image by tracking the gaze point, a gaze point determination unit that determines the position of the gaze point, and driving information related to the position of the gaze point There is provided a technology management apparatus having an operation information acquisition unit that performs operation information and an operation information output unit that outputs operation information to a voice output unit.

技術管理装置は、過去の作業者の視野画像、注視点、注視点に関連する運転情報を記憶する運転情報記憶部と、作業者の視野画像、注視点、及び運転情報と、過去の作業者の視野画像、注視点、及び運転情報とを同時に表示する運転情報表示部とをさらに有しても良い。   The technology management apparatus includes a past worker's field of view image, a gaze point, a driving information storage unit that stores driving information related to the gaze point, a worker's field of view image, a gaze point, and driving information, and a past worker. May further include a driving information display unit that simultaneously displays the visual field image, the gazing point, and the driving information.

運転情報取得部は、注視点の位置と過去の作業者の注視点の位置とを比較して、過去の作業者の注視点に関連する運転情報を取得し、運転情報出力部は、過去の作業者の注視点に関連する運転情報を出力しても良い。   The driving information acquisition unit compares the position of the gazing point with the position of the gazing point of the past worker, acquires the driving information related to the gazing point of the past worker, and the driving information output unit You may output the driving | operation information relevant to an operator's gaze point.

本発明によれば、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理することで、シミュレーションデータを用意することなく、作業対象物の運転情報を作業者に提供することで、初心者の作業者に対しても適切な運転情報を指示することで技術管理することが可能となった。   According to the present invention, by managing a worker's field of view and gazing point with respect to a work object using a viewpoint tracking device, operation information on the work object is provided to the worker without preparing simulation data. As a result, technical management can be performed by instructing appropriate driving information to a novice worker.

また、本発明によれば、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理し、過去の優秀な作業者の視野と注視点とを記憶して、比較表示することで、ことで、初心者の作業者に対して自己の作業レベルの認識が容易に行うことが可能となった。   In addition, according to the present invention, the visual field and the gazing point of the worker with respect to the work object are managed using the viewpoint tracking device, and the visual field and the gazing point of the past excellent worker are stored and compared and displayed. In this way, it becomes possible for a novice worker to easily recognize his / her work level.

また、本発明によれば、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理し、過去の優秀な作業者の注視点と、作業者の注視点との距離を計算することで異常性を作業者に通知することが可能となった。   According to the present invention, the viewpoint tracking device is used to manage the worker's field of view and gazing point with respect to the work object, and the distance between the past excellent worker's gazing point and the worker's gazing point is determined. It became possible to notify the operator of abnormalities by calculating.

以下、図面を参照して、本発明の実施の形態を説明する。
図1を用いて、技術管理装置及び技術管理方法の概要について説明する。図示のように、作業者1は、頭部に視点追尾装置10を装着する。視点追尾装置10は、ハーフミラー13を有し且つ作業者1の視線を検出するための視線検出センサ14と、視点追尾装置10の姿勢を検出する3次元モーションセンサ15と、作業者1の視野を検出するための被写体撮影カメラ16とを有し、有線又は無線のネットワーク2を介して、主に作業者の視野画像及び注視点を記憶し、管理するための運転情報管理装置20と接続される。
Embodiments of the present invention will be described below with reference to the drawings.
The outline of the technology management apparatus and the technology management method will be described with reference to FIG. As illustrated, the worker 1 wears the viewpoint tracking device 10 on the head. The viewpoint tracking device 10 has a half mirror 13 and a gaze detection sensor 14 for detecting the gaze of the worker 1, a three-dimensional motion sensor 15 for detecting the attitude of the viewpoint tracking device 10, and the visual field of the worker 1. And is connected to a driving information management device 20 for mainly storing and managing a worker's visual field image and gazing point via a wired or wireless network 2. The

また、被写体撮影カメラ16は、所定の焦点距離のレンズを備え、図1に表されるように、被写体撮影カメラ16の撮影方向を示す矢印39の方向を向いて、被写体18を撮影して、被写体41を含む視野画像38を取得する。さらに、視線検出センサ14は、作業者1の視点を検出し、それにより、視線32による視野画像上の注視点37を検出する。   In addition, the subject photographing camera 16 includes a lens having a predetermined focal length, and as shown in FIG. 1, the subject photographing camera 16 photographs the subject 18 in the direction of the arrow 39 indicating the photographing direction of the subject photographing camera 16. A visual field image 38 including the subject 41 is acquired. Further, the line-of-sight detection sensor 14 detects the viewpoint of the worker 1 and thereby detects a gazing point 37 on the visual field image by the line of sight 32.

なお、視線検出方法は、既存の検出方法が適用可能である。例えば、特開2005−312605号公報に開示される視線検出方法が適用可能である。   An existing detection method can be applied to the line-of-sight detection method. For example, the line-of-sight detection method disclosed in Japanese Patent Application Laid-Open No. 2005-312605 is applicable.

次に、図2を用いて視点追尾装置10及び運転情報管理装置20の機能構成について説明する。
視点追尾装置10は、CPU等から構成され少なくとも各種データの処理・演算を行う処理部11、メモリやハードディスク等から構成され各種データを記憶するための記憶部12、視線検出センサ14、3次元モーションセンサ15、被写体撮影カメラ16、必要に応じて作業上の注意点等を作業者1に伝えるための音声出力部17、及び有線又は無線ネットワーク2を介して運転情報管理装置20と視野画像、注視点、注意点情報等の各種データの送受信を行うための通信部18を有する。なお、視点追尾装置10は、視点追尾装置10の位置情報を確認するために、GPS衛星70からのGPS情報(緯度経度情報)を取得するためのGPSアンテナを有しても良い。
Next, functional configurations of the viewpoint tracking device 10 and the driving information management device 20 will be described with reference to FIG.
The viewpoint tracking device 10 is composed of a CPU or the like, and includes a processing unit 11 for processing / calculating at least various data, a storage unit 12 composed of a memory, a hard disk, etc. Sensor 15, subject photographing camera 16, audio output unit 17 for conveying work precautions and the like to worker 1 as necessary, and driving information management device 20 and visual field image via wired or wireless network 2, note A communication unit 18 is provided for transmitting and receiving various data such as viewpoint and attention point information. Note that the viewpoint tracking device 10 may include a GPS antenna for acquiring GPS information (latitude and longitude information) from the GPS satellite 70 in order to confirm the position information of the viewpoint tracking device 10.

ここで、記憶部12には、視野画像、注視点、後述する運転情報等の各種データを格納することができるように構成されている。また、記憶部12には、少なくとも、視点追尾装置10における動作を処理部11によって制御するためのプログラムが格納されている。
視線検出センサ14は注視点取得部として機能可能であり、3次元モーションセンサ15は、注視点位置判断部として機能可能であり、処理部11は、運転情報取得部として機能可能であり、音声出力部17は運転情報出力部として機能可能であり、記憶部12は、運転情報記憶部として機能可能である。
Here, the storage unit 12 is configured to be able to store various data such as a field of view image, a gazing point, and driving information described later. The storage unit 12 stores at least a program for controlling the operation of the viewpoint tracking device 10 by the processing unit 11.
The line-of-sight detection sensor 14 can function as a gazing point acquisition unit, the three-dimensional motion sensor 15 can function as a gazing point position determination unit, the processing unit 11 can function as a driving information acquisition unit, and can output sound. The unit 17 can function as an operation information output unit, and the storage unit 12 can function as an operation information storage unit.

運転情報管理装置20は、CPU等から構成され少なくとも各種データの処理・演算を行う処理部22、テンキーやキーボードから構成される入力部28、ネットワーク2と接続され、視点追尾装置10から視野画像、注視点等を受信し、運転情報等を送信する通信部26、及びメモリやハードディスク等から構成される記憶部24、視野画像、注視点等を受信し、運転情報等を表示する表示部29を有している。
記憶部24には、運転情報管理装置20における動作を処理部22によって制御するためのプログラム、視点追尾装置10から受信した視野画像、注視点等の情報、及び、視点追尾装置10に送信するための運転情報(装置の操業、生産物又は製造物の品質、生産又は製造工程の安全面等に関する情報であり、作業を行うためのチェック項目になるような情報であり、作業対象物又は装置のサイズ、温度条件、基準等)等が格納されている。
運転情報取得部と、運転情報出力部と、記憶部12は、運転情報記憶部として機能可能である。
処理部22は、運転情報取得部として機能可能であり、記憶部24は、運転情報記憶部として機能可能であり、表示部29は、運転情報表示部として機能可能である。
The driving information management device 20 is composed of a CPU or the like, and is connected to a processing unit 22 for processing / calculating at least various data, an input unit 28 composed of a numeric keypad and a keyboard, and the network 2. A communication unit 26 that receives a gazing point and the like and transmits driving information and the like, and a storage unit 24 including a memory and a hard disk, and a display unit 29 that receives a visual field image and a gazing point and displays the driving information and the like. Have.
In the storage unit 24, a program for controlling the operation in the driving information management device 20 by the processing unit 22, information such as a visual field image received from the viewpoint tracking device 10, a gaze point, and the like, and transmission to the viewpoint tracking device 10 Operation information (information regarding the operation of the device, the quality of the product or product, the safety aspects of the production or manufacturing process, etc., which is information that can be a check item for performing work, and the work object or device Size, temperature condition, standard, etc.) are stored.
The driving information acquisition unit, the driving information output unit, and the storage unit 12 can function as a driving information storage unit.
The processing unit 22 can function as a driving information acquisition unit, the storage unit 24 can function as a driving information storage unit, and the display unit 29 can function as a driving information display unit.

次に、図3を用いて、視点追尾装置10の視線検出センサ14及び被写体撮影カメラ16による視線検出方法を説明する。
矢印39は、被写体撮影カメラ16の撮影方向を示しており、カメラ姿勢軸110は、3次元モーションセンサ15が用いる視点追尾装置10の向きを判断するための座標軸を示しており、作業者1の頭部方向を視点追尾装置10座標軸のC軸として、図示のようにC軸に直交するA軸、B軸が設定されている。絶対座標軸120は、Y軸を地球の自転方向を正とする自転方向軸、Z軸を地面に対して水平な北極方向を正とする地磁気軸、X軸は、地面から垂直方向を正とする高さ軸とした座標軸である。このとき、絶対座標軸120からカメラ姿勢軸110への回転変位は、Y軸についてロール(κ)、Z軸についてピッチ(φ)、X軸についてヨー(ω)と表される。
Next, a line-of-sight detection method using the line-of-sight detection sensor 14 and the subject photographing camera 16 of the viewpoint tracking device 10 will be described with reference to FIG.
An arrow 39 indicates the shooting direction of the subject shooting camera 16, and the camera posture axis 110 indicates a coordinate axis for determining the orientation of the viewpoint tracking device 10 used by the three-dimensional motion sensor 15. With the head direction as the C axis of the viewpoint tracking device 10 coordinate axis, the A axis and the B axis orthogonal to the C axis are set as shown. The absolute coordinate axis 120 is a rotation direction axis in which the Y axis is positive with respect to the rotation direction of the earth, the Z axis is a geomagnetic axis in which the north pole direction horizontal to the ground is positive, and the X axis is positive in the vertical direction from the ground. The coordinate axis is the height axis. At this time, the rotational displacement from the absolute coordinate axis 120 to the camera posture axis 110 is expressed as roll (κ) for the Y axis, pitch (φ) for the Z axis, and yaw (ω) for the X axis.

3次元モーションセンサ15は、ジャイロセンサ、地磁気センサ、重力センサ、加速度センサの少なくとも1つを有することができる。地磁気センサは、地面に対して水平な地磁気を測定し、緯度経度情報を検出できるため、絶対座標軸120に対するカメラ姿勢軸110への回転変位(κ、φ、ω)が検出可能になる。また、重力センサは、重力が視点追尾装置10に対してどの方向からかかっているかがわかるため、地磁気センサ同様に、視点追尾装置10に複数設置しそれらの検出データを互いに比較することにより、絶対座標軸120に対するカメラ姿勢軸への回転変位(κ、φ、ω)が検出可能になる。   The three-dimensional motion sensor 15 can include at least one of a gyro sensor, a geomagnetic sensor, a gravity sensor, and an acceleration sensor. Since the geomagnetic sensor can measure the geomagnetism parallel to the ground and detect the latitude and longitude information, the rotational displacement (κ, φ, ω) of the absolute coordinate axis 120 to the camera posture axis 110 can be detected. In addition, since the gravity sensor can know from which direction the gravity is applied with respect to the viewpoint tracking device 10, a plurality of gravity sensors are installed in the viewpoint tracking device 10 and compared with each other by detecting the absolute values of the gravity tracking device 10 as in the geomagnetic sensor. The rotational displacement (κ, φ, ω) of the coordinate axis 120 to the camera posture axis can be detected.

ジャイロセンサは、それらA、B、C軸の各々にジャイロセンサが設けられている。これは、視点追尾装置10が地磁気センサ及び重力センサのセンシングタイムより早い速度で回転する場合があるため、地磁気センサ及び重力センサで検出した回転変位(κ、φ、ω)をジャイロ基準回転変位(κ0、φ0、ω0)として、ジャイロセンサによりその基準回転変位からの更なるジャイロ回転変位(κ1、φ1、ω1)を計算するためである。   The gyro sensor is provided with a gyro sensor on each of the A, B, and C axes. This is because the viewpoint tracking device 10 may rotate at a speed faster than the sensing time of the geomagnetic sensor and the gravity sensor, and therefore the rotational displacement (κ, φ, ω) detected by the geomagnetic sensor and the gravity sensor is used as the gyro reference rotational displacement ( This is because a further gyro rotational displacement (κ1, φ1, ω1) from the reference rotational displacement is calculated by the gyro sensor as κ0, φ0, ω0).

具体的なセンサ設置例としては、A、B、C軸の方向のそれぞれに設置したジャイロとペアになるように、地磁気センサ又は重力センサを設置することで、基準点の検出、基準点からの回転動作の検出が可能となり、視点追尾装置10の位置及び向きが検出可能となる。さらに、加速度センサを設置し、視点追尾装置10の加速度を検知することで、加速度センサにより素早い動きを検知した時は、ジャイロ回転変位(κ1、φ1、ω1)が重力センサや磁気センサのジャイロ基準回転変位(κ0、φ0、ω0)に補正をかけ、ゆっくりした動きを検知した時は、より正確を期すため、重力センサや磁気センサがジャイロ基準回転変位(κ0、φ0、ω0)を補正してやることで、リアルタイムに視点追尾装置10の回転変位(κ、φ、ω)を測定することが可能になる。   As a specific sensor installation example, by installing a geomagnetic sensor or a gravity sensor so as to be paired with gyros installed in the directions of the A, B, and C axes, detection of a reference point, The rotation operation can be detected, and the position and orientation of the viewpoint tracking device 10 can be detected. Furthermore, when an acceleration sensor is installed and the acceleration of the viewpoint tracking device 10 is detected so that a quick movement is detected by the acceleration sensor, the gyro rotational displacement (κ1, φ1, ω1) is the gyro reference of the gravity sensor or the magnetic sensor. When the rotational displacement (κ0, φ0, ω0) is corrected and a slow movement is detected, the gravitational sensor or magnetic sensor corrects the gyro-reference rotational displacement (κ0, φ0, ω0) for more accuracy. Thus, the rotational displacement (κ, φ, ω) of the viewpoint tracking device 10 can be measured in real time.

また、視点追尾装置10は処理部11を用いて、3次元モーションセンサ15の地磁気センサ、及び/又は、GPSから緯度経度情報を検出し、視点追尾装置10のカメラ投影中心座標O(Xo,Yo,Zo)を動的に検出することができる。なお、視点追尾装置10を使用する場所が固定されて決まっているときは、カメラ投影中心座標O(Xo,Yo,Zo)は、手動入力しても良い。この手動入力は、例えば、運転情報管理装置20の入力部28で記憶部12に格納する視点追尾装置10制御用プログラムのカメラ投影中心座標Oの設定データとして入力され、通信部26から通信部18に送信され、記憶部12に保存されることで行われる。   Further, the viewpoint tracking device 10 uses the processing unit 11 to detect latitude and longitude information from the geomagnetic sensor of the three-dimensional motion sensor 15 and / or the GPS, and the camera projection center coordinates O (Xo, Yo) of the viewpoint tracking device 10. , Zo) can be detected dynamically. When the place where the viewpoint tracking device 10 is used is fixed and determined, the camera projection center coordinates O (Xo, Yo, Zo) may be manually input. This manual input is input, for example, as setting data of the camera projection center coordinates O of the program for controlling the viewpoint tracking device 10 stored in the storage unit 12 by the input unit 28 of the driving information management device 20, and from the communication unit 26 to the communication unit 18. Is performed by being stored in the storage unit 12.

このように、3次元モーションセンサ15を用いて、カメラ投影中心座標O(Xo,Yo,Zo)、及び、視点追尾装置10の回転変位(κ、φ、ω)が求められる。そして、被写体撮影カメラ16のレンズの焦点距離から決まる写角により、カメラ投影中心座標O(Xo,Yo,Zo)の回転変位(κ、φ、ω)で決まる視野画像上の被写体の位置p1(xp1,xp1)から、被写体の絶対座標上の位置P1(X1,Y1,Z1)を判断することが可能となる。
さらに、上述したように、視線検出センサ14を用いて被写体上の注視点位置は判明しているため、視線検出センサ14の撮影方向にある視野画像上の注視点位置p2(xp2,yp2)から、注視点の絶対座標上の位置P2(X2,Y2,Z2)も判定することが可能となる。
In this way, the camera projection center coordinates O (Xo, Yo, Zo) and the rotational displacement (κ, φ, ω) of the viewpoint tracking device 10 are obtained using the three-dimensional motion sensor 15. The subject position p1 on the field image determined by the rotational displacement (κ, φ, ω) of the camera projection center coordinates O (Xo, Yo, Zo) is determined by the angle of view determined by the focal length of the lens of the subject photographing camera 16. It is possible to determine the position P1 (X1, Y1, Z1) of the subject on the absolute coordinates from xp1, xp1).
Furthermore, as described above, since the position of the point of interest on the subject is known using the line-of-sight detection sensor 14, the point of interest p2 (xp2, yp2) on the visual field image in the shooting direction of the line-of-sight detection sensor 14 is used. The position P2 (X2, Y2, Z2) on the absolute coordinate of the gazing point can also be determined.

そのため、予め記憶部12又は記憶部24に、位置情報とともに操作対象となる装置情報を格納しておくことで、作業者1の視野画像38に存在する装置情報を処理部11又は処理部22は取得することが可能である。図3の例を参照すると、作業者1が設備状態監視画面A(41a)を見ているか、設備状態監視画面B(41b)を見ているかは、カメラ投影中心座標O(Xo,Yo,Zo)の回転変位(κ、φ、ω)で決まる視野画像に移る被写体の位置p1(xp1,xp2)に関連する絶対座標上の位置P1(X1,Y1,Z1)で判断可能となり、さらに、設備状態監視画面A(41a)のどの部分を見ているかは、注視点位置p2(xp2,yp2)に関連する絶対座標上の位置P2(X2,Y2,Z2)により判断可能となる。したがって、注視点位置に映し出される位置がわかるため、その位置に配置される作業対象物も判明し、さらに、その作業対象物に関する運転情報を処理部11又は処理部22は取得可能である。そして、作業対象物に関連する運転情報を音声出力部17を介して音声出力し、作業者1に知らせて装置に関する技術管理を確実にすることができる。   Therefore, by storing the device information to be operated together with the position information in the storage unit 12 or the storage unit 24 in advance, the processing unit 11 or the processing unit 22 can store the device information existing in the visual field image 38 of the worker 1. It is possible to obtain. Referring to the example of FIG. 3, whether the worker 1 is viewing the equipment state monitoring screen A (41a) or the equipment state monitoring screen B (41b) is determined by the camera projection center coordinates O (Xo, Yo, Zo). ) Can be determined by the absolute coordinate position P1 (X1, Y1, Z1) related to the position p1 (xp1, xp2) of the subject moving to the field image determined by the rotational displacement (κ, φ, ω). Which part of the state monitoring screen A (41a) is viewed can be determined by the position P2 (X2, Y2, Z2) on the absolute coordinates related to the gazing point position p2 (xp2, yp2). Therefore, since the position displayed at the position of the point of gaze is known, the work object placed at that position is also found, and the processing unit 11 or the processing unit 22 can acquire driving information related to the work object. And the driving | operation information relevant to a work target object can be audio | voice-output via the audio | voice output part 17, and it can notify the operator 1 and can ensure the technical management regarding an apparatus.

図4を用いて、圧延工程において技術管理方法を行うばあいの処理フローを説明する。この処理は、視点追尾装置10及び運転情報管理装置20を用いて実行されるものとする。なお、本実施例では、作業者は、自己の作業の品質を管理するために、視点追尾装置10を頭部に装着し、製鉄所、製油所、発電所、製品組立工場等の工場における中央処理装置等に設置される設備状態監視画面及び必要に応じて操作盤を介して作業を行うものとする。   With reference to FIG. 4, a processing flow when performing the technical management method in the rolling process will be described. This process is executed using the viewpoint tracking device 10 and the driving information management device 20. In this embodiment, the operator wears the viewpoint tracking device 10 on the head in order to manage the quality of his / her work, and the center in a factory such as an ironworks, refinery, power plant, product assembly plant, etc. Work shall be performed via the equipment status monitoring screen installed in the processing device and the like and, if necessary, the operation panel.

最初に、作業者は、設備操作及び監視のために、図5に示される何れかの設備状態監視画面41a、41bを監視する。設備状態監視画面41aは、圧延工程のサイジングプレス工程における鋼板51a、ガイド52、プレス機器53を上面から撮影した画像が示される。設備状態監視画面41bは、圧延工程の粗圧延工程における鋼板51b及び粗圧延器54を側面から撮影した画像が示される。作業者が、設備状態監視画面41a、41bを監視することで、作業者の頭部が動き、視点追尾装置10の被写体撮影カメラ16が撮影する視野画像38aが決まり、作業者が設備状態監視画面上の作業対象物(図5の例では、サイジングプレス工程におけるプレス機器53へ鋼板51aが移動する箇所)に視線を当てることで注視点37aが決まる。   First, the operator monitors any of the equipment state monitoring screens 41a and 41b shown in FIG. 5 for equipment operation and monitoring. The equipment state monitoring screen 41a shows an image obtained by photographing the steel plate 51a, the guide 52, and the press machine 53 from the upper surface in the sizing press process of the rolling process. The equipment state monitoring screen 41b shows an image taken from the side of the steel plate 51b and the rough rolling device 54 in the rough rolling process of the rolling process. The operator monitors the equipment state monitoring screens 41a and 41b, the head of the worker moves, and the visual field image 38a taken by the subject photographing camera 16 of the viewpoint tracking device 10 is determined. The gazing point 37a is determined by applying a line of sight to the upper work object (in the example of FIG. 5, the location where the steel plate 51a moves to the press machine 53 in the sizing press process).

図4に戻ると、被写体撮影カメラ16は、作業者の頭部の動きに応じて、視野画像38aを取得し(ステップ101)、視線検出センサ14は、作業者の作業者の注視点を追尾して視野画像の上の作業者の注視点37aを取得する(ステップ102)。次に、3次元モーションセンサ15は、その絶対座標上の位置O(Xo,Yo,Zo)及び作業者の頭部の向きを判断することで、視野画像上の被写体の絶対座標上の位置P1(X1,Y1,Z1)を取得し、注視点の絶対座標上の位置P2(X2,Y2,Z2)を取得する(ステップ103)。視点追尾装置10は、通信部18を介して運転情報管理装置20に視野画像、注視点、注視点の位置情報を運転情報管理装置20に送信(ステップ104)し、運転情報管理装置20は、通信部26を介してその情報を受信する(ステップ105)。   Returning to FIG. 4, the subject photographing camera 16 acquires a visual field image 38 a in accordance with the movement of the worker's head (step 101), and the line-of-sight detection sensor 14 tracks the gaze point of the worker's worker. Then, the operator's gaze point 37a on the visual field image is acquired (step 102). Next, the three-dimensional motion sensor 15 determines the position P1 on the absolute coordinate of the subject on the visual field image by determining the position O (Xo, Yo, Zo) on the absolute coordinate and the orientation of the operator's head. (X1, Y1, Z1) is acquired, and the position P2 (X2, Y2, Z2) on the absolute coordinate of the gazing point is acquired (step 103). The viewpoint tracking device 10 transmits the view image, the gazing point, and the position information of the gazing point to the driving information management device 20 via the communication unit 18 (step 104), and the driving information management device 20 The information is received via the communication unit 26 (step 105).

図6を用いて、サイジングプレス工程の技術管理上必要な運転情報について説明する。図(a)は、サイジングプレス工程における鋼板51a、ガイド52、プレス機器53の概略上面図である。図(a)に示される鋼板51aは、プレス機器53でプレスされる前の状態を示す。図(b)は、例えば制御盤を介した作業者の指示により、図示されない鋼板51aの下部にあるローラを動かすことで、鋼板51aがプレス機器53の間に移動し、さらに、ガイド52で固定された後に、鋼板51aがプレス機器53でプレスされた状態を示す概略上面図である。図(c)は、鋼板51aがプレス機器53に衝突した状態を示す概略上面図である。   The operation information necessary for technical management of the sizing press process will be described with reference to FIG. FIG. 4A is a schematic top view of the steel plate 51a, the guide 52, and the press machine 53 in the sizing press process. A steel plate 51 a shown in FIG. 1A shows a state before being pressed by the press machine 53. In FIG. 2B, the steel plate 51a is moved between the press devices 53 by moving a roller below the steel plate 51a (not shown) by an operator's instruction via the control panel, for example, and is fixed by the guide 52. FIG. 6 is a schematic top view showing a state in which the steel plate 51a is pressed by the press device 53 after being pressed. FIG. (C) is a schematic top view showing a state in which the steel plate 51 a has collided with the press machine 53.

例えば、製鉄所の作業者は、図(a)に表されるように、鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態にあり、鋼板51aが移動してもプレス機器53に衝突しないことを確認する必要がある。しかしながら、プレス機器53が開いた状態にあることを確認して、開状態にしておかない場合、図(c)に示すような衝突状態となり、鋼板51a及びプレス機器53が損傷する原因となる。
このように、サイジングプレス工程の技術管理上、図(a)に表されるように、鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態にあることを確認することは、技術管理上重要な情報であり、各作業者に伝承すべき技術技能の例である。
For example, as shown in FIG. 1A, an ironworks operator is in a state where the press machine 53 is opened before the steel plate 51a enters the press machine 53, and the steel plate 51a moves. It is necessary to confirm that the press machine 53 does not collide. However, if it is confirmed that the press device 53 is in the open state and the press device 53 is not in the open state, a collision state as shown in FIG. 5C occurs, which causes damage to the steel plate 51a and the press device 53.
As described above, in the technical management of the sizing press process, before the steel plate 51a enters between the press devices 53, it is confirmed that the press device 53 is open as shown in FIG. Is important information in terms of technical management, and is an example of technical skills that should be passed on to each worker.

再び、図4に戻ると、運転情報管理装置20は、取得した注視点の位置情報と、記憶部24に記憶された当該サイジングプレス工程の過去の優秀な技術者の注視点の位置情報とを比較すれ(ステップ106)、具体的には、注視点間の距離が算定される。なお、本実施例では、作業者の行う作業工程は、運転情報管理装置20の入力部28を介して入力され、記憶部24に記憶されているため、その情報をもとに、比較対象となる過去の優秀な技術者の注視点の位置情報が選択される。さらに、注視点の比較処理は、作業者の注視点と過去の優秀な技術者の注視点の時刻情報との同期をとるために、記憶部24には、選択された作業工程のタイミングチャートが格納され、そのタイミングチャートにしたがって注視点の同期が取られる。また、記憶部24に記憶された作業者が行う工程の情報をもとに、作業対象物であるプレス機器の状態監視情報(プレス機器の監視制御を行っている制御機器の監視情報)と同期する(具体的には、運転情報管理装置20が、プレス機器53の制御機器から鋼板51aがプレス機器53の前に配置されたという状態監視情報を通信部を介して受信する)ことで、注視点の比較処理の同期が取られても良い。   Returning again to FIG. 4, the operation information management device 20 obtains the acquired position information of the gazing point and the position information of the gazing position of the past excellent engineer of the sizing press process stored in the storage unit 24. The comparison (step 106), specifically, the distance between the gazing points is calculated. In the present embodiment, the work process performed by the operator is input via the input unit 28 of the driving information management device 20 and stored in the storage unit 24. Therefore, based on the information, The location information of the gaze points of the past excellent engineers is selected. Further, in the comparison process of the gazing point, in order to synchronize the time information of the gazing point of the worker and the gazing point of the excellent engineer in the past, the timing chart of the selected work process is stored in the storage unit 24. The point of interest is synchronized according to the timing chart. In addition, based on the information on the process performed by the worker stored in the storage unit 24, it is synchronized with the status monitoring information of the press machine that is the work target (monitoring information of the control machine that performs monitoring control of the press machine). (Specifically, the operation information management device 20 receives status monitoring information that the steel plate 51a is disposed in front of the press device 53 from the control device of the press device 53 via the communication unit). The viewpoint comparison process may be synchronized.

次に、記憶部24から運転情報を取得する(ステップ107)。また、ステップ106で算定された注視点間の距離が、所定値より大きい場合(当該実施例では、作業者の注視点がプレス機器53のプレス部分から離れた場合など、監視対象を監視していない場合である)、記憶部24から運転情報を取得して、過去の優秀な作業者が注視点を配置した理由となる情報(例えば、優秀な作業者が常に「鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態を確認」している等)が運転情報に加えられる。また、注視点比較距離が基準値を超えた場合、異常警告(前述の図6(c)に示す状態を回避するための警告等)を運転情報に含めても良い。   Next, driving information is acquired from the storage unit 24 (step 107). Further, when the distance between the gazing points calculated in step 106 is larger than a predetermined value (in this embodiment, the monitoring target is monitored such as when the gazing point of the operator is away from the press portion of the press machine 53). In this case, the operation information is obtained from the storage unit 24, and information that is the reason why the excellent worker in the past has placed the gazing point (for example, the excellent worker always indicates that the “steel plate 51a is the press machine 53”). Before entering the period, “confirming that the press machine 53 is open” is added to the operation information. Further, when the gazing point comparison distance exceeds the reference value, an abnormality warning (a warning for avoiding the state shown in FIG. 6C described above) may be included in the driving information.

次に、運転情報管理装置20は、運転情報を通信部26を介して送信(ステップ108)し、視点追尾装置10は、運転情報を通信部18を介して受信(ステップ109)し、次に、音声出力部17を介して、作業者1に対して運転情報及び/又は異常警告の音声データを出力する(ステップ110)(例えば、上記したような過去の優秀な作業者が注視点を配置した理由となる情報「鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態にあること」等を出力する)。   Next, the driving information management device 20 transmits driving information via the communication unit 26 (step 108), the viewpoint tracking device 10 receives driving information via the communication unit 18 (step 109), and then Then, the operation information and / or abnormality warning audio data is output to the worker 1 via the voice output unit 17 (step 110) (for example, a past excellent worker as described above places a point of sight The information that is the reason why the press device 53 is open before the steel plate 51a enters between the press devices 53 is output).

このように、作業者が注視した対象に対する運転情報が作業者に音声出力されるため、作業者は、運転情報を確認することで図4(c)に示すような作業のミスを考慮し、鋼板51aが移動する前にプレス機器53の開状態を確認し適切な対処をとることが可能である。   In this way, since the driving information for the object watched by the worker is output to the worker by voice, the worker considers the mistake in the work as shown in FIG. 4C by confirming the driving information, Before the steel plate 51a moves, it is possible to check the open state of the press machine 53 and take appropriate measures.

また、ステップ111では、作業者の作業の中で取得された視野情報、注視点、運転情報を、同様に記憶された過去の優秀な作業者が行った運転情報と比較して表示することも可能である。   In step 111, the visual field information, the gazing point, and the driving information acquired during the work of the worker may be displayed in comparison with the driving information that has been stored by the past excellent workers. Is possible.

図7は、運転情報管理装置20の表示部29に表示されるサイジングプレス工程の運転情報の比較を示す設備状態監視画面を示す図である。
図(a)は、過去の優秀な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。図(b)は、経験の不十分な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。
図(a)に示される注視点37a−1は、優秀な作業者が、鋼板51a−1がプレス53aでプレスされる前に、プレス機器が開いた状態であることを確認するために位置づけられる。一方、図(b)に示される注視点37b−1は、経験の不十分な作業者は鋼板51b−1がプレス53bでプレスされる前に、プレス機器が開いた状態であることを確認してないために、優秀な作業者の注視点37a−1とは異なる場所に位置づけられる。
FIG. 7 is a diagram showing an equipment state monitoring screen showing a comparison of operation information of the sizing press process displayed on the display unit 29 of the operation information management device 20.
FIG. (A) is a diagram showing a movement of a gazing point in a sizing press process performed by an excellent worker in the past. FIG. (B) is a diagram showing the movement of the gazing point in the sizing press process performed by an operator with insufficient experience.
The gazing point 37a-1 shown in the figure (a) is positioned so that an excellent worker can confirm that the press machine is open before the steel plate 51a-1 is pressed by the press 53a. . On the other hand, the gazing point 37b-1 shown in FIG. 4 (b) confirms that an inexperienced operator confirms that the press machine is open before the steel plate 51b-1 is pressed by the press 53b. Therefore, it is positioned at a place different from the gaze point 37a-1 of an excellent worker.

さらに、設備状態監視画面38a、38bの38a−2、38b−2には、視野画像及び注視点に加えて、記憶部24に記憶した運転情報が表示される。そして、運転情報38a−2、38b−2には、「プレス機器の開状態を確認」する等のコメントが記載されるため、経験の不十分な作業者がこのコメントを確認することで、優秀な作業者の注視点の違いの理由を明確に判別可能にする。
そして、圧延工程の技術管理処理は終了する。
Furthermore, in addition to the visual field image and the gazing point, the operation information stored in the storage unit 24 is displayed on 38a-2 and 38b-2 of the equipment state monitoring screens 38a and 38b. And in the operation information 38a-2, 38b-2, since a comment such as “confirming the open state of the press machine” is described, an operator with insufficient experience confirms this comment, so This makes it possible to clearly determine the reason for differences in the attention points of various workers.
And the technical management process of a rolling process is complete | finished.

作業者は、自分の運転管理レベルがどの辺りにあるかを把握することが難しいため、記憶部24に記憶される過去の作業者の視野画像や注視点等を、上級者、中級者、初心者に分類し、ステップ111で説明した比較表示により自分のレベルを判断することが可能となる。また、上級者、中級者、初心者とレベル毎に視野画像、注視点、運転情報等(特に注意点配置理由)を記憶部24に保存することで、標準管理を容易に行うことができる。   Since it is difficult for the worker to grasp where his / her operation management level is, the visual field image and the gazing point of the past worker stored in the storage unit 24 can be used for the advanced, intermediate, and beginners. It is possible to determine their own level based on the comparison display described in step 111. Moreover, standard management can be easily performed by storing a visual field image, a gazing point, driving information, etc. (especially reasons for attention point placement) for each level, such as advanced, intermediate, and beginner.

このように、視点追尾装置10及び運転情報管理装置20を用いた運転管理方法は、様々な作業対象機器ならびに設備状態監視画面がある中、作業者がどこのポイントを何のために見て、何と比較して問題ないかを確認し、作業に従事しているか、操業・品質面、安全面から管理することを可能にする。   As described above, the operation management method using the viewpoint tracking device 10 and the operation information management device 20 has various work target devices and equipment state monitoring screens. It is possible to check whether there is no problem compared to what, and to manage from the operational / quality / safety aspect whether it is engaged in work.

このように、視点追尾装置10及び運転情報管理装置20を用いた運転管理方法は、従来のようにシミュレーションデータの作成及び更新をすることなく、実際にカメラで撮影した撮影範囲を用いて運転管理を行うことができると共に、過去の優秀な運転情報と比較することで、作業の学習を効率的に促進させることができる。   As described above, the driving management method using the viewpoint tracking device 10 and the driving information management device 20 does not create and update simulation data as in the prior art, and uses the shooting range actually shot by the camera to manage driving. And learning with work can be promoted efficiently by comparing with excellent driving information in the past.

技術管理装置及び技術管理方法の概要を示す図である。It is a figure which shows the outline | summary of a technology management apparatus and a technology management method. 視点追尾装置及び運転情報管理装置の機能構成を示す図である。It is a figure which shows the function structure of a viewpoint tracking apparatus and an operation information management apparatus. 視点追尾装置の視線検出センサ及び被写体撮影カメラによる視線検出方法を示す図である。It is a figure which shows the gaze detection method by the gaze detection sensor and subject imaging | photography camera of a viewpoint tracking apparatus. 技術管理方法を行う場合の処理フローの一例を示す図である。It is a figure which shows an example of the processing flow in the case of performing a technology management method. 設備状態監視画面の一例を示した図である。It is the figure which showed an example of the equipment state monitoring screen. (a)はサイジングプレス工程におけるプレス機器等の概略上面図であり、(b)は鋼板がプレス機器でプレスされた状態を示す概略上面図であり、(c)は鋼板がプレス機器に衝突した状態を示す概略上面図である。(A) is a schematic top view of the press machine etc. in a sizing press process, (b) is a schematic top view which shows the state by which the steel plate was pressed with the press machine, (c), the steel plate collided with the press machine It is a schematic top view which shows a state. (a)は過去の優秀な作業者が行ったサイジングプレス工程における注視点の動きを示す図であり、(b)は、経験の不十分な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。(A) is a figure which shows the movement of the gazing point in the sizing press process performed by the past excellent worker, (b) is the movement of the gazing point in the sizing press process performed by an inexperienced worker. FIG.

符号の説明Explanation of symbols

2 ネットワーク
10 視点追尾装置
11、22 処理部
12、24 記憶部
14 視線検出センサ
15 3次元モーションセンサ
16 被写体撮影カメラ
17 音声出力部
18、26 通信部
20 運転情報管理装置
2 Network 10 Viewpoint Tracking Device 11, 22 Processing Unit 12, 24 Storage Unit 14 Gaze Detection Sensor 15 3D Motion Sensor 16 Subject Shooting Camera 17 Audio Output Unit 18, 26 Communication Unit 20 Driving Information Management Device

Claims (6)

視点追尾装置及び運転情報管理装置を用いて、該視点追尾装置を装着した作業者の視野と注視点とを管理することで技術管理を行うための技術管理方法であって、
前記作業者の視野画像を取得するステップと、
前記作業者の注視点を追尾して前記視野画像の上の前記作業者の注視点を取得するステップと、
前記注視点の位置を判断するステップと、
前記注視点の位置に関連する運転情報を取得するステップと、
前記運転情報を音声出力部に出力するステップと、
を有することを特徴とする技術管理方法。
Using a viewpoint tracking device and an operation information management device, a technology management method for managing technology by managing the field of view and gaze point of an operator wearing the viewpoint tracking device,
Obtaining a visual field image of the worker;
Tracking the worker's gaze point to obtain the worker's gaze point on the field image;
Determining the position of the point of interest;
Obtaining driving information related to the position of the gazing point;
Outputting the driving information to a voice output unit;
A technology management method characterized by comprising:
前記運転情報管理装置は、過去の作業者の視野画像、注視点、該注視点に関連する運転情報を記憶し、
前記運転情報管理装置の表示部で、前記作業者の視野画像、注視点、及び運転情報と、前記過去の作業者の視野画像、注視点、及び運転情報とを同時に表示する請求項1に記載の技術管理方法。
The driving information management device stores a visual image of a past worker, a gazing point, driving information related to the gazing point,
The display unit of the driving information management device simultaneously displays the visual field image, the gazing point, and the driving information of the worker, and the visual field image, the gazing point, and the driving information of the past worker. Technical management method.
前記運転情報管理装置は、過去の作業者の視野画像、注視点、該注視点に関連する運転情報を記憶し、
前記注視点の位置に関連する運転情報を取得するステップは、前記注視点の位置と前記過去の作業者の注視点の位置とを比較して、前記過去の作業者の注視点に関連する運転情報を取得し、
前記運転情報を出力するステップは、前記過去の作業者の注視点に関連する運転情報を音声出力部に出力する請求項1又は2に記載の技術管理方法。
The driving information management device stores a visual image of a past worker, a gazing point, driving information related to the gazing point,
The step of obtaining the driving information related to the position of the gaze point compares the position of the gaze point with the position of the gaze point of the past worker, and the driving relates to the gaze point of the past worker. Get information,
The technology management method according to claim 1 or 2, wherein the step of outputting the driving information outputs the driving information related to the gaze point of the past worker to a voice output unit.
視点追尾装置を装着した作業者の視野と注視点とを管理することで技術管理を行うための技術管理装置であって、
前記作業者の注視点を追尾して前記視野画像の上の前記作業者の注視点を取得する注視点取得部と、
前記注視点の位置を判断する注視点位置判断部と、
前記注視点の位置に関連する運転情報を取得する運転情報取得部と、
前記運転情報を音声出力部に出力する運転情報出力部と、
を有することを特徴とする技術管理装置。
A technology management device for managing technology by managing the field of view and gaze point of an operator wearing a viewpoint tracking device,
A gazing point acquisition unit that tracks the gazing point of the worker and acquires the gazing point of the worker on the visual field image;
A gazing point position determination unit for determining a position of the gazing point;
A driving information acquisition unit that acquires driving information related to the position of the gazing point;
A driving information output unit that outputs the driving information to a voice output unit;
A technology management apparatus comprising:
過去の作業者の視野画像、注視点、該注視点に関連する運転情報を記憶する運転情報記憶部と、
前記作業者の視野画像、注視点、及び運転情報と、前記過去の作業者の視野画像、注視点、及び運転情報とを同時に表示する運転情報表示部とをさらに有する請求項4に記載の技術管理装置。
A driving information storage unit that stores a visual field image of a past worker, a gazing point, and driving information related to the gazing point;
The technology according to claim 4, further comprising a driving information display unit that simultaneously displays the visual field image, the gazing point, and the driving information of the worker, and the visual field image, the gazing point, and the driving information of the past worker. Management device.
前記運転情報取得部は、前記注視点の位置と前記過去の作業者の注視点の位置とを比較して、前記過去の作業者の注視点に関連する運転情報を取得し、
前記運転情報出力部は、前記過去の作業者の注視点に関連する運転情報を出力する請求項4又は5に記載の技術管理装置。
The driving information acquisition unit compares the position of the gazing point with the position of the gazing point of the past worker, acquires driving information related to the gazing point of the past worker,
The technology management apparatus according to claim 4, wherein the driving information output unit outputs driving information related to the gaze point of the past worker.
JP2008043265A 2008-02-25 2008-02-25 Technology management apparatus and technology management method Active JP5079542B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008043265A JP5079542B2 (en) 2008-02-25 2008-02-25 Technology management apparatus and technology management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008043265A JP5079542B2 (en) 2008-02-25 2008-02-25 Technology management apparatus and technology management method

Publications (2)

Publication Number Publication Date
JP2009199004A true JP2009199004A (en) 2009-09-03
JP5079542B2 JP5079542B2 (en) 2012-11-21

Family

ID=41142510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008043265A Active JP5079542B2 (en) 2008-02-25 2008-02-25 Technology management apparatus and technology management method

Country Status (1)

Country Link
JP (1) JP5079542B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017072407A (en) * 2015-10-05 2017-04-13 宏次 牛窪 Bladed weapon observation method, bladed weapon observation system, storage medium, and purchasing system
JP7570632B2 (en) 2021-03-26 2024-10-22 株式会社日立製作所 Design support device, design support method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0377533A (en) * 1989-08-19 1991-04-03 Ishikawa Pref Gov Apparatus for measuring gaze attitude and absolute position of gaze point
JPH07204163A (en) * 1994-01-13 1995-08-08 Hiroyuki Shiomi Method for detecting remarked point and system therefor
JP2004240264A (en) * 2003-02-07 2004-08-26 Mitsubishi Electric Corp Bodily sensation type training system
JP2004328579A (en) * 2003-04-28 2004-11-18 Kuraray Medical Inc Image recording medium with image recorded for displaying position of visual point
JP2005182307A (en) * 2003-12-17 2005-07-07 Denso Corp Vehicle driving support device
JP2005312605A (en) * 2004-04-28 2005-11-10 Ditect:Kk Gaze position display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0377533A (en) * 1989-08-19 1991-04-03 Ishikawa Pref Gov Apparatus for measuring gaze attitude and absolute position of gaze point
JPH07204163A (en) * 1994-01-13 1995-08-08 Hiroyuki Shiomi Method for detecting remarked point and system therefor
JP2004240264A (en) * 2003-02-07 2004-08-26 Mitsubishi Electric Corp Bodily sensation type training system
JP2004328579A (en) * 2003-04-28 2004-11-18 Kuraray Medical Inc Image recording medium with image recorded for displaying position of visual point
JP2005182307A (en) * 2003-12-17 2005-07-07 Denso Corp Vehicle driving support device
JP2005312605A (en) * 2004-04-28 2005-11-10 Ditect:Kk Gaze position display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017072407A (en) * 2015-10-05 2017-04-13 宏次 牛窪 Bladed weapon observation method, bladed weapon observation system, storage medium, and purchasing system
JP7570632B2 (en) 2021-03-26 2024-10-22 株式会社日立製作所 Design support device, design support method

Also Published As

Publication number Publication date
JP5079542B2 (en) 2012-11-21

Similar Documents

Publication Publication Date Title
EP2669763B1 (en) Sensor-enhanced localization in virtual and physical environments
US9086724B2 (en) Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus
US9158305B2 (en) Remote control system
US10139902B2 (en) Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US10712391B2 (en) Localization, mapping and haptic feedback for inspection of a confined space in machinery
CN102109348B (en) System and method for positioning carrier, evaluating carrier gesture and building map
EP2708982B1 (en) Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
JP2019020997A5 (en)
WO2021019948A1 (en) Position identification system for construction machinery
JP2016206016A (en) Location estimation system and location estimation method
JP5079542B2 (en) Technology management apparatus and technology management method
WO2010137165A1 (en) Technique managing device, and technique managing method
CN110411443A (en) A kind of rocker arm of coal mining machine inertia/visual combination determines appearance device and method
US20150015707A1 (en) Telepresence method and system for tracking head movement of a user
JP2008065511A (en) Information display system and pointing control method
US10663944B2 (en) Machining systems comprising a machining facility and control methods
KR20180060403A (en) Control apparatus for drone based on image
US11224787B2 (en) Swing measurement device, swing measurement method, and swing measurement program
JP5082982B2 (en) Car navigation system
US11845001B2 (en) Calibration system and method for handheld controller
WO2024171945A1 (en) Welding operation training system, welding operation training method using same, and welding operation training program
JP2020173326A (en) Field work education system
US11893167B2 (en) Information processing device, information processing method, non-transitory computer readable medium
JP2020042667A (en) Projection system, projection method, and program
JP2006051550A (en) Position teaching device and position teaching method to mover

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5079542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350