JP2009199004A - Technology managing device and technology managing method - Google Patents
Technology managing device and technology managing method Download PDFInfo
- Publication number
- JP2009199004A JP2009199004A JP2008043265A JP2008043265A JP2009199004A JP 2009199004 A JP2009199004 A JP 2009199004A JP 2008043265 A JP2008043265 A JP 2008043265A JP 2008043265 A JP2008043265 A JP 2008043265A JP 2009199004 A JP2009199004 A JP 2009199004A
- Authority
- JP
- Japan
- Prior art keywords
- driving information
- worker
- point
- gazing point
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、技術管理装置及び技術管理方法に関し、特に、作業者の頭部で取得される画面上に、作業対象物の仕様と作業者の注視点とを重ね合わせて表示する技術管理装置及び技術管理方法に関する。 TECHNICAL FIELD The present invention relates to a technology management apparatus and a technology management method, and in particular, a technology management apparatus that superimposes and displays a specification of a work target and a worker's point of sight on a screen acquired by a worker's head, and Technical management method.
従来、製造業等における作業方法の教習は、実際の作業現場や専門の研修設備等の限られた場所で実際に作業機械を用いて行われたり、又は、紙面に記載した作業方法により行なわれたりしている。
そして、熟練した作業者が減少する社会背景上、短時間に技術技能を伝承する必要があり、さらに、企業内の合理化が進む中、OJT(On−the−Job Training)する時間も確保するのが難しい。そのため、効率的に作業方法に関する技術技能を教習していくことが、製造業等の業種において重要課題となっている。
Conventionally, training of working methods in the manufacturing industry, etc. is actually performed using working machines in limited places such as actual work sites and specialized training facilities, or by working methods described on paper. It is.
In addition, due to the social background of reducing skilled workers, it is necessary to pass on technical skills in a short time, and while rationalization within the company is progressing, time for on-the-job training (OJT) is also secured. Is difficult. For this reason, it is an important issue in industries such as the manufacturing industry to efficiently learn technical skills related to work methods.
また、実際の作業を利用することなく、シミュレーションコース上での基本画像データを予め記憶し、操作者による操作信号に基づき、シミュレーションデータを生成して、操作者が装着したヘッドマウントディスプレイに表示することで、作業内容の教育研修を行う方法が提案されている(特許文献1)。 Also, basic image data on the simulation course is stored in advance without using actual work, and simulation data is generated based on an operation signal from the operator and displayed on a head mounted display worn by the operator. Thus, a method for conducting training on work content has been proposed (Patent Document 1).
しかしながら、提案されている方法では、シミュレーションコースに対応した3次元画像作成、実際の作業車両の出力に対応したシミュレーションデータの作成など、シミュレーションデータを準備するための多大な準備作業が必要になる。さらに、シミュレーションコースや作業車両の変更に対応した3次元画像等の変更にも多大な作業が生じる等の不都合があった。 However, the proposed method requires a great deal of preparation work for preparing simulation data, such as creation of a three-dimensional image corresponding to a simulation course and creation of simulation data corresponding to the output of an actual work vehicle. In addition, there is a disadvantage that a great deal of work is required for changing the three-dimensional image corresponding to the change of the simulation course or the work vehicle.
そこで、本発明は、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理することで、作業対象物の運転情報を作業者に提供することを目的とする。 Therefore, an object of the present invention is to provide a worker with driving information of a work target by managing the worker's field of view and gaze point with respect to the work target using a viewpoint tracking device.
そこで上記の目的を達成するために、一実施形態において、視点追尾装置及び運転情報管理装置を用いて、視点追尾装置を装着した作業者の視野と注視点とを管理することで技術管理を行うための技術管理方法であって、作業者の視野画像を取得するステップと、作業者の注視点を追尾して視野画像の上の作業者の注視点を取得するステップと、注視点の位置を判断するステップと、注視点の位置に関連する運転情報を取得するステップと、運転情報を音声出力部に出力するステップと、を有する技術管理方法を提供する。 Therefore, in order to achieve the above object, in one embodiment, technology management is performed by managing the field of view and gaze point of the worker wearing the viewpoint tracking device using the viewpoint tracking device and the driving information management device. A method of acquiring a worker's field of view image, tracking a worker's gaze point, obtaining a worker's gaze point on the field image, and determining a position of the gaze point There is provided a technology management method including a step of determining, a step of acquiring driving information related to a position of a gazing point, and a step of outputting the driving information to a voice output unit.
運転情報管理装置は、過去の作業者の視野画像、注視点、注視点に関連する運転情報を記憶し、運転情報管理装置の表示部で、作業者の視野画像、注視点、及び運転情報と、過去の作業者の視野画像、注視点、及び運転情報とを同時に表示しても良い。 The driving information management device stores the visual field image, the gazing point, and the driving information related to the gazing point of the past worker, and the display unit of the driving information management device displays the visual field image, the gazing point, and the driving information of the worker. The visual field image, the gazing point, and the driving information of the past worker may be displayed at the same time.
また、運転情報管理装置は、過去の作業者の視野画像、注視点、注視点に関連する運転情報を記憶し、注視点の位置に関連する運転情報を取得するステップは、注視点の位置と過去の作業者の注視点の位置とを比較して、過去の作業者の注視点に関連する運転情報を取得し、運転情報を出力するステップは、過去の作業者の注視点に関連する運転情報を音声出力部に出力しても良い。 In addition, the driving information management device stores the driving information related to the visual field image, the gazing point, and the gazing point of the past worker, and the step of acquiring the driving information related to the position of the gazing point includes the position of the gazing point and The step of acquiring driving information related to the past worker's point of interest by comparing with the position of the previous worker's point of interest and outputting the driving information is the operation related to the point of attention of the past worker. Information may be output to the audio output unit.
そこで上記の目的を達成するために、一実施形態において、視点追尾装置を装着した作業者の視野と注視点とを管理することで技術管理を行うための技術管理装置であって、作業者の注視点を追尾して視野画像の上の作業者の注視点を取得する注視点取得部と、注視点の位置を判断する注視点位置判断部と、注視点の位置に関連する運転情報を取得する運転情報取得部と、運転情報を音声出力部に出力する運転情報出力部と、を有する技術管理装置を提供する。 Therefore, in order to achieve the above object, in one embodiment, a technical management device for managing technology by managing the field of view and gaze point of an operator wearing a viewpoint tracking device, A gaze point acquisition unit that acquires the gaze point of the worker on the view image by tracking the gaze point, a gaze point determination unit that determines the position of the gaze point, and driving information related to the position of the gaze point There is provided a technology management apparatus having an operation information acquisition unit that performs operation information and an operation information output unit that outputs operation information to a voice output unit.
技術管理装置は、過去の作業者の視野画像、注視点、注視点に関連する運転情報を記憶する運転情報記憶部と、作業者の視野画像、注視点、及び運転情報と、過去の作業者の視野画像、注視点、及び運転情報とを同時に表示する運転情報表示部とをさらに有しても良い。 The technology management apparatus includes a past worker's field of view image, a gaze point, a driving information storage unit that stores driving information related to the gaze point, a worker's field of view image, a gaze point, and driving information, and a past worker. May further include a driving information display unit that simultaneously displays the visual field image, the gazing point, and the driving information.
運転情報取得部は、注視点の位置と過去の作業者の注視点の位置とを比較して、過去の作業者の注視点に関連する運転情報を取得し、運転情報出力部は、過去の作業者の注視点に関連する運転情報を出力しても良い。 The driving information acquisition unit compares the position of the gazing point with the position of the gazing point of the past worker, acquires the driving information related to the gazing point of the past worker, and the driving information output unit You may output the driving | operation information relevant to an operator's gaze point.
本発明によれば、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理することで、シミュレーションデータを用意することなく、作業対象物の運転情報を作業者に提供することで、初心者の作業者に対しても適切な運転情報を指示することで技術管理することが可能となった。 According to the present invention, by managing a worker's field of view and gazing point with respect to a work object using a viewpoint tracking device, operation information on the work object is provided to the worker without preparing simulation data. As a result, technical management can be performed by instructing appropriate driving information to a novice worker.
また、本発明によれば、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理し、過去の優秀な作業者の視野と注視点とを記憶して、比較表示することで、ことで、初心者の作業者に対して自己の作業レベルの認識が容易に行うことが可能となった。 In addition, according to the present invention, the visual field and the gazing point of the worker with respect to the work object are managed using the viewpoint tracking device, and the visual field and the gazing point of the past excellent worker are stored and compared and displayed. In this way, it becomes possible for a novice worker to easily recognize his / her work level.
また、本発明によれば、視点追尾装置を用いて作業対象物に対する作業者の視野と注視点とを管理し、過去の優秀な作業者の注視点と、作業者の注視点との距離を計算することで異常性を作業者に通知することが可能となった。 According to the present invention, the viewpoint tracking device is used to manage the worker's field of view and gazing point with respect to the work object, and the distance between the past excellent worker's gazing point and the worker's gazing point is determined. It became possible to notify the operator of abnormalities by calculating.
以下、図面を参照して、本発明の実施の形態を説明する。
図1を用いて、技術管理装置及び技術管理方法の概要について説明する。図示のように、作業者1は、頭部に視点追尾装置10を装着する。視点追尾装置10は、ハーフミラー13を有し且つ作業者1の視線を検出するための視線検出センサ14と、視点追尾装置10の姿勢を検出する3次元モーションセンサ15と、作業者1の視野を検出するための被写体撮影カメラ16とを有し、有線又は無線のネットワーク2を介して、主に作業者の視野画像及び注視点を記憶し、管理するための運転情報管理装置20と接続される。
Embodiments of the present invention will be described below with reference to the drawings.
The outline of the technology management apparatus and the technology management method will be described with reference to FIG. As illustrated, the
また、被写体撮影カメラ16は、所定の焦点距離のレンズを備え、図1に表されるように、被写体撮影カメラ16の撮影方向を示す矢印39の方向を向いて、被写体18を撮影して、被写体41を含む視野画像38を取得する。さらに、視線検出センサ14は、作業者1の視点を検出し、それにより、視線32による視野画像上の注視点37を検出する。
In addition, the
なお、視線検出方法は、既存の検出方法が適用可能である。例えば、特開2005−312605号公報に開示される視線検出方法が適用可能である。 An existing detection method can be applied to the line-of-sight detection method. For example, the line-of-sight detection method disclosed in Japanese Patent Application Laid-Open No. 2005-312605 is applicable.
次に、図2を用いて視点追尾装置10及び運転情報管理装置20の機能構成について説明する。
視点追尾装置10は、CPU等から構成され少なくとも各種データの処理・演算を行う処理部11、メモリやハードディスク等から構成され各種データを記憶するための記憶部12、視線検出センサ14、3次元モーションセンサ15、被写体撮影カメラ16、必要に応じて作業上の注意点等を作業者1に伝えるための音声出力部17、及び有線又は無線ネットワーク2を介して運転情報管理装置20と視野画像、注視点、注意点情報等の各種データの送受信を行うための通信部18を有する。なお、視点追尾装置10は、視点追尾装置10の位置情報を確認するために、GPS衛星70からのGPS情報(緯度経度情報)を取得するためのGPSアンテナを有しても良い。
Next, functional configurations of the
The
ここで、記憶部12には、視野画像、注視点、後述する運転情報等の各種データを格納することができるように構成されている。また、記憶部12には、少なくとも、視点追尾装置10における動作を処理部11によって制御するためのプログラムが格納されている。
視線検出センサ14は注視点取得部として機能可能であり、3次元モーションセンサ15は、注視点位置判断部として機能可能であり、処理部11は、運転情報取得部として機能可能であり、音声出力部17は運転情報出力部として機能可能であり、記憶部12は、運転情報記憶部として機能可能である。
Here, the
The line-of-sight detection sensor 14 can function as a gazing point acquisition unit, the three-
運転情報管理装置20は、CPU等から構成され少なくとも各種データの処理・演算を行う処理部22、テンキーやキーボードから構成される入力部28、ネットワーク2と接続され、視点追尾装置10から視野画像、注視点等を受信し、運転情報等を送信する通信部26、及びメモリやハードディスク等から構成される記憶部24、視野画像、注視点等を受信し、運転情報等を表示する表示部29を有している。
記憶部24には、運転情報管理装置20における動作を処理部22によって制御するためのプログラム、視点追尾装置10から受信した視野画像、注視点等の情報、及び、視点追尾装置10に送信するための運転情報(装置の操業、生産物又は製造物の品質、生産又は製造工程の安全面等に関する情報であり、作業を行うためのチェック項目になるような情報であり、作業対象物又は装置のサイズ、温度条件、基準等)等が格納されている。
運転情報取得部と、運転情報出力部と、記憶部12は、運転情報記憶部として機能可能である。
処理部22は、運転情報取得部として機能可能であり、記憶部24は、運転情報記憶部として機能可能であり、表示部29は、運転情報表示部として機能可能である。
The driving
In the
The driving information acquisition unit, the driving information output unit, and the
The
次に、図3を用いて、視点追尾装置10の視線検出センサ14及び被写体撮影カメラ16による視線検出方法を説明する。
矢印39は、被写体撮影カメラ16の撮影方向を示しており、カメラ姿勢軸110は、3次元モーションセンサ15が用いる視点追尾装置10の向きを判断するための座標軸を示しており、作業者1の頭部方向を視点追尾装置10座標軸のC軸として、図示のようにC軸に直交するA軸、B軸が設定されている。絶対座標軸120は、Y軸を地球の自転方向を正とする自転方向軸、Z軸を地面に対して水平な北極方向を正とする地磁気軸、X軸は、地面から垂直方向を正とする高さ軸とした座標軸である。このとき、絶対座標軸120からカメラ姿勢軸110への回転変位は、Y軸についてロール(κ)、Z軸についてピッチ(φ)、X軸についてヨー(ω)と表される。
Next, a line-of-sight detection method using the line-of-sight detection sensor 14 and the
An
3次元モーションセンサ15は、ジャイロセンサ、地磁気センサ、重力センサ、加速度センサの少なくとも1つを有することができる。地磁気センサは、地面に対して水平な地磁気を測定し、緯度経度情報を検出できるため、絶対座標軸120に対するカメラ姿勢軸110への回転変位(κ、φ、ω)が検出可能になる。また、重力センサは、重力が視点追尾装置10に対してどの方向からかかっているかがわかるため、地磁気センサ同様に、視点追尾装置10に複数設置しそれらの検出データを互いに比較することにより、絶対座標軸120に対するカメラ姿勢軸への回転変位(κ、φ、ω)が検出可能になる。
The three-
ジャイロセンサは、それらA、B、C軸の各々にジャイロセンサが設けられている。これは、視点追尾装置10が地磁気センサ及び重力センサのセンシングタイムより早い速度で回転する場合があるため、地磁気センサ及び重力センサで検出した回転変位(κ、φ、ω)をジャイロ基準回転変位(κ0、φ0、ω0)として、ジャイロセンサによりその基準回転変位からの更なるジャイロ回転変位(κ1、φ1、ω1)を計算するためである。
The gyro sensor is provided with a gyro sensor on each of the A, B, and C axes. This is because the
具体的なセンサ設置例としては、A、B、C軸の方向のそれぞれに設置したジャイロとペアになるように、地磁気センサ又は重力センサを設置することで、基準点の検出、基準点からの回転動作の検出が可能となり、視点追尾装置10の位置及び向きが検出可能となる。さらに、加速度センサを設置し、視点追尾装置10の加速度を検知することで、加速度センサにより素早い動きを検知した時は、ジャイロ回転変位(κ1、φ1、ω1)が重力センサや磁気センサのジャイロ基準回転変位(κ0、φ0、ω0)に補正をかけ、ゆっくりした動きを検知した時は、より正確を期すため、重力センサや磁気センサがジャイロ基準回転変位(κ0、φ0、ω0)を補正してやることで、リアルタイムに視点追尾装置10の回転変位(κ、φ、ω)を測定することが可能になる。
As a specific sensor installation example, by installing a geomagnetic sensor or a gravity sensor so as to be paired with gyros installed in the directions of the A, B, and C axes, detection of a reference point, The rotation operation can be detected, and the position and orientation of the
また、視点追尾装置10は処理部11を用いて、3次元モーションセンサ15の地磁気センサ、及び/又は、GPSから緯度経度情報を検出し、視点追尾装置10のカメラ投影中心座標O(Xo,Yo,Zo)を動的に検出することができる。なお、視点追尾装置10を使用する場所が固定されて決まっているときは、カメラ投影中心座標O(Xo,Yo,Zo)は、手動入力しても良い。この手動入力は、例えば、運転情報管理装置20の入力部28で記憶部12に格納する視点追尾装置10制御用プログラムのカメラ投影中心座標Oの設定データとして入力され、通信部26から通信部18に送信され、記憶部12に保存されることで行われる。
Further, the
このように、3次元モーションセンサ15を用いて、カメラ投影中心座標O(Xo,Yo,Zo)、及び、視点追尾装置10の回転変位(κ、φ、ω)が求められる。そして、被写体撮影カメラ16のレンズの焦点距離から決まる写角により、カメラ投影中心座標O(Xo,Yo,Zo)の回転変位(κ、φ、ω)で決まる視野画像上の被写体の位置p1(xp1,xp1)から、被写体の絶対座標上の位置P1(X1,Y1,Z1)を判断することが可能となる。
さらに、上述したように、視線検出センサ14を用いて被写体上の注視点位置は判明しているため、視線検出センサ14の撮影方向にある視野画像上の注視点位置p2(xp2,yp2)から、注視点の絶対座標上の位置P2(X2,Y2,Z2)も判定することが可能となる。
In this way, the camera projection center coordinates O (Xo, Yo, Zo) and the rotational displacement (κ, φ, ω) of the
Furthermore, as described above, since the position of the point of interest on the subject is known using the line-of-sight detection sensor 14, the point of interest p2 (xp2, yp2) on the visual field image in the shooting direction of the line-of-sight detection sensor 14 is used. The position P2 (X2, Y2, Z2) on the absolute coordinate of the gazing point can also be determined.
そのため、予め記憶部12又は記憶部24に、位置情報とともに操作対象となる装置情報を格納しておくことで、作業者1の視野画像38に存在する装置情報を処理部11又は処理部22は取得することが可能である。図3の例を参照すると、作業者1が設備状態監視画面A(41a)を見ているか、設備状態監視画面B(41b)を見ているかは、カメラ投影中心座標O(Xo,Yo,Zo)の回転変位(κ、φ、ω)で決まる視野画像に移る被写体の位置p1(xp1,xp2)に関連する絶対座標上の位置P1(X1,Y1,Z1)で判断可能となり、さらに、設備状態監視画面A(41a)のどの部分を見ているかは、注視点位置p2(xp2,yp2)に関連する絶対座標上の位置P2(X2,Y2,Z2)により判断可能となる。したがって、注視点位置に映し出される位置がわかるため、その位置に配置される作業対象物も判明し、さらに、その作業対象物に関する運転情報を処理部11又は処理部22は取得可能である。そして、作業対象物に関連する運転情報を音声出力部17を介して音声出力し、作業者1に知らせて装置に関する技術管理を確実にすることができる。
Therefore, by storing the device information to be operated together with the position information in the
図4を用いて、圧延工程において技術管理方法を行うばあいの処理フローを説明する。この処理は、視点追尾装置10及び運転情報管理装置20を用いて実行されるものとする。なお、本実施例では、作業者は、自己の作業の品質を管理するために、視点追尾装置10を頭部に装着し、製鉄所、製油所、発電所、製品組立工場等の工場における中央処理装置等に設置される設備状態監視画面及び必要に応じて操作盤を介して作業を行うものとする。
With reference to FIG. 4, a processing flow when performing the technical management method in the rolling process will be described. This process is executed using the
最初に、作業者は、設備操作及び監視のために、図5に示される何れかの設備状態監視画面41a、41bを監視する。設備状態監視画面41aは、圧延工程のサイジングプレス工程における鋼板51a、ガイド52、プレス機器53を上面から撮影した画像が示される。設備状態監視画面41bは、圧延工程の粗圧延工程における鋼板51b及び粗圧延器54を側面から撮影した画像が示される。作業者が、設備状態監視画面41a、41bを監視することで、作業者の頭部が動き、視点追尾装置10の被写体撮影カメラ16が撮影する視野画像38aが決まり、作業者が設備状態監視画面上の作業対象物(図5の例では、サイジングプレス工程におけるプレス機器53へ鋼板51aが移動する箇所)に視線を当てることで注視点37aが決まる。
First, the operator monitors any of the equipment
図4に戻ると、被写体撮影カメラ16は、作業者の頭部の動きに応じて、視野画像38aを取得し(ステップ101)、視線検出センサ14は、作業者の作業者の注視点を追尾して視野画像の上の作業者の注視点37aを取得する(ステップ102)。次に、3次元モーションセンサ15は、その絶対座標上の位置O(Xo,Yo,Zo)及び作業者の頭部の向きを判断することで、視野画像上の被写体の絶対座標上の位置P1(X1,Y1,Z1)を取得し、注視点の絶対座標上の位置P2(X2,Y2,Z2)を取得する(ステップ103)。視点追尾装置10は、通信部18を介して運転情報管理装置20に視野画像、注視点、注視点の位置情報を運転情報管理装置20に送信(ステップ104)し、運転情報管理装置20は、通信部26を介してその情報を受信する(ステップ105)。
Returning to FIG. 4, the
図6を用いて、サイジングプレス工程の技術管理上必要な運転情報について説明する。図(a)は、サイジングプレス工程における鋼板51a、ガイド52、プレス機器53の概略上面図である。図(a)に示される鋼板51aは、プレス機器53でプレスされる前の状態を示す。図(b)は、例えば制御盤を介した作業者の指示により、図示されない鋼板51aの下部にあるローラを動かすことで、鋼板51aがプレス機器53の間に移動し、さらに、ガイド52で固定された後に、鋼板51aがプレス機器53でプレスされた状態を示す概略上面図である。図(c)は、鋼板51aがプレス機器53に衝突した状態を示す概略上面図である。
The operation information necessary for technical management of the sizing press process will be described with reference to FIG. FIG. 4A is a schematic top view of the
例えば、製鉄所の作業者は、図(a)に表されるように、鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態にあり、鋼板51aが移動してもプレス機器53に衝突しないことを確認する必要がある。しかしながら、プレス機器53が開いた状態にあることを確認して、開状態にしておかない場合、図(c)に示すような衝突状態となり、鋼板51a及びプレス機器53が損傷する原因となる。
このように、サイジングプレス工程の技術管理上、図(a)に表されるように、鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態にあることを確認することは、技術管理上重要な情報であり、各作業者に伝承すべき技術技能の例である。
For example, as shown in FIG. 1A, an ironworks operator is in a state where the
As described above, in the technical management of the sizing press process, before the
再び、図4に戻ると、運転情報管理装置20は、取得した注視点の位置情報と、記憶部24に記憶された当該サイジングプレス工程の過去の優秀な技術者の注視点の位置情報とを比較すれ(ステップ106)、具体的には、注視点間の距離が算定される。なお、本実施例では、作業者の行う作業工程は、運転情報管理装置20の入力部28を介して入力され、記憶部24に記憶されているため、その情報をもとに、比較対象となる過去の優秀な技術者の注視点の位置情報が選択される。さらに、注視点の比較処理は、作業者の注視点と過去の優秀な技術者の注視点の時刻情報との同期をとるために、記憶部24には、選択された作業工程のタイミングチャートが格納され、そのタイミングチャートにしたがって注視点の同期が取られる。また、記憶部24に記憶された作業者が行う工程の情報をもとに、作業対象物であるプレス機器の状態監視情報(プレス機器の監視制御を行っている制御機器の監視情報)と同期する(具体的には、運転情報管理装置20が、プレス機器53の制御機器から鋼板51aがプレス機器53の前に配置されたという状態監視情報を通信部を介して受信する)ことで、注視点の比較処理の同期が取られても良い。
Returning again to FIG. 4, the operation
次に、記憶部24から運転情報を取得する(ステップ107)。また、ステップ106で算定された注視点間の距離が、所定値より大きい場合(当該実施例では、作業者の注視点がプレス機器53のプレス部分から離れた場合など、監視対象を監視していない場合である)、記憶部24から運転情報を取得して、過去の優秀な作業者が注視点を配置した理由となる情報(例えば、優秀な作業者が常に「鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態を確認」している等)が運転情報に加えられる。また、注視点比較距離が基準値を超えた場合、異常警告(前述の図6(c)に示す状態を回避するための警告等)を運転情報に含めても良い。
Next, driving information is acquired from the storage unit 24 (step 107). Further, when the distance between the gazing points calculated in
次に、運転情報管理装置20は、運転情報を通信部26を介して送信(ステップ108)し、視点追尾装置10は、運転情報を通信部18を介して受信(ステップ109)し、次に、音声出力部17を介して、作業者1に対して運転情報及び/又は異常警告の音声データを出力する(ステップ110)(例えば、上記したような過去の優秀な作業者が注視点を配置した理由となる情報「鋼板51aがプレス機器53の間に入る前に、プレス機器53が開いた状態にあること」等を出力する)。
Next, the driving
このように、作業者が注視した対象に対する運転情報が作業者に音声出力されるため、作業者は、運転情報を確認することで図4(c)に示すような作業のミスを考慮し、鋼板51aが移動する前にプレス機器53の開状態を確認し適切な対処をとることが可能である。
In this way, since the driving information for the object watched by the worker is output to the worker by voice, the worker considers the mistake in the work as shown in FIG. 4C by confirming the driving information, Before the
また、ステップ111では、作業者の作業の中で取得された視野情報、注視点、運転情報を、同様に記憶された過去の優秀な作業者が行った運転情報と比較して表示することも可能である。
In
図7は、運転情報管理装置20の表示部29に表示されるサイジングプレス工程の運転情報の比較を示す設備状態監視画面を示す図である。
図(a)は、過去の優秀な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。図(b)は、経験の不十分な作業者が行ったサイジングプレス工程における注視点の動きを示す図である。
図(a)に示される注視点37a−1は、優秀な作業者が、鋼板51a−1がプレス53aでプレスされる前に、プレス機器が開いた状態であることを確認するために位置づけられる。一方、図(b)に示される注視点37b−1は、経験の不十分な作業者は鋼板51b−1がプレス53bでプレスされる前に、プレス機器が開いた状態であることを確認してないために、優秀な作業者の注視点37a−1とは異なる場所に位置づけられる。
FIG. 7 is a diagram showing an equipment state monitoring screen showing a comparison of operation information of the sizing press process displayed on the
FIG. (A) is a diagram showing a movement of a gazing point in a sizing press process performed by an excellent worker in the past. FIG. (B) is a diagram showing the movement of the gazing point in the sizing press process performed by an operator with insufficient experience.
The
さらに、設備状態監視画面38a、38bの38a−2、38b−2には、視野画像及び注視点に加えて、記憶部24に記憶した運転情報が表示される。そして、運転情報38a−2、38b−2には、「プレス機器の開状態を確認」する等のコメントが記載されるため、経験の不十分な作業者がこのコメントを確認することで、優秀な作業者の注視点の違いの理由を明確に判別可能にする。
そして、圧延工程の技術管理処理は終了する。
Furthermore, in addition to the visual field image and the gazing point, the operation information stored in the
And the technical management process of a rolling process is complete | finished.
作業者は、自分の運転管理レベルがどの辺りにあるかを把握することが難しいため、記憶部24に記憶される過去の作業者の視野画像や注視点等を、上級者、中級者、初心者に分類し、ステップ111で説明した比較表示により自分のレベルを判断することが可能となる。また、上級者、中級者、初心者とレベル毎に視野画像、注視点、運転情報等(特に注意点配置理由)を記憶部24に保存することで、標準管理を容易に行うことができる。
Since it is difficult for the worker to grasp where his / her operation management level is, the visual field image and the gazing point of the past worker stored in the
このように、視点追尾装置10及び運転情報管理装置20を用いた運転管理方法は、様々な作業対象機器ならびに設備状態監視画面がある中、作業者がどこのポイントを何のために見て、何と比較して問題ないかを確認し、作業に従事しているか、操業・品質面、安全面から管理することを可能にする。
As described above, the operation management method using the
このように、視点追尾装置10及び運転情報管理装置20を用いた運転管理方法は、従来のようにシミュレーションデータの作成及び更新をすることなく、実際にカメラで撮影した撮影範囲を用いて運転管理を行うことができると共に、過去の優秀な運転情報と比較することで、作業の学習を効率的に促進させることができる。
As described above, the driving management method using the
2 ネットワーク
10 視点追尾装置
11、22 処理部
12、24 記憶部
14 視線検出センサ
15 3次元モーションセンサ
16 被写体撮影カメラ
17 音声出力部
18、26 通信部
20 運転情報管理装置
2
Claims (6)
前記作業者の視野画像を取得するステップと、
前記作業者の注視点を追尾して前記視野画像の上の前記作業者の注視点を取得するステップと、
前記注視点の位置を判断するステップと、
前記注視点の位置に関連する運転情報を取得するステップと、
前記運転情報を音声出力部に出力するステップと、
を有することを特徴とする技術管理方法。 Using a viewpoint tracking device and an operation information management device, a technology management method for managing technology by managing the field of view and gaze point of an operator wearing the viewpoint tracking device,
Obtaining a visual field image of the worker;
Tracking the worker's gaze point to obtain the worker's gaze point on the field image;
Determining the position of the point of interest;
Obtaining driving information related to the position of the gazing point;
Outputting the driving information to a voice output unit;
A technology management method characterized by comprising:
前記運転情報管理装置の表示部で、前記作業者の視野画像、注視点、及び運転情報と、前記過去の作業者の視野画像、注視点、及び運転情報とを同時に表示する請求項1に記載の技術管理方法。 The driving information management device stores a visual image of a past worker, a gazing point, driving information related to the gazing point,
The display unit of the driving information management device simultaneously displays the visual field image, the gazing point, and the driving information of the worker, and the visual field image, the gazing point, and the driving information of the past worker. Technical management method.
前記注視点の位置に関連する運転情報を取得するステップは、前記注視点の位置と前記過去の作業者の注視点の位置とを比較して、前記過去の作業者の注視点に関連する運転情報を取得し、
前記運転情報を出力するステップは、前記過去の作業者の注視点に関連する運転情報を音声出力部に出力する請求項1又は2に記載の技術管理方法。 The driving information management device stores a visual image of a past worker, a gazing point, driving information related to the gazing point,
The step of obtaining the driving information related to the position of the gaze point compares the position of the gaze point with the position of the gaze point of the past worker, and the driving relates to the gaze point of the past worker. Get information,
The technology management method according to claim 1 or 2, wherein the step of outputting the driving information outputs the driving information related to the gaze point of the past worker to a voice output unit.
前記作業者の注視点を追尾して前記視野画像の上の前記作業者の注視点を取得する注視点取得部と、
前記注視点の位置を判断する注視点位置判断部と、
前記注視点の位置に関連する運転情報を取得する運転情報取得部と、
前記運転情報を音声出力部に出力する運転情報出力部と、
を有することを特徴とする技術管理装置。 A technology management device for managing technology by managing the field of view and gaze point of an operator wearing a viewpoint tracking device,
A gazing point acquisition unit that tracks the gazing point of the worker and acquires the gazing point of the worker on the visual field image;
A gazing point position determination unit for determining a position of the gazing point;
A driving information acquisition unit that acquires driving information related to the position of the gazing point;
A driving information output unit that outputs the driving information to a voice output unit;
A technology management apparatus comprising:
前記作業者の視野画像、注視点、及び運転情報と、前記過去の作業者の視野画像、注視点、及び運転情報とを同時に表示する運転情報表示部とをさらに有する請求項4に記載の技術管理装置。 A driving information storage unit that stores a visual field image of a past worker, a gazing point, and driving information related to the gazing point;
The technology according to claim 4, further comprising a driving information display unit that simultaneously displays the visual field image, the gazing point, and the driving information of the worker, and the visual field image, the gazing point, and the driving information of the past worker. Management device.
前記運転情報出力部は、前記過去の作業者の注視点に関連する運転情報を出力する請求項4又は5に記載の技術管理装置。 The driving information acquisition unit compares the position of the gazing point with the position of the gazing point of the past worker, acquires driving information related to the gazing point of the past worker,
The technology management apparatus according to claim 4, wherein the driving information output unit outputs driving information related to the gaze point of the past worker.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008043265A JP5079542B2 (en) | 2008-02-25 | 2008-02-25 | Technology management apparatus and technology management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008043265A JP5079542B2 (en) | 2008-02-25 | 2008-02-25 | Technology management apparatus and technology management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009199004A true JP2009199004A (en) | 2009-09-03 |
JP5079542B2 JP5079542B2 (en) | 2012-11-21 |
Family
ID=41142510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008043265A Active JP5079542B2 (en) | 2008-02-25 | 2008-02-25 | Technology management apparatus and technology management method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5079542B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017072407A (en) * | 2015-10-05 | 2017-04-13 | 宏次 牛窪 | Bladed weapon observation method, bladed weapon observation system, storage medium, and purchasing system |
JP7570632B2 (en) | 2021-03-26 | 2024-10-22 | 株式会社日立製作所 | Design support device, design support method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0377533A (en) * | 1989-08-19 | 1991-04-03 | Ishikawa Pref Gov | Apparatus for measuring gaze attitude and absolute position of gaze point |
JPH07204163A (en) * | 1994-01-13 | 1995-08-08 | Hiroyuki Shiomi | Method for detecting remarked point and system therefor |
JP2004240264A (en) * | 2003-02-07 | 2004-08-26 | Mitsubishi Electric Corp | Bodily sensation type training system |
JP2004328579A (en) * | 2003-04-28 | 2004-11-18 | Kuraray Medical Inc | Image recording medium with image recorded for displaying position of visual point |
JP2005182307A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Vehicle driving support device |
JP2005312605A (en) * | 2004-04-28 | 2005-11-10 | Ditect:Kk | Gaze position display device |
-
2008
- 2008-02-25 JP JP2008043265A patent/JP5079542B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0377533A (en) * | 1989-08-19 | 1991-04-03 | Ishikawa Pref Gov | Apparatus for measuring gaze attitude and absolute position of gaze point |
JPH07204163A (en) * | 1994-01-13 | 1995-08-08 | Hiroyuki Shiomi | Method for detecting remarked point and system therefor |
JP2004240264A (en) * | 2003-02-07 | 2004-08-26 | Mitsubishi Electric Corp | Bodily sensation type training system |
JP2004328579A (en) * | 2003-04-28 | 2004-11-18 | Kuraray Medical Inc | Image recording medium with image recorded for displaying position of visual point |
JP2005182307A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Vehicle driving support device |
JP2005312605A (en) * | 2004-04-28 | 2005-11-10 | Ditect:Kk | Gaze position display device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017072407A (en) * | 2015-10-05 | 2017-04-13 | 宏次 牛窪 | Bladed weapon observation method, bladed weapon observation system, storage medium, and purchasing system |
JP7570632B2 (en) | 2021-03-26 | 2024-10-22 | 株式会社日立製作所 | Design support device, design support method |
Also Published As
Publication number | Publication date |
---|---|
JP5079542B2 (en) | 2012-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2669763B1 (en) | Sensor-enhanced localization in virtual and physical environments | |
US9086724B2 (en) | Display control system, display control method, computer-readable storage medium having stored thereon display control program, and display control apparatus | |
US9158305B2 (en) | Remote control system | |
US10139902B2 (en) | Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display | |
US10712391B2 (en) | Localization, mapping and haptic feedback for inspection of a confined space in machinery | |
CN102109348B (en) | System and method for positioning carrier, evaluating carrier gesture and building map | |
EP2708982B1 (en) | Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof | |
JP2019020997A5 (en) | ||
WO2021019948A1 (en) | Position identification system for construction machinery | |
JP2016206016A (en) | Location estimation system and location estimation method | |
JP5079542B2 (en) | Technology management apparatus and technology management method | |
WO2010137165A1 (en) | Technique managing device, and technique managing method | |
CN110411443A (en) | A kind of rocker arm of coal mining machine inertia/visual combination determines appearance device and method | |
US20150015707A1 (en) | Telepresence method and system for tracking head movement of a user | |
JP2008065511A (en) | Information display system and pointing control method | |
US10663944B2 (en) | Machining systems comprising a machining facility and control methods | |
KR20180060403A (en) | Control apparatus for drone based on image | |
US11224787B2 (en) | Swing measurement device, swing measurement method, and swing measurement program | |
JP5082982B2 (en) | Car navigation system | |
US11845001B2 (en) | Calibration system and method for handheld controller | |
WO2024171945A1 (en) | Welding operation training system, welding operation training method using same, and welding operation training program | |
JP2020173326A (en) | Field work education system | |
US11893167B2 (en) | Information processing device, information processing method, non-transitory computer readable medium | |
JP2020042667A (en) | Projection system, projection method, and program | |
JP2006051550A (en) | Position teaching device and position teaching method to mover |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120829 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5079542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |