JP2010224749A - Work process management system - Google Patents
Work process management system Download PDFInfo
- Publication number
- JP2010224749A JP2010224749A JP2009069770A JP2009069770A JP2010224749A JP 2010224749 A JP2010224749 A JP 2010224749A JP 2009069770 A JP2009069770 A JP 2009069770A JP 2009069770 A JP2009069770 A JP 2009069770A JP 2010224749 A JP2010224749 A JP 2010224749A
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- imaging
- captured
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 171
- 230000008569 process Effects 0.000 title claims abstract description 142
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims description 221
- 238000006243 chemical reaction Methods 0.000 claims description 88
- 230000003287 optical effect Effects 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 107
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、複数の作業位置を有する作業対象物に対し、作業者に各作業位置の作業を行わせる作業工程を管理する作業工程管理システムに関し、特に、作業の正否を確認するために、作業者が作業を行う毎に作業対象物における当該作業の位置を特定して工程管理を行う作業工程管理システムに関する。 The present invention relates to a work process management system that manages a work process that allows an operator to perform work at each work position on a work object having a plurality of work positions, and in particular, to confirm whether the work is correct or not. The present invention relates to a work process management system that performs process management by specifying the position of the work in a work object every time a person performs the work.
従来、機械装置などの製造工程において、ネジの締め付けなどの工程が、作業をプログラミングされたロボットにより行われている。しかし、作業位置が作業対象物の内側部分にある場合(図1参照)などロボットにより作業を行うことが困難な場合がある。例えば、ロボットのアームの関節数により動きが制限されたり、アームが作業対象物の一部と接触してしまうために、アームの先端に取り付けられた工具が作業位置に届かない場合がある。また、ロボットにより作業を行うためには、作業対象物を所定の位置に、所定の方向に固定する必要がある。しかし、作業対象物を正確な位置に移動させる装置を用意できない場合など、作業対象物を所定の位置および方向に固定することが困難な場合がある。この場合も、ロボットにより作業を行うことが困難である。 Conventionally, in a manufacturing process of a mechanical device or the like, a process such as screw tightening is performed by a robot programmed with a work. However, there are cases where it is difficult to perform work by the robot, such as when the work position is inside the work object (see FIG. 1). For example, the movement is limited by the number of joints of the arm of the robot, or the arm may come into contact with a part of the work object, so that the tool attached to the tip of the arm may not reach the work position. Further, in order to perform work by the robot, it is necessary to fix the work object at a predetermined position in a predetermined direction. However, it may be difficult to fix the work object in a predetermined position and direction, such as when a device for moving the work object to an accurate position cannot be prepared. In this case as well, it is difficult to work with the robot.
ロボットにより作業を行うことが困難な場合は、作業員がその作業を行っている。上記のように、ロボットのアームが届き難い作業が含まれる場合や作業対象物をロボットに対する所定の位置に固定できない場合など、作業位置に対して柔軟な作業動作の対応が要求される作業が含まれる作業工程では作業者に依存せざるを得ないからである。 When it is difficult to work with a robot, a worker is doing the work. As described above, this includes work that requires flexible work movement response to the work position, such as when work that is difficult for the robot arm to reach is included or when the work object cannot be fixed at a predetermined position with respect to the robot. This is because it is necessary to depend on the worker in the work process.
しかしながら、作業員に作業を行わせる場合、作業員は様々な作業位置に対して柔軟に対応して作業を行うことができる反面、各作業を常に正確かつ確実にできないのが一般であるから、作業ミスが起こり得る。このため、作業者による作業には、検品や品質検査を行なう必要がある。例えば、ネジの締付作業の場合、ネジの締め忘れや締付トルクの不足などのミスを排除するために、作業位置の特定と締付トルクの検出を行う必要がある。従来、このような作業ミスを排除するための検査を効率よく行い、作業ミスによる不良品の製造を削減するために、各種の作業工程管理ステムが開発されている。 However, when workers are allowed to perform work, they can work flexibly with respect to various work positions, but in general, each work cannot always be performed accurately and reliably. Work mistakes can occur. For this reason, it is necessary to perform inspection and quality inspection for the work performed by the worker. For example, in the case of a screw tightening operation, it is necessary to specify the work position and detect the tightening torque in order to eliminate mistakes such as forgetting to tighten the screw or insufficient tightening torque. Conventionally, various work process management systems have been developed in order to efficiently perform inspections for eliminating such work mistakes and reduce the production of defective products due to work mistakes.
特に、ネジ締め作業において、作業者がワーク(作業対象物)のネジ締め作業位置でネジ締め作業を行うと、その都度、そのネジ締め作業が行われた作業位置を特定するシステムが提案されている。例えば、特開2008-181344号公報には、ワークが載置される作業台の後方位置に、一対のカメラを、当該作業台と平行に所定のカメラ間隔を設け、かつ、各カメラの光軸を作業台に向けて固定し、作業者がトルクドライバを用いてネジ締め作業を行い、当該トルクドライバから所定のトルクでネジ締めが行われたことを検出した信号が出力されると、その信号に基づいて一対のカメラの撮像動作を行わせ、両カメラの撮像画像を用いて当該ネジ締め作業の作業位置を特定する技術が記載されている。 In particular, in screw tightening work, when an operator performs screw tightening work at a screw tightening work position of a work (work object), a system for identifying the work position where the screw tightening work was performed is proposed. Yes. For example, in Japanese Patent Application Laid-Open No. 2008-181344, a pair of cameras are provided at a rear position of a work table on which a work is placed, a predetermined camera interval is provided in parallel to the work table, and the optical axis of each camera is provided. When the operator performs a screw tightening operation using a torque driver and a signal is detected from the torque driver that the screw tightening has been performed with a predetermined torque, the signal is Describes a technique for performing the imaging operation of a pair of cameras based on the above and specifying the work position of the screw tightening operation using the captured images of both cameras.
同公報に記載の技術は、トルクドライバにマーカを付けておき、一対のカメラの撮像画像からそれぞれマーカの画像を検出し、ステレオ視の原理により作業台におけるマーカの位置、すなわち、ネジ締め作業が行なわれた位置を特定するというものである。 The technology described in the publication discloses a marker attached to the torque driver, detects the image of each marker from the captured images of a pair of cameras, and the position of the marker on the workbench, that is, the screw tightening work, is based on the principle of stereo vision. This is to specify the position where the operation was performed.
また、特開2004−258855号公報には、工具に発信機を設ける一方、異なる位置に3個の受信機を設け、作業が完了すると、その発信機から作業完了信号を超音波や電波で各受信機に送信し、その作業完了信号の伝播時間によってそれぞれの各受信機からの距離を算出して、作業位置を検出する方法が提案されている。 In JP 2004-258855 A, a transmitter is provided on a tool, while three receivers are provided at different positions. When the work is completed, a work completion signal is transmitted from the transmitter by ultrasonic waves or radio waves. There has been proposed a method of detecting a work position by calculating a distance from each receiver based on a propagation time of the work completion signal transmitted to the receiver.
ところで、上記の特開2004−258855号公報に記載の技術では、作業位置が作業対象物の内側部分にある場合、工具から発せられる超音波や電波が作業対象物に遮られて伝播時間が変化するので正確な作業位置を検出することができない場合がある。 By the way, in the technique described in the above Japanese Patent Application Laid-Open No. 2004-258855, when the work position is in the inner part of the work object, the propagation time changes due to the ultrasonic wave or radio wave emitted from the tool being blocked by the work object. As a result, an accurate work position may not be detected.
また、作業者に行なわせる作業には、例えば、作業位置がワークの内側部分にある場合やワークを作業台の所定の位置に固定できない場合やワークに対する作業者の位置を様々に変化させなければならない場合がある。このような場合には、上記の特開2008−181344号公報に記載の技術では、固定されたカメラに対するワークの位置(特に、ワーク内の作業位置)が変化したり、カメラとワークの間に作業者が入ったりして、作業位置をカメラで撮像できない場合が生じる。 In addition, for the work to be performed by the worker, for example, when the work position is in the inner part of the work, when the work cannot be fixed at a predetermined position on the work table, or when the work position of the work with respect to the work is not changed variously. It may not be possible. In such a case, according to the technique described in Japanese Patent Application Laid-Open No. 2008-181344, the position of the work (particularly, the work position within the work) with respect to the fixed camera changes, or between the camera and the work. In some cases, an operator may enter and the work position cannot be captured by the camera.
また、台車や作業台上におけるワークの固定位置および方向が所定の位置および方向と異なっていた場合、検出された作業位置は、記憶部に記憶された作業位置と一致しなくなる。これは、作業位置を台車や作業台上に設定された座標軸上の位置座標として記憶しているからであり、記憶部に作業位置を記憶したときと同じ位置および方向にワークを固定することが前提となっているからである。 In addition, when the fixed position and direction of the workpiece on the carriage or work table are different from the predetermined position and direction, the detected work position does not match the work position stored in the storage unit. This is because the work position is stored as a position coordinate on the coordinate axis set on the carriage or work table, and the work can be fixed at the same position and direction as when the work position is stored in the storage unit. This is because it is a premise.
なお、作業位置の座標を検出するための画像からワークの位置および方向を検出すれば、作業位置の座標をワークに対する相対的な位置座標に変換することができるが、カメラとワークとの間に作業者が入って撮像できない場合がある。 If the position and direction of the work are detected from the image for detecting the coordinates of the work position, the coordinates of the work position can be converted into position coordinates relative to the work. There are cases where an operator enters and cannot take an image.
本発明は上記した事情のもとで考え出されたものであって、作業位置が作業対象物の内側部分にある場合や、作業対象物を所定の位置および方向に固定できない場合でも、正確かつ確実に作業位置を特定することができる作業工程管理システムを提供することをその目的としている。 The present invention has been conceived under the circumstances described above, and is accurate and accurate even when the work position is inside the work object or when the work object cannot be fixed in a predetermined position and direction. An object of the present invention is to provide a work process management system capable of reliably specifying a work position.
上記課題を解決するため、本発明では、次の技術的手段を講じている。 In order to solve the above problems, the present invention takes the following technical means.
本発明の第1の側面によって提供される作業工程管理システムは、複数の作業位置を有し、作業者によって各作業位置の所定の作業が行なわれる作業対象物に対して、前記作業者が前記作業を終了する毎に当該作業の作業位置を特定する作業工程管理システムであって、前記作業者の体勢が前記作業位置を見る体勢になると、当該作業位置が撮像画面内に入る前記作業者の所定の位置に固定された撮像手段と、予め作業者に前記作業対象物の各作業位置で前記所定の作業を行なわせて各作業の完了時に前記撮像手段により前記各作業位置をそれぞれ撮像した画像をマスタ画像として記憶する記憶手段と、前記作業者が前記作業対象物に対して作業を行なったとき、各作業位置で前記所定の作業を完了した後の所定のタイミングで前記撮像手段に撮像動作を行わせる撮像制御手段と、前記撮像手段で撮像された撮像画像を、前記記憶手段に記憶されている複数の前記マスタ画像と照合して、当該撮像画像が撮像された作業位置を特定する特定手段と、を備えることを特徴とする。 The work process management system provided by the first aspect of the present invention has a plurality of work positions, and the worker performs the work on a work object on which a predetermined work at each work position is performed by the worker. A work process management system for identifying a work position of the work every time work is finished, and when the posture of the worker is in a posture to see the work position, the work position of the worker entering the imaging screen An imaging unit fixed at a predetermined position, and an image obtained by imaging each of the work positions by the imaging unit at the completion of each work by causing an operator to perform the predetermined work in advance at each work position of the work object. Storage means for storing the image as a master image, and the imaging means at a predetermined timing after the predetermined work is completed at each work position when the worker performs work on the work object. An imaging control unit that performs an imaging operation and a captured image captured by the imaging unit are collated with a plurality of the master images stored in the storage unit, and a work position where the captured image is captured is specified. And a specifying means.
この構成によると、作業者が作業対象物の各作業位置で作業を行なうと、その作業が完了する毎に撮像手段の撮像動作が行なわれる。撮像手段は、作業者が作業位置を見る体勢になると、当該作業位置が撮像画面内に入る作業者の所定の位置に固定されているので、各撮像画像には、各作業位置の画像が含まれる。一方、マスタ画像は、作業者が実際に作業を行なうのと同様の方法で取得されているので、各撮像画像は、全てのマスタ画像の中のいずれかに類似した画像となる。 According to this configuration, when the worker performs work at each work position of the work target, the image pickup unit performs the image pickup operation every time the work is completed. When the worker is ready to view the work position, the imaging means is fixed at a predetermined position of the worker that enters the imaging screen, so each captured image includes an image of each work position. It is. On the other hand, since the master image is acquired in the same manner as the worker actually performs the work, each captured image is an image similar to any one of all the master images.
従って、各撮像画像をそれぞれ全てのマスタ画像と照合し、各撮像画像とほぼ一致するマスタ画像が特定されると、そのマスタ画像を取得した作業位置が各撮像画像の撮像された作業位置として特定される。そして、全てのマスタ画像について作業位置が特定できれば、作業対象物に対する作業が完了していると判定でき、いずれかのマスタ画像について作業位置が特定できなければ、作業対象物に対する作業が完了していないと判定できる。 Therefore, each captured image is collated with all the master images, and when a master image that substantially matches each captured image is identified, the work position from which the master image is acquired is identified as the captured work position of each captured image. Is done. If the work position can be specified for all the master images, it can be determined that the work for the work object is completed. If the work position cannot be specified for any of the master images, the work for the work object is completed. It can be determined that there is no.
本発明によれば、画像の照合により作業位置を特定する処理において、作業者が見ている作業位置の映像に近い撮像画像とそのマスタ画像を用いるので、固定された撮像手段の視野に作業位置が入らない作業対象物やロボットによって撮像手段を撮影位置に移動させることが困難な作業対象物に対しても確実に作業位置の特定をすることができる。 According to the present invention, in the process of specifying the work position by collating the images, the captured image and the master image that are close to the image of the work position that the worker is looking at are used, so that the work position is in the field of view of the fixed imaging means. Therefore, it is possible to reliably specify the work position even for a work object that does not enter or a work object for which it is difficult to move the imaging means to the photographing position by the robot.
本発明の好ましい実施の形態においては、前記特定手段は、前記撮像画像を予め設定された拡大、縮小、回転、平行移動のいずれか若しくはこれらを組み合わせた変換条件で画像変換する画像変換手段と、前記画像変換手段により変換された変換画像と各マスタ画像との類似度を算出する類似度算出手段と、を備え、前記類似度算出手段により算出された複数の類似度に基づいて前記撮像画像が撮像された作業位置を特定する。 In a preferred embodiment of the present invention, the specifying means is an image conversion means for converting the captured image into an image under a conversion condition that is set in advance for any one of enlargement, reduction, rotation, and translation, or a combination thereof. Similarity calculating means for calculating the similarity between the converted image converted by the image converting means and each master image, and the captured image is based on the plurality of similarities calculated by the similarity calculating means. The imaged work position is specified.
この構成によると、撮像画像を拡大、縮小、回転、平行移動のいずれか若しくはこれらを組み合わせた変換条件で画像変換した変換画像を用いてマスタ画像との照合を行うので、撮像画像の撮像された条件(撮像手段の位置や光軸に対する回転角度など)がマスタ画像の撮像された撮像条件と同一でなくても、変換画像をマスタ画像と照合した類似度に基づいて、正確に作業位置を特定することができる。 According to this configuration, since the captured image is collated with the master image using the converted image obtained by converting the image under the conversion condition of enlargement, reduction, rotation, translation, or a combination thereof, the captured image is captured. Even if the conditions (such as the position of the imaging means and the rotation angle with respect to the optical axis) are not the same as the imaging conditions for capturing the master image, the work position can be accurately identified based on the similarity obtained by comparing the converted image with the master image. can do.
本発明の好ましい実施の形態においては、前記特定手段は、前記類似度算出手段により算出される複数の類似度のうち、最大の類似度を有するマスタ画像に対応する作業位置を、前記撮像画像が撮像された作業位置として特定する。 In a preferred embodiment of the present invention, the specifying unit is configured such that the captured image indicates a work position corresponding to a master image having the maximum similarity among a plurality of similarities calculated by the similarity calculating unit. It is specified as an imaged work position.
本発明の好ましい実施の形態においては、前記特定手段は、前記類似度算出手段により前記類似度が算出される毎に、当該類似度が所定の閾値を超えているか否かを判別する判別手段をさらに備え、前記判別手段で前記算出された類似度が前記所定の閾値を超えている場合、当該類似度を有するマスタ画像に対応する作業位置を、前記撮像画像が撮像された作業位置として特定する。 In a preferred embodiment of the present invention, each time the similarity is calculated by the similarity calculation means, the specifying means includes a determination means for determining whether or not the similarity exceeds a predetermined threshold value. If the similarity calculated by the determination unit exceeds the predetermined threshold, the work position corresponding to the master image having the similarity is specified as the work position where the captured image is captured. .
この構成によると、全てのマスタ画像について、撮像画像との類似度を算出する前にいずれかの類似度が所定の閾値を超えると、その類似度を有するマスタ画像に対応する作業位置を撮像画像が撮像された作業位置と特定するので、撮像画像と複数のマスタ画像とを照合する処理時間を短くすることができる。 According to this configuration, for any master image, if any similarity exceeds a predetermined threshold before calculating the similarity to the captured image, the work position corresponding to the master image having the similarity is captured. Therefore, the processing time for collating the captured image with a plurality of master images can be shortened.
本発明の好ましい実施の形態においては、前記撮像手段に取り付けられ、所定の基準方向に対する当該撮像手段の光軸方向の角度を検出する角度検出手段と、前記マスタ画像及び前記撮像画像を取得するために前記撮像手段の撮像動作が行われたとき、前記角度検出手段により前記撮像手段の光軸方向の角度を検出させる検出制御手段と、前記撮像手段により撮像された撮像画像を、当該撮像画像の撮像時の前記撮像手段の光軸方向の角度と当該撮像画像と照合するマスタ画像の撮像時の前記撮像手段の光軸方向の角度との角度差に基づいて、前記マスタ画像の撮像位置で撮像した画像と略同一の画像に変換する第2の画像変換手段と、をさらに備え、前記特定手段は、前記画像変換手段により変換された変換画像に代えて、前記第2の画像変換手段で変換された変換画像を前記マスタ画像と照合する。 In a preferred embodiment of the present invention, an angle detection unit that is attached to the imaging unit and detects an angle in the optical axis direction of the imaging unit with respect to a predetermined reference direction, and for acquiring the master image and the captured image. When the imaging operation of the imaging unit is performed, a detection control unit that detects an angle in the optical axis direction of the imaging unit by the angle detection unit, and a captured image captured by the imaging unit Imaging at the imaging position of the master image based on the angle difference between the angle in the optical axis direction of the imaging means at the time of imaging and the angle in the optical axis direction of the imaging means at the time of imaging of the master image to be compared with the captured image And a second image conversion means for converting the image into substantially the same image as the processed image, wherein the specifying means replaces the converted image converted by the image conversion means with the second image. The converted transformed image switching means for collating with the master image.
この構成によると、撮像画像を撮像したときの撮像手段の光軸方向とマスタ画像の撮像時の撮像手段の光軸方向とが異なっていても、両者の光軸方向のずれ(開き角)に基づいて、撮像画像をマスタ画像の撮像位置で撮像した画像と略同一の画像に変換した後、当該マスタ画像と照合するので、特定手段による作業位置の特定処理の負担が低減するとともに、処理結果の信頼性が向上する。 According to this configuration, even if the optical axis direction of the imaging unit when the captured image is captured is different from the optical axis direction of the imaging unit when capturing the master image, the deviation (opening angle) between the optical axis directions of both is different. Based on this, the captured image is converted into an image that is substantially the same as the image captured at the imaging position of the master image, and then collated with the master image. Reliability is improved.
本発明の好ましい実施の形態においては、前記撮像手段に取り付けられ、前記作業対象物に対して前記撮像手段の光軸方向を示す目印となる所定の光像を投影する投影手段をさらに備える。 In a preferred embodiment of the present invention, there is further provided a projection unit that is attached to the imaging unit and projects a predetermined light image serving as a mark indicating the optical axis direction of the imaging unit with respect to the work object.
この構成によると、作業者が作業位置に光像が投影される姿勢で作業を行うと、撮像画面内に作業位置が含まれる撮像画像を確実に取り込むことができる。これにより、マスタ画像と撮像画像の両画像内の略同じ位置に作業位置の画像を取り込むことができるので、撮像画像とマスタ画像の照合における作業位置の照合処理が容易になり、特定手段による作業位置の特定処理の負担が低減するとともに、処理結果の信頼性が向上する。 According to this configuration, when an operator performs an operation in a posture in which an optical image is projected at the operation position, it is possible to reliably capture a captured image including the operation position in the imaging screen. As a result, the image at the work position can be captured at substantially the same position in both the master image and the captured image, so that the collation process of the work position in the collation of the captured image and the master image is facilitated. The burden of the position specifying process is reduced, and the reliability of the process result is improved.
本発明の好ましい実施の形態においては、前記撮像手段は、前記作業者の目の近傍に、当該撮像手段の光軸方向が前記作業者が各作業位置で前記所定の作業をしているときの視線の方向とほぼ同一となる姿勢で固定されている。 In a preferred embodiment of the present invention, the imaging means is located in the vicinity of the eyes of the worker when the optical axis direction of the imaging means is when the worker is performing the predetermined work at each work position. It is fixed in a posture that is substantially the same as the direction of the line of sight.
この構成によると、撮像手段による撮像画像が前記作業者の目で見た画像と略一致する。通常、作業者は作業位置を視認しながら作業をするので、作業位置を含む撮像画像を確実に撮像することができる。 According to this configuration, the image picked up by the image pickup unit substantially matches the image seen by the operator's eyes. Usually, since an operator works while visually recognizing the work position, a captured image including the work position can be reliably picked up.
本発明の好ましい実施の形態においては、前記作業は、所定の工具を使用する作業であり、前記撮像制御手段は、前記工具に設けられ、前記作業の完了を検出すると、その検出信号を出力する検出手段と、前記検出手段から出力される検出信号に基づいて前記撮像手段の撮像動作を行わせる制御手段と、を含む。 In a preferred embodiment of the present invention, the work is a work using a predetermined tool, and the imaging control means is provided in the tool and outputs a detection signal when the completion of the work is detected. Detection means, and control means for causing the imaging means to perform an imaging operation based on a detection signal output from the detection means.
この構成によると、前記工具から出力される作業の完了信号に基づいて撮像画像の撮像動作が制御されるので、作業を完了したときの作業位置を正確に特定することができる。 According to this configuration, since the imaging operation of the captured image is controlled based on the work completion signal output from the tool, the work position when the work is completed can be accurately specified.
本発明のその他の特徴および利点は、添付図面を参照して以下に行う詳細な説明によって、より明らかとなろう。 Other features and advantages of the present invention will become more apparent from the detailed description given below with reference to the accompanying drawings.
以下、本発明の実施の形態を、図面を参照して具体的に説明する。なお、本実施形態では、ネジの締付工程を例として説明する。 Embodiments of the present invention will be specifically described below with reference to the drawings. In this embodiment, a screw tightening process will be described as an example.
図1および図2は、本発明に係る作業工程管理システムの第1実施形態を説明するための図である。図1は、作業工程管理システム1を用いて作業者PがワークWの複数の作業位置でネジ締め作業を行っている状態を示しており、図2は、作業工程管理システム1のブロック図を示している。この作業工程管理システム1は、ワークWの各作業位置で確実にネジ締め作業が行われたか否かと、当該ネジ締め作業が適切に行われたか否かを確認するシステムである。作業工程管理システム1は、工具2、撮像カメラ3、および作業管理装置4を備えている。
1 and 2 are diagrams for explaining a first embodiment of a work process management system according to the present invention. FIG. 1 shows a state where an operator P is performing screw tightening work at a plurality of work positions of a work W using the work
工具2は、ネジの締付作業を行うための電動式のトルクドライバであり、制御ケーブル5により作業管理装置4と接続されている。トルクドライバにはトルクリミッタが内蔵され、トルクドライバに所定のトルクの負荷が掛かると、それを検出した信号が制御ケーブル5を介して作業管理装置4に出力される。トルクドライバのトルクリミット値は、ネジ締めが正常に行なわれたときのドライバのトルク値に設定されている。従って、作業者Pが工具2で締付作業を行い、所定の方向にトルクリミット値のトルクが掛かったとき、工具2からその検出信号が、ネジ締め作業の完了信号として、作業管理装置4に入力される。以下、工具2から出力される検出信号を「作業完了信号」という。
The
工具2は、作業者が回転開始スイッチを押すと、ドライバの回転を開始するが、その回転開始からトルクがトルクリミット値に達するまでの時間を計時するタイマと、そのタイマで計時される計時時間が所定の時間より短い場合は、適切にネジの締め付けができていないと判定する判定回路を備えている。工具2は、判定回路で適切にネジの締め付けができていないと判定されると、作業完了信号に代えてエラー信号を作業管理装置4に入力する。
When the operator presses the rotation start switch, the
なお、工具2と作業管理装置4との接続は、作業の妨げとならないように、無線による接続としてもよい。また、適切にネジの締め付けができたか否かを作業管理装置4で判定するようにしてもよい。この場合は、作業管理装置4にタイマと判定回路を設け、工具2から回転開始スイッチが押された信号を作業管理装置4に入力し、当該作業管理装置4でその信号の入力から作業完了信号が入力されるまでの時間を計時し、その計時時間に基づいて適切にネジの締め付けができたか否かを判定するようにすればよい。また、本実施形態では、工具2を電動式のトルクドライバとしているが、手動式のトルクドライバとしてもよい。この場合は、作業者Pにスイッチなどを操作させて回転開始信号に相当する信号を生成し、作業管理装置4に入力させる必要がある。
The connection between the
撮像カメラ3は、作業者PがワークWに対して作業をした作業位置を撮像するためのものであり、制御ケーブル6により作業管理装置4と接続されている。撮像カメラ3は作業者Pの特定の部位に固定されている。撮像カメラ3の作業者Pでの固定位置は、各作業位置で作業者Pがネジの締付作業を完了したときに撮像カメラ3の光軸方向L1が略作業位置の方向となる位置である。通常、作業者Pはネジの締付作業をするとき、ネジの締付位置(作業位置)を凝視しているから、作業位置に対する作業者Pの頭部の姿勢(特に、作業位置に対する作業者Pの目の周辺部位の位置関係)は安定していると考えられる。本実施形態では、図1に示すように、作業者Pの目の上方位置に撮像カメラ3を固定し、その光軸方向L1が作業者の視線方向L2とほぼ同じになるようにしている。これにより、作業者Pは、作業完了時に撮像カメラ3に作業位置を撮像させることを意識することなく、ネジの締付作業に集中することができる。
The
撮像カメラ3は、例えば、ヘッドランプのようにゴムバンドなどで固定されている。撮像カメラ3の作業者Pへの固定方法は、これに限定されるものではなく、撮像カメラ3が取り付けられたヘルメットを作業者Pに被らせるようにしてもよい。また、撮像カメラ3の固定位置は、目の上方位置に限定されるものではない。例えば、目の外側位置であってもよい。この場合は、例えば、撮像カメラ3が取り付けられた作業用のメガネやゴーグルを作業者Pに装着させるようにするとよい。なお、撮像カメラ3を作業者Pに取り付けるとき、作業者PにワークWに対して作業姿勢を取らせ、その姿勢での撮像カメラ3の撮像画像を確認しながら、撮像カメラ3の固定位置を調整させるようにするとよい。
The
撮像カメラ3は、例えば、CCD(charge-coupled Device)の撮像素子を備え、電子シャッタによって撮像(露出)の制御が行われる。撮像カメラ3にはオートフォーカス機能とオート露出機能とが設けられ、撮像直前に画面内の略中央で自動的に露出と焦点の調整が行われる。CCDは、モノクロとカラーのいずれでもよい。モノクロCCDは低価格という利点があるが、カラーCCDは、撮像画像を用いた作業位置の特定処理において、作業位置の形状だけでなく色成分を用いることができる利点がある。なお、図1には示していないが、撮像カメラ3に照明装置を設け、その照明装置で作業位置を一定の明るさに照明するとよい。
The
作業者Pは作業位置を視認しながら作業を行うので、作業者Pに撮像カメラ3による作業位置の撮像を意識させることなく、作業完了時に撮像カメラ3により適切にワークW上の作業位置を撮像することができる。例えば、図3(a)に示すワークWに4つのネジN1〜N4の締付作業をする場合、作業者Pは作業を行う各ネジを視認しながら作業する。従って、ネジN1の締付作業を行ったときは同図(b)の画像が撮像され、ネジN2の締付作業を行ったときは同図(c)の画像が撮像され、ネジN3の締付作業を行ったときは同図(d)の画像が撮像され、ネジN4の締付作業を行ったときは同図(e)の画像が撮像される。なお、撮像カメラ3は、作業者Pの作業の邪魔にならず、作業完了時に作業位置を確実に撮像できればよいので、例えば、作業者Pの工具2を持つ腕に撮像カメラ3を装着してもよい。あるいは、工具2に取り付ける方法も考えられる。
Since the worker P works while visually recognizing the work position, the
撮像カメラ3の撮像動作は作業管理装置4によって制御され、撮像カメラ3は、作業管理装置4から撮像指示信号が入力されると、撮像動作を行い、その撮像画像の画像データ(以下、「撮像画像データ」という。)を作業管理装置4に転送する。なお、撮像カメラ3と作業管理装置4との接続は、作業の妨げとならないように、無線による接続としてもよい。
The imaging operation of the
作業管理装置4は、工具2から作業完了信号が入力されると、撮像カメラ3に撮像指示信号を出力し、撮像動作を行わせる。このとき、作業者PはワークWの作業位置を見ており、撮像カメラ3の画面も作業者Pが見ている像とほぼ同じになるので、撮像カメラ3によりその作業位置が撮像される。作業管理装置4は、作業完了信号が入力されることによりネジの締付作業が適切に行われたことを認識し、そのときの撮像カメラ3の撮像画像に基づいて作業位置を特定する。作業管理装置4は、ワークW内の作業位置でのネジ締付作業が全て適切に行われた場合、そのワークWのネジ締付作業工程が完了したと判断し、その判断結果を表示部45(図2参照)に表示して作業者に知らせる。
When a work completion signal is input from the
作業管理装置4は、図2に示すように、制御部41、作業管理部42、マスタ画像記憶部43、特定処理部44、表示部45、および操作部46を備えている。
As shown in FIG. 2, the work management device 4 includes a
制御部41は、作業工程管理システム1の動作を統括的に制御するものである。制御部41は、工具2から作業完了信号が入力されると、それに応答して撮像カメラ3に撮像指示信号を出力する。撮像カメラ3からはその撮像指示信号によって撮像された画像のデータ(撮像画像データ)が制御ケーブル6を介して作業管理装置4に転送されるが、その撮像画像データは特定処理部44内のメモリに保存される。制御部41は、特定処理部44に処理開始の指示信号を出力し、特定処理部44に、後述する撮像画像を用いた作業位置の特定処理を行なわせる。
The
なお、本実施形態では、特定処理部44により作業位置の特定ができなかった場合は、作業者Pにその旨を報知して、作業者Pにネジの締付作業のやり直しを促す構成としている。そして、作業者Pがネジの締付作業をやり直した場合は、特定処理部44による作業位置の特定処理は行なわず、作業者Pに作業完了の情報を入力させるようにしている。これは、作業者Pに作業をやり直させた場合、作業者Pは作業完了時にその作業が指定されたとおりになっていることを確認すると考えられ、特定処理部44により作業位置の特定処理を行なわせるまでもなく、作業者Pから作業完了の情報を入力させれば足りるとの考えに基づくものである。また、この方法を採用することにより、制御部41に対して迅速に作業完了の情報を入力でき、処理の長時間化を回避できる、特定処理部44で再度、作業位置が特定できなかった場合に作業者Pの判断と特定処理部44の処理結果の矛盾により作業工程が停滞するという不都合を回避できる、などという効果もある。
In the present embodiment, when the work position cannot be specified by the specifying
また、制御部41は、特定処理部44から入力される処理結果の信号やユーザの操作によって操作部46から入力される操作信号(作業完了の情報)に基づいて、作業管理部42における作業工程の管理を制御する。具体的には、作業管理部42は、作業工程の各作業位置のネジ締付作業が正常に完了したか否かをフラグによって管理しており、制御部41は、作業管理部42に対してそのフラグ(以下、「作業完了フラグ」という。)の設定を指示する。
In addition, the
また、制御部41は、表示部45に作業状況や作業者Pに対するメッセージを表示させる。作業状況やメッセージの表示とは、例えば、工具2からのエラー信号や特定処理部44からのエラー信号に基づくエラー表示や作業者Pの作業のやり直しを促す表示や作業工程の完了を示す表示である。
Further, the
作業管理部42は、作業工程の各作業の状況を管理するものである。作業工程において作業を行なう必要がある作業位置には作業位置番号が付されている。作業管理部42には作業位置番号ごとに上述の作業完了フラグが設けられている。作業完了フラグが「オン」(2値データでは、例えば、「1」)のとき、作業位置の作業は完了していることを示し、作業完了フラグが「オフ」(2値データでは、例えば、「0」)のとき、作業位置の作業は未完了であることを示す。制御部41は、作業工程の開始時に作業管理部42の全作業完了フラグを「オフ」に設定し、作業を完了した作業位置番号が特定処理部44または操作部46から入力された場合、その作業位置番号の作業完了フラグを「オン」に切り替える指令信号を作業管理部42に出力する。作業管理部42は、この指令信号により指定された作業位置番号の作業完了フラグを「オン」に切り替える。
The
マスタ画像記憶部43は、特定処理部44で、作業位置を特定するために撮像画像データと比較されるマスタ画像データを記憶しておくものである。マスタ画像データは、予め作業者PにワークWでの作業工程の作業を行なわせ、そのワークWの各作業位置を撮像カメラ3で撮像した画像(マスタ画像)のデータであり、作業位置番号と関連付けて記憶されている。例えば図3の例では、作業者PにワークWに対してネジN1〜N4の締付作業を行なわせ、各作業位置で取得される同図(b),(c),(d),(e)の画像データがマスタ画像データとして記憶される。
The master
本発明の考え方は、作業者PがワークWの各作業位置で作業が完了する毎に、その作業位置を所定の位置から撮像カメラ3により撮像し、その撮像画像を予め所定の位置から作業位置を撮像したマスタ画像との画像マッチングによる同定を行い、同定できたマスタ画像の作業位置番号から当該作業位置を特定するというものである。本発明では、作業者Pが作業中に見ている作業位置と略同じような画像を得るために、撮像カメラ3を作業者Pの目の近傍位置に取り付けているので、撮像画像と画像マッチングを行うためのマスタ画像も撮像画像と同様の方法で取得する必要がある。このため、作業者Pが実際に作業工程を行う前に、同一の作業工程を行なわせてワークWの各作業位置の作業完了時における撮像画像データを取得し、その撮像画像データをマスタ画像データとするようにしている。以下、マスタ画像データを作成する作業をマスタリング作業という。
The idea of the present invention is that each time the worker P completes the work at each work position of the work W, the work position is picked up by the
なお、各作業位置における撮像画像とマスタ画像の撮像位置が同一であれば、同一の作業位置における撮像画像とマスタ画像の絵柄は同一となるが、撮像カメラ3は作業者Pに取り付けられているため、繰り返されるワークWの作業工程において、作業者Pが各作業位置で作業完了時に同一の体勢を取ることはできないので、各作業位置における撮像位置が変化して撮像画像とマスタ画像に絵柄のずれが生じる。そこで、本実施形態では、画像マッチングにおいて、撮像画像に拡大/縮小、回転、平行移動などの処理を施してマスタ画像との画像マッチングによる同定の精度を高めるようにしている。
In addition, if the captured image of each work position and the captured position of the master image are the same, the captured image and the master image at the same work position are the same, but the
上記の考え方によれば、マスタリング作業における作業者と実際に作業工程を行う作業者は同一であることが基本であるが、本実施形態では、実際の撮像画像とマスタ画像にずれが生じることは不可避であるので、必ずしも両作業者を同一にしなくてもよい。その場合は、マスタリング作業における作業者として実際に作業工程を行う作業者と可及的に体型が似ている作業者を選ぶとよい。また、両作業者の相違に基づく実際の撮像画像とマスタ画像のずれに一定の規則性がある場合は、マスタ画像データにそのずれ分を補正する処理を施すようにするとよい。 According to the above concept, it is fundamental that the worker in the mastering work and the worker who actually performs the work process are the same, but in the present embodiment, the actual captured image and the master image are not displaced. Since it is unavoidable, both workers do not necessarily have to be the same. In that case, it is preferable to select a worker who is as similar as possible to the worker who actually performs the work process as the worker in the mastering work. Further, when there is a certain regularity in the deviation between the actual captured image and the master image based on the difference between the two workers, it is preferable to perform processing for correcting the deviation in the master image data.
特定処理部44は、撮像カメラ3の撮像により得られた撮像画像データとマスタ画像記憶部43に記憶されている各マスタ画像データとを照合し、画像マッチングにより撮像画像データがどの作業位置を撮像したものであるかを特定するものである。以下、この撮像画像データとマスタ画像データを照合し、画像マッチングにより作業位置を特定する処理を「特定処理」という。特定処理部44は、撮像画像データがどの作業位置を撮像したものであるかを特定できた場合、当該作業位置の作業位置番号を制御部41に出力し、特定できなかった場合、作業位置番号に代えてエラー信号を出力する。
The
特定処理部44は、特定処理において、最初の作業位置の撮像画像データについては、全てのマスタ画像データと照合するが、後の作業位置の撮像画像データについては、既に特定できた作業位置に対応するマスタ画像データと照合する必要はないので、特定できていない作業位置に対応するマスタ画像データとだけ照合する。すなわち、作業管理部42において作業完了フラグが「オフ」となっている作業位置番号に対応する作業位置のマスタ画像データとだけ照合を行う。これにより、特定処理にかかる時間を短縮することができる。特定処理部44が行なう特定処理についての詳細は後述する。
In the identification process, the
表示部45は、作業状況や作業者Pに対するメッセージを表示するものであり、制御部41によって制御される。制御部41は、作業管理部42の作業完了フラグの状態に応じて、作業工程の各作業の状況を表示部45に表示させる。表示部45は、各作業位置番号について、「作業完了」あるいは「作業未完了」の表示を、作業状況として表示する。また、制御部41は、工具2からエラー信号が入力された場合、作業が不適切である旨のメッセージを表示部45に表示させて作業者Pに当該作業のやり直しを促し、特定処理部44からエラー信号が入力された場合、作業位置が特定できなかった旨のメッセージを表示部45に表示させて作業者Pに作業位置の確認を行って操作部46からその作業位置を入力するように促す。また、制御部41は、作業管理部42の作業完了フラグが全て「オン」になった場合、作業工程が全て完了した旨のメッセージを表示部45に表示させて作業者PにワークWを次の工程に進めるように促す。なお、表示部45に表示されるメッセージに作業者Pが気付くように、音声報知部を設けて音声により報知するようにしてもよい。
The
操作部46は、作業者Pが作業管理装置4を操作するためのものである。操作部46には、作業工程の開始時に押圧されるためのスタートボタンと、特定処理部44が作業位置を特定できなかった場合に作業者Pが作業位置番号を入力するためのテンキーなどが設けられている。
The
次に、作業工程管理システム1における処理手順を、図4に示すフローチャートを参照して説明する。
Next, a processing procedure in the work
図4は、制御部41が行う作業位置特定処理を説明するためのフローチャートである。当該処理は、作業者Pが操作部46のスタートキーを押圧することにより、操作信号が制御部41に入力されることで開始される。
FIG. 4 is a flowchart for explaining the work position specifying process performed by the
まず、作業管理部42に設定されている作業完了フラグがすべて「オフ」に初期化される(S1)。表示部45には、すべての作業位置番号についての作業状況が「作業未完了」として表示される。
First, all the work completion flags set in the
作業者Pは、工具2を用いて、ワークWの決められた作業位置のネジ締付作業を行う。作業者Pがある作業位置のネジ締付作業を適切に完了した場合、工具2から制御部41に作業完了信号が入力される。しかし、ネジ締付作業が適切に行われなかった場合(例えば、ネジが傾いたまま締められた場合など)、工具2から制御部41にエラー信号が入力される。
The worker P uses the
制御部41は、エラー信号が入力されたか否かを判別する(S2)。エラー信号が入力された場合(S2:YES)、表示部45にネジ締付作業が不適切である旨のメッセージを表示させ(S3)、ステップS2に戻る。作業者Pは、このメッセージを見て、今行ったネジ締付作業を見直して再度、ネジ締付作業を行う。従って、作業者Pはネジ締付作業が不適切である場合は、表示部45にその旨のメッセージが表示されるので、表示部45にその旨のメッセージが表示されなくなるまで、ネジ締付作業を繰り返すことになる。
The
エラー信号が入力されなかった場合(S2:NO)、制御部41は、作業完了信号が入力されたか否かを判別する(S4)。作業完了信号が入力された場合(S4:YES)、撮像カメラ3に撮像指示信号を送信する(S5)。作業完了信号が入力されなかった場合(S4:NO)、ステップS2に戻る。すなわち、制御部41は、ステップS2〜S4を繰り返して、作業完了信号が入力されるのを待つ。
When no error signal is input (S2: NO), the
撮像カメラ3は、撮像指示信号が入力されると、撮像動作を行い、その撮像動作で得られた撮像画像データを特定処理部44に転送する。制御部41は、特定処理部44に特定処理を行わせる(S6)。特定処理の詳細は後述する。特定処理部44は、特定処理を行い、作業位置を特定できた場合は作業位置番号を制御部41に出力し、作業位置を特定できなかった場合はエラー信号を制御部41に出力する。
When the imaging instruction signal is input, the
制御部41は、特定処理部44からエラー信号が入力されたか否かを判別する(S7)。エラー信号が入力された場合(S7:YES)、表示部45に作業位置を特定できなかった旨のメッセージを表示させる(S8)。作業者Pは、このメッセージを見て、作業位置を確認した後、現在作業を行った作業位置の番号を操作部46から入力する。
The
なお、本実施形態では、撮像画像データを作業位置が特定されていない全てのマスタ画像データと照合して作業位置を特定するようにしているので、作業者Pが予め決められた作業位置の作業順に作業をしなかった場合でもその作業位置を特定処理で特定できるようになっている。従って、作業位置を特定できなかった場合、特定処理を繰り返す方法も考えられるが、そうすると、その繰返し処理のために作業時間が長くなるので、作業者Pから作業位置の番号を入力させることで、作業工程の遅延化を防止している。また、作業工程管理システム1は、作業者Pのうっかりミスを検知し、作業者Pに作業の適否を確認させてワークWを次の工程に進ませることを主目的とするから、ステップS8のエラー表示後は作業者Pは作業の適否を確認すると考えられるので、敢えて特定処理を繰り返す必要性は少ないとも言える。
In the present embodiment, the captured image data is collated with all master image data for which the work position is not specified, so that the work position is specified. Therefore, the worker P can perform work at a predetermined work position. Even when the work is not performed in order, the work position can be specified by the specifying process. Therefore, when the work position cannot be specified, a method of repeating the specifying process is also conceivable. However, since the work time is increased due to the repetition process, by inputting the work position number from the worker P, The delay of work process is prevented. Further, the work
制御部41は、操作部46からの作業位置の番号の入力を待つ(S9)。作業位置の番号が入力されると(S9:YES)、作業管理部42に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる(S11)。表示部45には、当該作業位置番号についての作業状況が「作業完了」として表示される。
The
ステップS7でエラー信号が入力されなかった場合(S7:NO)、特定処理部44から作業位置番号が入力されたか否かを判別する(S10)。作業位置番号が入力された場合(S10:YES)、作業管理部42に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる(S11)。表示部45には、当該作業位置番号についての作業状況が「作業完了」として表示される。作業位置番号が入力されなかった場合(S10:NO)、ステップS7に戻る。すなわち、制御部41は、ステップS7およびS10を繰り返して、エラー信号または作業位置番号が入力されるのを待つ。
When no error signal is input in step S7 (S7: NO), it is determined whether or not a work position number is input from the specific processing unit 44 (S10). When the work position number is input (S10: YES), the
次に、制御部41は、作業管理部42の作業完了フラグがすべて「オン」になったか否かを判別する(S12)。「オフ」になっている作業完了フラグがあった場合(S12:NO)、ステップS2に戻り、次の作業完了信号を待つ。作業完了フラグがすべて「オン」になった場合(S12:YES)、表示部45に作業工程が全て完了した旨のメッセージを表示させて(S13)、処理を終了する。作業者Pは、このメッセージを見て、ワークWを次の工程に進める。
Next, the
次に、特定処理部44における特定処理について説明する。
Next, the specific processing in the
特定処理は、作業工程で撮像された作業位置の撮像画像と略同一のマスタ画像を探し出し、そのマスタ画像の作業位置番号を撮像画像が撮像された作業位置として特定する処理である。本実施形態では、実際に作業をする作業者Pがマスタリング作業を行った場合、撮像画像はマスタ画像を撮像したときとほぼ同じ位置から撮像されるので、両画像はほぼ同じ画像となる可能性が高い。そして、図3の例のように、ワークWのネジの各締付作業位置の外観が明らかに異なる場合は、各撮像画像の絵柄は、各撮像画像の作業位置と異なる作業位置のマスタ画像の絵柄とは全く異なるので、撮像画像とマスタ画像を画像全体で照合しても撮像画像と略同一のマスタ画像を探し出すことは可能である。 The identification process is a process of searching for a master image that is substantially the same as the captured image of the work position captured in the work process, and identifying the work position number of the master image as the work position where the captured image is captured. In the present embodiment, when the worker P who actually performs the work performs the mastering work, the captured image is captured from substantially the same position as when the master image is captured, and thus both images may be substantially the same image. Is expensive. Then, as in the example of FIG. 3, when the appearance of each tightening work position of the screw of the workpiece W is clearly different, the pattern of each captured image is the master image of the work position different from the work position of each captured image. Since it is completely different from the design, it is possible to find a master image that is substantially identical to the captured image even if the captured image and the master image are collated with the entire image.
処理速度の観点から見れば、撮像画像をそのままマスタ画像と照合する方法が考えられるが、撮像画像はその撮像位置に対応するマスタ画像と完全に同じ画像とはならないので、本実施形態では、処理精度を考慮して、撮像画像を拡大/縮小、回転、平行移動などの画像変換手法により変化させてマスタ画像と照合するようにしている。 From the viewpoint of processing speed, a method of checking the captured image as it is with the master image can be considered, but the captured image is not exactly the same as the master image corresponding to the captured position. In consideration of accuracy, the captured image is changed by an image conversion method such as enlargement / reduction, rotation, or parallel movement and collated with the master image.
図5は、撮像画像を変化させてマスタ画像と照合するための画像変換について説明するための図である。同図(a)は、図3の例におけるネジN1の締付作業に対するマスタ画像(図3(b)と同じもの)であり、同図(b),(c),(d)は、それぞれワークWのネジN1の締付作業に対する撮像画像である。 FIG. 5 is a diagram for describing image conversion for changing a captured image and collating it with a master image. 3A is a master image (same as FIG. 3B) for the tightening operation of the screw N1 in the example of FIG. 3, and FIGS. It is a picked-up image with respect to the fastening operation | work of the screw N1 of the workpiece | work W.
同図(b)の撮像画像は、同図(a)のマスタ画像と比べて、ネジN1、ワークW、工具2が大きくなっている。この状態は、撮像カメラ3の位置がマスタ画像を撮像したときよりワークWに近い場合に生じる。この場合は、撮像画像を縮小変換すると、同図(a)のマスタ画像と一致させることができる。
In the captured image of FIG. 5B, the screw N1, the workpiece W, and the
同図(c)の撮像画像は、同図(a)のマスタ画像と比べて、ネジN1、ワークW、工具2が右回りに回転している。この状態は、マスタ画像を撮像したときと比べて撮像カメラ3が光軸を回転軸として右回りに回転した場合に生じる。この場合は、撮像画像を左回り(図における矢印方向)に回転変換すると、同図(a)のマスタ画像と一致させることができる。
In the captured image of FIG. 10C, the screw N1, the workpiece W, and the
同図(d)の撮像画像は、同図(a)のマスタ画像と比べて、ネジN1、ワークW、工具2が右下にずれている。この状態は、撮像カメラ3の光軸がマスタ画像を撮像したときより左上にずれた場合に生じる。この場合は、撮像画像を左上(図における矢印の方向)に平行移動変換すると、同図(a)のマスタ画像と一致させることができる。
In the captured image of FIG. 4D, the screw N1, the workpiece W, and the
このように、拡大縮小変換、回転変換、および平行移動変換を組み合わせて、撮像画像を変換することで、撮像画像をマスタ画像の撮像状態に近い画像にすることができ、マスタ画像との類似度をより正確に算出することができる。なお、拡大/縮小、回転、平行移動の3種類の画像変換を全て組み合わせると、その組合せ数が膨大になり、撮像画像を画像変換した画像(以下、「変換画像」という。)とマスタ画像との照合回数が膨大になる。そこで、本実施形態では、画像変換を組み合わせる種類や種類毎の変換パラメータ(拡大/縮小の倍率、回転角度、平行移動量など)などの変換条件を経験値によって予め定めておき、その変換条件によって生成される複数の変換画像についてそれぞれマスタ画像と照合し、撮像画像又は複数の変換画像とマスタ画像の類似度を示す指標値の最大値を求め、その最大値をマスタ画像に対する撮像画像の類似度としている。 Thus, by converting the captured image by combining enlargement / reduction conversion, rotation conversion, and translational conversion, the captured image can be made an image close to the imaging state of the master image, and the similarity to the master image Can be calculated more accurately. Note that when all three types of image conversions of enlargement / reduction, rotation, and parallel movement are combined, the number of combinations becomes enormous, and an image obtained by converting the captured image (hereinafter referred to as “converted image”) and a master image. The number of verifications becomes huge. Therefore, in the present embodiment, conversion conditions such as the types to which image conversion is combined and the conversion parameters for each type (magnification / reduction magnification, rotation angle, parallel movement amount, etc.) are determined in advance by empirical values. Each of the plurality of converted images to be generated is compared with the master image, the maximum value of the index value indicating the similarity between the captured image or the plurality of converted images and the master image is obtained, and the maximum value is the similarity of the captured image with respect to the master image It is said.
撮像画像又は変換画像とマスタ画像の類似度を示す指標値は、例えば、周知の正規化相互相関係数を用いることができるが、適当な演算式を定義してもよい。例えば、簡易な方法として、撮像画像又は変換画像とマスタ画像の対応する画素位置の濃度差を求め、画像全体の濃度差の合計値を指標値としてもよい。 For example, a known normalized cross-correlation coefficient can be used as the index value indicating the degree of similarity between the captured image or the converted image and the master image, but an appropriate arithmetic expression may be defined. For example, as a simple method, a density difference between corresponding pixel positions of the captured image or the converted image and the master image may be obtained, and the total value of the density differences of the entire image may be used as the index value.
撮像画像又は変換画像と照合した複数のマスタ画像については、それぞれ類似度が算出されるので、それらの類似度の中で最大の類似度を有するマスタ画像を撮像画像と一致していると推定できる。複数のマスタ画像の中に必ず撮像画像と一致するマスタ画像があるとの前提で、最大の類似度を有するマスタ画像に対応する作業位置番号を撮像画像の撮像された作業位置であると特定してもよいが、本実施形態では、特定処理の精度及び確実性を考慮し、類似度の最大値を所定の閾値と比較し、その閾値以上の場合に最大の類似度を有するマスタ画像の作業位置番号を撮像画像の撮像された作業位置であると特定し、その閾値よりも小さい場合は、作業位置は特定できない、すなわち、エラーと判断するようにしている。 Since a similarity is calculated for each of the plurality of master images collated with the captured image or the converted image, it can be estimated that the master image having the maximum similarity among the similarities matches the captured image. . Assuming that there is a master image that always matches the captured image among the plurality of master images, the work position number corresponding to the master image having the maximum similarity is specified as the work position where the captured image was captured. However, in the present embodiment, in consideration of the accuracy and certainty of the specific processing, the maximum value of the similarity is compared with a predetermined threshold, and when it is equal to or higher than the threshold, the operation of the master image having the maximum similarity is performed. The position number is specified as the work position where the picked-up image is picked up. If the position number is smaller than the threshold, the work position cannot be specified, that is, it is determined as an error.
従って、特定処理部44では、マスタ画像毎に撮像画像に対する類似度を算出し、その類似度の最大値が所定の閾値以上であれば、最大の類似度を有するマスタ画像の作業位置番号が制御部41に出力され、類似度の最大値が所定の閾値より小さい場合は、特定処理結果の信頼性が低いので、作業位置番号に代えてエラー信号が制御部41に出力される。
Therefore, the
なお、撮像画像と照合する全てのマスタ画像について類似度を求めた後にその類似度の最大値を求め、その最大値から撮像画像と一致していると推定されるマスタ画像を特定してもよいが、各マスタ画像について順番に類似度を算出したときに、その類似度を所定の閾値と比較し、その類似度が所定の閾値以上であれば、その時点で当該マスタ画像を撮像画像と一致するマスタ画像と認定して、他のマスタ画像については照合動作を行わないようにしてもよい。この場合、特定処理にかかる時間を短縮することができる。また、この方法では、最後のマスタ画像まで類似度が所定の閾値以上でなかったとき、特定できなかったとして、エラー信号が制御部41に出力されることになる。
In addition, after obtaining the similarity for all master images to be collated with the captured image, the maximum value of the similarity may be obtained, and the master image estimated to match the captured image may be specified from the maximum value. However, when the similarity is calculated in order for each master image, the similarity is compared with a predetermined threshold. If the similarity is equal to or higher than the predetermined threshold, the master image matches the captured image at that time. The master image may be recognized as a master image, and the collation operation may not be performed for other master images. In this case, the time required for the specific processing can be shortened. Further, in this method, when the similarity is not greater than or equal to a predetermined threshold value up to the last master image, an error signal is output to the
マスタ画像との一致の精度を上げるためには、撮像画像をより小刻みに画像変換をすればよい(変換画像の数を増やせばよい)が、この場合は特定処理にかかる時間が長くなる。また、各画像変換は、可能性のある全てのマスタ画像とのずれの範囲を含むように画像変換の条件を設定してもよいが、この場合も特定処理にかかる時間が長くなる。従って、画像変換の条件(変換の種類の組合せ数や各変換における変換ピッチなどの条件)は、処理時間との兼ね合いから適切に決定すべきである。 In order to increase the accuracy of matching with the master image, it is only necessary to perform image conversion of the captured image in smaller increments (the number of converted images may be increased), but in this case, the time required for the specific processing becomes longer. Each image conversion may set image conversion conditions so as to include a range of deviation from all possible master images, but in this case as well, the time required for the specific processing increases. Therefore, image conversion conditions (conditions such as the number of combinations of conversion types and conversion pitch in each conversion) should be appropriately determined in consideration of the processing time.
実際に作業工程で作業する作業者Pと異なる作業者がマスタリング作業を行った場合、撮像画像とマスタ画像との画像のずれがより顕著になる。従って、撮像画像の画像変換の条件は、作業者P自身がマスタリング作業をした場合よりも多くする必要がある。なお、この場合に、撮像画像とマスタ画像とのずれに一定の規則性が表れる場合がある。例えば、作業者PがワークWに顔を近付けて作業する癖を有する場合、撮像画像はマスタ画像に対して一定の倍率で拡大した画像となる場合が多い(図5(b)参照)。また、マスタリング作業を行った作業者が撮像カメラ3を額の少し右目寄りに固定しており、実際の作業工程で作業をする作業者Pが撮像カメラ3を額の真ん中に固定した場合、撮像画像はマスタ画像に対して右下に一定の距離だけずれた画像となる場合が多い(図5(d)参照)。これらの特性は特定処理が繰り返されることで明確となってくる。従って、特定処理の都度、マスタ画像と一致したときの撮像画像に加えられた画像変換の条件を記憶し、特定処理が所定回数繰り返された時点で画像変換の規則性を分析し、当該規則性に基づいて撮像画像の画像変換の条件を絞るように変更してもよい。
When a worker different from the worker P who actually works in the work process performs the mastering work, the image shift between the captured image and the master image becomes more prominent. Accordingly, it is necessary to increase the conditions for image conversion of the captured image as compared with the case where the worker P himself performs the mastering work. In this case, a certain regularity may appear in the difference between the captured image and the master image. For example, when the worker P has a habit of working with the face close to the work W, the captured image is often an image enlarged at a constant magnification with respect to the master image (see FIG. 5B). In addition, when the operator who performed the mastering work is fixing the
なお、作業者Pが実際に作業工程の作業を開始する直前にマスタリング作業を行うか、あるいは、実際に作業工程の作業を開始した最初のワークWに対する作業時にマスタリング作業を行うと、作業者Pが実際に作業をしているときと同じ条件(撮像カメラ3の取り付け位置や作業体勢などの条件)でマスタリング作業が行われるので、特定処理の精度が高くなるので望ましい。
It should be noted that when the worker P performs the mastering work immediately before starting the work of the work process, or performs the mastering work during the work for the first work W that has actually started the work of the work process, the worker P Since the mastering work is performed under the same conditions (conditions such as the mounting position of the
図6は、特定処理部44が行う特定処理を説明するためのフローチャートである。特定処理は、制御部41から特定処理の指示が出され、撮像カメラ3から撮像画像データが入力されることで開始される。
FIG. 6 is a flowchart for explaining the specific processing performed by the
まず、特定処理のためのレジスタやカウンタを初期化する(S21)。レジスタには類似度Xの最大値を求めるためのレジスタXmaxと類似度Xが最大となるマスタ画像の作業
位置番号を求めるためのレジスタnがあり、いずれも「0」に初期化される。また、カウンタには撮像画像を画像変換する変換条件の番号をカウントするカウンタjとマスタ画像の作業位置番号をカウントするカウンタiがあり、いずれも「1」に初期化される。
First, registers and counters for specific processing are initialized (S21). The registers include a register Xmax for obtaining the maximum value of the similarity X and a register n for obtaining the work position number of the master image having the maximum similarity X, both of which are initialized to “0”. The counter includes a counter j that counts the number of conversion conditions for converting the captured image and a counter i that counts the work position number of the master image, both of which are initialized to “1”.
次に、i番目の作業位置に対応する作業完了フラグF(i)が「オフ」になっているか否かを確認し(S22)、「オフ」になっていれば(S22:YES)、ステップS23に移行し、「オン」になっていれば(S22:NO)、ステップS31にジャンプする。これは、作業完了フラグF(i)がオンになっている作業位置のマスタ画像(作業位置が特定されたマスタ画像)については撮像画像との照合を行わず、作業完了フラグF(i)がオフになっている作業位置のマスタ画像(作業位置が未特定のマスタ画像)についてだけ撮像画像との照合を行うための処理である。 Next, it is confirmed whether or not the work completion flag F (i) corresponding to the i-th work position is “off” (S22), and if it is “off” (S22: YES), step The process proceeds to S23, and if it is “ON” (S22: NO), the process jumps to Step S31. This is because the master image at the work position for which the work completion flag F (i) is on (master image in which the work position is specified) is not compared with the captured image, and the work completion flag F (i) This is a process for collating with a captured image only for a master image of a work position that is turned off (a master image whose work position is not specified).
ステップS23に移行すると、i番目の作業位置に対応するマスタ画像データを用意する。次に、j番目の変換条件で撮像画像データの画像変換処理を行う(S24)。この画像変換処理は、拡大縮小変換、回転変換、および平行移動変換のいずれか、またはこれらの2つ以上の組み合わせをした変換処理である。変換条件の数mは予め設定されており、各画像変換処理における変換量(拡大/縮小の倍率、回転方向と回転量、平行移動方向と移動量)も予め設定されている。なお、変換量には、拡大/縮小の倍率が1、回転量や移動量が0の場合(すなわち、実質的に撮像画像を画像変換しない場合)も含まれており、例えば、1番目の変換条件に、倍率「1」、回転量及び移動量「0」の変換条件が設定されている。以下では、撮像画像データを変換した画像データ(実質的に撮像画像データと同一の場合を含む)を変換画像データという。 In step S23, master image data corresponding to the i-th work position is prepared. Next, image conversion processing of the captured image data is performed under the jth conversion condition (S24). This image conversion process is a conversion process in which any one of enlargement / reduction conversion, rotation conversion, and translation conversion, or a combination of two or more thereof. The number m of conversion conditions is set in advance, and the conversion amount (magnification / reduction magnification, rotation direction and rotation amount, translation direction and movement amount) in each image conversion process is also set in advance. Note that the conversion amount includes a case where the enlargement / reduction magnification is 1, and the rotation amount and the movement amount are 0 (that is, when the captured image is not substantially converted), for example, the first conversion Conversion conditions of magnification “1”, rotation amount, and movement amount “0” are set in the conditions. Hereinafter, the image data obtained by converting the captured image data (including the case where it is substantially the same as the captured image data) is referred to as converted image data.
次に、変換画像とi番目の作業位置に対応するマスタ画像との類似度Xを算出する(S25)。類似度Xは、例えば、周知の正規化相互変換係数である。次に、類似度XがレジスタXmaxの値(以下、「最大類似度Xmax」という。)より大きいか否かを判別する(S26)。類似度Xが最大類似度Xmaxより大きい場合は(S26:YES)、当該類似度XをレジスタXmaxに格納し(S27)、このときのカウンタiの値を作業位置番号のレジスタnに格納する(S28)。類似度Xが最大類似度Xmax以下の場合は(S26:NO)、ステップS27,S28の処理をスキップしてステップS29に進む。最初の変換画像に対して算出される類似度Xは0よりも大きくなるはずであるから、その類似度XがレジスタXmaxに格納され、カウンタiの値「1」がレジスタnに格納される。 Next, the similarity X between the converted image and the master image corresponding to the i-th work position is calculated (S25). The similarity degree X is, for example, a well-known normalized interconversion coefficient. Next, it is determined whether or not the similarity X is greater than the value of the register Xmax (hereinafter referred to as “maximum similarity Xmax”) (S26). When the similarity X is greater than the maximum similarity Xmax (S26: YES), the similarity X is stored in the register Xmax (S27), and the value of the counter i at this time is stored in the register n of the work position number ( S28). When the similarity X is equal to or less than the maximum similarity Xmax (S26: NO), the process of steps S27 and S28 is skipped and the process proceeds to step S29. Since the similarity degree X calculated for the first converted image should be larger than 0, the similarity degree X is stored in the register Xmax, and the value “1” of the counter i is stored in the register n.
次に、カウンタjの値を1だけ増加し(S29)、その値が変換条件の数(変換画像の総数)mを超えたか否かを判別する(S30)。j≦mの場合(S30:NO)、次の変換画像についてマスタ画像との比較をするために、ステップS24に戻る。すなわち、予定されていた変換画像について全てのマスタ画像との比較を行うまで、ステップS24〜S30を繰り返す。そして、ステップS24〜S30のループ処理において、ステップS25で算出される類似度XがレジスタXmaxに格納された最大類似度Xmaxより大きい場合は、ステップS27で当該類似度XをレジスタXmaxに上書きする。従って、全ての変換画像について作業位置番号n=1のマスタ画像との照合が行われたとき(ステップS30:YESのとき)には、そのマスタ画像との類似度Xの最大値がレジスタXmaxに格納されることになる。 Next, the value of the counter j is incremented by 1 (S29), and it is determined whether or not the value exceeds the number of conversion conditions (total number of converted images) m (S30). If j ≦ m (S30: NO), the process returns to step S24 in order to compare the next converted image with the master image. That is, steps S24 to S30 are repeated until the planned converted image is compared with all the master images. If the similarity X calculated in step S25 is greater than the maximum similarity Xmax stored in the register Xmax in the loop processing of steps S24 to S30, the similarity X is overwritten in the register Xmax in step S27. Accordingly, when all the converted images are collated with the master image of the work position number n = 1 (step S30: YES), the maximum value of the similarity X with the master image is stored in the register Xmax. Will be stored.
ステップS30で、j>mの場合(S30:YES)、カウンタiの値を1だけ増加し(S31)、その値が作業位置番号の最大値N(ワークWのネジの締付作業の総数)を超えたか否かを判別する(S32)。i≦Nの場合(S32:NO)、次のマスタ画像に対して撮像画像の変換画像との比較を行なうために、ステップS22に戻る。従って、ステップS22〜S32のループ処理により、撮像画像データが変換画像データに変換されながら作業位置を特定していない全てのマスタ画像データと比較され、類似度Xが最大となるマスタ画像が特定される。 In step S30, if j> m (S30: YES), the value of the counter i is incremented by 1 (S31), and the value is the maximum value N of the work position number (the total number of tightening operations of the screws of the work W). It is determined whether or not the value exceeds (S32). If i ≦ N (S32: NO), the process returns to step S22 in order to compare the next master image with the converted image of the captured image. Accordingly, the loop processing in steps S22 to S32 compares the captured image data with all the master image data for which the work position is not specified while being converted into the converted image data, and specifies the master image having the maximum similarity X. The
i>Nの場合(S32:NO)、すなわち、撮像画像データを変換画像データに変換しながらすべてのマスタ画像データと比較し終えた場合、最大類似度Xmaxが所定の閾値Xr以上であるか否かを判別する(S33)。最大類似度Xmaxが所定の閾値Xr以上である場合(S33:YES)、レジスタnに格納された値を作業が完了した作業位置番号として制御部41に出力して(S34)、特定処理を終了する。一方、最大類似度Xmaxが所定の閾値Xrより小さい場合(S33:NO)、類似度Xが最大類似度Xmaxとなったマスタ画像を変換画像と一致したとする信頼性が低いので、エラー信号を制御部41に出力して(S35)、特定処理を終了する。
When i> N (S32: NO), that is, when the comparison with all the master image data is completed while converting the captured image data into the converted image data, whether or not the maximum similarity Xmax is equal to or greater than a predetermined threshold value Xr. Is determined (S33). When the maximum similarity Xmax is equal to or greater than the predetermined threshold value Xr (S33: YES), the value stored in the register n is output to the
次に、作業工程管理システム1の作用について説明する。
Next, the operation of the work
本実施形態において、特定処理部44は、作業完了信号に基づいて実際の作業工程における作業位置を撮像した撮像画像と予め各作業位置を撮像したマスタ画像とを照合して作業位置を特定する。撮像カメラ3は、作業者Pの目の近傍に視線方向と略同一となるように固定されているので、作業位置が視認できれば作業位置の撮像をすることができる。マスタ画像もほぼ同じ条件で撮像されているので、作業位置がワークWの内側部分にある場合(図1参照)でも、撮像画像とマスタ画像とを照合して正確に作業位置を特定することができる。
In the present embodiment, the
また、撮像画像およびマスタ画像は、ワークWに対する撮像カメラ3の撮像位置及びカメラ姿勢がほぼ同じ状態で撮像されたものである。従って、ワークWを所定の位置および方向に固定できない場合でも、撮像画像とマスタ画像とを照合して正確に作業位置を特定することができる。
In addition, the captured image and the master image are captured with the imaging position and camera orientation of the
また、工具2からの作業完了信号によって撮像カメラ3の撮像を行っているので、工具2の作業完了信号が出力されるときは、作業者Pのネジ締め作業位置を見ている体勢が安定していると考えられることから、各作業位置における作業結果の画像を安定して取得することができる。これにより、各作業位置の撮像画像のバラツキが少ないので、撮像画像の画像変換処理のバラツキも少なく、マスタ画像との画像マッチング処理が安定し、正確に作業位置を特定することができる。また、各作業位置の作業が全て完了したことを確認しないと次の工程に進めないようにしているので、作業ミスを抑制することができる。
Moreover, since the
なお、図6に示す特定処理手順では、撮像画像データに所定の変換条件で画像変換した変換画像を用いてマスタ画像との照合を行っていたが、上述したように、マスタ画像に含まれる画像が特徴的で、他の作業位置のマスタ画像に含まれる画像と明らかに異なる場合は、撮像画像だけを各マスタ画像と照合するようにしてもよい。すなわち、図6に示す特定処理手順において、変換条件の数mを「1」とし、j=1の変換条件を倍率「1」、回転量及び移動量の変換条件を「0」としてもよい。 In the specific processing procedure shown in FIG. 6, the captured image data is collated with the master image using the converted image obtained by image conversion under a predetermined conversion condition. As described above, the image included in the master image is used. If the image is distinct from the image included in the master image at another work position, only the captured image may be collated with each master image. That is, in the specific processing procedure shown in FIG. 6, the number m of conversion conditions may be “1”, the conversion condition of j = 1 may be “1”, and the conversion conditions of the rotation amount and the movement amount may be “0”.
また、撮像画像データと各マスタ画像データとを比較する場合、両画像データを2値化したり、ぼかしなどの加工をした後に比較するようにしても良い。 Further, when the captured image data and each master image data are compared, the two image data may be binarized or compared after being processed such as blurring.
また、撮像画像には必ず工具2が写るので(図3および図5参照)、工具2の部分の画像を利用して特定処理を行うようにしてもよい。図6のフローチャートでは、画像変換の条件を予め設定しているが、撮像画像に含まれる工具2の画像と各マスタ画像に含まれる工具2の画像を比較して撮像画像の変換条件を求め、その変換条件で画像変換した変換画像を各マスタ画像と照合するようにしてもよい。例えば、撮像画像が図5(b)であった場合、工具2が大きく写っているので、撮像画像の工具2のサイズとマスタ画像の工具2のサイズから両画像の工具2の画像が一致するように撮像画像の変換条件を求め、その変換条件で撮像画像を縮小する。そして、この縮小された撮像画像と各マスタ画像とを比較すれば、一致するマスタ画像を容易に特定することができる。
Further, since the
なお、この方法では、予め各マスタ画像における工具2の画像を抽出しておく必要がある。また、撮像画像が取得される毎に、その撮像画像内の工具2の画像を抽出し、各マスタ画像の工具2の画像と比較して変換条件を求める必要がある。
In this method, it is necessary to extract an image of the
また、マスタ画像に含まれる特徴的な画像が画面内の特定の領域にある場合、その領域の部分だけを撮像画像とマスタ画像とで照合するようにしても良い。例えば、図5(a)のマスタ画像で、基板の角とネジの部分に特徴がある場合、ユーザが画面内の領域Arを予め設定しておき、図6に示す特定処理手順における撮像画像とマスタ画像の照合では、両画像の領域Arの部分だけを照合するようにしてもよい。この場合は、撮像画像とマスタ画像とを照合するデータ数が少なくなるので、処理時間を短くすることができる。 In addition, when a characteristic image included in the master image is in a specific region in the screen, only the portion of the region may be collated with the captured image and the master image. For example, in the case of the master image in FIG. 5A, when the corners and screw portions of the board have features, the user sets the area Ar in the screen in advance, and the captured image in the specific processing procedure shown in FIG. In the verification of the master image, only the area Ar of both images may be verified. In this case, since the number of data for comparing the captured image and the master image is reduced, the processing time can be shortened.
第1実施形態で説明した撮像画像とマスタ画像の照合による作業位置の特定方法は、同一の作業位置に対する撮像画像とマスタ画像の撮像位置がほぼ同じで、両画像は略同一になることを利用して画像全体で撮像画像と略同一と推定されるマスタ画像を特定し、そのマスタ画像の作業位置番号を撮像画像の作業位置番号とするものであるが、複数のマスタ画像の間で各マスタ画像に含まれる互いに異なる特徴的な画像(以下、「特徴画像」という。)を抽出し、各撮像画像にいずれの特徴画像が含まれるかを探索し、各撮像画像に含まれる特徴画像を特定することにより、当該特徴画像に対応する作業位置番号を撮像画像の作業位置番号とするようにしてもよい。 The method for specifying the work position by comparing the captured image and the master image described in the first embodiment uses the fact that the captured position of the captured image and the master image for the same work position is substantially the same, and both images are substantially the same. Then, a master image that is estimated to be substantially the same as the captured image in the entire image is specified, and the work position number of the master image is used as the work position number of the captured image. Extract different characteristic images (hereinafter referred to as “characteristic images”) included in the image, search for which characteristic images are included in each captured image, and identify the characteristic images included in each captured image Thus, the work position number corresponding to the feature image may be used as the work position number of the captured image.
例えば、図3(b)〜(e)の例では、基板の角部とネジの頭の部分を含む部分画像(同図の領域B1〜B4の部分画像)を特徴画像とすることができる。同図(b)〜(e)では、基板の角部に対する工具2の画像の方向が異なるので、部分画像B1〜B4を相互に比較すると、画像としては明らかに相違する特徴的な画像となる。
For example, in the example of FIGS. 3B to 3E, a partial image including a corner portion of the substrate and a screw head portion (partial images of regions B1 to B4 in FIG. 3) can be used as a feature image. In FIGS. 5B to 5E, the direction of the image of the
この特定方法は、撮像カメラ3が各作業位置における特徴的な被写体を撮像しているとの前提で、各マスタ画像からその特徴的な被写体の画像(特徴画像)を抽出し、各撮像画像にどの特徴画像が含まれるかを探索することによって、各撮像画像がどの特徴的な被写体(すなわち、どの作業位置)を撮像したものであるかを特定するという考え方である。この特定方法は、第1実施形態で説明した特定方法が撮像画像とマスタ画像の同一性を判断するのに対し、撮像画像が各作業位置に定義される特徴的な被写体のうち、どの被写体を撮像したのかを判断する点で考え方が異なる。このため、この特定方法では、各撮像画像に対して各マスタ画像でユーザにより指定される特徴画像(部分画像)が含まれているか否かを探索する処理が必要となる。
This identification method is based on the premise that the
すなわち、各撮像画像に対して、特徴画像と同一サイズのウィンドウを、例えば、ラスタ走査方向に所定のピッチで走査させ、各走査位置でウィンドウに含まれる画像(部分画像)を抽出し、その抽出画像を特徴画像と照合して所定の閾値以上の類似度を有する画像の有無を探索する処理が必要となる。 That is, for each captured image, a window having the same size as the feature image is scanned at a predetermined pitch in the raster scanning direction, for example, and an image (partial image) included in the window is extracted at each scanning position. It is necessary to perform processing for checking the presence or absence of an image having a similarity equal to or higher than a predetermined threshold by comparing the image with a feature image.
次に、上記の撮像画像内の特徴画像を探索する方法を用いた特定処理について説明する。なお、この特定処理を行う第2実施形態に係る作業工程管理システムのブロック図は図2と同様であり、マスタ画像記憶部43に記憶される画像データと特定処理部44で行う特定処理以外に違いはない。従って、相違点のみを説明する。
Next, a description will be given of a specific process using the method for searching for a feature image in the captured image. Note that the block diagram of the work process management system according to the second embodiment for performing this specific processing is the same as that of FIG. 2, and other than the image data stored in the master
第2実施形態に係る作業工程管理システムのマスタ画像記憶部43は、マスタ画像データの他に、各マスタ画像に対して作業者により指定された特徴画像の画像データ(以下、「特徴画像データ」という。)を記憶している。特徴画像の指定は、マスタリング作業時に行ってもよいし、画像処理により各マスタ画像の特徴画像を自動的に指定するようにしてもよい。
In addition to the master image data, the master
図7は、第2実施形態に係る作業工程管理システムの特定処理部44が行う特定処理を説明するためのフローチャートである。
FIG. 7 is a flowchart for explaining a specific process performed by the
まず、特定処理のためのレジスタやカウンタを初期化する(S41)。レジスタXmax
とレジスタnは図6に示す特定処理手順のものと同一であり、いずれも「0」に初期化される。また、カウンタjとカウンタiは図6に示す特定処理手順のものと同一であるが、これらに加えて変換画像内で特徴画像と同一サイズのウィンドウをラスタ走査方向に走査させる数をカウントするカウンタkがある。jとiはいずれも「1」にされるが、kは「0」に初期化される。
First, registers and counters for specific processing are initialized (S41). Register Xmax
And register n are the same as those in the specific processing procedure shown in FIG. 6, and both are initialized to “0”. Further, the counter j and the counter i are the same as those in the specific processing procedure shown in FIG. 6, but in addition to these, a counter that counts the number of times the window having the same size as the feature image in the converted image is scanned in the raster scanning direction. k. Both j and i are set to “1”, but k is initialized to “0”.
次に、i番目の作業位置に対応する作業完了フラグF(i)が「オフ」になっているか否かを確認し(S42)、「オフ」になっていれば(S42:YES)、ステップS43に移行し、「オン」になっていれば(S42:NO)、ステップS59にジャンプする。この処理は、作業位置が未特定のマスタ画像データで定義された特徴画像データについてだけ変換画像データにおける探索を行うための処理である。 Next, it is confirmed whether or not the work completion flag F (i) corresponding to the i-th work position is “OFF” (S42). If it is “OFF” (S42: YES), step S42 is performed. The process proceeds to S43, and if it is “ON” (S42: NO), the process jumps to Step S59. This process is a process for searching the converted image data only for the feature image data defined by the master image data whose work position is not specified.
ステップS43に移行すると、i番目の作業位置に対応するマスタ画像で指定された特徴画像データを用意する。次に、j番目の変換条件で撮像画像データの画像変換処理を行う(S44)。ステップS44〜S53,S57,S58のループ処理における各撮像画像データに対して予め設定した変換条件で複数の変換画像データを作成させる処理内容は、図6に示す特定処理と基本的に同じである。 In step S43, feature image data designated by the master image corresponding to the i-th work position is prepared. Next, image conversion processing of the captured image data is performed under the jth conversion condition (S44). The processing content for creating a plurality of converted image data under the conversion conditions set in advance for each captured image data in the loop processing of steps S44 to S53, S57, and S58 is basically the same as the specific processing shown in FIG. .
次に、カウンタkを「1」に設定し(S45)、変換画像からk番目のウィンドウ位置(k=1のときは、変換画像の画面左上隅の位置)の画像を抽出する(S46)。そして、その抽出した画像(以下、「抽出画像」という。)とi番目の作業位置に対応するマスタ画像から作成された特徴画像の類似度X(k)を算出する(S47)。類似度X(k)は、第1実施形態と同様に正規化相互変換係数である。次に、類似度X(k)が最大類似度Xmaxより大きいか否かを判別する(S48)。類似度X(k)が最大類似度Xmaxより大きい場合は(S48:YES)、当該類似度X(k)をレジスタXmaxに格納し(S49)、このときのカウンタiの値を作業位置番号のレジスタnに格納した後(S50)、カウンタkを1だけ増加する(S51)。類似度X(k)が最大類似度Xmax以下の場合は(S48:NO)、ステップS49〜S51の処理をスキップしてステップS52に進む。 Next, the counter k is set to “1” (S45), and an image at the k-th window position (the position of the upper left corner of the converted image when k = 1) is extracted from the converted image (S46). Then, the similarity X (k) between the extracted image (hereinafter referred to as “extracted image”) and the feature image created from the master image corresponding to the i-th work position is calculated (S47). Similarity degree X (k) is a normalized mutual conversion coefficient as in the first embodiment. Next, it is determined whether or not the similarity X (k) is greater than the maximum similarity Xmax (S48). When the similarity X (k) is larger than the maximum similarity Xmax (S48: YES), the similarity X (k) is stored in the register Xmax (S49), and the value of the counter i at this time is set as the work position number. After storing in the register n (S50), the counter k is incremented by 1 (S51). When the similarity X (k) is equal to or less than the maximum similarity Xmax (S48: NO), the process of steps S49 to S51 is skipped and the process proceeds to step S52.
次に、カウンタkの値がウィンドウの走査総数Kを超えたか否かを判別する(S52)。k≦Kの場合(S52:NO)、次のウィンドウの走査位置における抽出画像について特徴画像との比較をするために、ステップS46に戻り、k>Kの場合(S52:YES)、ステップS53に移行する。すなわち、ステップS46〜S52のループ処理は、変換画像上で特徴画像を所定のピッチでラスタ走査方向に移動させ、各走査位置で変換画像から抽出した抽出画像と特徴画像の類似度を算出し、最大の類似度を有する走査位置を求めている。 Next, it is determined whether or not the value of the counter k has exceeded the total number of window scans K (S52). If k ≦ K (S52: NO), the process returns to step S46 to compare the extracted image at the scanning position of the next window with the feature image. If k> K (S52: YES), the process returns to step S53. Transition. That is, the loop process of steps S46 to S52 moves the feature image on the converted image in the raster scanning direction at a predetermined pitch, calculates the similarity between the extracted image extracted from the converted image and the feature image at each scanning position, The scanning position having the maximum similarity is obtained.
ステップS53に移行すると、ステップS46〜S52のループ処理で求められた最大類似度Xmaxが所定の閾値Xr’以上であるか否かを判別する。Xmax≧Xr’である場合(S53:YES)、変換画像とステップS46〜S52のループ処理で求められた作業位置番号n(ステップS50でレジスタnに格納された番号)のマスタ画像の類似度Xを算出する(S54)。この類似度Xも、第1実施形態と同様に正規化相互変換係数である。次に、類似度が所定の閾値Xr以上であるか否かを判別する(S55)。X≧Xrである場合(S55:YES)、カウンタnに格納された値を作業が完了した作業位置の番号として制御部41に出力して(S56)、特定処理を終了する。
In step S53, it is determined whether or not the maximum similarity Xmax obtained by the loop processing in steps S46 to S52 is equal to or greater than a predetermined threshold value Xr '. When Xmax ≧ Xr ′ (S53: YES), the similarity X between the converted image and the master image at the work position number n (the number stored in the register n in step S50) obtained by the loop processing in steps S46 to S52. Is calculated (S54). This degree of similarity X is also a normalized mutual conversion coefficient as in the first embodiment. Next, it is determined whether or not the similarity is greater than or equal to a predetermined threshold value Xr (S55). When X ≧ Xr (S55: YES), the value stored in the counter n is output to the
ステップS53で、ステップS46〜S52のループ処理で求められた最大類似度Xmaxが閾値Xr’以上の場合に、変換画像データとマスタ画像データを照合し、両者の類似度Xによって作業位置番号を特定しているのは、撮像画像に、ある特徴画像が含まれていると推定されても他の特徴画像についても当該他の特徴画像が含まれていると推定される可能性がないとは言えないので、特定精度を高めるため、変換画像内に他の特徴画像があるか否かの探索処理をするのに代えて、変換画像とその変換画像に含まれていると推定された特徴画像が指定されたマスタ画像とを画像全体で照合し、特徴画像による推定結果の信頼性を確認するようにしたものである。 In step S53, when the maximum similarity Xmax obtained by the loop processing in steps S46 to S52 is equal to or greater than the threshold value Xr ′, the converted image data and the master image data are collated, and the work position number is specified by the similarity X of both. It can be said that even if it is estimated that a certain feature image is included in the captured image, there is no possibility that it is estimated that the other feature image is also included in other feature images. Therefore, in order to increase the specific accuracy, instead of performing a search process to determine whether there is another feature image in the converted image, the converted image and the feature image estimated to be included in the converted image are The specified master image is collated with the entire image, and the reliability of the estimation result by the feature image is confirmed.
これにより、全ての特徴画像について、全ての変換画像上で各特徴画像の有無を探索する場合よりも処理時間を短くすることができる。なお、処理時間をより短くするために、ステップS54,S55の処理を省くようにしてもよい。 Thereby, it is possible to shorten the processing time for all the feature images as compared with the case where the presence / absence of each feature image is searched for on all the converted images. In addition, in order to shorten processing time, you may make it abbreviate | omit the process of step S54, S55.
図7の特定処理に戻り、ステップS53でXmax<Xr’の場合(S53:NO)又はステップS55でX<Xrの場合(S55:NO)、ステップS57に移行し、カウンタjの値を1だけ増加した後、その値が変換条件の数(変換画像の総数)mを超えたか否かを判別し(S58)、j≦mの場合(S58:NO)、次の変換画像について特徴画像との照合をするために、ステップS44に戻り、j>mの場合(S58:YES)、カウンタiの値を1だけ増加し(S59)、その値が作業位置番号の最大値N(ワークWのネジの締付作業の総数)を超えたか否かを判別する(S60)。 Returning to the specific process of FIG. 7, if Xmax <Xr ′ in step S53 (S53: NO) or X <Xr in step S55 (S55: NO), the process proceeds to step S57, and the value of the counter j is set to 1. After the increase, it is determined whether or not the value exceeds the number of conversion conditions (total number of converted images) m (S58). If j ≦ m (S58: NO), the next converted image is compared with the feature image. In order to perform collation, the process returns to step S44. When j> m (S58: YES), the value of the counter i is incremented by 1 (S59), and the value is the maximum value N of the work position number (the screw of the work W). It is determined whether or not the total number of tightening operations has been exceeded (S60).
i≦Nの場合(S60:NO)、次のマスタ画像から生成された特徴画像に対して変換画像との比較を行なうために、ステップS42に戻り、i>Nの場合(S60:YES)、すなわち、撮像画像を変換画像に変換しながら各変換画像について特徴画像の有無を確認する処理を行い、全ての変換画像に特徴画像がないと判断された場合、エラー信号を制御部41に出力して(S61)、特定処理を終了する。
If i ≦ N (S60: NO), the process returns to step S42 to compare the feature image generated from the next master image with the converted image. If i> N (S60: YES), That is, processing for confirming the presence or absence of a feature image for each converted image is performed while converting the captured image into a converted image, and if it is determined that there is no feature image in all the converted images, an error signal is output to the
なお、図7に示す特定処理手順では、ステップS46〜S52のループ処理において、変換画像上の全ての走査位置について類似度X(k)を求めているが、処理時間を早くするために、いずれかの走査位置で算出された類似度X(k)が所定の閾値Xr’以上であれば、特徴画像の探索処理を終了し、ステップS54,S55の処理に移行するようにしても良い。 In the specific processing procedure shown in FIG. 7, the similarity X (k) is obtained for all scanning positions on the converted image in the loop processing of steps S46 to S52. If the similarity X (k) calculated at the scanning position is equal to or greater than a predetermined threshold value Xr ′, the feature image search process may be terminated, and the process may proceed to steps S54 and S55.
上記の第1,第2実施形態では、実際の作業時の撮像カメラ3の撮像位置がマスタリング作業時の撮像位置と異なることに起因する撮像画像のマスタ画像に対する画像のずれを低減するため、撮像画像に対して拡大/縮小、回転、平行移動などの画像変換を行っている。これらの画像変換は、図8に示すように、マスタリング作業時の被写体(ワークWのネジNの締付作業位置)に対する撮像カメラ3の撮像位置Qが、実際の作業時では撮像カメラ3の光軸上L1で前後に移動している(矢印A1参照)、撮像カメラ3の姿勢が光軸L1を中心に回転している(矢印A2参照)、撮像カメラ3が撮像位置Qを含む面内で平行に移動している(矢印A3参照)などの場合を想定したものである。
In the first and second embodiments described above, in order to reduce the image shift from the master image of the captured image due to the imaging position of the
しかしながら、一般には、上記の撮像位置のずれよりも、図8の一点鎖線で示すように、ネジNの締付作業位置に対する作業時の撮像カメラ3の撮像位置Q’の方向がマスタリング作業時の撮像位置Qの方向に対して開き角θdでずれる方が多い。このような撮像位置のずれの場合は、マスタリング作業時の撮像カメラ3の撮像面に対して実際の作業時の撮像カメラ3の撮像面が傾斜することになるので、マスタ画像と撮像画像が同一の画角であっても撮像画像はマスタ画像を斜めから見たような画像となる。例えば、マスタ画像では円形の画像が撮像画像では楕円形の画像となる。
However, generally, the direction of the imaging position Q ′ of the
そこで、このような撮像位置のずれに対しては、撮像カメラ3にその姿勢を検出するセンサを設け、マスタリング作業時の各作業位置を撮像したときの撮像カメラ3の姿勢(正確には光軸L1の方向)と実際の作業時の各作業位置を撮像したときの撮像カメラ3の姿勢とを検出し、マスタリング作業時の撮像カメラ3の姿勢と実際の作業時の撮像カメラ3の姿勢の差(正確には両撮像位置における光軸L1の開き角θd)に基づいて各撮像画像の画像変換を行うと良い。
Therefore, for such a shift in the imaging position, a sensor for detecting the attitude of the
撮像カメラ3の姿勢を検出するセンサとしては、例えば、重力を利用した傾斜センサや地磁気を利用した方位センサを用いることができる。例えば、図8に示すように、撮像カメラ3の筐体の上面31に2軸方向の傾斜センサ7を設けると、撮像カメラ3の基準姿勢に対する姿勢の傾きを検出することができる。撮像カメラ3の上面31が水平面と一致する姿勢を基準姿勢とすると、撮像カメラ3の姿勢が基準姿勢から変化すると、基準姿勢時の光軸L1の方向(以下、この方向を「基準方向」という。)に対する姿勢変化後の光軸L1の方向の角度θが傾斜センサ7によって検出される。撮像位置Qの撮像時に傾斜センサ7で検出される傾斜角をθ1、撮像位置Q’の撮像時に傾斜センサ7で検出される傾斜角をθ2とすると、両者の差分を演算することにより開き角θd(=|θ1−θ2|)が求められる。
As a sensor for detecting the posture of the
従って、マスタリング作業時の撮像時に検出された傾斜角θ1と実際の作業時の撮像時に検出された傾斜角θ2から開き角θdを求め、この開き角θdを用いて撮像画像を画像変換すれば、当該撮像画像をマスタリング作業時の撮像位置に近似した位置で撮像した画像に変換することができる。 Therefore, if the opening angle θd is obtained from the inclination angle θ1 detected during imaging during the mastering operation and the inclination angle θ2 detected during imaging during the actual operation, and the captured image is converted into an image using the opening angle θd, The captured image can be converted into an image captured at a position approximate to the imaging position at the time of mastering work.
次に、傾斜センサ7が設けられた撮像カメラ3を用いた第3実施形態に係る作業工程管理システムについて説明する。
Next, a work process management system according to the third embodiment using the
図9は、本発明に係る作業工程管理システムの第3実施形態を説明するためのブロック図である。なお、同図において、図2に示すブロック図と同一または類似の要素には、同一の符号を付している。同図に示す作業工程管理システム1’は、撮像カメラ3に傾斜センサ7を取り付け、撮像カメラ3から入力される撮像画像データを傾斜センサ7で検出した傾斜角θ1,θ2を用いて変換処理を行う変換処理部47を設けた点で、上記した第1,第2実施形態と異なる。
FIG. 9 is a block diagram for explaining a third embodiment of the work process management system according to the present invention. In the figure, the same or similar elements as those in the block diagram shown in FIG. The work
傾斜センサ7は、撮像カメラ3に取り付けられており(図8参照)、撮像カメラ3の光軸L1の基準方向に対する傾斜角を検出するものである。傾斜センサ7は、検出した光軸方向の傾斜角データを作業管理装置4に入力する。マスタリング作業時においては各マスタ画像を取得する際に撮像カメラ3の光軸L1の基準方向に対する傾斜角θ1が検出され、その傾斜角データが作業管理装置4に入力される。従って、マスタ画像記憶部43に記憶される複数のマスタ画像データにはそれぞれ傾斜角θ1のデータが添付されて記憶されている。
The
実際の作業時においては、変換処理部47には、撮像カメラ3からの撮像画像データが入力されるとともに、傾斜センサ7から撮像カメラ3の光軸L1の基準方向に対する傾斜角θ2のデータが入力される。変換処理部47は、撮像画像をマスタ画像と照合する際、当該マスタ画像に添付されている傾斜角θ1と傾斜センサ7から入力される傾斜角θ2との差を演算して開き角θdを求め、この開き角θdを用いて撮像画像の画像変換を行い、特定処理部44に出力するものである。特定処理部44に入力される変換画像は、撮像画像の撮像位置をマスタ画像の撮像位置に近似した位置に置き換えたときに撮像される画像に相当している。
During actual work, the
特定処理部44では、第1実施形態と同様に、撮像画像を作業位置が特定されていない複数のマスタ画像と照合して最大類似度Xmaxを有するマスタ画像を特定する処理が行われるが、第3実施形態では、変換処理部47からマスタ画像と照合させる画像として、撮像画像をマスタ画像の撮像位置に近似した位置で撮像された画像に変換した変換画像が入力されるので、第1実施形態のように、特定処理部44で撮像画像の画像変換処理は行われない。これは、マスタ画像の撮像位置とそれに近似した位置とのずれが小さいので、そのずれを補正するための拡大/縮小、回転、平行移動などの変換処理を省略するようにしたものである。従って、特定処理部44で行われる特定処理手順は、図6に示す特定処理手順において、ステップS24,S29,S30を削除し、ステップS25の処理内容を変換処理部47から入力される変換画像とマスタ画像の類似度Xの算出処理に変更したものとなる。
As in the first embodiment, the
なお、第3実施形態でも、第1実施形態と同様に変換処理部47の処理を特定処理部44で行うようにしてもよい。また、撮像画像ではなく、マスタ画像を撮像画像の撮像位置で撮像した画像に画像変換するようにしてもよい。
In the third embodiment, the processing of the
第3実施形態では、第1実施形態における図6のステップS24〜S30のループ処理をしないので、処理時間を短くすることができる。また、撮像画像をマスタ画像の撮像位置で撮像された画像に変換するので、撮像画像の作業位置で取得されたマスタ画像の類似度Xと他のマスタ画像の類似度Xとの差が第1実施形態より顕著になり、撮像画像の作業位置に対応するマスタ画像の特定の確実性を高めることができる。 In the third embodiment, since the loop processing of steps S24 to S30 in FIG. 6 in the first embodiment is not performed, the processing time can be shortened. Further, since the captured image is converted into an image captured at the imaging position of the master image, the difference between the similarity X of the master image acquired at the work position of the captured image and the similarity X of the other master images is the first. It becomes more prominent than the embodiment, and the certainty of the master image corresponding to the work position of the captured image can be improved.
第1実施形態〜第3実施形態では、マスタリング作業時と実際の作業時で同一の作業者Pが作業した場合に撮像カメラ3の撮像位置にずれが生じる一方、作業者Pがほぼ決まった動作を繰り返すことを考慮すると、そのずれには一定の範囲があると考えられるので、そのずれの範囲内で撮像画像の画像変換を行い、撮像画像とマスタ画像との画像のずれを可及的に低減して両画像の類似度を算出するようにしていた。
In the first to third embodiments, when the same worker P works during the mastering work and the actual work, the imaging position of the
画像全体で撮像画像とマスタ画像を比較して類似度Xを算出する場合、類似度Xに大きく影響を与える特定の画像(ネジなどの特徴的な画像)の両画像における位置のずれは可及的に小さい方が好ましい。しかしながら、第1実施形態〜第3実施形態では、作業者Pに撮像カメラ3を取り付けるだけであるので、作業者Pは、撮像カメラ3の画面内に被写体(特に、特徴的な画像となるネジの締付位置)がどのように撮像されるのかを知ることができない。
When the similarity X is calculated by comparing the captured image with the master image in the entire image, the positional deviation between both images of a specific image (a characteristic image such as a screw) that greatly affects the similarity X is possible. The smaller one is preferable. However, in the first to third embodiments, only the
次に、マスタリング作業時と実際の作業時において、各作業位置の特徴的な画像を与える被写体(ネジの締付位置など)を画面のほぼ同じ位置に撮像させる構成について説明する。 Next, a description will be given of a configuration in which a subject (such as a screw tightening position) that gives a characteristic image of each work position is imaged at substantially the same position on the screen during the mastering work and the actual work.
図10は、ワークWの各ネジの締付位置が画面のほぼ同じ位置に撮像されるように、作業者Pの撮像時の姿勢をガイドする構成の一例を示す図である。 FIG. 10 is a diagram illustrating an example of a configuration that guides the posture of the worker P at the time of imaging so that the tightening position of each screw of the workpiece W is imaged at substantially the same position on the screen.
同図に示す構成は、撮像カメラ3に投影機8を取り付け、この投影機8からワークWの作業位置に向けて円形の光像Sを投影するようにしたものである。光像Sには、作業者Pが当該光像Sの中心Oを推測できるように、上下左右の4箇所に円周と交差する目印線S1〜S4が設けられている。そして、撮像対象であるワークWの作業位置(図10ではネジNの締付位置)から撮像カメラ3の光軸L1上で所定の距離Dだけ離れた位置Qを撮像カメラ3の撮像位置に設定すると、投影機8の光軸L3が撮像カメラ3の光軸L1と交差し、その交差する位置に光像Sが結像されるように投影機8が調整されている。
In the configuration shown in the figure, a projector 8 is attached to the
撮像カメラ3が撮像位置Qよりも後方になると、光像SはワークW上でネジNの締付位置よりも下側にずれた位置に投影され、しかも、光像Sのサイズは大きくなる。一方、撮像カメラ3が撮像位置Qよりも前方になると、光像SはワークW上でネジNの締付位置よりも上側にずれた位置に投影され、しかも、光像Sのサイズは小さくなる。しかしながら、同一の作業者Pが同一の作業位置で繰り返すネジNの締付作業ではその作業姿勢の変化に基づくワークWから投影機8までの距離の変化範囲は、距離Dの近くにあると考えられ、ワークW上に投影される光像Sの位置やサイズは、図10の状態に対して格別に大きく変化するものではない。
When the
従って、作業者Pは、ワークWにおける作業位置が光像Sの中心Oとなる姿勢で作業をすることにより、撮像カメラ3で画面内のほぼ中央に作業位置が配置された画像を撮像することができる。このような撮像動作は、マスタリング作業時と実際の作業時で同様に行われるので、同一の作業位置におけるマスタ画像と撮像画像は、ほぼ中央に作業位置が写し込まれた画像となり、両画像の照合が容易になる。
Therefore, the worker P captures an image in which the work position is arranged at substantially the center of the screen by the
なお、光像Sは、被写体(ネジの締付位置)に対する撮像カメラ3の撮像位置Qを決めるための目印となるものであるから、その目的を達成するように形状および大きさは適宜定めればよい。また、投影機8からの光によって作業位置が照らされるので、撮像カメラ3の露出時間を短くすることができ、作業者Pの動きによるブレを低減することができる。また、作業位置が明るくなるので、作業をし易くなる。
Since the optical image S serves as a mark for determining the imaging position Q of the
マスタリング作業時では図10に示す状態で作業位置が撮像されたのに対し、実際の作業時では撮像カメラ3が撮像位置QよりワークW側に近づいた場合、撮像画像内の作業位置の画像(具体的には、ネジの頭の画像)は、マスタ画像より大きくなるが、光像Sの画像は小さくなる。従って、マスタリング作業時よりワークWに近づいて作業した場合、撮像画像を縮小変換すると、作業位置の画像はマスタ画像に近づくが、光像Sは逆にマスタ画像から大きくずれることになる。この不都合を回避するために、類似度Xの算出においては、光像Sの部分を除外するようにするとよい。
While the work position is imaged in the state shown in FIG. 10 during the mastering work, when the
撮像画像内の光像Sの画像の大きさは、撮像カメラ3とワークWとの距離に比例する。従って、撮像画像から光像Sの画像の直径を算出し、マスタ画像における光像Sの画像の直径との差に基づいて、撮像画像を拡大変換又は縮小変換することにより、特定処理での撮像画像の変換(図6のフローチャートにおけるステップS24参照)から拡大又は縮小変換を省略することができる。また、撮像カメラ3が光軸L1の周りに回転した場合、光像Sの画像の形状も同方向に回転した形状となる。従って、撮像画像から光像Sの画像の回転角度を算出し、撮像画像を逆向きに同じ角度の回転変換することにより、特定処理での撮像画像の変換(図6のフローチャートにおけるステップS24参照)から回転変換を省略することができる。
The size of the optical image S in the captured image is proportional to the distance between the
なお、ワークWと撮像カメラ3の距離によってワークW上に投影される光像Sの位置やサイズが変化する。撮像カメラ3が所定の撮像位置Qの近傍にあると、光像SはワークW上に所定のサイズで明瞭に結像され、撮像位置Qから大きくずれると、ワークW上に投影される光像Sのサイズが所定のサイズより小さ過ぎたり、大き過ぎたりするようになり、しかも、投影像も不明瞭になってくるので、作業者Pに、光像SがワークW上で明瞭に所定のサイズで投影されるように、作業体勢(特に頭部の姿勢)を調整させるようにしてもよい。これにより、撮像カメラ3を所定の撮像位置Qに調整することができ、ほぼ同じようなマスタ画像と撮像画像を安定して取得でき、撮像画像とマスタ画像との画像のずれを可及的に小さくすることができる。
Note that the position and size of the optical image S projected on the workpiece W vary depending on the distance between the workpiece W and the
上記実施形態においては、工具2からの作業完了信号を用いていたが、これに限られない。例えば、工具2に作業完了信号を出力できる機能がない場合は、作業管理装置4に作業完了信号を入力するためのスイッチを工具2に設けるとよい。作業者Pは、作業が完了したときにこのスイッチを押圧することで、作業完了信号を作業管理装置4に入力することができる。また、工具2とは別に当該スイッチを設け、作業者Pが工具2を持つ手とは反対の手でこのスイッチを押圧するようにしてもよい。なお、これらの場合は、スイッチから作業管理装置4に入力される信号は、作業完了の入力ではなく、撮像カメラ3の撮像タイミングを作業管理装置4に入力する信号として機能する。
In the above embodiment, the work completion signal from the
また、制御装置41が撮像指示信号を撮像カメラ3に入力するタイミングは、工具2からの作業完了信号が入力されたときに限られない。作業者Pが作業位置を視認しているときに撮像すれば良いのであって、撮像のタイミングと作業完了のタイミングを必ずしも一致させる必要は無い。例えば、工具2が電動式トルクドライバの場合、作業者PはネジNをネジ孔に差し込んでネジNの頭の溝にトルクドライバの先端をあてて始動スイッチを押せば良いだけなので、作業の完了時よりも始動スイッチを押したときの方が作業位置を視認している可能性が高い。このような場合は、始動スイッチを押したときに工具2から制御装置41にタイミング信号が入力されるようにして、制御装置41が当該タイミング信号の入力に応答して撮像指示信号を撮像カメラ3に入力するようにしてもよい。
The timing at which the
また、この場合、作業完了後ではなく、始動スイッチを押したときに作業位置を特定することができる。従って、作業位置により締付トルクを変更する必要がある場合でも、作業開始時に作業位置を特定し、作業位置に応じて締付トルクを変更することも可能である。 Also, in this case, the work position can be specified when the start switch is pushed, not after the work is completed. Therefore, even when it is necessary to change the tightening torque depending on the work position, it is possible to specify the work position at the start of the work and change the tightening torque according to the work position.
上記実施形態ではネジの締付作業の場合について説明したが、これに限られず、例えば、トルクレンチでボルトまたはナットを締める作業や、溶接機で溶接を行う作業や、ハンダ付け作業などでも本発明を適用することができる。これらの場合でも、各工具から作業完了信号を作業管理装置4に入力するようにしてもよいし、別途スイッチを設けて、当該スイッチにより作業完了信号を作業管理装置4に入力するようにしてもよい。 In the above-described embodiment, the case of screw tightening work has been described. However, the present invention is not limited to this. Can be applied. Even in these cases, a work completion signal may be input to the work management apparatus 4 from each tool, or a separate switch may be provided so that the work completion signal is input to the work management apparatus 4 by the switch. Good.
また、道具を使用しない作業であっても、本発明を適用することができる。例えば、ボルトの締まり具合を点検する検査においても、作業者Pは作業位置を目視しながら行うので、別途設けたスイッチにより作業完了信号を作業管理装置4に入力するようにすれば、本発明を適用することができる。 Further, the present invention can be applied even to work that does not use tools. For example, in the inspection for checking the tightening condition of the bolt, the operator P performs the operation while visually observing the operation position. Therefore, if the operation completion signal is input to the operation management device 4 by a separately provided switch, the present invention is Can be applied.
本発明に係る作業工程管理システムは、上述した実施形態に限定されるものではない。本発明に係る作業工程管理システムの各部の具体的な構成は、種々に設計変更自在である。 The work process management system according to the present invention is not limited to the embodiment described above. The specific configuration of each part of the work process management system according to the present invention can be varied in design in various ways.
1,1’ 作業工程管理システム
2 工具(検出手段)
3 撮像カメラ(撮像手段)
4 作業管理装置
41 制御部(撮像制御手段,検出制御手段)
42 作業管理部
43 マスタ画像記憶部(記憶手段)
44 特定処理部(特定手段,画像変換手段,類似度算出手段,判別手段)
45 表示部
46 操作部
47 変換処理部(第2の画像変換手段)
5,6 制御ケーブル
7 傾斜センサ(角度検出手段)
8 投影機(投影手段)
P 作業者
W ワーク
N,N1,N2,N3,N4 ネジ
S 光像
1,1 'Work
3 Imaging camera (imaging means)
4
42
44 Identification processing unit (identification means, image conversion means, similarity calculation means, discrimination means)
45
5, 6
8 Projector (projection means)
P Worker W Work N, N1, N2, N3, N4 Screw S Optical image
Claims (8)
前記作業者の体勢が前記作業位置を見る体勢になると、当該作業位置が撮像画面内に入る前記作業者の所定の位置に固定された撮像手段と、
予め作業者に前記作業対象物の各作業位置で前記所定の作業を行なわせて各作業の完了時に前記撮像手段により前記各作業位置をそれぞれ撮像した画像をマスタ画像として記憶する記憶手段と、
前記作業者が前記作業対象物に対して作業を行なったとき、各作業位置で前記所定の作業を完了した後の所定のタイミングで前記撮像手段に撮像動作を行わせる撮像制御手段と、
前記撮像手段で撮像された撮像画像を、前記記憶手段に記憶されている複数の前記マスタ画像と照合して、当該撮像画像が撮像された作業位置を特定する特定手段と、
を備えることを特徴とする作業工程管理システム。 Work process management for identifying a work position of a work object having a plurality of work positions and having a predetermined work performed at each work position by the worker each time the worker completes the work. A system,
When the posture of the worker becomes a posture to see the work position, the imaging means fixed at a predetermined position of the worker where the work position enters the imaging screen;
Storage means for preliminarily making an operator perform the predetermined work at each work position of the work object, and storing, as a master image, an image obtained by capturing each work position by the imaging means when each work is completed;
An imaging control means for causing the imaging means to perform an imaging operation at a predetermined timing after the predetermined work is completed at each work position when the worker performs an operation on the work object;
A specifying unit that compares a captured image captured by the imaging unit with a plurality of the master images stored in the storage unit to identify a work position at which the captured image is captured;
A work process management system comprising:
前記撮像画像を予め設定された拡大、縮小、回転、平行移動のいずれか若しくはこれらの組み合わせた変換条件で画像変換する画像変換手段と、
前記画像変換手段により変換された変換画像と各マスタ画像との類似度を算出する類似度算出手段と、を備え、
前記類似度算出手段により算出された複数の類似度に基づいて前記撮像画像が撮像された作業位置を特定する、請求項1に記載の作業工程管理システム。 The specifying means is:
Image conversion means for converting the captured image into an image under a conversion condition that is set in advance in any one of enlargement, reduction, rotation, and parallel movement, or a combination thereof;
Similarity calculating means for calculating the similarity between the converted image converted by the image converting means and each master image,
The work process management system according to claim 1, wherein a work position where the captured image is captured is specified based on a plurality of similarities calculated by the similarity calculation unit.
前記類似度算出手段により前記類似度が算出される毎に、当該類似度が所定の閾値を超えているか否かを判別する判別手段をさらに備え、
前記判別手段で前記算出された類似度が前記所定の閾値を超えている場合、当該類似度を有するマスタ画像に対応する作業位置を、前記撮像画像が撮像された作業位置として特定する、請求項2に記載の作業工程管理システム。 The specifying means is:
Each time the similarity is calculated by the similarity calculation means, further comprises a determination means for determining whether or not the similarity exceeds a predetermined threshold,
The work position corresponding to the master image having the similarity is specified as the work position where the captured image is captured when the similarity calculated by the determination unit exceeds the predetermined threshold. 2. The work process management system according to 2.
前記マスタ画像及び前記撮像画像を取得するために前記撮像手段の撮像動作が行われたとき、前記角度検出手段により前記撮像手段の光軸方向の角度を検出させる検出制御手段と、
前記撮像手段により撮像された撮像画像を、当該撮像画像の撮像時の前記撮像手段の光軸方向の角度と当該撮像画像と照合するマスタ画像の撮像時の前記撮像手段の光軸方向の角度との角度差に基づいて、前記マスタ画像の撮像位置で撮像した画像と略同一の画像に変換する第2の画像変換手段と、をさらに備え、
前記特定手段は、前記画像変換手段により変換された変換画像に代えて、前記第2の画像変換手段で変換された変換画像を前記マスタ画像と照合する、請求項2ないし4のいずれかに記載の作業工程管理システム。 An angle detection means attached to the imaging means for detecting the angle of the imaging means in the optical axis direction with respect to a predetermined reference direction;
A detection control unit that detects an angle of the imaging unit in the optical axis direction by the angle detection unit when an imaging operation of the imaging unit is performed to acquire the master image and the captured image;
The angle of the optical axis direction of the imaging means when the captured image is captured by the imaging means and the angle of the optical axis direction of the imaging means when capturing the master image to be compared with the captured image Second image conversion means for converting the image captured at the imaging position of the master image into an image substantially the same as the image captured based on the angular difference of
5. The identification unit according to claim 2, wherein the specifying unit collates the converted image converted by the second image converting unit with the master image instead of the converted image converted by the image converting unit. Work process management system.
前記撮像制御手段は、前記工具に設けられ、前記作業の完了を検出すると、その検出信号を出力する検出手段と、前記検出手段から出力される検出信号に基づいて前記撮像手段の撮像動作を行わせる制御手段と、を含む、
請求項1ないし7のいずれかに記載の作業工程管理システム。 The operation is an operation using a predetermined tool,
The imaging control means is provided on the tool, and when detecting completion of the work, the imaging control means outputs a detection signal thereof, and performs an imaging operation of the imaging means based on the detection signal output from the detection means Including control means,
The work process management system according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009069770A JP5214511B2 (en) | 2009-03-23 | 2009-03-23 | Work process management system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009069770A JP5214511B2 (en) | 2009-03-23 | 2009-03-23 | Work process management system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010224749A true JP2010224749A (en) | 2010-10-07 |
JP5214511B2 JP5214511B2 (en) | 2013-06-19 |
Family
ID=43041885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009069770A Expired - Fee Related JP5214511B2 (en) | 2009-03-23 | 2009-03-23 | Work process management system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5214511B2 (en) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141693A (en) * | 2010-12-28 | 2012-07-26 | Kashiko Kodate | Image retrieval system and image retrieval program |
JP2013000851A (en) * | 2011-06-20 | 2013-01-07 | Sanyo Mach Works Ltd | Device and method for supporting fastening work |
JP2013000852A (en) * | 2011-06-20 | 2013-01-07 | Sanyo Mach Works Ltd | Fastening work support device |
JP2013097466A (en) * | 2011-10-28 | 2013-05-20 | Hitachi Ltd | Work support system, work support method, and terminal for work |
GB2508090A (en) * | 2012-11-09 | 2014-05-21 | Hitachi Ltd | Operation management system for displaying and recording completion of operations |
LT6096B (en) | 2013-03-05 | 2014-11-25 | Hitachi, Ltd. | Operation management system and operation management method |
JP2015208822A (en) * | 2014-04-28 | 2015-11-24 | 株式会社日立プラントコンストラクション | Torque fastening management system and torque fastening management method |
WO2015185974A1 (en) * | 2014-06-04 | 2015-12-10 | パナソニックIpマネジメント株式会社 | Control device and work management system using same |
JP2018149677A (en) * | 2018-07-03 | 2018-09-27 | パナソニックIpマネジメント株式会社 | Control device and work management system using the same |
EP2728846B1 (en) * | 2012-11-06 | 2019-01-02 | Konica Minolta, Inc. | Guidance information display device |
JP2019042860A (en) * | 2017-08-31 | 2019-03-22 | パナソニックIpマネジメント株式会社 | Tool system, image processing method, and program |
JP2019144965A (en) * | 2018-02-22 | 2019-08-29 | パナソニックIpマネジメント株式会社 | Tool control method, program, tool control system, and tool |
JP2019188599A (en) * | 2018-07-03 | 2019-10-31 | パナソニックIpマネジメント株式会社 | Control device and work management system using the same |
TWI688452B (en) * | 2016-05-27 | 2020-03-21 | 鴻海精密工業股份有限公司 | Device and method for preventing wrong installation |
JP2021002310A (en) * | 2019-06-25 | 2021-01-07 | 三菱電機株式会社 | Work assistance device and work assistance management system |
TWI722711B (en) * | 2018-12-14 | 2021-03-21 | 日商富士金股份有限公司 | Operation management device, operation management method and operation management system |
WO2021090652A1 (en) * | 2019-11-06 | 2021-05-14 | パナソニックIpマネジメント株式会社 | Tool system, tool management method, and program |
JP2021154486A (en) * | 2019-06-07 | 2021-10-07 | パナソニックIpマネジメント株式会社 | Controller |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004249388A (en) * | 2003-02-19 | 2004-09-09 | Tohnichi Mfg Co Ltd | System and device for preventing screw from left untightened |
JP2007163380A (en) * | 2005-12-15 | 2007-06-28 | Denso Corp | Visual inspection work management system |
JP2008009868A (en) * | 2006-06-30 | 2008-01-17 | Saxa Inc | Image processor |
JP2008084068A (en) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | Field operation executing state management device and management method |
JP2009279193A (en) * | 2008-05-22 | 2009-12-03 | Fujifilm Corp | Medical apparatus management system |
-
2009
- 2009-03-23 JP JP2009069770A patent/JP5214511B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004249388A (en) * | 2003-02-19 | 2004-09-09 | Tohnichi Mfg Co Ltd | System and device for preventing screw from left untightened |
JP2007163380A (en) * | 2005-12-15 | 2007-06-28 | Denso Corp | Visual inspection work management system |
JP2008009868A (en) * | 2006-06-30 | 2008-01-17 | Saxa Inc | Image processor |
JP2008084068A (en) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | Field operation executing state management device and management method |
JP2009279193A (en) * | 2008-05-22 | 2009-12-03 | Fujifilm Corp | Medical apparatus management system |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141693A (en) * | 2010-12-28 | 2012-07-26 | Kashiko Kodate | Image retrieval system and image retrieval program |
JP2013000851A (en) * | 2011-06-20 | 2013-01-07 | Sanyo Mach Works Ltd | Device and method for supporting fastening work |
JP2013000852A (en) * | 2011-06-20 | 2013-01-07 | Sanyo Mach Works Ltd | Fastening work support device |
JP2013097466A (en) * | 2011-10-28 | 2013-05-20 | Hitachi Ltd | Work support system, work support method, and terminal for work |
EP2728846B1 (en) * | 2012-11-06 | 2019-01-02 | Konica Minolta, Inc. | Guidance information display device |
GB2508090A (en) * | 2012-11-09 | 2014-05-21 | Hitachi Ltd | Operation management system for displaying and recording completion of operations |
JP2014096068A (en) * | 2012-11-09 | 2014-05-22 | Hitachi Ltd | Work management system and work management method |
LT6062B (en) | 2012-11-09 | 2014-08-25 | Hitachi, Ltd. | Operation management system and operation management method |
GB2508090B (en) * | 2012-11-09 | 2015-01-28 | Hitachi Ltd | Operation management system for displaying and recording completion of operations |
LT6096B (en) | 2013-03-05 | 2014-11-25 | Hitachi, Ltd. | Operation management system and operation management method |
JP2015208822A (en) * | 2014-04-28 | 2015-11-24 | 株式会社日立プラントコンストラクション | Torque fastening management system and torque fastening management method |
JP2015229210A (en) * | 2014-06-04 | 2015-12-21 | パナソニックIpマネジメント株式会社 | Control device, and work management system using the former |
TWI552094B (en) * | 2014-06-04 | 2016-10-01 | 松下知識產權經營股份有限公司 | Control device and work management system using the same |
WO2015185974A1 (en) * | 2014-06-04 | 2015-12-10 | パナソニックIpマネジメント株式会社 | Control device and work management system using same |
TWI688452B (en) * | 2016-05-27 | 2020-03-21 | 鴻海精密工業股份有限公司 | Device and method for preventing wrong installation |
JP2019042860A (en) * | 2017-08-31 | 2019-03-22 | パナソニックIpマネジメント株式会社 | Tool system, image processing method, and program |
JP7008204B2 (en) | 2017-08-31 | 2022-01-25 | パナソニックIpマネジメント株式会社 | Tool system, image processing method, and program |
JP7065343B2 (en) | 2018-02-22 | 2022-05-12 | パナソニックIpマネジメント株式会社 | Tool control methods, programs, tool control systems, and tools |
JP2019144965A (en) * | 2018-02-22 | 2019-08-29 | パナソニックIpマネジメント株式会社 | Tool control method, program, tool control system, and tool |
JP2019188599A (en) * | 2018-07-03 | 2019-10-31 | パナソニックIpマネジメント株式会社 | Control device and work management system using the same |
JP2018149677A (en) * | 2018-07-03 | 2018-09-27 | パナソニックIpマネジメント株式会社 | Control device and work management system using the same |
TWI722711B (en) * | 2018-12-14 | 2021-03-21 | 日商富士金股份有限公司 | Operation management device, operation management method and operation management system |
JP7462279B2 (en) | 2019-06-07 | 2024-04-05 | パナソニックIpマネジメント株式会社 | Work Management System |
JP7535756B2 (en) | 2019-06-07 | 2024-08-19 | パナソニックIpマネジメント株式会社 | Control device |
JP2021154486A (en) * | 2019-06-07 | 2021-10-07 | パナソニックIpマネジメント株式会社 | Controller |
JP2021002310A (en) * | 2019-06-25 | 2021-01-07 | 三菱電機株式会社 | Work assistance device and work assistance management system |
JP7350530B2 (en) | 2019-06-25 | 2023-09-26 | 三菱電機株式会社 | Work support equipment and work support management system |
WO2021090652A1 (en) * | 2019-11-06 | 2021-05-14 | パナソニックIpマネジメント株式会社 | Tool system, tool management method, and program |
JP7458018B2 (en) | 2019-11-06 | 2024-03-29 | パナソニックIpマネジメント株式会社 | Tool system, tool management method and program |
US11917319B2 (en) | 2019-11-06 | 2024-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Tool system, tool management method, and program |
JP2021074812A (en) * | 2019-11-06 | 2021-05-20 | パナソニックIpマネジメント株式会社 | Tool system, tool management method and program |
Also Published As
Publication number | Publication date |
---|---|
JP5214511B2 (en) | 2013-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5214511B2 (en) | Work process management system | |
CN108700408B (en) | Three-dimensional shape data and texture information generation system, method and shooting control method | |
US9031327B2 (en) | Information processing device, method, and program that recognizes a predetermined part of a body | |
US7202957B2 (en) | Three-dimensional visual sensor | |
EP1462984A2 (en) | Authentication object image pick-up device and method thereof | |
JP2013061552A (en) | Projector device and operation detection method | |
CN112307912A (en) | Method and system for determining personnel track based on camera | |
JP2006246502A (en) | Projector with distortion correcting function | |
JP6016760B2 (en) | Work confirmation system | |
US20040202353A1 (en) | Authentication object image pick-up device and image pick-up method thereof | |
WO2022046227A1 (en) | Mixed reality image capture and smart inspection | |
US20160189422A1 (en) | Process and Device for Determining the 3D Coordinates of an Object | |
KR101535801B1 (en) | Process inspection device, method and system for assembling process in product manufacturing using depth map sensors | |
JP2013003773A (en) | Image discrimination device, image specification device, work process management system including the image specification device, and program | |
JP2004239791A (en) | Position measuring method by zooming | |
CN110136203B (en) | Calibration method and calibration system of TOF equipment | |
JP2005318652A (en) | Projector with distortion correcting function | |
JP2005057736A (en) | Image difference discrimination method, image pickup device attitude control method, image pickup device, and program | |
US11691237B2 (en) | Machine control device | |
US11698434B2 (en) | Machine control device | |
JP2004364067A (en) | Camera with indicator | |
TWI807480B (en) | Visual recognition based method and system for projecting patterned light, method and system applied to oral inspection, and machining system | |
US20240028781A1 (en) | Imaging condition adjusting device and imaging condition adjusting method | |
WO2023112337A1 (en) | Teaching device | |
KR101050711B1 (en) | How to adjust optical autofocus for multifocal images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5214511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |