[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6892461B2 - 機械制御装置 - Google Patents

機械制御装置 Download PDF

Info

Publication number
JP6892461B2
JP6892461B2 JP2019018744A JP2019018744A JP6892461B2 JP 6892461 B2 JP6892461 B2 JP 6892461B2 JP 2019018744 A JP2019018744 A JP 2019018744A JP 2019018744 A JP2019018744 A JP 2019018744A JP 6892461 B2 JP6892461 B2 JP 6892461B2
Authority
JP
Japan
Prior art keywords
accuracy
measurement
distance
imaging
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019018744A
Other languages
English (en)
Other versions
JP2020126460A (ja
Inventor
知紀 福島
知紀 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2019018744A priority Critical patent/JP6892461B2/ja
Priority to DE102020200009.3A priority patent/DE102020200009A1/de
Priority to US16/733,403 priority patent/US11698434B2/en
Priority to CN202010066799.XA priority patent/CN111522295B/zh
Publication of JP2020126460A publication Critical patent/JP2020126460A/ja
Application granted granted Critical
Publication of JP6892461B2 publication Critical patent/JP6892461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/021—Calibration, monitoring or correction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00—Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B23Q15/20—Automatic control or regulation of feed movement, cutting velocity or position of tool or work before or after the tool acts upon the workpiece
    • B23Q15/22—Control or regulation of position of tool or workpiece
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37042—Photographic, picture on film, photogrammetry
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45136—Turning, lathe
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50064—Camera inspects workpiece for errors, correction of workpiece at desired position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Description

本発明は、工作機械又は産業用ロボット等の機械を制御する機械制御装置に関する。
例えば、工具を用いてワーク（対象物）に切削等の加工（所定の処理）を施す工作機械の数値制御装置がある。このような数値制御装置において、工具とワークとの相対的な位置を制御する際に、ビジョンセンサ（撮像装置）で撮像されたワークの画像に基づくワークの位置及び姿勢の情報を利用することが期待されている（例えば、特許文献１参照）。
特許第２８８９０１１号公報
工作機械の数値制御装置の加工精度と比較して、ビジョンセンサの測定精度は低い。そのため、ビジョンセンサの測定精度を考慮せずに、ビジョンセンサで撮像されたワークの画像に基づくワークの位置及び姿勢の情報を、ワークの位置決め等に利用すると、工具とワークとの衝突が生じ、工具又はワークの破損が生じる恐れがある。
本発明は、撮像装置で撮像された対象物の画像に基づいて機械の制御を行う機械制御装置において、安全性を高める機械制御装置を提供することを目的とする。
（１） 本発明に係る機械制御装置（例えば、後述の機械制御装置１０）は、対象物（例えば、後述のワークＷ）に所定の作業を行う機械を制御する機械制御装置であって、撮像装置（例えば、後述のビジョンセンサ２）によって撮像された対象物を含む画像に基づいて前記機械と前記対象物との相対的な位置を制御する機械制御装置において、制御指令に基づいて、前記撮像装置の位置及び姿勢を制御し、異なる２つ以上の撮像位置において前記対象物を含む２つ以上の画像を撮像するように前記撮像装置を制御する撮像制御部（例えば、後述の撮像制御部１１）と、前記２つ以上の撮像位置の位置情報を取得する撮像位置情報取得部（例えば、後述の撮像位置情報取得部１３）と、ステレオカメラの手法を利用して、前記２つ以上の画像のうちの少なくとも２つの画像と、前記２つ以上の撮像位置のうちの前記少なくとも２つの画像に対応する少なくとも２つの撮像位置間の距離情報と、前記撮像装置のパラメータとに基づいて、前記対象物の位置情報として前記対象物の測定距離を復元する測定距離復元部（例えば、後述の測定距離復元部１４）と、前記少なくとも２つの画像と、前記少なくとも２つの撮像位置間の距離情報と、前記撮像装置のパラメータとに基づいて、前記対象物の測定距離の測定精度を演算する測定精度演算部（例えば、後述の測定精度演算部１５）と、前記対象物の一部領域を指定領域として指定する領域指定部（例えば、後述の領域指定部１２）と、前記指定領域において、前記対象物の測定精度が所定の精度を満たすか否かを判定する測定精度判定部（例えば、後述の測定精度判定部１６）とを備える。
（２） （１）に記載の機械制御装置において、前記測定距離復元部は、前記少なくとも２つの画像に領域マッチングを行うことにより画素毎に視差情報Ｚを求め、前記画素毎の視差情報Ｚと、前記少なくとも２つの撮像位置間の距離情報Ｄと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（１）式により前記対象物の測定距離Ｈを算出してもよく、前記測定精度演算部は、測定距離Ｈを視差情報Ｚで微分することで隣接画素との測定距離Ｈの差分を求める下記（２）式により前記対象物の測定距離の測定精度Ｐを算出してもよい。
Ｈ＝Ｄ×ｆ／Ｚ・・・（１）
Ｐ＝｜ｄＨ／ｄＺ｜＝Ｄ×ｆ／Ｚ２＝Ｈ２／（Ｄ×ｆ）・・・（２）
（３） （１）又は（２）に記載の機械制御装置は、前記対象物の測定精度が前記所定の精度を満たさない場合、前記機械の制御を停止してもよい。
（４） （１）又は（２）に記載の機械制御装置は、前記対象物の測定精度が前記所定の精度を満たさない場合、前記対象物の測定精度を高めるように、前記撮像装置の位置及び姿勢を制御し、前記少なくとも２つの撮像位置の少なくとも一方を変更してもよい。
（５） （４）に記載の機械制御装置は、前記対象物の測定精度が前記所定の精度を満たさない場合、前記少なくとも２つの撮像位置の間の距離を広げる方向か、或いは前記撮像位置を前記対象物に近づける方向に前記撮像装置の位置を制御することにより、前記対象物の測定精度を高めてもよい。
（６） （４）又は（５）に記載の機械制御装置は、前記指定領域において、前記少なくとも２つの画像と、前記対象物の測定距離と、前記撮像装置のパラメータとに基づいて、前記対象物の測定精度が所定の精度を満たす前記少なくとも２つの撮像位置間の距離情報を算出する、或いは、前記少なくとも２つの画像と、前記少なくとも２つの撮像位置間の距離情報と、前記撮像装置のパラメータとに基づいて、前記対象物の測定精度が所定の精度を満たす前記対象物の測定距離を算出する所定精度位置演算部（例えば、後述の所定精度位置演算部１７）を更に備えてもよく、所定精度位置演算部によって算出された前記少なくとも２つの撮像位置間の距離情報又は前記対象物の測定距離に基づいて、前記撮像装置の位置及び姿勢を制御し、前記少なくとも２つの撮像位置の少なくとも一方を変更してもよい。
（７） （６）に記載の機械制御装置において、前記測定距離復元部は、前記少なくとも２つの画像に領域マッチングを行うことにより画素毎に視差情報Ｚを求め、前記画素毎の視差情報Ｚと、前記少なくとも２つの撮像位置間の距離情報Ｄと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（１）式により前記対象物の測定距離Ｈを算出してもよく、前記所定精度位置演算部は、前記対象物の測定距離Ｈと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（３）式により前記対象物の測定精度が所定の精度Ｐ’を満たす前記少なくとも２つの撮像位置間の距離Ｄ’を算出する、或いは、前記少なくとも２つの撮像位置間の距離Ｄと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（４）式により前記対象物の測定精度が所定の精度Ｐ’を満たす前記対象物の測定距離Ｈ’を算出してもよい。
Ｈ＝Ｄ×ｆ／Ｚ・・・（１）
Ｐ’＝Ｈ２／（Ｄ’×ｆ）・・・（３）
Ｐ’＝Ｈ’２／（Ｄ×ｆ）・・・（４）
本発明によれば、撮像装置で撮像された対象物の画像に基づいて機械の制御を行う機械制御装置において、安全性を高める機械制御装置を提供することができる。
第１実施形態に係る工作機械の機械制御装置の主要部を示す図である。 機械制御装置によるビジョンセンサの制御について説明するための図である。 ステレオカメラの手法を利用したワークの測定距離の復元について説明するための図である。 機械制御装置による目標精度を満たす２つの撮像位置（移動量）の演算について説明するための図である。 機械制御装置によるビジョンセンサの制御のプログラムの一例（左部分）とその説明（右部分）を示す図である。 変形例に係る機械制御装置による目標精度を満たす２つの撮像位置（移動量）の演算について説明するための図である。 変形例に係る機械制御装置によるビジョンセンサの制御のプログラムの一例（左部分）とその説明（右部分）を示す図である。
以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
（第１実施形態）
図１は、第１実施形態に係る工作機械の機械制御装置の主要部を示す図である。図１に示す機械制御装置１０は、ワーク（対象物）Ｗに所定の作業（例えば、切削加工等の加工）を行う工作機械を制御する数値制御装置である。その際、機械制御装置１０は、ビジョンセンサ（Vision Sensor、視覚センサ：撮像装置）２によって撮像されたワークＷを含む画像に基づいて、ワークＷの位置を認識し、工作機械の工具ＴとワークＷとの相対的な位置を制御する。例えば、機械制御装置１０は、工作機械の工具Ｔの位置を制御してもよいし、ワークＷの位置を制御してもよい。
工作機械の工具Ｔの近傍にビジョンセンサ２が取り付けられると、工作機械の工具Ｔの移動指令とビジョンセンサ２の移動指令とを同一にすることができる。
以下、機械制御装置１０によるビジョンセンサ２の制御について詳細に説明する。
機械制御装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算プロセッサで構成される。機械制御装置１０の各種機能は、例えば記憶部に格納された所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。機械制御装置１０の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ＦＰＧＡ（Field Programmable Gate Array）やハードウェア（電子回路）のみで実現されてもよい。
機械制御装置１０は、撮像制御部１１と、領域指定部１２と、撮像位置情報取得部１３と、測定距離復元部１４と、測定精度演算部１５と、測定精度判定部１６と、所定精度位置演算部１７とを備える。
図２は、機械制御装置１０によるビジョンセンサ２の制御について説明するための図である。
図２に示すように、撮像制御部１１は、例えば記憶部（図示せず）に記憶された制御指令に基づいて、ビジョンセンサ２の位置及び姿勢を制御し、異なる２つの撮像位置においてワークＷを含む２つの画像を撮像するようにビジョンセンサ２を制御する。例えば、撮像制御部１１は、ビジョンセンサ２を所定方向に移動させ、撮像位置間距離（以下、視点間距離ともいう）Ｄの２つの撮像位置においてビジョンセンサ２によってワークＷの撮像を行う。
領域指定部１２は、２つの画像において、ワークＷの一部領域を指定領域（以下、指定画素、注目画素ともいう）として指定する。指定領域は、表示部等に表示された撮像画像に基づいてユーザによって手動で指定されたワークの領域であってもよいし、撮像画像の画像処理（例えば、特徴点抽出アルゴリズム等）によって自動で指定されたワークの領域であってもよい。
撮像位置情報取得部１３は、上述した制御指令から、２つの撮像位置の位置情報（例えば、カメラ座標系又は機械座標系上の座標ＸＹＺ）を取得する。なお、撮像位置情報取得部１３は、機械制御装置１０から移動前後の座標を取得してもよい。
測定距離復元部１４は、ステレオカメラの手法を利用して、２つの画像と、２つの撮像位置間の距離情報と、ビジョンセンサ２のパラメータとに基づいて、ワークＷの位置情報としてワークＷの測定距離を復元する。
図３は、ステレオカメラの手法を利用したワークの測定距離の復元について説明するための図である。図３に示すように、測定距離復元部１４は、２つの画像に領域マッチングを行うことにより画素毎に視差Ｚを求め、画素毎の視差Ｚと、２つの撮像位置間の距離Ｄと、ビジョンセンサ２のパラメータである焦点距離ｆとに基づいて、下記（１）式によりワークＷの測定距離Ｈを算出する。
Ｈ＝Ｄ×ｆ／Ｚ・・・（１）
ここで、機械制御装置１０は、ビジョンセンサ２によって撮像されたワークＷを含む画像に基づいて、ワークＷの位置を認識し、工作機械の工具ＴとワークＷとの相対的な位置を制御する。
工作機械の数値制御装置の加工精度と比較して、ビジョンセンサ２の測定精度は低い。そのため、ビジョンセンサ２の測定精度を考慮せずに、ビジョンセンサ２で撮像されたワークＷの画像に基づくワークＷの位置及び姿勢の情報を、ワークＷの位置決め等に利用すると、工具ＴとワークＷとの衝突が生じ、工具Ｔ又はワークＷの破損が生じる恐れがある。
そこで、本実施形態の機械制御装置１０は、測定距離復元部１４に加え、測定精度演算部１５、測定精度判定部１６及び所定精度位置演算部１７を備える。
測定精度演算部１５は、ステレオカメラの手法を利用して、２つの画像と、２つの撮像位置間の距離情報と、ビジョンセンサ２のパラメータとに基づいて、ワークＷの測定距離の測定精度Ｐを演算する。
測定精度Ｐは、撮影面に映るワークＷが誤って隣接画素に映ったと想定した際に（このときの視差をＺ’とする）、どれだけ差が出るかで定義する（下記（２）式参照）。換言すれば、測定精度Ｐは、測定距離ＨをＺで微分した値である。
Ｐ＝｜Ｈ（Ｚ’）−Ｈ（Ｚ）｜＝｜ｄＨ／ｄＺ｜＝Ｄ×ｆ／Ｚ２
これに上記（１）式を代入し、測定精度Ｐは下記（２）式のように表される。
Ｐ＝Ｈ２／（Ｄ×ｆ）・・・（２）
これより、２つの撮像位置間の距離Ｄが大きいほど測定精度Ｐは小さく、精度が高いことがわかる。
測定精度判定部１６は、指定領域において、ワークＷの測定精度Ｐが目標精度（所定の精度：以下、指定精度ともいう）Ｐ’を満たすか否かを判定する。目標精度Ｐ’は、予め定められた値であって、記憶部等に記憶されていればよい。
所定精度位置演算部１７は、ワークＷの測定精度Ｐが目標精度Ｐ’を満たす２つの撮像位置を演算する。例えば、所定精度位置演算部１７は、２つの画像と、ビジョンセンサ２のパラメータとに基づいて、ワークＷの測定精度Ｐが目標精度Ｐ’を満たす２つの撮像位置を演算する。より具体的には、所定精度位置演算部１７は、指定領域において、２つの画像と、ワークＷの測定距離と、ビジョンセンサ２のパラメータとに基づいて、ワークＷの測定精度が所定の精度を満たす２つの撮像位置間の距離情報を算出する。
図４は、機械制御装置１０による目標精度Ｐ’を満たす２つの撮像位置（移動量）の演算について説明するための図である。
例えば、所定精度位置演算部１７は、ワークＷの測定距離Ｈと、撮像装置のパラメータである焦点距離ｆとに基づいて、下記（３）式によりワークＷの測定精度が所定の精度Ｐ’を満たす２つの撮像位置間の距離Ｄ’を算出する。
Ｐ’＝Ｈ２／（Ｄ’×ｆ）・・・（３）
これにより、視点間距離Ｄの状態からの移動距離Ｅは、次式により求まる。
Ｅ＝Ｄ’−Ｄ
或いは、所定精度位置演算部１７は、指定領域において、２つの画像と、２つの撮像位置間の距離情報と、ビジョンセンサ２のパラメータとに基づいて、ワークＷの測定精度が所定の精度を満たすワークＷの測定距離を算出してもよい。
例えば、所定精度位置演算部１７は、２つの撮像位置間の距離Ｄと、ビジョンセンサ２のパラメータである焦点距離ｆとに基づいて、下記（４）式によりワークＷの測定精度が所定の精度Ｐ’を満たすワークＷの測定距離Ｈ’を算出してもよい。
Ｐ’＝Ｈ’２／（Ｄ×ｆ）・・・（４）
このように、視点間距離Ｄを広げることにより、測定精度が向上する。或いは、視点間距離Ｄを一定とし、ビジョンセンサ２をワークＷに近づけることにより、測定精度が向上する。
ワークＷの測定精度が目標精度を満たす場合、機械制御装置１０は、位置演算部１４によって演算されたワークＷの位置情報に基づいて、工作機械の工具ＴとワークＷとの相対的な位置を制御し、工具Ｔを用いてワークＷに所定の作業を行う。
一方、ワークＷの測定精度が目標精度を満たさない場合、機械制御装置１０は、所定精度位置演算部１７によって演算された目標精度Ｐ’を満たす２つの撮像位置に基づいて、
・撮像制御部１１によるビジョンセンサ２の移動及び撮影、
・指定領域決定部１２、撮像位置情報取得部１３及び位置演算部１４によるワークＷの位置の演算、
・精度演算部１５及び精度判定部１６によるワークＷの測定精度の演算及び判定、
を行う。
なお、それでもワークＷの測定精度が目標精度を満たさない場合、機械制御装置１０は、
・所定精度位置演算部１７による目標精度Ｐ’を満たす２つの撮像位置の演算、
・撮像制御部１１によるビジョンセンサ２の移動及び撮影、
・指定領域決定部１２、撮像位置情報取得部１３及び位置演算部１４によるワークＷの位置の演算、
・精度演算部１５及び精度判定部１６によるワークＷの測定精度の演算及び判定、
を、目標精度が得られるまで繰り返してもよい。
上述した処理を既定の回数繰り返しても目標精度が得られない場合、もしくはビジョンセンサ２の移動が困難である場合、機械制御装置１０は、位置演算部１４によって演算されたワークＷの位置情報に基づく、工作機械の工具ＴとワークＷとの相対的な位置の制御、及び工具Ｔを用いたワークＷの所定の作業を停止する。
図５は、機械制御装置１０によるビジョンセンサ２の制御のプログラムの一例（左部分）とその説明（右部分）を示す図である。
「Ｇ８００」は、ビジョンセンサの移動指令である。
「Ｇ８１０」は、撮像、画像処理（位置情報、精度情報の計測）を起動する指令である。
これにより、撮像制御部１１は、ビジョンセンサ２を所定方向に移動させ、撮像位置間距離（視点間距離）Ｄの２つの撮像位置においてビジョンセンサ２によってワークＷの撮像を行う。
撮像位置情報取得部１３は、制御指令から、２つの撮像位置を取得する。
「Ｇ８２０」は、注目画素（指定領域）を指定する指令である。
これにより、領域指定部１２は、２つの画像において、ワークＷの一部領域を指定領域として指定する。指定された画素の列と行が♯１００、♯１０１に入る。
測定距離復元部１４は、ステレオカメラの手法を利用して、２つの画像と、２つの撮像位置間の距離情報と、ビジョンセンサ２のパラメータとに基づいて、ワークＷの位置情報としてワークＷの測定距離を復元する。
測定精度演算部１５は、２つの画像と、２つの撮像位置間の距離情報と、ビジョンセンサ２のパラメータとに基づいて、ワークＷの測定距離の測定精度を演算する。
「Ｇ８３０」は、画素（♯１００,♯１０１）に対応するワークＷの位置情報が（０．１,０．１,０．１）ｍｍ精度を満たすか否かを判定する指令である。
これにより、測定精度判定部１６は、指定領域において、ワークＷの測定精度Ｐが目標精度Ｐ’を満たすか否かを判定する。例えば、測定精度判定部１６は、画像の列♯１００、行♯１０１番目の画素の測定データが、測定精度（０．１, ０．１, ０．１）ｍｍを満たすか否かを判定する。例えば満たしていない場合、♯８９９８に０以外の数字が入る。
「Ｇ８４０」は、対象画素（指定領域）が指定精度（目標精度）を満たすのに必要な撮像位置を計算する指令である。
これにより、所定精度位置演算部１７は、ワークＷの測定精度Ｐが目標精度Ｐ’を満たす２つの撮像位置（２つの撮像位置間の距離Ｄ’又はワークＷの測定距離Ｈ’）を演算する。例えば、所定精度位置演算部１７は、列♯１００，行♯１０１で指定した画素の測定データが、指定の精度を満たすのに必要な撮像位置を計算し、次に移動する距離を、Ｘ方向♯３００，Ｙ方向♯３０１，Ｚ方向♯３０３にセットする。
「ＧＯＴＯ １０」指令により２行目へ処理を戻し、もう一回ビジョンセンサを移動して撮像する。
以上説明したように、本実施形態の機械制御装置１０によれば、ワークＷの測定精度を向上し、ビジョンセンサ２で撮像されたワークＷの画像に基づいて工作機械の制御を行う機械制御装置において、安全性を高めることができる。
また、本実施形態の機械制御装置１０によれば、ハレーション又はオクルージョン（陰面）に起因する誤測定や測定不能が発生する場合も、有効に機能する。
本願発明者らによれば、以下の知見を得ている。
・既存のビジョンセンサは、測定精度を制御できない。
ビジョンセンサを対象物に近づけることにより測定精度を改善できるが、危険と限界がある。
高解像素子、高精度レンズを有するセンサは高価である。
・現在、数値制御装置がビジョンセンサの測定精度を判断する方法がない。
数値制御装置がビジョンセンサの測定精度を知る方法がない。
加工に必要な精度を満たすか否かを判定する方法がない。
・現在、ビジョンセンサが精度不足の場合、数値制御装置が安全に動作できる仕組みがない。
ビジョンセンサから数値制御装置を停止する仕組みがない。
数値制御装置からビジョンセンサの精度向上を指令する仕組みがない。
これらの点に関し、本実施形態の機械制御装置１０によれば以下の利点を得ることができる。
・数値制御装置が、ビジョンセンサの測定精度を知ることができるようになる。
・数値制御装置が、ビジョンセンサ出力値が指定精度を満たすか否かを判定できるようになる。
・数値制御装置が、ビジョンセンサの測定精度を制御（向上）できるようになる。
・測定精度不足の場合、数値制御装置を停止することができるようになる。
・信頼性の向上
加工に必要なビジョンセンサの測定精度を保証できる。
数値制御装置で安全にビジョンセンサを利用できる。
・検出精度の向上
ビジョンセンサの測定精度が向上でき、検出精度が向上する。
・設備費の低減
数値制御装置＋単眼カメラ＋制御ソフトウェア（プログラム）で、ステレオカメラ同等の機能を実現できる。
（変形例）
図１において、機械制御装置１０は、所定精度位置演算部１７を必ずしも備えていなくともよい。すなわち、機械制御装置１０は、所定精度位置演算部１７による目標精度Ｐ’を満たす２つの撮像位置の演算を必ずしも行わなくてよい。
変形例では、ワークＷの測定精度が目標精度を満たさない場合、機械制御装置１０は、目標精度が得られるまで２つの撮像位置（例えば、２つの撮像位置間の距離Ｄ）を少しずつ広げていく。
図６は、変形例に係る機械制御装置１０による目標精度を満たす２つの撮像位置（移動量）の演算について説明するための図である。
図６に示すように、変形例の機械制御装置１０は、ワークＷの測定精度が目標精度を満たさない場合、目標精度が得られるまで２つの撮像位置（例えば、２つの撮像位置間の距離Ｄ）を所定量（微小量）だけ広げていく。所定量（微小量）は、予め決められた値であって、例えば記憶部等に記憶されていればよい。
或いは、上述同様に、変形例の機械制御装置１０は、２つの撮像位置（例えば、ワークＷの測定距離Ｈ）をワークＷに所定量（微小量）だけ近づけていってもよい。
すなわち、変形例の機械制御装置１０は、ワークＷの測定精度が目標精度を満たさない場合、
・撮像位置を所定量（微小量）だけ変更
・撮像制御部１１によるビジョンセンサ２の移動及び撮影、
・指定領域決定部１２、撮像位置情報取得部１３及び位置演算部１４によるワークＷの位置の演算、
・精度演算部１５及び精度判定部１６によるワークＷの測定精度の演算及び判定、
を、目標精度が得られるまで繰り返す。
図７は、変形例に係る機械制御装置１０によるビジョンセンサ２の制御のプログラムの一例（左部分）とその説明（右部分）を示す図である。図７に示すプログラムは、図５に示すプログラムにおいて「Ｇ８００」の位置が異なる。
「Ｇ８００」は、ビジョンセンサの移動指令である。
例えば、♯２００に入っている所定の移動距離（例えば、初期値、又はユーザ指定）だけビジョンセンサをＸ方向に移動する。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、種々の変更及び変形が可能である。例えば、上述した実施形態では、ビジョンセンサによって撮像された対象物を含む画像に基づいて対象物の位置を測定する機械制御装置を例示したが、本発明はこれに限定されず、種々の撮像装置によって撮像された対象物を含む画像に基づいて対象物の位置を測定する機械制御装置に適用可能である。例えば、種々の撮像装置としては、単眼カメラ、３次元計測が可能なステレオカメラ、３次元カメラ等が挙げられる。
ステレオカメラ、３次元カメラでも、対象物に近づけることにより測定精度を上げることができる。
また、上述した実施形態では、２つの撮像位置において撮像された対象物を含む２つの画像に基づいて対象物との位置を制御する機械制御装置を例示したが、本発明はこれに限定されず、３つ以上の撮像位置において撮像された対象物を含む３つ以上の画像に基づいて対象物との位置を制御する機械制御装置に適用可能である。この場合、基準となる撮像位置を決め、基準に対する各撮像位置について、上述したように対象物の位置情報として対象物の測定距離を復元し（測定距離復元部）、対象物の測定距離の測定精度を演算し（測定精度演算部）、対象物の測定精度が所定の精度を満たすか否かを判定し（測定精度判定部）、対象物の測定精度が所定の精度を満たす２つの撮像位置間の距離情報又は対象物の測定距離を算出し（所定精度位置演算部）、所定精度位置演算部によって算出された２つの撮像位置間の距離情報又は対象物の測定距離に基づいて、撮像装置の位置及び姿勢を制御し、基準に対する撮像位置（２つの撮像位置間の距離又は対象物の測定距離）を変更してもよい。
また、上述した実施形態では、工作機械に取り付けられた工具とワークとの相対的な位置を制御してワークに所定の作業を行う工作機械の数値制御装置を例示した。しかし、本発明はこれに限定されず、産業用ロボットに取り付けされた工具又はハンドとワークとの相対的な位置を制御してワークに所定の作業を行うロボット制御装置等の、種々の機械制御装置に適用可能である。この場合、ロボットのアームに撮像装置が取り付けられると、ロボットのアームの移動指令と撮像装置の移動指令とを同一にすることができる。
２ ビジョンセンサ（撮像装置）
１０ 機械制御装置
１１ 撮像制御部
１２ 領域指定部
１３ 撮像位置情報取得部
１４ 測定距離復元部
１５ 測定精度演算部
１６ 測定精度判定部
１７ 所定精度位置演算部

Claims (7)

  1. 対象物に所定の作業を行う機械を制御する機械制御装置であって、撮像装置によって撮像された対象物を含む画像に基づいて前記機械と前記対象物との相対的な位置を制御する機械制御装置において、
    制御指令に基づいて、前記撮像装置の位置及び姿勢を制御し、異なる２つ以上の撮像位置において前記対象物を含む２つ以上の画像を撮像するように前記撮像装置を制御する撮像制御部と、
    前記２つ以上の撮像位置の位置情報を取得する撮像位置情報取得部と、
    ステレオカメラの手法を利用して、前記２つ以上の画像のうちの少なくとも２つの画像と、前記２つ以上の撮像位置のうちの前記少なくとも２つの画像に対応する少なくとも２つの撮像位置間の距離情報と、前記撮像装置のパラメータとに基づいて、前記対象物の位置情報として前記対象物の測定距離を復元する測定距離復元部と、
    前記少なくとも２つの画像と、前記少なくとも２つの撮像位置間の距離情報と、前記撮像装置のパラメータとに基づいて、前記対象物の測定距離の測定精度を演算する測定精度演算部と、
    前記対象物の一部領域を指定領域として指定する領域指定部と、
    前記指定領域において、前記対象物の測定精度が所定の精度を満たすか否かを判定する測定精度判定部と、
    を備える、機械制御装置。
  2. 前記測定距離復元部は、前記少なくとも２つの画像に領域マッチングを行うことにより画素毎に視差情報Ｚを求め、前記画素毎の視差情報Ｚと、前記少なくとも２つの撮像位置間の距離情報Ｄと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（１）式により前記対象物の測定距離Ｈを算出し、
    前記測定精度演算部は、測定距離Ｈを視差情報Ｚで微分することで隣接画素との測定距離Ｈの差分を求める下記（２）式により前記対象物の測定距離の測定精度Ｐを算出する、
    請求項１に記載の機械制御装置。
    Ｈ＝Ｄ×ｆ／Ｚ・・・（１）
    Ｐ＝｜ｄＨ／ｄＺ｜＝Ｄ×ｆ／Ｚ２＝Ｈ２／（Ｄ×ｆ）・・・（２）
  3. 前記対象物の測定精度が前記所定の精度を満たさない場合、前記機械の制御を停止する、
    請求項１又は２に記載の機械制御装置。
  4. 前記対象物の測定精度が前記所定の精度を満たさない場合、前記対象物の測定精度を高めるように、前記撮像装置の位置及び姿勢を制御し、前記少なくとも２つの撮像位置の少なくとも一方を変更する、
    請求項１又は２に記載の機械制御装置。
  5. 前記対象物の測定精度が前記所定の精度を満たさない場合、前記少なくとも２つの撮像位置の間の距離を広げる方向か、或いは前記撮像位置を前記対象物に近づける方向に前記撮像装置の位置を制御することにより、前記対象物の測定精度を高める、
    請求項４に記載の機械制御装置。
  6. 前記指定領域において、前記少なくとも２つの画像と、前記対象物の測定距離と、前記撮像装置のパラメータとに基づいて、前記対象物の測定精度が所定の精度を満たす前記少なくとも２つの撮像位置間の距離情報を算出する、或いは、前記少なくとも２つの画像と、前記少なくとも２つの撮像位置間の距離情報と、前記撮像装置のパラメータとに基づいて、前記対象物の測定精度が所定の精度を満たす前記対象物の測定距離を算出する所定精度位置演算部を更に備え、
    所定精度位置演算部によって算出された前記少なくとも２つの撮像位置間の距離情報又は前記対象物の測定距離に基づいて、前記撮像装置の位置及び姿勢を制御し、前記少なくとも２つの撮像位置の少なくとも一方を変更する、
    請求項４又は５に記載の機械制御装置。
  7. 前記測定距離復元部は、前記少なくとも２つの画像に領域マッチングを行うことにより画素毎に視差情報Ｚを求め、前記画素毎の視差情報Ｚと、前記少なくとも２つの撮像位置間の距離情報Ｄと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（１）式により前記対象物の測定距離Ｈを算出し、
    前記所定精度位置演算部は、前記対象物の測定距離Ｈと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（３）式により前記対象物の測定精度が所定の精度Ｐ’を満たす前記少なくとも２つの撮像位置間の距離Ｄ’を算出する、或いは、前記少なくとも２つの撮像位置間の距離Ｄと、前記撮像装置のパラメータである焦点距離ｆとに基づいて、下記（４）式により前記対象物の測定精度が所定の精度Ｐ’を満たす前記対象物の測定距離Ｈ’を算出する、
    請求項６に記載の機械制御装置。
    Ｈ＝Ｄ×ｆ／Ｚ・・・（１）
    Ｐ’＝Ｈ２／（Ｄ’×ｆ）・・・（３）
    Ｐ’＝Ｈ’２／（Ｄ×ｆ）・・・（４）
JP2019018744A 2019-02-05 2019-02-05 機械制御装置 Active JP6892461B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019018744A JP6892461B2 (ja) 2019-02-05 2019-02-05 機械制御装置
DE102020200009.3A DE102020200009A1 (de) 2019-02-05 2020-01-02 Maschinensteuervorrichtung
US16/733,403 US11698434B2 (en) 2019-02-05 2020-01-03 Machine control device
CN202010066799.XA CN111522295B (zh) 2019-02-05 2020-01-20 机械控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019018744A JP6892461B2 (ja) 2019-02-05 2019-02-05 機械制御装置

Publications (2)

Publication Number Publication Date
JP2020126460A JP2020126460A (ja) 2020-08-20
JP6892461B2 true JP6892461B2 (ja) 2021-06-23

Family

ID=71615120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019018744A Active JP6892461B2 (ja) 2019-02-05 2019-02-05 機械制御装置

Country Status (4)

Country Link
US (1) US11698434B2 (ja)
JP (1) JP6892461B2 (ja)
CN (1) CN111522295B (ja)
DE (1) DE102020200009A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH716246A1 (fr) * 2019-06-03 2020-12-15 Watch Out Sa Module d'usinage et machine-outil comprenant une unité de suivi de l'usure de l'outil, et procédés de détection de la position, du profil et de l'usure de l'outil.

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
JP2005297168A (ja) * 2004-04-16 2005-10-27 Fujinon Corp 遠隔操作ロボット
EP2275990B1 (de) * 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US10074179B2 (en) * 2013-05-07 2018-09-11 Sharp Kabushiki Kaisha Image measurement device
CN104959982A (zh) * 2013-10-10 2015-10-07 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
WO2015145543A1 (ja) * 2014-03-24 2015-10-01 株式会社日立製作所 物体検出装置、物体検出方法、および移動ロボット
JP5837148B1 (ja) * 2014-06-18 2015-12-24 ファナック株式会社 工作機械の熱変位補正装置
JP6424362B2 (ja) * 2014-09-26 2018-11-21 株式会社明電舎 線条計測装置及びその方法
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
JP2016134090A (ja) * 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム
JP2016135512A (ja) * 2015-01-23 2016-07-28 東レエンジニアリング株式会社 板状物移載装置および板状物移載方法
JP6685776B2 (ja) * 2016-03-09 2020-04-22 キヤノン株式会社 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法

Also Published As

Publication number Publication date
DE102020200009A1 (de) 2020-08-06
US20200249309A1 (en) 2020-08-06
CN111522295A (zh) 2020-08-11
JP2020126460A (ja) 2020-08-20
US11698434B2 (en) 2023-07-11
CN111522295B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
JP5911934B2 (ja) 輪郭線計測装置およびロボットシステム
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
JP6180087B2 (ja) 情報処理装置及び情報処理方法
CN112276936B (zh) 三维数据生成装置以及机器人控制系统
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
US20150314452A1 (en) Information processing apparatus, method therefor, measurement apparatus, and working apparatus
JP2017033429A (ja) ３次元物体検査装置
JP2020047049A (ja) 画像処理装置及び画像処理方法
CN111152243B (zh) 控制系统
JP5858773B2 (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
US10591289B2 (en) Method for measuring an artefact
JP6892461B2 (ja) 機械制御装置
JP6892462B2 (ja) 機械制御装置
Li et al. A calibration algorithm of the structured light vision for the arc welding robot
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
CN114945450B (zh) 机器人系统
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
CN114902281A (zh) 图像处理系统
JP2006153654A (ja) 三次元計測装置および三次元計測方法
KR100784734B1 (ko) 산업용 로봇 시스템의 타원 보간방법
JP7476814B2 (ja) 検査装置
JP7346363B2 (ja) 単眼撮像装置による三次元座標測定方法
KR101467898B1 (ko) 레이저 포인터를 이용한 마킹 보조 장치 및 방법
JP7544342B2 (ja) 三次元計測システムおよび三次元計測方法
JP2023011319A (ja) 調整支援システムおよび調整支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210527

R150 Certificate of patent or registration of utility model

Ref document number: 6892461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150