[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7482662B2 - 異常検出装置及び異常検出方法 - Google Patents

異常検出装置及び異常検出方法 Download PDF

Info

Publication number
JP7482662B2
JP7482662B2 JP2020054721A JP2020054721A JP7482662B2 JP 7482662 B2 JP7482662 B2 JP 7482662B2 JP 2020054721 A JP2020054721 A JP 2020054721A JP 2020054721 A JP2020054721 A JP 2020054721A JP 7482662 B2 JP7482662 B2 JP 7482662B2
Authority
JP
Japan
Prior art keywords
image data
unit
abnormal
abnormality
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020054721A
Other languages
English (en)
Other versions
JP2021157303A (ja
Inventor
基 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Electron Ltd
Original Assignee
Tokyo Electron Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Electron Ltd filed Critical Tokyo Electron Ltd
Priority to JP2020054721A priority Critical patent/JP7482662B2/ja
Priority to TW110108720A priority patent/TW202205126A/zh
Priority to KR1020210032593A priority patent/KR20210119883A/ko
Priority to CN202110285105.6A priority patent/CN113447494A/zh
Priority to US17/205,422 priority patent/US11928810B2/en
Publication of JP2021157303A publication Critical patent/JP2021157303A/ja
Priority to US18/435,497 priority patent/US20240212130A1/en
Priority to JP2024072273A priority patent/JP2024105362A/ja
Application granted granted Critical
Publication of JP7482662B2 publication Critical patent/JP7482662B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/91Investigating the presence of flaws or contamination using penetration of dyes, e.g. fluorescent ink
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B05SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05BSPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B05SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05BSPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/084Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to condition of liquid or other fluent material already sprayed on the target, e.g. coating thickness, weight or pattern
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B05SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05CAPPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本開示は、異常検出装置及び異常検出方法に関する。
特許文献1は、検査領域を有する教示用画像の検査領域の画像から特徴量を変化させた変化検査領域画像を生成し、教示用画像に変化検査領域画像を配置した新規欠陥追加教示用画像を生成する方法を開示する。
特開2006-337152号公報
本開示は、異常を精度良く検出する技術を提供する。
本開示の一態様による異常検出装置は、第1生成部と、第2生成部と、取得部と、検出部とを有する。第1生成部は、液体供給部を備えた設備であって、液体供給部から液体を正常に供給する設備を撮影した正常画像データの画像のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する。第2生成部は、正常画像データ及び疑似異常画像データの学習を行い、設備の正常、異常を判定する判定モデルを生成する。取得部は、設備を撮影した画像データを取得する。検出部は、判定モデルを用いて取得部により取得された画像データから設備の異常を検出する。
本開示によれば、異常を精度良く検出できる。
図1は、実施形態に係る監視対象の一例を示す概略図である。 図2は、実施形態に係る監視対象を撮影した画像の一例を示す図である。 図3は、実施形態に係る異常検出装置の概略的な構成を示したブロック図である。 図4は、実施形態に係る疑似異常画像データの一例を示す図である。 図5は、実施形態に係る異常検出の一例を模式的に示した図である。 図6は、実施形態に係る生成処理の流れの一例を示すフローチャートである。 図7は、実施形態に係る異常検出処理の流れの一例を示すフローチャートである。
以下、図面を参照して本願の開示する異常検出装置、及び異常検出方法の実施形態について詳細に説明する。なお、本実施形態により、開示する異常検出装置、及び異常検出方法が限定されるものではない。
ところで、AI(Artificial Intelligence)などの学習モデルを利用した異常の検出が検討されている。この学習モデルを利用した異常の検出では、監視対象が正常に動作している場合の正常画像データのみを学習モデルに学習させた場合、狭い範囲の異常を精度良く検出できない場合がある。そこで、監視対象に異常が発生した場合の異常画像データも学習モデルに学習させることが考えられる。しかし、現実には、監視対象に異常が発生する箇所が様々にある。また、監視対象に異常が発生することが稀な場合がある。このため、監視対象に実際に異常が発生した異常画像データから学習に必要となる十分な異常画像データを取得することが難しい場合がある。この結果、学習モデルを利用した異常の検出では、異常を精度良く検出できない場合がある。
そこで、異常を精度良く検出できる技術が期待されている。
[実施形態]
[監視対象]
実施形態について説明する。以下では、異常検出装置により監視対象の異常の発生を検出する場合を例に説明する。また、以下では、監視対象を、液体を吐出する塗布ユニットとした場合を例に説明する。図1は、実施形態に係る監視対象の一例を示す概略図である。図1には、監視対象として、液体を吐出する塗布ユニット10が示されている。塗布ユニット10は、液体供給部を備えた設備の一例である。塗布ユニット10は、例えばレジスト、純水、溶剤などの液体を使用する塗布装置や現像装置などの液処理装置に設けられる。
図1には、液体を吐出する対象面Sが示されている。対象面Sは、例えば、半導体ウエハ等の基板上面の液体を塗布する面である。塗布ユニット10は、対象面Sの周囲に配置されている。塗布ユニット10は、アーム11と、支持部12とを有する。アーム11は、支持部12に支持されている。アーム11は、先端11aが対象面Sの上に位置するように配置されている。アーム11の先端11aには、液体の吐出口であるノズル13が設けられている。ノズル13は、アーム11及び支持部12の内部に設けられた不図示の配管を介して、液体の供給源、バルブ及び定量ポンプを含む不図示の供給系に接続されている。塗布ユニット10は、供給系から供給された液体をノズル13から吐出する。なお、塗布ユニット10は、移動機構を備え、アーム11を水平方向及び垂直方向に移動可能としてもよい。また、塗布ユニット10は、支持部12を回転させることでアーム11の先端11aが対象面S上となる塗布位置と、対象面S上から外れた待機位置とに移動可能としてもよい。
塗布ユニット10の周囲には、カメラ20が配置されている。カメラ20は、画角内にアーム11、ノズル13及び対象面Sが入るように配置され、アーム11やノズル13を側面視した画像を撮影可能とされている。カメラ20は、塗布ユニット10が対象面Sに液体を吐出する塗布処理中のノズル13を備えたアーム11及び対象面Sの状況を、所定のフレームレート(例えば、30fps)で撮影する。
図2は、実施形態に係る監視対象を撮影した画像の一例を示す図である。図2には、カメラ20により撮影された画像の一例が示されている。図2に示す画像には、アーム11、ノズル13、対象面Sが写っている。図2では、ノズル13から液体が吐出されて対象面Sに液体の塗布が行われている。
カメラ20により撮影された画像の画像データは、異常検出装置に出力され、異常の検出が行われる。
[異常検出装置の構成]
次に、異常検出装置について詳細に説明する。図3は、実施形態に係る異常検出装置50の概略的な構成を示したブロック図である。異常検出装置50は、例えば、パーソナルコンピュータやサーバコンピュータなどのコンピュータである。異常検出装置50は、外部I/F(interface)部51と、表示部52と、入力部53と、記憶部54と、制御部55とを有する。なお、異常検出装置50は、図3に示した機能部以外にも既知のコンピュータが有する各種の機能部を有してもよい。
外部I/F部51は、他の装置と情報を入出力するインタフェースである。例えば、外部I/F部51は、例えば、USB(Universal Serial Bus)ポートや、LANポートなどの通信インタフェースである。外部I/F部51は、カメラ20から撮影された画像の画像データが入力する。
表示部52は、各種情報を表示する表示デバイスである。表示部52としては、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などの表示デバイスが挙げられる。表示部52は、各種情報を表示する。
入力部53は、各種の情報を入力する入力デバイスである。例えば、入力部53としては、マウスやキーボードなどの入力デバイスが挙げられる。入力部53は、管理者などからの操作入力を受付け、受付けた操作内容を示す操作情報を制御部55に入力する。
記憶部54は、各種のデータを記憶する記憶デバイスである。例えば、記憶部54は、ハードディスク、SSD(Solid State Drive)、光ディスクなどの記憶装置である。なお、記憶部54は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。
記憶部54は、制御部55で実行されるOS(Operating System)や各種プログラムを記憶する。例えば、記憶部54は、後述する生成処理や異常検出処理を実行するプログラムを含む各種のプログラムを記憶する。さらに、記憶部54は、制御部55で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部54は、モデル生成用データ60と、モデルデータ61とを記憶する。なお、記憶部54は、上記に例示したデータ以外にも、他のデータを併せて記憶することもできる。
モデル生成用データ60は、後述する判定モデルの生成に用いるデータである。モデル生成用データ60には、判定モデルの生成に用いる各種のデータが含まれる。例えば、モデル生成用データ60は、複数の正常画像データ60aと、複数の実異常画像データ60bと、複数の疑似異常画像データ60cとを含む。
正常画像データ60aは、正常に動作する監視対象を撮影した画像の画像データである。例えば、正常画像データ60aは、塗布ユニット10が液だれ、ボタ落ちなどの異常を発生させずに液体を吐出した画像の画像データである。ここで、「液だれ」とは、ノズル13やアーム11に液体の液滴がぶら下がった状態を言う。また、「ボタ落ち」とは、ノズル13やアーム11から液体が垂れた状態を言う。例えば、塗布ユニット10が異常を発生させずに液体を吐出した一連の動作をカメラ20で撮影した複数の画像データをそれぞれ正常画像データ60aとして格納する。
実異常画像データ60bは、異常が発生した監視対象を撮影した画像の画像データである。例えば、実異常画像データ60bは、塗布ユニット10が液だれ、ボタ落ちなどの異常を発生した際の画像の画像データである。例えば、塗布ユニット10で異常が発生した際にカメラ20で撮影した画像データをそれぞれ実異常画像データ60bとして格納する。
疑似異常画像データ60cは、異常が発生した際の画像を疑似的に生成した画像データである。疑似異常画像データ60cの詳細は後述する。
モデルデータ61は、AIなどの学習モデルを利用して生成した判定モデルを記憶したデータである。
制御部55は、異常検出装置50を制御するデバイスである。制御部55としては、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路を採用できる。制御部55は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部55は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部55は、第1生成部70と、受付部71と、第2生成部72と、取得部73と、検出部74と、出力部75とを有する。
ところで、学習モデルを利用した異常の検出では、正常画像データ60aのみを学習モデルに学習させた場合、狭い範囲の異常を精度良く検出できない場合がある。そこで、監視対象に異常が発生した場合の実異常画像データ60bも学習モデルに学習させることが考えられる。しかし、現実には、監視対象に異常が発生する箇所が様々あり、また、監視対象に異常が発生することが稀な場合がある。例えば、塗布ユニット10は、ノズル13から液だれ、ボタ落ちなどの異常を発生する場合がある。また、塗布ユニット10は、アーム11の内部の配管から液漏れが発生してアーム11からから液だれ、ボタ落ちなどの異常を発生する場合がある。塗布ユニット10は、液だれ、ボタ落ちなどの異常を発生しないように設計される。このため、塗布ユニット10は、異常が発生することが稀である。例えば、アーム11で異常を発生するケースは、稀である。このため、監視対象に実際に異常が発生した異常画像データを取得することが難しい場合がある。例えば、アーム11の様々な箇所で実際に液だれ、ボタ落ちなどの異常が発生している画像データを取得するのは困難である。この結果、学習モデルを利用した異常の検出では、異常を精度良く検出できない場合がある。
そこで、第1生成部70は、正常画像データ60aの画像の一部を変更した疑似異常画像データ60cを生成する。例えば、第1生成部70は、正常画像データ60aの画像のランダムな位置に略円形の画像を合成した疑似異常画像データ60cを生成する。略円形は、円形や楕円形を含む。一例として、第1生成部70は、正常画像データ60aの画像に対して、ランダムイレーシング(Random erasing)を行い、ランダムな位置に略円形の画像を合成した疑似異常画像データ60cを生成する。ここで、ランダムイレーシングは、通常、判定のロバスト性を向上させる目的で、教師データとなる画像のランダムな一部矩形領域をマスクした画像を生成して正常とする教師データを増やす技術である。一方、本実施形態では、ランダムイレーシングを用いて、正常画像データ60aの画像に、液だれ、ボタ落ちなどの異常と類似した形状の略円形の画像を合成して疑似的に異常な疑似異常画像データ60cを生成する。
第1生成部70は、正常に動作する監視対象の一連の動作を撮影した複数の正常画像データそれぞれについて画像の一部を変更した複数の疑似異常画像データを生成する。例えば、第1生成部70は、塗布ユニット10が異常を発生させずに液体を吐出した一連の動作を撮影した複数の正常画像データ60aそれぞれについて画像の一部を変更した複数の疑似異常画像データ60cを生成する。例えば、本実施形態では、塗布ユニット10が異常を発生させずに液体を吐出した一連の動作を10回分、カメラ20で撮影した複数の画像データをそれぞれ正常画像データ60aとして記憶する。第1生成部70は、10回分のうち1回分の一連の動作の正常画像データ60aに対して、1つの正常画像データ60aの画像に1つランダムな位置に略円形の画像を合成した疑似異常画像データ60cを生成する。
ここで、監視対象は、異常が発生する箇所が特定の範囲に偏る場合がある。また、画像内での異常個所のサイズが特定のサイズ以下に偏る場合がある。例えば、塗布ユニット10は、ノズル13やアーム11で液だれ、ボタ落ちなどの異常を発生する。また、液だれ、ボタ落ちは、サイズが小さく狭い範囲で発生する。
そこで、受付部71は、画像を合成する範囲及び合成する画像のサイズの指定を受け付ける。例えば、受付部71は、画像を合成する範囲及び合成する画像のサイズの指定する画面を表示部52に表示させ、入力部53から画像を合成する範囲及び合成する画像のサイズの指定を受け付ける。
第1生成部70は、受付部71で指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データ60cを生成する。例えば、ノズル13やアーム11からの液だれ、ボタ落ちを異常として検出する場合、管理者は、ノズル13やアーム11を含む範囲と、液だれ、ボタ落ちの液滴の最大のサイズを指定する。第1生成部70は、指定されたノズル13やアーム11を含む範囲内のランダムな位置に、指定されたサイズ以下で略円形の画像を合成した疑似異常画像データ60cを生成する。
図4は、実施形態に係る疑似異常画像データ60cの一例を示す図である。図4には、図2に示した画像に、白色(白抜き)で略円形の画像80を合成した疑似異常画像が示されている。図4では、アーム11の下面付近に白色で略円形の画像80が合成されている。
なお、合成する画像80の色は、白色に限定されるものではない。合成する画像80の色は、予め定めてもよい。また、合成する画像80の色は、正常画像データ60aから定めてもよい。例えば、第1生成部70は、正常画像データ60aの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合(例えば、20%)の輝度値を輝度とした略円形の画像80を合成した疑似異常画像データ60cを生成してもよい。このように、正常画像データ60aから合成する画像80の色を定めることにより、実際の画像と類似した色で画像80を合成できる。このように、実際の画像と類似した色で画像80を合成することで、実際に発生する異常を精度良く検出できる。
第2生成部72は、複数の正常画像データ60a、複数の実異常画像データ60b及び複数の疑似異常画像データ60cの学習を行い、監視対象の正常、異常を判定する判定モデルを生成する。例えば、第2生成部72は、複数の正常画像データ60aに正常との付加情報を付し、複数の実異常画像データ60b及び複数の疑似異常画像データ60cに異常との付加情報を付する。例えば、判定モデルは、画像データが入力されると、画像データを出力するモデルとする。第2生成部72は、例えば、Opposite Learningにより、正常な画像データの再現性を高くし、異常な画像データの再現性が低くなるように学習を行い、正常な画像データについては再現性が高い画像データを出力する判定モデルを生成する。判定モデルは、疑似異常画像データ60cの学習を行うことで、現実には発生することが稀な異常を疑似異常画像データ60cから学習できる。このため、判定モデルの判定精度が向上する。なお、第2生成部72は、複数の実異常画像データ60bを用いず、複数の正常画像データ60a及び複数の疑似異常画像データ60cの学習を行って判定モデルを生成してもよい。しかし、正常画像データ60a及び疑似異常画像データ60cに加え、実異常画像データ60bの学習した判定モデルを生成することで、判定モデルは、正常データと異常データで再現性の差異を大きくでき、判定精度が向上する。
第2生成部72は、生成した判定モデルのデータをモデルデータ61として記憶部54に格納する。
取得部73は、監視対象を撮影した画像データを取得する。例えば、取得部73は、カメラ20から出力された画像データを外部I/F部51を介して取得する。
検出部74は、モデルデータ61の判定モデルを用いて取得部73により取得された画像データから監視対象の異常を検出する。図5は、実施形態に係る異常検出の一例を模式的に示した図である。例えば、検出部74は、取得された画像データを判定モデルに入力する。判定モデルは、画像データを出力する。出力された画像データは、正常な画像データである場合、入力された画像データの再現性が高く、異常な画像データである場合、再現性が低い。検出部74は、出力された画像データと入力した画像データを比較して差分を求める。例えば、検出部74は、差分として各画素の画素値の変化を求める。検出部74は、求めた差分が所定のしきい値以内の場合、正常と判定し、差分がしきい値を超えた場合、異常と判定することで、異常を検出する。
なお、判定モデルは次のようなモデルであってもよい。例えば、第2生成部72は、複数の正常画像データ60aに正常との付加情報を付し、複数の実異常画像データ60b及び複数の疑似異常画像データ60cに異常との付加情報を付する。そして、第2生成部72は、複数の正常画像データ60a、複数の実異常画像データ60b及び複数の疑似異常画像データ60cを用いてディープラニングなどの機械学習を行い、入力された画像データの正常、異常を判定して出力する判定モデルを生成する。検出部74は、取得された画像データを判定モデルに入力する。判定モデルは、入力された画像データが正常か異常かを出力する。検出部74は、判定モデルの正常、異常の出力結果を用いて異常を検出する。この場合も、第2生成部72は、複数の実異常画像データ60bを用いず、複数の正常画像データ60a及び複数の疑似異常画像データ60cの学習を行って判定モデルを生成してもよい。しかし、正常画像データ60a及び疑似異常画像データ60cに加え、実異常画像データ60bの学習した判定モデルを生成することで、生成した判定モデルは、正常、異常を判定精度が向上する。
ところで、カメラ20で撮影した画像データに一時的にノイズ等が発生して、塗布ユニット10が正常であるにも関わらず、塗布ユニット10に異常が発生したと検出される場合がある。塗布ユニット10が液体を塗布する一連の動作をカメラ20で撮影した場合、液だれ、ボタ落ちなどの異常は、複数の画像データで検出される。そこで、検出部74は、連続して撮影された所定数の画像データで異常と判定された場合、監視対象に異常が発生したと検出してもよい。例えば、検出部74は、連続して撮影された3枚の画像データで異常と判定された場合、塗布ユニット10に異常が発生したと検出する。これにより、異常を判定精度が向上する。
出力部75は、検出部74の検出結果を出力する。例えば、出力部75は、検出部74により異常が検出された場合、異常が発生した旨を表示部52に出力する。なお、出力部75は、検出部74の判定結果のデータを他の装置に出力してもよい。例えば、出力部75は、検出部74により異常と判定された場合、塗布ユニット10が搭載された装置を管理する管理装置に、異常の発生した旨のデータを出力してもよい。
[処理の流れ]
次に、実施形態に係る異常検出装置50が実施する各種の処理の流れを説明する。最初に、実施形態に係る異常検出装置50が判定モデルを生成する生成処理の流れを説明する。図6は、実施形態に係る生成処理の流れの一例を示すフローチャートである。
第1生成部70は、正常画像データ60aの画像の一部を変更した疑似異常画像データ60cを生成する(ステップS10)。例えば、第1生成部70は、正常画像データ60aの画像のランダムな位置に略円形の画像を合成した疑似異常画像データ60cを生成する。
第2生成部72は、正常画像データ60a、実異常画像データ60b及び疑似異常画像データ60cの学習を行い、監視対象の正常、異常を判定する判定モデルを生成する(ステップS11)。第2生成部72は、生成した判定モデルのデータをモデルデータ61として記憶部54に格納し(ステップS12)、処理を終了する。
次に、実施形態に係る異常検出装置50が判定モデルを用いて異常を検出する異常検出処理の流れを説明する。図7は、実施形態に係る異常検出処理の流れの一例を示すフローチャートである。
取得部73は、監視対象を撮影した画像データを取得する(ステップS20)。例えば、取得部73は、カメラ20から出力された画像データを外部I/F部51を介して取得する。
検出部74は、モデルデータ61の判定モデルを用いて取得部73により取得された画像データから監視対象の異常を検出する(ステップS21)。
出力部75は、検出部74の検出結果を出力し(ステップS22)。処理を終了する。
以上のように、実施形態に係る異常検出装置50は、第1生成部70と、第2生成部72と、取得部73と、検出部74とを有する。第1生成部70は、液体供給部(ノズル13)から液体を正常に供給する設備(塗布ユニット10)を撮影した正常画像データ60aの画像のランダムな位置に略円形の画像を合成した疑似異常画像データ60cを生成する。第2生成部72は、正常画像データ60a及び疑似異常画像データ60cの学習を行い、設備の正常、異常を判定する判定モデルを生成する。取得部73は、設備を撮影した画像データを取得する。検出部74は、判定モデルを用いて取得部73により取得された画像データから設備の異常を検出する。これにより、異常検出装置50は、判定モデルが現実には発生することが稀な異常を疑似異常画像データ60cから学習できるため、異常を精度良く検出できる。
また、第2生成部72は、正常画像データ60a及び疑似異常画像データ60cに加え、異常が発生した設備(塗布ユニット10)を撮影した実異常画像データ60bの学習を行い、判定モデルを生成する。これにより、異常検出装置50は、判定モデルが実際に発生する異常を実異常画像データ60bから学習できるため、異常をより精度良く検出できる。
また、設備(塗布ユニット10)は、液体を吐出するノズル13又は配管を設けたアーム11とする。第1生成部70は、正常画像データ60aの画像のランダムな位置に略円形の画像80を合成した疑似異常画像データ60cを生成する。これにより、異常検出装置50は、液だれ、ボタ落ちなどの異常をより精度良く検出できる。
また、異常検出装置50は、受付部71をさらに有する。受付部71は、画像を合成する範囲及び/又は合成する画像のサイズの指定を受け付ける。第1生成部70は、受付部71で指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データ60cを生成する。これにより、異常検出装置50は、検出する異常に対応して画像を合成する範囲及び合成する画像のサイズが適切に指定されることで、異常を精度良く検出できる。
また、第1生成部70は、正常画像データ60aの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データ60cを生成する。これにより、異常検出装置50は、実際に発生する異常を精度良く検出できる。
また、第1生成部70は、正常に動作する設備(塗布ユニット10)の一連の動作を撮影した複数の正常画像データ60aそれぞれについて画像のランダムな位置に略円形の画像を合成した複数の疑似異常画像データ60cを生成する。第2生成部72は、複数の正常画像データ60a及び複数の疑似異常画像データ60cの学習を行い、設備の正常、異常を判定する判定モデルを生成する。取得部73は、設備の一連の動作を撮影した複数の画像データを取得する。検出部74は、判定モデルを用いて取得部73により取得された複数の画像データの正常、異常を判定し、何れかの画像データで異常と判定された場合、設備に異常が発生したと検出する。これにより、異常検出装置50は、設備の一連の動作を判定モデルに学習させることができるため、設備の一連の動作する間に発生した異常を精度良く検出できる。
また、検出部74は、連続して撮影された所定数の画像データで異常と判定された場合、設備に異常が発生したと検出する。これにより、異常検出装置50は、異常を判定精度が向上する。
以上、実施形態について説明してきたが、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。実に、上述した実施形態は、多様な形態で具現され得る。また、上述した実施形態は、請求の範囲及びその趣旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。
例えば、上述した実施形態では、監視対象とする設備を塗布ユニット10とした場合を例に説明した。しかし、これに限定されるものではない。設備は、液体を吐出(供給)する液体供給部を備えれば、何れであってもよい。
また、上述した実施形態では、液だれ、ボタ落ちなどの異常を検出する場合を例に説明したが、これに限定されるものではない。検出する異常は、何れであってもよい。
また、上述した実施形態では、異常検出装置50において判定モデルを生成する場合を例に説明したが、これに限定されるものではない。判定モデルは、別の装置で生成されて異常検出装置50の記憶部54に格納されてもよい。異常検出装置50は、別の装置で生成されて記憶部54に格納され判定モデルを用いて、取得された画像データから設備の異常を検出してもよい。
なお、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。実に、上記した実施形態は多様な形態で具現され得る。また、上記の実施形態は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。
10 塗布ユニット
11 アーム
12 支持部
13 ノズル
20 カメラ
50 異常検出装置
51 外部I/F
52 表示部
53 入力部
54 記憶部
55 制御部
60 モデル生成用データ
60a 正常画像データ
60b 実異常画像データ
60c 疑似異常画像データ
61 モデルデータ
70 第1生成部
71 受付部
72 第2生成部
73 取得部
74 検出部
75 出力部
S 対象面

Claims (15)

  1. 液体供給部を備えた設備であって、前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する第1生成部と、
    前記正常画像データ及び前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する第2生成部と、
    前記設備を撮影した画像データを取得する取得部と、
    前記判定モデルを用いて前記取得部により取得された前記画像データから前記設備の異常を検出する検出部と、
    を有する異常検出装置。
  2. 前記第2生成部は、前記正常画像データ及び前記疑似異常画像データに加え、異常が発生した前記設備を撮影した実異常画像データの学習を行い、前記判定モデルを生成する
    請求項1に記載の異常検出装置。
  3. 前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
    請求項1又は2に記載の異常検出装置。
  4. 画像を合成する範囲及び合成する画像のサイズの指定を受け付ける受付部をさらに有し、
    前記第1生成部は、前記受付部で指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する
    請求項1~3の何れか1つに記載の異常検出装置。
  5. 前記第1生成部は、正常画像データの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データを生成する
    請求項1~4の何れか1つに記載の異常検出装置。
  6. 前記第1生成部は、正常に動作する前記設備の一連の動作を撮影した複数の正常画像データそれぞれについて画像のランダムな位置に略円形の画像を合成した複数の疑似異常画像データを生成し、
    前記第2生成部は、複数の前記正常画像データ及び複数の前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成し、
    前記取得部は、前記設備の一連の動作を撮影した複数の画像データを取得し、
    前記検出部は、前記判定モデルを用いて前記取得部により取得された複数の前記画像データの正常、異常を判定し、何れかの前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
    請求項1~5の何れか1つに記載の異常検出装置。
  7. 前記検出部は、連続して撮影された所定数の前記画像データで異常と判定された場合、前記設備に異常が発生したと検出する
    請求項6に記載の異常検出装置。
  8. 液体供給部を備えた設備であって、前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データ、及び前記正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データの学習を行って生成された判定モデルであって、前記設備の正常、異常を判定する前記判定モデルを記憶する記憶部と、
    前記設備を撮影した画像データを取得する取得部と、
    前記判定モデルを用いて前記取得部により取得された前記画像データから前記設備の異常を検出する検出部と、
    を有する異常検出装置。
  9. 前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
    請求項8に記載の異常検出装置。
  10. 液体供給部を備えた設備であって、前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する工程と、
    前記正常画像データ及び前記疑似異常画像データの学習を行い、前記設備の正常、異常を判定する判定モデルを生成する工程と、
    前記設備を撮影した画像データを取得する工程と、
    前記判定モデルを用いて、取得された前記画像データから前記設備の異常を検出する工程と、
    を有する異常検出方法。
  11. 前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
    請求項10に記載の異常検出方法。
  12. 画像を合成する範囲及び合成する画像のサイズの指定を受け付け、
    前記疑似異常画像データを生成する工程は、指定されたサイズ以下で、指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データを生成する
    請求項10又は11に記載の異常検出方法。
  13. 前記疑似異常画像データを生成する工程は、正常画像データの画像の画素の輝度値を高い順に並べた場合に上位から所定の割合の輝度値を輝度とした略円形の画像を合成した疑似異常画像データを生成する
    請求項10~12の何れか1つに記載の異常検出方法。
  14. 液体供給部を備えた設備を撮影した画像データを取得する工程と、
    前記液体供給部から液体を正常に供給する前記設備を撮影した正常画像データ、及び前記正常画像データの画像の指定された範囲内のランダムな位置に略円形の画像を合成した疑似異常画像データの学習を行って生成された判定モデルであって、前記設備の正常、異常を判定する前記判定モデルを用いて、取得された前記画像データから前記設備の異常を検出する工程と、
    を有する異常検出方法。
  15. 前記液体供給部は、液体を吐出するノズル又は配管を設けたアームからなる
    請求項14に記載の異常検出方法。
JP2020054721A 2020-03-25 2020-03-25 異常検出装置及び異常検出方法 Active JP7482662B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020054721A JP7482662B2 (ja) 2020-03-25 2020-03-25 異常検出装置及び異常検出方法
TW110108720A TW202205126A (zh) 2020-03-25 2021-03-11 異常檢測裝置及異常檢測方法
KR1020210032593A KR20210119883A (ko) 2020-03-25 2021-03-12 이상 검출 장치 및 이상 검출 방법
CN202110285105.6A CN113447494A (zh) 2020-03-25 2021-03-17 异常检测装置和异常检测方法
US17/205,422 US11928810B2 (en) 2020-03-25 2021-03-18 Abnormality detection apparatus and abnormality detection method
US18/435,497 US20240212130A1 (en) 2020-03-25 2024-02-07 Abnormality detection apparatus and abnormality detection method
JP2024072273A JP2024105362A (ja) 2020-03-25 2024-04-26 異常検出装置及び異常検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020054721A JP7482662B2 (ja) 2020-03-25 2020-03-25 異常検出装置及び異常検出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024072273A Division JP2024105362A (ja) 2020-03-25 2024-04-26 異常検出装置及び異常検出方法

Publications (2)

Publication Number Publication Date
JP2021157303A JP2021157303A (ja) 2021-10-07
JP7482662B2 true JP7482662B2 (ja) 2024-05-14

Family

ID=77809078

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020054721A Active JP7482662B2 (ja) 2020-03-25 2020-03-25 異常検出装置及び異常検出方法
JP2024072273A Pending JP2024105362A (ja) 2020-03-25 2024-04-26 異常検出装置及び異常検出方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024072273A Pending JP2024105362A (ja) 2020-03-25 2024-04-26 異常検出装置及び異常検出方法

Country Status (5)

Country Link
US (2) US11928810B2 (ja)
JP (2) JP7482662B2 (ja)
KR (1) KR20210119883A (ja)
CN (1) CN113447494A (ja)
TW (1) TW202205126A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230096364A (ko) * 2021-12-23 2023-06-30 (주)아이티공간 Gan 알고리즘을 이용한 기기의 예지 보전방법
KR102611403B1 (ko) * 2022-02-21 2023-12-08 다겸 주식회사 수리 파트 결정 기능 및 수리 완성도 평가 기능을 포함하는 이상 탐지 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018074757A (ja) 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム
WO2019146456A1 (ja) 2018-01-26 2019-08-01 東京エレクトロン株式会社 基板処理装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6888958B1 (en) * 1999-03-30 2005-05-03 Kabushiki Kaisha Toshiba Method and apparatus for inspecting patterns
DE10314071B3 (de) * 2003-03-28 2004-09-30 Koenig & Bauer Ag Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
US7787692B2 (en) * 2003-09-25 2010-08-31 Fujifilm Corporation Image processing apparatus, image processing method, shape diagnostic apparatus, shape diagnostic method and program
JP2006337152A (ja) 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体
JP6092471B2 (ja) * 2014-04-21 2017-03-08 富士フイルム株式会社 インクジェット記録装置のメンテナンスシステム
US20230123194A1 (en) * 2017-01-16 2023-04-20 Aptar France Sas Method for analysing a spray generated by a device for dispensing fluid pharmaceutical product
JP6772963B2 (ja) * 2017-06-05 2020-10-21 トヨタ自動車株式会社 異常診断装置及び異常診断方法
US10369825B2 (en) * 2017-06-06 2019-08-06 Kyocera Document Solutions Inc. Systems and methods for supply quality measurement
US11386546B2 (en) * 2018-02-09 2022-07-12 Fuji Corporation System for creating learned model for component image recognition, and method for creating learned model for component image recognition
JP6879431B2 (ja) * 2018-03-29 2021-06-02 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN112602020A (zh) * 2018-08-15 2021-04-02 Asml荷兰有限公司 利用机器学习从原始图像自动选择高品质平均扫描电镜图像
CN112639611B (zh) * 2018-08-31 2024-08-13 Asml荷兰有限公司 测量方法和设备
JP7211751B2 (ja) * 2018-10-05 2023-01-24 株式会社Screenホールディングス 基板処理装置および基板処理方法
BE1026775B1 (de) * 2018-11-09 2020-06-08 Phoenix Contact Gmbh & Co Vorrichtung und Verfahren zum kalibrierten Prüfen einer Bedruckung eines Artikels
US10616447B1 (en) * 2019-01-14 2020-04-07 Xerox Corporation Scanner approximation of an in-line spectrophotometer (ILS) in duplex systems
KR102692897B1 (ko) * 2019-02-25 2024-08-08 에이에스엠엘 네델란즈 비.브이. 프린트된 패턴들의 확률적 변동을 결정하는 방법
CN111915549A (zh) * 2019-05-09 2020-11-10 富泰华工业(深圳)有限公司 瑕疵检测方法、电子装置及计算机可读存储介质
JP7220629B2 (ja) * 2019-06-27 2023-02-10 株式会社Screenホールディングス 画像判別モデル構築方法、画像判別装置、および画像判別方法
JP7331568B2 (ja) * 2019-09-12 2023-08-23 東京エレクトロン株式会社 液処理装置及び液処理装置の液検出方法
JP7273169B2 (ja) * 2019-09-18 2023-05-12 富士フイルム株式会社 印刷物検査装置、印刷物検査方法、プログラム及び印刷装置
WO2021079645A1 (ja) * 2019-10-24 2021-04-29 株式会社日立ハイテク 自動分析装置および試薬の分注方法
US11734814B2 (en) * 2019-12-12 2023-08-22 Ricoh Company, Ltd. Enhanced print defect detection
EP3839530A1 (en) * 2019-12-20 2021-06-23 Siemens Aktiengesellschaft Methods and systems for assessing printed circuit boards
CN111260731B (zh) * 2020-01-10 2023-05-12 大连理工大学 一种棋盘格亚像素级角点自适应检测的方法
FR3107643B1 (fr) * 2020-02-27 2022-01-21 Oreal Machine pour la distribution d’une quantité contrôlée d’une composition cosmétique
JP2022083487A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 検査システム、管理装置、検査方法、プログラム、記録媒体および物品の製造方法
JP2022125593A (ja) * 2021-02-17 2022-08-29 トヨタ自動車株式会社 異常検出方法および異常検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018074757A (ja) 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム
WO2019146456A1 (ja) 2018-01-26 2019-08-01 東京エレクトロン株式会社 基板処理装置

Also Published As

Publication number Publication date
CN113447494A (zh) 2021-09-28
JP2024105362A (ja) 2024-08-06
JP2021157303A (ja) 2021-10-07
TW202205126A (zh) 2022-02-01
US20240212130A1 (en) 2024-06-27
US20210304383A1 (en) 2021-09-30
US11928810B2 (en) 2024-03-12
KR20210119883A (ko) 2021-10-06

Similar Documents

Publication Publication Date Title
JP2024105362A (ja) 異常検出装置及び異常検出方法
US20200202505A1 (en) Display panel detection method, apparatus and system
US11189019B2 (en) Method for detecting defects, electronic device, and computer readable medium
KR102301437B1 (ko) 비전 검사 장치 및 이의 얼룩 검출 방법
TWI758609B (zh) 影像生成裝置及影像生成方法
EP3353769A1 (en) Testing of display subsystems
JP2007205864A (ja) 基盤検査装置、及び、基盤検査方法
US7869645B2 (en) Image capture and calibratiion
US20090213226A1 (en) Low-cost and pixel-accurate test method and apparatus for testing pixel generation circuits
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
KR101619097B1 (ko) 반도체 제조 공정에서의 공정 모니터링 시스템
KR101756586B1 (ko) 디스플레이 모듈의 멀티 커넥터 동시 컨택 테스트 장치
US20070043523A1 (en) System and method for inspecting pictures of a liquid crystal display
KR102688199B1 (ko) 촬상 장치 및 이의 구동 방법
KR20190060524A (ko) 코팅 물질의 도포 상태 모니터링 장치 및 방법
CN111638403A (zh) 静电测试方法及测试装置
JP6184746B2 (ja) 欠陥検出装置、欠陥修正装置および欠陥検出方法
JP4947887B2 (ja) 半導体製品の製造工程における処理評価方法および装置
JP2008046012A (ja) 欠陥検出装置および欠陥検出方法
US11087719B2 (en) Method and system for correcting OSD triggering region offset
CN112416689B (zh) 一种辅助研发人员分析小概率不开机问题的方法
JP2009124216A (ja) 表示装置の検査装置及び方法、並びに製造方法
CN109844805B (zh) 图像处理用元件形状数据生成系统及图像处理用元件形状数据生成方法
KR101199274B1 (ko) 플라즈마 처리 시스템을 위한 컴퓨터 구현 데이터 표시 기술
KR20230089381A (ko) 표시결함 검출 시스템 및 그 검출 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7482662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150