JP6608708B2 - Appearance inspection apparatus, appearance inspection method, and computer program executable by controller used in appearance inspection apparatus - Google Patents
Appearance inspection apparatus, appearance inspection method, and computer program executable by controller used in appearance inspection apparatus Download PDFInfo
- Publication number
- JP6608708B2 JP6608708B2 JP2016002458A JP2016002458A JP6608708B2 JP 6608708 B2 JP6608708 B2 JP 6608708B2 JP 2016002458 A JP2016002458 A JP 2016002458A JP 2016002458 A JP2016002458 A JP 2016002458A JP 6608708 B2 JP6608708 B2 JP 6608708B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- module
- flow
- measurement
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、複数の異なる撮像パラメータで撮像が複数回行われる複雑な処理シーケンスであっても、全体として検査タクトを向上させることができる外観検査装置、外観検査方法及び該外観検査装置に用いるコントローラで実行することが可能なコンピュータプログラムに関する。 The present invention provides an appearance inspection apparatus, an appearance inspection method, and a controller used in the appearance inspection apparatus capable of improving the inspection tact as a whole even in a complicated processing sequence in which imaging is performed a plurality of times with a plurality of different imaging parameters. The present invention relates to a computer program that can be executed on the computer.
検査対象物の外観検査を実行する場合、生産ライン上を流れてくる検査対象物の表面を撮像し、撮像された画像に基づいて検査対象物の位置ずれの有無、欠陥の有無等の検査を行い、検査対象物の良否判定を行っている(特許文献1参照)。外観検査装置によっては、ユーザが作成した各画像処理の処理手順(以下、処理フロー)をカスタマイズすることで、ユーザのニーズに合わせた外観検査を行うことができる。 When performing an appearance inspection of an inspection object, the surface of the inspection object flowing on the production line is imaged, and the inspection object is inspected for the presence or absence of a displacement, the presence or absence of defects, etc. based on the captured image. And the quality of the inspection object is determined (see Patent Document 1). Depending on the appearance inspection apparatus, it is possible to perform an appearance inspection that meets the needs of the user by customizing the processing procedure (hereinafter, processing flow) of each image processing created by the user.
この場合、ユーザは、処理フローのカスタマイズ専用のソフトウェア上において、各画像処理に対応付けられた複数の処理ユニットを所望の処理シーケンスに合致するように配置することで所望の処理手順を作成する。その後、作成した処理手順をコントローラにおいて実行することが可能な制御プログラムを作成してコントローラに転送する。コントローラは、各画像処理を所望の処理手順と同期させて実行する。 In this case, the user creates a desired processing procedure by arranging a plurality of processing units associated with each image processing so as to match a desired processing sequence on software dedicated to customization of the processing flow. Thereafter, a control program capable of executing the created processing procedure in the controller is created and transferred to the controller. The controller executes each image processing in synchronization with a desired processing procedure.
一周期分の処理シーケンスに要する時間を短縮することは、検査タクトのさらなる向上に寄与する。例えば処理シーケンスが、撮像ユニットと計測ユニットとを、この順番に1個ずつ配置している場合、計測ユニットにおける計測処理が完了する前に次の処理シーケンスにおける撮像ユニットにおける撮像処理を実行することで、一周期分の処理シーケンスに要する時間を短縮することができる。 Reducing the time required for the processing sequence for one cycle contributes to further improvement in inspection tact. For example, when the processing sequence includes an imaging unit and a measurement unit one by one in this order, the imaging process in the imaging unit in the next processing sequence is executed before the measurement process in the measurement unit is completed. The time required for the processing sequence for one cycle can be shortened.
そのため、計測ユニットにおける計測処理の実行中に、次の処理シーケンスのための撮像処理を実行し、取得した画像データをバッファに一時記憶する。しかし、一時記憶された画像データは、現在実行されている処理シーケンスの撮像ユニットにおいて設定されているシャッター速度、照明方法等の撮像パラメータにより撮像された画像データである。したがって、例えば次の処理シーケンスにおける撮像ユニットで設定されている撮像パラメータが相違する場合には、一時記憶する画像データ自体を次の処理シーケンスでは使用することができず、全体として処理時間を短縮することができないという問題点があった。特に、1つの処理シーケンスの中に複数の撮像ユニットが存在する場合には、それぞれの撮像ユニット間で正しいパラメータに切り替えることが困難になる。 Therefore, during the execution of the measurement process in the measurement unit, the imaging process for the next process sequence is executed, and the acquired image data is temporarily stored in the buffer. However, the temporarily stored image data is image data captured with imaging parameters such as a shutter speed and an illumination method set in the imaging unit of the currently executed processing sequence. Therefore, for example, when the imaging parameters set in the imaging unit in the next processing sequence are different, the temporarily stored image data itself cannot be used in the next processing sequence, and the processing time is shortened as a whole. There was a problem that it was not possible. In particular, when there are a plurality of imaging units in one processing sequence, it is difficult to switch to the correct parameters between the imaging units.
本発明は、上記事情に鑑みてなされたものであり、複数の異なる撮像パラメータで撮像が複数回行われる複雑な処理シーケンスであっても、全体として検査タクトを向上させることができる外観検査装置、外観検査方法及び該外観検査装置に用いるコントローラで実行することが可能なコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an appearance inspection apparatus capable of improving inspection tact as a whole even in a complicated processing sequence in which imaging is performed a plurality of times with a plurality of different imaging parameters, It is an object of the present invention to provide an appearance inspection method and a computer program that can be executed by a controller used in the appearance inspection apparatus.
上記目的を達成するために第1発明に係る外観検査装置は、検査対象物を撮像して画像データを生成する撮像手段と、該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラとを有し、前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置において、前記処理モジュールは、少なくとも前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールとを含み、前記コントローラは、前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成するとともに、記憶されている画像データに基づいて前記計測モジュールで計測処理を実行する計測フローを生成するフロー生成手段と、前記フロー生成手段で生成された前記撮像フローに従って、該撮像フローに含まれる前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像する撮像フロー実行手段と、前記フロー生成手段で生成された計測フローに従って、該計測フローに含まれる前記計測モジュールにおいて、前記撮像フロー実行手段により撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する計測フロー実行手段と、前記計測フローにおける計測処理の実行結果に基づいて、検査対象物の良否を判定する良否判定手段とを備え、前記撮像フロー実行手段は、前記計測フロー実行手段による計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像するよう構成されてなることを特徴とする。 In order to achieve the above object, an appearance inspection apparatus according to a first aspect of the present invention performs imaging processing based on image data generated by an imaging unit that images an inspection object and generates image data. A visual inspection apparatus that executes a plurality of processing modules to which parameters are assigned in synchronization with a processing flow according to a control program. An imaging module that images at least the inspection object by the imaging means and stores the generated image data, and measures the image data associated with the imaging module by the processing flow and stored by the imaging module and a measurement module for execution, the double controller is included in the processing flow Thereby generating an imaging flow by extracting maintain a relative order of said imaging module, the flow generation for generating a measuring flows for executing the measurement process in the measurement module based on image data stored In accordance with the imaging flow generated by the means and the flow generating means, for each of the imaging modules included in the imaging flow, the imaging parameter assigned to the imaging module is set in the imaging means to image the inspection object an imaging flow execution means for, in accordance with the generated measured flow by the flow chart generation unit, in the measurement module included in the measurement flow, among the image data stored is captured by the imaging flow execution unit, said measurement the image data stored is picked up by the image pickup module associated et a module And measuring the flow execution means for executing the total measurement process for, on the basis of the measurement process of the execution result of the measurement flow and a quality judging means for judging the quality of the inspection object, the imaging flow execution unit, the During the execution of the measurement process by the measurement flow execution means, the imaging object is imaged for each of the imaging modules while rewriting the setting of the imaging parameters for the imaging means .
次に、上記目的を達成するために第2発明に係る外観検査装置は、検査対象物を撮像して画像データを生成する撮像手段と、該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラとを有し、前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置において、前記処理モジュールは、少なくとも前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールとを含み、前記コントローラは、前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持しつつ、前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像して記憶する撮像フロー実行手段と、前記処理フローに含まれる前記計測モジュールにおいて、前記撮像フロー実行手段により撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する計測フロー実行手段と、前記計測フロー実行手段による計測処理の実行結果に基づいて、検査対象物の良否を判定する良否判定手段とを備え、前記撮像フロー実行手段は、前記計測フロー実行手段による計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像するよう構成されてなることを特徴とする。 Next, in order to achieve the above object, an appearance inspection apparatus according to a second aspect of the present invention includes an imaging unit that images an inspection object and generates image data, and image processing based on the image data generated by the imaging unit A visual inspection apparatus that executes a plurality of processing modules assigned parameters according to a control program in synchronization with a processing flow. processing module captures an inspection object by at least the imaging unit, an imaging module for storing the generated image data, associated with the imaging module by the processing flow, the image data stored by the imaging module and a measuring module for performing measurements for said controller, included in the processing flow That while a plurality of the imaging module to maintain the relative order, for each of the imaging module, an imaging for storing imaging parameters assigned to the imaging module by the image shooting the test object is set to the image pickup means In the flow execution unit and the measurement module included in the processing flow, among the image data captured and stored by the imaging flow execution unit, the image is captured and stored by the imaging module associated with the measurement module. Measurement flow execution means for executing measurement processing on the obtained image data, and pass / fail determination means for determining pass / fail of the inspection object based on the execution result of the measurement processing by the measurement flow execution means , and the imaging flow The execution unit performs the imaging for each imaging module during the execution of the measurement process by the measurement flow execution unit. The Rukoto such is configured to image the inspection object while rewriting the setting of the imaging parameters for device characterized.
また、第3発明に係る外観検査装置は、第1又は第2発明において、先行する処理モジュールの実行結果に依存するか否かに基づいて、前記撮像モジュールの処理の実行を待機するか否かを決定することが好ましい。 Further, in the first or second invention, the appearance inspection apparatus according to the third invention waits for execution of the processing of the imaging module based on whether or not it depends on the execution result of the preceding processing module. Is preferably determined.
また、第4発明に係る外観検査装置は、第3発明において、先行する処理モジュールが前記計測モジュールである場合、前記撮像モジュールの処理の実行を前記計測モジュールの処理の実行が終了するまで待機することが好ましい。 In the visual inspection apparatus according to the fourth aspect of the present invention, when the preceding processing module is the measurement module in the third aspect, the process of the imaging module waits until the execution of the process of the measurement module is completed. It is preferable.
また、第5発明に係る外観検査装置は、第3発明において、先行する処理モジュールが前記撮像モジュールである場合、先行する前記撮像モジュールの処理の実行が終了したときに、次の前記撮像モジュールの処理の実行を開始することが好ましい。 Further, in the appearance inspection apparatus according to the fifth invention, in the third invention, when the preceding processing module is the imaging module, the execution of the processing of the preceding imaging module is completed when the preceding imaging module is finished. It is preferable to start execution of the process.
次に、上記目的を達成するために第6発明に係る外観検査方法は、検査対象物を撮像して画像データを生成する撮像手段と、該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラとを有し、前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置で実行することが可能な外観検査方法において、前記処理モジュールは、少なくとも前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールとを含み、前記コントローラは、前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成するとともに、記憶されている画像データに基づいて前記計測モジュールで計測処理を実行する計測フローを生成するステップと、生成された前記撮像フローに従って、該撮像フローに含まれる前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像するステップと、生成された計測フローに従って、該計測フローに含まれる前記計測モジュールにおいて、撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行するステップと、前記計測フローにおける実行結果に基づいて、検査対象物の良否を判定するステップとを含み、計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像することを特徴とする。 Next, in order to achieve the above object, an appearance inspection method according to a sixth aspect of the invention includes an imaging unit that images an inspection target and generates image data, and image processing based on the image data generated by the imaging unit. And a controller that determines whether the inspection object is good or not, and the controller executes, in accordance with the control program, a plurality of processing modules assigned with parameters in synchronization with the processing flow. In the appearance inspection method that can be performed, the processing module is associated with the imaging module by an imaging module that captures an image of the inspection object by at least the imaging unit and stores the generated image data , and a measuring module for performing measurements with respect to the image data stored by the imaging module, said co Controller is configured to generate a captured flow by extracting a plurality of the imaging modules included in the processing flow to maintain the relative order, the measurement process in the measurement module based on image data stored generating a measurement flows to be executed, according to the generated image pickup flows, for each of the imaging module included in the imaging flow, by setting the imaging parameters assigned to the imaging module to said imaging means inspected imaging comprising the steps of image shooting an object, in accordance with the generated measured flows in said measuring module included in the measurement flow, among the image data stored being imaged by the imaging module associated with the measurement module and performing a total measurement processing on the image data stored is, the counted Based on the execution result in the flow, viewed contains and determining the quality of the inspection object, while the measurement process performed for each of the imaging module, the inspection object while rewriting the setting of the imaging parameter to said image pickup means Is taken .
次に、上記目的を達成するために第7発明に係る外観検査方法は、検査対象物を撮像して画像データを生成する撮像手段と、該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラとを有し、前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置で実行することが可能な外観検査方法において、前記処理モジュールは、少なくとも前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールとを含み、前記コントローラは、前記処理フローに含まれる複数の前記撮像モジュールの相対的な順序を維持しつつ、前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像して記憶するステップと、前記処理フローに含まれる前記計測モジュールにおいて、撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行するステップと、計測処理の実行結果に基づいて、検査対象物の良否を判定するステップとを含み、計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像することを特徴とする。 Next, in order to achieve the above object, an appearance inspection method according to a seventh aspect of the invention includes an imaging unit that images an inspection object and generates image data, and image processing based on the image data generated by the imaging unit. And a controller that determines whether the inspection object is good or not, and the controller executes, in accordance with the control program, a plurality of processing modules assigned with parameters in synchronization with the processing flow. In the appearance inspection method that can be performed, the processing module is associated with the imaging module by an imaging module that captures an image of the inspection object by at least the imaging unit and stores the generated image data , and a measuring module for performing measurements with respect to the image data stored by the imaging module, said co Controller, said process multiple relative order of the imaging module one maintain quality included in the flow, for each of the imaging module, sets the imaging parameters assigned to the imaging module to said image pickup means a step of image and storing Taking the test object Te, in the measurement module included in the processing flow, among the image data stored being imaged, is imaged by the imaging module associated with the measurement module and performing a total measurement process to the stored images data Te, based on the execution result of the measurement process, see containing and determining the quality of the inspection object, while the measurement process execution, the For each imaging module, the inspection object is imaged while rewriting the setting of the imaging parameter for the imaging means .
また、第8発明に係る外観検査方法は、第6又は第7発明において、先行する処理モジュールの実行結果に依存するか否かに基づいて、前記撮像モジュールの処理の実行を待機するか否かを決定することが好ましい。 Further, in the sixth or seventh invention, the appearance inspection method according to the eighth invention is to wait for execution of the processing of the imaging module based on whether or not it depends on the execution result of the preceding processing module. Is preferably determined.
また、第9発明に係る外観検査方法は、第8発明において、先行する処理モジュールが前記計測モジュールである場合、前記撮像モジュールの処理の実行を前記計測モジュールの処理の実行が終了するまで待機することが好ましい。 In the visual inspection method according to the ninth invention, in the eighth invention, when the preceding processing module is the measurement module, the process of the imaging module is waited until the execution of the process of the measurement module is completed. It is preferable.
また、第10発明に係る外観検査方法は、第8発明において、先行する処理モジュールが前記撮像モジュールである場合、先行する前記撮像モジュールの処理の実行が終了したときに、次の前記撮像モジュールの処理の実行を開始することが好ましい。 The visual inspection method according to a tenth aspect of the present invention is the visual inspection method according to the eighth aspect, wherein when the preceding processing module is the imaging module, the execution of the processing of the preceding imaging module is terminated. It is preferable to start execution of the process.
次に、上記目的を達成するために第11発明に係るコンピュータプログラムは、検査対象物を撮像して画像データを生成する撮像手段と、該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラとを有し、前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置で実行することが可能なコンピュータプログラムにおいて、前記処理モジュールは、少なくとも前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールとを含み、前記コントローラを、前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成するとともに、記憶されている画像データに基づいて前記計測モジュールで計測処理を実行する計測フローを生成するフロー生成手段、前記フロー生成手段で生成された前記撮像フローに従って、該撮像フローに含まれる前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像する撮像フロー実行手段、前記フロー生成手段で生成された計測フローに従って、該計測フローに含まれる前記計測モジュールにおいて、前記撮像フロー実行手段により撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する計測フロー実行手段、及び前記計測フローにおける計測処理の実行結果に基づいて、検査対象物の良否を判定する良否判定手段として機能させ、前記撮像フロー実行手段を、前記計測フロー実行手段による計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像する手段として機能させることを特徴とする。 Next, in order to achieve the above object, a computer program according to an eleventh aspect of the present invention is an image processing unit that captures an image of an inspection object and generates image data, and performs image processing based on the image data generated by the image capturing unit. A controller that executes and determines whether the inspection object is good or not, and the controller executes the plurality of processing modules to which the parameters are assigned according to the control program in synchronization with the processing flow. In the computer program capable of processing, the processing module is associated with the imaging module according to the processing flow , an imaging module that images at least the inspection object by the imaging unit, and stores the generated image data. making measurements with respect to the image data stored by the module measurement Mogi And a Lumpur, the controller, and generates an imaging flow plurality of the imaging module by extracting to maintain relative order included in the processing flow, based on the image data stored flow generating means for generating a measuring flows for executing the measurement process in the measurement module, according to the imaging flow generated by the flow generation means, for each of the imaging module included in the imaging flow, allocated to the imaging module imaging flow execution unit for image shooting the test object is set to the imaging means imaging parameters, according to the generated measured flow by the flow chart generation unit, in the measurement module included in the measurement flow, the imaging flow execution among the image data stored it is picked up by means with corresponding to the measurement module It is measuring flow execution means for executing the total measuring process on the image data stored is picked up by the image pickup module, and on the basis of the measurement process of the execution result of the measurement flow, quality determines the quality of the test object Let the imaging flow execution unit function as a determination unit , and image the inspection target while rewriting the setting of the imaging parameter for the imaging unit for each of the imaging modules during the execution of the measurement process by the measurement flow execution unit. It characterized Rukoto to function as a unit.
第1発明、第6発明及び第11発明では、コントローラは、処理フローに含まれる複数の撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成するとともに、記憶されている画像データに基づいて計測モジュールで計測処理を実行する計測フローを生成する。生成された撮像フローに従って、該撮像フローに含まれる撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを撮像手段に設定して検査対象物を撮像する。生成された計測フローに従って、該計測フローに含まれる計測モジュールにおいて、撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する。計測フローにおける実行結果に基づいて、検査対象物の良否を判定し、計測処理の実行中に、撮像モジュールごとに、撮像手段に対する撮像パラメータの設定を書き換えながら検査対象物を撮像する。これにより、撮像モジュールの機能を、検査対象物を撮像して画像データを記憶するまでと、それ以降とに分割し、画像データごとに撮像時のパラメータ(撮像手段の設定パラメータ)を対応付けているので、計測フローにおいてパラメータが正しくない画像データを用いて計測処理を実行することがない。また、画像データを記憶した時点で次の撮像フローへ移行することができるので、計測フローの終了を待たずに検査対象物を撮像することができる。したがって、全体として検査タクトを縮小することが可能となる。なお、処理フローとは、ユーザが検査対象物の外観検査のために作成した処理フローを意味している。 In the first invention, the sixth invention, and the eleventh invention, the controller generates an imaging flow by extracting a plurality of imaging modules included in the processing flow while maintaining a relative order, and stores a stored image. generating a measurement flows to perform the measurement process in the measurement module based on the data. According to the generated captured flows, each image pickup module included in the imaging flow, the imaging parameters assigned to the imaging module by setting the imaging means to image shooting the test object. According to the generated measurement flow, among the image data captured and stored in the measurement module included in the measurement flow, the image data captured and stored by the imaging module associated with the measurement module a total of Te measurement process is executed. Based on the execution result in the measurement flow, pass / fail of the inspection object is determined, and the inspection object is imaged while rewriting the setting of the imaging parameter for the imaging means for each imaging module during the execution of the measurement process . As a result, the function of the imaging module is divided into until the image of the inspection object is captured and the image data is stored, and thereafter, and the parameters at the time of imaging (setting parameters of the imaging means) are associated with each image data. Therefore, measurement processing is not executed using image data with incorrect parameters in the measurement flow. In addition, since it is possible to move to the next imaging flow when the image data is stored, it is possible to image the inspection object without waiting for the end of the measurement flow. Therefore, the inspection tact can be reduced as a whole. The process flow means a process flow created by the user for the appearance inspection of the inspection object.
第2発明及び第7発明では、コントローラは、処理フローに含まれる複数の撮像モジュールの相対的な順序を維持しつつ、撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを撮像手段に設定して検査対象物を撮像して記憶する。処理フローに含まれる計測モジュールにおいて、撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する。計測処理の実行結果に基づいて、検査対象物の良否を判定し、計測処理の実行中に、撮像モジュールごとに、撮像手段に対する撮像パラメータの設定を書き換えながら検査対象物を撮像する。これにより、撮像モジュールの機能を、検査対象物を撮像して画像データを記憶するまでと、それ以降とに分割して実行し、画像データごとに撮像時のパラメータ(撮像手段の設定パラメータ)を対応付けているので、計測フローにおいてパラメータが正しくない画像データを用いて計測処理を実行することがない。また、画像データを記憶した時点で次の撮像フローへ移行することができるので、計測フローの終了を待たずに検査対象物を撮像することができる。したがって、全体として検査タクトを縮小することが可能となる。 In the second invention and the seventh invention, the controller, while maintaining the relative order of the plurality of imaging modules included in the processing flow for each imaging module, an imaging parameter attached Ri assigned to the imaging module It is set to the imaging means for storing test object shooting image to. In the measurement module included in the processing flow, among the image data stored being imaged, performing a total measurement processing on the image data stored it is picked up by the image pickup module associated with the measurement module. Based on the execution result of the measurement process, the quality of the inspection object is determined, and during the measurement process , the inspection object is imaged for each imaging module while rewriting the imaging parameter settings for the imaging means . Thereby, the function of the imaging module is executed by dividing the function of the imaging module until the imaging of the inspection object and storing the image data, and thereafter, and the parameters at the time of imaging (setting parameters of the imaging means) for each image data. Since they are associated, measurement processing is not executed using image data with incorrect parameters in the measurement flow. In addition, since it is possible to move to the next imaging flow when the image data is stored, it is possible to image the inspection object without waiting for the end of the measurement flow. Therefore, the inspection tact can be reduced as a whole.
第3発明及び第8発明では、先行する処理モジュールの実行結果に依存するか否かに基づいて、撮像モジュールの処理の実行を待機するか否かを決定するので、条件次第で分岐するフローであっても、並行して撮像フローにおける処理を実行することができる場合には計測フローにおける処理と並行して実行することができるので、全体として検査タクトを縮小することが可能となる。 In the third and eighth inventions, whether to wait for the execution of the processing of the imaging module is determined based on whether or not it depends on the execution result of the preceding processing module. Even in such a case, if the process in the imaging flow can be executed in parallel, the process can be executed in parallel with the process in the measurement flow, so that the inspection tact can be reduced as a whole.
第4発明及び第9発明では、先行する処理モジュールが計測モジュールである場合、撮像モジュールの処理の実行を計測モジュールの処理の実行が終了するまで待機するので、正しくないパラメータで検査対象物を撮像することを未然に防止することができ、計測フローにおける処理を正しく実行することが可能となる。 In the fourth and ninth inventions, when the preceding processing module is a measurement module, the process of the imaging module waits until the execution of the process of the measurement module is completed, so that the inspection object is imaged with incorrect parameters. This can be prevented in advance, and the processing in the measurement flow can be executed correctly.
第5発明及び第10発明では、先行する処理モジュールが撮像モジュールである場合、先行する撮像モジュールの処理の実行が終了したときに、次の撮像モジュールの処理の実行を開始するので、撮像モジュールのパラメータを変更した状態で次の撮像モジュールの処理を実行することができ、全体として検査タクトを縮小することが可能となる。 In the fifth and tenth inventions, when the preceding processing module is an imaging module, the execution of the processing of the next imaging module is started when the execution of the processing of the preceding imaging module is completed. The process of the next imaging module can be executed with the parameters changed, and the inspection tact can be reduced as a whole.
本発明では、撮像モジュールの機能を、検査対象物を撮像して画像データを記憶するまでと、それ以降とに分割し、画像データごとに撮像時のパラメータ(撮像手段の設定パラメータ)を対応付けているので、計測フローにおいてパラメータが正しくない画像データを用いて計測処理を実行することがない。また、画像データを記憶した時点で次の撮像フローへ移行することができるので、計測フローの終了を待たずに検査対象物を撮像することができる。したがって、全体として検査タクトを縮小することが可能となる。 In the present invention, the function of the imaging module is divided into the period from imaging the inspection object to storing the image data and the subsequent, and associating the parameters at the time of imaging (setting parameters of the imaging means) for each image data Therefore, measurement processing is not performed using image data with incorrect parameters in the measurement flow. In addition, since it is possible to move to the next imaging flow when the image data is stored, it is possible to image the inspection object without waiting for the end of the measurement flow. Therefore, the inspection tact can be reduced as a whole.
以下、本発明の実施の形態に係る外観検査装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。 Hereinafter, an appearance inspection apparatus according to an embodiment of the present invention will be described with reference to the drawings. Note that elements having the same or similar configuration or function are denoted by the same or similar reference numerals throughout the drawings referred to in the description of this embodiment, and detailed description thereof is omitted.
図1は、従来の外観検査装置の処理フローの説明図である。図1に示す処理フローは、2個の撮像モジュールと2個の計測モジュールとを含み、撮像モジュールAを実行した後に計測モジュールAを実行し、次に撮像モジュールBを実行した後に計測モジュールBを実行する処理フローとなっている。そして、撮像モジュールAと撮像モジュールBとでは、撮像デバイスに設定するべき撮像パラメータ(パラメータ)が異なる。 FIG. 1 is an explanatory diagram of a processing flow of a conventional visual inspection apparatus. The processing flow shown in FIG. 1 includes two imaging modules and two measurement modules. After the imaging module A is executed, the measurement module A is executed, and then the imaging module B is executed before the measurement module B is executed. It is a processing flow to be executed. The imaging module A and the imaging module B have different imaging parameters (parameters) to be set in the imaging device.
図1に示すように、撮像モジュールAは、撮像パラメータAの設定信号を撮像デバイスへと送信する。撮像機構は、撮像パラメータAの設定信号の受信後、トリガ信号受付の許可信号を外部入出力端子へ送信する。撮像デバイスは、外部入出力端子に接続されているPC、PLCからトリガ信号の入力を受け付け、撮像した画像データを画像メモリ(バッファメモリ)へ記憶する。 As illustrated in FIG. 1, the imaging module A transmits an imaging parameter A setting signal to the imaging device. After receiving the imaging parameter A setting signal, the imaging mechanism transmits a trigger signal acceptance permission signal to the external input / output terminal. The imaging device receives an input of a trigger signal from a PC or PLC connected to an external input / output terminal, and stores captured image data in an image memory (buffer memory).
撮像モジュールAは、画像メモリから画像データを取得し、取得した画像データに基づいて計測モジュールAが実行される。すなわち、撮像パラメータAで撮像された画像データに基づいて計測処理を実行する。 The imaging module A acquires image data from the image memory, and the measurement module A is executed based on the acquired image data. That is, the measurement process is executed based on the image data imaged with the imaging parameter A.
画像メモリに余裕がある限り、計測モジュールAの実行中に以下の処理を繰り返し行うことができる。すなわち、撮像機構は、撮像パラメータAの設定信号の受信後、トリガ信号受付の許可信号を外部入出力端子へ送信する。撮像デバイスは、外部入出力端子に接続されているPC、PLCからトリガ信号の入力を受け付け、撮像した画像データを画像メモリ(バッファメモリ)へ記憶する。 As long as there is room in the image memory, the following processing can be repeated during execution of the measurement module A. That is, after receiving the setting signal for the imaging parameter A, the imaging mechanism transmits a trigger signal acceptance permission signal to the external input / output terminal. The imaging device receives an input of a trigger signal from a PC or PLC connected to an external input / output terminal, and stores captured image data in an image memory (buffer memory).
そして、計測モジュールAの実行が終了した時点で撮像モジュールBの実行を開始する。撮像モジュールBは、撮像パラメータBの設定信号を撮像機構へと送信する。しかし、この時点で画像メモリに画像データが蓄積されているので、撮像モジュールBは、画像メモリから画像データを取得して、計測モジュールBを実行する。 Then, the execution of the imaging module B is started when the execution of the measurement module A is completed. The imaging module B transmits a setting signal for the imaging parameter B to the imaging mechanism. However, since the image data is stored in the image memory at this time, the imaging module B acquires the image data from the image memory and executes the measurement module B.
この時点で画像メモリに蓄積されているのは撮像パラメータAで撮像された画像データであり、計測モジュールBを実行するための画像データではない。つまり、計測モジュールBでは撮像パラメータBで撮像された画像データに基づいて計測処理を実行しなければならないところ、撮像パラメータAで撮像された画像データに基づいて計測処理を実行してしまうことになる。したがって、正しい計測処理を実行することができないという問題点があった。 At this time, the image data stored in the image memory is the image data captured with the imaging parameter A, not the image data for executing the measurement module B. That is, in the measurement module B, the measurement process must be performed based on the image data captured with the imaging parameter B. However, the measurement process is performed based on the image data captured with the imaging parameter A. . Therefore, there is a problem that correct measurement processing cannot be executed.
そこで、本発明では、撮像モジュールの機能を、検査対象物を撮像して画像データを記憶するまでの機能と、それ以降の機能(記憶された画像データを取得する機能)とに分割し、画像データごとに撮像時のパラメータ(カメラに設定する撮像パラメータ)を対応付けることにより、計測フローにおいて正しくないパラメータで撮像された画像データを用いて計測処理を実行することが生じないようにするとともに、画像データを記憶した時点で次の撮像フローへ移行することができるので、計測フローの終了を待たずに検査対象物を撮像することができるようにしている。以下、具体的に説明する。 Therefore, in the present invention, the function of the imaging module is divided into a function for imaging the inspection object and storing the image data, and a function after that (a function for acquiring the stored image data). By associating parameters at the time of imaging (imaging parameters set in the camera) for each data, it is possible to prevent the execution of measurement processing using image data captured with incorrect parameters in the measurement flow, and Since it is possible to shift to the next imaging flow when the data is stored, it is possible to image the inspection object without waiting for the end of the measurement flow. This will be specifically described below.
(実施の形態1)
図2は、本発明の実施の形態1に係る外観検査装置のハードウェアの構成例を示すブロック図である。図2に示すように、本実施の形態1に係る外観検査装置は、撮像手段としてのカメラ30、及びカメラ30が接続され、カメラ30で生成された画像データに基づいて計測処理を実行し、検査対象物の良否を判定するコントローラ10で構成されている。コントローラ10は、各種プログラムに基づき数値計算や情報処理を行うとともに、ハードウェア各部の制御を行う主制御部11を有している。
(Embodiment 1)
FIG. 2 is a block diagram illustrating a hardware configuration example of the appearance inspection apparatus according to the first embodiment of the present invention. As shown in FIG. 2, the appearance inspection apparatus according to the first embodiment is connected to the
主制御部11は、例えば、中央演算処理装置としてのCPU11aと、主制御部11が各種プログラムを実行する場合にワークエリアとして機能するRAM等のワークメモリ11bと、起動プログラムや初期化プログラム等が格納されたROM、フラッシュROM、EEPROM等のプログラムメモリ11cとを有している。
The
本実施の形態1に係る外観検査装置のコントローラ10は、カメラ(撮像手段)30に対して検査対象物を撮像する撮像信号を送信し、カメラ30は画像データを生成してコントローラ10へ返す。コントローラ10は、ワーク(検査対象物)に対する明るさを調整できるよう照明60の点灯を制御する照明制御部12と、カメラ30で撮像することにより得られた画像データを取り込むASIC(Application Specific Integrated Circuit)等で構成される画像入力部13と、コンソール50からの操作信号の入力を受け付ける操作入力部14と、液晶パネル等のモニタ40において画像を表示する表示用DSP等から構成される表示制御部15と、外部のPLC70、PC80等とデータ通信することが可能に接続される通信部16と、エッジ検出、面積計算等の計測処理を実行する演算用DSP等で構成される画像処理部17とを有している。画像処理部17には、計測処理用に画像データを記憶する画像メモリ17aが含まれている。
The
なお、画像入力部13に、画像データをバッファリングするためのフレームバッファが含まれていても良い。また、表示制御部15に、画像を表示させる場合に画像データを一時記憶するVRAM等のビデオメモリが含まれていても良い。これらの各ハードウェアは、バス等の電気的な通信路(配線)を介し、データ通信することが可能に接続されている。
The
主制御部11内のプログラムメモリ11cには、照明制御部12、画像入力部13、操作入力部14、表示制御部15、通信部16、及び画像処理部17の各部を、CPU11aにより制御するための制御プログラムが記憶されている。また、上述した処理フローに従った各処理の順序を定めた処理順序プログラム、すなわちPC80において生成され、PC80から転送されてきた処理順序プログラムは、プログラムメモリ11cに記憶されている。
In the
より具体的に説明すると、PC80は、ユーザ操作に基づいて、一又は複数の撮像モジュールと一又は複数の計測モジュールとが所望の順序(直列又は並列)に並べられた処理フローを設定するとともに、各モジュールに対するパラメータも設定する。撮像モジュールに対応付けられた撮像パラメータには、少なくともトリガ条件が含まれる。トリガ条件には、PLC70等の外部機器からの外部信号に基づいて撮像を行う外部トリガと、一定周期で撮像を繰り返し行う内部トリガとが含まれる。トリガ条件として外部トリガが設定されている場合におけるコントローラ10の処理動作の詳細については、図5を用いて後述する。
More specifically, the
一方で、計測モジュールに対応付けられた計測パラメータには、少なくとも、当該計測モジュールによる検査対象物の良否を判定するための閾値が含まれる。撮像パラメータが対応付けられた撮像モジュールや計測パラメータが対応付けられた計測モジュールを含む処理順序プログラムは、プログラムメモリ11cに記憶されている。なお、本実施の形態では、撮像パラメータ及び計測パラメータもプログラムメモリ11cに記憶するようにしているが、ワークメモリ11b等の別メモリに記憶するようにし、書き換えをしやすいようにしても良い。
On the other hand, the measurement parameter associated with the measurement module includes at least a threshold value for determining the quality of the inspection object by the measurement module. A processing order program including an imaging module associated with an imaging parameter and a measurement module associated with a measurement parameter is stored in the
通信部16は、外部のPLC70に接続されたセンサ(光電センサ等)でトリガ信号の入力を受け付けた場合に、入力されたトリガ信号を撮像トリガ信号として受信するインタフェースとして機能する。また、PC80から転送されてくる画像処理プログラム(処理順序プログラム)、モニタ40の表示態様を規定するレイアウト情報等を受信するインタフェースとしても機能する。
The
主制御部11のCPU11aは、通信部16を介してPLC70等の外部機器(センサであっても良い)からトリガ信号(撮像トリガ信号)の入力を受け付けた場合、画像入力部13に対して撮像指令(コマンド)を送信する。同時に、処理順序プログラムに基づいて、画像処理部17に対して、実行すべき計測処理を指示するコマンドを送信する。なお、トリガ信号(撮像トリガ信号)を生成する装置として、PLC70ではなく、光電センサ等のトリガ信号入力用のセンサを、通信部16に直接接続しておいても良い。
When the
操作入力部14は、ユーザの操作に基づくコンソール50からの操作信号を受信するインタフェースとして機能する。モニタ40は、コンソール50を用いたユーザの操作内容を表示する。具体的に説明すると、コンソール50には、モニタ40上に表示されるカーソルを上下左右に移動させる十字キー、決定ボタン、キャンセルボタン等の各部品が配置されており、これらの各部品を操作することによって、ユーザはモニタ40上で、計測処理の処理順序を規定するフローチャートを作成したり、各計測処理のパラメータ値を編集したり、基準検査領域の設定をしたり、特定パターンの検出条件の設定をしたりする。例えば、PC80においてユーザにより作成された処理フロー及び各モジュールのパラメータ変更は、操作入力部14及びモニタ40を介して編集される。
The
画像入力部13は、画像データの取り込みを行う。具体的には、例えばCPU11aからカメラ30の撮像指令を受信した場合、カメラ30に対して画像データ取り込み信号を送信する。そして、カメラ30で撮像が行われた後、撮像して得られた画像データを画像メモリ17aに記憶する。
The
CPU11aは、記憶されている制御プログラムに従って、撮像パラメータ(パラメータ)が割り付けられた撮像モジュールと計測モジュールとを処理フローに同期させて実行する。以下、本実施の形態1では、処理モジュールとして、カメラ30により検査対象物を撮像し、生成された画像データを画像メモリ17aに記憶する撮像モジュールと、画像メモリ17aから記憶されている画像データを取得して計測処理を実行する計測モジュールとで構成された例について説明する。
In accordance with the stored control program, the
図3は、本発明の実施の形態1に係る外観検査装置の機能ブロック図である。図3に示すように、本実施の形態1に係る外観検査装置は、上述したCPU11a、プログラムメモリ11cに格納された各種プログラム等により、ソフトウェア的にフロー生成部301、撮像フロー実行部302、計測フロー実行部303及び良否判定部304を実現する。
FIG. 3 is a functional block diagram of the appearance inspection apparatus according to Embodiment 1 of the present invention. As shown in FIG. 3, the appearance inspection apparatus according to the first embodiment is software-driven by the
図3において、フロー生成部301は、処理フローに含まれる複数の撮像モジュールを相対的な順序を維持して抽出することで撮像フロー、及び記憶されている画像データに基づいて計測モジュールで計測処理を実行する計測フローを生成する。
In FIG. 3, the
図4は、本発明の実施の形態1に係る外観検査装置の処理フローの分解図である。図4に示すように、従来の処理フロー401を、左側の撮像フロー402と右側の計測フロー403とに分割している。すなわち、図4において、撮像フロー402は、撮像モジュールの機能のうち、検査対象物を撮像して生成された画像データを画像メモリに記憶するまでの機能を有する撮像パラメータ設定モジュールとして構成されており、残りの機能は、画像メモリから画像データを取得する画像取得モジュールとして、右側の計測フロー403に含ませている。このように、本実施の形態1では、上述したように、撮像モジュールの機能を、検査対象物を撮像して画像データを記憶するまでの機能(撮像パラメータ設定モジュールA等)と、それ以降の機能(画像取得モジュールA)とに分割している。
FIG. 4 is an exploded view of the processing flow of the appearance inspection apparatus according to Embodiment 1 of the present invention. As shown in FIG. 4, the
図3に戻って、撮像フロー実行部302は、生成された撮像フロー402に従って、複数の撮像モジュールそれぞれに割り付けられている撮像パラメータ(パラメータ)に対応付けて、複数の撮像モジュールにより検査対象物をそれぞれ撮像する。撮像された画像データは、画像メモリ17aに記憶される。撮像フロー402は、計測フロー403とは非同期で繰り返し実行される。
Returning to FIG. 3, the imaging
このように、処理フローに応じて、対応する撮像パラメータで撮像された画像データを事前に準備することができるので、記憶されている画像データの撮像パラメータに応じて計測フローにおける計測処理を実行することができ、正しくない撮像パラメータで撮像された画像データで計測フローにおける計測処理を実行することを未然に回避することができる。 In this way, since image data captured with the corresponding imaging parameter can be prepared in advance according to the processing flow, the measurement process in the measurement flow is executed according to the imaging parameter of the stored image data. Therefore, it is possible to avoid the execution of the measurement process in the measurement flow with image data captured with an incorrect imaging parameter.
計測フロー実行部303は、生成された取得フローに従って、撮像パラメータに対応付けられた撮像モジュールで撮像されて記憶されている画像データのうち、生成された計測フローに従って、対応付けられている撮像パラメータが一致する画像データに対して計測モジュールにより計測処理を実行する。具体的には、画像メモリ17aに記憶されている画像データから、計測処理の対象である撮像パラメータに対応付けられている画像データを読み出し、計測処理を実行することになる。すなわち、図4において、画像取得モジュールAが実行される場合には、撮像パラメータ設定モジュールAにて撮像された画像データが用いられる。
The measurement
良否判定部304は、計測フローにおける計測処理の実行結果に基づいて、検査対象物の良否を判定する。これにより、撮像パラメータが正しくない画像データによる計測フローにおける計測処理の実行結果に基づいて、検査対象物の良否の判定を行うことがないので、高い精度で検査対象物の良否を判定することができる。
The pass /
なお、上述したように、計測モジュールA及び計測モジュールBには、それぞれ閾値が対応付けられている。各モジュールにおいて、計測処理結果を閾値と比較することで、検査対象物の良否の判定を行う。 As described above, thresholds are associated with the measurement module A and the measurement module B, respectively. In each module, the quality of the inspection object is determined by comparing the measurement processing result with a threshold value.
また、両モジュールの良否判定結果に基づいて、処理フロー401(計測フロー403)の総合判定が行われる。具体的には、計測モジュールAがOK判定、計測モジュールBもOK判定の場合に、総合判定としてOK判定がなされる。一方、計測モジュールA又は計測モジュールBのいずれかがNG判定の場合には、総合判定としてNG判定がなされる。 Further, based on the pass / fail judgment results of both modules, a comprehensive judgment of the processing flow 401 (measurement flow 403) is performed. Specifically, when the measurement module A is OK and the measurement module B is OK, an OK determination is made as a comprehensive determination. On the other hand, when either the measurement module A or the measurement module B is NG determination, NG determination is made as a comprehensive determination.
良否判定部304による総合判定結果は、総合判定信号として例えば通信部16を介してPLC70等の外部機器へ送信される。なお、各モジュールの判定結果については、外部へ送信しても良いし、外部へ送信しなくても良い。
The comprehensive determination result by the pass /
図5は、本発明の実施の形態1に係る外観検査装置の撮像フローを示すフローチャートである。図5に示すように、本実施の形態1に係る外観検査装置の主制御部11は、撮像パラメータAを撮像機構へ送信する(ステップS501)。送信された撮像パラメータAは、カメラ30の撮像デバイスに設定され、撮像機構は、撮像パラメータAを設定後、トリガ信号受付の許可信号を外部入出力端子へ送信する。
FIG. 5 is a flowchart showing an imaging flow of the appearance inspection apparatus according to the first embodiment of the present invention. As shown in FIG. 5, the
なお、本実施の形態1では、図5に示す撮像機構は、CPU11aの機能によりソフトウェア的に実現している。撮像機構へ送信される撮像パラメータAは、プログラムで利用可能なデータ形式からなり、撮像機構からカメラ30に送信される撮像パラメータAは、カメラ30の設定を書き換えるために適した(ハードウェア的な)データ形式からなる。したがって、CPU11aは、撮像パラメータAをソフトウェア的なデータ形式からハードウェア的なデータ形式へとデータ変換する機能を有している。なお、図5に示す機構を、ソフトウェア的に実現するのではなく、例えば画像入力部13によって、ハードウェア的に実現しても良い。また、CPU11aが有するデータ変換機能をカメラ30に持たせることにより、撮像機構を介さずに撮像デバイスへ撮像パラメータAが転送されるようにしても良い。
In the first embodiment, the imaging mechanism shown in FIG. 5 is realized in software by the function of the
撮像デバイスは、外部入出力端子に接続されているPC80、PLC70からトリガ信号の入力を受け付け、撮像した画像データを画像メモリ17aへ記憶し、その旨をコントローラ10へ通知する。主制御部11は、記憶通知を受信し(ステップS502)、次の画像の撮像を開始する。
The imaging device receives an input of a trigger signal from the
主制御部11は、撮像パラメータBを送信する(ステップS503)。送信された撮像パラメータBは、カメラ30の撮像デバイスに設定され(パラメータ設定が書き換えられ)、撮像機構は、撮像パラメータBを設定後、トリガ信号受付の許可信号を外部入出力端子へ送信する。
The
撮像デバイスは、外部入出力端子に接続されているPC80、PLC70からトリガ信号の入力を受け付け、撮像した画像データを画像メモリ17aへ記憶し、その旨をコントローラ10へ通知する。主制御部11は、記憶通知を受信し(ステップS504)、次の画像の撮像を開始する。以下、処理フローに従って、撮像パラメータを変化させて、繰り返し画像データを記憶することができる。
The imaging device receives an input of a trigger signal from the
換言すれば、現在の処理フローにおいて、撮像モジュールAに係る撮像パラメータで撮像した画像データを記憶し、撮像モジュールBに係る撮像パラメータで撮像した画像データを記憶し、次の処理フローにおいて、撮像モジュールAに係る撮像パラメータで画像データを記憶し、撮像モジュールBに係る撮像パラメータで撮像した画像データを記憶し、・・・と、処理フロー内の撮像モジュールの相対的位置関係に対応付けて、撮像処理及び記憶処理を繰り返すことができる。 In other words, in the current processing flow, image data captured with the imaging parameters related to the imaging module A is stored, image data captured using the imaging parameters related to the imaging module B is stored, and in the next processing flow, the imaging modules are stored. The image data is stored with the imaging parameters according to A, the image data captured with the imaging parameters according to the imaging module B is stored, and the image data is captured in association with the relative positional relationship of the imaging modules in the processing flow. Processing and storage processing can be repeated.
図6は、本発明の実施の形態1に係る外観検査装置の計測フローを示すフローチャートである。図6に示すように、本実施の形態1に係る外観検査装置の主制御部11は、少なくとも撮像パラメータAを含む画像データの要求信号をコントローラ10の撮像機構へ送信する(ステップS601)。撮像機構は、画像メモリ17aに記憶されている画像データの中から、受信した撮像パラメータAに対応する画像データをコントローラ10へ送信する。主制御部11は、画像データを受信し(ステップS602)、受信した画像データに基づいて計測処理を実行する(ステップS603)。
FIG. 6 is a flowchart showing a measurement flow of the appearance inspection apparatus according to the first embodiment of the present invention. As shown in FIG. 6, the
なお、本実施の形態1では、画像メモリ17aの一部はFIFO構成となっており、最も先に記憶された画像データから順に読み出され、コントローラ10へ転送されるようになっているが、特にこれに限定されるものではない。例えば、画像データを画像メモリ17aに記憶する場合、何回目の処理フローにおける、どの撮像パラメータ設定モジュールであるかを示す識別子と対応付けて記憶しておくことによって、読み出すべき画像データを認識することができる。要するに、撮像モジュールに対応付けられたパラメータが一致する画像データをコントローラ10へ送信すれば良い。
In the first embodiment, a part of the image memory 17a has a FIFO configuration, and the image data stored in the earliest order is sequentially read and transferred to the
次に、主制御部11は、少なくとも撮像パラメータBを含む画像データの要求信号をコントローラ10の撮像機構へ送信する(ステップS604)。撮像機構は、画像メモリ17aに記憶されている画像データの中から、受信した撮像パラメータBに対応する画像データをコントローラ10へ送信する。主制御部11は、画像データを受信し(ステップS605)、受信した画像データに基づいて計測処理を実行する(ステップS606)。以下、画像メモリ17aに記憶されている画像データについて同様の処理を繰り返す。
Next, the
図7は、本発明の実施の形態1に係る外観検査装置の主制御部11の処理手順を示すフローチャートである。図7に示すように、本実施の形態1に係る外観検査装置の主制御部11は、処理フローに含まれる複数の撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成する(ステップS701)。また、主制御部11は、記憶されている画像データに基づいて計測モジュールで計測処理を実行する計測フローを生成する(ステップS702)。
FIG. 7 is a flowchart showing a processing procedure of the
主制御部11は、生成された撮像フローに従って、複数の撮像モジュールそれぞれに割り付けられている撮像パラメータ(パラメータ)に対応付けて、複数の撮像モジュールにより検査対象物をそれぞれ撮像し(ステップS703)、撮像された画像データを画像メモリ17aに記憶する(ステップS704)。なお、ステップS701及びステップS702が実行されるタイミングの如何は問わない。少なくとも、図4に示す撮像フロー402及び計測フロー403が繰り返し実行される前に実行されていれば良い。
In accordance with the generated imaging flow, the
主制御部11は、生成された取得フローに従って、画像メモリ17aに記憶されている画像データの中から、撮像パラメータに対応付けられた撮像モジュールで撮像されて記憶されている画像データを取得し(ステップS705)、生成された計測フローに従って、対応付けられている撮像パラメータが一致する画像データに対して計測モジュールにより計測処理を実行する(ステップS706)。具体的には、画像メモリ17aに記憶されている画像データから、計測処理を実行する対象である撮像パラメータに対応付けられている画像データを読み出し、計測処理を実行することになる。
The
主制御部11は、計測フローにおける計測処理の実行結果に基づいて、検査対象物の良否を判定する(ステップS707)。
The
以上のように本実施の形態1によれば、撮像モジュールの機能を、検査対象物を撮像して画像データを記憶するまでと、それ以降との2つのフローに分割し、画像データごとに撮像時のパラメータ(撮像手段の設定パラメータ)を対応付けているので、計測フローにおいてパラメータが正しくない画像データを用いて計測処理を実行することがない。また、画像データを記憶した時点で次の撮像フローへ移行することができるので、計測フローの終了を待たずに検査対象物を撮像することができる。したがって、全体として検査タクトを縮小することが可能となる。 As described above, according to the first embodiment, the function of the imaging module is divided into two flows, that is, until the inspection object is imaged and the image data is stored, and thereafter, and the image is captured for each image data. Since the time parameter (setting parameter of the image pickup unit) is associated, the measurement process is not executed using image data whose parameter is not correct in the measurement flow. In addition, since it is possible to move to the next imaging flow when the image data is stored, it is possible to image the inspection object without waiting for the end of the measurement flow. Therefore, the inspection tact can be reduced as a whole.
(実施の形態2)
本発明の実施の形態2に係る外観検査装置のハードウェアの構成は、実施の形態1と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態2に係る外観検査装置は、複数の撮像モジュールの選択が、先行する処理モジュールの実行結果に依存するか否かに基づいて、撮像モジュールの処理の実行を待機するか否かを決定する点で、実施の形態1とは相違する。
(Embodiment 2)
Since the hardware configuration of the visual inspection apparatus according to the second embodiment of the present invention is the same as that of the first embodiment, detailed description thereof will be omitted by attaching the same reference numerals. The appearance inspection apparatus according to the second embodiment determines whether to wait for execution of the processing of the imaging module based on whether selection of the plurality of imaging modules depends on the execution result of the preceding processing module. The point of determination is different from that of the first embodiment.
図8は、本発明の実施の形態2に係る外観検査装置の処理フローの分解図である。図8(a)に示す、従来の処理フロー801を、図8(b)に示す撮像フロー802と図8(c)に示す計測フロー803とに分割している。すなわち、図8において、撮像フロー802は、撮像モジュールの機能のうち、検査対象物を撮像して画像データを画像メモリに記憶するまでの機能を有する撮像パラメータ設定モジュールとして構成されており、残りの機能は、画像メモリから画像データを取得する画像取得モジュールとして、計測フロー803に含ませている。
FIG. 8 is an exploded view of the processing flow of the visual inspection apparatus according to Embodiment 2 of the present invention. The
具体的には、撮像モジュールAが撮像パラメータ設定モジュールAと画像取得モジュールAとに、条件分岐後の撮像モジュールBが撮像パラメータ設定モジュールBと画像取得モジュールBとに、撮像モジュールCが撮像パラメータ設定モジュールCと画像取得モジュールCとに、それぞれ分割されている。この場合、条件分岐前の先行モジュールは計測モジュールAであるので、条件分岐後の撮像モジュールB、Cの処理の実行は、計測モジュールAの処理の実行が終了するまで待機しておかなければ誤った撮像パラメータで検査対象物を撮像するおそれがある。 Specifically, the imaging module A sets the imaging parameter setting module A and the image acquisition module A, the imaging module B after conditional branching sets the imaging parameter setting module B and the image acquisition module B, and the imaging module C sets the imaging parameter. It is divided into a module C and an image acquisition module C. In this case, since the preceding module before the conditional branch is the measurement module A, the execution of the processing of the imaging modules B and C after the conditional branch is erroneous unless it waits until the execution of the processing of the measurement module A is completed. There is a possibility that the inspection object is imaged with the obtained imaging parameters.
図9は、本発明の実施の形態2に係る撮像フロー及び計測フローのタイムチャートの例示図である。撮像フローは撮像パラメータ設定モジュールAが、計測フローは画像取得モジュールAがそれぞれ起動する。撮像パラメータ設定モジュールAは、撮像パラメータAを撮像機構に設定し、画像取得モジュールAは撮像機構へ画像データの取得を要求する。撮像機構は、撮像パラメータAで撮像された画像データが記憶された旨を示す記憶通知を撮像パラメータ設定モジュールAへ、画像データを画像取得モジュールAへ、それぞれ送信する。 FIG. 9 is an exemplary view of time charts of the imaging flow and the measurement flow according to the second embodiment of the present invention. The imaging parameter setting module A is activated for the imaging flow, and the image acquisition module A is activated for the measurement flow. The imaging parameter setting module A sets the imaging parameter A in the imaging mechanism, and the image acquisition module A requests the imaging mechanism to acquire image data. The imaging mechanism transmits a storage notification indicating that the image data captured with the imaging parameter A has been stored to the imaging parameter setting module A and the image data to the image acquisition module A.
計測モジュールAは、取得した画像データに基づいて計測処理を実行し、その間撮像フローは条件分岐で待ち状態となる。 The measurement module A executes measurement processing based on the acquired image data, and during that time, the imaging flow enters a waiting state at a conditional branch.
そして、計測モジュールAの計測処理の実行が終了し、条件分岐を実行すると同時に、分岐条件に応じた撮像モジュールの処理の実行を開始する。要は、待ち状態の解除信号を送信すれば良い。図9の例では、撮像パラメータ設定モジュールBが起動される場合を図示している。 Then, the execution of the measurement process of the measurement module A is completed, and the conditional branch is executed. At the same time, the execution of the imaging module process corresponding to the branch condition is started. In short, it is only necessary to transmit a waiting state cancellation signal. In the example of FIG. 9, a case where the imaging parameter setting module B is activated is illustrated.
撮像パラメータ設定モジュールBは、撮像パラメータBを撮像機構に設定し、画像取得モジュールBは撮像機構へ画像データの取得を要求する。撮像機構は、撮像パラメータBで撮像された画像データが記憶された旨を示す記憶通知を撮像パラメータ設定モジュールBへ、画像データを画像取得モジュールBへ、それぞれ送信する。この時点で撮像フローは終了するので、次の撮像フローを開始しても良いし、全体の処理が終了するまで待ち状態であっても良い。 The imaging parameter setting module B sets the imaging parameter B in the imaging mechanism, and the image acquisition module B requests the imaging mechanism to acquire image data. The imaging mechanism transmits a storage notification indicating that the image data captured with the imaging parameter B has been stored to the imaging parameter setting module B and the image data to the image acquisition module B. Since the imaging flow ends at this point, the next imaging flow may be started or may be in a waiting state until the entire processing is completed.
計測モジュールBは、取得した画像データに基づいて計測処理を実行し、計測モジュールBの計測処理の実行が終了した時点で計測フローは終了する。 The measurement module B executes a measurement process based on the acquired image data, and the measurement flow ends when the measurement process of the measurement module B ends.
また、条件分岐において、分岐先をより高速に決定することもできる。例えば先行する処理モジュールが撮像モジュールである場合、先行する撮像モジュールの処理の実行が終了したときに、次の撮像モジュールの処理の実行を開始することができるので、計測モジュールの処理の実行の終了を待たずに処理を継続することができ、全体として検査タクトを縮小することができる。 Further, in the conditional branch, the branch destination can be determined at a higher speed. For example, when the preceding processing module is an imaging module, the execution of the processing of the next imaging module can be started when the execution of the processing of the preceding imaging module is completed. The processing can be continued without waiting for the inspection tact, and the inspection tact can be reduced as a whole.
例えば、2種類の異なる検査対象物を、2基のカメラ30でそれぞれ撮影し、最初に取得した画像データと次に取得した画像データとで、撮像パラメータを変更して異なる画像データを取得する場合に適用する。より具体的な例では、シャッタースピード、照明の種類、照明の照度等を切り替えることにより、(1)検査対象物の姿勢がわかる特徴量を強調、(2)検査対象物の寸法がわかる特徴量を強調、(3)検査対象物表面の凹凸を強調、(4)検査対象物表面のテクスチャを強調した画像データをそれぞれ取得する。
For example, when two different types of inspection objects are photographed by the two
そして、計測モジュールとして、(1)と(2)とを撮像した場合にはパターンマッチング処理、位置補正処理、エッジ抽出処理を実行する。また、(3)と(4)とを撮像した場合には傷検出処理、OCR処理を実行する。このように、条件分岐により計測モジュールを変更できるようにすることで、計測モジュールの処理の実行中に撮像モジュールを起動させることができ、検査タクトを縮小することができる。 When (1) and (2) are imaged as measurement modules, pattern matching processing, position correction processing, and edge extraction processing are executed. When (3) and (4) are imaged, a flaw detection process and an OCR process are executed. In this way, by enabling the measurement module to be changed by conditional branching, the imaging module can be activated during the execution of the processing of the measurement module, and the inspection tact can be reduced.
図10は、本発明の実施の形態2に係る外観検査装置の処理フローの他の例示図である。図10に示すように、まず撮像モジュールA1又は撮像モジュールB1を用いて、撮像パラメータA又はBに基づいて検査対象物を撮像し、画像データを画像メモリ17aに記憶する。この場合、実行結果の依存先となる先行モジュールは撮像モジュールA1又は撮像モジュールB1となるので、条件分岐後の撮像モジュールA2、B2の処理の実行は、計測フロー側における条件分岐先が確定するまで待機する必要がない。つまり、撮像パラメータAに基づいて撮像した場合は撮像モジュールA1、A2を、撮像パラメータBに基づいて撮像した場合は撮像モジュールB1、B2を連続して起動することができるので、計測モジュールA又は計測モジュールBに対応した画像データを用いて計測処理を実行することができる。 FIG. 10 is another exemplary view of the processing flow of the appearance inspection apparatus according to the second embodiment of the present invention. As shown in FIG. 10, first, using the imaging module A1 or the imaging module B1, the inspection object is imaged based on the imaging parameter A or B, and the image data is stored in the image memory 17a. In this case, since the preceding module on which the execution result depends is the imaging module A1 or the imaging module B1, the execution of the processing of the imaging modules A2 and B2 after the conditional branching is performed until the conditional branching destination on the measurement flow side is determined. There is no need to wait. That is, the imaging modules A1 and A2 can be activated continuously when imaging is performed based on the imaging parameter A, and the imaging modules B1 and B2 can be continuously activated when imaging is performed based on the imaging parameter B. Measurement processing can be executed using image data corresponding to module B.
なお、図10に示す処理フロー中「撮像モジュールA1orB1」について補足して説明する。「撮像モジュールA1orB1」のプロパティ設定では、複数のカメラ30(例えば2台)に対する撮像設定を行うことができる。例えば2基のカメラ30(カメラ1とカメラ2)を使う場合には、カメラ1、カメラ2のそれぞれに対してトリガ条件や撮像パラメータを設定することができる。 Note that “imaging module A1orB1” in the processing flow shown in FIG. 10 will be supplementarily described. In the property setting of “imaging module A1 or B1”, it is possible to perform imaging settings for a plurality of cameras 30 (for example, two). For example, when two cameras 30 (camera 1 and camera 2) are used, trigger conditions and imaging parameters can be set for each of camera 1 and camera 2.
また、撮像モジュールを完了する条件(次のモジュールに遷移するための条件)として、一又は複数のカメラを指定することができる。例えば、カメラ1とカメラ2とをAND条件で指定している場合には、カメラ1及びカメラ2の両方の撮像が完了したときに、処理が次のモジュールに遷移する。また、カメラ1とカメラ2とをOR条件で指定している場合には、カメラ1又はカメラ2のいずれかの撮像が完了したときに、処理が次のモジュールに遷移する。本実施の形態2では、「撮像モジュールA1orB1」で示されるように、OR条件で指定している。 In addition, one or a plurality of cameras can be specified as a condition for completing the imaging module (a condition for transitioning to the next module). For example, when the camera 1 and the camera 2 are designated by the AND condition, the processing shifts to the next module when the imaging of both the camera 1 and the camera 2 is completed. Further, when the camera 1 and the camera 2 are designated by the OR condition, the process transitions to the next module when the imaging of either the camera 1 or the camera 2 is completed. In the second embodiment, as indicated by “imaging module A1 or B1”, it is designated by the OR condition.
図11は、本発明の実施の形態2に係る撮像フロー及び計測フローのタイムチャートの他の例示図である。図11では、撮像モジュールA1、A2が起動して計測モジュールAで計測処理を実行する場合について説明する。具体的には、例えば2基のカメラ30のうちの一方の撮像が完了し、撮像モジュールA1が起動し、条件分岐後、撮像モジュールA2が起動する、という場合である。
FIG. 11 is another exemplary view of time charts of an imaging flow and a measurement flow according to Embodiment 2 of the present invention. In FIG. 11, the case where the imaging modules A1 and A2 are activated and the measurement process is executed by the measurement module A will be described. Specifically, for example, imaging of one of the two
図11において、撮像フローは撮像パラメータ設定モジュールA1が、計測フローは画像取得モジュールA1がそれぞれ起動する。撮像パラメータ設定モジュールA1は、撮像パラメータA1を撮像機構に設定し、画像取得モジュールA1は撮像機構へ画像データの取得を要求する。撮像機構は、撮像パラメータA1で撮像された画像データが記憶された旨を示す記憶通知を撮像パラメータ設定モジュールA1へ、画像データを画像取得モジュールA1へ、それぞれ送信する。計測フローでは、撮像パラメータA1で撮像された画像データに基づいて計測モジュールAにより計測処理が実行される。 In FIG. 11, the imaging parameter setting module A1 is activated for the imaging flow, and the image acquisition module A1 is activated for the measurement flow. The imaging parameter setting module A1 sets the imaging parameter A1 in the imaging mechanism, and the image acquisition module A1 requests the imaging mechanism to acquire image data. The imaging mechanism transmits a storage notification indicating that the image data captured with the imaging parameter A1 is stored to the imaging parameter setting module A1, and the image data to the image acquisition module A1. In the measurement flow, measurement processing is executed by the measurement module A based on image data captured with the imaging parameter A1.
その間、計測モジュールAによる計測処理の実行が完了するのを待つことなく、撮像フローは条件分岐により、撮像モジュールA2が選択された場合の処理を継続して実行する。すなわち、撮像パラメータ設定モジュールA2が起動して、撮像パラメータA2を撮像機構に設定する。これにより、撮像パラメータとして、例えばシャッタースピード、照明等を切り替えることにより異なる画像データを取得し、それに応じた計測処理を実行することができる。撮像機構は、撮像された画像データが画像メモリ17aに記憶された時点で記憶通知を撮像パラメータ設定モジュールA2へ送信する。 In the meantime, without waiting for the execution of the measurement process by the measurement module A to be completed, the imaging flow continues to execute the process when the imaging module A2 is selected by conditional branching. That is, the imaging parameter setting module A2 is activated to set the imaging parameter A2 in the imaging mechanism. Thereby, different image data can be acquired as an imaging parameter by switching, for example, shutter speed, illumination, and the like, and a measurement process corresponding to the acquired image data can be executed. The imaging mechanism transmits a storage notification to the imaging parameter setting module A2 when the captured image data is stored in the image memory 17a.
画像取得モジュールA2は、計測モジュールAによる計測処理の実行が完了したのち、撮像機構に画像データの取得を要求する。撮像機構は、撮像パラメータA2で撮像された画像データを画像取得モジュールA2へ送信する。この時点で撮像フローは終了するので、次の撮像フローを開始しても良いし、全体の処理が終了するまで待ち状態であっても良い。 The image acquisition module A2 requests the imaging mechanism to acquire image data after the execution of the measurement process by the measurement module A is completed. The imaging mechanism transmits the image data captured with the imaging parameter A2 to the image acquisition module A2. Since the imaging flow ends at this point, the next imaging flow may be started or may be in a waiting state until the entire processing is completed.
計測モジュールAは、取得した画像データに基づいて計測処理を実行し、計測モジュールAの実行が終了した時点で計測フローは終了する。 The measurement module A executes measurement processing based on the acquired image data, and the measurement flow ends when the execution of the measurement module A ends.
このようにすることで、撮像フローに用いるカメラ30と、計測フローで用いるDSPとが、ほぼ同じタイミングで起動されており、全体として検査タクトを縮小することが可能となる。すなわち、撮像フローと計測フローとが非同期で実行されるので、検査タクトを縮小することができる。
By doing so, the
以上のように本実施の形態2によれば、次の処理が、先行する処理モジュールの実行結果に依存するか否かに基づいて、撮像モジュールの処理の実行を待機するか否かを決定するので、条件次第で分岐するフローであっても、並行して撮像フローにおける処理を実行することができる場合には計測フローにおける処理と並行して実行することができるので、全体として検査タクトを縮小することが可能となる。 As described above, according to the second embodiment, whether to wait for the execution of the process of the imaging module is determined based on whether the next process depends on the execution result of the preceding process module. Therefore, even if the flow branches depending on the conditions, if the processing in the imaging flow can be executed in parallel, it can be executed in parallel with the processing in the measurement flow, so the inspection tact is reduced as a whole. It becomes possible to do.
(実施の形態3)
本発明の実施の形態3に係る外観検査装置のハードウェアの構成は、実施の形態1及び2と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態3に係る外観検査装置は、撮像フロー、取得フロー、計測フローを新たに生成することなく、フローの実行順序の制御のみで処理を実行する点で、実施の形態1とは相違する。
(Embodiment 3)
Since the hardware configuration of the visual inspection apparatus according to the third embodiment of the present invention is the same as that of the first and second embodiments, detailed description thereof will be omitted by attaching the same reference numerals. The appearance inspection apparatus according to the third embodiment is different from the first embodiment in that the process is performed only by controlling the execution order of the flow without newly generating an imaging flow, an acquisition flow, and a measurement flow. To do.
図12は、本発明の実施の形態3に係る外観検査装置の機能ブロック図である。図12に示すように、本実施の形態3に係る外観検査装置は、上述したCPU11a、プログラムメモリ11cに格納された各種プログラム等により、ソフトウェア的に撮像実行部1201、計測フロー実行部1202及び良否判定部1203を実現する。
FIG. 12 is a functional block diagram of an appearance inspection apparatus according to Embodiment 3 of the present invention. As shown in FIG. 12, the visual inspection apparatus according to the third embodiment has an
図12において、本実施の形態3に係る外観検査装置は、フロー生成部を備えていない。図13は、本発明の実施の形態3に係る外観検査装置の処理フローの例示図である。 In FIG. 12, the appearance inspection apparatus according to the third embodiment does not include a flow generation unit. FIG. 13 is an exemplary diagram of a processing flow of the appearance inspection apparatus according to the third embodiment of the present invention.
図13に示すように、処理フロー自体は実施の形態2の図8の処理フローと同じである。実施の形態2では、処理フローを分割しているのに対して、本実施の形態3では、主制御部11はマルチコアで構成されており、2つのコアが別個に処理を実行することで同時に2つの処理を並行して実行するようにしてある。
As shown in FIG. 13, the processing flow itself is the same as the processing flow of FIG. 8 of the second embodiment. In the second embodiment, the processing flow is divided, whereas in the third embodiment, the
つまり、処理フローはそのままに、一のコアは、撮像モジュールの機能のうち検査対象物を撮像して画像メモリ17aに記憶するまでの機能を実行し、他のコアは、残りの画像メモリ17aから画像データを取得する機能及び計測処理を実行する。 That is, with the processing flow as it is, one core executes a function from the imaging module function until the inspection object is imaged and stored in the image memory 17a, and the other cores execute from the remaining image memory 17a. A function for acquiring image data and a measurement process are executed.
図12に戻って、撮像実行部1201は、処理フローに含まれる複数の撮像モジュールの相対的な実行順序を維持しつつ、複数の撮像モジュールそれぞれに割り付けられている撮像パラメータ(パラメータ)に対応付けて、複数の撮像モジュールにより検査対象物をそれぞれ撮像して画像メモリ17aに記憶する。
Returning to FIG. 12, the
計測フロー実行部1202は、撮像実行部1201を実行したコアとは別個のコアにより、撮像パラメータに対応付けられた、記憶されている画像データのうち、対応付けられている撮像パラメータが一致する画像データに対して計測モジュールにより計測処理を実行する。良否判定部1203は、計測処理の実行結果に基づいて、検査対象物の良否を判定する。
The measurement
このように、処理フローに応じて、対応する撮像パラメータで撮像された画像データを準備することができるので、記憶されている画像データの撮像パラメータに応じて計測処理を実行することができ、正しくない撮像パラメータで撮像された画像データで計測処理を実行することを未然に回避することができる。 In this way, since the image data captured with the corresponding imaging parameter can be prepared according to the processing flow, the measurement process can be executed according to the imaging parameter of the stored image data. It is possible to avoid executing the measurement process with image data captured with no imaging parameters.
図14は、本発明の実施の形態3に係る外観検査装置の撮像フローを示すフローチャートである。図14の例では、条件分岐で撮像モジュールBへ処理が移行した場合を示している。図14に示すように、本実施の形態3に係る外観検査装置の主制御部11の一のコアは、撮像パラメータAを撮像機構へ送信する(ステップS1401)。送信された撮像パラメータAは、カメラ30の撮像デバイスに設定され、撮像機構は、撮像パラメータAを設定後、トリガ信号受付の許可信号を外部入出力端子へ送信する。
FIG. 14 is a flowchart showing an imaging flow of the appearance inspection apparatus according to the third embodiment of the present invention. In the example of FIG. 14, a case is shown in which processing shifts to the imaging module B due to conditional branching. As shown in FIG. 14, one core of the
撮像デバイスは、外部入出力端子に接続されているPC80、PLC70からトリガ信号の入力を受け付け、撮像した画像データを画像メモリ17aへ記憶し、その旨をコントローラ10へ通知する。主制御部11の一のコアは、記憶通知を受信する(ステップS1402)。
The imaging device receives an input of a trigger signal from the
ここで、実際には主制御部11の一のコアは、次の処理が計測フローにおける計測処理の実行結果に依存するか否かを判断する。主制御部11の一のコアが、次の処理が計測フローにおける計測処理の実行結果に依存すると判断した場合、主制御部11の一のコアは、計測フローにおける計測処理の完了待ち状態となる。図14の例では、主制御部11の一のコアが、次の処理が計測フローにおける計測処理の実行結果に依存しないと判断したとして、主制御部11の一のコアは、撮像パラメータBを撮像機構へ送信する(ステップS1403)。送信された撮像パラメータBは、カメラ30の撮像デバイスに設定され、撮像機構は、撮像パラメータBを設定後、トリガ信号受付の許可信号を外部入出力端子へ送信する。
Here, actually, one core of the
撮像デバイスは、外部入出力端子に接続されているPC80、PLC70からトリガ信号の入力を受け付け、撮像した画像データを画像メモリ17aへ記憶し、その旨をコントローラ10へ通知する。主制御部11の一のコアは、記憶通知を受信する(ステップS1404)。
The imaging device receives an input of a trigger signal from the
図15は、本発明の実施の形態3に係る外観検査装置の計測フローを示すフローチャートである。図15に示すように、本実施の形態3に係る外観検査装置の主制御部11の他のコアは、少なくとも撮像パラメータAを含む画像データの要求信号をコントローラ10の撮像機構へ送信する(ステップS1501)。撮像機構は、画像メモリ17aに記憶されている画像データの中から、受信した撮像パラメータAに対応する画像データをコントローラ10へ送信する。主制御部11の他のコアは、画像データを受信し(ステップS1502)、受信した画像データに基づいて計測処理を実行する(ステップS1503)。
FIG. 15 is a flowchart showing a measurement flow of the appearance inspection apparatus according to the third embodiment of the present invention. As shown in FIG. 15, the other core of the
次に、主制御部11の他のコアは、少なくとも撮像パラメータBを含む画像データの要求信号をコントローラ10の撮像機構へ送信する(ステップS1504)。撮像機構は、受信した撮像パラメータBに対応する画像データをコントローラ10へ送信する。主制御部11の他のコアは、画像データを受信し(ステップS1505)、受信した画像データに基づいて計測処理を実行する(ステップS1506)。以下、画像メモリ17aに記憶されている画像データについて同様の処理を繰り返す。
Next, the other core of the
以上のように本実施の形態3によれば、撮像モジュールの機能を、検査対象物を撮像して画像データを記憶するまでと、それ以降との2つの処理を別のコアで実行し、画像データごとに撮像時のパラメータ(撮像手段の設定パラメータ)を対応付けているので、計測フローにおいてパラメータが正しくない画像データを用いて計測処理を実行することがない。また、画像データを記憶した時点で次の撮像フローへ移行することができるので、計測フローの終了を待たずに検査対象物を撮像することができる。したがって、全体として検査タクトを縮小することが可能となる。 As described above, according to the third embodiment, the function of the imaging module performs two processes, that is, until the inspection object is imaged and the image data is stored, and thereafter, in another core. Since the parameters at the time of imaging (setting parameters of the imaging means) are associated with each piece of data, measurement processing is not performed using image data with incorrect parameters in the measurement flow. In addition, since it is possible to move to the next imaging flow when the image data is stored, it is possible to image the inspection object without waiting for the end of the measurement flow. Therefore, the inspection tact can be reduced as a whole.
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば主制御部11であるCPU11aは、シングルコアであってもマルチコアであっても良い。シングルコアである場合には、時分割制御により複数のフローを実行させれば良いし、マルチコアの場合には、コア単位で撮像フロー、計測フローを実行させれば良い。
The present invention is not limited to the above-described embodiments, and various changes and improvements can be made within the scope of the present invention. For example, the
10 コントローラ
11 主制御部
11a CPU
17a 画像メモリ
30 カメラ(撮像手段)
60 照明
70 PLC
80 PC
401 処理フロー
402 撮像フロー
403 計測フロー
10
60
80 PC
401
Claims (11)
該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラと
を有し、
前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置において、
前記処理モジュールは、少なくとも
前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、
前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールと
を含み、
前記コントローラは、
前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成するとともに、記憶されている画像データに基づいて前記計測モジュールで計測処理を実行する計測フローを生成するフロー生成手段と、
前記フロー生成手段で生成された前記撮像フローに従って、該撮像フローに含まれる前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像する撮像フロー実行手段と、
前記フロー生成手段で生成された計測フローに従って、該計測フローに含まれる前記計測モジュールにおいて、前記撮像フロー実行手段により撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する計測フロー実行手段と、
前記計測フローにおける計測処理の実行結果に基づいて、検査対象物の良否を判定する良否判定手段と
を備え、
前記撮像フロー実行手段は、前記計測フロー実行手段による計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像するよう構成されてなることを特徴とする外観検査装置。 Imaging means for imaging the inspection object and generating image data;
A controller that executes image processing based on the image data generated by the imaging means and determines whether the inspection object is good,
In the appearance inspection apparatus in which the controller executes a plurality of processing modules assigned parameters according to a control program in synchronization with a processing flow.
The processing module captures an inspection object by at least the imaging means and stores the generated image data;
A measurement module that is associated with the imaging module by the processing flow and performs measurement on the image data stored by the imaging module ;
The controller is
It generates the imaging flow by extracting to maintain relative order a plurality of the imaging modules included in the processing flow, the measurement to execute the measurement process in the measurement module based on image data stored and flow generating means for generating flows,
According to the imaging flow generated by the flow generation means, for each of the imaging module included in the imaging flow, the imaging parameters attached Ri assigned to the imaging module is set to the imaging means Taking the test object Imaging flow execution means for imaging,
In the measurement module included in the measurement flow according to the measurement flow generated by the flow generation unit, the image data associated with the measurement module among the image data captured and stored by the imaging flow execution unit and measuring the flow execution means for executing the total measuring process on the image data stored is captured by the module,
Based on the measurement process of the execution result of the measurement flow and a quality judging means for judging the quality of the object to be tested,
The imaging flow execution unit during the execution of the measurement process by the measuring flow execution unit, for each of the imaging module, that Do is configured to image the inspection object while rewriting the setting of the imaging parameter to said image pickup means An appearance inspection apparatus characterized by that.
該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラと
を有し、
前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置において、
前記処理モジュールは、少なくとも
前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、
前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールと
を含み、
前記コントローラは、
前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持しつつ、前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像して記憶する撮像フロー実行手段と、
前記処理フローに含まれる前記計測モジュールにおいて、前記撮像フロー実行手段により撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する計測フロー実行手段と、
前記計測フロー実行手段による計測処理の実行結果に基づいて、検査対象物の良否を判定する良否判定手段と
を備え、
前記撮像フロー実行手段は、前記計測フロー実行手段による計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像するよう構成されてなることを特徴とする外観検査装置。 Imaging means for imaging the inspection object and generating image data;
A controller that executes image processing based on the image data generated by the imaging means and determines whether the inspection object is good,
In the appearance inspection apparatus in which the controller executes a plurality of processing modules assigned parameters according to a control program in synchronization with a processing flow.
The processing module captures an inspection object by at least the imaging means and stores the generated image data;
A measurement module that is associated with the imaging module by the processing flow and performs measurement on the image data stored by the imaging module ;
The controller is
While maintaining the relative order of the plurality of the image pickup module included in the process flow, for each of the imaging module, imaging an inspection object imaging parameters assigned to the imaging module is set to the image pickup means Imaging flow execution means for storing
In the measurement module included in the processing flow, among the image data captured and stored by the imaging flow execution unit, the image data captured and stored by the imaging module associated with the measurement module and measuring the flow execution means for executing the total measurement process Te,
A pass / fail judgment means for judging pass / fail of an inspection object based on an execution result of a measurement process by the measurement flow execution means ,
The imaging flow execution unit during the execution of the measurement process by the measuring flow execution unit, for each of the imaging module, that Do is configured to image the inspection object while rewriting the setting of the imaging parameter to said image pickup means An appearance inspection apparatus characterized by that.
該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラと
を有し、
前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置で実行することが可能な外観検査方法において、
前記処理モジュールは、少なくとも
前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、
前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールと
を含み、
前記コントローラは、
前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成するとともに、記憶されている画像データに基づいて前記計測モジュールで計測処理を実行する計測フローを生成するステップと、
生成された前記撮像フローに従って、該撮像フローに含まれる前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像するステップと、
生成された計測フローに従って、該計測フローに含まれる前記計測モジュールにおいて、撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行するステップと、
前記計測フローにおける実行結果に基づいて、検査対象物の良否を判定するステップと
を含み、
計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像することを特徴とする外観検査方法。 Imaging means for imaging the inspection object and generating image data;
A controller that executes image processing based on the image data generated by the imaging means and determines whether the inspection object is good,
In the visual inspection method that can be executed by the visual inspection device that executes the plurality of processing modules to which the parameters are assigned in synchronization with the processing flow according to the control program, the controller
The processing module captures an inspection object by at least the imaging means and stores the generated image data;
A measurement module that is associated with the imaging module by the processing flow and performs measurement on the image data stored by the imaging module ;
The controller is
It generates the imaging flow by extracting to maintain relative order a plurality of the imaging modules included in the processing flow, the measurement to execute the measurement process in the measurement module based on image data stored the method comprising the steps of: generating the flows,
According to the generated image pickup flows, for each of the imaging module included in the imaging flow, the steps of setting to be an image shooting a test object on the imaging unit imaging parameters assigned to the imaging module,
According to the generated measurement flow, the image data captured and stored in the measurement module included in the measurement flow is imaged and stored by the imaging module associated with the measurement module. and performing a total measurement process for,
Based on the execution result of the measurement flow, viewed contains and determining the quality of the inspection object,
An appearance inspection method for imaging an inspection object while rewriting the setting of the imaging parameter for the imaging means for each imaging module during execution of a measurement process .
該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラと
を有し、
前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置で実行することが可能な外観検査方法において、
前記処理モジュールは、少なくとも
前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、
前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールと
を含み、
前記コントローラは、
前記処理フローに含まれる複数の前記撮像モジュールの相対的な順序を維持しつつ、前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像して記憶するステップと、
前記処理フローに含まれる前記計測モジュールにおいて、撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行するステップと、
計測処理の実行結果に基づいて、検査対象物の良否を判定するステップと
を含み、
計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像することを特徴とする外観検査方法。 Imaging means for imaging the inspection object and generating image data;
A controller that executes image processing based on the image data generated by the imaging means and determines whether the inspection object is good,
In the visual inspection method that can be executed by the visual inspection device that executes the plurality of processing modules to which the parameters are assigned in synchronization with the processing flow according to the control program, the controller
The processing module captures an inspection object by at least the imaging means and stores the generated image data;
A measurement module that is associated with the imaging module by the processing flow and performs measurement on the image data stored by the imaging module ;
The controller is
While maintaining the relative order of the plurality of the image pickup module included in the process flow, for each of the imaging module, by setting the imaging parameters assigned to the imaging module to said imaging means Taking the test object Image and store,
Executed in the measurement module included in the processing flow, among the image data stored being imaged, the total measuring process on the image data stored is picked up by the image pickup module associated with the measurement module And steps to
Based on the measurement process of the execution result, we see containing and determining the quality of the inspection object,
An appearance inspection method for imaging an inspection object while rewriting the setting of the imaging parameter for the imaging means for each imaging module during execution of a measurement process .
該撮像手段で生成された画像データに基づいて画像処理を実行し、検査対象物の良否を判定するコントローラと
を有し、
前記コントローラが、制御プログラムに従って、パラメータが割り付けられた複数の処理モジュールを処理フローと同期させて実行する外観検査装置で実行することが可能なコンピュータプログラムにおいて、
前記処理モジュールは、少なくとも
前記撮像手段により検査対象物を撮像し、生成された画像データを記憶する撮像モジュールと、
前記処理フローにより前記撮像モジュールと対応付けられ、前記撮像モジュールにより記憶された画像データに対して計測を実行する計測モジュールと
を含み、
前記コントローラを、
前記処理フローに含まれる複数の前記撮像モジュールを相対的な順序を維持して抽出することで撮像フローを生成するとともに、記憶されている画像データに基づいて前記計測モジュールで計測処理を実行する計測フローを生成するフロー生成手段、
前記フロー生成手段で生成された前記撮像フローに従って、該撮像フローに含まれる前記撮像モジュールごとに、該撮像モジュールに割り付けられた撮像パラメータを前記撮像手段に設定して検査対象物を撮像する撮像フロー実行手段、
前記フロー生成手段で生成された計測フローに従って、該計測フローに含まれる前記計測モジュールにおいて、前記撮像フロー実行手段により撮像されて記憶されている画像データのうち、該計測モジュールに対応付けられた撮像モジュールにより撮像されて記憶された画像データに対して計測処理を実行する計測フロー実行手段、及び
前記計測フローにおける計測処理の実行結果に基づいて、検査対象物の良否を判定する良否判定手段
として機能させ、
前記撮像フロー実行手段を、前記計測フロー実行手段による計測処理の実行中に、前記撮像モジュールごとに、前記撮像手段に対する前記撮像パラメータの設定を書き換えながら検査対象物を撮像する手段として機能させることを特徴とするコンピュータプログラム。 Imaging means for imaging the inspection object and generating image data;
A controller that executes image processing based on the image data generated by the imaging means and determines whether the inspection object is good,
In the computer program that can be executed by the appearance inspection apparatus that the controller executes a plurality of processing modules assigned parameters according to a control program in synchronization with the processing flow,
The processing module captures an inspection object by at least the imaging means and stores the generated image data;
A measurement module that is associated with the imaging module by the processing flow and performs measurement on the image data stored by the imaging module ;
The controller,
It generates the imaging flow by extracting to maintain relative order a plurality of the imaging modules included in the processing flow, the measurement to execute the measurement process in the measurement module based on image data stored flow generating means for generating flows,
According to the imaging flow generated by the flow generation means, for each of the imaging module included in the imaging flow, the imaging parameters attached Ri assigned to the imaging module is set to the imaging means Taking the test object Imaging flow execution means for imaging,
In the measurement module included in the measurement flow according to the measurement flow generated by the flow generation unit, the image data associated with the measurement module among the image data captured and stored by the imaging flow execution unit measuring flow execution means for executing the total measuring process on the image data stored is captured by the module, and
Based on the measurement process of the execution result of the measurement flow, to function as a quality determining means for determining the quality of the inspection object,
The imaging flow execution unit, during the execution of the measurement process by the measuring flow execution unit, for each of the imaging module, is made to function as a means for capturing an inspection object while rewriting the setting of the imaging parameters for the imaging means Rukoto A computer program characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016002458A JP6608708B2 (en) | 2016-01-08 | 2016-01-08 | Appearance inspection apparatus, appearance inspection method, and computer program executable by controller used in appearance inspection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016002458A JP6608708B2 (en) | 2016-01-08 | 2016-01-08 | Appearance inspection apparatus, appearance inspection method, and computer program executable by controller used in appearance inspection apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017122682A JP2017122682A (en) | 2017-07-13 |
JP6608708B2 true JP6608708B2 (en) | 2019-11-20 |
Family
ID=59305417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016002458A Active JP6608708B2 (en) | 2016-01-08 | 2016-01-08 | Appearance inspection apparatus, appearance inspection method, and computer program executable by controller used in appearance inspection apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6608708B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7306858B2 (en) * | 2019-04-05 | 2023-07-11 | 株式会社キーエンス | Image inspection system and image inspection method |
JP7222795B2 (en) * | 2019-04-05 | 2023-02-15 | 株式会社キーエンス | Image inspection system and image inspection method |
CN114554088B (en) * | 2022-02-16 | 2023-04-18 | 广州市斯睿特智能科技有限公司 | High-speed beat detection system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1032810A (en) * | 1996-07-15 | 1998-02-03 | Matsushita Electric Works Ltd | Image-processing inspecting device |
JP3886205B2 (en) * | 1997-04-24 | 2007-02-28 | アピックヤマダ株式会社 | Lead frame inspection equipment |
US20020186878A1 (en) * | 2001-06-07 | 2002-12-12 | Hoon Tan Seow | System and method for multiple image analysis |
JP2010210373A (en) * | 2009-03-10 | 2010-09-24 | Kyushu Nogeden:Kk | Visual inspection apparatus |
JP5189570B2 (en) * | 2009-08-19 | 2013-04-24 | 株式会社キーエンス | Image processing apparatus and image processing method |
-
2016
- 2016-01-08 JP JP2016002458A patent/JP6608708B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017122682A (en) | 2017-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6494313B2 (en) | Image processing method, apparatus system, program, and storage medium | |
JP5270971B2 (en) | Image measuring apparatus, image measuring method, and computer program | |
JP6608708B2 (en) | Appearance inspection apparatus, appearance inspection method, and computer program executable by controller used in appearance inspection apparatus | |
US20110043621A1 (en) | Image Processing Device And Image Processing Method | |
TW201209532A (en) | Interaction control system, method for detecting motion of object, host apparatus and control method thereof | |
CN113516612B (en) | Data processing method, device, equipment and storage medium | |
CN114040093B (en) | Camera testing device, method, electronic equipment and computer readable storage medium | |
JP2021037736A5 (en) | Inspection device, its control method, and program | |
CN113570604B (en) | Automatic generation method and device for crystal grain detection sample | |
US20060176321A1 (en) | Endoscope apparatus | |
JP2011211678A (en) | Image processing apparatus and program | |
US7973826B2 (en) | Program creating and editing apparatus for image processing controller, and apparatus for editing image processing program executed in image processing controller | |
JP2010060528A (en) | Image measurement system and computer program | |
CN113452991B (en) | Lens focusing state determining method, device, equipment and storage medium | |
US10878555B2 (en) | Image processing system, image processing device, and non-transitory computer readable recording medium | |
US20190122341A1 (en) | Image processing apparatus and recording medium | |
JP5826612B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP2010061411A (en) | Image projector, image synthesizer, image projection method and image projection program | |
CN116519597B (en) | Multi-axis system detection method, device, upper computer, medium and system | |
JP2005227931A (en) | Image processing apparatus | |
JP2015232478A (en) | Inspection device, inspection method, and program | |
CN116708757A (en) | Universal debugging method, device, equipment and medium for mobile terminal camera function | |
JP2019158555A (en) | Defect confirmation device, method for confirming defects, and program | |
US9143701B2 (en) | Imaging apparatus capable of specifying shooting posture, method for specifying shooting posture, and storage medium storing program | |
JP4944737B2 (en) | Program creation device for image processing controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6608708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |