[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022098590A - Ai model generation method and inspection device - Google Patents

Ai model generation method and inspection device Download PDF

Info

Publication number
JP2022098590A
JP2022098590A JP2020212058A JP2020212058A JP2022098590A JP 2022098590 A JP2022098590 A JP 2022098590A JP 2020212058 A JP2020212058 A JP 2020212058A JP 2020212058 A JP2020212058 A JP 2020212058A JP 2022098590 A JP2022098590 A JP 2022098590A
Authority
JP
Japan
Prior art keywords
image
model
learning
inspected
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020212058A
Other languages
Japanese (ja)
Inventor
武流 須田
Takeru Suda
敦史 北畠
Atsushi Kitahata
洋介 山本
Yosuke Yamamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saki Corp
Original Assignee
Saki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saki Corp filed Critical Saki Corp
Priority to JP2020212058A priority Critical patent/JP2022098590A/en
Publication of JP2022098590A publication Critical patent/JP2022098590A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

To provide a generation method of an AI (artificial intelligence) model and an inspection device which corrects an image by the AI model where the accuracy of inspection by correcting noise removal and resolution enhancement may be improved by the AI model generated by learning using AI.SOLUTION: In a generation method of an AI model in an inspection device 1 which corrects an image of an inspection object using the AI model generated by machine learning, a high-quality image of the inspection object picked up by the inspection device 1 is used as a teacher image, a low-quality image of the inspection object picked up by the inspection device 1 and sharing the same visual field as the teacher image is used as a learning image, the learning image is used as an input, an image corrected by the AI model is used as an output, and the output is compared with the teacher image to generate an AI model.SELECTED DRAWING: Figure 6

Description

本発明は、AIモデルの作成方法、及びこのAIモデルにより画像を補正する検査装置に関する。 The present invention relates to a method for creating an AI model and an inspection device for correcting an image by the AI model.

基板表面や裏面のはんだ形状を計測する検査装置は、被検査体を撮像した画像を用いて検査が行われる(例えば、特許文献1又は2を参照)。例えば、自動光学検査(AOI:Automated Optical Inspection)方式の検査装置では、被検査体に照明光を照射してカメラで撮像される。このとき、製造ラインのスループットを向上させるために、撮像条件を変更する(撮像範囲(視野)を広くしたり、露光時間を短くしたりする)場合がある。また、トモシンセシス方式のX線検査装置では、線源(放射線発生器)と被検査体及び検出器との相対位置を変化させて複数の透過画像を撮像し、これらの透過画像から再構成画像を生成するように構成されている。そのため、複数の透過画像の撮像や透過画像を用いた再構成画像の生成に時間がかかり、製造ラインのスループットが低下し、また、スループットを上げるために被検査体の一部分の検査しか実施できない場合がある。また、被検査体の材質や形状等の構成にもよるが、検査時の放射線の照射量(被曝量)をなるべく少なくしたいという要望もある。 The inspection device for measuring the solder shape on the front surface and the back surface of the substrate is inspected using an image of the object to be inspected (see, for example, Patent Document 1 or 2). For example, in an automatic optical inspection (AOI) type inspection device, an object to be inspected is irradiated with illumination light and imaged by a camera. At this time, in order to improve the throughput of the production line, the imaging conditions may be changed (the imaging range (field of view) may be widened or the exposure time may be shortened). Further, in the tomosynthesis type X-ray inspection device, a plurality of transmitted images are captured by changing the relative positions of the radiation source (radiation generator) and the inspected object and the detector, and a reconstructed image is obtained from these transmitted images. It is configured to generate. Therefore, it takes time to capture a plurality of transparent images and generate a reconstructed image using the transmitted images, the throughput of the production line decreases, and in order to increase the throughput, only a part of the inspected object can be inspected. There is. Further, although it depends on the composition such as the material and shape of the object to be inspected, there is also a request to reduce the irradiation dose (exposure dose) of radiation at the time of inspection as much as possible.

特開2012-053015号公報Japanese Unexamined Patent Publication No. 2012-053015 特開2008-026334号公報Japanese Unexamined Patent Publication No. 2008-026334

上述したような検査装置において撮像条件を変更すると、撮像された画像のノイズが増加するという課題や、解像度が低下するという課題があった。例えばX線検査装置において照射する放射線を弱くする、或いは、露光時間(放射線の照射時間)を短くする、視野(被検査体上の撮像領域であって、以下「FOV(Field Of View)」と呼ぶ)を広くする、又は再構成画像の生成に用いる透過画像の枚数を減らすことで撮像時間を短縮することにより、検査時の被曝量の減少や検査時間の短縮を実現することができるが、その結果、透過画像や再構成画像から得られる断面画像のノイズが増加し、或いは解像度が低下してしまう。 When the imaging conditions are changed in the inspection device as described above, there is a problem that the noise of the image captured is increased and a problem that the resolution is lowered. For example, the radiation emitted by the X-ray inspection apparatus is weakened, or the exposure time (radiation irradiation time) is shortened, and the field of view (the imaging region on the object to be inspected, hereinafter referred to as "FOV (Field Of View)"". By widening the (called) or reducing the number of transmitted images used to generate the reconstructed image, the imaging time can be shortened, thereby reducing the exposure dose at the time of inspection and shortening the inspection time. As a result, the noise of the cross-sectional image obtained from the transparent image or the reconstructed image increases, or the resolution decreases.

本発明はこのような課題に鑑みてなされたものであり、撮像条件の変更により増加するノイズや解像度の低下を、AI(人工知能)を用いた学習で作成したAIモデルにより補正することで検査の精度を向上させる、AIモデルの作成方法、及びこのAIモデルにより画像を補正する検査装置を提供することを目的とする。 The present invention has been made in view of such a problem, and is inspected by correcting the noise and the decrease in resolution that increase due to the change of the imaging condition by the AI model created by learning using AI (artificial intelligence). It is an object of the present invention to provide a method for creating an AI model and an inspection device for correcting an image by the AI model, which improves the accuracy of the AI model.

前記課題を解決するために、本発明に係るAIモデルの作成方法は、機械学習により作成されたAIモデルを用いて被検査体の画像を補正する検査装置におけるAIモデルの作成方法であって、前記検査装置で撮像された前記被検査体の画質の高い画像を教師用画像とし、前記検査装置で撮像された前記被検査体の画質の低い画像であって、前記教師用画像と同一の視野の画像を学習用画像とし、前記学習用画像を入力とし、前記AIモデルにより補正された画像を出力とし、前記出力と前記教師用画像とを比較して学習することにより、前記AIモデルを作成する。 In order to solve the above-mentioned problems, the method of creating an AI model according to the present invention is a method of creating an AI model in an inspection device that corrects an image of an inspected object by using an AI model created by machine learning. The high-quality image of the inspected object captured by the inspection device is used as a teacher image, and the low-quality image of the inspected object captured by the inspection device is the same field as the teacher's image. The AI model is created by using the image of the above as a learning image, the learning image as an input, the image corrected by the AI model as an output, and learning by comparing the output with the teacher's image. do.

また、本発明に係るAIモデルの作成方法は、前記被検査体の画像が、複数の撮像領域に分割されて取得されるときに、前記複数の撮像領域のうちの少なくとも2つの撮像領域では、当該撮像領域の各々に特化した前記AIモデルを作成することが望ましい。 Further, in the method for creating an AI model according to the present invention, when an image of the subject to be inspected is divided into a plurality of imaging regions and acquired, in at least two imaging regions of the plurality of imaging regions, It is desirable to create the AI model specialized for each of the imaging regions.

また、本発明に係るAIモデルの作成方法は、前記被検査体の画像が、複数の領域に分割されて取得されるときに、前記複数の撮像領域のうちの少なくとも2つの撮像領域では、当該撮像領域に共通の前記AIモデルを作成することが望ましい。 Further, in the method for creating an AI model according to the present invention, when an image of the subject to be inspected is divided into a plurality of regions and acquired, the AI model is said to be in at least two of the plurality of imaging regions. It is desirable to create the AI model common to the imaging region.

また、本発明に係るAIモデルの作成方法は、前記被検査体の画像を複数の部分領域に分割し、前記複数の部分領域のうちの少なくとも2つの部分領域では、当該部分領域の各々に特化した前記AIモデルを作成することが望ましい。 Further, in the method for creating an AI model according to the present invention, the image of the object to be inspected is divided into a plurality of partial regions, and at least two of the plurality of partial regions are characterized by each of the partial regions. It is desirable to create the above-mentioned AI model.

また、本発明に係るAIモデルの作成方法は、前記被検査体の画像のうち、前記被検査体の特定の領域の画像に特化したAIモデルを作成することが望ましい。 Further, in the method for creating an AI model according to the present invention, it is desirable to create an AI model specialized for an image of a specific region of the inspected body among the images of the inspected body.

また、本発明に係るAIモデルの作成方法において、前記画質はノイズ量又は解像度であることが望ましい。 Further, in the method for creating an AI model according to the present invention, it is desirable that the image quality is a noise amount or a resolution.

また、本発明に係る検査装置は、光源と、被検査体を保持する保持部と、前記光源から放射され、前記被検査体で反射した光または前記被検査体を透過した光を検出して前記被検査体の画像を取得する検出器と、制御部と、を有し、前記制御部は、前記光源からの光を前記被検査体に照射し、前記検出器により前記被検査体の画像として前記教師用画像及び前記学習用画像を取得し、前記教師用画像及び前記学習用画像を用いて請求項1~6のいずれか一項に記載のAIモデルの作成方法により前記透過画像を補正するための前記AIモデルを作成する。 Further, the inspection device according to the present invention detects a light source, a holding portion for holding the inspected object, and light emitted from the light source and reflected by the inspected object or transmitted through the inspected object. It has a detector for acquiring an image of the inspected object and a control unit, and the control unit irradiates the inspected object with light from the light source and uses the detector to obtain an image of the inspected object. The teacher image and the learning image are acquired, and the transmission image is corrected by the method for creating an AI model according to any one of claims 1 to 6 using the teacher image and the learning image. Create the AI model for this purpose.

また、本発明に係る検査装置において、前記光源は、放射線を放射する線源であり、前記検出器は、前記被検査体を透過した前記線源からの放射線を検出して前記被検査体の画像を取得し、前記制御部は、前記線源と前記保持部及び前記検出器との相対位置を変化させて、前記線源から放射され前記被検査体を透過した光を前記検出器で取得することにより、前記被検査体の透過画像として前記教師用画像及び前記学習用画像を取得し、前記教師用画像及び前記学習用画像を用いて上述したAIモデルの作成方法により前記透過画像を補正するための前記AIモデルを作成することが望ましい。 Further, in the inspection device according to the present invention, the light source is a radiation source that emits radiation, and the detector detects radiation from the radiation source that has passed through the inspected object and detects the radiation of the inspected object. The control unit acquires an image, changes the relative positions of the radiation source, the holding unit, and the detector, and acquires the light emitted from the radiation source and transmitted through the inspected object by the detector. By doing so, the teacher image and the learning image are acquired as the transmission image of the inspected object, and the transmission image is corrected by the AI model creation method described above using the teacher image and the learning image. It is desirable to create the AI model for this purpose.

また、本発明に係る検査装置において、前記光源は、放射線を放射する線源であり、前記検出器は、前記被検査体を透過した前記線源からの放射線を検出して前記検査体の画像を取得し、前記制御部は、前記線源と前記保持部及び前記検出器との相対位置を変化させて、前記線源から放射され前記被検査体を透過した光を前記検出器で取得することにより、前記被検査体の透過画像を取得し、前記透過画像を再構成して前記被検査体の断面画像である前記教師用画像及び前記学習用画像を生成し、前記教師用画像及び前記学習用画像を用いて請求項1~6のいずれか一項に記載のAIモデルの作成方法により前記断面画像を補正するための前記AIモデルを作成することが望ましい。 Further, in the inspection apparatus according to the present invention, the light source is a radiation source that emits radiation, and the detector detects radiation from the radiation source that has passed through the inspected body and images of the inspection body. The control unit changes the relative positions of the radiation source, the holding unit, and the detector, and acquires the light emitted from the radiation source and transmitted through the inspected body by the detector. Thereby, the transmission image of the inspected object is acquired, the transmission image is reconstructed to generate the teacher image and the learning image which are cross-sectional images of the inspected object, and the teacher image and the said. It is desirable to create the AI model for correcting the cross-sectional image by the method for creating the AI model according to any one of claims 1 to 6 using the learning image.

また、本発明に係る検査装置において、前記制御部は、前記線源と前記保持部及び前記検出器との相対位置を変化させて、前記線源から放射され前記被検査体を透過した光を前記検出器で取得することにより、前記被検査体の透過画像を取得し、取得した透過画像又は当該透過画像から生成される断面画像に対して前記AIモデルで補正を行うことが望ましい。 Further, in the inspection device according to the present invention, the control unit changes the relative positions of the radiation source, the holding unit, and the detector to emit light emitted from the radiation source and transmitted through the inspected object. It is desirable to acquire a transmission image of the inspected object by acquiring it with the detector, and to correct the acquired transmission image or the cross-sectional image generated from the transmission image with the AI model.

また、本発明に係る検査装置において、前記補正は、前記被検査体の特定された領域の前記画像に対して行われることが望ましい。 Further, in the inspection device according to the present invention, it is desirable that the correction is performed on the image of the specified region of the inspected object.

また、本発明に係る検査装置は、ユーザインタフェースを有し、前記制御部は、前記ユーザインタフェースにより、前記学習の条件を受け付けることが望ましい。 Further, it is desirable that the inspection device according to the present invention has a user interface, and the control unit accepts the learning conditions by the user interface.

本発明に係るAIモデルの作成方法及び検査装置によれば、撮像条件を変更する(例えば、X線検査装置において放射線を弱くしたり撮像時間を短縮したりする)場合でも、ノイズが少なく解像度の高い画像(透過画像や断面画像)を得ることができ、検査精度を向上させることができる。 According to the AI model creation method and the inspection apparatus according to the present invention, even when the imaging conditions are changed (for example, the radiation is weakened or the imaging time is shortened in the X-ray inspection apparatus), there is little noise and the resolution is high. High images (transparent images and cross-sectional images) can be obtained, and inspection accuracy can be improved.

実施形態に係る検査装置の構成を説明するための説明図である。It is explanatory drawing for demonstrating the structure of the inspection apparatus which concerns on embodiment. 上記検査装置の制御部が処理する各機能ブロックを説明するための説明図である。It is explanatory drawing for demonstrating each functional block processed by the control part of the said inspection apparatus. 検査の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of inspection. 透過画像の撮像及び再構成画像の生成処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the process of taking a transmission image and generating a reconstructed image. 基板保持部及び検出器の移動と、放射線発生器からのX線の放射及び検出器による撮像のタイミングを説明するための説明図であって、(a)はタイミングチャートを示し、(b)は露光のタイミングを示す。It is explanatory drawing for demonstrating the movement of a substrate holding part and a detector, the radiation of X-rays from a radiation generator, and the timing of an image pickup by a detector, (a) shows a timing chart, (b) is The timing of exposure is shown. AIモデルの学習処理のフローチャートである。It is a flowchart of the learning process of AI model. 学習及び補正における画像の分割を説明するための説明図である。It is explanatory drawing for demonstrating the division of an image in learning and correction. 学習におけるエポック数と損失の関係を示すグラフである。It is a graph which shows the relationship between the number of epochs and loss in learning. 学習における入力画像(学習用画像)、出力画像及び教師用画像の関係を説明するための説明図である。It is explanatory drawing for demonstrating the relationship between the input image (learning image), the output image and the teacher image in learning. 検査時に実行される透過画像撮影・再構成画像生成処理のフローチャートである。It is a flowchart of a transparent image shooting / reconstruction image generation process executed at the time of inspection.

以下、本発明の好ましい実施形態について図面を参照して説明する。なお、ここではX線検査装置に基づいて説明するが、後述するように、AOI方式等、その他の方式の検査装置でも同様である。図1に示すように、本実施形態に係る検査装置1は、パーソナルコンピュータ(PC)等の処理装置で構成される制御部10、モニタ12、及び、撮像部32を有して構成されている。また、撮像部32は、更に、線質変更部14、放射線発生器駆動部16、基板保持部駆動部18、検出器駆動部20、放射線発生器22、基板保持部24、及び、検出器26を有している。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Although the description will be given here based on the X-ray inspection device, the same applies to other types of inspection devices such as the AOI method, as will be described later. As shown in FIG. 1, the inspection device 1 according to the present embodiment includes a control unit 10, a monitor 12, and an image pickup unit 32, which are composed of a processing device such as a personal computer (PC). .. Further, the imaging unit 32 further includes a radiation quality changing unit 14, a radiation generator driving unit 16, a substrate holding unit driving unit 18, a detector driving unit 20, a radiation generator 22, a substrate holding unit 24, and a detector 26. have.

放射線発生器22は、X線等の放射線を発生させる装置(線源)であり、例えば加速させた電子をタングステンやダイアモンド等のターゲットに衝突させることで放射線を発生するものである。本実施形態における放射線は、X線の場合について説明するが、これに限定されるものではない。例えば、放射線は、アルファ線、ベータ線、ガンマ線、紫外線、可視光、赤外線でもよい。また、放射線は、マイクロ波やテラヘルツ波でもよい。この放射線発生器22は、被検査体に光(放射線)を照射する光源(線源)としての機能を有している。 The radiation generator 22 is a device (radioactive source) that generates radiation such as X-rays, and generates radiation by colliding accelerated electrons with a target such as tungsten or diamond. The radiation in the present embodiment will be described with respect to the case of X-rays, but the radiation is not limited thereto. For example, the radiation may be alpha rays, beta rays, gamma rays, ultraviolet rays, visible light, or infrared rays. Further, the radiation may be a microwave or a terahertz wave. The radiation generator 22 has a function as a light source (radioactive source) for irradiating the object to be inspected with light (radiation).

基板保持部24は、被検査体である基板を保持する。基板保持部24に保持された基板に放射線発生器22で発生させた放射線を照射し、基板を透過した放射線を検出器26で画像として撮像する。以下、検出器26で撮像された基板の放射線透過画像を「透過画像」と呼ぶ。なお、後述するように、本実施形態においては、基板を保持した基板保持部24と検出器26とを放射線発生器22に対して相対移動させて複数の透過画像を取得して、再構成画像を生成する。 The substrate holding portion 24 holds the substrate to be inspected. The substrate held by the substrate holding portion 24 is irradiated with the radiation generated by the radiation generator 22, and the radiation transmitted through the substrate is captured as an image by the detector 26. Hereinafter, the radiation transmission image of the substrate captured by the detector 26 is referred to as a “transmission image”. As will be described later, in the present embodiment, the substrate holding portion 24 holding the substrate and the detector 26 are relatively moved with respect to the radiation generator 22 to acquire a plurality of transmitted images, and the reconstructed image is obtained. To generate.

検出器26で撮像された透過画像は、制御部10に送られ、例えば、フィルター補正逆投影法(Filtered-Back Projection法(FBP法))等の既知の技術を用いて、接合部分のはんだの立体形状を含む画像に再構成される。そして、再構成された画像や透過画像は、制御部10内のストレージや、図示しない外部のストレージに記憶される。以下、透過画像に基づいて接合部分のはんだの立体形状を含む3次元画像に再構成された画像を「再構成画像」と呼ぶ。また、再構成画像から任意の断面を切り出した画像を「断面画像」と呼ぶ。このような再構成画像及び断面画像はモニタ12に出力される。なお、モニタ12には再構成画像や断面画像のみならず、後述するはんだの接合状態の検査結果等も表示される。また、本実施形態における再構成画像は、上述したように、検出器26で撮像された平面画像から再構成されるため「プラナーCT」とも呼ぶ。 The transmitted image captured by the detector 26 is sent to the control unit 10, and for example, using a known technique such as a filter-corrected back projection method (Filtered-Back Projection method (FBP method)), the solder of the joint portion is soldered. It is reconstructed into an image containing a three-dimensional shape. Then, the reconstructed image and the transparent image are stored in the storage in the control unit 10 and the external storage (not shown). Hereinafter, an image reconstructed into a three-dimensional image including the three-dimensional shape of the solder of the joint portion based on the transparent image is referred to as a “reconstructed image”. Further, an image obtained by cutting out an arbitrary cross section from the reconstructed image is called a "cross-section image". Such a reconstructed image and a cross-sectional image are output to the monitor 12. The monitor 12 displays not only a reconstructed image and a cross-sectional image, but also an inspection result of a solder joint state, which will be described later. Further, the reconstructed image in the present embodiment is also referred to as "planar CT" because it is reconstructed from the planar image captured by the detector 26 as described above.

線質変更部14は、放射線発生器22で発生される放射線の線質を変更する。放射線の線質は、ターゲットに衝突させる電子を加速するために印加する電圧(以下「管電圧」と呼ぶ)や、電子の数を決定する電流(以下「管電流」と呼ぶ)によって定まる。線質変更部14は、これら管電圧と管電流とを制御する装置である。この線質変更部14は変圧器や整流器等、既知の技術を用いて実現できる。 The radiation quality changing unit 14 changes the radiation quality of the radiation generated by the radiation generator 22. The radiation quality is determined by the voltage applied to accelerate the electrons that collide with the target (hereinafter referred to as "tube voltage") and the current that determines the number of electrons (hereinafter referred to as "tube current"). The line quality changing unit 14 is a device that controls these tube voltages and tube currents. This radiation quality changing unit 14 can be realized by using a known technique such as a transformer or a rectifier.

ここで、放射線の線質は、放射線の輝度と硬さ(放射線のスペクトル分布)とで定まる。管電流を大きくすればターゲットに衝突する電子の数が増え、発生する放射線の光子の数も増える。その結果、放射線の輝度が大きくなる。例えば、コンデンサ等の部品の中には他の部品と比較して厚みがあるものもあり、これらの部品の透過画像を撮像するには輝度の大きな放射線を照射する必要がある。このような場合に管電流を調整することで放射線の輝度を調整する。また、管電圧を高くすると、ターゲットに衝突する電子のエネルギーが大きくなり、発生する放射線のエネルギー(スペクトル)が大きくなる。一般に、放射線のエネルギーが大きいほど物質の貫通力が大きくなり、物質に吸収されにくくなる。そのような放射線を用いて撮像した透過画像はコントラストが低くなる。このため、管電圧は透過画像のコントラストを調整するのに利用できる。 Here, the radiation quality is determined by the brightness and hardness (spectral distribution of radiation) of the radiation. Increasing the tube current increases the number of electrons that collide with the target and the number of photons of the generated radiation. As a result, the brightness of the radiation increases. For example, some parts such as capacitors are thicker than other parts, and it is necessary to irradiate them with high-intensity radiation in order to capture a transmitted image of these parts. In such a case, the brightness of the radiation is adjusted by adjusting the tube current. Further, when the tube voltage is increased, the energy of the electrons colliding with the target becomes large, and the energy (spectral) of the generated radiation becomes large. In general, the greater the energy of radiation, the greater the penetrating force of a substance and the less likely it is to be absorbed by the substance. A transmitted image captured using such radiation has a low contrast. Therefore, the tube voltage can be used to adjust the contrast of the transmitted image.

放射線発生器駆動部16は、図示しないモータ等の駆動機構を有しており、放射線発生器22をその焦点を通る軸(この軸の方向を「Z軸方向」とする)に沿って上下に移動させることができる。これにより放射線発生器22と基板保持部24に保持される被検査体(基板)との距離を変えて照射野を変更し、検出器26で撮像される透過画像の拡大率を変更することが可能となる。なお、放射線発生器22のZ軸方向の位置は、発生器位置検出部23により検出され、制御部10に出力される。 The radiation generator drive unit 16 has a drive mechanism such as a motor (not shown), and moves the radiation generator 22 up and down along an axis passing through its focal point (the direction of this axis is defined as the "Z-axis direction"). Can be moved. As a result, the irradiation field can be changed by changing the distance between the radiation generator 22 and the object to be inspected (board) held by the substrate holding portion 24, and the magnification of the transmitted image captured by the detector 26 can be changed. It will be possible. The position of the radiation generator 22 in the Z-axis direction is detected by the generator position detection unit 23 and output to the control unit 10.

検出器駆動部20も図示しないモータ等の駆動機構を有しており、検出器回転軌道30に沿って検出器26を回転移動させる。また、基板保持部駆動部18も図示しないモータ等の駆動機構を有しており、基板回転軌道28が設けられた平面上を、基板保持部24を平行移動させる。また、基板保持部24は、検出器26の回転移動と連動して、基板回転軌道28上を回転移動する構成となっている。これにより、基板保持部24が保持する基板と放射線発生器22との相対的な位置関係を変更させながら、投射方向及び投射角度が異なる複数の透過画像を撮像することが可能となる。 The detector drive unit 20 also has a drive mechanism such as a motor (not shown), and rotates and moves the detector 26 along the detector rotation trajectory 30. Further, the board holding section drive unit 18 also has a drive mechanism such as a motor (not shown), and the board holding section 24 is translated on a plane provided with the board rotation track 28. Further, the substrate holding portion 24 is configured to rotate and move on the substrate rotation track 28 in conjunction with the rotational movement of the detector 26. This makes it possible to capture a plurality of transmitted images having different projection directions and angles while changing the relative positional relationship between the substrate held by the substrate holding unit 24 and the radiation generator 22.

ここで、基板回転軌道28と検出器回転軌道30との回転半径は固定ではなく、自由に変更できる構成となっている。これにより、基板に配置される部品に照射する放射線の照射角度を任意に変更することが可能となる。なお、基板回転軌道28及び検出器回転軌道30の軌道面は、上述したZ軸方向と直交しており、この軌道面において直交する方向をX軸方向及びY軸方向とすると、基板保持部24のX軸方向及びY軸方向の位置は、基板位置検出部29で検出されて制御部10に出力され、検出器26のX軸方向及びY軸方向の位置は、検出器位置検出部31で検出されて制御部10に出力される。 Here, the radius of gyration between the substrate rotation track 28 and the detector rotation track 30 is not fixed, but can be freely changed. This makes it possible to arbitrarily change the irradiation angle of the radiation irradiating the components arranged on the substrate. The orbital planes of the substrate rotating orbital 28 and the detector rotating orbital 30 are orthogonal to the Z-axis direction described above, and if the directions orthogonal to the orbital planes are the X-axis direction and the Y-axis direction, the substrate holding portion 24 The positions in the X-axis direction and the Y-axis direction are detected by the board position detection unit 29 and output to the control unit 10, and the positions of the detector 26 in the X-axis direction and the Y-axis direction are detected by the detector position detection unit 31. It is detected and output to the control unit 10.

制御部10は、上述した検査装置1の全動作を制御する。以下、制御部10の諸機能について図2を用いて説明する。なお、図示されていないが、制御部10には、上述したモニタ12に加えて、キーボードおよびマウスなどの入力装置が接続されており、これらのモニタやキーボード・マウス等は、検査装置1のユーザインタフェースを構成している。 The control unit 10 controls all the operations of the inspection device 1 described above. Hereinafter, various functions of the control unit 10 will be described with reference to FIG. Although not shown, an input device such as a keyboard and a mouse is connected to the control unit 10 in addition to the monitor 12 described above, and these monitors, the keyboard, the mouse, and the like are the users of the inspection device 1. It constitutes an interface.

制御部10は、記憶部34、撮像処理部35、断面画像生成部36、学習処理部37、基板検査面検出部38、疑似断面画像生成部40、及び検査部42を含む。なお、図示しないが制御部10は線質変更部14、放射線発生器駆動部16、基板保持部駆動部18、及び検出器駆動部20の作動を制御する撮像制御部も含む。また、これらの各機能ブロックは、各種演算処理を実行するCPU、データの格納やプログラム実行のためのワークエリアとして利用されるRAMなどのハードウェア、およびソフトウェアの連携によって実現される。したがって、これらの機能ブロックはハードウェアおよびソフトウェアの組み合わせによって様々な形で実現することができる。 The control unit 10 includes a storage unit 34, an image pickup processing unit 35, a cross-section image generation unit 36, a learning processing unit 37, a substrate inspection surface detection unit 38, a pseudo cross-section image generation unit 40, and an inspection unit 42. Although not shown, the control unit 10 also includes an image pickup control unit that controls the operation of the radiation quality change unit 14, the radiation generator drive unit 16, the substrate holding unit drive unit 18, and the detector drive unit 20. Further, each of these functional blocks is realized by the cooperation of a CPU that executes various arithmetic processes, hardware such as RAM used as a work area for storing data and executing a program, and software. Therefore, these functional blocks can be realized in various forms by a combination of hardware and software.

記憶部34は、基板の透過画像を撮像するための撮像条件や、被検査体である基板の設計等の情報を記憶する。記憶部34はまた、基板の透過画像や再構成画像(断面画像、疑似断面画像)、及び後述する検査部42の検査結果等を記憶する。また、詳細は後述するが、記憶部34は、学習処理部37により作成または更新されたAIモデルを記憶する。記憶部34はさらに、放射線発生器駆動部16が放射線発生器22を駆動する速度、基板保持部駆動部18が基板保持部24を駆動する速度および検出器駆動部20が検出器26を駆動する速度も格納されている。 The storage unit 34 stores information such as imaging conditions for capturing a transmitted image of the substrate and the design of the substrate to be inspected. The storage unit 34 also stores a transparent image of the substrate, a reconstructed image (cross-sectional image, pseudo cross-sectional image), an inspection result of the inspection unit 42 described later, and the like. Further, although the details will be described later, the storage unit 34 stores the AI model created or updated by the learning processing unit 37. The storage unit 34 further has a speed at which the radiation generator driving unit 16 drives the radiation generator 22, a speed at which the substrate holding unit driving unit 18 drives the substrate holding unit 24, and a detector driving unit 20 driving the detector 26. The speed is also stored.

撮像処理部35は、放射線発生器駆動部16、基板保持部駆動部18及び検出器駆動部20により、放射線発生器22、基板保持部24及び検出器26を駆動させて、基板保持部24により保持された被検査体の透過画像を撮像し、透過画像から再構成画像を生成する。この撮像処理部35による透過画像の撮像及び再構成画像の生成方法については、後述する。 The image pickup processing unit 35 drives the radiation generator 22, the substrate holding unit 24, and the detector 26 by the radiation generator driving unit 16, the substrate holding unit driving unit 18, and the detector driving unit 20, and is driven by the substrate holding unit 24. A transmitted image of the held object to be inspected is imaged, and a reconstructed image is generated from the transmitted image. The method of capturing a transmission image and generating a reconstructed image by the imaging processing unit 35 will be described later.

断面画像生成部36は、記憶部34から取得した複数の透過画像に基づいて、断面画像を生成する。これは、例えばFBP法や最尤推定法等、既知の技術を用いて実現できる。再構成アルゴリズムが異なると、得られる再構成画像の性質や再構成に要する時間も異なる。そこで、あらかじめ複数の再構成アルゴリズムやアルゴリズムに用いられるパラメータを用意しておき、ユーザに選択させる構成としてもよい。これにより、再構成に要する時間が短くなることを優先したり、時間はかかっても画質の良さを優先したりするなどの選択の自由度をユーザに提供することができる。生成した断面画像は記憶部34に出力し、この記憶部34に記録される。なお、上述した撮像処理部35は、記憶部34に記憶されているAIモデルを用いて透過画像又は断面画像を補正することも可能である。透過画像又は断面画像の補正方法については後述する。 The cross-sectional image generation unit 36 generates a cross-sectional image based on a plurality of transparent images acquired from the storage unit 34. This can be achieved by using known techniques such as the FBP method and the maximum likelihood estimation method. Different reconstruction algorithms have different properties of the resulting reconstructed image and the time required for reconstruction. Therefore, a plurality of reconstruction algorithms and parameters used for the algorithms may be prepared in advance so that the user can select them. As a result, it is possible to provide the user with a degree of freedom in selection, such as giving priority to shortening the time required for reconstruction, or giving priority to good image quality even if it takes time. The generated cross-sectional image is output to the storage unit 34 and recorded in the storage unit 34. The image pickup processing unit 35 described above can also correct a transmission image or a cross-sectional image by using the AI model stored in the storage unit 34. The method of correcting the transparent image or the cross-sectional image will be described later.

基板検査面検出部38は、断面画像生成部36が生成した複数の断面画像の中から、基板上の検査の対象となる面(例えば、基板の表面)を映し出している位置(断面画像)を特定する。以後、基板の検査面を映し出している断面画像を「検査面画像」という。検査面画像の検出方法についての詳細は後述する。 The substrate inspection surface detection unit 38 determines a position (cross-sectional image) on the substrate on which the surface to be inspected (for example, the surface of the substrate) is projected from among the plurality of cross-sectional images generated by the cross-sectional image generation unit 36. Identify. Hereinafter, the cross-sectional image showing the inspection surface of the substrate is referred to as an "inspection surface image". Details of the inspection surface image detection method will be described later.

疑似断面画像生成部40は、断面画像生成部36が生成した断面画像について、連続する所定枚数の断面画像を積み上げることにより、断面画像よりも厚い基板の領域を画像化する。積み上げる断面画像の枚数は、断面画像が映し出す基板の領域の厚さ(以後、「スライス厚」という。)と、疑似断面画像のスライス厚とによって定める。例えば、断面画像のスライス厚が50μmで、疑似断面画像としてBGAのはんだボール(以後単に「はんだ」という。)の高さ(例えば500μm)をスライス厚としようとするならば、500/50=10枚の断面画像を積み上げればよい。この際、はんだの位置を特定するために、基板検査面検出部38が特定した検査面画像が用いられる。 The pseudo cross-sectional image generation unit 40 images a region of the substrate thicker than the cross-sectional image by stacking a predetermined number of continuous cross-sectional images with respect to the cross-sectional image generated by the cross-sectional image generation unit 36. The number of cross-sectional images to be stacked is determined by the thickness of the area of the substrate on which the cross-sectional images are projected (hereinafter referred to as "slice thickness") and the slice thickness of the pseudo cross-sectional images. For example, if the slice thickness of the cross-sectional image is 50 μm and the height (for example, 500 μm) of the BGA solder ball (hereinafter simply referred to as “solder”) as the pseudo cross-sectional image is to be the slice thickness, 500/50 = 10 All you have to do is stack the cross-sectional images. At this time, in order to specify the position of the solder, the inspection surface image specified by the substrate inspection surface detection unit 38 is used.

検査部42は、断面画像生成部36が生成した断面画像、基板検査面検出部38が特定した検査面画像、及び疑似断面画像生成部40が生成した疑似断面画像に基づいて、はんだの接合状態を検査する。基板と部品とを接合するはんだは基板検査面付近にあるので、検査面画像及び検査面画像に対して放射線発生器22側の領域を映し出している断面画像を検査することで、はんだが基板と部品とを適切に接合しているか否かが判断できる。 The inspection unit 42 is based on the cross-sectional image generated by the cross-sectional image generation unit 36, the inspection surface image specified by the substrate inspection surface detection unit 38, and the pseudo cross-sectional image generated by the pseudo cross-sectional image generation unit 40. To inspect. Since the solder that joins the board and the components is near the board inspection surface, the solder can be attached to the board by inspecting the inspection surface image and the cross-sectional image that reflects the area on the radiation generator 22 side with respect to the inspection surface image. It can be determined whether or not the parts are properly joined.

ここで、「はんだの接合状態」とは、基板と部品とがはんだにより接合し、適切な導電経路が生成されているか否かのことをいう。はんだの接合状態の検査には、ブリッジ検査、溶融状態検査、及びボイド検査が含まれる。「ブリッジ(bridge)」とは、はんだが接合することにより生じた導体間の好ましくない導電経路のことをいう。また、「溶融状態」とは、はんだの溶融不足により、基板と部品との間の接合が不足しているか否かの状態、いわゆる「浮き」か否かの状態をいう。「ボイド(void)」とは、はんだ接合部内の気泡によるはんだ接合の不具合のことをいう。したがって検査部42は、ブリッジ検査部44、溶融状態検査部46、及びボイド検査部48を含む。 Here, the "soldering state" refers to whether or not the substrate and the component are joined by soldering to generate an appropriate conductive path. Inspection of the solder joint condition includes bridge inspection, melt condition inspection, and void inspection. "Bridge" refers to an unfavorable conductive path between conductors created by joining solder. Further, the "melted state" refers to a state of whether or not the bonding between the substrate and the component is insufficient due to insufficient melting of the solder, that is, a state of whether or not it is "floating". "Void" refers to a defect in the solder joint due to air bubbles in the solder joint. Therefore, the inspection unit 42 includes a bridge inspection unit 44, a melting state inspection unit 46, and a void inspection unit 48.

ブリッジ検査部44、溶融状態検査部46、及びボイド検査部48の動作の詳細は後述するが、ブリッジ検査部44およびボイド検査部48は、疑似断面画像生成部40が生成した疑似断面画像に基づいてそれぞれブリッジおよびボイドの検査をし、溶融状態検査部46は基板検査面検出部38が特定した検査面画像に基づいてはんだの溶融状態を検査する。なお、ブリッジ検査部44、溶融状態検査部46、及びボイド検査部48における検査結果は記憶部34に記録される。 The details of the operations of the bridge inspection unit 44, the melting state inspection unit 46, and the void inspection unit 48 will be described later, but the bridge inspection unit 44 and the void inspection unit 48 are based on the pseudo-section image generated by the pseudo-section image generation unit 40. The bridge and voids are inspected, respectively, and the melt state inspection unit 46 inspects the melt state of the solder based on the inspection surface image specified by the substrate inspection surface detection unit 38. The inspection results of the bridge inspection unit 44, the melting state inspection unit 46, and the void inspection unit 48 are recorded in the storage unit 34.

図3は透過画像の撮像及び再構成画像の生成、及び、検査面画像の特定から、はんだの接合状態を検査するまでの流れを示したフローチャートである。また、図4は透過画像の撮像及び再構成画像の生成の処理の部分の流れを示したフローチャートである。本フローチャートにおける処理は、例えば、制御部10が図示しない入力装置から検査開始の指示を受け付けたときに開始する。 FIG. 3 is a flowchart showing a flow from capturing a transmission image, generating a reconstructed image, specifying an inspection surface image, and inspecting the solder joint state. Further, FIG. 4 is a flowchart showing the flow of the processing portion of the imaging of the transparent image and the generation of the reconstructed image. The process in this flowchart starts, for example, when the control unit 10 receives an instruction to start inspection from an input device (not shown).

制御部10は、図3に示すように、検査対象物(被検査体)が検査装置内に搬入されると(ステップS100)、放射線発生器駆動部16により放射線発生器22により放射される放射線の照射野を設定し、基板保持部駆動部18により基板保持部24を移動させるとともに、検出器駆動部20により検出器26を移動させて撮像位置を変更しながら、線質変更部14により放射線発生器22の線質を設定して放射線を基板に照射して透過画像を撮像し、さらに、このようにして撮像された複数枚の透過画像から、断面画像生成部36及び疑似断面画像生成部40により再構成画像(断面画像・疑似断面画像)を生成する(ステップS120)。なお、透過画像を撮像する際の、基板保持部駆動部18による基板保持部24の移動経路、及び、検出器駆動部20による検出器26の移動経路は、記憶部34に記憶させた情報を読み込む方法や、入力装置から入力する方法により、予め基板保持駆動部18及び検出器駆動部20に設定されているものとする。また、放射線発生器22のZ軸方向の位置も、同様の方法により予め設定されているものとする。 As shown in FIG. 3, the control unit 10 emits radiation emitted by the radiation generator 22 by the radiation generator drive unit 16 when the inspection object (inspected object) is carried into the inspection device (step S100). The irradiation field is set, the substrate holding unit 24 is moved by the substrate holding unit driving unit 18, and the detector 26 is moved by the detector driving unit 20 to change the imaging position, while the radiation quality changing unit 14 emits radiation. The radiation quality of the generator 22 is set, radiation is applied to the substrate to capture a transmitted image, and further, from the plurality of transmitted images captured in this way, the cross-sectional image generation unit 36 and the pseudo-cross-sectional image generation unit 36 and the pseudo-cross-sectional image generation unit. A reconstructed image (cross-sectional image / pseudo-cross-sectional image) is generated by 40 (step S120). The moving path of the substrate holding unit 24 by the substrate holding unit driving unit 18 and the moving path of the detector 26 by the detector driving unit 20 when capturing a transmitted image are information stored in the storage unit 34. It is assumed that the board holding drive unit 18 and the detector drive unit 20 are set in advance by the method of reading or the method of inputting from the input device. Further, it is assumed that the position of the radiation generator 22 in the Z-axis direction is also preset by the same method.

このステップS120の処理の詳細を図4及び図5を用いて説明する。図4に示すように、制御部10の撮像処理部35は、ステップS120が開始されると、基板保持部駆動部18及び検出器駆動部20に出力される作動信号をオンにする(ステップS1000)。図5(a)における時刻t0に相当する。この作動信号がオンとなると、基板保持部駆動18は、基板保持部24の移動を開始させ(ステップS1002)、検出器駆動部20は、検出器26の移動を開始させる(ステップS1004)。基板保持部24及び検出器26は、上述したように予め設定されている移動経路に沿って移動される。 The details of the process of this step S120 will be described with reference to FIGS. 4 and 5. As shown in FIG. 4, when the step S120 is started, the image pickup processing unit 35 of the control unit 10 turns on the operation signal output to the substrate holding unit drive unit 18 and the detector drive unit 20 (step S1000). ). It corresponds to the time t0 in FIG. 5 (a). When this operation signal is turned on, the board holding unit drive 18 starts the movement of the board holding unit 24 (step S1002), and the detector drive unit 20 starts the movement of the detector 26 (step S1004). The substrate holding unit 24 and the detector 26 are moved along a preset movement path as described above.

撮像処理部35は、撮像タイミングか否かを判断し(ステップS1006)、撮像タイミングでないと判断した場合(ステップS1006の「N」)、所定の時間をおいて再度このステップを繰り返し、撮像タイミングであると判断した場合(ステップS1006の「Y」)、撮像開始信号(トリガー)を検出器26に送信する(ステップS1008)。例えば、図5(a)の例では時刻t1に検出器26に対するトリガーをオンにする。 When the image pickup processing unit 35 determines whether or not it is the image pickup timing (step S1006) and determines that it is not the image pickup timing (“N” in step S1006), the image pickup processing unit 35 repeats this step again after a predetermined time, and at the image pickup timing. When it is determined that there is (“Y” in step S1006), the image pickup start signal (trigger) is transmitted to the detector 26 (step S1008). For example, in the example of FIG. 5A, the trigger for the detector 26 is turned on at time t1.

撮像処理部35によりトリガーがオンされたことを検出した検出器26は、透過画像の撮像を開始するとともに、撮像を開始したことを示す応答信号を撮像処理部35に送信する(ステップS1010)。また、検出器26は、放射線発生器駆動部16に露光信号を送信する(ステップS1012)。例えば、図5(a)の例では時刻t2から時間Tの間、放射線発生器駆動部16に出力する露光信号をオンにする。このように、検出器26から放射線発生器駆動部16に露光信号を送信するように構成すると、撮像開始から露光開始までの遅延を限りなく小さくすることができる。 The detector 26 that has detected that the trigger has been turned on by the image pickup processing unit 35 starts imaging of the transmitted image and transmits a response signal indicating that the imaging has started to the image pickup processing unit 35 (step S1010). Further, the detector 26 transmits an exposure signal to the radiation generator driving unit 16 (step S1012). For example, in the example of FIG. 5A, the exposure signal output to the radiation generator driving unit 16 is turned on from the time t2 to the time T. In this way, if the detector 26 is configured to transmit the exposure signal to the radiation generator driving unit 16, the delay from the start of imaging to the start of exposure can be reduced as much as possible.

検出器26から露光信号を受信した放射線発生器駆動部16は、露光信号がオンの間、放射線発生器22から放射線を発生させ、この放射線が被検査体に照射される(ステップS1014)。ここで、検出器26がローリングシャッター方式を採用している場合、この検出器26の受光素子で検出されたX線の情報(強度等)は、所定の方向に並ぶ複数の走査ラインに沿って取得されるが、走査ライン毎に開始時刻がずれて取得される。例えば、図5(b)に示すように、検出器26が、左右方向に延びるn本の走査ラインで構成されている場合、上からL1、L2、L3、・・・、Ln-1、Lnの順で開始時刻がずれて検出された情報が取得される。そのため、全ての走査ラインがデータを取得している時間(図5(b)の場合時間Tの間)に、放射線発生器22からX線を発生させることにより、各走査ラインから得られる情報は、同じ時間に照射されたX線による情報となるため、取得された透過画像の歪みを防止することができる。 The radiation generator driving unit 16 that has received the exposure signal from the detector 26 generates radiation from the radiation generator 22 while the exposure signal is on, and this radiation is applied to the object to be inspected (step S1014). Here, when the detector 26 adopts the rolling shutter method, the X-ray information (intensity, etc.) detected by the light receiving element of the detector 26 is along a plurality of scanning lines arranged in a predetermined direction. It is acquired, but the start time is shifted for each scanning line. For example, as shown in FIG. 5B, when the detector 26 is composed of n scanning lines extending in the left-right direction, L1, L2, L3, ..., Ln-1, Ln from above. The information detected with the start time shifted in the order of is acquired. Therefore, the information obtained from each scanning line is obtained by generating X-rays from the radiation generator 22 during the time when all the scanning lines are acquiring data (during time T in the case of FIG. 5B). Since the information is obtained by X-rays irradiated at the same time, it is possible to prevent distortion of the acquired transmitted image.

また、検出器26から送信された応答信号を受信した撮像処理部35は、基板位置検出部29から基板保持部24の位置情報を取得し、検出器位置検出部31から検出器26の位置を取得して記憶する(ステップS1016)。なお、基板保持駆動部18による基板保持部24の移動と、検出器駆動部20による検出器26の移動は、上述したように予め決められた移動経路に沿って制御されるため、基板保持部24の位置及び検出器26の位置のいずれか一方が分かれば他方の位置も分かるため、基板保持部24及び検出器26の両方の位置を記憶しても良いし、いずれか一方の位置を記憶してもよい。また、基板保持部24及び検出器26の位置は、上述したXY直交座標系(X軸方向及びY軸方向の位置(x,y)の形式)で記憶しても良いし、基板回転軌道28及び検出器回転軌道30の軌道面の中心を原点として極座標系(原点からの距離rと、角度θで特定する位置(r,θ)の形式)で記憶してもよい。 Further, the image pickup processing unit 35 that has received the response signal transmitted from the detector 26 acquires the position information of the board holding unit 24 from the board position detection unit 29, and determines the position of the detector 26 from the detector position detection unit 31. Acquire and store (step S1016). Since the movement of the board holding unit 24 by the board holding drive unit 18 and the movement of the detector 26 by the detector drive unit 20 are controlled along a predetermined movement path as described above, the board holding unit If either the position of 24 or the position of the detector 26 is known, the position of the other can be known. Therefore, both the positions of the substrate holding portion 24 and the detector 26 may be stored, or one of the positions may be stored. You may. Further, the positions of the substrate holding portion 24 and the detector 26 may be stored in the above-mentioned XY Cartesian coordinate system (in the form of positions (x, y) in the X-axis direction and the Y-axis direction), or the substrate rotation trajectory 28. And may be stored in a polar coordinate system (a form of a position (r, θ) specified by a distance r from the origin and an angle θ) with the center of the orbital surface of the detector rotation orbit 30 as the origin.

以上のようにして、透過画像の撮像が終了すると、検出器26は、撮像された透過画像を撮像処理部35に送信する(ステップS1018)。そして、この透過画像を取得した撮像処理部35は、ステップS1016で取得した基板保持部24の位置情報及び検出器26の位置情報と取得した透過画像とを対応付けて記憶部34に記憶する(ステップS1020)。 When the imaging of the transmitted image is completed as described above, the detector 26 transmits the captured transmitted image to the imaging processing unit 35 (step S1018). Then, the image pickup processing unit 35 that has acquired this transparent image stores the position information of the substrate holding unit 24 acquired in step S1016 and the position information of the detector 26 in association with the acquired transparent image in the storage unit 34 (. Step S1020).

また、撮像処理部35は、次の撮像位置があるか否かを判断し(ステップS1022)、次の撮像位置があると判断した場合(ステップS1022の「Y」)、ステップS1006に戻って上述した処理(ステップS1006~S1020)を繰り返す。一方、撮像処理部35は、次の撮像位置がないと判断した場合(ステップS1022の「N」)、基板保持部駆動部18及び検出器駆動部20に出力される作動信号をオフにし(ステップS1024)、作動信号がオフになったことを検出した基板保持部駆動部18は基板保持部24の移動を停止させ(ステップS1026)、検出器駆動部20は検出器26の移動を停止させる(ステップS1028)。例えば、図5(a)の時刻t3に相当する。 Further, when the image pickup processing unit 35 determines whether or not there is a next image pickup position (step S1022) and determines that there is a next image pickup position (“Y” in step S1022), the process returns to step S1006 and described above. The processing (steps S1006 to S1020) is repeated. On the other hand, when the image pickup processing unit 35 determines that there is no next image pickup position (“N” in step S1022), the image pickup processing unit 35 turns off the operation signals output to the substrate holding unit drive unit 18 and the detector drive unit 20 (step). S1024), the board holding unit drive unit 18 that has detected that the operation signal has been turned off stops the movement of the board holding unit 24 (step S1026), and the detector drive unit 20 stops the movement of the detector 26 (step S1024). Step S1028). For example, it corresponds to the time t3 in FIG. 5 (a).

最後に、撮像処理部35は、断面画像生成部36及び疑似断面画像生成部40により、記憶部34に記憶されている透過画像から再構成画像を生成する(ステップS1030)。生成された再構成画像は、記憶部34に記憶してもよい。 Finally, the image pickup processing unit 35 generates a reconstructed image from the transmitted image stored in the storage unit 34 by the cross-section image generation unit 36 and the pseudo cross-section image generation unit 40 (step S1030). The generated reconstructed image may be stored in the storage unit 34.

次に、図3に戻り、制御部10は、予め設定された情報に基づき、被検査体の自動検査を実施する(ステップS140)。具体的には、制御部10の基板検査面検出部38は、断面画像生成部36から透過画像または再構成画像(断面画像)を受け取り、その中から検査面画像を特定する(ステップS141)。ブリッジ検査部44は、疑似断面画像生成部40からはんだボールを映し出しているはんだボールと同程度のスライス厚の疑似断面画像を取得し、ブリッジの有無を検査する(ステップS142)。ブリッジを検出しない場合には(ステップS143の「N」)、溶融状態検査部46は基板検査面検出部38から検査面画像を取得し、はんだが溶融しているか否かを検査する(ステップS144)。はんだが溶融している場合には(ステップS145の「Y」)、ボイド検査部48は疑似断面画像生成部40からはんだボールを部分的に映し出している疑似断面画像を取得し、ボイドが存在するか否かを検査する(ステップS146)。ボイドが見つからない場合には(ステップS147の「N」)、ボイド検査部48は、はんだの接合状態は正常と判断し(ステップS148)、その旨を記憶部34に出力する。また、ブリッジを検出した場合(ステップS143の「Y」)、はんだが溶融していない場合(ステップS145の「N」)、またはボイドが存在する場合(ステップS147の「Y」)には、それぞれブリッジ検査部44、溶融状態検査部46、およびボイド検査部48ははんだの接合状態は異常と判断して(ステップS149)その旨を記憶部34に出力する。はんだの状態が記憶部34に出力されると、自動検査の処理を終了する。 Next, returning to FIG. 3, the control unit 10 automatically inspects the inspected object based on the preset information (step S140). Specifically, the substrate inspection surface detection unit 38 of the control unit 10 receives a transmission image or a reconstructed image (cross-section image) from the cross-section image generation unit 36, and identifies the inspection surface image from the transmitted image (cross-section image) (step S141). The bridge inspection unit 44 acquires a pseudo cross-section image having a slice thickness similar to that of the solder ball projecting the solder ball from the pseudo cross-section image generation unit 40, and inspects the presence or absence of the bridge (step S142). When the bridge is not detected (“N” in step S143), the melting state inspection unit 46 acquires an inspection surface image from the substrate inspection surface detection unit 38 and inspects whether or not the solder is melted (step S144). ). When the solder is melted (“Y” in step S145), the void inspection unit 48 acquires a pseudo cross-section image partially projecting the solder ball from the pseudo cross-section image generation unit 40, and the void is present. It is inspected whether or not (step S146). If the void is not found (“N” in step S147), the void inspection unit 48 determines that the solder bonding state is normal (step S148), and outputs that fact to the storage unit 34. When a bridge is detected (“Y” in step S143), the solder is not melted (“N” in step S145), or a void is present (“Y” in step S147), respectively. The bridge inspection unit 44, the melting state inspection unit 46, and the void inspection unit 48 determine that the solder joint state is abnormal (step S149), and output that fact to the storage unit 34. When the solder state is output to the storage unit 34, the automatic inspection process ends.

最後に、制御部10は、検査結果をモニタ12等に出力し(ステップS160)、検査対象物(被検査体)を搬出して(ステップS180)、本フローチャートによる検査を終了する(若しくは、次の被検査体の上述した処理による検査を開始する)。 Finally, the control unit 10 outputs the inspection result to the monitor 12 or the like (step S160), carries out the inspection target (inspected object) (step S180), and ends the inspection according to this flowchart (or next). The inspection by the above-mentioned treatment of the inspected object is started).

以上の方法によると、透過画像が撮像された位置は、撮像処理部35が検出器20にトリガーを送信した時刻の情報ではなく、検出器26が画像の取得の開始した時刻(検出器26から応答信号を受信した時刻)の情報となる。放射線発生器22と基板保持部24及び検出器26との相対位置を変化させている状態(基板保持部24及び検出器26が移動しつづけている状態)の場合、撮像処理部35がトリガーを送信してから検出器26が画像の取得を開始するまでは遅延が発生するため、トリガーが送信された時刻の基板保持部24及び検出器26の位置は、実際に透過画像が撮像される位置とずれている可能性がある。そのため、上述したように、検出器26が画像の取得を開始し、そのときに検出器26から送信される応答信号を撮像処理部35が受信したときに、基板保持部24及び検出器26の位置を取得することにより、正確な位置情報を取得することができ、これにより再構成画像の精度を向上させることができる。また、基板保持部駆動部18による基板保持部24の移動経路、及び、検出器駆動部20による検出器26の移動経路は、駆動部の特性等により、予め指定した位置からずれる場合があるが、上述したように、これらの位置は基板位置検出部29及び検出器位置検出部31により検出された位置であるため、正確な位置情報を取得することができ、再構成画像の精度をさらに構成させることができる。 According to the above method, the position where the transmitted image is captured is not the information of the time when the imaging processing unit 35 transmits the trigger to the detector 20, but the time when the detector 26 starts acquiring the image (from the detector 26). It is the information of the time when the response signal was received). In the case where the relative positions of the radiation generator 22 and the substrate holding unit 24 and the detector 26 are changed (the substrate holding unit 24 and the detector 26 continue to move), the image pickup processing unit 35 triggers. Since there is a delay from the transmission to the start of image acquisition by the detector 26, the positions of the board holding unit 24 and the detector 26 at the time when the trigger is transmitted are the positions where the transmitted image is actually captured. It may be out of alignment. Therefore, as described above, when the detector 26 starts acquiring an image and the image pickup processing unit 35 receives the response signal transmitted from the detector 26 at that time, the substrate holding unit 24 and the detector 26 By acquiring the position, accurate position information can be acquired, and thereby the accuracy of the reconstructed image can be improved. Further, the moving path of the board holding portion 24 by the board holding unit driving unit 18 and the moving path of the detector 26 by the detector driving unit 20 may deviate from the positions specified in advance depending on the characteristics of the driving unit and the like. As described above, since these positions are the positions detected by the board position detection unit 29 and the detector position detection unit 31, accurate position information can be obtained, and the accuracy of the reconstructed image is further configured. Can be made to.

なお、基板保持部24及び検出器26の位置情報及び透過画像は、制御部10の記憶領域(メモリやハードディスク等)のうち、所定の領域を循環的に使用して記憶する方式(所定の領域の先頭から順次情報を記憶し、所定の領域の最後に情報を記憶したときは、所定の領域の先頭に戻って記憶させる方式)を採用することより、記憶領域を効率よく利用することができる。 The position information and the transmitted image of the substrate holding unit 24 and the detector 26 are stored by cyclically using a predetermined area of the storage area (memory, hard disk, etc.) of the control unit 10 (predetermined area). The storage area can be used efficiently by adopting a method of storing information sequentially from the beginning of the above, and when the information is stored at the end of the predetermined area, returning to the beginning of the predetermined area and storing the information). ..

また、検出器26がローリングシャッター方式により透過画像を撮像している場合、放射線発生器22と基板保持部24及び検出器26との相対位置を変化させている状態で透過画像を取得すると画像が歪む場合があるが、上述したように、放射線発生器22から放射されるX線のオン/オフを(露光信号のオン/オフ)を検出器26のローリングシャッターの信号(応答信号)に同期させることにより、歪みのない透過画像を取得することができる。 Further, when the detector 26 is capturing a transmission image by the rolling shutter method, if the transmission image is acquired while the relative positions of the radiation generator 22 and the substrate holding portion 24 and the detector 26 are changed, the image is obtained. Although it may be distorted, as described above, the on / off of the X-ray emitted from the radiation generator 22 (on / off of the exposure signal) is synchronized with the signal (response signal) of the rolling shutter of the detector 26. This makes it possible to acquire a transmission image without distortion.

既に説明したように、以上のような構成の検査装置1において、検査時間の短縮や被検査体に照射される放射線の量を少なくするためには、検査時の被検査体の撮像時間を短くする、若しくは、照射される放射線を弱くする必要がある。撮像時間を短くするためには、露光時間(放射線の照射時間)を短くする、FOVを広くする、或いは再構成画像の生成に用いる透過画像の枚数を減らす方法が考えられる。しかし、このような方法で撮像時間を短くしたり、照射される放射線を弱くしたりすると、透過画像や、透過画像から生成された再構成画像から切り出される断面画像のノイズが増加し、或いは、解像度が低くなり、結果として、これらの画像を用いた検査の精度が低下する可能性がある。 As described above, in the inspection device 1 having the above configuration, in order to shorten the inspection time and reduce the amount of radiation irradiated to the inspected object, the imaging time of the inspected object at the time of inspection is shortened. Or, it is necessary to weaken the emitted radiation. In order to shorten the imaging time, it is conceivable to shorten the exposure time (irradiation time of radiation), widen the FOV, or reduce the number of transmitted images used to generate the reconstructed image. However, if the imaging time is shortened or the emitted radiation is weakened by such a method, the noise of the transmitted image or the cross-sectional image cut out from the reconstructed image generated from the transmitted image increases or becomes. The resolution may be low and, as a result, the accuracy of inspections using these images may be reduced.

本実施形態に係る検査装置1は、透過画像または断面画像からノイズを除去するため、また、これらの画像を高解像度化するために、AIモデルを使って補正するように構成されている。すなわち、検査のために撮像した画像(透過画像又は断面画像)を入力画像とし、この入力画像に対してAIモデルを適用することで、AIで補正された画像が出力画像として得られる。以下に、AIモデルを使った補正の方法について説明する。 The inspection device 1 according to the present embodiment is configured to correct using an AI model in order to remove noise from a transmission image or a cross-sectional image and to increase the resolution of these images. That is, an image captured for inspection (transmission image or cross-sectional image) is used as an input image, and by applying an AI model to this input image, an image corrected by AI can be obtained as an output image. The correction method using the AI model will be described below.

本実施形態に係る補正方法は、予め、検査装置1で撮像された被検査体の画像(透過画像又は断面画像)を教師用データ及び学習用データとして用いて深層学習(Deep learning)等の機械学習(以降の説明では「AI学習」と呼ぶ)を行ってAIモデルを生成し、検査では、生成されたAIモデルを使って透過画像又は断面画像を補正するように構成されている。まず、図6~図9を用いてAI学習(深層学習)の処理について説明する。なお、以降の説明において、「教師用画像」とは、十分な露光時間や放射線の線質(放射線の輝度と硬さ)で撮像されたノイズが少ない被検査体の画像、若しくは、十分な解像度(検査において所定の検査精度を得ることができる解像度)である被検査体の画像を示し、また、「学習用画像」とは、実際の検査において設定される露光時間や放射線の線質、又は解像度で撮像された、ノイズが含まれる、若しくは低い解像度の被検査体の画像を示すものとする。 The correction method according to the present embodiment is a machine such as deep learning using an image (transmission image or cross-sectional image) of the object to be inspected captured by the inspection device 1 as teacher data and learning data in advance. It is configured to perform learning (referred to as "AI learning" in the following description) to generate an AI model, and in the inspection, the generated AI model is used to correct a transmission image or a cross-sectional image. First, the process of AI learning (deep learning) will be described with reference to FIGS. 6 to 9. In the following description, the "teacher image" is an image of an object to be inspected with a sufficient exposure time and radiation quality (brightness and hardness of radiation) with little noise, or a sufficient resolution. It shows an image of the object to be inspected (resolution that can obtain a predetermined inspection accuracy in the inspection), and the "learning image" is the exposure time, radiation quality, or radiation quality set in the actual inspection. It shall indicate an image of the subject to be inspected, captured at resolution, containing noise, or at low resolution.

また、本実施形態に係る検査装置1では、AIモデルを使った補正の対象が透過画像の場合と断面画像の場合がある。さらに、補正対象がノイズを減少させる場合と、解像度を高くする場合とがあるが、ここでは、ノイズを減少させる場合について説明する。 Further, in the inspection device 1 according to the present embodiment, the object of correction using the AI model may be a transmission image or a cross-sectional image. Further, there are cases where the correction target reduces noise and cases where the resolution is increased. Here, a case where noise is reduced will be described.

また、本実施形態に係る検査装置1では、透過画像若しくは断面画像の全体領域Ra(例えば、2000×2000ピクセル程度の領域)を複数の部分領域Rs(例えば、256×256ピクセルの領域)に分割し、各々の部分領域Rsに対して(教師用画像及び学習用画像の同じ位置の部分領域Rsを用いて)学習または補正を行うように構成されている。また、AI学習の処理では、図7に示すように、画像の全体領域Raのうち、3/4の領域を学習のために使用し、残りの1/4の領域を検証(性能評価)のために使用する。なお、図7に示す検証用の領域及び学習用の領域の配置は一例であり、任意の部分領域Rsを検証用又は学習用に割り当てることが可能である。また、1枚の画像における検証用の領域と学習用の領域の割合も、3/4及び1/4の組合せに限定されることはなく、適宜設定することができる。 Further, in the inspection device 1 according to the present embodiment, the entire area Ra (for example, an area of about 2000 × 2000 pixels) of the transmission image or the cross-sectional image is divided into a plurality of partial areas Rs (for example, an area of 256 × 256 pixels). However, each partial region Rs is configured to perform learning or correction (using the partial region Rs at the same position of the teacher image and the learning image). Further, in the AI learning process, as shown in FIG. 7, 3/4 of the entire image area Ra is used for learning, and the remaining 1/4 area is verified (performance evaluation). Used for. The arrangement of the verification area and the learning area shown in FIG. 7 is an example, and any partial area Rs can be assigned for verification or learning. Further, the ratio of the verification area and the learning area in one image is not limited to the combination of 3/4 and 1/4, and can be appropriately set.

また、既に説明したように、被検査体の検査においては、放射線発生器22と、被検査体が載置された基板保持部24及び検出器26との相対位置を変化させて複数の透過画像を撮像するため、1つのFOVに対して、数十枚から数百枚の透過画像(教師用画像及び学習用画像の組)が得られるため、透過画像を補正するためのAIモデルを生成する場合は、これら複数枚の透過画像を用いて学習が行われる。また、これらの透過画像から再構成画像が生成され(教師用画像の透過画像から教師用画像の再構成画像が生成され、学習用画像の透過画像から学習用画像の再構成画像が生成される)、この再構成画像から数百枚の断面画像(教師用画像及び学習用画像の組)が得られるため、断面画像を補正するためのAIモデルを生成する場合は、これら複数枚の断面画像を用いて学習が行われる。 Further, as already described, in the inspection of the inspected object, a plurality of transmitted images are obtained by changing the relative positions of the radiation generator 22 and the substrate holding portion 24 and the detector 26 on which the inspected object is placed. Since tens to hundreds of transparent images (a set of a teacher's image and a learning image) can be obtained for one FOV, an AI model for correcting the transparent image is generated. In the case, learning is performed using these a plurality of transparent images. In addition, a reconstructed image is generated from these transparent images (a reconstructed image of the teacher image is generated from the transparent image of the teacher image, and a reconstructed image of the learning image is generated from the transparent image of the learning image. ), Hundreds of cross-sectional images (a set of teacher image and learning image) can be obtained from this reconstructed image. Therefore, when generating an AI model for correcting the cross-sectional image, these multiple cross-sectional images are obtained. Learning is done using.

学習を開始する前に、検査装置1の基板保持部24に学習対象の被検査体を載置する。また、入力装置等により、被検査体上のどの部分で学習するか、すなわち、学習の対象となるFOV(撮像エリア)を入力する。また、入力装置等により、教師用画像の撮像条件(線質・露光時間・倍率等)や学習用画像の撮像条件を入力する。さらに、出力されるAIモデルの対象として、透過画像と断面画像の何れかが入力される。 Before starting learning, the object to be inspected is placed on the substrate holding portion 24 of the inspection device 1. In addition, an input device or the like is used to input which part of the object to be learned, that is, the FOV (image area) to be learned. In addition, the image pickup conditions (radio quality, exposure time, magnification, etc.) of the teacher image and the image pickup conditions of the learning image are input by an input device or the like. Further, either a transparent image or a cross-sectional image is input as the target of the output AI model.

そして、入力装置等により学習処理の開始が指示されると、図6に示すように、制御部10の学習処理部37は、撮像処理部35を介してFOVを配置する、すなわち、被検査体上の撮像エリアを設定する(ステップS200)。 Then, when the start of the learning process is instructed by the input device or the like, as shown in FIG. 6, the learning process unit 37 of the control unit 10 arranges the FOV via the image pickup process unit 35, that is, the object to be inspected. The upper imaging area is set (step S200).

学習処理部37は、ステップS200でFOVが配置されると、撮像処理部35を介して、予め入力されている露光時間、放射線の線質、倍率等で教師用画像(透過画像)を撮像して記憶部34に記憶し(ステップS202)、同様に、予め入力されている露光時間、放射線の線質、倍率等で学習用画像(透過画像)を撮像して記憶部34に記憶する(ステップS204)。なお、上述したように、1つのFOVに対しては、放射線発生器22と、被検査体が載置された基板保持部24及び検出器26との相対位置を変化させて複数の透過画像が撮像されるため、基板保持部24及び検出器26を移動させ、複数の位置でステップS202及びS204が実行される。また、断面画像を補正するためのAI学習を行う場合は、ステップS202において、撮像された教師用画像(透過画像)から教師用の再構成画像を生成し、さらにその再構成画像から教師用の断面画像を生成して記憶部34に記憶する。同様に、ステップS204において、撮像された学習用画像(透過画像)から学習用の再構成画像を生成し、さらにその再構成画像から学習用の断面画像を生成して記憶部34に記憶する。 When the FOV is arranged in step S200, the learning processing unit 37 captures a teacher's image (transmission image) with the exposure time, radiation quality, magnification, etc. input in advance via the image pickup processing unit 35. It is stored in the storage unit 34 (step S202), and similarly, a learning image (transmission image) is imaged with the exposure time, radiation quality, magnification, etc. input in advance and stored in the storage unit 34 (step). S204). As described above, for one FOV, a plurality of transmitted images are obtained by changing the relative positions of the radiation generator 22 and the substrate holding portion 24 and the detector 26 on which the inspected object is placed. Since the image is taken, the substrate holding unit 24 and the detector 26 are moved, and steps S202 and S204 are executed at a plurality of positions. Further, when performing AI learning for correcting the cross-sectional image, in step S202, a reconstructed image for the teacher is generated from the captured image for the teacher (transparent image), and further, the reconstructed image for the teacher is generated from the reconstructed image. A cross-sectional image is generated and stored in the storage unit 34. Similarly, in step S204, a reconstructed image for learning is generated from the captured learning image (transparent image), and a cross-sectional image for learning is generated from the reconstructed image and stored in the storage unit 34.

次に、学習処理部37は、AI学習の画像セット及び学習パラメータの指定を行う(ステップS206)。ここで、学習パラメータとは、学習の繰り返し回数やネットワーク構造に関連する情報である。この学習パラメータは、予め記憶部34に記憶させておいてもよいし、入力装置等から入力させてもよい。 Next, the learning processing unit 37 specifies an image set for AI learning and learning parameters (step S206). Here, the learning parameter is information related to the number of times of learning and the network structure. This learning parameter may be stored in the storage unit 34 in advance, or may be input from an input device or the like.

ステップS206でAI学習の画像セット等が行われると、学習処理部37は、既存AIモデルを使用するか否かを判断する(ステップS208)。補正の際に用いるAIモデルは、FOV毎に、そのFOVに特化したAIモデルとしてもよいし、複数のFOVで同じAIモデルとしてもよい。 When the AI learning image set or the like is performed in step S206, the learning processing unit 37 determines whether or not to use the existing AI model (step S208). The AI model used for correction may be an AI model specialized for each FOV, or may be the same AI model for a plurality of FOVs.

ここで、FOV内(画像内)の特定の対象物、例えば、BGA、チップ抵抗、ICのリード部などの部品毎に特化したAIモデルとしてもよいし、はんだ接合部だけに特化したAIモデルとしてもよい。はんだ接合だけに特化することにより、特化した高性能モデルにすることができ、また、上述した処理により検査面画像を特定し、検査面画像及び検査面画像に対して放射線発生器22側の領域を映し出している断面画像を検査することで、AIモデルによる補正を検査すべき領域だけに限定することで処理時間の短縮化を図ることができる。なお、図7に示したように、複数の部分領域Rsに分割しているため、分割された領域(部分領域Rs)毎に特化したAIモデルを作成するように構成してもよい。一方、複数のFOVで同じAIモデルとすることにより、FOVを跨いだ汎用的なAIモデルとすることができる。 Here, an AI model specialized for each specific object in the FOV (in the image), for example, a BGA, a chip resistor, an IC lead portion, or the like, or an AI specialized only for the solder joint portion may be used. It may be a model. By specializing only in solder bonding, it is possible to make a specialized high-performance model, and the inspection surface image is specified by the above-mentioned processing, and the radiation generator 22 side with respect to the inspection surface image and the inspection surface image. By inspecting the cross-sectional image showing the area of, the processing time can be shortened by limiting the correction by the AI model to only the area to be inspected. As shown in FIG. 7, since it is divided into a plurality of partial regions Rs, it may be configured to create an AI model specialized for each divided region (partial region Rs). On the other hand, by using the same AI model for a plurality of FOVs, it is possible to obtain a general-purpose AI model that straddles the FOVs.

したがって、FOVに特化したAIモデルを構築する場合は、既存のAIモデルを使用せずに新規のAIモデルを作成し、複数のFOVで共通のAIモデルを構築する場合は、既存のAIモデルを使用することとなる。また、被検査体の画像が複数の撮像領域(FOV)に分割されて撮像される場合に、一部のFOVにはそのFOVに特化したAIモデルを作成し、一部のFOVには共通したAIモデルを作成するように構成してもよい。なお、既存AIモデルの使用の可否についても、予め記憶部34に記憶させておいてもよいし、入力装置から入力させてもよい。既存のAIモデルを使用しない場合には(ステップS208の「N」)、学習処理部37は新規のAIモデルを作成し(ステップS210)、既存のAIモデルを使用する場合には(ステップS208の「Y」)、学習処理部37は記憶部34から既存のAIモデルを読み込む(ステップS212)。なお、AIモデルを記憶部34に記憶する際には、AIモデル毎に対応するFOVの情報も管理される。 Therefore, when building an AI model specialized for FOV, create a new AI model without using the existing AI model, and when building a common AI model with multiple FOVs, use the existing AI model. Will be used. Further, when the image of the object to be inspected is divided into a plurality of imaging regions (FOVs) and imaged, an AI model specialized for the FOV is created for some FOVs, which is common to some FOVs. It may be configured to create the AI model. Whether or not the existing AI model can be used may be stored in the storage unit 34 in advance, or may be input from the input device. When the existing AI model is not used (“N” in step S208), the learning processing unit 37 creates a new AI model (step S210), and when the existing AI model is used (step S208). “Y”), the learning processing unit 37 reads an existing AI model from the storage unit 34 (step S212). When the AI model is stored in the storage unit 34, the FOV information corresponding to each AI model is also managed.

さらに、学習処理部37は、教師用画像及び学習用画像を用いて上述したAI学習を行う(ステップS214)。図7を用いて説明したように、分割した部分領域Rsのうち、学習用の部分領域Rsのそれぞれに対してAI学習が行われる。AI学習は、深層学習等の手法により、学習用画像(透過画像の場合と断面画像の場合がある)を入力して、教師用画像(学習用画像と同様に、透過画像の場合と断面画像の場合がある)に近い画像になるようにAIモデルを訓練する。そして、学習処理部37は、AI学習の結果に基づいてAIモデルを更新する(ステップS216)。また、学習処理部37は、学習の進捗状況をモニタ12に表示するように構成してもよく、学習の進捗状況を表示している場合は、その表示を更新する(ステップS218)。進捗状況には、AIモデルの性能評価が含まれる。 Further, the learning processing unit 37 performs the AI learning described above using the teacher image and the learning image (step S214). As described with reference to FIG. 7, AI learning is performed for each of the subregions Rs for learning among the divided subregions Rs. In AI learning, a learning image (which may be a transparent image or a cross-sectional image) is input by a method such as deep learning, and a teacher's image (similar to the learning image, a transparent image and a cross-sectional image). Train the AI model so that the image is close to (may be). Then, the learning processing unit 37 updates the AI model based on the result of AI learning (step S216). Further, the learning processing unit 37 may be configured to display the learning progress status on the monitor 12, and if the learning progress status is displayed, the display is updated (step S218). Progress includes performance evaluation of AI models.

AIモデルの性能評価は損失(Loss)を計算することで行う。AI学習により訓練したAIモデルを学習用と検証用のそれぞれの画像(入力画像)に適用し、補正された画像(高画質の出力画像)を生成する。この生成した出力画像と教師用画像との評価値の差(例えば、輝度値の平均二乗誤差)を取ることで損失が計算される。ここで損失は、教師用画像とAIモデルにより補正された画像との差が、失われた又は損なわれた質(或いは、復元できなかった質)である。したがって、損失の表現には、上述したように単純に輝度値を比べてもよいし、それ以外にも、エッジ部分を強調して比べたり、周波数成分で比べたりしてもよい。そのため、損失は、上記の方針にしたがって決定された損失関数を定義し、この損失関数に基づいて算出される。 The performance evaluation of the AI model is performed by calculating the loss. The AI model trained by AI learning is applied to each image (input image) for learning and verification, and a corrected image (high-quality output image) is generated. The loss is calculated by taking the difference between the evaluation values of the generated output image and the teacher's image (for example, the mean square error of the luminance value). The loss here is the quality at which the difference between the teacher image and the image corrected by the AI model is lost or impaired (or irrecoverable). Therefore, in expressing the loss, the luminance values may be simply compared as described above, or other than that, the edge portion may be emphasized and compared, or the frequency component may be compared. Therefore, the loss defines a loss function determined according to the above policy and is calculated based on this loss function.

図8は、学習用画像にAIモデルを適用した画像の損失(出力画像であって、図8においては「学習」として示す)と、性能評価を行った損失(図8においては「評価」として示す)とを、エポック数(学習の繰り返し回数)に対応させて示したグラフである。出力画像の損失が小さいにもかかわらず、性能評価の損失が大きくなると(図8の破線)、過学習(過剰に学習データに特化し、汎用性のないAIモデルが生成される状態)が起っているものと考えられる。一方、出力画像及び性能評価の損失が何れも小さくなってくると、学習が正常に進んでいると考えられる。図9において、(a)は入力画像(学習用画像)であり、(b)はこの入力画像にAIモデルを適用して補正した出力画像である。学習が正常に行われていると、出力画像は(c)の教師用画像に近い画像になるが、過学習の状態では、(d)のような異常な状態の画像となる。なお、異常な状態とは、輝度値が大きく異なる部分がある状態や、撮像物の形状が本来の形状から大きく異なる状態のことである。 FIG. 8 shows the loss of the image to which the AI model is applied to the learning image (the output image, which is shown as “learning” in FIG. 8) and the loss of the performance evaluation (as “evaluation” in FIG. 8). (Shown) is a graph showing the number of epochs (number of repetitions of learning). If the loss of performance evaluation is large even though the loss of the output image is small (dashed line in FIG. 8), overfitting (a state in which an AI model that is excessively specialized in training data and is not versatile is generated) occurs. It is thought that it is. On the other hand, when the loss of both the output image and the performance evaluation becomes small, it is considered that the learning is proceeding normally. In FIG. 9, (a) is an input image (learning image), and (b) is an output image corrected by applying an AI model to this input image. When the learning is normally performed, the output image becomes an image close to the teacher image of (c), but in the overfitting state, it becomes an image of an abnormal state as shown in (d). The abnormal state is a state in which there is a portion where the luminance value is significantly different, or a state in which the shape of the imaged object is significantly different from the original shape.

以上より、ステップS218において、学習の進捗状況をモニタ12等に表示する際に、図8に示す損失のグラフや、図9に示す、入力画像、出力画像、教師用画像を並べて表示することにより、学習の状況を目視により確認することができる。上述したように、損失のグラフにおいて、出力画像の損失に対して性能評価の損失が大きくなっているときや、出力画像と教師用画像とが大きく異なるときは、異常な学習である(過学習である)と判断することができ、学習を中断することで異常な学習(無駄な時間)を少なくすることができる。また、損失が小さくなり、或いは出力画像が教師用画像に近くなったときに学習を終了させることで、学習時間を短縮かすることができる。なお、学習の進捗状況の表示には、学習を開始してからの経過時間や、学習を終了するまでの残り時間の見込みを表示してもよい。 From the above, in step S218, when the progress of learning is displayed on the monitor 12 or the like, the loss graph shown in FIG. 8 and the input image, output image, and teacher image shown in FIG. 9 are displayed side by side. , The learning situation can be visually confirmed. As described above, in the loss graph, when the loss of performance evaluation is larger than the loss of the output image, or when the output image and the teacher image are significantly different, it is abnormal learning (over-learning). It can be determined that abnormal learning (wasted time) can be reduced by interrupting learning. Further, the learning time can be shortened by ending the learning when the loss becomes small or the output image becomes close to the teacher's image. In addition, in the display of the progress status of learning, the elapsed time from the start of learning and the estimated remaining time until the end of learning may be displayed.

図6に戻り、学習処理部37は、次の学習を行うか否かを判断する(ステップS220)。未だ学習していない透過画像又は断面画像がある場合、または所定の繰り返し数の学習を終えていない場合(ステップS220の「Y」)、学習処理部37は、ステップS216に戻って上述した処理を繰り返す。一方、未だ学習していない透過画像又は断面画像がない場合、あるいは、入力装置等から学習の終了指示がされた場合(ステップS220の「N」)、学習処理部37は、AIモデルを記憶部34に出力して(ステップS220の「Y」)、AI学習の処理を終了する。なお、上述したように、過学習と判断されて中断された場合(ステップS220の「中断」)、学習処理部37は、AIモデルを出力することなく、AI学習の処理を終了する。 Returning to FIG. 6, the learning processing unit 37 determines whether or not to perform the next learning (step S220). If there is a transparent image or a cross-sectional image that has not been learned yet, or if the learning of a predetermined number of repetitions has not been completed (“Y” in step S220), the learning processing unit 37 returns to step S216 and performs the above-mentioned processing. repeat. On the other hand, when there is no transparent image or cross-sectional image that has not been learned yet, or when an instruction to end learning is given from an input device or the like (“N” in step S220), the learning processing unit 37 stores the AI model. It is output to 34 (“Y” in step S220), and the AI learning process is terminated. As described above, when it is determined to be overfitting and interrupted (“interruption” in step S220), the learning processing unit 37 ends the AI learning process without outputting the AI model.

以上の説明は、ノイズを除去する補正のためのAIモデルの学習について説明したが、高解像度化する補正のためのAIモデルの学習の場合には、教師用画像と学習用画像の解像度を変えて取得することが必要である。例えば、図6のステップS202において、教師用画像(透過画像)を取得する際に、実際の検査のときのFOVを四分割し、倍率(拡大率)を高くして撮像し、4枚の画像を1枚の画像にして教師用画像とし、ステップS204で撮像する学習用画像(透過画像)は、実際の検査のときのFOVで撮像する。これにより、高解像度の教師用画像と低解像度の学習用画像を取得することができる。 The above explanation has described the learning of the AI model for correction to remove noise, but in the case of learning the AI model for correction to increase the resolution, the resolutions of the teacher image and the learning image are changed. It is necessary to obtain it. For example, in step S202 of FIG. 6, when acquiring a teacher's image (transparent image), the FOV at the time of the actual inspection is divided into four, the magnification (magnification) is increased, and the four images are imaged. Is used as a teacher image, and the learning image (transmission image) captured in step S204 is captured by the FOV at the time of the actual inspection. This makes it possible to acquire a high-resolution teacher image and a low-resolution learning image.

また、再構成画像を生成するための透過画像の枚数を少なくすることでも、撮像時間の短縮や被曝量の減少に効果がある。透過画像の枚数を少なくすると、再構成画像(断面画像)の解像度が低くなり、検査の精度に影響する可能性がある。そのため、撮像された透過画像から、疑似透過画像を生成して透過画像の枚数を増やすことにより、再構成画像(断面画像)を高解像度化することができる。ここで、疑似透過画像は、撮像された透過画像のうち、隣接する2枚の透過画像からその間の透過画像を生成することにより得ることができる。このような補間をサイノグラムの補間と呼ぶ。 Further, reducing the number of transmitted images for generating the reconstructed image is also effective in shortening the imaging time and reducing the exposure dose. If the number of transparent images is reduced, the resolution of the reconstructed image (cross-sectional image) is lowered, which may affect the accuracy of the inspection. Therefore, the reconstructed image (cross-sectional image) can be made high in resolution by generating a pseudo-transparent image from the captured transparent image and increasing the number of transparent images. Here, the pseudo-transparent image can be obtained by generating a transparent image between two adjacent transparent images among the captured transparent images. Such interpolation is called synogram interpolation.

上述したAI学習の処理は、サイノグラムの補間にも適用することができる。サイノグラムの補間のためのAIモデルを生成する場合、図6のステップS202において、教師用画像(透過画像)を取得する。この際、1つのFOVに対する透過画像の枚数は、それらの透過画像から生成される再構成画像(断面画像)の解像度が所定の検査精度を得られる解像度となる枚数とする。そして、ステップS204では、学習用画像(透過画像)を撮像する代わりに、ステップS202で取得した教師用画像から所定の枚数の透過画像を間引いたものを学習用画像とする。例えば、ステップS202で、教師用画像として150枚の透過画像を取得した場合、ステップS204ではその教師用画像(透過画像)から75枚を間引いて残りの75枚を学習用画像(透過画像)とする。 The AI learning process described above can also be applied to interpolation of synograms. When generating an AI model for interpolation of a synogram, a teacher image (transparent image) is acquired in step S202 of FIG. At this time, the number of transparent images for one FOV is set so that the resolution of the reconstructed image (cross-sectional image) generated from those transparent images is the resolution at which a predetermined inspection accuracy can be obtained. Then, in step S204, instead of capturing the learning image (transparent image), a predetermined number of transparent images are thinned out from the teacher image acquired in step S202 to be a learning image. For example, when 150 transparent images are acquired as teacher images in step S202, 75 images are thinned out from the teacher image (transparent image) in step S204, and the remaining 75 images are used as learning images (transparent images). do.

さらに、ステップS214~S220のAI学習の処理においては、学習用画像の隣接する任意の2枚の透過画像からその間の透過画像を生成するためのAIモデルを学習により構築する。例えば、N番目の透過画像を補間する場合、N-1番目の透過画像とN+1番目の透過画像を入力画像とし、この入力画像にAIモデルを適用してN番目の透過画像(疑似透過画像)を出力画像として得るための学習をする。 Further, in the AI learning process of steps S214 to S220, an AI model for generating a transparent image between two adjacent transparent images of the learning image is constructed by learning. For example, when interpolating the Nth transparent image, the N-1st transparent image and the N + 1th transparent image are used as input images, and the AI model is applied to the input images to apply the Nth transparent image (pseudo transparent image). To learn to obtain as an output image.

以上の説明において、AIモデルの補正対象を透過画像にするか断面画像にするか、透過画像又は断面画像からノイズ除去をするか高解像度化するか、サイノグラムの補間を行うか、被検査体の特定の領域(基板表面や特定の部品)の画像の学習を行うか否か、FOV毎のAIモデルを作成するかFOVに共通したAIモデルを作成するか、或いは、教師用画像及び学習用画像の画質や学習の終了条件というような学習の条件等は、モニタ12やキーボード・マウスからなるユーザインタフェースから制御部10に対して設定することができる。また、学習状況の確認や学習処理の終了もこのユーザインタフェースを介して行うことができる。 In the above description, whether the correction target of the AI model is a transparent image or a cross-sectional image, noise is removed from the transparent image or the cross-sectional image or the resolution is increased, the synogram is interpolated, or the subject is inspected. Whether to learn the image of a specific area (board surface or specific component), create an AI model for each FOV, create an AI model common to FOV, or create a teacher image and a learning image. The learning conditions such as the image quality and the learning end condition can be set for the control unit 10 from the user interface including the monitor 12 and the keyboard / mouse. In addition, the learning status can be confirmed and the learning process can be completed via this user interface.

以上のようにして得られたAIモデルを、検査に適用するときは、図3に示すステップS120において、取得された透過画像又は再構成画像(断面画像)に上述したAIモデルを適用して補正を行う(ノイズを補正する、高解像度化する、サイノグラムの補間をする等)。以下、図10を用いてAIモデルによる透過画像又は再構成画像(断面画像)を補正する処理について説明する。 When the AI model obtained as described above is applied to an inspection, the AI model described above is applied to the acquired transmission image or reconstructed image (cross-sectional image) in step S120 shown in FIG. 3 for correction. (Correct noise, increase resolution, interpolate synogram, etc.). Hereinafter, the process of correcting the transmission image or the reconstructed image (cross-sectional image) by the AI model will be described with reference to FIG.

図10(a)は、AIモデルによる補正を透過画像に適用する場合の処理を示している。制御部10は、検査用の撮像条件で被検査体の透過画像を撮像し(ステップS121a)、撮像された透過画像に対してAIモデルを用いた補正を行う(ステップS122a)。そして、制御部10は、補正された透過画像により再構成画像(断面画像)を生成し(ステップS123a)、透過画像撮影・再構成画像生成処理S120を終了する。 FIG. 10A shows a process when the correction by the AI model is applied to the transparent image. The control unit 10 captures a transmitted image of the object to be inspected under the imaging conditions for inspection (step S121a), and corrects the captured transmitted image using the AI model (step S122a). Then, the control unit 10 generates a reconstructed image (cross-sectional image) from the corrected transparent image (step S123a), and ends the transparent image shooting / reconstructed image generation process S120.

また、図10(b)は、AIモデルによる補正を再構成画像(断面画像)に適用する場合の処理を示している。制御部10は、検査用の撮像条件で被検査体の透過画像を撮像し(ステップS121b)、撮像された透過画像により再構成画像(断面画像)を生成する(ステップS122b)。そして、制御部10は、生成された再構成画像(断面画像)に対してAIモデルを用いた補正を行い(ステップS123b)、透過画像撮影・再構成画像生成処理S120を終了する。 Further, FIG. 10B shows a process when the correction by the AI model is applied to the reconstructed image (cross-sectional image). The control unit 10 captures a transmitted image of the object to be inspected under the imaging conditions for inspection (step S121b), and generates a reconstructed image (cross-sectional image) from the captured transmitted image (step S122b). Then, the control unit 10 corrects the generated reconstructed image (cross-sectional image) using the AI model (step S123b), and ends the transmission image capturing / reconstructed image generation process S120.

また、図10(c)は、再構成画像(断面画像)のうち、特定された領域の再構成画像(断面画像)のみにAIモデルを適用して補正する場合の処理を示している。制御部10は、検査用の撮像条件で被検査体の透過画像を撮像し(ステップS121c)、撮像された透過画像により再構成画像(断面画像)を生成する(ステップS122c)。そして、制御部10は、生成された再構成画像(断面画像)から、ステップS141で説明した方法等により基板表面(検査面画像)を特定し(ステップS123c)、特定された検査面画像及び検査面画像に対して放射線発生器22側の領域を映し出している断面画像に対してAIモデルを用いた補正を行い(ステップS124c)、透過画像撮影・再構成画像生成処理S120を終了する。 Further, FIG. 10C shows a process in which the AI model is applied only to the reconstructed image (cross-sectional image) of the specified region in the reconstructed image (cross-sectional image) to correct the image. The control unit 10 captures a transmitted image of the object to be inspected under the imaging conditions for inspection (step S121c), and generates a reconstructed image (cross-sectional image) from the captured transmitted image (step S122c). Then, the control unit 10 identifies the substrate surface (inspection surface image) from the generated reconstructed image (cross-sectional image) by the method described in step S141 (step S123c), and the specified inspection surface image and inspection. Correction using the AI model is performed on the cross-sectional image showing the region on the radiation generator 22 side with respect to the surface image (step S124c), and the transmission image shooting / reconstruction image generation process S120 is completed.

このとき、FOVに特化したAIモデルが作成されている場合は、FOV毎に、そのFOVに対応するAIモデルが適用されて補正が行われる。上述したように、複数のFOVのうち、一部のFOVにはそのFOVに特化したAIモデルを適用し、一部のFOVには共通のAIモデルを適用するように構成してもよい。 At this time, if an AI model specialized for the FOV is created, the AI model corresponding to the FOV is applied to each FOV and correction is performed. As described above, among the plurality of FOVs, an AI model specialized for the FOV may be applied to some FOVs, and a common AI model may be applied to some FOVs.

以上のように、検査時において、透過画像又は再構成画像(断面画像)に対してAIモデルを用いた補正を行うことにより、照射する放射線を弱くしたり、撮像時間を短くしたりしても、図3の以降の処理において、ノイズが除去された又は高解像度化された再構成画像(断面画像・疑似断面画像)による検査を行うことができ、検査精度を向上させることができる。 As described above, even if the transmitted radiation or the reconstructed image (cross-sectional image) is corrected using the AI model at the time of inspection, the irradiated radiation may be weakened or the imaging time may be shortened. In the subsequent processing of FIG. 3, the inspection can be performed by the reconstructed image (cross-sectional image / pseudo-cross-sectional image) from which noise has been removed or the resolution has been increased, and the inspection accuracy can be improved.

このように、本実施形態に係る検査装置においては、AIモデルを用いた補正により、ノイズの除去、高解像度化又はサイノグラムの補間を行っているため、照射する放射線量を弱くする、又は、撮像時間を短くしても、被検査体の良質な画像(透過画像又は断層画像)を取得することができるので、検査精度を向上させることができる。また、検査に係る時間を短くすることができるので、被検査体の全領域を検査しても、全体のスループットを低下させることがない。 As described above, in the inspection apparatus according to the present embodiment, noise is removed, the resolution is increased, or the synogram is interpolated by the correction using the AI model, so that the radiation dose to be irradiated is weakened or the image is taken. Even if the time is shortened, a high-quality image (transmission image or tomographic image) of the inspected object can be obtained, so that the inspection accuracy can be improved. Further, since the time required for inspection can be shortened, even if the entire area of the inspected object is inspected, the overall throughput is not reduced.

ここで、AIモデルの学習は、このAIモデルが搭載される検査装置において、検査対象となる被検査体を撮像した画像を教師用画像及び学習用画像が用いられる。例えば、被検査体が電子基板の場合、様々なタイプのICパッケージが搭載されている(SOJ(Small Outline J-leaded)やBGA(Ball grid array)等)。したがって、上述した方法によると、検査対象となる被検査体そのものを撮像した画像を教師用画像及び学習用画像として用いた学習により、各々の被検査体に特化したAIモデルを構築することができ、検査時の画像(透過画像や断面画像)の画質が向上し、検査精度の向上が期待できる。このような学習のための画像(教師用画像及び学習用画像)は、AIモデルが適用され、このAIモデルを用いて検査時の画像の補正が行われる検査装置で撮像することにより、学習の効果がさらに向上することが期待できる。 Here, in the learning of the AI model, in the inspection device on which the AI model is mounted, a teacher's image and a learning image are used as an image of an image to be inspected to be inspected. For example, when the object to be inspected is an electronic substrate, various types of IC packages are mounted (SOJ (Small Outline J-leaded), BGA (Ball grid array), etc.). Therefore, according to the above-mentioned method, it is possible to construct an AI model specialized for each inspected object by learning using an image of the inspected object itself to be inspected as a teacher image and a learning image. This can improve the image quality of images (transparent images and cross-sectional images) at the time of inspection, and can be expected to improve inspection accuracy. An AI model is applied to such an image for learning (teacher image and learning image), and the image is imaged by an inspection device in which the image at the time of inspection is corrected using this AI model. It can be expected that the effect will be further improved.

なお、教師用画像や学習用画像は検査装置1で取得し、取得された画像を用いて制御部10とは異なる計算機で学習を行い、学習して得られた結果(AIモデル)を制御部10に実装して検査を行うように構成してもよいし、上述したように制御部10で学習を行い、その結果(AIモデル)を用いて検査を行うように構成してもよい。 The teacher image and the learning image are acquired by the inspection device 1, learning is performed using the acquired images on a computer different from the control unit 10, and the result (AI model) obtained by learning is used as the control unit. It may be configured to be mounted on the 10 to perform the inspection, or as described above, the control unit 10 may perform the learning and the result (AI model) may be used to perform the inspection.

また、上述したAIモデルの学習方法や、生成されたAIモデルによる画像の補正は、X線検査装置だけでなく、AOI方式の検査装置、具体的には、被検査体の上方に光源及び検出器としてのカメラを配置し、光源からの光(縞パターンを有する照明光等)を被検査体に照射してカメラにより画像を取得する方式の検査装置にも適用することが可能である。このような構成の検査装置の場合、カメラのズームレンズの倍率を変化させたり、画素ずらしの方法を用いたりすることにより解像度の異なる画像を教師用画像及び学習用画像として取得することができる。また、取得した複数の画像に対して平均化を行い1枚の画像を生成することにより、ノイズ量の異なる画像を教師用画像及び学習用画像とすることができる。 Further, the above-mentioned AI model learning method and image correction by the generated AI model are performed not only by the X-ray inspection device but also by the AOI type inspection device, specifically, the light source and the detection above the object to be inspected. It can also be applied to an inspection device in which a camera is arranged as a vessel and light from a light source (illumination light having a striped pattern or the like) is applied to an object to be inspected to acquire an image by the camera. In the case of an inspection device having such a configuration, images having different resolutions can be acquired as a teacher image and a learning image by changing the magnification of the zoom lens of the camera or using a pixel shifting method. Further, by averaging the acquired plurality of images and generating one image, images having different noise amounts can be used as a teacher image and a learning image.

1 検査装置
10 制御部
22 放射線発生器(光源、線源)
24 基板保持部(保持部)
26 検出器
1 Inspection device 10 Control unit 22 Radiation generator (light source, radiation source)
24 Board holding part (holding part)
26 detector

Claims (12)

機械学習により作成されたAIモデルを用いて被検査体の画像を補正する検査装置におけるAIモデルの作成方法であって、
前記検査装置で撮像された前記被検査体の画質の高い画像を教師用画像とし、
前記検査装置で撮像された前記被検査体の画質の低い画像であって、前記教師用画像と同一の視野の画像を学習用画像とし、
前記学習用画像を入力とし、前記AIモデルにより補正された画像を出力とし、前記出力と前記教師用画像とを比較して学習することにより、前記AIモデルを作成する
AIモデルの作成方法。
It is a method of creating an AI model in an inspection device that corrects an image of an inspected object using an AI model created by machine learning.
A high-quality image of the subject to be inspected taken by the inspection device is used as a teacher's image.
An image having a low image quality of the subject to be inspected taken by the inspection device and having the same field of view as the teacher's image is used as a learning image.
A method of creating an AI model for creating an AI model by inputting the learning image, using an image corrected by the AI model as an output, and learning by comparing the output with the teacher's image.
前記被検査体の画像が、複数の撮像領域に分割されて取得されるときに、前記複数の撮像領域のうちの少なくとも2つの撮像領域では、当該撮像領域の各々に特化した前記AIモデルを作成する
請求項1に記載のAIモデルの作成方法。
When the image of the object to be inspected is divided into a plurality of imaging regions and acquired, in at least two imaging regions of the plurality of imaging regions, the AI model specialized for each of the imaging regions is used. The method for creating an AI model according to claim 1.
前記被検査体の画像が、複数の領域に分割されて取得されるときに、前記複数の撮像領域のうちの少なくとも2つの撮像領域では、当該撮像領域に共通の前記AIモデルを作成する
請求項1または2に記載のAIモデルの作成方法。
A claim that when an image of an object to be inspected is divided into a plurality of regions and acquired, the AI model common to the imaging regions is created in at least two imaging regions of the plurality of imaging regions. The method for creating an AI model according to 1 or 2.
前記被検査体の画像を複数の部分領域に分割し、前記複数の部分領域のうちの少なくとも2つの部分領域では、当該部分領域の各々に特化した前記AIモデルを作成する
請求項1~3のいずれか一項に記載のAIモデルの作成方法。
Claims 1 to 3 divide the image of the object to be inspected into a plurality of subregions, and in at least two of the plurality of subregions, create the AI model specialized for each of the subregions. The method for creating an AI model according to any one of the above.
前記被検査体の画像のうち、前記被検査体の特定の領域の画像に特化したAIモデルを作成する
請求項1~4のいずれか一項に記載のAIモデルの作成方法。
The method for creating an AI model according to any one of claims 1 to 4, wherein an AI model specialized for an image of a specific region of the inspected object is created among the images of the inspected object.
前記画質はノイズ量又は解像度である
請求項1~5のいずれか一項に記載のAIモデルの作成方法。
The method for creating an AI model according to any one of claims 1 to 5, wherein the image quality is a noise amount or a resolution.
光源と、
被検査体を保持する保持部と、
前記光源から放射され、前記被検査体で反射した光または前記被検査体を透過した光を検出して前記被検査体の画像を取得する検出器と、
制御部と、を有し、
前記制御部は、
前記光源からの光を前記被検査体に照射し、前記検出器により前記被検査体の画像として前記教師用画像及び前記学習用画像を取得し、
前記教師用画像及び前記学習用画像を用いて請求項1~6のいずれか一項に記載のAIモデルの作成方法により前記透過画像を補正するための前記AIモデルを作成する
検査装置。
Light source and
A holding part that holds the object to be inspected,
A detector that acquires an image of the inspected object by detecting light emitted from the light source and reflected by the inspected object or transmitted through the inspected object.
Has a control unit,
The control unit
The light from the light source is applied to the inspected object, and the teacher image and the learning image are acquired as images of the inspected object by the detector.
An inspection device for creating the AI model for correcting the transmitted image by the method for creating an AI model according to any one of claims 1 to 6 using the teacher image and the learning image.
前記光源は、放射線を放射する線源であり、
前記検出器は、前記被検査体を透過した前記線源からの放射線を検出して前記被検査体の画像を取得し、
前記制御部は、
前記線源と前記保持部及び前記検出器との相対位置を変化させて、前記線源から放射され前記被検査体を透過した光を前記検出器で取得することにより、前記被検査体の透過画像として前記教師用画像及び前記学習用画像を取得し、
前記教師用画像及び前記学習用画像を用いて請求項1~6のいずれか一項に記載のAIモデルの作成方法により前記透過画像を補正するための前記AIモデルを作成する
検査装置。
The light source is a radiation source that emits radiation.
The detector detects radiation from the radiation source that has passed through the inspected object and acquires an image of the inspected object.
The control unit
By changing the relative positions of the radiation source, the holding portion, and the detector, and acquiring the light emitted from the radiation source and transmitted through the inspected object by the detector, the transmission of the inspected object is obtained. The teacher image and the learning image are acquired as images, and the image is obtained.
An inspection device for creating the AI model for correcting the transmitted image by the method for creating an AI model according to any one of claims 1 to 6 using the teacher image and the learning image.
前記光源は、放射線を放射する線源であり、
前記検出器は、前記被検査体を透過した前記線源からの放射線を検出して前記検査体の画像を取得し、
前記制御部は、
前記線源と前記保持部及び前記検出器との相対位置を変化させて、前記線源から放射され前記被検査体を透過した光を前記検出器で取得することにより、前記被検査体の透過画像を取得し、
前記透過画像を再構成して前記被検査体の断面画像である前記教師用画像及び前記学習用画像を生成し、
前記教師用画像及び前記学習用画像を用いて請求項1~6のいずれか一項に記載のAIモデルの作成方法により前記断面画像を補正するための前記AIモデルを作成する
検査装置。
The light source is a radiation source that emits radiation.
The detector detects radiation from the radiation source that has passed through the inspected object and acquires an image of the inspected object.
The control unit
By changing the relative positions of the radiation source, the holding portion, and the detector, and acquiring the light emitted from the radiation source and transmitted through the object to be inspected by the detector, the transmission of the object to be inspected is obtained. Get the image,
The transparent image is reconstructed to generate the teacher image and the learning image which are cross-sectional images of the object to be inspected.
An inspection device for creating an AI model for correcting a cross-sectional image by the method for creating an AI model according to any one of claims 1 to 6 using the teacher image and the learning image.
前記制御部は、
前記線源と前記保持部及び前記検出器との相対位置を変化させて、前記線源から放射され前記被検査体を透過した光を前記検出器で取得することにより、前記被検査体の透過画像を取得し、
取得した透過画像又は当該透過画像から生成される断面画像に対して前記AIモデルで補正を行う
請求項8または9に記載の検査装置。
The control unit
By changing the relative positions of the radiation source, the holding portion, and the detector, and acquiring the light emitted from the radiation source and transmitted through the object to be inspected by the detector, the transmission of the object to be inspected is obtained. Get the image,
The inspection device according to claim 8 or 9, wherein the acquired transparent image or the cross-sectional image generated from the transparent image is corrected by the AI model.
前記補正は、前記被検査体の特定された領域の前記画像に対して行われる
請求項7~10のいずれか一項に記載の検査装置。
The inspection device according to any one of claims 7 to 10, wherein the correction is performed on the image of the specified region of the inspected object.
ユーザインタフェースを有し、
前記制御部は、前記ユーザインタフェースにより、前記学習の条件を受け付ける
請求項7~11のいずれか一項に記載の検査装置。
Has a user interface
The inspection device according to any one of claims 7 to 11, wherein the control unit receives the learning condition by the user interface.
JP2020212058A 2020-12-22 2020-12-22 Ai model generation method and inspection device Pending JP2022098590A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020212058A JP2022098590A (en) 2020-12-22 2020-12-22 Ai model generation method and inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020212058A JP2022098590A (en) 2020-12-22 2020-12-22 Ai model generation method and inspection device

Publications (1)

Publication Number Publication Date
JP2022098590A true JP2022098590A (en) 2022-07-04

Family

ID=82261727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020212058A Pending JP2022098590A (en) 2020-12-22 2020-12-22 Ai model generation method and inspection device

Country Status (1)

Country Link
JP (1) JP2022098590A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024210035A1 (en) * 2023-04-03 2024-10-10 株式会社サキコーポレーション Image data correction method, and inspection device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024210035A1 (en) * 2023-04-03 2024-10-10 株式会社サキコーポレーション Image data correction method, and inspection device

Similar Documents

Publication Publication Date Title
JP4977201B2 (en) CONTROL DEVICE, CONTROL METHOD, AND COMPUTER-READABLE MEMORY FOR MULTI X-RAY GENERATOR
JP5104956B2 (en) X-ray inspection apparatus and X-ray inspection method
JP5104962B2 (en) X-ray inspection method and X-ray inspection apparatus
JP5559551B2 (en) Inspection device
US11835475B2 (en) Inspection position identification method, three-dimensional image generation method, and inspection device
JPWO2009078415A1 (en) X-ray inspection apparatus and method
JP2011209054A (en) Radiation inspection device of inspection object, radiation inspection method and program
WO2021201211A1 (en) Inspection device
JP6383707B2 (en) Captured image displacement correction apparatus, captured image displacement correction method, and captured image displacement correction program
JP2010127810A (en) X-ray inspection apparatus and x-ray inspection method
WO2021215217A1 (en) Inspection apparatus
JP2022098590A (en) Ai model generation method and inspection device
JP6676023B2 (en) Inspection position specifying method and inspection device
WO2011089658A1 (en) Method for correcting inspecting apparatus using correcting jig, and inspecting apparatus having correcting jig mounted thereon
JP5303911B2 (en) Method for adjusting imaging control in automatic inspection apparatus using X-ray and automatic inspection apparatus using X-ray
JP5884351B2 (en) X-ray inspection apparatus, control method for X-ray inspection apparatus, program for controlling X-ray inspection apparatus, and computer-readable recording medium storing the program
WO2013039032A1 (en) X-ray examination device, x-ray examination device control method, program for controlling x-ray examination device, and storage medium for storing program
JP6179151B2 (en) X-ray inspection system and X-ray inspection method
JP2022141454A (en) X-ray inspection device and X-ray inspection method
JP2011227028A (en) Tomogram image reconstruction method and x-ray ct apparatus
WO2024210035A1 (en) Image data correction method, and inspection device
JP6946516B1 (en) X-ray inspection equipment, X-ray inspection method and X-ray inspection program
JP4728092B2 (en) X-ray image output apparatus, X-ray image output method, and X-ray image output program
JP2024129558A (en) X-ray inspection device, model generation method, and inspection method
WO2024185620A1 (en) X-ray inspection device and x-ray inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240808