[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024210202A1 - 機械学習用データ作成装置、機械学習用データの作成方法、学習モデル、観察装置、及びエネルギービームの照射パターンの推定装置 - Google Patents

機械学習用データ作成装置、機械学習用データの作成方法、学習モデル、観察装置、及びエネルギービームの照射パターンの推定装置 Download PDF

Info

Publication number
WO2024210202A1
WO2024210202A1 PCT/JP2024/014094 JP2024014094W WO2024210202A1 WO 2024210202 A1 WO2024210202 A1 WO 2024210202A1 JP 2024014094 W JP2024014094 W JP 2024014094W WO 2024210202 A1 WO2024210202 A1 WO 2024210202A1
Authority
WO
WIPO (PCT)
Prior art keywords
energy beam
unit
machine learning
scattering
learning data
Prior art date
Application number
PCT/JP2024/014094
Other languages
English (en)
French (fr)
Inventor
哲 高橋
一兆 管
祥太郎 門屋
正岐 道畑
周造 増井
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Publication of WO2024210202A1 publication Critical patent/WO2024210202A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light

Definitions

  • the present disclosure relates to a machine learning data creation device, a machine learning data creation method, a learning model, an observation device, and an energy beam irradiation pattern estimation device, etc.
  • Structured illumination microscopy is known as one type of super-resolution microscopy (e.g., Non-Patent Document 1). Structured illumination microscopy achieves super-resolution by generating moiré patterns using illumination with a periodic structure.
  • the problem that the present invention aims to solve is to provide a novel observation device for super-resolution observation, a learning model for use with the observation device, a method for creating machine learning data for generating the learning model, and a device for creating the machine learning data.
  • One aspect of the present disclosure provides a machine learning data creation device that includes a generation unit that generates a second energy beam by irradiating a first energy beam, a scattering unit that scatters the second energy beam generated by the generation unit and has at least a spatial frequency approximately equal to the resolution of the first energy beam, and a detection unit that detects the second energy beam scattered by the scattering unit, wherein the first energy beam has a higher physical convergence than the second energy beam.
  • the machine learning data creation device generates a second energy beam from a first energy beam with a relatively high physical convergence, scatters the second energy beam by a scattering section having at least a spatial frequency on the order of the resolution of the first energy beam, and detects the scattered energy beam. Therefore, the second energy beam is scattered in units on the order of the resolution of the first energy beam and propagates randomly in countless directions, and is detected by the detection section while retaining information on the irradiation pattern of the first energy beam.
  • the second energy beam generated with a spatial resolution equal to or greater than the physical convergence of the second energy beam can be used for machine learning data while substantially retaining spatial information on the source of the second energy beam.
  • a machine learning data creation device in which the generation unit is a light generation unit that generates light by irradiation with a first energy beam, the scattering unit is a light scattering unit that scatters the light generated in the light generation unit and has at least a spatial frequency approximately equal to the resolution of the first energy beam, and the detection unit is a light detection unit that detects the light scattered by the light scattering unit.
  • a machine learning data creation device in which the first and second energy beams are each independently selected from an electron beam, an electromagnetic wave, and a sound wave, and the electromagnetic wave is preferably extreme ultraviolet (EUV), an X-ray, or a gamma ray.
  • EUV extreme ultraviolet
  • X-ray X-ray
  • gamma ray a gamma ray
  • a machine learning data creation device in which the first energy beam is an electron beam or an electromagnetic wave, the second energy beam is an electromagnetic wave, and if the first energy beam is an electromagnetic wave, the first energy beam is an electromagnetic wave having a shorter wavelength than the second energy beam.
  • a machine learning data creation device in which the scattering section has a periodic or random microstructure with a size equal to or smaller than the resolution of the first energy beam.
  • a machine learning data creation device in which the scattering portion includes at least one material selected from metals, dielectrics, semiconductors, and biomaterials.
  • a machine learning data creation device which further comprises at least one element selected from an element that propagates a second energy beam, arranged between the scattering unit and the detection unit; an element that changes the spatial distribution of the second energy beam; and an element that changes the properties of the second energy beam, and when the second energy beam is light, further comprises at least one element selected from an optical propagation element, a lens, a polarizer, a wavelength filter, and a wavelength plate, arranged between the scattering unit and the detection unit.
  • a machine learning data creation device that further includes an irradiation unit that irradiates a first energy beam.
  • Another aspect of the present disclosure provides a machine learning data creation device that includes a scattering unit that scatters an incident energy beam, a detection unit that detects the energy beam scattered by the scattering unit, and an observation unit that can acquire spatial information of an object that generates the energy beam and is present on the scattering unit, and the scattering unit has at least a spatial frequency that is approximately the same as the resolution of the observation unit.
  • the machine learning data creation device generates an energy beam by an object placed on a scattering section, scatters the energy beam by a scattering section having at least a spatial frequency on the order of the resolution of the observation section, and detects the scattered energy beam. Therefore, the energy beam is scattered in units on the order of the resolution of the observation section, and propagates randomly in an infinite number of directions, and is detected by the detection section while retaining the spatial arrangement information of the object.
  • an energy beam generated with a spatial resolution equal to or greater than the physical convergence of the energy beam generated from the object can be used for machine learning data while substantially retaining the spatial information of the source of the energy beam.
  • Another aspect of the present disclosure provides machine learning data that includes an energy beam irradiation pattern and a detection pattern that is detected in a detection unit when an energy beam having the irradiation pattern is irradiated onto a generation unit of a machine learning data creation device.
  • Another aspect of the present disclosure provides machine learning data that includes an observation pattern observed by an observation unit, which is spatial information of an object present on the scattering unit, and a detection pattern detected by a detection unit of a machine learning data creation device by generating an energy beam from the object present on the scattering unit.
  • machine learning data in which the irradiation pattern is at least one type selected from a design pattern for irradiating an energy beam and a calibration pattern that reflects uncertainty regarding the irradiation position of the energy beam with respect to the design pattern.
  • an observation device includes a scattering section that scatters an incident energy beam and has at least a spatial frequency equivalent to the resolution of the energy beam irradiated to the generating section of the machine learning data creation device when creating the machine learning data, and a detection section that detects the energy beam scattered by the scattering section, and estimates the incident pattern of the energy beam incident on the scattering section from the detection pattern detected by the detection section.
  • an observation device includes a scattering section that scatters an incident energy beam and has a spatial frequency at least equivalent to the resolution of the observation section of the machine learning data creation device used in creating the machine learning data, and a detection section that detects the energy beam scattered by the scattering section, and estimates the incident pattern of the energy beam incident on the scattering section from the detection pattern detected by the detection section.
  • the learning model is an energy beam irradiation pattern estimation device that includes a generation unit that generates a second energy beam by irradiating a first energy beam, a scattering unit that scatters the second energy beam generated by the generation unit and has at least a spatial frequency approximately equal to the resolution of the first energy beam, and a detection unit that detects the second energy beam scattered by the scattering unit, and estimates the irradiation pattern of the first energy beam irradiated to the generation unit from the detection pattern detected by the detection unit, and provides a learning model in which the first energy beam has a higher physical convergence than the second energy beam.
  • a learning model in which the scattering section is identical to the scattering section in the machine learning data creation device used to create the machine learning data.
  • Another aspect of the present disclosure provides an observation device that includes a scattering section that scatters an incident energy beam and has at least a spatial frequency higher than a frequency corresponding to the wavelength of the energy beam, a detection section that detects the energy beam scattered by the scattering section, and an information processing section that estimates information about a sample placed on the scattering section from a detection pattern detected by the detection section.
  • an observation device in which an information processing unit performs estimation using the above learning model.
  • an energy beam irradiation pattern estimation device including a generation unit that generates a second energy beam by irradiating a first energy beam, a scattering unit that scatters the second energy beam generated in the generation unit and has a spatial frequency at least approximately equal to the resolution of the first energy beam, a detection unit that detects the second energy beam scattered by the scattering unit, and an information processing unit that estimates the irradiation pattern of the first energy beam irradiated to the generation unit from the detection pattern detected by the detection unit, wherein the first energy beam has a higher physical convergence than the second energy beam.
  • an information processing unit for estimating an energy beam irradiation pattern using the above-mentioned learning model.
  • an observation device or an energy beam irradiation pattern estimation device further comprising at least one element selected from an element that propagates the energy beam, arranged between the scattering section and the detection section; an element that changes the spatial distribution of the energy beam; and an element that changes the properties of the energy beam, and, when the energy beam is light, further comprising at least one element selected from a light propagation element, a lens, a polarizer, a wavelength filter, and a wavelength plate, arranged between the scattering section and the detection section.
  • Another aspect of the present disclosure provides a method for creating machine learning data, including irradiating an energy beam having a designed irradiation pattern to a generation unit of the machine learning data creation device, acquiring a detection pattern detected by a detection unit by irradiating the energy beam, and recording the irradiation pattern and the detection pattern in association with each other.
  • Another aspect of the present disclosure provides a method for creating machine learning data, including acquiring spatial information of an object present on a scattering unit of the machine learning data creation device by an observation unit, generating an energy beam from the object present on the scattering unit to acquire a detection pattern in a detection unit, and linking and recording the acquired spatial information of the object and the detection pattern.
  • Another aspect of the present disclosure provides a method for creating a learning model that includes causing an information processing device to perform machine learning using multiple combinations of irradiation patterns and detection patterns in the machine learning data as training data.
  • Another aspect of the present disclosure provides a method for creating a learning model, which includes causing an information processing device to perform machine learning using multiple combinations of object spatial information and detection patterns in the machine learning data as training data.
  • Another aspect of the present disclosure provides an observation method including placing a sample on a scattering section of the observation device, irradiating an energy beam onto the sample or generating an energy beam from the sample, and having an information processing section estimate the pattern of the energy beam generated on the scattering section based on the detection pattern detected by the detection section.
  • Another aspect of the present disclosure provides a method for estimating an energy beam irradiation pattern, comprising: irradiating a first energy beam to a generation unit of the energy beam irradiation pattern estimation device; and causing an information processing unit to estimate the irradiation pattern of the first energy beam based on a detection pattern detected by the detection unit.
  • the present invention provides a novel observation device for super-resolution observation, a learning model for use with the observation device, a method for creating machine learning data for generating the learning model, and a device for creating the machine learning data.
  • FIG. 1 is a conceptual diagram showing a first embodiment of the present invention.
  • FIG. 4 is a conceptual diagram showing another aspect of the first embodiment of the present invention.
  • FIG. 11 is a conceptual diagram showing still another aspect of the first embodiment of the present invention.
  • FIG. 11 is a conceptual diagram showing a second embodiment of the present invention.
  • FIG. 11 is a conceptual diagram showing a third embodiment of the present invention.
  • this embodiment an embodiment of one aspect of the present invention (hereinafter, referred to as “this embodiment”) will be described with reference to the drawings. Note that in each drawing, parts with the same reference numerals have the same or similar configurations.
  • FIG. 1 is a diagram showing an overview of the configuration of a machine learning data creation device 1 according to this embodiment; a method for creating machine learning data and a learning model using the same; and a method for observing a sample using the created learning model.
  • FIG. 1 an overview of a method for creating machine learning data using a machine learning data creation device 1 according to this embodiment, creating a learning model using the machine learning data, and observing a sample using the learning model will be described.
  • the machine learning data creation device 1 includes a generation unit 10 that generates a second energy beam B2 by irradiating a first energy beam B1, a scattering unit 20 that scatters the second energy beam B2 generated in the generation unit 10 and has at least a spatial frequency approximately equal to the resolution of the first energy beam B1, a detection unit 30 that detects the second energy beam B2 scattered by the scattering unit 20, and an irradiation unit 40 that irradiates the first energy beam B1.
  • the first energy beam B1 has a higher physical convergence than the second energy beam B2.
  • the machine learning data creation device 1 generates a second energy beam B2 from a first energy beam B1 that has a relatively high physical convergence, scatters the second energy beam B2 by a scattering unit 20 that has at least a spatial frequency that is approximately the resolution of the first energy beam B1, and detects the scattered energy beam B2.
  • the energy beam B2 is scattered in units that are approximately the resolution of the first energy beam B1, and propagates randomly in countless directions, and is detected by the detection unit 30 while retaining information on the irradiation pattern of the first energy beam B1.
  • the second energy beam B2 generated with a spatial resolution equal to or greater than the physical convergence of the second energy beam B2 (e.g., the diffraction limit of light waves) can be detected by the detection unit 30 while substantially retaining the spatial information of the source of the second energy beam B2.
  • the second energy beam B2 that is scattered beyond its physical convergence e.g., the diffraction limit of light waves
  • the second energy beam B2 that is scattered beyond its physical convergence is not physically converged in the detection unit 30, so it is difficult to directly understand spatial information about the source of the second energy beam B2 from the pattern detected in the detection unit 30.
  • machine learning data including a plurality of sets linking spatial information of the generation source of the second energy beam B2, specifically, the irradiation pattern P Irradiation of the first energy beam B1 with the detection pattern P Detect detected by the detection unit 30 with respect to the irradiation pattern P Irradiation, is created, and a trained model is generated based on the data set.
  • the detection pattern P Detect detected by the detection unit 30 essentially retains spatial information about the source of the second energy beam B2. Therefore, by using a learning model trained with machine learning data including the irradiation pattern P Irradiation and the detection pattern P Detect , when a specific detection pattern P Detect is detected by the detection unit 30, it is possible to estimate an estimated pattern P Predict , which indicates what kind of energy beam pattern is incident on the scattering unit 20.
  • Machine learning data creation device Next, the configuration of the machine learning data creation device 1 will be described in detail.
  • the generating unit 10 is a member that generates a second energy beam B2 by irradiation with a first energy beam B1.
  • the first energy beam B1 and the second energy beam B2 may be, for example, independently selected from an electron beam, an electromagnetic wave, and a sound wave.
  • electromagnetic waves include infrared rays, visible light, ultraviolet rays (UV), extreme ultraviolet rays (EUV), X-rays, and gamma rays.
  • the first energy beam B1 may be an electron beam or an electromagnetic wave
  • the second energy beam B2 may be an electromagnetic wave.
  • the first energy beam B1 has a higher physical convergence than the second energy beam B2, so that when the first energy beam B1 and the second energy beam B2 are both electromagnetic waves, the first energy beam B1 is an electromagnetic wave with a shorter wavelength than the second energy beam B2.
  • "High physical convergence" means that the energy beams can be converged to a more spatially limited area, and have a higher resolution.
  • the first energy beam B1 is selected from an electron beam, extreme ultraviolet (EUV), X-rays, and gamma rays
  • the generator 10 is a light generator that generates light by irradiation with the first energy beam B1. That is, in this case, the second energy beam B2 is a light wave.
  • Such a generating unit 10 is not particularly limited as long as it is a member that generates an energy beam with relatively low physical convergence by irradiation with an energy beam, and examples of such a generating unit include a fluorescent film and quantum dots.
  • the generating unit 10 may be, for example, ZnO, SrGa2S4 :Eu, Si3N4 , and/or SiC. In this case, by irradiating an electron beam as the first energy beam B1, fluorescence is generated as the second energy beam B2.
  • the scattering unit 20 is a member that scatters the second energy beam B2 generated in the generation unit 10 and has at least a spatial frequency that is approximately the resolution of the first energy beam B1.
  • the spatial frequency of the microstructure of the scattering section 20 includes a frequency corresponding to a size of at least the order of the resolution of the first energy beam B1.
  • the microstructure of the scattering section 20 may include a spatial frequency higher than a frequency corresponding to a wavelength three times the wavelength of the first energy beam B1, may include a spatial frequency higher than a frequency corresponding to a wavelength twice the wavelength of the first energy beam B1, may include a spatial frequency higher than a frequency corresponding to the wavelength of the first energy beam B1, may include a spatial frequency higher than a frequency corresponding to half the wavelength of the first energy beam B1, or may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more but less than three times the wavelength of the first energy beam B1.
  • the first energy beam B1 may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more and less than twice the wavelength of the first energy beam B1, may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more and less than the wavelength of the first energy beam B1, may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more and less than half the wavelength of the first energy beam B1, may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more and less than one-third the wavelength of the first energy beam B1, or may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more and less than one-quarter the wavelength of the first energy beam B1.
  • the microstructure of the scattering section 20 may include a spatial frequency higher than a frequency corresponding to 3 ⁇ /n, may include a spatial frequency higher than a frequency corresponding to 2 ⁇ /n, may include a spatial frequency higher than a frequency corresponding to ⁇ /n, may include a spatial frequency higher than a frequency corresponding to ⁇ /2n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than 3 ⁇ /n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than 2 ⁇ /n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /2n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /3n, or may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /3n, or may include a spatial frequency of a frequency
  • the scattering section 20 only needs to include at least a spatial frequency that is approximately the resolution of the first energy beam B1, and may also include other spatial frequencies. Furthermore, the scattering section 20 may include one or more spatial frequencies that are approximately the resolution of the first energy beam B1. When the scattering section 20 includes multiple spatial frequencies that are approximately the resolution of the first energy beam B1, it is possible to extract and observe only information of a desired band (size).
  • the scattering section 20 may have a periodic or random microstructure with a size equal to or smaller than the resolution of the first energy beam B1.
  • a size equal to or smaller than the resolution of the energy beam means a size equal to or smaller than the resolution of the energy beam (the physically limit of size at which it can be focused (e.g., the diffraction limit of light waves)).
  • the scattering section 20 may have a periodic or random microstructure having a size smaller than three times the wavelength of the first energy beam B1, may have a periodic or random microstructure having a size smaller than twice the wavelength of the first energy beam B1, may have a periodic or random microstructure having a size smaller than the wavelength of the first energy beam B1, may have a periodic or random microstructure having a size smaller than half the wavelength of the first energy beam B1, or may have a periodic or random microstructure having a size of 1 ⁇ or more and less than three times the wavelength of the first energy beam B1.
  • the microstructure may have a periodic or random microstructure with a size of 1 ⁇ or more and less than twice the wavelength of the first energy beam B1, a periodic or random microstructure with a size of 1 ⁇ or more and less than half the wavelength of the first energy beam B1, a periodic or random microstructure with a size of 1 ⁇ or more and less than one-third the wavelength of the first energy beam B1, or a periodic or random microstructure with a size of 1 ⁇ or more and less than one-quarter the wavelength of the first energy beam B1.
  • the scattering section 20 when the scattering section 20 is filled with a medium having a refractive index n, the scattering section 20 may have a periodic or random microstructure having a size smaller than 3 ⁇ /n, a periodic or random microstructure having a size smaller than 2 ⁇ /n, a periodic or random microstructure having a size smaller than ⁇ /n, a periodic or random microstructure having a size smaller than ⁇ /2n, a periodic or random microstructure having a size of 1 ⁇ or more and less than 3 ⁇ /n, a periodic or random microstructure having a size of 1 ⁇ or more and less than 2 ⁇ /n, a periodic or random microstructure having a size of 1 ⁇ or more and less than ⁇ /n, a periodic or random microstructure having a size of 1 ⁇ or more and less than ⁇ /2n, a periodic or random microstructure having a size of 1 ⁇ or more and less than ⁇ /2n, a periodic or random microstructure having a size of 1 ⁇ or more and less than ⁇ /2
  • the scattering section 20 may be composed of at least one material selected from metals, dielectrics, semiconductors, and biomaterials.
  • the scattering section 20 may be a structure obtained by self-organizing self-organizing substances such as dielectric particles (e.g., polystyrene particles), metal particles (e.g., gold particles, silver particles), semiconductor particles (e.g., titanium oxide particles, quantum dots), carbon nanofibers, and carbon nanotubes, or may be a microstructure formed on a metal, dielectric, or semiconductor by a microfabrication technique such as a semiconductor process, or may be a self-organized body formed by the self-proliferation of microorganisms (e.g., a self-organized body of Escherichia coli or Staphylococcus aureus), or may be a composite of these.
  • dielectric particles e.g., polystyrene particles
  • metal particles e.g., gold particles, silver particles
  • semiconductor particles e.g., titanium oxide particles
  • the size of the microstructure in the scattering section 20 may be, for example, 1 ⁇ to 800 ⁇ m.
  • the size (e.g., particle diameter) of the components (e.g., each particle) of the self-organizing material may be, for example, 1 ⁇ to 800 ⁇ m.
  • the numerical range may be 1 ⁇ to 600 ⁇ m, 1 ⁇ to 500 ⁇ m, 1 ⁇ to 400 ⁇ m, 1 ⁇ to 300 ⁇ m, or 1 ⁇ to 200 ⁇ m.
  • the scattering section 20 may be, for example, a structure in which particles having a particle size within the above-mentioned range as the size of the microstructure are self-organized, or may be a structure in which a first structure in which first particles having a first particle size within the above-mentioned range as the size of the microstructure are self-organized and a second structure in which second particles having a second particle size within the above-mentioned range as the size of the microstructure are self-organized are laminated or composited.
  • the detection unit 30 is an element that detects the second energy beam B2 scattered by the scattering unit 20.
  • the detection unit 30 may select an appropriate detector depending on the type of the second energy beam B2. For example, if the second energy beam B2 is a light wave, the detection unit 30 may be an element capable of detecting light, such as a CMOS sensor.
  • machine learning data including a plurality of sets linking the irradiation pattern P Irradiation of the first energy beam B1 with the detection pattern P Detect detected by the detection unit 30 with respect to the irradiation pattern P Irradiation is created, so it is preferable that the detection unit 30 is capable of acquiring spatial information (such as the intensity distribution of the second energy beam B2) of the second energy beam B2 scattered in the scattering unit 20. Furthermore, the detection unit 30 may be capable of acquiring spatial information (such as the intensity distribution of the second energy beam B2) of the second energy beam B2 with approximately the resolution of the first energy beam B1.
  • the detection unit 30 may be capable of identifying sizes equal to or smaller than the resolution of the first energy beam B1.
  • the detection unit 30 may be capable of identifying sizes smaller than three times the wavelength of the first energy beam B1, may be capable of identifying sizes smaller than twice the wavelength of the first energy beam B1, may be capable of identifying sizes smaller than the wavelength of the first energy beam B1, may be capable of identifying sizes smaller than half the wavelength of the first energy beam B1, may be capable of identifying sizes of 1 ⁇ or more and less than two or three times the wavelength of the first energy beam B1, may be capable of identifying sizes of 1 ⁇ or more and less than the wavelength of the first energy beam B1, may be capable of identifying sizes of 1 ⁇ or more and less than half the wavelength of the first energy beam B1, may be capable of identifying sizes of 1 ⁇ or more and less than one-third the wavelength of the first energy beam B1, and may be capable of identifying sizes of 1 ⁇ or more and less than one-quarter the wavelength of the first energy beam B1.
  • the detection section 30 may be capable of identifying sizes smaller than 3 ⁇ /n, may be capable of identifying sizes smaller than 2 ⁇ /n, may be capable of identifying sizes smaller than ⁇ /n, may be capable of identifying sizes smaller than ⁇ /2n, may be capable of identifying sizes 1 ⁇ or more and less than 3 ⁇ /n, may be capable of identifying sizes 1 ⁇ or more and less than 2 ⁇ /n, may be capable of identifying sizes 1 ⁇ or more and less than ⁇ /n, may be capable of identifying sizes 1 ⁇ or more and less than ⁇ /2n, may be capable of identifying sizes 1 ⁇ or more and less than ⁇ /2n, may be capable of identifying sizes 1 ⁇ or more and less than ⁇ /2n, may be capable of identifying sizes 1 ⁇ or more and less than ⁇ /3n, and may be capable of identifying sizes 1 ⁇ or more and less than ⁇ /4n,
  • the irradiation unit 40 is an element that irradiates the first energy beam B1.
  • the irradiation unit 40 may be an appropriate element or device selected depending on the type of the first energy beam B1. For example, if the first energy beam B1 is a light wave, the irradiation unit 40 may be a light irradiation device, and if the first energy beam B1 is an electron beam, the irradiation unit 40 may be an electron beam drawing device.
  • machine learning data is created that includes a plurality of sets that link the irradiation pattern P Irradiation of the first energy beam B1 with the detection pattern P Detect detected by the detection unit 30 with respect to the irradiation pattern P Irradiation , so it is preferable that the irradiation unit 40 is capable of irradiating the first energy beam B1 to the generation unit 10 in a desired pattern.
  • the irradiation unit 40 irradiates the generation unit 10 with a first energy beam B1 in an arbitrary pattern (irradiation pattern P Irradiation ).
  • the detection unit 30 detects a pattern P Detect of the second energy beam B2 in response to this.
  • the machine learning data creation device 1 stores the irradiation pattern P Irradiation and the detection pattern P Detect in association with each other.
  • the machine learning data creation device 1 repeatedly irradiates the first energy beam B1 to the generation unit 10 while changing the irradiation pattern P Irradiation , and creates machine learning data (Data set) by obtaining multiple sets that link the irradiation pattern P Irradiation with the detection pattern P Detect corresponding to the irradiation pattern P Irradiation .
  • the irradiation pattern P Irradiation may be at least one selected from a design pattern for irradiating the first energy beam B1 and a calibration pattern that reflects uncertainty regarding the irradiation position of the first energy beam B1 with respect to the design pattern.
  • FIG. 2 is a conceptual diagram showing an aspect in which a design pattern P Design for irradiating a first energy beam B1 is used as an irradiation pattern P Irradiation .
  • machine learning data Data set
  • FIG. 2 machine learning data is created using a set in which the design pattern P Design input to the irradiation unit 40 and the corresponding detection pattern P Detect are linked, so that machine learning data can be easily created.
  • the design pattern P Design may be created by an information processing device provided in or connected to the irradiation unit 40.
  • the design pattern P Design may be a pattern randomly generated by the information processing device, may be a pattern generated by the information processing device using a predetermined algorithm, or may be a pattern input by a user or the like using the information processing device.
  • the irradiation unit 40 irradiates the first energy beam B1 to the generation unit 10 based on the design pattern P Design .
  • FIG. 3 is a conceptual diagram showing an aspect in which a calibration pattern P Calibration that reflects the uncertainty regarding the irradiation position of the energy beam with respect to the design pattern P Design is used as the irradiation pattern P Irradiation .
  • the machine learning data (Data set) is created using a set that links the calibration pattern P Calibration that reflects the uncertainty regarding the irradiation position of the energy beam with respect to the design pattern P Design input to the irradiation unit 40 and the corresponding detection pattern P Detect , so that the spatial information of the second energy beam B2 generated by the generation unit 10 can be more accurately reflected, and there is a tendency that machine learning data (Data set) for generating a learning model with higher accuracy can be created.
  • machine learning is performed using the machine learning data thus obtained to generate a trained model (also called a "trained model").
  • the machine learning method is not particularly limited, and for example, GAN, cGAN, U-NET, RCAN, CNN, etc. may be used.
  • a noise removal method may be applied before, during, or after learning.
  • Machine learning may use, for example, pix2pix cGAN and U-NET, and may use the method described in, for example, P. Isola, J. Y. Zhu, T. Zhou, and A. A. Efros, “Image-to-image translation with conditional adversarial networks,” Proc. - 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017, vol. 2017-Janua, pp. 5967-5976, 2017.
  • the learning model does not necessarily need to directly present the estimated pattern P Predict as an output, but may ultimately present information desired by the user (e.g., sample properties, spatial information, physical properties, classification, substance name, organism name, disease name, etc.) or perform an operation desired by the user.
  • information desired by the user e.g., sample properties, spatial information, physical properties, classification, substance name, organism name, disease name, etc.
  • the learning model generated above can estimate an estimated pattern P Predict, which indicates what kind of energy beam pattern is incident on the scattering unit 20, when a specific detection pattern P Detect is detected by the detection unit 30.
  • a sample (Sample) is placed on the scattering unit 20, and an appropriate energy beam is irradiated onto the sample to cause fluorescence or scattering of the energy beam to generate an energy beam B3.
  • a detection pattern P Detect of the energy beam B3 scattered by the scattering unit 20 is obtained in the detection unit 30, and the detection pattern P Detect can be input into the learning model to obtain a corresponding estimated pattern P Predict .
  • This estimated pattern P Predict includes spatial information of the sample placed on the scattering section 20, and spatial information of the sample (e.g., the position, size, structure, properties, physical properties, classification, substance name, and organism name) can be obtained based on the estimated pattern P Predict .
  • one aspect of the present embodiment provides an observation device including a scattering section 20 that scatters an incident energy beam B3 and has at least a spatial frequency higher than a frequency corresponding to the wavelength of the energy beam B3, a detection section 30 that detects the energy beam B3 scattered by the scattering section 20, and an information processing section that estimates information of a sample (Sample) placed on the scattering section 20 from a detection pattern P Detect detected by the detection section 30.
  • the energy beam B3 may be fluorescence generated by irradiating a sample with an appropriate energy beam, or a scattered energy beam.
  • the scattering section 20 may also have a periodic or random microstructure with a size equal to or smaller than the resolution of the energy beam B3.
  • the scattering section 20 may have a periodic or random microstructure with a size smaller than three times the wavelength of the energy beam B3, a periodic or random microstructure with a size smaller than twice the wavelength of the energy beam B3, a periodic or random microstructure with a size smaller than the wavelength of the energy beam B3, a periodic or random microstructure with a size smaller than half the wavelength of the energy beam B3, a periodic or random microstructure with a size of 1 ⁇ or more and less than the wavelength of the energy beam B3, a periodic or random microstructure with a size of 1 ⁇ or more and less than half the wavelength of the energy beam B3, a periodic or random microstructure with a size of 1 ⁇ or more and less than one-third the wavelength of the energy beam B3, or a periodic or random microstructure with a size of 1 ⁇ or more and less than one-quarter the wavelength of the energy beam B3.
  • the scattering section 20 when the scattering section 20, for example the surroundings of a sample, is filled with a medium having a refractive index n, the scattering section 20 may have a periodic or random microstructure having a size smaller than 3 ⁇ /n, may have a periodic or random microstructure having a size smaller than 2 ⁇ /n, may have a periodic or random microstructure having a size smaller than ⁇ /n, may have a periodic or random microstructure having a size smaller than ⁇ /n, may have a periodic or random microstructure having a size smaller than ⁇ /2n, and may have a size of 1 ⁇ or more.
  • It may have a periodic or random microstructure with a size of less than 3 ⁇ /n, it may have a periodic or random microstructure with a size of 1 ⁇ or more and less than 2 ⁇ /n, it may have a periodic or random microstructure with a size of 1 ⁇ or more and less than ⁇ /n, it may have a periodic or random microstructure with a size of 1 ⁇ or more and less than ⁇ /2n, it may have a periodic or random microstructure with a size of 1 ⁇ or more and less than ⁇ /3n, it may have a periodic or random microstructure with a size of 1 ⁇ or more and less than ⁇ /4n.
  • the fine structure of the scattering section 20 may have at least a spatial frequency of the order of the resolution of the energy beam B3.
  • the fine structure of the scattering section 20 may include a spatial frequency higher than a frequency corresponding to a wavelength three times the wavelength of the energy beam B3, may include a spatial frequency higher than a frequency corresponding to a wavelength twice the wavelength of the energy beam B3, may include a spatial frequency higher than a frequency corresponding to the wavelength of the energy beam B3, may include a spatial frequency higher than a frequency corresponding to a half wavelength of the energy beam B3, may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more but less than two or three times the wavelength of the energy beam B3, may include a spatial frequency of a frequency corresponding to a wavelength of 1 ⁇ or more but less than the wavelength of the energy beam B3, may include a spatial frequency of a frequency corresponding to a frequency of 1 ⁇ or more but less than a half wavelength of the energy beam B3, may include a spatial frequency of a frequency
  • the scattering section 20 may include a spatial frequency higher than the frequency corresponding to 3 ⁇ /n, may include a spatial frequency higher than the frequency corresponding to 2 ⁇ /n, may include a spatial frequency higher than the frequency corresponding to ⁇ /n, may include a spatial frequency higher than the frequency corresponding to ⁇ /2n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than 3 ⁇ /n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than 2 ⁇ /nn, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /2n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /2n, may include a spatial frequency of a frequency corresponding to 1 ⁇ or more and less than ⁇ /3n, or may include a spatial frequency of a frequency of a frequency corresponding to 1
  • the scattering section 20 may include at least a spatial frequency of about the resolution of the energy beam B3, and may include other spatial frequencies.
  • the scattering section 20 may include one or more spatial frequencies equal to or higher than the resolution of the energy beam B3, may include one or more spatial frequencies equal to or lower than the resolution of the energy beam B3, may include one or more spatial frequencies within the above-mentioned range, or may include one or more spatial frequencies outside the above-mentioned range.
  • a spatial frequency equal to or higher than the resolution of the energy beam means a spatial frequency higher than the resolution, and a high spatial frequency equal to or higher than the spatial frequency corresponding to the resolution.
  • a spatial frequency equal to or lower than the resolution of the energy beam means a spatial frequency lower than the resolution, and a low spatial frequency equal to or lower than the spatial frequency corresponding to the resolution.
  • a learning model trained with each of the multiple spatial frequencies can be used to observe the sample once, and after the detection section 30 acquires information corresponding to the multiple spatial frequencies, only information of the desired band (size or resolution) can be extracted and observed at the desired timing.
  • the detection unit 30 may be capable of identifying sizes less than the resolution of the energy beam B3.
  • the detection unit 30 may be capable of identifying sizes less than three times the wavelength of the energy beam B3, may be capable of identifying sizes less than twice the wavelength of the energy beam B3, may be capable of identifying sizes less than the wavelength of the energy beam B3, may be capable of identifying sizes less than half the wavelength of the energy beam B3, may be capable of identifying sizes 1 ⁇ or more and less than two or three times the wavelength of the energy beam B3, may be capable of identifying sizes 1 ⁇ or more and less than the wavelength of the energy beam B3, may be capable of identifying sizes 1 ⁇ or more and less than half the wavelength of the energy beam B3, may be capable of identifying sizes 1 ⁇ or more and less than one-third the wavelength of the energy beam B3, and may be capable of identifying sizes 1 ⁇ or more and less than one-quarter the wavelength of the energy beam B3.
  • the detection section 30 may be able to distinguish sizes smaller than 3 ⁇ /n, may be able to distinguish sizes smaller than 2 ⁇ /n, may be able to distinguish sizes smaller than ⁇ /n, may be able to distinguish sizes smaller than ⁇ /2n, may be able to distinguish sizes from 1 ⁇ to less than 3 ⁇ /n, may be able to distinguish sizes from 1 ⁇ to less than 2 ⁇ /n, may be able to distinguish sizes from 1 ⁇ to less than ⁇ /n, may be able to distinguish sizes from 1 ⁇ to less than ⁇ /2n, may be able to distinguish sizes from 1 ⁇ to less than ⁇ /n, may be able to distinguish sizes from 1 ⁇ to less than ⁇ /2n, may be able to distinguish sizes from 1 ⁇ to less than ⁇ /n, may be able to distinguish sizes from 1 ⁇ to less than ⁇ /2n, may be able to distinguish sizes from 1 ⁇ to less than ⁇ /3n, and may be able to distinguish sizes from 1 ⁇ to less than ⁇ /4n.
  • the information processing unit is not particularly limited as long as it can estimate information about the sample placed on the scattering unit 20 from the detection pattern P Detect detected by the detection unit 30.
  • Examples of the estimated sample information include spatial information such as the position, size, and structure of the sample, and other information such as properties, physical properties, classification, substance name, and organism name.
  • the information processing unit preferably estimates information of the sample using the learning model generated above, and more preferably estimates spatial information of the sample using the learning model.
  • the learning model may estimate the incidence pattern of the energy beam B3 incident on the scattering unit 20 from the detection pattern P Detect .
  • the information processing unit can further estimate information of the sample based on the estimated incidence pattern of the energy beam B3.
  • the scattering unit 20 has at least a spatial frequency approximately equal to the resolution of the energy beam B1 irradiated to the generation unit 10 of the machine learning data creation device 1 when creating the machine learning data (Data set), and it is more preferable that the scattering unit 20 is the same as the scattering unit 20 in the machine learning data creation device 1 used when creating the machine learning data (Data set).
  • the energy beam B3 is the same type of energy beam as the second energy beam B2 generated by the generation unit 10 of the machine learning data creation device 1 when creating the machine learning data (Data set), and it is more preferable that the energy beam B3 is the same type and has the same wavelength. Note that, when creating machine learning data (Data set) using various second energy beams B2 by changing the generation unit 10 of the machine learning data creation device 1 when creating the machine learning data (Data set), the energy beam B3 and the second energy beam B2 generated by the generation unit 10 of the machine learning data creation device 1 when creating the machine learning data (Data set) do not have to be the same type and may have different wavelengths.
  • the information processing unit may be connected to other devices, etc., wirelessly or via a wire.
  • the observation device may display the results of the estimation by the information processing unit on a display unit, such as a display, provided on the observation device, or may transmit the results to other devices, etc., wirelessly or via a wire.
  • the observation device of this embodiment does not include a generation unit 10, but the observation device may include a generation unit 10.
  • the observation device in the observation device, a sample is placed on the scattering unit 20 via the generation unit 10, and the energy beam B3 from the sample is incident on the scattering unit 20 via the generation unit 10. Therefore, in this case, it is preferable that the generation unit 10 transmits the energy beam B3, i.e., is transparent to the energy beam B3.
  • the machine learning data creation device 1 and the observation device may include one or more of each member or element.
  • the machine learning data creation device 1 may include one or more generation units 10, one or more scattering units 20, one or more detection units 30, and one or more irradiation units 40.
  • the observation device may include one or more scattering units 20, one or more detection units 30, and one or more information processing units.
  • the information processing unit may include one or more learning models.
  • the plurality of members or elements may be the same or different.
  • the plurality of irradiation units 40 may be the same type of irradiation unit (e.g., light irradiation unit) that irradiates the same first energy beam, or may be an irradiation unit (e.g., light irradiation unit) that irradiates a first energy beam having at least one physical quantity, such as a wavelength and energy intensity, that is different from each other.
  • irradiation unit e.g., light irradiation unit
  • a first energy beam having at least one physical quantity, such as a wavelength and energy intensity
  • the machine learning data creation device 1 and/or the observation device may include components or elements other than the components or elements described above.
  • one or more conductors, one or more semiconductors, and/or one or more dielectrics may be deposited, stacked, placed nearby, or placed with a space between the above-mentioned members or elements (hereinafter, deposition, stacking, and placement are referred to as "placement, etc.”).
  • a metal thin film such as gold may be deposited on one or both sides of the generation unit 10.
  • the deposition location is not particularly limited, but in the case of the machine learning data creation device 1 as an example, it may be deposited on the surface of the generation unit 10 that is irradiated with the first energy beam B1.
  • the generation unit 10 and/or the scattering unit 20 may be placed on a substrate such as SiC or SiN.
  • the machine learning data creation device 1 and/or the observation device may further include at least one element selected from an element that propagates an energy beam (the first and second energy beams in the machine learning data creation device 1, and the energy beam B3 in the observation device; the same applies in this paragraph); an element that changes the spatial distribution of the energy beam; and an element that changes the properties of the energy beam.
  • the element when the energy beam is a light wave, the element may be at least one element selected from optical elements such as lenses, mirrors, filters, beam splitters, prisms, diffusers, windows, optical elements for displacement, reticles, diffraction gratings, polarizers, wave plates, depolarizers, and Faraday rotators, as well as elements that combine a plurality of these elements (e.g., optical systems such as beam expanders, collimators, optical isolators, and microscopes).
  • optical elements such as lenses, mirrors, filters, beam splitters, prisms, diffusers, windows, optical elements for displacement, reticles, diffraction gratings, polarizers, wave plates, depolarizers, and Faraday rotators, as well as elements that combine a plurality of these elements (e.g., optical systems such as beam expanders, collimators, optical isolators, and microscopes).
  • the machine learning data creation device 1 and/or the observation device may further include at least one element selected from an element that propagates an energy beam (the second energy beam in the machine learning data creation device 1, and the energy beam B3 in the observation device; the same applies in this paragraph) arranged between the scattering unit 20 and the detection unit 30; an element that changes the spatial distribution of the energy beam; and an element that changes the properties of the energy beam.
  • These elements may be made of materials such as conductors, dielectrics, and semiconductors, or may be elements that combine a number of these materials.
  • a transparent optical substrate that propagates the desired band may also be used as the material.
  • a sample placed in the scattering unit 20 is excited, fluorescence from the sample that is scattered through the scattering unit 20 is detected by the detection unit 30, and the detected light distribution is input into a trained model trained using the scattering unit 20, thereby making it possible to observe the sample with super-resolution.
  • FIG. 4 is a diagram showing an overview of the configuration of the machine learning data creation device 2 according to this embodiment, a method for creating machine learning data and a learning model using the same, and a method for observing a sample using the created learning model.
  • the second embodiment shown in FIG. 4 is different from the first embodiment in that the machine learning data creation device includes an object 50 that generates an energy beam and an observation unit 60 instead of the generation unit 10 and the irradiation unit 40.
  • the generation of a learning model using machine learning data and the observation of a sample using the learning model may be the same as the method described in the first embodiment.
  • the machine learning data creation device 2 will be described below.
  • the machine learning data creation device 2 includes a scattering unit 20 that scatters the incident energy beam B2, a detection unit 30 that detects the energy beam B2 scattered by the scattering unit 20, and an observation unit 60 that can identify the position of an object 50 that is present on the scattering unit 20 and generates the energy beam B2.
  • the scattering unit 20 has at least a spatial frequency that is approximately the resolution of the observation unit 60.
  • the machine learning data creation device 2 generates an energy beam B2 by an object 50 placed on the scattering unit 20, scatters the energy beam B2 by the scattering unit 20 having at least a spatial frequency approximately equal to the resolution of the observation unit 60, and detects the scattered energy beam B2.
  • the energy beam B2 is scattered in units approximately equal to the resolution of the observation unit 60 and propagates randomly in countless directions, and is detected by the detection unit 30 while retaining the spatial arrangement information of the object 50.
  • the energy beam B2 generated with a spatial resolution equal to or greater than the physical convergence of the energy beam B2 e.g., the diffraction limit of light waves
  • the detection unit 30 can detect the spatial information of the source of the energy beam B2.
  • machine learning data including a plurality of sets linking spatial information of the source of the energy beam B2, specifically, spatial arrangement information of the object 50, with a detection pattern P Detect detected by the detection unit 30 originating from the energy beam B2 generated by the object 50 is created, and a trained model is generated based on the data set.
  • the spatial arrangement information of the object 50 is acquired by the observation unit 60.
  • the observation unit 60 identifies the position of the object 50 with a resolution higher than that of the energy beam B2 and acquires the observation pattern P Observation of the object 50, so that the observation pattern P Observation can be acquired with a spatial resolution equal to or higher than the physical convergence of the energy beam B2 (e.g., the diffraction limit of light waves).
  • the scattering unit 20 is a member that scatters the incident energy beam B2 and has at least a spatial frequency that is approximately the resolution of the observation unit 60.
  • the fine structure of the scattering section 20 may include a spatial frequency higher than a frequency corresponding to a size three times the resolution of the observation section 60, may include a spatial frequency higher than a frequency corresponding to a size twice the resolution of the observation section 60, may include a spatial frequency higher than a frequency corresponding to a size of the resolution of the observation section 60, may include a spatial frequency higher than a frequency corresponding to a size half the resolution of the observation section 60, may include a spatial frequency of a frequency corresponding to a size of 1 ⁇ or more but less than three times the resolution of the observation section 60, may include a spatial frequency of a frequency corresponding to a size of 1 ⁇ or more but less than twice the resolution of the observation section 60, may include a spatial frequency of a frequency corresponding to a size of 1 ⁇ or more but less than half the resolution of the observation section 60, may include a spatial frequency of a frequency corresponding to a size of 1 ⁇ or more but less than one-third the resolution of the observation section 60, may
  • the scattering section 20 may have a periodic or random microstructure with a size equal to or smaller than the resolution of the observation section 60.
  • the scattering section 20 may have a periodic or random microstructure smaller than three times the resolution of the observation section 60, may have a periodic or random microstructure smaller than twice the resolution of the observation section 60, may have a periodic or random microstructure smaller than the resolution of the observation section 60, may have a periodic or random microstructure with a size of 1 ⁇ or more and less than half the resolution of the observation section 60, may have a periodic or random microstructure with a size of 1 ⁇ or more and less than one-third the resolution of the observation section 60, or may have a periodic or random microstructure with a size of 1 ⁇ or more and less than one-quarter the resolution of the observation section 60.
  • the scattering section 20 may have a configuration similar to that of the scattering section 20 of the machine learning data creation device 1 of the first embodiment.
  • the resolution of the observation unit 60 may be half the wavelength of the energy beam.
  • the scattering unit 20, for example, the periphery of the object 50 is filled with a medium with a refractive index of n
  • the resolution of the observation unit 60 may be ⁇ /2n, where ⁇ is the wavelength of the energy beam.
  • the object 50 is not particularly limited as long as it is capable of generating the energy beam B2, and may be fluorescent beads that generate fluorescence when irradiated with excitation light, or microparticles that generate the energy beam B2 as scattered light when irradiated with light.
  • the object 50 is arranged so as to form an arbitrary pattern on the scattering section 20.
  • the object 50 may be, for example, a structure having a microstructure, or may be microparticles arranged randomly or regularly.
  • the object 50 may have a size similar to that of the sample to be observed by the observation device, and specifically, may have a size of about 1/3 to 3 times, or about 1/2 to 2 times, the size of the sample to be observed.
  • the observation unit 60 is an element that identifies the position of the object 50 with a resolution higher than that of the energy beam B2.
  • the observation unit 60 may be a device that can identify the position of the object 50 with a resolution higher than the diffraction limit of light, such as an electron beam microscope or an atomic force microscope.
  • the observation unit 60 acquires spatial arrangement information of the object 50 on the scattering unit 20, and sets the information as an observation pattern P Observation .
  • the energy beam B2 generated in the machine learning data creation device 2 may be similar to the energy beam B2 generated in the machine learning data creation device 1, and the detection unit 30 may also be similar to the machine learning data creation device 1.
  • FIG. 5 is a diagram showing an overview of the configuration of the machine learning data creation device 1 according to this embodiment, a method for creating machine learning data and a learning model using the same, and a method for estimating an irradiation pattern of an energy beam using the created learning model.
  • the third embodiment shown in FIG. 5 is different from the first embodiment in that a sample is not observed using a learning model, but an irradiation pattern of an energy beam irradiated to a generation unit 10 is estimated using the learning model.
  • the machine learning data creation device 1 and the creation of machine learning data using the same may be the same as the method described in the first embodiment.
  • the method of estimating the irradiation pattern of the energy beam will be described below.
  • a train model is generated by performing machine learning using the created machine learning data.
  • the train model estimates an irradiation pattern P Predict of the first energy beam B1 irradiated to the generation unit 10 from a detection pattern P Detect detected by the detection unit 30.
  • the energy beam irradiation pattern estimation device includes a generation unit 10 that generates a second energy beam B2 by irradiating a first energy beam B1, a scattering unit 20 that scatters the second energy beam B2 generated in the generation unit 10 and has a spatial frequency at least approximately the resolution of the first energy beam B1, a detection unit 30 that detects the second energy beam B2 scattered by the scattering unit 20, and an information processing unit that estimates the irradiation pattern P Predict of the first energy beam B1 irradiated to the generation unit 10 from the detection pattern P Detect detected by the detection unit 30.
  • the first energy beam B1 has a higher physical convergence than the second energy beam B2.
  • the first energy beam B1 and the second energy beam B2 may be similar to the first energy beam B1 and the second energy beam B2 described in the first embodiment.
  • the first energy beam B1 and the second energy beam B2 may be the same (same type or same wavelength) as the first energy beam B1 and the second energy beam B2 used by the machine learning data creation device 1 to create the machine learning data in this embodiment, or may be different (different type or different wavelength).
  • the generation unit 10, scattering unit 20, and detection unit 30 may be similar to the generation unit 10, scattering unit 20, and detection unit 30 described in the first embodiment.
  • the generation unit 10, scattering unit 20, and detection unit 30 may be the same as or different from the generation unit 10, scattering unit 20, and detection unit 30 used by the machine learning data creation device 1 in this embodiment to create machine learning data.
  • a first energy beam B1 is irradiated to the generation unit 10 from an uncalibrated irradiation unit 40' in which the correspondence between the design pattern of the energy beam and the actually irradiated irradiation pattern is not clear.
  • the irradiation unit 40' is an appropriate element or device selected depending on the type of the first energy beam B1. For example, if the first energy beam B1 is a light wave, the irradiation unit 40' may be a light irradiation device, and if the first energy beam B1 is an electron beam, the irradiation unit 40' may be an electron beam drawing device.
  • the information processing unit is not particularly limited as long as it can estimate the irradiation pattern that the irradiation unit 40 ′ actually irradiated the generation unit 10 with, from the detection pattern P Detect detected by the detection unit 30 .
  • the information processing unit preferably estimates the irradiation pattern using the learning model generated as described above.
  • the learning model may estimate the irradiation pattern that the irradiation unit 40' actually irradiated the generation unit 10 with, from the detection pattern P Detect .
  • the scattering unit 20 has at least a spatial frequency approximately equal to the resolution of the energy beam B1 irradiated to the generation unit 10 of the machine learning data creation device 1 when creating the machine learning data (Data set). It is also more preferable that the generation unit 10 and the scattering unit 20 are the same as the generation unit 10 and the scattering unit 20 in the machine learning data creation device 1 used when creating the machine learning data (Data set).

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本開示に係る機械学習用データ作成装置１は、第１のエネルギービームＢ１の照射により第２のエネルギービームＢ２を生じる生成部１０と、前記生成部１０において生じた前記第２のエネルギービームＢ２を散乱させる、前記第１のエネルギービームＢ１の分解能程度の空間周波数を少なくとも有する散乱部２０と、前記散乱部２０により散乱された前記第２のエネルギービームＢ２を検出する検出部３０と、を備え、前記第１のエネルギービームＢ１は、前記第２のエネルギービームＢ２よりも物理的な収束性が高い。

Description

機械学習用データ作成装置、機械学習用データの作成方法、学習モデル、観察装置、及びエネルギービームの照射パターンの推定装置
　本開示は、機械学習用データ作成装置、機械学習用データの作成方法、学習モデル、観察装置、及びエネルギービームの照射パターンの推定装置等に関する。
　これまでに、多くの顕微鏡が開発されているが、顕微鏡の解像度はレイリーの解像限界によって定められるように、本質的に回折限界によって制限される。近年、この限界を超える超解像顕微鏡が開発されている。
　超解像顕微鏡法の１つとして、構造化照明顕微鏡法が知られている（例えば、非特許文献１）。構造化照明顕微鏡は、周期構造を有する照明を用いてモアレを生じさせることで、超解像を実現する。
X. Chen et al., Light Sci. Appl., 12, 1-34 (2023)
　超解像顕微鏡法として様々な手法が提案されているが、未だ簡便に超解像観察ができるような手法は確立されていない。
　本発明が解決しようとする課題は、超解像観察のための新規な観察装置、該観察装置に用いる学習モデル、該学習モデルを生成するための機械学習用データの作成方法、及び該機械学習用データを作成するための装置等を提供することである。
　本開示の一態様は、第１のエネルギービームの照射により第２のエネルギービームを生じる生成部と、生成部において生じた第２のエネルギービームを散乱させる、第１のエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部と、散乱部により散乱された第２のエネルギービームを検出する検出部と、を備え、第１のエネルギービームは、第２のエネルギービームよりも物理的な収束性が高い、機械学習用データ作成装置を提供する。
　本実施形態に係る機械学習用データ作成装置は、相対的に物理的な収束性が高い第１のエネルギービームにより第２のエネルギービームを発生させ、当該第２のエネルギービームを第１のエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部により散乱させ、当該散乱したエネルギービームを検出する。したがって、第２のエネルギービームは、第１のエネルギービームの分解能程度の単位で散乱をうけ、ランダムに無數の方向へ伝搬をすることとなり、第１のエネルギービームの照射パターンの情報を保持したまま、検出部に検出される。これにより、第２のエネルギービームの物理的な収束性以上の空間分解能をもって生じた第２のエネルギービームに関して、第２のエネルギービームの発生源の空間的情報を実質的に保持したまま機械学習用データに利用することができる。
　本開示の別の一態様において、生成部が、第１のエネルギービームの照射により光を生じる光生成部であり、散乱部が、光生成部において生じた光を散乱させる、第１のエネルギービームの分解能程度の空間周波数を少なくとも有する光散乱部であり、検出部が、光散乱部により散乱された光を検出する光検出部である機械学習用データ作成装置を提供する。
　本開示の別の一態様において、第１及び第２のエネルギービームが、それぞれ独立に、電子線、電磁波、及び音波から選択され、電磁波が、好ましくは、極端紫外線（ＥＵＶ）、Ｘ線、又はγ線である機械学習用データ作成装置を提供する。
　本開示の別の一態様において、第１のエネルギービームが、電子線又は電磁波であり、第２のエネルギービームが、電磁波であり、第１のエネルギービームが電磁波である場合は、第１のエネルギービームは、第２のエネルギービームよりも波長が短い電磁波である機械学習用データ作成装置を提供する。
　本開示の別の一態様において、散乱部が、第１のエネルギービームの分解能以下のサイズの、周期的又はランダムな微細構造を有する機械学習用データ作成装置を提供する。
　本開示の別の一態様において、散乱部が、金属、誘電体、半導体、及び生体由来材料から選択される少なくとも１種を含む機械学習用データ作成装置を提供する。
　本開示の別の一態様において、散乱部と検出部との間に配置された、第２のエネルギービームを伝搬させる素子；第２のエネルギービームの空間的分布を変化させる素子；及び第２のエネルギービームの有する性質を変化させる素子から選択される少なくとも１種をさらに備え、第２のエネルギービームが、光である場合は、散乱部と検出部との間に配置された、光伝搬素子、レンズ、偏光子、波長フィルタ、及び波長板から選択される少なくとも１種をさらに備える機械学習用データ作成装置を提供する。
　本開示の別の一態様において、第１のエネルギービームを照射する照射部をさらに備える機械学習用データ作成装置を提供する。
　本開示の別の一態様は、入射したエネルギービームを散乱させる散乱部と、散乱部により散乱されたエネルギービームを検出する検出部と、散乱部上に存在するエネルギービームを生じる物体の空間的情報を取得可能な観察部と、を備え、散乱部は、観察部の分解能程度の空間周波数を少なくとも有する、機械学習用データ作成装置を提供する。
　本実施形態に係る機械学習用データ作成装置は、散乱部上に配置された物体によりエネルギービームを発生させ、当該エネルギービームを、観察部の分解能程度の空間周波数を少なくとも有する散乱部により散乱させ、当該散乱したエネルギービームを検出する。したがって、エネルギービームは、観察部の分解能程度の単位で散乱をうけ、ランダムに無數の方向へ伝搬をすることとなり、物体の空間的配置情報を保持したまま、検出部に検出される。これにより、物体から発生したエネルギービームの物理的な収束性以上の空間分解能をもって生じたエネルギービームに関して、当該エネルギービームの発生源の空間的情報を実質的に保持したまま機械学習用データに利用することができる。
　本開示の別の一態様は、エネルギービームの照射パターンと、照射パターンを有するエネルギービームを機械学習用データ作成装置の生成部に照射したときに検出部において検出される検出パターンと、を含む機械学習用データを提供する。
　本開示の別の一態様は、散乱部上に存在する物体の空間的情報を観察部により観察された観察パターンと、散乱部上に存在する物体からエネルギービームを生じさせることにより、機械学習用データ作成装置の検出部において検出される検出パターンと、を含む機械学習用データを提供する。
　本開示の別の一態様において、照射パターンが、エネルギービームを照射するための設計パターン、及び設計パターンに対してエネルギービームの照射位置に関する不確かさを反映させた校正パターンから選択される少なくとも１種である機械学習用データを提供する。
　本開示の別の一態様は、上記機械学習用データを用いて学習された学習モデルであって、入射したエネルギービームを散乱させる、機械学習用データの作成の際に上記機械学習用データ作成装置の生成部に照射されたエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部と、散乱部により散乱されたエネルギービームを検出する検出部と、を備える観察装置において、検出部において検出された検出パターンから、散乱部に入射したエネルギービームの入射パターンを推定する学習モデルを提供する。
　本開示の別の一態様は、上記機械学習用データを用いて学習された学習モデルであって、入射したエネルギービームを散乱させる、機械学習用データの作成の際に用いた上記機械学習用データ作成装置の観察部の分解能程度の空間周波数を少なくとも有する散乱部と、散乱部により散乱されたエネルギービームを検出する検出部と、を備える観察装置において、検出部において検出された検出パターンから、散乱部に入射したエネルギービームの入射パターンを推定する学習モデルを提供する。
　本開示の別の一態様は、上記機械学習用データを用いて学習された学習モデルであって、学習モデルは、第１のエネルギービームの照射により第２のエネルギービームを生じる生成部と、生成部において生じた第２のエネルギービームを散乱させる、第１のエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部と、散乱部により散乱された第２のエネルギービームを検出する検出部と、を備えるエネルギービームの照射パターンの推定装置において、検出部において検出された検出パターンから、生成部に照射された第１のエネルギービームの照射パターンを推定し、第１のエネルギービームが、第２のエネルギービームよりも物理的な収束性が高い学習モデルを提供する。
　本開示の別の一態様において、散乱部が、機械学習用データを作成する際に用いた機械学習用データ作成装置における散乱部と同一である学習モデルを提供する。
　本開示の別の一態様は、入射したエネルギービームを散乱させる、当該エネルギービームの波長に対応する周波数より高い空間周波数を少なくとも有する散乱部と、前記散乱部により散乱されたエネルギービームを検出する検出部と、前記検出部において検出された検出パターンから、前記散乱部上に配置された試料の情報を推定する情報処理部と、を備える観察装置を提供する。
　本開示の別の一態様において、情報処理部が、上記学習モデルにより推定を行う観察装置を提供する。
　本開示の別の一態様は、第１のエネルギービームの照射により第２のエネルギービームを生じる生成部と、生成部において生じた第２のエネルギービームを散乱させる、第１のエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部と、散乱部により散乱された第２のエネルギービームを検出する検出部と、検出部において検出された検出パターンから、生成部に照射された第１のエネルギービームの照射パターンを推定する情報処理部と、を備え、第１のエネルギービームが、第２のエネルギービームよりも物理的な収束性が高い、エネルギービームの照射パターンの推定装置を提供する。
　本開示の別の一態様において、情報処理部が、上記学習モデルにより推定を行うエネルギービームの照射パターンの推定装置を提供する。
　本開示の別の一態様において、散乱部と検出部との間に配置された、エネルギービームを伝搬させる素子；エネルギービームの空間的分布を変化させる素子；及びエネルギービームの有する性質を変化させる素子から選択される少なくとも１種をさらに備え、エネルギービームが、光である場合は、散乱部と検出部との間に配置された、光伝搬素子、レンズ、偏光子、波長フィルタ、及び波長板から選択される少なくとも１種をさらに備える観察装置又はエネルギービームの照射パターンの推定装置を提供する。
　本開示の別の一態様は、上記機械学習用データ作成装置の生成部に、設計した照射パターンを有するエネルギービームを照射することと、エネルギービームの照射により検出部において検出された検出パターンを取得することと、照射パターンと検出パターンとを紐づけて記録することと、を含む機械学習用データの作成方法を提供する。
　本開示の別の一態様は、上記機械学習用データ作成装置の散乱部上に存在する物体の空間的情報を観察部により取得することと、散乱部上に存在する物体からエネルギービームを生じさせて、検出部において検出パターンを取得することと、取得された物体の空間的情報と検出パターンとを紐づけて記録することと、を含む機械学習用データの作成方法を提供する。
　本開示の別の一態様は、上記機械学習用データにおける照射パターンと検出パターンとの複数の組み合わせを教師データとして、情報処理装置に機械学習を実行させることを含む学習モデルの作成方法を提供する。
　本開示の別の一態様は、上記機械学習用データにおける物体の空間的情報と検出パターンとの複数の組み合わせを教師データとして、情報処理装置に機械学習を実行させることを含む学習モデルの作成方法を提供する。
　本開示の別の一態様は、上記観察装置の散乱部上にサンプルを配置することと、サンプルにエネルギービームを照射するか、サンプルからエネルギービームを生じさせることと、情報処理部に、検出部において検出された検出パターンに基づいて散乱部上において生じたエネルギービームのパターンを推定させることと、を含む観察方法を提供する。
　本開示の別の一態様は、上記エネルギービームの照射パターンの推定装置の生成部に第１のエネルギービームを照射することと、情報処理部に、検出部において検出された検出パターンに基づいて第１のエネルギービームの照射パターンを推定させることと、を含むエネルギービームの照射パターンの推定方法を提供する。
　本発明によれば、超解像観察のための新規な観察装置、該観察装置に用いる学習モデル、該学習モデルを生成するための機械学習用データの作成方法、及び該機械学習用データを作成するための装置等を提供することができる。
本発明の第１実施形態を示す概念図である。 本発明の第１実施形態の別の側面を示す概念図である。 本発明の第１実施形態のさらに別の側面を示す概念図である。 本発明の第２実施形態を示す概念図である。 本発明の第３実施形態を示す概念図である。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
［第１実施形態］
（概要）
　図１は、本実施形態に係る機械学習用データ作成装置１の構成；それを用いて機械学習用データ及び学習モデルを作成する方法；並びに作成した学習モデルを用いて試料を観察する方法の概要を示す図である。
　図１を用いて、本実施形態に係る機械学習用データ作成装置１を用いて機械学習用データを作成し、機械学習用データを用いて学習モデルを作成し、学習モデルを用いて試料を観察する方法の概要について説明する。
　機械学習用データ作成装置１は、第１のエネルギービームＢ１の照射により第２のエネルギービームＢ２を生じる生成部１０と、生成部１０において生じた第２のエネルギービームＢ２を散乱させる、第１のエネルギービームＢ１の分解能程度の空間周波数を少なくとも有する散乱部２０と、散乱部２０により散乱された第２のエネルギービームＢ２を検出する検出部３０と、第１のエネルギービームＢ１を照射する照射部４０を備える。ここで、第１のエネルギービームＢ１は、第２のエネルギービームＢ２よりも物理的な収束性が高い。
　機械学習用データ作成装置１は、相対的に物理的な収束性が高い第１のエネルギービームＢ１により第２のエネルギービームＢ２を発生させ、当該第２のエネルギービームＢ２を第１のエネルギービームＢ１の分解能程度の空間周波数を少なくとも有する散乱部２０により散乱させ、当該散乱したエネルギービームＢ２を検出する。これによって、エネルギービームＢ２は、第１のエネルギービームＢ１の分解能程度の単位で散乱をうけ、ランダムに無数の方向へ伝搬をすることとなり、第１のエネルギービームＢ１の照射パターンの情報を保持したまま、検出部３０に検出される。
　すなわち、機械学習用データ作成装置１によれば、第２のエネルギービームＢ２の物理的な収束性（例えば、光波の回折限界）以上の空間分解能をもって生じた第２のエネルギービームＢ２に関して、第２のエネルギービームＢ２の発生源の空間的情報を実質的に保持したまま検出部３０により検出できる。
　一方で、その物理的な収束性（例えば、光波の回折限界）を超えて散乱された第２のエネルギービームＢ２は検出部３０において物理的に収束されないため、検出部３０において検出されたパターンから第２のエネルギービームＢ２の発生源の空間的情報を直接理解することは困難である。
　したがって、本実施形態では、第２のエネルギービームＢ２の発生源の空間的情報、具体的には第１のエネルギービームＢ１の照射パターンＰＩｒｒａｄｉａｔｉｏｎと、該照射パターンＰＩｒｒａｄｉａｔｉｏｎに対して検出部３０で検出された検出パターンＰＤｅｔｅｃｔとを紐づけたセットを複数含む機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成し、これに基づいて学習モデル（Ｔｒａｉｎｅｄ　ｍｏｄｅｌ）を生成する。
　上記のとおり、検出部３０により検出される検出パターンＰＤｅｔｅｃｔは、第２のエネルギービームＢ２の発生源の空間的情報を実質的に保持しているため、照射パターンＰＩｒｒａｄｉａｔｉｏｎと検出パターンＰＤｅｔｅｃｔとを含む機械学習用データにより訓練された学習モデルを用いることで、特定の検出パターンＰＤｅｔｅｃｔが検出部３０において検出された場合に、どのようなエネルギービームのパターンが散乱部２０に入射したかという推定パターンＰＰｒｅｄｉｃｔを推定することができる。
　例えば、図１の下段に示すように、散乱部２０上に試料（Ｓａｍｐｌｅ）が配置され、試料からエネルギービームＢ３が発生され、エネルギービームＢ３が散乱部２０により散乱され、検出部３０において当該散乱されたエネルギービームＢ３が検出された場合、上記の学習モデルを用いて、エネルギービームＢ３の物理的な収束性（例えば、光波の回折限界）以上の空間分解能をもって、検出部３０において検出された検出パターンＰＤｅｔｅｃｔに基づいて散乱部２０に入射したエネルギービームのパターンＰＰｒｅｄｉｃｔを推定し、推定パターンＰＰｒｅｄｉｃｔに基づいて試料の空間的配置情報を推定することができる。
（機械学習用データ作成装置）
　次に、機械学習用データ作成装置１の構成について詳述する。
　生成部１０は、第１のエネルギービームＢ１の照射により第２のエネルギービームＢ２を生じる部材である。第１のエネルギービームＢ１及び第２のエネルギービームＢ２は、例えば、それぞれ独立に、電子線、電磁波、及び音波から選択されてよい。電磁波としては、例えば、赤外線、可視光線、紫外線（ＵＶ）、極端紫外線（ＥＵＶ）、Ｘ線、及びγ線が挙げられる。
　第１のエネルギービームＢ１は、電子線又は電磁波であってよく、第２のエネルギービームＢ２は、電磁波であってよい。第１のエネルギービームＢ１は、第２のエネルギービームＢ２よりも物理的な収束性が高いため、第１のエネルギービームＢ１及び第２のエネルギービームＢ２がいずれも電磁波である場合は、第１のエネルギービームＢ１は、第２のエネルギービームＢ２よりも波長が短い電磁波である。「物理的な収束性が高い」とは、エネルギービームが空間的により限定された領域に収束可能であることを意味し、より高い分解能を有することを意味する。
　より具体的な例としては、例えば、第１のエネルギービームＢ１は、電子線、極端紫外線（ＥＵＶ）、Ｘ線、及びγ線から選択され、生成部１０が、第１のエネルギービームＢ１の照射により光を生じる光生成部である。すなわち、この場合、第２のエネルギービームＢ２は光波である。
　そのような生成部１０としては、エネルギービームの照射により、相対的に物理的な収束性が低いエネルギービームを生成する部材であれば特に限定されないが、例えば、蛍光膜、及び量子ドットが挙げられる。生成部１０は、例えば、ＺｎＯ、ＳｒＧａ２Ｓ４：Ｅｕ、Ｓｉ３Ｎ４、及び／又はＳｉＣであってよい。この場合、第１のエネルギービームＢ１として電子線を照射することで、第２のエネルギービームＢ２として蛍光を生じる。
　散乱部２０は、生成部１０において生じた第２のエネルギービームＢ２を散乱させると共に、第１のエネルギービームＢ１の分解能程度の空間周波数を少なくとも有する部材である。
　第１のエネルギービームＢ１の分解能程度の空間周波数を少なくとも有するとは、散乱部２０が有する微細構造の空間周波数に、少なくとも第１のエネルギービームＢ１の分解能程度のサイズに対応する周波数が含まれることを意味する。具体的には、散乱部２０が有する微細構造は、第１のエネルギービームＢ１の波長の３倍の長さの波長に対応する周波数より高い空間周波数を含んでいてよく、第１のエネルギービームＢ１の波長の２倍の長さの波長に対応する周波数より高い空間周波数を含んでいてよく、第１のエネルギービームＢ１の波長に対応する周波数より高い空間周波数を含んでいてよく、第１のエネルギービームＢ１の半波長に対応する周波数より高い空間周波数を含んでいてよく、１Å以上第１のエネルギービームＢ１の波長の３倍の長さ未満の波長に対応する周波数の空間周波数を含んでいてよく、１Å以上第１のエネルギービームＢ１の波長の２倍の長さ未満の波長に対応する周波数の空間周波数を含んでいてよく、１Å以上第１のエネルギービームＢ１の波長未満に対応する周波数の空間周波数を含んでいてよく、１Å以上第１のエネルギービームＢ１の半波長未満に対応する周波数の空間周波数を含んでいてよく、１Å以上第１のエネルギービームＢ１の３分の１波長未満に対応する周波数の空間周波数を含んでいてよく、１Å以上第１のエネルギービームＢ１の４分の１波長未満に対応する周波数の空間周波数を含んでいてよい。
　また、散乱部２０上が屈折率ｎの媒質で満たされている場合、第１のエネルギービームＢ１の波長をλとすると、散乱部２０が有する微細構造は、３λ／ｎに対応する周波数より高い空間周波数を含んでいてよく、２λ／ｎに対応する周波数より高い空間周波数を含んでいてよく、λ／ｎに対応する周波数より高い空間周波数を含んでいてよく、λ／２ｎに対応する周波数より高い空間周波数を含んでいてよく、１Å以上３λ／ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上２λ／ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／２ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／３ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／４ｎ未満に対応する周波数の空間周波数を含んでいてよい。
　散乱部２０は、第１のエネルギービームＢ１の分解能程度の空間周波数を少なくとも含めばよく、その他の空間周波数を含んでいてもよい。また、散乱部２０は、第１のエネルギービームＢ１の分解能程度の空間周波数を１又は複数含んでいてもよい。第１のエネルギービームＢ１の分解能程度の空間周波数を複数含んでいる場合、所望の帯域（サイズ）の情報のみを取り出して観察することができる。
　散乱部２０は、第１のエネルギービームＢ１の分解能以下のサイズの、周期的又はランダムな微細構造を有していてもよい。ここで、エネルギービームの分解能以下のサイズとは、そのエネルギービームの分解能（物理的に収束可能限界のサイズ（例えば、光波の回折限界））の大きさ以下のサイズを意味する。
　散乱部２０は、第１のエネルギービームＢ１の波長の３倍の長さより小さいサイズの、周期的又はランダムな微細構造を有してよく、第１のエネルギービームＢ１の波長の２倍の長さより小さいサイズの、周期的又はランダムな微細構造を有してよく、第１のエネルギービームＢ１の波長より小さいサイズの、周期的又はランダムな微細構造を有してよく、第１のエネルギービームＢ１の半波長より小さいサイズの、周期的又はランダムな微細構造を有してよく、１Å以上第１のエネルギービームＢ１の波長の３倍の長さ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上第１のエネルギービームＢ１の波長の２倍の長さ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上第１のエネルギービームＢ１の波長未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上第１のエネルギービームＢ１の半波長未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上第１のエネルギービームＢ１の３分の１波長未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上第１のエネルギービームＢ１の４分の１波長未満のサイズの、周期的又はランダムな微細構造を有してよい。
　また、散乱部２０上が屈折率ｎの媒質で満たされている場合、第１のエネルギービームＢ１の波長をλとすると、散乱部２０は、３λ／ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、２λ／ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、λ／ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、λ／２ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、１Å以上３λ／ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上２λ／ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／２ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／３ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／４ｎ未満のサイズの、周期的又はランダムな微細構造を有してよい。
　散乱部２０は、金属、誘電体、半導体、及び生体由来材料から選択される少なくとも１種から構成されてよい。具体的には、散乱部２０は、誘電体粒子（例えばポリスチレン粒子）、金属粒子（例えば金粒子、銀粒子）、半導体粒子（例えば酸化チタン粒子、量子ドット）、カーボンナノファイバー、及びカーボンナノチューブ等の自己組織化物質を自己組織化させて得られる構造体であってよく、半導体プロセス等の微細加工技術により金属、誘電体、又は半導体上に形成された微細構造であってよく、微生物が自己増殖することにより形成される自己組織化体（例えば、大腸菌やブドウ球菌の自己組織化体）であってよく、これらの複合体であってよい。
　散乱部２０における微細構造のサイズは、例えば１Å～８００μｍであってよい。散乱部２０が自己組織化物質を自己組織化させて得られる構造体である場合、自己組織化物質の構成要素（例えば各粒子）の大きさ（例えば粒子径）は、例えば１Å～８００μｍであってよい。当該数値範囲は、１Å～６００μｍ、１Å～５００μｍ、１Å～４００μｍ、１Å～３００μｍ、又は１Å～２００μｍであってよい。
　散乱部２０は、例えば微細構造のサイズとして上記した範囲の粒径を有する粒子が自己組織化した構造体であってよく、微細構造のサイズとして上記した範囲の第１の粒径を有する第１の粒子が自己組織化した第１の構造体と、微細構造のサイズとして上記した範囲の第２の粒径を有する第２の粒子が自己組織化した第２の構造体とを積層又は複合化させた構造体であってよい。
　検出部３０は、散乱部２０により散乱された第２のエネルギービームＢ２を検出する素子である。検出部３０は、第２のエネルギービームＢ２の種類に応じて適当な検出器を選択すればよい。例えば、第２のエネルギービームＢ２が光波である場合、検出部３０は、ＣＭＯＳセンサ等の光を検出可能な素子であればよい。
　上記のとおり、機械学習用データ作成装置１では、第１のエネルギービームＢ１の照射パターンＰＩｒｒａｄｉａｔｉｏｎと、照射パターンＰＩｒｒａｄｉａｔｉｏｎに対して検出部３０で検出される検出パターンＰＤｅｔｅｃｔとを紐づけたセットを複数含む機械学習用データが作成されるため、検出部３０は、散乱部２０において散乱された第２のエネルギービームＢ２の空間的情報（第２のエネルギービームＢ２の強度分布等）を取得可能であることが好ましい。さらに、検出部３０は、第１のエネルギービームＢ１の分解能程度で第２のエネルギービームＢ２の空間的情報（第２のエネルギービームＢ２の強度分布等）を取得可能であってよい。
　検出部３０は、第１のエネルギービームＢ１の分解能以下のサイズを識別可能であってよい。例えば、検出部３０は、第１のエネルギービームＢ１の波長の３倍の長さより小さいサイズを識別可能であってよく、第１のエネルギービームＢ１の波長の２倍の長さより小さいサイズを識別可能であってよく、第１のエネルギービームＢ１の波長より小さいサイズを識別可能であってよく、第１のエネルギービームＢ１の半波長より小さいサイズを識別可能であってよく、１Å以上第１のエネルギービームＢ１の波長の２倍又は３倍の長さ未満のサイズを識別可能であってよく、１Å以上第１のエネルギービームＢ１の波長未満のサイズを識別可能であってよく、１Å以上第１のエネルギービームＢ１の半波長未満のサイズを識別可能であってよく、１Å以上第１のエネルギービームＢ１の３分の１波長未満のサイズを識別可能であってよく、１Å以上第１のエネルギービームＢ１の４分の１波長未満のサイズを識別可能であってよい。
　また、散乱部２０上が屈折率ｎの媒質で満たされている場合、第１のエネルギービームＢ１の波長をλとすると、検出部３０は、３λ／ｎより小さいサイズを識別可能であってよく、２λ／ｎより小さいサイズを識別可能であってよく、λ／ｎより小さいサイズを識別可能であってよく、λ／２ｎより小さいサイズを識別可能であってよく、１Å以上３λ／ｎ未満のサイズを識別可能であってよく、１Å以上２λ／ｎ未満のサイズを識別可能であってよく、１Å以上λ／ｎ未満のサイズを識別可能であってよく、１Å以上λ／２ｎ未満のサイズを識別可能であってよく、１Å以上λ／３ｎ未満のサイズを識別可能であってよく、１Å以上λ／４ｎ未満のサイズを識別可能であってよい。
　照射部４０は、第１のエネルギービームＢ１を照射する素子である。照射部４０は、第１のエネルギービームＢ１の種類に応じて適当な素子又は装置を選択すればよい。例えば、第１のエネルギービームＢ１が光波である場合、照射部４０は光照射装置であってよく、第１のエネルギービームＢ１が電子線である場合、照射部４０は電子線描画装置であってよい。
　上記のとおり、機械学習用データ作成装置１では、第１のエネルギービームＢ１の照射パターンＰＩｒｒａｄｉａｔｉｏｎと、照射パターンＰＩｒｒａｄｉａｔｉｏｎに対して検出部３０で検出される検出パターンＰＤｅｔｅｃｔとを紐づけたセットを複数含む機械学習用データが作成されるため、照射部４０は所望のパターンで生成部１０に第１のエネルギービームＢ１を照射可能であることが好ましい。
（機械学習用データ作成方法）
　次に、機械学習用データ作成装置１を用いた機械学習用データの作成方法について説明する。まず、機械学習用データ作成装置１では、照射部４０により任意のパターン（照射パターンＰＩｒｒａｄｉａｔｉｏｎ）で生成部１０に第１のエネルギービームＢ１を照射する。次いで、これに対応して検出部３０が第２のエネルギービームＢ２のパターンＰＤｅｔｅｃｔを検出する。機械学習用データ作成装置１は、この照射パターンＰＩｒｒａｄｉａｔｉｏｎと、検出パターンＰＤｅｔｅｃｔとを紐づけて記憶する。
　機械学習用データ作成装置１は、照射パターンＰＩｒｒａｄｉａｔｉｏｎを変更しながら生成部１０に第１のエネルギービームＢ１を繰り返し照射し、照射パターンＰＩｒｒａｄｉａｔｉｏｎと当該照射パターンＰＩｒｒａｄｉａｔｉｏｎに対応する検出パターンＰＤｅｔｅｃｔとを紐づけたセットを複数取得することで、機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成する。
　照射パターンＰＩｒｒａｄｉａｔｉｏｎとしては、第１のエネルギービームＢ１を照射するための設計パターン、及び設計パターンに対して第１のエネルギービームＢ１の照射位置に関する不確かさを反映させた校正パターンから選択される少なくとも１種を用いてよい。
　図２は、照射パターンＰＩｒｒａｄｉａｔｉｏｎとして、第１のエネルギービームＢ１を照射するための設計パターンＰＤｅｓｉｇｎを用いる場合の態様を示す概念図である。図２では、照射部４０に入力される設計パターンＰＤｅｓｉｇｎとこれに対応した検出パターンＰＤｅｔｅｃｔとを紐づけたセットを用いて機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成するため、機械学習用データを簡便に作成することができる。
　設計パターンＰＤｅｓｉｇｎは、照射部４０に備えられた又は接続された情報処理装置により作成されてよい。設計パターンＰＤｅｓｉｇｎは、情報処理装置によりランダムに生成されたパターンであってよく、情報処理装置により所定のアルゴリズムにより生成されたパターンであってよく、ユーザ等が情報処理装置を用いて入力したパターンであってよい。照射部４０は、設計パターンＰＤｅｓｉｇｎに基づき第１のエネルギービームＢ１を生成部１０に照射する。
　図３は、照射パターンＰＩｒｒａｄｉａｔｉｏｎとして、設計パターンＰＤｅｓｉｇｎに対してエネルギービームの照射位置に関する不確かさを反映させた校正パターンＰＣａｌｉｂｒａｔｉｏｎを用いる場合の態様を示す概念図である。図３では、照射部４０に入力される設計パターンＰＤｅｓｉｇｎに対してエネルギービームの照射位置に関する不確かさを反映させた校正パターンＰＣａｌｉｂｒａｔｉｏｎとこれに対応した検出パターンＰＤｅｔｅｃｔとを紐づけたセットを用いて機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成するため、生成部１０で生じる第２のエネルギービームＢ２の空間的情報をより正確に反映でき、より精度の高い学習モデルを生成するための機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成できる傾向にある。
（学習モデルの生成方法）
　次に、このようにして得られた機械学習用データを用いて、機会学習を実施することで学習モデル（Ｔｒａｉｎｄ　ｍｏｄｅｌ）（「学習済みモデル」、「訓練済みモデル」ともいう。）を生成する。機械学習方法は特には限定されないが、例えば、ＧＡＮ、ｃＧＡＮ、Ｕ－ＮＥＴ、ＲＣＡＮ、ＣＮＮ等を用いても良い。また、学習前、学習中、学習後に、ノイズ除去法が適用されてもよい。
　機械学習は、例えば、ｐｉｘ２ｐｉｘ　ｃＧＡＮ、及びＵ－ＮＥＴを用いてよく、例えば、P. Isola, J. Y. Zhu, T. Zhou, and A. A. Efros, “Image-to-image translation with conditional adversarial networks,” Proc. - 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR 2017, vol. 2017-Janua, pp. 5967-5976, 2017に記載の方法を用いてもよい。
　なお、学習モデルは、出力として必ずしも直接推定パターンＰＰｒｅｄｉｃｔを提示する必要はなく、最終的にユーザが所望する情報（例えば、試料の性状、空間的情報、物性、分類、物質名、生物名、疾患名等）を提示したり、ユーザが所望する動作を行ったりしてもよい。
（観察方法・観察装置）
　次いで、生成した学習モデルを試料の観察に用いる方法について説明する。
　上記のとおり、上記で生成した学習モデルは、特定の検出パターンＰＤｅｔｅｃｔが検出部３０において検出された場合に、どのようなエネルギービームのパターンが散乱部２０に入射したかという推定パターンＰＰｒｅｄｉｃｔを推定することができる。
　したがって、例えば、散乱部２０上に試料（Ｓａｍｐｌｅ）を配置し、試料に適当なエネルギービームを照射することで、蛍光を生じさせたり、エネルギービームの散乱を生じさせたりして、エネルギービームＢ３を発生させ、検出部３０において散乱部２０により散乱されたエネルギービームＢ３の検出パターンＰＤｅｔｅｃｔを取得し、学習モデルに検出パターンＰＤｅｔｅｃｔを入力することで、それに対応する推定パターンＰＰｒｅｄｉｃｔを得ることができる。
　この推定パターンＰＰｒｅｄｉｃｔは、散乱部２０上に配置された試料（Ｓａｍｐｌｅ）の空間的情報を含むものであり、推定パターンＰＰｒｅｄｉｃｔに基づいて試料（Ｓａｍｐｌｅ）の空間的情報等（例えば、試料の位置、大きさ、構造、性状、物性、分類、物質名、生物名）を得ることができる。
　したがって、本実施形態の一側面は、入射したエネルギービームＢ３を散乱させ、エネルギービームＢ３の波長に対応する周波数より高い空間周波数を少なくとも有する散乱部２０と、散乱部２０により散乱されたエネルギービームＢ３を検出する検出部３０と、検出部３０において検出された検出パターンＰＤｅｔｅｃｔから、散乱部２０上に配置された試料（Ｓａｍｐｌｅ）の情報を推定する情報処理部と、を備える観察装置を提供する。
　ここで、エネルギービームＢ３は、試料に適当なエネルギービームを照射することで生じる蛍光、又は散乱されたエネルギービームであってよい。
　また、散乱部２０は、エネルギービームＢ３の分解能以下のサイズの、周期的又はランダムな微細構造を有していてもよい。例えば、散乱部２０は、エネルギービームＢ３の３倍の波長より小さいサイズの、周期的又はランダムな微細構造を有してよく、エネルギービームＢ３の２倍の波長より小さいサイズの、周期的又はランダムな微細構造を有してよく、エネルギービームＢ３の波長より小さいサイズの、周期的又はランダムな微細構造を有してよく、エネルギービームＢ３の半波長より小さいサイズの、周期的又はランダムな微細構造を有してよく、１Å以上エネルギービームＢ３の波長未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上エネルギービームＢ３の半波長未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上エネルギービームＢ３の３分の１波長未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上エネルギービームＢ３の４分の１波長未満のサイズの、周期的又はランダムな微細構造を有してよい。
　また、散乱部２０上の、例えば試料（Ｓａｍｐｌｅ）の周囲が屈折率ｎの媒質で満たされている場合、エネルギービームＢ３の波長をλとすると、散乱部２０は、３λ／ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、２λ／ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、λ／ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、λ／２ｎより小さいサイズの、周期的又はランダムな微細構造を有してよく、１Å以上３λ／ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上２λ／ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／２ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／３ｎ未満のサイズの、周期的又はランダムな微細構造を有してよく、１Å以上λ／４ｎ未満のサイズの、周期的又はランダムな微細構造を有してよい。
　散乱部２０が有する微細構造は、エネルギービームＢ３の分解能程度の空間周波数を少なくとも有してよい。具体的には、散乱部２０が有する微細構造は、エネルギービームＢ３の波長の３倍の長さの波長に対応する周波数より高い空間周波数を含んでいてよく、エネルギービームＢ３の波長の２倍の長さの波長に対応する周波数より高い空間周波数を含んでいてよく、エネルギービームＢ３の波長に対応する周波数より高い空間周波数を含んでいてよく、エネルギービームＢ３の半波長に対応する周波数より高い空間周波数を含んでいてよく、１Å以上エネルギービームＢ３の波長の２倍又は３倍の長さ未満の波長に対応する周波数の空間周波数を含んでいてよく、１Å以上エネルギービームＢ３の波長未満に対応する周波数の空間周波数を含んでいてよく、１Å以上エネルギービームＢ３の半波長未満に対応する周波数の空間周波数を含んでいてよく、１Å以上エネルギービームＢ３の３分の１波長未満に対応する周波数の空間周波数を含んでいてよく、１Å以上エネルギービームＢ３の４分の１波長未満に対応する周波数の空間周波数を含んでいてよい。
　また、散乱部２０上の、例えば試料（Ｓａｍｐｌｅ）の周囲が屈折率ｎの媒質で満たされている場合、エネルギービームＢ３の波長をλとすると、散乱部２０は、３λ／ｎに対応する周波数より高い空間周波数を含んでいてよく、２λ／ｎに対応する周波数より高い空間周波数を含んでいてよく、λ／ｎに対応する周波数より高い空間周波数を含んでいてよく、λ／２ｎに対応する周波数より高い空間周波数を含んでいてよく、１Å以上３λ／ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上２λ／ｎｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／２ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／３ｎ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上λ／４ｎ未満に対応する周波数の空間周波数を含んでいてよい。
　散乱部２０は、エネルギービームＢ３の分解能程度の空間周波数を少なくとも含めばよく、その他の空間周波数を含んでいてもよい。散乱部２０は、エネルギービームＢ３の分解能以上の空間周波数を１又は複数含んでいてもよく、エネルギービームＢ３の分解能以下の空間周波数を１又は複数含んでいてもよく、上記した範囲内の空間周波数を１又は複数含んでいてもよく、上記した範囲外の空間周波数を１又は複数含んでいてもよい。ここで、エネルギービームの分解能以上の空間周波数とは、当該分解能を上回る空間周波数であり、当該分解能に対応する空間周波数以上の高い空間周波数を意味する。また、エネルギービームの分解能以下の空間周波数とは、当該分解能を下回る空間周波数であり、当該分解能に対応する空間周波数以下の低い空間周波数を意味する。散乱部２０が複数の空間周波数含んでいる場合、複数の空間周波数のそれぞれにより学習させた学習モデルを用いることで、試料の観察を一度行い、検出部３０で複数の空間周波数に対応する情報を取得した後に、所望のタイミングで、所望の帯域（サイズ又は分解能）の情報のみを取り出して観察することができる。
　検出部３０は、エネルギービームＢ３の分解能未満のサイズを識別可能であってよい。例えば、検出部３０は、エネルギービームＢ３の波長の３倍の長さより小さいサイズを識別可能であってよく、エネルギービームＢ３の波長の２倍の長さより小さいサイズを識別可能であってよく、エネルギービームＢ３の波長より小さいサイズを識別可能であってよく、エネルギービームＢ３の半波長より小さいサイズを識別可能であってよく、１Å以上エネルギービームＢ３の波長の２倍又は３倍の長さ未満のサイズを識別可能であってよく、１Å以上エネルギービームＢ３の波長未満のサイズを識別可能であってよく、１Å以上エネルギービームＢ３の半波長未満のサイズを識別可能であってよく、１Å以上エネルギービームＢ３の３分の１波長未満のサイズを識別可能であってよく、１Å以上エネルギービームＢ３の４分の１波長未満のサイズを識別可能であってよい。
　また、散乱部２０上の、例えば試料（Ｓａｍｐｌｅ）の周囲が屈折率ｎの媒質で満たされている場合、エネルギービームＢ３の波長をλとすると、検出部３０は、３λ／ｎより小さいサイズを識別可能であってよく、２λ／ｎより小さいサイズを識別可能であってよく、λ／ｎより小さいサイズを識別可能であってよく、λ／２ｎより小さいサイズを識別可能であってよく、１Å以上３λ／ｎ未満のサイズを識別可能であってよく、１Å以上２λ／ｎ未満のサイズを識別可能であってよく、１Å以上λ／ｎ未満のサイズを識別可能であってよく、１Å以上λ／２ｎ未満のサイズを識別可能であってよく、１Å以上λ／３ｎ未満のサイズを識別可能であってよく、１Å以上λ／４ｎ未満のサイズを識別可能であってよい。
　情報処理部は、検出部３０において検出された検出パターンＰＤｅｔｅｃｔから、散乱部２０上に配置された試料（Ｓａｍｐｌｅ）の情報を推定することができれば、特に限定されない。推定される試料（Ｓａｍｐｌｅ）の情報としては、例えば、試料の位置、大きさ、構造等の空間的情報や、性状、物性、分類、物質名、生物名等のその他の情報が挙げられる。
　情報処理部は、好ましくは上記で生成される学習モデルを用いて試料（Ｓａｍｐｌｅ）の情報を推定し、より好ましくは学習モデルを用いて試料（Ｓａｍｐｌｅ）の空間的情報を推定する。学習モデルは、検出パターンＰＤｅｔｅｃｔから散乱部２０に入射したエネルギービームＢ３の入射パターンを推定してよい。情報処理部は、当該推定したエネルギービームＢ３の入射パターンに基づいて、さらに試料（Ｓａｍｐｌｅ）の情報を推定することができる。
　情報処理部が学習モデルを用いて推定を行う場合、散乱部２０は、機械学習用データ（Ｄａｔａ　ｓｅｔ）の作成の際に機械学習用データ作成装置１の生成部１０に照射されたエネルギービームＢ１の分解能程度の空間周波数を少なくとも有することが好ましく、機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成する際に用いた機械学習用データ作成装置１における散乱部２０と同一であることがより好ましい。
　また、情報処理部が学習モデルを用いて推定を行う場合、エネルギービームＢ３は、機械学習用データ（Ｄａｔａ　ｓｅｔ）の作成の際に機械学習用データ作成装置１の生成部１０は生成した第２のエネルギービームＢ２と同種のエネルギービームであることが好ましく、同種かつ波長が同一のエネルギービームであることがより好ましい。なお、機械学習用データ（Ｄａｔａ　ｓｅｔ）の作成の際に機械学習用データ作成装置１の生成部１０を変更することで、種々の第２のエネルギービームＢ２を用いた機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成する場合、エネルギービームＢ３と、機械学習用データ（Ｄａｔａ　ｓｅｔ）の作成の際に機械学習用データ作成装置１の生成部１０は生成した第２のエネルギービームＢ２とは、同種でなくてもよく、波長が異なっていてもよい。
　情報処理部は、無線又は有線により他の機器等に接続されていてよい。観察装置は、情報処理部による推定の結果を、観察装置に備えられたディスプレイ等の表示部に表示させてよく、他の機器等に無線又は有線で送信してもよい。
　図１において、本実施形態の観察装置は生成部１０を備えていないが、観察装置は生成部１０を備えていてもよい。この場合、観察装置において、試料（Ｓａｍｐｌｅ）は生成部１０を介して散乱部２０上に配置されることとなり、試料からのエネルギービームＢ３は生成部１０を介して散乱部２０に入射する。したがって、この場合、生成部１０は、エネルギービームＢ３を透過する、すなわち、エネルギービームＢ３に対して透明であることが好ましい。
（他の構成）
　機械学習用データ作成装置１及び観察装置は、各部材又は素子を１又は複数備えていてよい。例えば、機械学習用データ作成装置１は、１又は複数の生成部１０、１又複数の散乱部２０、１又は複数の検出部３０、及び１又は複数の照射部４０を備えていてよい。観察装置は、１又は複数の散乱部２０、１又は複数の検出部３０、及び１又は複数の情報処理部を備えていてよい。情報処理部は、１又は複数の学習モデルを備えていてよい。ここで、これらの各部材又は素子が複数備えられる場合、複数の部材又は素子は、同一であってよく、異なっていてもよい。例えば、複数の照射部４０は、同一の第１のエネルギービームを照射する、同種の照射部（例えば光照射部）であってよく、波長及びエネルギー強度等の物理量のうち少なくとも１つが互いに異なる第１のエネルギービームを照射する、照射部（例えば光照射部）であってよい。
　機械学習用データ作成装置１及び／又は観察装置は、上記した部材又は素子以外の部材又は素子を備えていてよい。また、照射部４０と生成部１０との間、生成部１０と散乱部２０との間、及び散乱部２０と検出部３０との間には、空間があってもなくてもよく、空間がある場合、さらに別の部材又は素子が配置されていてよい。なお、２つの部材又は素子間に空間がないとは、２つの部材又は素子が直接接触していることを意味する。
　例えば、機械学習用データ作成装置１及び／又は観察装置は、１又は複数の導体、１又は複数の半導体及び／又は１又は複数の誘電体が、上記した部材又は素子に対して、蒸着されてよく、積層されてよく、近傍に配置されてよく、又は空間をあけて配置されていてよい（以下、蒸着、積層、配置を称して「配置等」という。）。例えば、金のような金属薄膜が、生成部１０の片面又は両面に蒸着されていてよい。蒸着場所は特に限定されないが、例えば機械学習用データ作成装置１を例にすると、生成部１０表面の、第１のエネルギービームＢ１が照射される面に蒸着されていてよい。このような金属薄膜が形成されることにより、第１のエネルギービームＢ１として電子線を用いる場合、生成部１０のチャージアップが抑制され、高精度に第１のエネルギービームＢ１を生成部１０に照射できる傾向にある。また、生成部１０及び／又は散乱部２０は、ＳｉＣやＳｉＮ等の基板に配置等されていてよい。
　また、機械学習用データ作成装置１及び／又は観察装置は、エネルギービーム（機械学習用データ作成装置１においては、第１及び第２のエネルギービームであり、観察装置においては、エネルギービームＢ３である。この段落において同様である。）を伝搬させる素子；エネルギービームの空間的分布を変化させる素子；及びエネルギービームの有する性質を変化させる素子から選択される少なくとも１種をさらに備えていてよい。具体的には、エネルギービームが光波である場合は、レンズ、ミラー、フィルタ、ビームスプリッタ、プリズム、デイフューザー、ウィンドウ、変位用光学素子、レチクル、回折格子、偏光子、波長板、デポラライザ、及びファラデーローテータ等の光学素子、並びにこれらの素子を複数組み合わせた素子（例えば、ビームエキスパンダ、コリメーター、光アイソレータ、顕微鏡等の光学システム）から選択される少なくとも１種であってよい。
　機械学習用データ作成装置１及び／又は観察装置は、例えば、散乱部２０と検出部３０との間に配置された、エネルギービーム（機械学習用データ作成装置１においては、第２のエネルギービームであり、観察装置においては、エネルギービームＢ３である。この段落において同様である。）を伝搬させる素子；エネルギービームの空間的分布を変化させる素子；及びエネルギービームの有する性質を変化させる素子から選択される少なくとも１種をさらに備えていてよい。
　これらの素子は、例えば、導体、誘電体、半導体等の材料から構成されていてよく、これらの材料を複数組み合わせた素子であってよい。所望帯域を伝搬させる透明光学基板を材料として用いてもよい。
　このように、本実施形態の一態様によれば、例えば、散乱部２０に設置した試料を励起させ、散乱部２０を通って散乱された試料からの蛍光を検出部３０で検出し、検出した光分布を、当該散乱部２０を用いて学習した学習済みモデルに入力することで、試料を超解像で観察することが出来る。
　一般に、光を用いて回折限界以下の光分布を作ることは困難であり、仮に近接場光学顕微鏡等で設計した超高精細光分布をプローブ界面（観察面）に生成できたとしても任意な分布をつくるのは極めて困難である。また、仮に近接場光学顕微鏡等で任意な超高精細光分布を生成できたとしても、大量かつ高速に生成することはやはり極めて困難である。したがって、本実施形態の一態様によれば、そのような困難に関わらず、試料を超解像で観察することが出来る。
［第２実施形態］
　図４は、本実施形態に係る機械学習用データ作成装置２の構成；それを用いて機械学習用データ及び学習モデルを作成する方法；並びに作成した学習モデルを用いて試料を観察する方法の概要を示す図である。図４に示す第２実施形態は、第１実施形態と比べて、機械学習用データ作成装置が、生成部１０及び照射部４０に代えて、エネルギービームを生じる物体５０及び観察部６０を備える点で異なる。
　図４に示す第２実施形態において、機械学習用データを用いた学習モデルの生成、及び学習モデルを用いた試料（Ｓａｍｐｌｅ）の観察は、第１実施形態において説明した方法と同様であってよい。以下、機械学習用データ作成装置２について説明する。
　機械学習用データ作成装置２は、入射したエネルギービームＢ２を散乱させる散乱部２０と、散乱部２０により散乱されたエネルギービームＢ２を検出する検出部３０と、散乱部２０上に存在してエネルギービームＢ２を生じる物体５０の位置を特定可能な観察部６０と、を備える。ここで、散乱部２０は、観察部６０の分解能程度の空間周波数を少なくとも有する。
　機械学習用データ作成装置２は、散乱部２０上に配置された物体５０によりエネルギービームＢ２を発生させ、当該エネルギービームＢ２を観察部６０の分解能程度の空間周波数を少なくとも有する散乱部２０により散乱させ、当該散乱したエネルギービームＢ２を検出する。これによって、エネルギービームＢ２は、観察部６０の分解能程度の単位で散乱をうけ、ランダムに無数の方向へ伝搬をすることとなり、物体５０の空間的配置情報を保持したまま、検出部３０に検出される。
　すなわち、機械学習用データ作成装置２によれば、エネルギービームＢ２の物理的な収束性（例えば、光波の回折限界）以上の空間分解能をもって生じたエネルギービームＢ２に関して、エネルギービームＢ２の発生源の空間的情報を実質的に保持したまま検出部３０により検出できる。
　本実施形態でも、第１実施形態と同様に、エネルギービームＢ２の発生源の空間的情報、具体的には物体５０の空間的配置情報と、当該物体５０により発生したエネルギービームＢ２に由来する検出部３０で検出される検出パターンＰＤｅｔｅｃｔとを紐づけたセットを複数含む機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成し、これに基づいて学習モデル（Ｔｒａｉｎｅｄ　ｍｏｄｅｌ）を生成する。
　なお、本実施形態では、物体５０の空間的配置情報を、観察部６０により取得する。観察部６０がエネルギービームＢ２よりも高い分解能で物体５０の位置を特定し、物体５０の観察パターンＰＯｂｓｅｒｖａｔｉｏｎを取得することで、エネルギービームＢ２の物理的な収束性（例えば、光波の回折限界）以上の空間分解能をもって観察パターンＰＯｂｓｅｒｖａｔｉｏｎを取得することができる。
　機械学習用データ作成装置２において、散乱部２０は、入射したエネルギービームＢ２を散乱させると共に、観察部６０の分解能程度の空間周波数を少なくとも有する部材である。
　散乱部２０が有する微細構造は、観察部６０の分解能の３倍のサイズに対応する周波数より高い空間周波数を含んでいてよく、観察部６０の分解能の２倍のサイズに対応する周波数より高い空間周波数を含んでいてよく、観察部６０の分解能のサイズに対応する周波数より高い空間周波数を含んでいてよく、観察部６０の分解能の半分のサイズに対応する周波数より高い空間周波数を含んでいてよく、１Å以上観察部６０の分解能の３倍のサイズ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上観察部６０の分解能の２倍のサイズ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上観察部６０の分解能のサイズ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上観察部６０の分解能の半分のサイズ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上観察部６０の分解能の３分の１のサイズ未満に対応する周波数の空間周波数を含んでいてよく、１Å以上観察部６０の分解能の４分の１のサイズ未満に対応する周波数の空間周波数を含んでいてよい。
　散乱部２０は、観察部６０の分解能以下のサイズの、周期的又はランダムな微細構造を有していてもよい。例えば、散乱部２０は、観察部６０の分解能の３倍のサイズより小さい、周期的又はランダムな微細構造を有してよく、観察部６０の分解能の２倍のサイズより小さい、周期的又はランダムな微細構造を有してよく、観察部６０の分解能のサイズより小さい、周期的又はランダムな微細構造を有してよく、１Å以上観察部６０の分解能のサイズ未満の、周期的又はランダムな微細構造を有してよく、１Å以上観察部６０の分解能の半分のサイズ未満の、周期的又はランダムな微細構造を有してよく、１Å以上観察部６０の分解能の３分の１のサイズ未満の、周期的又はランダムな微細構造を有してよく、１Å以上観察部６０の分解能の４分の１のサイズ未満の、周期的又はランダムな微細構造を有してよい。散乱部２０は、第１実施形態の機械学習用データ作成装置１の散乱部２０と同様の構成を有していてよい。観察部６０がエネルギービームを用いて物体５０の観察を行う場合、観察部６０の分解能は、当該エネルギービームの半波長であってよい。また、散乱部２０上の、例えば物体５０の周囲が屈折率ｎの媒質で満たされている場合、観察部６０の分解能は、当該エネルギービームの波長をλとすると、λ／２ｎであってよい。
　物体５０は、エネルギービームＢ２を発生可能なものであれば特に限定されず、励起光の照射により蛍光を生じる蛍光ビーズや、光を照射することにより散乱光としてエネルギービームＢ２を発生させる微小粒子であってよい。物体５０は、散乱部２０上に任意のパターンを形成するように配置される。物体５０は、例えば微細構造を有する構造体であってよく、ランダム又は規則的に配置された微粒子であってよい。物体５０は、観察装置が観察しようとする試料（Ｓａｍｐｌｅ）と同程度のサイズを有してよく、具体的には、観察しようとする試料（Ｓａｍｐｌｅ）の１／３倍～３倍程度、又は１／２倍～２倍程度のサイズを有していてよい。
　観察部６０は、エネルギービームＢ２よりも高い分解能で物体５０の位置を特定する素子である。観察部６０は、例えば、電子線顕微鏡や原子間力顕微鏡のような、光の回折限界よりも高い分解能で物体５０の位置を特定可能な装置であってよい。観察部６０は散乱部２０上の物体５０の空間的配置情報を取得し、観察パターンＰＯｂｓｅｒｖａｔｉｏｎとする。
　機械学習用データ作成装置２において生じるエネルギービームＢ２は、機械学習用データ作成装置１において生じるエネルギービームＢ２と同様であってよく、検出部３０も機械学習用データ作成装置１と同様であってよい。
［第３実施形態］
　図５は、本実施形態に係る機械学習用データ作成装置１の構成；それを用いて機械学習用データ及び学習モデルを作成する方法；並びに作成した学習モデルを用いてエネルギービームの照射パターンを推定する方法の概要を示す図である。図５に示す第３実施形態は、第１実施形態と比べて、学習モデルを用いて試料を観察するのではなく、学習モデルを用いて生成部１０に照射されたエネルギービームの照射パターンを推定する点で異なる。
　図５に示す第３実施形態において、機械学習用データ作成装置１及びこれを用いた機械学習用データの作成は、第１実施形態において説明した方法と同様であってよい。以下、エネルギービームの照射パターンの推定方法について説明する。
　図５に示す第３実施形態では、作成した機械学習用データを用いて、機会学習を実施することで学習モデル（Ｔｒａｉｎｄ　ｍｏｄｅｌ）を生成する。学習モデルは、検出部３０において検出された検出パターンＰＤｅｔｅｃｔから、生成部１０に照射された第１のエネルギービームＢ１の照射パターンＰＰｒｅｄｉｃｔを推定する。
　本実施形態では、エネルギービームの照射パターンの推定装置は、第１のエネルギービームＢ１の照射により第２のエネルギービームＢ２を生じる生成部１０と、生成部１０において生じた第２のエネルギービームＢ２を散乱させる、第１のエネルギービームＢ１の分解能程度の空間周波数を少なくとも有する散乱部２０と、散乱部２０により散乱された第２のエネルギービームＢ２を検出する検出部３０と、検出部３０において検出された検出パターンＰＤｅｔｅｃｔから、生成部１０に照射された第１のエネルギービームＢ１の照射パターンＰＰｒｅｄｉｃｔを推定する情報処理部と、を備える。
　エネルギービームの照射パターンの推定装置において、第１のエネルギービームＢ１は、第２のエネルギービームＢ２よりも物理的な収束性が高い。第１のエネルギービームＢ１及び第２のエネルギービームＢ２は、第１実施形態において説明した第１のエネルギービームＢ１及び第２のエネルギービームＢ２と同様であってよい。第１のエネルギービームＢ１及び第２のエネルギービームＢ２は、本実施形態で機械学習用データ作成装置１が機械学習用データの作成に用いた第１のエネルギービームＢ１及び第２のエネルギービームＢ２とそれぞれ同じ（同種又は同波長）であってよいし、異なって（異種又は異波長）いてもよい。
　エネルギービームの照射パターンの推定装置において、生成部１０、散乱部２０、及び検出部３０は、第１実施形態において説明した生成部１０、散乱部２０、及び検出部３０と同様であってよい。生成部１０、散乱部２０、及び検出部３０は、本実施形態で機械学習用データ作成装置１が機械学習用データの作成に用いた生成部１０、散乱部２０、及び検出部３０とそれぞれ同じであってよいし、異なっていてもよい。
　エネルギービームの照射パターンの推定装置では、エネルギービームの設計パターンと、実際に照射される照射パターンとの対応関係が明らかでない未校正の照射部４０’から生成部１０に対して第１のエネルギービームＢ１が照射される。照射部４０’は、第１のエネルギービームＢ１の種類に応じて適当な素子又は装置が選択される。例えば、第１のエネルギービームＢ１が光波である場合、照射部４０’は光照射装置であってよく、第１のエネルギービームＢ１が電子線である場合、照射部４０’は電子線描画装置であってよい。
　情報処理部は、検出部３０において検出された検出パターンＰＤｅｔｅｃｔから、照射部４０’が生成部１０に実際に照射した照射パターンを推定することができれば、特に限定されない。
　情報処理部は、好ましくは上記で生成される学習モデルを用いて照射パターンを推定する。学習モデルは、検出パターンＰＤｅｔｅｃｔから照射部４０’が生成部１０に実際に照射した照射パターンを推定してよい。
　情報処理部が学習モデルを用いて推定を行う場合、散乱部２０は、機械学習用データ（Ｄａｔａ　ｓｅｔ）の作成の際に機械学習用データ作成装置１の生成部１０に照射されたエネルギービームＢ１の分解能程度の空間周波数を少なくとも有することが好ましい。また、生成部１０及び散乱部２０は、機械学習用データ（Ｄａｔａ　ｓｅｔ）を作成する際に用いた機械学習用データ作成装置１における生成部１０及び散乱部２０と同一であることがより好ましい。
　１，２…機械学習用データ作成装置、１０…生成部、２０…散乱部、３０…検出部、４０，４０’…照射部、５０…物体、６０…観察部、Ｂ１，Ｂ２，Ｂ３…エネルギービーム。

Claims (15)

  1. 　第１のエネルギービームの照射により第２のエネルギービームを生じる生成部と、
    　前記生成部において生じた前記第２のエネルギービームを散乱させる、前記第１のエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部と、
    　前記散乱部により散乱された前記第２のエネルギービームを検出する検出部と、
    　を備え、
    　前記第１のエネルギービームは、前記第２のエネルギービームよりも物理的な収束性が高い、
    　機械学習用データ作成装置。
  2. 　前記生成部が、前記第１のエネルギービームの照射により光を生じる光生成部であり、
    　前記散乱部が、前記光生成部において生じた光を散乱させる、前記第１のエネルギービームの分解能程度の空間周波数を少なくとも有する光散乱部であり、
    　前記検出部が、前記光散乱部により散乱された光を検出する光検出部である、
    　請求項１に記載の機械学習用データ作成装置。
  3. 　前記散乱部が、前記第１のエネルギービームの分解能程度のサイズの、周期的又はランダムな微細構造を有する、
    　請求項１に記載の機械学習用データ作成装置。
  4. 　前記散乱部と前記検出部との間に配置された、
    　前記第２のエネルギービームを伝搬させる素子；前記第２のエネルギービームの空間的分布を変化させる素子；及び前記第２のエネルギービームの有する性質を変化させる素子から選択される少なくとも１種をさらに備える、
    　請求項１に記載の機械学習用データ作成装置。
  5. 　前記第１のエネルギービームを照射する照射部をさらに備える、
    　請求項１に記載の機械学習用データ作成装置。
  6. 　入射したエネルギービームを散乱させる散乱部と、
    　前記散乱部により散乱された前記エネルギービームを検出する検出部と、
    　前記散乱部上に存在する前記エネルギービームを生じる物体の空間的情報を取得可能な観察部と、
    　を備え、
    　前記散乱部は、前記観察部の分解能程度の空間周波数を少なくとも有する、
    　機械学習用データ作成装置。
  7. 　請求項１に記載の機械学習用データ作成装置の前記生成部にエネルギービームを照射すること、又は請求項６に記載の機械学習用データ作成装置の前記散乱部上に存在する前記物体の空間的情報を前記観察部により取得することと、
    　前記エネルギービームの照射により請求項１に記載の前記機械学習用データ作成装置の前記検出部において検出される検出パターンを取得すること、又は請求項６に記載の前記機械学習用データ作成装置の前記散乱部上に存在する前記物体からエネルギービームを生じさせて、請求項６に記載の前記機械学習用データ作成装置の前記検出部において検出パターンを取得することと、
    　請求項１に記載の前記機械学習用データ作成装置の前記生成部に照射されたエネルギービームの照射パターンと請求項１に記載の前記機械学習用データ作成装置の前記検出部において検出された前記検出パターンとを紐づけて記録すること、又は請求項６に記載の前記機械学習用データ作成装置の前記観察部により取得された前記物体の空間的情報と請求項６に記載の前記機械学習用データ作成装置の前記検出部において検出された前記検出パターンとを紐づけて記録することと、
    　を含む、機械学習用データの作成方法。
  8. 　請求項１に記載の前記機械学習用データ作成装置の前記生成部に照射されたエネルギービームの前記照射パターンが、前記エネルギービームを照射するための設計パターン、及び前記設計パターンに対して前記エネルギービームの照射位置に関する不確かさを反映させた校正パターンから選択される少なくとも１種である、
    　請求項７に記載の機械学習用データの作成方法。
  9. 　請求項７に記載の方法により作成された機械学習用データを用いて学習された学習モデルであって、
    　入射したエネルギービームを散乱させ、かつ、請求項７に記載の前記方法において前記生成部に照射されたエネルギービームの分解能程度の空間周波数、又は請求項７に記載の前記方法において用いた前記観察部の分解能程度の空間周波数を少なくとも有する、散乱部と、
    　前記散乱部により散乱されたエネルギービームを検出する検出部と、
    　を備える観察装置において、前記観察装置の前記検出部において検出された検出パターンから、前記観察装置の前記散乱部に入射したエネルギービームの入射パターンを推定する、
    　学習モデル。
  10. 　前記散乱部が、前記機械学習用データを作成する際に用いた前記機械学習用データ作成装置における散乱部と同一である、
    　請求項９に記載の学習モデル。
  11. 　請求項７に記載の方法により作成された機械学習用データを用いて学習された学習モデルであって、
    　前記学習モデルは、
    　第１のエネルギービームの照射により第２のエネルギービームを生じる生成部と、
    　前記生成部において生じた第２のエネルギービームを散乱させる、前記第１のエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部と、
    　前記散乱部により散乱された前記第２のエネルギービームを検出する検出部と、
    　を備えるエネルギービームの照射パターンの推定装置において、前記推定装置の前記検出部において検出された検出パターンから、前記推定装置の前記生成部に照射された第１のエネルギービームの照射パターンを推定し、
    　前記第１のエネルギービームが、前記第２のエネルギービームよりも物理的な収束性が高い、
    　学習モデル。
  12. 　入射したエネルギービームを散乱させる、前記エネルギービームの波長に対応する周波数より高い空間周波数を少なくとも有する散乱部と、
    　前記散乱部により散乱されたエネルギービームを検出する検出部と、
    　前記検出部において検出された検出パターンから、前記散乱部上に配置された試料の情報を推定する情報処理部と、
    　を備える、観察装置。
  13. 　前記情報処理部が、請求項９に記載の学習モデルにより推定を行う、
    　請求項１２に記載の観察装置。
  14. 　第１のエネルギービームの照射により第２のエネルギービームを生じる生成部と、
    　前記生成部において生じた第２のエネルギービームを散乱させる、前記第１のエネルギービームの分解能程度の空間周波数を少なくとも有する散乱部と、
    　前記散乱部により散乱された第２のエネルギービームを検出する検出部と、
    　前記検出部において検出された検出パターンから、前記生成部に照射された第１のエネルギービームの照射パターンを推定する情報処理部と、
    　を備え、
    　前記第１のエネルギービームが、前記第２のエネルギービームよりも物理的な収束性が高い、
    　エネルギービームの照射パターンの推定装置。
  15. 　前記情報処理部が、請求項１１に記載の学習モデルにより推定を行う、
    　請求項１４に記載の推定装置。
PCT/JP2024/014094 2023-04-05 2024-04-05 機械学習用データ作成装置、機械学習用データの作成方法、学習モデル、観察装置、及びエネルギービームの照射パターンの推定装置 WO2024210202A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202363494257P 2023-04-05 2023-04-05
US63/494,257 2023-04-05

Publications (1)

Publication Number Publication Date
WO2024210202A1 true WO2024210202A1 (ja) 2024-10-10

Family

ID=92972157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/014094 WO2024210202A1 (ja) 2023-04-05 2024-04-05 機械学習用データ作成装置、機械学習用データの作成方法、学習モデル、観察装置、及びエネルギービームの照射パターンの推定装置

Country Status (1)

Country Link
WO (1) WO2024210202A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058122A1 (en) * 2017-09-22 2019-03-28 University Court Of The University Of St Andrews IMAGING A SAMPLE THROUGH A BROADCAST ENVIRONMENT
WO2020249964A1 (en) * 2019-06-13 2020-12-17 University Of Southampton Method and apparatus for super-resolution optical imaging
US20220114711A1 (en) * 2018-04-26 2022-04-14 The Regents Of The University Of California Systems and methods for deep learning microscopy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058122A1 (en) * 2017-09-22 2019-03-28 University Court Of The University Of St Andrews IMAGING A SAMPLE THROUGH A BROADCAST ENVIRONMENT
US20220114711A1 (en) * 2018-04-26 2022-04-14 The Regents Of The University Of California Systems and methods for deep learning microscopy
WO2020249964A1 (en) * 2019-06-13 2020-12-17 University Of Southampton Method and apparatus for super-resolution optical imaging

Similar Documents

Publication Publication Date Title
Kördel et al. Laboratory water-window x-ray microscopy
Chen et al. Superoscillation: from physics to optical applications
US20150055745A1 (en) Phase Contrast Imaging Using Patterned Illumination/Detector and Phase Mask
US10346964B2 (en) System for actinic inspection of semiconductor masks
KR101704584B1 (ko) 유기체 또는 생체 물질의 초고해상도 이미징이 가능한 현미경 장치 및 이를 이용한 유기체 또는 생체 물질의 초고해상도 이미징 방법
Xiong et al. Coherent X‐Ray Diffraction Imaging and Characterization of Strain in Silicon‐on‐Insulator Nanostructures
JP2013504780A (ja) 波動場の位相を回復する方法及び装置
US20220262087A1 (en) Method and apparatus for super-resolution optical imaging
Mancuso et al. Coherent diffractive imaging of biological samples at synchrotron and free electron laser facilities
Kim et al. Enhancing resolution in coherent x-ray diffraction imaging
WO2024210202A1 (ja) 機械学習用データ作成装置、機械学習用データの作成方法、学習モデル、観察装置、及びエネルギービームの照射パターンの推定装置
US8227767B2 (en) Coherent nonlinear microscopy system and method with variation of the focal volume in order to probe the nanostructure of organized materials
CN111886491B (zh) 散射辅助超定位显微术方法及相关装置
Cowley Optical processing of diffraction information in STEM
RU2319948C2 (ru) Способ получения изображения повышенной разрешающей способности
KR101637183B1 (ko) 뉴런이 고정된 하이퍼렌즈, 뉴런 고정 장치 및 하이퍼렌즈에 뉴런을 고정하는 방법
Vitry Applications and development of acoustic and microwave atomic force microscopy for high resolution tomography analysis
KR100607874B1 (ko) 고분해능 이미지의 배경 잡음 제거를 위한 대물 렌즈 조리개 및 이를 이용한 패턴형성장치
JP2013167569A (ja) 近接場照明光学系、近接場光学顕微鏡および近接場光形成方法
Seaberg et al. Ultrahigh 22-nm resolution EUV coherent diffraction imaging using a tabletop 13-nm high harmonic source
JP4558574B2 (ja) 近接場光電子顕微鏡
Tanksalvala et al. Sub-wavelength transmission and reflection mode tabletop imaging with 13nm illumination via ptychography CDI
JP4873441B2 (ja) 高エネルギー粒子発生方法及び高エネルギー粒子発生装置
Juschkin Imaging with plasma based extreme ultraviolet sources
Arhatari et al. A coherence approach to phase-contrast microscopy II: Experiment