WO2019053768A1 - 顕微鏡および観察方法 - Google Patents
顕微鏡および観察方法 Download PDFInfo
- Publication number
- WO2019053768A1 WO2019053768A1 PCT/JP2017/032817 JP2017032817W WO2019053768A1 WO 2019053768 A1 WO2019053768 A1 WO 2019053768A1 JP 2017032817 W JP2017032817 W JP 2017032817W WO 2019053768 A1 WO2019053768 A1 WO 2019053768A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- detection
- image processing
- image
- unit
- light
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0068—Optical details of the image generation arrangements using polarisation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
Definitions
- a beam splitting unit for splitting light from a light source into a plurality of beams, and generated by interference of at least a portion of the beams of the plurality of beams split by the beam splitting unit
- Detection system that includes an illumination optical system that scans a sample in a plurality of directions by interference fringes, a detection optical system that receives light from the sample, and a plurality of detection units that detect light from the sample via the detection optical system
- a microscope is provided that includes an apparatus and an image processing unit that generates an image using detection results of two or more detection units of the detection apparatus.
- FIG. 21 is a diagram showing a region of frequency space used for component separation in the sixth embodiment. It is a figure which shows the microscope which concerns on 7th Embodiment. It is a figure which shows the microscope which concerns on 8th Embodiment. It is a figure which shows the mask which concerns on 8th Embodiment, and the polarization state of excitation light. It is a figure which shows the area
- Stage 2 holds the sample S to be observed.
- the sample S is, for example, a cell fluorescently stained in advance.
- the sample S contains a fluorescent substance such as a fluorescent dye.
- the light source 3 emits excitation light L1 for exciting a fluorescent substance contained in the sample S.
- the illumination optical system 4 scans the sample S with interference fringes L2 of the excitation light L1 in a plurality of directions (eg, X direction, Y direction).
- the illumination optical system 4 two-dimensionally scans the sample S with the interference fringe L2.
- the detection optical system 5 is disposed at a position where the fluorescence L3 from the sample S (shown later in FIG. 4) is incident.
- the detection device 6 includes a plurality of detection units 6a (shown later in FIG.
- the collimator lens 12 converts the excitation light L1 emitted from the optical fiber 11 into parallel light.
- the collimator lens 12 is disposed, for example, such that the focal point on the same side as the light source 3 coincides with the light exit of the optical fiber 11.
- the focal point on the same side as the light source 3 will be referred to as the back focal point
- the focal point on the same side as the sample S will be referred to as the front focal point.
- the image processing unit 7 generates an image based on the detection result of the detection device 6 obtained as described above.
- the processing performed by the image processing unit 7 will be described below.
- the coordinate system is described as a vector as appropriate.
- the distribution of the fluorescent substance in the sample S is represented by Obj (r)
- the image data obtained by the detection device 6 is represented by I (r, r s ).
- I (r, r s ) is represented by the following formula (3).
- the effective PSF (solid line) of each detection unit 6a is shown in one graph for three detection units 6a whose coordinates in the Xb direction are different from each other.
- the graph in the center of FIG. 5A shows the distribution Q1a (solid line) corresponding to the effective PSF of the detection unit 6a arranged at the position X1a.
- the graph on the left side of FIG. 5A shows the distribution Q1b (solid line) corresponding to the effective PSF of the detection unit 6a arranged at the position X1b.
- the graph on the right side of FIG. 5A shows a distribution Q1c (solid line) corresponding to the effective PSF of the detection unit 6a disposed at the position X1c.
- a distribution Q3b illustrated in the graph on the left side of FIG. 5A is a distribution corresponding to the detection unit 6a disposed at the position X1b among the plurality of detection units 6a.
- the distribution Q3b is a maximum (peak) at a position X1b (for example, the central position of the light receiving area of the detection unit 6a) at which the detection unit 6a is disposed.
- the position X1b is offset from the peak position X2b of the partial distribution Q2b including the position X1b in the distribution Q2 corresponding to the intensity distribution of the interference fringe L2.
- the peak position of the main lobe of the distribution Q1b of the effective PSF is offset from the center position (the position of X2a, the position of the optical axis of the detection optical system) of the detection device 6.
- the position (r) of the detection unit 6a of the detection device 6 also shifts the position of the main lobe of the effective PSF.
- the displacement of the position of the main lobe of the effective PSF is referred to as the displacement of the effective PSF.
- the distribution Q1c corresponding to the effective PSF is a distribution obtained by multiplying the distribution Q2 corresponding to the intensity distribution of the interference fringe L2 and the distribution Q3c corresponding to the detected PSF of the detection unit 6a disposed at the position X1c.
- the image processing unit 7 uses the detection result of the detection unit 6a selected from the plurality of detection units 6a based on the magnification of the detection optical system 5 and the cycle (fringe interval) of the interference fringe L2.
- the image processing unit 7 selects the detection unit 6a from the plurality of detection units 6a based on the peak position (for example, peak positions X2a, X2b, and X2c in FIG. 5) of the interference fringe L2, and the detection result of the selected detection unit 6a
- the peak position of the interference fringe L2 corresponds to, for example, the position at which the intensity is maximal (for example, the center position of the bright portion) in the intensity distribution of the interference fringe L2.
- the image processing unit 7 may use only the detection result of the one detection unit 6a disposed at the position X1a as the detection result on the partial distribution Q2a including one peak in the intensity distribution of the interference fringe L2.
- the detection results of the detection unit 6a disposed at the position X1a and at least one detection unit 6a around the detection unit 6a may be used.
- FIG. 6 is a flowchart showing the observation method according to the embodiment.
- the illumination optical system 4 of FIG. 1 sets the angle of the scanning mirror.
- the illumination optical system 4 irradiates excitation light as interference fringes on the position on the sample determined by the angle of the scanning mirror set in step S1.
- the fluorescent substance of the sample is excited by the interference fringes of the excitation light.
- the detection device 6 of FIG. 4 detects the fluorescence L3 from the sample S via the detection optical system 5.
- step S4 the microscope 1 (for example, the control unit) determines whether to change the angle of the scanning mirror.
- the microscope 1 determines that the process from step S1 to step S3 is not completed for a part of the planned observation area, it determines to execute the angle change of the scanning mirror in step S4 (step S4; Yes) .
- the microscope 1 determines that the angle change of the scanning mirror is to be performed (Step S4; Yes)
- the process returns to Step S1, and the illumination optical system 4 sets the angle of the scanning mirror to the predetermined next angle.
- the processing from step S2 to step S4 is repeated.
- the illumination optical system 4 two-dimensionally scans the sample S with the interference fringes of the excitation light L1.
- the microscope 1 scans the interference fringes L2 two-dimensionally by scanning the interference fringes L2 in two directions parallel to the sample surface Sa.
- the microscope 1 according to the embodiment may three-dimensionally scan the interference fringe L2 by scanning the interference fringe L2 in two directions parallel to the sample surface Sa and one direction perpendicular to the sample surface Sa (When the interference fringe L2 is scanned three-dimensionally, the process of scanning the interference fringe L2 in two directions parallel to the sample surface Sa (hereinafter referred to as two-dimensional process) is the same as the process described in the above embodiment.
- the microscope 1 can generate, for example, a three-dimensional super-resolution image by repeating the two-dimensional processing with changing the position in the Z direction.
- the interference fringes L2 may be scanned three-dimensionally.
- a (k s ) is the apodization function for suppressing the negative value of the image, called a apodization to applying the A (k s) to Obj ⁇ (r, k s) .
- the functional form of A (k s ) is designed to suppress the negative value of the image by theoretical calculation or simulation.
- F ks -1 is an inverse Fourier transform of k s .
- the image processing unit 7 performs the inverse Fourier transform after adding the spectra of the detection units 6a, but the images may be added after performing the inverse Fourier transform.
- FIG. 8 is a flowchart showing the observation method according to the second embodiment.
- the processing from step S1 to step S4 is the same as that of FIG.
- the image processing unit 7 Fourier-transforms the detection result of each detection unit.
- the image processing unit 7 executes deconvolution.
- the image processing unit 7 executes apodization. Apodization may be part of deconvolution processing.
- the image processing unit 7 adds the images for each of the detection units 6a using the result of deconvolution.
- the image processing unit 7 generates a second image (eg, super-resolution image) by performing inverse Fourier transform on the first image (eg, Fourier image) obtained in step S14.
- a second image eg, super-resolution image
- the image processing unit 7 may change the range of the detection unit 6a to be added, as described in the first embodiment. In addition, as described in the first embodiment, the image processing unit 7 may improve the resolution one-dimensionally or two-dimensionally.
- the image processing unit 7 corrects the deformation of the shape of the effective PSF for each detection unit 6a by image processing different from that of the second embodiment.
- FIG. 9A shows a PSF before image processing according to the present embodiment, which is the same as FIG. 5A.
- the distance between the detection units 6a of the detection device 6 does not match the distance between the interference fringes L2.
- the effective PSF (solid line) of the image obtained for each detection unit 6a is broken in shape depending on the position of the detector 6a.
- the distribution Q2g shifts the phase of the distribution Q2 so that the peak position X2c of the distribution Q2c of FIG. 9A matches the position X1c of the detection unit 6a. It is a distribution.
- the peak position X2g of the distribution Q2g substantially coincides with the position X1c of the detection unit 6a.
- the code Q1g is a distribution corresponding to the effective PSF obtained from the distribution Q2g whose phase is shifted and the detection PSF (distribution Q3c) of the detection unit 6a arranged at the position X1c. In the distribution Q1g, the collapse of the shape of the effective PSF is reduced.
- ⁇ indicates the initial phase of the interference fringe L2.
- the image processing unit 7 changes the phase of the interference fringe L2 according to the detector coordinates by image processing to make the shape of the effective PSF uniform.
- the microscope 1 acquires four-dimensional image data I (r, r s ) as described in the equation (3).
- the image processing unit 7 performs four-dimensional Fourier transform on I (r, r s ).
- the four-dimensional data in the frequency space obtained by the Fourier transform expressed by I ⁇ (k, k s) .
- the image processing unit 7, the I ⁇ (k, k s) extracts the information of one of satisfying area of formula (15) from the following equation (13).
- a region satisfying the condition of equation (13) is referred to as a zeroth-order component region AR1a
- a region satisfying the condition of equation (14) is referred to as a + 1st-order component region AR1b
- a condition of equation (15) The region to be filled in is referred to as a region AR1 c of -1st order component.
- the image processing unit 7 performs the processing shown in the above equations (16) and (17) on the result of the component separation and the inverse Fourier transform.
- the phase of the interference fringe L2 is shifted according to the detector coordinate r. Shift amount of the phase of the interference fringes, for example, as the peak of the peak position and the interference fringes of the resulting function by the product of PSF det (r + r s) and PSF ill (r s) is matched approximately, it is determined Ru.
- the value of the initial phase ⁇ may be a value previously measured using fluorescent beads, or may be a value estimated from an observation image.
- the image processing unit 7 determines the amount of phase conversion (phase shift amount) based on the light intensity distribution of the excitation light in the sample S.
- the image processing unit 7 determines the phase shift amount based on the electric field intensity ill (r) of the excitation light on the sample surface Sa as the light intensity distribution of the excitation light in the sample S.
- PH (r) is a pinhole function defined by the following equation (23).
- OTF 0 (k, k s ), OTF +1 (k, k s ), and OTF ⁇ 1 (k, k s ) are represented by the following Expression (26).
- an interference fringe L2 is formed by combining the interference fringe due to the interference of the excitation light L1c and the interference fringe due to the interference of the excitation light L1d. Since the polarization directions of the excitation light L1c and the excitation light L1d are almost orthogonal to each other, the interference between the excitation light L1c and the excitation light L1d is suppressed.
- FIG. 20 is a diagram illustrating a pupil conjugate surface and a region of a frequency space used for component separation according to the eighth embodiment.
- the pupil conjugate plane P1 is expressed in a wave number coordinate space.
- K NA ex (circle drawn by a dotted line) shown in FIG. 20A is the pupil radius of the objective lens 21.
- the area AR2a and the area AR2b in which the excitation light L1c is incident, and the area AR2c and the area AR2d in which the excitation light L1d is incident are circular, respectively, but are not limited to the circle.
- the radius of each of the areas ARa to ARd is ⁇ k NA ex .
- the electric field strength ill (r) at the sample surface Sa is expressed by the following equation (35).
- k 0 x and k 0 y are wave number vectors of the interference fringe L2, respectively.
- the illumination pupil has four poles, and the interference fringes in the periodic direction are the X direction and the interference fringes in the Y direction are the sum of the interference fringes in the Y direction.
- Image data I (r, r s ) obtained by the detection device 6 is expressed by the following equation (36).
- the image processing unit 7 four-dimensionally Fourier-transforms I (r, r s ) in equation (36) with respect to r and r s as shown in the following equation (37).
- I 0 to (k, k s ) is referred to as a zero-order component
- I to +1, x (k, k s ) is referred to as a +1 order component in the X direction
- I to -1, x (k, k We call s 1) the ⁇ 1st order component in the X direction
- I 1 to +1, y (k, k s ) is referred to as a + 1st order component in the Y direction
- I 1 to -1, y (k, k s ) is referred to as a -1st order component in the Y direction.
- the code AR3a is an area where data of the 0th order component exists (hereinafter referred to as an area of the 0th order component).
- the code AR3b is an area in which data of the + 1st order component in the X direction is present (hereinafter referred to as an area of the + 1st order component in the X direction).
- the code AR3c is an area where data of a -1st order component in the X direction is present (hereinafter referred to as an area of a -1st order component in the X direction).
- the code AR3 d is an area where data of + 1st order component in the Y direction is present (hereinafter referred to as an area of + 1st order component in the Y direction).
- the code AR3e is an area where data of -1st order component in the Y direction exists (hereinafter referred to as an area of -1st order component in the Y direction).
- the region AR3e of the ⁇ 1st order component in the Y direction is expressed by the following equation (44).
- the image processing unit 7 calculates data of each component in the real space by performing inverse Fourier transform on each extracted component.
- the zero-order component in the real space is represented by I 0 (r, r s )
- the + 1st- order component in the X direction in the real space is represented by I +1 , x (r, r s ).
- the primary component is represented by I -1, x (r, r s ).
- the + 1st order component in the Y direction in real space is represented by I +1 , y (r, r s )
- the ⁇ 1st order component in the Y direction in real space is represented by I ⁇ 1, y (r, r s ).
- the image processing unit 7 uses the at least a part of the data of each component in the real space obtained as described above to match the detector coordinates so that the effective PSFs for each of the detection units 6a of the detection device 6 are aligned. Shift the phase of the interference fringes.
- the image processing unit 7 calculates the + 1st component in the X direction, the ⁇ 1st component in the X direction, the + 1st component in the Y direction, and the ⁇ 1st component in the Y direction according to the following equation (45). Shift the phase for each of
- ⁇ x (r) is the amount of phase shift for each of the + 1st order component and the ⁇ 1st order component in the X direction.
- y y (r) is a phase shift amount for each of the + 1st order component and the ⁇ 1st order component in the Y direction.
- Phase shift amount of the is, for example, is set so that the peak position of the function obtained by the product of PSF det and (r + r s) and PSF ill (r s), and the peak position of the interference fringes L2 matches Ru.
- the image processing unit 7 adds the respective components as shown in the following equation (46).
- region used for component separation is not limited to the area
- the area used for component separation may be larger or smaller than the area shown in the above formulas (41) to (44).
- at least one of the openings 38a and 38b of the mask 38 and the openings 40a and 40b of the mask 40 may not be circular.
- the region used for component separation can be determined by numerical simulation, theoretical calculation or the like for any of the cases where the opening of the mask has a shape other than the circular shape when the opening of the mask is circular.
- the process performed by the image processing unit 7 may be any of the processes described in the first to fourth embodiments.
- the deconvolution in the frequency space described in the fourth embodiment although there are three components in the above equation (27), the zeroth order component, the + 1st order component in the X direction, The five components of the ⁇ 1st order component in the X direction, the + 1st order component in the Y direction, and the ⁇ 1st order component in the Y direction may be used.
- FIG. 21 is a view showing a microscope according to a ninth embodiment.
- the microscope 1 includes the ⁇ / 2 wavelength plate 30 and the optical path rotating unit 31 described with reference to FIG.
- the optical path rotation unit 31 is driven by the drive unit 32 and rotates around the optical axis of the illumination optical system 4.
- the optical path rotation unit 31 rotates, the optical path of the excitation light L1c and the optical path of the excitation light L1d rotate around the optical axis of the illumination optical system 4, respectively.
- the periodic direction of the interference fringes L2 formed on the sample surface Sa rotates around the Z direction.
- FIG. 22 is a view showing a polarization state of excitation light according to the ninth embodiment.
- the area AR4a on which the excitation light L1c is incident on the pupil plane P0 is aligned in the X direction.
- the area AR4b and the area AR4b on which the excitation light L1d is incident on the pupil plane P0 are aligned in the Y direction.
- FIG. 22B corresponds to a state in which the dove prism (optical path rotating portion 31 in FIG. 21) and the ⁇ / 2 wavelength plate 30 are rotated by 22.5 ° from the state in FIG.
- the region AR4a on which the excitation light L1c is incident on the pupil plane P0 is aligned in the direction rotated 45 ° from the X direction.
- the periodic direction of the interference fringes of the excitation light L1c on the sample surface Sa is rotated 45 ° from the X direction.
- the area AR4b on which the excitation light L1d is incident on the pupil plane P0 is aligned in the direction rotated 45 ° from the Y direction.
- the periodic direction of the interference fringes of the excitation light L1d on the sample surface Sa is rotated 45 ° from the Y direction.
- the detection device 6 detects fluorescence L3 from the sample S before and after the periodic direction of the interference fringe L2 is changed.
- the image processing unit 7 generates an image based on the detection result of the detection device 6 before the change of the periodic direction of the interference fringe L2 and the detection result of the detection device 6 after the change of the periodic direction of the interference fringe L2.
- the optical path rotation unit 31 may be disposed in the optical path between the dichroic mirror 16 and the detection device 6 as described with reference to FIG.
- the microscope 1 changes the periodic direction of the interference fringes L2 by the optical path rotating unit 31, but the fringe direction changing unit that changes the periodical direction of the interference fringes L2 is also different from the optical path rotating unit 31. Good.
- FIG. 23 is a view showing a microscope according to a tenth embodiment.
- FIG. 24 is a view showing a mask according to the tenth embodiment.
- the microscope 1 includes a drive unit 45 and a drive unit 46.
- the mask 38 is rotatable around the optical axis of the excitation light L1 c.
- the mask 38 is driven by the drive unit 45 to rotate (see FIG. 24A). In FIG. 24A, the mask 38 is rotated 45 degrees clockwise.
- the mask 40 is rotatable around the optical axis of the excitation light L1d.
- the mask 40 is driven by the drive unit 46 to rotate (see FIG. 24B).
- the drive unit 46 rotates the mask 40 by the same angle as the drive unit 45 rotates the mask 38.
- the mask 40 is rotated 45 degrees clockwise.
- the periodic direction of the interference fringes L2 on the sample surface Sa is rotated 45 ° around the Z direction.
- a ⁇ / 2 wavelength plate 48 is provided in the light path between the polarization separation element 41 and the dichroic mirror 16.
- the ⁇ / 2 wavelength plate 48 is driven by the drive unit 49 and rotates around the optical axis of the illumination optical system 4.
- the ⁇ / 2 wavelength plate 48 and the drive unit 49 adjust the excitation light L1 c and the excitation light L1 d so as to be incident on the sample S with S polarization.
- FIG. 25 is a view showing a microscope according to an eleventh embodiment.
- the microscope 1 includes a relay optical system 47.
- the relay optical system 47 is a part of the illumination optical system 4 and a part of the detection optical system 5.
- the relay optical system 47 is disposed in the optical path between the deflection mirror 18 a and the deflection mirror 18 b in the scanning unit 18.
- the deflection mirror 18 a is disposed at substantially the same position as the first pupil conjugate plane optically conjugate with the pupil plane P 0 of the objective lens 21.
- the scanning part 18 is not limited to the above-mentioned form.
- the stage 2 may include a Y stage that moves in the Y direction with respect to the objective lens 21, and the scanning unit 18 may include a Y stage instead of the deflection mirror 18b.
- the scanning unit 18 may scan the sample S in the X direction with the excitation light L1 by the deflection mirror 18a, and scan the sample S in the Y direction with the excitation light L1 by moving the Y stage.
- the deflection mirror 18 a may be disposed at substantially the same position as the pupil conjugate plane optically conjugate with the pupil plane P 0 of the objective lens 21.
- the stage 2 includes an X stage moving in the X direction with respect to the objective lens 21 and a Y stage moving in the Y direction with respect to the objective lens 21.
- the scanning unit 18 includes the X stage and the Y stage described above. May be included. In this case, the scanning unit 18 may scan the sample S in the X direction with the excitation light L1 by the movement of the X stage described above, and scan the sample S in the Y direction with the excitation light L1 by the movement of the Y stage described above .
- the scanning direction in which the sample S is scanned with interference fringes is two directions of the X direction and the Y direction, and the illumination optical system 4 two-dimensionally scans the sample S with interference fringes.
- the scanning direction in which the sample S is scanned with the interference fringes may be three directions of the X direction, the Y direction, and the Z direction.
- the microscope 1 performs 2D processing to acquire a 2D image by scanning the sample S with interference fringes in the X direction and Y direction, and repeats the 2D processing by changing the position in the Z direction at which interference fringes are generated
- the sample S may be three-dimensionally scanned with interference fringes.
- the microscope 1 may three-dimensionally scan the sample S with interference fringes to acquire a plurality of 2D images different in position in the Z direction and generate a 3D image (eg, Z-stack).
- the illumination optical system 4 may scan in the X direction and the Y direction, and may scan in the Z direction by the movement of the stage 2.
- the illumination optical system 4 may scan the sample S three-dimensionally with interference fringes.
- the illumination pupil has a form in which the illumination pupil having the shape shown in FIG. 26B has four poles.
- the illumination pupil has a form in which the illumination pupil of the shape shown in FIG. 26C has four poles.
- the number of the plurality of regions (number of poles) on which the excitation light is incident is set to an arbitrary number of 2 or more.
- the shape of one of the plurality of regions on the pupil plane P0 where the excitation light is incident may be different from the shape of the other regions.
- the diffraction grating 53 splits the excitation light L1 into a plurality of light beams by diffraction.
- the diffraction grating 53 is a beam splitting unit that splits the excitation light that excites the fluorescent material into a plurality of beams.
- the diffraction grating 53 is disposed within the focal point of the lens 52 or within 1 mm near the focal point. That is, the diffraction grating 53 is disposed within a plane conjugate with the sample surface Sa or within 1 mm in the vicinity thereof.
- the plurality of light fluxes described above include 0th order diffracted light, + 1st order diffracted light, and -1st order diffracted light.
- the fast axis of the ⁇ / 4 wavelength plate 61 is set to a direction rotated 45 ° counterclockwise in the X direction when viewed from the + Z side.
- the excitation light L1 passing through the ⁇ / 4 wavelength plate 61 becomes circularly polarized light and is incident on the mask 15.
- the excitation light L1 passing through the opening 15a and the opening 15b of the mask 15 is circularly polarized light, and is incident on the ⁇ / 4 wavelength plate 62.
- the fast axis of the ⁇ / 4 wavelength plate 62 is set to a direction rotated clockwise by 45 ° in the X direction when viewed from the + Z side.
- the excitation light L1 that has passed through the ⁇ / 4 wavelength plate 62 becomes linearly polarized light in the X direction, and is irradiated to the sample.
- the ⁇ / 4 wavelength plate 62 is included in the polarization adjusting unit that adjusts the polarization state of the excitation light when entering the sample.
- a polarization adjusting unit can reduce the loss of the light amount of the excitation light L1 as compared with the aspect described in FIG.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
【課題】試料の画像を取得する。 【解決手段】顕微鏡は、光源からの光を複数の光束に分割する光束分割部を有し、光束分割部により分割された複数の光束の少なくとも一部の光束の干渉によって生成される干渉縞によって、試料を複数の方向において走査する照明光学系と、試料からの光が入射する検出光学系と、検出光学系を介して試料からの光を検出する複数の検出部を含む検出装置と、検出装置の2以上の検出部の検出結果を用いて画像を生成する画像処理部と、を備える。
Description
本発明は、顕微鏡および観察方法に関する。
試料からの蛍光を検出する走査型顕微鏡が提案されている(例えば、下記の非特許文献1参照)。
Confocal laser scanning microscopy with spatiotemporal structured illumination, Peng Gao, G. Ulrich Nienhaus, Optics Letters, Vol.41, No.6, 1193-1196, 2016.3.15
本発明の第1の態様に従えば、光源からの光を複数の光束に分割する光束分割部を有し、光束分割部により分割された複数の光束の少なくとも一部の光束の干渉によって生成される干渉縞によって、試料を複数の方向において走査する照明光学系と、試料からの光が入射する検出光学系と、検出光学系を介して試料からの光を検出する複数の検出部を含む検出装置と、検出装置の2以上の検出部の検出結果を用いて画像を生成する画像処理部と、を備える顕微鏡が提供される。
本発明の第2の態様に従えば、光源からの光を複数の光束に分割し、複数の光束の少なくとも一部の光束の干渉によって生成される干渉縞によって、試料を複数の方向において走査することと、試料からの光が入射する検出光学系を介して、複数の検出部を含む検出装置によって、試料からの光を検出することと、検出装置の2以上の検出部の検出結果を用いて画像を生成することと、を含む観察方法が提供される。
[第1実施形態]
第1実施形態について説明する。図1は、第1実施形態に係る顕微鏡および励起光の光路を示す図である。以下の実施形態において、顕微鏡1は走査型の蛍光顕微鏡であるものとして説明するが、実施形態に係る顕微鏡は、走査型の顕微鏡あるいは蛍光顕微鏡に限定されない。顕微鏡1は、ステージ2と、光源3と、照明光学系4と、検出光学系5と、検出装置6と、画像処理部7とを備える。顕微鏡1は、概略すると以下のように動作する。
第1実施形態について説明する。図1は、第1実施形態に係る顕微鏡および励起光の光路を示す図である。以下の実施形態において、顕微鏡1は走査型の蛍光顕微鏡であるものとして説明するが、実施形態に係る顕微鏡は、走査型の顕微鏡あるいは蛍光顕微鏡に限定されない。顕微鏡1は、ステージ2と、光源3と、照明光学系4と、検出光学系5と、検出装置6と、画像処理部7とを備える。顕微鏡1は、概略すると以下のように動作する。
ステージ2は、観察対象の試料Sを保持する。試料Sは、予め蛍光染色された細胞などである。試料Sは、蛍光色素などの蛍光物質を含む。光源3は、試料Sに含まれる蛍光物質を励起する励起光L1を発する。照明光学系4は、試料Sを励起光L1の干渉縞L2で複数の方向(例、X方向、Y方向)において走査する。照明光学系4は、干渉縞L2で試料Sを2次元的に走査する。検出光学系5は、試料Sからの蛍光L3(後に図4に示す)が入射する位置に配置される。検出装置6は、検出光学系5を介して試料Sからの蛍光L3を検出する複数の検出部6a(後に図4に示す)を含む。画像処理部7は、検出装置6の2以上の検出部6aの検出結果を用いて、画像(例、超解像画像)を生成する。以下、顕微鏡1の各部について説明する。
光源3は、例えばレーザー素子などの光源を含む。光源3は、所定の波長帯の可干渉光を発生する。所定の波長帯は、試料Sの励起波長を含む波長帯に設定される。光源3から出射する励起光L1は、例えば直線偏光である。光源3の出射口には、光ファイバー11などの導光部材が接続される。なお、顕微鏡1は、光源3を備えなくてもよく、光源3は、顕微鏡1と別に提供されてもよい。例えば、光源3は、顕微鏡1に交換可能(取り付け可能、取り外し可能)に設けられてもよい。光源3は、顕微鏡1による観察時などに、顕微鏡1に外付けされてもよい。
照明光学系4は、光源3からの励起光L1が入射する位置に配置される。照明光学系4には、光源3から光ファイバー11を介して励起光L1が入射する。光ファイバー11は、照明光学系4の一部でもよいし、光源3を含む光源装置の一部でもよい。照明光学系4は、光源3側から試料S側へ向かう順に、コリメーターレンズ12、λ/4波長板13、偏光子14、マスク15(開口部材)、ダイクロイックミラー16、リレー光学系17、走査部18、レンズ19、レンズ20、及び対物レンズ21を備える。
以下の説明において、適宜、図1などに示すXYZ直交座標系を参照する。このXYZ直交座標系において、X方向およびY方向は、それぞれ、対物レンズ21の光軸21aに垂直な方向である。また、Z方向は、対物レンズ21の光軸21aに平行な方向である。なお、対物レンズ21の光軸21aは、照明光学系4の光軸4aに含まれる。また、X方向、Y方向、及びZ方向のそれぞれについて、適宜、矢印と同じ側を+側(例、+X側)と称し、矢印と反対側を-側(例、-X側)と称する。また、反射によって光路が折れ曲がる場合、X方向、Y方向、及びZ方向のそれぞれに対応する方向を、添え字を付けて表す。例えば、図1のXa方向、Ya方向、Za方向は、それぞれ、コリメーターレンズ12からダイクロイックミラー16までの光路において、X方向、Y方向、Z方向に対応する方向である。
コリメーターレンズ12は、光ファイバー11から出射する励起光L1を平行光に変換する。コリメーターレンズ12は、例えば、その光源3と同じ側の焦点が光ファイバー11の光出射口と一致するように配置される。以下の説明において、照明光学系4に含まれるレンズについて、適宜、光源3と同じ側の焦点を後側焦点と称し、試料Sと同じ側の焦点を前側焦点と称する。
λ/4波長板13は、励起光L1の偏光状態を円偏光にする。偏光子14は、例えば偏光板であり、所定方向の直線偏光が透過する特性を有する。偏光子14は、試料Sに入射する光がS偏光(Y方向の直線偏光)となるように、配置される。偏光子14は、コリメーターレンズ12の光軸12aの周りで回転可能である。コリメーターレンズ12の光軸12aは、照明光学系4の光軸4aに含まれる。
マスク15は、蛍光物質を励起する励起光を複数の光束に分割する光束分割部である。照明光学系4は、マスク15が分割した複数の光束のうち2以上の光束の干渉によって生成される干渉縞L2によって、試料Sを走査する。マスク15は、対物レンズ21の瞳面P0と光学的に共役な瞳共役面P1の位置またはその近傍100mm以内に配置される。マスク15は、瞳面P0またはその近傍100mm以内に配置されてもよい。
マスク15は、励起光L1が通る開口15aおよび開口15bを有する。開口15aを通った励起光L1aと開口15bを通った励起光L1bとの干渉によって、干渉縞L2が形成される。マスク15は、コリメーターレンズ12の光軸12aの周りで回転可能である。マスク15は、例えば偏光子14と相対的に固定され、偏光子14と一体的に回転する。マスク15および偏光子14は、駆動部22から供給されるトルクによって回転する。
図2(A)は、第1実施形態に係るマスクを示す図である。マスク15の開口15a、開口15bは、コリメーターレンズ12(図1参照)の光軸12aに関して、対称的に配置されている。図2(A)の状態において、開口15a、開口15bは、Xa方向に並んでいる。図2(B)は、第1実施形態に係る偏光子を示す図である。偏光子14の透過軸14aは、マスク15において開口15a、開口15bが並ぶ方向(図2(A)ではXa方向)に対して、垂直な方向(図2(B)ではYa方向)と平行に設定される。図2(C)は、対物レンズ21の瞳面P0を示す図である。符号P0a、P0bは、それぞれ、励起光L1が入射する領域である。図2(C)に示すパラメーターについては、後に画像処理部7の説明において参照する。
図1の説明に戻り、ダイクロイックミラー16は、励起光L1が反射し、かつ試料Sからの蛍光L3(後に図4に示す)が透過する特性を有する。マスク15の開口15a、開口15bを通った励起光L1は、ダイクロイックミラー16で反射して光路が折れ曲がり、リレー光学系17に入射する。リレー光学系17は、ダイクロイックミラー16からの励起光L1を走査部18へ導く。リレー光学系17は、図中1枚のレンズで表されているが、リレー光学系17に含まれるレンズの数は1枚とは限らない。また、リレー光学系17は、光学系の距離等によっては不要な場合もある。なお、各図において、リレー光学系17以外の部分についても2枚以上のレンズを1枚のレンズで表す場合がある。
走査部18は、X方向とY方向との2方向において、試料Sを励起光L1の干渉縞L2で走査する。走査部18は、励起光L1によって干渉縞L2が形成される位置を、対物レンズ21の光軸21aに交差する2方向において変更する。走査部18は、偏向ミラー18aおよび偏向ミラー18bを含む。偏向ミラー18aおよび偏向ミラー18bは、励起光L1の光路に対する傾きが可変である。偏向ミラー18aおよび偏向ミラー18bは、それぞれ、ガルバノミラー、MEMSミラー、レゾナントミラー(共振型ミラー)等である。偏向ミラー18aおよび偏向ミラー18bは、スキャナであってもよい。
偏向ミラー18aは、試料Sにおいて励起光L1が入射する位置をX方向に変化させる。偏向ミラー18bは、試料Sにおいて励起光L1が入射する位置をY方向に変化させる。走査部18は、例えば、対物レンズ21の瞳面P0と共役な位置が、偏向ミラー18aの位置、偏向ミラー18bの位置、または偏向ミラー18aと偏向ミラー18bとの間の位置になるように配置される。なお、走査部18は、試料Sにおいて励起光L1が入射する位置を、偏向ミラー18aがY方向に変化させ、偏向ミラー18bがX方向に変化させる構成でもよい。
走査部18からの励起光L1は、レンズ19に入射する。レンズ19は、励起光L1を対物レンズ21の試料面Saと光学的に共役な試料共役面Sbに集光する。試料面Saは、対物レンズ21の前側焦点または前側焦点近傍の位置に配置され、対物レンズ21の光軸21aに垂直な面である。試料共役面Sbには、マスク15の開口15aを通った励起光L1aと開口15bを通った励起光L1bとの干渉によって、干渉縞が形成される。
試料共役面Sbを通った励起光L1は、レンズ20に入射する。レンズ20は、励起光L1を平行光に変換する。レンズ20を通った励起光L1は、対物レンズ21の瞳面P0を通る。対物レンズ21は、励起光L1を試料面Sa上に集光する。レンズ20および対物レンズ21は、試料共役面Sbに形成される干渉縞を試料面Saに投影する。試料面Saには、局所的な干渉縞L2が形成される。
干渉縞L2は、光強度が相対的に高い明部と、光強度が相対的に低い暗部とを含む。明部と暗部とが並ぶ方向(図1ではX方向)を、適宜、干渉縞L2の周期方向D1と称す。干渉縞L2の周期方向D1は、マスク15の開口15aと開口15bとが並ぶ方向(図1ではXa方向)に対応する。駆動部22がマスク15をZa方向の周りで回転させると、開口15aと開口15bとが並ぶ方向が回転し、干渉縞L2の周期方向D1がZ方向の周りで回転する。すなわち、駆動部22は、干渉縞L2の方向を変更する縞方向変更部に含まれる。駆動部22(縞方向変更部)は、照明光学系4の光軸4aに垂直な面(例、マスク15の光出射側の面)において2以上の光束が並ぶ方向(以下、光束分割方向という)を変更する。上記の光束分割方向は、例えば、開口15aと開口15bとが並ぶ方向であり、駆動部22は、マスク15を回転させることによって、光束分割方向を変更する。
また、マスク15がZa方向の周りで回転すると、試料Sに対して励起光L1が入射する方向が変化する。駆動部22は、偏光子14をマスク15と連動して回転させることによって、偏光子14の透過軸の向きを変化させ、励起光L1が、S偏光で試料Sに入射するように調整する。すなわち、偏光子14および駆動部22は、干渉縞の方向に基づいて、励起光L1の偏光状態を調整する偏光調整部に含まれる。
図3は、第1実施形態に係るマスク、偏光子、干渉縞、及び励起光の偏光状態を示す図である。図3(A)において、マスク15の開口15aおよび開口15bが並ぶ方向は、Xa方向である。偏光子14の透過軸14aは、Xa方向に垂直なYa方向である。この場合、励起光L1(図1参照)は、開口15aを通った光束と、開口15bを通った光束が試料Sに入射して、周期方向D1の干渉縞L2が生成される。励起光L1入射面は、XZ平面に平行である。試料Sに入射する際の励起光L1は、その偏光方向D2が入射面に垂直なY方向であり、つまり、励起光L1は、S偏光で試料Sに入射する。
図3(B)において、マスク15の開口15aおよび開口15bが並ぶ方向は、Xa方向を反時計回りに120°回転させた方向である。偏光子14の透過軸14aは、Ya方向を反時計回りに120°回転させた方向である。干渉縞L2の周期方向は、X方向に対して120°をなす方向である。励起光L1の入射面は、XZ平面をZ方向の周りで120°回転させた面である。試料Sに入射する際の励起光L1は、その偏光方向D2が入射面に垂直な方向であり、つまり、励起光L1は、S偏光で試料Sに入射する。
図3(C)において、マスク15の開口15aおよび開口15bが並ぶ方向Xa方向を反時計回りに240°回転させた方向である。偏光子14の透過軸14aは、Ya方向を反時計回りに240°回転させた方向である。干渉縞L2の周期方向D1は、X方向に対して240°をなす方向である。励起光L1の入射面は、XZ平面をZ方向の周りで240°回転させた面である。試料Sに入射する際の励起光L1は、その偏光方向D2が入射面に垂直な方向であり、つまり、励起光L1は、S偏光で試料Sに入射する。
上述のように励起光L1が試料SにS偏光で入射する場合、P偏光で入射する場合に比べて、干渉縞L2のコントラストが高くなる。なお、図3では、干渉縞L2の周期方向を120°の角度刻みで3通りに変化させているが、干渉縞L2の周期方向は、この例に限定されない。干渉縞L2の周期方向は、後述する画像処理部7が生成する画像において、分解能を向上させることが可能な方向(超解像効果が得られる方向)に相当する。干渉縞L2の周期方向は、所望の超解像効果が得られるように、適宜設定される。例えば、干渉縞L2の周期方向は、互いに90°の角度をなす2通りでもよいし、1通りでもよい。また、マスク15は、対物レンズ21の倍率およびNA(開口数)、照明瞳形状に合わせて交換可能でもよい。
図4は、第1実施形態に係る顕微鏡および蛍光の光路を示す図である。検出光学系5は、試料Sで発生した蛍光L3の像を形成する。検出光学系5は、試料Sから検出装置6に向かう順に、対物レンズ21、レンズ20、レンズ19、走査部18、リレー光学系17、ダイクロイックミラー16、及びレンズ23を含む。試料Sで発生した蛍光L3は、対物レンズ21、レンズ20、及びレンズ19をこの順に通って、走査部18に入射する。蛍光L3は、走査部18によってデスキャンされ、リレー光学系17を通ってダイクロイックミラー16に入射する。ダイクロイックミラー16は、蛍光L3が透過する特性を有する。ダイクロイックミラー16を透過した蛍光L3は、レンズ23に入射する。レンズ23は、蛍光L3を検出装置6に集光する。
検出装置6は、イメージセンサであり、2次元的に配列された複数の検出部6aを含む。複数の検出部6aは、検出装置6において2方向に配列されている。複数の検出部6aは、Xb方向とYb方向との2方向に配列されている。複数の検出部6aは、それぞれ、フォトダイオードなどの光電変換素子を含むセンサセル、ピクセル、あるいは光検出器等である。複数の検出部6aは、それぞれ、蛍光L3を検出可能である。検出部6aは例えば1画素に相当するが、複数の画素を含む検出領域(受光領域)を1つの検出部6aとして用いてもよい。
顕微鏡1は、走査部18により干渉縞L2を試料面Sa上で走査し、検出装置6は、蛍光L3を検出する。例えば、顕微鏡1は、試料面Saから選択される照明領域を干渉縞L2で照明し、検出装置6は、上記照明領域からの蛍光L3を検出する。顕微鏡は、検出装置6による検出が終了した後に、走査部18により上記照明領域を変更する。顕微鏡1は、蛍光を検出する処理と、照明領域を変更する処理とを繰り返すことで、所望の領域における蛍光強度分布(検出装置6の測定値)を取得する。
画像処理部7は、上述のようにして得られた検出装置6の検出結果に基づいて、画像を生成する。以下、画像処理部7が実行する処理について説明する。以下の説明に用いる数式において、適宜、座標系をベクトルで記述する。試料面Saにおける座標および検出装置6における座標(以下、ディテクター座標という)をベクトルr=(x,y)で表し、対応する波数座標(rでのフーリエ変換後の座標)をベクトルk=(kx,ky)で表す。また、走査部18による走査先の座標(以下、スキャン座標という)をベクトルrs=(xs,ys)で表し、その対応する波数座標(rsでのフーリエ変換後の座標)をベクトルks=(kxs,kys)で表す。以下の説明において、波数を空間周波数もしくは周波数と称す場合がある。光学系の倍率は、説明の便宜上1倍であるとするが、任意の倍率で構わない。
対物レンズ21を含む光学系の開口数をNA、照明光波長をλex、蛍光L3の波長をλemとすると、励起光が入射する場合の対物レンズ21の瞳半径kNA
exおよび蛍光が入射する場合の対物レンズ21の瞳半径kNA
emは、下記の式(1)で表される。よく知られているように瞳面と像面の各々の電場振幅はフーリエ変換の関係で結ばれているため、瞳位置の座標を波数座標で表現することがある。kNA
exおよびkNA
emは各々、瞳を波数座標で表現した場合の瞳半径の値を示している。
ここで、図2(C)を参照しつつ、各種パラメーターについて説明する。図2(C)では、瞳面P0を波数座標空間(周波数空間)で表している。図2(C)に示す点線で書かれた円の内部の領域は、対物レンズ21の瞳であり、kNA
exは、対物レンズ21の瞳半径である。励起光L1が入射する領域P0a、領域P0bは、ここではそれぞれ円形であるとするが、円形に限られない。領域P0a、領域P0bのそれぞれの半径は、σkNA
exである。σは対物レンズ21の瞳半径に対する領域P0a,もしくは領域P0bの半径の比である。対物レンズ21の光軸21aから領域P0aの中心までの距離は、(1-σ)kNA
exである。領域P0aの中心と領域P0bの中心との距離は、例えば2(1-σ)kNA
exであるが、この値に限らない。試料面Saでの励起光の電場強度ill(r)は、下記の式(2)で表される。
ここで、ベクトルk0=(k0,0)は照明縞の波数ベクトルを示し、k0=2(1-σ)kNA
exである。PSFill(r)は光学系の開口数がσNAである場合の点像強度分布関数(Point Spread Function)である。ill(r)の干渉縞の間隔(明部から次の明部までの距離)は、1/k0=1/(2(1-σ)kNA
ex)である。以下の説明において、干渉縞の間隔を、適宜、縞間隔または干渉縞の周期と称する。
実施形態において、試料Sに含まれる蛍光物質は、励起光L1によって励起し、励起した蛍光物質から蛍光L3が放射される。検出装置6は、蛍光L3を受光し、検出光学系5により形成された蛍光物質の像を撮像する。検出装置6は、蛍光物質の像を撮像して画像データを取得する。以下の説明では、検出装置6の検出部6aのサイズ(検出部サイズ)は、検出装置6における干渉縞L2の周期に相当する寸法(1周期に相当する検出装置6上の長さ)に比べて十分に小さいとする。例えば、検出部6aのサイズは、λem/4NA程度に設定される。
ここで、試料Sにおける蛍光物質の分布をObj(r)で表し、検出装置6で得られる画像データをI(r,rs)で表す。I(r,rs)は、下記の式(3)で表される。
式(3)における*rは、rについてのコンボリューションである。ここで、PSFdet(r)は、対物レンズ21を含む検出光学系5および蛍光波長λemによって定まる検出PSFである。画像データI(r,rs)は、ディテクター座標r=(x,y)及びスキャン座標rs=(xs,ys)を独立変数に持つ4次元のデータである。I(r,rs)を変形すると、下記の式(4)が得られる。
式(4)における*rsはrsについてのコンボリューションである。また、PSFeff(r,rs)は、下記の式(5)で定義される実効PSFである。
上記の式(4)より、検出装置6の検出部6aごとに、Obj(rs)の画像データが得られることが分かる。また、上記の式(5)より、検出装置6の検出部6aの位置(r)ごとに、実効PSFの形状が異なることが分かる。
図5は、第1実施形態に係る検出装置の各検出部における実効PSFを示す図である。図5の各グラフにおいて、横軸は検出装置6のXb方向である。試料面Saは検出装置6と光学的に共役であり、試料面Saの座標Xと検出装置の座標Xbは適当な座標変換によって対応づけられる。例えば、光学系の倍率が1である場合、X=Xbとなる)。
図5(A)には、Xb方向の座標が互いに異なる3つの検出部6aについて、各検出部6aの実効PSF(実線)を1つのグラフに表した。例えば、図5(A)の中央のグラフには、位置X1aに配置される検出部6aの実効PSFに対応する分布Q1a(実線)を示した。また、図5(A)の左側のグラフには、位置X1bに配置される検出部6aの実効PSFに対応する分布Q1b(実線)を示した。また、図5(A)の右側のグラフには、位置X1cに配置される検出部6aの実効PSFに対応する分布Q1c(実線)を示した。
また、図5の点線に対応する符号Q2は、図2等に示した干渉縞L2の強度分布に対応する分布である。分布Q2は、試料面Saでの励起光の電場強度ill(r)(上記の式(2)参照)に対応する。干渉縞L2の強度が極大となる位置、すなわち分布Q2のピーク位置X2a、X2b、及びX2cは、数値シミュレーション等によって予め求めることができる。
分布Q2は、部分的な分布であるQ2a、Q2b、及びQ2cを含む。分布Q2aは、ピーク位置X2aの前の極小位置から次の極小位置までの範囲における分布である。分布Q2bは、ピーク位置X2bの前の極小位置から次の極小位置までの範囲における分布である。分布Q2cは、ピーク位置X2cの前の極小位置から次の極小位置までの範囲における分布である。
また、図5の2点鎖線に対応する符号Q3a、符号Q3b、及びQ3cは、対物レンズ21を含む検出光学系5および蛍光波長λemによって定まる検出PSFに対応する分布である。検出PSFは、式(3)などのPSFdet(r)に対応する。
図5(A)の中央のグラフに示す分布Q3aは、複数の検出部6aのうち位置X1aに配置される検出部6aに対応する分布である。分布Q3aは、検出部6aが配置される位置X1a(例、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1aは、干渉縞L2の強度分布に対応する分布Q2aのピーク位置X2aとほぼ同じである。実効PSFに対応する分布Q1aは、干渉縞L2の強度分布に対応する分布Q2と、位置X1aに配置される検出部6aの検出PSFに対応する分布Q3aとを掛け合わせた分布である。
図5(A)の中央のグラフにおいて、検出部6aの位置X1aすなわち検出PSFのピーク位置(分布Q3aのピーク位置)は、干渉縞L2の強度分布に対応する分布Q2aのピーク位置X2aとのずれ量が所定値よりも小さい(例、ほぼ0)。このような場合、実効PSFの分布Q1aは、単一の極大(ピーク)をとる。この場合、分布Q1aのピーク位置は、検出部6aの位置X1aあるいは干渉縞L2の強度分布に対応する分布Q2aのピーク位置X2aとほぼ同じになる。
図5(A)の左側のグラフに示す分布Q3bは、複数の検出部6aのうち位置X1bに配置される検出部6aに対応する分布である。分布Q3bは、検出部6aが配置される位置X1b(例、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1bは、干渉縞L2の強度分布に対応する分布Q2のうちで位置X1bを含む部分的な分布Q2bのピーク位置X2bとずれている。実効PSFに対応する分布Q1bは、干渉縞L2の強度分布に対応する分布Q2と、位置X1bに配置される検出部6aの検出PSFに対応する分布Q3bとを掛け合わせた分布である。
図5(A)の左側のグラフにおいて、検出部6aの位置X1bすなわち検出PSFのピーク位置(分布Q3bのピーク位置)は、干渉縞L2の強度分布に対応する分布Q2bのピーク位置X2bとのずれ量が所定値よりも大きい。この場合、実効PSFの分布Q1bが2つの極大(ピーク)をとる。このように、検出器6aの位置によって実効PSFのピークが2つに分かれる事があり、これを実効PSFの形状の崩れと呼ぶ。実効PSFの最も強いビークをメインローブ、それ以外のピークをサイドローブと呼ぶ。
実効PSFの分布Q1bのメインローブのピーク位置は、検出装置6の中心位置(X2aの位置、検出光学系の光軸の位置)からずれている。このように、検出装置6の検出部6aの位置(r)によって、実効PSFのメインローブの位置もずれることが分かる。以下の説明において、適宜、実効PSFのメインローブの位置のずれを実効PSFの位置ずれと呼ぶ。
図5(A)の右側のグラフに示す分布Q3cは、複数の検出部6aのうち位置X1cに配置される検出部6aに対応する分布である。分布Q3cは、検出部6aが配置される位置X1c(例、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1cは、干渉縞L2の強度分布に対応する分布Q2のうちで位置X1cを含む部分的な分布Q2cのピーク位置X2cとずれている。実効PSFに対応する分布Q1cは、干渉縞L2の強度分布に対応する分布Q2と、位置X1cに配置される検出部6aの検出PSFに対応する分布Q3cとを掛け合わせた分布である。
図5(A)の右側のグラフにおいて、検出部6aの位置X1cすなわち検出PSFのピーク位置(分布Q3cのピーク位置)は、干渉縞L2の強度分布に対応する分布Q2cのピーク位置X2cとのずれ量が所定値よりも大きい。この場合、実効PSFの分布Q1bが2つの極大(ピーク)をとり、実効PSFの形状の崩れ、実効PSFの位置ずれが発生している。
図5(B)は、検出部6aの位置が図5(A)と異なる。図5(B)の左側のグラフに示す分布Q3dは、複数の検出部6aのうち位置X1dに配置される検出部6aに対応する分布である。分布Q3dは、検出部6aが配置される位置X1d(例、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1dは、干渉縞L2の強度分布に対応する分布Q2のうちで位置X1dを含む部分的な分布Q2bのピーク位置X2bとほぼ同じである。このような場合、実効PSFの分布Q1dは、単一の極大(ピーク)をとり、分布Q1dのピーク位置は、検出部6aの位置X1dあるいは干渉縞L2の強度分布に対応する分布Q2bのピーク位置X2bとほぼ同じになる。すなわち、実効PSFの形状の崩れは発生していない。
また、図5(B)の右側のグラフに示す分布Q3eは、複数の検出部6aのうち位置X1eに配置される検出部6aに対応する分布である。分布Q3eは、検出部6aが配置される位置X1e(例、検出部6aの受光領域の中心位置)において極大(ピーク)になる。位置X1eは、干渉縞L2の強度分布に対応する分布Q2のうちで位置X1eを含む部分的な分布Q2cのピーク位置X2cとほぼ同じである。このような場合、実効PSFの分布Q1eは、単一の極大(ピーク)をとり、分布Q1eのピーク位置は、検出部6aの位置X1eあるいは干渉縞L2の強度分布に対応する分布Q2cのピーク位置X2cとほぼ同じになる。すなわち、実効PSFの形状の崩れは発生していない。
本実施形態において、画像処理部7は、検出光学系5の倍率および干渉縞L2の周期(縞間隔)に基づいて、複数の検出部6aから選択される検出部6aの検出結果を用いる。画像処理部7は、干渉縞L2のピーク位置(例、図5のピーク位置X2a、X2b、X2c)に基づいて検出部6aを複数の検出部6aから選択し、選択した検出部6aの検出結果を用いる。干渉縞L2のピーク位置は、例えば、干渉縞L2の強度分布において強度が極大の位置(例、明部の中心位置)に相当する。
画像処理部7は、例えば、図5(B)の中央のグラフにおけるピーク位置X2aに対応する検出結果として、ピーク位置X2aと対応する位置X1aに配置される検出部6aの検出結果を用いる。例えば、ピーク位置X2a、X2b、及びX2cは、数値シミュレーション等によって予め求められ、記憶部に予め記憶される。画像処理部7は、記憶されたピーク位置の情報に基づいて、複数の検出部6aのうちピーク位置X2aの最も近くに配置される検出部6aを選択し、選択した検出部6aの検出結果を用いる。
画像処理部7は、干渉縞L2の強度分布において1つのピークを含む部分的な分布Q2aに関する検出結果として、位置X1aに配置される1つの検出部6aの検出結果のみを用いてもよいし、位置X1aに配置される検出部6aおよびこの検出部6aの周囲の少なくとも1つの検出部6aの検出結果を用いてもよい。
また、画像処理部7は、例えば、図5(B)の左側のグラフにおけるピーク位置X2bに対応する検出結果として、ピーク位置X2bと対応する位置X1dに配置される検出部6aの検出結果を用いる。画像処理部7は、検出光学系5の倍率および干渉縞L2の周期に基づいて、干渉縞L2の強度分布において1つのピークを含む部分的な分布Q2bと位置が整合する検出部6aを複数の検出部6aから選択する。例えば、画像処理部7は、記憶されたピーク位置の情報に基づいて、複数の検出部6aのうちピーク位置X2bの最も近くに配置される検出部6a(例、位置X1dに配置される検出部6a)を選択する。画像処理部7は、分布Q2bに関する検出結果として、選択した検出部6aの検出結果を用いる。
画像処理部7は、干渉縞L2の強度分布において1つのピークを含む部分的な分布Q2bに関する検出結果として、位置X1dに配置される1つの検出部6aの検出結果のみを用いてもよいし、位置X1dに配置される検出部6aおよびこの検出部6aの周囲の少なくとも1つの検出部6aの検出結果を用いてもよい。分布Q1dに対応する実効PSF(PSFeff)は、分布Q2bのピーク位置X2bと検出部6aとの位置X1dとが整合することで、実効PSFの形状の崩れが低減される。
また、画像処理部7は、例えば、図5(B)の右側のグラフにおけるピーク位置X2cに対応する検出結果として、ピーク位置X2cと対応する位置X1eに配置される検出部6aの検出結果を用いる。画像処理部7は、検出光学系5の倍率および干渉縞L2の周期に基づいて、干渉縞L2の強度分布において1つのピークを含む部分的な分布Q2cと位置が整合する検出部6aを複数の検出部6aから選択する。例えば、画像処理部7は、記憶されたピーク位置の情報に基づいて、複数の検出部6aのうちピーク位置X2cの最も近くに配置される検出部6a(例、位置X1eに配置される検出部6a)を選択する。画像処理部7は、分布Q2cに関する検出結果として、選択した検出部6aの検出結果を用いる。
画像処理部7は、干渉縞L2の強度分布において1つのピークを含む部分的な分布Q2cに関する検出結果として、位置X1eに配置される1つの検出部6aの検出結果のみを用いてもよいし、位置X1eに配置される検出部6aおよびこの検出部6aの周囲の少なくとも1つの検出部6aの検出結果を用いてもよい。分布Q1e(PSFeff)は、分布Q2cのピーク位置X2cと検出部6aとの位置X1eとが整合することで、実効PSFの形状の崩れが低減される。
画像処理部7は、上述のように選択した検出部6aの検出結果について、検出部ごとの画像の位置ずれ(実効PSFeffのピーク位置、もしくはメインローブの位置ずれ)を補正する。検出部ごとの画像の位置ずれは、各種設計値を用いた理論計算、あるいは蛍光ビーズなどの小物体を検出装置6によって撮影した撮像画像から取得可能である。このような位置ずれの補正を行うと、選択された検出部6aのそれぞれで得られる画像の実効PSFをほぼ同一にすることができる。このようにして得られた画像のPSFeffは、近似的に検出装置6の中心位置の検出部(光軸上に位置する検出部)のPSFeffと同等と見なせる。検出装置6の中心位置(r=(0,0))の検出部のPSFeffは、下記の式(6)で表される。
干渉縞L2の周期方向、つまりk0方向に着目すると、式(6)より干渉縞L2の周期が小さいほどPSFeffの半値全幅は狭く、分解能が良くなることが分かる。つまり実施形態における干渉縞L2の周期方向に含まれる縞の数(明部)が多いほどPSFeffの半値全幅は狭くなり、分解能が良い。通常の蛍光顕微鏡の半値全幅は0.51λem/NAで与えられる。実施形態におけるPSFeffの半値全幅は、例えばσ=0.3の場合に0.3λex/NAとなり、通常の蛍光顕微鏡よりもPSFの半値全幅が1.7倍ほど狭く分解能が良い。実施形態における干渉縞L2の周期方向に含まれる明部の数は、例えばσ=0.3の場合に5である。実施形態におけるPSFeffの半値全幅は、例えばσ=0.4の場合は0.34λex/NAとなり、通常の蛍光顕微鏡よりもPSFの半値全幅が1.5倍ほど狭く分解能が良い。実施形態における干渉縞L2の周期方向に含まれる明部は、例えばσ=0.4の場合に3である。また、通常の共焦点顕微鏡のピンホールを十分に小さく絞った場合、通常の蛍光顕微鏡よりもPSFの半値全幅が1.4倍ほど狭く分解能が良いことが知られている。共焦点顕微鏡に対して、分解能向上効果の優位性を持つためには、通常の蛍光顕微鏡よりもPSFの半値全幅が1.5倍以上狭いことが望ましい。すなわち、実施形態において干渉縞L2の周期方向に含まれる明部は3以上であることが望ましい。他の実施形態においても同様である。
画像処理部7は、PSFeffがほぼ同一となった画像を足し合わせることで、画像を生成する。画像処理部7は、足し合わされる画像のPSFeffがほぼ同一になっていることで、分解能およびS/N比が良好な画像ISR(rs)を生成可能である。なお、画像ISR(rs)の生成に用いる検出部6aの範囲を広くすると、信号量を増加することができる。また、画像ISR(rs)の生成に用いる検出部6aの範囲を狭くすると、セクショニング能力を高くすることができる。
上記の式(6)をフーリエ変換することで、実効OTFを求めることができる。通常の蛍光顕微鏡での遮断周波数であるkcut
convは、kcut
conv=2NA/λで与えられる。実施形態に係る顕微鏡は、干渉縞L2の方向にOTFが拡大し、2kcut
convまでの遮断周波数を持つ。ここでは簡単のため、励起波長と蛍光波長は等しくλであるとした。実施形態に係るOTFは、通常の蛍光顕微鏡のOTFと、通常の蛍光顕微鏡のOTFが干渉縞L2の周期方向にシフトした成分とが合わさったものになる。
上記の式(6)で説明したように、実施形態に係る顕微鏡1は、干渉縞L2の周期方向(図1ではX方向)の分解能が向上する。顕微鏡1は、干渉縞L2の周期方向を変更して試料Sからの蛍光を検出することで、2次元的に分解能を向上させることも可能である。ここで、干渉縞L2の周期方向を90°変更する例を説明する。干渉縞L2の周期方向を90°変更するには、図2の状態のマスク15及び偏光子14をZa方向の周りで90°回転させる。
干渉縞L2の周期方向がX方向である場合の超解像画像をISRx(rs)とし、干渉縞L2の周期方向がY方向である場合の超解像画像をISRy(rs)とする。画像処理部7は、ISRx(rs)とISRy(rs)とを足し合わせることで、2次元的に分解能が向上した超解像画像を生成してもよい。また、画像処理部7は、下記の処理によって超解像画像を生成してもよい。
画像処理部7は、超解像画像ISRx(rs)および超解像画像ISRy(rs)をそれぞれフーリエ変換する。ここで、フーリエ変換された超解像画像ISRx(rs)をI~
SRx(ks)で表わす。明細書中の「~」は数式中のチルダーである。また、フーリエ変換された超解像画像ISRy(rs)をI~
SRy(ks)で表す。I~
SR_x(ks)は、通常の蛍光顕微鏡に比べて、干渉縞の周期方向(X方向)に関して遮断周波数が増加する。また、I~
SRy(ks)は、通常の蛍光顕微鏡に比べて、干渉縞の周期方向(Y方向)に関して遮断周波数が増加する。画像処理部7は、I~SRx(ks)とI~SRy(ks)とを足し合わせる。これにより、2方向(X方向およびY方向)において、遮断周波数が増加する。
なお、足し合わされた実効OTFの形状は、干渉縞L2の周期方向を変更する方向の組み合わせによって、いびつである場合がある。この場合、画像処理部7は、実効OTFの形状を補正する周波数フィルターをかけてもよい。これにより、ISRx(rs)とISRy(rs)とを足し合わせる場合よりも効果的に分解能を向上させることができる。また、図3で説明したように、照明光学系4は、干渉縞L2の周期方向を0°、120°、240°の3通りに変更し、検出装置6は、3通りの周期方向のそれぞれについて蛍光L3を検出してもよい。画像処理部7は、3通りの周期方向について検出装置6が検出した3つの検出結果(例、3枚の画像)を用いて、超解像画像を生成してもよい。
次に、上述の顕微鏡1の構成に基づき、実施形態に係る観察方法について説明する。図6は、実施形態に係る観察方法を示すフローチャートである。顕微鏡1の各部については、適宜、図1あるいは図4を参照する。ステップS1において、図1の照明光学系4は、走査ミラーの角度を設定する。照明光学系4は、ステップS1で設定された走査ミラーの角度によって定まる試料上の位置に、励起光を干渉縞として照射する。ステップS2において、試料の蛍光物質は、励起光の干渉縞で励起される。ステップS3において、図4の検出装置6は、試料Sからの蛍光L3を、検出光学系5を介して検出する。
ステップS4において、顕微鏡1(例、制御部)は、走査ミラーの角度変更を実行するか否かを判定する。顕微鏡1は、予定された観察領域の一部についてステップS1からステップS3の処理が終了していないと判定した場合に、ステップS4において走査ミラーの角度変更を実行すると判定する(ステップS4;Yes)。顕微鏡1は、走査ミラーの角度変更を実行すると判定した場合(ステップS4;Yes)、ステップS1の処理に戻り、照明光学系4は、走査ミラーの角度を予定された次の角度に設定する。そして、ステップS2からステップS4の処理が繰り返される。このようにして、照明光学系4は、試料Sを励起光L1の干渉縞で2次元的に走査する。
顕微鏡1は、ステップS4において、予定された観察領域の全てについてステップS1からステップS3の処理が終了したと判定した場合に、走査ミラーの角度変更を実行しないと判定する(ステップS4;No)。走査ミラーの角度変更を実行しないと顕微鏡1が判定した場合(ステップS4;No)、ステップS5において、画像処理部7は、検出部ごとの画像の位置ずれを補正する。画像処理部7は、複数の検出部の少なくとも1つの検出部から得られるデータを、その検出部の位置に基づいて補正する。例えば、画像処理部7は、複数の検出部から選択される検出部から得られるデータを、当該検出部の位置に基づいて補正する。例えば、画像処理部7は、複数の検出部のうちの第1の検出部(例、図5(B)において位置X1dに配置される検出部)から得られるデータを、第1の検出部の位置(例、X1d)に基づいて補正する。また、画像処理部7は、2以上の検出部の検出結果を用いて画像を生成する。例えば、ステップS6において、画像処理部7は、ステップS5の補正後の画像を足し合わせることで、画像(例、超解像画像)を生成する。
なお、検出装置6の複数の検出部6aの位置は、干渉縞L2のピーク(もしくは極大、明点)位置と整合するように、干渉縞L2の周期に基づいて設定されてもよい。検出装置6は、検出部6aの間隔と干渉縞L2の縞間隔とが整合するように、予め設定されてもよい。上記の検出部6aの間隔は、1つの検出部6aの中心と、その隣の検出部6aの中心との間隔である。また、上記の干渉縞L2の縞間隔は、干渉縞L2において、1つの明部の中心線と、その隣の明部の中心線との間隔である。ここで、干渉縞L2の波数をk0とすると、干渉縞L2の縞間隔は1/k0となる。干渉縞の縞間隔が1/k0である場合、検出装置6の検出部6aの間隔は、下記の式(7)に示すPと概ね同じになるように設定される。
上記の式(7)において、対物レンズ21を含む検出光学系5の倍率は1倍とした。検出光学系5の倍率がMdetである場合は、倍率分だけ検出器6aの間隔を変え、検出器6aの間隔をMdet/k0とすればよい。もしくは、検出光学系5の一部をズームレンズにすることで検出器6aの間隔を干渉縞L2の周期に整合させることが出来る。この場合、検出光学系5の倍率のみを変更可能なレンズ23をズームレンズとすることが望ましい。また、干渉縞L2の周期は、検出装置6の複数の検出器6aの間隔と整合するように、調整されてもよい。例えば、マスク15の開口部15a、15bの間隔を変更することで干渉縞L2の周期を変更することができる。
なお、本実施形態において、顕微鏡1は、試料面Saと平行な2方向に干渉縞L2を走査することで、干渉縞L2を2次元的に走査する。実施形態に係る顕微鏡1は、試料面Saと平行な2方向、及び試料面Saに垂直な1方向に干渉縞L2を走査することで、干渉縞L2を三次元的に走査してもよい(。干渉縞L2を三次元的に走査する場合、試料面Saと平行な2方向に干渉縞L2を走査する処理(以下、2次元処理という)については、上述の実施形態で説明した処理と同様である。顕微鏡1は、2次元処理をZ方向の位置を変更して繰り返すことにより、例えば、三次元的な超解像画像を生成可能である。後述の実施形態について同様に、顕微鏡1は、干渉縞L2を三次元的に走査してもよい。
[第2実施形態]
第2実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部7(図4参照)は、周波数空間上のデータに対してフィルタリングを行って、画像を生成する。画像処理部7は、検出装置6から得られるデータに対してデコンボリューションを実行して、画像を生成する。画像処理部7は、上記のフィルタリングとして、検出装置6の検出部6aごとにデコンボリューションおよびアポダイゼーションを行って、画像を生成する。すなわち、画像処理部7は、周波数空間上のデータに対して、デコンボリューションを含むフィルタリングを行う。以下の説明において、適宜、デコンボリューションとアポダイゼーションの一連の処理を合わせて(総称して)、デコンボリューションと称することがある。
第2実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部7(図4参照)は、周波数空間上のデータに対してフィルタリングを行って、画像を生成する。画像処理部7は、検出装置6から得られるデータに対してデコンボリューションを実行して、画像を生成する。画像処理部7は、上記のフィルタリングとして、検出装置6の検出部6aごとにデコンボリューションおよびアポダイゼーションを行って、画像を生成する。すなわち、画像処理部7は、周波数空間上のデータに対して、デコンボリューションを含むフィルタリングを行う。以下の説明において、適宜、デコンボリューションとアポダイゼーションの一連の処理を合わせて(総称して)、デコンボリューションと称することがある。
図7は、第2実施形態に係る顕微鏡の画像処理部の処理を示す図である。顕微鏡の各部については、適宜、図1あるいは図4を参照する。図7(A)は、デコンボリューション前のPSFであり、図5(A)と同様である。図7(A)において、検出装置6(図4参照)の検出部6aの間隔が干渉縞L2の間隔に合っていない。この場合、上記の式(5)で説明したように、検出部6aごとに得られる画像の実効PSF(実線)は検出器6aの位置によっては形状が崩れる。検出器6aごとの実効PSFは、設計値から理論計算すること、あるいは蛍光ビーズのような小物体を撮影することにより取得可能(推定可能)である。画像処理部7は、このようにして取得した実効PSFを用いて、検出部6aごとに得られる画像の実効PSFの形状の崩れ、および位置ずれを補正するようにデコンボリューションを実行する。
図7(B)はデコンボリューション後のPSFである。図7(B)の中央のグラフにおいて、符号Q4aは、図7(A)の中央のグラフに示す分布Q1aすなわち位置X1aに配置された検出部6aの実効PSFを、デコンボリューションして得られる実効PSFに対応する。ここでは、検出部6aの位置X1aと、分布Q2aのピーク位置X2aとのずれ量が所定値よりも小さく、デコンボリューション後の実効PSFに対応する分布Q4aは、デコンボリューション前の実効PSFに対応する分布Q1aとほぼ同じである。
また、図7(B)の左側のグラフにおいて、符号Q4bは、図7(A)の左側のグラフに示す分布Q1bすなわち位置X1bに配置された検出部6aの実効PSFを、デコンボリューションして得られる実効PSFに対応する。図7(B)の右側のグラフにおいて、符号Q4cは、図7(A)の右側のグラフに示す分布Q1cすなわち位置X1cに配置された検出部6aの実効PSFを、デコンボリューションして得られる実効PSFに対応する。このような一連の処理(デコンボリューション)によって、図7(B)の3つのグラフに示すように、検出器6aごとの実効PSFがほぼ同一となる。画像処理部7は、デコンボリューションの結果を用いて、画像を生成する。以下、画像処理部7の処理について、より詳しく説明する。
画像処理部7は、複数の検出部6aの少なくとも一部の検出結果を周波数空間上のデータへ変換し、その変換結果を用いて画像(例、超解像画像)を生成する。以下の説明において、複数の検出部6aの少なくとも一部の検出結果を周波数空間で表したデータを、適宜、周波数空間の成分という。画像処理部7は、複数の検出部6aの少なくとも一部の検出結果をフーリエ変換し、フーリエ変換により得られる周波数空間の成分を用いて画像を生成する。上記の式(4)をrsについてフーリエ変換すると、下記の式(8)が得られる。
式(4)の左辺のI~(r,ks)は、I(r,rs)をrsについてフーリエ変換したものである。右辺のOTFeff(r,ks)は、PSFeff(r,rs)をrsについてフーリエ変換したものであり、検出装置6の検出部6aごとの実効OTFを表す。また、右辺のObj~(ks)はObj(rs)をrsについてフーリエ変換したものである。
デコンボリューションには、ウィーナーフィルタやリチャードソン・ルーシー法など様々な方法が存在する。ここでは一例としてウィーナーフィルタを用いた処理を説明するが、画像処理部7は、その他の処理によってデコンボリューションを実行してもよい。ウィーナーフィルタによる、各検出部のデコンボリューションは、下記の式(9)で表される。
式(9)において、Obj~(r,ks)は検出装置6の検出部6aごとに推定した蛍光物質の分布(以下、推定蛍光物質分布という)である。wはノイズを抑制するためのウィーナーパラメータである。この処理により、検出装置6の2以上の検出部6aにおいて、推定蛍光物質分布Obj~(r,ks)がほぼ共通になる。すなわち、上記の処理により検出器6aごとの実効PSFの形状の崩れがおよび位置ずれが補正され、検出器6aごとの実効PSFがほぼ同一となる。画像処理部7は、下記の式(10)に示す処理によって、Obj~(r,ks)にアポダイゼーションを行い、検出装置6の検出部6aにおけるスペクトルを足し合わせ、超解像画像ISR(rs)を生成する。
式(10)において、A(ks)は画像の負値を抑制するためのアポダイゼーション関数であり、Obj~(r,ks)にA(ks)を掛けることをアポダイゼーションと呼ぶ。A(ks)の関数形は理論計算もしくはシミュレーション等により画像の負値を抑制するよう設計する。また、Fks
-1は、ksに関する逆フーリエ変換である。画像処理部7は、検出部6aごとのスペクトルを足し合わせた後に逆フーリエ変換を行うが、逆フーリエ変換を行ってから画像を足し合わせてもよい。画像処理部7は、式(9)および式(10)の処理において、検出部6aごとに独立してデコンボリューションした後に、検出部6aごとに画像を足し合わせる。画像処理部7は、下記の式(11)のように、2以上の検出部6aをまとめて、デコンボリューションしてもよい。
図8は、第2実施形態に係る観察方法を示すフローチャートである。ステップS1からステップS4の処理は、図6と同様であるので、その説明を省略する。ステップS11において、画像処理部7は、各検出部の検出結果をフーリエ変換する。ステップS12において、画像処理部7は、デコンボリューションを実行する。ステップS13において、画像処理部7は、アポダイゼーションを実行する。アポダイゼーションは、デコンボリューションの一部の処理でもよい。画像処理部7は、ステップS14において、デコンボリューションの結果を用いて検出部6aごとの画像を足し合わせる。画像処理部7は、ステップS15において、ステップS14で得られた第1の画像(例、フーリエ画像)を逆フーリエ変換することで、第2の画像(例、超解像画像)を生成する。
なお、画像処理部7は、第1実施形態で説明したように、足し合わせる検出部6aの範囲を変化させてもよい。また、画像処理部7は、第1実施形態で説明したように、1次元的にまたは2次元的に分解能を向上させてもよい。
[第3実施形態]
第3実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図9は、第3実施形態に係る顕微鏡の画像処理部の処理を示す図である。顕微鏡の各部については、適宜、図1あるいは図4を参照する。
第3実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図9は、第3実施形態に係る顕微鏡の画像処理部の処理を示す図である。顕微鏡の各部については、適宜、図1あるいは図4を参照する。
本実施形態において、画像処理部7(図4参照)は、第2実施形態と異なる画像処理によって、検出部6aごとの実効PSFの形状の崩れを補正する。図9(A)は、本実施形態に係る画像処理前のPSFであり、図5(A)と同様である。図9(A)において、検出装置6(図4参照)の検出部6aの間隔が干渉縞L2の間隔に合っていない。この場合、上記の式(5)で説明したように、検出部6aごとに得られる画像の実効PSF(実線)は検出器6aの位置によっては形状が崩れる。画像処理部7は、干渉縞L2の強度分布の部分的な分布(例、図9(A)左側のグラフに示すQ2b)のピーク位置が、検出部6aの位置と整合するように、干渉縞L2の強度分布の位相を画像処理によって実効的にシフトさせる。
図9(B)は、位相をシフトさせた後の検出部6aごとの実効PSFである。図9(B)の左側のグラフにおいて、分布Q2fは、図9(A)の分布Q2bのピーク位置X2bが検出部6aの位置X1bと一致するように、分布Q2の位相をシフトさせた分布である。分布Q2fのピーク位置X2fは、検出部6aの位置X1bとほぼ一致する。符号Q1fは、位相をシフトさせた分布Q2fと、位置X1bに配置された検出部6aの検出PSF(分布Q3b)とから得られる実効PSFに対応する分布である。分布Q1fは、実効PSFの形状の崩れが低減されている。
また、図9(B)の右側のグラフにおいて、分布Q2gは、図9(A)の分布Q2cのピーク位置X2cが検出部6aの位置X1cと一致するように、分布Q2の位相をシフトさせた分布である。分布Q2gのピーク位置X2gは、検出部6aの位置X1cとほぼ一致する。符号Q1gは、位相をシフトさせた分布Q2gと、位置X1cに配置された検出部6aの検出PSF(分布Q3c)とから得られる実効PSFに対応する分布である。分布Q1gは、実効PSFの形状の崩れが低減されている。
上述のような画像処理処理により、検出部6aごとの実効PSF(実線)の形状がほぼ同一となるように補正される。画像処理部7は、ほぼ同一の形状に補正された実効PSFを持つ検出部6aごとの画像を用いて、画像を生成する。
以下、画像処理部7の処理の流れについて、より詳しく説明する。検出装置6で得られる像I(r,rs)は、上記の式(3)で表される。式(3)に、上記の式(2)に示したill(r)を代入すると、下記の式(12)が得られる。
式(12)において、φは干渉縞L2の初期位相を示す。画像処理部7は、画像処理によって干渉縞L2の位相をディテクター座標に応じて変化させ、実効PSFの形状を揃える。顕微鏡1は、式(3)で説明したように、4次元の画像データI(r,rs)を取得する。画像処理部7は、I(r,rs)に対して4次元のフーリエ変換を行う。フーリエ変換によって得られる周波数空間の4次元のデータをI~(k,ks)で表す。画像処理部7は、I~(k,ks)から、下記の式(13)から式(15)のいずれかの条件を満たす領域の情報を抽出する。以下の説明において、式(13)の条件を満たす領域を0次成分の領域AR1aと称し、式(14)の条件を満たす領域を+1次成分の領域AR1bと称し、式(15)の条件を満たす領域を-1次成分の領域AR1cと称する。また、0次成分の領域AR1aのデータをI0
~(k,ks)で表し、+1次成分の領域AR1bのデータをI+1
~(k,ks)で表し、-1次成分の領域AR1cのデータをI-1
~(k,ks)で表す。I0
~(k,ks)、I+1
~(k,ks)、I-1
~(k,ks)は、それぞれ、フーリエ変換で得られる周波数空間上のデータである。I~(k,ks)からI0
~(k,ks)、I+1
~(k,ks)、I-1
~(k,ks)を分離する処理を、適宜、成分分離と称す。
図10は、第3実施形態において、成分分離に用いる周波数空間の領域を示す図である。ここでは、マスク15(図2参照)の開口15a、開口15bが円形である場合について説明する。マスク15の開口は円形以外の形状でもよい。0次成分の領域AR1a、+1次成分の領域AR1b、及び-1次成分の領域AR1cの範囲は、マスク15の開口が円形である場合、マスク15の開口が円形以外の形状である場合のいずれについても、数値シミュレーション、理論計算等で求めることができる。
図10(A)にはkxs-kys平面における各領域を示した。0次成分の領域AR1a、+1次成分の領域AR1b、-1次成分の領域AR1cは、それぞれ円形の領域である。0次成分の領域AR1a、+1次成分の領域AR1b、及び-1次成分の領域AR1cは、直径がいずれも同じである。0次成分の領域AR1aの直径は、4σkNA
exである。0次成分の領域AR1aは、原点を中心とする領域である。+1次成分の領域AR1bおよび-1次成分の領域AR1cは、それぞれ、中心がkxsの軸上の領域である。-1次成分の領域AR1cの中心と原点との距離Aは、2(1-σ)kNA
exである。+1次成分の領域AR1bは、0次成分の領域AR1aに関して-1次成分の領域AR1cと対称な位置の領域である。
図10(B)にはkxs-kx平面における各領域を示した。0次成分の領域AR1a、+1次成分の領域AR1b、及び-1次成分の領域AR1cは、それぞれ平行四辺形の領域である。
画像処理部7は、試料Sにおける励起光の光強度分布に基づいて、成分分離における周波数空間の領域を設定する。例えば、画像処理部7は、試料Sにおける励起光の光強度分布として試料面Saでの励起光の電場強度ill(r)に基づいて、互いに重複しない複数の領域を設定する。上記の複数の領域は、互いに重複しない3以上の領域を含む。例えば、上記の複数の領域は、第1領域として図10の領域AR1a、第2領域として図10の領域AR1b、第3領域として図10の領域AR1cを含む。画像処理部7は、周波数空間上のデータから、第1領域(領域AR1a)に属するデータ、第2領域(領域AR1b)に属するデータ、及び第3領域(領域AR1c)に属するデータのそれぞれを抽出することで、成分分離を行う。
画像処理部7は、I0
~(k,ks)、I+1
~(k,ks)、及びI-1
~(k,ks)をそれぞれ、4次元の逆フーリエ変換することによって、実空間の画像データを算出する。以下、I0
~(k,ks)を逆フーリエ変換して得られる画像データをI0(r,rs)で表す。また、I+1
~(k,ks)を逆フーリエ変換して得られる画像データをI+1(r,rs)で表す。また、I-1
~(k,ks)を逆フーリエ変換して得られる画像データをI-1(r,rs)で表す。画像処理部7は、I0(r,rs)、I+1(r,rs)、及びI-1(r,rs)のそれぞれに対して、下記の式(16)に示す演算を行う。
式(16)において、ψ(r)は検出装置6の検出部6aの位置rごとの位相シフト量を表す。画像処理部7は、上記の式(16)の3式の演算結果について、下記の式(17)に示すように和を算出する。
上記の式(17)の演算から得られるI’(r,rs)は、検出部6aの位置rごとの実効PSFの形状の崩れが補正され、実効PSFの形状がほぼ同一となった画像となる。画像処理部7は、I’(r,rs)に対して、検出装置6の検出部6aごとの実効PSFの位置ずれを補正する。これにより、検出装置6の2以上の検出部6aで実効PSFをほぼ同一とすることができる。画像処理部7は、実効PSFがほぼ同一に補正された検出部6aごとの画像を足し合わせることによって、画像を生成する。
ここで、成分分離を行う領域の決定方法、位相シフト処理の位相シフト量の決定方法、実効PSFの位置ずれ補正方法、本手法によって得られる超解像効果について説明する。I(r,rs)に対して、r、rsについて4次元のフーリエ変換を行うと、下記の式(18)に示すI~(k,ks)が得られる。
式(18)において、Fr,rsはr、rsについてのフーリエ変換を表す。OTFdetは、PSFdetのフーリエ変換であり検出光学系5のOTFを表す。ill~は、illのフーリエ変換であり、OTFillはPSFillのフーリエ変換であり、Obj~はObjのフーリエ変換である。式(18)は、下記の式(19)に示すように、3つの項の和になっている。
ここで、式(19)の右辺第1項のI0
~(k,ks)を0次成分と称し、右辺第2項のI+1
~(k,ks)を+1次成分と称し、右辺第3項のI-1
~(k,ks)を-1次成分と称す。これは上記で説明した、0次成分の領域AR1aのデータI0
~(k,ks)、+1次成分の領域AR1bのデータI+1
~(k,ks)、-1次成分の領域AR1cのデータI-1
~(k,ks)と同一である。0次成分、+1次成分、-1次成分は、それぞれ、下記の式(20)で表される。
ここで、0次成分、+1次成分、-1次成分が値も持つ領域の決定方法について述べる。式(20)において、OTFdet(k)の遮断周波数は2kNA
emで与えられる。また、OTFill(k)の遮断周波数は2σkNA
exで与えられる。したがって、OTFdet(k)は、|k|が2kNA
em以下である範囲でのみ値を持つ。同様に、OTFill(k-ks)は|k-ks|が2σkNA
e以下である範囲でのみ値を持つ。OTFill(k-ks-k0)は|k-ks-k0|が2σkNA
ex以下である範囲でのみ値を持つ。OTFill(k-ks+k0)は|k-ks+k0|が2σkNA
ex以下である範囲でのみ値を持つ。この領域を図示すると図10に示した形となる。
したがって、I~(k,ks)からI0
~(k,ks)、I+1
~(k,ks)、I-1
~(k,ks)を分離するためには、それぞれ、式(13)から式(15)のそれぞれに示した領域の値を抽出すればよい。なお、0次成分の領域AR1a、+1次成分の領域AR1b、-1次成分の領域AR1cは、それぞれ、式(13)から式(15)のそれぞれに示した領域よりも大きくてもよいし、小さくてもよい。また、マスク15の開口15a、開口15bが円形以外の場合も理論計算、シミュレーション等によりOTFdet、OTFillが値を持つ領域を算出することで成分分離を行う領域を決定できる。
I0
~(k,ks)、I+1
~(k,ks)、I-1
~(k,ks)のそれぞれを逆フーリエ変換により実空間に戻したものを、I0(r,rs)、I+1(r,rs)、I-1(r,rs)とする。上記の式(20)をk,ksについて逆フーリエ変換すると以下の式(21)が得られる。
画像処理部7は、成分分離および逆フーリエ変換の結果に対して、上記の式(16)、式(17)に示した処理を行う。このようにして、ディテクター座標rに応じて干渉縞L2の位相がシフトされる。干渉縞の位相のシフト量は、例えば、PSFdet(r+rs)とPSFill(rs)の積によって得られる関数のピーク位置と干渉縞のピークとがほぼ一致するように、決定される。
干渉縞の位相のシフト量は、例えば、下記のように決定される。画像処理部7は、ディテクター座標rで検出した信号の位置ずれ量を算出する。画像処理部7は、PSFdet(r+rs)とPSFill(rs)の積によって得られる関数のピーク位置を求めることで、上記の位置ずれ量を算出する。ここで実効PSFの位置ずれはディテクター座標rに比例すると考えてよく、位置ずれの度合いを表すパラメーターをβとし、位置ずれ量をr/βで表す。
βの値は、PSFdet(r+rs)とPSFill(rs)との積によって得られる関数のピーク位置から算出されてもよいし、数値シミュレーションによって算出されてもよい。βが決まると、ディテクター座標に応じた位相シフト量が決まる。干渉縞L2の位相シフト量ψ(r)はPSFdet(r+rs)とPSFill(rs)との積によって得られる関数のピーク位置と、干渉縞のピーク位置とが一致するように決定される。このような処理によって、位相シフト量は、例えば、ψ(r)=-2πk0・r/β-φとなる。初期位相φの値は、蛍光ビーズを用いて予め測定された値でもよいし、観察画像から推定される値でもよい。画像処理部7は、試料Sにおける励起光の光強度分布に基づいて、位相を変換する量(位相シフト量)を決定する。画像処理部7は、試料Sにおける励起光の光強度分布として試料面Saでの励起光の電場強度ill(r)に基づいて、位相シフト量を決定する。このように設定したψ(r)を用いることで、式(16)、式(17)に示した処理後に検出器6aの位置rごとの実効PSFの形状の崩れが補正される。
画像処理部7は、上述のように位相シフト処理を行った後、検出器6aごとの実効PSFの位置ずれを補正する処理を行う。位置ずれの補正処理を行うと、検出装置6の検出部6aごとの画像の実効PSFがほぼ同一となる。画像処理部7は、検出装置6の検出部6aごとの画像を足し合わせることで、超解像画像ISR(rs)を生成する。この一連の処理は、下記の式(22)で表される。
式(22)において、PH(r)は、下記の式(23)で定義されるピンホール関数である。
rPHの値を調整することで、信号量およびセクショニング効果を調整することができる。rPHを大きくすると、信号量が増加する。また、rPHを小さくするとセクショニング能力が向上する。上式(22)の演算によって得られる画像の実効PSFであるPSFSR(rs)は下記の式(24)で表される。
干渉縞L2の周期方向、つまりk0方向に着目すると、式(24)より干渉縞L2の周期が小さいほどPSFeffの半値全幅は狭く、分解能が良くなることが分かる。つまり実施形態における干渉縞L2の周期方向に含まれる縞の数(明部)が多いほどPSFeffの半値全幅は狭くなり、分解能が良い。通常の蛍光顕微鏡の半値全幅は0.51λem/NAで与えられる。実施形態におけるPSFeffの半値全幅は、例えばσ=0.3の場合に0.3λex/NAとなり、通常の蛍光顕微鏡よりもPSFの半値全幅が1.7倍ほど狭く分解能が良い。実施形態における干渉縞L2の周期方向に含まれる明部の数は、例えばσ=0.3の場合に5である。実施形態におけるPSFeffの半値全幅は、例えばσ=0.4の場合は0.34λex/NAとなり、通常の蛍光顕微鏡よりもPSFの半値全幅が1.5倍ほど狭く分解能が良い。実施形態における干渉縞L2の周期方向に含まれる明部は、例えばσ=0.4の場合に3である。また、通常の共焦点顕微鏡のピンホールを十分に小さく絞った場合、通常の蛍光顕微鏡よりもPSFの半値全幅が1.4倍ほど狭く分解能が良いことが知られている。共焦点顕微鏡に対して、分解能向上効果の優位性を持つためには、通常の蛍光顕微鏡よりもPSFの半値全幅が1.5倍以上狭いことが望ましい。すなわち、実施形態において干渉縞L2の周期方向に含まれる明部は3以上であることが望ましい。他の実施形態においても同様である。
本実施形態において、スキャン間隔、検出装置6の検出部6aの間隔は、遮断周波数およびナイキストの定理に基づいて設定されてもよい。スキャン間隔は、干渉縞の周期方向においてλex/8NA以下に設定されてもよい。また、スキャン間隔は、干渉縞の周期方向と垂直な方向においてλex/4NA以下に設定されてもよい。また、検出装置6の検出部6aの間隔は、λem/4NA以下に設定されてもよい。
図11は、第3実施形態に係る観察方法を示すフローチャートである。ステップS1からステップS4の処理は図6と同様であり、その説明を省略する。ステップS21において、画像処理部7は、複数の検出部6aの少なくとも一部の検出結果をフーリエ変換する。ステップS21において、画像処理部7は、I(r,rs)に対して4次元のフーリエ変換を行う。ステップS22において、画像処理部7は、周波数空間において成分分離する。画像処理部7は、フーリエ変換により得られる周波数空間の成分を周波数空間の領域ごとに分離する。ステップS23において、画像処理部7は、分離された成分を逆フーリエ変換する。ステップS24において、画像処理部7は、位相シフト処理を実行する。画像処理部7は、ステップS25において、実効PSFの位置ずれを補正する。ステップS26において、画像処理部7は、ステップS25で位置ずれを補正して得られる画像を足し合わせることで、画像(例、超解像画像)生成する。
このように、本実施形態に係る画像処理部7は、成分分離によって得られるデータの少なくとも一部の位相を変換して画像を生成する。上述の説明において、画像処理部7は、実空間上のデータに対して位相シフト処理を実行する。すなわち、画像処理部7は、成分分離によって得られるデータとして、成分分離したデータ(周波数空間上のデータ)を逆フーリエ変換によって実空間上のデータに変換したデータ(実空間上のデータ)を用いる。なお、画像処理部7は、成分分離した周波数空間上のデータに対して、周波数空間において位相シフト処理を実行してもよい。
[第4実施形態]
第4実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部7(図4参照)は、第3実施形態で説明した成分分離を行った後、分離された成分についてデコンボリューションを行って画像を生成する。
第4実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部7(図4参照)は、第3実施形態で説明した成分分離を行った後、分離された成分についてデコンボリューションを行って画像を生成する。
上記の式(19)に式(20)を代入すると、下記の式(25)が得られる。
式(25)において、OTF0(k,ks)、OTF+1(k,ks)、及びOTF-1(k,ks)は、下記の式(26)で表される。
画像処理部7は、OTF0(k,ks)、OTF+1(k,ks)、及びOTF-1(k,ks)のそれぞれの推定値を用いて、デコンボリューションを行う。デコンボリューションには、ウィーナーフィルタやリチャードソン・ルーシー法など様々な方法がある。ここでは、デコンボリューションの一例としてウィーナーフィルタを用いた処理を説明するが、他の方法を用いたデコンボリューションでもよい。上記の式(25)について、ウィーナーフィルタによるデコンボリューションは、下記の式(27)で表される。
式(27)において、A(ks)は画像の負値を抑制するためのアポダイゼーション関数である。また、wは、ノイズを抑制するためのウィーナーパラメータである。Fks
-1はksに関する逆フーリエ変換である。画像処理部7は、上述のデコンボリューションの結果を用いて画像を生成する。
図12は、第4実施形態に係る観察方法を示すフローチャートである。ステップS1からステップS4の処理は、図6と同様であり、その説明を省略する。ステップS31において、画像処理部7は、検出結果をフーリエ変換する。また、ステップS32において、画像処理部7は、周波数空間で成分を分離する。ステップS33において、画像処理部7は、ステップS32の処理によって分離された成分を用いて、デコンボリューションを行う。ステップS34において、画像処理部7は、アポダイゼーションを行う。ステップS35において、画像処理部7は、デコンボリューションおよびアポダイゼーションによって得られたデータに対して逆フーリエ変換を行う。画像処理部7は、逆フーリエ変換によって得られたデータを用いて画像を生成する。
以上のように、本実施形態に係る画像処理部7は、周波数空間において成分分離、デコンボリューション、及びアポダイゼーションを実行し、これらの処理によって得られたデータを実空間におけるデータに変換して画像を生成する。本実施形態において、画像処理部7は、検出装置6の検出部6aごとの実効PSFをほぼ一致させて位置ずれを補正する処理によらずに、画像を生成してもよい。
本実施形態において、スキャン間隔、検出装置6の検出部6aの間隔は、遮断周波数およびナイキストの定理に基づいて設定されてもよい。スキャン間隔は、干渉縞の周期方向においてλex/8NA以下に設定されてもよい。また、スキャン間隔は、干渉縞の周期方向と垂直な方向においてλex/4NA以下に設定されてもよい。また、検出装置6の検出部6aの間隔は、λem/4NA以下に設定されてもよい。
なお、画像処理部7は、上記のkに関して積算の対象とする範囲を、全空間の範囲に設定してもよいし、全空間の一部の範囲に設定してもよい。また、画像処理部7は、フーリエ変換によってI0
~(k,ks)、I+1
~(k,ks)、I-1
~(k,ks)を演算する際に、rの範囲を限定してもよい。また、画像処理部7は、OTF0(k,ks)、OTF+1(k,ks)、及びOTF-1(k,ks)として、蛍光ビーズを用いた測定あるいは設計値を用いた数値シミュレーション等によって予め得られるデータを用いてもよいし、試料Sからの蛍光を検出装置6が検出した結果から得られるデータ(例、推定値)を用いてもよい。
[第5実施形態]
第5実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図13は、第5実施形態に係る顕微鏡を示す図である。本実施形態において、検出装置6は、複数の検出部6aが1次元的に配列されたラインセンサ(ラインディテクター)を含む。複数の検出部6aは、検出装置6において1方向に配列されている。検出装置6は、試料面Saと光学的に共役な位置に配置される。複数の検出部6aが並ぶ方向(以下、配列方向という)は、干渉縞L2の周期方向と対応する方向に設定される。例えば、図13において、干渉縞の周期方向はX方向であり、複数の検出部6aの配列方向は、X方向に対応するXb方向に設定される。
第5実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図13は、第5実施形態に係る顕微鏡を示す図である。本実施形態において、検出装置6は、複数の検出部6aが1次元的に配列されたラインセンサ(ラインディテクター)を含む。複数の検出部6aは、検出装置6において1方向に配列されている。検出装置6は、試料面Saと光学的に共役な位置に配置される。複数の検出部6aが並ぶ方向(以下、配列方向という)は、干渉縞L2の周期方向と対応する方向に設定される。例えば、図13において、干渉縞の周期方向はX方向であり、複数の検出部6aの配列方向は、X方向に対応するXb方向に設定される。
本実施形態に係る顕微鏡1は、λ/2波長板30と、光軸の周りで光路を回転させる光路回転部31とを備える。λ/2波長板30は、光路回転部31による光路の回転角に基づいて、光路回転部31を通る偏光を回転させる。光路回転部31は、照明光学系4においてマスク15から試料Sまでの間の光路に配置される。光路回転部31は、例えば、照明光学系4の光路において励起光L1がほぼ平行光になる位置に配置される。光路回転部31は、例えば、照明光学系4において励起光L1が通り且つ検出光学系5において蛍光L3が通る位置に配置される。光路回転部31は、例えば、ダイクロイックミラー16と試料Sとの間の光路に配置される。λ/2波長板30は、光路回転部31に対して試料Sと同じ側に配置されてもよいし、光路回転部31に対して試料Sと反対側(例、励起光の光源と同じ側)に配置されてもよい。
光路回転部31は、例えば、ダブプリズムなどのイメージローテーターである。光路回転部31は、照明光学系4の光軸の周りで回転可能に設けられる。光路回転部31は、駆動部32によって駆動されて回転する。光路回転部31としてダブプリズムを用いる場合、ダブプリズムを照明光学系4の光軸の周りでθ°回転させると、ダブプリズムからの光出射側(試料S側)における光路は、ダブプリズムへの光入射側(光源3側)における光路に対して、照明光学系4の光軸の周りで2×θ°回転する。これにより、試料Sに対する励起光L1の入射面は、Z方向の周りで2×θ°回転し、干渉縞L2の周期方向は、Z方向の周りで2×θ°回転する。例えば、干渉縞L2の周期方向を90°変更する場合、駆動部32は、光路回転部31を照明光学系4の光軸の周りで45°回転させる。このように、光路回転部31は、試料に対する干渉縞の方向を変更する縞方向変更部に含まれる。
λ/2波長板30は、照明光学系4の光軸の周りで回転可能に設けられる。λ/2波長板30は、光路回転部31と連動して回転する。λ/2波長板30は、光路回転部31の回転角に基づいて定められる角度だけ回転する。例えば、λ/2波長板30は、光路回転部31と固定(例、一体化)され、光路回転部31とともに回転する。この場合、λ/2波長板30は、光路回転部31の回転角と同じ角度だけ回転する。
λ/2波長板30を照明光学系4の光軸の周りでθ°回転させると、励起光L1の偏光方向は、光入射側(光源3側)における偏光方向に対して、照明光学系4の光軸の周りで2×θ°回転する。これにより、試料Sに入射する際の励起光L1の偏光状態は、S偏光になる。
また、図13の光路回転部31は、像回転部にも含まれる。像回転部は、試料Sの像(例、試料Sからの蛍光の像)を複数の検出部6aに対して、検出光学系5の光軸の周りで回転させる。すなわち、縞方向変更部と像回転部とは、同一の部材(光学部材)として光路回転部31を含む。光路回転部31は、照明光学系4の光路のうち蛍光が入射する位置に配置される。像回転部は、光路回転部31によって蛍光の像を回転させる。光路回転部31は、検出装置6における複数の検出部6aの配列方向に対する干渉縞L2の周期方向を調整する。光路回転部31としてダブプリズムを用いる場合、ダブプリズムを照明光学系4の光軸の周りでθ°回転させると、干渉縞L2の周期方向がZ方向の周りで2×θ°回転する。そして、試料Sからの蛍光L3の光路は、ダブプリズムへの光入射側(試料S側)に対して、光出射側(検出装置6側)において-2×θ°回転する。
ダブプリズムを回転させると、ダブプリズムを介して試料Sへ向かう光の光路が回転し、試料Sに対する干渉縞L2の周期方向が変化する。また、試料Sからダブプリズムを介して検出装置6へ向かう光の光路は、試料Sへ向かう光の光路と反対向きに同じ角度だけ回転する。したがって、検出装置6における複数の検出部6a(例、ラインディテクター)の像を、検出光学系5を介して試料面Saに投影した場合、複数の検出部6aが並ぶ方向と干渉縞の周期方向とは、ダブプリズムによって干渉縞の周期方向を変更した場合でも常に一致する。よって、検出装置6は、干渉縞L2の周期方向の変更前と変更後とで同じように、蛍光L3を検出可能である。画像処理部7は、検出装置6の検出結果に基づいて、第1実施形態から第4実施形態で説明した処理によって画像を生成する。
なお、第1実施形態において、顕微鏡1は、駆動部22がマスク15を回転させることで干渉縞L2の周期方向を変更するが、上記の光路回転部31(例、ダブプリズム)によって干渉縞L2の周期方向を変更してもよい。また、干渉縞L2の周期方向を変更する縞方向変更部は、駆動部22および光路回転部31のいずれとも異なる形態でもよい。例えば、ステージ2は、Z方向の周りで回転可能に設けられ、その回転によって試料Sに対する干渉縞L2の方向を変更してもよい。この場合、ステージ2は、試料Sに対する干渉縞L2の方向を変更する縞方向変更部に含まれる。
図14に示す顕微鏡1は、光路回転部31が設けられる位置が図13と異なる。図14において、縞方向変更部は、第1実施形態と同様であり、マスク15および駆動部22を含む。光路回転部31は、図13において縞方向変更部と像回転部とを兼ねているが、図14において縞方向変更部と別に設けられる。図14において、光路回転部31は、検出光学系5の光路のうち照明光学系4の光路と重複しない位置に配置される。光路回転部31は、励起光L1が入射せず、蛍光L3が入射する位置に配置される。光路回転部31は、ダイクロイックミラー16と検出装置6との間の光路に配置される。
顕微鏡1は、駆動部22がマスク15および偏光子14を回転させることで、干渉縞L2の周期方向を変更する。駆動部32は、マスク15および偏光子14の回転角に基づいて定まる角度だけ、光路回転部31を回転させる。顕微鏡1は、駆動部32が光路回転部31を回転させることで、検出装置6に投影される像の方向を複数の検出部6aが並ぶ方向に対して整合させる。
[第6実施形態]
第6実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図15は、第6実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、遮光部材33を備える。遮光部材33は、試料面Saと光学的に共役な位置またはその近傍に配置される。図15において、検出装置6は、試料面Saと光学的に共役な位置に配置され、遮光部材33は、検出装置6の近傍に配置される。遮光部材33は、試料面Saと共役な位置またはその近傍に配置されてもよい。
第6実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図15は、第6実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、遮光部材33を備える。遮光部材33は、試料面Saと光学的に共役な位置またはその近傍に配置される。図15において、検出装置6は、試料面Saと光学的に共役な位置に配置され、遮光部材33は、検出装置6の近傍に配置される。遮光部材33は、試料面Saと共役な位置またはその近傍に配置されてもよい。
遮光部材33は、蛍光L3が通る開口33aを有し、開口33aの周囲において蛍光L3を遮光する。開口33aは、検出装置6における複数の検出部6aの配列方向(Xb方向)に延びている。開口33aは、例えば矩形状のスリットである。遮光部材33は、開口33aの長辺が複数の検出部6aの配列方向とほぼ平行になるように、配置される。遮光部材33は、開口33aの寸法と形状の一方または双方が可変でもよい、例えば、遮光部材33は、光を遮る領域を可変な機械式の絞り、あるいは空間光変調器(SLM)などでもよい。なお、開口33aの寸法と形状の一方または双方が固定でもよい。
検出装置6は、遮光部材33の開口33aを通った蛍光L3を検出する。画像処理部7は、検出装置6の検出結果に基づいて、画像を生成する。画像処理部7が行う処理は、第1実施形態から第4実施形態で説明した処理のいずれでもよい。ここでは、画像処理によって干渉縞L2のPSFの位相をシフトさせる場合について、説明する。
本実施形態において、検出装置6の検出結果に相当する画像データI(x,rs)は、下記の式(28)で表される。
I(x,rs)は、検出装置6における検出部6aの位置に相当するディテクター座標x、及びスキャン座標(xs,ys)を独立変数に持つ3次元のデータである。式(28)において、PHy(ys)は遮光部材33の影響を表すピンホール関数である。PHy(ys)は、下記の式(29)で表される。
式(29)において、Dyは、Yb方向(図17参照)における遮光部材33の開口33aの幅の半分である。すなわち、Yb方向(図17参照)における遮光部材33の開口33aの幅を2Dyとしている。
なお、本実施形態において説明する画像処理部7の処理は、図13に示したように遮光部材33が設けられていない場合についても適用可能である。遮光部材33が設けられていない場合、Dyが無限大であることに相当し、ysの全範囲においてPHy(ys)=1としてもよい。また、遮光部材33が設けられていない場合、検出部6aに入射する際の蛍光L3の光路のYb方向の幅は、検出部6aのYb方向の寸法に相当し、Dyの値として検出部6aのYb方向の寸法の半分の値を用いてもよい。
上記の式(28)をx、xs、ysについてフーリエ変換すると、下記の式(30)が得られる。式(30)において、PHy
~(kys)はPHy(ys)のフーリエ変換を表す。また、kyは、コンボリューションの積分変数を表す。
ここでは、説明の便宜上、照明形状が上記の式(2)で表されるとし、干渉縞L2の周期方向は、X方向であるとする。式(30)のill~(kx-kxs,ky-kys)は、下記の式(31)で表される。式(31)において、φは、干渉縞L2の初期位相を表す。
式(31)を式(30)に代入して整理すると、I~(kx,kxs,kys )は、下記の式(32)で表される。
式(32)において、I~
0 (kx,kxs,kys)は、第3実施形態で説明した0次成分に相当し、I~
+1 (kx,kxs,kys)は+1次成分に相当し、I~
-1(kx,kxs,kys)は-1次成分に相当する。I~
0 (kx,kxs,kys)、I~
+1 (kx,kxs,kys )、I~
-1(kx,kxs,kys )が値をもつ領域は、互いに異なる。
図16は、第6実施形態において、成分分離に用いる周波数空間の領域を示す図である。0次成分、+1次成分、及び-1次成分のそれぞれが値を持つ領域のkys方向における範囲は、PHy
~およびOTFdetに依存する。図16には、マスク15(図2参照)の開口15a、開口15bが円形の場合について、各成分が値を持つ領域を示した。マスク15の開口が円形以外の形状である場合、illのフーリエ変換を求め、式(30)に基づいて各成分が値を持つ領域の範囲を算出することが可能である。各成分が値を持つ領域の範囲を算出する手法としては、解析的な計算でもよいし、数値シミュレーション等でもよい。
図16において、0次成分の領域AR1a、+1次成分の領域AR1b、-1次成分の領域AR1cは、kxs-kys面においてそれぞれ長円形状の領域である。0次成分の領域AR1a、+1次成分の領域AR1b、及び-1次成分の領域AR1cは、kxs-kys面においてkxs方向の幅がいずれも同じである。0次成分の領域AR1aの幅は、4σkNA
exである。0次成分の領域AR1aは、原点を中心とする領域である。+1次成分の領域AR1bおよび-1次成分の領域AR1cは、それぞれ、中心がkxsの軸上の領域である。-1次成分の領域AR1cの中心と原点との距離は、2(1-σ)kNA
exである。+1次成分の領域AR1cは、0次成分の領域AR1aに関して-1次成分の領域AR1cと対称な位置の領域である。
画像処理部7は、I~(kx,kxs,kys)から各成分を抽出する。例えば、画像処理部7は、I~(kx,kxs,kys)から0次成分の領域AR1aのデータを抽出することによって、I0
~(kx,kxs,kys)を分離する。また、画像処理部7は、I~(kx,kxs,kys)から+1次成分の領域AR1bのデータを抽出することによって、I+1
~(kx,kxs,kys)を分離する。また、画像処理部7は、I~(kx,kxs,kys)から-1次成分の領域AR1cのデータを抽出することによって、I-1
~(kx,kxs,kys)を分離する。
画像処理部7は、成分分離により得られたI0
~(kx,kxs,kys)、I+1
~(kx,kxs,kys)、及びI-1
~(kx,kxs,kys)のそれぞれについて逆フーリエ変換を行って、実空間における各成分のデータを算出する。I0
~(kx,kxs,kys)を逆フーリエ変換したデータをI0(x,xs,ys)で表し、I+1
~(kx,kxs,kys)を逆フーリエ変換したデータをI+1(x,xs,ys)で表し、I-1
~(kx,kxs,kys)を逆フーリエ変換したデータをI-1(x,xs,ys)で表す。
画像処理部7は、上述のようにして得られた実空間における各成分のデータの少なくとも一部を用いて、検出装置6の検出部6aごとの実効PSFが揃うように、ディテクター座標に合わせて干渉縞の位相をシフトする。画像処理部7は、下記の式(33)、(34)に示す演算によって、干渉縞L2の位相をシフトする。
また、画像処理部7は、位相シフト処理の後、第3実施形態と同様に、位置ずれを補正する補正処理を行う。また、画像処理部7は、補正処理後に、各検出部の画像を足し合わせることによって超解像画像を生成する。
[第7実施形態]
第7実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図17は、第7実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、駆動部22および駆動部34を備える。駆動部22は、第1実施形態と同様である。駆動部22は、マスク15を回転させ、干渉縞L2の周期方向を変更する。駆動部22は、試料Sに対する干渉縞L2の方向を変更する縞方向変更部に含まれる。
第7実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図17は、第7実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、駆動部22および駆動部34を備える。駆動部22は、第1実施形態と同様である。駆動部22は、マスク15を回転させ、干渉縞L2の周期方向を変更する。駆動部22は、試料Sに対する干渉縞L2の方向を変更する縞方向変更部に含まれる。
本実施形態において、検出装置6は、Zb方向の周りで回転可能である。駆動部34は、Zb方向の周りで検出装置6を回転させる。駆動部34は、検出装置6における検出部6aの配列方向が干渉縞L2の周期方向と対応するように、検出装置6を回転させる。例えば、駆動部22がマスク15を90°回転させる場合、干渉縞L2の周期方向が90°変化するので、駆動部34は、検出装置6を90°回転させる。
また、駆動部34は、検出装置6と遮光部材33との相対位置が維持されるように、遮光部材33を回転させる。例えば、遮光部材33と検出装置6とは一体化されており、駆動部34は、遮光部材33と検出装置6とを一体的に回転させる。
なお、顕微鏡1は、検出装置6を回転させる代わりに、図14に示した光路回転部31を備えてもよい。また、顕微鏡1は、図13に示したように遮光部材33を備えなくてもよい。
[第8実施形態]
第8実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図18は、第8実施形態に係る顕微鏡を示す図である。上述の実施形態において、瞳面P0(図2(C)参照)上で照明瞳が2極(2つの領域)に分かれる例を説明したが、照明瞳はその他の形態でもよい。ここでは、照明瞳が瞳面上で4極(4つの領域)に分かれる形態について説明する。
第8実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図18は、第8実施形態に係る顕微鏡を示す図である。上述の実施形態において、瞳面P0(図2(C)参照)上で照明瞳が2極(2つの領域)に分かれる例を説明したが、照明瞳はその他の形態でもよい。ここでは、照明瞳が瞳面上で4極(4つの領域)に分かれる形態について説明する。
本実施形態に係る照明光学系4は、光ファイバー11の光出射側に、コリメーターレンズ12、λ/2波長板35、偏光分離素子36、ミラー37、マスク38(開口部材)、ミラー39、マスク40(開口部材)、及び偏光分離素子41を備える。照明光学系4は、ダイクロイックミラー16から対物レンズ21までの構成について、第1実施形態と同様である。
光ファイバー11から出射した励起光L1は、コリメーターレンズ12によってほぼ平行光に変換され、λ/2波長板35に入射する。λ/2波長板35を通った励起光L1は、第1方向の直線偏光である励起光L1c、および第2方向の直線偏光である励起光L1dを含む。λ/2波長板35は、励起光L1cの光量と励起光L1dの光量とが所定の比率になるように、その光学軸(進相軸、遅相軸)の方向が設定される。
λ/2波長板35を通った励起光L1(励起光L1cおよび励起光L1d)は、偏光分離素子36に入射する。偏光分離素子36は、コリメーターレンズ12の光軸12aに対して傾いた偏光分離膜36aを有する。偏光分離膜36aは、第1方向の直線偏光が反射し、第2方向の直線偏光が透過する特性を有する。偏光分離素子36は、例えば、偏光ビームスプリッタプリズム(PBSプリズム)である。上記の第1方向の直線偏光は、偏光分離膜36aに対するS偏光である。上記の第2方向の直線偏光は、偏光分離膜36aに対するP偏光である。
偏光分離膜36aに対するS偏光である励起光L1cは、偏光分離膜36aで反射し、ミラー37を介してマスク38に入射する。偏光分離膜36aに対するP偏光である励起光L1dは、偏光分離膜36aを透過し、ミラー39を介してマスク40に入射する。マスク38およびマスク40は、蛍光物質を励起する励起光を複数の光束に分割する光束分割部である。マスク38およびマスク40については、後に図19を参照して説明する。
マスク38を通った励起光L1cおよびマスク40を通った励起光L1dは、それぞれ、偏光分離素子41に入射する。偏光分離素子41は、励起光L1cの光路および励起光L1dの光路に対して傾いた偏光分離膜41aを有する。偏光分離膜41aは、第1方向の直線偏光が反射し、第2方向の直線偏光が透過する特性を有する。偏光分離素子41は、例えば、偏光ビームスプリッタプリズム(PBSプリズム)である。上記の第1方向の直線偏光は、偏光分離膜41aに対するS偏光である。上記の第2方向の直線偏光は、偏光分離膜41aに対するP偏光である。
励起光L1cは、偏光分離膜41aに対してS偏光になっており、偏光分離膜41aで反射してダイクロイックミラー16に入射する。励起光L1dは、偏光分離膜41aに対するP偏光になっており、偏光分離膜41aを透過してダイクロイックミラー16に入射する。なお、偏光分離素子36および偏光分離素子41の一方または双方は、PBSプリズムでなくてもよい。偏光分離素子36および偏光分離素子41の一方または双方は、TE偏光とTM偏光とで反射、透過が異なるフォトニック結晶などでもよい。
図19は、第8実施形態に係るマスクおよび励起光の偏光状態を示す図である。図19(A)において、Xc方向、Yc方向、Zc方向は、それぞれ、試料面Sa(図18参照)におけるX方向、Y方向、Z方向に対応する方向である。マスク38は、開口38aおよび開口38bを有する。マスク38は、瞳面共役面またはその近傍100mm以内に配置される。開口38aおよび開口38bは、Xc方向に並んでいる。開口38aおよび開口38bは、例えば円形であるが、円形以外の形状でもよい。
図19(B)において、Xd方向、Yd方向、Zd方向は、それぞれ、試料面Sa(図18参照)におけるX方向、Y方向、Z方向に対応する方向である。マスク40は、瞳面共役面またはその近傍100mm以内に配置される。マスク38またはマスク40は、瞳面またはその近傍100mm以内に配置されてもよい。マスク40は、開口40aおよび開口40bを有する。開口40aおよび開口40bは、Yd方向に並んでいる。開口40aおよび開口40bは、例えば円形であるが、円形以外の形状でもよい。
図19(C)において、符号AR2aは、対物レンズ21の瞳面P0において、マスク38の開口38aを通った励起光L1cが入射する領域である。符号AR2bは、瞳面P0において、マスク38の開口38bを通った励起光L1cが入射する領域である。領域AR2a、領域AR2bにおける矢印は、入射する励起光L1cの偏光方向を示す。領域AR2aと領域AR2bとは、X方向に並んでいる。
領域AR2aに入射する励起光L1cおよび領域AR2bに入射する励起光L1cは、それぞれ、Y方向の直線偏光である。領域AR2aに入射する励起光L1cと領域AR2bに入射する励起光L1cとは、偏光方向が同じであり、試料面Sa(図18参照)において互いに干渉する。この干渉によって、試料面Saには、周期方向がX方向の干渉縞が形成される。試料面Saに対する励起光L1cの入射面は、XZ面であり、励起光L1cは、試料SにS偏光で入射する。
また、図19(C)において、符号AR2cは、瞳面P0において、マスク40の開口40aを通った励起光L1dが入射する領域である。符号AR2dは、瞳面P0において、マスク40の開口40bを通った励起光L1dが入射する領域である。領域AR2c、領域AR2dにおける矢印は、入射する励起光L1dの偏光方向を示す。領域AR2cと領域AR2dとは、Y方向に並んでいる。
領域AR2cに入射する励起光L1dおよび領域AR2dに入射する励起光L1dは、それぞれ、X方向の直線偏光である。領域AR2cに入射する励起光L1dと領域AR2dに入射する励起光L1dとは、偏光方向が同じであり、試料面Sa(図18参照)において互いに干渉する。この干渉によって、試料面Saには、周期方向がY方向の干渉縞が形成される。試料面Saに対する励起光L1dの入射面は、YZ面であり、励起光L1cは、試料SにS偏光で入射する。
図18の説明に戻り、試料面Saには、励起光L1cの干渉による干渉縞と、励起光L1dの干渉による干渉縞とを合成した干渉縞L2が形成される。なお、励起光L1cと励起光L1dとで偏光方向が互いにほぼ直交するので、励起光L1cと励起光L1dとの干渉が抑制される。
検出装置6は、試料Sからの蛍光L3を、検出光学系5を介して検出する。検出装置6は、第1実施形態で説明したように、Xb方向とYb方向との2方向に複数の検出部6aが配列されたイメージセンサである。画像処理部7は、検出装置6の検出結果に基づいて、画像を生成する。ここでは、画像処理によって干渉縞L2のPSFの位相をシフトさせる場合について説明する
図20は、第8実施形態に係る瞳共役面、及び成分分離に用いる周波数空間の領域を示す図である。図20(A)では、瞳共役面P1を波数座標空間で表している。図20(A)に示すkNA
ex(点線で書かれた円)は、対物レンズ21の瞳半径である。励起光L1cが入射する領域AR2aおよび領域AR2bと、励起光L1dが入射する領域AR2cおよび領域AR2dとは、ここではそれぞれ円形であるとするが、円形に限られない。領域ARaから領域ARdの各領域の半径は、σkNA
exである。領域ARaから領域ARdの各領域の中心と、対物レンズ21の光軸21aとの距離は、(1-σ)kNA
exである。領域AR2aの中心と領域AR2bの中心との距離は、例えば2(1-σ)kNA
exであるが、この値に限らない。また、領域AR2cの中心と領域AR2dの中心との距離は、例えば2(1-σ)kNA
exであるが、この値に限らない。
試料面Saでの電場強度ill(r)は、下記の式(35)で表される。式(35)において、k0x、k0yは、それぞれ干渉縞L2の波数ベクトルである。k0xは、k0x=(k0,0)で表される。k0yは、k0y=(0,k0)で表される。k0x、k0yの成分であるk0は、k0=2(1-σ) kNA
exで表される。
本実施形態においては、照明瞳が4極であり、周期方向がX方向の干渉縞と周期方向がY方向の干渉縞との足し合わせになる。検出装置6によって得られる画像データI(r,rs)は、下記の式(36)で表される。
画像処理部7は、式(36)のI(r,rs)をr,rsについて、下記の式(37)に示すように4次元フーリエ変換する。
式(37)において、OTFdetは、PSFdetのフーリエ変換であり、検出光学系5のOTFを表す。また、ill~は、illのフーリエ変換である。また、OTFillは、PSFillのフーリエ変換である。φx、φyは、それぞれ、干渉縞L2のX方向の初期位相、干渉縞L2のY方向の初期位相である。Obj~は、Objのフーリエ変換である。式(37)は、下記の式(38)に示すように、5つの項の和になっている。
式(38)の右辺の各項は、下記の式(39)で表される。
ここで、I0
~(k,ks)を0次成分と称し、I~
+1,x(k,ks)をX方向の+1次成分と称し、I~
-1,x(k,ks)をX方向の-1次成分と称する。また、I~
+1,y(k,ks)をY方向の+1次成分と称し、I~
-1,y(k,ks)をY方向の-1次成分と称する。図20(B)において、符号AR3aは、0次成分のデータが存在する領域(以下0次成分の領域という)である。符号AR3bは、X方向の+1次成分のデータが存在する領域(以下、X方向の+1次成分の領域という)である。符号AR3cは、X方向の-1次成分のデータが存在する領域(以下、X方向の-1次成分の領域という)である。符号AR3dは、Y方向の+1次成分のデータが存在する領域(以下、Y方向の+1次成分の領域という)である。符号AR3eは、Y方向の-1次成分のデータが存在する領域(以下、Y方向の-1次成分の領域という)である。
0次成分の領域AR3aは、下記の式(40)で表される。
X方向の+1次成分の領域AR3bは、下記の式(41)で表される。
X方向の-1次成分の領域AR3cは、下記の式(42)で表される。
Y方向の+1次成分の領域AR3dは、下記の式(43)で表される。
Y方向の-1次成分の領域AR3eは、下記の式(44)で表される。
画像処理部7は、フーリエ変換によって得られたI~(k,ks)から、フィルタリングによって各成分を抽出する。例えば、画像処理部7は、I~(k,ks)のうち、上記の式(40)を満たす領域におけるデータを、0次成分として抽出する。また、画像処理部7は、I~(k,ks)のうち、上記の式(41)を満たす領域におけるデータを、X方向の+1次成分として抽出する。また、画像処理部7は、I~(k,ks)のうち、上記の式(42)を満たす領域におけるデータを、X方向の-1次成分として抽出する。また、画像処理部7は、I~(k,ks)のうち、上記の式(43)を満たす領域におけるデータを、Y方向の+1次成分として抽出する。また、画像処理部7は、I~(k,ks)のうち、上記の式(44)を満たす領域におけるデータを、Y方向の-1次成分として抽出する。
画像処理部7は、抽出した各成分を逆フーリエ変換することによって、実空間における各成分のデータを算出する。ここでは、実空間における0次成分をI0(r,rs)で表し、実空間におけるX方向の+1次成分をI+1,x(r,rs)で表し、実空間におけるX方向の-1次成分をI-1,x(r,rs)で表す。また、実空間におけるY方向の+1次成分をI+1,y(r,rs)で表し、実空間におけるY方向の-1次成分をI-1,y(r,rs)で表す。
画像処理部7は、上述のようにして得られた実空間における各成分のデータの少なくとも一部を用いて、検出装置6の検出部6aごとの実効PSFが揃うように、ディテクター座標に合わせて干渉縞の位相をシフトする。画像処理部7は、下記の式(45)に示す演算によって、実空間におけるX方向の+1次成分、X方向の-1次成分、Y方向の+1次成分、及びY方向の-1次成分のそれぞれについて、位相をシフトする。
式(45)において、ψx(r)は、X方向の+1次成分および-1次成分のそれぞれに対する位相シフト量である。ψy(r)は、Y方向の+1次成分および-1次成分のそれぞれに対する位相シフト量である。上記の位相シフト量は、例えば、PSFdet(r+rs)とPSFill(rs)との積によって得られる関数のピーク位置と、干渉縞L2のピーク位置とが一致するように設定される。
画像処理部7は、成分ごとの位相シフト処理の後に、下記の式(46)に示すように各成分を足し合わせる。
上述の位相シフト処理によって、検出装置6の検出部6aごとに実効PSFがほぼ揃ったデータが得られる。画像処理部7は、位相シフト処理の後に、検出部6aごとの位置ずれを補正する補正処理を行う。そして、画像処理部7は、補正処理されたデータを足し合わせることで、超解像画像を生成する。
なお、成分分離に用いる領域は、上記の式(41)から式(44)に示した領域に限定されない。成分分離に用いる領域は、上記の式(41)から式(44)に示した領域よりも大きくてもよいし、小さくてもよい。また、マスク38の開口38aおよび開口38b、マスク40の開口40aおよび開口40bの少なくとも1つは、円形でなくてもよい。成分分離に用いる領域は、マスクの開口が円形である場合、マスクの開口が円形以外の形状である場合のいずれについても、数値シミュレーション、理論計算等で求めることができる。
なお、画像処理部7が行う処理は、第1実施形態から第4実施形態で説明した処理のいずれでもよい。例えば、第4実施形態で説明した周波数空間でのデコンボリューションを適用する場合、上記の式(27)では3成分であったが、本実施形態では、0次成分、X方向の+1次成分、X方向の-1次成分、Y方向の+1次成分、及びY方向の-1次成分の5成分を用いればよい。
[第9実施形態]
第9実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図21は、第9実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、図13で説明したλ/2波長板30および光路回転部31を備える。光路回転部31は、駆動部32によって駆動され、照明光学系4の光軸の周りで回転する。光路回転部31が回転すると、励起光L1cの光路および励起光L1dの光路は、それぞれ、照明光学系4の光軸の周りで回転する。その結果、試料面Saに形成される干渉縞L2の周期方向は、Z方向の周りで回転する。
第9実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図21は、第9実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、図13で説明したλ/2波長板30および光路回転部31を備える。光路回転部31は、駆動部32によって駆動され、照明光学系4の光軸の周りで回転する。光路回転部31が回転すると、励起光L1cの光路および励起光L1dの光路は、それぞれ、照明光学系4の光軸の周りで回転する。その結果、試料面Saに形成される干渉縞L2の周期方向は、Z方向の周りで回転する。
図22は、第9実施形態に係る励起光の偏光状態を示す図である。図22(A)において、瞳面P0上で励起光L1cが入射する領域AR4aは、X方向に並んでいる。また、瞳面P0上で励起光L1dが入射する領域AR4bおよび領域AR4bは、Y方向に並んでいる。
図22(B)は、図22(A)の状態から、ダブプリズム(図21の光路回転部31)およびλ/2波長板30が22.5°回転した状態に相当する。図22(B)において、瞳面P0上で励起光L1cが入射する領域AR4aは、X方向から45°回転した方向に並んでいる。この状態において、試料面Saにおける励起光L1cの干渉縞の周期方向は、X方向から45°回転した方向になる。また、瞳面P0上で励起光L1dが入射する領域AR4bは、Y方向から45°回転した方向に並んでいる。この状態において、試料面Saにおける励起光L1dの干渉縞の周期方向は、Y方向から45°回転した方向になる。
図21の説明に戻り、本実施形態において、検出装置6は、干渉縞L2の周期方向が変更される前後のそれぞれにおいて、試料Sからの蛍光L3を検出する。画像処理部7は、干渉縞L2の周期方向の変更前における検出装置6の検出結果と、干渉縞L2の周期方向の変更後における検出装置6の検出結果とに基づいて、画像を生成する。なお、光路回転部31は、図14で説明したように、ダイクロイックミラー16と検出装置6との間の光路に配置されてもよい。
[第10実施形態]
第10実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。第9実施形態において、顕微鏡1は、光路回転部31によって干渉縞L2の周期方向を変更するが、干渉縞L2の周期方向を変更する縞方向変更部は、光路回転部31と別の態様でもよい。
第10実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。第9実施形態において、顕微鏡1は、光路回転部31によって干渉縞L2の周期方向を変更するが、干渉縞L2の周期方向を変更する縞方向変更部は、光路回転部31と別の態様でもよい。
図23は、第10実施形態に係る顕微鏡を示す図である。図24は、第10実施形態に係るマスクを示す図である。本実施形態において、顕微鏡1は、駆動部45および駆動部46を備える。マスク38は、励起光L1cの光軸の周りで回転可能である。マスク38は、駆動部45に駆動されて、回転する(図24(A)参照)。図24(A)において、マスク38は、時計周りに45°回転している。
また、マスク40は、励起光L1dの光軸の周りで回転可能である。マスク40は、駆動部46に駆動されて、回転する(図24(B)参照)。駆動部46は、駆動部45がマスク38を回転させる角度と同じ角度だけ、マスク40を回転させる。図24(B)において、マスク40は、時計周りに45°回転している。これにより、試料面Saにおける干渉縞L2の周期方向は、Z方向の周りで45°回転する。
偏光分離素子41とダイクロイックミラー16との間の光路には、λ/2波長板48が設けられる。λ/2波長板48は、駆動部49によって駆動され、照明光学系4の光軸の周りで回転する。λ/2波長板48および駆動部49は、励起光L1cおよび励起光L1dのそれぞれについて、S偏光で試料Sに入射するように調整する。
[第11実施形態]
第11実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図25は、第11実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、リレー光学系47を備える。リレー光学系47は、照明光学系4の一部であり、かつ検出光学系5の一部である。リレー光学系47は、走査部18において、偏向ミラー18aと偏向ミラー18bとの間の光路に配置される。偏向ミラー18aは、対物レンズ21の瞳面P0と光学的に共役な第1瞳共役面とほぼ同じ位置に配置される。リレー光学系47は、偏向ミラー18bとレンズ19との間に上記の第1瞳共役面と光学的に共役な第2瞳共役面が形成されるように設けられる。偏向ミラー18bは、上記の第2瞳共役面とほぼ同じ位置に配置される。
第11実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図25は、第11実施形態に係る顕微鏡を示す図である。本実施形態において、顕微鏡1は、リレー光学系47を備える。リレー光学系47は、照明光学系4の一部であり、かつ検出光学系5の一部である。リレー光学系47は、走査部18において、偏向ミラー18aと偏向ミラー18bとの間の光路に配置される。偏向ミラー18aは、対物レンズ21の瞳面P0と光学的に共役な第1瞳共役面とほぼ同じ位置に配置される。リレー光学系47は、偏向ミラー18bとレンズ19との間に上記の第1瞳共役面と光学的に共役な第2瞳共役面が形成されるように設けられる。偏向ミラー18bは、上記の第2瞳共役面とほぼ同じ位置に配置される。
なお、走査部18は、上述の形態に限定されない。例えば、ステージ2は、対物レンズ21に対してY方向に移動するYステージを含み、走査部18は、偏向ミラー18bの代わりにYステージを含んでもよい。この場合、走査部18は、偏向ミラー18aによって試料Sを励起光L1でX方向に走査し、Yステージの移動によって試料Sを励起光L1でY方向に走査してもよい。この場合、偏向ミラー18aは、対物レンズ21の瞳面P0と光学的に共役な瞳共役面とほぼ同じ位置に配置されてもよい。
また、ステージ2は、対物レンズ21に対してX方向に移動するXステージを含み、走査部18は、偏向ミラー18aの代わりにXステージを含んでもよい。この場合、走査部18は、上記のXステージの移動によって試料Sを励起光L1でX方向に走査し、偏向ミラー18bによって試料Sを励起光L1でY方向に走査してもよい。この場合、偏向ミラー18bは、対物レンズ21の瞳面P0と光学的に共役な瞳共役面とほぼ同じ位置に配置されてもよい。
また、ステージ2は、対物レンズ21に対してX方向に移動するXステージと、対物レンズ21に対してY方向に移動するYステージとを含み、走査部18は、上記のXステージおよびYステージを含んでもよい。この場合、走査部18は、上記のXステージの移動によって試料Sを励起光L1でX方向に走査し、上記のYステージの移動によって試料Sを励起光L1でY方向に走査してもよい。
上述の実施形態においては、試料Sを干渉縞で走査する走査方向がX方向およびY方向の2方向であり、照明光学系4は、試料Sを干渉縞で2次元的に走査する。なお、試料Sを干渉縞で走査する走査方向は、X方向、Y方向、及びZ方向の3方向でもよい。例えば、顕微鏡1は、試料Sを干渉縞でX方向およびY方向に走査して2D画像を取得する2D処理を実行し、干渉縞が生成されるZ方向の位置を変更して2D処理を繰り返すことで、試料Sを干渉縞で三次元的に走査してもよい。顕微鏡1は、試料Sを干渉縞で三次元的に走査することで、Z方向の位置が異なる複数の2D画像を取得し、3D画像(例、Z-stack)を生成してもよい。試料Sを干渉縞で三次元的に走査する場合、照明光学系4がX方向およびY方向に走査し、ステージ2の移動によってZ方向に走査してもよい。また、照明光学系4が試料Sを干渉縞で三次元的に走査してもよい。
[変形例]
以下、変形例について説明する。上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図26及び図27は、変形例に係る照明瞳を示す図である。
以下、変形例について説明する。上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。図26及び図27は、変形例に係る照明瞳を示す図である。
照明瞳は、図2において2極であり、図20において4極であるが、図26(A)において3極である。符号AR5aから符号AR5cは、それぞれ、瞳面P0において励起光が入射する領域である。この場合、領域AR5aに入射した励起光と領域AR5bに入射した励起光との第1干渉縞と、領域AR5bに入射した励起光と領域AR5cに入射した励起光との第2干渉縞と、領域AR5cに入射した励起光と領域AR5aに入射した励起光との第3干渉縞とが形成される。試料面Saには、上記の第1干渉縞と第2干渉縞と第3干渉縞とを合成した干渉縞が形成される。この干渉縞は、第1干渉縞の周期方向と、第2干渉縞の周期方向と、第3干渉縞の周期方向とがそれぞれ周期方向であり、周期方向が3方向であるので、3方向において超解像効果を得ることができる。なお、照明瞳は、5以上の極を有してもよい。
また、照明瞳は、図2などにおいて円形であるが、その他の形状でもよい。図26(B)および図26(C)において、符号AR6は、励起光が入射する領域である。図26(B)の領域AR6は、対物レンズ21の光軸21aを中心とする円の一部である円AR6aと、円弧AR6aの両端を結ぶ直線AR6bとに囲まれる領域である。また、図26(C)の領域AR6は、対物レンズ21の光軸21aを中心とする円の一部である円弧と、円弧AR6aと対称な曲線AR6cとに囲まれる領域である。
図26(B)あるいは図26(C)の形状の照明瞳である場合、円形の照明瞳である場合と比較して、干渉縞が形成されない方向の分解能が良くなり、セクショニングも良くなる。また、図26(B)の形状の照明瞳である場合、図26(C)の形状の照明瞳である場合と比較して、干渉縞が形成されない方向の分解能が良くなり、セクショニングも良くなる。また、図26(C)の形状の照明瞳である場合、図26(B)の形状の照明瞳である場合と比較して、干渉縞が形成される方向の分解能がよい。
図27(A)において、照明瞳は、図26(B)に示した形状の照明瞳を4極にした形態である。図27(B)において、照明瞳は、図26(C)に示した形状の照明瞳を4極にした形態である。なお、円形以外の形状の照明瞳である場合についても、励起光が入射する複数の領域の数(極の数)は、2以上の任意の数に設定される。また、瞳面P0において励起光が入射する複数の領域のうち、1つの領域の形状が他の領域の形状と異なってもよい。また、瞳面P0において励起光が入射する複数の領域のうち、1つの領域の寸法が他の領域の寸法と異なってもよい。また、瞳面P0において励起光が入射する複数の領域は、対物レンズ21の光軸21aに関して非対称に配置されてもよい。
照明瞳の各極の形状、寸法、及び配置は、例えば、図2に示したマスク15の開口の形状、寸法、及び配置を設計することで実現可能である。また、マスク15は、光を遮る領域が可変な機械式の絞り、あるいは空間光変調器(SLM)などでもよい。
図28は、変形例に係る顕微鏡を示す図である。図28において、照明光学系4は、光ファイバー11からダイクロイックミラー16へ向かう順に、コリメーターレンズ50、λ/2波長板51、レンズ52、回折格子53、レンズ54、及びマスク15を備える。コリメーターレンズ50は、光ファイバー11からの励起光L1をほぼ平行光に変換する。λ/2波長板51は、試料Sに入射する際の励起光L1の偏光状態を調整する。レンズ52は、励起光L1を回折格子53に集光する。
回折格子53は、励起光L1を回折によって複数の光束に分岐させる。回折格子53は、蛍光物質を励起する励起光を複数の光束に分割する光束分割部である。回折格子53はレンズ52の焦点もしくは焦点近傍1mm以内の位置に配置される。つまり、回折格子53は試料面Saと共役な面もしくはその近傍1mm以内に配置される。上記の複数の光束は、0次回折光、+1次回折光、及び-1次回折光を含む。レンズ54は、0次回折光、+1次回折光、及び-1次回折光をそれぞれほぼ平行光に変換する。マスク15は、0次回折光を遮光し、かつ、+1次回折光の少なくとも一部と-1次回折光の少なくとも一部とが通るように設けられる。このような形態においては、マスク15を透過する励起光L1の光量を増やすことができる。なお、回折格子53は、0次回折光が発生しないように設計されてもよい。また、マスク15を設けないような構成をとってもよい。
図29および図30は、それぞれ、変形例に係る偏光調整部を示す図である。照明光学系4は、図1に示したダイクロイックミラー16などの反射部材によって光路が折れ曲がるが、図29、図30においては、照明光学系4を、光軸4aが直線になるように展開して示した。図29、図30において、Z方向は光軸4aと平行な方向であり、X方向およびY方向は、それぞれ、光軸4aと垂直な方向である。
図29において、照明光学系4は、λ/4波長板61、マスク15、及びλ/4波長板62を含む。光ファイバー11から出射した励起光L1は、ほぼX方向の直線偏光であり、λ/4波長板61に入射する。なお、光ファイバー11とλ/4波長板61との間の光路に、透過軸がX方向の偏光子(例、偏光板)が設けられてもよい。
λ/4波長板61の進相軸は、+Z側から見た場合にX方向を反時計回りに45°回転させた方向に設定される。λ/4波長板61を通った励起光L1は、円偏光となりマスク15に入射する。マスク15の開口15a、開口15bを通った励起光L1は、円偏光であり、λ/4波長板62に入射する。λ/4波長板62の進相軸は、+Z側から見た場合にX方向を時計回りに45°回転させた方向に設定される。λ/4波長板62を通った励起光L1は、X方向の直線偏光となり、試料に照射される。
マスク15は、第1実施形態で説明したように、光軸4aの周りで回転可能に設けられる。マスク15が回転すると、干渉縞の周期方向が変化する。例えば、図29の状態において、マスク15の開口15aと開口15bとはY方向に並んでおり、干渉縞の周期方向はY方向になる。図29の状態からマスク15が90°回転すると、干渉縞の周期方向は90°回転して、X方向になる。
λ/4波長板62は、光軸4aの周りで回転可能である。λ/4波長板62は、マスク15と同じ角度だけ回転するように、設けられる。例えば、λ/4波長板62は、マスク15と一体化され、マスク15と一体的に回転する。例えばマスク15が90°回転すると、λ/4波長板62は、90°回転して、その進相軸がλ/4波長板61の進相軸と平行になる。この場合、λ/4波長板62を通った励起光L1は、Y方向の直線偏光になる。試料面に対する励起光L1の入射面は、干渉縞の周期方向と平行であり、試料面に入射する際の励起光L1が干渉縞の周期方向と垂直な直線偏光であるので、励起光L1は、S偏光の状態で試料面に照射される。
このように、λ/4波長板62は、試料に入射する際の励起光の偏光状態を調整する偏光調整部に含まれる。このような偏光調整部は、図1で説明した態様に比べて、励起光L1の光量のロスを低減することができる。
図30において、照明光学系4は、偏光子65、マスク15、及びλ/2波長板66を含む。光ファイバー11か出射した励起光L1は、ほぼX方向の直線偏光であり、偏光子65に入射する。偏光子65は、透過軸がX方向に設定される。偏光子65通った励起光L1は、X方向の直線偏光であり、マスク15に入射する。マスク15の開口15a、開口15bを通った励起光L1は、X方向の直線偏光であり、λ/2波長板66に入射する。λ/2波長板66の進相軸は、+Z側から見た場合にX方向を時計回りに45°回転させた方向に設定される。λ/2波長板66を通った励起光L1は、Y方向の直線偏光となり、試料に照射される。
マスク15は、第1実施形態で説明したように、光軸4aの周りで回転可能に設けられる。マスク15が回転すると、干渉縞の周期方向が変化する。例えば、図30の状態において、マスク15の開口15aと開口15bとはX方向に並んでおり、干渉縞の周期方向はX方向になる。図29の状態からマスク15が90°回転すると、干渉縞の周期方向は90°回転して、Y方向になる。
λ/2波長板66は、光軸4aの周りで回転可能である。λ/2波長板66は、マスク15の回転角の半分の角度だけ回転するように、設けられる。例えばマスク15が90°回転すると、λ/2波長板66は、45°回転する。この場合、λ/2波長板66を通った励起光L1は、X方向の直線偏光になる。試料面に対する励起光L1の入射面は、干渉縞の周期方向と平行であり、試料面に入射する際の励起光L1が干渉縞の周期方向と垂直な直線偏光であるので、励起光L1は、S偏光の状態で試料面に照射される。このように、λ/2波長板66は、試料に入射する際の励起光の偏光状態を調整する偏光調整部に含まれる。このような偏光調整部は、図1で説明した態様に比べて、励起光L1の光量のロスを低減することができる。
なお、実施形態に係る顕微鏡1は、検出装置6がイメージセンサーを含み、検出光学系5の光軸の周りで試料Sの像を回転させる像回転部を備えてよい。縞方向を回転した場合に、試料Sの像を回転することによって縞周期と検出部の位置を整合させることができる。
上述の実施形態において、画像処理部7は、例えばコンピュータシステムを含む。画像処理部7は、記憶部に記憶されている画像処理プログラムを読み出し、この画像処理プログラムに従って各種の処理を実行する。この画像処理プログラムは、コンピュータに、検出装置6の検出結果に基づいて画像を生成することを実行させる。上記の検出装置6の検出結果は、光源からの光を複数の光束に分割し、複数の光束の少なくとも一部の光束の干渉によって生成される干渉縞によって、試料を複数の方向において走査し、試料からの光が入射する検出光学系を介して、複数の検出部を含む検出装置によって、試料からの光を検出して得られる。
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
1・・・顕微鏡、3・・・光源、4・・・照明光学系、5・・・検出光学系、6・・・検出装置、6a・・・複数の検出部、7・・・画像処理部、L2・・・干渉縞
Claims (25)
- 光源からの光を複数の光束に分割する光束分割部を有し、前記光束分割部により分割された前記複数の光束の少なくとも一部の光束の干渉によって生成される干渉縞によって、試料を複数の方向において走査する照明光学系と、
前記試料からの光が入射する検出光学系と、
前記検出光学系を介して前記試料からの光を検出する複数の検出部を含む検出装置と、
前記検出装置の2以上の検出部の検出結果を用いて画像を生成する画像処理部と、を備える顕微鏡。 - 前記干渉縞は、前記干渉縞の周期方向において3以上の明部を有する、
請求項1に記載の顕微鏡 - 前記照明光学系は、対物レンズを有し、
前記光束分割部は、複数の開口部を有する開口部材を含み、
前記開口部材は、前記対物レンズの瞳面、前記瞳面の近傍、瞳共役面、又は前記瞳共役面の近傍に配置される、
請求項1又は請求項2に記載の顕微鏡 - 前記光束分割部は、回折格子を含み、
前記回折格子は、前記試料と共役な位置又はその近傍に配置される、
請求項1又は請求項2に記載の顕微鏡。 - 前記検出装置は、前記複数の検出部が1方向に配列されたラインセンサを含む、
請求項1から請求項4のいずれか1項に記載の顕微鏡。 - 前記検出装置は、前記複数の検出部が2方向に配列されたイメージセンサを含む、
請求項1から請求項4のいずれか1項に記載の顕微鏡。 - 前記試料に対する前記干渉縞の方向を変更する縞方向変更部を備える、
請求項1から請求項6のいずれか1項に記載の顕微鏡。 - 前記試料の像を前記複数の検出部に対して、前記検出光学系の光軸の周りで回転させる像回転部を備える、
請求項1から請求項7のいずれか1項に記載の顕微鏡。 - 前記像回転部は、前記検出光学系のうち前記照明光学系と重複しない光路に配置される、
請求項8に記載の顕微鏡。 - 前記縞方向変更部と前記像回転部とは同一の部材により構成される、
請求項8に記載の顕微鏡。 - 前記試料に入射する際の前記光の偏光状態を調整する偏光調整部を備える、
請求項1から請求項10のいずれか1項に記載の顕微鏡。 - 前記複数の検出部の位置は、前記検出光学系の倍率および前記干渉縞の周期に基づいて設定される、
請求項1から請求項11のいずれか1項に記載の顕微鏡。 - 前記画像処理部は、前記検出光学系の倍率および前記干渉縞の周期に基づいて、前記複数の検出部から選択される検出部の検出結果を用いて前記画像を生成する、
請求項1から請求項12のいずれか1項に記載の顕微鏡。 - 前記画像処理部は、前記複数の検出部の少なくとも1つの検出部から得られるデータを、その検出部の位置に基づいて補正する、
請求項1から請求項13のいずれか1項に記載の顕微鏡。 - 前記画像処理部は、前記複数の検出部の少なくとも一部の検出結果を周波数空間上のデータへ変換する
請求項1から請求項14のいずれか1項に記載の顕微鏡。 - 前記画像処理部は、前記複数の検出部の少なくとも一部の検出結果を、フーリエ変換によって前記周波数空間上のデータへ変換する、
請求項15に記載の顕微鏡。 - 前記画像処理部は、前記周波数空間上のデータに対してフィルタリングを行って、前記画像を生成する、
請求項15又は請求項16に記載の顕微鏡。 - 前記画像処理部は、前記周波数空間上のデータを前記周波数空間の複数の領域に分離して、前記画像を生成する、
請求項15から請求項17のいずれか1項に記載の顕微鏡。 - 前記画像処理部は、前記干渉縞の光強度分布に基づいて、前記周波数空間上のデータを前記周波数空間の複数の領域に分離する、
請求項18に記載の顕微鏡。 - 前記複数の領域は、互いに重複しないように設定される、
請求項18または請求項19に記載の顕微鏡。 - 前記画像処理部は、前記分離によって得られるデータの少なくとも一部の位相を変換して前記画像を生成する、
請求項18から請求項20のいずれか1項に記載の顕微鏡。 - 前記画像処理部は、前記干渉縞の光強度分布および前記検出部の位置に基づいて、前記位相を変換する量を決定する、
請求項21に記載の顕微鏡。 - 前記画像処理部は、前記検出装置から得られるデータに対してデコンボリューションを実行して、前記画像を生成する、
請求項1から請求項22のいずれか1項に記載の顕微鏡。 - 前記画像処理部は、前記複数の検出部の少なくとも1つの検出部から得られるデータに対して、その検出部の位置、及び前記干渉縞の光強度分布に基づいて前記デコンボリューションを実行する、
請求項23に記載の顕微鏡。 - 光源からの光を複数の光束に分割し、前記複数の光束の少なくとも一部の光束の干渉によって生成される干渉縞によって、試料を複数の方向において走査することと、
前記試料からの光が入射する検出光学系を介して、複数の検出部を含む検出装置によって、前記試料からの光を検出することと、
前記検出装置の2以上の検出部の検出結果を用いて画像を生成することと、を含む観察方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/032817 WO2019053768A1 (ja) | 2017-09-12 | 2017-09-12 | 顕微鏡および観察方法 |
JP2019541507A JP7063337B2 (ja) | 2017-09-12 | 2017-09-12 | 顕微鏡および観察方法 |
EP17924823.2A EP3683611A4 (en) | 2017-09-12 | 2017-09-12 | MICROSCOPE AND OBSERVATION PROCEDURE |
US16/816,704 US11287625B2 (en) | 2017-09-12 | 2020-03-12 | Microscope and observation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/032817 WO2019053768A1 (ja) | 2017-09-12 | 2017-09-12 | 顕微鏡および観察方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/816,704 Continuation US11287625B2 (en) | 2017-09-12 | 2020-03-12 | Microscope and observation method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019053768A1 true WO2019053768A1 (ja) | 2019-03-21 |
Family
ID=65723957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/032817 WO2019053768A1 (ja) | 2017-09-12 | 2017-09-12 | 顕微鏡および観察方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11287625B2 (ja) |
EP (1) | EP3683611A4 (ja) |
JP (1) | JP7063337B2 (ja) |
WO (1) | WO2019053768A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020173170A (ja) * | 2019-04-10 | 2020-10-22 | オムロン株式会社 | 光学計測装置、光学計測方法、及び光学計測プログラム |
CN113711014A (zh) * | 2019-04-02 | 2021-11-26 | 热电科学仪器有限公司 | 使用结构化照明显微镜增强样品成像 |
US20230152206A1 (en) * | 2020-04-10 | 2023-05-18 | Hamamatsu Photonics K.K. | Observation device and observation method |
EP4106618A4 (en) * | 2020-02-19 | 2024-04-24 | Thermo Electron Scientific Instruments LLC | PHASE MASK FOR STRUCTURED LIGHTING |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11686935B2 (en) * | 2019-01-29 | 2023-06-27 | Meta Platforms Technologies, Llc | Interferometric structured illumination for depth determination |
WO2020179036A1 (ja) * | 2019-03-06 | 2020-09-10 | 株式会社ニコン | 顕微鏡 |
CN117055203B (zh) * | 2023-10-11 | 2023-12-08 | 深圳赛陆医疗科技有限公司 | 照明系统、成像系统和基因测序仪 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095058A (ja) * | 1995-06-15 | 1997-01-10 | Hamamatsu Photonics Kk | 規則的パターンの欠陥検査装置 |
JP2000098253A (ja) * | 1998-09-22 | 2000-04-07 | Olympus Optical Co Ltd | 観察物体の物理量を検出するための装置およびこれを用いた検出方法 |
WO2008132976A1 (ja) * | 2007-04-12 | 2008-11-06 | Nikon Corporation | 顕微鏡装置 |
JP2009064024A (ja) * | 2008-10-06 | 2009-03-26 | Olympus Corp | 観察物体の物理量を検出するための装置およびこれを用いた検出方法 |
JP2010224320A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Corp | 顕微鏡装置 |
JP2012211902A (ja) * | 2005-03-25 | 2012-11-01 | Massachusetts Inst Of Technol <Mit> | Hilbert位相画像処理のためのシステムと方法 |
JP2013513823A (ja) * | 2009-12-09 | 2013-04-22 | アプライド プレシジョン インコーポレイテッド | 高速の3次元構造化照明による顕微鏡撮像の方法およびシステム |
JP2013099177A (ja) * | 2011-11-02 | 2013-05-20 | Toyota Motor Corp | 駆動装置 |
JP2014052476A (ja) * | 2012-09-06 | 2014-03-20 | Astro Design Inc | レーザー走査蛍光顕微鏡装置 |
JP2015526764A (ja) * | 2012-08-16 | 2015-09-10 | ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー | 光学装置及び顕微鏡 |
JP2015230439A (ja) * | 2014-06-06 | 2015-12-21 | 株式会社ニコン | 照明光学系、顕微鏡装置、及び照明方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117007A (ja) * | 1999-10-21 | 2001-04-27 | Nikon Corp | レーザ顕微鏡及び共焦点型レーザ走査顕微鏡 |
JP2003015049A (ja) * | 2001-06-27 | 2003-01-15 | Nikon Corp | 格子照明顕微鏡およびこれを用いた観察方法 |
JP4978470B2 (ja) | 2005-10-11 | 2012-07-18 | 株式会社ニコン | 顕微鏡装置及び観察方法 |
WO2013108626A1 (ja) | 2012-01-18 | 2013-07-25 | 株式会社ニコン | 構造化照明装置、構造化照明顕微鏡装置、構造化照明方法 |
JP2013179581A (ja) | 2012-02-07 | 2013-09-09 | Canon Inc | 画像生成装置及びその制御方法 |
JP2013201530A (ja) | 2012-03-23 | 2013-10-03 | Canon Inc | 撮像装置及びその制御方法 |
US9075013B2 (en) * | 2012-04-29 | 2015-07-07 | Periodic Structures, Inc. | Apparatus and methods for microscopy having resolution beyond the Abbe limit |
US9316536B2 (en) * | 2013-06-24 | 2016-04-19 | ASTRODESIGN, Inc. | Spatial frequency reproducing apparatus and optical distance measuring apparatus |
JP6364750B2 (ja) * | 2013-11-18 | 2018-08-01 | 株式会社ニコン | 構造化照明装置、および構造化照明顕微鏡装置 |
-
2017
- 2017-09-12 WO PCT/JP2017/032817 patent/WO2019053768A1/ja unknown
- 2017-09-12 JP JP2019541507A patent/JP7063337B2/ja active Active
- 2017-09-12 EP EP17924823.2A patent/EP3683611A4/en active Pending
-
2020
- 2020-03-12 US US16/816,704 patent/US11287625B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095058A (ja) * | 1995-06-15 | 1997-01-10 | Hamamatsu Photonics Kk | 規則的パターンの欠陥検査装置 |
JP2000098253A (ja) * | 1998-09-22 | 2000-04-07 | Olympus Optical Co Ltd | 観察物体の物理量を検出するための装置およびこれを用いた検出方法 |
JP2012211902A (ja) * | 2005-03-25 | 2012-11-01 | Massachusetts Inst Of Technol <Mit> | Hilbert位相画像処理のためのシステムと方法 |
WO2008132976A1 (ja) * | 2007-04-12 | 2008-11-06 | Nikon Corporation | 顕微鏡装置 |
JP2009064024A (ja) * | 2008-10-06 | 2009-03-26 | Olympus Corp | 観察物体の物理量を検出するための装置およびこれを用いた検出方法 |
JP2010224320A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Corp | 顕微鏡装置 |
JP2013513823A (ja) * | 2009-12-09 | 2013-04-22 | アプライド プレシジョン インコーポレイテッド | 高速の3次元構造化照明による顕微鏡撮像の方法およびシステム |
JP2013099177A (ja) * | 2011-11-02 | 2013-05-20 | Toyota Motor Corp | 駆動装置 |
JP2015526764A (ja) * | 2012-08-16 | 2015-09-10 | ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー | 光学装置及び顕微鏡 |
JP2014052476A (ja) * | 2012-09-06 | 2014-03-20 | Astro Design Inc | レーザー走査蛍光顕微鏡装置 |
JP2015230439A (ja) * | 2014-06-06 | 2015-12-21 | 株式会社ニコン | 照明光学系、顕微鏡装置、及び照明方法 |
Non-Patent Citations (2)
Title |
---|
PENG GAOG. ULRICH NIENHAUS: "Confocal laser scanning microscopy with spatiotemporal structured illumination", OPTICS LETTERS, vol. 41, no. 6, 15 March 2016 (2016-03-15), pages 1193 - 1196 |
See also references of EP3683611A4 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113711014A (zh) * | 2019-04-02 | 2021-11-26 | 热电科学仪器有限公司 | 使用结构化照明显微镜增强样品成像 |
JP2022527827A (ja) * | 2019-04-02 | 2022-06-06 | サーモ エレクトロン サイエンティフィック インストルメンツ リミテッド ライアビリティ カンパニー | 構造化照明顕微鏡法を使用した高度な試料画像化 |
JP2020173170A (ja) * | 2019-04-10 | 2020-10-22 | オムロン株式会社 | 光学計測装置、光学計測方法、及び光学計測プログラム |
EP4106618A4 (en) * | 2020-02-19 | 2024-04-24 | Thermo Electron Scientific Instruments LLC | PHASE MASK FOR STRUCTURED LIGHTING |
US20230152206A1 (en) * | 2020-04-10 | 2023-05-18 | Hamamatsu Photonics K.K. | Observation device and observation method |
Also Published As
Publication number | Publication date |
---|---|
JP7063337B2 (ja) | 2022-05-09 |
EP3683611A1 (en) | 2020-07-22 |
JPWO2019053768A1 (ja) | 2020-10-29 |
EP3683611A4 (en) | 2021-06-09 |
US20200241271A1 (en) | 2020-07-30 |
US11287625B2 (en) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7063337B2 (ja) | 顕微鏡および観察方法 | |
JP5888416B2 (ja) | 構造化照明顕微鏡装置 | |
US8019136B2 (en) | Optical sectioning microscopy | |
JP5136422B2 (ja) | 顕微鏡装置及び画像処理方法 | |
JP5452713B2 (ja) | 構造化照明光学系および構造化照明顕微鏡装置 | |
JP4835750B2 (ja) | 顕微鏡装置 | |
WO2007043314A1 (ja) | 顕微鏡装置 | |
US20210389577A1 (en) | Microscope | |
US20120019647A1 (en) | Method and configuration for the optical detection of an illuminated specimen | |
JP2007199397A (ja) | 顕微鏡装置 | |
WO2016199179A1 (ja) | 構造化照明顕微鏡システム、方法及びプログラム | |
US20150124073A1 (en) | Illumination optical system and microscope | |
WO2015052936A1 (ja) | 構造化照明顕微鏡装置 | |
JP6023147B2 (ja) | 照明された試料を光学的に捕捉するための方法および装置 | |
JP4844137B2 (ja) | 顕微鏡装置 | |
JP2007279287A (ja) | 構造化照明光学系、及びそれを備えた構造化照明顕微鏡 | |
JP6270615B2 (ja) | 標本像データ生成装置、及び、標本像データ生成方法 | |
JP6413364B2 (ja) | 照明光学系及び顕微鏡装置 | |
WO2020179032A1 (ja) | 顕微鏡および観察方法 | |
WO2020179040A1 (ja) | 顕微鏡および観察方法 | |
WO2020179039A1 (ja) | 顕微鏡および観察方法 | |
WO2014020911A1 (ja) | 観察装置 | |
WO2011125370A1 (ja) | 観察装置及び観察方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17924823 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019541507 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017924823 Country of ref document: EP Effective date: 20200414 |