[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016092674A1 - 観察システム、光学部品、及び観察方法 - Google Patents

観察システム、光学部品、及び観察方法 Download PDF

Info

Publication number
WO2016092674A1
WO2016092674A1 PCT/JP2014/082875 JP2014082875W WO2016092674A1 WO 2016092674 A1 WO2016092674 A1 WO 2016092674A1 JP 2014082875 W JP2014082875 W JP 2014082875W WO 2016092674 A1 WO2016092674 A1 WO 2016092674A1
Authority
WO
WIPO (PCT)
Prior art keywords
holes
pinhole
excitation light
fluorescence
hole
Prior art date
Application number
PCT/JP2014/082875
Other languages
English (en)
French (fr)
Inventor
金子　善興
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2016563357A priority Critical patent/JP6479041B2/ja
Priority to PCT/JP2014/082875 priority patent/WO2016092674A1/ja
Publication of WO2016092674A1 publication Critical patent/WO2016092674A1/ja
Priority to US15/616,995 priority patent/US20170269000A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0044—Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G01N2021/6478—Special lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0636—Reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/105—Purely optical scan
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays

Definitions

  • the present invention relates to an observation system for observing an object that generates fluorescence by being irradiated with excitation light, an optical component used in the observation system, and an observation method.
  • a fluorescence observation method for observing fluorescence generated by irradiating a sample with excitation light.
  • the sample can be observed at the molecular level by staining a sample such as a cell of a living body with a fluorescent substance and detecting the fluorescence generated from the fluorescent substance.
  • a pinhole is placed on a plane (confocal plane) conjugate to the focal plane on the object side of the objective lens, and the fluorescence from the object plane, that is, only the focused fluorescence is detected to generate an image.
  • Focus observation is also known.
  • the focal position of the objective lens is shifted to a designated Z position in the focal direction during the pause period for each cycle time of three-dimensional measurement, and a slice image of the sample at this Z position is displayed.
  • a focusing microscope system is disclosed.
  • Patent Document 2 discloses a confocal optical scanner detection device provided with a Nipou disk in which two types of pinholes having different diameters are arranged in order to achieve both resolution and brightness of the field of view.
  • Patent Document 3 discloses a confocal optical scanner that changes the diameter of a pinhole by inserting and removing a plurality of hole units in which a plurality of types of pinholes having different diameters are formed respectively. It is disclosed.
  • the present invention has been made in view of the above, and it is an object of the present invention to provide an observation system, an optical component, and an observation method capable of accurately acquiring three-dimensional image information in a desired portion of a sample. Do.
  • an observation system for observing an object that generates fluorescence by being irradiated with excitation light through an objective lens, A plurality of holes arranged in a plane orthogonal to the optical axis of the objective lens, provided with a plurality of holes for passing the excitation light along a direction parallel to the optical axis; The fluorescence generated by irradiating the object with at least one of the holes and the excitation light having passed through the objective lens is received through at least one of the objective lens and the plurality of holes, and an image signal is generated.
  • An imaging unit for outputting the plurality of holes wherein the plurality of holes are positions at which the beam diameter of the excitation light passing through each hole is minimized in the optical axis direction
  • the imaging unit includes a plurality of different types of holes, and the imaging unit separates the received fluorescence according to the arrangement of the holes through which the fluorescence passes in the orthogonal plane, and outputs an image signal for each separated fluorescence. It is characterized by
  • the observation system further includes an image processing device that generates a plurality of images respectively corresponding to a plurality of different pinhole positions based on the image signal output from the imaging unit.
  • the image processing apparatus generates a plurality of images corresponding to conjugate planes of the plurality of pinhole positions.
  • the imaging unit includes an imaging lens for imaging the fluorescence, a microlens array in which a plurality of microlenses are arranged in a plane orthogonal to the optical axis of the imaging lens, and light emitted from the microlens array
  • An imaging element in which a plurality of pixels are arranged, each of which receives the fluorescence and outputs an image signal according to the intensity of the received fluorescence, and each of the plurality of microlenses passes through the imaging lens It is characterized in that the incident fluorescent light is emitted in a direction according to an incident direction to the microlens.
  • the hole unit includes a pinhole array in which the plurality of holes are arranged in the orthogonal plane, and a galvano mirror which causes the excitation light to sequentially enter each of the plurality of holes. It is characterized in that a pinhole member in which a through hole is provided in a plate-like light shielding member is disposed at a depth corresponding to the position of the pinhole in each of a plurality of holes.
  • the hole unit includes a pinhole array in which the plurality of holes are arranged in the orthogonal plane, and a galvano mirror which causes the excitation light to sequentially enter each of the plurality of holes.
  • Each of the plurality of holes is filled with an optical member having a refractive index according to the position of the pinhole.
  • the hole unit comprises a discoid disc, and a nippo disc in which the plurality of holes are arranged on the main surface; and driving means for rotating the nippo disc about an axis parallel to the optical axis;
  • Each of the plurality of holes is filled with an optical member having a refractive index according to the position of the pinhole.
  • the hole unit has a disk shape, a Nipou disk in which the plurality of holes are provided on the main surface, and a disk shape, and has a lens array surface arranged parallel to the main surface of the nippo disk.
  • a lens array disk provided on the lens array surface with a plurality of lenses for focusing the excitation light toward the plurality of holes, the nippo disk and the lens array disk in synchronization with each other and the optical axis
  • a pin hole member provided with a through hole in the plate-like light shielding member at a depth corresponding to the position of the pin hole of each of the plurality of holes.
  • each of the plurality of lenses is formed by an optical member having a refractive index according to the position of the pinhole in the hole for condensing the excitation light.
  • the hole unit is a pinhole array in which the plurality of holes are arranged in the orthogonal plane, and a digital that causes the excitation light to be incident on some of the plurality of holes.
  • a pinhole member having a through hole provided in a plate-like light shielding member at a depth corresponding to the position of the pinhole of each of the plurality of holes; The plurality of holes to which the excitation light is made incident are sequentially changed.
  • the hole unit is a pinhole array in which the plurality of holes are arranged in the orthogonal plane, and a digital that causes the excitation light to be incident on some of the plurality of holes.
  • a mirror device wherein each of the plurality of holes is filled with an optical member having a refractive index according to the position of the pinhole, and the digital mirror device is configured to receive the excitation light. It is characterized in that the holes are sequentially changed.
  • the observation system extracts a laser light source that emits an ultrashort pulse laser beam having a pulse cycle of femtosecond or less, extracts the excitation light from the laser light emitted by the laser light source, and detects the excitation light from the direction of the object.
  • a fluorescence unit for extracting the fluorescence from light incident through the objective lens and at least one of the plurality of holes.
  • An optical component according to the present invention is an optical component used in an observation system for observing an object that generates fluorescence by being irradiated with excitation light, and a substrate having a plurality of holes formed on the same surface, and a plate -Shaped light blocking member having a through hole, the pinhole member being disposed in each of the plurality of holes, the pinhole member being disposed in the pinhole member According to the position in the said base material of a hole, it arrange
  • An optical component according to the present invention is an optical component used in an observation system for observing an object that generates fluorescence by being irradiated with excitation light, the substrate having a plurality of holes formed on the same surface, and An optical member filled in each of a plurality of holes, wherein the optical member is any one of a plurality of types of materials having different refractive indices according to the position in the base of the hole in which the optical member is disposed It is characterized by being formed by
  • the optical component according to the present invention is an optical component used in an observation system for observing an object that generates fluorescence by being irradiated with excitation light, having a disk shape and having a plurality of holes formed on the same surface.
  • the optical component according to the present invention is an optical component used in an observation system for observing an object that generates fluorescence by being irradiated with excitation light, and has a disk shape, and the first group of holes is formed on the same surface. And a pinhole member provided with a through hole in a plate-like light shielding member, wherein the pinhole member is disposed in each of the first group of holes, and has a disk shape.
  • the plurality of pinhole members are different from each other in the thickness direction of the first substrate according to the position in the first substrate of the hole in which the pinhole member is disposed.
  • An observation method is an observation method performed in an observation system for observing an object that generates fluorescence by being irradiated with excitation light through an objective lens, and is orthogonal to the optical axis of the objective lens Irradiating the excitation light onto the object through at least one of a plurality of holes arranged in a plane and through which the excitation light can pass along a direction parallel to the optical axis, and the objective lens;
  • the holes include a plurality of types of holes whose pinhole positions are different from each other at positions where the beam diameter of the excitation light passing through each hole is the smallest in the optical axis direction,
  • Serial imaging step the fluorescence received, separated in accordance with the arrangement in the plane orthogonal to the hole fluorescence has passed, and outputs the image signals for each separate fluorescent, characterized in that.
  • the observation method further includes an image processing step of creating a plurality of images respectively corresponding to a plurality of different pinhole positions based on the image signal output in the imaging step.
  • a hole which is generated when the object is irradiated with the excitation light passes through at least one of a plurality of types of holes having different pinhole positions, and is incident on the imaging unit is a hole through which the fluorescence passes. Since the image signal is separated according to the arrangement of the above and the separated fluorescence is output, it is possible to obtain three-dimensional image information in a desired part of the sample with high accuracy.
  • FIG. 1 is a schematic view showing a configuration example of an observation system according to Embodiment 1 of the present invention.
  • FIG. 2 is a partial cross-sectional perspective view showing the structure of the pinhole array shown in FIG.
  • FIG. 3 is a schematic view showing a configuration example of the imaging unit shown in FIG.
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 5 is a schematic view showing an image area represented by image data based on the image signal output from the imaging unit shown in FIG.
  • FIG. 6 is a schematic view for explaining the subject distance stored in the distance map.
  • FIG. 7 is a schematic view for explaining a method of creating an image of the refocus plane.
  • FIG. 1 is a schematic view showing a configuration example of an observation system according to Embodiment 1 of the present invention.
  • FIG. 2 is a partial cross-sectional perspective view showing the structure of the pinhole array shown in FIG.
  • FIG. 3 is a schematic view showing a configuration
  • FIG. 8 is a schematic view showing an example of a screen which allows the user to select the refocus plane.
  • FIG. 9 is a schematic view showing a structure of a pinhole array according to a modification of the first embodiment of the present invention.
  • FIG. 10 is a schematic view showing a configuration of an observation system according to Embodiment 2 of the present invention.
  • FIG. 11 is a schematic view showing the structure of the nippo disc shown in FIG.
  • FIG. 12 is a schematic view showing a configuration of an observation system according to Embodiment 3 of the present invention.
  • FIG. 13 is a schematic view showing the structure of the microlens array shown in FIG.
  • FIG. 14 is a schematic view showing the structure of the nippo disc shown in FIG.
  • FIG. 15 is a schematic view showing a configuration of an observation system according to Embodiment 4 of the present invention.
  • FIG. 16 is a schematic view showing a configuration example of an endoscope system according to the fifth embodiment of the present invention.
  • FIG. 1 is a schematic view showing a configuration example of an observation system according to Embodiment 1 of the present invention.
  • the observation system 1 according to the first embodiment is a system that creates an image of a sample SP that generates fluorescence by being irradiated with excitation light having a component of a specific wavelength band,
  • the microscope system 10 generates and outputs an image signal related to the sample SP, the image processing device 17 which performs various processes on the image signal output from the microscope system 10, and the display device 18.
  • the microscope system 10 includes a laser light source 11 for generating laser light, a fluorescence unit 12 for extracting the excitation light from the laser light and extracting fluorescence from light returning from the sample SP, excitation light and fluorescence.
  • a hole unit 13 provided with a plurality of holes 134 to be sequentially passed, an objective lens 14 for condensing excitation light and irradiating the sample SP, and placing the sample SP on the sample SP
  • an imaging unit 16 for capturing an image of the fluorescence extracted by the fluorescence unit 12.
  • the optical axis direction of the objective lens 14 is taken as the Z direction
  • a plane orthogonal to the optical axis Z is taken as the XY plane.
  • the laser light source 11 generates laser light L1 including a component (excitation light) of a specific wavelength band capable of exciting the sample SP.
  • an ultrashort pulse laser light source having a pulse cycle of femtosecond or less is used. It is preferred to use.
  • the laser light source 11 emits laser light at a predetermined pulse cycle under the control of a control unit 176 provided in an image processing apparatus 17 described later.
  • the fluorescence unit 12 transmits a component including excitation light in the laser light L1 incident from the direction of the laser light source 11, and transmits a component including fluorescence in the light incident from the direction of the hole unit 13 in the imaging unit 16
  • the dichroic mirror 121 that reflects in the direction
  • the excitation filter 122 that selectively passes the excitation light L2 from the component that has passed through the dichroic mirror 121
  • an absorption filter 123 for absorbing the wavelength component of
  • the hole unit 13 includes a reflection mirror 131, a galvano mirror 132, and a pinhole array 133 in which a plurality of holes (through holes) 134 are arranged.
  • the reflection mirror 131 reflects the excitation light emitted from the fluorescence unit 12 and causes it to be incident on the galvano mirror 132.
  • the galvano mirror 132 is a mirror rotatable about the X axis and the Y axis, deflects the excitation light incident through the reflection mirror 131 in the direction orthogonal to the XY plane, and sequentially passes the plurality of holes 134.
  • the pinhole array 133 is disposed such that the arrangement surface of the plurality of holes 134 is parallel to the XY plane.
  • FIG. 2 is a partial cross-sectional perspective view showing the structure of the pinhole array 133.
  • the pinhole array 133 has a base material 135 in which a plurality of holes (through holes) 134 are formed, and pinhole members 136 disposed in the respective holes 134.
  • the substrate 135 is formed of a light shielding material such as metal or opaque synthetic resin.
  • Each hole 134 has a columnar shape (for example, a cylindrical shape), and is formed such that the central axis is orthogonal to the main surface of the substrate 135.
  • the pinhole member 136 is a disk-like (plate-like) member in which a through hole (pinhole) 136a is formed at the center, and is formed of a light shielding material such as metal or opaque synthetic resin.
  • the depth (the position in the thickness direction of the base material 135) in which the pinhole member 136 is fitted is set in accordance with the position of the hole 134 in the XY plane.
  • the light entering each hole 134 passes through the pinhole 136 a provided in the pinhole member 136 and exits from the hole 134. Therefore, the beam diameter of light is minimized when passing through the pinhole 136a.
  • the position where the beam diameter of light (excitation light or fluorescence) incident on the hole 134 is the smallest in the Z direction is referred to as a pinhole position.
  • pinhole members 136 are fitted at three pinhole positions.
  • the holes 134 may be distinguished from the three types of holes 134a, 134b and 134c depending on the pinhole position. Between the holes 134a, 134b and 134c, the aperture diameter of the pinhole 136a is the same, and the distance between the pinhole position and the objective lens 14 is different from each other.
  • the distance between the pinhole position of each hole 134a, 134b and 134c and the objective lens 14 is not particularly limited, and can be appropriately adjusted by changing the position of the pinhole array 133 or the objective lens 14 in the Z direction.
  • the pinhole position of any one of the holes 134 a, 134 b and 134 c may be aligned with the focal plane of the objective lens 14.
  • the arrangement of the holes 134a, 134b and 134c in the XY plane is not particularly limited, but it is preferable to arrange the various holes 134a, 134b and 134c as evenly as possible. In FIG. 2, three types of holes 134a, 134b and 134c are arranged in order.
  • the hole unit 13 drives the galvano mirror 132 in synchronization with the pulse period of the laser light source 11 under the control of the control unit 176 included in the image processing apparatus 17 described later, and the pinhole array 133 is generated by the excitation light emitted from the fluorescence unit 12. Scan.
  • the excitation light L2 sequentially passes through any of the plurality of types of holes 134a, 134b, 134c having different pinhole positions.
  • the hole unit 13 deflects the light L3 generated in the sample SP and containing the fluorescence that has passed through any of the plurality of holes 134 through the objective lens 14 by the galvano mirror 132 and the reflection mirror 131 and enters the fluorescence unit 12
  • the objective lens 14 condenses the excitation light L2 emitted from the hole unit 13 and irradiates the sample SP, and condenses the light L3 containing the fluorescence generated in the sample SP to collect the hole unit Make it incident on 13.
  • the imaging unit 16 is a so-called light field camera (Reference: Ren. Ng, et al., “Light Field Photography with a Hand-held Plenoptic Camera”, Stanford Tech Report CTSR 2005-02), and the fluorescence of the incident light to the imaging unit 16 is The images are separated and recorded according to the optical path of the fluorescence, ie, the position of the holes 134a, 134b, 134c through which the fluorescence passes in the XY plane.
  • FIG. 3 is a schematic view showing a configuration example of the imaging unit 16.
  • the imaging unit 16 includes an imaging lens 161 for imaging the fluorescence incident on the imaging unit 16, a microlens array 162 arranged in parallel with the imaging lens 161, and a microlens array 162 on the back side of the microlens array 162. And an imaging element 163 disposed in parallel.
  • the optical axis direction of the imaging lens 161 is the z direction
  • a plane orthogonal to the z direction is the xy plane.
  • the imaging lens 161 is disposed such that its focal plane is in a conjugate relationship with the focal plane of the objective lens 14. In the vicinity of the focal plane of the imaging lens 161, a microlens array 162 is disposed.
  • the microlens array 162 has a plurality of microlenses 162a two-dimensionally arranged along the xy plane.
  • Each of the microlenses 162 a emits fluorescence incident through the imaging lens 161 in a direction according to the incident direction to the imaging lens 161 and the pupil region of the imaging lens 161 through which the fluorescence passes. That is, the imaging lens 161 and the microlens array 162 emit the fluorescence incident on the imaging unit 16 in the incident direction and the incident position of the fluorescence, in other words, the direction according to the position of the hole 134 through which the fluorescence passes. It is a separation optical system.
  • the imaging device 163 has a light receiving surface in which a plurality of pixels 163a are two-dimensionally arranged, and is configured by a solid-state imaging device such as a CCD or a CMOS.
  • the imaging device 163 has a function of capturing a color image having pixel levels (pixel values) in each band of R (red), G (green), and B (blue), and a control unit 176 included in the image processing apparatus 17 described later. It operates at a predetermined timing according to the control of.
  • the fluorescence incident on the imaging unit 16 is guided by the imaging lens 161 and the microlens array 162 in the incident direction and the direction according to the incident position, and is incident on the pixel 163a positioned in that direction.
  • Each pixel 163a outputs an electrical signal (image signal) according to the intensity of the received fluorescence. Since the pixels 163a on which the fluorescence emitted from each microlens 162a is incident are determined, the light path of the fluorescence incident on the imaging unit 16 is estimated from the image signal output from each pixel 163a of the imaging element 163. Can.
  • the image processing device 17 executes predetermined image processing based on the signal processing unit 171 that generates an image signal by processing the electrical signal output from the imaging unit 16 and the image signal generated by the signal processing unit 171.
  • the image processing unit 172 the storage unit 173 storing the image created by the image processing unit 172 and other various information, the output unit 174, and input of commands and information to the image processing apparatus 17.
  • An operation unit 175 is provided, and a control unit 176 is configured to integrally control these units.
  • the signal processing unit 171 performs processing such as amplification and A / D conversion on the electrical signal output from the imaging unit 16 to output a digital image signal (hereinafter, referred to as image data).
  • the image processing unit 172 generates image data for display by performing processing such as white balance processing, demosaicing, color conversion, density conversion (gamma conversion), and the like on the image data output from the signal processing unit 171. . Further, the image processing unit 172 is based on the image data, images of conjugate planes of pinhole positions of the various holes 134a, 134b and 134c provided in the pinhole array 133, that is, images of different slices in the sample SP. And compression processing for compressing the generated image, and synthesis processing for generating a synthesized image obtained by synthesizing images of different slices. Furthermore, the image processing unit 172 may perform processing such as detection processing of a subject region and association of coordinate information on the generated image or composite image.
  • the storage unit 173 may be a flash memory capable of updating and recording, a semiconductor memory such as a RAM or a ROM, a hard disk connected with a built-in or data communication terminal, a recording medium such as a MO, a CD-R, a DVD-R, etc.
  • a recording device or the like including a writing and reading device for writing and reading information is configured.
  • the storage unit 173 stores the image data of each of the focal planes generated by the image processing unit 172, the image data of the composite image, and other related information.
  • the output unit 174 outputs an image for each slice created by the image processing unit 172, a composite image of these images, a user interface screen, and the like to an external device such as the display device 18 under the control of the control unit 176. It is an interface.
  • the operation unit 175 includes input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel, and inputs a signal corresponding to an operation performed from the outside by the user to the control unit 176.
  • the control unit 176 centrally controls the overall operation of the observation system 1 based on various instructions and various information input from the operation unit 175.
  • the image processing unit 172 and the control unit 176 may be configured by dedicated hardware or may be configured by reading a predetermined program into hardware such as a CPU.
  • the storage unit 173 further includes a control program for controlling the operation of the observation system 1, an image processing program executed by the image processing unit 172, various parameters used during execution of these programs, Store setting information etc.
  • the display device 18 is configured of, for example, an LCD, an EL display, a CRT display, or the like, and displays an image or the like output from the image processing device 17.
  • the observation system 1 is powered on and the sample SP is placed on the stage 15. Then, under the control of the control unit 176, the laser light source 11 generates the laser light L1 at a predetermined pulse cycle, and drives the galvano mirror 132 in synchronization with the pulse cycle of the laser light L1. As a result, the excitation light L2 extracted from the laser light through the fluorescent unit 12 sequentially passes through the plurality of holes 134 provided in the pinhole array 133. The excitation light L2 that has passed through the hole 134 is collected by the objective lens 14 and irradiated to the object plane of the sample SP to generate fluorescence.
  • This fluorescence (see light L 3) is collected by the objective lens 14, passes through the hole 134 through which the excitation light L 2 has passed first, and enters the imaging unit 16 via the fluorescence unit 12. Thereby, an image signal representing an image of fluorescence is output from the imaging unit 16 to the image processing device 17.
  • control is performed so that the excitation light L2 passes through all the holes 134 once each within one exposure period (one frame period) of the imaging unit 16.
  • FIG. 4 is a flow chart showing the operation of the image processing apparatus 17 after capturing an image signal.
  • the image processing device 17 generates image data by performing processing such as amplification and A / D conversion on the image signal output from the imaging unit 16, and further generates this image data.
  • Image data for display is acquired by performing processing such as white balance processing, demosaicing, color conversion, density conversion (gamma conversion) and the like.
  • FIG. 5 is a schematic view showing an image area R represented by image data based on an image signal output from the imaging unit 16.
  • the positions of the pixels forming the image area R correspond to the positions of the pixels 163 a arranged on the light receiving surface of the imaging element 163.
  • step S11 the image processing unit 172 divides the image area R into a plurality of small areas in accordance with the arrangement of the microlenses 162a in the microlens array 162 (see FIG. 3).
  • the symbol A (m, n) shown in FIG. 5 indicates the position of the small area in the image area R.
  • the fluorescence incident on the imaging unit 16 is incident on the microlens 162a positioned in a direction according to the incident direction and the position (pupil region) incident on the imaging lens 161, and further, on the incident microlenses 162a.
  • the light is incident on the pixel 163a positioned in the direction according to the incident direction.
  • a pixel in which information on a common pupil area is stored for example, the pixel p mn (3, of the center of each small area A (m, n) 3)
  • the image processing unit 172 is a distance map in which each pixel in the image region R is associated with the subject distance (the distance between the objective lens 14 and the object plane) in the optical path through which the fluorescence incident on the pixel passes.
  • Create FIG. 6 is a schematic view for explaining the subject distance stored in the distance map. In FIG. 6, for convenience of explanation, the ratio of each part is different from that in FIG.
  • any one of a plurality of types of holes 134a, 134b and 134c having different pinhole positions is disposed in the optical path of the fluorescence FL generated in the sample SP. Therefore, holes 134a which fluorescence passes, 134b, a conjugate plane of the pinhole position in 134c is the object plane P 1, P 2, P 3 . Accordingly, holes 134a which fluorescence passes, 134b, the distance between the pinhole position and the objective lens 14 in 134c is given as the subject distance d 1, d 2, d 3 .
  • the position of each pixel in the image area R corresponds to the position of the pixel 163a of the imaging element 163, and the optical path of the fluorescence incident on each pixel 163a (the position of the hole 134 passed) is the imaging lens 161 and each Since it is specified by the positional relationship with the micro lens 162a, the pixels in the image area R can be associated with the subject distances d 1 , d 2 and d 3 based on this positional relationship.
  • the image processing unit 172 creates an image of fluorescence generated in each of the object planes P 1 , P 2 and P 3 based on the distance map created in step S12.
  • FIG. 7 is a schematic view for explaining a method of creating an image of the refocus plane.
  • the fluorescence generated in the sample SP is incident on the imaging lens 161 and forms an image on the microlens array 162.
  • the focal plane of the imaging lens 161 is an arrangement plane of the microlens array 162 and is a conjugate plane of the focal plane of the objective lens 14.
  • the coefficient ⁇ is a coefficient for determining the coordinates of the refocusing plane, and is a ratio of the object distances d 1 , d 2 and d 3 of the object planes P 1 , P 2 and P 3 to the focal length of the objective lens 14 Given.
  • the coordinates (x, z) of an arbitrary pupil area in the imaging lens 161 are (x 0 , 0), and the fluorescence passing through this pupil area passes a point (x ⁇ , ⁇ F) on the refocusing plane and is focused Suppose that the point (x 1 , F) on the surface is reached.
  • the output value I ⁇ (x ⁇ ) at the point x ⁇ on the refocus plane is obtained by integrating the output value I (x 0 , x 1 ) with respect to the pupil region of the imaging lens 161, and is given by the following equation (2) Be
  • the image of the refocus plane can be obtained by calculating the pixel values of the respective pixels constituting the image on the refocus plane.
  • the image processing unit 172 creates an image of the refocus plane corresponding to the object planes P 1 , P 2 , and P 3 .
  • the image processing unit 172 may further generate a 3D image or an omnifocal image by combining the images of the refocus planes corresponding to the object planes P 1 , P 2 , and P 3 .
  • the image processing unit 172 stores the image data of the image created in step S13 in the storage unit 173.
  • the control unit 176 causes the display device 18 to display a screen (selection screen) that allows the user to select a refocus plane to be displayed on the display device 18.
  • FIG. 8 is a schematic view showing an example of a screen which allows the user to select the refocus plane.
  • a screen M1 shown in FIG. 8 includes icons m1 to m3 representing the subject distances d 1 , d 2 and d 3 of the object planes P 1 , P 2 and P 3 corresponding to the refocus plane on which the image was created, and an OK button. m4 and contains.
  • the control unit 176 determines whether or not a selection signal for selecting one of the refocusing planes has been input from the operation unit 175. For example, when one of the icons m1 to m3 is selected by the pointer operation on the screen M1 using an input device such as a mouse, and the OK button m4 is further operated, the refocus corresponding to the subject distance of the selected icon A selection signal for selecting a surface is input.
  • the display of the 3D image or the omnifocal image may be selectable in addition to each refocus plane.
  • control unit 176 When a selection signal for selecting any of the refocusing planes is input (step S16: Yes), the control unit 176 outputs the input selection signal to the image processing unit 172, and the image data of the selected refocusing plane Are output from the image processing unit 172 to the display unit 18 via the output unit 174, thereby displaying an image on the display unit 18 (step S17).
  • control unit 176 causes display device 18 to display the selected image. .
  • the control unit 176 continues the display of the selection screen (step S15), and stands by until one of the selection signals is input.
  • the control unit 176 may cause the display device 18 to display an image of a predetermined refocus plane that is set in advance. Specifically, an image of the refocus plane corresponding to the subject distance closest to the focal length of the objective lens 14 or an image of the refocus plane corresponding to the central subject distance (for example, the subject distance d 2 in FIG. 6) Or the image of the refocus plane corresponding to the shortest subject distance (for example, subject distance d 1 in the case of FIG. 6), or the refocus plane corresponding to the longest subject distance (for example, the subject distance d 3 in FIG. 6) And the like.
  • step S18 the control unit 176 determines whether a signal instructing the end of the observation system is input from the operation unit 175. When the signal instructing the end is not input (step S18: No), the operation of the control unit 176 returns to step S15. On the other hand, when a signal instructing termination is input (step S18: Yes), the control unit 176 terminates the operation of the observation system 1.
  • the fluorescence that has passed through the holes 134a, 134b and 134c of different types with different pinhole positions and entered the imaging unit 16 within one imaging period is The fluorescence is separated in the direction according to the incident direction and the incident position of the fluorescence, and is recorded in the pixel 163a located in the separated direction. Therefore, by performing calculation using the output value of each pixel 163a, it is possible to create an image of a slice of the sample SP which is a conjugate plane of each pinhole position in one imaging operation. Therefore, even in the case of observing a sample of a living body, it is possible to acquire a plurality of images accurately focused on each slice without causing positional deviation in the XY plane. In addition, it is possible to compose a 3D image or an omnifocal image by combining these plural images.
  • the femtosecond or shorter ultrashort pulse laser light source 11 since the femtosecond or shorter ultrashort pulse laser light source 11 is used, it is also possible to observe a deep portion (on the order of several hundred ⁇ m) of a biological sample.
  • the base material 135 having the plurality of holes 134 formed is manufactured, and the pinhole positions are obtained by fitting the pinhole members 136 at different depths in the holes 134. Since the change is made, it becomes possible to control the aperture diameter of the pinhole and the pinhole position precisely and easily.
  • the number of pinhole positions in the pinhole array 133 is three in the first embodiment, the number of pinhole positions is not limited to this. Specifically, the number of pinhole positions may be two, or four or more.
  • the image processing unit 172 may set the coefficient ⁇ when forming the image of the refocus plane.
  • FIG. 9 is a schematic view showing the structure of the pinhole array according to the present modification.
  • the pinhole array 190 shown in FIG. 9 includes a base material 191 in which a plurality of holes 191a are formed, and optical members 192, 193, 194 filled in the respective holes 191a.
  • the optical members 192, 193, and 194 are transparent members that can transmit excitation light and fluorescence, and have different refractive indexes.
  • the excitation light incident to any one of the holes 191a by the galvano mirror 132 and the fluorescence collected by the objective lens 14 converge to a position in the Z direction according to the refractive index of the optical member filled in the incident holes 191a.
  • the optical members 192, 193, 194 filled in the holes 191a act in the same manner as pinholes.
  • the position at which the beam diameter of the light is the smallest on the optical path is called a pinhole position.
  • three pinhole positions are set by sequentially filling three holes in the hole 191a with three types of optical members 192, 193, and 194, but the pinhole positions are limited to three. Alternatively, two or four or more may be used.
  • the refractive index of the optical member may be appropriately selected in accordance with the pinhole position to be set.
  • FIG. 10 is a schematic view showing a configuration of an observation system according to Embodiment 2 of the present invention.
  • the observation system 2 according to the second embodiment includes a microscope system 20, an image processing device 17 that performs various processes on an image signal output from the microscope system 20, and a display device 18.
  • the configurations and operations of the image processing device 17 and the display device 18 are the same as in the first embodiment.
  • the microscope system 20 includes a laser light source 21 instead of the laser light source 11 shown in FIG. 1 and a hole unit 22 instead of the hole unit 13 shown in FIG.
  • the configuration of each part of the microscope system 20 other than the laser light source 21 and the hole unit 22 is the same as that of the microscope system 10 shown in FIG.
  • the laser light source 21 is a pulse laser light source including a component (excitation light) of a wavelength band capable of exciting the sample SP as in the laser light source 11, but the laser light L4 having a large beam diameter compared to the laser light source 11 Occur.
  • the hole unit 22 includes a nippo disc 220 in which a plurality of types of holes having different pinhole positions are arranged, and a motor 230 for rotating the nippo disc 220 around a rotation axis R0 .
  • FIG. 11 is a schematic view showing the structure of the nippo disc 220.
  • the Nipo disc 220 includes a disk-shaped base member 221 in which a plurality of holes 222 and 223 are formed, an optical member 224 filled in each hole 222, and an optical member 225 filled in each hole 223. .
  • the holes 222 and the holes 223 are arranged in a spiral on the main surface of the substrate 221, respectively. Note that, in FIG. 11, one spiral row of holes 222 and one spiral row of holes 223 are provided, but a plurality of these rows may be provided.
  • the optical members 224 and 225 are transparent members that can transmit excitation light and fluorescence, and have different refractive indexes.
  • the excitation light and fluorescence which entered into either of the holes 222 and 223 converge on the position (pinhole position) according to the refractive index of the optical member filled in the hole.
  • the laser light source 21 When imaging the sample SP, the laser light source 21 generates laser light L4 in a pulsed manner, and the nipola disc 220 is rotated at a predetermined speed by the motor 230 in synchronization with the pulse period. Thereby, excitation light emitted from the fluorescence unit 12 simultaneously enters the plurality of holes (the holes 222 and / or 223), and passes through the optical member (optical member 224 or 225) filled in the incident holes. And converge once. After that, the excitation light is expanded again, and is condensed on the objective lens 14 to simultaneously irradiate a plurality of points of the sample SP.
  • the fluorescence generated at a plurality of points of the sample SP passes through the objective lens 14 and is incident on a plurality of holes (holes 222 and 223 or both of them) of the Nippon disc 220, and an optical member (filling the incident holes)
  • the light beam is once converged by the optical member 224 or 225, and then enlarged again, and enters the imaging unit 16 through the fluorescence unit 12.
  • the control is performed so that the holes 222 and 223 provided in the nippo disc 220 cover the cross-sectional area of the laser light L4 emitted from the laser light source 21 within one exposure period of the imaging unit 16. It is done. That is, image information regarding the area of the sample SP corresponding to the entire cross-sectional area of the laser beam L4 can be acquired within one exposure period.
  • the sample SP can be performed in a shorter time than in the first embodiment. It becomes possible to image. Therefore, it is possible to further reduce the positional deviation of the sample SP in the XY plane in the three-dimensional image information on the sample SP.
  • the nippo disc 220 having a plurality of pinhole positions is obtained. It becomes possible to produce easily and precisely.
  • FIG. 12 is a schematic view showing a configuration of an observation system according to Embodiment 3 of the present invention.
  • the observation system 3 according to the third embodiment includes a microscope system 30, an image processing device 17 that performs various processes on an image signal output from the microscope system 30, and a display device 18. Equipped with Among these, the configurations and operations of the image processing device 17 and the display device 18 are the same as in the first embodiment.
  • the microscope system 30 includes a hole unit 31 instead of the hole unit 22 shown in FIG.
  • the configuration of each part of the microscope system 30 other than the hole unit 31 is the same as that of the microscope system 20 shown in FIG.
  • Hall unit 31 includes a micro lens array 310 and the Nipkow disk 320 arranged in parallel with each other, and a motor 330 for rotating the microlens array 310 and the Nipkow disk 320 to the rotation shaft R 1 around.
  • FIG. 13 is a schematic view showing the structure of the microlens array 310.
  • the microlens array 310 includes a disk-shaped base member 311 in which a plurality of holes 312 and 313 are formed, a microlens 314 fitted in each hole 312, and a microlens 315 fitted in each hole 313. .
  • the holes 312 and the holes 313 are arranged in a spiral on the main surface of the substrate 311, respectively. In FIG. 13, one spiral row of holes 312 and one spiral row of holes 313 are provided, but a plurality of these rows may be provided.
  • the microlenses 314 and 315 are formed of optical members having different refractive indexes.
  • the excitation light and the fluorescence incident on any of the holes 312 and 313 form an image in a focal plane according to the refractive index of the microlenses 314 and 315 fitted in the holes.
  • FIG. 14 is a schematic view showing the structure of the nippo disc 320.
  • the nippo disk 320 includes a base 321 on which a plurality of holes 322 and 323 are formed, and pinhole members 324 fitted in the respective holes 322 and 323.
  • the pinhole member 324 is a disk-like member in which a through hole (pinhole) 324 a is formed at the center, and is formed of a light shielding material such as metal or opaque synthetic resin.
  • the pinhole members 324 are fitted into the holes 322 and 323 at different depths.
  • one spiral row of holes 322 and one spiral row of holes 323 are provided, but these rows are aligned with the holes 312 and 313 of the microlens array 310. A plurality of these may be provided.
  • the microlens array 310 and the nippo disk 320 are disposed in parallel to each other with the fluorescent unit 12 in between so that the hole 312 and the hole 322 face each other, and the hole 313 and the hole 323 face each other. Also, the distance between the microlens array 310 and the nippo disk 320 is such that the focal point of the microlens 314 coincides with the pinhole position of the opposing hole 322 and the focal point of the microlens 315 coincides with the pinhole position of the opposing hole 323 It is set to. As a result, the excitation light extracted from the laser light collected by the microlenses 314 and 315 converges at the pinhole position of the holes 322 and 323 and passes through it.
  • the laser light source 21 When imaging the sample SP, the laser light source 21 generates laser light L4 in a pulsed manner, and the motor 330 rotates the microlens array 310 and the nippo disk 320 together in synchronization with the pulse period.
  • the laser light is collected by the plurality of microlenses provided in the microlens array 310, and the excitation light simultaneously enters the plurality of holes of the nippo disk 320 through the fluorescence unit 12.
  • the excitation light once converges at the pinhole position of each hole that has entered and is then enlarged again, and is condensed by the objective lens 14 to simultaneously irradiate a plurality of points of the sample SP.
  • the fluorescence generated at a plurality of points of the sample SP passes through the objective lens 14 to be incident on a plurality of holes of the Nippon disc 320, converges once at the pinhole position of the incident holes, and is magnified again.
  • the light enters the imaging unit 16 via the
  • the holes 312 and 313 provided in the microlens array 310 and the holes 322 and 323 provided in the nippo disk 320 were emitted from the laser light source 21 within one exposure period of the imaging unit 16. Control is performed to cover the cross-sectional area of the laser beam L4. That is, image information regarding the area of the sample SP corresponding to the entire cross-sectional area of the laser beam L4 can be acquired within one exposure period.
  • excitation light can be simultaneously irradiated (multi-beam irradiation) to a plurality of points of the sample SP, so that the sample SP can be imaged in a shorter time than in the first embodiment. It becomes possible. Therefore, it is possible to further reduce the positional deviation of the sample SP in the XY plane in the three-dimensional image information on the sample SP. Further, according to the third embodiment, by using the microlenses 314 and 315, it is possible to irradiate the sample SP with stronger excitation light, so it is possible to obtain a clearer fluorescence image. .
  • microlenses 314 and 315 are formed using optical materials having different refractive indexes, a microlens array disk in which a plurality of types of microlenses having different focal lengths are arranged is simple and accurate. It becomes possible to produce well.
  • FIG. 15 is a schematic view showing a configuration of an observation system according to Embodiment 4 of the present invention.
  • the observation system 4 according to the fourth embodiment includes a microscope system 40, an image processing device 17 that performs various processes on an image signal output from the microscope system 40, and a display device 18. Equipped with Among these, the configurations and operations of the image processing device 17 and the display device 18 are the same as in the first embodiment.
  • the microscope system 40 includes a laser light source 41 instead of the laser light source 11 shown in FIG. 1 and a hole unit 42 instead of the hole unit 13 shown in FIG.
  • the configuration of each part of the microscope system 40 other than the laser light source 41 and the hole unit 42 is the same as that of the microscope system 10 shown in FIG.
  • the laser light source 41 is a pulse laser light source including a component (excitation light) of a wavelength band capable of exciting the sample SP, similarly to the laser light source 11, but the laser light L5 having a larger beam diameter compared to the laser light source 11 Occur.
  • the hole unit 42 includes a reflection mirror 131, a digital mirror device (DMD) 421, and a pinhole array 133.
  • DMD digital mirror device
  • the configurations of the reflection mirror 131 and the pinhole array 133 are the same as in the first embodiment.
  • the digital mirror device 421 is a MEMS device provided with a plurality of micro mirrors capable of on / off control of a reflection function.
  • Each of the plurality of micro mirrors is disposed in a direction capable of reflecting excitation light incident through the reflection mirror 131 toward the plurality of holes 134 provided in the pinhole array 133.
  • These pinholes are grouped every few and controlled so that the reflection function is turned on / off for each group.
  • the laser light source 41 When imaging the sample SP, the laser light source 41 generates laser light L5 in a pulsed manner, and in synchronization with this pulse period, a plurality of micro mirrors provided in the digital mirror device 421 are sequentially turned on group by group. Make it As a result, the excitation light reflected by the turned on micro mirror passes through the corresponding hole 134, is collected by the objective lens 14, and simultaneously illuminates multiple points of the sample SP. In addition, the fluorescence generated at a plurality of points of the sample SP passes through the objective lens 14 simultaneously through the plurality of holes 134 and enters the imaging unit 16 through the turned on micro mirror and the fluorescence unit 12.
  • control of grouping and on / off of the micromirrors is performed so that excitation light emitted from the fluorescence unit 12 passes through all the holes 134 once in a single exposure period of the imaging unit 16. It is done. That is, image information regarding the area of the sample SP corresponding to the entire array surface of the holes 134 can be acquired within one exposure period.
  • the hole 134 for entering excitation light can be switched by electronic control, so that it is possible to image the sample SP in a shorter time than in the first to third embodiments. It becomes. Therefore, it is possible to further reduce the positional deviation of the sample SP in the XY plane in the three-dimensional image information on the sample SP.
  • FIG. 16 is a schematic view showing a configuration example of an endoscope system according to the fifth embodiment of the present invention.
  • An endoscope system 5 shown in FIG. 16 is one mode of the observation system shown in FIG. 1, and is an endoscope 50 which is inserted into the body of a subject and performs imaging to generate an image signal, and the endoscope 50.
  • a light source unit 60 generating illumination light emitted from the front end of the head, an image processing device 17 generating an image based on an image signal generated by the endoscope 50, and a display device displaying the image generated by the image processing device 17 And 18).
  • the configurations and operations of the image processing device 17 and the display device 18 are the same as in the first embodiment.
  • the light source unit 60 is a pulse laser light source including excitation light, but generates laser light having a larger beam diameter than the laser light source 11.
  • the endoscope 50 has an elongated insertion portion 51 having flexibility, an operation portion 52 connected to the base end side of the insertion portion 51 and receiving inputs of various operation signals, and an insertion portion from the operation portion 52
  • the universal cord 53 includes various cables that extend in a direction different from the extending direction of the 51 and connect with the image processing device 17 and the light source unit 60.
  • the insertion portion 51 is connected to a distal end portion 54, a bendable bending portion 55 formed of a plurality of bending pieces, and a proximal end side of the bending portion 55, and is a long flexible needle tube 56 having flexibility. And.
  • the fluorescence unit 12, the hole unit 42, the objective lens 14, and the imaging unit 16 are provided at the distal end portion 54 of the insertion portion 51.
  • the fluorescent unit 12, the hole unit 42, and the imaging unit 16 may be provided on either the distal end 54 side or the operation unit 52 side as long as the objective lens 14 is provided on the distal end 54.
  • only the objective lens 14 may be provided at the distal end portion 54, and the fluorescence unit 12, the hole unit 42, and the imaging unit 16 may be provided on the operation unit 52 side.
  • a collective cable in which a plurality of signal lines for performing transmission and reception of electric signals with the image processing device 17 are bundled, and a light guide for transmitting light are connected.
  • the signal lines for transmitting the image signal output from the imaging element 163 (see FIG. 3) to the image processing apparatus 17 and the signal lines for transmitting the control signal output from the image processing apparatus 17 to the imaging element 163 Is included.
  • the operation unit 52 includes a bending knob 521 that bends the bending unit 55 in the vertical and horizontal directions, a treatment tool insertion unit 522 that inserts a treatment tool such as a biopsy needle, a biological forceps, a laser knife, and an inspection probe, 17.
  • a treatment tool such as a biopsy needle, a biological forceps, a laser knife, and an inspection probe
  • the light source unit 60 it has a plurality of switches 523 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and gas supply means.
  • the universal cord 53 incorporates at least a light guide and a collecting cable.
  • the connector portion 57 which is detachable from the light source portion 60 and the connector portion 57 electrically via the coil cable 570 in a coil shape.
  • An image processing apparatus 17 and a detachable electrical connector portion 58 which are connected are provided.
  • the image signal output from the imaging element 163 is input to the image processing device 17 via the coil cable 570 and the electrical connector unit 58.
  • observation system 4 shown in FIG. 15 is applied to a living-body endoscope system.
  • observation systems 1, 2, 3 shown in FIG. 1, FIG. 10 and FIG. You may apply to an endoscope system.
  • these observation systems 1 to 4 may be applied to an industrial endoscope system.
  • the present invention is not limited to the above-described first to fifth embodiments and the modification as it is, and by appropriately combining a plurality of constituent elements disclosed in each of the first to fifth embodiments and the modification, Various inventions can be formed. For example, some components may be excluded from all the components shown in the first to fifth embodiments and the modification. Alternatively, the components described in different embodiments may be combined as appropriate.
  • Reference Signs List 1 2, 3, 4 observation system 5 endoscope system 10, 20, 30, 40 microscope system 11, 21, 41 laser light source 12 fluorescence unit 13, 22, 31, 42 hole unit 14 objective lens 15 stage 16 imaging unit Reference Signs List 17 image processing device 18 display device 50 endoscope 51 insertion portion 52 operation portion 53 universal code 54 tip portion 55 bending portion 56 flexible needle tube 57 connector portion 58 electrical connector portion 60 light source portion 121 dichroic mirror 122 excitation filter 123 absorption filter 131 Reflection mirror 132 Galvano mirror 133, 190 Pinhole array 134, 134a, 134b, 134c, 191a, 222, 223, 312, 313, 322, 323 Hole 135, 191, 221, 311, 321 Base material 136, 32 4 Pinhole members 136a, 324a Through holes (pin holes) 161 imaging lens 162, 310 micro lens array 162a, 314, 315 micro lens 163 image pickup element 163a pixel 171 signal processing unit 172 image processing unit 173 storage unit 174 output unit 175 operation unit 176 control

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

　試料の所望の部分における３次元的な画像情報を精度良く取得することができる観察システム等を提供する。観察システム１は、対物レンズ１４の光軸と直交する面に配列された複数のホールであって、励起光を上記光軸と平行な方向に沿って通過させる複数のホール１３４が設けられたホールユニット１３と、複数のホール１３４の少なくとも１つ及び対物レンズ１４を通過した励起光が試料ＳＰに照射されることにより発生した蛍光を、対物レンズ１４及び複数のホール１３４の少なくとも１つを介して受光し、画像信号を出力する撮像部１６とを備え、複数のホール１３４は、各ホールを通過する励起光のビーム径が上記光軸方向において最小となる位置であるピンホール位置が互いに異なる複数種類のホールを含み、撮像部１６は、受光した蛍光を、該蛍光が通過したホール１３４のＸＹ平面における配置に応じて分離し、分離した蛍光ごとに画像信号を出力する。

Description

観察システム、光学部品、及び観察方法
　本発明は、励起光が照射されることにより蛍光を発生する物体を観察する観察システム、該観察システムにおいて用いられる光学部品、及び観察方法に関する。
　従来、試料に励起光を照射することにより発生した蛍光を観察する蛍光観察法が知られている。蛍光観察法においては、生体の細胞等の試料を蛍光物質によって染色し、この蛍光物質から発生した蛍光を検出することにより、試料を分子レベルで観察することができる。
　また、対物レンズの物体側の焦点面と共役な面（共焦点面）にピンホールを配置し、物体面からの蛍光、即ち、合焦している蛍光のみを検出して画像を生成する共焦点観察法も知られている。例えば特許文献１には、３次元測定のサイクルタイム毎の休止期間中に対物レンズの焦点位置を焦点方向における指定されたＺ位置にシフトさせ、このＺ位置での試料のスライス画像を表示する共焦点顕微鏡システムが開示されている。
　近年では、ニポウディスクと呼ばれる複数のピンホールが配列された円盤状の部材を照明光の光路に挿入し、光路と直交する面内においてニポウディスクを回転させることにより、ピンホールを通過した照明光を複数点において同時に試料に照射する方式の観察装置も知られている。例えば特許文献２には、分解能と視野の明るさとを両立するために、径が互いに異なる２種類のピンホールを配列したニポウディスクを備える共焦点光スキャナ検出装置が開示されている。また、特許文献３には、径が異なる複数種類のピンホールがそれぞれ形成された複数のホールユニットを照明光の光路に対して挿脱することによりピンホールの径を変化させる共焦点光スキャナが開示されている。
特開２００６－３５０００５号公報 特開２００８－２３３５４３号公報 特開２０１１－８５７５９号公報
　上記特許文献１～３においては、試料の厚み方向（Ｚ方向）における複数の焦点面に関する画像情報を取得する場合、対物レンズ又は試料が載置されたステージをＺ方向に沿って移動させて撮像を行うという動作を繰り返し行う必要がある。そのため、試料が生体である場合、対物レンズ又はステージを移動させる間に試料が動いてしまい、試料の所望の部分（ＸＹ座標）における３次元的な画像情報を精度良く取得することが困難である。
　本発明は、上記に鑑みてなされたものであり、試料の所望の部分における３次元的な画像情報を精度良く取得することができる観察システム、光学部品、及び観察方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る観察システムは、対物レンズを介して励起光が照射されることにより蛍光を発生する物体を観察する観察システムであって、前記対物レンズの光軸と直交する面に配列された複数のホールであって、前記励起光を前記光軸と平行な方向に沿って通過させる複数のホールが設けられたホールユニットと、前記複数のホールの少なくとも１つ及び前記対物レンズを通過した前記励起光が前記物体に照射されることにより発生した前記蛍光を、前記対物レンズ及び前記複数のホールの少なくとも１つを介して受光し、画像信号を出力する撮像部と、を備え、前記複数のホールは、各ホールを通過する前記励起光のビーム径が前記光軸方向において最小となる位置であるピンホール位置が互いに異なる複数種類のホールを含み、前記撮像部は、受光した前記蛍光を、該蛍光が通過したホールの前記直交する面における配置に応じて分離し、分離した蛍光ごとに画像信号を出力する、ことを特徴とする。
　上記観察システムは、前記撮像部から出力された前記画像信号に基づいて、互いに異なる複数のピンホール位置にそれぞれ対応する複数の画像を作成する画像処理装置をさらに備える、ことを特徴とする。
　上記観察システムにおいて、前記画像処理装置は、前記複数のピンホール位置の共役面に対応する複数の画像を作成する、ことを特徴とする。
　上記観察システムにおいて、前記撮像部は、前記蛍光を結像する撮像レンズと、前記撮像レンズの光軸と直交する面に複数のマイクロレンズが配列されたマイクロレンズアレイと、前記マイクロレンズアレイから出射した前記蛍光を受光し、受光した前記蛍光の強度に応じた画像信号を出力する複数の画素が配列された撮像素子と、を備え、前記複数のマイクロレンズの各々は、前記撮像レンズを介して入射した前記蛍光を当該マイクロレンズに対する入射方向に応じた方向に出射する、ことを特徴とする。
　上記観察システムにおいて、前記ホールユニットは、前記複数のホールが前記直交する面に配列されたピンホールアレイと、前記励起光を前記複数のホールの各々に順次入射させるガルバノミラーと、を備え、前記複数のホールの各々の前記ピンホール位置に応じた深さに、板状の遮光部材に貫通孔が設けられたピンホール部材が配置されている、ことを特徴とする。
　上記観察システムにおいて、前記ホールユニットは、前記複数のホールが前記直交する面に配列されたピンホールアレイと、前記励起光を前記複数のホールの各々に順次入射させるガルバノミラーと、を備え、前記複数のホールの各々に、前記ピンホール位置に応じた屈折率を有する光学部材が充填されている、ことを特徴とする。
　上記観察システムにおいて、前記ホールユニットは、円盤状をなし、前記複数のホールが主面に配列されたニポウディスクと、前記ニポウディスクを前記光軸と平行な軸回りに回転させる駆動手段と、を備え、前記複数のホールの各々に、前記ピンホール位置に応じた屈折率を有する光学部材が充填されている、ことを特徴とする。
　上記観察システムにおいて、前記ホールユニットは、円盤状をなし、前記複数のホールが主面に設けられたニポウディスクと、円盤状をなし、前記ニポウディスクの主面と平行に配置されたレンズ配列面を有し、前記複数のホールに向けて前記励起光をそれぞれ集光する複数のレンズが前記レンズ配列面に設けられたレンズアレイディスクと、前記ニポウディスク及び前記レンズアレイディスクを互いに同期させ、前記光軸と平行な軸回りに回転させる駆動手段と、を備え、前記複数のホールの各々の前記ピンホール位置に応じた深さに、板状の遮光部材に貫通孔が設けられたピンホール部材が配置されている、ことを特徴とする。
　上記観察システムにおいて、前記複数のレンズの各々は、前記励起光を集光するホールにおける前記ピンホール位置に応じた屈折率を有する光学部材により形成されている、ことを特徴とする。
　上記観察システムにおいて、前記ホールユニットは、前記複数のホールが前記直交する面に配列されたピンホールアレイと、前記励起光を、前記複数のホールのうちの一部の複数のホールに入射させるデジタルミラーデバイスと、を備え、前記複数のホールの各々の前記ピンホール位置に応じた深さに、板状の遮光部材に貫通孔が設けられたピンホール部材が配置され、前記デジタルミラーデバイスは、前記励起光を入射させる前記一部の複数のホールを順次変更する、ことを特徴とする。
　上記観察システムにおいて、前記ホールユニットは、前記複数のホールが前記直交する面に配列されたピンホールアレイと、前記励起光を、前記複数のホールのうちの一部の複数のホールに入射させるデジタルミラーデバイスと、を備え、前記複数のホールの各々に、前記ピンホール位置に応じた屈折率を有する光学部材が充填され、前記デジタルミラーデバイスは、前記励起光を入射させる前記一部の複数のホールを順次変更する、ことを特徴とする。
　上記観察システムは、パルス周期がフェムト秒以下である超短パルスのレーザ光を出射するレーザ光源と、前記レーザ光源が出射した前記レーザ光から前記励起光を抽出すると共に、前記物体の方向から前記対物レンズ及び前記複数のホールの少なくとも１つを介して入射した光から前記蛍光を抽出する蛍光ユニットと、をさらに備えることを特徴とする。
　本発明に係る光学部品は、励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、同一面に複数のホールが形成された基材と、板状の遮光部材に貫通孔が設けられたピンホール部材であって、前記複数のホールの各々に配置されたピンホール部材と、を備え、前記ピンホール部材は、当該ピンホール部材が配置されるホールの前記基材における位置に応じて、前記基材の厚み方向における互いに異なる複数の位置のいずれかに配置されている、ことを特徴とする。
　本発明に係る光学部品は、励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、同一面に複数のホールが形成された基材と、前記複数のホールの各々に充填された光学部材と、を備え、前記光学部材は、当該光学部材が配置されるホールの前記基材における位置に応じて、屈折率が互いに異なる複数種類の材料のいずれかによって形成されている、ことを特徴とする。
　本発明に係る光学部品は、励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、円盤状をなし、同一面に複数のホールが形成された基材と、前記複数のホールの各々に充填された光学部材と、を備え、前記光学部材は、当該光学部材が配置されるホールの前記基材における位置に応じて、屈折率が互いに異なる複数種類の材料のいずれかによって形成されている、ことを特徴とする。
　本発明に係る光学部品は、励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、円盤状をなし、同一面に第１群のホールが形成された第１の基材と、板状の遮光部材に貫通孔が設けられたピンホール部材であって、前記第１群のホールの各々に配置されたピンホール部材と、円盤状をなし、前記第１の基材と平行に配置され、前記第１群のホールと対向する位置に第２群のホールがそれぞれ形成された第２の基材と、前記第２群のホールの各々に配置されたレンズと、を備え、前記ピンホール部材は、当該ピンホール部材が配置されるホールの前記第１の基材における位置に応じて、前記第１の基材の厚み方向における互いに異なる複数の位置のいずれかに配置され、前記レンズは、当該レンズが配置されるホールと対向する前記ピンホール部材の前記第１の基材の厚み方向における位置に応じた焦点距離を有する、ことを特徴とする。
　本発明に係る観察方法は、対物レンズを介して励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて実行される観察方法であって、前記対物レンズの光軸と直交する面に配列され、前記励起光が前記光軸と平行な方向に沿って通過可能な複数のホールの少なくとも１つ及び前記対物レンズを介して、前記励起光を前記物体に照射する照射ステップと、前記励起光が前記物体に照射されることにより発生した前記蛍光を、前記対物レンズ及び前記複数のホールの少なくとも１つを介して受光し、画像信号を出力する撮像ステップと、を含み、前記複数のホールは、各ホールを通過する前記励起光のビーム径が前記光軸方向において最小となる位置であるピンホール位置が互いに異なる複数種類のホールを含み、前記撮像ステップは、受光した前記蛍光を、該蛍光が通過したホールの前記直交する面における配置に応じて分離し、分離した蛍光ごとに画像信号を出力する、ことを特徴とする。
　上記観察方法は、前記撮像ステップにおいて出力された前記画像信号に基づいて、互いに異なる複数のピンホール位置にそれぞれ対応する複数の画像を作成する画像処理ステップをさらに含む、ことを特徴とする。
　本発明によれば、励起光が物体に照射されることにより発生し、ピンホール位置が異なる複数種類のホールの少なくとも１つを通過して撮像部に入射した蛍光を、該蛍光が通過したホールの配置に応じて分離し、分離した蛍光ごとに画像信号を出力するので、試料の所望の部分における３次元的な画像情報を精度良く取得することが可能となる。
図１は、本発明の実施の形態１に係る観察システムの構成例を示す模式図である。 図２は、図１に示すピンホールアレイの構造を示す一部断面斜視図である。 図３は、図１に示す撮像部の構成例を示す模式図である。 図４は、図１に示す画像処理装置の動作を示すフローチャートである。 図５は、図３に示す撮像部から出力された画像信号に基づく画像データによって表される画像領域を示す模式図である。 図６は、距離マップに格納される被写体距離を説明するための模式図である。 図７は、リフォーカス面の画像の作成方法を説明するための模式図である。 図８は、リフォーカス面をユーザに選択させる画面の一例を示す模式図である。 図９は、本発明の実施の形態１の変形例に係るピンホールアレイの構造を示す模式図である。 図１０は、本発明の実施の形態２に係る観察システムの構成を示す模式図である。 図１１は、図１０に示すニポウディスクの構造を示す模式図である。 図１２は、本発明の実施の形態３に係る観察システムの構成を示す模式図である。 図１３は、図１２に示すマイクロレンズアレイの構造を示す模式図である。 図１４は、図１２に示すニポウディスクの構造を示す模式図である。 図１５は、本発明の実施の形態４に係る観察システムの構成を示す模式図である。 図１６は、本発明の実施の形態５に係る内視鏡システムの構成例を示す模式図である。
　以下、本発明に係る観察システム、光学部品、及び観察方法の実施の形態について、図面を参照しながら詳細に説明する。各図面の記載において、同一部分には同一の符号を附して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る観察システムの構成例を示す模式図である。図１に示すように、実施の形態１に係る観察システム１は、特定の波長帯域の成分を有する励起光が照射されることにより蛍光を発生する試料ＳＰの画像を作成するシステムであって、試料ＳＰに関する画像信号を生成して出力する顕微鏡システム１０と、顕微鏡システム１０から出力された画像信号に対して各種処理を行う画像処理装置１７と、表示装置１８とを備える。
　顕微鏡システム１０は、レーザ光を発生するレーザ光源１１と、レーザ光から上記励起光を抽出すると共に、試料ＳＰの方から戻ってくる光から蛍光を抽出する蛍光ユニット１２と、励起光及び蛍光を順次通過させる複数のホール１３４が設けられたホールユニット１３と、励起光を集光して試料ＳＰに照射すると共に、試料ＳＰにおいて発生した蛍光を集光する対物レンズ１４と、試料ＳＰが載置されるステージ１５と、蛍光ユニット１２により抽出された蛍光の像を撮像する撮像部１６とを備える。以下においては、対物レンズ１４の光軸方向をＺ方向とし、該光軸Ｚと直交する平面をＸＹ平面とする。
　レーザ光源１１は、試料ＳＰを励起可能な特定の波長帯域の成分（励起光）を含むレーザ光Ｌ１を発生する。後述するように、実施の形態１においては、レーザ光Ｌ１から抽出された励起光によってホール１３４を順次走査するため、レーザ光源１１としては、パルス周期がフェムト秒以下である超短パルスレーザ光源を用いることが好ましい。レーザ光源１１は、後述する画像処理装置１７が備える制御部１７６の制御に従って、所定のパルス周期でレーザ光を出射する。
　蛍光ユニット１２は、レーザ光源１１の方向から入射するレーザ光Ｌ１のうち、励起光を含む成分を通過させると共に、ホールユニット１３の方向から入射する光のうち、蛍光を含む成分を撮像部１６の方向に反射するダイクロイックミラー１２１と、ダイクロイックミラー１２１を通過した成分から励起光Ｌ２を選択的に通過させる励起フィルタ１２２と、ダイクロイックミラー１２１により反射された成分から蛍光を選択的に通過させ、それ以外の波長成分を吸収する吸収フィルタ１２３とを備える。
　ホールユニット１３は、反射ミラー１３１と、ガルバノミラー１３２と、複数のホール（貫通孔）１３４が配列されたピンホールアレイ１３３とを備える。反射ミラー１３１は、蛍光ユニット１２から出射した励起光を反射して、ガルバノミラー１３２に入射させる。ガルバノミラー１３２は、Ｘ軸回り及びＹ軸回りに回転可能なミラーであり、反射ミラー１３１を介して入射した励起光をＸＹ平面と直交する向きに偏向させ、複数のホール１３４を順次通過させる。ピンホールアレイ１３３は、複数のホール１３４の配列面がＸＹ平面と平行になるように設置されている。
　図２は、ピンホールアレイ１３３の構造を示す一部断面斜視図である。ピンホールアレイ１３３は、複数のホール（貫通孔）１３４が形成された基材１３５と、各ホール１３４内に配置されたピンホール部材１３６とを有する。基材１３５は、金属や不透明な合成樹脂等の遮光材料により形成されている。各ホール１３４は柱状（例えば円柱状）をなし、中心軸が基材１３５の主面と直交するように形成されている。
　ピンホール部材１３６は、中心に貫通孔（ピンホール）１３６ａが形成された円盤状（板状）の部材であり、金属や不透明な合成樹脂等の遮光材料によって形成されている。このピンホール部材１３６が嵌め込まれる深さ（基材１３５の厚み方向における位置）は、ホール１３４のＸＹ平面における位置に応じて設定されている。
　ここで、各ホール１３４に入射した光は、ピンホール部材１３６に設けられたピンホール１３６ａを通過して、当該ホール１３４から出射する。従って、光のビーム径は、ピンホール１３６ａを通過する際に最小となる。以下においては、ホール１３４に入射した光（励起光又は蛍光）のビーム径がＺ方向において最小となる位置のことをピンホール位置という。
　図２において、ピンホール部材１３６は３つのピンホール位置に嵌め込まれている。以下においては、ホール１３４を、ピンホール位置に応じて３種のホール１３４ａ、１３４ｂ、１３４ｃと区別することがある。これらのホール１３４ａ、１３４ｂ、１３４ｃの間においては、ピンホール１３６ａの開口径が同一で、ピンホール位置と対物レンズ１４との距離が互いに異なっている。各ホール１３４ａ、１３４ｂ、１３４ｃのピンホール位置と対物レンズ１４との距離は特に限定されず、ピンホールアレイ１３３又は対物レンズ１４のＺ方向における位置を変化させることにより適宜調節することができる。なお、ホール１３４ａ、１３４ｂ、１３４ｃのいずれかのピンホール位置を、対物レンズ１４の焦点面に合わせても良い。
　また、ＸＹ平面におけるホール１３４ａ、１３４ｂ、１３４ｃの配置は特に限定されないが、各種のホール１３４ａ、１３４ｂ、１３４ｃをできるだけ均等に配置すると良い。図２においては、３種類のホール１３４ａ、１３４ｂ、１３４ｃを順繰りに配置している。
　ホールユニット１３は、後述する画像処理装置１７が備える制御部１７６の制御に従い、レーザ光源１１のパルス周期と同期してガルバノミラー１３２を駆動し、蛍光ユニット１２から出射した励起光によりピンホールアレイ１３３を走査する。それにより、励起光Ｌ２が、ピンホール位置が異なる複数種類のホール１３４ａ、１３４ｂ、１３４ｃのいずれかを順次通過する。また、ホールユニット１３は、試料ＳＰにおいて発生し、対物レンズ１４を経て複数のホール１３４のいずれかを通過した蛍光を含む光Ｌ３をガルバノミラー１３２及び反射ミラー１３１によって偏向し、蛍光ユニット１２に入射させる。
　再び図１を参照すると、対物レンズ１４は、ホールユニット１３から出射した励起光Ｌ２を集光して試料ＳＰに照射すると共に、試料ＳＰにおいて発生した蛍光を含む光Ｌ３を集光してホールユニット１３に入射させる。
　撮像部１６は、所謂ライトフィールドカメラ（参考：Ren.Ng、他、「Light　Field　Photography　with　a　Hand-held　Plenoptic　Camera」、Stanford　Tech　Report　CTSR　2005-02）であり、撮像部１６に入射した蛍光の像を、蛍光の光路、即ち、該蛍光が通過したホール１３４ａ、１３４ｂ、１３４ｃのＸＹ平面における位置に応じて分離して記録する。
　図３は、撮像部１６の構成例を示す模式図である。撮像部１６は、該撮像部１６に入射した蛍光を結像する撮像レンズ１６１と、撮像レンズ１６１と平行に配置されたマイクロレンズアレイ１６２と、マイクロレンズアレイ１６２の背面側に、マイクロレンズアレイ１６２と平行に配置された撮像素子１６３とを有する。図３においては、撮像レンズ１６１の光軸方向をｚ方向とし、ｚ方向と直交する平面をｘｙ平面としている。
　撮像レンズ１６１は、その焦点面が対物レンズ１４の焦点面と共役の関係になるように配置されている。この撮像レンズ１６１の焦点面近傍に、マイクロレンズアレイ１６２が配置されている。
　マイクロレンズアレイ１６２は、ｘｙ平面に沿って２次元的に配列された複数のマイクロレンズ１６２ａを有する。各マイクロレンズ１６２ａは、撮像レンズ１６１を介して入射した蛍光を、撮像レンズ１６１への入射方向及び該蛍光が通過した撮像レンズ１６１の瞳領域に応じた方向に出射する。つまり、撮像レンズ１６１及びマイクロレンズアレイ１６２は、撮像部１６に入射した蛍光を、該蛍光の入射方向及び入射位置、言い換えると、該蛍光が通過したホール１３４の位置に応じた方向に出射させる方向分離光学系である。
　撮像素子１６３は、複数の画素１６３ａが２次元的に配列された受光面を有し、ＣＣＤやＣＭＯＳ等の固体撮像素子によって構成されている。撮像素子１６３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像の撮像機能を備え、後述する画像処理装置１７が備える制御部１７６の制御に従って、所定のタイミングで動作する。
　撮像部１６に入射した蛍光は、撮像レンズ１６１及びマイクロレンズアレイ１６２により、入射方向及び入射位置に応じた方向に導かれ、その方向に位置する画素１６３ａに入射する。各画素１６３ａは、受光した蛍光の強度に応じた電気信号（画像信号）を出力する。各マイクロレンズ１６２ａから各方向に出射した蛍光が入射する画素１６３ａは決まっているので、撮像素子１６３の各画素１６３ａから出力された画像信号から、撮像部１６に入射した蛍光の光路を推定することができる。
　画像処理装置１７は、撮像部１６から出力された電気信号を処理することにより画像信号を生成する信号処理部１７１と、信号処理部１７１が生成した画像信号に基づいて所定の画像処理を実行することにより画像を作成する画像処理部１７２と、画像処理部１７２が作成した画像やその他の各種情報を記憶する記憶部１７３と、出力部１７４と、当該画像処理装置１７に対する命令や情報の入力を受け付ける操作部１７５と、これらの各部を統括的に制御する制御部１７６とを備える。
　信号処理部１７１は、撮像部１６から出力された電気信号に対し、増幅、Ａ／Ｄ変換等の処理を施すことにより、デジタルの画像信号（以下、画像データという）を出力する。
　画像処理部１７２は、信号処理部１７１が出力した画像データに対してホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換）等の処理を施すことにより、表示用の画像データを生成する。また、画像処理部１７２は、この画像データに基づき、ピンホールアレイ１３３に設けられた各種ホール１３４ａ、１３４ｂ、１３４ｃのピンホール位置の共役面の画像、即ち、試料ＳＰにおける異なる複数のスライスの画像を作成すると共に、作成した画像を圧縮する圧縮処理や、異なる複数のスライスの画像を合成した合成画像を作成する合成処理等を実行する。さらに、画像処理部１７２は、生成した画像や合成画像に対し、被写体領域の検出処理や座標情報の関連付け等の処理を行っても良い。
　記憶部１７３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置を含む記録装置等によって構成される。記憶部１７３は、画像処理部１７２が生成した焦点面ごとの画像や合成画像の画像データ及びその他関連情報を記憶する。
　出力部１７４は、制御部１７６の制御の下で、画像処理部１７２が作成したスライスごとの画像やこれらの画像の合成画像、ユーザインタフェース画面等を、表示装置１８等の外部機器に出力する外部インタフェースである。
　操作部１７５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、ユーザにより外部からなされた操作に応じた信号を制御部１７６に入力する。
　制御部１７６は、操作部１７５から入力される各種命令や各種情報に基づき、観察システム１全体の動作を統括的に制御する。
　なお、画像処理部１７２及び制御部１７６は、専用のハードウェアによって構成しても良いし、ＣＰＵ等のハードウェアに所定のプログラムを読み込むことによって構成しても良い。後者の場合、記憶部１７３は、さらに、観察システム１の動作を制御するための制御プログラムや、画像処理部１７２が実行する画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータ及び設定情報等を記憶する。
　表示装置１８は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、画像処理装置１７から出力された画像等を表示する。
　次に、観察システム１の動作について説明する。まず、観察システム１の電源をオンにして、ステージ１５に試料ＳＰを載置する。そして、制御部１７６の制御の下で、レーザ光源１１に所定のパルス周期でレーザ光Ｌ１を発生させると共に、このレーザ光Ｌ１のパルス周期と同期してガルバノミラー１３２を駆動させる。それにより、蛍光ユニット１２を介してレーザ光から抽出された励起光Ｌ２が、ピンホールアレイ１３３に設けられた複数のホール１３４を順次通過する。ホール１３４を通過した励起光Ｌ２は、対物レンズ１４によって集光され、試料ＳＰの物体面に照射されて蛍光を発生させる。この蛍光（光Ｌ３参照）は対物レンズ１４により集光され、先に励起光Ｌ２が通過したホール１３４を通過し、蛍光ユニット１２を介して撮像部１６に入射する。それにより、撮像部１６から画像処理装置１７に、蛍光の像を表す画像信号が出力される。
　この一連の動作においては、撮像部１６の１回の露光期間内（１フレーム期間内）に、励起光Ｌ２が全てのホール１３４を１回ずつ通過するように制御がなされている。これは、ピンホールアレイ１３３に配列された各ホール１３４の位置に対応する試料ＳＰの領域から発生した蛍光が、１回の露光期間内に撮像部１６に入射することを意味する。つまり、１回の露光期間内に、ホール１３４の配列面全体に対応する試料ＳＰの領域に関する画像情報を取得することができる。
　図４は、画像信号を取り込んだ後における画像処理装置１７の動作を示すフローチャートである。まず、ステップＳ１０において、画像処理装置１７は、撮像部１６から出力された画像信号に対して増幅、Ａ／Ｄ変換等の処理を施すことにより画像データを生成し、さらに、この画像データに対してホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換）等の処理を施すことにより、表示用の画像データを取得する。
　図５は、撮像部１６から出力された画像信号に基づく画像データによって表される画像領域Ｒを示す模式図である。この画像領域Ｒを構成する画素の位置は、撮像素子１６３の受光面に配列された画素１６３ａの位置に対応している。
　ステップＳ１１において、画像処理部１７２は、画像領域Ｒをマイクロレンズアレイ１６２（図３参照）におけるマイクロレンズ１６２ａの配列に応じて、複数の小領域に分割する。図５に示す符号Ａ（ｍ，ｎ）は、画像領域Ｒ内における小領域の位置を示している。例えば、マイクロレンズアレイ１６２において、ｘ方向に５個、ｙ方向に５個の計２５個のマイクロレンズ１６２ａが配列されている場合、画像領域Ｒも同様に、５×５＝２５個の小領域に分割される（ｍ＝１～５、ｎ＝１～５）。つまり、画像領域Ｒ内の１つの小領域Ａ（ｍ，ｎ）には、１つのマイクロレンズ１６２ａから出射した蛍光の情報が記録される。
　上述したように、撮像部１６に入射した蛍光は、撮像レンズ１６１に対する入射方向及び入射した位置（瞳領域）に応じた方向に位置するマイクロレンズ１６２ａに入射し、さらに、入射したマイクロレンズ１６２ａに対する入射方向に応じた方向に位置する画素１６３ａに入射する。従って、画像領域Ｒ内の各小領域Ａ（ｍ，ｎ）から、共通の瞳領域に関する情報が記憶された画素（例えば、各小領域Ａ（ｍ，ｎ）のセンターの画素ｐmn（３，３））を抽出し、抽出したこれらの画素の画素値を用いて演算を行うことで、撮像レンズ１６１の焦点面（マイクロレンズアレイ１６２の配置面）とは異なる仮想的な面（リフォーカス面とも呼ばれる）に合焦された画像を構成することができる（参考：ライトフィールドカメラの原理及びリフォーカス面における画像の構成については、Ren.Ng、他、「Light　Field　Photography　with　a　Hand-held　Plenoptic　Camera」、Stanford　Tech　Report　CTSR　2005-02）。
　続くステップＳ１２において、画像処理部１７２は、画像領域Ｒ内の各画素と、当該画素に入射した蛍光が通過した光路における被写体距離（対物レンズ１４と物体面との距離）とを関連づけた距離マップを作成する。図６は、距離マップに格納される被写体距離を説明するための模式図である。なお、図６においては、説明の便宜上、各部の比率を図１と異ならせている。
　図６に示すように、試料ＳＰにおいて発生した蛍光ＦＬの光路には、ピンホール位置が異なる複数種類のホール１３４ａ、１３４ｂ、１３４ｃのいずれかが配置されている。そのため、蛍光が通過したホール１３４ａ、１３４ｂ、１３４ｃにおけるピンホール位置の共役面が物体面Ｐ1、Ｐ2、Ｐ3となる。従って、蛍光が通過したホール１３４ａ、１３４ｂ、１３４ｃにおけるピンホール位置と対物レンズ１４との距離が被写体距離ｄ1、ｄ2、ｄ3として与えられる。
　一方、画像領域Ｒ内の各画素の位置は、撮像素子１６３の画素１６３ａの位置と対応しており、各画素１６３ａに入射する蛍光の光路（通過したホール１３４の位置）は撮像レンズ１６１と各マイクロレンズ１６２ａとの位置関係により特定されているから、この位置関係に基づいて、画像領域Ｒ内の画素と被写体距離ｄ1、ｄ2、ｄ3とを関連づけることができる。
　続くステップＳ１３において、画像処理部１７２は、ステップＳ１２において作成した距離マップをもとに、各物体面Ｐ1、Ｐ2、Ｐ3において発生した蛍光の画像を作成する。
　図７は、リフォーカス面の画像の作成方法を説明するための模式図である。ここで、図３に示すように、試料ＳＰにおいて発生した蛍光は、撮像レンズ１６１に入射してマイクロレンズアレイ１６２上で結像する。図７においては、撮像レンズ１６１の光軸（ｚ軸）方向における座標をｚ＝０、撮像レンズ１６１の焦点面の座標をｚ＝Ｆ、ある物体面（物体面Ｐ1、Ｐ2、Ｐ3のいずれか）と共役の像面（リフォーカス面）の座標をｚ＝αＦ（０＜α＜１）としている。なお、撮像レンズ１６１の焦点面は、マイクロレンズアレイ１６２の配置面であり、対物レンズ１４の焦点面の共役面である。係数αは、リフォーカス面の座標を決定するための係数であり、対物レンズ１４の焦点距離に対する各物体面Ｐ1、Ｐ2、Ｐ3の被写体距離ｄ1、ｄ2、ｄ3の比率として与えられる。
　なお、以下においては、理解を促進するため、リフォーカス面における画像のｘ方向における画素値の算出方法を説明するが、ｙ方向についても同様にして画素値を算出することができる。
　撮像レンズ１６１における任意の瞳領域の座標（ｘ，ｚ）を（ｘ0，０）とし、この瞳領域を通過した蛍光がリフォーカス面上の点（ｘα，αＦ）を通過して、焦点面上の点（ｘ1，Ｆ）に到達したとする。このときの焦点面のｘ座標ｘ1は、次式（１）によって与えられる。
　　　ｘ1＝ｘ0＋（ｘα－ｘ0）／α　…（１）
　任意の瞳領域（ｘ＝ｘ0）及び焦点面上の点（ｘ＝ｘ1）を通過した蛍光が入射した画素１６３ａの出力値（蛍光の強度）をＩ（ｘ0，ｘ1）とすると、リフォーカス面上の点ｘαにおける出力値Ｉα（ｘα）は、出力値Ｉ（ｘ0，ｘ1）を撮像レンズ１６１の瞳領域に関して積分したものとなり、次式（２）によって与えられる。
Figure JPOXMLDOC01-appb-M000001
　式（２）における焦点距離Ｆ及び係数αは与えられているから、蛍光が通過した瞳領域ｘ＝ｘ0及び所望のリフォーカス面上の点ｘαを与えれば、式（１）より、蛍光が入射するマイクロレンズ１６２ａ（座標ｘ＝ｘ1）が特定される。そして、特定されたマイクロレンズ１６２ａを通過した蛍光が入射する画素１６３ａの配列から、瞳領域ｘ＝ｘ0を通過した蛍光が入射する画素１６３ａが特定される。この画素１６３ａの出力値は、上述した出力値Ｉ（ｘ0，ｘ1）に等しい。従って、ある瞳領域に関する画素１６３ａの出力値を積分する演算を、撮像レンズ１６１の全ての瞳領域に対して行うことにより、リフォーカス面Ｉα（ｘ）における画像を構成する各画素の画素値を算出することができる。なお、瞳領域ｘ＝ｘ0を撮像レンズ１６１の各瞳領域の代表座標とすれば、式（２）は、単純加算の式に書き換えることができる。
　このようにして、リフォーカス面における画像を構成する各画素の画素値を算出することにより、リフォーカス面の画像を得ることができる。画像処理部１７２は、物体面Ｐ1、Ｐ2、Ｐ3に対応するリフォーカス面の画像を作成する。また、この際、画像処理部１７２はさらに、物体面Ｐ1、Ｐ2、Ｐ3に対応するリフォーカス面の画像を合成することにより、３Ｄ画像や全焦点画像を生成しても良い。
　続くステップＳ１４において、画像処理部１７２は、ステップＳ１３において作成した画像の画像データを記憶部１７３に記憶させる。
　続くステップＳ１５において、制御部１７６は、表示装置１８に表示させるリフォーカス面をユーザに選択させる画面（選択画面）を表示装置１８に表示させる。図８は、リフォーカス面をユーザに選択させる画面の一例を示す模式図である。図８に示す画面Ｍ１は、画像を作成したリフォーカス面に対応する物体面Ｐ1、Ｐ2、Ｐ3の被写体距離ｄ1、ｄ2、ｄ3をそれぞれ表すアイコンｍ１～ｍ３と、ＯＫボタンｍ４とを含んでいる。
　続くステップＳ１６において、制御部１７６は、リフォーカス面のいずれかを選択する選択信号が操作部１７５から入力されたか否かを判定する。例えばマウス等の入力デバイスを用いた画面Ｍ１に対するポインタ操作により、アイコンｍ１～ｍ３のいずれかが選択され、さらにＯＫボタンｍ４に対する操作がなされると、選択されたアイコンの被写体距離に対応するリフォーカス面を選択する選択信号が入力される。なお、ステップＳ１３において３Ｄ画像や全焦点画像が作成された場合には、各リフォーカス面に加えて、３Ｄ画像や全焦点画像の表示を選択可能な構成としても良い。
　リフォーカス面のいずれかを選択する選択信号が入力された場合（ステップＳ１６：Ｙｅｓ）、制御部１７６は入力された選択信号を画像処理部１７２に出力し、選択されたリフォーカス面の画像データを画像処理部１７２から出力部１７４を介して表示装置１８に出力させることで、表示装置１８に画像を表示させる（ステップＳ１７）。また、ステップＳ１３において３Ｄ画像や全焦点画像が作成され、ステップＳ１６においてこれらの画像の表示を選択する選択信号が入力された場合、制御部１７６は、選択された画像を表示装置１８に表示させる。
　一方、選択信号が入力されない場合（ステップＳ１６：Ｎｏ）、制御部１７６は、選択画面の表示を継続し（ステップＳ１５）、選択信号のいずれかが入力されるまで待機する。或いは、この待機中に、制御部１７６は、予め設定された特定のリフォーカス面の画像を表示装置１８に表示させることとしても良い。具体的には、対物レンズ１４の焦点距離に最も近い被写体距離に対応するリフォーカス面の画像や、中央の被写体距離（例えば図６の場合、被写体距離ｄ2）に対応するリフォーカス面の画像や、最短の被写体距離（例えば図６の場合、被写体距離ｄ1）に対応するリフォーカス面の画像や、最長の被写体距離（例えば図６の場合、被写体距離ｄ3）に対応するリフォーカス面の画像等が挙げられる。
　ステップＳ１８において、制御部１７６は、当該観察システムの終了を指示する信号が操作部１７５から入力されたか否かを判定する。終了を指示する信号が入力されない場合（ステップＳ１８：Ｎｏ）、制御部１７６の動作はステップＳ１５に戻る。一方、終了を指示する信号が入力された場合（ステップＳ１８：Ｙｅｓ）、制御部１７６は、当該観察システム１の動作を終了させる。
　以上説明したように、本発明の実施の形態１においては、ピンホール位置が互いに異なる複数種類のホール１３４ａ、１３４ｂ、１３４ｃを通過し、１回の撮像期間内に撮像部１６に入射した蛍光を、該蛍光の入射方向及び入射位置に応じた方向に分離し、分離された方向に位置する画素１６３ａに記録する。そのため、各画素１６３ａの出力値を用いて演算を行うことにより、１回の撮像動作で、各ピンホール位置の共役面である試料ＳＰのスライスの画像を作成することができる。従って、生体の試料を観察する場合であっても、ＸＹ平面内における位置ずれを生じさせることなく、それぞれのスライスに精度よく合焦された複数の画像を取得することができる。また、これらの複数の画像を合成することにより、３Ｄ画像や全焦点画像を構成することも可能となる。
　ここで、従来においては、複数のスライスの画像を作成する場合、試料に対して焦点面を順次ずらしながら繰り返し撮像を行っていたため、試料が繰り返し励起光に晒されることになり、試料に施された蛍光染色が褪色し易いという問題があった。これに対し、実施の形態１においては、１回の撮像動作で取得された画像信号に基づいて複数のスライスの画像を作成するので、試料ＳＰが励起光に晒される時間を短縮することができ、試料ＳＰに施された蛍光染色の褪色を抑制することも可能となる。
　また、本発明の実施の形態１によれば、フェムト秒以下の超短パルスのレーザ光源１１を用いるので、生体の試料の深部（数百μｍオーダー）を観察することも可能となる。
　また、本発明の実施の形態１によれば、複数のホール１３４を形成した基材１３５を作製し、これらのホール１３４内の異なる深さにピンホール部材１３６を嵌め込むことによりピンホール位置を変化させるので、ピンホールの開口径やピンホール位置を精密且つ簡単に制御することが可能となる。
　なお、上記実施の形態１においては、ピンホールアレイ１３３におけるピンホール位置を３つとしたが、ピンホール位置の数はこれに限定されない。具体的には、ピンホール位置を２つとしても良いし、４つ以上としても良い。これらのピンホール位置に応じて、画像処理部１７２がリフォーカス面の画像を形成する際の係数αを設定すれば良い。
（変形例）
　次に、本発明の実施の形態１の変形例について説明する。
　上記実施の形態１においては、基材１３５に設けられたホール１３４の異なる深さにピンホール部材１３６を嵌め込んだピンホールアレイ１３３を用いたが、ホールユニット１３において利用可能なピンホールアレイの構成はこれに限定されない。図９は、本変形例に係るピンホールアレイの構造を示す模式図である。
　図９に示すピンホールアレイ１９０は、複数のホール１９１ａが形成された基材１９１と、各ホール１９１ａ内に充填された光学部材１９２、１９３、１９４とを備える。光学部材１９２、１９３、１９４は、励起光及び蛍光が透過可能な透明部材であり、互いに異なる屈折率を有している。ガルバノミラー１３２によりホール１９１ａのいずれかに入射した励起光、及び、対物レンズ１４により集光された蛍光は、入射したホール１９１ａに充填された光学部材の屈折率に応じたＺ方向の位置に収束する。つまり、各ホール１９１ａに充填された光学部材１９２、１９３、１９４は、ピンホールと同様に作用する。本出願においては、このように光学部材によって光を収束させた場合、光路上において光のビーム径が最も小さくなった位置をピンホール位置という。
　なお、本変形例においては、３種類の光学部材１９２、１９３、１９４を順繰りにホール１９１ａ内に充填することによりピンホール位置を３つ設定しているが、ピンホール位置は３つに限定されず、２つであっても良いし、４つ以上であっても良い。設定するピンホール位置に応じて、光学部材の屈折率を適宜選択すれば良い。
　本変形例によれば、ピンホール位置が異なる複数種類のホールが設けられたピンホールアレイ１９０を、簡単且つ精度良く作製することが可能となる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　図１０は、本発明の実施の形態２に係る観察システムの構成を示す模式図である。図１０に示すように、実施の形態２に係る観察システム２は、顕微鏡システム２０と、顕微鏡システム２０から出力された画像信号に対して各種処理を行う画像処理装置１７と、表示装置１８とを備える。このうち、画像処理装置１７及び表示装置１８の構成及び動作は、実施の形態１と同様である。
　顕微鏡システム２０は、図１に示すレーザ光源１１の代わりにレーザ光源２１を備えると共に、図１に示すホールユニット１３の代わりに、ホールユニット２２を備える。レーザ光源２１及びホールユニット２２以外の顕微鏡システム２０の各部の構成は、図１に示す顕微鏡システム１０と同様である。
　レーザ光源２１は、レーザ光源１１と同様に、試料ＳＰを励起可能な波長帯域の成分（励起光）を含むパルスレーザ光源であるが、レーザ光源１１と比べて大きいビーム径を有するレーザ光Ｌ４を発生する。
　ホールユニット２２は、ピンホール位置が互いに異なる複数種類のホールが配列されたニポウディスク２２０と、該ニポウディスク２２０を回転軸Ｒ0回りに回転させるモータ２３０とを備える。
　図１１は、ニポウディスク２２０の構造を示す模式図である。ニポウディスク２２０は、複数のホール２２２、２２３が形成された円盤状をなす基材２２１と、各ホール２２２内に充填された光学部材２２４と、各ホール２２３内に充填された光学部材２２５とを備える。ホール２２２及びホール２２３は、それぞれ、基材２２１の主面に螺旋状に配列されている。なお、図１１においては、ホール２２２からなる螺旋状の列とホール２２３からなる螺旋状の列とを１つずつ設けているが、これらの列を複数ずつ設けても良い。
　光学部材２２４、２２５は、励起光及び蛍光が透過可能な透明部材であり、互いに異なる屈折率を有している。ホール２２２、２２３のいずれかに入射した励起光及び蛍光は、そのホールに充填された光学部材の屈折率に応じた位置（ピンホール位置）に収束する。
　試料ＳＰを撮像する際には、レーザ光源２１からパルス的にレーザ光Ｌ４を発生させ、このパルス周期と同期させて、モータ２３０によりニポウディスク２２０を所定の速度で回転させる。それにより、蛍光ユニット１２から出射した励起光が、複数のホール（ホール２２２若しくは２２３、又はその両方）に同時に入射し、入射したホールに充填された光学部材（光学部材２２４又は２２５）を通過して一旦収束する。その後、励起光は再び拡大し、対物レンズ１４に集光されて試料ＳＰの複数点を同時に照射する。また、試料ＳＰの複数点において発生した蛍光は、対物レンズ１４を通過してニポウディスク２２０の複数のホール（ホール２２２若しくは２２３、又はその両方）に入射し、入射したホールに充填された光学部材（光学部材２２４又は２２５）により一旦収束された後再び拡大し、蛍光ユニット１２を介して撮像部１６に入射する。
　この一連の動作においては、撮像部１６の１回の露光期間内に、ニポウディスク２２０に設けられたホール２２２、２２３が、レーザ光源２１から出射したレーザ光Ｌ４の断面領域を網羅するように制御がなされている。即ち、１回の露光期間内に、レーザ光Ｌ４の断面領域全体に対応する試料ＳＰの領域に関する画像情報を取得することができる。
　このような本発明の実施の形態２の構成によれば、試料ＳＰの複数点に励起光を同時に照射（マルチビーム照射）することができるので、実施の形態１よりも短時間で試料ＳＰを撮像することが可能となる。従って、試料ＳＰに関する３次元画像情報におけるＸＹ平面内での試料ＳＰの位置ずれをさらに低減することが可能となる。
　また、本発明の実施の形態２によれば、基材２２１に形成したホール２２２、２２３に屈折率の異なる光学部材２２４、２２５をそれぞれ充填することにより、複数のピンホール位置を有するニポウディスク２２０を簡単且つ精度良く作製することが可能となる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。
　図１２は、本発明の実施の形態３に係る観察システムの構成を示す模式図である。図１２に示すように、実施の形態３に係る観察システム３は、顕微鏡システム３０と、該顕微鏡システム３０から出力された画像信号に対して各種処理を行う画像処理装置１７と、表示装置１８とを備える。このうち、画像処理装置１７及び表示装置１８の構成及び動作は、実施の形態１と同様である。
　顕微鏡システム３０は、図１０に示すホールユニット２２の代わりに、ホールユニット３１を備える。ホールユニット３１以外の顕微鏡システム３０の各部の構成は、図１０に示す顕微鏡システム２０と同様である。
　ホールユニット３１は、互いに平行に配置されたマイクロレンズアレイ３１０及びニポウディスク３２０と、マイクロレンズアレイ３１０及びニポウディスク３２０を回転軸Ｒ1回りに回転させるモータ３３０とを備える。
　図１３は、マイクロレンズアレイ３１０の構造を示す模式図である。マイクロレンズアレイ３１０は、複数のホール３１２、３１３が形成された円盤状をなす基材３１１と、各ホール３１２に嵌め込まれたマイクロレンズ３１４と、各ホール３１３に嵌め込まれたマイクロレンズ３１５とを備える。ホール３１２及びホール３１３は、それぞれ、基材３１１の主面に螺旋状に配列されている。なお、図１３においては、ホール３１２からなる螺旋状の列とホール３１３からなる螺旋状の列とを１つずつ設けているが、これらの列を複数ずつ設けても良い。
　マイクロレンズ３１４、３１５は、屈折率が互いに異なる光学部材により形成されている。ホール３１２、３１３のいずれかに入射した励起光及び蛍光は、そのホールに嵌め込まれたマイクロレンズ３１４、３１５の屈折率に応じた焦点面に結像する。
　図１４は、ニポウディスク３２０の構造を示す模式図である。ニポウディスク３２０は、複数のホール３２２、３２３が形成された基材３２１と、各ホール３２２、３２３に嵌め込まれたピンホール部材３２４とを備える。ピンホール部材３２４は、中心に貫通孔（ピンホール）３２４ａが形成された円盤状の部材であり、金属や不透明な合成樹脂等の遮光材料によって形成されている。ピンホール部材３２４は、ホール３２２、３２３ごとに異なる深さに嵌め込まれている。なお、図１４においては、ホール３２２からなる螺旋状の列とホール３２３からなる螺旋状の列とを１つずつ設けているが、これらの列を、マイクロレンズアレイ３１０のホール３１２、３１３に合わせて複数ずつ設けても良い。
　マイクロレンズアレイ３１０とニポウディスク３２０とは、ホール３１２とホール３２２とが対向し、ホール３１３とホール３２３とが対向するように、蛍光ユニット１２を挟んで互いに平行に配置されている。また、マイクロレンズアレイ３１０とニポウディスク３２０との間隔は、マイクロレンズ３１４の焦点が対向するホール３２２のピンホール位置と一致し、マイクロレンズ３１５の焦点が対向するホール３２３のピンホール位置と一致するように設定されている。それにより、マイクロレンズ３１４、３１５により集光されたレーザ光から抽出されて励起光が、ホール３２２、３２３のピンホール位置において収束し、ここを通過する。
　試料ＳＰを撮像する際には、レーザ光源２１からパルス的にレーザ光Ｌ４を発生させ、このパルス周期と同期させて、モータ３３０によりマイクロレンズアレイ３１０及びニポウディスク３２０を共に回転させる。それにより、マイクロレンズアレイ３１０に設けられた複数のマイクロレンズによってレーザ光が集光され、蛍光ユニット１２を介して励起光がニポウディスク３２０の複数のホールに同時に入射する。この励起光は、入射した各ホールのピンホール位置において一旦収束した後再び拡大し、対物レンズ１４に集光されて試料ＳＰの複数点を同時に照射する。また、試料ＳＰの複数点において発生した蛍光は、対物レンズ１４を通過してニポウディスク３２０の複数のホールに入射し、入射したホールのピンホール位置において一旦収束した後再び拡大し、蛍光ユニット１２を介して撮像部１６に入射する。
　この一連の動作においては、撮像部１６の１回の露光期間内に、マイクロレンズアレイ３１０に設けられたホール３１２、３１３及びニポウディスク３２０に設けられたホール３２２、３２３が、レーザ光源２１から出射したレーザ光Ｌ４の断面領域を網羅するように制御がなされている。即ち、１回の露光期間内に、レーザ光Ｌ４の断面領域全体に対応する試料ＳＰの領域に関する画像情報を取得することができる。
　このような実施の形態３の構成によっても、試料ＳＰの複数点に励起光を同時に照射（マルチビーム照射）することができるので、実施の形態１よりも短時間で試料ＳＰを撮像することが可能となる。従って、試料ＳＰに関する３次元画像情報におけるＸＹ平面内での試料ＳＰの位置ずれをさらに低減することが可能となる。また、実施の形態３によれば、マイクロレンズ３１４、３１５を用いることにより、より強度の強い励起光を試料ＳＰに照射することができるので、より鮮明な蛍光の像を得ることが可能となる。
　また、実施の形態３においては、屈折率が異なる光学材料を用いてマイクロレンズ３１４、３１５を形成するので、焦点距離が異なる複数種類のマイクロレンズが配列されたマイクロレンズアレイディスクを、簡単且つ精度良く作製することが可能となる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。
　図１５は、本発明の実施の形態４に係る観察システムの構成を示す模式図である。図１５に示すように、実施の形態４に係る観察システム４は、顕微鏡システム４０と、該顕微鏡システム４０から出力された画像信号に対して各種処理を行う画像処理装置１７と、表示装置１８とを備える。このうち、画像処理装置１７及び表示装置１８の構成及び動作は、実施の形態１と同様である。
　顕微鏡システム４０は、図１に示すレーザ光源１１の代わりにレーザ光源４１を備えると共に、図１に示すホールユニット１３の代わりに、ホールユニット４２を備える。レーザ光源４１及びホールユニット４２以外の顕微鏡システム４０の各部の構成は、図１に示す顕微鏡システム１０と同様である。
　レーザ光源４１は、レーザ光源１１と同様に、試料ＳＰを励起可能な波長帯域の成分（励起光）を含むパルスレーザ光源であるが、レーザ光源１１と比べて大きいビーム径を有するレーザ光Ｌ５を発生する。
　ホールユニット４２は、反射ミラー１３１と、デジタルミラーデバイス（ＤＭＤ）４２１と、ピンホールアレイ１３３とを備える。このうち、反射ミラー１３１及びピンホールアレイ１３３の構成は、実施の形態１と同様である。
　デジタルミラーデバイス４２１は、反射機能のオンオフ制御が可能な複数のマイクロミラーが設けられたＭＥＭＳ機器である。複数のマイクロミラーはそれぞれ、反射ミラー１３１を介して入射する励起光を、ピンホールアレイ１３３に設けられた複数のホール１３４に向けて反射可能な向きに設置されている。これらのピンホールは、数個置きにグルーピングされ、グループごとに反射機能がオンオフされるように制御されている。
　試料ＳＰを撮像する際には、レーザ光源４１からパルス的にレーザ光Ｌ５を発生させ、このパルス周期と同期させて、デジタルミラーデバイス４２１に設けられた複数のマイクロミラーを、グループごとに順次オンにする。それにより、オンにされたマイクロミラーに反射された励起光が、対応するホール１３４を通過し、対物レンズ１４により集光されて試料ＳＰの複数点を同時に照射する。また、試料ＳＰの複数点において発生した蛍光は対物レンズ１４を経て複数のホール１３４を同時に通過し、オンにされたマイクロミラー及び蛍光ユニット１２を介して撮像部１６に入射する。
　この一連の動作においては、撮像部１６の１回の露光期間内に、蛍光ユニット１２から出射した励起光が全てのホール１３４を１回ずつ通過するように、マイクロミラーのグルーピング及びオンオフの制御がなされている。即ち、１回の露光期間内に、ホール１３４の配列面全体に対応する試料ＳＰの領域に関する画像情報を取得することができる。
　このような実施の形態４の構成によれば、励起光を入射させるホール１３４を電子制御により切り替えることができるので、実施の形態１～３よりもさらに短時間で試料ＳＰを撮像することが可能となる。従って、試料ＳＰに関する３次元画像情報におけるＸＹ平面内での試料ＳＰの位置ずれをさらに低減することが可能となる。
（実施の形態５）
　次に、本発明の実施の形態５について説明する。
　図１６は、本発明の実施の形態５に係る内視鏡システムの構成例を示す模式図である。図１６に示す内視鏡システム５は、図１に示す観察システムの一態様であり、被検体の体内に挿入されて撮像を行って画像信号を生成する内視鏡５０と、内視鏡５０の先端から出射する照明光を発生する光源部６０と、内視鏡５０が生成した画像信号に基づいて画像を生成する画像処理装置１７と、画像処理装置１７が生成した画像を表示する表示装置１８とを備える。このうち、画像処理装置１７及び表示装置１８の構成及び動作は、実施の形態１と同様である。また、光源部６０は、励起光を含むパルスレーザ光源であるが、レーザ光源１１と比べて大きいビーム径を有するレーザ光を発生する。
　内視鏡５０は、可撓性を有する細長形状をなす挿入部５１と、挿入部５１の基端側に接続され、各種の操作信号の入力を受け付ける操作部５２と、操作部５２から挿入部５１が延びる方向と異なる方向に延び、画像処理装置１７及び光源部６０と接続する各種ケーブルを内蔵するユニバーサルコード５３とを備える。
　挿入部５１は、先端部５４と、複数の湾曲駒によって構成された湾曲自在な湾曲部５５と、湾曲部５５の基端側に接続され、可撓性を有する長尺状の可撓針管５６とを有する。この挿入部５１の先端部５４に、蛍光ユニット１２、ホールユニット４２、対物レンズ１４、及び撮像部１６（図１５参照）が設けられている。なお、先端部５４に対物レンズ１４が設けられていれば、蛍光ユニット１２、ホールユニット４２、及び撮像部１６については、先端部５４側と操作部５２側とのいずれに設けても良い。例えば、これらの各部のうち、対物レンズ１４のみを先端部５４に設け、蛍光ユニット１２、ホールユニット４２、及び撮像部１６を操作部５２側に設けても良い。
　操作部５２と先端部５４との間には、画像処理装置１７との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルと、光を伝送するライトガイドとが接続されている。複数の信号線には、撮像素子１６３（図３参照）が出力した画像信号を画像処理装置１７に伝送する信号線及び画像処理装置１７が出力する制御信号を撮像素子１６３に伝送する信号線等が含まれる。
　操作部５２は、湾曲部５５を上下方向及び左右方向に湾曲させる湾曲ノブ５２１と、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部５２２と、画像処理装置１７、光源部６０に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ５２３と、を有する。
　ユニバーサルコード５３は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード５３の操作部５２に連なる側と異なる側の端部には、光源部６０に着脱自在なコネクタ部５７と、コイル状をなすコイルケーブル５７０を介してコネクタ部５７と電気的に接続され、画像処理装置１７と着脱自在な電気コネクタ部５８とが設けられている。撮像素子１６３から出力された画像信号は、コイルケーブル５７０及び電気コネクタ部５８を介して画像処理装置１７に入力される。
　上記実施の形態５においては、図１５に示す観察システム４を生体用の内視鏡システムに適用する例を説明したが、図１、図１０、図１２に示す観察システム１、２、３を内視鏡システムに適用しても良い。また、これらの観察システム１～４を工業用の内視鏡システムに適用しても良い。
　本発明は、上述した各実施の形態１～５及び変形例そのままに限定されるものではなく、各実施の形態１～５及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１～５及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１、２、３、４　観察システム
　５　内視鏡システム
　１０、２０、３０、４０　顕微鏡システム
　１１、２１、４１　レーザ光源
　１２　蛍光ユニット
　１３、２２、３１、４２　ホールユニット
　１４　対物レンズ
　１５　ステージ
　１６　撮像部
　１７　画像処理装置
　１８　表示装置
　５０　内視鏡
　５１　挿入部
　５２　操作部
　５３　ユニバーサルコード
　５４　先端部
　５５　湾曲部
　５６　可撓針管
　５７　コネクタ部
　５８　電気コネクタ部
　６０　光源部
　１２１　ダイクロイックミラー
　１２２　励起フィルタ
　１２３　吸収フィルタ
　１３１　反射ミラー
　１３２　ガルバノミラー
　１３３、１９０　ピンホールアレイ
　１３４、１３４ａ、１３４ｂ、１３４ｃ、１９１ａ、２２２、２２３、３１２、３１３、３２２、３２３　ホール
　１３５、１９１、２２１、３１１、３２１　基材
　１３６、３２４　ピンホール部材
　１３６ａ、３２４ａ　貫通孔（ピンホール）
　１６１　撮像レンズ
　１６２、３１０　マイクロレンズアレイ
　１６２ａ、３１４、３１５　マイクロレンズ
　１６３　撮像素子
　１６３ａ　画素
　１７１　信号処理部
　１７２　画像処理部
　１７３　記憶部
　１７４　出力部
　１７５　操作部
　１７６　制御部
　１９２、１９３、１９４、２２４、２２５　光学部材
　２２０、３２０　ニポウディスク
　２３０、３３０　モータ
　４２１　デジタルミラーデバイス
　５２１　湾曲ノブ
　５２２　処置具挿入部
　５２３　スイッチ
　５７０　コイルケーブル

Claims (18)

  1. 　対物レンズを介して励起光が照射されることにより蛍光を発生する物体を観察する観察システムであって、
    　前記対物レンズの光軸と直交する面に配列された複数のホールであって、前記励起光を前記光軸と平行な方向に沿って通過させる複数のホールが設けられたホールユニットと、
    　前記複数のホールの少なくとも１つ及び前記対物レンズを通過した前記励起光が前記物体に照射されることにより発生した前記蛍光を、前記対物レンズ及び前記複数のホールの少なくとも１つを介して受光し、画像信号を出力する撮像部と、
    を備え、
    　前記複数のホールは、各ホールを通過する前記励起光のビーム径が前記光軸方向において最小となる位置であるピンホール位置が互いに異なる複数種類のホールを含み、
    　前記撮像部は、受光した前記蛍光を、該蛍光が通過したホールの前記直交する面における配置に応じて分離し、分離した蛍光ごとに画像信号を出力する、
    ことを特徴とする観察システム。
  2. 　前記撮像部から出力された前記画像信号に基づいて、互いに異なる複数のピンホール位置にそれぞれ対応する複数の画像を作成する画像処理装置をさらに備える、ことを特徴とする請求項１に記載の観察システム。
  3. 　前記画像処理装置は、前記複数のピンホール位置の共役面に対応する複数の画像を作成する、ことを特徴とする請求項２に記載の観察システム。
  4. 　前記撮像部は、
    　前記蛍光を結像する撮像レンズと、
    　前記撮像レンズの光軸と直交する面に複数のマイクロレンズが配列されたマイクロレンズアレイと、
    　前記マイクロレンズアレイから出射した前記蛍光を受光し、受光した前記蛍光の強度に応じた画像信号を出力する複数の画素が配列された撮像素子と、
    を備え、
    　前記複数のマイクロレンズの各々は、前記撮像レンズを介して入射した前記蛍光を当該マイクロレンズに対する入射方向に応じた方向に出射する、
    ことを特徴とする請求項１～３のいずれか１項に記載の観察システム。
  5. 　前記ホールユニットは、
    　前記複数のホールが前記直交する面に配列されたピンホールアレイと、
    　前記励起光を前記複数のホールの各々に順次入射させるガルバノミラーと、
    を備え、
    　前記複数のホールの各々の前記ピンホール位置に応じた深さに、板状の遮光部材に貫通孔が設けられたピンホール部材が配置されている、
    ことを特徴とする請求項１～４のいずれか１項に記載の観察システム。
  6. 　前記ホールユニットは、
    　前記複数のホールが前記直交する面に配列されたピンホールアレイと、
    　前記励起光を前記複数のホールの各々に順次入射させるガルバノミラーと、
    を備え、
    　前記複数のホールの各々に、前記ピンホール位置に応じた屈折率を有する光学部材が充填されている、
    ことを特徴とする請求項１～４のいずれか１項に記載の観察システム。
  7. 　前記ホールユニットは、
    　円盤状をなし、前記複数のホールが主面に配列されたニポウディスクと、
    　前記ニポウディスクを前記光軸と平行な軸回りに回転させる駆動手段と、
    を備え、
    　前記複数のホールの各々に、前記ピンホール位置に応じた屈折率を有する光学部材が充填されている、
    ことを特徴とする請求項１～４のいずれか１項に記載の観察システム。
  8. 　前記ホールユニットは、
    　円盤状をなし、前記複数のホールが主面に設けられたニポウディスクと、
    　円盤状をなし、前記ニポウディスクの主面と平行に配置されたレンズ配列面を有し、前記複数のホールに向けて前記励起光をそれぞれ集光する複数のレンズが前記レンズ配列面に設けられたレンズアレイディスクと、
    　前記ニポウディスク及び前記レンズアレイディスクを互いに同期させ、前記光軸と平行な軸回りに回転させる駆動手段と、
    を備え、
    　前記複数のホールの各々の前記ピンホール位置に応じた深さに、板状の遮光部材に貫通孔が設けられたピンホール部材が配置されている、
    ことを特徴とする請求項１～４のいずれか１項に記載の観察システム。
  9. 　前記複数のレンズの各々は、前記励起光を集光するホールにおける前記ピンホール位置に応じた屈折率を有する光学部材により形成されている、ことを特徴とする請求項８に記載の観察システム。
  10. 　前記ホールユニットは、
    　前記複数のホールが前記直交する面に配列されたピンホールアレイと、
    　前記励起光を、前記複数のホールのうちの一部の複数のホールに入射させるデジタルミラーデバイスと、
    を備え、
    　前記複数のホールの各々の前記ピンホール位置に応じた深さに、板状の遮光部材に貫通孔が設けられたピンホール部材が配置され、
    　前記デジタルミラーデバイスは、前記励起光を入射させる前記一部の複数のホールを順次変更する、
    ことを特徴とする請求項１～４のいずれか１項に記載の観察システム。
  11. 　前記ホールユニットは、
    　前記複数のホールが前記直交する面に配列されたピンホールアレイと、
    　前記励起光を、前記複数のホールのうちの一部の複数のホールに入射させるデジタルミラーデバイスと、
    を備え、
    　前記複数のホールの各々に、前記ピンホール位置に応じた屈折率を有する光学部材が充填され、
    　前記デジタルミラーデバイスは、前記励起光を入射させる前記一部の複数のホールを順次変更する、
    ことを特徴とする請求項１～４のいずれか１項に記載の観察システム。
  12. 　パルス周期がフェムト秒以下である超短パルスのレーザ光を出射するレーザ光源と、
    　前記レーザ光源が出射した前記レーザ光から前記励起光を抽出すると共に、前記物体の方向から前記対物レンズ及び前記複数のホールの少なくとも１つを介して入射した光から前記蛍光を抽出する蛍光ユニットと、
    をさらに備える、ことを特徴とする請求項１～１１のいずれか１項に記載の観察システム。
  13. 　励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、
    　同一面に複数のホールが形成された基材と、
    　板状の遮光部材に貫通孔が設けられたピンホール部材であって、前記複数のホールの各々に配置されたピンホール部材と、
    を備え、
    　前記ピンホール部材は、当該ピンホール部材が配置されるホールの前記基材における位置に応じて、前記基材の厚み方向における互いに異なる複数の位置のいずれかに配置されている、
    ことを特徴とする光学部品。
  14. 　励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、
    　同一面に複数のホールが形成された基材と、
    　前記複数のホールの各々に充填された光学部材と、
    を備え、
    　前記光学部材は、当該光学部材が配置されるホールの前記基材における位置に応じて、屈折率が互いに異なる複数種類の材料のいずれかによって形成されている、
    ことを特徴とする光学部品。
  15. 　励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、
    　円盤状をなし、同一面に複数のホールが形成された基材と、
    　前記複数のホールの各々に充填された光学部材と、
    を備え、
    　前記光学部材は、当該光学部材が配置されるホールの前記基材における位置に応じて、屈折率が互いに異なる複数種類の材料のいずれかによって形成されている、
    ことを特徴とする光学部品。
  16. 　励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて用いられる光学部品であって、
    　円盤状をなし、同一面に第１群のホールが形成された第１の基材と、
    　板状の遮光部材に貫通孔が設けられたピンホール部材であって、前記第１群のホールの各々に配置されたピンホール部材と、
    　円盤状をなし、前記第１の基材と平行に配置され、前記第１群のホールと対向する位置に第２群のホールがそれぞれ形成された第２の基材と、
    　前記第２群のホールの各々に配置されたレンズと、
    を備え、
    　前記ピンホール部材は、当該ピンホール部材が配置されるホールの前記第１の基材における位置に応じて、前記第１の基材の厚み方向における互いに異なる複数の位置のいずれかに配置され、
    　前記レンズは、当該レンズが配置されるホールと対向する前記ピンホール部材の前記第１の基材の厚み方向における位置に応じた焦点距離を有する、
    ことを特徴とする光学部品。
  17. 　対物レンズを介して励起光が照射されることにより蛍光を発生する物体を観察する観察システムにおいて実行される観察方法であって、
    　前記対物レンズの光軸と直交する面に配列され、前記励起光が前記光軸と平行な方向に沿って通過可能な複数のホールの少なくとも１つ及び前記対物レンズを介して、前記励起光を前記物体に照射する照射ステップと、
    　前記励起光が前記物体に照射されることにより発生した前記蛍光を、前記対物レンズ及び前記複数のホールの少なくとも１つを介して受光し、画像信号を出力する撮像ステップと、
    を含み、
    　前記複数のホールは、各ホールを通過する前記励起光のビーム径が前記光軸方向において最小となる位置であるピンホール位置が互いに異なる複数種類のホールを含み、
    　前記撮像ステップは、受光した前記蛍光を、該蛍光が通過したホールの前記直交する面における配置に応じて分離し、分離した蛍光ごとに画像信号を出力する、
    ことを特徴とする観察方法。
  18. 　前記撮像ステップにおいて出力された前記画像信号に基づいて、互いに異なる複数のピンホール位置にそれぞれ対応する複数の画像を作成する画像処理ステップをさらに含む、ことを特徴とする請求項１７に記載の観察方法。
PCT/JP2014/082875 2014-12-11 2014-12-11 観察システム、光学部品、及び観察方法 WO2016092674A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016563357A JP6479041B2 (ja) 2014-12-11 2014-12-11 観察システム、光学部品、及び観察方法
PCT/JP2014/082875 WO2016092674A1 (ja) 2014-12-11 2014-12-11 観察システム、光学部品、及び観察方法
US15/616,995 US20170269000A1 (en) 2014-12-11 2017-06-08 Observation system and observation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/082875 WO2016092674A1 (ja) 2014-12-11 2014-12-11 観察システム、光学部品、及び観察方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/616,995 Continuation US20170269000A1 (en) 2014-12-11 2017-06-08 Observation system and observation method

Publications (1)

Publication Number Publication Date
WO2016092674A1 true WO2016092674A1 (ja) 2016-06-16

Family

ID=56106921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/082875 WO2016092674A1 (ja) 2014-12-11 2014-12-11 観察システム、光学部品、及び観察方法

Country Status (3)

Country Link
US (1) US20170269000A1 (ja)
JP (1) JP6479041B2 (ja)
WO (1) WO2016092674A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108845412A (zh) * 2018-08-27 2018-11-20 上海理工大学 紧凑型相衬显微镜中相位板设计方法
WO2019087557A1 (ja) * 2017-11-06 2019-05-09 オリンパス株式会社 内視鏡システム
JP2023120537A (ja) * 2022-02-18 2023-08-30 有限会社アキュラス 光吸収体の製造方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6375254B2 (ja) 2015-03-19 2018-08-15 オリンパス株式会社 蛍光観察用ユニットおよび蛍光観察装置
CN110772208B (zh) * 2019-10-31 2022-04-15 深圳开立生物医疗科技股份有限公司 一种获取荧光图像的方法、装置、设备及内窥镜系统
KR102609881B1 (ko) * 2021-10-05 2023-12-05 한국광기술원 1차원 광센서를 이용한 2차원 형광 데이터 측정 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181023A (ja) * 1993-09-30 1995-07-18 Komatsu Ltd 共焦点光学装置
JP2003344778A (ja) * 2002-05-24 2003-12-03 Japan Science & Technology Corp 共焦点顕微鏡及び微小開口回転盤
JP2003344775A (ja) * 2002-05-24 2003-12-03 Japan Science & Technology Corp 共焦点顕微鏡及び微小開口回転盤
JP2004212316A (ja) * 2003-01-08 2004-07-29 Nikon Corp 表面形状測定装置
JP2005195738A (ja) * 2004-01-05 2005-07-21 Nikon Corp 共焦点光学系及び高さ測定装置
JP2013509617A (ja) * 2009-10-29 2013-03-14 アプライド プレシジョン インコーポレイテッド 光学機器の連続的で非同期のオートフォーカスのためのシステムおよび方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5248876A (en) * 1992-04-21 1993-09-28 International Business Machines Corporation Tandem linear scanning confocal imaging system with focal volumes at different heights
US7209287B2 (en) * 2000-09-18 2007-04-24 Vincent Lauer Confocal optical scanning device
KR100721414B1 (ko) * 2002-09-30 2007-05-23 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬 공초점 현미경, 공초점 현미경을 사용한 형광 측정 방법 및편광 측정 방법
EP1580586B1 (en) * 2004-03-25 2008-06-11 Olympus Corporation Scanning confocal microscope
US8228600B2 (en) * 2006-05-26 2012-07-24 Leica Microsystems Cms Gmbh Inverted microscope for high-contrast imaging
DE102007009551B3 (de) * 2007-02-27 2008-08-21 Ludwig-Maximilian-Universität Vorrichtung für die konfokale Beleuchtung einer Probe
WO2013072875A2 (en) * 2011-11-15 2013-05-23 Technion Research & Development Foundation Ltd. Method and system for transmitting light
JP5756572B2 (ja) * 2012-09-25 2015-07-29 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181023A (ja) * 1993-09-30 1995-07-18 Komatsu Ltd 共焦点光学装置
JP2003344778A (ja) * 2002-05-24 2003-12-03 Japan Science & Technology Corp 共焦点顕微鏡及び微小開口回転盤
JP2003344775A (ja) * 2002-05-24 2003-12-03 Japan Science & Technology Corp 共焦点顕微鏡及び微小開口回転盤
JP2004212316A (ja) * 2003-01-08 2004-07-29 Nikon Corp 表面形状測定装置
JP2005195738A (ja) * 2004-01-05 2005-07-21 Nikon Corp 共焦点光学系及び高さ測定装置
JP2013509617A (ja) * 2009-10-29 2013-03-14 アプライド プレシジョン インコーポレイテッド 光学機器の連続的で非同期のオートフォーカスのためのシステムおよび方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087557A1 (ja) * 2017-11-06 2019-05-09 オリンパス株式会社 内視鏡システム
JPWO2019087557A1 (ja) * 2017-11-06 2020-12-03 オリンパス株式会社 内視鏡システム
CN108845412A (zh) * 2018-08-27 2018-11-20 上海理工大学 紧凑型相衬显微镜中相位板设计方法
CN108845412B (zh) * 2018-08-27 2020-07-17 上海理工大学 紧凑型相衬显微镜中相位板设计方法
JP2023120537A (ja) * 2022-02-18 2023-08-30 有限会社アキュラス 光吸収体の製造方法

Also Published As

Publication number Publication date
JP6479041B2 (ja) 2019-03-06
JPWO2016092674A1 (ja) 2017-10-05
US20170269000A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
JP6479041B2 (ja) 観察システム、光学部品、及び観察方法
JP2005284136A (ja) 観察装置および観察装置の焦点合わせ方法
JP5863357B2 (ja) 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法
US9687154B2 (en) Method and apparatus for 3D measurement of the skin surface and near-surface skin layers
JP2000126116A (ja) 光診断システム
JP4239166B2 (ja) 多層観察型光学顕微鏡及び多層観察ユニット
JP4936841B2 (ja) 共焦点顕微鏡、共焦点顕微鏡操作方法、共焦点顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2005121796A (ja) レーザー顕微鏡
JP2010113312A (ja) 内視鏡装置および内視鏡プロセッサ
JP6666519B2 (ja) 計測支援装置、内視鏡システム、及びプロセッサ
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP4928894B2 (ja) 拡大観察装置、拡大観察装置の操作方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
JP4725967B2 (ja) 微小高さ測定装置及び変位計ユニット
CN107430270A (zh) 光扫描装置的扫描轨迹测定方法、扫描轨迹测定装置和图像校准方法
JP2005160815A (ja) 光イメージング装置
JP4526988B2 (ja) 微小高さ測定方法及びそれに用いる微小高さ測定装置並びに変位ユニット
JP6563517B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP4855139B2 (ja) 顕微鏡装置および細胞観察方法
JP2007183425A (ja) 観察装置
JP6617774B2 (ja) 顕微鏡装置
JP2020076857A (ja) 顕微鏡装置、制御方法、及び、プログラム
JP4346888B2 (ja) 顕微鏡装置
JP4046161B2 (ja) 標本画像データ処理方法及び標本検査システム
JP2004177732A (ja) 光学測定装置
WO2018198908A1 (ja) 毛髪観察方法、位相差顕微鏡システム及びプレパラート

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14907641

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016563357

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14907641

Country of ref document: EP

Kind code of ref document: A1