[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018062412A1 - 画像取得システム及び画像取得方法 - Google Patents

画像取得システム及び画像取得方法 Download PDF

Info

Publication number
WO2018062412A1
WO2018062412A1 PCT/JP2017/035298 JP2017035298W WO2018062412A1 WO 2018062412 A1 WO2018062412 A1 WO 2018062412A1 JP 2017035298 W JP2017035298 W JP 2017035298W WO 2018062412 A1 WO2018062412 A1 WO 2018062412A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
light
image
wavelength
color image
Prior art date
Application number
PCT/JP2017/035298
Other languages
English (en)
French (fr)
Inventor
大治 福田
一樹 丹羽
孝之 沼田
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to JP2018542872A priority Critical patent/JP6599018B2/ja
Publication of WO2018062412A1 publication Critical patent/WO2018062412A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/443—Emission spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024—Details of scanning heads ; Means for illuminating the original
    • H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up

Definitions

  • the present invention relates to an image acquisition system and an image acquisition method, and more particularly, to an image acquisition system and an image acquisition method for detecting and spectrally measuring light emission emitted from a sample and acquiring an image of spectral information of light emitted from the sample.
  • a spectroscopic imaging method In order to visualize the distribution of substances and compositions contained in a sample such as a biological sample as an image, a spectroscopic imaging method has attracted attention.
  • this spectroscopic imaging method by measuring and analyzing spectral spectra in a plurality of wavelength regions of light emitted from the sample, an image of the distribution of substances and compositions contained in the sample can be output without staining the sample.
  • a polar glass filter and an ellipsoidal reflector are used to perform optical spectrum analysis using a digital detection method.
  • a weak light spectrum analyzer is known (see, for example, Non-Patent Document 1).
  • this conventional optical spectrum analyzer extremely weak light emitted from a sample is transmitted through an ellipsoidal reflector and one color glass filter out of a set of 27 color glass filters into a photomultiplier tube.
  • the 27 colored glass filters are installed on a mechanically rotated disk, and are inserted and removed automatically in front of the photomultiplier tube one by one in order.
  • the photomultiplier tube outputs a photoelectron pulse, amplifies it by a pulse amplifier, and then counts only pulses having a certain peak value or more by a peak value discriminator.
  • the peak value discriminator supplies a count value to a computer for spectral analysis.
  • Non-Patent Document 2 a method of performing spectroscopy using a filter or a method of performing spectroscopy using a spectroscope is known (for example, see Non-Patent Document 2).
  • TES Transition Edge Sensor
  • a single photon can be detected with high efficiency and its energy information can be acquired (see, for example, Non-Patent Document 3).
  • Non-Patent Document 1 discriminates the photon color using 27 color glass filters that transmit long wavelength light and block short wavelength light, Although it is colored, there is a problem that the use efficiency of the light emission photons of the sample is poor. For example, when measurement is performed using a colored glass filter whose transmittance changes at a wavelength of 500 nm, light emission of a photon having a wavelength shorter than 500 nm cannot be measured at all (emission photons having a wavelength of 500 nm or less are discarded). . That is, there are always photons having wavelengths that cannot be measured according to the color glass filter used.
  • the method of performing spectroscopy using a spectroscope has a problem that the use efficiency of photons is poor as in the method of performing spectroscopy using a filter.
  • a spectroscope uses a dispersive element such as a diffraction grating or a prism to split light, and it is known that the dispersive element has a large loss such as light being absorbed or scattered. Due to the loss of the dispersive element, the emitted photons are reduced, and the use efficiency of the photons is deteriorated.
  • Photodetectors such as charge-coupled devices (CCDs) and photomultiplier tubes have a narrow wavelength range where good efficiency or sensitivity can be obtained, and some CCDs have an efficiency of 90% or more near a wavelength of 900 nm. The efficiency is low at other wavelengths, and there is no sensitivity at all to light having a wavelength longer than 1100 nm.
  • Photomultiplier tubes usually have an efficiency of about 20% at best, and the photon wavelength that can be measured is limited to a narrow range of about ⁇ 200 nm of the center wavelength.
  • the superconducting transition edge sensor can detect photons in a wide communication wavelength band from the ultraviolet range (wavelength 200 nm) to the near infrared range (wavelength 2 ⁇ m) with only one detector. Therefore, in order to detect photons of such a wide wavelength, there is no complexity of a structure like a device prepared with a plurality of sensitive detectors in different wavelength ranges, and when a plurality of detectors are switched, There is no problem that the detection result becomes discontinuous or the noise level suddenly changes and is difficult to handle.
  • wavelength information from the detection signal which is a voltage signal proportional to the energy of the incident photons output from the superconducting transition edge sensor
  • the detection signal which is a voltage signal proportional to the energy of the incident photons output from the superconducting transition edge sensor
  • the present invention has been made in view of the above points, and provides an image acquisition system and an image acquisition method capable of efficiently acquiring a color image of emission spectrum information of a wide wavelength range of a sample in a short time with a simple configuration. Objective.
  • Another object of the present invention is to provide an image acquisition system and an image acquisition method capable of quickly determining the success / failure result of detection of emission spectrum information of a sample.
  • Another object of the present invention is to provide an image acquisition system and an image acquisition method capable of acquiring a color image of light emission spectrum information of a sample in real time.
  • an image acquisition system includes a microscope that forms an image of light from a sample on an end face of an optical fiber, the light that has propagated through the optical fiber is incident, and a spectrum of the light.
  • a superconducting transition edge sensor for outputting a detection signal having a peak value corresponding to the wavelength of the light; and a predetermined threshold value corresponding to each of the wavelengths of the three primary color lights with respect to the peak value of the detection signal output from the superconducting transition edge sensor.
  • Comparing / counting means for counting the number of times of input of the detection signal equal to or greater than each threshold and outputting first to third count values corresponding to the number of times of input of each primary color light wavelength, And color image generation means for generating color image data based on the first to third count values.
  • an image acquisition system is configured such that the imaging position on the sample from which the microscope extracts the light from the sample is swirled outward from the center position of the surface of the sample.
  • Scanning means for moving the stage on which the sample is placed so as to scan in a shape.
  • an image acquisition system includes a data file having a storage area capable of storing the color image data of pixels for one screen, and the microscope transmits the light from the sample.
  • the light from the sample is weak light emitted by the sample itself. It is characterized by.
  • an image acquisition method includes an imaging step of imaging light from a sample on an end face of an optical fiber with a microscope, and the optical fiber on a superconducting transition end sensor.
  • the crest value is compared with each predetermined threshold value corresponding to each wavelength of the three primary color lights, and the number of times when the detection signal is input above the threshold value is counted, and the first corresponding to the number of input times of each primary color light wavelength.
  • a comparison / counting step for outputting a third count value, and a color image generation step for generating a color image based on the first to third count values.
  • an image acquisition method wherein the microscope picks up the photographing position on the sample from which the light is extracted from the sample. And a scanning step of moving the stage on which the sample is placed so as to scan in a spiral shape from the outside to the outside.
  • an image acquisition method wherein an initial position on the sample at which the microscope starts photographing to extract the light from the sample.
  • An overwriting step of storing in the data file and overwriting updating, and a reading step of reading out the color image from all storage areas of the data file at the time of reading during the photographing of the microscope are characterized.
  • the light from the sample is weak light that the sample emits by itself. It is characterized by that.
  • a color image of emission spectrum information in a wide wavelength range of a sample can be efficiently acquired in a short time with a simple configuration. Further, according to the present invention, the success / failure result of the detection of the emission spectrum information of the sample can be quickly determined, and further, the color image of the emission spectrum information of the sample can be acquired in real time.
  • FIG. 1 is a system configuration diagram of an embodiment of an image acquisition system according to the present invention. It is a block diagram of an example of the photon counter in FIG. It is a figure which shows the detection signal of the example of the superconducting transition edge sensor in FIG. 1, and the threshold voltage of a photon counter. It is a figure explaining acquiring a color RGB value from the count value of the threshold value of a photon counter and the detection signal of the level more than a threshold voltage. It is a frequency distribution figure of an example of the detection signal of a superconducting transition edge sensor. 6 is a diagram showing the relationship between the center position of each peak (corresponding to the response voltage) and the wavelength of the frequency distribution of curve I in FIG.
  • FIG. 5 is an explanatory diagram (A to C) in a general case when a screen is displayed during shooting, and an explanatory diagram (DF) when a screen is displayed during shooting according to an embodiment of the present invention. It is a figure which shows typically the production
  • FIG. 1 is a system configuration diagram illustrating an example of an image acquisition system that acquires a color image of a sample by transmitted light in an embodiment of the present invention.
  • FIG. 1 is a system configuration diagram of an embodiment of an image acquisition system according to the present invention.
  • an image acquisition system 100 includes an optical system including a microscope 101, an incident light source 102, an observation camera 103, a fiber port 104, an optical fiber 105, an optical connector 106, an optical fiber 107, and the like.
  • a photodetecting unit including a superconducting transition edge sensor (TES) 108 and a current amplifier 109 housed in the adiabatic demagnetizing refrigerator 110, and a SQUID (Superconducting Quantum Interference Device) controller 111.
  • TES superconducting transition edge sensor
  • SQUID Superconducting Quantum Interference Device
  • the photon counter / photograph counter 112 includes a photon number / wavelength information generator, an analysis / control unit including a personal computer (PC) 113, and an output unit including an image output unit 114.
  • the control PC 113 has a function of generating a color image based on three types of wavelength information (three primary color light wavelength information) described later supplied from the photon counter 112.
  • the microscope 101 includes an XY axis stage 121 that is a sample stage that can be moved at an arbitrary distance instructed by a control PC 113 described later, an objective lens 122, and an objective lens 122 in the X axis direction and the Y axis direction orthogonal to the horizontal plane.
  • Has a Z-axis stage 123 that moves and adjusts in the Z-axis direction that is the optical axis direction, a lens 124, a beam splitter 125, an optical path switch 126, and an imaging lens 127, and the imaging lens 127 further includes Movement and adjustment in the optical axis direction (that is, the Z-axis direction) can be performed by a focusing Z-axis stage (not shown).
  • the optical path switch 126 is composed of a total reflection mirror or a half mirror, and is inserted between the beam splitter 125 and the imaging lens 127 to guide all of the incident light to the observation camera 103 or partially branch. This is a device for taking out and guiding it to the observation camera 103.
  • the light source 102 is turned on, and the optical path switch 126 in the microscope 101 is switched to an optical path that reflects incident light toward the observation camera 103.
  • the microscope 101 reflects the white light emitted from the light source 102 through the lens 124 by the beam splitter 125 and is placed on the XY axis stage 121 through the objective lens 122 and fixed to the sample 200 such as a biological sample. Irradiate and reflect.
  • the reflected light from the sample 200 passes through the objective lens 122 and the beam splitter 125, and is further reflected by the optical path switch 126 to enter the observation camera 103.
  • the observation camera 103 captures an image of the observation position of the sample 200 placed and fixed on the XY axis stage 121. With this image, the image acquirer confirms (identifies) the observation position.
  • the optical path switch 126 switches the incident light from an optical path in the direction of the observation camera 103 to an optical path that transmits the incident light in the direction of the imaging lens 127.
  • the light source 102 is turned off.
  • the microscope 101 emits ultra-weak light emitted by the sample 200 itself (this is light generated in accordance with a luminescent substance contained in the sample 200 or a chemical reaction inside the sample 200), the objective lens 122, and the beam splitter. 125 and the optical path switch 126 are respectively transmitted and enter the imaging lens 127.
  • the optical fiber 105 is fixed to the fiber port 104 so that the end face of the optical fiber 105 is positioned on the imaging surface of the imaging lens 127.
  • optical fiber 107 can be switched to propagate either the laser light from the laser light source 130 or the light from the optical fiber 105 by the optical connector 106, but is usually connected to the optical fiber 105. Yes.
  • the superconducting transition edge sensor 108 is a light detection element that can split a single photon, detects photons in a wide wavelength range from the ultraviolet region (wavelength 200 nm) to the near infrared region (wavelength 2 ⁇ m), and detects the detected photons.
  • a voltage signal proportional to energy (in other words, a voltage signal having a peak value corresponding to the wavelength of the light spectrum) is output as a detection signal. Therefore, according to the superconducting transition edge sensor 108, it is possible to output a detection signal having a peak value corresponding to the wavelength of the spectrum of light emission from the sample 200 in a wide wavelength range.
  • complicated signal processing is required, which takes a long time.
  • the photon counter 112 is used to obtain wavelength information for obtaining a color image in a short time from the detection signal of the superconducting transition edge sensor 108. That is, in FIG. 1, the photon counter 112 receives the detection signal of the superconducting transition edge sensor 108 through the current amplifier 109 and the SQUID controller 111, and compares the threshold voltage with the threshold voltage to detect the detection signal per unit time that is equal to or higher than the threshold voltage. Count the number of inputs (number of inputs when the threshold is exceeded).
  • FIG. 2 shows a block diagram of an example of the photon counter 112.
  • the photon counter 112 includes three voltage comparators 1121a, 1121b, and 1121c provided in parallel to the input, and counting circuits 1122a, 1122b, and 1122c provided separately on the output side thereof. It is made up of.
  • the voltage comparator 1121a and the counting circuit 1122a constitute a first photon counting unit
  • the voltage comparator 1121b and the counting circuit 1122b constitute a second photon counting unit
  • the voltage comparator 1121c and the counting circuit 1122c constitute a third photon counting unit, respectively. ing.
  • the voltage comparators 1121a, 1121b, and 1121c are commonly supplied with detection signals of the superconducting transition edge sensor 108 as shown in FIG. 3, and are different from predetermined threshold voltages Vth1, Vth2, and Vth3 read from a memory (not shown). The voltages are compared, and when a detection signal equal to or higher than the threshold voltage is input, a pulse having a predetermined value is output to the corresponding counting circuits 1122a, 1122b, and 1122c and counted. Accordingly, the counting circuits 1122a, 1122b, and 1122c obtain count values n1, n2, and n3 of the number of detection signal inputs per unit time that are equal to or higher than the threshold voltages Vth1, Vth2, and Vth3, respectively.
  • the threshold voltages Vth1, Vth2, and Vth3 correspond to voltage values corresponding to less than 500 nm near the blue (B) light wavelength of the detection signal of the superconducting transition edge sensor 108 and to less than 600 nm near the green (G) light wavelength, respectively.
  • the voltage value is set to a voltage value corresponding to less than 800 nm near the red (R) light wavelength.
  • the blue value of the color image is obtained from the count value n1 indicating the number of inputs of only the blue light wavelength, and the count value indicating the number of inputs of only the green light wavelength of the difference between the count values n2 and n1.
  • the green value of the color image is obtained, and the red value of the color image is obtained from the count value indicating the number of inputs of only the red light wavelength of the difference between the count values n3 and n2.
  • the RGB three primary color signal values can be acquired directly from the detection signal of the superconducting transition edge sensor 108 in a short time, it is possible to construct a color image at high speed, and the sample 200 is a cell. For example, a color image can be acquired while alive even for a sample having a short alive time. Further, by adjusting the threshold voltage, it is possible to acquire a contrast image that matches the emission spectrum of the sample 200. Furthermore, according to the present embodiment, it is not necessary to use a filter having poor photon utilization efficiency, a spectroscopic element such as a spectroscope or a diffraction grating, and a highly efficient spectroscopic measurement can be performed with a system having a simple configuration.
  • the superconducting transition edge sensor 108 measures energy, and the voltage value (crest value) of the output detection signal is proportional to this energy. Therefore, in order to know the wavelength from the voltage value (peak value) of the detection signal, some wavelength calibration means is necessary.
  • a white light source and a spectroscope are used to enter monochromatic light into the superconducting transition edge sensor and measure the response of the superconducting transition edge sensor while scanning the wavelength of the incident light. Can be considered.
  • this method requires wavelength scanning, it takes time and effort.
  • a pulse laser in the communication wavelength band (1.5 ⁇ m) is used instead of the white light source and the spectroscope. That is, in FIG. 1, prior to image acquisition, the optical connector 106 is connected in advance to the output side of the laser light source 130 instead of the optical fiber 105, and a pulse laser with a wavelength of, for example, 1524 nm in the communication wavelength band from the laser light source 130 is connected. The superconducting transition edge sensor 108 is irradiated through the optical fiber 107 with an intensity of 1 to 4 photons per pulse.
  • the detection signal output from the superconducting transition edge sensor 108 is supplied to the AD converter 131 through the current amplifier 109 and the SQUID controller 111, converted into a digital signal, and supplied to the control PC 113.
  • the control PC 113 Based on the detection signal from the superconducting transition edge sensor 108, the control PC 113 obtains a frequency distribution indicating a voltage value (crest value) that is substantially proportional to the number of photons.
  • FIG. 5 shows a frequency distribution diagram of an example of a detection signal of the superconducting transition edge sensor.
  • the horizontal axis is the measurement channel of the multi-channel analyzer (MCA), and physically shows the peak voltage ⁇ V of the superconducting transition edge sensor (for example, the peak voltage of 8192 channel is about 10V). Is shown.)
  • the vertical axis in FIG. 5 indicates the count value (per 1 bin) in which the waveform having the channel (crest value voltage ⁇ V) indicated by the horizontal axis is observed.
  • MCA multi-channel analyzer
  • the energy of the pulse laser at this time is 0.81 eV when the number of photons is “1”, 1.63 eV when the number of photons is “2”, 1.63 eV which is twice that when the number of photons is “1”, and the number of photons is “3”. Is 2.44 eV, which is three times that of the photon number “1”, and 3.25 eV, which is four times that of the photon number “1”.
  • a spectrum shape showing a peak at the same position as that at the wavelength of 508 nm is shown.
  • the horizontal axis represents the MCA channel
  • the vertical axis represents the wavelength Wavelength (unit: nm).
  • Wavelength a 0 + (a 1 / Channel) (2)
  • constants a 0 and a 1 are obtained by fitting.
  • the wavelength of the unknown signal waveform is immediately obtained from the peak value voltage corresponding to the channel value.
  • the peak value voltage corresponding to the channel value of 381 nm near the blue (B) light wavelength indicated by x1 in FIG. 6 is set to the threshold voltage Vth1 that is the voltage value voltage corresponding to less than 500 nm of the voltage comparator 1121a.
  • the peak voltage corresponding to the channel value of 508 nm near the green (G) light wavelength indicated by x2 in FIG. 6 is set to the threshold voltage Vth2 that is the voltage value voltage corresponding to less than 600 nm of the voltage comparator 1121b.
  • Vth3 is the voltage value voltage corresponding to less than 800 nm of the voltage comparator 1121c.
  • the above x1, x2, and x3 indicate peak voltage (Channel) at each wavelength when the number of photons per pulse of “4”, “3”, and “2” is 1534 nm, respectively.
  • a pulse laser of 1534 nm in the communication wavelength band is used.
  • the number n of photons per pulse is set to “2”, “3”, and “4”, it is possible to obtain peak value voltages corresponding to R, G, and B wavelengths, respectively, and to calibrate all at once. I understand.
  • the control PC 113 is supplied with three types of count values indicating the number of photons and the wavelength information from the photon counter 112, and acquires the image values of the three primary colors of RGB by the method shown in FIG. 4 from the three types of count values. Based on these image values, a color image is constructed by a known method and output to an image output device 114 such as a display or a printer to display / print the color image. In this way, a color image corresponding to the emission spectrum of the sample 200 is acquired and output.
  • the color image of the emission spectrum of the sample 200 is obtained by scanning the sample 200.
  • the above scanning requires several minutes to several hours, and it will take several minutes to several hours until the success or failure of the photographing can be determined.
  • the sample 200 is a living cell
  • the observation is a game with time, and when the imaging failure is found, the cell deteriorates and may not be able to be redone.
  • the superconducting transition edge sensor 108 also has a limited cooling time.
  • the image acquisition position (imaging position) on the surface of the sample 200 is moved in the horizontal direction and from the top to the bottom as indicated by the arrow A1 in the plan view of FIG.
  • the XY axis stage 121 on which the sample 200 is placed and fixed is moved. For this reason, when scanning of the area of 1/9, for example, from the top of the entire surface of the sample 200 is completed, a region B1 of 1/9 from the top of the imaging region 220 is imaged as shown in FIG. 7B. It is in the state. A certain amount of time has passed until the end of scanning of the 1/9 area of the sample 200.
  • the observation target position of the sample 200 is usually arranged in the center, in the above case, only the background portion of the observation target is captured even when the 1/9 region B1 is captured. Often not. As described above, since the observation of the sample 200 is a game with time, this is a problem. Further, since the risk of misalignment increases as the scanning distance increases, it is necessary to use a stage with an encoder in order to prevent image distortion.
  • the image acquisition position (imaging position) on the surface of the sample 200 is spirally formed outward from the center of the sample as indicated by a solid arrow A2 in the plan view of FIG.
  • the XY-axis stage 121 is moved so as to scan the screen.
  • the present embodiment it is possible to acquire an image of an observation object that is often arranged at the center of the sample 200 in a short time and with a short stroke as compared with the conventional case.
  • the success / failure determination of shooting is significantly faster than in the past, and the risk of image distortion can be reduced even at an inexpensive stage without an encoder.
  • scanning is further performed in a spiral shape as indicated by a dotted arrow A3 in FIG.
  • FIG. 8B an image of a region having an area expanded outwardly indicated by a dotted line B3 including the central region of the sample 200 is obtained.
  • the captured image area expands outward as time passes.
  • the control PC 113 acquires the image values of the three primary colors of RGB by the method shown in FIG. 4 from the count values of the primary color light wavelengths of the three primary colors supplied from the photon counter 112 according to the shooting order, and further the image values thereof.
  • the image values acquired in accordance with the imaging order are simply displayed in order.
  • FIG. 9 (A) image data of a sample portion that has not yet been photographed has not been constructed.
  • the image displayed on the screen is a color image obtained by converting the count value of the photon counter 112 into the color image values of the three primary colors, and the image value corresponds to the gradation. Is also referred to as “gradation value”.
  • the image data is acquired in order according to the shooting order, which is the same as the conventional one, but a data file having a storage area for one screen of pixels for displaying a color image is prepared.
  • the captured image data of the first pixel of the sample (specifically, color image data based on RGB image data) is written in the entire storage area of the data file.
  • the sample to be measured generally does not have a very large difference in the contrast of the image on one screen, and the gradation value of the photographed image data of the first pixel is the gradation value of all the photographed image data of one screen of the sample.
  • the focus is on the range of variation.
  • 9D shows the storage state of the data file in which the first captured image data of one pixel has a gradation value “98”, which is written in the entire storage area of the data file (here, the simple data is stored). Therefore, it is assumed that image data is stored in all areas of the data file having a storage area for 36 pixels.) Thereafter, the image data of the sample acquired according to the imaging order is overwritten and updated in the data file in order.
  • the captured image data having the gradation value “97” indicated by a circle in FIG. 9E is acquired and stored in the data file, and the image is displayed during the capturing of one screen.
  • image display of image data read from all storage areas of the data file is performed. Since the stored image data of the data file is as shown in FIG. 9E, the image data of 10 pixels that have been captured up to the image data indicated by the circle is the gradation value that has been captured.
  • all the image data of 26 pixels in the unphotographed area after the image data indicated by the circle is displayed on one screen with the gradation value “98” of the first image data.
  • the display image of one screen is close to the original photographed image of the sample with a very small contrast difference in the screen. Therefore, according to the present embodiment, real-time image display during shooting can be performed, and success or failure of measurement based on the shot image can be determined without waiting until shooting is completed.
  • the image processing of the present embodiment is extremely effective for measurement based on a photographed image of a sample to be measured in which the difference in image contrast on one screen is not so large.
  • the technique of the embodiment described in FIGS. 9D to 9F can be combined with the technique of the embodiment described in FIGS. 8A and 8B.
  • the image data of one pixel at the center of the image taken first is written in the entire data file.
  • the captured image data input in the scan order indicated by the arrow A2 in FIG. 8A is overwritten and updated on the pixel corresponding address in the data file. For example, when the screen display is completed at the time when the scan of the 1/9 area of the screen in FIG. 8B before the end of shooting of one screen is completed, the 1/9 area in the center of the screen has already been shot.
  • An image of the center portion of the sample is displayed, and an image of one pixel at the center of the image taken first is displayed as an image of the other outer peripheral region in one screen.
  • the display image of the sample is close to the original captured image of the sample in which the image of the observation target at the center of the sample is quickly displayed and the contrast difference is extremely small in the screen.
  • the light source 102 is turned off, the single photon is measured by the superconducting transition edge sensor 108, the color is identified, and the emission spectrum of the sample 200 that emits light. Since the color image based on the measurement result is acquired, when the sample 200 that emits light is a cell, the function or the like occurring in the cell can be identified by color.
  • the image acquisition system 100 according to the present embodiment is not limited to this, and a single photon is measured for a fluorescent sample or a normal sample (which may or may not contain a luminescent or fluorescent substance) instead of the sample 200. Thus, a color image based on the measurement result of the sample spectrum can be obtained.
  • an excitation laser light source is prepared as the light source 102, and the optical path switch 126 is switched to an optical path that guides incident light from the beam splitter 125 to the imaging lens 127.
  • the excitation laser from the excitation laser light source is irradiated to the fluorescent sample through the lens 124, the beam splitter 125, and the objective lens 122, and the light reflected from the fluorescent sample is transmitted through the objective lens 122 and the beam splitter 125, respectively.
  • an image is formed on the end face of the optical fiber 105 by the imaging lens 127 through the optical path switch 126. Thereafter, the same operation as that of the sample 200 is performed.
  • the microscope 101 has substantially the same configuration as a known confocal fluorescence microscope, and the fluorescence can be measured with a slight amount of excitation light by using the superconducting transition edge sensor (TES) 108. The light damage to can be reduced.
  • TES superconducting transition edge sensor
  • a white light source is prepared as the light source 102.
  • the image acquisition system 100 of the present embodiment performs the same operation as described with reference to FIG. 1 for a normal sample, and even if the reflected light from the normal sample is weak light of a single photon level. A color image of a color corresponding to the analysis spectrum can be acquired. Table 2 summarizes the relationship between the sample and the light source that can be measured by the image acquisition system 100 of the present embodiment.
  • the threshold voltages Vth1, Vth2, and Vth3 in the photon counter 112 are voltage values corresponding to less than 500 nm near the blue (B) light wavelength, green ( G) A voltage value corresponding to less than 600 nm near the light wavelength and a voltage value corresponding to less than 800 nm near the red (R) light wavelength may be set, and the voltage is limited to the voltage set by the wavelength calibration method described above. is not.
  • laser pulses having various numbers of photons for each pulse are generated by a laser light source and an optical attenuator.
  • the wavelength, repetition frequency, and average light output of the laser light source are ⁇ (m), f (Hz), and P (W), respectively, and the attenuation amount of the optical attenuator is A (dB)
  • the average photon number u (pieces / pulse) of the laser pulse is expressed by the following equation (3).
  • h is a Planck constant.
  • the number of photons contained in the pulse follows a Poisson distribution.
  • the probability P (k) is expressed as the following equation (4).
  • FIG. 11 shows an example of a measurement image obtained when the sample is irradiated with reflected light in the above embodiment.
  • the sample to be measured is a printed board.
  • the image indicated by “under strong illumination” in the figure was acquired by CMOS (Complementray Metal-Oxide Semiconductor) as 103 in FIG. 1 on the surface of the printed circuit board higher than the illumination intensity used for the above measurement. It is an image of the substrate surface.
  • the substrate surface of a square region having a side of 400 ⁇ m shown in an image under strong illumination is respectively converted by a conventional CMOS camera, a conventional photomultiplier tube (PMT (Photomultiplier Tube)), and the TES according to the above embodiment.
  • the acquired image is shown.
  • the light source is an incident light source, and the exposure time is 50 ms.
  • the PMT is measured by disconnecting the optical fiber 107 from the fiber port 106 and connecting the PMT to the 106 instead of 107.
  • CMOS complementary metal-oxide-semiconductor
  • PMT the conventional PMT can acquire an image of the substrate surface.
  • the image acquired by the PMT is a black and white image.
  • TES images acquired by TES are color images.
  • the reflected light from the copper pattern (orange), the resist portion (green), and the silk pattern (white) can be clearly distinguished. Therefore, according to the above embodiment, it is understood that the reflected light from the sample surface can be spectrally imaged at the single photon level.
  • the same components as those in the above embodiment are given the same reference numerals, and detailed description thereof is omitted.
  • the excitation laser light source 140 the excitation light cut filter 141 that absorbs the excitation light
  • the dichroic mirror 142 that reflects the excitation light and transmits the fluorescence
  • the excitation laser light source 140 are included in the image acquisition system 100.
  • a lens 143 for guiding the light from the dichroic mirror 142 is added.
  • the sample 200 is irradiated with excitation laser light, and the fluorescence of the excitation light is introduced into the optical fiber 105 through the fiber port 104 to measure the spectrum of the sample 200. Do.
  • FIG. 13 shows an example of a color image obtained using the image acquisition system 1000.
  • the sample to be measured is a fluorescently stained biological sample (FluoCell # 1 (manufactured by Thermo Fisher Scientific)).
  • FIG. 13 shows an image obtained by irradiating the sample 200 with light from the epi-illumination light source 102 using an LED having a center wavelength of 365 nm and obtaining fluorescence generated by the excitation light with a conventional CMOS camera (“epi-illumination ( CMOS) ”)” (exposure time is 3 s).
  • CMOS CMOS
  • the sample 200 is irradiated with light from an excitation laser light source 140 using a laser having a central wavelength of 488 nm, and fluorescence generated by the excitation light is acquired by a conventional photomultiplier tube (PMT).
  • An image (“PMT” in the figure) is shown (exposure time is 100 ms).
  • FIG. 13 shows an image (“TES” in the figure) acquired by the TES according to the above embodiment.
  • the image acquired by the PMT is an image of the sample having the same contrast as the image acquired by the TES, but is not a color image.
  • the image acquired by TES is a color image unlike the image acquired by PMT.
  • the fluorescence from the fluorescent substance Alexa ⁇ ⁇ Fluor488) staining the cytoskeleton and the fluorescence from the fluorescent substance (MitoTracker Red) staining the mitochondria can be clearly distinguished.
  • an image acquired by TES can obtain a significantly clearer sample image than an image acquired by CMOS. From the above, it can be seen that according to the present embodiment, fluorescence from the sample surface can be spectrally imaged at a single photon level.
  • the same components as those in the above embodiment are given the same reference numerals, and detailed description thereof is omitted.
  • a transmission light source 150 is added to the image acquisition system 100 described above.
  • the sample 200 can be irradiated with light from the transmission light source 150, and the spectrum of the sample 200 is measured by introducing the transmitted light from the sample 200 into the optical fiber 105 through the fiber port 104. I do.
  • the transmitted light from the sample can be spectrally imaged at a single photon level, and a color image of the sample 200 can be obtained.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

試料の広い波長域の発光スペクトラム情報のカラー画像を簡単な構成により短時間で取得し、また試料の発光スペクトラム情報の検出の成否結果を迅速に判定する。超伝導転移端センサ１０８は、単一光子を分光できる光検出素子であり、試料２００からの広い波長域の発光のスペクトルの波長に応じた波高値の検出信号を出力する。フォトンカウンタ１１２は、超伝導転移端センサ１０８の検出信号を三原色信号の波長に対応した３つの閾値と電圧比較して閾値以上の検出信号の単位時間当たりの入力回数（閾値を計数する。制御用ＰＣ１１３は、フォトンカウンタ１１２からの３種類の計数値からＲＧＢ三原色の各画像値を取得し、それらの画像値に基づいて公知の方法でカラー画像を構築してディスプレイ、プリンタ等の画像出力器１１４に出力し、カラー画像の表示・印刷などを行わせる。

Description

画像取得システム及び画像取得方法
　本発明は画像取得システム及び画像取得方法に係り、特に試料から放出される発光を検出・分光測定して、試料が発光する光のスペクトル情報の画像を取得する画像取得システム及び画像取得方法に関する。
　生体試料などの試料に含まれる物質や組成の分布を画像として可視化するために、分光イメージング法が注目されている。この分光イメージング法では、試料が発光する光の複数の波長領域の分光スペクトルを測定し、解析することで、試料を染色することなく、試料に含まれる物質や組成の分布の画像を出力できる。
　ここで、上記の生体試料は超微弱な光を発光するが、その超微弱な発光スペクトル情報検出のため、色ガラスフィルタと楕円体形反射鏡とを用い、ディジタル検出方式により光スペクトル分析を行う極微弱光スペクトル分析装置が知られている（例えば、非特許文献１参照）。この従来の光スペクトル分析装置では、試料が発光した極微弱な光を楕円体形反射鏡及び２７枚で１セットの色ガラスフィルタのうちの１枚の色ガラスフィルタを透過させて光電子増倍管に入射する。上記の２７枚の色ガラスフィルタは、機械的に回転されるディスク上に設置され、順番に１枚ずつ光電子増倍管の前面に自動的に挿入・除去される。光電子増倍管は、光電子パルスを出力しパルス増幅器で増幅させた後、波高値弁別器により一定の波高値以上のパルスだけを計数させる。波高値弁別器は計数値をコンピュータに供給してスペクトル分析させる。
　また、光スペクトル情報である光子の波長情報を得る方法として、フィルタを用いて分光する方法、あるいは分光器を用いて分光する方法が知られている（例えば、非特許文献２参照）。また、超伝導転移端センサ（ＴＥＳ：Transition Edge Sensor）を使えば、単一光子を高効率に検出し、そのエネルギー情報を取得できることが知られている（例えば、非特許文献３参照）。
清水慶昭他、"極微弱な光情報の計測"、光学第４巻第３号、p.105-p.125(1975) Yasushi Hiraoka et al.,"Multispectral Imaging Fluorescence Microscopy for Living Cells",CELL STRUCTURE AND FUNCTION 27:367-374(2002) B.Cabrera et al.,"Detection of single infrared,optical,and ultraviolet photons using superconducting transition edge sensors",Applied Physics Letters Vol.73,No.6,10 August 1998
　しかしながら、非特許文献１に記載の光スペクトル分析装置では、長い波長の光を透過し短い波長の光を阻止する２７枚の色ガラスフィルタを用いて光子の色の判別をしてスペクトル分析結果のカラー化をしているが、試料の発光光子の利用効率が悪いという問題がある。例えば、波長５００ｎｍで透過率が変化する色ガラスフィルタを用いて測定をしているときは、波長５００ｎｍより短い波長の光子の発光は全く測定できない（波長５００ｎｍ以下の発光光子は捨てられている）。すなわち、使用する色ガラスフィルタに応じて測定できていない波長の光子が必ず存在する。
　また、分光器を用いて分光する方法もフィルタを用いて分光する方法と同様に、光子の利用効率が悪いという問題がある。分光器は、回折格子やプリズムなどの分散素子を用いて光を分光するが、分散素子は、光が吸収されてしまったり、散乱してしまうなどの大きな損失があることが知られている。この分散素子の損失によって発光光子が減数を受け、光子の利用効率が悪くなってしまう。また、電荷結合素子（ＣＣＤ）や光電子増倍管などの光検出器は、良好な効率あるいは感度が得られる波長域が狭く、ＣＣＤでは波長９００ｎｍ付近で９０％以上の効率をもつものもあるが、それ以外の波長では効率は低く、また１１００ｎｍより長い波長の光には全く感度が無い。また、光電子増倍管は、効率が最も良くても２０％程度の効率が普通で、測定できる光子の波長は、その中心波長の±２００ｎｍ程度の狭い範囲に限られる。
　これに対し、超伝導転移端センサは紫外域（波長２００ｎｍ）から近赤外域（波長２μｍ）までの広い通信波長帯域の光子を、たった一つの検出器で検出できる。したがって、このような広い波長の光子を検出するために、異なる波長域に感度のある検出器を複数用意した装置のような構造の複雑さはなく、また複数の検出器を切り替えた際に、検出結果が不連続になったり、ノイズレベルが突然変わったりして扱いにくいという問題はない。しかしながら、超伝導転移端センサが出力する入射光子のエネルギーに比例した電圧信号である検出信号から発光のスペクトル分析のために波長情報を得るには、一般には(i)検出信号の波高値の計測、(ii)計測波高値の波長への変換、(iii)変換した波長の波長頻度分布の構築などの複雑な信号処理が必要で、画像取得までに長時間を要してしまう。
　本発明は以上の点に鑑みなされたもので、試料の広い波長域の発光スペクトラム情報のカラー画像を簡単な構成により短時間で効率良く取得し得る画像取得システム及び画像取得方法を提供することを目的とする。
　また、本発明の他の目的は、試料の発光スペクトラム情報の検出の成否結果を迅速に判定することができる画像取得システム及び画像取得方法を提供することにある。
　更に、本発明の他の目的は、試料の発光スペクトラム情報のカラー画像をリアルタイムで取得することができる画像取得システム及び画像取得方法を提供することにある。
　上記の目的を達成するため、第１の発明の画像取得システムは、試料からの光を光ファイバの端面に結像する顕微鏡と、前記光ファイバを伝搬した前記光が入射され、その光のスペクトルの波長に応じた波高値の検出信号を出力する超伝導転移端センサと、前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数手段と、前記第１乃至第３の計数値に基づいて、カラー画像データを生成するカラー画像生成手段と、を備えることを特徴とする。
　また、上記の目的を達成するため、第２の発明の画像取得システムは、前記顕微鏡が前記試料からの前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャン手段を有することを特徴とする。
　また、上記の目的を達成するため、第３の発明の画像取得システムは、一画面分の画素の前記カラー画像データを格納できる記憶領域を有するデータファイルと、前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像データを、前記データファイルのすべての記憶領域に格納する手段と、前記最初の位置以後の前記撮影した画素の前記カラー画像データを撮影順に前記データファイルに格納して上書き更新する上書き手段と、前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出し手段とを有することを特徴とする。
　また、上記の目的を達成するため、第４の発明の画像取得システムは、第１乃至第３の発明のいずれかにおいて前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする。
　また、上記の目的を達成するため、第５の発明の画像取得方法は、顕微鏡により試料からの光を光ファイバの端面に結像する結像ステップと、超伝導転移端センサに前記光ファイバを伝搬した前記光を入射し、前記超伝導転移端センサから前記光のスペクトルの波長に応じた波高値の検出信号を出力する出力ステップと、前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数ステップと、前記第１乃至第３の計数値に基づいて、カラー画像を生成するカラー画像生成ステップと、を含むことを特徴とする。
　また、上記の目的を達成するため、第６の発明の画像取得方法は、第５の発明において前記顕微鏡が前記試料から前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャンステップを含むことを特徴とする。
　また、上記の目的を達成するため、第７の発明の画像取得方法は、第５又は第６の発明において、前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像を、一画面分の画素の記憶領域を有するデータファイルのすべての記憶領域に格納する格納ステップと、前記最初の位置以後の前記撮影した画素の前記カラー画像を撮影順に前記データファイルに格納して上書き更新する上書きステップと、前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出しステップと含むことを特徴とする。
　また、上記の目的を達成するため、第８の発明の画像取得方法は、第５乃至第７の発明のいずれかにおいて、前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする。
　本発明によれば、試料の広い波長域の発光スペクトラム情報のカラー画像を簡単な構成により短時間で効率良く取得できる。また、本発明によれば、試料の発光スペクトラム情報の検出の成否結果を迅速に判定することができ、更に試料の発光スペクトラム情報のカラー画像をリアルタイムで取得することができる。
本発明に係る画像取得システムの一実施形態のシステム構成図である。 図１中のフォトンカウンタの一例のブロック図である。 図１中の超伝導転移端センサの一例の検出信号とフォトンカウンタの閾値電圧を示す図である。 フォトンカウンタの閾値電圧と閾値電圧以上のレベルの検出信号の計数値からカラーＲＧＢ値を取得することを説明する図である。 超伝導転移端センサの検出信号の一例の頻度分布図である。 図５中の曲線Iの頻度分布の各ピークの中心位置（応答の電圧に相当）と波長の関係を示す図である。 一般的なスキャン方法とスキャンの１／９が終了した時点での撮影済み領域を示す図である。 本発明の実施形態によるスキャン方法とスキャンの１／９が終了した時間での撮影済み領域等を示す図である。 撮影途中で画面表示をした時の一般的な場合の説明図（Ａ～Ｃ）と、本発明の実施形態による撮影途中で画面表示をした時の説明図（Ｄ～Ｆ）である。 レーザ光源と光減衰器とによるレーザパルスの生成を模式的に示す図である。 本発明の実施形態において試料に反射光を照射した場合に得られる測定画像の一例を示す図である。 本発明の実施形態において励起光によって試料のカラー画像を取得する画像取得システムの一例を示すシステム構成図である。 本発明の実施形態において画像取得システムを用いて得られるカラー画像の一例を示す図である。 本発明の実施形態において透過光によって試料のカラー画像を取得する画像取得システムの一例を示すシステム構成図である。
　次に、本発明の実施形態について図面と共に説明する。
　図１は、本発明に係る画像取得システムの一実施形態のシステム構成図を示す。同図において、本実施形態の画像取得システム１００は、顕微鏡１０１、（落射用）光源１０２、観察用カメラ１０３、ファイバーポート１０４、光ファイバ１０５、光コネクタ１０６及び光ファイバ１０７などからなる光学系と、断熱消磁冷凍機１１０内に収納された超伝導転移端センサ（ＴＥＳ：Transition Edge Sensor）１０８及び電流アンプ１０９からなる光検出部と、ＳＱＵＩＤ(Superconducting Quantum Interference Device：超伝導量子干渉素子)コントローラ１１１及びフォトンカウンタ１１２からなる光子数・波長情報生成部と、制御用パーソナルコンピュータ（ＰＣ：Personal Computer）１１３からなる解析・制御部と、画像出力器１１４からなる出力部とから大略構成されている。制御用ＰＣ１１３は、フォトンカウンタ１１２から供給される後述する３種類の波長情報（三原色光波長情報）に基づいて、カラー画像を生成する機能を有する。
　顕微鏡１０１は、水平面の直交するＸ軸方向及びＹ軸方向に、後述する制御用ＰＣ１１３により指示された任意の距離移動可能な試料台であるＸＹ軸ステージ１２１と、対物レンズ１２２と、対物レンズ１２２をその光軸方向であるＺ軸方向に移動調整するＺ軸ステージ１２３と、レンズ１２４と、ビームスプリッタ１２５と、光路切替器１２６と、結像レンズ１２７とを有し、更に結像レンズ１２７は図示しない焦点合わせ用Ｚ軸ステージによりその光軸方向（すなわちＺ軸方向）に移動調整可能とされている。
　次に、本実施形態の画像取得システム１００の動作について説明する。光路切替器１２６は、全反射ミラーあるいはハーフミラーから構成され、ビームスプリッタ１２５と結像レンズ１２７との間に挿入されることで、入射光の全部を観察用カメラ１０３へと導くあるいは一部分岐して取り出し観察用カメラ１０３へと導く装置である。まず、光源１０２が点灯されると共に、顕微鏡１０１内の光路切替器１２６は入射光を観察用カメラ１０３方向へ反射する光路に切り替えられる。これにより、顕微鏡１０１は、光源１０２から出射された白色光を、レンズ１２４を通してビームスプリッタ１２５で反射させて対物レンズ１２２を通してＸＹ軸ステージ１２１上に載置固定された生体試料等の試料２００に対して照射して反射させる。試料２００からの反射光は、対物レンズ１２２、ビームスプリッタ１２５をそれぞれ透過し、更に光路切替器１２６で反射されて観察用カメラ１０３に入射する。これにより、観察用カメラ１０３は、ＸＹ軸ステージ１２１上に載置固定された試料２００の観察位置の画像を撮像する。この画像により画像取得者は観察位置の確認（同定）を行う。
　続いて、光路切替器１２６は入射光を観察用カメラ１０３方向への光路から結像レンズ１２７方向へ透過させる光路に切り替える。また、光源１０２は消灯される。これにより、顕微鏡１０１は、試料２００が自ら放出する超微弱な発光（これは試料２００に含まれる発光物質や試料２００の内部の化学反応に応じて生じた光）を、対物レンズ１２２、ビームスプリッタ１２５、光路切替器１２６をそれぞれ透過させて結像レンズ１２７に入射する。結像レンズ１２７の結像面には光ファイバ１０５の端面が位置するように光ファイバ１０５がファイバーポート１０４に固定されている。これにより、試料２００からの発光は光ファイバ１０５の端面に結像され、更に光ファイバ１０５及び１０７を低損失で伝搬して超伝導転移端センサ１０８に入射される。なお、光ファイバ１０７は、光コネクタ１０６によりレーザ光源１３０からのレーザ光又は光ファイバ１０５からの光のどちらかを伝搬するように切り替え可能とされているが、通常は光ファイバ１０５に接続されている。
　超伝導転移端センサ１０８は、単一光子を分光できる光検出素子であり、また紫外域（波長２００ｎｍ）から近赤外域（波長２μｍ）までの広い波長域の光子を検出し、検出した光子のエネルギーに比例した電圧信号（換言すると、光のスペクトルの波長に応じた波高値の電圧信号）を検出信号として出力する。したがって、超伝導転移端センサ１０８によれば、試料２００からの広い波長域の発光のスペクトルの波長に応じた波高値の検出信号を出力できる。しかしながら、超伝導転移端センサの検出信号に基づいてカラー画像を得るには前述したように複雑な信号処理が必要で、長時間を要してしまう。
　そこで、本実施形態ではフォトンカウンタ１１２を用いて、超伝導転移端センサ１０８の検出信号から、短時間にカラー画像取得のための波長情報を得るようにしている。すなわち、図１において、フォトンカウンタ１１２は、超伝導転移端センサ１０８の検出信号が電流アンプ１０９及びＳＱＵＩＤコントローラ１１１を通して入力され、閾値電圧と電圧比較して閾値電圧以上の検出信号の単位時間当たりの入力回数（閾値を超えた時の入力回数）を計数する。
　図２は、フォトンカウンタ１１２の一例のブロック図を示す。図２に示すように、フォトンカウンタ１１２は、入力に対して並列に設けられた３つの電圧コンパレータ１１２１ａ、１１２１ｂ及び１１２１ｃと、それらの出力側に別々に設けられた計数回路１１２２ａ、１１２２ｂ及び１１２２ｃとより構成されている。電圧コンパレータ１１２１ａ及び計数回路１１２２ａは第１のフォトンカウント部を、電圧コンパレータ１１２１ｂ及び計数回路１１２２ｂは第２のフォトンカウント部を、電圧コンパレータ１１２１ｃ及び計数回路１１２２ｃは第３のフォトンカウント部をそれぞれ構成している。
　電圧コンパレータ１１２１ａ、１１２１ｂ及び１１２１ｃは、図３に示すような超伝導転移端センサ１０８の検出信号が共通に供給され、図示しないメモリから読みだされた互いに異なる所定の閾値電圧Ｖth1、Ｖth2及びＶth3と電圧比較し、その閾値電圧以上の検出信号が入力された時に所定値のパルスを対応して設けられた計数回路１１２２ａ、１１２２ｂ及び１１２２ｃへ出力して計数させる。したがって、計数回路１１２２ａ、１１２２ｂ及び１１２２ｃは、それぞれ閾値電圧Ｖth1、Ｖth2及びＶth3以上の単位時間当たりの検出信号入力回数の計数値ｎ1、ｎ2、ｎ3を得る。
　上記の閾値電圧Ｖth1、Ｖth2及びＶth3は、それぞれ超伝導転移端センサ１０８の検出信号の青色（Ｂ）光波長付近の５００ｎｍ未満に対応した電圧値、緑色（Ｇ）光波長付近６００ｎｍ未満に対応した電圧値、赤色（Ｒ）光波長付近８００ｎｍ未満に対応した電圧値に設定されている。ここで、図３に示すように、Ｖth1＞Ｖth2＞Ｖth3であるから、検出信号の波高値がＶth1より大である青色光波長を示しているときには、計数回路１１２２ａ、１１２２ｂ及び１１２２ｃの各計数値n1、ｎ2及びｎ3がそれぞれ１増加し、検出信号の波高値がＶth1未満でＶth2以上である緑色光波長を示しているときには、計数回路１１２２ｂ及び１１２２ｃの各計数値ｎ2及びｎ3が１増加し、検出信号の波高値がＶth2未満でＶth3以上である赤色光波長を示しているときには、計数回路１１２２ｃの計数値ｎ3のみが１増加する。したがって、図４に示すように、青色光波長のみの入力回数を示す計数値ｎ1からカラー画像の青色値が得られ、計数値ｎ2とｎ1の差の緑色光波長のみの入力回数を示す計数値からカラー画像の緑色値が得られ、計数値ｎ3とｎ2との差の赤色光波長のみの入力回数を示す計数値からカラー画像の赤色値が得られる。
　このように、本実施形態では、超伝導転移端センサ１０８の検出信号から直接ＲＧＢの三原色信号値を短時間で取得することができるので、カラー画像の高速な構築が可能となり、試料２００が細胞などの生きている時間が短い試料であっても、生きている間にカラー画像を取得することができる。また、閾値電圧の調整により、試料２００の発光スペクトルに合わせたコントラスト像の取得も可能である。更に、本実施形態によれば、光子の利用効率が悪いフィルタや分光器や回折格子等の分光素子を用いる必要が無くなり、簡単な構成のシステムで高効率の分光測定ができる。
　次に、上記の閾値電圧Ｖth1、Ｖth2及びＶth3を得る波長校正方法の一例について説明する。超伝導転移端センサ１０８が測定するのはエネルギーであり、出力する検出信号の電圧値（波高値）がこのエネルギーに比例する。従って、検出信号の電圧値（波高値）から波長を知るためには何らかの波長校正手段が必要である。この波長校正には、一般に白色光源と分光器を用いて、単色化した光を超伝導転移端センサに入射し、入射光の波長をスキャンしながら超伝導転移端センサの応答を測定するという方法が考えられる。しかしながら、この方法は波長スキャンを必要とすることから、手間と時間がかかる。
　そこで、本実施形態では、白色光源と分光器に代えて通信波長帯（１.５μｍ）のパルスレーザを用いる。すなわち、図１において、画像取得に先立って事前に光コネクタ１０６を光ファイバ１０５ではなく、レーザ光源１３０の出力側に接続し、レーザ光源１３０からの通信波長帯の例えば波長１５２４ｎｍのパルスレーザを一パルス当たりの光子数を１～４個程度となる強度にして光ファイバ１０７を通して超伝導転移端センサ１０８に照射する。これにより、超伝導転移端センサ１０８から出力される検出信号は、電流アンプ１０９、ＳＱＵＩＤコントローラ１１１を通してＡＤ変換器１３１に供給され、ディジタル信号に変換されて制御用ＰＣ１１３に供給される。制御用ＰＣ１１３は超伝導転移端センサ１０８からの検出信号に基づき、光子数にほぼ比例した電圧値（波高値）を示す頻度分布を得る。
　図５は、超伝導転移端センサの検出信号の一例の頻度分布図を示す。同図において、横軸はマルチチャンネルアナライザ（ＭＣＡ）の測定チャンネルで、物理的には観測された超伝導転移端センサの波高値電圧ΔＶを示す（一例として、８１９２チャンネルが約１０Ｖの波高値電圧を示す。）。一方、図５の縦軸は横軸が示すチャンネル（波高値電圧ΔＶ）を持つ波形が観測された（１ｂｉｎあたりの）計数値を示す。図５において、曲線Iは波長１５２４ｎｍのパルスレーザを超伝導転移端センサ１０８に照射したときの頻度分布を示し、ｎ＝１のピークは上記パルスレーザの一パルス当たりの光子数が「１」、ｎ＝２のピークは上記光子数が「２」、ｎ＝３のピークは上記光子数が「３」、ｎ＝４のピークは上記光子数が「４」のときの頻度分布を示す。
　このときのパルスレーザのエネルギーは光子数「１」のときは０.８１ｅＶ、光子数「２」のときは光子数「１」のときの２倍の１.６３ｅＶ、光子数「３」のときは光子数「１」のときの３倍の２.４４ｅＶ、光子数「４」のときは光子数「１」のときの４倍の３.２５ｅＶである。また、パルスレーザのエネルギーＥ（単位ｅＶ）と、波長λ（単位ｎｍ）とは次式の関係がある。
　　　　　Ｅ＝１２４０／λ　　　（１）
　したがって、（１）式から上記の光子数ｎ、パルスレーザのエネルギー及び波長とは表１の関係がある。
Figure JPOXMLDOC01-appb-T000001
　なお、図５において、曲線IIは赤色光の波長７６２ｎｍの単色レーザ（パルスでなく連続光）を超伝導転移端センサに照射したときの応答特性を示し、これは曲線Iの頻度分布中のｎ＝２の波長７６２ｎｍのときと同じ位置にピークを示すスペクトル形状を示す。同様に、曲線IIIは緑色光の波長５０８ｎｍの単色レーザ（パルスでなく連続光）を超伝導転移端センサに照射したときの応答特性を示し、これは曲線Iの頻度分布中のｎ＝３の波長５０８ｎｍのときと同じ位置にピークを示すスペクトル形状を示す。更に、曲線IVは青色光波長３８１ｎｍの単色レーザ（パルスでなく連続光）を超伝導転移端センサに照射したときの応答特性を示し、これは曲線Iの頻度分布中のｎ＝４の波長３８１ｎｍのときと同じ位置にピークを示すスペクトル形状を示す。
　続いて、曲線Iの頻度分布の各ピークの中心位置（応答の電圧に相当）と波長の関係を図６のように求める。図６において、横軸はＭＣＡチャンネル(Channel)、縦軸は波長Wavelength（単位ｎｍ）である。この特性を次式の関数
　　　　Wavelength＝ａ0＋（ａ1/Channel)        （２）
でフィッティングにより定数ａ0とａ1を求める。そして、求められた定数ａ0とａ1、及び（２）式を使用することで、未知の信号波形の波長が、そのChannel値に対応した波高値電圧から直ちに求められる。
　本実施形態では、図６にx1で示す青色（Ｂ）光波長付近３８１ｎｍのChannel値に対応する波高値電圧を、電圧コンパレータ１１２１ａの前述した５００ｎｍ未満に対応した電圧値電圧である閾値電圧Ｖth1に設定する。同様に、図６にx2で示す緑色（Ｇ）光波長付近５０８ｎｍのChannel値に対応する波高値電圧を、電圧コンパレータ１１２１ｂの前述した６００ｎｍ未満に対応した電圧値電圧である閾値電圧Ｖth2に設定し、図６にx3で示す赤色（Ｒ）光波長付近７６２ｎｍのChannel値に対応する波高値電圧を、電圧コンパレータ１１２１ｃの前述した８００ｎｍ未満に対応した電圧値電圧である閾値電圧Ｖth3に設定する。上記のx1、x2、x3は、それぞれ前述した１５３４ｎｍのパルスレーザの一パルス当たりの光子数「４」、「３」、「２」のときの各波長における波高値電圧(Channel)を示す。
　このように、本実施形態ではＲ（赤）、Ｇ（緑）、Ｂ（青）の三原色の各単色レーザ（連続光）を別々に用意しなくても、通信波長帯の１５３４ｎｍのパルスレーザの一パルス当たりの光子数ｎを「２」、「３」、「４」とすることでそれぞれＲ、Ｇ、Ｂの各波長に対応した波高値電圧を得ることができ、これにより一気に校正ができることが分かる。
　再び図１に戻って説明する。制御用ＰＣ１１３は、フォトンカウンタ１１２からの光子数、波長情報を示す３種類の計数値が供給され、それら３種類の計数値から図４に示した方法でＲＧＢ三原色の各画像値を取得し、それらの画像値に基づいて公知の方法でカラー画像を構築してディスプレイ、プリンタ等の画像出力器１１４に出力し、カラー画像の表示・印刷などを行わせる。このようにして、試料２００の発光スペクトルに応じたカラー画像が取得されて出力される。
　ここで、試料２００の発光スペクトルのカラー画像は、試料２００をスキャニングすることで得られる。上記のスキャニングには数分から数時間が必要で、撮影の成否が判明できるまで、やはり数分から数時間が必要となる。一方で、試料２００が生きた細胞の場合、その観察は時間との勝負であり、撮影の失敗が判明したときには細胞が劣化し、やり直しがきかないこともある。超伝導転移端センサ１０８も、冷却時間に制限がある。
　一般的なスキャンは、試料２００の表面の画像取得位置（撮影位置）を、図７（Ａ）の平面図に矢印Ａ1で示すように、水平方向に、かつ、上から下方向に移動するように、試料２００が載置固定されているＸＹ軸ステージ１２１を移動させることで行う。このため、試料２００の表面全面の例えば上から１／９の面積のスキャンが終了した時点では、図７（Ｂ）に示すように、撮影領域２２０の上から１／９の領域Ｂ１が撮影された状態である。試料２００の１／９の面積のスキャン終了時点までにはある程度の時間がたっている。しかしながら、試料２００の観察対象位置は、通常は中心部に配置されていることが多いので、上記の場合、１／９の領域Ｂ1が撮影された時間たっても観察対象の背景部分しか撮影されていないことが多い。前述したように試料２００の観察は時間との勝負であるので、これは問題である。また、長い距離のスキャンになるほど位置ずれのリスクが高くなるので、画像歪みを防ぐためにはエンコーダ付きのステージを用いる必要がある。
　そこで、本実施形態では、試料２００の表面の画像取得位置（撮影位置）を、図８（Ａ）の平面図に実線の矢印Ａ２で示すように、試料の中央部から外側に向かって渦巻状にスキャンするようにＸＹ軸ステージ１２１を移動させる。これにより、一般的なスキャンで図７（Ａ）、（Ｂ）に示した撮影領域２２０の１／９の領域の撮影を終了した時間と同じ時間経過した場合は、本実施形態では、図８（Ｂ）に示すように、撮影領域２２０の１／９の領域で、かつ、中央部の領域Ｂ２の撮影が終了した状態となる。
　したがって、本実施形態によれば、試料２００の中心部に配置されていることが多い観察対象を従来に比べて短時間短ストロークで画像取得することができる。これにより、本実施形態によれば、従来に比べて撮影の成否の判定が格段に速くなり、エンコーダ無しの安価なステージでも画像歪みのリスクを減らすことができる。
　なお、本実施形態では、上記の１／９領域のスキャン終了後は図８（Ａ）に点線の矢印Ａ３で示すように更に外側に渦巻き状にスキャンが行われ、その結果、得られる画像は図８（Ｂ）に示すように、試料２００の中央部の領域を含む点線Ｂ３で示す外側に拡大した面積の領域の画像となる。以下同様にして、時間の経過とともに撮影画像領域が外側へ拡大していく。
　ところで、制御用ＰＣ１１３は、フォトンカウンタ１１２から撮影順に従って供給される３原色の各原色光波長の計数値から図４に示した方法でＲＧＢ三原色の各画像値を取得し、更にそれらの画像値に基づいてカラー画像を構築する際に、撮影順に従って取得した画像値を単純に順番に表示していくので、試料２００の一画面分の撮影終了前の撮影途中で画像表示を行うと、図９（Ａ）に模式的に示すように、まだ撮影されていない試料部分の画像データは構築されていない。なお、画面に表示される画像は、フォトンカウンタ１１２の計数値を３原色のカラー画像値に変換し、それらから得たカラー画像であり、その画像値は階調に対応しているので、以下の説明では「階調値」ともいう。
　このため、一画面の撮影途中で画像表示を行うと、一般には図９（Ｂ）に示すように、未撮影領域の画像データはすべてデフォルトの固定値（通常、黒を示す最小階調値「０」）に設定されて一画面の表示が行われる。一方、撮影終了済みの試料部分の発光スペクトルの画像データは、比較的明るい階調を示す値である（図９（Ａ）では一例として「９８」～「９６」）。このため、一画面の撮影途中で画像表示を行うと、一画面の表示画像は図９（Ｃ）に模式的に示すような、撮影済み（測定済み）の領域の画像が白抜けした、コントラストの変化が大きな試料の本来の画像とは大きく異なる画像となってしまう。従って、上記の場合は試料の撮影画像をリアルタイムで表示できず、試料に対する一画面分の撮影が終了するまでは、撮影画像に基づく測定の成否を判定できない。
　そこで、本実施形態では、撮影順に従って画像データを順番に取得していく点は従来と同じであるが、カラー画像を表示する一画面分の画素の記憶領域を有するデータファイルを用意しておき、まず試料の最初の一画素の撮影画像データ（具体的にはＲＧＢ画像データに基づくカラー画像データ）をデータファイルの記憶領域全体に書き込む。本発明では測定対象の試料は一般に一画面における画像のコントラストの差があまり大きくなく、最初の一画素の撮影画像データの階調値は試料の一画面のすべての撮影画像データの階調値のばらつきの範囲内であることに着目したものである。図９（Ｄ）は、最初の一画素の撮影画像データが階調値「９８」であり、それがデータファイルの記憶領域全体に書き込まれたデータファイルの格納状態を示す（ここでは、簡単のため、３６画素分の記憶領域を有するデータファイルのすべての領域に画像データが格納されているものとする。）。その後、撮影順に従って取得された試料の画像データがデータファイルに順番に上書きされて更新されていく。
　ここで、図９（Ｅ）に丸印で示した階調値「９７」の撮影画像データを取得してデータファイルに格納した、一画面の撮影途中の時点で画像表示を行うものとする。本実施形態ではデータファイルのすべての記憶領域から読み出した画像データの画像表示を行う。データファイルの記憶画像データは図９（Ｅ）に示したものであるので、一画面の表示画像は丸印で示した画像データまでの撮影済みの１０画素の画像データは撮影された階調値で、かつ、丸印で示した画像データ以降の未撮影領域の２６画素の画像データはすべて最初の画像データの階調値「９８」で一画面の表示が行われる。
　この結果、一画面の表示画像は図９（Ｆ）に模式的に示すように、試料の表示画像は画面内においてコントラストの差が極めて小さな、試料本来の撮影画像に近いものとなる。したがって、本実施形態によれば、撮影途中のリアルタイム画像表示が可能となり、撮影が終了するまで待たなくても撮影画像に基づく測定の成否を判定することができる。本実施形態の画像処理は、一画面における画像のコントラストの差があまり大きくない測定対象の試料の撮影画像に基づく測定に極めて有効である。
　なお、図９（Ｄ）～（Ｆ）で説明した実施形態の技術を、図８（Ａ）、（Ｂ）で説明した実施形態の技術と組み合わせることもできる。この場合、まず、最初に撮影された画像中心部の一画素の画像データがデータファイル全体に書き込まれる。その後、図８（Ａ）に矢印Ａ２で示したスキャン順に入力される撮影画像データをデータファイル内の画素対応アドレスに上書き更新していく。そして、一画面の撮影終了前の例えば図８（Ｂ）の画面の１／９の領域のスキャンを終了した時点で画面表示をした場合、画面中心部の１／９の領域には撮影済みの試料中心部分の画像が表示され、一画面内のそれ以外の外側周囲の領域の画像は最初に撮影された画像中心部の一画素の画像が表示されることになる。この場合は、試料の表示画像は、試料中心部の観察対象の画像が迅速に表示され、かつ、画面内においてコントラストの差が極めて小さな試料本来の撮影画像に近いものとなる。
　ところで、図１に示した本実施形態の画像取得システム１００では、光源１０２を消灯して超伝導転移端センサ１０８で単一光子を測定してその色を同定し、発光する試料２００の発光スペクトルの測定結果に基づくカラー画像を取得しているので、発光する試料２００が細胞の場合は細胞内で起きている機能等を色によって同定することができる。しかし、本実施形態の画像取得システム１００はこれに限らず、試料２００に代えて蛍光試料や通常の試料（発光、蛍光性の物質を含んでいなくても可）についても単一光子を測定して試料のスペクトルの測定結果に基づくカラー画像を取得できる。
　すなわち、蛍光試料の場合は、光源１０２として励起用レーザ光源を用意すると共に、光路切替器１２６をビームスプリッタ１２５からの入射光を結像レンズ１２７へ導く光路に切り替える。これにより、励起用レーザ光源からの励起用レーザをレンズ１２４、ビームスプリッタ１２５、対物レンズ１２２を経て蛍光試料に照射し、蛍光試料から反射された光を対物レンズ１２２及びビームスプリッタ１２５をそれぞれ透過させ、更に光路切替器１２６を通して結像レンズ１２７により光ファイバ１０５の端面に結像させる。以下、試料２００のときと同様の動作が行われる。この場合、顕微鏡１０１は公知の共焦点蛍光顕微鏡とほぼ同等の構成であり、また、超伝導転移端センサ（ＴＥＳ）１０８を用いることで、僅かな励起光でもその蛍光を測定できるため、蛍光試料に対する光ダメージを小さくできる。
　また、試料２００に代えて通常の試料に対するスペクトル分析を行う場合は、光源１０２として白色光源を用意する。この場合、本実施形態の画像取得システム１００は、通常の試料に対して図１と共に説明したと同様の動作を行い、通常の試料からの反射光が単一光子レベルの微弱光であっても、分析スペクトルに応じた色のカラー画像を取得できる。以上の本実施形態の画像取得システム１００で測定できる試料、光源との関係をまとめると表２のようになる。
Figure JPOXMLDOC01-appb-T000002
　なお、本発明は以上の実施形態に限定されるものではなく、例えばフォトンカウンタ１１２における閾値電圧Ｖth1、Ｖth2及びＶth3は、それぞれ青色（Ｂ）光波長付近の５００ｎｍ未満に対応した電圧値、緑色（Ｇ）光波長付近６００ｎｍ未満に対応した電圧値、赤色（Ｒ）光波長付近８００ｎｍ未満に対応した電圧値に設定されておればよく、前述した波長校正方法により設定される電圧に限定されるものではない。
　ここで、上記の実施形態におけるパルスレーザの強度について説明する。例えば、図１０に示すように、レーザ光源と光減衰器とによってパルスごとに様々な光子数を有するレーザパルスが生成される。図１０において、レーザ光源の波長、繰り返し周波数、平均光出力をそれぞれλ（ｍ）、ｆ（Ｈｚ）、Ｐ（Ｗ）とし、光減衰器の減衰量をＡ（ｄＢ）とすると、光減衰後のレーザパルスの平均光子数ｕ（個／パルス）は、以下の式（３）により表される。
Figure JPOXMLDOC01-appb-M000003
 ここで、ｈはプランク定数である。
　上式（３）において、例えばλ＝１５５０ｎｍ、Ｐ＝１００ｐＷ、ｆ＝５０ｋＨｚ、Ａ＝４０ｄＢとすると、ｕは約１．５６個／パルスとなる。得られたパルス列に含まれる光子数は、平均光子数をｕ、分散を同じくｕとしたポアソン分布に従うので、１パルス当たり光子が数個程度を含むレーザパルスを得ることができる。
　なお、パルスレーザを光減衰器で減衰させたとき、そのパルスに含まれる光子数はポアソン分布に従う。このとき、１パルス当たりに含まれる光子の数をｋとして、その光パルスが生成される確率をＰ（ｋ）とすると、確率Ｐ（ｋ）は以下の式（４）のように表される。
Figure JPOXMLDOC01-appb-M000004
　また、図１１に、上記の実施形態で試料に反射光を照射した場合に得られる測定画像の一例を示す。図１１の例において、測定対象の試料はプリント基板である。図中「強照明下」で示された画像は、当該プリント基板の基板表面に上記の測定に使用する照明強度よりも高くして図１の１０３としてＣＭＯＳ（Complementray Metal-Oxide Semiconductor）により取得した当該基板表面の画像である。図１１には、強照明下の画像に示す一辺４００μｍの正方形の領域の基板表面を従来のＣＭＯＳカメラ、従来の光電子増倍管（ＰＭＴ（Photomultiplier Tube））、上記の実施形態に係るＴＥＳによってそれぞれ取得した画像を示す。なお、図１１の例に示す測定において、光源は落射光源であり、露光時間は５０ｍｓである。また、ＰＭＴは、光ファイバ１０７をファイバーポート１０６から切り離し、１０７の代わりにＰＭＴを１０６に接続して測定する。
　図中「ＣＭＯＳ」の画像が示すように、光源強度が単一光子レベルの極微弱光では、従来のＣＭＯＳカメラでは基板表面の画像を取得できないことがわかる。また、図中「ＰＭＴ」の画像が示すように、従来のＰＭＴでは基板表面の画像を取得できる。ただし、ＰＭＴにより取得される画像は、白黒画像となる。一方、図中「ＴＥＳ」の画像が示すように、上記のＴＥＳによれば、基板表面の画像を取得できる。さらに、ＰＭＴによって取得される画像とは異なり、ＴＥＳによって取得される画像はカラー画像である。そして、「ＴＥＳ」の画像では、銅パターン（橙色）、レジスト部分（緑色）、シルクパターン（白色）からの反射光をそれぞれ明瞭に区別できる。したがって、上記の実施形態によれば、試料表面からの反射光を単一光子レベルで分光イメージングできることがわかる。
　次に、図１２を参照しながら、上記の実施形態において励起光によって試料のカラー画像を取得する場合について説明する。なお、図１２に示す画像取得システム１０００において、上記の実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。画像取得システム１０００においては、上記の画像取得システム１００に励起用レーザ光源１４０、励起光を吸収する励起光カットフィルタ１４１、励起光を反射して蛍光を透過させるダイクロイックミラー１４２、励起用レーザ光源１４０からの光をダイクロイックミラー１４２に導くレンズ１４３が追加されている。画像取得システム１０００では、励起用のレーザ光を試料２００に照射できるようにし、その励起光によって生じた蛍光を、ファイバーポート１０４を経て光ファイバ１０５へと導入する方法で試料２００のスペクトルの測定を行う。
　図１３に、画像取得システム１０００を用いて得られるカラー画像の例を示す。図１３の例において、測定対象の試料は蛍光染色した生物試料（ＦｌｕｏＣｅｌｌ　＃１（Thermo Fisher Scientific社製））である。図１３には、中心波長３６５ｎｍのＬＥＤを用いた落射用光源１０２からの光を試料２００に照射し、その励起光によって生じた蛍光を従来のＣＭＯＳカメラで取得した画像（図中「落射蛍光（ＣＭＯＳ）」）を示す（露光時間は３ｓ）。また、図１３には、中心波長４８８ｎｍのレーザを用いた励起用レーザ光源１４０からの光を試料２００に照射し、その励起光によって生じた蛍光を従来の光電子増倍管（ＰＭＴ）によって取得した画像（図中「ＰＭＴ」）を示す（露光時間は１００ｍｓ）。また、図１３には、上記の実施形態に係るＴＥＳによって取得した画像（図中（「ＴＥＳ］）を示す。
　図１３に示すように、ＰＭＴによって取得した画像は、ＴＥＳによって取得した画像と同様のコントラストのある試料の像が得られるが、カラー画像ではない。そして、ＴＥＳによって取得した画像は、ＰＭＴによって取得した画像と異なり、カラー画像である。そして、「ＴＥＳ」の画像では、細胞骨格を染色した蛍光物質(Alexa Fluor488)からの蛍光とミトコンドリアを染色した蛍光物質(MitoTracker Red)からの蛍光をそれぞれ明瞭に区別できる。さらに、ＴＥＳによって取得した画像では、ＣＭＯＳによって取得した画像よりも有意に明瞭な試料の像を得ることができる。以上より、本実施形態によれば、試料表面からの蛍光を単一光子レベルで分光イメージングできることがわかる。
　次に、図１４を参照しながら、上記の実施形態において透過光によって試料のカラー画像を取得する場合について説明する。なお、図１４に示す画像取得システム１１００において、上記の実施形態と同様の構成については同一の符号を付し、詳細な説明は省略する。画像取得システム１１００においては、上記の画像取得システム１００に透過用光源１５０が追加されている。画像取得システム１１００では、透過用光源１５０からの光を試料２００に照射できるようにし、試料２００からの透過光を、ファイバーポート１０４を経て光ファイバ１０５へと導入する方法で試料２００のスペクトルの測定を行う。これにより、画像取得システム１１００においても上記の実施形態と同様に、試料からの透過光を単一光子レベルで分光イメージングし、試料２００のカラー画像を得ることができる。
１００、１０００、１１００　画像取得システム
１０１　顕微鏡
１０２　（落射用）光源
１０３　観察用カメラ
１０４　ファイバーポート
１０５、１０７　光ファイバ
１０６　光コネクタ
１０８　超伝導転移端センサ（ＴＥＳ）
１０９　電流アンプ
１１０　断熱消磁冷凍機
１１１　ＳＱＵＩＤコントローラ
１１２　フォトンカウンタ
１１３　制御用パーソナルコンピュータ（ＰＣ）
１１４　画像出力器
１１２１ａ、１１２１ｂ、１１２１ｃ　電圧コンパレータ
１１２２ａ、１１２２ｂ、１１２２ｃ　計数回路

Claims (8)

  1. 　試料からの光を光ファイバの端面に結像する顕微鏡と、
    　前記光ファイバを伝搬した前記光が入射され、その光のスペクトルの波長に応じた波高値の検出信号を出力する超伝導転移端センサと、
    　前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数手段と、
    　前記第１乃至第３の計数値に基づいて、カラー画像データを生成するカラー画像生成手段と、
    を備えることを特徴とする画像取得システム。
  2. 　前記顕微鏡が前記試料からの前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャン手段を有することを特徴とする請求項１に記載の画像取得システム。
  3. 　一画面分の画素の前記カラー画像データを格納できる記憶領域を有するデータファイルと、
    　前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像データを、前記データファイルのすべての記憶領域に格納する手段と、
    　前記最初の位置以後の前記撮影した画素の前記カラー画像データを撮影順に前記データファイルに格納して上書き更新する上書き手段と、
    　前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出し手段と、
    を備えることを特徴とする請求項１又は２に記載の画像取得システム。
  4. 　前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする請求項１乃至３のいずれか一項に記載の画像取得システム。
  5. 　顕微鏡により試料からの光を光ファイバの端面に結像する結像ステップと、
    　超伝導転移端センサに前記光ファイバを伝搬した前記光を入射し、前記超伝導転移端センサから前記光のスペクトルの波長に応じた波高値の検出信号を出力する出力ステップと、
    　前記超伝導転移端センサから出力された前記検出信号の波高値を三原色光の各波長にそれぞれ対応した所定の各閾値と比較し、その各閾値以上の前記検出信号入力時の回数をそれぞれ計数して各原色光波長の入力回数にそれぞれ対応した第１乃至第３の計数値を出力する比較・計数ステップと、
    　前記第１乃至第３の計数値に基づいて、カラー画像を生成するカラー画像生成ステップと、
    を含むことを特徴とする画像取得方法。
  6. 　前記顕微鏡が前記試料から前記光を取り出す前記試料上の撮影位置を、前記試料の表面の中心位置から外側へ渦巻状にスキャンするように、前記試料が載置されているステージを移動させるスキャンステップを含むことを特徴とする請求項５に記載の画像取得方法。
  7. 　前記顕微鏡が前記試料から前記光を取り出す撮影を開始した前記試料上の最初の位置における一画素の前記カラー画像を、一画面分の画素の記憶領域を有するデータファイルのすべての記憶領域に格納する格納ステップと、
    　前記最初の位置以後の前記撮影した画素の前記カラー画像を撮影順に前記データファイルに格納して上書き更新する上書きステップと、
    　前記顕微鏡の撮影途中の読み出し時に、前記データファイルのすべての記憶領域から前記カラー画像を読み出す読み出しステップと、
    を含むことを特徴とする請求項５又は６に記載の画像取得方法。
  8. 　前記試料からの光は、前記試料が自ら発光する微弱な光であることを特徴とする請求項５乃至７のいずれか一項に記載の画像取得方法。
PCT/JP2017/035298 2016-09-29 2017-09-28 画像取得システム及び画像取得方法 WO2018062412A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018542872A JP6599018B2 (ja) 2016-09-29 2017-09-28 画像取得システム及び画像取得方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016191510 2016-09-29
JP2016-191510 2016-09-29

Publications (1)

Publication Number Publication Date
WO2018062412A1 true WO2018062412A1 (ja) 2018-04-05

Family

ID=61763442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035298 WO2018062412A1 (ja) 2016-09-29 2017-09-28 画像取得システム及び画像取得方法

Country Status (2)

Country Link
JP (1) JP6599018B2 (ja)
WO (1) WO2018062412A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7431429B2 (ja) 2019-09-02 2024-02-15 学校法人日本大学 分光画像生成装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001289953A (ja) * 2000-04-03 2001-10-19 Seiko Instruments Inc 超伝導放射線検出器
US20110254959A1 (en) * 2007-02-16 2011-10-20 Valtion Teknillinen Tutkimuskeskus Bolometer element, bolometer cell, bolometer camera and method
US20150253195A1 (en) * 2014-03-07 2015-09-10 Lawrence Livermore National Security, Llc Infrared (ir) photon-sensitive spectromicroscopy in a cryogenic environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001289953A (ja) * 2000-04-03 2001-10-19 Seiko Instruments Inc 超伝導放射線検出器
US20110254959A1 (en) * 2007-02-16 2011-10-20 Valtion Teknillinen Tutkimuskeskus Bolometer element, bolometer cell, bolometer camera and method
US20150253195A1 (en) * 2014-03-07 2015-09-10 Lawrence Livermore National Security, Llc Infrared (ir) photon-sensitive spectromicroscopy in a cryogenic environment

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CABRERA B. ET AL.: "Detection of single infrared, optical, and ultraviolet photons using superconducting transition edge sensors", APPLIED PHYSICS LETTERS, vol. 73, no. 6, 10 August 1998 (1998-08-10), pages 735 - 737, XP012021897 *
MILLER A. J. ET AL.: "Transition Edge Sensors as Single Photon Detectors", IEEE TRANSACTIONS ON APPLIED SUPERCONDUCTIVITY, vol. 9, no. 2, June 1999 (1999-06-01), pages 4205 - 4208, XP011502236 *
NIWA K. ET AL.: "Few-photon color imaging using energy-dispersive superconducting transition-edge sensor spectrometry", SCIENTIFIC REPORTS, vol. 7, 4 April 2017 (2017-04-04), pages 1 - 7 *
ROMANI R. W. ET AL.: "PHASE-RESOLVED CRAB STUDIES WITH A CRYOGENIC TRANSITION-EDGE SENSOR SPECTROPHOTOMETER", THE ASTROPHYSICAL JOURNAL, vol. 563, 10 December 2001 (2001-12-10), pages 221 - 228, XP080056528 *
ROSENBERG D. ET AL.: "Noise-free high-efficiency photon-number-resolving detectors", PHYSICAL REVIEW A, vol. 71, 17 June 2005 (2005-06-17), pages 061803 - 1-061803-4, XP080196108 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7431429B2 (ja) 2019-09-02 2024-02-15 学校法人日本大学 分光画像生成装置

Also Published As

Publication number Publication date
JP6599018B2 (ja) 2019-10-30
JPWO2018062412A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
US6687000B1 (en) Photon-sorting spectroscopic microscope system
US20130126755A1 (en) Method and device for simultaneous multi-channel and multi-method acquisition of synchronized parameters in cross-system fluorescence lifetime applications
Chen et al. Single camera imaging system for color and near-infrared fluorescence image guided surgery
JP2011513740A (ja) 光子混合検出器を用いた時間分解分光分析方法およびシステム
JP2012032183A (ja) 試料観測装置および試料観測方法
JP5133602B2 (ja) 光信号の検出のための方法および装置
US11737673B1 (en) Systems for detecting carious lesions in teeth using short-wave infrared light
JPH11211668A (ja) 欠陥検査方法および欠陥検査装置
US11143855B2 (en) Scanning microscope using pulsed illumination and MSIA
JP6599018B2 (ja) 画像取得システム及び画像取得方法
US11994469B2 (en) Spectroscopic imaging apparatus and fluorescence observation apparatus
US11486828B2 (en) Fluorescence photometer and observation method
JP2013003386A (ja) 撮像装置およびバーチャルスライド装置
TWI719610B (zh) 以彩色相機進行光譜分析之方法
JP6587959B2 (ja) 肌画像生成装置、肌画像生成装置の作動方法、および肌画像生成処理プログラム
US11953440B2 (en) Method and apparatus for simultaneous nonlinear excitation and detection of different chromophores across a wide spectral range using ultra-broadband light pulses and time-resolved detection
Baker et al. Lensfree time-gated photoluminescent imaging
JP2004354346A (ja) 測定装置
CN114730067A (zh) 显微镜装置、分光器和显微镜系统
Adams et al. Simultaneous spectral temporal modelling for a time-resolved fluorescence emission spectrum
JP2688040B2 (ja) 螢光特性検査装置
JP2012122882A (ja) 光検出装置および観察装置
JPH10227694A (ja) 発光現象識別装置
Woodward et al. Spectroradiometric calibration of telescopes using laser illumination of flat field screens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17856361

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018542872

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17856361

Country of ref document: EP

Kind code of ref document: A1