[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2022080189A1 - 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム - Google Patents

生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム Download PDF

Info

Publication number
WO2022080189A1
WO2022080189A1 PCT/JP2021/036810 JP2021036810W WO2022080189A1 WO 2022080189 A1 WO2022080189 A1 WO 2022080189A1 JP 2021036810 W JP2021036810 W JP 2021036810W WO 2022080189 A1 WO2022080189 A1 WO 2022080189A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
image
biological sample
sample
detection system
Prior art date
Application number
PCT/JP2021/036810
Other languages
English (en)
French (fr)
Inventor
哲朗 桑山
寛和 辰田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022557389A priority Critical patent/JPWO2022080189A1/ja
Priority to US18/246,340 priority patent/US20240085685A1/en
Publication of WO2022080189A1 publication Critical patent/WO2022080189A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/103—Scanning by mechanical motion of stage
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/121—Correction signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/113—Fluorescence

Definitions

  • the present disclosure relates to a biological sample detection system, a microscope system, a fluorescence microscope system, a biological sample detection method and a program.
  • the present disclosure is made in view of the above, and provides a biological sample detection system, a microscope system, a fluorescence microscope system, a biological sample detection method and a program capable of suppressing a decrease in analysis accuracy for an image.
  • the purpose is.
  • the biological sample detection system includes a stage capable of supporting a sample including a biological sample and an objective lens, and the sample is passed through the objective lens. It has an observation system for observing in a line-shaped field of view which is a part of the field of view, and obtains an image signal obtained from the sample by scanning the observation system in a first direction orthogonal to the line-shaped field of view. It is provided with a signal acquisition unit for correcting the distortion of the captured image based on the image signal, and a correction unit for correcting the distortion of the captured image based on the positional relationship between the center of the optical axis of the objective lens and the positional relationship of the line-shaped visual field.
  • an excitation light having an absorption wavelength (excitation wavelength) of a dye is irradiated, and the dye spectrum generated by the irradiation light is selectively captured by a bandpass filter.
  • the absorption wavelength (excitation wavelength) varies depending on the dye, so a method of switching the filter for each dye is adopted.
  • the absorption spectrum and the emission spectrum of the dye are broadly overlapped with each other, when dyeing with a plurality of colors, a plurality of dyes are excited at one excitation wavelength. Further, the fluorescence of the adjacent dye leaks into the bandpass filter, and color mixing occurs.
  • Non-Patent Document 1 a method of taking a picture by switching the wavelength of the excitation light and the wavelength of the detected fluorescence in a time-division manner.
  • this method has a problem that the shooting time increases linearly as the number of colors increases.
  • Patent Document 2 a fluorescence observation method using a plurality of excitation lights and a plurality of slits has been proposed (see, for example, Patent Document 2).
  • this method it is possible to irradiate a large number of excitation lights at one time, and it is possible to acquire fluorescence data due to all excitations in one scan. At this time, line scanning is performed at different parts in the field of view of the observation optical system.
  • FIG. 1 is a block diagram showing a schematic configuration example of the fluorescence observation apparatus according to the embodiment of the present disclosure.
  • the fluorescence observation device 100 includes an observation unit 1 and a processing unit 2.
  • the stage 20, the spectroscopic imaging unit 30, and the processing unit 2 in the observation unit 1 can be applied to a microscope system, and the configuration in which the excitation unit 10 is added to the microscope system can also be applied to a fluorescence microscope system.
  • the observation unit 1 includes an excited portion 10 that irradiates a pathological specimen (pathological sample) with a plurality of line illuminations having different wavelengths arranged in parallel to different axes, a stage 20 that supports the pathological specimen, and a pathologically excited path in a line shape. It has a spectroscopic imaging unit 30 for acquiring a fluorescence spectrum (spectral data) of a sample. That is, the observation unit 1 according to the present embodiment observes the pathological specimen by scanning the line-shaped visual field in the direction perpendicular to the visual field.
  • the line-shaped field of view is not limited to a straight line and may be distorted.
  • different axis parallel means that a plurality of line illuminations are different axes and parallel.
  • the different axis means that they are not on the same axis, and the distance between the axes is not particularly limited.
  • the term "parallel" is not limited to parallel in a strict sense, but also includes a state of being almost parallel. For example, there may be a deviation from the parallel state due to distortion derived from an optical system such as a lens or manufacturing tolerance, and this case is also regarded as parallel.
  • the fluorescence observation device 100 further includes a processing unit 2.
  • the processing unit 2 typically forms an image of the pathological specimen or a fluorescence spectrum based on the fluorescence spectrum of the pathological specimen (hereinafter, also referred to as sample S) such as a biological sample acquired by the observation unit 1. Output the distribution of.
  • the image referred to here refers to a composition ratio such as a dye constituting the spectrum or autofluorescence derived from a sample, an image converted from a waveform into RGB (red, green, blue) color, a luminance distribution in a specific wavelength band, and the like.
  • the excitation unit 10 and the spectroscopic imaging unit 30 are connected to the stage 20 via an observation optical system 40 such as an objective lens 44.
  • the observation optical system 40 has a function of following the optimum focus by the focus mechanism 60.
  • a non-fluorescent observation unit 70 for performing dark-field observation, bright-field observation, or the like may be connected to the observation optical system 40.
  • the fluorescence observation device 100 controls an excitation unit (control of LD and shutter), a scanning mechanism XY stage, a spectroscopic imaging unit (camera), a focus mechanism (detector and Z stage), a non-fluorescence observation unit (camera), and the like. It may be connected to the control unit 80.
  • the plane on which the XY stage moves (XY plane) is the scanning plane scanned by the scanning mechanism.
  • the excitation unit 10 includes a plurality of light sources L1, L2, ... That can output light having a plurality of excitation wavelengths Ex1, Ex2, ....
  • the plurality of light sources are typically composed of a light emitting diode (LED), a laser diode (LD), a mercury lamp, or the like, and each light is line-illuminated and irradiated to the sample S of the stage 20.
  • the sample S is typically composed of a slide including an observation target Sa such as a tissue section as shown in FIG. 3, but of course, it may be other than that.
  • Sample S (observation target Sa) is stained with a plurality of fluorescent dyes.
  • the observation unit 1 magnifies and observes the sample S to a desired magnification.
  • a plurality of line illuminations two (Ex1, Ex2) in the illustrated example) are arranged in the illumination unit so as to overlap each illumination area.
  • the imaging areas R1 and R2 of the spectroscopic imaging unit 30 are arranged.
  • the two line illuminations Ex1 and Ex2 are parallel to each other in the Z-axis direction and are arranged at a predetermined distance ( ⁇ y) in the Y-axis direction.
  • the photographing areas R1 and R2 correspond to each slit portion of the observation slit 31 (FIG. 2) in the spectroscopic imaging unit 30.
  • Each slit may be a rectangular area long in the direction perpendicular to the scanning direction.
  • the same number of slit portions of the spectroscopic imaging unit 30 are arranged as in the line illumination. In FIG. 4, the line width of the illumination is wider than the slit width, but the magnitude relation between them may be either. When the line width of the illumination is larger than the slit width, the alignment margin of the excitation unit 10 with respect to the spectroscopic imaging unit 30 can be increased.
  • the observation slit 31 may be omitted.
  • a plurality of region images may be generated by cutting out a region corresponding to the photographing area R1 or R2 from the image acquired by the spectroscopic imaging unit 30.
  • the wavelengths that make up the first line illumination Ex1 and the wavelengths that make up the second line illumination Ex2 are different from each other.
  • the line-shaped fluorescence excited by these line illuminations Ex1 and Ex2 is observed in the spectroscopic imaging unit 30 via the observation optical system 40.
  • the spectroscopic imaging unit 30 includes an observation slit 31 having a plurality of slits through which fluorescence excited by a plurality of line illuminations can pass, and at least one imaging element 32 capable of individually receiving the fluorescence that has passed through the observation slit 31. And have.
  • a two-dimensional imager such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) is adopted as the image pickup device 32.
  • the spectroscopic imaging unit 30 acquires fluorescence spectroscopic data (x, ⁇ ) using a pixel array in one direction (for example, the vertical direction) of the image pickup element 32 as a wavelength channel from the respective line illuminations Ex1 and Ex2.
  • the obtained spectral data (x, ⁇ ) is recorded in the processing unit 2 in a state in which the spectral data excited from which excitation wavelength is associated with each other.
  • the processing unit 2 can be realized by hardware elements used in a computer such as a CPU (Central Processing Unit), RAM (Random Access Memory), and ROM (Read Only Memory), and necessary software.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Circuit
  • the processing unit 2 has a storage unit 21 that stores spectral data representing the correlation between the wavelengths of the plurality of line illuminations Ex1 and Ex2 and the fluorescence received by the image pickup device 32.
  • a storage device such as a non-volatile semiconductor memory or a hard disk drive is used in the storage unit 21, and a standard spectrum of autofluorescence related to the sample S and a standard spectrum of a dye alone that stains the sample S are stored in advance.
  • the spectral data (x, ⁇ ) received by the image pickup device 32 is acquired, for example, as shown in FIGS. 5 and 6, and is stored in the storage unit 21.
  • the storage unit 21 that stores the self-fluorescence of the sample S and the standard spectrum of the dye alone and the storage unit that stores the spectral data (measurement spectrum) of the sample S acquired by the image pickup element 32 are common.
  • the present invention is not limited to this, and may be composed of separate storage units.
  • FIG. 5 and 6 are diagrams illustrating a method of acquiring spectral data when the image pickup device 32 is composed of a single image sensor that commonly receives fluorescence that has passed through the observation slit 31.
  • the fluorescence spectra Fs1 and Fs2 excited by the line illuminations Ex1 and Ex2 are finally displaced by an amount proportional to ⁇ y (see FIG. 4) via the spectroscopic optical system (described later).
  • An image is formed on the light receiving surface of 32.
  • the information obtained from the line illumination Ex1 is recorded as Row_a and Row_b, and the information obtained from the line illumination Ex2 is recorded as Row_c and Row_d, respectively. Data other than these areas are not read.
  • the frame rate of the image sensor 32 can be increased by Row_full / (Low_b-Low_a 10 Row_d-Low_c) times faster when reading out in full frame.
  • a dichroic mirror 42 and a bandpass filter 45 are inserted in the middle of the optical path to prevent the excitation light (Ex1, Ex2) from reaching the image sensor 32.
  • an intermittent IF is generated in the fluorescence spectrum Fs1 imaged on the image pickup device 32 (see FIGS. 5 and 6). By excluding such an intermittent portion IF from the read area, the frame rate can be further improved.
  • the image pickup element 32 may include a plurality of image pickup elements 32a and 32b that can receive fluorescence that has passed through the observation slit 31, respectively.
  • the fluorescence spectra Fs1 and Fs2 excited by the line illuminations Ex1 and Ex2 are acquired on the image pickup devices 32a and 32b as shown in FIG. 7, and are stored in the storage unit 21 in association with the excitation light.
  • the line illuminations Ex1 and Ex2 are not limited to the case where they are composed of a single wavelength, and each may be composed of a plurality of wavelengths.
  • the fluorescence excited by these wavelengths also includes a plurality of spectra.
  • the spectroscopic imaging unit 30 has a wavelength dispersion element for separating the fluorescence into a spectrum derived from the excitation wavelength.
  • the wavelength dispersion element is composed of a diffraction grating, a prism, or the like, and is typically arranged on an optical path between the observation slit 31 and the image pickup element 32.
  • the observation unit 1 further includes a scanning mechanism 50 that scans a plurality of line illuminations Ex1 and Ex2 with respect to the stage 20 in the Y-axis direction, that is, in the arrangement direction of the line illuminations Ex1 and Ex2.
  • a scanning mechanism 50 that scans a plurality of line illuminations Ex1 and Ex2 with respect to the stage 20 in the Y-axis direction, that is, in the arrangement direction of the line illuminations Ex1 and Ex2.
  • dye spectra fluorescence spectra
  • ⁇ y on the sample S observation target Sa
  • the photographing region Rs is divided into a plurality of parts in the X-axis direction, the sample S is scanned in the Y-axis direction, then moved in the X-axis direction, and further scanned in the Y-axis direction. The operation of performing is repeated.
  • a single scan can capture a spectroscopic image from a sample excited by several excitation wavelengths.
  • the stage 20 is typically scanned in the Y-axis direction, but a plurality of line illuminations Ex1 and Ex2 may be scanned in the Y-axis direction by a galvano mirror arranged in the middle of the optical system. ..
  • the three-dimensional data (X, Y, ⁇ ) as shown in FIG. 9 is acquired for each of the plurality of line illuminations Ex1 and Ex2. Since the three-dimensional data derived from each line illumination Ex1 and Ex2 is the data whose coordinates are shifted by ⁇ y about the Y axis, it is corrected based on the value of ⁇ y recorded in advance or the value of ⁇ y calculated from the output of the image sensor 32. Is output.
  • the line illumination as the excitation light is composed of two lines, but the line illumination is not limited to this, and may be three lines, four lines, or five or more lines. Further, each line illumination may include a plurality of excitation wavelengths selected so as not to deteriorate the color separation performance as much as possible. Even if there is only one line illumination, if it is an excitation light source composed of a plurality of excitation wavelengths and each excitation wavelength is linked and recorded with Row data acquired by the image pickup element, parallel axes are recorded. Although the resolution is not as high as that, a multicolor spectrum can be obtained. For example, the configuration shown in FIG. 10 may be adopted.
  • the observation unit 1 functions as an image pickup unit (also referred to as a signal acquisition unit) as a whole.
  • the image signal acquired by the observation unit 1 may be a fluorescent signal, or may include an image signal and a fluorescent signal.
  • the excitation unit 10 has a plurality of (four in this example) excitation light sources L1, L2, L3, and L4.
  • Each excitation light source L1 to L4 is composed of a laser light source that outputs laser light having wavelengths of 405 nm, 488 nm, 561 nm, and 645 nm, respectively.
  • the excitation unit 10 includes a plurality of collimator lenses 11, laser line filters 12, dichroic mirrors 13a, 13b, 13c, a homogenizer 14, a condenser lens 15, and an incident slit 16 so as to correspond to the respective excitation light sources L1 to L4. Further have.
  • the laser light emitted from the excitation light source L1 and the laser light emitted from the excitation light source L3 become parallel light by the collimator lens 11, and then pass through the laser line filter 12 for cutting the base of each wavelength band. Then, it is made coaxial by the dichroic mirror 13a.
  • the two coaxialized laser beams are further beam-formed by a homogenizer 14 such as a fly-eye lens and a condenser lens 15 so as to be line illumination Ex1.
  • the laser light emitted from the excitation light source L2 and the laser light emitted from the excitation light source L4 are also coaxialized by the dichroic mirrors 13b and 13c, and are line-illuminated so as to be line illumination Ex2 having a different axis from the line illumination Ex1. Will be done.
  • the line illuminations Ex1 and Ex2 form a different axis line illumination (primary image) separated by ⁇ y in the incident slit 16 (slit conjugate) having a plurality of slit portions through which each can pass.
  • the observation optical system 40 includes a condenser lens 41, dichroic mirrors 42 and 43, an objective lens 44, a bandpass filter 45, and a condenser lens 46.
  • the line illuminations Ex1 and Ex2 are made into parallel light by the condenser lens 41 paired with the objective lens 44, reflect the dichroic mirrors 42 and 43, pass through the objective lens 44, and irradiate the sample S.
  • Illumination as shown in FIG. 4 is formed on the sample S surface.
  • the fluorescence excited by these illuminations is focused by the objective lens 44, reflected by the dichroic mirror 43, transmitted through the dichroic mirror 42 and the bandpass filter 45 that cuts the excitation light, and is focused again by the condenser lens 46. Then, it is incident on the spectroscopic imaging unit 30.
  • the spectroscopic imaging unit 30 has an observation slit 31, an image pickup element 32 (32a, 32b), a first prism 33, a mirror 34, a diffraction grating 35 (wavelength dispersion element), and a second prism 36.
  • the observation slit 31 is arranged at the condensing point of the condenser lens 46 and has the same number of slit portions as the number of excitation lines.
  • the fluorescence spectra derived from the two excitation lines that have passed through the observation slit 31 are separated by the first prism 33 and reflected on the lattice plane of the diffraction grating 35 via the mirror 34, so that the fluorescence spectra of each excitation wavelength are further increased. Be separated.
  • the four fluorescence spectra thus separated are incident on the image pickup devices 32a and 32b via the mirror 34 and the second prism 36, and are developed into (x, ⁇ ) information as spectral data.
  • the pixel size (nm / Pixel) of the image pickup devices 32a and 32b is not particularly limited, and is set to, for example, 2 nm or more and 20 nm or less.
  • This dispersion value may be realized optically by the pitch of the diffraction grating 35, or may be realized by using the hardware binning of the image pickup devices 32a and 32b.
  • the stage 20 and the scanning mechanism 50 form an XY stage and move the sample S in the X-axis direction and the Y-axis direction in order to acquire a fluorescence image of the sample S.
  • WSI Whole slide imaging
  • the operation of scanning the sample S in the Y-axis direction, then moving in the X-axis direction, and further scanning in the Y-axis direction is repeated (see FIG. 8).
  • the non-fluorescence observation unit 70 includes a light source 71, a dichroic mirror 43, an objective lens 44, a condenser lens 72, an image pickup element 73, and the like.
  • FIG. 2 shows an observation system using dark field illumination.
  • the light source 71 is arranged below the stage 20 and irradiates the sample S on the stage 20 with illumination light from the side opposite to the line illuminations Ex1 and Ex2.
  • the light source 71 illuminates from the outside of the NA (numerical aperture) of the objective lens 44, and the light (dark field image) diffracted by the sample S is passed through the objective lens 44, the dichroic mirror 43, and the condenser lens 72.
  • the image is taken with the image pickup element 73.
  • the non-fluorescence observation unit 70 is not limited to an observation system that acquires a dark-field image, but is an observation system that can acquire a non-fluorescence image such as a bright-field image, a phase difference image, a phase image, and an in-line hologram image. It may be composed of.
  • various observation methods such as a Schlieren method, a phase difference contrast method, a polarization observation method, and an epi-illumination method can be adopted.
  • the position of the illumination light source is not limited to the lower part of the stage, and may be above the stage or around the objective lens. Further, in addition to the method of performing focus control in real time, another method such as a pre-focus map method in which the focus coordinates (Z coordinates) are recorded in advance may be adopted.
  • FIG. 11 is a schematic view showing another configuration example of the spectroscopic imaging unit.
  • the spectroscopic imaging unit 130 shown in the figure has a single image pickup device 32.
  • Each fluorescence passing through the observation slit 31 having a slit portion matching the number of excitation lines is the relay optical system (first prism 33, mirrors 34, 37) and the wavelength dispersion element (prism, etc.) 38 arranged in the middle thereof.
  • the image is re-imaged on the image pickup element 32 via the (x, ⁇ ) data (see FIG. 5).
  • the value obtained by converting the excitation light interval ⁇ y into a pixel is determined so that the dispersed spectra do not overlap on the image sensor 32.
  • the fluorescence spectrum acquired by the processing unit image sensor 32 (32a, 32b) is output to the processing unit 2.
  • the processing unit 2 is based on the storage unit 21, the data calibration unit 22 that calibrates the spectral data stored in the storage unit 21, and the spectral data and the intervals ⁇ y of the plurality of line illuminations Ex1 and Ex2 of the sample S. Further, an image forming unit 23 for forming a fluorescent image and a correction unit 24 for correcting image distortion caused by an optical system are provided.
  • FIG. 12 is a flowchart showing an example of the processing procedure executed in the processing unit 2.
  • the storage unit 21 stores the spectroscopic data (fluorescence spectra Fs1, Fs2 (see FIGS. 5 and 7)) acquired by the spectroscopic imaging unit 30 (step S101).
  • the storage unit 21 stores in advance the autofluorescence related to the sample S and the standard spectrum of the dye alone.
  • the storage unit 21 improves the recording frame rate by extracting only the wavelength region of interest from the pixel array in the wavelength direction of the image sensor 32.
  • the wavelength region of interest corresponds to, for example, the range of visible light (380 nm to 780 nm) or the wavelength range determined by the emission wavelength of the dye that stains the sample.
  • Wavelength regions other than the wavelength region of interest include, for example, a sensor region having light of an unnecessary wavelength, a sensor region having no apparent signal, and an excitation wavelength to be cut by a dichroic mirror 42 or a bandpass filter 45 in the middle of an optical path. Areas and the like can be mentioned. Further, the wavelength region of interest on the sensor may be switched depending on the situation of line illumination. For example, when the excitation wavelength used for line illumination is small, the wavelength region on the sensor is also limited, and the frame rate can be increased by the limited amount.
  • the data calibration unit 22 converts the spectral data stored in the storage unit 21 from the pixel data (x, ⁇ ) into wavelengths, and all the spectral data have a common discrete value in wavelength units ([nm], [nm]. calibrate so that the output is complemented by ( ⁇ m], etc.) (step S102).
  • the pixel data (x, ⁇ ) is not always neatly aligned with the pixel sequence of the image sensor 32, and may be distorted by a slight inclination or distortion of the optical system. Therefore, for example, when a pixel is converted into wavelength units using a light source having a known wavelength, it is converted into a different wavelength (nm value) at all x-coordinates. Since the handling of data is complicated in this state, the data is converted into data arranged in integers by a complement method (for example, linear interpolation or spline interpolation) (step S102).
  • a complement method for example, linear interpolation or spline interpolation
  • the data calibration unit 22 uses an arbitrary light source and its representative spectrum (average spectrum or spectral radiance of the light source) and outputs the data uniformly (step S103). By making it uniform, there is no difference, and it is possible to reduce the time and effort required to measure each component spectrum each time in the waveform analysis of the spectrum. Further, the approximate calculated amount value of the number of fluorescent dyes can be output from the sensitivity-calibrated luminance value.
  • spectral radiance [W / (sr ⁇ m 2 ⁇ nm)] is adopted for the calibrated spectrum, the sensitivity of the image pickup element 32 corresponding to each wavelength is also corrected.
  • the dye is stable in the same lot, it can be reused by taking a picture once.
  • the fluorescence spectrum intensity per dye molecule is given in advance, it is possible to output an approximate value of the number of fluorescent dye molecules converted from the sensitivity-calibrated luminance value. This value is highly quantitative because the autofluorescent component is also separated.
  • the above processing is similarly executed for the illumination range by the line illuminations Ex1 and Ex2 in the sample S scanned in the Y-axis direction.
  • spectroscopic data (x, y, ⁇ ) of each fluorescence spectrum can be obtained for the entire range of the sample S.
  • the obtained spectral data (x, y, ⁇ ) is stored in the storage unit 21.
  • the image forming unit 23 is based on the spectral data stored in the storage unit 21 (or the spectral data calibrated by the data calibration unit 22) and the interval corresponding to the interaxial distance ( ⁇ y) of the excitation lines Ex1 and Ex2. , A fluorescent image of the sample S is formed (step S104).
  • the image forming unit 23 forms an image in which the detection coordinates of the image pickup device 32 are corrected by a value corresponding to the interval ( ⁇ y) of the plurality of line illuminations Ex1 and Ex2 as a fluorescent image.
  • the three-dimensional data derived from each line illumination Ex1 and Ex2 is the data whose coordinates are shifted by ⁇ y about the Y axis, it is corrected based on the value of ⁇ y recorded in advance or the value of ⁇ y calculated from the output of the image sensor 32. Is output.
  • the difference in the detected coordinates in the image pickup device 32 is corrected so that the three-dimensional data derived from the line illuminations Ex1 and Ex2 are the data on the same coordinates.
  • the image forming unit 23 executes a process (stitching) for connecting the captured images into one large image (WSI) (step S105). Thereby, a pathological image regarding the multiplexed sample S (observation target Sa) can be acquired.
  • the formed fluorescent image is output to the display unit 3 (step S106).
  • the image forming unit 23 is based on the autofluorescence of the sample S stored in advance in the storage unit 21 and the standard spectra of the dye alone, and the autofluorescence of the sample S and the components of the dye from the captured spectral data (measurement spectrum). Separately calculate the distribution.
  • a calculation method a least squares method, a weighted least squares method, or the like can be adopted, and a coefficient is calculated so that the captured spectral data becomes a linear sum of the standard spectra.
  • the calculated coefficient distribution is stored in the storage unit 21 and output to the display unit 3 and displayed as an image (steps S107 and S108).
  • the image forming unit 23 can also function as an analysis unit for analyzing the captured spectral data (measurement spectrum).
  • the analysis of the spectral data may be performed outside the fluorescence observation device 100 (for example, an external server such as a cloud server).
  • the measurement accuracy of the measurement system for acquiring the spectral data, the separation performance when separating the fluorescent component from the spectral data, the staining performance of the fluorescent reagent panel in the fluorescent staining, and the like may be executed.
  • the fluorescent dye is determined from the plurality of fluorescence signals. That is, correct fluorescent dye analysis cannot be performed unless the fluorescent signals are obtained at a plurality of excitation wavelengths.
  • each line scan image has different distortion, and there is a problem that correct analysis cannot be performed when analyzing based on each line scan image. ..
  • Outline of distortion correction In order to solve the conventional problem, it is effective to perform image processing on the acquired image. Distortion caused by a normal camera lens is a conventionally known distortion (for example, FIGS. 13A and 13B). However, the distortion of the image caused by the line scan in the image pickup system with distortion is different from the image distorted by the normal distortion (for example, FIG. 14). This is because a part of the distorted image is cut out and scanned, so the distortion method differs depending on which part of the distorted field of view is cut out and scanned. Further, since the image is only sent by the stage in the scanning direction, almost no distortion occurs if the stage has high accuracy as used in a normal microscope. Distortion occurs as a position-dependent coordinate shift in the direction perpendicular to the scan.
  • the correction unit 24 corrects the distortion of the image caused by the above-mentioned optical system.
  • the image here is not limited to the image after the autofluorescence and the component distribution of the dye are separately calculated by the image forming unit 23. It may be data such as spectroscopic data acquired by the spectroscopic imaging unit 30 and data calibrated by the data calibration unit 22. Therefore, any of the above steps may be used.
  • correction unit 24 may correct based on the positional relationship between the optical center (also referred to as the optical axis) of the objective lens 44 and the shooting areas R1 and R2 included in the image pickup unit.
  • Equation (1) is known as an equation for correcting image distortion caused by an optical system.
  • the x-axis direction and the y-axis direction are Cartesian coordinates including the plane of the imaging region, k1 is a coefficient of magnification of the optical system, and k2 is a coefficient that contributes to substantial distortion.
  • the distortion correction formula expressed in the formula (1) is a region having a width such as a rectangular region whose center of gravity is the optical center of the optical system of the lens, and it is premised that the imaging target is photographed at one time. It is supposed to be.
  • the shooting areas R1 and R2 are line-shaped, and the images shot while changing the relative positions of the stage and the image pickup unit are connected to generate an entire image. Therefore, the above formula is directly applied. Can't.
  • the distortions in the regions corresponding to the photographing areas R1 and R2 of the present embodiment are repeated in the scanning direction.
  • the distortion will be different for each shooting area.
  • the strain can be appropriately removed by applying the following equation (2) to the strain as shown in FIG.
  • the x direction is the line direction (extension direction of the line illumination)
  • the y direction is the stage scan direction
  • c1 is a coefficient of magnification
  • c2 is a coefficient indicating the degree of distortion in the x direction depending on x
  • c3 is the XY stage. Is a coefficient related to the stage scan for scanning
  • c4 is a coefficient indicating the degree of distortion in the y direction depending on x.
  • This information is also referred to as optical information.
  • c2 and c4 are values that change depending on how much the line of the line scan is shifted from the center of the field of view
  • the distortion in the x direction is a cubic function that depends on x'
  • the distortion in the y direction is a quadratic function that depends on x'. That is, the distortion can be eliminated by making corrections according to these.
  • FIG. 15 shows a case where the plane passing through the center of the photographing area R1 in the extending direction and perpendicular to the extending direction of the photographing area R1 does not pass through the optical center of the lens and is deviated from the optical center by a distance x0.
  • the correction formula represented by the formula (2) needs to be modified by the following formula (3) by the amount of deviation x 0.
  • 16A to 18B show an example of a processing procedure executed by the correction unit 24.
  • 16A and 16B show the basic correction flow of the image acquired by line scanning.
  • the image acquired by line scanning has distortion in both the X direction (extension direction of line illumination) and the Y direction (scanning direction) (step S201).
  • the correction unit 24 corrects the distortion of the acquired image in the X direction (step S202).
  • the correction in the X direction is enlargement or reduction in the X direction depending on the X position. In scaling, there are methods such as interpolation using the nearest neighbor value and linear interpolation from two points to obtain the value.
  • Nearest neighbor method (a method of interpolating using the pixel value closest to the peripheral pixel to the new pixel position) and bilinear interpolation (peripheral pixel to the new pixel position) as the enlargement / reduction method in image processing.
  • a method of linearly estimating and interpolating values from) is known. These are two-dimensional enlargement / reduction, but a method of utilizing this one-dimensionally can be considered.
  • the correction in the Y direction is a method of shifting the Y direction upward (or downward) depending on the X position (step S203). It is conceivable to use the image processing method shown above for these as well.
  • 17A and 17B show a flow of correcting the image of Pic2 with respect to the image of Pick1 in the acquired image Pic1 acquired in the photographing area R1 and the acquired image Pic2 acquired in the photographing area R2.
  • the image acquired by line scanning has distortion in both the X direction (extension direction of the line illumination) and the Y direction (scanning direction) (step S301).
  • the correction unit 24 shifts and corrects the acquired image Pic2 in the X and Y directions of Pic2 in order to match it with Pic1 (step S302).
  • the positional deviation of the image pickup apparatus corresponding to the photographing area R2 may be corrected by the affine transformation.
  • the correction unit 24 corrects the distortion of the image Pic2 in the X direction (step S303). Further, the correction unit 24 corrects the distortion of the image Pic2 in the Y direction (step S304). Since the corrected Pic2 ideally has the same distortion as Pic1, even if Pic1 and Pic2 are superimposed and image analysis or the like is performed, the difference between the two images does not occur (step S305).
  • FIGS. 18A and 18B show an example of acquiring and correcting both the acquired image Pic1 and the acquired image Pic2, aiming at an ideal image without original distortion.
  • the image acquired by line scanning has distortion in both the X direction (extension direction of the line illumination) and the Y direction (scanning direction) (step S401).
  • the correction unit 24 shifts and corrects the acquired images in the X and Y directions in order to adapt one of the acquired images to the other or to adapt both images to the ideal state (step S402).
  • the positional deviation of the image pickup apparatus corresponding to each shooting area may be corrected by the affine transformation.
  • the correction unit 24 corrects the distortion of Pic1 and Pic2 in the X direction (step S403). Further, the correction unit 24 corrects the distortion of the images Pick1 and Pick2 in the Y direction (step S404). Since the corrected Pic1 and Pic2 are ideally distorted, no deviation between the two images occurs even if Pic1 and Pic2 are superimposed and image analysis or the like is performed (step S405).
  • the flow is such that the X-axis distortion is corrected and then the Y-axis distortion is corrected, but the processing may be performed in the reverse order. Further, the correction of the X-axis distortion and the correction of the Y-axis distortion may be performed at the same time.
  • FIG. 19 is a diagram illustrating the screen of the display unit 3.
  • the display unit 3 may be configured by a monitor integrally attached to the processing unit 2, or may be a display device connected to the processing unit 2.
  • the display unit 3 includes a display element such as a liquid crystal device or an organic EL device, and a touch sensor, and is configured as a UI (User Interface) for displaying an input setting of shooting conditions and a shot image.
  • UI User Interface
  • the display unit 3 has a main screen 301, a thumbnail image display screen 302, a slide information display screen 303, and a captured slide list display screen 304.
  • a setting area 305 for operation buttons (keys) for photographing a setting area 306 for an excitation laser (excitation unit 10), a detection setting area 307, 308 for a fluorescence spectrum derived from line illumination Ex1 and Ex2, and the like are displayed.
  • a setting area 305 for operation buttons (keys) for photographing a setting area 306 for an excitation laser (excitation unit 10), a detection setting area 307, 308 for a fluorescence spectrum derived from line illumination Ex1 and Ex2, and the like are displayed.
  • a setting area 305 to 308 is always used, and one display area may include another display area.
  • the fluorescence observation device 100 sequentially takes out a slide (sample S) from a slide rack (not shown), reads slide information, takes a thumbnail of the slide, sets an exposure time, and the like.
  • the slide information includes patient information, tissue site, disease, staining information, etc., and can be read from a barcode or QR code (registered trademark) attached to the slide.
  • the thumbnail image and slide information of the sample S are displayed on the display screens 302 and 303, respectively.
  • the slide information that has been shot is displayed as a list on the display screen 304.
  • the shooting status of the slide currently being shot is displayed.
  • the excitation laser (line illumination Ex1, Ex2) is displayed or set in the setting region 306, and the fluorescence spectrum derived from the excitation laser is displayed or set in the detection setting region 307, 308.
  • FIG. 20 is a diagram showing an example of the screen configuration of the setting region 306 of the excitation laser.
  • ON / OFF of the outputs of the respective excitation light sources L1 to L4 is selected and switched by touching the check box 81.
  • the magnitude of the output of each light source is set via the operation unit 82.
  • This example shows an example in which the line illumination Ex1 is set to a single wavelength of the excitation light source L1.
  • FIG. 21 is a diagram showing an example of the screen configuration of the detection setting region 307 of the fluorescence spectrum derived from the line illumination Ex1.
  • FIG. 22 is a diagram showing an example of the screen configuration of the detection setting region 308 of the fluorescence spectrum derived from the line illumination Ex2.
  • the vertical axis shows the brightness and the horizontal axis shows the wavelength.
  • the index 83 indicates that the excitation light sources (L1, L2, L4) are lit, and the larger the length of the index 83, the greater the power of the light source.
  • the detection wavelength range of the fluorescence spectrum 85 is set by the setting bar 84.
  • the display method of the fluorescence spectrum 85 is not particularly limited, and is displayed by, for example, the average spectrum (wavelength ⁇ intensity) of all pixels of the image pickup device 32.
  • the fluorescence spectrum 85 can be set according to the wavelength and power of the excitation light source.
  • the fluorescence spectrum 85 is displayed as the current average or a waveform calculated by adding a setting change from the last captured waveform.
  • the fluorescence spectrum 85 may be displayed by a heat map method that expresses the frequency information of the values in shades. In this case, it is possible to visualize the variance of the signal, which cannot be understood by the average value.
  • the vertical axis of the graph displaying the fluorescence spectrum 85 is not limited to the linear axis, but may be a logarithmic axis or a hybrid axis (biexponential axis).
  • the display unit 3 is configured to be able to display the fluorescence spectrum separately for each excitation line (Ex1, Ex2). Further, the display unit 3 includes a UI having an operation area for explicitly displaying the wavelength and power of the light source irradiated to each excitation line. Further, the display unit 3 is provided with a UI for displaying the detection wavelength range for each fluorescence spectrum. That is, the readout region of the image pickup device 32 is configured to change based on the set wavelength range.
  • the fluorescence spectrum detection setting regions 307 and 308 in the display unit 3 the relationship between the excitation line and the excitation wavelength and the relationship between the excitation wavelength and the imaging wavelength range can be displayed in an easy-to-understand manner even in the case of off-axis excitation. Can be done.
  • the display unit 3 displays the fluorescence image of the sample S output from the image forming unit 23 on the main screen 301.
  • the fluorescent image output from the image forming unit 23 to the display unit 3 corrects a value (interval ⁇ y between line illumination Ex1 and Ex2) corresponding to the difference in the detected coordinates between the different axis slits (each slit portion of the observation slit 31). It is presented to the user in the state of being. Therefore, the user can recognize the image in which each decomposed image data is multiplex-displayed without being aware of the difference in the different axis detection position.
  • a state in which a plurality of decomposed images (an image relating to dye 1 and an image relating to dye 2) are generated from spectral data derived from a plurality of line illuminations Ex1 and Ex2, and the respective images are superimposed in different colors.
  • the image relating to the dye 1 is superimposed on the image relating to the dye 2 by correcting the difference in the Y coordinate corresponding to ⁇ y.
  • Each decomposed image corresponds to the standard spectrum used for the separation calculation, that is, the dye dye.
  • a display dye selection screen may be displayed. In this case, the image display is switched in conjunction with the dye selection, and as shown in FIG. 23, when the dyes 1 and 2 are selected, only those corresponding to those images are displayed.
  • the correction value of ⁇ y is stored in the storage unit 21 and managed as internal information.
  • the display unit 3 may be configured to be able to display information about ⁇ y, or may be configured to be able to change the displayed ⁇ y.
  • the correction value ( ⁇ y) may include not only the correction of the distance between the slits (or the interval of line illumination) but also the amount of distortion such as distortion in the optical system. Further, when the spectrum of each dye is detected by different cameras (imaging elements), the correction amount related to the detection coordinates in the Y-axis direction in each camera may be included.
  • FIG. 28 is a schematic diagram of a test pattern used when verifying the effect of the present embodiment.
  • FIG. 29 is a schematic diagram for explaining the deviation between the two line scan images when the present embodiment is not applied, and FIG. 30 shows the deviation when the two line scan images are geometrically corrected. It is a schematic diagram for demonstrating.
  • FIG. 31 is a schematic diagram for explaining that the deviation between the two line scan images is reduced by applying the present embodiment.
  • test pattern a pattern in which points were arranged in a grid pattern as shown in FIG. 28 was used.
  • this test chart has a cross pattern in the center, a T-shaped pattern at the top, bottom, left, and right edges, and a hook-shaped pattern at the four corners.
  • two types of line scan images were acquired. Line scanning is performed to acquire images at two different positions in the field of view of the imaging system.
  • FIG. 29 shows an enlarged view of a total of nine locations at the center of the test pattern and the four corners at the top, bottom, left, and right ends.
  • the first is the deviation expressed by translation and linear transformation, and the deviation due to distortion.
  • the deviation represented by the first translation or linear transformation is due to the deviation of the line position or the deviation of the inclination.
  • Consistency can be improved by performing geometric correction on one of the images by affine transformation.
  • FIG. 30 shows how the geometric correction by the affine transformation was actually performed. Although the consistency is higher than that of FIG. 29, inconsistencies remain at the left and right ends of the screen.
  • the second deviation due to distortion is the distortion generated by the imaging system.
  • FIG. 31 shows the result of correcting the quadratic function in the scan direction and correcting the cubic function in the line direction. As shown in FIG. 31, these two corrections can improve the consistency of the two images.
  • the consistency can be improved by making these corrections to the data acquired by line scan at different field positions. More accurate analysis can be performed when analyzing from a plurality of images.
  • the correction for the line scan image at two different positions in the field of view has been described, but in principle, the same applies to the case of three or more.
  • a stage that can support samples including biological samples An observation system that includes an objective lens and observes the sample in a line-shaped field of view that is a part of the field of view through the objective lens.
  • An observation system that includes an objective lens and observes the sample in a line-shaped field of view that is a part of the field of view through the objective lens.
  • a signal acquisition unit that acquires an image signal obtained from the sample by scanning the observation system in the first direction orthogonal to the line-shaped field of view.
  • a correction unit that corrects the distortion of the captured image based on the image signal based on the positional relationship between the optical axis center of the objective lens and the line-shaped visual field.
  • a biological sample detection system A biological sample detection system.
  • the biological sample detection system according to (2) above, wherein the optical information of the observation system includes at least one of information regarding the magnification of the imaging unit included in the observation system and scanning of the stage.
  • the observation system includes an irradiation unit that irradiates the sample with line-shaped light, and scans the line-shaped light in the first direction.
  • Sample detection system (5)
  • the signal acquisition unit is any of the above (1) to (4), which generates the captured image by connecting a plurality of region images obtained by imaging the line-shaped visual field during scanning of the observation system.
  • the biological sample detection system according to one.
  • the observation system captures the line-shaped visual field with a sensor including a plurality of image pickup elements parallel to the scanning plane including the first direction and arranged along the direction perpendicular to the first direction.
  • the biological sample detection system according to (5) above, which generates the plurality of region images.
  • the signal acquisition unit generates the plurality of region images by cutting out regions corresponding to the line-shaped field of view from each of the plurality of image data obtained by imaging different positions of the sample (6).
  • the biological sample detection system according to.
  • (8) The biological sample detection system according to any one of (1) to (7), wherein the correction unit corrects distortion of the captured image based on the position of the line-shaped visual field with respect to the optical axis of the objective lens. ..
  • the biological sample detection system according to any one of (1) to (8), wherein the line-shaped visual field is a rectangular region long in a direction perpendicular to the first direction.
  • the signal acquisition unit generates the captured image of the sample as a spectroscopic spectrum image.
  • the signal acquisition unit generates the captured image from the image signal obtained by observing the fluorescence spectrum emitted by the fluorescently stained sample irradiated with the excitation light.
  • the observation system further includes an irradiation unit that irradiates two or more different positions of the sample with line-shaped light having different wavelengths.
  • the biological sample detection system according to any one of (1) to (12), wherein the observation system simultaneously images two or more positions irradiated with line-shaped light having different wavelengths.
  • the biological sample detection system according to (10) above which includes an analysis unit for analyzing a substance contained in the sample.
  • the analysis unit Based on the captured image, the analysis unit determines the measurement accuracy of the observation system, the separation performance when separating the fluorescent component from the captured image, and the staining performance of the fluorescent reagent panel used for fluorescent staining of the sample.
  • the biological sample detection system according to (14) above which analyzes at least one of them.
  • the line-shaped field of view is located on an xy plane perpendicular to the optical axis of the objective lens, the y-axis direction of the xy plane corresponds to the first direction, and x is the objective lens.
  • y is the position on the y-axis in the xy coordinate system, and c1 to c4 are predetermined coefficients, the following equation is used.
  • (4) is used to correct the captured image.
  • the biological sample detection system according to any one of (1) to (15).
  • the c1 is a coefficient related to the magnification of the objective lens.
  • the c2 is a coefficient indicating the degree to which the captured image is distorted in the x-axis direction according to the position in the x-axis direction.
  • the c3 is a coefficient related to the stage scan, and is a coefficient.
  • the biological sample detection system according to (16), wherein the c4 is a coefficient indicating the degree to which the captured image is distorted in the y-axis direction according to the position in the x-axis direction.
  • a light source that irradiates the sample with excitation light Fluorescence microscope system.
  • An captured image of the sample is generated from the signal,
  • a method for detecting a biological sample which comprises correcting the distortion of the captured image according to the positional relationship between the objective lens and the line-shaped visual field.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

画像に対する解析精度の低下を抑制する。生体試料検出システムは、生体試料を含むサンプルを支持可能なステージ（２０）と、対物レンズ（４４）を含み、前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で観察する観察系（４０）と、を有し、前記ライン状の視野と直交する第一方向に前記観察系を走査することで前記サンプルから得られる画像信号を取得する信号取得部（１）と、前記画像信号に基づく撮像画像の歪みを前記対物レンズの光軸中心と前記ライン状の視野の位置関係とに基づいて補正する補正部（２４）と、を備える。

Description

生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム
　本開示は、生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラムに関する。
　定量性や多色性に優れた手法として、蛍光染色による様々な画像診断法が提案されている（例えば特許文献１参照）。蛍光手法によると、着色染色に比べて多重化が容易で、詳細な診断情報が得られる点で有利である。病理診断以外の蛍光イメージングにおいても、色数の増加は、サンプルに発現するさまざまな抗原を一度に調べることを可能とする。
特許第４４５２８５０号公報 国際公開第２０１９／２３０８７８号
　観察光学系では、程度の大小はあるものの歪曲収差があるため、観察視野内の画に歪みがある。それにより、画像解析の精度が低下し得るという課題が存在した。
　本開示は、上記に鑑みてなされたものであって、画像に対する解析精度の低下を抑制することを可能にする生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示において、生体試料検出システムは、生体試料を含むサンプルを支持可能なステージと、対物レンズを含み、前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で観察する観察系と、を有し、前記ライン状の視野と直交する第一方向に前記観察系を走査することで前記サンプルから得られる画像信号を取得する信号取得部と、前記画像信号に基づく撮像画像の歪みを前記対物レンズの光軸中心と前記ライン状の視野の位置関係とに基づいて補正する補正部と、を備える。
本技術の一実施形態に係る蛍光観察装置の概略ブロック図である。 上記蛍光観察装置における光学系の一例を示す図である。 観察対象である病理標本の概略図である。 上記観察対象に照射されるライン照明の様子を示す概略図である。 上記蛍光観察装置における撮像素子が単一のイメージセンサで構成されえる場合の分光データの取得方法を説明する図である。 図５で取得される分光データの波長特性を示す図である。 上記撮像素子が複数のイメージセンサで構成される場合の分光データの取得方法を説明する図である。 上記観察対象に照射されるライン照明の走査方法を説明する概念図である。 複数のライン照明で取得される３次元データ（ｘ、ｙ、λ）を説明する概念図である。 上記蛍光観察装置における励起部の波長の構成例を示す図である。 上記蛍光観察装置における分光イメージング部の他の構成例を示す概略図である。 上記蛍光観察装置における処理ユニットにおいて実行される処理の手順の一例を示すフローチャートである。 一般的なレンズ及び撮像素子による歪みを示す図である。 一般的なレンズ及び撮像素子による歪みを示す図である。 ライン照明における歪みを示す図である。 ライン照明において撮影エリアにずれが生じている場合の歪み補正を示す図である。 ライン照明において歪みの補正の手順を示す模式図である。 ライン照明において歪みの補正の手順を示すフローチャートである。 ライン照明において歪みの補正の手順を示す模式図である。 ライン照明において歪みの補正の手順を示すフローチャートである。 ライン照明において歪みの補正の手順を示す模式図である。 ライン照明において歪みの補正の手順を示すフローチャートである。 上記蛍光観察装置における表示部の画面を説明する図である。 上記表示部における励起部の設定領域の画面構成の一例を示す図である。 上記表示部における一のライン照明由来の蛍光スペクトルの検出設定領域の画面構成の一例を示す図である。 上記表示部における他のライン照明由来の蛍光スペクトルの検出設定領域の画面構成の一例を示す図である。 蛍光スペクトルデータと表示部に表示される蛍光画像との関係を概念的に示す模式図である。 上記処理ユニットにおいて実行される処理の手順の一変形例を示すフローチャートである。 上記処理ユニットにおいて実行される処理の手順の他の変形例を示すフローチャートである。 上記蛍光観察装置の一変形例を示す概略ブロック図である。 上記蛍光観察装置の他の変形例を示す概略ブロック図である。 本実施形態による効果の検証に使用したテストパターンの一例を示す図である。 本実施形態を適用しない場合の２つのラインスキャン画像のズレを説明するための図である。 ２つのラインスキャン画像に対して幾何学補正を行った場合のズレを説明するための図である。 本実施形態を適用することで２つのラインスキャン画像のズレが低減されたことを説明するための図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　０．はじめに
　　１．一実施形態
　　　１．１．全体構成
　　　１．２．観察ユニット
　　　１．３．処理ユニット
　　　１．４．ラインスキャンに適用した場合の問題点
　　　１．５．本実施形態に係る歪み補正の概要
　　　１．６．具体例
　　　１．７．表示部
　　　１．８．検証結果
　　　１．９．変形例
　　　１．１０．まとめ
　０．はじめに
　上述したように、従来、定量性や多色性に優れた手法として、蛍光染色による様々な画像診断法が提案されている。一般の蛍光撮影法は、色素の吸収波長（励起波長）の励起光を照射し、それによって発行する色素スペクトルをバンドパスフィルタによって選択的に取り込む。複数色ある場合には、色素によって吸収波長（励起波長）が様々であるため、色素ごとにフィルタを切り替えて撮影する方法が採られる。しかしながら、色素の吸収スペクトルも発光スペクトルもブロードで重なりがあるため、複数色染色した場合には、一つの励起波長において、複数の色素を励起してしまう。さらにバンドパスフィルタにも隣接する色素の蛍光が漏れ込み、混色が生じる。
　一方、時分割的に励起光の波長及び検出する蛍光の波長を切り替えて撮影する方法が知られている（例えば非特許文献１）。しかしながら、この方法は、色が増えると、リニアに撮影時間も増加するという問題がある。以上のような事情に鑑みたときに考えられる観察方法として、複数の励起光と複数のスリットを用いた蛍光観察手法が提案されている（例えば特許文献２参照）。この方法によれば、１度に多数の励起光を照射することができ、１回の走査ですべての励起による蛍光のデータを取得することが可能である。このとき、観察光学系の視野の中の異なる部分でラインスキャンすることになる。
　ただし、上述したように、観察光学系では、程度の大小はあるものの歪曲収差があるため、観察視野内の画に歪みがある。樽型や糸巻型などといわれる歪みで、視野中央から離れるにしたがって歪みが大きくなる。そのため、観察対象をスキャン方式で撮像した場合、スキャンにより得られた画像が位置に応じた歪みを持つこととなり、それにより、画像解析の精度が低下し得るという課題が存在した。
　そこで以下の実施形態では、画像に対する解析精度の低下、例えばスキャン方式で取得された画像に対する解析精度の低下を抑制することを可能にする。
　１．一実施形態
　１．１．全体構成
　図１は、本開示の一実施形態に係る蛍光観察装置の概略構成例を示すブロック図である。図１に示すように、蛍光観察装置１００は、観察ユニット１と、処理ユニット２とを備える。観察ユニット１におけるステージ２０及び分光イメージング部３０と処理ユニット２とは、顕微鏡システムにも適用され得、また、顕微鏡システムに励起部１０を加えた構成は、蛍光顕微鏡システムにも適用され得る。
　観察ユニット１は、異軸平行に配置された波長の異なる複数のライン照明を病理標本（病理サンプル）に照射する励起部１０と、病理標本を支持するステージ２０と、ライン状に励起された病理標本の蛍光スペクトル（分光データ）を取得する分光イメージング部３０とを有する。すなわち、本実施形態に係る観察ユニット１は、ライン状の視野を当該視野と直行する方向に走査することで、病理標本を観察する。なお、ライン状の視野は、直線に限られず、歪曲していてもよい。
　ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
　蛍光観察装置１００は、処理ユニット２をさらに備える。処理ユニット２は、観察ユニット１によって取得された生体試料等の病理標本（以下、サンプルＳともいう。）の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。ここでいう画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からＲＧＢ（赤緑青）カラーに変換されたもの、特定の波長帯の輝度分布などをいう。
　ステージ２０に対して、対物レンズ４４などの観察光学系４０を介して、励起部１０と分光イメージング部３０が接続されている。観察光学系４０はフォーカス機構６０によって最適な焦点に追従する機能を持っている。観察光学系４０には、暗視野観察、明視野観察などを行うための非蛍光観察部７０が接続されてもよい。
　蛍光観察装置１００は、励起部（ＬＤやシャッターの制御）、走査機構であるＸＹステージ、分光イメージング部（カメラ）、フォーカス機構（検出器とＺステージ）、非蛍光観察部（カメラ）などを制御する制御部８０と接続されていてもよい。本実施形態において、ＸＹステージが移動する平面（ＸＹ平面）が、走査機構により走査される走査平面となる。
　励起部１０は複数の励起波長Ｅｘ１，Ｅｘ２，・・・の光を出力することができる複数の光源Ｌ１，Ｌ２，・・・を備える。複数の光源は、典型的には、発光ダイオード（ＬＥＤ）、レーザダイオード（ＬＤ）、水銀ランプなどで構成され、それぞれの光がライン照明化され、ステージ２０のサンプルＳに照射される。
　サンプルＳは、典型的には、図３に示すような組織切片等の観察対象Ｓａを含むスライドで構成されるが、勿論それ以外であってもよい。サンプルＳ（観察対象Ｓａ）は、複数の蛍光色素によって染色されている。観察ユニット１は、サンプルＳを所望の倍率に拡大して観察する。図３のＡの部分を拡大すると、照明部は図４に示すように、ライン照明が複数（図示の例では２つ（Ｅｘ１，Ｅｘ２））配置されており、それぞれの照明エリアに重なるように分光イメージング部３０の撮影エリアＲ１，Ｒ２が配置される。２つのライン照明Ｅｘ１，Ｅｘ２はそれぞれＺ軸方向に平行であり、Ｙ軸方向に所定の距離（Δｙ）離れて配置される。
　撮影エリアＲ１，Ｒ２は、分光イメージング部３０における観測スリット３１（図２）の各スリット部にそれぞれ対応する。各スリット部は、スキャン方向と垂直な方向に長い矩形領域であってよい。スリット部は、分光イメージング部３０のスリット部もライン照明と同数配置される。図４では照明のライン幅の方がスリット幅よりも広くなっているが、これらの大小関係はどちらであってもよい。照明のライン幅がスリット幅よりも大きい場合、分光イメージング部３０に対する励起部１０の位置合わせマージンを大きくすることができる。なお、例えば、単一の励起光による蛍光観察の場合には、観測スリット３１が省略されてもよい。その場合、分光イメージング部３０により取得された画像から撮影エリアＲ１又はＲ２に相当する領域を切り出すことで、複数の領域画像が生成されてもよい。
　１つめのライン照明Ｅｘ１を構成する波長と、２つめのライン照明Ｅｘ２を構成する波長は相互に異なっている。これらライン照明Ｅｘ１，Ｅｘ２により励起されるライン状の蛍光は、観察光学系４０を介して分光イメージング部３０において観測される。
　分光イメージング部３０は、複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリット３１と、観測スリット３１を通過した蛍光を個々に受光可能な少なくとも１つの撮像素子３２とを有する。撮像素子３２には、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元イメージャが採用される。観測スリット３１を光路上に配置することで、それぞれのラインで励起された蛍光スペクトルを重なりなく検出することができる。
　分光イメージング部３０は、それぞれのライン照明Ｅｘ１，Ｅｘ２から、撮像素子３２の１方向（例えば垂直方向）の画素アレイを波長のチャンネルとして利用した蛍光の分光データ（ｘ、λ）を取得する。得られた分光データ（ｘ、λ）は、それぞれどの励起波長から励起された分光データであるかが紐づけられた状態で処理ユニット２に記録される。
　処理ユニット２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、その他ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等が用いられてもよい。
　処理ユニット２は、複数のライン照明Ｅｘ１，Ｅｘ２の波長と撮像素子３２で受光された蛍光との相関を表す分光データを記憶する記憶部２１を有する。記憶部２１には、不揮発性半導体メモリ、ハードディスクドライプ等の記憶装置が用いられ、サンプルＳに関する自家蛍光の標準スペクトル、サンプルＳを染色する色素単体の標準スペクトルがあらかじめ格納されている。撮像素子３２で受光した分光データ（ｘ、λ）は、例えば、図５及び図６に示すように取得されて、記憶部２１に記憶される。本実施形態では、サンプルＳの自家蛍光及び色素単体の標準スペクトルを記憶する記憶部と撮像素子３２で取得されるサンプルＳの分光データ（測定スペクトル）を記憶する記憶部とが共通の記憶部２１で構成されるが、これに限られず、別々の記憶部で構成されてもよい。
　図５及び図６は、撮像素子３２が観測スリット３１を通過した蛍光を共通に受光する単一のイメージセンサで構成される場合の分光データの取得方法を説明する図である。この例において、ライン照明Ｅｘ１，Ｅｘ２によって励起された蛍光スペクトルＦｓ１，Ｆｓ２は、分光光学系（後述）を介して、最終的にΔｙ（図４参照）に比例する量だけずれた状態で撮像素子３２の受光面に結像される。
　図５に示すように、ライン照明Ｅｘ１から得られる情報はＲｏｗ＿ａ，Ｒｏｗ＿ｂとして、ライン照明Ｅｘ２から得られる情報はＲｏｗ＿ｃ、Ｒｏｗ＿ｄとして、それぞれ記録される。これらの領域以外のデータは読み出さない。それによって撮像素子３２のフレームレートはフルフレームで読み出す場合の、Ｒｏｗ＿ｆｕｌｌ／（Ｒｏｗ＿ｂ－Ｒｏｗ＿ａ十Ｒｏｗ＿ｄ－Ｒｏｗ＿ｃ）倍早くすることが出来る。
　図２に示すように、光路の途中にダイクロイックミラー４２やバンドパスフィルタ４５が挿入され、励起光（Ｅｘ１，Ｅｘ２）が撮像素子３２に到達しないようにする。この場合、撮像素子３２上に結像する蛍光スペクトルＦｓ１には間欠部ＩＦが生じる（図５、図６参照）。このような間欠部ＩＦも読出し領域から除外することによって、さらにフレームレートを向上させることができる。
　撮像素子３２は、図２に示すように、観測スリット３１を通過した蛍光をそれぞれ受光可能な複数の撮像素子３２ａ，３２ｂを含んでもよい。この場合、各ライン照明Ｅｘ１，Ｅｘ２によって励起される蛍光スペクトルＦｓ１，Ｆｓ２は、撮像素子３２ａ，３２ｂ上に図７に示すように取得され、記憶部２１に励起光と紐づけて記憶される。
　ライン照明Ｅｘ１，Ｅｘ２は単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ｅｘ１，Ｅｘ２がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部３０は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観測スリット３１と撮像素子３２との間の光路上に配置される。
　観察ユニット１はさらに、ステージ２０に対して複数のライン照明Ｅｘ１，Ｅｘ２をＹ軸方向、つまり、各ライン照明Ｅｘ１，Ｅｘ２の配列方向に走査する走査機構５０を備える。走査機構５０を用いることで、サンプルＳ（観察対象Ｓａ）上において空間的にΔｙだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル（蛍光スペクトル）をＹ軸方向に連続的に記録することができる。この場合、例えば図８に示すように撮影領域ＲｓがＸ軸方向に複数に分割され、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される。１回のスキャンで数種の励起波長によって励起されたサンプル由来の分光スペクトルイメージを撮影することができる。
　走査機構５０は、典型的には、ステージ２０がＹ軸方向に走査されるが、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ｅｘ１，Ｅｘ２がＹ軸方向に走査されてもよい。最終的に、図９に示すような（Ｘ、Ｙ、λ）の３次元データが複数のライン照明Ｅｘ１，Ｅｘ２についてそれぞれ取得される。各ライン照明Ｅｘ１，Ｅｘ２由来の３次元データはＹ軸についてΔｙだけ座標がシフトしたデータになるので、あらかじめ記録されたΔｙ、または撮像素子３２の出力から計算されるΔｙの値に基づいて、補正され出力される。
　ここまでの例では励起光としてのライン照明は２本で構成されたが、これに限定されず、３本、４本あるいは５本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。またライン照明が１本であっても、複数の励起波長から構成される励起光源で、且つそれぞれの励起波長と、撮像素子で取得されるＲｏｗデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。例えば図１０に示すような構成がとられてもよい。
　１．２．観察ユニット
　続いて、図２を参照して観察ユニット１の詳細について説明する。ここでは、図１０における構成例２で観察ユニット１が構成される例について説明する。観察ユニット１は全体として撮像部（信号取得部ともいう）として機能する。なお、観察ユニット１が取得する画像信号は、蛍光信号であってもよく、また、画像信号と蛍光信号とを含んでもよい。
　励起部１０は、複数（本例では４つ）の励起光源Ｌ１，Ｌ２，Ｌ３，Ｌ４を有する。各励起光源Ｌ１～Ｌ４は、波長がそれぞれ４０５ｎｍ、４８８ｎｍ、５６１ｎｍ及び６４５ｎｍのレーザ光を出力するレーザ光源で構成される。
　励起部１０は、各励起光源Ｌ１～Ｌ４に対応するように複数のコリメータレンズ１１及びレーザラインフィルタ１２と、ダイクロイックミラー１３ａ，１３ｂ，１３ｃと、ホモジナイザ１４と、コンデンサレンズ１５と、入射スリット１６とをさらに有する。
　励起光源Ｌ１から出射されるレーザ光と励起光源Ｌ３から出射されるレーザ光は、それぞれコリメータレンズ１１によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ１２を透過し、ダイクロイックミラー１３ａによって同軸にされる。同軸化された２つのレーザ光は、さらに、ライン照明Ｅｘ１となるべくフライアイレンズなどのホモジナイザ１４とコンデンサレンズ１５によってビーム成形される。
　励起光源Ｌ２から出射されるレーザ光と励起光源Ｌ４から出射されるレーザ光も同様にダイクロイックミラー１３ｂ，１３ｃによって同軸化され、ライン照明Ｅｘ１とは異軸のライン照明Ｅｘ２となるようにライン照明化される。ライン照明Ｅｘ１，Ｅｘ２は、各々が通過可能な複数のスリット部を有する入射スリット１６（スリット共役）においてΔｙだけ離れた異軸ライン照明（１次像）を形成する。
　この１次像は、観察光学系４０を介してステージ２０上のサンプルＳに照射される。観察光学系４０は、コンデンサレンズ４１と、ダイクロイックミラー４２，４３と、対物レンズ４４と、バンドパスフィルタ４５と、コンデンサレンズ４６とを有する。ライン照明Ｅｘ１，Ｅｘ２は、対物レンズ４４と対になったコンデンサレンズ４１で平行光にされ、ダイクロイックミラー４２，４３を反射して対物レンズ４４を透過し、サンプルＳに照射される。
　サンプルＳ面においては図４のような照明が形成される。これらの照明によって励起された蛍光は、対物レンズ４４によって集光され、ダイクロイックミラー４３を反射し、ダイクロイックミラー４２及び励起光をカットするバンドパスフィルタ４５を透過し、コンデンサレンズ４６で再び集光されて、分光イメージング部３０へ入射する。
　分光イメージング部３０は、観測スリット３１と、撮像素子３２（３２ａ，３２ｂ）と、第１プリズム３３と、ミラー３４と、回折格子３５（波長分散素子）と、第２プリズム３６とを有する。
　観測スリット３１は、コンデンサレンズ４６の集光点に配置され、励起ライン数と同じ数のスリット部を有する。観測スリット３１を通過した２つの励起ライン由来の蛍光スペクトルは、第１プリズム３３で分離され、それぞれミラー３４を介して回折格子３５の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。このようにして分離された４つの蛍光スペクトルは、ミラー３４及び第２プリズム３６を介して撮像素子３２ａ，３２ｂに入射し、分光データとして（ｘ、λ）情報に展開される。
　撮像素子３２ａ，３２ｂの画素サイズ（ｎｍ／Ｐｉｘｅｌ）は特に限定されず、例えば、２ｎｍ以上２０ｎｍ以下に設定される。この分散値は、回折格子３５のピッチや光学的に実現しても良いし、撮像素子３２ａ，３２ｂのハードウェアビニングをつかって実現しても良い。
　ステージ２０及び走査機構５０は、ＸＹステージを構成し、サンプルＳの蛍光画像を取得するため、サンプルＳをＸ軸方向及びＹ軸方向へ移動させる。ＷＳＩ（Ｗｈｏｌｅ　ｓｌｉｄｅ　ｉｍａｇｉｎｇ）では、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される（図８参照）。
　非蛍光観察部７０は、光源７１、ダイクロイックミラー４３、対物レンズ４４、コンデンサレンズ７２、撮像素子７３などにより構成される。非蛍光観察系においては、図２では、暗視野照明による観察系を示している。
　光源７１は、ステージ２０の下方に配置され、ステージ２０上のサンプルＳに対して、ライン照明Ｅｘ１，Ｅｘ２とは反対側から照明光を照射する。暗視野照明の場合、光源７１は、対物レンズ４４のＮＡ（開口数）の外側から照明し、サンプルＳで回折した光（暗視野像）を対物レンズ４４、ダイクロイックミラー４３及びコンデンサレンズ７２を介して撮像素子７３で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
　なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部７０は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム（Ｉｎ－ｌｉｎｅ　ｈｏｌｏｇｒａｍ）画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージの下方に限られず、ステージの上方や対物レンズの周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、あらかじめフォーカス座標（Ｚ座標）を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
　図１１は、分光イメージング部の他の構成例を示す概略図である。同図に示す分光イメージング部１３０は、単一の撮像素子３２を有する。励起ライン数と一致したスリット部を有する観測スリット３１を抜けたそれぞれの蛍光は、リレー光学系（第１プリズム３３、ミラー３４，３７）とその途中に配置された波長分散素子（プリズムなど）３８を介して撮像素子３２上へ再結像し、（ｘ、λ）データへと展開される（図５参照）。このとき励起光間隔Δｙをｐｉｘｅｌに換算した値は、分散したスペクトルが、撮像素子３２上で重ならないように決定される。
　１．３．処理ユニット
　撮像素子３２（３２ａ，３２ｂ）で取得された蛍光スペクトルは、処理ユニット２に出力される。処理ユニット２は、記憶部２１と、記憶部２１に記憶された分光データを校正するデータ校正部２２と、当該分光データと複数のライン照明Ｅｘ１，Ｅｘ２の間隔Δｙとに基づいて、サンプルＳの蛍光画像を形成する画像形成部２３と、光学系に起因する画像の歪みを補正する補正部２４と、をさらに有する。
　図１２は、処理ユニット２において実行される処理の手順の一例を示すフローチャートである。
　記憶部２１は、分光イメージング部３０で取得した分光データ（蛍光スペクトルＦｓ１，Ｆｓ２（図５，７参照））を記憶する（ステップＳ１０１）。記憶部２１には、サンプルＳに関する自家蛍光や色素単体の標準スペクトルがあらかじめ格納されている。
　記憶部２１は、撮像素子３２の波長方向の画素アレイから注目波長領域のみを抽出することによって、記録フレームレートを向上させる。注目波長領域とは、例えば、可視光の範囲（３８０ｎｍ～７８０ｎｍ）、あるいは、サンプルを染色した色素の発光波長によって決まる波長範囲に相当する。
　注目波長領域以外の波長領域としては、例えば、不要な波長の光があるセンサ領域や明らかに信号のないセンサ領域、光路途中にあるダイクロイックミラー４２やバンドパスフィルタ４５でカットされるべき励起波長の領域などが挙げられる。さらに、そのセンサ上の注目波長領域は、ライン照明の状況によって切り替えられてもよい。例えば、ライン照明に使われる励起波長が少ないときは、センサ上の波長領域も制限され、制限した分、フレームレートを高速化させることができる。
　データ校正部２２は、記憶部２１に記憶された分光データを、ピクセルデータ（ｘ、λ）から波長に換算し、全てのスペクトルデータが共通の離散値を持った波長単位（［ｎｍ］、［μｍ］など）に補完されて出力されるよう校正する（ステップＳ１０２）。
　ピクセルデータ（ｘ、λ）は、撮像素子３２のピクセル列に綺麗に整列すると限られず、僅かな傾きや光学系のディストーションによって歪められている場合がある。したがって、例えば波長既知の光源を用いてピクセルから波長単位に変換すると、すべてのｘ座標において異なる波長（ｎｍ値）に換算されてしまう。この状態ではデータの扱いが煩雑であるため、データは補完法（例えば、線形補完やスプライン補完）によって整数に整列されたデータに変換される（ステップＳ１０２）。
　さらに、ライン照明の長軸方向（Ｘ軸方向）の感度ムラが発生する場合がある。感度ムラは照明のムラや、スリット幅のバラつきによって発生し、撮影画像の輝度ムラに繋がる。そこで、データ校正部２２は、このムラを解消するため、任意の光源とその代表スペクトル（平均スペクトルや光源の分光放射輝度）を用いて、均一化して出力する（ステップＳ１０３）。均一化することによって機差がなくなり、スペクトルの波形解析において、個々の成分スペクトルを毎回測定する手間を削減することができる。さらに、感度校正された輝度値から蛍光色素数の概算定量値も出力することができる。
　校正されたスペクトルに分光放射輝度［Ｗ／（ｓｒ・ｍ２・ｎｍ）］を採用すれば、各波長に相当する撮像素子３２の感度も補正される。このように基準となるスペクトルに校正することによって、色分離計算に用いる基準スペクトルを機器毎に測定する必要がなくなる。同じロットで安定的な色素であれば、１度撮影すれば流用が可能になる。さらに、色素１分子あたりの蛍光スペクトル強度が予め与えられていれば、感度校正された輝度値から換算した蛍光色素分子数の概算値を出力できる。この値は自家蛍光成分も分離されており、定量性が高い。
　以上の処理は、Ｙ軸方向に走査されるサンプルＳにおけるライン照明Ｅｘ１，Ｅｘ２による照明範囲について同様に実行される。これにより、サンプルＳの全範囲について各蛍光スペクトルの分光データ（ｘ、ｙ、λ）が得られる。得られた分光データ（ｘ、ｙ、λ）は、記憶部２１に保存される。
　画像形成部２３は、記憶部２１に記憶された分光データ（あるいはデータ校正部２２によって校正された分光データ）と、励起ラインＥｘ１，Ｅｘ２の軸間距離（Δｙ）に相当する間隔とに基づいて、サンプルＳの蛍光画像を形成する（ステップＳ１０４）。本実施形態において画像形成部２３は、蛍光画像として、複数のライン照明Ｅｘ１，Ｅｘ２の間隔（Δｙ）に相当する値で撮像素子３２の検出座標が補正された画像を形成する。
　各ライン照明Ｅｘ１，Ｅｘ２由来の３次元データは、Ｙ軸についてΔｙだけ座標がシフトしたデータになるので、あらかじめ記録されたΔｙ、または撮像素子３２の出力から計算されるΔｙの値に基づいて補正され、出力される。ここでは、各ライン照明Ｅｘ１、Ｅｘ２由来の３次元データが同一座標上のデータとなるように、撮像素子３２での検出座標の相違が補正される。
　画像形成部２３は、撮影した画像を繋げて１つの大きな画像（ＷＳＩ）にするための処理（スティッチング）を実行する（ステップＳ１０５）。これにより、多重化されたサンプルＳ（観察対象Ｓａ）に関する病理画像を取得することができる。形成された蛍光画像は、表示部３に出力される（ステップＳ１０６）。
　さらに画像形成部２３は、記憶部２１にあらかじめ記憶されたサンプルＳの自家蛍光及び色素単体の各標準スペクトルを基に、撮影された分光データ（測定スペクトル）からサンプルＳの自家蛍光及び色素の成分分布を分離計算する。演算方法としては、最小二乗法、重み付け最小二乗法などが採用可能であり、撮影された分光データが上記標準スペクトルの線形和になるような係数を計算する。算出された係数の分布は、記憶部２１に記憶されるとともに、表示部３へ出力されて画像として表示される（ステップＳ１０７，Ｓ１０８）。このように、画像形成部２３は、撮影された分光データ（測定スペクトル）を解析する解析部としても機能し得る。ただし、分光データ（測定スペクトル）の解析は、蛍光観察装置１００の外部（例えば、クラウドサーバなどの外部サーバ等）で実行されてもよい。また、分光データの解析では、分光データを取得する測定系の測定精度、分光データから蛍光成分を分離する際の分離性能、蛍光染色における蛍光試薬パネルの染色性能などが実行されてもよい。
　１．４．ラインスキャンに適用した場合の問題点
　上述の方法によれば、１度に多数の励起光を照射することができ、１回の走査ですべての励起による蛍光のデータを取得することが可能である。このとき、観察光学系の視野の中の異なる部分でラインスキャンすることになる。観察光学系では、程度の大小はあるものの歪曲収差があるため、観察視野内の画に歪みがある。樽型や糸巻型などといわれる歪みで、視野中央から離れるにしたがって歪みが大きくなる。視野内の異なる位置におけるラインスキャンで得られた画像は、それぞれ異なった歪みを持った画となる。つまり、複数の得られた画像内の対象物は、歪み方が異なるのでぴったり一致していないこととなる。
　複数のラインスキャン画像をもとに対象物の解析を行う場合、複数のラインスキャン画像内の像がそれぞれぴったりと重なっていることが重要である。例えば、それぞれのラインスキャンで異なる波長で励起された蛍光の信号を取得して解析する場合、その複数の蛍光信号から蛍光色素を判断している。つまり、複数の励起波長でそれぞれ得られた蛍光信号でないと正しい蛍光色素の分析ができなくなる。このように視野内に複数の観察ラインを設定したラインスキャン方式では、各ラインスキャン画像が異なる歪みを持っており、各ラインスキャン画像をもとに解析するときに正しい解析できないという課題があった。
　１．５．本実施形態に係る歪み補正の概要
　従来の課題を解決するために、取得した画像に対して画像処理をかけることが有効である。通常のカメラレンズによるディストーションについては従来から知られた歪みである（例えば、図１３Ａ、図１３Ｂ）。しかし、ディストーションのある撮像系でのラインスキャンによって発生する画像の歪みは通常のディストーションにより歪んだ画像と異なっている（例えば、図１４）。歪んだ画像の一部を切り出してスキャンする形なので、歪んだ視野のどの部分を切り出してスキャンするかにより歪み方が異なっているためである。また、スキャン方向はステージによって画が送られるのみなので、通常顕微鏡で用いられるような精度の良いステージであればほとんど歪みを生じない。歪みはスキャンと直行する方向での位置に依存した座標シフトとして発生する。
　通常のカメラレンズによる歪みについては、既知の補正式がある。しかし、ラインスキャンにおいては、上述のように通常のカメラレンズによる歪みとは異なるので、既知の補正式をそのまま適用することはできない。本実施形態に係る歪み補正においては、ラインスキャン画像に適した補正式を提案する。
　１．６．具体例
　本実施形態では、補正部２４が、上述した光学系に起因する画像の歪みを補正する。なお、ここでの画像とは、画像形成部２３によって自家蛍光及び色素の成分分布を分離計算した後の画像に限られない。分光イメージング部３０で取得された分光データ、データ校正部２２によって校正されたデータなどのデータであってもよい。したがって、上記ステップのうちどのステップで行ってもよい。
　また、補正部２４は対物レンズ４４の光学中心（光軸ともいう）と、撮像部に含まれる撮影エリアＲ１、Ｒ２との位置関係に基づいて補正してもよい。
　なお、光学系に起因する画像の歪みを補正するための式は以下の式（１）が知られている。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｘ軸方向及びｙ軸方向は撮像領域の平面を含む直交座標、ｋ１は光学系の倍率の係数、ｋ２は実質的な歪みに寄与する係数である。
　図１３Ａは、ｋ１＝１、ｋ２＝－０．０１の場合の歪みの例であり、いわゆる糸巻型と呼ばれる歪みである。また、図１３Ｂは、ｋ１＝１、ｋ２＝０．０１の場合の歪みの例であり、いわゆる樽型と呼ばれる歪みである。
　式（１）にあらわされる歪みの補正式は、撮影エリアがレンズの光学系の光学中心を重心とした長方形の領域等の幅を持った領域であり、撮像対象を一度で撮影することを前提としている。本実施形態においては、撮影エリアＲ１，Ｒ２はライン状であり、ステージと撮像部との相対位置を変化させながら撮影した画像を連結して全体画像を生成するため、上記数式を直接適用することはできない。
　この場合、例えば図１３Ａのように、式（１）で表される糸巻型の歪みのうち、本実施形態の撮影エリアＲ１，Ｒ２に相当等する領域の歪みをスキャン方向に繰り返した、図１４のように撮影エリアごとに異なる歪みとなる。
　図１４のような歪みに対し、本実施形態においては、以下の式（２）を適用することで適切に歪みを除去できることが見いだされた。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｘ方向はライン方向（ライン照明の伸長方向）、ｙ方向はステージスキャンの方向、ｃ１は倍率の係数、ｃ２はｘに依存してｘ方向に歪む程度を示す係数、ｃ３はＸＹステージを走査させるステージスキャンに関する係数、ｃ４はｘに依存してｙ方向に歪む程度を示す係数である。これらの情報は、光学情報とも称される。なお、ｃ２及びｃ４はラインスキャンのラインが視野の中心からどの程度シフトしていたかに依存して変化する値であり、ｃ３はデータサンプリング間隔がｘ方向のデータピッチと同じであれば、ｃ３＝ｃ１となり、２倍のサンプリング間隔であればｃ３＝ｃ１×２となる値である。
　式（２）から、ｘ方向の歪みにはｘ´に依存した３次の関数となっており、ｙ方向の歪みにはｘ´に依存した２次の関数となっていることがわかる。つまり、これらに応じた補正をすることで、歪みを解消することができる。
　図１５は、撮影エリアＲ１の伸長方向の中心を通り撮影エリアＲ１の伸長方向に垂直の面がレンズの光学中心を通らず、光学中心から距離ｘ０だけずれている場合を示している。この場合、式（２）で表される補正式は、ずれ量ｘ０の分だけ以下の式（３）の修正が必要である。
Figure JPOXMLDOC01-appb-M000004
　図１６Ａ～図１８Ｂは、補正部２４において実行される処理の手順の一例を示している。
　図１６Ａ及び図１６Ｂではライン走査で取得した画像の基本的な補正フローを示している。ライン走査によって取得した画像はＸ方向（ライン照明の伸長方向）にもＹ方向（スキャン方向）にも歪みを持っている（ステップＳ２０１）。補正部２４は取得した画像のＸ方向の歪曲を補正する（ステップＳ２０２）。Ｘ方向の補正はＸ位置に依存したＸ方向の拡大や縮小となっている。拡大縮小においては、最近傍値を用いた補間や２点の値から線形に補間して値を求める方法などがある。画像処理で拡大や縮小法としてニアレストネイバー法（新規の画素位置に対して周辺画素のなかで最も近接する画素値をもちいて補間する方法）やバイリニア補間（新規の画素位置に対して周辺画素から線形に値を推定し補間する方法）等が知られている。これらは２次元的な拡大縮小であるが、これを１次元的に利用する方法が考えられる。Ｙ方向の補正はＸ位置に依存して、Ｙ方向を上（または下）にシフトさせる方式である（ステップＳ２０３）。これらについても、先に示した画像処理方法を用いることが考えられる。
　図１７Ａ及び図１７Ｂは撮影エリアＲ１で取得した取得画像Ｐｉｃ１と撮影エリアＲ２で取得した取得画像Ｐｉｃ２において、Ｐｉｃ２の画像をＰｉｃ１の画像に対して補正するフローを示している。図１６Ａ及び図１６Ｂと同様に、ライン走査によって取得した画像はＸ方向（ライン照明の伸長方向）にもＹ方向（スキャン方向）にも歪みを持っている（ステップＳ３０１）。補正部２４は取得した画像Ｐｉｃ２をＰｉｃ１に適合させるため、Ｐｉｃ２のＸ方向及びＹ方向に対してシフト補正する（ステップＳ３０２）。この際、撮影エリアＲ２に対応する撮像装置の位置ずれ等をアフィン変換によって補正してもよい。次に、補正部２４は画像Ｐｉｃ２のＸ方向の歪曲を補正する（ステップＳ３０３）。さらに、補正部２４は画像Ｐｉｃ２のＹ方向の歪曲を補正する（ステップＳ３０４）。補正されたＰｉｃ２は理想的にはＰｉｃ１と同じ歪みを持っているため、Ｐｉｃ１とＰｉｃ２を重畳させて画像解析等をしても両画像のずれが発生しない（ステップＳ３０５）。
　図１８Ａ及び図１８Ｂでは、本来の歪みの無い理想的な画像を目指して、取得画像Ｐｉｃ１と取得画像Ｐｉｃ２の両方を取得し補正する事例について示している。図１６Ａ及び図１６Ｂや図１７Ａ及び図１７Ｂと同様に、ライン走査によって取得した画像はＸ方向（ライン照明の伸長方向）にもＹ方向（スキャン方向）にも歪みを持っている（ステップＳ４０１）。補正部２４は取得した画像の一方を他方に適合させるため、又は、両方の画像を理想状態に適合させるため、画像のＸ方向及びＹ方向に対してシフト補正する（ステップＳ４０２）。この際、それぞれの撮影エリアに対応する撮像装置の位置ずれ等をアフィン変換によって補正してもよい。次に、補正部２４はＰｉｃ１及びＰｉｃ２のＸ方向の歪曲を補正する（ステップＳ４０３）。さらに、補正部２４は画像Ｐｉｃ１及びＰｉｃ２のＹ方向の歪曲を補正する（ステップＳ４０４）。補正されたＰｉｃ１及びＰｉｃ２は理想的には歪みが除去されているので、Ｐｉｃ１とＰｉｃ２を重畳させて画像解析等をしても両画像のずれが発生しない（ステップＳ４０５）。
　以上ではＸ軸歪曲の補正をおこなってからＹ軸歪曲の補正を行う流れにしているが、逆の順番に処理をしてもかまわない。またＸ軸歪曲の補正とＹ軸歪曲の補正を同時に行ってもよい。
　１．７．表示部
　続いて、表示部３について説明する。
　図１９は、表示部３の画面を説明する図である。表示部３は、処理ユニット２に一体的に取り付けられたモニタで構成されてもよいし、処理ユニット２に接続された表示装置であってもよい。表示部３は、液晶デバイスあるいは有機ＥＬデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入カ設定や撮影画像等を表示するＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）として構成される。
　表示部３は、図１９に示すように、主画面３０１と、サムネイル画像の表示画面３０２と、スライド情報の表示画面３０３と、撮影済みスライドリストの表示画面３０４とを有する。主画面３０１には、撮影用の操作ボタン（キー）類の設定領域３０５、励起レーザ（励起部１０）の設定領域３０６、ライン照明Ｅｘ１，Ｅｘ２由来の蛍光スペクトルの検出設定領域３０７，３０８等を有する。これらの設定領域３０５～３０８は常に少なくとも１つあればよく、また、１つの表示領域に他の表示領域が含まれていてもよい。
　蛍光観察装置１００は、図示しないスライドラックからのスライド（サンプルＳ）の取り出し、スライド情報の読み取り、スライドのサムネイル撮影、露光時間の設定などを順に行う。スライド情報には患者情報、組織部位、疾患、染色情報等が含まれており、スライドに付されたバーコードやＱＲコード（登録商標）などから読み取られる。サンプルＳのサムネイル画像及びスライド情報は、表示画面３０２，３０３にそれぞれ表示される。表示画面３０４には、撮影済みのスライド情報がリストとして表示される。
　主画面３０１には、サンプルＳの蛍光画像のほか、現在撮影中のスライドの撮影状況が表示される。励起レーザ（ライン照明Ｅｘ１，Ｅｘ２）は、設定領域３０６において表示あるいは設定され、励起レーザに由来する蛍光スペクトルは、検出設定領域３０７，３０８において表示あるいは設定される。
　図２０は、励起レーザの設定領域３０６の画面構成の一例を示す図である。ここには、各励起光源Ｌ１～Ｌ４の出力のＯＮ／ＯＦＦがチェックボックス８１へのタッチ操作により選択、切り替えられる。また、各光源の出力の大きさは操作部８２を介して設定される。この例では、ライン照明Ｅｘ１が励起光源Ｌ１の単一波長に設定された例を示している。
　図２１は、ライン照明Ｅｘ１由来の蛍光スペクトルの検出設定領域３０７の画面構成の一例を示す図である。図２２は、ライン照明Ｅｘ２由来の蛍光スペクトルの検出設定領域３０８の画面構成の一例を示す図である。縦軸は輝度、横軸は波長を示している。
　図２１及び図２２において、指標８３は、励起光源（Ｌ１，Ｌ２，Ｌ４）が点灯していることを表しており、指標８３の長さが大きいほど光源のパワーが大きいことを示している。蛍光スペクトル８５の検出波長範囲は設定バー８４によって設定される。
　蛍光スペクトル８５の表示方法は特に限定されず、例えば、撮像素子３２の全画素平均スペクトル（波長×強度）で表示される。蛍光スペクトル８５は、励起光源の波長やパワーに応じて設定可能である。蛍光スペクトル８５は、現在の平均、または最後に撮影した波形から設定変更分を加味して計算される波形で表示される。
　また、蛍光スペクトル８５は、図２１及び図２２に示すように、値の頻度情報を濃淡で表現するヒートマップ方式で表示されてもよい。この場合、平均値ではわからなかった信号の分散も可視化することができる。
　なお、蛍光スペクトル８５を表示するグラフの縦軸は、線形軸に限られず、対数軸やハイブリッド軸（バイエクスポーネンシャル軸）であってもよい。
　表示部３は、励起ライン（Ｅｘ１，Ｅｘ２）ごとに蛍光スペクトルを分けて表示することが可能に構成される。また、表示部３は、それぞれの励起ラインに照射される光源波長とパワーを明示的に表示する操作領域を有するＵＩを備えている。さらに、表示部３は、それぞれの蛍光スペクトルに対して、検出波長範囲を表示するＵＩを備えている。つまり、その設定波長範囲に基づいて、撮像素子３２の読み出し領域が変化するように構成される。
　これにより、異軸励起方式の蛍光観察装置において、撮影条件をユーザへ分かりやすく提示することができる。特に、表示部３に蛍光スペクトルの検出設定領域３０７，３０８を設けることで、異軸励起の場合においても、励起ラインと励起波長の関係、励起波長と撮影波長範囲の関係を分かりやすく表示することができる。
　表示部３は、画像形成部２３から出力されたサンプルＳの蛍光画像を主画面３０１に表示する。画像形成部２３から表示部３へ出力される蛍光画像は、異軸スリット（観測スリット３１の各スリット部）間の検出座標の違いに相当する値（ライン照明Ｅｘ１，Ｅｘ２の間隔Δｙ）を補正された状態でユーザへ提示される。このため、ユーザは、異軸検出位置の違いを意識することなく、それぞれの分解画像データが多重表示された画像を認識することができる。
　例えば図２３に示すように、複数のライン照明Ｅｘ１，Ｅｘ２由来のスペクトルデータから複数の分解画像（色素１に関する画像、色素２に関する画像）を生成し、それぞれの画像を異なる色で重ね合わせた状態で主画面３０１に表示される。ここでは、色素１に関する画像が、Δｙに相当するＹ座標の相違が補正されることで、色素２に関する画像と重ね合わされる。
　各分解画像は、分離計算に用いた標準スペクトル、すなわち染色色素に対応している。主画面３０１には、各分解画像が重なり合った色素画像のほか、表示色素の選択画面が表示されてもよい。この場合、色素選択と連動して画像表示が切り替わり、図２３に示すように色素１，２を選択したときにそれらの画像に相当するものだけが表示される。
　上記Δｙの補正値は、記憶部２１に格納され、内部情報として管理される。表示部３は、Δｙに関する情報を表示可能に構成されてもよいし、表示されたΔｙを変更可能に構成されてもよい。補正値（Δｙ）は、スリット間の距離（あるいはライン照明の間隔）の補正だけでなく、光学系におけるディストーションのような歪量等を含んでもよい。また、各色素のスペクトルを異なるカメラ（撮像素子）で検出する場合には、各カメラにおけるＹ軸方向の検出座標に関する補正量を含んでいてもよい。
　１．８．検証結果
　つづいて、実際にテストチャートを撮像して検証した結果を示すことで、本実施形態を適用することによる歪み解消の効果を説明する。図２８は、本実施形態による効果を検証する際に使用したテストパターンの模式図である。図２９は、本実施形態を適用しない場合の２つのラインスキャン画像のズレを説明するための模式図であり、図３０は、２つのラインスキャン画像に対して幾何学補正を行った場合のズレを説明するための模式図である。図３１は、本実施形態を適用することで２つのラインスキャン画像のズレが低減されたことを説明するための模式図である。
　本検証にあたり、テストパターンとしては、図２８に示すような、点が格子状に配列されたパターンを用いた。また、このテストチャートには、中央には十字のパターンがあり、上下左右の端にはＴ字のパターン、四隅には鉤型のパターンがある。このテストチャートに対して上述した実施形態を用いることで、２種類のラインスキャン画像を取得した。ラインスキャンをするのが撮像系の視野の２つの異なる位置でそれぞれ画像を取得した。図２９は、テストパターンの中央と上下左右端の４隅の合計９カ所の拡大図を示している。一方の画像が実践及び黒丸で示されており、もう一方の画像が破線及び白抜きの丸で示されており、重なっているところは実践及び黒丸で示されている。図２９に示すように、２つの画像がズレていることがわかる。ここでは２つのずれの要素が混ざっている。
　１つ目は、平行移動や線形変換で表せされるズレと、歪曲収差によるズレとである。１つ目の平行移動や線形変換で表されるズレは、ラインの位置ずれや傾きのズレなどによるものである。これについては、一方の画像をアフィン変換による幾何学補正を行うことで整合性を高めることができる。実際にアフィン変換による幾何学補正を行った様子を図３０に示す。図２９に比べて整合性は高まっているものの、画面の左右両端で不整合が残っている。
　２つ目の歪曲収差によるズレは撮像系により発生する歪みである。先に説明したように、スキャン方向については２次関数の補正を行い、ライン方向に３次関数の補正を行った結果を図３１に示す。図３１に示すように、これら２つの補正により、２つの画像の整合性を高めることができる。
　以上で示したように、異なる視野位置でのラインスキャンで取得したデータに対し、これらの補正を行うことで整合性が高めることがでる。複数の画像から解析を行う際により正確な解析ができることになる。ここでは、視野中の２つの異なる位置でのラインスキャン画像に対しての補正について説明したが、原理的に3つやそれ以上の場合でも同様である。
　１．９．変形例
　以上の実施形態においては、多重蛍光スキャナにおいて、それぞれの撮影エリアに適切な歪み補正を行う例を示したが、単色の蛍光スキャナにおいて単一の撮影エリアに対して式（２）の補正を行ってもよい。
　１．１０．まとめ
　以上のように本実施形態によれば、撮像系の視野内の異なる位置でラインスキャンを行った複数の画像の整合性を高めることができる。これにより、複数の画像をもとにした解析がより正しく行われることになる。例えば、本実施形態に示される手法では、視野中の異なる場所にライン状の励起ビームを配置し、サンプルの蛍光を発生させる。それぞれの蛍光ラインを分光しスペクトルを取得している。視野の異なる場所でのラインスキャンイメージ同士なので、それぞれの歪み方が異なっている。そのため画像中の同じ座標のデータであっても、像としては異なる場所を示しており、正しいスペクトル解析ができない。そこで本実施形態による補正を行うことで２つの画像の整合性を高めることができる。つまり、画像中の座標と像の位置がそれぞれの画像で整合することになり、解析も正しく行うことができ、組織や細胞の特徴を精度よくとらえることができるようになる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　生体試料を含むサンプルを支持可能なステージと、
　対物レンズを含み、前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で観察する観察系と、
　を有し、
　前記ライン状の視野と直交する第一方向に前記観察系を走査することで前記サンプルから得られる画像信号を取得する信号取得部と、
　前記画像信号に基づく撮像画像の歪みを前記対物レンズの光軸中心と前記ライン状の視野の位置関係とに基づいて補正する補正部と、
　を備える生体試料検出システム。
（２）
　前記補正部は、前記観察系の光学情報にさらに基づいて前記撮像画像の歪みを補正する前記（１）に記載の生体試料検出システム。
（３）
　前記観察系の光学情報は、前記観察系が備える撮像部の倍率及び前記ステージの走査に関する情報のうちの少なくとも１つを含む前記（２）に記載の生体試料検出システム。
（４）
　前記観察系は、前記サンプルにライン状の光を照射する照射部を含み、前記ライン状の光を前記第一方向に走査する
　前記（１）～（３）の何れか１つに記載の生体試料検出システム。
（５）
　前記信号取得部は、前記観察系の走査中に前記ライン状の視野を撮像することで得られた複数の領域画像を繋げることで前記撮像画像を生成する前記（１）～（４）の何れか１つに記載の生体試料検出システム。
（６）
　前記観察系は、前記第一方向を含む走査平面と平行であって前記第一方向と垂直な方向に沿って配列された複数の撮像素子を備えるセンサで前記ライン状の視野を撮像することで前記複数の領域画像を生成する前記（５）に記載の生体試料検出システム。
（７）
　前記信号取得部は、前記サンプルの異なる位置を撮像することで得られた複数の画像データそれぞれから前記ライン状の視野に対応する領域を切り出すことで前記複数の領域画像を生成する前記（６）に記載の生体試料検出システム。
（８）
　前記補正部は、前記対物レンズの光軸に対する前記ライン状の視野の位置に基づいて前記撮像画像の歪みを補正する前記（１）～（７）の何れか１つに記載の生体試料検出システム。
（９）
　前記ライン状の視野は、前記第一方向と垂直な方向に長い矩形領域である前記（１）～（８）の何れか１つに記載の生体試料検出システム。
（１０）
　前記観察系は、互いに位置が異なる２以上の前記ライン状の視野を同時に撮像する前記（１）～（９）の何れか１つに記載の生体試料検出システム。
（１１）
　前記信号取得部は、前記サンプルの前記撮像画像を分光スペクトル画像として生成する前記（１）～（１０）の何れか１つに記載の生体試料検出システム。
（１２）
　前記信号取得部は、蛍光染色された前記サンプルが励起光を照射されることにより発する蛍光スペクトルを観察することで得られた前記画像信号から前記撮像画像を生成する前記（１１）に記載の生体試料検出システム。
（１３）
　前記観察系は、前記サンプルの異なる２以上の位置に波長の異なるライン状の光を照射する照射部をさらに含み、
　観察系は、前記波長の異なるライン状の光が照射された前記２以上の位置を同時に撮像する
　前記（１）～（１２）の何れか１つに記載の生体試料検出システム。
（１４）
　前記サンプルに含まれる物質を解析する解析部を備えた前記（１０）に記載の生体試料検出システム。
（１５）
　前記解析部は、前記撮像画像に基づいて、前記観察系の測定精度、前記撮像画像から蛍光成分を分離する際の分離性能、及び、前記サンプルの蛍光染色に用いた蛍光試薬パネルの染色性能のうちの少なくとも１つを解析する前記（１４）に記載の生体試料検出システム。
（１６）
　前記補正部は、前記ライン状の視野が前記対物レンズの光軸に対して垂直なｘｙ平面上に位置し、前記ｘｙ平面のｙ軸方向が前記第一方向と対応し、ｘを前記対物レンズの光軸と交わる点を原点としたｘｙ座標系におけるにｘ軸上の位置とし、ｙを前記ｘｙ座標系におけるｙ軸上の位置とし、ｃ１～ｃ４を所定の係数とした場合、以下の式（４）を用いて前記撮像画像を補正する
Figure JPOXMLDOC01-appb-M000005
 　前記（１）～（１５）の何れか１つに記載の生体試料検出システム。
（１７）
　前記ｃ１は、前記対物レンズの倍率に関する係数であり、
　前記ｃ２は、ｘ軸方向の位置に応じて前記撮像画像がｘ軸方向に歪む程度を示す係数であり、
　前記ｃ３は、ステージスキャンに関する係数であり、
　前記ｃ４は、ｘ軸方向の位置に応じて前記撮像画像がｙ軸方向に歪む程度を示す係数である
　前記（１６）に記載の生体試料検出システム。
（１８）
　前記サンプルは、病理標本である前記（１）～（１７）の何れか１つに記載の生体試料検出システム。
（１９）
　前記（１）～（１８）の何れか１つに記載の生体試料検出システムを備える顕微鏡システム。
（２０）
　前記（１９）に記載の顕微鏡システムと、
　前記サンプルに励起光を照射する光源と、
　を備える蛍光顕微鏡システム。
（２１）
　生体試料を含むサンプルと対物レンズの相対位置を第一方向に時間的に変化させながら前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で撮像することで得られた画像信号から前記サンプルの撮像画像を生成し、
　前記撮像画像の歪みを前記対物レンズと前記ライン状の視野との位置関係に応じて補正する
　ことを含む生体試料検出方法。
（２２）
　情報処理装置に搭載されたプロセッサを機能させるためのプログラムであって、
　前記プロセッサに、
　　生体試料を含むサンプルと対物レンズの相対位置を第一方向に時間的に変化させながら前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で撮像することで得られた画像信号から前記サンプルの撮像画像を生成する処理と、
　前記撮像画像の歪みを前記対物レンズと前記ライン状の視野との位置関係に応じて補正する処理と、
　を実行させるためのプログラム。
　１　　観察ユニット
　２　　処理ユニット
　３　　表示部
　１０　　励起部
　２０　　ステージ
　２１　　記憶部
　２２　　データ校正部
　２３　　画像形成部
　３０，１３０　　分光イメージング部
　３２，３２ａ，３２ｂ　　撮像素子
　３５　　回折格子
　３８　　波長分散素子
　５０　　走査機構
　７０　　非蛍光観察部
　８０　　制御部
　８１　　チェックボックス
　１００　　蛍光観察装置
　Ｅｘ１，Ｅｘ２　　ライン照明
　Ｓ　　サンプル

Claims (22)

  1. 　生体試料を含むサンプルを支持可能なステージと、
    　対物レンズを含み、前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で観察する観察系と、
    　を有し、
    　前記ライン状の視野と直交する第一方向に前記観察系を走査することで前記サンプルから得られる画像信号を取得する信号取得部と、
    　前記画像信号に基づく撮像画像の歪みを前記対物レンズの光軸中心と前記ライン状の視野の位置関係とに基づいて補正する補正部と、
    　を備える生体試料検出システム。
  2. 　前記補正部は、前記観察系の光学情報にさらに基づいて前記撮像画像の歪みを補正する請求項１に記載の生体試料検出システム。
  3. 　前記観察系の光学情報は、前記観察系が備える撮像部の倍率及び前記ステージの走査に関する情報のうちの少なくとも１つを含む請求項２に記載の生体試料検出システム。
  4. 　前記観察系は、前記サンプルにライン状の光を照射する照射部を含み、前記ライン状の光を前記第一方向に走査する
    　請求項１に記載の生体試料検出システム。
  5. 　前記信号取得部は、前記観察系の走査中に前記ライン状の視野を撮像することで得られた複数の領域画像を繋げることで前記撮像画像を生成する請求項１に記載の生体試料検出システム。
  6. 　前記観察系は、前記第一方向を含む走査平面と平行であって前記第一方向と垂直な方向に沿って配列された複数の画素を備えるセンサで前記ライン状の視野を撮像することで前記複数の領域画像を生成する請求項５に記載の生体試料検出システム。
  7. 　前記信号取得部は、前記サンプルの異なる位置を撮像することで得られた複数の画像データそれぞれから前記ライン状の視野に対応する領域を切り出すことで前記複数の領域画像を生成する請求項６に記載の生体試料検出システム。
  8. 　前記補正部は、前記対物レンズの光軸に対する前記ライン状の視野の位置に基づいて前記撮像画像の歪みを補正する請求項１に記載の生体試料検出システム。
  9. 　前記ライン状の視野は、前記第一方向と垂直な方向に長い矩形領域である請求項１に記載の生体試料検出システム。
  10. 　前記観察系は、互いに位置が異なる２以上の前記ライン状の視野を同時に撮像する請求項１に記載の生体試料検出システム。
  11. 　前記信号取得部は、前記サンプルの前記撮像画像を分光スペクトル画像として生成する請求項１に記載の生体試料検出システム。
  12. 　前記信号取得部は、蛍光染色された前記サンプルが励起光を照射されることにより発する蛍光スペクトルを観察することで得られた前記画像信号から前記撮像画像を生成する請求項１１に記載の生体試料検出システム。
  13. 　前記観察系は、前記サンプルの異なる２以上の位置に波長の異なるライン状の光を照射する照射部をさらに含み、
    　観察系は、前記波長の異なるライン状の光が照射された前記２以上の位置を同時に撮像する
    　請求項１に記載の生体試料検出システム。
  14. 　前記サンプルに含まれる物質を解析する解析部を備えた請求項１０に記載の生体試料検出システム。
  15. 　前記解析部は、前記撮像画像に基づいて、前記観察系の測定精度、前記撮像画像から蛍光成分を分離する際の分離性能、及び、前記サンプルの蛍光染色に用いた蛍光試薬パネルの染色性能のうちの少なくとも１つを解析する請求項１４に記載の生体試料検出システム。
  16. 　前記補正部は、前記ライン状の視野が前記対物レンズの光軸に対して垂直なｘｙ平面上に位置し、前記ｘｙ平面のｙ軸方向が前記第一方向と対応し、ｘを前記対物レンズの光軸と交わる点を原点としたｘｙ座標系におけるにｘ軸上の位置とし、ｙを前記ｘｙ座標系におけるｙ軸上の位置とし、ｃ１～ｃ４を所定の係数とした場合、以下の式（１）を用いて前記撮像画像を補正する
    Figure JPOXMLDOC01-appb-M000001
     　　請求項１に記載の生体試料検出システム。
  17. 　前記ｃ１は、前記対物レンズの倍率に関する係数であり、
    　前記ｃ２は、ｘ軸方向の位置に応じて前記撮像画像がｘ軸方向に歪む程度を示す係数であり、
    　前記ｃ３は、ステージスキャンに関する係数であり、
    　前記ｃ４は、ｘ軸方向の位置に応じて前記撮像画像がｙ軸方向に歪む程度を示す係数である
    　請求項１６に記載の生体試料検出システム。
  18. 　前記サンプルは、病理標本である請求項１に記載の生体試料検出システム。
  19. 　請求項１に記載の生体試料検出システムを備える顕微鏡システム。
  20. 　請求項１９に記載の顕微鏡システムと、
    　前記サンプルに励起光を照射する光源と、
    　を備える蛍光顕微鏡システム。
  21. 　生体試料を含むサンプルと対物レンズの相対位置を第一方向に時間的に変化させながら前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で撮像することで得られた画像信号から前記サンプルの撮像画像を生成し、
    　前記撮像画像の歪みを前記対物レンズと前記ライン状の視野との位置関係に応じて補正する
    　ことを含む生体試料検出方法。
  22. 　情報処理装置に搭載されたプロセッサを機能させるためのプログラムであって、
    　前記プロセッサに、
    　　生体試料を含むサンプルと対物レンズの相対位置を第一方向に時間的に変化させながら前記サンプルを前記対物レンズを介した視野の一部であるライン状の視野で撮像することで得られた画像信号から前記サンプルの撮像画像を生成する処理と、
    　前記撮像画像の歪みを前記対物レンズと前記ライン状の視野との位置関係に応じて補正する処理と、
    　を実行させるためのプログラム。
PCT/JP2021/036810 2020-10-15 2021-10-05 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム WO2022080189A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022557389A JPWO2022080189A1 (ja) 2020-10-15 2021-10-05
US18/246,340 US20240085685A1 (en) 2020-10-15 2021-10-05 Biological specimen detection system, microscope system, fluorescence microscope system, biological specimen detection method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-174032 2020-10-15
JP2020174032 2020-10-15

Publications (1)

Publication Number Publication Date
WO2022080189A1 true WO2022080189A1 (ja) 2022-04-21

Family

ID=81207999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036810 WO2022080189A1 (ja) 2020-10-15 2021-10-05 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム

Country Status (3)

Country Link
US (1) US20240085685A1 (ja)
JP (1) JPWO2022080189A1 (ja)
WO (1) WO2022080189A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180120547A1 (en) * 2015-04-02 2018-05-03 Huron Technologies International Inc. High resolution pathology scanner with improved signal to noise ratio
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180120547A1 (en) * 2015-04-02 2018-05-03 Huron Technologies International Inc. High resolution pathology scanner with improved signal to noise ratio
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法

Also Published As

Publication number Publication date
JPWO2022080189A1 (ja) 2022-04-21
US20240085685A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
US11971355B2 (en) Fluorescence observation apparatus and fluorescence observation method
EP2943761B1 (en) Multispectral imaging system and methods
US20140193061A1 (en) Whole Slide Multispectral Imaging Systems and Methods
JP2018119968A (ja) 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法
JP6771584B2 (ja) デジタルパソロジーのカラーキャリブレーションおよび実証
US20090296207A1 (en) Laser scanning microscope and its operating method
US11106026B2 (en) Scanning microscope for 3D imaging using MSIA
JP2010054391A (ja) 光学顕微鏡、及びカラー画像の表示方法
CN114460020A (zh) 一种基于数字微反射镜的高光谱扫描系统及方法
EP2946398B1 (en) Optical and integrated inspection apparatus and method
JP2013003386A (ja) 撮像装置およびバーチャルスライド装置
WO2022080189A1 (ja) 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム
JP7501364B2 (ja) 分光イメージング装置および蛍光観察装置
JP7669932B2 (ja) 顕微鏡装置、分光器、および、顕微鏡システム
WO2012147492A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2022138374A1 (ja) データ生成方法、蛍光観察システムおよび情報処理装置
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
JP2006317261A (ja) 走査型サイトメータの画像処理方法及び装置
US12352945B2 (en) Microscope device, spectroscope, and microscope system
US20240354913A1 (en) Information processing method, information processing device, and program
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879929

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022557389

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21879929

Country of ref document: EP

Kind code of ref document: A1