WO2022107723A1 - 近赤外光を利用した撮像システム及び撮像方法 - Google Patents
近赤外光を利用した撮像システム及び撮像方法 Download PDFInfo
- Publication number
- WO2022107723A1 WO2022107723A1 PCT/JP2021/041938 JP2021041938W WO2022107723A1 WO 2022107723 A1 WO2022107723 A1 WO 2022107723A1 JP 2021041938 W JP2021041938 W JP 2021041938W WO 2022107723 A1 WO2022107723 A1 WO 2022107723A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- subject
- infrared
- infrared light
- specimen
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 20
- 210000001519 tissue Anatomy 0.000 claims description 77
- 210000001165 lymph node Anatomy 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 31
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 15
- 230000001678 irradiating effect Effects 0.000 claims description 14
- 238000009792 diffusion process Methods 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 13
- 239000012535 impurity Substances 0.000 claims description 12
- 230000031700 light absorption Effects 0.000 claims description 12
- 230000004888 barrier function Effects 0.000 claims description 10
- 239000000834 fixative Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 210000000496 pancreas Anatomy 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 22
- 238000010521 absorption reaction Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 11
- 150000002632 lipids Chemical class 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 210000000713 mesentery Anatomy 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 3
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002224 dissection Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 3
- -1 for example Substances 0.000 description 3
- MAHXCOMHJBHBGO-RTKIROINSA-N hematoxin Chemical compound C12=CC(O)=C(O)C=C2C[C@]2(O)[C@H](OC)C11C=CC(=O)C(O)=C1OC2 MAHXCOMHJBHBGO-RTKIROINSA-N 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 210000004224 pleura Anatomy 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- KFZMGEQAYNKOFK-UHFFFAOYSA-N Isopropanol Chemical compound CC(C)O KFZMGEQAYNKOFK-UHFFFAOYSA-N 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 206010060862 Prostate cancer Diseases 0.000 description 2
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 2
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 2
- 150000001298 alcohols Chemical class 0.000 description 2
- WQZGKKKJIJFFOK-VFUOTHLCSA-N beta-D-glucose Chemical compound OC[C@H]1O[C@@H](O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-VFUOTHLCSA-N 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 229940039231 contrast media Drugs 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 229910052725 zinc Inorganic materials 0.000 description 2
- 239000011701 zinc Substances 0.000 description 2
- POAOYUHQDCAZBD-UHFFFAOYSA-N 2-butoxyethanol Chemical compound CCCCOCCO POAOYUHQDCAZBD-UHFFFAOYSA-N 0.000 description 1
- 206010008254 Cervical cyst Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910000861 Mg alloy Inorganic materials 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 210000003815 abdominal wall Anatomy 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 150000007513 acids Chemical class 0.000 description 1
- 210000001789 adipocyte Anatomy 0.000 description 1
- 210000004100 adrenal gland Anatomy 0.000 description 1
- 150000001299 aldehydes Chemical class 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 150000003278 haem Chemical class 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000003563 lymphoid tissue Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002747 omentum Anatomy 0.000 description 1
- 230000008557 oxygen metabolism Effects 0.000 description 1
- 210000004738 parenchymal cell Anatomy 0.000 description 1
- 210000004303 peritoneum Anatomy 0.000 description 1
- OXNIZHLAWKMVMX-UHFFFAOYSA-N picric acid Chemical compound OC1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-N 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000574 retroperitoneal space Anatomy 0.000 description 1
- 210000003079 salivary gland Anatomy 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000003685 thermal hair damage Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
Definitions
- the present invention relates to an imaging system and an imaging method using near-infrared light.
- An imaging system that captures images of tissues of parts of the animal and human bodies and utilizes the images for various diagnoses, examinations, observations, and the like.
- This imaging system illuminates a target area with light having a predetermined wavelength for imaging, and at that time, it is desired to be able to clearly image a target in a tissue. Since a silicon image sensor with high resolution can be used at a wavelength of 1 ⁇ m or less for illumination light, inspection support devices and surgery support devices that utilize near-infrared light with a wavelength of 1 ⁇ m or less have been developed. There is.
- Non-Patent Document 1 a device for monitoring oxygen metabolism and visualizing blood vessels that are difficult to observe under direct vision has been realized (see Non-Patent Document 1).
- the light absorption band of the main molecules constituting the living body such as water, lipid, and glucose exists in the near-infrared wavelength region having a wavelength of 1 ⁇ m or more and 2.5 ⁇ m or less.
- the absorption band of water has peaks around wavelengths of 1500 nm and 2000 nm, and the wavelength range of about 700 to 1400 nm where absorption is small is called a window of a living body.
- Each organ of the body has a slightly different water content depending on the type of cells that compose it and the pathological condition.
- T2 (proton) enhancement of MRI images is used for inspection and diagnosis by utilizing this difference, but in the near-infrared wavelength region where the wavelength of 1 ⁇ m or more and 2.5 ⁇ m or less, where the efficiency of light absorption changes significantly, MRI Similar to the T2 (proton) -enhanced image of the image, it can be a means for evaluating the state of each organ.
- Non-Patent Document 2 an example using a hyperspectral camera having a built-in spectroscopic grating has been reported (see Non-Patent Document 2).
- the near-infrared sensor In the near-infrared region, since the absorption of multiple substances overlaps, there is a problem that the overlap between bands due to multiple overtones and hot bands is large, the spectrum is complicated, analysis is difficult, and substance identification is difficult. Analysis has been improved with advances in statistical data processing techniques.
- the near-infrared sensor is required to have high sensitivity and low noise in order to detect weak absorption such as overtones and hot bands, and to have high sensitivity linearity to light intensity for quantitative analysis.
- a two-dimensional array type sensor is desired in order to simultaneously perform absorption spectrum measurement and spatial position measurement.
- the present inventor has proposed an imaging system and a surgical support system for acquiring an image of a tissue inside a living body in which the imaging time and the amount of irradiation light of the living tissue are reduced (Patent Document 1).
- Patent Document 1 the reflected light that can be obtained when the living tissue is irradiated with infrared light having a wavelength in the infrared region based on the spectral characteristics of water and lipid, and the reflected light that can be obtained when the living tissue is irradiated with visible light. Therefore, an imaging system for acquiring an image in which the water portion is emphasized is disclosed.
- an infrared camera using an InGaAs semiconductor is used as an infrared image pickup element.
- Patent Document 2 an optical measuring device and an optical measuring method using near-infrared light have been proposed (Patent Document 2).
- the position of the tissue is measured by acquiring an image showing the intensity distribution of the light reflected from the subject by irradiating the subject with near-infrared light.
- a near-infrared composition imaging system is commercially available (Compovision (registered trademark), manufactured by Sumitomo Electric Industries, Ltd.). It is a composition imaging system consisting of a camera consisting of a two-dimensional light receiving element capable of receiving near-infrared light with a wavelength of 1000 to 2350 nm and a spectroscope, and hyperspectral analysis / imaging software, and irradiates the subject with near-infrared light. By detecting the light reflected from the subject, the composition of the subject can be analyzed.
- lymphoid tissue cleansing is performed to prevent lymph node recurrence.
- Surgeons and pathologists collect lymph nodes during and after surgery by relying on the tactile sensation through surgical gloves to proceed with histological diagnosis and genetic diagnosis, but recovery itself is uncertain if the size is 5 mm or less. Therefore, there is a need for a means for confirming that lymph nodes are surely contained in the collected (excised) tissue.
- Intraoperative administration of fluorescent substances, etc. is effective in detecting such lymph nodes, but i) there is a risk of toxicity and allergic reactions in the use of contrast media, and ii) lymph nodes to which contrast media can be delivered. In addition, there are problems such as difficulty in reaching the excitation light when lymph nodes are present in the deep part of the thick stromal tissue.
- a thick subject for example, a living tissue is imaged using a conventional near-infrared light imaging system that receives reflected light for imaging, it is difficult to remove noise and a sufficient S / N ratio is obtained. There is a problem that it cannot be taken and the sensitivity is not sufficient. In particular, it is difficult to detect when the imaging target is in a deep part of the subject (specimen), for example, a deep part in a living tissue (for example, a position where the depth exceeds 5 mm).
- An object of the present invention is to provide an imaging system and an imaging method capable of easily and surely acquiring a deep image even when imaging a thick subject (specimen), for example, a living tissue.
- the present invention is a system for imaging a subject (specimen) using transmitted light of near-infrared light, and is near-red in the near-infrared light (preferably in the wavelength range of 1000 nm to 2000 nm).
- the subject is external light, more preferably near-infrared light in the wavelength range of 1000 nm to 1600 nm, and more preferably near-infrared light in the wavelength range of 1300 nm to 1600 nm in which the absorption of water is larger than that of lipid.
- a near-infrared camera that receives near-infrared light transmitted through the subject (specimen), and a near-infrared light received by the near-infrared camera.
- An imaging system comprising a control unit having an image processing unit for generating an enhanced image in which a portion in a subject (specimen) that absorbs infrared light is emphasized, the near-infrared light irradiation unit and the above.
- the near-infrared camera is arranged at positions facing each other with the subject (specimen) to be imaged interposed therebetween, and the near-infrared camera has a plurality of light receiving elements electrically separated from adjacent light receiving elements.
- An imaging system is provided with a light receiving element array arranged in two dimensions.
- the near-infrared light irradiation unit and the near-infrared camera are arranged at positions facing each other with the subject (specimen) to be imaged sandwiched between them. It means that the (specimen) and the near-infrared camera are arranged in a straight line or a substantially straight line in that order, and when viewed with reference to the light emitted from the irradiation unit, it is close to the near-infrared light irradiation unit.
- the infrared camera means that the subject (specimen) to be imaged is positioned on the optical axis connecting the two.
- a visible camera that receives visible light reflected from the subject (specimen)
- the image processing unit receives the near-infrared light received by the near-infrared camera.
- the image pickup system which combines the result and the light reception result of visible light received by a visible camera to generate an enhanced image in which a portion in a subject (specimen) that absorbs near-infrared light is emphasized.
- the image pickup system since the entire image of the subject (specimen) is captured by the visible camera, the positional relationship between the portion in the subject (specimen) that absorbs near-infrared light and the entire subject can be confirmed.
- the near-infrared light irradiation unit is an LED module in which LED elements capable of irradiating a subject (specimen) with near-infrared light in the wavelength range of 1300 nm to 1600 nm are arranged in two dimensions.
- the imaging system including the above is provided.
- the near-infrared light irradiation unit is provided with the image pickup system including an inverted conical light reflector extending from the vicinity of the light source unit.
- the near-infrared light irradiation unit is provided with the image pickup system including a filter unit made of an acrylic plate.
- the imaging system further provided with a sample table capable of transmitting near-infrared light is provided.
- the seventh aspect of the present invention is a method of imaging a subject (specimen) using transmitted light of near-infrared light, from near-infrared light (preferably from 1000 nm to 2000 nm, more preferably from 1000 nm).
- An imaging method including a step of generating an enhanced image in which a portion in the subject (specimen) that absorbs the near-infrared light is emphasized based on the result of receiving the near-infrared light received by the near-infrared camera. Therefore, the near-infrared light is emitted from a position facing the near-infrared camera with the subject (specimen) to be imaged sandwiched therein, and the near-infrared camera is electrically separated from the adjacent light receiving element.
- an imaging method which is a near-infrared camera including a light receiving element array in which a plurality of light receiving elements are arranged in two dimensions.
- the step of receiving the visible light reflected from the subject (specimen) by the visible camera, and the light receiving result of the near infrared light received by the near infrared camera is further, the step of receiving the visible light reflected from the subject (specimen) by the visible camera, and the light receiving result of the near infrared light received by the near infrared camera.
- An imaging method including a step of synthesizing the light reception result of the visible light received by the visible camera to generate an enhanced image in which a portion in the subject (specimen) that absorbs the near infrared light is emphasized. Is provided. In this method, since the entire image of the subject (specimen) is captured by the visible camera, the positional relationship between the portion in the subject (specimen) that absorbs near-infrared light and the entire subject can be confirmed.
- an image is taken by irradiating with near-infrared light (preferably 1000 nm to 2000 nm, more preferably 1000 nm to 1600 nm, still more preferably near-infrared light in the wavelength range of 1300 nm to 1600 nm).
- a container for example, a mast
- a container based on infrared light is provided.
- the container such as a petri dish, may itself be made of acrylic.
- the target site existing in the subject (specimen) can be easily imaged or confirmed.
- FIG. A shows the image pickup system shown in FIG. A is the result of imaging with a near-infrared camera arranged so as to directly receive the irradiated near-infrared light.
- the upper figure shows the results of imaging using a near-infrared camera that does not have electrical separation between the light-receiving elements
- the lower figure shows the results of imaging using a near-infrared camera that electrically separates each light-receiving element. It is the result of doing.
- B is the result of taking a picture by increasing the current value of the near-infrared light using a near-infrared camera in which the photodiode cells are electrically separated.
- the numerical value shows the current value applied to the LED module. This is the result of putting the mouse tissue (mesentery) in a petri dish containing a fixing solution and performing imaging using the apparatus of the present invention.
- the figure on the left is the result of imaging with a visible camera, and shows the state in which each tissue (spleen, pancreas and mesentery) is separated after dissection.
- the figure on the right shows the result of imaging the tissue (mesentery) irradiated with near-infrared light by receiving the transmitted light with a near-infrared camera.
- A is the result of imaging the living tissue with visible light.
- B and C are the results of irradiating a living tissue with near-infrared light and receiving the reflected light with a near-infrared camera for imaging.
- D is a histological image obtained by staining with hematoxin and eosin.
- the upper left figure is the result of imaging with a visible camera
- the upper right figure is the result of receiving and imaging the transmitted light of a human tissue irradiated with near-infrared light with a near-infrared camera.
- the figure below is a histological image obtained by staining with hematoxin and eosin.
- the terms "subject” and “specimen” mean an object imaged using the apparatus and / or method of the present invention, and are used as terms that can be replaced with each other.
- the term "near-infrared light transmitted through” means that when the subject is irradiated with near-infrared light, the subject is transmitted (penetrated) and received light on the side opposite to the irradiation side with respect to the subject. Means the light that is done.
- the side opposite to the irradiation side means that the irradiated light is located on the optical axis in a state of traveling straight. Therefore, if there is a portion of the subject that absorbs the irradiated near-infrared light, the transmitted light of that portion becomes weaker than the surroundings depending on the degree of absorption.
- the "visible light reflected" from the subject is the light emitted from the subject when the subject is irradiated with light, and the light received with respect to the subject on the same side as the irradiation side.
- Irradiation of light can be performed using a specific irradiation device, but the reflected light can be detected (received) using light such as indoor light as a light source without using a special irradiation device.
- FIG. 1 is a diagram showing an example of an imaging system according to an embodiment of the present invention.
- the image pickup system 1000 shown in FIG. 1 includes a near-infrared irradiation unit 20 and a near-infrared camera 10.
- FIG. 1 does not show an image processing unit for generating an image based on a light receiving result.
- the near-infrared light irradiation unit 20 and the near-infrared camera 10 are arranged so as to face each other with the subject P to be imaged interposed therebetween.
- the near-infrared light (indicated by an arrow in the figure) emitted from the near-infrared irradiation unit 20 is directed straight toward the near-infrared camera 10 and is received by the camera.
- the present invention uses a near-infrared camera equipped with a light-receiving element array in which a plurality of light-receiving elements electrically separated from adjacent light-receiving elements are arranged two-dimensionally, so that the emitted near-infrared light can be emitted. Even when passing directly around the subject, the subject can be well imaged without the use of other additional structures such as a carbano scanner.
- a plurality of light-receiving elements are two-dimensionally arranged in the light-receiving portion, and each light-receiving element is electrically separated from the adjacent light-receiving element. Therefore, optical crosstalk and blooming can be suppressed, and even when the camera directly receives the irradiated near-infrared light, good imaging of the subject is possible.
- the structure of the light receiving element array includes a mesa type and a planar type, but any structure can be used as long as the adjacent light receiving elements are electrically separated from each other and optical crosstalk and blooming can be sufficiently suppressed.
- a method of electrically separating a light receiving element from an adjacent cell which is used in one aspect of the present invention, for example, movement of a light generating carrier between elements adjacent to each other, that is, lateral diffusion is performed.
- a method of providing a layer (diffusion layer) for blocking and electrically separating the layers can be mentioned.
- a method for providing a layer between the elements a method known in the art can be used. For example, an array of light receiving elements surrounded by an impurity-doped layer (impurity diffusion layer) can be created with reference to a known light receiving element array manufacturing process.
- the impurity diffusion layer is not particularly limited as long as it provides sufficient separation between the light receiving elements, but when a PN type light receiving element is used, impurities of a different type (p type or n type) from the light absorption layer are doped. It is a layer.
- the light receiving element array is a PN type having a structure in which a light absorption layer is formed on a barrier layer formed on a substrate and a window layer is laminated on the light absorption layer. It is a light receiving element array. By sandwiching the light absorption layer between the barrier layer and the window layer, it is possible to reduce the dark current that affects the detection limit.
- the light receiving element array is a planar type PN type light receiving element array, and each light receiving element is surrounded by an impurity diffusion layer extending to the barrier layer, and electricity is supplied from the light receiving elements adjacent to each other. Is separated.
- the impurity diffusion layer is p-type.
- the p-type impurity diffusion layer include, but are not limited to, a zinc diffusion layer.
- a method of electrically separating the light receiving element used in one aspect of the present invention from the adjacent light receiving element for example, a method of electrically separating by providing a separation groove between the light receiving elements adjacent to each other may be mentioned. be able to.
- a method for providing the separation groove between the elements a method known in the art can be used, and the method can be created by, for example, a standard semiconductor selective etching process.
- the light receiving element array is provided with a separation groove between the light receiving elements adjacent to each other, and an impurity diffusion layer is formed on the side surface of the light absorption layer in the separation groove, so that each light receiving element is formed.
- Examples of the light receiving element array having such a structure, which are electrically separated from the light receiving elements adjacent to each other, include the compound semiconductor light receiving element array described in JP-A-2019-96758.
- a light receiving element near infrared light detection element
- an InGaAs element having a sensitivity of at least 1.6 ⁇ m can be mentioned.
- Photodiode arrays using InGaAs devices with extremely little crosstalk between devices are described in the above-mentioned International Publication No. WO2011 / 089949 and JP-A-2019-096758.
- a layer doped with impurities of a type different from that of the light absorbing layer reaches the barrier layer and surrounds the element.
- a planar type structure that electrically separates the elements it is possible to suppress noise and confine the capacitance saturation by separating the elements, obtain a sufficient S / N ratio, and enable clear imaging.
- the number of pixels of the near-infrared camera used in this embodiment is 100,000 pixels or more, preferably 200,000 pixels or more, and more preferably 300,000 pixels or more.
- the near-infrared camera 10 has an image pickup optical system (not shown) in addition to the light receiving element.
- This image pickup optical system includes a zoom lens for setting the image pickup magnification of the subject P and a focus lens for focusing on the subject P.
- the near-infrared camera 10 has a lens drive system (not shown) that drives one or more of these zoom lenses and focus lenses.
- the near-infrared camera 10 includes a synchronizable interface such as a trigger input circuit or IEEE 1394.
- the near-infrared camera 10 is a near-infrared light, preferably near-infrared light in the wavelength range of 1000 nm to 2000 nm, more preferably 1000 nm to 1600 nm, still more preferably 1300 nm to 1600 nm. Is set so that it can receive light. Since near-infrared light having a wavelength of 1300 nm to 1600 nm is more easily absorbed by water than lipids, it is possible to acquire a target containing more water than the periphery in the subject as image data.
- a portion containing a large amount of lipid or a portion containing a large amount of water can be obtained as an image emphasized with respect to the surroundings.
- lymph nodes in the surrounding stromal tissue can be acquired as image data.
- near-infrared light having a wavelength of 1000 nm to 1600 nm is absorbed more by proteins and starch than water. As described above, the absorption of near-infrared light having a specific wavelength differs depending on the component. Therefore, it is possible to obtain images reflecting the composition based on absorption of various subjects including tissues and foods.
- the near-infrared light irradiation unit 20 irradiates the subject P from a position facing the near-infrared camera 10 with the subject P in between.
- the camera can receive a larger amount of near-infrared light that has passed through the subject P. Therefore, the camera can detect sufficient transmitted light even for a thick subject P.
- the subject P is irradiated from a position facing the camera 10 with the subject P in between, not only the light transmitted through the subject P but also the light directly transmitted around the subject P is received by the camera 10.
- the near-infrared light irradiation unit 20 irradiates the subject P from directly below.
- the near-infrared light irradiation unit 20 of the present invention includes an LED module 21 in which an LED (Light Emitting Diode) element 23 that emits near-infrared light is arranged two-dimensionally.
- an LED Light Emitting Diode
- one LED element 23 arranged on an independent substrate 22 is arranged two-dimensionally. It may be one, or as shown in the left figure of FIG. 3, a plurality of LED modules 23 may be arranged two-dimensionally on one substrate 22.
- one LED element may be mounted on a single metal package, but preferably, a plurality of LED elements 23 that emit near-infrared emission wavelengths are mounted two-dimensionally.
- an LED element 23 that emits a wavelength of 1350 nm, 1400 nm, 1450 nm, 1500 nm, or 1550 nm is mounted.
- Each of these LED elements 23 is electrically connected to a metal terminal and further connected to a drive circuit (not shown).
- the LED module 21 of the near-infrared light irradiation unit can arbitrarily adjust the number of LEDs mounted and the number of connected series or parallels.
- LED elements capable of emitting the near-infrared wavelength.
- the above, or 60 or more LED modules may be two-dimensionally integrated, preferably 16 or more, more preferably 30 or more, still more preferably 40 or more, still more preferably 50 or more, and most preferably 60. It is an LED module in which more than one LED element is integrated. It can be used in the present invention as long as it can emit near-infrared light with an amount of light that can transmit the subject, but by using the integrated LED, a sufficient amount of light can be used even if the subject is a thick object. It can transmit near-infrared light.
- the irradiance of the light irradiating the subject P changes depending on the distance from the LED element to the subject P, the type and number of LED elements, and the current applied to the LED element. Therefore, the irradiance to irradiate the subject P may be appropriately adjusted in the amount of current according to the LED elements used, the number of LED elements, and the properties of the subject P.
- the irradiance is not particularly limited as long as it can pass through the subject, but is, for example, 30 ⁇ W / cm 2 or more, preferably 50 ⁇ W / cm 2 or more. When the subject is sensitive to heat, for example, a living tissue, the irradiance is preferably 10 mW / cm 2 or less.
- the near-infrared camera directly emits the near-infrared light emitted from the near-infrared light irradiation unit as a part of the near-infrared light irradiation unit 20 or as another configuration.
- No additional configuration such as a carbano scanner, is required so that the camera does not receive light, i.e., that the camera does not receive light that does not pass through the subject and passes directly around the subject.
- a configuration such as a carbano scanner may be added depending on the purpose of use and the application.
- the near-infrared light irradiation unit 20 of the present invention can include a light reflector 40 and / or a filter 45 for improving irradiation to a subject as shown in FIG.
- the material and shape of the light reflector are not particularly limited as long as they absorb less near-infrared light and can improve the irradiation of the subject with light.
- the material for example, stainless steel, aluminum, titanium alloy, magnesium alloy can be used.
- the shape is not particularly limited as long as it can improve the light collection and directivity to the subject, and examples thereof include an inverted conical shape, and the light reflecting surface is, for example, mirror-polished. It may be treated with alumite or the like.
- the inverted conical reflector 40 is arranged so as to extend from the LED module.
- the filter 45 can be used without particular limitation as long as it absorbs little near-infrared light and has high transmission efficiency, but for example, a filter made of a material such as acrylic, polycarbonate, silicon, polypropylene, or polyethylene may be used. It can be, preferably acrylic. A particularly preferred filter is an acrylic plate.
- the filter 45 is also preferably subjected to surface treatment such as polishing in order to increase the efficiency of irradiating the subject with light, and on the other hand, a polished acrylic plate is particularly preferable.
- FIG. 5 shows a side sectional view of the near-infrared light irradiation unit 20 provided with the inverted conical reflector 40 and the acrylic plate 45.
- the light intensity that the camera can receive is attenuated in inverse proportion to the square of the distance between the light source and the subject P.
- the distance between the light source and the subject is 20 cm
- the brightness of the light is 1/400 of that in the case of 1 cm.
- transmitted near-infrared light is used as in the present embodiment
- the distance between the light source and the subject can be easily adjusted, so that such a problem does not occur and the camera can receive light of sufficient intensity.
- the transmitted light is used as compared with the imaging using the reflected light, it is possible to take an image of an object deep in the subject.
- the subject to be imaged by the system or method of the present invention is not particularly limited, but a subject containing a substance that absorbs near-infrared light is preferable.
- imaging is performed using transmitted light of near-infrared light. Therefore, in the case of a subject containing a substance that absorbs near-infrared light, a portion that absorbs near-infrared light is used.
- the imaging target of the present invention is not limited to this, but the biological tissue will be described below.
- Light having a wavelength band of 1300 nm to 1600 nm is light in which water absorbs a large amount of energy. Therefore, in the embodiment of the present invention, when the near-infrared light in these wavelength bands is used, the energy of the light absorbed by the subject can be reduced, and the subject is heated, causing thermal damage or the like. You can prevent it from happening.
- a near-infrared light irradiation unit that does not reach a high temperature even after continuous use for several tens of minutes, for example, can be maintained at 45 ° C. or lower.
- the irradiation of near-infrared light and the light reception of transmitted light will be described with reference to FIG. 6 by taking as an example the present embodiment in which the subject is irradiated from directly below.
- the near-infrared light emitted from the near-infrared light irradiation unit 20 reaches the subject P. Since light having a wavelength of 1300 nm to 1600 nm is easily absorbed by water, when a portion (for example, lymph node) T containing a large amount of water is present in the subject P, the light hitting the T is absorbed and does not pass through the subject. On the other hand, the light that hits the lipid-rich portion (for example, the stromal tissue) is not absorbed and passes through the subject. As a result, the near-infrared camera 10 can acquire image data in which the portion T containing a large amount of water and its surroundings are distinguished.
- a visible camera 30 that receives visible light reflected from a subject (specimen) is further provided.
- the visible camera 30 may be arranged on the same side as the near-infrared camera 10 with respect to the subject, and may be arranged at any position as long as the visible light reflected from the subject P can be received. It is not necessary to provide a dedicated visible light irradiation unit in order to receive visible light, and sufficient shooting is possible even with indoor light. However, a visible light irradiation unit may be arranged together with the visible camera 30. ..
- the visible camera 30 is a camera having sensitivity to light having a wavelength in the visible region. Light in the visible region is sensitive to the outer shape and surface shape of the subject P.
- a CCD camera or a CMOS camera using a silicon image pickup element such as a CCD image sensor or a CMOS image sensor capable of acquiring an image such as an external shape is used.
- the image processing unit synthesizes the light reception result of the near infrared light received by the near infrared camera and the light reception result of the visible light received by the visible camera. Further, an imaging system for generating an enhanced image in which a portion in a subject that absorbs near-infrared light is emphasized is provided. In such a system, since the entire image of the subject is captured by the visible camera, the positional relationship between the portion inside the subject that absorbs near-infrared light and the entire subject can be confirmed. The composite image and the enhanced image can be generated by appropriately using a known image processing method.
- the light received by the near-infrared camera is received by the near-infrared camera with reference to the light reception result of the visible light received by the visible camera.
- the difference between the light reception result of the near infrared light and the light reception result of the visible light can be calculated.
- the visible light irradiation unit may be used with any light source as long as it can irradiate light in the visible region, but for example, LED lighting, a laser light source, halogen lighting, or the like is used, and LED lighting is preferably used.
- the imaging timing of the near-infrared camera 10 and the visible camera 30 may be either the case where the images are taken separately or the case where the images are taken at the same time. That is, there are cases where the near-infrared light is irradiated from the near-infrared light irradiation unit 20 and the subject P is imaged by the near-infrared camera 10, and separately, the subject P is imaged by the visible camera 30 and near-infrared. When the camera 10 and the visible camera 30 simultaneously capture images, either of them may be used.
- the near-infrared light irradiation unit 20 when the near-infrared light irradiation unit 20 includes a shield 45 composed of an inverted conical light reflector 40 and an acrylic plate, the subject P may be arranged directly on the acrylic plate. It is possible. Alternatively, as shown in FIG. 7A, the subject P can be placed in a container 46 such as a petri dish on an acrylic plate. When the bottom of the container 46 such as a petri dish also serves as a filter, as shown in FIG. 7B, the subject P is placed directly on the near-infrared light irradiation unit 20 provided with the inverted conical reflector 40. It is also possible to place the container 46 and take an image.
- One aspect of the present invention is to capture a subject imaged using near-infrared light (preferably near-infrared light in the wavelength range of 1000 nm to 2000 nm, more preferably 1000 nm to 1600 nm, still more preferably 1300 nm to 1600 nm).
- near-infrared light preferably near-infrared light in the wavelength range of 1000 nm to 2000 nm, more preferably 1000 nm to 1600 nm, still more preferably 1300 nm to 1600 nm.
- the container is preferably a petri dish.
- the subject P can also be placed on the transmission observation sample table 50 for imaging.
- the transmission observation sample table 50 is configured so as not to block the near-infrared light emitted from the near-infrared light irradiation unit 20.
- the transmission observation sample table 50 at least the portion irradiated with near-infrared light (the light-transmitting portion shown by the diagonal line) is near-infrared light. It is made of a material with little interfacial reflection and absorption. Further, it is preferable that the light transmitting portion of the transmission observation sample table 50 is coated or scattered to suppress the interfacial reflection of light.
- the light transmitting portion may be a hole.
- FIG. 9 shows a state in which the subject P placed in the container is placed on the sample table 50 and imaged in the system of the first aspect and the second aspect of the present invention.
- the type of the living tissue is not particularly limited, but the tissue of the skin or the internal organ of the living body can be mentioned, and preferably the tissue of the internal organ of the living body collected or removed from the living body can be mentioned. can. Since the imaging system and method of the present invention can image a subject based on the spectral characteristics of water and lipid, a biological tissue substantially containing water and lipid is preferably used. For example, various organs and various organs in the living body can be mentioned, but not limited to.
- parenchymal organs include lymph nodes, adrenal glands, pancreas, salivary glands, cervical cysts, and the like, and cancers that have developed in these organs and lymph nodes that have metastasized to cancer can be mentioned.
- inflammation and infiltration of cancer in the adventitia such as lung, heart, thoracic cavity and arteriovenous blood vessels in the abdominal cavity can be mentioned.
- the subject which is a living tissue
- the excised biological tissue is placed in a plastic petri dish that does not absorb or has little absorption of near-infrared light, and is placed in the transmission observation sample table 50 in the petri dish.
- the living tissue is preferably placed in a fixation solution in a petri dish.
- the fixative that can be used in the present invention is not particularly limited as long as it can be used for fixing tissues, and examples thereof include aldehydes such as formaldehyde and glutaaldehyde, alcohols such as methanol, ethanol and isopropanol.
- tissue fixatives such as Buan fixative and Zamboni fixative.
- alcohols are preferable.
- a tissue that has already been fixed and stored can also be used as the biological tissue as a subject.
- the biological tissue in a fixed solution can be preferably transferred to a petri dish containing the above-mentioned fixative and imaged on a permeation observation sample table 50.
- FIG. 10 is a functional block diagram showing an imaging system 1000 according to a second embodiment of the present invention.
- the control unit 60 includes an image processing unit 61, a lighting drive unit 62, a storage device 63, an input device 64, and a display unit 65.
- the control unit 60 is electrically connected to the near-infrared camera 10 and is electrically connected to the near-infrared irradiation unit 20 via the illumination drive unit 62.
- the control unit 60 is also electrically connected to the visible camera 30.
- the control unit 60 has an arithmetic processing unit such as a CPU (Central Processing Unit), and the CPU controls the image processing unit 61 and the like based on a control program stored in a storage unit such as a hard disk (not shown). Further, the control unit 60 generates a trigger signal A to be transmitted to the near-infrared camera 10 and the illumination drive unit 62, and a trigger signal A'to be transmitted to the visible camera 30.
- a CPU Central Processing Unit
- the image processing unit 61 processes the image signal B sent from the near-infrared camera 10 and the image signal B'sent from the visible camera 30.
- the image processing unit 61 not only adjusts the color and contrast of the acquired image, but also performs a process of synthesizing a plurality of images sent from the respective cameras as necessary.
- the image processing unit 61 also overlays the image from the near-infrared camera 10 and the image from the visible camera 30, if necessary.
- the lighting drive unit 62 has a drive circuit, and lights the LED mounted on the near-infrared light irradiation unit 20 based on the trigger signal A sent from the control unit 60.
- the storage device 63 stores various programs and stores the image processed by the image processing unit 61.
- the storage device 63 has an input / output (IO) device compatible with a hard disk and a storage medium such as an optical disk, a CD-ROM, a DVD-ROM, a USB memory, and an SD card.
- IO input / output
- a pointing device such as a keyboard, a touch panel, a joystick, or a mouse is used.
- a touch panel may be formed on the display unit 65, which will be described later, and a touch operation may be performed from the image displayed on the display unit 65.
- the user controls the emission intensity from the near-infrared irradiation unit 20, the imaging magnification of the near-infrared camera 10 or the visible camera 30, focusing, imaging instructions, and the image processing unit 61.
- An instruction to save the processed image in the storage device 63 or the like is given.
- the display unit 65 a liquid crystal display device, an organic EL device, or the like is used.
- the display unit 65 displays an image of the subject P captured by the near-infrared camera 10, an image of the subject P captured by the visible camera 30, or an image superimposed on those images.
- the display unit 65 is not limited to one, and a plurality of display units 65 may separately display an image captured by the near-infrared camera 10, an image captured by the visible camera 30, and an overlay image thereof. Further, the image superimposed on one display screen may be displayed.
- the embodiment of the present invention it is possible to display an image overlaid with images acquired by each of the near-infrared camera 10 and the visible camera 30.
- a portion that absorbs near-infrared light existing in the subject, which is the subject can be easily detected or confirmed.
- the lymph nodes existing in the living tissue can be easily detected or confirmed, and according to the embodiment of the present invention, the location of the lymph nodes in the living tissue can be easily confirmed. Lymph nodes can be collected well and tissue diagnosis and genetic diagnosis can be performed.
- the near-infrared camera 10 When the near-infrared camera 10 receives the trigger signal A, the near-infrared camera 10 outputs an image signal B for one screen (one frame) to the control unit 60.
- the image signal B may be either a single analog signal or a digital signal composed of a plurality of signal lines.
- the trigger signal A is also transmitted to the lighting drive unit 62.
- the illumination drive unit 62 Upon receiving the trigger signal A, the illumination drive unit 62 outputs an LED drive signal for each image capture (frame). As a result, the image captured by the near-infrared camera 10 is sent to the control unit 60.
- the frame rate of the near-infrared camera 10 is 10 fps, and one frame is 1/10 second, the near-infrared camera 10 is 1 Acquires 10 near-infrared light images per second.
- the visible camera 30 when the visible camera 30 receives the trigger signal A', it outputs an image signal B'for one screen (one frame) to the control unit 60.
- the image signal B' may be either a single analog signal or a digital signal composed of a plurality of signal lines. As a result, the image captured by the visible camera 30 is sent to the control unit 60.
- control unit 60 has an image processing unit 61 that generates an image that overlays an image acquired by the near-infrared camera 10 and an image acquired by the visible camera 30, and is a visible image. It is possible to generate an enhanced image in which a portion of the subject that absorbs near-infrared light is emphasized on the top.
- imaging by a visible camera is not performed, only imaging by a near-infrared camera is performed, and an enhanced image in which a portion in a subject that absorbs near-infrared light is emphasized can be generated. can.
- the near-infrared light transmitted through the subject is received to generate an image
- the light in the living tissue which becomes a problem when the subject P such as the living tissue is irradiated with light, is generated. Scattering is suppressed, targets existing in deep areas, for example, deeper than 5 mm, can be detected or imaged, and a thick subject P can be imaged.
- the deep structure of the subject P and the near-infrared light corresponding to a specific component are irradiated. Since the image is taken by the near-infrared camera 10, it is possible to acquire the composition / component information of the subject P. Further, according to another embodiment, it is possible to take an image with the visible camera 30 by using visible light (for example, a wavelength of 800 nm or less) sensitive to the outer shape and surface shape of the subject P, so that the composition of the subject P can be taken. -It is possible to acquire the contour information of the subject P at the same time in addition to the component information, and it is possible to acquire an image with good visibility in a short time.
- visible light for example, a wavelength of 800 nm or less
- near-infrared light is used to detect near-infrared light transmitted through the subject. Therefore, when the subject is a living tissue, the subject is in a thick tissue, for example, a stroma. It is possible to detect a target (for example, a lymph node) located at a position deeper than 5 mm in the tissue. Therefore, by using this embodiment, it is possible to detect a target (for example, a lymph node) present in a living tissue having a thickness of 10 mm, preferably 20 mm or more.
- an overlay display of a visible light image and a near infrared light image is possible, and imaging in an open system is possible.
- the imaging guide it becomes possible to collect a part in a living tissue that absorbs near-infrared light, for example, a lymph node.
- the InGaAs light-receiving element used in the light-receiving part of the near-infrared camera does not react to the lighting of the operating room or the examination room. It doesn't have to be dark. Therefore, it is possible to improve the accuracy and efficiency of "searching for lymph nodes" in the pathological examination department or the operating room.
- the imaging method using the imaging system of the above-described embodiment is as follows. First, in the near-infrared camera unit 10, the near-infrared light transmitted through the subject P is electrically separated in two dimensions by irradiating the subject P with the near-infrared light from the near-infrared irradiation unit 20. Image data by near-infrared light is acquired by receiving light with a light receiving element. When a visible image is required in addition to the near-infrared light image, visible light is obtained by acquiring an image showing the intensity distribution of the light emitted from the subject with the visible camera 30 before, after, or at the same time. Acquires image data by. After that, based on each of the acquired image data, the image processing unit 61 generates an enhanced image in which the portion in the subject that absorbs the near-infrared light is emphasized.
- FIG. 11A is a result of taking an image with a near-infrared camera arranged so as to directly receive the irradiated near-infrared light using an LED module in which 60 LED elements having an emission wavelength of 1450 nm are integrated.
- the figure above is a near-infrared camera (manufactured by Nikon, model number NIR-P01S near red) that has multiple light receiving elements arranged in two dimensions, but each light receiving element is not electrically separated from the adjacent light receiving element. This is the result of imaging using a near-infrared camera mounted on an external sample photographing device.
- the figure below shows a plurality of two-dimensionally arranged light-receiving elements, and each light-receiving element is electrically separated from an adjacent light-receiving element. This is the result of imaging using a near-infrared camera (NVU3VLI manufactured by IR Spec Co., Ltd.).
- the numerical values shown below are the current values applied to the LED module.
- the optical crosstalk and blooming between the elements cannot be suppressed and the image cannot be taken only by applying a small amount of current to the LED element.
- the state of the integrated LEDs can be photographed well.
- FIG. 11B when the near-infrared camera shown in the lower figure of FIG. 11A was used, optical crosstalk and blooming between the elements could be satisfactorily suppressed even if the amount of current was further increased by 30 times or more.
- FIG. 12 is a result of acquiring a transmitted image by near-infrared LED irradiation of 1450 nm (the current value applied to the LED module is 0.1 A) using the system of the present invention.
- Mice were dissected, tissue was removed and the mesentery was separated from the tissue.
- This is the result of obtaining a transmitted image of the separated mesentery by putting it in a petri dish containing a fixed solvent and irradiating it with near-infrared light.
- the left figure is a photograph of the mesentery after separation from the tissue, and the right figure is a transmission image using near-infrared light.
- the darkened areas are the lymph nodes.
- the mesentery is composed primarily of adipocytes, the tissue of which contains lymph nodes. An image was obtained that emphasized the lymph nodes containing a large amount of water. Circles in the figure indicate the location of lymph nodes.
- FIG. 13 is the result of imaging using the reflected light of the conventional near-infrared light.
- A is the result of taking a picture with visible light. Lymph nodes are present in the area indicated by the arrow.
- B and C are the results of imaging using near-infrared reflected light. The location of the lymph nodes is indicated by a dotted circle.
- B is the result of imaging under the condition that the whole image can be taken, but the lymph node is unknown.
- C is the result of imaging under the condition that the lymph node can be photographed, but the whole image is blurred and cannot be understood.
- D is the result of hematoxin-eosin staining of the vertical cross section of the tissue.
- B and C are taken from the direction of the black arrow.
- the lymph node existing at a position exceeding 5 mm from the surface could not be detected.
- FIG. 14 shows a transmitted image of a human tissue (right closed lymph node) irradiated with near-infrared light of 1450 nm (the current value applied to the LED module was 0.8 A) using the system of the present invention. Is the result of obtaining.
- the left figure is a photograph of the tissue separated from the tissue, and the right figure is a transmitted image using near-infrared light.
- the black part indicated by the circle is the lymph node, and an image emphasizing the lymph node containing a large amount of water was obtained.
- FIG. 15 shows the results of similar imaging of human tissue resected as left closed lymph node dissection in prostate cancer surgery.
- the upper left figure is a photograph of the excised tissue, and the upper right figure is a transmitted image using near infrared light.
- the black part indicated by the circle is the lymph node, and an image emphasizing the lymph node containing a large amount of water was obtained.
- the figure below shows the results of staining the tissue with hematoxin and eosin.
- P Subject, 1000 ... Imaging system, 10 ... Near infrared camera, 20 ... Near infrared irradiation unit, 21 ... LED module, 22 ... Metal package, 23 ... Light receiving element, 30 ... Visible Camera, 40 ... Reflector, 45 ... Shield, 46 ... Share, 50 ... Transmission observation sample stand, 60 ... Control unit, 61 ... Image processing unit, 62 ... Lighting drive unit 63 ... Memory Device, 64 ... Input device, 65 ... Display unit
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本発明は、厚みのある対象を撮像する場合であっても対象の深部の画像を容易かつ確実に取得可能な撮像システム及び撮像方法を提供することを目的とする。本発明により、近赤外光の透過光を用いて被写体を撮像するシステムであって、近赤外光を被写体に照射可能な近赤外光照射ユニットと、被写体を透過した近赤外光を受光する近赤外カメラと、近赤外カメラによって受光された透過近赤外光の受光結果に基づいて近赤外光を吸収する被写体内の部分が強調された強調画像を生成する画像処理部を有する制御ユニットと、を備えてなる撮像システムであって、近赤外光照射ユニットと近赤外カメラは、撮像する被写体を挟んで対向するように配置されており、近赤外カメラは、隣接する受光素子から電気的に分離されている複数の受光素子が2次元に配置された受光素子アレイを備えた、撮像システムが提供される。
Description
本発明は、近赤外光を利用した撮像システム及び撮像方法に関する。
動物及びヒトの体の一部の組織などを撮像して、その画像を各種診断や検査、観察等に活用する撮像システムが知られている。この撮像システムは、対象領域に所定波長の光を照明して撮像を行うが、その際、組織内の標的を鮮明に撮像できることが望まれている。照明光の波長1μm以下においては、高解像度をもつシリコン撮像素子が利用できるため、これを用いて、波長1μm以下の近赤外光を活用する検査支援装置や手術支援装置の開発が行われている。生体に含まれるヘムや、投与されたインドシアニン色素などに起因する700~900nm付近の光吸収帯や蛍光を利用するもので、診断治療で必要となる解剖学的情報や、病的状態、そしてその広がりを検出評価する目的で利用法の開拓が試みられている。光吸収の場合で、酸素代謝のモニターや直視下での観察が難しい血管を可視化する装置が、実現されているところである(非特許文献1参照)。
波長1μmから2.5μmまでの近赤外領域には、近赤外光の吸収によって生じる分子の基準振動の倍音や結合音が存在する。これらは3μm以上の波長域の中赤外光に表れる基準振動に比べて吸収が弱い反面、物質を透過しやすいため物質の内部まで光が侵入することより、非破壊的計測への応用が期待されている。
水や脂質、グルコースなどの生体を構成する主な分子の光吸収帯は、波長1μm以上、2.5μm以下の近赤外波長領域に存在する。例えば、水の吸収帯は波長1500nm及び2000nm付近にピークがあり、吸収の小さい700~1400nm程度の波長域は、生体の窓と呼ばれている。体の各器官はこれを構成する細胞の種類や病的状態によって、含水量が微妙に異なる。MRI画像のT2(プロトン)強調は、この違いを利用して検査診断に利用するものであるが、光吸収の効率の大きく変わる波長1μm以上、2.5μm以下の近赤外波長領域は、MRI画像のT2(プロトン)強調画像と同様に、各器官の状態を評価できる手段となりうる。
さらに同波長域では、吸収のピークが異なる脂質やグルコースなどの含有量も反映させることが可能であることから、炎症、がん、変性、再生と言った病理組織像を反映した情報を得ることが期待される。なお、近赤外波長領域を用いた臓器の識別に関しては、分光用グレーティングを内蔵したハイパースペクトラムカメラを用いた例が報告されている(非特許文献2参照)。
近赤外領域では、複数の物質の吸収が重なり合うため、複数の倍音、結合音によるバンド間の重なりが大きく、スペクトルが複雑であり、解析が困難で物質の同定が難しいという問題がある。解析は、統計的データ処理技術の進展により改善がなされている。一方、近赤外センサは、倍音や結合音などの微弱な吸収を検出するために高感度・低ノイズであり、かつ、定量分析のために光強度に対する感度の直線性が高いことが要求される。また、イメージングを行う場合は、吸収スペクトル測定と空間的な位置測定を同時に行うために2次元アレイ型センサであることが望まれている。
本発明者により、生体組織の撮像時間や照射光量を低減した、生体内部における組織の画像を取得するための撮像システム及び手術支援システムが提案されている(特許文献1)。そこでは、水と脂質との分光特性に基づく赤外領域の波長を有する赤外光を生体組織に照射した際に取得できる反射光と、可視光を生体組織に照射した際に取得できる反射光とから、水の部分が強調された画像を取得する撮像システムが開示されている。撮像システムでは、赤外線の撮像素子としてInGaAs半導体を利用した赤外カメラが用いられている。そこではまた、赤外光の透過光で被写体を撮像することも提案されている。しかしながら、透過光を用いる撮像では、被写体の周囲を直接透過する光が強すぎて、赤外カメラによる撮像画像が飽和するという問題があると記載されている(段落0086)。なお、明細書には透過光で測定した結果は記載されていない。
また、近赤外光を利用した光学測定装置及び光学測定方法が提案されている(特許文献2)。そこでは、近赤外光の被検体への照射によって、被検体から反射する光の強度分布を示す画像を取得することにより組織の位置を測定している。
また、近赤外組成イメージングシステムが市販されている(Compovision(登録商標)、住友電工社製)。それは、波長1000~2350nmの近赤外光を受光可能な二次元受光素子と分光器からなるカメラと、ハイパースペクトル分析・イメージングソフトからなる組成イメージングシステムであり、近赤外光を被写体へ照射し、被写体から反射する光を検出することにより、被写体の組成を分析できる。
がんの外科手術では、リンパ節再発を予防するためにリンパ組織廓清が実施される。外科医や病理医は、術中・術後に手術用グローブ越しの触覚を頼りにリンパ節を回収し、組織診断や遺伝子診断を進めるが、5mm以下の大きさでは回収自体が不確実となる。そのため、回収した(切除した)組織中に確実にリンパ節が含まれていることを確認する手段が求められている。
また、術中の蛍光物質等投与は、このようなリンパ節の検出に有効であるが、i)造影剤の使用には毒性・アレルギー反応のリスクが存在し、ii)造影剤を届けられるリンパ節は限られ、また、iii)厚みのある間質組織の深部にリンパ節が存在する場合は、励起光の到達も難しくなるなどの問題がある。
西村吾朗「脈管学第49巻」日本脈管学会、2009年、p.139-145(J. Jpn. Coll. Angiol, 2009, 49: 139-145)
Hamed A. ら、Cancer Sci. (2011), 102(4):852-857
反射光を受光して撮像する従来の近赤外光の撮像システムを用いて厚みがある被写体(検体)、例えば生体組織の撮像を行うと、ノイズ除去が困難で、十分なS/N比が取れず、感度が十分ではないという問題がある。特には、撮像標的が、被写体(検体)の深部、例えば生体組織中の深部(例えば、深さが5mmを超えた位置)にあると検出が困難である。
本発明は、厚みのある被写体(検体)、例えば、生体組織を撮像する場合であっても、深部の画像を容易かつ確実に取得可能な撮像システム及び撮像方法を提供することを目的としている。
本発明の第1の態様によれば、近赤外光の透過光を用いて被写体(検体)を撮像するシステムであって、近赤外光(好ましくは、1000nmから2000nmの波長域の近赤外光、より好ましくは、1000nmから1600nmの波長域の近赤外光、さらに好ましくは、水の吸収度が脂質の吸収度より大きい1300nmから1600nmの波長域の近赤外光)を被写体(検体)に照射可能な近赤外光照射ユニットと、被写体(検体)を透過した近赤外光を受光する近赤外カメラと、近赤外カメラによって受光された近赤外光の受光結果から近赤外光を吸収する被写体(検体)内の部分が強調された強調画像を生成する画像処理部を有する制御ユニットと、を備えてなる撮像システムであって、前記近赤外光照射ユニットと前記近赤外カメラは、撮像する被写体(検体)を挟んでお互いに対向した位置に配置されており、前記近赤外カメラは、隣接する受光素子から電気的に分離されている複数の受光素子が2次元に配置された受光素子アレイを備えた、撮像システムが提供される。ここで、近赤外光照射ユニットと近赤外カメラは、撮像する被写体(検体)を挟んでお互いに対向した位置に配置されるとは、撮像する際に、近赤外光照射ユニット、被写体(検体)、及び近赤外カメラが、その順にて、直線または略直線上に配置されることを意味し、照射ユニットから照射される光を基準に見れば、近赤外光照射ユニットと近赤外カメラは、両者間を結ぶ光軸上に撮像する被写体(検体)が位置するように配置されることを意味する。
本発明の第2の態様によれば、さらに、前記被写体(検体)から反射した可視光を受光する可視カメラを備え、画像処理部によって、近赤外カメラによって受光された近赤外光の受光結果と可視カメラによって受光された可視光の受光結果とを合成して、近赤外光を吸収する被写体(検体)内の部分が強調された強調画像を生成する前記撮像システムが提供される。かかるシステムにおいては、被写体(検体)の全体像が可視カメラによって撮像されるので、近赤外光を吸収する被写体(検体)内の部分と被写体全体の位置関係が確認できる。
本発明の第3の態様によれば、前記近赤外光照射ユニットは、1300nmから1600nmの波長域の近赤外光を被写体(検体)に照射可能なLED素子を2次元に配置したLEDモジュールを含む前記撮像システムが提供される。
本発明の第4の態様によれば、前記近赤外光照射ユニットは、さらに光源部近傍から延びる逆円錐状の光反射板を備えている前記撮像システムが提供される。
本発明の第5の態様によれば、前記近赤外光照射ユニットは、さらにアクリルプレートからなるフィルター部を備えている前記撮像システムが提供される。
本発明の第6の態様によれば、さらに、近赤外光が透過可能な試料台を備える、前記撮像システムが提供される。
本発明の第7の態様によれば、近赤外光の透過光を用いて被写体(検体)を撮像する方法であって、近赤外光(好ましくは、1000nmから2000nm、より好ましくは1000nmから1600nm、さらに好ましくは、1300nmから1600nmの波長域の近赤外光)を被写体(検体)に照射する工程、前記被写体(検体)を透過した近赤外光を近赤外カメラで受光する工程、前記近赤外カメラによって受光された近赤外光の受光結果に基づいて近赤外光を吸収する前記被写体(検体)内の部分が強調された強調画像を生成する工程、を含む撮像方法であって、前記近赤外光は、撮像する被写体(検体)を挟んで前記近赤外カメラと対向する位置から照射され、そして、前記近赤外カメラは、隣接する受光素子から電気的に分離されている複数の受光素子が2次元に配置されている受光素子アレイを備えた近赤外カメラである、撮像方法が提供される。
本発明の第8の態様によれば、さらに、前記被写体(検体)から反射した可視光を可視カメラで受光する工程、及び前記近赤外カメラによって受光された前記近赤外光の受光結果と前記可視カメラによって受光された前記可視光の受光結果とを合成して、前記近赤外光を吸収する前記被写体(検体)内の部分が強調された強調画像を生成する工程、を含む撮像方法が提供される。かかる方法においては、被写体(検体)の全体像が可視カメラによって撮像されるので、近赤外光を吸収する被写体(検体)内の部分と被写体全体の位置関係が確認できる。
本発明の第9の態様によれば、近赤外光(好ましくは、1000nmから2000nm、より好ましくは1000nmから1600nm、さらに好ましくは1300nmから1600nmの波長域の近赤外光)を照射して撮像される被写体(検体)を入れるための容器(例えば、シャーレ)であって、該容器の少なくとも底面はアクリルプレートで構成されており、撮像は、該被写体(検体)及び容器の底面を透過した近赤外光に基づいて行われる容器が提供される。容器、例えばシャーレは、それ自体がアクリルで作成されていてもよい。
本発明の態様によれば、厚みのある被写体(検体)であっても、被写体(検体)内に存在する標的部位を容易に撮像又は確認することができる。
以下、本発明の実施形態について図面を参照しながら説明するが、本発明はこの実施形態に限定されるものではない。また、図面においては実施形態を説明するため、一部分を大きく又は強調して記載するなど適宜縮尺を変更して表している。
本明細書において、「被写体」および「検体」なる語は、本発明の装置及び/又は方法を用いて撮像される対象を意味し、互いに置換可能な用語として用いられる。
本明細書において、被写体を「透過した近赤外光」とは、被写体に近赤外光を照射した場合、被写体を透過して(突き抜けて)、被写体に対して照射側と反対側において受光される光を意味する。ここで、照射側と反対側とは、照射された光が直進する状態での光軸上に位置することを意味する。よって、被写体内に照射した近赤外光を吸収する部分が存在した場合は、その部分の透過光は、吸収の程度に応じて、周りに比べて弱くなる。
本明細書において、被写体から「反射した可視光」とは、被写体に光が照射された場合に、被写体から出射される光であり、被写体に対して、照射側と同じ側において受光される光を意味する。光の照射は、特定の照射装置を用いて行うこともできるが、特別な照射装置を用いなくとも、室内光などの光を光源としてその反射光を検出(受光)できる。
本発明の実施形態に係る撮像システムについて説明する。図1は、本発明の実施形態に係る撮像システムの一例を示す図である。図1に示す撮像システム1000は、近赤外照射ユニット20と近赤外カメラ10とを備える。図1においては、受光結果に基づいて画像を生成するための画像処理ユニットは示していない。近赤外光照射ユニット20と近赤外カメラ10は、撮像する被写体Pを挟んで対向するように配置されている。そのため、近赤外照射ユニット20から照射された近赤外光(図中、矢印で示す)は、まっすぐに近赤外カメラ10に向かい、そしてカメラで受光されるようになっている。本発明のこのような構造においては、被写体Pを透過した光のみならず、被写体の周囲を直接通過する光もカメラに受光される。本発明は、隣接する受光素子から電気的に分離されている複数の受光素子が2次元に配置された受光素子アレイを備えた近赤外カメラを用いることにより、照射された近赤外光が被写体の周囲を直接通過する場合であっても、カルバノスキャナなどの他の追加の構造を用いなくとも、被写体を良好に撮像できる。
近赤外カメラ10は、受光部に複数の受光素子が2次元に配置され、各受光素子は、それぞれ隣接する受光素子から電気的に分離されている。そのため、光クロストークやブルーミングが抑制でき、照射された近赤外光をカメラが直接受光する場合であっても、被写体の良好な撮像が可能となる。
受光素子アレイの構造としては、メサ型及びプレーナ型があるが、隣接する受光素子同士が電気的に分離され、光クロストークやブルーミングが十分に抑制できる限り、いずれの構造も用いることができる。
隣接する素子間の分離特性を改善する方法として、種々の方法が報告されているが、本発明においてはこれらの公知の方法を適宜用いることができる。例えば、各素子の感光層及び窓層の周辺をドープする方法(国際公開WO2011/089949号)や、光吸収層を、光吸収層の禁制帯幅よりも大きな禁制帯幅のバリア層と窓層とによって上下から挟む方法(特開2019-096758号公報)などが報告されており、本発明においてもこれらの方法が好ましく用いられる。
本発明の一つの態様において用いられる、受光素子を隣接するセルから電気的に分離する方法としては、例えば、お互いに隣接する素子間に光生成キャリアの素子間の移動、すなわち横方向の拡散を遮断する層(拡散層)を設け、それにより電気的に分離する方法を挙げることができる。素子間に層を設ける方法は、当該技術分野において公知の方法を用いることができる。例えば、不純物をドープした層(不純物拡散層)に取り囲まれた受光素子のアレイを、公知の受光素子アレイの製造プロセスを参照して作成することができる。不純物拡散層は、受光素子間の十分な分離を提供する限り特に制限がないが、PN型受光素子を用いた場合は、光吸収層と異なる型(p型またはn型)の不純物がドープされた層である。
本発明の好ましい一つの態様においては、受光素子アレイは、基板上に形成されたバリア層の上に光吸収層が形成され、光吸収層の上に窓層が積層されている構造のPN型受光素子アレイである。光吸収層をバリア層と窓層で挟むことにより、検出限界に影響する暗電流を軽減することができる。
本発明のより好ましい一つの態様においては、受光素子アレイは、プレーナ型のPN型受光素子アレイであって、各受光素子はバリア層まで伸びる不純物拡散層に取り囲まれて互いに隣接する受光素子から電気的に分離されている。光吸収層がn型の化合物半導体からなる場合は、不純物拡散層はp型である。p型の不純物拡散層としては、亜鉛拡散層を例示できるがこれに限定されない。このような構造を採用することにより、PN接合において電位障壁を形成でき、素子間の横方向において良好な遮断を達成できる。このような構造の受光素子アレイとしては、例えば、国際公開WO2011/089949号に記載の化合物半導体受光素子アレイを挙げることができる。
本発明の一つの態様において用いられる受光素子を隣接する受光素子から電気的に分離する方法としては、例えば、お互いに隣接する受光素子間に分離溝を設けることにより電気的に分離する方法を挙げることができる。素子間に分離溝を設ける方法は、当該技術分野において公知の方法を用いることができ、例えば、標準的な半導体選択エッチングプロセスにより作成できる。
本発明の好ましい態様においては、受光素子アレイは、互いに隣接する各受光素子間に分離溝が設けられ、そして、分離溝中の光吸収層の側面は不純物拡散層が形成されて、各受光素子は互いに隣接する受光素子から電気的に分離されている、このような構造の受光素子アレイとしては、例えば、特開2019-96758に記載の化合物半導体受光素子アレイを挙げることができる。
受光素子(近赤外光検出素子)として、例えば、少なくとも波長1.6μmまでの感度を持つInGaAs素子を挙げることができる。InGaAs素子を用いた素子間のクロストークが極めて少ないフォトダイオードアレイが、上記した国際公開WO2011/089949号及び特開2019-096758号公報に記載されている。
受光素子において、各受光素子間の分離を用いることにより、好ましくはさらに、光吸収層と異なる型の不純物をドープした層(例えば、亜鉛をドープした層)をバリア層まで到達させて素子を取り囲み、素子間を電気的に分離しているプレーナ型構造を用いることにより、ノイズの抑制や素子分離による容量飽和の閉じ込めが可能となり、十分なS/N比が取得でき、鮮明な撮像が可能となる。本実施形態で用いられる近赤外カメラの画素数は、10万画素以上、好ましくは20万画素以上、さらに好ましくは30万画素以上である。
近赤外カメラ10は、受光素子に加えて、不図示の撮像光学系を有している。この撮像光学系は、被写体Pの撮像倍率を設定するズームレンズや、被写体Pに対してフォーカス合わせを行うフォーカスレンズを含む。近赤外カメラ10は、これらズームレンズやフォーカスレンズの一つまたは複数を駆動させる不図示のレンズ駆動系を有している。近赤外カメラ10は、トリガ入力回路かIEEE1394など同期可能なインターフェイスを備えている。
本実施形態の好ましい態様では、近赤外カメラ10は、近赤外光、好ましくは、1000nmから2000nm、より好ましくは、1000nmから1600nm、さらに好ましくは、1300nmから1600nmの波長域の近赤外光を受光できるように設定されている。波長1300nm~1600nmの近赤外光は、脂質に比べて水に吸収されやすいので、被写体内の周辺に比べて水分を多く含んだ標的を画像データとして取得できる。その結果、脂質を多く含んだ部分又は水分を多く含んだ部分を、周辺に対して強調した画像として取得できる。被写体として生体組織を用いた場合は、例えば、周囲の間質組織中のリンパ節を画像データとして取得できる。また、波長1000nmから1600nmの近赤外光は、水に比べてタンパク質やデンプンでの吸収が大きい。このように、成分に応じ、特定の波長の近赤外光の吸収がことなる。そのため、組織や食品を含む種々の被写体の、吸収に基づく組成を反映した画像を取得できる。
近赤外光照射ユニット20は、被写体Pを挟んで近赤外カメラ10に対向する位置から被写体Pを照射する。これにより、被写体Pを通過したより多くの光量の近赤外光をカメラで受光できる。そのため、カメラは、厚みのある被写体Pであっても十分な透過光を検出できる。しかし、被写体Pを挟んでカメラ10に対向する位置から被写体Pを照射するため、被写体Pを透過した光のみならず、被写体Pの周囲を直接透過する光もカメラ10に受光される。図1では、近赤外光照射ユニット20は被写体Pを真下から照射している。
本発明の近赤外光照射ユニット20は、近赤外光を発光するLED(Light Emitting Diode)素子23が2次元に配置されているLEDモジュール21を備える。複数のLED素子23が2次元に配置されたLEDモジュール21は、図3の右図に示すように、それぞれ独立した基板22に配置された一つのLED素子23が複数個2次元に配置されたものでもよく、あるいは、図3の左図に示すように、一つの基板22の上に複数のLEDモジュール23が2次元に配置されたものでもよい。このように、単一のメタルパッケージには、一つのLED素子が搭載されていても良いが、好ましくは近赤外の発光波長を出射する複数のLED素子23が2次元に搭載されている。本実施形態では、これに限定されないが、例えば、波長1350nm、1400nm、1450nm、1500nm又は1550nmの波長を出射するLED素子23が搭載される。これらLED素子23は、それぞれメタル端子に電気的に接続され、さらに不図示の駆動回路に接続されている。近赤外光照射ユニットのLEDモジュール21は、搭載するLEDの個数と、直列又は並列の接続個数とは任意に調整できる。これに限定されないが、例えば、上記近赤外波長を出射できるLED素子を、6個以上、8個以上、10個以上、16個以上、20個以上、30個以上、40個以上、50個以上、又は60個以上、2次元に集積したLEDモジュールであり得、好ましくは16個以上、より好ましくは30個以上、さらに好ましくは40個以上、よりさらに好ましくは50個以上、最も好ましくは60個以上のLED素子を集積したLEDモジュールである。被写体を透過させることができる光量の近赤外光を発射できものであれば本発明において用いることができるが、集積LEDを用いることにより、被写体が厚みのある対象であっても十分な量の近赤外光を透過させることができる。被写体Pを照射する光の放射照度は、LED素子から被写体Pまでの距離、LED素子の種類や素子数、LED素子に与える電流により変化する。よって、被写体Pを照射する放射照度は、用いるLED素子及びLED素子数、被写体Pの性質に応じ、電流量を適宜調整すればよい。放射照度は、被写体を透過できる強さであれば特に制限がないが、例えば、30μW/cm2以上、好ましくは50μW/cm2以上である。被写体が、熱に対し敏感なものである場合、例えば生体組織である場合は、放射照度は、10mW/cm2以下であることが好ましい。
なお、本発明の装置においては、近赤外光照射ユニット20の一部として、あるいは、その他の構成として、近赤外カメラが、近赤外光照射ユニットから照射された近赤外光を直接に受光しないように、すなわち、被写体を透過せず被写体の周囲を直接通過する光をカメラが受光しないように、例えば、カルバノスキャナなどの追加の構成は必須でない。しかし、使用目的や用途に応じ、カルバノスキャナなどの構成を追加してもよい。
本発明の近赤外光照射ユニット20は、LEDモジュール21に加え、図4に示す、被写体への照射を改善するための光反射板40及び/又はフィルター45を備えることができる。光反射板の材質や形状は、近赤外光の吸収が少なく、被写体への光の照射を改善できるものであれば特に制限なく用いられる。材質としては、例えば、ステンレス、アルミニウム、チタン合金、マグネシウム合金を用いることができる。形状は、被写体への光の集光や指向性を改善できるものであれば特に制限なく、例えば、逆円錐状の形状のものを挙げることができ、光の反射表面は、例えば、鏡面研磨、アルマイト処理等が施されていてもよい。逆円錐状の反射板40は、LEDモジュールから延びるように配置される。フィルター45は、近赤外光の吸収が少なく、透過効率が高いものであれば特に制限なく用いることができるが、例えば、アクリル、ポリカーボネイト、シリコン、ポリプロピレン、ポリエチレンなどの材質のものを用いることができ、好ましくはアクリルである。特に好ましいフィルターは、アクリルプレートである。フィルター45はまた、被写体への光の照射効率を上げるために、研磨等の表面処理をするのが好ましく、特に好ましいのは、反面研磨したアクリルプレートである。図5に、逆円錐状の反射板40とアクリルプレート45を備えた近赤外光照射ユニット20の側面断面図を示す。
従来の反射近赤外光を用いるシステムでは、光源と被写体Pとの距離の2乗に反比例してカメラが受光できる光強度が減衰する。例えば、光源と被写体の距離が20cmでは、光の明るさは、1cmの場合に比べて400分の1となる。一方、本実施形態のように透過近赤外光を用いる場合は、光源と被写体の距離を容易に調整できるため、そのような問題が生じなく、十分な強度の光をカメラが受光できる。また、反射光を用いた撮像に比べ、透過光を用いた場合は、被写体の深部にある対象を撮像することが可能となる。
本発明のシステム又は方法において撮像する被写体は、特に制限がないが、近赤外光を吸収する物質を一部に含む被写体が好ましい。本発明のシステム及び方法においては、近赤外光の透過光を用いて撮像を行うので、近赤外光を吸収する物質を一部に含む被写体の場合は、近赤外光を吸収する部分又は吸収が少ない部分を強調した画像を取得できる。例えば、被写体として生体組織など生物由来の物を用いた場合、生体組織中に含まれる水、脂質、タンパク質等の吸収帯は異なる。そのため、特定の近赤外波長を用いて撮像を行うことにより、生体組織内の構造が撮像可能となる。同様に、食品も、水、脂肪・タンパク質などから構成されているので、それらの構造や分布や相対量を撮影することができる。被写体としてはこれらに限定されず、近赤外光の波長領域に吸収をもつ、例えば水、脂肪・タンパク質などの成分を含む対象であれば、本発明のシステム及び方法において、撮像が可能である。
本発明の撮像対象はこれに限定されないが、以下、生体組織について説明する。波長1300nm~1600nmの波長帯域の光は、水がエネルギーを吸収する割合が大きい光である。従って、本発明の実施形態において、これらの波長帯域の近赤外光を用いた場合は、被写体が吸収する光のエネルギーを低減することができ、被写体が加熱されることによって熱損傷等が発生することを防ぐことができる。しかし、生体組織の観察を目的とするため、数十分の連続使用でも高温にならない、例えば45℃以下に保てる近赤外光照射ユニットであることが好ましい。
近赤外光の照射及び透過光の受光を、被写体を真下から照射する本実施形態を例に、図6を参照して説明する。近赤外光照射ユニット20から出射された近赤外光は、被写体Pに到達する。波長1300nm~1600nmの光は水に吸収されやすいので、水を多く含む部分(例えば、リンパ節)Tが被写体P中に存在する場合、Tに当たった光は吸収され被写体を透過しない。一方、脂質を多く含む部分(例えば、間質組織)に当たった光は吸収されず被写体を透過する。その結果、水を多く含む部分Tとその周辺が区別された画像データが近赤外カメラ10により取得できる。
図2に示す本発明の第2の態様では、さらに被写体(検体)から反射した可視光を受光する可視カメラ30を備える。可視カメラ30は、被写体に対して近赤外カメラ10と同じ側に配置され、被写体Pから反射する可視光を受光できればいずれに位置に配置されてもよい。可視光を受光するために特に専用の可視光照射ユニットを設ける必要はなく、室内光であっても十分な撮影が可能であるが、可視カメラ30とともに、可視光照射ユニットを配置してもよい。可視カメラ30は、可視領域の波長の光に感度を有するカメラである。可視領域の光は、被写体Pの外形や表面の形状に敏感である。可視カメラ30としては、外形の形状等の像を取得可能なCCDイメージセンサーやCMOSイメージセンサー等のシリコン撮像素子を用いたCCDカメラやCMOSカメラが用いられる。
可視カメラを備えた本発明の第2の態様では、画像処理部によって、近赤外カメラによって受光された近赤外光の受光結果と可視カメラによって受光された可視光の受光結果とを合成して、近赤外光を吸収する被写体内の部分が強調された強調画像を生成する撮像システムが提供される。かかるシステムにおいては、被写体の全体像が可視カメラによって撮像されるので、近赤外光を吸収する被写体内の部分と被写体全体の位置関係が確認可能となる。合成画像や強調画像の生成は、公知の画像処理方法を適宜用いて行うことができるが、例えば、可視カメラによって受光された前記可視光の受光結果をリファレンスとし、近赤外カメラによって受光された前記近赤外光の受光結果と可視光の受光結果との差分を演算して行うことができる。
可視光照射ユニットは、可視領域の光を照射できればいずれの光源と用いてもよいが、例えば、LED照明、レーザー光源、ハロゲン照明等が用いられ、好ましくはLED照明が用いられる。
近赤外カメラ10及び可視カメラ30の撮像タイミングは、別々に撮像する場合と同時に撮像する場合のいずれであってもよい。すなわち、近赤外光照射ユニット20から近赤外光を照射して近赤外カメラ10により被写体Pを撮像し、これとは別に、可視カメラ30により被写体Pを撮像する場合と、近赤外カメラ10及び可視カメラ30で同時に撮像する場合、のいずれであってもよい。
図5に示されるように、近赤外光照射ユニット20が逆円錐状の光反射板40とアクリルプレートからなるシールド45を備える場合は、被写体Pは、アクリルプレートの上に直接配置することも可能である。あるいは、図7Aに示すように、アクリルプレートの上に、シャーレなどの容器46に被写体Pを入れて配置することも可能である。シャーレなどの容器46の底がフィルターを兼ねる構造である場合は、図7Bに示すように、逆円錐状の反射板40を備えた近赤外光照射ユニット20の上に直接、被写体Pを入れた容器46を置いて撮像することも可能である。
本発明の一つの態様は、近赤外光(好ましくは、1000nmから2000nm、より好ましくは1000nmから1600nm、さらに好ましくは1300nmから1600nmの波長域の近赤外光)を用いて撮像される被写体を入れるための容器あって、該容器の少なくとも底面はアクリルプレートで構成されており、撮像は、該被写体及び容器の底面を透過した近赤外光に基づいて行われる容器が提供される。容器は、好ましくはシャーレである。
被写体Pはまた、透過観察用試料台50の上に置かれて撮像することもできる。透過観察用試料台50は、近赤外光照射ユニット20から出射される近赤外光を遮断しないように構成されている。例えば、これに限定されないが、図8に示されるように、透過観察用試料台50は、少なくとも近赤外光が照射される部分(斜線で示している光透過部分)は、近赤外光の界面反射や吸収が少ない材質で作られている。また、透過観察用試料台50の光透過部分は、光の界面反射を抑えるコーテイングや散乱加工が施されているのが好ましい。あるいは、被写体を容器に入れて撮像する場合は、光透過部分は穴であってもよい。本発明の第1の態様及び第2の態様のシステムにおいて、容器に入れた被写体Pを、試料台50に配置して撮像する状態を図9に示す。
被写体として生体組織を用いる場合は、生体組織の種類は特に限定されないが、皮膚又は生体内部器官の組織等を挙げることができ、好ましくは生体から採取又は摘出した生体内部器官の組織を挙げることができる。本発明の撮像システム及び方法は、水と脂質との分光特性に基づいて被写体の撮像を行うことができるので、水及び脂質を実質的に含んだ生体組織が好ましく用いられる。例えば、これに限定されないが、生体内の各種器官や各種臓器を挙げることができる。腹膜、腋下、椎骨周囲組織、後腹膜、胸膜と胸壁、大網、腹壁・胸壁、腸間膜のほか、消化管では胃壁、腸壁組織、胆のう壁を構成する漿膜と周囲間質組織である。実質臓器では、リンパ節、副腎、すい臓、唾液腺、頸部のう胞などを挙げることができ、これら臓器に発生したがんとがんの転移したリンパ節を挙げることができる。循環系の各器官については、例えば、肺、心臓、胸腔と腹腔内の動静脈血管等の外膜における炎症やがんの浸潤などを挙げることができる。
生体組織である被写体は、シャーレなどに入れられて透過観察用試料台50に設置されるのが好ましい。例えばこれに限定されないが、摘出された生体組織を近赤外光の吸収が無いか又は少ないプラスチックのシャーレに入れ、シャーレに入った状態で透過観察用試料台50に設置される。生体組織は、好ましくは、シャーレに入れた固定液の中に置かれる。本発明において用いることができる固定液は、組織の固定に用いることができるものであれば特に制限がないが、例えば、ホルムアルデヒドやグルタルアルデヒドなどのアルデヒド類、メタノール、エタノール、イソプロパノールなどのアルコール類、アセトン、酢酸やピクリン酸などの酸、酸とアルコールとの混合液、エーテルとアルコールの混合液、アルコールとホルマリンの混合液、あるいはブアン固定液やザンボニ固定液などの組織固定液を挙げることができるが、好ましくはアルコール類である。被写体としての生体組織はまた、既に固定され保存されているものも用いることができる。固定液に入れられた状態の生体組織を、好ましくは上記の固定液の入ったシャーレに移し、透過観察用試料台50において撮像することができる。
図10は、本発明の第2の実施形態の撮像システム1000を示す機能ブロック図である。制御ユニット60は、画像処理部61と、照明駆動部62と、記憶装置63と、入力装置64と、表示部65と、を有している。制御ユニット60は、近赤外カメラ10と電気的に接続され、そして照明駆動部62を介して近赤外照射ユニット20と電気的に接続される。制御ユニット60はまた、可視カメラ30と電気的に接続される。制御ユニット60は、CPU(Central Processing Unit)などの演算処理装置を有し、このCPUが不図示のハードディスク等の記憶部に格納された制御プログラムに基づいて、画像処理部61等を制御する。また、制御ユニット60は、近赤外カメラ10や照明駆動部62に送信するトリガ信号A、及び可視カメラ30に送信するトリガ信号A’を生成する。
画像処理部61は、近赤外カメラ10から送られた画像信号B、及び可視カメラ30から送られた画像信号B’を処理する。画像処理部61は、取得した画像の色やコントラスト等を調整する他に、必要に応じ、それぞれのカメラから送られた複数の画像を合成する処理を行う。画像処理部61はまた、必要な場合は、近赤外カメラ10からの画像と可視カメラ30からの画像のオーバーレイを行う。
照明駆動部62は、駆動回路を有し、制御ユニット60から送られたトリガ信号Aに基づいて、近赤外光照射ユニット20に搭載されたLEDを点灯させる。
記憶装置63は、各種プログラムを格納するとともに、画像処理部61によって処理された画像を記憶する。記憶装置63は、ハードディスクや、光ディスクやCD-ROM、DVD-ROM、USBメモリ、SDカード等の記憶媒体に対応可能な入出力(IO)デバイスを有している。
入力装置64は、キーボードやタッチパネル、ジョイスティック、マウス等のポインティングデバイスなどが用いられる。タッチパネルの場合は、後述する表示部65上に形成され、表示部65に表示された画像上からタッチ操作を行うものでもよい。使用者は、入力装置64を操作することにより、近赤外照射ユニット20からの出射強度や、近赤外カメラ10又は可視カメラ30の撮像倍率、フォーカス合わせ、撮像の指示、画像処理部61によって処理された画像を記憶装置63に保存する指示などを行う。
表示部65は、液晶表示装置や有機EL装置などが用いられる。表示部65は、近赤外カメラ10によって撮像された被写体Pの画像、可視カメラ30によって撮像された被写体Pの画像、又はそれらの画像をオーバーレイした画像を表示する。表示部65は、1つに限定されず、複数の表示部65に近赤外カメラ10で撮像した画像、可視カメラ30で撮像した画像、それらをオーバーレイした画像を別々に表示させることもできる。また、1つの表示画面にオーバーレイした画像を表示させるものでもよい。
本発明の実施形態により、近赤外カメラ10及び可視カメラ30のそれぞれで取得した画像をオーバーレイした画像を表示させることができる。その結果、被写体である対象中に存在する近赤外光を吸収する部分を容易に検出又は確認できる。被写体が生体組織である場合は、生体組織中に存在するリンパ節を容易に検出又は確認でき、また、本発明の実施形態により、生体組織中におけるリンパ節の場所を容易に確認できるので、精度よくリンパ節を回収し、組織診断や遺伝子診断を行うことができる。
図10を参照して撮像を説明する。近赤外カメラ10は、トリガ信号Aを受けると一画面(1フレーム)分の画像信号Bを制御ユニット60に出力する。この画像信号Bは、一本のアナログ信号、または複数の信号ラインからなるデジタル信号のいずれでもよい。同時にトリガ信号Aは、照明駆動部62にも伝送される。照明駆動部62は、トリガ信号Aを受けると、各画像取り込み(フレーム)毎にLED駆動信号を出力する。これにより、制御ユニット60には、近赤外カメラ10で撮像した画像が送られる。なお、例えば、照明駆動部62におけるフォトモスフェットの応答速度が6msecであり、近赤外カメラ10のフレームレートが10fpsで1フレームが1/10秒である場合、近赤外カメラ10は、1秒あたり10枚の近赤外光画像を取得する。
一方、可視カメラ30は、トリガ信号A’を受けると一画面(1フレーム)分の画像信号B’を制御ユニット60に出力する。この画像信号B’は、一本のアナログ信号、または複数の信号ラインからなるデジタル信号のいずれでもよい。これにより、制御ユニット60には、可視カメラ30で撮像した画像が送られる。
本発明の第2の実施形態では、制御ユニット60が、近赤外カメラ10によって取得した画像と可視カメラ30で取得した画とをオーバーレイした画像を生成する画像処理部61を有し、可視画像の上に近赤外光を吸収する被写体中の部分が強調された強調画像を生成することができる。
本発明の第1の実施形態では、可視カメラによる撮像は行わず、近赤外カメラによる撮像のみを行い、近赤外光を吸収する被写体中の部分が強調された強調画像を生成することができる。
また、本発明の実施形態においては、被写体を透過した近赤外光を受光して画像を生成するので、生体組織などの被写体Pに光を照射した際に問題となる、生体組織内の光散乱が抑えられ、深部、例えば、5mmを超える深部に存在する標的も検出又は撮像可能となり、厚みがある被写体Pの撮像が可能となる。
このように、本発明の実施形態によれば、被写体Pの深部の構造や、特定の成分に対応する近赤外光(好ましくは、波長1000~1600nmの近赤外光)を照射して、近赤外カメラ10により撮像するので、被写体Pの組成・成分情報を取得することが可能となる。また、他の本実施形態によれば、被写体Pの外形や表面の形状に敏感な可視光(例えば波長800nm以下)を利用して可視カメラ30による撮像を行うこともできるので、被写体Pの組成・成分情報に加えて被写体Pの輪郭情報も同時に取得することが可能となり、短時間で視認性の良い画像を取得することができる。
本発明の実施形態によれば、近赤外光を用い、被写体を透過した近赤外光を検出しているので、被写体が生体組織である場合は、厚みのある組織中、例えば、間質組織の深部5mmを超える位置に存在する標的(例えば、リンパ節)の検出が可能となる。よって、本実施形態を用いることにより、10mm厚、好ましくは20mm厚以上の生体組織中に存在する標的(例えば、リンパ節)の検出が可能となる。
本発明の実施形態によれば、可視光の画像と近赤外光の画像のオーバーレイ表示が可能であり、また、開放系での撮像が可能となる。その結果、イメージングガイド下で、近赤外光を吸収する生体組織中の部分、例えば、リンパ節の採取が可能となる。
本発明の実施形態によれば、近赤外カメラの受光部に用いられているInGaAs受光素子は、手術室や検査室の照明に反応しないため、蛍光を用いる場合のように、室内の照明を暗くする必要がない。そのため、病理検査科や手術室での「リンパ節の探索」の精度と効率改善が可能となる。
上記した実施形態の撮像システムによる撮像方法は以下の通りである。まず、近赤外カメラ部10において、近赤外照射ユニット20からの近赤外光の被写体Pへの照射によって前記被写体Pを透過する近赤外光を2次元配置された電気的に分離された受光素子によって受光することにより近赤外光による画像データを取得する。近赤外光画像に加えて可視画像が必要な場合は、その前後、あるいは同時に、可視カメラ30において、前記被写体から出射される光の強度分布を示す画像を可視カメラで取得することにより可視光による画像データを取得する。その後、取得されたそれぞれの画像データに基づいて、画像処理部61において、前記近赤外光を吸収する前記被写体中の部分が強調された強調画像を生成する。
図11Aは、発光波長1450nmのLED素子が60個集積されたLEDモジュールを用い、照射された近赤外光を直接受光するように配置した近赤外カメラで撮像した結果である。上図は、2次元に配置された複数の受光素子を備えているが、各受光素子は隣接する受光素子から電気的に分離されていない近赤外カメラ(ニコン製、型番NIR-P01S近赤外標本撮影装置に搭載の近赤外カメラ)を用いて撮像した結果であり、下図は、2次元に配置された複数の受光素子を備え、各受光素子は隣接する受光素子から電気的に分離されている近赤外カメラ(アイアールスペック株式会社製、NVU3VLI)を用いて撮像した結果である。下に示した数値は、LEDモジュールにアプライした電流値である。上図においては、LED素子に微量の電流をアプライしたのみで、素子間の光クロストークやブルーミングが抑制できず、撮影ができていないことがわかる。一方、下図においては、集積したLEDの様子が良好に撮影できている。なお、図11Bの通り、図11A下図の近赤外カメラを用いた場合は、さらに電流量を30倍以上にしても、素子間の光クロストークやブルーミングは良好に抑制できた。
図12は、本発明のシステムを用い、1450nmの近赤外線LED照射(LEDモジュールにアプライした電流値は0.1Aとした)による透過画像を取得した結果である。マウスを解剖し、組織を摘出し、組織から腸間膜を分離した。分離した腸間膜を固定溶媒が入ったシャーレに入れ、近赤外光を照射して、その透過画像を取得した結果である。左図が、組織から分離した後の腸間膜の写真であり、右図が、近赤外光を用いた透過画像である。黒くなっている部分は、リンパ節である。腸間膜は主に脂肪細胞より構成されておりその組織はリンパ節を含む。水分を多く含むリンパ節を強調した画像が得られた。図中の丸印は、リンパ節の場所を示している。
図13は、従来の近赤外光の反射光を用いて撮像した結果である。Aは可視光で撮影した結果である。矢印の部分にリンパ節が存在する。B及びCは、近赤外反射光を用いて撮像した結果である。リンパ節が存在する場所を、点線による丸印で示している。Bは全体像を撮れる条件で撮像した結果であるが、リンパ節が不明となっている。一方、Cはリンパ節が撮れる条件で撮像した結果であるが、全体像がぼやけており、判らなくなっている。Dは、組織の垂直断面をヘマトキシン・エオジン染色した結果である。B及びCは、黒矢印の方から撮像したものである。一方、白矢印の方から撮像した場合は、表面から5mmを超える位置に存在するリンパ節を検出できなかった。
図14は、本発明のシステムを用い、ヒトの組織(右閉鎖リンパ節)を1450nmの近赤外光を照射して(LEDモジュールにアプライした電流値は0.8Aとした)、その透過画像を取得した結果である。左図が組織から分離した組織の写真であり、右図が、近赤外光を用いた透過画像である。丸印で示された黒くなっている部分はリンパ節であり、水分を多く含むリンパ節を強調した画像が得られた。
図15は、前立腺癌手術にて左閉鎖リンパ節郭清として切除されたヒト組織を、同様にして撮像した結果である。左上図が、切除した組織の写真であり、右上図が、近赤外光を用いた透過画像である。丸印で示された黒くなっている部分はリンパ節であり、水分を多く含むリンパ節を強調した画像が得られた。また、下図は、組織をヘマトキシン・エオジン染色した結果である。
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は、上記した実施形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記した実施形態に、多様な変更または改良を加えることが可能である。また、上記実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。
P…被写体、1000…撮像システム、10…近赤外カメラ、20…近赤外照射ユニット、21・・・LEDモジュール、22・・・メタルパッケージ、23・・・受光素子、30・・・可視カメラ、40・・・反射板、45・・・シールド、46・・・シャーレ、50・・・透過観察用試料台、60…制御ユニット、61…画像処理部、62…照明駆動部
63…記憶装置、64…入力装置、65…表示部
63…記憶装置、64…入力装置、65…表示部
Claims (26)
- 近赤外光の透過光を用いて被写体(検体)を撮像するシステムであって、近赤外光を被写体(検体)に照射可能な近赤外光照射ユニットと、被写体(検体)を透過した近赤外光を受光する近赤外カメラと、近赤外カメラによって受光された透過近赤外光の受光結果に基づいて近赤外光を吸収する被写体(検体)内の部分が強調された強調画像を生成する画像処理部を有する制御ユニットと、を備えてなる撮像システムであって、
前記近赤外光照射ユニットと前記近赤外カメラは、撮像する被写体(検体)を挟んで対向するように配置されており、
前記近赤外カメラは、複数の受光素子が2次元に配置された受光素子アレイを備え、互いに隣接する受光素子は電気的に分離されている、
撮像システム。 - 前記複数の受光素子は、光吸収層がバリア層と窓層によって挟まれているPN型受光素子である、請求項1に記載の撮像システム。
- 前記受光素子アレイはプレーナ型受光素子アレイであって、各受光素子はバリア層まで伸びる不純物拡散層に取り囲まれて互いに隣接する受光素子から電気的に分離されている、請求項2に記載の撮像システム。
- 前記受光素子アレイは、互いに隣接する各受光素子間に分離溝が設けられそして分離溝中の光吸収層の側面は不純物拡散層が形成されて、各受光素子は互いに隣接する受光素子から電気的に分離されている、請求項2に記載の撮像システム。
- 前記近赤外光照射ユニットは、1000nmから2000nmの波長域の近赤外光を被写体(検体)に照射可能なLED素子を2次元に集積したアレイを含む、請求項1~4のいずれか一つに記載の撮像システム。
- 前記近赤外光照射ユニットは、1300nmから1600nmの波長域の近赤外光を被写体(検体)に照射可能なLED素子を2次元に集積したアレイを含む、請求項5に記載の撮像システム。
- 前記近赤外光照射ユニットは、さらに光源部近傍から延びる逆円錐状の光反射板を備えている、請求項1~6のいずれか一つに記載の撮像システム。
- 前記近赤外光照射ユニットは、さらにアクリルプレートからなるフィルター部を備えている請求項1~7のいずれか一つに記載の撮像システム。
- さらに、前記被写体(検体)から反射した可視光を受光する可視カメラを備え、
前記画像処理部が、前記近赤外カメラによって受光された前記近赤外光の受光結果と前記可視カメラによって受光された前記可視光の受光結果とを合成して、前記近赤外光を吸収する前記被写体(検体)内の部分が強調された強調画像を生成する、請求項1~8のいずれか一つに記載の撮像システム。 - 前記強調画像は、前記可視カメラによって受光された前記可視光の受光結果をリファレンスとし、前記近赤外カメラによって受光された前記近赤外光の受光結果と前記可視光の受光結果との差分を演算して生成される画像である、請求項9に記載の撮像システム。
- 前記被写体(検体)が生体組織である請求項1~10のいずれか一つに記載の撮像システム。
- 前記生体組織は、固定液で固定した生体組織である請求項11に記載の撮像システム。
- 前記強調画像は、膵臓又はリンパ節の画像である請求項11又は請求項12に記載の撮像システム。
- 近赤外光を用いて撮像される被写体(検体)を入れるためのシャーレであって、該シャーレの少なくとも底面はアクリルプレートで構成されており、撮像は、該被写体(検体)及びシャーレの底面を透過した近赤外光に基づいて行われるシャーレ。
- 近赤外光の透過光を用いて被写体(検体)を撮像する方法であって、
近赤外光を被写体(検体)に照射する工程、
前記被写体を透過した近赤外光を近赤外カメラで受光する工程、
前記近赤外カメラによって受光された近赤外光の受光結果に基づいて近赤外光を吸収する前記被写体(検体)内の部分が強調された強調画像を生成する工程、
を含む撮像方法であって、
前記近赤外光は、撮像する被写体(検体)を挟んで前記近赤外カメラと対向する位置から照射され、そして、
前記近赤外カメラは、互いに隣接する受光素子から電気的に分離されている複数の受光素子が2次元に配置された受光素子アレイを備えている、
撮像方法。 - 前記受光素子アレイは、光吸収層が窓層とバリア層によって挟まれているPN型受光素子を備えたプレーナ型受光素子アレイであって、各受光素子はバリア層まで伸びる不純物拡散層に取り囲まれて互いに隣接する受光素子から電気的に分離されている、請求項15に記載の撮像方法。
- 前記受光素子アレイは、光吸収層が窓層とバリア層によって挟まれているPN型受光素子を備えた受光素子であって、互いに隣接する各受光素子間に分離溝が設けられそして分離溝中の光吸収層の側面は不純物拡散層が形成されて、各受光素子は互いに隣接する受光素子から電気的に分離されている、請求項15に記載の撮像方法。
- 前記近赤外光は、1000nmから2000nmの波長域の近赤外光を照射可能なLED素子を2次元に集積したアレイを用いて照射される、請求項15~17のいずれか一つに記載の撮像方法。
- 前記近赤外光は、1300nmから1600nmの波長域の近赤外光を照射可能なLED素子を2次元に集積したアレイを用いて照射される、請求項18に記載の撮像方法。
- 前記被写体(検体)に照射される近赤外光は、光源部近傍に配置された円錐状の光反射板のより集光された光である、請求項15~19のいずれか一つに記載に撮像方法。
- 前記被写体(検体)に照射される近赤外光は、アクリルプレートからなるフィルターを通過した光である、請求項15~20のいずれか一つに記載の撮像方法。
- さらに、前記被写体(検体)から反射した可視光を可視カメラで受光する工程、及び
前記近赤外カメラによって受光された前記近赤外光の受光結果と前記可視カメラによって受光された前記可視光の受光結果とを合成して、前記近赤外光を吸収する前記被写体(検体)内の部分が強調された強調画像を生成する工程、
を含む、請求項15~21のいずれか一つに記載の撮像方法。 - 前記可視カメラによって受光された前記可視光の受光結果をリファレンスとし、前記近赤外カメラによって受光された前記近赤外光の受光結果と前記可視光の受光結果との差分を演算して前記強調された強調画像を生成する、請求項22に記載の撮像方法。
- 前記被写体(検体)は生体組織である請求項15~23のいずれか一つに記載の撮像方法。
- 前記生体組織は、固定液で固定した生体組織である請求項24に記載の撮像方法。
- 前記強調画像は、膵臓又はリンパ節の画像である請求項24又は25に記載の撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022563743A JPWO2022107723A1 (ja) | 2020-11-18 | 2021-11-15 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020191799 | 2020-11-18 | ||
JP2020-191799 | 2020-11-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022107723A1 true WO2022107723A1 (ja) | 2022-05-27 |
Family
ID=81708048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/041938 WO2022107723A1 (ja) | 2020-11-18 | 2021-11-15 | 近赤外光を利用した撮像システム及び撮像方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2022107723A1 (ja) |
WO (1) | WO2022107723A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5451785A (en) * | 1994-03-18 | 1995-09-19 | Sri International | Upconverting and time-gated two-dimensional infrared transillumination imaging |
JP2852096B2 (ja) * | 1990-03-29 | 1999-01-27 | オリンパス光学工業株式会社 | 被検体通過中の散乱光成分抑制方法およびその装置 |
US20080218732A1 (en) * | 2005-07-27 | 2008-09-11 | University Of Massachusetts Lowell | Infrared Scanner for Biological Applications |
WO2011089949A1 (ja) * | 2010-01-25 | 2011-07-28 | アイアールスペック株式会社 | 化合物半導体受光素子アレイ |
WO2014192876A1 (ja) * | 2013-05-30 | 2014-12-04 | 独立行政法人産業技術総合研究所 | 撮像システム及び撮像方法 |
JP2016168231A (ja) * | 2015-03-13 | 2016-09-23 | キヤノン株式会社 | 撮影装置、撮影システム、撮影方法及び撮影装置で用いられる支持部材 |
JP2018132465A (ja) * | 2017-02-17 | 2018-08-23 | 株式会社Screenホールディングス | 撮像方法および撮像装置 |
JP2019096758A (ja) * | 2017-11-24 | 2019-06-20 | アイアールスペック株式会社 | 化合物半導体フォトダイオードアレイ |
-
2021
- 2021-11-15 JP JP2022563743A patent/JPWO2022107723A1/ja active Pending
- 2021-11-15 WO PCT/JP2021/041938 patent/WO2022107723A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2852096B2 (ja) * | 1990-03-29 | 1999-01-27 | オリンパス光学工業株式会社 | 被検体通過中の散乱光成分抑制方法およびその装置 |
US5451785A (en) * | 1994-03-18 | 1995-09-19 | Sri International | Upconverting and time-gated two-dimensional infrared transillumination imaging |
US20080218732A1 (en) * | 2005-07-27 | 2008-09-11 | University Of Massachusetts Lowell | Infrared Scanner for Biological Applications |
WO2011089949A1 (ja) * | 2010-01-25 | 2011-07-28 | アイアールスペック株式会社 | 化合物半導体受光素子アレイ |
WO2014192876A1 (ja) * | 2013-05-30 | 2014-12-04 | 独立行政法人産業技術総合研究所 | 撮像システム及び撮像方法 |
JP2016168231A (ja) * | 2015-03-13 | 2016-09-23 | キヤノン株式会社 | 撮影装置、撮影システム、撮影方法及び撮影装置で用いられる支持部材 |
JP2018132465A (ja) * | 2017-02-17 | 2018-08-23 | 株式会社Screenホールディングス | 撮像方法および撮像装置 |
JP2019096758A (ja) * | 2017-11-24 | 2019-06-20 | アイアールスペック株式会社 | 化合物半導体フォトダイオードアレイ |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022107723A1 (ja) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6710735B2 (ja) | 撮像システム及び手術支援システム | |
US10314490B2 (en) | Method and device for multi-spectral photonic imaging | |
CN104825131B (zh) | 皮肤状况评估装置及使用该装置的皮肤状况评估方法 | |
US7257437B2 (en) | Autofluorescence detection and imaging of bladder cancer realized through a cystoscope | |
US20180242901A1 (en) | Systems and methods for hyperspectral medical imaging using real-time projection of spectral information | |
US20240074664A1 (en) | Apparatus and method for image-guided interventions with hyperspectral imaging | |
EP2612134B1 (en) | Methods and systems for producing visible light and x-ray image data | |
JP5623540B2 (ja) | 生体情報取得解析装置 | |
KR20150087258A (ko) | 효율적인 변조 이미지 진단 | |
US20120057164A1 (en) | Biological information measuring apparatus | |
US7692160B2 (en) | Method and system of optical imaging for target detection in a scattering medium | |
US20160058295A1 (en) | Photoacoustic wave measurement apparatus and photoacoustic wave measurement method | |
CN109863441A (zh) | 荧光显微镜 | |
WO2022107723A1 (ja) | 近赤外光を利用した撮像システム及び撮像方法 | |
Szyc et al. | Development of a handheld fluorescence imaging camera for intraoperative sentinel lymph node mapping | |
Yi et al. | Real-time multispectral imager for home-based health care | |
JPH0483149A (ja) | 蛍光像画像化装置 | |
Lim et al. | Clinical study of ex vivo photoacoustic imaging in endoscopic mucosal resection tissues | |
Simantiraki et al. | Multispectral unmixing of fluorescence molecular tomography data | |
Karambor Chakravarty | Non-invasive Estimation of Skin Chromophores Using Hyperspectral Imaging | |
Tamošiūnas et al. | Wide-field Raman spectral band imaging of tumor lesions in veterinary medicine | |
Fry | Sensitivity and accuracy limits of molecular imaging in fluorescence guided surgery | |
JP2022527642A (ja) | 狭帯域光観察を利用する医療機器 | |
Li et al. | Real-time imaging spectrometry for microscope | |
KR20170038613A (ko) | 영상 처리 장치 및 영상 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21894597 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022563743 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21894597 Country of ref document: EP Kind code of ref document: A1 |