[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019151029A1 - 撮像装置および撮像方法、並びにプログラム - Google Patents

撮像装置および撮像方法、並びにプログラム Download PDF

Info

Publication number
WO2019151029A1
WO2019151029A1 PCT/JP2019/001762 JP2019001762W WO2019151029A1 WO 2019151029 A1 WO2019151029 A1 WO 2019151029A1 JP 2019001762 W JP2019001762 W JP 2019001762W WO 2019151029 A1 WO2019151029 A1 WO 2019151029A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
wavelength
effective wavelength
unit
Prior art date
Application number
PCT/JP2019/001762
Other languages
English (en)
French (fr)
Inventor
丈士 上森
厚史 伊藤
信一郎 五味
優介 森内
中村　憲一郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/964,191 priority Critical patent/US11388323B2/en
Priority to JP2019569027A priority patent/JPWO2019151029A1/ja
Priority to CN201980010781.3A priority patent/CN111670000B/zh
Publication of WO2019151029A1 publication Critical patent/WO2019151029A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to an imaging apparatus, an imaging method, and a program, and more particularly, to an imaging apparatus, an imaging method, and a program that allow a user to irradiate and image light with an optimal wavelength without being conscious of the type of subject. .
  • An edge component is extracted from the endoscopic image, the complexity of the edge component is detected, and it is determined whether the subject is a close-up shot or a distant shot according to the complexity, and RGB (Red Green Blue) )
  • RGB Red Green Blue
  • the present disclosure has been made in view of such a situation, and in particular, enables a user to irradiate an image with light having an optimum wavelength without being aware of the type of subject.
  • An imaging apparatus includes a white light source unit that irradiates an object with white light, an imaging unit that captures a multispectral image of the object, and the multi of the object irradiated with the white light.
  • An imaging apparatus including an object identifying unit that identifies an optimum wavelength of light for analyzing the object as an effective wavelength from a spectral image, and a variable wavelength light source unit that irradiates the object with light having the effective wavelength. is there.
  • An imaging method includes a white light source process for irradiating an object with white light, an imaging process for capturing a multispectral image of the object, and the multi of the object irradiated with the white light.
  • An imaging method comprising: an object identification process for identifying an optimum wavelength of light for analyzing the object as an effective wavelength from a spectral image; and a variable wavelength light irradiation process for irradiating the object with light having the effective wavelength. It is.
  • a program includes a white light source unit that irradiates an object with white light, an imaging unit that captures a multispectral image of the object, and the multispectrum of the object irradiated with the white light.
  • a program that causes a computer to function as an object identification unit that specifies an optimum wavelength of light for analysis of the object as an effective wavelength and a variable wavelength light source unit that irradiates the object with light of the effective wavelength from an image. is there.
  • the object is irradiated with white light
  • a multispectral image of the object is captured
  • the object is analyzed from the multispectral image of the object irradiated with the white light.
  • the optimum wavelength of light is identified as the effective wavelength, and the object is irradiated with the light having the effective wavelength.
  • the user it is possible for the user to take an image by irradiating light of an optimal wavelength without being conscious of the type of subject.
  • FIG. 14 is a diagram for explaining a configuration example of a general-purpose computer.
  • FIG. 1 illustrates a configuration example of a first embodiment of an imaging apparatus according to the present disclosure.
  • the imaging apparatus 11 in FIG. 1 uses an endoscope apparatus to capture mainly visceral tissues and affected lesions of the human body as multispectral images, and analyzes the visceral tissues and affected lesions based on the captured multispectral images. And display the analysis results.
  • the imaging device 11 in FIG. 1 captures a visceral tissue or an affected lesion of a human body as a multispectral image, and analyzes the visceral tissue or an affected lesion based on the captured multispectral image.
  • the same configuration may be applied to other uses.
  • the imaging device 11 of FIG. 1 may capture vegetables and fruits as multispectral images, and analyze sugar content, salinity, maturity, and the like from the captured multispectral images.
  • the imaging device 11 first uses a multispectrum to capture an image under white light, and uses a classifier configured from the captured image using a neural network such as CNN (Convolutional Neural Network).
  • CNN Convolutional Neural Network
  • the imaging device 11 specifies the wavelength of light that should be irradiated onto the subject most suitable for identification based on the parameters obtained when identifying.
  • the imaging device 11 emits light of the specified optimum wavelength with the variable wavelength light source unit and irradiates the subject, thereby obtaining a spectrum image (spectral image) of the optimum wavelength with higher wavelength resolution than that under white light. get.
  • the imaging device 11 can identify the subject as the object in detail and analyze the characteristics of the identified subject with high accuracy.
  • the imaging device 11 generates a pseudo color image from a spectral image captured under white light and a spectral image captured under narrowband light having a wavelength that is optimal for identification and analysis of the subject, and is an internal organ that is the subject. By generating an image that emphasizes the characteristics and analysis results of tissues and lesions, the characteristics of internal organs and lesions can be displayed in an easily understandable manner.
  • the imaging device 11 includes a multispectral camera 31, an input image control unit 32, a switch (S / W) 33, an object identification unit 34, a display image generation unit 35, a display unit 36, a characteristic analysis unit 37, a light source control unit 38, A switch (S / W) 39, a white light source unit 40, and a variable wavelength light source unit 41 are provided.
  • the multispectral camera 31 captures a multispectral image composed of a plurality of broadband spectral images (spectral images of a plurality of bands (wavelength bands)) and outputs the captured image to the input image control unit 32.
  • the input image control unit 32 controls the switch 33 to It connects with the object identification part 34, and outputs a multispectral image to the target object identification part 34.
  • the input image control unit 32 controls the switch 33 to output a spectral image corresponding to effective wavelength information among the multispectral images to the characteristic analysis unit 37.
  • the switch 33 When the switch 33 is controlled by the input image control unit 32 and is connected to the object identification unit 34, the switch 33 outputs a multispectral image output from the input image control unit 32 and is connected to the characteristic analysis unit 37. A spectrum image of the wavelength band corresponding to the effective wavelength information is output.
  • the object identification unit 34 uses a multispectral image captured in a state in which white light is irradiated on the subject by the white light source unit 40 and a classifier 51 in which the relationship between the object and the object is learned in advance. An object to be a subject is identified based on the image.
  • the object identification unit 34 displays, as effective wavelength information, information on the wavelength of light applied to the subject that is effective for identification, based on the parameters inside the classifier 51 obtained at the time of identification. 35 and the light source control unit 38.
  • the characteristic analysis unit 37 is an effective multispectral image captured by the multispectral camera 31 in a state where the variable wavelength light source unit 41 emits light having a wavelength effective for imaging the subject. Based on the spectral image of the wavelength, the subject that is the object is identified. In addition, the characteristic analysis unit 37 analyzes the characteristic of the object based on the identification result and outputs the analysis result to the display image generation unit 35.
  • the characteristic analysis unit 37 may be configured by, for example, a classifier (corresponding to the classifier 51 in the object identification unit 34) configured by a neural network such as CNN. Further, the progress of the lesion may be classified. Such a discriminator can be realized by learning in advance using spectral images (spectral images) according to the degree of progression of various sites and lesions. As another example, the shape of a blood vessel or tissue structure in a spectrum image (spectral image) of narrowband light may be analyzed to determine whether or not the lesion is a lesion.
  • the object is a living tissue of various parts of the human body.
  • the image finally required in the present disclosure is a normal tissue or a diseased tissue. It is possible to observe capillaries on the surface of the mucosa, slight mucosal thickening, deep blood vessels, and the like. It becomes an image.
  • NBI Narrow Band Imaging
  • the wavelength band of a narrow-band optical spectrum image useful for diagnosis differs depending on the region to be diagnosed and the lesion.
  • fluorescence observation that irradiates blue light in a narrow wavelength band and highlights the difference in color between autofluorescence in normal tissue and lesion tissue, or blood vessels deep in the mucous membrane using infrared light
  • Infrared light observation that highlights blood flow information and the like is also used depending on the region to be diagnosed and the lesion.
  • the object identifying unit 34 identifies the above-described subject part or lesion tissue as the object based on the multispectral image, and then optimal light for imaging a spectrum image necessary for observing the identified object.
  • the effective wavelength information which is the information of the wavelength is generated and output to the light source controller 38.
  • a CNN Convolutional Neural Network
  • a CNN Convolutional Neural Network
  • Grad-CAM Visual Explanations from Deep Networks. Please refer to “via Gradient-based Localization” (https://arxiv.org/pdf/1610.02391.pdf).
  • the discriminator 51 can analyze which wavelength band the spectral image is focused on by using the CNN, and can determine an effective wavelength for identifying the object.
  • the discriminator 51 using the CNN includes a feature amount extraction unit 61 including a plurality of convolution layers and a pooling layer, and an identification for classifying into a class corresponding to the identification result of the object based on the feature amount. Part 62.
  • the final layer of the identifying unit 62 converts the feature quantity of each class into a probability score using a softmax function and assigns it as a tag of each class.
  • the object identification unit 34 outputs the identification result of the class having the maximum probability score.
  • the number of effective wavelengths to be output is an arbitrary number equal to or less than the number of bands of the multispectral camera 31, and is determined in the order of the degree of attention of each spectral image obtained by the technique using the CNN.
  • the light source control unit 38 controls the switch 39 to switch the white light source unit 40 or the variable wavelength light source unit 41 to emit white light or light having a wavelength based on effective wavelength information from each, The target object is irradiated.
  • the light source control unit 38 controls the white light source unit 40 to emit white light in the first process. Further, in the next process, the light source control unit 38 controls the variable wavelength light source unit 41 to emit light of the corresponding wavelength based on the determined effective wavelength information.
  • the multispectral camera 31 captures a multispectral image in a state where the white light source 40 irradiates the object that is the subject with the white light source 40 in the first process.
  • An object is identified from the multispectral image, an effective wavelength optimal for measurement of the object that is the identification result is specified, and is output as effective wavelength information.
  • the multispectral camera 31 captures a multispectral image in a state in which light having a narrow band wavelength corresponding to the effective wavelength information is irradiated to the subject as a subject by the variable wavelength light source unit 41.
  • a spectral image corresponding to the effective wavelength information is used, and the characteristic analysis unit 37 analyzes the target object.
  • the display image generation unit 35 generates an image by superimposing the multispectral image captured in a state where white light is emitted and the analysis result of the characteristics of the target object, and generates an organic EL (Electro-Luminescence)
  • the data is output and displayed on a display unit 36 such as an LCD (Liquid Crystal Display).
  • the display image generation unit 35 corresponds to a multispectral image captured in a state where white light is irradiated and a spectrum of a corresponding wavelength in a state where light having an effective wavelength corresponding to effective wavelength information is irradiated.
  • a pseudo color image is generated using the image and displayed on the display unit 36. The generation of the pseudo color image will be described in detail later with reference to FIGS.
  • the multispectral camera 31 has a spectral image of a band Cw1 having a peak at a wavelength ⁇ 1, a spectral image of a band Cw2 having a peak at a wavelength ⁇ 2, and a band Cw3 having a peak at a wavelength ⁇ 3. And a multi-spectral image consisting of a spectral image of a band Cwn having a peak at the wavelength ⁇ n.
  • the band of each spectrum image is a wide band, and a part of wavelengths at the boundary overlap.
  • variable wavelength light source unit 41 includes light of a band Cn1 having a peak at a wavelength ⁇ 1, as shown in FIG. It emits light having a spectral distribution composed of a band Cn5 having a peak at wavelength ⁇ 5.
  • variable wavelength light source unit 41 has a wavelength band that is optimal for imaging a subject that is a target of any of the narrow bands Cn1 to Cnn as compared to the bands of each band in the multispectral camera 31. Emits light with a spectral distribution.
  • 3 is an example of emitting light having a spectral distribution composed of a combination of bands Cn1 and Cn5 having peaks at wavelengths ⁇ 1 and ⁇ 5 in FIG. 3, and a combination of other or more bands, or any one of them. You may make it emit the light of the spectral distribution of only a band.
  • the display image generation unit 35 generates a pseudo color image from a spectrum image (spectral image) of a band composed of each wavelength band imaged under white light and narrow band light, and superimposes the analysis result of the characteristic analysis unit 37.
  • a display image is generated and displayed on the display unit 36.
  • the effective wavelengths obtained by the object identification unit 34 are ⁇ 1 and ⁇ 5, and the variable wavelength light source unit 41 emits light having spectral characteristics composed of a combination of bands Cn1 and Cn5 with the wavelengths ⁇ 1 and ⁇ 5 as peaks.
  • the variable wavelength light source unit 41 emits light having spectral characteristics composed of a combination of bands Cn1 and Cn5 with the wavelengths ⁇ 1 and ⁇ 5 as peaks.
  • the display image generation unit 35 adjusts the gains of the spectral images P1 and P5 of the bands Cn1 and Cn5 having the effective wavelengths ⁇ 1 and ⁇ 5 as peaks, Assign to channel and R channel independently.
  • the display image generation unit 35 adds the spectral images P2 to P4 of the bands Cw2 to Cw4 having the peaks at the wavelengths ⁇ 2 to ⁇ 4, which are intermediate wavelengths of the wavelengths ⁇ 1 and ⁇ 5, and adjusts the gain. Assign to a channel.
  • the display image generation unit 35 generates a pseudo color image P21 as shown in FIG. 4 by synthesizing the images assigned to the RGB channels.
  • the spectral images P1 and P5 of the bands Cw1 and Cw5 having the peaks at the wavelengths ⁇ 1 and ⁇ 5 may be spectral images captured under white light or spectral images captured under narrowband light. It should be noted that the RGB channel to which the image obtained by adding the spectral images P1 and P5 and the spectral images P2 to P4 is assigned may be other than the above.
  • the display image generation unit 35 displays the spectrum image P1 of the band Cw1 having the peak at the wavelength ⁇ 1 as the effective wavelength as shown in FIG. , R are assigned to any one channel.
  • the spectrum image P1 of the band Cw1 having the peak at the wavelength ⁇ 1 is assigned to the B channel.
  • the display image generation unit 35 adjusts the gain by adding the spectrum images P2 to Pm of the bands B2 to Bm having the wavelengths ⁇ 2 to ⁇ m as peaks, and then the other two channels (in FIG. 5, G channels) are added and spectral images Pm + 1 to Pn of bands Cwm + 1 to Cwn having peaks at wavelengths ⁇ m + 1 to ⁇ n are added to adjust the gain, and then the other two channels (R in FIG. Channel).
  • the display image generation unit 35 generates a pseudo color image P31 as shown in FIG. 5 by combining the images assigned to the RGB channels in this way.
  • step S ⁇ b> 11 the light source control unit 38 controls the switch 39 to connect to the white light source unit 40, and also controls the white light source unit 40 to adjust the object that is the subject within the imaging range of the multispectral camera 31. On the other hand, white light is irradiated. At this time, the light source control unit 38 controls the white light source unit 40 to output information indicating that white light is emitted to the input image control unit 32.
  • step S ⁇ b> 12 the multispectral camera 31 captures an object that is a subject as a multispectral image in a state where white light is irradiated by the white light source unit 40, and outputs the image to the input image control unit 32.
  • step S ⁇ b> 13 the input image control unit 32 controls the switch 33 to connect to the object identification unit 34 and output the entire spectrum image of the multispectral image captured by the multispectral camera 31 to the object identification unit 34. To do.
  • step S14 the object identifying unit 34 identifies the object using the classifier 51 made of CNN or the like based on the multispectral image captured by the multispectral camera 31, that is, all the spectrum images.
  • step S15 the object identifying unit 34 identifies the wavelength of light effective for analyzing the object as an effective wavelength based on the parameters of the identifying unit 51 when identifying the object.
  • step S16 the object identifying unit 34 outputs the information on the identified effective wavelength to the display image generating unit 35 and the light source control unit 38 as effective wavelength information. At this time, the object identification unit 34 outputs the multispectral image to the display image generation unit 35 together with the effective wavelength information.
  • step S17 the light source control unit 38 controls the switch 39 to connect to the variable wavelength light source unit 41, emit light having a wavelength based on the effective wavelength information, and irradiate the target object. At this time, the light source control unit 38 outputs effective wavelength information to the input image control unit 32.
  • step S ⁇ b> 18 the multispectral camera 31 captures an object as a subject as a multispectral image in a state where light having a wavelength based on effective wavelength information is irradiated by the variable wavelength light source unit 41, and the captured multispectral image. Is output to the input image control unit 32. At this time, the white light source unit 40 is in a state where no white light is emitted.
  • step S ⁇ b> 19 the input image control unit 32 connects the switch 33 to the characteristic analysis unit 37, and among the multispectral images supplied from the multispectral camera 31, selects the spectral image corresponding to the effective wavelength information from the characteristic analysis unit 37. Output to.
  • step S20 the characteristic analysis unit 37 identifies and analyzes the target object based on the spectrum image in the band corresponding to the effective wavelength information supplied from the input image control unit 32.
  • step S21 the characteristic analysis unit 37 outputs an analysis result based on the identification result of the object that is the subject to the display image generation unit 35. At this time, the characteristic analysis unit 37 outputs the spectrum image of the band corresponding to the effective wavelength information to the display image generation unit 35 together with the analysis result.
  • step S ⁇ b> 22 the display image generation unit 35 performs pseudo-simulation based on the spectral image corresponding to the analysis result and effective wavelength information from the characteristic analysis unit 37, and the effective wavelength information and multispectral image from the object identification unit 34.
  • a color image is generated and the analysis result is superimposed and displayed on the display unit 36.
  • the pseudo color image is generated by, for example, the method described with reference to FIG. 4 or FIG.
  • a multispectral image is captured in a state where white light is applied to the target object, the target is recognized, and it is ideal for observing and analyzing the recognized target object.
  • the wavelength of the correct light is specified and output as effective wavelength information.
  • a multispectral image is captured again, a spectral image corresponding to the effective wavelength information is extracted and analyzed, and an analysis result, A pseudo color image is generated based on the effective wavelength information, and the analysis result is superimposed and displayed.
  • the characteristics of the object are emphasized by generating a pseudo color image based on the spectrum image of the wavelength of light effective for the object obtained from the multispectral image captured using white light.
  • a color image can be presented to the user, and the features of the object can be displayed with ease.
  • Second embodiment An example has been described in which a subject that is an object is identified based on a multispectral image captured by the multispectral camera 31, and an appropriate wavelength of light is specified as an effective wavelength. Based on the above, it is possible to generate a hyper multispectral image with an increased number of channels, specify an object from the hyper multispectral image, and obtain an optimum wavelength band of light with higher accuracy.
  • FIG. 7 shows that a hyper multispectral image with an increased number of channels is generated based on the multispectral image, an object is identified from the hyper multispectral image, and an optimum wavelength band of light is obtained with higher accuracy.
  • 2 shows an example of the configuration of the imaging device 11 made.
  • symbol is attached
  • a hyperspectral image generation unit 71 is provided between the switch 33 and the object identification unit 34.
  • the multispectral image has a band Cn101 having a peak at a wavelength ⁇ 11 and a peak at a wavelength ⁇ 12.
  • it is composed of the band Cn102 and the band Cn103 having the peak at the wavelength ⁇ 13.
  • none of the bands is the same with respect to the original optimum band Cn111, and the nearest band S102 is hardly said to be an effective wavelength.
  • the multispectral image peaks at a band Cw201 having a wavelength ⁇ 21 as a peak and at a wavelength ⁇ 22.
  • Band Cw202 and a band Cw203 having a peak at wavelength ⁇ 23 each band is wider than in the case of FIG. 8, but all bands are not compared to the original optimum band Cn211. It is still difficult to say that the effective wavelength is not the same for the nearest band Cw202.
  • the hyperspectral image generation unit 71 generates a hyperspectral image having a larger number of bands (a larger number of channels) based on the multispectral image captured by the multispectral camera 31.
  • the hyperspectral image generation unit 71 is, for example, the technique disclosed in Japanese Patent Application Laid-Open No. 2003-93336 (a method of generating a spectral image of an arbitrary wavelength from an RGB image, and extended to four or more channels). A hyperspectral image composed of more bands (more channels) than a multispectral image.
  • a normal RGB camera instead of the multispectral camera 31, a normal RGB camera may be used, and the hyperspectral image generation unit 71 may generate a hypermultispectral image from the RGB image.
  • the multispectral image generated by the multispectral camera 31 has a small number of bands (small number of channels), it is possible to obtain effective wavelength information with high accuracy. Further, a spectrum image taken under a narrow band light having the effective wavelength can be acquired as a spectrum image having a wavelength resolution performance narrower than the sensitivity characteristic of the multispectral camera 31.
  • the input image control unit 32 controls the switch 33 in step S33 to control the hyperspectral image generation unit 71. , And outputs the full spectrum image of the multispectral image captured by the multispectral camera 31 to the hyperspectral image generation unit 71.
  • step S34 the hyperspectral image generation unit 71 generates a hyperspectral image from the multispectral image and outputs the hyperspectral image to the object identification unit 34.
  • step S35 the object identifying unit 34 identifies the object using the classifier 51 made of CNN or the like based on the hyper multispectral image generated by the hyperspectral image generating unit 71.
  • step S36 the object identification unit 34 identifies the wavelength of light effective for analyzing the object as an effective wavelength based on the identification result of the object and the hyperspectral image.
  • the information on the effective wavelength is output as the effective wavelength information
  • the spectrum image in which the light of the appropriate wavelength is irradiated on the object is captured, and the light of the appropriate wavelength is irradiated
  • the object is analyzed based on the spectral image captured in step, and a pseudo color image can be displayed.
  • Example of execution by software By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose computer or the like.
  • FIG. 11 shows a configuration example of a general-purpose computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • An input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, a program and various data
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded in a removable storage medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable storage medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the CPU 1001 in FIG. 11 includes the input image control unit 32, the object identification unit 34, the characteristic analysis unit 37, the display image generation unit 35, the light source control unit 38, and the hyperspectral image generation unit 71 in FIGS. Realize the function.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • a white light source unit that irradiates an object with white light;
  • An imaging unit that captures a multispectral image of the object; From the multispectral image of the object irradiated with the white light, an object identification unit that identifies the wavelength of light optimal for analysis of the object as an effective wavelength;
  • An imaging apparatus comprising: a variable wavelength light source unit that irradiates the object with light having the effective wavelength.
  • the object identification unit identifies the object from the multispectral image of the object irradiated with the white light, and based on the identification result, the object identification unit The imaging device according to ⁇ 1>, wherein the wavelength is specified as an effective wavelength.
  • the object identification unit identifies the object from the multispectral image of the object irradiated with the white light by CNN (Convolutional Neural Network), and based on the identification result, the object
  • the imaging device according to ⁇ 2>, wherein the wavelength of light that is optimal for analyzing an object is specified as an effective wavelength.
  • the imaging apparatus according to ⁇ 1>, wherein the imaging unit captures a multispectral image of the object irradiated with light having the effective wavelength specified by the object identification unit.
  • the imaging device Based on a spectral image corresponding to the light of the effective wavelength among the multispectral images of the target irradiated with the light of the effective wavelength specified by the target object identification unit, the characteristics of the target
  • the imaging device further including a characteristic analysis unit that analyzes ⁇ 6>
  • the characteristic analysis unit includes a light having an effective wavelength among multispectral images of the object irradiated with the light having the effective wavelength identified by the object identification unit by a CNN (Convolutional Neural Network).
  • the imaging device according to ⁇ 5>, wherein the object is identified based on a spectrum image corresponding to, and the characteristics of the object are analyzed according to the identification result.
  • a display image generation unit that generates a pseudo color image by allocating spectral images corresponding to the light of the effective wavelength that emphasizes the analysis result of the characteristic analysis unit and other multispectral images to RGB channels.
  • the imaging device further including: ⁇ 8>
  • the display image generation unit assigns a spectral image corresponding to light having a first effective wavelength to a first channel of the RGB channels, and a second effective wavelength different from the first effective wavelength.
  • the imaging according to ⁇ 7> wherein a spectrum image corresponding to light of a wavelength is allocated to a second channel of the RGB channels, and another spectrum image is allocated to a third channel to generate the pseudo color image. apparatus.
  • the display image generation unit adjusts a gain of a spectral image corresponding to light having a first effective wavelength, assigns the gain to the first channel of the RGB channels, and what is the first effective wavelength?
  • the gain of the spectral image corresponding to the light of the different second effective wavelength is adjusted, assigned to the second channel of the RGB channels, the other spectral images are added, the gain is adjusted,
  • the imaging device according to ⁇ 8>, wherein the pseudo color image is generated by allocating to three channels.
  • the display image generation unit assigns a spectrum image corresponding to light having a first effective wavelength to a first channel of the RGB channels, and a spectrum image corresponding to light having the first effective wavelength.
  • a part of the spectrum image other than the spectrum image is assigned to the second channel of the RGB channels, and a part of the spectrum image other than the spectrum image corresponding to the light having the first effective wavelength is assigned to the third channel.
  • the imaging device wherein the pseudo color image is generated by assigning the pseudo color image.
  • the display image generation unit adjusts a gain of a spectrum image corresponding to light having a first effective wavelength, assigns the gain to the first channel among the RGB channels, and transmits light having the first effective wavelength.
  • a spectral image corresponding to the light having the first effective wavelength is obtained by adding a part of a spectral image other than the spectral image corresponding to, and adjusting the gain and assigning the gain to the second channel of the RGB channels.
  • the imaging apparatus wherein after adding a part other than a part of the spectrum image other than, the gain is adjusted and assigned to the third channel to generate the pseudo color image.
  • a hyperspectral image generation unit that generates a hyperspectral image composed of spectral images of more bands than the multispectral image based on the multispectral image, From the hyperspectral image generated based on the multispectral image of the target object irradiated with the white light, the target object identification unit uses an optimum wavelength of light for analyzing the target object as an effective wavelength.
  • the imaging device according to any one of ⁇ 1> to ⁇ 11>.
  • the imaging device according to any one of ⁇ 1> to ⁇ 12>, wherein the imaging unit captures a multispectral image of the object in a wide wavelength band.
  • the variable wavelength light source unit emits light of at least one of a plurality of narrow wavelength bands or a combination thereof as light of the effective wavelength, and irradiates the object ⁇ 1>.
  • the imaging device according to any one of ⁇ 13>.
  • a white light source process for irradiating an object with white light An imaging process for imaging a multispectral image of the object; From the multispectral image of the object irradiated with the white light, an object identification process that specifies an optimum wavelength of light for analysis of the object as an effective wavelength; A variable wavelength light irradiation process for irradiating the object with light having the effective wavelength.
  • ⁇ 16> a white light source unit that irradiates an object with white light;
  • An imaging unit that captures a multispectral image of the object; From the multispectral image of the object irradiated with the white light, an object identification unit that identifies the wavelength of light optimal for analysis of the object as an effective wavelength;
  • a program that causes a computer to function as a variable wavelength light source unit that irradiates the object with light having the effective wavelength.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本開示は、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像することができるようにする撮像装置および撮像方法、並びにプログラムに関する。 白色光が照射された対象物のマルチスペクトル画像より、対象物の解析に最適な光の波長を、有効波長として特定し、有効波長の光を対象物に照射し、この状態の対象物をマルチスペクトル画像として撮像し、有効波長のスペクトル画像に基づいて、対象物を解析する。本開示は、内視鏡装置に適用することができる。

Description

撮像装置および撮像方法、並びにプログラム
　本開示は、撮像装置および撮像方法、並びにプログラムに関し、特に、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像できるようにした撮像装置および撮像方法、並びにプログラムに関する。
　内視鏡画像からエッジ成分を抽出し、そのエッジ成分の複雑度を検出し、その複雑度に応じて被写体を近接撮影したものであるか遠景撮影したものかを判定し、RGB（Red Green Blue）画像から分光画像を生成するためのマトリクスパラメータを切り替えることによって、近接撮影と遠景撮影とで異なる波長の分光画像を生成する方法が開示されている（特許文献１参照）。
特開２０１４－１５４９８２号公報
　しかしながら、特許文献１の方法では、生成する分光画像の波長の組み合わせは、事前に用意されたものであり、撮影対象の様々な状況に応じた柔軟な対応はなされていない。
　また、RGB画像から精度よく任意の波長の分光画像を生成することは難しく、適用できるシーンが限られる。
　本開示は、このような状況に鑑みてなされたものであり、特に、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像できるようにするものである。
　本開示の一側面の撮像装置は、白色光を対象物に照射する白色光源部と、前記対象物のマルチスペクトル画像を撮像する撮像部と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、前記有効波長の光を前記対象物に照射する可変波長光源部とを含む撮像装置である。
　本開示の一側面の撮像方法は、白色光を対象物に照射する白色光源処理と、前記対象物のマルチスペクトル画像を撮像する撮像処理と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、前記有効波長の光を前記対象物に照射する可変波長光照射処理とを含む撮像方法である。
　本開示の一側面のプログラムは、白色光を対象物に照射する白色光源部と、前記対象物のマルチスペクトル画像を撮像する撮像部と、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、前記有効波長の光を前記対象物に照射する可変波長光源部としてコンピュータを機能させるプログラムである。
　本開示の一側面においては、白色光が対象物に照射され、前記対象物のマルチスペクトル画像が撮像され、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長が、有効波長として特定され、前記有効波長の光が前記対象物に照射される。
　本開示の一側面によれば、ユーザが被写体の種別を意識することなく、最適な波長の光を照射して撮像することが可能となる。
本開示に係る撮像装置の第１の実施の形態の構成例を示す図である。 マルチスペクトルカメラの感度特性を説明する図である。 可変波長光源部により発光される光の狭帯域分光強度特性を説明する図である。 擬似カラー画像の生成方法を説明する図である。 擬似カラー画像の生成方法を説明する図である。 図１の撮像装置による撮像処理を説明するフローチャートである。 本開示に係る撮像装置の第２の実施の形態の構成例を示す図である。 マルチスペクトル画像におけるバンド数が少ない場合の例を説明する図である。 マルチスペクトル画像におけるバンド数が少ない場合の例を説明する図である。 図７の撮像装置による撮像処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．ソフトウェアにより実行させる例
　＜＜１．第１の実施の形態＞＞
　図１は、本開示に係る撮像装置の第１の実施の形態の構成例を示している。
　図１の撮像装置１１は、内視鏡装置を用いた、主に人体の内臓組織や患部病変をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像に基づいて、内臓組織や患部病変を解析し、解析結果を表示する。
　尚、本実施の形態においては、図１の撮像装置１１が、人体の内臓組織や患部病変をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像に基づいて、内臓組織や患部病変を解析するものとして説明を進めるものとするが、同様の構成により、それ以外の用途に適用してもよい。例えば、図１の撮像装置１１が、野菜や果物をマルチスペクトル画像として撮像して、撮像したマルチスペクトル画像から糖度や塩分、または熟し具合などを解析するようにしてもよい。
　より具体的には、撮像装置１１は、まず、マルチスペクトルにより用いて白色光下で撮像し、撮像した画像から、CNN（Convolutional Neural Network）などのニューラルネットワークを用いて構成される識別器を用いて、撮像された被写体となる臓器の部位や病変部等を識別する。
　また、撮像装置１１は、識別する際に得られるパラメータをもとに、識別に最適な被写体に照射すべき光の波長を特定する。
　そして、撮像装置１１は、特定した最適な波長の光を可変波長光源部で発光させて、被写体に照射することによって、白色光下より波長分解能が高い最適な波長のスペクトル画像（分光画像）を取得する。
　これにより、撮像装置１１は、対象物である被写体を詳細に識別し、識別した被写体の特性を高精度に解析することが可能となる。また、撮像装置１１は、白色光下で撮像したスペクトル画像と、被写体の識別や解析に最適な波長からなる狭帯域光下で撮像したスペクトル画像とから擬似カラー画像を生成し、被写体である内臓組織や病変部の特性や解析結果を強調した画像を生成することで、内臓組織や病変部の特性を分かり易く表示することが可能となる。
　以下、図１の撮像装置１１の詳細な構成について説明する。
　撮像装置１１は、マルチスペクトルカメラ３１、入力画像制御部３２、スイッチ（S/W）３３、対象物識別部３４、表示画像生成部３５、表示部３６、特性解析部３７、光源制御部３８、スイッチ（S/W）３９、白色光源部４０、および可変波長光源部４１を備えている。
　マルチスペクトルカメラ３１は、複数の広帯域のスペクトル画像からなるマルチスペクトル画像（複数のバンド（波長帯域）の分光画像）を撮像して入力画像制御部３２に出力する。
　白色光源部４０により白色光が対象物である被写体に照射されて、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像が供給される場合、入力画像制御部３２は、スイッチ３３を制御して、対象物識別部３４と接続し、マルチスペクトル画像を対象物識別部３４に出力する。
　また、後述する有効波長情報に基づいて、光源制御部３８より供給される有効波長の光が可変波長光源部４１により対象物である被写体に照射されて、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像が供給される場合、入力画像制御部３２は、スイッチ３３を制御して、マルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像を特性解析部３７に出力する。
　スイッチ３３は、入力画像制御部３２により制御され、対象物識別部３４に接続される場合、入力画像制御部３２より出力されるマルチスペクトル画像を出力し、特性解析部３７に接続される場合、有効波長情報に対応する波長帯のスペクトル画像を出力する。
　対象物識別部３４は、白色光源部４０により白色光が被写体に照射された状態で撮像されたマルチスペクトル画像と、対象物との関係が事前に学習された識別器５１を用いて、マルチスペクトル画像に基づいて、被写体となる対象物を識別する。
　また、対象物識別部３４は、識別する際に得られた識別器５１内部のパラメータに基づいて、識別に有効となる被写体に照射する光の波長の情報を、有効波長情報として表示画像生成部３５、および光源制御部３８に出力する。
　特性解析部３７は、可変波長光源部４１により被写体の撮像に有効な波長の光が可変波長光源部４１により照射された状態で、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像のうちの、有効波長のスペクトル画像に基づいて、対象物である被写体を識別する。また、特性解析部３７は、識別結果に基づいて、対象物の特性を解析して解析結果を表示画像生成部３５に出力する。
　尚、特性解析部３７は、例えば、CNNなどのニューラルネットワークで構成された識別器（対象物識別部３４における識別器５１に対応する）などから構成されるようにしてもよく、これにより、部位および病変部の進行具合を分類してもよい。このような識別器は、予め様々な部位および病変部の進行度合い別のスペクトル画像（分光画像）を用いて学習しておくことで実現できる。また、別の例として、狭帯域光のスペクトル画像（分光画像）内の血管や組織構造の形状などを解析し、病変部か否かを判定できるようにしてもよい。
　ここで、本実施の形態となる内視鏡装置の場合、対象物は、人体の様々な部位の生体組織である。このため、本開示において最終的に必要とされる画像は、正常な組織か病変組織かを判定するために、粘膜表層の毛細血管や、わずかな粘膜の肥厚、深部血管などの観察が可能な画像となる。
　例えば、消化器における腫瘍の場合、毛細血管の集まりやそのパターンを観察することが重要であり、これらを観察し易くするために、例えば、波長が415nmや、540nmなどの狭波長帯域光を照射することで撮像される狭帯域光スペクトル画像（Narrow Band Imaging（NBI））が必要とされる。
　一般に、診断に有用な狭帯域光スペクトル画像の波長帯域は、診断対象となる部位及び病変部に応じて異なる。
　そのため、例えば、狭波長帯域の青色光を照射し、正常組織と病変組織における自家蛍光の強さを色の違いを強調表示する蛍光観察や、赤外光を用いて粘膜の深いところにある血管や血流情報を強調表示する赤外光観察なども、診断対象となる部位及び病変部に応じて用いられる。
　対象物識別部３４は、マルチスペクトル画像に基づいて、上述した対象物となる被写体の部位や病変組織を識別した上で、識別した対象の観察に必要とされるスペクトル画像の撮像に最適な光の波長の情報である有効波長情報を生成して光源制御部３８に出力する。
　尚、対象物識別部３４が備える識別器５１については、例えば、CNN（Convolutional Neural Network）が用いられるが、CNNを用いた識別器５１の詳細については、”Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization”（https://arxiv.org/pdf/1610.02391.pdf）を参照されたい。
　識別器５１は、CNNを用いることによって、どの波長帯域のスペクトル画像を注目しているのかを解析することが可能であり、対象物の識別に有効な波長を決定することができる。
　より詳細には、CNNを用いた識別器５１は、複数の畳み込み層とプーリング層からなる特徴量抽出部６１と、その特徴量に基づいて、対象物の識別結果に対応するクラスに分類する識別部６２とから成る。識別部６２の最終層は、ソフトマックス関数を用いて、各クラスの特徴量を確率スコアに変換し、各クラスのタグとして付与する。対象物識別部３４は、この確率スコアが最大となるクラスの識別結果を出力する。
　また、出力する有効波長の数は、マルチスペクトルカメラ３１のバンド数以下の任意の数であり、CNNを用いた手法により得られる各スペクトル画像の注目度の大きさの順に決定される。
　光源制御部３８は、スイッチ３９を制御して、白色光源部４０、または可変波長光源部４１を切り替えて、それぞれから白色光、または有効波長情報に基づいた波長の光を発光させて、被写体となる対象物を照射させる。
　より詳細には、光源制御部３８は、最初の処理において、白色光源部４０を制御して白色光を発光させる。また、光源制御部３８は、その次の処理において、決定された有効波長の情報に基づいて、対応する波長の光を、可変波長光源部４１を制御して発光させる。
　このような動作により、マルチスペクトルカメラ３１は、最初の処理で、白色光源部４０により白色光が被写体となる対象物に照射された状態のマルチスペクトル画像を撮像する。このマルチスペクトル画像から対象物が識別されて、識別結果となる対象物の測定に最適な有効波長が特定され、有効波長情報として出力される。
　そして、次の処理で、マルチスペクトルカメラ３１は、可変波長光源部４１により有効波長情報に対応する狭帯域波長の光が被写体となる対象物に照射された状態のマルチスペクトル画像を撮像する。このとき撮像されるマルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像が用いられて、特性解析部３７により被写体となる対象物が解析される。
　表示画像生成部３５は、白色光が発光された状態で撮像されたマルチスペクトル画像と、被写体となる対象物の特性の解析結果とを重畳して画像を生成し、有機EL（Electro Luminescence）やLCD（Liquid Crystal Display）などからなる表示部３６に出力して表示させる。
　より詳細には、表示画像生成部３５は、白色光が照射された状態において撮像されたマルチスペクトル画像と、有効波長情報に対応する有効波長の光が照射された状態における、対応する波長のスペクトル画像とを用いて、疑似カラー画像を生成して表示部３６に表示する。尚、擬似カラー画像の生成については、図４，図５を参照して詳細を後述する。
　＜マルチスペクトルカメラの感度特性と可変波長光源部により発光される狭帯域分布＞
　次に、図２，図３を参照して、マルチスペクトルカメラ３１の感度特性と可変波長光源部４１により発光される狭帯域分布の関係について説明する。
　マルチスペクトルカメラ３１は、例えば、図２で示されるような、波長λ１をピークとしたバンドＣｗ１のスペクトル画像と、波長λ２をピークとしたバンドＣｗ２のスペクトル画像と、波長λ３をピークとしたバンドＣｗ３のスペクトル画像と、・・・波長λｎをピークとしたバンドＣｗｎのスペクトル画像とからなるマルチスペクトル画像を撮像する。
　尚、ここでは、ｎ種類のバンドの広帯域のスペクトル画像からなるマルチスペクトル画像が撮像される例が示されている。図２で示されるように、各スペクトル画像のバンドは、広帯域であり、その境界の一部の波長が重なっている。
　すなわち、図２で示されるように、初期動作において、白色光源部４０からは広波長帯域の白色光が被写体である対象物に照射されており、マルチスペクトルカメラ３１により白色光下でのスペクトル画像が得られる。これにより、対象物の全ての波長帯域での分光反射率情報を取得することが可能となり、対象物がどの部位および病変部かを識別する上で望ましいマルチスペクトル画像を取得することができる。
　一方、可変波長光源部４１は、被写体である対象物の識別に最適な狭帯域のバンドからなる光として、例えば、図３で示されるように、波長λ１をピークとしたバンドＣｎ１の光と、波長λ５をピークとしたバンドＣｎ５とからなる分光分布の光を発光する。
　すなわち、可変波長光源部４１は、マルチスペクトルカメラ３１における各バンドの帯域と比較して、狭帯域からなるバンドＣｎ１乃至Ｃｎｎのうちのいずれか、対象物となる被写体の撮像に最適な波長帯の分光分布を備えた光を発光する。
　尚、図３における波長λ１、λ５をピークとしたバンドＣｎ１，Ｃｎ５の組み合わせからなる分光分布の光を発光させる例であり、これ以外の、もしくは、これ以上のバンドの組み合わせ、または、いずれかのバンドのみの分光分布の光を発光させるようにしてもよい。
　＜疑似カラー画像の生成について＞
　次に、図４，図５を参照して、表示画像生成部３５における疑似カラー画像の生成について説明する。
　表示画像生成部３５は、白色光下および狭帯域光下で撮像された各波長帯域からなるバンドのスペクトル画像（分光画像）から疑似カラー画像を生成し、特性解析部３７の解析結果を重畳して表示画像を生成し表示部３６に表示させる。
　例えば、対象物識別部３４で得られた有効波長がλ１，λ５であり、可変波長光源部４１により波長λ１，λ５をピークとしたバンドＣｎ１，Ｃｎ５の組み合わせからなる分光特性を備えた光を発光させる場合を考える。ここでは、波長λ１乃至λ５のそれぞれをピークとする５種類のバンドＣｎ１乃至Ｃｎ５のスペクトル画像によりマルチスペクトル画像が形成されるものとする。
　この場合、表示画像生成部３５は、例えば、図４で示されるように、有効波長λ１，λ５をピークとしたバンドＣｎ１，Ｃｎ５のスペクトル画像Ｐ１，Ｐ５については、ゲインを調整した後、それぞれBチャネル、およびRチャネルに独立に割り当る。
　そして、表示画像生成部３５は、波長λ１とλ５の中間波長である波長λ２乃至λ４のそれぞれをピークとしたバンドＣｗ２乃至Ｃｗ４のスペクトル画像Ｐ２乃至Ｐ４を、加算してゲインを調整した後、Gチャネルに割り当てる。
　このようにして、表示画像生成部３５は、RGBの各チャネルに割り当てた画像を合成することにより、図４で示されるような、疑似カラー画像Ｐ２１を生成する。
　このとき、波長λ１，λ５をピークとしたバンドＣｗ１，Ｃｗ５のスペクトル画像Ｐ１，Ｐ５は、白色光下で撮像されたスペクトル画像でも良いし、狭帯域光下で撮影されたスペクトル画像でもよい。尚、スペクトル画像Ｐ１，Ｐ５、およびスペクトル画像Ｐ２乃至Ｐ４を加算した画像を、RGBチャネルのいずれに割り当てるかについては、上述以外であってもよい。
　また、有効波長が、例えば、波長λ１のみであるの場合、表示画像生成部３５は、図５で示されるように有効波長である波長λ１をピークとしたバンドＣｗ１のスペクトル画像Ｐ１をB、G、Rのうちの、いずれかの１チャネルに割り当る。図５では、波長λ１をピークとしたバンドＣｗ１のスペクトル画像Ｐ１は、Bチャネルに割り当てられている。
　そして、表示画像生成部３５は、波長λ２乃至λｍをピークとしたバンドＢ２乃至Ｂｍのスペクトル画像Ｐ２乃至Ｐｍを加算してゲインを調整した後、残りの２チャネルの一方のチャネル（図５では、Gチャネル）に、割り当て、波長λｍ＋１乃至λｎをピークとしたバンドＣｗｍ＋１乃至Ｃｗｎのスペクトル画像Ｐｍ＋１乃至Ｐｎを加算して、ゲインを調整した後、残りの２チャネルの他方のチャネル（図５では、Rチャネル）に、割り当てる。
　表示画像生成部３５は、このようにしてRGBの各チャネルに割り当てた画像を合成することにより、図５で示されるような、疑似カラー画像Ｐ３１を生成する。
　＜図１の撮像装置による撮像処理＞
　次に、図６のフローチャートを参照して、図１の撮像装置１１による撮像処理について説明する。
　ステップＳ１１において、光源制御部３８は、スイッチ３９を制御して、白色光源部４０に接続すると共に、白色光源部４０を制御して、マルチスペクトルカメラ３１の撮像範囲内の被写体である対象物に対して白色光を照射させる。このとき、光源制御部３８は、白色光源部４０を制御して白色光を発光させていることを示す情報を入力画像制御部３２に出力する。
　ステップＳ１２において、マルチスペクトルカメラ３１は、白色光源部４０により白色光が照射された状態で、被写体である対象物をマルチスペクトル画像として撮像し、入力画像制御部３２に出力する。
　ステップＳ１３において、入力画像制御部３２は、スイッチ３３を制御して、対象物識別部３４に接続し、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像の全スペクトル画像を対象物識別部３４に出力する。
　ステップＳ１４において、対象物識別部３４は、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像、すなわち、全てのスペクトル画像に基づいて、CNNなどよりなる識別器５１を用いて、対象物を識別する。
　ステップＳ１５において、対象物識別部３４は、対象物を識別する際の、識別部５１のパラメータに基づいて、対象物の解析に有効な光の波長を有効波長として特定する。
　ステップＳ１６において、対象物識別部３４は、特定した有効波長の情報を有効波長情報として表示画像生成部３５、および光源制御部３８に出力する。このとき、対象物識別部３４は、有効波長情報と併せて、マルチスペクトル画像を表示画像生成部３５に出力する。
　ステップＳ１７において、光源制御部３８は、スイッチ３９を制御して、可変波長光源部４１に接続し、有効波長情報に基づいた波長の光を発光させ、被写体である対象物に照射させる。このとき、光源制御部３８は、有効波長情報を入力画像制御部３２に出力する。
　ステップＳ１８において、マルチスペクトルカメラ３１は、可変波長光源部４１により有効波長情報に基づいた波長の光が照射された状態で、被写体である対象物をマルチスペクトル画像として撮像し、撮像したマルチスペクトル画像を入力画像制御部３２に出力する。このとき、白色光源部４０においては、白色光が発光されない状態とされる。
　ステップＳ１９において、入力画像制御部３２は、スイッチ３３を特性解析部３７に接続すると共に、マルチスペクトルカメラ３１より供給されるマルチスペクトル画像のうち、有効波長情報に対応するスペクトル画像を特性解析部３７に出力する。
　ステップＳ２０において、特性解析部３７は、入力画像制御部３２により供給されてきた、有効波長情報に対応する帯域のスペクトル画像に基づいて、被写体である対象物を識別し、解析する。
　ステップＳ２１において、特性解析部３７は、被写体である対象物の識別結果に基づいた解析結果を表示画像生成部３５に出力する。このとき、特性解析部３７は、解析結果と併せて、有効波長情報に対応する帯域のスペクトル画像を表示画像生成部３５に出力する。
　ステップＳ２２において、表示画像生成部３５は、特性解析部３７からの解析結果および有効波長情報に対応するスペクトル画像と、対象物識別部３４からの有効波長情報およびマルチスペクトル画像とに基づいて、擬似カラー画像を生成すると共に、解析結果を重畳して、表示部３６に表示させる。擬似カラー画像の生成方法は、例えば、図４または図５を参照して説明した方法により生成される。
　以上の一連の処理により、白色光が被写体である対象物に照射された状態におけるマルチスペクトル画像が撮像されて、対象物が認識され、認識された対象物を観察して、解析するのに最適な光の波長が特定されて、有効波長情報として出力される。そして、有効波長情報に対応する波長の光が対象物に照射された状態において、再びマルチスペクトル画像が撮像されて、有効波長情報に対応するスペクトル画像が抽出されて、解析され、解析結果と、有効波長情報とに基づいて、擬似カラー画像が生成されて、解析結果が重畳されて表示される。
　結果として、被写体となる対象物を撮像するだけで、対象物の解析に対応した適切な波長の光を照射した状態でのマルチスペクトル画像の撮像を実現することが可能となり、さらに、適切な光が照射された状態において撮像されたマルチスペクトル画像のうち、被写体である対象物の解析に有効なスペクトル画像を用いて解析することができるので、対象物の適切な解析を実現することが可能となる。
　すなわち、マルチスペクトル画像を撮像するにあたって、予め部位や病変毎の有効波長をユーザが設定する必要がなく、有効波長となる狭波長帯域光が対象物に照射されるので、対象物の識別に有効な波長における波長分解能が高いスペクトル画像を撮像することが可能となる。
　また、白色光を用いて撮像されたマルチスペクトル画像から求められる対象物に対して有効な光の波長のスペクトル画像に基づいて、疑似カラー画像を生成することで、対象物の特徴が強調されたカラー画像をユーザに提示することが可能となり、対象物の特徴を解り易く表示することが可能となる。
　＜＜２．第２の実施の形態＞＞
　以上においては、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像に基づいて、対象物である被写体を識別して、適切な光の波長を有効波長として特定する例について説明してきたが、マルチスペクトル画像に基づいて、チャネル数を増やしたハイパーマルチスペクトル画像を生成し、ハイパーマルチスペクトル画像から対象物を特定して、最適な光の波長帯域をより高精度に求めるようにしてもよい。
　図７は、マルチスペクトル画像に基づいて、チャネル数を増やしたハイパーマルチスペクトル画像を生成し、ハイパーマルチスペクトル画像から対象物を特定して、最適な光の波長帯域を、より高精度に求めるようにした撮像装置１１の構成例を示している。尚、図７の撮像装置１１において、図１の撮像装置１１における構成と同一の機能を備えた構成については、同一の符号を付しており、適宜その説明は省略する。
　図７の撮像装置１１において、図１の撮像装置１１と異なる点は、スイッチ３３および対象物識別部３４との間にハイパースペクトル画像生成部７１を設けた点である。
　すなわち、マルチスペクトルカメラ３１の波長バンド数（チャネル数）が少ない場合であって、例えば、図８で示されるように、マルチスペクトル画像が、波長λ１１をピークとしたバンドＣｎ１０１、波長λ１２をピークとしたバンドＣｎ１０２、および波長λ１３をピークとしたバンドＣｎ１０３から構成されることを考える。このとき、本来の最適なバンドＣｎ１１１に対しては、いずれのバンドも同一ではなく、最も近いバンドＳ１０２についても有効波長とは言い難い状態となる。
　また、やはりマルチスペクトルカメラ３１の波長バンド数（チャネル数）が少ない場合であって、例えば、図９で示されるように、マルチスペクトル画像が、波長λ２１をピークとしたバンドＣｗ２０１、波長λ２２をピークとしたバンドＣｗ２０２、および波長λ２３をピークとしたバンドＣｗ２０３から構成されるとき、図８の場合に比べて各バンドは広帯域ではあるが、本来の最適なバンドＣｎ２１１に対しては、いずれのバンドも同一ではなく、最も近いバンドＣｗ２０２についても有効波長とは、やはり言い難い状態となる。
　そこで、ハイパースペクトル画像生成部７１は、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像に基づいて、よりバンド数が多い（チャネル数が多い）ハイパースペクトル画像を生成する。
　より詳細には、ハイパースペクトル画像生成部７１は、例えば、特開２００３－９３３３６号公報に開示されている技術（RGB画像から任意の波長の分光画像を生成する方法、および４チャネル以上に拡張した場合の方法など）を用いることにより、マルチスペクトル画像より、さらに多くのバンド（さらに多くのチャネル）からなるハイパースペクトル画像を生成する。この場合、マルチスペクトルカメラ３１に代えて、通常のRGBカメラを用いるようにして、ハイパースペクトル画像生成部７１によりRGB画像からハイパーマルチスペクトル画像を生成するようにしてもよい。
　結果として、マルチスペクトルカメラ３１により生成されるマルチスペクトル画像が少ないバンド数（少ないチャネル数）であっても、精度の高い有効波長情報を得ることが可能となる。また、その有効波長の狭帯域光の下で撮影したスペクトル画像は、マルチスペクトルカメラ３１の感度特性よりも狭帯域な波長分解能性能を有したスペクトル画像として取得することができる。
　＜図７の撮像装置による撮像処理＞
　次に、図１０のフローチャートを参照して、図７の撮像装置１１による撮像処理について説明する。尚、図１０のフローチャートにおけるステップＳ３１，Ｓ３２，Ｓ３７乃至Ｓ４３の処理については、図６のフローチャートにおけるステップＳ１１，Ｓ１２，Ｓ１６乃至Ｓ２２の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ３１，Ｓ３２の処理により、白色光が照射されて、マルチスペクトル画像が撮像されると、ステップＳ３３において、入力画像制御部３２は、スイッチ３３を制御して、ハイパースペクトル画像生成部７１に接続し、マルチスペクトルカメラ３１により撮像されたマルチスペクトル画像の全スペクトル画像をハイパースペクトル画像生成部７１に出力する。
　ステップＳ３４において、ハイパースペクトル画像生成部７１は、マルチスペクトル画像より、ハイパースペクトル画像を生成し、対象物識別部３４に出力する。
　ステップＳ３５において、対象物識別部３４は、ハイパースペクトル画像生成部７１により生成されたハイパーマルチスペクトル画像に基づいて、CNNなどよりなる識別器５１を用いて、対象物を識別する。
　ステップＳ３６において、対象物識別部３４は、対象物の識別結果とハイパースペクトル画像とに基づいて、対象物の解析に有効な光の波長を有効波長として特定する。
　ステップＳ３７以降の処理により、有効波長の情報が有効波長情報として出力されて、対象物に対して適切な波長の光が照射されたスペクトル画像が撮像され、適切な波長の光が照射された状態で撮像されたスペクトル画像により対象物が解析され、擬似カラー画像を表示することが可能となる。
　結果として、ハイパースペクトル画像を用いて対象物を識別し、識別結果に基づいて適切な波長の光を決定することができるので、より高精度に適切な有効波長を特定することができ、高精度に特定された有効波長の光が照射されたスペクトル画像に基づいて、より適切な対象物の解析を実現することが可能となる。
　＜＜３．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１１は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図１１におけるCPU１００１が、図１，図７における入力画像制御部３２、対象物識別部３４、特性解析部３７、表示画像生成部３５、光源制御部３８、およびハイパースペクトル画像生成部７１の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　白色光を対象物に照射する白色光源部と、
　前記対象物のマルチスペクトル画像を撮像する撮像部と、
　前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
　前記有効波長の光を前記対象物に照射する可変波長光源部と
　を含む撮像装置。
＜２＞　前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
　＜１＞に記載の撮像装置。
＜３＞　前記対象物識別部は、CNN（Convolutional Neural Network）により、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
　＜２＞に記載の撮像装置。
＜４＞　前記撮像部は、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像を撮像する
　＜１＞に記載の撮像装置。
＜５＞　前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物の特性を解析する特性解析部をさらに含む
　＜４＞に記載の撮像装置。
＜６＞　前記特性解析部は、CNN（Convolutional Neural Network）により、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物を識別し、識別結果に応じて、前記対象物の特性を解析する
　＜５＞に記載の撮像装置。
＜７＞　前記特性解析部の解析結果を強調する前記有効波長の光に対応するスペクトル画像と、それ以外のマルチスペクトル画像とを、RGBチャネルに割り当てて、擬似カラー画像を生成する表示画像生成部をさらに含む
　＜５＞に記載の撮像装置。
＜８＞　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を第３のチャネルに割り当てて、前記擬似カラー画像を生成する
　＜７＞に記載の撮像装置。
＜９＞　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
　＜８＞に記載の撮像装置。
＜１０＞　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
　＜７＞に記載の撮像装置。
＜１１＞　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を加算した上で、ゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
　＜１０＞に記載の撮像装置。
＜１２＞　前記マルチスペクトル画像に基づいて、前記マルチスペクトル画像より多くのバンドのスペクトル画像からなるハイパースペクトル画像を生成するハイパースペクトル画像生成部をさらに含み、
　前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像に基づいて生成された前記ハイパースペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する
　＜１＞乃至＜１１＞のいずれかに記載の撮像装置。
＜１３＞　前記撮像部は、前記対象物の広波長帯域のマルチスペクトル画像として撮像する
　＜１＞乃至＜１２＞のいずれかに記載の撮像装置。
＜１４＞　前記可変波長光源部は、複数の狭波長帯域の光の少なくともいずれか、または、それらの組み合わせからなる光を、前記有効波長の光として発光し、前記対象物に照射する
　＜１＞乃至＜１３＞のいずれかに記載の撮像装置。
＜１５＞　白色光を対象物に照射する白色光源処理と、
　前記対象物のマルチスペクトル画像を撮像する撮像処理と、
　前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、
　前記有効波長の光を前記対象物に照射する可変波長光照射処理と
　を含む撮像方法。
＜１６＞　白色光を対象物に照射する白色光源部と、
　前記対象物のマルチスペクトル画像を撮像する撮像部と、
　前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
　前記有効波長の光を前記対象物に照射する可変波長光源部と
　してコンピュータを機能させるプログラム。
　１１　撮像装置，　３１　マルチスペクトルカメラ，　３２　入力画像制御部，　３３　スイッチ，　３４　対象物識別部，　３５　表示画像生成部，　３６　表示部，　３７　特性解析部，　３８　光源制御部，　３９　スイッチ，　４０　白色光源部，　４１　可変波長光源部，　５１　識別器，　６１　特徴量抽出部，　６２　識別部，　７１　ハイパースペクトル画像生成部

Claims (16)

  1. 　白色光を対象物に照射する白色光源部と、
    　前記対象物のマルチスペクトル画像を撮像する撮像部と、
    　前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
    　前記有効波長の光を前記対象物に照射する可変波長光源部と
    　を含む撮像装置。
  2. 　前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
    　請求項１に記載の撮像装置。
  3. 　前記対象物識別部は、CNN（Convolutional Neural Network）により、前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物を識別し、識別結果に基づいて、前記対象物の解析に最適な光の波長を、有効波長として特定する
    　請求項２に記載の撮像装置。
  4. 　前記撮像部は、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像を撮像する
    　請求項１に記載の撮像装置。
  5. 　前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物の特性を解析する特性解析部をさらに含む
    　請求項４に記載の撮像装置。
  6. 　前記特性解析部は、CNN（Convolutional Neural Network）により、前記対象物識別部により特定された前記有効波長の光が照射された前記対象物のマルチスペクトル画像のうち、前記有効波長の光に対応するスペクトル画像に基づいて、前記対象物を識別し、識別結果に応じて、前記対象物の特性を解析する
    　請求項５に記載の撮像装置。
  7. 　前記特性解析部の解析結果を強調する前記有効波長の光に対応するスペクトル画像と、それ以外のマルチスペクトル画像とを、RGBチャネルに割り当てて、擬似カラー画像を生成する表示画像生成部をさらに含む
    　請求項５に記載の撮像装置。
  8. 　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    　請求項７に記載の撮像装置。
  9. 　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長とは異なる第２の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、その他のスペクトル画像を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    　請求項８に記載の撮像装置。
  10. 　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像を、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    　請求項７に記載の撮像装置。
  11. 　前記表示画像生成部は、第１の有効波長の光に対応するスペクトル画像のゲインを調整して、前記RGBチャネルのうちの第１のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部を加算した上で、ゲインを調整して、前記RGBチャネルのうちの第２のチャネルに割り当て、前記第１の有効波長の光に対応するスペクトル画像以外のスペクトル画像の一部以外を加算した上で、ゲインを調整して、第３のチャネルに割り当てて、前記擬似カラー画像を生成する
    　請求項１０に記載の撮像装置。
  12. 　前記マルチスペクトル画像に基づいて、前記マルチスペクトル画像より多くのバンドのスペクトル画像からなるハイパースペクトル画像を生成するハイパースペクトル画像生成部をさらに含み、
    　前記対象物識別部は、前記白色光が照射された前記対象物の前記マルチスペクトル画像に基づいて生成された前記ハイパースペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する
    　請求項１に記載の撮像装置。
  13. 　前記撮像部は、前記対象物の広波長帯域のマルチスペクトル画像として撮像する
    　請求項１に記載の撮像装置。
  14. 　前記可変波長光源部は、複数の狭波長帯域の光の少なくともいずれか、または、それらの組み合わせからなる光を、前記有効波長の光として発光し、前記対象物に照射する
    　請求項１に記載の撮像装置。
  15. 　白色光を対象物に照射する白色光源処理と、
    　前記対象物のマルチスペクトル画像を撮像する撮像処理と、
    　前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別処理と、
    　前記有効波長の光を前記対象物に照射する可変波長光照射処理と
    　を含む撮像方法。
  16. 　白色光を対象物に照射する白色光源部と、
    　前記対象物のマルチスペクトル画像を撮像する撮像部と、
    　前記白色光が照射された前記対象物の前記マルチスペクトル画像より、前記対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、
    　前記有効波長の光を前記対象物に照射する可変波長光源部と
    　してコンピュータを機能させるプログラム。
PCT/JP2019/001762 2018-02-05 2019-01-22 撮像装置および撮像方法、並びにプログラム WO2019151029A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/964,191 US11388323B2 (en) 2018-02-05 2019-01-22 Imaging apparatus and imaging method
JP2019569027A JPWO2019151029A1 (ja) 2018-02-05 2019-01-22 撮像装置および撮像方法、並びにプログラム
CN201980010781.3A CN111670000B (zh) 2018-02-05 2019-01-22 成像装置和成像方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018017956 2018-02-05
JP2018-017956 2018-02-05

Publications (1)

Publication Number Publication Date
WO2019151029A1 true WO2019151029A1 (ja) 2019-08-08

Family

ID=67478269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001762 WO2019151029A1 (ja) 2018-02-05 2019-01-22 撮像装置および撮像方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11388323B2 (ja)
JP (1) JPWO2019151029A1 (ja)
CN (1) CN111670000B (ja)
WO (1) WO2019151029A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3993399A1 (en) * 2020-11-02 2022-05-04 Beijing Xiaomi Mobile Software Co., Ltd. Color filter structure, related photographing method, device, terminal, and storage medium
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7449004B2 (ja) 2022-03-04 2024-03-13 ナショナル チュン チェン ユニバーシティ 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022177823A1 (en) * 2021-02-17 2022-08-25 PacificMD Biotech, LLC System and method for endoscopic imaging and analyses
WO2022204311A1 (en) 2021-03-24 2022-09-29 PacificMD Biotech, LLC Endoscope and endoscope sheath with diagnostic and therapeutic interfaces
CN115245312A (zh) * 2021-04-27 2022-10-28 山东威高宏瑞医学科技有限公司 内窥镜多光谱图像处理系统及处理和训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348902A (ja) * 2004-06-09 2005-12-22 Olympus Corp 内視鏡装置
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP2012120764A (ja) * 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
JP2012152333A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその光源制御方法
WO2016194150A1 (ja) * 2015-06-02 2016-12-08 オリンパス株式会社 特殊光内視鏡装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP4773217B2 (ja) * 2006-01-31 2011-09-14 富士フイルム株式会社 電子内視鏡装置
JP4849985B2 (ja) * 2006-07-21 2012-01-11 富士フイルム株式会社 電子内視鏡システム
JP2010213950A (ja) * 2009-03-18 2010-09-30 Fujifilm Corp 内視鏡補助器具およびこれを用いた内視鏡システム
JP5582948B2 (ja) * 2010-09-29 2014-09-03 富士フイルム株式会社 内視鏡装置
TWI554243B (zh) * 2011-01-21 2016-10-21 愛爾康研究有限公司 用於光學同調斷層掃描、照明或光凝治療的組合式外科內探針
JP2014154982A (ja) 2013-02-06 2014-08-25 Canon Inc 撮像装置およびその制御方法
JP2015211727A (ja) * 2014-05-01 2015-11-26 オリンパス株式会社 内視鏡装置
EP3940371B1 (en) * 2014-06-05 2023-08-30 Universität Heidelberg Method and imaging apparatus for acquisition of fluorescence and reflectance images
JP2017012395A (ja) * 2015-06-30 2017-01-19 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6744712B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
US10321816B2 (en) * 2016-06-17 2019-06-18 Fujifilm Corporation Light source device and endoscope system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348902A (ja) * 2004-06-09 2005-12-22 Olympus Corp 内視鏡装置
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP2012120764A (ja) * 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
JP2012152333A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその光源制御方法
WO2016194150A1 (ja) * 2015-06-02 2016-12-08 オリンパス株式会社 特殊光内視鏡装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3993399A1 (en) * 2020-11-02 2022-05-04 Beijing Xiaomi Mobile Software Co., Ltd. Color filter structure, related photographing method, device, terminal, and storage medium
JP7449004B2 (ja) 2022-03-04 2024-03-13 ナショナル チュン チェン ユニバーシティ 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2019151029A1 (ja) 2021-01-14
US11388323B2 (en) 2022-07-12
CN111670000A (zh) 2020-09-15
US20210037173A1 (en) 2021-02-04
CN111670000B (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
WO2019151029A1 (ja) 撮像装置および撮像方法、並びにプログラム
CN111601536B (zh) 缺光环境中的超光谱成像
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP6906593B2 (ja) 画像処理装置、蛍光観察装置および第１のタイプの蛍光観察装置を第２のタイプの蛍光観察装置においてエミュレートするための方法
JP2007244681A (ja) 生体観測装置
CN114175609A (zh) 缺光环境中的超光谱成像
WO2020017213A1 (ja) 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
JP7350954B2 (ja) 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
WO2020194693A1 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US10694100B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
US20210088772A1 (en) Endoscope apparatus, operation method of endoscope apparatus, and information storage media
WO2021127396A1 (en) Systems and methods of combining imaging modalities for improved tissue detection
US8380278B2 (en) Image capturing apparatus, image capturing method, and computer readable medium
JP6931425B2 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
JP5224390B2 (ja) 内視鏡装置および内視鏡装置の作動方法
JP7449004B2 (ja) 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法
JP2023129258A (ja) ハイパースペクトル画像による物体検出方法
JP2017203682A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19748115

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019569027

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19748115

Country of ref document: EP

Kind code of ref document: A1