[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023007965A1 - 撮像方法及びプログラム - Google Patents

撮像方法及びプログラム Download PDF

Info

Publication number
WO2023007965A1
WO2023007965A1 PCT/JP2022/023585 JP2022023585W WO2023007965A1 WO 2023007965 A1 WO2023007965 A1 WO 2023007965A1 JP 2022023585 W JP2022023585 W JP 2022023585W WO 2023007965 A1 WO2023007965 A1 WO 2023007965A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
subject
spectral data
imaging method
image
Prior art date
Application number
PCT/JP2022/023585
Other languages
English (en)
French (fr)
Inventor
慶延 岸根
和佳 岡田
睦 川中子
友也 平川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023538318A priority Critical patent/JPWO2023007965A1/ja
Priority to CN202280047061.6A priority patent/CN117651851A/zh
Publication of WO2023007965A1 publication Critical patent/WO2023007965A1/ja
Priority to US18/399,753 priority patent/US20240129603A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Definitions

  • the present invention relates to an imaging method and program, and more particularly to an imaging method and program for a multispectral camera.
  • Patent Literature 1 describes a technique for estimating the color of a subject using pre-measured spectral sensitivity characteristics of a camera.
  • One embodiment according to the technology of the present disclosure provides an imaging method and program capable of obtaining a wavelength image maintaining high wavelength reproducibility.
  • An imaging method is an imaging method for imaging a subject with a multispectral camera including a processor, wherein the processor captures first spectral data of a first subject and a second spectrum of a second subject.
  • the wavelength selection step of selecting a plurality of wavelengths from the wavelength range of the acquired first to third spectral data, and the wavelength selection step, A plurality of wavelengths are selected based on at least two or more of the factors, with the difference or ratio of the feature amount of two spectral data among the first spectral data, the second spectral data, and the third spectral data as factors, an imaging step of imaging a subject including at least one of a first subject, a second subject, and a third subject at a plurality of wavelengths.
  • the wavelength regions of the first to third spectral data are wavelength regions in which at least the wavelength regions of the first spectral data and the wavelength regions of the second spectral data overlap.
  • the factors are a first factor that is a difference or ratio of feature amounts between the first spectral data and the third spectral data, and a second factor that is a difference or ratio of feature amounts between the second spectral data and the third spectral data. and selecting a plurality of wavelengths based on a first factor and a second factor.
  • one of the plurality of wavelengths is the wavelength at which at least one of the first factor and the second factor is minimized.
  • a step of measuring intensity ratios of brightnesses of the plurality of wavelengths within a plurality of regions of the image data of the third subject a step of measuring intensity ratios of brightnesses of the plurality of wavelengths within a plurality of regions of the image data of the third subject; and a correction step of correcting the image data.
  • the correcting step includes a first correcting step of correcting the intensity ratios of the plurality of regions based on a first intensity ratio that is one of the measured intensity ratios.
  • the correcting step includes a second correcting step of correcting to reduce the difference between the measured intensity ratios.
  • the correcting step includes a first correcting step of correcting the intensity ratios of the plurality of regions based on a first intensity ratio that is one of the measured intensity ratios, and a correction to reduce the difference between the measured intensity ratios.
  • a second correction step is included.
  • the third subject has a constant luminance intensity ratio of the plurality of wavelengths selected in the wavelength selection step in the plurality of regions.
  • the first wavelength and the second wavelength are selected in the wavelength selection step, and the reflectance ⁇ of the first subject and the reflectance ⁇ of the third subject at the first wavelength and the second wavelength are related by the following formula (1): , the reflectance ⁇ of the second object and the reflectance ⁇ of the third object at the first and second wavelengths satisfy the relationship of the following formula (2), and ( ⁇ - ⁇ ) and ( ⁇ ⁇ ) is less than ( ⁇ ) and ( ⁇ ) at the first wavelength.
  • the first wavelength and the second wavelength are selected in the wavelength selection step, and the reflectance ⁇ of the first subject and the reflectance ⁇ of the third subject at the first wavelength and the second wavelength satisfy the relationship of the following formula (3): , the reflectance ⁇ of the second object and the reflectance ⁇ of the third object at the first and second wavelengths satisfy the relationship of the following formula (4), and ( ⁇ - ⁇ ) and ( ⁇ ⁇ ) is less than ( ⁇ ) and ( ⁇ ) at the first wavelength.
  • the first wavelength, the second wavelength, and the third wavelength are selected in the wavelength selection step, and the reflectance ⁇ of the first subject and the reflectance of the third subject at the first wavelength, the second wavelength, and the third wavelength are determined.
  • ⁇ satisfies the relationship of the following equation (5)
  • the reflectance ⁇ of the second subject and the reflectance ⁇ of the third subject at the first, second and third wavelengths satisfy the relationship of the following equation (6) and ( ⁇ - ⁇ ) and ( ⁇ - ⁇ ) at the second wavelength are smaller than ( ⁇ - ⁇ ) and ( ⁇ - ⁇ ) at the first and third wavelengths.
  • the first wavelength, the second wavelength, and the third wavelength are selected in the wavelength selection step, and the reflectance ⁇ of the first subject and the reflectance of the third subject at the first wavelength, the second wavelength, and the third wavelength are determined.
  • ⁇ satisfies the relationship of the following equation (7)
  • a memory is provided for storing fourth spectral data of each of the multiple-replacement subject replaceable with the third subject and the multiple-replacement subject, and the processor stores the first spectral data, the second spectral data, and the fourth spectral data. Based on this, a notification step of notifying one of the plurality of replacement subjects as the recommended third subject is performed.
  • the processor performs a sensitivity correction step of correcting the sensitivity of the imaging device of the multispectral camera based on the correction step.
  • the step of variably displaying the third subject is further performed.
  • a shadowless lighting irradiation step is further performed.
  • a program that is another aspect of the present invention is a program that causes a multispectral camera including a processor to execute an imaging method for imaging a subject, wherein the processor is provided with first spectral data of a first subject and a data acquisition step of acquiring second spectral data and third spectral data of a third subject; a wavelength selection step of selecting a plurality of wavelengths from the wavelength range of the acquired first to third spectral data; In the step, the difference or ratio of the feature amount of two spectral data out of the first spectral data, the second spectral data, and the third spectral data is used as a factor, and a plurality of wavelengths are determined based on at least two of the factors.
  • an imaging step of selecting and imaging an object including at least one of a first object, a second object, and a third object at a plurality of wavelengths.
  • FIG. 1 is a diagram for explaining a first example in which a wavelength image becomes inaccurate due to changes in the surrounding environment.
  • FIG. 2 is a diagram for explaining a first example in which a wavelength image becomes inaccurate due to changes in the surrounding environment.
  • FIG. 3 is a diagram for explaining a second example in which a wavelength image becomes inaccurate due to changes in the surrounding environment.
  • FIG. 4 is a diagram for explaining a second example in which a wavelength image becomes inaccurate due to changes in the surrounding environment.
  • FIG. 5 is a flow chart showing an imaging method.
  • FIG. 6 is a schematic diagram showing a subject imaged by a multispectral camera.
  • FIG. 7 is a diagram showing spectral data of the background, first subject, and second subject.
  • FIG. 8 is a diagram showing spectral data of the background, first subject, and second subject.
  • FIG. 9 is a diagram showing a case where Expression (5), Expression (6), and Condition 1 are satisfied.
  • FIG. 10 is a diagram for explaining the imaging process using a multispectral camera.
  • FIG. 11 is a flow chart showing an imaging method.
  • FIG. 12 is a diagram for explaining the imaging of the background in the intensity ratio measurement process.
  • FIG. 13 is a diagram illustrating the intensity ratio of background luminance measured in the intensity ratio measurement step and the calculated first correction coefficient.
  • FIG. 14 is a diagram for explaining the intensity ratio of background luminance measured in the intensity ratio measurement step and the calculated first correction coefficient.
  • FIG. 15 is a flow chart showing an imaging method.
  • FIG. 15 is a flow chart showing an imaging method.
  • FIG. 16 is a diagram for explaining the intensity ratio of background luminance measured in the intensity ratio measurement step, and the calculated first correction coefficient and second correction coefficient.
  • FIG. 17 is a diagram for explaining the intensity ratio of background luminance measured in the intensity ratio measurement step and the calculated first correction coefficient and second correction coefficient.
  • FIG. 18 is a diagram illustrating an example of a recommended background.
  • FIG. 19 is a diagram illustrating an example of a recommended background.
  • FIG. 20 is a schematic diagram showing an example of a multispectral camera.
  • FIG. 21 is a schematic diagram showing an example of a filter unit included in a multispectral camera.
  • wavelength images have been acquired using multispectral cameras.
  • a multispectral camera using polarization pixels (e.g., 0°, 45°, 90°) can obtain a wavelength image for each wavelength by assigning different wavelengths to each polarization pixel.
  • interference removal is generally performed. Interference removal is a process of removing signals related to other wavelengths that interfered during imaging, and removes other wavelengths that interfere with each other based on a pre-measured mixing ratio (inverse matrix operation). By properly removing the interference, it is possible to obtain an accurate wavelength image in which the interference of signals of other wavelengths is suppressed.
  • the mixing ratio is often measured before actually taking an image, such as when manufacturing a multispectral camera, and stored in the memory built into the multispectral camera for use. Therefore, there may be a case where the mixture ratio measured in advance differs from the mixture ratio when actually capturing an image. In this way, when the mixing ratio measured in advance differs from the mixing ratio when actually capturing an image, it is not possible to remove interference well, and the obtained wavelength image becomes inaccurate. (Wavelength reproducibility decreases).
  • a change in the surrounding environment is one of the factors that cause the mixture ratio measured in advance to differ from the mixture ratio in the actual imaging. Specifically, when the ambient environment in which the mixture ratio is measured in advance differs from the ambient environment in which the image is actually captured, the flare changes and the mixture ratio changes. The influence of changes in the surrounding environment on the wavelength image will be described below using a specific example.
  • 1 and 2 are diagrams for explaining a first example in which a wavelength image becomes inaccurate due to changes in the surrounding environment.
  • Images 501, 503, and 505 are wavelength images captured by a multispectral camera of a white plate having uniform reflection characteristics.
  • Image 501 is a U wavelength image of wavelength U
  • image 503 is a V wavelength image of wavelength V
  • image 505 is a W wavelength image of wavelength W.
  • FIG. An image 507 is a pseudo-color image obtained by replacing the wavelength U with blue (B: BLUE), the wavelength V with green (G: GREEN), and the wavelength W with red (R: RED), for example.
  • FIG. 2 shows graphs (A) to (I) corresponding to the luminance intensity ratios of wavelength U, wavelength V, and wavelength W in regions (A) to (I) of the image 507 .
  • the luminance intensity ratio in the regions (A) to (I) is uniform.
  • image 501 U wavelength image
  • image 503 V wavelength image
  • image 505 W wavelength image
  • the intensity ratios of the luminances between are also equal.
  • the surrounding environment when the images 501, 503, and 505 were actually captured differs from the surrounding environment when the mixing ratio was measured.
  • the image 501, the image 503, and the image 505 have different luminance intensity ratios.
  • the luminance intensity ratios among the images 501, 503, and 505 are not equal (for example, in region (E), the difference in intensity ratio between the images 501, 503, and 505 is about 2%. ).
  • the surrounding environment differs between when the mixing ratio is measured and when the actual image is captured, which may cause flares and the like to change, making it impossible to acquire accurate wavelength images (maintaining wavelength reproducibility).
  • 3 and 4 are diagrams for explaining a second example in which the wavelength image becomes inaccurate due to changes in the surrounding environment.
  • a black object 519 is imaged against a background of a white plate having uniform reflection characteristics.
  • Image 511 is a U wavelength image of wavelength U
  • image 513 is a V wavelength image of wavelength V
  • image 515 is a W wavelength image of wavelength W.
  • An image 517 is a pseudo-color image generated under the same conditions as those described with reference to FIG. FIG. 4 shows graphs (A) to (I) corresponding to the luminance intensity ratios of wavelength U, wavelength V, and wavelength W in regions (A) to (I) of the image 517 .
  • the surrounding environment when the images 511, 513, and 515 were captured differs from the surrounding environment when the mixing ratio was measured.
  • the image 513 and the image 515 have different luminance intensity ratios.
  • the luminance intensity ratios among the images 511, 513, and 515 are not equal (for example, in region (E), the amount of difference in luminance intensity ratio between the images 511, 513, and 515 is approximately 6%).
  • FIG. 5 is a flow chart showing the imaging method of the present invention. Each step of the imaging method described below is performed by processor 142 of multispectral camera 100 (FIG. 20). Also, the processor 142 executes each step by executing a dedicated program for the imaging method stored in the memory 144 .
  • the processor 142 acquires spectral data of the background 2, the first subject 3, and the second subject 4.
  • the processor 142 selects a plurality of wavelengths from the wavelength bands (wavelength bands) of the spectrum data of the background 2, first subject 3, and second subject 4.
  • FIG. In this example, the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) are selected.
  • the processor 142 uses the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) to A subject including at least one of the second subjects 4 is imaged.
  • processor 142 acquires spectral data of the objects (background 2, first object 3, and second object 4).
  • FIG. 6 is a schematic diagram showing subjects (first subject, second subject, and background (third subject)) captured by the multispectral camera 100.
  • FIG. 6 is a schematic diagram showing subjects (first subject, second subject, and background (third subject)) captured by the multispectral camera 100.
  • the subject consists of a first subject 3, a second subject 4, and a background 2.
  • a multispectral camera 100 images an object including at least one of a background 2, a first object 3, and a second object 4 to identify the first object 3 and the second object 4 located on the background 2. Sensing is performed. Accordingly, processor 142 obtains spectral data regarding the reflectance of background 2 , first object 3 , and second object 4 .
  • FIG. 7 and 8 are diagrams showing spectrum data of the background 2, the first subject 3, and the second subject 4.
  • FIG. 7 and 8 are diagrams showing spectrum data of the background 2, the first subject 3, and the second subject 4.
  • Spectral data SD1 first spectral data
  • spectral data SD2 second spectral data
  • spectral data SD3 third spectral data
  • the wavelength ranges of spectrum data SD1, spectrum data SD2, and spectrum data SD3 acquired by processor 142 are wavelength ranges in which the wavelength range of spectrum data SD1 and the wavelength range of spectrum data SD2 overlap. That is, in the case shown in FIG.
  • the wavelength range of the spectrum data SD1 and the spectrum data SD2 is from 400 nm to 1000 nm
  • the spectrum data SD3 is from 400 nm to 1000 nm
  • the wavelength range of the spectrum data SD1 to SD3 is from 400 nm to 1000 nm. They overlap at 1000 nm. Therefore, processor 142 acquires spectral data SD1-SD3 in the wavelength range of 400 nm-1000 nm.
  • the reflectance corresponding to each wavelength of the background 2, the first subject 3, and the second subject 4 is displayed as spectral data in the same manner as in FIG. , the spectrum data SD2 corresponds to the second object 4, and the spectrum data SD3 corresponds to the background 2.
  • FIG. 8 the reflectance corresponding to each wavelength of the background 2, the first subject 3, and the second subject 4 is displayed as spectral data in the same manner as in FIG. , the spectrum data SD2 corresponds to the second object 4, and the spectrum data SD3 corresponds to the background 2.
  • the wavelength regions of the spectrum data SD1 and the spectrum data SD2 overlap from 550 nm to 1000 nm. Therefore, the wavelength range of 550 nm to 1000 nm is sufficient for the spectrum data SD3, and the processor 142 obtains the spectrum data SD1 to SD3 in the wavelength range of 550 nm to 1000 nm.
  • the processor 142 acquires spectral data SD1-SD3 in various forms.
  • the spectral data SD1 to SD3 may be acquired by imaging the background 2, the first subject 3, and the second subject 4 with a hyperspectral camera and input to the multispectral camera 100.
  • the spectral data SD1-SD3 may be selected from a database in which various spectral data are stored and input to the multispectral camera 100 for acquisition by the processor 142.
  • the spectral data SD1 to SD3 may be stored in advance in the memory 144 of the multispectral camera 100 and the processor 142 may acquire them.
  • the processor 142 In wavelength acquisition selection, the processor 142, based on the acquired spectral data SD1, spectral data SD2, and spectral data SD3, selects a first wavelength ⁇ (1), a second wavelength ⁇ (2), and a third wavelength ⁇ (3). to select.
  • the processor 142 selects a plurality of wavelengths by obtaining at least two or more factors using the difference or the ratio of the feature amounts of the two spectral data out of the spectral data SD1, the spectral data SD2, and the spectral data SD3 as factors.
  • the difference in feature amount (reflectance) of spectral data is used as a factor.
  • the spectrum data SD1 the spectrum data SD2, and the spectrum data SD3 described with reference to FIG. 7, at least a wavelength (reference wavelength ) and different wavelengths. Therefore, conventionally, for example, 420 nm has been selected as at least the second wavelength ⁇ (2) (reference wavelength), and 500 nm has been selected as the first wavelength ⁇ (1).
  • the processor 142 calculates the reflectance difference (first factor) between the spectrum data SD3 and the spectrum data SD1 and the reflectance difference (second factor) between the spectrum data SD3 and the spectrum data SD2. Based on the relationship, a first wavelength ⁇ (1), a second wavelength ⁇ (2) and a third wavelength ⁇ (3) are selected. For example, the processor 142 selects 850 nm as the second wavelength ⁇ (2) (reference wavelength) at which the first and second factors are minimum. Note that the processor 142 may select a wavelength that minimizes at least one of the first factor and the second factor as the reference wavelength.
  • the processor 142 sets the first wavelength ⁇ (1) to 925 nm, which is larger than the second wavelength ⁇ (2) and allows discrimination between the first subject 3 and the second subject 4. Select as For example, as the first wavelength ⁇ (1), a wavelength that maximizes the sum of the first factor and the second factor within a predetermined range (15% or 5%) described below may be selected. Processor 142 also selects third wavelength ⁇ (3) as 875 nm between first wavelength ⁇ (1) and second wavelength ⁇ (2).
  • the processor 142 determines that the first factor (difference in reflectance between spectrum data SD3 and SD1) and the second factor (difference in reflectance between spectrum data SD3 and SD2) are within a range of 15%.
  • a certain first wavelength ⁇ (1) to third wavelength ⁇ (3) can be selected.
  • the processor 142 selects the first wavelength ⁇ (1) to the third wavelength ⁇ (3) that satisfy the following equations.
  • ⁇ is the reflectance ⁇ 1 to ⁇ 3 of the first object 3 at the first wavelength ⁇ (1) to the third wavelength ⁇ (3) respectively, and ⁇ is the first wavelength ⁇ (1) to the third wavelength ⁇ (3).
  • the reflectances ⁇ 1 to ⁇ 3 of the background 2 at the wavelength ⁇ (3) are input, and the reflectances ⁇ 1 to ⁇ 3 of the second object 4 at the first wavelength ⁇ (1) to the third wavelength ⁇ (3) are input as ⁇ . be done.
  • ( ⁇ ) and ( ⁇ ) at the second wavelength are smaller than the corresponding values of the first wavelength ⁇ (1) and the third wavelength ⁇ (3), the first wavelength ⁇ (1) ⁇ third wavelength ⁇ (3) is selected (Condition 1).
  • FIG. 9 is a diagram showing a case where Expression (5), Expression (6), and Condition 1 are satisfied. Note that FIG. 9 shows spectrum data SD1 to SD3 and first wavelength ⁇ (1) to third wavelength ⁇ (3).
  • the difference M1, the difference N1, the difference M2 (not shown because it is 0), the difference N2 (not shown because it is 0), the difference M3, and the first wavelength ⁇ where the difference N3 is within 15% (1) to ⁇ (3) are selected. Furthermore, as the difference M2 and the difference N2, the first wavelength ⁇ (1) to the third wavelength ⁇ (3), which are smaller than the difference M1, the difference N1, the difference M3, and the difference N3, are selected.
  • the processor 142 sets the first factor (difference in reflectance between spectral data SD3 and SD1) and second factor (difference in reflectance between spectral data SD3 and SD2) to 5%. can be selected from the first wavelength ⁇ (1) to the third wavelength ⁇ (3) within the range of .
  • the processor 142 selects the first wavelength ⁇ (1) to the third wavelength ⁇ (3) that satisfy the following equations.
  • ⁇ is the reflectance ⁇ 1 to ⁇ 3 of the first object 3 at the first wavelength ⁇ (1) to the third wavelength ⁇ (3) respectively, and ⁇ is the first wavelength ⁇ (1) to the third wavelength ⁇ (3).
  • the reflectances ⁇ 1 to ⁇ 3 of the background 2 at the wavelength ⁇ (3) are input, and the reflectances ⁇ 1 to ⁇ 3 of the second object 4 at the first wavelength ⁇ (1) to the third wavelength ⁇ (3) are input as ⁇ . be done.
  • ( ⁇ ) and ( ⁇ ) at the second wavelength are smaller than the corresponding values of the first wavelength ⁇ (1) and the third wavelength ⁇ (3), the first wavelength ⁇ (1) ⁇ third wavelength ⁇ (3) is selected (Condition 1).
  • the processor 142 selects the first wavelength ⁇ (1) to the third wavelength ⁇ (3) by factors based on the spectrum data SD1 to SD3. Accordingly, since the difference from the reflectance of the background 2 is within a certain range, the influence of changes in the surrounding environment can be suppressed.
  • the processor 142 may select the first wavelength ⁇ (1) to the third wavelength ⁇ (3) according to another mode.
  • the processor 142 causes the acquired spectral data SD1 to SD3 to be displayed on the display provided on the back of the multispectral camera 100, and the user can select the first wavelength ⁇ (1) to the third wavelength ⁇ (3) from the display. ), and the processor 142 selects the first wavelength ⁇ (1) to the third wavelength ⁇ (3) based on instructions from the user input via the operation unit (not shown) of the multispectral camera 100.
  • the processor 142 captures the first object 3, the second object 4, the background 2 (the third object ) is captured.
  • FIG. 10 is a diagram for explaining the imaging process by the multispectral camera 100.
  • FIG. FIG. 10 shows a specific example in which the background 2 is a conveyor belt, and the first subject 3 and the second subject 4 are placed on it and are continuously carried.
  • the multispectral camera 100 images a first object 3 and a second object 4 that are continuously conveyed.
  • the processor 142 causes the multispectral camera 100 to image the scene of the first subject 3 and the second subject 4 located on the background 2 .
  • the multispectral camera 100 sometimes captures a scene with only the background 2, a scene with only the first subject 3 positioned on the background 2, and a scene with only the second subject 4 positioned on the background 2.
  • the multispectral camera 100 is set so as to acquire first to third wavelength images corresponding to the first to third wavelengths ⁇ (1) to ⁇ (3) selected in the wavelength selection step.
  • the illumination device 10 illuminates the background 2, the first subject 3, and the second subject 4 in accordance with the imaging by the multispectral camera 100 or all the time (illumination step).
  • the illumination device 10 uses a light source a, a light source b, or a light source in which the light source a and the light source b are mixed.
  • the illumination device 10 should be a shadowless illumination device. is preferred.
  • the multispectral camera 100 performs interference elimination processing on the acquired first to third wavelength images as necessary.
  • the multispectral camera 100 performs sensing for identifying the first subject 3 and the second subject 4 (detecting their existence, etc.) based on the captured first to third wavelength images.
  • the reflectances of the first subject 3, the second subject 4, and the background 2 are Since the first wavelength ⁇ (1) to the third wavelength ⁇ (3) are selected for which the factor of is within a predetermined range, the influence of changes in the surrounding environment is suppressed, and high wavelength reproducibility is maintained. Acquisition can be performed.
  • This embodiment includes an intensity ratio measurement step and a correction step (first correction step) in addition to the imaging method of the first embodiment described above.
  • FIG. 11 is a flowchart showing the imaging method of this embodiment.
  • the imaging method described below is performed by processor 142 of multispectral camera 100 .
  • the processor 142 executes each step by executing a dedicated program for the imaging method stored in the memory 144 .
  • the processor 142 acquires spectral data of the background 2, the first subject 3, and the second subject 4.
  • the processor 142 selects the first wavelength ⁇ (1), the second wavelength ⁇ ( 2) Select a third wavelength ⁇ (3).
  • the processor 142 images the background 2 with the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3), and Wavelength images (image data) of the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) of 2 are acquired, and the first wavelength ⁇ (1) to the third wavelength ⁇ (1) are obtained in a plurality of regions.
  • the intensity ratio of luminance of three wavelengths ⁇ (3) is measured.
  • the processor 142 uses the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) to A subject including at least one of the second subjects 4 is imaged.
  • the processor 142 corrects the intensity ratios of the multiple regions based on the first intensity ratio, which is one of the measured intensity ratios.
  • the processor 142 measures the luminance intensity ratio of the background 2 using the first wavelength ⁇ (1) to the third wavelength ⁇ (3). Specifically, the processor 142 captures only the background 2 with the multispectral camera 100 at the first wavelength ⁇ (1) to the third wavelength ⁇ (3) to acquire the first to third wavelength images. .
  • FIG. 12 is a diagram explaining the imaging of the background 2 in the intensity ratio measurement process.
  • the background 2 is imaged by the multispectral camera 100, and a first wavelength image, a second wavelength image, and a third wavelength image of the background 2 are acquired.
  • the background 2 imaged here is the same as the background 2 imaged in the imaging process.
  • a white plate having uniform reflectance at the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) is used.
  • background 2 uses a chart in which the intensity ratios at the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) are constant in a plurality of regions.
  • the illumination device 10 is an illumination device used in the imaging process. Note that the same light source is preferably used in the intensity ratio measurement process and the imaging process.
  • FIG. 13 and 14 are diagrams for explaining the intensity ratio of the brightness of the background 2 measured in the intensity ratio measurement process and the calculated first correction coefficient.
  • FIG. 13 shows the measurement results obtained with the light source a
  • FIG. 14 shows the measurement results obtained with the light source b.
  • a pseudo-color image 101 (FIG. 13) is generated based on the first to third wavelength images. Specifically, the luminance intensity ratio of the first wavelength image is red (R: RED), the luminance intensity ratio of the second wavelength image is blue (B: BLUE), and the luminance intensity ratio of the third wavelength image is green.
  • a pseudo-color image 101 is generated by superimposing with (G: GREEN).
  • Reference numeral 105 denotes luminance intensity at the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) in the regions (A) to (I) of the pseudo-color image 101. The ratios are shown correspondingly in graphs (A)-(I).
  • the luminance intensity ratios shown in graphs (A) to (I) are averages or representative values of the luminance intensity ratios of the regions (A) to (I).
  • the processor 142 performs the first correction to align the luminance intensity ratios at the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) in the regions (A) to (I). Get coefficients.
  • the processor 142 converts the luminance intensity ratio (first intensity ratio) of the central area (E) of the pseudo-color image 101 to the area (A) to area (D) and area (F) to area (I).
  • a first correction factor for adjusting the intensity ratio is obtained.
  • the pseudo-color image 103 is obtained by applying the first correction factor to the pseudo-color image 101 .
  • the pseudo-color image 103 has a uniform luminance intensity ratio, as indicated by graphs (A) to (I) indicated by reference numeral 107 . That is, the first correction coefficient makes the luminance intensity ratios of the regions (A) to (I) the same.
  • a pseudo-color image 109 (FIG. 14), like the pseudo-color image 101, is generated based on the first to third wavelength images.
  • Reference numeral 113 denotes the luminance intensity ratio at the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) of the regions (A) to (I) of the pseudo-color image 109. are shown in graphs (A) to (I).
  • the processor 142 converts the luminance intensity ratio (first intensity ratio) of the central area (E) of the pseudo-color image 109 to the area (A) to area (D) and area (F) to area (I).
  • a first correction factor for adjusting the intensity ratio is obtained.
  • Applying the first correction factor to pseudo-color image 109 results in pseudo-color image 111 .
  • the pseudo-color image 111 has a uniform luminance intensity ratio, as indicated by graphs (A) to (I) indicated by reference numeral 115 . That is, the luminance intensity ratio of the regions (A) to (I) becomes uniform by the first correction coefficient.
  • the intensity ratio of the luminance of the first wavelength ⁇ (1) to the third wavelength ⁇ (3) of the background 2 is measured, and based on the measurement result, the first correction coefficient is calculated.
  • the first correction coefficient may be obtained for each pixel of the image, or the first correction coefficient may be obtained for a larger or smaller region.
  • the processor 142 applies the first correction coefficient acquired in the intensity ratio measurement step to the first wavelength image, the second wavelength image, and the third wavelength image captured in the imaging step. Then, the luminance intensity ratio of the regions (A) to (I) is corrected.
  • the first correction coefficient is preferably applied to the entire first to third wavelength images. image data) may be applied with the first correction factor. The influence of changes in the surrounding environment is suppressed in the first, second, and third wavelength images corrected with the first correction coefficient. Therefore, the first to third wavelength images can be obtained while maintaining wavelength reproducibility, and accurate sensing can be performed.
  • This embodiment includes a correction step (second correction step) in addition to the imaging method of the second embodiment described above.
  • FIG. 15 is a flowchart showing the imaging method of this embodiment.
  • the imaging method described below is performed by processor 142 of multispectral camera 100 .
  • the processor 142 executes each step by executing a dedicated program for the imaging method stored in the memory 144 .
  • the processor 142 acquires spectral data of the background 2, the first subject 3, and the second subject 4.
  • the processor 142 selects the first wavelength ⁇ (1), the second wavelength ⁇ (2 ), and select the third wavelength ⁇ (3).
  • the processor 142 images the background 2 with the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3), and Wavelength images (image data) of the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) of 2 are acquired, and the intensity ratio of the luminance of multiple wavelengths in multiple regions is calculated. measure.
  • the processor 142 uses the first wavelength ⁇ (1), the second wavelength ⁇ (2), and the third wavelength ⁇ (3) to A subject including at least one of the second subjects 4 is imaged.
  • the processor 142 corrects the intensity ratios of the multiple regions based on the first intensity ratio, which is one of the intensity ratios measured in the intensity ratio measurement step.
  • the processor 142 performs correction to reduce the difference in the intensity ratios measured in the intensity ratio measurement step.
  • the second correction coefficient is calculated in addition to the first correction coefficient.
  • the first correction coefficient and the second correction coefficient are calculated separately will be described, but the present invention is not limited to this.
  • a correction coefficient that is a combination of the first correction coefficient and the second correction coefficient may be calculated.
  • 16 and 17 are diagrams for explaining the intensity ratio of the brightness of the background 2 measured in the intensity ratio measurement process and the calculated first correction coefficient and second correction coefficient. 13 and 14 are denoted by the same reference numerals, and description thereof will be omitted.
  • the second correction coefficient is a correction coefficient that reduces the difference in the luminance intensity ratio of each wavelength in the regions (A) to (I).
  • the second correction coefficient is a correction coefficient that equalizes the intensity of luminance between the first wavelength ⁇ (1) to the third wavelength ⁇ (3) in the regions (A) to (I).
  • the luminance intensity ratios of the regions (A) to (I) are uniform due to the first correction coefficient.
  • the luminance intensity ratios of the first wavelength ⁇ (1) to the third wavelength ⁇ (3) are not uniform.
  • the intensity ratios are 0.33, 0.32, and 0.35.
  • this non-uniform intensity ratio is corrected to be uniform to 0.33, 0.33, and 0.33.
  • the second correction coefficients are similarly calculated for other regions.
  • a pseudo-color image 151 is obtained by applying the second correction factor to the pseudo-color image 103 . Areas (A) to (I) of the pseudo-color image 151 have luminance intensity ratios of 0.33, 0.32, and 0.35 as indicated by reference numeral 153 .
  • the pseudo-color image 151 will show the original white color of the background 2 .
  • the luminance intensity ratio of the first wavelength ⁇ (1) to the third wavelength ⁇ (3) is not uniform as shown in graphs (A) to (I) of reference numeral 115. .
  • the intensity ratios are 0.34, 0.34, 0.32, but by applying the second correction factor, they are reduced to 0.33, 0. 0.33 and 0.33 are corrected.
  • a pseudo-color image 155 is obtained by applying the second correction factor to the pseudo-color image 111 .
  • Areas (A) to (I) of the pseudo-color image 155 have luminance intensity ratios of 0.33, 0.32, and 0.35 as indicated by reference numeral 157 . Pseudo-color image 155 will now show the original white color of background 2 .
  • the intensity ratio of the luminance of the first wavelength ⁇ (1) to the third wavelength ⁇ (3) of the background 2 is measured, and based on the measurement result, the first correction coefficient and a second correction factor are calculated.
  • the second correction coefficient may be obtained for each pixel of the image, or the second correction coefficient may be obtained for a larger area or a smaller area.
  • the processor 142 uses the second correction coefficient acquired in the intensity ratio measurement step to convert the first wavelength image, the second wavelength image, and the third wavelength image captured in the imaging step.
  • a second correction factor is applied to the image to correct the intensity ratio of area (A) to area (I).
  • the second correction coefficient is preferably applied to the entire first to third wavelength images.
  • image data may be applied with a second correction factor.
  • the processor 142 can perform highly accurate sensing by correcting the sensitivity of the image sensor 130 (FIG. 20) based on the first correction coefficient and/or the second correction coefficient.
  • ⁇ Other Embodiment 1> In the above-described embodiment, an example has been described in which three different first wavelength ⁇ (1), second wavelength ⁇ (2), and third wavelength ⁇ (3) are selected in the wavelength selection process. However, the number of wavelengths selected in the wavelength selection process is not limited to three wavelengths as long as a plurality of wavelengths are selected. For example, in the wavelength selection step, two wavelengths may be selected, or the first wavelength ⁇ (1) and the second wavelength ⁇ (2) described above may be selected.
  • the processor 142 determines that the first factor (difference in reflectance between spectral data SD3 and SD1) and the second factor (difference in reflectance between spectral data SD3 and SD2) are within a range of 15%.
  • the processor 142 selects a first wavelength ⁇ (1) and a second wavelength ⁇ (2) that satisfy the following equations.
  • ⁇ is the reflectance ⁇ 1 and ⁇ 2 of the first object 3 at the first wavelength ⁇ (1) and the second wavelength ⁇ (2) respectively, and ⁇ is the first wavelength ⁇ (1) and the second wavelength ⁇ (2).
  • the reflectances ⁇ 1 and ⁇ 2 of the background 2 at two wavelengths ⁇ (2) are input, respectively, and ⁇ is the reflectance ⁇ 1 and ⁇ 2 of the second object 4 at the first wavelength ⁇ (1) and the second wavelength ⁇ (2). each is entered.
  • ( ⁇ ) and ( ⁇ ) at the second wavelength are smaller than the corresponding values of the first wavelength ⁇ (1), the first wavelength ⁇ (1) and the second wavelength ⁇ (2) is selected (condition 2).
  • the processor 142 sets the first factor (difference in reflectance between spectral data SD3 and SD1) and second factor (difference in reflectance between spectral data SD3 and SD2) to 5%.
  • a first wavelength ⁇ (1) and a second wavelength ⁇ (2) can be chosen that are within the range of .
  • the processor 142 selects a first wavelength ⁇ (1) and a second wavelength ⁇ (2) that satisfy the following equations.
  • ⁇ is the reflectance ⁇ 1 and ⁇ 2 of the first object 3 at the first wavelength ⁇ (1) and the second wavelength ⁇ (2) respectively, and ⁇ is the first wavelength ⁇ (1) and the second wavelength ⁇ (2).
  • the reflectances ⁇ 1 and ⁇ 2 of the background 2 at two wavelengths ⁇ (2) are input, respectively, and ⁇ is the reflectance ⁇ 1 and ⁇ 2 of the second object 4 at the first wavelength ⁇ (1) and the second wavelength ⁇ (2). each is entered.
  • ( ⁇ - ⁇ ) and ( ⁇ - ⁇ ) at the second wavelength ⁇ (2) are smaller than the corresponding values of the first wavelength ⁇ (1), the first wavelength ⁇ (1) and the second wavelength ⁇ (2) is selected (Condition 2).
  • two wavelengths (first wavelength ⁇ (1) and second wavelength ⁇ (2) are selected in the wavelength selection step. is selected and imaging is performed, it is possible to acquire the number of wavelength images desired by the user.
  • the background 2 was a predetermined white plate.
  • the processor 142 notifies the optimum background based on the reflectance (spectral data) of the first subject 3 and the second subject 4 (notification step).
  • the memory 144 of the multispectral camera 100 of the present embodiment stores the spectrum data of each of the multiple replacement subjects (multiple backgrounds) that can be replaced with the background 2 and the multiple replacement subjects. Based on the spectral data SD1 of the first subject 3 and the spectral data SD2 of the second subject 4, the processor 142 notifies one replacement subject (background) among the multiple replacement subjects as a recommended background. Note that the processor 142 can notify the replacement subject on a display unit (not shown) provided on the back surface of the multispectral camera 100 .
  • the multispectral camera 100 may also include a background display device 150 that variably displays the background 2 (see FIG. 20).
  • the background display device 150 is composed of, for example, a liquid crystal display or the like under the control of the processor 142, and can display a desired color as the background (third subject variable display step). In this way, by changing the background color on the background display device 150, when objects with completely different spectral reflectances are detected at the same time, the background color can be changed for each place, or the multispectral display with the same setting can be performed.
  • the background color can be easily changed when it is desired to use the camera 100 for a different purpose (for example, detection of another subject).
  • Figures 18 and 19 are diagrams explaining examples of recommended backgrounds.
  • FIG. 18 shows recommended background spectral data SD4 (fourth spectral data). Based on the spectrum data SD1 of the first subject 3 and the spectrum data SD2 of the second subject 4, the background having the spectrum data SD4 is selected as a recommended subject and notified.
  • the spectrum data SD4 has a small difference in reflectance between the spectrum data SD1 and the spectrum data SD2 in the wavelength range of 400 nm to 1000 nm. By using the background having such spectral data SD4, it is possible to select multiple wavelengths for imaging with the multispectral camera 100 in a wide wavelength range.
  • FIG. 19 shows recommended background spectral data SD5.
  • the background having the spectrum data SD5 is selected as a recommended subject and notified. Since the spectral data SD5 intersects the spectral data SD1 and the spectral data SD2 at a plurality of points, it has a plurality of points where the difference in reflectance from the spectral data SD1 and the spectral data SD2 is small.
  • imaging can be performed at a plurality of locations (wavelength ranges).
  • FIG. 20 is a schematic diagram showing an example of a multispectral camera 100 used in the imaging method of the present invention.
  • FIG. 21 is a schematic diagram showing an example of the filter unit 120 included in the multispectral camera 100. As shown in FIG.
  • the multispectral camera 100 shown in FIG. 20 is composed of a photographing optical system 110 including lenses 110A and 110B and a filter unit 120, an image sensor (imaging device) 130, and a signal processing section 140.
  • a background display device 150 may also be connected to the multispectral camera 100 .
  • the background display device 150 is connected to the signal processing section 140 and controlled by the processor 142 .
  • a band-pass filter unit 124 included in the filter unit 120 (FIG. 21) has a first wavelength ⁇ (1), a second wavelength ⁇ (2), a third A first band-pass filter (first wavelength selection element) 124A, a second band-pass filter (second wavelength selection element) 124B, and a third band-pass that transmit light in a wavelength band centered at wavelength ⁇ (3). It is composed of a filter (third wavelength selection element) 124C.
  • the filter unit 120 has four pupil regions (first pupil region to fourth pupil region), and the unused fourth pupil region is shielded by the shielding member B (see FIG. 21).
  • the filter unit 120 is composed of a polarizing filter unit 122 and a bandpass filter unit 124 and is preferably arranged at or near the pupil position of the imaging optical system 110 .
  • the polarizing filter unit 122 includes a first polarizing filter 122A, a second polarizing filter 122B, a third It consists of a polarizing filter 122C.
  • the first polarizing filter 122A has a polarizing direction of 0°
  • the second polarizing filter 122B has a polarizing direction of 90°
  • the third polarizing filter 122C has a polarizing direction of 45°.
  • the band-pass filter unit 124 includes a first band-pass filter 124A and a second band-pass filter 124B that select wavelength regions of light that passes through the first, second, and third pupil regions of the imaging optical system 110, respectively. , and a third bandpass filter 124C. Therefore, the light transmitted through the first pupil region of the imaging optical system 110 is linearly polarized by the first polarizing filter 122A, and is filtered by the first band-pass filter 124A only in the wavelength range including the first wavelength ⁇ (1). To Penetrate.
  • the light passing through the second pupil region of the imaging optical system 110 is linearly polarized by the second polarizing filter 122B (linearly polarized in a direction different from that of the first polarizing filter 122A by 90°), and is further polarized by the second bandpass filter 124B. Therefore, only light in a wavelength range including the second wavelength ⁇ (2) is transmitted. Further, the light passing through the third pupil region of the imaging optical system 110 is linearly polarized by the third polarizing filter 122C, and only the light in the wavelength region including the third wavelength ⁇ (3) is filtered by the third bandpass filter 124C. To Penetrate.
  • the image sensor 130 includes a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally, and a first polarizing filter, a second polarizing filter, and a third polarizing filter having polarization directions of 0°, 45°, and 90°. It is arranged and configured regularly.
  • the first polarizing filter 122A and the first polarizing filter of the image sensor 130 have the same polarizing direction
  • the second polarizing filter 122B and the second polarizing filter of the image sensor 130 have the same polarizing direction
  • the third polarizing filter has the same polarization direction
  • the polarizing filter 122C and the third polarizing filter of the image sensor 130 have the same polarization direction.
  • the signal processing unit 140 reads pixel signals from the pixels of the image sensor 130 in which the first polarizing filters are arranged, thereby obtaining a first wavelength image of a narrow band wavelength-selected by the first band-pass filter 124A.
  • a second wavelength image of a narrow band wavelength-selected by the second band-pass filter 124B is acquired, and the third polarizing filter of the image sensor 130 is obtained.
  • a third wavelength image of a narrow band wavelength-selected by the third band-pass filter 124C is obtained.
  • the first wavelength image, the second wavelength image, and the third wavelength image acquired by the signal processing unit 140 are images suitable for separating the first subject 3 and the second subject 4 .
  • a composite image with enhanced dynamic range and enhanced sensing performance can be created.
  • interference elimination processing of the first wavelength image, the second wavelength image, and the third wavelength image is performed as necessary.
  • the hardware structure of the processing unit that executes various processes is the following various processors.
  • the circuit configuration can be changed after manufacturing, such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes software (program) and functions as various processing units.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • Second Subject 10 Illumination Device 100: Multispectral Camera 110: Shooting Optical System 110A: Lens 110B: Lens 120: Filter Unit 122: Polarizing Filter Unit 122A: First Polarizing Filter 122B: Second polarizing filter 122C: Third polarizing filter 124: Bandpass filter unit 124A: First bandpass filter 124B: Second bandpass filter 124C: Third bandpass filter 130: Image sensor 140: Signal processing unit 142: Processor 144 : Memory 150 : Background display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

高い波長再現性を維持した波長画像を得ることができる撮像方法及びプログラムを提供する。プロセッサを備えるマルチスペクトルカメラにより被写体を撮像する撮像方法において、プロセッサは、第１被写体の第１スペクトルデータと、第２被写体の第２スペクトルデータと、第３被写体の第３スペクトルデータと、を取得するデータ取得工程（ステップＳ１０）と、取得した第１から第３スペクトルデータの波長域から複数の波長を選定する波長選定工程（ステップＳ１１）と、波長選定工程（ステップＳ１１）では、第１スペクトルデータ、第２スペクトルデータ、第３スペクトルデータの中から、２つのスペクトルデータの特徴量の差又は比を演算量に決め、演算量を少なくとも２つ以上求めて複数の波長を選定し、複数の波長で第１被写体、第２被写体、第３被写体の少なくとも１つを含む被写体を撮像する撮像工程（ステップＳ１２）と、を行う。

Description

撮像方法及びプログラム
　本発明は、撮像方法及びプログラムに関し、特にマルチスペクトルカメラの撮像方法及びプログラムに関する。
　従来より、マルチスペクトルカメラを利用して異なる波長毎の画像を取得し，その画像を様々な用途に応用することが行われている。
　例えば特許文献１では、予め測定されたカメラの分光感度特性を用いて被写体の色推定を行う技術が記載されている。
特開２００６－３００１４号公報
　本開示の技術に係る一つの実施形態は、高い波長再現性を維持した波長画像を得ることができる撮像方法及びプログラムを提供する。
　本発明の一の態様である撮像方法は、プロセッサを備えるマルチスペクトルカメラにより、被写体を撮像する撮像方法であって、プロセッサは、第１被写体の第１スペクトルデータと、第２被写体の第２スペクトルデータと、第３被写体の第３スペクトルデータと、を取得するデータ取得工程と、取得した第１から第３スペクトルデータの波長域から複数の波長を選定する波長選定工程と、波長選定工程では、第１スペクトルデータ、第２スペクトルデータ、第３スペクトルデータのうち、２つのスペクトルデータの特徴量の差又は比を因子とし、少なくとも２つ以上の前記因子をもとに複数の波長を選定し、複数の波長で第１被写体、第２被写体、第３被写体の少なくとも１つを含む被写体を撮像する撮像工程と、を行う。
　好ましくは、第１から第３スペクトルデータの波長域は、少なくとも第１スペクトルデータの波長域と第２スペクトルデータの波長域が重なる波長域である。
　好ましくは、因子は、第１スペクトルデータと第３スペクトルデータの特徴量の差又は比である第１因子と、第２スペクトルデータと第３スペクトルデータの特徴量の差又は比である第２因子を含み、第１因子と第２因子とに基づいて複数の波長を選定する。
　好ましくは、複数の波長の１つは、第１因子及び第２因子の少なくとも一方が最小となる波長である。
　好ましくは、波長選定工程で選定した複数の波長により、第３被写体の画像データの複数の領域内で複数の波長の輝度の強度比を計測する工程と、強度比に基づいて少なくとも第３被写体の画像データを補正する補正工程と、を更に有する。
　好ましくは、補正工程は、計測した強度比の１つである第１強度比に基づいて複数の領域の強度比を補正する第１補正工程を含む。
　好ましくは、補正工程は、計測した強度比の差を小さくする補正をする第２補正工程を含む。
　好ましくは、補正工程は、計測した強度比の１つである第１強度比に基づいて複数の領域の強度比を補正する第１補正工程と、計測した強度比の差を小さくする補正をする第２補正工程を含む。
　好ましくは、第３被写体は、複数の領域で波長選定工程で選定した複数の波長の輝度の強度比が一定である。
　好ましくは、波長選定工程で第１波長と第２波長を選定し、第１波長及び第２波長における第１被写体の反射率αと第３被写体の反射率βが以下の式（１）の関係を満たし、第１波長及び第２波長における第２被写体の反射率γと第３被写体の反射率βが以下の式（２）の関係を満たし、第２波長における（β－α）及び（β－γ）は第１波長における（β－α）及び（β－γ）よりも小さい。
　｜β－α｜÷（β＋α）≦０．１５・・・（１）
　｜β－γ｜÷（β＋γ）≦０．１５・・・（２）
　好ましくは、波長選定工程で第１波長と第２波長を選定し、第１波長及び第２波長における第１被写体の反射率αと第３被写体の反射率βが以下の式（３）の関係を満たし、第１波長及び第２波長における第２被写体の反射率γと第３被写体の反射率βが以下の式（４）の関係を満たし、第２波長における（β－α）及び（β－γ）は第１波長における（β－α）及び（β－γ）よりも小さい。
　｜β－α｜÷（β＋α）≦０．０５・・・（３）
　｜β－γ｜÷（β＋γ）≦０．０５・・・（４）
　好ましくは、波長選定工程で第１波長と第２波長と第３波長とを選定し、第１波長、第２波長、及び第３波長における第１被写体の反射率αと第３被写体の反射率βが以下の式（５）の関係を満たし、第１波長、第２波長、及び第３波長における第２被写体の反射率γと第３被写体の反射率βが以下の式（６）の関係を満たし、第２波長における（β－α）及び（β－γ）は、第１波長及び第３波長における（β－α）及び（β－γ）よりも小さい。
　｜β－α｜÷（β＋α）≦０．１５・・・（５）
　｜β－γ｜÷（β＋γ）≦０．１５・・・（６）
　好ましくは、波長選定工程で第１波長と第２波長と第３波長とを選定し、第１波長、第２波長、及び第３波長における第１被写体の反射率αと第３被写体の反射率βが以下の式（７）の関係を満たし、第１波長、第２波長、及び第３波長における第２被写体の反射率γと第３被写体の反射率βが以下の式（８）の関係を満たし、第２波長における（β－α）及び（β－γ）は、第１波長及び第３波長における（β－α）及び（β－γ）よりも小さい。
　｜β－α｜÷（β＋α）≦０．０５・・・（７）
　｜β－γ｜÷（β＋γ）≦０．０５・・・（８）
　好ましくは、第３被写体と置換可能な複数置換被写体と複数置換被写体の各々の第４スペクトルデータを記憶するメモリを備え、プロセッサは、第１スペクトルデータ、第２スペクトルデータ、及び第４スペクトルデータに基づいて、複数置換被写体のうちの一つの置換被写体を推奨する第３被写体として報知する報知工程を行う。
　好ましくは、プロセッサは、補正工程に基づいて、マルチスペクトルカメラの撮像素子の感度を補正する感度補正工程を行う。
　好ましくは、第３被写体を可変に表示する第３被写体可変表示工程を更に行う。
　好ましくは、無影化の照明の照射工程を更に行う。
　本発明の他の態様であるプログラムは、プロセッサを備えるマルチスペクトルカメラにより、被写体を撮像する撮像方法を実行させるプログラムであって、プロセッサに、第１被写体の第１スペクトルデータと、第２被写体の第２スペクトルデータと、第３被写体の第３スペクトルデータと、を取得するデータ取得工程と、取得した第１から第３スペクトルデータの波長域から複数の波長を選定する波長選定工程と、波長選定工程では、第１スペクトルデータ、第２スペクトルデータ、第３スペクトルデータのうち、２つのスペクトルデータの特徴量の差又は比を因子とし、少なくとも２つ以上の前記因子をもとに複数の波長を選定し、複数の波長で第１被写体、第２被写体、第３被写体の少なくとも１つを含む被写体を撮像する撮像工程と、を行わせる。
図１は、周辺環境の変化により波長画像が不正確となってしまう第１例を説明する図である。 図２は、周辺環境の変化により波長画像が不正確となってしまう第１例を説明する図である。 図３は、周辺環境の変化により波長画像が不正確となってしまう第２例を説明する図である。 図４は、周辺環境の変化により波長画像が不正確となってしまう第２例を説明する図である。 図５は、撮像方法を示すフローチャートである。 図６は、マルチスペクトルカメラにより撮像される被写体を示す概略図である。 図７は、背景、第１被写体、及び第２被写体のスペクトルデータを示す図である。 図８は、背景、第１被写体、及び第２被写体のスペクトルデータを示す図である。 図９は、式（５）、式（６）、及び条件１を満たす場合を示した図である。 図１０は、マルチスペクトルカメラによる撮像工程を説明する図である。 図１１は、撮像方法を示すフローチャートである。 図１２は、強度比計測工程における背景の撮像に関して説明する図である。 図１３は、強度比計測工程で計測された背景の輝度の強度比及び算出される第１補正係数に関して説明する図である。 図１４は、強度比計測工程で計測された背景の輝度の強度比及び算出される第１補正係数に関して説明する図である。 図１５は、撮像方法を示すフローチャートである。 図１６は、強度比計測工程で計測された背景の輝度の強度比、及び算出される第１補正係数及第２補正係数に関して説明する図である。 図１７は、強度比計測工程で計測された背景の輝度の強度比、及び算出される第１補正係数及第２補正係数に関して説明する図である。 図１８は、推奨する背景の例を説明する図である。 図１９は、推奨する背景の例を説明する図である。 図２０は、マルチスペクトルカメラの一例を示す概略図である。 図２１は、マルチスペクトルカメラが備えるフィルタユニットの一例を示す概略図である。
　以下、添付図面にしたがって本発明に係る撮像方法及びプログラムの好ましい実施の形態について説明する。
　先ず、以下で波長画像が不正確（波長再現性が低下）となってしまうことに関して説明する。
　従来より、マルチスペクトルカメラによって、波長毎に対応した画像（波長画像）を取得することが行われている。例えば、偏光画素（例えば０°、４５°、９０°）を利用したマルチスペクトルカメラ（図２０参照）は、各偏光画素にそれぞれ異なる波長を割り当てることにより、波長毎に波長画像を得ることができる。ここで、波長画像を生成する工程では、一般に混信除去が行われる。混信除去とは、撮像時に混信した他の波長に関する信号を除去する処理であり、予め計測された混合比率を元に混信した他の波長を除去する（逆行列演算）ことである。そして、この混信除去が適切に行われることにより、他の波長の信号の混信が抑制された正確な波長画像を得ることができる。
　一般に混合比率は、マルチスペクトルカメラの製造時など、実際に撮像を行う前に計測され、マルチスペクトルカメラに内蔵されるメモリなどに記憶されて利用されることが多い。したがって、予め計測された混合比率と、実際に撮像を行う場合の混合比率とが異なる場合が発生する。このように、予め計測された混合比率と実際に撮像を行った場合の混合比率とが異なる場合には、混信除去を上手く行うことができず、得られる波長画像が不正確となってしまうことがある（波長再現性が低下する）。予め計測された混合比率と実際に撮像を行う場合の混合比率とが異なってしまう要因の１つとして、周辺環境の変化が挙げられる。具体的には、予め混合比率を計測する際の周辺環境と実際に撮像を行う際の周辺環境とが異なることにより、フレアが変化し混合比率が変化してしまう。以下に、周辺環境の変化よる波長画像への影響に関して具体例を用いて説明する。
　図１及び図２は、周辺環境の変化により波長画像が不正確となってしまう第１例を説明する図である。
　画像５０１、画像５０３、及び画像５０５は、マルチスペクトルカメラにより均一な反射特性を有する白色板を撮像した各波長画像である。画像５０１は波長ＵのＵ波長画像であり、画像５０３は波長ＶのＶ波長画像であり、画像５０５は波長ＷのＷ波長画像である。また画像５０７は、例えば波長Ｕを青色（Ｂ：ＢＬＵＥ）、波長Ｖを緑色（Ｇ：ＧＲＥＥＮ）、及び波長Ｗを赤色（Ｒ：ＲＥＤ）に置き換えた場合の疑似カラー画像である。図２には、画像５０７の領域（Ａ）～（Ｉ）の波長Ｕ、波長Ｖ、及び波長Ｗの輝度の強度比が対応するグラフ（Ａ）～（Ｉ）で示されている。
　本来ならばマルチスペクトルカメラ１００により、均一な反射特性を有する白色板を撮像した場合には、領域（Ａ）～（Ｉ）における輝度の強度比は均一となる。また、本来ならばマルチスペクトルカメラ１００により、均一な反射特性を有する白色板を撮像した場合には、画像５０１（Ｕ波長画像）、画像５０３（Ｖ波長画像）、及び画像５０５（Ｗ波長画像）間の輝度の強度比も等しくなる。しかしながら、実際に画像５０１、画像５０３、及び画像５０５を撮像した際の周辺環境と混合比率を計測した際の周辺環境とは異なることにより、図示するように、領域（Ａ）～（Ｉ）では、画像５０１、画像５０３、及び画像５０５の各々が示す輝度の強度比が異なる。また画像５０１、画像５０３、及び画像５０５間の輝度の強度比も等しくない（例えば、領域（Ｅ）では、画像５０１、画像５０３、及び画像５０５間の強度比のズレ量は約２％である）。
　このように、混合比率を計測した時と実際の撮像時とにおいて周辺環境が異なることからフレア等が変化し、正確な（波長再現性を維持した）波長画像の取得ができない場合がある。
　図３及び図４は、周辺環境の変化により波長画像が不正確となってしまう第２例を説明する図である。本例では、均一な反射特性を有する白色板を背景として黒色被写体５１９が撮像されている。
　画像５１１は波長ＵのＵ波長画像であり、画像５１３は波長ＶのＶ波長画像であり、画像５１５は波長ＷのＷ波長画像である。また、画像５１７は、図１で説明した場合と同様の条件で生成された疑似カラー画像である。図４には、画像５１７の領域（Ａ）～（Ｉ）の波長Ｕ、波長Ｖ、及び波長Ｗの輝度の強度比が対応するグラフ（Ａ）～（Ｉ）で示されている。
　画像５１１、画像５１３、及び画像５１５を撮像した際の周辺環境と混合比率を計測した際の周辺環境とは異なることにより、図示するように、領域（Ａ）～（Ｉ）では、画像５１１、画像５１３、及び画像５１５の各々が示す輝度の強度比が異なる。また画像５１１、画像５１３、及び画像５１５間の輝度の強度比も等しくなってない（例えば、領域（Ｅ）では、画像５１１、画像５１３、及び画像５１５間の輝度の強度比のズレ量は約６％である）。
　このように、混合比率を取得した時と実際の撮像時とにおいて周辺環境が異なることからフレア等が変化することにより、正確な（波長再現性が維持された）波長画像の取得ができない場合がある。また、黒色被写体５１９のような、背景と被写体との反射率の差が大きい場合には、より波長間の輝度の強度比のズレ量が大きくなってしまい、波長再現性が低下してしまう。
　上述した例のように、混合比率が変わっているにもかかわらず単に混信除去を行うだけでは、不正確な波長画像が取得されてしまう。
　そこで、以下に開示する実施形態では、フレア等が変化することを抑制したり、撮像の初期において発生しているフレア等に合わせて波長画像に対して補正を行うことにより、周辺環境が変化していても、正確な波長画像を得ることができる（波長再現性を維持することができる）。
　＜第１実施形態＞
　図５は、本発明の撮像方法を示すフローチャートである。以下で説明する撮像方法の各工程は、マルチスペクトルカメラ１００（図２０）のプロセッサ１４２によって実施される。また、プロセッサ１４２はメモリ１４４に記憶されている撮像方法の専用プログラムを実行することにより各工程を実施する。
　データ取得工程（ステップＳ１０）では、プロセッサ１４２は、背景２、第１被写体３、及び第２被写体４のスペクトルデータを取得する。次に、波長選定工程（ステップＳ１１）では、プロセッサ１４２は、背景２、第１被写体３、及び第２被写体４のスペクトルデータの波長域（波長帯域）から複数の波長を選定する。本例では、第１波長λ（１）、第２波長λ（２）、第３波長λ（３）が選定される。次に、撮像工程（ステップＳ１２）では、プロセッサ１４２は、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）により、背景２、第１被写体３、及び第２被写体４のうち少なくとも１つを含む被写体を撮像する。
　以下に各工程に関して詳細に説明を行う。
　［データ取得工程］
　データ取得工程ではプロセッサ１４２は、被写体（背景２、第１被写体３、及び第２被写体４）のスペクトルデータを取得する。
　図６は、マルチスペクトルカメラ１００により撮像される被写体（第１被写体、第２被写体、及び背景（第３被写体））を示す概略図である。
　被写体は、第１被写体３、第２被写体４、及び背景２で構成される。マルチスペクトルカメラ１００により、背景２、第１被写体３、及び第２被写体４のうち少なくとも１つを含む被写体を撮像して、背景２上に位置する第１被写体３及び第２被写体４を識別するセンシングが行われる。したがって、プロセッサ１４２は、背景２、第１被写体３、及び第２被写体４の反射率に関するスペクトルデータを取得する。
　図７及び図８は、背景２、第１被写体３、及び第２被写体４のスペクトルデータを示す図である。
　図７では、背景２、第１被写体３、及び第２被写体４の各波長に対応する反射率がスペクトルデータとして表示されている。スペクトルデータＳＤ１（第１スペクトルデータ）は第１被写体３に対応し、スペクトルデータＳＤ２（第２スペクトルデータ）は第２被写体４に対応し、スペクトルデータＳＤ３（第３スペクトルデータ）は背景２に対応する。プロセッサ１４２が取得するスペクトルデータＳＤ１、スペクトルデータＳＤ２、及びスペクトルデータＳＤ３の波長域は、スペクトルデータＳＤ１の波長域とスペクトルデータＳＤ２の波長域とが重なる波長域である。つまり図７に示す場合では、スペクトルデータＳＤ１とスペクトルデータＳＤ２との波長域は４００ｎｍ～１０００ｎｍであり、スペクトルデータＳＤ３は４００ｎｍ～１０００ｎｍの波長域であり、スペクトルデータＳＤ１～ＳＤ３の波長域は４００ｎｍ～１０００ｎｍで重なっている。したがって、プロセッサ１４２は、スペクトルデータＳＤ１～ＳＤ３を波長域４００ｎｍ～１０００ｎｍで取得する。
　図８では、図７と同様に背景２、第１被写体３、及び第２被写体４の各波長に対応する反射率がスペクトルデータとして表示されており、スペクトルデータＳＤ１は第１被写体３に対応し、スペクトルデータＳＤ２は第２被写体４に対応し、スペクトルデータＳＤ３は背景２に対応する。
　図８に示す場合では、スペクトルデータＳＤ１とスペクトルデータＳＤ２との波長域は５５０ｎｍ～１０００ｎｍで重なっている。したがって、スペクトルデータＳＤ３の波長域も５５０ｎｍ～１０００ｎｍの範囲で十分であり、プロセッサ１４２は５５０ｎｍ～１０００ｎｍの波長域のスペクトルデータＳＤ１～ＳＤ３を取得する。
　プロセッサ１４２は、様々な形態によりスペクトルデータＳＤ１～ＳＤ３を取得する。例えば、スペクトルデータＳＤ１～ＳＤ３は、ハイパースペクトルカメラにより背景２、第１被写体３、及び第２被写体４が撮像されて取得され、マルチスペクトルカメラ１００に入力されてもよい。また、スペクトルデータＳＤ１～ＳＤ３は、様々なスペクトルデータが保存されているデータベースから選択されて、マルチスペクトルカメラ１００に入力されプロセッサ１４２が取得してもよい。また、スペクトルデータＳＤ１～ＳＤ３は、予めマルチスペクトルカメラ１００のメモリ１４４に記憶されていて、それをプロセッサ１４２は取得してもよい。
　［波長選定工程］
　波長取得選定ではプロセッサ１４２は、取得したスペクトルデータＳＤ１、スペクトルデータＳＤ２、及びスペクトルデータＳＤ３に基づいて、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）を選定する。プロセッサ１４２は、スペクトルデータＳＤ１、スペクトルデータＳＤ２、及びスペクトルデータＳＤ３のうち、２つのスペクトルデータの特徴量の差又は比を因子とし、因子を少なくとも２つ以上求めて複数の波長を選定する。以下の説明では、スペクトルデータの特徴量（反射率）の差が因子とされた場合に関して説明する。
　従来技術において、図７で説明したスペクトルデータＳＤ１、スペクトルデータＳＤ２、及びスペクトルデータＳＤ３では、少なくとも第１被写体３のスペクトルデータＳＤ１と第２被写体４のスペクトルデータＳＤ２とで差が小さい波長（基準波長）と差がある波長とを使用することが一般的である。したがって、従来では例えば、少なくとも第２波長λ（２）（基準波長）として４２０ｎｍが選定され、第１波長λ（１）として５００ｎｍが選定されてきた。
　しかしながら、本実施形態では、プロセッサ１４２は、スペクトルデータＳＤ３とスペクトルデータＳＤ１との反射率の差（第１因子）、及びスペクトルデータＳＤ３とスペクトルデータＳＤ２との反射率の差（第２因子）の関係に基づいて、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）が選定される。例えばプロセッサ１４２は、第２波長λ（２）（基準波長）として、第１因子及び第２因子が最小である８５０ｎｍを選定する。なお、プロセッサ１４２は、基準波長として第１因子及び第２因子の少なくとも一方が最小となる波長を選定してもよい。またプロセッサ１４２は、第１因子及び第２因子が第２波長λ（２）の場合よりも大きく、第１被写体３と第２被写体４との識別が可能な９２５ｎｍを第１波長λ（１）として選定する。例えば第１波長λ（１）は、以下で説明する所定の範囲（１５％又は５％）内において、第１因子と第２因子との和が最大となる波長が選定されてもよい。またプロセッサ１４２は、第３波長λ（３）を、第１波長λ（１）と第２波長λ（２）との間の８７５ｎｍと選定する。
　また、プロセッサ１４２は、第１因子（スペクトルデータＳＤ３とスペクトルデータＳＤ１との反射率の差）及び第２因子（スペクトルデータＳＤ３とスペクトルデータＳＤ２との反射率の差）が１５％の範囲内である第１波長λ（１）～第３波長λ（３）を選定することができる。
　具体的には、プロセッサ１４２は、以下の式を満たすような第１波長λ（１）～第３波長λ（３）を選定する。
　｜β－α｜÷（β＋α）≦０．１５・・・（５）
　｜β－γ｜÷（β＋γ）≦０．１５・・・（６）
　なお上式では、αは第１波長λ（１）～第３波長λ（３）における第１被写体３の反射率α１～α３が各々入力され、βは第１波長λ（１）～第３波長λ（３）における背景２の反射率β１～β３が各々入力され、γは第１波長λ（１）～第３波長λ（３）における第２被写体４の反射率γ１～γ３が各々入力される。また、この場合第２波長における（β－α）及び（β－γ）は、第１波長λ（１）及び第３波長λ（３）の対応する値よりも小さい第１波長λ（１）～第３波長λ（３）が選定される（条件１）。
　図９は、式（５）、式（６）、及び条件１を満たす場合を示した図である。なお、図９には、スペクトルデータＳＤ１～ＳＤ３、及び第１波長λ（１）～第３波長λ（３）が示されている。
　図９に示すように、差分Ｍ１、差分Ｎ１、差分Ｍ２（０であるため不図示）、差分Ｎ２（０であるため不図示）、差分Ｍ３、差分Ｎ３が１５％以内である第１波長λ（１）～λ（３）が選定されている。更に、差分Ｍ２及び差分Ｎ２は、差分Ｍ１、差分Ｎ１、差分Ｍ３、及び差分Ｎ３よりも小さい、第１波長λ（１）～第３波長λ（３）が選定されている。
　また、更に好ましくは、プロセッサ１４２は、第１因子（スペクトルデータＳＤ３とスペクトルデータＳＤ１との反射率の差）及び第２因子（スペクトルデータＳＤ３とスペクトルデータＳＤ２との反射率の差）が５％の範囲内である第１波長λ（１）～第３波長λ（３）を選定することができる。
　具体的には、プロセッサ１４２は、以下の式を満たすような第１波長λ（１）～第３波長λ（３）を選定する。
　｜β－α｜÷（β＋α）≦０．０５・・・（７）
　｜β－γ｜÷（β＋γ）≦０．０５・・・（８）
　なお上式では、αは第１波長λ（１）～第３波長λ（３）における第１被写体３の反射率α１～α３が各々入力され、βは第１波長λ（１）～第３波長λ（３）における背景２の反射率β１～β３が各々入力され、γは第１波長λ（１）～第３波長λ（３）における第２被写体４の反射率γ１～γ３が各々入力される。また、この場合第２波長における（β－α）及び（β－γ）は、第１波長λ（１）及び第３波長λ（３）の対応する値よりも小さい第１波長λ（１）～第３波長λ（３）が選定される（条件１）。
　以上で説明したように、プロセッサ１４２は、スペクトルデータＳＤ１～スペクトルデータＳＤ３に基づく因子によって、第１波長λ（１）～第３波長λ（３）を選定する。これにより、背景２の反射率との違いが一定の範囲内であるので、周辺環境の変化の影響を抑制することができる。
　なお、上述した説明では、プロセッサ１４２が取得したスペクトルデータＳＤ１～スペクトルデータＳＤ３から第１波長λ（１）～第３波長λ（３）を自動で選定する場合について説明した。波長選定工程では、他の形態によりプロセッサ１４２が第１波長λ（１）～第３波長λ（３）を選定してもよい。例えば、プロセッサ１４２は、取得したスペクトルデータＳＤ１～スペクトルデータＳＤ３をマルチスペクトルカメラ１００の背面に設けられる表示部に表示させ、ユーザがその表示から第１波長λ（１）～第３波長λ（３）を選択し、マルチスペクトルカメラ１００の操作部（不図示）を介して入力されたユーザからの指示に基づいて、プロセッサ１４２は第１波長λ（１）～第３波長λ（３）を選定してもよい。
　［撮像工程］
　撮像工程では、プロセッサ１４２は、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）で、第１被写体３、第２被写体４、背景２（第３被写体）の少なくとも１つを含む被写体を撮像する。
　図１０は、マルチスペクトルカメラ１００による撮像工程を説明する図である。図１０では、背景２がベルトコンベアであり、その上に第１被写体３及び第２被写体４が乗せられて、連続的に運ばれてくる具体例が示されている。マルチスペクトルカメラ１００は、連続的に運ばれてくる第１被写体３及び第２被写体４を撮像する。
　プロセッサ１４２は、マルチスペクトルカメラ１００に、背景２上に位置する第１被写体３及び第２被写体４のシーンの撮像を行わせる。マルチスペクトルカメラ１００は、場合によっては背景２だけのシーン、背景２上に第１被写体３のみが位置しているシーン、背景２上に第２被写体４のみが位置しているシーンの撮像を行う。なお、マルチスペクトルカメラ１００は、波長選定工程で選定された第１波長λ（１）～第３波長λ（３）に対応する第１波長画像～第３波長画像が取得できるように設定されている。照明装置１０は、マルチスペクトルカメラ１００の撮像に合わせて又は常時、背景２、第１被写体３、及び第２被写体４を照らす（照射工程）。なお、照明装置１０は、光源ａ、光源ｂ、又は光源ａ及び光源ｂを混合した光源が使用される。また、第１被写体３及び第２被写体４の影は、正確な第１波長画像～第３波長画像の取得に良い影響を及ぼさないので、照明装置１０は、無影化の照明装置であることが好ましい。マルチスペクトルカメラ１００は、必要に応じて、取得した第１波長画像～第３波長画像に対して混信除去の処理を行う。
　マルチスペクトルカメラ１００は、撮像した第１波長画像～第３波長画像に基づいて、第１被写体３及び第２被写体４を識別する（存在の有無などを検出する）センシングを行う。
　以上で説明したように、本実施形態の撮像方法によれば、フレア等が撮像を行う周辺環境により変化した場合であっても、第１被写体３、第２被写体４、及び背景２の反射率の因子が所定の範囲内である第１波長λ（１）～第３波長（３）が選定されているので、周辺環境の変化の影響を抑制し高い波長再現性が維持された波長画像の取得を行うことができる。
　＜第２実施形態＞
　次に、本発明の第２実施形態に関して説明する。本実施形態では、上述した第１実施形態の撮像方法に加えて、強度比計測工程及び補正工程（第１補正工程）を含む。
　図１１は、本実施形態の撮像方法を示すフローチャートである。以下で説明する撮像方法は、マルチスペクトルカメラ１００のプロセッサ１４２によって実施される。また、プロセッサ１４２はメモリ１４４に記憶されている撮像方法の専用プログラムを実行することにより各工程を実施する。
　データ取得工程（ステップＳ２０）では、プロセッサ１４２は、背景２、第１被写体３、及び第２被写体４のスペクトルデータを取得する。次に、波長選定工程（ステップＳ２１）では、プロセッサ１４２は、背景２、第１被写体３、及び第２被写体４のスペクトルデータの波長域から、第１波長λ（１）、第２波長λ（２）、第３波長λ（３）を選定する。次に、強度比計測工程（ステップＳ２２）では、プロセッサ１４２は、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）により背景２を撮像して、背景２の第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）の波長画像（画像データ）を取得し複数の領域内で第１波長λ（１）～第３波長λ（３）の輝度の強度比を計測する。次に、撮像工程（ステップＳ２３）では、プロセッサ１４２は、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）により、背景２、第１被写体３、及び第２被写体４のうち少なくとも１つを含む被写体を撮像する。その後、第１補正工程（ステップＳ２４）では、プロセッサ１４２は、計測した強度比の１つである第１強度比に基づいて複数の領域の強度比を補正する。
　次に、本実施形態の特徴的部分である強度比計測工程及び第１補正工程に関して説明する。なお、本実施形態におけるその他の工程（データ取得工程、波長選定工程、及び撮像工程）は第１実施形態と同様であるので、説明は省略する。
　［強度比計測工程］
　強度比計測工程では、プロセッサ１４２は、第１波長λ（１）～第３波長λ（３）により、背景２の輝度の強度比を計測する。具体的には、プロセッサ１４２は、第１波長λ（１）～第３波長λ（３）でマルチスペクトルカメラ１００により、背景２のみを撮像し、第１波長画像～第３波長画像を取得する。
　図１２は、強度比計測工程における背景２の撮像に関して説明する図である。
　強度比計測工程では、マルチスペクトルカメラ１００により背景２が撮像され、背景２の第１波長画像、第２波長画像、及び第３波長画像が取得される。なお、ここで撮像される背景２は、撮像工程で撮像される背景２と同一である。背景２には、例えば第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）での反射率が均一の白色板が使用される。また、例えば背景２には、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）での強度比が複数の領域で一定であるチャートが使用される。また、照明装置１０は、撮像工程で使用される照明装置である。なお、強度比計測工程と撮像工程とでは同一の光源が使用されることが好ましい。
　図１３及び図１４は、強度比計測工程で計測された背景２の輝度の強度比及び算出される第１補正係数に関して説明する図である。図１３は光源ａで計測され、図１４は光源ｂで計測された計測結果が示されている。
　疑似カラー画像１０１（図１３）は、第１波長画像～第３波長画像に基づいて生成される。具体的には、第１波長画像の輝度の強度比を赤（Ｒ：ＲＥＤ）、第２波長画像の輝度の強度比を青（Ｂ：ＢＬＵＥ）、第３波長画像の輝度の強度比を緑（Ｇ：ＧＲＥＥＮ）で重ね合わせることで疑似カラー画像１０１が生成される。また、符号１０５では、疑似カラー画像１０１の領域（Ａ）～領域（Ｉ）の第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）での輝度の強度比がグラフ（Ａ）～グラフ（Ｉ）で対応して示されている。なお、グラフ（Ａ）～グラフ（Ｉ）で示される輝度の強度比は、領域（Ａ）～領域（Ｉ）の各領域の輝度の強度比の平均又は代表値が示されている。
　疑似カラー画像１０１及び符号１０５で示されるグラフ（Ａ）～グラフ（Ｉ）で示すように、第１波長画像～第３波長画像では周辺環境の変化の影響により各波長の輝度の強度比にばらつきが発生している。したがって、プロセッサ１４２は、領域（Ａ）～領域（Ｉ）において、第１波長λ（１）、第２波長λ（２）、第３波長λ（３）における輝度の強度比を揃える第１補正係数を取得する。例えば、プロセッサ１４２は、疑似カラー画像１０１の中央の領域（Ｅ）の輝度の強度比（第１強度比）に、領域（Ａ）～領域（Ｄ）、領域（Ｆ）～領域（Ｉ）の強度比を合わせる第１補正係数を取得する。疑似カラー画像１０３は、第１補正係数を疑似カラー画像１０１に適用することにより疑似カラー画像１０３を得る。疑似カラー画像１０３は、符号１０７に示すグラフ（Ａ）～グラフ（Ｉ）で示すように、均一の輝度の強度比となっている。すなわち、第１補正係数により、領域（Ａ）～領域（Ｉ）の輝度の強度比が同じになる。
　疑似カラー画像１０９（図１４）、疑似カラー画像１０１と同様に第１波長画像～第３波長画像に基づいて生成される。また符号１１３では、疑似カラー画像１０９の領域（Ａ）～領域（Ｉ）の第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）での輝度の強度比がグラフ（Ａ）～グラフ（Ｉ）で示されている。
　疑似カラー画像１０９及び符号１１３で示されるグラフ（Ａ）～グラフ（Ｉ）で示すように、第１波長画像～第３波長画像では周辺環境の変化の影響により各波長の輝度の強度比にばらつきが発生している。したがって、プロセッサ１４２は、疑似カラー画像１０９の中央の領域（Ｅ）の輝度の強度比（第１強度比）に、領域（Ａ）～領域（Ｄ）、領域（Ｆ）～領域（Ｉ）の強度比を合わせる第１補正係数を取得する。第１補正係数を疑似カラー画像１０９に適用すると疑似カラー画像１１１を得る。疑似カラー画像１１１は、符号１１５に示すグラフ（Ａ）～グラフ（Ｉ）で示すように、均一の輝度の強度比となっている。すなわち、第１補正係数により、領域（Ａ）～領域（Ｉ）の輝度の強度比が均一となる。
　以上で説明したように、強度比計測工程では、背景２の第１波長λ（１）～第３波長λ（３）の輝度の強度比が計測され、その計測結果に基づいて第１補正係数が算出される。なお、上述した説明では画像を３×３の９領域に分けてその領域毎に第１補正係数が取得される例について説明が、本実施形態はこれに限定されるものではない。例えば、画像の画素毎に第１補正係数が取得されても良いし、より大きな領域又は小さな領域において第１補正係数が取得されてもよい。
　［補正工程］
　補正工程（第１補正工程）では、プロセッサ１４２は、撮像工程で撮像された第１波長画像、第２波長画像、及び第３波長画像に、強度比計測工程で取得した第１補正係数を適用し領域（Ａ）～領域（Ｉ）の輝度の強度比を補正する。なお、第１補正係数は、第１波長画像～第３波長画像の全体に適用することが好ましいが、例えば、第１波長画像～第３波長画像の背景２が写っている箇所（背景２の画像データ）に、第１補正係数を適用してもよい。第１補正係数で補正が行われた第１波長画像、第２波長画像、及び第３波長画像は周辺環境の変化の影響が抑制されている。したがって、波長再現性を維持した第１波長画像～第３波長画像を得ることができ、正確なセンシングを行うことができる。
　＜第３実施形態＞
　次に、本発明の第３実施形態に関して説明する。本実施形態では、上述した第２実施形態の撮像方法に加えて、補正工程（第２補正工程）を含む。
　図１５は、本実施形態の撮像方法を示すフローチャートである。以下で説明する撮像方法は、マルチスペクトルカメラ１００のプロセッサ１４２によって実施される。また、プロセッサ１４２はメモリ１４４に記憶されている撮像方法の専用プログラムを実行することにより各工程を実施する。
　データ取得工程（ステップＳ３０）では、プロセッサ１４２は、背景２、第１被写体３、及び第２被写体４のスペクトルデータを取得する。次に、波長選定工程（ステップＳ３１）では、プロセッサ１４２は、背景２、第１被写体３、及び第２被写体４のスペクトルデータの波長域から第１波長λ（１）、第２波長λ（２）、第３波長λ（３）を選定する。次に、強度比計測工程（ステップＳ３２）では、プロセッサ１４２は、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）により背景２を撮像して、背景２の第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）の波長画像（画像データ）を取得し複数の領域内で複数の波長の輝度の強度比を計測する。次に、撮像工程（ステップＳ３３）では、プロセッサ１４２は、第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）により、背景２、第１被写体３、及び第２被写体４のうち少なくとも１つを含む被写体を撮像する。次に、第１補正工程（ステップＳ３４）では、プロセッサ１４２は、強度比計測工程で計測した強度比の１つである第１強度比に基づいて複数の領域の強度比を補正する。次に、第２補正工程（ステップＳ３５）では、プロセッサ１４２は、強度比計測工程で計測した強度比の差を小さくする補正を行う。
　次に、本実施形態の特徴的部分である強度比計測工程及び第２補正工程に関して説明する。なお、データ取得工程、波長選定工程、撮像工程、第１補正工程は第１実施形態及び第２実施形態と同様であるので、ここでは説明を省略する。
　［強度比計測工程］
　本実施形態の強度比計測工程では、第１補正係数に加えて第２補正係数が算出される。なお以下の説明では、第１補正係数と第２補正係数が別々に算出される場合について説明を行うが、これに限定されるものではない。例えば、第１補正係数と第２補正係数とが合わされた補正係数が算出されてよい。
　図１６及び図１７は、強度比計測工程で計測された背景２の輝度の強度比、及び算出される第１補正係数及第２補正係数に関して説明する図である。なお以下の説明では、図１３及び図１４で既に説明を行った箇所は同じ符号を付し説明は省略する。
　第２補正係数は、領域（Ａ）～領域（Ｉ）の各波長の輝度の強度比の差を小さくするような補正係数である。例えば、第２補正係数は、領域（Ａ）～領域（Ｉ）において第１波長λ（１）～第３波長λ（３）間の輝度の強度を同一にする補正係数である。
　疑似カラー画像１０３（図１６）は、第１補正係数により領域（Ａ）～（Ｉ）の輝度の強度比が均一となっている。しかし、符号１０７のグラフ（Ａ）～（Ｉ）に示されるように第１波長λ（１）～第３波長λ（３）の輝度の強度比は均一ではない。具体的には、符号１０７のグラフ（Ｅ）では、強度比が０．３３、０．３２、０．３５である。この不均一である強度比を、第２補正係数を適用することにより、０．３３、０．３３、０．３３と均一なるように補正が行われる。なお、他の領域に関しても同様にして第２補正係数が算出される。疑似カラー画像１０３に第２補正係数を適用することにより、疑似カラー画像１５１を得る。疑似カラー画像１５１の領域（Ａ）～領域（Ｉ）は、符号１５３に示すように輝度の強度比が０．３３、０．３２、０．３５である。疑似カラー画像１５１は、背景２の本来の白色を示すようになる。
　疑似カラー画像１１１（図１７）は、符号１１５のグラフ（Ａ）～（Ｉ）に示されるように第１波長λ（１）～第３波長λ（３）の輝度の強度比は均一ではない。具体的には、符号１１５のグラフ（Ｅ）では、強度比が０．３４、０．３４、０．３２であるが、これを、第２補正係数を適用することにより、０．３３、０．３３、０．３３となるように補正が行われる。疑似カラー画像１１１に第２補正係数を適用することにより、疑似カラー画像１５５を得る。疑似カラー画像１５５の領域（Ａ）～領域（Ｉ）は、符号１５７に示すように輝度の強度比が０．３３、０．３２、０．３５である。疑似カラー画像１５５は背景２の本来の白色を示すようになる。
　以上で説明したように、強度比計測工程では、背景２の第１波長λ（１）～第３波長λ（３）の輝度の強度比が計測され、その計測結果に基づいて第１補正係数及び第２補正係数が算出される。なお、上述した説明では画像を３×３の９領域に分けてその領域毎に第２補正係数が取得される例について説明が、本実施形態はこれに限定されるものではない。例えば、画像の画素毎に第２補正係数が取得されても良いし、より大きな領域又は小さな領域において第２補正係数が取得されてもよい。
　［補正工程（第２補正工程）］
　補正工程（第２補正工程）では、プロセッサ１４２は、強度比計測工程で取得した第２補正係数を使用して、撮像工程で撮像された第１波長画像、第２波長画像、及び第３波長画像に対して第２補正係数を適用し領域（Ａ）～領域（Ｉ）の強度比を補正する。なお、第２補正係数は、第１波長画像～第３波長画像の全体に適用することが好ましいが、例えば、第１波長画像～第３波長画像の背景２が写っている箇所（背景２の画像データ）に、第２補正係数を適用してもよい。撮像工程で取得された第１波長画像～第３波長画像に第２補正係数を適用して補正を行うことにより、撮像条件等の影響が抑制された安定的なセンシングを行うことができる。なお、プロセッサ１４２は、第１補正係数及び／又は第２補正係数に基づいて、イメージセンサ１３０（図２０）の感度を補正してもよい（感度補正工程）。第１補正係数や第２補正係数が大きい箇所では、センシング結果（波長画像の明るさ）が本来よりも明るく又は暗く出力されてしまう。したがって、プロセッサ１４２は、第１補正係数及び／又は第２補正係数に基づいて、イメージセンサ１３０（図２０）の感度を補正することにより、精度の高いセンシングを行うことができる。
　＜他の実施形態１＞
　上述した実施形態では、波長選定工程において、３つの異なる第１波長λ（１）、第２波長λ（２）、及び第３波長λ（３）が選定される例について説明した。しかしながら、波長選定工程で選定される波長の数は、複数の波長が選定されればよく３つの波長に限定されない。例えば波長選定工程では、２つの波長を選定してもよく、上述した第１波長λ（１）と第２波長λ（２）とが選定されてもよい。
　例えば、プロセッサ１４２は、第１因子（スペクトルデータＳＤ３とスペクトルデータＳＤ１との反射率の差）及び第２因子（スペクトルデータＳＤ３とスペクトルデータＳＤ２との反射率の差）が１５％の範囲内である第１波長λ（１）及び第２波長λ（２）を選定することができる。
　具体的には、プロセッサ１４２は、以下の式を満たすような第１波長λ（１）及び第２波長λ（２）を選定する。
　｜β－α｜÷（β＋α）≦０．１５・・・（１）
　｜β－γ｜÷（β＋γ）≦０．１５・・・（２）
　なお上式では、αは第１波長λ（１）及び第２波長λ（２）における第１被写体３の反射率α１及びα２の各々が入力され、βは第１波長λ（１）及び第２波長λ（２）における背景２の反射率β１及びβ２の各々が入力され、γは第１波長λ（１）及び第２波長λ（２）における第２被写体４の反射率γ１及びγ２の各々が入力される。また、この場合第２波長における（β－α）及び（β－γ）は、第１波長λ（１）の対応する値よりも小さい第１波長λ（１）及び第２波長λ（２）が選定される（条件２）。
　また、更に好ましくは、プロセッサ１４２は、第１因子（スペクトルデータＳＤ３とスペクトルデータＳＤ１との反射率の差）及び第２因子（スペクトルデータＳＤ３とスペクトルデータＳＤ２との反射率の差）が５％の範囲内である第１波長λ（１）及び第２波長λ（２）を選定することができる。
　具体的には、プロセッサ１４２は、以下の式を満たすような第１波長λ（１）及び第２波長λ（２）を選定する。
　｜β－α｜÷（β＋α）≦０．０５・・・（３）
　｜β－γ｜÷（β＋γ）≦０．０５・・・（４）
　なお上式では、αは第１波長λ（１）及び第２波長λ（２）における第１被写体３の反射率α１及びα２の各々が入力され、βは第１波長λ（１）及び第２波長λ（２）における背景２の反射率β１及びβ２の各々が入力され、γは第１波長λ（１）及び第２波長λ（２）における第２被写体４の反射率γ１及びγ２の各々が入力される。また、この場合第２波長λ（２）における（β－α）及び（β－γ）は、第１波長λ（１）の対応する値よりも小さい第１波長λ（１）及び第２波長λ（２）が選定される（条件２）。
　以上で説明したように、本実施形態では、波長選定工程において、２つの波長（第１波長λ（１）及び第２波長λ（２）が選定される。このように、複数の任意の数の波長が選定され撮像が行われることより、ユーザが所望する数の波長画像を取得することができる。
　＜他の実施形態２＞
　上述した実施形態においては、背景２は予め決められた白色板であった。しかしながら、本実施形態では、プロセッサ１４２は、第１被写体３及び第２被写体４の反射率（スペクトルデータ）に基づいて、最適な背景を報知する（報知工程）。
　本実施形態のマルチスペクトルカメラ１００のメモリ１４４には、背景２と置換可能な複数置換被写体（複数の背景）と複数置換被写体の各々のスペクトルデータが記憶されている。そして、プロセッサ１４２は、第１被写体３のスペクトルデータＳＤ１、第２被写体４のスペクトルデータＳＤ２に基づいて、複数置換被写体のうちの一つの置換被写体（背景）を推奨する背景として報知する。なお、プロセッサ１４２は、マルチスペクトルカメラ１００の背面に設けられる表示部（不図示）において、置換被写体を報知することができる。また、マルチスペクトルカメラ１００は、背景２を可変に表示する背景表示装置１５０を備えていてもよい（図２０参照）。背景表示装置１５０は、プロセッサ１４２の制御により、例えば液晶ディスプレイなどで構成され、所望の色を背景として表示することができる（第３被写体可変表示工程）。このように、背景表示装置１５０で背景色を変更することにより、分光反射率が全く異なる被写体を同時に検出した場合などには、場所毎に背景色を変えることができたり、同じ設定のマルチスペクトルカメラ１００を異なる用途（例えば、他の被写体の検出）に使用したい場合などに、容易に背景色を変えることができる。
　図１８及び図１９は、推奨する背景の例を説明する図である。
　図１８には、推奨する背景のスペクトルデータＳＤ４（第４スペクトルデータ）が示されている。第１被写体３のスペクトルデータＳＤ１、第２被写体４のスペクトルデータＳＤ２に基づいて、スペクトルデータＳＤ４を有する背景が推奨被写体として選択され報知される。スペクトルデータＳＤ４は、４００ｎｍ～１０００ｎｍの波長域において、スペクトルデータＳＤ１とスペクトルデータＳＤ２との反射率の差が小さい。このようなスペクトルデータＳＤ４を有する背景を使用することにより、広い波長範囲において、マルチスペクトルカメラ１００で撮像を行う複数の波長を選定することができる。
　図１９には、推奨する背景のスペクトルデータＳＤ５が示されている。第１被写体３のスペクトルデータＳＤ１、第２被写体４のスペクトルデータＳＤ２に基づいて、スペクトルデータＳＤ５を有する背景が推奨被写体として選択され報知される。スペクトルデータＳＤ５は、複数の箇所でスペクトルデータＳＤ１及びスペクトルデータＳＤ２と交わっているので、複数の箇所でスペクトルデータＳＤ１及びスペクトルデータＳＤ２と反射率の差が小さくなる箇所を有している。このようなスペクトルデータＳＤ５を有する背景を使用することにより、複数の箇所（波長域）で、撮像を行うことができる。
　＜その他＞
　次に、上述した撮像方法で使用されるマルチスペクトルカメラ１００に関して説明を行う。
　［マルチスペクトルカメラ］
　図２０は、本発明の撮像方法で使用されるマルチスペクトルカメラ１００の一例を示す概略図である。また、図２１は、マルチスペクトルカメラ１００が備えるフィルタユニット１２０の一例を示す概略図である。
　図２０に示すマルチスペクトルカメラ１００は、レンズ１１０Ａ，１１０Ｂ及びフィルタユニット１２０を含む撮影光学系１１０と、イメージセンサ（撮像素子）１３０と、信号処理部１４０と、とから構成されている。また、マルチスペクトルカメラ１００には、背景表示装置１５０が接続されていてもよい。背景表示装置１５０は、信号処理部１４０と接続されてプロセッサ１４２に制御される。フィルタユニット１２０（図２１）に含まれるバンドパスフィルタユニット１２４は、第１被写体３と第２被写体４との識別に適した第１波長λ（１）、第２波長λ（２）、第３波長λ（３）それぞれを中心波長とする波長域の光を透過させる第１バンドパスフィルタ（第１波長選択素子）１２４Ａ、第２バンドパスフィルタ（第２波長選択素子）１２４Ｂ、第３バンドパスフィルタ（第３波長選択素子）１２４Ｃから構成されている。なお、フィルタユニット１２０は４つの瞳領域（第１瞳領域～第４瞳領域）を有し、使用しない第４瞳領域は遮蔽部材Ｂで遮蔽されている（図２１参照）。
　フィルタユニット１２０は、偏光フィルタユニット１２２とバンドパスフィルタユニット１２４から構成され、撮影光学系１１０の瞳位置又は瞳位置近傍に配置されることが好ましい。
　偏光フィルタユニット１２２は、撮影光学系１１０の第１瞳領域、第２瞳領域、及び第３瞳領域を透過する光をそれぞれ直線偏光させる第１偏光フィルタ１２２Ａ、第２偏光フィルタ１２２Ｂ、及び第３偏光フィルタ１２２Ｃからなる。例えば、第１偏光フィルタ１２２Ａは偏光方向が０°であり、第２偏光フィルタ１２２Ｂは偏光方向が９０°であり、第３偏光フィルタ１２２Ｃは偏光方向が４５°と設定する。
　バンドパスフィルタユニット１２４は、撮影光学系１１０の第１瞳領域、第２瞳領域、第３瞳領域を透過する光の波長域をそれぞれ選択する第１バンドパスフィルタ１２４Ａ、第２バンドパスフィルタ１２４Ｂ、及び第３バンドパスフィルタ１２４Ｃから構成されている。したがって、撮影光学系１１０の第１瞳領域を透過する光は、第１偏光フィルタ１２２Ａにより直線偏光され、かつ第１バンドパスフィルタ１２４Ａにより第１波長λ（１）を含む波長域の光のみが透過する。一方、撮影光学系１１０の第２瞳領域を透過する光は、第２偏光フィルタ１２２Ｂにより直線偏光（第１偏光フィルタ１２２Ａとは９０°異なる方向に直線偏光）され、かつ第２バンドパスフィルタ１２４Ｂにより第２波長λ（２）を含む波長域の光のみが透過する。また、撮影光学系１１０の第３瞳領域を透過する光は、第３偏光フィルタ１２２Ｃにより直線偏光され、かつ第３バンドパスフィルタ１２４Ｃにより第３波長λ（３）を含む波長域の光のみが透過する。
　イメージセンサ１３０は、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向が０°、４５°、９０°の第１偏光フィルタ、第２偏光フィルタ、及び第３偏光フィルタが規則的に配置されて構成されている。
　なお、第１偏光フィルタ１２２Ａとイメージセンサ１３０の第１偏光フィルタとは偏光方向が同一であり、第２偏光フィルタ１２２Ｂとイメージセンサ１３０の第２偏光フィルタとは偏光方向が同一であり、第３偏光フィルタ１２２Ｃとイメージセンサ１３０の第３偏光フィルタとは偏光方向が同一である。
　信号処理部１４０は、イメージセンサ１３０の第１偏光フィルタが配置された画素から画素信号を読み出すことで、第１バンドパスフィルタ１２４Ａにより波長選択された狭長帯域の第１波長画像を取得し、イメージセンサ１３０の第２偏光フィルタが配置された画素から画素信号を読み出すことで、第２バンドパスフィルタ１２４Ｂにより波長選択された狭い帯域の第２波長画像を取得し、イメージセンサ１３０の第３偏光フィルタが配置された画素から画素信号を読み出すことで、第３バンドパスフィルタ１２４Ｃにより波長選択された狭い帯域の第３波長画像を取得する。
　信号処理部１４０により取得した第１波長画像、第２波長画像、及び第３波長画像は、第１被写体３と第２被写体４との分離に適した画像になる。例えば、第１波長画像、第２波長画像、及び第３波長画像を合成することにより、ダイナミックレンジが拡大された、センシング性能を強化した合成画像を作成することができる。なお、信号処理部１４０において、必要に応じて第１波長画像、第２波長画像、及び第３波長画像の混信除去処理が行われる。
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２　　　　　：背景
３　　　　　：第１被写体
４　　　　　：第２被写体
１０　　　　：照明装置
１００　　　：マルチスペクトルカメラ
１１０　　　：撮影光学系
１１０Ａ　　：レンズ
１１０Ｂ　　：レンズ
１２０　　　：フィルタユニット
１２２　　　：偏光フィルタユニット
１２２Ａ　　：第１偏光フィルタ
１２２Ｂ　　：第２偏光フィルタ
１２２Ｃ　　：第３偏光フィルタ
１２４　　　：バンドパスフィルタユニット
１２４Ａ　　：第１バンドパスフィルタ
１２４Ｂ　　：第２バンドパスフィルタ
１２４Ｃ　　：第３バンドパスフィルタ
１３０　　　：イメージセンサ
１４０　　　：信号処理部
１４２　　　：プロセッサ
１４４　　　：メモリ
１５０　　　：背景表示装置

Claims (19)

  1. 　プロセッサを備えるマルチスペクトルカメラにより、被写体を撮像する撮像方法であって、
    　前記プロセッサは、
    　第１被写体の第１スペクトルデータと、第２被写体の第２スペクトルデータと、第３被写体の第３スペクトルデータと、を取得するデータ取得工程と、
    　前記取得した前記第１から前記第３スペクトルデータの波長域から複数の波長を選定する波長選定工程と、
    　前記波長選定工程では、前記第１スペクトルデータ、前記第２スペクトルデータ、前記第３スペクトルデータのうち、２つのスペクトルデータの特徴量の差又は比を因子とし、少なくとも２つ以上の前記因子をもとに複数の波長を選定し、
    　前記複数の波長で前記第１被写体、前記第２被写体、前記第３被写体の少なくとも１つを含む被写体を撮像する撮像工程と、を行う
    　撮像方法。
  2. 　前記第１から前記第３スペクトルデータの波長域は、少なくとも前記第１スペクトルデータの波長域と前記第２スペクトルデータの波長域が重なる波長域である、
    　請求項１に記載の撮像方法。
  3. 　前記因子は、前記第１スペクトルデータと前記第３スペクトルデータの特徴量の差又は比である第１因子と、前記第２スペクトルデータと前記第３スペクトルデータの特徴量の差又は比である第２因子を含み、前記第１因子と前記第２因子とに基づいて複数の波長を選定する、請求項１又は２に記載の撮像方法。
  4. 　前記複数の波長の１つは、前記第１因子及び前記第２因子の少なくとも一方が最小となる波長である、請求項３に記載の撮像方法。
  5. 　前記波長選定工程で選定した複数の波長により、前記第３被写体の画像データの複数の領域内で前記複数の波長の輝度の強度比を計測する工程と、前記強度比に基づいて少なくとも前記第３被写体の画像データを補正する補正工程と、を更に有する請求項１から４のいずれか１項に記載の撮像方法。
  6. 　前記補正工程は、前記計測した強度比の１つである第１強度比に基づいて前記複数の領域の強度比を補正する第１補正工程を含む、請求項５に記載の撮像方法。
  7. 　前記補正工程は、前記計測した強度比の差を小さくする補正をする第２補正工程を含む、請求項５に記載の撮像方法。
  8. 　前記補正工程は、前記計測した強度比の１つである第１強度比に基づいて前記複数の領域の強度比を補正する第１補正工程と、前記計測した強度比の差を小さくする補正をする第２補正工程を含む、請求項５に記載の撮像方法。
  9. 　前記第３被写体は、複数の領域で前記波長選定工程で選定した複数の波長の輝度の強度比が一定である請求項１から８のいずれか１項に記載の撮像方法。
  10. 　前記波長選定工程で第１波長と第２波長を選定し、前記第１波長及び前記第２波長における前記第１被写体の反射率αと前記第３被写体の反射率βが以下の式（１）の関係を満たし、前記第１波長及び前記第２波長における前記第２被写体の反射率γと前記第３被写体の反射率βが以下の式（２）の関係を満たし、前記第２波長における（β－α）及び（β－γ）は前記第１波長における（β－α）及び（β－γ）よりも小さい請求項１から９のいずれか１項に記載の撮像方法。
    　｜β－α｜÷（β＋α）≦０．１５・・・（１）
    　｜β－γ｜÷（β＋γ）≦０．１５・・・（２）
  11. 　前記波長選定工程で第１波長と第２波長を選定し、前記第１波長及び前記第２波長における前記第１被写体の反射率αと前記第３被写体の反射率βが以下の式（３）の関係を満たし、前記第１波長及び前記第２波長における前記第２被写体の反射率γと前記第３被写体の反射率βが以下の式（４）の関係を満たし、前記第２波長における（β－α）及び（β－γ）は前記第１波長における（β－α）及び（β－γ）よりも小さい請求項１から９のいずれか１項に記載の撮像方法。
    　｜β－α｜÷（β＋α）≦０．０５・・・（３）
    　｜β－γ｜÷（β＋γ）≦０．０５・・・（４）
  12. 　前記波長選定工程で第１波長と第２波長と第３波長とを選定し、前記第１波長、前記第２波長、及び前記第３波長における前記第１被写体の反射率αと前記第３被写体の反射率βが以下の式（５）の関係を満たし、前記第１波長、前記第２波長、及び前記第３波長における前記第２被写体の反射率γと前記第３被写体の反射率βが以下の式（６）の関係を満たし、前記第２波長における（β－α）及び（β－γ）は、前記第１波長及び前記第３波長における（β－α）及び（β－γ）よりも小さい請求項１から９のいずれか１項に記載の撮像方法。
    　｜β－α｜÷（β＋α）≦０．１５・・・（５）
    　｜β－γ｜÷（β＋γ）≦０．１５・・・（６）
  13. 　前記波長選定工程で第１波長と第２波長と第３波長とを選定し、前記第１波長、前記第２波長、及び前記第３波長における前記第１被写体の反射率αと前記第３被写体の反射率βが以下の式（７）の関係を満たし、前記第１波長、前記第２波長、及び前記第３波長における前記第２被写体の反射率γと前記第３被写体の反射率βが以下の式（８）の関係を満たし、前記第２波長における（β－α）及び（β－γ）は、前記第１波長及び前記第３波長における（β－α）及び（β－γ）よりも小さい請求項１から９のいずれか１項に記載の撮像方法。
    　｜β－α｜÷（β＋α）≦０．０５・・・（７）
    　｜β－γ｜÷（β＋γ）≦０．０５・・・（８）
  14. 　前記第３被写体と置換可能な複数置換被写体と前記複数置換被写体の各々の第４スペクトルデータを記憶するメモリを備え、
    　前記プロセッサは、
    　前記第１スペクトルデータ、前記第２スペクトルデータ、及び前記第４スペクトルデータに基づいて、前記複数置換被写体のうちの一つの置換被写体を推奨する第３被写体として報知する報知工程を行う請求項１から１３のいずれか１項に記載の撮像方法。
  15. 　前記プロセッサは、前記補正工程に基づいて、前記マルチスペクトルカメラの撮像素子の感度を補正する感度補正工程を行う請求項５から８のいずれか１項に記載の撮像方法。
  16. 　前記第３被写体を可変に表示する第３被写体可変表示工程を更に行う請求項１から１５のいずれか１項に記載の撮像方法。
  17. 　無影化の照明の照射工程を更に行う請求項１から１６のいずれか１項に記載の撮像方法。
  18. 　プロセッサを備えるマルチスペクトルカメラにより、被写体を撮像する撮像方法を実行させるプログラムであって、
    　前記プロセッサに、
    　第１被写体の第１スペクトルデータと、第２被写体の第２スペクトルデータと、第３被写体の第３スペクトルデータと、を取得するデータ取得工程と、
    　前記取得した前記第１から前記第３スペクトルデータの波長域から複数の波長を選定する波長選定工程と、
    　前記波長選定工程では、前記第１スペクトルデータ、前記第２スペクトルデータ、前記第３スペクトルデータのうち、２つのスペクトルデータの特徴量の差又は比を因子とし、少なくとも２つ以上の前記因子をもとに複数の波長を選定し、
    　前記複数の波長で前記第１被写体、前記第２被写体、前記第３被写体の少なくとも１つを含む被写体を撮像する撮像工程と、を行わせる
    　プログラム。
  19. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１８に記載のプログラムが記録された記録媒体。
PCT/JP2022/023585 2021-07-30 2022-06-13 撮像方法及びプログラム WO2023007965A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023538318A JPWO2023007965A1 (ja) 2021-07-30 2022-06-13
CN202280047061.6A CN117651851A (zh) 2021-07-30 2022-06-13 摄像方法及程序
US18/399,753 US20240129603A1 (en) 2021-07-30 2023-12-29 Imaging method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-125278 2021-07-30
JP2021125278 2021-07-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/399,753 Continuation US20240129603A1 (en) 2021-07-30 2023-12-29 Imaging method and program

Publications (1)

Publication Number Publication Date
WO2023007965A1 true WO2023007965A1 (ja) 2023-02-02

Family

ID=85086646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023585 WO2023007965A1 (ja) 2021-07-30 2022-06-13 撮像方法及びプログラム

Country Status (4)

Country Link
US (1) US20240129603A1 (ja)
JP (1) JPWO2023007965A1 (ja)
CN (1) CN117651851A (ja)
WO (1) WO2023007965A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130811A (ja) * 2001-10-25 2003-05-08 Dainippon Screen Mfg Co Ltd 波長選択機能を利用した検査対象物の検査
US20080002185A1 (en) * 2006-06-08 2008-01-03 Anatoly Gitelson System and methods for non-destructive analysis
JP2014075699A (ja) * 2012-10-04 2014-04-24 Canon Inc 動画再生装置、表示制御方法、プログラム及び記憶媒体
JP2017053699A (ja) * 2015-09-09 2017-03-16 国立大学法人岐阜大学 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法
JP2017064405A (ja) * 2015-09-29 2017-04-06 住友電気工業株式会社 光学測定装置及び光学測定方法
CN207114406U (zh) * 2017-07-28 2018-03-16 合肥美亚光电技术股份有限公司 多光谱成像装置及多光谱相机
JP2018189565A (ja) * 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置
JP2020165666A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 分光検査方法および分光検査装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126438A1 (zh) * 2020-12-16 2022-06-23 华为技术有限公司 图像生成方法、装置及电子设备
US20240233187A1 (en) * 2021-10-18 2024-07-11 Sun's Arrow Research, Inc. Color Calibration Systems and Pipelines for Digital Images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130811A (ja) * 2001-10-25 2003-05-08 Dainippon Screen Mfg Co Ltd 波長選択機能を利用した検査対象物の検査
US20080002185A1 (en) * 2006-06-08 2008-01-03 Anatoly Gitelson System and methods for non-destructive analysis
JP2014075699A (ja) * 2012-10-04 2014-04-24 Canon Inc 動画再生装置、表示制御方法、プログラム及び記憶媒体
JP2017053699A (ja) * 2015-09-09 2017-03-16 国立大学法人岐阜大学 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法
JP2017064405A (ja) * 2015-09-29 2017-04-06 住友電気工業株式会社 光学測定装置及び光学測定方法
JP2018189565A (ja) * 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置
CN207114406U (zh) * 2017-07-28 2018-03-16 合肥美亚光电技术股份有限公司 多光谱成像装置及多光谱相机
JP2020165666A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 分光検査方法および分光検査装置

Also Published As

Publication number Publication date
CN117651851A (zh) 2024-03-05
JPWO2023007965A1 (ja) 2023-02-02
US20240129603A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
JP6816572B2 (ja) 色測定装置、色測定方法及びプログラム
JP6524617B2 (ja) 撮像装置および方法
JP5796348B2 (ja) 特徴量推定装置および特徴量推定方法、並びにコンピュータープログラム
JP6340884B2 (ja) 測定装置、測定システム及び測定方法
EP4086597B1 (en) Imaging unit and measurement device
WO2022070774A1 (ja) 画像解析方法、画像解析装置、プログラム、及び記録媒体
JP6891304B2 (ja) 内視鏡システム
JP5841091B2 (ja) 画像色分布検査装置および画像色分布検査方法
JP6113319B2 (ja) 画像色分布検査装置および画像色分布検査方法
WO2022163671A1 (ja) データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置
US9319601B2 (en) Method and apparatus for wide-band imaging based on narrow-band image data
JP7015382B2 (ja) 内視鏡システム
WO2023007965A1 (ja) 撮像方法及びプログラム
US11825211B2 (en) Method of color inspection by using monochrome imaging with multiple wavelengths of light
JP2015017834A (ja) 測定装置及び測定方法
CN115183873A (zh) 一种色度检测系统、检测方法及设备
JP2009047465A (ja) 画質検査装置
US20240331108A1 (en) Display condition decision method, display condition decision apparatus, and program
WO2024090133A1 (ja) 処理装置、検査装置、処理方法、及びプログラム
JP5895094B1 (ja) 画像色分布検査装置および画像色分布検査方法
JP2007147507A (ja) 分光測定方法及び分光測定装置
WO2024047944A1 (ja) 校正用部材、筐体装置、校正装置、校正方法、及びプログラム
JPH03254727A (ja) 画像撮影装置
JPH08101068A (ja) 色彩測定装置
JP2023087762A (ja) 分光撮影方法、分光撮影装置、及びコンピュータープログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849043

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 202280047061.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023538318

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22849043

Country of ref document: EP

Kind code of ref document: A1