[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019012647A1 - 画像処理装置、画像処理方法およびプログラム記憶媒体 - Google Patents

画像処理装置、画像処理方法およびプログラム記憶媒体 Download PDF

Info

Publication number
WO2019012647A1
WO2019012647A1 PCT/JP2017/025542 JP2017025542W WO2019012647A1 WO 2019012647 A1 WO2019012647 A1 WO 2019012647A1 JP 2017025542 W JP2017025542 W JP 2017025542W WO 2019012647 A1 WO2019012647 A1 WO 2019012647A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gradient
pixel
score
images
Prior art date
Application number
PCT/JP2017/025542
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/629,095 priority Critical patent/US11055877B2/en
Priority to JP2019529391A priority patent/JP6835227B2/ja
Priority to PCT/JP2017/025542 priority patent/WO2019012647A1/ja
Priority to TW107123760A priority patent/TWI721288B/zh
Publication of WO2019012647A1 publication Critical patent/WO2019012647A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation

Definitions

  • the present invention relates to a technique for combining a plurality of images.
  • a camera capable of changing settings (exposure amount and exposure time) related to photographing can acquire various images having different sensitivity characteristics with respect to the wavelength band of light. Furthermore, even if settings such as the exposure time are the same, substantially different images are acquired by the camera depending on whether the flash is flashed or not flashed at the time of shooting.
  • cameras using sensors according to the purpose are widely used. For example, in order to monitor a person or the like, surveillance cameras using visible light sensors are widely used. In addition, for surveillance at night, cameras equipped with sensors using non-visible light such as near-infrared light and far-infrared light are also widely used. Besides, near ultraviolet cameras are also commercially available.
  • an apparatus for capturing a wavelength longer than the wavelength band of visible light such as terahertz waves or radio waves, is commercially available.
  • Patent Document 1 discloses a technique for combining a visible light image and a near infrared image having the same imaging region and imaging timing.
  • each luminance information of the visible light image and the near infrared image is compared in each pixel, and the higher luminance information is obtained. It is selected as luminance information of pixels in the composite image.
  • Non-Patent Document 1 discloses a technique for generating a composite image using an image gradient of each pixel in the image (information on difference between adjacent pixel values) when combining a plurality of images. There is.
  • Non-Patent Document 1 discloses a technique for synthesizing an image using information on an image gradient, there is a possibility that the following problem may occur.
  • Non-Patent Document 1 an image gradient is calculated for each pixel in each of a plurality of images to be combined. Then, using the calculated value based on the sum of the image gradients of the corresponding pixels in each image to be synthesized, the image gradient for each pixel in the synthesized image after synthesizing the plurality of images to be synthesized is calculated. The composite image is generated also using the information of the image gradient calculated in this way.
  • a composite image obtained by superimposing a far-infrared image (in other words, an image by a far-infrared sensor) on a visible light image is used to analyze an event captured in the far-infrared image
  • a far-infrared image in other words, an image by a far-infrared sensor
  • the present invention has been devised to solve the problems as described above. That is, the main object of the present invention is that, when combining a plurality of images using information on image gradient, it is possible to generate a composite image on which information on images of small image gradients is also reflected, which is required for composite images It is an object of the present invention to provide a technology capable of improving the image quality.
  • the image processing apparatus of the present invention is A gradient calculation unit that calculates an image gradient for each pixel in each of a plurality of images to be synthesized;
  • a scale search unit that calculates a scale score based on the degree of content of the spatial frequency component for each pixel in each of the images to be synthesized;
  • a gradient score calculation unit which calculates, for each pixel, a gradient score corresponding to the calculated image gradient and the magnitude of the scale score;
  • the gradient scores of corresponding pixels in the plurality of images to be combined are compared, and an image according to the gradient score of the image having a larger gradient score than other images among the plurality of images to be combined
  • a gradient determination unit that calculates a gradient as a target gradient for each pixel in the combined image after combining the plurality of images to be combined;
  • a coefficient calculation unit configured to calculate, for each pixel of the composite image, the coefficients of a basis vector constituting a preset basis vector group in the composite image based on the target gradient;
  • the image processing method is Calculate an image gradient for each pixel in each of a plurality of images to be synthesized, Calculating a scale score based on the degree of content of the spatial frequency component for each pixel in each image to be synthesized; A gradient score is calculated for each pixel according to the calculated image gradient and the magnitude of the scale score; The gradient scores of corresponding pixels in the plurality of images to be combined are compared, and an image according to the gradient score of the image having a larger gradient score than other images among the plurality of images to be combined The gradient is calculated as a target gradient for each pixel in the combined image after combining the plurality of images to be combined, The coefficients of the basis vectors constituting the preset basis vector group in the composite image are calculated for each pixel of the composite image based on the target gradient, The combined image is generated by linear combination of the basis vectors based on the calculated coefficients.
  • the program storage medium of the present invention is A process of calculating an image gradient for each pixel in each of a plurality of images to be synthesized; A process of calculating a scale score based on the degree of content of a spatial frequency component for each pixel in each image to be synthesized; Calculating a gradient score for each pixel according to the calculated image gradient and the magnitude of the scale score; The gradient scores of corresponding pixels in the plurality of images to be combined are compared, and an image according to the gradient score of the image having a larger gradient score than other images among the plurality of images to be combined Calculating a gradient as a target gradient for each pixel in a combined image after combining the plurality of images to be combined; A process of calculating, for each pixel of the composite image, coefficients of a basis vector constituting a preset basis vector group in the composite image based on the target gradient; A computer program that causes a computer to execute the process of generating the composite image by storing a combination of the basis vectors based on the calculated coefficients
  • FIG. 1 is a block diagram showing the configuration of an image processing apparatus according to a first embodiment of the present invention.
  • the image processing apparatus 1 according to the first embodiment includes an input unit 3, a processing device 4, a storage unit 5, and an output unit 6.
  • the input unit 3 is an interface device, and has, for example, an interface function connected to the imaging device 7 and receiving an image output from the imaging device 7.
  • the photographing device 7 connected to the input unit 3 is a device capable of photographing visible light and near infrared light (photographing device equipped with a near infrared sensor), and a visible light image (hereinafter, scalar image) It also has a function of outputting a near infrared image and a near infrared image).
  • the scalar image and the near infrared image output from the imaging device 7 have almost the same imaging range, and here, the imaging range is considered to be coincident.
  • the imaging device connected to the input unit 3 is not limited to an imaging device capable of imaging visible light and near-infrared light, for example, an imaging device for imaging visible light and an imaging device for imaging near-infrared light (
  • the near infrared sensor may be connected to the input unit 3.
  • a storage device instead of the imaging device being connected to the input unit 3, a storage device may be connected. In this case, for example, a scalar image and a near infrared image captured by the imaging device are stored in the storage device, and the scalar image and the near infrared image read from the storage device by the function of the processing device 4 are The input unit 3 may receive it.
  • the storage unit 5 includes a storage medium, and has a configuration capable of storing various data and computer programs (programs).
  • a storage medium such as a hard disk drive and a semiconductor memory
  • a plurality of types of storage devices mounted on the image processing apparatus 1 are collectively represented as the storage unit 5 here.
  • the photographed image (scalar image and near-infrared image) received by the input unit 3 is registered by the processing device 4.
  • the storage unit 5 also stores information of a predetermined basis vector group ⁇ .
  • the basis vector group ⁇ ⁇ ⁇ ⁇ is a group of a plurality of basis vectors ⁇ j ("j" is an integer of 1 or more) set in the composite image when the scalar image to be composited and the near-infrared image are composited.
  • the order of arrangement in the case of representing the basis vector group ⁇ ⁇ is shown as arranged in a predetermined order.
  • a basis vector group i i representing the pixel value of each pixel i in a composite image of scalar image and near infrared image (hereinafter also referred to simply as composite image) is set by, for example, the following equation (1) .
  • i in the equation (1) is an integer of 1 or more and represents information for identifying each pixel in a scalar image, a near infrared image, or a composite image, and in this case, the image is raster scanned It represents the order of pixels.
  • “*" in the equation (1) is a multiplication symbol.
  • “j” in “ ⁇ ji ” is information for identifying a basis vector, as in “j” described above.
  • the basis vector group i i represented by the equation (1) is an example, and the basis vector group i i is not limited to the equation (1).
  • the basis vector ⁇ ji constituting the basis vector group i i may be smaller than the equation (1), and in addition to the equation (1), R i 3 , G i 3 , B i 3 , N i Further, basis vectors such as 3 may be added.
  • the basis vector ⁇ ji constituting the basis vector group i i is appropriately set in consideration of the resolution required for the composite image and the like.
  • a plurality of basis vector groups ⁇ with different combinations of basis vectors ⁇ j may be set and stored in the storage unit 5 in consideration of information of pixel values included in each image to be combined. In this case, for example, the basis vector group ⁇ used for the process may be alternatively selected according to the image quality and the like required by the user of the apparatus.
  • the coefficients of each base vector ⁇ ji constituting the above-described base vector group i i of each pixel in the composite image are determined based on the scalar image and the near infrared image (input image)
  • the pixel value of each pixel of the composite image is determined, whereby the composite image can be generated.
  • the first embodiment is characterized in the method of calculating the coefficient of each basis vector ⁇ ji in the composite image and the image processing apparatus (processing apparatus 4) for processing the method.
  • the processing device 4 is configured by, for example, one or more CPUs (Central Processing Units).
  • the processing device 4 can have the following functions by reading and executing the computer program stored in the storage unit 5. That is, the processing device 4 includes, as functional units, a slope calculation unit 40, a score calculation unit 41, a slope determination unit 42, a coefficient calculation unit 43, and a combining unit 44.
  • the gradient calculation unit 40 has a function of calculating an image gradient as information representing the feature of each pixel.
  • the image gradient is information on differences in pixel values between adjacent pixels.
  • Various methods have been proposed as methods for calculating the image gradient, and here, an appropriate method that takes into consideration matters such as the image quality required for the composite image and the processing capability of the processing device 4 is adopted.
  • the gradient calculation unit 40 calculates an image gradient of each pixel in each of the scalar image and the near infrared image received by the input unit 3 based on the adopted gradient calculation method.
  • an image gradient is calculated for each component (channel) of the pixel value in consideration of each basis vector ⁇ ji constituting the basis vector group i i .
  • the image gradient for each pixel is red (R) component, green (G) component, blue (B) component , Near infrared (N) component.
  • the image gradient regarding the red (R) component, the green (G) component, the blue (B) component, and the near infrared (N) component calculated by the gradient calculation unit 40 is ⁇ R i , ⁇ It is also expressed as G i , ⁇ B i and ⁇ N i .
  • i represents information for identifying a pixel, similarly to “i” in the equation (1).
  • i in the specification similarly indicates information for identifying a pixel.
  • the score calculation unit 41 has a function of calculating a score representing the feature of each pixel by a numerical value in a scalar image and a near infrared image.
  • the score calculation unit 41 includes a scale search unit 411 and a gradient unit (gradient score calculation unit) 412.
  • the scale search unit 411 is a score based on a scale (hereinafter, also simply referred to as a scale) related to the content degree of the spatial frequency component in each pixel in the scalar image and the near infrared image (here, also referred to as a scale score for convenience) It has a function to calculate For example, the scale search unit 411 calculates a scale score at each pixel using a scale space method that decomposes an image into an image for each spatial frequency based on pixel values. More specifically, the scale search unit 411 changes, for example, the value of “ ⁇ ” in a Laplacian of Gaussian (LoG) operator represented by the following equation (2) proposed by Lindeberg et al. The LoG numerical value with the largest value is calculated as the scale score at each pixel.
  • Formula (2) Formula (2):
  • “(sigma)” in Formula (2) represents a scale.
  • “x” is the distance in the x-axis direction from the reference pixel when the position of each pixel of the image (input image) input to the input unit 3 is represented using a two-dimensional orthogonal coordinate system of x and y
  • “y” represents the distance in the y-axis direction from the reference pixel.
  • the scale search unit 411 calculates a scale score for each component (channel) of pixel values in consideration of each of the basis vectors ⁇ ji configuring the basis vector group ⁇ i set in advance.
  • the scale search unit 411 sets red (R) component, green (G) component, blue (B Calculate the scale score for the component and the near infrared (N) component.
  • R red
  • G green
  • B blue
  • N near infrared
  • the scale score calculated by the scale search unit 411 is also expressed as s Ri , s Gi , s Bi , and s Ni .
  • the method for the scale search unit 411 to calculate the scale score is not limited to the above method using the LoG operator.
  • a method of calculating the scale score a method of using the maximum value of f ( ⁇ ) expressed in Equation (3) as the scale score may be adopted.
  • the gradient unit 412 has a function of calculating a score based on a gradient (hereinafter referred to as a gradient score) in each pixel in consideration of the scale score calculated by the scale search unit 411 in a scalar image and a near infrared image.
  • a gradient score a gradient
  • the gradient unit 412 calculates, for each of the scalar image and the near infrared image, a gradient score for each component of the pixel value in consideration of the basis vector ⁇ ji constituting the basis vector group i i in each pixel using the data Do.
  • the gradient score is set to red (R) component, green (G) component, blue for each pixel i.
  • the component (B) is calculated with respect to the near infrared (N) component.
  • the gradient calculation unit 40 image gradients ⁇ R i , ⁇ G i , ⁇ for red (R) component, green (G) component, blue (B) component, and near infrared (N) component in each pixel i. It is assumed that B i and ⁇ N i have been calculated.
  • the scale search unit 411 causes the scale score s Ri , s Gi , s Bi , for the red (R) component, the green (G) component, the blue (B) component, and the near infrared (N) component in each pixel i.
  • s Ni is calculated.
  • the gradient part 412 has gradient scores g Ri , g Gi , g Bi , with respect to red (R) component, green (G) component, blue (B) component and near infrared (N) component.
  • g Ni s Ri ⁇ ⁇ R i , s Gi ⁇ ⁇ G i , s Bi ⁇ ⁇ B i , s Ni ⁇ ⁇ N i is calculated.
  • the gradient determination unit 42 uses the gradient score calculated by the gradient unit 412 for the image gradient (hereinafter also referred to as target gradient) of each pixel i in the composite image. It has a function to confirm. In other words, the gradient determination unit 42 uses the gradient score in which not only the information on the image gradient of each of the scalar image and the near infrared image but also the scale score (the information related to the spatial frequency) is taken into account. Determine the target slope.
  • the gradient determination unit 42 selects the component (channel) having the highest score among the gradient scores g Ri , g Gi , g Bi and g Ni at each pixel i, and selects the gradient score of the selected component (channel).
  • the image gradient used for the calculation is determined as a target gradient ⁇ J i .
  • g R5 s " ⁇ R 5" of R5 ⁇ ⁇ R 5 is determined as the target gradient ⁇ J 5.
  • the method of calculating the target gradient ⁇ J i is not limited to the method described above.
  • the gradient determination unit 42 calculates the target gradient ⁇ J i based on the information of the image gradient calculated by the gradient calculation unit 40, the gradient score calculated by the gradient unit 412, and the following equation (4) You may That is, the gradient determination unit 42 may calculate the target gradient ⁇ J i by performing weighted averaging of the calculated gradient scores with the image gradient for each pixel.
  • Formula (4): ⁇ J i g Ri x ⁇ R i + g Gi x ⁇ G i + g Bi x ⁇ B i + s Ni x ⁇ N i
  • the coefficient calculation unit 43 uses the target gradient ⁇ J i of each pixel i defined by the gradient determination unit 42 in each pixel i in the combined image to combine the scalar image and the near-infrared image, to generate a basis vector group. It has a function of calculating the coefficients of the basis vector ⁇ ji constituting ⁇ i. For example, when the coefficient of the basis vector ⁇ j of the basis vector group ii at the pixel i is ⁇ j , the coefficient calculation unit 43 minimizes the square error E ( ⁇ j ) represented by the following equation (5) The value of ⁇ j is calculated as the coefficient of the basis vector ⁇ j .
  • Formula (5) :
  • ⁇ Fai i in equation (5) (here, for example, the gradient of the basis vectors phi j) basis vector group [Phi i image gradient of the pixel i represents a.
  • ⁇ J i represents the target gradient calculated by the gradient determination unit 42.
  • the combining unit 44 has a function of generating a combined image by linear combination of basis vectors based on the coefficient ⁇ ji of the basis vector ⁇ ji of each pixel i calculated by the coefficient calculation unit 43.
  • the processing device 4 generates a composite image of the scalar image and the near infrared image.
  • the output unit 6 is an interface device, and includes, for example, an interface function connected to the display device 8 and outputting information of a scalar image, a near infrared image, and a composite image to the display device 8.
  • the display device 8 has a function of displaying a scalar image, a near infrared image, or a composite image on a display based on the information of the image output from the output unit 6.
  • the gradient calculation unit 40 of the processing device 4 reads, for example, the scalar image and the near infrared image to be synthesized from the storage unit 5. Then, the gradient calculation unit 40 calculates the image gradient of each pixel in each of the read scalar image and near infrared image (step S101).
  • the scale search unit 411 of the score calculation unit 41 calculates the scale score at each pixel in each of the scalar image to be synthesized and the near-infrared image (step S102).
  • the gradient unit 412 of the score calculation unit 41 calculates a gradient score corresponding to the calculated image gradient and the scale score in each pixel of the scalar image and the near infrared image (step S103).
  • the gradient determination unit 42 determines the target gradient of each pixel in the composite image of the scalar image and the near-infrared image, using the gradient score calculated by the gradient unit 412 (step S104).
  • the coefficient calculation unit 43 calculates the coefficients of the basis vectors constituting the basis vector group using the determined target gradient (step S105). Then, the combining unit 44 generates a combined image by linear combination of the basis vectors based on the coefficients of the basis vector calculated by the coefficient calculation unit 43 (step S106).
  • the image processing apparatus 1 of the first embodiment can achieve the following effects by having the above-described configuration. That is, when combining the plurality of images, the processing device 4 of the image processing device 1 calculates information related to the spatial frequency in each pixel of the images as a scale score, and takes into account the scale score to calculate the combined image. The gradient score of each pixel is calculated. Then, the processing device 4 generates a composite image by calculating the coefficient of the basis vector of each pixel using the calculated gradient score. That is, the processing device 4 generates a combined image in consideration of the information of the spatial frequency in each of the images before combining. Therefore, the processing device 4 (image processing device 1) can improve the image quality of the composite image.
  • the scalar image as shown in part (a) and the near infrared image containing a small amount of texture as shown in part (b) and including gradation are described in Non-Patent Document 1 described above.
  • gradation information in the near infrared image does not appear in the composite image.
  • information related to spatial frequency is calculated as a scale score, and a gradient score is calculated using the scale score.
  • an example of the magnitude of the gradient score of each pixel in the scalar image of part (a) is represented by the degree of black and white
  • part (d) is in the near infrared image of part (b).
  • An example of the magnitude of the gradient score of each pixel is represented by the degree of black and white.
  • the gradient score is represented by the degree of black and white so as to become white as the gradient score increases (becomes black as the gradient score decreases).
  • part (d) of FIG. 3 by giving a high gradient score to the part including gradation, as in the composite image shown in part (e) of FIG. A composite image in which the information is reflected is generated.
  • the image processing apparatus 1 when combining a plurality of images, the image processing apparatus 1 (processing apparatus 4) according to the first embodiment performs image analysis using, for example, the combined image by using the information on the image gradient.
  • the effect of being able to generate a composite image that is easy for analysts to analyze can be obtained.
  • the image processing apparatus 1 according to the first embodiment since the image processing apparatus 1 according to the first embodiment generates a composite image using also information (scale) of spatial frequency, it generates a composite image in which the information of gradation changing in global is also reflected. This can improve the image quality required for the composite image.
  • basis vectors that constitute basis vector groups are set in consideration of the entire image.
  • basis vectors that constitute basis vector groups may be set by focusing on a partial region of the image.
  • the number of basis vectors is reduced using, for example, principal component analysis or nonnegative matrix factorization. By doing, the basis vectors of the basis vector group may be set.
  • the image may be divided into a plurality of divided areas, the above-described image processing may be performed for each divided area, and a composite image may be generated for each divided area.
  • a set of basis vectors may be set for each divided area of the image.
  • the coefficients of the basis vectors constituting the basis vector group are calculated for each divided area in the same manner as in the first embodiment. Such processing may be performed.
  • the coefficient calculation unit 43 further calculates a coefficient of a basis vector that minimizes an optimization function as expressed by the following equation (6) in consideration of spatial smoothing between divided regions, and the calculation The determined coefficients are determined as the coefficients of the basis vector of each pixel in consideration of the entire composite image.
  • equation (6) a coefficient of a basis vector that minimizes an optimization function as expressed by the following equation (6) in consideration of spatial smoothing between divided regions, and the calculation The determined coefficients are determined as the coefficients of the basis vector of each pixel in consideration of the entire composite image.
  • ⁇ ji in the equation (6) represents the coefficient of the j-th basis vector of the basis vector group in the pixel i determined by the coefficient calculating unit 43 using the equation (6).
  • ⁇ ji0 is the same as the coefficient ⁇ ji calculated by the coefficient calculation unit 43 as described in the first embodiment, and is represented as ⁇ ji0 here for convenience.
  • ⁇ Ramuda ji represents the gradient of the coefficient ⁇ ji
  • ⁇ ji0 represents the slope of the ⁇ ji0.
  • the coefficient of the base vector of each pixel in the divided area may be determined by adopting the following equation (7) instead of the equation (6).
  • Formula (7) :
  • p represents a constant which is an integer of zero or more. This p is set appropriately.
  • the image processing apparatus 1 includes the scalar image and the far infrared light.
  • the combination of a plurality of images to be combined, such as combining with an image, is not limited to the combination in the first embodiment.
  • the process which concerns on the image synthesis which the image processing apparatus 1 performs is not limited to the synthesis
  • the image processing apparatus 20 shown in FIG. 4 includes a gradient calculation unit 21, a scale search unit 22, a gradient score calculation unit 23, a gradient determination unit 24, a coefficient calculation unit 25, and a combining unit 26. ing.
  • the gradient calculation unit 21 has a function of calculating an image gradient for each pixel in each of a plurality of images to be combined.
  • the scale search unit 22 has a function of calculating a scale score based on the content degree of the spatial frequency component for each pixel in each image to be synthesized.
  • the gradient score calculation unit 23 has a function of calculating, for each pixel, a gradient score corresponding to the calculated image gradient and the scale score.
  • the gradient determination unit 24 compares gradient scores of corresponding pixels in a plurality of images to be combined, and among the plurality of images to be combined, an image according to the gradient score of an image having a larger gradient score than other images.
  • a gradient is calculated as a target gradient for each pixel in a combined image after combining a plurality of images to be combined.
  • the coefficient calculation unit 25 has a function of calculating, for each pixel of the composite image, the coefficients of the basis vectors constituting the preset basis vector group in the composite image based on the target gradient.
  • the combining unit 26 has a function of generating a combined image by linear combination of basis vectors based on the calculated coefficients.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明は、合成画像に要求される画質の改善を図ることができる画像処理装置を提供する。勾配算出部２１は、合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する。スケール探索部２２は、合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する。勾配スコア算出部２３は、画像勾配およびスケールスコアに基づいて勾配スコアを画素毎に算出する。勾配確定部２４は、勾配スコアを利用して、合成対象の複数の画像を合成した後の合成画像における画素毎の画像勾配をターゲット勾配として算出する。係数算出部２５は、合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数をターゲット勾配に基づいて合成画像の画素毎に算出する。合成部２６は、算出された係数に基づいた基底ベクトルの線形結合により、合成画像を生成する。

Description

画像処理装置、画像処理方法およびプログラム記憶媒体
　本発明は、複数の画像を合成する技術に関する。
　昨今、様々な画像合成手法が提案されている。また、撮影に係る設定（露光量や露出時間）を変更できるカメラは、光の波長帯域に対する感度特性が異なる様々な画像を取得できる。さらに、露出時間等の設定が同じでも、撮影時にフラッシュを焚くか焚かないかの相違によって実質的に異なる画像がカメラにより取得される。さらにまた、様々な目的対象を撮影するために、目的に応じたセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。また、夜間における監視に対して、近赤外線や遠赤外線などの非可視光利用のセンサを搭載したカメラも広く普及している。他にも、近紫外線カメラも市販されている。あるいは、テラヘルツ波や電波など可視光の波長帯域よりも長い波長を撮影する装置も市販されている。
　このように様々な撮影装置が普及していることから、波長帯域が異なる複数の撮影画像を医療やセキュリティなどの多くの分野に応用する画像処理技術が開発されている。特許文献１には、撮影領域と撮影タイミングが同じ可視光画像と近赤外画像を合成する技術が開示されている。特許文献１に開示されている技術では、可視光画像と近赤外画像を合成するに際し、各画素において、可視光画像と近赤外画像の各輝度情報が比較され、高い方の輝度情報が合成画像における画素の輝度情報として選択されている。また、非特許文献１には、複数の画像を合成する場合に、画像における各画素の画像勾配（隣接間の画素値の差分の情報）を利用して合成画像を生成する技術が開示されている。
特開２０１０－１６６３６３号公報
Graham D. Finlayson, David Connah and Mark S. Drew, "Lookup-table-based Gradient Field Reconstruction", IEEE Transactions on Image Processing, Volume 20, Issue 10, Oct. 2011, page 2827－2836
　ところで、画像勾配の情報を利用して画像処理を行うことにより、画像処理後の画像の用途に適した画質が得やすくなり、用途に応じた画像の画質改善を図ることができる。非特許文献１では、画像勾配の情報を利用して画像を合成する技術が開示されているが、次のような問題発生の虞がある。
　すなわち、非特許文献１に開示されている技術では、合成対象の複数の画像のそれぞれにおいて、画素毎に画像勾配が算出される。そして、合成対象の各画像における対応する画素同士の画像勾配の和による算出値を利用して、合成対象の複数の画像を合成した後の合成画像における画素毎の画像勾配が算出される。このように算出される画像勾配の情報をも利用して、合成画像が生成される。
　しかしながら、このような手法では、合成画像の生成に際し、画像勾配の和による算出値が利用されることから、局所的に大きな画像勾配の情報は合成画像に反映され易い。一方、グラデーションなどの大域的に変化する小さな画像勾配の情報は合成画像に反映され難い。例えば、遠赤外画像は、テクスチャが少なくて全体的に画像勾配が小さい。このような画像勾配が小さい遠赤外画像などの画像と、当該画像よりも大きな画像勾配を多く持つ可視光画像とを非特許文献１に開示されている手法により合成すると、画像勾配が小さい画像の情報がほとんど反映されていない合成画像が生成されてしまう。このため、例えば、可視光画像に遠赤外画像（換言すれば、遠赤外線センサによる画像）を重ねることにより得られる合成画像を利用して、遠赤外画像に撮影されている事象を解析することが難しいという問題が生じる。
　本発明は上記のような課題を解決するために考え出された。すなわち、本発明の主な目的は、画像勾配の情報を利用して複数の画像を合成する場合に、小さな画像勾配の画像の情報も反映された合成画像を生成でき、合成画像に要求される画質の改善を図ることができる技術を提供することにある。
　上記目的を達成するために、本発明の画像処理装置は、
　合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出部と、
　前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索部と、
　算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出部と、
　前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定部と、
　前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出部と、
　算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成部と
を備える。
　また、本発明に係る画像処理方法は、
　合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
　前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
　算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
　前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
　前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
　算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する。
　さらに、本発明のプログラム記憶媒体は、
　合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
　前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
　算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
　前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
　前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
　算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
　本発明によれば、画像勾配の情報を利用して複数の画像を合成する場合に、小さな画像勾配の画像の情報も反映された合成画像を生成でき、合成画像に要求される画質の改善を図ることができる。
本発明に係る第１実施形態の画像処理装置の構成を簡略化して表すブロック図である。 第１実施形態の画像処理装置における画像合成の動作例を表すフローチャートである。 第１実施形態の画像処理装置における画像合成処理により得られる効果を説明する図である。 本発明に係るその他の実施形態を説明する図である。
　以下に、本発明に係る実施形態を図面に基づいて説明する。
　＜第１実施形態＞
　図１は、本発明に係る第１実施形態の画像処理装置の構成を表すブロック図である。第１実施形態の画像処理装置１は、入力部３と、処理装置４と、記憶部５と、出力部６とを備えている。
　入力部３は、インターフェース装置であり、例えば撮影装置７と接続し当該撮影装置７から出力される画像を受信するインターフェース機能を備えている。第１実施形態では、入力部３に接続される撮影装置７は、可視光と近赤外を撮影可能な装置（近赤外センサ搭載の撮影装置）であり、可視光画像（以下、スカラー画像とも記す）と、近赤外画像とを出力する機能を備えている。撮影装置７から出力されるスカラー画像と近赤外画像は撮影範囲がほぼ等しく、ここでは、当該撮影範囲は一致しているとみなす。
　なお、入力部３に接続される撮影装置は、可視光と近赤外を撮影可能な撮影装置に限定されず、例えば、可視光を撮影する撮影装置と、近赤外を撮影する撮影装置（近赤外センサとも称す）とが入力部３に接続されてもよい。また、入力部３には撮影装置が接続されるのに代えて、記憶装置が接続されてもよい。この場合には、例えば、撮影装置によって撮影されたスカラー画像と近赤外画像が記憶装置に格納され、当該記憶装置から例えば処理装置４の機能により読み出されたスカラー画像と近赤外画像を入力部３が受信してもよい。
　記憶部５は、記憶媒体を備え、様々なデータや、コンピュータプログラム（プログラム）を記憶可能な構成を備える。記憶媒体を備える記憶装置には、例えば、ハードディスク装置や半導体メモリなど様々な種類が有り、ここでは、画像処理装置１に搭載される複数種の記憶装置をまとめて記憶部５として表している。
　第１実施形態では、記憶部５には、入力部３で受信された撮影画像（スカラー画像と近赤外画像）が処理装置４により登録される。
　また、記憶部５には、予め定められた基底ベクトル群Φの情報が格納されている。ここでの基底ベクトル群Φは、合成対象のスカラー画像と近赤外画像を合成した場合における合成画像に設定された複数の基底ベクトルφｊ（“ｊ”は１以上の整数）のグループである。なお、基底ベクトルφｊの“ｊ”は、基底ベクトルを識別する情報であり、ここでは、基底ベクトル群Φを構成する複数の基底ベクトルをΦ＝｛φ1，φ2，φ3，・・・｝というように予め定められた順に並べて基底ベクトル群Φを表す場合の配列順を示す。
　例えば、入力部３に入力されるスカラー画像のチャネルが赤（Ｒ）、緑（Ｇ）、青（Ｂ）であり、近赤外画像のチャネルが近赤外（Ｎ）であるとする。この場合には、スカラー画像と近赤外画像の合成画像（以下、単に合成画像とも記す）における各画素ｉの画素値を表す基底ベクトル群Φｉは、例えば下式（１）により設定される。
式（１）：
　Φｉ＝｛φｊｉ｝
　　　＝｛Ｒｉ，Ｇｉ，Ｂｉ，Ｎｉ，Ｒｉ ２，Ｇｉ ２，Ｂｉ ２，Ｎｉ ２，Ｒｉ*Ｂｉ，Ｒｉ*Ｇｉ，Ｇｉ*Ｂｉ，Ｒｉ*Ｎｉ，Ｇｉ*Ｎｉ，Ｂｉ*Ｎｉ｝
　なお、式（１）中における“ｉ”は、１以上の整数であり、スカラー画像あるいは近赤外画像あるいは合成画像における各画素を識別する情報を表し、ここでは、画像をラスタスキャンした場合における画素の順番を表している。また、式（１）中における“*”は乗算記号である。さらに、“φｊｉ”における“ｊ”は、上述した“ｊ”と同様に、基底ベクトルを識別する情報である。例えば、基底ベクトル群Φｉが式（１）のように表される場合には、例えば、画素ｉにおける基底ベクトルφ３ｉ（ｊ＝３）は、“Ｂｉ”であり、また、基底ベクトルφ９ｉ（ｊ＝９）は、“Ｒｉ*Ｂｉ”である。
　なお、式（１）に表される基底ベクトル群Φｉは、一例であって、基底ベクトル群Φｉは、式（１）に限定されない。例えば、基底ベクトル群Φｉを構成する基底ベクトルφｊｉは、式（１）よりも少なくてもよいし、式（１）に加えて、Ｒi 3，Ｇi 3，Ｂi 3，Ｎi 3などの基底ベクトルをさらに加えてもよい。基底ベクトル群Φｉを構成する基底ベクトルφｊｉは、合成画像に要求される解像度などを考慮して適宜設定される。また、合成対象の各画像に含まれている画素値の情報等を考慮し、基底ベクトルφｊの組み合わせが異なる複数の基底ベクトル群Φが設定され記憶部５に格納されてもよい。この場合には、例えば、装置のユーザが要求する画質等に応じて、処理に利用する基底ベクトル群Φが択一的に選択されてもよい。
　合成画像を生成する場合には、合成画像における各画素の上記のような基底ベクトル群Φｉを構成する各基底ベクトルφｊｉの係数がスカラー画像と近赤外画像（入力画像）に基づき決定されることにより、合成画像の各画素の画素値が定まり、これにより、合成画像が生成できる。第１実施形態では、その合成画像における各基底ベクトルφｊｉの係数を算出する手法およびそれを処理する画像処理装置（処理装置４）に特徴がある。
　処理装置４は、例えば、１つ又はそれ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される。第１実施形態では、処理装置４は、記憶部５に格納されているコンピュータプログラムを読み出し実行することにより、次のような機能を持つことができる。すなわち、処理装置４は、機能部として、勾配算出部４０と、スコア算出部４１と、勾配確定部４２と、係数算出部４３と、合成部４４とを備えている。
　勾配算出部４０は、各画素の特徴を表す情報として画像勾配を算出する機能を備える。画像勾配とは、隣接する画素間の画素値の差分の情報である。画像勾配を算出する手法には様々な手法が提案されており、ここでは、合成画像に要求される画質や、処理装置４の処理能力などの事項を考慮した適宜な手法が採用される。勾配算出部４０は、その採用した勾配算出手法に基づいて、入力部３で受信したスカラー画像と近赤外画像のそれぞれにおいて各画素の画像勾配を算出する。
　なお、第１実施形態では、各画素ｉにおいて、基底ベクトル群Φｉを構成する各基底ベクトルφｊｉを考慮した画素値の成分（チャネル）毎に、画像勾配が算出される。例えば、基底ベクトル群Φｉが前述した式（１）のように設定されている場合には、画素毎に、画像勾配は、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関して算出される。ここでは、勾配算出部４０により算出される赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関する画像勾配は、画素毎に、∇Ｒｉ，∇Ｇｉ，∇Ｂｉ，∇Ｎｉとも表される。なお、“ｉ”は、式（１）における“ｉ”と同様に、画素を識別する情報を表す。以下、明細書中における“ｉ”は、同様に、画素を識別する情報を表す。
　スコア算出部４１は、スカラー画像と近赤外画像において、各画素の特徴を数値により表すスコアを算出する機能を備えている。画像処理装置１では、スコア算出部４１は、スケール探索部４１１と勾配部（勾配スコア算出部）４１２を有している。スケール探索部４１１は、スカラー画像と近赤外画像において、各画素における空間周波数成分の含有度合いに関連するスケール（以下、単にスケールとも記す）に基づくスコア（ここでは、便宜上、スケールスコアとも記す）を算出する機能を備えている。例えば、スケール探索部４１１は、画素値に基づいて画像を空間周波数毎の画像に分解するスケールスペース手法を利用して、各画素におけるスケールスコアを算出する。より具体的には、スケール探索部４１１は、例えば、画素毎に、Lindebergらにより提案されている下式（２）に表されるＬｏＧ（Laplacian of Gaussian）オペレータにおける“σ”の値を変化させ、最も値が大きいＬｏＧの数値を各画素におけるスケールスコアとして算出する。
式（２）：
Figure JPOXMLDOC01-appb-I000001
　なお、式（２）中における“σ”はスケールを表す。また、“ｘ”は、入力部３に入力する画像（入力画像）の各画素の位置をｘ，ｙの二次元直交座標系を利用して表す場合に、基準画素からのｘ軸方向の距離を表し、“ｙ”は、基準画素からのｙ軸方向の距離を表す。
　また、第１実施形態では、スケール探索部４１１は、予め設定されている基底ベクトル群Φｉを構成する各基底ベクトルφｊｉを考慮した画素値の成分（チャネル）毎に、スケールスコアを算出する。例えば、基底ベクトル群Φｉが前述した式（１）のように設定されている場合には、スケール探索部４１１は、画素毎に、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関するスケールスコアを算出する。ここでは、スケール探索部４１１により算出されたスケールスコアは、ｓRi，ｓGi，ｓBi，ｓNiとも表されるとする。
　なお、スケール探索部４１１がスケールスコアを算出する手法は、上記のようなＬｏＧオペレータを利用する手法に限定されない。例えば、スケールスコアを算出する手法としては、式（２）に表されるｆ（σ）の最大値に、σ（スケール）を変数として持つ単調増加関数あるいは単調減少関数の値を乗じた値をスケールスコアとする手法を採用してもよい。又は、スケールスコアを算出する手法として、式（３）に表されるｆ（σ）の最大値をスケールスコアとする手法を採用してもよい。
式（３）：
Figure JPOXMLDOC01-appb-I000002
　勾配部４１２は、スカラー画像と近赤外画像において、スケール探索部４１１により算出されたスケールスコアをも考慮して、各画素における勾配に基づくスコア（以下、勾配スコアと記す）を算出する機能を備えている。例えば、勾配算出部４０により算出される画像勾配とスケール探索部４１１により算出されるスケールスコアとを変数として持ち画像勾配とスケールスコアの大きさに応じた値を算出する数式のデータが記憶部５に予め与えられている。勾配部４１２は、スカラー画像と近赤外画像のそれぞれにおいて、そのデータを利用して各画素における基底ベクトル群Φｉを構成する基底ベクトルφｊｉを考慮した画素値の成分毎に勾配スコアを算出する。具体例としては、基底ベクトル群Φｉが前述した式（１）のように設定されている場合には、勾配スコアは、画素ｉ毎に、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関して算出される。すなわち、勾配算出部４０により、各画素ｉにおいて、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関する画像勾配∇Ｒｉ，∇Ｇｉ，∇Ｂｉ，∇Ｎｉが算出されているとする。また、スケール探索部４１１により、各画素ｉにおいて、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関するスケールスコアｓＲｉ，ｓＧｉ，ｓＢｉ，ｓＮｉが算出されているとする。この場合、勾配部４１２は、各画素ｉにおいて、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分、近赤外（Ｎ）成分に関する勾配スコアｇＲｉ，ｇＧｉ，ｇＢｉ，ｇＮｉとして、ｓＲｉ×∇Ｒｉ，ｓＧｉ×∇Ｇｉ，ｓＢｉ×∇Ｂｉ，ｓＮｉ×∇Ｎｉを算出する。
　勾配確定部４２は、スカラー画像と近赤外画像の合成に際し、当該合成画像における各画素ｉの画像勾配（以下、ターゲット勾配とも記す）を、勾配部４１２により算出される勾配スコアを利用して確定する機能を備えている。換言すれば、勾配確定部４２は、スカラー画像と近赤外画像のそれぞれの画像勾配の情報だけでなく、スケールスコア（空間周波数に関連する情報）をも考慮された勾配スコアを利用して、ターゲット勾配を確定する。
　例えば、勾配確定部４２は、各画素ｉにおける勾配スコアｇＲｉ，ｇＧｉ，ｇＢｉ，ｇＮｉの中で最もスコアが大きい成分（チャネル）を選択し、選択した成分（チャネル）の勾配スコアの算出に利用した画像勾配をターゲット勾配∇Ｊｉとして確定する。具体例を挙げると、画像５（ｉ＝５）における勾配スコアｇＲ５，ｇＧ５，ｇＢ５，ｇＮ５の中で最もスコアが大きい成分（チャネル）が赤である場合には、ｇＲ５＝ｓＲ５×∇Ｒ５の“∇Ｒ５”がターゲット勾配∇Ｊ５として確定される。
　なお、ターゲット勾配∇Ｊｉの算出手法は上述した手法に限定されない。例えば、勾配確定部４２は、勾配算出部４０により算出される画像勾配の情報と、勾配部４１２により算出される勾配スコアと、下式（４）とに基づいて、ターゲット勾配∇Ｊｉを算出してもよい。つまり、勾配確定部４２は、画素毎に、算出された勾配スコアを画像勾配で加重平均することによりターゲット勾配∇Ｊｉを算出してもよい。
式（４）：
∇Ｊｉ＝ｇＲｉ×∇Ｒｉ＋ｇＧｉ×∇Ｇｉ＋ｇＢｉ×∇Ｂｉ＋ｓＮｉ×∇Ｎｉ
　係数算出部４３は、スカラー画像と近赤外画像の合成に際し、合成画像における各画素ｉにおいて、勾配確定部４２により画定される各画素ｉのターゲット勾配∇Ｊｉを利用して、基底ベクトル群Φｉを構成する基底ベクトルφｊｉの係数を算出する機能を備えている。例えば、係数算出部４３は、画素ｉにおける基底ベクトル群Φｉの基底ベクトルφｊの係数をλｊとした場合に、下式（５）に表される二乗誤差Ｅ（λｊ）を最小化するλｊの値を、基底ベクトルφｊの係数として算出する。
式（５）：
Figure JPOXMLDOC01-appb-I000003
　なお、式（５）における∇Φｉは、画素ｉにおける基底ベクトル群Φｉの画像勾配（ここでは、例えば、基底ベクトルφｊの勾配）を表す。∇Ｊｉは勾配確定部４２により算出されるターゲット勾配を表す。
　合成部４４は、係数算出部４３により算出された各画素ｉの基底ベクトルφｊｉの係数λｊｉに基づいた基底ベクトルの線形結合により合成画像を生成する機能を備えている。
　処理装置４は、上記のように、スカラー画像と近赤外画像の合成画像を生成する。出力部６は、インターフェース装置であり、例えば表示装置８に接続されスカラー画像や近赤外画像や合成画像の情報を表示装置８に向けて出力するインターフェース機能を備えている。表示装置８は、出力部６から出力された画像の情報に基づいて、スカラー画像や近赤外画像や合成画像をディスプレイに表示する機能を備えている。
　次に、処理装置４における合成画像の生成に係る処理動作の一例を図２のフローチャートに基づいて説明する。
　例えば、処理装置４の勾配算出部４０は、合成対象のスカラー画像と近赤外画像を例えば記憶部５から読み出す。そして、勾配算出部４０は、読み出したスカラー画像と近赤外画像のそれぞれにおいて、各画素の画像勾配を算出する（ステップＳ１０１）。
　また、スコア算出部４１のスケール探索部４１１は、合成対象のスカラー画像と近赤外画像のそれぞれにおいて、各画素におけるスケールスコアを算出する（ステップＳ１０２）。
　その後、スコア算出部４１の勾配部４１２は、スカラー画像と近赤外画像のそれぞれの各画素において、算出された画像勾配およびスケールスコアの大きさに応じた勾配スコアを算出する（ステップＳ１０３）。
　然る後に、勾配確定部４２は、勾配部４１２により算出される勾配スコアを利用して、スカラー画像と近赤外画像の合成画像における各画素のターゲット勾配を確定する（ステップＳ１０４）。
　その後、係数算出部４３は、確定したターゲット勾配を利用して、基底ベクトル群を構成する基底ベクトルの係数を算出する（ステップＳ１０５）。そして、合成部４４は、係数算出部４３により算出された基底ベクトルの係数に基づいた基底ベクトルの線形結合により合成画像を生成する（ステップＳ１０６）。
　第１実施形態の画像処理装置１は、上記のような構成を備えていることにより、次のような効果を奏することができる。すなわち、画像処理装置１の処理装置４は、複数の画像を合成する際に、それら画像の各画素における空間周波数に関連する情報をスケールスコアとして算出し、当該スケールスコアを考慮して合成画像における各画素の勾配スコアを算出する。そして、処理装置４は、算出した勾配スコアを利用して、各画素の基底ベクトルの係数を算出することにより、合成画像を生成する。つまり、処理装置４は、合成前の各画像における空間周波数の情報をも考慮して合成画像を生成している。このため、処理装置４（画像処理装置１）は、合成画像の画質の向上を図ることができる。
　例えば、図３において、（ａ）部分に表されるようなスカラー画像と、（ｂ）部分に表されるようなテクスチャが少なくグラデーションが含まれる近赤外画像とを、前述した非特許文献１における手法を利用して合成したとする。この場合には、近赤外画像におけるグラデーションの情報は合成画像に現れない。これに対し、第１実施形態では、空間周波数に関連する情報がスケールスコアとして算出され、当該スケールスコアを利用して勾配スコアが算出される。図３における（ｃ）部分は、（ａ）部分のスカラー画像における各画素の勾配スコアの大きさの一例が白黒度合いにより表され、（ｄ）部分は、（ｂ）部分の近赤外画像における各画素の勾配スコアの大きさの一例が白黒度合いにより表されている。図３における（ｃ），（ｄ）部分において、勾配スコアが大きくなるに従って白くなるように（勾配スコアが小さくなるに従って黒くなるように）、勾配スコアが白黒度合いにより表されている。図３の（ｄ）部分に表されているように、グラデーションが含まれる部分に高い勾配スコアが与えられることにより、図３の（ｅ）部分に表されている合成画像のように、グラデーションの情報が反映された合成画像が生成される。
　このように、第１実施形態の画像処理装置１（処理装置４）は、複数の画像を合成する場合に、画像勾配の情報を利用することにより、例えば合成画像を利用して画像解析を行う解析者にとって解析し易い合成画像を生成できるという効果を得ることができる。その上、第１実施形態の画像処理装置１は、空間周波数の情報（スケール）をも利用して合成画像を生成するので、大域的に変化するグラデーションの情報をも反映された合成画像を生成でき、これにより、合成画像に要求される画質の改善を図ることができる。
　＜その他の実施形態＞
　なお、この発明は第１実施形態に限定されず、様々な実施の形態を採り得る。例えば、第１実施形態では、画像全体を考慮して基底ベクトル群を構成する基底ベクトルが設定されている。これに代えて、例えば、画像の一部の領域に着目することにより基底ベクトル群を構成する基底ベクトルが設定されてもよい。また、基底ベクトル群を構成する例えば式（１）に表されるような多くの基底ベクトルが設定された後に、例えば、主成分分析や非負行列因子分解などを利用して基底ベクトルの数が削減されることにより、基底ベクトル群の基底ベクトルが設定されてもよい。
　さらに、画像が複数の分割領域に区分され、分割領域毎に上記のような画像処理が実行され、分割領域毎に合成画像が生成されてもよい。この場合には、例えば、画像の分割領域毎に基底ベクトル群が設定されてもよい。また、このように分割領域毎に基底ベクトル群が設定される場合には、分割領域毎に、第１実施形態と同様に基底ベクトル群を構成する基底ベクトルの係数が算出された後に、次のような処理が行われてもよい。例えば、係数算出部４３は、さらに、分割領域間の空間的な平滑化を考慮した下式（６）に表されるような最適化関数を最小化させる基底ベクトルの係数を算出し、当該算出した係数を合成画像全体を考慮した各画素の基底ベクトルの係数として確定する。
式（６）：
Figure JPOXMLDOC01-appb-I000004
　なお、式（６）におけるλｊｉは、式（６）を利用して係数算出部４３が確定する画素ｉにおける基底ベクトル群のｊ番目の基底ベクトルの係数を表す。λｊｉ０は、第１実施形態で説明したように係数算出部４３が算出する係数λｊｉと同様であり、ここでは、便宜上、λｊｉ０と表す。∇λｊｉは、係数λｊｉの勾配を表し、∇λｊｉ０は、λｊｉ０の勾配を表す。
　なお、式（６）に代えて、下式（７）を採用して分割領域における各画素の基底ベクトルの係数を確定してもよい。
式（７）：
Figure JPOXMLDOC01-appb-I000005
　なお、式（７）におけるｐは、零以上の整数である定数を表す。このｐは適宜設定される。
　また、第１実施形態では、スカラー画像（可視光画像）と近赤外画像との合成を例にして説明しているが、第１実施形態における画像処理装置１は、スカラー画像と遠赤外画像との合成というように、合成対象の複数の画像の組み合わせは第１実施形態における組み合わせに限定されない。また、画像処理装置１が実行する画像合成に係る処理は、２つの画像の合成に限定されず、例えば、３つ以上の画像を合成する際にも適用される。
　さらに、本発明に係る画像処理装置は、第１実施形態の構成に限定されず、図４のブロック図に表されるような構成を備えていればよい。すなわち、図４に示される画像処理装置２０は、勾配算出部２１と、スケール探索部２２と、勾配スコア算出部２３と、勾配確定部２４と、係数算出部２５と、合成部２６とを備えている。
　勾配算出部２１は、合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する機能を備える。スケール探索部２２は、合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する機能を備える。勾配スコア算出部２３は、算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを画素毎に算出する機能を備える。
　勾配確定部２４は、合成対象の複数の画像における対応する画素同士の勾配スコアを比較し、合成対象の複数の画像のうち、他の画像よりも勾配スコアが大きい画像の勾配スコアに応じた画像勾配を、合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する機能を備える。
　係数算出部２５は、合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数をターゲット勾配に基づいて合成画像の画素毎に算出する機能を備える。合成部２６は、算出された係数に基づいた基底ベクトルの線形結合により、合成画像を生成する機能を備える。
　この画像処理装置２０においても、第１実施形態と同様に、空間周波数成分を考慮して合成画像を生成するので、第１実施形態と同様の効果を得ることができる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　１，２０　画像処理装置
　２１，４０　勾配算出部
　２２，４１１　スケール探索部
　２３　勾配スコア算出部
　２４，４２　勾配確定部
　２５，４３　係数算出部
　２６，４４　合成部
　４１２　勾配部

Claims (7)

  1. 　合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する勾配算出手段と、
    　前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出するスケール探索手段と、
    　算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する勾配スコア算出手段と、
    　前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する勾配確定手段と、
    　前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する係数算出手段と、
    　算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する合成手段と
    を備える画像処理装置。
  2. 　前記係数算出手段は、前記合成画像を複数に区分した分割領域毎において、各画素における基底ベクトルの係数を算出した後に、さらに、前記分割領域間が空間的に滑らかになる平滑化を考慮した処理を前記算出した係数に行って前記合成画像の全体を考慮した基底ベクトルの係数を確定する請求項１に記載の画像処理装置。
  3. 　前記勾配確定手段は、前記合成対象の複数の画像における算出された勾配スコアを比較し、最も大きい勾配スコアを持つ画像の前記画像勾配を前記ターゲット勾配として確定する請求項１又は請求項２に記載の画像処理装置。
  4. 　前記勾配確定手段は、画素毎に、算出された前記勾配スコアを前記画像勾配で加重平均することにより前記ターゲット勾配を算出する請求項１又は請求項２に記載の画像処理装置。
  5. 　前記係数算出手段は、前記合成画像における前記基底ベクトルの係数を算出する際に、画像勾配に関する二乗誤差を最小化する係数を前記基底ベクトルの係数として算出する請求項１乃至請求項４の何れか１つに記載の画像処理装置。
  6. 　合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出し、
    　前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出し、
    　算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出し、
    　前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出し、
    　前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出し、
    　算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する画像処理方法。
  7. 　合成対象の複数の画像のそれぞれにおける画素毎に画像勾配を算出する処理と、
    　前記合成対象の各画像における画素毎に空間周波数成分の含有度合いに基づいたスケールスコアを算出する処理と、
    　算出された前記画像勾配と前記スケールスコアの大きさに応じた勾配スコアを前記画素毎に算出する処理と、
    　前記合成対象の複数の画像における対応する画素同士の前記勾配スコアを比較し、前記合成対象の複数の画像のうち、他の画像よりも前記勾配スコアが大きい前記画像の前記勾配スコアに応じた画像勾配を、前記合成対象の複数の画像を合成した後の合成画像における画素毎にターゲット勾配として算出する処理と、
    　前記合成画像における予め設定されている基底ベクトル群を構成する基底ベクトルの係数を前記ターゲット勾配に基づいて前記合成画像の画素毎に算出する処理と、
    　算出された前記係数に基づいた前記基底ベクトルの線形結合により、前記合成画像を生成する処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
PCT/JP2017/025542 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびプログラム記憶媒体 WO2019012647A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/629,095 US11055877B2 (en) 2017-07-13 2017-07-13 Image processing device, image processing method, and program storage medium
JP2019529391A JP6835227B2 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびコンピュータプログラム
PCT/JP2017/025542 WO2019012647A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびプログラム記憶媒体
TW107123760A TWI721288B (zh) 2017-07-13 2018-07-10 影像處理裝置、影像處理方法及程式記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/025542 WO2019012647A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびプログラム記憶媒体

Publications (1)

Publication Number Publication Date
WO2019012647A1 true WO2019012647A1 (ja) 2019-01-17

Family

ID=65002151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025542 WO2019012647A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびプログラム記憶媒体

Country Status (4)

Country Link
US (1) US11055877B2 (ja)
JP (1) JP6835227B2 (ja)
TW (1) TWI721288B (ja)
WO (1) WO2019012647A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチスペクトル撮像システム
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181086B2 (en) * 2002-06-06 2007-02-20 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
JP5007228B2 (ja) * 2004-06-14 2012-08-22 プレコード，インコーポレイテッド 画像クリーンアップおよび前置符号化
US7676113B2 (en) * 2004-11-19 2010-03-09 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames using a sharpening factor
US8515171B2 (en) * 2009-01-09 2013-08-20 Rochester Institute Of Technology Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof
JP4985660B2 (ja) 2009-01-16 2012-07-25 株式会社豊田中央研究所 擬似濃淡画像生成装置及びプログラム
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
WO2016176209A1 (en) * 2015-04-28 2016-11-03 Dolby Laboratories Licensing Corporation Image highlight detection and rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチスペクトル撮像システム
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US11055877B2 (en) 2021-07-06
US20200193644A1 (en) 2020-06-18
TW201921912A (zh) 2019-06-01
JP6835227B2 (ja) 2021-02-24
TWI721288B (zh) 2021-03-11
JPWO2019012647A1 (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
Ben-Ezra et al. Video super-resolution using controlled subpixel detector shifts
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR101424923B1 (ko) 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램
Akyüz Deep joint deinterlacing and denoising for single shot dual-ISO HDR reconstruction
JP2013061850A (ja) ノイズ低減のための画像処理装置及び画像処理方法
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6501452B2 (ja) 画像処理装置及びシステム、画像処理方法、並びにプログラム
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
EP2601636A1 (en) Method and system for processing an image featuring multiple scales
US10984566B2 (en) Image processing apparatus that calculates using luminance values of one or more input images produced by photoelectric conversion of multiple polarized lights, image-capturing apparatus and image processing method
JP2023058558A (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
WO2013161111A1 (ja) 画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム
Xu Panoramic video stitching
JP2016134661A (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP6835227B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP6777507B2 (ja) 画像処理装置および画像処理方法
Tezaur et al. A system for estimating optics blur psfs from test chart images
JP2003091726A (ja) 反射パラメータ取得装置、反射成分分離装置、反射パラメータ取得用プログラム、及び反射成分分離用プログラム
Singh et al. Detail Enhanced Multi-Exposer Image Fusion Based on Edge Perserving Filters
JP5752011B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US10334161B2 (en) Image processing apparatus, image processing method, computer program and imaging apparatus
JP5539561B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17917538

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019529391

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17917538

Country of ref document: EP

Kind code of ref document: A1