WO2013008597A1 - 撮像装置、撮像素子及び感度差補正方法 - Google Patents
撮像装置、撮像素子及び感度差補正方法 Download PDFInfo
- Publication number
- WO2013008597A1 WO2013008597A1 PCT/JP2012/065832 JP2012065832W WO2013008597A1 WO 2013008597 A1 WO2013008597 A1 WO 2013008597A1 JP 2012065832 W JP2012065832 W JP 2012065832W WO 2013008597 A1 WO2013008597 A1 WO 2013008597A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixels
- pattern
- sensitivity
- pixel
- color
- Prior art date
Links
- 230000035945 sensitivity Effects 0.000 title claims abstract description 204
- 238000012937 correction Methods 0.000 title claims description 97
- 238000000034 method Methods 0.000 title claims description 50
- 239000003086 colorant Substances 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims description 134
- 238000001514 detection method Methods 0.000 claims description 84
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 43
- 239000013256 coordination polymer Substances 0.000 description 22
- 230000000295 complement effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
Definitions
- the present invention relates to an imaging apparatus having a structure in which a specific circuit element is shared by a plurality of pixels, an imaging element, and a sensitivity difference correction method.
- CMOS Complementary Metal Oxide Semiconductor
- CMOS image sensor As a technique for reducing the number of necessary transistors on a substrate, a technique for sharing one amplifier with a plurality of pixels is widely used (see Patent Documents 1 and 2).
- the shared structure in which one amplifier is shared by 2 ⁇ 2 four pixels is well matched with the case where the color filter is a Bayer array, and an amplifier is arranged at the center of the four pixels, and each pixel is arranged in the periphery. It is used very often because it can arrange the readout gate.
- Patent Document 3 discloses an image sensor in which an arbitrary pixel of interest has a three-color random array that satisfies an array restriction condition adjacent to any of three colors including the color of the pixel of interest and four sides of the pixel of interest. Has been.
- an output difference occurs between the pixels 92 of the same color according to the positional relationship of the pixel 92 sharing the amplifier 96 with respect to the amplifier 96. That is, there is a problem in that the reproducibility of the image is adversely affected because the sensitivity varies among the pixels 92 at different positions with respect to the amplifier 96 due to the difference in the layout of the ground. This problem has become more apparent as the pixel size is reduced.
- the green (G) pixels are arranged in a checkered pattern (checkerboard pattern), and red (R) and blue (B) are arranged in a line sequence, which exceeds the reproduction band of each color.
- red (R) and blue (B) are arranged in a line sequence, which exceeds the reproduction band of each color.
- low frequency coloring color moire
- R is a light flat image
- B is a dark flat image
- G is a light and shaded mosaic image.
- a black-and-white image that does not cause a level difference is colored depending on the color arrangement and input frequency.
- Patent Documents 1 and 2 describe the problems caused by the amplifier sharing structure, but do not describe any problems caused by the Bayer array, and have a configuration that can easily solve both problems. There is no suggestion. Although correction of the sensitivity difference on the premise of the Bayer array is described, it cannot be actually applied to a color filter array other than the Bayer array. Patent Document 1 only discloses hardware adjustment means, and with the configuration described in Patent Document 1, it is difficult to cope with lens replacement, changes over time, and environmental changes. Patent Document 2 only describes a solution method that assumes a Bayer array and two-pixel sharing.
- the repetition period (2 ⁇ 2) of the amplifier sharing structure and the repetition period (2 ⁇ 2) of the basic array (GB / RG) of the color filter are the same, so correction is performed for each of the four positions.
- Patent Document 3 if the arrangement of the color filters is randomized, a new problem arises in that the sensitivity difference correction process becomes complicated. Even if complicated processing is to be performed, it is difficult to ensure color reproducibility reliably and sufficiently due to the randomness of the color arrangement of the color filter. Furthermore, there is another problem that the synchronization process becomes complicated due to the randomness of the color arrangement of the color filter.
- Patent Documents 1 to 3 there is a problem of processing load even if a configuration is adopted in which a color filter having a random color arrangement is provided and a sensitivity difference is detected and corrected between pixels of the same color. In addition, it is actually difficult to ensure sufficient color reproducibility.
- the present invention has been made in view of such circumstances, and corrects a sensitivity difference caused by a structure in which a plurality of pixels share a specific circuit element with low load and high accuracy and realizes good color reproducibility.
- An object of the present invention is to provide an imaging device, an imaging device, and a sensitivity difference correction method that can obtain a high-quality image.
- the present invention provides an image sensor in which a plurality of color filters are respectively disposed on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in a horizontal direction and a vertical direction, Storage means for storing information for correcting sensitivity differences between a plurality of pixels of the image sensor, and correction of sensitivity differences between the plurality of pixels of the image sensor using the information stored in the storage means
- An image pickup apparatus including a sensitivity difference correction unit, wherein a plurality of pixels of the image pickup element share a specific circuit element in units of 2 ⁇ 2 pixels, and the plurality of color filters of the image pickup element include three or more colors
- a basic array pattern in which I ⁇ J (I is the number in the horizontal direction and J is the number in the vertical direction) arrayed by mixing color filters of the respective colors is repeatedly arranged in the horizontal direction and the vertical direction.
- the arrangement period (I ⁇ J) is different from the arrangement period (2 ⁇ 2) of the shared structure pattern including the specific circuit element and the 2 ⁇ 2 pixels, and the common arrangement pattern includes the common arrangement pattern (I ⁇ J).
- Information related to the sensitivity obtained from the output value of 2 ⁇ 2 pixels corresponding to the same color square array pattern is stored, and the sensitivity difference correction means is 2 corresponding to the same color square array pattern stored in the storage means.
- an imaging device that corrects the sensitivity difference of all pixels of the imaging device using information on the sensitivity of ⁇ 2 pixels.
- an image pickup device in which a basic arrangement pattern of a color filter is repeatedly arranged in a horizontal direction and a vertical direction is provided, and the basic arrangement pattern of the color filter includes 2 ⁇ 2 pixels of a shared structure pattern that shares a specific circuit element.
- the detecting means for detecting information related to the sensitivity from an output value of 2 ⁇ 2 pixels corresponding to the same color square array pattern
- the storage means stores the information related to the sensitivity detected by the detecting means.
- the coordinate position of the k-th pixel (k is an integer from 1 to 4 indicating the position with respect to the specific circuit element) in the 2 ⁇ 2 pixels corresponding to the same color square array pattern is represented by C [k].
- the detection means is in a light irradiation state where the plurality of pixels of the image sensor are irradiated with light.
- the output value Data (C [ 1]), the output value Data (C [2]) of the second pixel, the output value Data (C [3]) of the third pixel, and the output value Data (C [4]) of the fourth pixel are obtained.
- the average value S [k] of the output value Data (C [k]) of each kth pixel group over the two or more basic array patterns is calculated as sensitivity, and the average value of the output values of the first pixel group is calculated.
- the detection means is a light irradiation state in which a plurality of pixels of the image sensor are irradiated with light, and at least 2 ⁇ corresponding to the same color square array pattern among the I ⁇ J pixels corresponding to the basic array pattern.
- the output value of each pixel of 2 pixels is acquired, and the output of each pixel of the 2 ⁇ 2 pixels over a plurality of the same color square array patterns for each position (upper left, upper right, lower left, and lower right) with respect to the circuit element of the characteristic
- the sensitivity of each pixel group (upper left pixel group, upper right pixel group, lower left pixel group, and lower right pixel group) for each position with respect to the circuit element having the above characteristics is obtained, and the sensitivity between these pixel groups is obtained.
- a photographing lens that forms incident subject light as a subject image, and switching between a light shielding state and a light irradiation state of the imaging device by opening and closing an optical path of the subject light from the photographing lens to the imaging device
- An opening / closing means; and the opening / closing means causes the imaging device to be in a light-shielded state, causes the detection means to detect a black level of each pixel of the imaging element, and causes the imaging device to be in a light irradiation state by the opening / closing means.
- Control means for detecting an output value of each pixel in the light irradiation state of the image sensor.
- control means causes the detection means to detect a black level in a light-shielded state in which the opening / closing means is closed when the imaging apparatus is turned on, and opens the opening / closing means to control the imaging device. Switching to the light irradiation state and setting the photographing lens to the defocused state, the detection means detects the sensitivity. That is, since characteristic information necessary for sensitivity difference correction is detected when the power is turned on, it is possible to appropriately correct the sensitivity difference in response to a change with time of the image sensor or a change in photographing environment.
- the photographing lens when the imaging apparatus is powered off, the photographing lens is set to a defocused state in a light irradiation state in which the opening / closing means is opened, and the detection means detects the sensitivity, and the imaging element is shielded from light. Then, the detection means is made to detect the black level. That is, since characteristic information necessary for sensitivity difference correction is detected when the power is turned off, the sensitivity difference can be corrected corresponding to a change with time without a time lag when the power is turned on.
- an instruction input unit that receives an input of a shooting instruction is provided, and the detection unit detects the sensitivity based on a captured image captured by the imaging device according to the shooting instruction. That is, since characteristic information necessary for sensitivity difference correction during normal shooting is detected, the sensitivity difference can be corrected in accordance with the shooting environment during shooting.
- the detection means outputs an output value of each pixel (k-th pixel) of 2 ⁇ 2 pixels corresponding to the same color square array pattern to a plurality of pixels having the same position with respect to the specific circuit element ( (K-th pixel group) is averaged to calculate characteristic information, and the output values of the pixels are averaged over the entire area corresponding to the captured image of the image sensor. That is, since the sensitivity is detected by averaging the output values of the pixels that are known in the entire area corresponding to the captured image, the sensitivity difference can be detected even when the imaging element is irradiated with subject light instead of uniform light. .
- the detection means outputs an output value of each pixel (k-th pixel) of 2 ⁇ 2 pixels corresponding to the same color square array pattern to a plurality of pixels having the same position with respect to the specific circuit element (
- the characteristic information is calculated by averaging in the (k-th pixel group), and the entire effective pixel region of the image sensor is divided into a plurality of divided areas, and the output values of the pixels are averaged for each divided area. That is, since the sensitivity is detected by averaging the output values of the pixels for each divided area, it is possible to cope with in-plane shading associated with the circuit layout of the image sensor.
- the present invention is an imaging device in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in a horizontal direction and a vertical direction, and the plurality of pixels are A specific circuit element is shared in units of 2 ⁇ 2 pixels, and the plurality of color filters include I ⁇ J color filters of three or more colors (I is the number in the horizontal direction, J is the vertical direction)
- the arranged basic arrangement pattern is repeatedly arranged in the horizontal direction and the vertical direction, and the arrangement period (I ⁇ J) of the basic arrangement pattern is composed of the specific circuit element and the 2 ⁇ 2 pixels.
- the basic array pattern includes 2 ⁇ 2 color filters respectively arranged on 2 ⁇ 2 pixels of the shared structure pattern and having the same color of ⁇ same color square array pattern consisting of two color filters to provide an imaging device that is present at least one.
- the present invention is a sensitivity difference correction method for an image sensor in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in a horizontal direction and a vertical direction,
- the plurality of pixels of the image pickup device share a specific circuit element in units of 2 ⁇ 2 pixels, and the plurality of color filters of the image pickup device include I ⁇ J (I ⁇ J (I Is the number of horizontal arrangements, J is the number of vertical arrangements), and the arrangement of the basic arrangement patterns is repeated in the horizontal and vertical directions.
- 2 ⁇ 2 pixels respectively arranged on the 2 ⁇ 2 pixels of the shared structure pattern in the basic array pattern.
- 2 At least one same color square array pattern composed of 2 ⁇ 2 color filters of the same color, and information on the sensitivity of 2 ⁇ 2 pixels corresponding to the same color square pattern, the same color square Information related to the sensitivity obtained from the output value of 2 ⁇ 2 pixels corresponding to the array pattern is stored in advance in a storage device, and 2 ⁇ 2 pixels corresponding to the same color square array pattern stored in the storage device is stored.
- a sensitivity difference correction method for correcting a sensitivity difference between I ⁇ J pixels corresponding to the basic array pattern of all the pixels of the image sensor using the sensitivity information is provided.
- the present invention it is possible to correct a sensitivity difference caused by a structure in which a plurality of pixels share a specific circuit element with low load and high accuracy, and to realize good color reproducibility, thereby obtaining a high-quality image. Obtainable.
- FIG. 1 is a block diagram showing an overall configuration of an example of an imaging apparatus according to the present invention.
- a diagram schematically showing a part of an image sensor The figure which shows an example of the color filter arrangement
- the figure which shows the effective pixel area of an image sensor Flowchart showing the flow of an embodiment of sensitivity difference correction processing Flowchart showing the flow of the first embodiment of the characteristic detection process The flowchart which shows the flow of 2nd Example of a characteristic detection process.
- FIG. 1 is a block diagram showing the overall configuration of an example of an imaging apparatus according to the present invention.
- the imaging device is not limited to a single camera, and may include various information devices and electronic devices such as a mobile phone with camera, a smartphone with camera, a tablet computer with camera, and a music player with camera.
- the imaging apparatus 100 includes a photographing lens 10 that forms incident subject light as a subject image, an imaging element 12 that captures a subject image formed by the photographing lens 10, and subject light that extends from the photographing lens 10 to the imaging element 12.
- a mechanical shutter 14 (opening / closing means) that switches between a light shielding state and a light irradiation state of the image pickup device 12 by opening and closing the optical path 13 of the image pickup device 12 and predetermined analog signal processing are performed on the analog image signal output from the image pickup device 12.
- a compression / decompression processing unit 24 that performs compression processing and expansion processing on an image signal, an image input / output unit 26 that inputs / outputs digital image data, and a compressed digital image signal is captured via the image input / output unit 26.
- the image sensor 12 is composed of a CMOS (Complementary Metal Metal Oxide Semiconductor) image sensor.
- FIG. 2 schematically shows the structure of a specific 2 ⁇ 2 pixel that is a part of the image sensor 12.
- the imaging device 12 is configured by arranging a plurality of color filters 64 on a plurality of pixels 62 made of photoelectric conversion elements arranged two-dimensionally in the horizontal direction x and the vertical direction y.
- the plurality of pixels 62 share an amplifier 66 (amplifying element) as a specific circuit element in units of 2 ⁇ 2 pixels. As shown in FIG.
- the plurality of color filters 64 is a 6 ⁇ 6 pixel basic array pattern in which color filters 64 of three or more colors (in this example, three colors of R, G, and B) are mixed and arranged.
- BP is repeatedly arranged in the horizontal direction x and the vertical direction y.
- 2 ⁇ 2 color filters each corresponding to 2 ⁇ 2 pixels of the shared structure, and the same color square array pattern composed of 2 ⁇ 2 color filters of the same color (G in this example) Is included.
- the basic array pattern BP will be described in detail later.
- the subject image formed on the image sensor 12 by the photographing lens 10 is converted into a signal charge corresponding to the amount of incident light by the photoelectric conversion element constituting the pixel 62 of the image sensor 12.
- the signal charge accumulated in each photoelectric conversion element is sequentially read out from the imaging element 12 as a voltage signal (image signal) corresponding to the amount of the signal charge based on a drive pulse given from the driver 32 in accordance with a command from the control unit 50.
- Image signals read from the image sensor 12 are R, G, and B image signals corresponding to the color filter array of the image sensor 12.
- the analog image signal read from the image sensor 12 is subjected to analog signal processing by the analog signal processing unit 16, converted to a digital image signal by the AD conversion unit 18, and temporarily stored in the image memory 20. .
- the temporarily stored digital image signal is subjected to various types of digital signal processing such as sensitivity difference correction, white balance correction, gamma correction, luminance signal and color difference signal generation, contour correction, color correction, and the like by the digital signal processing unit 22. Is given.
- the image signal subjected to such digital signal processing is subjected to compression processing in accordance with the JPEG standard or the like by the compression / decompression processing unit 24 and then recorded on the recording medium 27 such as a memory card by the image input / output unit 26. Is done.
- the digital image signal is displayed and output on a display unit 28 such as a liquid crystal monitor.
- the imaging apparatus 100 detects a characteristic information storage unit 40 that stores information (characteristic information) for correcting a sensitivity difference between a plurality of pixels over the entire effective pixel region of the imaging element 12 and the characteristic information.
- a characteristic information detection unit 42 and a control unit 50 that controls each unit of the imaging apparatus 100 are provided.
- the characteristic information detection unit 42 is a light irradiation state in which a plurality of pixels of the image sensor 12 are irradiated with light.
- the I ⁇ J pixels corresponding to the basic array pattern BP at least 2 ⁇ corresponding to the same color square array pattern GP. The output value of each pixel of two pixels is detected as sensitivity.
- the characteristic information detection unit 42 configures a shared structure pattern CP among the I ⁇ J pixels corresponding to the basic array pattern BP in a light-shielded state where a plurality of pixels of the image sensor are shielded from light. The output value of each pixel is detected as a black level.
- the characteristic information storage unit 40 of this example is configured by a nonvolatile memory.
- the characteristic information storage unit 40 is characteristic information for correcting a sensitivity difference between pixels caused by sharing the amplifier 66 as characteristic information for sensitivity difference correction, and the basic array pattern BP shown in FIG. Characteristic information relating to only 2 ⁇ 2 pixels corresponding to the same-color square array pattern GP among the I ⁇ J pixels corresponding to is stored.
- the control unit 50 controls black level detection and sensitivity detection of the image sensor 12.
- the black level detection control the control unit 50 closes (shields) the optical path 13 with the mechanical shutter 14 to place the image sensor 12 in a light-shielding state, and the characteristic information detection unit 42 sets the same color square arrangement pattern GP of the image sensor 12 to the light.
- the black level of each corresponding pixel is detected, and the black level of each pixel is stored in the characteristic information storage unit 40.
- the control unit 50 opens (opens) the optical path 13 with the mechanical shutter 14 to bring the image sensor 12 into the light irradiation state, and the characteristic information detector 42 has the same color square array of the image sensor 12.
- the sensitivity of each pixel corresponding to the pattern GP is detected, and the sensitivity of each pixel is stored in the characteristic information storage unit 40. Then, the control unit 50 obtains a correction value for each pixel of the I ⁇ J pixel corresponding to the basic array pattern BP, based on the sensitivity and black level of each pixel of 2 ⁇ 2 pixels corresponding to the same color square array pattern GP.
- control unit 50 uses the characteristic information for sensitivity difference correction stored in the characteristic information storage unit 40 to the digital signal processing unit 22 (sensitivity difference correction unit), and uses the effective pixel region of the image sensor 12.
- the sensitivity difference between a plurality of pixels is corrected over the entire area.
- the digital signal processing unit 22 uses the characteristic information of only 2 ⁇ 2 pixels corresponding to the same color square array pattern GP among the I ⁇ J pixels corresponding to the basic array pattern BP shown in FIG.
- the sensitivity difference between I ⁇ J pixels corresponding to the basic array pattern BP is corrected over the entire effective pixel area of the image sensor 12.
- the proof of sensitivity difference correction will be described in detail later.
- FIG. 3 shows an example of an array of color filters 64 (hereinafter referred to as “color filter array”) provided in the image sensor 12. On each pixel, any one of the color filters of the three primary colors of red (R), green (G), and blue (B) is disposed.
- the pixel 62 made of the photoelectric conversion element is hidden by the color filter 64, and the amplifier 66 is originally hidden by the color filter 64 similarly, but the shared structure of the amplifier 66 can be determined. I drew it through the amplifier 66.
- the color filter array shown in FIG. 3 has the following first to third characteristics.
- the color filter array shown in FIG. 3 is a basic array in which color filters 64 of three colors (R, G, B) are mixed and arranged in a square array (6 in the horizontal direction and 6 in the vertical direction in this example).
- a pattern BP pattern indicated by a thick frame
- R, G, and B color filters are arrayed with a predetermined periodicity.
- the R filter, the G filter, and the B filter are arranged with a predetermined periodicity in this way, a synchronization (interpolation) process (also referred to as a demosaic process) of R, G, and B signals read from the image sensor is performed.
- the processing can be performed according to a repeating pattern.
- the arrangement period (6 ⁇ 6) of the basic array pattern BP is equal to the horizontal direction x compared to the arrangement period (2 ⁇ 2) of the shared structure CP composed of the amplifier 66 and 2 ⁇ 2 pixels. And 3 times in both the vertical direction y.
- Within the basic array pattern BP there are 2 ⁇ 2 color filters 64 corresponding to 2 ⁇ 2 pixels (shared square array pattern) of the amplifier sharing structure, and the same color composed of 2 ⁇ 2 color filters 64 of the same color. At least one square array pattern GP is included.
- 2 ⁇ 2 color filters (color filters of the same color square array pattern CP) whose positions match in both the horizontal direction x and the vertical direction y are aligned with 2 ⁇ 2 pixels of the amplifier sharing structure.
- the basic array pattern BP includes the color filters of the same color square array pattern GP whose positions match in both the horizontal direction x and the vertical direction y to the 2 ⁇ 2 pixels of the shared structure.
- the resulting sensitivity difference can be easily detected based on the output value of 2 ⁇ 2 pixels corresponding to the same color square array pattern GP.
- FIG. 4 shows one basic array pattern BP. Since color filters and pixels (photoelectric conversion elements) are arranged one-on-one, it can be said that FIG. 4 shows 6 ⁇ 6 pixels corresponding to one basic array pattern BP. That is, in the figure, “G” is a pixel with a green (G) color filter, “R” is a pixel with a red (R) color filter, and “B” is a pixel with a blue (B) color filter.
- G is a pixel with a green (G) color filter
- R is a pixel with a red (R) color filter
- B is a pixel with a blue (B) color filter.
- the actual image sensor 12 has a structure in which one amplifier 66 is shared by 2 ⁇ 2 four pixels as indicated by broken lines in the drawing, and the positional relationship with the amplifier 66 (upper left, upper right, lower left, lower right). Accordingly, since the structures (layouts) are different between pixels of the same color (for example, a-1 and b-2), a minute characteristic difference occurs between pixels of the same color. In other words, a periodic pattern of geometric noise is generated on the captured image due to a minute output difference (sensitivity difference) between pixels of the same color that should originally have the same output value. There is a case.
- the entire pixel group is positioned relative to the amplifier 66 (upper left, upper right, lower left, lower right) as can be performed by a conventional Bayer array CMOS image sensor. Accordingly, it is conceivable to perform detection and correction of the characteristic difference in four groups of pixels (upper left pixel group, upper right pixel group, lower left pixel group, lower right pixel group).
- the color filter array in which the basic array pattern BP is repeatedly arranged as shown in FIG. 3 it is difficult to detect and correct the characteristic difference by dividing into four groups of pixels. In particular, even if the sensitivity difference is divided into four groups of pixels and averaged for each pixel group, an appropriate value cannot be obtained.
- the arrangement of the R, G, and B color filters and the mixing ratio of each color are the same for any shared structure pattern CP.
- FIGS. 2 to 4 there are 2 ⁇ 2 color filters 64 arranged on the 2 ⁇ 2 pixels of the shared structure pattern CP in the basic array pattern BP, respectively.
- a structure is employed in which at least one same-color square array pattern GP composed of 2 ⁇ 2 color filters 64 of the same color exists.
- four pixels c-2, d-3, c-4, d-4 in FIG. 4
- four sets of pixel groups corresponding to these four pixels
- the average sensitivity and the average black level are calculated as characteristic information.
- the “sensitivity difference” can be represented by a ratio (or difference) of sensitivity between pixels.
- FIG. 5 shows an example of the sensitivity and black level of the amplifier shared pixel in one shared structure pattern GP corresponding to one square array pattern GP of the same color.
- the sensitivity difference between four pixels (c-3, d-3, c-4, d-4) is relative to the sensitivity of the pixel at a specific position (c-3) as a reference (“100”). Value.
- the black level difference between the four pixels is a relative value based on the black level of the pixel at the specific position (c-3) as a reference (“1024”).
- FIG. 6 shows the entire effective pixel region 70 of the image sensor 12.
- the effective pixel region 70 is a region that can be output as an image signal and in which sensitivity difference correction is guaranteed, among all the regions where the pixels 62 of the image sensor 12 are formed.
- the number of pixels of the basic array pattern BP (the number of pixels I in the horizontal direction x and the number of pixels J in the vertical direction) and the basic array among the effective pixel regions (regions that can be output as image signals) of the image sensor 12.
- the effective pixel region 70 is an area of the number of pixels ((I ⁇ M) ⁇ (J ⁇ N) pixels) corresponding to the number of repetitions of the pattern BP (the number of repetitions M in the horizontal direction x and the number of repetitions N in the vertical direction y). is there.
- the upper left of the effective pixel area 70 is the origin (0, 0), m is an integer from 0 to (M ⁇ 1), and n is an integer from 0 to (N ⁇ 1).
- the c-3 pixel is the upper left pixel (first pixel)
- the d-3 pixel is the upper right pixel (second pixel)
- the c-4 pixel is the lower left pixel (third pixel)
- d ⁇ 4 pixel is the lower right pixel (fourth pixel).
- the average value of the sensitivity (the output value of the pixel in the light irradiation state) is calculated over N ⁇ M (first pixel group) of the upper left pixel.
- an average value of sensitivity is calculated over N ⁇ M pixels (second pixel group) in the upper right pixel.
- an average value of sensitivity is calculated over N ⁇ M (third pixel group) of the lower left pixels.
- the average value of sensitivity is calculated over N ⁇ M (fourth pixel group) of the lower right pixels. That is, the average value of sensitivity is calculated for each of the four pixel groups.
- the average value of the black level is calculated for each of the four pixel groups, similarly to the sensitivity.
- each basic array pattern BP includes at least one same-color square array pattern GP made up of 2 ⁇ 2 color filters of the same color corresponding to the shared structure pattern CP. It is possible to detect and correct the sensitivity difference with high accuracy by dividing the basic array pattern BP into 4 groups of 2 ⁇ 2 pixels corresponding to only the same color square array pattern GP. That is, the sensitivity difference due to the shared structure of the amplifier 66 can be detected and corrected easily and accurately.
- the horizontal direction is x
- the vertical direction is y
- the upper left is the origin (0, 0).
- the number of repetitions in the horizontal direction x of the basic array pattern BP (consisting of I ⁇ J color filters) is M
- the number of repetitions in the vertical direction y is N
- each of the M ⁇ N basic array patterns BP is m and n (m is an integer from 0 to M ⁇ 1, and n is an integer from 0 to N ⁇ 1).
- the relative coordinates of the upper left pixel (reference pixel) of the same color square array pattern GP with reference to the upper left coordinates (I ⁇ m, I ⁇ n) of the basic array pattern BP are defined as (a, b).
- the coordinate position C [k] of the k-th pixel (k is an integer from 1 to 4) in the 2 ⁇ 2 pixels of the same color corresponding to the same color square array pattern GP in each basic array pattern BP is expressed by the following equation: It is represented by
- the output value of the k-th pixel in a state (light irradiation state) where at least the effective pixel region 70 of the image sensor 12 is irradiated with uniform light is Data (C [k]).
- the characteristic information detection unit 42 outputs the first pixel output value Data (C [1]) in each of at least two of the M ⁇ N basic array patterns BP.
- the output value Data (C [2]) of the second pixel, the output value Data (C [3]) of the third pixel, and the output value Data (C [4]) of the fourth pixel are acquired from the image memory 20,
- the average value S [k] of the output values Data (C [k]) of each kth pixel group over the two or more basic array patterns BP is calculated as sensitivity.
- the sensitivity S [k] when averaged with M ⁇ N basic array patterns BP is as follows.
- ⁇ indicates that the output value Data (x, y) is integrated by changing m from 0 to M ⁇ 1 and n from 0 to N ⁇ 1.
- M ⁇ N output values are averaged has been described as an example, but it is not necessary to average all M ⁇ N output values.
- the characteristic information detection unit 42 uses the same color square array pattern GP among the I ⁇ J pixels corresponding to the basic array pattern BP in a light irradiation state where a plurality of pixels of the image sensor are irradiated with light.
- the average value of the output values of the corresponding 2 ⁇ 2 pixels is detected as sensitivity.
- the characteristic information detection unit 42 extracts the maximum value Smax from the sensitivities S [1] to S [4], and outputs each of the output values Data (CC) of the 2 ⁇ 2 pixels constituting the shared structure pattern CP.
- the correction gain Gain [k] Smax / S [k] corresponding to [k]) is calculated.
- the correction gain is gain [k] as follows.
- First pixel correction gain Gain [1] Smax / S [1]
- Second pixel correction gain Gain [2] Smax / S [2]
- Correction gain of the third pixel Gain [3] Smax / S [3]
- Correction gain of the fourth pixel Gain [4] Smax / S [4] 6
- the number of repetitions in the horizontal direction x of the shared structure pattern CP in the effective pixel region 70 of the imaging device 12 in FIG. 6 is G
- the number of repetitions in the vertical direction y is H.
- indices indicating each shared structure pattern CP are g and h (g is an integer from 0 to G-1, and h is an integer from 0 to H-1).
- the coordinates CC [k] of the k-th pixel (k is an integer from 1 to 4) in the 2 ⁇ 2 pixels constituting each shared structure pattern CP are as follows.
- the characteristic information detection unit 42 is based on the output value of only 2 ⁇ 2 pixels corresponding to the same color square array pattern GP among the I ⁇ J pixels corresponding to the basic array pattern BP at the time of uniform light irradiation. Then, correction gains Gain [1] to [4] for correcting the output value Data (x, y) of each pixel in the entire effective pixel region 70 at the time of photographing are calculated.
- the number of repetitions of the shared structure pattern CP in the horizontal direction x is G
- the number of repetitions in the vertical direction y is H
- the kth in each shared structure pattern CP when the image sensor 12 is in a light-shielded state is BData (CC [k]).
- the characteristic information detection unit 42 is configured so that at least each of the two or more shared structure patterns CP among the G ⁇ H shared structure patterns CP is in a light-shielded state where at least the effective pixel region 70 of the image sensor 12 is shielded from light.
- the output value BData (CC [1]) of one pixel, the output value BData (CC [2]) of the second pixel, the output value BData (CC [3]) of the third pixel, and the output value BData (4 of the fourth pixel) CC [4]) is obtained, and an average value B [k] of the output values of each k-th pixel group over the two or more shared structure patterns CP is calculated.
- the average value B [k] when averaged over G ⁇ H shared structure patterns CP is as follows.
- Average value B [1] of first pixel group ⁇ K (2 ⁇ g + 2, 2 ⁇ h + 2) / (G ⁇ H)
- Average value B [2] of the second pixel group ⁇ K (2 ⁇ g + 3, 2 ⁇ h + 2) / (G ⁇ H)
- Average value B [3] of the third pixel group ⁇ K (2 ⁇ g + 2, 2 ⁇ h + 3) / (G ⁇ H)
- Average value B [4] of the fourth pixel group ⁇ K (2 ⁇ g + 3, 2 ⁇ h + 3) / (G ⁇ H)
- ⁇ indicates that the output value BData (x, y) is integrated by changing g from 0 to G ⁇ 1 and h from 0 to H ⁇ 1.
- the black level was averaged by G ⁇ H was explained as an example, it is not necessary to average all the black levels of G ⁇ H.
- the characteristic information detection unit 42 configures the shared structure pattern CP among the I ⁇ J pixels corresponding to the basic array pattern BP in a light-shielded state where at least the effective pixel region 70 of the image sensor 12 is shielded from light.
- the average value of the output values of the 2 ⁇ 2 pixels is detected as a black level.
- k is an integer of 1 to 4
- Data (CC [k]) is an output value before correction of the kth pixel in each shared structure pattern CP in the effective pixel region 70
- Data ′ (CC [ k]) is an output value after correction of the kth pixel in each shared structure pattern CP in the effective pixel region 70.
- control unit 50 uses the characteristic information of only 2 ⁇ 2 pixels corresponding to the same-color square arrangement pattern GP to the digital signal processing unit 22 for each basic arrangement pattern BP in the entire effective pixel region 70.
- the sensitivity difference between I ⁇ J pixels corresponding to the array pattern BP is corrected.
- FIG. 7 is a schematic flowchart showing a flow of an embodiment of sensitivity difference correction processing. This process is executed according to a program under the control of the control unit 50 in FIG.
- the characteristic information (correction gain Gain [k] and average value B [k] of the black level) indicating the sensitivity difference of only 2 ⁇ 2 pixels of the same color corresponding to the same color square array pattern GP of the image sensor 12 is characteristic information in advance. It is assumed that it is stored in the storage unit 40.
- the sensitivity difference correction process in steps S2 to S6 may be performed at any time. For example, it may be performed within the photographing process when a photographing instruction is input to the instruction input unit 29, or the captured image stored in the recording medium 27 may be read out.
- the average value B [k] of the black level is acquired from the characteristic information storage unit 40 (step S2).
- k is an integer of 1 to 4. That is, B [k] is a numerical value indicating the black level of each pixel (kth pixel) of 2 ⁇ 2 pixels corresponding to the same color square array pattern GP.
- B [k] is a black level over a plurality of basic array patterns BP. Average value (average value of black level of k-th pixel group).
- the correction gain Gain [k] is acquired from the characteristic information storage unit 40 (step S4).
- k is an integer of 1 to 4. That is, Gain [k] is a numerical value indicating a sensitivity difference between 2 ⁇ 2 pixels corresponding to the same color square array pattern GP, and in each basic array pattern BP in the entire effective pixel area of the image sensor 12. This is a correction coefficient for correcting a sensitivity difference between pixels of each shared structure pattern CP.
- the output value Data (x, y) of each pixel in the entire effective pixel region of the image sensor 12 is corrected using the correction gain Gain [k] and the average value B [k] of the black level.
- k is an integer of 1 to 4
- (x, y) is the xy coordinates of the pixels in the entire effective pixel region of the image sensor 12 shown in FIG.
- the processing time at the time of sensitivity difference correction can be shortened and the sensitivity difference correction can be performed. Processing can be simplified. Furthermore, since it is possible to accurately measure in advance in a preferable measurement environment, the correction accuracy can be increased.
- FIG. 8 is a schematic flowchart showing the flow of the first embodiment of the characteristic detection process. This process is executed according to a program under the control of the control unit 50 in FIG.
- step S12 It is determined whether or not the power of the imaging apparatus 100 is turned on (step S12).
- the characteristic detection process (steps S14 to S22) is executed.
- the mechanical shutter 14 is closed to place the image sensor 12 in a light-shielded state, and image capturing (light-shielded photographing) is performed (step S14).
- image capturing light-shielded photographing
- I ⁇ J pixels corresponding to the basic array pattern BP 2 ⁇ 2 corresponding to the same color square array pattern GP.
- the output value of each pixel with only pixels is detected as a black level, and an average value B [k] of the black level over a plurality of basic array patterns BP is calculated and stored in the characteristic information storage unit 40 (step S16).
- the mechanical shutter 14 is opened to place the image sensor 12 in the light irradiation state (step S18), and the photographing lens 10 is defocused to perform imaging (defocus exposure photographing) (step S20), and I corresponding to the basic array pattern BP.
- the output value of each pixel of only 2 ⁇ 2 pixels corresponding to the same color square array pattern GP is detected, and the correction gain G [k] is calculated and stored in the characteristic information storage unit 40 (step S22). ).
- the correction gain Gain [k] and the average value B [k] of the black level are measured and stored every time the image pickup apparatus 100 is turned on. Information that matches the changes over time and the shooting environment (temperature and lens at the time of shooting) can be obtained.
- FIG. 9 is a schematic flowchart showing the flow of the second embodiment of the characteristic detection process. This process is executed according to a program under the control of the control unit 50 in FIG.
- step S42 It is determined whether or not the power-off switch is ON, that is, whether or not a power-off instruction is input to the instruction input unit 29 of the imaging apparatus 100 (step S42).
- the characteristic detection process steps S14 to S54 is executed.
- Imaging is performed with the taking lens 10 in a defocused state (step S44), and only 2 ⁇ 2 pixels corresponding to the same color square array pattern GP among the I ⁇ J pixels corresponding to the basic array pattern BP.
- the output value of each pixel is detected, and the correction gain G [k] is calculated and stored in the characteristic information storage unit 40 (step S46).
- the mechanical shutter 14 is closed to place the image sensor 12 in a light-shielding state (step S48), image capturing (light-shielding photographing) is performed (step S50), and among the I ⁇ J pixels corresponding to the basic array pattern BP, the same color square array pattern GP is supported.
- the output value of each pixel of only 2 ⁇ 2 pixels is detected as the black level, and the average value B [k] of the black level over the plurality of basic array patterns BP is calculated and stored in the characteristic information storage unit 40 (step S52). ). Thereafter, the power supply of the imaging device 100 is turned off (step S54).
- the average value B [k] of the black level and the correction gain Gain [k] are detected and stored in the storage device.
- the imaging apparatus 100 is turned on and a shooting instruction is input to the instruction input unit 29, as described with reference to FIG. 7, information stored in the characteristic information storage unit 40 (B [k] And Gain [k]), the sensitivity difference between pixels of I ⁇ J pixels corresponding to the basic array pattern BP is corrected for each basic array pattern BP.
- the correction gain Gain [k] and the average value B [k] of the black level are measured every time the imaging apparatus 100 is turned off. Compared to the case where measurement is performed every time the power is turned on, it is possible to eliminate an increase in the time from when the power is turned on to when shooting is possible.
- FIG. 10 is a schematic flowchart showing a flow of an embodiment in which a characteristic detection process and a sensitivity difference correction process are performed during normal shooting. This process is executed according to a program under the control of the control unit 50 in FIG.
- the imaging apparatus 100 is already powered on and the mechanical shutter 14 is already closed (the imaging element 12 is in a light-shielding state).
- step S62 It is determined whether or not a shooting button has been input, that is, whether or not a shooting instruction has been input (step S62).
- characteristic detection processing steps S64 to 68 is executed.
- Imaging with the photographing lens focused on the subject is performed (step S64), and only 2 ⁇ 2 pixels corresponding to the same color square array pattern GP among the I ⁇ J pixels corresponding to the basic array pattern BP are obtained.
- the output value of each pixel is detected, the correction gain G [k] is calculated and stored in the characteristic information storage unit 40 (step S66).
- the average value B [k] of the black level is acquired from the characteristic information storage unit 40 (step S68).
- the output value Data (x, y) is corrected (step S70).
- the characteristic information detection unit 42 outputs the output value of each pixel (k-th pixel) of 2 ⁇ 2 pixels corresponding to the same color square array pattern GP to a plurality of pixels (k-th pixel group) whose positions with respect to the amplifier 66 are the same.
- the characteristic information detection unit 42 outputs the output value of each pixel (kth pixel) of 2 ⁇ 2 pixels corresponding to the same color square array pattern GP to a plurality of pixels (kth pixel group) whose positions with respect to the amplifier 66 are the same.
- the effective pixel region 70 of the image sensor 12 is divided into a plurality of divided areas, and each pixel (kth pixel) is divided into the divided areas. Average the output values.
- the pixel output values are averaged for each divided area, and the correction gain for correcting the sensitivity difference is obtained, so that shading can be handled.
- FIG. 13 The color filter arrangement of the first embodiment is shown in FIG. This color filter array is the same as the color filter array shown in FIG. However, in FIG. 13, the features other than the first feature (the periodicity in the horizontal direction and the vertical direction for each color) and the second feature (existence of one or more same-color square arrangement patterns) already described with reference to FIG. In order to explain the above, numbers indicating (x, y) coordinates are attached. Hereinafter, the first to second features will be omitted and the third to sixth features will be described.
- each color is one or more in each line in the horizontal direction x and the vertical direction y in the basic array pattern BP.
- G color filters
- Such lines exist at intervals of at least a repetition period (6 in the horizontal direction x, 6 in the vertical direction) of the basic array pattern BP in each of the horizontal direction x and the vertical direction y. With such a feature, generation of geometric noise of a periodic pattern is suppressed.
- the G filters corresponding to the luminance system pixels are arranged in the basic array pattern P so as to include two or more adjacent portions in each of the horizontal direction, the vertical direction, and the oblique direction (NE, NW).
- the G filter corresponding to the luminance system pixel is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, the synchronization processing in the high frequency region is performed regardless of the direction of high frequency. The reproduction accuracy can be improved.
- each color filter 64 constituting the same color square array pattern GP is the kth same color filter (k is an integer from 1 to 4 indicating the position with respect to the amplifier 66)
- the first same color filter Adjacent to a plurality of color filters (BRGGGBRG clockwise from the direction of 0 o'clock) and a second same color filter (upper right “G” with respect to amplifier 66)
- a plurality of color filters (BRGGGBRG clockwise from the 3 o'clock direction) and a plurality of color filters adjacent to the third same color filter (“G” in the lower left with respect to the amplifier 66) (clockwise from the 6 o'clock direction) BRGGGBRG) and a plurality of color filters adjacent to the fourth same color filter ("G" at the lower right with respect to the amplifier 66) (BRGGGBRG clockwise from the 9 o'clock direction)
- the number of each color combination (RGB) and colors (R2 pieces, G4 pieces, B2 pieces) are identical
- FIG. 14 shows a state in which the basic array pattern BP shown in FIG. 13 is divided into 4 ⁇ 3 ⁇ 3 pixels.
- the basic array pattern BP in the basic array pattern BP, a 3 ⁇ 3 pixel A array surrounded by a solid line frame and a 3 ⁇ 3 pixel B array surrounded by a broken line frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
- the G filters which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
- the B filter is arranged in the horizontal direction with the central G filter interposed therebetween, and the R filter is arranged in the vertical direction.
- the R filter is arranged in the horizontal direction with the central G filter interposed therebetween.
- the B filters are arranged in the vertical direction. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
- the basic array pattern BP shown in FIG. 13 is point-symmetric with respect to the center of the basic array pattern (the centers of the four G filters). Further, as shown in FIG. 14, the A array and the B array in the basic array pattern are also point-symmetric with respect to the central G filter, and are vertically (symmetric) line-symmetric. Further, as shown in FIG. 13, in the color filter array of the image sensor 12, the G filter is arranged in each line in the diagonal direction (NE, NW) of the color filter array, and the synchronization processing in the high frequency region It has the feature that the reproduction accuracy of can be further improved.
- FIG. 15 shows a second embodiment of the color filter array of the image sensor.
- this color filter array includes a basic array pattern BP (pattern indicated by a thick frame) composed of a square array pattern corresponding to 7 ⁇ 7 pixels, and the basic array pattern BP is horizontal and vertical. Repeatedly arranged in the direction. That is, this color filter arrangement is similar to the color filter arrangement of the first embodiment shown in FIG. 13, in which R, G, B color filters (R filter, G filter, B filter) are arranged with a predetermined periodicity. (First feature).
- 2 ⁇ 2 color filters (color filters of the same color square array pattern GP) whose positions match in both the horizontal direction x and the vertical direction y are aligned with 2 ⁇ 2 pixels of the amplifier sharing structure.
- the basic array pattern BP of the present embodiment is one in which an odd number of color filters are arranged in the horizontal direction x and the vertical direction y, respectively. Therefore, as shown in FIG. 16, the 2 ⁇ 2 patterns of the same color G are arranged so as to be shifted from each other by an odd number of pixels (one pixel in this example) in the horizontal direction x and the vertical direction y.
- the four pixels in the 2 ⁇ 2 pattern of the same color in both the horizontal direction x and the vertical direction y may be shifted. That is, the four pixels in the 2 ⁇ 2 pattern of the same color may be positioned at four positions (2n, 2m), (2n + 1, 2m), (2n, 2m + 1), and (2n + 1, 1m + 1). In other words, the 2 ⁇ 2 four color filters of the same color need only come to four different positions with respect to the amplifier 66.
- the plurality of square array patterns GP having the same color are shifted from each other by an odd number of pixels in this way, the same color matching the shared structure pattern (CP in FIG. 2) sharing the amplifier 66 in each basic array pattern BP. It is possible to ensure that at least one square arrangement pattern GP exists. By measuring the output value of each pixel of the same color square array pattern GP, it is possible to appropriately measure and correct the characteristic variation caused by the position of the pixel with respect to the amplifier 66.
- the image sensor having the color filters of the three primary colors of RGB has been described.
- the present invention is not limited to this, and as shown in the figure, the three primary colors of RGB + other colors (for example, emerald (E).
- the present invention can also be applied to an image pickup device having four color filters.
- the present invention can also be applied to an image pickup device having four color complementary color filters in which G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary colors RGB.
- the present invention can be applied to other circuit elements as long as the shared structure causes a sensitivity difference. Needless to say. Sensitivity correction in such a case is also included in the present invention.
- I and J are desirably 10 or less.
- Invention 1 An image sensor in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in the horizontal direction and the vertical direction, and sensitivity between the plurality of pixels of the image sensor
- An imaging device comprising: storage means for storing information for correcting the difference; and sensitivity difference correction means for correcting a sensitivity difference between the plurality of pixels of the image sensor using the information stored in the storage means.
- a plurality of pixels of the image sensor share a specific circuit element in units of 2 ⁇ 2 pixels, and a plurality of color filters of the image sensor include a mixture of color filters of three or more colors.
- I ⁇ J pieces (I is the number in the horizontal direction, J is the number in the vertical direction) are arranged repeatedly in the horizontal and vertical directions, and the arrangement period of the basic arrangement patterns (I ⁇ J ) Unlike the period (2 ⁇ 2) of the arrangement of the shared structure pattern composed of the specific circuit element and the 2 ⁇ 2 pixels, the basic arrangement pattern is arranged on the 2 ⁇ 2 pixels of the shared structure pattern, respectively.
- the storage means has 2 ⁇ 2 pixels corresponding to the same color square array pattern.
- the sensitivity difference correcting means stores the same color stored in the storage means
- An imaging apparatus that corrects a sensitivity difference of all pixels corresponding to a captured image of the imaging element using information on the sensitivity of 2 ⁇ 2 pixels corresponding to a square arrangement pattern.
- Invention 2 A detection means for detecting information related to the sensitivity from an output value of 2 ⁇ 2 pixels corresponding to the same-color square array pattern is provided, and the storage means stores the information related to the sensitivity detected by the detection means.
- the imaging device according to claim 1.
- Invention 3 The coordinate position of the k-th pixel (k is an integer from 1 to 4 indicating the position with respect to the specific circuit element) in the 2 ⁇ 2 pixels corresponding to the same-color square arrangement pattern is represented by C [k]
- the detection means outputs the first pixel output value Data (C) in each of the two or more basic array patterns in a light irradiation state where the plurality of pixels of the image sensor are irradiated with light. [1]), the output value Data (C [2]) of the second pixel, the output value Data (C [3]) of the third pixel, and the output value Data (C [4]) of the fourth pixel are obtained.
- the average value S [k] of the output value Data (C [k]) of each kth pixel group over the two or more basic array patterns is calculated as sensitivity, and the average of the output values of the first pixel group is calculated.
- Invention 5 When the coordinate position of the k-th pixel (k is an integer from 1 to 4 indicating the position with respect to the specific circuit element) in the 2 ⁇ 2 pixels of the shared structure pattern is CC [k]
- the detection means is configured to output the first pixel output value BData (CC [1]), the first pixel value in each of the two or more shared structure patterns in a light-shielded state where the plurality of pixels of the image sensor are shielded from light.
- the output value BData (CC [2]) of two pixels, the output value BData (CC [3]) of the third pixel, and the output value BData (CC [4]) of the fourth pixel are acquired, and the two or more An average value B [k] of the output values BData [k] of each k-th pixel group over the shared structure pattern is calculated, and the storage means uses the average value B [k] obtained by the detection means as a black level.
- Invention 6 When the corrected output value in 2 ⁇ 2 pixels of each shared structure pattern is Data ′ (CC [k]) (k is an integer from 1 to 4 indicating the position with respect to the specific circuit element)
- the imaging apparatus according to claim 5, wherein the sensitivity difference correction means calculates Data ′ (CC [k]) Data (CC [k]) ⁇ B [k] ⁇ Gain [k].
- Invention 7 A photographing lens for forming incident subject light as a subject image, and an opening / closing means for switching between a light shielding state and a light irradiation state of the imaging element by opening and closing an optical path of the subject light from the photographing lens to the imaging element And the opening / closing means puts the imaging element in a light-shielded state, causes the detection means to detect the black level B [k] of the imaging element, and sets the imaging element to a light irradiation state by the opening / closing means to the detection means.
- the control means causes the detection means to detect a black level B [k] in a light-shielded state in which the opening / closing means is closed when the imaging apparatus is turned on, and opens the opening / closing means to open the imaging
- the control means sets the photographing lens to a defocused state in a light irradiation state in which the opening / closing means is opened when the imaging apparatus is turned off, and causes the detection means to detect sensitivity S [k].
- Invention 10 An instruction input unit that receives an input of a shooting instruction is provided, and the detection unit detects the sensitivity S [k] based on a captured image captured by the imaging device according to the shooting instruction.
- the imaging device according to any one of the above.
- the detection means outputs a plurality of pixels (k-th pixels) whose positions relative to the specific circuit element are the same as the output value of each pixel (k-th pixel) of 2 ⁇ 2 pixels corresponding to the same-color square array pattern. Any one of the inventions 2 to 10, wherein the information relating to the sensitivity is calculated by averaging the pixel group), and the output value of the pixel is averaged over the entire region corresponding to the captured image of the image sensor.
- the detection means outputs the output value of each pixel (k-th pixel) of 2 ⁇ 2 pixels corresponding to the same color square arrangement pattern to a plurality of pixels (k-th pixel) at the same position with respect to the specific circuit element.
- Information on the sensitivity is averaged over the pixel group), and the entire region corresponding to the captured image of the image sensor is divided into a plurality of divided areas, and the output value of the pixel is divided into each divided area.
- the imaging device according to any one of inventions 2 to 11, which is averaged.
- Invention 13 An imaging device in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in the horizontal direction and the vertical direction, and the plurality of pixels are 2 ⁇
- a specific circuit element is shared in units of two pixels, and the plurality of color filters include I ⁇ J color filters of three or more colors (I is the number in the horizontal direction and J is the number in the vertical direction).
- the arranged basic arrangement pattern is repeatedly arranged in the horizontal direction and the vertical direction, and the arrangement period (I ⁇ J) of the basic arrangement pattern is a shared structure pattern composed of the specific circuit element and the 2 ⁇ 2 pixels.
- each color filter constituting the same color square array pattern is a kth same color filter (k is an integer of 1 to 4), a plurality of color filters adjacent to the first same color filter; A plurality of color filters adjacent to the second same color filter, a plurality of color filters adjacent to the third same color filter, and a plurality of color filters adjacent to the fourth same color filter;
- Invention 15 The invention as set forth in Invention 13 or 14, wherein at least one of the plurality of color filters is arranged in each of the horizontal and vertical lines in the basic arrangement pattern when attention is paid to each of the plurality of colors. Image sensor.
- Invention 16 The invention in which the plurality of color filters have a line in which two or more types of color filters of the same color are arranged in the horizontal direction and the vertical direction when attention is paid to each of the plurality of colors.
- the imaging device according to any one of 13 to 15.
- Invention 17 Among the plurality of color filters, two or more color filters of a specific color contributing to obtain a luminance signal are adjacent to each other in a horizontal direction, a vertical direction, and an oblique direction in the basic array pattern.
- Invention 18 The imaging device according to any one of Inventions 13 to 17, wherein the basic array pattern has the same number of color filters in the horizontal direction as the number of color filters in the vertical direction.
- Invention 19 The image pickup device according to any one of Inventions 13 to 18, wherein the color filter array in the basic array pattern is color-aligned point-symmetrically with respect to the center of the basic array pattern.
- Invention 20 A first 3 ⁇ 3 array corresponding to 3 ⁇ 3 pixels, where G is green, red is R, and blue is B, and G filters are arranged at the center and four corners.
- a second 3 ⁇ 3 array in which a G filter is disposed, a B filter is disposed above and below the central G filter, and an R filter is disposed on the left and right is alternately arranged in the horizontal and vertical directions.
- the imaging device according to any one of inventions 13 to 19, which is configured.
- the basic array pattern includes a plurality of 2 ⁇ 2 array patterns composed of 2 ⁇ 2 color filters of the same color, wherein the number of color filters in the horizontal direction and the number of color filters in the vertical direction are odd numbers.
- the image pickup device according to any one of inventions 13 to 19, wherein these 2 ⁇ 2 array patterns are arranged with a position shifted by an odd number of pixels in each of the horizontal direction and the vertical direction.
- Invention 22 A method for correcting a difference in sensitivity of an imaging device in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in a horizontal direction and a vertical direction.
- the plurality of pixels share a specific circuit element in a unit of 2 ⁇ 2 pixels, and the plurality of color filters of the image pickup element include I ⁇ J color filters (I is horizontal) by mixing color filters of three or more colors.
- the number of directions, J is the number in the vertical direction) is arranged repeatedly in the horizontal direction and the vertical direction, and the arrangement period (I ⁇ J) of the basic array pattern is the specific circuit element.
- 2 ⁇ 2 pixels arranged on 2 ⁇ 2 pixels of the shared structure pattern in the basic array pattern unlike the cycle (2 ⁇ 2) of arrangement of the shared structure pattern composed of 2 ⁇ 2 pixels.
- Information related to the sensitivity obtained from the output value of 2 ⁇ 2 pixels corresponding to the pattern is stored in advance in a storage device, and the 2 ⁇ 2 pixels corresponding to the square array pattern of the same color stored in the storage device is stored.
- Invention 23 An image sensor in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in the horizontal direction and the vertical direction, and incident subject light is imaged as a subject image
- a photographing lens an opening / closing means for switching between a light shielding state and a light irradiation state of the imaging element by opening and closing an optical path of subject light from the photographing lens to the imaging element, an instruction input means for receiving an input of a photographing instruction,
- a sensitivity difference correction method for the imaging element in an imaging apparatus including a storage device for storing information, wherein a plurality of pixels of the imaging element share a specific circuit element in units of 2 ⁇ 2 pixels, and the imaging
- the plurality of color filters of the element is a basic array pattern in which I ⁇ J (I is the number in the horizontal direction and J is the number in the vertical direction) arrayed by mixing color filters of three or more colors.
- the arrangement period (I ⁇ J) of the basic array pattern is the arrangement period of the shared circuit pattern composed of the specific circuit element and the 2 ⁇ 2 pixels.
- the basic array pattern there are 2 ⁇ 2 color filters respectively arranged on 2 ⁇ 2 pixels of the shared structure pattern, and 2 ⁇ 2 colors of the same color
- the output value of each pixel of 2 ⁇ 2 pixels corresponding to the arrangement pattern is detected as a black level, the image sensor is brought into a light irradiation state by the opening / closing means, and the photographing lens is In the defocused state, an output value of each pixel of 2 ⁇ 2 pixels corresponding to the square array pattern of the same color among the I ⁇ J
- the information related to the sensitivity of the corresponding 2 ⁇ 2 pixels and the black level are stored in a storage device, and when a shooting instruction is input to the instruction input unit, the basic information is stored using the information stored in the storage device.
- Invention 24 An imaging device in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in the horizontal direction and the vertical direction, and incident subject light as an object image
- a photographing lens an opening / closing means for switching between a light shielding state and a light irradiation state of the imaging element by opening and closing an optical path of subject light from the photographing lens to the imaging element
- an instruction input means for receiving an input of a photographing instruction
- a sensitivity difference correction method for the imaging element in an imaging apparatus including a storage device for storing information, wherein a plurality of pixels of the imaging element share a specific circuit element in units of 2 ⁇ 2 pixels, and the imaging
- the plurality of color filters of the element is a basic array pattern in which I ⁇ J (I is the number in the horizontal direction and J is the number in the vertical direction) arrayed by mixing color filters of three or more colors.
- the arrangement period (I ⁇ J) of the basic array pattern is the arrangement period of the shared circuit pattern composed of the specific circuit element and the 2 ⁇ 2 pixels.
- the basic array pattern there are 2 ⁇ 2 color filters respectively arranged on 2 ⁇ 2 pixels of the shared structure pattern, and 2 ⁇ 2 colors of the same color
- At least one square array pattern of the same color composed of filters exists, and when the image pickup apparatus is turned off, the photographing lens is set to a defocused state in a light irradiation state in which the opening / closing means is opened, and corresponds to the basic array pattern
- the output value of each pixel of 2 ⁇ 2 pixels corresponding to the square array pattern of the same color among detected I ⁇ J pixels is detected as sensitivity, and the imaging element is detected by the opening / closing means.
- the output value of each pixel of 2 ⁇ 2 pixels corresponding to the square array pattern of the same color among the I ⁇ J pixels corresponding to the basic array pattern is detected as a black level, and the square array pattern of the same color is detected.
- the information regarding the sensitivity of 2 ⁇ 2 pixels corresponding to the above and the black level are stored in a storage device, and when a shooting instruction is input to the instruction input unit, the information stored in the storage device is used, A sensitivity difference correction method for correcting a sensitivity difference between I ⁇ J pixels corresponding to a basic array pattern.
- Invention 25 An image sensor in which a plurality of color filters are respectively arranged on a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally in the horizontal direction and the vertical direction, and incident subject light is imaged as a subject image
- characteristic information regarding the sensitivity of 2 ⁇ 2 pixels corresponding to the same color square arrangement pattern is stored in a storage device, and the storage device is stored at the time of the next shooting.
- the sensitivity difference correction method for correcting the sensitivity difference between pixels I ⁇ J pixels corresponding to the basic array pattern is used.
- DESCRIPTION OF SYMBOLS 10 ... Shooting lens, 12 ... Image sensor, 13 ... Optical path, 14 ... Mechanical shutter, 22 ... Digital signal processing part (sensitivity difference correction means), 40 ... Characteristic information storage part, 42 ... Characteristic information detection part, 50 ... Control part, 62 ... Pixel, 64 ... Color filter, 66 ... Amplifier, 100 ... Imaging device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
撮像素子12は、3色以上の各色のカラーフィルタを混在させてI×J個配列した基本配列パターンが水平方向及び垂直方向に繰り返し配置され、前記基本配列パターンの配置の周期(I×J)は、共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、特性情報記憶部40は、前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶し、制御部50及びデジタル信号処理部22は、特性情報記憶部40に記憶されている前記同色正方配列パターンに対応した2×2画素の情報を用いて、撮像素子12の全ての画素の感度差を補正する。
Description
本発明は、複数の画素で特定の回路素子を共有する構造を有した撮像装置、撮像素子及び感度差補正方法に関する。
CMOS(Complementary Metal Oxide Semiconductor;相補型金属酸化膜半導体)の撮像素子は、低消費電力であり、デジタルカメラ、携帯電話などの各種の携帯型の撮像装置に用いられている。
CMOSの撮像素子では、基板上に必要なトランジスタの数を減らす技術として、複数画素で1つのアンプを共有する技術が広く使われている(特許文献1,2を参照)。
特に、2×2の4画素で1つのアンプを共有する共有構造が、カラーフィルタをベイヤ配列とした場合とのマッチングが良く、また、4画素の中心にアンプを配置して周辺に各画素の読み出しゲートを配置できる関係で、非常に多く使われている。
また、特許文献3には、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列とした撮像素子が開示されている。
しかしながら、図18に示すように、画素92上のカラーフィルタ94をベイヤ配列とし、かつ4つの画素92で1つのアンプ96を共有する構造では、アンプ共有構造に起因して画像の再現性が劣化する問題と、カラーフィルタ配列がベイヤ配列であることに起因して画像の再現性が劣化する問題とが混在しており、確実に感度差を補正して良好な色再現性を確保することは困難であった。
まず、アンプ共有構造では、アンプ96を共有した画素92のアンプ96に対する位置関係に応じて、同色の画素92間でも出力差が生じてしまう。つまり、アンプ96に対する位置が異なる画素92間で、下地のレイアウトの違い等に因り感度がばらつくために、画像の再現性に悪影響を与えるという問題があった。この問題は、画素サイズの微細化に伴って、より顕在化していた。
また、ベイヤ配列では、緑(G)画素を市松模様(チェッカー盤柄)状に配置し、赤(R)、青(B)を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き(色モアレ)が発生するという問題があった。
例えば、図19(A)部分に示すような白黒の縦縞模様(高周波画像)が、図19(B)部分に示すベイヤ配列の撮像素子に入射した場合、これをベイヤの色配列に振り分けて色ごとに比較すると、図19(C)部分から(E)部分に示すように、Rは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、RGB間に濃度差(レベル差)は起きない白黒画像が、色配列と入力周波数によっては色が付いた状態となってしまう。
また、図20(A)部分に示すような斜めの白黒の高周波画像が、図20(B)部分に示すベイヤ配列の撮像素子に入射した場合、これをベイヤの色配列に振り分けて色ごとに比較すると、図20(C)部分から(E)部分に示すように、RとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤ配列では、斜めの高周波画像を正しく再現することができない。
特許文献1、2には、アンプ共有構造に起因した問題については記載されているが、ベイヤ配列に起因した問題については何も記載されておらず、両方の問題を容易に解決可能な構成を示唆する記載もない。また、ベイヤ配列を前提とした感度差の補正については記載されているが、ベイヤ配列以外のカラーフィルタ配列とした場合には実際には応用できない。また、特許文献1はハードウェアの調整手段を開示しているのみであり、特許文献1に記載の構成ではレンズ交換や経時変化や環境変化に対応することが困難である。特許文献2にはベイヤ配列且つ2画素共有を前提した解決手法が記載されているのみである。
また、従来のベイヤ配列では、アンプ共有構造の繰り返し周期(2×2)と、カラーフィルタの基本配列(GB/RG)の繰り返し周期(2×2)とが同じなので、単に4つの位置別に補正すればよいが、特許文献3に記載のように、カラーフィルタの配列をランダム化すると、感度差の補正処理が複雑化するという新たな問題が生じる。また、敢えて複雑な処理を行おうとしても、カラーフィルタの配色のランダム性に因り、色再現性を確実かつ十分に確保することは困難である。さらには、カラーフィルタの配色のランダム性に因り、同時化処理が複雑になるという別の問題もある。
したがって、特許文献1~3の記載事項を組み合わせることにより、ランダムな色配列のカラーフィルタを備え、同色の画素間で感度差を検出して補正する構成にしてみても、処理負荷の問題が生じる上に、実際には色再現性を十分に確保することも困難であると考えられる。
本発明はこのような事情に鑑みてなされたもので、複数の画素で特定の回路素子を共有する構造に起因した感度差を低負荷且つ高精度で補正するとともに、良好な色再現性を実現することで、高画質の画像を得ることができる撮像装置、撮像素子及び感度差補正方法を提供することを目的とする。
前記目的を達成するために、本発明は、水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の複数の画素間の感度差を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記複数の画素間の感度差を補正する感度差補正手段とを備えた撮像装置であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記記憶手段は、前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶し、前記感度差補正手段は、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の感度差を補正する撮像装置を提供する。
即ち、カラーフィルタの基本配列パターンが水平方向及び垂直方向に繰り返し配置された撮像素子を備え、そのカラーフィルタの基本配列パターンには、特定の回路素子を共有した共有構造パターンの2×2画素とマッチングした2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、さらに、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の出力値から求められた情報を記憶する記憶手段と、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の感度差を補正する感度差補正手段を備えたので、複数の画素で特定の回路素子を共有する構造に起因した感度差を低負荷な処理で補正して色再現性を確保することができ、高画質の画像を得ることができる。
一実施形態では、前記同色正方配列パターンに対応した2×2画素の出力値から前記感度に関する情報を検出する検出手段を備え、前記記憶手段は、前記検出手段によって検出された前記感度に関する情報を記憶する。例えば、前記同色正方配列パターンに対応した2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をC[k]としたとき、前記検出手段は、前記撮像素子の前記複数の画素に光が照射された光照射状態で、二つ以上の前記基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を取得して、前記二つ以上の基本配列パターンにわたり各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出し、さらに、第1画素群の出力値の平均値S[1]、第2画素群の出力値の平均値S[2]、第3画素群の出力値の平均値S[3]及び第4画素群の出力値の平均値S[4]の比を示す情報を前記感度に関する情報として算出する。即ち、前記検出手段は、前記撮像素子の複数の画素に光が照射された光照射状態で、前記基本配列パターンに対応したI×J画素のうちで少なくとも前記同色正方配列パターンに対応した2×2画素の各画素の出力値を取得し、前記特性の回路素子に対する位置(左上、右上、左下、及び右下)ごとに複数の前記同色正方配列パターンにわたり前記2×2画素の各画素の出力値を平均することで、前記特性の回路素子に対する位置ごとの各画素群(左上画素群、右上画素群、左下画素群、及び右下画素群)の感度を求め、これらの画素群間の感度の比を前記感度に関する情報として前記記憶手段に記憶させる。よって、前記特性の回路素子に対する位置の数(2×2)に対応した情報を記憶するだけで済むので、記憶容量が少なくて済むだけでなく、感度検出処理の負荷が極めて低くなる。
一実施形態では、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、前記開閉手段によって前記撮像素子を遮光状態にして前記検出手段に前記撮像素子の各画素の黒レベルを検出させるとともに、前記開閉手段によって前記撮像素子を光照射状態にして前記検出手段に前記撮像素子の前記光照射状態での各画素の出力値を検出させる制御手段と、を備えた。
一実施形態では、前記制御手段は、撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて前記検出手段に黒レベルを検出させるとともに、前記開閉手段を開くことで前記撮像素子を光照射状態に切り替え且つ前記撮影レンズをデフォーカス状態に設定して、前記検出手段に感度を検出させる。即ち、電源オン時に感度差補正に必要な特性情報を検出するので、撮像素子の経時変化や撮影環境の変化に対応して適切に感度差を補正することができる。
一実施形態では、撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し前記検出手段に感度を検出させるとともに、前記撮像素子を遮光状態にして前記検出手段に黒レベルを検出させる。即ち、電源オフ時に感度差補正に必要な特性情報を検出するので、電源オン時にはタイムラグなく経時変化に対応して感度差を補正することができる。
一実施形態では、撮影指示の入力を受け付ける指示入力手段を備え、前記検出手段は、前記撮影指示に従って前記撮像素子で撮像された撮像画像に基づいて、前記感度を検出する。即ち、通常の撮影時に感度差補正に必要な特性情報を検出するので、撮影時の撮影環境に対応して感度差を補正することができる。
一実施形態では、前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して特性情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体にわたって前記画素の出力値を平均する。即ち、撮像画像に対応した領域の全体にわかって画素の出力値を平均することで感度を検出するので、均一光ではなく被写体光を撮像素子に照射した場合でも感度差を検出することができる。
一実施形態では、前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して特性情報を算出するものであって、前記撮像素子の実効画素領域の全体を複数の分割エリアに分割し、分割エリアごとに画素の出力値を平均する。即ち、分割エリアごとに画素の出力値を平均することで感度を検出するので、撮像素子の回路レイアウトに伴う面内シェーディングにも対応できる。
また、本発明は、水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子であって、前記複数の画素は、2×2画素単位で特定の回路素子を共有し、前記複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在する撮像素子を提供する。
また、本発明は水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶デバイスに予め記憶させておき、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法、を提供する。
本発明によれば、複数の画素で特定の回路素子を共有する構造に起因した感度差を低負荷且つ高精度で補正するとともに、良好な色再現性を実現することで、高画質の画像を得ることができる。
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
[撮像装置の全体構成]
図1は、本発明に係る撮像装置の一例の全体構成を示すブロック図である。ここで撮像装置とは、カメラ単体に限られず、カメラ付き携帯電話、カメラ付きスマートフォン、カメラ付きタブレット型コンピュータ、カメラ付き音楽プレーヤなどの各種の情報機器や電子機器を含みうる。
図1は、本発明に係る撮像装置の一例の全体構成を示すブロック図である。ここで撮像装置とは、カメラ単体に限られず、カメラ付き携帯電話、カメラ付きスマートフォン、カメラ付きタブレット型コンピュータ、カメラ付き音楽プレーヤなどの各種の情報機器や電子機器を含みうる。
撮像装置100は、入射した被写体光を被写体像として結像する撮影レンズ10と、撮影レンズ10によって結像された被写体像を撮像する撮像素子12と、撮影レンズ10から撮像素子12まで至る被写体光の光路13を開閉することで撮像素子12の遮光状態と光照射状態とを切り替えるメカシャッタ14(開閉手段)と、撮像素子12から出力されたアナログの画像信号に対して所定のアナログ信号処理を行うアナログ信号処理部16と、アナログ信号処理部16から出力された画像信号をアナログからデジタルに変換するAD変換部18と、デジタルの画像信号を一時記憶する画像メモリ20と、画像メモリ20に一時記憶されたデジタルの画像信号に対して所定のデジタル信号処理を行うデジタル信号処理部22と、デジタルの画像信号に対する圧縮処理及び伸張処理を行う圧縮伸張処理部24と、デジタルの画像データの入出力を行う画像入出力部26と、圧縮されたデジタルの画像信号が画像入出力部26を介して撮像画像として記録される記録メディア27と、デジタルの画像信号を撮像画像として表示する表示部28と、各種の指示が入力される指示入力部29と、撮影レンズ10を駆動するドライバ30と、撮像素子12を駆動するドライバ32と、メカシャッタ14を駆動するドライバ34を備える。
撮像素子12は、CMOS(Complementary Metal Oxide Semiconductor)撮像素子によって構成されている。撮像素子12のうちの一部である特定の2×2画素分の構造を図2に模式的に示す。この撮像素子12は、水平方向x及び垂直方向yの二次元で配列された光電変換素子からなる複数の画素62上に、複数のカラーフィルタ64がそれぞれ配置されて構成されている。また、複数の画素62は、2×2画素単位で特定の回路素子としてアンプ66(増幅素子)を共有している。複数のカラーフィルタ64は、図3に示すように、3色以上(本例ではR,G、Bの3色)の各色のカラーフィルタ64を混在させて配列した6×6画素の基本配列パターンBPを、水平方向x及び垂直方向yに繰り返し配置したものである。基本配列パターンBP内には共有構造の2×2画素にそれぞれ対応する2×2個のカラーフィルタであって同一色(本例ではG)の2×2個のカラーフィルタからなる同色正方配列パターンが少なくとも1つ含まれている。この基本配列パターンBPについては、後に詳説する。
撮影レンズ10によって撮像素子12に結像された被写体像は、撮像素子12の画素62を構成している光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部50の指令に従ってドライバ32から与えられる駆動パルスに基づいて、信号電荷の量に応じた電圧信号(画像信号)として撮像素子12から順次読み出される。撮像素子12から読み出される画像信号は、撮像素子12のカラーフィルタ配列に対応したR,G,Bの画像信号である。
撮像素子12から読み出されたアナログの画像信号は、アナログ信号処理部16によってアナログ信号処理を施された後、AD変換部18によってデジタルの画像信号に変換され、画像メモリ20に一時記憶される。この一時記憶されたデジタルの画像信号には、デジタル信号処理部22によって、感度差補正、ホワイトバランス補正、ガンマ補正、輝度信号及び色差信号の生成、輪郭補正、色補正等、各種のデジタル信号処理が施される。このようなデジタル信号処理が施された画像信号は、圧縮伸張処理部24によって、JPEG規格等に準拠した圧縮処理が施された後、画像入出力部26によってメモリカード等の記録メディア27に記録される。また、デジタルの画像信号は、液晶モニタ等の表示部28に表示出力される。
また、撮像装置100は、撮像素子12の実効画素領域の全域にわたる複数の画素間の感度差を補正するための情報(特性情報)を記憶する特性情報記憶部40と、前記特性情報を検出する特性情報検出部42と、撮像装置100の各部を制御する制御部50を備える。特性情報検出部42は、撮像素子12の複数の画素に光が照射された光照射状態で、基本配列パターンBPに対応したI×J画素のうちで少なくとも同色正方配列パターンGPに対応した2×2画素の各画素の出力値を感度として検出する。また、特性情報検出部42は、前記撮像素子の複数の画素が遮光された遮光状態で、基本配列パターンBPに対応したI×J画素のうちで共有構造パターンCPを構成している2×2画素の各画素の出力値を黒レベルとして検出する。
本例の特性情報記憶部40は、不揮発性のメモリによって構成されている。特性情報記憶部40は、感度差補正のための特性情報として、アンプ66を共有することに起因する画素間の感度差を補正するための特性情報であって、図3に示す基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみに関する特性情報を記憶する。
制御部50は、撮像素子12の黒レベル検出及び感度検出の制御を行う。制御部50は、黒レベル検出制御では、メカシャッタ14によって光路13を閉じる(遮蔽する)ことで、撮像素子12を遮光状態にして、特性情報検出部42に撮像素子12の同色正方配列パターンGPに対応した各画素の黒レベルを検出させて、その各画素の黒レベルを特性情報記憶部40に記憶させる。また、制御部50は、感度検出制御では、メカシャッタ14によってを光路13を開く(開放する)ことで、撮像素子12を光照射状態にして、特性情報検出部42に撮像素子12の同色正方配列パターンGPに対応した各画素の感度を検出させて、その各画素の感度を特性情報記憶部40に記憶させる。そして制御部50は、同色正方配列パターンGPに対応した2×2画素の各画素の感度及び黒レベルに基づいて、基本配列パターンBPに対応したI×J画素の各画素に対する補正値を求める。
また、制御部50は、デジタル信号処理部22(感度差補正手段)に、特性情報記憶部40に記憶されている感度差補正のための特性情報を用いて、撮像素子12の実効画素領域の全域にわたり複数の画素間の感度差を補正させる。具体的には、デジタル信号処理部22は、図3に示す基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの特性情報を用いて、撮像素子12の実効画素領域の全域にわたり、基本配列パターンBPに対応したI×J画素の画素間の感度差を補正する。尚、感度差補正の証左は、後に詳説する。
[カラーフィルタの配列の基本構成]
図3は、撮像素子12に設けられているカラーフィルタ64の配列(以下「カラーフィルタ配列」という)の一例を示している。各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
図3は、撮像素子12に設けられているカラーフィルタ64の配列(以下「カラーフィルタ配列」という)の一例を示している。各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
尚、図3にて、光電変換素子からなる画素62はカラーフィルタ64で隠れており、アンプ66も本来は同様にカラーフィルタ64で隠れて見えないが、アンプ66の共有構造が判別できるようにアンプ66を透視して描いた。
図3に示すカラーフィルタ配列は、下記の第1~第3の特徴を有している。
(第1の特徴)
図3に示すカラーフィルタ配列は、3色(R,G,B)の各色のカラーフィルタ64を混在させて正方配列(本例では水平方向に6個、垂直方向に6個)配列した基本配列パターンBP(太枠で示したパターン)を、水平方向x及び垂直方向yに繰り返し配置したものである。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
図3に示すカラーフィルタ配列は、3色(R,G,B)の各色のカラーフィルタ64を混在させて正方配列(本例では水平方向に6個、垂直方向に6個)配列した基本配列パターンBP(太枠で示したパターン)を、水平方向x及び垂直方向yに繰り返し配置したものである。即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている。
このようにRフィルタ、Gフィルタ、Bフィルタが所定の周期性をもって配列されているため、撮像素子から読み出されるR、G、B信号の同時化(補間)処理(デモザイク処理とも言う)等を行う際に、繰り返しパターンに従って処理を行うことができる。
(第2の特徴) 基本配列パターンBPの配置の周期(6×6)は、アンプ66及び2×2画素からなる共有構造CPの配置の周期(2×2)と比較して、水平方向x及び垂直方向yのいずれでも3倍である。基本配列パターンBP内にはアンプ共有構造の2×2画素(共有正方配列パターン)にそれぞれ対応する2×2個のカラーフィルタ64であって同一色の2×2個のカラーフィルタ64からなる同色正方配列パターンGPが少なくとも1つ含まれている。即ち、基本配列パターンBP内に、アンプ共有構造の2×2画素に水平方向x及び垂直方向yの両方で位置が一致する2×2個のカラーフィルタ(同色正方配列パターンCPのカラーフィルタ)が含まれている。
このように基本配列パターンBP内に、共有構造の2×2画素に水平方向x及び垂直方向yの両方で位置が一致する同色正方配列パターンGPのカラーフィルタを含んでいるので、アンプ共有構造に起因した感度差を、同色正方配列パターンGPに対応した2×2画素の出力値に基づいて、容易に検出することが可能となる。
[感度差の検出及び補正の原理]
次に、アンプ共有構造に起因した画素間の感度差の検出及び補正の原理について、図4、図5及び図6を用いて説明する。
次に、アンプ共有構造に起因した画素間の感度差の検出及び補正の原理について、図4、図5及び図6を用いて説明する。
図4は、ひとつの基本配列パターンBPを示す。カラーフィルタと画素(光電変換素子)とは一対一で配置されているので、図4は、ひとつの基本配列パターンBPに対応した6×6画素を示しているともいえる。つまり、図中、「G」は緑(G)のカラーフィルタ付きの画素、「R」は赤(R)のカラーフィルタ付きの画素、「B」は青(B)のカラーフィルタ付きの画素として見ることで、主として画素62、カラーフィルタ64及びアンプ66からなる撮像素子12の基本的な構成を容易に理解できる。
また、図中、基本配列パターンBPの左側には垂直方向yにおける配列位置を示す数字1~6を付し、上側には水平方向xにおける配列位置を示す英字a~fを付した。符号「G」の画素(a-1、c-1、d-1、b-2、e―2・・・等)は、全て同一色(G)のカラーフィルタ付きであるため、同じ感度及び同じ黒レベルであることが望まれる。同様に、符号「R」の画素(b-1、d-2、f-2、b-3、e―4・・・等)は、全て同一色(R)のカラーフィルタ付きであるため、同じ感度及び同じ黒レベルであることが望まれる。同様に、符号「B」の画素(e-1、a-2、c-2、e-3、b―4・・・等)は、全て同一色(B)のカラーフィルタ付きであるため、同じ感度及び同じ黒レベルであることが望まれる。
しかし、実際の撮像素子12は、図中に破線で示す通り、2×2の4画素で1つのアンプ66を共有する構造であり、アンプ66に対する位置関係(左上、右上、左下、右下)に応じて同一色の画素間(例えばa-1とb-2)で異なる構造(レイアウト)となっているため、同一色の画素間でも微小な特性差が生じる。つまり、本来は同一の出力値となるべき同一色の画素間で微小な出力差(感度差)が生じることに起因して、撮像画像上に周期的なパターンの幾何学的なノイズが発生する場合がある。
このような微小な特性差を補正するひとつの方法として、従来のベイヤ配列のCMOSイメージセンサで行い得るように、全体の画素群をアンプ66に対する位置関係(左上、右上、左下、右下)に応じて4組の画素群(左上画素群、右上画素群、左下画素群、右下画素群)に分けて特性差の検出及び補正を行うことが考えられる。しかし、図3に示したように基本配列パターンBPを繰り返し配置したカラーフィルタ配列では、4組の画素群に分けて特性差の検出及び補正を行うことが困難である。特に、感度差は、4組の画素群に分けて各画素群で平均しても、適切な値を求めることができない。つまり、従来のベイヤ配列では、いずれの共有構造パターンCPに対してもR、G、Bのカラーフィルタの配置及び各色の混在割合が同一であるが、図3のカラーフィルタ配列では、共有構造パターンCPによってR、G、Bのカラーフィルタの配置及び各色の混在割合が異なるため、基本配列パターンBPの配列数と同じ6×6=36組の画素群に分けないと、感度差の適切な検出及び補正を行うことができない。そうすると、必要な特性情報の記憶容量が増えるだけではなく、検出及び補正の処理の負荷が増大してしまうという問題がある。
そこで、本発明では、図2~図4に示したように、基本配列パターンBP内に、共有構造パターンCPの2×2画素上にそれぞれ配置された2×2個のカラーフィルタ64であって同一色の2×2個のカラーフィルタ64からなる同色正方配列パターンGPが少なくともひとつ存在する構造を採用している。また、同色正方配列パターンGPに対応した4画素(図4のc-2、d-3、c-4、d-4)のみに注目し、これらの4画素に対応する4組の画素群のそれぞれで、感度の平均及び黒レベルの平均を特性情報として算出する。尚「感度差」は、画素間の感度の比(又は差)で表すことができる。
図5は、ひとつの同色正方配列パターンGPに対応したひとつの共有構造パターンGP内におけるアンプ共有画素の感度と黒レベルの一例を示す。図中、4画素(c-3、d-3、c-4、d-4)間の感度差は、特定の位置(c-3)の画素の感度を基準(「100」)とした相対値である。4画素間の黒レベル差も同様に、特定の位置(c-3)の画素の黒レベルを基準(「1024」)とした相対値である。このように同色正方配列パターンGPの4画素の特性情報を注目する。
図6は、撮像素子12の実効画素領域70の全域を示す。実効画素領域70は、撮像素子12の画素62が形成された全領域のうちで画像信号として出力可能且つ感度差補正が保証される領域である。本例では、撮像素子12の有効画素領域(画像信号として出力可能な領域)のうちで、基本配列パターンBPの画素数(水平方向xに画素数I、垂直方向における画素数J)と基本配列パターンBPの繰り返し数(水平方向xの繰り返し数M、垂直方向yの繰り返し数N)とに対応した画素数((I×M)×(J×N)画素)の領域が実効画素領域70である。
実効画素領域70の左上を原点(0,0)とし、mを0から(M-1)までの整数、nを0から(N-1)までの整数とする。また、アンプ66の位置を基準に、c-3画素を左上画素(第1画素)、d-3画素を右上画素(第2画素)、c-4画素を左下画素(第3画素)、d-4画素を右下画素(第4画素)とする。そうすると、例えば、左上画素のN×M個(第1画素群)にわたって、感度(光照射状態での画素の出力値)の平均値を算出する。同様に、右上画素のN×M個(第2画素群)にわたって、感度の平均値を算出する。同様に、左下画素のN×M個(第3画素群)にわたって、感度の平均値を算出する。同様に、右下画素のN×M個(第4画素群)にわたって、感度の平均値を算出する。即ち、4つの画素群のそれぞれで、感度の平均値を算出する。
黒レベル(遮光状態での画素の出力値)についても、感度と同様に、4つの画素群のそれぞれで、黒レベルの平均値を算出する。
以上のように、本発明では、各基本配列パターンBP内に、共有構造パターンCPに対応した同一色の2×2個のカラーフィルタからなる同色正方配列パターンGPが少なくともひとつ存在しているので、基本配列パターンBPのうちで同色正方配列パターンGPのみに対応した2×2の4組の画素群に分けて、感度差を精度よく検出及び補正することができる。即ち、アンプ66の共有構造に起因した感度差を、容易、且つ、精度良く、検出及び補正することができる。
[感度差の検出及び補正の基本的な具体例]
次に、共有構造に起因した感度差の検出及び補正の基本的な例について、説明する。
次に、共有構造に起因した感度差の検出及び補正の基本的な例について、説明する。
図6に示した撮像素子12の実効画素領域70において、水平方向をx、垂直方向をyとして、左上を原点(0,0)とする。また、基本配列パターンBP(I×J個のカラーフィルタからなる)の水平方向xにおける繰り返し数をM、垂直方向yにおける繰り返し数をNとし、M×N個の基本配列パターンBPのうちの各基本配列パターンBPを示す指標をm、n(mは0からM-1までの整数、nは0からN-1までの整数)とする。また、基本配列パターンBPの左上座標(I×m,I×n)を基準とした同色正方配列パターンGPの左上画素(基準画素)の相対座標を(a,b)とする。そうすると、各基本配列パターンBP内の同色正方配列パターンGPに対応したアンプ共有の同色2×2画素における第k画素(kは1から4までの整数)の座標位置C[k]は、次式で表される。
第1画素(左上画素)の座標C[1]=(I×m+a、J×n+b)
第2画素(右上画素)の座標C[2]=(I×m+a+1,J×n+b)
第3画素(左下画素)の座標C[3]=(I×m+a,J×n+b+1)
第4画素(右下画素)の座標C[4]=(I×m+a+1,J×n+b+1)
図4の基本配列パターンBPでは、I=J=6、a=b=2であるから、第k画素の座標位置C[k]は、実際には次式となる。
第2画素(右上画素)の座標C[2]=(I×m+a+1,J×n+b)
第3画素(左下画素)の座標C[3]=(I×m+a,J×n+b+1)
第4画素(右下画素)の座標C[4]=(I×m+a+1,J×n+b+1)
図4の基本配列パターンBPでは、I=J=6、a=b=2であるから、第k画素の座標位置C[k]は、実際には次式となる。
第1画素(左上画素)の座標C[1]=(6×m+2,6×n+2)
第2画素(右上画素)の座標C[2]=(6×m+3,6×n+2)
第3画素(左下画素)の座標C[3]=(6×m+2,6×n+3)
第4画素(右下画素)の座標C[4]=(6×m+3,6×n+3)
次に、特性情報検出部42による感度検出の一例を説明する。
第2画素(右上画素)の座標C[2]=(6×m+3,6×n+2)
第3画素(左下画素)の座標C[3]=(6×m+2,6×n+3)
第4画素(右下画素)の座標C[4]=(6×m+3,6×n+3)
次に、特性情報検出部42による感度検出の一例を説明する。
撮像素子12の少なくとも実効画素領域70に均一な光を照射した状態(光照射状態)における第k画素の出力値をData(C[k])とする。
特性情報検出部42は、光照射状態で、M×Nの基本配列パターンBPのうちで少なくとも二つ以上の基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を画像メモリ20から取得し、前記二つ以上の基本配列パターンBPにわたる各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出する。
例えばM×N個の基本配列パターンBPで平均した場合の感度S[k]は次の通り。
第1画素群の感度S[1]=ΣData(6×m+2,6×n+2)/(M×N)
第2画素群の感度S[2]=ΣData(6×m+3,6×n+2)/(M×N)
第3画素群の感度S[3]=ΣData(6×m+2,6×n+3)/(M×N)
第4画素群の感度S[4]=ΣData(6×m+3,6×n+3)/(M×N)
ここで、Σは、mを0からM-1まで、nを0からN-1まで、それぞれ変化させて、出力値Data(x,y)を積算することを示す。尚、M×N個で出力値を平均した場合を例に説明したが、M×N個の全ての出力値を平均しなくてもよい。
第2画素群の感度S[2]=ΣData(6×m+3,6×n+2)/(M×N)
第3画素群の感度S[3]=ΣData(6×m+2,6×n+3)/(M×N)
第4画素群の感度S[4]=ΣData(6×m+3,6×n+3)/(M×N)
ここで、Σは、mを0からM-1まで、nを0からN-1まで、それぞれ変化させて、出力値Data(x,y)を積算することを示す。尚、M×N個で出力値を平均した場合を例に説明したが、M×N個の全ての出力値を平均しなくてもよい。
このようにして、特性情報検出部42は、前記撮像素子の複数の画素に光が照射された光照射状態で、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素の各画素の出力値の平均値を感度として検出する。
また、特性情報検出部42は、感度S[1]~S[4]のうちから最大値Smaxを抽出し、共有構造パターンCPを構成している2×2画素の各々の出力値Data(CC[k])に対応する補正ゲインGain[k]=Smax/S[k]を算出する。補正ゲインはGain[k]は、次式の通り。
第1画素の補正ゲインGain[1]=Smax/S[1]
第2画素の補正ゲインGain[2]=Smax/S[2]
第3画素の補正ゲインGain[3]=Smax/S[3]
第4画素の補正ゲインGain[4]=Smax/S[4]
尚、図6の撮像素子12の実効画素領域70における共有構造パターンCPの水平方向xにおける繰り返し数をG、垂直方向yにおける繰り返し数をHとし、共有構造パターンCPのG×H個のうちの各共有構造パターンCPを示す指標をg、h(gは0からG-1までの整数、hは0からH-1までの整数)とする。各共有構造パターンCPを構成している2×2画素における第k画素(kは1から4までの整数)の座標CC[k]は、次式の通りである。
第2画素の補正ゲインGain[2]=Smax/S[2]
第3画素の補正ゲインGain[3]=Smax/S[3]
第4画素の補正ゲインGain[4]=Smax/S[4]
尚、図6の撮像素子12の実効画素領域70における共有構造パターンCPの水平方向xにおける繰り返し数をG、垂直方向yにおける繰り返し数をHとし、共有構造パターンCPのG×H個のうちの各共有構造パターンCPを示す指標をg、h(gは0からG-1までの整数、hは0からH-1までの整数)とする。各共有構造パターンCPを構成している2×2画素における第k画素(kは1から4までの整数)の座標CC[k]は、次式の通りである。
第1画素(左上画素)の座標CC[1]=(2×g,2×h)
第2画素(右上画素)の座標CC[2]=(2×g+1,2×h)
第3画素(左下画素)の座標CC[3]=(2×g,2×h+1)
第4画素(右下画素)の座標CC[4]=(2×g+1,2×h+1)
このようにして、特性情報検出部42は、均一光照射時の基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの出力値に基づいて、撮影時の実効画素領域70の全域における各画素の出力値Data(x,y)を補正するための補正ゲインGain[1]~[4]を算出する。
第2画素(右上画素)の座標CC[2]=(2×g+1,2×h)
第3画素(左下画素)の座標CC[3]=(2×g,2×h+1)
第4画素(右下画素)の座標CC[4]=(2×g+1,2×h+1)
このようにして、特性情報検出部42は、均一光照射時の基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの出力値に基づいて、撮影時の実効画素領域70の全域における各画素の出力値Data(x,y)を補正するための補正ゲインGain[1]~[4]を算出する。
次に、特性情報検出部42による黒レベル検出の一例を説明する。
図6に示す実効画素領域70において、共有構造パターンCPの水平方向xにおける繰り返し数をG、垂直方向yにおける繰り返し数をHとし、共有構造パターンCPのG×H個のうちの各共有構造パターンを示す指標をg、h(gは0からG-1までの整数、hは0からH-1までの整数)とし、撮像素子12を遮光状態にしたときの各共有構造パターンCPにおける第k画素の出力値をBData(CC[k])とする。
特性情報検出部42は、撮像素子12の少なくとも実効画素領域70が遮光された遮光状態で、G×H個の共有構造パターンCPのうちで二つ以上の共有構造パターンCPの各々にて、第1画素の出力値BData(CC[1])、第2画素の出力値BData(CC[2])、第3画素の出力値BData(CC[3])、及び第4画素の出力値BData(CC[4])を取得し、前記二つ以上の共有構造パターンCPにわたる各第k画素群の出力値の平均値B[k]を算出する。例えばG×H個の共有構造パターンCPで平均した場合の平均値B[k]は次の通り。
第1画素群の平均値B[1]=ΣK(2×g+2,2×h+2)/(G×H)
第2画素群の平均値B[2]=ΣK(2×g+3,2×h+2)/(G×H)
第3画素群の平均値B[3]=ΣK(2×g+2,2×h+3)/(G×H)
第4画素群の平均値B[4]=ΣK(2×g+3,2×h+3)/(G×H)
ここで、Σは、gを0からG-1まで、hを0からH-1まで、それぞれ変化させて、出力値BData(x,y)を積算することを示す。尚、G×H個で黒レベルを平均した場合を例に説明したが、G×H個の全ての黒レベルを平均しなくてもよい。
第2画素群の平均値B[2]=ΣK(2×g+3,2×h+2)/(G×H)
第3画素群の平均値B[3]=ΣK(2×g+2,2×h+3)/(G×H)
第4画素群の平均値B[4]=ΣK(2×g+3,2×h+3)/(G×H)
ここで、Σは、gを0からG-1まで、hを0からH-1まで、それぞれ変化させて、出力値BData(x,y)を積算することを示す。尚、G×H個で黒レベルを平均した場合を例に説明したが、G×H個の全ての黒レベルを平均しなくてもよい。
このようにして、特性情報検出部42は、撮像素子12の少なくとも実効画素領域70が遮光された遮光状態で、基本配列パターンBPに対応したI×J画素のうちで共有構造パターンCPを構成している2×2画素の各画素の出力値の平均値を黒レベルとして検出する。
次に、制御部50及びデジタル信号処理部22による感度差補正の一例を説明する。
制御部50は、デジタル信号処理部22に、Data’(CC[k])=Data(CC[k])-B[k]×Gain[k]を演算させる。
ここで、kは1~4の整数であり、Data(CC[k])は実効画素領域70における各共有構造パターンCP内の第k画素の補正前の出力値であり、Data’(CC[k])は実効画素領域70における各共有構造パターンCP内の第k画素の補正後の出力値である。
このように制御部50は、デジタル信号処理部22に、同色正方配列パターンGPに対応した2×2画素のみの特性情報を用いて、実効画素領域70の全域における基本配列パターンBPごとに各基本配列パターンBPに対応したI×J画素の画素間の感度差を補正させる。
[予め特性情報を記憶しておく場合の感度差補正処理例]
図7は、感度差補正処理の実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図7は、感度差補正処理の実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
尚、撮像素子12の同色正方配列パターンGPに対応した同色2×2画素のみの感度差を示す特性情報(補正ゲインGain[k]及び黒レベルの平均値B[k])は、予め特性情報記憶部40に記憶されているものとする。
ステップS2~S6の感度差補正処理は、いずれのときに行ってもよい。例えば、指示入力部29に撮影指示が入力されたときの撮影処理内で行ってもよいし、記録メディア27に記憶された撮像画像を読み出して行ってもよい。
まず、特性情報記憶部40から黒レベルの平均値B[k]を取得する(ステップS2)。ここで、kは1~4の整数である。即ち、B[k]は、同色正方配列パターンGPに対応した2×2画素の各画素(第k画素)の黒レベルを示す数値であり、本例では複数の基本配列パターンBPにわたる黒レベルの平均値(第k画素群の黒レベルの平均値)である。
次に、特性情報記憶部40から補正ゲインGain[k]を取得する(ステップS4)。ここで、kは1~4の整数である。即ち、Gain[k]は、同色正方配列パターンGPに対応した2×2画素の画素間の感度差を示す数値であるとともに、撮像素子12の実効画素領域の全域における各基本配列パターンBP内の各共有構造パターンCPの画素間の感度差を補正するための補正係数である。
次に、補正ゲインGain[k]及び黒レベルの平均値B[k]を用いて、撮像素子12の実効画素領域の全域における各画素の出力値Data(x,y)を補正する。ここで、kは1~4の整数であり、(x、y)は図6に示した撮像素子12の実効画素領域の全域における画素のxy座標である。
このように本実施例では、予め補正ゲインGain[k]及び黒レベルの平均値B[k]を測定及び記憶しておくことで、感度差補正時における処理時間を短縮できるとともに、感度差補正処理を簡素化できる。さらに、予め好ましい測定環境で正確に測定しておくことが可能なので補正精度を高めることができる。
[特性検出処理の第1実施例]
図8は、特性検出処理の第1実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図8は、特性検出処理の第1実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
撮像装置100の電源がオンされたか否かの判定を行い(ステップS12)、電源がオンされたときには、特性検出処理(ステップS14~22)を実行する。
尚、メカシャッタ14は既に閉じられており、撮像素子12は遮光状態であるものとする。
メカシャッタ14を閉じて撮像素子12を遮光状態にし、撮像(遮光撮影)を行い(ステップS14)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を黒レベルとして検出し、複数の基本配列パターンBPにわたる黒レベルの平均値B[k]算出して、特性情報記憶部40に記憶させる(ステップS16)。
メカシャッタ14を開いて撮像素子12を光照射状態にし(ステップS18)、且つ撮影レンズ10をデフォーカス状態にして撮像(デフォーカス露光撮影)を行い(ステップS20)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を検出し、補正ゲインG[k]を算出して特性情報記憶部40に記憶させる(ステップS22)。
尚、指示入力部29に撮影指示が入力されたときには、図7を用いて説明したように、特性情報記憶部40に記憶されている情報(B[k]及びGain[k])を用いて、基本配列パターンBPごとに基本配列パターンBPに対応したI×J画素の画素間の感度差を補正する。
このように特性検出処理の第1実施例では、撮像装置100の電源オンごとに、補正ゲインGain[k]及び黒レベルの平均値B[k]を測定して記憶して事で、特性の経時変化や撮影環境(温度や撮影時のレンズ)に合致した情報を得ることができる。
[特性検出処理の第2実施例]
図9は、特性検出処理の第2実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図9は、特性検出処理の第2実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
電源オフスイッチONか否かの判定、即ち撮像装置100の指示入力部29に電源オフ指示が入力されたか否かの判定を行い(ステップS42)。電源オフ指示が入力されたときには、特性検出処理(ステップS14~54)を実行する。
尚、メカシャッタ14は既に開かれており、撮像素子12は光照射状態であるものとする。
撮影レンズ10をデフォーカス状態にして撮像(デフォーカス露光撮影)を行い(ステップS44)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を検出し、補正ゲインG[k]を算出して特性情報記憶部40に記憶させる(ステップS46)。
メカシャッタ14を閉じて撮像素子12を遮光状態にし(ステップS48)、撮像(遮光撮影)を行い(ステップS50)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を黒レベルとして検出し、複数の基本配列パターンBPにわたる黒レベルの平均値B[k]算出して、特性情報記憶部40に記憶させる(ステップS52)。その後、撮像装置100の電源をオフする(ステップS54)。
このように特性検出処理の第2実施例では、撮像装置100の電源オフ時に、黒レベルの平均値B[k]及び補正ゲインGain[k]を検出して記憶デバイスに記憶させる。
その後、撮像装置100の電源がオンされて指示入力部29に撮影指示が入力されたときには、図7を用いて説明したように、特性情報記憶部40に記憶されている情報(B[k]及びGain[k])を用いて、基本配列パターンBPごとに基本配列パターンBPに対応したI×J画素の画素間の感度差を補正する。
特性検出処理の第2実施例では、撮像装置100の電源オフごとに、補正ゲインGain[k]及び黒レベルの平均値B[k]を測定しておくので、第1実施例のように電源オンごとに測定する場合と比較して、電源オンから撮影可能となるまでの時間の増加を無くすことができる。
[通常撮影時に特性検出処理及び感度差補正処理を行う実施例]
図10は、通常撮影時に特性検出処理及び感度差補正処理を行う実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
図10は、通常撮影時に特性検出処理及び感度差補正処理を行う実施例の流れを示す概略フローチャートである。本処理は、図1の制御部50の制御によってプログラムに従って実行される。
尚、撮像装置100は既に電源オンされており、且つ、メカシャッタ14は既に閉じられている(撮像素子12は遮光状態である)ものとする。
撮影ボタンが入力されたか否かの判定、即ち撮影指示が入力されたか否かの判定を行い(ステップS62)、撮影指示が入力されたときには、特性検出処理(ステップS64~68)を実行する。
撮影レンズが被写体にフォーカスした状態の撮像(フォーカス露光撮影)を行い(ステップS64)、基本配列パターンBPに対応したI×J画素のうちで同色正方配列パターンGPに対応した2×2画素のみの各画素の出力値を検出し、補正ゲインG[k]を算出して特性情報記憶部40に記憶させる(ステップS66)。
黒レベルの平均値B[k]は特性情報記憶部40から取得する(ステップS68)。
出力値Data(x、y)を補正する(ステップS70)。
尚、図10を用いて撮影指示が入力されたときに特性検出処理を行う例を説明したが、撮影指示に限らず、ユーザからの指示に応じて、特性検出を行うようにしてもよい。
[特性情報の検出領域]
次に、特性情報の検出領域について説明する。
次に、特性情報の検出領域について説明する。
まず、画面全体の平均値を用いて補正ゲインを算出する場合について、説明する。
特性情報検出部42は、同色正方配列パターンGPに対応した2×2画素の各画素(第k画素)の出力値を、アンプ66に対する位置が同じである複数の画素(第k画素群)で平均して、補正ゲインGain[k]を算出する際に、図11に示すように撮像素子12の実効画素領域70の全体にわたって、画素の出力値を平均する。つまり、光照射状態での第k画素の出力値を実効画素領域70の全体にわたって平均することで感度S[k]を算出し、その感度S[k]を用いて補正ゲインGain[k](=Smax/S[k])を算出する。
次に、画面全体を複数のエリアに分割し、エリアごとに補正ゲインを算出する場合について、説明する。
特性情報検出部42は、同色正方配列パターンGPに対応した2×2画素の各画素(第k画素)の出力値を、アンプ66に対する位置が同じである複数の画素(第k画素群)で平均して補正ゲインGain[k]を算出する際に、図12に示すように撮像素子12の実効画素領域70を複数の分割エリアに分割し、分割エリアごとに、各画素(第k画素)の出力値を平均する。つまり、光照射状態での第k画素の出力値を分割エリアごとに平均することで感度S[k]を算出し、その感度S[k]を用いて補正ゲインGain[k](=Smax/S[k])を算出する。
本例では、分割エリアごとに画素の出力値を平均して、感度差補正のための補正ゲインを求めるため、シェーディングに対応することができる。
[カラーフィルタ配列の各種の実施例]
以下では、カラーフィルタ配列の各種の実施例を詳細に説明する。
以下では、カラーフィルタ配列の各種の実施例を詳細に説明する。
(カラーフィルタ配列の第1実施例)
第1実施例のカラーフィルタ配列を図13に示す。このカラーフィルタ配列は、図3に示したカラーフィルタ配列と同じである。ただし、図13では、図3を用いて既に説明した第1の特徴(各色ごとの水平方向及び垂直方向の周期性)及び第2の特徴(一以上の同色正方配列パターンの存在)以外の特徴を説明するため、(x、y)座標を示す数字を付してある。以下では、第1~第2の特徴を省略して、第3~第6の特徴について説明する。
第1実施例のカラーフィルタ配列を図13に示す。このカラーフィルタ配列は、図3に示したカラーフィルタ配列と同じである。ただし、図13では、図3を用いて既に説明した第1の特徴(各色ごとの水平方向及び垂直方向の周期性)及び第2の特徴(一以上の同色正方配列パターンの存在)以外の特徴を説明するため、(x、y)座標を示す数字を付してある。以下では、第1~第2の特徴を省略して、第3~第6の特徴について説明する。
第3の特徴について説明する。図13にて、基本配列パターンBPでは、複数色(R、G、B)の各色に注目したとき、各色がそれぞれ基本配列パターンBP内において水平方向x及び垂直方向yの各ラインに1つ以上配置されている。例えば、「G」のカラーフィルタ(以下では単に「G」という)が、基本配列パターンBP内において、水平方向ではx=0~5の各ラインに1個以上、垂直方向yではy=0~5の各ラインに1個以上、それぞれ配置されている。同様に、「R」のカラーフィルタ(以下では単に「R」という)が、基本配列パターンBP内において、水平方向xではx=0~5の各ラインに1個以上、垂直方向yではy=0~5の各ラインに1個以上、配置されている。同様に、「B」のカラーフィルタ(以下では単に「B」という)が、基本配列パターンBP内において、水平方向xではx=0~5の各ラインに1個以上、垂直方向yではy=0~5の各ラインに1個以上、配置されている。このような特徴により、色モワレ(偽色)の発生を抑制することができる。
第4の特徴について説明する。図13にて、複数のカラーフィルタでは、水平方向x及び垂直方向yのそれぞれにおいて、複数色(R、G、B)の各色に注目したとき、同一ライン上に同色のカラーフィルタが2種類以上の配置間隔で配置されているラインが存在する。例えば、y=0の水平ライン(図中で最も上の水平ライン)で「G」に注目したとき、座標(0,0)の「G」と座標(2、0)の「G」との間隔は2画素分、座標(2,0)の「G」と座標(3,0)の「G」との間隔は1画素分である。y=2、3、5の水平ラインも同様である。y=1の水平ライン(図中で上から2番目の水平ライン)で「B」に注目したとき、座標(0,1)の「B」と座標(2,1)の「B」との間隔は2画素分、座標(2,1)の「B」と座標(6,1)の「B」との間隔は4画素分である。同じy=1の水平ラインで「R」に注目したとき、座標(3,1)の「R」と座標(5,1)の「R」との間隔は2画素分、座標(5,1)の「R」と座標(9,1)の「R」との間隔は4画素分である。y=4の水平ラインも同様である。また、垂直方向のラインを各色ごとに見たときも同様である。このようなラインは、水平方向x及び垂直方向yのそれぞれにおいて、少なくとも基本配列パターンBPの繰り返し周期(水平方向xで6、垂直方向で6)以下の間隔で存在する。このような特徴により、周期的なパターンの幾何学的なノイズの発生が抑制される。
第5の特徴について説明する。輝度系画素に対応するGフィルタは、基本配列パターンP内において、水平方向、垂直方向、斜め方向(NE,NW)の各方向に2以上隣接する部分が含まれるように配置されている。
輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
第6の特徴について説明する。図13にて、同色正方配列パターンGPを構成している各カラーフィルタ64を第kの同色フィルタ(kはアンプ66に対する位置を示す1から4の整数)としたとき、第1の同色フィルタ(アンプ66に対して左上の「G」)に隣接する複数のカラーフィルタ(0時の方向から時計回りにBRGGGBRG)と、第2の同色フィルタ(アンプ66に対して右上の「G」)に隣接する複数のカラーフィルタ(3時の方向から時計回りにBRGGGBRG)と、第3の同色フィルタ(アンプ66に対して左下の「G」)に隣接する複数のカラーフィルタ(6時の方向から時計回りにBRGGGBRG)と、第4の同色フィルタ(アンプ66に対して右下の「G」)に隣接する複数のカラーフィルタ(9時の方向から時計回りにBRGGGBRG)とで、色の組み合わせ(RGB)及び各色ごとの数(R2個、G4個、B2個)が同一である。本例において、同一の同色正方配列パターン内では、いずれの同色フィルタに注目しても、隣接するカラーフィルタが時計回りにBRGGGBRGという順序で配列されている。つまり、いずれの同色フィルタも、同様な色配列で隣接するカラーフィルタに囲まれている。
図14は、図13に示した基本配列パターンBPを、3×3画素に4分割した状態に関して示している。図14に示すように基本配列パターンBPでは、実線の枠で囲んだ3×3画素のA配列と、破線の枠で囲んだ3×3画素のB配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。A配列及びB配列では、それぞれ輝度系画素であるGフィルタが4隅と中央に配置され、両対角線上に配置されている。また、A配列では、中央のGフィルタを挟んでBフィルタが水平方向に配列され、Rフィルタが垂直方向に配列され、一方、B配列では、中央のGフィルタを挟んでRフィルタが水平方向に配列され、Bフィルタが垂直方向に配列されている。即ち、A配列とB配列とは、RフィルタとBフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
また、図13に示した基本配列パターンBPは、その基本配列パターンの中心(4つのGフィルタの中心)に対して点対称になっている。また、図14に示すように、基本配列パターン内のA配列及びB配列も、それぞれ中心のGフィルタに対して点対称になっており、かつ上下左右が対称(線対称)になっている。さらに、図13に示すように、撮像素子12のカラーフィルタ配列では、Gフィルタが、カラーフィルタ配列の斜め方向(NE、NW)の各ライン内に配置されており、高周波領域での同時化処理の再現精度をより向上させることができるという特徴を有している。
(カラーフィルタ配列の第2実施例)
図15は、撮像素子のカラーフィルタ配列の第2実施例を示す。
図15は、撮像素子のカラーフィルタ配列の第2実施例を示す。
図15に示すように、このカラーフィルタ配列は、7×7画素に対応する正方配列パターンからなる基本配列パターンBP(太枠で示したパターン)を含み、この基本配列パターンBPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、図13に示した第1実施例のカラーフィルタ配列と同様、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が所定の周期性をもって配列されている(第1の特徴)。
また、基本配列パターンBP内は、アンプ共有構造の2×2画素に水平方向x及び垂直方向yの両方で位置が一致する2×2個のカラーフィルタ(同色正方配列パターンGPのカラーフィルタ)を含んでいる(第2の特徴)。
ただし、本実施例の基本配列パターンBPは、水平方向x及び垂直方向yにそれぞれ奇数個のカラーフィルタを配置したものである。よって、図16に示すように、同色Gの2×2パターンは、互いに水平方向x及び垂直方向yのそれぞれに奇数画素(本例では1画素)分だけ位置をずらして配置されている。
図17のように、水平方向x及び垂直方向yの両方方向で同色の2×2パターン内の4画素をずらして配置してもよい。即ち、同色の2×2パターン内の4画素が(2n,2m),(2n+1,2m),(2n,2m+1),(2n+1,1m+1)の4種類の位置に来るようにすればよい。言い換えると、2×2の4つの同色カラーフィルタが、アンプ66に対して異なる4つの位置に来ればよい。
このように複数の同色正方配列パターンGPが互いに奇数画素分だけずらして配置されているため、各基本配列パターンBP内に、アンプ66を共有した共有構造パターン(図2のCP)に整合する同色正方配列パターンGPが必ず一つ以上存在するようにすることができる。この同色正方配列パターンGPの各画素の出力値を測定することで、アンプ66に対する画素の位置に起因した特性のばらつきを適切に測定及び補正することができる。
(その他)
上記実施例では、RGBの3原色のカラーフィルタを有する撮像素子について説明したが、本発明は、これに限らず、図に示すように、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有する撮像素子にも適用できる。
上記実施例では、RGBの3原色のカラーフィルタを有する撮像素子について説明したが、本発明は、これに限らず、図に示すように、RGBの3原色+他の色(例えば、エメラルド(E))の4色のカラーフィルタを有する撮像素子にも適用できる。
また、本発明は、原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタを有する撮像素子にも適用できる。
以上、複数の画素でアンプ(増幅素子)のみを共有した場合を例に説明したが、感度差の原因となる共有構造であれば、他の回路素子の場合でも、本発明を適用できることは、言うまでもない。そのような場合の感度補正も本発明に含まれる。
また、基本配列パターンBPが6×6フィルタ、7×7フィルタの場合のみを図示したが、他のフィルタ数(8×8、9×9、・・・)であってもよいことは、言うまでもない。ただし、同時化処理(デモザイク処理)、動画撮影時の間引き処理等の画像処理の容易さを考えると、I及びJは10以下であることが望ましい。
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
本明細書は、以下の発明を開示している。
発明1:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の複数の画素間の感度差を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記複数の画素間の感度差を補正する感度差補正手段とを備えた撮像装置であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記記憶手段は、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶し、前記感度差補正手段は、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の撮像画像に対応した全体の画素の感度差を補正する撮像装置。
発明2:前記同色正方配列パターンに対応した2×2画素の出力値から前記感度に関する情報を検出する検出手段を備え、前記記憶手段は、前記検出手段によって検出された前記感度に関する情報を記憶する発明1に記載の撮像装置。
発明3:前記同色正方配列パターンに対応した2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をC[k]としたとき、前記検出手段は、前記撮像素子の前記複数の画素に光が照射された光照射状態で、二つ以上の前記基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を取得して、前記二つ以上の基本配列パターンにわたり各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出し、さらに、第1画素群の出力値の平均値S[1]、第2画素群の出力値の平均値S[2]、第3画素群の出力値の平均値S[3]及び第4画素群の出力値の平均値S[4]の比を示す情報を前記感度に関する情報として算出する発明2に記載の撮像装置。
発明4:前記検出手段は、前記出力値の平均値S[k](kは1から4までの整数)のうちから最大値Smaxを抽出し、補正ゲインGain[k]=Smax/S[k]を前記感度に関する情報として算出する発明3に記載の撮像装置。
発明5:前記共有構造パターンの2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をCC[k]としたとき、前記検出手段は、前記撮像素子の前記複数の画素が遮光された遮光状態で、二つ以上の前記共有構造パターンの各々にて、第1画素の出力値BData(CC[1])、第2画素の出力値BData(CC[2])、第3画素の出力値BData(CC[3])、及び第4画素の出力値BData(CC[4])を取得して、前記二つ以上の共有構造パターンにわたる各第k画素群の出力値BData[k]の平均値B[k]を算出し、前記記憶手段は、前記検出手段によって得られた平均値B[k]を黒レベルとして記憶する発明2に記載の撮像装置。
発明6:前記各共有構造パターンの2×2画素における補正後の出力値をData’(CC[k])(kは前記特定の回路素子に対する位置を示す1から4までの整数)としたとき、前記感度差補正手段は、Data’(CC[k])=Data(CC[k])-B[k]×Gain[k]を演算する発明5に記載の撮像装置。
発明7:入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、前記開閉手段によって前記撮像素子を遮光状態にして前記検出手段に前記撮像素子の黒レベルB[k]を検出させるとともに、前記開閉手段によって前記撮像素子を光照射状態にして前記検出手段に前記撮像素子の感度S[k]を検出させる制御手段と、を備えた発明5又は6に記載の撮像装置。
発明8:前記制御手段は、撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて前記検出手段に黒レベルB[k]を検出させるとともに、前記開閉手段を開くことで前記撮像素子を光照射状態に切り替え且つ前記撮影レンズをデフォーカス状態に設定して、前記検出手段に感度S[k]を検出させる発明7に記載の撮像装置。
発明9:前記制御手段は、撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し前記検出手段に感度S[k]を検出させるとともに、前記撮像素子を遮光状態にして前記検出手段に黒レベルB[k]を検出させる発明7記載の撮像装置。
発明10:撮影指示の入力を受け付ける指示入力手段を備え、前記検出手段は、前記撮影指示に従って前記撮像素子で撮像された撮像画像に基づいて、前記感度S[k]を検出する発明2から9のいずれか1項に記載の撮像装置。
発明11:前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体にわたって前記画素の出力値を平均する発明2から10のいずれか1項に記載の撮像装置。
発明12:前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体を複数の分割エリアに分割し、分割エリアごとに画素の出力値を平均する発明2から11のいずれか1項に記載の撮像装置。
発明13:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子であって、前記複数の画素は、2×2画素単位で特定の回路素子を共有し、前記複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在する撮像素子。
発明14:前記同色正方配列パターンを構成している各カラーフィルタを第kの同色フィルタ(kは1から4の整数)としたとき、前記第1の同色フィルタに隣接する複数のカラーフィルタと、前記第2の同色フィルタに隣接する複数のカラーフィルタと、前記第3の同色フィルタに隣接する複数のカラーフィルタと、前記第4の同色フィルタに隣接する複数のカラーフィルタとで、色の組み合わせ及び各色ごとの数が同一である発明13に記載の撮像素子。
発明15:前記複数のカラーフィルタは、前記複数色の各色に注目したとき、それぞれ前記基本配列パターン内において水平方向及び垂直方向の各ラインに1つ以上配置されている発明13又は14に記載の撮像素子。
発明16:前記複数のカラーフィルタは、水平方向及び垂直方向のそれぞれにおいて、前記複数色の各色に注目したとき、同色のカラーフィルタが2種類以上の配置間隔で配列されているラインが存在する発明13から15のいずれか1項に記載の撮像素子。
発明17:前記複数のカラーフィルタのうちで、輝度信号を得るために寄与する特定の色のカラーフィルタは、前記基本配列パターン内において、水平方向、垂直方向、斜め方向の各方向に2以上隣接する部分が含まれるように配置されている発明13から15のいずれか1項に記載の撮像素子。
発明18:前記基本配列パターンは、水平方向におけるカラーフィルタの個数と垂直方向におけるカラーフィルタの個数とが同じである発明13から17のいずれか1項に記載の撮像素子。
発明19:前記基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称に色配列されている発明13から18のいずれか1項に記載の撮像素子。
発明20:緑色をG、赤色をR、青色をBとしたとき、3×3画素に対応する第1の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置されて左右にBフィルタが配置された第1の3×3配列と、3×3画素に対応する第2の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置されて左右にRフィルタが配置された第2の3×3配列とが、交互に水平方向及び垂直方向に配列されて構成されている発明13から19のいずれか1項に記載の撮像素子。
発明21:前記基本配列パターンは、水平方向におけるカラーフィルタの個数及び垂直方向におけるカラーフィルタの個数が奇数であって、同一色の2×2個のカラーフィルタからなる2×2配列パターンを複数含み、これらの2×2配列パターンは、互いに水平方向及び垂直方向のそれぞれに奇数画素分だけ位置をずらして配置されている発明13から19のいずれか1項に記載の撮像素子。
発明22:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶デバイスに予め記憶させておき、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
発明23:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出するとともに、前記開閉手段によって前記撮像素子を光照射状態にし且つ前記撮影レンズをデフォーカス状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
発明24:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出するとともに、前記開閉手段によって前記撮像素子を遮光状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
発明25:水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、前記指示入力手段に撮影指示入力が入力されて前記撮像素子によって被写体を撮影したとき、前記撮像素子によって取得された撮影画像に基づいて、前記基本配列パターンに対応したI×J画素のうちで少なくとも前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する特性情報を記憶デバイスに記憶させ、次回の撮影時には、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の特性情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
10…撮影レンズ、12…撮像素子、13…光路、14…メカシャッタ、22…デジタル信号処理部(感度差補正手段)、40…特性情報記憶部、42…特性情報検出部、50…制御部、62…画素、64…カラーフィルタ、66…アンプ、100…撮像装置
Claims (25)
- 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、前記撮像素子の複数の画素間の感度差を補正するための情報を記憶する記憶手段と、前記記憶手段に記憶されている情報を用いて前記撮像素子の前記複数の画素間の感度差を補正する感度差補正手段とを備えた撮像装置であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記記憶手段は、前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶し、
前記感度差補正手段は、前記記憶手段に記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の撮像画像に対応した全体の画素の感度差を補正する撮像装置。 - 前記同色正方配列パターンに対応した2×2画素の出力値から前記感度に関する情報を検出する検出手段を備え、
前記記憶手段は、前記検出手段によって検出された前記感度に関する情報を記憶する請求項1に記載の撮像装置。 - 前記同色正方配列パターンに対応した2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をC[k]としたとき、
前記検出手段は、前記撮像素子の前記複数の画素に光が照射された光照射状態で、二つ以上の前記基本配列パターンの各々にて、第1画素の出力値Data(C[1])、第2画素の出力値Data(C[2])、第3画素の出力値Data(C[3])、及び第4画素の出力値Data(C[4])を取得して、前記二つ以上の基本配列パターンにわたり各第k画素群の出力値Data(C[k])の平均値S[k]を感度として算出し、さらに、第1画素群の出力値の平均値S[1]、第2画素群の出力値の平均値S[2]、第3画素群の出力値の平均値S[3]及び第4画素群の出力値の平均値S[4]の比を示す情報を前記感度に関する情報として算出する請求項2に記載の撮像装置。 - 前記検出手段は、前記出力値の平均値S[k](kは1から4までの整数)のうちから最大値Smaxを抽出し、補正ゲインGain[k]=Smax/S[k]を前記感度に関する情報として算出する請求項3に記載の撮像装置。
- 前記共有構造パターンの2×2画素における第k画素(kは前記特定の回路素子に対する位置を示す1から4までの整数)の前記撮像素子における座標位置をCC[k]としたとき、
前記検出手段は、前記撮像素子の前記複数の画素が遮光された遮光状態で、二つ以上の前記共有構造パターンの各々にて、第1画素の出力値BData(CC[1])、第2画素の出力値BData(CC[2])、第3画素の出力値BData(CC[3])、及び第4画素の出力値BData(CC[4])を取得して、前記二つ以上の共有構造パターンにわたる各第k画素群の出力値BData[k]の平均値B[k]を算出し、
前記記憶手段は、前記検出手段によって得られた平均値B[k]を黒レベルとして記憶する請求項2に記載の撮像装置。 - 前記各共有構造パターンの2×2画素における補正後の出力値をData’(CC[k])(kは前記特定の回路素子に対する位置を示す1から4までの整数)としたとき、
前記感度差補正手段は、Data’(CC[k])=Data(CC[k])-B[k]×Gain[k]を演算する請求項5に記載の撮像装置。 - 入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、前記開閉手段によって前記撮像素子を遮光状態にして前記検出手段に前記撮像素子の黒レベルB[k]を検出させるとともに、前記開閉手段によって前記撮像素子を光照射状態にして前記検出手段に前記撮像素子の感度S[k]を検出させる制御手段と、を備えた請求項5又は6に記載の撮像装置。
- 前記制御手段は、撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて前記検出手段に黒レベルB[k]を検出させるとともに、前記開閉手段を開くことで前記撮像素子を光照射状態に切り替え且つ前記撮影レンズをデフォーカス状態に設定して、前記検出手段に感度S[k]を検出させる請求項7に記載の撮像装置。
- 前記制御手段は、撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し前記検出手段に感度S[k]を検出させるとともに、前記撮像素子を遮光状態にして前記検出手段に黒レベルB[k]を検出させる請求項7に記載の撮像装置。
- 撮影指示の入力を受け付ける指示入力手段を備え、前記検出手段は、前記撮影指示に従って前記撮像素子で撮像された撮像画像に基づいて、前記感度S[k]を検出する請求項2から9のいずれか1項に記載の撮像装置。
- 前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体にわたって前記画素の出力値を平均する請求項2から10のいずれか1項に記載の撮像装置。
- 前記検出手段は、前記同色正方配列パターンに対応した2×2画素の各画素(第k画素)の出力値を、前記特定の回路素子に対する位置が同じである複数の画素(第k画素群)で平均して、前記感度に関する情報を算出するものであって、前記撮像素子の撮像画像に対応した領域の全体を複数の分割エリアに分割し、分割エリアごとに画素の出力値を平均する請求項2から11のいずれか1項に記載の撮像装置。
- 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子であって、
前記複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在する撮像素子。 - 前記同色正方配列パターンを構成している各カラーフィルタを第kの同色フィルタ(kは1から4の整数)としたとき、前記第1の同色フィルタに隣接する複数のカラーフィルタと、前記第2の同色フィルタに隣接する複数のカラーフィルタと、前記第3の同色フィルタに隣接する複数のカラーフィルタと、前記第4の同色フィルタに隣接する複数のカラーフィルタとで、色の組み合わせ及び各色ごとの数が同一である請求項13に記載の撮像素子。
- 前記複数のカラーフィルタは、前記複数色の各色に注目したとき、それぞれ前記基本配列パターン内において水平方向及び垂直方向の各ラインに1つ以上配置されている請求項13又は14に記載の撮像素子。
- 前記複数のカラーフィルタは、水平方向及び垂直方向のそれぞれにおいて、前記複数色の各色に注目したとき、同色のカラーフィルタが2種類以上の配置間隔で配列されているラインが存在する請求項13から15のいずれか1項に記載の撮像素子。
- 前記複数のカラーフィルタのうちで、輝度信号を得るために寄与する特定の色のカラーフィルタは、前記基本配列パターン内において、水平方向、垂直方向、斜め方向の各方向に2以上隣接する部分が含まれるように配置されている請求項13から15のいずれか1項に記載の撮像素子。
- 前記基本配列パターンは、水平方向におけるカラーフィルタの個数と垂直方向におけるカラーフィルタの個数とが同じである請求項13から17のいずれか1項に記載の撮像素子。
- 前記基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称に色配列されている請求項13から18のいずれか1項に記載の撮像素子。
- 緑色をG、赤色をR、青色をBとしたとき、3×3画素に対応する第1の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にRフィルタが配置されて左右にBフィルタが配置された第1の3×3配列と、3×3画素に対応する第2の3×3配列であって、中心と四隅にGフィルタが配置され、中心のGフィルタを挟んで上下にBフィルタが配置されて左右にRフィルタが配置された第2の3×3配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項13から19のいずれか1項に記載の撮像素子。
- 前記基本配列パターンは、水平方向におけるカラーフィルタの個数及び垂直方向におけるカラーフィルタの個数が奇数であって、同一色の2×2個のカラーフィルタからなる2×2配列パターンを複数含み、これらの2×2配列パターンは、互いに水平方向及び垂直方向のそれぞれに奇数画素分だけ位置をずらして配置されている請求項13から19のいずれか1項に記載の撮像素子。
- 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記同色正方配列パターンに対応した2×2画素の感度に関する情報であって前記同色正方配列パターンに対応した2×2画素の出力値から求められた感度に関する情報を記憶デバイスに予め記憶させておき、
前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報を用いて、前記撮像素子の全ての画素の前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。 - 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記撮像装置の電源オン時に、前記開閉手段が閉じられた遮光状態にて、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出するとともに、前記開閉手段によって前記撮像素子を光照射状態にし且つ前記撮影レンズをデフォーカス状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、
前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。 - 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、前記撮影レンズから前記撮像素子に至る被写体光の光路を開閉することで撮像素子の遮光状態と光照射状態とを切り替える開閉手段と、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記撮像装置の電源オフ時に、前記開閉手段が開かれた光照射状態にて前記撮影レンズをデフォーカス状態に設定し、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出するとともに、前記開閉手段によって前記撮像素子を遮光状態にして、前記基本配列パターンに対応したI×J画素のうちで前記同色正方配列パターンに対応した2×2画素の各画素の出力値を黒レベルとして検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する情報及び前記黒レベルを記憶デバイスに記憶させ、
前記指示入力手段に撮影指示が入力されたとき、前記記憶デバイスに記憶されている情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。 - 水平方向及び垂直方向の二次元で配列された光電変換素子からなる複数の画素上に、複数のカラーフィルタがそれぞれ配置されている撮像素子と、入射した被写体光を被写体像として結像する撮影レンズと、撮影指示の入力を受け付ける指示入力手段と、情報を記憶する記憶デバイスとを備えた撮像装置における前記撮像素子の感度差補正方法であって、
前記撮像素子の複数の画素は、2×2画素単位で特定の回路素子を共有し、
前記撮像素子の複数のカラーフィルタは、3色以上の各色のカラーフィルタを混在させてI×J個(Iは水平方向の個数、Jは垂直方向の個数)配列した基本配列パターンを水平方向及び垂直方向に繰り返し配置したものであり、前記基本配列パターンの配置の周期(I×J)は、前記特定の回路素子及び前記2×2画素からなる共有構造パターンの配置の周期(2×2)とは異なり、前記基本配列パターン内には前記共有構造パターンの2×2画素上にそれぞれ配置された2×2個のカラーフィルタであって同一色の2×2個のカラーフィルタからなる同色正方配列パターンが少なくともひとつ存在し、
前記撮影指示入力が入力されて前記撮像素子によって被写体を撮影したとき、前記撮像素子によって取得された撮影画像に基づいて、前記基本配列パターンに対応したI×J画素のうちで少なくとも前記同色正方配列パターンに対応した2×2画素の各画素の出力値を感度として検出し、前記同色正方配列パターンに対応した2×2画素の前記感度に関する特性情報を記憶デバイスに記憶させ、
次回の撮影時には、前記記憶デバイスに記憶されている前記同色正方配列パターンに対応した2×2画素の特性情報を用いて、前記基本配列パターンに対応したI×J画素の画素間の感度差を補正する感度差補正方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201280034640.3A CN103650487B (zh) | 2011-07-13 | 2012-06-21 | 图像拾取设备、图像拾取元件,和用于校正灵敏度差异的方法 |
JP2013523873A JP5528627B2 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置、撮像素子及び感度差補正方法 |
US14/152,315 US8810697B2 (en) | 2011-07-13 | 2014-01-10 | Image pickup apparatus, image pickup element, and method for correcting sensitivity difference |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011155135 | 2011-07-13 | ||
JP2011-155135 | 2011-07-13 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/152,315 Continuation US8810697B2 (en) | 2011-07-13 | 2014-01-10 | Image pickup apparatus, image pickup element, and method for correcting sensitivity difference |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013008597A1 true WO2013008597A1 (ja) | 2013-01-17 |
Family
ID=47505895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/065832 WO2013008597A1 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置、撮像素子及び感度差補正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8810697B2 (ja) |
JP (1) | JP5528627B2 (ja) |
CN (1) | CN103650487B (ja) |
WO (1) | WO2013008597A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021518254A (ja) * | 2018-03-21 | 2021-08-02 | アクシン ウォーター テクノロジーズ インコーポレイテッドAxine Water Technologies Inc. | 廃水処理用のバイポーラ電極を備えた電解セル |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014007279A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
JP6369233B2 (ja) | 2014-09-01 | 2018-08-08 | ソニー株式会社 | 固体撮像素子及びその信号処理方法、並びに電子機器 |
JP2018081063A (ja) * | 2016-11-18 | 2018-05-24 | 株式会社東芝 | 位置検出装置、処理装置、およびプログラム |
CN106454288B (zh) * | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
CN106604001B (zh) * | 2016-11-29 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106507068B (zh) | 2016-11-29 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
US10638054B2 (en) * | 2017-01-25 | 2020-04-28 | Cista System Corp. | System and method for visible and infrared high dynamic range sensing |
US10444415B2 (en) * | 2017-02-14 | 2019-10-15 | Cista System Corp. | Multispectral sensing system and method |
WO2021166450A1 (ja) * | 2020-02-19 | 2021-08-26 | ソニーグループ株式会社 | 画像処理方法、センサ装置 |
KR20220166013A (ko) * | 2021-06-09 | 2022-12-16 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059697A (ja) * | 1998-08-05 | 2000-02-25 | Canon Inc | 撮像装置及びそれを用いた撮像システム |
JP2001292453A (ja) * | 2000-04-07 | 2001-10-19 | Canon Inc | カラー撮像装置及びそれを用いた撮像システム |
JP2006165663A (ja) * | 2004-12-02 | 2006-06-22 | Fuji Photo Film Co Ltd | 撮像装置、デジタルカメラ、及びカラー画像データ生成方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6956605B1 (en) | 1998-08-05 | 2005-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
US6992714B1 (en) | 1999-05-31 | 2006-01-31 | Canon Kabushiki Kaisha | Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement |
JP4492250B2 (ja) * | 2004-08-11 | 2010-06-30 | ソニー株式会社 | 固体撮像素子 |
JP4738907B2 (ja) * | 2004-11-19 | 2011-08-03 | 富士フイルム株式会社 | 固体撮像素子および固体撮像装置 |
US20060119724A1 (en) * | 2004-12-02 | 2006-06-08 | Fuji Photo Film Co., Ltd. | Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method |
US7643072B2 (en) * | 2005-08-16 | 2010-01-05 | Fujifilm Corporation | Signal processing method for image capturing apparatus, and image capturing apparatus including calculating image transfer efficiency |
JP5584982B2 (ja) * | 2009-02-09 | 2014-09-10 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
JP4661912B2 (ja) * | 2008-07-18 | 2011-03-30 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
US20100230583A1 (en) | 2008-11-06 | 2010-09-16 | Sony Corporation | Solid state image pickup device, method of manufacturing the same, image pickup device, and electronic device |
JP5515606B2 (ja) * | 2009-10-19 | 2014-06-11 | ソニー株式会社 | 固体撮像装置及び電子機器 |
-
2012
- 2012-06-21 CN CN201280034640.3A patent/CN103650487B/zh not_active Expired - Fee Related
- 2012-06-21 WO PCT/JP2012/065832 patent/WO2013008597A1/ja active Application Filing
- 2012-06-21 JP JP2013523873A patent/JP5528627B2/ja not_active Expired - Fee Related
-
2014
- 2014-01-10 US US14/152,315 patent/US8810697B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059697A (ja) * | 1998-08-05 | 2000-02-25 | Canon Inc | 撮像装置及びそれを用いた撮像システム |
JP2001292453A (ja) * | 2000-04-07 | 2001-10-19 | Canon Inc | カラー撮像装置及びそれを用いた撮像システム |
JP2006165663A (ja) * | 2004-12-02 | 2006-06-22 | Fuji Photo Film Co Ltd | 撮像装置、デジタルカメラ、及びカラー画像データ生成方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021518254A (ja) * | 2018-03-21 | 2021-08-02 | アクシン ウォーター テクノロジーズ インコーポレイテッドAxine Water Technologies Inc. | 廃水処理用のバイポーラ電極を備えた電解セル |
JP7269253B2 (ja) | 2018-03-21 | 2023-05-08 | アクシン ウォーター テクノロジーズ インコーポレイテッド | 廃水処理用のバイポーラ電極を備えた電解セル |
Also Published As
Publication number | Publication date |
---|---|
CN103650487B (zh) | 2015-04-29 |
US20140125850A1 (en) | 2014-05-08 |
JPWO2013008597A1 (ja) | 2015-02-23 |
CN103650487A (zh) | 2014-03-19 |
JP5528627B2 (ja) | 2014-06-25 |
US8810697B2 (en) | 2014-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5528627B2 (ja) | 撮像装置、撮像素子及び感度差補正方法 | |
JP5740465B2 (ja) | 撮像装置及び欠陥画素補正方法 | |
US8780239B2 (en) | Image pickup apparatus and signal value correction method | |
US7570290B2 (en) | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus | |
US7710483B2 (en) | Solid-state imaging apparatus, driving method thereof, and camera | |
US9159758B2 (en) | Color imaging element and imaging device | |
JP2004221839A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
CN103546701A (zh) | 像素阵列、图像传感器及补偿局部暗电流的方法 | |
JP2013048409A (ja) | カラー撮像装置 | |
JPWO2012117584A1 (ja) | カラー撮像装置 | |
JP5608820B2 (ja) | 撮像装置及び合焦制御方法 | |
US9324749B2 (en) | Color imaging element and imaging device | |
WO2011063063A1 (en) | Sparse color pixel array with pixel substitutes | |
CN103460703B (zh) | 彩色摄像元件及摄像装置 | |
JPWO2014007280A1 (ja) | カラー撮像素子および撮像装置 | |
US8970747B2 (en) | Imaging device | |
JPWO2013100093A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2007318630A (ja) | 画像入力装置、撮像モジュール、及び固体撮像装置 | |
JP5411390B2 (ja) | カラー撮像素子 | |
JP5607267B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JPWO2013100097A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12811830 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013523873 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12811830 Country of ref document: EP Kind code of ref document: A1 |