[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021187223A1 - イメージセンサおよびカメラ - Google Patents

イメージセンサおよびカメラ Download PDF

Info

Publication number
WO2021187223A1
WO2021187223A1 PCT/JP2021/009181 JP2021009181W WO2021187223A1 WO 2021187223 A1 WO2021187223 A1 WO 2021187223A1 JP 2021009181 W JP2021009181 W JP 2021009181W WO 2021187223 A1 WO2021187223 A1 WO 2021187223A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
singular
pixel block
image sensor
assigned
Prior art date
Application number
PCT/JP2021/009181
Other languages
English (en)
French (fr)
Inventor
西　智裕
昌俊 横川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022508236A priority Critical patent/JP7601089B2/ja
Priority to US17/906,095 priority patent/US11974054B2/en
Publication of WO2021187223A1 publication Critical patent/WO2021187223A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an image sensor and a camera.
  • a method called binning is known as a method for increasing the sensitivity of the image sensor.
  • Binning is a technique for treating a plurality of adjacent pixels together as one virtual pixel.
  • Patent Documents 1 to 3 disclose an image sensor in which a plurality of pixel blocks are arranged according to a Bayer array. Each pixel block contains a plurality of pixels arranged in a matrix. At the time of binning, the detection values (pixel signals) of a plurality of pixels belonging to the same pixel block are added and output as the total detection value of one pixel block. Then, demosaic processing is performed on the total detected value of each pixel block, and the color information (information about the color value of each color) for each pixel block is estimated. In the normal mode in which binning is not performed, demosaicing processing is performed on the detected value of each pixel, and the color information for each pixel is estimated.
  • Japanese Unexamined Patent Publication No. 2010-239337 Japanese Unexamined Patent Publication No. 2019-012968 Japanese Unexamined Patent Publication No. 2007-235888
  • the color sampling interval becomes wider according to the size of the pixel block.
  • the size of the pixel block becomes large, it becomes difficult to accurately estimate the color information of each pixel by the demosaic process, and the color reproducibility may decrease.
  • this disclosure proposes an image sensor and a camera with high sensitivity and high color reproducibility.
  • the plurality of pixel blocks each include a plurality of pixels, and the plurality of pixel blocks are provided in at least one pixel block of the plurality of pixel blocks.
  • the plurality of pixels are provided with an image sensor and a camera including one or more unique pixels that detect light of one or more colors assigned to another one or more pixel blocks.
  • FIG. 1 is a schematic view of the camera CA.
  • the camera CA has a lens LE, a UV / IR cut filter UVF, a low-pass filter LPF, and an image sensor IS.
  • the UV / IR cut filter UVF cuts ultraviolet rays and infrared rays.
  • the low-pass filter LPF passes only light having a wavelength required for image information and cuts other light.
  • the low-pass filter LPF intentionally blurs the image captured by the lens LE to suppress the occurrence of moire and false colors.
  • the image sensor IS converts the light coming from the lens LE into an electric signal.
  • the image sensor IS has, for example, a lens array LA, a color filter array CFA, and a sensor plate SP.
  • the sensor plate SP has a plurality of light source conversion elements (photodiodes) PDs arranged two-dimensionally.
  • the light source conversion element PD photoelectrically converts the amount of electric charge according to the amount of incident light, stores it inside, and outputs it as a signal.
  • the color filter array CFA has a plurality of color filter CFs provided in a one-to-one correspondence with a plurality of light receiving elements PD.
  • the lens array LA has a plurality of microlens MLs that collect the light incident from the lens LE onto the plurality of light receiving elements PD.
  • CMOS Complementary Metal Oxide Sensor
  • CCD Charge-Coupled Device
  • the color filter array CFA for example, a primary color system color filter array and a complementary color system color filter array are used.
  • the primary color filter array has three color filter CFs of red, green and blue.
  • the complementary color filter array has four color filter CFs of cyan, yellow, magenta and green.
  • a CMOS image sensor using a primary color filter array is used.
  • the camera CA is used in a wide range of applications such as in-vehicle use.
  • FIG. 2 is a diagram showing an example of the configuration of the image sensor IS.
  • the image sensor IS includes a pixel array unit PA, a vertical drive unit VD, a column readout circuit unit CRC, a column signal processing unit CSP, a horizontal drive unit HD, a system control unit SC, and a signal processing unit SP.
  • the pixel array unit PA, the vertical drive unit VD, the column readout circuit unit CRC, the column signal processing unit CSP, the horizontal drive unit HD, the system control unit SC, and the signal processing unit SP are, for example, ICs (Integrated) formed on the sensor plate SP. It is realized by a processing circuit PR such as Signal).
  • the pixel array unit PA has a plurality of pixels PX arranged two-dimensionally.
  • the pixel PX includes a photoelectric conversion element PD and a color filter CF.
  • the pixel array unit PA includes a plurality of pixel drive lines LD extending in the horizontal direction (row direction: left-right direction shown in the drawing) and a plurality of vertical pixel wiring LVs extending in the vertical direction (column direction: up-down direction shown in the drawing) in a grid pattern. It is provided in.
  • the pixel drive line LD is provided for each pixel line extending in the horizontal direction.
  • the vertical pixel wiring LV is provided for each pixel row extending in the vertical direction.
  • One end of the pixel drive line LD is connected to the output end corresponding to each line of the vertical drive unit VD.
  • the column readout circuit unit CRC includes at least a circuit that supplies a constant current to the pixel PX in the selected row in the pixel array unit PA for each column, a current mirror circuit, a changeover switch for the pixel PX to be read out, and the like.
  • the column readout circuit unit CRC constitutes an amplifier together with the transistors in the selected pixels in the pixel array unit PA, converts the optical charge signal into a voltage signal, and outputs the light charge signal to the vertical pixel wiring LV.
  • the vertical drive unit VD includes a shift register, an address decoder, and the like.
  • the vertical drive unit VD drives each pixel PX of the pixel array unit PA in rows.
  • the vertical drive unit VD has a read scanning system and a sweep scanning system or a batch sweep and batch transfer system.
  • the read-out scanning system selectively scans the pixel PX of the pixel array unit PA row by row in order to read the pixel signal from the pixel PX.
  • sweep scanning is performed ahead of the read scan performed by the read scan system by the time of the shutter speed.
  • global exposure global shutter operation
  • batch sweeping is performed in advance of the batch transfer by the time of the shutter speed.
  • the electronic shutter operation refers to an operation of discarding unnecessary light charges accumulated in the photodiode PD until just before and starting a new exposure (starting accumulation of light charges).
  • the signal read by the read operation by the read scanning system corresponds to the amount of light incidented after the read operation or the electronic shutter operation immediately before that.
  • the period from the read timing by the immediately preceding read operation or the sweep timing by the electronic shutter operation to the read timing by the current read operation is the light charge accumulation time (exposure time) in the pixel PX.
  • the time from batch sweeping to batch transfer is the accumulated time (exposure time).
  • the pixel signal output from each pixel PX of the pixel row selectively scanned by the vertical drive unit VD is supplied to the column signal processing unit CSP through each of the vertical pixel wiring LVs.
  • the column signal processing unit CSP performs predetermined signal processing on the pixel signal output from each pixel PX of the selected row through the vertical pixel wiring LV for each pixel column of the pixel array unit PA, and the pixel after the signal processing. Hold the signal temporarily.
  • the column signal processing unit CSP performs at least noise removal processing, for example, CDS (Correlated Double Sampling: Correlation Double Sampling) processing as signal processing.
  • CDS Correlated Double Sampling: Correlation Double Sampling
  • the CDS by the column signal processing unit CSP removes pixel-specific fixed pattern noise such as reset noise and threshold variation of the amplification transistor AMP.
  • the column signal processing unit CSP may be provided with, for example, an AD conversion function so as to output the pixel signal as a digital signal.
  • the horizontal drive unit HD includes a shift register, an address decoder, and the like.
  • the horizontal drive unit HD sequentially selects unit circuits corresponding to the pixel strings of the column signal processing unit CSP. By the selective scanning by the horizontal drive unit HD, the pixel signals signal-processed by the column signal processing unit CSP are sequentially output to the signal processing unit SP.
  • the system control unit SC includes a timing generator and the like that generate various timing signals.
  • the system control unit SC performs drive control of the vertical drive unit VD, the column signal processing unit CSP, the horizontal drive unit HD, and the like based on various timing signals generated by the timing generator.
  • the image sensor IS further includes a signal processing unit SP and a data storage unit (not shown).
  • the signal processing unit SP has at least an addition processing function, and performs various signal processing such as addition processing on the pixel signal output from the column signal processing unit CSP.
  • the data storage unit temporarily stores the data required for the signal processing in the signal processing unit SP.
  • the processing of the signal processing unit SP and the data storage unit may be replaced by an external signal processing unit provided on a substrate different from the image sensor IS, for example, a DSP (Digital Signal Processor) or software.
  • DSP Digital Signal Processor
  • FIG. 3 is a diagram showing a configuration of a pixel array unit PA1 of the image sensor IS1 of the first embodiment.
  • the image sensor IS1 has a plurality of pixel blocks PB to which different colors are assigned.
  • the pixel block PB is a group of pixels including a group of pixels PX to be binned.
  • Each of the plurality of pixel blocks PB includes a plurality of pixel PX.
  • “Color assigned” means that the detection value of the pixel block PB treated as one virtual pixel in the binning mode is treated as the color value of the assigned color.
  • Each of the plurality of pixel blocks PB mainly includes a plurality of pixel PXs that detect light of an assigned color. “Included as the subject” means that the number of pixel PXs that detect the light of the assigned color is the largest.
  • the plurality of pixel PXs provided in at least one pixel block PB among the plurality of pixel block PBs include one or more singular pixel UPXs.
  • the singular pixel UPX is a pixel PX that detects light of one or more colors assigned to another one or more pixel blocks PB to which the singular pixel UPX does not belong.
  • the plurality of pixel blocks PB include a red pixel block PB1 to which red is assigned, a green pixel block PB2 to which green is assigned, and a blue pixel block PB3 to which blue is assigned.
  • the red pixel block PB1, the green pixel block PB2, and the blue pixel block PB3 are arranged according to the arrangement pattern of the Bayer arrangement.
  • Each of the plurality of pixel blocks PB includes N two pixel PXs arranged in N rows and N columns (N is an integer of 3 or more) in the horizontal direction and the vertical direction, respectively.
  • the red pixel block PB1 includes, for example, one singular pixel UPX1A.
  • the singular pixel UPX1A is located, for example, in the center of the red pixel block PB1.
  • the singular pixel UPX1A detects, for example, the blue light assigned to the blue pixel block PB3.
  • the blue pixel block PB3 includes, for example, one singular pixel UPX3A.
  • the singular pixel UPX3A is located at the center of the blue pixel block PB3, for example.
  • the singular pixel UPX3A detects, for example, the red light assigned to the red pixel block PB1.
  • the green pixel block PB2 does not include the singular pixel UPX.
  • the number of singular pixels UPX included in one pixel block PB may be 2 or more.
  • the signal processing unit SP performs demosy processing on the detected value of each pixel PX.
  • the demosaic process is a process of complementing the missing color information for each pixel PX based on the detected values of the surrounding pixel PX.
  • the demosaic treatment can be performed by various known methods. As a simple method, there is a method of linearly interpolating with the detection values of a plurality of pixels PX in charge of the same color in the vicinity. The color information of each pixel PX may be estimated using a machine learning technique.
  • the signal processing unit SP estimates the color value of each color for each pixel PX from the detected value of each pixel PX by using an analysis model in which the relationship between the known brightness distribution and the detected value of each pixel PX is machine-learned. can do.
  • the red pixel block PB1 includes a peculiar pixel UPX1A that detects blue.
  • the blue pixel block PB3 includes a peculiar pixel UPX3A that detects red. Therefore, the red and blue sampling intervals are reduced. Therefore, the color information of each pixel PX is accurately calculated by the demosaic process. As a result, the color reproducibility is improved in the normal mode.
  • the signal processing unit SP treats the pixel block PB as one virtual pixel (virtual pixel).
  • the signal processing unit SP detects the detection values of the plurality of pixel block PBs as the color values of the colors assigned to the plurality of pixel block PBs, and performs demosaic processing. Since a plurality of pixel PXs are collectively treated as one virtual pixel, the detection sensitivity is increased. As a result, an image with less noise can be taken even in a dark environment.
  • the signal processing unit SP adds the detection values of a plurality of pixel PX in the same pixel block PB including one or more singular pixel UPX.
  • the signal processing unit SP performs color correction on the total detected value obtained by adding using the linear matrix of the following equation (1).
  • the color correction is a process for correcting color shift due to the detection value of the singular pixel UPX being added to the detection value of another pixel PX.
  • the signal processing unit SP detects the color-corrected total detection value as the color value of the color assigned to the pixel block PB, and performs demosaic processing.
  • R, G, and B are the total detected values of the red pixel block PB1, the green pixel block PB2, and the blue pixel block PB3.
  • R', G', and B' are the color values of the corrected red pixel block PB1, the green pixel block PB2, and the blue pixel block PB3.
  • the linear matrix coefficients (Rr, Rg, Rb, Gr, Gg, Gb, Br, Bg, Bb) are the spectral transmittance of the color filter CF and the singular pixel region (single pixel UPX) in the 1-pixel block PB. It is determined by the area ratio between the region) and the non-specific pixel region (region in which a plurality of pixel PX other than the singular pixel UPX is arranged).
  • the signal processing unit SP may not add the detection value of the singular pixel UPX to the detection value of the other pixel PX in order to suppress the color shift caused by the singular pixel UPX. For example, the signal processing unit SP adds the detection values of a plurality of pixel PX in the same pixel block PB excluding one or more singular pixel UPX. The signal processing unit SP detects the total detected value obtained by adding as the color value of the color assigned to the pixel block PB, and performs demosaic processing.
  • the image sensor IS1 has a plurality of pixel blocks PB to which different colors are assigned.
  • Each of the plurality of pixel blocks PB includes a plurality of pixel PX.
  • the plurality of pixel PXs provided in at least one pixel block PB among the plurality of pixel block PBs include one or more singular pixel UPXs.
  • Each one or more singular pixel UPX detects light of one or more colors assigned to another one or more pixel block PB.
  • the camera CA has the image sensor IS1 described above.
  • the color sampling interval is reduced. Therefore, the color information of each pixel PX is accurately calculated by the demosaic process. Color reproducibility is improved in the normal mode without binning. Therefore, the image sensor IS1 and the camera CA with high sensitivity and high color reproducibility are provided.
  • the image sensor IS1 has, for example, a processing circuit PR.
  • the processing circuit PR detects the detection values of the plurality of pixel block PBs as the color values of the colors assigned to the plurality of pixel block PBs.
  • the pixel block PB is treated as one virtual pixel, the detection sensitivity is increased. As a result, an image with less noise is captured even in a dark environment.
  • the processing circuit PR adds the detection values of a plurality of pixel PXs in the same pixel block PB including one or more singular pixel UPXs, for example, in the binning mode.
  • the processing circuit PR for example, performs color correction on the total detected value obtained by addition.
  • the processing circuit PR detects, for example, the color-corrected total detection value as the color value of the color assigned to the pixel block PB.
  • the processing circuit PR adds the detected values of a plurality of pixel PXs in the same pixel block PB excluding one or more singular pixel UPXs, for example, in the binning mode.
  • the processing circuit PR detects, for example, the total detection value obtained by addition as the color value of the color assigned to the pixel block PB.
  • Each of the plurality of pixel blocks PB includes N two pixel PXs arranged in N rows and N columns (N is an integer of 3 or more).
  • the plurality of pixel blocks PB include, for example, a red pixel block PB1 to which red is assigned, a green pixel block PB2 to which green is assigned, and a blue pixel block PB3 to which blue is assigned.
  • the red pixel block PB1, the green pixel block PB2, and the blue pixel block PB3 are arranged according to, for example, the arrangement pattern of the Bayer arrangement.
  • the green resolution is high, so the visual resolution is enhanced.
  • FIG. 4 is a diagram showing a configuration of a pixel array unit PA2 of the image sensor IS2 of the second embodiment.
  • the difference from the first embodiment in this embodiment is that the singular pixel UPX is provided only in the green pixel block PB2.
  • the red pixel block PB1 and the blue pixel block PB3 do not include the singular pixel UPX.
  • the differences from the first embodiment will be mainly described.
  • the image sensor IS2 has, for example, a first green pixel block PB2A and a second green pixel block PB2B as the green pixel block PB2.
  • the first green pixel block PB2A includes, for example, one singular pixel UPX2A.
  • the singular pixel UPX2A is located at the center of the first green pixel block PB2A, for example.
  • the singular pixel UPX2A detects, for example, the red light assigned to the red pixel block PB1.
  • the second green pixel block PB2B includes, for example, one singular pixel UPX2B.
  • the singular pixel UPX2B is located at the center of the second green pixel block PB2B, for example.
  • the singular pixel UPX2B detects, for example, the blue light assigned to the blue pixel block PB3.
  • the first green pixel block PB2A and the second green pixel block PB2B are arranged alternately in the horizontal direction and the vertical direction, for example.
  • the number of singular pixels UPX included in one pixel block PB may be 2 or more.
  • the red and blue sampling intervals are reduced. Therefore, the color information of each pixel PX is accurately calculated by the demosaic process. As a result, the color reproducibility is improved in the normal mode.
  • FIG. 5 is a diagram showing a configuration of a pixel array unit PA3 of the image sensor IS3 of the third embodiment.
  • the singular pixel UPX detects light of two or more colors selected from a plurality of colors assigned to the plurality of pixel blocks PB.
  • the singular pixel UPX selectively detects, for example, the light of the color assigned to the pixel block PB to which the singular pixel UPX belongs and the light of the color assigned to the pixel block PB to which the singular pixel UPX does not belong.
  • the differences from the first embodiment will be mainly described.
  • the red pixel block PB1 includes, for example, one singular pixel UPX1B.
  • the singular pixel UPX1B is located, for example, in the center of the red pixel block PB1.
  • the singular pixel UPX1B detects, for example, the red light assigned to the red pixel block PB1 and the blue light assigned to the blue pixel block PB3.
  • the blue pixel block PB3 includes, for example, one singular pixel UPX3B.
  • the singular pixel UPX3B is located at the center of the blue pixel block PB3, for example.
  • the singular pixel UPX3B detects, for example, the red light assigned to the red pixel block PB1 and the blue light assigned to the blue pixel block PB3.
  • the green pixel block PB2 does not include the singular pixel UPX.
  • the number of singular pixels UPX included in one pixel block PB may be 2 or more.
  • the number of colors detected in the singular pixel UPX may
  • the singular pixel UPX detects light of two or more colors. Therefore, the signal processing unit SA estimates, for example, the color values of two or more colors detected by the singular pixel UPX by using the color information of the pixels PX around the singular pixel UPX. For example, the signal processing unit SA estimates the red color value to be detected by the singular pixel UPX1B based on the detected values of the pixels PX other than the singular pixel UPX1B in the red pixel block PB1. The signal processing unit SA subtracts the estimated red color value from the detected value of the singular pixel UPX1B (including the red color value and the blue color value), so that the blue color to be detected by the singular pixel UPX1B Estimate the color value. The red color value and the blue color value to be detected by the singular pixel UPX3B are estimated by the same method.
  • the singular pixel UPX detects light of two or more colors. Therefore, the pixel signal is more likely to be saturated than other pixel PXs that detect only one color of light. Therefore, the processing circuit PR makes, for example, the exposure time of the singular pixel UPX shorter than the exposure time of the other pixel PX.
  • FIG. 6 is a diagram showing the exposure timing of each pixel PX.
  • the exposure start timing of the singular pixel UPX in the center of the pixel block PB is later than the exposure start timing of the pixels PX other than the singular pixel UPX.
  • the exposure end timing is the same for the singular pixel UPX and the pixels PX other than the singular pixel UPX. Therefore, the exposure time of the singular pixel UPX is shorter than the exposure time of the pixels PX other than the singular pixel UPX.
  • the exposure time of the singular pixel UPX is set to, for example, half the exposure time of the pixels PX other than the singular pixel UPX. Therefore, the saturation of the pixel signal of the singular pixel UPX is suppressed.
  • FIG. 7 is a diagram showing a configuration of a pixel array unit PA4 of the image sensor IS4 of the fourth embodiment.
  • the singular pixel UPX detects light of two or more colors selected from a plurality of colors assigned to the plurality of pixel blocks PB.
  • the singular pixel UPX selectively detects, for example, the light of the color assigned to the pixel block PB to which the singular pixel UPX belongs and the light of the color assigned to the pixel block PB to which the singular pixel UPX does not belong.
  • the differences from the second embodiment will be mainly described.
  • the first green pixel block PB2A includes, for example, one singular pixel UPX2C.
  • the singular pixel UPX2C is located at the center of the first green pixel block PB2A, for example.
  • the singular pixel UPX2C detects, for example, the red light assigned to the red pixel block PB1 and the green light assigned to the green pixel block PB2.
  • the second green pixel block PB2B includes, for example, one singular pixel UPX2D.
  • the singular pixel UPX2D is located at the center of the second green pixel block PB2B, for example.
  • the singular pixel UPX2D detects, for example, the green light assigned to the green pixel block PB2 and the blue light assigned to the blue pixel block PB3.
  • the first green pixel block PB2A and the second green pixel block PB2B are arranged alternately in the horizontal direction and the vertical direction, for example.
  • the singular pixel UPX detects light of two or more colors. Therefore, the signal processing unit SA estimates, for example, the color values of two or more colors detected by the singular pixel UPX by using the color information of the pixels PX around the singular pixel UPX. For example, the signal processing unit SA estimates the green color value to be detected by the singular pixel UPX2C based on the detected values of the pixels PX other than the singular pixel UPX2C in the first green pixel block PB2A. The signal processing unit SA subtracts the estimated green color value from the detected value of the singular pixel UPX2C (including the red color value and the green color value), so that the red color to be detected by the singular pixel UPX2C Estimate the color value. The green color value and the blue color value to be detected by the singular pixel UPX2D are estimated by the same method.
  • the processing circuit PR makes the exposure time of the singular pixel UPX shorter than the exposure time of the other pixel PX. As a result, the saturation of the pixel signal of the singular pixel UPX is suppressed.
  • the singular pixel UPX detects light of two or more colors including the color assigned to the pixel block PB to which the singular pixel UPX belongs. Therefore, the color reproducibility in the normal mode is high.
  • FIG. 8 is a diagram showing a configuration of a pixel array unit PA5 of the image sensor IS5 of the fifth embodiment.
  • the difference from the first embodiment in this embodiment is that the singular pixel UPX is provided in the green pixel block PB2 in addition to the red pixel block PB1 and the blue pixel block PB3. All pixel block PBs include one or more singular pixels UPX.
  • the singular pixel UPX2E provided in the green pixel block PB2 detects, for example, light of two or more colors selected from a plurality of colors assigned to the plurality of pixel blocks PB.
  • the singular pixel UPX2E selectively detects, for example, light of two or more colors assigned to each of two or more pixel blocks PB to which the singular pixel UPX does not belong.
  • the differences from the first embodiment will be mainly described.
  • the green pixel block PB2 includes, for example, one singular pixel UPX2E.
  • the singular pixel UPX2E is located at the center of the green pixel block PB2, for example.
  • the singular pixel UPX2E detects, for example, the red light assigned to the red pixel block PB1 and the blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX2E detects magenta light having a complementary color relationship with green assigned to the green pixel block PB2 to which the singular pixel UPX2E belongs.
  • the number of singular pixels UPX2E included in one green pixel block PB2 may be 2 or more.
  • the number of colors detected in the singular pixel UPX2E may be more than 2.
  • the singular pixel UPX2E detects light of two or more colors. Therefore, the signal processing unit SA estimates, for example, the color values of two or more colors detected by the singular pixel UPX2E by using the color information of the pixels PX around the singular pixel UPX2E. For example, the signal processing unit SA is detected by the singular pixel UPX2E based on the detection values of the red pixel PX and the blue pixel PX detected by the red pixel block PB1 and the blue pixel block PB3 around the green pixel block PB2. Estimate the red and blue color values to be expected.
  • the signal processing unit SA has high accuracy by comparing, for example, the sum of the estimated red color value and the blue color value with the detected value (including the red color value and the blue color value). Can estimate the red color value and the blue color value of each pixel PX in the green pixel block PB2. The color information of the other pixel PX can be estimated based on the color information with high accuracy of the surroundings.
  • FIG. 9 is a diagram showing an example of a method for estimating color information.
  • FIG. 9 shows a state in which white light is incident on a part of the pixel array portion PA5.
  • White light is measured as light having a color value of 128 for red, green, and blue.
  • the red, green, and blue color values in the dark areas are all zero.
  • the red, green, and blue color values of the singular pixel UPX2E shown by the illustrated “A” are estimated as follows.
  • the detected values of red and blue around the singular pixel UPX2E are acquired.
  • the red color value and the blue color value of the pixel PX on the singular pixel UPX2E are both 128.
  • the red color value and the blue color value of the left pixel PX of the singular pixel UPX2E are both 128.
  • the red color value and the blue color value of the pixel PX on the right side of the singular pixel UPX2E are both 0.
  • the red color value and the blue color value of the pixel PX below the singular pixel UPX2E are both 0.
  • the color values of red and blue of the singular pixel UPX2E are estimated to be 64. Therefore, the detected value (sum of the red color value and the blue color value) of the singular pixel UPX2E is estimated to be 128. However, the actual detected value of the singular pixel UPX2E is 256 (the sum of the red color value 128 and the blue color value 128). It turns out that the estimated red and blue color values should be corrected to higher values. Therefore, in the signal processing unit SP, for example, the sum of the estimated red color value and the estimated blue color value is the actual detected value (red) while maintaining the ratio of the estimated red color value and the estimated blue color value.
  • the estimated color value of red and the estimated color value of blue are increased or decreased so as to be the same value as the sum of the color value of and the color value of blue.
  • the color value may be estimated and corrected by using a machine learning method.
  • the processing circuit PR for example, makes the exposure time of the singular pixel UPX2E shorter than the exposure time of the other pixel PX. Therefore, the saturation of the pixel signal of the singular pixel UPX2E is suppressed.
  • all pixel block PBs include one or more singular pixels UPX. Therefore, the sampling interval is reduced for all the colors assigned to the plurality of pixel blocks PB. Sensitivity in binning mode also increases. Further, since the green pixel block PB2 is provided with the peculiar pixel UPX2E for detecting red and blue light, the resolution of red and blue is improved. Further, the singular pixel UPX2E selectively detects light of two or more colors assigned to each of the two or more pixel blocks PB to which the singular pixel UPX2E does not belong. Therefore, in the normal mode, the estimation accuracy of the color values of the two or more colors in the singular pixel UPX2E is improved.
  • FIG. 10 is a diagram showing a configuration of a pixel array unit PA6 of the image sensor IS6 of the sixth embodiment.
  • the singular pixel UPX of the red pixel block PB1 and the blue pixel block PB3 is light of two or more colors selected from a plurality of colors assigned to the plurality of pixel blocks PB. Is the point to detect.
  • the singular pixel UPX of the red pixel block PB1 and the blue pixel block PB3 selectively detects, for example, light of two or more colors assigned to each of the two or more pixel block PBs to which the singular pixel UPX does not belong.
  • the differences from the fifth embodiment will be mainly described.
  • the red pixel block PB1 includes, for example, one singular pixel UPX1C.
  • the singular pixel UPX1C is located, for example, in the center of the red pixel block PB1.
  • the singular pixel UPX1C detects, for example, the green light assigned to the green pixel block PB2 and the blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX1C detects cyan light having a complementary color relationship with red assigned to the red pixel block PB1 to which the singular pixel UPX1C belongs.
  • the number of singular pixels UPX1C included in one red pixel block PB1 may be 2 or more.
  • the number of colors detected in the singular pixel UPX1C may be more than 2.
  • the blue pixel block PB3 includes, for example, one singular pixel UPX3C.
  • the singular pixel UPX3C is located at the center of the blue pixel block PB3, for example.
  • the singular pixel UPX3C detects, for example, the red light assigned to the red pixel block PB1 and the green light assigned to the green pixel block PB2.
  • the singular pixel UPX3C detects yellow light having a complementary color relationship with blue assigned to the blue pixel block PB3 to which the singular pixel UPX3C belongs.
  • the number of singular pixels UPX3C included in one blue pixel block PB3 may be 2 or more.
  • the number of colors detected in the singular pixel UPX3C may be more than 2.
  • the singular pixel UPX1C detects light of two or more colors. Therefore, the signal processing unit SA estimates, for example, the color values of two or more colors detected by the singular pixel UPX1C by using the color information of the pixels PX around the singular pixel UPX1C. For example, the signal processing unit SA is detected by the singular pixel UPX1C based on the detection values of the green pixel PX and the blue pixel PX detected by the green pixel block PB2 and the blue pixel block PB3 around the red pixel block PB1. Estimate the green and blue color values to be expected.
  • the signal processing unit SA has high accuracy by comparing, for example, the sum of the estimated green color value and the blue color value with the detected value (including the green color value and the blue color value). Can estimate the green color value and the blue color value of each pixel PX in the red pixel block PB1. The color information of the other pixel PX can be estimated based on the color information with high accuracy of the surroundings.
  • the singular pixel UPX3C detects light of two or more colors. Therefore, the signal processing unit SA estimates, for example, the color values of two or more colors detected by the singular pixel UPX3C by using the color information of the pixels PX around the singular pixel UPX3C. For example, the signal processing unit SA is detected by the singular pixel UPX3C based on the detected values of the red pixel PX and the green pixel PX detected by the red pixel block PB1 and the green pixel block PB2 around the blue pixel block PB3. Estimate the red and green color values to be expected.
  • the signal processing unit SA has high accuracy by comparing, for example, the sum of the estimated red color value and the green color value with the detected value (including the red color value and the green color value). Can estimate the red color value and the green color value of each pixel PX in the blue pixel block PB3. The color information of the other pixel PX can be estimated based on the color information with high accuracy of the surroundings.
  • the red pixel block PB1 is provided with the singular pixel UPX1C that detects green and blue light
  • the resolution of green and blue is improved.
  • the blue pixel block PB3 is provided with the singular pixel UPX3C that detects red and green light
  • the resolution of red and green is improved.
  • the singular pixel UPX1C selectively detects light of two or more colors assigned to each of the two or more pixel blocks PB to which the singular pixel UPX1C does not belong. Therefore, in the normal mode, the estimation accuracy of the color values of the two or more colors in the singular pixel UPX1C is improved.
  • the singular pixel UPX3C selectively detects light of two or more colors assigned to each of the two or more pixel blocks PB to which the singular pixel UPX3C does not belong. Therefore, in the normal mode, the estimation accuracy of the color values of the two or more colors in the singular pixel UPX3C is improved.
  • FIG. 11 is a diagram showing a configuration of a pixel array unit PA7 of the image sensor IS7 of the seventh embodiment.
  • the difference from the fifth embodiment in this embodiment is that the singular pixel UPX2F provided in the green pixel block PB2 detects light of all colors assigned to the plurality of pixel blocks PB.
  • the differences from the fifth embodiment will be mainly described.
  • the green pixel block PB2 includes, for example, one singular pixel UPX2F.
  • the singular pixel UPX2F is located at the center of the green pixel block PB2, for example.
  • the singular pixel UPX2F detects light of all colors assigned to the plurality of pixel blocks PB.
  • the light detected by the singular pixel UPX2F is white light including red, green and blue colors.
  • the number of singular pixels UPX2F included in one green pixel block PB2 may be 2 or more.
  • the singular pixel UPX2F detects light of three colors. Therefore, the signal processing unit SA estimates, for example, the color values of the three colors detected by the singular pixel UPX2F by using the color information of the pixels PX around the singular pixel UPX2F. For example, the signal processing unit SA estimates the green color value to be detected by the singular pixel UPX2F based on the detected values of the pixels PX other than the singular pixel UPX2F in the green pixel block PB2. The signal processing unit SA subtracts the estimated green color value from the detected value (including the red color value, the green color value, and the blue color value) of the singular pixel UPX2F. As a result, the sum value of the red color value and the blue color value in the singular pixel UPX2F is estimated.
  • the method of estimating the red color value and the blue color value from the sum value of the red color value and the blue color value is the same as that shown in the fifth embodiment.
  • the singular pixel UPX2F detects light of all colors assigned to the plurality of pixel blocks PB. Therefore, high sensitivity can be obtained in the binning mode.
  • FIG. 12 is a diagram showing a configuration of a pixel array unit PA8 of the image sensor IS8 of the eighth embodiment.
  • the difference from the seventh embodiment in the present embodiment is that the singular pixel UPX provided in all the pixel block PBs detects the light of all colors assigned to the plurality of pixel blocks PBs.
  • the differences from the seventh embodiment will be mainly described.
  • the red pixel block PB1 includes, for example, one singular pixel UPX1D.
  • the singular pixel UPX1D is located, for example, in the center of the red pixel block PB1.
  • the singular pixel UPX1D detects light of all colors assigned to the plurality of pixel blocks PB.
  • the light detected by the singular pixel UPX1D is white light including red, green and blue colors.
  • the number of singular pixels UPX1D included in one red pixel block PB1 may be 2 or more.
  • the blue pixel block PB3 includes, for example, one singular pixel UPX3D.
  • the singular pixel UPX3D is located, for example, in the center of the blue pixel block PB3.
  • the singular pixel UPX3D detects light of all colors assigned to the plurality of pixel blocks PB.
  • the light detected by the singular pixel UPX3D is white light including red, green and blue colors.
  • the number of singular pixels UPX3D included in one blue pixel block PB3 may be 2 or more.
  • the signal processing unit SA estimates, for example, the color values of the three colors detected by the singular pixel UPX1D by using the color information of the pixels PX around the singular pixel UPX1D.
  • the signal processing unit SA estimates, for example, the color values of the three colors detected by the singular pixel UPX3D by using the color information of the pixels PX around the singular pixel UPX3D.
  • the estimation method is the same as that shown in the seventh embodiment.
  • the singular pixel UPX provided in all the pixel block PBs detects the light of all colors assigned to the plurality of pixel blocks PBs. Therefore, higher sensitivity can be obtained in the binning mode.
  • FIG. 13 is a diagram showing a comparison result of variations of the pixel array unit PA described above.
  • single color indicates a configuration in which the singular pixel UPX selectively detects light of one color.
  • Complementary color indicates a configuration in which the singular pixel UPX detects light of a plurality of colors assigned to all the pixel block PBs other than the pixel block PB to which the singular pixel UPX belongs.
  • Oil + one color means that the singular pixel UPX is the light of the color assigned to the pixel block PB to which the singular pixel UPX belongs, and the light of the color assigned to the other pixel block PB to which the singular pixel UPX does not belong.
  • the configuration for detecting is shown.
  • “White” indicates a configuration in which the singular pixel UPX detects light of all colors assigned to a plurality of pixel blocks PB.
  • the numerical values (1, 2, 3, 4) shown in the table of FIG. 13 indicate the ranking of the performance of each configuration.
  • the configuration with a numerical value of 1 has the best performance.
  • the red and blue resolutions are highest in the "monochromatic" configuration.
  • the sensitivity in the binning mode is highest in the "white” configuration.
  • the best color reproducibility in the binning mode is "original + one color”.
  • FIG. 14 is an example in which one singular pixel UPX is arranged in the central portion of the pixel block PB.
  • One pixel PX in the center of the nine pixel PX arranged in 3 rows and 3 columns is a singular pixel UPX.
  • FIG. 15 is an example in which four singular pixels UPX are arranged adjacent to each other in the central portion of the pixel block PB. Of the 16 pixel PXs arranged in 4 rows and 4 columns, the 4 pixel PXs arranged in 2 rows and 2 columns in the central portion are singular pixel UPXs.
  • FIG. 16 is an example in which four singular pixels UPX are arranged in the center of the pixel block PB so as not to be adjacent to each other.
  • the four singular pixels UPX are arranged at positions rotationally symmetric with respect to the center of the pixel block PB.
  • one or more singular pixel UPX is located at the center of the pixel block PB. Therefore, the color information of each pixel PX is accurately calculated by the demosaic process.
  • 17 and 18 are examples in which the pixel block PB contains one or more singular pixel UPX in each row and each column.
  • four pixel PXs located at the outermost periphery of the pixel block PB composed of 16 pixel PXs arranged in 4 rows and 4 columns are singular pixel UPXs.
  • the four pixel UPXs are arranged at positions rotationally symmetric with respect to the center of the pixel block PB.
  • one pixel PX located at the center of the pixel block PB composed of 25 pixels PX arranged in 5 rows and 5 columns and 4 pixel PX located at the outermost periphery are singular pixels. It is UPX.
  • the five singular pixels UPX are arranged at positions rotationally symmetric with respect to the center of the pixel block PB.
  • the number of pixel PXs constituting the pixel block PB is 9, 16 or 25.
  • the number of pixel PXs constituting the pixel block PB is not limited to this.
  • FIGS. 19 to 21 are examples in which the colors of light detected by a plurality of singular pixels UPX belonging to the same pixel block PB are all the same.
  • the image sensor IS9 of FIG. 19 is an example in which the arrangement of the singular pixel UPX of FIG. 18 is applied to the configuration of the first embodiment.
  • the image sensor IS10 of FIG. 20 is an example in which the arrangement of the singular pixel UPX of FIG. 18 is applied to the configuration of the third embodiment.
  • the image sensor IS11 of FIG. 21 is an example in which the arrangement of the singular pixel UPX of FIG. 18 is applied to the configuration of the eighth embodiment.
  • the green pixel block PB2 does not include the singular pixel UPX.
  • the pixel block PB includes one or more singular pixel UPX in each row and each column. Therefore, the color sampling interval is reduced.
  • FIGS. 22 to 26 are examples in which the same pixel block PB includes a plurality of types of singular pixel UPX that detect light of different colors.
  • the image sensor IS12 of FIG. 22 differs from the example of FIG. 19 in the following points. That is, the color of the light detected by one singular pixel UPX located in the central portion of the pixel block PB is different from the color of the light detected by the other four singular pixel UPX located in the outermost peripheral portion of the pixel block PB.
  • the singular pixel UPX1A located at the outermost periphery of the red pixel block PB1 detects the blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX1B located at the center of the red pixel block PB1 detects red light assigned to the red pixel block PB1 and blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX3A located at the outermost periphery of the blue pixel block PB3 detects the red light assigned to the red pixel block PB1.
  • the singular pixel UPX3B located at the center of the blue pixel block PB3 detects the red light assigned to the red pixel block PB1 and the blue light assigned to the blue pixel block PB3.
  • the method of demosaic treatment is the same as that described in the first embodiment and the third embodiment.
  • the singular pixel UPX located in the center of the pixel block PB detects light of two or more colors. Therefore, the sampling interval of two or more colors is reduced. Sensitivity in binning mode is also increased. Further, the singular pixel UPX located at the center of the pixel block PB detects light of two or more colors including the color assigned to the pixel block PB to which the singular pixel UPX belongs. Therefore, the color reproducibility in the normal mode is high.
  • the image sensor IS13 of FIG. 23 and the image sensor IS14 of FIG. 24 differ in the color of light detected by the singular pixel UPX located at the center of the pixel block PB from the example of FIG.
  • the singular pixel UPX1E located at the center of the red pixel block PB1 has a red light assigned to the red pixel block PB1 and a green light assigned to the green pixel block PB2.
  • the singular pixel UPX3E located at the center of the blue pixel block PB3 detects green light assigned to the green pixel block PB2 and blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX1D located at the center of the red pixel block PB1 detects light of all colors assigned to the plurality of pixel blocks PB.
  • the singular pixel UPX3D located at the center of the blue pixel block PB3 detects light of all colors assigned to the plurality of pixel blocks PB.
  • the image sensor IS15 of FIG. 25 is different from the example of FIG. 24 in the color of light detected by the singular pixel UPX located at the outermost periphery of the pixel block PB.
  • the singular pixel UPX1B located at the outermost periphery of the red pixel block PB1 detects red light assigned to the red pixel block PB1 and blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX3B located at the outermost periphery of the blue pixel block PB3 detects red light assigned to the red pixel block PB1 and blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX located in the outermost peripheral portion of the pixel block PB also detects light of a plurality of colors. Therefore, the color sampling interval is reduced.
  • the image sensor IS16 of FIG. 26 is different from the example of FIG. 25 in that a plurality of singular pixels UPX for detecting light of different colors are provided on the outermost peripheral portion of the same pixel block PB.
  • a peculiar pixel UPX1A and a peculiar pixel UPX1B for detecting light of different colors are provided on the outermost peripheral portion of the red pixel block PB1.
  • the singular pixel UPX1A detects the blue light assigned to the blue pixel block PB3.
  • the singular pixel UPX1B detects the red light assigned to the red pixel block PB1 and the blue light assigned to the blue pixel block PB3.
  • the red pixel block PB1 is provided with two singular pixels UPX1A at positions symmetrical with respect to the center of the red pixel block PB1.
  • the red pixel block PB1 is provided with two singular pixels UPX1B at positions point-symmetrical with respect to the center of the red pixel block PB1.
  • a peculiar pixel UPX3A and a peculiar pixel UPX3B for detecting light of different colors are provided on the outermost peripheral portion of the blue pixel block PB3.
  • the singular pixel UPX3A detects the red light assigned to the red pixel block PB1.
  • the singular pixel UPX3B detects the red light assigned to the red pixel block PB1 and the blue light assigned to the blue pixel block PB3.
  • the blue pixel block PB3 is provided with two singular pixels UPX3A at positions symmetrical with respect to the center of the blue pixel block PB3.
  • the blue pixel block PB3 is provided with two singular pixels UPX3B at positions point-symmetrical with respect to the center of the blue pixel block PB3.
  • Each of the plurality of pixel blocks includes a plurality of pixels, and the plurality of pixel blocks include a plurality of pixels.
  • the plurality of pixels provided in at least one pixel block of the plurality of pixel blocks include one or more peculiar pixels for detecting light of one or more colors assigned to the other one or more pixel blocks.
  • Image sensor included.
  • the processing circuit adds the detection values of the plurality of pixels in the same pixel block including the one or more singular pixels, and performs color correction on the total detection value obtained by the addition.
  • the image sensor according to (2) above which detects the color-corrected total detection value as the color value of the color assigned to the pixel block.
  • the processing circuit adds the detection values of a plurality of pixels in the same pixel block excluding the one or more singular pixels, and the total detection value obtained by the addition is assigned to the pixel block.
  • the image sensor according to (2) above which detects as a color value of a color.
  • the pixel block includes one or more singular pixels in each row and each column.
  • the plurality of pixel blocks include a red pixel block to which red is assigned, a green pixel block to which green is assigned, and a blue pixel block to which blue is assigned.
  • CA Camera IS, IS1-IS16 Image Sensor PB Pixel Block PX Pixel PR Processing Circuit UPX, UPX1A-UPX1E, UPX2A-UPX2F, UPX3A-UPX3E Singular Pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

イメージセンサ（ＩＳ）は、互いに異なる色が割り当てられた複数の画素ブロック（ＰＢ）を有する。複数の画素ブロック（ＰＢ）はそれぞれ複数の画素（ＰＸ）を含む。複数の画素ブロック（ＰＢ）のうちの少なくとも１つの画素ブロック（ＰＢ）に設けられた複数の画素（ＰＸ）には、１以上の特異画素（ＵＰＸ）が含まれる。特異画素（ＵＰＸ）は、他の１以上の画素ブロック（ＰＢ）に割り当てられた１以上の色の光を検出する。

Description

イメージセンサおよびカメラ
　本発明は、イメージセンサおよびカメラに関する。
　イメージセンサの感度を高める方法としてビニングと呼ばれる手法が知られている。ビニングは、隣接する複数の画素をまとめて１つの仮想的な画素として扱う技術である。
　特許文献１ないし３には、複数の画素ブロックがベイヤ配列にしたがって配列されたイメージセンサが開示されている。各画素ブロックは、行列状に配列された複数の画素を含む。ビニング時には、同一画素ブロックに属する複数の画素の検出値（画素信号）が加算され、１画素ブロックの総検出値として出力される。そして、各画素ブロックの総検出値に対してデモザイク処理が行われ、画素ブロックごとの色情報（各色の色値に関する情報）が推定される。ビニングを行わない通常モードでは、各画素の検出値に対してデモザイ処理が行われ、画素ごとの色情報が推定される。
特開２０１０－２３９３３７号公報 特開２０１９－０１２９６８号公報 特開２００７－２３５８８８号公報
　上述した従来の画素配列では、画素ブロックのサイズに応じて、色のサンプリング間隔が広くなる。画素ブロックのサイズが大きくなると、デモザイク処理によって各画素の色情報を精度よく推定することが難しくなり、色再現性が低下する可能性がある。
　そこで、本開示では、高感度で且つ色再現性の高いイメージセンサおよびカメラを提案する。
　本開示によれば、互いに異なる色が割り当てられた複数の画素ブロックを有し、前記複数の画素ブロックはそれぞれ複数の画素を含み、前記複数の画素ブロックのうちの少なくとも１つの画素ブロックに設けられた前記複数の画素には、他の１以上の画素ブロックに割り当てられた１以上の色の光を検出する１以上の特異画素が含まれるイメージセンサおよびカメラが提供される。
カメラの概略図である。 イメージセンサの構成の一例を示す図である。 第１実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第２実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第３実施形態のイメージセンサの画素アレイ部の構成を示す図である。 各画素の露光タイミングを示す図である。 第４実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第５実施形態のイメージセンサの画素アレイ部の構成を示す図である。 色情報の推定方法の一例を示す図である。 第６実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第７実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第８実施形態のイメージセンサの画素アレイ部の構成を示す図である。 画素アレイ部のバリエーションの比較結果を示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．カメラおよびイメージセンサの構成］
［２．第１実施形態のイメージセンサ］
　［２－１．画素部の構成］
　［２－２．通常モードの動作］
　［２－３．ビニングモードの動作］
　［２－４．効果］
［３．第２実施形態のイメージセンサ］
［４．第３実施形態のイメージセンサ］
［５．第４実施形態のイメージセンサ］
［６．第５実施形態のイメージセンサ］
［７．第６実施形態のイメージセンサ］
［８．第７実施形態のイメージセンサ］
［９．第８実施形態のイメージセンサ］
［１０．特異画素の配置のバリエーション］
［１１．画素アレイ部の他のバリエーション］
［１．カメラおよびイメージセンサの構成］
　図１は、カメラＣＡの概略図である。
　カメラＣＡは、レンズＬＥと、ＵＶ／ＩＲカットフィルタＵＶＦと、ローパスフィルタＬＰＦと、イメージセンサＩＳと、を有する。ＵＶ／ＩＲカットフィルタＵＶＦは、紫外線および赤外線をカットする。ローパスフィルタＬＰＦは、画像情報として必要な波長の光だけを通して、それ以外の光をカットする。ローパスフィルタＬＰＦは、レンズＬＥで捉えた像を意図的にぼかすことで、モアレや偽色の発生を抑制する。
　イメージセンサＩＳは、レンズＬＥから入ってきた光を電気信号に変換する。イメージセンサＩＳは、例えば、レンズアレイＬＡと、カラーフィルタアレイＣＦＡと、センサプレートＳＰと、を有する。センサプレートＳＰは、２次元的に配列された複数の光源変換素子（フォトダイオード）ＰＤを有する。光源変換素子ＰＤは、入射光量に応じた電荷量を光電変換して内部に蓄積し、信号として出力する。カラーフィルタアレイＣＦＡは、複数の受光素子ＰＤと１対１に対応して設けられた複数のカラーフィルタＣＦを有する。レンズアレイＬＡは、レンズＬＥから入射した光を複数の受光素子ＰＤ上に集光する複数のマイクロレンズＭＬを有する。
　イメージセンサＩＳとしては、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサおよびＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサが用いられる。カラーフィルタアレイＣＦＡとしては、例えば、原色系カラーフィルタアレイおよび補色系カラーフィルタアレイが用いられる。原色系カラーフィルタアレイは、赤、緑および青の３色のカラーフィルタＣＦを有する。補色系カラーフィルタアレイは、シアン、イエロー、マゼンタおよび緑の４色のカラーフィルタＣＦを有する。本実施形態では、原色系カラーフィルタアレイを用いたＣＭＯＳイメージセンサが用いられる。カメラＣＡは、車載用など幅広い用途で用いられる。
　図２は、イメージセンサＩＳの構成の一例を示す図である。
　イメージセンサＩＳは、画素アレイ部ＰＡ、垂直駆動部ＶＤ、カラム読出し回路部ＣＲＣ、カラム信号処理部ＣＳＰ、水平駆動部ＨＤ、システム制御部ＳＣ及び信号処理部ＳＰを備える。画素アレイ部ＰＡ、垂直駆動部ＶＤ、カラム読出し回路部ＣＲＣ、カラム信号処理部ＣＳＰ、水平駆動部ＨＤ、システム制御部ＳＣ及び信号処理部ＳＰは、例えば、センサプレートＳＰに形成されたＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの処理回路ＰＲによって実現される。
　画素アレイ部ＰＡは、２次元的に配列された複数の画素ＰＸを有する。画素ＰＸは、光電変換素子ＰＤとカラーフィルタＣＦとを含む。画素アレイ部ＰＡには、水平方向（行方向：図示左右方向）に延びる複数の画素駆動線ＬＤと、垂直方向（列方向：図示上下方向）に延びる複数の垂直画素配線ＬＶと、が格子状に設けられている。画素駆動線ＬＤは、水平方向に延びる画素行ごとに設けられている。垂直画素配線ＬＶは垂直方向に延びる画素列ごとに設けられている。画素駆動線ＬＤの一端は、垂直駆動部ＶＤの各行に対応した出力端に接続されている。
　カラム読出し回路部ＣＲＣは少なくとも、画素アレイ部ＰＡ内の選択行における画素ＰＸに列毎に定電流を供給する回路、カレントミラー回路、読出し対象の画素ＰＸの切替えスイッチなどを含む。カラム読出し回路部ＣＲＣは、画素アレイ部ＰＡ内の選択画素におけるトランジスタと共に増幅器を構成し、光電荷信号を電圧信号に変換して垂直画素配線ＬＶに出力する。
　垂直駆動部ＶＤは、シフトレジスタやアドレスデコーダなどを含む。垂直駆動部ＶＤは、画素アレイ部ＰＡの各画素ＰＸを行単位で駆動する。具体的な構成については図示を省略するが、垂直駆動部ＶＤは、読出し走査系と、掃出し走査系あるいは一括掃出し及び一括転送系とを有する構成となっている。
　読出し走査系は、画素ＰＸから画素信号を読み出すために、画素アレイ部ＰＡの画素ＰＸを行単位で順に選択走査する。行駆動（ローリングシャッタ動作）の場合、掃出しについては、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査が行なわれる。また、グローバル露光（グローバルシャッタ動作）の場合は、一括転送よりもシャッタスピードの時間分先行して一括掃出しが行なわれる。このような掃出しにより、読出し行の画素ＰＸのフォトダイオードＰＤから不要な電荷が掃出（リセット）される。そして、不要電荷の掃出し（リセット）により、いわゆる電子シャッタ動作が行われる。
　ここで、電子シャッタ動作とは、直前までフォトダイオードＰＤに溜まっていた不要な光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。行駆動の場合は、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、画素ＰＸにおける光電荷の蓄積時間（露光時間）となる。グローバル露光の場合は、一括掃出しから一括転送までの時間が蓄積時間（露光時間）となる。
　垂直駆動部ＶＤによって選択走査された画素行の各画素ＰＸから出力される画素信号は、垂直画素配線ＬＶの各々を通してカラム信号処理部ＣＳＰに供給される。カラム信号処理部ＣＳＰは、画素アレイ部ＰＡの画素列ごとに、選択行の各画素ＰＸから垂直画素配線ＬＶを通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
　具体的には、カラム信号処理部ＣＳＰは、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関二重サンプリング）処理を行う。このカラム信号処理部ＣＳＰによるＣＤＳにより、リセットノイズや増幅トランジスタＡＭＰの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム信号処理部ＣＳＰには、ノイズ除去処理以外に、例えば、ＡＤ変換機能を持たせて、画素信号をデジタル信号として出力するように構成することも可能である。
　水平駆動部ＨＤは、シフトレジスタやアドレスデコーダなどを含む。水平駆動部ＨＤは、カラム信号処理部ＣＳＰの画素列に対応する単位回路を順番に選択する。この水平駆動部ＨＤによる選択走査により、カラム信号処理部ＣＳＰで信号処理された画素信号が順番に信号処理部ＳＰに出力される。
　システム制御部ＳＣは、各種のタイミング信号を生成するタイミングジェネレータ等を含む。システム制御部ＳＣは、タイミングジェネレータで生成された各種のタイミング信号を基に、垂直駆動部ＶＤ、カラム信号処理部ＣＳＰ、水平駆動部ＨＤなどの駆動制御を行う。
　イメージセンサＩＳはさらに、信号処理部ＳＰと、不図示のデータ格納部とを備えている。信号処理部ＳＰは、少なくとも加算処理機能を有し、カラム信号処理部ＣＳＰから出力される画素信号に対して加算処理等の種々の信号処理を行う。データ格納部は、信号処理部ＳＰでの信号処理にあたって、その処理に必要なデータを一時的に格納する。信号処理部ＳＰおよびデータ格納部の処理は、イメージセンサＩＳとは別の基板に設けられる外部信号処理部、例えばＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）やソフトウェアによって代替されてもよい。
［２．第１実施形態のイメージセンサ］
［２－１．画素部の構成］
　図３は、第１実施形態のイメージセンサＩＳ１の画素アレイ部ＰＡ１の構成を示す図である。
　イメージセンサＩＳ１は、互いに異なる色が割り当てられた複数の画素ブロックＰＢを有する。画素ブロックＰＢは、ビニングの対象となる一群の画素ＰＸを含む画素群である。複数の画素ブロックＰＢは、それぞれ複数の画素ＰＸを含む。「色が割り当てられた」とは、ビニングモードにおいて１つの仮想画素として扱われる画素ブロックＰＢの検出値が、割り当てられた色の色値として扱われることを意味する。
　複数の画素ブロックＰＢはそれぞれ、割り当てられた色の光を検出する複数の画素ＰＸを主体として含む。「主体として含む」とは、割り当てられた色の光を検出する画素ＰＸの数が最も多いことを意味する。
　複数の画素ブロックＰＢのうちの少なくとも１つの画素ブロックＰＢに設けられた複数の画素ＰＸには、１以上の特異画素ＵＰＸが含まれる。特異画素ＵＰＸは、特異画素ＵＰＸが属さない他の１以上の画素ブロックＰＢに割り当てられた１以上の色の光を検出する画素ＰＸである。
　図３の例では、複数の画素ブロックＰＢは、赤色が割り当てられた赤画素ブロックＰＢ１と、緑色が割り当てられた緑画素ブロックＰＢ２と、青色が割り当てられた青画素ブロックＰＢ３と、を含む。赤画素ブロックＰＢ１、緑画素ブロックＰＢ２および青画素ブロックＰＢ３は、ベイヤ配列の配列パターンにしたがって配列されている。
　複数の画素ブロックＰＢはそれぞれ、例えば、水平方向および垂直方向にＮ行Ｎ列（Ｎは３以上の整数）で配列されたＮ２個の画素ＰＸを含む。図３の例では、各画素ブロックＰＢは、３行３列（Ｎ＝３）で配列された９個の画素ＰＸを含む。
　赤画素ブロックＰＢ１は、例えば、１つの特異画素ＵＰＸ１Ａを含む。特異画素ＵＰＸ１Ａは、例えば、赤画素ブロックＰＢ１の中心部に位置する。特異画素ＵＰＸ１Ａは、例えば、青画素ブロックＰＢ３に割り当てられた青色の光を検出する。青画素ブロックＰＢ３は、例えば、１つの特異画素ＵＰＸ３Ａを含む。特異画素ＵＰＸ３Ａは、例えば、青画素ブロックＰＢ３の中心部に位置する。特異画素ＵＰＸ３Ａは、例えば、赤画素ブロックＰＢ１に割り当てられた赤色の光を検出する。緑画素ブロックＰＢ２は、特異画素ＵＰＸを含まない。１つの画素ブロックＰＢに含まれる特異画素ＵＰＸの数は２以上でもよい。
［２－２．通常モードの動作］
　信号処理部ＳＰは、各画素ＰＸの検出値に対してデモザイ処理を行う。デモザイク処理は、画素ＰＸごとに欠損する色の情報を周囲の画素ＰＸの検出値に基づいて補完する処理である。デモザイク処理は、公知の様々な方法で行うことができる。簡単な方法としては、近くにある同じ色を担当する複数の画素ＰＸの検出値で線形補間する方法がある。機械学習の手法を用いて各画素ＰＸの色情報を推定してもよい。例えば、信号処理部ＳＰは、既知の輝度分布と各画素ＰＸの検出値との関係を機械学習させた分析モデルを用いて、各画素ＰＸの検出値から画素ＰＸごとに各色の色値を推定することができる。
　赤画素ブロックＰＢ１には、青色を検出する特異画素ＵＰＸ１Ａが含まれている。青画素ブロックＰＢ３には、赤色を検出する特異画素ＵＰＸ３Ａが含まれている。そのため、赤色と青色のサンプリング間隔が低減される。よって、デモザイク処理によって各画素ＰＸの色情報が精度よく演算される。その結果、通常モードにおいて色再現性度が高まる。
［２－３．ビニングモードの動作］
　信号処理部ＳＰは、画素ブロックＰＢを１つの仮想的な画素（仮想画素）として扱う。信号処理部ＳＰは、複数の画素ブロックＰＢの検出値を、複数の画素ブロックＰＢにそれぞれ割り当てられた色の色値として検出し、デモザイク処理を行う。複数の画素ＰＸをまとめて１つの仮想的な画素として扱うため、検出感度が高まる。その結果、暗い環境でもノイズの少ない画像が撮影できる。
　例えば、信号処理部ＳＰは、１以上の特異画素ＵＰＸを含む同一画素ブロックＰＢ内の複数の画素ＰＸの検出値を加算する。信号処理部ＳＰは、加算して得られた総検出値に対して、下記式（１）のリニアマトリクスを用いて色補正をする。色補正は、特異画素ＵＰＸの検出値が他の画素ＰＸの検出値に加算されることによる色ずれを補正する処理である。信号処理部ＳＰは、色補正された総検出値を、画素ブロックＰＢに割り当てられた色の色値として検出し、デモザイク処理を行う。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、Ｒ，Ｇ，Ｂは、赤画素ブロックＰＢ１、緑画素ブロックＰＢ２および青画素ブロックＰＢ３の総検出値である。Ｒ′，Ｇ′，Ｂ′は、補正後の赤画素ブロックＰＢ１、緑画素ブロックＰＢ２および青画素ブロックＰＢ３の色値である。リニアマトリクスの係数（Ｒｒ，Ｒｇ，Ｒｂ，Ｇｒ，Ｇｇ，Ｇｂ，Ｂｒ，Ｂｇ，Ｂｂ）は、カラーフィルタＣＦの分光透過率と、１画素ブロックＰＢにおける特異画素領域（特異画素ＵＰＸが配置される領域）と非特異画素領域（特異画素ＵＰＸ以外の複数の画素ＰＸが配置される領域）との面積比と、により決定される。
　信号処理部ＳＰは、特異画素ＵＰＸに起因した色ずれを抑制するために、特異画素ＵＰＸの検出値を他の画素ＰＸの検出値に加算しないこともできる。例えば、信号処理部ＳＰは、１以上の特異画素ＵＰＸを除く同一画素ブロックＰＢ内の複数の画素ＰＸの検出値を加算する。信号処理部ＳＰは、加算して得られた総検出値を、画素ブロックＰＢに割り当てられた色の色値として検出し、デモザイク処理を行う。
［２－４．効果］
　イメージセンサＩＳ１は、互いに異なる色が割り当てられた複数の画素ブロックＰＢを有する。複数の画素ブロックＰＢはそれぞれ複数の画素ＰＸを含む。複数の画素ブロックＰＢのうちの少なくとも１つの画素ブロックＰＢに設けられた複数の画素ＰＸには、１以上の特異画素ＵＰＸが含まれる。１以上の特異画素ＵＰＸはそれぞれ、他の１以上の画素ブロックＰＢに割り当てられた１以上の色の光を検出する。カメラＣＡは、上述したイメージセンサＩＳ１を有する。
　この構成によれば、色のサンプリング間隔が低減される。そのため、デモザイク処理によって各画素ＰＸの色情報が精度よく演算される。ビニングを行わない通常モードにおいて色再現性度が高まる。よって、高感度で且つ色再現性の高いイメージセンサＩＳ１およびカメラＣＡが提供される。
　イメージセンサＩＳ１は、例えば、処理回路ＰＲを有する。処理回路ＰＲは、例えば、ビニングモードにおいて、複数の画素ブロックＰＢの検出値を、複数の画素ブロックＰＢにそれぞれ割り当てられた色の色値として検出する。
　この構成によれば、画素ブロックＰＢを１つの仮想的な画素として扱うため、検出感度が高まる。その結果、暗い環境でもノイズの少ない画像が撮影される。
　処理回路ＰＲは、例えば、ビニングモードにおいて、１以上の特異画素ＵＰＸを含む同一画素ブロックＰＢ内の複数の画素ＰＸの検出値を加算する。処理回路ＰＲは、例えば、加算して得られた総検出値に対して色補正をする。処理回路ＰＲは、例えば、色補正された総検出値を、画素ブロックＰＢに割り当てられた色の色値として検出する。
　この構成によれば、ビニングモードにおける色再現性が高まる。
　処理回路ＰＲは、例えば、ビニングモードにおいて、１以上の特異画素ＵＰＸを除く同一画素ブロックＰＢ内の複数の画素ＰＸの検出値を加算する。処理回路ＰＲは、例えば、加算して得られた総検出値を、画素ブロックＰＢに割り当てられた色の色値として検出する。
　この構成によれば、ビニングモードにおける色再現性が高まる。
　複数の画素ブロックＰＢはそれぞれ、例えば、Ｎ行Ｎ列（Ｎは３以上の整数）で配列されたＮ２個の画素ＰＸを含む。
　この構成によれば、ビニングモードにおいて高い感度が得られる。
　複数の画素ブロックＰＢは、例えば、赤色が割り当てられた赤画素ブロックＰＢ１と、緑色が割り当てられた緑画素ブロックＰＢ２と、青色が割り当てられた青画素ブロックＰＢ３と、を含む。赤画素ブロックＰＢ１、緑画素ブロックＰＢ２および青画素ブロックＰＢ３は、例えば、ベイヤ配列の配列パターンにしたがって配列されている。
　この構成によれば、緑の解像度が高いため、視覚的な解像度が高められる。
［３．第２実施形態のイメージセンサ］
　図４は、第２実施形態のイメージセンサＩＳ２の画素アレイ部ＰＡ２の構成を示す図である。本実施形態において第１実施形態と異なる点は、特異画素ＵＰＸが緑画素ブロックＰＢ２のみに設けられている点である。赤画素ブロックＰＢ１および青画素ブロックＰＢ３は、特異画素ＵＰＸを含まない。以下、第１実施形態との相違点を中心に説明を行う。
　イメージセンサＩＳ２は、例えば、緑画素ブロックＰＢ２として、第１緑画素ブロックＰＢ２Ａと第２緑画素ブロックＰＢ２Ｂとを有する。第１緑画素ブロックＰＢ２Ａは、例えば、１つの特異画素ＵＰＸ２Ａを含む。特異画素ＵＰＸ２Ａは、例えば、第１緑画素ブロックＰＢ２Ａの中心部に位置する。特異画素ＵＰＸ２Ａは、例えば、赤画素ブロックＰＢ１に割り当てられた赤色の光を検出する。第２緑画素ブロックＰＢ２Ｂは、例えば、１つの特異画素ＵＰＸ２Ｂを含む。特異画素ＵＰＸ２Ｂは、例えば、第２緑画素ブロックＰＢ２Ｂの中心部に位置する。特異画素ＵＰＸ２Ｂは、例えば、青画素ブロックＰＢ３に割り当てられた青色の光を検出する。第１緑画素ブロックＰＢ２Ａと第２緑画素ブロックＰＢ２Ｂは、例えば、水平方向および垂直方向において交互に配置されている。１つの画素ブロックＰＢに含まれる特異画素ＵＰＸの数は２以上でもよい。
　本実施形態においても、赤色と青色のサンプリング間隔が低減される。よって、デモザイク処理によって各画素ＰＸの色情報が精度よく演算される。その結果、通常モードにおいて色再現性度が高まる。
［４．第３実施形態のイメージセンサ］
　図５は、第３実施形態のイメージセンサＩＳ３の画素アレイ部ＰＡ３の構成を示す図である。本実施形態において第１実施形態と異なる点は、特異画素ＵＰＸが、複数の画素ブロックＰＢに割り当てられた複数の色から選択された２以上の色の光を検出する点である。特異画素ＵＰＸは、例えば、特異画素ＵＰＸが属する画素ブロックＰＢに割り当てられた色の光と、特異画素ＵＰＸが属さない画素ブロックＰＢに割り当てられた色の光と、を選択的に検出する。以下、第１実施形態との相違点を中心に説明を行う。
　赤画素ブロックＰＢ１は、例えば、１つの特異画素ＵＰＸ１Ｂを含む。特異画素ＵＰＸ１Ｂは、例えば、赤画素ブロックＰＢ１の中心部に位置する。特異画素ＵＰＸ１Ｂは、例えば、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。青画素ブロックＰＢ３は、例えば、１つの特異画素ＵＰＸ３Ｂを含む。特異画素ＵＰＸ３Ｂは、例えば、青画素ブロックＰＢ３の中心部に位置する。特異画素ＵＰＸ３Ｂは、例えば、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。緑画素ブロックＰＢ２は、特異画素ＵＰＸを含まない。１つの画素ブロックＰＢに含まれる特異画素ＵＰＸの数は２以上でもよい。特異画素ＵＰＸに検出される色は２より多くてもよい。
　特異画素ＵＰＸは、２以上の色の光を検出する。そのため、信号処理部ＳＡは、例えば、特異画素ＵＰＸの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸで検出される２以上の色の色値をそれぞれ推定する。例えば、信号処理部ＳＡは、赤画素ブロックＰＢ１内の特異画素ＵＰＸ１Ｂ以外の画素ＰＸの検出値に基づいて、特異画素ＵＰＸ１Ｂで検出されるべき赤の色値を推定する。信号処理部ＳＡは、特異画素ＵＰＸ１Ｂの検出値（赤の色値と青の色値とを含む）から、推定された赤の色値を引くことで、特異画素ＵＰＸ１Ｂで検出されるべき青の色値を推定する。特異画素ＵＰＸ３Ｂで検出されるべき赤の色値と青の色値も同様の方法で推定される。
　本実施形態では、１つの特異画素ＵＰＸによって２以上の色の光が検出される。そのため、２以上の色のサンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、特異画素ＵＰＸは、特異画素ＵＰＸが属する画素ブロックＰＢに割り当てられた色を含む２以上の色の光を検出する。そのため、通常モードにおける色再現性が高い。
　特異画素ＵＰＸは、２以上の色の光を検出する。そのため、１色の光だけを検出する他の画素ＰＸに比べて画素信号が飽和しやすい。そのため、処理回路ＰＲは、例えば、特異画素ＵＰＸの露光時間を他の画素ＰＸの露光時間よりも短くする。
　図６は、各画素ＰＸの露光タイミングを示す図である。
　画素ブロックＰＢの中央にある特異画素ＵＰＸの露光開始タイミングは、特異画素ＵＰＸ以外の画素ＰＸの露光開始タイミングよりも遅い。露光終了タイミングは、特異画素ＵＰＸと特異画素ＵＰＸ以外の画素ＰＸとで同じである。そのため、特異画素ＵＰＸの露光時間は、特異画素ＵＰＸ以外の画素ＰＸの露光時間よりも短い。特異画素ＵＰＸの露光時間は、例えば、特異画素ＵＰＸ以外の画素ＰＸの露光時間の半分に設定されている。よって、特異画素ＵＰＸの画素信号が飽和することが抑制される。
［５．第４実施形態のイメージセンサ］
　図７は、第４実施形態のイメージセンサＩＳ４の画素アレイ部ＰＡ４の構成を示す図である。本実施形態において第２実施形態と異なる点は、特異画素ＵＰＸが、複数の画素ブロックＰＢに割り当てられた複数の色から選択された２以上の色の光を検出する点である。特異画素ＵＰＸは、例えば、特異画素ＵＰＸが属する画素ブロックＰＢに割り当てられた色の光と、特異画素ＵＰＸが属さない画素ブロックＰＢに割り当てられた色の光と、を選択的に検出する。以下、第２実施形態との相違点を中心に説明を行う。
　第１緑画素ブロックＰＢ２Ａは、例えば、１つの特異画素ＵＰＸ２Ｃを含む。特異画素ＵＰＸ２Ｃは、例えば、第１緑画素ブロックＰＢ２Ａの中心部に位置する。特異画素ＵＰＸ２Ｃは、例えば、赤画素ブロックＰＢ１に割り当てられた赤色の光と、緑画素ブロックＰＢ２に割り当てられた緑色の光と、を検出する。第２緑画素ブロックＰＢ２Ｂは、例えば、１つの特異画素ＵＰＸ２Ｄを含む。特異画素ＵＰＸ２Ｄは、例えば、第２緑画素ブロックＰＢ２Ｂの中心部に位置する。特異画素ＵＰＸ２Ｄは、例えば、緑画素ブロックＰＢ２に割り当てられた緑色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。第１緑画素ブロックＰＢ２Ａと第２緑画素ブロックＰＢ２Ｂは、例えば、水平方向および垂直方向において交互に配置されている。１つの画素ブロックＰＢに含まれる特異画素ＵＰＸの数は２以上でもよい。
　特異画素ＵＰＸは、２以上の色の光を検出する。そのため、信号処理部ＳＡは、例えば、特異画素ＵＰＸの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸで検出される２以上の色の色値をそれぞれ推定する。例えば、信号処理部ＳＡは、第１緑画素ブロックＰＢ２Ａ内の特異画素ＵＰＸ２Ｃ以外の画素ＰＸの検出値に基づいて、特異画素ＵＰＸ２Ｃで検出されるべき緑の色値を推定する。信号処理部ＳＡは、特異画素ＵＰＸ２Ｃの検出値（赤の色値と緑の色値とを含む）から、推定された緑の色値を引くことで、特異画素ＵＰＸ２Ｃで検出されるべき赤の色値を推定する。特異画素ＵＰＸ２Ｄで検出されるべき緑の色値と青の色値も同様の方法で推定される。
　処理回路ＰＲは、例えば、特異画素ＵＰＸの露光時間を他の画素ＰＸの露光時間よりも短くする。これにより、特異画素ＵＰＸの画素信号が飽和することが抑制される。
　本実施形態でも、１つの特異画素ＵＰＸによって２以上の色の光が検出される。そのため、２以上の色のサンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、特異画素ＵＰＸは、特異画素ＵＰＸが属する画素ブロックＰＢに割り当てられた色を含む２以上の色の光を検出する。そのため、通常モードにおける色再現性が高い。
［６．第５実施形態のイメージセンサ］
　図８は、第５実施形態のイメージセンサＩＳ５の画素アレイ部ＰＡ５の構成を示す図である。本実施形態において第１実施形態と異なる点は、特異画素ＵＰＸが、赤画素ブロックＰＢ１および青画素ブロックＰＢ３に加えて緑画素ブロックＰＢ２にも設けられている点である。全ての画素ブロックＰＢに１以上の特異画素ＵＰＸが含まれる。緑画素ブロックＰＢ２に設けられた特異画素ＵＰＸ２Ｅは、例えば、複数の画素ブロックＰＢに割り当てられた複数の色から選択された２以上の色の光を検出する。特異画素ＵＰＸ２Ｅは、例えば、特異画素ＵＰＸが属さない２以上の画素ブロックＰＢにそれぞれ割り当てられた２以上の色の光を選択的に検出する。以下、第１実施形態との相違点を中心に説明を行う。
　緑画素ブロックＰＢ２は、例えば、１つの特異画素ＵＰＸ２Ｅを含む。特異画素ＵＰＸ２Ｅは、例えば、緑画素ブロックＰＢ２の中心部に位置する。特異画素ＵＰＸ２Ｅは、例えば、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。特異画素ＵＰＸ２Ｅは、特異画素ＵＰＸ２Ｅが属する緑画素ブロックＰＢ２に割り当てられた緑色と補色の関係にあるマゼンタ色の光を検出する。１つの緑画素ブロックＰＢ２に含まれる特異画素ＵＰＸ２Ｅの数は２以上でもよい。特異画素ＵＰＸ２Ｅに検出される色は２より多くてもよい。
　特異画素ＵＰＸ２Ｅは、２以上の色の光を検出する。そのため、信号処理部ＳＡは、例えば、特異画素ＵＰＸ２Ｅの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸ２Ｅで検出される２以上の色の色値をそれぞれ推定する。例えば、信号処理部ＳＡは、緑画素ブロックＰＢ２の周囲の赤画素ブロックＰＢ１および青画素ブロックＰＢ３で検出された赤色の画素ＰＸおよび青色の画素ＰＸの検出値に基づいて、特異画素ＵＰＸ２Ｅで検出されるべき赤の色値および青の色値を推定する。
　信号処理部ＳＡは、例えば、推定された赤の色値と青の色値との和と、検出値（赤の色値と青の色値とを含む）とを比較することで、高い精度で緑画素ブロックＰＢ２内の各画素ＰＸの赤の色値および青の色値を推定することができる。他の画素ＰＸの色情報は、周囲の確度の高い色情報に基づいて推定することができる。
　図９は、色情報の推定方法の一例を示す図である。
　図９は、白色光が画素アレイ部ＰＡ５の一部に入射した状態を示す。白色光は、赤、緑および青の色値がいずれも１２８の光として計測される。暗い部分の赤、緑および青の色値はいずれもゼロである。このとき、図示“Ａ”で示す特異画素ＵＰＸ２Ｅの赤、緑および青の色値は次のようにして推定される。
　まず、特異画素ＵＰＸ２Ｅの周囲の赤および青の検出値が取得される。図９の例では、特異画素ＵＰＸ２Ｅの上の画素ＰＸの赤の色値および青の色値は、いずれも１２８である。特異画素ＵＰＸ２Ｅの左の画素ＰＸの赤の色値および青の色値は、いずれも１２８である。特異画素ＵＰＸ２Ｅの右の画素ＰＸの赤の色値および青の色値は、いずれも０である。特異画素ＵＰＸ２Ｅの下の画素ＰＸの赤の色値および青の色値は、いずれも０である。
　特異画素ＵＰＸ２Ｅの周囲の赤および青の検出値を用いて線形補間を行うと、特異画素ＵＰＸ２Ｅの赤および青の色値は、いずれも６４と推定される。よって、特異画素ＵＰＸ２Ｅの検出値（赤の色値と青の色値との和）は１２８と推定される。しかし、実際の特異画素ＵＰＸ２Ｅの検出値は２５６（赤の色値１２８と青の色値１２８との和）である。赤および青の推定色値は、より大きな値へ修正すべきであることが分かる。よって、信号処理部ＳＰは、例えば、赤の推定色値と青の推定色値との比を維持したまま、赤の推定色値と青の推定色値との和が実際の検出値（赤の色値と青の色値との和）と同じ値となるように、赤の推定色値および青の推定色値を増減させる処理を行う。なお、色値の推定および修正は機械学習の手法を用いて行われてもよい。
　処理回路ＰＲは、例えば、特異画素ＵＰＸ２Ｅの露光時間を他の画素ＰＸの露光時間よりも短くする。そのため、特異画素ＵＰＸ２Ｅの画素信号が飽和することが抑制される。
　本実施形態では、全ての画素ブロックＰＢに１以上の特異画素ＵＰＸが含まれる。そのため、複数の画素ブロックＰＢに割り当てられた全ての色について、サンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、緑画素ブロックＰＢ２に、赤および青の光を検出する特異画素ＵＰＸ２Ｅが設けられているため、赤と青の分解能が高まる。また、特異画素ＵＰＸ２Ｅは、特異画素ＵＰＸ２Ｅが属さない２以上の画素ブロックＰＢにそれぞれ割り当てられた２以上の色の光を選択的に検出する。そのため、通常モードにおいて、特異画素ＵＰＸ２Ｅにおけるこの２以上の色の色値の推定精度が高まる。
［７．第６実施形態のイメージセンサ］
　図１０は、第６実施形態のイメージセンサＩＳ６の画素アレイ部ＰＡ６の構成を示す図である。本実施形態において第５実施形態と異なる点は、赤画素ブロックＰＢ１および青画素ブロックＰＢ３の特異画素ＵＰＸが、複数の画素ブロックＰＢに割り当てられた複数の色から選択された２以上の色の光を検出する点である。赤画素ブロックＰＢ１および青画素ブロックＰＢ３の特異画素ＵＰＸは、例えば、特異画素ＵＰＸが属さない２以上の画素ブロックＰＢにそれぞれ割り当てられた２以上の色の光を選択的に検出する。以下、第５実施形態との相違点を中心に説明を行う。
　赤画素ブロックＰＢ１は、例えば、１つの特異画素ＵＰＸ１Ｃを含む。特異画素ＵＰＸ１Ｃは、例えば、赤画素ブロックＰＢ１の中心部に位置する。特異画素ＵＰＸ１Ｃは、例えば、緑画素ブロックＰＢ２に割り当てられた緑色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。特異画素ＵＰＸ１Ｃは、特異画素ＵＰＸ１Ｃが属する赤画素ブロックＰＢ１に割り当てられた赤色と補色の関係にあるシアン色の光を検出する。１つの赤画素ブロックＰＢ１に含まれる特異画素ＵＰＸ１Ｃの数は２以上でもよい。特異画素ＵＰＸ１Ｃに検出される色は２より多くてもよい。
　青画素ブロックＰＢ３は、例えば、１つの特異画素ＵＰＸ３Ｃを含む。特異画素ＵＰＸ３Ｃは、例えば、青画素ブロックＰＢ３の中心部に位置する。特異画素ＵＰＸ３Ｃは、例えば、赤画素ブロックＰＢ１に割り当てられた赤色の光と、緑画素ブロックＰＢ２に割り当てられた緑色の光と、を検出する。特異画素ＵＰＸ３Ｃは、特異画素ＵＰＸ３Ｃが属する青画素ブロックＰＢ３に割り当てられた青色と補色の関係にある黄色の光を検出する。１つの青画素ブロックＰＢ３に含まれる特異画素ＵＰＸ３Ｃの数は２以上でもよい。特異画素ＵＰＸ３Ｃに検出される色は２より多くてもよい。
　特異画素ＵＰＸ１Ｃは、２以上の色の光を検出する。そのため、信号処理部ＳＡは、例えば、特異画素ＵＰＸ１Ｃの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸ１Ｃで検出される２以上の色の色値をそれぞれ推定する。例えば、信号処理部ＳＡは、赤画素ブロックＰＢ１の周囲の緑画素ブロックＰＢ２および青画素ブロックＰＢ３で検出された緑色の画素ＰＸおよび青色の画素ＰＸの検出値に基づいて、特異画素ＵＰＸ１Ｃで検出されるべき緑の色値および青の色値を推定する。
　信号処理部ＳＡは、例えば、推定された緑の色値と青の色値との和と、検出値（緑の色値と青の色値とを含む）とを比較することで、高い精度で赤画素ブロックＰＢ１内の各画素ＰＸの緑の色値および青の色値を推定することができる。他の画素ＰＸの色情報は、周囲の確度の高い色情報に基づいて推定することができる。
　特異画素ＵＰＸ３Ｃは、２以上の色の光を検出する。そのため、信号処理部ＳＡは、例えば、特異画素ＵＰＸ３Ｃの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸ３Ｃで検出される２以上の色の色値をそれぞれ推定する。例えば、信号処理部ＳＡは、青画素ブロックＰＢ３の周囲の赤画素ブロックＰＢ１および緑画素ブロックＰＢ２で検出された赤色の画素ＰＸおよび緑色の画素ＰＸの検出値に基づいて、特異画素ＵＰＸ３Ｃで検出されるべき赤の色値および緑の色値を推定する。
　信号処理部ＳＡは、例えば、推定された赤の色値と緑の色値との和と、検出値（赤の色値と緑の色値とを含む）とを比較することで、高い精度で青画素ブロックＰＢ３内の各画素ＰＸの赤の色値および緑の色値を推定することができる。他の画素ＰＸの色情報は、周囲の確度の高い色情報に基づいて推定することができる。
　本実施形態では、第５実施形態の効果に加えて次のような効果が得られる。赤画素ブロックＰＢ１に、緑および青の光を検出する特異画素ＵＰＸ１Ｃが設けられているため、緑と青の分解能が高まる。青画素ブロックＰＢ３に、赤および緑の光を検出する特異画素ＵＰＸ３Ｃが設けられているため、赤と緑の分解能が高まる。また、特異画素ＵＰＸ１Ｃは、特異画素ＵＰＸ１Ｃが属さない２以上の画素ブロックＰＢにそれぞれ割り当てられた２以上の色の光を選択的に検出する。そのため、通常モードにおいて、特異画素ＵＰＸ１Ｃにおけるこの２以上の色の色値の推定精度が高まる。特異画素ＵＰＸ３Ｃは、特異画素ＵＰＸ３Ｃが属さない２以上の画素ブロックＰＢにそれぞれ割り当てられた２以上の色の光を選択的に検出する。そのため、通常モードにおいて、特異画素ＵＰＸ３Ｃにおけるこの２以上の色の色値の推定精度が高まる。
［８．第７実施形態のイメージセンサ］
　図１１は、第７実施形態のイメージセンサＩＳ７の画素アレイ部ＰＡ７の構成を示す図である。本実施形態において第５実施形態と異なる点は、緑画素ブロックＰＢ２に設けられた特異画素ＵＰＸ２Ｆが、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する点である。以下、第５実施形態との相違点を中心に説明を行う。
　緑画素ブロックＰＢ２は、例えば、１つの特異画素ＵＰＸ２Ｆを含む。特異画素ＵＰＸ２Ｆは、例えば、緑画素ブロックＰＢ２の中心部に位置する。特異画素ＵＰＸ２Ｆは、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する。特異画素ＵＰＸ２Ｆが検出する光は、赤、緑および青の色を含む白色の光である。１つの緑画素ブロックＰＢ２に含まれる特異画素ＵＰＸ２Ｆの数は２以上でもよい。
　特異画素ＵＰＸ２Ｆは、３つの色の光を検出する。そのため、信号処理部ＳＡは、例えば、特異画素ＵＰＸ２Ｆの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸ２Ｆで検出される３つの色の色値をそれぞれ推定する。例えば、信号処理部ＳＡは、緑画素ブロックＰＢ２内の特異画素ＵＰＸ２Ｆ以外の画素ＰＸの検出値に基づいて、特異画素ＵＰＸ２Ｆで検出されるべき緑の色値を推定する。信号処理部ＳＡは、特異画素ＵＰＸ２Ｆの検出値（赤の色値、緑の色値および青の色値を含む）から、推定された緑の色値を引く。これにより、特異画素ＵＰＸ２Ｆにおける赤の色値と青の色値との和の値が推定される。
　赤の色値と青の色値との和の値から、赤色の色値と青色の色値とをそれぞれ推定する手法は第５実施形態で示したものと同じである。
　本実施形態では、第５実施形態の効果に加えて次のような効果が得られる。特異画素ＵＰＸ２Ｆは、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する。そのため、ビニングモードにおいて高い感度が得られる。
［９．第８実施形態のイメージセンサ］
　図１２は、第８実施形態のイメージセンサＩＳ８の画素アレイ部ＰＡ８の構成を示す図である。本実施形態において第７実施形態と異なる点は、全ての画素ブロックＰＢに設けられた特異画素ＵＰＸが、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する点である。以下、第７実施形態との相違点を中心に説明を行う。
　赤画素ブロックＰＢ１は、例えば、１つの特異画素ＵＰＸ１Ｄを含む。特異画素ＵＰＸ１Ｄは、例えば、赤画素ブロックＰＢ１の中心部に位置する。特異画素ＵＰＸ１Ｄは、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する。特異画素ＵＰＸ１Ｄが検出する光は、赤、緑および青の色を含む白色の光である。１つの赤画素ブロックＰＢ１に含まれる特異画素ＵＰＸ１Ｄの数は２以上でもよい。
　青画素ブロックＰＢ３は、例えば、１つの特異画素ＵＰＸ３Ｄを含む。特異画素ＵＰＸ３Ｄは、例えば、青画素ブロックＰＢ３の中心部に位置する。特異画素ＵＰＸ３Ｄは、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する。特異画素ＵＰＸ３Ｄが検出する光は、赤、緑および青の色を含む白色の光である。１つの青画素ブロックＰＢ３に含まれる特異画素ＵＰＸ３Ｄの数は２以上でもよい。
　信号処理部ＳＡは、例えば、特異画素ＵＰＸ１Ｄの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸ１Ｄで検出される３つの色の色値をそれぞれ推定する。信号処理部ＳＡは、例えば、特異画素ＵＰＸ３Ｄの周囲の画素ＰＸの色情報を用いて、特異画素ＵＰＸ３Ｄで検出される３つの色の色値をそれぞれ推定する。推定方法は、第７実施形態に示したものと同じである。
　本実施形態では、第７実施形態の効果に加えて次のような効果が得られる。全ての画素ブロックＰＢに設けられた特異画素ＵＰＸが、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する。そのため、ビニングモードにおいてより高い感度が得られる。
　図１３は、上述した画素アレイ部ＰＡのバリエーションの比較結果を示す図である。
　図１３において、「単色」は、特異画素ＵＰＸが１つの色の光を選択的に検出する構成を示す。「補色」は、特異画素ＵＰＸが、特異画素ＵＰＸの属する画素ブロックＰＢ以外の全ての画素ブロックＰＢに割り当てられた複数の色の光を検出する構成を示す。「オリジナル＋一色」は、特異画素ＵＰＸが、特異画素ＵＰＸが属する画素ブロックＰＢに割り当てられた色の光、および、特異画素ＵＰＸが属さない他の１つの画素ブロックＰＢに割り当てられた色の光を検出する構成を示す。「ホワイト」は、特異画素ＵＰＸが、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する構成を示す。
　図１３の表に記載された数値（１，２，３，４）は各構成の性能の順位を示す。数値が１の構成が最も性能がよい。図１３に示すように、赤および青の分解能は、「単色」の構成が最も高い。ビニングモードにおける感度は、「ホワイト」の構成が最も高い。ビニングモードにおける色再現性は、「オリジナル＋一色」の構成が最もよい。
［１０．特異画素の配置のバリエーション］
　図１４ないし図１８は、特異画素ＵＰＸの配置のバリエーションを示す図である。
　図１４は、画素ブロックＰＢの中央部に１つの特異画素ＵＰＸが配置された例である。３行３列で配置された９つの画素ＰＸの中央部の１つの画素ＰＸが特異画素ＵＰＸとなっている。
　図１５は、画素ブロックＰＢの中央部に４つの特異画素ＵＰＸが互いに隣接して配置された例である。４行４列で配置された１６個の画素ＰＸのうち、中央部の２行２列で配置された４つの画素ＰＸが特異画素ＵＰＸとなっている。
　図１６は、画素ブロックＰＢの中央部に４つの特異画素ＵＰＸが、互いに隣接しないように配置された例である。４つの特異画素ＵＰＸは、画素ブロックＰＢの中心に対して回転対称な位置に配置されている。
　図１４ないし図１６の例では、１以上の特異画素ＵＰＸが、画素ブロックＰＢの中心部に位置する。そのため、デモザイク処理によって各画素ＰＸの色情報が精度よく演算される。
　図１７および図１８は、画素ブロックＰＢが、各行および各列に１以上の特異画素ＵＰＸを含む例である。
　図１７の例では、４行４列で配置された１６個の画素ＰＸで構成される画素ブロックＰＢの最外周部に位置する４つの画素ＰＸが特異画素ＵＰＸとなっている。４つの画素ＵＰＸは、画素ブロックＰＢの中心に対して回転対称な位置に配置されている。
　図１８の例では、５行５列で配置された２５個の画素ＰＸで構成される画素ブロックＰＢの中心部に位置する１つの画素ＰＸおよび最外周部に位置する４つの画素ＰＸが特異画素ＵＰＸとなっている。５つの特異画素ＵＰＸは、画素ブロックＰＢの中心に対して回転対称な位置に配置されている。
　図１７および図１８の例では、画素ブロックＰＢの各行および各列に１以上の特異画素ＵＰＸが設けられるため、色のサンプリング間隔が低減される。
　図１４ないし図１８の例では、画素ブロックＰＢを構成する画素ＰＸの数が９個、１６個または２５個となっている。しかし、画素ブロックＰＢを構成する画素ＰＸの数はこれに限られない。
［１１．画素アレイ部の他のバリエーション］
　図１９ないし図２６は、画素アレイ部ＰＡの他のバリエーションを示す図である。
　図１９ないし図２１の例は、同一画素ブロックＰＢに属する複数の特異画素ＵＰＸが検出する光の色が全て同じである例である。
　例えば、図１９のイメージセンサＩＳ９は、第１実施形態の構成に図１８の特異画素ＵＰＸの配置を適用した例である。図２０のイメージセンサＩＳ１０は、第３実施形態の構成に図１８の特異画素ＵＰＸの配置を適用した例である。図２１のイメージセンサＩＳ１１は、第８実施形態の構成に図１８の特異画素ＵＰＸの配置を適用した例である。図２１の例では、第８実施形態と異なり、緑画素ブロックＰＢ２は特異画素ＵＰＸを含まない。
　図１９ないし図２１の例では、画素ブロックＰＢは、各行および各列に１以上の特異画素ＵＰＸを含む。そのため、色のサンプリング間隔が低減される。
　図２２ないし図２６の例は、同一画素ブロックＰＢに、異なる色の光を検出する複数種類の特異画素ＵＰＸが含まれる例である。
　例えば、図２２のイメージセンサＩＳ１２は、図１９の例に対して次の点が異なる。すなわち、画素ブロックＰＢの中央部に位置する１つの特異画素ＵＰＸの検出する光の色は、画素ブロックＰＢの最外周部に位置する他の４つの特異画素ＵＰＸの検出する光の色と異なる。
　例えば、赤画素ブロックＰＢ１の最外周部に位置する特異画素ＵＰＸ１Ａは、青画素ブロックＰＢ３に割り当てられた青色の光を検出する。赤画素ブロックＰＢ１の中心部に位置する特異画素ＵＰＸ１Ｂは、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。青画素ブロックＰＢ３の最外周部に位置する特異画素ＵＰＸ３Ａは、赤画素ブロックＰＢ１に割り当てられた赤色の光を検出する。青画素ブロックＰＢ３の中心部に位置する特異画素ＵＰＸ３Ｂは、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。デモザイク処理の方法は、第１実施形態および第３実施形態で説明したものと同じである。
　この構成では、図１９の例で示した効果に加えて次のような効果が得られる。画素ブロックＰＢの中心部に位置する特異画素ＵＰＸは、２以上の色の光を検出する。そのため、２以上の色のサンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、画素ブロックＰＢの中心部に位置する特異画素ＵＰＸは、特異画素ＵＰＸが属する画素ブロックＰＢに割り当てられた色を含む２以上の色の光を検出する。そのため、通常モードにおける色再現性が高い。
　図２３のイメージセンサＩＳ１３および図２４のイメージセンサＩＳ１４は、図２２の例に対して、画素ブロックＰＢの中心部に位置する特異画素ＵＰＸの検出する光の色が異なる。
　例えば、図２３の例では、赤画素ブロックＰＢ１の中心部に位置する特異画素ＵＰＸ１Ｅは、赤画素ブロックＰＢ１に割り当てられた赤色の光と、緑画素ブロックＰＢ２に割り当てられた緑色の光と、を検出する。青画素ブロックＰＢ３の中心部に位置する特異画素ＵＰＸ３Ｅは、緑画素ブロックＰＢ２に割り当てられた緑色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。図２４の例では、赤画素ブロックＰＢ１の中心部に位置する特異画素ＵＰＸ１Ｄは、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する。青画素ブロックＰＢ３の中心部に位置する特異画素ＵＰＸ３Ｄは、複数の画素ブロックＰＢに割り当てられた全ての色の光を検出する。これらの例によっても、図２２の例と同様の効果が得られる。
　図２５のイメージセンサＩＳ１５は、図２４の例に対して、画素ブロックＰＢの最外周部に位置する特異画素ＵＰＸの検出する光の色が異なる。例えば、赤画素ブロックＰＢ１の最外周部に位置する特異画素ＵＰＸ１Ｂは、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。青画素ブロックＰＢ３の最外周部に位置する特異画素ＵＰＸ３Ｂは、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。この構成では、画素ブロックＰＢの中心部に位置する特異画素ＵＰＸに加えて、画素ブロックＰＢの最外周部に位置する特異画素ＵＰＸも複数の色の光を検出する。そのため、色のサンプリング間隔が低減される。
　図２６のイメージセンサＩＳ１６は、図２５の例に対して、異なる色の光を検出する複数の特異画素ＵＰＸが同一画素ブロックＰＢの最外周部に設けられている点が異なる。
　例えば、赤画素ブロックＰＢ１の最外周部には、互いに異なる色の光を検出する特異画素ＵＰＸ１Ａと特異画素ＵＰＸ１Ｂとが設けられている。特異画素ＵＰＸ１Ａは、青画素ブロックＰＢ３に割り当てられた青色の光を検出する。特異画素ＵＰＸ１Ｂは、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。赤画素ブロックＰＢ１には、赤画素ブロックＰＢ１の中心に対して点対称な位置に２つの特異画素ＵＰＸ１Ａが設けられている。赤画素ブロックＰＢ１には、赤画素ブロックＰＢ１の中心に対して点対称な位置に２つの特異画素ＵＰＸ１Ｂが設けられている。
　青画素ブロックＰＢ３の最外周部には、互いに異なる色の光を検出する特異画素ＵＰＸ３Ａと特異画素ＵＰＸ３Ｂとが設けられている。特異画素ＵＰＸ３Ａは、赤画素ブロックＰＢ１に割り当てられた赤色の光を検出する。特異画素ＵＰＸ３Ｂは、赤画素ブロックＰＢ１に割り当てられた赤色の光と、青画素ブロックＰＢ３に割り当てられた青色の光と、を検出する。青画素ブロックＰＢ３には、青画素ブロックＰＢ３の中心に対して点対称な位置に２つの特異画素ＵＰＸ３Ａが設けられている。青画素ブロックＰＢ３には、青画素ブロックＰＢ３の中心に対して点対称な位置に２つの特異画素ＵＰＸ３Ｂが設けられている。
　この構成でも、色のサンプリング間隔が低減される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　互いに異なる色が割り当てられた複数の画素ブロックを有し、
　前記複数の画素ブロックはそれぞれ複数の画素を含み、
　前記複数の画素ブロックのうちの少なくとも１つの画素ブロックに設けられた前記複数の画素には、他の１以上の画素ブロックに割り当てられた１以上の色の光を検出する１以上の特異画素が含まれる
　イメージセンサ。
（２）
　ビニングモードにおいて、前記複数の画素ブロックの検出値を、前記複数の画素ブロックにそれぞれ割り当てられた色の色値として検出する処理回路を有する
　上記（１）に記載のイメージセンサ。
（３）
　前記処理回路は、前記ビニングモードにおいて、前記１以上の特異画素を含む同一画素ブロック内の前記複数の画素の検出値を加算し、加算して得られた総検出値に対して色補正をし、色補正された総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
　上記（２）に記載のイメージセンサ。
（４）
　前記処理回路は、前記ビニングモードにおいて、前記１以上の特異画素を除く同一画素ブロック内の複数の画素の検出値を加算し、加算して得られた総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
　上記（２）に記載のイメージセンサ。
（５）
　前記特異画素は、前記複数の画素ブロックに割り当てられた複数の色から選択された２以上の色の光を検出する
　上記（１）ないし（４）のいずれか１つに記載のイメージセンサ。
（６）
　前記特異画素は、前記特異画素が属する画素ブロックに割り当てられた色の光と、前記特異画素が属さない１以上の画素ブロックにそれぞれ割り当てられた１以上の色の光と、を選択的に検出する
　上記（５）に記載のイメージセンサ。
（７）
　前記特異画素は、前記特異画素が属さない２以上の画素ブロックにそれぞれ割り当てられた２以上の色の光を選択的に検出する
　上記（５）に記載のイメージセンサ。
（８）
　前記特異画素は、前記複数の画素ブロックに割り当てられた全ての色の光を検出する
　上記（５）に記載のイメージセンサ。
（９）
　前記特異画素の露光時間を他の画素の露光時間よりも短くする処理回路を有する
　上記（５）ないし（８）のいずれか１つに記載のイメージセンサ。
（１０）
　前記複数の画素ブロックは、それぞれＮ行Ｎ列（Ｎは３以上の整数）で配列されたＮ２個の画素を含む
　上記（１）ないし（９）のいずれか１つに記載のイメージセンサ。
（１１）
　前記１以上の特異画素は、画素ブロックの中心部に位置する
　上記（１０）に記載のイメージセンサ。
（１２）
　前記画素ブロックは、各行および各列に１以上の特異画素を含む
　上記（１０）に記載のイメージセンサ。
（１３）
　前記複数の画素ブロックは、赤色が割り当てられた赤画素ブロックと、緑色が割り当てられた緑画素ブロックと、青色が割り当てられた青画素ブロックと、を含み、
　前記赤画素ブロック、前記緑画素ブロックおよび前記青画素ブロックは、ベイヤ配列の配列パターンにしたがって配列されている
　上記（１０）ないし（１２）のいずれか１つに記載のイメージセンサ。
（１４）
　上記（１）ないし（１３）のいずれか１つに記載のイメージセンサを有するカメラ。
ＣＡ　カメラ
ＩＳ，ＩＳ１～ＩＳ１６　イメージセンサ
ＰＢ　画素ブロック
ＰＸ　画素
ＰＲ　処理回路
ＵＰＸ，ＵＰＸ１Ａ～ＵＰＸ１Ｅ，ＵＰＸ２Ａ～ＵＰＸ２Ｆ，ＵＰＸ３Ａ～ＵＰＸ３Ｅ　特異画素

Claims (14)

  1. 　互いに異なる色が割り当てられた複数の画素ブロックを有し、
    　前記複数の画素ブロックはそれぞれ複数の画素を含み、
    　前記複数の画素ブロックのうちの少なくとも１つの画素ブロックに設けられた前記複数の画素には、他の１以上の画素ブロックに割り当てられた１以上の色の光を検出する１以上の特異画素が含まれる
    　イメージセンサ。
  2. 　ビニングモードにおいて、前記複数の画素ブロックの検出値を、前記複数の画素ブロックにそれぞれ割り当てられた色の色値として検出する処理回路を有する
    　請求項１に記載のイメージセンサ。
  3. 　前記処理回路は、前記ビニングモードにおいて、前記１以上の特異画素を含む同一画素ブロック内の前記複数の画素の検出値を加算し、加算して得られた総検出値に対して色補正をし、色補正された総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
    　請求項２に記載のイメージセンサ。
  4. 　前記処理回路は、前記ビニングモードにおいて、前記１以上の特異画素を除く同一画素ブロック内の複数の画素の検出値を加算し、加算して得られた総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
    　請求項２に記載のイメージセンサ。
  5. 　前記特異画素は、前記複数の画素ブロックに割り当てられた複数の色から選択された２以上の色の光を検出する
    　請求項１に記載のイメージセンサ。
  6. 　前記特異画素は、前記特異画素が属する画素ブロックに割り当てられた色の光と、前記特異画素が属さない１以上の画素ブロックにそれぞれ割り当てられた１以上の色の光と、を選択的に検出する
    　請求項５に記載のイメージセンサ。
  7. 　前記特異画素は、前記特異画素が属さない２以上の画素ブロックにそれぞれ割り当てられた２以上の色の光を選択的に検出する
    　請求項５に記載のイメージセンサ。
  8. 　前記特異画素は、前記複数の画素ブロックに割り当てられた全ての色の光を検出する
    　請求項５に記載のイメージセンサ。
  9. 　前記特異画素の露光時間を他の画素の露光時間よりも短くする処理回路を有する
    　請求項５に記載のイメージセンサ。
  10. 　前記複数の画素ブロックは、それぞれＮ行Ｎ列（Ｎは３以上の整数）で配列されたＮ２個の画素を含む
    　請求項１に記載のイメージセンサ。
  11. 　前記１以上の特異画素は、画素ブロックの中心部に位置する
    　請求項１０に記載のイメージセンサ。
  12. 　前記画素ブロックは、各行および各列に１以上の特異画素を含む
    　請求項１０に記載のイメージセンサ。
  13. 　前記複数の画素ブロックは、赤色が割り当てられた赤画素ブロックと、緑色が割り当てられた緑画素ブロックと、青色が割り当てられた青画素ブロックと、を含み、
    　前記赤画素ブロック、前記緑画素ブロックおよび前記青画素ブロックは、ベイヤ配列の配列パターンにしたがって配列されている
    　請求項１０に記載のイメージセンサ。
  14. 　請求項１に記載のイメージセンサを有するカメラ。
PCT/JP2021/009181 2020-03-17 2021-03-09 イメージセンサおよびカメラ WO2021187223A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022508236A JP7601089B2 (ja) 2020-03-17 2021-03-09 イメージセンサおよびカメラ
US17/906,095 US11974054B2 (en) 2020-03-17 2021-03-09 Image sensor and camera having high sensitivity and high color reproducibility

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020046792 2020-03-17
JP2020-046792 2020-03-17

Publications (1)

Publication Number Publication Date
WO2021187223A1 true WO2021187223A1 (ja) 2021-09-23

Family

ID=77771241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009181 WO2021187223A1 (ja) 2020-03-17 2021-03-09 イメージセンサおよびカメラ

Country Status (3)

Country Link
US (1) US11974054B2 (ja)
JP (1) JP7601089B2 (ja)
WO (1) WO2021187223A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100467A1 (ja) * 2021-11-30 2023-06-08 ソニーグループ株式会社 情報処理装置と情報処理方法とプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7487151B2 (ja) * 2021-06-29 2024-05-20 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の製造方法、および電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160210A (ja) * 2006-12-20 2008-07-10 Canon Inc 情報処理方法および撮像装置
JP2009010923A (ja) * 2007-02-27 2009-01-15 Phase One As デジタル画像のカラービニング
JP2015534734A (ja) * 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
JP2016213740A (ja) * 2015-05-12 2016-12-15 キヤノン株式会社 撮像装置及び撮像システム
JP2017055350A (ja) * 2015-09-11 2017-03-16 株式会社東芝 固体撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP2007235888A (ja) 2006-03-03 2007-09-13 Fujifilm Corp 単板式カラー固体撮像素子及び撮像装置
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP5359465B2 (ja) 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP6622481B2 (ja) * 2015-04-15 2019-12-18 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP2019012968A (ja) 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160210A (ja) * 2006-12-20 2008-07-10 Canon Inc 情報処理方法および撮像装置
JP2009010923A (ja) * 2007-02-27 2009-01-15 Phase One As デジタル画像のカラービニング
JP2015534734A (ja) * 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
JP2016213740A (ja) * 2015-05-12 2016-12-15 キヤノン株式会社 撮像装置及び撮像システム
JP2017055350A (ja) * 2015-09-11 2017-03-16 株式会社東芝 固体撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100467A1 (ja) * 2021-11-30 2023-06-08 ソニーグループ株式会社 情報処理装置と情報処理方法とプログラム

Also Published As

Publication number Publication date
US11974054B2 (en) 2024-04-30
JP7601089B2 (ja) 2024-12-17
US20230179878A1 (en) 2023-06-08
JPWO2021187223A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
KR101128540B1 (ko) 촬상 장치
US8208054B2 (en) Solid-state imaging device
JP5155324B2 (ja) 被写体運動ぶれが低減されたデジタル画像
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
CN101854488B (zh) 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
JP6239975B2 (ja) 固体撮像装置及びそれを用いた撮像システム
CN106161890B (zh) 成像装置、成像系统以及信号处理方法
JP5661201B2 (ja) 固体撮像装置
JP4626706B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US20080273101A1 (en) Image capturing system, signal processing circuit, and signal processing method
KR20110036707A (ko) 화상 신호 보정 장치, 촬상 장치, 화상 신호 보정 방법, 및 프로그램
JP4159307B2 (ja) 撮像画像の再現方法
US7259788B1 (en) Image sensor and method for implementing optical summing using selectively transmissive filters
JP4035356B2 (ja) 撮像装置およびその制御方法
JP2017022624A (ja) 撮像素子及びその駆動方法、及び撮像装置
JP7601089B2 (ja) イメージセンサおよびカメラ
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
CN113824906B (zh) 图像感测装置
US20070201114A1 (en) Solid-state image sensing device having photoelectric conversion cells each configured by n pixels in vertical direction
US20080158397A1 (en) Solid-state imaging apparatus and signal processing method
JP6137539B2 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
CN118200721A (zh) 包括不同尺寸的微透镜的传感器
TWI633790B (zh) Solid-state imaging device and driving method thereof and electronic device
JP2005353716A (ja) 固体撮像素子及び撮像装置
JP2016139875A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771843

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508236

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21771843

Country of ref document: EP

Kind code of ref document: A1