[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021187076A1 - 撮像素子及び電子機器 - Google Patents

撮像素子及び電子機器 Download PDF

Info

Publication number
WO2021187076A1
WO2021187076A1 PCT/JP2021/007777 JP2021007777W WO2021187076A1 WO 2021187076 A1 WO2021187076 A1 WO 2021187076A1 JP 2021007777 W JP2021007777 W JP 2021007777W WO 2021187076 A1 WO2021187076 A1 WO 2021187076A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
pixel
colors
color
Prior art date
Application number
PCT/JP2021/007777
Other languages
English (en)
French (fr)
Inventor
征志 中田
浩章 山丈
山本　洋介
裕一郎 馬場
淳一 金井
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/908,196 priority Critical patent/US20230140768A1/en
Priority to JP2022508183A priority patent/JPWO2021187076A1/ja
Priority to EP21770928.6A priority patent/EP4124031A4/en
Priority to KR1020227030948A priority patent/KR20220154108A/ko
Publication of WO2021187076A1 publication Critical patent/WO2021187076A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors

Definitions

  • This disclosure relates to an image sensor and an electronic device.
  • a method of using a three-color color filter as an image sensor is common.
  • a method of arranging different color filters in addition to three colors, for example, RGB color filters has been widely developed. In such an arrangement of color filters, it is hard to say that a good one has been sufficiently found from the viewpoint of image composition.
  • UDC Under Display Camera
  • a camera is provided under the display surface of the display.
  • the camera receives light transmitted through the display.
  • the sensitivity of blue is significantly reduced due to the material used.
  • the organic photoelectric conversion film if RGB is to be extracted from one pixel in the vertical direction, the organic photoelectric conversion film or the photodiode needs to have a two-layer structure, which is not possible from the viewpoint of cost and the like. There is the problem of efficiency.
  • an image sensor and an electronic device are provided that include color filters of different colors in addition to color filters of three colors (for example, RGB) to improve the accuracy of image reconstruction.
  • color filters of different colors for example, RGB
  • the image sensor receives first information which is information on the three primary colors and information on at least two colors different from the three primary colors and includes at least one of the complementary colors of the three primary colors. It comprises a plurality of pixels, which are to be acquired.
  • the three primary colors may be R (red), G (green), B (blue), and the complementary colors may be Cy (cyan), Ye (yellow), and Mg (magenta).
  • the second information may include Cy and Ye information.
  • the second information may include information on Cy, Ye and Mg.
  • the second information may include information on at least one of white and emerald.
  • the pixel may output information in at least two colors of the first information and the second information.
  • the pixel may include a plurality of divided pixels, and information of one color of the first information and the second information may be acquired for each divided pixel.
  • information of similar colors may be collectively acquired.
  • the similar color information may include at least one of R and Mg, B and Cy, G and Ye, R and Ye, or R and infrared light.
  • the first information and the second information may be information acquired by different light receiving elements at the same timing.
  • the second information may include at least one of the three primary color information.
  • the first information and the second information may be acquired at different resolutions.
  • Information may be acquired for at least one of the pixels by using an organic photoelectric conversion film.
  • the first information may be acquired in the organic photoelectric conversion film and the second information may be acquired in the photodiode via the organic photoelectric conversion film, or the second information may be acquired in the organic photoelectric conversion film.
  • the first information may be acquired in the photodiode via the organic photoelectric conversion film.
  • the electronic device may include the image pickup device according to any one of the above, and may have a still image mode and a moving image mode.
  • the first information and the second information may be combined.
  • At least one of the pixels may acquire light information in the infrared region.
  • At least a part of the image sensor included in the pixel that acquires light information in the infrared region may be provided with a filter capable of removing infrared rays.
  • the frame image output from the pixels may be combined, or the number of the pixels to be added for each frame may be controlled at the timing of composition.
  • the electronic device includes the above-mentioned image sensor, and performs object identification, biometric identification, or light source estimation based on the spectral information acquired from the image sensor.
  • the parameters of image processing or the image processing may be controlled based on the object identified by the object identification or the biological identification.
  • the display for displaying an image and the image pickup device according to any one of the above may be provided at a position overlapping the display.
  • the electronic device includes a compound eye camera including at least one of the above-mentioned image pickup elements, and at least one of the above-mentioned image pickup elements does not have an infrared ray removing filter.
  • the image pickup device may include a first pixel group for acquiring the first information and a second pixel group for acquiring the second information, and the second pixel group may include the second pixel group. It may be a pixel having a higher sensitivity than the pixel that acquires the information of G in the first pixel group.
  • the second pixel group may include at least pixels for acquiring white information.
  • the information acquired by the first pixel group may be used to interpolate the information acquired by the second pixel group.
  • a still image mode for acquiring a still image and a moving image mode for acquiring a moving image are provided, and the first pixel group and the second pixel group are combined by different methods in the still image mode and the moving image mode. You may.
  • the still image mode and the moving image mode may be combined at different timings.
  • the pixel belonging to the first pixel group may have a resolution lower than the resolution of the pixel belonging to the second pixel group.
  • the color information acquired from the second pixel group may be corrected based on the color information statistical value or the light source estimation result acquired from the first pixel group.
  • the latest pixels may be arranged at a distance of 10 mm or less.
  • the recent pixels may be arranged at a distance of 50 mm to 80 mm.
  • the first pixel group or the second pixel group may be configured to include divided pixels in which the pixels to which the first pixel group belongs are divided.
  • a white pixel may be provided in the divided pixel.
  • the optical parameters that serve as the path of the light may have different parameters in each group.
  • the second pixel group may include pixels having higher sensitivity than the pixels that acquire the information of B in the first pixel group.
  • the pixel having higher sensitivity than the pixel for acquiring the information of B may be a pixel for acquiring white or cyan color information.
  • the image sensor may output information obtained by recalculating and rearranging the three primary color information from the acquired image information by arithmetic processing for the pixel information acquired in five or more colors.
  • the image sensor may calculate a pixel value or a statistical value of information including at least complementary color information from the acquired image information.
  • the image sensor may calculate the statistical values for the information on the three primary colors and the complementary color information from the acquired image information.
  • the image sensor may calculate the statistical value from the complementary color information without including the information of the three primary colors from the acquired image information.
  • the image sensor may control the exposure amount of the pixels that receive the three primary colors and the pixels that receive the complementary colors.
  • the exposure amount may be controlled by controlling the shutter time.
  • the exposure amount may be controlled by controlling the gain.
  • the solid-state image sensor includes at least one image sensor among the image sensors described above.
  • the electronic device has a first information which is information on the three primary colors and a second information which is information on at least two colors different from the three primary colors and includes at least one of the complementary colors of the three primary colors.
  • the image sensor is provided with a plurality of pixels for acquiring the image.
  • A-A cross-sectional view of FIG. The figure which shows typically the pixel and the pixel array which concerns on one Embodiment.
  • the figure which shows the color which receives light in the pixel which concerns on one Embodiment. The figure which shows the example of the formation of the pixel which concerns on one Embodiment.
  • the figure which shows the example of the formation of the pixel which concerns on one Embodiment. The figure which shows the example of the formation of the pixel which concerns on one Embodiment.
  • the figure which shows the example of the formation of the pixel which concerns on one Embodiment. The figure which shows the example of the formation of the pixel which concerns on one Embodiment.
  • the figure which shows the example of the formation of the pixel which concerns on one Embodiment. The figure which shows the example of the formation of the pixel which concerns on one Embodiment.
  • the figure which shows the example of the formation of the pixel which concerns on one Embodiment. The figure which shows the example of the substrate composition which concerns on one Embodiment.
  • the figure which shows the example of the substrate composition which concerns on one Embodiment. The figure which shows the example of the substrate composition which concerns on one Embodiment.
  • the schematic diagram which shows the example of the electronic device which includes the solid-state image sensor which concerns on one Embodiment. The figure which shows an example of the block diagram of the solid-state image pickup apparatus which concerns on one Embodiment.
  • the figure which shows the electronic device which concerns on one Embodiment. The figure which shows the arrangement of the received color in the pixel which concerns on one Embodiment.
  • a front view of a digital camera which is a second application example of an electronic device.
  • Rear view of a digital camera. The external view of the HMD which is the 3rd application example of an electronic device.
  • External view of smart glasses. The external view of the TV which is the 4th application example of the electronic device.
  • External view of a smartphone which is a fifth application example
  • FIG. 1 is a diagram showing an example of a block diagram of a solid-state image sensor according to an embodiment.
  • the solid-state image sensor 10 includes a light receiving unit 100, a storage unit 102, a control unit 104, a signal processing unit 106, and an image processing unit 108.
  • the solid-state image sensor 10 is a device that appropriately processes the light received by the light receiving unit 100, converts it into image information, recognition information, and the like, and outputs the light.
  • the light receiving unit 100 receives light from the outside and outputs a signal based on the intensity of the received light.
  • the storage unit 102 stores data required for each component of the solid-state image sensor 10 or data output from each component.
  • the storage unit 102 includes memory, storage, and the like, which are arbitrary temporary or non-temporary suitable storage media.
  • the control unit 104 controls the light receiving unit 100 and the like.
  • the control unit 104 may, for example, control based on an input from a user, or may control based on preset conditions. Further, the control unit 104 may perform control based on the outputs of the signal processing unit 106, the image processing unit 108, and the like.
  • the signal processing unit 106 appropriately processes and outputs the signal output by the light receiving unit 100.
  • the signal processing unit 106 executes, for example, a process of converting an analog signal output by the light receiving unit 100 into a digital signal. In addition to this, processing such as signal clamping processing may be executed. As an example, the signal processing unit 106 converts the received analog signal into a digital image signal and outputs the image information to the image processing unit 108.
  • the signal processing unit 106 executes predetermined image processing on the converted information.
  • the image processing unit 108 executes, for example, noise removal processing, various filter processing, and the like to appropriately process image information.
  • the signal processing unit 106 and the image processing unit 108 are described separately for convenience, they may be provided as one signal processing unit. As another example, each process may be composed of finer parts (circuits) instead of two parts (circuits). These signal processing units 106 and / or image processing units 108 generate information and images according to various purposes based on the signals output from the image sensor.
  • a part or all of each part of the solid-state image sensor 10 described above may be mounted by a dedicated digital circuit or analog circuit, respectively.
  • a dedicated circuit for example, it may be configured by an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Further, it may be implemented by a general-purpose processing circuit such as a CPU (Central Processing Unit).
  • CPU Central Processing Unit
  • FIG. 2 is a block diagram showing a more detailed and unrestricted example of the configuration of the solid-state image sensor 10 shown in FIG.
  • the light receiving unit 100 includes, for example, a lens 110, an infrared ray removing filter (hereinafter, IRCF 112), and an image sensor 114.
  • IRCF 112 an infrared ray removing filter
  • Image sensor 114 An image sensor 114.
  • IRCF112 is not a required configuration. Further, an optical system other than the lens 110 may be provided.
  • the image sensor 114 includes, for example, an organic photoelectric conversion film or a photodiode.
  • the image pickup device 114 may be provided with a color filter so that each image pickup device 114 can acquire light having an appropriate spectrum.
  • each image sensor 114 itself may output an analog signal based on the light intensity of an appropriate spectrum, instead of providing a filter.
  • the signal processing unit 106 or the image processing unit 108 includes, for example, an A / D conversion unit 120, a clamp unit 122, a linear matrix unit 124, a gamma correction unit 126, a light source estimation unit 130, an object recognition unit 132, and the like. It includes a luminance chroma signal generation unit 140.
  • the functions of the signal processing unit 106 and the image processing unit 108 do not have to be clearly divided.
  • the signal processing unit 106 may process the signal itself of the A / D conversion unit 120 and the like
  • the image processing unit 108 may process the image of the gamma correction unit 126 and the like.
  • FIG. 2 is a diagram shown as an example, and the signal processing unit 106 or the image processing unit 108 may execute not only the indicated processing but also further signal processing and image processing. On the contrary, not all the configurations shown in FIG. 2 are indispensable, and the components may be appropriately omitted based on the processing to be executed.
  • the A / D converter 120 converts the analog signal output from the image sensor 114 into a digital signal and outputs it.
  • the A / D conversion unit 120 may be built in the image sensor.
  • the clamp unit 122 performs black level subtraction on the digital signal output by the A / D conversion unit 120.
  • the linear matrix unit 124 reproduces the color of the captured target by synthesizing the digital signals output by the clamp unit 122 for each color.
  • the gamma correction unit 126 executes gamma correction processing on the digital signal output by the linear matrix unit 124.
  • the light source estimation unit 130 estimates the light source environment, the scene, etc. from the multicolor color information which is the digital signal output by the clamp unit 122.
  • the object recognition unit 132 recognizes what the subject indicated by the digital signal is in the environment estimated by the light source estimation unit 130.
  • a trained neural network model may be used.
  • the luminance chroma signal generation unit 140 reconstructs an image based on the image signal gamma-corrected by the gamma correction unit 126 and the recognition result output by the object recognition unit 132.
  • the color information may be manipulated based on the object recognized by the object recognition unit 132 to generate an image having a color suitable for the recognized object.
  • the input / output I / F 150 outputs the image data generated by the luminance chroma signal generation unit 140 to the outside.
  • FIG. 3 is a graph in which the spectra of Cy (cyan), Ye (yellow), and Mg (magenta) are superimposed on the graph showing the general spectra of R (red), G (green), and B (blue). ..
  • R red
  • G green
  • B blue
  • spectral valleys at wavelengths around 500 nm and 580 nm. That is, even if the addition is performed by multiplying the gains of the three colors, the light receiving property of the color in which the peak of the spectrum exists at this position deteriorates.
  • a color filter or a color filter is used to receive light intensity of at least two other spectral characteristics.
  • the organic photoelectric conversion film is arranged appropriately.
  • the characteristics of the spectrum shown by the solid line represent the spectrum of cyan, yellow, and magenta colors, as shown by Cy, Ye, and Mg, respectively.
  • the solid-state image sensor 10 is, for example, the result of acquiring the first information which is the result of acquiring the information of the three primary colors of R, G, and B in the image sensor 114 and the result of acquiring the information of at least two colors different from the three primary colors. Therefore, it is provided with a pixel for acquiring second information including at least one of Cy, Ye, and Mg, which are complementary colors of these three primary colors.
  • the three primary colors are not limited to RGB, but in the following, RGB is used as the three primary colors, and Cy, Ye, and Mg are used as complementary colors.
  • the color information acquired as the second information is Cy and Ye, it can be seen that the valley of the spectrum formed by RGB can be covered. Further, as the second information, the color information of Cy, Ye, and Mg, which are complementary colors of the three colors, may be used. By adding Mg, more detailed color reproduction can be achieved.
  • Cy emeralds with similar peak positions may be used. Emeralds, not shown, are represented by a spectrum with a peak between B and G. These Cy and emerald spectra are also useful for producing negative components in the color matching function. Further, as another example, an element that receives white light having an overall spectrum may be provided.
  • FIG. 4 is a diagram showing an example of pixels provided in the image sensor 114.
  • a plurality of light receiving elements 200 are provided in the pixel, but the configuration is not limited to this, and the pixel 20 and the light receiving element 200 may have another form such as a one-to-one correspondence.
  • the color combinations described below can be applied in the same manner.
  • the signal line, the light shielding wall, and the like, which are not shown, are appropriately provided as appropriate.
  • Pixel 20 includes, for example, four light receiving elements 200a, 200b, 200c, and 200d.
  • the light receiving elements 2000a to 200d each include an independent photodiode and an organic photoelectric conversion film. Filters of different colors may be provided on these image sensors, and some of them may be provided with filters of the same color.
  • the light receiving element itself may have a structure capable of receiving light having a different color or a spectrum of the same color.
  • the light receiving elements 200a and 200d may receive light having a spectrum of Mg, and the light receiving elements 200b and 200c may receive light having a spectrum of R.
  • Mg a spectrum of Mg
  • R a spectrum of R
  • FIG. 5 is a diagram showing a cross section taken along the line AA in FIG.
  • the light receiving element 200 is configured to include, for example, a photodiode.
  • An insulating film may be provided between these photodiodes.
  • a split photodiode for example, a semiconductor device as disclosed in Japanese Patent Application Laid-Open No. 2013-045917 may be used, or another type of semiconductor device may be used.
  • a filter 202a that transmits light according to the spectrum received by the light receiving element 200a is provided.
  • a filter 202b is provided above the light receiving element 200b.
  • the filter 202a is a filter that transmits Mg light
  • the filter 202b is a filter that transmits R light.
  • the light receiving elements 200a and 200b convert the light received by each into an analog signal and output it to an appropriate place such as floating diffusion in the pixel 20.
  • Each of the light receiving elements 200a and 200b may output an analog signal at an appropriate timing, or may output an analog signal at the same timing.
  • FIG. 6 is a diagram showing an example of a pixel array provided with pixels.
  • a plurality of pixels 20 are provided in an array.
  • the pixel array 204 is formed by the pixels provided in the array. Then, the pixel array 204 is provided in the light receiving unit 100, and the received light is converted into an analog signal based on the characteristics of each light receiving element 200 and output.
  • Each pixel 20 may be provided with a light receiving element 200 as a divided pixel as shown in FIG. 5, and as described above, a color determined for each pixel 20 is acquired without using the divided pixel. By doing so, the form described below may be appropriately expressed.
  • the pixel 20 may include a light receiving element 200 that forms the divided divided pixels, and each divided pixel may receive light through different filters.
  • color acquisition by this configuration will be described.
  • the pixel 20 receives light of two colors. It is desirable that these two colors are similar colors.
  • the similar color is, for example, a combination of R and Mg, G and Ye, and B and Cy.
  • G and emerald, or a combination of B and emerald may be used.
  • these color combinations can also be defined as colors having a common wavelength component of a predetermined value or more.
  • FIG. 7 is a diagram showing an example of a combination of colors received by the pixel 20 according to the embodiment.
  • the color notation in the figure is the same as in the specification, where R is red, G is green, B is blue, Mg is magenta, Ye is yellow, and Cy is cyan.
  • the upper left and lower right light receiving elements 200 receive Mg color light
  • the upper right and lower left image pickup elements 114 receive R color light.
  • R and Mg are similar colors as described above.
  • the upper left and lower right light receiving elements 200 receive the Ye color light, and the upper right and lower left light receiving elements 200 receive the G color light.
  • G and Ye are similar colors as described above.
  • the upper left and lower right light receiving elements 200 receive the Cy color light
  • the upper right and lower left light receiving elements 200 receive the B color light.
  • B and Cy are similar colors as described above.
  • the light receiving element 200 (or filter 202) is arranged so as to receive light of a similar color combination for each pixel 20.
  • the effect of color mixing can be reduced as compared with the case where dissimilar colors are arranged on the same pixel 20.
  • similar colors may be included in the other pixels 20.
  • the color resolution can be increased.
  • the color distribution in the pixel 20 can be appropriately changed depending on the environment and application.
  • R-based pixels 20, G-based pixels 20, and B-based pixels 20 may be arranged in a Bayer array.
  • the Bayer sequence is given as an example without limitation, and this sequence may be another sequence such as a checkered sequence or an RGBW-based sequence.
  • an analog signal can be collectively output for each pixel 20.
  • pixel 20 at the upper left of FIG. 7 can receive light of a mixed color of R and Mg and output an analog signal based on the intensity of the received light.
  • the upper right and lower left pixels 20 can output an analog signal corresponding to a mixed color of G and Ye, and the lower right pixel 20 can output an analog signal corresponding to a mixed color of B and Cy.
  • the read noise can be reduced and the decrease in the frame rate can be suppressed.
  • light may be received for each pixel 20 at once. It is also possible to acquire analog signals at different exposure amounts between frames and perform HDR composition (High Dynamic Range rendering) by reading them all at once.
  • HDR composition High Dynamic Range rendering
  • FIG 8 and 9 are diagrams showing an example in which the read timing is set to a different timing in the pixel 20.
  • the solid-state image sensor 10 acquires an analog signal from the light intensity in the complementary color system of Mg, Ye, and Cy in the pixel 20 as shown in FIG.
  • the solid-state image sensor 10 acquires an analog signal from the light intensity in the R, G, and B primary color systems, as shown in FIG. That is, the light receiving elements 200a and 200d in FIG. 4 may output an analog signal to the floating diffusion at the same timing, and the light receiving elements 200b and 200c may output an analog signal to the floating diffusion at the same timing.
  • this read may be performed frame by frame. While the frame rate is lower than when the pixels 20 are read all at once as described above, the solid-state image sensor 10 can acquire color information of 5 or more colors (6 colors in the present embodiment). It becomes.
  • the solid-state image sensor 10 can also change the control parameters for image reconstruction based on the result of this biometric recognition or the like.
  • the control parameter may be, for example, a parameter related to digital signal processing such as a filter kernel in image processing and a parameter in gamma correction, or a weighting parameter for synthesizing frames, a parameter for synthesizing frames, and the like. .. Further, this parameter may be a parameter used when synthesizing the first information and the second information.
  • the acquired color information can be processed by the linear matrix unit 124, the luminance chroma signal generation unit 140, and the like. Therefore, it is possible to appropriately improve the saturation of an object or the like. That is, in the image creation of the solid-state image sensor 10 according to the present embodiment, it is possible not only to increase the overall color saturation but also to realize more appropriate saturation improvement using information of five or more colors. ..
  • color information is acquired as the same timing or different timing at all timings of all pixels 20, but this is not limited to this.
  • the frame is divided every three frames, one frame reads each pixel 20 at the same timing, and the other two frames read each pixel 20 separately as shown in FIGS. 8 and 9.
  • You may read at the timing.
  • image information is generated from the information obtained by reading at different timings when the exposure amount is suppressed for the bright areas, and SNR (Signal to) for the dark areas.
  • Image information may be generated from the information obtained by batch reading with priority given to Noise Ratio).
  • Ye was used to improve color reproducibility, but it is not limited to this.
  • the pixel 20 that acquires the information of G does not have to acquire the information of Ye, for example.
  • emerald may be used instead of Ye or Cy.
  • the complementary color provided in the same pixel 20 as R may be Ye.
  • the present invention is not limited to this, and information may be acquired by RGBW.
  • the complementary color-based divided pixels in FIG. 7 may be white pixels.
  • the solid-state image sensor 10 can interpolate the acquired information and aggregate it into, for example, RGB information. Therefore, it is possible to appropriately reconstruct an image even for a subject having a pattern in an oblique direction.
  • the light receiving elements 200a and 200d in FIG. 4 and the light receiving elements 200b and 200c receive the same color of light in each combination, but the present invention is not limited to this.
  • the light receiving elements 200a and 200b and the light receiving elements 200c and 200d may receive light of the same color.
  • the light receiving elements 200a and 200c and the light receiving elements 200b and 200d may receive light of the same color.
  • FIG. 10 is a diagram showing an example of not being limited to the pixel 20 according to the modified example of the first embodiment.
  • the divided pixel indicated as IR is shown in the pixel 20 that receives the light of the R system.
  • This IR indicates a light receiving element 200 that receives infrared light.
  • IR may be included. That is, IR may be a color similar to R.
  • IRCF 112 shown in FIG. 2 may be omitted.
  • the light receiving element 200 other than the light receiving element 200 that receives the light of the IR color may be provided with the IRCF individually.
  • a light receiving element 200 that receives IR light as a color similar to R may be included as a divided pixel.
  • IR light By receiving IR light, it is possible to acquire information that is difficult to acquire within the range of the visible light spectrum. As a result, for example, the estimation and recognition performances of the light source estimation unit 130 and the object recognition unit 132 can be improved.
  • FIG. 11 is an example of a block diagram of the solid-state image sensor 10 according to the present embodiment.
  • the solid-state image sensor 10 includes a first light receiving unit 100A and a second light receiving unit 100B.
  • the first light receiving unit 100A includes, for example, a lens 110A, IRCF 112A, and an image sensor 114A
  • the second light receiving unit 100B includes, for example, a lens 110B, IRCF 112B, and an image sensor 114B.
  • the first light receiving unit 100A acquires the first information
  • the second light receiving unit 100B acquires the second information.
  • Each image sensor is equipped with an A / D conversion unit and a clamp unit.
  • the image memory unit 134 stores the outputs from the clamp units 122A and 122B corresponding to the first light receiving unit 100A and the second light receiving unit 100B, respectively.
  • the binocular synthesizer 136 converts the information acquired from the image sensors 114A and 114B into appropriate data. For example, the binocular synthesizer 136 synthesizes the information acquired by the separate image sensors 114A and 114B acquired at the same timing.
  • the solid-state image sensor 10 when the solid-state image sensor 10 is capturing a moving image, simple color information is acquired as a thinning output based on the data acquired from the image sensor receiving RGB light, and the complementary color system light is used. The color may be corrected by using the thinning information based on the data acquired from the image sensor receiving the light. Further, the bright part and the dark part may be determined, and an image may be generated based on the information acquired from the RGB-based image sensor and the complementary color-based image sensor, respectively. Further, the binocular synthesis unit 136 may be configured to perform processing on the cloud instead of processing in the solid-state image sensor 10.
  • the solid-state image sensor 10 acquires and outputs an image signal and a video signal by performing the same processing as each component of FIG. 2 based on the output synthesized by the binocular synthesizer 136.
  • FIG. 12 is a diagram showing an outline of pixels 20 in each camera.
  • the image sensor 114A is provided with a light receiving element that receives light of three primary colors R, G, and B
  • the image sensor 114B is provided with a light receiving element that receives light of complementary colors Mg, Ye, and Cy.
  • the configuration may be such that light of one color is received for each pixel.
  • each image sensor 114 Since the light receiving elements 200 having similar light receiving sensitivities are integrated in each image sensor 114, it is possible to perform appropriate exposure control. For example, when the light intensity is weak (dark) in the surrounding environment, an image is generated based on the output of the image sensor 114B, which is a complementary color system with high light receiving sensitivity, and the image sensor 114A, which is a primary color system with low light receiving sensitivity, generates an image. Color correction can also be performed using the output. On the contrary, when it is bright, the image based on the output of the image sensor 114B, which is a primary color system having low light receiving sensitivity, is color-corrected using the output of the image sensor 114A, which is a complementary color system having high light receiving sensitivity. Is also good.
  • the exposure control can be different exposure amounts for the primary colors and complementary colors, for example.
  • the shutter time may be changed or the gain may be changed.
  • a short accumulation time can be read as a low gain, and a long accumulation time can be read as a high gain. That is, RGB may be acquired at a low gain and CMY may be acquired at a high gain. In this case as well, it is possible to acquire an image having a high dynamic range.
  • the binocular compositing unit 136 may appropriately perform color correction according to the characteristics of the color to be received.
  • FIG. 13 is a diagram showing another arrangement of light receiving colors when a twin-lens camera is used.
  • the image sensor 114B that acquires the second information may be configured to acquire the light of G, which is a three primary color system.
  • the binocular synthesizing unit 136 synthesizes the colors of the respective pixels 20 while executing pattern matching, for example. In the case of pattern matching in this way, if the color difference becomes large, the matching accuracy may decrease.
  • the light receiving information of G is acquired as the information common to the first information. This makes it possible to improve the accuracy of pattern matching.
  • FIG. 14 is a diagram showing still another arrangement of light receiving colors when a twin-lens camera is used.
  • the image sensor 114A that acquires the first information may be configured to acquire W (white) light in addition to the three primary colors.
  • the pixel 20 of W may be provided as the pixel 20 on the second information side, that is, on the image sensor 114B side.
  • FIG. 15 is a diagram showing still another arrangement of light receiving colors when a twin-lens camera is used.
  • the image sensor 114A that acquires the first information may be configured to acquire IR (infrared) light in addition to the three primary colors.
  • IR light By receiving IR light, it is possible to improve the accuracy of light source estimation, object recognition, etc. Similar to the above-described embodiment, it is desirable that the image sensor 114 that receives IR light is not provided with the IRCF 112. In this case, a filter that removes or absorbs IR light may be individually mounted on the pixel 20 other than the pixel 20 that receives IR.
  • the solid-state image sensor 10 in the block diagram shown in FIG. 11 can be used for the image sensor 114 having the configuration shown in FIGS. 12 to 15. As described above, when the image sensor 114 receives IR light, the IRCF 112A is not inserted.
  • Fig. 2 is a block diagram for a single eye
  • a configuration that synthesizes information from two eyes has been added.
  • pattern matching is performed, and then the outputs from the two image pickup devices 114A and 114B are combined.
  • the outputs of 6 to 7 colors are appropriately combined.
  • Object recognition and the like may be performed using a trained neural network model (not shown) using at least one of these plurality of colors.
  • This neural network model may be optimized by, for example, a deep learning method.
  • the arrangement based on the Bayer arrangement of the received light colors shown in FIGS. 12 to 15 is given as an example without limitation.
  • a sequence other than the sequence based on the Bayer sequence as shown in these figures may be used as long as the sequence can appropriately obtain the above-mentioned effects.
  • This embodiment can also be applied to the case of compound eyes of three or more eyes.
  • the size of the optical system can be any size.
  • the resolution of the image sensor 114 and the number of pixels 20 may be arbitrarily set for each image sensor 114. That is, the first information and the second information may be information acquired at different resolutions.
  • the solid-state image sensor 10 may capture a still image and a moving image in separate imaging modes.
  • the moving image mode by driving the complementary color system normally, the power consumption of reading is reduced so that the three primary color systems are used as auxiliary signals for the complementary color system, and the color information acquired from the three primary color systems is used on the complementary color side. It may be a form that assists image making by transmitting to.
  • the three primary color systems may be used as auxiliary pixels used for pixel addition (pixel binning) in the complementary color system. This can be similarly applied even when the divided pixels are used.
  • composition may be executed at different timings and different blocks in the still image mode and the moving image mode.
  • the signal processing unit 106 and the image processing unit 108 may execute the image reconstruction process for the moving image, or upload the image to the cloud and execute the image reconstruction process on a high-performance server or the like. You may.
  • the image sensor 114 in two or more compound eyes may be used by using the same divided pixels as in the above-described monocular embodiment.
  • the usage can be changed in a plurality of cameras.
  • one camera can be a wide-angle camera, one camera can be a normal camera, and so on.
  • the data acquired from these a plurality of types of cameras it is possible to acquire a high-resolution image and improve the color reproducibility.
  • a color filter or an organic photoelectric conversion film is provided for each color, but the present invention is not limited to this.
  • light of three primary colors and complementary colors may be received by using an organic photoelectric conversion film and a photodiode.
  • FIG. 16 shows an example of a pixel 20 using an organic photoelectric conversion film and a photodiode as a light receiving element.
  • Pixel 20R_Cy includes an organic photoelectric conversion film 206R that receives R light and a photodiode 208Cy that receives Cy light.
  • an optical system such as an on-chip lens may be provided on the pixel 20R_Cy on the side where the light from the outside is incident.
  • the pixel 20R_Cy having this configuration receives the light of R in the organic photoelectric conversion film 206R and outputs an analog signal based on the intensity of the light of R.
  • the light that has passed through the organic photoelectric conversion film 206R becomes the light of Cy, which is a complementary color from which the R component has been removed, and is input to the photodiode 208Cy. Therefore, the photodiode 208Cy receives the light of Cy. As a result, the photodiode 208Cy receives the light of Cy through the organic photoelectric conversion film 206R and outputs an analog signal corresponding to the light of this Cy.
  • a pixel 20G_Mg may be formed by a combination of an organic photoelectric conversion film 206G that receives G light and a photodiode 208Mg that receives Mg light.
  • the pixel 20B_Ye may be formed by a combination of the organic photoelectric conversion film 206B that receives the light of B and the photodiode 208Ye that receives the light of Ye.
  • FIG. 17 is a diagram showing another example of the pixel configuration according to the present embodiment.
  • Pixel 20Cy_R includes an organic photoelectric conversion film 206Cy that receives Cy light and a photodiode 208R that receives R light.
  • Pixel 20Cy_R receives Cy light in the organic photoelectric conversion film 206Cy and outputs an analog signal based on the intensity of Cy light.
  • the light that has passed through the organic photoelectric conversion film 206Cy becomes R light that is a complementary color from which the Cy component has been removed, and is input to the photodiode 208R. Therefore, the photodiode 208R receives the light of R. As a result, the photodiode 208R receives the light of R through the organic photoelectric conversion film 206Cy and outputs an analog signal corresponding to the light of R.
  • a pixel 20Mg_G may be formed by a combination of an organic photoelectric conversion film 206Mg that receives Mg light and a photodiode 208G that receives G light.
  • the pixel 20Ye_B may be formed by a combination of the organic photoelectric conversion film 206Ye that receives the light of Ye and the photodiode 208B that receives the light of B.
  • the filter 202 is not provided on the photodiode 208, but an appropriate filter 202 may be provided between the organic photoelectric conversion film 206 and the photodiode 208.
  • the monocular camera can appropriately receive the light of the first information and the second information for each pixel 20.
  • the light receiving position does not deviate between the first information and the second information, it is necessary to appropriately improve the color reproducibility from each information in the image reconstruction without performing pattern matching or the like. Is possible.
  • FIG. 18 is a diagram showing an example of dividing the pixel 20.
  • Each pixel 20 receives R, G, B, Mg, Ye, and Cy light.
  • the pixel 20 may be divided into two in a predetermined direction.
  • a photodiode for example, is provided as the light receiving element 200 in each of the divided regions.
  • FIG. 19 is a diagram showing an example of on-chip lens formation in the example of FIG. By dividing in this way and providing an on-chip lens for each pixel as shown in FIG. 19, it is also possible to acquire parallax information for each pixel.
  • FIG. 20 is a diagram showing an example of formation of an on-chip lens in the example of FIG.
  • An elliptical on-chip lens 210 may be provided for each divided pixel. In this case, the resolution can be improved.
  • FIG. 21 is a diagram showing another example of dividing the pixel 20.
  • a light receiving element 200 for receiving W may be provided in the same pixel including the light receiving element 200 (divided pixel) of G. Further, instead of W, the light receiving element 200 that receives a color such as emerald as described above may be used. As described above, some of the divided pixels may have a combination different from the example shown in FIG.
  • FIG. 22 is a diagram showing another example of dividing the pixel 20. As shown in FIG. 22, the pixel 20 that receives G and the pixel 20 that receives Ye may be separated. With such a form, in the pixel 20 that receives light of G and Ye, it is possible to acquire an analog signal at a batch timing, and the frame rate can be improved.
  • FIG. 23 is a diagram showing another example of dividing the pixel 20.
  • the pixels 20 may be provided with complementary colors that are different from each other.
  • pixels 20 having R and Ye divided pixels, pixels 20 having B and Ye divided pixels, and G and Mg are arranged so that many G and Ye divided pixels are arranged. It may be in the form of a pixel 20 having a divided pixel and a pixel 20 having a divided pixel of G and Cy.
  • any of the pixels 20 is provided with divided pixels that receive green light having a high light receiving intensity in the human eye, and color reproducibility and the like can be improved.
  • FIG. 24 is an example of arrangement of the on-chip lens in the case of FIG. 22.
  • an on-chip lens 210 having a size applicable to the divided pixels may be provided.
  • the on-chip lens 210 extending over the pixels 20 may be provided.
  • At least one of G and Ye may be configured to include two elliptical on-chip lenses as shown in FIG.
  • FIG. 25 is a diagram showing another example of dividing the pixel 20.
  • the pixel 20 may be divided into 3 ⁇ 3 divided pixels.
  • the three primary color systems with low sensitivity may be assigned to five pixels, and the complementary color system may be assigned to the remaining four pixels.
  • the complementary color system may be assigned to the remaining four pixels.
  • the addition of the pixel values may be executed at the timing of acquiring the analog signal by the floating diffusion, and as another example, the analog circuit or the digital circuit after the A / D conversion. It may be realized by.
  • the output value from the divided pixels acquired for each frame may be added.
  • the number of pixels to be added may be changed for each frame. This can be applied to every 20 pixels instead of the divided pixels. By controlling in this way, it is possible to generate a more reproducible image based on the frame rate.
  • the semiconductor chip including the image pickup device 114 will be briefly described.
  • FIG. 26 is a diagram showing an example of a substrate including the image sensor 114.
  • the substrate 30 includes a pixel region 300, a control circuit 302, and a logic circuit 304. As shown in FIG. 26, the pixel region 300, the control circuit 302, and the logic circuit 304 may be provided on the same substrate 30.
  • the pixel area 300 is, for example, an area provided with the pixels 20 and the like in each of the above-described embodiments.
  • a / D conversion and the like may be appropriately provided in the pixel region 300, or may be provided in another region (not shown) on the substrate 30.
  • the control circuit 302 includes the control unit 104 shown in FIG.
  • the logic circuit includes, for example, a circuit after A / D conversion of the signal processing unit 106 and an image processing unit 108. Further, at least a part of the signal processing unit 106 and the image processing unit 108 may be mounted not on this chip but on another signal processing chip provided at a place different from the substrate 30, or may be mounted on another signal processing chip. It may be implemented in the processor or the like.
  • FIG. 27 is a diagram showing another example of the substrate including the image sensor 114.
  • a first substrate 32 and a second substrate 34 are provided as the substrate.
  • the first substrate 32 and the second substrate 34 have a laminated structure, and can appropriately transmit and receive signals to and from each other via a connection portion such as a via hole.
  • the first substrate 32 may include a pixel region 300 and a control circuit 302
  • the second substrate 34 may include a logic circuit 304.
  • FIG. 28 is a diagram showing another example of the substrate including the image sensor 114.
  • a first substrate 32 and a second substrate 34 are provided as the substrate.
  • the first substrate 32 and the second substrate 34 have a laminated structure, and can appropriately transmit and receive signals to and from each other via a connection portion such as a via hole.
  • the first substrate 32 may include a pixel region 300
  • the second substrate 34 may include a control circuit 302 and a logic circuit 304.
  • the substrates laminated in FIGS. 27 and 28 may be connected by via holes as described above, or may be connected by a method such as microdump. These substrates can be laminated by any method such as CoC (Chip on Chip), CoW (Chip on Wafer), or WoW (Wafer on Wafer).
  • FIG. 29 is a diagram showing an example of the electronic device 1.
  • the electronic device 1 may be, for example, a smartphone or a tablet terminal.
  • a solid-state image sensor 10 that captures light through the display may be provided so as to overlap the display.
  • the light transmitted through the display can be appropriately received.
  • a material that absorbs a large amount of blue light such as polyimide, may be used for a display in a smartphone or the like.
  • the solid-state image sensor 10 capable of receiving light of five or more colors having at least three primary colors and complementary colors, it is possible to receive light having an appropriate spectrum. The color reproducibility of the image can be improved.
  • a smartphone or the like may be provided with the solid-state image sensor 10 described in each of the above-described embodiments as a so-called out-camera regardless of the display.
  • FIG. 30 is a diagram showing another example of the electronic device 1.
  • the electronic device 1 may be, for example, an xR terminal such as VR (Virtual Reality), AR (Augmented Reality), or MR (Mixed Reality).
  • the solid-state image sensor 10 may be used as a camera mounted on such an xR terminal. By using the solid-state image sensor 10 as a camera, it is possible to improve the sensitivity and color reproducibility, so that the immersiveness felt by the user can be further enhanced.
  • UI User Interface
  • vital information such as blood oxygen saturation can be obtained by looking at the sensitivity ratio of R and IR.
  • the acquired vital information can be saved as a database and used for health care, etc. together with the accurate daily face color.
  • it is possible to perform a process such as updating the neural network model every time vital information is acquired, and apply this neural network model to health care and the like.
  • This application can also be applied to medical devices such as capsule endoscopes.
  • the solid-state image sensor 10 can obtain high color reproducibility by increasing the sensitivity by using complementary colors and multicoloring by combining complementary colors and primary colors. Further, in some embodiments, it is possible to synthesize the primary colors and complementary colors without shifting the center of gravity.
  • the electronic device 1 when the electronic device 1 is a smartphone or the like and an image is shared on an SNS or the like, not only faithful color reproducibility but also color rendering may be required. Even in such a case, according to the embodiment of the present disclosure, it is possible to increase the degree of freedom of color adjustment and change the color making according to the pig land recognition result.
  • the amount of light may be blocked by a display panel or the like, and the sensitivity of blue may be significantly deteriorated. According to this, these can also be solved.
  • the primary colors and complementary colors can be obtained in the vertical direction (for example, the height direction of the drawings in FIGS. 16 and 17) by using the organic photoelectric conversion film, it is said that the resolution is deteriorated by adding the complementary colors. It is possible to suppress the harmful effects.
  • FIG. 31 is a block diagram showing another example of the solid-state image sensor 10.
  • the solid-state image sensor 10 further includes a prelinear matrix unit 160, an RGB rearrangement unit 162, a sensor output unit 164, and a statistical value acquisition unit 166 in the configuration shown in FIG.
  • FIG. 32 is a diagram showing the acquired RGB information and CMY information in spectra.
  • a light receiving element that receives light of six colors of RGB + CMY as shown in FIG. 32 is used, but the present embodiment is not limited to these six colors.
  • the light receiving element receives light and outputs an analog signal based on the intensity, and this analog signal is converted into a digital signal by the A / D converter 120.
  • the clamp portion 122 corrects the black level.
  • the prelinear matrix unit 160 mixes the first information and the second information based on the information output from the clamp unit 122, and for example, information on RGB pixel values different from the RGB information received by the light receiving element. To get. In this way, the prelinear matrix unit 160 recalculates the RGB information by a predetermined arithmetic process.
  • the RGB rearrangement unit 162 rearranges the signals output by the prelinear matrix unit 160.
  • FIG. 33 is a diagram showing a color matching function in the RGB color system.
  • the RGB information output by the prelinear matrix unit 160 and the RGB rearrangement unit 162 is information whose SNR or color reproducibility is improved as compared with the first information and the second information. Further, this RGB information may be RGB information as shown in FIG. 33, which is converted into a spectral output close to a color matching function, which is said to be ideal for color reproducibility, using complementary color information. That is, the prelinear matrix unit 160 generates RGB color information with enhanced SNR and the like from color information of five or more colors prior to other processing. Then, based on this information, the solid-state image sensor 10 executes the subsequent processing.
  • the signal processing processor located after the image sensor 114 it is generally implemented so as to handle information of three colors of RGB.
  • a digital signal as an RGB signal as in the present embodiment, it is possible to correspond to many subsequent signal processing processors. Since this RGB signal is a signal with improved SNR characteristics and the like as described above, it is possible to use a general signal processing circuit while using data having better color reproducibility.
  • the sensor output unit 164 outputs the image signal rearranged by the RGB rearrangement unit 162.
  • the statistical value acquisition unit 166 acquires statistical values of color information of 5 or more colors.
  • the acquired information is used, for example, to improve the accuracy of light source estimation and object recognition.
  • the light source estimation unit 130 can reproduce the spectrum of the light source with higher accuracy based on the statistical values of five or more colors, and can acquire information such as the environment based on the reproduced spectrum.
  • the object recognition unit 132 can also improve the recognition accuracy of an object, a living body, or the like based on this statistical value.
  • the statistical value acquisition unit 166 divides the area within the angle of view and outputs the average value for each color for each area. For example, the average value of the pixel values in a specific area is output. Since the information obtained in this way is detailed color information using information of six colors, it can be used for light source estimation and color correction. Color correction refers to, for example, the overall process of adjusting colors when performing optimum image creation in a subsequent processor.
  • the RGB information can be output from the RGB rearrangement unit 162 or the like as normal imaging data, so that the statistical values of only CMY may be output. ..
  • the area division is not limited to the case where a plurality of pixels are included in the area, and the area may be one pixel.
  • RGB information is converted to RGB information processed by SNR or the like by prelinear matrix processing, but CMY is missing at this stage, so CMY information is output by the statistical value acquisition unit 166. By doing so, information may be transmitted to the light source estimation unit 130 or the like in the subsequent stage.
  • the output of the sensor output unit 164 and the statistical value acquisition unit 166 is output to, for example, the light source estimation unit 130 as output information of the image sensor 114.
  • the subsequent processing may be the same as in the above-described embodiment.
  • the white balance may be adjusted or the linear matrix may be controlled after the light source estimation.
  • the light source estimation, the white balance adjustment, and the linear matrix processing may be performed in the image sensor 114.
  • the first information acquisition and the second information acquisition processes of FIGS. 8 and 9 are executed, and information of 5 or more colors is converted into RGB information with high SNR.
  • the control unit 104 can also change the shutter speed in the first information acquisition and the second information acquisition. By changing the shutter speed, it is possible to correct flicker in the RGB image acquired by the prelinear matrix unit 160.
  • FIGS. 8 and 9 when there is a light source or the like that lights periodically, and this cycle is the same as or close to the cycle of switching between the state of FIG. 8 and the state of FIG. 9, the entire image is displayed. Flicker occurs as a result. Further, even when a general CMOS (Complementary MOS) element or the like is used, flicker may occur due to the same cause as the rolling shutter distortion. Even in such a case, it is possible to shift these timings by acquiring information at different timings and different shutter speeds in the same pixel 20. As a result, for example, it is possible to suppress flicker in an image such as a flicker caused by a light source such as an LED.
  • CMOS Complementary MOS
  • the electronic device 1 as shown in FIG. 29 is a UDC (Under Display Camera) in which a camera is arranged under the display, and a case where the solid-state image sensor 10 is provided in the UDC (Under Display Camera) will be described in more detail. In such a case, the accuracy of imaging can be improved by utilizing the embodiment using the compound eye camera in the above-described embodiment.
  • UDC Under Display Camera
  • FIG. 34 is a diagram showing the arrangement of the electronic device 1 according to the present embodiment and the image pickup device 114 of the solid-state image pickup device 10.
  • the solid-state image pickup device 10 includes image pickup elements 114A and 114B. Between these image pickup elements, for example, when acquiring an image used for VR (Virtual Reality) / AR (Augmented Reality) or the like, the distance of the center point can maintain the parallax equivalent to that of the human eye. It is preferably 50 to 80 mm, but it is not limited to this, and it may be arranged closer or farther. For example, among the pixels belonging to each image sensor, the recent pixels may be separated by a distance of 10 mm or less.
  • FIG. 35 is an example of color arrangement of the pixel 20 in each of the image sensors 114A and 114B.
  • the solid-state image sensor 10 in the present embodiment includes an image sensor 114A for acquiring low-sensitivity first information and an image sensor 114B for acquiring high-sensitivity second information.
  • the pixel 20 included in the image sensor 114A will be referred to as a first pixel group
  • the pixel 20 included in the image sensor 114B will be referred to as a second pixel group.
  • the pixel 20 belonging to the first pixel group is, for example, an RGB Bayer array
  • the pixel 20 belonging to the second pixel group is, for example, an RGW array.
  • the sensitivity of at least one of the RGW pixels 20 in the second pixel group may be set higher than the sensitivity of the G pixel 20 in the first pixel group. By setting in this way, the sensitivity of the second information can be made higher than the sensitivity of the first information.
  • the image sensor 114 is provided under the display as shown in FIG. 34 by providing the second pixel group with Cy or W pixels 20 having a sensitivity higher than the sensitivity of B in the first pixel group. Even when it is provided, it is possible to improve the sensitivity of blue.
  • the sizes of both image sensors 14 are the same, but the sensor on the high-sensitivity side, that is, the image sensor 114B side to which the second pixel group belongs may be made larger.
  • the control of the solid-state image sensor 10 may be switched so that only the sensor on the high-sensitivity side is used.
  • the color reproducibility is improved by adding (weighting addition) the first information acquired from the first pixel group to the second information acquired from the second pixel group.
  • improve When the resolution of the first pixel group is lower than that of the second pixel group, demosaic processing is performed based on the analog signal acquired from the first pixel group to generate the first information, and this first information and the first information are used.
  • the second information may be added. This is common to still images and moving images.
  • demosizing the information acquired from the first pixel group it is possible to interpolate the second information and realize image reconstruction with high resolution and improved color reproducibility.
  • the influence of noise can be reduced by adding, it also contributes to the improvement of SNR.
  • the high-sensitivity side is arranged as RGW, but it can also be a complementary color system as in the above-described embodiment.
  • RGW the high-sensitivity side
  • it may have the same form as the image sensor 114B shown in FIGS. 12 to 15.
  • FIG. 36 is a diagram showing another example of the arrangement of pixels in the image sensor 114B.
  • the second pixel group may be in the form of complementary color system + W.
  • the solid-state image sensor 10 adds the first information obtained by appropriately converting the signal acquired from the first pixel group to the second information acquired from the second pixel group and outputs the information. At least one effect of color reproducibility, high resolution, or high SNR can be obtained.
  • the IR component may be acquired based on the information acquired from the pixel 20 of W. Similar to the above, acquiring the IR component can also contribute to improving the accuracy of light source estimation and object recognition.
  • the timing of synthesizing the first information and the second information can be changed between the time of moving image shooting and the time of still image shooting.
  • the block to be processed at the time of moving image shooting and the block to be processed at the time of still image shooting can be configured differently.
  • data may be acquired and reconfigured in a higher performance server device or the like. That is, in the moving image shooting and the still image shooting, the subsequent processing may be executed in different system blocks.
  • statistical values of color information and the like may be acquired.
  • the color information of the second information may be corrected using this statistic.
  • a statistic regarding color may be acquired from the signal acquired from the first pixel group, and the second information acquired from the second pixel group may be corrected based on this statistic.
  • the pixels may not be color-coded by the pixel 20 but may be color-coded as divided pixels.
  • the divided pixel may be applied to only one of the first pixel group and the second pixel group, or may be applied to both. That is, at least one of the divisions may be configured to receive W light.
  • any one pixel or the divided pixel may be in a form in which the IR light can be acquired exclusively.
  • the use of IR light is the same as described above. It is desirable that the image sensor 114 that acquires IR light has a configuration in which IRCF is not provided, as in the above-described embodiment. Further, the elements other than the pixel 20 for acquiring IR light or the divided pixel may be provided with IRCF separately.
  • the optical systems of the first pixel group and the second pixel group may be different. For example, by making the optical size of the second pixel group larger than the optical size of the first pixel group, a more detailed signal is acquired on the high-sensitivity side, and a faster and less power-consuming drive is performed on the low-sensitivity side. It becomes possible.
  • FIG. 37A and 37B are diagrams showing the internal configuration of the vehicle 360, which is the first application example of the electronic device 1 provided with the solid-state image sensor 10 according to the present disclosure.
  • FIG. 37A is a diagram showing the inside of the vehicle 360 from the rear to the front of the vehicle 360
  • FIG. 37B is a diagram showing the inside of the vehicle 360 from the diagonally rear to the diagonally front of the vehicle 360.
  • the vehicle 360 of FIGS. 37A and 37B has a center display 361, a console display 362, a head-up display 363, a digital rear mirror 364, a steering wheel display 365, and a rear entertainment display 366.
  • the center display 361 is located on the dashboard 367 facing the driver's seat 368 and the passenger seat 369.
  • FIG. 37 shows an example of a horizontally long center display 361 extending from the driver's seat 368 side to the passenger seat 369 side, but the screen size and arrangement location of the center display 361 are arbitrary.
  • Information detected by various sensors can be displayed on the center display 361.
  • the center display 361 displays a photographed image taken by an image sensor, a distance image measured by a ToF sensor to an obstacle in front of or to the side of the vehicle, and a passenger's body temperature detected by an infrared sensor. It can be displayed.
  • the center display 361 can be used, for example, to display at least one of safety-related information, operation-related information, life log, health-related information, authentication / identification-related information, and entertainment-related information.
  • Safety-related information includes information such as doze detection, looking away detection, mischief detection of a child on board, presence / absence of seatbelt attachment, and occupant abandonment detection.
  • a sensor placed on the back side of the center display 361 This is the information that is detected.
  • the operation-related information uses sensors to detect gestures related to the operation of the occupant.
  • the gestures detected may include the operation of various equipment within the vehicle 360. For example, it detects operations of air conditioners, navigation devices, AV devices, lighting devices, and the like.
  • the life log includes the life logs of all occupants. For example, the life log contains a record of the behavior of each occupant on board. By acquiring and saving the life log, it is possible to confirm the state of the occupants at the time of the accident.
  • the body temperature of the occupant is detected using a temperature sensor, and the health condition of the occupant is estimated based on the detected body temperature.
  • the face of the occupant may be imaged using an image sensor, and the health condition of the occupant may be estimated from the facial expression of the imaged face.
  • Authentication / identification-related information includes a keyless entry function for performing face authentication using a sensor, an automatic adjustment function for seat height and position for face identification, and the like.
  • the entertainment-related information includes a function of detecting operation information of the AV device by the occupant using a sensor, a function of recognizing the face of the occupant by the sensor, and a function of providing the content suitable for the occupant on the AV device.
  • the console display 362 can be used, for example, to display life log information.
  • the console display 362 is located near the shift lever 371 of the center console 370 between the driver's seat 368 and the passenger seat 369. Information detected by various sensors can also be displayed on the console display 362. Further, the console display 362 may display an image of the vicinity of the vehicle captured by the image sensor, or may display an image of the distance to an obstacle around the vehicle.
  • the head-up display 363 is virtually displayed behind the windshield 372 in front of the driver's seat 368.
  • the head-up display 363 can be used, for example, to display at least one of safety-related information, operation-related information, life log, health-related information, authentication / identification-related information, and entertainment-related information.
  • the heads-up display 363 is often placed virtually in front of the driver's seat 368 to display information directly related to vehicle 360 operations, such as vehicle 360 speed and fuel (battery) levels. Are suitable.
  • the digital rear mirror 364 can not only display the rear of the vehicle 360 but also the state of the occupants in the rear seats, by arranging the sensor on the back side of the digital rear mirror 364, for example, it is used for displaying life log information. be able to.
  • the steering wheel display 365 is located near the center of the steering wheel 373 of the vehicle 360.
  • the steering wheel display 365 can be used, for example, to display at least one of safety-related information, operation-related information, life log, health-related information, authentication / identification-related information, and entertainment-related information.
  • life log information such as the driver's body temperature and information on the operation of AV devices and air conditioning equipment. There is.
  • the rear entertainment display 366 is attached to the back side of the driver's seat 368 and the passenger seat 369, and is intended for viewing by the occupants in the rear seats.
  • the rear entertainment display 366 can be used, for example, to display at least one of safety-related information, operation-related information, life log, health-related information, authentication / identification-related information, and entertainment-related information.
  • information related to the rear seat occupants is displayed. For example, information on the operation of the AV device or the air conditioning equipment may be displayed, or the result of measuring the body temperature of the occupant in the rear seat with the temperature sensor may be displayed.
  • the distance to the surrounding objects can be measured.
  • Optical distance measurement methods are roughly divided into passive type and active type.
  • the passive type the distance is measured by receiving the light from the object without projecting the light from the sensor onto the object.
  • Passive types include lens focus, stereo, and monocular vision.
  • the active type light is projected onto an object, and the reflected light from the object is received by a sensor to measure the distance.
  • the active type includes an optical radar method, an active stereo method, an illuminance difference stereo method, a moire topography method, an interferometry method, and the like.
  • the electronic device 1 according to the present disclosure can be applied to any of these methods of distance measurement.
  • the above-mentioned passive type or active type distance measurement can be performed.
  • the electronic device 1 provided with the solid-state image sensor 10 according to the present disclosure is applicable not only to various displays used in vehicles, but also to displays mounted on various electronic devices.
  • FIG. 38A is a front view of the digital camera 310 which is a second application example of the electronic device 1
  • FIG. 38B is a rear view of the digital camera 310.
  • the digital cameras 310 of FIGS. 38A and 38B show an example of a single-lens reflex camera in which the lens 121 can be exchanged, but can also be applied to a camera in which the lens 121 cannot be exchanged.
  • FIGS. 38A and 38B when the photographer looks into the electronic viewfinder 315 while holding the grip 313 of the camera body 311 to determine the composition and presses the shutter while adjusting the focus, the inside of the camera is displayed. Shooting data is saved in the memory.
  • a monitor screen 316 for displaying shooting data and live images and an electronic viewfinder 315 are provided on the back side of the camera.
  • a sub screen for displaying setting information such as a shutter speed and an exposure value may be provided on the upper surface of the camera.
  • the senor By arranging the sensor on the back side of the monitor screen 316, the electronic viewfinder 315, the sub screen, etc. used for the camera, it can be used as the electronic device 1 according to the present disclosure.
  • the electronic device 1 according to the present disclosure is also applicable to a head-mounted display (hereinafter referred to as HMD).
  • HMD head-mounted display
  • the HMD can be used for VR, AR, MR (Mixed Reality), SR (Substitutional Reality), and the like.
  • FIG. 39A is an external view of the HMD 320, which is a third application example of the electronic device 1.
  • the HMD 320 of FIG. 39A has a mounting member 322 for mounting so as to cover the human eye.
  • the mounting member 322 is fixed by being hooked on, for example, the human ear.
  • a display device 321 is provided inside the HMD 320, and the wearer of the HMD 320 can visually recognize a stereoscopic image or the like on the display device 321.
  • the HMD 320 is equipped with, for example, a wireless communication function and an acceleration sensor, and can switch the stereoscopic image displayed on the display device 321 according to the posture and gesture of the wearer.
  • the HMD320 may be provided with a camera, an image of the surroundings of the wearer may be taken, and an image obtained by combining the image taken by the camera and the image generated by the computer may be displayed on the display device 321.
  • another camera is placed on the back side of the display device 321 that is visually recognized by the wearer of the HMD 320, the area around the wearer's eyes is photographed with this camera, and the photographed image is provided on the outer surface of the HMD 320.
  • humans around the wearer can grasp the facial expressions and eye movements of the wearer in real time.
  • the electronic device 1 is also applicable to smart glasses 340 that project various information on glasses 344.
  • the smart glass 340 of FIG. 39B has a main body portion 341, an arm portion 342, and a lens barrel portion 343.
  • the main body portion 341 is connected to the arm portion 342.
  • the main body 341 is removable from the glasses 344.
  • the main body 341 has a built-in control board and display for controlling the operation of the smart glasses 340.
  • the main body 341 and the lens barrel are connected to each other via the arm 342.
  • the lens barrel portion 343 emits image light emitted from the main body portion 341 via the arm portion 342 to the lens 345 side of the glasses 344. This image light enters the human eye through lens 345.
  • the wearer of the smart glasses 340 of FIG. 39B can visually recognize not only the surrounding conditions but also various information emitted from the lens barrel portion 343, as in the case of ordinary glasses.
  • the electronic device 1 according to the present disclosure is also applicable to a television device (hereinafter, TV).
  • TV television device
  • Recent TVs tend to make the frame as small as possible from the viewpoint of miniaturization and design design. Therefore, when a camera for capturing a viewer is provided on a TV, it is desirable to arrange the cameras on the back side of the display panel 331 of the TV.
  • FIG. 40 is an external view of the TV 330, which is the fourth application example of the electronic device 1.
  • the frame is minimized, and almost the entire area on the front side is the display area.
  • the TV 330 has a built-in sensor such as a camera for shooting the viewer.
  • the sensor of FIG. 40 is arranged behind a part (for example, a broken line) in the display panel 331.
  • the sensor may be an image sensor module, or various sensors such as a face recognition sensor, a distance measurement sensor, and a temperature sensor can be applied. Multiple types of sensors are placed on the back side of the display panel 331 of the TV 330. It may be arranged.
  • the image sensor module can be arranged on the back side of the display panel 331, it is not necessary to arrange a camera or the like on the frame, and the TV 330 can be miniaturized. Moreover, there is no risk that the design will be damaged by the frame.
  • FIG. 41 is an external view of a smartphone 350, which is a fifth application example of the electronic device 1.
  • the display surface 2z extends close to the external size of the electronic device 1, and the width of the bezel 2y around the display surface 2z is set to several mm or less.
  • a front camera is often mounted on the bezel 2y, but in FIG. 41, as shown by the broken line, an image sensor module 9 that functions as a front camera is mounted on the back side of the display surface 2z, for example, substantially in the center. It is arranged.
  • a plurality of pixels which acquire the first information which is the information of the three primary colors and the second information which is the information of at least two colors different from the three primary colors and includes at least one of the complementary colors of the three primary colors.
  • An image sensor An image sensor.
  • the three primary colors are R (red), G (green), and B (blue).
  • the complementary colors are Cy (cyan), Ye (yellow), and Mg (magenta).
  • the second information includes information on Cy and Ye.
  • the second information includes information on Cy, Ye and Mg.
  • the second information includes information on at least one of white and emerald.
  • the image sensor according to any one of (1) to (4).
  • the pixel outputs information of at least two colors of the first information and the second information.
  • the image sensor according to any one of (1) to (5).
  • the pixel includes a plurality of divided pixels and comprises a plurality of divided pixels. For each of the divided pixels, information on one color of the first information and the second information is acquired.
  • the image sensor according to (6) is a plurality of divided pixels and comprises a plurality of divided pixels. For each of the divided pixels, information on one color of the first information and the second information is acquired.
  • the similar color information includes at least one of R and Mg, B and Cy, G and Ye, R and Ye, or R and infrared light.
  • the image sensor according to (8) is configured to detect at least one of R and Mg, B and Cy, G and Ye, R and Ye, or R and infrared light.
  • the first information and the second information are information acquired by different light receiving elements at the same timing.
  • the image sensor according to (1) is configured to:
  • the second information includes at least one of the three primary color information.
  • the first information and the second information are acquired at different resolutions.
  • At least one of the pixels acquires information using an organic photoelectric conversion film.
  • the image sensor according to any one of (1) to (12).
  • the first information is acquired in the organic photoelectric conversion film, and the second information is acquired in the photodiode via the organic photoelectric conversion film. Or The second information is acquired in the organic photoelectric conversion film, and the first information is acquired in the photodiode via the organic photoelectric conversion film.
  • the image sensor according to any one of (1) to (14) is provided. It has a still image mode and a moving image mode. In the still image mode and the moving image mode, the first information and the second information are combined at different timings or different blocks. Electronics.
  • At least one of the pixels acquires light information in the infrared region.
  • the image sensor according to any one of (1) to (15).
  • a filter capable of removing infrared rays is provided in at least a part of the image pickup device included in the pixel that acquires light information in the infrared region.
  • the frame image output from the pixel is combined and Control the number of pixels to be added for each frame at the timing of composition.
  • the image sensor according to any one of (1) to (17).
  • the image sensor according to any one of (1) to (18) is provided.
  • An electronic device that performs object identification, biological identification, or light source estimation based on the spectral information acquired from the image sensor.
  • a compound eye camera including at least one image sensor according to any one of (1) to (18) is provided. At least one of the image sensors does not have an infrared rejection filter. Electronics.
  • the second pixel group includes at least pixels for acquiring white information.
  • the information acquired by the second pixel group is interpolated.
  • a still image mode for acquiring a still image and a moving image mode for acquiring a moving image are provided, and the first pixel group and the second pixel group are combined by different methods in the still image mode and the moving image mode.
  • the pixel belonging to the first pixel group has a resolution lower than the resolution of the pixel belonging to the second pixel group.
  • the image sensor according to any one of (23) to (28).
  • the color information acquired from the second pixel group is corrected based on the color information statistical value or the light source estimation result acquired from the first pixel group.
  • the image sensor according to any one of (23) to (29).
  • the latest pixels are arranged at a distance of 10 mm or less.
  • the image sensor according to any one of (23) to (30).
  • the recent pixels are placed at a distance of 50 mm to 80 mm, The image sensor according to (31).
  • the first pixel group or the second pixel group is configured to include divided pixels in which the pixels to which the first pixel group belongs are divided.
  • the image sensor according to any one of (23) to (32).
  • a white pixel is provided in the divided pixel.
  • the optical parameters that serve as the path of the light have different parameters in each group.
  • the image sensor according to any one of (23) to (34).
  • the second pixel group includes pixels having higher sensitivity than the pixels that acquire the information of B in the first pixel group.
  • the image sensor according to any one of (23) to (35).
  • a pixel having a higher sensitivity than the pixel that acquires the information of B is a pixel that acquires white or cyan color information.
  • the 3 primary color information is recalculated and rearranged information is output by arithmetic processing from the acquired image information.
  • the image sensor according to any one of (1) to (37).
  • the statistical value is calculated from the complementary color information without including the information of the three primary colors.
  • the exposure amount is controlled for each of the pixels that receive the three primary colors and the pixels that receive the complementary colors.
  • the image sensor according to any one of (1) to (41).
  • the exposure amount is controlled by controlling the shutter time.
  • the exposure amount is controlled by controlling the gain.
  • An image sensor having a plurality of pixels for acquiring first information which is information on the three primary colors and information on at least two colors different from the three primary colors and including at least one of the complementary colors of the three primary colors. , Equipped with electronic equipment.
  • 1 Electronic equipment, 10: Solid-state image sensor, 100: Light receiving part, 102: Memory, 104: Control unit, 106: Signal processing unit, 108: Image processing department, 110: Lens, 112: IRCF, 114: Image sensor, 120: A / D converter, 122: Clamp part, 124: Linear matrix part, 126: Gamma correction section, 130: Light source estimation unit, 132: Object recognition unit, 134: Image memory section, 136: Binocular synthesis department, 140: Luminance chroma signal generator, 150: I / O I / F, 160: Pre-linear matrix part, 162: RGB rearrangement part, 164: Sensor output, 166: Statistics acquisition department, 20: Pixel, 200: Light receiving element, 202: Filter, 204: Pixel array, 206: Organic photoelectric conversion film, 208: photodiode, 210: On-chip lens, 30: Board, 32: 1st board, 34: 2nd board, 300: Pixel area, 302: Control circuit,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

撮像装置における色の精度を向上する。 ［解決手段］撮像素子は、3原色の情報である第1情報及び前記3原色とは異なる少なくとも2色の情報であって前記3原色の補色うち少なくとも1色を含む第2情報を取得する、複数の画素、を備える。

Description

撮像素子及び電子機器
　本開示は、撮像素子及び電子機器に関する。
　固体撮像モジュールを含む装置においては、撮像素子として3色のカラーフィルタを用いる方法が一般的である。近年、3色、例えば、RGBのカラーフィルタに加えて異なるカラーフィルタを配置する手法が広く開発されてきている。このようなカラーフィルタの配置においては、画像構成の観点から良好なものが十分に見いだせているとは言いがたい。
　スマートフォン等の電子機器が発展し、SNS(Social Networking Service)等において画像をシェアすることが頻繁に行われている。このように画像をシェアする際に、忠実な色再現性だけではなく、色の演出性等も求められるようになってきており、色調整の自由度を上げたり、物体認識結果に応じて色作りを変更したりすることが望まれるようになってきている。
　スマートフォン等のデバイスにおいては、例えば、ディスプレイ表示面の下にカメラを設けるUDC(Under Display Camera)の開発がなされているが、このような構成においてはディスプレイを透過した光をカメラが受光するため、用いている材料に起因し、青の感度が著しく低下すると言った課題がある。また、有機光電変換膜の課題の1つとして、1つの画素から縦方向にRGBを取り出そうとすると、有機光電変換膜又はフォトダイオードを二層構造とする必要があり、コスト等の観点においても非効率であるという問題がある。
特開2013-045917号公報
　本開示の実施形態では、3色(例えば、RGB)のカラーフィルタに加えて、異なる色のカラーフィルタを備え、画像再構成の精度を向上させる撮像素子及び電子機器を提供する。
　一実施形態によれば、撮像素子は、3原色の情報である第1情報及び前記3原色とは異なる少なくとも2色の情報であって前記3原色の補色うち少なくとも1色を含む第2情報を取得する、複数の画素、を備える。
　前記3原色は、R(赤)、G(緑)、B(青)であってもよく、前記補色は、Cy(シアン)、Ye(イエロー)、Mg(マゼンタ)であってもよい。
　前記第2情報は、Cy及びYeの情報を含んでもよい。
　前記第2情報は、Cy、Ye及びMgの情報を含んでもよい。
　前記第2情報は、白又はエメラルドのうち少なくとも一方の情報を含んでもよい。
　前記画素は、前記第1情報及び前記第2情報のうち少なくとも2色の情報を出力してもよい。
　前記画素は、複数の分割画素を備えてもよく、前記分割画素ごとに、前記第1情報及び前記第2情報のうち1色の情報を取得してもよい。
　前記第1情報と、前記第2情報と、に含まれる色の情報のうち、類似する色の情報を一括して取得してもよい。
　前記類似する色の情報は、RとMg、BとCy、GとYe、RとYe又はRと赤外光のうち少なくとも1つの情報を含んでもよい。
　前記第1情報と、前記第2情報と、が同じタイミングにおいて異なる受光素子により取得された情報であってもよい。
　前記第2情報に、前記3原色の情報のうち少なくとも1つを含んでもよい。
　前記第1情報と、前記第2情報とは、異なる解像度で取得されてもよい。
　前記画素のうち少なくとも1画素は、有機光電変換膜を用いて情報を取得してもよい。
　前記第1情報が有機光電変換膜において取得され、前記第2情報が前記有機光電変換膜を介してフォトダイオードにおいて取得されてもよく、又は、前記第2情報が有機光電変換膜において取得され、前記第1情報が前記有機光電変換膜を介してフォトダイオードにおいて取得されてもよい。
　電子機器は、上記のいずれかに記載の撮像素子を備え、静止画モードと、動画モードとを有してもよく、前記静止画モードと、前記動画モードとにおいて、異なるタイミング又は異なるブロックにおいて前記第1情報と、前記第2情報とを合成してもよい。
　前記画素のうち少なくとも1つは、赤外領域の光の情報を取得してもよい。
　赤外領域の光の情報を取得する前記画素に含まれる撮像素子の少なくとも一部において赤外線除去が可能なフィルタを備えてもよい。
　前記画素から出力されるフレーム画像を合成してもよく、合成のタイミングにおいて、フレームごとに加算する前記画素の数を制御してもよい。
　一実施形態によれば、電子機器は、上記の撮像素子を備え、前記撮像素子から取得されたスペクトル情報に基づいて、物体識別若しくは生体識別又は光源推定を実行する。
　前記物体識別又は前記生体識別により識別された対象に基づいて、画像処理又は前記画像処理のパラメータを制御してもよい。
　画像を表示する、ディスプレイと、前記ディスプレイと重なる位置に、上記のいずれかに記載の撮像素子と、を備えてもよい。
　一実施形態によれば、電子機器は、上記の撮像素子を少なくとも1つに備える複眼カメラを備え、前記撮像素子のうち少なくとも1つは、赤外線除去フィルタを備えない。
　一実施形態によれば、撮像素子は、前記第1情報を取得する第1画素グループと、前記第2情報を取得する第2画素グループと、を備えてもよく、前記第2画素グループは、前記第1画素グループにおけるGの情報を取得する前記画素よりも高感度の画素であってもよい。
　前記第2画素グループは、白色の情報を取得する画素を少なくとも含んでもよい。
　前記第1画素グループが取得する情報を用いて、前記第2画素グループが取得する情報を補間してもよい。
　静止画を取得する静止画モードと、動画を取得する動画モードと、を備え、前記静止画モードと前記動画モードとで、前記第1画素グループと前記第2画素グループとを異なる方法により合成してもよい。
　前記静止画モードと、前記動画モードと、において、異なるタイミングで合成してもよい。
　前記静止画モードと、前記動画モードと、において、異なるシステムブロックで合成してもよい。
　前記動画モードにおいて、前記第1画素グループに属する画素を前記第2画素グループに属する画素の解像度よりも低い解像度としてもよい。
　前記第1画素グループから取得された、色情報統計値又は光源推定結果に基づいて前記第2画素グループから取得される色情報を補正してもよい。
　前記第1画素グループに属する画素と、前記第2画素グループに属する画素のうち、最近の画素が10mm以下の距離離れて配置されてもよい。
　前記最近の画素が、50mmから80mmの距離離れて配置されてもよい。
　前記第1画素グループ又は前記第2画素グループは、いずれかが、属する画素が分割された分割画素を備えて構成されてもよい。
　前記分割画素中に、白色画素が備えられてもよい。
　前記第1画素グループ及び前記第2画素グループにおいて取得される光について、当該光の経路となる光学パラメータが、それぞれのグループにおいて異なるパラメータを有してもよい。
　前記第2画素グループにおいて、前記第1画素グループのBの情報を取得する画素よりも感度が高い画素を備えてもよい。
　前記Bの情報を取得する画素よりも感度が高い画素は、白色又はシアンの色情報を取得する画素であってもよい。
　前記撮像素子は、5色以上で取得された画素情報について、取得された前記画像情報から演算処理により、3原色情報を再計算して再配列した情報を出力してもよい。
　前記撮像素子は、取得された前記画像情報から、少なくとも補色情報を含む情報の画素値、又は、統計値を算出してもよい。
　前記撮像素子は、取得された前記画像情報から、3原色の情報及び前記補色情報についての前記統計値を算出してもよい。
　前記撮像素子は、取得された前記画像情報から、3原色の情報を含まずに、前記補色情報から前記統計値を算出してもよい。
　前記撮像素子は、3原色を受光する画素と、補色を受光する画素と、において、露光量をそれぞれに制御してもよい。
　前記露光量は、シャッタ時間を制御することにより制御されてもよい。
　前記露光量は、ゲインを制御することにより制御されてもよい。
　一実施形態によれば、固体撮像装置は、上記に記載する撮像素子のうち、少なくとも1つの撮像素子を備える。
　一実施形態によれば、電子機器は、3原色の情報である第1情報及び前記3原色とは異なる少なくとも2色の情報であって前記3原色の補色のうち少なくとも1色を含む第2情報を取得する複数の画素を有する、撮像素子を備える。
一実施形態に係る固体撮像装置のブロック図の一例を示す図。 一実施形態に係る固体撮像装置のブロック図の一例を示す図。 色とスペクトルの関係を示す図。 一実施形態に係る画素と受光素子の関係を示す図。 図4のA-A断面図。 一実施形態に係る画素と画素アレイを概略的に示す図。 一実施形態に係る画素における受光する色の配列を示す図。 一実施形態に係る画素における所定のタイミングで受光する色を示す図。 一実施形態に係る画素における所定のタイミングで受光する色を示す図。 一実施形態に係る画素における受光する光の種類を示す図。 一実施形態に係る固体撮像装置のブロック図の一例を示す図。 一実施形態に係る画素における受光する色の配列を示す図。 一実施形態に係る画素における受光する色の配列を示す図。 一実施形態に係る画素における受光する色の配列を示す図。 一実施形態に係る画素における受光する色の配列を示す図。 一実施形態に係る画素における受光する色を示す図。 一実施形態に係る画素における受光する色を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る画素の形成の例を示す図。 一実施形態に係る基板構成の例を示す図。 一実施形態に係る基板構成の例を示す図。 一実施形態に係る基板構成の例を示す図。 一実施形態に係る固体撮像装置を含む電子機器の例を示す概略図。 一実施形態に係る固体撮像装置を含む電子機器の例を示す概略図。 一実施形態に係る固体撮像装置のブロック図の一例を示す図。 一実施形態に係るプレリニアマトリクス部の入力を構成するスペクトルを示す図。 一実施形態に係る再配列されたRGB信号を構成するスペクトルを示す図。 一実施形態に係る電子機器を示す図。 一実施形態に係る画素における受光する色の配列を示す図。 一実施形態に係る画素における受光する色の配列を示す図。 乗物の後方から前方にかけての乗物の内部の様子を示す図。 乗物の斜め後方から斜め前方にかけての乗物の内部の様子を示す図。 電子機器の第2適用例であるデジタルカメラの正面図。 デジタルカメラの背面図。 電子機器の第3適用例であるＨＭＤの外観図。 スマートグラスの外観図。 電子機器の第4適用例であるTVの外観図。 電子機器の第5適用例であるスマートフォンの外観図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　図1は、一実施形態に係る固体撮像装置のブロック図の一例を示す図である。固体撮像装置10は、受光部100と、記憶部102と、制御部104と、信号処理部106と、画像処理部108と、を備える。固体撮像装置10は、受光部100により受光した光を適切に処理し、画像情報、認識情報等に変換して出力する装置である。
　受光部100は、外部からの光を受光し、受光した光の強度に基づいた信号を出力する。
　記憶部102は、固体撮像装置10の各構成要素において必要となるデータ、又は、各構成要素から出力されたデータを格納する。記憶部102は、任意の一時的又は非一時的な適切な記憶媒体であるメモリ、ストレージ等を備えて構成される。
　制御部104は、受光部100等の制御をする。制御部104は、例えば、ユーザからの入力に基づいて制御をしても良いし、予め設定された条件に基づいて制御をしても良い。また、制御部104は、信号処理部106、画像処理部108等の出力に基づいた制御をしても良い。
　信号処理部106は、受光部100が出力した信号を適切に処理して出力する。信号処理部106は、例えば、受光部100が出力するアナログ信号をデジタル信号に変換する処理を実行する。この他にも信号のクランプ処理といった処理を実行してもよい。信号処理部106は、一例として、受信したアナログ信号をデジタル画像信号に変換し、画像処理部108に当該画像情報を出力する。
　画像処理部108は、信号処理部106が変換下情報に対して、所定の画像処理を実行する。画像処理部108は、例えば、ノイズ除去処理、各種フィルタ処理等を実行し、画像情報を適切に処理する。
　信号処理部106及び画像処理部108は、便宜上分けて記載しているが、1つの信号処理部として備えられていてもよい。別の例として、処理ごとに、2つの部(回路)ではなく、より細かい部(回路)により構成されていてもよい。これらの信号処理部106及び／又は画像処理部108が、撮像素子から出力された信号に基づいた種々の目的に応じた情報、画像を生成する。
　上記に説明した固体撮像装置10の各部の一部又は全部は、それぞれ専用のデジタル回路又はアナログ回路で実装されてもよい。専用の回路の場合、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)により構成されてもよい。また、CPU(Central Processing Unit)等の汎用の処理回路により実装されてもよい。
　図2は、図1に示す固体撮像装置10の構成をより詳しい限定されない一例を示すブロック図である。
　受光部100は、例えば、レンズ110と、赤外線除去フィルタ(以下、IRCF 112)と、撮像素子114と、を備える。レンズ110により適切に屈折された光がIRCF 112を介して撮像素子114に入射し、この撮像素子114が受光した光の強度に基づいてアナログ信号を出力する。IRCF 112は、必須の構成ではない。また、レンズ110以外の光学系が備えられていても良い。
　撮像素子114は、例えば、有機光電変換膜、又は、フォトダイオードを備える。撮像素子114には、それぞれの撮像素子114が適切なスペクトルの光を取得するためにカラーフィルタが備えられていても良い。撮像素子114が有機光電変換膜である場合には、フィルタを備えるのではなく、それぞれの撮像素子114自身が適切なスペクトルの光の強度に基づいたアナログ信号を出力しても良い。
　信号処理部106又は画像処理部108は、例えば、A/D変換部120と、クランプ部122と、リニアマトリクス部124と、ガンマ補正部126と、光源推定部130と、物体認識部132と、輝度クロマ信号生成部140と、を備える。
　このように、信号処理部106及び画像処理部108は、明確にその機能が分割されていなくても良い。例えば、A/D変換部120等の信号そのものを処理するのが信号処理部106であってもよく、ガンマ補正部126等の画像に関する処理をするのが画像処理部108であってもよい。
　図2は、一例として示した図であり、信号処理部106又は画像処理部108は、示されている処理のみを実行するのではなく、さらなる信号処理、画像処理を実行してもよい。逆に、図2に示されている全ての構成が必須というわけではなく、実行する処理に基づいて適切に構成要素を省略しても良い。
　A/D変換部120は、撮像素子114から出力されるアナログ信号をデジタル信号に変換して出力する。なお、このA/D変換部120は、撮像素子に内蔵されているものであってもよい。
　クランプ部122は、A/D変換部120が出力したデジタル信号に対して黒レベルの減算を実行する。
　リニアマトリクス部124は、クランプ部122が出力したデジタル信号を色ごとに合成することにより、撮影したターゲットの色を再現する。
　ガンマ補正部126は、リニアマトリクス部124が出力したデジタル信号に対してガンマ補正処理を実行する。
　一方で、光源推定部130は、クランプ部122が出力したデジタル信号である多色の色情報から、光源環境、シーン等を推定する。
　物体認識部132は、光源推定部130が推定した環境において、デジタル信号が示す被写体が何であるかを認識する。この認識には、例えば、訓練済のニューラルネットワークモデルが用いられても良い。
　輝度クロマ信号生成部140は、ガンマ補正部126がガンマ補正した画像信号と、物体認識部132が出力した認識結果に基づいて、画像を再構成する。例えば、物体認識部132が認識した物体に基づいて色情報を操作し、認識した物体に適した色を有する画像を生成しても良い。
　入出力I/F 150は、輝度クロマ信号生成部140が生成した画像データを外部へと出力する。
　このように、被写体として撮影された画像が適切に処理をされて出力される。ここで、撮像素子114内における受光する色の並べ方について以下詳しく説明する。
　図3は、一般的なR(赤)、G(緑)、B(青)のスペクトルを示すグラフに、Cy(シアン)、Ye(イエロー)、Mg(マゼンダ)のスペクトルを重ねたグラフである。この図3に示されるように、R(点線)、G(一点鎖線)、B(破線)の3色のスペクトルにおいては、波長が500nm付近及び580nm付近においてスペクトルの谷が存在する。すなわち、3色におけるゲインを掛けた加算をすることによっても、この位置にスペクトルのピークが存在するような色の受光性が悪くなる。
　本開示においては、このようなスペクトルの谷に対応するべく、R、G、Bの3色の受光に加えて、少なくとも2つの別のスペクトル特性の光の強度を受光するべく、カラーフィルタ、又は、有機光電変換膜を適切に配列させる。実線で示されるスペクトルの特性は、それぞれCy、Ye、Mgで示されるように、シアン、イエロー、マゼンダの色のスペクトルを表す。
　固体撮像装置10は、例えば、撮像素子114において、R、G、Bの3原色の情報を取得した結果である第1情報と、この3原色とは異なる少なくとも2色の情報を取得した結果であって、これら3原色の補色であるCy、Ye、Mgのうち少なくとも1色を含む第2情報を、取得する画素を備える。3原色は、RGBに限られるものではないが、以下においては、3原色としてRGBを用い、補色として、Cy、Ye、Mgを用いる。
　図3を参照するとわかるように、第2情報として取得する色の情報は、Cy、Yeであると、RGBにより形成されるスペクトルの谷をカバーできることがわかる。また、第2情報として、3色の補色であるCy、Ye、Mgの色の情報を用いても良い。Mgを追加することにより、より細やかな色再現を図ることもできる。
　このように、3原色の他の分光を用いることにより、可視光領域をカバーすることができ、より忠実な色再現を目指すことが可能となる。図3に示すように、例えば、RGBの3原色を用いる場合には、分光の谷が2カ所にあるため、それぞれの谷をカバーできる2色以上の色を撮像できる素子が追加されることが望ましい。
　また、Cyの代わりに、ピークの位置が類似しているエメラルドを用いても良い。エメラルドは、図示していないが、BとGの間にピークを有するスペクトルで表現される。これらのCy、エメラルドの分光は、等色関数における負の成分を生成するためにも有用である。また、別の例として、全体的にスペクトルを有する白の光を受光する素子が備えられていても良い。
　このように3色よりも多くの色を用いることにより、画像における色再現性を改善することもできるし、また、上述した光源推定部130における光源の推定の精度を向上させることもできる。
　(第1実施形態)
　図4は、撮像素子114に備えられる画素の一例を示す図である。本図においては、画素中に複数の受光素子200を備える構成としているが、このような構成には限られず、画素20と受光素子200とが1対1対応等の他の形態であっても、以下に説明する色の組合せについては同様に適用することが可能である。なお、本図においては、画素における受光素子200の配置において主に示しているが、信号線、遮光壁等、図示していないものは、適宜適切に設けられているものとする。
　画素20は、例えば、4つの受光素子200a、200b、200c、200dを備える。受光素子2000a～200dは、それぞれ独立したフォトダイオード、有機光電変換膜を備える。これらの撮像素子上には、異なる色のフィルタが備えられても良いし、そのうちいくつかは同じ色のフィルタが備えられていても良い。有機光電変換膜の場合は、受光素子そのものが異なる色、又は、同じ色のスペクトルを有する光を受光できる構成であってもよい。
　一例として、受光素子200a、200dがMgのスペクトルを有する光を受光し、受光素子200b、200cがRのスペクトルを有する光を受光する構成であってもよい。このような構成例は、後述にて種々のバリエーションを踏まえてより詳しく説明する。
　図5は、図4におけるA-A断面を示す図である。本図においては、受光素子200は、例えば、フォトダイオードを備えて構成される。これらのフォトダイオード間には、絶縁膜が備えられていても良い。このような分割フォトダイオードは、例えば、特開2013-045917に開示されているような半導体デバイスを用いても良いし、別の方式の半導体デバイスを用いても良い。
　受光素子200aの上側には、受光素子200aにより受光するスペクトルに合わせた光を透過させるフィルタ202aが備えられる。同様に、受光素子200bの上側には、フィルタ202bが備えられる。上記の例によれば、フィルタ202aは、Mgの光を透過させるフィルタであり、フィルタ202bは、Rの光を透過させるフィルタである。
　受光素子200a、200bは、それぞれが受光した光をアナログ信号に変換し、画素20内のフローティングディフュージョン等の適切な箇所へと出力する。受光素子200a、200bは、それぞれが適切なタイミングでアナログ信号を出力しても良いし、同じタイミングでアナログ信号を出力しても良い。
　図6は、画素が備えられる画素アレイについて一例を示す図である。画素20は、この図6に示されるように、複数がアレイ状に備えられる。アレイ状に備えられた画素により、画素アレイ204を形成する。そして、この画素アレイ204が受光部100に備えられ、受光した光をそれぞれの受光素子200の特性に基づいてアナログ信号に変換して出力する。それぞれの画素20には、図5に示すような分割画素としての受光素子200が備えられても良いし、上述したように、分割画素を用いずに、画素20ごとに決められた色を取得することにより以下の説明による形態を適切に表現しても良い。
　このように、画素20は、分割された分割画素を形成する受光素子200を備え、それぞれの分割画素において、異なるフィルタを介した光を受光しても良い。以下、この構成による色の取得について説明する。上述したように、いくつかの例として、画素20において2色の光を受光することについてまず説明する。この2色は、類似した色であることが望ましい。ここで、類似した色とは、例えば、RとMg、GとYe、BとCyの組合せである。この他にも、Gとエメラルド、又は、Bとエメラルドの組合せであってもよい。これらの色の組み合わせでは、スペクトルを見てわかるように、共通の波長成分を所定値以上有する色同士と定義することもできる。
　図7は、一実施形態に係る画素20における受光する色の組合せの一例を示す図である。図中の色の表記は、明細書中と同様に、Rが赤、Gが緑、Bが青、Mgがマゼンダ、Yeがイエロー、Cyがシアンを表す。
　4つの画素20の組合せとして、図7のような組合せがある。左上の画素20においては、左上及び右下の受光素子200においてMgの色の光を受光し、右上及び左下の撮像素子114においてRの色の光を受光する。RとMgは、上述したように類似した色である。
　右上及び左下の画素20においては、左上及び右下の受光素子200においてYeの色の光を受光し、右上及び左下の受光素子200においてGの色の光を受光する。GとYeは、上述したように類似した色である。
　右下の画素20においては、左上及び右下の受光素子200においてCyの色の光を受光し、右上及び左下の受光素子200においてBの色の光を受光する。BとCyは、上述したように類似した色である。
　このように、画素20ごとに類似した色の組合せの光を受光するように受光素子200(又はフィルタ202)が配置される。類似した色同士を同じ画素20に配置することにより、混色の影響を、類似しない色同士を同じ画素20に配置する場合と比較して小さくすることが可能となる。
　逆に、図示しないが、類似した色同士を他の画素20に含める構成としても良い。このように、類似する色同士を他の画素20に配置することにより、色解像度を高めることができる。画素20内における色の分布は、このように、環境や用途により適宜適切に変更することが可能である。
　図示されているように、R系の画素20、G系の画素20、B系の画素20がベイヤ配列により配列されても良い。ベイヤ配列は、限定されない一例として挙げたものであり、この配列は、市松配列、RGBW系の配列の例のような他の配列であってもよい。
　図7のような受光する配列を有する画素20においては、画素20ごとに一括でアナログ信号を出力することができる。例えば、図7の左上の画素20からは、RとMgの混色の光を受光して、受光した光の強度に基づいたアナログ信号を出力することができる。同様に、右上及び左下の画素20においては、GとYeの混色、右下の画素20においては、BとCyの混色の光に対応するアナログ信号を出力することができる。
　このように、画素20内の分割画素(受光素子200)からの信号を一括して取得することにより、読み出しノイズを減らし、フレームレートの低下を抑制することができる。例えば、超照度のシーンにおいては、読み出しノイズを減らすために、画素20ごとに一括して受光しても良い。また、一括して読み出すことにより、フレーム間で異なる露光量においてアナログ信号を取得し、HDR合成(High Dynamic Range rendering)をすることも可能である。
　一方で、画素20内において、分割画素の読み出しのタイミングを変えることも可能である。
　図8及び図9は、画素20内において読み出しタイミングを異なるタイミングにする一例を示す図である。
　固体撮像装置10は、例えば、ある読み取り時刻においては、図8に示すように、画素20は、Mg、Ye、Cyの補色系における光の強度からアナログ信号を取得する。次の読み取り時刻において、固体撮像装置10は、図9に示すように、R、G、Bの原色系における光の強度からアナログ信号を取得する。すなわち、図4における受光素子200a、200dが同じタイミングでフローティングディフュージョンにアナログ信号を出力し、受光素子200b、200cが同じタイミングでフローティングディフュージョンにアナログ信号を出力しても良い。
　このように、読み取りタイミングをずらすこともできる。例えば、この読み取りは、フレームごとに実行されても良い。上記のように画素20において一括して読み取る場合よりもフレームレートは下がる一方で、固体撮像装置10は、5色以上(本実施形態においては、6色)の色の情報を取得することが可能となる。
　5色以上の分光の情報を取得することにより、等色関数をより忠実に再現して色再現性を向上させることもできるし、演出性の高い画作りを実現することも可能となる。多色を用いることにより、光源推定、シーン判定、物体識別の精度を向上させることで、特定の物体／生体の色をより活き活きと表現することが可能となる。例えば、ある食べ物の彩度を上げることにより、より新鮮さを失わない画作りをすることができる。
　このように、取得したスペクトル情報に基づいて、物体認識、生体認識をすることも可能となる。そして、固体撮像装置10は、この生体認識等の結果に基づいて、画像再構成のための制御パラメータを変更することもできる。制御パラメータとは、例えば、画像処理におけるフィルタのカーネル、ガンマ補正におけるパラメータといったデジタル信号処理に関するパラメータであってもよいし、フレームを合成する重み付けパラメータ、合成するフレーム数等のパラメータであってもよい。また、このパラメータは、第1情報と、第2情報を合成する際に用いられるパラメータであってもよい。
　本実施形態においては、取得した色の情報をリニアマトリクス部124及び輝度クロマ信号生成部140等により処理することができる。このため、物体等に適切な彩度の向上をすることが可能となる。すなわち、本実施形態に係る固体撮像装置10の画作りにおいて、全体的な色の彩度を上げるだけにとどまらず、5色以上の情報を用いたより適切な彩度の向上を実現することができる。
　上記においては、全ての画素20の全てのタイミングにおいて同じタイミング又は異なるタイミングとして色情報を取得するとしたが、これには限られない。例えば、3フレームごとに、フレームを分割し、そのうち1フレームでは、画素20ごとに同じタイミングで読出をし、他の2フレームでは、画素20ごとに、図8、図9に示すように別のタイミングで読出をしても良い。例えば、明部と暗部が混在するシーンにおいて3フレーム合成を行う場合に、明部については露光量が抑えられている異なるタイミングの読出による情報から画像情報を生成し、暗部についてはSNR(Signal to Noise Ratio)を優先して一括読出による情報から画像情報を生成しても良い。
　上記においては、色再現性を向上させるためにYeを用いたが、これには限られない。Gの情報を取得する画素20は、例えば、Yeの情報を取得しなくてもよい。また、上述したように、Yeの代わり、又は、Cyの代わりにエメラルドを用いても良い。また、Rと同じ画素20に備えられる補色は、Yeであってもよい。
　また、上述したように5色以上の光の強度からアナログ信号を取得することが望ましいが、これには限られず、RGBWにより情報を取得してもよい。例えば、図7における補色系の分割画素を、白色画素としても良い。ただし、前述した理由により、類似する色同士である補色系と原色系を用いることがより望ましい。
　本実施形態のような画素20を用いることにより、単眼カメラにおいて高精度に5色以上の色情報を取得することが可能となる。また、斜め方向にパターンを有する被写体等がある場合にも、RGBか、CMYか、のいずれかの情報を、当該パターンをまたぐように取得することが可能となる。本実施形態によれば、固体撮像装置10は、取得した情報をそれぞれ補間して、例えば、RGBの情報に集約することができる。このため、斜め方向にパターンを有するような被写体についても、適切に画像を再構成することが可能となる。
　なお、上記においては、図4における受光素子200a、200dにおいて、及び、受光素子200b、200cにおいてそれぞれの組合せで同じ色の光を受光するとしたが、これには限られない。例えば、受光素子200a、200bにおいて、及び、受光素子200c、200dにおいて同じ色の光を受光しても良い。別の例としては、受光素子200a、200cにおいて、及び、受光素子200b、200dにおいて同じ色の光を受光しても良い。
　(変形例)
　上記においては、画素20に備えられる受光素子200において可視光の情報を取得するものとしたが、これには限られない。
　図10は、第1実施形態の変形例に係る画素20について限定されない一例を示す図である。R系の受光をする画素20において、IRと示されている分割画素が示されている。このIRは、赤外光を受光する受光素子200を示す。以下、色といった場合には、IRを含んでも良い。すなわち、Rに類似する色としてIRがあるとしても良い。
　この場合、図2に示されるIRCF 112は、省略されても良い。IRCF 112を省略するために、IRの色の光を受光する受光素子200以外の受光素子200において、IRCFを個別に備える形態としても良い。
　図10のように、画素20において、Rに類似する色としてIRの光を受光する受光素子200が分割画素として含まれても良い。IRの光を受光することにより、可視光のスペクトルの範囲では取得することが困難である情報をも取得することが可能となる。この結果、例えば、光源推定部130及び物体認識部132における推定、認識の性能を向上することができる。
　(第2実施形態)
　上述においては、単眼カメラにおいて有用である配列に関して説明したが、複眼カメラを用いる場合には、より多様な配列とすることもできる。
　図11は、本実施形態に係る固体撮像装置10のブロック図の一例である。固体撮像装置10は、第1受光部100Aと、第2受光部100Bと、を備える。
　第1受光部100Aは、例えば、レンズ110A、IRCF 112A、撮像素子114Aを備え、第2受光部100Bは、例えば、レンズ110B、IRCF 112B、撮像素子114Bを備える。例えば、第1受光部100Aにおいて第1情報を取得し、第2受光部100Bにおいて第2情報を取得する。
　それぞれの撮像素子に対してA/D変換部と、クランプ部が備えられる。
　画像メモリ部134は、第1受光部100A及び第2受光部100Bにそれぞれ対応するクランプ部122A、122Bからの出力を格納する。
　二眼合成部136は、撮像素子114A、114Bから取得された情報を適切なデータへと変換する。例えば、二眼合成部136は、同じタイミングで取得された別々の撮像素子114A、114Bにより取得された情報を合成する。
　この合成については、種々の手法を用いることができる。例えば、固体撮像装置10が動画を撮影している場合には、RGBの光を受光している撮像素子から取得されたデータに基づいて間引き出力として簡易な色情報を取得し、補色系の光を受光している撮像素子から取得されたデータをベースとして間引き情報を用いた色味の修正をしても良い。また、明部と暗部を判断し、それぞれRGB系の撮像素子、補色系の撮像素子から取得された情報に基づいて、画像を生成しても良い。また、この二眼合成部136は、固体撮像装置10内において処理をするのではなく、クラウド上で処理をさせる構成であってもよい。
　二眼合成部136が合成した出力にも基づいて、図2の各構成要素と同様の処理をすることにより、固体撮像装置10は、画像信号、映像信号を取得し、出力する。
　図12は、それぞれのカメラにおける画素20の概略を示す図である。撮像素子114Aには、3原色系のR、G、Bの光を受光する受光素子が、撮像素子114Bには、補色系のMg、Ye、Cyの光を受光する受光素子が備えられる。図4等に示す画素20の構成とは異なり、画素ごとに1つの色の光を受光する構成としても良い。
　受光する感度が近い受光素子200がそれぞれの撮像素子114に集約されていることにより、好適な露光制御をすることが可能となる。例えば、周辺環境において光の強度が弱い(暗い)場合には、受光感度が高い補色系である撮像素子114Bの出力に基づいて画像を生成し、受光感度が低い原色系である撮像素子114Aの出力を用いて色補正することもできる。逆に、明るい場合には、受光感度が低い原色系である撮像素子114Bの出力に基づいた画像に対して、受光感度が高い補色系である撮像素子114Aの出力を用いて色補正をしても良い。
　露光制御は、例えば、原色と補色において異なる露光量とすることもできる。この露光制御は、シャッタ時間を変更してもよいし、ゲインを変更してもよい。この2つの制御を可変とすることにより、例えば、RGB＋CMY配列において、RGBを短い蓄積時間、CMYを長い蓄積時間とすることで、撮影する被写体の暗い部分を露光量の大きなCMYで撮影し、明るい領域はRGBで撮影することも可能となる。このため、HDRの映像を取得することができる。
　上記に置いて、短い蓄積時間は、低ゲインと読み替えることができ、長い蓄積時間は、高ゲインと読み替えることができる。すなわち、RGBを低ゲインで取得し、CMYを高ゲインで取得するように制御してもよい。この場合も同様に、高いダイナミックレンジを有する映像を取得することが可能となる。
　すなわち、感度が低い第1情報と、感度が高い第2情報とを相互に補間することができる。また、この他にも、受光する色の特性に応じて、二眼合成部136において色補正を適切に実行しても良い。
　図13は、2眼カメラを用いる場合の別の受光色の配列を示す図である。この図13に示すように、第2情報を取得する撮像素子114Bにおいて、3原色系であるGの光を取得する構成としても良い。
　2眼の撮像素子114を用いる場合には、それぞれの撮像素子114からの出力を合成するタイミングにおいて、視差の補正をする必要がある。二眼合成部136は、例えば、パターンマッチングを実行しながらそれぞれの画素20同士の色を合成する。このようにパターンマッチングをする場合、色の差が大きくなると、マッチングの精度が下がる可能性がある。
　これに対して、図13に示すような画素20の構成とすることにより、第2情報にGの光の受光情報を混在させることにより、第1情報と共通した情報としてGの受光情報を取得することが可能となり、パターンマッチングの精度を向上させることができる。
　図14は、2眼カメラを用いる場合のさらに別の受光色の配列を示す図である。この図14に示すように、第1情報を取得する撮像素子114Aにおいて、3原色の他にW(白)の光を取得する構成としても良い。
　このような構成とすることにより、第1情報として取得されるRGBの色の光について高感度化した情報を取得することが可能となる。なお、Wの画素20は、第2情報側、すなわち、撮像素子114B側の画素20として備えられていても良い。
　図15は、2眼カメラを用いる場合のさらに別の受光色の配列を示す図である。子の図15に示すように、第1情報を取得する撮像素子114Aにおいて、3原色の他にIR(赤外)の光を取得する構成としても良い。
　IRの光を受光することにより、光源推定、物体認識等の精度を向上させることもできる。前述の実施形態と同様に、IRの光を受光する撮像素子114に対しては、IRCF 112が備えられない構成とすることが望ましい。この場合、IRを受光する画素20以外の画素20においてIR光を除去又は吸収するフィルタを個別に実装する形態であってもよい。
　図12から図15に示すような構成の撮像素子114に対して図11に示すブロック図の固体撮像装置10とすることができる。上述したように、撮像素子114においてIR光を受光する場合には、IRCF 112Aは、挿入されない構成とする。
　単眼の場合のブロック図である図2と比較すると、2眼からの情報を合成する構成が加えられている。上述したように、二眼合成部136において、例えばパターンマッチングをした上で、2つの撮像素子114A、114Bからの出力を合成する。図12から図15の構成においては、6色～7色の出力を適切に合成することとなる。これらの複数の色のうち、少なくとも1つを用いて図示しない訓練済のニューラルネットワークモデルを用いて物体認識等を実行しても良い。このニューラルネットワークモデルは、例えば、ディープラーニングの手法により最適化されたものであっても良い。
　なお、図12から図15に示された受光色のベイヤ配列に基づいた配列は、限定されない例としてあげたものである。これらの図に示すようなベイヤ配列に基づいた配列以外の配列であっても、適切に上述した効果を得ることができる配列であれば構わない。
　以上のように、本実施形態によれば、2眼の場合においても、5色以上の光を受光することにより、固体撮像装置10から出力される画像を適切に再構成することが可能となる。
　本実施形態は、3眼以上の複眼の場合にも適用することが可能である。
　また、複眼の場合には、光学系のサイズは、それぞれに任意の大きさとすることができる。また、撮像素子114の解像度、画素20の数も、撮像素子114ごとに任意に設定されていても良い。すなわち、第1情報と、第2情報とは、異なる解像度において取得される情報であってもよい。
　このように、光学系のサイズ、解像度等を複眼において変更することにより、異なる解像度等の画像をそれぞれ3原色系、補色系から取得することが可能となり、これらの情報を相互に用いることにより、より高解像度化、又は、より色再現性の向上を図ることができる。
　第1情報と、第2情報とを異なる解像度とすることにより、例えば、固体撮像装置10は、静止画と、動画とを別々の撮像モードとして撮影してもよい。例えば、動画モードにおいては、補色系を通常駆動させることにより、3原色系を補色系に対する信号の補助として利用するように読み出しの消費電力を下げ、3原色系から取得された色情報を補色側に伝達して画作りを補助する形態としても良い。例えば、3原色系を補色系における画素加算(ピクセルビニング)に用いる補助画素として用いても良い。これは、分割画素を用いる場合であっても同様に適用することが可能である。
　さらに、静止画モードと、動画モードとで、異なるタイミング、異なるブロックで合成を実行しても良い。例えば、処理速度の問題で、動画のリアルタイム処理が困難である場合には、撮影後に時間を掛けて合成することが可能となる。この場合、信号処理部106、画像処理部108において動画のための画像再構成処理を実行しても良いし、クラウド上にアップロードして、性能の良いサーバ等において画像の再構成処理を実行しても良い。
　また、前述の単眼における実施形態と同様の分割画素を用いて２眼以上の複眼における撮像素子114としてもよい。この場合、複数のカメラにおいてその用途を変更することもできる。例えば、1つのカメラは、広角カメラ、1つのカメラは、通常のカメラ、といったように、別々の用途に利用するカメラとすることもできる。もちろん、これらの複数種類のカメラから取得されたデータを用いることにより、高解像度の画像を取得したり、色再現性を向上させたりすることも可能となる。
　(第3実施形態)
　前述の実施形態においては、カラーフィルタ、又は、有機光電変換膜を色ごとにそれぞれ備える構成としたが、これには限られない。例えば、単眼カメラにおいて、有機光電変換膜とフォトダイオードを用いて3原色系及び補色系の色の光を受光しても良い。
　図16は、受光素子として、有機光電変換膜とフォトダイオードを用いる画素20の例を示す。画素20R_Cyは、Rの光を受光する有機光電変換膜206Rと、Cyの光を受光するフォトダイオード208Cyと、を備えて構成される。なお、図示していないが、画素20R_Cy上には、外部からの光が入射する側に、オンチップレンズ等の光学系がそれぞれ備えられていても良い。
　この構成の画素20R_Cyは、有機光電変換膜206Rにおいて、Rの光を受光してRの光の強度に基づいたアナログ信号を出力する。有機光電変換膜206Rを介した光は、Rの成分が除去された補色であるCyの光となり、フォトダイオード208Cyに入力される。このため、フォトダイオード208Cyでは、Cyの光を受光することとなる。この結果、フォトダイオード208Cyは、有機光電変換膜206Rを介したCyの光を受光し、このCyの光に応じたアナログ信号を出力する。
　同様に、Gの光を受光する有機光電変換膜206Gと、Mgの光を受光するフォトダイオード208Mgの組合せによる画素20G_Mgが構成されても良い。また、Bの光を受光する有機光電変換膜206Bと、Yeの光を受光するフォトダイオード208Yeの組合せによる画素20B_Yeが構成されても良い。
　図17は、本実施形態に係る画素の構成の別の例を示す図である。画素20Cy_Rは、Cyの光を受光する有機光電変換膜206Cyと、Rの光を受光するフォトダイオード208Rと、を備えて構成される。
　画素20Cy_Rは、有機光電変換膜206Cyにおいて、Cyの光を受光してCyの光の強度に基づいたアナログ信号を出力する。有機光電変換膜206Cyを介した光は、Cyの成分が除去された補色であるRの光となり、フォトダイオード208Rに入力される。このため、フォトダイオード208Rでは、Rの光を受光することとなる。この結果、フォトダイオード208Rは、有機光電変換膜206Cyを介したRの光を受光し、このRの光に応じたアナログ信号を出力する。
　図16の場合と同様に、Mgの光を受光する有機光電変換膜206Mgと、Gの光を受光するフォトダイオード208Gの組合せによる画素20Mg_Gが構成されても良い。また、Yeの光を受光する有機光電変換膜206Yeと、Bの光を受光するフォトダイオード208Bの組合せによる画素20Ye_Bが構成されても良い。
　図16及び図17の例においては、フォトダイオード208上にフィルタ202が備えら得ていないが、有機光電変換膜206と、フォトダイオード208との間に適切なフィルタ202を備えていても良い。
　以上のように本実施形態によれば、同じ位置に配置される画素において、補色同士の光の受光を適切に実行することが可能となる。このような構成であれば、単眼カメラにおいて、画素20ごとに第1情報と第2情報との光を適切に受光することが可能となる。この場合、受光位置が第1情報と第2情報とにおいてずれが生じないため、画像の再構成において、それぞれの情報からの色の再現性についてパターンマッチング等を実行することなく適切に向上することが可能となる。
　(第4実施形態)
　第2実施形態、第3実施形態においては、3原色系及びその補色系の情報を用いることとしたが、前述したとおり、色の組合せはこれらに限られるものではない。例えば、第2情報として、Ye、エメラルドの色としても良い。エメラルドの受光をすることにより、等色関数の負の成分を生成することに対する精度を向上させることが可能である。さらに、Wの受光をするようにしても良い。
　(第5実施形態)
　前述の各実施形態において説明した画素、分割画素について種々の応用について説明する。以下の例において、色の組合せは、限定されないいくつかの例として列挙される。
　図18は、画素20を分割する一例を示す図である。画素20ごとにR、G、B、Mg、Ye、Cyの光を受光する。
　図18に示すように、画素20は、所定方向に2分割されていても良い。分割された各領域に、受光素子200として、例えば、フォトダイオードを備える。
　図19は、図18の例におけるオンチップレンズ形成の一例を示す図である。このように分割し、図19に示すように画素ごとにオンチップレンズを備えることにより、画素ごとに視差の情報を取得することも可能となる。
　図20は、図18の例におけるオンチップレンズの形成の一例を示す図である。それぞれの分割画素ごとに、楕円形のオンチップレンズ210が備えられても良い。この場合、解像度を向上させることが可能となる。
　図21は、画素20を分割する別例を示す図である。図21に示すように、Gの受光素子200(分割画素)を含む同一の画素内に、Wの受光をする受光素子200が備えられる態様としてもよい。さらに、Wではなく、上述したようにエメラルド等の色を受光する受光素子200であってもよい。このように、一部の分割画素として、図7等の例とは異なる組合せとしても良い。
　図22は、画素20を分割する別例を示す図である。図22に示すように、Gを受光する画素20と、Yeを受光する画素20とを分離させても良い。このような形態とすることにより、G及びYeの受光をする画素20においては、一括したタイミングでアナログ信号を取得することが可能となり、フレームレートを向上させることができる。
　図23は、画素20を分割する別例を示す図である。図23に示すように、補色となる色同士が異なる画素20に備えられる形態としてもよい。この場合、例えば、図に示すように、GとYeの分割画素を多く配置するように、RとYeの分割画素を有する画素20、BとYeの分割画素を有する画素20、GとMgの分割画素を有する画素20、及び、GとCyの分割画素を有する画素20とする形態であってもよい。このように画素を形成すると、どの画素20においても、人間の目において受光強度が高い緑色の光を受光する分割画素が備えられることとなり、色の再現性等を高めることができる。
　図24は、図22の場合におけるオンチップレンズの配置例である。この図24に示すように、画素20内において異なる色を受光する分割画素を備える場合には、当該分割画素に適用する大きさのオンチップレンズ210を備えてもよい。一方で、画素20において同一の色の光を受光する場合には、画素20に亘るオンチップレンズ210を備える構成としても良い。
　もちろん、G又はYeの少なくとも一方において、図21に示すような楕円形の2つのオンチップレンズを備える構成としても良い。
　このように形状の異なるオンチップレンズとすることにより、画素20において取得したアナログ信号から、位相差をも取得することができる。
　図25は、画素20を分割する別例を示す図である。図25に示すように、画素20を3 × 3の分割画素に分割しても良い。この場合、感度の低い3原色系を5画素に割り当て、補色系を残りの4画素に割り当てても良い。このように割り当てることにより、画素値を加算した後の感度のバランスをある程度とることができる。さらに、3 × 3に限られず、4 × 4や5 × 5等のより多くの分割画素に分割しても良い。
　画素値の加算は、前述の実施形態において説明したように、フローティングディフュージョンによりアナログ信号を取得するタイミングで実行されても良いし、別の例として、アナログ回路、又は、A/D変換後にデジタル回路により実現されても良い。
　分割画素を用いる場合には、フレームごとに取得された分割画素からの出力値を加算することがある。このような場合、フレームごとに加算する画素数を変化させても良い。これは、分割画素ではなく、画素20ごとにも適用することができる。このように制御することで、フレームレートに基づいてより再現性の高い画像を生成することにもつながる。
　(第6実施形態)
　本実施形態においては、撮像素子114を備える半導体チップについて簡単に説明する。
　図26は、撮像素子114を備える基板の一例を示す図である。基板30は、画素領域300と、制御回路302と、ロジック回路304と、を備える。図26に示すように、画素領域300と、制御回路302と、ロジック回路304とが同じ基板30上に備えられる構成であってもよい。
　画素領域300は、例えば、前述の各実施形態における画素20等が備えられる領域である。信号処理部106のうち、A/D変換等は、適切にこの画素領域300に備えられても良いし、基板30における図示しない別の領域において備えら得ても良い。制御回路302は、図1における制御部104を備える。ロジック回路は、例えば、信号処理部106のA/D変換後の回路と、画像処理部108と、を備える。また、信号処理部106及び画像処理部108の少なくとも一部は、このチップ上ではなく、基板30とは別の箇所に備えられる別の信号処理チップにおいて実装されても良いし、又は、別のプロセッサ内等に実装されていても良い。
　図27は、撮像素子114を備える基板の別の例を示す図である。基板として、第1基板32と、第2基板34が備えられる。この第1基板32と、第2基板34は、積層された構造であり、適切にビアホール等の接続部を介して相互に信号を送受信できる。例えば、第1基板32が、画素領域300と、制御回路302と、を備え、第2基板34が、ロジック回路304を備えて構成されても良い。
　図28は、撮像素子114を備える基板の別の例を示す図である。基板として、第1基板32と、第2基板34が備えられる。この第1基板32と、第2基板34は、積層された構造であり、適切にビアホール等の接続部を介して相互に信号を送受信できる。例えば、第1基板32が、画素領域300を備え、第2基板34が、制御回路302と、ロジック回路304と、を備えて構成されても良い。
　図27、図28において積層されている基板同士は、上記のようにビアホールで接続されても良いし、マイクロダンプ等の方法で接続されても良い。これらの基板の積層は、例えば、CoC(Chip on Chip)、CoW(Chip on Wafer)、又は、WoW(Wafer on Wafer)等の任意の手法で積層させることが可能である。
　(第7実施形態)
　図29は、電子機器1の一例を示す図である。この図に示すように、電子機器1は、例えば、スマートフォン、タブレット端末であってもよい。このように電子機器1が画像又は映像を表示する表示部としてディスプレイを備える場合、このディスプレイと重なるように、ディスプレイを介した光を撮像する固体撮像装置10が備えられても良い。
　前述の各実施形態において説明したような画素20の構成とすることにより、ディスプレイを透過した光を適切に受光することができる。例えば、スマートフォン等におけるディスプレイには、ポリイミド等の青色の光を多く吸収する材料が使用されることがある。このような場合においても、3原色と補色を少なくとも備える5色以上の光を受光することが可能な固体撮像装置10を備えることにより、適切なスペクトルを有する光を受光することが可能であり、画像の色再現性を向上させることができる。
　また、上記ではディスプレイの下に備えられるとしたが、これには限られない。例えば、スマートフォン等において、ディスプレイとは無関係に、所謂アウトカメラとして前述の各実施形態で説明した固体撮像装置10を備えていても良い。
　図30は、電子機器1の別の例を示す図である。電子機器1は、例えば、VR(Virtual Reality)、AR(Augmented Reality)、MR(Mixed Reality)といったxR端末であってもよい。固体撮像装置10は、このようなxR端末に搭載されたカメラとして用いられても良い。固体撮像装置10をカメラとして用いることにより、感度、色再現性を向上させることが可能となるので、ユーザが感じる没入性をより高めることが可能となる。
　また、この他にも、物体識別をすることでユーザが興味のある物体等を認識するUI(User Interface)に活用することもできる。
　さらにまた、ウェアラブル端末のヘルスケアセンシング用として用いることもできる。例えば、RとIRの感度比を見ることで血中の酸素飽和度等のバイタル情報を取得することもできる。取得したバイタル情報をデータベースとして保存し、日々の正確な顔の色と併せてヘルスケア等に用いることもできる。別の例としては、バイタル情報を取得するごとにニューラルネットワークモデルを更新するといった処理をし、このニューラルネットワークモデルを用いてヘルスケア等に応用することもできる。この応用は、カプセル内視鏡等の医療機器に応用することもできる。
　以上に挙げたそれぞれの実施形態により、固体撮像装置10は、補色を用いることによる高感度化と、補色と原色とを合わせたマルチカラー化により高い色再現性を得ることが可能となる。また、いくつかの実施形態においては、原色と補色とを重心ずれがなく合成をすることも可能である。
　例えば、電子機器1がスマートフォン等であり、SNS等に画像をシェアする場合には、忠実な色再現性だけではなく、色の演出性等が求められることがある。このような場合においても、本開示の実施形態によれば、色調整の自由度を上げたり、豚地認識結果に応じて色作りを変更したりすることが可能となる。
　また、図29のように、ディスプレイ下にカメラを設けるシステム、装置においては、ディスプレイパネル等により光量が遮られたり、特に青色の感度が著しく劣化したりすることがあるが、本開示の実施形態によれば、これらを解決することもできる。
　また、有機光電変換膜を用いて、縦方向(例えば、図16、図17における図面の高さ方向)に原色、補色を得ることができるため、補色を追加することによる解像度劣化が発生すると言った弊害を抑制することができる。
　(第8実施形態)
　上記の実施形態においては、色等の再現性について説明したが、これを応用して、光源推定、物体認識の精度向上や画像のフリッカの補正をすることも出来る。
　図31は、固体撮像装置10の別の一例を示すブロック図である。固体撮像装置10は、図2等の構成に、プレリニアマトリクス部160と、RGB再配列部162と、センサ出力部164と、統計値取得部166と、をさらに備える。
　図32は、取得されるRGBの情報及びCMYの情報をそれぞれスペクトルに示した図である。本実施形態では、例えば、この図32に示すようなRGB+CMYの6色の光を受光する受光素子を用いた構成であるが、この6色に限定されるものではない。
　前述した実施形態と同様に、受光素子において光を受光して強度にも基づいたアナログ信号が出力され、このアナログ信号がA/D変換部120によりデジタル信号へと変換される。クランプ部122は、黒レベルの補正を行う。
　プレリニアマトリクス部160は、クランプ部122から出力された情報に基づいて、第1情報と第2情報とを混合させて、例えば、受光素子が受光したRGB情報とは異なるRGBの画素値の情報を取得する。このように、プレリニアマトリクス部160は、所定の演算処理により、RGB情報を再計算する。
　RGB再配列部162は、プレリニアマトリクス部160が出力する信号を再配列させる。
　図33は、RGB表色系における等色関数を示す図である。プレリニアマトリクス部160及びRGB再配列部162が出力するRGBの情報は、第1情報及び第2情報と比較して、SNR又は色再現性が向上している情報である。また、このRGB情報は、補色の情報を用いて色再現性の理想と言われる等色関数に近づけた分光出力に変換したこの図33に示すようなRGB情報であってもよい。すなわち、プレリニアマトリクス部160は、他の処理に先立ち、5色以上の色情報からSNR等を高めたRGBの色情報を生成する。そして、この情報に基づいて、固体撮像装置10は、その後の処理を実行する。
　例えば、撮像素子114の後段にある信号処理プロセッサでは、RGBの3色の情報を扱うように実装されていることが一般的である。このような場合に、本実施形態のようにRGB信号としてデジタル信号を出力することで、多くの後段の信号処理プロセッサに対応することが可能である。そして、このRGB信号は、上述したように、SNR特性等が向上した信号であるので、より色再現性のよいデータを利用しつつ、一般的な信号処理回路を用いることが可能となる。
　センサ出力部164は、RGB再配列部162が再配列した画像信号を出力する。
　統計値取得部166は、5色以上の色情報の統計値を取得する。取得した情報は、例えば、光源推定、物体認識の精度を高めるために使用される。例えば、光源推定部130は、5色以上の統計値に基づいて、光源のスペクトルをより高精度に再現し、再現したスペクトルに基づいた環境等の情報を取得することが可能である。物体認識部132は、この統計値に基づいて、物体、生体等の認識精度を向上させることも可能である。
　具体的には、統計値取得部166は、画角内を領域分割して、領域ごとに色ごとの平均値をそれぞれ出力する。例えば、特定の領域内における画素値の平均値を出力する。このように得られた情報は、6色の情報を用いた詳細な色情報であるため、光源推定や色補正に用いることができる。色補正は、例えば、後段のプロセッサ内で最適な画作りを実行する際の色を調整する処理全般のことを示す。
　なお、6色の統計値を取得するものとしているが、RGB情報は、通常の撮像データとしてRGB再配列部162等からも出力できるため、CMYのみの統計値を出力するものであってもよい。
　また、領域分割は、領域内に複数の画素が含まれるとしたが、これには限られず、領域は、1画素としてもよい。例えば、RGB情報は、プレリニアマトリクス処理により、SNR等の処理が施されたRGB情報に変換される一方で、この段階においてCMYが欠落してしまうため、CMY情報を統計値取得部166が出力することにより、後段の光源推定部130等に情報を伝達してもよい。
　センサ出力部164、統計値取得部166の出力は、撮像素子114の出力情報として、例えば、光源推定部130へと出力される。この後の処理は、前述の実施形態と同様であってもよい。また、別の例として、光源推定の後にホワイトバランスの調整や、リニアマトリクスの制御をしてもよい。さらに、光源推定、ホワイトバランス調整及びリニアマトリクス処理をも撮像素子114内で実行する形態としてもよい。
　以上のように、本実施形態によれば、前述の実施形態と比較してより多くの情報を後段のプロセッサに出力することが可能となる。多くの情報を用いることにより、SNRの向上、色再現の改善処理を加えやすくなる。このように、SNRを高めたり、光源推定の精度をより高めたり、物体、生体の認識の精度をより高めることが可能となる。
　この構成の固体撮像装置10において、図8、図9の第1情報取得及び第2情報の取得の処理を実行し、5色以上の情報をRGBの情報へと高SNRで変換する。制御部104は、第1情報取得及び第2情報取得におけるシャッタスピードを変えることもできる。シャッタスピードを変えることにより、プレリニアマトリクス部160において取得したRGB画像におけるちらつき(フリッカ)を補正することができる。
　例えば、図8、図9において、周期的に点灯する光源等が存在する場合に、この周期が図8の状態と図9の状態とを切り替える周期と同じ、又は、近い状態となると、画像全体としてフリッカが発生する。また、一般的なCMOS(Complementary MOS)素子等を用いる場合においても、ローリングシャッタ歪み等と同様の原因によりフリッカが発生することがある。このような場合でも、同じ画素20において異なるタイミング、異なるシャッタスピードで情報を取得することにより、これらのタイミングをずらすことが可能となる。この結果、例えば、LED等の光源によるフリッカ等の画像におけるちらつきを抑制することが可能となる。
　(第9実施形態)
　図29に示すような電子機器1は、ディスプレイの下にカメラが配置されるUDC(Under Display Camera)であり、に固体撮像装置10が備えられる場合について、より詳しく説明する。このような場合、前述の実施形態における複眼カメラを用いた形態を利用して、撮像の精度を向上させることもできる。
　図34は、本実施形態に係る電子機器1と、固体撮像装置10の撮像素子114の配置を示す図である。固体撮像装置10は、撮像素子114A、114Bを備える。これらの撮像素子の間は、例えば、VR(Virtual Reality)/AR(Augmented Reality)等に用いる画像を取得する場合において、その中心点の距離が人間の目と同等の視差を維持することができる50～80mmであることが望ましいが、これには限られず、さらに近くに配置されたり、また、さらに遠くに配置されたりしても良い。例えば、それぞれの撮像素子に属する画素のうち、最近の画素同士の距離が10mm以下の距離離れた状態としても良い。
　図35は、撮像素子114A、114Bのそれぞれにおける画素20の色の配置例である。このように、本実施形態における固体撮像装置10は、低感度の第1情報を取得する撮像素子114Aと、高感度の第2情報を取得する撮像素子114Bと、を備える。以下、撮像素子114Aに含まれる画素20を第1画素グループ、撮像素子114Bに含まれる画素20を第2画素グループとも記載する。
　第1画素グループに属する画素20は、例えば、RGBのベイヤ配列であり、第2画素グループに属する画素20は、例えば、RGWの配列である。
　静止画の場合は、全ての画素20から第1情報と、第2情報とを取得してデモザイク及び色の合成処理を実行することにより、高精度な色再現を実現することができる。一方で、動画の場合は、撮像素子114Aから取得する情報を矢印で示すようにRGBのベイヤ配列に縮約する。高感度側の第2情報に、縮約された低感度の第1情報の色情報を付加することにより、高フレームレートを維持したまま、色再現性を向上させることができる。
　この場合、第1情報として取得する情報を少なくすることができるので、静止画と同様の解像度での情報の取得をするよりも、消費電力を抑制することが可能となる。一例として、第2画素グループにおけるRGWの画素20のうち少なくとも1つの感度は、第1画素グループのGの画素20の感度よりも高く設定されていても良い。このように設定することで、第2情報の感度を第1情報の感度よりも高くすることできる。
　また、Gの感度ではなく、Rの感度、又は、Bの感度よりも高く設定されていても良い。例えば、後述するように、第1画素グループにおけるBの感度よりも高い感度を有するCy又はWの画素20が第2画素グループに備えられることにより、図34のようなディスプレイ下に撮像素子114が備えられる場合においても、青の感度を向上させることが可能となる。
　このように、動画撮影時と、静止画撮影時において、異なる合成方法を用いることもできる。この結果、動画撮影時における消費電力の問題、又は、リアルタイム性の問題等を解決することができる。
　なお、図34においては、双方の撮像素子14(センサ)の大きさが同じであるが、高感度側、すなわち、第2画素グループが属する撮像素子114B側のセンサをより大きくしても良い。例えば、このようにセンサの大きさを変えることにより、両方のセンサを用いる場合が難しい場合には、高感度側のセンサのみを用いるように固体撮像装置10の制御を切り替えても良い。
　信号処理部106又は画像処理部108においては、第1画素グループから取得された第1情報を、第2画素グループから取得された第2情報に加算(重み付け加算)することにより、色再現性を向上させる。第1画素グループが第2画素グループと比較して解像度が低い場合には、第1画素グループから取得されたアナログ信号に基づいてデモザイク処理をして第1情報を生成し、この第1情報と第2情報を加算処理しても良い。これは、静止画、動画について共通である。
　一方で、動画において第1画素グループの情報量を削減する場合にも同様である。この場合も、第1画素グループから取得された情報をデモザイクすることにより、第2情報を補間し、高解像度かつ色再現性を向上させた画像の再構成を実現することができる。さらに、加算することによりノイズの影響を小さくすることができるので、SNRの向上にも寄与する。
　上記では、高感度側をRGWの配列としたが、前述の実施形態と同様に、補色系とすることもできる。例えば、図12から図15に示す撮像素子114Bと同様の形態とすることもできる。
　図36は、撮像素子114Bにおける画素の配列の別の例を示す図である。第2画素グループは、図示するように、補色系＋Wの形態であっても良い。固体撮像装置10は、上記と同様に、第1画素グループから取得される信号を適切に変換した第1情報を、第2画素グループから取得される第2情報に加算して出力することにより、色再現性、高解像度、又は、高SNRの少なくとも1つの効果を得ることができる。
　このWの画素20から取得した情報に基づいて、IR成分を取得してもよい。上記と同様に、IR成分を取得することにより、光源推定、物体認識の精度向上に寄与することもできる。
　また、前述した実施形態と同様に、動画撮影時と、静止画撮影時において、第1情報と第2情報との合成するタイミングを変えることもできる。同様に、動画撮影時における処理をするブロックと、静止画撮影時における処理をするブロックとを異なる構成とすることができる。前述したように、動画撮影時には、データを取得しておいて、より高性能なサーバ装置等において再構成をしても良い。すなわち、動画撮影と静止画撮影において、その後処理を異なるシステムブロックで実行する形態としても良い。
　本実施形態においても、図31に示すように、色情報の統計値等を取得しても良い。この統計量を用いて、第2情報の色情報を補正しても良い。別の例として、第1画素グループから取得した信号から色に関する統計量を取得し、この統計量に基づいて、第2画素グループから取得した第2情報を補正しても良い。
　前述の実施形態と同様に、画素20により色分けされるのではなく、分割画素として色分けされていても良い。分割画素は、第1画素グループ及び第2画素グループのうち一方だけに適用されていても良いし、双方に適用されていても良い。すなわち、分割がそのうち少なくとも1つがWの光を受光する構成であってもよい。
　また、配列の中において、いずれか1つの画素又は分割画素がIR光を専用的に取得できる形態としてもよい。IR光の用途は、上述と同様である。これIR光を取得する撮像素子114においては、前述の実施形態と同様にIRCFが備えられない構成とすることが望ましい。さらに、IR光を取得する画素20又は分割画素以外の要素については、IRCFを別途備える形態としても良い。
　また、第1画素グループと、第2画素グループの光学系を異なるものとしても良い。例えば、第2画素グループの光学サイズを第1画素グループの光学サイズよりも大きくすることにより、高感度側においてより詳細な信号を取得し、低感度側においてより高速かつ消費電力の小さい駆動をすることが可能となる。
　(本開示による電子機器1又は固体撮像装置10の適用例)
　(第１適用例)
　本開示による電子機器1又は固体撮像装置10は、種々の用途に用いることができる。図37Ａ及び図37Ｂは本開示による固体撮像装置10を備えた電子機器1の第１適用例である乗物360の内部の構成を示す図である。図37Ａは乗物360の後方から前方にかけての乗物360の内部の様子を示す図、図37Ｂは乗物360の斜め後方から斜め前方にかけての乗物360の内部の様子を示す図である。
　図37Ａ及び図37Ｂの乗物360は、センターディスプレイ361と、コンソールディスプレイ362と、ヘッドアップディスプレイ363と、デジタルリアミラー364と、ステアリングホイールディスプレイ365と、リアエンタテイメントディスプレイ366とを有する。
　センターディスプレイ361は、ダッシュボード367上の運転席368及び助手席369に対向する場所に配置されている。図37では、運転席368側から助手席369側まで延びる横長形状のセンターディスプレイ361の例を示すが、センターディスプレイ361の画面サイズや配置場所は任意である。センターディスプレイ361には、種々のセンサで検知された情報を表示可能である。具体的な一例として、センターディスプレイ361には、イメージセンサで撮影した撮影画像、ToFセンサで計測された乗物前方や側方の障害物までの距離画像、赤外線センサで検出された乗客の体温などを表示可能である。センターディスプレイ361は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。
　安全関連情報は、居眠り検知、よそ見検知、同乗している子供のいたずら検知、シートベルト装着有無、乗員の置き去り検知などの情報であり、例えばセンターディスプレイ361の裏面側に重ねて配置されたセンサにて検知される情報である。操作関連情報は、センサを用いて乗員の操作に関するジェスチャを検知する。検知されるジェスチャは、乗物360内の種々の設備の操作を含んでいてもよい。例えば、空調設備、ナビゲーション装置、ＡＶ装置、照明装置等の操作を検知する。ライフログは、乗員全員のライフログを含む。例えば、ライフログは、乗車中の各乗員の行動記録を含む。ライフログを取得及び保存することで、事故時に乗員がどのような状態であったかを確認できる。健康関連情報は、温度センサを用いて乗員の体温を検知し、検知した体温に基づいて乗員の健康状態を推測する。あるいは、イメージセンサを用いて乗員の顔を撮像し、撮像した顔の表情から乗員の健康状態を推測してもよい。さらに、乗員に対して自動音声で会話を行って、乗員の回答内容に基づいて乗員の健康状態を推測してもよい。認証／識別関連情報は、センサを用いて顔認証を行うキーレスエントリ機能や、顔識別でシート高さや位置の自動調整機能などを含む。エンタテイメント関連情報は、センサを用いて乗員によるＡＶ装置の操作情報を検出する機能や、センサで乗員の顔を認識して、乗員に適したコンテンツをＡＶ装置にて提供する機能などを含む。
　コンソールディスプレイ362は、例えばライフログ情報の表示に用いることができる。コンソールディスプレイ362は、運転席368と助手席369の間のセンターコンソール370のシフトレバー371の近くに配置されている。コンソールディスプレイ362にも、種々のセンサで検知された情報を表示可能である。また、コンソールディスプレイ362には、イメージセンサで撮像された車両周辺の画像を表示してもよいし、車両周辺の障害物までの距離画像を表示してもよい。
　ヘッドアップディスプレイ363は、運転席368の前方のフロントガラス372の奥に仮想的に表示される。ヘッドアップディスプレイ363は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。ヘッドアップディスプレイ363は、運転席368の正面に仮想的に配置されることが多いため、乗物360の速度や燃料（バッテリ）残量などの乗物360の操作に直接関連する情報を表示するのに適している。
　デジタルリアミラー364は、乗物360の後方を表示できるだけでなく、後部座席の乗員の様子も表示できるため、デジタルリアミラー364の裏面側に重ねてセンサを配置することで、例えばライフログ情報の表示に用いることができる。
　ステアリングホイールディスプレイ365は、乗物360のハンドル373の中心付近に配置されている。ステアリングホイールディスプレイ365は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、ステアリングホイールディスプレイ365は、運転者の手の近くにあるため、運転者の体温等のライフログ情報を表示したり、ＡＶ装置や空調設備等の操作に関する情報などを表示するのに適している。
　リアエンタテイメントディスプレイ366は、運転席368や助手席369の背面側に取り付けられており、後部座席の乗員が視聴するためのものである。リアエンタテイメントディスプレイ366は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、リアエンタテイメントディスプレイ366は、後部座席の乗員の目の前にあるため、後部座席の乗員に関連する情報が表示される。例えば、ＡＶ装置や空調設備の操作に関する情報を表示したり、後部座席の乗員の体温等を温度センサで計測した結果を表示してもよい。
　上述したように、電子機器１の裏面側に重ねてセンサを配置することで、周囲に存在する物体までの距離を計測することができる。光学的な距離計測の手法には、大きく分けて、受動型と能動型がある。受動型は、センサから物体に光を投光せずに、物体からの光を受光して距離計測を行うものである。受動型には、レンズ焦点法、ステレオ法、及び単眼視法などがある。能動型は、物体に光を投光して、物体からの反射光をセンサで受光して距離計測を行うものである。能動型には、光レーダ方式、アクティブステレオ方式、照度差ステレオ法、モアレトポグラフィ法、干渉法などがある。本開示による電子機器１は、これらのどの方式の距離計測にも適用可能である。本開示による電子機器１の裏面側に重ねて配置されるセンサを用いることで、上述した受動型又は能動型の距離計測を行うことができる。
　(第２適用例)
　本開示による固体撮像装置10を備える電子機器1は、乗物で用いられる種々のディスプレイに適用されるだけでなく、種々の電子機器に搭載されるディスプレイにも適用可能である。
　図38Ａは電子機器1の第２適用例であるデジタルカメラ310の正面図、図38Ｂはデジタルカメラ310の背面図である。図38Ａ及び図38Ｂのデジタルカメラ310は、レンズ１２１を交換可能な一眼レフカメラの例を示しているが、レンズ１２１を交換できないカメラにも適用可能である。
　図38Ａ及び図38Ｂのカメラは、撮影者がカメラボディ311のグリップ313を把持した状態で電子ビューファインダ315を覗いて構図を決めて、焦点調節を行った状態でシャッタを押すと、カメラ内のメモリに撮影データが保存される。カメラの背面側には、図38Ｂに示すように、撮影データ等やライブ画像等を表示するモニタ画面316と、電子ビューファインダ315とが設けられている。また、カメラの上面には、シャッタ速度や露出値などの設定情報を表示するサブ画面が設けられる場合もある。
　カメラに用いられるモニタ画面316、電子ビューファインダ315、サブ画面等の裏面側に重ねてセンサを配置することで、本開示による電子機器１として用いることができる。
　(第３適用例)
　本開示による電子機器１は、ヘッドマウントディスプレイ(以下、HMDと呼ぶ)にも適用可能である。HMDは、VR、AR、MR(Mixed Reality)、又はSR(Substitutional Reality)等に利用されることができる。
　図39Ａは電子機器1の第３適用例であるHMD320の外観図である。図39ＡのHMD320は、人間の目を覆うように装着するための装着部材322を有する。この装着部材322は例えば人間の耳に引っ掛けて固定される。HMD320の内側には表示装置321が設けられており、HMD320の装着者はこの表示装置321にて立体映像等を視認できる。HMD320は例えば無線通信機能と加速度センサなどを備えており、装着者の姿勢やジェスチャなどに応じて、表示装置321に表示される立体映像等を切り換えることができる。
　また、HMD320にカメラを設けて、装着者の周囲の画像を撮影し、カメラの撮影画像とコンピュータで生成した画像とを合成した画像を表示装置321で表示してもよい。例えば、HMD320の装着者が視認する表示装置321の裏面側に重ねてカメラを配置して、このカメラで装着者の目の周辺を撮影し、その撮影画像をHMD320の外表面に設けた別のディスプレイに表示することで、装着者の周囲にいる人間は、装着者の顔の表情や目の動きをリアルタイムに把握可能となる。
　なお、HMD320には種々のタイプが考えられる。例えば、図39Ｂのように、本開示による電子機器1は、メガネ344に種々の情報を映し出すスマートグラス340にも適用可能である。図39Ｂのスマートグラス340は、本体部341と、アーム部342と、鏡筒部343とを有する。本体部341はアーム部342に接続されている。本体部341は、メガネ344に着脱可能とされている。本体部341は、スマートグラス340の動作を制御するための制御基板や表示部を内蔵している。本体部341と鏡筒は、アーム部342を介して互いに連結されている。鏡筒部343は、本体部341からアーム部342を介して出射される画像光を、メガネ344のレンズ345側に出射する。この画像光は、レンズ345を通して人間の目に入る。図39Ｂのスマートグラス340の装着者は、通常のメガネと同様に、周囲の状況だけでなく、鏡筒部343から出射された種々の情報を合わせて視認できる。
　(第４適用例)
　本開示による電子機器１は、テレビジョン装置(以下、TV)にも適用可能である。最近のTVは、小型化の観点及び意匠デザイン性の観点から、額縁をできるだけ小さくする傾向にある。このため、視聴者を撮影するカメラをTVに設ける場合には、TVの表示パネル331の裏面側に重ねて配置するのが望ましい。
　図40は電子機器1の第4適用例であるTV 330の外観図である。図40のTV 330は、額縁が極小化されており、正面側のほぼ全域が表示エリアとなっている。TV 330には視聴者を撮影するためのカメラ等のセンサが内蔵されている。図40のセンサは、表示パネル331内の一部（例えば破線箇所）の裏側に配置されている。センサは、イメージセンサモジュールでもよいし、顔認証用のセンサや距離計測用のセンサ、温度センサなど、種々のセンサが適用可能であり、複数種類のセンサをTV 330の表示パネル331の裏面側に配置してもよい。
　上述したように、本開示の電子機器1によれば、表示パネル331の裏面側に重ねてイメージセンサモジュールを配置できるため、額縁にカメラ等を配置する必要がなくなり、TV 330を小型化でき、かつ額縁により意匠デザインが損なわれるおそれもなくなる。
　(第５適用例)
　本開示による電子機器1は、スマートフォンや携帯電話にも適用可能である。図41は電子機器1の第5適用例であるスマートフォン350の外観図である。図41の例では、電子機器1の外形サイズの近くまで表示面2zが広がっており、表示面2zの周囲にあるベゼル2yの幅を数mm以下にしている。通常、ベゼル2yには、フロントカメラが搭載されることが多いが、図41では、破線で示すように、表示面2zの例えば略中央部の裏面側にフロントカメラとして機能するイメージセンサモジュール9を配置している。このように、フロントカメラを表示面2zの裏面側に設けることで、ベゼル2yにフロントカメラを配置する必要がなくなり、ベゼル2yの幅を狭めることができる。
　前述した実施形態は、以下のような形態としてもよい。
(1)
　3原色の情報である第1情報及び前記3原色とは異なる少なくとも2色の情報であって前記3原色の補色うち少なくとも1色を含む第2情報を取得する、複数の画素、
　を備える、撮像素子。
(2)
　前記3原色は、R(赤)、G(緑)、B(青)であり、
　前記補色は、Cy(シアン)、Ye(イエロー)、Mg(マゼンタ)である、
　(1)に記載の撮像素子。
(3)
　前記第2情報は、Cy及びYeの情報を含む、
　(2)に記載の撮像素子。
(4)
　前記第2情報は、Cy、Ye及びMgの情報を含む、
　(2)に記載の撮像素子。
(5)
　前記第2情報は、白又はエメラルドのうち少なくとも一方の情報を含む、
　(1)から(4)のいずれかに記載の撮像素子。
(6)
　前記画素は、前記第1情報及び前記第2情報のうち少なくとも2色の情報を出力する、
　(1)から(5)のいずれかに記載の撮像素子。
(7)
　前記画素は、複数の分割画素を備え、
　前記分割画素ごとに、前記第1情報及び前記第2情報のうち1色の情報を取得する、
　(6)に記載の撮像素子。
(8)
　前記第1情報と、前記第2情報と、に含まれる色の情報のうち、類似する色の情報を一括して取得する、
　(7)に記載の撮像素子。
(9)
　前記類似する色の情報は、RとMg、BとCy、GとYe、RとYe又はRと赤外光のうち少なくとも1つの情報を含む、
　(8)に記載の撮像素子。
(10)
　前記第1情報と、前記第2情報と、が同じタイミングにおいて異なる受光素子により取得された情報である、
　(1)に記載の撮像素子。
(11)
　前記第2情報に、前記3原色の情報のうち少なくとも1つを含む、
　(10)に記載の撮像素子。
(12)
　前記第1情報と、前記第2情報とは、異なる解像度で取得される、
　(10)又は(11)に記載の撮像素子。
(13)
　前記画素のうち少なくとも1画素は、有機光電変換膜を用いて情報を取得する、
　(1)から(12)のいずれかに記載の撮像素子。
(14)
　前記第1情報が有機光電変換膜において取得され、前記第2情報が前記有機光電変換膜を介してフォトダイオードにおいて取得され、
　又は、
　前記第2情報が有機光電変換膜において取得され、前記第1情報が前記有機光電変換膜を介してフォトダイオードにおいて取得される、
　(13)に記載の撮像素子。
(15)
　(1)から(14)のいずれかに記載の撮像素子を備え、
　静止画モードと、動画モードとを有し、
　前記静止画モードと、前記動画モードとにおいて、異なるタイミング又は異なるブロックにおいて前記第1情報と、前記第2情報とを合成する、
　電子機器。
(16)
　前記画素のうち少なくとも1つは、赤外領域の光の情報を取得する、
　(1)から(15)のいずれかに記載の撮像素子。
(17)
　赤外領域の光の情報を取得する前記画素に含まれる撮像素子の少なくとも一部において赤外線除去が可能なフィルタを備える、
　(16)に記載の撮像素子。
(18)
　前記画素から出力されるフレーム画像を合成し、
　合成のタイミングにおいて、フレームごとに加算する前記画素の数を制御する、
　(1)から(17)のいずれかに記載の撮像素子。
(19)
　(1)から(18)のいずれかに記載の撮像素子を備え、
　前記撮像素子から取得されたスペクトル情報に基づいて、物体識別若しくは生体識別又は光源推定を実行する、電子機器。
(20)
　前記物体識別又は前記生体識別により識別された対象に基づいて、画像処理又は前記画像処理のパラメータを制御する、
　(19)に記載の電子機器。
(21)
　画像を表示する、ディスプレイと、
　前記ディスプレイと重なる位置に、(１)から(18)のいずれかに記載の撮像素子と、
　を備える、電子機器。
(22)
　(1)から(18)のいずれかに記載の撮像素子を少なくとも1つに備える複眼カメラを備え、
　前記撮像素子のうち少なくとも1つは、赤外線除去フィルタを備えない、
　電子機器。
(23)
　前記第1情報を取得する第1画素グループと、
　前記第2情報を取得する第2画素グループと、
　を備え、
　前記第2画素グループは、前記第1画素グループにおけるGの情報を取得する前記画素よりも高感度の画素である、
　(1)から(18)のいずれかに記載の撮像素子。
(24)
　前記第2画素グループは、白色の情報を取得する画素を少なくとも含む、
　(23)に記載の撮像素子。
(25)
　前記第1画素グループが取得する情報を用いて、前記第2画素グループが取得する情報を補間する、
　(23)又は(24)に記載の撮像素子。
(26)
　静止画を取得する静止画モードと、動画を取得する動画モードと、を備え、前記静止画モードと前記動画モードとで、前記第1画素グループと前記第2画素グループとを異なる方法により合成する、
　(23)から(25)のいずれかに記載の撮像素子。
(27)
　前記静止画モードと、前記動画モードと、において、異なるタイミングで合成する、
　(26)に記載の撮像素子。
(28)
　前記静止画モードと、前記動画モードと、において、異なるシステムブロックで合成する、
　(26)又は(27)に記載の撮像素子。
(29)
　前記動画モードにおいて、前記第1画素グループに属する画素を前記第2画素グループに属する画素の解像度よりも低い解像度とする、
　(23)から(28)のいずれかに記載の撮像素子。
(30)
　前記第1画素グループから取得された、色情報統計値又は光源推定結果に基づいて前記第2画素グループから取得される色情報を補正する、
　(23)から(29)のいずれかに記載の撮像素子。
(31)
　前記第1画素グループに属する画素と、前記第2画素グループに属する画素のうち、最近の画素が10mm以下の距離離れて配置される、
　(23)から(30)のいずれかに記載の撮像素子。
(32)
　前記最近の画素が、50mmから80mmの距離離れて配置される、
　(31)に記載の撮像素子。
(33)
　前記第1画素グループ又は前記第2画素グループは、いずれかが、属する画素が分割された分割画素を備えて構成される、
　(23)から(32)のいずれかに記載の撮像素子。
(34)
　前記分割画素中に、白色画素が備えられる、
　(33)に記載の撮像素子。
(35)
　前記第1画素グループ及び前記第2画素グループにおいて取得される光について、当該光の経路となる光学パラメータが、それぞれのグループにおいて異なるパラメータを有する、
　(23)から(34)のいずれかに記載の撮像素子。
(36)
　前記第2画素グループにおいて、前記第1画素グループのBの情報を取得する画素よりも感度が高い画素を備える、
　(23)から(35)のいずれかに記載の撮像素子。
(37)
　前記Bの情報を取得する画素よりも感度が高い画素は、白色又はシアンの色情報を取得する画素である、
　(36)に記載の撮像素子。
(38)
　5色以上で取得された画素情報について、取得された前記画像情報から演算処理により、3原色情報を再計算して再配列した情報を出力する、
　(1)から(37)のいずれかに記載の撮像素子。
(39)
　取得された前記画像情報から、少なくとも補色情報を含む情報の画素値、又は、統計値を算出する、
　(38)に記載の撮像素子。
(40)
　取得された前記画像情報から、3原色の情報及び前記補色情報についての前記統計値を算出する、
　(39)に記載の撮像素子。
(41)
　取得された前記画像情報から、3原色の情報を含まずに、前記補色情報から前記統計値を算出する、
　(39)に記載の撮像素子。
(42)
　3原色を受光する画素と、補色を受光する画素と、において、露光量をそれぞれに制御する、
　(1)から(41)のいずれかに記載の撮像素子。
(43)
　前記露光量は、シャッタ時間を制御することにより制御する、
　(41)に記載の撮像素子。
(44)
　前記露光量は、ゲインを制御することにより制御する、
　(42)又は(43)に記載の撮像素子。
(45)
　(1)から(44)のいずれかに記載の撮像素子を備える、
　固体撮像装置。
(46)
　3原色の情報である第1情報及び前記3原色とは異なる少なくとも2色の情報であって前記3原色の補色のうち少なくとも1色を含む第2情報を取得する複数の画素を有する、撮像素子、
　を備える、電子機器。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1: 電子機器、
 10: 固体撮像装置、
　100: 受光部、
　102: 記憶部、
　104: 制御部、
　106: 信号処理部、
　108: 画像処理部、
　110: レンズ、
　112: IRCF、
　114: 撮像素子、
　120: A/D変換部、
　122: クランプ部、
　124: リニアマトリクス部、
　126: ガンマ補正部、
　130: 光源推定部、
　132: 物体認識部、
　134: 画像メモリ部、
　136: 二眼合成部、
　140: 輝度クロマ信号生成部、
　150: 入出力I/F、
　160: プレリニアマトリクス部、
　162: RGB再配列部、
　164: センサ出力部、
　166: 統計値取得部、
 20: 画素、
　200: 受光素子、
　202: フィルタ、
　204: 画素アレイ、
　206: 有機光電変換膜、
　208: フォトダイオード、
　210: オンチップレンズ、
30: 基板、
32: 第1基板、
34: 第2基板、
 300: 画素領域、
 302: 制御回路、
 304: ロジック回路、

Claims (20)

  1. 　3原色の情報である第1情報及び前記3原色とは異なる少なくとも2色の情報であって前記3原色の補色うち少なくとも1色を含む第2情報を取得する、複数の画素、
    　を備える、撮像素子。
  2. 　前記3原色は、R(赤)、G(緑)、B(青)であり、
    　前記補色は、Cy(シアン)、Ye(イエロー)、Mg(マゼンタ)である、
    　請求項1に記載の撮像素子。
  3. 　前記第2情報は、Cy及びYeの情報を含む、
    　請求項2に記載の撮像素子。
  4. 　前記第2情報は、Cy、Ye及びMgの情報を含む、
    　請求項2に記載の撮像素子。
  5. 　前記第2情報は、白若しくはエメラルド又は赤外光のうち少なくとも1つの情報を含む、
    　請求項1に記載の撮像素子。
  6. 　前記画素は、複数の分割画素を備え、前記第1情報及び前記第2情報のうち少なくとも2色の情報を出力し、
    　前記分割画素ごとに、前記第1情報及び前記第2情報のうち1色の情報を取得する、
    　請求項1に記載の撮像素子。
  7. 　前記第1情報と、前記第2情報と、に含まれる色の情報のうち、共通の波長成分を所定値以上有する類似色の情報を一括して取得する、
    　請求項6に記載の撮像素子。
  8. 　前記類似色の情報は、RとMg、BとCy、GとYe、RとYe又はRと赤外光のうち少なくとも1つの情報を含む、
    　請求項7に記載の撮像素子。
  9. 　前記第1情報と、前記第2情報とは、異なる解像度で取得される、
    　請求項7に記載の撮像素子。
  10. 　前記画素のうち少なくとも1画素は、有機光電変換膜を用いて情報を取得する、
    　請求項1に記載の撮像素子。
  11. 　前記第1情報が有機光電変換膜において取得され、前記第2情報が前記有機光電変換膜を介してフォトダイオードにおいて取得され、
    　又は、
    　前記第2情報が有機光電変換膜において取得され、前記第1情報が前記有機光電変換膜を介してフォトダイオードにおいて取得される、
    　請求項10に記載の撮像素子。
  12. 　請求項1に記載の撮像素子を備え、
    　静止画モードと、動画モードとを有し、
    　前記静止画モードと、前記動画モードとにおいて、異なるタイミング又は異なるブロックにおいて前記第1情報と、前記第2情報とを合成する、
    　電子機器。
  13. 　赤外領域の光の情報を取得する前記画素に含まれる撮像素子の少なくとも一部において赤外線除去が可能なフィルタを備える、
    　請求項5に記載の撮像素子。
  14. 　請求項1に記載の撮像素子を備え、
    　前記撮像素子から取得されたスペクトル情報に基づいて、物体識別若しくは生体識別又は光源推定を実行する、電子機器。
  15. 　前記物体識別又は前記生体識別により識別された対象に基づいて、画像処理又は前記画像処理に係るパラメータを制御する、
    　請求項14に記載の電子機器。
  16. 　5色以上で取得された画像情報について、取得された前記画像情報から演算処理により、3原色情報を再計算して再配列した情報を出力する、
    　請求項1に記載の撮像素子。
  17. 　3原色に再配列された画像データに加え、少なくとも補色を含む情報を、画素値、又は、統計値のいずれかの方法で出力する、
    　請求項16に記載の撮像素子。
  18. 　3原色を受光する画素と、補色を受光する画素と、において、露光量をそれぞれに制御する、
    　請求項1に記載の撮像素子。
  19. 　画像を表示する、ディスプレイと、
    　前記ディスプレイと重なる位置に、請求項1に記載の撮像素子と、
    　を備える、電子機器。
  20. 　3原色の情報である第1情報及び前記3原色とは異なる少なくとも2色の情報であって前記3原色の補色のうち少なくとも1色を含む第2情報を取得する複数の画素を有する、撮像素子、
    　を備える、電子機器。
PCT/JP2021/007777 2020-03-16 2021-03-01 撮像素子及び電子機器 WO2021187076A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/908,196 US20230140768A1 (en) 2020-03-16 2021-03-01 Imaging element and electronic apparatus
JP2022508183A JPWO2021187076A1 (ja) 2020-03-16 2021-03-01
EP21770928.6A EP4124031A4 (en) 2020-03-16 2021-03-01 IMAGING ELEMENT AND ELECTRONIC INSTRUMENT
KR1020227030948A KR20220154108A (ko) 2020-03-16 2021-03-01 촬상 소자 및 전자 기기

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062990303P 2020-03-16 2020-03-16
US62/990,303 2020-03-16
US202063054919P 2020-07-22 2020-07-22
US63/054,919 2020-07-22

Publications (1)

Publication Number Publication Date
WO2021187076A1 true WO2021187076A1 (ja) 2021-09-23

Family

ID=77691392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007777 WO2021187076A1 (ja) 2020-03-16 2021-03-01 撮像素子及び電子機器

Country Status (7)

Country Link
US (1) US20230140768A1 (ja)
EP (1) EP4124031A4 (ja)
JP (1) JPWO2021187076A1 (ja)
KR (1) KR20220154108A (ja)
CN (2) CN113411506A (ja)
TW (1) TW202205847A (ja)
WO (1) WO2021187076A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN213960150U (zh) * 2019-12-04 2021-08-13 索尼半导体解决方案公司 电子设备
CN114693580B (zh) * 2022-05-31 2022-10-18 荣耀终端有限公司 图像处理方法及其相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328421A (ja) * 2004-05-17 2005-11-24 Sony Corp 撮像装置および撮像方法
JP2007088873A (ja) * 2005-09-22 2007-04-05 Sony Corp 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP2009060675A (ja) * 2008-12-17 2009-03-19 Sony Corp 撮像素子
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
JP2013045917A (ja) 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
JP2016163306A (ja) * 2015-03-05 2016-09-05 独立行政法人国立高等専門学校機構 カラー撮像素子
JP2017059739A (ja) * 2015-09-18 2017-03-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2017154444A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 光電変換素子及び撮像装置
WO2017159130A1 (ja) * 2016-03-16 2017-09-21 ソニー株式会社 光電変換素子及びその製造方法並びに撮像装置
JP2018067915A (ja) * 2016-10-21 2018-04-26 モトローラ モビリティ エルエルシーＭｏｔｏｒｏｌａ Ｍｏｂｉｌｉｔｙ Ｌｌｃ ディスプレイベースの画像補正を用いる電子装置ならびに対応するシステムおよび方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7900897A (nl) * 1978-02-15 1979-08-17 Hitachi Ltd Vaste-stof beeldopneeminrichting.
US7057654B2 (en) * 2002-02-26 2006-06-06 Eastman Kodak Company Four color image sensing apparatus
JP4145852B2 (ja) * 2004-08-20 2008-09-03 セイコーエプソン株式会社 電気光学装置、カラーフィルタ、及び電子機器
JP4621484B2 (ja) * 2004-11-19 2011-01-26 富士フイルム株式会社 固体撮像素子
JP4265546B2 (ja) * 2005-01-31 2009-05-20 ソニー株式会社 撮像装置、画像処理装置および画像処理方法
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
CN101345248B (zh) * 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
JP2013125861A (ja) * 2011-12-14 2013-06-24 Sony Corp 固体撮像素子および電子機器
JP6245942B2 (ja) * 2013-10-31 2017-12-13 オリンパス株式会社 撮像素子
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN108769502B (zh) * 2014-06-24 2020-10-30 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
JP6530751B2 (ja) * 2014-06-30 2019-06-12 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム
US10349015B2 (en) * 2015-06-08 2019-07-09 Trustees Of Dartmouth College Image sensor color filter array pattern
US10038863B2 (en) * 2016-08-17 2018-07-31 Renesas Electronics Corporation Image sensing device
KR102412278B1 (ko) * 2017-11-06 2022-06-24 삼성전자 주식회사 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328421A (ja) * 2004-05-17 2005-11-24 Sony Corp 撮像装置および撮像方法
JP2007088873A (ja) * 2005-09-22 2007-04-05 Sony Corp 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP2009060675A (ja) * 2008-12-17 2009-03-19 Sony Corp 撮像素子
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
JP2013045917A (ja) 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
JP2016163306A (ja) * 2015-03-05 2016-09-05 独立行政法人国立高等専門学校機構 カラー撮像素子
JP2017059739A (ja) * 2015-09-18 2017-03-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2017154444A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 光電変換素子及び撮像装置
WO2017159130A1 (ja) * 2016-03-16 2017-09-21 ソニー株式会社 光電変換素子及びその製造方法並びに撮像装置
JP2018067915A (ja) * 2016-10-21 2018-04-26 モトローラ モビリティ エルエルシーＭｏｔｏｒｏｌａ Ｍｏｂｉｌｉｔｙ Ｌｌｃ ディスプレイベースの画像補正を用いる電子装置ならびに対応するシステムおよび方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4124031A4

Also Published As

Publication number Publication date
CN216122640U (zh) 2022-03-22
EP4124031A4 (en) 2023-11-22
KR20220154108A (ko) 2022-11-21
EP4124031A1 (en) 2023-01-25
CN113411506A (zh) 2021-09-17
JPWO2021187076A1 (ja) 2021-09-23
US20230140768A1 (en) 2023-05-04
TW202205847A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN102204258B (zh) 图像输入装置
JP6758747B2 (ja) 固体撮像装置および電子機器
JP5923754B2 (ja) ３次元撮像装置
JPWO2015059897A1 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
JP5186517B2 (ja) 撮像装置
WO2021187076A1 (ja) 撮像素子及び電子機器
JP5927570B2 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
WO2021225030A1 (ja) 電子機器及び撮像装置
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
WO2021157324A1 (ja) 電子機器
JP2012010141A (ja) 画像処理装置
JP7566869B2 (ja) 撮像装置、撮像方法、電子機器
WO2022239394A1 (ja) 撮像素子、撮像装置及び電子機器
WO2022244354A1 (ja) 撮像素子及び電子機器
JP5406163B2 (ja) ３次元撮像装置および画像処理装置
JP4533261B2 (ja) 撮像装置
US20240194712A1 (en) Solid-state imaging apparatus and electronic device
JP5920144B2 (ja) 撮像装置および撮像方法
WO2020059050A1 (ja) 撮像素子、撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21770928

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508183

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021770928

Country of ref document: EP

Effective date: 20221017