JP4500574B2 - Wide dynamic range color solid-state imaging device and digital camera equipped with the solid-state imaging device - Google Patents
Wide dynamic range color solid-state imaging device and digital camera equipped with the solid-state imaging device Download PDFInfo
- Publication number
- JP4500574B2 JP4500574B2 JP2004097815A JP2004097815A JP4500574B2 JP 4500574 B2 JP4500574 B2 JP 4500574B2 JP 2004097815 A JP2004097815 A JP 2004097815A JP 2004097815 A JP2004097815 A JP 2004097815A JP 4500574 B2 JP4500574 B2 JP 4500574B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- sensitivity
- color
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 67
- 230000035945 sensitivity Effects 0.000 claims description 84
- 238000006243 chemical reaction Methods 0.000 claims description 70
- 239000004065 semiconductor Substances 0.000 claims description 42
- 239000000758 substrate Substances 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 19
- 239000010408 film Substances 0.000 description 120
- 238000012546 transfer Methods 0.000 description 51
- 239000003086 colorant Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000010410 layer Substances 0.000 description 13
- 238000012937 correction Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 239000004020 conductor Substances 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002105 nanoparticle Substances 0.000 description 2
- 229910006404 SnO 2 Inorganic materials 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 229910052738 indium Inorganic materials 0.000 description 1
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 1
- 229910003437 indium oxide Inorganic materials 0.000 description 1
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- XOLBLPGZBRYERU-UHFFFAOYSA-N tin dioxide Chemical compound O=[Sn]=O XOLBLPGZBRYERU-UHFFFAOYSA-N 0.000 description 1
- 229910001887 tin oxide Inorganic materials 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Color Television Image Signal Generators (AREA)
- Light Receiving Elements (AREA)
Description
本発明は、広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラに関する。 The present invention relates to a wide dynamic range color solid-state imaging device and a digital camera equipped with the solid-state imaging device.
デジタルカメラに搭載されているCCD型固体撮像装置やCMOS型固体撮像装置では、半導体基板の表面に、受光部となる多数の光電変換素子(フォトダイオード)と、各光電変換素子で得られた光電変換信号を外部に読み出す信号読出回路が形成されている。信号読出回路は、CCD型であれば電荷転送回路と転送電極、CMOS型であればMOS回路と信号配線で構成される。 In a CCD type solid-state imaging device or a CMOS type solid-state imaging device mounted on a digital camera, a large number of photoelectric conversion elements (photodiodes) serving as a light receiving portion on the surface of a semiconductor substrate and photoelectrics obtained by the respective photoelectric conversion elements. A signal readout circuit for reading the conversion signal to the outside is formed. The signal readout circuit includes a charge transfer circuit and a transfer electrode in the case of the CCD type, and a MOS circuit and a signal wiring in the case of the CMOS type.
従って、従来の固体撮像装置は、多数の受光部と信号読出回路とを同じ半導体基板の表面に形成しなければならず、受光部の面積を広くとることができないという問題がある。 Therefore, the conventional solid-state imaging device has a problem that a large number of light receiving portions and signal readout circuits must be formed on the same semiconductor substrate surface, and the area of the light receiving portions cannot be increased.
また、従来の単板式の固体撮像装置は、各受光部に、例えば赤色(R),緑色(G),青色(B)のカラーフィルタのうちの1つが積層され、各受光部が夫々1色の光信号を検出する構成になっている。このため、例えば赤色の光を検出する受光部位置における青色光の信号及び緑色光の信号は、周りの青色光,緑色光を検出する各受光部の検出信号を補間演算して求めており、これが偽色の原因となり、また、解像度を低下させている。しかも、赤色のカラーフィルタが形成された受光部に入射した青色光と緑色光は光電変換に寄与することなくカラーフィルタに熱として吸収されてしまい、このため、光利用効率が悪く、感度が低いという問題もある。 Further, in the conventional single-plate type solid-state imaging device, for example, one of red (R), green (G), and blue (B) color filters is stacked on each light receiving unit, and each light receiving unit has one color. The optical signal is detected. For this reason, for example, the blue light signal and the green light signal at the position of the light receiving unit that detects red light are obtained by interpolating the detection signals of the respective light receiving units that detect the surrounding blue light and green light, This causes false colors and reduces the resolution. In addition, the blue light and green light incident on the light receiving portion on which the red color filter is formed are absorbed as heat by the color filter without contributing to photoelectric conversion, and thus the light use efficiency is poor and the sensitivity is low. There is also a problem.
従来の固体撮像装置は、上述したように様々な問題を抱えている一方、多画素化が進展して、現在では、数百万画素という多数の受光部を1チップの半導体基板上に集積しており、1つ1つの受光部の開口寸法が波長オーダに近づいている。このため、上述した各問題を解決し画質や感度の点で今以上のイメージセンサをCCD型やCMOS型で期待するのが困難になっている。 While the conventional solid-state imaging device has various problems as described above, the increase in the number of pixels has progressed, and at present, a large number of light receiving units of several million pixels are integrated on a single-chip semiconductor substrate. The aperture size of each light receiving unit is approaching the wavelength order. For this reason, it is difficult to expect the above-described image sensors and more image sensors in the CCD type and the CMOS type in terms of image quality and sensitivity.
そこで、例えば下記特許文献1に記載されている固体撮像装置の構造が見直されている。この固体撮像装置は、信号読出回路を表面に形成した半導体基板上に、赤色検出用の感光層と、緑色検出用の感光層と、青色検出用の感光層を成膜技術によって積層し、これらの感光層を受光部とし、各感光層で得られた光電変換信号を、信号読出回路によって外部に取り出すという構造、即ち、光電変換膜積層型の構造になっている。
Therefore, for example, the structure of the solid-state imaging device described in
斯かる構造にすれば、半導体基板表面に受光部を設ける必要が無くなるため、信号読出回路の設計上の制約が大幅になくなり、また、入射光の光利用効率が向上して感度が向上する。更に、1画素で赤色,緑色,青色の3原色の光を検出できるため、解像度が向上し、偽色もなくなり、上述した従来のCCD型やCMOS型の固体撮像装置が抱えていた問題を解決することが可能となる。 With such a structure, it is not necessary to provide a light receiving portion on the surface of the semiconductor substrate, so that there are no restrictions on the design of the signal readout circuit, and the light utilization efficiency of incident light is improved and the sensitivity is improved. Furthermore, the light of the three primary colors of red, green, and blue can be detected with one pixel, so the resolution is improved and the false color is eliminated, which solves the problems of the conventional CCD type and CMOS type solid-state imaging devices described above. It becomes possible to do.
そこで、近年では、下記特許文献2,3,4,5に記載されている光電変換膜積層型固体撮像装置が提案されるようになってきており、上記の感光層として、有機半導体を使用したり、ナノ粒子を使用したりしている。
Therefore, in recent years, photoelectric conversion film stacked solid-state imaging devices described in
また、従来のCMOS型固体撮像装置でも、下記特許文献6に記載されている様に、半導体基板への光浸入距離が光の波長によって異なることを利用し、半導体基板の深さ方向に形成した3つのフォトダイオードにより、カラーフィルタを使用せずに1画素で赤色,緑色,青色の3原色を検出するものが開発されている。 Further, even in a conventional CMOS type solid-state imaging device, as described in Patent Document 6 below, it is formed in the depth direction of the semiconductor substrate by utilizing the fact that the light penetration distance to the semiconductor substrate varies depending on the wavelength of light. Three photodiodes have been developed that detect the three primary colors of red, green, and blue with one pixel without using a color filter.
光電変換膜積層型カラー固体撮像装置や、半導体基板の深さ方向に3つのフォトダイオードを形成した従来型の固体撮像装置は、カラーフィルタを使用せずに1画素で3原色を検出できるため、偽色等の問題は解決できる。しかし、多画素化を図ると、1画素当たりで検出できる信号電荷量が減り、ダイナミックレンジが低くなってしまうという問題が生じる。 Since the photoelectric conversion film stacked color solid-state imaging device and the conventional solid-state imaging device in which three photodiodes are formed in the depth direction of the semiconductor substrate can detect three primary colors with one pixel without using a color filter, Problems such as false colors can be solved. However, when the number of pixels is increased, there is a problem that the amount of signal charge that can be detected per pixel is reduced and the dynamic range is lowered.
本発明の目的は、1画素で複数色の光電変換信号を検出する構成の固体撮像装置でダイナミックレンジを広げることが可能なカラー固体撮像装置とこの固体撮像装置を搭載したデジタルカメラを提供することにある。 An object of the present invention is to provide a color solid-state imaging device capable of expanding the dynamic range with a solid-state imaging device configured to detect photoelectric conversion signals of a plurality of colors with one pixel, and a digital camera equipped with the solid-state imaging device. It is in.
本発明のカラー固体撮像装置は、半導体基板に複数の画素が格子状に配列され、各々の前記画素が前記半導体基板の上に積層された赤色検出用の光電変換膜と緑色検出用の光電変換膜と青色検出用の光電変換膜とを備えるカラー固体撮像装置において、前記格子状の配列のうち市松状の一方の位置に相対的に大面積の前記画素を配置し前記市松状の他方の位置に相対的に小面積の前記画素を配置すると共に、隣接する前記大面積の画素及び前記小面積の画素の各々の前記赤色検出用の光電変換膜で検出した信号を読み出す信号読出回路を前記半導体基板に共用して設け、前記隣接する前記大面積の画素及び前記小面積の画素の各々の前記緑色検出用の光電変換膜で検出した信号を読み出す信号読出回路を前記半導体基板に共用して設け、前記隣接する前記大面積の画素及び前記小面積の画素の各々の前記青色検出用の光電変換膜で検出した信号を読み出す信号読出回路を前記半導体基板に共用して設けたことを特徴とする。 In the color solid-state imaging device of the present invention, a plurality of pixels are arranged in a lattice pattern on a semiconductor substrate, and each of the pixels is stacked on the semiconductor substrate, and a photoelectric conversion film for red detection and a photoelectric conversion for green detection In a color solid-state imaging device including a film and a photoelectric conversion film for blue detection, the pixel having a relatively large area is disposed at one checkered position in the grid-like arrangement, and the other checkered position A signal readout circuit that arranges the pixels having a relatively small area and reads signals detected by the photoelectric conversion film for red detection of each of the adjacent large-area pixels and the small-area pixels. Provided in common with the substrate, and provided in the semiconductor substrate with a signal readout circuit for reading out signals detected by the photoelectric conversion film for green detection of each of the adjacent large-area pixels and the small-area pixels. The above Said signal reading circuit for reading out the detected signals by the photoelectric conversion layer for the blue detection of each of the pixels of the pixel and the small area of the large area in contact is characterized by providing shared on the semiconductor substrate.
この構成により、ダイナミックレンジの広いカラー画像を撮像可能となる。 With this configuration, a color image with a wide dynamic range can be captured.
本発明のカラー固体撮像装置は、半導体基板に複数の画素が格子状に配列され、各々の前記画素が前記半導体基板の深さ方向に赤色検出用フォトダイオードと緑色検出用フォトダイオードと青色検出用フォトダイオードとを備えるカラー固体撮像装置において、前記格子状の配列のうち市松状の一方の位置に相対的に大面積の前記画素を配置し前記市松状の他方の位置に相対的に小面積の前記画素を配置すると共に、隣接する前記大面積の画素及び前記小面積の画素の各々の前記赤色検出用フォトダイオードから信号を読み出す信号読出回路を前記半導体基板に共用して設け、前記隣接する前記大面積の画素及び前記小面積の画素の各々の前記緑色検出用フォトダイオードから信号を読み出す信号読出回路を前記半導体基板に共用して設け、前記隣接する前記大面積の画素及び前記小面積の画素の各々の前記青色検出用フォトダイオードから信号を読み出す信号読出回路を前記半導体基板に共用して設けたことを特徴とする。 In the color solid-state imaging device according to the present invention, a plurality of pixels are arranged in a lattice pattern on a semiconductor substrate, and each of the pixels is arranged in the depth direction of the semiconductor substrate with a red detection photodiode, a green detection photodiode, and a blue detection. In a color solid-state imaging device including a photodiode, the pixel having a relatively large area is disposed at one checkered position in the grid-like arrangement, and a relatively small area is disposed at the other checkered position. The pixel is arranged, and a signal readout circuit for reading a signal from the red detection photodiode of each of the adjacent large-area pixel and the small-area pixel is provided in common on the semiconductor substrate, and the adjacent A signal readout circuit for reading a signal from the green detection photodiode of each of the large area pixel and the small area pixel is provided in common on the semiconductor substrate, Serial, characterized in that the pixels and the signal reading circuit for reading out a signal from each of the blue detection photodiodes of the pixels of the small area of the large area adjacent provided in common to the semiconductor substrate.
この構成により、ダイナミックレンジの広いカラー画像を撮像可能となる。 With this configuration, a color image with a wide dynamic range can be captured .
本発明のデジタルカメラは、上記のいずれかに記載のカラー固体撮像装置を搭載したことを特徴とする。 A digital camera according to the present invention includes any one of the color solid-state imaging devices described above.
この構成により、広ダイナミックレンジで且つ光利用効率が高く、偽色がなく、しかも高解像度のカラー画像を撮像することが可能となる。 With this configuration, it is possible to capture a color image with a wide dynamic range, high light utilization efficiency, no false color, and high resolution.
本発明のデジタルカメラは、前記カラー固体撮像装置の前記感度の高い画素から出力される高感度色信号を補間処理して該画素の虚画素位置における高感度色信号を生成し前記感度の低い画素から出力される低感度色信号を補間処理して該画素の虚画素位置における低感度色信号を生成し前記高感度色信号と前記低感度色信号を合成してカラー画像信号を生成する画像信号処理手段を備えることを特徴とする。 The digital camera of the present invention interpolates a high-sensitivity color signal output from the high-sensitivity pixel of the color solid-state imaging device, generates a high-sensitivity color signal at the imaginary pixel position of the pixel, and generates the low-sensitivity pixel An image signal for generating a color image signal by interpolating the low-sensitivity color signal output from the pixel to generate a low-sensitivity color signal at the imaginary pixel position of the pixel and combining the high-sensitivity color signal and the low-sensitivity color signal A processing means is provided.
この構成により、更に高解像度のカラー画像を出力することが可能となる。 With this configuration, a higher-resolution color image can be output.
本発明のデジタルカメラは、メカニカルシャッタと、該メカニカルシャッタが開いている最中の所定タイミングで前記感度の低い画素によって光電変換され蓄積された信号電荷を廃棄してしまい前記所定タイミング後から前記メカニカルシャッタが閉じるまでに前記感度の低い画素によって光電変換され蓄積された信号電荷に応じた信号を前記感度の低い画素の信号として読み出す感度調整手段を備えることを特徴とする。また、前記感度調整手段は、前記感度の低い画素の代わりに前記感度の高い画素を用いて感度調整を行うことを特徴とする。 The digital camera of the present invention discards the signal charge photoelectrically converted and accumulated by the low-sensitivity pixels at a predetermined timing while the mechanical shutter is open, and the mechanical shutter after the predetermined timing. Sensitivity adjusting means for reading out a signal corresponding to the signal charge photoelectrically converted and accumulated by the low-sensitivity pixel until the shutter is closed as a signal of the low-sensitivity pixel is provided. In addition, the sensitivity adjustment unit may perform sensitivity adjustment using the high-sensitivity pixel instead of the low-sensitivity pixel.
この構成により、高感度画素と低感度画素との感度比を、撮影シーンに合った任意の感度比に調整可能となる。 With this configuration, the sensitivity ratio between the high sensitivity pixel and the low sensitivity pixel can be adjusted to an arbitrary sensitivity ratio suitable for the shooting scene.
本発明によれば、広ダイナミックレンジで且つ高画質,高解像度のカラー画像を得ることが可能となる。 According to the present invention, it is possible to obtain a color image with a wide dynamic range, high image quality and high resolution.
以下、本発明の一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は、本発明の第1の実施形態に係る光電変換膜積層型カラー固体撮像装置を搭載したデジタルカメラのブロック構成図である。このデジタルカメラは、撮影レンズや絞り、シャッタ等の結像光学系1と、詳細は後述する光電変換膜積層型カラー固体撮像装置100と、光電変換膜積層型カラー固体撮像装置100から出力されるアナログの画像信号をデジタル信号に変換するアナログ/デジタル変換器2と、デジタルの画像信号を画像処理して記録メディアに格納したり表示装置に表示させたりする画像信号処理部3と、光電変換膜積層型固体撮像装置100の駆動制御を行う駆動部4と、シャッタボタン等の操作部からの信号を取り込んで画像信号処理部3や駆動部4及び結像光学系1を制御する制御部5とを備える。
(First embodiment)
FIG. 1 is a block diagram of a digital camera equipped with a photoelectric conversion film laminated color solid-state imaging device according to the first embodiment of the present invention. This digital camera is output from an imaging
尚、光電変換膜積層型カラー固体撮像装置100の出力段にアナログ/デジタル変換装置が一体に設けられる場合には、上記のアナログ/デジタル変換器2は不要となる。
Note that when the analog / digital conversion device is integrally provided at the output stage of the photoelectric conversion film stacked color solid-
図2は、光電変換膜積層型カラー固体撮像装置100の表面模式図である。この光電変換膜積層型カラー固体撮像装置100は、大面積の高感度画素101と、小面積の低感度画素102とが水平方向,垂直方向共に交互に形成されており、各画素101,102が全体的に正方格子状に配列されている。高感度画素101だけの配置をみると市松状配置となっており、低感度画素102だけの配置も市松状となっている。
FIG. 2 is a schematic view of the surface of the photoelectric conversion film stacked color solid-
尚、図2の例では、高感度画素101を大面積とし、低感度画素102を小面積としたが、高感度画素101,低感度画素102共に同一面積とし、高感度画素101の上にのみマイクロレンズを搭載して低感度画素102より広い面積の入射光を高感度画素101に集光する構成としてもよい。
In the example of FIG. 2, the high-
図3は、図1に示す画像信号処理部3の構成図である。光電変換膜積層型カラー固体撮像装置100の高感度画素101からは高感度色信号が出力され、低感度画素102からは低感度色信号が出力され、画像信号処理部3は、これら高感度色信号と低感度色信号とを別々に処理してから合成する様になっている。
FIG. 3 is a block diagram of the image
そのため画像信号処理部3は、高感度色信号を処理する色信号補正部6Hと、ホワイトバランス処理部7Hと、ガンマ変換部8Hと、虚画素色信号補間部9Hと、低感度色信号を処理する色信号補正部6Lと、ホワイトバランス処理部7Lと、ガンマ補正部8Lと、虚画素色信号補間部9Lと、虚画素信号補間部9H,9Lから出力される高感度色信号及び低感度色信号を合成するカラー画像合成部10とを備える。
Therefore, the image
虚画素色信号補間とは、例えば水平方向,垂直方向に隣接する4つの高感度画素101の中央には、高感度画素101は存在せずに、低感度画素102が存在する。即ち、高感度画素101からみると、低感度画素102の存在位置は高感度画素101が実在しない画素(虚画素)位置となり、逆に、高感度画素101の存在位置は低感度画素102が存在しない画素(虚画素)位置となる。
In the imaginary pixel color signal interpolation, for example, at the center of four high-
これらの虚画素位置における高感度色信号,低感度色信号は、周りの実在する画素から得られる高感度色信号,低感度色信号を補間演算して求めることになる。以下、便宜的に、高感度画素101の実画素位置をH格子点、低感度画素102の実画素位置をL格子点と呼ぶことにする。
The high-sensitivity color signal and the low-sensitivity color signal at these imaginary pixel positions are obtained by interpolating the high-sensitivity color signal and the low-sensitivity color signal obtained from the surrounding actual pixels. Hereinafter, for convenience, the actual pixel position of the high-
光電変換膜積層型カラー固体撮像装置100から出力され、A/D変換された赤色(R),緑色(G),青色(B)の色信号は、色再現性が良くないため、上記の色信号補正部6H,6Lでは、夫々、下記の数1,数2に示すマトリックス演算により色信号補正を行う。
The red (R), green (G), and blue (B) color signals that are output from the photoelectric conversion film stacked color solid-
即ち、H格子点の実際の高感度色信号に対して、 That is, for the actual high-sensitivity color signal at the H grid point,
但し、SRH(x,y)、SGH(x,y)、SBH(x,y)は、H格子点(x,y)のRGBに対する実際の高感度色信号、S’RH(x,y)、S’GH(x,y)、S’BH(x,y)は、補正後のRGBの高感度色信号であり、Gll〜G33は定数である。 However, S RH (x, y), S GH (x, y), and S BH (x, y) are actual high-sensitivity color signals for RGB at the H grid point (x, y), S ′ RH (x , y), S 'GH ( x, y), S' BH (x, y) is highly sensitive color signals RGB after correction, G ll ~G 33 is a constant.
同様に、L格子点の実際の低感度色信号に対して、 Similarly, for the actual low-sensitivity color signal at the L grid point,
但し、SRL(x,y)、SGL(x,y)、SBL(x,y)は、L格子点(x,y)のRGBに対する実際の低感度色信号、S’RL(x,y)、S’GL(x,y)、S’BL(x,y)は、補正後のRGBの色信号であり、G11〜G33は定数である。 However, S RL (x, y), S GL (x, y), and S BL (x, y) are actual low-sensitivity color signals for RGB at the L lattice point (x, y), S ′ RL (x , Y), S ′ GL (x, y), S ′ BL (x, y) are RGB color signals after correction, and G 11 to G 33 are constants.
次のホワイトバランス処理部7H,7Lは、入力されたRGBの色信号が均一な白を撮像した場合に、R:G:B=1:1:1の比率になるように利得調整を行い、出力する。
The next white
次のガンマ変換部8H,8Lは、入力されたRGBの色信号に対してガンマ特性に合わせた非線型処理を行い、出力する。この場合、高感度色信号と低感度色信号で異なる非線形処理を行っても、同じ非線形処理でもよい。異なる処理の利点は、合成後のガンマ特性を調整できることである。同じ処理の利点は、処理に要する負荷(処理時間増大やゲート数増大)が軽減できることである。
The
次の虚画素色信号補間部9H,9Lは、高感度色信号と低感度色の局部的なパターンの特徴を判断して、夫々、高感度色信号と低感度色信号に対する虚画素位置の色信号を生成する。例えば、次の数3により、虚画素位置の色信号を生成する。
Next, the imaginary pixel color
但し、画素位置(x,y)がL格子点の場合、G(x,y)は高感度色信号、また画素位置(x,y)がH格子点の場合、G(x,y)は低感度色信号、Kは正の定数であり、Zは、次の数4である。 However, when the pixel position (x, y) is an L lattice point, G (x, y) is a high-sensitivity color signal, and when the pixel position (x, y) is an H lattice point, G (x, y) is The low-sensitivity color signal, K is a positive constant, and Z is the following equation (4).
次のカラー画像合成部10は、同じ画素位置(虚画素位置を含む)の高感度色信号と低感度色信号から、次の数5により合成色信号を生成する。
The next color
但し、Rcomp(x,y)、Gcomp(x,y)、Bcomp(x,y)は、画素位置(x,y)における赤(R),緑(G),青(B)の合成色信号、RH(x,y)、GH(x,y)、BH(x,y)は、画素位置(x,y)における赤(R),緑(G),青(B)の高感度色信号、RL(x,y)、GL(x,y)、BL(x,y)は、画素位置(x,y)における赤(R),緑(G),青(B)の低感度色信号、αは合成パラメータで、0〜1の範囲の定数である。αの値としては、0.5〜0.8が望ましい。 However, Rcomp (x, y), Gcomp (x, y), and Bcomp (x, y) are the combined color signals of red (R), green (G), and blue (B) at the pixel position (x, y). , R H (x, y), G H (x, y), B H (x, y) are the heights of red (R), green (G), and blue (B) at the pixel position (x, y). The sensitivity color signals R L (x, y), G L (x, y), and B L (x, y) are red (R), green (G), and blue (B) at the pixel position (x, y). ), A low-sensitivity color signal, α is a synthesis parameter, which is a constant in the range of 0 to 1. The value of α is preferably 0.5 to 0.8.
尚、図3の例では、虚画素の色信号生成をガンマ変換後に行ったが、ガンマ変換前でも、ホワイトバランス前に行っても良い。また、パラメータαを使用してカラー画像合成を行ったが、カラー画像合成はこれに限るものでなく、他の合成方法を用いても良い。 In the example of FIG. 3, the color signal generation of the imaginary pixel is performed after the gamma conversion, but may be performed before the gamma conversion or before the white balance. Further, although the color image synthesis is performed using the parameter α, the color image synthesis is not limited to this, and other synthesis methods may be used.
更に、固体撮像装置が赤色(R),緑色(G),青色(B)の3原色の信号を出力することを前提として説明したが、例えば、この3原色の他に、青色(B)と緑色(G)の中間波長の色信号も出力する固体撮像装置を用いる場合には、図3の色信号補正部では3×4のマトリックス演算を行い、4色の色信号をRGBの3色の色信号に変換する処理(例えば、4色目の信号量を赤色の信号量から減算した信号を赤色信号とし、人間の視感度を実現する処理:例えば、特許第2872759号公報参照)を行う点が異なるだけで、他は同じ処理で良い。 Further, the description has been made on the assumption that the solid-state imaging device outputs signals of three primary colors of red (R), green (G), and blue (B). For example, in addition to these three primary colors, blue (B) In the case of using a solid-state imaging device that also outputs a green (G) intermediate wavelength color signal, the color signal correction unit in FIG. 3 performs a 3 × 4 matrix operation and converts the four color signals into three RGB colors. A process of converting to a color signal (for example, a process of subtracting the signal amount of the fourth color from the red signal amount to make a red signal and realizing human visibility: see, for example, Japanese Patent No. 28 72 759) The only difference is the same process.
図4は、高感度画素101及び低感度画素102とその下に形成されている垂直転送路との関係を示す図である。高感度画素101,低感度画素102と垂直転送路側とは後述の縦配線によって接続されており、図4には、画素下に配置され実際には上から見えない縦配線の位置も示している。
FIG. 4 is a diagram showing the relationship between the
高感度画素101には、青色信号用の縦配線31bと緑色信号用の縦配線31gと赤色信号用の縦配線31rの3本の縦配線が設けられており、夫々の縦配線31b,31g,31rは、図示する位置に真っ直ぐに立設される。高感度画素101の真下の半導体基板には、3本の垂直転送路40b,40g,40rが当幅に形成されている。尚、r,g,bの添え字は、以下も同様であるが、検出する入射光の色である赤色(R),緑色(G),青色(B)に対応する。
The high-
後述の青色光電変換膜によって発生した青色信号電荷は、縦配線31bを通して直下の信号電荷蓄積部に蓄積され、この信号電荷が垂直転送路40bに読み出され、転送される。
Blue signal charges generated by a blue photoelectric conversion film, which will be described later, are accumulated in the signal charge accumulation section directly below through the
同様に、後述の緑色光電変換膜によって発生した緑色信号電荷は、縦配線31gを通して直下の信号電荷蓄積部に蓄積され、この信号電荷が垂直転送路40gに読み出され、転送される。
Similarly, a green signal charge generated by a green photoelectric conversion film, which will be described later, is accumulated in the signal charge accumulation section directly below through the
同様に、後述の赤色光電変換膜によって発生した青色信号電荷は、縦配線31rを通して直下の信号電荷蓄積部に蓄積され、この信号電荷が垂直転送路40rに読み出され、転送される。
Similarly, a blue signal charge generated by a red photoelectric conversion film, which will be described later, is accumulated in the signal charge accumulation section directly below through the
低感度画素102にも、3本の縦配線32b,32g,32rが設けられている。しかし、低感度画素102は高感度画素101より小面積であるため、縦配線32b,32g,32rの間隔は狭い。このため、真ん中の緑色に対応する縦配線32gを真っ直ぐ下に下ろして真ん中の垂直転送路40gに設けられる信号電荷蓄積部に整合させると、縦配線32bは垂直転送路40bに設ける信号電荷蓄積部34bから外れ、縦配線32rも垂直転送路40rの信号電荷蓄積部34rから外れてしまう。
The low-
そこで、縦配線32b,32rに関しては、途中で後述の横配線を設け、青色信号電荷と赤色信号電荷とが夫々信号電荷蓄積部34b,34rに蓄積される様にしている。これにより、高感度画素101による各色信号電荷と、低感度画素102による各色信号電荷とを色別に設けた同一の垂直転送路によって転送することが可能となる。
Therefore, with respect to the
即ち、高感度画素101による青色信号電荷と低感度画素102による青色信号電荷とは同じ垂直転送路40bによって転送され、高感度画素101による緑色信号電荷と低感度画素102による緑色信号電荷とは同じ垂直転送路40gによって転送され、高感度画素101による赤色信号電荷と低感度画素102による赤色信号電荷とは同じ垂直転送路40rによって転送される。
That is, the blue signal charge by the
図5は、図4のV―V線断面模式図であり、高感度画素101と低感度画素102の縦配線部分の断面模式図である。n型半導体基板50の表面部にはPウェル層51が形成され、その表面部は、チャネルストップ(P+領域)52により各垂直転送路毎に区分けされている。各チャネルストップ52間には、垂直転送路を構成するn型半導体層53と、対応する各色の信号電荷蓄積部(n型半導体領域)33r等とが若干離間して形成される。
FIG. 5 is a schematic cross-sectional view taken along the line VV in FIG. 4, and is a schematic cross-sectional view of the vertical wiring portion of the high-
各信号電荷蓄積部33r,33g,33b,34r,34g,34bは同一大きさに形成され、夫々、縦配線31b,31g,31r,32b,32g,32rが接続される。 そして、半導体表面にはゲート絶縁膜55が積層され、その上に、ポリシリコンでなる転送電極膜56が形成される。
The signal
図6は、垂直転送路の表面模式図である。6本の垂直転送路40b,40g,40r,40b,40g,40rが図示されており、各垂直転送路の同一垂直位置(第1相転送電極領域)Φv1に、高感度画素101から縦配線31bを通して取り込んだ青色信号電荷を蓄積する信号電荷蓄積部33bと、高感度画素101から縦配線31gを通して取り込んだ緑色信号電荷を蓄積する信号電荷蓄積部33gと、高感度画素101から縦配線31rを通して取り込んだ赤色信号電荷を蓄積する信号電荷蓄積部33rとが設けられる。
FIG. 6 is a schematic view of the surface of the vertical transfer path. Six
同じく同一垂直位置に、低感度画素102から縦配線32bを通して取り込んだ青色信号電荷を蓄積する信号電荷蓄積部34bと、低感度画素102から縦配線32gを通して取り込んだ緑色信号電荷を蓄積する信号電荷蓄積部34gと、低感度画素102から縦配線32rを通して取り込んだ赤色信号電荷を蓄積する信号電荷蓄積部34rとが設けられる。
Similarly, in the same vertical position, a signal
第1相転送電極領域Φv1(=図5の転送電極膜56:これは読出ゲート電極を兼用する。)から垂直方向に第2相転送電極領域Φv2,第3相転送電極領域Φv3,第4相転送電極領域Φv4と続き、次の第1相転送電極領域Φv1では、高感度画素101と低感度画素102の配置位置が逆になるため、図6の左側から、低感度画素102の信号電荷蓄積領域34b,34g,34r、高感度画素101の信号電荷蓄積領域33b,33g,33rの順に配列される。
The second phase transfer electrode region Φv2, the third phase transfer electrode region Φv3, the fourth phase in the vertical direction from the first phase transfer electrode region Φv1 (=
図5に戻り、垂直転送路を構成する転送電極膜56が形成された半導体基板の表面は、光遮蔽膜57を挟み込んだ絶縁膜58で覆われる。絶縁膜58の上には、導体膜59が形成される。この導体膜59は、パターニングされて、下層の縦配線31b,31g,31r,32b,32g,32rと、上層の縦配線31b,31g,31r,32b,32g,32rとを接続する接続部となる。
Returning to FIG. 5, the surface of the semiconductor substrate to the
即ち、図4で説明した、低感度画素(小画素)102の両脇の縦配線32b,32rを、垂直転送路40b,40rの信号電荷蓄積領域34b,34rと接続するための横配線59aがパターニングされる。
That is, the
パターニングされた導体膜59の上には、絶縁膜60が積層され、その上に、画素毎に区分けされた電極膜(以下、画素電極膜という。)61r,62rが積層される。画素電極膜61rは、高感度画素101を区画する電極膜であり、その形状は、図4に示す例では8角形となっている。また、画素電極膜62rは、低感度画素102を区画する電極膜であり、その形状は、図4に示す例では正方形となっている。画素電極膜61rに縦配線31rが接続され、画素電極膜62rに縦配線32rが接続される。
An insulating
これらの画素電極膜61r,62rの上に、赤色(R)を検出する光電変換膜63rが積層される。この光電変換膜63rは画素毎に区分けして設ける必要はなく、受光面全面に対し1枚構成で積層される。
A
光電変換膜63rの上には、赤色信号を検出する各画素101,102に共通の共通電極膜64rがこれも一枚構成で積層され、その上部に、透明の絶縁膜65が積層される。 尚、共通電極膜64rをパターニングして画素毎に区画しても良いが、これらの共通電極膜64rには同一バイアス電圧が印加されるので、パターニングするとき各電極膜64r間を接続する配線部分を残す。
On the
絶縁膜65の上部には、画素毎に区分けされた画素電極膜61g,62gが積層される。画素電極膜61gは、高感度画素101を区画する電極膜であり、その形状は、画素電極膜61rと同形の8角形となっている。また、画素電極膜62gは、低感度画素102を区画する電極膜であり、その形状は、画素電極膜62rと同形の正方形となっている。画素電極膜61gに縦配線31gが接続され、画素電極膜62gに縦配線32gが接続される。
On the insulating
画素電極膜61g,62gの上に、緑色(G)を検出する光電変換膜63gが上記と同様に1枚構成で積層され、更にその上部に、共通電極膜64gが積層され、その上部に、透明の絶縁膜66が積層される。
On the
この絶縁膜66の上部には、画素毎に区分けされた画素電極膜61b,62bが積層される。画素電極膜61bは、高感度画素101を区画する電極膜であり、その形状は、画素電極膜61rと同形の8角形となっている。また、画素電極膜62bは、低感度画素102を区画する電極膜であり、その形状は、画素電極膜62rと同形の正方形となっている。画素電極膜61bに縦配線31bが接続され、画素電極膜62bに縦配線32bが接続される。
On the insulating
画素電極膜61b,62bの上に、青色(B)を検出する光電変換膜63bが上記と同様に1枚構成で積層され、更にその上部に、共通電極膜64bが積層され、最上層に透明な保護膜67が積層される。
る。
On the
The
高感度画素101に対応する画素電極膜61r,61g,61bは、入射光方向に整列して設けられ、低感度画素102に対応する画素電極膜62r,62g,62bも、入射光方向に整列して設けられる。
The
即ち、本実施形態に係る光電変換膜積層型カラー固体撮像装置100では、1つの画素で赤色(R),緑色(G),青色(B)の3色を検出する構成であり、以下、単に高感度「画素」または低感度「画素」と述べた場合には、3色を検出する画素101,102を指し、色画素とか赤色画素,緑色画素,青色画素と述べた場合には、夫々の色を検出する部分画素(共通電極膜と1つの画素電極膜とで挟まれた光電変換膜の部分)というものとする。
In other words, the photoelectric conversion film stacked color solid-
均質な透明の電極膜61r,61g,61b,62r,62g,62b,64r,64g,64bとしては、酸化錫(SnO2)、酸化チタン(TiO2)、酸化インジウム(InO2)、酸化インジウム−錫(ITO)薄膜を用いるが、これに限るものではない。
As the homogeneous
光電変換膜63r,63g,63bとしては、単層膜でも多層膜でもよく、膜材料としては、シリコンや化合物半導体等の無機材料,有機半導体,有機色素などを含む有機材料,ナノ粒子で構成した量子ドット堆積膜など種々の材料が使用できる。
The
斯かる構成の光電変換膜積層型カラー固体撮像装置100に入射光が入射すると、入射光のうち青色光は青色光電変換膜63bで光電変換を起こし、緑色光は緑色光電変換膜63gで光電変換を起こし、赤色光は赤色光電変換膜63rで光電変換を起こし、夫々、各色光の入射光量に応じた信号電荷を発生させる。
When incident light enters the photoelectric conversion film stacked color solid-
共通電極膜64r,g,bと各画素電極膜61r,g,b,62r,g,bとの間に電圧を印加すると、各画素で発生した信号電荷が対応する縦配線31r,g,b,32r,g,bを通って信号電荷蓄積部33r,g,b,34r,g,bまで流れ、蓄積される。
When a voltage is applied between the
高感度画素101では入射光量が低感度画素102に入射する入射光より多いため、仮に高感度画素101で発生した信号電荷量が飽和しても、低感度画素102では飽和しない。
Since the amount of incident light in the high-
このため、高感度画素101による赤色信号電荷,緑色信号電荷,青色信号電荷と、低感度画素102による赤色信号電荷,緑色信号電荷,青色信号電荷を、図6の各信号電荷蓄積部33r,g,b,34r,g,b脇に設けられた読出ゲート部69を通して第1相転送電極領域Φv1に読み出し、以後、第2相,第3相,……と図示しない水平転送路まで転送し、水平転送路を転送させて固体撮像装置100から高感度色信号と低感度色信号を出力させ、図3の画像信号処理回路で処理することで、広ダイナミックレンジのカラー画像を得ることができる。
Therefore, the red signal charge, the green signal charge, and the blue signal charge by the
(第2の実施形態)
図7は、本発明の第2の実施形態に係る光電変換膜積層型カラー固体撮像装置の表面模式図であり、第1の実施形態の図4に相当する図である。また、図8は、半導体基板表面に形成した垂直転送路の4画素分(高感度画素2画素×低感度画素2画素分)の表面模式図であり、第1の実施形態の図6に相当する図である。
(Second Embodiment)
FIG. 7 is a schematic view of the surface of the photoelectric conversion film laminated color solid-state imaging device according to the second embodiment of the present invention, and corresponds to FIG. 4 of the first embodiment. FIG. 8 is a schematic view of the surface of four vertical transfer paths formed on the semiconductor substrate surface (two high-sensitivity pixels × two low-sensitivity pixels) and corresponds to FIG. 6 of the first embodiment. It is a figure to do.
第2の実施形態では、高感度画素101に設ける縦配線31b,31g,31rを下ろす位置すなわち信号電荷蓄積領域33b,33g,33rの垂直方向位置と、低感度画素102に設ける縦配線32b,32g,32rを下ろす信号電荷蓄積領域34b,34g,34rを設ける垂直方向位置を2転送電極領域分ずらしたことを特徴とする。
In the second embodiment, the positions where the
第1の実施形態では、高感度画素101と低感度画素102との感度比(高感度画素の感度/低感度画素の感度)は、画素の開口面積やマイクロレンズの大きさ等の構造の違いで決まってしまい、固定値である。しかし、実際の撮像シーンでは、最適な感度比に調整して撮像することが望ましい。そこで、この第2の実施形態では、感度比を可変調整するために、図7,図8の構成としている。
In the first embodiment, the sensitivity ratio between the high-
図9は、本実施形態における光電変換膜積層型カラー固体撮像装置を搭載したデジタルカメラにおける動作タイミングチャートである。このデジタルカメラの構成は、図1,図3と同様であり、制御部5が駆動部4を介して図7,図8に示す光電変換膜積層型カラー固体撮像装置100を次の様に駆動する。尚、図9で斜線で示した部分は、連続する転送パルスを省略した図である。
FIG. 9 is an operation timing chart in the digital camera equipped with the photoelectric conversion film laminated color solid-state imaging device according to this embodiment. The configuration of this digital camera is the same as in FIGS. 1 and 3, and the control unit 5 drives the photoelectric conversion film stacked color solid-
光学系1を構成するメカニカルシャッタMSが開いている期間(tl〜t3)の途中で(時刻t2)で、低感度画素102の読出電極であるΦv1に読出パルスf1を印加し、全ての低感度画素102及びその信号電荷蓄積部34b,g,rに蓄積されている電荷を垂直転送路40b,g,rに読み出してしまう。そして、メカニカルシャッタが閉じた後の期間(t4〜t5)で、高速掃出パルス(パルスが密に詰まっているため黒く塗り潰している。)を垂直転送路に印加して、垂直転送路上の不要電荷を空にする。
During the period (t 1 to t 3 ) during which the mechanical shutter MS constituting the
時刻t6でΦv1とΦv3に読出しパルスf2,f3を印加して、高感度画素101と低感度画素102の各色の信号電荷を垂直転送路に読み出し、各色信号電荷を水平転送路まで転送し、水平転送路から外部に出力させる。
At time t6, read pulses f2 and f3 are applied to Φv1 and Φv3, the signal charges of each color of the high-
低感度画素102には、メカニカルシャッタ開のタイミングt1から光が入射して光電変換信号が生成されるが、時間t2で読出パルスf1が印加されるため、時間t1〜t2に蓄積された信号電荷は垂直転送路に廃棄され、高速掃出パルスによって掃き出されてしまう。
The low-
時間t2以後に入射した光によって発生した光電変換信号が蓄積され、これが、読出パルスf2によって垂直転送路に読み出され、転送される。従って、低感度画素102の感度は、(t3−t2)/(t3−tl)倍に小さくなる。即ち、読出パルスf1のタイミングを調整することで、撮影シーンに適した感度比に調整することができる。同様に、高感度画素101の感度を小さくすることも可能である。
Is accumulated photoelectric conversion signal generated by the light incident on the time t 2 after which is read to the vertical transfer path by the read pulse f2, it is transferred. Accordingly, the sensitivity of the low-
(第3の実施形態)
図10は、本発明の第3の実施形態に係る光電変換膜積層型カラー固体撮像装置の信号読出回路の回路図である。第1,第2の実施形態に係る光電変換膜積層型カラー固体撮像装置では、半導体基板に設ける信号読出回路を、電荷結合素子(垂直転送路,水平転送路)で構成したが、本実施形態の信号読出回路は、MOSトランジスタ回路で構成される。
(Third embodiment)
FIG. 10 is a circuit diagram of a signal readout circuit of a photoelectric conversion film stacked color solid-state imaging device according to the third embodiment of the present invention. In the photoelectric conversion film stacked color solid-state imaging device according to the first and second embodiments, the signal readout circuit provided on the semiconductor substrate is constituted by a charge coupled device (vertical transfer path, horizontal transfer path). The signal readout circuit is composed of a MOS transistor circuit.
この図10は、高感度画素2画素×低感度画素2画素の信号読出回路を示す。各画素に、青色信号読出用,緑色信号読出用,赤色信号読出用を設けているため、計12個の信号読出回路が設けられている。各信号読出回路は同一構成のため、その1つの信号読出回路について述べ、他は同一符号にr,g,bの符号を付して説明を省略する。 FIG. 10 shows a signal readout circuit of 2 high sensitivity pixels × 2 low sensitivity pixels. Since each pixel is provided with a blue signal readout, a green signal readout, and a red signal readout, a total of 12 signal readout circuits are provided. Since each signal readout circuit has the same configuration, only one signal readout circuit is described, and the others are denoted by the same reference numerals r, g, and b, and the description thereof is omitted.
低感度画素102の赤色信号読出回路は、電荷検出セル70と、電荷読出用MOSトランジスタ76r(高感度画素の場合には75r)とで構成される。光電変換膜の画素電極膜から信号電荷を読み出し蓄積する信号電荷蓄積部34rまでの構成は、第1,第2の実施形態と同様であるが、本実施形態では、信号電荷蓄積部34rに、電荷読出用MOSトランジスタ76rのソースを接続し、ゲートは低感度画素読出信号線77(高感度画素読出信号線は78)に接続している。そして、ドレインが、後述する出力用トランジスタ71のゲート部分に接続される。
The red signal readout circuit of the
電荷検出セル70は、出力用トランジスタ71と行選択用トランジスタ72とリセット用トランジスタ73を備える。出力用トランジスタ71のソースは列信号線(信号出力線)81rに接続され、ゲートは、リセット用トランジスタ73のソースに接続され、ドレインは行選択用トランジスタ72のソースに接続される。そして、行選択用トランジスタ72及びリセット用トランジスタ73の各ドレインが直流電源線82に接続され、行選択用トランジスタ72のゲートが行選択信号線83に接続され、リセット用トランジスタ73のゲートがリセット信号線84に接続される。
The
これらの直流電源線82,行選択信号線83,リセット信号線84は、半導体基板に設けられた図示しない行選択走査回路に接続され、制御される。列信号線81r,g,bは、これも図示しない画像信号出力部に接続され、画像信号出力部はこれらの列信号線81r,g,bから取り込んだ色信号を外部に出力する。
These DC
斯かる構成の信号読出回路では、或る行の画素から信号を読み出す場合には、当該行を指定する行選択信号83が行選択走査回路から出力される。これにより、当該行の行選択用トランジスタが導通状態となり、このとき、当該行の低感度画素読出信号線77にオン信号が行選択走査回路から出力されると、低感度画素102の電荷読出用トランジスタ76r,g,bがオンされ、各信号電荷蓄積部34r,g,bの蓄積電荷が出力用トランジスタ71のゲート部分に流れ込む。これにより、列信号線81r,g,bには、各色信号電荷量に応じた信号が出力され、画像信号出力部に取り込まれる。
In the signal readout circuit having such a configuration, when a signal is read out from a pixel in a certain row, a
図11は、図10の信号読出回路を備える光電変換膜積層型カラー固体撮像装置において、第2の実施形態と同様に、感度調整を行うタイミングチャートである。 FIG. 11 is a timing chart for performing sensitivity adjustment in the photoelectric conversion film stacked color solid-state imaging device including the signal readout circuit of FIG. 10 as in the second embodiment.
メカニカルシャッタMSが開いている期間(tl0〜t12)の途中の時刻tllで、全部の低感度画素102に対して低感度画素読出信号RDLを信号線77に印加する。これにより、低感度画素の信号電荷は出力用トランジスタ71のゲート部分に流れ込み、信号電荷蓄積部の電荷はゼロとなる。出力用トランジスタ71のゲート部分に流れ込んだ電荷は、リセット用トランジスタ73をオンすることで、直流電源線82に廃棄する。
In the course of time t ll period mechanical shutter MS is open (t l0 ~t 12), applies the signals RD L out pixel read low-sensitivity
メカニカルシャッタMSが閉じた後、順次、低感度画素102と高感度画素101の信号電荷を出力用トランジスタ71のゲート部分に読み出せば、画像信号出力部に出力される。
After the mechanical shutter MS is closed, the signal charges of the low-
斯かる動作により、低感度画素102の感度は、(t12−tll)/(t12−t10)倍に小さくなる。これにより、撮影シーンに適した感度比に調整できる。同様に、高感度画素101に対して高感度画素読出信号RDHを信号線78に出力するタイミングを調整することで、高感度画素の感度を小さくすることができる。
With this operation, the sensitivity of the low-
(第4の実施形態)
図12は、本発明の第4の実施形態に係る信号読出回路の回路図である。図10に示す第3の実施形態では、同一行の低感度画素102と高感度画素101から同時に同一色の信号を読み出したが、本実施形態では別々に読み出すようになっている。即ち、図10の上段の高感度画素101の赤色信号読出回路と、同じく上段の低感度画素102の赤色信号読出回路とを共用し、電荷検出セル70を一個とし、低感度画素側の電荷読出用トランジスタ76rと高感度画素側の電荷読出用トランジスタ75rのドレインを共通に出力用トランジスタ71のゲートに接続している。
(Fourth embodiment)
FIG. 12 is a circuit diagram of a signal readout circuit according to the fourth embodiment of the present invention. In the third embodiment shown in FIG. 10, signals of the same color are read out simultaneously from the low-
従って、高感度画素読出信号線78と低感度画素読出信号線77に同時に読出信号を印加すると、トランジスタ76r,75rから同時に信号電荷が出力用トランジスタ71のゲートに流れ込み、画素混合されるため、別々に読み出すときは、低感度画素読出信号と高感度画素読出信号とを非同時に出力する必要がある。
Accordingly, when a readout signal is applied simultaneously to the high sensitivity pixel
この実施形態では、各行で2回の読出し動作が必要となるが、列信号線が図10の構成に比較して1/2となり、トランジスタ数も少なくなり、画素の微細化が容易になるという利点がある。各画素の感度比調整を行うには、図11と同様の制御を行えばよい。 In this embodiment, two read operations are required for each row, but the column signal lines are halved compared to the configuration of FIG. 10, the number of transistors is reduced, and pixel miniaturization is facilitated. There are advantages. In order to adjust the sensitivity ratio of each pixel, the same control as in FIG. 11 may be performed.
尚、上述した各実施形態では、電荷検出セルの回路構成が直流電源線、行選択トランジスタ、出力用トランジスタ、列信号線の接続順になっているが、直流電源線、出力用トランジスタ、列信号線の接続順にしてもよい。 In each of the embodiments described above, the circuit configuration of the charge detection cell is in the order of connection of the DC power supply line, the row selection transistor, the output transistor, and the column signal line, but the DC power supply line, the output transistor, and the column signal line. The order of connection may be used.
以上述べた各実施形態によれば、市松状の画素位置に高感度画素と低感度画素を配列し、高感度画素が飽和した状態でも、飽和していない低感度画素の信号がカラー合成信号に寄与できるため、広いダイナミックレンジを持つ画像を撮ることが可能となる。 According to each of the embodiments described above, a high-sensitivity pixel and a low-sensitivity pixel are arranged in a checkered pixel position, and even when the high-sensitivity pixel is saturated, the signal of the low-sensitivity pixel that is not saturated becomes the color composite signal. Because it can contribute, it is possible to take an image with a wide dynamic range.
例えば、低感度画素の飽和露光量/高感度画素の飽和露光量=4に選べば、ダイナミックレンジがおよそ4倍に広くなる。また、虚画素の色信号を局部的なパターンの相関を利用して補間するため、解像度が良好な画像が得られる。 For example, if the saturation exposure amount of low-sensitivity pixels / saturation exposure amount of high-sensitivity pixels = 4 is selected, the dynamic range becomes approximately four times wider. In addition, since the color signal of the imaginary pixel is interpolated using the local pattern correlation, an image with good resolution can be obtained.
尚、上述した各実施形態は、光電変換膜積層型固体撮像装置を例にしたものであるが、半導体基板の深さ方向に複数のフォトダイオードを形成して1画素で複数色の光電変換信号を得る構成のカラー固体撮像装置にも本発明を同様に適用可能である。 Each of the above-described embodiments is an example of a photoelectric conversion film stacked solid-state imaging device. However, a plurality of photodiodes are formed in the depth direction of the semiconductor substrate, and photoelectric conversion signals of a plurality of colors are formed in one pixel. The present invention can be similarly applied to a color solid-state imaging device configured to obtain the above.
本発明に係るカラー固体撮像装置は、ダイナミックレンジを広げることができるため、デジタルカメラに搭載すると有用である。 Since the color solid-state imaging device according to the present invention can widen the dynamic range, it is useful to be mounted on a digital camera.
1 光学系
3 画像信号処理部
4 駆動部
31r,31g,31b,32r,32g,32b 縦配線
33r,33g,33b,34r,34g,34b 信号電荷蓄積部
40r,40g,40b 垂直転送路
50 n型半導体基板
51 Pウェル層
52 チャネルストッパ
53 n型半導体領域(垂直転送路用)
56 転送電極膜
57 光遮蔽膜
58 絶縁層
59a 横配線
60 絶縁膜
61r,61g,61b 高感度画素の画素電極膜
62r,62g,62b 低感度画素の画素電極膜
63r,63g,63b 光電変換膜
64r,64g,64b 共通電極膜
70 電荷検出セル
71 出力用トランジスタ
72 行選択用トランジスタ
73 リセット用トランジスタ
75r,75g,75b,76r,76g,76b 電荷読出用トランジスタ
81r,81g,81b 列信号線(出力信号線)
100 光電変換膜積層型カラー固体撮像装置
101 高感度画素
102 低感度画素
DESCRIPTION OF
56
100 Photoelectric Conversion Layer Stacked Color Solid-
Claims (6)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004097815A JP4500574B2 (en) | 2004-03-30 | 2004-03-30 | Wide dynamic range color solid-state imaging device and digital camera equipped with the solid-state imaging device |
US11/091,770 US20050225655A1 (en) | 2004-03-30 | 2005-03-29 | Solid-state color image pickup apparatus with a wide dynamic range, and digital camera on which the solid-state image pickup apparatus is mounted |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004097815A JP4500574B2 (en) | 2004-03-30 | 2004-03-30 | Wide dynamic range color solid-state imaging device and digital camera equipped with the solid-state imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005286104A JP2005286104A (en) | 2005-10-13 |
JP4500574B2 true JP4500574B2 (en) | 2010-07-14 |
Family
ID=35060147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004097815A Expired - Fee Related JP4500574B2 (en) | 2004-03-30 | 2004-03-30 | Wide dynamic range color solid-state imaging device and digital camera equipped with the solid-state imaging device |
Country Status (2)
Country | Link |
---|---|
US (1) | US20050225655A1 (en) |
JP (1) | JP4500574B2 (en) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4487944B2 (en) * | 2006-02-09 | 2010-06-23 | ソニー株式会社 | Solid-state imaging device |
JP4241840B2 (en) * | 2006-02-23 | 2009-03-18 | 富士フイルム株式会社 | Imaging device |
JP2009529801A (en) | 2006-03-14 | 2009-08-20 | シリコンファイル・テクノロジーズ・インコーポレイテッド | Pixel array structure and method of CMOS image sensor |
JP4241754B2 (en) * | 2006-04-14 | 2009-03-18 | ソニー株式会社 | Imaging device |
US20070285547A1 (en) * | 2006-05-30 | 2007-12-13 | Milligan Edward S | CMOS image sensor array optimization for both bright and low light conditions |
TW200824421A (en) * | 2006-11-30 | 2008-06-01 | Altek Corp | Method of accelerating image processing period and the related digital image capturing device |
TWI344786B (en) * | 2006-12-13 | 2011-07-01 | Altek Corp | Method of executing image process procedure and the related digital image capturing device |
CN102017147B (en) | 2007-04-18 | 2014-01-29 | 因维萨热技术公司 | Materials, systems and methods for optoelectronic devices |
US20100044676A1 (en) | 2008-04-18 | 2010-02-25 | Invisage Technologies, Inc. | Photodetectors and Photovoltaics Based on Semiconductor Nanocrystals |
US8525287B2 (en) | 2007-04-18 | 2013-09-03 | Invisage Technologies, Inc. | Materials, systems and methods for optoelectronic devices |
KR100835894B1 (en) * | 2007-06-18 | 2008-06-09 | (주)실리콘화일 | Pixel array with broad dynamic range, better color reproduction and resolution, and image sensor using the pixel |
CN101355659A (en) * | 2007-07-27 | 2009-01-28 | 鸿富锦精密工业(深圳)有限公司 | Solid-state image sensor |
US8203195B2 (en) | 2008-04-18 | 2012-06-19 | Invisage Technologies, Inc. | Materials, fabrication equipment, and methods for stable, sensitive photodetectors and image sensors made therefrom |
US8138567B2 (en) * | 2008-04-18 | 2012-03-20 | Invisage Technologies, Inc. | Materials, fabrication equipment, and methods for stable, sensitive photodetectors and image sensors made therefrom |
JP2011059337A (en) * | 2009-09-09 | 2011-03-24 | Fujifilm Corp | Image pickup apparatus |
JP5526673B2 (en) * | 2009-09-16 | 2014-06-18 | ソニー株式会社 | Solid-state imaging device and electronic device |
JP5503522B2 (en) * | 2010-01-20 | 2014-05-28 | キヤノン株式会社 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
JP5091964B2 (en) | 2010-03-05 | 2012-12-05 | 株式会社東芝 | Solid-state imaging device |
WO2011156507A1 (en) | 2010-06-08 | 2011-12-15 | Edward Hartley Sargent | Stable, sensitive photodetectors and image sensors including circuits, processes, and materials for enhanced imaging performance |
WO2012028847A1 (en) | 2010-09-03 | 2012-03-08 | Isis Innovation Limited | Image sensor |
WO2012133551A1 (en) * | 2011-03-30 | 2012-10-04 | 富士フイルム株式会社 | Method for driving solid-state imaging element, solid-state imaging element, and imaging device |
US9191556B2 (en) * | 2011-05-19 | 2015-11-17 | Foveon, Inc. | Imaging array having photodiodes with different light sensitivities and associated image restoration methods |
WO2013100039A1 (en) | 2011-12-27 | 2013-07-04 | 富士フイルム株式会社 | Color imaging element and imaging device |
US9578223B2 (en) | 2013-08-21 | 2017-02-21 | Qualcomm Incorporated | System and method for capturing images with multiple image sensing elements |
CN103681721B (en) * | 2013-12-30 | 2018-10-16 | 上海集成电路研发中心有限公司 | Image sensor pixel array with high dynamic range |
JP6562600B2 (en) * | 2014-07-31 | 2019-08-21 | キヤノン株式会社 | Photoelectric conversion device and imaging system |
JP6541313B2 (en) * | 2014-07-31 | 2019-07-10 | キヤノン株式会社 | Photoelectric conversion device and imaging system |
JP6213743B2 (en) * | 2014-10-08 | 2017-10-18 | パナソニックIpマネジメント株式会社 | Imaging apparatus and driving method thereof |
US9967501B2 (en) | 2014-10-08 | 2018-05-08 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
US10141354B2 (en) | 2014-10-23 | 2018-11-27 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device and image acquisition device |
JP6397048B2 (en) | 2014-11-20 | 2018-10-03 | 富士フイルム株式会社 | Imaging apparatus, imaging method, and image processing program |
CN107005650B (en) | 2014-11-20 | 2020-03-03 | 富士胶片株式会社 | Image pickup apparatus, image pickup method, and recording medium |
JP6562250B2 (en) | 2015-06-08 | 2019-08-21 | パナソニックIpマネジメント株式会社 | Imaging device and imaging module |
KR102437588B1 (en) | 2015-09-22 | 2022-08-30 | 삼성전자주식회사 | Image capturing device |
JP6782431B2 (en) | 2016-01-22 | 2020-11-11 | パナソニックIpマネジメント株式会社 | Imaging device |
CN112788224B (en) | 2016-01-29 | 2023-04-04 | 松下知识产权经营株式会社 | Image pickup apparatus |
JP2017168812A (en) * | 2016-03-10 | 2017-09-21 | パナソニックIpマネジメント株式会社 | Imaging device |
JP2018186317A (en) * | 2017-04-24 | 2018-11-22 | 株式会社シグマ | Imaging apparatus |
CN109300923B (en) * | 2017-07-25 | 2023-11-17 | 松下知识产权经营株式会社 | Image pickup apparatus |
WO2023042246A1 (en) * | 2021-09-14 | 2023-03-23 | ソニーセミコンダクタソリューションズ株式会社 | Imaging element and electronic apparatus |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01134966A (en) * | 1987-11-20 | 1989-05-26 | Fuji Photo Film Co Ltd | Solid-state image pickup device |
JPH09219824A (en) * | 1996-02-09 | 1997-08-19 | Sony Corp | Solid-state image pickup device |
JPH11234575A (en) * | 1998-02-18 | 1999-08-27 | Nec Corp | Solid-state image pickup device |
JP2002083946A (en) * | 2000-09-07 | 2002-03-22 | Nippon Hoso Kyokai <Nhk> | Image sensor |
JP2002199284A (en) * | 2000-12-25 | 2002-07-12 | Canon Inc | Image pickup element |
JP2003348606A (en) * | 2002-05-28 | 2003-12-05 | Fuji Photo Film Co Ltd | Solid-state imaging device and digital still camera |
JP2004015690A (en) * | 2002-06-11 | 2004-01-15 | Fuji Photo Film Co Ltd | Method for driving solid-state image pickup device |
JP2004032059A (en) * | 2002-06-21 | 2004-01-29 | Fuji Film Microdevices Co Ltd | Solid state imaging device |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4438455A (en) * | 1981-12-15 | 1984-03-20 | Fuji Photo Film Co., Ltd. | Solid-state color imager with three layer four story structure |
DE69736272T2 (en) * | 1996-06-19 | 2007-06-06 | Matsushita Electric Industrial Co., Ltd., Kadoma | PHOTOELECTRONIC MATERIAL, THESE USE DEVICES AND METHOD OF MANUFACTURING |
US6300612B1 (en) * | 1998-02-02 | 2001-10-09 | Uniax Corporation | Image sensors made from organic semiconductors |
US6606120B1 (en) * | 1998-04-24 | 2003-08-12 | Foveon, Inc. | Multiple storage node full color active pixel sensors |
US5965875A (en) * | 1998-04-24 | 1999-10-12 | Foveon, Inc. | Color separation in an active pixel cell imaging array using a triple-well structure |
AU5405400A (en) * | 1999-06-14 | 2001-01-02 | Carlos J.R.P. Augusto | Stacked wavelength-selective opto-electronic device |
US7292277B2 (en) * | 2002-04-08 | 2007-11-06 | Fujifilm Corporation | Solid-state image pick-up device and digital still camera |
US7508421B2 (en) * | 2002-06-24 | 2009-03-24 | Fujifilm Corporation | Image pickup apparatus and image processing method |
JP4139641B2 (en) * | 2002-07-19 | 2008-08-27 | 富士フイルム株式会社 | Solid-state image sensor |
JP2004103785A (en) * | 2002-09-09 | 2004-04-02 | Fuji Film Microdevices Co Ltd | Solid state imaging device |
JP2004336469A (en) * | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | Solid-state imaging element, imaging apparatus, and image processing method |
JP2005051695A (en) * | 2003-07-31 | 2005-02-24 | Fuji Photo Film Co Ltd | Image compositing method, solid-state image pickup device and digital camera |
US20050140804A1 (en) * | 2003-12-29 | 2005-06-30 | Eastman Kodak Company | Extended dynamic range image sensor capture using an array of fast and slow pixels |
JP2005197379A (en) * | 2004-01-06 | 2005-07-21 | Sony Corp | Solid state imaging device and signal processing circuit |
JP4317117B2 (en) * | 2004-11-19 | 2009-08-19 | 富士フイルム株式会社 | Solid-state imaging device and imaging method |
-
2004
- 2004-03-30 JP JP2004097815A patent/JP4500574B2/en not_active Expired - Fee Related
-
2005
- 2005-03-29 US US11/091,770 patent/US20050225655A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01134966A (en) * | 1987-11-20 | 1989-05-26 | Fuji Photo Film Co Ltd | Solid-state image pickup device |
JPH09219824A (en) * | 1996-02-09 | 1997-08-19 | Sony Corp | Solid-state image pickup device |
JPH11234575A (en) * | 1998-02-18 | 1999-08-27 | Nec Corp | Solid-state image pickup device |
JP2002083946A (en) * | 2000-09-07 | 2002-03-22 | Nippon Hoso Kyokai <Nhk> | Image sensor |
JP2002199284A (en) * | 2000-12-25 | 2002-07-12 | Canon Inc | Image pickup element |
JP2003348606A (en) * | 2002-05-28 | 2003-12-05 | Fuji Photo Film Co Ltd | Solid-state imaging device and digital still camera |
JP2004015690A (en) * | 2002-06-11 | 2004-01-15 | Fuji Photo Film Co Ltd | Method for driving solid-state image pickup device |
JP2004032059A (en) * | 2002-06-21 | 2004-01-29 | Fuji Film Microdevices Co Ltd | Solid state imaging device |
Also Published As
Publication number | Publication date |
---|---|
US20050225655A1 (en) | 2005-10-13 |
JP2005286104A (en) | 2005-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4500574B2 (en) | Wide dynamic range color solid-state imaging device and digital camera equipped with the solid-state imaging device | |
JP5262180B2 (en) | Solid-state imaging device and camera | |
US8902330B2 (en) | Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing same | |
US7750278B2 (en) | Solid-state imaging device, method for driving solid-state imaging device and camera | |
JP4154165B2 (en) | PHOTOELECTRIC CONVERSION ELEMENT, SOLID-STATE IMAGING DEVICE, CAMERA, AND IMAGE READING DEVICE USING THE SAME | |
JP2005268479A (en) | Photoelectric converting film laminated solid state imaging apparatus | |
US7626627B2 (en) | Photoelectric conversion layer stack type color solid-state imaging device | |
WO2013172205A1 (en) | Imaging device and imaging method, electronic apparatus, as well as program | |
JPWO2008133146A1 (en) | Solid-state imaging device | |
JP4599258B2 (en) | Solid-state image sensor | |
JP4423452B2 (en) | Solid-state imaging device | |
US20060119724A1 (en) | Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method | |
JP2009049525A (en) | Imaging apparatus and method for processing signal | |
JP4621484B2 (en) | Solid-state image sensor | |
JP4495949B2 (en) | Two-plate color solid-state imaging device and digital camera | |
JP2005340572A (en) | Photoelectric conversion film laminated solid state imaging device | |
JP3950655B2 (en) | Imaging device | |
JP4724414B2 (en) | Imaging apparatus, digital camera, and color image data generation method | |
JP2007235418A (en) | Solid state image pickup device | |
JP4414901B2 (en) | Color image generation method | |
JP2005286115A (en) | Photoelectric conversion film-stacked solid-state imaging apparatus and its driving method, and digital camera | |
US20050231623A1 (en) | Imaging apparatus | |
JP2009049524A (en) | Imaging apparatus and method for processing signal | |
JP2005175893A (en) | Two-plate type color solid-state image pickup device and digital camera | |
JP4701128B2 (en) | Photoelectric conversion film stack type solid-state imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061130 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071115 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |