JP4840991B2

JP4840991B2 - PHOTOELECTRIC CONVERSION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE

Info

Publication number: JP4840991B2
Application number: JP2006273416A
Authority: JP
Inventors: 隆史岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-10-04
Filing date: 2006-10-04
Publication date: 2011-12-21
Anticipated expiration: 2026-10-04
Also published as: JP2008092477A

Description

本発明は、光電変換装置及びその制御方法並びに撮像装置に関する。 The present invention relates to a photoelectric conversion device, a control method thereof, and an imaging device.

従来、撮像素子のダイナミックレンジを拡大する方法として、多くの提案がなされている。 Conventionally, many proposals have been made as methods for expanding the dynamic range of an image sensor.

特許文献１は、フォトダイオード（以下「ＰＤ」という。）に入射した光の対数に応じた信号を出力する技術を開示している。 Patent Document 1 discloses a technique for outputting a signal corresponding to the logarithm of light incident on a photodiode (hereinafter referred to as “PD”).

特許文献２は、ＰＤとフローティングディフュージョン（以下「ＦＤ」という。）の両方で光電変換を行うことによって、ダイナミックレンジを拡大する技術を開示している。 Patent Document 2 discloses a technique for expanding the dynamic range by performing photoelectric conversion in both PD and floating diffusion (hereinafter referred to as “FD”).

特許文献３は、ＰＤで発生した電荷をＦＤに複数回転送することによって、ダイナミックレンジを拡大する技術を開示している。 Patent Document 3 discloses a technique for expanding the dynamic range by transferring the charge generated in the PD to the FD a plurality of times.

撮像素子では、ＰＤに蓄積された信号電荷が飽和信号量を超えると、ポテンシャル障壁の低いところに漏れ込むことがある。図１２にその様子を示す。図１２は、上部に各部の断面構造を示し、下部にそのポテンシャル分布を示す。ポテンシャル分布の縦軸は絶縁膜下の半導体基板の表面電位を表す。下部に示すポテンシャル分布の横方向位置は、上部に示す断面構造の横方向位置に対応する。後述する図３、図５及び図１３も、同様にして図示される。図１２（ａ）に示すように、ＰＤで発生した信号電荷は、ＰＤの寄生容量に蓄積される。ＰＤの寄生容量に蓄積された信号電荷が飽和信号量を超えると、図１２（ｂ）に示すように、転送スイッチＴＸのポテンシャル障壁を超えてＦＤに漏れ込む。 In the image sensor, when the signal charge accumulated in the PD exceeds the saturation signal amount, it may leak into a low potential barrier. This is shown in FIG. FIG. 12 shows the cross-sectional structure of each part in the upper part, and shows the potential distribution in the lower part. The vertical axis of the potential distribution represents the surface potential of the semiconductor substrate under the insulating film. The horizontal position of the potential distribution shown in the lower part corresponds to the horizontal position of the cross-sectional structure shown in the upper part. 3, 5 and 13 described later are also illustrated in the same manner. As shown in FIG. 12A, the signal charge generated in the PD is accumulated in the parasitic capacitance of the PD. When the signal charge accumulated in the parasitic capacitance of the PD exceeds the saturation signal amount, it leaks into the FD beyond the potential barrier of the transfer switch TX as shown in FIG.

特許文献４は、図１２に示す現象を利用して、ＦＤに漏れ込んだ信号電荷をＰＤで発生した信号電荷と足し合わせることによって、ダイナミックレンジを拡大する技術を開示している。 Patent Document 4 discloses a technique for expanding the dynamic range by adding the signal charge leaked into the FD and the signal charge generated by the PD using the phenomenon shown in FIG.

また、近年の撮像素子では、画素の縮小化のために、画素内に配置されたＰＤの信号を読み出す回路（信号読み出し回路）を複数のＰＤで共有して、画素ピッチを狭めることが試みられている。
特開平１１−３１３２５７号公報特開２０００−５９６８８号公報特開２００１−１７７７７５号公報特開２００３−８７６６５号公報 In recent image pickup devices, in order to reduce the size of pixels, it is attempted to reduce the pixel pitch by sharing a circuit (signal reading circuit) for reading a PD signal arranged in a pixel with a plurality of PDs. ing.
JP-A-11-313257 JP 2000-59688 A JP 2001-177775 A JP 2003-87665 A

しかしながら、信号読み出し回路を共有する画素構造では、ＰＤで発生した余剰電荷をＦＤで捕捉してダイナミックレンジを拡大する方法を適用することが、極めて困難である。以下、図１３及び図１４を用いてその様子を説明する。 However, in a pixel structure sharing a signal readout circuit, it is extremely difficult to apply a method of capturing a surplus charge generated in a PD with an FD and expanding a dynamic range. Hereinafter, this state will be described with reference to FIGS. 13 and 14.

図１３は、上部に各部の断面構造を示し、下部にそのポテンシャル分布を示す図である。図１４は、各部の蓄積電荷量と露光時間との関係を示す図である。図１４において、横軸は時間、縦軸は電荷量を示す。図１３（ａ）は図１４の時刻ｔ５１における画素の状態、図１３（ｂ）は図１４の時刻ｔ５２における画素の状態、図１３（ｃ）は図１４の時刻ｔ５３における画素の状態、図１３（ｄ）は図１４の時刻ｔ５４における画素の状態にそれぞれ対応する。また、図１４（ａ）はＰＤ１の蓄積電荷量と露光時間との関係、図１４（ｂ）はＰＤ２の蓄積電荷量と露光時間との関係、図１４（ｃ）はＦＤの蓄積電荷量と露光時間との関係をそれぞれ示す。ここでは、信号読み出し回路を共有する２つのＰＤのうち、先に読み出すＰＤをＰＤ１とし、後に読み出すＰＤをＰＤ２とする。また、ＰＤ１がＰＤ２よりも高感度の色フィルタを有する画素であるとする。 FIG. 13 shows the cross-sectional structure of each part in the upper part and shows the potential distribution in the lower part. FIG. 14 is a diagram showing the relationship between the accumulated charge amount of each part and the exposure time. In FIG. 14, the horizontal axis represents time, and the vertical axis represents the amount of charge. 13A shows the state of the pixel at time t51 in FIG. 14, FIG. 13B shows the state of the pixel at time t52 in FIG. 14, FIG. 13C shows the state of the pixel at time t53 in FIG. (D) corresponds to the state of the pixel at time t54 in FIG. 14A shows the relationship between the accumulated charge amount of PD1 and the exposure time, FIG. 14B shows the relationship between the accumulated charge amount of PD2 and the exposure time, and FIG. 14C shows the accumulated charge amount of FD. The relationship with the exposure time is shown respectively. Here, of the two PDs sharing the signal readout circuit, the PD read first is PD1, and the PD read later is PD2. Further, it is assumed that PD1 is a pixel having a color filter with higher sensitivity than PD2.

時刻ｔ５１（図１３（ａ）に対応）では、ＰＤ１、ＰＤ２及びＦＤがリセットされ、信号電荷の蓄積が開始される。 At time t51 (corresponding to FIG. 13A), PD1, PD2 and FD are reset, and signal charge accumulation is started.

時刻ｔ５２（図１３（ｂ）に対応）では、ＰＤ１及びＰＤ２において信号電荷が蓄積される。 At time t52 (corresponding to FIG. 13B), signal charges are accumulated in PD1 and PD2.

時刻ｔ５３（図１３（ｃ）に対応）では、ＰＤ１の蓄積電荷量が飽和電荷量を超えている。ＰＤ１では、転送スイッチＴＸ１側のポテンシャル障壁が最も低いため、ＰＤ１で発生した信号電荷がＦＤに漏れ出す。 At time t53 (corresponding to FIG. 13C), the accumulated charge amount of PD1 exceeds the saturation charge amount. In PD1, since the potential barrier on the transfer switch TX1 side is the lowest, the signal charge generated in PD1 leaks to the FD.

時刻ｔ５４（図１３（ｄ）に対応）では、ＰＤ１及びＰＤ２において蓄積電荷量が飽和電荷量を超えている。ＰＤ２では、転送スイッチＴＸ２側のポテンシャル障壁が最も低い。そのため、ＰＤ１の飽和電荷量以上の余剰電荷とＰＤ２の飽和電荷以上の余剰電荷とが、共にＦＤに漏れ出し、ＦＤにはＰＤ１とＰＤ２の信号電荷が混在する。 At time t54 (corresponding to FIG. 13D), the accumulated charge amount in PD1 and PD2 exceeds the saturation charge amount. In PD2, the potential barrier on the transfer switch TX2 side is the lowest. For this reason, surplus charges larger than the saturation charge amount of PD1 and surplus charges larger than the saturation charge of PD2 both leak into the FD, and the signal charges of PD1 and PD2 coexist in the FD.

上述のように、ＦＤを共有する複数の画素からＦＤに信号電荷が漏れ込むと、両画素のＰＤから漏れ込んだ信号電荷が混在する。そのため、カラーフィルタを規則的に配列した撮像素子では、他の色フィルタを有する隣の画素の情報が混入し、本来得るべき信号とは異なる信号となる。その結果、ＦＤを共有する画素構成の撮像装置では、ＰＤで発生した余剰電荷をＦＤで捕捉してダイナミックレンジを拡大することが極めて困難であった。 As described above, when signal charges leak into the FD from a plurality of pixels sharing the FD, the signal charges leaked from the PDs of both pixels are mixed. For this reason, in an image pickup device in which color filters are regularly arranged, information on adjacent pixels having other color filters is mixed, resulting in a signal different from a signal that should be originally obtained. As a result, in an imaging device having a pixel configuration that shares an FD, it is extremely difficult to expand the dynamic range by capturing surplus charges generated in the PD with the FD.

本発明は、上記の問題点に鑑みてなされたものであり、光電変換素子に蓄積された電荷を一時的に蓄える蓄積部を複数の画素で共有する画素構造において、ダイナミックレンジを拡大することを目的とする。 The present invention has been made in view of the above problems, and in a pixel structure in which a storage unit for temporarily storing charges stored in a photoelectric conversion element is shared by a plurality of pixels, the dynamic range is expanded. Objective.

本発明の第１の側面は、光電変換装置に係り、光を電荷に光電変換する第１の光電変換素子及び第２の光電変換素子と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子から転送された電荷を一時的に蓄積する蓄積部と、前記第１の光電変換素子と前記蓄積部との間に配置された第１の転送スイッチと、前記第２の光電変換素子と前記蓄積部との間に配置された第２の転送スイッチと、前記蓄積部に蓄積された電荷を電圧に変換する電荷電圧変換部と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を排出する電荷排出部と、を備え、前記第１の転送スイッチに第１の電圧が印加され、前記第２の転送スイッチに前記第１の電圧とは異なる第２の電圧が印加されることを特徴とする。 A first aspect of the present invention relates to a photoelectric conversion device, and relates to a first photoelectric conversion element and a second photoelectric conversion element that photoelectrically convert light into an electric charge, the first photoelectric conversion element, and the second photoelectric conversion element. A storage section that is shared by the conversion elements and temporarily stores the charge transferred from the first photoelectric conversion element or the second photoelectric conversion element; and between the first photoelectric conversion element and the storage section A first transfer switch disposed in the second transfer switch, a second transfer switch disposed between the second photoelectric conversion element and the storage unit, and a charge for converting the charge stored in the storage unit into a voltage. A voltage conversion unit, a charge discharging unit that is shared by the first photoelectric conversion element and the second photoelectric conversion element, and discharges excess charge of the first photoelectric conversion element or the second photoelectric conversion element; comprising a first voltage is applied to the first transfer switch, Wherein the different second voltage is applied from the first voltage to the serial second transfer switch.

本発明の第２の側面は、撮像装置に係り、光学系と、上記の光電変換装置と、を備えることを特徴とする。 A second aspect of the present invention relates to an imaging apparatus, and includes an optical system and the photoelectric conversion device.

本発明の第３の側面は、光を電荷に光電変換する第１の光電変換素子及び第２の光電変換素子と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子から転送された電荷を一時的に蓄積する蓄積部と、前記第１の光電変換素子と前記蓄積部との間に配置された第１の転送スイッチと、前記第２の光電変換素子と前記蓄積部との間に配置された第２の転送スイッチと、前記蓄積部に蓄積された電荷を電圧に変換する電荷電圧変換部と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を排出する電荷排出部とを備える光電変換装置を制御する方法に係り、前記第１の転送スイッチに第１の電圧を印加し、前記第２の転送スイッチに前記第１の電圧とは異なる第２の電圧を印加することを特徴とする。
本発明の第４の側面は、撮像装置に係り、光を電荷に光電変換する第１の光電変換素子及び第２の光電変換素子と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子から転送された電荷を一時的に蓄積する蓄積部と、前記蓄積部に転送された電荷を電圧に変換する電荷電圧変換部と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を排出する電荷排出部とを備える光電変換装置と、前記第１の光電変換素子又は前記第２の光電変換素子の光電変換により発生する電荷に基づく画像信号の信号量に応じて、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を前記蓄積部に排出する第１の動作モードで前記光電変換装置を動作させるか、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を前記電荷排出部に排出する第２の動作モードで動作させるかを判定する判定手段と、を備えることを特徴とする。
本発明の第５の側面は、光を電荷に光電変換する第１の光電変換素子及び第２の光電変換素子と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子から転送された電荷を一時的に蓄積する蓄積部と、前記蓄積部に転送された電荷を電圧に変換する電荷電圧変換部と、前記第１の光電変換素子及び前記第２の光電変換素子で共有され、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を排出する電荷排出部とを備える光電変換装置の制御方法に係り、前記第１の光電変換素子又は前記第２の光電変換素子の光電変換により発生する電荷に基づく画像信号の信号量に応じて、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を前記蓄積部に排出する第１の動作モードで前記光電変換装置を動作させるか、前記第１の光電変換素子又は前記第２の光電変換素子の余剰電荷を前記電荷排出部に排出する第２の動作モードで動作させるかを判定することを特徴とする。 A third aspect of the present invention is shared by the first photoelectric conversion element and the second photoelectric conversion element, wherein the first photoelectric conversion element and the second photoelectric conversion element for photoelectrically converting light into an electric charge, An accumulation unit that temporarily accumulates charges transferred from the first photoelectric conversion element or the second photoelectric conversion element, and a first unit disposed between the first photoelectric conversion element and the accumulation unit. A transfer switch, a second transfer switch disposed between the second photoelectric conversion element and the storage unit, a charge-voltage conversion unit that converts the charge stored in the storage unit into a voltage , Controlling a photoelectric conversion device including a charge discharging unit that is shared by the first photoelectric conversion element and the second photoelectric conversion element and discharges excess charge of the first photoelectric conversion element or the second photoelectric conversion element. It relates to a method of, first voltage to the first transfer switch Applied to, and applying a second voltage different from the first voltage to the second transfer switch.
A fourth aspect of the present invention relates to an imaging apparatus, and relates to a first photoelectric conversion element and a second photoelectric conversion element that photoelectrically convert light into an electric charge, the first photoelectric conversion element, and the second photoelectric conversion. A storage unit that is shared by the elements and temporarily stores the charge transferred from the first photoelectric conversion element or the second photoelectric conversion element, and a charge voltage that converts the charge transferred to the storage unit into a voltage A conversion unit; and a charge discharging unit that is shared by the first photoelectric conversion element and the second photoelectric conversion element and discharges surplus charges of the first photoelectric conversion element or the second photoelectric conversion element. The first photoelectric conversion element or the second photoelectric conversion device and the second photoelectric conversion element or the second photoelectric conversion element according to the signal amount of the image signal based on the charge generated by photoelectric conversion of the first photoelectric conversion element or the second photoelectric conversion element Excess charge from the photoelectric conversion element is discharged to the storage unit. The photoelectric conversion device is operated in the first operation mode, or is operated in the second operation mode in which surplus charges of the first photoelectric conversion element or the second photoelectric conversion element are discharged to the charge discharging unit. Determining means for determining whether or not.
The fifth aspect of the present invention is shared by the first photoelectric conversion element and the second photoelectric conversion element that photoelectrically convert light into electric charge, the first photoelectric conversion element and the second photoelectric conversion element, A storage unit that temporarily stores the charge transferred from the first photoelectric conversion element or the second photoelectric conversion element; a charge-voltage conversion unit that converts the charge transferred to the storage unit into a voltage; and Control of a photoelectric conversion device including a charge discharging unit that is shared by the first photoelectric conversion element and the second photoelectric conversion element and discharges excess charge of the first photoelectric conversion element or the second photoelectric conversion element According to a method, the first photoelectric conversion element or the second photoelectric conversion element is selected according to a signal amount of an image signal based on a charge generated by photoelectric conversion of the first photoelectric conversion element or the second photoelectric conversion element. Excess charge of conversion element is discharged to the storage unit The photoelectric conversion device is operated in the first operation mode, or is operated in the second operation mode in which surplus charge of the first photoelectric conversion element or the second photoelectric conversion element is discharged to the charge discharging unit. It is characterized by determining.

本発明によれば、光電変換素子に蓄積された電荷を一時的に蓄える蓄積部を複数の画素で共有する画素構造において、ダイナミックレンジを拡大することができる。 ADVANTAGE OF THE INVENTION According to this invention, a dynamic range can be expanded in the pixel structure which shares the storage part which accumulate | stores the electric charge accumulate | stored in the photoelectric conversion element temporarily with several pixels.

以下、本発明の好適な実施の形態について、図面を用いて詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の好適な実施の形態に係る撮像部１００の構成を示す図である。光電変換装置１０１には、撮像面の垂直方向及び水平方向に複数の画素が配列されている。垂直選択手段１０２は、行選択線ＶＳＥＬ１〜ＶＳＥＬｍ毎に画素から電気信号を読み出す制御パルスを出力する。行選択線ＶＳＥＬ１〜ＶＳＥＬｍにより選択された各画素の電気信号は、水平選択手段１０４により印加された列選択線ＶＳＩＧ１〜ＶＳＩＧｍの制御パルスにより選択される。列選択線ＶＳＩＧ１〜ＶＳＩＧｍの制御パルスにより選択された画素の出力信号は、ＣＤＳ回路１０３によりＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）処理が施される。ＣＤＳ回路１０３で処理された信号は、出力線１０５から順次出力される。 FIG. 1 is a diagram illustrating a configuration of an imaging unit 100 according to a preferred embodiment of the present invention. In the photoelectric conversion device 101, a plurality of pixels are arranged in the vertical direction and the horizontal direction of the imaging surface. The vertical selection unit 102 outputs a control pulse for reading an electrical signal from the pixel for each of the row selection lines VSEL1 to VSELm. The electric signals of the respective pixels selected by the row selection lines VSEL1 to VSELm are selected by the control pulses of the column selection lines VSIG1 to VSIGm applied by the horizontal selection unit 104. The CDS circuit 103 performs CDS (Correlated Double Sampling) processing on the output signals of the pixels selected by the control pulses of the column selection lines VSIG1 to VSIGm. Signals processed by the CDS circuit 103 are sequentially output from the output line 105.

図２は、図１の光電変換装置１０１に配置された画素の詳細を示す図である。２０１は信号読み出し回路を共有する２つの画素を示す。ＰＤ１、ＰＤ２は光を電荷に変換するフォトダイオード（以下「ＰＤ」という。）である。ＴＸ１、ＴＸ２はそれぞれ転送パルスΦＴＸ１、ΦＴＸ２によって駆動され、ＰＤ１、ＰＤ２で発生した電荷をＦＤにそれぞれ転送する転送スイッチである。 FIG. 2 is a diagram showing details of pixels arranged in the photoelectric conversion device 101 of FIG. Reference numeral 201 denotes two pixels sharing a signal readout circuit. PD1 and PD2 are photodiodes (hereinafter referred to as “PD”) that convert light into electric charges. TX1 and TX2 are transfer switches that are driven by transfer pulses ΦTX1 and ΦTX2, respectively, and transfer charges generated in PD1 and PD2 to the FD, respectively.

ＦＤは電荷を一時的に蓄積する蓄積部（フローティングディフュージョン）である。２０７はソースフォロアとして機能する増幅ＭＯＳアンプである。２０８は垂直選択パルスΦＳＥＬによって画素を選択する選択スイッチである。２０９はリセットパルスΦＲＥＳによってＦＤに蓄積された電荷を除去するリセットスイッチである。ＦＤ、増幅ＭＯＳアンプ２０７及び信号読み出し回路に接続された不図示の定電流源によりフローティングディフュージョンアンプ（以下、「ＦＤＡ」という。）が構成される。選択スイッチ２０８で選択された画素の信号電荷は、電圧に変換されて、読み出し出力線２１０を介して図１のＣＤＳ回路１０３に出力される。ＰＤ１、ＰＤ２は、転送スイッチＴＸ１、ＴＸ２に別々に接続されるが、ＦＤ、増幅ＭＯＳアンプ２０７、選択スイッチ２０８及びリセットスイッチ２０９で構成される信号読み出し回路を共有する。 The FD is an accumulation unit (floating diffusion) that temporarily accumulates charges. Reference numeral 207 denotes an amplification MOS amplifier that functions as a source follower. Reference numeral 208 denotes a selection switch that selects a pixel by a vertical selection pulse ΦSEL. A reset switch 209 removes charges accumulated in the FD by a reset pulse ΦRES. A floating diffusion amplifier (hereinafter referred to as “FDA”) is configured by a constant current source (not shown) connected to the FD, the amplification MOS amplifier 207, and the signal readout circuit. The signal charge of the pixel selected by the selection switch 208 is converted into a voltage and output to the CDS circuit 103 in FIG. PD1 and PD2 are separately connected to the transfer switches TX1 and TX2, but share a signal readout circuit including the FD, the amplification MOS amplifier 207, the selection switch 208, and the reset switch 209.

図３及び図４を用いて、ＦＤを共有する画素の電荷の状態を説明する。図３は、上部に各部の断面構造を示し、下部にそのポテンシャル分布を示す図である。図４は、各部の蓄積電荷量と露光時間との関係を示す図である。図４において、横軸は時間、縦軸は電荷量を示す。図３（ａ）は図４の時刻ｔ７１における画素の状態、図３（ｂ）は図４の時刻ｔ７２における画素の状態、図３（ｃ）は図４の時刻ｔ７３における画素の状態、図３（ｄ）は図４の時刻ｔ７４における画素の状態にそれぞれ対応する。また、図４（ａ）はＰＤ１の蓄積電荷量と露光時間との関係、図４（ｂ）はＰＤ２の蓄積電荷量と露光時間との関係、図４（ｃ）はＦＤの蓄積電荷量と露光時間との関係をそれぞれ示す。ここでは、ＰＤ１がＰＤ２よりも高感度の色フィルタを有する画素であるとする。 The charge state of the pixel sharing the FD will be described with reference to FIGS. FIG. 3 is a diagram showing the cross-sectional structure of each part in the upper part and the potential distribution in the lower part. FIG. 4 is a diagram showing the relationship between the accumulated charge amount of each part and the exposure time. In FIG. 4, the horizontal axis represents time, and the vertical axis represents the amount of charge. 3A is a pixel state at time t71 in FIG. 4, FIG. 3B is a pixel state at time t72 in FIG. 4, FIG. 3C is a pixel state at time t73 in FIG. (D) corresponds to the state of the pixel at time t74 in FIG. 4A shows the relationship between the accumulated charge amount of PD1 and the exposure time, FIG. 4B shows the relationship between the accumulated charge amount of PD2 and the exposure time, and FIG. 4C shows the accumulated charge amount of FD. The relationship with the exposure time is shown respectively. Here, it is assumed that PD1 is a pixel having a color filter with higher sensitivity than PD2.

時刻ｔ７１（図３（ａ）に対応）では、ＰＤ１、ＰＤ２及びＦＤがリセットされ、信号電荷の蓄積が開始される。 At time t71 (corresponding to FIG. 3A), PD1, PD2, and FD are reset, and signal charge accumulation is started.

時刻ｔ７２（図３（ｂ）に対応）では、ＰＤ１及びＰＤ２において信号電荷が蓄積される。 At time t72 (corresponding to FIG. 3B), signal charges are accumulated in PD1 and PD2.

時刻ｔ７３（図３（ｃ）に対応）では、ＰＤ１の蓄積電荷量が飽和電荷量を超えている。ＰＤ１では、転送スイッチＴＸ１側のポテンシャル障壁が最も低いため、ＰＤ１で発生した信号電荷がＦＤに漏れ出す。図３（ｃ）の下側のポテンシャル分布を参照すると、ＰＤ１の左側の半導体領域（ｐ型半導体）ポテンシャル障壁が十分に高いため、ＴＸ１のゲート電極に大きな負の電位のφＴＸ１を与えない限り、このようなポテンシャル分布は容易に得られる。 At time t73 (corresponding to FIG. 3C), the accumulated charge amount of PD1 exceeds the saturation charge amount. In PD1, since the potential barrier on the transfer switch TX1 side is the lowest, the signal charge generated in PD1 leaks to the FD. Referring to the lower potential distribution in FIG. 3 (c), since the potential barrier of the semiconductor region (p-type semiconductor) on the left side of PD1 is sufficiently high, unless a large negative potential φTX1 is given to the gate electrode of TX1, Such a potential distribution can be easily obtained.

時刻ｔ７４（図３（ｄ）に対応）では、ＰＤ１及びＰＤ２において蓄積電荷量が飽和電荷量を超えている。このとき、ＰＤ２では、ＯＦＤ側のポテンシャル障壁が転送スイッチＴＸ２側のポテンシャル障壁よりも低くなっている。そのため、ＰＤ２に蓄積された飽和電荷量以上の余剰電荷は、ＦＤに漏れ出さずにＯＦＤに漏れ出す。ＦＤとＰＤ２との間の半導体領域（チャネル）の構成がＯＦＤとＰＤ２との間の半導体領域の構成と略同一であるとすると、ＴＸ２のゲート電極に負の電位のφＴＸ２を与えることによって、このようなポテンシャル分布が得られる。これは、ＴＸ２のゲート電極に負の電位を与えることによって、転送スイッチＴＸ２の下のポテンシャル（電位）が下がり、転送スイッチＴＸ２の下のポテンシャル障壁が高くなるからである。このように、時刻ｔ７４では、ＰＤ１に蓄積された飽和電荷量以上の余剰電荷はＦＤに漏れ出す。ＰＤ２に蓄積された飽和電荷量以上の余剰電荷はＦＤに漏れ出さずにＯＦＤに漏れ出す。 At time t74 (corresponding to FIG. 3D), the accumulated charge amount in PD1 and PD2 exceeds the saturation charge amount. At this time, in PD2, the potential barrier on the OFD side is lower than the potential barrier on the transfer switch TX2 side. For this reason, surplus charges greater than the saturation charge amount accumulated in the PD2 leak into the OFD without leaking into the FD. If the configuration of the semiconductor region (channel) between FD and PD2 is substantially the same as the configuration of the semiconductor region between OFD and PD2, by applying a negative potential φTX2 to the gate electrode of TX2, Such a potential distribution is obtained. This is because by applying a negative potential to the gate electrode of TX2, the potential (potential) under the transfer switch TX2 is lowered and the potential barrier under the transfer switch TX2 is increased. In this way, at time t74, surplus charges greater than the saturation charge amount accumulated in PD1 leak into the FD. Excess charge accumulated in the PD 2 exceeding the saturation charge amount does not leak to the FD but leaks to the OFD.

次に、図４及び図５を用いて、ＯＦＤをＰＤ１、ＰＤ２の両方に有する画素の電荷の状態を説明する。図５は、上部に各部の断面構造を示し、下部にそのポテンシャル分布を示す図である。図５（ａ）は図４の時刻ｔ７１における画素の状態、図５（ｂ）は図４の時刻ｔ７２における画素の状態、図５（ｃ）は図４の時刻ｔ７３における画素の状態、図５（ｄ）は図４の時刻ｔ７４における画素の状態にそれぞれ対応する。 Next, with reference to FIGS. 4 and 5, the state of the charge of the pixel having the OFD in both PD1 and PD2 will be described. FIG. 5 shows the cross-sectional structure of each part in the upper part and shows the potential distribution in the lower part. 5A shows the state of the pixel at time t71 in FIG. 4, FIG. 5B shows the state of the pixel at time t72 in FIG. 4, FIG. 5C shows the state of the pixel at time t73 in FIG. (D) corresponds to the state of the pixel at time t74 in FIG.

時刻ｔ７１（図５（ａ）に対応）では、ＰＤ１、ＰＤ２及びＦＤがリセットされ、信号電荷の蓄積が開始される。 At time t71 (corresponding to FIG. 5A), PD1, PD2, and FD are reset and accumulation of signal charges is started.

時刻ｔ７２（図５（ｂ）に対応）では、ＰＤ１及びＰＤ２において信号電荷が蓄積される。 At time t72 (corresponding to FIG. 5B), signal charges are accumulated in PD1 and PD2.

時刻ｔ７３（図５（ｃ）に対応）では、ＰＤ１の蓄積電荷量が飽和電荷量を超えている。このとき、ＰＤ１では、転送スイッチＴＸ１側のポテンシャル障壁がＯＦＤ側のポテンシャル障壁よりも低くなっている。そのため、ＰＤ１に蓄積された飽和電荷量以上の余剰電荷は、ＯＦＤに漏れ出さずにＦＤに漏れ出す。ＯＦＤとＰＤ１との間の半導体領域の構成がＦＤとＰＤ１との間の半導体領域（チャネル）の構成と略同一であるとすると、ＴＸ１のゲート電極に正の電位のφＴＸ１を与えることによって、このようなポテンシャル分布が得られる。これは、ＴＸ１のゲート電極に正の電位を与えることによって、転送スイッチＴＸ１の下のポテンシャル（電位）が上がり、転送スイッチＴＸ１の下のポテンシャル障壁が低くなるからである。なお、ＯＦＤとＰＤ１との間の半導体領域の構成によっては、ＴＸ１のゲート電極にゼロ又は弱い負の電位のφＴＸ１を与えることによっても、図５（ｃ）に示すポテンシャル分布が得られる。このように、時刻ｔ７３では、ＰＤ１で発生した信号電荷はＦＤに漏れ出すが、ＯＦＤには漏れ出さない。 At time t73 (corresponding to FIG. 5C), the accumulated charge amount of PD1 exceeds the saturation charge amount. At this time, in PD1, the potential barrier on the transfer switch TX1 side is lower than the potential barrier on the OFD side. Therefore, surplus charges greater than the saturation charge amount accumulated in PD1 leak into FD without leaking into OFD. Assuming that the configuration of the semiconductor region between OFD and PD1 is substantially the same as the configuration of the semiconductor region (channel) between FD and PD1, this is achieved by applying a positive potential φTX1 to the gate electrode of TX1. Such a potential distribution is obtained. This is because by applying a positive potential to the gate electrode of TX1, the potential (potential) under the transfer switch TX1 increases, and the potential barrier under the transfer switch TX1 decreases. Depending on the configuration of the semiconductor region between OFD and PD1, the potential distribution shown in FIG. 5C can also be obtained by applying φTX1 of zero or a weak negative potential to the gate electrode of TX1. As described above, at time t73, the signal charge generated in PD1 leaks to the FD, but does not leak to the OFD.

時刻ｔ７４（図５（ｄ）に対応）では、ＰＤ１及びＰＤ２において蓄積電荷量が飽和電荷量を超えている。このとき、ＰＤ２では、ＯＦＤ側のポテンシャル障壁が転送スイッチＴＸ２側のポテンシャル障壁よりも低くなっている。そのため、ＰＤ２に蓄積された飽和電荷量以上の余剰電荷は、ＦＤに漏れ出さずにＯＦＤに漏れ出す。ＦＤとＰＤ２との間の半導体領域（チャネル）の構成がＯＦＤとＰＤ２との間の半導体領域の構成と略同一であるとすると、ＴＸ２のゲート電極に負の電位のφＴＸ２を与えることによって、このようなポテンシャル分布が得られる。これは、ＴＸ２のゲート電極に負の電位を与えることによって、転送スイッチＴＸ２の下のポテンシャル（電位）が下がり、転送スイッチＴＸ２の下のポテンシャル障壁が高くなるからである。このように、時刻ｔ７４では、ＰＤ１に蓄積された飽和電荷量以上の余剰電荷はＦＤに漏れ出す。ＰＤ２に蓄積された飽和電荷量以上の余剰電荷はＦＤに漏れ出さずにＯＦＤに漏れ出す。 At time t74 (corresponding to FIG. 5D), the accumulated charge amount in PD1 and PD2 exceeds the saturation charge amount. At this time, in PD2, the potential barrier on the OFD side is lower than the potential barrier on the transfer switch TX2 side. For this reason, surplus charges greater than the saturation charge amount accumulated in the PD2 leak into the OFD without leaking into the FD. If the configuration of the semiconductor region (channel) between FD and PD2 is substantially the same as the configuration of the semiconductor region between OFD and PD2, by applying a negative potential φTX2 to the gate electrode of TX2, Such a potential distribution is obtained. This is because by applying a negative potential to the gate electrode of TX2, the potential (potential) under the transfer switch TX2 is lowered and the potential barrier under the transfer switch TX2 is increased. In this way, at time t74, surplus charges greater than the saturation charge amount accumulated in PD1 leak into the FD. Excess charge accumulated in the PD 2 exceeding the saturation charge amount does not leak to the FD but leaks to the OFD.

このように、図３のように、ＰＤ２のみにＯＦＤが配置された場合でも、図５及び図６のように、ＰＤ１及びＰＤ２の両方にＯＦＤが配置された場合でも、ＰＤ１の余剰電荷がＦＤに漏れ出し、ＰＤ２の余剰電荷がＯＦＤに漏れ出す。 In this way, even when the OFD is arranged only in PD2 as shown in FIG. 3 or when the OFD is arranged in both PD1 and PD2 as shown in FIGS. And the surplus charge of PD2 leaks to OFD.

ＦＤに漏れ出した電荷は、読み出した後にＰＤ１の信号と足し合わせることによって、従来の信号読み出し回路が１画素である構成と同様の方法でダイナミックレンジを拡大することができる。 The charge leaked to the FD is added to the signal of PD1 after being read out, so that the dynamic range can be expanded in the same manner as in the configuration in which the conventional signal readout circuit is one pixel.

説明のため、ＦＤを共有するＰＤを２個としたが、これに限定されず、例えば３個以上であってもよい。２個のＰＤでＦＤを共有する場合には、後述の方法によって、より効果的にダイナミックレンジを拡大することができる。 For explanation, the number of PDs sharing the FD is two. However, the number of PDs is not limited to this, and may be three or more. When the FD is shared by two PDs, the dynamic range can be expanded more effectively by the method described later.

図５に示す構成では、ＴＸ１、ＴＸ２に印加するφＴＸ１、φＴＸ２の電圧によって、電荷排出をＯＦＤ側で行うかＦＤ側で行うかを決定している。しかしながら、図６に示すような構成であってもよい。 In the configuration shown in FIG. 5, it is determined whether to discharge charges on the OFD side or on the FD side according to the voltages of φTX1 and φTX2 applied to TX1 and TX2. However, the configuration shown in FIG. 6 may be used.

図６は、転送スイッチの他に電荷排出スイッチを有する構造を示す。図６（ａ）は図４の時刻ｔ７１における画素の状態、図６（ｂ）は図４の時刻ｔ７２における画素の状態、図６（ｃ）は図４の時刻ｔ７３における画素の状態、図６（ｄ）は図４の時刻ｔ７４における画素の状態にそれぞれ対応する。 FIG. 6 shows a structure having a charge discharging switch in addition to the transfer switch. 6A is the state of the pixel at time t71 in FIG. 4, FIG. 6B is the state of the pixel at time t72 in FIG. 4, FIG. 6C is the state of the pixel at time t73 in FIG. (D) corresponds to the state of the pixel at time t74 in FIG.

時刻ｔ７１（図６（ａ）に対応）では、ＰＤ１、ＰＤ２及びＦＤがリセットされ、信号電荷の蓄積が開始される。 At time t71 (corresponding to FIG. 6A), PD1, PD2, and FD are reset, and signal charge accumulation is started.

時刻ｔ７２（図６（ｂ）に対応）では、ＰＤ１及びＰＤ２において信号電荷が蓄積される。 At time t72 (corresponding to FIG. 6B), signal charges are accumulated in PD1 and PD2.

時刻ｔ７３（図６（ｃ）に対応）では、ＰＤ１の蓄積電荷量が飽和電荷量を超えている。ＰＤ１では、転送スイッチＴＸ１側のポテンシャル障壁が電荷排出スイッチＴＯＦＤ１側のポテンシャル障壁よりも低くなっている。そのため、ＰＤ１に蓄積された飽和電荷量以上の余剰電荷は、ＯＦＤに漏れ出さずにＦＤに漏れ出す。ＦＤとＰＤ１との間の半導体領域（チャネル）の構成がＯＦＤとＰＤ１との間の半導体領域（チャネル）の構成と略同一であるとすると、φＴＸ１の電位をφＴＯＦＤ１の電位よりも高くすることによって、このようなポテンシャル分布が得られる。これは、φＴＸ１の電位をφＴＯＦＤ１の電位よりも高くすると、転送スイッチＴＸ１の下のポテンシャル（電位）が電荷排出スイッチＴＯＦＤ１の下のポテンシャル（電位）よりも相対的に高くなる。そして、転送スイッチＴＸ１の下のポテンシャル障壁が電荷排出スイッチＴＯＦＤ１の下のポテンシャル障壁よりも相対的に低くなるからである。 At time t73 (corresponding to FIG. 6C), the accumulated charge amount of PD1 exceeds the saturation charge amount. In PD1, the potential barrier on the transfer switch TX1 side is lower than the potential barrier on the charge discharge switch TOFD1 side. Therefore, surplus charges greater than the saturation charge amount accumulated in PD1 leak into FD without leaking into OFD. If the configuration of the semiconductor region (channel) between FD and PD1 is substantially the same as the configuration of the semiconductor region (channel) between OFD and PD1, the potential of φTX1 is made higher than the potential of φTOFD1. Such a potential distribution is obtained. This is because when the potential of φTX1 is made higher than the potential of φTOFD1, the potential (potential) under the transfer switch TX1 becomes relatively higher than the potential (potential) under the charge discharge switch TOFD1. This is because the potential barrier below the transfer switch TX1 is relatively lower than the potential barrier below the charge discharge switch TOFD1.

時刻ｔ７４（図６（ｄ）に対応）では、ＰＤ１及びＰＤ２の両方において蓄積電荷量が飽和電荷量を超えている。このとき、ＰＤ２では、電荷排出スイッチＴＯＦＤ２側のポテンシャル障壁が転送スイッチＴＸ２側のポテンシャル障壁よりも低くなっている。そのため、ＰＤ２に蓄積された飽和電荷量以上の余剰電荷は、ＦＤに漏れ出さずにＯＦＤに漏れ出す。ＦＤとＰＤ２との間の半導体領域（チャネル）の構成がＯＦＤとＰＤ２との間の半導体領域（チャネル）の構成と略同一であるとすると、φＴＸ２の電位をφＴＯＦＤ２の電位よりも低くすることによって、このようなポテンシャル分布が得られる。これは、φＴＸ２の電位をφＴＯＦＤ２の電位よりも低くすると、転送スイッチＴＸ２の下のポテンシャル（電位）が電荷排出スイッチＴＯＦＤ２の下のポテンシャル（電位）よりも相対的に低くなる。そして、転送スイッチＴＸ２の下のポテンシャル障壁が電荷排出スイッチＴＯＦＤ２の下のポテンシャル障壁よりも相対的に高くなるからである。このように、時刻ｔ７４では、ＰＤ１に蓄積された飽和電荷量以上の余剰電荷はＦＤに漏れ出す。ＰＤ２に蓄積された飽和電荷量以上の余剰電荷はＦＤに漏れ出さずにＯＦＤに漏れ出す。 At time t74 (corresponding to FIG. 6D), the accumulated charge amount exceeds the saturation charge amount in both PD1 and PD2. At this time, in PD2, the potential barrier on the charge discharge switch TOFD2 side is lower than the potential barrier on the transfer switch TX2 side. For this reason, surplus charges greater than the saturation charge amount accumulated in the PD2 leak into the OFD without leaking into the FD. If the configuration of the semiconductor region (channel) between FD and PD2 is substantially the same as the configuration of the semiconductor region (channel) between OFD and PD2, the potential of φTX2 is made lower than the potential of φTOFD2. Such a potential distribution is obtained. This is because when the potential of φTX2 is made lower than the potential of φTOFD2, the potential (potential) under the transfer switch TX2 becomes relatively lower than the potential (potential) under the charge discharge switch TOFD2. This is because the potential barrier below the transfer switch TX2 is relatively higher than the potential barrier below the charge discharge switch TOFD2. In this way, at time t74, surplus charges greater than the saturation charge amount accumulated in PD1 leak into the FD. Excess charge accumulated in the PD 2 exceeding the saturation charge amount does not leak to the FD but leaks to the OFD.

図７は、図６に示す画素の詳細を示す図である。図２と同様の構成には、同じ参照符号を付している。ＯＦＤは余剰電荷を排出するオーバーフロードレインであり、電荷排出スイッチＴＯＦＤ１、ＴＯＦＤ２を介してそれぞれＰＤ１、ＰＤ２と接続されている。電荷排出スイッチＴＯＦＤ１、ＴＯＦＤ２はそれぞれ電荷排出パルスΦＴＯＦＤ１、ΦＴＯＦＤ２によって駆動される。そして、φＴＸ１、φＴＸ２、ΦＴＯＦＤ１及びΦＴＯＦＤ２の電圧値によって、ＯＦＤ及びＦＤのいずれかにＰＤ１、ＰＤ２の余剰電荷が振り分けられる。 FIG. 7 is a diagram showing details of the pixel shown in FIG. The same components as those in FIG. 2 are denoted by the same reference numerals. OFD is an overflow drain that discharges surplus charges, and is connected to PD1 and PD2 via charge discharge switches TOFD1 and TOFD2, respectively. The charge discharge switches TOFD1 and TOFD2 are driven by charge discharge pulses ΦTOFD1 and ΦTOFD2, respectively. Then, surplus charges of PD1 and PD2 are distributed to either OFD or FD according to the voltage values of φTX1, φTX2, ΦTOFD1, and ΦTOFD2.

次に、ＦＤの読み出し動作とＰＤの読み出し動作の時間的な関係について、撮像素子の駆動の時間関係を示す図８を用いて説明する。図８は、横軸に時間をとっており、説明のためＦＤを共有するＰＤは４個とする。まず、撮像素子は、撮影動作に先立ってＰＤとＦＤのリセットを行う。その後、蓄積を開始し、ＰＤで信号が発生し、上述のＰＤ１のモードで動作するＰＤの信号は、飽和電荷以上になるとＦＤへ電荷を排出する。ＰＤ２のモードで動作するＰＤの信号は、飽和電荷以上になるとＯＦＤへ電荷を排出する。ＰＤ１のモードのＰＤがＰＤａ、ＰＤｂ、ＰＤｃ、ＰＤｄのいずれになるかは、後述する色判定手段によって決定される。ＰＤ１のモード以外のＰＤはＰＤ２のモードとして動作する。蓄積が終わると、ＦＤの信号を読み出す。その後、ＦＤを一度リセットし、１番目のＰＤであるＰＤａを読み出す。その後、再度ＦＤをリセットし、２番目のＰＤｂを読み出す。この動作を繰り返し、４番目のＰＤｄまで読み出す。読み出された信号は後述する色判定演算部により、ＰＤａ〜ＰＤｄのうち、ＰＤ１のモードで動作をしたものにＦＤの信号を付加することによって、４個のＰＤのうち、１つのＰＤの飽和が拡大された画像として、出力される。 Next, a temporal relationship between the FD readout operation and the PD readout operation will be described with reference to FIG. In FIG. 8, time is taken on the horizontal axis, and it is assumed that four PDs share an FD for the sake of explanation. First, the image sensor resets the PD and FD prior to the shooting operation. Thereafter, accumulation starts, a signal is generated in the PD, and when the PD signal operating in the PD1 mode becomes equal to or higher than the saturation charge, the charge is discharged to the FD. When the PD signal operating in the PD2 mode becomes equal to or higher than the saturation charge, the charge is discharged to the OFD. Whether the PD in the PD1 mode is PDa, PDb, PDc, or PDd is determined by a color determination unit to be described later. PDs other than the PD1 mode operate as the PD2 mode. When the accumulation ends, the FD signal is read out. Thereafter, the FD is reset once and PDa which is the first PD is read. Thereafter, the FD is reset again and the second PDb is read. This operation is repeated until the fourth PDd is read. The read signal is saturated by one of the four PDs by adding an FD signal to the PDa to PDd operating in the PD1 mode by a color determination calculation unit described later. Is output as an enlarged image.

信号量が多いＰＤ１の動作をどの色フィルタを有するＰＤが行うかについては、色判定手段によって決定する。図９を用いて説明する。色判定手段は、図９（ａ）の１２０１に示すように、撮影者が撮影動作を行う直前に本撮影に使用する撮像素子において、プリ撮影を行い、その画像を色判定演算部に送る。色判定演算部では、特定領域の平均値等から最も信号量の多い色を判定し、その色フィルタを有するＰＤを上述のＰＤ１のモードとして動作させる。そして、残りのＰＤを前述のＰＤ２のモードとして動作させるために、図９（ａ）の１２０２に示すように、撮像素子又は不図示の撮像素子駆動手段にＰＤ１のモードとして動作させるＰＤの情報若しくはＰＤ２のモードとして動作させるＰＤの情報を送る。撮像素子又は不図示の撮像素子駆動手段は、色判定演算部からの情報に基づいて、駆動パターンを決定し、本撮影を行う。図９（ａ）の１２０３では、本撮影において上述のとおり、ＦＤの信号、複数のＰＤの信号が出力される様子を示す。出力された信号は信号処理回路により、図９（ａ）の１２０４に示すように、色判定演算部からの情報に基づいて、複数のＰＤのうちＰＤ１のモードとして動作をしたＰＤにＦＤの信号を付加する。その他のＰＤはＰＤ２のモードとしてＦＤの信号を付加せずに処理する。 The color determination means determines which PD has which color filter performs the operation of PD1 having a large signal amount. This will be described with reference to FIG. As shown at 1201 in FIG. 9A, the color determination means performs pre-photographing in the image sensor used for the main photographing immediately before the photographer performs the photographing operation, and sends the image to the color judgment calculation unit. The color determination calculation unit determines the color with the largest signal amount from the average value of the specific region, and operates the PD having the color filter as the above-described PD1 mode. Then, in order to operate the remaining PD as the above-described PD2 mode, as shown at 1202 in FIG. 9A, information on PD that causes the image sensor or an image sensor driving unit (not shown) to operate as the PD1 mode or PD information to be operated as the PD2 mode is sent. An image sensor or an image sensor drive unit (not shown) determines a drive pattern based on information from the color determination calculation unit, and performs actual photographing. Reference numeral 1203 in FIG. 9A shows a state in which an FD signal and a plurality of PD signals are output in the main photographing as described above. As shown in 1204 of FIG. 9A, the output signal is output from the signal processing circuit to the PD that has been operated as the PD1 mode among a plurality of PDs based on information from the color determination calculation unit. Is added. Other PDs are processed without adding an FD signal as a mode of PD2.

また、図９（ｂ）に示すように、本撮影に使用する撮像素子以外にも、別途色判定用の装置を有し、色判定用の装置からの色情報によって、これから撮影する予定の画像中でどの色フィルタを有するＰＤが最も発生信号量が多くなるか予想する。そして、そのＰＤをＰＤ１のモードとして動作することが可能である。この場合、図９（ｂ）の１２０５以外のデータのやりとり（１２０６〜１２０８）は図９（ａ）と同様である。 Further, as shown in FIG. 9B, in addition to the image sensor used for the actual photographing, there is a separate device for color determination, and an image to be captured from now on according to color information from the device for color determination. It is predicted which PD having which color filter has the largest amount of generated signals. Then, it is possible to operate the PD as a mode of PD1. In this case, data exchange (1206 to 1208) other than 1205 in FIG. 9B is the same as that in FIG.

各画素は色フィルタを有し、これらは例えば図１０に示すように垂直方向及び水平方向に規則的に配置される。図１０（ａ）は、３種類の色フィルタを用いた配列を示し、図１０（ｂ）は４種類の色フィルタを用いた配列を示す。ここでは、ＦＤを共有する２つの画素は、垂直方向に配置されているものとする。図１０（ｂ）に示すように、４種類の色フィルタを用いる場合、上述のＰＤ１には、最も感度の高い色フィルタを配置する。ＦＤを共有する２つの画素は、垂直方向に並んでいるため、ＰＤ１の水平隣に配置された画素もＰＤ１となる。そのため、２色のダイナミックレンジが拡大される。図１０（ｂ）に示す場合には、ダイナミックレンジを拡大する行に感度の高い色フィルタから２色配置することが、ダイナミックレンジを拡大する観点からより好ましい。 Each pixel has a color filter, which is regularly arranged in the vertical and horizontal directions as shown in FIG. FIG. 10A shows an array using three types of color filters, and FIG. 10B shows an array using four types of color filters. Here, it is assumed that the two pixels sharing the FD are arranged in the vertical direction. As shown in FIG. 10B, when four types of color filters are used, the most sensitive color filter is arranged in the above-described PD1. Since the two pixels sharing the FD are arranged in the vertical direction, the pixel arranged horizontally next to PD1 is also PD1. Therefore, the dynamic range of two colors is expanded. In the case shown in FIG. 10B, it is more preferable from the viewpoint of expanding the dynamic range to arrange two colors from a color filter with high sensitivity in the row where the dynamic range is expanded.

図１０（ａ）に示す３種類の色フィルタを用いる場合、通常撮影において、最も感度が高い色フィルタが２つある場合が多い。そのため、最も感度が低い色フィルタをＰＤ２の行とすることで、最も感度が低い色フィルタを有するＰＤ以外の色のＰＤの取り扱い電荷量が多くなり、最も感度が低い色フィルタを有するＰＤ以外の画素のダイナミックレンジが拡大した画像が得られる。 When the three types of color filters shown in FIG. 10A are used, there are often two color filters with the highest sensitivity in normal shooting. Therefore, by setting the color filter having the lowest sensitivity to the row of PD2, the amount of charge handled by the PD of a color other than the PD having the color filter having the lowest sensitivity is increased, and other than the PD having the color filter having the lowest sensitivity. An image with an expanded dynamic range of pixels can be obtained.

また、最も感度が低い色フィルタを有する画素が飽和した場合には、周辺の画素も飽和しているものとみなして、信号処理により信号を変化させてもよい。 In addition, when a pixel having a color filter with the lowest sensitivity is saturated, the surrounding pixels may be regarded as saturated and the signal may be changed by signal processing.

次に、本実施形態に係るの撮像部１００を組み込んだ撮像装置について説明する。図１１は、本実施形態に係る撮像装置を示す図である。 Next, an imaging apparatus incorporating the imaging unit 100 according to the present embodiment will be described. FIG. 11 is a diagram illustrating the imaging apparatus according to the present embodiment.

撮像部１００には、絞り機構及びレンズを有する光学系１を通して光線が入射する。光学系１と撮像部１００との間、又は光学系１内にメカニカルシャッタ２が配置される。光学系１、メカニカルシャッタ２及び撮像部１００は、駆動回路７によって駆動される。Ａ／Ｄ変換器５は、撮像部１００内のＣＤＳ回路（図１のＣＤＳ回路１０３）で処理されたアナログ信号をデジタル信号に変換する。タイミング信号発生回路６は、撮像部１００、ＣＤＳ回路１０３及びＡ／Ｄ変換器５に提供するタイミング信号を発生する。信号処理回路８は、Ａ／Ｄ変換された画像データに対して上述の信号処理の他、種々の信号処理を施す。画像メモリ９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。記録回路１１は、信号処理された画像データを記録媒体１０に記録する。表示回路１３は、信号処理された画像データを画像表示装置１２に提供し画像を表示させる。 Light rays enter the imaging unit 100 through the optical system 1 having a diaphragm mechanism and a lens. A mechanical shutter 2 is disposed between the optical system 1 and the imaging unit 100 or in the optical system 1. The optical system 1, the mechanical shutter 2, and the imaging unit 100 are driven by the drive circuit 7. The A / D converter 5 converts the analog signal processed by the CDS circuit (the CDS circuit 103 in FIG. 1) in the imaging unit 100 into a digital signal. The timing signal generation circuit 6 generates a timing signal to be provided to the imaging unit 100, the CDS circuit 103, and the A / D converter 5. The signal processing circuit 8 performs various signal processing on the A / D converted image data in addition to the above-described signal processing. The image memory 9 is used for temporarily storing a digital image signal during signal processing or for storing image data which is a digital image signal subjected to signal processing. The recording circuit 11 records the signal-processed image data on the recording medium 10. The display circuit 13 provides the image data subjected to the signal processing to the image display device 12 to display an image.

不揮発性メモリ等のＲＯＭ１５は、制御プログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ及びキズアドレス等の補正データを記憶する。ＲＡＭ１６には、ＲＯＭ１５に記憶されたプログラム、制御データ及び補正データが転送され、撮像装置全体を制御する制御部１４によって使用される。 A ROM 15 such as a non-volatile memory stores a control program, control data such as parameters and tables used when executing the program, and correction data such as a flaw address. A program, control data, and correction data stored in the ROM 15 are transferred to the RAM 16 and used by the control unit 14 that controls the entire imaging apparatus.

撮影動作に先立ち、撮像装置の電源投入時等の制御部１４の動作開始時において、ＲＯＭ１５から必要なプログラム、制御データ及び補正データがＲＡＭ１６に転送される。光学系１は、制御部１４から送られてくる制御信号に応じて、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子１００上に結像させる。次に、メカニカルシャッタ２は、制御部１４から送られてくる制御信号に応じて、撮像素子の動作に合わせて撮像部１００を遮光するように駆動される。撮像部１００は、制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスを基にして駆動回路７で生成される駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像部１００から出力されたアナログの画像信号は、制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスにより、ＣＤＳ回路１０３でクロック同期性ノイズが除去され、Ａ／Ｄ変換器５でデジタル画像信号に変換される。次に、制御部１４により制御される信号処理回路８において、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等がなされる。信号処理回路８で信号処理された画像データや画像メモリ９に記憶されている画像データは、記録回路１１において画像記録媒体１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換される。そして、記録媒体１０に記録したり、信号処理回路８で解像度変換処理を実施された後、表示回路１３において画像表示装置１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１２に表示されたりする。 Prior to the photographing operation, necessary programs, control data, and correction data are transferred from the ROM 15 to the RAM 16 when the operation of the control unit 14 such as when the image pickup apparatus is turned on. The optical system 1 drives a diaphragm and a lens in accordance with a control signal sent from the control unit 14 to form a subject image set to an appropriate brightness on the image sensor 100. Next, the mechanical shutter 2 is driven so as to shield the image capturing unit 100 in accordance with the operation of the image sensor in accordance with a control signal sent from the control unit 14. The imaging unit 100 is driven by a drive pulse generated by the drive circuit 7 based on an operation pulse generated by the timing signal generation circuit 6 controlled by the control unit 14, and converts the subject image into an electrical signal by photoelectric conversion. Output as an analog image signal. The analog image signal output from the imaging unit 100 is subjected to the operation pulse generated by the timing signal generation circuit 6 controlled by the control unit 14, the clock synchronization noise is removed by the CDS circuit 103, and the A / D converter 5. Is converted into a digital image signal. Next, in the signal processing circuit 8 controlled by the control unit 14, image processing such as color conversion, white balance, and gamma correction, resolution conversion processing, image compression processing, and the like are performed on the digital image signal. The image data signal-processed by the signal processing circuit 8 and the image data stored in the image memory 9 are converted into data suitable for the image recording medium 10 (for example, file system data having a hierarchical structure) in the recording circuit 11. . Then, after being recorded on the recording medium 10 or subjected to resolution conversion processing by the signal processing circuit 8, the display circuit 13 converts the image into a signal suitable for the image display device 12 (for example, NTSC analog signal). Or displayed on the display device 12.

ここで、信号処理回路８においては、信号処理をせずにデジタル画像信号をそのまま画像データとして画像メモリ９や記録回路１１に出力してもよい。また、信号処理回路８は、制御部１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報を制御部１４に出力する。このような情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がある。また、記録回路１１は、制御部１４から要求があった場合に、画像記録媒体１０の種類や空き容量等の情報を制御部１４に出力する。 Here, the signal processing circuit 8 may output the digital image signal as it is to the image memory 9 or the recording circuit 11 as image data without performing signal processing. Further, when requested by the control unit 14, the signal processing circuit 8 outputs information on digital image signals and image data generated in the signal processing process to the control unit 14. Such information includes, for example, information such as the spatial frequency of the image, the average value of the designated area, the data amount of the compressed image, or information extracted from them. Further, the recording circuit 11 outputs information such as the type and free capacity of the image recording medium 10 to the control unit 14 when requested by the control unit 14.

本発明の好適な実施形態に係る撮像部の構成を示す図である。It is a figure which shows the structure of the imaging part which concerns on suitable embodiment of this invention. 光電変換装置に配置された画素の詳細を示す図である。It is a figure which shows the detail of the pixel arrange | positioned at a photoelectric conversion apparatus. 本発明の好適な実施形態に係るフォトダイオードとＦＤの位置関係とポテンシャルを表した図である。It is a figure showing the positional relationship and potential of the photodiode and FD which concern on suitable embodiment of this invention. 本発明の好適な実施形態に係る撮像素子の蓄積時間と信号量の関係を説明した図である。It is a figure explaining the relationship between the accumulation time and signal amount of the image pick-up element which concerns on suitable embodiment of this invention. 本発明の好適な実施形態に係るフォトダイオードとＦＤの位置関係とポテンシャルを表した図である。It is a figure showing the positional relationship and potential of the photodiode and FD which concern on suitable embodiment of this invention. 転送スイッチの他に電荷排出スイッチを有する構造におけるフォトダイオードとＦＤの位置関係とポテンシャルを表した図である。It is a figure showing the positional relationship and potential of a photodiode and FD in a structure having a charge discharge switch in addition to a transfer switch. 信号読み出し回路を共有する２画素の読み出しに関わる回路構成を示す図である。It is a figure which shows the circuit structure in connection with reading of 2 pixels which share a signal reading circuit. 撮像素子の駆動の時間関係を説明した図である。It is a figure explaining the time relationship of the drive of an image sensor. 色判定手段を含む撮像装置を説明した図である。It is a figure explaining the imaging device containing a color determination means. 本発明の好適な実施形態に係る撮像素子の色フィルタの位置関係を説明した図である。It is a figure explaining the positional relationship of the color filter of the image pick-up element which concerns on suitable embodiment of this invention. 本発明の好適な実施形態に係る撮像素子を適用したデジタルカメラの構成図である。It is a block diagram of a digital camera to which an image sensor according to a preferred embodiment of the present invention is applied. ＰＤに蓄積された信号電荷が飽和信号量を超えたときに、ポテンシャル障壁の低いところに漏れ込む様子を示す図である。It is a figure which shows a mode that when the signal charge accumulate | stored in PD exceeds the saturation signal amount, it leaks into the place where a potential barrier is low. 従来の２画素共通の各部の断面構造とそのポテンシャル分布を示す図である。It is a figure which shows the cross-sectional structure of each part common to the conventional 2 pixels, and its potential distribution. 従来の２画素共通の撮像素子の蓄積時間と信号量の関係を説明した図である。It is the figure explaining the relationship between the accumulation time of the conventional image pick-up element common to 2 pixels, and signal amount.

Explanation of symbols

１４制御部
１０１光電変換装置
ＰＤ１、２フォトダイオード
ＦＤフローティングディフュージョン
ＯＦＤ電荷排出領域 14 Control Unit 101 Photoelectric Conversion Device PD1, Photodiode FD Floating Diffusion OFD Charge Discharge Area

Claims

A first photoelectric conversion element and a second photoelectric conversion element that photoelectrically convert light into electric charge;
An accumulation unit that is shared by the first photoelectric conversion element and the second photoelectric conversion element and temporarily accumulates the charge transferred from the first photoelectric conversion element or the second photoelectric conversion element;
A first transfer switch disposed between the first photoelectric conversion element and the storage unit;
A second transfer switch disposed between the second photoelectric conversion element and the storage unit;
A charge-voltage conversion unit that converts the charge accumulated in the accumulation unit into a voltage;
A charge discharging unit that is shared by the first photoelectric conversion element and the second photoelectric conversion element and discharges excess charge of the first photoelectric conversion element or the second photoelectric conversion element ,
A photoelectric conversion device , wherein a first voltage is applied to the first transfer switch, and a second voltage different from the first voltage is applied to the second transfer switch .

When the second voltage is higher than the first voltage, the surplus charge of the first photoelectric conversion element is accumulated in the accumulation unit and the surplus charge of the second photoelectric conversion element is discharged to the charge. And when the first voltage is higher than the second voltage, surplus charges of the first photoelectric conversion element are discharged to the charge discharge unit and the second photoelectric conversion element The photoelectric conversion device according to claim 1 , wherein surplus charges are accumulated in the accumulation unit.

3. The photoelectric signal according to claim 2 , wherein an image signal based on the surplus charge accumulated in the accumulation unit and an image signal based on the charge accumulated in the photoelectric conversion element that generates the surplus charge are combined. Conversion device.

Optical system,
The photoelectric conversion device according to any one of claims 1 to 3 ,
An imaging apparatus comprising:

The first photoelectric conversion element and the second photoelectric conversion element that photoelectrically convert light into electric charge, and the first photoelectric conversion element and the second photoelectric conversion element, A storage unit for temporarily storing the charge transferred from the second photoelectric conversion element; a first transfer switch disposed between the first photoelectric conversion element and the storage unit; A second transfer switch disposed between the photoelectric conversion element and the storage unit; a charge-voltage conversion unit that converts the charge stored in the storage unit into a voltage; the first photoelectric conversion element; A method of controlling a photoelectric conversion apparatus including a charge discharging unit that is shared by two photoelectric conversion elements and discharges surplus charges of the first photoelectric conversion element or the second photoelectric conversion element,
A control method of a photoelectric conversion device, wherein a first voltage is applied to the first transfer switch, and a second voltage different from the first voltage is applied to the second transfer switch.

The first photoelectric conversion element and the second photoelectric conversion element that photoelectrically convert light into electric charge, and the first photoelectric conversion element and the second photoelectric conversion element, A storage unit that temporarily stores the charge transferred from the second photoelectric conversion element; a charge-voltage conversion unit that converts the charge transferred to the storage unit into a voltage; the first photoelectric conversion element; A photoelectric conversion device including a charge discharging unit that is shared by two photoelectric conversion elements and discharges surplus charges of the first photoelectric conversion element or the second photoelectric conversion element;
The surplus of the first photoelectric conversion element or the second photoelectric conversion element according to the signal amount of the image signal based on the charge generated by photoelectric conversion of the first photoelectric conversion element or the second photoelectric conversion element The photoelectric conversion device is operated in a first operation mode in which charges are discharged to the storage unit, or surplus charges of the first photoelectric conversion element or the second photoelectric conversion element are discharged to the charge discharge unit. Determining means for determining whether to operate in the two operation modes;
An imaging apparatus comprising:

The first photoelectric conversion element and the second photoelectric conversion element that photoelectrically convert light into electric charge, and the first photoelectric conversion element and the second photoelectric conversion element, A storage unit that temporarily stores the charge transferred from the second photoelectric conversion element; a charge-voltage conversion unit that converts the charge transferred to the storage unit into a voltage; the first photoelectric conversion element; A photoelectric conversion device comprising: a charge discharging unit that is shared by two photoelectric conversion elements and discharges surplus charges of the first photoelectric conversion element or the second photoelectric conversion element;
The surplus of the first photoelectric conversion element or the second photoelectric conversion element according to the signal amount of the image signal based on the charge generated by photoelectric conversion of the first photoelectric conversion element or the second photoelectric conversion element The photoelectric conversion device is operated in a first operation mode in which charges are discharged to the storage unit, or surplus charges of the first photoelectric conversion element or the second photoelectric conversion element are discharged to the charge discharge unit. A method for controlling a photoelectric conversion device, comprising: determining whether to operate in two operation modes.