[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3979443B2 - Spatial information detection device using intensity-modulated light - Google Patents

Spatial information detection device using intensity-modulated light Download PDF

Info

Publication number
JP3979443B2
JP3979443B2 JP2006231353A JP2006231353A JP3979443B2 JP 3979443 B2 JP3979443 B2 JP 3979443B2 JP 2006231353 A JP2006231353 A JP 2006231353A JP 2006231353 A JP2006231353 A JP 2006231353A JP 3979443 B2 JP3979443 B2 JP 3979443B2
Authority
JP
Japan
Prior art keywords
charge
unit
period
charges
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006231353A
Other languages
Japanese (ja)
Other versions
JP2006339672A (en
Inventor
裕介 橋本
裕司 高田
史和 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2006231353A priority Critical patent/JP3979443B2/en
Publication of JP2006339672A publication Critical patent/JP2006339672A/en
Application granted granted Critical
Publication of JP3979443B2 publication Critical patent/JP3979443B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、強度変調された光が照射されている空間からの光を受光することにより空間に関する各種情報を検出する強度変調光を用いた空間情報の検出装置に関するものである。   The present invention relates to an apparatus for detecting spatial information using intensity-modulated light that detects various types of information related to space by receiving light from the space irradiated with intensity-modulated light.

従来から、強度変調した光を発光源から空間に照射するとともに、この空間に存在する物体により反射された反射光を感光部で受光し、発光源から照射した光と感光部で受光した光との関係に基づいて空間に関する各種情報を検出する技術が知られている。空間に関する情報とは、空間に存在する物体までの距離や空間に存在する物体の反射による受光量の変化などを意味する。   Conventionally, light whose intensity has been modulated is emitted from a light source to a space, and reflected light reflected by an object existing in the space is received by a photosensitive unit, and light emitted from the light source and light received by a photosensitive unit are A technique for detecting various information related to space based on the relationship is known. The information about the space means a distance to an object existing in the space, a change in received light amount due to reflection of the object existing in the space, and the like.

強度変調した光を用いて物体までの距離を求めるには、変調周波数の逆数である変調周期に同期した特定の異なる位相で受光強度を複数回検出し、受光強度を検出した位相と受光強度との関係によって、発光源から照射した光と感光部で受光した光との位相差を求める。たとえば、発光源から照射される光の強度を正弦波で変調し、変調時の特定の異なる位相に対する感光部での受光強度を3回以上(望ましくは4回以上)検出すれば、位相差を求めることができる。   To determine the distance to an object using intensity-modulated light, the received light intensity is detected multiple times at specific different phases synchronized with the modulation period, which is the reciprocal of the modulation frequency, and the detected light intensity and phase Thus, the phase difference between the light emitted from the light emitting source and the light received by the photosensitive portion is obtained. For example, if the intensity of light emitted from the light source is modulated with a sine wave, and the received light intensity at the photosensitive portion for a specific different phase at the time of modulation is detected three times or more (preferably four times or more), the phase difference can be calculated. Can be sought.

いま、発光源から照射する光が図18の曲線イのように強度変調され、感光部での受光強度が図18の曲線ロのように変化したとする。ここで、曲線イの位相が0度、90度、180度、270度である4点において受光強度をサンプリングしたときの各受光強度に相当する検出値をそれぞれA0,A1,A2,A3とする。ただし、各位相における検出値A0,A1,A2,A3は、各位相における瞬間の時刻の入射光に対応するのではなく、たとえば図に集積時間Twとして示す期間における入射光に対応する。ここで、検出値A0,A1,A2,A3をサンプリングする期間内では位相差ψが変化せず、かつ発光から受光までの光の減衰率(図では減衰を無視している)にも変化がないものとすれば、検出値A0,A1,A2,A3を90度毎に求めていることから、各検出値A0,A1,A2,A3と位相差ψとの関係は、次式で表すことができる。
ψ=tan−1{(A3−A1)/(A0−A2)}
上述のようにして複数個の検出値A0,A1,A2,A3から位相差ψを求めると、変調周期T〔s〕と位相差ψ〔rad〕と光の速度c〔m/s〕とを用いて、物体までの距離L〔m〕を次式のように求めることができる。
L≒cT(ψ/4π)
上述の技術思想を実現する装置としては、1画素について1個の感光部と4個のメモリセルとを設け、1画素内の各メモリセルと感光部との間にそれぞれ設けた電気スイッチを、上述した集積時間Twに相当する期間にそれぞれオンにすることによって、各メモリセルに各検出値A0,A1,A2,A3を振り分けて蓄積するものが提案されている(たとえば、特許文献1参照)。
特表平10−508736号公報(第7−9頁、図1、図4)
Now, it is assumed that the light emitted from the light emitting source is intensity-modulated as shown by a curve a in FIG. 18 and the received light intensity at the photosensitive portion changes as shown by a curve b in FIG. Here, the detected values corresponding to the received light intensity when the received light intensity is sampled at four points where the phase of the curve A is 0 degrees, 90 degrees, 180 degrees, and 270 degrees are A0, A1, A2, and A3, respectively. . However, the detected values A0, A1, A2, and A3 in each phase do not correspond to the incident light at the instantaneous time in each phase, but correspond to the incident light in the period shown as the integration time Tw in the drawing, for example. Here, the phase difference ψ does not change during the period when the detection values A0, A1, A2, and A3 are sampled, and the light attenuation rate from light emission to light reception (the attenuation is ignored in the figure) is also changed. If not, the detected values A0, A1, A2, and A3 are obtained every 90 degrees, and the relationship between the detected values A0, A1, A2, and A3 and the phase difference ψ is expressed by the following equation. Can do.
ψ = tan −1 {(A3-A1) / (A0-A2)}
When the phase difference ψ is obtained from the plurality of detection values A0, A1, A2, and A3 as described above, the modulation period T [s], the phase difference ψ [rad], and the speed of light c [m / s] are obtained. By using this, the distance L [m] to the object can be obtained as follows.
L ≒ cT (ψ / 4π)
As an apparatus for realizing the above technical idea, one photosensitive portion and four memory cells are provided for one pixel, and an electrical switch provided between each memory cell and the photosensitive portion in one pixel is provided. There has been proposed one in which each detection value A0, A1, A2, A3 is distributed and stored in each memory cell by being turned on during a period corresponding to the integration time Tw described above (see, for example, Patent Document 1). .
JP 10-508736 A (page 7-9, FIG. 1, FIG. 4)

ところで、特許文献1に記載された装置では、感光部とメモリセルとの間に設けたスイッチのオンオフのみによって、メモリセルに検出値A0,A1,A2,A3を蓄積するものであるから、感光部において生成した電荷のうちメモリセルに転送されなかった電荷は感光部に暫時残留する。このような残留電荷は、感光部の内部で再結合によって消滅するか、あるいはスイッチが次にオンになったときにメモリセルに転送されることになる。   By the way, in the apparatus described in Patent Document 1, the detection values A0, A1, A2, and A3 are stored in the memory cell only by turning on and off the switch provided between the photosensitive portion and the memory cell. Among the charges generated in the portion, the charges not transferred to the memory cell remain in the photosensitive portion for a while. Such residual charge disappears by recombination inside the photosensitive portion, or is transferred to the memory cell when the switch is turned on next time.

ここで、測定可能な最大距離がたとえば7.5mになる装置を想定する。この場合、変調周波数は20MHzになるから、集積時間Twは変調周期である50nsよりも短くしなければならない。一方、残留電荷が再結合によって消滅するのに要する時間は通常は100μsよりも長いから、メモリセルには集積期間Twに受光によって生成された電荷だけでなく残留電荷も転送される。つまり、メモリセルに蓄積される電荷には、検出値A0,A1,A2,A3に相当する信号電荷に加えて、残留電荷による雑音成分が混入することになる。感光部で受光する光は強度変調されているから、検出値A0,A1,A2,A3に応じて雑音成分も変化することになり、上述した演算によって位相差ψを求めようとすれば雑音成分による誤差を生じる可能性がある。   Here, it is assumed that the maximum measurable distance is 7.5 m, for example. In this case, since the modulation frequency is 20 MHz, the integration time Tw must be shorter than the modulation period of 50 ns. On the other hand, since the time required for the residual charge to disappear by recombination is usually longer than 100 μs, not only the charge generated by light reception in the integration period Tw but also the residual charge is transferred to the memory cell. That is, noise components due to residual charges are mixed into the charges accumulated in the memory cells in addition to the signal charges corresponding to the detection values A0, A1, A2, and A3. Since the light received by the photosensitive unit is intensity-modulated, the noise component also changes according to the detection values A0, A1, A2, and A3. If the phase difference ψ is obtained by the above-described calculation, the noise component is changed. May cause errors.

本発明は上記事由に鑑みて為されたものであり、その目的は、感光部で生成された電荷のうち信号電荷として使用されない残留電荷を廃棄することにより、信号電荷への雑音成分の混入を抑制し、空間情報を高SN比で検出することを可能とした強度変調光を用いた空間情報の検出装置を提供することにある。   The present invention has been made in view of the above-described reasons, and the object thereof is to discard a residual charge that is not used as a signal charge among the charges generated in the photosensitive portion, thereby mixing a noise component into the signal charge. An object of the present invention is to provide an apparatus for detecting spatial information using intensity-modulated light that is capable of suppressing and detecting spatial information with a high SN ratio.

請求項1の発明は、半導体層の主表面に絶縁膜を介して複数個の制御電極を重ねた構造であって所定の変調周波数の変調信号で強度変調された光が照射されている空間からの光を受光し受光強度に対応する量の電荷を生成する感光部と、感光部で生成した電荷のうち信号電荷を蓄積する電荷蓄積部と、廃棄電極を備え感光部で生成した電荷のうち不要電荷として廃棄する電荷の移動が廃棄電極に印加する廃棄電圧に応じて制御される電荷廃棄部と、電荷蓄積部に蓄積した信号電荷を外部に取り出す電荷取出部と、隣接する規定の複数個の制御電極を組にし制御電極に印加する電圧を組単位かつ変調信号の周期に同期するタイミングで制御することにより半導体層において各制御電極に対応する部位に形成されるポテンシャル井戸の深さを制御する制御回路部と、電荷取出部により取り出した電荷を用いて前記空間に関する情報を評価する評価部とを備え、制御回路部は、感光部で生成された電荷を蓄積する蓄積期間には組内の複数個の制御電極に対応付けてポテンシャル井戸を形成し、不要電荷を廃棄する廃棄期間には蓄積期間に蓄積した電荷のうち少なくとも1個の制御電極に対応するポテンシャル井戸の電荷を信号電荷としてそのまま残すとともに、残りの制御電極に対応して生成された不要電荷を当該制御電極に対応する部位のポテンシャル井戸が浅くなる方向に制御することにより電荷廃棄部に廃棄することを特徴とする。 The invention according to claim 1 is a structure in which a plurality of control electrodes are stacked on the main surface of the semiconductor layer via an insulating film, and from a space irradiated with light whose intensity is modulated by a modulation signal having a predetermined modulation frequency. Of the light generated by the photosensitive portion, the photosensitive portion that receives the light and generates a charge corresponding to the received light intensity, the charge accumulation portion that accumulates the signal charge among the charges generated by the photosensitive portion, and the waste electrode. A charge discarding unit in which the movement of charges discarded as unnecessary charges is controlled according to the discarding voltage applied to the discarding electrode, a charge extracting unit for taking out signal charges accumulated in the charge accumulating unit, and a plurality of adjacent specified pluralities By controlling the voltage applied to the control electrode as a group and timing synchronized with the period of the modulation signal, the depth of the potential well formed in the portion corresponding to each control electrode in the semiconductor layer is controlled. A control circuit unit, and an evaluation unit that evaluates information about the space using the charge extracted by the charge extraction unit. The control circuit unit is included in the storage period during which the charge generated by the photosensitive unit is stored. A potential well is formed in association with a plurality of control electrodes, and in the discard period in which unnecessary charges are discarded, the charge in the potential well corresponding to at least one control electrode among the charges accumulated in the accumulation period is used as a signal charge. The present invention is characterized in that it is left as it is, and unnecessary charges generated corresponding to the remaining control electrodes are discarded in the charge discarding unit by controlling in a direction in which the potential well of the portion corresponding to the control electrode becomes shallower.

請求項2の発明は、請求項1の発明において、前記制御回路部は、廃棄期間において信号電荷を残すポテンシャル井戸が他のポテンシャル井戸よりも深くなるように、蓄積期間における前記組内の前記制御電極への印加電圧を制御することを特徴とする。   According to a second aspect of the present invention, in the first aspect of the present invention, the control circuit unit controls the control in the set in the accumulation period so that a potential well that leaves a signal charge in the discard period is deeper than the other potential wells. The voltage applied to the electrode is controlled.

請求項3の発明は、請求項2の発明において、前記制御回路部は、蓄積期間において形成するポテンシャル井戸が階段状になるように、前記組内の前記制御電極への印加電圧を制御することを特徴とする。   According to a third aspect of the present invention, in the second aspect of the present invention, the control circuit section controls the voltage applied to the control electrode in the set so that the potential well formed in the accumulation period is stepped. It is characterized by.

請求項4の発明は、請求項2または請求項3の発明において、前記電荷廃棄部はオーバーフロードレインであって、前記制御回路部は、廃棄期間において信号電荷を残すポテンシャル井戸を形成する部分のポテンシャルをオーバーフロードレインのポテンシャルよりも深くし、蓄積期間に形成される他の部分のポテンシャル井戸のポテンシャルをオーバーフロードレインのポテンシャルよりも浅くするように、前記組内の前記制御電極への印加電圧を制御することを特徴とする。   According to a fourth aspect of the present invention, in the second or third aspect of the present invention, the charge discarding portion is an overflow drain, and the control circuit portion is a potential of a portion that forms a potential well that leaves a signal charge during the discarding period. The voltage applied to the control electrode in the set is controlled so that the potential of the potential well in the other part formed during the accumulation period is shallower than the potential of the overflow drain. It is characterized by that.

請求項5の発明では、請求項1ないし請求項4の発明において、前記制御回路部は、前記組内の制御電極のうち他の組に隣接する制御電極には電圧を印加せずにポテンシャル障壁を形成することを特徴とする。   According to a fifth aspect of the present invention, in the first to fourth aspects of the present invention, the control circuit unit may apply a potential barrier without applying a voltage to a control electrode adjacent to another group among the control electrodes in the group. It is characterized by forming.

請求項1の発明の構成によれば、感光部に設けた複数個の制御電極に対応付けて複数個のポテンシャル井戸に電荷を蓄積する蓄積期間と、蓄積期間にポテンシャル井戸を形成した制御電極に対応する部位のポテンシャル井戸が浅くなる方向に制御して電荷廃棄部に不要電荷を廃棄する廃棄期間とを設けているから、実質的に感光部の感度を調節していることになる。制御電極に印加する電圧を変調信号の周期に同期するタイミングで変化させるから、感光部で生成される電荷のうち不要電荷となる電荷の量を変調信号の周期に同期するタイミングで調節することができる。つまり、感光部で生成された電荷のうち信号電荷として使用しない残留電荷は不要電荷として廃棄され、信号電荷への雑音成分の混入が抑制されるという利点がある。とくに、変調信号の周期に同期するタイミングで不要電荷を廃棄するから、信号電荷への混入を防止したい不要電荷を的確に廃棄することができ、SN比の向上につながる。また、不要電荷となる残留電荷を迅速に除去しているから、残留電荷の再結合による自然消滅を待つまでもなく比較的短い時間間隔で信号電荷を取り出すことが可能になる。   According to the configuration of the first aspect of the present invention, the storage period in which charges are stored in the plurality of potential wells in association with the plurality of control electrodes provided in the photosensitive portion, and the control electrode in which the potential wells are formed in the storage period are provided. Since the potential well of the corresponding part is controlled to become shallower and a disposal period for discarding unnecessary charges is provided in the charge disposal section, the sensitivity of the photosensitive section is substantially adjusted. Since the voltage applied to the control electrode is changed at the timing synchronized with the period of the modulation signal, it is possible to adjust the amount of the electric charge that becomes an unnecessary charge among the charges generated in the photosensitive portion at the timing synchronized with the period of the modulation signal. it can. That is, of the charges generated in the photosensitive portion, residual charges that are not used as signal charges are discarded as unnecessary charges, and there is an advantage that mixing of noise components into the signal charges is suppressed. In particular, since unnecessary charges are discarded at a timing synchronized with the period of the modulation signal, unnecessary charges that are desired to be prevented from being mixed into the signal charges can be discarded accurately, leading to an improvement in the SN ratio. Further, since the residual charge that is an unnecessary charge is quickly removed, it is possible to take out the signal charge at a relatively short time interval without waiting for the natural disappearance due to recombination of the residual charge.

請求項2の発明の構成によれば、信号電荷を残すポテンシャル井戸が蓄積期間では他のポテンシャル井戸よりも深くなるようにポテンシャルを設定しているから、蓄積期間においては生成された電荷はもっとも深いポテンシャル井戸に流れ込み、廃棄期間においては信号電荷を残すポテンシャル井戸を除いて電荷が廃棄され、蓄積期間と廃棄期間との感度を変化させることができる。また、廃棄期間はもちろんのこと蓄積期間であっても、信号電荷を残すポテンシャル井戸に隣接してポテンシャル障壁が形成されることになり、信号電荷の漏出を防止することができる。   According to the second aspect of the invention, the potential is set so that the potential well where the signal charge is left is deeper than the other potential wells in the accumulation period. Therefore, the generated charge is deepest in the accumulation period. The charge is discarded except for the potential well that flows into the potential well and leaves the signal charge in the discard period, and the sensitivity between the accumulation period and the discard period can be changed. Further, even in the accumulation period as well as the discarding period, a potential barrier is formed adjacent to the potential well where the signal charge is left, and leakage of the signal charge can be prevented.

請求項3の発明の構成によれば、蓄積期間において階段状のポテンシャル井戸を形成しているから、廃棄期間において信号電荷を残すポテンシャル井戸から離れた部位であっても蓄積期間においてもっとも深いポテンシャル井戸に電荷が誘導される。   According to the configuration of the invention of claim 3, since the stepwise potential well is formed in the accumulation period, the deepest potential well in the accumulation period even in a part away from the potential well where the signal charge is left in the discard period. A charge is induced in

請求項4の発明の構成によれば、オーバーフロードレインを用いて電荷を廃棄する構成を採用し、蓄積期間では、廃棄期間において信号電荷を残すポテンシャル井戸のポテンシャルのみをオーバーフロードレインのポテンシャルよりも深くし、残りのポテンシャル井戸のポテンシャルをオーバーフロードレインのポテンシャルよりも浅くしているから、蓄積期間においても一部の電荷が廃棄され、感光部で生成される一部の電荷をオーバーフロードレインに廃棄しながら電荷を蓄積することになる。   According to the configuration of the invention of claim 4, a configuration is adopted in which the charge is discarded using the overflow drain, and in the accumulation period, only the potential of the potential well where the signal charge is left in the discard period is made deeper than the potential of the overflow drain. Since the potential of the remaining potential well is shallower than the potential of the overflow drain, some charges are discarded even during the accumulation period, and some charges generated in the photosensitive part are discarded while being discarded to the overflow drain. Will be accumulated.

請求項5の発明の構成によれば、隣接する組感にポテンシャル障壁が形成されるから、他の感光部への電荷の漏出を防止することができる。   According to the configuration of the fifth aspect of the present invention, since the potential barrier is formed in the adjacent texture, it is possible to prevent leakage of charges to other photosensitive portions.

以下では、強度変調された発光源からの光と感光部において受光した光との位相差を用いて距離を計測する測距装置に本発明の技術を用いる例を説明するが、本発明の技術思想は、距離の測定に限らず、強度変調された光の元の位相と感光部で受光した光の位相差を求める装置や、物体での反射光の変化を求める装置などにも適用可能である。   Hereinafter, an example in which the technology of the present invention is used for a distance measuring device that measures the distance using the phase difference between the light from the intensity-modulated light source and the light received by the photosensitive unit will be described. The idea can be applied not only to distance measurement, but also to devices that determine the phase difference between the original phase of intensity-modulated light and the light received by the photosensitive unit, and devices that determine the change in reflected light from an object. is there.

(基本構成)
まず、基本構成を示す。図1に示すように、空間に光を照射する発光源2を設けてあり、発光源2から照射される光は制御回路部3によって一定の変調周波数で強度変調される。発光源2には、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。制御回路部3は、たとえば20MHzの正弦波で発光源2から照射する光を強度変調する。
(Basic configuration)
First, the basic configuration is shown. As shown in FIG. 1, a light emitting source 2 that irradiates light to a space is provided, and the light emitted from the light emitting source 2 is intensity-modulated by a control circuit unit 3 at a constant modulation frequency. As the light emitting source 2, for example, a light emitting diode in which a large number of light emitting diodes are arranged on one plane or a combination of a semiconductor laser and a diverging lens is used. The control circuit unit 3 modulates the intensity of light emitted from the light source 2 with, for example, a 20 MHz sine wave.

一方、前記空間からの光は受光レンズ4を通してイメージセンサ1の感光部11に入射する。感光部11は受光強度に応じた量の電荷を生成するものであり、ここではフォトダイオードを想定している。ただし、感光部11を構成するフォトダイオードの構造としてはpn接合を有する構造のほか、pin構造、MIS構造など種々構成を採用することが可能である。ここでは、複数個(たとえば、100×100個)の感光部11を2次元平面にマトリクス状に配列したイメージセンサ1を想定しており、イメージセンサ1の受光面である2次元平面には発光源2から光を照射した3次元空間が受光レンズ4を通してマッピングされる。つまり、イメージセンサ1が受光レンズ4を通して見る視野内に存在する物体Obは感光部11にマッピングされるから、発光源2から照射された光と各感光部11で受光した光との位相差を検出すれば、各感光部11にそれぞれ対応している物体Obの各部位までの距離を求めることができる。   On the other hand, light from the space enters the photosensitive portion 11 of the image sensor 1 through the light receiving lens 4. The photosensitive portion 11 generates an amount of electric charge according to the received light intensity, and a photodiode is assumed here. However, as the structure of the photodiode constituting the photosensitive portion 11, in addition to a structure having a pn junction, various structures such as a pin structure and an MIS structure can be adopted. Here, an image sensor 1 is assumed in which a plurality of (for example, 100 × 100) photosensitive portions 11 are arranged in a matrix on a two-dimensional plane, and light is emitted to the two-dimensional plane that is the light receiving surface of the image sensor 1. A three-dimensional space irradiated with light from the source 2 is mapped through the light receiving lens 4. That is, since the object Ob existing in the field of view seen by the image sensor 1 through the light receiving lens 4 is mapped to the photosensitive portion 11, the phase difference between the light emitted from the light source 2 and the light received by each photosensitive portion 11 is calculated. If detected, the distance to each part of the object Ob corresponding to each photosensitive part 11 can be obtained.

イメージセンサ1には、感光部11のほかに、感光部11で生成された電荷のうち位相差を求めるための信号電荷を蓄積する電荷蓄積部12と、電荷蓄積部12に蓄積した信号電荷をイメージセンサ1の外部に取り出す電荷取出部13と、感光部11で生成された電荷のうち信号電荷として用いない不要電荷を廃棄する電荷廃棄部14とが設けられる。電荷蓄積部12は制御電極12aを備え、制御電極12aに印加する制御電圧を変化させると感光部11から電荷蓄積部12への電荷の移動が制御される。また、電荷廃棄部14は廃棄電極14aを備え、廃棄電極14aに印加する廃棄電圧を変化させると感光部11から電荷廃棄部14への電荷の移動が制御される。制御電圧および廃棄電圧は制御回路部3が制御する。ここにおいて、電荷蓄積部12は感光部11ごとに一対一に対応するように設けられ、電荷廃棄部14は複数個の感光部11に共通させて一対多に対応するように設けられる。ここでは、イメージセンサ1のすべての感光部11に対して1個の電荷廃棄部14を設けているものとする。電荷取出部13を通してイメージセンサ1の出力として取り出される信号電荷は評価部5に入力され、評価部5は、発光源2から照射された光と各感光部11で受光した光との位相差を求め、さらに位相差に基づいて物体Obまでの距離を求めて出力する。 In the image sensor 1, in addition to the photosensitive unit 11, a charge storage unit 12 that stores a signal charge for obtaining a phase difference among charges generated by the photosensitive unit 11, and a signal charge stored in the charge storage unit 12. A charge extraction unit 13 that is taken out of the image sensor 1 and a charge discarding unit 14 that discards unnecessary charges that are not used as signal charges among the charges generated by the photosensitive unit 11 are provided. The charge storage unit 12 includes a control electrode 12a. When the control voltage applied to the control electrode 12a is changed, the movement of charges from the photosensitive unit 11 to the charge storage unit 12 is controlled. In addition, the charge discarding unit 14 includes a discarding electrode 14a. When the discarding voltage applied to the discarding electrode 14a is changed, the movement of charges from the photosensitive unit 11 to the charge discarding unit 14 is controlled. The control circuit unit 3 controls the control voltage and the discard voltage. Here, the charge accumulating units 12 are provided so as to correspond one-to-one for each photosensitive unit 11, and the charge discarding units 14 are provided so as to correspond one-to-many with the plurality of photosensitive units 11. Here, it is assumed that one charge discarding unit 14 is provided for all the photosensitive units 11 of the image sensor 1. The signal charge extracted as the output of the image sensor 1 through the charge extraction unit 13 is input to the evaluation unit 5, which evaluates the phase difference between the light emitted from the light emitting source 2 and the light received by each photosensitive unit 11. Further, the distance to the object Ob is obtained based on the phase difference and output.

従来構成において説明したように、物体Obまでの距離を求めるには、変調信号の周期に同期したタイミングで検出値A0,A1,A2,A3を求める必要があり、感光部11で生成される電荷のうち変調信号の特定位相(たとえば、0度、90度、180度、270度の4位相)に対応する一定の時間幅Tw(図18参照)に対応した電荷を信号電荷として電荷蓄積部12に蓄積することが必要である。つまり、感光部11に入射する光の強度に対して電荷蓄積部12に蓄積する信号電荷の割合を、上述した時間幅Twに相当する期間には多くし、他の期間には少なくする(理想的には0にする)ことが必要である。感光部11への入射光量に対して信号電荷を生成する割合は感度に相当するから、イメージセンサ1を用いて物体Obまでの距離を求めるには、イメージセンサ1の感度を制御することが必要であると言える。   As described in the conventional configuration, in order to obtain the distance to the object Ob, it is necessary to obtain the detection values A0, A1, A2, and A3 at a timing synchronized with the period of the modulation signal. Charge storage unit 12 using, as signal charges, charges corresponding to a certain time width Tw (see FIG. 18) corresponding to specific phases (for example, four phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees) of the modulation signal. It is necessary to accumulate in That is, the ratio of the signal charge stored in the charge storage unit 12 with respect to the intensity of light incident on the photosensitive unit 11 is increased during the period corresponding to the above-described time width Tw and decreased during other periods (ideal It is necessary to set it to 0. Since the ratio of generating signal charges with respect to the amount of light incident on the photosensitive portion 11 corresponds to sensitivity, in order to obtain the distance to the object Ob using the image sensor 1, it is necessary to control the sensitivity of the image sensor 1. It can be said that.

上述した構成のイメージセンサ1において感度を制御するためには、制御電極12aに印加する制御電圧の大きさを適宜タイミングで制御することが考えられるが、従来構成として説明したように、制御電圧の大きさを制御するだけでは、感光部11で生成された電荷のうち不要である残留電荷が雑音成分として信号電荷に混入することになる。そこで、制御電極12aに印加する制御電圧は一定電圧に保つことによって、各感光部11で生成された電荷を各感光部11に対応してそれぞれ設けた電荷蓄積部12に常時取り込むようにし、一方、廃棄電極14aについては、感光部11で生成された電荷のうち信号電荷として扱う電荷が生成される期間を除く期間に、感光部11から電荷廃棄部14に電荷が移動するように廃棄電圧を印加する。要するに、廃棄電圧を変調信号の周期に同期するタイミングで変化させることによってイメージセンサ1の感度を制御し、電荷蓄積部12に信号電荷を蓄積するのである。 In order to control the sensitivity in the image sensor 1 having the above-described configuration, it is conceivable to control the magnitude of the control voltage applied to the control electrode 12a at an appropriate timing, but as described in the conventional configuration, By simply controlling the magnitude, unnecessary residual charges among the charges generated by the photosensitive portion 11 are mixed into the signal charges as noise components. Therefore, by keeping the control voltage applied to the control electrode 12a at a constant voltage, the charge generated in each photosensitive portion 11 is always taken into the charge storage portion 12 provided corresponding to each photosensitive portion 11, while for disposal electrodes 14a, in a period except for the period during which charges are generated to handle as the signal charges of the charges generated by the photosensitive unit 11, a waste voltage so that the charge is moved to the charge discarding unit 14 from the photosensitive portion 11 Apply. In short, the sensitivity of the image sensor 1 is controlled by changing the discard voltage at a timing synchronized with the period of the modulation signal, and the signal charge is stored in the charge storage unit 12.

いま、図2(a)のような変調信号によって発光源2から空間に照射される光の強度が変調されているものとする。電荷蓄積部12には変調信号の複数周期(数万〜数十万周期)において1種類の検出値A0,A1,A2,A3を蓄積し、各検出値A0,A1,A2,A3の蓄積毎に蓄積した信号電荷を取り出して次の検出値A0,A1,A2,A3を蓄積する。たとえば、検出値A0を変調信号の数万周期について蓄積すると、この検出値A0に相当する信号電荷を一旦外部に取り出し、その後、検出値A1を変調信号の数万周期について蓄積するというように動作する。図2は検出値A0に相当する信号電荷を蓄積している状態を示しており、図2(b)に示すように制御電極12aに印加する制御電圧は一定電圧に保っている。また、検出値A0としては、変調信号の位相が0〜90度の期間(図18に示した従来構成における時間幅Twに相当する)において感光部11で生成された電荷を採用している。つまり、廃棄電極14aには、図2(c)のように変調信号の位相が90〜360度の期間において、感光部11で生成される電荷を不要電荷とするように廃棄電圧を印加する。要するに、感光部11から電荷蓄積部12に電荷が移動している期間のうち信号電荷を蓄積する期間(0〜90度の期間)に対応する期間以外において廃棄電圧を印加し、所望の検出値A0を得るための信号電荷を蓄積する期間以外では感光部11で生成した電荷を不要電荷として電荷廃棄部14に廃棄する。このような制御によって、図2(d)のように所望の検出値A0に対応した信号電荷を取り出すことが可能になる。図2に示す処理は変調信号の数万〜数十万周期について行われ、この期間に電荷蓄積部12に得られた信号電荷は検出値A0として電荷取出部13により評価部5に取り出され、評価部5では信号電荷に基づいて空間情報(本例では物体Obまでの距離)を検出する。   Now, it is assumed that the intensity of light emitted from the light source 2 to the space is modulated by the modulation signal as shown in FIG. The charge storage unit 12 stores one type of detection values A0, A1, A2, and A3 in a plurality of cycles (tens of thousands to hundreds of thousands) of the modulation signal, and stores each detection value A0, A1, A2, and A3. Then, the signal charges accumulated in (1) are taken out and the next detected values A0, A1, A2 and A3 are accumulated. For example, when the detection value A0 is accumulated for tens of thousands of cycles of the modulation signal, the signal charge corresponding to the detection value A0 is once taken out and then the detection value A1 is accumulated for tens of thousands of cycles of the modulation signal. To do. FIG. 2 shows a state in which signal charges corresponding to the detected value A0 are accumulated. As shown in FIG. 2B, the control voltage applied to the control electrode 12a is kept constant. Further, as the detection value A0, the charge generated by the photosensitive portion 11 during the period in which the phase of the modulation signal is 0 to 90 degrees (corresponding to the time width Tw in the conventional configuration shown in FIG. 18) is employed. That is, a waste voltage is applied to the waste electrode 14a so that the charge generated in the photosensitive portion 11 is an unnecessary charge during the period of 90 to 360 degrees of the modulation signal as shown in FIG. In short, the waste voltage is applied in a period other than the period corresponding to the period (0 to 90 degrees) in which the signal charges are accumulated in the period in which the charges move from the photosensitive portion 11 to the charge accumulation portion 12, and the desired detection value is obtained. Except for the period in which the signal charge for obtaining A0 is accumulated, the charge generated in the photosensitive part 11 is discarded as an unnecessary charge in the charge discarding part 14. Such control makes it possible to extract signal charges corresponding to a desired detection value A0 as shown in FIG. The processing shown in FIG. 2 is performed for tens of thousands to hundreds of thousands of cycles of the modulation signal, and the signal charge obtained in the charge storage unit 12 during this period is taken out by the charge extraction unit 13 to the evaluation unit 5 as a detection value A0, The evaluation unit 5 detects spatial information (in this example, the distance to the object Ob) based on the signal charge.

なお、上述の制御では、廃棄電極14aに廃棄電圧を印加している期間において制御電極12aにも一定電圧である制御電圧を印加しているが、廃棄電圧と制御電圧との大小関係を適宜に設定することによって、不要電荷を廃棄している期間には信号電荷の蓄積がほとんど行われないようにすることができる。また、変調信号の数万〜数十万周期について電荷を蓄積しているのは、蓄積する電荷量を多くすることによって高感度化するためであり、ここでは変調信号をたとえば20MHzと設定することによって、30フレーム/秒で信号電荷を取り出すとしても、数十万周期以上の蓄積が可能になる。   In the above-described control, a control voltage that is a constant voltage is applied to the control electrode 12a during the period in which the waste voltage is applied to the waste electrode 14a, but the magnitude relationship between the waste voltage and the control voltage is appropriately determined. By setting, it is possible to prevent the accumulation of signal charges during the period when unnecessary charges are discarded. The reason why charges are accumulated for tens of thousands to hundreds of thousands of cycles of the modulation signal is to increase the sensitivity by increasing the amount of charges to be accumulated. Here, for example, the modulation signal is set to 20 MHz. Therefore, even if signal charges are taken out at 30 frames / second, accumulation of several hundred thousand cycles or more becomes possible.

上述したように、廃棄電極14aを備えた電荷廃棄部14を設け、感光部11に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部14に積極的に廃棄しているから、感光部11において電荷蓄積部12に信号電荷を与えていない期間に感光部11で生成される電荷はほとんどが不要電荷として廃棄されることになり、信号電荷への雑音成分の混入が大幅に抑制されることになる。   As described above, the charge discarding unit 14 including the disposal electrode 14a is provided, and unnecessary charges that are not used as signal charges out of the charges generated in the photosensitive unit 11 are actively discarded to the charge discarding unit 14. In the part 11, most of the charge generated in the photosensitive part 11 during the period when the signal charge is not given to the charge storage part 12 is discarded as unnecessary charge, and mixing of noise components into the signal charge is greatly suppressed. Will be.

上述した例では検出値A0,A1,A2,A3をサンプリングする期間を変調信号の1/4周期とし、変調信号の数万〜数十万周期において1種類の検出値A0,A1,A2,A3の信号電荷を蓄積しているが、感光部11ごとに電荷蓄積部12と電荷廃棄部14とを設けている場合には、感光部11ごとに各検出値A0,A1,A2,A3を振り分けて検出することが可能であるから、変調信号の1周期内で4個の検出値A0,A1,A2,A3を求めることも可能である。また検出値A0,A1,A2,A3のサンプリングのタイミングについても位相の間隔が既知であれば等間隔である必要はない。さらに、発光源2から照射される光の強度を正弦波で変調した例を示したが、三角波あるいは鋸歯状波などの他の波形で強度を変調してもよい。また発光源2から照射する光は可視光線に限らず赤外線などを用いることも可能である。各画素を物体Obまでの距離に対応付けた距離画像を得るためにイメージセンサ1としてCCDイメージセンサあるいはCMOSイメージセンサなどであって感光部11を2次元に配列したものを想定しているが、感光部11を1次元に配列した構成であってもよい。また、空間において一方向だけの距離を測定する場合や発光源2から光ビームを空間に照射するとともに光ビームを走査するような場合であれば、感光部11を4個だけ設けた構成を採用することも可能であり、感光部11を電荷蓄積部12などと一体に設けたイメージセンサ1ではなく、イメージセンサ1の機能を個別部品により実現してもよい。   In the above-described example, the period during which the detection values A0, A1, A2, and A3 are sampled is set to ¼ period of the modulation signal, and one kind of detection values A0, A1, A2, and A3 in the tens of thousands to hundreds of thousands of periods of the modulation signal. In the case where the charge accumulating unit 12 and the charge discarding unit 14 are provided for each photosensitive unit 11, the detected values A0, A1, A2, and A3 are distributed to the respective photosensitive units 11. Therefore, four detection values A0, A1, A2, and A3 can be obtained within one period of the modulation signal. Further, the sampling timings of the detection values A0, A1, A2, and A3 need not be equal if the phase interval is known. Furthermore, although the example which modulated the intensity | strength of the light irradiated from the light emission source 2 with the sine wave was shown, you may modulate an intensity | strength with other waveforms, such as a triangular wave or a sawtooth wave. The light emitted from the light emitting source 2 is not limited to visible light, and infrared light or the like can be used. In order to obtain a distance image in which each pixel is associated with the distance to the object Ob, it is assumed that the image sensor 1 is a CCD image sensor, a CMOS image sensor, or the like and the photosensitive portion 11 is two-dimensionally arranged. A configuration in which the photosensitive portions 11 are arranged one-dimensionally may be employed. Further, when measuring a distance in only one direction in the space, or when irradiating the light beam from the light source 2 and scanning the light beam, a configuration in which only four photosensitive portions 11 are provided is adopted. The function of the image sensor 1 may be realized by an individual component instead of the image sensor 1 in which the photosensitive unit 11 is provided integrally with the charge storage unit 12 and the like.

上述した例では、図2に示すように、制御電極12aに一定電圧である制御電圧を印加している期間に廃棄電極14aに廃棄電圧を印加することによって、廃棄電圧が印加されていない期間において感光部11に生成された電荷を信号電荷として用いる例を示したが、図3に示すように、制御電極12aに制御電圧を印加する期間と廃棄電極14aに廃棄電圧を印加する期間とが重複しないように制御してもよい。   In the above-described example, as shown in FIG. 2, by applying a waste voltage to the waste electrode 14a during a period in which a control voltage that is a constant voltage is applied to the control electrode 12a, in a period in which no waste voltage is applied. Although an example in which the charge generated in the photosensitive portion 11 is used as a signal charge is shown, as shown in FIG. 3, the period in which the control voltage is applied to the control electrode 12a and the period in which the waste voltage is applied to the waste electrode 14a overlap. You may control so that it may not.

ここでは、検出値A0に対応する信号電荷を蓄積する場合を例として説明する。いま、図3(a)のような変調信号によって発光源2から空間に照射される光の強度が変調されている場合を想定する。図3に示す例では検出値A0を抽出するから、図3(b)のように、検出値A0に対応するタイミングにおいて制御電極12aに制御電圧を印加する。制御電極12aに制御電圧を印加する期間は、変調信号の位相における0度から一定期間(図示例では0〜90度)に設定され、この期間において感光部11から電荷蓄積部12への電荷の移動が可能になる。一方、廃棄電極14aには、図3(c)のように、電荷蓄積部12に検出値A0に相当する信号電荷を蓄積する期間以外において廃棄電圧を印加し、信号電荷を蓄積する期間以外では感光部11で生成した電荷を不要電荷として電荷廃棄部14に廃棄する。このような制御によって、図3(d)のように検出値A0に相当する信号電荷を取り出すことが可能になる。   Here, a case where signal charges corresponding to the detection value A0 are accumulated will be described as an example. Assume that the intensity of light emitted from the light source 2 to the space is modulated by a modulation signal as shown in FIG. Since the detection value A0 is extracted in the example shown in FIG. 3, the control voltage is applied to the control electrode 12a at the timing corresponding to the detection value A0 as shown in FIG. The period during which the control voltage is applied to the control electrode 12a is set from 0 degree to a certain period (0 to 90 degrees in the illustrated example) in the phase of the modulation signal. During this period, the charge from the photosensitive part 11 to the charge storage part 12 is transferred. It becomes possible to move. On the other hand, as shown in FIG. 3C, a discard voltage is applied to the waste electrode 14a in a period other than the period in which the signal charge corresponding to the detection value A0 is accumulated in the charge accumulation unit 12, and the period other than the period in which the signal charge is accumulated. The charges generated in the photosensitive unit 11 are discarded as unnecessary charges in the charge discarding unit 14. Such control makes it possible to extract signal charges corresponding to the detection value A0 as shown in FIG.

この制御では、制御電極12aに制御電圧を印加している期間と廃棄電極14aに廃棄電圧を印加している期間とを分離しているから、制御電圧と廃棄電圧との大小関係を考慮しなくとも制御電圧と廃棄電圧との大きさを独立して制御することができ、結果的に制御電圧および廃棄電圧の制御が容易になり、感光部11で受光した光量に対して信号電荷を取り込む割合である感度の制御が容易になるとともに、感光部11で生成された電荷のうち不要電荷として廃棄する割合の制御が容易になる。   In this control, the period during which the control voltage is applied to the control electrode 12a and the period during which the waste voltage is applied to the waste electrode 14a are separated, so that the magnitude relationship between the control voltage and the waste voltage is not considered. In both cases, the control voltage and the discard voltage can be controlled independently. As a result, the control voltage and the discard voltage can be easily controlled, and the ratio of the signal charge taken in with respect to the amount of light received by the photosensitive unit 11. This makes it easier to control the sensitivity, and also makes it easier to control the proportion of charges generated by the photosensitive portion 11 that are discarded as unnecessary charges.

なお、図3の動作では電荷蓄積部12に信号電荷を蓄積する期間は制御電極12aに印加する制御電圧により規定されるから、廃棄電極14aに廃棄電圧を印加する期間を短縮することが可能であり、たとえば、制御電極12aに制御電圧を印加する直前の所定期間にのみ廃棄電極14aに廃棄電圧を印加するようにしてもよい。   In the operation of FIG. 3, the period for accumulating the signal charge in the charge accumulating unit 12 is defined by the control voltage applied to the control electrode 12a, so that the period for applying the discard voltage to the discard electrode 14a can be shortened. For example, the waste voltage may be applied to the waste electrode 14a only during a predetermined period immediately before the control voltage is applied to the control electrode 12a.

以上説明したように、廃棄電極14aを備えた電荷廃棄部14を設け、感光部11に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部14に積極的に廃棄する構成では、感光部11で生成した電荷を電荷蓄積部12に信号電荷として蓄積していない期間において感光部11で生成される電荷を不要電荷として廃棄することができ、信号電荷への雑音成分の混入が大幅に抑制されることになる。   As described above, in the configuration in which the charge discarding unit 14 including the discard electrode 14a is provided and unnecessary charges that are not used as signal charges among the charges generated in the photosensitive unit 11 are actively discarded in the charge discarding unit 14, The charge generated in the photosensitive unit 11 can be discarded as an unnecessary charge during a period when the charge generated in the unit 11 is not stored as a signal charge in the charge storage unit 12, and noise components are greatly mixed into the signal charge. Will be suppressed.

図2に示した動作では、制御電極12aに制御電圧を印加している期間に重複させて廃棄電極14aに廃棄電圧を印加することによって、廃棄電圧が印加されていない期間において感光部11に生成された電荷を信号電荷として用いる例を示したが、図4に示すように、廃棄電極14aに印加する廃棄電圧を一定電圧に保って感光部11で生成された電荷の廃棄をつねに行うようにし、この間において制御電極12aに制御電圧を印加する期間が電荷蓄積部12に信号電荷を蓄積する期間としてもよい。すなわち、従来構成に対しては、電荷廃棄部14を設けるとともに、感光部11から電荷廃棄部14に対してつねに電荷を廃棄している点が相違する。   In the operation shown in FIG. 2, the waste voltage is applied to the waste electrode 14 a in an overlapping manner with the control voltage being applied to the control electrode 12 a, so that it is generated in the photosensitive portion 11 during the time when the waste voltage is not applied. Although an example in which the generated charge is used as a signal charge has been shown, as shown in FIG. 4, the waste voltage applied to the waste electrode 14a is kept constant and the charge generated in the photosensitive portion 11 is always discarded. In this period, the period during which the control voltage is applied to the control electrode 12a may be a period during which the signal charge is accumulated in the charge accumulation unit 12. That is, the conventional configuration is different from the conventional configuration in that a charge discarding unit 14 is provided and charges are always discarded from the photosensitive unit 11 to the charge discarding unit 14.

図4の動作も、検出値A0に相当する信号電荷を蓄積する場合を例として説明する。いま、図4(a)のような変調信号によって発光源2から空間に照射される光の強度が変調されている場合を想定する。感光部11において生成された電荷を検出値A0に相当する信号電荷として電荷蓄積部12に蓄積するために、電荷蓄積部12に設けた制御電極12aに対して、図4(b)のように、検出値A0に対応する期間で制御電圧を印加する。つまり、制御電極12aに制御電圧を印加する期間は、変調信号の位相における0度から一定期間(図示例では0〜90度)に設定され、この期間において感光部11から電荷蓄積部12への電荷の移動が可能になる。一方、廃棄電極14aには、図4(c)のように、直流電圧である一定電圧の廃棄電圧がつねに印加され、感光部11で生成された電荷の一部をつねに不要電荷として電荷廃棄部14に廃棄する。上述の制御では、信号電荷を電荷蓄積部12に蓄積する期間にのみ制御電極12aに制御電圧を印加しているから、図4(d)のように検出値A0に相当する信号電荷を取り出すことが可能になる。   The operation of FIG. 4 will also be described by taking as an example the case where signal charges corresponding to the detected value A0 are accumulated. Now, a case is assumed where the intensity of light emitted from the light source 2 to the space is modulated by the modulation signal as shown in FIG. As shown in FIG. 4B, the control electrode 12a provided in the charge storage unit 12 is used to store the charge generated in the photosensitive unit 11 in the charge storage unit 12 as a signal charge corresponding to the detection value A0. The control voltage is applied in a period corresponding to the detection value A0. That is, the period during which the control voltage is applied to the control electrode 12a is set from 0 degree to a certain period (0 to 90 degrees in the illustrated example) in the phase of the modulation signal. Charge transfer is possible. On the other hand, as shown in FIG. 4C, a constant voltage discard voltage, which is a DC voltage, is always applied to the waste electrode 14a, and a part of the charge generated by the photosensitive portion 11 is always used as an unnecessary charge. 14 to discard. In the above-described control, the control voltage is applied to the control electrode 12a only during the period in which the signal charge is accumulated in the charge accumulation unit 12, and thus the signal charge corresponding to the detection value A0 is extracted as shown in FIG. Is possible.

図4に示す動作では、制御電極12aに制御電圧を印加しているか否かにかかわらず廃棄電極14aに一定電圧の廃棄電圧を印加しているから、感光部11において生成された電荷のうち電荷蓄積部12に信号電荷として蓄積されなかった不要電荷は、廃棄電荷として電荷廃棄部14に廃棄されることになる。ここに、感光部11で生成された電荷の一部を信号電荷として電荷蓄積部12に蓄積する期間においても感光部11から電荷廃棄部14への電荷の廃棄が継続しているから、信号電荷を電荷蓄積部12に適正に蓄積するために、制御電圧と廃棄電圧との大小関係を考慮する必要がある。ただし、廃棄電圧は一定電圧であって廃棄電極14aにつねに印加しているだけであるから、実際には制御電圧のみを制御すればよく、制御自体は容易である。   In the operation shown in FIG. 4, a constant voltage discarding voltage is applied to the disposal electrode 14 a regardless of whether or not a control voltage is applied to the control electrode 12 a. Unnecessary charges that have not been stored as signal charges in the storage unit 12 are discarded in the charge discarding unit 14 as discarded charges. Here, even during a period in which a part of the charge generated in the photosensitive unit 11 is accumulated in the charge storage unit 12 as a signal charge, the disposal of the charge from the photosensitive unit 11 to the charge discarding unit 14 continues. In order to properly store the voltage in the charge storage unit 12, it is necessary to consider the magnitude relationship between the control voltage and the discard voltage. However, since the discard voltage is a constant voltage and is always applied to the discard electrode 14a, only the control voltage is actually controlled, and the control itself is easy.

以上説明したように、図4の動作では廃棄電極14aを備えた電荷廃棄部14を設け、感光部11に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部14に積極的に廃棄しているから、信号電荷への雑音成分の混入が大幅に抑制される。   As described above, in the operation of FIG. 4, the charge discarding unit 14 including the discard electrode 14 a is provided, and unnecessary charges that are not used as signal charges out of the charges generated in the photosensitive unit 11 are actively discarded in the charge discarding unit 14. Therefore, the mixing of noise components into the signal charge is greatly suppressed.

(参考例1)
以下では、上述した基本構成において説明したイメージセンサ1として、市場に供されている縦型オーバーフロードレインを備えるフレーム転送型CCDを用いる。
(Reference Example 1)
Hereinafter, as the image sensor 1 described in the basic configuration described above, a frame transfer type CCD having a vertical overflow drain on the market is used.

イメージセンサ1は、図5に示すように、感光部11であるフォトダイオード21を水平方向と垂直方向とに複数個ずつ(図示例では4×4個)配列した2次元イメージセンサであって、垂直方向に配列したフォトダイオード21を垂直転送CCDとして機能させる撮像部D1を備え、さらに光電変換機能を持たない垂直転送CCDをフォトダイオード21の各列に垂直方向において連続して形成した蓄積部D2を備える。また、蓄積部D2における垂直転送CCDの各列の下端に電荷取出部となる水平転送CCDからなる水平転送部23を設けてある。図示例では、フォトダイオード21と垂直転送CCDとがともに電荷を蓄積しかつ電荷を垂直方向に転送する機能を有するのであって、撮像部D1と蓄積部D2とが電荷蓄積部12および電荷取出部13として機能する。   As shown in FIG. 5, the image sensor 1 is a two-dimensional image sensor in which a plurality of photodiodes 21 (4 × 4 in the illustrated example) are arranged in the horizontal direction and the vertical direction, as the photosensitive portion 11. The storage unit D2 is provided with an imaging unit D1 that allows the photodiodes 21 arranged in the vertical direction to function as a vertical transfer CCD, and further a vertical transfer CCD that does not have a photoelectric conversion function is continuously formed in each column of photodiodes 21 in the vertical direction. Is provided. In addition, a horizontal transfer unit 23 including a horizontal transfer CCD serving as a charge extraction unit is provided at the lower end of each column of the vertical transfer CCDs in the storage unit D2. In the illustrated example, both the photodiode 21 and the vertical transfer CCD have a function of accumulating charges and transferring the charges in the vertical direction, and the imaging unit D1 and the accumulation unit D2 include the charge accumulation unit 12 and the charge extraction unit. 13 functions.

各フォトダイオード21はそれぞれ垂直方向に配列された3個ずつの制御電極21a〜21cを受光面に備え、蓄積部D2における垂直転送CCDの各列は各フォトダイオード21に設けた3個の制御電極21a〜21cと同様の配列を有する3個の制御電極28a〜28cを組にして備える。図示例では撮像部D1において垂直方向の1列について4個ずつのフォトダイオード21を設け、蓄積部D2おいて2組6個の制御電極28a〜28cを設けてある。また、水平転送部23は、各列ごとに2個ずつの制御電極23a,23bを備える。フォトダイオード21に設けた制御電極21a〜21cは6相の制御電圧V1〜V6により6相で駆動され、制御電極28a〜28eは3相の制御電圧VV1〜VV3により3相で駆動され、制御電極23a,23bは2相の制御電圧VH1,VH2により2相で駆動される。水平転送部23では蓄積部D2から1水平ラインごとの信号電荷を取り出し、1水平ラインごとの信号電荷を外部に出力する。この種の駆動技術はCCDの分野において周知であるから、ここでは詳しく説明しない。   Each photodiode 21 includes three control electrodes 21 a to 21 c arranged in the vertical direction on the light receiving surface, and each column of the vertical transfer CCDs in the storage unit D <b> 2 includes three control electrodes provided in each photodiode 21. Three control electrodes 28a to 28c having the same arrangement as 21a to 21c are provided as a set. In the illustrated example, four photodiodes 21 are provided for each vertical column in the imaging unit D1, and two sets of six control electrodes 28a to 28c are provided in the storage unit D2. Further, the horizontal transfer unit 23 includes two control electrodes 23a and 23b for each column. The control electrodes 21a to 21c provided on the photodiode 21 are driven in six phases by six-phase control voltages V1 to V6, and the control electrodes 28a to 28e are driven in three phases by three-phase control voltages VV1 to VV3. 23a and 23b are driven in two phases by two-phase control voltages VH1 and VH2. The horizontal transfer unit 23 extracts signal charges for each horizontal line from the storage unit D2, and outputs the signal charges for each horizontal line to the outside. This type of drive technique is well known in the field of CCDs and will not be described in detail here.

撮像部D1と蓄積部D2と水平転送部23とは1枚の基板50上に形成され、基板50にはアルミニウム電極であるオーバーフロー電極24が絶縁膜を介さずに直接接触するように設けられる。つまり、基板50はオーバーフロードレインとして機能する。オーバーフロー電極24は、基板50の表面において撮像部D1と蓄積部D2と水平転送部23との全体を囲むように形成される。基板50の表面はフォトダイオード21に対応する部位を除いて遮光膜(図示せず)により覆われる。ここに、オーバーフロードレインは、感光部11であるフォトダイオード21において生成した電荷のうち不要電荷を廃棄するから電荷廃棄部14として機能し、オーバーフロードレインに廃棄する電荷の量はオーバーフロー電極24に印加する電圧(廃棄電圧)により制御されるからオーバーフロー電極24は廃棄電極14aとして機能する。   The imaging unit D1, the storage unit D2, and the horizontal transfer unit 23 are formed on a single substrate 50, and an overflow electrode 24, which is an aluminum electrode, is provided on the substrate 50 so as to be in direct contact with no insulating film interposed therebetween. That is, the substrate 50 functions as an overflow drain. The overflow electrode 24 is formed on the surface of the substrate 50 so as to surround the entire imaging unit D1, the storage unit D2, and the horizontal transfer unit 23. The surface of the substrate 50 is covered with a light shielding film (not shown) except for the portion corresponding to the photodiode 21. Here, the overflow drain functions as the charge discarding unit 14 because unnecessary charges out of the charges generated in the photodiode 21 which is the photosensitive unit 11 function, and the amount of charges discarded in the overflow drain is applied to the overflow electrode 24. Since it is controlled by the voltage (discard voltage), the overflow electrode 24 functions as the discard electrode 14a.

図6に基づいて1個のフォトダイオード21に関連する部分の構造を説明する。ここでは、基板50としてn形半導体を用いており、基板50の主表面にはp形半導体層51が形成され、p形半導体層51の主表面にはn形半導体からなるnウェル52が形成される。さらに、p形半導体層51とnウェル52とに跨る部位の表面にはSiOからなる絶縁膜53を介して3個の制御電極21a〜21cが重ねられる。つまり、nウェル52と絶縁膜53と制御電極21a〜21cとによりMIS形のフォトダイオード21を形成している。制御電極21a〜21cはポリシリコンにより形成される。nウェル52は撮像部D1と蓄積部D2とに連続して形成されており、nウェル52において電荷の蓄積と転送とを行うようにしている。つまり、撮像部D1ではnウェル52において電荷の生成と蓄積と転送とを行い、蓄積部D2ではnウェル52において電荷の蓄積と転送とを行う。 A structure of a portion related to one photodiode 21 will be described with reference to FIG. Here, an n-type semiconductor is used as the substrate 50, a p-type semiconductor layer 51 is formed on the main surface of the substrate 50, and an n-well 52 made of an n-type semiconductor is formed on the main surface of the p-type semiconductor layer 51. Is done. Further, three control electrodes 21 a to 21 c are overlaid on the surface of a portion straddling the p-type semiconductor layer 51 and the n-well 52 via an insulating film 53 made of SiO 2 . That is, the n well 52, the insulating film 53, and the control electrodes 21a to 21c form the MIS photodiode 21. Control electrodes 21a-21c are formed of polysilicon. The n-well 52 is formed continuously in the imaging unit D1 and the storage unit D2, and charges are stored and transferred in the n-well 52. That is, the imaging unit D1 performs charge generation, accumulation, and transfer in the n-well 52, and the accumulation unit D2 performs charge accumulation and transfer in the n-well 52.

次に、上述したイメージセンサ1を駆動する技術について説明する。上述したイメージセンサ1では、フォトダイオード21に光が入射すればフォトダイオード21において電荷が生成される。ここで、制御電極21a〜21cに適宜の電圧を印加しておけば、nウェル52に電荷蓄積部としてのポテンシャル井戸が形成され、生成された電荷をポテンシャル井戸に蓄積することができる。また、制御電極21a〜21cに印加する電圧を制御することによって、ポテンシャル井戸の深さを変化させて電荷を転送することができる。一方、オーバーフロー電極24に適宜の廃棄電圧Vsを印加すれば、フォトダイオード21で生成された電荷は基板50を通して廃棄されるから、オーバーフロー電極24への印加電圧および電圧を印加する時間を制御することによって、フォトダイオード21で生成された電荷のうちnウェル52のポテンシャル井戸に蓄積される信号電荷の割合を変化させることができる。   Next, a technique for driving the above-described image sensor 1 will be described. In the image sensor 1 described above, when light enters the photodiode 21, charges are generated in the photodiode 21. Here, if an appropriate voltage is applied to the control electrodes 21a to 21c, a potential well as a charge storage portion is formed in the n-well 52, and the generated charges can be stored in the potential well. Further, by controlling the voltage applied to the control electrodes 21a to 21c, the charge can be transferred by changing the depth of the potential well. On the other hand, if an appropriate waste voltage Vs is applied to the overflow electrode 24, the charge generated by the photodiode 21 is discarded through the substrate 50, and therefore, the voltage applied to the overflow electrode 24 and the time for applying the voltage are controlled. Thus, it is possible to change the ratio of the signal charge accumulated in the potential well of the n-well 52 among the charges generated by the photodiode 21.

フォトダイオード21で生成された電荷がどのように移動するかを説明するために、図6中の破線L3に沿った電子のポテンシャルを図7に示す。図7における右部はフォトダイオード21に相当する領域、左部は基板50に相当する領域をそれぞれ示す。また、オーバーフロー電極24に電圧を印加していない状態では、フォトダイオード21(nウェル52)と基板50との間にはp形半導体層51によるポテンシャル障壁B3が形成される。フォトダイオード21(nウェル52)において基板50と対向していない部位にはp形半導体層51によるポテンシャル障壁B4が形成され、フォトダイオード21により形成された電荷(電子e)が外部に漏れ出さないようになっている。ポテンシャル障壁B3はオーバーフロー電極24への印加電圧に応じて高さを制御することができる。   In order to explain how the electric charge generated by the photodiode 21 moves, the potential of electrons along the broken line L3 in FIG. 6 is shown in FIG. In FIG. 7, the right part indicates a region corresponding to the photodiode 21, and the left part indicates a region corresponding to the substrate 50. In addition, when no voltage is applied to the overflow electrode 24, a potential barrier B <b> 3 is formed by the p-type semiconductor layer 51 between the photodiode 21 (n well 52) and the substrate 50. In the photodiode 21 (n-well 52), a potential barrier B4 is formed by the p-type semiconductor layer 51 at a portion not facing the substrate 50, and charges (electrons e) formed by the photodiode 21 do not leak to the outside. It is like that. The height of the potential barrier B3 can be controlled according to the voltage applied to the overflow electrode 24.

一方、制御電極21a〜21cに電圧を印加することによりnウェル52に形成されるポテンシャル井戸に蓄積される電荷の量は、制御電極21a〜21cへの印加電圧によって決まるポテンシャル井戸の深さによって決まる。つまり、3個の制御電極21a〜21cのうち中央の制御電極21bに印加する電圧を両側の制御電極21a,21cに印加する電圧よりも高くすると、図8のように中央部がもっとも深くなったポテンシャル井戸27が形成される。ここで、オーバーフロー電極24に適宜の電圧を印加することにより、基板50のポテンシャルをnウェル52よりも引き下げ、さらに、中央の制御電極21bはポテンシャル障壁B3が残るように電圧を印加し、両側の制御電極21a,21cはポテンシャル障壁B3が取り除かれるように電圧を印加すれば、各制御電極21a〜21cに対応する領域のうち図9(b)に示す中央部で電子eがもっとも多く蓄積され、図9(a)(c)に示す両側部では電荷が基板50を通して廃棄されることになる。   On the other hand, the amount of charge accumulated in the potential well formed in the n-well 52 by applying a voltage to the control electrodes 21a to 21c is determined by the depth of the potential well determined by the applied voltage to the control electrodes 21a to 21c. . That is, when the voltage applied to the central control electrode 21b among the three control electrodes 21a to 21c is higher than the voltage applied to the control electrodes 21a and 21c on both sides, the central portion becomes deepest as shown in FIG. A potential well 27 is formed. Here, by applying an appropriate voltage to the overflow electrode 24, the potential of the substrate 50 is lowered below the n-well 52, and the central control electrode 21b applies a voltage so that the potential barrier B3 remains, If a voltage is applied to the control electrodes 21a and 21c so that the potential barrier B3 is removed, most of the electrons e are accumulated in the central portion shown in FIG. 9B among the regions corresponding to the control electrodes 21a to 21c. Electric charges are discarded through the substrate 50 at both sides shown in FIGS.

ここで、中央の制御電極21bに対応するポテンシャル井戸27には、フォトダイオード21が電荷を生成している期間において、両側の制御電極21a,21cで生成された電荷の一部が流れ込むから、制御電極21a,21cで生成された一部の電荷が雑音成分として混ざり込むことになる。また、4個の検出値A0,A1,A2,A3のうちの1個が得られるたびに信号電荷を転送するから、信号電荷の転送中にフォトダイオード21で生成される電荷が検出値A0,A1,A2,A3に雑音成分として混入することになる。ただし、これらの雑音成分は積分によって平均化され、位相差ψを求める際の減算によってほぼ除去されるから、雑音成分の影響は小さくなる。つまり、フレーム転送型CCDを用いながらも精度よく位相差ψを求めることが可能になる。   Here, in the potential well 27 corresponding to the central control electrode 21b, a part of the charge generated by the control electrodes 21a and 21c on both sides flows during the period in which the photodiode 21 generates charge. A part of electric charges generated by the electrodes 21a and 21c are mixed as a noise component. Further, since the signal charge is transferred every time one of the four detection values A0, A1, A2, and A3 is obtained, the charge generated by the photodiode 21 during the transfer of the signal charge is detected by the detection value A0, It will be mixed as a noise component in A1, A2 and A3. However, since these noise components are averaged by integration and almost eliminated by subtraction when obtaining the phase difference ψ, the influence of the noise components is reduced. That is, the phase difference ψ can be obtained with high accuracy while using a frame transfer type CCD.

なお、上述の例では1個のフォトダイオード21に対して3個の制御電極21a〜21cを対応させているが、1個のフォトダイオード21に対応させる制御電極の個数にはとくに制限はない。   In the above example, three control electrodes 21 a to 21 c are associated with one photodiode 21, but the number of control electrodes associated with one photodiode 21 is not particularly limited.

(参考例2)
本例は、参考例1と同様にフレーム転送型CCDを用いるものであるが、縦型オーバーフロードレインではなく横型オーバーフロードレインを設けている。
(Reference Example 2)
In this example, a frame transfer type CCD is used as in Reference Example 1, but a horizontal overflow drain is provided instead of a vertical overflow drain.

イメージセンサ1は、図10に示すように、垂直方向に配列したフォトダイオード21の各列の右側方にn形半導体からなるオーバーフロードレイン61を設けてある。図示例ではフォトダイオード21を水平方向に4個並べるとともに垂直方向に4個並べているから、オーバーフロードレイン61は4列であり、各オーバーフロードレイン61の上端同士は、左右方向に配置したアルミニウム電極であるオーバーフロー電極24を介して接続してある。撮像部D1と蓄積部D2と水平転送部23とは参考例1において用いたイメージセンサ1と同様の機能を有する。   As shown in FIG. 10, the image sensor 1 is provided with an overflow drain 61 made of an n-type semiconductor on the right side of each column of photodiodes 21 arranged in the vertical direction. In the illustrated example, since four photodiodes 21 are arranged in the horizontal direction and four in the vertical direction, the overflow drains 61 are arranged in four rows, and the upper ends of the overflow drains 61 are aluminum electrodes arranged in the left-right direction. It is connected via the overflow electrode 24. The imaging unit D1, the storage unit D2, and the horizontal transfer unit 23 have the same functions as the image sensor 1 used in Reference Example 1.

1個のフォトダイオード21に関連する部分を切り出した図11を用いてイメージセンサ1の構造を説明する。本例ではp形半導体の基板60を用いており、基板60の主表面にはp形半導体層62が形成され、このp形半導体層62にn形半導体からなるnウェル63が形成され、p形半導体層62とnウェル63とによりフォトダイオード21が形成される。p形半導体層62においてnウェル63に隣接する部位にはp+半導体からなるp+ウェル64が形成され、p+ウェル64の表面側にn形半導体からなるオーバーフロードレイン61が形成される。このように基板60の導電形が異なる点、オーバーフロードレイン61を設けている点を除けば、イメージセンサ1の基本的な構造は参考例1と同様である。   The structure of the image sensor 1 will be described with reference to FIG. 11 in which a portion related to one photodiode 21 is cut out. In this example, a p-type semiconductor substrate 60 is used. A p-type semiconductor layer 62 is formed on the main surface of the substrate 60, and an n-well 63 made of an n-type semiconductor is formed on the p-type semiconductor layer 62. The photodiode 21 is formed by the semiconductor layer 62 and the n-well 63. In the p-type semiconductor layer 62, a p + well 64 made of p + semiconductor is formed at a portion adjacent to the n well 63, and an overflow drain 61 made of n-type semiconductor is formed on the surface side of the p + well 64. The basic structure of the image sensor 1 is the same as that of the reference example 1 except that the conductivity type of the substrate 60 is different and the overflow drain 61 is provided.

本例の動作は参考例1と同様であって、図11の破線L4に沿った電子のポテンシャルを示している図12を図7と比較すればわかるように、フォトダイオード21において生成された電荷を廃棄する電荷廃棄部が、参考例1では基板50であったのに対して本例ではオーバーフロードレイン61である点のみ相違する。制御電極21a〜21cに電圧を印加することによりnウェル63に形成されるポテンシャル井戸に蓄積される電荷の量は、制御電極21a〜21cへの印加電圧によって決まるポテンシャル井戸の深さによって決まる。つまり、3個の制御電極21a〜21cのうち中央の制御電極21bに印加する電圧を両側の制御電極21a,21cに印加する電圧よりも高くすると、中央の制御電極21bに対応するポテンシャル井戸がもっとも深くなる。ここで、オーバーフロー電極24に適宜の電圧が印加されてポテンシャル障壁B3が引き下げられているとすれば、各制御電極21a〜21cに対応する領域のうち、図13(b)に示す中央の制御電極21bに対応するポテンシャル井戸に電荷を残し、図13(a)(c)に示す両側の制御電極21a,21cに対応する領域で生成された電荷はオーバーフロードレイン61に廃棄することが可能になる。他の構成および動作は参考例1と同様である。   The operation of this example is the same as that of Reference Example 1, and as can be seen by comparing FIG. 12 showing the potential of electrons along the broken line L4 in FIG. 11 with FIG. The only difference is that the charge discarding unit for discarding the charge is the overflow drain 61 in the present example compared to the substrate 50 in the first reference example. The amount of charge accumulated in the potential well formed in the n-well 63 by applying a voltage to the control electrodes 21a to 21c is determined by the depth of the potential well determined by the applied voltage to the control electrodes 21a to 21c. That is, if the voltage applied to the central control electrode 21b among the three control electrodes 21a to 21c is higher than the voltage applied to the control electrodes 21a and 21c on both sides, the potential well corresponding to the central control electrode 21b is the most. Deepen. Here, if an appropriate voltage is applied to the overflow electrode 24 and the potential barrier B3 is lowered, the central control electrode shown in FIG. 13B among the regions corresponding to the control electrodes 21a to 21c. Charges are left in the potential well corresponding to 21b, and the charges generated in the regions corresponding to the control electrodes 21a and 21c on both sides shown in FIGS. 13A and 13C can be discarded in the overflow drain 61. Other configurations and operations are the same as those in Reference Example 1.

(第1実施形態)
参考例1および参考例2において説明したフレーム転送型CCDをイメージセンサ1に用いる構成において、各フォトダイオード21には3個の制御電極21a〜21cを設ける例を示したが、上述のように1個のフォトダイオード21に設ける制御電極の個数は3個に制限されるものではない。
(First embodiment)
In the configuration in which the frame transfer type CCD described in the reference example 1 and the reference example 2 is used for the image sensor 1, the example in which the three control electrodes 21a to 21c are provided in each photodiode 21 has been described. The number of control electrodes provided in each photodiode 21 is not limited to three.

本実施形態では、1個のフォトダイオード21に対して4個の制御電極を設ける場合について説明する。図14において1〜4の数字は各制御電極に対応しており、繰り返して表記している1〜4の数字の1回の繰り返し周期が1個のフォトダイオード21の領域に対応する。図14(a)はフォトダイオード21で生成した電荷を蓄積する期間、図14(b)は不要な電荷を廃棄する期間を示している。さらに、閾値Th1はオーバーフロードレインのポテンシャルを示している。   In the present embodiment, a case where four control electrodes are provided for one photodiode 21 will be described. In FIG. 14, the numbers 1 to 4 correspond to the respective control electrodes, and one repetition period of the numbers 1 to 4 that are repeatedly described corresponds to the region of one photodiode 21. FIG. 14A shows a period in which charges generated by the photodiode 21 are accumulated, and FIG. 14B shows a period in which unnecessary charges are discarded. Furthermore, the threshold value Th1 indicates the potential of the overflow drain.

図14(a)に示すように、電荷を蓄積する期間においては、各フォトダイオード21で生成された電荷が混合されないように、制御電極(1)には電圧を印加せずに隣合うフォトダイオード21の間にポテンシャル障壁を形成する。また、制御電極(2)〜(4)に印加する電圧を段階的に低くし、階段状のポテンシャル井戸27を形成する。ここで、制御電極(3)(4)に対応する部位のポテンシャルは閾値Th1よりも高くしておく。制御電極(2)に対応する部位ではポテンシャル井戸27がもっとも深くなり、ポテンシャルが閾値Th1よりも低くなるから、フォトダイオード21への光の照射により生成された電荷(電子e)は、主として制御電極(2)に対応する部位に蓄積される。   As shown in FIG. 14 (a), adjacent photodiodes without applying a voltage to the control electrode (1) so that the charges generated by the photodiodes 21 are not mixed during the charge accumulation period. A potential barrier is formed between 21. Further, the voltage applied to the control electrodes (2) to (4) is lowered stepwise to form the stepped potential well 27. Here, the potential of the part corresponding to the control electrodes (3) and (4) is set higher than the threshold value Th1. Since the potential well 27 is deepest at the portion corresponding to the control electrode (2) and the potential is lower than the threshold Th1, the charge (electrons e) generated by light irradiation to the photodiode 21 is mainly the control electrode. Accumulated in the part corresponding to (2).

図14(b)に示すように、電荷を廃棄する廃棄期間においては、蓄積期間においてポテンシャルがもっとも低い制御電極(2)に対応する部位に蓄積された電荷が外部に漏出しないように、制御電極(3)(4)に対応する部位のポテンシャルを引き上げる。この動作によって、蓄積期間において制御電極(1)(3)(4)に対応して生成された電荷は制御電極(2)に対応する部位とオーバーフロードレインとに分かれて流れる。したがって、電荷の蓄積期間と廃棄期間との比率を適宜に調節することにより、フォトダイオード21で生成される電荷のうち不要電荷となる電荷の量を調節することができ、結果的に感度を調節することができる。他の構成および動作は参考例1または参考例2と同様である。   As shown in FIG. 14B, in the discarding period in which charges are discarded, the control electrode is arranged so that the charge accumulated in the portion corresponding to the control electrode (2) having the lowest potential in the accumulation period does not leak to the outside. (3) Raise the potential of the part corresponding to (4). By this operation, the charge generated corresponding to the control electrodes (1), (3), and (4) during the accumulation period flows separately to the portion corresponding to the control electrode (2) and the overflow drain. Therefore, by appropriately adjusting the ratio between the charge accumulation period and the discard period, the amount of charges that become unnecessary charges among the charges generated by the photodiode 21 can be adjusted, and as a result, the sensitivity is adjusted. can do. Other configurations and operations are the same as those in Reference Example 1 or Reference Example 2.

(第2実施形態)
本実施形態は、図15に示すように、1個のフォトダイオード21に対して6個の制御電極(1)〜(6)を設けた例である。図15において1〜6の数字は各制御電極に対応している。図14に示した例と同様に、図15(a)は電荷を蓄積する期間、図15(b)は電荷を廃棄する期間を示している。
(Second Embodiment)
This embodiment is an example in which six control electrodes (1) to (6) are provided for one photodiode 21 as shown in FIG. In FIG. 15, numerals 1 to 6 correspond to the control electrodes. Similarly to the example shown in FIG. 14, FIG. 15A shows a period for accumulating charges, and FIG. 15B shows a period for discarding charges.

図15(a)に示すように、電荷を蓄積する期間においては、各フォトダイオード21で生成された電荷が混合されないように、制御電極(1)には電圧を印加せずに隣合うフォトダイオード21の間にポテンシャル障壁を形成する。また、制御電極(2)〜(6)のうち制御電極(4)に対応する部位のポテンシャルをもっとも低くし、残りの制御電極(2)(3)(5)(6)に対応する部位のポテンシャルは段階的に高くする。さらに、制御電極(2)(3)(5)(6)に対応する部位のポテンシャルはオーバーフロードレインのポテンシャルである閾値Th2よりも高くしておく。制御電極(4)に対応する部位ではポテンシャルがもっとも低くなり、このポテンシャルは閾値Th2よりも低いから、フォトダイオード21への光の照射により生成された電荷(電子e)は、主として制御電極(4)に対応する部位に蓄積される。   As shown in FIG. 15A, in the period for accumulating charges, adjacent photodiodes without applying voltage to the control electrode (1) so that the charges generated by the photodiodes 21 are not mixed. A potential barrier is formed between 21. Further, among the control electrodes (2) to (6), the potential of the portion corresponding to the control electrode (4) is made the lowest, and the portions corresponding to the remaining control electrodes (2), (3), (5) and (6) are set. Increase the potential step by step. Further, the potential of the portion corresponding to the control electrodes (2), (3), (5), and (6) is set higher than the threshold value Th2 that is the potential of the overflow drain. The potential corresponding to the control electrode (4) is the lowest, and this potential is lower than the threshold value Th2. Therefore, the charges (electrons e) generated by the light irradiation to the photodiode 21 are mainly controlled by the control electrode (4 ).

図15(b)に示すように、電荷を廃棄する期間においては、蓄積期間においてポテンシャルがもっとも低い制御電極(4)に対応する部位に蓄積された電荷が外部に漏出しないように、制御電極(2)(3)(5)(6)に対応する部位のポテンシャルを引き上げる。この動作によって、蓄積期間において制御電極(1)(2)(3)(5)(6)に対応して生成された電荷は制御電極(4)に対応する部位とオーバーフロードレインとに分かれて流れる。したがって、本実施形態でも第1実施形態と同様に、電荷の蓄積期間と廃棄期間との比率を適宜に調節することにより、フォトダイオード21で生成される電荷のうち不要電荷となる電荷の量を調節することができ、結果的に感度を調節することができる。他の構成および動作は参考例1または参考例2と同様である。   As shown in FIG. 15B, in the period for discarding the charge, the control electrode (in order to prevent the charge accumulated in the portion corresponding to the control electrode (4) having the lowest potential in the accumulation period from leaking outside). 2) Increase the potential of the parts corresponding to (3), (5) and (6). By this operation, the charge generated corresponding to the control electrodes (1), (2), (3), (5), and (6) in the accumulation period flows separately into the portion corresponding to the control electrode (4) and the overflow drain. . Therefore, in the present embodiment as well, as in the first embodiment, the amount of charges that become unnecessary charges among the charges generated by the photodiode 21 is adjusted by appropriately adjusting the ratio between the charge accumulation period and the discard period. Can be adjusted and consequently the sensitivity can be adjusted. Other configurations and operations are the same as those in Reference Example 1 or Reference Example 2.

(第3実施形態)
上述したように、フレーム転送型CCDを用いると、検出値A0,A1,A2,A3を求める期間以外にフォトダイオード21で生成された電荷が雑音成分として信号電荷に混入する。このような雑音成分は略一定であり、かつ検出値A0,A1,A2,A3を求める期間において電荷を蓄積することによって平均化されるから、位相差を求めることができる程度には雑音成分を除去することが可能である。しかしながら、雑音成分があるとSN比が低下するから、電荷の蓄積や転送に関連する部位ではダイナミックレンジを大きくとることが要求され、結果的に高コストになる。
(Third embodiment)
As described above, when the frame transfer type CCD is used, the charge generated by the photodiode 21 is mixed into the signal charge as a noise component during a period other than the period for obtaining the detection values A0, A1, A2, and A3. Such a noise component is substantially constant and is averaged by accumulating charges during the period for obtaining the detection values A0, A1, A2, and A3. It is possible to remove. However, if there is a noise component, the signal-to-noise ratio is lowered, so that it is required to increase the dynamic range in a portion related to charge accumulation and transfer, resulting in high cost.

そこで、本実施形態では、図16に示すように、フォトダイオード21のうち信号電荷を蓄積する領域付近と電荷の生成に関与しない領域とに遮光膜65を設けている。図示例は第2実施形態のように1個のフォトダイオード21に対して6個の制御電極を設けた場合の構成例であって、具体的には、制御電極(1)(4)に対応する部位に遮光膜65を設けることによって、フォトダイオード21のうち制御電極(2)(3)(5)(6)に対応する部位で電荷(電子e)を生成するようにしている。この構成によって、主として制御電極(2)(3)(5)(6)に対応する部位で電荷の生成が行われ、制御電極(4)が電荷の生成にはほとんど寄与しなくなる。つまり、制御電極(4)において雑音成分が生成されず、遮光膜65を形成していない場合に比較するとSN比を向上させることが可能になる。他の構成および機能は第2実施形態と同様である。   Therefore, in the present embodiment, as shown in FIG. 16, the light shielding film 65 is provided in the vicinity of the region in which the signal charge is accumulated in the photodiode 21 and in the region not involved in the generation of the charge. The illustrated example is a configuration example in which six control electrodes are provided for one photodiode 21 as in the second embodiment, and specifically corresponds to the control electrodes (1) and (4). By providing the light shielding film 65 at the portion to be processed, electric charges (electrons e) are generated at the portions corresponding to the control electrodes (2), (3), (5), and (6) in the photodiode 21. With this configuration, charge generation is performed mainly at portions corresponding to the control electrodes (2), (3), (5), and (6), and the control electrode (4) hardly contributes to charge generation. That is, no noise component is generated in the control electrode (4), and the SN ratio can be improved as compared with the case where the light shielding film 65 is not formed. Other configurations and functions are the same as those of the second embodiment.

なお、第1実施形態ないし第3実施形態において、制御電圧と廃棄電圧との制御タイミングとして図2の動作を例として説明したが、図3、図4の動作を適用してもよいのはもちろんのことである。   In the first to third embodiments, the operation of FIG. 2 has been described as an example of the control timing of the control voltage and the discard voltage. However, it is needless to say that the operations of FIGS. 3 and 4 may be applied. That is.

上述した各実施形態では、4個の検出値A0,A1,A2,A3のうちの1個を求めるたびに電荷を取り出す構成を採用していたが、以下に説明するイメージセンサ1では、複数個の検出値A0,A1,A2,A3を求めてから一括して取り出すことを可能にしたものである。   In each of the above-described embodiments, a configuration is adopted in which charge is extracted every time one of the four detection values A0, A1, A2, and A3 is obtained. However, in the image sensor 1 described below, a plurality of values are used. Detection values A0, A1, A2 and A3 can be obtained and extracted at once.

(第4実施形態)
本実施形態は、図10に示した横型オーバーフロードレインを備えるフレーム転送型CCDの一部構成を変更したイメージセンサ1を用いる。すなわち、図17に示すように、各フォトダイオード21ごとにオーバーフロードレイン61a,61bを設けた構成を採用し、各フォトダイオード21で生成した電荷を個別に廃棄することを可能としている。この構成では、各オーバーフロードレイン61a,61bに変調信号の周期に同期した廃棄電圧を印加することによって、フォトダイオード21で生成された電荷のうち電荷蓄積部であるポテンシャル井戸に移動する信号電荷の割合を調節する。ただし、本実施形態では、各オーバーフロードレイン61a,61bのうち、信号電荷を転送する方向において隣接する各一対のオーバーフロードレイン61a,61bに廃棄電圧φ1,φ2を印加するタイミングは、変調信号において位相が180度異なるタイミングとする。2個の感光部11に対して位相が180度異なるタイミングで廃棄電圧φ1,φ2を印加することによって、変調信号において位相が180度異なるタイミングに対応した信号電荷を各感光部11に対応して形成されるポテンシャル井戸に蓄積することができる。つまり、隣接した2個の感光部11にそれぞれ形成されるポテンシャル井戸に変調信号における異なる位相に対応した信号電荷を蓄積することができ、位相差ψを求めるのに必要な4個の検出値A0,A1,A2,A3のうちの2個を一括して取り出すことが可能になる。このようにして、検出値A0と検出値A2とを一括して取り出し、検出値A1と検出値A3とを一括して取り出すことが可能になる。
(Fourth embodiment)
This embodiment uses an image sensor 1 in which a partial configuration of a frame transfer type CCD having a horizontal overflow drain shown in FIG. 10 is changed. That is, as shown in FIG. 17, a configuration in which overflow drains 61a and 61b are provided for each photodiode 21 is adopted, and the charges generated by each photodiode 21 can be individually discarded. In this configuration, by applying a discard voltage synchronized with the period of the modulation signal to the overflow drains 61a and 61b, the ratio of the signal charge that moves to the potential well that is the charge storage portion among the charges generated by the photodiode 21 Adjust. However, in this embodiment, the timing at which the discard voltages φ1 and φ2 are applied to each pair of overflow drains 61a and 61b adjacent to each other in the direction in which the signal charge is transferred out of the overflow drains 61a and 61b has a phase in the modulation signal. The timing is different by 180 degrees. By applying discard voltages φ1 and φ2 to the two photosensitive portions 11 at a timing that is 180 degrees different in phase, signal charges corresponding to timings that are 180 degrees different in phase in the modulation signal correspond to each photosensitive portion 11. It can be accumulated in the formed potential well. That is, signal charges corresponding to different phases in the modulation signal can be accumulated in the potential wells formed respectively in the two adjacent photosensitive portions 11, and the four detection values A0 necessary for obtaining the phase difference ψ. , A1, A2 and A3 can be taken out collectively. In this way, the detection value A0 and the detection value A2 can be extracted at once, and the detection value A1 and the detection value A3 can be extracted at once.

本実施形態の構成では、信号電荷に対して目的外の電荷が混在するから雑音成分が生じるものの、雑音成分は信号電荷の量に比較すると少なく、また信号電荷に対して略一定の割合で混在するから、位相差ψを求める際には雑音成分の影響は低減される。他の構成および動作は参考例2と同様である。   In the configuration of the present embodiment, noise components are generated because unintended charges are mixed with signal charges, but the noise components are small compared to the amount of signal charges, and are mixed at a substantially constant ratio with respect to signal charges. Therefore, the influence of the noise component is reduced when obtaining the phase difference ψ. Other configurations and operations are the same as those in Reference Example 2.

本実施形態ではオーバーフロードレイン61a,61bごとに3個ずつの制御電極21a〜21cを対応付けているが、4個以上設けるようにしてもよい。また、変調信号の位相において180度異なるタイミングの廃棄電圧φ1,φ2を異なるオーバフロードレインに与える構成を採用しているが、たとえば変調信号において90度ずつ位相の異なるタイミングで廃棄電圧を互いに異なるオーバフロードレインに与える構成とすれば、4個の検出値A0,A1,A2,A3を一括して取り出すことも可能である。さらに、廃棄電圧を印加するタイミングは、変調信号の周期に同期した特定の位相であればよく、間隔は適宜に設定可能である。   In the present embodiment, three control electrodes 21a to 21c are associated with each of the overflow drains 61a and 61b, but four or more may be provided. In addition, a configuration is adopted in which discard voltages φ1 and φ2 with different timings of 180 degrees in the phase of the modulation signal are applied to different overflow drains. If it is the structure given to (4), it is also possible to take out four detection values A0, A1, A2, A3 collectively. Furthermore, the application timing of the discard voltage may be a specific phase synchronized with the period of the modulation signal, and the interval can be set appropriately.

基本構成を示すブロック図である。It is a block diagram which shows a basic structure. 同上の一動作例を示す動作説明図である。It is operation | movement explanatory drawing which shows one operation example same as the above. 同上の他の動作例を示す動作説明図である。It is operation | movement explanatory drawing which shows the other operation example same as the above. 同上のさらに他の動作例を示す動作説明図である。It is operation | movement explanatory drawing which shows the other operation example same as the above. 参考例1に用いるイメージセンサを示す平面図である。6 is a plan view showing an image sensor used in Reference Example 1. FIG. 同上の要部斜視図である。It is a principal part perspective view same as the above. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 参考例2に用いるイメージセンサを示す平面図である。It is a top view which shows the image sensor used for the reference example 2. FIG. 同上の要部斜視図である。It is a principal part perspective view same as the above. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 第1実施形態を示す動作説明図である。It is operation | movement explanatory drawing which shows 1st Embodiment. 第2実施形態を示す動作説明図である。It is operation | movement explanatory drawing which shows 2nd Embodiment. 第3実施形態を示す動作説明図である。It is operation | movement explanatory drawing which shows 3rd Embodiment. 第4実施形態を示す要部斜視図である。It is a principal part perspective view which shows 4th Embodiment. 従来例を示す動作説明図である。It is operation | movement explanatory drawing which shows a prior art example.

符号の説明Explanation of symbols

1 イメージセンサ
2 発光源
3 制御回路部
4 受光レンズ
5 評価部
11 感光部
12 電荷蓄積部
12a 制御電極
13 電荷取出部
14 電荷廃棄部
14a 廃棄電極
21 フォトダイオード
21a〜21c 制御電極
23 水平転送部
24 オーバーフロー電極
50 基板
60 基板
61 オーバーフロードレイン
DESCRIPTION OF SYMBOLS 1 Image sensor 2 Light emission source 3 Control circuit part 4 Light reception lens 5 Evaluation part 11 Photosensitive part 12 Charge storage part 12a Control electrode 13 Charge extraction part 14 Charge discard part 14a Discard electrode 21 Photodiode 21a-21c Control electrode 23 Horizontal transfer part 24 Overflow electrode 50 Substrate 60 Substrate 61 Overflow drain

Claims (5)

半導体層の主表面に絶縁膜を介して複数個の制御電極を重ねた構造であって所定の変調周波数の変調信号で強度変調された光が照射されている空間からの光を受光し受光強度に対応する量の電荷を生成する感光部と、感光部で生成した電荷のうち信号電荷を蓄積する電荷蓄積部と、廃棄電極を備え感光部で生成した電荷のうち不要電荷として廃棄する電荷の移動が廃棄電極に印加する廃棄電圧に応じて制御される電荷廃棄部と、電荷蓄積部に蓄積した信号電荷を外部に取り出す電荷取出部と、隣接する規定の複数個の制御電極を組にし制御電極に印加する電圧を組単位かつ変調信号の周期に同期するタイミングで制御することにより半導体層において各制御電極に対応する部位に形成されるポテンシャル井戸の深さを制御する制御回路部と、電荷取出部により取り出した電荷を用いて前記空間に関する情報を評価する評価部とを備え、制御回路部は、感光部で生成された電荷を蓄積する蓄積期間には組内の複数個の制御電極に対応付けてポテンシャル井戸を形成し、不要電荷を廃棄する廃棄期間には蓄積期間に蓄積した電荷のうち少なくとも1個の制御電極に対応するポテンシャル井戸の電荷を信号電荷としてそのまま残すとともに、残りの制御電極に対応して生成された不要電荷を当該制御電極に対応する部位のポテンシャル井戸が浅くなる方向に制御することにより電荷廃棄部に廃棄することを特徴とする強度変調光を用いた空間情報の検出装置。 A structure in which a plurality of control electrodes are stacked on the main surface of a semiconductor layer via an insulating film, and receives light from a space irradiated with light whose intensity is modulated by a modulation signal of a predetermined modulation frequency and receives light intensity. A charge accumulating unit that generates an amount of charge corresponding to the charge, a charge accumulating unit that accumulates a signal charge out of the charges generated in the photosensitive unit, and a charge that is disposed as an unnecessary charge out of the charges generated in the photosensitive unit with a disposal electrode . Control is performed by combining a charge discarding unit whose movement is controlled according to a discarding voltage applied to the discarding electrode, a charge extracting unit for extracting signal charges accumulated in the charge accumulating unit, and a plurality of adjacent specified control electrodes. A control circuit unit for controlling the depth of a potential well formed in a portion corresponding to each control electrode in the semiconductor layer by controlling the voltage applied to the electrode at a timing synchronized with the unit and the period of the modulation signal; And an evaluation unit that evaluates information related to the space using the electric charge extracted by the unloading unit, and the control circuit unit includes a plurality of control electrodes in the set during the accumulation period for accumulating the electric charge generated by the photosensitive unit. The potential well is formed in correspondence with the remaining charge, and in the discarding period in which unnecessary charges are discarded, the charge of the potential well corresponding to at least one control electrode among the charges accumulated in the accumulation period is left as a signal charge, and the remaining Spatial information using intensity-modulated light, characterized in that unnecessary charges generated corresponding to the control electrode are discarded in the charge discarding part by controlling the potential well of the part corresponding to the control electrode to become shallower Detection device. 前記制御回路部は、廃棄期間において信号電荷を残すポテンシャル井戸が、蓄積期間においては他のポテンシャル井戸よりも深くなるように、蓄積期間における前記組内の前記制御電極への印加電圧を制御することを特徴とする請求項1記載の強度変調光を用いた空間情報の検出装置。 The control circuit unit controls an applied voltage to the control electrode in the set in the accumulation period so that a potential well that retains signal charges in the discard period is deeper than other potential wells in the accumulation period. The spatial information detection device using the intensity-modulated light according to claim 1. 前記制御回路部は、蓄積期間において形成するポテンシャル井戸が階段状になるように、前記組内の前記制御電極への印加電圧を制御することを特徴とする請求項2記載の強度変調光を用いた空間情報の検出装置。 3. The intensity-modulated light according to claim 2, wherein the control circuit unit controls a voltage applied to the control electrode in the set so that a potential well formed in an accumulation period is stepped. Spatial information detection device. 前記電荷廃棄部はオーバーフロードレインであって、前記制御回路部は、廃棄期間において信号電荷を残すポテンシャル井戸を形成する部分のポテンシャルをオーバーフロードレインのポテンシャルよりも深くし、蓄積期間に形成される他の部分のポテンシャル井戸のポテンシャルをオーバーフロードレインのポテンシャルよりも浅くするように、前記組内の前記制御電極への印加電圧を制御することを特徴とする請求項2または請求項3記載の強度変調光を用いた空間情報の検出装置。 The charge discarding part is an overflow drain, and the control circuit part makes the potential of the part forming the potential well for leaving the signal charge in the discarding period deeper than the potential of the overflow drain, and the other part formed in the accumulation period 4. The intensity-modulated light according to claim 2, wherein the voltage applied to the control electrode in the set is controlled so that the potential of the partial potential well is shallower than the potential of the overflow drain. Spatial information detection device used. 前記制御回路部は、前記組内の制御電極のうち他の組に隣接する制御電極には電圧を印加せずにポテンシャル障壁を形成することを特徴とする請求項1ないし請求項4のいずれか1項に記載の強度変調光を用いた空間情報の検出装置。 5. The control circuit unit according to claim 1, wherein the control circuit unit forms a potential barrier without applying a voltage to a control electrode adjacent to another group among the control electrodes in the group. An apparatus for detecting spatial information using the intensity-modulated light according to item 1.
JP2006231353A 2006-08-28 2006-08-28 Spatial information detection device using intensity-modulated light Expired - Fee Related JP3979443B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006231353A JP3979443B2 (en) 2006-08-28 2006-08-28 Spatial information detection device using intensity-modulated light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006231353A JP3979443B2 (en) 2006-08-28 2006-08-28 Spatial information detection device using intensity-modulated light

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003155712A Division JP3906824B2 (en) 2002-07-15 2003-05-30 Spatial information detection device using intensity-modulated light

Publications (2)

Publication Number Publication Date
JP2006339672A JP2006339672A (en) 2006-12-14
JP3979443B2 true JP3979443B2 (en) 2007-09-19

Family

ID=37559886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006231353A Expired - Fee Related JP3979443B2 (en) 2006-08-28 2006-08-28 Spatial information detection device using intensity-modulated light

Country Status (1)

Country Link
JP (1) JP3979443B2 (en)

Also Published As

Publication number Publication date
JP2006339672A (en) 2006-12-14

Similar Documents

Publication Publication Date Title
KR100682566B1 (en) Light receiving device having controllable sensitivity and spatial information detecting device using such light receiving device
KR100675765B1 (en) Spatial information detection device using intensity modulated light
US20210377473A1 (en) Solid-state imaging apparatus, imaging system, and distance measurement method
JP5635937B2 (en) Solid-state imaging device
EP2322953B1 (en) Distance image sensor and method for generating image signal by time-of-flight method
JP5648922B2 (en) Semiconductor element and solid-state imaging device
US7034274B2 (en) Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same
CN107665897B (en) Light detection equipment and light detection system
JP2009008537A (en) Range image device and imaging device
JP6265346B2 (en) Distance measuring device
KR20110093212A (en) How Pixels and Pixels Work in Image Sensors
JP3906824B2 (en) Spatial information detection device using intensity-modulated light
JP2012215480A (en) Distance measuring system
JP3979443B2 (en) Spatial information detection device using intensity-modulated light
JP3979442B2 (en) Spatial information detection device using intensity-modulated light
US9053998B2 (en) Range sensor and range image sensor
Chen et al. A 256× 256 time-of-flight image sensor based on center-tap demodulation pixel structure
JP4385384B2 (en) Photosensitive element sensitivity control method, spatial information detection device using intensity-modulated light
US20230296738A1 (en) Distance measurement device, distance measurement method, and phase detection device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070618

R151 Written notification of patent or utility model registration

Ref document number: 3979443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees