[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6442710B2 - 固体撮像装置、撮像装置及びその駆動方法 - Google Patents

固体撮像装置、撮像装置及びその駆動方法 Download PDF

Info

Publication number
JP6442710B2
JP6442710B2 JP2015528122A JP2015528122A JP6442710B2 JP 6442710 B2 JP6442710 B2 JP 6442710B2 JP 2015528122 A JP2015528122 A JP 2015528122A JP 2015528122 A JP2015528122 A JP 2015528122A JP 6442710 B2 JP6442710 B2 JP 6442710B2
Authority
JP
Japan
Prior art keywords
signal
pixels
imaging device
solid
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015528122A
Other languages
English (en)
Other versions
JPWO2015011869A1 (ja
Inventor
拓也 浅野
拓也 浅野
静 鈴木
静 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015011869A1 publication Critical patent/JPWO2015011869A1/ja
Application granted granted Critical
Publication of JP6442710B2 publication Critical patent/JP6442710B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • H01L27/14843—
    • H01L27/14887—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/622—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by controlling anti-blooming drains
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、所定の距離位置に存在する被写体の像（距離画像）を取得する撮像装置に関し、特に、距離画像の取得とともに通常の画像（可視光画像）を取得する撮像装置及びその駆動方法に関するものである。
近年、テレビ、ゲーム機等に、例えば、赤外光を撮影対象空間に照射して、被写体（人物）の体や手の動きを検出する測距カメラ（モーションカメラ）が搭載され、それに使われる距離画像を取得する撮像装置、いわゆる測距センサが知られている。
また、測距センサにおいて、距離画像と同時に通常の可視光画像を取得することは、画像中からの特定の被写体の切り出し（背景分離）や、３次元画像の作成等を行ううえで有用である。
特許文献１においては、１つの固体撮像装置により距離画像と同時に可視光画像を取得している。具体的には、可視光及び赤外（ＩＲ）光の撮像が可能な単板構成の固体撮像装置により、１フレーム走査期間ごとに可視光及び赤外光の撮像を行いながら、撮影対象空間へのＩＲパルスの照射を１フレーム走査期間おきに行う。可視光画像を１フレーム走査期間ごとに生成するとともに、ＩＲパルスの照射時の撮像によって得られたＩＲ画素信号からＩＲパルスの非照射時の撮像によって得られたＩＲ画素信号を減算することによって、背景光による影響を排除した距離画像を１フレーム走査期間おきに生成する。
特開２００８−８７００号公報
しかしながら、上記固体撮像装置は、複数フレームを使用して背景光による影響を排除した距離画像を生成しているため、１つのフレームと次のフレームとの間に被写体が動いた場合、距離画像に誤差が生じる。また、横型オーバーフロードレインを備えることにより、濃いｎ層の領域とその制御電極が必要となり、画素の広い領域を占有するため、代わりにフォトダイオード領域が小さくなることによる感度低下によって、露光時間が多く、または、垂直転送部が小さくなることによる測距精度の悪化に繋がっていた。
本発明は、上記課題に鑑みてなされたものであり、１つのイメージセンサから、１フレーム走査期間内に背景光による影響を排除した距離画像を取得し、かつ、別フレームにて可視画像も取得することができる撮像装置及びその駆動方法を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る撮像装置は、赤外光を照射する赤外光源と、それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備え、前記固体撮像装置は、赤外光の照射期間で前記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力することを特徴とする。
本態様によれば、１フレーム走査期間内に、背景光による影響を排除した距離画像を生成するための信号が得られることから、動体の距離情報の精度向上が可能となる。
また、次のフレーム走査期間内に、可視光画像を得て、好ましくは、第１画素から得た出力を、第２画素から得た信号から差し引くことにより、第２画素から得た出力に混入する赤外光成分を除去する。これにより、可視光画像の色再現性向上が可能となる。
本発明によれば、１フレーム走査期間内に、背景光による影響を排除した距離画像を取得するので、動体の距離精度を向上することができるとともに、横型オーバーフロードレインが不要となるため、フォトダイオード領域を拡大することによる感度向上、あるいは、垂直転送部を広く取ることによる取り扱い電荷量の増加によって、いずれも測距精度の向上に繋がる。
その上、感度向上によって、例えば、照射する赤外光源の出力を抑えたり、赤外光を照射する露光時間を短くしたりできることから、システム全体の消費電力を抑えることが可能である。
また特殊な構造が不要なため、一般的なイメージセンサの製造方法で実現することが可能である。
本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。 図１中の固体撮像装置の第１の実施形態を示す平面図である。 図１中の固体撮像装置の第１の実施形態を示す別の平面図である。 図２の固体撮像装置の概略動作を示すタイミング図である。 図２の固体撮像装置のあるタイミングにおける動作を示す平面図である。 図２の固体撮像装置の次のタイミングにおける動作を示す平面図である。 図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。 図１中の固体撮像装置の第１の実施形態の別のフィルタ配置例を示す平面図である。 図１中の固体撮像装置の第２の実施形態を示す平面図である。 図１中の固体撮像装置の第３の実施形態を示す平面図である。 図１２の固体撮像装置の概略動作を示すタイミング図である。 図１２の固体撮像装置のあるタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図１２の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。 図１中の固体撮像装置の第３の実施形態の別のチャネルストップ領域の構成を示す平面図である。 図１中の固体撮像装置の第４の実施形態を示す平面図である。 図２１の固体撮像装置の概略動作を示すタイミング図である。 図２１の固体撮像装置のあるタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。 図２１の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。
以下、本発明の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これらは例示を目的としており、本発明がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。
図１は、本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。図１に示すように、背景光源１０２からの可視光と赤外光とを含む照明を備えた撮影対象空間内に被写体１０１が位置する。撮像装置は、赤外光源１０３と、レンズ１０４と、固体撮像装置１０５と、制御部１０６と、信号処理部１０７とを備えており、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）型、パターン照射型、ステレオ型等の、よく知られた種々の赤外線方式のうちのいずれかを採用した測距システムを構成する。
赤外光源１０３は、被写体１０１に向けて、例えば波長８５０ｎｍの赤外レーザー光を照射する。背景光及び赤外レーザー光は、被写体１０１で反射してレンズ１０４に入射し、固体撮像装置１０５に結像する。固体撮像装置１０５は、半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素と、可視光を信号電荷に変換する複数の第２画素とを有する。制御部１０６は、赤外光源１０３と固体撮像装置１０５との同期をとるように制御する。信号処理部１０７は、固体撮像装置１０５の出力から、赤外レーザー光に基づく距離画像信号とともに、可視光画像信号を生成する。
なお、図示していないが、レンズ１０４と固体撮像装置１０５の間に、任意の光学フィルタ（例えば、可視光波長領域と特定の近赤外波長帯のみを透過するバンドパスフィルタ）を設けてもよい。
以下、図１中の固体撮像装置１０５の種々の具体例について説明する。
すべての実施形態において、全て固体撮像装置１０５がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであって、測距システムがＴＯＦ型である場合を説明する。
《第１の実施形態》
図２及び図３は、図１中の固体撮像装置１０５の第１の実施形態を示す平面図である。
図２及び図３に示した固体撮像装置は、半導体基板上に行列状に配置された複数の光電変換部１０を備える。これら光電変換部１０は、可視光を信号電荷に変換する複数の光電変換部１０ａと、赤外光を信号電荷に変換する複数の光電変換部１０ｂとに分けられる。可視光の光電変換部１０ａは、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）を選択的に透過するフィルタを備える。赤外光の光電変換部１０ｂは、赤外（ＩＲ）光を選択的に透過するフィルタを備える。
図２の固体撮像装置は、光電変換部１０ａ，１０ｂから読み出された信号電荷を列方向に転送する垂直転送部１１と、垂直転送部１１によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１２と、水平転送部１２によって転送された信号電荷を増幅して出力する電荷検出部１３と、全画素の光電変換部１０のそれぞれに対応して設けられ、垂直転送部１１へ同時に読み出すことが可能な第１の読み出し電極１４ａ，１４ｂと、全画素の光電変換部１０のそれぞれに対応して設けられているが、少なくとも赤外光の光電変換部１０ｂから、垂直転送部１１へ選択的に読み出すことが可能な第２の読み出し電極１４ｃ，１４ｄとを更に備える。
なお、本実施形態では、特定の画素から信号を選択的に読み出すために、例えば、第２の読み出し電極１４ｃは各ラインの画素に張り巡らされているものの、光電変換部１０ｂから読み出す画素以外は、チャネルストップ領域１８を設けて信号が読み出されないようにしてある。もう１つの第２の読み出し電極１４ｄも同様に、チャネルストップ領域１８によって、特定の光電変換部から選択的に信号電荷を読み出すことが可能になっている。
ここで、固体撮像装置は、全画素読み出し（プログレッシブスキャン）対応のインターライントランスファ方式のＣＣＤであり、例えば、垂直転送部１１は、１画素あたり垂直転送電極１４が４ゲートあり、２画素周期の８相駆動（φＶ１〜φＶ８）であり、水平転送部１２は２相駆動（φＨ１，φＨ２）である。垂直転送部１１は、光電変換部１０ａ，１０ｂに溜まった信号電荷は、例えば、垂直転送部１１中の点線で示した信号パケット１６ａ〜１６ｄに、それぞれ振り分けて読み出され、垂直転送部１１を図中下方向に転送されたあと、水平転送部１２を図中左方向に転送されて出力される。
また、各画素には、縦型オーバーフロードレイン（ＶＯＤ：Ｖｅｒｔｉｃａｌ Ｏｖｅｒｆｌｏｗ Ｄｒａｉｎ）が備えられている。基板に接続されているＶＳＵＢ電極１７に高電圧（φＳｕｂパルス）が印加されると、全画素の信号電荷は一括に基板に排出される構成となっている。これにより、横型オーバーフロードレインのような各画素のフォトダイオードの面積や、垂直転送部の面積を縮める要素がないため、感度を高く保つことが可能となる。
なお、本実施形態に示すように、赤外光の光電変換部１０ｂからのみ信号を読み出すことが可能な第２の読み出し電極１４ｃを設けることにより、垂直転送部１１が８相駆動である場合、例えば、図３のように、光電変換部１０ｂに溜まった信号を選択的に、つまり、図中Ｖ５ゲートから読み出し、点線で示した信号パケット１６ａ，１６ｂ，１６ｃに、それぞれ振り分けて読み出すことが可能となり、１つの光電変換部１０ｂから複数の信号を得て、距離信号中の背景光を減算することが可能となる。
なお、この図３も含めて、以後、説明に必要な場合を除き、図２に示すチャネルストップ領域１８は図示しない。
図４は、図２及び図３の固体撮像装置の概略動作を示すタイミング図であって、第１のフレーム走査期間内に、背景光による影響を排除した距離画像を生成するための信号を得て、第２のフレーム走査期間内に可視光画像を得る例を示している。また、図５〜図８は、図２及び図３の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
図４に示す垂直同期パルスＶＤは、例えば２ＶＤでちょうど毎秒３０フレーム（３０ｆｐｓ）であり、１フレーム走査期間内に、背景光による影響を排除した距離画像を生成するための距離信号２０、距離信号２１、背景光信号２２が得られ、次のフレーム走査期間に、可視光画像を生成するための可視光信号２３、可視光信号２４が得られる。
まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ５を印加し、赤外光を照射して、図５に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
第１の距離信号蓄積期間Ｔａ１が終了すると、図６に示すように、距離信号２０を１段逆方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ５を印加し、赤外光を照射して、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。
第２の距離信号蓄積期間Ｔａ２が終了すると、図７に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ５を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
なお、図４のタイミング図では、説明を簡単にするために、図５〜図７の動作は１フレームあたり１回ずつとなっているが、出力する前に、これら一連の図５〜図７の動作を繰り返し、また、１サイクルの周期を速めることで、動体に対する測距精度を上げることが可能である。
信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２を順次出力する。
このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が各光電変換部に蓄積され始める。
次に、偶数フレームの初めに、読み出しパルスφＶ２，φＶ６を印加し、図８に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ〜１６ｄに蓄積する。
信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。
図９は、図４の固体撮像装置の第１の距離信号蓄積期間Ｔａ１、及び第２の距離信号蓄積時間Ｔａ２と、背景光信号蓄積期間Ｔｂにおける詳細動作を示すタイミング図である。
第１及び第２の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔｂにおいて、垂直転送電極１４ｃに印加する読み出しパルスφＶ５は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。
距離画像の生成においては、まず、距離信号２０及び距離信号２１に含まれる背景光成分を、背景光信号２２を用いて排除する。例えば、図９に示すように、照射光パルスの立ち下がり時刻で終わる反射光に基づく信号電荷の量をＩＲ１、立ち下がり時刻によらない信号電荷の量をＩＲ２、被写体までの距離をｚ、光速をｃとすると、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（ＩＲ１／ＩＲ２）
となる。
また、可視光画像の生成においても、可視光信号２３に含まれる赤外成分を、可視光信号２４を用いて排除することができるため、色再現性の高い可視光画像を生成することができる。
以上、第１の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を増加することで、１フレーム走査期間内で、背景光による影響を排除した距離画像を得るとともに、別フレームで色再現性の高い可視光画像を得ることが可能となることに加え、各画素には縦型オーバーフロードレインを備えることで、光電変換部１０の領域を広げて感度向上、または、垂直転送部１１の領域を広げて垂直転送部１１の飽和信号量を高めることで、測距精度向上が可能となる。
感度向上によって、例えば、照射する赤外光源の出力を抑えたり、赤外光を照射する露光時間を短くしたりして、いずれも測距システム全体の消費電力を抑えることに繋がる。
その上、本実施形態に示すようなＴＯＦ型システムに適した駆動をする場合、縦型オーバーフロードレイン構造により、電荷排出のためのパルスφＳｕｂは基板に印加され、画素全体に伝わることから、横型オーバーフロードレインのように、画素上の配線層から各画素に、電荷排出のための高電圧を印加せずに済むため、暗電流などのノイズ源にもなりにくい。
また、本実施形態の固体撮像装置は、従来の固体撮像装置に比べて、駆動相数の変更、及び、一部の読み出し電極に対応したチャネルストップ領域を追加するのみで対応可能なため、複雑な製造方法を要することなく、実現することが可能である。
更に、従来技術では、可視光信号２３に含まれる赤外成分を排除するためには、別フレームから専用の信号を得る必要があり、可視光画像の色再現性が低下する課題があったが、第１の実施形態に係るＴＯＦ型測距システムによれば、同一フレームから可視光信号２３と可視光信号２４を得て、赤外成分を排除することができるため、色再現性の高い可視光画像を得ることが可能になる。
なお、本実施形態では、第１のフレームにおいて、光電変換部１０ｂから得た信号のみが垂直転送部１１に読み出されるため、図７に示すように、動作上、隣接する垂直転送部１１上に信号パケット１６ｄ，１６ｅ，１６ｆも存在するが、光電変換部１０ａからは信号が読み出されないので、実質的には空パケットとなっている。
よって、水平転送時に、この２列毎に存在する空きパケットにも信号１６ａ〜１６ｃを順次詰めることで、奇数フレームが短縮できることから、更なるフレームレートの向上も可能である。
また、他にも、例えば、図１０に示すように、赤外光の光電変換部１０ｂを市松状に配置して、残りの市松状に空いている画素に可視光の光電変換部１０ａを配置した場合、赤外光の光電変換部１０ｂに対応した第２の読み出し電極１４ｃ，１４ｄに、読み出しパルスφＶ１，φＶ５を印加することで、第１のフレーム走査期間において、信号パケット１６ａ〜１６ｃだけでなく、信号パケット１６ｄ〜１６ｆにも距離信号を蓄積することが可能となり、距離画像の解像度が増す利点があるので、特に、距離画像の解像度が必要なときにこのフィルタ配置は有効である。
《第２の実施形態》
図１１は、図１中の固体撮像装置１０５の第２の実施形態を示す平面図である。
第２の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで赤外成分を排除した可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
図１１に示した固体撮像装置は、図２及び図３の固体撮像装置と比較して、読み出し電極１４ａ，１４ｂが、読み出し電極１４ｃ，１４ｄと同じように、市松状にのみ読み出せるようになっており、例えば、赤外光の光電変換部１０ｂに対応した読み出し電極１４ｂは、チャネルストップ領域１８を設けて信号が読み出されないようにしてある。読み出し電極１４ａも同様である。
本実施形態の場合、第１の実施形態の駆動タイミングである図４とほぼ同じ駆動で動作可能であるが、１点だけ、第２フレーム走査期間の初めに印加する読み出しパルスが、φＶ２，φＶ６だけでなく、φＶ１，φＶ５にも印加する必要があることのみ異なる。具体的な動作で言えば、第１の実施形態の図８のタイミングでの可視光信号２３及び可視光信号２４の読み出しが、読み出し電極１４ａ，１４ｂだけでなく、読み出し電極１４ｃ，１４ｄも使って読み出す必要がある。それ以外は、第１の実施形態と変わりは無い。
しかし、この構造であれば、例えば、可視光画像を取得する際に、レッドだけを読み出したり、ブルーだけを読み出したり、グリーンだけ読み出したりと、特定色だけ読み出すことも可能となり、取得できる可視画像のバリエーションを増やすことが可能である。なお、特定色だけ読み出す際は、空きパケットが数多くできるため、水平転送時に信号を詰めることで、信号出力時間の短縮も可能である。
以上、第２の実施形態に係るＴＯＦ型測距システムによれば、第１の実施形態に係る固体撮像装置から、一部の読み出し電極にチャネルストップ領域１８を追加するだけで、読み出す画像のバリエーションを増やす、つまり可視画像の自由度を増すことが可能となる。
また、第１の実施形態と同様に、一部の読み出し電極に対応したチャネルストップ領域１８の追加のみで対応可能なため、複雑な製造方法を要することなく、実現することが可能である。
その上、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることが可能な点や、縦型オーバーフロードレインを備えることで、感度を高めてフレームレートを向上したり、垂直転送部１１の飽和信号量を高めたりすることで、測距精度を向上させることが可能な点も同じである。
《第３の実施形態》
図１２は、図１中の固体撮像装置１０５の第３の実施形態を示す平面図である。
第３の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
図１２に示した固体撮像装置は、図２及び図３の固体撮像装置と比較して、垂直転送部１１は、１画素あたり垂直転送電極が５ゲートある、２画素周期の１０相駆動（φＶ１〜φＶ１０）である。
図１３は、図１２の固体撮像装置の概略動作を示すタイミング図であって、図２及び図３の固体撮像装置の概略動作を示すタイミング図である図４と基本的には同じであるが、駆動相数の違いから、読み出しパルスを印加する電極が異なる。また、第１の実施形態に加えて、新たに距離信号２５を取得している点が異なる。
図１４〜図１８は、図１２の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
図１３において、まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ６を印加し、赤外光を照射して、図１４に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
第１の距離信号蓄積期間Ｔａ１が終了すると、図１５に示すように、距離信号２０を１段逆方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、赤外光を照射して、読み出しパルスφＶ６を印加し、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。
第２の距離信号蓄積期間Ｔａ２が終了すると、図１６に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ６を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
背景光信号蓄積期間Ｔｂが終了すると、図１７に示すように、距離信号２０、距離信号２１及び背景光信号２２を信号パケット１６ａ〜１６ｃとともに１段逆方向へ転送し、第３の距離信号蓄積期間Ｔａ３を開始する。第３の距離信号蓄積期間Ｔａ３では、第１の距離信号蓄積期間Ｔａ１と異なるタイミングで赤外光を照射して、読み出しパルスφＶ６を印加し、距離信号２５を読み出し、これを信号パケット１６ｄに蓄積する。
信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、距離信号２５を順次出力する。
このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が各光電変換部に蓄積され始める。
次に、偶数フレームの初めに、読み出しパルスφＶ２，φＶ６を印加し、図１８に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ〜１６ｄに蓄積する。
信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。
図１９は、図１３の固体撮像装置の第１、第２及び第３の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔａ３及び、背景光信号蓄積期間Ｔｂにおける詳細動作を示すタイミング図である。第１、第２、第３の距離信号蓄積期間Ｔａ１，Ｔａ２，Ｔａ３及び背景光信号蓄積期間Ｔｂにおいて、垂直転送電極１４ｃに印加する読み出しパルスφＶ６は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。
距離画像の生成においては、まず、距離信号２０、距離信号２１及び距離信号２５に含まれる背景光成分を、背景光信号２２を用いて排除する。ここで、第１の実施形態と比べて、距離信号２５が増えているが、例えば、距離信号２０は長距離を演算するのに適した信号、距離信号２５は近距離を演算するのに適した信号、といったように使い分けすることが可能となる。
以上、第３の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を更に増加することで、背景光による影響を排除した距離画像が近距離から遠距離まで対応できる、つまり、ダイナミックレンジの広い距離画像を生成することが可能となる。
更に、図示はしていないが、垂直転送部１１が１０相駆動である場合でも、距離信号２５を取得せず、距離信号２０，２１，２２だけを扱う駆動も可能であるが、この場合は、図１２とは異なり、各信号パケットが常に２ゲート以上で蓄積が可能になるため、第１の実施形態や第２の実施形態と比べて、１フレーム走査期間内に取り扱える電荷量が増えて、４信号を取り扱う駆動だけでなく、この３信号を取り扱う駆動においても、距離精度の向上が可能である。
なお、第１の実施形態と同様、赤外光の光電変換部１０ｂを市松状に配置して、残りの空いている画素に可視光の光電変換部１０ａを配置すると、図１７で空きパケットとなっている１６ｅ〜１６ｈを有効活用できるため、距離画像の解像度を増すことが可能な点は同じである（図示はしない）。
また、第２の実施形態と同様に、本実施形態の固体撮像装置も、図２０に示すように、読み出し電極１４ａ，１４ｂを市松状にのみ読み出せるようにチャネルストップ領域１８を設けることで、特定色のみ読み出せるようにすることが可能な点も同じである。
《第４の実施形態》
図２１は、図１中の固体撮像装置１０５の第４の実施形態を示す平面図である。
第４の実施形態に係る固体撮像装置は、第３の実施形態に係る固体撮像装置と比較して、垂直転送部１１の構成が異なる。しかし、１フレーム走査期間内で、背景光による影響を排除した距離画像を生成するとともに、別フレームで可視光画像を得ることができる構造及び駆動方法を提供することを目的とする点は、第３の実施形態に係る固体撮像装置と同様である。以下、第３の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
図２１に示した固体撮像装置は、図１２の固体撮像装置と比較して、垂直転送部１１は、１画素あたり垂直転送電極１４が４ゲートある単純な４相駆動である。ただし、赤外光を信号電荷に変換する光電変換部１０ｂの両側の垂直転送部１１には、異なるφＶ１パルスが印加できるように、読み出し電極１４ｂ（図中、Ｖ１Ｌゲート）と読み出し電極１４ｃ（図中、Ｖ１Ｒゲート）が配置されており、読み出し電極１４ｂ，１４ｃに印加する読み出しパルスφＶ１Ｌ，φＶ１Ｒを使い分けることにより、光電変換部１０ｂの両側、どちらの垂直転送部１１にも読み出せるようになっている。なお、本実施形態の特徴である読み出し電極の構成を示す都合上、ＶＳｕｂ電極１７が一番上のフォトダイオードとしか繋がっていないように描かれているが、実際は、第１及び第３の実施形態と同様、各光電変換部１０には縦型オーバーフロードレインが設けられており、任意のタイミングでφＳｕｂパルスを印加することで、全ての光電変換部１０の信号電荷を排出することが可能である。
図２２は、図２１の固体撮像装置の概略動作を示すタイミング図であって、図１２の固体撮像装置の概略動作を示すタイミング図である図１３と似ているが、駆動相数の違いから、読み出しパルスを印加する電極が異なる。また、第３の実施形態と比べて、距離信号などを取得する際（奇数フレーム）の信号転送回数が減っているとともに、信号パケット数が少ないことも本実施形態の特徴である。
図２３〜図２７は、図２１の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
まず、奇数フレームの初めに、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ１Ｌを印加し、赤外光を照射して、図２３に示すように、光電変換部１０ｂの図中左側の垂直転送部１１に距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
第１の距離信号蓄積期間Ｔａ１が終了すると、距離信号２０はそのままで、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ１Ｒを印加し、赤外光を照射して、光電変換部１０ｂの図中右側の垂直転送部１１に距離信号２１を読み出し、これを光電変換部１０ｂを介して信号パケット１６ａと反対側の信号パケット１６ｂに蓄積する。
第２の距離信号蓄積期間Ｔａ２が終了すると、図２５に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ，１６ｂとともに１段逆方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、赤外光を照射せずに、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ１Ｌを印加し、光電変換部１０ｂの図中左側の垂直転送部１１に背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
背景光信号蓄積期間Ｔｂが終了すると、図２６に示すように、距離信号２０、距離信号２１及び背景光信号２２はそのままで、第３の距離信号蓄積期間Ｔａ３を開始する。第３の距離信号蓄積期間Ｔａ３では、第１の距離信号蓄積期間Ｔａ１と異なるタイミングで赤外光を照射して、露光した後、読み出しパルスφＶ１Ｒを印加し、光電変換部１０ｂの図中右側の垂直転送部１１に距離信号２５を読み出し、これを光電変換部１０ｂを介して信号パケット１６ｃと反対側の信号パケット１６ｄに蓄積する。
信号転送期間Ｔｃ１では、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、距離信号２５を順次出力する。
このとき、任意のタイミングで、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、光電変換部１０ａの可視光信号２３及び光電変換部１０ｂの可視光信号２４が光電変換部に蓄積され始める。
第２フレームの初めに、読み出しパルスφＶ２を印加し、図２７に示すように、前フレームの信号転送期間Ｔｃ１の露光により蓄積された可視光信号２３及び可視光信号２４を、信号パケット１６ａ〜１６ｄに蓄積する。
信号転送期間Ｔｃ２では、垂直転送部１１及び水平転送部１２を順次走査することにより、可視光信号２３及び可視光信号２４を順次出力する。
以上、第４の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を増やすことなく、第３の実施形態と同じく、背景光による影響を排除した距離画像のダイナミックレンジを広くすることが可能となる。
更に、図２３〜図２７に示すように、距離信号２０，２１，２２，２５も、基本的に２ゲートで蓄積が可能なため、第１の実施形態や第２の実施形態と比べて、１フレーム走査期間内に取り扱える電荷量が多く、距離精度の向上が可能である。
なお、この第４の実施形態に係る構造であれば、位相差法を用いたＴＯＦ型測距システムの構築も容易に対応することが可能である。位相差法は、照射する赤外光を高速で点滅させ、反射光の位相遅れの程度を計測する手法である。例えば、図２８にその駆動タイミングの一例を示す。
第１の実施形態や第３の実施形態と異なり、赤外光を信号電荷に変換する光電変換部１０ｂに、２つの読み出し電極（Ｖ１Ｌ，Ｖ１Ｒ）が存在することから、距離画像を出力する第１フレームにおいて、図２８のように、１８０度位相の反転した信号を異なる信号パケットに交互に読み出すことが可能である。その後、先の位相と９０度ずれた２つの信号を更に取得することで、位相の異なる４つの信号から距離を算出することが可能となる。
この場合、第２フレームの可視画像を取得する過程は本実施形態に示すものと同じである。
以上説明してきたとおり、本発明に係る撮像装置は、動体の距離精度及びフレームレートを向上するので、所定の距離位置に存在する被写体の距離画像とともに可視光画像を取得する撮像装置として有用である。
１０，１０ａ，１０ｂ 光電変換部
１１ 垂直転送部
１２ 水平転送部
１３ 電荷検出部
１４，１４ａ，１４ｂ，１４ｃ，１４ｄ 垂直転送電極
１５ 垂直転送路
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ，１６ｇ，１６ｈ 信号パケット
１７ ＶＳＵＢ電極
１８ チャネルストップ領域
２０，２１，２５ 距離信号
２２ 背景光信号
２３，２４ 可視光信号
１０１ 被写体
１０２ 背景光源
１０３ 赤外光源
１０４ レンズ
１０５ 固体撮像装置
１０６ 制御部
１０７ 信号処理部

Claims (14)

  1. 赤外光を照射する赤外光源と、固体撮像装置を備える撮像装置に用いる固体撮像装置であって、
    前記固体撮像装置は、
    それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有し、
    背景光成分を排除した距離画像を生成するために、赤外光の照射期間で記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、
    赤外成分を排除した可視光画像を生成するために、前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力する
    ことを特徴とする固体撮像装置。
  2. 請求項１記載の固体撮像装置において、
    前記複数の第１画素の信号電荷と前記複数の第２画素の信号電荷とを転送する垂直転送部と、
    前記転送された信号電荷を信号増幅して出力する出力部とを有する
    ことを特徴とする固体撮像装置。
  3. 請求項２記載の固体撮像装置において、
    前記垂直転送部は８相駆動である
    ことを特徴とする固体撮像装置。
  4. 請求項２記載の固体撮像装置において、
    前記垂直転送部は１０相駆動である
    ことを特徴とする固体撮像装置。
  5. 請求項２記載の固体撮像装置において、
    少なくとも前記複数の第１画素には前記垂直転送部に信号電荷を読み出し可能な読み出し電極が２つ以上設けられている
    ことを特徴とする固体撮像装置。
  6. 請求項２記載の固体撮像装置において、
    前記複数の第１画素及び前記複数の第２画素は、４画素を１単位として全て別の読み出し電極から前記垂直転送部に信号電荷を読み出す
    ことを特徴とする固体撮像装置。
  7. 請求項２記載の固体撮像装置において、
    前記垂直転送部は、４相駆動であり、
    前記複数の第１画素は、隣接する２つの前記垂直転送部のどちらにも選択的に信号電荷を読み出せる
    ことを特徴とする固体撮像装置。
  8. 請求項１〜７のいずれか１項に記載の固体撮像装置において、
    前記複数の第２画素は、ブルーを受光するブルー画素と、グリーンを受光するグリーン画素と、レッドを受光するレッド画素との３種類からなる
    ことを特徴とする固体撮像装置。
  9. 請求項１〜７のいずれか１項に記載の固体撮像装置において、
    前記複数の第２画素は、イエローを受光するイエロー画素と、シアンを受光するシアン画素と、グリーンを受光するグリーン画素と、マゼンタを受光するマゼンタ画素との４種類、又はこれらのうちいずれか３種類からなる
    ことを特徴とする固体撮像装置。
  10. 赤外光を照射する赤外光源と、
    それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備え、
    前記固体撮像装置は、
    背景光成分を排除した距離画像を生成するために、赤外光の照射期間で前記複数の第１画素から得た第１の信号と、赤外光の非照射期間で前記複数の第１画素から得た第２の信号とを、第１のフレーム走査期間内で出力し、
    赤外成分を排除した可視光画像を生成するために、前記複数の第１画素から得た第３の信号及び前記複数の第２画素から得た第４の信号を、第２のフレーム走査期間内で出力する
    ことを特徴とする撮像装置。
  11. 請求項１０に記載の撮像装置において、
    前記赤外光をパルス状に発光させて、被写体を含む空間に照射し、異なる２つの期間に受光した反射光から、前記複数の第１画素の各々で前記第１の信号として２つ以上の距離信号を生成し、
    前記２つ以上の距離信号と、前記赤外光の非照射期間に生成した前記第２の信号との各々の差分で背景光成分を除去し、
    前記２つ以上の距離信号のうち２つの距離信号の比率によって被写体までの距離を求める、ＴＯＦ型の測距センサとして機能する
    ことを特徴とする撮像装置。
  12. 請求項１０または１１に記載の撮像装置において、
    前記赤外光を特定パターンで、被写体を含む空間に照射して、前記第１の信号を生成し、
    前記第１の信号と、前記赤外光の非照射期間に生成した前記第２の信号との差分で背景光成分を除去し、
    各照射パターンの位置ずれ量によって被写体までの距離を求める、
    パターン照射型の測距センサとして機能する
    ことを特徴とする撮像装置。
  13. 請求項１０〜１２のいずれか１項に記載の撮像装置において、
    前記赤外光を、被写体を含む空間に照射して、前記第１の信号を生成し、
    前記第１の信号と、前記赤外光の非照射期間に生成した前記第２の信号との差分で背景光成分を除去し、
    三角測量法によって被写体までの距離を求める、ステレオ方式の測距センサとして機能する
    ことを特徴とする撮像装置。
  14. 赤外光を照射する赤外光源と、それぞれ縦型オーバーフロードレインを有し、かつ半導体基板上に行列状に配置された、赤外光を信号電荷に変換する複数の第１画素、及び可視光を信号電荷に変換する複数の第２画素を有する固体撮像装置とを備えた撮像装置の駆動方法であって、
    背景光成分を排除した距離画像を生成するために、赤外光の照射期間で前記複数の第１画素から第１の信号を得るステップと、赤外光の非照射期間で前記複数の第１画素から第２の信号を得るステップと、第１のフレーム走査期間内で、前記第１及び第２の信号を出力するステップとを、行い、
    赤外成分を排除した可視光画像を生成するために、前記複数の第１画素から第３の信号を得るステップと、前記複数の第２画素から第４の信号を得るステップと、第２のフレーム走査期間内で、前記第３及び第４の信号を出力するステップとを、行う
    ことを特徴とする撮像装置の駆動方法。
JP2015528122A 2013-07-23 2014-06-06 固体撮像装置、撮像装置及びその駆動方法 Active JP6442710B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013152653 2013-07-23
JP2013152653 2013-07-23
PCT/JP2014/003028 WO2015011869A1 (ja) 2013-07-23 2014-06-06 撮像装置及びその駆動方法

Publications (2)

Publication Number Publication Date
JPWO2015011869A1 JPWO2015011869A1 (ja) 2017-03-02
JP6442710B2 true JP6442710B2 (ja) 2018-12-26

Family

ID=52392937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015528122A Active JP6442710B2 (ja) 2013-07-23 2014-06-06 固体撮像装置、撮像装置及びその駆動方法

Country Status (3)

Country Link
US (1) US9736438B2 (ja)
JP (1) JP6442710B2 (ja)
WO (1) WO2015011869A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
EP3334152B1 (en) * 2015-08-04 2023-10-11 Nuvoton Technology Corporation Japan Solid-state imaging device
DE102016205804A1 (de) * 2016-04-07 2017-10-12 Siemens Aktiengesellschaft Positionsbestimmungssystem
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
US10868966B2 (en) 2016-06-15 2020-12-15 Sony Corporation Imaging apparatus and imaging method
JP6834211B2 (ja) * 2016-07-15 2021-02-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置及び測距方法
US10764505B2 (en) 2016-08-10 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Projection image pickup device and projection image pickup method
JP7018022B2 (ja) * 2016-11-29 2022-02-09 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置及び測距撮像装置
WO2018110183A1 (ja) * 2016-12-14 2018-06-21 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
DE102017205631A1 (de) * 2017-04-03 2018-10-04 Robert Bosch Gmbh LiDAR-System und Verfahren zum Ermitteln eines Systemzustands eines LiDAR-Systems
US20180332239A1 (en) * 2017-05-10 2018-11-15 Lifetouch Inc. Background replacement utilizing infrared light and visible light
CN107463877A (zh) * 2017-07-05 2017-12-12 广东欧珀移动通信有限公司 虹膜采集方法、电子装置和计算机可读存储介质
US11506766B2 (en) 2017-07-27 2022-11-22 Maxell, Ltd. Image-capturing device, image-capturing apparatus and method of acquiring distance image
JP6485675B1 (ja) * 2017-09-14 2019-03-20 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
CN111034178B (zh) * 2017-09-14 2022-09-20 新唐科技日本株式会社 固体摄像装置及具备该固体摄像装置的摄像装置
JP7130544B2 (ja) * 2018-12-20 2022-09-05 三星電子株式会社 ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム
US20230290113A1 (en) * 2020-08-17 2023-09-14 Sony Group Corporation Information processing device, information processing method, and information processing program

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
JP4695550B2 (ja) * 2006-06-22 2011-06-08 富士フイルム株式会社 固体撮像装置およびその駆動方法
JP4395150B2 (ja) 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
JP4440239B2 (ja) * 2006-08-18 2010-03-24 富士フイルム株式会社 距離画像作成方法及び距離画像センサ、及び撮影装置
US8212877B2 (en) * 2007-03-02 2012-07-03 Fujifilm Corporation Image capturing system, image capturing method, and computer program product at which an image is captured at a predetermined time
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
KR101182188B1 (ko) * 2009-11-13 2012-09-12 엄두간 적외선 센서 및 이를 이용한 감지 방법
KR101681198B1 (ko) * 2010-02-04 2016-12-01 삼성전자주식회사 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
JP2014207493A (ja) * 2011-08-24 2014-10-30 パナソニック株式会社 撮像装置
US8642938B2 (en) * 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
JP6008148B2 (ja) * 2012-06-28 2016-10-19 パナソニックＩｐマネジメント株式会社 撮像装置
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
JP6145826B2 (ja) * 2013-02-07 2017-06-14 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
JP6368115B2 (ja) * 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
JP6582987B2 (ja) * 2013-10-23 2019-10-02 日本電気株式会社 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
JP6207351B2 (ja) * 2013-11-12 2017-10-04 キヤノン株式会社 固体撮像装置および撮像システム
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
US9425233B2 (en) * 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
US9871065B2 (en) * 2014-12-22 2018-01-16 Google Inc. RGBZ pixel unit cell with first and second Z transfer gates
KR102282218B1 (ko) * 2015-01-30 2021-07-26 삼성전자주식회사 3 차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3 차원 영상 획득 장치

Also Published As

Publication number Publication date
US20160119594A1 (en) 2016-04-28
JPWO2015011869A1 (ja) 2017-03-02
US9736438B2 (en) 2017-08-15
WO2015011869A1 (ja) 2015-01-29

Similar Documents

Publication Publication Date Title
JP6442710B2 (ja) 固体撮像装置、撮像装置及びその駆動方法
JP6145826B2 (ja) 撮像装置及びその駆動方法
JP6008148B2 (ja) 撮像装置
WO2013027340A1 (ja) 撮像装置
CN106576146B (zh) 摄像装置及用于该摄像装置的固体摄像装置
US10728439B2 (en) Image-capturing apparatus and motion detection method
US11276719B2 (en) Solid-state imaging device and distance-measuring imaging device
US20100188538A1 (en) Solid-state image sensor and drive method for the same
US9838611B2 (en) Image capturing apparatus for obtaining normal image and range image and control method thereof
JP6160971B2 (ja) 固体撮像素子及び測距撮像装置
JP4321620B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP2007235888A (ja) 単板式カラー固体撮像素子及び撮像装置
JP2009141578A (ja) 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP3932563B2 (ja) 固体撮像装置
JP2017152921A (ja) 撮像素子及びその駆動制御回路
JP2009141579A (ja) 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP2009100404A (ja) 固体撮像素子の駆動方法及び撮像装置
JP2009130731A (ja) 撮像装置及び撮像装置の駆動方法
JP2009147884A (ja) 固体撮像素子の駆動方法及び撮像装置
JPS5813080A (ja) 固体撮像素子
JP2008236171A (ja) 撮像素子およびそれを用いた撮像装置
JP2006230013A (ja) 固体撮像装置および固体撮像装置の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R151 Written notification of patent or utility model registration

Ref document number: 6442710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250