[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020057892A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2020057892A
JP2020057892A JP2018186276A JP2018186276A JP2020057892A JP 2020057892 A JP2020057892 A JP 2020057892A JP 2018186276 A JP2018186276 A JP 2018186276A JP 2018186276 A JP2018186276 A JP 2018186276A JP 2020057892 A JP2020057892 A JP 2020057892A
Authority
JP
Japan
Prior art keywords
signal
read
image
photoelectric conversion
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018186276A
Other languages
Japanese (ja)
Inventor
畠山 康紀
Yasunori Hatakeyama
康紀 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018186276A priority Critical patent/JP2020057892A/en
Publication of JP2020057892A publication Critical patent/JP2020057892A/en
Pending legal-status Critical Current

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

To provide an imaging device capable of reducing an influence of periodic noise and suppressing the deterioration of focus detection accuracy while minimizing an increase in time required to read a signal in one row.SOLUTION: An imaging device performs a first reading operation V1-V7 to add and read signals of first and second photoelectric conversion units, a second reading operation V8-V13 to independently read the signals of the first and second photoelectric conversion units, reads by thinning out at a predetermined cycle in a vertical direction in the first reading operation, sequentially reads rows that are not read in a first scan at the predetermined cycle in the second reading operation, detects phase difference by using a signal read by the second reading operation, and in the second reading operation, performs control so that time difference between reading timing of a reference signal 1 of the first photoelectric conversion unit and reading timing of a reference signal 2 of the second photoelectric conversion unit has a predetermined relationship with the frequency of a noise source that occurs during a reading operation of an image signal.SELECTED DRAWING: Figure 7

Description

本発明は、撮像装置およびその制御方法に関する。   The present invention relates to an imaging device and a control method thereof.

CCDイメージセンサ、CMOSイメージセンサ等の固体撮像素子を用いて撮影する撮像装置が提案されている。このような撮像装置においては、撮像素子で光学像を電気信号に変換する過程において画像の画質劣化の原因となる様々なノイズが発生する。撮像素子内部で発生する代表的なノイズとして、画素および読み出し回路のリセットノイズ、画素領域において発生する暗電流などの撮像動作を行う度に変動するランダムノイズがある。また撮像素子の近傍には、レンズ駆動のためのアクチュエータなど、ノイズ源となり得る要素が多数存在する。特に撮像素子としてCMOSイメージセンサを用いると、イメージセンサとノイズ源との物理的な距離が近い場合、ノイズ源から発生する周期的なノイズ(電磁波)が、空間的にイメージセンサの出力信号に被ってしまうことがある。これは、フォトダイオードに蓄積された電荷を画素単位で電圧に変換して信号を読み出す、というCMOSイメージセンサ特有の動作に起因している。   2. Description of the Related Art There has been proposed an imaging apparatus that performs imaging using a solid-state imaging device such as a CCD image sensor or a CMOS image sensor. In such an imaging apparatus, various noises that cause deterioration of image quality occur in the process of converting an optical image into an electric signal by the imaging element. Typical noises generated inside the image sensor include reset noise of pixels and readout circuits, and random noise that fluctuates every time an image capturing operation is performed, such as dark current generated in a pixel region. In addition, in the vicinity of the image sensor, there are many elements that can be a noise source, such as an actuator for driving a lens. In particular, when a CMOS image sensor is used as an image sensor, when the physical distance between the image sensor and the noise source is short, periodic noise (electromagnetic waves) generated from the noise source spatially covers the output signal of the image sensor. Sometimes. This is attributable to a unique operation of the CMOS image sensor in which the charge stored in the photodiode is converted into a voltage for each pixel and a signal is read.

また近年、撮像用イメージセンサの画素の一部または全部を、複数のフォトダイオードに分割して蓄積電荷を読み出せるように構成された撮像装置がある。例えば水平方向に2分割した場合には2分割した左側画素のみで生成した画像(以降、A像と呼ぶ)と右側画素のみで生成した画像(以降、B像と呼ぶ)を独立して読み出すようにする。そして、A像とB像が形成する像ズレ量(位相差)を検出することにより、被写体までの距離情報を算出する技術が開示されている。なお、2分割したフォトダイオードの蓄積電荷を加算して同時に読み出すことにより、撮影画像用の信号(以降、A+B像と呼ぶ)を得ることも出来る。   Further, in recent years, there is an imaging apparatus configured so that a part or all of pixels of an imaging image sensor can be divided into a plurality of photodiodes to read stored charges. For example, when the image is divided into two in the horizontal direction, an image generated by only the left divided pixels (hereinafter, referred to as A image) and an image generated by only the right pixels (hereinafter, referred to as B image) are read out independently. To There is disclosed a technique for calculating distance information to a subject by detecting an image shift amount (phase difference) formed between the A image and the B image. Note that a signal for a captured image (hereinafter, referred to as an A + B image) can also be obtained by adding the accumulated charges of the two divided photodiodes and reading them out simultaneously.

前述のような撮像装置では、撮影画像用の信号(A+B像)読み出しと位相差検出用の信号(A像あるいはB像)読み出しとを時系列で実施する必要がある。この際、撮像素子の電源電圧を周期的に変動させるノイズ源が動作すると、撮影画像用の信号(A+B像)に加えて位相差検出用の信号(A像あるいはB像)に対しても周期的なノイズが発生してしまう。位相差検出用の信号(A像あるいはB像)に周期的なノイズが発生した場合には、正しい位相差信号が得られず、焦点検出精度が低下してしまうことになる。これに対して、撮影画像用の信号(A+B像)と位相差検出用の信号(A像あるいはB像)の双方について、周期的ノイズの影響を軽減する技術が提案されている(特許文献1)。   In the above-described imaging apparatus, it is necessary to read out a signal (A + B image) for a captured image and a signal (A image or B image) for detecting a phase difference in time series. At this time, when a noise source that periodically fluctuates the power supply voltage of the image sensor operates, a periodic signal (A image or B image) for detecting a phase difference (A image or B image) in addition to a signal for a captured image (A + B image) Noise is generated. If periodic noise occurs in the phase difference detection signal (A image or B image), a correct phase difference signal cannot be obtained, and the focus detection accuracy will be reduced. On the other hand, there has been proposed a technique for reducing the influence of periodic noise on both a captured image signal (A + B image) and a phase difference detection signal (A image or B image) (Patent Document 1). ).

特開2016−111452号公報JP 2016-111452 A

上記の特許文献1に開示された従来技術では、A像およびA+B像の双方についてノイズ量が「ゼロ」となるように信号読み出しタイミングを制御する必要がある。そのため、周期的ノイズの周波数によっては1行の信号読み出しにかかる時間が長くなり、結果的にフレームレートの低下を招いてしまうという課題があった。   In the related art disclosed in Patent Document 1, it is necessary to control the signal readout timing so that the noise amount becomes “zero” for both the A image and the A + B image. For this reason, depending on the frequency of the periodic noise, there is a problem that the time required to read a signal in one row becomes longer, resulting in a reduction in the frame rate.

そこで本発明の目的は、1行の信号読み出しにかかる時間の増加を最小限に抑えた上で、周期的ノイズの影響を軽減し、焦点検出精度の低下を抑えることを可能にした撮像装置を提供することにある。   Therefore, an object of the present invention is to provide an imaging apparatus capable of minimizing an increase in the time required for reading a signal in one row, reducing the influence of periodic noise, and suppressing a decrease in focus detection accuracy. To provide.

上記の目的を達成するために、本発明に係る撮像装置は、
単位画素に対して撮影光学系の射出瞳の分割された異なる領域を通過した光束により形成された2つの被写体像をそれぞれ光電変換するための第1および第2の光電変換部を有する画素が複数配置された撮像素子と、前記第1および第2の光電変換部の信号を加算して読み出す第1の読み出し動作と、前記第1および第2の光電変換部の信号をそれぞれ独立に読み出す第2の読み出し動作とを行う信号読み出し手段と、前記第1の読み出し動作においては垂直方向に所定の周期で行を間引いて読み出す第1走査と、前記第2の読み出し動作においては前記第1走査で読み出されない行を所定の周期で順次読み出す第2走査とを行うための走査手段と、前記第2の読み出し動作により読み出した信号を用いて前記2つの被写体像の位相差を検出する位相差検出手段と、前記第2の読み出し動作において、前記第1の光電変換部の基準信号1の読み出しタイミングと前記第2の光電変換部の基準信号2の読み出しタイミングとの時間差が、画像信号の読み出し動作中に発生するノイズ源の周波数と所定の関係となるように制御するタイミング制御手段とを有することを特徴とする。
In order to achieve the above object, an imaging device according to the present invention includes:
A plurality of pixels each having first and second photoelectric conversion units for photoelectrically converting two subject images formed by light fluxes that have passed through different divided regions of the exit pupil of the imaging optical system with respect to a unit pixel are provided. A first read operation for adding and reading the signals of the first and second photoelectric conversion units, and a second read operation of independently reading the signals of the first and second photoelectric conversion units. Signal reading means for performing a read operation of the first read operation, a first scan in which rows are thinned out at predetermined intervals in the vertical direction in the first read operation, and a read operation in the first scan in the second read operation. Scanning means for performing a second scan for sequentially reading out non-output rows at a predetermined cycle, and detecting a phase difference between the two subject images using a signal read by the second read operation And a time difference between the timing of reading the reference signal 1 of the first photoelectric conversion unit and the timing of reading the reference signal 2 of the second photoelectric conversion unit in the second reading operation. Timing control means for controlling the frequency of a noise source generated during a signal reading operation to have a predetermined relationship.

本発明によれば、1行の信号読み出しにかかる時間の増加を最小限に抑えた上で、周期的ノイズの影響を軽減し、焦点検出精度の低下を押さえることを可能にした撮像装置の提供を実現出来る。   According to the present invention, there is provided an imaging apparatus capable of minimizing an increase in time required for reading a signal of one row, reducing the influence of periodic noise, and suppressing a decrease in focus detection accuracy. Can be realized.

本発明の実施形態に係わる撮像装置の構成を示すブロック図FIG. 1 is a block diagram illustrating a configuration of an imaging device according to an embodiment of the present invention. 撮像素子の画素アレイを示した図The figure which showed the pixel array of the image sensor 撮像素子の回路構成を示した図Diagram showing the circuit configuration of the image sensor 撮像素子における単位画素の詳細な回路構成を示した図The figure which showed the detailed circuit structure of the unit pixel in the image sensor. 読み出し回路の説明図Illustration of readout circuit AD変換回路の説明図Explanatory diagram of AD conversion circuit 撮像素子の信号読み出しにおける、具体的な読み出し行の模式図Schematic diagram of a specific readout row in signal readout of the image sensor 読み出し回路およびAD変換回路の出力波形を示す模式図Schematic diagram showing output waveforms of a readout circuit and an AD conversion circuit 第一の実施形態における周期的ノイズの影響を軽減する具体的な方法の説明図Explanatory drawing of a specific method for reducing the influence of periodic noise in the first embodiment 第二の実施形態における周期的ノイズの影響を軽減する具体的な方法の説明図Explanatory diagram of a specific method for reducing the influence of periodic noise in the second embodiment A像およびB像のノイズ量がどちらもゼロになるようにする場合の説明図Explanatory diagram in the case where the noise amounts of the A image and the B image are both zero.

図1は、本発明の実施形態に係わる撮像装置の構成を示すブロック図である。同図において、100は撮影光学系の先端に配置された第1のレンズである。絞り101は、その開口径を調節することで撮影時の光量調節を行う。102は第2のレンズ、103は第3のレンズであり、第2レンズ、第3レンズが後述のフォーカスアクチュエータ116によって駆動され、光軸方向に進退することにより、撮影光学系の焦点を調節する。   FIG. 1 is a block diagram illustrating a configuration of an imaging device according to an embodiment of the present invention. In FIG. 1, reference numeral 100 denotes a first lens arranged at the tip of the photographing optical system. The aperture 101 adjusts the light amount at the time of shooting by adjusting the aperture diameter. Reference numeral 102 denotes a second lens, and reference numeral 103 denotes a third lens. The second lens and the third lens are driven by a focus actuator 116, which will be described later, and advance and retreat in the optical axis direction to adjust the focus of the photographing optical system. .

104は、静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。105は撮影画像の偽色やモアレを低減するための光学的ローパスフィルタである。106は、撮影光学系で形成された被写体の光学像を電気信号に光電変換する撮像素子である。撮像素子106は、後述するCPU109によって制御される。   Reference numeral 104 denotes a focal plane shutter that adjusts the exposure time when capturing a still image. Reference numeral 105 denotes an optical low-pass filter for reducing false colors and moire of a captured image. An image sensor 106 photoelectrically converts an optical image of a subject formed by the photographing optical system into an electric signal. The image sensor 106 is controlled by a CPU 109 described later.

107は画像処理部DSP(Digital Signal Processor)である。DSP107は撮像素子106で撮影された画像データの、補正・圧縮等の処理を行う画像処理部である。また、後述するA像データとB像データの加算機能や、画像信号を用いた相関演算を行う相関演算機能を具備する。108はRAMである。RAM108は撮像素子106からの出力データを保持する信号保持手段の機能と、DSP107で処理された画像データを記憶する画像データ記憶手段の機能と、後述のCPU109が動作を行う際のワークメモリの機能を兼備する。なお、本実施例ではこれらの機能を、RAM108を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。また本実施例では、RAM108は、DSP107乃至CPU109の外部に配置しているが、その一部または全部の機能をDSP107やCPU109に内蔵する構成であってもよい。   Reference numeral 107 denotes an image processing unit DSP (Digital Signal Processor). The DSP 107 is an image processing unit that performs processing such as correction and compression on image data captured by the image sensor 106. Further, it has a function of adding A image data and B image data, which will be described later, and a correlation operation function of performing a correlation operation using an image signal. 108 is a RAM. The RAM 108 functions as a signal holding unit that holds output data from the image sensor 106, a function of an image data storage unit that stores image data processed by the DSP 107, and a function of a work memory when the CPU 109 described below operates. Combined. In this embodiment, these functions are realized by using the RAM 108. However, any other memory can be applied as long as the access speed is sufficiently high and there is no problem in operation. It is. Further, in the present embodiment, the RAM 108 is disposed outside the DSP 107 to the CPU 109, but a configuration in which some or all of the functions are incorporated in the DSP 107 or the CPU 109 may be employed.

109は、撮像装置の動作を統括的に制御するCPUである。CPU109は撮像装置の各部を制御するためのプログラムを実行する。また、DSP107から出力される相関演算の結果を用いて、後述のフォーカス駆動回路115を制御し、撮影光学系の焦点を調節する機能ももつ。110は、撮影した静止画像や動画像およびメニュー等の表示を行う表示部である。111は、撮影命令や撮影条件等の設定をCPU109に対して行う操作部である。112は、静止画データ及び動画データを記録するための、着脱可能な記録媒体である。113は、CPU109が各部の動作を制御するためにロードして実行するプログラムを格納するROMである。   Reference numeral 109 denotes a CPU that controls the operation of the imaging apparatus in a comprehensive manner. The CPU 109 executes a program for controlling each unit of the imaging device. Further, it also has a function of controlling a focus driving circuit 115 described later using the result of the correlation operation output from the DSP 107 to adjust the focus of the photographing optical system. A display unit 110 displays a captured still image, a moving image, a menu, and the like. Reference numeral 111 denotes an operation unit that sets a shooting command, a shooting condition, and the like for the CPU 109. Reference numeral 112 denotes a removable recording medium for recording still image data and moving image data. Reference numeral 113 denotes a ROM that stores a program to be loaded and executed by the CPU 109 to control the operation of each unit.

114はフォーカルプレーンシャッタ104を制御するためのシャッター駆動回路である。115は、光学系の焦点位置を変更する焦点位置変更手段であるフォーカス駆動回路で、CPU109の出力に基づいてフォーカスアクチュエータ116の駆動を制御し、第2レンズ102及び第3レンズ103を光軸方向に進退駆動して焦点調節を行なう。117は絞り駆動回路で、絞りアクチュエータ118の駆動を制御して絞り101の開口を制御する。   Reference numeral 114 denotes a shutter drive circuit for controlling the focal plane shutter 104. Reference numeral 115 denotes a focus drive circuit which is a focus position changing unit that changes the focus position of the optical system. The focus drive circuit 115 controls the drive of the focus actuator 116 based on the output of the CPU 109, and moves the second lens 102 and the third lens 103 in the optical axis direction. The focus is adjusted by driving forward and backward. An aperture driving circuit 117 controls the driving of the aperture actuator 118 to control the aperture of the aperture 101.

次に、撮像素子106の構成について、図2及び図3を参照しながら説明する。撮像素子106の画素アレイを図2に示す。図2において、200は画素アレイを構成する単位画素である。201は単位画素におけるマイクロレンズである。202a、202bは光電変換を行う光電変換手段としてのフォトダイオード(PD)であり、これら2つのPDによって単一マイクロレンズ下に配置される単位画素を構成する。この構成をとることによってPD202a、202bは瞳分割構成を取ることになり、互いに位相差を持った別々の像が入射されることになる。ここではPD202aはA像用光電変換部、PD202bはB像用光電変換部を構成するものとする。   Next, the configuration of the image sensor 106 will be described with reference to FIGS. FIG. 2 shows a pixel array of the image sensor 106. In FIG. 2, reference numeral 200 denotes a unit pixel constituting the pixel array. 201 is a micro lens in a unit pixel. 202a and 202b are photodiodes (PD) as photoelectric conversion means for performing photoelectric conversion, and these two PDs constitute a unit pixel arranged under a single microlens. With this configuration, the PDs 202a and 202b have a pupil division configuration, and separate images having a phase difference from each other are incident. Here, the PD 202a constitutes the photoelectric conversion unit for the A image, and the PD 202b constitutes the photoelectric conversion unit for the B image.

次に撮像素子106の回路構成を、図3を参照して説明する。300は、単位画素200を行列方向に配した画素アレイであり、水平方向に(m+1)個、垂直方向に(n+1)個の単位画素の複数の単位画素200が配置されている。301はタイミングジェネレータ(TG)であり、CPU109によってプログラムされた設定に従って、各回路ブロックに対して適切なタイミングで制御パルスを供給する。なお、本実施例ではTG301は撮像素子106にTG301を内蔵しているが、撮像素子106の外部にTG301を配置する構成でも構わない。   Next, a circuit configuration of the image sensor 106 will be described with reference to FIG. Reference numeral 300 denotes a pixel array in which the unit pixels 200 are arranged in a matrix direction, and a plurality of (m + 1) unit pixels in the horizontal direction and (n + 1) unit pixels in the vertical direction are arranged. Reference numeral 301 denotes a timing generator (TG), which supplies a control pulse to each circuit block at an appropriate timing in accordance with the settings programmed by the CPU 109. In this embodiment, the TG 301 has the TG 301 built in the image sensor 106, but the TG 301 may be arranged outside the image sensor 106.

各単位画素200で光電変換された画素信号は、垂直走査回路302からの駆動信号によって、垂直出力線303へと行毎に出力される。304は定電流源であり、後述される画素アンプ用トランジスタ403と組み合わさってソースフォロワ回路を形成する。305は読み出し回路で、各列の垂直出力線303からの出力を増幅する機能を有する。306はAD変換回路(ADC)であり、読み出し回路305の出力をデジタル信号へ変換する。ADC306によって変換された画像信号は、水平走査回路307によって順に選択されて水平出力線308を介して出力部309へ送られる。そして、出力部309より撮像素子の外部へデジタル信号として出力される。   The pixel signal photoelectrically converted by each unit pixel 200 is output to a vertical output line 303 for each row by a drive signal from a vertical scanning circuit 302. A constant current source 304 forms a source follower circuit in combination with a pixel amplifier transistor 403 described later. A readout circuit 305 has a function of amplifying the output from the vertical output line 303 in each column. Reference numeral 306 denotes an AD converter (ADC), which converts the output of the read circuit 305 into a digital signal. The image signals converted by the ADC 306 are sequentially selected by the horizontal scanning circuit 307 and sent to the output unit 309 via the horizontal output line 308. Then, a digital signal is output from the output unit 309 to the outside of the image sensor.

図4は、単位画素200の詳細な回路構成を説明する図である。図4において、PD202aとPD202bは前述した同一マイクロレンズ下で単位画素を構成するPDである。400aはA像用光電変換部転送スイッチであり、400bはB像用光電変換部転送スイッチである。この転送スイッチをONにすることによって、光電変換部に蓄積された光電子をフローティングディフュージョン(FD)部401に転送することができる。この転送スイッチのON/OFFは独立に制御することができるため、A像用の信号とB像用の信号は独立に転送することができるようになっている。402はFDを初期化するためのリセットスイッチである。FD部401はアンプ403に接続されており、このアンプ403によってFD部401にPD202a、PD202bから転送された電荷は、電荷量に応じた電圧値に変換される。そしてセレクトスイッチ404を通じて、垂直出力線303に画素信号として出力される。   FIG. 4 is a diagram illustrating a detailed circuit configuration of the unit pixel 200. In FIG. 4, PD 202a and PD 202b are PDs that constitute a unit pixel under the same micro lens as described above. 400a is an A image photoelectric conversion unit transfer switch, and 400b is a B image photoelectric conversion unit transfer switch. By turning on the transfer switch, the photoelectrons accumulated in the photoelectric conversion unit can be transferred to the floating diffusion (FD) unit 401. Since the ON / OFF of this transfer switch can be controlled independently, the signal for the A image and the signal for the B image can be transferred independently. Reference numeral 402 denotes a reset switch for initializing the FD. The FD unit 401 is connected to an amplifier 403, and the electric charge transferred from the PD 202a and PD 202b to the FD unit 401 by the amplifier 403 is converted into a voltage value according to the amount of electric charge. Then, the pixel signal is output to the vertical output line 303 through the select switch 404.

読み出し回路305について、図5を参照しながら詳細に説明する。垂直出力線303に出力された画素信号は、クランプ容量500を通じて演算増幅器503の反転入力端子に入力される。演算増幅器503の非反転入力端子には基準電圧Vrefが入力されている。スイッチ502は、フィードバック容量501を短絡するためのスイッチである。   The reading circuit 305 will be described in detail with reference to FIG. The pixel signal output to the vertical output line 303 is input to the inverting input terminal of the operational amplifier 503 through the clamp capacitor 500. The reference voltage Vref is input to the non-inverting input terminal of the operational amplifier 503. The switch 502 is a switch for short-circuiting the feedback capacitor 501.

ADC306の構成とその駆動について、図6を参照しながら詳細に説明する。600は比較器であり、読み出し回路305の出力とランプ信号生成回路601からのランプ信号が入力されている。ランプ信号生成回路601の出力レベルは時間の経過とともに変化し、その信号レベルが読み出し回路305から出力される信号のレベルと等しくなった時に、比較器600の出力が切り替わる。比較器600の出力はカウンタ602に接続されており、カウンタ602は比較器600での比較時間をカウントする。カウンタ602の出力はラッチ603に接続されており、ラッチ603はカウンタ602でのカウント結果を保持する。ラッチ603の出力は水平出力線308へと接続される。   The configuration of the ADC 306 and its driving will be described in detail with reference to FIG. Reference numeral 600 denotes a comparator to which the output of the readout circuit 305 and the ramp signal from the ramp signal generation circuit 601 are input. The output level of the ramp signal generation circuit 601 changes over time, and when the signal level becomes equal to the level of the signal output from the reading circuit 305, the output of the comparator 600 switches. The output of the comparator 600 is connected to a counter 602, and the counter 602 counts a comparison time in the comparator 600. The output of the counter 602 is connected to a latch 603, and the latch 603 holds the count result of the counter 602. The output of latch 603 is connected to horizontal output line 308.

次に、本実施形態の撮像素子106における信号読み出し動作について説明する。   Next, a signal reading operation in the image sensor 106 of the present embodiment will be described.

本実施形態では、まず垂直方向に所定行数ずつ間引きながら、A+B像の信号(加算信号)を読み出す。そして全面を垂直方向に走査したのち、再度垂直走査を垂直方向の上部の行に戻し、今度は先に読み出さなかった行のみを再度走査する垂直方向走査を行う。1度目の走査時は対象行の画素から加算信号を読み出し、2度目の走査時には対象行の画素のA画素またはB画素から位相差検出用信号を読み出す。そして読み出したA像およびB像を用いて位相差検出を行う。このような読み出し方法は動画モード時に好適であるため、本実施形態でも動画モードでの適用を想定して説明する。   In the present embodiment, first, a signal (addition signal) of the A + B image is read while thinning out a predetermined number of rows in the vertical direction. Then, after scanning the entire surface in the vertical direction, the vertical scanning is returned to the upper row in the vertical direction again, and the vertical scanning is performed again by scanning only the rows that have not been read earlier. At the time of the first scan, the addition signal is read from the pixels of the target row, and at the time of the second scan, the phase difference detection signal is read from the A pixel or the B pixel of the pixels of the target row. Then, phase difference detection is performed using the read A image and B image. Since such a reading method is suitable in the moving image mode, the present embodiment will also be described assuming application in the moving image mode.

本実施形態の信号読み出しにおける具体的な読み出し行の模式図を図7に示す。図中の上部および左側の斜線部は遮光されたオプティカルブラック部(OB部)を示している。   FIG. 7 is a schematic diagram of a specific readout row in the signal readout of the present embodiment. The hatched portions on the upper and left sides in the figure indicate light-shielded optical black portions (OB portions).

図7において、太枠で囲まれた行は第1走査の読み出し対象行であり、太枠になっていない部分は読み出し時に間引かれる行である。V1行目のA画素およびB画素から加算信号を読み出した後、3行後のV2行目から加算信号が読み出される。引き続き同じ間引き率でV3、V4、V5、V6、V7行から加算信号が読み出される。第1走査により読み出される行は、画像生成に好適な同一マイクロレンズの下部に配置された画素全体に生じる電荷信号を出力することとなり、同じ間引き率で読み出したV1〜V7行目の加算信号から、撮影画像用の信号(A+B像)を生成することが可能となる。   In FIG. 7, rows surrounded by a thick frame are rows to be read in the first scan, and portions that are not thick frames are rows to be thinned out at the time of reading. After the addition signal is read from the A pixel and the B pixel in the V1 row, the addition signal is read from the V2 row three rows later. Subsequently, the addition signal is read from the rows V3, V4, V5, V6, and V7 at the same thinning rate. The rows read by the first scan output the charge signals generated in the entire pixels disposed below the same microlens suitable for image generation, and are obtained from the added signals of the V1 to V7 rows read at the same thinning rate. , A signal (A + B image) for a captured image can be generated.

V7行目までの第1走査の後、V8行目まで戻り第2走査が行われる。V8行目に含まれる画素のうち、A画素から位相差検出用信号が読み出される。その後、V8行の次の行であるV9行目に含まれる画素のうち、B画素から位相差検出用信号が読み出される。その後すでに第1走査で読み出しているV4行目をスキップし、V10行目のA画素および次のV11行目のB画素が読み出される。同様にすでに第1走査で読み出しているV5行目をスキップし、V12行目および次のV13行目が読み出される。第2走査により得られる位相差検出用の信号(A像およびB像)を用いて位相差検出をすることが可能である。   After the first scan up to the V7th row, the process returns to the V8th row and the second scan is performed. Among the pixels included in the V8th row, the phase difference detection signal is read from the A pixel. After that, a phase difference detection signal is read from the B pixel among the pixels included in the V9th row, which is the next row after the V8th row. After that, the V4th row already read out in the first scan is skipped, and the A pixel in the V10th row and the B pixel in the next V11th row are read out. Similarly, the V5 line already read in the first scan is skipped, and the V12 line and the next V13 line are read. It is possible to detect a phase difference using signals (A image and B image) for phase difference detection obtained by the second scanning.

本実施形態では、撮影画像用の信号(A+B像)とは別に位相差検出用の信号(A像およびB像)を読み出す。信号読み出し時に周期的なノイズがあると、撮影画像用の信号(A+B像)はもちろんのこと、位相差検出用の信号(A像およびB像)にも影響を及ぼし、焦点検出精度が低下してしまう恐れがある。   In the present embodiment, signals for detecting a phase difference (images A and B) are read out separately from signals for captured images (images A and B). If there is periodic noise at the time of signal reading, not only the signal for the captured image (A + B image) but also the signal for phase difference detection (A image and B image) is affected, and the focus detection accuracy is reduced. There is a risk that it will.

撮影画像用の信号(A+B像)に対しては、例えば特許文献1に記載されているような手法により周期的ノイズを軽減させることが出来る。位相差検出用の信号(A像およびB像)にも同じ手法を適用することは可能である。しかし、周期的ノイズの周波数によっては1行の信号読み出しにかかる時間が長くなり、結果的にフレームレートの低下を招いてしまう場合がある。   For a signal for a captured image (A + B image), periodic noise can be reduced by a method described in Patent Document 1, for example. The same method can be applied to the phase difference detection signals (A image and B image). However, depending on the frequency of the periodic noise, the time required to read a signal in one row becomes longer, and as a result, the frame rate may be reduced.

そこで本実施形態では、A像とB像に重畳されるノイズ量を等しくすることで、周期的ノイズの影響を軽減させる。A像とB像のノイズ量が同じであれば、「位相差」とは認識されないので焦点検出に影響を及ぼすことはない。   Therefore, in the present embodiment, the influence of periodic noise is reduced by equalizing the amount of noise superimposed on the A image and the B image. If the noise amounts of the A image and the B image are the same, the "phase difference" is not recognized, so that the focus detection is not affected.

図8は、図5および図6に示した回路の出力波形を示す模式図である。読み出し回路305から出力されたアナログ信号(読み出し回路出力)は、列毎に配置された比較器600でランプ信号と比較される。このとき、比較器600と同様に列毎に配置されたカウンタ602が動作しており、ランプ信号の電位とカウンタ値が一対一の対応を取りながら変化することで、読み出し回路出力の電位(アナログ信号)をデジタル信号に変換する。   FIG. 8 is a schematic diagram showing output waveforms of the circuits shown in FIGS. An analog signal (readout circuit output) output from the readout circuit 305 is compared with a ramp signal by a comparator 600 arranged for each column. At this time, the counter 602 arranged for each column is operating like the comparator 600, and the potential of the ramp signal and the counter value change while taking a one-to-one correspondence, so that the potential of the read circuit output (analog Signal) into a digital signal.

ランプ信号の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)でカウントすることでデジタル値に変換するものである。そして読み出し回路出力とランプ信号が交わったとき、比較器600の出力が反転しAD変換が完了する。   The change in the ramp signal converts a change in voltage into a change in time, and converts the time into a digital value by counting the time in a certain cycle (clock). Then, when the read circuit output and the ramp signal cross, the output of the comparator 600 is inverted and the AD conversion is completed.

時刻t=T1にて、A像のN信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603はN信号(ΔVa)に対応するカウント値を保持する。   At time t = T1, when the readout circuit output and the ramp signal intersect (become equal) in the N signal period of the A image, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the N signal (ΔVa).

次に、t=T2にてS信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603は出力信号に対応するカウント値を保持する。この出力信号は、S信号期間で比較器600が極性反転した時の読み出し回路出力からN信号(ΔVa)を差し引いた値である。これにより、N信号とS信号との差分である出力信号Aを得ることができる。   Next, when the readout circuit output and the ramp signal intersect (become equal) in the S signal period at t = T2, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the output signal. This output signal is a value obtained by subtracting the N signal (ΔVa) from the read circuit output when the polarity of the comparator 600 is inverted in the S signal period. Thus, an output signal A which is a difference between the N signal and the S signal can be obtained.

同様にt=T3にて、B像のN信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603はN信号(ΔVb)に対応するカウント値を保持する。   Similarly, at t = T3, when the readout circuit output and the ramp signal intersect (become equal) in the N signal period of the B image, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the N signal (ΔVb).

次に、t=T4にてS信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603は出力信号に対応するカウント値を保持する。この出力信号は、S信号期間で比較器600が極性反転した時の読み出し回路出力からN信号(ΔVb)を差し引いた値である。これにより、N信号とS信号との差分である出力信号Bを得ることができる。   Next, when the readout circuit output and the ramp signal intersect (become equal) in the S signal period at t = T4, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the output signal. This output signal is a value obtained by subtracting the N signal (ΔVb) from the read circuit output when the polarity of the comparator 600 is inverted in the S signal period. As a result, an output signal B which is a difference between the N signal and the S signal can be obtained.

周期的ノイズの影響によりA像およびB像にはノイズが混入しており、かつA像のノイズ量とB像のノイズ量が異なっているため、偽の位相差が検出されてしまう。すなわち、このままでは誤った焦点検出をしてしまうことになる。   Noise is mixed in the A image and the B image due to the influence of the periodic noise, and since the noise amount of the A image and the noise amount of the B image are different, a false phase difference is detected. That is, erroneous focus detection is performed as it is.

次に、本実施形態における周期的ノイズの影響を軽減する方法について説明する。図9は第一の実施形態における、周期的ノイズの影響を軽減するための具体的な方法の説明図である。図9(a)は図8と同じ図である。   Next, a method of reducing the influence of periodic noise in the present embodiment will be described. FIG. 9 is an explanatory diagram of a specific method for reducing the influence of periodic noise in the first embodiment. FIG. 9A is the same as FIG.

図9(b)において、時刻t=T1にてA像のN信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603はN信号(ΔVa)に対応するカウント値を保持する。   In FIG. 9B, when the readout circuit output and the ramp signal intersect (equal to each other) at time t = T1 in the N signal period of the A image, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the N signal (ΔVa).

次に、t=T2にてS信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603は出力信号に対応するカウント値を保持する。この出力信号は、S信号期間で比較器600が極性反転した時の読み出し回路出力からN信号(ΔVa)を差し引いた値である。これにより、N信号とS信号との差分である出力信号Aを得ることができる。   Next, when the readout circuit output and the ramp signal intersect (become equal) in the S signal period at t = T2, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the output signal. This output signal is a value obtained by subtracting the N signal (ΔVa) from the read circuit output when the polarity of the comparator 600 is inverted in the S signal period. Thus, an output signal A which is a difference between the N signal and the S signal can be obtained.

ここで、リセット期間をΔt1だけ長くして、その後B像の読み出しを行う。t=T5にて、B像のN信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603はN信号(ΔVb)に対応するカウント値を保持する。   Here, the reset period is lengthened by Δt1, and then the B image is read. At t = T5, when the readout circuit output and the ramp signal intersect (become equal) in the N signal period of the B image, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the N signal (ΔVb).

次に、t=T6にてS信号期間において読み出し回路出力とランプ信号が交わると(等しくなると)、比較器600の出力が反転する。そしてこの比較器600の極性反転を受けて、カウンタ602はカウント動作を停止して、ラッチ603は出力信号に対応するカウント値を保持する。この出力信号は、S信号期間で比較器600が極性反転した時の読み出し回路出力からN信号(ΔVb)を差し引いた値である。これにより、N信号とS信号との差分である出力信号Bを得ることができる。   Next, when the readout circuit output and the ramp signal intersect (become equal) in the S signal period at t = T6, the output of the comparator 600 is inverted. In response to the polarity inversion of the comparator 600, the counter 602 stops the counting operation, and the latch 603 holds the count value corresponding to the output signal. This output signal is a value obtained by subtracting the N signal (ΔVb) from the read circuit output when the polarity of the comparator 600 is inverted in the S signal period. As a result, an output signal B which is a difference between the N signal and the S signal can be obtained.

周期的ノイズの影響によりA像およびB像にはノイズが混入しているが、A像のノイズ量とB像のノイズ量が等しくなるため、位相差は検出されない。これはリセット期間をΔt1だけ長くして、T5のタイミングを調整したからである。具体的には、(T5−T1)の時間が、ノイズ波形の周期1/f(f:ノイズ周波数)と一致するようにしたからである。   Although noise is mixed in the A image and the B image due to the influence of the periodic noise, the phase difference is not detected because the noise amount of the A image is equal to the noise amount of the B image. This is because the reset period is extended by Δt1 to adjust the timing of T5. Specifically, this is because the time (T5−T1) is set to be equal to the period 1 / f (f: noise frequency) of the noise waveform.

図10は第二の実施形態における、周期的ノイズによる影響を軽減するための具体的な方法の説明図である。図10(a)は図8と同じ図である。図10(b)においては、B像読み出し前のリセット期間終了からN信号のAD変換開始までの時間をΔt1だけ待つことによりT5のタイミングを調整している。その結果、A像のノイズ量とB像のノイズ量が等しくなるため、位相差は検出されない。   FIG. 10 is an explanatory diagram of a specific method for reducing the influence of periodic noise in the second embodiment. FIG. 10A is the same as FIG. In FIG. 10B, the timing of T5 is adjusted by waiting for the time from the end of the reset period before reading the B image to the start of AD conversion of the N signal by Δt1. As a result, since the noise amount of the A image and the noise amount of the B image become equal, no phase difference is detected.

ちなみに図11は、A像のノイズ量とB像のノイズ量をどちらも「ゼロ」になるようにした場合の説明図である。図11(b)において、(T7−T1)の時間がノイズ波形の周期1/fと一致しているため、A像のノイズ量はゼロとなる。同様に、(T9−T8)の時間がノイズ波形の周期1/fと一致しているため、B像のノイズ量もゼロとなる。図11(a)は図8と同じ図である。図11(a)と(b)を比べると、1行の信号読み出しにかかる時間が著しく増加しているのが分かる。これと比較すると、図9および図10の場合は、1行の信号読み出しにかかる時間の増加が抑えられていることが分かる。   FIG. 11 is an explanatory diagram in the case where the noise amount of the A image and the noise amount of the B image are both set to “zero”. In FIG. 11B, since the time of (T7-T1) matches the period 1 / f of the noise waveform, the noise amount of the A image becomes zero. Similarly, since the time of (T9-T8) matches the period 1 / f of the noise waveform, the noise amount of the B image is also zero. FIG. 11A is the same as FIG. Comparing FIGS. 11A and 11B, it can be seen that the time required to read one row of signals is significantly increased. In comparison with this, it can be seen that in the case of FIGS. 9 and 10, an increase in the time required to read out signals in one row is suppressed.

以上説明したように、本実施形態によれば、1行の信号読み出しにかかる時間の増加を最小限に抑えた上で、周期的ノイズの影響を軽減し、焦点検出精度の低下を押さえることを可能にした撮像装置を提供することが可能となる。   As described above, according to the present embodiment, while minimizing the increase in the time required to read out one row of signals, it is possible to reduce the influence of periodic noise and suppress a decrease in focus detection accuracy. It is possible to provide an imaging device that is enabled.

106 撮像素子、200 単位画素、201 マイクロレンズ、
202a 光電変換部、202b 光電変換部、305 読み出し回路、
306 AD変換器、600 比較器、601 ランプ信号生成回路、
602 カウンタ
106 image sensor, 200 unit pixel, 201 micro lens,
202a photoelectric conversion unit, 202b photoelectric conversion unit, 305 readout circuit,
306 AD converter, 600 comparator, 601 ramp signal generation circuit,
602 counter

Claims (3)

単位画素に対して撮影光学系の射出瞳の分割された異なる領域を通過した光束により形成された2つの被写体像をそれぞれ光電変換するための第1および第2の光電変換部を有する画素が複数配置された撮像素子と、
前記第1および第2の光電変換部の信号を加算して読み出す第1の読み出し動作と、前記第1および第2の光電変換部の信号をそれぞれ独立に読み出す第2の読み出し動作とを行う信号読み出し手段と、
前記第1の読み出し動作においては垂直方向に所定の周期で行を間引いて読み出す第1走査と、前記第2の読み出し動作においては前記第1走査で読み出されない行を所定の周期で順次読み出す第2走査とを行うための走査手段と、
前記第2の読み出し動作により読み出した信号を用いて前記2つの被写体像の位相差を検出する位相差検出手段と、
前記第2の読み出し動作において、前記第1の光電変換部の基準信号1の読み出しタイミングと前記第2の光電変換部の基準信号2の読み出しタイミングとの時間差が、画像信号の読み出し動作中に発生するノイズ源の周波数と所定の関係となるように制御するタイミング制御手段と
を有することを特徴とする撮像装置。
A plurality of pixels each having a first and second photoelectric conversion unit for photoelectrically converting two subject images formed by light fluxes having passed through different divided regions of the exit pupil of the imaging optical system with respect to a unit pixel are provided. An arranged image sensor;
A signal for performing a first read operation for adding and reading the signals of the first and second photoelectric converters and a second read operation for independently reading the signals of the first and second photoelectric converters Reading means;
In the first readout operation, a first scan in which rows are thinned out at a predetermined cycle in the vertical direction is read out, and in the second readout operation, rows which are not read out in the first scan are sequentially read out at a predetermined cycle. Scanning means for performing two scans;
Phase difference detection means for detecting a phase difference between the two subject images using a signal read by the second reading operation;
In the second read operation, a time difference between the read timing of the reference signal 1 of the first photoelectric converter and the read timing of the reference signal 2 of the second photoelectric converter occurs during the read operation of the image signal. An image pickup apparatus comprising: a timing control unit that controls the frequency of the noise source to be in a predetermined relationship.
前記第2の読み出し動作において、前記第1および第2の光電変換部の信号読み出しのうち、時間的に後から読み出される光電変換部のリセット期間の長さを調節することにより、前記第1の光電変換部の基準信号1の読み出しタイミングと前記第2の光電変換部の基準信号2の読み出しタイミングとの時間差が、ノイズ源の周期の整数倍となるように制御することを特徴とする請求項1に記載の撮像装置。   In the second read operation, the signal readout of the first and second photoelectric conversion units is adjusted by adjusting the length of a reset period of the photoelectric conversion unit that is read later in time, whereby the first readout is performed. The control is performed such that the time difference between the read timing of the reference signal 1 of the photoelectric conversion unit and the read timing of the reference signal 2 of the second photoelectric conversion unit is an integral multiple of the period of the noise source. 2. The imaging device according to 1. 前記第2の読み出し動作において、前記第1および第2の光電変換部の信号読み出しのうち、時間的に後から読み出される光電変換部の、リセット期間終了から基準信号2の読み出し開始までの時間を調節することにより、前記第1の光電変換部の基準信号1の読み出しタイミングと前記第2の光電変換部の基準信号2の読み出しタイミングとの時間差が、ノイズ源の周期の整数倍となるように制御することを特徴とする請求項1に記載の撮像装置。   In the second reading operation, of the signal reading of the first and second photoelectric conversion units, the time from the end of the reset period to the start of reading of the reference signal 2 of the photoelectric conversion unit that is read temporally later is defined as the time. By adjusting, the time difference between the readout timing of the reference signal 1 of the first photoelectric conversion unit and the readout timing of the reference signal 2 of the second photoelectric conversion unit becomes an integral multiple of the period of the noise source. The imaging device according to claim 1, wherein the control is performed.
JP2018186276A 2018-10-01 2018-10-01 Imaging device Pending JP2020057892A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018186276A JP2020057892A (en) 2018-10-01 2018-10-01 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018186276A JP2020057892A (en) 2018-10-01 2018-10-01 Imaging device

Publications (1)

Publication Number Publication Date
JP2020057892A true JP2020057892A (en) 2020-04-09

Family

ID=70107775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018186276A Pending JP2020057892A (en) 2018-10-01 2018-10-01 Imaging device

Country Status (1)

Country Link
JP (1) JP2020057892A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021000734T5 (en) 2020-03-27 2022-11-10 Honda Motor Co., Ltd. Server, system and control method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021000734T5 (en) 2020-03-27 2022-11-10 Honda Motor Co., Ltd. Server, system and control method

Similar Documents

Publication Publication Date Title
US11438537B2 (en) Image pickup apparatus, control method, and computer program storage medium
US9894295B2 (en) Imaging device and imaging system
US20160301886A1 (en) Image pickup apparatus, image pickup system, and method of driving an image pickup apparatus
KR20180052700A (en) Image pickup device and image pickup device
US9930279B2 (en) Image capturing apparatus and control method thereof, and storage medium
JP5946421B2 (en) Imaging apparatus and control method thereof
US20170118433A1 (en) Solid-state image sensing device and electronic device
CN112040118A (en) Image pickup apparatus
US10313588B2 (en) Image capturing system and control method of image capturing system
US9716823B2 (en) Image pickup apparatus, image pickup system, and method of driving image pickup apparatus
JP6900227B2 (en) Imaging device and driving method of imaging device
JP2014048591A (en) Image capturing device
JP2013118520A (en) Imaging apparatus
JP2017060155A (en) Imaging device and imaging apparatus
JP2008042714A (en) Solid-state imaging apparatus
JP6362511B2 (en) Imaging apparatus and control method thereof
CN111800591B (en) Image pickup device, control method thereof, and image pickup apparatus
US9635241B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
US11252354B2 (en) Image sensor, control method thereof, and image capturing apparatus
JP2020057892A (en) Imaging device
JP2020198601A (en) Imaging apparatus and control method of the same
JP5058840B2 (en) Imaging device
US11368610B2 (en) Image capture apparatus and control method therefor
US10009559B2 (en) Imaging apparatus, method for controlling the same, and program
US9838591B2 (en) Imaging apparatus and imaging system for generating a signal for focus detection

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191125