[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016057402A - Imaging device and method for controlling the same - Google Patents

Imaging device and method for controlling the same Download PDF

Info

Publication number
JP2016057402A
JP2016057402A JP2014182500A JP2014182500A JP2016057402A JP 2016057402 A JP2016057402 A JP 2016057402A JP 2014182500 A JP2014182500 A JP 2014182500A JP 2014182500 A JP2014182500 A JP 2014182500A JP 2016057402 A JP2016057402 A JP 2016057402A
Authority
JP
Japan
Prior art keywords
focus detection
imaging
pixel
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014182500A
Other languages
Japanese (ja)
Inventor
暁彦 上田
Akihiko Ueda
暁彦 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014182500A priority Critical patent/JP2016057402A/en
Publication of JP2016057402A publication Critical patent/JP2016057402A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To establish highly accurate focus detection and the suppression of image quality deterioration in an imaging device using an imaging element having a focus detection pixel.SOLUTION: The imaging device is configured to, on the basis of image deviation quantity obtained on the basis of the output signals of a plurality of imaging pixels positioned in the periphery of a focus detection pixel, calculate a correction value for correcting the image deviation quantity of the output signal of the focus detection pixel, and to, on the basis of the image deviation quantity corrected by the correction value, calculate defocus quantity in an imaging optical system. The correction value is calculated by applying a coefficient corresponding to a difference in position between the focus detection pixel and the plurality of imaging pixels in the pupil division direction of the focus detection pixel to the image deviation quantity obtained on the basis of the output signals of the plurality of imaging pixels.SELECTED DRAWING: Figure 10

Description

本発明は撮像装置及びその制御方法に関し、特には焦点検出画素を有する撮像素子を用いる撮像装置及びその制御方法に関する。   The present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus using an imaging element having a focus detection pixel and a control method thereof.

撮像素子を構成する画素群の一部を焦点検出画素とし、焦点検出画素から得られる被写体像の位相差を用いることで、個別の位相差検出センサなしに位相差検出方式の自動焦点検出(位相差AF)を実現する技術が知られている(特許文献1,2)。   A part of the pixel group constituting the image sensor is used as a focus detection pixel, and by using the phase difference of the subject image obtained from the focus detection pixel, automatic focus detection (phase difference detection method) without using an individual phase difference detection sensor. A technique for realizing (phase difference AF) is known (Patent Documents 1 and 2).

特開2000−156823号公報JP 2000-156823 A 特開2007−279312号公報JP 2007-279312 A

焦点検出画素の出力に基づく焦点検出の精度を向上させるには、焦点検出画素の配置密度が高い方が有利である。そのため、特許文献2には、焦点検出画素を連続して配置する構成が開示されている。   In order to improve the accuracy of focus detection based on the output of the focus detection pixels, it is advantageous that the arrangement density of the focus detection pixels is high. Therefore, Patent Document 2 discloses a configuration in which focus detection pixels are continuously arranged.

一方、焦点検出画素の出力は撮像画像の生成に用いることができないため、焦点検出画素の位置における画像信号は、周辺の撮像画素の出力から求めるのが一般的である。従って、画質の点からは、焦点検出画素の配置密度は低い方が有利である。   On the other hand, since the output of the focus detection pixel cannot be used to generate a captured image, the image signal at the position of the focus detection pixel is generally obtained from the output of the surrounding image capture pixels. Therefore, in terms of image quality, it is advantageous that the arrangement density of focus detection pixels is low.

本発明はこのような従来技術の課題に鑑みなされたもので、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることを特徴する。   The present invention has been made in view of the above-described problems of the prior art. In an image pickup apparatus using an image pickup device having a focus detection pixel and a control method thereof, it is possible to achieve both high-precision focus detection and suppression of image quality deterioration. Characterize.

上述の目的は、撮像画素と、焦点検出画素とを有する撮像素子と、焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、デフォーカス量算出手段が、焦点検出画素の周辺に位置する複数の撮像画素の出力信号に基づいて得られる像ずれ量に基づいて、焦点検出画素の出力信号の像ずれ量を補正するための補正値を算出する第1の算出手段と、焦点検出画素の出力信号の像ずれ量を補正値によって補正する補正手段と、補正された像ずれ量に基づいてデフォーカス量を算出する第2の算出手段と、を有し、第1の算出手段が、複数の撮像画素の出力信号に基づいて得られる像ずれ量に、焦点検出画素の瞳分割方向における、焦点検出画素と複数の撮像画素との位置の差に応じた係数を適用して、補正値を算出することを特徴とする撮像装置によって達成される。   The above-described object includes an image pickup device having an image pickup pixel and a focus detection pixel, and a defocus amount calculation means for calculating a defocus amount of the image pickup optical system based on an output signal of the focus detection pixel. Correction value for correcting the image shift amount of the output signal of the focus detection pixel based on the image shift amount obtained by the focus amount calculation means based on the output signals of the plurality of imaging pixels located around the focus detection pixel A first calculating unit that calculates a defocus amount based on the corrected image shift amount, a correction unit that corrects an image shift amount of the output signal of the focus detection pixel with a correction value, and a second calculation unit that calculates a defocus amount based on the corrected image shift amount. The position of the focus detection pixel and the plurality of imaging pixels in the pupil division direction of the focus detection pixel is determined based on the image shift amount obtained based on the output signals of the plurality of imaging pixels. The coefficient according to the difference of And use, are achieved by an imaging device, and calculates the correction value.

このように本発明によれば、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることができる。   Thus, according to the present invention, it is possible to achieve both high-precision focus detection and suppression of image quality degradation in an imaging apparatus using an imaging element having focus detection pixels and a control method thereof.

本実施形態における撮像装置の構成図である。It is a block diagram of the imaging device in this embodiment. 本実施形態における撮像素子(固体撮像素子)のブロック図である。It is a block diagram of the image sensor (solid-state image sensor) in this embodiment. 本実施形態における撮像素子の撮像画素の平面図と断面図である。It is the top view and sectional view of an image pick-up pixel of an image sensor in this embodiment. 本実施形態における撮像素子の焦点検出画素の平面図と断面図である。It is the top view and sectional view of a focus detection pixel of an image sensor in this embodiment. 本実施形態において、焦点検出画素のケラレおよび焦点検出光束の重心間隔の説明図ある。In this embodiment, it is explanatory drawing of the vignetting of a focus detection pixel, and the gravity center space | interval of a focus detection light beam. 本実施形態における撮像素子の撮像画素および焦点検出画素の配置例を示す図である。It is a figure which shows the example of arrangement | positioning of the imaging pixel and focus detection pixel of the image pick-up element in this embodiment. 本実施形態における撮像素子上に結像する光学像の様子を示す図である。It is a figure which shows the mode of the optical image imaged on the image pick-up element in this embodiment. 本実施形態における焦点検出画素の出力信号の例を示す図である。It is a figure which shows the example of the output signal of the focus detection pixel in this embodiment. 本実施形態における焦点検出誤差と補正値との関係を説明する図である。It is a figure explaining the relationship between the focus detection error and correction value in this embodiment. 本実施形態における撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging device in this embodiment. 第1の実施形態における撮像装置の焦点検出動作を示すフローチャートである。3 is a flowchart illustrating a focus detection operation of the imaging apparatus according to the first embodiment. 本実施形態における撮像装置の撮影動作を示すフローチャートである。It is a flowchart which shows the imaging | photography operation | movement of the imaging device in this embodiment.

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図1は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ100(以下、単にカメラ100という)の機能構成例を示す図である。
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating a functional configuration example of a digital still camera 100 (hereinafter simply referred to as a camera 100) as an example of an imaging apparatus according to an embodiment of the present invention.

第1レンズ群101は撮像光学系の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ102は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ102の背面(撮像素子側)に配置された第2レンズ群103は、シャッタ102と一体となって光軸に沿って前後に可能であり、第1レンズ群101とともにズーム機能を実現する。   The first lens group 101 is disposed at the tip of the imaging optical system and is held so as to be movable back and forth along the optical axis. The shutter 102 functions not only as a shutter for controlling the exposure time at the time of still image shooting, but also as an aperture for adjusting the amount of light at the time of shooting by adjusting the aperture diameter. The second lens group 103 disposed on the back surface (on the imaging element side) of the shutter 102 can be moved back and forth along the optical axis integrally with the shutter 102, and realizes a zoom function together with the first lens group 101.

第3レンズ群105はフォーカスレンズであり、光軸に沿って前後に移動可能である。第3レンズ群105の位置により、撮像光学系の焦点位置が調節される。光学ローパスフィルタ106は、撮像素子107の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子107は2次元CMOS撮像素子とその周辺回路で構成される。本実施形態において、撮像素子107は、横方向にm個、縦方向にn個の複数の受光素子が2次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラー撮像素子である。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。   The third lens group 105 is a focus lens and can move back and forth along the optical axis. The focal position of the imaging optical system is adjusted by the position of the third lens group 105. The optical low-pass filter 106 is disposed in front of the image sensor 107 and reduces false colors and moire generated in the captured image. The image sensor 107 includes a two-dimensional CMOS image sensor and its peripheral circuits. In this embodiment, the image sensor 107 has a two-dimensional array of a plurality of light receiving elements of m in the horizontal direction and n in the vertical direction, and a Bayer array primary color mosaic filter is formed on-chip thereon. This is a two-dimensional single-plate color image sensor. The color filter limits the wavelength of transmitted light incident on the light receiving element in units of pixels.

ズームアクチュエータ111は、ズーム駆動回路129の制御に従い、不図示のカム筒を回動して第1レンズ群101と第3レンズ群105の少なくとも一方を光軸に沿って駆動して、ズーム(変倍)機能を実現する。シャッタアクチュエータ112は、シャッタ駆動回路128の制御に従い、シャッタ102開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。   Under the control of the zoom drive circuit 129, the zoom actuator 111 rotates a cam cylinder (not shown) to drive at least one of the first lens group 101 and the third lens group 105 along the optical axis to zoom (change). Double) to realize the function. The shutter actuator 112 adjusts the amount of imaged light by controlling the aperture diameter of the shutter 102 according to the control of the shutter drive circuit 128, and also controls the exposure time during still image capturing.

フォーカスアクチュエータ114は、フォーカス駆動回路126の制御に従い、第3レンズ群105を光軸に沿って駆動する。
なお、本実施形態のカメラ100は、撮像光学系が撮像装置本体と一体に形成されている構成を有するが、撮像光学系が着脱可能な構成であってもよい。
The focus actuator 114 drives the third lens group 105 along the optical axis according to the control of the focus drive circuit 126.
Note that the camera 100 of the present embodiment has a configuration in which the imaging optical system is formed integrally with the imaging apparatus main body, but the imaging optical system may be detachable.

フラッシュ115は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するLEDを備えた照明装置であってもよい。AF補助光出力部116は、所定の開口パターンを有するマスクの像を投稿レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。   The flash 115 is preferably a flash illumination device using a xenon tube, but may be an illumination device including LEDs that emit light continuously. The AF auxiliary light output unit 116 projects an image of a mask having a predetermined aperture pattern onto a subject field via a posting lens, and improves the focus detection capability for a low-luminance subject or a low-contrast subject.

CPU121は、カメラ100全体の動作を制御し、図示しない演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121は、不図示の不揮発性記録媒体(例えばROM)に記憶されたプログラムを実行して、カメラ100が有する各種回路を制御し、AF、AE、画像処理、記録等、カメラ100の機能を実現する。   The CPU 121 controls the operation of the entire camera 100, and includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like (not shown). The CPU 121 executes a program stored in a non-illustrated non-volatile recording medium (for example, a ROM) and controls various circuits of the camera 100 to realize functions of the camera 100 such as AF, AE, image processing, and recording. To do.

フラッシュ制御回路122は、撮像動作に同期してフラッシュ115を点灯制御する。補助光駆動制御回路123は、焦点検出動作時にAF補助光出力部116を点灯制御する。撮像素子駆動回路124は、撮像素子107の動作を制御するとともに、撮像素子107から読み出した画像信号をA/D変換してCPU121に出力する。画像処理回路125は、画像信号に対してγ変換、色補間、JPEG符号化などの画像処理を適用する。   The flash control circuit 122 controls the lighting of the flash 115 in synchronization with the imaging operation. The auxiliary light drive control circuit 123 controls lighting of the AF auxiliary light output unit 116 during the focus detection operation. The image sensor driving circuit 124 controls the operation of the image sensor 107 and A / D converts the image signal read from the image sensor 107 and outputs the image signal to the CPU 121. The image processing circuit 125 applies image processing such as γ conversion, color interpolation, and JPEG encoding to the image signal.

フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動することにより第3レンズ群105を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路128は、シャッタアクチュエータ112を駆動してシャッタ102の開口径及び開閉タイミングを制御する。ズーム駆動回路129は、例えば操作スイッチ群132に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ111を駆動する。   The focus drive circuit 126 moves the third lens group 105 along the optical axis by driving the focus actuator 114 based on the focus detection result, and performs focus adjustment. The shutter drive circuit 128 controls the opening diameter and opening / closing timing of the shutter 102 by driving the shutter actuator 112. The zoom drive circuit 129 drives the zoom actuator 111 according to a zoom operation input from the photographer by pressing a zoom operation switch included in the operation switch group 132, for example.

表示器131はLCD等であり、カメラ100の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮像トリガ)スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体133は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。   The display 131 is an LCD or the like, and displays information related to the imaging mode of the camera 100, a preview image before imaging and a confirmation image after imaging, information on a focusing state at the time of focus detection, and the like. The operation switch group 132 includes a power switch, a release (imaging trigger) switch, a zoom operation switch, an imaging mode selection switch, and the like. The recording medium 133 is a detachable semiconductor memory card, for example, and records captured images.

(撮像素子の構成)
次に、撮像素子107、及び撮像素子107を構成する撮像画素と焦点検出画素について説明する。
図2は、撮像素子107の一部の構成例を示すブロック図である。なお、図2では、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。光電変換部201は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下の説明では、撮像素子107にX方向にm個、Y方向n個の光電変換部201が二次元配置されているものとし、光電変換部201の各々を特定する場合には、PDmnと表記する。ここでm=0,1・・・,m−1、n=0,1・・・,n−1である。なお、図2では、図が煩雑にならないよう、一部の光電変換部201にのみアドレスを示している。
(Configuration of image sensor)
Next, the image sensor 107 and the imaging pixels and focus detection pixels constituting the image sensor 107 will be described.
FIG. 2 is a block diagram illustrating a configuration example of a part of the image sensor 107. Note that FIG. 2 shows a minimum configuration that can explain the reading operation, and a pixel reset signal and the like are omitted. The photoelectric conversion unit 201 includes a photodiode, a pixel amplifier, a reset switch, and the like. In the following description, m photoelectric conversion units 201 in the X direction and n photoelectric conversion units 201 in the X direction are assumed to be two-dimensionally arranged on the image sensor 107, and when each of the photoelectric conversion units 201 is specified, PD Indicated as mn . Here, m = 0, 1..., M−1, n = 0, 1. In FIG. 2, addresses are shown only for some of the photoelectric conversion units 201 so that the drawing is not complicated.

スイッチ202は、光電変換部201ごとに設けられ、光電変換部201の出力を選択する。スイッチ202は、垂直走査回路208により、一行ごとに選択される。
ラインメモリ203は、光電変換部201の出力を一時的に記憶するためのであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
スイッチ204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。
The switch 202 is provided for each photoelectric conversion unit 201 and selects the output of the photoelectric conversion unit 201. The switch 202 is selected for each row by the vertical scanning circuit 208.
The line memory 203 is for temporarily storing the output of the photoelectric conversion unit 201, and stores the output of the photoelectric conversion unit for one row selected by the vertical scanning circuit. Usually, a capacitor is used.
The switch 204 is connected to the horizontal output line and is a switch for resetting the horizontal output line to a predetermined potential VHRST, and is controlled by a signal HRST.

ラインメモリ203のm個の出力の各々にはスイッチ205(H0〜Hm-1)が設けられている。後述する水平走査回路206によってスイッチ205をH0から順次走査することで、スイッチ205を通じてラインメモリ203に記憶された光電変換部201の出力が水平出力線に順次出力され、一行分の光電変換出力が読み出される。 Each of the m outputs of the line memory 203 is provided with a switch 205 (H 0 to H m-1 ). By sequentially scanning the switch 205 from H 0 by a horizontal scanning circuit 206 described later, the output of the photoelectric conversion unit 201 stored in the line memory 203 through the switch 205 is sequentially output to the horizontal output line, and the photoelectric conversion output for one row Is read out.

水平走査回路206は、スイッチ205を順次オンにして、ラインメモリ203に記憶された光電変換部201の出力を順次、水平出力線に出力させる。信号PHSTはデータ入力、PH1、PH2はシフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる。水平走査回路206のPH1、PH2にシフトクロックを入力してPHSTを順次シフトさせることにより、スイッチ205をH0からHm-1の順で順次オンすることができる。SKIPは、水平走査回路206に間引き読み出しの設定を行うための制御端子入力である。SKIPにHレベルの信号を入力することにより、水平走査回路206の走査を所定間隔でスキップさせることが可能であり、それによって間引き読み出しを実現する。 The horizontal scanning circuit 206 sequentially turns on the switch 205 to sequentially output the output of the photoelectric conversion unit 201 stored in the line memory 203 to the horizontal output line. The signal PHST is a data input, and PH1 and PH2 are shift clock inputs. Data is set when PH1 = H, and data is latched at PH2. By inputting a shift clock to PH1 and PH2 of the horizontal scanning circuit 206 and sequentially shifting PHST, the switch 205 can be sequentially turned on in the order of H 0 to H m−1 . SKIP is a control terminal input for setting the thinning readout to the horizontal scanning circuit 206. By inputting an H level signal to SKIP, scanning by the horizontal scanning circuit 206 can be skipped at predetermined intervals, thereby realizing thinning readout.

垂直走査回路208はV0からVn-1を順次出力することにより、光電変換部201に接続されたスイッチ202をラインごとに選択する。垂直走査回路208においても、水平走査回路206と同様に、データ入力PVST、シフトクロックPV1、PV2、間引き読み設定SKIPにより制御される。制御入力に対する動作は水平走査回路206と同様であるので詳細説明は省略する。 The vertical scanning circuit 208 selects the switch 202 connected to the photoelectric conversion unit 201 for each line by sequentially outputting V 0 to V n−1 . Similarly to the horizontal scanning circuit 206, the vertical scanning circuit 208 is controlled by the data input PVST, the shift clocks PV1 and PV2, and the thinning reading setting SKIP. Since the operation for the control input is the same as that of the horizontal scanning circuit 206, a detailed description thereof is omitted.

(画素の構造)
図3及び図4は、撮像画素と焦点検出画素の構造例を示す図である。本実施形態の撮像素子107は、2行×2列の4画素を1単位として、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列の画素配置が採用されている。そして、このようなベイヤー配列の画素群の一部の画素を、焦点検出画素としている。焦点検出画素は、離散的に配置される。
(Pixel structure)
3 and 4 are diagrams illustrating examples of structures of the imaging pixels and the focus detection pixels. In the image sensor 107 of the present embodiment, four pixels of 2 rows × 2 columns are set as one unit, pixels having a spectral sensitivity of G (green) are arranged in two diagonal pixels, and R (red) is arranged in the other two pixels. A pixel arrangement of a Bayer arrangement in which one pixel each having a spectral sensitivity of B and B (blue) is arranged is employed. A part of the pixels in the Bayer array pixel group is used as a focus detection pixel. The focus detection pixels are arranged discretely.

図3(a)は2行×2列の撮像画素の平面図である。上述の通り、ベイヤー配列では対角方向に2つのG画素が、他の2画素にRとBの画素が配置される。そしてこのような2行×2列の配列が撮像素子107の全体にわたって繰り返される。   FIG. 3A is a plan view of 2 × 2 imaging pixels. As described above, in the Bayer array, two G pixels are arranged in the diagonal direction, and R and B pixels are arranged in the other two pixels. Such an array of 2 rows × 2 columns is repeated over the entire image sensor 107.

図3(b)は、図3(a)のA−A断面と、撮像光学系からの光路を示す図である。
MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFはR(Red)のカラーフィルタ、CFはG(Green)のカラーフィルタである。PDは画素の光電変換部201を模式的に示したもの、CLはCMOS撮像素子内の各種信号を伝達する信号線を形成するための配線層である。TLは撮像光学系を模式的に示したものである。
FIG. 3B is a diagram illustrating an AA cross section of FIG. 3A and an optical path from the imaging optical system.
ML denotes an on-chip microlens arranged in front of each pixel, CF R is a color filter, CF G of R (Red) is a color filter of G (Green). PD schematically shows the photoelectric conversion unit 201 of the pixel, and CL is a wiring layer for forming signal lines for transmitting various signals in the CMOS image sensor. TL schematically shows the imaging optical system.

ここで、撮像画素のオンチップマイクロレンズMLと光電変換部PDは、撮像光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮像光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積に設計される。また、図3(b)ではR画素の入射光束について図示したが、G画素及びB(Blue)画素も同一の構造を有する。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。   Here, the on-chip microlens ML and the photoelectric conversion unit PD of the imaging pixel are configured to capture the light flux that has passed through the imaging optical system TL as effectively as possible. In other words, the exit pupil EP of the imaging optical system TL and the photoelectric conversion unit PD are in a conjugate relationship by the microlens ML, and the effective area of the photoelectric conversion unit PD is designed to be large. 3B illustrates the incident light beam of the R pixel, the G pixel and the B (Blue) pixel also have the same structure. Accordingly, the exit pupil EP corresponding to each of the RGB pixels for imaging has a large diameter, and the S / N of the image signal is improved by efficiently capturing the light flux from the subject.

図4(a)は、撮像光学系の水平方向(横方向)に瞳分割を行うための焦点検出画素対S及びSの平面図である。ここでは便宜上、1対の焦点検出画素が水平方向に隣接している状態を示しているが、後述するように、本実施形態では、対をなす焦点検出画素SとSとを水平方向に離間して配置している。焦点検出画素SとSに設けられた配線層CLの開口部OPとOPがマイクロレンズの中心線に対して一方向に偏心するように配置されている。
なお、ここで水平方向(横方向)とは、撮像光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向である。
FIG. 4A is a plan view of the focus detection pixel pair S A and S B for performing pupil division in the horizontal direction (lateral direction) of the imaging optical system. For convenience, although shows a state in which a focus detection pixel in a pair are adjacent in the horizontal direction, as described later, in the present embodiment, the focus detection pixels S A and S B paired horizontal Are spaced apart from each other. The openings OP A and OP B of the wiring layer CL provided in the focus detection pixels S A and S B are arranged so as to be eccentric in one direction with respect to the center line of the microlens.
Here, the horizontal direction (lateral direction) is a direction along a straight line that is orthogonal to the optical axis and extends in the horizontal direction when the camera is held so that the optical axis of the imaging optical system is horizontal.

記録もしくは表示用の画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方で緑色以外の色の画素、すなわちR画素もしくはB画素は、色情報(色差情報)を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像画素として残し、R画素とB画素の位置に焦点検出画素対S及びSを配置している。 When obtaining an image signal for recording or display, the main component of luminance information is acquired by G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily perceived when G pixels are missing. On the other hand, pixels of colors other than green, that is, R pixels or B pixels are pixels that acquire color information (color difference information). However, since human image recognition characteristics are insensitive to color information, color information is acquired. Pixels are less likely to notice image quality degradation even if some defects occur. Therefore, in the present embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the focus detection pixel pairs S A and S B are arranged at the positions of the R pixel and the B pixel.

図4(b)は、図4(a)のA−A断面(すなわち、焦点検出画素対の断面)と、撮像光学系からの光路を示す図である。
マイクロレンズMLと、光電変換部PDは図3(b)に示した撮像画素と同一構造である。本実施形態においては、焦点検出画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタCF(White)が配置される。また、画素で瞳分割を行なうため、配線層CLの開口部OPとOPはマイクロレンズMLの中心線に対して一方向に偏心している。すなわち、焦点検出画素対を構成する焦点検出画素Sと焦点検出画素Sの開口部OPとOPは、画素の中心から、瞳分割方向で逆向きに偏心している。
FIG. 4B is a diagram illustrating an AA cross section (that is, a cross section of the focus detection pixel pair) in FIG. 4A and an optical path from the imaging optical system.
The microlens ML and the photoelectric conversion unit PD have the same structure as the imaging pixel shown in FIG. In the present embodiment, since the signal of the focus detection pixel is not used as an image signal, a colorless and transparent filter CF W (White) is arranged instead of the color separation color filter. Further, in order to perform pupil division at the pixel, the openings OP A and OP B of the wiring layer CL are decentered in one direction with respect to the center line of the microlens ML. That is, the openings OP A and OP B of the focus detection pixel S A and the focus detection pixel S B constituting the focus detection pixel pair are decentered in the opposite direction in the pupil division direction from the center of the pixel.

具体的には、焦点検出画素S及の開口部OPは画素中心から右側に偏心しているため、撮像光学系TLの左側の射出瞳EPを通過した光束を受光する。同様に、焦点検出画素Sの開口部OPは画素中心から左側に偏心しているため、撮像光学系TLの右側の射出瞳EPを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出画素Sで取得した輝度波形をA像波形(第1の像波形)とする。また、水平方向に規則的に配列した複数の焦点検出画素Sで取得した輝度波形をB像波形(第2の像波形)とする。これらA像波形とB像波形の相対位置を検出し、像のずれ量に対して変換係数を乗じることで被写体像のピントずれ量(デフォーカス量)を算出できる。 Specifically, the opening OP A focus detection pixels S A及because eccentric from the pixel center to the right and receives a light flux passing through the exit pupil EP A on the left side of the imaging optical system TL. Similarly, since the opening OP B of the focus detection pixel S B is decentered to the left from the pixel center, the light beam that has passed through the right exit pupil EP B of the imaging optical system TL is received. A luminance waveform acquired by a plurality of focus detection pixels SA regularly arranged in the horizontal direction is defined as an A image waveform (first image waveform). Further, the luminance waveform acquired by a plurality of focus detection pixels S B periodically arrayed in the horizontal direction and B image waveform (second image waveform). By detecting the relative positions of the A image waveform and the B image waveform and multiplying the image shift amount by a conversion coefficient, the focus shift amount (defocus amount) of the subject image can be calculated.

像ずれ量からデフォーカス量を算出するための変換係数は、撮像光学系の口径情報および焦点検出画素の感度分布に基づいて算出することができる。撮像素子107には、撮像光学系TLのレンズ保持枠や、シャッタ102が絞りとして機能する際の開口部などによって制限された光束が入射する。   The conversion coefficient for calculating the defocus amount from the image shift amount can be calculated based on the aperture information of the imaging optical system and the sensitivity distribution of the focus detection pixels. A light beam limited by a lens holding frame of the imaging optical system TL, an opening when the shutter 102 functions as a diaphragm, or the like is incident on the imaging element 107.

図5は、撮像素子503の中央に位置する画素に入射する光束の範囲を、光軸を通る鉛直断面で示した模式図である。ここでは、撮像素子503に最も近い側にあるレンズ保持枠530と、射出瞳面501の位置にある撮像光学系のシャッタ102が実現する絞り502と、被写体に最も近い側にあるレンズ保持枠531によって入射光束が制限されている状態を示している。図5(a)において、撮像素子503は、予定結像面位置における状態を示し、位置506は光軸505と撮像素子503との交点である。光束507、508は絞り502が解放でない第1の絞り値の場合において、開口部を通じて入射可能な光束の範囲を示している。また、光束509、510は、絞り502が開放状態の場合に入射可能な光束の範囲を示している。   FIG. 5 is a schematic diagram showing a range of a light beam incident on a pixel located at the center of the image sensor 503 as a vertical section passing through the optical axis. Here, a lens holding frame 530 that is closest to the image sensor 503, a diaphragm 502 that is realized by the shutter 102 of the imaging optical system at the position of the exit pupil plane 501, and a lens holding frame 531 that is closest to the subject. Shows a state in which the incident light flux is limited. In FIG. 5A, the image sensor 503 shows a state at the planned image plane position, and the position 506 is an intersection of the optical axis 505 and the image sensor 503. Light beams 507 and 508 indicate the range of light beams that can be incident through the aperture when the diaphragm 502 has the first aperture value that is not released. Light beams 509 and 510 indicate the range of light beams that can be incident when the diaphragm 502 is in an open state.

光束507、508で示される入射範囲の場合には、重心位置515、516を有する焦点検出用光束511、512が焦点検出画素に入射する。また、光束509、510で示される入射範囲の場合には重心位置517、518を有する焦点検出用光束513、514が焦点検出画素に入射する。   In the case of the incident range indicated by the light beams 507 and 508, focus detection light beams 511 and 512 having centroid positions 515 and 516 enter the focus detection pixels. In the case of the incident range indicated by the light beams 509 and 510, focus detection light beams 513 and 514 having the gravity center positions 517 and 518 enter the focus detection pixels.

図5(b)は、図5(a)に示した、撮像素子503の中央に位置する焦点検出画素に入射する光束の範囲を、光軸上の被写体側の位置から見た図である。焦点検出画素S、Sには、絞り502が第1の絞り値の場合には瞳領域523、絞り502が開放の場合には瞳領域524の内側を透過した光束が入射角特性525、526で示される感度分布で入射する。このため、瞳領域523、524の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、第1の絞り値の場合と絞りが開放の場合における重心間隔を算出することができる。そしてこれらの重心間隔から、絞り値に対応する基線長を求めることができる。焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。 FIG. 5B is a diagram of the light flux range incident on the focus detection pixel located at the center of the image sensor 503 shown in FIG. 5A as viewed from the position on the subject side on the optical axis. In the focus detection pixels S A and S B , when the diaphragm 502 has the first diaphragm value, the pupil region 523 is incident, and when the diaphragm 502 is open, the light beam transmitted through the inside of the pupil region 524 has an incident angle characteristic 525. Incident light is incident with a sensitivity distribution indicated by 526. Therefore, by obtaining the distribution centroids of the focus detection light fluxes that have passed through the inside of the pupil regions 523 and 524, the centroid distance between the first aperture value and the open aperture can be calculated. Then, the baseline length corresponding to the aperture value can be obtained from the distance between the centers of gravity. By storing the sensitivity distribution information of the focus detection pixel and the information of the imaging optical system in advance, a conversion coefficient for calculating the defocus amount from the image shift amount can be obtained.

図5(a)において、デフォーカス量519をDEF、撮像素子503から射出瞳面501までの距離520をLとする。また、第1の絞り値と開放絞りに対応する基線長(感度分布の重心間隔)をそれぞれG1(重心位置515、516間距離)、G2(重心位置517、518間距離)とする。また、像ずれ量521、522をそれぞれPRED1、PRED2、像ずれ量521、522のそれぞれをデフォーカス量DEFに変換する変換係数をK1、K2とする。このとき、以下の式(1)の関係がある。
DEF=K1×PRED1=K2×PRED2 … (1)
In FIG. 5A, the defocus amount 519 is DEF, and the distance 520 from the image sensor 503 to the exit pupil plane 501 is L. Further, the base line lengths (sensitivity distribution center-of-gravity intervals) corresponding to the first aperture value and the open aperture are G1 (distance between the center of gravity positions 515 and 516) and G2 (distance between the center of gravity positions 517 and 518), respectively. Also, conversion coefficients for converting the image shift amounts 521 and 522 into PRED1 and PRED2 and the image shift amounts 521 and 522 into the defocus amount DEF are K1 and K2, respectively. At this time, there is a relationship of the following formula (1).
DEF = K1 × PRED1 = K2 × PRED2 (1)

また、像ずれ量521(PRED1)、522(PRED2)をデフォーカス量DEFに変換する変換係数K1、K2と、距離520(L)とは、それぞれ以下の式(2)、(3)の関係がある。
K1=L/G1 … (2)
K2=L/G2 … (3)
ここで、G1<G2であるため、K1>K2である。このため、第1の絞り値の場合のほうが開放絞り値の場合に対し、像ずれ量の誤差がデフォーカス量の誤差に与える影響がK1/K2倍大きくなる。
The conversion coefficients K1 and K2 for converting the image shift amounts 521 (PRED1) and 522 (PRED2) into the defocus amount DEF and the distance 520 (L) are respectively expressed by the following expressions (2) and (3). There is.
K1 = L / G1 (2)
K2 = L / G2 (3)
Here, since G1 <G2, K1> K2. For this reason, the influence of the error of the image shift amount on the error of the defocus amount is K1 / K2 times larger than that in the case of the first aperture value being the open aperture value.

図5(c)は、図5(b)における感度分布の断面A−Aを示す断面図である。図5(c)において、左は開放絞り、右は第1の絞り値に絞られている場合の焦点検出画素S530、S531、および、撮像画素532の感度分布を示している。図5(c)の両図において、横軸は光入射角度、縦軸は感度分布をそれぞれ示す。両図を比較すると、開放絞りに対応する基線長G2が第1の絞り値に対応する基線長G1より長く、広範囲の入射角度で感度を有する。同一デフォーカス量に対するA像波形とB像波形の像ずれ量は基線長の長さと比例関係にあるため、基線長が長いほどデフォーカス変化に対する像ずれ量の敏感度が高くなる。また、感度を持つ入射角度幅が大きくなると、デフォーカスが大きい場合のA像波形、B像波形のボケ量や像ケラレが大きくなる。一般的に、A像波形およびB像波形には、広範囲のデフォーカスに対して、像ずれ量の敏感度が高く、ボケ量および像ケラレが小さいことが望まれる。 FIG.5 (c) is sectional drawing which shows the cross section AA of the sensitivity distribution in FIG.5 (b). In FIG. 5C, the left shows the sensitivity distribution of the focus detection pixels S A 530, S B 531 and the imaging pixel 532 when the aperture is closed to the full aperture and the right is set to the first aperture value. 5C, the horizontal axis indicates the light incident angle, and the vertical axis indicates the sensitivity distribution. Comparing the two figures, the baseline length G2 corresponding to the open aperture is longer than the baseline length G1 corresponding to the first aperture value, and the sensitivity is obtained in a wide range of incident angles. Since the image shift amount of the A image waveform and the B image waveform with respect to the same defocus amount is proportional to the length of the base line length, the sensitivity of the image shift amount to the defocus change increases as the base line length increases. Further, when the incident angle width having sensitivity is increased, the blur amount and image vignetting of the A image waveform and the B image waveform when the defocus is large are increased. In general, it is desired that the A image waveform and the B image waveform have a high sensitivity of the image shift amount and a small amount of blur and image vignetting with respect to a wide range of defocus.

図6は、撮像素子107における撮像画素および焦点検出画素の配置例を示す図である。図6において、G、Ga〜Ghは、緑のカラーフィルタを有する緑色画素(G画素)、Rは、赤のカラーフィルタを有する赤色画素(R画素)、Bは、青のカラーフィルタを有する青色画素(B画素)である。図6中のSA、BSは、上述した焦点検出画素S、Sである。以下の説明では、Sを基準画素群、Sを参照画素群と呼ぶことがある。図中、白抜き部分は、焦点検出画素の開口部の偏倚方向(瞳分割方向)を模式的に示している。また、焦点検出画素S,Sが配置されている水平画素ラインをAFラインと呼ぶ。 FIG. 6 is a diagram illustrating an arrangement example of imaging pixels and focus detection pixels in the imaging element 107. 6, G and Ga to Gh are green pixels (G pixels) having a green color filter, R is a red pixel (R pixel) having a red color filter, and B is a blue color having a blue color filter. This is a pixel (B pixel). SA and BS in FIG. 6 are the focus detection pixels S A and S B described above. In the following description, S A a reference pixel group, may be referred to as a reference pixel group S B. In the drawing, the white portions schematically show the deviation direction (pupil dividing direction) of the opening of the focus detection pixel. A horizontal pixel line in which the focus detection pixels S A and S B are arranged is referred to as an AF line.

図6(a)に示した例において、焦点検出画素S、Sは、補間による画質劣化が認識され難いB画素の位置に配置されている。また、図6(b)の例では、焦点検出画素S、Sが、RやB画素の2倍多く存在し、補間精度が低下しにくいG画素の位置に配置されている。また、焦点検出精度を考慮して、焦点検出画素S、SをBまたはG画素の位置で、かつ水平方向および垂直方向のそれぞれで4画素ごとに配置した例を示している。なお、本発明において、焦点検出処理及び、焦点検出結果の補正処理に用いる焦点検出画素S、Sの配置は、図6の例に限定されない。 In the example shown in FIG. 6A, the focus detection pixels S A and S B are arranged at the position of the B pixel where image quality deterioration due to interpolation is difficult to be recognized. In the example of FIG. 6B, the focus detection pixels S A and S B are twice as many as the R and B pixels, and are arranged at the G pixel positions where the interpolation accuracy is difficult to decrease. Further, in consideration of focus detection accuracy, an example is shown in which focus detection pixels S A and S B are arranged at positions of B or G pixels and every four pixels in the horizontal and vertical directions. In the present invention, the arrangement of the focus detection pixels S A and S B used for the focus detection process and the correction process of the focus detection result is not limited to the example of FIG.

また、図6(a),(b)において、焦点検出画素の周辺に位置し、瞳分割方向(ここでは水平方向)における位置が異なる撮像画素のうち、焦点検出画素と同じ周期(ピッチ)で存在する同色画素(ここではいずれもG画素)をGa〜Ghとする。また、以下では焦点検出画素S群を第1の画素群、S群を第2の画素群と呼ぶ。また、図6(a)の構成において、焦点検出画素Sの左右に隣接する撮像画素Ga,Gbを第3の画素群、焦点検出画素Sの左右に隣接する撮像画素Gc,Gdを第4の画素群と呼ぶ。一方、図6(b)の構成においては、焦点検出画素Sと斜め方向に隣接する撮像画素Ga,Gb,Gc,Gdを第3の画素群、焦点検出画素Sと斜め方向に隣接する撮像画素Ge,Gf,Gg,Ghを第4の画素群と呼ぶ。 In FIGS. 6A and 6B, among imaging pixels located around the focus detection pixel and having different positions in the pupil division direction (here, the horizontal direction), at the same cycle (pitch) as the focus detection pixel. Existing pixels of the same color (here, all G pixels) are Ga to Gh. Further, in the following the focus detection pixels S A group of the first pixel group, the S B group is referred to as a second pixel group. In the configuration of FIG. 6 (a), the imaging pixels Ga adjacent to right and left of the focus detection pixels S A, the Gb third pixel group, the imaging pixels Gc adjacent to right and left of the focus detection pixels S B, the Gd first 4 pixel group. On the other hand, in the configuration of FIG. 6 (b), the imaging pixels Ga adjacent to the focus detection pixels S A and the diagonal direction, Gb, Gc, Gd-third pixel group adjacent to the focus detection pixels S B and oblique direction The imaging pixels Ge, Gf, Gg, and Gh are referred to as a fourth pixel group.

本実施形態においては、第3の画素群と第4の画素群は、瞳分割方向(ここでは水平方向)での位置が異なるように配置することができる。また、瞳分割方向(水平方向)に関して、第3の画素群の重心に第1の画素群が位置するようにする。同様に、瞳分割方向(水平方向)に関して、第4の画素群の重心に第2の画素群が位置するようにする。   In the present embodiment, the third pixel group and the fourth pixel group can be arranged so that the positions in the pupil division direction (here, the horizontal direction) are different. In addition, the first pixel group is positioned at the center of gravity of the third pixel group with respect to the pupil division direction (horizontal direction). Similarly, the second pixel group is positioned at the center of gravity of the fourth pixel group in the pupil division direction (horizontal direction).

後述するように、第3の画素群に基づく出力波形と、第4の画素群に基づく出力波形について、前者を基準波形とした像ずれ量(位相差)を求める。そしてこの像ずれ量を、第1の画素群(S)の出力波形(A像波形)と第2の画素群(S)の出力波形(B像波形)との像ずれ量の補正に用いる。 As will be described later, for the output waveform based on the third pixel group and the output waveform based on the fourth pixel group, an image shift amount (phase difference) using the former as a reference waveform is obtained. This image shift amount is used to correct the image shift amount between the output waveform (A image waveform) of the first pixel group (S A ) and the output waveform (B image waveform) of the second pixel group (S B ). Use.

ここで、図6(a)、(b)の各配置について、焦点検出画素の配置が原因で発生する焦点検出誤差について説明する。図7は、瞳分割方向と直交する白部と黒部とのエッジ(白黒境界部)が、撮像素子のAFライン1上に光学像として結像している様子を模式的に示している。図7では図6(a)の配置を示しているが、図6(b)の配置の場合も同様である。図7で示している焦点検出画素は、焦点検出領域内の焦点検出画素群の一部である。   Here, with respect to each arrangement of FIGS. 6A and 6B, a focus detection error caused by the arrangement of the focus detection pixels will be described. FIG. 7 schematically shows a state in which an edge (monochrome boundary) between a white portion and a black portion orthogonal to the pupil division direction is formed as an optical image on the AF line 1 of the image sensor. 7 shows the arrangement of FIG. 6 (a), the same applies to the arrangement of FIG. 6 (b). The focus detection pixels shown in FIG. 7 are a part of the focus detection pixel group in the focus detection region.

焦点検出画素SとSの一方について見ると、8画素ごとに配置されている。そのため、被写体の白黒境界部が瞳分割方向(図7の水平方向)に移動した場合、それを検出できない場合がある。 When one of the focus detection pixels S A and S B is viewed, it is arranged every eight pixels. Therefore, when the monochrome boundary of the subject moves in the pupil division direction (horizontal direction in FIG. 7), it may not be detected.

領域A1の範囲に被写体の白黒境界部がある場合、白黒境界部の水平方向の移動に伴い、近傍に存在する焦点検出画素Sの出力信号に変化が現れるため、領域A1の範囲での白黒境界部の水平移動は検出可能である。一方で、領域A2には焦点検出画素Sが存在しないため、領域A2での白黒境界部の水平移動を焦点検出画素Sの出力から検出することは不可能である。なお、領域A1が、焦点検出画素1画素の幅より若干長いのは、光学ローパスフィルタ106の効果により、白黒境界部が幅を有するためである。 If there is a black and white boundaries of the subject in a range of area A1, because with the movement of the horizontal black and white boundaries, a change in the output signal of the focus detection pixels S A existing near appear black and white in a range of area A1 The horizontal movement of the boundary can be detected. On the other hand, in the region A2 due to the absence of the focus detection pixels S A, it is impossible to detect the horizontal movement of the black and white boundaries in the region A2 from the output of the focus detection pixels S A. The reason why the area A1 is slightly longer than the width of one focus detection pixel is that the black-and-white boundary has a width due to the effect of the optical low-pass filter 106.

同様の理由で、焦点検出画素Sの出力から、領域B1における白黒境界部の水平移動は検出できるが、領域B2における白黒境界部の水平移動は検出できない。このように、焦点検出画素SとSは、それぞれ、白黒境界部の移動を検出できる領域A1、B1が異なるため、白黒境界部の位置によって、焦点検出誤差が生じる。 For the same reason, from the output of the focus detection pixels S B, it can detect the horizontal movement of the white border portion in the region B1, undetectable horizontal movement of the white border portion in the region B2. As described above, the focus detection pixels S A and S B have different areas A1 and B1 in which the movement of the black-and-white boundary portion can be detected. Therefore, a focus detection error occurs depending on the position of the black-and-white boundary portion.

図8を用いて、白黒境界部の位置による焦点検出誤差について説明する。図8は、合焦時における、あるAFラインにおける焦点検出画素SおよびSの出力信号の一例を示した図である。縦軸は、焦点検出画素から得られる出力信号のレベル(値)を、横軸は画素位置を示し、AFラインに存在する撮像画素の出力信号は省略している。また、焦点検出画素SとSはそれぞれ8画素ごとに、4画素ずれた位置に配置されている。そのため、焦点検出画素S(黒丸)と焦点検出画素S(白丸)の出力を、横軸方向に4画素間隔で交互に示している。 The focus detection error due to the position of the black and white boundary will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of output signals of the focus detection pixels S A and S B in a certain AF line at the time of focusing. The vertical axis indicates the level (value) of the output signal obtained from the focus detection pixel, the horizontal axis indicates the pixel position, and the output signal of the imaging pixel existing in the AF line is omitted. In addition, the focus detection pixels S A and S B are arranged at positions shifted by 4 pixels for every 8 pixels. Therefore, the outputs of the focus detection pixels S A (black circles) and the focus detection pixels S B (white circles) are alternately shown at intervals of 4 pixels in the horizontal axis direction.

合焦時の出力信号は、焦点検出画素Sの出力から構成されるA像波形とSの出力から構成されるB像波形とのずれ(位相差)がないのが理想的であり、像ずれ量は焦点検出誤差である。
図8(a)は、図7の領域A1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(b)は、領域A1と領域B1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。
図8(c)は、領域B1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(d)は、領域B1と領域A1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。また、焦点検出画素SとSの出力信号に生じるずれの方向が、図8(b)と反対方向になっている。そのため、焦点検出誤差の符号が、図8(b)の場合の反対となる。
Output signal when focusing is ideally no deviation (phase difference) between the B image waveform and an output of the A image waveform and S B and an output of the focus detection pixels S A, The image shift amount is a focus detection error.
FIG. 8A shows an output signal when a black-and-white boundary exists near the center of the area A1 in FIG. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8B shows an output signal when a black and white boundary exists between the area A1 and the area B1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs.
FIG. 8C shows an output signal when a black-and-white boundary exists near the center of the region B1. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8D shows an output signal when a black-and-white boundary exists between the area B1 and the area A1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs. In addition, the direction of deviation generated in the output signals of the focus detection pixels S A and S B is opposite to that in FIG. Therefore, the sign of the focus detection error is opposite to that in the case of FIG.

本実施形態における検出誤差補正方法について図9を用いて説明する。図9は、合焦時における白黒境界部位置[画素](横軸)と焦点検出誤差[画素](縦軸)との関係と、補正値を示している。本実施形態では、同一種類の焦点検出画素は瞳分割方向に8画素ごとに設けられているため、焦点検出誤差は8画素を1周期として変化する。   The detection error correction method in this embodiment will be described with reference to FIG. FIG. 9 shows the relationship between the black-and-white boundary position [pixel] (horizontal axis) and the focus detection error [pixel] (vertical axis) and the correction value at the time of focusing. In this embodiment, since the same type of focus detection pixels are provided for every 8 pixels in the pupil division direction, the focus detection error changes with 8 pixels as one cycle.

第1の像ずれ量は、第1の画素群(S)の出力波形であるA像波形と、第2の画素群(S)の出力波形であるB像波形の像ずれ量であり、焦点検出誤差に相当する。 The first image shift amount is an image shift amount between the A image waveform that is the output waveform of the first pixel group (S A ) and the B image waveform that is the output waveform of the second pixel group (S B ). This corresponds to a focus detection error.

第1の補正値は、第3の画素群(Ga〜Gd)に基づく出力波形であるA像波形と、第4の画素群(Ge〜Gh)に基づく出力波形であるB像波形との像ずれ量である。本実施形態では、焦点検出画素Sの各位置における推定画素値を、対応する第3の画素群の平均値として求め、焦点検出画素Sの各位置における推定画素値を、対応する第4の画素群の平均値として求める。そして、焦点検出画素Sの各位置における推定画素値群の出力波形であるA像波形と、焦点検出画素Sの各位置における推定画素値群の出力波形であるB像波形との像ずれ量を、第1の補正値として求める。 The first correction value is an image of an A image waveform that is an output waveform based on the third pixel group (Ga to Gd) and a B image waveform that is an output waveform based on the fourth pixel group (Ge to Gh). The amount of deviation. In the present embodiment, the estimated pixel value at each position of the focus detection pixel S A is obtained as an average value of the corresponding third pixel group, and the estimated pixel value at each position of the focus detection pixel S B is determined as the corresponding fourth value. Is obtained as an average value of the pixel group. Then, an image shift between the A image waveform that is the output waveform of the estimated pixel value group at each position of the focus detection pixel S A and the B image waveform that is the output waveform of the estimated pixel value group at each position of the focus detection pixel S B. The amount is determined as a first correction value.

なお、焦点検出画素がB画素位置に配置される図6(a)の構成においては、第3の画素群がGa,Gbとなり、第4の画素群がGc,Gdとなる。   In the configuration of FIG. 6A in which the focus detection pixel is arranged at the B pixel position, the third pixel group is Ga and Gb, and the fourth pixel group is Gc and Gd.

図9から分かるように、第1の像ずれ量(焦点検出誤差)と第1の補正値の1周期の変化をみると、最大値および最小値は等しいが、変化の位相が異なっている。これは、焦点検出画素と、第1の補正値の算出に用いた撮像画素とでは、瞳分割方向に直交するエッジとなる白黒境界部を捕捉できる画素の、瞳分割方向における位置が異なるためである。第1の像ずれ量から第1の補正値を減算することで焦点検出誤差を低減することができるが、第1の像ずれ量と第2の像ずれ量とは位相が異なる箇所が存在するため、焦点検出誤差の低減効果が減少する部分が存在する。   As can be seen from FIG. 9, when the change of the first image shift amount (focus detection error) and the first correction value in one cycle is seen, the maximum value and the minimum value are equal, but the phase of the change is different. This is because the focus detection pixel and the imaging pixel used to calculate the first correction value have different positions in the pupil division direction of pixels that can capture the black-and-white boundary portion that is an edge orthogonal to the pupil division direction. is there. Although the focus detection error can be reduced by subtracting the first correction value from the first image shift amount, there are places where the first image shift amount and the second image shift amount have different phases. Therefore, there is a portion where the effect of reducing the focus detection error is reduced.

そこで、本実施形態では、第1の補正値に係数を適用し、第1の像ずれ量との位相の差を低減した補正値を算出し、第1の像ずれ量(焦点検出誤差)を補正する。具体的には、第1の補正値に対して係数を適用するとともに、適用後の値を、焦点検出画素のピッチによって定まる第1の像ずれ量の最大値および最小値でクリッピングすることにより、補正値を算出する。   Therefore, in the present embodiment, a coefficient is applied to the first correction value, a correction value in which the phase difference from the first image shift amount is reduced is calculated, and the first image shift amount (focus detection error) is calculated. to correct. Specifically, by applying a coefficient to the first correction value and clipping the applied value with the maximum value and the minimum value of the first image shift amount determined by the pitch of the focus detection pixels, A correction value is calculated.

図9において、第1の補正値に係数を適用した状態を、第2の補正値(1点鎖線)として示している。第1の像ずれ量が一定値(最大値または最小値)で、第1および第2の補正値が変化している領域を比較すると、第2の補正値の方が、第1の補正値よりも第1の像ずれ量との差が小さい。従って、第2の補正値を用いる方が、この領域における第1の像ずれ量、すなわち焦点検出誤差を低減できる。   In FIG. 9, a state where a coefficient is applied to the first correction value is shown as a second correction value (one-dot chain line). When regions where the first image shift amount is a constant value (maximum value or minimum value) and the first and second correction values are changed are compared, the second correction value is the first correction value. The difference from the first image shift amount is smaller than that. Therefore, the use of the second correction value can reduce the first image shift amount in this region, that is, the focus detection error.

第1の補正値から第2の補正値を得るための係数は、焦点検出誤差(像ずれ量)の変化割合から求めることができる。第1の像ずれ量は、1画素の焦点検出画素で検出されるのに対し、第1の補正値は、焦点検出画素と水平方向で1画素ずつ位置がずれた複数の撮像画素(斜め方向に隣接する撮像画素(図6(b))もしくは左右に隣接する撮像画素(図6(a)))で検出される。従って、焦点検出誤差の変化領域においては、第1の像ずれ量が第1の補正値の2倍の傾きで変化する。そこで、本実施形態では係数2.0を第1の補正値に適用することで、第1の像ずれ量との差が小さい第2の補正値を求め、焦点検出誤差の変化領域における補正効果を高めることができる。   The coefficient for obtaining the second correction value from the first correction value can be obtained from the change rate of the focus detection error (image shift amount). The first image shift amount is detected by one focus detection pixel, whereas the first correction value is a plurality of imaging pixels (diagonal directions) whose positions are shifted by one pixel in the horizontal direction from the focus detection pixel. Is detected by an imaging pixel adjacent to (FIG. 6B) or an imaging pixel adjacent to the left and right (FIG. 6A). Accordingly, in the focus detection error changing region, the first image shift amount changes with a gradient twice the first correction value. Therefore, in the present embodiment, by applying the coefficient 2.0 to the first correction value, a second correction value having a small difference from the first image shift amount is obtained, and the correction effect in the change region of the focus detection error. Can be increased.

さらに、第2の補正値が焦点検出誤差の最大値を超える場合は最大値に、最小値を下回る場合は最小値にクリッピングすることにより、第3の補正値を生成する。焦点検出誤差の最大絶対値は、焦点検出画素のピッチに応じて定まり、具体的にはピッチの約半分となる。本実施形態では焦点検出画素のピッチが8画素であるため、最大値は+4画素、最小値は−4画素であり、第3の補正値は図9に実線で示すように±4画素の範囲にクリッピングされる。   Further, the third correction value is generated by clipping to the maximum value when the second correction value exceeds the maximum value of the focus detection error and to the minimum value when the second correction value is below the minimum value. The maximum absolute value of the focus detection error is determined according to the pitch of the focus detection pixels, and is specifically about half of the pitch. In this embodiment, since the focus detection pixel pitch is 8 pixels, the maximum value is +4 pixels, the minimum value is −4 pixels, and the third correction value is a range of ± 4 pixels as shown by the solid line in FIG. Clipped to

ここでは、説明及び理解を容易にするため、光学ローパスフィルタの影響について考慮しない場合の係数の決定方法の例を述べた。しかし、焦点検出誤差の傾きが光学ローパスフィルタの影響で減少する場合には、その減少を考慮した係数とすることができる。上述の例では、係数2.0の代わりに、例えば1.3〜1.5程度の係数とすることができる。光学ローパスフィルタの影響を考慮する場合、考慮しない場合の係数に対してどの程度低減した係数にするかは、使用する光学ローパスフィルタの特性を考慮して決定することができる。   Here, for ease of explanation and understanding, an example of a coefficient determination method when the influence of the optical low-pass filter is not considered has been described. However, when the inclination of the focus detection error decreases due to the influence of the optical low-pass filter, it can be a coefficient considering the decrease. In the above example, a coefficient of about 1.3 to 1.5 can be used instead of the coefficient 2.0, for example. When the influence of the optical low-pass filter is taken into consideration, the degree of reduction of the coefficient with respect to the coefficient not taken into consideration can be determined in consideration of the characteristics of the optical low-pass filter to be used.

このように、本実施形態では、焦点検出画素の周囲に位置する同色の複数の撮像画素の出力に基づいて、焦点検出誤差を補正する第1の補正値を求める。そして、焦点検出画素の位置と、第1の補正値の取得に用いた撮像画素の位置の差に応じた係数を適用し、第2の補正値を求める。さらに、第2の補正値を、焦点検出画素のピッチに応じた焦点検出画素の最大値および最小値でクリッピングした第3の補正値を求め、焦点検出画素から得られる像ずれ量から減算することで、像ずれ量に含まれる焦点検出誤差を補正する。   As described above, in the present embodiment, the first correction value for correcting the focus detection error is obtained based on the outputs of the plurality of imaging pixels of the same color located around the focus detection pixel. Then, a coefficient corresponding to the difference between the position of the focus detection pixel and the position of the imaging pixel used for acquiring the first correction value is applied to obtain the second correction value. Further, a third correction value obtained by clipping the second correction value with the maximum value and the minimum value of the focus detection pixel corresponding to the pitch of the focus detection pixel is obtained, and is subtracted from the image shift amount obtained from the focus detection pixel. Thus, the focus detection error included in the image shift amount is corrected.

続いて、図10から図12を参照して、本実施形態におけるカメラ100の動作について説明する。図10は、カメラ100の電源投入時から撮影までの動作を示すフローチャートである。
S901において、撮影者がカメラ100の操作スイッチ群132に含まれる電源スイッチ(メインスイッチ)をオンにすると、電源がカメラ100の各部に供給されるとともに、CPU121は起動動作を開始する。
Subsequently, the operation of the camera 100 in the present embodiment will be described with reference to FIGS. FIG. 10 is a flowchart showing the operation from when the camera 100 is turned on until shooting.
In S <b> 901, when the photographer turns on a power switch (main switch) included in the operation switch group 132 of the camera 100, power is supplied to each part of the camera 100 and the CPU 121 starts an activation operation.

S902においてCPU121は、起動動作の一部として、カメラ100の各アクチュエータや撮像素子107の動作確認を行う。またCPU121は、メモリ内容や実行プログラムの初期化を行うとともに、撮影スタンバイ動作を開始する。   In step S <b> 902, the CPU 121 confirms the operation of each actuator of the camera 100 and the image sensor 107 as part of the activation operation. In addition, the CPU 121 initializes the memory contents and the execution program and starts a shooting standby operation.

S903においてCPU121は、ライブビュー表示に用いる動画像の撮影動作を開始し、撮影された動画像の各フレームに対して公知の現像処理などを適用し、S904で表示器131に順次表示する。なお、動画像の撮影中、CPU121はTV−AF方式などを用いて撮影光学系を例えば画面の中央部に存在する被写体に継続して合焦させる。撮影者は、表示器131に表示されるライブビュー画像を見ながら撮影時の構図を決定することができる。   In step S903, the CPU 121 starts shooting a moving image used for live view display, applies a known development process to each frame of the shot moving image, and sequentially displays the image on the display 131 in step S904. Note that during shooting of a moving image, the CPU 121 continues to focus the shooting optical system on, for example, a subject existing in the center of the screen using the TV-AF method or the like. The photographer can determine the composition at the time of shooting while viewing the live view image displayed on the display 131.

例えば操作スイッチ群132に含まれるレリーズスイッチが半押しされるなどの撮影準備動作の開始指示が与えられると、S905においてCPU121は、焦点検出領域を決定する。焦点検出領域の決定は例えば顔検出結果や撮影者による位置の指定などに基づいて行うことができる。   For example, when an instruction to start a shooting preparation operation such as half-pressing a release switch included in the operation switch group 132 is given, the CPU 121 determines a focus detection area in S905. The focus detection area can be determined based on, for example, a face detection result or a position designation by a photographer.

焦点検出領域を決定するとS1001において、デフォーカス量算出手段としてのCPU121は、焦点検出サブルーチンを実行する。焦点検出サブルーチンの詳細については後述する。   When the focus detection area is determined, in S1001, the CPU 121 as the defocus amount calculation means executes a focus detection subroutine. Details of the focus detection subroutine will be described later.

S907においてCPU121は、焦点検出サブルーチンでの検出デフォーカス量が許容値以下である否か、すなわち合焦状態であるか否かを判定する。検出デフォーカス量が許容値よりも大きい場合、CPU121は非合焦状態と判定し、S908において、フォーカス駆動回路126およびフォーカスアクチュエータ114を通じて第3レンズ群105(フォーカスレンズ)を検出デフォーカス量に従って駆動する。その後、CPU121は、S907で合焦状態であると判定されるまでS1001およびS907を繰り返し実行する。また、CPU121は、例えばライブビュー表示用に撮影された画像に基づいて露出条件を決定する。   In step S907, the CPU 121 determines whether or not the detected defocus amount in the focus detection subroutine is equal to or smaller than an allowable value, that is, whether or not the in-focus state. If the detected defocus amount is larger than the allowable value, the CPU 121 determines that the in-focus state is not achieved, and drives the third lens group 105 (focus lens) according to the detected defocus amount through the focus drive circuit 126 and the focus actuator 114 in S908. To do. Thereafter, the CPU 121 repeatedly executes S1001 and S907 until it is determined in S907 that the focus state is achieved. Further, the CPU 121 determines an exposure condition based on an image photographed for live view display, for example.

一方、S907にて合焦状態と判定されると、S909においてCPU121は、表示器131に合焦表示を行う。続いてS910においてCPU121は、例えばレリーズスイッチの全押しでオンになる撮影開始スイッチがオンか否かを判定する。撮影開始スイッチがオンでなければ、CPU121はS910を繰り返し、撮影待機状態を維持する。なお、撮影待機状態でレリーズボタンの半押しが解除されるなど、撮影準備動作の解除指示が与えられた場合には撮影スタンバイ状態に戻ってよい。   On the other hand, if it is determined that the in-focus state is obtained in S907, the CPU 121 performs in-focus display on the display 131 in S909. In step S910, the CPU 121 determines whether a shooting start switch that is turned on when the release switch is fully pressed is turned on. If the shooting start switch is not on, the CPU 121 repeats S910 and maintains the shooting standby state. Note that when an instruction to cancel the shooting preparation operation is given, such as when the release button is half-pressed in the shooting standby state, the shooting standby state may be returned.

一方、S910にて撮影開始スイッチがオン操作されると、S1101に移行し、CPU121は撮影サブルーチンを実行し、処理を終了する。ここで、S1101で実行される撮影サブルーチンについて、図12に示すフローチャートを用いて説明する。   On the other hand, when the shooting start switch is turned on in S910, the process proceeds to S1101, and the CPU 121 executes a shooting subroutine and ends the process. Here, the photographing subroutine executed in S1101 will be described with reference to the flowchart shown in FIG.

撮影開始スイッチがオンになると、S1102においてCPU121は、決定した露出条件に基づいて、絞りシャッタ駆動回路128および絞りシャッタアクチュエータ112を通じて絞り機能を有するシャッタ102を駆動制御し、撮像素子107を露光する。   When the photographing start switch is turned on, in S1102, the CPU 121 drives and controls the shutter 102 having an aperture function through the aperture shutter drive circuit 128 and the aperture shutter actuator 112 based on the determined exposure condition, and exposes the image sensor 107.

S1103においてCPU121は、撮像素子駆動回路124を通じて、撮像素子107から画像を読み出す。なお、ここで読み出しされる画像は、ライブビュー表示に用いるための画像よりも画素数が多いのが一般的であるが、設定に依存する。   In step S <b> 1103, the CPU 121 reads an image from the image sensor 107 through the image sensor drive circuit 124. The image read out here generally has a larger number of pixels than the image used for live view display, but it depends on the setting.

S1104においてCPU121は、読み出された画像信号の欠損画素補間を行う。なお、製造時や経時劣化で生じた撮像画素の欠陥画素の位置における画像信号の補間に加え、焦点検出画素の位置における画像信号の補間もここで行う。補間方法に特に制限は無く、周辺画素値を用いた公知の方法を用いることができる。   In step S1104, the CPU 121 performs defective pixel interpolation of the read image signal. Note that in addition to the interpolation of the image signal at the position of the defective pixel of the image pickup pixel that has occurred during manufacturing or due to deterioration over time, the interpolation of the image signal at the position of the focus detection pixel is also performed here. There is no particular limitation on the interpolation method, and a known method using peripheral pixel values can be used.

S1105においてCPU121は、欠陥画素補間後の画像信号に対し、画像処理回路125を用いてγ補正やエッジ強調、符号化などの画像処理を適用する。そしてS1106においてCPU121は、記録媒体133に撮影画像を記録する。またS1107において、CPU121は表示器131に撮影済み画像を表示する。そしてS1108において、図10のメインフローにリターンし、S912において、一連の撮影動作が終了する。なお、撮影サブルーチンの終了後、処理をS904に戻して撮影スタンバイ状態の動作を継続してもよい。   In step S <b> 1105, the CPU 121 applies image processing such as γ correction, edge enhancement, and encoding to the image signal after defective pixel interpolation using the image processing circuit 125. In step S <b> 1106, the CPU 121 records the captured image on the recording medium 133. In step S <b> 1107, the CPU 121 displays a captured image on the display 131. Then, in S1108, the process returns to the main flow of FIG. 10, and in S912, a series of photographing operations is completed. Note that after the shooting subroutine is completed, the process may return to S904 to continue the operation in the shooting standby state.

次に、図10のS1001で、デフォーカス量算出手段としてのCPU121が実施する焦点検出サブルーチンについて、図11に示すフローチャートを用いて説明する。
まずS1002において、CPU121は、S905で決定した焦点検出領域に含まれる1つのAFラインについての焦点検出に必要な範囲の画素信号を、撮像素子駆動回路124を通じて読み出す。ここで読み出す画素信号には、焦点検出画素群(第1〜第2の画素群S、S)および、焦点検出画素の配置に応じた第3〜第4の画素群が含まれる。上述の通り、図6(a)に示す焦点検出画素の配置では、第3の画素群としてGa,Gbが、第4の画素群としてGc,Gdを読み出す。また、図6(b)に示す焦点検出画素の配置では、第3の画素群としてGa〜Gdが、第4の画素群としてGf〜Ghを読み出す。なお、焦点検出画素の位置は予め記憶されている。
Next, a focus detection subroutine executed by the CPU 121 as the defocus amount calculation means in S1001 of FIG. 10 will be described with reference to the flowchart shown in FIG.
First, in step S <b> 1002, the CPU 121 reads out a pixel signal in a range necessary for focus detection for one AF line included in the focus detection area determined in step S <b> 905 through the image sensor driving circuit 124. The pixel signal read out here includes a focus detection pixel group (first to second pixel groups S A and S B ) and third to fourth pixel groups corresponding to the arrangement of the focus detection pixels. As described above, in the arrangement of the focus detection pixels shown in FIG. 6A, Ga and Gb are read as the third pixel group, and Gc and Gd are read as the fourth pixel group. In the arrangement of the focus detection pixels shown in FIG. 6B, Ga to Gd are read as the third pixel group, and Gf to Gh are read as the fourth pixel group. The position of the focus detection pixel is stored in advance.

続いてS1003においてCPU121は、第1の画素群SからA像波形を、第2の画素群SからB像波形を生成する。そして、CPU121は、一方(ここではA像波形とする)に対して他方を相対的に画素単位でずらしながら両者の相関量を表す相関評価値を算出する。
具体的には、A像波形を構成するサンプルをa1〜an、B像波形を構成するサンプルをb1〜bn(nはデータ数)とすると、CPU121は以下の式(4)に従って相関量Corr(l)を算出する。

Figure 2016057402
式(4)において、lは像ずらし量(整数)である。 Subsequently, in S1003, the CPU 121 generates an A image waveform from the first pixel group S A and a B image waveform from the second pixel group S B. Then, the CPU 121 calculates a correlation evaluation value representing the correlation amount between the two (here, the A image waveform) while relatively shifting the other in pixel units.
Specifically, if the samples constituting the A image waveform are a1 to an and the samples constituting the B image waveform are b1 to bn (n is the number of data), the CPU 121 calculates the correlation amount Corr ( l) is calculated.
Figure 2016057402
In Expression (4), l is an image shift amount (integer).

式(4)で算出される相関量Corr(l)は、A像波形とB像波形との相関が最も高い場合に極小となる。CPU121は相関量Corr(l)が極小となるずらし量m(整数)と、mの近傍のずらし量で得られた相関量Corr(l)を用いて、3点内挿の手法を用いて、相関量Corr(l)を最小とするずらし量dを画素未満の単位で求める。ずらし量dはA像波形とB像波形の像ずれ量(第1の像ずれ量)である。   The correlation amount Corr (l) calculated by the equation (4) is minimized when the correlation between the A image waveform and the B image waveform is the highest. The CPU 121 uses a shift amount m (integer) that minimizes the correlation amount Corr (l) and a correlation amount Corr (l) obtained by a shift amount near m, using a three-point interpolation method, A shift amount d that minimizes the correlation amount Corr (l) is obtained in units of less than pixels. The shift amount d is an image shift amount (first image shift amount) between the A image waveform and the B image waveform.

S1004においてCPU121は、S1003で求めた像ずれ量(ずらし量d)の信頼性を評価する。デフォーカス量が大きい場合、A像波形とB像波形の非対称性が大きくなるため、相関量Corr(d)は大きくなる。逆に、デフォーカス量が小さいほど、相関量Corr(d)は低くなる。従って、像ずれ量に対応する相関量Corr(d)が第1の閾値以下であれば信頼性は高いと判定することができる。   In S1004, the CPU 121 evaluates the reliability of the image shift amount (shift amount d) obtained in S1003. When the defocus amount is large, the asymmetry between the A image waveform and the B image waveform increases, and the correlation amount Corr (d) increases. Conversely, the smaller the defocus amount, the lower the correlation amount Corr (d). Therefore, if the correlation amount Corr (d) corresponding to the image shift amount is equal to or less than the first threshold value, it can be determined that the reliability is high.

次にS1005でCPU121は、第1の補正値として、第3の画素群に基づく出力波形をS1004における第1の画素群S、第4の画素群に基づく出力波形をS1003における第2の画素群Sとした像ずれ量を算出する。そしてS1006においてCPU121は、像ずれ量(第1の補正値)の信頼度を、S1004と同様にして判定する。 Next, in S1005, the CPU 121 sets the output waveform based on the third pixel group as the first correction value, the first pixel group S A in S1004, and the output waveform based on the fourth pixel group as the second correction pixel in S1003. The image shift amount for the group S B is calculated. In step S1006, the CPU 121 determines the reliability of the image shift amount (first correction value) in the same manner as in step S1004.

S1007において第1の算出手段としてのCPU121は、第1の補正値に係数を乗じて第2の補正値を算出する。上述の通り、係数は、第1の補正値の算出に用いられた撮像画素の位置と、焦点検出画素との位置との差異に基づく係数である。また、CPU121は、第2の補正値の絶対値を焦点検出画素のピッチ(8画素)の半分(4画素)でクリッピングし、第3の補正値を生成する。そして、S1008でCPU121は、焦点検出結果である第1の像ずれ量(A像波形とB像波形の像ずれ量)を、第3の補正値で補正する。   In S1007, the CPU 121 as the first calculation unit calculates the second correction value by multiplying the first correction value by a coefficient. As described above, the coefficient is a coefficient based on the difference between the position of the imaging pixel used for calculating the first correction value and the position of the focus detection pixel. In addition, the CPU 121 clips the absolute value of the second correction value with half (4 pixels) of the pitch (8 pixels) of the focus detection pixels to generate a third correction value. In step S <b> 1008, the CPU 121 corrects the first image shift amount (image shift amount between the A image waveform and the B image waveform), which is the focus detection result, with the third correction value.

S1009でCPU121は、S1008で得られた補正後の像ずれ量に、所定のデフォーカス換算係数を乗ずることにより、デフォーカス量に変換する。上述の通り、デフォーカス変換係数は、絞り値に対応する基線長と、焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、撮影時の絞り値に応じて求めることができる。   In step S1009, the CPU 121 converts the corrected image shift amount obtained in step S1008 by a predetermined defocus conversion coefficient into a defocus amount. As described above, the defocus conversion coefficient is obtained according to the aperture value at the time of shooting by storing in advance the baseline length corresponding to the aperture value, the sensitivity distribution information of the focus detection pixels, and the information of the imaging optical system. be able to.

S1010においてCPU121は、焦点検出領域内の全AFラインに対してデフォーカス量の算出が終了しているか否かを判定し、デフォーカス量が算出されていないAFラインがあれば、残りのAFラインについてS1002以降の処理を繰り返す。   In S1010, the CPU 121 determines whether or not the defocus amount calculation has been completed for all AF lines in the focus detection area. If there is an AF line for which the defocus amount has not been calculated, the remaining AF lines are determined. The processing from S1002 onward is repeated.

一方、焦点検出領域内の全AFラインに対するデフォーカス量の算出が終了している場合、第2の算出手段としてのCPU121は処理をS1011に進め、最終的なデフォーカス量(検出デフォーカス量)を決定する。例えばCPU121は、第1の像ずれ量の信頼度と、第1の補正値の信頼度がいずれも高いAFラインについて算出されたデフォーカス量を優先的に用いて、検出デフォーカス量を決定する。例えば、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量の平均値としたり、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量に、信頼度の平均値が高いほど大きな重みを与えた加重平均値としたりすることができる。このようにして決定した検出デフォーカス量は、上述したS907以降の処理で用いられる。   On the other hand, when the calculation of the defocus amount for all the AF lines in the focus detection area has been completed, the CPU 121 as the second calculation means advances the process to S1011 and the final defocus amount (detected defocus amount). To decide. For example, the CPU 121 preferentially uses the defocus amount calculated for the AF line in which the reliability of the first image shift amount and the reliability of the first correction value are both high, and determines the detected defocus amount. . For example, the average value of the defocus amounts calculated for the AF lines whose reliability is equal to or greater than the threshold value, or the average value of the reliability is included in the defocus amounts calculated for the AF lines whose reliability is equal to or greater than the threshold value. The higher the value, the higher the weighted average value. The detected defocus amount determined in this way is used in the processing after S907 described above.

以上説明したように、本実施形態においては、焦点検出画素群の出力信号の像ずれ量を、焦点検出画素の周辺に存在する複数の撮像画素から得られる出力信号の像ずれ量に基づいて得られる補正値で補正し、補正後の像ずれ量に基づいてデフォーカス量を算出する。特に、複数の撮像画素から得られる出力信号の像ずれ量を、焦点検出画素と複数の撮像画素の位置の差に応じた係数で補正して補正値を求めることで、焦点検出画素群の出力信号の像ずれ量の変化と位相の差を軽減し、補正効果を高めることができる。周辺の複数の撮像画素は、焦点検出画素と同じ画素ラインか近隣の画素ラインに存在し、焦点検出画素と同じピッチで焦点検出画素の瞳分割方向に配置され、かつ、焦点検出画素と瞳分割方向における位置が異なる。   As described above, in the present embodiment, the image shift amount of the output signal of the focus detection pixel group is obtained based on the image shift amount of the output signal obtained from the plurality of imaging pixels existing around the focus detection pixel. The correction value is corrected, and the defocus amount is calculated based on the corrected image shift amount. In particular, the output of the focus detection pixel group is obtained by correcting the image shift amount of the output signal obtained from the plurality of imaging pixels with a coefficient corresponding to the difference between the position of the focus detection pixel and the plurality of imaging pixels to obtain a correction value. It is possible to reduce a change in signal image shift amount and a phase difference, and enhance a correction effect. A plurality of peripheral imaging pixels exist in the same pixel line as the focus detection pixel or in a neighboring pixel line, are arranged in the pupil division direction of the focus detection pixel at the same pitch as the focus detection pixel, and the focus detection pixel and the pupil division The position in the direction is different.

このような構成により、焦点検出画素が離間していることで生じる焦点検出誤差を良好に補正することができる。そのため、焦点検出画素を瞳分割方向に連続して配置するなど、密に配置しなくても良好な焦点検出結果を得ることができ、焦点検出領域の画質低下の抑制と、良好な焦点検出精度が両立できる。   With such a configuration, it is possible to satisfactorily correct a focus detection error caused by the focus detection pixels being separated. For this reason, it is possible to obtain a good focus detection result without arranging the focus detection pixels continuously in the pupil division direction, for example, to suppress deterioration in the image quality of the focus detection area, and to improve the focus detection accuracy. Can be compatible.

(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に規定される範囲内で種々の変形及び変更が可能である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed. In this case, a computer-executable program describing the procedure of the imaging apparatus control method and a storage medium storing the program constitute the present invention.
As mentioned above, although exemplary embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range prescribed | regulated by a claim.

100…カメラ、102…シャッタ、107…撮像素子、121…CPU DESCRIPTION OF SYMBOLS 100 ... Camera, 102 ... Shutter, 107 ... Image sensor, 121 ... CPU

Claims (11)

撮像画素と、焦点検出画素とを有する撮像素子と、
前記焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、
前記デフォーカス量算出手段が、
前記焦点検出画素の周辺に位置する複数の撮像画素の出力信号に基づいて得られる像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための補正値を算出する第1の算出手段と、
前記焦点検出画素の出力信号の像ずれ量を前記補正値によって補正する補正手段と、
前記補正された像ずれ量に基づいて前記デフォーカス量を算出する第2の算出手段と、
を有し、
前記第1の算出手段が、前記複数の撮像画素の出力信号に基づいて得られる像ずれ量に、前記焦点検出画素の瞳分割方向における、前記焦点検出画素と前記複数の撮像画素との位置の差に応じた係数を適用して、前記補正値を算出することを特徴とする撮像装置。
An imaging device having an imaging pixel and a focus detection pixel;
Defocus amount calculation means for calculating a defocus amount of the imaging optical system based on an output signal of the focus detection pixel,
The defocus amount calculating means
A correction value for correcting the image shift amount of the output signal of the focus detection pixel is calculated based on the image shift amount obtained based on the output signals of a plurality of imaging pixels located around the focus detection pixel. 1 calculating means;
Correction means for correcting the image shift amount of the output signal of the focus detection pixel by the correction value;
Second calculating means for calculating the defocus amount based on the corrected image shift amount;
Have
The first calculation means determines the position of the focus detection pixel and the plurality of imaging pixels in the pupil division direction of the focus detection pixel in the image shift amount obtained based on the output signals of the plurality of imaging pixels. An image pickup apparatus that calculates the correction value by applying a coefficient corresponding to the difference.
前記焦点検出画素が瞳分割方向に予め定められた周期で配置され、
前記複数の像ずれ量の算出に用いられる撮像画素の位置の前記瞳分割方向における周期が、前記予め定められた周期に等しい
ことを特徴とする請求項1に記載の撮像装置。
The focus detection pixels are arranged in a predetermined cycle in the pupil division direction,
The imaging apparatus according to claim 1, wherein a period in the pupil division direction of a position of an imaging pixel used for calculating the plurality of image shift amounts is equal to the predetermined period.
前記複数の撮像画素が、前記瞳分割方向において前記焦点検出画素を挟んで位置する撮像画素であることを特徴とする請求項2に記載の撮像装置。   The imaging device according to claim 2, wherein the plurality of imaging pixels are imaging pixels located with the focus detection pixel in between in the pupil division direction. 前記複数の撮像画素が、前記焦点検出画素と斜め方向に隣接する撮像画素であることを特徴とする請求項2に記載の撮像装置。   The imaging device according to claim 2, wherein the plurality of imaging pixels are imaging pixels adjacent to the focus detection pixel in an oblique direction. 前記係数が、前記瞳分割方向と直交するエッジの前記瞳分割方向における位置の変化に対する、前記第1の補正値の変化と前記焦点検出画素の出力信号の像ずれ量の変化との間に、前記位置の差によって生じる位相差を減少させる係数である
ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。
Between the change of the first correction value and the change of the image shift amount of the output signal of the focus detection pixel with respect to the change of the position in the pupil division direction of the edge orthogonal to the pupil division direction, the coefficient 5. The imaging apparatus according to claim 2, wherein the imaging apparatus is a coefficient that reduces a phase difference caused by the difference in position. 6.
前記第1の算出手段はさらに、前記補正値の絶対値を、前記予め定められた周期に基づいて定まる最大値でクリッピングすることを特徴とする請求項5に記載の撮像装置。   The imaging apparatus according to claim 5, wherein the first calculation unit further clips the absolute value of the correction value with a maximum value determined based on the predetermined period. 前記複数の像ずれ量の算出に用いられる撮像画素が、同色画素であることを特徴とする請求項1から6のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the imaging pixels used for calculating the plurality of image shift amounts are the same color pixels. 前記撮像素子がベイヤー配列のカラーフィルタを有し、前記像ずれ量の算出に用いられる複数の撮像画素が緑色の画素であることを特徴とする請求項7に記載の撮像装置。   The image pickup apparatus according to claim 7, wherein the image pickup element includes a color filter with a Bayer array, and the plurality of image pickup pixels used for calculating the image shift amount are green pixels. 前記焦点検出画素が、緑色または青色の画素の位置に配置されることを特徴とする請求項7または8に記載の撮像装置。   The imaging apparatus according to claim 7, wherein the focus detection pixel is disposed at a position of a green or blue pixel. 撮像画素と、焦点検出画素とを有する撮像素子を備えた撮像装置の制御方法であって、
第1の算出手段が、前記焦点検出画素の周辺に位置する複数の撮像画素の出力信号に基づいて得られる像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための補正値を算出する第1の算出工程と、
補正手段が、前記焦点検出画素の出力信号の像ずれ量を前記補正値によって補正する補正工程と、
第2の算出手段が、前記補正された像ずれ量に基づいてデフォーカス量を算出する第2の算出工程と、
を有し、
前記第1の算出工程において前記第1の算出手段は、前記複数の撮像画素の出力信号に基づいて得られる像ずれ量に、前記焦点検出画素の瞳分割方向における、前記焦点検出画素と前記複数の撮像画素との位置の差に応じた係数を適用して、前記補正値を算出することを特徴とする撮像装置の制御方法。
A method for controlling an imaging apparatus including an imaging element having an imaging pixel and a focus detection pixel,
The first calculating means corrects the image shift amount of the output signal of the focus detection pixel based on the image shift amount obtained based on the output signals of a plurality of imaging pixels located around the focus detection pixel. A first calculation step of calculating a correction value of
A correcting step, wherein the correcting means corrects the image shift amount of the output signal of the focus detection pixel by the correction value;
A second calculation step in which a second calculation means calculates a defocus amount based on the corrected image shift amount;
Have
In the first calculation step, the first calculation means calculates the image shift amount obtained based on the output signals of the plurality of imaging pixels, and the focus detection pixel and the plurality of the plurality of focus detection pixels in the pupil division direction of the focus detection pixel. A method for controlling an imaging apparatus, wherein the correction value is calculated by applying a coefficient corresponding to a difference in position with respect to the imaging pixel.
撮像画素と、焦点検出画素とを有する撮像素子を備えた撮像装置が有するコンピュータを、請求項1から9のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。   The program for functioning the computer which an imaging device provided with the imaging device which has an imaging pixel and a focus detection pixel as each means of the imaging device of any one of Claim 1 to 9.
JP2014182500A 2014-09-08 2014-09-08 Imaging device and method for controlling the same Pending JP2016057402A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014182500A JP2016057402A (en) 2014-09-08 2014-09-08 Imaging device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014182500A JP2016057402A (en) 2014-09-08 2014-09-08 Imaging device and method for controlling the same

Publications (1)

Publication Number Publication Date
JP2016057402A true JP2016057402A (en) 2016-04-21

Family

ID=55758401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014182500A Pending JP2016057402A (en) 2014-09-08 2014-09-08 Imaging device and method for controlling the same

Country Status (1)

Country Link
JP (1) JP2016057402A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016975A (en) * 2017-07-10 2019-01-31 キヤノン株式会社 Image processing system and image processing method, imaging apparatus, program
JP2019158958A (en) * 2018-03-08 2019-09-19 キヤノン株式会社 Imaging device, method for controlling the same, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016975A (en) * 2017-07-10 2019-01-31 キヤノン株式会社 Image processing system and image processing method, imaging apparatus, program
JP2019158958A (en) * 2018-03-08 2019-09-19 キヤノン株式会社 Imaging device, method for controlling the same, and program
JP7066458B2 (en) 2018-03-08 2022-05-13 キヤノン株式会社 Imaging device and its control method, program

Similar Documents

Publication Publication Date Title
JP5662667B2 (en) Imaging device
JP5552214B2 (en) Focus detection device
JP5180717B2 (en) Imaging device
JP5595014B2 (en) Imaging device
JP5473977B2 (en) Imaging apparatus and camera system
JP5361535B2 (en) Imaging device
JP5898481B2 (en) Imaging apparatus and focus detection method
JP6305006B2 (en) IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
US9160918B2 (en) Focus control apparatus and method for performing focus control by phase difference detection, and image capturing apparatus
JP5911252B2 (en) Imaging apparatus and image processing method
JP5954933B2 (en) Imaging device and lens device
JP5744556B2 (en) Imaging device and imaging apparatus
JP2012147045A (en) Imaging apparatus
JP6486041B2 (en) Imaging apparatus and control method thereof
JP6238578B2 (en) Imaging apparatus and control method thereof
JP5990008B2 (en) Imaging apparatus and control method thereof
JP6207293B2 (en) IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2012220790A (en) Imaging apparatus
JP2014110619A (en) Image processing device and method of controlling the same, and imaging device and method of controlling the same
JP2016057402A (en) Imaging device and method for controlling the same
JP2016018033A (en) Imaging device, control method of the same, program and recording medium
JP5864989B2 (en) Imaging device and imaging apparatus
JP2016045322A (en) Imaging device and method for controlling the same
JP2016018034A (en) Imaging device, control method of the same, program and recording medium
JP5748826B2 (en) Imaging apparatus and camera system