JP2016057402A - Imaging device and method for controlling the same - Google Patents
Imaging device and method for controlling the same Download PDFInfo
- Publication number
- JP2016057402A JP2016057402A JP2014182500A JP2014182500A JP2016057402A JP 2016057402 A JP2016057402 A JP 2016057402A JP 2014182500 A JP2014182500 A JP 2014182500A JP 2014182500 A JP2014182500 A JP 2014182500A JP 2016057402 A JP2016057402 A JP 2016057402A
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- imaging
- pixel
- pixels
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 210
- 238000012937 correction Methods 0.000 claims abstract description 65
- 230000003287 optical effect Effects 0.000 claims abstract description 43
- 210000001747 pupil Anatomy 0.000 claims abstract description 34
- 230000008859 change Effects 0.000 claims description 12
- 230000006866 deterioration Effects 0.000 abstract description 5
- 230000001629 suppression Effects 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 26
- 230000035945 sensitivity Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 230000004907 flux Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は撮像装置及びその制御方法に関し、特には焦点検出画素を有する撮像素子を用いる撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus using an imaging element having a focus detection pixel and a control method thereof.
撮像素子を構成する画素群の一部を焦点検出画素とし、焦点検出画素から得られる被写体像の位相差を用いることで、個別の位相差検出センサなしに位相差検出方式の自動焦点検出(位相差AF)を実現する技術が知られている(特許文献1,2)。
A part of the pixel group constituting the image sensor is used as a focus detection pixel, and by using the phase difference of the subject image obtained from the focus detection pixel, automatic focus detection (phase difference detection method) without using an individual phase difference detection sensor. A technique for realizing (phase difference AF) is known (
焦点検出画素の出力に基づく焦点検出の精度を向上させるには、焦点検出画素の配置密度が高い方が有利である。そのため、特許文献2には、焦点検出画素を連続して配置する構成が開示されている。
In order to improve the accuracy of focus detection based on the output of the focus detection pixels, it is advantageous that the arrangement density of the focus detection pixels is high. Therefore,
一方、焦点検出画素の出力は撮像画像の生成に用いることができないため、焦点検出画素の位置における画像信号は、周辺の撮像画素の出力から求めるのが一般的である。従って、画質の点からは、焦点検出画素の配置密度は低い方が有利である。 On the other hand, since the output of the focus detection pixel cannot be used to generate a captured image, the image signal at the position of the focus detection pixel is generally obtained from the output of the surrounding image capture pixels. Therefore, in terms of image quality, it is advantageous that the arrangement density of focus detection pixels is low.
本発明はこのような従来技術の課題に鑑みなされたもので、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることを特徴する。 The present invention has been made in view of the above-described problems of the prior art. In an image pickup apparatus using an image pickup device having a focus detection pixel and a control method thereof, it is possible to achieve both high-precision focus detection and suppression of image quality deterioration. Characterize.
上述の目的は、撮像画素と、焦点検出画素とを有する撮像素子と、焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、デフォーカス量算出手段が、焦点検出画素の周辺に位置する複数の撮像画素の出力信号に基づいて得られる像ずれ量に基づいて、焦点検出画素の出力信号の像ずれ量を補正するための補正値を算出する第1の算出手段と、焦点検出画素の出力信号の像ずれ量を補正値によって補正する補正手段と、補正された像ずれ量に基づいてデフォーカス量を算出する第2の算出手段と、を有し、第1の算出手段が、複数の撮像画素の出力信号に基づいて得られる像ずれ量に、焦点検出画素の瞳分割方向における、焦点検出画素と複数の撮像画素との位置の差に応じた係数を適用して、補正値を算出することを特徴とする撮像装置によって達成される。 The above-described object includes an image pickup device having an image pickup pixel and a focus detection pixel, and a defocus amount calculation means for calculating a defocus amount of the image pickup optical system based on an output signal of the focus detection pixel. Correction value for correcting the image shift amount of the output signal of the focus detection pixel based on the image shift amount obtained by the focus amount calculation means based on the output signals of the plurality of imaging pixels located around the focus detection pixel A first calculating unit that calculates a defocus amount based on the corrected image shift amount, a correction unit that corrects an image shift amount of the output signal of the focus detection pixel with a correction value, and a second calculation unit that calculates a defocus amount based on the corrected image shift amount. The position of the focus detection pixel and the plurality of imaging pixels in the pupil division direction of the focus detection pixel is determined based on the image shift amount obtained based on the output signals of the plurality of imaging pixels. The coefficient according to the difference of And use, are achieved by an imaging device, and calculates the correction value.
このように本発明によれば、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることができる。 Thus, according to the present invention, it is possible to achieve both high-precision focus detection and suppression of image quality degradation in an imaging apparatus using an imaging element having focus detection pixels and a control method thereof.
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図1は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ100(以下、単にカメラ100という)の機能構成例を示す図である。
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating a functional configuration example of a digital still camera 100 (hereinafter simply referred to as a camera 100) as an example of an imaging apparatus according to an embodiment of the present invention.
第1レンズ群101は撮像光学系の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ102は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ102の背面(撮像素子側)に配置された第2レンズ群103は、シャッタ102と一体となって光軸に沿って前後に可能であり、第1レンズ群101とともにズーム機能を実現する。
The
第3レンズ群105はフォーカスレンズであり、光軸に沿って前後に移動可能である。第3レンズ群105の位置により、撮像光学系の焦点位置が調節される。光学ローパスフィルタ106は、撮像素子107の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子107は2次元CMOS撮像素子とその周辺回路で構成される。本実施形態において、撮像素子107は、横方向にm個、縦方向にn個の複数の受光素子が2次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラー撮像素子である。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。
The
ズームアクチュエータ111は、ズーム駆動回路129の制御に従い、不図示のカム筒を回動して第1レンズ群101と第3レンズ群105の少なくとも一方を光軸に沿って駆動して、ズーム(変倍)機能を実現する。シャッタアクチュエータ112は、シャッタ駆動回路128の制御に従い、シャッタ102開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。
Under the control of the
フォーカスアクチュエータ114は、フォーカス駆動回路126の制御に従い、第3レンズ群105を光軸に沿って駆動する。
なお、本実施形態のカメラ100は、撮像光学系が撮像装置本体と一体に形成されている構成を有するが、撮像光学系が着脱可能な構成であってもよい。
The
Note that the
フラッシュ115は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するLEDを備えた照明装置であってもよい。AF補助光出力部116は、所定の開口パターンを有するマスクの像を投稿レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。
The
CPU121は、カメラ100全体の動作を制御し、図示しない演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121は、不図示の不揮発性記録媒体(例えばROM)に記憶されたプログラムを実行して、カメラ100が有する各種回路を制御し、AF、AE、画像処理、記録等、カメラ100の機能を実現する。
The
フラッシュ制御回路122は、撮像動作に同期してフラッシュ115を点灯制御する。補助光駆動制御回路123は、焦点検出動作時にAF補助光出力部116を点灯制御する。撮像素子駆動回路124は、撮像素子107の動作を制御するとともに、撮像素子107から読み出した画像信号をA/D変換してCPU121に出力する。画像処理回路125は、画像信号に対してγ変換、色補間、JPEG符号化などの画像処理を適用する。
The
フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動することにより第3レンズ群105を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路128は、シャッタアクチュエータ112を駆動してシャッタ102の開口径及び開閉タイミングを制御する。ズーム駆動回路129は、例えば操作スイッチ群132に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ111を駆動する。
The
表示器131はLCD等であり、カメラ100の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮像トリガ)スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体133は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。
The
(撮像素子の構成)
次に、撮像素子107、及び撮像素子107を構成する撮像画素と焦点検出画素について説明する。
図2は、撮像素子107の一部の構成例を示すブロック図である。なお、図2では、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。光電変換部201は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下の説明では、撮像素子107にX方向にm個、Y方向n個の光電変換部201が二次元配置されているものとし、光電変換部201の各々を特定する場合には、PDmnと表記する。ここでm=0,1・・・,m−1、n=0,1・・・,n−1である。なお、図2では、図が煩雑にならないよう、一部の光電変換部201にのみアドレスを示している。
(Configuration of image sensor)
Next, the
FIG. 2 is a block diagram illustrating a configuration example of a part of the
スイッチ202は、光電変換部201ごとに設けられ、光電変換部201の出力を選択する。スイッチ202は、垂直走査回路208により、一行ごとに選択される。
ラインメモリ203は、光電変換部201の出力を一時的に記憶するためのであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
スイッチ204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。
The
The
The
ラインメモリ203のm個の出力の各々にはスイッチ205(H0〜Hm-1)が設けられている。後述する水平走査回路206によってスイッチ205をH0から順次走査することで、スイッチ205を通じてラインメモリ203に記憶された光電変換部201の出力が水平出力線に順次出力され、一行分の光電変換出力が読み出される。
Each of the m outputs of the
水平走査回路206は、スイッチ205を順次オンにして、ラインメモリ203に記憶された光電変換部201の出力を順次、水平出力線に出力させる。信号PHSTはデータ入力、PH1、PH2はシフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる。水平走査回路206のPH1、PH2にシフトクロックを入力してPHSTを順次シフトさせることにより、スイッチ205をH0からHm-1の順で順次オンすることができる。SKIPは、水平走査回路206に間引き読み出しの設定を行うための制御端子入力である。SKIPにHレベルの信号を入力することにより、水平走査回路206の走査を所定間隔でスキップさせることが可能であり、それによって間引き読み出しを実現する。
The
垂直走査回路208はV0からVn-1を順次出力することにより、光電変換部201に接続されたスイッチ202をラインごとに選択する。垂直走査回路208においても、水平走査回路206と同様に、データ入力PVST、シフトクロックPV1、PV2、間引き読み設定SKIPにより制御される。制御入力に対する動作は水平走査回路206と同様であるので詳細説明は省略する。
The
(画素の構造)
図3及び図4は、撮像画素と焦点検出画素の構造例を示す図である。本実施形態の撮像素子107は、2行×2列の4画素を1単位として、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列の画素配置が採用されている。そして、このようなベイヤー配列の画素群の一部の画素を、焦点検出画素としている。焦点検出画素は、離散的に配置される。
(Pixel structure)
3 and 4 are diagrams illustrating examples of structures of the imaging pixels and the focus detection pixels. In the
図3(a)は2行×2列の撮像画素の平面図である。上述の通り、ベイヤー配列では対角方向に2つのG画素が、他の2画素にRとBの画素が配置される。そしてこのような2行×2列の配列が撮像素子107の全体にわたって繰り返される。
FIG. 3A is a plan view of 2 × 2 imaging pixels. As described above, in the Bayer array, two G pixels are arranged in the diagonal direction, and R and B pixels are arranged in the other two pixels. Such an array of 2 rows × 2 columns is repeated over the
図3(b)は、図3(a)のA−A断面と、撮像光学系からの光路を示す図である。
MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDは画素の光電変換部201を模式的に示したもの、CLはCMOS撮像素子内の各種信号を伝達する信号線を形成するための配線層である。TLは撮像光学系を模式的に示したものである。
FIG. 3B is a diagram illustrating an AA cross section of FIG. 3A and an optical path from the imaging optical system.
ML denotes an on-chip microlens arranged in front of each pixel, CF R is a color filter, CF G of R (Red) is a color filter of G (Green). PD schematically shows the
ここで、撮像画素のオンチップマイクロレンズMLと光電変換部PDは、撮像光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮像光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積に設計される。また、図3(b)ではR画素の入射光束について図示したが、G画素及びB(Blue)画素も同一の構造を有する。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。 Here, the on-chip microlens ML and the photoelectric conversion unit PD of the imaging pixel are configured to capture the light flux that has passed through the imaging optical system TL as effectively as possible. In other words, the exit pupil EP of the imaging optical system TL and the photoelectric conversion unit PD are in a conjugate relationship by the microlens ML, and the effective area of the photoelectric conversion unit PD is designed to be large. 3B illustrates the incident light beam of the R pixel, the G pixel and the B (Blue) pixel also have the same structure. Accordingly, the exit pupil EP corresponding to each of the RGB pixels for imaging has a large diameter, and the S / N of the image signal is improved by efficiently capturing the light flux from the subject.
図4(a)は、撮像光学系の水平方向(横方向)に瞳分割を行うための焦点検出画素対SA及びSBの平面図である。ここでは便宜上、1対の焦点検出画素が水平方向に隣接している状態を示しているが、後述するように、本実施形態では、対をなす焦点検出画素SAとSBとを水平方向に離間して配置している。焦点検出画素SAとSBに設けられた配線層CLの開口部OPAとOPBがマイクロレンズの中心線に対して一方向に偏心するように配置されている。
なお、ここで水平方向(横方向)とは、撮像光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向である。
FIG. 4A is a plan view of the focus detection pixel pair S A and S B for performing pupil division in the horizontal direction (lateral direction) of the imaging optical system. For convenience, although shows a state in which a focus detection pixel in a pair are adjacent in the horizontal direction, as described later, in the present embodiment, the focus detection pixels S A and S B paired horizontal Are spaced apart from each other. The openings OP A and OP B of the wiring layer CL provided in the focus detection pixels S A and S B are arranged so as to be eccentric in one direction with respect to the center line of the microlens.
Here, the horizontal direction (lateral direction) is a direction along a straight line that is orthogonal to the optical axis and extends in the horizontal direction when the camera is held so that the optical axis of the imaging optical system is horizontal.
記録もしくは表示用の画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方で緑色以外の色の画素、すなわちR画素もしくはB画素は、色情報(色差情報)を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像画素として残し、R画素とB画素の位置に焦点検出画素対SA及びSBを配置している。 When obtaining an image signal for recording or display, the main component of luminance information is acquired by G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily perceived when G pixels are missing. On the other hand, pixels of colors other than green, that is, R pixels or B pixels are pixels that acquire color information (color difference information). However, since human image recognition characteristics are insensitive to color information, color information is acquired. Pixels are less likely to notice image quality degradation even if some defects occur. Therefore, in the present embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the focus detection pixel pairs S A and S B are arranged at the positions of the R pixel and the B pixel.
図4(b)は、図4(a)のA−A断面(すなわち、焦点検出画素対の断面)と、撮像光学系からの光路を示す図である。
マイクロレンズMLと、光電変換部PDは図3(b)に示した撮像画素と同一構造である。本実施形態においては、焦点検出画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタCFW(White)が配置される。また、画素で瞳分割を行なうため、配線層CLの開口部OPAとOPBはマイクロレンズMLの中心線に対して一方向に偏心している。すなわち、焦点検出画素対を構成する焦点検出画素SAと焦点検出画素SBの開口部OPAとOPBは、画素の中心から、瞳分割方向で逆向きに偏心している。
FIG. 4B is a diagram illustrating an AA cross section (that is, a cross section of the focus detection pixel pair) in FIG. 4A and an optical path from the imaging optical system.
The microlens ML and the photoelectric conversion unit PD have the same structure as the imaging pixel shown in FIG. In the present embodiment, since the signal of the focus detection pixel is not used as an image signal, a colorless and transparent filter CF W (White) is arranged instead of the color separation color filter. Further, in order to perform pupil division at the pixel, the openings OP A and OP B of the wiring layer CL are decentered in one direction with respect to the center line of the microlens ML. That is, the openings OP A and OP B of the focus detection pixel S A and the focus detection pixel S B constituting the focus detection pixel pair are decentered in the opposite direction in the pupil division direction from the center of the pixel.
具体的には、焦点検出画素SA及の開口部OPAは画素中心から右側に偏心しているため、撮像光学系TLの左側の射出瞳EPAを通過した光束を受光する。同様に、焦点検出画素SBの開口部OPBは画素中心から左側に偏心しているため、撮像光学系TLの右側の射出瞳EPBを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出画素SAで取得した輝度波形をA像波形(第1の像波形)とする。また、水平方向に規則的に配列した複数の焦点検出画素SBで取得した輝度波形をB像波形(第2の像波形)とする。これらA像波形とB像波形の相対位置を検出し、像のずれ量に対して変換係数を乗じることで被写体像のピントずれ量(デフォーカス量)を算出できる。 Specifically, the opening OP A focus detection pixels S A及because eccentric from the pixel center to the right and receives a light flux passing through the exit pupil EP A on the left side of the imaging optical system TL. Similarly, since the opening OP B of the focus detection pixel S B is decentered to the left from the pixel center, the light beam that has passed through the right exit pupil EP B of the imaging optical system TL is received. A luminance waveform acquired by a plurality of focus detection pixels SA regularly arranged in the horizontal direction is defined as an A image waveform (first image waveform). Further, the luminance waveform acquired by a plurality of focus detection pixels S B periodically arrayed in the horizontal direction and B image waveform (second image waveform). By detecting the relative positions of the A image waveform and the B image waveform and multiplying the image shift amount by a conversion coefficient, the focus shift amount (defocus amount) of the subject image can be calculated.
像ずれ量からデフォーカス量を算出するための変換係数は、撮像光学系の口径情報および焦点検出画素の感度分布に基づいて算出することができる。撮像素子107には、撮像光学系TLのレンズ保持枠や、シャッタ102が絞りとして機能する際の開口部などによって制限された光束が入射する。
The conversion coefficient for calculating the defocus amount from the image shift amount can be calculated based on the aperture information of the imaging optical system and the sensitivity distribution of the focus detection pixels. A light beam limited by a lens holding frame of the imaging optical system TL, an opening when the
図5は、撮像素子503の中央に位置する画素に入射する光束の範囲を、光軸を通る鉛直断面で示した模式図である。ここでは、撮像素子503に最も近い側にあるレンズ保持枠530と、射出瞳面501の位置にある撮像光学系のシャッタ102が実現する絞り502と、被写体に最も近い側にあるレンズ保持枠531によって入射光束が制限されている状態を示している。図5(a)において、撮像素子503は、予定結像面位置における状態を示し、位置506は光軸505と撮像素子503との交点である。光束507、508は絞り502が解放でない第1の絞り値の場合において、開口部を通じて入射可能な光束の範囲を示している。また、光束509、510は、絞り502が開放状態の場合に入射可能な光束の範囲を示している。
FIG. 5 is a schematic diagram showing a range of a light beam incident on a pixel located at the center of the
光束507、508で示される入射範囲の場合には、重心位置515、516を有する焦点検出用光束511、512が焦点検出画素に入射する。また、光束509、510で示される入射範囲の場合には重心位置517、518を有する焦点検出用光束513、514が焦点検出画素に入射する。
In the case of the incident range indicated by the light beams 507 and 508, focus detection light beams 511 and 512 having
図5(b)は、図5(a)に示した、撮像素子503の中央に位置する焦点検出画素に入射する光束の範囲を、光軸上の被写体側の位置から見た図である。焦点検出画素SA、SBには、絞り502が第1の絞り値の場合には瞳領域523、絞り502が開放の場合には瞳領域524の内側を透過した光束が入射角特性525、526で示される感度分布で入射する。このため、瞳領域523、524の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、第1の絞り値の場合と絞りが開放の場合における重心間隔を算出することができる。そしてこれらの重心間隔から、絞り値に対応する基線長を求めることができる。焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。
FIG. 5B is a diagram of the light flux range incident on the focus detection pixel located at the center of the
図5(a)において、デフォーカス量519をDEF、撮像素子503から射出瞳面501までの距離520をLとする。また、第1の絞り値と開放絞りに対応する基線長(感度分布の重心間隔)をそれぞれG1(重心位置515、516間距離)、G2(重心位置517、518間距離)とする。また、像ずれ量521、522をそれぞれPRED1、PRED2、像ずれ量521、522のそれぞれをデフォーカス量DEFに変換する変換係数をK1、K2とする。このとき、以下の式(1)の関係がある。
DEF=K1×PRED1=K2×PRED2 … (1)
In FIG. 5A, the
DEF = K1 × PRED1 = K2 × PRED2 (1)
また、像ずれ量521(PRED1)、522(PRED2)をデフォーカス量DEFに変換する変換係数K1、K2と、距離520(L)とは、それぞれ以下の式(2)、(3)の関係がある。
K1=L/G1 … (2)
K2=L/G2 … (3)
ここで、G1<G2であるため、K1>K2である。このため、第1の絞り値の場合のほうが開放絞り値の場合に対し、像ずれ量の誤差がデフォーカス量の誤差に与える影響がK1/K2倍大きくなる。
The conversion coefficients K1 and K2 for converting the image shift amounts 521 (PRED1) and 522 (PRED2) into the defocus amount DEF and the distance 520 (L) are respectively expressed by the following expressions (2) and (3). There is.
K1 = L / G1 (2)
K2 = L / G2 (3)
Here, since G1 <G2, K1> K2. For this reason, the influence of the error of the image shift amount on the error of the defocus amount is K1 / K2 times larger than that in the case of the first aperture value being the open aperture value.
図5(c)は、図5(b)における感度分布の断面A−Aを示す断面図である。図5(c)において、左は開放絞り、右は第1の絞り値に絞られている場合の焦点検出画素SA530、SB531、および、撮像画素532の感度分布を示している。図5(c)の両図において、横軸は光入射角度、縦軸は感度分布をそれぞれ示す。両図を比較すると、開放絞りに対応する基線長G2が第1の絞り値に対応する基線長G1より長く、広範囲の入射角度で感度を有する。同一デフォーカス量に対するA像波形とB像波形の像ずれ量は基線長の長さと比例関係にあるため、基線長が長いほどデフォーカス変化に対する像ずれ量の敏感度が高くなる。また、感度を持つ入射角度幅が大きくなると、デフォーカスが大きい場合のA像波形、B像波形のボケ量や像ケラレが大きくなる。一般的に、A像波形およびB像波形には、広範囲のデフォーカスに対して、像ずれ量の敏感度が高く、ボケ量および像ケラレが小さいことが望まれる。
FIG.5 (c) is sectional drawing which shows the cross section AA of the sensitivity distribution in FIG.5 (b). In FIG. 5C, the left shows the sensitivity distribution of the focus detection pixels S A 530,
図6は、撮像素子107における撮像画素および焦点検出画素の配置例を示す図である。図6において、G、Ga〜Ghは、緑のカラーフィルタを有する緑色画素(G画素)、Rは、赤のカラーフィルタを有する赤色画素(R画素)、Bは、青のカラーフィルタを有する青色画素(B画素)である。図6中のSA、BSは、上述した焦点検出画素SA、SBである。以下の説明では、SAを基準画素群、SBを参照画素群と呼ぶことがある。図中、白抜き部分は、焦点検出画素の開口部の偏倚方向(瞳分割方向)を模式的に示している。また、焦点検出画素SA,SBが配置されている水平画素ラインをAFラインと呼ぶ。
FIG. 6 is a diagram illustrating an arrangement example of imaging pixels and focus detection pixels in the
図6(a)に示した例において、焦点検出画素SA、SBは、補間による画質劣化が認識され難いB画素の位置に配置されている。また、図6(b)の例では、焦点検出画素SA、SBが、RやB画素の2倍多く存在し、補間精度が低下しにくいG画素の位置に配置されている。また、焦点検出精度を考慮して、焦点検出画素SA、SBをBまたはG画素の位置で、かつ水平方向および垂直方向のそれぞれで4画素ごとに配置した例を示している。なお、本発明において、焦点検出処理及び、焦点検出結果の補正処理に用いる焦点検出画素SA、SBの配置は、図6の例に限定されない。 In the example shown in FIG. 6A, the focus detection pixels S A and S B are arranged at the position of the B pixel where image quality deterioration due to interpolation is difficult to be recognized. In the example of FIG. 6B, the focus detection pixels S A and S B are twice as many as the R and B pixels, and are arranged at the G pixel positions where the interpolation accuracy is difficult to decrease. Further, in consideration of focus detection accuracy, an example is shown in which focus detection pixels S A and S B are arranged at positions of B or G pixels and every four pixels in the horizontal and vertical directions. In the present invention, the arrangement of the focus detection pixels S A and S B used for the focus detection process and the correction process of the focus detection result is not limited to the example of FIG.
また、図6(a),(b)において、焦点検出画素の周辺に位置し、瞳分割方向(ここでは水平方向)における位置が異なる撮像画素のうち、焦点検出画素と同じ周期(ピッチ)で存在する同色画素(ここではいずれもG画素)をGa〜Ghとする。また、以下では焦点検出画素SA群を第1の画素群、SB群を第2の画素群と呼ぶ。また、図6(a)の構成において、焦点検出画素SAの左右に隣接する撮像画素Ga,Gbを第3の画素群、焦点検出画素SBの左右に隣接する撮像画素Gc,Gdを第4の画素群と呼ぶ。一方、図6(b)の構成においては、焦点検出画素SAと斜め方向に隣接する撮像画素Ga,Gb,Gc,Gdを第3の画素群、焦点検出画素SBと斜め方向に隣接する撮像画素Ge,Gf,Gg,Ghを第4の画素群と呼ぶ。 In FIGS. 6A and 6B, among imaging pixels located around the focus detection pixel and having different positions in the pupil division direction (here, the horizontal direction), at the same cycle (pitch) as the focus detection pixel. Existing pixels of the same color (here, all G pixels) are Ga to Gh. Further, in the following the focus detection pixels S A group of the first pixel group, the S B group is referred to as a second pixel group. In the configuration of FIG. 6 (a), the imaging pixels Ga adjacent to right and left of the focus detection pixels S A, the Gb third pixel group, the imaging pixels Gc adjacent to right and left of the focus detection pixels S B, the Gd first 4 pixel group. On the other hand, in the configuration of FIG. 6 (b), the imaging pixels Ga adjacent to the focus detection pixels S A and the diagonal direction, Gb, Gc, Gd-third pixel group adjacent to the focus detection pixels S B and oblique direction The imaging pixels Ge, Gf, Gg, and Gh are referred to as a fourth pixel group.
本実施形態においては、第3の画素群と第4の画素群は、瞳分割方向(ここでは水平方向)での位置が異なるように配置することができる。また、瞳分割方向(水平方向)に関して、第3の画素群の重心に第1の画素群が位置するようにする。同様に、瞳分割方向(水平方向)に関して、第4の画素群の重心に第2の画素群が位置するようにする。 In the present embodiment, the third pixel group and the fourth pixel group can be arranged so that the positions in the pupil division direction (here, the horizontal direction) are different. In addition, the first pixel group is positioned at the center of gravity of the third pixel group with respect to the pupil division direction (horizontal direction). Similarly, the second pixel group is positioned at the center of gravity of the fourth pixel group in the pupil division direction (horizontal direction).
後述するように、第3の画素群に基づく出力波形と、第4の画素群に基づく出力波形について、前者を基準波形とした像ずれ量(位相差)を求める。そしてこの像ずれ量を、第1の画素群(SA)の出力波形(A像波形)と第2の画素群(SB)の出力波形(B像波形)との像ずれ量の補正に用いる。 As will be described later, for the output waveform based on the third pixel group and the output waveform based on the fourth pixel group, an image shift amount (phase difference) using the former as a reference waveform is obtained. This image shift amount is used to correct the image shift amount between the output waveform (A image waveform) of the first pixel group (S A ) and the output waveform (B image waveform) of the second pixel group (S B ). Use.
ここで、図6(a)、(b)の各配置について、焦点検出画素の配置が原因で発生する焦点検出誤差について説明する。図7は、瞳分割方向と直交する白部と黒部とのエッジ(白黒境界部)が、撮像素子のAFライン1上に光学像として結像している様子を模式的に示している。図7では図6(a)の配置を示しているが、図6(b)の配置の場合も同様である。図7で示している焦点検出画素は、焦点検出領域内の焦点検出画素群の一部である。
Here, with respect to each arrangement of FIGS. 6A and 6B, a focus detection error caused by the arrangement of the focus detection pixels will be described. FIG. 7 schematically shows a state in which an edge (monochrome boundary) between a white portion and a black portion orthogonal to the pupil division direction is formed as an optical image on the
焦点検出画素SAとSBの一方について見ると、8画素ごとに配置されている。そのため、被写体の白黒境界部が瞳分割方向(図7の水平方向)に移動した場合、それを検出できない場合がある。 When one of the focus detection pixels S A and S B is viewed, it is arranged every eight pixels. Therefore, when the monochrome boundary of the subject moves in the pupil division direction (horizontal direction in FIG. 7), it may not be detected.
領域A1の範囲に被写体の白黒境界部がある場合、白黒境界部の水平方向の移動に伴い、近傍に存在する焦点検出画素SAの出力信号に変化が現れるため、領域A1の範囲での白黒境界部の水平移動は検出可能である。一方で、領域A2には焦点検出画素SAが存在しないため、領域A2での白黒境界部の水平移動を焦点検出画素SAの出力から検出することは不可能である。なお、領域A1が、焦点検出画素1画素の幅より若干長いのは、光学ローパスフィルタ106の効果により、白黒境界部が幅を有するためである。
If there is a black and white boundaries of the subject in a range of area A1, because with the movement of the horizontal black and white boundaries, a change in the output signal of the focus detection pixels S A existing near appear black and white in a range of area A1 The horizontal movement of the boundary can be detected. On the other hand, in the region A2 due to the absence of the focus detection pixels S A, it is impossible to detect the horizontal movement of the black and white boundaries in the region A2 from the output of the focus detection pixels S A. The reason why the area A1 is slightly longer than the width of one focus detection pixel is that the black-and-white boundary has a width due to the effect of the optical low-
同様の理由で、焦点検出画素SBの出力から、領域B1における白黒境界部の水平移動は検出できるが、領域B2における白黒境界部の水平移動は検出できない。このように、焦点検出画素SAとSBは、それぞれ、白黒境界部の移動を検出できる領域A1、B1が異なるため、白黒境界部の位置によって、焦点検出誤差が生じる。 For the same reason, from the output of the focus detection pixels S B, it can detect the horizontal movement of the white border portion in the region B1, undetectable horizontal movement of the white border portion in the region B2. As described above, the focus detection pixels S A and S B have different areas A1 and B1 in which the movement of the black-and-white boundary portion can be detected. Therefore, a focus detection error occurs depending on the position of the black-and-white boundary portion.
図8を用いて、白黒境界部の位置による焦点検出誤差について説明する。図8は、合焦時における、あるAFラインにおける焦点検出画素SAおよびSBの出力信号の一例を示した図である。縦軸は、焦点検出画素から得られる出力信号のレベル(値)を、横軸は画素位置を示し、AFラインに存在する撮像画素の出力信号は省略している。また、焦点検出画素SAとSBはそれぞれ8画素ごとに、4画素ずれた位置に配置されている。そのため、焦点検出画素SA(黒丸)と焦点検出画素SB(白丸)の出力を、横軸方向に4画素間隔で交互に示している。 The focus detection error due to the position of the black and white boundary will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of output signals of the focus detection pixels S A and S B in a certain AF line at the time of focusing. The vertical axis indicates the level (value) of the output signal obtained from the focus detection pixel, the horizontal axis indicates the pixel position, and the output signal of the imaging pixel existing in the AF line is omitted. In addition, the focus detection pixels S A and S B are arranged at positions shifted by 4 pixels for every 8 pixels. Therefore, the outputs of the focus detection pixels S A (black circles) and the focus detection pixels S B (white circles) are alternately shown at intervals of 4 pixels in the horizontal axis direction.
合焦時の出力信号は、焦点検出画素SAの出力から構成されるA像波形とSBの出力から構成されるB像波形とのずれ(位相差)がないのが理想的であり、像ずれ量は焦点検出誤差である。
図8(a)は、図7の領域A1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(b)は、領域A1と領域B1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。
図8(c)は、領域B1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(d)は、領域B1と領域A1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。また、焦点検出画素SAとSBの出力信号に生じるずれの方向が、図8(b)と反対方向になっている。そのため、焦点検出誤差の符号が、図8(b)の場合の反対となる。
Output signal when focusing is ideally no deviation (phase difference) between the B image waveform and an output of the A image waveform and S B and an output of the focus detection pixels S A, The image shift amount is a focus detection error.
FIG. 8A shows an output signal when a black-and-white boundary exists near the center of the area A1 in FIG. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8B shows an output signal when a black and white boundary exists between the area A1 and the area B1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs.
FIG. 8C shows an output signal when a black-and-white boundary exists near the center of the region B1. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8D shows an output signal when a black-and-white boundary exists between the area B1 and the area A1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs. In addition, the direction of deviation generated in the output signals of the focus detection pixels S A and S B is opposite to that in FIG. Therefore, the sign of the focus detection error is opposite to that in the case of FIG.
本実施形態における検出誤差補正方法について図9を用いて説明する。図9は、合焦時における白黒境界部位置[画素](横軸)と焦点検出誤差[画素](縦軸)との関係と、補正値を示している。本実施形態では、同一種類の焦点検出画素は瞳分割方向に8画素ごとに設けられているため、焦点検出誤差は8画素を1周期として変化する。 The detection error correction method in this embodiment will be described with reference to FIG. FIG. 9 shows the relationship between the black-and-white boundary position [pixel] (horizontal axis) and the focus detection error [pixel] (vertical axis) and the correction value at the time of focusing. In this embodiment, since the same type of focus detection pixels are provided for every 8 pixels in the pupil division direction, the focus detection error changes with 8 pixels as one cycle.
第1の像ずれ量は、第1の画素群(SA)の出力波形であるA像波形と、第2の画素群(SB)の出力波形であるB像波形の像ずれ量であり、焦点検出誤差に相当する。 The first image shift amount is an image shift amount between the A image waveform that is the output waveform of the first pixel group (S A ) and the B image waveform that is the output waveform of the second pixel group (S B ). This corresponds to a focus detection error.
第1の補正値は、第3の画素群(Ga〜Gd)に基づく出力波形であるA像波形と、第4の画素群(Ge〜Gh)に基づく出力波形であるB像波形との像ずれ量である。本実施形態では、焦点検出画素SAの各位置における推定画素値を、対応する第3の画素群の平均値として求め、焦点検出画素SBの各位置における推定画素値を、対応する第4の画素群の平均値として求める。そして、焦点検出画素SAの各位置における推定画素値群の出力波形であるA像波形と、焦点検出画素SBの各位置における推定画素値群の出力波形であるB像波形との像ずれ量を、第1の補正値として求める。 The first correction value is an image of an A image waveform that is an output waveform based on the third pixel group (Ga to Gd) and a B image waveform that is an output waveform based on the fourth pixel group (Ge to Gh). The amount of deviation. In the present embodiment, the estimated pixel value at each position of the focus detection pixel S A is obtained as an average value of the corresponding third pixel group, and the estimated pixel value at each position of the focus detection pixel S B is determined as the corresponding fourth value. Is obtained as an average value of the pixel group. Then, an image shift between the A image waveform that is the output waveform of the estimated pixel value group at each position of the focus detection pixel S A and the B image waveform that is the output waveform of the estimated pixel value group at each position of the focus detection pixel S B. The amount is determined as a first correction value.
なお、焦点検出画素がB画素位置に配置される図6(a)の構成においては、第3の画素群がGa,Gbとなり、第4の画素群がGc,Gdとなる。 In the configuration of FIG. 6A in which the focus detection pixel is arranged at the B pixel position, the third pixel group is Ga and Gb, and the fourth pixel group is Gc and Gd.
図9から分かるように、第1の像ずれ量(焦点検出誤差)と第1の補正値の1周期の変化をみると、最大値および最小値は等しいが、変化の位相が異なっている。これは、焦点検出画素と、第1の補正値の算出に用いた撮像画素とでは、瞳分割方向に直交するエッジとなる白黒境界部を捕捉できる画素の、瞳分割方向における位置が異なるためである。第1の像ずれ量から第1の補正値を減算することで焦点検出誤差を低減することができるが、第1の像ずれ量と第2の像ずれ量とは位相が異なる箇所が存在するため、焦点検出誤差の低減効果が減少する部分が存在する。 As can be seen from FIG. 9, when the change of the first image shift amount (focus detection error) and the first correction value in one cycle is seen, the maximum value and the minimum value are equal, but the phase of the change is different. This is because the focus detection pixel and the imaging pixel used to calculate the first correction value have different positions in the pupil division direction of pixels that can capture the black-and-white boundary portion that is an edge orthogonal to the pupil division direction. is there. Although the focus detection error can be reduced by subtracting the first correction value from the first image shift amount, there are places where the first image shift amount and the second image shift amount have different phases. Therefore, there is a portion where the effect of reducing the focus detection error is reduced.
そこで、本実施形態では、第1の補正値に係数を適用し、第1の像ずれ量との位相の差を低減した補正値を算出し、第1の像ずれ量(焦点検出誤差)を補正する。具体的には、第1の補正値に対して係数を適用するとともに、適用後の値を、焦点検出画素のピッチによって定まる第1の像ずれ量の最大値および最小値でクリッピングすることにより、補正値を算出する。 Therefore, in the present embodiment, a coefficient is applied to the first correction value, a correction value in which the phase difference from the first image shift amount is reduced is calculated, and the first image shift amount (focus detection error) is calculated. to correct. Specifically, by applying a coefficient to the first correction value and clipping the applied value with the maximum value and the minimum value of the first image shift amount determined by the pitch of the focus detection pixels, A correction value is calculated.
図9において、第1の補正値に係数を適用した状態を、第2の補正値(1点鎖線)として示している。第1の像ずれ量が一定値(最大値または最小値)で、第1および第2の補正値が変化している領域を比較すると、第2の補正値の方が、第1の補正値よりも第1の像ずれ量との差が小さい。従って、第2の補正値を用いる方が、この領域における第1の像ずれ量、すなわち焦点検出誤差を低減できる。 In FIG. 9, a state where a coefficient is applied to the first correction value is shown as a second correction value (one-dot chain line). When regions where the first image shift amount is a constant value (maximum value or minimum value) and the first and second correction values are changed are compared, the second correction value is the first correction value. The difference from the first image shift amount is smaller than that. Therefore, the use of the second correction value can reduce the first image shift amount in this region, that is, the focus detection error.
第1の補正値から第2の補正値を得るための係数は、焦点検出誤差(像ずれ量)の変化割合から求めることができる。第1の像ずれ量は、1画素の焦点検出画素で検出されるのに対し、第1の補正値は、焦点検出画素と水平方向で1画素ずつ位置がずれた複数の撮像画素(斜め方向に隣接する撮像画素(図6(b))もしくは左右に隣接する撮像画素(図6(a)))で検出される。従って、焦点検出誤差の変化領域においては、第1の像ずれ量が第1の補正値の2倍の傾きで変化する。そこで、本実施形態では係数2.0を第1の補正値に適用することで、第1の像ずれ量との差が小さい第2の補正値を求め、焦点検出誤差の変化領域における補正効果を高めることができる。 The coefficient for obtaining the second correction value from the first correction value can be obtained from the change rate of the focus detection error (image shift amount). The first image shift amount is detected by one focus detection pixel, whereas the first correction value is a plurality of imaging pixels (diagonal directions) whose positions are shifted by one pixel in the horizontal direction from the focus detection pixel. Is detected by an imaging pixel adjacent to (FIG. 6B) or an imaging pixel adjacent to the left and right (FIG. 6A). Accordingly, in the focus detection error changing region, the first image shift amount changes with a gradient twice the first correction value. Therefore, in the present embodiment, by applying the coefficient 2.0 to the first correction value, a second correction value having a small difference from the first image shift amount is obtained, and the correction effect in the change region of the focus detection error. Can be increased.
さらに、第2の補正値が焦点検出誤差の最大値を超える場合は最大値に、最小値を下回る場合は最小値にクリッピングすることにより、第3の補正値を生成する。焦点検出誤差の最大絶対値は、焦点検出画素のピッチに応じて定まり、具体的にはピッチの約半分となる。本実施形態では焦点検出画素のピッチが8画素であるため、最大値は+4画素、最小値は−4画素であり、第3の補正値は図9に実線で示すように±4画素の範囲にクリッピングされる。 Further, the third correction value is generated by clipping to the maximum value when the second correction value exceeds the maximum value of the focus detection error and to the minimum value when the second correction value is below the minimum value. The maximum absolute value of the focus detection error is determined according to the pitch of the focus detection pixels, and is specifically about half of the pitch. In this embodiment, since the focus detection pixel pitch is 8 pixels, the maximum value is +4 pixels, the minimum value is −4 pixels, and the third correction value is a range of ± 4 pixels as shown by the solid line in FIG. Clipped to
ここでは、説明及び理解を容易にするため、光学ローパスフィルタの影響について考慮しない場合の係数の決定方法の例を述べた。しかし、焦点検出誤差の傾きが光学ローパスフィルタの影響で減少する場合には、その減少を考慮した係数とすることができる。上述の例では、係数2.0の代わりに、例えば1.3〜1.5程度の係数とすることができる。光学ローパスフィルタの影響を考慮する場合、考慮しない場合の係数に対してどの程度低減した係数にするかは、使用する光学ローパスフィルタの特性を考慮して決定することができる。 Here, for ease of explanation and understanding, an example of a coefficient determination method when the influence of the optical low-pass filter is not considered has been described. However, when the inclination of the focus detection error decreases due to the influence of the optical low-pass filter, it can be a coefficient considering the decrease. In the above example, a coefficient of about 1.3 to 1.5 can be used instead of the coefficient 2.0, for example. When the influence of the optical low-pass filter is taken into consideration, the degree of reduction of the coefficient with respect to the coefficient not taken into consideration can be determined in consideration of the characteristics of the optical low-pass filter to be used.
このように、本実施形態では、焦点検出画素の周囲に位置する同色の複数の撮像画素の出力に基づいて、焦点検出誤差を補正する第1の補正値を求める。そして、焦点検出画素の位置と、第1の補正値の取得に用いた撮像画素の位置の差に応じた係数を適用し、第2の補正値を求める。さらに、第2の補正値を、焦点検出画素のピッチに応じた焦点検出画素の最大値および最小値でクリッピングした第3の補正値を求め、焦点検出画素から得られる像ずれ量から減算することで、像ずれ量に含まれる焦点検出誤差を補正する。 As described above, in the present embodiment, the first correction value for correcting the focus detection error is obtained based on the outputs of the plurality of imaging pixels of the same color located around the focus detection pixel. Then, a coefficient corresponding to the difference between the position of the focus detection pixel and the position of the imaging pixel used for acquiring the first correction value is applied to obtain the second correction value. Further, a third correction value obtained by clipping the second correction value with the maximum value and the minimum value of the focus detection pixel corresponding to the pitch of the focus detection pixel is obtained, and is subtracted from the image shift amount obtained from the focus detection pixel. Thus, the focus detection error included in the image shift amount is corrected.
続いて、図10から図12を参照して、本実施形態におけるカメラ100の動作について説明する。図10は、カメラ100の電源投入時から撮影までの動作を示すフローチャートである。
S901において、撮影者がカメラ100の操作スイッチ群132に含まれる電源スイッチ(メインスイッチ)をオンにすると、電源がカメラ100の各部に供給されるとともに、CPU121は起動動作を開始する。
Subsequently, the operation of the
In S <b> 901, when the photographer turns on a power switch (main switch) included in the
S902においてCPU121は、起動動作の一部として、カメラ100の各アクチュエータや撮像素子107の動作確認を行う。またCPU121は、メモリ内容や実行プログラムの初期化を行うとともに、撮影スタンバイ動作を開始する。
In step S <b> 902, the
S903においてCPU121は、ライブビュー表示に用いる動画像の撮影動作を開始し、撮影された動画像の各フレームに対して公知の現像処理などを適用し、S904で表示器131に順次表示する。なお、動画像の撮影中、CPU121はTV−AF方式などを用いて撮影光学系を例えば画面の中央部に存在する被写体に継続して合焦させる。撮影者は、表示器131に表示されるライブビュー画像を見ながら撮影時の構図を決定することができる。
In step S903, the
例えば操作スイッチ群132に含まれるレリーズスイッチが半押しされるなどの撮影準備動作の開始指示が与えられると、S905においてCPU121は、焦点検出領域を決定する。焦点検出領域の決定は例えば顔検出結果や撮影者による位置の指定などに基づいて行うことができる。
For example, when an instruction to start a shooting preparation operation such as half-pressing a release switch included in the
焦点検出領域を決定するとS1001において、デフォーカス量算出手段としてのCPU121は、焦点検出サブルーチンを実行する。焦点検出サブルーチンの詳細については後述する。
When the focus detection area is determined, in S1001, the
S907においてCPU121は、焦点検出サブルーチンでの検出デフォーカス量が許容値以下である否か、すなわち合焦状態であるか否かを判定する。検出デフォーカス量が許容値よりも大きい場合、CPU121は非合焦状態と判定し、S908において、フォーカス駆動回路126およびフォーカスアクチュエータ114を通じて第3レンズ群105(フォーカスレンズ)を検出デフォーカス量に従って駆動する。その後、CPU121は、S907で合焦状態であると判定されるまでS1001およびS907を繰り返し実行する。また、CPU121は、例えばライブビュー表示用に撮影された画像に基づいて露出条件を決定する。
In step S907, the
一方、S907にて合焦状態と判定されると、S909においてCPU121は、表示器131に合焦表示を行う。続いてS910においてCPU121は、例えばレリーズスイッチの全押しでオンになる撮影開始スイッチがオンか否かを判定する。撮影開始スイッチがオンでなければ、CPU121はS910を繰り返し、撮影待機状態を維持する。なお、撮影待機状態でレリーズボタンの半押しが解除されるなど、撮影準備動作の解除指示が与えられた場合には撮影スタンバイ状態に戻ってよい。
On the other hand, if it is determined that the in-focus state is obtained in S907, the
一方、S910にて撮影開始スイッチがオン操作されると、S1101に移行し、CPU121は撮影サブルーチンを実行し、処理を終了する。ここで、S1101で実行される撮影サブルーチンについて、図12に示すフローチャートを用いて説明する。
On the other hand, when the shooting start switch is turned on in S910, the process proceeds to S1101, and the
撮影開始スイッチがオンになると、S1102においてCPU121は、決定した露出条件に基づいて、絞りシャッタ駆動回路128および絞りシャッタアクチュエータ112を通じて絞り機能を有するシャッタ102を駆動制御し、撮像素子107を露光する。
When the photographing start switch is turned on, in S1102, the
S1103においてCPU121は、撮像素子駆動回路124を通じて、撮像素子107から画像を読み出す。なお、ここで読み出しされる画像は、ライブビュー表示に用いるための画像よりも画素数が多いのが一般的であるが、設定に依存する。
In step S <b> 1103, the
S1104においてCPU121は、読み出された画像信号の欠損画素補間を行う。なお、製造時や経時劣化で生じた撮像画素の欠陥画素の位置における画像信号の補間に加え、焦点検出画素の位置における画像信号の補間もここで行う。補間方法に特に制限は無く、周辺画素値を用いた公知の方法を用いることができる。
In step S1104, the
S1105においてCPU121は、欠陥画素補間後の画像信号に対し、画像処理回路125を用いてγ補正やエッジ強調、符号化などの画像処理を適用する。そしてS1106においてCPU121は、記録媒体133に撮影画像を記録する。またS1107において、CPU121は表示器131に撮影済み画像を表示する。そしてS1108において、図10のメインフローにリターンし、S912において、一連の撮影動作が終了する。なお、撮影サブルーチンの終了後、処理をS904に戻して撮影スタンバイ状態の動作を継続してもよい。
In step S <b> 1105, the
次に、図10のS1001で、デフォーカス量算出手段としてのCPU121が実施する焦点検出サブルーチンについて、図11に示すフローチャートを用いて説明する。
まずS1002において、CPU121は、S905で決定した焦点検出領域に含まれる1つのAFラインについての焦点検出に必要な範囲の画素信号を、撮像素子駆動回路124を通じて読み出す。ここで読み出す画素信号には、焦点検出画素群(第1〜第2の画素群SA、SB)および、焦点検出画素の配置に応じた第3〜第4の画素群が含まれる。上述の通り、図6(a)に示す焦点検出画素の配置では、第3の画素群としてGa,Gbが、第4の画素群としてGc,Gdを読み出す。また、図6(b)に示す焦点検出画素の配置では、第3の画素群としてGa〜Gdが、第4の画素群としてGf〜Ghを読み出す。なお、焦点検出画素の位置は予め記憶されている。
Next, a focus detection subroutine executed by the
First, in step S <b> 1002, the
続いてS1003においてCPU121は、第1の画素群SAからA像波形を、第2の画素群SBからB像波形を生成する。そして、CPU121は、一方(ここではA像波形とする)に対して他方を相対的に画素単位でずらしながら両者の相関量を表す相関評価値を算出する。
具体的には、A像波形を構成するサンプルをa1〜an、B像波形を構成するサンプルをb1〜bn(nはデータ数)とすると、CPU121は以下の式(4)に従って相関量Corr(l)を算出する。
Specifically, if the samples constituting the A image waveform are a1 to an and the samples constituting the B image waveform are b1 to bn (n is the number of data), the
式(4)で算出される相関量Corr(l)は、A像波形とB像波形との相関が最も高い場合に極小となる。CPU121は相関量Corr(l)が極小となるずらし量m(整数)と、mの近傍のずらし量で得られた相関量Corr(l)を用いて、3点内挿の手法を用いて、相関量Corr(l)を最小とするずらし量dを画素未満の単位で求める。ずらし量dはA像波形とB像波形の像ずれ量(第1の像ずれ量)である。
The correlation amount Corr (l) calculated by the equation (4) is minimized when the correlation between the A image waveform and the B image waveform is the highest. The
S1004においてCPU121は、S1003で求めた像ずれ量(ずらし量d)の信頼性を評価する。デフォーカス量が大きい場合、A像波形とB像波形の非対称性が大きくなるため、相関量Corr(d)は大きくなる。逆に、デフォーカス量が小さいほど、相関量Corr(d)は低くなる。従って、像ずれ量に対応する相関量Corr(d)が第1の閾値以下であれば信頼性は高いと判定することができる。
In S1004, the
次にS1005でCPU121は、第1の補正値として、第3の画素群に基づく出力波形をS1004における第1の画素群SA、第4の画素群に基づく出力波形をS1003における第2の画素群SBとした像ずれ量を算出する。そしてS1006においてCPU121は、像ずれ量(第1の補正値)の信頼度を、S1004と同様にして判定する。
Next, in S1005, the
S1007において第1の算出手段としてのCPU121は、第1の補正値に係数を乗じて第2の補正値を算出する。上述の通り、係数は、第1の補正値の算出に用いられた撮像画素の位置と、焦点検出画素との位置との差異に基づく係数である。また、CPU121は、第2の補正値の絶対値を焦点検出画素のピッチ(8画素)の半分(4画素)でクリッピングし、第3の補正値を生成する。そして、S1008でCPU121は、焦点検出結果である第1の像ずれ量(A像波形とB像波形の像ずれ量)を、第3の補正値で補正する。
In S1007, the
S1009でCPU121は、S1008で得られた補正後の像ずれ量に、所定のデフォーカス換算係数を乗ずることにより、デフォーカス量に変換する。上述の通り、デフォーカス変換係数は、絞り値に対応する基線長と、焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、撮影時の絞り値に応じて求めることができる。
In step S1009, the
S1010においてCPU121は、焦点検出領域内の全AFラインに対してデフォーカス量の算出が終了しているか否かを判定し、デフォーカス量が算出されていないAFラインがあれば、残りのAFラインについてS1002以降の処理を繰り返す。
In S1010, the
一方、焦点検出領域内の全AFラインに対するデフォーカス量の算出が終了している場合、第2の算出手段としてのCPU121は処理をS1011に進め、最終的なデフォーカス量(検出デフォーカス量)を決定する。例えばCPU121は、第1の像ずれ量の信頼度と、第1の補正値の信頼度がいずれも高いAFラインについて算出されたデフォーカス量を優先的に用いて、検出デフォーカス量を決定する。例えば、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量の平均値としたり、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量に、信頼度の平均値が高いほど大きな重みを与えた加重平均値としたりすることができる。このようにして決定した検出デフォーカス量は、上述したS907以降の処理で用いられる。
On the other hand, when the calculation of the defocus amount for all the AF lines in the focus detection area has been completed, the
以上説明したように、本実施形態においては、焦点検出画素群の出力信号の像ずれ量を、焦点検出画素の周辺に存在する複数の撮像画素から得られる出力信号の像ずれ量に基づいて得られる補正値で補正し、補正後の像ずれ量に基づいてデフォーカス量を算出する。特に、複数の撮像画素から得られる出力信号の像ずれ量を、焦点検出画素と複数の撮像画素の位置の差に応じた係数で補正して補正値を求めることで、焦点検出画素群の出力信号の像ずれ量の変化と位相の差を軽減し、補正効果を高めることができる。周辺の複数の撮像画素は、焦点検出画素と同じ画素ラインか近隣の画素ラインに存在し、焦点検出画素と同じピッチで焦点検出画素の瞳分割方向に配置され、かつ、焦点検出画素と瞳分割方向における位置が異なる。 As described above, in the present embodiment, the image shift amount of the output signal of the focus detection pixel group is obtained based on the image shift amount of the output signal obtained from the plurality of imaging pixels existing around the focus detection pixel. The correction value is corrected, and the defocus amount is calculated based on the corrected image shift amount. In particular, the output of the focus detection pixel group is obtained by correcting the image shift amount of the output signal obtained from the plurality of imaging pixels with a coefficient corresponding to the difference between the position of the focus detection pixel and the plurality of imaging pixels to obtain a correction value. It is possible to reduce a change in signal image shift amount and a phase difference, and enhance a correction effect. A plurality of peripheral imaging pixels exist in the same pixel line as the focus detection pixel or in a neighboring pixel line, are arranged in the pupil division direction of the focus detection pixel at the same pitch as the focus detection pixel, and the focus detection pixel and the pupil division The position in the direction is different.
このような構成により、焦点検出画素が離間していることで生じる焦点検出誤差を良好に補正することができる。そのため、焦点検出画素を瞳分割方向に連続して配置するなど、密に配置しなくても良好な焦点検出結果を得ることができ、焦点検出領域の画質低下の抑制と、良好な焦点検出精度が両立できる。 With such a configuration, it is possible to satisfactorily correct a focus detection error caused by the focus detection pixels being separated. For this reason, it is possible to obtain a good focus detection result without arranging the focus detection pixels continuously in the pupil division direction, for example, to suppress deterioration in the image quality of the focus detection area, and to improve the focus detection accuracy. Can be compatible.
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に規定される範囲内で種々の変形及び変更が可能である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed. In this case, a computer-executable program describing the procedure of the imaging apparatus control method and a storage medium storing the program constitute the present invention.
As mentioned above, although exemplary embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range prescribed | regulated by a claim.
100…カメラ、102…シャッタ、107…撮像素子、121…CPU
DESCRIPTION OF
Claims (11)
前記焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、
前記デフォーカス量算出手段が、
前記焦点検出画素の周辺に位置する複数の撮像画素の出力信号に基づいて得られる像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための補正値を算出する第1の算出手段と、
前記焦点検出画素の出力信号の像ずれ量を前記補正値によって補正する補正手段と、
前記補正された像ずれ量に基づいて前記デフォーカス量を算出する第2の算出手段と、
を有し、
前記第1の算出手段が、前記複数の撮像画素の出力信号に基づいて得られる像ずれ量に、前記焦点検出画素の瞳分割方向における、前記焦点検出画素と前記複数の撮像画素との位置の差に応じた係数を適用して、前記補正値を算出することを特徴とする撮像装置。 An imaging device having an imaging pixel and a focus detection pixel;
Defocus amount calculation means for calculating a defocus amount of the imaging optical system based on an output signal of the focus detection pixel,
The defocus amount calculating means
A correction value for correcting the image shift amount of the output signal of the focus detection pixel is calculated based on the image shift amount obtained based on the output signals of a plurality of imaging pixels located around the focus detection pixel. 1 calculating means;
Correction means for correcting the image shift amount of the output signal of the focus detection pixel by the correction value;
Second calculating means for calculating the defocus amount based on the corrected image shift amount;
Have
The first calculation means determines the position of the focus detection pixel and the plurality of imaging pixels in the pupil division direction of the focus detection pixel in the image shift amount obtained based on the output signals of the plurality of imaging pixels. An image pickup apparatus that calculates the correction value by applying a coefficient corresponding to the difference.
前記複数の像ずれ量の算出に用いられる撮像画素の位置の前記瞳分割方向における周期が、前記予め定められた周期に等しい
ことを特徴とする請求項1に記載の撮像装置。 The focus detection pixels are arranged in a predetermined cycle in the pupil division direction,
The imaging apparatus according to claim 1, wherein a period in the pupil division direction of a position of an imaging pixel used for calculating the plurality of image shift amounts is equal to the predetermined period.
ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。 Between the change of the first correction value and the change of the image shift amount of the output signal of the focus detection pixel with respect to the change of the position in the pupil division direction of the edge orthogonal to the pupil division direction, the coefficient 5. The imaging apparatus according to claim 2, wherein the imaging apparatus is a coefficient that reduces a phase difference caused by the difference in position. 6.
第1の算出手段が、前記焦点検出画素の周辺に位置する複数の撮像画素の出力信号に基づいて得られる像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための補正値を算出する第1の算出工程と、
補正手段が、前記焦点検出画素の出力信号の像ずれ量を前記補正値によって補正する補正工程と、
第2の算出手段が、前記補正された像ずれ量に基づいてデフォーカス量を算出する第2の算出工程と、
を有し、
前記第1の算出工程において前記第1の算出手段は、前記複数の撮像画素の出力信号に基づいて得られる像ずれ量に、前記焦点検出画素の瞳分割方向における、前記焦点検出画素と前記複数の撮像画素との位置の差に応じた係数を適用して、前記補正値を算出することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus including an imaging element having an imaging pixel and a focus detection pixel,
The first calculating means corrects the image shift amount of the output signal of the focus detection pixel based on the image shift amount obtained based on the output signals of a plurality of imaging pixels located around the focus detection pixel. A first calculation step of calculating a correction value of
A correcting step, wherein the correcting means corrects the image shift amount of the output signal of the focus detection pixel by the correction value;
A second calculation step in which a second calculation means calculates a defocus amount based on the corrected image shift amount;
Have
In the first calculation step, the first calculation means calculates the image shift amount obtained based on the output signals of the plurality of imaging pixels, and the focus detection pixel and the plurality of the plurality of focus detection pixels in the pupil division direction of the focus detection pixel. A method for controlling an imaging apparatus, wherein the correction value is calculated by applying a coefficient corresponding to a difference in position with respect to the imaging pixel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014182500A JP2016057402A (en) | 2014-09-08 | 2014-09-08 | Imaging device and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014182500A JP2016057402A (en) | 2014-09-08 | 2014-09-08 | Imaging device and method for controlling the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016057402A true JP2016057402A (en) | 2016-04-21 |
Family
ID=55758401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014182500A Pending JP2016057402A (en) | 2014-09-08 | 2014-09-08 | Imaging device and method for controlling the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016057402A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019016975A (en) * | 2017-07-10 | 2019-01-31 | キヤノン株式会社 | Image processing system and image processing method, imaging apparatus, program |
JP2019158958A (en) * | 2018-03-08 | 2019-09-19 | キヤノン株式会社 | Imaging device, method for controlling the same, and program |
-
2014
- 2014-09-08 JP JP2014182500A patent/JP2016057402A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019016975A (en) * | 2017-07-10 | 2019-01-31 | キヤノン株式会社 | Image processing system and image processing method, imaging apparatus, program |
JP2019158958A (en) * | 2018-03-08 | 2019-09-19 | キヤノン株式会社 | Imaging device, method for controlling the same, and program |
JP7066458B2 (en) | 2018-03-08 | 2022-05-13 | キヤノン株式会社 | Imaging device and its control method, program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5662667B2 (en) | Imaging device | |
JP5552214B2 (en) | Focus detection device | |
JP5180717B2 (en) | Imaging device | |
JP5595014B2 (en) | Imaging device | |
JP5473977B2 (en) | Imaging apparatus and camera system | |
JP5361535B2 (en) | Imaging device | |
JP5898481B2 (en) | Imaging apparatus and focus detection method | |
JP6305006B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
US9160918B2 (en) | Focus control apparatus and method for performing focus control by phase difference detection, and image capturing apparatus | |
JP5911252B2 (en) | Imaging apparatus and image processing method | |
JP5954933B2 (en) | Imaging device and lens device | |
JP5744556B2 (en) | Imaging device and imaging apparatus | |
JP2012147045A (en) | Imaging apparatus | |
JP6486041B2 (en) | Imaging apparatus and control method thereof | |
JP6238578B2 (en) | Imaging apparatus and control method thereof | |
JP5990008B2 (en) | Imaging apparatus and control method thereof | |
JP6207293B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2012220790A (en) | Imaging apparatus | |
JP2014110619A (en) | Image processing device and method of controlling the same, and imaging device and method of controlling the same | |
JP2016057402A (en) | Imaging device and method for controlling the same | |
JP2016018033A (en) | Imaging device, control method of the same, program and recording medium | |
JP5864989B2 (en) | Imaging device and imaging apparatus | |
JP2016045322A (en) | Imaging device and method for controlling the same | |
JP2016018034A (en) | Imaging device, control method of the same, program and recording medium | |
JP5748826B2 (en) | Imaging apparatus and camera system |