JP5724208B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5724208B2 JP5724208B2 JP2010099741A JP2010099741A JP5724208B2 JP 5724208 B2 JP5724208 B2 JP 5724208B2 JP 2010099741 A JP2010099741 A JP 2010099741A JP 2010099741 A JP2010099741 A JP 2010099741A JP 5724208 B2 JP5724208 B2 JP 5724208B2
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- image
- imaging
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 87
- 238000001514 detection method Methods 0.000 claims description 209
- 230000003287 optical effect Effects 0.000 claims description 24
- 210000001747 pupil Anatomy 0.000 claims description 16
- 238000009825 accumulation Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 6
- 210000003127 knee Anatomy 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 27
- 238000012546 transfer Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 18
- 230000035945 sensitivity Effects 0.000 description 13
- 239000004973 liquid crystal related substance Substances 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像素子の出力に基づいて焦点検出を行うことが可能な撮像装置に関する。 The present invention relates to an imaging apparatus capable of performing focus detection based on an output of an imaging element.
特許文献1には撮像画素と瞳分割型位相差検出方式の焦点検出画素を備えた撮像素子を有する撮像装置が開示されている。この撮像装置においては、画面上の複数の位置に焦点検出エリアが配置されるとともに、ユーザがそのうちの1つを選択して焦点検出が行われる。また従来の撮像装置においては、撮像素子の露光制御は画面全体を対象として画像の輝度レベルのバランスが適切になるようになされていた。例えば全画素の輝度レベルのヒストグラムを作った場合に、ヒストグラムの平均値が適正な輝度レベルの範囲に入るように露光制御が行われていた(例えば、特許文献1参照)。
しかしながら上述したように画面全体を対象として露光制御を行った場合には、画面上の輝度分布によっては、焦点検出エリア内の焦点検出画素の輝度レベルが焦点検出演算処理に適したレベルの範囲に入るとは限らず、焦点検出不能となるという問題があった。 However, when exposure control is performed on the entire screen as described above, depending on the luminance distribution on the screen, the luminance level of the focus detection pixels in the focus detection area falls within a range suitable for focus detection calculation processing. There is a problem that focus detection is not always possible.
請求項1に記載の撮像装置は、複数の画素が2次元的に配置された撮像素子と、前記撮像素子上に光学像を形成する撮影光学系と、前記光学像の記録のために、適正露光量を設定し第1露光制御を行う第1露光制御手段と、前記複数の画素の少なくとも一部の画素データに基づいて、前記光学像に対する前記撮影光学系の焦点調節状態を検出する焦点検出手段と、前記焦点調節状態の検出のために、前記適正露光量よりも小さい露光量を設定し第2露光制御を行う第2露光制御手段と、前記撮像素子から読みだされた画像データに基づき前記光学像のスルー画像を表示する表示手段と、を備え、前記表示手段は、前記第2露光制御で読みだされた画像データであっても、前記適正露光量に対応した輝度レベルで表示することを特徴とする。
The imaging device according to
本発明の撮像装置によれば、画面上の輝度分布によらず焦点検出が可能になる。 According to the imaging apparatus of the present invention, focus detection is possible regardless of the luminance distribution on the screen.
一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図1は一実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルカメラ201は、交換レンズ202とカメラボディ203とから構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
As an imaging apparatus according to an embodiment, an interchangeable lens digital still camera will be described as an example. FIG. 1 is a cross-sectional view showing a configuration of a digital still camera according to an embodiment. A
交換レンズ202は、レンズ209、ズーミング用レンズ208、フォーカシング用レンズ210、絞り211、レンズ駆動制御装置206などを備えている。レンズ駆動制御装置206は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置206は、フォーカシング用レンズ210の焦点調節と絞り211の開口径調節のための駆動制御や、ズーミング用レンズ208、フォーカシング用レンズ210および絞り211の状態検出などを行う。また、後述するボディ駆動制御装置214との通信によりレンズ情報の送信とカメラ情報(デフォーカス量や絞り値など)の受信を行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
The
カメラボディ203は、撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には、撮像画素が二次元状(行と列)に配置されるとともに、焦点検出位置(焦点検出エリア)に対応した部分に焦点検出画素が組み込まれている。この撮像素子212については詳細を後述する。
The
ボディ駆動制御装置214はマイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置214は、撮像素子212の露光制御および撮像素子212からの画素信号の読み出しと、焦点検出画素の画素信号に基づく焦点検出演算と交換レンズ202の焦点調節とを繰り返し行う。また、ボディ駆動制御装置214は、画像信号の処理と記録、デジタルスチルカメラ201の動作制御などを行う。さらに、ボディ駆動制御装置214は、電気接点213を介してレンズ駆動制御装置206と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
The body
液晶表示素子216は電気的なビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は、撮像素子212から読み出された画像データに基づきスルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してそのスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像データを記憶する画像ストレージである。
The liquid
AD変換装置221は、撮像素子212からの出力される画素信号をAD変換してボディ駆動制御装置214に送る。撮像素子212がAD変換装置221を内蔵する構成であってもよい。
The
交換レンズ202を通過した光束により、撮像素子212上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置214へ送られる。
A subject image is formed on the
ボディ駆動制御装置214は、撮像素子212の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212の撮像画素の画素信号を処理して画像データを生成し、メモリカード219に格納するとともに、撮像素子212から読み出されたスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ駆動制御装置214は、レンズ駆動制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
The body
レンズ駆動制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ208とフォーカシング用レンズ210の位置と絞り211の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
The
レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ210を合焦位置へ駆動する。また、レンズ駆動制御装置206は受信した絞り値に応じて絞り211を駆動する。
The lens
記憶装置220は、後述する複数の焦点検出エリアの画素データを過去複数世代にわたって記憶する。ボディ駆動制御装置214は、撮像素子212から読み出される各フレームにおける複数の焦点検出エリアの焦点検出画素の画素データをこの記憶装置220に記憶する。また、各焦点検出エリアの焦点検出画素の画素データを用いて焦点検出演算処理を行う際に、最新フレームの焦点検出画素の画素データの出力レベルが不足していた場合には、記憶装置220に記憶された過去の画素データと加算する。こうすることにより、焦点検出画素の画素データの出力レベルを回復し、回復後の焦点検出画素の画素データを用いて該焦点検出エリアにおいて後述する焦点検出処理を行う。
The
図2は、交換レンズ202の撮影画面上における焦点検出位置(焦点検出エリア)を示す図であり、後述する撮像素子212上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この例では、矩形の撮影画面100上の中央(光軸上)および上下左右の5箇所に焦点検出エリア101〜105が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア101、102、103においては焦点検出画素が水平方向に配列され、焦点検出エリア104、105においては焦点検出画素が垂直方向に配列される。
FIG. 2 is a diagram showing a focus detection position (focus detection area) on the shooting screen of the
図3および図4は撮像素子212の詳細な構成を示す正面図であり、図3は図2における焦点検出エリア101、102、103の近傍を拡大した画素配列の詳細を示し、図4は図2における焦点検出エリア104、105の近傍を拡大した画素配列の詳細を示す。撮像素子212には撮像画素310が二次元正方格子状に稠密に配列される。撮像画素310は赤画素(R)、緑画素(G)、青画素(B)からなり、ベイヤー配列の配置規則によって配置されている。図4においては垂直方向の焦点検出用に撮像画素と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素313、314が交互に、本来緑画素と青画素が連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく図3においては水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素315、316が交互に、本来緑画素と青画素が連続的に配置されるべき水平方向の直線上に連続して配列される。
3 and 4 are front views showing a detailed configuration of the
撮像画素310および焦点検出画素313、314、315、316の各々のマイクロレンズの形状は、元々画素サイズより大きな円形のマイクロレンズから画素サイズに対応した正方形の形状で切り出した形状をしている。
The shape of each microlens of the
撮像画素310は、矩形のマイクロレンズ10、遮光マスクで受光領域を正方形に制限された光電変換部11、および色フィルタ(不図示)から構成される。色フィルタは赤(R)、緑(G)、青(B)の3種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子212には、各色フィルタを備えた撮像画素310がベイヤー配列されている。
The
焦点検出画素313、314、315、316には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられている。その白色フィルタは、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を有し、高い感度を示す光波長領域は緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
The
焦点検出画素313は、図4に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の上半分(正方形を水平線で2等分した場合の上半分)に制限された光電変換部13、および白色フィルタ(不図示)とから構成される。
As shown in FIG. 4, the
また、焦点検出画素314は、図4に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の下半分(正方形を水平線で2等分した場合の下半分)に制限された光電変換部14、および白色フィルタ(不図示)とから構成される。
Further, as shown in FIG. 4, the
焦点検出画素313と焦点検出画素314とをマイクロレンズ10を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部13、14が垂直方向に並んでいる。
When the
また、上述した正方形の半分にした受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
In addition, when the remaining portion obtained by halving the square is added to the above-described half light-receiving region, a square having the same size as the light-receiving region of the
焦点検出画素315は、図3に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の左半分(正方形を垂直線で2等分した場合の左半分)に制限された光電変換部15、および白色フィルタ(不図示)とから構成される。
As shown in FIG. 3, the
また、焦点検出画素316は、図3に示すように矩形のマイクロレンズ10と遮光マスクで受光領域を正方形の右半分(正方形を垂直線で2等分した場合の右半分)に制限された光電変換部16、および白色フィルタ(不図示)とから構成される。
Further, as shown in FIG. 3, the
焦点検出画素315と焦点検出画素316とをマイクロレンズ10を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部15と16が水平方向に並んでいる。
When the
また、上述した正方形の半分にした受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
In addition, when the remaining portion obtained by halving the square is added to the above-described half light-receiving region, a square having the same size as the light-receiving region of the
以上のような撮像画素と焦点検出画素の構成においては、一般的な光源のもとでは、緑色の撮像画素の出力レベルと焦点検出画素の出力レベルがほぼ等しくなり、赤色の撮像画素と青色の撮像画素の出力レベルはこれよりも小さくなる。 In the configuration of the imaging pixel and the focus detection pixel as described above, under a general light source, the output level of the green imaging pixel and the output level of the focus detection pixel are substantially equal, and the red imaging pixel and the blue detection pixel The output level of the imaging pixel is smaller than this.
上述した一対の焦点検出画素313、314を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を、特開2007−333720号公報に開示される一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上(垂直方向)に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置(垂直方向)における予定結像面と結像面の偏差(デフォーカス量)が算出される。
A large number of the pair of
焦点検出画素315、316が受光する焦点検出光束も焦点検出画素313、314と同様、一対の測距瞳が設定される。一対の焦点検出画素315、316を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上(水平方向)に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置(水平方向)における予定結像面と結像面の偏差(デフォーカス量)が算出される。
As with the
図5は撮像素子の回路構成概念図である。撮像素子はCCDイメージセンサーとして構成される。撮像素子212の回路構成を、水平方向8画素×垂直方向8画素のレイアウトに簡略化して説明する。図5は図2の垂直方向の焦点検出エリア104に対応して描かれており、垂直方向に焦点検出画素313,314が同一の列に配置されている。
FIG. 5 is a conceptual diagram of a circuit configuration of the image sensor. The imaging device is configured as a CCD image sensor. The circuit configuration of the
4列目は焦点検出画素313、314が配置された列であり、中央の4つの焦点検出画素313、314(○で示す)が複数の焦点検出画素を代表しており、上下の2つずつの撮像画素310(□で示す)が焦点検出画素の上下に配置された複数の撮像画素を代表している。
The fourth column is a column in which the
1〜3列目、5〜8列目は撮像画素310(□で示す)のみが配置された列であり、焦点検出画素が配置された列の左右の複数の撮像画素のみからなる列を代表している。 The 1st to 3rd columns and the 5th to 8th columns are columns in which only the imaging pixels 310 (indicated by □) are arranged, and are representative of columns composed of only a plurality of left and right imaging pixels in the column in which the focus detection pixels are arranged. doing.
図において各列に配置された撮像画素および焦点検出画素で生成された電荷は、各列に対応して設けられた垂直転送CCDに移された後、水平転送CCDの方向に順次転送される。水平転送CCDは垂直転送CCDから1行分の電荷が移されると、1行分の電荷を出力回路330の方向に順次転送し、出力回路330は電荷電圧変換を行い、各画素で蓄積された電荷量に対応した画素信号を外部に出力する。
In the figure, the charges generated by the imaging pixels and focus detection pixels arranged in each column are transferred to the vertical transfer CCD provided corresponding to each column, and then sequentially transferred in the direction of the horizontal transfer CCD. When the charge for one row is transferred from the vertical transfer CCD to the horizontal transfer CCD, the charge for one row is sequentially transferred in the direction of the
転送パルス発生回路は垂直転送CCDおよび水平転送CCDの転送動作に必要な駆動信号を垂直転送CCDおよび水平転送CCDに供給する。制御パルス発生回路は撮像画素および焦点検出画素の電荷蓄積制御および各画素から垂直転送CCDへの電荷移送に必要な制御信号ΦU、ΦT1、ΦT2、ΦT3を全画素共通に供給する。 The transfer pulse generation circuit supplies drive signals necessary for the transfer operation of the vertical transfer CCD and the horizontal transfer CCD to the vertical transfer CCD and the horizontal transfer CCD. The control pulse generation circuit supplies control signals ΦU, ΦT1, ΦT2, and ΦT3 necessary for charge accumulation control of the imaging pixels and focus detection pixels and charge transfer from each pixel to the vertical transfer CCD in common to all the pixels.
制御パルス発生回路が出力する制御信号φSyncは垂直同期信号であって、フレーム毎に外部(ボディ駆動制御装置214)に出力される。 The control signal φSync output from the control pulse generation circuit is a vertical synchronization signal, and is output to the outside (body drive control device 214) for each frame.
入力信号Txは外部(ボディ駆動制御装置214)からの制御パルス発生回路への入力信号であって、画素の電荷蓄積時間を指定するための信号であり、制御パルス発生回路は制御信号ΦU、ΦT1の発生タイミングをこの信号に応じて変更することにより、電荷蓄積時間の制御(露光制御)が行われる。 The input signal Tx is an input signal to the control pulse generation circuit from the outside (body drive control device 214), and is a signal for designating the charge accumulation time of the pixel. The control pulse generation circuit controls the control signals ΦU and ΦT1. The charge accumulation time is controlled (exposure control) by changing the generation timing of the signal according to this signal.
図6は図5に示す撮像素子の撮像画素および焦点検出画素の断面構造を示す図である。P型半導体基板上にP層、N層からなる埋め込みフォトダイオード(PD)が形成され、その隣にN層からなる電荷蓄積部が形成される。電荷蓄積部に隣接してさらに垂直転送CCDを構成するN層が形成される。またPDに隣接してN+層が形成され、電源電圧Vddに接続される。電荷蓄積部とPDの間のチャネル上にゲート602が配置され、制御信号ΦT1が接続される。電荷蓄積部の上にはゲート603が配置され、制御信号ΦT2が接続される。電荷蓄積部と垂直転送CCDの間のチャネルの上にはゲート604が配置され、制御信号ΦT3が接続される。垂直転送CCD上にはゲート605が配置され、駆動信号ΦVxが接続される。PDと隣接するN+層の間のチャネルの上にはゲート601が配置され、制御信号ΦUが接続される。ゲート601〜ゲート604に制御信号ΦU、ΦT1、ΦT2、ΦT3を印可することにより、各ゲート下の電位レベルを変化させ、PDで生成される電荷の蓄積、転送、破棄の動作を制御する。
6 is a diagram showing a cross-sectional structure of the imaging pixels and focus detection pixels of the imaging device shown in FIG. A buried photodiode (PD) composed of a P layer and an N layer is formed on a P-type semiconductor substrate, and a charge storage section composed of an N layer is formed next to the photodiode. An N layer constituting a vertical transfer CCD is further formed adjacent to the charge storage unit. An N + layer is formed adjacent to the PD and connected to the power supply voltage Vdd. A
図7は図5に示す撮像素子の動作タイミングチャートである。図8は撮像素子の動作を示す電位分布図である。CCDイメージセンサにおいては、いわゆるグローバルシャッタ動作により画素のリセット、露光、信号の読み出しが全画素同時に行われる。 FIG. 7 is an operation timing chart of the image sensor shown in FIG. FIG. 8 is a potential distribution diagram showing the operation of the image sensor. In a CCD image sensor, pixel reset, exposure, and signal readout are simultaneously performed by a so-called global shutter operation.
撮像素子からの全画素の信号の出力(1フレーム分の画像信号の出力)の開始に同期して時刻t0に垂直同期信号φSyncが発せられる。垂直同期信号φSyncに同期して時刻t0に制御パルス発生回路は制御信号ΦU(ON)、制御信号ΦT1(OFF)を発する。これに応じて画素信号出力時は電荷蓄積部はPDから切り離される。このとき撮像素子は図8(a)の電位分布状態にあり、ゲート603の下に形成された電荷蓄積部に電荷が保持されるとともに、PDで生成される電荷は電源電圧vddに破棄される。
The vertical synchronization signal φSync is generated at time t0 in synchronization with the start of the output of all pixel signals from the image sensor (output of image signals for one frame). In synchronization with the vertical synchronization signal φSync, the control pulse generation circuit generates a control signal ΦU (ON) and a control signal ΦT1 (OFF) at time t0. In response to this, when the pixel signal is output, the charge storage unit is disconnected from the PD. At this time, the image pickup device is in the potential distribution state of FIG. 8A, the charge is held in the charge storage portion formed under the
時刻t1に発せられる制御信号ΦT2(OFF)、制御信号ΦT3(ON)により、電荷蓄積部に保持された電荷が垂直転送CCD部に移送される。このとき撮像素子は図8(b)の電位分布状態にあり、ゲート604直下の電位がゲート603直下の電位よりも低くなり、ゲート603直下の電荷はゲート604を経てゲート605の下の垂直転送CCD部に流れ込む。垂直転送CCDに移送された電荷はその後駆動信号によりフレーム期間中に水平転送CCDを経て外部出力される。また時刻t1からt2までにPDで生成される電荷は電源電圧vddに破棄される。
Due to the control signal ΦT2 (OFF) and the control signal ΦT3 (ON) issued at time t1, the charges held in the charge storage unit are transferred to the vertical transfer CCD unit. At this time, the imaging device is in the potential distribution state of FIG. 8B, the potential immediately below the
時刻t2に発せられる制御信号ΦT2(ON)、制御信号ΦT3(OFF)により、電荷蓄積部は垂直転送CCDへの電荷移送を終了する。このとき撮像素子は図8(c)の電位分布状態にあり、ゲート604直下の電位が上がって電荷蓄積部と垂直転送CCDが切り離される。また時刻t2からt3までにPDで生成される電荷は電源電圧vddに破棄される。
With the control signal ΦT2 (ON) and the control signal ΦT3 (OFF) issued at time t2, the charge storage unit ends the charge transfer to the vertical transfer CCD. At this time, the imaging device is in the potential distribution state of FIG. 8C, and the potential immediately below the
時刻t3に発せられる制御信号ΦU(OFF)、制御信号ΦT1(ON)により、PDで生成される電荷の電荷蓄積部での蓄積が開始される。このとき撮像素子は図8(d)の電位分布状態にあり、ゲート601直下の電位が上がってPDと電源電圧Vddが切り離される。また、ゲート602直下の電位がPDの電位より低くなり、PDで生成された電荷はゲート602直下を通り、ゲート602の電位より電位が低くなっているゲート603直下の電荷蓄積部に蓄積される。
Accumulation in the charge accumulation unit of the charge generated by the PD is started by the control signal ΦU (OFF) and the control signal ΦT1 (ON) issued at time t3. At this time, the image sensor is in the potential distribution state of FIG. 8D, and the potential immediately below the
以上の動作をフレーム毎に繰り返すことにより、連続した画像データが周期的に出力される。 By repeating the above operation for each frame, continuous image data is periodically output.
以上の動作において撮像画素および焦点検出画素の電荷蓄積は、制御信号φUの立ち下がりから立ち上がりまでの時間(制御信号φT1の立ち上がりから立ち下がりまでの時間)でとなり、この時間が露光時間(電荷蓄積期間)となる。 In the above operation, the charge accumulation of the imaging pixel and the focus detection pixel is the time from the fall to the rise of the control signal φU (the time from the rise to the fall of the control signal φT1), and this time is the exposure time (charge accumulation). Period).
なお露光時間は後述するように画面全体または一部の輝度分布状態(輝度ヒストグラム)に基づき、平均輝度レベルが適正レベル(例えば輝度ダイナミックレンジの中央値)となるように定められる。 As will be described later, the exposure time is determined so that the average luminance level becomes an appropriate level (for example, the median value of the luminance dynamic range) based on the luminance distribution state (luminance histogram) of the entire screen or a part thereof.
図9は、一実施の形態のデジタルスチルカメラ201の撮像動作を示すフローチャートである。ボディ駆動制御装置214は、ステップS100でカメラの電源がオンされると、ステップS110以降の撮像動作を開始する。ステップS100において撮像素子は一定周期で撮像動作を繰り返す動作モード(例えば1秒間に60フレームを出力する)に設定される。
FIG. 9 is a flowchart illustrating an imaging operation of the digital
ステップS105において、画像全体を対象として撮像記録に適した適正露光量を、測光により決定する。ステップS110においては、該適正露光量より1段アンダー(露光量1/2)の露光量となるように撮像素子の電荷蓄積時間を指定し、露光制御を行う。 In step S105, an appropriate exposure amount suitable for imaging and recording for the entire image is determined by photometry. In step S110, the charge accumulation time of the image sensor is designated so that the exposure amount is one step lower (exposure amount ½) than the appropriate exposure amount, and exposure control is performed.
輝度のダイナミックレンジが広い光景の場合、画面全体を対象とした適正露光レベルでの露光制御では、図10(a)のような緑色の撮像画素(=焦点検出画素)の輝度ヒストグラムが得られる。輝度のダイナミックレンジが広い光景として、例えば図11を例に説明する。図11には、家510、山520、太陽530、空540を含む光景が示されている。太陽530に対して逆光となる家510は非常に暗い。太陽530に照らされた山520は、家510より明るいが、空540よりは暗い。なお、図示の便宜上、図11はグラデーションを有していないように見えるが、実際の光景は、きめ細かいグラデーションを有しているものとして以下の説明を続ける。
In the case of a scene having a wide luminance dynamic range, a luminance histogram of a green imaging pixel (= focus detection pixel) as shown in FIG. 10A is obtained by exposure control at an appropriate exposure level for the entire screen. For example, FIG. 11 will be described as a scene with a wide dynamic range of luminance. FIG. 11 shows a scene including a
このような光景に対して画面上部の焦点検出エリア102や画面右部の焦点検出エリア105の近傍には光景の高輝度部分が入っているため、焦点検出エリア102および105近傍の輝度ヒストグラムは図10(a)のC1部分となり、一部が輝度ダイナミックレンジをオーバーしてしまう。そのため高輝度成分で飽和したものについてはクリップされる。つまり、焦点検出画素のデータの一部はAD変換の最大値でクリップされてしまい、焦点検出の検出精度が低下したり検出不能に陥ってしまう。図10(a)において輝度ヒストグラムの略中央に位置するB1部分は焦点検出エリア101および104近傍の輝度ヒストグラムに対応する。また図10(a)において輝度ヒストグラムの低輝度部分にあるA1部分は焦点検出エリア103近傍の輝度ヒストグラムに対応する。
For such a scene, a high-intensity portion of the scene is included in the vicinity of the
一方画面全体が適正露光レベルとなる露光量より露光量をアンダーにした露光制御を行った場合には、図10(b)のような緑色の撮像画素(=焦点検出画素)の輝度ヒストグラムとなる。焦点検出エリア102および105近傍の輝度ヒストグラムは図10(b)のC2部分となり、輝度ダイナミックレンジをオーバーしてしまうことがなくなる。そのため焦点検出画素のデータはAD変換の最大値でクリップされず、正確な焦点検出が可能になる。なお図10(b)において輝度ヒストグラムのB2部分は焦点検出エリア101および104近傍の輝度ヒストグラムに対応する。また図10(b)において輝度ヒストグラムのA2部分は焦点検出エリア103近傍の輝度ヒストグラムに対応する。
On the other hand, when exposure control is performed with the exposure amount under the exposure amount at which the entire screen has an appropriate exposure level, a luminance histogram of the green image pickup pixel (= focus detection pixel) as shown in FIG. 10B is obtained. . The luminance histogram in the vicinity of the
輝度の検出は不図示の多分割測光手段の出力を用いたり、撮像素子の前回のフレームの撮像画素のデータを用いて行うことができる。検出した輝度に対して、まず画面全体において露光レベルが適正となるように露光量を定め、該露光量を一律アンダーにした露光量に基づいて撮像記録時撮像素子の電荷蓄積時間を決定する。 Luminance can be detected by using the output of multi-division photometry means (not shown) or by using data of imaging pixels in the previous frame of the imaging device. First, the exposure amount is determined so that the exposure level is appropriate over the entire screen with respect to the detected luminance, and the charge accumulation time of the image sensor during imaging recording is determined based on the exposure amount with the exposure amount being uniformly under.
ステップS120では1フレーム分の全画素データを読み出す。ステップS130では焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。 In step S120, all pixel data for one frame is read. In step S130, pixel interpolation is performed on virtual imaging pixel data at each pixel position in the focus detection pixel row based on imaging pixel data around the focus detection pixel.
例えば本来緑画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の対角方向の4つの位置に近接した4つの緑色の撮像画素のデータを平均して、該焦点検出画素の位置における緑色の撮像画素のデータとする。また本来青画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の左右方向の2つの位置に近接した2つの青色の撮像画素のデータを平均して、該焦点検出画素の位置における青色の撮像画素のデータとする。 For example, for a focus detection pixel that is originally arranged at a position where a green pixel should be arranged, the data of four green imaging pixels adjacent to four positions in the diagonal direction of the focus detection pixel are averaged, and the focus detection pixel is averaged. Data of the green imaging pixel at the position of the detection pixel is used. In addition, with respect to the focus detection pixel that is originally disposed at the position where the blue pixel should be disposed, the data of the two blue imaging pixels adjacent to the two positions in the left-right direction of the focus detection pixel are averaged to detect the focus detection pixel. It is assumed that the data of the blue imaging pixel at the pixel position.
このように補間した撮像画素データと本来の撮像画素データを合成して今回のフレームに対応する画像データを生成する。 The image data corresponding to the current frame is generated by combining the imaged pixel data thus interpolated and the original imaged pixel data.
続くステップS140では、今回のフレームに対応する画像データの輝度レベルを補正して電子ビューファインダーに表示(ライブビュー表示)させる。今回のフレームに対応する画像データは、画面全体が適正露光レベルとなる露光量より露光量をアンダーにしているため、画面全体に対しては適正露光レベルとはなっていない。そこで画面全体に対して適正露光レベルの画像となるように輝度レベルを補正する。具体的には例えば図10(a)から図10(b)への輝度ヒストグラムの圧縮分を伸長するような輝度レベル補正を行う。ただし伸長する際に高輝度部が表示手段で表示可能な輝度範囲を超えないように、所謂ニー特性を持たせて輝度レベル補正を行う。このようにすることで白トビのない高品質な表示画像が得られる。 In subsequent step S140, the luminance level of the image data corresponding to the current frame is corrected and displayed on the electronic viewfinder (live view display). The image data corresponding to the current frame is not at the proper exposure level for the entire screen because the exposure amount is below the exposure amount at which the entire screen is at the proper exposure level. Therefore, the luminance level is corrected so that an image with an appropriate exposure level is obtained for the entire screen. Specifically, for example, luminance level correction is performed so as to expand the compressed portion of the luminance histogram from FIG. 10 (a) to FIG. 10 (b). However, the luminance level correction is performed with a so-called knee characteristic so that the high luminance portion does not exceed the luminance range that can be displayed by the display means when expanding. By doing so, a high-quality display image free from white stripes can be obtained.
ステップS150では焦点検出演算処理により5つの焦点検出エリアにおける焦点検出画素のデータに基づき焦点検出を行い、5つの焦点検出エリアにおけるデフォーカス量を算出する。さらに算出された5つのデフォーカス量の中で最も至近を示すデフォーカス量を選択し、最終的なデフォーカス量とする。 In step S150, focus detection is performed based on focus detection pixel data in five focus detection areas by focus detection calculation processing, and defocus amounts in the five focus detection areas are calculated. Further, the defocus amount showing the closest distance is selected from the five calculated defocus amounts, and is set as the final defocus amount.
各焦点検出エリアのデフォーカス量を算出する際に、焦点検出画素のデータレベルが不足している場合には過去のデータとの加算を行ってデータレベルが適正になるように調整し、適正なデータレベルになった焦点検出画素データを用いて焦点検出演算を行う。この場合、ステップS150に示す処理の代わりに、図12のステップS1510〜S1540に示す処理が行われる。すなわち、ステップS1510において、焦点検出エリアの焦点検出画素のデータレベルが不足か否かを判定する。否定判定であれば直ちに、肯定判定であればステップS1520で過去のデータとの加算を行ってから、ステップS1530へ進む。ステップS1530に加算によりデータレベルが適正になったか否かを判定する。否定判定であればステップS1520へ戻る。肯定判定であればステップS1540で加算後の適正なデータレベルになった焦点検出画素データに基づき、像ズレ量検出演算を行い、デフォーカス量を算出する。 When calculating the defocus amount of each focus detection area, if the data level of the focus detection pixel is insufficient, it is adjusted to the appropriate data level by adding to the past data, Focus detection calculation is performed using the focus detection pixel data at the data level. In this case, instead of the process shown in step S150, the process shown in steps S1510 to S1540 in FIG. 12 is performed. That is, in step S1510, it is determined whether the data level of the focus detection pixel in the focus detection area is insufficient. If the determination is negative, the determination is immediate. If the determination is affirmative, addition to past data is performed in step S1520, and the process proceeds to step S1530. It is determined whether or not the data level has become appropriate by adding to step S1530. If a negative determination is made, the process returns to step S1520. If the determination is affirmative, an image shift amount detection calculation is performed based on the focus detection pixel data having an appropriate data level after addition in step S1540, and a defocus amount is calculated.
図13は横軸を焦点検出画素の位置、縦軸を焦点検出画素のデータレベルとして、データ加算による効果を示した図である。まず今回フレームの各焦点検出エリアの焦点検出画素のデータの最大値を検出する。該最大値が所定値(例えばAD変換の最大値の1/2)を超えていない場合には、記憶手段から前回フレームのデータを読み出して加算する。加算したデータの最大値が所定値を超えていない場合にはさらに前々回のフレームのデータを加算する。このような加算演算を加算データの最大値が所定値を超えるまで繰り返すことにより、加算データは焦点検出演算処理に適したデータレベルに達する。 FIG. 13 is a diagram showing the effect of data addition, with the horizontal axis representing the position of the focus detection pixel and the vertical axis representing the data level of the focus detection pixel. First, the maximum value of focus detection pixel data in each focus detection area of the current frame is detected. When the maximum value does not exceed a predetermined value (for example, 1/2 of the maximum value of AD conversion), the data of the previous frame is read from the storage means and added. If the maximum value of the added data does not exceed the predetermined value, the data of the previous frame is further added. By repeating such an addition operation until the maximum value of the addition data exceeds a predetermined value, the addition data reaches a data level suitable for the focus detection calculation process.
画面全体が適正露光レベルとなる露光量より露光量をアンダーにした露光制御を行っているため、焦点検出画素のデータは一般的に低レベルとなる傾向があるので、このような加算処理は高精度な焦点検出を行うために有効である。例えば図11のような光景に対して焦点検出エリア101,103,104の焦点検出画素のデータは、焦点検出エリア102,105の焦点検出画素のデータに比較して低レベルとなり、このままの状態で焦点検出演算を行っても大きな誤差を生じたり、焦点検出不能となってしまうが、過去データとの加算処理を行うことにより、擬似的に露光量を増加(電荷蓄積時間を延長)した効果が得られ、高精度な焦点検出を行うことが可能になる。
Since exposure control is performed with the exposure amount under the exposure amount at which the entire screen is at the appropriate exposure level, the focus detection pixel data generally tends to be at a low level. This is effective for accurate focus detection. For example, the data of the focus detection pixels in the
ステップS160では合焦(最終的なデフォーカス量の絶対値が予め定められた閾値以下)かいなかを判定し、合焦の場合にはステップS180に進み、非合焦の場合はステップS170に進む。 In step S160, it is determined whether or not the focus is in focus (the absolute value of the final defocus amount is equal to or less than a predetermined threshold value). If in focus, the process proceeds to step S180. If not in focus, the process proceeds to step S170. .
ステップS170ではデフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシング用レンズ210を合焦位置に駆動させる。デフォーカス量の信頼性が低い場合や焦点検出不能の場合にはその旨をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシング用レンズ210の駆動制御は更新しない。その後、ステップS110へ戻って上述した動作を繰り返す。
In step S170, the defocus amount is transmitted to the
ステップS180において画面全体の露光レベルが適正となるように露光量を定め、撮像素子に対し電荷蓄積時間を指定し、露光制御を行う。ステップS190では1フレーム分の全画素データを読み出す。ステップS200では焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。 In step S180, the exposure amount is determined so that the exposure level of the entire screen is appropriate, the charge accumulation time is specified for the image sensor, and exposure control is performed. In step S190, all pixel data for one frame is read. In step S200, pixel interpolation is performed on virtual imaging pixel data at each pixel position in the focus detection pixel row based on imaging pixel data around the focus detection pixel.
ステップS210では、今回のフレームに対応する画像データを電子ビューファインダーに表示(ライブビュー表示)させる。ステップS220では不図示の操作手段による撮影の指示がなされているか否かを判定し、撮影の指示がなされていない場合には、ステップS180に戻り、撮影の指示がなされていた場合には、ステップS230で今回のフレームに対応する画像データを画像データとしてメモリカード219に記憶してステップS110に戻る。なお、ステップS220からステップS180へ戻る処理を所定回数繰り返した場合、あるいは所定時間を経過した場合において、ステップS105に戻ることとしても良い。
In step S210, image data corresponding to the current frame is displayed on the electronic viewfinder (live view display). In step S220, it is determined whether or not a shooting instruction has been given by an operating means (not shown). If a shooting instruction has not been given, the process returns to step S180. If a shooting instruction has been given, step S220 is executed. In S230, the image data corresponding to the current frame is stored as image data in the
図9のステップS150で用いられる一般的な像ズレ検出演算処理(相関演算処理)としては、特開2007−333720号公報に開示された相関演算処理を用いる。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。 As a general image shift detection calculation process (correlation calculation process) used in step S150 of FIG. 9, the correlation calculation process disclosed in Japanese Patent Application Laid-Open No. 2007-333720 is used. The pair of images detected by the focus detection pixels is a type that can maintain the image displacement detection accuracy with respect to the light amount balance because the distance measurement pupil may be vignetted by the aperture of the lens and the light amount balance may be lost. The correlation calculation is performed.
焦点検出画素列から読み出された一対のデータ列(A11〜A1M、A21〜A2M:Mはデータ数)に対し、特開2007−333720号公報に開示された相関演算式(1)を行い、相関量C(k)を演算する。
C(k)=Σ|A1n×A2n+1+k−A2n+k×A1n+1| (1)
For a pair of data strings (A1 1 to A1 M , A2 1 to A2 M : M is the number of data) read out from the focus detection pixel string, a correlation calculation formula (1) disclosed in Japanese Patent Laid-Open No. 2007-333720 ) To calculate the correlation amount C (k).
C (k) = Σ | A1 n × A2 n + 1 + k -A2 n + k × A1 n + 1 | (1)
特開2009−141791号公報に開示された算出方法により、相関量C(k)の極小値C(x)を与えるずらしxを用いて像ズレ量shftを算出することができる。こうして算出された像ズレ量shftに所定の変換係数Kdを乗じてデフォーカス量defへ変換する。なお変換係数Kdは焦点検出画素が受光する一対の光束の開き角に対応しており、測距瞳距離dを一対の測距瞳の重心間隔で除算した値に相当する。
def=Kd×shft (2)
With the calculation method disclosed in Japanese Patent Application Laid-Open No. 2009-141791, the image shift amount shft can be calculated using the shift x that gives the minimum value C (x) of the correlation amount C (k). The image shift amount shft thus calculated is multiplied by a predetermined conversion coefficient Kd to be converted into a defocus amount def. The conversion coefficient Kd corresponds to the opening angle of the pair of light beams received by the focus detection pixel, and corresponds to a value obtained by dividing the distance measurement pupil distance d by the center of gravity distance between the pair of distance measurement pupils.
def = Kd × shft (2)
以上のように本発明においては、焦点検出を行う場合には通常の撮像時の露光量よりも少ない露光量で撮像素子の露光制御を行っている。したがって、焦点検出エリアの焦点検出画素のデータが飽和する確率が減少し、焦点検出画素のデータを用いた焦点検出演算が不能になったり大きな誤差を生じることも少なくなる。また露光量が少なくなった画像を表示する際には、画面全体に対して露光レベルが適正となるように補正しているので、焦点検出中においても画面全体に対して露光レベルが適正となった画像を観察することができる。また合焦後は撮影時と同じ露光量で露光制御を行って表示しているので、露光レベルを補正して画像表示を行う場合に発生するような黒レベルの階調不足も生じない。 As described above, in the present invention, when focus detection is performed, exposure control of the image sensor is performed with an exposure amount smaller than an exposure amount during normal imaging. Therefore, the probability that the data of the focus detection pixels in the focus detection area is saturated is reduced, and the focus detection calculation using the data of the focus detection pixels is not likely to be disabled or a large error is generated. Also, when displaying an image with reduced exposure, the exposure level is corrected for the entire screen even during focus detection because the exposure level is corrected for the entire screen. Images can be observed. In addition, after focusing, the exposure control is performed with the same exposure amount as that at the time of photographing, so that there is no black level gradation shortage that occurs when an image is displayed with the exposure level corrected.
上述した実施形態においては焦点検出時に撮像記録時と同様にして画像全体を対象とした適正露光量を算出するとともに、該適正露光量より1段アンダー(露光量1/2)な露光量となるような撮像素子の電荷蓄積時間で露光制御を行って焦点検出画素のデータを取得していたが、これに限定されるものではない。焦点検出時の露光量を該適正露光量より2段アンダー(露光量1/4)や3段アンダー(露光量1/8)としてもよい。このようにすれば、画面内の輝度ダイナミックレンジが広い場合でも、画像中で高輝度部を捕捉した焦点検出エリアの焦点検出データがクリップされる確率がさらに減少する。
In the embodiment described above, the appropriate exposure amount for the entire image is calculated at the time of focus detection in the same manner as during imaging and recording, and the exposure amount is one step lower (
なお上述した実施形態においてはAD変換装置のダイナミックレンジにより焦点検出画素のデータがクリップされることにより不具合が生じるとして説明していたが、焦点検出画素の電荷蓄積部の最大電荷蓄積容量に応じて焦点検出画素のデータがクリップされることにより不具合が生じる場合もありうる。このような場合に加算処理を行う際には、焦点検出画素のデータの最大値を比較する所定値を飽和データを基準にして決定すればよい。例えば所定値を飽和データの1/2とする。 In the above-described embodiment, it has been described that the defect occurs when the data of the focus detection pixel is clipped by the dynamic range of the AD converter, but depending on the maximum charge storage capacity of the charge storage unit of the focus detection pixel. There may be a problem that data of the focus detection pixel is clipped. When performing addition processing in such a case, a predetermined value for comparing the maximum value of the data of the focus detection pixel may be determined based on the saturation data. For example, the predetermined value is ½ of the saturation data.
また上述した実施形態においては、複数の焦点検出エリアにおいて同時に焦点検出を行っているが、これに限定されるものではない。例えばユーザが所望の焦点検出エリアを手動で選択したり、画像処理により全体画像の中から特定の画像パターン(例えば人間の顔画像)を検出し、該特定の画像パターンの位置に応じて自動的に焦点検出エリアを選択するようにしてもよい。 In the embodiment described above, focus detection is simultaneously performed in a plurality of focus detection areas. However, the present invention is not limited to this. For example, the user manually selects a desired focus detection area, or detects a specific image pattern (for example, a human face image) from the entire image by image processing, and automatically according to the position of the specific image pattern Alternatively, the focus detection area may be selected.
また本発明は瞳分割型位相差検出用の焦点検出画素を備える撮像素子に限定されるものではなく、所謂コントラスト検出に用いられる焦点検出画素を備える撮像素子にも適用することができる。 Further, the present invention is not limited to an image sensor provided with a focus detection pixel for pupil division type phase difference detection, and can also be applied to an image sensor provided with a focus detection pixel used for so-called contrast detection.
また上述した実施形態においては、露光制御は撮像素子の電荷蓄積時間を変更することによって行っているが、これに限定されるものではない。例えば撮像素子の出力回路のゲインを変更したり、絞りの開口径の変更によっても露光制御を行うことが可能である。 In the above-described embodiment, the exposure control is performed by changing the charge accumulation time of the image sensor, but is not limited to this. For example, exposure control can also be performed by changing the gain of the output circuit of the image sensor or changing the aperture diameter of the stop.
−−−変形例−−−
図3、図4に示す撮像素子212の部分拡大図では、各画素に1つの光電変換部を有する一対の焦点検出画素313,314および一対の焦点検出画素315,316を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図14、図15は図3、図4に対応した撮像素子212の部分拡大図であり、焦点検出画素311および312は一対の光電変換部を備える。
---- Modified example ---
In the partial enlarged view of the
図15に示す焦点検出画素311は、図4に示す焦点検出画素313と焦点検出画素314のペアに相当した機能を果たし、図14に示す焦点検出画素312は、図3に示す焦点検出画素315と焦点検出画素316のペアに相当した機能を果たす。焦点検出画素311、312は、図14、図15に示すようにマイクロレンズ10と一対の光電変換部13,14および一対の光電変換部15,16から構成される。焦点検出画素311,312には白色フィルタが配置されており、その分光感度特性は光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ(不図示)の分光感度特性とを総合した分光感度特性となる。つまり、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、その白色フィルタが高い感度を有する光波長領域は、緑画素、赤画素および青画素の各色フィルタが高い感度を示す光波長領域を包括している。
The
上述した実施形態における撮像素子では焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ(例えば緑フィルタ)を備えるようにした場合にも本発明を適用することができる。 Although the example in which the focus detection pixel includes the white filter is shown in the image sensor in the above-described embodiment, the present invention can be applied to a case where the same color filter (for example, a green filter) as that of the image capture pixel is provided. .
例えば図14に示した焦点検出画素312のみを2次元に配列して撮像素子を構成するとともに、2次元に配置された焦点検出画素にベイヤー配列した色フィルタを備えるようにしてもよい。このような構成においては撮像時は焦点検出画素の一対の光電変換部のデータを加算することにより、撮像画素と同等のデータを算出することが可能である。また、焦点検出時は同色の焦点検出画素同士で相関演算を行うことにより、色別の焦点検出結果を得ることが出来、輝度のみではコントラストが出ないような場合にも焦点検出が可能になる。
For example, only the
上述した実施形態においては、静止画の単独撮影(複数回の画像フレームのうち、所定のトリガに応じて1つの画像フレームを記録する)に本発明を適用しているが、これに限定されるものではない。例えば静止画の連続撮影(複数回の画像フレームのうち所定回毎に画像フレームを記録する)や動撮影にも本発明を適用することが可能である。 In the above-described embodiment, the present invention is applied to single shooting of a still image (recording one image frame in response to a predetermined trigger among a plurality of image frames), but the present invention is not limited to this. It is not a thing. For example, the present invention can also be applied to continuous shooting of still images (recording image frames at predetermined times out of a plurality of image frames) and moving shooting.
上述した実施形態においては、撮像素子としてCCDイメージセンサを用いているが、CMOSイメージセンサを用いることもできる。 In the above-described embodiment, a CCD image sensor is used as an image sensor, but a CMOS image sensor can also be used.
上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。たとえば、補色フィルタ(緑:G、イエロー:Ye、マゼンタ:Mg,シアン:Cy)の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも本発明を適用することができる。 In the image pickup device according to the above-described embodiment, an example in which the image pickup pixel includes a color filter with a Bayer array is shown. However, the configuration and the array of the color filter are not limited to this. For example, the present invention can be applied to an array other than the array of complementary color filters (green: G, yellow: Ye, magenta: Mg, cyan: Cy) or a Bayer array. Further, the present invention can also be applied to a monochrome image sensor that does not include a color filter.
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。 Note that the imaging apparatus is not limited to the digital still camera configured as described above in which the interchangeable lens is mounted on the camera body. For example, the present invention can be applied to a lens-integrated digital still camera or video camera. Furthermore, the present invention can be applied to a small camera module built in a mobile phone, a surveillance camera, a visual recognition device for a robot, an in-vehicle camera, and the like.
10 マイクロレンズ、11、13、14、15、16 光電変換部、
100 撮影画面、101、102、103、104、105 焦点検出エリア、
201 デジタルスチルカメラ、202 交換レンズ、203 カメラボディ、
204 マウント部、206 レンズ駆動制御装置、
208 ズーミング用レンズ、209 レンズ、210 フォーカシング用レンズ、
211 絞り、212 撮像素子、213 電気接点、
214 ボディ駆動制御装置、
215 液晶表示素子駆動回路、216 液晶表示素子、217 接眼レンズ、
219 メモリカード、220 記憶装置、221 AD変換装置、
310 撮像画素、
311、312、313、314、315、316 焦点検出画素、
330 出力回路、601、602、603、604、605 ゲート
10 microlens, 11, 13, 14, 15, 16 photoelectric conversion unit,
100 shooting screen, 101, 102, 103, 104, 105 focus detection area,
201 digital still camera, 202 interchangeable lens, 203 camera body,
204 mount unit, 206 lens drive control device,
208 zooming lens, 209 lens, 210 focusing lens,
211 Aperture, 212 Image sensor, 213 Electrical contact,
214 body drive control device,
215 liquid crystal display element driving circuit, 216 liquid crystal display element, 217 eyepiece,
219 memory card, 220 storage device, 221 AD converter,
310 imaging pixels,
311, 312, 313, 314, 315, 316 focus detection pixel,
330 Output circuit, 601 602 603 604 605 gate
Claims (9)
前記撮像素子上に光学像を形成する撮影光学系と、
前記光学像の記録のために、適正露光量を設定し第1露光制御を行う第1露光制御手段と、
前記複数の画素の少なくとも一部の画素データに基づいて、前記光学像に対する前記撮影光学系の焦点調節状態を検出する焦点検出手段と、
前記焦点調節状態の検出のために、前記適正露光量よりも小さい露光量を設定し第2露光制御を行う第2露光制御手段と、
前記撮像素子から読みだされた画像データに基づき前記光学像のスルー画像を表示する表示手段と、を備え、
前記表示手段は、前記第2露光制御で読みだされた画像データであっても、前記適正露光量に対応した輝度レベルで表示することを特徴とする撮像装置。 An image sensor in which a plurality of pixels are two-dimensionally arranged;
A photographing optical system for forming an optical image on the image sensor;
First exposure control means for setting a proper exposure amount and performing first exposure control for recording the optical image;
Focus detection means for detecting a focus adjustment state of the photographing optical system with respect to the optical image based on pixel data of at least some of the plurality of pixels;
Second exposure control means for setting the exposure amount smaller than the appropriate exposure amount and performing second exposure control for detecting the focus adjustment state;
Display means for displaying a through image of the optical image based on image data read from the image sensor;
The image pickup apparatus , wherein the display means displays the image data read by the second exposure control at a luminance level corresponding to the appropriate exposure amount .
前記第2露光制御手段により前記第2露光制御が行われる前記撮像素子上に形成される前記光学像の前記スルー画像の輝度レベルを画面全体に対して適正露光レベルの画像となるように補正する補正手段をさらに備え、
前記表示手段は、前記補正手段により前記輝度レベルが補正された前記スルー画像を表示することを特徴とする撮像装置。 The imaging device according to claim 1,
The brightness level of the through image of the optical image formed on the imaging element on which the second exposure control is performed by the second exposure control unit is corrected so as to be an image with an appropriate exposure level for the entire screen. further comprising a correction means,
The image pickup apparatus, wherein the display means displays the through image in which the luminance level is corrected by the correction means.
前記第2露光制御手段は、前記撮像素子の蓄積時間を少なくして露光制御または絞り開口径を小さくして露光制御を行うことを特徴とする撮像装置。 The imaging device according to claim 1 or 2,
The imaging apparatus according to claim 2, wherein the second exposure control means performs exposure control by reducing an accumulation time of the imaging element to reduce exposure control or an aperture diameter.
前記補正手段は、前記輝度レベルの補正の際、前記記録のための画像の画像データに含まれる高輝度データに対してはニー特性を有する補正を行うことを特徴とする撮像装置。 The imaging device according to claim 2 ,
The image pickup apparatus according to claim 1, wherein the correction unit performs correction having knee characteristics for high luminance data included in image data of the image for recording when the luminance level is corrected.
前記第1露光制御手段による前記第1露光制御が行われた前記撮像素子上に形成される前記光学像の記録用画像データの記録を制御する記録制御手段をさらに備えることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
An imaging apparatus further comprising recording control means for controlling recording of recording image data of the optical image formed on the imaging element on which the first exposure control is performed by the first exposure control means. .
前記焦点検出手段が前記焦点調節状態を検出するための複数の焦点検出エリアが設けられるとともに、
前記焦点検出手段は、前記複数の焦点検出エリアに対応する前記撮像素子上の所定範囲内の画素の画素データに基づいて、前記複数の焦点検出エリアの各々に対応する前記撮像素子上の各範囲に形成された前記光学像に対する前記撮影光学系の前記焦点調節状態を検出することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5,
A plurality of focus detection areas for the focus detection means to detect the focus adjustment state are provided,
The focus detection unit is configured to detect each range on the image sensor corresponding to each of the plurality of focus detection areas based on pixel data of pixels within a predetermined range on the image sensor corresponding to the plurality of focus detection areas. An image pickup apparatus that detects the focus adjustment state of the photographing optical system with respect to the optical image formed on the image pickup apparatus.
前記第2露光制御手段による前記第2露光制御が行われた場合に、前記所定範囲内の画素の画素データを記憶する記憶手段をさらに備え、
前記焦点検出手段は、前記複数の焦点検出エリアのうちの少なくとも1つの焦点検出エリアに対応する前記撮像素子上の特定範囲内の画素の画素データを時系列的に繰り返し読み出した時系列画素データを前記記憶手段に記憶させ、前記記憶手段に記憶された前記時系列画素データと、前記特定範囲内の画素の最新画素データとを加算した加算画素データに基づいて前記焦点調節状態を検出することを特徴とする撮像装置。 The imaging device according to claim 6,
Storage means for storing pixel data of pixels within the predetermined range when the second exposure control is performed by the second exposure control means;
The focus detection unit reads time-series pixel data obtained by repeatedly reading out pixel data of pixels within a specific range on the image sensor corresponding to at least one focus detection area of the plurality of focus detection areas. Detecting the focus adjustment state based on summed pixel data obtained by adding the time-series pixel data stored in the storage unit and the latest pixel data of the pixels within the specific range. An imaging device that is characterized.
前記焦点検出手段により検出された前記焦点調節状態に応じて、前記光学像に対して前記撮影光学系が合焦状態となるように前記撮影光学系の焦点調節を行う焦点調節手段をさらに備え、
前記焦点調節手段による前記焦点調節が完了した後、前記第1露光制御手段が前記適正露光量で前記第1露光制御を行うことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 7,
In accordance with the focus adjustment state detected by the focus detection unit, the image pickup optical system further includes a focus adjustment unit that adjusts the focus of the shooting optical system so that the optical system is in focus.
The imaging apparatus, wherein after the focus adjustment by the focus adjustment unit is completed, the first exposure control unit performs the first exposure control with the appropriate exposure amount.
前記複数の画素は複数の撮像画素と複数の瞳分割型の焦点検出画素とを含み、
前記複数の撮像画素の各々は、前記撮影光学系の射出瞳を通過する撮影光束を受光して撮像信号を出力し、前記複数の瞳分割型の焦点検出画素の各々は、前記射出瞳を通過する一対の焦点検出光束のうちの少なくとも一方を受光して焦点検出信号を出力することを特徴とする撮像装置。
In the imaging device according to any one of claims 1 to 8,
The plurality of pixels include a plurality of imaging pixels and a plurality of pupil division type focus detection pixels,
Each of the plurality of imaging pixels receives an imaging light beam passing through an exit pupil of the imaging optical system and outputs an imaging signal, and each of the plurality of pupil-divided focus detection pixels passes through the exit pupil. An image pickup apparatus that receives at least one of a pair of focus detection light beams and outputs a focus detection signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010099741A JP5724208B2 (en) | 2010-04-23 | 2010-04-23 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010099741A JP5724208B2 (en) | 2010-04-23 | 2010-04-23 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015075899A Division JP2015148819A (en) | 2015-04-02 | 2015-04-02 | Imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011232370A JP2011232370A (en) | 2011-11-17 |
JP5724208B2 true JP5724208B2 (en) | 2015-05-27 |
Family
ID=45321769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010099741A Active JP5724208B2 (en) | 2010-04-23 | 2010-04-23 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5724208B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108780798A (en) * | 2016-01-08 | 2018-11-09 | 株式会社尼康 | Photographing element and photographic device |
WO2017149932A1 (en) * | 2016-03-03 | 2017-09-08 | ソニー株式会社 | Medical image processing device, system, method, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02134986A (en) * | 1988-11-15 | 1990-05-23 | Konica Corp | Image pickup device |
JP4007713B2 (en) * | 1999-04-06 | 2007-11-14 | オリンパス株式会社 | Imaging device |
JP4565370B2 (en) * | 2000-12-22 | 2010-10-20 | 富士フイルム株式会社 | Electronic camera and autofocus control method |
JP4657543B2 (en) * | 2001-10-31 | 2011-03-23 | 株式会社ニコン | Focus detection device |
JP2003289472A (en) * | 2002-03-28 | 2003-10-10 | Nikon Gijutsu Kobo:Kk | Electronic camera |
-
2010
- 2010-04-23 JP JP2010099741A patent/JP5724208B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011232370A (en) | 2011-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8063978B2 (en) | Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus | |
EP1975695B1 (en) | Focus detection device, focusing state detection method and imaging apparatus | |
US8243189B2 (en) | Image sensor and imaging apparatus | |
JP4867552B2 (en) | Imaging device | |
JP5319347B2 (en) | Imaging apparatus and control method thereof | |
JP5565105B2 (en) | Imaging device | |
JP5817154B2 (en) | Imaging device | |
JP5699480B2 (en) | Focus detection device and camera | |
JP2009128892A (en) | Imaging sensor and image-capturing device | |
JP5167783B2 (en) | Focus detection apparatus and imaging apparatus | |
JP5657184B2 (en) | Imaging apparatus and signal processing method | |
JP5609232B2 (en) | Imaging device | |
JP5609098B2 (en) | Imaging device | |
JP5526980B2 (en) | Imaging device and imaging device | |
JP5278123B2 (en) | Imaging device | |
JP2012237769A (en) | Imaging device | |
JP5724208B2 (en) | Imaging device | |
JP5747510B2 (en) | Imaging device | |
JP5962830B2 (en) | Focus detection device | |
JP5804104B2 (en) | Focus adjustment device | |
JP2015148819A (en) | Imaging apparatus | |
JP5440585B2 (en) | Digital camera | |
JP5949893B2 (en) | Imaging device | |
JP6760424B2 (en) | Focus adjuster | |
JP2016189019A (en) | Focus adjustment apparatus and electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5724208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |