[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3977062B2 - Imaging apparatus and focus adjustment method - Google Patents

Imaging apparatus and focus adjustment method Download PDF

Info

Publication number
JP3977062B2
JP3977062B2 JP2001356486A JP2001356486A JP3977062B2 JP 3977062 B2 JP3977062 B2 JP 3977062B2 JP 2001356486 A JP2001356486 A JP 2001356486A JP 2001356486 A JP2001356486 A JP 2001356486A JP 3977062 B2 JP3977062 B2 JP 3977062B2
Authority
JP
Japan
Prior art keywords
focus
phase difference
contrast
evaluation value
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001356486A
Other languages
Japanese (ja)
Other versions
JP2003156677A (en
Inventor
輝岳 門原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001356486A priority Critical patent/JP3977062B2/en
Publication of JP2003156677A publication Critical patent/JP2003156677A/en
Application granted granted Critical
Publication of JP3977062B2 publication Critical patent/JP3977062B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、2次元に構成された多数の光電変換素子で静止画及び/又は動画を撮像可能な撮像素子及び当該撮像素子を用いた撮像装置における焦点状態の検出方法に関する。
【0002】
【従来の技術】
従来、撮影、撮像装置の自動焦点検出・調節方法で撮影レンズを通過した光束を用いる一般的な方式として、位相差検出方式(ずれ方式と呼ばれる)とコントラスト検出方式(ぼけ方式と呼ばれる)がある。
【0003】
位相差検出方式は銀塩フィルムによる一眼レフカメラに多く用いられ、自動焦点検出(Auto Focus:AF)一眼レフカメラの実用化に最も貢献した技術である。位相差検出方式では、撮影レンズの射出瞳を通過した光束を2分割し、2分割した光束を一組の焦点検出用センサによりそれぞれ受光し、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで撮影レンズのピント方向のずれ量を直接求めるものである。従って、焦点検出用センサにより一度蓄積動作を行えばピントずれの量と方向が得られ、高速な焦点調節動作が可能となっている。但し、撮影レンズの射出瞳を通過した光束を2分割し、それぞれの光束に対応する信号を得るためには、焦点検出用光学系とセンサを2系統設けるのが一般的であり、更には、検出した信号のずれ量からピントずれ量への変換も必要となる。
【0004】
一方、コントラスト検出方式は動画撮影用ビデオムービー機器(カムコーダー)や電子スチルカメラで多く用いられる方式で、上記位相差検出方式と異なり、撮像センサが焦点検出用センサとして用いられるものである。撮像センサの出力信号、特に高周波成分の情報(コントラスト情報)に着目し、その評価値が最も大きくなる撮影レンズの位置を合焦位置とする方式である。しかし山登り方式とも言われるように、撮影レンズを微少量動かしながら評価値を求め、その評価値が結果的に最大であったとわかるまで動かす事が必要であるため、高速な焦点調節動作には不向きとされている。しかし、撮像センサから得られる信号を用いて評価されるので、精度的には高いものが得られる。
【0005】
又、焦点検出用のラインセンサを用いて上記2方式の両立を実現する方法が、特開昭 59−146010号公報 に開示されている。
【0006】
更に本出願人により、撮像素子でありながら位相差検出方式の評価値を得ることのできる焦点検出装置が、特開2000−156823号公報及び特願2000−117510号公報 として出願されている。
【0007】
一方、特開平10−51672号公報では銀塩写真とビデオムービーという2つの撮影モードを有する撮像装置において、上記両方式それぞれの焦点検出系を使い分ける提案がなされている。
【0008】
【発明が解決しようとする課題】
しかしながら、上記特開2000−156823号公報 では、撮像素子の一部の画素が画像信号を形成するため以外の、即ち位相差検出方式の焦点検出用信号を出力するように構成されている。ただし、コントラスト検出方式については開示されていない。
【0009】
一方、特願2000−117510号公報では、位相差検出方式とコントラスト検出方式の両方式をそれぞれ用いた蓄積・焦点検出動作を2回行うことで、同じ測距領域における検出方向がお互いに直交する焦点検出装置を提案している。しかし、焦点検出動作のために蓄積を2回行うため、十分に早いものとはならない。
【0010】
また、上記特開昭59−146919 号公報では両方式を併用して迅速に焦点調節を行うが、焦点検出専用のセンサ列を用いるため、装置構成が複雑になる。
【0011】
更に、特開平10−51672号公報は位相差検出方式とコントラスト検出方式の両方式をそれぞれ別々のセンサにより構成したものであり、やはり装置構成が複雑になる。
【0012】
本発明は上記問題点を鑑みてなされたものであり、専用のセンサを用いることなく、撮像用センサを使った安価な構成で、位相差検出方式及びコントラスト検出方式の両方式による迅速な焦点検出を可能とすることを目的とする。
【0013】
【課題を解決するための手段】
上記目的を達成するために、本発明の撮像装置は、複数の画素からなり、各画素が、複数の光電変換領域と、前記複数の光電変換領域から得られる信号を、各光電変換領域毎に出力可能な出力系とを有する撮像素子と、前記複数の光電変換領域それぞれから出力された信号から、位相差及び被写体像のコントラストの評価値をそれぞれ演算する演算手段と、前記位相差に基づく第1のモードでフォーカスレンズを駆動して合焦制御を行った後に、前記評価値に基づく第2のモードで前記フォーカスレンズを駆動して合焦制御を行い、前記第1のモードから前記第2のモードへの切り替えにおける前記フォーカスレンズの駆動方向が同一方向となるように制御する合焦制御手段とを有する。
【0019】
また、上記目的を達成するために、複数の画素からなり、各画素が、複数の光電変換領域と、前記複数の光電変換領域から得られる信号を、各光電変換領域毎に出力可能な出力系とを有する撮像素子と、撮像光学系とを有する撮像装置のための本発明の焦点調節方法は、前記撮像素子の前記複数の光電変換領域それぞれから信号を読み出す読み出し工程と、前記読み出し工程で読み出された信号から、位相差及び被写体像のコントラストの評価値をそれぞれ演算する演算工程と、前記位相差に基づく第1のモードでフォーカスレンズを駆動して合焦制御を行う位相差合焦工程と、前記位相差合焦工程後に、前記評価値に基づく第2のモードで前記フォーカスレンズを駆動して合焦制御を行うコントラスト焦工程と、前記第1のモードから前記第2のモードへの切り替えにおける前記フォーカスレンズの駆動方向が同一方向となるように前記位相差合焦工程及び前記コントラスト合焦工程を制御する制御工程とを有する。
【0022】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0023】
まず、本発明の実施の形態で用いる撮像素子について説明する。
【0024】
撮像素子には、増幅型固体撮像装置の1つであるCMOSプロセスコンパチブルのセンサ(以下、「CMOSセンサ」と呼ぶ。)を用いる。
【0025】
CMOSセンサの特長の1つとして、受光部のMOSトランジスタと周辺回路のMOSトランジスタを同一工程で形成できるため、マスク枚数、プロセス工程がCCDと比較して大幅に削減できるということが挙げられる。この特長を生かし、本実施の形態では1画素に2つの光電変換部を構成し、従来各光電変換部に設けていたフローティングディフュージョン(FD)領域とソースフォロワアンプを各画素の2つの光電変換部につき1個形成する。2つの光電変換領域はMOSトランジスタスイッチを介してそのFD領域に接続される。
【0026】
従って、2つの光電変換部の電荷を同時、または、別々にフローティングディフュージョン部へ転送できるため、FD領域に接続した転送MOSトランジスタのON/OFFタイミングだけで、2つの光電変換部の信号電荷の加算、非加算読み出し制御を簡単に行うことができる。この構造を利用して、本実施の形態では撮像光学系の射出瞳全体からの光束による光電変換出力を行う加算出力モードと、撮像光学系の射出瞳の一部からの光束による光電変換出力を別々に行う非加算出力モードとを切り替え可能としている。画素レベルで信号の加算を行う加算出力モードでは、信号を読み出した後で加算する方式に比べてノイズの少ない信号を得ることができる。
【0027】
図1は、撮像素子内のエリアセンサ部の回路構成図である。同図は、図の簡略化のために2列×2行画素の2次元エリアセンサを示したものであるが、実際は非常に多くの画素数を有し、実用的な解像度を得る。
【0028】
図1において、1および51はMOSトランジスタゲートとゲート下の空乏層からなる第1、第2光電変換部、2および52はフォトゲート、3および53は転送スイッチMOSトランジスタ、4はリセット用MOSトランジスタ、5はソースフォロワアンプMOSトランジスタ、6は垂直選択スイッチMOSトランジスタ、7はソースフォロワの負荷MOSトランジスタ、8は暗出力転送MOSトランジスタ、9は明出力転送MOSトランジスタ、10は暗出力蓄積容量CTN、11は明出力蓄積容量CTS、12および54は垂直転送MOSトランジスタ、13および55は垂直出力線リセットMOSトランジスタ、14は差動出力アンプ、15は垂直走査部、16は水平走査部である。
【0029】
図2に受光部(例えば30−11)の断面図を示す。なお、受光部30−21、30−12、30−22等も同一の構造を有する。
【0030】
同図において、17はP型ウェル、18、58はゲート酸化膜、19、59は一層目ポリSi、20、50は二層目ポリSi、21はn+ フローティングディフュージョン領域である。
【0031】
FD領域21は転送MOSトランジスタ3、53を介して第1光電変換部1および第2光電変換部51と接続される。なお、同図では、第1光電変換部1と第2光電変換部51を離して描いたが、実際にはその境界部は極めて小さく、実用上は第1光電変換部1と第2光電変換部51は接しているとみなして良い。
【0032】
22は特定の波長域の光を透過するカラーフィルター、23は撮像光学系からの光束を効率的に第1、第2光電変換部1,51に導くためのマイクロレンズである。
【0033】
図3は、本実施の形態の撮像素子の画素と光電変換部・カラーフィルターの配置を示す平面図である。ここでは4列×4行のみを抜き出して示している。受光部とMOSトランジスタを含む各画素はほぼ正方形にレイアウトされ、格子状に隣接して配置されている。なお、各画素70−11〜71〜44は、図1を用いて先に説明した受光部30−11、30−21、30−12、30−22と同様の構成を有する。
【0034】
また、このエリアセンサは、各画素にR(赤色)G(緑色)B(青色)のカラーフィルターを交互に配して、4画素が一組となるベイヤー配列を形成している。ベイヤー配列では、観察者が画像を見たときに強く感じやすいGの画素をRやBの画素よりも多く配置する事で、総合的な像性能を上げている。一般に、この方式の撮像素子では、輝度信号は主にGから生成し、色信号はR,G,Bから生成する。
【0035】
前述したように1画素はそれぞれ2つの光電変換部を有している。各画素の受光部に付したR、G、Bは、それぞれ赤色、緑色、青色のカラーフィルターを備えていることを示し、RGBに続く1あるいは2は、第1光電変換部か第2光電変換部かの区別を表している。例えば、R1は赤色カラーフィルターを備えた第1光電変換部であり、G2は緑色カラーフィルターを備えた第2光電変換部を意味する。
【0036】
さらに、各画素において撮像光学系から射出した光束を有効に利用するために、各受光部に集光用レンズを設けて、受光部以外に到達しようとする光を受光部に偏向することが必要となる。このために撮像素子前面に設けられるのが図2にも示すマイクロレンズ23である。各画素のマイクロレンズ23は受光部の中心と光軸とがおおよそ一致した軸対称型の球面レンズあるいは非球面レンズであって、各々矩形の有効部を持ち、光入射側を凸形状として格子状に密に並べられている。
【0037】
各マイクロレンズ23のパワーは撮像素子の各受光部を撮像光学系の射出瞳に投影するように設定されている。このとき、各受光部の投影像が撮像光学系の絞りの射出瞳よりも若干大きくなるように投影倍率を設定し、受光部に入射する光量と撮像光学系の絞りとの関係をおおよそ線形にする。こうすれば、被写体輝度に応じた撮影が可能になり、2つの光電変換部を別々に動作させれば焦点検出も可能となる。
【0038】
次に、本実施の形態におけるセンサ駆動方法について説明を行う。
【0039】
上記のように、光電変換部を2分割したことで、2つの領域の蓄積電荷を簡単に加算読み出し又は、非加算読み出し制御する事が可能となる。本実施の形態では、撮像や輝度算出には加算出力モード、焦点検出には非加算出力モードで動作を行う。
【0040】
まず、図1及び図2を参照して、撮像素子の電荷蓄積動作の概要を述べる。
【0041】
フォトゲート2、52の下に空乏層を拡げるため制御パルスφPG00、φPGe0に正の電圧を印加する。FD部21は蓄積中、ブルーミング防止のため制御パルスφR0をハイにして電源電圧VDDに固定しておく。光子hνが照射されフォトゲート2、52の下でキャリアが発生すると、フォトゲート2、52の下の空乏層中に電子が蓄積されていき、正孔はP型ウェル17を通して排出される。
【0042】
光電変換部1とFD部21の間には転送MOSトランジスタ3によるエネルギー障壁が、光電変換部51とFD部21の間には転送MOSトランジスタ53によるエネルギー障壁がそれぞれ形成されている。このため、光電荷蓄積中は電子がフォトゲート2、52の下に存在する。この後、水平走査部16を走査させ、同様な電荷蓄積動作を全光電変換部について順次行えば、撮影が面全体の電荷蓄積が行われる。
【0043】
読み出し状態になると転送MOSトランジスタ3あるいは53下の障壁をなくし、フォトゲート2、52の下の電子をFD部21へ完全に転送させる様に制御パルスφPG00、φPGe0、制御パルスφTX00、φTXe0を設定する。
【0044】
続いて図4のタイミングチャートを用いて撮像素子の読み出し動作を説明する。このタイミングチャートは2つの光電変換部1,51の電荷を独立に出力する非加算出力モードの場合であって、焦点検出用画像の読み出しに用いる。
【0045】
先ず、水平走査部16からのタイミング信号出力によって、制御パルスφLをハイとして水平出力線をリセットする。また、制御パルスφR0、φPG00、φPGe0をハイとし、リセット用MOSトランジスタ4をオンとし、フォトゲート2の一層目ポリSi19をハイとしておく。時刻T0において、制御パルスφS0をハイとし、垂直選択スイッチMOSトランジスタ6をオンさせ、受光部30−11を選択する。次に制御パルスφR0をローとし、FD領域21のリセットを止め、FD領域21をフローティング状態とし、ソースフォロワアンプMOSトランジスタ5のゲート・ソース間をスルーとした後、時刻T1において制御パルスφTをハイとし、FD領域21の暗電圧をソースフォロワ動作で蓄積容量CTN10に出力させる。
【0046】
次に、第1光電変換部1の電荷出力を行うため、第1光電変換部1の制御パルスφTX00をハイとして転送スイッチMOSトランジスタ3を導通した後、時刻T2において制御パルスφPG00をローとして下げる。この時フォトゲート2の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをFD領域21に完全転送させるような電圧関係が好ましい。
【0047】
時刻T2で、フォトダイオードの光電変換部1からの電荷がFD領域21に転送されることにより、FD領域21の電位が光に応じて変化することになる。この時ソースフォロワアンプMOSトランジスタ5がフローティング状態であるので、FD領域21の電位を時刻T3において制御パルスφTsをハイとして蓄積容量CTS11に出力する。この時点で第1光電変換部1の暗出力と光出力はそれぞれ蓄積容量CTN10とCTS11に蓄積されおり、時刻T4の制御パルスφHCを一時ハイとして垂直出力線リセットMOSトランジスタ13と55を導通して垂直出力線をリセットし、垂直転送期間において垂直走査部15の走査タイミング信号により垂直出力線に画素の暗出力と光出力を出力させる。蓄積容量CTN10とCTS11の差動出力アンプ14によって、差動出力VOUTを取れば、画素のランダムノイズ、固定パターンノイズを除去したS/Nの良い信号が得られる。
【0048】
なお、受光部30−12の光電荷は受光部30−11と同時に夫々の蓄積容量CTNとCTSに蓄積されるが、その読み出しは垂直走査部15からのタイミングパルスを1受光部分遅らせて垂直出力線に読み出して差動出力アンプ14から出力される。1受光部分のタイミングパルスの差であるので、両者の蓄積時間は実質的に同一とみなせる。
【0049】
次に、蓄積容量CTS11に明出力を出力した後、制御パルスφR0をハイとしてリセット用MOSトランジスタ4を導通し、FD領域21を電源電圧VDDにリセットする。
【0050】
第1光電変換部1の垂直転送が終了した後、第2光電変換部51の読み出しを行う。第2光電変換部52の読み出しは、制御パルスφR0をローとし、FD領域21のリセットを止め、FD領域21をフローティング状態とし、ソースフォロワアンプMOSトランジスタ5のゲート・ソース間をスルーとした後、時刻T5において制御パルスφTをハイとし、FD領域21の暗電圧をソースフォロワ動作で再び蓄積容量CTN10に出力させる。
【0051】
第2光電変換部51の光電変換出力を行うため、第2光電変換部51の制御パルスφTXe0をハイとして転送スイッチMOSトランジスタ53を導通した後、時刻T6 において制御パルスφPGe0をローとして下げる。
【0052】
時刻T6 でフォトダイオードの第2光電変換部51からの電荷がFD領域21に転送されることにより、FD領域21の電位が光に応じて変化することになる。この時ソースフォロワアンプMOSトランジスタ5がフローティング状態であるので、FD領域21の電位を時刻T7 において制御パルスφTs をハイとして蓄積容量CTS11に出力する。この時点で第2光電変換部51の暗出力と光出力はそれぞれ蓄積容量CTN10とCTS11に蓄積されているので、時刻T8 の制御パルスφHCを一時ハイとして垂直出力線リセットMOSトランジスタ13と55を導通して垂直出力線をリセットし、垂直転送期間において垂直走査部15の走査タイミング信号により垂直出力線に画素の暗出力と光出力を出力させる。そして、蓄積容量CTNとCTSからの出力に基づいて、差動増幅器14により第2光電変換部の差動出力VOUTを得る。
【0053】
以上の駆動により、第1,第2光電変換部1,51の読み出しが夫々独立に行える。
【0054】
この後、水平走査部を走査させ、同様に読み出し動作を行えば全光電変換部の独立出力が得られる。即ち、次の列の場合は、まず制御パルスφS1をハイとし、次にφR1をローとし、続いて制御パルスφT、φTX01をハイとし、制御パルスφPG01をロー、制御パルスφTをハイ、制御パルスφHCを一時ハイとして受光部30−21,30−22の第1光電変換部の信号を読み出す。続いて、制御パルスφTXe1,φPGe1、及び上記と同様に制御パルスを印加して、受光部30−21,30−22の第2光電変換部の信号を読み出す。
【0055】
次に、第1および第2の光電変換部の信号をFD領域21において加算することにより、対物レンズの全瞳からの光束に基づく信号を出力する加算出力モードについて説明する。この動作モードは通常の撮像素子での画像出力に相当する。
【0056】
第1および第2の光電変換部の信号を加算する場合のタイミングチャートを図5に示す。非加算出力モードにおける制御を示す図4では制御パルスφTX00と制御パルスφTXe0、制御パルスφPG00と制御パルスφPGe0のタイミングをずらしていたが、加算の場合は同じタイミングとする。即ち、受光部30−11の第1光電変換部1と第2光電変換部51とから同時に読み出すために、まず制御パルスφTをハイとして水平出力線からノイズ成分を読み出し、制御パルスφTX00と制御パルスφTXe0を、及び制御パルスφPG00と制御パルスφPGe0を、夫々同時にハイ、ローとして、FD領域21に転送する。これにより、同時に上下2つの光電変換部1,51の信号をFD領域21で加算することが可能となる。画素レベルでの信号の加算であるため、アンプノイズの影響を受けず、信号読み出し後の加算では得られない高S/Nの画像となる。
【0057】
以上説明した撮像素子の構成及びその駆動方法により、撮像及び焦点検出用受光素子としての働きが一つのセンサで可能となる。
【0058】
ここで被写体への焦点調節方法に関して、まず周知の技術である位相差検出方式で撮像光学系のピントずれ量であるデフォーカス量を検出する方法について説明を行う。
【0059】
図6(a)及び(b)は理解を容易にするために、図3に示した受光部72−11について、第1光電変換部に入射する光束と、第2光電変換部に入射する光束のそれぞれを分けて示した図である。第1光電変換部に入射する光束を示す図6(a)では、図の下方からの光束が第1光電変換部G1に入射し、第2光電変換部に入射する光束を示す図6(b)では、図の上方からの光束が第2光電変換部G2に入射していることが分かる。
【0060】
つまり、撮像素子全体ではエリアセンサ部のどの位置の第2光電変換部に入射する光束も撮像光学系の射出瞳の半分を通過する光束である。一方、撮像素子全体の第1光電変換部に入射する光束は撮像レンズの光軸を対称軸として反転したものとして考えればよい。すなわち、撮像光学系の射出瞳の分割は図7のようになる。
【0061】
図7において、220は撮像光学系の射出瞳である。221は撮像素子の第1光電変換部に入射する光束が通過する射出瞳上の第一の領域、222は撮像素子の第2光電変換部に入射する光束が通過する射出瞳上の第二の領域である。つまり、第1光電変換部から得られた画像信号と第2光電変換部から得られた画像信号は、何れも撮像光学系の射出瞳をほぼ2分割した半光束から形成される。
【0062】
以上のような光学系にあっては、例えば撮像素子よりも手前に物体像が形成されているとき、射出瞳の右側を通る半光束は撮像素子上で左側にシフトし、射出瞳の左側を通る半光束は右側にシフトする。つまり、撮像光学系の瞳の半分ずつを通った光束で形成される一対の画像信号は、物体像の結像状態に応じて図3の左右方向に位相がシフトしたものとなる。従って上記デフォーカス量を求めるには、2つの被写体像の相対位置関係であるずれ量をその相関からを求めれば良い。これを具体的に求める演算方法の一例を図8を用いて説明する。
【0063】
図8に示した2つの被写体像(A、B像)を示す画像信号のAND領域の面積U(A、B像の小さい方の値の総和)を片方の像(図8ではA像)の画像信号を光電変換素子1画素(1ビット)ずつシフトさせ、その最大値を求めていく。2像が一致していれば必然的に最大値となるので、最大値をもたらすシフト量が2像の相対的ずれ量となる。このずれ量と、撮像光学系で決定されるデフォーカス量への変換係数とで求まることとなる。
【0064】
また、もう一方の周知の技術であるコントラスト検出方式についても簡単に説明する。
【0065】
この方式では撮影する像の全領域または一部の領域について、明るさ(撮像素子の出力)を微少な区域毎に検出し、隣接する区域間の明るさの差、すなわちコントラストに基づいて合焦か否かを判定するものである。
【0066】
一般にエリアセンサを用いて隣接画素間で受光量の差(画素出力の差)を取り、差の絶対値の総和をコントラスト値として評価値にすることが行われる。撮影レンズの焦点が被写体に合っているときはエリアセンサでのコントラスト値は必然的に高くなり、逆に焦点が被写体に合っていないときは小さくなる。被写体自身の特徴による変動もあるため、合焦を判定する基準の評価値は存在しないが、合焦していると必ず最大の評価値が得られることとなる。
【0067】
従って焦点調節動作は山登り方式とも言われるように、撮影レンズの焦点位置を微少区間毎動かし、評価値が最大であったことを確認してから合焦位置が決定される。なお、最初に動かす方向、すなわち現在が前ピンか後ピンかの情報も得られない。
【0068】
図9は、上述の固体撮像素子を用いたデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置を示す図で、図中101はレンズのプロテクトとメインスイッチとを兼ねるバリア、102は被写体の光学像を固体撮像素子104に結像させるレンズ、103はレンズ102を通った光量を調節するための絞り、104はレンズ102で結像された被写体を画像信号として取り込むための上記構成を有する固体撮像素子、105は固体撮像素子104から出力される画像信号を増幅するゲイン可変アンプ部及びゲイン値を補正するためのゲイン補正回路部等を含む撮像信号処理回路、106は固体撮像素子104より出力される画像信号のアナログ−ディジタル変換を行うA/D変換器である。また、107はA/D変換器106より出力された画像データに各種の補正を行ったりデータを圧縮する信号処理部、108は固体撮像素子104と撮像信号処理回路105とA/D変換器106と信号処理部107に、各種タイミング信号を出力するタイミング発生部、109は各種演算とスチルビデオカメラ全体を制御する全体制御・演算部、110は画像データを一時的に記憶するためのメモリ部、111は記録媒体に記録または読み出しを行うためのインターフェース部、112は画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体、113は外部コンピュータ等と通信するためのインターフェース部である。
【0069】
次に、上記構成を有する撮像装置の撮影時のカメラ動作の概略について説明する。
【0070】
バリア101がオープンされるとメイン電源がオンされ、次に、コントロール系の電源がオンし、さらにA/D変換器106などの撮像系回路の電源がオンされる。それから、露光量を制御する為に、全体制御・演算部109は絞り103を開放にし、固体撮像素子104から出力された信号はA/D変換器106で変換された後、信号処理部107に入力される。そのデータを基に露出の演算を全体制御・演算部109で行う。この測光を行った結果により明るさを判断し、その結果に応じて全体制御・演算部109は絞りを制御する。次に、固体撮像素子104から出力された信号をもとに、後述する焦点調節ための演算を全体制御・演算部109で行う。その後、レンズを駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズを駆動し測距を行う。そして、合焦が確認された後に本撮影が始まる。撮影が終了すると、固体撮像素子104から出力された画像信号はA/D変換器106でA/D変換され、信号処理部107を通り全体制御・演算部109によりメモリ部110に書き込まれる。その後、メモリ部110に蓄積されたデータは、全体制御・演算部109の制御により記録媒体制御I/F部111を通り半導体メモリ等の着脱可能な記録媒体112に記録される。また、外部I/F部113を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
【0071】
<第1の実施形態>
第1の実施形態では、上記構成を有し、加算出力モードと非加算出力モードで駆動可能な撮像素子を用いた焦点検出方法について以下に説明する。
【0072】
本第1の実施形態では、コントラスト評価値も上記位相差検出方式の評価値を求める信号より直接求める。つまり、撮像素子を非加算出力モードで動作させて得られる2つの信号を用いて、上記位相差検出方式でずれ量を求めると同時に、コントラスト方式で少なくとも一方の信号からコントラスト評価値を求める。非加算出力モードでの2つの信号は撮影レンズの射出瞳領域の違いはあるものの、コントラスト等においては基本的に同じ評価が可能である。
【0073】
また、本発明では位相差検出方式とコントラスト方式での同時評価が可能なため、位相差検出方式で撮影レンズの駆動方向及び駆動量を求めながら、その都度コントラスト評価値も求められ、山登り方式でありながら位相差検出方式で決定した方向と量で最初にレンズ駆動が可能となる。
【0074】
以下、本第1の実施形態における焦点調節動作を図10及び図11に示すフローチャートを参照しながら説明する。
【0075】
図10は本発明の第1の実施形態における焦点調節の基本動作を説明するためのフローチャートである。
【0076】
ステップS100にて焦点調節が開始されると、まずステップS101にて撮像素子の動作モードを非加算出力モードに設定する。そしてステップS102で撮像動作を行い、非加算の画像信号を読み出す。
【0077】
ステップS103及びS104で、それぞれコントラスト評価値と位相差評価値を算出する。
【0078】
続くステップS105では、まず位相差評価値に基づいた方向と量に従って撮影レンズの焦点調節を行う。なお、ここでのレンズ駆動量は評価値に対して所定量(例えば合焦幅分)少なく駆動する。これは続く山登り制御でのレンズの駆動方向を同一方向に揃えるためである。従って、この時点での合焦判断は行わない。そしてステップS106で山登り制御として、周知のコントラスト評価値に基づいた焦点調節を行う。ステップS106の動作は図11を参照して詳細に後述する。
【0079】
ステップS107で山登り制御による合焦が行われたかを判断し、合焦に至ったならばステップS108で撮像素子の非加算出力モードを解除する。一方、合焦に至らなかった場合には、ステップS105に戻り、最新の位相差評価値に基づくレンズ駆動からやり直す。これは本発明により、常に位相差検出方式とコントラスト方式の両方の評価値が一度の蓄積動作で得られるために、迅速に可能になった動作である。
【0080】
以上のように位相差検出方式とコントラスト方式を融合させた制御を行って、焦点調節動作をステップS109にて終了する。
【0081】
図11は図10のステップS106で行われる山登り制御の手順を示すフローチャートである。
【0082】
山登り制御が開始されると、まずステップS111で撮像動作を行う。ここでは非加算出力モードで蓄積電荷の読み出しが行われる。読み出した画像信号を用いて、ステップS112及びS113でそれぞれコントラスト評価値と位相差評価値を算出する。
【0083】
ステップS114では今回求めたコントラスト評価値が前回の評価値よりも増加しているか判断を行う。
【0084】
コントラスト評価値が増加しているならば、ステップS115にて位相差評価値の符号の確認も行う。ここでは、位相差評価値の符号、即ちピントのずれ方向のみに着目する。これは、コントラスト評価値の上昇と位相差評価値の符号の一致が両方とも満たされたならば、順調に合焦領域に向かっていると判断できるからである。従ってこれらの条件を満たす場合、ステップS116において、所定微少量だけレンズを同方向に動かし、再びステップS111から山登り制御を継続する。
【0085】
山登り制御継続中、ステップS114でコントラスト評価値が前回より下がった場合、ステップS117で位相差評価値の符号反転を判断する。コントラスト評価値が下がり、かつ位相差評価値の符号も反転した場合は、合焦点を通過したと考えられる。
【0086】
従って上記条件を満たす場合、ステップS118で合焦点通過と判定し、ステップS119に進んでコントラスト評価値が最大の位置、即ち前回の位置までレンズ駆動を行い、ステップS120で合焦判定をして山登り制御を終了する。
【0087】
一方、ステップS117で位相差評価値の符号が反転しなかった場合、或いはステップS115で位相差評価値の符号が反転した場合、これらは共にコントラスト評価値と位相差評価値の挙動が対応しない状態である。
【0088】
本第1の実施形態では、この状態はまだ山登り制御を行う段階では無いと判断し、ステップS121で非合焦判定をしたまま山登り制御を終了する。なお、この後は上述したように、図10のステップS107における合焦判定判断によりステップS105に戻り、位相差評価値によるレンズ駆動からやり直す。
【0089】
上記の通り本発明の第1の実施形態によれば、画像の撮影に用いる撮像素子から、位相差検出方式とコントラスト方式の両方の評価値を一度の蓄積動作で同時に得られるため、測距用のセンサを別個に設ける必要が無くなり、安価でありながら、2つの焦点調節方式を併用した場合であっても迅速な焦点調節制御及び判断が可能になる。
【0090】
<第2の実施形態>
次に、本発明の第2の実施形態における撮像素子の駆動方法、特に領域について説明を行う。
【0091】
図12及び図13は撮像素子の駆動方法及び読み出し領域の組み合わせ例を示す。
【0092】
図12及び図13において、列(a)駆動方式の分布イメージ図(○は加算出力モード、他は非加算出力モードによる駆動を示す)、列(b)は被写体像イメージ図、列(c)は、列(b)に示す画像を列(a)に示す分布の駆動方式で読み出した場合に、位相差検出方式用の信号イメージ図、列(d)は、(b)に示す画像を列(a)に示す分布の駆動方式で読み出した場合に、コントラスト方式用の信号イメージ図である。
【0093】
また、図12において、各行(A)〜(C)は撮像素子の駆動領域設定状態が異なる場合を示しており、(A)は撮像素子を全面一律に非加算出力モードで駆動している場合、(B)は撮像素子を一行毎に交互に非加算・加算出力モードで駆動している場合、(C)は撮像素子を四隅の領域のみ加算出力モードで、残りは非加算出力モードで駆動している場合である。
【0094】
(A)においては、全面非加算出力モードでの駆動のため、位相差検出方式とコントラスト方式の両方の評価が全面で可能となる。反面、読み出すべき画素データが多くなり(画素数の2倍)、時間がかかってしまう。
【0095】
(B)においては、一行毎に駆動モードを切り換えているので、(A)の駆動方法と比べて読み出す画素データ数が減少するため、高速化が望める。但し全画面全てで両方式の評価は出来ない。なお、一行毎に限らず任意の行毎に駆動方法を変えても構わない。
【0096】
(C)においては、四隅の領域のみ加算出力モードで行った例である。これは撮像系の光学系によっては四隅での位相差検出方式の実施が光束の蹴られなどにより問題を生じる場合があるため、そういった場合の対応処置の一例である。
【0097】
一方、図13においては、行(D)は、撮像素子が中央領域のみ加算出力モード、他は非加算出力モードで駆動されている場合、行(E)は、撮像素子が中心より左右を分けて非加算・加算出力モードで駆動している場合、行(F)は、撮像素子が左上隅の領域のみ非加算出力モードで、残りは加算出力モードで駆動の状態から、左下隅の領域のみ非加算出力モードで、残りは加算出力モードで駆動の状態へ変更させた場合である。
【0098】
(D)においては、例えば(A)のような全面位相差動作の中心領域で主要な被写体を捕らえ、一旦合焦後にコントラスト方式で焦点調節を継続し、周辺への被写体変更には位相差検出方式で素早く応答すると言った場合の領域分けの例である。ポートレイトやクローズアップ撮影など比較的中心部で被写体を捕らえる撮影モードで有効となる。
【0099】
(E)においては、被写体の左半分が比較的コントラストが高い領域であり、反面右半分は平均的に低いコントラスト領域となっている。このような場合、位相差方式は評価値の性格上コントラストが無い状態では正しい評価結果が出しにくい。従って、被写体条件に応じて積極的に位相差方式を用いる領域とコントラスト方式を用いる領域を設定するのも有効な方法である。
【0100】
(F)においては、(a)の説明図で、左上隅から左下隅に位相差方式の設定領域を移動している。これは例えば周知の視線検出等を用いて撮影者の意図に応じて設定領域を移動させる事を想定した図である。このように素早いピント調節を行う場合に必要とする領域のみを位相差動作領域を設定することで、全体として読み出すべき画素データ数も少なくなり更に応答性のよい装置の構成が可能になる。
【0101】
以上のように、被写体条件や撮影モードあるいはシステム上の構成に応じて、最適な領域設定を選択することは有効である。
【0102】
<第3の実施形態>
次に、本発明の第3の実施形態における焦点検出方法について以下に説明する。
【0103】
第3の実施形態では、コントラスト評価値を撮像信号より直接求める場合について説明する。つまり、撮像素子を加算出力モードで動作させて得られる信号からコントラスト評価値を求める。
【0104】
以下、本第3の実施形態における撮影及び焦点調節動作を図14に示すフローチャートを参照して説明する。
【0105】
図14は本第3の実施形態における焦点調節動作及び動画撮影動作の手順を示すフローチャートである。ここでは動画撮影モードの時、最初に位相差検出方式で焦点検出を開始し、動画撮影開始でコントラスト方式に移行する場合について説明する。
【0106】
動画撮影モードが設定されると(ステップS200でYES)、まずステップS201にて不図示のレリーズボタンスイッチ第1段階(SW1)の状態を検知する。スイッチがオンであればステップS202にて撮像素子の動作モードを非加算出力モードに設定し、撮像、読み出しの一連動作を行う。そしてステップS203で非加算出力モードで読み出した撮像信号から位相差検出方式の評価値を算出する。続くステップS204でまず位相差検出方式の評価値に基づいた方向と量で撮影レンズの焦点調節を行う。
【0107】
ステップS205では、不図示のレリーズボタンスイッチ第2段階(SW2)の状態を検知する。これは、動画撮影が開始されたかどうかの検知である。まだ開始されていなければ、ステップS201へ戻り、ステップS201からステップS205までの動作を繰り返す事となる。
【0108】
一方、動画撮影が開始されたならばステップS206でセンサの動作モードを加算出力モードに設定し、蓄積、読み出し、記録動作を行い、動画を撮影する。
【0109】
次のステップS207ではステップS206で得られた信号を用いて、コントラスト方式の評価値を算出し、ステップS208ではこの評価値に基づいたレンズ駆動を行う。具体的には微少の駆動量分、前回の評価値より高い評価値を得る方向に移動させる。
【0110】
上記ステップS205からステップS208の動作を動画撮像終了まで、即ちステップS205での不図示のレリーズボタンスイッチ第2段階(SW2)の状態がOFFとなるまで続ける事となる。
【0111】
なお、ステップS201にて不図示のレリーズボタンスイッチ第1段階の状態がOFFと検知されるとステップS200に戻り、動画モードの設定が解除されると、当該処理を終了する。
【0112】
なお、上記第3の実施形態では、動画モードに切り換えた場合に、位相差検出方式とコントラスト方式の切り換え制御を自動的に行う場合について説明したが、本発明はこれに限るものではなく、撮像素子の動作モードの切り換えに応じて、位相差検出方式とコントラスト方式を自動的に制御するものであれば良く、最初一方の焦点検出モードで焦点検出を開始し、何らかの条件により他方の焦点検出モードに移行するものであればよい。
【0113】
上記の通り第3の実施形態によれば、撮像素子の動作モードの切り換えに応じて、位相差検出方式とコントラスト方式の適切な方式を用いて焦点検出を行うように自動的に切り換えられるため、測距用のセンサを別個に設けず、安価でありながら、適切な2つの焦点調節方式のいずれかを利用した迅速な焦点調節制御及び判断が可能になる。
【0114】
<第4の実施形態>
本発明の第4の実施形態における焦点検出方法について以下に説明する。
【0115】
図15は第4の実施形態における焦点調節動作及び撮影動作の手順を示すフローチャートである。ここでは撮影モードが動画モードの場合はコントラスト方式、静止画の場合は位相差検出方式で焦点調節を行う場合について説明する。
【0116】
撮影動作が選択されると、まずステップS301にて不図示のレリーズボタンスイッチ第1段階(SW1)の状態を検知する。スイッチがオンであれば、ステップS302にて撮影モードが動画モードであるかどうかを判定する。動画モードでなく、静止画モードであるならばステップS303へ移行し、静止画撮影動作を行う。ステップS303での動作は図16を参照して後述する。
【0117】
一方、動画モードであるならば、まずステップS304で撮像素子の動作モードを加算出力モードに設定し、電荷蓄積、読み出しの一連の撮像動作を行う。次のステップS305では最新の撮像信号より、コントラスト方式で評価値を算出する。
【0118】
続いてステップS306で上記コントラスト評価値が前回より増加しているか、即ち、合焦状態に向かっているかを判定する。なお、最初の焦点調節動作の場合はステップS306の判定を行わずにそのままステップS308に進む。ステップS306で評価値が下がっているならば、ステップS307でレンズの駆動方向の指示を反転させる。
【0119】
ステップS308では撮影光学系の設計で決まる所定値、例えば合焦幅相当の微少量だけ現在の設定方向にレンズ駆動する。
【0120】
次のステップS309では、不図示のレリーズボタンスイッチ第2段階(SW2)の状態を検知する。即ち、動画撮影が開始されたかどうかを検知する。開始されていなければステップS301へ戻り、ステップS301からステップS309までの動作を繰り返す。
【0121】
一方、動画撮影が開始されたならばステップS310でセンサの動作モードを加算出力モードのまま、蓄積、読み出し、記録動作を行って撮影を行い、ステップS305へと戻る。つまり、動画撮影中はステップS305からステップS310の動作を続けることとなる。
【0122】
尚、ステップS301にて不図示のレリーズボタンスイッチ第1段階の状態がOFFと検知されると、ステップS300に戻り、撮影モードが解除されると当該処理を終了する。
【0123】
図16は本第4の実施形態における静止画撮影での焦点調節動作及び撮影フローの説明図である。上述したように、静止画の場合は位相差検出方式での焦点調節を行う。
【0124】
図15のステップS303にて静止画撮影動作に入ると、まずステップS311にて撮像素子の動作モードを非加算出力モードに設定し、電荷蓄積、読み出しの一連の撮像動作を行う。次のステップS312では撮影して得られた撮像信号より、位相差検出方式の評価値を算出する。
【0125】
続くステップS313で、現在の焦点調節状態を位相差検出方式の評価値に基づいて、合焦状態かを判断する。
【0126】
合焦状態で無いならばステップS314で、最新の評価値に基づいてレンズ駆動を行う。そして再びステップS311へ戻り、上記ステップS313までの動作を合焦と判定されるまで続ける。
【0127】
ステップS313で合焦状態と判定されたならば、次のステップS315で、不図示のレリーズボタンスイッチ第2段階(SW2)の状態を検知する。即ち、静止画撮影が開始されたかどうかを検知する。
【0128】
まだ開始されていなければ、静止画撮影動作から、一旦図15のステップS301へ戻り、ステップS301からステップS303及び図16のステップS311からステップS315までの動作を続ける。
【0129】
一方、静止画撮影が開始されたならばステップS316でセンサの動作モードを加算出力モードとして撮影としての蓄積、読み出し、記録動作を行い、図15のステップS301へと戻る。
【0130】
上記の通り本第4の実施形態によれば、上記第3の実施形態と同様の効果を得ることができる。
【0131】
<第5の実施形態>
本発明の第5の実施形態における焦点検出方法について以下に説明する。
【0132】
図17は第5の実施形態における焦点調節動作及び撮影動作の手順を示すフローチャートである。ここでは撮影モードが静止画モードの場合であって、被写体のコントラストが低い場合はコントラスト方式、コントラストが十分高い場合は位相差検出方式での焦点調節を行う場合について説明している。これは、位相差検出方式の精度が被写体のコントラスト状態に大きく左右されるからである。
【0133】
まず、図17のステップS400にて静止画撮影動作に入ると、まずステップS401にて撮像素子の動作モードを加算出力モードに設定し、電荷蓄積、読み出しの一連の撮像動作を行う。
【0134】
次のステップS402では上記の撮像信号を用いて、コントラスト方式の評価値を算出する。続くステップS403で、被写体のコントラスト状態を上記評価値で判定し、位相差検出方式で十分合焦状態に制御可能なコントラストの範囲かを判断する。これは位相差検出方式での焦点調節動作の方が迅速に制御可能であるため、なるべく位相差検出方式で焦点調節を行いたいからである。
【0135】
被写体が位相差検出方式で十分合焦状態に制御可能なコントラスト状態ならば、ステップS404にて撮像素子の動作モードを非加算出力モードに設定し、電荷蓄積、読み出しの一連の撮像動作を行う。次のステップS405で上記の撮像信号より位相差検出方式での評価値を算出し、続くステップS406で、現在の焦点調節状態を位相差検出方式での評価値に基づいて、合焦状態かを判定する。
【0136】
合焦状態で無いならば、ステップS407で、最新の評価値に基づいてレンズ駆動を行ってから再びステップS404へ戻り、上記ステップS406までの動作を合焦と判定されるまで続ける。また、ステップS406で合焦と判定されると、ステップS409に進む。
【0137】
一方、ステップS403で、現在の被写体のコントラスト状態では位相差検出方式で十分合焦状態に制御不可能と判断されたならば、ステップS408にてコントラスト方式で一般的に行われるスキャン制御による焦点調節動作を行う。この動作は図18を参照して後述する。
【0138】
ステップS406あるいは図17のスキャン制御にて合焦状態と判定されたならば、次のステップS409で、不図示のレリーズボタンスイッチ第2段階(SW2)の状態を検知する。即ち、静止画撮影が開始されたかどうかを検知する。開始されていなければ、ステップS400に戻る。
【0139】
一方、静止画撮影が開始されたならばステップS410で撮像素子の動作モードを加算出力モードで蓄積、読み出し、記録動作を行って撮像し、ステップS400に戻る。ステップS400で静止画撮影が解除されると、当該処理を終了する。
【0140】
図18は、図17のステップS403で現在の被写体コントラスト状態では位相差検出方式で十分合焦状態に制御不可能と判断された場合の焦点調節動作を説明するフローチャートである。先述したように、この場合はコントラスト方式で焦点調節を行う。
【0141】
まず、ステップS411で、既に合焦判定済みかを判断する。合焦状態であるならばそのまま焦点調節動作終了し、図17のステップS409に進む。
【0142】
合焦状態で無いならば、ステップS412にて、撮影光学系の焦点状態を至近端へ移動させる。スキャン開始のレンズ位置である。次にステップS413で撮像素子の動作モードを加算出力モードに設定し、電荷蓄積、読み出しの一連の撮像動作を行う。
【0143】
次のステップS414では最新の撮像信号より、コントラスト方式の評価値を算出し、現在のレンズ位置と評価値を合わせて記憶する。
【0144】
続くステップS415では撮影光学系の設計で決まる所定値、例えば合焦幅相当の微少量だけ無限端方向にレンズ駆動する。
【0145】
次のステップS416でレンズ位置が無限端まで到達したか判定を行う。即ち、スキャン動作終了位置まで駆動完了かを検知する。まだ無限端まで到達していなければ、ステップS413へ戻り、ステップS416までのスキャン動作を繰り返す。
【0146】
一方、無限端まで到達したならば、ステップS417でステップS414のスキャン動作で得られたレンズ位置とコントラスト評価値のデータに基づき、最も評価値の大きい位置へレンズを駆動し、ステップS418で合焦判定を行い、スキャン制御動作による焦点調節動作を終了する。
【0147】
上記の通り本第5の実施形態によれば、被写体のコントラスト状態に応じて焦点調節方式を自動的に切り換えるため、測距用のセンサを別個に設けず、安価でありながら、適切な2つの焦点調節方式のいずれかを利用した迅速な焦点調節制御及び判断が可能になる。
【0148】
【他の実施形態】
以上の実施の形態のソフト構成とハード構成は、適宜置き換えることができるものである。
【0149】
なお、本発明は、以上の各実施の形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。
【0150】
また、本発明は、特許請求の範囲の構成、または、実施形態の構成の全体若しくは一部が、1つの装置を形成するものであっても、他の装置と結合するようなものであっても、装置を構成する要素となるようなものであってもよい。
【0151】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。
【0152】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0153】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図10及び図11、図14、図15及び図16、又は図17及び図18に示すフローチャートに対応するプログラムコードが格納されることになる。
【0154】
【発明の効果】
上記の通り本発明によれば、専用のセンサを用いることなく、撮像用センサを使った安価な構成で、位相差検出方式及びコントラスト検出方式の両方式による迅速な焦点検出が可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態における撮像エリアセンサ部の回路構成図である。
【図2】本発明の実施の形態の撮像素子受光部の断面図である。
【図3】本発明の実施の形態における撮像素子の光電変換部及びカラーフィルターの配置を説明する図である。
【図4】本発明の実施の形態におけるセンサを非加算出力モードで駆動するためのタイミングチャートである。
【図5】本発明の実施の形態におけるセンサを加算出力モードで駆動するためのタイミングチャートである。
【図6】本発明の実施の形態における瞳分割方法の説明図である。
【図7】本発明の実施の形態における瞳分割方法の説明図である。
【図8】位相差検出方式による焦点調節動作の概念を示す図である。
【図9】本発明の撮像素子を用いた撮像装置の構成を示すブロック図である。
【図10】本発明の第1の実施形態における焦点調節動作手順を示すフローチャートである。
【図11】本発明の第1の実施形態における焦点調節動作手順を示すフローチャートである。
【図12】本発明の第2の実施形態における撮像素子の駆動方法及び読み出し領域の組み合わせを概念的に説明する図である。
【図13】本発明の第2の実施形態における撮像素子の駆動方法及び読み出し領域の組み合わせを概念的に説明する図である。
【図14】本発明の第3の実施形態における動画撮影及び焦点調節動作手順を示すフローチャートである。
【図15】本発明の第4の実施形態における撮影及び焦点調節動作手順を示すフローチャートである。
【図16】本発明の第4の実施形態における静止画撮影及び焦点調節動作手順を示すフローチャートである。
【図17】本発明の第5の実施形態における静止画撮影及び焦点調節動作手順を示すフローチャートである。
【図18】本発明の第5の実施形態における静止画撮影及び焦点調節動作手順を示すフローチャートである。
【符号の説明】
1 第1光電変換部
51 第2光電変換部
2,52 フォトゲート
3,53 転送スイッチMOSトランジスタ
4 リセット用MOSトランジスタ
5 ソースフォロワアンプMOSトランジスタ
6 垂直選択スイッチMOSトランジスタ
7 負荷MOSトランジスタ
8 暗出力転送MOSトランジスタ
9 明出力転送MOSトランジスタ、
10 暗出力蓄積容量
11 明出力蓄積容量
12,54 垂直転送MOSトランジスタ
13,55 垂直出力線リセットMOSトランジスタ
14 差動出力アンプ
15 垂直走査部
16 水平走査部
22 カラーフィルター
23 マイクロレンズ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device capable of capturing a still image and / or a moving image with a large number of two-dimensionally configured photoelectric conversion devices, and a focus state detection method in an imaging device using the imaging device.
[0002]
[Prior art]
Conventionally, there are a phase difference detection method (referred to as a shift method) and a contrast detection method (referred to as a blur method) as a general method using a light beam that has passed through a photographing lens in an automatic focus detection / adjustment method of an image pickup device. .
[0003]
The phase difference detection method is often used in a single-lens reflex camera using a silver salt film, and is the technology that has contributed most to the practical application of an auto focus (AF) single-lens reflex camera. In the phase difference detection method, the light beam that has passed through the exit pupil of the photographic lens is divided into two, and the two divided light beams are received by a set of focus detection sensors, and the amount of deviation of the signal that is output according to the amount of received light That is, the amount of deviation of the photographing lens in the focus direction is directly obtained by detecting the amount of relative positional deviation in the beam splitting direction. Therefore, once the accumulation operation is performed by the focus detection sensor, the amount and direction of the focus shift can be obtained, and a high-speed focus adjustment operation is possible. However, in order to divide the light beam that has passed through the exit pupil of the photographic lens into two and obtain signals corresponding to the respective light beams, it is common to provide two systems for focus detection optical system and sensors, Conversion from the detected signal shift amount to the focus shift amount is also required.
[0004]
On the other hand, the contrast detection method is a method often used in video movie equipment (camcorder) for video recording and electronic still cameras. Unlike the phase difference detection method, an imaging sensor is used as a focus detection sensor. Focusing on the output signal of the image sensor, particularly information on high-frequency components (contrast information), the position of the photographing lens having the largest evaluation value is used as the in-focus position. However, as it is said to be a hill-climbing method, it is necessary to find the evaluation value while moving the photographic lens by a small amount and move it until it is determined that the evaluation value is the maximum as a result. It is said that. However, since the evaluation is performed using a signal obtained from the image sensor, a high accuracy is obtained.
[0005]
A method for realizing both of the above two methods using a line sensor for focus detection is disclosed in Japanese Patent Application Laid-Open No. 59-146010.
[0006]
Further, the present applicant has applied for a focus detection device capable of obtaining an evaluation value of a phase difference detection method while being an image sensor as Japanese Patent Application Laid-Open No. 2000-156823 and Japanese Patent Application No. 2000-117510.
[0007]
On the other hand, Japanese Patent Application Laid-Open No. 10-51672 proposes to use both focus detection systems for both types in an imaging apparatus having two shooting modes of silver salt photography and video movie.
[0008]
[Problems to be solved by the invention]
However, in Japanese Patent Laid-Open No. 2000-156823, a part of pixels of the image sensor is configured to output a focus detection signal other than for forming an image signal, that is, a phase difference detection method. However, the contrast detection method is not disclosed.
[0009]
On the other hand, in Japanese Patent Application No. 2000-117510, the detection direction in the same distance measurement area is orthogonal to each other by performing the accumulation / focus detection operation twice using both the phase difference detection method and the contrast detection method. A focus detection device is proposed. However, since accumulation is performed twice for the focus detection operation, it is not fast enough.
[0010]
In Japanese Patent Laid-Open No. 59-146919, focus adjustment is performed quickly by using both methods. However, since a sensor array dedicated to focus detection is used, the configuration of the apparatus becomes complicated.
[0011]
Furthermore, Japanese Patent Laid-Open No. 10-51672 comprises both the phase difference detection method and the contrast detection method using separate sensors, which again complicates the apparatus configuration.
[0012]
The present invention has been made in view of the above-mentioned problems, and it is possible to quickly detect a focus by both a phase difference detection method and a contrast detection method with an inexpensive configuration using an imaging sensor without using a dedicated sensor. It aims to make it possible.
[0013]
[Means for Solving the Problems]
In order to achieve the above object, an imaging apparatus of the present invention includes a plurality of pixels, and each pixel receives a plurality of photoelectric conversion regions and a signal obtained from the plurality of photoelectric conversion regions for each photoelectric conversion region. An image pickup device having an output system capable of outputting, and the plurality of photoelectric conversion regions; Signal output from each From , And calculate the evaluation value of the phase difference and the contrast of the subject image, respectively. Computing means; After driving the focus lens in the first mode based on the phase difference and performing focusing control, the focus lens is driven in the second mode based on the evaluation value. Perform focus control The focus lens is driven in the same direction when switching from the first mode to the second mode. Focusing control means.
[0019]
In order to achieve the above object, each pixel includes a plurality of pixels, and each pixel outputs a plurality of photoelectric conversion regions and a signal obtained from the plurality of photoelectric conversion regions for each photoelectric conversion region. The focus of the present invention for an image pickup apparatus having an image pickup device having an image pickup device and an image pickup optical system Adjustment The method includes the imaging device Each of the plurality of photoelectric conversion regions A reading step of reading a signal from, Read in the reading step signal To calculate the evaluation value of the phase difference and the contrast of the subject image, respectively. A calculation process; A phase difference focusing step in which focus control is performed by driving the focus lens in the first mode based on the phase difference; and the focus lens is moved in the second mode based on the evaluation value after the phase difference focusing step. Drive Perform focus control contrast Together Kako About A control step of controlling the phase difference focusing step and the contrast focusing step so that the driving directions of the focus lens in the switching from the first mode to the second mode are the same direction; Have
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
[0023]
First, an image sensor used in the embodiment of the present invention will be described.
[0024]
A CMOS process compatible sensor (hereinafter referred to as “CMOS sensor”), which is one of the amplification type solid-state imaging devices, is used as the imaging element.
[0025]
One of the features of the CMOS sensor is that the number of masks and the number of process steps can be greatly reduced as compared with the CCD because the MOS transistor in the light receiving portion and the MOS transistor in the peripheral circuit can be formed in the same step. Taking advantage of this feature, in this embodiment, two photoelectric conversion units are configured in one pixel, and a floating diffusion (FD) region and a source follower amplifier, which are conventionally provided in each photoelectric conversion unit, are arranged in two photoelectric conversion units in each pixel. One is formed per one. The two photoelectric conversion regions are connected to the FD region via a MOS transistor switch.
[0026]
Accordingly, since the charges of the two photoelectric conversion units can be transferred simultaneously or separately to the floating diffusion unit, the signal charges of the two photoelectric conversion units can be added only by the ON / OFF timing of the transfer MOS transistor connected to the FD region. Therefore, non-addition read control can be easily performed. Using this structure, in this embodiment, an addition output mode for performing photoelectric conversion output by a light beam from the entire exit pupil of the imaging optical system and a photoelectric conversion output by a light beam from a part of the exit pupil of the imaging optical system are performed. It is possible to switch between non-addition output modes performed separately. In the addition output mode in which signals are added at the pixel level, a signal with less noise can be obtained as compared with a method of adding signals after they are read out.
[0027]
FIG. 1 is a circuit configuration diagram of an area sensor unit in an image sensor. This diagram shows a two-dimensional × two-row pixel two-dimensional area sensor for simplification of the drawing, but actually has a very large number of pixels and obtains a practical resolution.
[0028]
In FIG. 1, reference numerals 1 and 51 denote first and second photoelectric conversion units each including a MOS transistor gate and a depletion layer under the gate, 2 and 52 are photogates, 3 and 53 are transfer switch MOS transistors, and 4 is a reset MOS transistor. 5 is a source follower amplifier MOS transistor, 6 is a vertical selection switch MOS transistor, 7 is a load MOS transistor of the source follower, 8 is a dark output transfer MOS transistor, 9 is a light output transfer MOS transistor, and 10 is a dark output storage capacitor C TN , 11 is the bright output storage capacity C TS , 12 and 54 are vertical transfer MOS transistors, 13 and 55 are vertical output line reset MOS transistors, 14 is a differential output amplifier, 15 is a vertical scanning unit, and 16 is a horizontal scanning unit.
[0029]
FIG. 2 shows a cross-sectional view of the light receiving unit (for example, 30-11). The light receiving units 30-21, 30-12, 30-22, and the like have the same structure.
[0030]
In this figure, 17 is a P-type well, 18 and 58 are gate oxide films, 19 and 59 are first-layer poly-Si, 20, 50 are second-layer poly-Si, and 21 is an n + floating diffusion region.
[0031]
The FD region 21 is connected to the first photoelectric conversion unit 1 and the second photoelectric conversion unit 51 via the transfer MOS transistors 3 and 53. In the figure, the first photoelectric conversion unit 1 and the second photoelectric conversion unit 51 are drawn apart from each other, but in reality, the boundary portion is extremely small, and the first photoelectric conversion unit 1 and the second photoelectric conversion unit are practically small. The part 51 may be regarded as being in contact.
[0032]
Reference numeral 22 denotes a color filter that transmits light in a specific wavelength range, and reference numeral 23 denotes a microlens for efficiently guiding a light beam from the imaging optical system to the first and second photoelectric conversion units 1 and 51.
[0033]
FIG. 3 is a plan view showing the arrangement of pixels, photoelectric conversion units, and color filters of the image sensor according to the present embodiment. Here, only 4 columns × 4 rows are extracted and shown. Each pixel including the light receiving portion and the MOS transistor is laid out in a substantially square shape and is arranged adjacent to the grid. Each of the pixels 70-11 to 71-44 has the same configuration as the light receiving units 30-11, 30-21, 30-12, and 30-22 described above with reference to FIG.
[0034]
In addition, this area sensor has an R (red), G (green), and B (blue) color filter alternately arranged in each pixel to form a Bayer array in which four pixels are a set. In the Bayer array, the overall image performance is improved by arranging more G pixels that are easily felt when an observer views an image than R and B pixels. In general, in this type of image sensor, the luminance signal is generated mainly from G, and the color signal is generated from R, G, and B.
[0035]
As described above, each pixel has two photoelectric conversion units. R, G, and B attached to the light receiving portion of each pixel indicate that red, green, and blue color filters are provided, respectively, and 1 or 2 following RGB is the first photoelectric conversion portion or the second photoelectric conversion. This represents the distinction between parts. For example, R1 is a first photoelectric conversion unit having a red color filter, and G2 means a second photoelectric conversion unit having a green color filter.
[0036]
Furthermore, in order to effectively use the light beam emitted from the imaging optical system in each pixel, it is necessary to provide a condensing lens in each light receiving part and to deflect light to reach other than the light receiving part to the light receiving part. It becomes. For this purpose, a microlens 23 shown in FIG. 2 is provided in front of the image sensor. The microlens 23 of each pixel is an axisymmetric spherical lens or aspherical lens in which the center of the light receiving portion and the optical axis approximately coincide with each other, each having a rectangular effective portion, and having a light incident side as a convex shape and a lattice shape Are closely arranged.
[0037]
The power of each microlens 23 is set so as to project each light receiving portion of the image sensor onto the exit pupil of the imaging optical system. At this time, the projection magnification is set so that the projected image of each light receiving unit is slightly larger than the exit pupil of the stop of the imaging optical system, and the relationship between the amount of light incident on the light receiving unit and the stop of the imaging optical system is approximately linear. To do. In this way, shooting according to the subject brightness becomes possible, and focus detection can be performed by operating the two photoelectric conversion units separately.
[0038]
Next, a sensor driving method in the present embodiment will be described.
[0039]
As described above, by dividing the photoelectric conversion unit into two, it is possible to easily perform addition reading or non-addition reading control of the accumulated charges in the two regions. In the present embodiment, the operation is performed in the addition output mode for imaging and luminance calculation and in the non-addition output mode for focus detection.
[0040]
First, an outline of the charge accumulation operation of the image sensor will be described with reference to FIGS.
[0041]
Control pulse φPG to expand the depletion layer under the photogates 2 and 52 00 , ΦPG e0 Apply a positive voltage to The FD unit 21 controls the control pulse φR to prevent blooming during accumulation. 0 Set the power supply voltage V to DD It is fixed to. When photons hν are irradiated and carriers are generated under the photogates 2 and 52, electrons are accumulated in the depletion layer under the photogates 2 and 52, and holes are discharged through the P-type well 17.
[0042]
An energy barrier by the transfer MOS transistor 3 is formed between the photoelectric conversion unit 1 and the FD unit 21, and an energy barrier by the transfer MOS transistor 53 is formed between the photoelectric conversion unit 51 and the FD unit 21. For this reason, electrons are present under the photogates 2 and 52 during photocharge accumulation. Thereafter, when the horizontal scanning unit 16 is scanned and the same charge accumulation operation is sequentially performed for all the photoelectric conversion units, the image is accumulated on the entire surface.
[0043]
In the read state, the control pulse φPG is used so that the barrier below the transfer MOS transistor 3 or 53 is eliminated and the electrons below the photogates 2 and 52 are completely transferred to the FD section 21. 00 , ΦPG e0 , Control pulse φTX 00 , ΦTX e0 Set.
[0044]
Next, the reading operation of the image sensor will be described with reference to the timing chart of FIG. This timing chart is for the non-addition output mode in which the charges of the two photoelectric conversion units 1 and 51 are independently output, and is used for reading the focus detection image.
[0045]
First, in response to a timing signal output from the horizontal scanning unit 16, the control pulse φL is set to high to reset the horizontal output line. Also, the control pulse φR 0 , ΦPG 00 , ΦPG e0 Is set high, the reset MOS transistor 4 is turned on, and the first-layer poly Si 19 of the photogate 2 is set high. Time T 0 Control pulse φS 0 Is turned on, the vertical selection switch MOS transistor 6 is turned on, and the light receiving unit 30-11 is selected. Next, control pulse φR 0 Is set low, the reset of the FD region 21 is stopped, the FD region 21 is brought into a floating state, and the source-follower amplifier MOS transistor 5 is made through between the gate and the source, and then the time T 1 Control pulse φT N , And the dark voltage of the FD region 21 is stored in the storage capacitor C by the source follower operation. TN 10 to output.
[0046]
Next, in order to perform charge output of the first photoelectric conversion unit 1, a control pulse φTX of the first photoelectric conversion unit 1 is used. 00 Is set to high and the transfer switch MOS transistor 3 is turned on, and then the time T 2 Control pulse φPG 00 Lower as low. At this time, a voltage relationship is preferable in which the potential well that has spread under the photogate 2 is raised so that photogenerated carriers are completely transferred to the FD region 21.
[0047]
Time T 2 Thus, the electric charge from the photoelectric conversion unit 1 of the photodiode is transferred to the FD region 21, so that the potential of the FD region 21 changes according to light. At this time, since the source follower amplifier MOS transistor 5 is in a floating state, the potential of the FD region 21 is set to the time T Three Control pulse φT s Storage capacity C TS 11 is output. At this time, the dark output and the light output of the first photoelectric conversion unit 1 are respectively stored in the storage capacitor C. TN 10 and C TS 11 and the time T Four The vertical output line reset MOS transistors 13 and 55 are turned on by resetting the control pulse φHC to be temporarily high to reset the vertical output line. Output light output. Storage capacity C TN 10 and C TS 11 differential output amplifier 14 allows differential output V OUT By taking this, a signal with good S / N from which random noise and fixed pattern noise of the pixel are removed can be obtained.
[0048]
Note that the photocharges of the light receiving unit 30-12 are stored in the respective storage capacitors C simultaneously with the light receiving unit 30-11. TN And C TS In the readout, the timing pulse from the vertical scanning unit 15 is delayed by one light receiving portion, read out to the vertical output line, and output from the differential output amplifier 14. Since it is the difference in timing pulse of one light receiving portion, the accumulation time of both can be regarded as substantially the same.
[0049]
Next, storage capacity C TS After the bright output is output to 11, the control pulse φR 0 Is made high, the reset MOS transistor 4 is turned on, and the FD region 21 is set to the power supply voltage V DD Reset to.
[0050]
After the vertical transfer of the first photoelectric conversion unit 1 is completed, the second photoelectric conversion unit 51 is read. Reading of the second photoelectric conversion unit 52 is performed with the control pulse φR. 0 Is set low, the reset of the FD region 21 is stopped, the FD region 21 is brought into a floating state, and the source-follower amplifier MOS transistor 5 is made through between the gate and the source, and then the time T Five Control pulse φT N , And the dark voltage in the FD region 21 is again stored by the source follower operation. TN 10 to output.
[0051]
In order to perform the photoelectric conversion output of the second photoelectric conversion unit 51, the control pulse φTX of the second photoelectric conversion unit 51 e0 Is set to high and the transfer switch MOS transistor 53 is turned on, and then the time T 6 Control pulse φPG e0 Lower as low.
[0052]
Time T 6 Thus, the electric charge from the second photoelectric conversion unit 51 of the photodiode is transferred to the FD region 21, so that the potential of the FD region 21 changes according to light. At this time, since the source follower amplifier MOS transistor 5 is in a floating state, the potential of the FD region 21 is set to the time T 7 Control pulse φT s Storage capacity C TS 11 is output. At this time, the dark output and the light output of the second photoelectric conversion unit 51 are respectively stored in the storage capacitor C. TN 10 and C TS 11 at time T 8 The vertical output line reset MOS transistors 13 and 55 are turned on by resetting the control pulse φHC to be temporarily high to reset the vertical output line. Output light output. And storage capacity C TN And C TS On the basis of the output from the differential output V of the second photoelectric conversion unit by the differential amplifier 14 OUT Get.
[0053]
With the above driving, the first and second photoelectric conversion units 1 and 51 can be read independently.
[0054]
Thereafter, by scanning the horizontal scanning unit and performing the reading operation in the same manner, independent outputs of all the photoelectric conversion units can be obtained. That is, in the case of the next column, first, the control pulse φS 1 To high, then φR 1 To low, then control pulse φT N , ΦTX 01 , And control pulse φPG 01 Low, control pulse φT S , And the control pulse φHC is temporarily high, the signals of the first photoelectric conversion units of the light receiving units 30-21 and 30-22 are read. Subsequently, the control pulse φTX e1 , ΦPG e1 In the same manner as described above, a control pulse is applied to read out signals from the second photoelectric conversion units of the light receiving units 30-21 and 30-22.
[0055]
Next, an addition output mode for outputting a signal based on a light beam from all pupils of the objective lens by adding the signals of the first and second photoelectric conversion units in the FD region 21 will be described. This operation mode corresponds to image output by a normal image sensor.
[0056]
FIG. 5 shows a timing chart when the signals of the first and second photoelectric conversion units are added. In FIG. 4 showing the control in the non-addition output mode, the control pulse φTX 00 And control pulse φTX e0 , Control pulse φPG 00 And control pulse φPG e0 However, the timing is the same for addition. That is, in order to simultaneously read from the first photoelectric conversion unit 1 and the second photoelectric conversion unit 51 of the light receiving unit 30-11, first, the control pulse φT N To read the noise component from the horizontal output line and control pulse φTX 00 And control pulse φTX e0 And control pulse φPG 00 And control pulse φPG e0 Are simultaneously transferred to the FD area 21 as high and low, respectively. As a result, the signals of the upper and lower photoelectric conversion units 1 and 51 can be added simultaneously in the FD region 21. Since signal addition is performed at the pixel level, it is not affected by amplifier noise, and an image with a high S / N that cannot be obtained by addition after signal readout is obtained.
[0057]
With the configuration of the image sensor described above and the driving method thereof, a single sensor can function as a light receiving element for imaging and focus detection.
[0058]
Here, regarding a method for adjusting the focus on a subject, a method for detecting a defocus amount, which is a focus shift amount of an imaging optical system, using a phase difference detection method that is a well-known technique will be described first.
[0059]
6A and 6B, for easy understanding, the light beam incident on the first photoelectric conversion unit and the light beam incident on the second photoelectric conversion unit in the light receiving unit 72-11 illustrated in FIG. It is the figure which divided and showed each of these. 6A showing the light beam incident on the first photoelectric conversion unit, FIG. 6B shows the light beam incident from the lower side of the figure on the first photoelectric conversion unit G1 and incident on the second photoelectric conversion unit. ), It can be seen that the light beam from above in the figure is incident on the second photoelectric conversion unit G2.
[0060]
That is, in the entire image sensor, the light beam incident on the second photoelectric conversion unit at any position of the area sensor unit is a light beam that passes through half of the exit pupil of the imaging optical system. On the other hand, the light beam incident on the first photoelectric conversion unit of the entire imaging device may be considered as being inverted with the optical axis of the imaging lens as the symmetry axis. That is, the division of the exit pupil of the imaging optical system is as shown in FIG.
[0061]
In FIG. 7, reference numeral 220 denotes an exit pupil of the imaging optical system. 221 is a first region on the exit pupil through which the light beam incident on the first photoelectric conversion unit of the image sensor passes, and 222 is a second region on the exit pupil through which the light beam incident on the second photoelectric conversion unit of the image sensor passes. It is an area. That is, the image signal obtained from the first photoelectric conversion unit and the image signal obtained from the second photoelectric conversion unit are both formed from a half light beam obtained by substantially dividing the exit pupil of the imaging optical system into two.
[0062]
In the optical system as described above, for example, when an object image is formed in front of the image sensor, the half light beam passing through the right side of the exit pupil is shifted to the left side on the image sensor, and the left side of the exit pupil is The passing half-beam is shifted to the right. That is, a pair of image signals formed by a light beam that passes through each half of the pupil of the imaging optical system has a phase shifted in the left-right direction in FIG. 3 according to the imaging state of the object image. Therefore, in order to obtain the defocus amount, a shift amount that is a relative positional relationship between two subject images may be obtained from the correlation. An example of a calculation method for specifically obtaining this will be described with reference to FIG.
[0063]
The area U (the sum of the smaller values of the A and B images) of the AND region of the image signal indicating the two subject images (A and B images) shown in FIG. 8 is the one image (A image in FIG. 8). The image signal is shifted by one pixel (1 bit) of the photoelectric conversion element, and the maximum value is obtained. If the two images coincide with each other, the maximum value is inevitably obtained. Therefore, the shift amount that causes the maximum value is the relative shift amount of the two images. This deviation amount and the conversion coefficient to the defocus amount determined by the imaging optical system are obtained.
[0064]
The other well-known technique, a contrast detection method, will also be briefly described.
[0065]
In this method, the brightness (output of the image sensor) is detected for every minute area in the entire area or a part of the image to be photographed, and the focus is based on the difference in brightness between adjacent areas, that is, the contrast. Whether or not.
[0066]
In general, an area sensor is used to obtain a difference in received light amount (difference in pixel output) between adjacent pixels, and the sum of absolute values of the differences is used as an evaluation value as a contrast value. When the photographic lens is focused on the subject, the contrast value of the area sensor inevitably increases, and conversely, when the focus is not focused on the subject. Since there are fluctuations due to the characteristics of the subject itself, there is no standard evaluation value for determining in-focus, but the maximum evaluation value is always obtained when in-focus.
[0067]
Therefore, the focus adjustment operation is called a hill-climbing method, and the focus position of the photographic lens is moved every minute section, and after confirming that the evaluation value is maximum, the focus position is determined. It is not possible to obtain information on the first moving direction, that is, whether the current pin is the front pin or the rear pin.
[0068]
FIG. 9 is a diagram showing an image pickup apparatus such as a digital still camera or a digital video camera using the above-described solid-state image pickup device. In FIG. 9, 101 is a barrier that serves as a lens protect and a main switch, and 102 is an optical image of a subject. A lens that forms an image on the solid-state image sensor 104; 103, a diaphragm for adjusting the amount of light that has passed through the lens 102; 104, a solid-state image sensor having the above-described configuration for capturing the subject imaged by the lens 102 as an image signal; Reference numeral 105 denotes an image pickup signal processing circuit including a variable gain amplifier for amplifying an image signal output from the solid-state image sensor 104 and a gain correction circuit for correcting the gain value. 106 denotes an image output from the solid-state image sensor 104. An A / D converter that performs analog-digital conversion of a signal. A signal processing unit 107 performs various corrections on the image data output from the A / D converter 106 and compresses the data, and 108 indicates a solid-state image sensor 104, an imaging signal processing circuit 105, and an A / D converter 106. A timing generation unit that outputs various timing signals to the signal processing unit 107, 109 an overall control / calculation unit that controls various calculations and the entire still video camera, and 110 a memory unit for temporarily storing image data, Reference numeral 111 denotes an interface unit for recording or reading on a recording medium, 112 denotes a removable recording medium such as a semiconductor memory for recording or reading image data, and 113 denotes an interface unit for communicating with an external computer or the like. is there.
[0069]
Next, an outline of the camera operation at the time of shooting by the imaging apparatus having the above configuration will be described.
[0070]
When the barrier 101 is opened, the main power supply is turned on, then the control system power supply is turned on, and the power supply of the imaging system circuit such as the A / D converter 106 is turned on. Then, in order to control the exposure amount, the overall control / arithmetic unit 109 opens the aperture 103, and the signal output from the solid-state image sensor 104 is converted by the A / D converter 106 and then sent to the signal processing unit 107. Entered. Based on this data, exposure calculation is performed by the overall control / calculation unit 109. The brightness is determined based on the result of the photometry, and the overall control / calculation unit 109 controls the aperture according to the result. Next, based on the signal output from the solid-state imaging device 104, the overall control / calculation unit 109 performs a focus adjustment described later. Thereafter, the lens is driven to determine whether or not it is in focus. When it is determined that the lens is not in focus, the lens is driven again to perform distance measurement. Then, after the in-focus state is confirmed, the actual shooting starts. When shooting is completed, the image signal output from the solid-state image sensor 104 is A / D converted by the A / D converter 106, passes through the signal processing unit 107, and is written in the memory unit 110 by the overall control / calculation unit 109. Thereafter, the data stored in the memory unit 110 is recorded on a removable recording medium 112 such as a semiconductor memory through the recording medium control I / F unit 111 under the control of the overall control / arithmetic unit 109. Further, the image processing may be performed by directly entering the computer or the like through the external I / F unit 113.
[0071]
<First Embodiment>
In the first embodiment, a focus detection method using the imaging device having the above configuration and capable of being driven in the addition output mode and the non-addition output mode will be described below.
[0072]
In the first embodiment, the contrast evaluation value is also obtained directly from the signal for obtaining the evaluation value of the phase difference detection method. That is, using two signals obtained by operating the image sensor in the non-addition output mode, the shift amount is obtained by the phase difference detection method, and at the same time, the contrast evaluation value is obtained from at least one signal by the contrast method. Although the two signals in the non-addition output mode have a difference in the exit pupil area of the photographing lens, basically the same evaluation can be made in contrast.
[0073]
In the present invention, since the phase difference detection method and the contrast method can be simultaneously evaluated, the contrast evaluation value is also obtained each time the driving direction and the driving amount of the photographing lens are obtained by the phase difference detection method. However, the lens can be driven first with the direction and amount determined by the phase difference detection method.
[0074]
The focus adjustment operation in the first embodiment will be described below with reference to the flowcharts shown in FIGS.
[0075]
FIG. 10 is a flowchart for explaining the basic operation of the focus adjustment in the first embodiment of the present invention.
[0076]
When focus adjustment is started in step S100, first, in step S101, the operation mode of the image sensor is set to the non-addition output mode. In step S102, an imaging operation is performed to read a non-added image signal.
[0077]
In steps S103 and S104, a contrast evaluation value and a phase difference evaluation value are calculated, respectively.
[0078]
In the subsequent step S105, first, the focus of the photographing lens is adjusted according to the direction and amount based on the phase difference evaluation value. Here, the lens driving amount is driven to be smaller than the evaluation value by a predetermined amount (for example, the in-focus width). This is because the driving direction of the lens in the subsequent hill climbing control is aligned in the same direction. Therefore, the focus determination at this point is not performed. In step S106, focus adjustment based on a known contrast evaluation value is performed as hill-climbing control. The operation in step S106 will be described later in detail with reference to FIG.
[0079]
In step S107, it is determined whether focusing by hill-climbing control has been performed. If focusing is achieved, the non-addition output mode of the image sensor is canceled in step S108. On the other hand, when the in-focus state has not been reached, the process returns to step S105, and the lens driving based on the latest phase difference evaluation value is started again. According to the present invention, since the evaluation values of both the phase difference detection method and the contrast method can always be obtained by one accumulation operation, this operation can be performed quickly.
[0080]
As described above, control that combines the phase difference detection method and the contrast method is performed, and the focus adjustment operation is terminated in step S109.
[0081]
FIG. 11 is a flowchart showing the procedure of hill climbing control performed in step S106 of FIG.
[0082]
When the hill climbing control is started, an imaging operation is first performed in step S111. Here, the accumulated charge is read out in the non-addition output mode. Using the read image signal, a contrast evaluation value and a phase difference evaluation value are calculated in steps S112 and S113, respectively.
[0083]
In step S114, it is determined whether the contrast evaluation value obtained this time is higher than the previous evaluation value.
[0084]
If the contrast evaluation value has increased, the sign of the phase difference evaluation value is also confirmed in step S115. Here, attention is paid only to the sign of the phase difference evaluation value, that is, the focus shift direction. This is because if both the increase in the contrast evaluation value and the coincidence of the signs of the phase difference evaluation values are satisfied, it can be determined that the vehicle is smoothly moving toward the in-focus area. Therefore, when these conditions are satisfied, in step S116, the lens is moved in the same direction by a predetermined minute amount, and the hill-climbing control is continued again from step S111.
[0085]
While the hill-climbing control is continuing, if the contrast evaluation value is lower than the previous time in step S114, the sign inversion of the phase difference evaluation value is determined in step S117. If the contrast evaluation value decreases and the sign of the phase difference evaluation value is also inverted, it is considered that the focal point has been passed.
[0086]
Accordingly, if the above condition is satisfied, it is determined that the in-focus point has passed in step S118, the process proceeds to step S119, the lens is driven to the position where the contrast evaluation value is the maximum, that is, the previous position, and the in-focus determination is performed in step S120. End control.
[0087]
On the other hand, when the sign of the phase difference evaluation value is not inverted in step S117, or when the sign of the phase difference evaluation value is inverted in step S115, the behavior of the contrast evaluation value and the phase difference evaluation value does not correspond to each other. It is.
[0088]
In the first embodiment, it is determined that this state is not yet the stage for performing the hill climbing control, and the hill climbing control is terminated while the out-of-focus determination is made in step S121. After that, as described above, the focus determination determination in step S107 in FIG. 10 returns to step S105, and the lens driving based on the phase difference evaluation value is performed again.
[0089]
As described above, according to the first embodiment of the present invention, since the evaluation values of both the phase difference detection method and the contrast method can be obtained simultaneously by a single accumulation operation from the image sensor used for photographing an image, It is not necessary to provide a separate sensor, and although it is inexpensive, it is possible to perform quick focus adjustment control and determination even when two focus adjustment methods are used in combination.
[0090]
<Second Embodiment>
Next, a method for driving an image sensor according to the second embodiment of the present invention, particularly, a region will be described.
[0091]
12 and 13 show examples of combinations of image sensor driving methods and readout regions.
[0092]
12 and 13, the distribution image diagram of the column (a) drive method (circle indicates the drive in the addition output mode, the other indicates the drive in the non-addition output mode), the column (b) is the subject image image diagram, and the column (c) is When the image shown in column (b) is read out by the driving method of the distribution shown in column (a), the signal image diagram for the phase difference detection method, column (d) shows the image shown in (b) in column (a) FIG. 6 is a signal image diagram for a contrast method when read by the driving method having the distribution shown in FIG.
[0093]
In FIG. 12, each row (A) to (C) shows a case where the drive region setting state of the image sensor is different, and (A) is a case where the image sensor is uniformly driven in the non-addition output mode. (B) When the image sensor is driven alternately in the non-addition / addition output mode for each row, (C) is the image sensor driven in the addition output mode only in the four corner areas, and the rest is driven in the non-addition output mode. This is the case.
[0094]
In (A), since the driving is performed in the full non-addition output mode, both the phase difference detection method and the contrast method can be evaluated over the entire surface. On the other hand, the amount of pixel data to be read increases (twice the number of pixels), which takes time.
[0095]
In (B), since the drive mode is switched for each row, the number of pixel data to be read is reduced as compared with the drive method in (A), so that higher speed can be expected. However, both types cannot be evaluated on all screens. Note that the driving method may be changed not only for each row but for each arbitrary row.
[0096]
(C) is an example in which only the four corner areas are performed in the addition output mode. This is an example of a countermeasure in such a case because the phase difference detection method at the four corners may cause a problem due to kicking of the light beam depending on the optical system of the imaging system.
[0097]
On the other hand, in FIG. 13, when the image sensor is driven in the addition output mode only in the central region and the other in the non-addition output mode in row (D), row (E) separates the left and right from the center in the image sensor. When driving in the non-addition / addition output mode, the row (F) is in the non-addition output mode only in the area in the upper left corner of the image sensor, and the rest is only in the lower left corner area from the driving state in the addition output mode. In the non-addition output mode, the rest is the case where the drive state is changed to the addition output mode.
[0098]
In (D), for example, the main subject is captured in the central region of the entire phase difference operation as shown in (A), focus adjustment is continued using the contrast method after focusing once, and phase difference detection is performed to change the subject to the periphery. This is an example of area division when it is said that the system responds quickly. This is effective in shooting modes that capture the subject in a relatively central part, such as portrait and close-up shooting.
[0099]
In (E), the left half of the subject is an area with relatively high contrast, while the right half is an average low contrast area. In such a case, the phase difference method is difficult to obtain a correct evaluation result when there is no contrast due to the nature of the evaluation value. Therefore, it is also effective to positively set a region using the phase difference method and a region using the contrast method according to the subject condition.
[0100]
In (F), in the explanatory diagram of (a), the phase difference setting region is moved from the upper left corner to the lower left corner. This is a diagram assuming that the setting area is moved according to the photographer's intention using, for example, well-known gaze detection. In this way, by setting the phase difference operation region only for the region necessary for performing quick focus adjustment, the number of pixel data to be read as a whole is reduced, and the configuration of the device with higher responsiveness becomes possible.
[0101]
As described above, it is effective to select an optimal region setting according to the subject condition, the shooting mode, or the system configuration.
[0102]
<Third Embodiment>
Next, a focus detection method according to the third embodiment of the present invention will be described below.
[0103]
In the third embodiment, a case where a contrast evaluation value is directly obtained from an imaging signal will be described. That is, the contrast evaluation value is obtained from a signal obtained by operating the image sensor in the addition output mode.
[0104]
Hereinafter, photographing and focus adjustment operations in the third embodiment will be described with reference to a flowchart shown in FIG.
[0105]
FIG. 14 is a flowchart showing the procedure of the focus adjustment operation and the moving image shooting operation in the third embodiment. Here, a case will be described in which the focus detection is first started by the phase difference detection method in the moving image shooting mode, and the mode is shifted to the contrast method at the start of moving image shooting.
[0106]
When the moving image shooting mode is set (YES in step S200), the state of a release button switch first stage (SW1) (not shown) is first detected in step S201. If the switch is on, in step S202, the operation mode of the image sensor is set to the non-addition output mode, and a series of operations of imaging and reading is performed. In step S203, an evaluation value of the phase difference detection method is calculated from the imaging signal read in the non-addition output mode. In subsequent step S204, the focus of the photographing lens is first adjusted in the direction and amount based on the evaluation value of the phase difference detection method.
[0107]
In step S205, the state of the release button switch second stage (SW2) (not shown) is detected. This is detection of whether or not moving image shooting has started. If not started yet, the process returns to step S201, and the operations from step S201 to step S205 are repeated.
[0108]
On the other hand, if moving image shooting is started, the operation mode of the sensor is set to the addition output mode in step S206, accumulation, reading, and recording operations are performed, and a moving image is shot.
[0109]
In the next step S207, an evaluation value of the contrast method is calculated using the signal obtained in step S206. In step S208, lens driving based on the evaluation value is performed. Specifically, it is moved in a direction to obtain an evaluation value higher than the previous evaluation value by a minute amount of drive.
[0110]
The operations from step S205 to step S208 are continued until the end of moving image capturing, that is, until the state of the release button switch second stage (SW2) (not shown) in step S205 is turned OFF.
[0111]
If it is detected in step S201 that the state of the first stage of the release button switch (not shown) is OFF, the process returns to step S200, and when the setting of the moving image mode is cancelled, the process ends.
[0112]
In the third embodiment, the case where the switching control between the phase difference detection method and the contrast method is automatically performed when the mode is switched to the moving image mode has been described. However, the present invention is not limited to this, and imaging is performed. Any system that automatically controls the phase difference detection method and the contrast method according to the switching of the operation mode of the element may be used. First, focus detection is started in one focus detection mode, and the other focus detection mode is controlled depending on some condition. As long as it moves to.
[0113]
As described above, according to the third embodiment, according to the switching of the operation mode of the image sensor, the focus detection is automatically performed using an appropriate method of the phase difference detection method and the contrast method. A distance measuring sensor is not separately provided, and it is possible to perform quick focus adjustment control and determination using one of two appropriate focus adjustment methods while being inexpensive.
[0114]
<Fourth Embodiment>
A focus detection method according to the fourth embodiment of the present invention will be described below.
[0115]
FIG. 15 is a flowchart showing the procedure of the focus adjustment operation and the photographing operation in the fourth embodiment. Here, a case will be described in which the focus adjustment is performed by the contrast method when the shooting mode is the moving image mode, and by the phase difference detection method when the image is still image.
[0116]
When the photographing operation is selected, first, in step S301, the state of a release button switch first stage (SW1) (not shown) is detected. If the switch is on, it is determined in step S302 whether or not the shooting mode is the moving image mode. If it is not the moving image mode but the still image mode, the process proceeds to step S303, and a still image shooting operation is performed. The operation in step S303 will be described later with reference to FIG.
[0117]
On the other hand, if it is the moving image mode, first, in step S304, the operation mode of the image sensor is set to the addition output mode, and a series of imaging operations of charge accumulation and readout are performed. In the next step S305, an evaluation value is calculated by the contrast method from the latest imaging signal.
[0118]
Subsequently, in step S306, it is determined whether the contrast evaluation value has increased from the previous time, that is, whether it is in the focused state. In the case of the first focus adjustment operation, the process proceeds directly to step S308 without performing the determination in step S306. If the evaluation value is lowered in step S306, the lens drive direction instruction is reversed in step S307.
[0119]
In step S308, the lens is driven in the current setting direction by a predetermined value determined by the design of the photographing optical system, for example, a minute amount corresponding to the focus width.
[0120]
In the next step S309, the state of a release button switch second stage (SW2) (not shown) is detected. That is, it is detected whether or not moving image shooting has started. If not started, the process returns to step S301, and the operations from step S301 to step S309 are repeated.
[0121]
On the other hand, if moving image shooting is started, in step S310, the sensor operation mode remains in the addition output mode, shooting is performed by performing accumulation, reading, and recording operations, and the process returns to step S305. That is, the operation from step S305 to step S310 is continued during moving image shooting.
[0122]
If it is detected in step S301 that the state of the first stage of the release button switch (not shown) is OFF, the process returns to step S300, and the process ends when the shooting mode is canceled.
[0123]
FIG. 16 is an explanatory diagram of a focus adjustment operation and shooting flow in still image shooting according to the fourth embodiment. As described above, in the case of a still image, focus adjustment is performed using a phase difference detection method.
[0124]
When the still image shooting operation starts in step S303 in FIG. 15, first, the operation mode of the image sensor is set to the non-addition output mode in step S311, and a series of imaging operations of charge accumulation and readout are performed. In the next step S312, the evaluation value of the phase difference detection method is calculated from the imaging signal obtained by imaging.
[0125]
In subsequent step S313, it is determined whether or not the current focus adjustment state is an in-focus state based on the evaluation value of the phase difference detection method.
[0126]
If not in focus, in step S314, the lens is driven based on the latest evaluation value. Then, the process returns to step S311, and the operation up to step S313 is continued until it is determined to be in focus.
[0127]
If the in-focus state is determined in step S313, the state of the release button switch second stage (SW2) (not shown) is detected in the next step S315. That is, it is detected whether still image shooting has started.
[0128]
If not started yet, the process returns from the still image shooting operation to step S301 in FIG. 15 to continue the operation from step S301 to step S303 and from step S311 to step S315 in FIG.
[0129]
On the other hand, if still image shooting is started, in step S316, the operation mode of the sensor is set as an addition output mode to perform accumulation, readout, and recording operations as shooting, and the process returns to step S301 in FIG.
[0130]
As described above, according to the fourth embodiment, the same effect as that of the third embodiment can be obtained.
[0131]
<Fifth Embodiment>
A focus detection method according to the fifth embodiment of the present invention will be described below.
[0132]
FIG. 17 is a flowchart showing the procedure of the focus adjustment operation and the photographing operation in the fifth embodiment. Here, the case where the shooting mode is the still image mode, and the focus adjustment is performed by the contrast method when the contrast of the subject is low and the phase difference detection method is performed when the contrast is sufficiently high is described. This is because the accuracy of the phase difference detection method greatly depends on the contrast state of the subject.
[0133]
First, when the still image shooting operation is started in step S400 of FIG. 17, first, the operation mode of the image sensor is set to the addition output mode in step S401, and a series of imaging operations of charge accumulation and reading are performed.
[0134]
In the next step S402, the evaluation value of the contrast method is calculated using the above imaging signal. In subsequent step S403, the contrast state of the subject is determined based on the evaluation value, and it is determined whether the contrast is within a range that can be controlled to a sufficiently in-focus state by the phase difference detection method. This is because the focus adjustment operation using the phase difference detection method can be controlled more quickly, and it is therefore desirable to perform focus adjustment using the phase difference detection method as much as possible.
[0135]
If the subject is in a contrast state that can be controlled to a sufficiently in-focus state by the phase difference detection method, the operation mode of the image sensor is set to the non-addition output mode in step S404, and a series of imaging operations of charge accumulation and readout are performed. In the next step S405, an evaluation value in the phase difference detection method is calculated from the imaging signal, and in a subsequent step S406, the current focus adjustment state is determined based on the evaluation value in the phase difference detection method. judge.
[0136]
If not in focus, in step S407, the lens is driven based on the latest evaluation value, and then the process returns to step S404 again until the operation up to step S406 is determined to be in focus. If it is determined in step S406 that the subject is in focus, the process proceeds to step S409.
[0137]
On the other hand, if it is determined in step S403 that the current contrast state of the subject cannot be sufficiently controlled by the phase difference detection method using the phase difference detection method, focus adjustment by scan control generally performed in the contrast method in step S408. Perform the action. This operation will be described later with reference to FIG.
[0138]
If it is determined in step S406 or the scan control of FIG. 17 that the in-focus state is detected, the state of the release button switch second stage (SW2) (not shown) is detected in the next step S409. That is, it is detected whether still image shooting has started. If not, the process returns to step S400.
[0139]
On the other hand, if still image shooting is started, in step S410, the operation mode of the image sensor is stored, read out, and recorded in the addition output mode, and the image is captured and the process returns to step S400. When the still image shooting is canceled in step S400, the process ends.
[0140]
FIG. 18 is a flowchart for explaining the focus adjustment operation when it is determined in step S403 in FIG. 17 that the current subject contrast state cannot be controlled to a sufficiently in-focus state by the phase difference detection method. As described above, in this case, the focus is adjusted by the contrast method.
[0141]
First, in step S411, it is determined whether the focus has already been determined. If it is in focus, the focus adjustment operation is terminated as it is, and the process proceeds to step S409 in FIG.
[0142]
If not in focus, in step S412, the focus state of the photographic optical system is moved to the closest end. This is the lens position at the start of scanning. Next, in step S413, the operation mode of the image sensor is set to the addition output mode, and a series of image capture operations of charge accumulation and readout are performed.
[0143]
In the next step S414, an evaluation value of the contrast method is calculated from the latest imaging signal, and the current lens position and the evaluation value are stored together.
[0144]
In the subsequent step S415, the lens is driven in the infinite end direction by a predetermined value determined by the design of the photographing optical system, for example, a minute amount corresponding to the focus width.
[0145]
In the next step S416, it is determined whether the lens position has reached the infinite end. That is, it is detected whether the driving is completed up to the scanning operation end position. If it has not yet reached the infinite end, the process returns to step S413, and the scanning operation up to step S416 is repeated.
[0146]
On the other hand, when reaching the infinite end, the lens is driven to the position with the largest evaluation value based on the lens position and the contrast evaluation value data obtained by the scanning operation of step S414 in step S417, and the focus is set in step S418. The determination is made, and the focus adjustment operation by the scan control operation is terminated.
[0147]
As described above, according to the fifth embodiment, the focus adjustment method is automatically switched according to the contrast state of the subject. Rapid focus adjustment control and determination using any of the focus adjustment methods becomes possible.
[0148]
[Other Embodiments]
The software configuration and the hardware configuration of the above embodiment can be appropriately replaced.
[0149]
In addition, you may make it this invention combine the above-mentioned each embodiment or those technical elements as needed.
[0150]
Further, the present invention is such that the configuration of the claims or the whole or a part of the configuration of the embodiment forms one device, but is combined with another device. Alternatively, it may be an element constituting the apparatus.
[0151]
Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. Needless to say, this can also be achieved by the MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included. Examples of the storage medium for storing the program code include a floppy disk, hard disk, ROM, RAM, magnetic tape, nonvolatile memory card, CD-ROM, CD-R, DVD, optical disk, magneto-optical disk, MO, etc. Can be considered.
[0152]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0153]
When the present invention is applied to the above-described storage medium, the storage medium includes program code corresponding to the flowcharts shown in FIGS. 10 and 11, 14, 15 and 16, or FIGS. 17 and 18. Will be stored.
[0154]
【The invention's effect】
As described above, according to the present invention, it is possible to perform rapid focus detection by both the phase difference detection method and the contrast detection method with an inexpensive configuration using an imaging sensor without using a dedicated sensor.
[Brief description of the drawings]
FIG. 1 is a circuit configuration diagram of an imaging area sensor unit in an embodiment of the present invention.
FIG. 2 is a cross-sectional view of an image sensor light receiving portion according to the embodiment of the present invention.
FIG. 3 is a diagram illustrating the arrangement of photoelectric conversion units and color filters of an image sensor according to an embodiment of the present invention.
FIG. 4 is a timing chart for driving the sensor in the non-addition output mode according to the embodiment of the present invention.
FIG. 5 is a timing chart for driving the sensor in the addition output mode according to the embodiment of the present invention.
FIG. 6 is an explanatory diagram of a pupil division method according to the embodiment of the present invention.
FIG. 7 is an explanatory diagram of a pupil division method according to the embodiment of the present invention.
FIG. 8 is a diagram showing a concept of a focus adjustment operation by a phase difference detection method.
FIG. 9 is a block diagram showing a configuration of an image pickup apparatus using the image pickup element of the present invention.
FIG. 10 is a flowchart showing a focus adjustment operation procedure in the first embodiment of the present invention.
FIG. 11 is a flowchart showing a focus adjustment operation procedure in the first embodiment of the present invention.
FIG. 12 is a diagram conceptually illustrating a combination of an image sensor driving method and a readout region in a second embodiment of the present invention.
FIG. 13 is a diagram conceptually illustrating a combination of an image sensor driving method and a readout region in a second embodiment of the present invention.
FIG. 14 is a flowchart showing a moving image shooting and focus adjustment operation procedure in the third embodiment of the present invention.
FIG. 15 is a flowchart showing an imaging and focus adjustment operation procedure in the fourth embodiment of the present invention.
FIG. 16 is a flowchart showing still image shooting and focus adjustment operation procedures in the fourth embodiment of the present invention;
FIG. 17 is a flowchart showing still image shooting and focus adjustment operation procedures in the fifth embodiment of the present invention;
FIG. 18 is a flowchart showing still image shooting and focus adjustment operation procedures in the fifth embodiment of the present invention;
[Explanation of symbols]
1 1st photoelectric conversion part
51 Second photoelectric conversion unit
2,52 Photogate
3,53 Transfer switch MOS transistor
4 Reset MOS transistor
5 Source follower amplifier MOS transistor
6 Vertical selection switch MOS transistor
7 Load MOS transistor
8. Dark output transfer MOS transistor
9 Bright output transfer MOS transistor,
10 Dark output storage capacity
11 Bright output storage capacity
12, 54 Vertical transfer MOS transistor
13,55 Vertical output line reset MOS transistor
14 Differential output amplifier
15 Vertical scanning section
16 Horizontal scanning section
22 Color filter
23 Microlens

Claims (8)

複数の画素からなり、各画素が、複数の光電変換領域と、前記複数の光電変換領域から得られる信号を光電変換領域毎に出力可能な出力系とを有する撮像素子と、
前記複数の光電変換領域それぞれから出力された信号から、位相差及び被写体像のコントラストの評価値をそれぞれ演算する演算手段と、
前記位相差に基づく第1のモードでフォーカスレンズを駆動して合焦制御を行った後に、前記評価値に基づく第2のモードで前記フォーカスレンズを駆動して合焦制御を行い、前記第1のモードから前記第2のモードへの切り替えにおける前記フォーカスレンズの駆動方向が同一方向となるように制御する合焦制御手段と
を有することを特徴とする撮像装置。
A plurality of pixels, each pixel, and an imaging device having a plurality of photoelectric conversion regions, and a plurality of output systems can output to the photoelectric conversion each photoelectric conversion region signal obtained from the region,
Calculation means for calculating the evaluation value of the phase difference and the contrast of the subject image from the signals output from each of the plurality of photoelectric conversion regions,
Wherein by driving the focus lens after the focusing control in the first mode based on the phase difference, it has rows focusing control by driving the focus lens in the second mode based on the evaluation value, the second And an in- focus control means for controlling the driving direction of the focus lens in the same direction in switching from the first mode to the second mode .
合焦状態判定手段を更に有し、
前記合焦状態判定手段は、前記コントラストの評価値が、直前に得られたコントラストの評価値より低く、且つ、前記位相差に基づく前記フォーカスレンズの駆動方向が、直前に得られた位相差に基づく合焦方向と異なる場合に、前記直前の状態を合焦状態であると判断することを特徴とする請求項に記載の撮像装置。
A focusing state determination means;
The focus state determination means, the evaluation value of the Contrast is lower than the evaluation value of the Contrast obtained immediately before, and the drive direction of the focus lens based on the phase difference, obtained immediately before the phase is different from the focus direction based on the difference, the imaging apparatus according to claim 1, characterized in that to determine the state of the immediately preceding and an in-focus state.
前記コントラストの評価値が、直前に得られたコントラストの評価値より低く、且つ、前記位相差に基づく前記フォーカスレンズの駆動方向が、直前に得られた位相差に基づく前記フォーカスレンズの駆動方向と同じ場合、及び、前記コントラストの評価値が、直前に得られたコントラストの評価値より大きく、且つ、前記位相差に基づく前記フォーカスレンズの駆動方向が、直前に得られた位相差に基づく前記フォーカスレンズの駆動方向と異なる場合、前記合焦制御手段による合焦制御をやり直すことを特徴とする請求項に記載の撮像装置。Evaluation value of the Contrast is lower than the evaluation value obtained Contrast immediately before, and the drive direction of the focus lens based on the phase difference, the driving of the focus lens based on the phase difference obtained immediately before same as the direction, and the evaluation value of the contrast is larger than the evaluation value obtained contrast immediately before, and the drive direction of the focus lens based on the phase difference, the phase difference obtained immediately before If the driving direction of the focus lens based on the different image pickup apparatus according to claim 2, characterized in that again the focus control by the focus control means. 複数の画素からなり、各画素が、複数の光電変換領域と、前記複数の光電変換領域から得られる信号を光電変換領域毎に出力可能な出力系とを有する撮像素子と、撮像光学系とを有する撮像装置のための焦点調節方法であって、
前記撮像素子の前記複数の光電変換領域それぞれから信号を読み出す読み出し工程と、
前記読み出し工程で読み出された信号から、位相差及び被写体像のコントラストの評価値をそれぞれ演算する演算工程と、
前記位相差に基づく第1のモードでフォーカスレンズを駆動して合焦制御を行う位相差合焦工程と、
前記位相差合焦工程後に、前記評価値に基づく第2のモードで前記フォーカスレンズを駆動して合焦制御を行うコントラスト焦工程と
前記第1のモードから前記第2のモードへの切り替えにおける前記フォーカスレンズの駆動方向が同一方向となるように前記位相差合焦工程及び前記コントラスト合焦工程を制御する制御工程と
を有することを特徴とする焦点調節方法。
A plurality of pixels, each pixel comprises a plurality of photoelectric conversion region, and an imaging device having a plurality of output systems can output to the photoelectric conversion each photoelectric conversion region signal obtained from the region, and the imaging optical system A focus adjustment method for an imaging device comprising:
A readout step of reading out signals from each of the plurality of photoelectric conversion regions of the imaging device;
A calculation step of calculating an evaluation value of a phase difference and a contrast of a subject image from the signal read in the reading step ;
A phase difference focusing step of driving the focus lens in the first mode based on the phase difference to perform focusing control;
After the phase-difference in-focus process, a higher contrast if Aseko performing focus control by driving the focus lens in the second mode based on the evaluation value,
And a control step for controlling the phase difference focusing step and the contrast focusing step so that the driving directions of the focus lens in the switching from the first mode to the second mode are the same. focusing wherein.
合焦状態判定工程を更に有し、
前記合焦状態判定工程は、前記コントラストの評価値が、直前に得られたコントラストの評価値より低く、且つ、前記位相差に基づく前記フォーカスレンズの駆動方向が、直前に得られた位相差に基づく合焦方向と異なる場合に、前記直前の状態を合焦状態であると判断することを特徴とする請求項に記載の焦点調節方法。
A focusing state determination step;
The focus state determination step, evaluation value of the Contrast is lower than the evaluation value of the Contrast obtained immediately before, and the drive direction of the focus lens based on the phase difference, obtained immediately before the phase focusing method according to claim 4, characterized in that it is determined that if different from the focus direction based on the difference, an in-focus state the state of the immediately preceding.
前記コントラストの評価値が、直前に得られたコントラストの評価値より低く、且つ、前記位相差に基づく合焦方向が、直前に得られた位相差に基づく前記フォーカスレンズの駆動方向と同じ場合、及び、コントラストの評価値が、直前に得られたコントラストの評価値より大きく、且つ、前記位相差に基づく前記フォーカスレンズの駆動方向が、直前に得られた位相差に基づく合焦方向と異なる場合、前記読み出し工程、前記演算工程、前記位相差合焦工程、コントラスト合焦工程、制御工程をやり直すことを特徴とする請求項又はに記載の焦点調節方法。Evaluation value of the Contrast is lower than the evaluation value of the Contrast obtained immediately before, and, focus direction based on the phase difference is the same as the driving direction of the focus lens based on the phase difference obtained immediately before If, and, focus evaluation values of contrast is larger than the evaluation value obtained contrast immediately before, and the drive direction of the focus lens based on the phase difference, based on the phase difference obtained immediately before if different directions, said reading step, the calculating step, the phase difference in-focus process, focus control method according to claim 4 or 5, characterized in that again the contrast focusing process, control process. コンピュータに、請求項に記載の焦点調節方法の各工程を実行させるためのプログラム。 The computer program of the order to execute the steps of the focusing method of claim 4. 請求項に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing the program according to claim 7 .
JP2001356486A 2001-11-21 2001-11-21 Imaging apparatus and focus adjustment method Expired - Fee Related JP3977062B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001356486A JP3977062B2 (en) 2001-11-21 2001-11-21 Imaging apparatus and focus adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001356486A JP3977062B2 (en) 2001-11-21 2001-11-21 Imaging apparatus and focus adjustment method

Publications (2)

Publication Number Publication Date
JP2003156677A JP2003156677A (en) 2003-05-30
JP3977062B2 true JP3977062B2 (en) 2007-09-19

Family

ID=19167996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001356486A Expired - Fee Related JP3977062B2 (en) 2001-11-21 2001-11-21 Imaging apparatus and focus adjustment method

Country Status (1)

Country Link
JP (1) JP3977062B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953091B2 (en) 2011-07-21 2015-02-10 Samsung Electronics Co., Ltd. Apparatus and method for adjusting focal point by using imaging device for outputting phase difference signal
US9219871B2 (en) 2011-07-20 2015-12-22 Samsung Electronics Co., Ltd. Imaging device for phase difference detection

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5464771B2 (en) 2003-10-15 2014-04-09 キヤノン株式会社 Imaging apparatus and focus control method thereof
JP2005156900A (en) * 2003-11-26 2005-06-16 Kyocera Corp Sensor for detecting focal point, focal point detector having the sensor for detecting focal point, focal point detection method and electronic imaging device
US7469098B2 (en) * 2004-07-12 2008-12-23 Canon Kabushiki Kaisha Optical apparatus
JP5023480B2 (en) * 2005-12-02 2012-09-12 株式会社ニコン Electronic camera
JP4720508B2 (en) * 2006-01-05 2011-07-13 株式会社ニコン Imaging device and imaging apparatus
JP2008046385A (en) * 2006-08-17 2008-02-28 Canon Inc Image-pickup apparatus and focus control method
JP5105794B2 (en) * 2006-08-17 2012-12-26 キヤノン株式会社 Imaging apparatus and focus control method
JP2008046351A (en) * 2006-08-16 2008-02-28 Canon Inc Automatic focusing device and imaging apparatus
JP4769667B2 (en) * 2006-08-30 2011-09-07 キヤノン株式会社 Imaging device
JP5012236B2 (en) 2007-06-12 2012-08-29 株式会社ニコン Digital camera
JP5028154B2 (en) 2007-06-20 2012-09-19 キヤノン株式会社 Imaging apparatus and control method thereof
US8525917B2 (en) 2007-08-06 2013-09-03 Canon Kabushiki Kaisha Image sensing apparatus with plural focus detection pixel groups
JP2009069255A (en) * 2007-09-11 2009-04-02 Sony Corp Imaging device and focusing control method
WO2009104390A1 (en) * 2008-02-22 2009-08-27 パナソニック株式会社 Imaging device
JP5621197B2 (en) * 2009-03-04 2014-11-05 株式会社ニコン Focus adjustment device, imaging device, and focus adjustment method
JP5764884B2 (en) * 2010-08-16 2015-08-19 ソニー株式会社 Imaging device and imaging apparatus
JP2012181448A (en) * 2011-03-02 2012-09-20 Nikon Corp Focusing device and imaging apparatus
JP6069817B2 (en) * 2011-06-29 2017-02-01 株式会社ニコン Focus adjustment device and imaging device provided with the same
JP5891668B2 (en) * 2011-09-15 2016-03-23 株式会社ニコン Focus adjustment device and imaging device
JP5868109B2 (en) * 2011-10-12 2016-02-24 キヤノン株式会社 Optical apparatus, lens barrel, and automatic focusing method
JP5979849B2 (en) * 2011-11-21 2016-08-31 キヤノン株式会社 Imaging device and imaging apparatus
JP6091674B2 (en) * 2012-03-01 2017-03-08 キヤノン株式会社 Imaging device, imaging system, driving method of imaging device, and driving method of imaging system
US20150062391A1 (en) * 2012-03-30 2015-03-05 Nikon Corporation Image sensor, photographing method, and image-capturing device
JP2014153509A (en) 2013-02-07 2014-08-25 Canon Inc Imaging device and imaging method
JP5645986B2 (en) * 2013-02-25 2014-12-24 キヤノン株式会社 Imaging apparatus and focus control method thereof
KR102028124B1 (en) 2013-05-24 2019-10-02 삼성전자주식회사 An imaging sensor capable of detecting phase difference of focus
JP6300471B2 (en) * 2013-08-28 2018-03-28 キヤノン株式会社 Driving method of imaging apparatus and driving method of imaging system
JP6158340B2 (en) * 2013-09-30 2017-07-05 富士フイルム株式会社 Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP2014052653A (en) * 2013-10-30 2014-03-20 Nikon Corp Focus adjustment device and imaging device provided with the same
JP5943900B2 (en) * 2013-11-25 2016-07-05 キヤノン株式会社 Imaging device
JP6381274B2 (en) * 2014-05-07 2018-08-29 キヤノン株式会社 Imaging device, control method thereof, and control program
JP6482186B2 (en) * 2014-05-23 2019-03-13 キヤノン株式会社 Imaging apparatus and driving method thereof
JP5961720B2 (en) * 2015-04-06 2016-08-02 富士フイルム株式会社 Imaging device
JP6525727B2 (en) * 2015-05-21 2019-06-05 キヤノン株式会社 Image processing apparatus and method, and imaging apparatus
JP6412826B2 (en) * 2015-06-04 2018-10-24 オリンパス株式会社 Imaging device
JP6727814B2 (en) * 2016-01-14 2020-07-22 キヤノン株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP6365568B2 (en) * 2016-02-29 2018-08-01 株式会社ニコン Imaging device and imaging apparatus
JP6815777B2 (en) 2016-07-25 2021-01-20 キヤノン株式会社 Imaging device and control method of imaging device
JP6237858B2 (en) * 2016-10-25 2017-11-29 株式会社ニコン Focus detection apparatus and imaging apparatus
CN107809586B (en) * 2017-10-31 2020-09-01 努比亚技术有限公司 Mobile terminal focusing mode switching method, mobile terminal and storage medium
JP2018116296A (en) * 2018-03-07 2018-07-26 株式会社ニコン Focus detection apparatus
JP2020039142A (en) * 2019-10-31 2020-03-12 株式会社ニコン Imaging apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219871B2 (en) 2011-07-20 2015-12-22 Samsung Electronics Co., Ltd. Imaging device for phase difference detection
US9525833B2 (en) 2011-07-20 2016-12-20 Samsung Electronics Co., Ltd. Imaging device for phase difference detection
US8953091B2 (en) 2011-07-21 2015-02-10 Samsung Electronics Co., Ltd. Apparatus and method for adjusting focal point by using imaging device for outputting phase difference signal

Also Published As

Publication number Publication date
JP2003156677A (en) 2003-05-30

Similar Documents

Publication Publication Date Title
JP3977062B2 (en) Imaging apparatus and focus adjustment method
JP3774597B2 (en) Imaging device
JP5002086B2 (en) Focus detection device and imaging device
JP4007716B2 (en) Imaging device
JP4500434B2 (en) Imaging apparatus, imaging system, and imaging method
JP4908668B2 (en) Focus detection device
JP4007713B2 (en) Imaging device
US8817165B2 (en) Image capturing apparatus
JP5319347B2 (en) Imaging apparatus and control method thereof
JP4077577B2 (en) Image sensor
JP5159700B2 (en) Optical apparatus and focus detection method
JP5276374B2 (en) Focus detection device
JP2002199284A (en) Image pickup element
JP2010286826A (en) Focus detection apparatus
US7041950B2 (en) Image sensing element for sensing an image formed by an image sensing lens
JP2002258142A (en) Imaging apparatus
JP2016133674A (en) Focus control device, and method, program and storage medium therefor
JP2005092085A (en) Focus detecting method and focusing method, and focus detecting device and focusing device
JP2003241075A (en) Camera system, camera and photographic lens device
JP4567712B2 (en) Imaging device
JP2012220790A (en) Imaging apparatus
JP3285376B2 (en) Automatic focus detection device
JP2008015353A (en) Imaging device
JP6845912B2 (en) Imaging device and its control method
JP5776155B2 (en) Focus detection apparatus and photographing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees