[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016066015A - 焦点検出装置及びその制御方法、プログラム、記憶媒体 - Google Patents

焦点検出装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2016066015A
JP2016066015A JP2014195808A JP2014195808A JP2016066015A JP 2016066015 A JP2016066015 A JP 2016066015A JP 2014195808 A JP2014195808 A JP 2014195808A JP 2014195808 A JP2014195808 A JP 2014195808A JP 2016066015 A JP2016066015 A JP 2016066015A
Authority
JP
Japan
Prior art keywords
image
focus detection
image signal
pixel
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014195808A
Other languages
English (en)
Inventor
勇希 吉村
Yuki Yoshimura
勇希 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014195808A priority Critical patent/JP2016066015A/ja
Publication of JP2016066015A publication Critical patent/JP2016066015A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮像素子の出力を用いた位相差検出方式の焦点検出の精度を向上させることが可能な焦点検出装置およびその制御方法を提供する。【解決手段】撮影光学系の射出瞳の一部の領域を通過した光束に基づく第1の像信号と、射出瞳の全領域を通過した光束に基づく第3の像信号との第1の位相差を検出する第1の算出部と、射出瞳の一部の領域とは異なる一部の領域を通過した光束に基づく第2の像信号と、射出瞳の全領域を通過した光束に基づく第4の像信号との第2の位相差を検出する第2の算出部と、第1の位相差および第2の位相差に重みづけ係数を掛けて加えた和を用いて、撮影光学系のデフォーカス量を算出するデフォーカス量算出部とを有する。【選択図】 図12

Description

本発明は、焦点検出装置およびその制御方法に関し、特には撮像素子の出力に基づいて位相差検出方式の焦点検出を行う焦点検出装置およびその制御方法に関する。
2次元配置された画素の各々にマイクロレンズが形成された撮像素子を用い、瞳分割方式の焦点検出を行う装置が特許文献1に開示されている。この装置では、各画素の光電変換部が、撮影レンズの射出瞳の異なる領域を通過した光束をマイクロレンズを介して受光する、2つの領域に分割されている。分割領域ごとに複数の画素から生成した1対の出力信号に対して相関演算を行って1対の出力信号の位相差(ずれ量)を算出し、位相差からデフォーカス量を算出することができる。
また、特許文献1の図24,図25や特許文献2には、一部の画素を、瞳分割方式の焦点検出を行うための焦点検出用画素とした撮像素子が開示されている。焦点検出画素の出力を通常の画素の出力として用いるには補正が必要だが、各画素の光電変換部を分割する構成よりも焦点検出信号として読みだす信号が少ないため、撮像素子の製造コストや信号処理の演算コストを抑えることができる。
特開2008−52009号公報 特許第3592147号公報
焦点検出用画素を用いる構成では、撮影レンズの射出瞳の異なる領域を通過した光束をマイクロレンズを介して受光する1対の光電変換部が、互いに異なる画素に配置されている。つまり、位相差を検出するための1対の出力信号(A像、B像)の生成に用いられる画素群の位置がA像とB像とで異なるため、被写体像のパターンによってはA像とB像の類似度が低くなる場合があり、そのような場合には、焦点検出の精度が低下する。
また、焦点検出用画素の配置間隔が広い場合には、被写体光学像の高周波帯域の周波数成分を取得できない場合がある。そのため、A像とB像それぞれに異なる折り返しノイズが発生し、焦点検出誤差が発生してしまう。
また、各画素に複数の光電変換部を設ける構成では、各光電変換部からの読み出しに加え、通常の画像信号を生成するための加算が必要となり、読み出し処理や演算処理の負荷が大きくなる。そのため、一方の光電変換部の出力の読み出しと、両方の光電変換部の出力の加算読み出しとを行い、他方の光電変換部の出力は減算によって生成することで、負荷の軽減を図ることが考えられる。しかし、減算によって誤差が発生するため、位相差検出精度が低下する懸念がある。
本発明はこのような従来技術の課題の少なくとも1つを改善することを目的とする。具体的には、本発明は、撮像素子の出力を用いた位相差検出方式の焦点検出の精度を向上させることが可能な焦点検出装置およびその制御方法を提供することを目的とする。
本発明に係わる焦点検出装置は、撮影光学系の射出瞳の一部の領域を通過した光束に基づく第1の像信号と、前記射出瞳の全領域を通過した光束に基づく第3の像信号との第1の位相差を検出する第1の算出手段と、前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第2の像信号と、前記射出瞳の全領域を通過した光束に基づく第4の像信号との第2の位相差を検出する第2の算出手段と、前記第1の位相差および前記第2の位相差に重みづけ係数を掛けて加えた和を用いて、前記撮影光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有することを特徴とする。
このような構成により、本発明によれば、撮像素子の出力を用いた位相差検出方式の焦点検出の精度を向上させることが可能な焦点検出装置およびその制御方法を提供することができる。
実施形態に係る焦点調節装置を備える撮像装置の一例としてのカメラシステムの機能構成例を示すブロック図。 第1の実施形態における撮像素子の構成例を示す図。 第1の実施形態における光電変換領域と射出瞳との関係を示す図。 実施形態における、焦点検出領域とAF用信号に用いられる画素の関係例を示す図。 実施形態における焦点調節動作を示すフローチャート。 第1の実施形態におけるデフォーカス量の算出方法を示すフローチャート。 第2の実施形態における撮像素子の構成例を示す図。 第2の実施形態における光電変換領域と射出瞳との関係を示す図。 第3の実施形態におけるデフォーカス量の算出方法を示すフローチャート。 撮影レンズの射出瞳距離と焦点検出用画素が見ている瞳位置の関係を示した図。 像高が高い場合に、AF用A像信号とAF用B像信号で、瞳のケラレ方が大きく異なることを説明した図。 第4の実施形態におけるデフォーカス量の算出サブルーチンを示すフローチャート。 図12におけるステップS7041の詳細な処理を示すフローチャート。 図12におけるステップS7041の詳細な処理を示すフローチャート。
●(第1の実施形態)
以下、本発明の例示的な実施形態を添付図面を参照して詳細に説明する。
図1は、本発明の実施形態に係る焦点検出装置を備える撮像装置の一例としての、撮影レンズを交換可能なカメラと撮影レンズからなるカメラシステムの構成例を示す図である。図1において、カメラシステムはカメラ100と、交換可能な撮影レンズ300とから構成される。
撮影レンズ300を通過した光束は、レンズマウント106を通過し、メインミラー130により上方へ反射されて光学ファインダ104に入射する。光学ファインダ104により、撮影者は被写体光学像を観察しながら撮影できる。光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。
メインミラー130の一部は半透過性のハーフミラーで構成され、メインミラー130に入射する光束のうち一部はこのハーフミラー部分を通過し、サブミラー131で下方へ反射されて焦点検出装置105へ入射する。焦点検出装置105は、2次結像光学系とラインセンサを有する位相差検出方式の焦点検出装置であり、1対の像信号をAF部(オートフォーカス部)42に出力する。AF部42では、1対の像信号に対して位相差検出演算を行い、撮影レンズ300のデフォーカス量および方向を求める。この演算結果に基づき、システム制御部50が、撮影レンズ300のフォーカス制御部342(後述)に対して、焦点調節処理などの制御を行う。本実施形態では、焦点検出結果の補正もAF部42で行う。
撮影レンズ300の焦点調節処理が終了して静止画撮影を行う場合や、電子ファインダ表示を行う場合、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー130とサブミラー131を光路外に退避させる。そうすると、撮影レンズ300を通過してカメラ100に入射する光束は、露光量を制御するためのシャッター12を介して、撮像素子14に入射可能になる。撮像素子14による撮影動作終了後には、メインミラー130とサブミラー131は図示する様な位置に戻る。
撮像素子14はCCDまたはCMOSイメージセンサであり、複数の画素が2次元的に配置された構成を有し、被写体光学像を画素ごとに光電変換して電気信号を出力する。撮像素子14にて光電変換された電気信号はA/D変換器16へ送られ、アナログ信号出力がデジタル信号(画像データ)に変換される。タイミング発生回路18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給する。タイミング発生回路18はメモリ制御部22及びシステム制御部50により制御される。画像処理部20は、A/D変換器16からの画像データ或いはメモリ制御部22からの画像データに対して画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。
本実施形態に係る撮像素子14は一部の画素が焦点検出用画素として構成されており、クイックリターン機構によりメインミラー130とサブミラー131が光路外に退避した状態においても位相差検出方式の焦点検出を可能にしている。撮像素子14で得られた画像データのうち、焦点検出用信号の生成に用いられる画素のデータは、画像処理部20で焦点検出用データに変換される。その後、焦点検出用データはシステム制御部50を介してAF部42へ送られ、AF部42は焦点検出用データに基づいて撮影レンズ300の焦点調節を行う。
なお、撮像素子14で撮影した画像データから画像処理部20でコントラスト評価値を演算し、システム制御部50が、撮影レンズ300のフォーカス制御部342に対して焦点合わせを行うコントラスト方式のAFも可能である。このように、本実施形態のカメラ100は、ライブビュー表示時や動画撮影時のようにメインミラー130とサブミラー131が光路外に退避していても、撮像素子14で得られる画像データから位相差検出方式AFとコントラスト方式AFの両方が可能である。また、本実施形態のカメラ100は、メインミラー130とサブミラー131が光路内にある通常の静止画撮影では、焦点検出装置105による位相差検出方式AFが可能である。従って、静止画撮影時、ライブビュー表示時、動画撮影時のどの状態においても焦点調節が可能である。
メモリ制御部22は、A/D変換器16、タイミング発生回路18、画像処理部20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長部32を制御する。そして、A/D変換器16のデータが画像処理部20およびメモリ制御部22を介して、あるいはメモリ制御部22のみを介して、画像表示メモリ24あるいはメモリ30に書き込まれる。画像表示メモリ24に書き込まれた表示用の画像データは、D/A変換器26を介して液晶モニタ等から構成される画像表示部28に表示される。撮像素子14で撮影した動画像を画像表示部28に逐次表示することで、電子ファインダ機能(ライブビュー表示)を実現できる。画像表示部28は、システム制御部50の指示により表示をON/OFFすることが可能であり、表示をOFFにした場合にはカメラ100の電力消費を大幅に低減できる。
また、メモリ30は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことができる。また、メモリ30はシステム制御部50の作業領域としても使用できる。圧縮伸長部32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する機能を有し、メモリ30に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ30に書き戻す。
シャッター制御部36は、測光部46からの測光情報に基づいて、撮影レンズ300の絞り312を制御する絞り制御部344と連携しながら、シャッター12を制御する。インターフェース部38とコネクタ122は、カメラ100と撮影レンズ300とを電気的に接続する。これらは、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
測光部46は、自動露出制御(AE)処理を行う。撮影レンズ300を通過した光束を、レンズマウント106、メインミラー130、そして不図示の測光用レンズを介して、測光部46に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光部46は露出条件を決定することができる。また、測光部46は、フラッシュ48と連携することで調光処理機能も有する。なお、画像処理部20による撮像素子14の画像データを演算した演算結果に基づき、システム制御部50が、シャッター制御部36と撮影レンズ300の絞り制御部344に対してAE制御を行うことも可能である。フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能も有する。
システム制御部50は例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ52はシステム制御部50の動作用の定数、変数、プログラム等を記憶する。表示部54はシステム制御部50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。表示部54はカメラ100の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばLCDやLED等の組み合わせにより構成される。表示部54の表示内容のうち、LCD等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部54は、前述した様にその一部の機能が光学ファインダ104内に設置されている。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。60,62,64,66,68及び70は、システム制御部50の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
モードダイアル60は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定できる。シャッタースイッチSW1である62は、不図示のシャッターボタンが半押しされるとONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。シャッタースイッチSW2である64は、シャッターボタンが全押しされるとONとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御部22を介してメモリ30に画像データとして書き込む。現像処理では、画像処理部20やメモリ制御部22での演算を用いた現像を行う。記録処理では、メモリ30から画像データを読み出し、圧縮伸長部32で圧縮を行い、記録媒体200或いは210に画像データとして書き込む。
画像表示ON/OFFスイッチ66は、画像表示部28のON/OFFを設定できる。この機能により、光学ファインダ104を用いて撮影を行う際に、液晶モニタ等から成る画像表示部28への電流供給を遮断することにより、省電力を図ることができる。クイックレビューON/OFFスイッチ68は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部70は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、露出補正ボタン等がある。
電源制御部80は、電池検出回路、DC/DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部50の指示に基づいてDC/DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ82及び84は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、リチウムイオン電池等の二次電池、ACアダプタ等からなる電源部86をカメラ100と接続する。
インターフェース90及び94は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ92及び96は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部98は、コネクタ92または96に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明しているが、インターフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにLANカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
通信部110は、有線通信、無線通信等の各種通信機能を有する。コネクタ112は、通信部110によりカメラ100を他の機器と接続し、無線通信の場合はアンテナである。記録媒体200及び210は、メモリカードやハードディスク等である。記録媒体200及び210は、半導体メモリや磁気ディスク等から構成される記録部202,212、カメラ100とのインターフェース204,214、カメラ100と接続を行うコネクタ206,216を備えている。
次に、撮影レンズ300について説明する。撮影レンズ300は、レンズマウント306をカメラ100のレンズマウント106に係合させることによりにカメラ100と機械的並びに電気的に結合される。電気的な結合はレンズマウント106及びレンズマウント306に設けられたコネクタ122及びコネクタ322によって実現される。レンズ311には撮影レンズ300の合焦距離を調節するためのフォーカスレンズが含まれ、フォーカス制御部342はフォーカスレンズを光軸に沿って駆動することで撮影レンズ300の焦点調節を行う。絞り312はカメラ100に入射する被写体光の量と角度を調節する。
コネクタ322及びインターフェース338は、撮影レンズ300をカメラ100のコネクタ122と電気的に接続する。そして、コネクタ322は、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ322は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
ズーム制御部340はレンズ311の変倍レンズを駆動し、撮影レンズ300の焦点距離(画角)を調整する。撮影レンズ300が単焦点レンズであればズーム制御部340は存在しない。絞り制御部344は、測光部46からの測光情報に基づいて、シャッター12を制御するシャッター制御部36と連携しながら、絞り312を制御する。
レンズシステム制御部346は例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ300全体の動作を制御する。そして、レンズシステム制御部346は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ348は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。
本実施形態においては、撮影レンズ300の状態に応じたレンズ枠情報も記憶されている。このレンズ枠情報は、撮影レンズを通過する光束を決定する枠開口の半径の情報と、撮像素子14から枠開口までの距離の情報である。絞り312は、撮影レンズを通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズを通過する光束を決定する枠は、レンズ311のフォーカス位置やズーム位置によって異なるため、レンズ枠情報はレンズ311のフォーカス位置やズーム位置に対応して複数用意されている。そして、カメラ100が、焦点検出手段を用いて焦点検出を行う際には、レンズ311のフォーカス位置とズーム位置に対応した最適なレンズ枠情報が選択され、カメラ100にコネクタ322を通じて送られる。
以上が、カメラ100と撮影レンズ300からなる本実施形態のカメラシステムの構成である。
次に、撮像素子14を用いた位相差検出方式の焦点検出動作について説明する。
図2(A)は本実施形態における撮像素子14の画素配列の例を模式的に示した図で、CMOSイメージセンサに2次元配置された画素群のうち、縦(Y軸方向)6行と横(X軸方向)8列の範囲を、撮影レンズ300側から観察した状態を示している。撮像素子14はベイヤー配列のカラーフィルタを有し、偶数行の画素には左から順に緑(Green)と赤(Red)のカラーフィルタが、奇数行の画素には左から順に青(Blue)と緑(Green)のカラーフィルタが、それぞれ交互に設けられる。ただし、本実施形態の撮像素子14では、焦点検出用の光電変換部を有する画素については、本来の青のカラーフィルタに代えて緑のカラーフィルタを設けている。なお、以下の説明において、青(または緑、赤)のカラーフィルタが設けられた画素を青画素(または緑画素、赤画素)と呼ぶ場合がある。
また、各画素にはオンチップマイクロレンズ211iが設けられ、オンチップマイクロレンズ211i内の矩形はそれぞれ光電変換部の受光領域を模式的に示している。焦点検出用の光電変換部311a,311bは、画素の中心から横方向に偏倚して配置されている。なお、以下の説明において、焦点検出用の光電変換部311a,311bが設けられた画素を、焦点検出用画素と呼ぶことがある。また、焦点検出用の光電変換部311a,311bは、本来の青(Blue)画素に代えて設けられた緑画素に配置されている。これは、青(Blue)画素の出力が、最も画質に対して影響度が低いためである。なお、本発明は撮像素子が有するカラーフィルタのパターンには依存しない。このように、本実施形態の撮像素子14は、焦点検出用画素を含め、各画素に1つの光電変換部が設けられているため、1つの画素からは1つの光電変換信号が読み出される。
ここで、位相差検出方式の焦点検出に用いる像信号の生成について説明する。本実施形態では4種類の像信号を生成する。後述するように、本実施形態においては、マイクロレンズ211iと、偏倚位置が異なる光電変換部311a及び311bとを用いて撮影光学系(撮影レンズ300)の射出瞳を分割する。そして、同一画素行(X軸方向)に配置された画素211の出力のうち、複数の光電変換部311aの出力をつなぎ合わせて編成したものをA像、複数の光電変換部311bの出力をつなぎ合わせて編成したものをB像とする。図2(A)に示したように、A像およびB像は、X軸方向に2画素ピッチで隣接する複数の青画素位置(の緑画素)から得ることができる。
また、図2(A)の1行目の複数の緑画素である光電変換部311cは光電変換部311aと図2(A)中のX軸方向にそれぞれ隣接しているが、この光電変換部311cの出力をつなぎあわせて編成したものをGA像とする。また、図2(A)の5行目の複数の緑画素である光電変換部311cは光電変換部311bと図2(A)中のX軸方向にそれぞれ隣接しているが、この光電変換部311cの出力をつなぎあわせて編成したものをGB像とする。光電変換部311a,311bが、撮影光学系(撮影レンズ300)の射出瞳の一部の領域を通過した光束に基づく信号を出力するのに対し、光電変換部311cは、撮影光学系(撮影レンズ300)の射出瞳の全領域を通過した光束に基づく信号を出力する。このように、A像(光電変換部311aの出力),B像(光電変換部311bの出力),GA像(光電変換部311cの出力),GB像(光電変換部311cの出力)を同色画素群から得ることにより、精度の良い位相差検出が可能である。
なお、A像,B像,GA像,GB像を生成するために用いる画素の位置及び数は、焦点検出領域に応じて定まるものとする。
詳細は後述するが、このように生成されたA像とGA像は同じ行の画素から得られた像であるため、A像とGA像の相対的な像ずれ量から、本来求めたいA像とB像の像ずれ量の1/2が正確に求められる。同様に、B像とGB像は同じ行の画素から得られた像であるため、B像とGB像の相対的な像ずれ量から、本来求めたいA像とB像の像ずれ量の残りの1/2が正確に求められる。そしてこれらを加え合わせて相関演算をすることにより、A像とB像の所定領域での焦点ずれ量、すなわちデフォーカス量を検出することができる。本実施形態では、位置が画素の中央から偏倚していない光電変換領域311cを有する画素(以下の説明では撮影用画素と呼ぶことがある)からは通常の画素信号が得られる。撮影画像を生成する際には、焦点検出用画素に対応する位置の通常の画素信号を、周囲の画素の出力を用いて生成(補完)する。なお、通常の画素信号を生成する際には、対象となる焦点検出用画素の出力を用いてもよいし、用いなくてもよい。
以下、A像(第1の像信号)の生成に用いられる光電変換部311aが設けられた複数の画素を第1の画素群と呼び、B像(第2の像信号)の生成に用いられる光電変換部311bが設けられた複数の画素を第2の画素群と呼ぶ。また、GA像(第3の像信号)の生成に用いられる、光電変換部311cが設けられた複数の画素を第3の画素群と呼び、GB像(第4の像信号)の生成に用いられる、光電変換部311cが設けられた複数の画素を第4の画素群と呼ぶ。
なお、本実施形態では第3の画素群および第4の画素群を第1の画素群および第2の画素群にX軸方向で隣接する画素群としている。しかし、第3の画素群および第4の画素群を第1の画素群および第2の画素群にY軸方向で隣接する画素群としてもよい。あるいは、他の画素から得られる画素値を用いてGA像およびGB像を生成してもよい。例えば、GA像を、第1の画素群の各画素について、隣接する複数(例えば4つ)の画素の平均値として算出された画素値から生成してもよい。
基本的には、位相差検出方向に直交する方向において、第1の画素群と第2の画素群とが離間している距離よりも、第1の画素群と第3の画素群との距離が短くなるように、第3の画素群を選択すれば本発明の効果は得られる。第4の画素群についても同様に、第1の画素群と第2の画素群との距離よりも、第2の画素群と第4の画素群との距離が短くなるように選択すればよい。他の画素値から第3および第4の画素群の画素値を生成する場合には、第3及び第4の画素群の各画素の仮想画素位置を同様にして選択すればよい。
図2(B)は本実施形態の撮像素子14の読み出し回路の構成例を示す図である。撮像素子14は水平走査回路151と垂直走査回路153を有しており、各画素の境界には、水平走査ライン252と、垂直走査ライン254が配線されている。各光電変換部311a,311b,311cで生成された信号は、水平走査ライン252および垂直走査ライン254を介して外部に読み出される。
図3は、撮影レンズ300の射出瞳面と、撮像素子14の像面中央近傍に配置された画素211の光電変換部311a,311bとの共役関係を説明する図である。撮像素子14内の光電変換部311a、311bと撮影レンズ300の射出瞳面は、オンチップマイクロレンズ211iによって共役関係となるように設計される。そして撮影レンズ300の射出瞳面は、光量調節用の虹彩絞りが設けられる面とほぼ一致するのが一般的である。
一方、本実施形態の撮影レンズ300は変倍機能を有したズームレンズである。ズームレンズには、変倍操作を行なうと、射出瞳の大きさや、像面から射出瞳までの距離(射出瞳距離)が変化するものがある。図3では、撮影レンズ300の焦点距離が広角端と望遠端の中央にある状態を示している。この状態における射出瞳距離Zepを標準値として、オンチップマイクロレンズの形状や、像高に応じた偏心パラメータの最適設計がなされる。
図3において、撮影レンズ300は、第1レンズ群101、第1レンズ群を保持する鏡筒部材101b、第3レンズ群105、および第3レンズ群を保持する鏡筒部材105bを有している。また、撮影レンズ300は、絞り102と、絞り開放時の開口径を規定する開口板102a、および絞り込み時の開口径を調節するための絞り羽根102bを有している。なお、図3において、撮影レンズ300を通過する光束の制限部材として作用する101b,102a,102b,105bは、像面から観察した場合の光学的な虚像を示している。また、絞り102の近傍における合成開口を撮影レンズ300の射出瞳と定義し、射出瞳距離Zepを有している。
画素211の最下層には、光電変換部311a(図3(A))もしくは光電変換部311b(図3(B))もしくは光電変換部311c(不図示)が配置される。光電変換部311a〜311cの上層には、配線層211e〜211g、カラーフィルタ211h、及びオンチップマイクロレンズ211iが設けられる。光電変換部311a〜311cは、オンチップマイクロレンズ211iによって撮影レンズ300の射出瞳面に投影される。換言すれば、射出瞳が、オンチップマイクロレンズ211iを介して、光電変換部311a〜311cの表面に投影される。
図3(C)は、射出瞳面上における、光電変換部311a,311bの投影像EP1a,EP1bを示している。なお、光電変換部311cに対する投影像EP1cは、EP1aとEP1bの和におおむね等しい。
図3(A),(B)には、撮影レンズ300を通過する光束の最外部をLで示している。光束の最外部Lは絞りの開口板102aで規制されており、投影像EP1a及びEP1bは撮影レンズ300でケラレがほぼ発生していない。図3(C)では、図3(A)および図3(B)における光束の最外部Lが射出面で形成する円TLを示している。光電変換部311a,311bの投影像EP1a,EP1bの大部分が円TLの内部に存在することからも、ケラレがほぼ発生していないことがわかる。光束の最外部Lは、絞りの開口板102aで規定されるため、TL=102aと言い換えることができる。この際、像面中央では各投影像EP1aないしEP1bのケラレ状態は光軸に対して対称となり、各光電変換部311a及び311bの受光量は等しい。このように、本実施形態の撮像素子14は撮影機能だけではなく、位相差検出方式の焦点検出に用いる信号を生成する装置としての機能も有している。
図4(a)は、撮影範囲400に設定された焦点検出領域401の例を示す図である。撮像素子14が有する画素の出力を用いた焦点検出を行う場合、コントラスト検出方式、位相差検出方式のいずれにおいても、焦点検出領域401に対応する撮像素子14の領域内に含まれる画素の出力を用いる。従って、焦点検出領域401は撮像素子14に設定されているとも言え、以下では説明及び理解を容易にするため、焦点検出領域401を撮像素子14の画素領域として説明する。
ここでは、焦点検出領域401内の画素に、図2(A)に示したような規則で光電変換部311a〜311cが設けられているものとする。画素の中央から水平(X軸)方向に偏倚した光電変換部311a,311bを有する焦点検出用画素を用いるため、焦点検出領域401内の画像の水平方向のコントラスト差によって像信号の位相差を検出する。
ここで検出される位相差は、1対の光束の進行角度の差によって発生し、単位デフォーカス量当たりの位相差は、1対の像信号を生成する光束の射出瞳面上の領域内の重心間隔と比例する。上述の通り、光電変換部311cに対する投影像EP1cは、投影像EP1aとEP1bの和に概ね等しい。従って、投影像EP1cの重心位置は、投影像EP1a,EP1bの1対の重心位置の中央に存在する。そのため、光電変換部311a,311bから得られる1対の像信号(A像、B像)の位相差は、光電変換部311a(311b),311cから得られた1対の像信号(A像(B像)、GA像(GB像))の位相差の約2倍となる。
投影像EP1cはGA像とGB像に共通するため、GA像を生成する光束とGB像を生成する光束は射出面上での重心位置は等しい。従って、光電変換部311a,311cの出力から得られるA像とGA像の位相差と、光電変換部311b,311cの出力から得られるB像とGB像の位相差の和は、光電変換部311a,311bの出力から得られるA像とB像の位相差と概ね等しくなる。
図4(b)は、焦点検出領域401内に含まれる画素のうち、AF用の像信号の生成に用いられる画素を抜き出し、各画素の出力でどの像信号が生成されるかを示した図である。図4(b)においては、同種の像信号を生成する画素群(第1〜第4の画素群)ごとに、i行上のj個目の画素を「像信号の種類」と(i,j)(ただしi,jは1〜Nの整数)で示している。例えば、A像を生成する第1の画素群のうち、1行目で1個目の画素をA(1,1)と表す。なお、図4(b)における光電変換部の色分けは、同種の像信号を生成する画素群を分かりやすくするためのものである。
なお、図4(b)では、焦点検出領域401内の画素のうち、AF用信号の生成に用いられる画素が2行2N列分である場合を示したが、行数、列数はこれに限らない。行数は2行以上であればよく、列数についても一般的に位相差が検出できる範囲で適宜設定すればよい。なお、位相差が検出できない場合や精度が低いと判断される場合に、動的に列数を増やすようにしてもよい。
次に、カメラ100における焦点調節動作について、図5に示すフローチャートを用いて説明する。なお、図5に示す処理は、メインミラー130とサブミラー131が光路外へ退避(ミラーアップ)した状態、より具体的にはライブビュー表示時(表示用動画撮影時)もしくは動画記録時(記録用動画撮影時)において実施される処理である。なお、ここでは撮像素子14の出力を用いた位相差検出方式の自動焦点検出を行うものとして説明するが、上述の通り、コントラスト検出方式の自動焦点検出を行うこともできる。
S501でシステム制御部50は、SW1(62)や操作部70などの操作により、焦点検出開始指示が入力されたか判別し、入力されていると判別された場合に処理をS502へ進め、入力されていると判別されなければ待機する。なお、システム制御部50は、焦点検出開始指示の入力に限らず、ライブビュー表示や動画記録の開始をトリガとして処理をS502に進めてもよい。
S502でシステム制御部50は、撮影レンズ300のレンズ枠情報やフォーカスレンズ位置などの各種レンズ情報を、インターフェース部38,338およびコネクタ122,322を介してレンズシステム制御部346から取得する。
S503でシステム制御部50は、逐次読み出されているフレーム画像データの、焦点検出領域内の画素データから、AF用の像信号(A像、B像、GA像、GB像)を生成するように画像処理部20に指示する。AF用の像信号はAF部42へ送られ、焦点検出用画素と撮影用画素とで光電変換部の大きさが異なることによる信号レベルの差を補正する処理などが行われる。
S504でAF部42は、A像とGA像、B像とGB像の2対の像信号に対して公知の相関演算などを適用して像のずれ量を算出し、デフォーカス量に変換する。この処理の詳細は、後述する。AF部42は、デフォーカス量をシステム制御部50に出力する。
S505でシステム制御部50は、S504でAF部42から得られたデフォーカス量に基づき、撮影レンズ300のレンズ駆動量を算出する。
S506でシステム制御部50は、インターフェース部38,338、コネクタ122,322を介して、レンズ駆動量および駆動方向の情報を撮影レンズ300のフォーカス制御部342に送信する。フォーカス制御部342は、受信したレンズ駆動量と駆動方向の情報に基づいて、フォーカスレンズを駆動する。これにより、撮影レンズ300の焦点調節が行われる。なお、図5の動作は次フレーム以降の動画データが読み出された際にも継続的に実施されてよい。
次に、図5のS504でAF部42が行うデフォーカス量の算出処理について、図6に示すフローチャートを用いてさらに説明する。S5041で第1の算出手段としてのAF部42は、同じ画素行(m行目とする)から生成したA像とGA像の相関演算を行う。相関演算に用いる相関量COR1(k)は、例えば下記の式(1)で算出することができる。
式(1)で用いる変数kは、相関演算時のシフト量で、−kmax以上kmax以下の整数である。AF部42は各シフト量kについての相関量COR1(k)を求めた後、A像とGA像の相関が最も高くなるシフト量k、すなわち、相関量COR1が最小となるシフト量kの値を求める。なお、相関量COR1(k)の算出時におけるシフト量kは整数とするが、相関量COR1(k)が最小となるシフト量kを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値(実数値)を求める。
本実施形態では、相関量COR1の差分値の符号が変化するシフト量dkを、相関量COR1(k)が最小となるシフト量kとして算出する。
まず、AF部42は、相関量の差分値DCOR1を以下の式(2)に従って算出する。
DCOR1(k)=COR1(k)-COR1(k-1) ...(2)
そして、AF部42は、相関量の差分値DCOR1を用いて、差分量の符号が変化するシフト量dk1を求める。差分量の符号が変化する直前のkの値をk1、符号が変化したkの値をk2(k2=k1+1)とすると、AF部42はシフト量dk1を、以下の式(3)に従って算出する。
dk1=k1+ |DCOR1(k1)|/|DCOR1(k1)-DCOR1(k2)| ...(3)
以上のようにして第1の算出手段としてのAF部42は、A像とGA像の相関量が最大となるシフト量dk1をサブピクセル単位で算出し、S5041の処理を終える。なお、2つの1次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。
S5042で第2の算出手段としてのAF部42は、同じ画素行(m+1行目)から生成したB像とGB像について、S5041と同様の方法で、相関が最大となるシフト量dk2を算出する。
S5043でAF部42は、2種のシフト量dk1、dk2の和dk_sumを算出する。この和dk_sumがA像とB像の位相差に相当することは上述した通りである。そのため、AF部42はシフト量の和dk_sumに予め例えば不揮発性メモリ56に記憶された敏感度を乗じることで、シフト量の和dk_sumをデフォーカス量DEFに換算する。デフォーカス量DEFの算出を終えると、デフォーカス量算出処理を終了する。
本実施形態では、撮影光学系の射出瞳上の異なる領域を通る光束を光電変換し得られる信号であるA像とB像を、位相差検出方向(X軸方向)と直交する方向(Y軸方向)に離れて位置する画素群から生成している。そのため、A像とB像がサンプリングしている被写体光学像の位置が異なり、A像とB像の類似度が高いことは保証されない。2つの信号間の位相差を相関量に基づいて求める場合、2つの信号の類似度が高いほうが、高精度の位相差が得られる。本実施形態では、被写体光学像上で、A像と概ね同じ位置をサンプリングできるGA像を生成し、A像とGA像の位相差を算出する。さらに、同様にB像とGB像の位相差を算出する。そして、これら2つの位相差算出結果を合計することでA像とB像の位相差を高精度に算出することができる。
また、A像とGA像の位相差と、B像とGB像の位相差を合計してA像とB像の位相差を算出するため、単位デフォーカス量当たりの位相差が、A像とGA像(またはB像とGB像)の位相差よりも大きくなる。そのため、位相差検出結果に含まれるノイズの影響を低減し、高精度な位相差検出を行うことができる。
このように構成することにより、A像とB像の類似度が低い場合でも、A像とB像との位相差を高精度に求めることが可能になる。そのため、A像の信号を生成する画素群(第1の画素群)とB像の信号を生成する画素群(第2の画素群)の配置の自由度が向上し、撮像用の信号を生成する際に補正の行いやすい位置に焦点検出用画素を配置するといったことが可能になる。その結果、焦点検出用画素に対応する画素値の補正精度が向上し、高画質化を実現することができる。
なお、本実施形態では、A像とGA像の相関量を用いて得られる位相差dk1(第1の位相差)と、B像とGB像の相関量を用いて得られる位相差dk2(第2の位相差)とを算出し、位相差dk1とdk2の和をデフォーカス量に変換した。しかし、デフォーカス量の算出方法は、これに限らない。例えば、同じシフト量kに対応するA像とGA像の相関量(第1の相関量)とB像とGB像の相関量(第2の相関量)の和を算出し、2つの相関量の和が最小となるシフト量dkからデフォーカス量を算出してもよい。この場合、A像とB像から検出される位相差は少なくなってしまうが、相関量の差分を大きくすることができるため、シフト量の検出精度が向上する。
また、シフト量からデフォーカス量を算出する際に、位相差dk1とdk2の和に対して、敏感度を乗じた。しかし、予め不揮発性メモリ56に位相差dk1用と位相差dk2用の各々の敏感度を記憶しておき、個々の位相差に敏感度を乗じた後に合計してデフォーカス量を算出してもよい。敏感度の記憶に必要な容量は増えるが、より精度のよい焦点検出を行うことが可能となる。
●(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態との主な違いは、撮像素子の画素配列である。第1の実施形態の撮像素子は、撮影用画素と2種類の焦点検出用画素とを配列し、1つの画素が1つの光電変換部を有する構成であった。本発明をこのような撮像素子を用いた撮像装置に適用した場合、焦点検出精度を向上できることは第1の実施形態で説明した。しかし、本発明は全画素に2つの光電変換部を設け、全画素からA像とB像の出力信号を得ることができる撮像素子を用いる撮像装置にも適用可能である。
なお、第1の実施形態で説明した撮像装置の構成(図1)、焦点検出領域(図4(a))、焦点調節動作やデフォーカス量算出処理(図5、図6)に関しては、本実施形態においても共通するため、説明は省略する。
本実施形態における撮像素子14の構成を、図7〜図8を用いて説明する。なお、図7〜図8において、図2〜図3と同様の構成には同じ参照数字を付して重複する説明を省略する。
図7(a)は図2(a)と同様に、本実施形態における撮像素子14に2次元配置された画素群のうち、縦(Y軸方向)6行と横(X軸方向)8列の範囲を、撮影レンズ300側から観察した状態を示している。ただし、本実施形態の撮像素子14では、カラーフィルタの配列はベイヤー配列通りである。つまり、第1の実施形態とは異なり、青の位置の画素にはすべて青のカラーフィルタが設けられている。本実施形態では、同じ画素からA(B)像とGA(GB)像が得られるため、フィルタの色を変更する必要がない。
本実施形態では、すべての画素211は、X軸方向に2分割された光電変換部211a,211bを有し、一方の光電変換領域の出力信号と、両方の光電変換領域の出力信号の和とを別個に読み出し可能に構成されている。そして、他方の光電変換領域の出力信号に相当する信号は、両方の光電変換領域の出力信号の和と一方の光電変換領域の出力信号との差分として得ることができる。分割された光電変換領域の出力信号は、後述する方法で位相差検出方式の焦点検出に用いることができるほか、1対の視差画像から構成される3D(3−Dimensional)画像の生成に用いることもできる。一方、両方の光電変換領域の出力信号の和は、通常の撮影用画素の出力信号として用いることができる。
ここで、位相差検出方式の焦点検出に用いる像信号の生成について説明する。本実施形態においては、図7(a)のマイクロレンズ211iと、分割された光電変換部211a及び211bで、撮影レンズ300の射出瞳を分割する。そして、焦点検出領域内の同一画素行(X軸方向)に配置された複数の画素211における光電変換部211aの出力をつなぎ合わせて編成したものをA像、光電変換部211bの出力をつなぎ合わせて編成したものをB像とする。上述の通り、本実施形態の撮像素子は2つの光電変換領域の一方については出力を直接読み出すことができない。従って、直接読み出しできない光電変換領域の出力信号を必要とする像信号は、2つの光電変換領域の出力信号の和と、直接読み出しできる光電変換領域の出力信号との差分として得ることができる。
また、本実施形態においてGA像とGB像は、A像とB像の生成に用いる画素から読み出される、2つの光電変換領域の出力信号の和から生成する。
このように生成したA像とGA像の相対的な像ずれ量、B像とGB像の相対的な像ずれ量を相関演算により検出することで、焦点検出領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。基本的な方法は第1の実施形態で説明したとおりである。
以下、A像(第1の像信号)の生成に用いられる光電変換部211aが設けられた複数の画素を第1の画素群と呼び、B像(第2の像信号)の生成に用いられる光電変換部211bが設けられた複数の画素を第2の画素群と呼ぶ。本実施形態では、第1の画素群はGA像(第3の像信号)の生成にも用いられ、第2の画素群はGB像(第4の像信号)の生成にも用いられる。
図7(b)は本実施形態の撮像素子14における読み出し回路の構成例を示す図である。撮像素子14は水平走査回路151と垂直走査回路153を有しており、各画素の境界には、水平走査ライン152a及び152bと、垂直走査ライン154a及び154bが配線されている。光電変換部の一方の出力と、両方の加算出力は、これらの走査ラインを介して外部に読み出される。
本実施形態では、奇数行の画素からはA像とGA像の出力が読みだされ、偶数行の画素からはB像とGB像の出力が読みだされるものとする。
図8は、撮影レンズ300の射出瞳面と、撮像素子14の像面中央近傍に配置された画素211の光電変換部211a,211bとの共役関係を説明する図である。画素211内の光電変換部211a,211bと撮影レンズ300の射出瞳面は、オンチップマイクロレンズ211iによって共役関係となるように設計される。本実施形態における構成は、各画素が図3(A)および(B)に示した構成の両方を有している点を除き、第1の実施形態と同様であるため、重複する説明は省略する。
次に、本実施形態における、撮像素子14の出力を用いた位相差検出方式の焦点検出方法について説明する。本実施形態においても第1の実施形態と同様に、A像とGA像、B像とGB像の各々の組み合わせについて位相差を検出する。本実施形態では、奇数画素行からは光電変換部211a,211bの出力の和であるGA像(撮影信号)と光電変換部211aの出力であるA像とを読み出す。また、偶数画素行からは光電変換部211a,211bの出力の和であるGB像(撮影信号)と光電変換部211bの出力であるB像とを読み出す。
奇数画素行におけるB像と、偶数画素行におけるA像はそれぞれ、GA像とA像の差とGB像とB像の差として算出することができるが、演算を伴うため、得られる信号のS/Nは直接読み出した場合よりも低下する。そのため、高精度の位相差検出を行うには、差分として求めた像信号を用いない方がよい。したがって、本実施形態では、読み出しが可能な一方の光電変換部の出力と、両方の光電変換部の出力和とを用いて位相差を検出する。
第1の実施形態の場合と異なり、撮像信号とAF用の片方の像信号は、同じ画素から得られる。そのため、図4(c)に示すように、焦点検出領域401内に配置された2行N列の画素から、A像(A(i,j))、B像(B(i,j))、GA像(GA(i,j))およびGB像(GB(i,j))(1≦i≦2、1≦j≦N)を得ることができる。そして、第1の実施形態と同様にして、A像とGA像、B像とGB像のそれぞれの組み合わせについて、シフト量dk1,dk2を求め、その和dk_sumに基づいてデフォーカス量を求める。
本実施形態によれば、各画素の光電変換領域が分割されている構成の撮像素子を用いた場合に、各光電変換領域の個別読み出しよりも処理負荷を軽減しながら、精度の良い位相差検出を行うことができ、焦点検出精度を向上させることができる。
●(第3の実施形態)
次に、本発明の第3の実施形態について説明する。第1の実施形態との主な違いは、デフォーカス量算出方法の違いである。第1の実施形態では、A像とGA像の位相差検出結果と、B像とGB像の位相差検出結果を用いてデフォーカス量の算出を行うことで、A像の生成に用いられる画素とB像の生成に用いられる画素が離れていても、精度のよいデフォーカス量の検出を実現した。しかし、デフォーカス量が大きい場合には、A像とGA像(撮像信号)とでボケ方が異なり、2つの像信号の一致度が低下する。これは、それぞれの像信号の生成に用いられる光電変換部の大きさや配置の相違により、2つの像信号に含まれる光束のF値が異なるためである。そのため、デフォーカス量が大きくなるにつれ、焦点検出精度が悪化する。
本実施形態では、デフォーカス量が大きいと推定される場合にはA像とB像の位相差検出結果を用いることを特徴とする。これはデフォーカス量が大きい場合には、A像の生成に用いられる画素とB像の生成に用いられる画素が離れていても、被写体光学像のボケが大きいため、A像とB像の一致度が高まるためである。つまり、デフォーカス量が大きい場合には、A像とB像のサンプリング位置の相違が焦点検出結果に与える影響が小さいことを利用したものである。
なお、第1の実施形態で説明した撮像装置の構成(図1)、撮像素子14の構成(図2、図3)、焦点検出領域(図4(a))、焦点調節動作(図5)に関しては、本実施形態においても共通するため、説明は省略する。
以下、図9に示すフローチャートを用いて、本実施形態におけるデフォーカス量算出方法について説明する。このデフォーカス量算出処理は、図5のS504において実施することができる。また、図9において、第1の実施形態と同様の動作については図6と同じ参照数字を付してある。
まずS6041でAF部42は、現在のデフォーカス量が所定の閾値より大きいか否かを判定する。現時点でのデフォーカス量は、焦点調節動作の開始以前に得られたデフォーカス量や、焦点検出を繰り返し行っている場合には前回検出したデフォーカス量と、その後のレンズ駆動量などから算出することができる推定値である。焦点調節動作の開始以前にデフォーカス量を得る場合には、図5のS501において、焦点検出開始の条件が満たされる以前から、一定間隔で焦点検出を行うようにしてもよい。なお、ここで用いられる閾値は、予め実験等を通じて定めることができる。
AF部42は、現在のデフォーカス量が所定の閾値より大きいと判定された場合には処理をS6042へ進める。また、現在のデフォーカス量が所定の閾値以下と判定された場合、AF部42はS5041、S5042を実行して第1の実施形態と同様にしてシフト量dk1,dk2を求め、処理をS6044に進める。
S6042でAF部42は、異なる画素行に存在する焦点検出用画素(第1の画素群および第2の画素群)から得られるA像とB像を用いた相関演算を行う。相関演算は、第1の実施形態で説明した、A像とGA像との相関演算におけるGA像をB像として実施することができる。そして、相関量(COR3とする)が最小になるシフト量dk3を、相関量の差分DCOR3に基づいて、第1の実施形態と同様に算出する。
次に、S6043でAF部42は、A像と同じ画素行から得られるGA像と、B像と同じ画素行から得られるGB像を用いた相関演算を行う。AF部42はS6042と同様にして相関量(COR4とする)が最小となるシフト量dk4を、相関量の差分DCOR4に基づいて算出し、処理をS6044へ進める。
S6044でAF部42は、デフォーカス量の算出を行う。シフト量dk1、dk2が算出されている場合、AF部42は第1の実施形態と同様に、シフト量dk1、dk2の和dk_sumを算出し、予め不揮発性メモリ56に記憶された敏感度を乗じることで、シフト量をデフォーカス量DEFに換算する。
一方で、シフト量dk3、dk4が算出されている場合、AF部42は、シフト量dk3、dk4の差dk_dif=dk3−dk4を算出し、予め不揮発性メモリ56に記憶された敏感度を乗じることで、シフト量をデフォーカス量DEFに換算する。
デフォーカス量DEFの算出を終えると、AF部42はデフォーカス量算出サブルーチンを終了する。
ここで、シフト量dk3からシフト量dk4を減算する理由について説明する。シフト量dk3は、A像とB像のシフト量である。A像を生成する第1の画素群とB像を生成する第2の画素群は、位相差を検出する方向(ここではX軸方向)と直交する方向(Y軸方向)に離間しているため、被写体光学像をサンプリングする位置が異なる。そのため、斜め方向にコントラスト(明暗差)があるエッジを有する被写体を焦点検出する場合には、デフォーカス量とは関係のない位相差が、焦点検出誤差としてA像とB像との間に発生する。この焦点検出誤差は、GA像とGB像との間にも同様の理由で発生するが、GA像とGB像の位相差(シフト量dk4)は、デフォーカス量によって増減しない。このことを利用して、dk3からdk4を減算することにより、被写体によって発生する焦点検出誤差を低減することができる。
このように、本実施形態によれば、デフォーカス量の大小に応じて相関演算を行う1対の像信号を変更することにより、デフォーカス量の大きさに適した焦点検出結果を得ることができる。
●(第4の実施形態)
以下、本発明の第4の実施形態について説明する。第1の実施形態との主な違いは、デフォーカス量算出方法の違いである。上述の実施形態では、デフォーカス量の算出は常に、AF用A像信号と撮影信号(GA像信号)の位相差検出結果とAF用B像信号と撮影信号(GB像信号)の位相差検出結果を用いて行った。これにより、AF用A像信号を得る画素とAF用B像信号を得る画素の配置が離れていた場合でも、精度よく焦点検出を行うことができる。しかし、焦点検出を行う像高が高く、更に絞り値が大きい(絞り径が小さい)場合には、AF用A像信号とGA像信号(撮影信号)、もしくはAF用B像信号とGB像信号(撮影信号)のどちらかの基線長が短くなる。これは、像高が高いと、AF用A像信号とAF用B像信号で、瞳のケラレ方が大きく異なるためである。
図10は、撮影レンズの射出瞳距離と焦点検出用画素が見ている瞳位置の関係を示した図である。
1601aはAF用A像信号の瞳、1601bはAF用B像信号の瞳をそれぞれ表している。図10は、焦点検出の像高が−x1にあるとき、センサの入射瞳面のX2を見て、焦点検出を行うことを説明している。この図を見ればわかるように、撮影レンズの射出瞳距離ZLがセンサの入射瞳距離Zsに近くなるほど、X2は光軸に近くなる。すると、x1が変化しても、X2は常に光軸付近にあるため、AF用A像信号とGA像信号(撮影信号)の基線長と、AF用B像信号とGB像信号(撮影信号)の基線長でどちらかが一方だけ極端に短くなることはなくなる。
逆に、撮影レンズの射出瞳距離ZLがセンサの入射瞳距離Zsから遠くなるほど、|-x1|が大きくなると、X2も大きな値をとる。そのため、AF用A像信号とGA像信号(撮影信号)の基線長、もしくはAF用B像信号とGB像信号(撮影信号)の基線長のどちらかが極端に短くなりやすくなる。図10の場合、ZLがZsより小さく、x1がマイナス像高にあるため、AF用B像信号とGB像信号(撮影信号)の基線長が短い。一方、ZLがZsよりも長く、x1がマイナス像高にある場合はX2がマイナス側に反転するため、AF用A像信号とGA像信号(撮影信号)の基線長が短くなる。
図11は、像高が高い場合(図10に示すX2が破線で示される円の位置にあるとき)に、AF用A像信号とAF用B像信号で、瞳のケラレ方が大きく異なることを説明した図である。図11(a)は、AF用A像信号の瞳(センサの入射瞳。以下「瞳」と省略)が、枠(レンズ枠や絞り枠の総称)でケラレている様子、図11(b)は、AF用B像信号の瞳が、枠でケラレている様子を示している。また、図11(c)は、撮影用GA像信号(もしくはGB像信号)の瞳が、枠でケラレている様子を示している。さらに、図11(d)は、枠によるケラレを考慮したAF用A像信号、AF用B像信号、撮影用GA像信号(もしくはGB像信号)のそれぞれの線像の様子を示している。
1401aはAF用A像信号の瞳、1401bはAF用B像信号の瞳、1401cは撮像用GA像信号(もしくはGB像信号)の瞳、1402aはAF用A像信号の線像、1402bはAF用B像信号の線像、1402cは撮影用GA像信号(もしくはGB像信号)の線像を示している。また、1403aはAF用A像信号の線像の光軸(線像の重心位置)、1403bはAF用B像信号の線像の光軸、1403cは撮影用GA像信号(もしくはGB像信号)の線像の光軸を示している。
図11は、焦点検出を行う像高がAF用A像信号の瞳の山がある場合を示したものであるが、この場合はAF用A像信号とAF用GA像信号で焦点検出を行った場合、基線長が短いため敏感度が高く、焦点検出精度は低下してしまう。これに対して、AF用B像信号とGB像信号で焦点検出を行った場合、基線長は長く取れるため、焦点検出精度は良い。よって、AF用A像信号とGA像信号の焦点検出結果とAF用B像信号とGB像信号の焦点検出結果を加算して焦点検出結果を出すよりも、AF用B像信号とGB像信号の焦点検出結果だけを用いる方が焦点検出精度は高い。図11とは逆の像高で、焦点検出を行う像高がAF用B像信号の瞳の山がある場合は、上記とは逆で、AF用A像信号とGA像信号の焦点検出結果だけを用いる方が焦点検出精度は高い。
図12は、デフォーカス量の算出サブルーチンを示すフローチャートである。このサブルーチンでは、第1の実施形態の図6に示す動作と同じ動作を行うステップがあるため、そのステップには図6と同じステップ番号を付す。
第1の実施形態の図5に示すメインルーチンのステップS504から当サブルーチンに進むと、ステップS7041に進み、現時点でのデフォーカス量が所定の閾値より小さいか否かを判定する。現時点でのデフォーカス量は、焦点検出開始以前に得られたデフォーカス量の情報や、焦点検出を繰り返し行っている場合には前回検出したデフォーカス量を用い、その後のレンズ駆動量などを考慮して算出される値である。焦点検出開始以前にデフォーカス量を得る場合には、図5のステップS501で焦点検出を開始する以前から、常に一定間隔で焦点検出を行っていればよい。
ステップS7041では、A像とGA像の相関演算と、B像とGB像の相関演算の両方を使用するか片方を使用するかを判定する。A像とGA像の相関演算と、B像とGB像の相関演算の両方を使用すると判定されると、第1の実施形態で説明したステップS5041、ステップS5042と同じ動作を行う処理に進み、シフト量dk1、dk2を算出する。
ステップS7041でA像とGA像の相関演算と、B像とGB像の相関演算の片方を使用すると判定されると、ステップS7042に進む。ステップS7042では、A像とGA像の相関演算と、B像とGB像の相関演算のどちらを使用するかを判定する。A像とGA像の相関演算を使用すると判定されれば、第1の実施形態で説明したステップS5041と同じ動作を行う処理へ進みシフト量dk1を算出する。また、B像とGB像の相関演算を使用すると判定されれば第1の実施形態で説明したステップS5042と同じ動作を行う処理へ進みシフト量dk2を算出する。相関演算が行われなかった方のシフト量には0を代入する。
ここで、ステップS7041の、A像とGA像の相関演算と、B像とGB像の相関演算の両方を使用するか片方のみを使用するかの判定方法としてはいくつかの方法が考えられる。この判定は、撮影レンズの光学条件に関連して行われる。
まず考えられる方法としては、焦点検出の敏感度を用いる方法がある。図11で説明したように、焦点検出を行う場合の基線長が短くなると、焦点検出の敏感度が高くなる。敏感度が高すぎると、焦点検出精度の信頼性が低下するため、敏感度が所定閾値を超えた場合は、その敏感度を用いてデフォーカス量を算出する相関演算をしない手法は有効である。この方法は、敏感度以外に条件分岐する必要がないため、システム規模を抑えることができる。
次の方法としては、焦点検出の像高である。図11で説明したように、焦点検出を行う像高が高い場合、dk1とdk2で演算精度の差が大きくなる。そのため、焦点検出を行う像高に閾値を設け、焦点検出を行う像高が所定閾値を超えた場合はdk1、dk2のいずれかのみを使用し、所定閾値未満の場合はdk1、dk2の両方を使用する方法がある。ただし、焦点検出の像高だけでは、dk1とdk2の両方を使うか片方を使うかの切り替えが頻繁になってしまう可能性がある。そのため、これを避けたい場合(サーボAFで被写体追従し、AF方式を固定したい場合等)、絞り値や、撮影レンズの射出瞳距離を条件に加える方法が考えられる。絞り値が大きい場合、dk1とdk2の差が大きくなりやすいため、絞り値が所定閾値より大きい場合、上記で説明した像高による切り替えを行うとする。また、撮影レンズの射出瞳距離が短い場合、dk1用の敏感度と、dk2用の敏感度を比較し、所定以上の差(比や差分値等)がある場合、片方を用いて焦点検出を行うとする。このように、A像とGA像の相関演算と、B像とGB像の相関演算の両方を使用するか片方のみを使用するかの判定方法は複数考えられるが、これは要求仕様に応じて使い分ければよい。
図13は、図12におけるステップS7041の詳細な処理を示すフローチャートであり、撮影レンズの射出瞳距離、絞り値、像高を用いて、A像とGAの相関演算と、B像とGB像の相関演算の両方を使用するか片方のみを使用するかの判定を行った場合を示している。
まず、ステップS70411で撮影レンズの射出瞳距離ZLと、センサの入射瞳距離Zsを比較する。そして、差が所定の値Zlimitより小さければデフォーカス量を加算する、すなわちA像とGA像の相関演算と、B像とGB像の相関演算の両方を使用すると判定してリターンへ進む。一方、差がZlimit以上である場合はステップS70412へ進む。
ステップS70412では絞り値Fが所定の閾値Flimitより小さければデフォーカス量を加算すると判定してリターンへ進み、Flimit以上の場合はステップS70413へ進む。ステップS70413ではx1の絶対値が所定の閾値Xlimitより小さければデフォーカス量を加算すると判定してリターンへ進み、Xlimit以上の場合はステップS70414へ進む。
ステップS70414では撮影レンズの射出瞳距離ZLとセンサの入射瞳距離Zsを比較し、ZLがZs以上であれば、ステップS70415へ進み、Zsより小さい場合はステップS70416へ進む。ステップS70415ではx1がゼロか正であればステップS70418へ進み、負であればステップS70418へ進む。ステップS70416ではx1がゼロか正であればステップS70417へ進み、負であればステップS70418へ進む。
ステップS70417では、AF用B像信号とGB像信号(撮像信号)のシフト量のみを使用するために敏感度K1=0とする。ステップS70418では、AF用A像信号とGA像信号(撮像信号)のシフト量のみを使用するために敏感度K2=0とする。
図14は、図12におけるステップS7041の詳細な処理を示すフローチャートであり、敏感度Kを用いて、A像とGA像の相関演算と、B像とGB像の相関演算の両方を使用するか片方のみを使用するかの判定を行った場合を示している。
まず、ステップS70419aで敏感度K1が所定の閾値K_limitより小さいか否かを判定する。そして、K_limitよりも小さければデフォーカス量を加算するのでリターンへ進み、K_limit以上の場合はステップS70417へ進む。ステップS70417では、AF用B像信号とGB像信号(撮像信号)のシフト量のみを使用するために敏感度K1=0とする。
次に、ステップS70419bでは、敏感度K2が所定の閾値K_limitより小さいか否かを判定する。そして、K_limitより小さければデフォーカス量を加算するのでリターンへ進み、K_limit以上の場合はステップS70418へ進む。ステップS70418では、AF用A像信号とGA像信号(撮像信号)のシフト量のみを使用するために敏感度K2=0とする。以上がS7041における処理の詳細な説明である。
次に、図12のステップS7042について説明する。ステップS7042では、どちらの相関演算を行うかの判定を行う。ステップS7042で、ステップS7041で設定された敏感度K1=0でない場合はステップS5041へ進み、シフト量dk1を算出する。敏感度K1=0の場合はステップS5042へ進み、dk2を算出する。
また、図12のステップS7043では、デフォーカス量の算出を行う。算出されたシフト量dk1、dk2に、予め不揮発性メモリ56に記憶された値(もしくはデフォーカス量の加算判定で設定された0)を敏感度K1、K2(デフォーカス量換算係数)として掛けて、下記の式を演算することで、シフト量をデフォーカス量Defに換算する。
Def=K1×dk1+K2×dk2 ...(4)
なお、本実施形態では、式(4)を用いてデフォーカス量を算出したが、式(5)のように重みづけ係数G1,G2を用いて算出してもよい。
Def=G1×K1×dk1+G2×K2×dk2 ...(5)
デフォーカス量Defの算出を終えると、デフォーカス量の算出サブルーチンを終了する。
以上のように相関演算を行う対の像信号を選択することにより、常に精度のよい焦点検出結果を得ることができる。
(その他の実施形態)
上述の実施形態は発明の理解を容易にするための例示であり、本発明はこれらの実施形態に記載した特定の構成に限定されない。本発明の範囲は特許請求の範囲の記載によって規定され、その範囲内で種々の変形及び変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (13)

  1. 撮影光学系の射出瞳の一部の領域を通過した光束に基づく第1の像信号と、前記射出瞳の全領域を通過した光束に基づく第3の像信号との第1の位相差を検出する第1の算出手段と、
    前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第2の像信号と、前記射出瞳の全領域を通過した光束に基づく第4の像信号との第2の位相差を検出する第2の算出手段と、
    前記第1の位相差および前記第2の位相差に重みづけ係数を掛けて加えた和を用いて、前記撮影光学系のデフォーカス量を算出するデフォーカス量算出手段と、
    を有することを特徴とする焦点検出装置。
  2. 前記デフォーカス量算出手段は、焦点検出のための基線長に関連する光学条件に基づいて、前記重みづけ係数を決定することを特徴とする請求項1に記載の焦点検出装置。
  3. 前記基線長に関連する光学条件は、焦点検出の像高、瞳距離、絞り値、デフォーカス量換算係数のうちの少なくとも1つを含むことを特徴とする請求項2に記載の焦点検出装置。
  4. 前記基線長に関連する光学条件は、デフォーカス量換算係数を用いることを特徴とする請求項3に記載の焦点検出装置。
  5. 前記1の像信号の生成に用いられる第1の画素群と、前記第2の像信号の生成に用いられる第2の画素群とが、撮像素子において、前記第1および第2の位相差を検出する方向と直交する方向に離間していることを特徴とする請求項1乃至4のいずれか1項に記載の焦点検出装置。
  6. 前記第1の画素群と、前記3の像信号の生成に用いられる第3の画素群との、前記直交する方向における距離は、前記第1の画素群と、前記第2の画素群との、前記直交する方向における距離より小さく、
    前記第2の画素群と、前記4の像信号の生成に用いられる第4の画素群との、前記直交する方向における距離は、前記第1の画素群と前記第2の画素群との、前記直交する方向における距離より小さい、
    ことを特徴とする請求項5に記載の焦点検出装置。
  7. 前記第3の画素群の各画素と、前記第1の画素群の各画素とが隣接する画素であり、前記第4の画素群の各画素と、前記第2の画素群の各画素とが隣接する画素であることを特徴とする請求項6に記載の焦点検出装置。
  8. 前記第3の像信号および前記第4の像信号が、複数の画素値に基づいて生成された画素値によって生成されることを特徴とする請求項6に記載の焦点検出装置。
  9. 前記第1の像信号と前記第3の像信号が、同一の画素群の出力に基づいて生成され、
    前記第2の像信号と前記第4の像信号が、同一の画素群の出力に基づいて生成される、
    ことを特徴とする請求項6に記載の焦点検出装置。
  10. 撮影光学系の射出瞳の一部の領域を通過した光束に基づく像信号と、前記射出瞳の全領域を通過した光束に基づく像信号とを読み出し可能な撮像素子と、
    請求項1乃至9のいずれか1項に記載の焦点検出装置と、
    を有することを特徴とする撮像装置。
  11. 撮影光学系の射出瞳の一部の領域を通過した光束に基づく第1の像信号と、前記射出瞳の全領域を通過した光束に基づく第3の像信号との第1の位相差を検出する第1の算出工程と、
    前記射出瞳の前記一部の領域とは異なる一部の領域を通過した光束に基づく第2の像信号と、前記射出瞳の全領域を通過した光束に基づく第4の像信号との第2の位相差を検出する第2の算出工程と、
    前記第1の位相差および前記第2の位相差に重みづけ係数を掛けて加えた和を用いて、前記撮影光学系のデフォーカス量を算出するデフォーカス量算出工程と、
    を有することを特徴とする焦点検出装置の制御方法。
  12. コンピュータに、請求項11に記載の制御方法の各工程を実行させるためのプログラム。
  13. コンピュータに、請求項11に記載の制御方法の各工程を実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2014195808A 2014-09-25 2014-09-25 焦点検出装置及びその制御方法、プログラム、記憶媒体 Pending JP2016066015A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014195808A JP2016066015A (ja) 2014-09-25 2014-09-25 焦点検出装置及びその制御方法、プログラム、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014195808A JP2016066015A (ja) 2014-09-25 2014-09-25 焦点検出装置及びその制御方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
JP2016066015A true JP2016066015A (ja) 2016-04-28

Family

ID=55805515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014195808A Pending JP2016066015A (ja) 2014-09-25 2014-09-25 焦点検出装置及びその制御方法、プログラム、記憶媒体

Country Status (1)

Country Link
JP (1) JP2016066015A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370939A (zh) * 2016-05-12 2017-11-21 佳能株式会社 焦点检测装置及其控制方法、摄像设备和计算机可读介质
JP2020013083A (ja) * 2018-07-20 2020-01-23 株式会社ニコン 焦点検出装置、撮像装置、及び、交換レンズ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370939A (zh) * 2016-05-12 2017-11-21 佳能株式会社 焦点检测装置及其控制方法、摄像设备和计算机可读介质
US10523860B2 (en) 2016-05-12 2019-12-31 Canon Kabushiki Kaisha Focus detection device, control method thereof, and image capture apparatus
CN107370939B (zh) * 2016-05-12 2020-06-12 佳能株式会社 焦点检测装置及其控制方法、摄像设备和计算机可读介质
JP2020013083A (ja) * 2018-07-20 2020-01-23 株式会社ニコン 焦点検出装置、撮像装置、及び、交換レンズ
JP7279313B2 (ja) 2018-07-20 2023-05-23 株式会社ニコン 焦点検出装置、及び、撮像装置

Similar Documents

Publication Publication Date Title
JP6405243B2 (ja) 焦点検出装置及びその制御方法
JP6289017B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US8988585B2 (en) Focus adjustment apparatus
US9137436B2 (en) Imaging apparatus and method with focus detection and adjustment
US10187564B2 (en) Focus adjustment apparatus, imaging apparatus, focus adjustment method, and recording medium storing a focus adjustment program thereon
JP6906360B2 (ja) 焦点検出装置及びその制御方法
US9602716B2 (en) Focus-detection device, method for controlling the same, and image capture apparatus
US9060119B2 (en) Image capturing apparatus and control method for image capturing apparatus
US9900493B2 (en) Focus detecting apparatus, and method of prediction for the same
JP6529387B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6960755B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016066015A (ja) 焦点検出装置及びその制御方法、プログラム、記憶媒体
JP6941011B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016099432A (ja) 焦点検出装置及び方法、プログラム、記憶媒体
JP6234094B2 (ja) 焦点検出装置および撮像装置
KR20170087029A (ko) 촬상 장치 및 그 제어 방법
JP6395790B2 (ja) 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム
JP5773659B2 (ja) 撮像装置および制御方法
JP2016218157A (ja) 焦点検出装置及びその制御方法
JP7066458B2 (ja) 撮像装置及びその制御方法、プログラム
JP7005313B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5865417B2 (ja) 撮像装置および画像処理方法
JP6613065B2 (ja) 焦点検出装置及びその制御方法、及び撮像装置
JP2016122950A (ja) 撮像装置
JP2014186343A (ja) 撮像装置