[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2019219499A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 Download PDF

Info

Publication number
JP2019219499A
JP2019219499A JP2018116358A JP2018116358A JP2019219499A JP 2019219499 A JP2019219499 A JP 2019219499A JP 2018116358 A JP2018116358 A JP 2018116358A JP 2018116358 A JP2018116358 A JP 2018116358A JP 2019219499 A JP2019219499 A JP 2019219499A
Authority
JP
Japan
Prior art keywords
image
amount
evaluation band
shift amount
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018116358A
Other languages
English (en)
Inventor
勇希 吉村
Yuki Yoshimura
勇希 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018116358A priority Critical patent/JP2019219499A/ja
Publication of JP2019219499A publication Critical patent/JP2019219499A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】安定して高精度な焦点検出が可能な制御装置を提供する。【解決手段】制御装置(121)は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する決定手段(121a)と、評価帯域に基づいて選択されたフィルタを用いて像信号のフィルタ処理を行うフィルタ処理手段(121b)と、フィルタ処理された像信号と評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する算出手段(121c)とを有する。【選択図】図16

Description

本発明は、焦点検出を行う撮像装置に関する。
従来、撮像素子から出力される信号に基づいて位相差方式の焦点検出を行う撮像面位相差方式を行う撮像装置が知られている。特許文献1には、複数の周波数帯域のバンドパスフィルタを用いて焦点検出を行うことにより、焦点検出の精度を向上させる撮像装置が開示されている。
特開2016−224159号公報
しかしながら、特許文献1に開示された撮像装置では、複数の周波数帯域のバンドパスフィルタはそれぞれ異なる特性(焦点検出特性)を有する。このため、複数の周波数帯域のバンドパスフィルタを用いて安定して高精度な焦点検出を行うことは困難である。
そこで本発明は、安定して高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。
本発明の一側面としての制御装置は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する決定手段と、前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うフィルタ処理手段と、フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する算出手段とを有する。
本発明の他の側面としての撮像装置は、前記制御装置と、撮像光学系を介して形成される光学像を光電変換する撮像素子とを有する。
本発明の他の側面としての制御方法は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定するステップと、前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うステップと、フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出するステップとを有する。
本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、安定して高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
各実施形態における撮像装置のブロック図である。 各実施形態における画素配列を示す図である。 各実施形態における画素構造を示す図である。 各実施形態における撮像素子および瞳分割機能の説明図である。 各実施形態において、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。 各実施形態において、光の入射角に依存した受光率分布の図である。 各実施形態における撮像素子および瞳分割機能の説明図である。 各実施形態におけるデフォーカス量と像ずれ量と関係図である。 各実施形態における補正処理の流れを示す概略図である。 各実施形態における補正処理の流れを示す概略図である。 各実施形態におけるシェーディングの説明図である。 各実施形態における撮像画像の射影信号、第1視点画像の射影信号、および、シェーディング関数の説明図である。 各実施形態における撮像画像、光量補正前の第1視点画像、および、光量補正後の第1視点画像の例である。 各実施形態における像ずれ量換算係数の算出方法の説明図である。 各実施形態における合焦位置ずれ量の算出方法の説明図である。 第1の実施形態における焦点検出方法のフローチャートである。 第2の実施形態における焦点検出方法のフローチャートである。 各実施形態におけるデータを記憶する記憶手段の説明図である。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各実施形態では、本発明を画像処理装置の一例としてのデジタルカメラに適用した場合を例に説明するが、本発明はLF(LightField)データを処理可能な任意の機器に適用可能である。任意の機器としては、例えばパーソナルコンピュータ、タブレット、ゲーム機、眼鏡型や時計型等のウェアラブル端末、車載用システム、監視カメラ用システム、医療機器が含まれてよい。
(第1の実施形態)
まず、図1を参照して、第1の実施形態における撮像装置の概略構成について説明する。図1は、撮像装置(カメラ)100のブロック図である。撮像装置100は、カメラ本体とカメラ本体に着脱可能な交換レンズ(撮像光学系または結像光学系)とを備えたデジタルカメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。
第1レンズ群101は、撮影レンズ(撮像光学系)を構成する複数のレンズ群のうち最も前方(被写体側)に配置されており、光軸OAの方向(光軸方向)に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ102(絞り)は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第2レンズ群103は、絞り兼用シャッタ102と一体的に光軸方向に進退し、第1レンズ群101の進退動作と連動して変倍動作を行うズーム機能を有する。第3レンズ群105は、光軸方向に進退することにより焦点調節(フォーカス動作)を行うフォーカスレンズ群である。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。
撮像素子107は、撮像光学系を介して被写体像(光学像)の光電変換を行い、CMOSセンサやCCDセンサなどの二次元フォトセンサ、および、その周辺回路により構成され、撮像光学系の結像面に配置される。なお、撮像素子107の詳細については後述する。
ズームアクチュエータ111は、不図示のカム筒を回動(駆動)することで第1レンズ群101および第2レンズ群103を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して光量(撮影光量)を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ114は、第3レンズ群105を光軸方向に移動させて焦点調節を行う。
電子フラッシュ115は、被写体を照明するために用いられる照明装置である。電子フラッシュ115としては、キセノン管を備えた閃光照明装置または連続発光するLED(発光ダイオード)を備えた照明装置が用いられる。AF補助光源116は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。
CPU121は、撮像装置100の種々の制御を司る制御装置(制御手段)である。CPU121は、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、および、通信インターフェイス回路などを有する。CPU121は、ROMに記憶された所定のプログラムを読み出して実行することにより、撮像装置100の各種回路を駆動し、焦点検出(AF)、撮影、撮像処理、画像処理、または、記録処理などの一連の動作を制御する。
CPU121は、決定手段121a、フィルタ処理手段121b、および、算出手段121cを有する。決定手段121aは、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する。フィルタ処理手段121bは、評価帯域に基づいて選択されたフィルタ(バンドパスフィルタ)を用いて像信号のフィルタ処理を行う。算出手段121cは、フィルタ処理された像信号と評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する。ここで、評価帯域に応じて異なるデータは、後述の像ずれ量換算係数または合焦位置ずれ量の少なくとも一方を含む。
電子フラッシュ制御回路122は、CPU121の制御指令に従い、撮影動作に同期して電子フラッシュ115の点灯制御を行う。補助光源駆動回路123は、CPU121の制御指令に従い、焦点検出動作に同期してAF補助光源116の点灯制御を行う。撮像素子駆動回路124は、撮像素子107の垂直および水平走査などの撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。なお、A/D変換回路は、撮像素子107内に設けるようにしてもよい。画像処理回路125は、撮像素子107から出力された画像データのγ(ガンマ)変換、カラー補間、または、JPEG(Joint Photographic Experts Group)圧縮などの処理を行う。
フォーカス駆動回路126は、CPU121の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動し、第3レンズ群105を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路128は、CPU121の制御指令に従い、絞りシャッタアクチュエータ112を駆動して、絞り兼用シャッタ102の開口径を制御する。ズーム駆動回路129は、撮影者のズーム操作に応じて、ズームアクチュエータ111を駆動する。
表示器131は、例えばLCD(液晶表示装置)を備えて構成される。表示器131は、撮像装置100の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部(操作スイッチ群)132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態(SW1がONの状態)、および、全押し状態(SW2がONの状態)の2段階のスイッチを有する。記録媒体133は、例えば撮像装置100に着脱可能なフラッシュメモリであり、撮影画像(画像データ)を記録する。また、操作部132にタッチパネルなどを含ませ、タッチパネルを用いて操作可能にしてもよい。記憶部134は、CPU121が実行するプログラムや、評価帯域に応じて異なるデータ(光量補正量、像ずれ量換算係数、および、合焦位置ずれ量などの補正量)を記憶している。
(撮像素子の構成)
次に、図2および図3を参照して、本実施形態における撮像素子107の画素配列および画素構造について説明する。図2は、撮像素子107の画素配列を示す図である。図3は、撮像素子107の画素構造を示す図であり、図3(a)は撮像素子107の画素200Gの平面図(+z方向から見た図)、図3(b)は図3(a)中の線a−aの断面図(−y方向から見た図)をそれぞれ示している。
図2は、撮像素子107(2次元CMOSセンサ)の画素配列(撮影画素の配列)を、4列×4行の範囲で示している。本実施形態において、各々の撮像画素(画素200R、200G、200B)は、2つの副画素201、202(2つの焦点検出画素)により構成さている。このため、図2には、副画素の配列が、8列×4行の範囲で示されている。
図2に示されるように、2列×2行の画素群200は、画素200R、200G、200Bがベイヤー配列で配置されている。すなわち画素群200のうち、R(赤)の分光感度を有する画素200Rが左上に、G(緑)の分光感度を有する画素200Gが右上と左下に、B(青)の分光感度を有する画素200Bが右下にそれぞれ配置されている。各画素200R、200G、200B(各撮像画素)は、2列×1行に配列された副画素201(第1焦点検出画素)および副画素202(第2焦点検出画素)により構成されている。副画素201は、撮像光学系の第1瞳部分領域を通過した光束を受光する画素である。副画素202は、撮像光学系の第2瞳部分領域を通過した光束を受光する画素である。複数の副画素201は第1画素群を構成し、複数の副画素202は第2画素群を構成する。
図2に示されるように、撮像素子107は、4列×4行の撮像画素(8列×4行の副画素)を面上に多数配置して構成されており、撮像画像および分割数2(分割数NLF)の複数の視点画像を生成するための画像信号(LFデータ)を取得可能である。本実施形態の撮像素子107において、画素の周期Pは6μmであり、水平(列方向)画素数N=6000列、垂直(行方向)画素数p=4000行、画素数NはN×N=2400万画素である。また、副画素の列方向周期Pは3μmであり、副画素数Nは水平12000列×垂直4000行=4800万画素である。
図3(b)に示されるように、本実施形態の画素200Gには、画素の受光面側に入射光を集光するためのマイクロレンズ305が設けられている。マイクロレンズ305は、2次元状に複数配列されており、受光面からz軸方向(光軸OAの方向)に所定の距離だけ離れた位置に配置されている。また画素200Gには、x方向にN分割(2分割)、y方向にN分割(1分割)された光電変換部301および光電変換部302が形成されている。光電変換部301および光電変換部302は、それぞれ、副画素201および副画素202に対応する。より一般的には、x方向にN分割、y方向にN分割された分割数NLFの第1光電変換部から第NLF光電変換部の複数の光電変換部が形成され、第1光電変換部から第NLF光電変換部はそれぞれ第1副画素から第NLF副画素に対応する。
このように撮像素子107は、1つのマイクロレンズに対して複数の光電変換部を有し、マイクロレンズが2次元状に配列されている。光電変換部(第1光電変換部)301および光電変換部(第2光電変換部)302はそれぞれ、2つの独立したpn接合フォトダイオードであり、p型ウェル層300と2つに分割されたn型層301とn型層302から構成される。必要に応じて、イントリンシック層を挟み、pin構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ305と、光電変換部301、302の間に、カラーフィルタ306が形成される。必要に応じて、画素ごとまたは光電変換部毎ごとに、カラーフィルタ306の分光透過率を変えることができ、または、カラーフィルタを省略してもよい。
画素200Gに入射した光はマイクロレンズ305が集光し、さらにカラーフィルタ306で分光された後に、第1光電変換部301と第2光電変換部302がそれぞれ受光する。第1光電変換部301と第2光電変換部302では、受光量に応じて電子とホール(正孔)が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源(不図示)に接続されたp型ウェル層を通じて撮像素子107の外部へ排出される。第1光電変換部301と第2光電変換部302に蓄積された電子は、転送ゲートを介して、静電容量部(FD)に転送されて電圧信号に変換される。
続いて、図4を参照して、撮像素子107の瞳分割機能について説明する。図4は、撮像素子107の瞳分割機能の説明図であり、1つの画素部における瞳分割の様子を示している。図4は、図3(a)に示される画素構造のa−a断面を+y側から見た断面図、および、撮像光学系の射出瞳面を示している。図4では、射出瞳面の座標軸と対応を取るため、断面図のx軸およびy軸を図3のx軸およびy軸に対してそれぞれ反転させている。
撮像素子107は、撮影レンズ(結像光学系)の結像面近傍に配置されており、被写体からの光束は、結像光学系の射出瞳400を通過して、それぞれの画素に入射する。なお、撮像素子107が配置された面を撮像面とする。
図4において、副画素201の瞳部分領域(第1瞳部分領域)501は、重心が−x方向に偏心している光電変換部301の受光面と、マイクロレンズ305を介して略共役関係になっている。このため瞳部分領域501は、副画素201で受光可能な瞳領域を表している。副画素201の瞳部分領域501の重心は、瞳面上で+X側に偏心している。また、副画素202の瞳部分領域(第2瞳部分領域)502は、重心が+x方向に偏心している光電変換部302の受光面と、マイクロレンズ305を介して略共役関係になっている。このため瞳部分領域502は、副画素202で受光可能な瞳領域を表している。副画素202の瞳部分領域502の重心は、瞳面上で−X側に偏心している。瞳領域500は、2×1分割された光電変換部301、302(N×N分割された第1光電変換部〜第NLF光電変換部)を全て合わせた受光面に関して、マイクロレンズ305を介して概ね光学的に共役な関係になっている。また瞳領域500は、副画素201、202(第1副画素〜第NLF副画素)を全て合わせた画素200G全体での受光可能な瞳領域である。
図5は、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。図5(a)は、マイクロレンズの光軸に平行な断面での光強度分布を示す。図5(b)は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約1〜2μm程度であり、これに対してマイクロレンズの集光スポットが約1μm程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図4の瞳部分領域501、502は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布(瞳強度分布)となる。
図6は、光の入射角に依存した受光率分布(瞳強度分布)の図であり、横軸は瞳座標、縦軸は受光率をそれぞれ示す。図6の実線で示されるグラフ線L1は、図4の瞳部分領域501(第1瞳部分領域)のx軸に沿った瞳強度分布を表す。グラフ線L1で示される受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図6の破線で示されるグラフ線L2は、瞳部分領域502(第2瞳部分領域)のx軸に沿った瞳強度分布を表す。グラフ線L2で示される受光率は、グラフ線L1とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図6に示されるように、緩やかな瞳分割が行われることがわかる。
次に、図7を参照して、撮像素子107と瞳分割との対応関係について説明する。光電変換部301と光電変換部302(第1光電変換部から第NLF光電変換部)はそれぞれ、副画素201と副画素202(第1副画素から第NLF副画素)に対応する。撮像素子107の各画素において、2×1分割された副画素201、202(N×N分割された第1副画素から第NLF副画素)はそれぞれ、結像光学系の異なる瞳部分領域501、502(第1瞳部分領域から第NLF瞳部分領域)を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布の情報を含むLFデータ(画像信号、入力画像)が取得される。
LFデータの信号について、画素ごとに、2×1分割された副画素201、202(N×N分割された第1副画素から第NLF副画素)の信号を全て合成することにより、画素数Nの解像度を有する撮像画像を生成することができる。
また、LFデータから、画素ごとに、2×1分割された副画素201、202(N×N分割された第1副画素から第NLF副画素)の中から特定の副画素の信号を選択する。これにより、結像光学系の瞳部分領域501と瞳部分領域502(第1瞳部分領域から第NLF瞳部分領域)の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに、第1副画素201の信号を選択することで、結像光学系の瞳部分領域501に対応した画素数Nの解像度を有する第1視点画像を生成できる。他の副画素でも同様である。
以上のように本実施形態の撮像素子107は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素が複数配列された構造を有し、LFデータを取得することができる。なお、前述した説明では、瞳領域が水平方向に2つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。
(デフォーカス量と像ずれ量の関係)
次に、図8を参照して、撮像素子107により取得されるLFデータに基づいて生成可能な第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と像ずれ量との関係について説明する。図8は、第1視点画像と第2視点画像のデフォーカス量と、第1視点画像と第2視点画像との間の像ずれ量との関係図である。図8において、撮像素子107は撮像面600に配置されており、図4および図7と同様に、結像光学系の射出瞳が瞳部分領域501、502に2分割されている様子が示されている。
デフォーカス量dは、被写体の結像位置から撮像面600までの距離を|d|、結像位置が撮像面600よりも被写体側にある前ピン状態を負符号(d<0)、結像位置が撮像面600よりも被写体の反対側にある後ピン状態を正符号(d>0)として定義される。被写体の結像位置が撮像面600(合焦位置)にある合焦状態において、デフォーカス量d=0が成立する。図8において、合焦状態(d=0)である被写体601、および、前ピン状態(d<0)である被写体602がそれぞれ示されている。前ピン状態(d<0)および後ピン状態(d>0)を併せて、デフォーカス状態(|d|>0)という。
前ピン状態(d<0)では、被写体602からの光束のうち、瞳部分領域501(または瞳部分領域502)を通過した光束は、一度、集光する。その後、光束は、光束の重心位置G1(G2)を中心とする幅Γ1(Γ2)に広がり、撮像面600でボケた像となる。ボケた像は、撮像素子107に配列された各画素を構成する副画素201(副画素202)により受光され、第1視点画像(第2視点画像)が生成される。このため、第1視点画像(第2視点画像)は、撮像面600上の重心位置G1(G2)に、被写体602が幅Γ1(Γ2)にボケた被写体像として記録される。被写体像のボケ幅Γ1(Γ2)は、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね比例して増加する。同様に、第1視点画像と第2視点画像との間の被写体像の像ずれ量p(=光束の重心位置の差G1−G2)の大きさ|p|も、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね、比例して増加する。後ピン状態(d>0)に関しても同様であるが、第1視点画像と第2視点画像と間の被写体像の像ずれ方向が前ピン状態と反対となる。
このように本実施形態において、第1視点画像と第2視点画像、または、第1視点画像と第2視点画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第1視点画像と第2視点画像と間の像ずれ量の大きさは増加する。
(撮像画像に基づく視点画像の補正処理)
予め記憶された光量補正量(シェーディング補正量)がある場合、CPU(光量補正手段)121は、焦点検出領域の像高(焦点検出位置)ごとに対応する光量補正量を視点画像に乗算し、光量補正を行う。ただし、後述する像ずれ量換算係数および合焦位置ずれ量)を高精度に算出するには、光量補正量、像ずれ量換算係数、および、合焦位置ずれ量は、同じ測定画像を用いて一連で算出されることが好ましい。このため本実施形態において、光量補正量、像ずれ量換算係数、および、合焦位置ずれ量の順でそれぞれの値を算出し、後段の補正量の算出に用いられることを前提として説明する。また、それぞれの値の算出は、撮像装置内で全ての処理を行う必要はない。例えば、視差画像取得は撮像装置で行い、補正量(光量補正量、像ずれ量換算係数、合焦位置ずれ量)の算出は撮像装置外の画像処理装置にて行い、補正量の算出結果を撮像装置に記録し、焦点検出に用いる等であってもよい。
まず、撮像画像に基づき、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)に対する光量補正の画像処理(補正処理)を行い、出力画像を生成する例について説明する。
図9および図10を参照して、撮像素子107により取得されたLFデータ(入力画像)から、撮影画像に基づいて第1視点画像と第2視点画像(第1視点画像〜第NLF視点画像)に対して補正処理を行い、出力画像を生成する画像処理方法について説明する。図9および図10は、本実施形態における補正処理の流れを示す概略図である。図9および図10の処理は、CPU121が記憶部134等のROMに記憶されたプログラムをRAMに展開、実行することにより実行される。また、撮像素子107や画像処理回路125は、CPU121の指示に応じて動作する。
(撮像画像と視点画像)
まず、図9のステップS1の前段(不図示のステップS0)において、CPU121は、撮像素子107により取得されたLFデータ(入力画像)に基づいて撮像画像および少なくとも一つの視点画像を生成(取得)する。撮像画像は、結像光学系の異なる瞳部分領域を合成した瞳領域に応じて生成される画像である。視点画像は、結像光学系の異なる瞳部分領域ごとに生成される画像である。
ステップS0において、CPU121は、撮像素子107により取得されたLFデータ(入力画像)を入力する。または、CPU121は、予め撮像素子107により撮影され、記録媒体に保存されているLFデータ(入力画像)を用いてもよい。
ステップS0において、次に、CPU121は、結像光学系の異なる瞳部分領域(第1瞳部分領域と第2瞳部分領域)を合成した瞳領域に応じた撮像画像を生成する。なお、以下の説明では、LFデータ(入力画像)をLFとも表す。また、LFの各画素信号内での列方向i(1≦i≦Nx)番目、行方向j(1≦j≦Ny)番目の副画素信号を、k=Nx(j−1)+i(1≦k≦NLF)として、第k副画素信号とする。画像処理回路125は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にi番目、行方向にj番目の撮像画像I(j、i)、すなわち合成画像を、以下の式(1)で表されるように生成する。
なお、本処理は、撮像素子107がLFデータを生成する際に行ってもよい。この場合、撮像素子107は、撮像画像I(j、i)のS/Nを良好に保持するため、各副画素信号をアナログ/デジタル変換(A/D変換)を行う前に、撮像素子107内の静電容量部(FD)において式(1)に従う各副画素信号の合成を行ってもよい。必要に応じて、撮像素子107内のFDに蓄積された電荷を電圧信号に変換する際に、式(1)に従う各副画素信号の合成を行ってもよく、必要に応じて、A/D変換を行った後に、式(1)に従う各副画素信号の合成を行ってもよい。
なお、本実施形態は、Nx=2、Ny=1、NLF=2であるx方向2分割の場合であり、図2に例示した画素配列に対応した入力画像信号(LFデータ)を用いる。このため、撮像素子107は、画素ごとに、x方向2分割された副画素201、副画素202(Nx×Ny分割された第1副画素から第NLF副画素)の信号を全て合成した撮像画像を生成する。この撮像画像は、画素数N(=水平画素数N×垂直画素数N)の解像度を有するベイヤー配列のRGB信号である。
なお、後述する視点画像の補正処理では、撮像画像を補正基準の参照画像として用いるため、撮像画像I(j、i)に対してもRGB毎の光量補正処理、欠陥補正処理を行う。
ステップS0において、次に、撮像素子107(CPU121)は、結像光学系の第k瞳部分領域に対応した、列方向i番目、行方向j番目の第k視点画像I(j、i)を、以下の式(2)に従って生成する。
なお、本実施形態は、Nx=2、Ny=1、NLF=2であるx方向2分割、k=1の場合である。撮像素子107は、図2に例示した画素配列に対応したLFデータに基づいて、画素ごとに、x方向2分割された第1副画素201の信号を選択する。よって、結像光学系の瞳部分領域501、502(第1瞳部分領域から第NLF瞳部分領域)の中から、結像光学系の瞳部分領域501に対応した第1視点画像I(j、i)を生成する。第1視点画像I(j、i)は、画素数N(=水平画素数N×垂直画素数N)の解像度を有するベイヤー配列のRGB信号である。なお、必要に応じて、k=2を選択し、結像光学系の瞳部分領域502に対応した第2視点画像I(j、i)を生成してもよい。
このように本実施形態では、LFデータに基づく、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の異なる瞳部分領域ごとの、少なくとも1つの視点画像とを生成する。すなわち、撮像素子107により取得されたLFデータに基づいて、ベイヤー配列のRGB信号である撮像画像I(j、i)と、ベイヤー配列のRGB信号である第1視点画像I(j、i)と、を生成する。このとき、撮像画像I(j、i)と第1視点画像I(j、i)とから、第2視点画像I(j、i)を生成してもよい。このようにすれば、撮像画像I(j、i)に対して、各画素が光電変換部を有しない従来の撮像素子で取得される撮像画像と同様の画像処理を適用することができる。また、必要に応じて、各視点画像への処理を同等にするために、第1視点画像I(j、i)と、第2視点画像I(j、i)と、を生成し、記録媒体へ保存してもよい。
(視点画像の光量補正(シェーディング補正)算出処理)
続いて、図9のステップS1において、CPU121は、撮像画像I(j、i)に基づいて、第1視点画像I(第k視点画像I)のRGBごとのシェーディング補正処理(光量補正処理)を行う。なお、以降の処理についてもCPU121が実行する場合を例に説明するが、その一部または全部を画像処理回路125が実行してもよい。
ここで、図11を参照して、第1視点画像および第2視点画像(第1視点画像〜第NLF視点画像)の瞳ずれによるシェーディングについて説明する。図11は、シェーディングの説明図であり、撮像素子107の周辺像高における光電変換部301が受光する瞳部分領域501、光電変換部302が受光する瞳部分領域502、および、結像光学系の射出瞳400の関係を示す。図11では、光電変換部301、302(第1光電変換部〜第NLF光電変換部)は、それぞれ、副画素201、202(第1副画素〜第NLF副画素)に対応する。
図11(a)は、結像光学系の射出瞳距離Dlと撮像素子107の設定瞳距離Dsとが同じ場合を示す。この場合、瞳部分領域501、502により、結像光学系の射出瞳400は、概ね均等に瞳分割される。これに対して、図11(b)に示されるように、結像光学系の射出瞳距離Dlが撮像素子107の設定瞳距離Dsよりも短い場合、撮像素子107の周辺像高では、射出瞳400と撮像素子107の入射瞳との瞳ずれが生じる。その結果、射出瞳400は、不均一に瞳分割される。図11(b)の例では、瞳部分領域501に対応する第1視点画像の実効絞り値は、瞳部分領域502に対応する第2視点画像の実効絞り値よりも小さい(明るい)値となる。反対側の像高(不図示)では、逆に、瞳部分領域501に対応する第1視点画像の実効絞り値は、瞳部分領域502に対応する第2視点画像の実効絞り値より大きい(暗い)値となる。
同様に、図11(c)に示されるように、結像光学系の射出瞳距離Dlが撮像素子107の設定瞳距離Dsよりも長い場合、撮像素子107の周辺像高では、射出瞳400と撮像素子107の入射瞳との瞳ずれが生じる。その結果、射出瞳400は、不均一に瞳分割される。図11(C)の例では、瞳部分領域501に対応する第1視点画像の実効絞り値は、瞳部分領域502に対応する第2視点画像の実効絞り値よりも大きい(暗い)値となる。反対側の像高(不図示)では、逆に、瞳部分領域501に対応する第1視点画像の実効絞り値は、瞳部分領域502に対応する第2視点画像の実効絞り値よりも小さい(明るい)値となる。周辺像高で瞳分割が不均一になるのに伴い、第1視点画像と第2視点画像の強度も不均一になり(すなわち光量分布が偏り)、第1視点画像と第2視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。このようなシェーディングは、RGBごと(色ごと)に生じる。
本実施例のCPU121は、良好な画質品位の各視点画像を生成するため、図9のステップS1にて、撮像画像I(j、i)を基準の参照画像として、第1視点画像I(第k視点画像I)のRGBごとのシェーディング補正(光量補正)を行う。
ステップS1において、CPU121は、まず、撮像画像I(j、i)と第1視点画像I(j、i)のいずれもが、非飽和かつ非欠陥(非キズ)である有効画素V(j、i)を検出する。撮像画像I(j、i)と第1視点画像I(j、i)のいずれもが、非飽和かつ非欠陥である有効画素は、V(j、i)=1とする。一方、撮像画像I(j、i)と第1視点画像I(j、i)のいずれかが、飽和もしくは欠陥と検出された非有効画素は、V(j、i)=0とする。第k視点画像Iのシェーディング(光量)補正の場合は、同様に、撮像画像I(j、i)と第k視点画像I(j、i)のいずれもが、非飽和かつ非欠陥である有効画素をV(j、i)とする。
CPU121は、撮像信号の飽和判定閾値をISとして、撮像画像I(j、i)>ISの場合、撮像画像I(j、i)を飽和と判定する。一方、撮像画像I(j、i)≦ISの場合、撮像画像I(j、i)を非飽和と判定する。同様に、CPU121は、第k視点画像の飽和判定閾値をISkとして、第k視点画像Ik(j、i)>ISkの場合、第k視点画像Ik(j、i)を飽和と判定する。一方、CPU121は、第k視点画像Ik(j、i)≦ISkの場合、第k視点画像Ik(j、i)を非飽和と判定する。第k視点画像の飽和判定閾値ISkは、撮像信号の飽和判定閾値IS以下(ISk≦IS)である。
整数j(1≦j≦N/2)、i(1≦i≦N/2)とする。図2に例示したベイヤー配列の撮像画像Iを、R、Gr、Gb、Bごとに、撮像画像RI、GrI、GbI、BIとする。Rの撮像画像はRI(2j−1、2i−1)=I(2j−1、2i−1)、Grの撮像画像はGrI(2j−1、2i)=I(2j−1、2i)とそれぞれ表される。また、Gbの撮像画像はGbI(2j、2i−1)=I(2j、2i−1)、Bの撮像画像はBI(2j、2i)=I(2j、2i)とそれぞれ表される。同様に、図2に例示したベイヤー配列の第k視点画像Iを、R、Gr、Gb、Bごとに、RI、GrI、GbI、BIとする。Rの撮像画像(Rの第k視点画像)はRI(2j−1、2i−1)=I(2j−1、2i−1)、Grの撮像画像(Grの第k視点画像)はGrI(2j−1、2i)=I(2j−1、2i)とそれぞれ表される。また、Gbの撮像画像(Gbの第k視点画像)はGbI(2j、2i−1)=I(2j、2i−1)、Bの撮像画像(Bの第k視点画像)はBI(2j、2i)=I(2j、2i)とそれぞれ表される。
ステップS1において、次にCPU121は、撮像画像RI(2j−1、2i−1)、GrI(2j−1、2i)、GbI(2j、2i−1)、BI(2j、2i)の射影処理を行う。具体的には、撮像画像RI(2j−1、2i−1)、GrI(2j−1、2i)、GbI(2j、2i−1)、BI(2j、2i)に関して、式(4A)〜(4D)により、瞳分割方向(x方向)と直交する方向(y方向)に射影処理を行う。これにより、撮像画像の射影信号RP(2i−1)、GrP(2i)、GbP(2i−1)、BP(2i)が生成される。飽和信号値や欠陥信号値には、撮像画像のRGBごとのシェーディングを正しく検出するための情報が含まれていない。そのため、撮像画像と有効画素Vとの積を取り、飽和信号値や欠陥信号値を除外して、射影処理を行い(式(3A)上段から式(3D)上段の分子)、射影処理に用いられた有効画素数で規格化(式(3A)上段から式(3D)上段の分母)を行う。射影処理に用いられた有効画素数が0の場合、式(3A)下段〜式(3D)下段により、撮像画像の射影信号を0に設定する。さらに、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号を0に設定する。同様に、第k視点画像RI(2j−1、2i−1)、GrI(2j−1、2i)、GbI(2j、2i−1)、BI(2j、2i)を、式(3E)〜(3H)により、瞳分割方向(x方向)と直交する方向(y方向)に射影処理を行う。これにより、第k視点画像の射影信号RP(2i−1)、GrP(2i)、GbP(2i−1)、BP(2i)を生成する。
CPU121は、式(4A)〜(4H)の射影処理後、ローパスフィルタ処理を行う。ローパスフィルタ処理は、撮影画像の射影信号RP(2i−1)、GrP(2i)、GbP(2i−1)、BP(2i)と、第k視点画像の射影信号RP(2i−1)、GrP(2i)、GbP(2i−1)、BP(2i)に行われる。これにより、撮影画像の射影信号の平滑化が行われる。ただし、ローパスフィルタ処理を省略してもよい。
図12は、撮像画像の射影信号、第1視点画像の射影信号、および、シェーディング関数の説明図である。図12の上段は、撮像画像の射影信号RP(R)、GrP(G)、GbP(G)、BP(B)の例を示している。図12の中段は、第1視点画像の射影信号RP(R)、GrP(G)、GbP(G)、BP(B)の例を示している。図12(上段)及び図12(中段)の縦軸は信号強度を表している。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第1視点画像I(第k視点画像I)のシェーディング補正を高精度に行うには、瞳ずれにより生じている第1視点画像I(第k視点画像I)のRGBごとのシェーディング成分(光量のずれ)と、被写体のRGB毎の信号成分とを分離する必要がある。
ステップS1にて、CPU121は、式(4A)〜(4D)により、撮像画像を基準とした相対的な第k視点画像IのRGBごとのシェーディング信号RS(2i−1)、GrS(2i)、GbS(2i−1)、BS(2i)を算出する。
画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が0より大きい必要がある。そのため、条件式RP(2i−1)>RP(2i−1)>0を満たす場合、式(4A)により、Rの第k視点画像の射影信号RP(2i−1)と、Rの撮像画像の射影信号RP(2i−1)との比を取得する。そして、規格化のため瞳分割数NLFを乗算して、第k視点画像IのRのシェーディング信号RS(2i−1)を生成する。これにより、被写体が保有しているRの信号成分を相殺し、第k視点画像IのRのシェーディング成分を分離することができる。一方、条件式RP(2i−1)>RP(2i−1)>0を満たさない場合、第k視点画像IのRのシェーディング信号RS(2i−1)を0に設定する。
同様に、条件式GrP(2i)>GrP(2i)>0を満たす場合、式(4B)により、Grの第k視点画像の射影信号GrP(2i)と、Grの撮像画像の射影信号GrP(2i)との比を取得する。そして、規格化のため瞳分割数NLFを乗算して、第k視点画像IのGrのシェーディング信号GrS(2i)を生成する。これにより、被写体が保有しているGrの信号成分を相殺し、第k視点画像IのGrのシェーディング成分を分離することができる。一方、条件式GrP(2i)>GrP(2i)>0を満たさない場合、第k視点画像IのGrのシェーディング信号GrS(2i)を0に設定する。
同様に、CPU121は、式(4C)および式(4D)に従って、第k視点画像IのGbのシェーディング信号GbS(2i−1)及び第k視点画像IのBのシェーディング信号BS(2i)を生成する。
なお、光量補正精度を高精度に行うため、有効なシェーディング信号が十分存在する場合にのみ光量補正を行うようにしてもよい。例えば、RS(2i−1)>0、GrS(2i)>0、GbS(2i−1)>0、BS(2i)>0を満たす有効なシェーディング信号数が所定値以上である場合に、光量補正を行うようにすればよい。
ステップS1において、次にCPU121は、式(5A)〜(5D)で表されるような演算処理を行う。これにより、第k視点画像IのRGB毎のシェーディング関数RSF(2i−1)、GrSF(2i)、GbSF(2i−1)、BSF(2i)を、瞳分割方向(x方向)の位置変数に対する滑らかなNSF次の多項式関数とする。また、前述のように、RS(2i−1)>0、GrS(2i)>0、GbS(2i−1)>0、BS(2i)>0を満たす有効なシェーディング信号を、シェーディング関数に入力するデータ点とする。CPU121は、これらのデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式(5A)〜(5D)の各係数RSC(μ)、GrSC(μ)、GbSC(μ)、BSC(μ)を算出する。
このようにして、CPU121は、撮像画像を基準とした相対的な第k視点画像IのRGB毎のシェーディング関数RSF(2i−1)、GSF(2i)、GSF(2i−1)、BSF(2i)を生成することができる。シェーディング関数を用いた統計処理により、x方向の位置に応じた統計的なシェーディングの発生傾向に基づいてシェーディング信号を調整することができるため、滑らかな光量補正を行うことができる。
シェーディング関数RSF、GrSF、GbSF、BSFを、瞳分割方向(x方向)に反転した関数を、それぞれ、R[RSF]、R[GrSF]、R[GbSF]、R[BSF]とする。ここで、所定許容値をε(0<ε<1)として、1−ε≦RSF+R[RSF]≦1+ε、1−ε≦GrSF+R[GrSF]≦1+ε、1−ε≦GbSF+R[GbSF]≦1+ε、1−ε≦BSF+R[BSF]≦1+εの各条件式を考える。各条件式が、各位置において全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式(6A)〜式(6D)の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、RSF≡1、GrSF≡1、GbSF≡1、BSF≡1とし、必要に応じて、例外処理を行う。
図12の下段は、撮像画像を基準とした相対的な第1視点画像IのRGB毎のシェーディング関数RSF(R)、GrSF(G)、GbSF(G)、BSF(B)の例を示している。図12の中段の第1視点画像の射影信号と、図12の上段の撮影画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第1視点画像の射影信号と撮影画像の射影信号の比を得ることにより、被写体に依存した山谷の起伏(被写体が保有しているRGB毎の信号値)を相殺し、滑らかな第1視点画像IのRGB毎のシェーディング関数を分離して生成することができる。なお本実施例では、シェーディング関数として、多項式関数を用いたが、これに限定されるものではなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いてもよい。
図9のステップS1において、次にCPU121は、第k視点画像I(j、i)に対して、式(6A)〜(6D)により、RGB毎のシェーディング関数を用いて、シェーディング(光量)補正処理を行う。これにより、光量補正後の第k視点(第1修正)画像M(j、i)が生成される。ここで、ベイヤー配列の第k視点(第1修正)画像Mを、R、Gr、Gb、Bごとに、以下のように表す。すなわち、Rの第k視点(第1修正)画像をRM(2j−1、2i−1)=M(2j−1、2i−1)、Grの第k視点(第1修正)画像をGrM(2j−1、2i)=M(2j−1、2i)とする。また、Gbの第k視点(第1修正)画像をGbM(2j、2i−1)=M(2j、2i−1)、Bの第k視点(第1修正)画像をBM(2j、2i)=M(2j、2i)とする。必要に応じて、光量補正後の第k視点(第1修正)画像M(j、i)を出力画像としてもよい。
次に、図13を参照して、図9のステップS1に示される第1視点画像I(j、i)のRGBごとのシェーディング補正処理(光量補正処理)の効果について説明する。(a)は、撮像画像Iの例を示す。画質品位が良好な撮像画像の例である。図13(b)は、シェーディング補正前(光量補正前)の第1視点画像Iの例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、RGB毎のシェーディングが生じ、そのため、第1視点画像I(j、i)の右側において、輝度の低下とRGB比の変調が生じている例である。図13(c)は、シェーディング補正後(光量補正後)の第1視点(第1修正)画像Mの例を示す。撮像画像に基づいたRGB毎のシェーディング補正により、輝度の低下とRGB比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の第1視点(第1修正)画像M(j、i)が生成される。
このように本実施形態では、撮像画像と視点画像とを用いて、撮像画像の被写体による信号変化と視点画像の被写体による信号変化とを相殺して、RGBごとのシェーディング関数(すなわち瞳ずれによって生じる光量のずれ)を算出する。そして、シェーディング関数の逆数によりRGBごとの光量補正量(シェーディング補正量)を算出する。従って、算出した光量補正量(光量補正量)に基づき、視点画像の光量補正処理を行うことができる。
なおCPU121は、必要に応じて、ステップS1に続いて以下の処理を行ってもよい。図9のステップS2において、CPU121は、撮像画像Iに基づいて、シェーディング補正後の第k視点(第1修正)画像Mの欠陥補正を行う。続いて、図10のステップS3において、CPU121は、撮像画像I(j、i)と、第k視点(第3修正)画像M(j、i)とに対して、飽和信号処理を行う。続いてステップS4において、CPU121は、修正撮像画像MI(j、i)と、第1視点(第4修正)画像M(j、i)とから、第2視点画像I(j、i)を生成する。続いてステップS5において、CPU121は、第1視点(第4修正)画像M(j、i)と、第2視点画像I(j、i)に対して、シェーディング補正(光量補正)を行う。 続いてステップS6において、CPU121は、第1視点(第5修正)画像M(j、i)と、第2視点(第5修正)画像M(j、i)に対して、飽和信号処理を行う。これにより、出力画像である修正第1視点画像MI(j、i)と修正第2視点画像MI(j、i)とが生成される。
以上のとおり、光量補正量(シェーディング補正量)は撮影レンズ(結像光学系)に依存する補正値である。このため、後述する像ずれ量換算係数、および、合焦位置ずれ量とは異なり、被写体に依存しない補正値であるため、焦点位置算出する際の評価帯域が異なる場合においても撮影レンズの撮影条件が同じであれば同じ補正値となる。
(フィルタ処理)
次に、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)から、第1視点画像と第2視点画像の相関(信号の一致度)に基づき、位相差方式によりデフォーカス量を検出する焦点検出処理について説明する。なお、以下の説明では、CPU121が処理を実行する例を説明するが、画像処理回路125が実行してもよい。
まず、CPU121は、ベイヤー配列のRGB信号である第k視点画像Ik(k=1〜NLF)から、位置(j,i)ごとに、各色RGBの色重心を一致させて、第k視点輝度信号Ykを、以下の式(7)に従って生成する。
次に、CPU121(フィルタ処理手段121b)は、以下の式(8)に従って、第k視点輝度信号Yk(k=1〜NLF)の光量補正量S(i)を、瞳分割方向(x方向)の位置iに対する滑らかなN次の多項式関数として算出する。そしてCPU121は、撮像素子107の光学特性(第k副画素ごとの瞳強度分布)と、結像光学系の光学特性(絞り値F、射出瞳距離Dl)とに基づいて、予め、各係数SC(μ|F、Dl)を算出し、ROM等の記憶部134に保存しておく。
次に、CPU121は、第k視点輝度信号Yk(j、i)に対して、式(9)に従って、光量補正量S(i)を用いた光量補正処理を行い、第k修正視点輝度信号MYk(j、i)を生成する。
CPU121は、生成された第1修正視点輝度信号MYに対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、第1焦点検出信号dYAを生成する。同様に、CPU121は、第2修正視点輝度信号MYに対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、第2焦点検出信号dYBを生成する。複数の評価帯域で焦点検出を行う場合には、CPU121(決定手段121a)は、AF信号の周波数帯域やコントラスト、過去のデフォーカス情報等を用いて評価帯域を決定し、バンドパスフィルタを使い分けることで焦点検出精度を向上させることが可能である。後述する像ずれ量換算係数、合焦位置ずれ量は、バンドパスフィルタの評価帯域に応じて適切な値を撮像装置に記憶することで、焦点検出精度向上を図ることが可能である。
(像ずれ量算出処理)
次に、CPU121は、第1焦点検出信号dYAと第2焦点検出信号dYBとを、相対的に瞳分割方向(列方向)にシフトさせて、信号の一致度を表す相関量を算出し、算出した相関量に基づいて像ずれ量MDISを生成する。
例えば、焦点検出位置(jAF、iAF)を中心として、行方向j番目、瞳分割方向である列方向i番目の第1焦点検出信号をdYA(jAF+j、iAF+i)、第2焦点検出信号をdYB(jAF+j、iAF+i)とする。但し、jは−n≦j≦n、iは−m≦i≦mである。さらに、シフト量をs(−n≦s≦n)とすると、各位置(jAF,iAF)での相関量COREVEN(jAF,iAF、s)および相関量CORODD(jAF,iAF、s)はそれぞれ、以下の式(10A)および式(10B)により算出することができる。
なお、相関量CORODD(jAF,iAF、s)は、相関量COREVEN(jAF,iAF、s)に対して、第1焦点検出信号dYAと第2焦点検出信号dYBのシフト量を半位相−1シフトずらした相関量である。
CPU121は、相関量COREVEN(jAF,iAF、s)と相関量CORODD(jAF,iAF、s)から、それぞれ、サブピクセル演算を行って、相関量が最小値となる実数値のシフト量を算出する。さらに、算出したシフト量の平均値を算出し、焦点検出位置(jAF、iAF)における像ずれ量Dis(jAF、iAF)を検出する。
(デフォーカス量算出処理)
予め記憶された像ずれ量変換係数がある場合、CPU121(算出手段121c)は、各焦点検出位置(jAF、iAF)におけるデフォーカス量MDef(jAF、iAF)を検出する。デフォーカス量MDef(jAF、iAF)は、像ずれ量からデフォーカス量への変換係数である像ずれ量変換係数Kを、焦点検出領域の像高位置ごとに像ずれ量Dis(jAF、iAF)に乗算することにより検出することができる。その後、CPU121は、焦点検出位置(jAF、iAF)で検出されたデフォーカス量MDef(jAF、iAF)に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。
また、予め記憶された合焦位置ずれ量がある場合、CPU121(算出手段121c)は、焦点検出位置(jAF、iAF)で検出されたデフォーカス量MDef(jAF、iAF)を合焦位置ずれ量を用いて補正する。そしてCPU121は、合焦位置にレンズを駆動して、焦点検出処理を終了する。後述で詳細は説明するが、焦点検出で算出したデフォーカス量MDefが0(=撮影装置が認識している合焦位置)を示した場合においても、収差や演算処理の仕様に応じて人間が合焦と感じるピント位置との間にずれが生じてしまうことがある。このピント位置のずれを焦点検出で算出したデフォーカス量を補正することで改善するのが合焦位置ずれ量ΔMDefである。
最後に、CPU121は、焦点検出位置(jAF、iAF)で検出されたデフォーカス量MDef(jAF、iAF)に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。
(像ずれ量換算係数算出方法)
次に、図14を参照して、像ずれ量変換係数を記録画像から算出する方法について説明する。像ずれ量変換係数は、像ずれ量算出処理にて算出された像ずれ量を、撮影レンズのフォーカス量に換算するための係数である。よって、像ずれ量と撮影レンズのフォーカス量との対応関係を抽出することで、像ずれ量換算係数を算出することができる。
図14は像ずれ量換算係数の算出方法の説明図である。図14において、横軸は測定デフォーカス量MesureMDef、縦軸は像ずれ量Disをそれぞれ示す。1401は、測定デフォーカス量における像ずれ量を表している。像ずれ量換算係数を算出する際には、図14における測定デフォーカス量MesureMDefのグラフの傾きを抽出すればよい。撮影レンズをパルス駆動して制御する場合、測定デフォーカス量のプロット間隔は撮影レンズの駆動パルス数にレンズ敏感度(撮影レンズを1パルス駆動する際に変化するピント量)を乗じることで算出可能である。このため、像ずれ量換算係数は、測定デフォーカス量を所定間隔で振って被写体を測定し、その際の像ずれ量を図14の1401ようにプロットし、傾きの逆数を算出することで、取得することができる。
像ずれ量変換係数は、焦点検出位置(jAF、iAF)に応じて変化する。このため、算出した像ずれ量変換係数を高精度で、かつ容量を低減して記憶するには、撮像素子107の所定の焦点検出位置(jAF、iAF)ごとに、焦点検出位置(jAF、iAF)を変数とした多項式近似し、多項式近似関数の係数を記憶することが好ましい。
(合焦位置ずれ量算出方法)
次に、図15を参照して、合焦位置ずれ量の算出方法について説明する。図15は、合焦位置ずれ量の算出方法の説明図である。図15において、横軸は測定デフォーカス量MesureMDef、縦軸は撮像装置により算出されたデフォーカス量MDefをそれぞれ示す。ΔMDefは、正しい像ずれ量換算係数を用いた場合の合焦位置ずれ量である。ΔMDef errorは、誤差のある像ずれ量換算係数を用いた場合の合焦位置ずれ量である。1501は、正しい像ずれ量換算係数の場合の測定デフォーカス量と撮像装置が算出したデフォーカス量との関係を示す実線である。1502は、誤差がある像ずれ量換算係数の場合の測定デフォーカス量と撮像装置が算出したデフォーカス量との関係を示す破線である。
合焦位置ずれ量とは、測定デフォーカス量MesureMDefが0のときの撮像装置が算出したデフォーカス量MDefである。正しい像ずれ量換算係数を用いてデフォーカス量算出を行う場合、正しい像ずれ量換算係数の場合の測定デフォーカス量の変化量と撮像装置が算出したデフォーカス量の変化量は一致する。このため、図15の実線1501と横軸の切片(MDef=0)の値は、−ΔMDefとなる。
次に、誤差のある像ずれ量換算係数を用いてデフォーカス量算出を行う場合の合焦位置ずれ量を説明する。像ずれ量換算係数に誤差がある場合、図15の破線1502で示されるように、正しい像ずれ量換算係数でデフォーカス量算出した場合と比べてグラフの傾きが変化する。その結果、縦軸との切片(MesureMDef=0の時)がずれるため、合焦位置ずれ量はΔMDef errorになり、ΔMDefと比較して誤差が生じる。よって、高精度な合焦位置ずれ量を算出するには、高精度な像ずれ量換算係数を用いて算出する必要がある。
既存の技術としては、バンドパスフィルタの評価帯域と合焦位置ずれ量の評価帯域を合わせたものが公開されている。しかしながら、より高精度な焦点検出を実現するには、バンドパスフィルタ、像ずれ量換算係数、合焦位置ずれ量の全ての評価帯域を合わせることが重要である。
合焦位置ずれ量は、像ずれ量換算係数同様、焦点検出位置(jAF、iAF)に応じて変化する。このため、算出した合焦位置ずれ量を高精度で、かつ、容量を低減して撮像装置に記憶するため、撮像素子107の所定の焦点検出位置(jAF、iAF)ごとに算出することが好ましい。また、焦点検出位置(jAF、iAF)を変数とした多項式近似を行い、多項式近似関数の係数を撮像装置に記憶することが好ましい。
(像ずれ量換算係数・合焦位置ずれ量の評価帯域による変化)
焦点検出の際における像ずれ量は、AF信号の評価帯域に応じて変化する。これは、被写体の空間周波数と焦点検出の評価帯域の兼ね合いによって強調されるAF信号の帯域が変化するためである。すなわち、評価帯域に応じて像ずれ量換算係数および合焦位置ずれ量がそれぞれ変化する。評価帯域は、前述のバンドパスフィルタの通過帯域を変更することで変更可能である。本実施形態では、評価帯域ごとに適切な像ずれ量換算係数および合焦位置ずれ量を用いて、焦点検出を行う。
(補正量記録形態)
次に、図18を参照して、補正量記録形態について説明する。図18は、データを記憶する記憶手段(記憶部134)の説明図である。カメラ交換システムにおいて焦点検出精度の向上を目的とした補正量(光量補正量、像ずれ量換算係数、合焦位置ずれ量)を算出する場合、カメラと撮影レンズとの組み合わせごとに補正量は異なる。このため、カメラと撮影レンズの組み合わせ毎で補正量を持つことが好ましい。その際、像ずれ量換算係数と合焦位置ずれ量とを含むデータは、図18に示されるように、バンドパスフィルタに対応して評価帯域ごとに対応付けられる形式で(各バンドパスフィルタの評価帯域ごとに1対1対応で関連付けられて)記憶されていることが好ましい。
例えば、記憶部134は、グループ1801として、評価帯域1に対応するバンドパスフィルタ1、像ずれ量換算係数群1、および、合焦位置ずれ量群1をそれぞれ関連付けて記憶する。また記憶部134は、グループ1802として、評価帯域2に対応するバンドパスフィルタ2、像ずれ量換算係数群2、および、合焦位置ずれ量群2をそれぞれ関連付けて記憶する。同様に、記憶部134は、グループ1803として、評価帯域3に対応するバンドパスフィルタ3、像ずれ量換算係数群3、および、合焦位置ずれ量群3をそれぞれ関連付けて記憶する。
続いて、補正量として記録すべき撮影条件を説明する。撮影レンズの撮影条件は、絞り値、ズーム位置、フォーカス位置、によって規定される。よって、高精度な焦点検出を実現する補正量を取得するためには、焦点検出に必要な条件数だけ絞り値、ズーム位置、フォーカス位置を振った補正量を記録する必要がある。メモリ容量の制約等により、焦点検出に必要な条件数全てを記録できない場合には、所定の撮影条件数だけ絞り値、ズーム位置、フォーカス位置を振った補正量を記録し、測定位置以外の撮影条件の補正量を使用する場合には、補間演算により算出してもよい。
光量補正量に関しては、前述の撮影条件(絞り値、ズーム位置、フォーカス位置)をカメラに記録すれば高精度な焦点検出を行うことが可能である。加えて、像ずれ量換算係数と合焦位置ずれ量は、前述の条件の他に、AFの評価帯域に応じて記録する必要がある。
(複数の評価帯域の補正量を用いて焦点検出する方法)
次に、図16を参照して、本実施形態における焦点検出方法について説明する。図16は、本実施形態における焦点検出方法をフローチャートである。図16の処理は、CPU121が記憶部134等のROMに記憶されたプログラムをRAMに展開、実行することにより実行される。また、撮像素子107や画像処理回路125は、CPU121の指示に応じて動作する。
複数の評価帯域で焦点検出を高精度に行うには、バンドパスフィルタの通過帯域(AF信号の評価帯域)に適した像ずれ量換算係数および合焦位置ずれ量の評価帯域を用いることが必要である。以下、図16を参照して、評価帯域ごとに算出した像ずれ量換算係数および合焦位置ずれ量を用いた焦点検出方法を説明する。
まず、ステップS1601において、CPU121は、撮像素子107を用いて、視点画像を取得する。続いてステップS1602において、CPU121は、焦点検出条件(絞り値、ズーム位置、フォーカス位置、焦点検出位置(jAF、iAF)等の撮影条件)を取得する。またステップS1602において、CPU121は、過去のデフォーカス情報に基づいて評価帯域を設定(決定)する。例えば、CPU121は、過去のデフォーカス量の絶対値が大きい場合、評価帯域を低く設定する。一方、CPU121は、過去のデフォーカス量の絶対値が小さい場合、評価帯域を高く設定する。過去のデフォーカス量に関する情報がない場合、CPU121は、高低の複数の評価帯域を設定する。
なお、前述の評価帯域の設定方法は一例に過ぎず、評価帯域は3種類以上あってもよく、また、常に複数の評価帯域を設定してもよい。例えば、CPU121が図18に示される評価帯域1を設定した場合、CPU121は、バンドパスフィルタ1、像ずれ量換算係数群1、および、合焦位置ずれ量群1を含むグループ1801の中から対応するデータを選択する。
続いてステップS1603において、CPU121は、ステップS1602にて取得した焦点検出条件に応じて適切な補正量(光量補正量、像ずれ量換算係数、および、合焦位置ずれ量)を記憶部134(またはCPU121の内部メモリ)から取得する。
続いてステップS1604において、CPU121は、ステップS1603にて取得した光量補正量に基づいて、ステップS1601にて取得した視点画像のうち、焦点検出位置(jAF、iAF)で焦点検出するために必要な領域に対して光量補正を行う。続いてステップS1605において、CPU121は、ステップS1604にて光量補正を行った視点画像に対して、ステップS1602にて取得した評価帯域に対応するバンドパスフィルタを選択し、フィルタ処理を行う。
続いてステップS1606において、CPU121は、ステップS1605にてフィルタ処理を行った視点画像に対して、像ずれ量を算出する。続いてステップS1607において、CPU121は、ステップS1606にて算出された焦点検出位置(jAF、iAF)に関する像ずれ量に、ステップS1603にて取得した像ずれ量換算係数を適用する。これによりCPU121は、焦点検出位置(jAF、iAF)に関するデフォーカス量を算出する。
続いてステップS1608において、CPU121は、ステップS1607にて算出された焦点検出位置(jAF、iAF)に関するデフォーカス量に、ステップS1603にて取得した合焦位置ずれ量を適用する。これによりCPU121は、焦点検出位置(jAF、iAF)に関するデフォーカス量を補正する(合焦位置ずれ量補正)。以上が、複数の評価帯域の補正量を用いて焦点検出する基本的な方法である。
以上説明したように、評価帯域ごとに適切な補正量を算出および記録し、その補正量を焦点検出に用いることで、焦点検出の精度を向上させることができる。
(第2の実施形態)
次に、図17を参照して、第2の実施形態における焦点検出方法について説明する。図17は、本実施形態における焦点検出方法をフローチャートである。図17の処理は、CPU121が記憶部134等のROMに記憶されたプログラムをRAMに展開、実行することにより実行される。また、撮像素子107や画像処理回路125は、CPU121の指示に応じて動作する。
第1の実施形態では、焦点検出条件の取得の際に評価帯域を決定する手法を説明した。一方、本実施形態では、光量補正後にAF信号(焦点信号)を評価して評価帯域を決定する手法を説明する。以下、図17を参照して、AF信号を評価して評価帯域を決定し、それに適した像ずれ量換算係数、および、合焦位置ずれ量を用いた焦点検出方法を説明する。
まず、ステップS1701において、CPU121は、撮像素子107を用いて、視点画像を取得する。続いてステップS1702において、CPU121は、焦点検出条件(絞り値、ズーム位置、フォーカス位置、焦点検出位置(jAF、iAF)等の撮影条件)を取得する。続いてステップS1703において、CPU121は、ステップS1702にて取得した焦点検出条件に応じて予め記憶されている適切な光量補正量を記憶部134(またはCPU121の内部メモリ)から取得する。続いてステップS1704において、CPU121は、ステップS1703にて取得した光量補正量に基づいて、ステップS1701にて取得した視点画像のうち、焦点検出位置(jAF、iAF)で焦点検出するために必要な領域に対して光量補正を行う。
続いてステップS1705において、CPU121は、ステップS1704にて光量補正を行った視点画像の評価帯域を決定する。本実施形態において、CPU121は、視点画像のコントラストや周波数解析結果に基づいて、視点画像に高周波成分が含まれている程、評価帯域を高く設定することが好ましい。またCPU121は、デフォーカス量を併用して評価帯域を決定してもよい。またCPU121は、複数の評価帯域を決定してもよい。また、コントラストや周波数解析に基づいてAF信号に高周波成分が含まれているか否かを検出する方法以外の方法を用いて評価帯域を決定してもよい。CPU121は、例えば、ステップS1705にて図18に示される評価帯域1を設定した場合、第1の実施形態と同様に、バンドパスフィルタ1、像ずれ量換算係数群1、および、合焦位置ずれ量群1を含むグループ1801から対応するデータを選択する。
続いてステップS1706において、CPU121は、ステップS1704にて光量補正を行った視点画像に対して、ステップS1705にて取得した評価帯域に対応するバンドパスフィルタを選択し、フィルタ処理を行う。続いてステップS1707において、CPU121は、ステップS1706にてフィルタ処理を行った視点画像に対して、像ずれ量を算出する。
続いてステップS1708において、CPU121は、ステップS1702にて取得した焦点検出条件およびステップS1705にて決定した評価帯域の情報に基づいて、適切な像ずれ量換算係数を記憶部134(またはCPU121の内部メモリ)から取得する。続いてステップS1709において、CPU121は、ステップS1707にて算出された焦点検出位置(jAF、iAF)に関する像ずれ量に、ステップS1708にて取得した像ずれ量換算係数を適用する。これによりCPU121は、焦点検出位置(jAF、iAF)に関するデフォーカス量を算出する。
続いてステップS1710において、CPU121は、ステップS1702にて取得した焦点検出条件、および、ステップS1705にて決定した評価帯域の情報に基づいて、適切な合焦位置ずれ量を記憶部134(またはCPU121の内部メモリ)から取得する。続いてステップS1711において、CPU121は、ステップS1709にて算出された焦点検出位置(jAF、iAF)のデフォーカス量に、ステップS1710にて取得した合焦位置ずれ量を適用する。これによりCPU121は、焦点検出位置(jAF、iAF)のデフォーカス量を補正する(合焦位置ずれ量補正)。以上が、AF信号を加味して評価帯域を決定し、複数の評価帯域の補正量を用いて焦点検出する方法である。
以上説明したように、評価帯域ごとに適切な補正量を算出および記録し、その補正量を焦点検出に用いることで、焦点検出の精度を向上させることができる。
このように各実施形態において、制御装置(CPU121)は、決定手段121a、フィルタ処理手段121b、および、算出手段121cを有する。決定手段121aは、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する。フィルタ処理手段121bは、評価帯域に基づいて選択されたフィルタを用いて像信号のフィルタ処理を行う。算出手段121cは、フィルタ処理された像信号と評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する。
好ましくは、制御装置は、フィルタに関する情報とデータとを評価帯域ごとに関連付けて記憶する記憶手段(CPU121の内部メモリ、または、記憶部134)を有する。より好ましくは、算出手段は、フィルタ処理された像信号と像ずれ量換算係数と合焦位置ずれ量とに基づいてデフォーカス量を算出する。像ずれ量換算係数または合焦位置ずれ量の少なくとも一方は、評価帯域に応じて異なるデータである。より好ましくは、算出手段は、フィルタ処理された像信号と像ずれ量換算係数とに基づいてデフォーカス量(仮のデフォーカス量)を算出し、合焦位置ずれ量に基づいてデフォーカス量を補正する(最終的なデフォーカス量を算出する)。
好ましくは、記憶手段は、合焦位置ずれ量として、像高(焦点検出位置)を変数とする多項式関数の係数を記憶している。また好ましくは、記憶手段は、像ずれ量換算係数として、像高(焦点検出位置)を変数とする多項式関数の係数を記憶している。また好ましくは、記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる合焦位置ずれ量を記憶している。また好ましくは、記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる像ずれ量換算係数を記憶している。また好ましくは、制御装置は、光量補正量を用いて像信号の光量を補正する光量補正手段を有する。決定手段は、光量補正手段により補正された像信号の評価帯域を決定する。また好ましくは、記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる光量補正量を記憶している。
好ましくは、決定手段は、デフォーカス量が第1のデフォーカス量である場合、評価帯域を第1の評価帯域に決定する。一方、決定手段は、デフォーカス量が第1のデフォーカス量の絶対値よりも小さい第2のデフォーカス量である場合、評価帯域を第1の評価帯域よりも高い第2の評価帯域に決定する。
好ましくは、決定手段は、像信号のコントラストが第1のコントラストである場合、評価帯域を第1の評価帯域に決定する。一方、決定手段は、像信号のコントラストが第1のコントラストよりも高い第2のコントラストである場合、評価帯域を第1の評価帯域よりも高い第2の評価帯域に決定する。
好ましくは、決定手段は、像信号の周波数成分が第1の周波数成分である場合、評価帯域を第1の評価帯域に決定する。一方、決定手段は、像信号の周波数成分が第1の周波数成分よりも高い第2の周波数成分である場合、評価帯域を第1の評価帯域よりも高い第2の評価帯域に決定する。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施形態によれば、安定して高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
121 CPU(制御装置)
121a 決定手段
121b フィルタ処理手段
121c 算出手段

Claims (18)

  1. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する決定手段と、
    前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うフィルタ処理手段と、
    フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する算出手段と、を有することを特徴とする制御装置。
  2. 前記フィルタに関する情報と前記データとを前記評価帯域ごとに関連付けて記憶する記憶手段を更に有することを特徴とする請求項1に記載の制御装置。
  3. 前記算出手段は、前記フィルタ処理された前記像信号と像ずれ量換算係数と合焦位置ずれ量とに基づいて前記デフォーカス量を算出し、
    前記像ずれ量換算係数または前記合焦位置ずれ量の少なくとも一方は、前記評価帯域に応じて異なる前記データであることを特徴とする請求項2に記載の制御装置。
  4. 前記算出手段は、
    前記フィルタ処理された前記像信号と前記像ずれ量換算係数とに基づいて前記デフォーカス量を算出し、
    前記合焦位置ずれ量に基づいて前記デフォーカス量を補正することを特徴とする請求項3に記載の制御装置。
  5. 前記記憶手段は、前記合焦位置ずれ量として、像高を変数とする多項式関数の係数を記憶していることを特徴とする請求項3または4に記載の制御装置。
  6. 前記記憶手段は、前記像ずれ量換算係数として、像高を変数とする多項式関数の係数を記憶していることを特徴とする請求項3乃至5のいずれか1項に記載の制御装置。
  7. 前記記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる前記合焦位置ずれ量を記憶していることを特徴とする請求項3乃至6のいずれか1項に記載の制御装置。
  8. 前記記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる前記像ずれ量換算係数を記憶していることを特徴とする請求項2乃至7のいずれか1項に記載の制御装置。
  9. 光量補正量を用いて前記像信号の光量を補正する光量補正手段を更に有し、
    前記決定手段は、前記光量補正手段により補正された前記像信号の前記評価帯域を決定することを特徴とする請求項2乃至8のいずれか1項に記載の制御装置。
  10. 前記記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる前記光量補正量を記憶していることを特徴とする請求項9に記載の制御装置。
  11. 前記決定手段は、
    前記デフォーカス量が第1のデフォーカス量である場合、前記評価帯域を第1の評価帯域に決定し、
    前記デフォーカス量が前記第1のデフォーカス量の絶対値よりも小さい第2のデフォーカス量である場合、前記評価帯域を前記第1の評価帯域よりも高い第2の評価帯域に決定することを特徴とする請求項1乃至10のいずれか1項に記載の制御装置。
  12. 前記決定手段は、
    前記像信号のコントラストが第1のコントラストである場合、前記評価帯域を第1の評価帯域に決定し、
    前記像信号の前記コントラストが前記第1のコントラストよりも高い第2のコントラストである場合、前記評価帯域を前記第1の評価帯域よりも高い第2の評価帯域に決定することを特徴とする請求項1乃至10のいずれか1項に記載の制御装置。
  13. 前記決定手段は、
    前記像信号の周波数成分が第1の周波数成分である場合、前記評価帯域を第1の評価帯域に決定し、
    前記像信号の前記周波数成分が前記第1の周波数成分よりも高い第2の周波数成分である場合、前記評価帯域を前記第1の評価帯域よりも高い第2の評価帯域に決定することを特徴とする請求項1乃至10のいずれか1項に記載の制御装置。
  14. 請求項1乃至13のいずれか1項に記載の制御装置と、
    撮像光学系を介して形成される光学像を光電変換する撮像素子と、を有することを特徴とする撮像装置。
  15. 前記撮像素子は、1つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが2次元状に配列されていることを特徴とする請求項14に記載の撮像装置。
  16. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定するステップと、
    前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うステップと、
    フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出するステップと、を有することを特徴とする制御方法。
  17. 請求項16に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
  18. 請求項17に記載のプログラムを記憶していることを特徴とする記憶媒体。
JP2018116358A 2018-06-19 2018-06-19 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 Pending JP2019219499A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018116358A JP2019219499A (ja) 2018-06-19 2018-06-19 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116358A JP2019219499A (ja) 2018-06-19 2018-06-19 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Publications (1)

Publication Number Publication Date
JP2019219499A true JP2019219499A (ja) 2019-12-26

Family

ID=69096400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116358A Pending JP2019219499A (ja) 2018-06-19 2018-06-19 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Country Status (1)

Country Link
JP (1) JP2019219499A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021615A (ja) * 2011-07-13 2013-01-31 Olympus Imaging Corp 撮像装置
JP2014222291A (ja) * 2013-05-13 2014-11-27 キヤノン株式会社 撮像装置およびその制御方法
JP2015049330A (ja) * 2013-08-30 2015-03-16 キヤノン株式会社 交換レンズ、撮像装置、それらの制御方法および制御プログラム
JP2015222411A (ja) * 2014-05-01 2015-12-10 キヤノン株式会社 撮像装置およびその制御方法
JP2017040732A (ja) * 2015-08-19 2017-02-23 キヤノン株式会社 撮像システム、撮像装置、レンズ装置、撮像システムの制御方法
JP2018036628A (ja) * 2016-08-24 2018-03-08 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021615A (ja) * 2011-07-13 2013-01-31 Olympus Imaging Corp 撮像装置
JP2014222291A (ja) * 2013-05-13 2014-11-27 キヤノン株式会社 撮像装置およびその制御方法
JP2015049330A (ja) * 2013-08-30 2015-03-16 キヤノン株式会社 交換レンズ、撮像装置、それらの制御方法および制御プログラム
JP2015222411A (ja) * 2014-05-01 2015-12-10 キヤノン株式会社 撮像装置およびその制御方法
JP2017040732A (ja) * 2015-08-19 2017-02-23 キヤノン株式会社 撮像システム、撮像装置、レンズ装置、撮像システムの制御方法
JP2018036628A (ja) * 2016-08-24 2018-03-08 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Similar Documents

Publication Publication Date Title
CN107465866B (zh) 图像处理设备及方法、摄像设备和计算机可读存储介质
JP5898481B2 (ja) 撮像装置及び焦点検出方法
JP6362060B2 (ja) 撮像装置及びその制御方法ならびにプログラム
JP7057397B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6239857B2 (ja) 撮像装置およびその制御方法
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2014219549A (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP2014056014A (ja) 撮像素子および撮像装置
US11184521B2 (en) Focus detection apparatus, focus detection method, and storage medium
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6862102B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP6525829B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP7146477B2 (ja) 検出装置および検出方法
JP2019219499A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2017032978A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN113596431B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP6789810B2 (ja) 画像処理方法、画像処理装置、および、撮像装置
JP2020171050A (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP2019114912A (ja) 画像処理装置および画像処理方法、並びに撮像装置
JP2018116267A (ja) 焦点検出装置および方法、および撮像装置
JP6735621B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP2015215395A (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP2021131513A (ja) 制御装置、撮像装置、制御方法、および、プログラム
JP2019071591A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221004