JP5833254B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。操作者（例えば撮影者）は、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリングを操作してピントを合わせる。

特開２００４−４０７４０号公報（以下、特許文献１という）に記載のマニュアルフォーカス装置は、被写体光路上の開口絞りを光軸と垂直な面上で移動させる絞り移動手段と、開口絞りが移動する二つの測距位置でそれぞれ撮像された二つの被写体画像を記憶する記憶手段と、を有している。また、二つの被写体画像が合成されたスプリットイメージが出力され、ピント状態の適否が表示される表示手段を有している。

特開２００９−１４７６６５号公報（以下、特許文献２という）に記載の撮像装置は、撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換した第１の画像及び第２の画像を生成する。そして、これらの第１及び第２の画像を用いてスプリットイメージを生成し、かつ、瞳分割部によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する。そして、第３の画像を表示部に表示し、かつ、第３の画像内に、生成したスプリットイメージを表示し、かつ第３の画像から抽出した色情報をスプリットイメージに付加するようにしている。このように第３の画像から抽出した色情報をスプリットイメージに付加することにより、スプリットイメージの視認性を良好にすることができる。

特開２００９−１６３２２０号公報（以下、特許文献３という）に記載の撮像装置は、瞳分割手段によって分割されて得られた第１の画像及び第２の画像を重畳させた重畳画像を表示手段に表示させる処理手段を備えている。

特開２００１−３０９２１０号公報（以下、特許文献４という）に記載のデジタルカメラは、ピント位置と被写体位置とのずれ量を検出し、ずれ量に応じてスプリットイメージの表示内容を変更する表示変更手段を備えている。

ＷＯ０６／０３０４８８（以下、特許文献５という）に記載の画像処理装置は、フォーカス制御部による光学系の合焦動作中に、撮像素子に得られる画像より解像度の変化量を拡大した擬似画像を形成する構成を具備している。

しかしながら、特許文献１〜５に記載の技術は何れもピントのずれ量が視認できる解像度を上回る解像度で画像が表示される場合や、ピントのずれ量が視認できない解像度未満の解像度で画像が表示される場合がある、という問題点があった。

本発明は、このような実情を鑑みて提案されたものであり、合焦の度合いに応じた処理速度及び解像度にすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様に係る画像処理装置は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、画像取得部により取得された第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、生成部により生成される第１の表示用画像及び第２の表示用画像のうちの少なくとも第２の表示用画像の解像度を、視差算出部により算出された視差に応じて変更する変更部と、画像を表示する表示部と、表示部に対して、生成部により生成された第１の表示用画像を表示させ、かつ、第１の表示用画像の表示領域内に、生成部により生成された第２の表示用画像を表示させる制御を行う表示制御部と、を含む。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた処理速度及び解像度にすることができる。

上記目的を達成するために、本発明の第２の態様に係る画像処理装置は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、画像取得部により取得された第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、生成部により生成される第１の表示用画像及び第２の表示用画像のうちの少なくとも第２の表示用画像の解像度を、視差算出部により算出された視差に応じて変更する変更部と、画像を表示する表示部と、生成部により生成された第１の表示用画像の表示部による表示を抑止し、かつ、表示部に対して、生成部により生成された第２の表示用画像を表示させる制御を行う表示制御部と、を含む。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた処理速度及び解像度にすることができる。

本発明の第３の態様は、本発明の第１の態様又は第２の態様において、変更部が、視差の減少に従って解像度を高めるものとしてもよい。これにより、本構成を有しない場合に比べ、合焦の度合いが小さくなるに従って処理の高速化を図ることができ、かつ、合焦の度合いが大きくなるに従って解像度を高めることができる。

本発明の第４の態様は、本発明の第１の態様から第２の態様の何れか１つにおいて、変更部が、撮像素子の駆動方法を変更することにより撮像素子の出力画素数を変更することで、解像度を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な制御で、解像度を変更することができる。

本発明の第５の態様は、本発明の第４の態様において、撮像素子に含まれる画素は行列状に配置されており、撮像素子の出力画素が、画素の行単位で変更可能であり、変更部が、行単位で出力画素を変更することで、解像度を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な制御で、解像度を変更することができる。

本発明の第６の態様は、本発明の第５の態様において、撮像素子の出力画素が、更に、画素の列単位で変更可能であり、変更部が、更に、列単位で出力画素を変更することで、解像度を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な制御で、出力画素を変更することができる。

本発明の第７の態様は、本発明の第４の態様において、撮像素子に含まれる画素は行列状に配置されており、撮像素子の出力画素が、画素の列単位で変更可能であり、変更部が、列単位で出力画素を変更することで、解像度を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な制御で、出力画素を変更することができる。

本発明の第８の態様は、本発明の第４の態様から第７の態様の何れか１つにおいて、変更部が、撮像素子に含まれる出力画素における第１及び第２の画素群の出力画素の密度を変更することにより、出力画素数を変更するものしてもよい。これにより、本構成を有しない場合に比べ、簡素な制御で、合焦の度合いに応じた処理速度及び第２の表示用画像の解像度にすることができる。

本発明の第９の態様は、本発明の第８の態様において、変更部が、視差算出部により算出された視差が閾値以下の場合、密度を、視差算出部により算出された視差が閾値を上回る場合の密度よりも高めることにより、出力画素数を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、視差が閾値以下の場合に第２の表示用画像の解像度が不足する事態の発生を抑制することができる。

本発明の第１０の態様は、本発明の第９の態様において、変更部が、視差算出部により算出された視差が閾値以下の場合、密度を、視差算出部により算出された視差が閾値を上回る場合の密度よりも高め、かつ、視差の減少に応じて高めることにより、出力画素数を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、視差が閾値以下の場合に第２の表示用画像の解像度が不足する事態の発生を高精度に抑制することができる。

本発明の第１１の態様は、本発明の第８の態様から第１０の態様の何れか１つにおいて、変更部が、視差算出部により算出された視差が閾値を上回る場合、密度を、視差算出部により算出された視差が閾値以下の場合の密度よりも低くすることにより、出力画素数を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、視差が閾値を上回る場合に第２の表示用画像の解像度が過剰となる事態の発生を抑制することができる。

本発明の第１２の態様は、本発明の第１１の態様において、変更部が、視差算出部により算出された視差が閾値を上回る場合、密度を、視差算出部により算出された視差が閾値以下の場合の密度よりも低くし、かつ、視差の増大に応じて低くすることにより、出力画素数を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、視差が閾値上回る場合に第２の表示用画像の解像度が過剰となる事態の発生を高精度に抑制することができる。

本発明の第１３の態様は、本発明の第１の態様から第１２の態様の何れか１つにおいて、表示制御部が、変更部により解像度が所定値を超えて高められた場合、表示部による第２の表示用画像の表示領域を通常時よりも拡大させる制御を更に行うものとしてもよい。これにより、本構成を有しない場合に比べ、第２の表示用画像の視認性を向上させることができる。

本発明の第１４の態様は、本発明の第１３の態様において、表示制御部が、表示領域が拡大された状態で変更部により解像度が所定値以下に低くされた場合、表示領域の大きさを通常時の大きさに戻す制御を更に行うものとしてもよい。これにより、本構成を有しない場合に比べ、第２の表示用画像の視認性の低下を抑制することができる。

本発明の第１５の態様は、本発明の第１の態様から第１４の態様の何れか１つにおいて、変更部が、更に、視差算出部により算出された視差に応じて、表示部の表示対象とされる画像のフレームレートを変更するものとしてもよい。これにより、本構成を有しない場合に比べ、合焦の度合いに応じたフレームレートにすることができる。

本発明の第１６の態様は、本発明の第１の態様から第１５の態様の何れか１つにおいて、変更部が、更に、視差算出部により算出された視差に応じて視差算出部による算出頻度を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた算出頻度にすることができる。

本発明の第１７の態様は、本発明の第１の態様から第１６の態様の何れか１つにおいて、変更部が、更に、視差算出部により算出された視差に応じて撮像素子の駆動周波数を変更するものとしてもよい。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた駆動周波数にすることができる。

本発明の第１８の態様は、本発明の第１の態様から第１７の態様の何れか１つにおいて、撮像素子が、撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像を出力する第３の画素群を更に有し、生成部が、第３の画素群から出力された第３の画像に基づいて第１の表示用画像を生成するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第１の表示用画像の画質を向上させることができる。

上記目的を達成するために、本発明の第１９の態様に係る撮像装置は、本発明の第１の態様から第１８の態様の何れか１つの画像処理装置と、第１及び第２の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、を含む。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた処理速度及び解像度にすることができる。

上記目的を達成するために、本発明の第２０の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得し、取得した第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出し、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、生成した第１の表示用画像及び第２の表示用画像のうちの少なくとも第２の表示用画像の解像度を、算出した視差に応じて変更し、画像を表示する表示部に対して、生成した第１の表示用画像を表示させ、かつ、第１の表示用画像の表示領域内に、生成した第２の表示用画像を表示させる制御を行う。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた処理速度及び解像度にすることができる。

上記目的を達成するために、本発明の第２１の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得し、取得した第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出し、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、生成した第１の表示用画像及び第２の表示用画像のうちの少なくとも第２の表示用画像の解像度を、算出した視差に応じて変更し、生成した第１の表示用画像の表示部による表示を抑止し、かつ、表示部に対して、生成した第２の表示用画像を表示させる制御を行う。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた処理速度及び解像度にすることができる。

上記目的を達成するために、本発明の第２２の態様に係る画像処理プログラムは、本発明の第１の態様から第１８の態様の何れか１つの画像処理装置における画像取得部、視差算出部、生成部、変更部及び表示制御部としてコンピュータを機能させるためのものである。これにより、本構成を有しない場合に比べ、合焦の度合いに応じた処理速度及び解像度にすることができる。

本発明によれば、合焦の度合いに応じた処理速度及び解像度にすることができる、という効果が得られる。

第１実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 図１に示す撮像装置の背面側を示す背面図である。 第１実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの配置の一例を示す概略配置図である。 図４に示すカラーフィルタに含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法の説明に供する図である。基本配列パターンの概念を説明するための図である。 図４に示すカラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 第１実施形態に係る撮像装置に含まれる撮像素子における位相差画素の配置の一例を示す概略構成図である。 第１実施形態に係る撮像装置の撮像素子に含まれる位相差画素（第１の画素及び第２の画素）の構成の一例を示す概略構成図である。 第１実施形態に係る画像処理部の要部機能の一例を示す機能ブロック図である。 第１実施形態に係る画像処理部で用いる第１出力画素決定テーブルの構成の一例を示す模式図である。 第１実施形態に係る画像処理部で用いる第２出力画素決定テーブルの構成の一例を示す模式図である。 第１実施形態に係る生成部に含まれる機能の一例を示す機能ブロック図である。 第１実施形態に係る撮像装置の要部機能の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子における位相差画素を通常画素で補間する態様の一例を示す模式図である。 第１実施形態に係る撮像装置の表示部に表示されたライブビュー画像であって、ピントが合っていない状態のライブビュー画像の一例を示す画面図である。 第１実施形態に係る撮像装置の表示部に表示されたライブビュー画像であって、ピントが合っている状態のライブビュー画像の一例を示す画面図である。 第１実施形態に係る撮像装置に含まれる表示装置におけるスプリットイメージの表示領域及び通常画像の表示領域の位置の一例を示す模式図である。 第１実施形態に係る画像生成出力処理の流れの一例を示すフローチャートである。 第１実施形態に係る高解像度化処理の流れの一例を示すフローチャートである。 第１実施形態に係る視差算出部により算出された視差が３画素の場合の出力画素の規定方法の一例を示す模式図である。 第１実施形態に係る視差算出部により算出された視差が２画素の場合の出力画素の規定方法の一例を示す模式図である。 第１実施形態に係る低解像度化処理の流れの一例を示すフローチャートである。 第１実施形態に係る視差算出部により算出された視差が４画素の場合の出力画素の規定方法の一例を示す模式図である。 第１実施形態に係る視差算出部により算出された視差が６画素の場合の出力画素の規定方法の一例を示す模式図である。 第１実施形態に係る設定内容変更処理の流れの一例を示すフローチャートである。 第１実施形態に係る出力画素の規定方法の第１変形例であって、行方向及び列方向の各々について出力画素を規定する方法の一例を示す模式図である。 第１実施形態に係る出力画素の規定方法の第２変形例であって、行方向及び列方向の各々について出力画素を規定する方法の一例を示す模式図である。 第１実施形態に係る画像処理部で用いる第２出力画素決定テーブルの変形例を示す模式図である。 第１実施形態に係る撮像素子における位相差画素の配置の第１変形例を示す概略構成図である。 第１実施形態に係る撮像素子における位相差画素の配置の第２変形例を示す概略構成図である。 第１実施形態に係る撮像素子における位相差画素の配置の第３変形例であって、撮像素子に対して適用されるカラーフィルタの原色の配列をベイヤ配列とした場合の位相差画素の配置の変形例を示す概略構成図である。 第１実施形態に係る撮像素子における位相差画素の配置の第４変形例であって、撮像素子に対して適用されるカラーフィルタの原色の配列をベイヤ配列とした場合の位相差画素の配置の変形例を示す概略構成図である。 第１実施形態に係る撮像素子における位相差画素の配置の第５変形例であって、撮像素子に対して適用されるカラーフィルタの原色の配列をベイヤ配列とした場合の位相差画素の配置の変形例を示す概略構成図である。 第１実施形態に係る撮像素子における位相差画素の配置の第６変形例を示す概略構成図である。 第１実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。 第１実施形態に係るスプリットイメージの変形例であって、行方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である。 第１実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。 第１実施形態に係るスプリットイメージの変形例であって、市松模様に形成されたスプリットイメージの一例を示す模式図である。 第５実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第５実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。

以下、添付図面に従って本発明に係る撮像装置の実施の形態の一例について説明する。

［第１実施形態］
図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。

撮像装置１００は、レンズ交換式カメラであり、カメラ本体２００と、カメラ本体２００に交換可能に装着される交換レンズ３００（撮影レンズ、フォーカスレンズ３０２）と、を含み、レフレックスミラーが省略されたデジタルカメラである。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。

カメラ本体２００と交換レンズ３００とは、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６（図３参照）とが結合されることにより交換可能に装着される。また、交換レンズ３００の鏡筒にはフォーカスリングが設けられ、フォーカスリングの回転操作に伴ってフォーカスレンズ３０２を光軸方向に移動させ、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光を結像させることができる。

カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズスイッチ２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。

レリーズスイッチ２１１は、待機位置から中間位置（半押し位置）まで押下される状態と、中間位置を超えた最終押下位置（全押し位置）まで押下される状態と、の２段階の押圧操作が検出可能に構成されている。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本第１実施形態に係る撮像装置１００では、レリーズボタン２１１を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光（撮影）が行われる。ここで言う「撮影条件」とは、例えば露出状態及び合焦状態の少なくとも１つを指す。なお、本第１実施形態に係る撮像装置１００では、露出状態及び合焦状態の調整が行われる。つまり、レリーズボタン２１１を半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ機能が働いて合焦制御される。

カメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５が設けられている。

十字キー２２２は、メニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、表示部２１３の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。

表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、表示部２１３は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。

図３は第１実施形態に係る撮像装置１００の電気系の構成（内部構成）の一例を示すブロック図である。

撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって統括制御されている。撮像装置１００は、ＣＰＵ１２、操作部１４、インタフェース部２４、メモリ２６及びエンコーダ３４を含む。また、撮像部１００は、本発明に係る表示制御部の一例である表示制御部３６Ａ，３６Ｂを含む。また、撮像部１００は、接眼検出部３７を含む。また、撮像装置１００は、本発明に係る画像取得部、視差算出部、生成部及び変更部の一例である画像処理部２８を含む。なお、以下では、表示制御部３６Ａ，３６Ｂを区別して説明する必要がない場合は「表示制御部３６」と称する。また、本第１実施形態では、画像処理部２８とは別のハードウェア構成として表示制御部３６を設けているが、これに限らず、画像処理部２８が表示制御部３６と同様の機能を有するものとしてもよく、この場合、表示制御部３６は不要となる。

ＣＰＵ１２、操作部１４、インタフェース部２４、記憶部の一例であるメモリ２６、画像処理部２８、エンコーダ３４、表示制御部３６Ａ，３６Ｂ、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９は、バス４０を介して相互に接続されている。なお、メモリ２６は、パラメータやプログラムなどが記憶された不揮発性の記憶領域（一例としてＥＥＰＲＯＭなど）と画像などの各種情報が一時的に記憶される揮発性の記憶領域（一例としてＳＤＲＡＭなど）とを有する。

なお、本第１実施形態に係る撮像装置１００では、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるように焦点調整モータを駆動制御することによって合焦制御を行う。また、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズスイッチ２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタースピード及びＦ値を導出する。そして、導出したシャッタースピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

操作部１４は、撮像装置１００に対して各種指示を与える際に操作者によって操作されるユーザインタフェースである。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。

操作部１４は、レリーズスイッチ２１１、撮影モード等を選択するダイヤル（フォーカスモード切替え部）２１２、表示部２１３、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。また、操作部１４は、各種情報を受け付けるタッチパネルも含む。このタッチパネルは、例えば表示部２１３の表示画面に重ねられている。

撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズを含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。

撮像素子２０には一例として図４に示すカラーフィルタ２１が設けられている。図４にはカラーフィルタ２１の配列の一例が模式的に示されている。なお、図４に示す例では、画素数の一例として（４８９６×３２６４）画素を採用し、アスペクト比として３：２を採用しているが、画素数及びアスペクト比はこれに限られるものではない。一例として図４に示すように、カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ、Ｒ（赤）に対応する第２のフィルタＲ及びＢ（青）に対応する第３のフィルタＢを含む。第１のフィルタＧ（以下、Ｇフィルタと称する）、第２のフィルタＲ（以下、Ｒフィルタと称する）及び第３のフィルタＢ（以下、Ｂフィルタと称する）の配列パターンは、第１の配列パターンＡと第２の配列パターンＢとに分類される。

第１の配列パターンＡにおいて、Ｇフィルタは、３×３画素の正方配列の四隅及び中央の画素上に配置されている。第１の配列パターンＡにおいて、Ｒフィルタは、正方配列の行方向（例えば水平方向）における中央の垂直ライン上に配置されている。第１の配列パターンＡにおいて、Ｂフィルタは、正方配列の列方向（例えば垂直方向）における中央の水平ライン上に配置されている。第２の配列パターンＢは、第１の基本配列パターンＡとフィルタＧの配置が同一で且つフィルタＲの配置とフィルタＢの配置とを入れ替えたパターンである。カラーフィルタ２１は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含む。基本配列パターンＣは、第１の配列パターンＡと第２の配列パターンＢとが点対称で配置された６×６画素のパターンであり、基本配列パターンＣが行方向及び列方向に繰り返し配置されている。すなわち、カラーフィルタ２１では、Ｒ，Ｇ，Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ及びＢフィルタ）が所定の周期性をもって配列されている。そのため、カラー撮像素子から読み出されるＲ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＣの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

カラーフィルタ２１は、輝度信号を得るために最も寄与する色(本第１実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の行方向、列方向、及び斜め方向の各ライン内に配置されている。そのため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

カラーフィルタ２１は、上記Ｇの色以外の２色以上の他の色（本第１実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ及びＢフィルタが、カラーフィルタ配列の行方向及び列方向の各ライン内に配置されている。そのため、色モワレ（偽色）の発生が抑制され、これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、行方向、列方向に交互に並べられた配列となっていると捉えることもできる。

第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが列方向に配列される。一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが行方向に配列され、Ｂフィルタが列方向に配列されている。すなわち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、第１の配列パターンＡと第２の配列パターンＢとが行方向、列方向に交互に配置されることにより、一例として図５に示すように２×２画素に対応する正方配列のＧフィルタが形成される。一例として図５に示すように取り出されたＧフィルタからなる２×２画素については、行方向のＧ画素の画素値の差分絶対値、列方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値が算出される。これにより、行方向、列方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。すなわち、行方向、列方向、及び斜め方向のうちの相関の高い方向が最小画素間隔のＧ画素の情報を使用して判別される。この判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。

カラーフィルタ２１の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称に配置されている。また、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称に配置されている従って、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

一例として図６に示すように基本配列パターンＣにおいて、行方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧである。第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲである。第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧである。第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢである。図６に示す例では、基本配列パターンＣ，Ｃ’，Ｃ”が示されている。基本配列パターンＣ’は基本配列パターンＣを行方向及び列方向にそれぞれ１画素ずつシフトしたパターンを示し、基本配列パターンＣ”は、基本配列パターンＣを行方向及び列方向にそれぞれ２画素ずつシフトしたパターンを示す。このように、カラーフィルタ２１は、基本配列パターンＣ’、Ｃ”を行方向及び列方向に繰り返し配置しても、同じカラーフィルタ配列となる。

撮像装置１００は、位相差ＡＦ機能を有する。撮像素子２０は、位相差ＡＦ機能を働かせた場合に用いられる複数の位相差検出用の画素を含む。複数の位相差検出用の画素は予め定めたパターンで配置されている。

図７には、カラーフィルタ２１の一部と一部の位相差検出用の画素の対応関係の一例が模式的に示されている。一例として図７に示すように、位相差検出用の画素は、行方向の左半分の画素が遮光された第１の画素Ｌ及び行方向の右半分の画素が遮光された第２の画素Ｒの何れかである。なお、以下では、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「位相差画素」と称する。

図８には撮像素子２０に配置されている第１の画素Ｌ及び第２の画素Ｒの一例が示されている。一例として図８に示すように、第１の画素Ｌは遮光部材２０Ａを有し、第２の画素Ｒは遮光部材２０Ｂを有する。遮光部材２０Ａは、フォトダイオードＰＤの前面側（マイクロレンズＬ側）に設けられており、受光面の左半分を遮光する。一方、遮光部材２０Ｂは、フォトダイオードＰＤの前面側に設けられており、受光面の右半分を遮光する。

マイクロレンズＬ及び遮光部材２０Ａ，２０Ｂは瞳分割部として機能し、第１の画素Ｌは、撮影レンズ１６の射出瞳を通過する光束の光軸の左側のみを受光し、第２の画素Ｒは、撮影レンズ１６の射出瞳を通過する光束の光軸の右側のみを受光する。このように、射出瞳を通過する光束は、瞳分割部であるマイクロレンズＬ及び遮光部材２０Ａ，２０Ｂにより左右に分割され、それぞれ第１の画素Ｌおよび第２の画素Ｒに入射する。

また、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている（合焦状態である）部分は、撮像素子２０上の同じ位置に結像する。これに対し、前ピン又は後ピンの部分は、それぞれ撮像素子２０上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目画像、右目画像）として取得することができる。

撮像装置１００は、位相差ＡＦ機能を働かせることにより、第１の画素Ｌの画素値と第２の画素Ｒの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。

撮像素子２０は、第１の画素群、第２の画素群及び第３の画素群に分類される。第１の画素群とは、例えば複数の第１の画素Ｌを指す。第２の画素群とは、例えば複数の第２の画素Ｒを指す。第３の画素群とは、例えば複数の通常画素（第３の画素の一例）を指す。ここで言う「通常画素」とは、例えば位相差画素以外の画素（例えば遮光部材２０Ａ，２０Ｂを有しない画素）を指す。なお、以下では、第１の画素群から出力されるＲＡＷ画像を「第１の画像」と称し、第２の画素群から出力されるＲＡＷ画像を「第２の画像」と称し、第３の画素群から出力されるＲＡＷ画像を「第３の画像」と称する。

第１及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で行方向についての位置が１画素内で揃う位置に配置されている。また、第１及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で列方向についての位置も１画素内で揃う位置に配置されている。図７に示す例では、行方向及び列方向の各々について直線状に１の画素Ｌと第２の画素Ｒとが複数画素分の間隔を空けて交互に配置されている。

図７に示す例では、第１及び第２の画素群に含まれる各画素の位置を行方向及び列方向の各々について１画素内で揃う位置としているが、行方向及び列方向の少なくとも一方について所定画素数内（例えば２画素以内）に収まる位置としてもよい。なお、ピントずれ以外の要因で画像ずれが発生するのを最大限に抑制するためには、一例として図７に示すように第１及び第２の画素群に含まれる各画素の位置を行方向及び列方向の各々について１画素内で揃う位置とすることが好ましい。

位相差画素は、一例として図７に示すように、２×２画素に対応する正方配列のＧフィルタの画素に対して設けられている。すなわち、図７に示す例では、２×２画素のＧフィルタの図中正面視右上角の画素が位相差画素に対して割り当てられている。また、位相差画素間には通常画素が配置されており、２×２画素のＧフィルタの残りの画素が通常画素に対して割り当てられる。また、図７に示す例では、行方向に第１の画素Ｌと第２の画素Ｒとが交互に配置された位相差画素の行は２行単位で一組とされており、各組が列方向に所定画素数（図７に示す例では８画素）分の間隔を空けて配置されている。

このように、カラーフィルタ２１では、２×２画素のＧフィルタの右上角部の画素に対して遮光部材が設けられており、列方向及び行方向ともに複数画素分の間隔を空けて位相差画素が規則的に配置されている。このため、位相差画素の周囲に通常画素が比較的多く配置されるので、通常画素の画素値から位相差画素の画素値を補間する場合における補間精度を向上させることができる。しかも、位相差画素間で補間に利用する通常画素が重複しないように第１〜第３の画素群に含まれる各画素が配置されているので、補間精度のより一層の向上が期待できる。

図３に戻って、撮像素子２０は、第１の画素群から第１の画像（各第１の画素Ｌの画素値を示すデジタル信号）を出力し、第２の画素群から第２の画像（各第２の画素Ｒの画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から第３の画像（各通常画素の画素値を示すデジタル信号）を出力する。なお、第３の画素群から出力される第３の画像は有彩色の画像であり、例えば通常画素の配列と同じカラー配列のカラー画像である。撮像素子２０から出力された第１の画像、第２の画像及び第３の画像は、インタフェース部２４を介してメモリ２６における揮発性の記憶領域に一時記憶される。

図９には、画像処理部２８に含まれる複数の機能のうち本発明に関連する要部機能の一例が示されている。図９に示すように、画像処理部２８は、画像取得部２８Ａ、視差算出部２８Ｂ、生成部２８Ｃ及び変更部２８Ｄを含み、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスや、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であっても良い。

画像取得部２８Ａは、撮像素子２０から出力された第１の画像及び第２の画像を取得する。視差算出部２８Ｂは、画像取得部２８Ａにより取得された第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出する。生成部２８Ｃは、撮像素子２０から出力された第３の画像に基づいて第１の表示用画像を生成し、かつ、画像取得部２８Ａにより取得された第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する。

変更部２８Ｄは、生成部２８Ｃにより生成される第１の表示用画像及び第２の表示用画像のうちの少なくとも第２の表示用画像の解像度を、視差算出部２８Ｂにより算出された視差に応じて変更する。例えば、撮像素子２０の駆動方法を変更することにより撮像素子２０の出力画素数を変更し、これによって解像度を変更する。ここで、出力画素数が変更されるということは、解像度が変更されることを意味する。また、ここで言う「出力画素数」とは、例えば撮像素子２０に含まれる画素のうち撮像に使用される画素（実際の出力対象とされ、画像の生成に供する画素）を指す。

撮像素子２０に含まれる画素は、一例として図７に示すように行列状に配置されており、撮像素子２０の出力画素は、画素の行単位で変更可能とされている。従って、変更部２８Ｄは、行単位で出力画素を変更させることにより、出力画素数を変更する。

また、変更部は、視差の減少に従って第１の表示用画像及び第２の表示用画像のうちの少なくとも第２の表示用画像の解像度を高める。また、変更部２８Ｄは、視差算出部２８Ｂにより算出された視差が閾値以下の場合、密度を、視差算出部２８Ｂにより算出された視差が閾値を上回る場合の密度よりも高めることにより、出力画素数を変更する。ここで言う「密度」とは、撮像素子２０の出力画素数に対する位相差画素の出力画素数の割合、すなわち、撮像素子２０の出力画素における位相差画素の出力画素の密度を指す。

また、変更部２８Ｄは、視差算出部２８Ｂにより算出された視差が閾値以下の場合、更に、密度を、視差の減少に応じて高めることにより、出力画素数を変更する。

また、変更部２８Ｄは、視差算出部２８Ｂにより算出された視差が閾値を上回る場合、密度を、視差算出部２８Ｂにより算出された視差が閾値以下の場合の密度よりも低くすることにより、出力画素数を変更する。また、変更部２８Ｄは、視差算出部２８Ｂにより算出された視差が閾値を上回る場合、更に、密度を、視差の増大に応じて低くすることにより、出力画素数を変更する。

変更部２８Ｄは、例えば図１０Ａに示す第１出力画素決定テーブル２９Ａ及び図１０Ｂに示す第２出力画素決定テーブル２９Ｂを用いて出力画素を決定することにより密度を変更する。

図１０Ａには、第１出力画素決定テーブル２９Ａの構成の一例が模式的に示されている。図１０Ａに示す第１出力画素決定テーブル２９Ａは、視差算出部２８Ｂにより算出された視差が閾値以下の場合に用いられる。本第１実施形態では、「閾値」として３画素を採用している。第１出力画素決定テーブル２９Ａは、視差［ｐｉｘｅｌ］に対して密度［１／ｐｉｘｅｌ］が対応付けられている。第１出力画素決定テーブル２９Ａでは、視差の一例として０〜３画素が採用されており、０画素及び１画素の視差に対しては密度Ａが、２画素の視差に対しては密度Ｂが、３画素の視差に対しては密度Ｃが各々対応付けられている。密度Ａとは、例えば撮像素子２０の全画素における列方向について行単位で１画素につき１画素を出力画素とした場合の密度、すなわち、撮像素子２０に含まれる全画素を出力画素とした場合の密度を指す。密度Ｂとは、例えば撮像素子２０の全画素における列方向について行単位で２画素につき１画素を出力画素とした場合の密度を指す。密度Ｃとは、例えば撮像素子２０の全画素における列方向について行単位で３画素につき１画素を出力画素とした場合の密度を指す。

図１０Ｂには、第２出力画素決定テーブル２９Ｂの構成の一例が模式的に示されている。図１０Ｂに示す第２出力画素決定テーブル２９Ｂは、視差算出部２８Ｂにより算出された視差が閾値を上回る場合に用いられる。第２出力画素決定テーブル２９Ｂも、第１出力画素決定テーブル２９Ａと同様に、視差［ｐｉｘｅｌ］に対して密度［１／ｐｉｘｅｌ］が対応付けられている。第２出力画素決定テーブル２９Ｂでは、視差の一例として４〜６画素が採用されている。なお、本第１実施形態では、視差算出部２６Ｂによる視差の算出可能範囲の上限が６画素であるため、第２出力画素決定テーブル２９Ｂで採用される視差の上限も６画素とされている。

第２出力画素決定テーブル２９Ｂでは、４画素の視差に対しては密度Ｄが、５画素及び６画素の視差に対しては密度Ｅが各々対応付けられている。密度Ｄとは、例えば撮像素子２０の全画素における列方向について行単位で４画素につき１画素を出力画素とした場合の密度を指す。密度Ｅとは、例えば撮像素子２０の全画素における列方向について行単位で６画素につき１画素を出力画素とした場合の密度を指す。

なお、本第１実施形態では、密度を変更する場合に第１出力画素決定テーブル２９Ａ及び第２出力画素決定テーブル２９Ｂを用いる例を挙げているが、これに限らず、演算式を用いてもよい。例えば、第１出力画素決定テーブル２９Ａに代えて、第１出力画素決定テーブル２９Ａに示される視差を変数とし、第１出力画素決定テーブル２９Ａに示される密度を解とする演算式（関数）を用いてもよい。また、第２出力画素決定テーブル２９Ｂに代えて、第２出力画素決定テーブル２９Ｂに示される視差を変数とし、第２出力画素決定テーブル２９Ｂに示される密度を解とする演算式（関数）を用いてもよい。

図１１には、生成部２８Ｃに含まれる機能の一例が示されている。図１１に示すように、生成部２８Ｃは、通常処理部３０及びスプリットイメージ処理部３２を含む。通常処理部３０は、第３の画素群に対応するＲ，Ｇ，Ｂ信号を処理することで第１の表示用画像の一例である有彩色の通常画像を生成する。また、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群に対応するＧ信号を処理することで第２の表示用画像の一例である無彩色のスプリットイメージを生成する。

図３に戻って、エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。ＬＣＤ２４７における所定方向の画素数（一例として視差発生方向である行方向の画素数）は、表示部２１３における同方向の画素数よりも少ない。表示制御部３６Ａは表示部２１３に、表示制御分３６ＢはＬＣＤ２４７に各々接続されており、ＬＣＤ２４７及び表示部２１３が選択的に制御されることによりＬＣＤ２４７又は表示部２１３により画像が表示される。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。

なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいて撮影レンズ１６のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してレンズ駆動部（図示省略）を制御し、撮影レンズ１６を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。

接眼検出部３７は、人（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。

外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。

図１２は第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図３に示すブロック図と共通する部分には同一の符号が付されている。

通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、メモリ２６に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。

通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第３の画素群のＲ，Ｇ，Ｂ画素を、一例として図１３に示すように、第１の画素群及び第２の画素群のうちの同色の周辺画素（例えば隣接するＧ画素）により補間して生成する。これにより、第３の画素群から出力された第３の画像に基づいて記録用の通常画像を生成することができる。

また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４０に記録される。また、通常処理部３０により処理された第３の画像に基づく画像である表示用の通常画像は、表示制御部３６に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。

撮像素子２０は、第１の画素群及び第２の画素群の各々の露出条件（一例として電子シャッタによるシャッタ速度）を変えることができ、これにより露出条件の異なる画像を同時に取得することができる。従って、画像処理部２８は、露出条件の異なる画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で複数の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。

一方、スプリットイメージ処理部３２は、メモリ２６に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＧ信号を抽出し、第１の画素群及び第２の画素群のＧ信号に基づいて無彩色のスプリットイメージを生成する。ＲＡＷ画像から抽出される第１の画素群及び第２の画素群の各々は、上述したようにＧフィルタの画素による画素群である。そのため、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群のＧ信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左目画像」と称し、上記の「無彩色の右の視差画像」を「右目画像」と称する。

スプリットイメージ処理部３２は、第１の画素群から出力された第１の画像に基づく左目画像と、第２の画素群から出力された第２の画像に基づく右目画像とを合成することによりスプリットイメージを生成する。生成したスプリットイメージの画像データは表示制御部３６に出力される。

表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データと、スプリットイメージ処理部３２から入力された第１、第２の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部３２から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示装置に出力する。すなわち、表示制御部３６Ａは画像データを表示部２１３に出力し、表示制御部３６Ｂは画像データをＬＣＤ２４７に出力する。

スプリットイメージ処理部３２により生成されるスプリットイメージは、左目画像の一部と右目画像の一部とを合成した複数分割の画像である。ここで言う「複数分割の画像」としては、例えば図１４Ａ，１３Ｂに示すスプリットイメージが挙げられる。図１４に示すスプリットイメージは、左目画像のうちの上半分の画像と右目画像のうちの下半分の画像とを合成した画像であって、上下方向に２分割された画像間が合焦状態に応じて所定方向（例えば視差発生方向）にずれた画像である。なお、スプリットイメージの態様は図１４Ａ，１３Ｂに示す例に限定されるものではなく、表示部２１３の所定領域の位置に対応する位置の左目画像の一部と右目画像の一部とを合成した画像であってもよい。この場合、例えば上下方向に４分割された画像間が合焦状態に応じて所定方向（例えば視差発生方向）にずれる。

通常画像にスプリットイメージを合成する方法は、通常画像の一部の画像に代えて、スプリットイメージを嵌め込む合成方法に限定されない。例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。

ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、ＬＣＤ２４７、プリズム２４５及び接眼レンズ２４６を有する。

また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。

プリズム２４５は、ＬＣＤ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導き、かつ、光学像とＬＣＤ２４７に表示される情報（電子像、各種の情報）とを合成する。

ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

表示制御部３６Ｂは、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、ＬＣＤ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。

一方、表示制御部３６Ｂは、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部からＬＣＤ２４７に表示される電子像のみが視認できるようにする。なお、ＬＣＤ２４７には、表示部２１３に出力されるスプリットイメージが合成された画像データと同等の画像データが入力され、これにより、表示部２１３と同様に通常画像の一部にスプリットイメージが合成された電子像を表示させることができる。

図１５には表示装置における通常画像及びスプリットイメージの各々の表示領域の一例が示されている。一例として図１５に示すように、表示装置は、通常画像及びスプリットイメージが入力された場合、入力されたスプリットイメージを画面中央部の実線矩形枠又は実線矩形枠の内側の破線矩形枠内（スプリットイメージの表示領域）に表示する。また、表示装置は、入力された通常画像をスプリットイメージの外周領域（通常画像の表示領域）に表示する。なお、スプリットイメージは、視差算出部２８Ｂにより算出された視差が閾値を上回る場合は破線矩形枠内（以下、「通常表示領域」という）に表示される。また、視差算出部２８Ｂにより算出された視差が閾値以下の場合は実線矩形枠内（以下、「拡大表示領域」という）に表示される。また、図１２に示す画面中央部の拡大表示領域の外縁表す線及び通常表示領域の外縁を表す線は実際には表示されないが、図１２では説明の便宜上示されている。

次に本第１実施形態の作用として、第１〜第３の画像が入力される毎に画像処理部２８で行われる画像生成出力処理について、図１６を参照して説明する。なお、ここでは、画像生成出力処理が画像処理部２８で行われる場合を例示するが、本発明はこれに限定されるものではなく、例えばＣＰＵ１２が画像生成出力処理プログラムを実行することにより撮像装置１００で画像生成出力処理が行われるものとしてもよい。

図１６において、ステップ４００では、入力された第３の画像に基づく通常画像が生成部２８Ｃにより生成されて所定の記憶領域（例えばメモリ２６）及び表示制御部３６に出力される。

次のステップ４０２では、先ず、画像取得部２８Ｂにより、第１及び第２の画像が取得される。そして、生成部２８Ｃにより、第１及び第２の画像に基づく左目画像及び右目画像が生成され、生成された左目画像及び右目画像に基づいてスプリットイメージが生成されて表示制御部３６に出力される。表示制御部３６は、上記ステップ４００で出力された通常画像及び上記ステップ４０２で出力されたスプリットイメージが入力されると、表示装置に対して通常画像を表示させ、かつ、通常画像の表示領域内にスプリットイメージを表示させる制御を行う。

このように上記ステップ４００，４０２が生成部２８Ｃにより行われると、一例として図１４Ａ及び図１４Ｂに示すように表示部２１３やハイブリッドファインダー２２０にライブビュー画像が表示される。図１４Ａ及び図１４Ｂに示す例では、一例として図１５に示すスプリットイメージの表示領域に相当する画面中央の枠６０の内側領域にスプリットイメージが表示されており、通常画像の表示領域に相当する枠６０の外側領域に通常画像が表示されている。

すなわち、第１及び第２の画素群は、枠６０のサイズに対応して設けられている。スプリットイメージは、第１の画素群から出力された第１の画像に対応する左目画像おける枠６０の上半分６０Ａの画像（視差画像）と、第２の画素群から出力された第２の画像に対応する右目画像における枠６０の下半分６０Ｂの画像（視差画像）とに大別される。

ここで、枠６０内の画像に対応する被写体に対して、撮影レンズ１６のピントが合っていない場合は、図１４Ａに示すようにスプリットイメージの上半分６０Ａの視差画像と、下半分６０Ｂの視差画像との境界の画像が視差発生方向（一例として行方向）にずれる。また、通常画像とスプリットイメージとの境界の画像も視差発生方向にずれる。これは、位相差が生じていることを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていること及び視差発生方向を認識することができる。

一方、枠６０内の画像に対応する被写体に対して、撮影レンズ１６のピントが合っている場合は、図１４Ｂに示すようにスプリットイメージの上半分６０Ａの視差画像と、下半分６０Ｂの視差画像との境界の画像が一致する。また、通常画像とスプリットイメージとの境界の画像も一致する。これは、位相差が生じていないことを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていないことを認識することができる。

このように、撮影者は、表示装置に表示されるスプリットイメージにより撮影レンズ１６の合焦状態を確認することができる。また、マニュアルフォーカスモード時には、撮影レンズ１６のフォーカスリング３０２を手動操作することによりピントのずれ量（デフォーカス量）をゼロにすることができる。また、通常画像とスプリットイメージとをそれぞれ色ずれのないカラー画像で表示することができ、撮影者の手動によるフォーカス調整をカラーのスプリットイメージで支援することができる。

次のステップ４０３では、視差算出部２８Ｂにより、視差算出時期が到来したか否かが判定される。視差算出時期は、視差が算出される特定の周期（視差算出周期）毎に規定されており、視差算出周期としては、例えば本画像生成出力処理が所定回数（例えば１００回）行われる毎の周期が挙げられる。なお、これに限らず、例えば本画像生成出力処理が前回行われてから所定時間毎の周期であってもよい。本ステップ４０３において視差算出時期が到来していない場合は判定が否定されて本画像生成出力処理を終了する。本ステップ４０８において視差算出時期が到来した場合は判定が肯定されてステップ４０４へ移行する。

次のステップ４０４では、視差算出部２８Ｂにより、上記ステップ４０２で生成されたスプリットイメージのうちの視差算出対象の画素（注目画素（ｉ，ｊ））が設定される。この場合、例えば、スプリットイメージのサイズがｍ×ｎ画素の場合、画素（１，１）から画素（ｍ，ｎ）まで、本ステップ４０４が行われる毎に順次注目画素を移動させる。

次のステップ４０６では、視差算出部２８Ｂにより、ステップ４０４で設定された注目画素（ｉ，ｊ）を基準にした画素群であって所定のブロックサイズ［Ｃｘ×Ｃｙ］［pixel］の画素群が抽出される。

次のステップ４１０では、視差算出部２８Ｂにより、上記ステップ４０６で抽出された左目画像の各画素に対する上記ステップ４０６で抽出された右目画像の対応する画素のずれ量を示す視差が算出される。

ステップ４１０において、画像処理部２８は、例えば、先ず上記ステップ４０６で抽出した左目画像の画素群を元に、右目画像内から特徴点が一致する画素群を探索する。すなわち、左目画像から抽出した画素群（ブロック）と、右目画像のうちの左目画像から抽出した画素群（ブロック）に対応する右目画像内のブロックとの一致度を評価する。そして、ブロック間の一致度が最大となるときの右目画像のブロックの基準の画素を、左目画像の注目画素に対応する右目画像の対応点の画素とする。本第１実施形態では、ブロックマッチング法を用いてブロック間の一致度を評価しており、一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するもの（ＳＳＤブロックマッチング法）がある。

ＳＳＤブロックマッチング法では、比較対象とされる両画像のブロック内の各画素ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）について、次式の演算を行う。

上記［数１］式の演算を、右目画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。そして、左目画像上の注目画素と、探索した対応する右目画像上の画素との画素間のずれ量を示す視差を算出する。

次のステップ４１２では、変更部２８Ｄにより、上記ステップ４１０で算出された視差が閾値以下か否かが判定される。本ステップ４１２において視差が閾値以下の場合は判定が肯定されてステップ４１４へ移行する。

ステップ４１４では、変更部２８Ｄにより、高解像度化処理が行われ、その後、ステップ４１６へ移行する。高解像度化処理とは、視差が閾値を上回る場合に表示装置に表示される画像の解像度に比べ、表示装置に表示される画像の解像度を高くする処理を指す。図１７には、高解像度化処理の流れの一例が示されている。図１７に示すステップ４１４Ａでは、変更部２８Ｄにより、現時点で用いられている解像度が最高解像度でないか否かが判定される。ここで言う「最高解像度」とは、例えば撮像素子２０に含まれる全ての画素が出力画素とされた場合（密度Ａの場合）の解像度を指す。本ステップ４１４Ａにおいて最高解像度の場合は判定が否定されて本高解像度化処理を終了し、かつ、画像生成出力処理を終了する。本ステップ４１４Ａにおいて最高解像度でない場合は判定が肯定されてステップ４１４Ｂへ移行する。

ステップ４１４Ｂでは、変更部２８Ｄにより、解像度の変更が必要か否かが判定される。例えば、上記ステップ４１０で算出された視差が前回算出された視差と異なっている場合は解像度の変更が必要であると判定され、上記ステップ４１０で算出された視差が前回算出された視差と同一の場合は解像度の変更が不必要と判定される。本ステップ４１４Ｂにおいて解像度の変更が不必要である場合は判定が否定されて本高解像度化処理を終了し、かつ、画像生成出力処理を終了する。本ステップ４１４Ｂにおいて解像度の変更が必要である場合は判定が肯定されてステップ４１４Ｃへ移行する。

ステップ４１４Ｃでは、変更部２８Ｄにより、第１出力画素決定テーブル２９Ａに従って、密度が変更される。そして、本ステップ４１４Ｃが変更部２８Ｄにより行わると、本高解像度化処理を終了する。なお、変更部２８Ｄは、撮像素子２０に対してＣＰＵ１２及びデバイス制御部２２を介して撮像素子２０に含まれる画素を選択的に駆動させる制御を行うことで、密度を変更する。

図１８には、図１０に示す例において視差が３画素の場合における出力画素の配置の一例が示されている。図１８に示すように上記ステップ４１０で算出された視差が３画素の場合、上記ステップ４１４Ｃが行われることにより、出力画素は、撮像素子２０に含まれる全画素における列方向について行単位で３画素毎に現れる。この場合、出力画素としての位相差画素の数は、一例として図１８に示すように撮像素子２０に含まれる全ての位相差画素の数の１／２となる。また、この場合、通常画素も含む出力画素数は、撮像素子２０に含まれる全ての画素の数の１／３となるため、消費電力は、撮像素子２０に含まれる全ての画素を出力画素とした場合と比較して、１／３程度に低減される。

図１９には、図１０に示す例において視差が２画素の場合における出力画素の配置の一例が示されている。図１９に示すように上記ステップ４１０で算出された視差が２画素の場合、上記ステップ４１４Ｃが行われることにより、出力画素は、撮像素子２０に含まれる全画素における列方向について行単位で２画素毎に現れる。この場合、出力画素としての位相差画素の数は、一例として図１９に示すように撮像素子２０に含まれる全ての位相差画素の数となる。つまり、出力画素が撮像素子２０に含まれる全画素における列方向について行単位で２画素毎に現れたとしても位相差画素の数は減少しない。ここで、位相差画素の数が減少しないのは、撮像素子２０に含まれる全画素における列方向について行単位で２画素毎に出力画素が現れるようにしても位相差画素が減少しないように位相差画素が撮像素子２０に予め配置されているからである。また、撮像素子２０に含まれる全画素における列方向について行単位で２画素毎に出力画素が現れる場合、通常画素も含む出力画素数は、撮像素子２０に含まれる全ての画素の数の１／２となる。そのため、消費電力は、撮像素子２０に含まれる全ての画素を出力画素とした場合と比較して、１／２程度に低減される。

なお、撮像素子２０に含まれる全ての画素を出力画素とした場合の位相差画素の数は、撮像素子２０に含まれる全画素における列方向について行単位で２画素毎に出力画素とした場合と同一である。但し、通常画素の数は増える。そのため、撮像素子２０に含まれる全ての画素を出力画素とした場合の密度は、撮像素子２０に含まれる全画素における列方向について行単位で２画素毎に出力画素とした場合の密度と比較して、低い。このように撮像素子２０に含まれる全ての画素を出力画素とした場合の解像度は、全画素における列方向について行単位で２画素毎に出力画素とした場合の解像度と比較して、スプリットイメージについては変わらないものの、通常画像については高くなる。

図１６に戻って、ステップ４１６では、現時点でスプリットイメージが通常表示領域に表示されているか否かが判定される。ここで言う「通常表示領域に表示されている」とは、例えば、図１５に示す通常表示領域の全領域を利用してスプリットイメージが表示されていることを指す。逆に、「通常表示領域に表示されていない」とは、例えば、図１５に示す拡大表示領域の全領域を利用してスプリットイメージが表示されていることを指す。本ステップ４１６においてスプリットイメージが通常表示領域に表示されている場合は判定が肯定されてステップ４１８へ移行する。本ステップ４１６においてスプリットイメージが通常表示領域に表示されていない場合は判定が否定されてステップ４２０へ移行する。

ステップ４１８では、変更部２８Ｄにより、スプリットイメージが表示される領域が通常表示領域から拡大表示領域へ変更され、その後、ステップ４２０へ移行する。本ステップ４１８が行われると、スプリットイメージが拡大表示領域に表示され、スプリットイメージの表示領域が拡大された分、通常画像の表示領域が狭くなる。

一方、ステップ４１２において上記ステップ４１０で算出された視差が閾値以下でない場合（視差が閾値を上回る場合）は判定が否定されてステップ４２２へ移行する。

ステップ４２２では、変更部２８Ｄにより、低解像度化処理が行われ、その後、ステップ４２４へ移行する。低解像度化処理とは、視差が閾値以下の場合に表示装置に表示される画像の解像度に比べ、表示装置に表示される画像の解像度を低くする処理を指す。図２０に示すステップ４２２Ａでは、変更部２８Ｄにより、現時点で用いられている解像度が最低解像度でないか否かが判定される。ここで言う「最低解像度」とは、本低解像度化処理で変更対象となる解像度のうちの最低の解像度を指し、例えば撮像素子２０に含まれる全画素における列方向について行単位で４画素につき１画素を出力画素とした場合（密度Ｄの場合）の解像度を指す。本ステップ４２２Ａにおいて最低解像度の場合は判定が否定されて本低解像度化処理を終了し、かつ、画像生成出力処理を終了する。本ステップ４２２Ａにおいて最低解像度でない場合は判定が肯定されてステップ４２２Ｂへ移行する。

ステップ４２２Ｂでは、変更部２８Ｄにより、解像度の変更が必要か否かが判定される。例えば、上記ステップ４１０で算出された視差が前回算出された視差と異なっている場合は解像度の変更が必要であると判定され、上記ステップ４１０で算出された視差が前回算出された視差と同一の場合は解像度の変更が不必要と判定される。本ステップ４２２Ｂにおいて解像度の変更が不必要である場合は判定が否定されて本高解像度化処理を終了し、かつ、画像生成出力処理を終了する。本ステップ４２２Ｂにおいて解像度の変更が必要である場合は判定が肯定されてステップ４２２Ｃへ移行する。

ステップ４２２Ｃでは、変更部２８Ｄにより、第２出力画素決定テーブル２９Ｂに従って、密度が変更される。そして、本ステップ４２２Ｃが変更部２８Ｄにより行わると、本低解像度化処理を終了する。

図２１には、図１０に示す例において視差が４画素の場合における出力画素の配置の一例が示されている。図２１に示すように上記ステップ４１０で算出された視差が４画素の場合、上記ステップ４２２Ｃが行われることにより、出力画素は、撮像素子２０に含まれる全画素における列方向について行単位で４画素毎に現れる。この場合、出力画素としての位相差画素の数は、一例として図２１に示すように撮像素子２０に含まれる全ての位相差画素の数となる。つまり、出力画素が撮像素子２０に含まれる全画素における列方向について行単位で４画素毎に現れたとしても位相差画素の数は減少しない。ここで、位相差画素の数が減少しないのは、撮像素子２０に含まれる全画素における列方向について行単位で４画素毎に出力画素が現れるようにしても位相差画素が減少しないように位相差画素が撮像素子２０に予め配置されているからである。また、撮像素子２０に含まれる全画素における列方向について行単位で４画素毎に出力画素が現れる場合、通常画素も含む出力画素数は、撮像素子２０に含まれる全ての画素の数の１／４となる。そのため、消費電力は、撮像素子２０に含まれる全ての画素を出力画素とした場合と比較して、１／４程度に低減される。

図２２には、図１０に示す例において視差が６画素の場合における出力画素の配置の一例が示されている。図２２に示すように上記ステップ４１０で算出された視差が６画素の場合、上記ステップ４２２Ｃが行われることにより、出力画素は、撮像素子２０に含まれる全画素における列方向について行単位で６画素毎に現れる。この場合、出力画素としての位相差画素の数は、一例として図２２に示すように撮像素子２０に含まれる全ての位相差画素の数の１／２となる。また、この場合、通常画素も含む出力画素数は、撮像素子２０に含まれる全ての画素の数の１／６となるため、消費電力は、撮像素子２０に含まれる全ての画素を出力画素とした場合と比較して、１／６程度に低減される。

なお、上記ステップ４１０で算出された視差が５画素の場合、上記ステップ４２２Ｃが行われることにより、出力画素は、撮像素子２０に含まれる全画素における列方向について行単位で５画素毎に現れる。この場合、出力画素としての位相差画素の数は、撮像素子２０に含まれる全ての位相差画素の数の１／２となる。また、この場合、通常画素も含む出力画素数は、撮像素子２０に含まれる全ての画素の数の１／５となるため、消費電力は、撮像素子２０に含まれる全ての画素を出力画素とした場合と比較して、１／５程度に低減される。

図１６に戻って、ステップ４２４では、変更部２８Ｄにより、現時点でスプリットイメージが拡大表示領域に表示されているか否かが判定される。ここで言う「拡大表示領域に表示されている」とは、例えば、図１５に示す拡大表示領域の全領域を利用してスプリットイメージが表示されていることを指す。逆に、「拡大表示領域に表示されていない」とは、例えば、図１５に示す通常表示領域の全領域を利用してスプリットイメージが表示されていることを指す。本ステップ４２４においてスプリットイメージが拡大表示領域に表示されている場合は判定が肯定されてステップ４２６へ移行する。

ステップ４２６では、変更部２８Ｄにより、スプリットイメージが表示される領域が拡大表示領域から通常表示領域へ変更され、その後、ステップ４２０へ移行する。本ステップ４２６が行われると、スプリットイメージが通常表示領域に表示され、スプリットイメージの表示領域が縮小された分、通常画像の表示領域が広くなる。

ステップ４２０では、変更部２８Ｄにより、設定内容変更処理が行われ、その後、ステップ４２２へ移行する。設定内容変更処理とは、撮像装置１００に対する設定の内容を変更する処理を指す。

図２３には、設定内容変更処理の流れの一例が示されている。図２３に示す設定内容変更処理では、先ず、ステップ４２０Ａにおいて、変更部２８Ｄにより、撮像素子２０に対して現時点で設定されている駆動周波数が視差算出部２８Ｂにより算出された最新の視差に対応した駆動周波数か否かが判定される。ここで言う「最新の視差」とは、例えば上記ステップ４１０で算出された最新の視差を指す。本ステップ４２０Ａにおいて撮像素子２０の駆動周波数が視差算出部２８Ｂにより算出された最新の視差に対応した駆動周波数でない場合は判定が否定されてステップ４２０Ｃへ移行する。本ステップ４２０Ａにおいて撮像素子２０の駆動周波数が視差算出部２８Ｂにより算出された最新の視差に対応した駆動周波数の場合は判定が肯定されてステップ４２０Ｂへ移行する。

ステップ４２０Ｂでは、変更部２８Ｄにより、現時点で撮像素子２０の駆動周波数として設定されている駆動周波数が、視差算出部２８Ｂにより算出された最新の視差に対応した駆動周波数に変更される。ここでは、視差算出部２８Ｂにより算出された視差が大きいほど高い駆動周波数が設定される。また、ここでは、視差と駆動周波数との関係がテーブルとして予め用意されており、このテーブルに従って、駆動周波数が導出され、導出された駆動周波数が設定される。なお、テーブルに代えて、視差を変数とし、駆動周波数を解とする演算式を用いて駆動周波数が算出されるようにしてもよい。

次のステップ４２０Ｃでは、変更部２８Ｄにより、現時点で設定されているフレームレートが視差算出部２８Ｂにより算出された最新の視差に対応したフレームレートか否かが判定される。ここで言う「最新の視差」とは、例えば上記ステップ４１０で算出された最新の視差を指す。本ステップ４２０Ｃにおいてフレームレートが視差算出部２８Ｂにより算出された最新の視差に対応したフレームレートでない場合は判定が否定されてステップ４２０Ｅへ移行する。本ステップ４２０Ｃにおいてフレームレートが視差算出部２８Ｂにより算出された最新の視差に対応したフレームレートの場合は判定が肯定されてステップ４２０Ｄへ移行する。

ステップ４２０Ｄでは、変更部２８Ｄにより、表示装置で表示対象とされる画像（ここでは一例として通常画像及びスプリットイメージ）の現時点でのフレームレートが、視差算出部２８Ｂにより算出された最新の視差に対応したフレームレートに変更される。ここでは、視差算出部２８Ｂにより算出された視差が小さいほど高いフレームレートが設定される。また、ここでは、視差とフレームレートとの関係がテーブルとして予め用意されており、このテーブルに従って、フレームレートが導出され、導出されたフレームレートが設定される。なお、テーブルに代えて、視差を変数とし、フレームレートを解とする演算式を用いてフレームレートが算出されるようにしてもよい。

次のステップ４２０Ｅでは、変更部２８Ｄにより、視差算出周期が視差算出部２８Ｂにより算出された最新の視差に対応した視差算出周期か否かが判定される。ここで言う「最新の視差」とは、例えば上記ステップ４１０で算出された最新の視差を指す。本ステップ４２０Ｅにおいて視差算出周期が視差算出部２８Ｂにより算出された最新の視差に対応した視差算出周期でない場合は判定が否定されて本設定内容変更処理を終了する。本ステップ４２０Ｅにおいて視差算出周期が視差算出部２８Ｂにより算出された最新の視差に対応した視差算出周期の場合は判定が肯定されてステップ４２０Ｆへ移行する。

ステップ４２０Ｆでは、変更部２８Ｄにより、現時点での視差算出周期が、視差算出部２８Ｂにより算出された最新の視差に対応した視差算出周期に変更され、その後、本設定内容変更処理を終了する。ここでは、視差算出部２８Ｂにより算出された視差が大きいほど長い視差算出周期が設定される。換言すると、視差算出周期は、視差算出部２８Ｂにより算出された視差が小さいほど短くなる。また、ここでは、視差と視差算出周期との関係がテーブルとして予め用意されており、このテーブルに従って、視差算出周期が導出され、導出された視差算出周期が設定される。なお、テーブルに代えて、視差を変数とし、視差算出周期を解とする演算式を用いて視差算出周期が算出されるようにしてもよい。

以上に説明したように、本第１実施形態に係る撮像装置１００では、生成部２８Ｃにより生成される通常画像の解像度及びスプリットイメージの解像度が、視差算出部２８Ｂにより算出された視差に応じて変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、合焦の度合いに応じた処理速度及び解像度にすることができる。また、通常画像の解像度及びスプリットイメージの解像度が過不足する事態の発生を抑制することもできる。

また、本第１実施形態に係る撮像装置１００では、視差の減少に従って解像度が高められる。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、合焦の度合いが小さくなるに従って処理（例えば出力画素の読み出し処理）の高速化を図ることができ、かつ、合焦の度合いが大きくなるに従って解像度を高めることができる

また、本第１実施形態に係る撮像装置１００では、撮像素子２０の駆動方法が変更されることにより出力画素数が変更されることで、通常画像の解像度及びスプリットイメージの解像度が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、簡素な制御で、解像度を変更することができる。また、本構成を有しない場合に比べ、簡素な制御で、通常画像の解像度及びスプリットイメージの解像度が過不足する事態の発生を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、撮像素子２０の出力画素が撮像素子２０に含まれる全画素の行単位で変更可能とされ、変更部２８Ｄにより、行単位で出力画素が変更されることで解像度が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、簡素な制御で、解像度を変更することができる。

また、本第１実施形態に係る撮像装置１００では、行単位で出力画素を変更する場合、列方向に第１所定間隔の行単位で出力画素が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、出力画素の変更に係る制御を簡便な制御にすることができる。

また、本第１実施形態に係る撮像装置１００は、上記の第１所定間隔として、第１及び第２の画素群に含まれる出力画素の数が行単位で変更される間隔を採用している。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、簡素な制御で、スプリットイメージの解像度が変更される。

また、本第１実施形態に係る撮像装置１００では、上記の第１所定間隔が、視差の減少に応じて狭くなる。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、視差の減少に起因して第２の表示用画像の視認性が低下することを抑制することができる。

また、本第１実施形態に係る撮像装置１００では、撮像素子２０の出力画素における第１及び第２の画素群の出力画素の密度が変更されることで、出力画素数が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、簡素な制御で、合焦の度合いに応じた処理速度及びスプリットイメージの解像度にすることができる。また、本構成を有しない場合に比べ、簡素な制御で、スプリットイメージの解像度が過不足する事態の発生を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、視差算出部２８Ｂにより算出された視差が閾値以下の場合、密度が、視差算出部２８Ｂにより算出された視差が閾値を上回る場合の密度よりも高められることにより、出力画素数が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、視差が閾値以下の場合にスプリットイメージの解像度が不足する事態の発生を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、視差算出部２８Ｂにより算出された視差が閾値以下の場合、密度が、視差の減少に応じて高められる。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、視差が閾値以下の場合にスプリットイメージの解像度が不足する事態の発生を高精度に抑制することができる。

また、本第１実施形態に係る撮像装置１００では、視差算出部２８Ｂにより算出された視差が閾値を上回る場合、密度が、視差算出部２８Ｂにより算出された視差が閾値以下の場合の密度よりも低くされることにより、出力画素数が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、視差が閾値を上回る場合にスプリットイメージの解像度が過剰となる事態の発生を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、視差算出部２８Ｂにより算出された視差が閾値を上回る場合、密度が、視差の増大に応じて低くされる。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、視差が閾値上回る場合にスプリットイメージの解像度が過剰となる事態の発生を高精度に抑制することができる。

また、本第１実施形態に係る撮像装置１００では、解像度が所定値を超えて高められた場合、通常表示領域から拡大表示領域へ変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、スプリットイメージの視認性を向上させることができる。なお、本第１実施形態では、上記の「所定値」として、閾値に相当する視差に対応する密度が適用されることによって実現される解像度を適用しているが、これに限らず、他の値であってもよい。例えば、２〜４画素の視差のうちの予め定められた視差に対応する密度が適用されることによって実現される解像度であってもよい。

また、本第１実施形態に係る撮像装置１００では、スプリットイメージの表示領域が拡大された状態で解像度が所定値以下に低くされた場合、スプリットイメージの表示領域の大きさが通常時の大きさに戻される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、スプリットイメージの視認性の低下を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、視差算出部２８Ｂにより算出された視差に応じて、表示対象とされる画像のフレームレートが変更される。従って、本第１実施形態に係る撮像装置１００は、これにより、本構成を有しない場合に比べ、合焦の度合いに応じたフレームレートにすることができる。また、本構成を有しない場合に比べ、フレームレートが過不足する事態の発生を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、視差算出部２８Ｂにより算出された視差に応じて視差算出部２８Ｂによる視差の算出頻度が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、合焦の度合いに応じた算出頻度にすることができる。また、本構成を有しない場合に比べ、算出頻度が過不足する事態の発生を抑制することができる。

また、本第１実施形態に係る撮像装置１００では、視差算出部２８Ｂにより算出された視差に応じて撮像素子２０の駆動周波数が変更される。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、撮像素子２０の駆動周波数を合焦の度合いに応じた駆動周波数にすることができる。また、本構成を有しない場合に比べ、撮像素子２０の駆動周波数が過不足する事態の発生を抑制することができる。

なお、上記第１実施形態では、撮像素子２０に含まれる全画素における列方向について行単位で４画素につき１画素を出力画素として用いる例（図２１参照）を挙げたが、行単位及び列単位で出力画素を規定することで図２１に示す例と同一の密度を実現してもよい。この場合、例えば図２４に示すように、撮像素子２０に含まれる全画素における列方向について行単位で２画素につき１画素を出力画素とし、且つ、撮像素子２０に含まれる全画素における行方向について列単位で２画素につき１画素を出力画素とする。これにより、図２１に示す例と同一の密度が実現される。図２４に示す出力画素が採用されている状態で、視差算出部２８Ｂにより視差として２画素が算出された場合、特定の出力画素を無効化する。すなわち、撮像素子２０に含まれる全画素における行方向について列単位で規定された出力画素を無効化する。これにより、図１９に示す例と同一の密度が実現される。なお、ここで言う「無効化」とは、出力画素を撮像で使用しないようにすること（実際の出力対象とされず、画像の生成に供しないようにすること）を指す。

また、上記第１実施形態では、視差算出部２８Ｂの視差算出可能範囲の上限を６画素としたが、視差算出可能範囲の上限として６画素を超える画素数を採用してもよい。この場合も行単位及び列単位で出力画素を規定することで密度の幅を広げることができる。例えば図２５に示す例では、撮像素子２０に含まれる全画素における列方向について行単位で４画素につき１画素を出力画素とし、且つ、撮像素子２０に含まれる全画素における行方向について列単位で２画素につき１画素を出力画素としている。これにより、撮像素子２０に含まれる全画素における列方向について行単位で６画素につき１画素を出力画素とした場合の密度よりも低い密度を実現することができる。

また、上記第１実施形態では、撮像素子２０に含まれる全画素における列方向について行単位で出力画素を変更する場合の例を挙げて説明したが、これに限らず、撮像素子２０に含まれる全画素における行方向について列単位で出力画素を変更してもよい。この場合も、スプリットイメージを表示させるために、出力画素に位相差画素が列単位で含まれるように位相差画素を所定の位置に予め配置しておくことは言うまでもない。また、視差の減少に応じて密度を高くする点についても上記第１実施形態と同様である。なお、密度を行単位や列単位に関係なく所定方向について所定画素数毎に出力画素を規定してもよい。この場合も、スプリットイメージを表示させるために、出力画素に位相差画素が含まれるように位相差画素を所定の位置に予め配置しておくことは言うまでもない。

また、上記第１実施形態では、視差算出部２８Ｂにより算出された視差が５画素の場合及び６画素の場合について同一の密度（密度Ｅ）を適用したが、これに限らず、視差が５画素の場合と６画素の場合とで密度を変えてもよい。この場合、図１０Ｂに示す第２出力画素決定テーブル２９Ｂに代えて、一例として図２６に示す第２出力画素決定テーブル２９Ｃを用いればよい。図２６に示す第２出力画素決定テーブル２９Ｃは、図１０Ｂに示す第２出力画素決定テーブル２９Ｂと比較して、５画素の視差に対して密度Ｆが対応付けられている点が異なっている。密度Ｆとは、例えば撮像素子２０の全画素における列方向について行単位で５画素につき１画素を出力画素とした場合の密度を指す。但し、全ての位相差画素をＧフィルタに対応させて検出精度を揃えることを優先するのであれば、第２出力画素決定テーブル２９Ｃではなく、第２出力画素決定テーブル２９Ｂを用いることが好ましい。通常画像の解像度をできるだけ細かく段階的に調節することを優先するのであれば、第２出力画素決定テーブル２９Ｂではなく、第２出力画素決定テーブル２９Ｃを用いることが好ましい。

また、上記第１実施形態では、２×２画素のＧフィルタに対して単一の位相差画素を配置する形態例を挙げて説明したが、これに限らず、例えば２×２画素のＧフィルタに対して一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。例えば図２７に示すように、２×２画素のＧフィルタに対して行方向に隣接した一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。また、例えば図２８に示すように、２×２画素のＧフィルタに対して列方向に隣接した一対の第１画素Ｌ及び第２画素Ｒを配置してもよい。いずれの場合も上記第１実施形態で説明したように、第１画素Ｌ及び第２画素Ｒの位置を、第１の画素群と第２の画素群との間で列方向及び行方向の少なくとも一方について所定画素数内で揃えることが好ましい。なお、図２７及び図２８には、第１画素Ｌと第２画素Ｒとを、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置した例が示されている。

また、上記第１実施形態では、基本配列パターンＣを有するカラーフィルタ２１を例示したが、本発明はこれに限定されるものではない。例えば図２９〜３２に示すようにカラーフィルタの原色（Ｒフィルタ，Ｇフィルタ，Ｂフィルタ）の配列をベイヤ配列としてもよい。図２９〜図３１に示す例では、Ｇフィルタに対して位相差画素が配置されている。

一例として図２９に示すカラーフィルタ２１Ａは、３×３画素の正方行列の四隅及び中央がＧフィルタとされた配列パターンＧ１の中央に位相差画素が配置されている。また、第１の画素Ｌと第２の画素Ｒとが行方向及び列方向の各々について１画素分のＧフィルタを飛ばして（１画素分のＧフィルタを間に置いて）交互に配置されている。また、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置されている。これにより、配列パターンＧ１の中央の位相差画素に基づく画像は配列パターンＧ１の四隅の通常画素に基づく画像を利用して補間可能となるため、本構成を有しない場合に比べ、補間精度を向上させることができる。

しかも、配列パターンＧ１の各々は互いに位置が重複していない。つまり、第１の画素Ｌ及び第２の画素Ｒは、第１及び第２の画素群に含まれる各画素に隣接する第３の画素群に含まれる画素による第３の画像で補間する第１及び第２の画像に含まれる画素が画素単位で重複しない位置に配置されている。そのため、位相差画素に基づく画像が他の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。

一例として図３０に示すカラーフィルタ２１Ｂは、配列パターンＧ１の中央及び図中正面視右下角に位相差画素が配置されている。また、第１の画素Ｌと第２の画素Ｒとが行方向及び列方向の各々について２画素分のＧフィルタを飛ばして（２画素分のＧフィルタを間に置いて）交互に配置されている。これにより、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を１画素内で揃えた位置に配置され、第１の画素Ｌ及び第２の画素Ｒを隣接させることができる。よって、ピントずれ以外の要因で画像ずれが発生するのを抑制することができる。

しかも、各位相差画素には同色のフィルタ（Ｇフィルタ）が設けられた通常画素が隣接するので、補間精度を向上させることができる。その上、配列パターンＧ１の各々は互いに位置が重複していない。つまり、第１の画素Ｌ及び第２の画素Ｒは、第１及び第２の画素群に含まれる各画素に隣接する第３の画素群に含まれる画素による第３の画像で補間する第１及び第２の画像に含まれる画素が一対の画素単位で重複しない位置に配置されている。ここで言う「一対の画素」とは、例えば各配列パターンＧ１に含まれる第１の画素Ｌ及び第２の画素Ｒ（一対の位相差画素）を指す。そのため、一対の位相差画素に基づく画像が他の一対の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。

一例として図３１に示すカラーフィルタ２１Ｃは、配列パターンＧ１の中央に第１の画素Ｌが、図中正面視右下角に第２の画素Ｒが配置されている。また、第１の画素Ｌは行方向及び列方向の各々について２画素分のＧフィルタを飛ばして配置されており、第２の画素Ｒも行方向及び列方向の各々について２画素分のＧフィルタを飛ばして配置されている。これにより、第１画素Ｌと第２画素Ｒとが、第１の画素群と第２の画素群との間で列方向及び行方向の各々についての位置を２画素内で揃えた位置に配置され、第１の画素Ｌ及び第２の画素Ｒを隣接させることができる。よって、ピントずれ以外の要因で画像ずれが発生するのを抑制することができる。

しかも、図３１に示す例においても図３０に示す例と同様に配列パターンＧ１の各々は互いに位置が重複していない。そのため、位相差画素に基づく画像が他の位相差画素に基づく画像の補間で利用された通常画素に基づく画像で補間されることを回避することができる。よって、補間精度のより一層の向上が期待できる。

また、カラーフィルタの他の構成例としては、例えば図３２に示すカラーフィルタ２１Ｄが挙げられる。図３２には撮像素子２０に設けられているカラーフィルタ２１Ｄの原色（Ｒフィルタ，Ｇフィルタ，Ｂフィルタ）の配列及び遮光部材の配置の一例が模式的に示されている。図３２に示すカラーフィルタ２１Ｄでは、第１〜第４の行配列が列方向について繰り返し配置されている。第１の行配列とは、行方向に沿ってＢフィルタ及びＧフィルタが交互に配置された配列を指す。第２の行配列とは、第１の行配列を行方向に半ピッチ（半画素分）ずらした配列を指す。第３の行配列とは、行方向に沿ってＧフィルタ及びＲフィルタが交互に配置された配列を指す。第４の行配列とは、第３の行配列を行方向に半ピッチずらした配列を指す。

第１の行配列及び第２の行配列は列方向について半ピッチずれて隣接している。第２の行配列及び第３の行配列も列方向について半ピッチずれて隣接している。第３の行配列及び第４の行配列も列方向について半ピッチずれて隣接している。第４の行配列及び第１の行配列も列方向について半ピッチずれて隣接している。従って、第１〜４の行配列の各々は、列方向について２画素毎に繰り返し現れる。

第１の画素Ｌ及び第２の画素Ｒは、一例として図３２に示すように、第３及び第４の行配列に対して割り当てられている。すなわち、第１の画素Ｌは、第３の行配列に対して割り当てられており、第２の画素Ｒは、第４の行配列に対して割り当てられている。また、第１の画素Ｌ及び第２の画素Ｒは、互いに隣接して（最小ピッチ）で対になって配置されている。また、図３２に示す例では、第１の画素Ｌは、行方向及び列方向の各々について６画素毎に割り当てられており、第２の画素Ｒも、行方向及び列方向の各々について６画素毎に割り当てられている。これにより、第１の画素群と第２の画素群との位相差は、本構成を有しない場合と比較して、高精度に算出される。

また、図３２に示す例では、第１の画素Ｌ及び第２の画素ＲにはＧフィルタが割り当てられている。Ｇフィルタが設けられた画素は他色のフィルタが設けられた画素に比べ感度が良いため、補間精度を高めることができる。しかも、Ｇフィルタは、他色のフィルタに比べ、連続性があるため、Ｇフィルタが割り当てられた画素は他色のフィルタが割り当てられた画素に比べ補間がし易くなる。

また、上記第１実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。

例えば、図３３に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。

また、図３４に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。

また、図３５Ａ及び図３５Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃが市松模様（チェッカーパターン）状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃが市松模様状に並べられて表示される。

更に、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。

なお、上記第１実施形態で説明した画像生成出力処理の流れ（図１６参照）、高解像度化処理の流れ（図１７参照）、低解像度化処理の流れ（図２０参照）及び設定内容変更処理の流れ（図２３参照）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態で説明した画像生成出力処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、その他のハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。

上記第１実施形態で説明した画像生成出力処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えばメモリ２６）に予め記憶しておけばよい。なお、必ずしも最初からメモリ２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の「可搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。

［第２実施形態］
上記第１実施形態では、撮像装置１００を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機などが挙げられる。本第２実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図３６は、スマートフォン５００の外観の一例を示す斜視図である。図３６に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用することもできる。

図３７は、図３６に示すスマートフォン５００の構成の一例を示すブロック図である。図３７に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図３６に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通話部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２７に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３６に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。

外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。そして、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図９に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図３６に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。

なお、上記各実施形態では、第１〜第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。

また、上記各実施形態では、第１〜第３の画像が画像処理部２８に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部３６が、表示装置に対する通常画像の表示を抑止し、かつ、表示装置に対してスプリットイメージを表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図１５に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、ここで言う「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合が例示できる。

また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１が半押し状態にされた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１に対して押圧操作が行われていない場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。

また、上記各実施形態では、スプリットイメージの表示領域として通常表示領域と拡大表示領域とを選択的に用いる例を挙げて説明したが、これに限らず、スプリットイメージの表示領域の大きさ（面積）を視差の大きさに応じて定めてもよい。つまり、表示領域の所定の大きさを限度にして、視差が小さいほど表示領域を大きくすることで、スプリットイメージの視認性を向上させることができる。

また、上記各実施形態では、解像度が変更されることを前提として、表示対象とされる画像のフレームレートを変更する例を挙げて説明したが、解像度の変更をせずに、フレームレートを変更するようにしてもよい。この場合、画像処理部２８は、視差が閾値以下の場合、フレームレートを、視差が閾値を上回る場合のフレームレートよりも高めるようにしてもよい。また、画像処理部２８は、視差が閾値以下の場合、フレームレートを、視差の減少に応じて高めるようにしてもよい。また、画像処理部２８は、視差が閾値を上回る場合、フレームレートを、視差が閾値以下の場合のフレームレートよりも低くするようにしてもよい。また、画像処理部２８は、視差が閾値を上回る場合、フレームレートを、視差の増大に応じて低くするようにしてもよい。

２０ 撮像素子
２６ メモリ
２８Ａ 画像取得部
２８Ｂ 視差算出部
２８Ｃ 生成部
２８Ｄ 変更部
３６Ａ，３６Ｂ 表示制御部
１００ 撮像装置
２１３ 表示部
２４７ ＬＣＤ

Claims (22)

1. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、
   前記画像取得部により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、
   前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、
   前記生成部により生成される前記第１の表示用画像及び前記第２の表示用画像のうちの少なくとも前記第２の表示用画像の解像度を、前記視差算出部により算出された前記視差に応じて変更する変更部と、
   画像を表示する表示部と、
   前記表示部に対して、前記生成部により生成された前記第１の表示用画像を表示させ、かつ、前記第１の表示用画像の表示領域内に、前記生成部により生成された前記第２の表示用画像を表示させる制御を行う表示制御部と、
   を含む画像処理装置。
2. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、
   前記画像取得部により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、
   前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、
   前記生成部により生成される前記第１の表示用画像及び前記第２の表示用画像のうちの少なくとも前記第２の表示用画像の解像度を、前記視差算出部により算出された前記視差に応じて変更する変更部と、
   画像を表示する表示部と、
   前記生成部により生成された前記第１の表示用画像の前記表示部による表示を抑止し、かつ、前記表示部に対して、前記生成部により生成された前記第２の表示用画像を表示させる制御を行う表示制御部と、
   を含む画像処理装置。
3. 前記変更部は、視差の減少に従って前記解像度を高める請求項１又は請求項２に記載の画像処理装置。
4. 前記変更部は、前記撮像素子の駆動方法を変更することにより前記撮像素子の出力画素数を変更することで、前記解像度を変更する請求項１〜請求項３の何れか１項に記載の画像処理装置。
5. 前記撮像素子に含まれる画素は行列状に配置されており、
   前記撮像素子の出力画素は、前記画素の行単位で変更可能であり、
   前記変更部は、行単位で前記出力画素を変更することで、前記解像度を変更する請求項４に記載の画像処理装置。
6. 前記撮像素子の出力画素は、更に、前記画素の列単位で変更可能であり、
   前記変更部は、更に、列単位で前記出力画素を変更することで、前記解像度を変更する請求項５に記載の画像処理装置。
7. 前記撮像素子に含まれる画素は行列状に配置されており、
   前記撮像素子の出力画素は、前記画素の列単位で変更可能であり、
   前記変更部は、列単位で前記出力画素を変更することで、前記解像度を変更する請求項４に記載の画像処理装置。
8. 前記変更部は、前記撮像素子に含まれる出力画素における前記第１及び第２の画素群の出力画素の密度を変更することにより、前記出力画素数を変更する請求項４〜請求項７の何れか１項に記載の画像処理装置。
9. 前記変更部は、前記視差算出部により算出された前記視差が閾値以下の場合、前記密度を、前記視差算出部により算出された前記視差が前記閾値を上回る場合の前記密度よりも高めることにより、前記出力画素数を変更する請求項８に記載の画像処理装置。
10. 前記変更部は、前記視差算出部により算出された前記視差が閾値以下の場合、前記密度を、前記視差算出部により算出された前記視差が前記閾値を上回る場合の前記密度よりも高め、かつ、前記視差の減少に応じて高めることにより、前記出力画素数を変更する請求項９に記載の画像処理装置。
11. 前記変更部は、前記視差算出部により算出された前記視差が閾値を上回る場合、前記密度を、前記視差算出部により算出された前記視差が前記閾値以下の場合の前記密度よりも低くすることにより、前記出力画素数を変更する請求項８〜請求項１０の何れか１項に記載の画像処理装置。
12. 前記変更部は、前記視差算出部により算出された前記視差が閾値を上回る場合、前記密度を、前記視差算出部により算出された前記視差が前記閾値以下の場合の前記密度よりも低くし、かつ、前記視差の増大に応じて低くすることにより、前記出力画素数を変更する請求項１１に記載の画像処理装置。
13. 前記表示制御部は、前記変更部により前記解像度が所定値を超えて高められた場合、前記表示部による前記第２の表示用画像の表示領域を通常時よりも拡大させる制御を更に行う請求項１〜請求項１２の何れか１項に記載の画像処理装置。
14. 前記表示制御部は、前記表示領域が拡大された状態で前記変更部により前記解像度が前記所定値以下に低くされた場合、前記表示領域の大きさを通常時の大きさに戻す制御を更に行う請求項１３に記載の画像処理装置。
15. 前記変更部は、更に、前記視差算出部により算出された前記視差に応じて、前記表示部の表示対象とされる画像のフレームレートを変更する請求項１〜請求項１４に記載の画像処理装置。
16. 前記変更部は、更に、前記視差算出部により算出された前記視差に応じて前記視差算出部による算出頻度を変更する請求項１〜請求項１５の何れか１項に記載の画像処理装置。
17. 前記変更部は、更に、前記視差算出部により算出された前記視差に応じて前記撮像素子の駆動周波数を変更する請求項１〜請求項１６の何れか１項に記載の画像処理装置。
18. 前記撮像素子は、前記撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像を出力する第３の画素群を更に有し、
    前記生成部は、前記第３の画素群から出力された前記第３の画像に基づいて前記第１の表示用画像を生成する請求項１〜請求項１７の何れか１項に記載の画像処理装置。
19. 請求項１〜請求項１８の何れか１項に記載の画像処理装置と、
    前記第１及び第２の画素群を有する撮像素子と、
    前記撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、
    を含む撮像装置。
20. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得し、
    取得した前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出し、
    前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、
    前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、
    生成した前記第１の表示用画像及び前記第２の表示用画像のうちの少なくとも前記第２の表示用画像の解像度を、算出した前記視差に応じて変更し、
    画像を表示する表示部に対して、生成した前記第１の表示用画像を表示させ、かつ、前記第１の表示用画像の表示領域内に、生成した前記第２の表示用画像を表示させる制御を行う画像処理方法。
21. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得し、
    取得した前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出し、
    前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、
    前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、
    生成した前記第１の表示用画像及び前記第２の表示用画像のうちの少なくとも前記第２の表示用画像の解像度を、算出した前記視差に応じて変更し、
    生成した前記第１の表示用画像の表示部による表示を抑止し、かつ、前記表示部に対して、生成した前記第２の表示用画像を表示させる制御を行う画像処理方法。
22. コンピュータを、
    請求項１〜請求項１８の何れか１項に記載の画像処理装置における前記画像取得部、前記視差算出部、前記生成部、前記変更部及び前記表示制御部として機能させるための画像処理プログラム。