JP6381273B2 - 撮像装置、画像処理システム、ならびにそれらの制御方法 - Google Patents

Description

本発明は、撮像装置、画像処理システム、ならびにそれらの制御方法に関する。

従来、撮像画像のデフォーカス量分布を検出して、デフォーカス量に応じてパラメータを局所的に変化させた画像処理を撮像画像に施す画像処理システムが知られている。
例えば特許文献１には、デフォーカス量を算出可能な１対の画像を生成可能な撮像素子を備え、デフォーカス量に応じたボケ量を撮像画像に局所的に付加する撮像装置が開示されている。

特開２００８−１５７５４号公報

特許文献１に開示されている撮像装置は、シャッターレリーズに応答して撮影画像を記録する場合、同種の光電変換部の出力から生成した２種類（一対）の画像データを記録する。従って、１つの画素に２種類の光電変換部を備えた構成を有する撮像素子を用いた場合、画素当たり１つの光電変換部を有する通常の撮像素子を用いた場合と比較して記録するデータサイズが２倍となる。このため、通常の撮像素子を用いた場合よりも撮影可能枚数が減少する。また、撮像装置とは別の画像処理装置で画像処理を行う場合においては、装置間のデータ通信時間が長くなる。また、データサイズが２倍になることで、デフォーカス量の算出など、データ処理に要する処理負荷も増大する。

なお、同様の問題は、ステレオカメラで撮影された一対の画像データや、ピント位置を異ならせて撮影した一対の画像データを用いる場合にも生じる。近年では撮像素子の高画素化が進み、３千万画素を超えるものも存在するため、データサイズが大きくなることによるこれらの影響はますます大きくなっている。

本発明は、複数の画像から得られるデフォーカス量の分布に応じた画像処理に係る負荷を軽減し、従来技術の課題の少なくとも１つを改善することが可能な撮像装置及び画像処理システムを提供することを目的とする。

上述の目的は、射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小手段と、複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、分布データに基づいて、分布データに対応し、縮小手段による縮小がなされていない瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出手段と、複数の瞳分割画像データを出力せず、抽出手段により抽出した画素のデータと、分布データと、複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力手段と、を有することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、複数の画像から得られるデフォーカス量の分布に応じた画像処理に係る負荷を軽減し、従来技術の課題の少なくとも１つを改善することが可能な撮像装置及び画像処理システムを提供することができる。

実施形態に係る画像処理システム、デジタルカメラ、およびパーソナルコンピュータの機能構成例を示したブロック図 実施形態に係る撮像部の画素配列例を示す図 第１の実施形態に係る画像処理システムの動作を説明するフローチャート 図１の画像処理部１０７の機能構成例を示すブロック図 図１の画像処理部２０６の機能構成例を示すブロック図 図１の画像処理部１０７の別の機能構成例を示すブロック図 第２の実施形態に係る画像処理部１０７の機能構成例を示すブロック図 第２の実施形態に係る画像処理部２０６の機能構成例を示すブロック図 実施形態に係る撮像部の別の画素配列例を示す図 図１の画像処理部１０７の別の機能構成例を示すブロック図 図１の画像処理部２０６の別の機能構成例を示すブロック図

●（第１の実施形態）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は、図１（ａ）に示すような、撮像装置の一例としてのデジタルカメラ１００と、画像処理装置の一例としてのパーソナルコンピュータ２００とが通信可能に接続された画像処理システム１０に本発明を適用した例を説明する。しかし、以下においてパーソナルコンピュータ２００が行う処理をデジタルカメラ１００で実行してもよい。また、デジタルカメラ１００は撮影機能を備えた任意の電子機器であってよく、またパーソナルコンピュータ２００も以下に説明する処理が可能な任意の電子機器であってよい。なお、以下の説明において、画像に「ボケを付加する」とは、画像の鮮鋭度を低下させる、あるいはボカすことを意味する。

図１（ｂ）は、本実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。制御部１０１は、例えばＣＰＵであり、プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、制御部１０１が実行するプログラムに加え、各ブロックの制御に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックが出力するデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により結像された被写体像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング、符号化、復号など、様々な画像処理を適用する。

記録媒体１０８は例えば着脱可能なメモリカードであってよく、ＲＡＭ１０３に記憶されている、画像処理部１０７で処理された画像データや、Ａ／Ｄ変換部１０６から出力された画像データなどを所定形式の画像データファイルとして記録するために用いられる。通信部１０９は、有線または無線により、記録媒体１０８に記録されている画像データファイルなどを外部装置に送信する。

表示部１１０は、撮影で得られた画像データや、記録媒体１０８から読み出した画像データなどを表示したり、各種のメニュー画面を表示したりする。ライブビュー画像を表示して電子ビューファインダーとして機能することもある。

操作部１１１はユーザがデジタルカメラ１００に各種の指示や設定などを入力するための入力デバイス群であり、シャッターボタンやメニューボタン、方向キー、決定キーなど一般的なデジタルカメラが有するキーやボタンを備えている。また、表示部１１０がタッチディスプレイの場合、操作部１１１を兼ねる。なお、操作部１１１はマイクと音声コマンド認識部の組み合わせなどのような、物理的な操作を必要としない構成であってもよい。

図１（ｃ）は、本実施形態に係るパーソナルコンピュータ２００の機能構成例を示すブロック図である。制御部２０１は、例えばＣＰＵであり、プログラムをＲＯＭ２０２より読み出し、ＲＡＭ２０３に展開して実行することによりパーソナルコンピュータ２００が備える各ブロックの動作を制御する。ＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、制御部２０１が実行するプログラムに加え、各ブロックの制御に必要なパラメータ等を記憶する。ＲＡＭ２０３は、書き換え可能な揮発性メモリであり、パーソナルコンピュータ２００が備える各ブロックが出力されたデータの一時的な記憶領域として用いられる。

通信部２０４は、有線または無線通信により、デジタルカメラ１００などの外部装置と通信する。記録装置２０５は例えばハードディスクであり、通信部２０４がデジタルカメラ１００から受信した画像データなどを保存する。
画像処理部２０６は例えば記録装置２０５からＲＡＭ２０３に展開された画像データに対して後述するデフォーカス量に応じた画像処理などを適用する。

表示部２０７は、パーソナルコンピュータ２００で稼動するＯＳやアプリケーションが提供するＧＵＩや各種のデータの表示に用いられる。表示部２０７はパーソナルコンピュータ２００が備えていても、外部装置として接続されていてもよい。

操作部２０８はユーザがパーソナルコンピュータ２００に各種の指示や設定などを入力するための入力デバイス群であり、一般的にはキーボード、マウス、トラックパッドなどが含まれる。また、表示部２０７がタッチディスプレイの場合、操作部２０８を兼ねる。なお、操作部２０８はマイクと音声コマンド認識部の組み合わせなどのような、物理的な操作を必要としない構成であってもよい。

図２は、撮像部１０５の画素配列例を示す模式図である。本実施形態の撮像部１０５は、２次元的に配列された複数の画素を有し、画素５０２のそれぞれは、マイクロレンズ５０１と一対の光電変換部５０３、５０４とを有している。ここで、光電変換部５０３群から得られる、右測距瞳に対応する画像データをＲ（ｘ，ｙ）、光電変換部５０４群から得られる、左測距瞳に対応する画像データをＬ（ｘ，ｙ）とする（ｘ，ｙは０以上の整数）。本実施形態の撮像部１０５は、一対の撮像画像データとして、以下の式におけるＲ（ｘ，ｙ）と、基本画像データｇ（ｘ，ｙ）とを出力する。
ｇ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）＋Ｌ（ｘ，ｙ） ・・・（１）
つまり、撮像部１０５は、光電変換部５０３群で得られる画像データと、光電変換部５０３群および光電変換部５０４群で得られる画像データを加算して得られる画像データとを出力する。基本画像データｇ（ｘ，ｙ）は、射出瞳全体に対応する画像データである。

なお、撮像部１０５が出力する１組の画像データは他の組み合わせであってもよい。例えば、Ｌ（ｘ，ｙ）とｇ（ｘ，ｙ）との組み合わせであっても、Ｒ（ｘ，ｙ）とＬ（ｘ，ｙ）との組み合わせであってもよい。

以下、図３〜図５を用いて、本実施形態の画像処理システムの動作について説明する。
図４は、画像処理部１０７の機能を模式的に示した図である。図４では便宜上、画像処理部１０７が適用可能な各種の画像処理に対応した機能ブロックが存在するように記載している。しかし、図４は、デフォーカス量に応じたボケ量を適用するために行う画像処理の工程を模式的に機能ブロックで表したものであって、実際の構成とは必ずしも合致しない。例えば、画像処理部１０７がＧＰＵやＤＳＰ等のプログラマブルプロセッサである場合、各機能ブロックはソフトウェア的に実施されてよく、また機能ブロック間の入出力線は存在しなくてよい。

画像縮小部３０１はＲＡＭ１０３に記憶された右測距瞳に対応する画像データＲ（ｘ，ｙ）３０３および基本画像データｇ(ｘ，ｙ)３０２のサイズを、水平１／Ｎ、垂直１／Ｎ（Ｎ＞１）に縮小する。なお、縮小方法に特に制限は無く、例えばバイキュービック法など、一般的に知られている方法を用いることができる。本実施形態においては、縮小前の画像データが水平６４００画素×垂直４８００画素であり、Ｎが４であるとする。従って、画像縮小部３０１は、Ｒ（ｘ，ｙ）３０３およびｇ（ｘ，ｙ）３０２から、水平１６００画素×垂直１２００画素の縮小画像データＲｓ（ｘ，ｙ）３０５およびｇｓ(ｘ，ｙ)３０６を生成して出力する。

Ｄｅｆ量分布算出部３０４は、画像縮小部３０１が出力するＲｓ（ｘ，ｙ）３０５と、ｇｓ（ｘ，ｙ）３０６とから、撮影範囲における空間的なデフォーカス量分布を表す画像データＤｅｆｓ（ｘ，ｙ）３０９を出力する。デフォーカス量は光学系１０４が合焦している距離からのピントずれ量であるため、距離情報でもある。本実施形態では、縮小された画像データを用いてデフォーカス量を算出するので、Ｄｅｆ量分布算出部３０４の処理負荷は元の画像データについてデフォーカス量を算出する場合よりも大幅に軽減される。従ってデフォーカス量の算出を高速化できるほか、Ｄｅｆ量分布算出部３０４に要求される性能を抑えることができ、回路規模や電力消費を低減することができる。

Ｄｅｆ量分布算出部３０４は、まず、ｇｓ（ｘ，ｙ）３０６からＲｓ（ｘ，ｙ）３０５を減算してＬｓ（ｘ，ｙ）を算出する。
そして、Ｄｅｆ量分布算出部３０４は、左右の測距瞳に対応した縮小画像データＲｓ（ｘ，ｙ）とＬｓ（ｘ，ｙ）をそれぞれ複数の微小ブロックに分割し、対応する微小ブロックごとにデフォーカス量を算出することで、空間的なデフォーカス量の分布を求める。

Ｒｓ（ｘ，ｙ）とＬｓ（ｘ，ｙ）からデフォーカス量の検出方向（例えばｘ方向）にｍ個の画素データを抽出し、それぞれのデータ系列を（Ｅ（１）〜Ｅ（ｍ））、（Ｆ（１）〜Ｆ（ｍ））と一般化して表現する。Ｄｅｆ量分布算出部３０４は、データ系列（Ｅ（１）〜Ｅ（ｍ））に対してデータ系列（Ｆ（１）〜Ｆ（ｍ））をずらし量ｋだけ相対的にずらした際の相関量Ｃ（ｋ）を以下の式（２）によって算出する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜ ・・・（２）
式（２）において、Σ演算はｎについて行われ、ｎおよび（ｎ＋ｋ）は１〜ｍの範囲に限定される。ずらし量は整数であり、データ系列を構成する画素データの抽出ピッチを単位とした相対的シフト量である。本実施形態では水平および垂直方向に１／Ｎ縮小した画像データを用いているので、縮小前画像データのピッチに換算するにはＮ倍する必要がある。

Ｄｅｆ量分布算出部３０４は、離散的な相関量Ｃ（ｋ）が最小となったずらし量ｋをｋｊとしたとき、連続的な相関量Ｃ（ｘ）が最小値となるずらし量ｘを、以下の式から求められる。
ｘ＝（ｋｊ＋Ｄ／ＳＬＯＰ）・Ｎ ・・・（３）
Ｄ＝{Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）}／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）}・・・（５）

式（３）で求めたずらし量ｘより、Ｄｅｆ量分布算出部３０４は、被写体像面の予定結像面に対するデフォーカス量Ｄｅｆを式（６）で求めることができる。なお、式（３）で最後にＮ倍しているのは、縮小画像データにおける画素データの抽出ピッチを縮小前の画像データにおけるピッチに戻すためで、縮小画像データを用いずにデフォーカス量の検出処理を行う場合にはＮ＝１である。
Ｄｅｆ＝ＫＸ・ＰＹ・ｘ ・・・（６）

式（６）においてＰＹは画素データの抽出ピッチであり、画像縮小の有無にかかわらず縮小前の画像におけるピッチを適用する。ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。

式（２）から式（６）の計算は、入力画像の座標（ｘ，ｙ）のそれぞれについて、対応する微小ブロックを割り当ててデフォーカス量を算出するため、入力画像の画素（座標）ごとにデフォーカス量が算出される。このようなデフォーカス量の分布を表すデータは、入力画像と同じデータ構成（ここでは水平１６００データ×垂直１２００データ）となること、またデフォーカス量は距離情報でもあることから、本明細書ではデフォーカス量の分布画像データと呼ぶ。

また、Ｄｅｆ量分布算出部３０４が出力するデフォーカス量の分布画像データは、縮小画像データから生成しているため、縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）３０９とよぶ。上述の通り、デフォーカス量の算出時には画素ごとに微小ブロックを配置するため、例えば座標（ｘ，ｙ）の画素に配置する微小ブロックと座標（ｘ＋１，ｙ）の画素に配置する微小ブロックは一部が重複する。微小ブロックは、例えば微小ブロックの隅が対象画素となるように配置することができるが、これに限定されない。

ボケ付加部３０８は、縮小基本画像データｇｓ（ｘ，ｙ）３０６に、縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）３０９が表すデフォーカス量Ｄｅｆに応じたボケを付加し、縮小ボケ付加基本画像データＶｓ（ｘ，ｙ）３１１を出力する。具体的にはボケ付加部３０８は、式（７）に示すように、ｇｓ（ｘ，ｙ）３０６に対し、ボケによる縮小点像分布関数ＰＳＦ（ｘ，ｙ）をコンボリューション演算し、縮小ボケ付加基本画像データＶｓ（ｘ，ｙ）３１１を生成する。
Ｖｓ（ｘ，ｙ）＝ｇｓ（ｘ，ｙ）◇ＰＳＦ（ｘ，ｙ） ・・・（７）
式（７）において、◇は二次元のコンボリューション演算を表す。縮小ボケ付加基本画像データＶｓ（ｘ，ｙ）３１１は例えば表示部１１０に表示され、ユーザが画像処理後の画像の仕上がりを図１のデジタルカメラ１００で簡易的に確認するために用いられる。

ボケ付加部３０８が適用する縮小点像分布関数ＰＳＦ（ｘ，ｙ）は例えば次のようにすることができる。
ＰＳＦ（ｘ，ｙ）＝１／（π・ｒ＾２） ｉｆ ｘ＾２＋ｙ＾２≦ｒ＾２
ＰＳＦ（ｘ，ｙ）＝０ ｉｆ ｘ＾２＋ｙ＾２＞ｒ＾２
・・・（８）
式（８）において、ｒは点像ボケの半径、ただしｒ＝０の場合はＰＳＦ（ｘ，ｙ）＝δ（ｘ，ｙ）とする。
ｒ＝０ ｉｆ ｜Ｄｅｆ｜≦Ｄｅｆ０
ｒ＝Ｚｆ・（｜Ｄｅｆ｜−Ｄｅｆ０）／Ｎ ｉｆ Ｄｅｆ０＜｜Ｄｅｆ｜≦Ｄｅｆ１
ｒ＝Ｚｆ・（Ｄｅｆ１−Ｄｅｆ０）／Ｎ ｉｆ Ｄｅｆ１＜｜Ｄｅｆ｜
・・・（９）
Ｄｅｆ１＝Ｍ・Ｄｅｆ０ ・・・（１０）

式（９）、（１０）において、Ｚｆはボケ強度パラメータであり、例えば操作部１１１の操作により手動で入力されたり、ＲＯＭ１０２に予め記憶されたりする。Ｄｅｆ０は被写界深度を表すパラメータであり、被写界深度内の被写体像にはボケを付加しない。Ｍはボケの大きさを変化させるＤｅｆ範囲を決めるパラメータであり、１以上の任意のパラメータを指定可能だが、本実施形態においてはＭを２とする。デフォーカス量がある程度大きくなると、点像ボケの半径変化がボケ付加基本画像で視認しにくくなるため、ＤｅｆがＤｅｆ１を超える点像ボケについては半径を変化させない。式（９）におけるＮによる除算は、データ系列の画素抽出ピッチが縮小前の画像での値のＮ倍になっているためで、縮小画像を用いない場合はＮ＝１である。

画像拡大部３１３は縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）３０９を、領域抽出部３１２の抽出対象であるＲ（ｘ，ｙ）３０３と同じ画素数となるように拡大し、デフォーカス分布画像データＤｅｆｅ（ｘ，ｙ）３１０を出力する。ここでは、画像拡大部３１３は、画像縮小部３０１と逆に水平Ｎ倍、垂直Ｎ倍に拡大する。なお、拡大方法に特に制限は無く、例えばバイキュービック法など、一般的に知られている方法を用いることができる。デフォーカス量の分布画像の画素数を増やすことは、デフォーカス量の分布の密度を高めることに相当する。

領域抽出部３１２は、デフォーカス量分布、具体的にはデフォーカス量分布画像データＤｅｆｅ（ｘ，ｙ）３１０に基づいて、右測距瞳に対応する画像データＲ（ｘ，ｙ）３０３から特定領域を抽出して抽出画像データＲｐ（ｘ，ｙ）３１６を出力する。この特定領域は、デフォーカス量に応じた画像処理の適用対象となる領域である。

領域抽出部３１２はＲ（ｘ，ｙ）の画素ごとに、デフォーカス量分布画像データＤｅｆｅ（ｘ，ｙ）の対応画素が表すデフォーカス量を参照し、Ｒ（ｘ，ｙ）の対象画素を出力（抽出）するか否かを判定する。
Ｄｅｆ（ｘ，ｙ）が表すデフォーカス量をＤｅｆｍとすると、領域抽出部３１２は具体的には、
｜Ｄｅｆｍ｜≦Ｄｅｆ０ である画素は出力しない、
Ｄｅｆ０＜｜Ｄｅｆｍ｜≦Ｄｅｆ１ である画素は出力する、
Ｄｅｆ１＜｜Ｄｅｆｍ｜ である画素は出力しない、
のように判定し、抽出データＲｐ（ｘ，ｙ）を出力する。

なお、本実施形態においては、Ｄｅｆ量分布算出部３０４が生成した縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）を画像拡大部３１３で拡大しているが、画像拡大部３１３に入力するＤｅｆｓ（ｘ，ｙ）を別途生成してもよい。

本実施形態のデジタルカメラ１００は、操作部１１１を通じてシャッターボタンの全押しなどの撮影指示が入力された場合、図３に示す記録時の処理を実行する。制御部１０１は撮影準備状態において決定した露出条件に従って撮影処理を行い、撮像部１０５から一対の撮像画像データを取得する。ここでは上述のように、瞳分割画像データＲ（ｘ，ｙ）、Ｌ（ｘ、ｙ）の一方（Ｒ（ｘ，ｙ））および基本画像データｇ（ｘ，ｙ）を撮像画像データとして取得し、ＲＡＭ１０３に保存する（Ｓ６１０）。

そして、画像処理部１０７を用いて上述した処理を適用する。すなわち、画像縮小部３０１において生成した縮小画像データｇｓ（ｘ，ｙ）およびＲｓ（ｘ，ｙ）から、Ｄｅｆ量分布算出部３０４でデフォーカス量分布画像Ｄｅｆｓ（ｘ，ｙ）を生成する（Ｓ６２０）。そして、画像拡大部３１３でデフォーカス量分布画像Ｄｅｆｓ（ｘ，ｙ）を拡大して生成したＤｅｆｅ（ｘ，ｙ）に基づいて、Ｒ（ｘ，ｙ）から画像処理の適用対象の画素データを抽出し、抽出データＲｐ（ｘ，ｙ）を生成する（Ｓ６３０）。

次いで制御部１０１は、画像データを通信部１０９を通じてパーソナルコンピュータ２００に送信する（Ｓ６４０）。本実施形態では、Ｓ６５０以降の処理はパーソナルコンピュータ２００が実行するため、後で説明する。なお、以下の画像データを記録媒体１０８に記録したのちに通信部１０９を通じてパーソナルコンピュータ２００に送信してもよいし、記録媒体１０８をデジタルカメラ１００から取り外してパーソナルコンピュータ２００で画像データを読み取ってもよい。
・基本画像データｇ（ｘ，ｙ）（６４００×４８００画素）、
・縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）（１６００×１２００画素）、
・抽出データＲｐ（ｘ，ｙ）

なお、Ｒｐ（ｘ，ｙ）の量はデフォーカス量分布に依存するが、被写界深度内の領域およびデフォーカス量が比較的大きい領域の画素は含まれない。そのため、通常は６４００×４５００（＝６４００×４８００−１６００×１２００）画素よりも大幅に少なくなる。

また、図４においては、基本画像データｇ（ｘ，ｙ）が画像処理部１０７から出力されるように記載しているが、記録時または送信時に制御部１０１がＲＡＭ１０３から読み出してもよい。上述した３つの画像データは、１つのデータファイルにまとめて記録もしくは送信されてもよいし、別個のファイルとして記録もしくは送信されてもよい。ただし、後者の場合は、例えば同じファイル名としたり、同じフォルダに含めるなど、関連するデータファイルであることが把握できるようにする必要がある。記録や送信に係るファイル構造や送信プロトコルに応じた送信制御などは本発明と直接関連せず、また公知の方法を用いることができるため、詳細については説明を省略する。

従って、
・右測距瞳に対応する画像データＲ（ｘ，ｙ）（６４００×４８００画素）と
・左測距瞳に対応する画像データＬ（ｘ，ｙ）（６４００×４８００画素）と、
を送信する場合に対し、ほとんどの場合で、記録もしくは送信データ量を削減することができる。そのため、デジタルカメラ１００の撮影可能枚数を増やすことができるほか、外部装置との通信時間が短縮できるため、使い勝手がよくなるほか、デジタルカメラ１００の消費電力を低減できる。

図５は、本実施形態のパーソナルコンピュータ２００が有する画像処理部２０６の機能構成例を模式的に示すブロック図である。以下、図３をさらに参照しながら、画像処理部２０６の動作について説明する。なお、画像処理部２０６の動作は、制御部２０１の制御に従って実現される。

画像拡大部４０２はデジタルカメラ１００の画像処理部１０７が有する画像拡大部３１３と同様に、縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）４０３を拡大し、デフォーカス量分布画像データＤｅｆｅ（ｘ，ｙ）を生成する（Ｓ６５０）。具体的には画像拡大部４０２は縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）４０３を、基本画像データｇ（ｘ，ｙ）４０５と解像度（画素数）が合うように水平Ｎ倍、垂直Ｎ倍に拡大してＤｅｆｅ（ｘ，ｙ）を生成する。画像拡大部４０２は拡大によって得られたデフォーカス量分布画像データＤｅｆｅ（ｘ，ｙ）をＤｅｆ量分布算出部４０１およびボケ付加部４０７に出力する。

Ｄｅｆ量分布算出部４０１は、デフォーカス量分布画像データＤｅｆｅ（ｘ，ｙ）の画素ごとに、その画素が表すデフォーカス量を再計算（更新）するか否かを判定する。
具体的には、デフォーカス量分布画像データを構成する画素データが表すデフォーカス量をＤｅｆｍとすると、Ｄｅｆ量分布算出部４０１は、
｜Ｄｅｆｍ｜≦Ｄｅｆ０ であれば、更新しない（Ｄｅｆｍを出力）、
Ｄｅｆ０＜｜Ｄｅｆｍ｜≦Ｄｅｆ１ であれば、更新する、
Ｄｅｆ１＜｜Ｄｅｆｍ｜ であれば、更新しない（Ｄｅｆｍを出力）、
のように判定する。なお、ここで用いているＤｅｆ０，Ｄｅｆ１は、式（９）および（１０）で用いたものと同じである。

このように、被写界深度内（｜Ｄｅｆｍ｜≦Ｄｅｆ０）である画素と、ＤｅｆがＤｅｆ１を超えている画素についてはデフォーカス量を再計算せず、デジタルカメラ１００で算出されたデフォーカス量をそのまま用いる。再計算の対象となるデフォーカス量の範囲（Ｄｅｆ０＜｜Ｄｅｆｍ｜≦Ｄｅｆ１）は、ボケ付加部４０７におけるボケを付加する（点像ボケ半径を変化させる）処理の適用対象となる範囲であり、また領域抽出部３１２で抽出対象となる範囲である。

このように、ボケ付加部４０７で点像ボケ半径を変化させるデフォーカス量を有する画素についてのみデフォーカス量を再計算するので、デフォーカス量の分布を高速に算出することができる。また、デジタルカメラ１００から受け取るデフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）は縮小画像から生成したものであるため、それを画像拡大部４０２で拡大したＤｅｆｅ（ｘ，ｙ）についてもデフォーカス量分解能（シフト量の分解能）が粗い。従って、デフォーカス量に基づいてボケ量を調整する対象については縮小されていない画像データに基づいてデフォーカス量を再計算して、高分解能のデフォーカス量を得る。

以下、デフォーカス量の再計算（更新）処理について説明する。
Ｄｅｆ量分布算出部４０１は、デジタルカメラ１００から受け取った基本画像データｇ（ｘ，ｙ）と抽出データＲｐ（ｘ，ｙ）とから、Ｒｐ（ｘ，ｙ）に対応する左測距瞳画像データＬｐ（ｘ，ｙ）を求める。Ｄｅｆ量分布算出部４０１は具体的には、ｇ（ｘ，ｙ）からＲｐ（ｘ，ｙ）を減算して、Ｌｐ（ｘ，ｙ）を取得する。上述したように、Ｒｐ（ｘ，ｙ）は、Ｒ（ｘ，ｙ）のうち、Ｄｅｆ０＜｜Ｄｅｆｍ｜≦Ｄｅｆ１に該当するデフォーカス量を有する画素データを抽出したものである。

Ｄｅｆ量分布算出部４０１は、一対の画像データＲｐ（ｘ，ｙ）とＬｐ（ｘ，ｙ）に対して、Ｄｅｆ量分布算出部３０４がＲｓ（ｘ，ｙ）とＬｓ（ｘ，ｙ）に対して行ったものと同様の処理を行い、微小ブロックごとに相関量Ｃ（ｋ）を演算する。
この時、Ｄｅｆ量分布算出部４０１は、画像拡大部４０２から供給されるデフォーカス量分布画像データＤｅｆｅ（ｘ，ｙ）が表すデフォーカス量Ｄｅｆｍを参照し、画素ごとにずらし量ｋの最大値ｋｍａｘを調整する。ｋｍａｘは式（６）から、以下のようになる。
ｋｍａｘ＝Ｄｅｆｍ／（ＫＸ・ＰＹ） ・・・（１１）
ＰＹは相関量算出用データ系列を構成する画素データの抽出ピッチ、ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。

また式（１１）に対して、画像拡大部４０２から供給されるＤｅｆ（ｘ，ｙ）のＤｅｆｍの分解能が粗いことを考慮して、マージンとして固定値ｋ０を加算するようにしてもよい。この場合、ｋｍａｘは以下のようになる。
ｋｍａｘ＝Ｄｅｆｍ／（ＫＸ・ＰＹ）＋ｋ０ ・・・（１２）

いずれの場合も、デフォーカス量が小さい画素ほどｋｍａｘが小さくなるよう、画素ごとにずらし量ｋの範囲を調整しているので、デフォーカス量が小さい画素では相関量Ｃ（ｋ）の演算時間を短縮できる。

そして、Ｄｅｆ量分布算出部４０１は、離散的なずらし量ｋについて求めた相関量Ｃ（ｋ）から、式（３）〜（５）によって、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘを求める。さらにＤｅｆ量分布算出部４０１は、シフト量ｘより、被写体像面の予定結像面に対するデフォーカス量Ｄｅｆを式（６）に従って求める。

このようにして、Ｄｅｆ量分布算出部４０１は、抽出データＲｐ（ｘ，ｙ）に対応する画素（ボケ付加部４０７でボケを付加する画素）に関するデフォーカス量を再計算し、更新デフォーカス量分布画像データＤｅｆ’（ｘ，ｙ）４０６を生成する（Ｓ６６０）。

ボケ付加部４０７は、デジタルカメラ１００の画像処理部１０７が有するボケ付加部３０８と同様の構成を有する。ボケ付加部４０７はデジタルカメラ１００から受け取った基本画像データｇ（ｘ，ｙ）の各画素について、対応する更新デフォーカス量分布画像データＤｅｆ’（ｘ，ｙ）４０６が表すデフォーカス量Ｄｅｆを参照する。そして、式（１３）出示すように、Ｄｅｆに応じた縮小点像分布関数ＰＳＦ（ｘ，ｙ）をｇ（ｘ，ｙ）の画素値にコンボリューション演算して、ボケ付加基本画像データＶ（ｘ，ｙ）を生成する（Ｓ６７０）。
Ｖ（ｘ，ｙ）＝ｇ（ｘ，ｙ）◇ＰＳＦ（ｘ，ｙ） ・・・（１３）
式（１３）において、◇は二次元のコンボリューション演算を表す。

ボケ付加基本画像データＶ（ｘ，ｙ）は図１（ｃ）の記録装置２０５に記録され、ユーザが最終処理画像として観賞用にプリントしたり、ＳＮＳにアップロードしてほかのユーザと共有したりするために用いられる。
縮小点像分布関数ＰＳＦ（ｘ，ｙ）は式（８）〜（１０）に記載したものを用いることができる。

図４のボケ付加部３０８も図５のボケ付加部４０７と同様の処理を実施するが、ボケ付加部３０８が生成するのは縮小ボケ付加基本画像データＶｓ（ｘ，ｙ）であるため、ボケ付加部３０８に要求される処理性能はボケ付加部４０７より低い。従って、ボケ付加部３０８はボケ付加部４０７よりも回路規模や消費電力の小さい構成とすることができる。

このように、本実施形態によれば、画素ごとに複数の光電変換部を有する撮像素子を用いて得られる一対の撮像画像データからデフォーカス量を算出する際、画素数を削減した（縮小した）画像データを用いることで、デフォーカス量の算出を高速化できる。また、デフォーカス量に応じた画像処理を適用する場合も、表示用の画像については縮小した画像データを用いることで、やはり処理を高速化できる。

また、記録する画像データについても、画素当たり１つのデータを有する基本画像データと、縮小画像データから得られたデフォーカス量を表すデフォーカス画像データと、デフォーカス量に応じた画像処理を適用すべき領域を示すデータとの組み合わせとした。そのため、光電変換部ごとの（画素当たり複数の）データを記録する場合よりも記録データ量のサイズを低減できる。従って、記録用のデータを記録媒体に記録したり外部に送信する場合に要する時間を短縮できるほか、撮像装置の撮影可能枚数を増やすことができる。

また、記録用の画像データに対しては撮像装置とは別個の画像処理装置で行うことにより、撮像装置の処理負荷を軽減することができる。また、デフォーカス量の分布データやデフォーカス量に応じた画像処理を適用すべき領域を示すデータを画像処理装置に与えることで、画像処理装置におけるデフォーカス量の再計算に要する処理負荷を軽減できる。

なお、本実施形態においては、デジタルカメラ１００が記録したり外部装置に送信したりするデータを、基本画像データ、縮小デフォーカス量分布画像データ、抽出データ、とした。しかし、基本画像データ、縮小画像データに基づくデフォーカス量分布データ、デフォーカス量に応じた画像処理を適用すべき領域を示すデータの組み合わせであれば他のデータであってもよい。

図６は、画像処理部１０７の別の構成例を示すブロック図である。ここでは、Ｄｅｆ量分布算出部３０４が、ｇ（ｘ，ｙ）３０２およびＲ（ｘ，ｙ）３０５からデフォーカス量分布画像データＤｅｆ（ｘ，ｙ）３１７を生成する。そして、このＤｅｆ（ｘ，ｙ）から領域抽出部３１２が抽出したデフォーカス量分布画像データＤｅｆｐ（ｘ，ｙ）データを、デフォーカス量に応じた画像処理を適用すべき領域を示すデータとして出力する。この場合、縮小画像データを用いないためデフォーカス量の演算負荷は軽減できないが、画像拡大部３１３が不要となる。また、画像縮小部３０１は、Ｄｅｆ量分布算出部３０４が生成するＤｅｆ（ｘ，ｙ）を縮小し、Ｄｅｆｓ（ｘ，ｙ）３０９を生成する。デフォーカス量の分布画像の画素数を減らすことは、デフォーカス量の分布の密度を低くすることに相当する。

この場合、画像処理部２０６のＤｅｆ量分布算出部４０１では、Ｒｐ（ｘ，ｙ）とｇ（ｘ，ｙ）の代わりにＤｅｆｐ（ｘ，ｙ）が入力される。Ｄｅｆ量分布算出部４０１は、Ｄｅｆｐ（ｘ，ｙ）に含まれる画素データ（デフォーカス量）で、画像拡大部４０２からのＤｅｆｅ（ｘ，ｙ）に対応する画素データを置換して、更新デフォーカス分布画像データＤｅｆ’（ｘ，ｙ）を生成する。この場合、Ｄｅｆｐ（ｘ，ｙ）の分解能は元画像における分解能に等しいため、再計算の必要が無い。
なお、本実施形態においては、図２に示すようにマイクロレンズ１つに対して一対の光電変換部が水平方向に配置された画素配列の撮像部１０５を用いた場合について説明した。しかし、本発明は他の方向に配置された一対の光電変換部を有する撮像部や、マイクロレンズ１つに対して３つ以上の光電変換部が配置された撮像部を用いる場合にも適用可能である。

図９は、撮像部１０５の別の画素配列例を示す図である。画素９０２のそれぞれは、マイクロレンズ９０１と、水平および垂直方向に配置（分割）された光電変換部９０３、９０４、９０５、９０６とを有している。ここで、光電変換部９０３群から得られる、右上測距瞳に対応する画像データをＲＴ（ｘ，ｙ）、光電変換部９０４群から得られる、左上測距瞳に対応する画像データをＬＴ（ｘ，ｙ）とする（ｘ，ｙは０以上の整数）。また、光電変換部９０５群から得られる、右下測距瞳に対応する画像データをＲＢ（ｘ，ｙ）、光電変換部９０６群から得られる、左下測距瞳に対応する画像データをＬＢ（ｘ，ｙ）とする（ｘ，ｙは０以上の整数）。撮像部１０５は、撮像画像データ組として、以下の式におけるＲ（ｘ，ｙ）と、Ｔ（ｘ，ｙ）と、基本画像データｇ（ｘ，ｙ）とを出力する。
Ｌ（ｘ，ｙ）＝ＬＴ（ｘ，ｙ）＋ＬＢ（ｘ，ｙ）
Ｒ（ｘ，ｙ）＝ＲＴ（ｘ，ｙ）＋ＲＢ（ｘ，ｙ）
Ｔ（ｘ，ｙ）＝ＬＴ（ｘ，ｙ）＋ＲＴ（ｘ，ｙ）
Ｂ（ｘ，ｙ）＝ＬＢ（ｘ，ｙ）＋ＲＢ（ｘ，ｙ）
ｇ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）＋Ｒ（ｘ，ｙ）
＝Ｔ（ｘ，ｙ）＋Ｂ（ｘ，ｙ）
Ｌ（ｘ，ｙ）、Ｒ（ｘ，ｙ）は、一対の光電変換部が水平に配置された場合に得られる画像データと同等の画像である。またＴ（ｘ，ｙ）、Ｂ（ｘ，ｙ）は、一対の光電変換部が垂直に配置された場合に得られる画像データと同等の画像である。また、上述のＲｐ（ｘ，ｙ）は一対の光電変換部が水平に配置された場合に得られる抽出データだが、一対の光電変換部が垂直に配置された場合に同様にして得られる抽出データをＴｐ（ｘ，ｙ）とする。

この場合、デジタルカメラ１００が記録したり外部装置に送信したりする抽出データは、図１０に示すように、Ｒｐ（ｘ，ｙ）とＴｐ（ｘ，ｙ）となる。また、縮小ボケ付加基本画像データＶｓ（ｘ，ｙ）は、
・ｇ（ｘ，ｙ）とＲｓ（ｘ，ｙ）から求めた縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）に基づくＶｓｒ（ｘ，ｙ）と、
・ｇ（ｘ，ｙ）とＴｓ（ｘ，ｙ）から求めた縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）に基づくＶｓｔ（ｘ，ｙ）とを合成して求める。縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）についても同様である。複数の画像データを合成する方法は例えば加算平均であってよい。

なお、図１０では、二対の画像データを処理するため、画像処理部１０７と同様の構成を有する画像処理部１０７’を追加した構成を示しているが、これは説明および理解を容易にするための便宜上のものであって、画像処理部１０７’の追加は必須ではない。

また、同様に、ボケ付加基本データの生成に関しても、図１１に示すように、画像処理部２０６と同様の構成の画像処理部２０６’を追加する。そして、Ｒｐ（ｘ，ｙ）から得られるボケ付加基本画像データＶｒ（ｘ，ｙ）とＴｐ（ｘ，ｙ）から得られるボケ付加基本画像データＶｔ（ｘ，ｙ）とを合成してボケ付加基本画像データＶ（ｘ，ｙ）を生成する。合成は例えば加算平均であってよい。

水平方向の測距情報Ｒｐ（ｘ，ｙ）だけの場合、横縞被写体が適切に処理できない。これに対し、図１１のように水平方向の測距情報Ｒｐ（ｘ，ｙ）と垂直方向の測距情報Ｔｐ（ｘ，ｙ）の両方を利用すれば、縦縞被写体と横縞被写体の両方を適切に処理したボケ付加基本画像データＶ（ｘ，ｙ）を出力することが可能である。

●（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理システムについて説明する。なお、本実施形態における画像処理システムは、第１の実施形態で説明したデジタルカメラ１００と、パーソナルコンピュータ２００とで構成可能であるため、重複する説明は省略する。

図７は、本実施形態におけるデジタルカメラ１００が有する画像処理部１０７’の機能構成例を示すブロック図である。図７において、図４と同様の構成については同じ参照数字を付してある。本実施形態の画像処理部１０７’は、第１の実施形態における画像拡大部３１３と領域抽出部３１２を有していない。

そして、本実施形態におけるデジタルカメラ１００は、記録用データとして以下のデータを生成する。
・基本画像データｇ（ｘ，ｙ）（６４００×４８００画素）、
・右測距瞳に対応する画像データＲ（ｘ，ｙ）（６４００×４８００画素）、
・縮小デフォーカス量分布画像データＤｅｆｓ（ｘ，ｙ）（１６００×１２００画素）

従って、本実施形態では、記録媒体１０８に記録したり、通信部１０９からパーソナルコンピュータ２００に送信するデータ量は、Ｒ（（ｘ，ｙ）およびＬ（ｘ，ｙ）を送信する場合より多くなる。
しかし、デフォーカス量の算出は縮小画像データに基づいて行っているため、Ｄｅｆ量分布算出部３０４の処理負荷は大幅に軽減することができる。また、画像拡大部３１３と領域抽出部３１２による処理を省略できる。

図８は、本実施形態におけるパーソナルコンピュータ２００が有する画像処理部２０６’の機能構成例を示すブロック図である。図８において、図５と同様の構成については同じ参照数字を付してある。本実施形態の画像処理部２０６’は、Ｄｅｆ量分布算出部４０１’とボケ付加部４０７’の動作の一部が第１の実施形態と異なる。

本実施形態におけるＤｅｆ量分布算出部４０１’は、画像拡大部４０２から得られるデフォーカス分布画像データＤｅｆｅ（ｘ，ｙ）が表すデフォーカス量が、ボケ付加部４０７’でボケ量を制御するデフォーカス量の範囲に含まれるかどうかを判定する。この判定は第１の実施形態における再計算（更新）要否の判定と同じである。そして、デフォーカス量の再計算（更新）が必要と判定された場合、Ｄｅｆ量分布算出部４０１’は、デフォーカス量を再計算する。

本実施形態においては、Ｒｐ（ｘ，ｙ）の代わりにＲ（ｘ，ｙ）が入力されているが、基本的な算出方法は第１の実施形態と同じである。Ｄｅｆ量分布算出部４０１’は、基本画像データｇ（ｘ，ｙ）から右測距瞳に対応する画像データＲ（ｘ，ｙ）を減算して得られる、左測距瞳に対応する画像データＬ（ｘ，ｙ）を、第１の実施形態におけるＬｐ（ｘ，ｙ）の代わりに用いる。

本実施形態においても、ボケ付加部４０７’でボケ量の制御を行う画素についてのみデフォーカス量を再計算するので、デフォーカス量の算出処理負荷を大幅に軽減できる。また、再計算したデフォーカス量の分解能は画像拡大部４０２から得られるデフォーカス量よりも高いため、精度の良いボケ付加処理が実現できる。

また第１の実施形態と同様に、画素ごとにずらし量ｋの最大値ｋｍａｘを調整することで、デフォーカス量が小さい画素では相関量Ｃ（ｋ）の演算時間を短縮することができるので、高速に処理することができる。

本実施形態においてＤｅｆ量分布算出部４０１’は右測距瞳に対応する画像データＲ（ｘ，ｙ）の一部であるＲｐ（ｘ，ｙ）の代わりに、Ｒ（ｘ，ｙ）全体を受け取る。そして、Ｄｅｆ量分布算出部４０１’は、基本画像データｇ（ｘ，ｙ）からＲ（ｘ，ｙ）を減算することで、左測距瞳に対応する画像データＬ（ｘ，ｙ）７０１の全体を復元する。Ｌ（ｘ，ｙ）７０３は、デフォーカス量の再計算に用いるほか、ボケ付加部４０７’に出力される。

ボケ付加部４０７’は、第１の実施形態で基本画像データｇ（ｘ，ｙ）に実施した方法で、Ｒ（ｘ，ｙ）およびＬ（ｘ，ｙ）のそれぞれに対してボケ付加処理を実施し、ボケ付加後の画像データＶＲ（ｘ，ｙ）７０２およびＶＬ（ｘ，ｙ）７０３を出力する。合成手段としての加算器７０６は、ＶＲ（ｘ，ｙ）７０２およびＶＬ（ｘ，ｙ）７０３を加算して、ボケ付加基本画像データＶ（ｘ，ｙ）４１０を生成ならびに出力する。

第１の実施形態は、基本画像データｇ（ｘ，ｙ）が生成された後にボケ付加処理を行ってボケ付加基本画像データＶ（ｘ，ｙ）を生成するものであった。これに対し本実施形態はでは、右測距瞳に対応する画像データＲ（ｘ，ｙ）と左測距瞳に対応する画像データＬ（ｘ，ｙ）に別個にボケ付加処理した後に加算して、ボケ付加基本画像データＶ（ｘ，ｙ）を生成している。

瞳分割画像データ（右測距瞳と左測距瞳に対応する画像データ）におけるボケは、個々の光学伝達関数に依存する。そのため、基本画像データに対してボケ付加処理を適用するより、瞳分割画像データ（Ｒ（ｘ，ｙ）およびＬ（ｘ，ｙ））の段階でボケ付加処理を適用した後、基本画像データを生成する方がより精度の高いボケ付加を実現することができる。この効果は、ボケ付加処理に限らず、瞳分割画像を結像する光学伝達関数に依存する画像処理を適用する場合に当てはまる。

なお、本実施形態において、デジタルカメラ１００が記録用に生成するデータは、他の組み合わせであってもよい。例えば、右測距瞳に対応する画像データＲ（ｘ，ｙ）の代わりに左測距瞳に対応する画像データＬ（ｘ，ｙ）を用いてもよい。また、右測距瞳に対応する画像データＲ（ｘ，ｙ）、左測距瞳に対応する画像データＬ（ｘ，ｙ）、縮小デフォーカス量分布画像データ、の組み合わせとしてもよい。この場合、ｇ（ｘ，ｙ）が必要な処理ではＬ（ｘ，ｙ）およびＲ（ｘ，ｙ）を加算してｇ（ｘ，ｙ）を生成するように構成すればよい。

本実施形態によれば、記録や通信に係るデータ量は従来の方法より若干増加するが、デフォーカス量の算出処理の負荷を大幅に低減することができ、全体的としてみれば処理の高速化が実現できる。また、ボケ処理を行った瞳分割画像データからボケ処理後の基本画像データを生成するので、第１の実施形態の方法よりもボケ付加の処理の精度を向上させることができる。

なお、本実施形態も、図１０および図１１のような構成とすることにより、水平方向とは異なる方向に配置された一対の光電変換部を有する撮像部や、マイクロレンズ１つに対して３つ以上の光電変換部が配置された撮像部を用いる場合に適用可能である。

以上、本発明をその例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に記載された範囲内で種々の変形及び変更が可能である。

●（その他の実施形態）
上述の実施形態においては、基本画像データ（縮小されていない画像データ）に対してデフォーカス量に応じて行う画像処理を、撮像装置とは別個の画像処理装置で行うものとして説明した。しかし、画像処理装置を撮像装置に内蔵させたり、画像処理装置の機能を撮像装置の制御部１０１が実現したりすることで、画像処理を撮像装置で行うようにしてもよい。この場合でも、記録に係るデータ量を削減できるという効果は実現できる。例えば、通信部１０９が画像処理装置と正常に通信できない場合（例えば無線通信品質が悪い場合）に、デジタルカメラ１００において画像処理を実行するように構成してもよい。外部の画像処理装置で行う場合よりも処理時間は長くなるであろうが、通信できない環境でも最終処理画像を作成することができる。

また上述の実施形態においては、画素が複数の光電変換部を有する撮像素子を用いて得られる、射出瞳上の異なる領域を通過した光束をそれぞれ受光した一対の撮像画像データをデフォーカス量の算出に用いる構成を説明した。しかし、デフォーカス量の算出に用いることのできる一対の撮像画像データは、他の方法で取得しても良い。例えば、ステレオカメラで得られる一対の撮像画像データや、ピント位置を異ならせて撮影して得られる一対の撮像画像データであってよい。この場合、一対の画像データの一方をＲ（ｘ，ｙ）、他方をＬ（ｘ，ｙ）として上述の処理を行えばよい。つまり、撮像素子に瞳分割機能を持たないデジタルカメラにも本実施形態の構成は適用可能である。

また上述の実施形態においては、デフォーカス量に応じて適用する画像処理としてボケ付加処理を行う場合について説明したので、点像分布関数もボケ付加を目的としたローパスフィルタを実現するものであった。しかし、他の画像処理を行うことも可能である。例えばバンドパスフィルタを適用して鮮明化を行う画像処理において、デフォーカス量に応じたパラメータでバンドパスフィルタの特性を変化させるようにしてもよい。このようにすることで、光量不足のために絞り開口を大きくして撮影せざるを得ない場合にも、撮影した画像データから被写界深度の深い画像データを得ることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…デジタルカメラ、１０１…制御部、１０４…光学系、１０５…撮像部、１０６…変換部、１０７…画像処理部、１０８…記録媒体、１０９…通信部、１１０…表示部、１１１…操作部、２００…パーソナルコンピュータ、２０１…制御部、２０４…通信部、２０５…記録装置、２０６…画像処理部、２０７…表示部、２０８…操作部

Claims (33)

1. 射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小手段と、
   前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
   前記分布データに基づいて、該分布データに対応し、前記縮小手段による縮小がなされていない瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出手段と、
   前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素のデータと、前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力手段と、
   を有することを特徴とする撮像装置。
2. 前記予め定められた条件は、対応する前記分布データが表すデフォーカス量が予め定められた範囲であることを特徴とする請求項１に記載の撮像装置。
3. 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子と、
   前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小手段と、
   前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
   前記分布データに基づいて、該分布データに対応し、前記撮像素子から出力された瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出手段と、
   前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素のデータと、前記分布データと、前記複数の光電変換部から出力された信号が混合された撮像画像データとを外部に出力する出力手段と、
   を有することを特徴とする撮像装置。
4. 前記抽出手段は、前記生成手段が生成した分布データを拡大した分布データに基づいて前記画素のデータを抽出することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 複数の前記分布データが生成された場合、前記出力手段は複数の前記分布データを合成した分布データを出力することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記撮像画像データが、前記複数の瞳分割画像データから生成されることを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
7. 前記分布データに基づいて、前記撮像画像データの縮小画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理手段をさらに有することを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
8. 前記画像処理手段は、複数の前記分布データが生成された場合、前記分布データごとに前記予め定められた画像処理を適用した縮小画像データを生成したのち、合成することを特徴とする請求項７に記載の撮像装置。
9. 請求項１から請求項８のいずれか１項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素のデータと、前記分布データと、前記撮像画像データとを取得する取得手段と、
   前記抽出した画素のデータに基づいて、前記分布データを、前記撮像画像データにおけるデフォーカス量の分布を表す分布画像データに変換する変換手段と、
   前記変換された前記分布データに基づいて、前記撮像画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理手段と、
   を有することを特徴とする画像処理装置。
10. 前記分布データが、縮小画像データの画素ごとのデフォーカス量を表し、
    前記変換手段は、前記撮像画像データの画素ごとのデフォーカス量を表すように前記分布データを拡大したのち、前記抽出した画素のデータに対応する画素のデフォーカス量を再計算することにより、前記分布データを前記撮像画像データにおけるデフォーカス量の分布を表す分布データに変換することを特徴とする請求項９に記載の画像処理装置。
11. 前記撮像装置の外部装置であることを特徴とする請求項９または請求項１０に記載の画像処理装置。
12. 請求項１から請求項８のいずれか１項に記載の撮像装置と、請求項１１に記載の画像処理装置とが通信可能に接続されてなる画像処理システム。
13. 前記撮像装置に内蔵されていることを特徴とする請求項９または請求項１０に記載の画像処理装置。
14. 射出瞳の異なる領域に対応する複数の瞳分割画像データのうち、一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
    前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小手段と、
    前記生成手段が生成した前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出手段と、
    前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素データと、前記縮小手段が生成した前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力手段と、
    を有することを特徴とする撮像装置。
15. 前記予め定められた条件は、対応する前記分布データが表すデフォーカス量が予め定められた範囲であることを特徴とする請求項１４に記載の撮像装置。
16. 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子と、
    前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成手段と、
    前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小手段と、
    前記生成手段が生成した前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出手段と、
    前記複数の瞳分割画像データを出力せず、前記抽出手段により抽出した画素データと、前記縮小手段が生成した前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力手段と、
    を有することを特徴とする撮像装置。
17. 複数の前記分布データが生成された場合、前記縮小手段は複数の前記分布データのそれぞれを縮小し、前記出力手段は前記縮小手段が縮小した複数の前記分布データを合成した分布データを出力することを特徴とする請求項１４から請求項１６のいずれか１項に記載の撮像装置。
18. 前記撮像画像データが、前記複数の瞳分割画像データから生成されることを特徴とする請求項１４から請求項１７のいずれか１項に記載の撮像装置。
19. 前記縮小手段が生成した分布データに基づいて、前記撮像画像データの縮小画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理手段をさらに有することを特徴とする請求項１４から請求項１８のいずれか１項に記載の撮像装置。
20. 複数の前記分布データが生成された場合、前記縮小手段は複数の前記分布データのそれぞれを縮小し、前記画像処理手段は、前記縮小手段が縮小した前記分布データごとに前記予め定められた画像処理を適用した縮小画像データを生成したのち、合成することを特徴とする請求項１９記載の撮像装置。
21. 請求項１４から請求項２０のいずれか１項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素データと、前記縮小手段が生成した前記分布データと、前記撮像画像データとを取得する取得手段と、
    前記縮小手段が生成した前記分布データを、前記撮像画像データに対応する分布データに変換する拡大手段と、
    前記撮像画像データを構成する画素データのうち、前記抽出した画素データに対応する画素データに対して、予め定められた画像処理を適用する画像処理手段と、
    を有することを特徴とする画像処理装置。
22. 前記撮像装置の外部装置であることを特徴とする請求項２１に記載の画像処理装置。
23. 請求項１４から請求項２０のいずれか１項に記載の撮像装置と、請求項２２に記載の画像処理装置とが通信可能に接続されてなる画像処理システム。
24. 前記撮像装置に内蔵されていることを特徴とする請求項２１に記載の画像処理装置。
25. 縮小手段が、射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小工程と、
    生成手段が、前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
    抽出手段が、前記分布データに基づいて、該分布データに対応し、前記縮小工程で縮小されていない瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出工程と、
    出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程により抽出した画素のデータと、前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力工程と、
    を有することを特徴とする撮像装置の制御方法。
26. 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子を有する撮像装置の制御方法であって、
    縮小手段が、前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データを縮小して、複数の縮小画像データを生成する縮小工程と、
    生成手段が、前記複数の縮小画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
    抽出手段が、前記分布データに基づいて、該分布データに対応し、前記撮像素子から出力された瞳分割画像データから、予め定められた条件を満たす一部の画素のデータを抽出する抽出工程と、
    出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程で抽出した画素のデータと、前記分布データと、前記複数の光電変換部から出力された信号が混合された撮像画像データとを外部に出力する出力工程と、
    を有することを特徴とする撮像装置の制御方法。
27. 取得手段が、請求項１から請求項８のいずれか１項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素のデータと、前記分布データと、前記撮像画像データとを取得する取得工程と、
    変換手段が、前記抽出した画素のデータに基づいて、前記分布データを、前記撮像画像データにおけるデフォーカス量の分布を表す分布画像データに変換する変換工程と、
    画像処理手段が、前記変換された前記分布データに基づいて、前記撮像画像データを構成する画素データのうち、予め定められた範囲のデフォーカス量を有する画素データに対して、予め定められた画像処理を適用する画像処理工程と、
    を有することを特徴とする画像処理装置の制御方法。
28. 生成手段が、射出瞳の異なる領域に対応する複数の瞳分割画像データのうち、一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
    縮小手段が、前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小工程と、
    抽出手段が、前記生成工程で生成された前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出工程と、
    出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程で抽出した画素データと、前記縮小工程で生成された前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力工程と、
    を有することを特徴とする撮像装置の制御方法。
29. 複数のマイクロレンズと、前記複数のマイクロレンズの各々に対応する複数の光電変換部とを有する撮像素子を有する撮像装置の制御方法であって、
    生成手段が、前記撮像素子から出力される、射出瞳の異なる領域に対応する複数の瞳分割画像データのうちの一対を用いて、デフォーカス量の空間的な分布を表す分布データを生成する生成工程と、
    縮小手段が、前記分布データから、前記分布データよりも密度が低いデフォーカス量分布を表す分布データを生成する縮小工程と、
    抽出手段が、前記生成工程で生成した前記分布データを構成する画素データから、予め定められた条件を満たす一部の画素データを抽出する抽出工程と、
    出力手段が、前記複数の瞳分割画像データを出力せず、前記抽出工程で抽出した画素データと、前記縮小工程で生成した前記分布データと、前記複数の瞳分割画像データの加算データに相当する撮像画像データとを出力する出力工程と、
    を有することを特徴とする撮像装置の制御方法。
30. 取得手段が、請求項１４から請求項２０のいずれか１項に記載の撮像装置の前記出力手段が出力した、前記抽出した画素データと、前記縮小手段が生成した前記分布データと、前記撮像画像データとを取得する取得工程と、
    拡大手段が、前記縮小手段が生成した前記分布データを、前記撮像画像データに対応する分布データに変換する拡大工程と、
    画像処理手段が、前記撮像画像データを構成する画素データのうち、前記抽出した画素データに対応する画素データに対して、予め定められた画像処理を適用する画像処理工程と、
    を有することを特徴とする画像処理装置の制御方法。
31. 撮像装置が有するコンピュータを、請求項１から８、１４から２０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
32. 撮像装置が有するコンピュータを、請求項１３または請求項２４に記載の画像処理装置として機能させるためのプログラム。
33. コンピュータを、請求項９から１１、２１、２２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images