JP6478536B2 - 画像処理装置および撮像装置、ならびにそれらの制御方法、プログラム - Google Patents

Description

本発明は、画像処理装置および撮像装置、ならびにそれらの制御方法、プログラムに関し、特には、異なる被写体距離に合焦した画像を生成可能な画像データを取り扱う技術に関する。

デジタルカメラ等の撮像装置により撮像された画像のデジタルデータは、各種の画像編集ツールを用いることで、ユーザが所望する調整を行うことができる。しかしながら、従来、合焦する被写体距離を撮影後に変更することは困難であり、特に、合焦していない部分を合焦した状態にすることは困難である基本的にできない。このため、特許文献１のようにフォーカスレンズを駆動させながら合焦する被写体距離が異なる画像を複数撮影して記録し、撮影後に所望の合焦状態の画像を選択可能にすることが提案されている。

一方、近年ではデジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。

このような技術の１つに、Light Field Photographyがある。Light Field Photographyは、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法である。得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。ＬＦデータを用いることで、異なる被写体距離の合焦面における画素を生成することができるため、ＬＦデータの撮影とは異なる被写体距離に合焦した画像を生成することが可能である。このような画像を、再構成画像もしくはリフォーカス画像と呼ぶ。

特開２００５−２７７８１３号公報

しかしながら、上述したようにＬＦデータからある被写体距離に対応した合焦面に対応した画像を再構成する場合、合焦面に応じて加算する画素を特定し、各画素について加算処理を行って画像を生成する必要がある。つまり、ある被写体距離に対応する合焦面における再構成画像を生成するには、その都度、演算処理に係る時間が必要となる。

ＬＦデータから、ある被写体に合焦した再構成画像を生成する場合、ユーザは適切な被写体距離を指定する必要があるが、適切な被写体距離を１回で選択することは必ずしも容易でない。そのため、ユーザは、指定した被写体距離に対応する再構成画像を確認し、所望の結果でなければ再度別の被写体距離を指示するというトライアンドエラーを繰り返すことになる。しかし、被写体距離を変更するごとに再構成画像の生成の処理による待ち時間が発生するため、所望の合焦状態の再構成画像が得られるまでに時間を要する。

本発明は、上述の問題点に鑑みてなされたものであり、所望の再構成画像を生成するための適切な被写体距離を容易に指定可能な画像処理装置、撮像装置、およびそれらの制御方法、並びにプログラムを提供することを目的とする。

上述の目的の少なくとも１つは、ライトフィールドデータを取得する取得手段と、ライトフィールドデータから生成される画像における所定領域を設定する設定手段と、ライトフィールドデータを用いて、特定の被写体距離に合焦した代表画像のデータと、所定領域についての異なる複数の再構成が行われた複数の参照用画像のデータとを生成する生成手段と、代表画像のデータと、複数の参照用画像のデータとを、ライトフィールドデータに関連づけて記録する記録手段と、代表画像に対して指定された位置を含む領域についての複数の参照用画像を選択可能に表示する表示手段と、を有し、生成手段はさらに、複数の参照用画像のうち、選択された参照用画像に対応する被写体距離に合焦する画像を、ライトフィールドデータから生成することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、所望の再構成画像を生成するための適切な被写体距離を容易に指定可能な画像処理装置、撮像装置、およびそれらの制御方法、並びにプログラムを提供する

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の第１の実施形態に係るデジタルカメラ１００で実行される撮影処理を例示したフローチャート 本発明の実施形態に係る撮影処理において、領域について生成される参照用画像を説明するための図 本発明の実施形態に係る撮影処理において、ＬＦデータに関連付けられる参照用画像についての詳細情報を示した図 本発明の実施形態に係るデジタルカメラ１００で実行される再生処理を例示したフローチャート 本発明の実施形態に係る再生処理における表示態様を例示した図 本発明の第２の実施形態に係るデジタルカメラ１００で実行される撮影処理を例示したフローチャート

（第１の実施形態）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
被写体空間の３次元的な情報を示すデータ。本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。なお、本実施形態では、図１〜４に示すような光学系によってＬＦデータを取得しているが、撮像手段としてはこれに限らない。例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１０６とみなす構成でもよい。また、図３の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

・「再構成画像」
ＬＦデータを構成する画素を所望の組み合わせで合成するなどして新たに生成する画像であり、本実施形態では、ＬＦデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には所望の被写体距離に対応する合焦面（再構成面、リフォーカス面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素（単位画素）に対応する、ＬＦデータの複数の画素（副画素）の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。再構成画像としては他にも、マイクロレンズごとに存在する、マイクロレンズからの入射方向が同じ副画素（同じ視点の副画素）から生成される各視点の画像なども含む。この視点画像の生成の際には、他の視点（マイクロレンズからの入射方向）からの画像を視差分の移動量を踏まえて位置合わせをして加算するなどしてもよい。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は６行６列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して６×６＝３６画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_６に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_６には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に６分割した領域ａ_１乃至ａ_６を通過した光束がそれぞれ入射する。なお、領域と光電変換素子に付された数字１〜６は、射出瞳３０１の領域と、その領域を通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域ａ_ｍｎ（ｍ，ｎ＝１〜６）に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２ｐ_ｍｎ（ｍ，ｎ＝１〜６）のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ（アナログフロントエンド）１０７及びＤＦＥ（デジタルフロントエンド）１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから再構成画像を生成する処理も行う。また本実施形態では画像処理部１０９は、顔検出部１２１、顔認識部１２２、及び距離検出部１２３を有する。

顔検出部１２１は、画像処理部１０９によりＬＦデータから生成された再構成画像から、人物の顔のパターンに相当する領域を検出する。顔検出処理では、例えば眼、鼻、口の各端点、顔の輪郭点等の特徴点を再構成画像から抽出し、これらの特徴点に基づいて被写体の顔領域の大きさが取得される。なお、ＬＦデータの撮影時において、撮影範囲にはデジタルカメラ１００との距離が様々な位置に人物被写体が存在することが考えられるため、顔検出処理は様々な被写体距離について生成された再構成画像について行われてよい。あるいは、例えばマイクロレンズ２０１により分離された光束のうち、１つの分割瞳領域を通過した光束に対応した画素のみで生成した再構成画像は、絞り状態で撮影した画像と等価であるため、これを顔検出処理に利用してもよい。即ち、このような再構成画像は絞り状態と同様に被写界深度が深い画像であるため、デジタルカメラ１００との距離が様々である人物被写体の各々を同時に検出可能である。

顔認識部１２２は、顔検出部１２１により検出された顔領域について、予め特徴量が登録されている人物の顔領域であるかを認識する顔認識処理を行う。顔認識処理には、上述した特徴点の配置情報と顔領域の大きさとを用いて、予め登録されている人物の特徴量との類似度を算出し、同一人物の顔領域であるか否かが判断される。

距離検出部１２３は、ＬＦデータの撮影時に撮影範囲に存在していた各人物被写体とデジタルカメラ１００との距離を検出する。距離検出部１２３は、例えば不図示のラインセンサを利用して位相差検出方式により各人物被写体の距離を検出する。あるいは、本実施形態のようにＬＦデータを取得する場合、例えば異なる２つの分割瞳領域を通過した光束を用いて生成された２種類の画像を用いて、位相差検出方式により各人物被写体の距離を検出するものであってもよい。また、被写体距離を変更しながら再構成画像を生成して顔検出部１２１による顔検出処理が行われる場合、顔領域の各々についてコントラスト評価値が最も高くなる被写体距離を特定することで、距離検出部１２３は各人物被写体の距離を検出してもよい。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された再構成画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された再構成画像が記録される。

操作入力部１１２は、例えば電源ボタン、シャッタボタン、メニューボタン、方向キー、決定キー等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。なお、本実施形態では表示部１１０は、タッチパネルセンサを備えるタッチパネルディスプレイであり、タッチパネルセンサにより検出されたタッチ操作は、操作入力部１１２により検出され、制御部１０１に伝達される。

《撮影処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行されるＬＦデータの撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。なお、本撮影処理は、例えばデジタルカメラ１００においてＬＦデータの撮影指示がなされた際に開始されるものとして説明する。
Ｓ５０１で、制御部１０１は、撮像部１０６に受光した光束の撮影を行わせ、ＡＦＥ１０７、ＤＦＥ１０８、及び画像処理部１０９によるＬＦデータ生成に係る処理が適用されたＬＦデータを取得し、例えばＲＡＭ１０３に格納する。

Ｓ５０２で、顔検出部１２１は制御部１０１の制御の下、ＬＦデータに含まれる人物被写体の顔領域を検出する。また距離検出部１２３は制御部１０１の制御の下、各顔領域に合焦する被写体距離の情報を取得する。得られた顔領域の位置及びサイズの情報と、該顔領域に合焦する被写体距離の情報とは、例えばＲＡＭ１０３に格納される。

Ｓ５０３で、画像処理部１０９は制御部１０１の制御の下、ＬＦデータの代表画像となる再構成画像のデータを生成する。代表画像となる再構成画像は、例えば撮影時の撮像光学系１０４のフォーカスレンズの設定に対応する被写体距離に合焦する画像や、再構成画像を生成可能な被写体距離の範囲のうち、最も短い被写体距離に合焦する画像であってよい。具体的には画像処理部１０９は、各マイクロレンズ２０１を通過した光束に対応している画素を加算することで代表画像となる再構成画像の各画素の画素値を取得する。

Ｓ５０４で、制御部１０１は、ＬＦデータを再構成することなく再構成画像を参照することを可能にするための所定領域（記録時に再構成画像を生成する領域）がユーザにより設定されているか否かを判断する。以下、この所定領域を参照画像領域と呼ぶ。

本実施形態のデジタルカメラ１００は、ＬＦデータを再構成することなく、特定の被写体距離に合焦した再構成画像を参照できるよう、参照画像領域について再構成画像（参照用画像）のデータを生成し、ＬＦデータと関連付けて記録する。また、参照画像領域のうち、特定の条件を満たす参照画像領域については、他の参照画像領域よりも多い数の（異なる被写体距離に合焦した）参照用画像のデータを生成する。これにより、特定の条件を満たす参照画像領域については、ＬＦデータから再構成画像を生成する際の被写体距離を決定するための指標として有用な参照用画像を提供できる。このように、本実施形態のデジタルカメラ１００は、再構成可能な範囲で異なる複数パターンで再構成された（異なる被写体距離に合焦した）参照画像領域の画像を生成する。そして当該参照画像領域の再構成画像を、ＬＦデータを再生時改めて再構成することなく参照することが可能な形式でＬＦデータを記録する。特定の条件を満たす参照画像領域は、例えばユーザが設定した参照画像領域である。ユーザは、表示部１１０の表面へのタッチ操作や他の任意の領域指定操作を通じて、ユーザからＬＦデータの撮影前に予め設定されてよく、本ステップで制御部１０１は、参照画像領域の設定がなされているか否かを判断する。

なお、特定の条件を満たす参照画像領域はデジタルカメラ１００が被写体認識結果などに応じて自動的に設定してもよい。本実施形態においては
・人物の認識用の特徴量の情報（例えば個人が認識出来る程度の情報）が登録されている人物の顔領域
・主被写体と考えられる顔領域（最大の顔領域、距離が最も近い顔領域、撮影画角の中央領域に存在する顔領域など。ここでは、撮影画角の中央領域に存在する顔領域とする。）
のうち１つを、特定の条件を満たす参照画像領域とするが、これらに限定されない。

以下の説明では、「ユーザにより設定された参照画像領域」の優先度が最も高く、次いで「特徴量が登録されている人物の顔領域」、「中央領域に存在する顔領域」の順に優先度が設定される。いずれかの条件を満たす１つの参照画像領域について、他の参照画像領域より多くの参照用画像のデータが生成される。なお、特定の条件は、ここで例示したものや、後述の第２の実施形態に例示するものに限定されない。

制御部１０１は、参照画像領域がユーザー設定されていると判断した場合は処理をＳ５０５に移し、設定されていないと判断した場合は処理をＳ５０６に移す。

Ｓ５０５で、制御部１０１は、ユーザ設定された参照画像領域について再構成する複数の参照用画像を合焦させる複数の被写体距離を決定する。本実施形態では、参照画像領域内の被写体に合焦する被写体距離を含むように複数の被写体距離を決定する。参照画像領域がＳ５０２で検出した顔領域に対応する領域でない場合、制御部１０１は、本ステップで参照画像領域内の被写体とデジタルカメラ１００との距離情報を取得する。そして、参照画像領域内の被写体に合焦する被写体距離を、参照用画像を再構成する際の被写体距離の１つとして決定する。

また本実施形態のデジタルカメラ１００では、特定の条件を満たす参照画像領域については、参照画像領域内の被写体に合焦する被写体距離の他に、６種類の被写体距離を参照用画像データの生成用に決定する。６種類の被写体距離は、例えば図６に示すように、ＬＦデータから再構成画像を生成可能な被写体距離の範囲内で均等に分布するように決定することができる。図６の例では、参照画像領域内の被写体に合焦する被写体距離が６ｍであり、ＬＦデータから再構成画像を生成可能な被写体距離の範囲が１ｍ〜１１ｍの範囲の場合を示している。この場合、１ｍ、３ｍ、５ｍ、７ｍ、９ｍ、１１ｍが参照用画像の再構成時に用いる被写体距離として決定される。なお、参照画像領域内の被写体に合焦する被写体距離以外に決定する被写体距離は、この例に限定されず、他の任意の方法で設定することができる。被写体距離の設定を行うと、制御部１０１は処理をＳ５１０に移す。また、参照画像領域内の被写体に合焦する被写体距離近辺の再構成画像は、その他の被写体距離範囲に比べて狭いステップ幅で複数生成されてもよい。

Ｓ５０４において参照画像領域がユーザ設定されていないと判断した場合、制御部１０１はＳ５０６で、Ｓ５０２で検出された顔領域について顔認識部１２２に顔認識処理を実行させ、予め特徴量の登録がなされている人物の顔領域が存在するか否かを判断する。なお、顔認識処理は、顔検出処理時に併せて行っておいてもよい。制御部１０１は、予め特徴量の登録がなされている人物の顔領域（登録被写体の領域）が検出されている判断した場合は処理をＳ５０７に移し、存在しないと判断した場合は処理をＳ５０８に移す。

Ｓ５０７で、制御部１０１は、予め特徴量の登録がなされている人物の顔領域を、特定の条件を満たす参照画像領域に設定する。また制御部１０１は、Ｓ５０２で検出された顔領域のうち、特徴量の登録がなされていない人物の顔領域についても参照画像領域を設定する。なお、顔領域に参照画像領域を設定する場合、検出された顔領域そのものを参照画像領域と設定する以外にも、同一被写体に係る別領域（人体領域など）が含まれる領域としたり、ユーザが設定可能な参照画像領域と同じ大きさとしたりしてもよい。

参照画像領域を設定すると、制御部１０１は参照用画像の生成に用いる被写体距離を決定する。制御部１０１は、登録されている人物の顔領域に対して設定された参照画像領域については、Ｓ５０５と同様にして、登録されている人物に合焦する被写体距離を含む７種類の被写体距離を決定する。

また、制御部１０１は、登録されている人物の顔領域に対して設定された参照画像領域に対して決定した７つの被写体距離のうち１つを、登録されていない人物の顔領域に対して設定された参照画像領域に対する参照用画像の生成用の被写体距離として決定する。例えば制御部１０１は、７つの被写体距離のうち、最短の被写体距離（図６の例では１）を、登録されていない人物の顔領域に対して設定された全ての参照画像領域に共通する、参照用画像の被写体距離として決定する。また、この被写体距離は、代表画像を生成する被写体距離を含むように決定することができる。このように、特定の条件を満たさない参照画像領域については、特定の条件を満たす参照画像領域よりも少ない数の参照用画像が生成されるようにする。被写体距離の設定を行うと、制御部１０１は処理をＳ５１０に移す。

Ｓ５０６において、Ｓ５０２で検出された顔領域の中に、予め特徴量の登録がなされている人物の顔領域が存在しないと判断した場合、制御部１０１はＳ５０８で、主被写体と考えられる顔領域を決定する。ここでは、撮影画角もしくは代表画像の中央領域に位置する顔領域があれば、それを主被写体と見なすものとする。制御部１０１は、例えばＳ８０２で検出された顔領域の位置情報から、中央領域に位置する顔領域が存在すると判断した場合は処理をＳ５０９に移し、存在しないと判断した場合は処理をＳ５１１に移す。この判断は様々な方法で行うことができるが、例えば画像の水平ならびに垂直方向における中央座標からの所定の範囲内に存在する顔領域を、中央領域に位置する顔領域と判断することができる。該当する顔領域が複数あれば、中央座標に最も近いものや、最も大きいものなどの条件で１つを選択することができる。

Ｓ５０９で、制御部１０１は、主被写体と判定した顔領域に対しては特定の条件を満たす参照画像領域を設定する。他の顔領域について参照画像領域の設定ならびに、各参照画像領域について参照用画像の生成に用いる被写体距離を決定する。具体的な処理はＳ５０７と同様でよいため説明を省略する。被写体距離の設定を行うと、制御部１０１は処理をＳ５１０に移す。

Ｓ５１０で、画像処理部１０９は制御部１０１の制御の下、ＬＦデータを再構成し、設定された参照画像領域の各々について、決定した被写体距離に合焦する参照用画像のデータを生成する。参照用画像のデータは代表用画像のデータと同様にＪＰＥＧ形式であってよい。そして制御部１０１は、ＬＦデータ及び代表画像データに関連付けて、参照用画像データ及び参照用画像の詳細情報を記録媒体１１１に記録し、本撮影処理を完了する。なお、参照用画像データの各々には、合焦している被写体距離の情報が含まれているものとする。

参照用画像の詳細情報の例を図７に示す。図７の例では１つのＬＦデータについて設定された参照画像領域ごとに詳細情報を管理する。具体的には、AREA_IDは参照画像領域ごとに設定される識別情報、AREA_Rectは参照画像領域の代表座標（例えば左上座標）及び領域の水平方向及び垂直方向のサイズが列挙された情報である。また、AREA_Filesはその参照画像領域について生成された参照用画像データのファイル名の情報である（ここでは拡張子が含まれていないが、含まれていてもよい）。またJPEG_FileはＬＦデータの代表画像を特定する情報（ここではJPEG形式の画像ファイル名）である。AREA_Flagは、参照画像領域が、特定の条件を満たしたものか否か（複数の被写体距離に対応した参照用画像が生成された領域か、１つの被写体距離に対応した参照用画像が生成された領域か）を示す情報である。本実施形態では「ユーザにより設定された領域」、「特徴量が登録されている人物の顔領域」、「中央領域に存在する顔領域」に関する参照画像領域に「１」が入力され、それ以外の参照画像領域については「０」が入力される。

Ｓ５１１で制御部１０１は、参照画像領域の設定および参照用画像データの生成を行うことなく、ＬＦデータと代表画像のデータとを関連付けて記録し、本撮影処理を完了する。

このように本実施形態の撮影処理を実行することで、ＬＦデータから再構成画像を生成する際の焦点状態の指標となる参照用画像のデータを、ＬＦデータとともに記録することができる。

《再生処理》
次に、上述の撮影処理により記録されたＬＦデータを閲覧モードで閲覧する際の再生処理について、図８を用いて詳細を説明する。なお、本再生処理は、例えばデジタルカメラ１００が記録媒体１１１に記録されたＬＦデータあるいはＪＰＥＧデータを閲覧する閲覧モードに設定されて起動された際に開始されるものとして説明する。また以下の説明では簡単のため、ＬＦデータの閲覧指示があった場合の処理についてのみ説明する。その他の画像データの閲覧指示があった場合は、例えば従前の撮像装置において行われている再生処理と同様の処理が行われればよいため、本明細書ではその詳細を省略する。

Ｓ８０１で、制御部１０１は、ＬＦデータの閲覧指示がなされたか否かを判断する。制御部１０１は、ＬＦデータの閲覧指示がなされたと判断した場合は処理をＳ８０２に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ８０２で、制御部１０１は、ＬＦデータに関連付けられた代表画像を読み出し、表示部１１０に表示させる。具体的には制御部１０１は、代表画像の表示に係る復号処理や映像信号への変換処理を画像処理部１０９に適用させた後、得られた映像信号を表示部１１０に出力することで代表画像の表示を行う。なお、この際、複数の参照用画像が生成されている領域を示す表示を行ってもよい。

Ｓ８０３で、制御部１０１は、表示部１１０に表示されている画像について、位置または領域の選択操作（例えばタッチ操作）がなされたか否かを判断する。本実施形態のデジタルカメラ１００では、ユーザは、ＬＦデータの閲覧時に図９（ａ）に示されるように画像へのタッチ操作を行うことで、タッチした位置を含む領域について生成された参照用画像を閲覧することができる。指定された位置を含む領域が、上述した特定の条件を満たす参照画像領域であった場合、制御部１０１は、図９（ｂ）に示すように、指定された位置の周囲に複数の参照用画像を選択可能に表示させる。なお、図９（ｂ）では作図上同一状態の参照用画像を図示しているが、実際には合焦状態が異なる参照用画像が表示される。また、表示される参照用画像の数は、記録されている参照用画像の数を上限として、予め定められているものとする。同時表示数が記録数より少ない場合、間引いて表示したり、所定数ずつ複数回に分けて表示したりすることができる。そして、制御部１０１は、複数の参照用画像のうちいずれかを選択する操作がなされると、選択された参照用画像の生成に用いられた被写体距離が指定されたものと認識する（詳細は後述する）。

このように、ユーザは表示された、合焦する被写体距離の異なる参照用画像のデータのうち、所望の合焦状態のものを選択する操作を行うことで、ＬＦデータから再構成画像を生成する際に用いる被写体距離を指定することができる。このような構成によりユーザは、所望の合焦状態となる再構成画像を表示させるために、被写体距離の選択のトライアンドエラーを繰り返す必要がなくなり、所望の合焦状態の再構成画像を表示させるまでに要する時間の短縮することができる。また、本実施形態では、再構成画像の生成例として、合焦する被写体距離の異なる、リフォーカスした再構成画像を主として説明したが、視点変更など他の目的で再構成が行われた再構成画像であってもよい。

制御部１０１は、領域を選択するタッチ操作がなされたと判断した場合は処理をＳ８０４に移し、なされていないと判断した場合はＳ８０３の処理を繰り返す。

Ｓ８０４で、制御部１０１は、ＬＦデータに関連付けられた詳細情報を参照し、タッチ操作がなされた領域に対応する参照用画像のデータを取得し、画像処理部１０９によって復号したのち、表示部１１０に表示されている画像に重畳表示させる。このとき制御部１０１は、選択操作のために表示部１１０をタッチしている操作物体（例えば指）をそのまま移動して参照用画像が選択できるよう、タッチ操作がなされた領域の周囲に参照用画像を表示する。なお、本再生処理ではＬＦデータに詳細情報が関連付けられ、タッチ操作がなされた領域について参照用画像が存在するものとして説明するが、これに該当しない場合は、本ステップの処理を行わずに制御部１０１は処理をＳ８０３に戻せばよい。

Ｓ８０５で、制御部１０１は、表示部１１０に表示された参照用画像のいずれかがユーザにより選択されたか否かを判断する。制御部１０１は、表示された参照用画像のいずれかが選択されたと判断した場合は、選択された参照用画像に対応する被写体距離の情報をＲＡＭ１０３に格納した後、処理をＳ８０６に移す。また制御部１０１は、表示された参照用画像がいずれも選択されていないと判断した場合は本ステップの処理を繰り返す。なお、制御部１０１は、タッチ位置の参照用画像領域への移動や、参照用画像領域へのタッチ操作の検出を参照用画像の選択操作と認識することができる。

Ｓ８０６で、画像処理部１０９は制御部１０１の制御の下、ＲＡＭ１０３に格納された、Ｓ８０５において選択された参照用画像に対応する被写体距離の情報を参照し、該被写体距離に合焦する再構成画像をＬＦデータから生成する。そして制御部１０１は、生成された再構成画像を表示部１１０に表示させ、処理をＳ８０３に戻す。

このようにすることで、ユーザは所望の領域の合焦状態を確認した上で再構成画像の生成を指示することができる。

以上説明したように、本実施形態によれば、合焦する被写体距離の異なる複数の画像を生成可能な画像データを記録する際、一部の領域について、合焦する被写体距離の異なる複数の参照用画像を生成し、画像データと関連づけて記録する。そのため、画像データに関連づけられた参照用画像をユーザに提示することで、ユーザは、画像データから特定の被写体距離に合焦する画像を生成する場合に、所望の合焦状態の参照用画像に基づいて被写体距離を指定することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態においては、撮影処理の一部が異なる以外、第１の実施形態と構成および動作が同様であってよい。そのため、以下の説明では、本実施形態に係るデジタルカメラ１００の撮影処理について、図１０に示すフローチャートを用いて説明する。なお、図１０において、第１の実施形態と共通する処理については同じ参照数字を付し、説明を省略する。

本実施形態においては、
・認識用の特徴量の情報が登録されている人物の顔領域
・面積が所定の大きさ以上の顔領域
・大きさが時間とともに増加している顔領域
に、特定の条件を満たす参照画像領域が設定される点において第１の実施形態と異なる。
以下の説明では、「認識用の特徴量の情報が登録されている人物の顔領域」の優先度が最も高く、次いで「面積が所定の大きさ以上の顔領域」、「大きさが時間とともに増加している顔領域」の順に優先度が設定される。

Ｓ５０１〜Ｓ５０３においては第１の実施形態と同様の処理を行う。
Ｓ６０１で制御部１０１は、デジタルカメラ１００の撮影モードが人物を撮影するための撮影モード（人物撮影モード）に設定されているか、Ｓ５０２で人物被写体の顔領域が検出されているかのいずれかの条件を満たすか否かを判定する。Ｓ６０１で、人物撮影モードが設定されているか、Ｓ５０２で顔領域が検出されていると判断した場合、制御部１０１は処理をＳ５０５に移す。人物撮影モードが設定されておらず、かつＳ５０２で顔領域も検出されていないと判断した場合、制御部１０１は処理はＳ５１０に移す。なお、肌の色をきれいにするモードや、顔の表情を検出して撮影を開始するモードのように、人物が撮影されることが想定される画像処理モードや動作モードが設定されている場合も、人物撮影モードが設定されていると判定してもよい。

Ｓ６０１において人物撮影モードが設定されていると判断した場合、制御部１０１は処理をＳ６０２に移行させ、登録された人物の顔領域がＳ５０２で検出されているかどうかを判定する。登録された人物の顔領域が検出されていれば、制御部１０１は処理をＳ５０７に移行させ、以降は第１の実施形態と同様に処理するため、説明を省略する。

登録された人物の顔領域がＳ５０２で検出されていないと判定された場合、制御部１０１は処理をＳ６０２に移行させ、検出されている顔領域の大きさ（面積）が、予め設定されている大きさ以上か否かを判定する。具体的には、制御部１０１は、Ｓ５０２で検出されている顔領域に含まれる画素数が、所定数以上か否かを判定する。顔領域に含まれる画素数は、Ｓ５０２で取得した顔領域のサイズ情報から得ることができる。

Ｓ５０２で検出した顔領域の１つ以上が所定の大きさ以上であると判定された場合、制御部１０１は処理をＳ６０４に移行し、所定の大きさ以上であると判定された顔領域が１つも無ければ制御部１０１は処理をＳ６０３に移行する。

Ｓ６０４で、制御部１０１は、所定の大きさ以上であると判定された顔領域の１つを参照画像領域に設定し、対応する被写体に合焦する被写体距離を含む７種類の被写体距離を、参照用画像の生成用に決定する。また制御部１０１は、他の顔領域についても参照画像領域を設定し、共通する１つの被写体距離を参照用画像の生成用に決定する。所定の大きさ以上であると判定された顔領域が複数ある場合、制御部１０１は、最も大きいものや、最も画像の中央に近いものなど、予め定めた条件に基づいて１つを選択する。被写体距離の設定を行うと、制御部１０１は処理をＳ５１０に移す。以降の処理は第１の実施形態と同様であるため説明を省略する。

Ｓ６０３で制御部１０１は、Ｓ５０２で検出された顔領域の大きさの変化を検出し、大きさが時間とともに増加しているか否かを判定する。具体的には、制御部１０１は、Ｓ５０２で顔領域処理を実行するごとに、位置関係や人物認識結果などから、前回の顔領域処理で検出された顔領域と同一被写体に係る顔領域を特定する。そして、制御部１０１は、同一被写体に係る顔領域の大きさを比較することにより、顔領域の大きさが増加しているか否かを判定する。

Ｓ５０２で検出した顔領域の１つ以上について、大きさが増加していると判定された場合、制御部１０１は処理をＳ６０５に移行する。一方、大きさが増加していると判定された顔領域が１つも無ければ制御部１０１は処理をＳ５１１に移行し、第１の実施形態と同様、参照用画像のデータを関連付けることなく、ＬＦデータと代表画像のデータとを関連付けて記録し、撮影処理を完了する。

Ｓ６０５で、制御部１０１は、大きさが増加していると判定された顔領域の１つを参照画像領域に設定し、対応する被写体に合焦する被写体距離を含む７種類の被写体距離を、参照用画像の生成用に決定する。また制御部１０１は、他の顔領域についても参照画像領域を設定し、共通する１つの被写体距離を参照用画像の生成用に決定する。大きさが増加していると判定された顔領域が複数ある場合、制御部１０１は、最も大きいものや、最も画像の中央に近いもの、増加の割合が最も大きいものなど、予め定めた条件に基づいて１つを選択する。被写体距離の設定を行うと、制御部１０１は処理をＳ５１０に移す。以降の処理は第１の実施形態と同様であるため説明を省略する。

このように、本実施形態によっても、ＬＦデータから再構成画像を生成する際の合焦状態の指標となる参照用画像のデータを、ＬＦデータおよび代表画像のデータともに記録することができる。

なお、本実施形態においてＳ５１０で記録される参照用画像の詳細情報（図７）のAREA_Flagには、
・「認識用の特徴量の情報が登録されている人物の顔領域」、
・「面積が所定の大きさ以上の顔領域」、
・「大きさが時間とともに増加している顔領域」
に関する参照画像領域に「１」が入力され、それ以外の参照画像領域については「０」が入力される。
本実施形態によっても、第１の実施形態と同様の効果が得られる。

［その他の実施形態］
上述の実施形態では、特定の条件を満たす参照画像領域をＬＦデータに１つ設定する場合について説明したが、２つ以上設定する構成であってもよい。また、他の参照画像領域については、１つの被写体距離のみを決定したが、共通する２つ以上の被写体距離を決定する構成であってもよい。これらの数の増加は、ＬＦデータを記録する際の処理負荷およびデータ量を増加させるため、装置の能力や記録媒体の容量などに応じて決定すればよい。

また、上述の実施形態では、合焦する被写体距離の異なる複数の画像を再構成可能な画像データとして、ライトフィールドデータ（ＬＦデータ）を使って説明した。しかし、本発明が適用可能な画像データはＬＦデータに限定されない。また、画像データから装置が検出可能な被写体領域の例として、人間の顔領域を用いた実施形態を説明したが、特徴量を記憶可能な任意の種類の被写体領域であってよい。
さらに、参照用画像の生成は、ＬＦデータの生成時（撮影時）に行わなくてもよい。記録済みのＬＦデータを用いて、代表画像や参照用画像の生成を行い、再度

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…デジタルカメラ、１０１…制御部、１０４…撮像光学系、１０５…マイクロレンズアレイ、１０６…撮像部、１１０…表示部、１１１…記録媒体、１１２…操作入力部

Claims (16)

1. ライトフィールドデータを取得する取得手段と、
   前記ライトフィールドデータから生成される画像における所定領域を設定する設定手段と、
   前記ライトフィールドデータを用いて、特定の被写体距離に合焦した代表画像のデータと、前記所定領域についての異なる複数の再構成が行われた複数の参照用画像のデータとを生成する生成手段と、
   前記代表画像のデータと、前記複数の参照用画像のデータとを、前記ライトフィールドデータに関連づけて記録する記録手段と、
   前記代表画像に対して指定された位置を含む領域についての前記複数の参照用画像を選択可能に表示する表示手段と、を有し、
   前記生成手段はさらに、前記複数の参照用画像のうち、選択された参照用画像に対応する被写体距離に合焦する画像を、前記ライトフィールドデータから生成することを特徴とする画像処理装置。
2. 前記生成手段は、前記再構成により、合焦する被写体距離の異なる複数の画像のデータを前記参照用画像のデータとして生成可能であることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記再構成により、視点の異なる複数の画像のデータを前記参照用画像のデータとして生成可能であることを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、ユーザ設定に基づいて前記所定領域を設定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. さらに、前記ライトフィールドデータから予め定められた被写体を検出する検出手段をさらに有し、
   前記設定手段は、ユーザ設定がない場合に前記検出手段が検出した被写体の領域に基づいて前記所定領域を設定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記検出手段が検出した被写体に予め登録された被写体が含まれている場合、前記設定手段は、前記予め登録された被写体の領域に基づいて前記所定領域を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段が検出した被写体に予め登録された被写体が含まれていない場合、前記設定手段は、前記検出手段が検出した被写体の位置、大きさ、大きさの変化のいずれかに基づいて選択した被写体の領域に基づいて前記所定領域を設定することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記生成手段はさらに、前記検出手段が検出した被写体のうち、前記所定領域の設定に用いられなかった被写体の領域について、共通する被写体距離に合焦する画像のデータを生成し、前記ライトフィールドデータに関連づけて記録することを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
9. 前記共通する被写体距離が、前記複数の参照用画像が合焦する複数の被写体距離のいずれかであることを特徴とする請求項８に記載の画像処理装置。
10. 前記複数の被写体距離が、前記所定領域に含まれる被写体が合焦する被写体距離を含むように決定されることを特徴とする請求項９に記載の画像処理装置。
11. 前記複数の被写体距離が、前記ライトフィールドデータから生成可能な画像が合焦する被写体距離の範囲に均等に分布する複数の被写体距離を含むように決定されることを特徴とする請求項９または１０に記載の画像処理装置。
12. ライトフィールドデータを撮影により生成する撮像手段と、
    請求項１から１１のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
13. ライトフィールドデータを取得する取得手段と、
    前記ライトフィールドデータから生成された、特定の被写体距離に合焦した代表画像に対して指定された位置を含む領域について、前記ライトフィールドデータから生成された、それぞれが異なる被写体距離に合焦した複数の参照用画像を選択可能に表示する表示手段と、
    前記複数の参照用画像のいずれかを選択する指示を受け付けると、選択された参照用画像に対応する被写体距離に合焦する画像を、前記ライトフィールドデータから生成する生成手段と、を有することを特徴とする再生装置。
14. 取得手段が、ライトフィールドデータを取得する取得工程と、
    設定手段が、前記ライトフィールドデータから生成される画像における所定領域を設定する設定工程と、
    生成手段が、前記ライトフィールドデータを用いて、特定の被写体距離に合焦した代表画像のデータと、前記所定領域についての異なる複数の再構成が行われた複数の参照用画像のデータとを生成する生成工程と、
    記録手段が、前記代表画像のデータと、前記複数の参照用画像のデータとを、前記ライトフィールドデータに関連づけて記録する記録工程と、
    表示手段が、前記代表画像に対して指定された位置を含む領域についての前記複数の参照用画像を選択可能に表示する表示工程と、を有し、
    前記生成工程ではさらに、前記複数の参照用画像のうち、選択された参照用画像に対応する被写体距離に合焦する画像を、前記ライトフィールドデータから生成することを特徴とする画像処理装置の制御方法。
15. 取得手段が、合焦する被写体距離の異なる複数の画像を生成可能なライトフィールドデータを取得する取得工程と、
    表示手段が、前記ライトフィールドデータから生成された、特定の被写体距離に合焦した代表画像に対して指定された位置を含む領域について、前記ライトフィールドデータから生成された、それぞれが異なる被写体距離に合焦した複数の参照用画像を選択可能に表示する表示工程と、
    生成手段が、前記複数の参照用画像のいずれかを選択する指示を受け付けると、選択された参照用画像に対応する被写体距離に合焦する画像を、前記ライトフィールドデータから生成する生成工程と、を有することを特徴とする再生装置の制御方法。
16. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images