JP6157290B2 - 再生装置、再生装置の制御方法およびプログラム - Google Patents

Description

本発明は、再生装置、再生装置の制御方法およびプログラムに関するものである。

近年、撮像素子により得られたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。特許文献１では、被写体空間の光の２次元強度分布と光線の角度情報、つまり視点の異なる画像を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせて光線空間情報（＝ライトフィールド情報）と呼び、光線空間情報を取得することで被写体空間の３次元的な情報を得ることができる。この撮像装置では、光線空間情報の取得と撮影後の画像再構成処理によって、リフォーカスと呼ばれる画像のピント位置の変更が可能である。

一方、同時に取得された多視点の画像を、いわゆるリフォーカス操作したときの表示方法なども提案されている。特許文献２には、ユーザの操作に応じた画像を対話的に表示するシステムが提案されている。具体的には、特許文献２のシステムでは、ポインティングデバイスの指示に応じて指示箇所にピントが合うようにリフォーカス処理を施してユーザに提示する。

特開２００７−４４７１号公報 米国特許出願公開第２００８／０１３１０１９号明細書

しかしながら、特許文献１、２で開示されている撮像装置やシステムでは、リフォーカスなどの操作に応じて画像を表示することは可能であるものの、ピントが合っている範囲を直感的に把握できるものではなかった。更に、低解像度のモニタで観察した場合には、ピントが合っている範囲を確認することが容易ではなかった。

本発明は、上述したような問題点に鑑みてなされたものであり、撮影後のピント位置および絞りの変更に応じて生成された画像においてピントが合っている範囲を容易に把握できるようにすることを目的とする。

本発明は、少なくとも露光時間が重複するように得られた複数の視点の異なる像から画像を生成して表示する再生装置であって、画像のピント位置を指示するフォーカス指示手段と、画像の絞りを指示する絞り指示手段と、前記フォーカス指示手段により指示されたピント位置および前記絞り指示手段により指示された絞りに応じて画像を再構成して生成する現像手段と、前記現像手段により生成された画像に、ピント状態を示す表示をオーバーレイして表示する表示手段と、を有することを特徴とする。

本発明によれば、撮影後のピント位置および絞りの変更に応じて生成された画像においてピントが合っている範囲を容易に把握することができる。

デジタルカメラの構成を示す図である。 マイクロレンズアレイの構成を示す図である。 撮影光学系の例を示す図である。 ピント状態を表示する例を示す図である。 合焦判定のための計算を説明するための図である。 本実施形態の処理を示すフローチャートである。

以下、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。各図では、同一の部材には同一の符号を付し、重複する説明は省略する。
本実施形態に係る再生装置について図１〜図６を参照して説明する。ここでは、再生装置として撮像装置（デジタルカメラ）を適用する場合について説明する。
図１（ａ）は、デジタルカメラの中央断面図である。
デジタルカメラは、カメラ本体１、カメラ本体１に着脱可能なレンズユニット２を有している。カメラ本体１は、撮像素子６、表示部９としての背面表示装置、クイックリターン機構１４、ファインダ表示部１６などを有している。レンズユニット２は、光軸４に沿った撮影光学系３を形成するレンズ、レンズシステム制御回路１２などを有している。カメラ本体１とレンズユニット２とは電気接点１１により電気的に接続される。

図１（ｂ）は、デジタルカメラの電気的構成を示すブロック図である。
カメラ本体１およびレンズユニット２からなるデジタルカメラは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３、撮像素子６を含んで構成される。画像処理系は、画像処理部７を含んで構成される。記録再生系は、メモリ部８、表示部９を含んで構成される。制御系は、カメラシステム制御回路５、操作検出部１０、レンズシステム制御回路１２、レンズ駆動部１３を含んで構成される。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系では、物体からの光が撮影光学系３を介して撮像素子６の撮像面に結像される。撮像素子６表面にはマイクロレンズが格子状に配列された、いわゆるマイクロレンズアレイ（以下、ＭＬＡという）が配置されている。ＭＬＡは、光線制御手段の一例である。ＭＬＡの機能や配置の詳細については図２を参照して後述する。撮像素子６からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光すると共に、撮像素子６近傍で被写体像が結像される。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路などを有している。なお、画像処理部７には、現像したり記録用の画像を生成したりする機能を含めることができるが、本実施形態ではカメラシステム制御回路５がこれらの機能を有しているものとする。
メモリ部８は、実際に画像データを記録する記録部に加え、記録に必要な処理回路を有している。メモリ部８は、記録部に出力を行うと共に、表示部９に出力する像を生成、保存する。また、メモリ部８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路５は、撮像の際のタイミング信号などを生成して出力する。カメラシステム制御回路５は、ユーザ操作に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。具体的には、カメラシステム制御回路５は、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出することにより、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。また、カメラシステム制御回路５は、液晶モニタなどの表示部９によって情報表示を行う各セグメントの状態を制御する。

次に、制御系による光学系の調整動作について説明する。カメラシステム制御回路５は、画像処理部７を介して撮像素子６からの信号を受信し、受信した信号に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は電気接点１１を介してレンズシステム制御回路１２に指令を送信し、レンズシステム制御回路１２は受信した指令に応じてレンズ駆動部１３を制御する。また、レンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されている。手ぶれ補正を行うモードにおいては、レンズシステム制御回路１２は、手ぶれ検出センサの信号に基づいてレンズ駆動部１３を介してブレ補正レンズを適切に制御する。

図１に示すデジタルカメラは、画像の再生が可能である。カメラシステム制御回路５は、操作検出部１０により再生モードへの切換が検出された場合には、取得した画像を表示部９に表示する。また、後述するように、カメラシステム制御回路５は、複数の視差の異なる像を用いてフォーカス位置（ピント位置）および絞り値（絞り）に応じて画像を再構成（いわゆる現像）して表示する。このとき、カメラシステム制御回路５は、フォーカス位置の指示や絞り値の指示に応じて現像方法を制御する。

図２は、本実施形態の撮影光学系の要部を説明するための図である。なお、他の撮影光学系についても適用可能であるが、他の撮影光学系については図３を参照して説明する。
まず、本発明を実現するためには、複数の視点からの被写体像を取得する必要がある。本実施形態では、角度情報の取得のために撮像素子６の結像面の近傍にＭＬＡを配置すると共に、ＭＬＡを構成する１つのマイクロレンズに対して複数の画素を対応させている。

図２（ａ）は、撮像素子とＭＬＡの関係を模式的に示す図である。図２（ｂ）は、撮像素子の画素とＭＬＡの対応を示す模式図である。図２（ｃ）は、ＭＬＡによってＭＬＡ下に配置された画素が特定の瞳領域と対応付けられることを示す図である。
図２（ａ）に示すように撮像素子６上にはＭＬＡ１８が設けられている。ＭＬＡ１８の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は、ＭＬＡをデジタルカメラの正面および側面から見た図である。正面から見た場合、ＭＬＡ１８は、レンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく示しているが、実際には各マイクロレンズは画素の数倍程度の大きさしかない（後述する図２（ｂ）を参照）。なお、１つの画素は１つの光電変換部に相当する。

図２（ｂ）は、図２（ａ）の正面から見た図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方、ＭＬＡ１８を構成する各マイクロレンズは太い円２０，２１，２２，２３で示している。
図２（ｂ）に示すように、マイクロレンズ１つに対して複数の画素が割り当てられている。ここでは、５行×５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズの大きさは画素の大きさの５倍×５倍の大きさである。

図２（ｃ）は、撮像素子６の一部およびマイクロレンズ２０の一部を図２（ｂ）に示すＩ−Ｉ線で切断した断面図である。図２（ｃ）の下側には撮像素子６の画素２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅを示し、上側には撮影光学系３の射出瞳面を示している。本来、射出瞳面は、図２（ｃ）の下側に示した画素の方向と合わせると、図２（ｃ）の紙面垂直方向になるが、理解を容易にするために射出瞳面の方向を変化させている。
また、図２（ｃ）では説明を簡単にするために、１次元の投影／信号処理について説明するが、カメラシステム制御回路５は容易に２次元に拡張することができる。なお、図２（ｃ）の画素２０ａ〜２０ｅは、図２（ｂ）の画素２０ａ〜２０ｅにそれぞれ対応する位置関係である。

図２（ｃ）に示すように、マイクロレンズ２０によって各画素２０ａ〜２０ｅは撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２０ａと領域３０ａが、画素２０ｂと領域３０ｂが、画素２０ｃと領域３０ｃが、画素２０ｄと領域３０ｄが、画素２０ｅと領域３０ｅがそれぞれ対応している。すなわち、画素２０ａには撮影光学系３の射出瞳面上の領域３０ａを通過した光束のみが入射する。他の画素も同様である。更に、隣接する画素２１ａ〜２１ｅも射出瞳面上の同じ領域と対応している。すなわち、画素２１ａと領域３０ａが、画素２１ｂと領域３０ｂが、画素２１ｃと領域３０ｃが、画素２１ｄと領域３０ｄが、画素２１ｅと領域３０ｅがそれぞれ対応している。

結果として、カメラシステム制御回路５は、瞳面上での通過領域と撮像素子６上の位置関係から角度情報を取得することができる。図２で説明した光学系から複数の視点の異なる像を生成するには、カメラシステム制御回路５は、各マイクロレンズの同じ瞳面に対応する画素を配列する。これによって、カメラシステム制御回路５は、入力画像である複数の視点の異なる像を生成することができる。

次に、他の撮影光学系について図３を参照して説明する。
上述したように本発明を適用するためには、複数の視点の異なる像を取得する必要がある。このような複数の視点の異なる像を取得できる光学系が、プレノプティックカメラやいわゆる多眼カメラなどとして知られている。なお、複数の視点の異なる像とは、特許文献１に記載された光線空間情報と等価なものである。
図３は、物体（被写体）からの光線が撮像素子６上に結像する状態を模式的に示した図である。図３（ａ）は、図２で説明した撮影光学系に対応しており、撮影光学系３の結像面近傍にＭＬＡ１８を配置した例である。図３（ｂ）は、撮影光学系３の結像面よりも物体寄りにＭＬＡ１８を配置した例である。図３（ｃ）は、撮影光学系３の結像面よりも物体から遠い側にＭＬＡ１８を配置した例である。図３（ｄ）は、いわゆる多眼光学系を示す例である。

図３（ａ）〜（ｄ）には、物体平面５１、物体上の任意の点５１ａ，５１ｂ、撮影光学系の瞳平面５２が示されている。また、図３（ａ）〜（ｃ）には、撮影光学系の瞳領域３０ａ〜３０ｅ、ＭＬＡ１８上の特定のマイクロレンズ６１、６２、７１，７２，７３，８１，８２，８３，８４が示されている。また、図３（ｂ）、（ｃ）には、物体５１との共役面として、メインレンズの仮想結像面５０が示されている。また、図３（ｄ）には、多眼光学系を構成する各々の撮像素子６ａ，６ｂ，６ｃ、多眼光学系の各々のメインレンズの瞳領域３１ａ〜３５ａが示されている。
また、図３（ａ）〜（ｄ）では、物体上の点５１ａから出射され撮影光学系あるいは多眼光学系を通過する光束を実線で示し、物体上の点５１ｂから出射され撮影光学系あるいは多眼光学系を通過する光束を一点鎖線で示している。

図３（ａ）では、図２でも説明したように、撮影光学系３の結像面近傍にＭＬＡ１８を配置することで、撮像素子６と撮影光学系３の瞳平面５２とが共役の関係にある。また、物体平面５１とＭＬＡ１８とが共役の関係にある。したがって、物体上の点５１ａから出射された光束はマイクロレンズ６１に到達し、点５１ｂを出射された光束はマイクロレンズ６２に到達した後、領域３０ａから３０ｅのそれぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図３（ｂ）では、ＭＬＡ１８で撮影光学系３からの光束を結像させ、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６とが共役の関係にある。物体上の点５１ａから出射され瞳平面上の領域３０ａを通過した光束はマイクロレンズ７１に到達し、物体上の点５１ａから出射され瞳平面上の領域３０ｃを通過した光束はマイクロレンズ７２に到達する。また、物体上の点５１ｂから出射され瞳平面上の領域３０ａを通過した光束はマイクロレンズ７２に到達し、物体上の点５１ｂから出射され瞳平面上の領域３０ｃを通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、メインレンズの仮想結像面５０上の位置に並べ直すことで、図３（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子６上の位置の情報を得ることができる。

図３（ｃ）では、ＭＬＡ１８で撮影光学系３からの光束を再結像（一度結像した光束が拡散する状態にあるものを再び結像させることをいう）され、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６とが共役の関係にある。物体上の点５１ａから出射され瞳平面上の領域３０ａを通過した光束はマイクロレンズ８２に到達し、物体上の点５１ａから出射され瞳平面上の領域３０ｃを通過した光束はマイクロレンズ８１に到達する。物体上の点５１ｂから出射され瞳平面上の領域３０ａを通過した光束はマイクロレンズ８４に到達し、物体上の点５１ｂから出射され瞳平面上の領域３０ｃを通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図３（ｂ）と同様に、メインレンズの仮想結像面５０上の位置に並べ直すことで、図３（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子６上の位置の情報を得ることができる。

図３（ｄ）では、メインレンズとＭＬＡによる構成ではなく、いわゆる多眼光学系によって同様の情報を得ることができる。この多眼光学系においては、図３（ａ）の瞳領域３０ａ〜３０ｅに直接メインレンズ３１ａ〜３５ａを配置して、視差像を得ていると考えることができる。撮像素子６ａ，６ｂ，６ｃのそれぞれの像は、いわゆる視点の異なる像となっている。

図３では、ＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得できる例について示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法であってもよい。
その他の方法としては、時分割で複数の視点の異なる像を取得する方法であってもよい。この方法においては、デジタルカメラにおいて時間的に離間した多数の画像を得ると共に、手振れやユーザのスイングを利用して複数の視点の異なる像を取得する。

次に、本実施形態に係るデジタルカメラにより複数の視差の異なる像からユーザによる操作に応じて画像を現像し、表示部９に表示する場合について図４〜図６を参照して説明する。
図４（ａ）は、デジタルカメラと被写体との位置関係を示す図である。図４（ａ）では、カメラ本体１およびレンズユニット２によって撮影される範囲１０２に、デジタルカメラからの距離がそれぞれ異なる、被写体１１０および被写体１１１が存在している。
図４（ｂ）は、デジタルカメラの外観を示す斜視図である。レンズユニット２には、ユーザにより操作可能なフォーカス指示部１２０が配置されている。フォーカス指示部１２０は、フォーカス指示手段の一例である。フォーカス指示部１２０は、例えばレンズユニット２の外周に沿って回転可能な第１リング部材を有し、操作検出部１０によって第１リング部材の回転位置が検出される。
また、カメラ本体１には、ユーザにより操作可能な絞り値指示部１２１が配置されている。絞り値指示部１２１は、絞り指示手段の一例である。絞り値指示部１２１は、例えば回転可能な第２リング部材を有し、操作検出部１０によって第２リング部材の回転位置が検出される。

図４（ｃ）は、図４（ａ）に示す状態を撮影して取得される被写体像を示す図である。図４（ｃ）では、ピント状態は無視して全ての被写体が先鋭に取得される場合を示している。図４（ｃ）に示す画像１０３では、デジタルカメラから相対的に近距離にある被写体１１０と相対的に遠距離にある被写体１１１の像が取得されている。

以下では、デジタルカメラが少なくとも露光時間が重複するように複数の視差の異なる像を取得した場合を考える。本発明は画像取得後の画像の表示および画像の操作の際に適用される。複数の視差の異なる像はいわゆる光線空間情報と等価な情報を得ているので、これを利用して画像取得後のピント位置の変更（リフォーカス）や絞り値の変更を行うことができる。カメラシステム制御回路５は、ユーザによるフォーカス指示部１２０および絞り値指示部１２１を介した操作に応じてリフォーカスおよび絞り値を調整した画像を生成する。なお、画像の生成方法については特許文献１や特許文献２に開示されているので、その説明は割愛する。

本実施形態では、リフォーカスのための操作部としてフォーカス指示部１２０を用い、絞り値の変更のための操作部として絞り値指示部１２１を用いる場合について説明する。すなわち、カメラシステム制御回路５は、フォーカス指示部１２０の操作に応じてピント位置を変化させて、手前または奥の被写体にピントを合わせ、絞り値指示部１２１の操作に応じて絞り値を変化させて被写界深度を調整する。操作検出部１０はフォーカス指示部１２０および絞り値指示部１２１による操作を検出する。

図４（ｄ）〜図４（ｇ）は、表示画像の例を示す図である。カメラシステム制御回路５は画像１０３に、ピント状態を示す表示と、ピント状態が変化することを示す表示とを、オーバーレイして表示している。ここで、ピント状態を示す表示には、測距枠１３０と、ピントが合った測距枠１３１とが含まれる。また、ピント状態が変化することを示す表示には、絞り込みによりピントが合う測距枠１３２が含まれる。
まず、図４（ｄ）は遠くにある被写体１１１にピントが合っていて、近くにある被写体１１０にピントが合っていない（ぼけている）状態を示している。一方、図４（ｅ）は近くにある被写体１１０にピントが合っていて、遠くにある被写体１１１はピントが合っていない（ぼけている）状態を示している。また、図４（ｆ）は、近くにある被写体１１０および遠くにある被写体１１１の何れにもピントが合っている状態を示している。また、図４（ｇ）は、図４（ｅ）と同様、近くにある被写体１１０にピントが合っていて、遠くにある被写体１１１はピントが合っていない（ぼけている）状態であって、絞り込みによるピント状態の変化を同時に表示した場合を示している。

本実施形態では、デジタルカメラが取得した画像を、いわゆるリフォーカスが可能であるので、画像取得後にピント位置を変化させて図４（ｄ）や図４（ｅ）に示すように異なるピント位置の画像を生成することができる。この処理は、カメラシステム制御回路５がフォーカス指示部１２０を介した操作に応じて行う。図４（ｄ）から図４（ｇ）には測距枠１３０が、生成した画像にオーバーレイして表示されている。測距枠とは、画像の一部を切り取って被写体のピント状態を計算する場合に、切り取る画像の範囲に対応したものである。デジタルカメラは複数の視差の異なる像を取得しているので、三角測距の原理に基づいて被写体まで距離を測定することが可能である。これを利用すれば現在表示しているピント位置においてそれぞれの被写体はピントが合っているか否かのピント状態を判定することができる。この処理は、具体的には図５を参照して後述するＳＡＤの計算などにより判定することが可能である。

図４（ｄ）から図４（ｇ）に示す例ではピントが合っている範囲をピントの合った測距枠１３１で示した。図４（ｄ）から図４（ｇ）では測距枠１３１を太線で示したが、ピントが合っていない範囲の測距枠との間で識別できればよく、例えば色付けをして示してもよい。図４（ｄ）では遠くにある被写体１１１に対応する測距枠１３１が太線で示されており、図４（ｅ）では近くにある被写体１１０に対応する測距枠１３１が太線で示されている。

次に、絞り値を変更する操作、いわゆる絞り込みの操作をした場合を考える。絞り込むと被写界深度が深くなり、距離の異なる被写体であっても何れもピントが合った状態になる。ここでは、ボケが許容錯乱円以下になっている場合をピントが合ったものとしている。図４（ｆ）は絞り込んだ状態を模式的に示しており、被写体１１０および被写体１１１の何れにもピントが合うと共に、双方に対応する測距枠１３１が太線で示されている。図４（ｆ）で述べたように絞り値を変化するとピントが合う範囲が変化することが分かる。すなわち、深さ方向が変化することによって画面内でのピントが合う範囲も変化する。これを直感的に示したのが図４（ｇ）である。図４（ｇ）では、絞り変更によってピントが合う測距枠１３２としてハッチングで示した。実際には、ピントが合う測距枠１３２は、測距枠１３０および測距枠１３１との間で識別可能に例えば異なる色などで表示することができる。図４（ｇ）は、手前の被写体１１０にピントが合っているが、絞り込むことで被写体１１１にもピントが合うことを示している。このように、絞り値の変更によってピントが合う範囲を現在、ピントが合っている範囲とは別の方法で提示している。

なお、特許文献２に開示された方法では、ユーザが画像を見てピントが合っているか否かを判断する必要があったが、低解像度のモニタなどではピント状態を正確に判断することは容易ではない。一方、本実施形態では、合焦範囲をオーバーレイして表示することで、ピントが合っている範囲を直感的にわかりやすく表示する。したがって、ユーザは低解像度のモニタであってもピントが合っていることを容易に把握することができる。また、図４に示すようなピント状態の提示方法は、従来のカメラのエイミング動作時にも用いられているので、従来のカメラを使用していたユーザに対して理解しやすいものになっている。

次に、合焦判定のための処理およびフローチャートについて図５、図６を参照して説明する。
カメラシステム制御回路５は、最初に表示するピント位置を、撮影時の設定、デフォルトの設定または前回の設定値などの値を用いて表示する。図５ではフォーカス指示部１２０や絞り値指示部１２１によって、ユーザがピント状態を変化させるように指示した場合における、評価値の計算方法や評価値に応じた表示方法を具体的に説明する。

図５（ａ）は、特定の測距枠でのピント評価値の計算方法を説明するための図である。図５（ｂ）は、ピント評価値とピント位置の関係を示す図である。図６は、再生処理を示すフローチャートである。
図５（ａ）では、ある視点の像１４１、像１４１と異なる視点の像１４２、着目する測距枠１４３、対応する測距枠１４４、画像の切り出し位置の変化方向としての矢印１４５、加算器１５１、絶対値演算器１５２、加算器１５３をそれぞれ示している。
図５（ａ）に示す像１４１は複数の視点の異なる像のうちの特定の視点の像を示している。ここでは、図２の画素２０ｅに対応する視点の像として説明する。同様に像１４２は図２の画素２０ａに対応する視点の像として説明する。
カメラシステム制御回路５は特定の視点の像１４１の測距枠１４３に着目する。カメラシステム制御回路５は、着目した画像を切り出し、他の視点の像１４２と比較する。図５（ａ）では、切り出した画像を下方向に拡大して表示している。

ピント評価値を得るための比較はいくつかの方法が考えられるが、ここでは差分絶対値の積分（ＳＡＤ＝Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いるものとして説明を行う。ＳＡＤは以下の式で定義される。

数１においてＸ（ｉ）は特定の視点の像の着目した測距枠内の信号を、Ｙ（ｉ）は他の視点の像から切り出した信号を示している。ｉは比較すべき画素に対応する添え字である。例えば８×８の領域であればｉは１から６４までの値である。したがって、全ての画素の差分を積分するという意味になる。数１に示す定義から明らかなように、ＳＡＤにおいては類似度が高い（特定の視点の像と他の視点の像がよく似ている）ときに極小値となる。ここでは、ＳＡＤの値をピント評価値（ピント評価情報）として用いる。

図５（ａ）では、数１をブロック図で示している。図５（ａ）に示すように、加算器１５１は、着目した測距枠１４３と他の視点から切り出した画像１４４の差を算出する。次に、絶対値演算器１５２が算出された差の絶対値を取得した後、加算器１５３が全ての画素に対して加算を行う。
先に説明したように特定の視点の像１４１と他の視点の像１４２はそれぞれ図３の画素２０ｅおよび２０ａに対応している。同時に取得された視点の異なる画像間にはいわゆるエピポーラ拘束が存在するのでその方向のみに探索を行えばよい。例えば画素２０ａと画素２０ｅから得られる画像を比較する場合には、視点位置がＸ方向のみにずれているので、探索方向をＸ方向に限定することができる。図５（ａ）では模式的に探索方向を矢印１４５で示している。

したがって、カメラシステム制御回路５は、矢印１４５の方向に他の視点の像１４２から画像を切り出す位置を変化させながらＳＡＤを計算することで、どこかで極小値を得ることができる。極小値の場所が２つの像が一致しておりピントが合った位置となる。

図５（ｂ）は、画像の切り出しの位置とピント評価値との関係を示す図である。横軸は他の視点の像１４２から画像を切り出す位置を示し、縦軸はピント評価値（ＳＡＤ）を示している。カメラシステム制御回路５は、上述したように画像の切り出し位置を矢印１４５方向に変えながらＳＡＤを計算することで、図５（ｂ）に示すような値を取得することができる。図５（ｂ）の例では８つの切り出し位置で計算を行い、それぞれ評価点１６１〜評価点１６８で示している。ここでは、評価点１６５で極小値となっている。このとき、評価点１６５に対応する位置が、ピントが最も合っている位置である。なお、評価点１６１から評価点１６８の値やグラフの形は被写体に依存する。

このとき、カメラシステム制御回路５は、ピントが最も合っている評価点１６５を中心として図５（ｂ）における一定の横幅の範囲を、ピントが合っていると判定する合焦範囲にする。合焦範囲の横幅の大きさは、許容錯乱円とＦナンバーとに基づいて決定される。カメラシステム制御回路５は、許容錯乱円を出力像の利用方法などに応じて設定することができる。例えば、カメラシステム制御回路５は、許容錯乱円を表示部９やプリントの解像度など鑑賞方法に応じて適した大きさに設定したり、予めユーザ操作による許容錯乱円の入力あるいは選択に応じて大きさを設定したりすることが好ましい。本実施形態では、カメラシステム制御回路５による許容錯乱円の設定が、ピント状態を判定するための合焦閾値を設定することに対応している。すなわち、カメラシステム制御回路５は、閾値設定手段の一例に対応する。

カメラシステム制御回路５が許容錯乱円を大きく設定した場合（低解像度モニタでの鑑賞やＬ版などの小さいサイズでのプリントなど）は、同じＦナンバーであっても図５（ｂ）においてピントが合っていると判定する合焦範囲（の横幅）を大きくする。一方、許容錯乱円を小さく設定した場合（高解像度モニタでの鑑賞やＡ４版などの大きいサイズでのプリントなど）は、同じＦナンバーであっても図５（ｂ）においてピントが合っていると判定する合焦範囲（の横幅）を小さくする。

カメラシステム制御回路５は、図５（ｂ）のようなピント評価値を測距枠ごとに計算することができる。また、表示画像のピント位置は必ずしも全ての測距枠においてピントが合った状態ではない。例えば、図４で説明したように、距離の異なる被写体がある場合には一方にピントが合って、他方はピントが外れていることが多くある。
図５（ｂ）の評価値と図４のような表示の関係について述べる。ここでは説明を簡単にするために、カメラシステム制御回路５は表示画像のＦナンバーがＦ２．８とＦ５．６との２つの画像を生成可能であるものとして説明する。また、表示画像のピント位置に関しては、図５（ｂ）に示すピント位置１、ピント位置２、ピント位置３の３つの場合について説明する。
表示画像のピント位置が図５（ｂ）のピント位置１にある場合を考える。この位置ではＦ２．８およびＦ５．６のいずれの絞り値であってもピントが合っているとみなすことができる。したがって、カメラシステム制御回路５は、表示画像の設定がＦ２．８であってもＦ５．６であってもピントが合っていると判定し、合焦を示す表示をオーバーレイして表示する。

次に、表示画像のピント位置が図５（ｂ）のピント位置２にある場合を考える。この位置ではＦ５．６ではピントが合っているとみなすことができるが、Ｆ２．８ではピントが合っているとみなすことができない。したがって、カメラシステム制御回路５は、表示画像の設定がＦ５．６である場合にはピントが合っていると判定し、合焦を示す表示をオーバーレイして表示する。一方、表示画像の設定がＦ２．８である場合にはピントが合っていないと判定し、合焦を示す表示をオーバーレイして表示しない。ただし、カメラシステム制御回路５は、図４（ｇ）で示したように絞り値の変更によってピントが合う範囲も表示する設定の場合には、絞り値指示部１２１により絞り値を変更することによりピント状態が変化する範囲として表示する。

最後に、表示画像のピント位置が図５（ｂ）のピント位置３にある場合を考える。この位置ではＦ２．８およびＦ５．６の何れの絞り値であってもピントが合っているとみなすことができない。したがって、カメラシステム制御回路５は、表示画像の設定がＦ２．８であっても、Ｆ５．６であってもピントが合っていないと判定し、合焦を示す表示をオーバーレイして表示しない。
上述したような処理を施すことで、図４（ｄ）から図４（ｇ）に示したような表示を実現することができる。

図６は、本実施形態に係るデジタルカメラの処理を示すフローチャートである。
ステップＳ１０１では、カメラシステム制御回路５は、処理を開始する。
ステップＳ１０２では、カメラシステム制御回路５は、操作検出部１０を介してユーザ操作による割り込みを待機する。ユーザ操作があった場合にはステップＳ１０３に進み、ユーザ操作がない場合にはステップＳ１０２にて待機する。

ステップＳ１０３では、カメラシステム制御回路５は、ユーザ操作が終了操作であるか否かを判定する。終了操作の場合にはステップＳ１０４に進み処理を終了する。終了操作ではない場合にはステップＳ１０５に進む。
ステップＳ１０５では、カメラシステム制御回路５は、ユーザ操作が絞りを変更する操作またはピントを変更する操作であるか否かを判定する。具体的には、カメラシステム制御回路５は、操作検出部１０を介して絞り値指示部１２１またはフォーカス指示部１２０によって絞り値またはピント位置を変更する操作であるか否かを判定する。絞りまたはピントを変更する操作があった場合にはステップＳ１０６に進み、絞りまたはピントを変更する操作ではない場合には不図示のユーザ操作に応じて処理を施してステップＳ１０２に戻る。

ステップＳ１０６では、カメラシステム制御回路５は、合焦閾値を例えばメモリ部８から読み込む。この合焦閾値は、ステップＳ１０７においてカメラシステム制御回路５が鑑賞方法やユーザの入力などに応じて予め設定した許容錯乱円である。
ステップＳ１０８では、カメラシステム制御回路５は、現像を施して表示画像を更新する。具体的には、カメラシステム制御回路５は、ステップＳ１０５で判断した絞りまたはピントを変更する操作に応じて画像を現像して表示部９に表示する。

ステップＳ１０９では、カメラシステム制御回路５は、現在の測距枠（測距点）のピント状態、すなわちピントが合っているか否かを判定する。ピントが合っている場合にはステップＳ１１０に進み、ピントが合っていない場合にはステップＳ１１１に進む。ここで、カメラシステム制御回路５は、ピントが合っているか否かを、図５（ｂ）で説明したように、表示画像のピント位置および絞り値、許容錯乱円、当該測距枠の合焦位置の情報に基づいて判定することができる。ステップＳ１０５をステップＳ１０６に進む場合にはユーザ操作によって表示画像のピント位置および絞り値が決定され、ステップＳ１０６では許容錯乱円が設定されている。したがって、ステップＳ１０９では、カメラシステム制御回路５は図５（ｂ）において上述したようなピント評価値の計算を行い、当該測距枠の合焦位置を求めて、ピントが合っているとみなせるか否かを判定することができる。

ステップＳ１１０では、カメラシステム制御回路５は、合焦表示を行う。具体的には、カメラシステム制御回路５は、ピントが合っていることを識別できる測距枠１３１を表示画像にオーバーレイして表示部９に表示する。
ステップＳ１１１では、カメラシステム制御回路５は、絞り込むことにより測距枠のピントが合うか否かを判定する。絞り込むことによりピントが合う場合にはステップＳ１１２に進み、絞り込んでもピントが合わない場合にはステップＳ１１３に進む。ここで、カメラシステム制御回路５は、絞り込むことにより測距枠のピントが合うか否かを、図５（ｂ）で説明したように、表示画像のピント位置および絞り値、許容錯乱円、当該測距枠の合焦位置の情報に基づいて判定することができる。例えば、図５（ｂ）に示すように、表示画像のピント位置が“ピント位置２”であって、現在の表示画像の設定がＦ２．８である場合には、評価点１６３はピントが合っていると判定されない。しかし、絞り込むことによりピントが合っていると判定する合焦範囲が広がることにより、評価点１６３はピントが合っていると判定される。このように、カメラシステム制御回路５は、ユーザによる絞り値を変更する操作によってピントが合うか否かを判定する。

ステップＳ１１２では、カメラシステム制御回路５は、絞り込みことで合焦することが識別できる表示（絞り込み合焦表示）を行う。具体的には、カメラシステム制御回路５は、絞り込むことによりピントが合うことを識別できる測距枠１３２を表示画像にオーバーレイして表示部９に表示する。
ステップＳ１１３では、カメラシステム制御回路５は、全ての測距枠についてステップＳ１０９〜ステップＳ１１２までの処理を行ったか否かを判定する。全ての測距枠について処理が完了した場合にはステップＳ１０２に戻り、カメラシステム制御回路５はユーザ操作を待機する。完了していない場合にはステップＳ１０９に戻り、カメラシステム制御回路５は、次の測距枠について着目し、全ての測距枠について処理が完了するまで繰り返す。

このように本実施形態によれば、撮影後のフォーカスおよび絞りの変更に応じて生成された画像に、ピント状態を示す表示をオーバーレイして表示することにより、ユーザはピントが合っている範囲を直感的に容易に把握することができる。

なお、本実施形態では、図６のフローチャートでは絞り込むことによりピントが合うことを識別できる測距枠１３２を表示する場合について説明したが、この場合に限られない。例えば、現在ピントが合っている範囲のみを表示する場合には、ステップＳ１１１とステップＳ１１２とを省略し、ステップＳ１０９において“Ｎ”の場合にはステップＳ１１３に進むようにすればよい。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。
また、上述した実施形態では、本発明をデジタルカメラに適用した場合を例にして説明したが、この場合に限定されず、再生装置にも用いることができる。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムを、ネットワークまたは各種記憶媒体を介してデジタルカメラに供給し、デジタルカメラのコンピュータ（カメラシステム制御回路５など）がプログラムを読み出して実行する処理である。

１：カメラ本体 ２：レンズユニット ５：カメラシステム制御回路 ６：撮像素子 ９：表示部 １８：マイクロレンズアレイ（ＭＬＡ） ２０：マイクロレンズ １１０：被写体 １１１：被写体 １２０：フォーカス指示部 １２１：絞り値指示部 １３０〜１３２：測距枠

Claims (7)

1. 少なくとも露光時間が重複するように得られた複数の視点の異なる像から画像を生成して表示する再生装置であって、
   画像のピント位置を指示するフォーカス指示手段と、
   画像の絞りを指示する絞り指示手段と、
   前記フォーカス指示手段により指示されたピント位置および前記絞り指示手段により指示された絞りに応じて画像を再構成して生成する現像手段と、
   前記現像手段により生成された画像に、ピント状態を示す表示をオーバーレイして表示する表示手段と、を有することを特徴とする再生装置。
2. 前記表示手段は、前記現像手段により生成された画像に、前記絞り指示手段により絞りが変更されることによってピント状態が変化することを示す表示を、前記ピント状態を示す表示と合わせて表示することを特徴とする請求項１に記載の再生装置。
3. 前記ピント状態を判定するための閾値を設定する閾値設定手段を有することを特徴とする請求項１または２に記載の再生装置。
4. 前記表示手段は、前記現像手段により生成された画像に複数の測距枠をオーバーレイして表示し、ピント状態を示す表示としてピントが合っている測距枠を識別できるように表示することを特徴とする請求項１ないし３の何れか１項に記載の再生装置。
5. 前記現像手段により生成された画像に表示された複数の測距枠について、それぞれピント状態を判定する判定手段を有し、
   前記判定手段は、前記フォーカス指示手段により指示されたピント位置、前記絞り指示手段により指示された絞り値、合焦位置および合焦範囲に基づいてピント状態を判定することを特徴とする請求項４に記載の再生装置。
6. 少なくとも露光時間が重複するように得られた複数の視点の異なる像から画像を生成して表示する再生装置の制御方法であって、
   フォーカス指示手段により指示されたピント位置および絞り指示手段により指示された絞りに応じて画像を再構成して生成する現像ステップと、
   前記現像ステップにより生成された画像に、ピント状態を示す表示をオーバーレイして表示する表示ステップと、を有することを特徴とする再生装置の制御方法。
7. 少なくとも露光時間が重複するように得られた複数の視点の異なる像から画像を生成して表示する撮影装置を制御するためのプログラムであって、
   フォーカス指示手段により指示されたピント位置および絞り指示手段により指示された絞りに応じて画像を再構成して生成する現像ステップと、
   前記現像ステップにより生成された画像に、ピント状態を示す表示をオーバーレイして表示する表示ステップと、をコンピュータに実行させるためのプログラム。

Images