JP5267708B2 - 画像処理装置、撮像装置、画像生成方法、及びプログラム - Google Patents

Description

本発明は、画像を再構成する技術に関する。

近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が知られている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。

マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素群に分配する。
即ち、各マイクロレンズによって撮像素子に集光された像を、以下「サブ画像」と呼ぶならば、複数のサブ画像の集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像を、以下、「ライトフィールド画像」と呼ぶ。

ライトフィールド画像は、従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた、いずれの部位から到達した光線であるかを示す２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。

プレノプティックカメラは、ライトフィールド画像の撮像後に、ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。

特表２００８−５１５１１０号公報

特許文献１に記載の技術では、ライトフィールド画像から再構成画像を生成するための計算量が大きかった。そのため、また、画像を早く生成して表示することが要求される場合でも表示に時間がかかってしまい、ユーザの利便性が低かった。

本発明は、このような状況に鑑みてなされたものであり、少ない計算量で再構成画像を生成することを目的とする。

上記目的を達成するため、本願発明に係る画像処理装置は、
被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得部と、
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得するズレ取得部と、
前記多視点画像に含まれる副画像の前記画像ズレ係数が大きいほど当該副画像のより大きい範囲から、部分画像を抽出する抽出部と、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成部と、
を備えたことを特徴とする。

本発明によれば、少ない計算量で再構成画像を生成できる。

（ａ）は本発明の実施形態１に係るデジタルカメラの正面図である。（ｂ）は実施形態１に係るデジタルカメラの背面図である。 実施形態１に係るデジタルカメラのハードウェア構成を示すブロック図である。 実施形態１に係るデジタルカメラのうち、光学系の構成例を示す模式図である。 （ａ）は実施形態１に係るライトフィールド画像の概念図である。（ｂ）は撮影した被写体の例を示す図である。（ｃ）は（ｂ）を撮影したライトフィールド画像を示す図である。（ｄ）は（ｃ）の一部拡大図である。 実施形態１に係るデジタルカメラの機能構成を示す模式図である。 実施形態１に係る画像出力処理を示すフローチャートである。 実施形態１に係るライブビュー画像生成部の機能構成を示す模式図である。 実施形態１に係るデジタルカメラが実行する画像生成処理の流れを説明するフローチャートである。 （ａ）は実施形態１に係るライトフィールド画像を示す図である。（ｂ）は実施形態１に係る部分領域を示す図である。（ｃ）は実施形態１に係る第１再構成画像を示す図である。 （ａ）は実施形態１に係る確認画像生成部の機能構成を示す模式図である。（ｂ）は実施形態１に係る領域定義テーブルの例を示す図である。 実施形態１に係るデジタルカメラが実行する画像生成処理の流れを説明するフローチャートである。 （ａ）は実施形態１に係るライトフィールド画像を示す図である。（ｂ）は実施形態１に係る部分領域を示す図である。（ｃ）は実施形態１に係る第２再構成画像を示す図である。 実施形態１に係る本画像生成部の機能構成を示す模式図である。 実施形態１に係るデジタルカメラが実行する画像生成処理の流れを説明するフローチャートである。 （ａ）は実施形態１に係るライトフィールド画像を示す図である。（ｂ）は実施形態１に係る部分領域を示す図である。（ｃ）は実施形態１に係る第３再構成画像を示す図である。 本発明の実施形態２に係る画像出力処理を示すフローチャートである。 本発明の実施形態３に係る画像出力処理を示すフローチャートである。 実施形態３に係るライブビュー画像生成部の機能構成を示す模式図である。 実施形態３に係るデジタルカメラが実行する画像生成処理を示すフローチャートである。 本発明の実施形態４に係るライブビュー画像生成部の機能構成を示す模式図である。 実施形態４に係る画像出力処理を示すフローチャートである。 実施形態４に係るズレ係数推定処理を示すフローチャートである。 実施形態４に係る推定画像と算出画像のグループ分けの例を示す図である。 実施形態４に係る推定画像と算出画像のグループ分けの例を示す図である。 実施形態４に係る画像ズレ係数の推定処理例の概要を示す図である。

以下、本発明を実施するための形態に係る撮像装置（デジタルカメラ）を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
本発明に係る撮像装置の一実施例としてのデジタルカメラ１の外観を、図１を参照して説明する。図１（ａ）は正面から、図１（ｂ）は背面の外観を示す。デジタルカメラ１は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）１２を有している。また、デジタルカメラ１の背面には図１（ｂ）に示すように、表示装置としての液晶モニタ画面１３と、モードダイアル、カーソルキー、ＳＥＴキー、ズームボタン（Ｗボタン、Ｔボタン）、メニューキー等からなる操作部１４と、が設けられている。また、上面にはシャッターキー１０、電源ボタン１１が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。

次に、デジタルカメラ１のハードウェアの構成を、ブロック図（図２）を参照して説明する。

デジタルカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、内部バス２０と、を含む。また、デジタルカメラ１は、入出力インターフェース３０と、撮像部３１と、入力部３２と、出力部３３と、記憶部３４と、表示部３５と、通信部３６と、メディアドライブ３７と、を備えている。

ＣＰＵ２１は、ＲＡＭ２３を作業領域として用いて、ＲＯＭ２２又は記憶部３４に格納されているプログラムにより画像を出力のための後述する処理を実行する。

ＲＯＭ２２及び／又は記憶部３４は、ＣＰＵ２１が後述する各種の処理を実行する上において必要なデータを記憶する。記憶されたデータは、適宜ＲＡＭ２３にロードされる。また、ＲＡＭ２３は後述する処理の中間データを適時記憶する。

ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及び入出力インターフェース３０は、内部バス２０を介して相互に接続されている。また、入出力インターフェース３０には、撮像部３１、入力部３２、出力部３３、記憶部３４、表示部３５、通信部３６及びメディアドライブ３７が接続されている。

撮像部３１は、メインレンズ３１１と、マイクロレンズアレイ３１２と、撮像素子３１３と、を備えている。なお、撮像部３１のさらなる詳細については、図３を参照して後述する。

入力部３２は、シャッターキー１０、操作部１４の各種ボタン、及び表示部３５に設定されたタッチパネル等の入力装置と、ユーザがこれらの入力装置を用いて実行した操作の情報を入出力インターフェース３０に伝達する伝達部と、から構成される。ユーザは、入力部３２を用いてデジタルカメラ１にコマンドを入力し、また各種情報を入力することができる。

出力部３３は、モニタやスピーカ等により構成され、ＣＰＵ２１の処理により生成された各種画像や各種音声を出力する。
記憶部３４は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、ＣＰＵ２１から伝達された、あるいは他機器から入力された、後述するライトフィールド画像や再構成画像等、各種画像のデータ、各種設定情報を記憶する。
通信部３６は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

メディアドライブ３７には、リムーバブルメディア３８（磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等）が適宜装着される。メディアドライブ３７によってリムーバブルメディア３８から読み出されたプログラムは、必要に応じて記憶部３４にインストールされる。また、リムーバブルメディア３８は、記憶部３４に記憶されている画像のデータ等の各種データを、記憶部３４と同様に記憶することができる。表示部３５は液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等より構成される。表示部３５は、後述された処理により生成され、ＣＰＵ２１から伝達される撮影準備状態でのライブビュー画像や撮影後の確認用画像が表示される。以下、表示部３５は３２０×２４０画素の解像度を持つとして説明する。

このような構成を有するデジタルカメラ１のうち、光学系の構成例を図３を参照して説明する。

デジタルカメラ１の光学系においては、被写体ＯＢからみて、メインレンズ３１１と、マイクロレンズアレイ３１２と、撮像素子３１３と、がその順番で配置されている。
マイクロレンズアレイ３１２においては、Ｎ×Ｍ個（Ｎ、Ｍは２以上の任意の整数値）のマイクロレンズ３１２−１乃至マイクロレンズ３１２−Ｎ×Ｍの各々が配置されている。図３には横一列（Ｎ個）のマイクロレンズが図示されている。以下、各マイクロレンズ３１２−ｉ（ｉは、１乃至Ｎ×Ｍの範囲内の整数値）が同じ大きさの径をもち、マイクロレンズアレイ３１２に同じ間隔で格子状に配列されているとして説明する。

メインレンズ３１１は、被写体ＯＢ上の点から射出された光束を集光して、所定の面ＭＡに結像させ、マイクロレンズアレイ３１２に入射させる。なお、以下、メインレンズ３１１により結像される面を、「メインレンズ結像面ＭＡ」と呼ぶ。本実施形態では、メインレンズ結像面ＭＡはメインレンズ３１１と撮像素子３１３との間にあるとする。

マイクロレンズ３１２−ｉは、被写体ＯＢからメインレンズ３１１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３１３の上にサブ画像として結像させる。
即ち、撮像素子３１３においては、複数のマイクロレンズ３１２−１乃至マイクロレンズ３１２−Ｎ×Ｍの各々により複数のサブ画像が結像され、これらの複数のサブ画像の集合体であるライトフィールド画像が生成される。
このようにして、同一の被写体に対して異なる角度から見た像が、対応する複数のサブ画像に記録される。言い換えると被写体を同時に複数の視点から見た複数のサブ画像が整列した画像が得られる。

こうして得られたサブ画像は、同一の被写体に対して異なる角度から見た像を含む。そのため、複数のサブ画像から適切な画素を選択して合成することで、撮像時に任意の距離だけ前方に離れていた面に焦点を合わせた画像や、被写界深度を任意に変更した画像を再構成することができる。

ブロック状の被写体ＯＢを撮影したライトフィールド画像ＬＦＩの一例を図４（ａ）に示す。
このライトフィールド画像（ＬＦＩ）は、格子状に配置されたＮ×Ｍ個のマイクロレンズ３１２−ｉのそれぞれに対応する画像（副画像、サブ画像Ｓ_１１〜Ｓ_ＭＮ）から構成されている。例えば、左上のサブ画像Ｓ_１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブ画像Ｓ_ＭＮは被写体ＯＢを右下から撮影した画像に相当する。

第ｉ行のサブ画像（横の一列のサブ画像）Ｓ_ｉ１〜Ｓ_ｉＮは、メインレンズ３１１が結像した像を、マイクロレンズアレイ３１２の第ｉ行の横に並んだマイクロレンズ３１２−ｉで結像したステレオ画像に相当する。同様に、第ｊ列のサブ画像（縦の一列のサブ画像）Ｓ_１ｊ〜Ｓ_Ｍｊは、メインレンズ３１１が結像した像を、マイクロレンズアレイ３１２の第ｊ列の縦に並んだマイクロレンズ３１２−ｉで撮影したステレオ画像に相当する。
なお、本実施形態では各サブ画像Ｓはグレースケール画像であり、サブ画像を構成する各画素は画素値（スカラー値）を持つ。

本実施形態では、マイクロレンズアレイ３１２にはマイクロレンズが横（ｘ軸）に８０個、縦（ｙ軸）に６０個並んでいる。各マイクロレンズに対応するサブ画像が、６０×６０画素の領域に収まって全体で４８００×３６００画素の解像度を持つＬＦＩを形成している。

ＬＦＩにおいて、被写体が各サブ画像単位で点対象に反転して写っている。図４（ｂ）に示す被写体を撮影したＬＦＩの例を図４（ｃ）に示す。この一部（グレーの四角形で囲まれている部分）を拡大すると（図４（ｄ））、被写体（図４（ｂ）の先端部）が上下及び左右方向に反転していることがわかる。デジタルカメラ１は、このようなＬＦＩから、再構成画像ＲＩ（図４（ｂ）に示したような画像になる）を生成して出力する。

デジタルカメラ１は上記物理構成により図５に示すように画像撮影部４０、入力部５０、ＬＦＩ生成部６１０とライブビュー画像生成部６２０と確認画像生成部６３０と本画像生成部６４０とを含む画像生成処理部６０、表示部７０、記憶部８０、として機能する。

画像撮影部４０は、被写体をメインレンズ３１１とマイクロレンズアレイ３１２とで撮影し、その情報をＬＦＩ生成部６１０に伝達する。入力部５０はＲＯＭ２２及びＲＡＭ２３に記憶された撮影設定、入力部３２が受け付けたユーザ操作、ＲＯＭ２２又はＲＡＭ２３に記憶された再構成設定を取得して、画像生成処理部６０の各部に伝達する。

ＬＦＩ生成部６１０は画像撮影部４０から伝達された情報から図４（ａ）で例示したようなＬＦＩを生成する。ＬＦＩ生成部６１０は、ライブビュー画像生成部６２０と、確認画像生成部６３０と、本画像生成部６４０と、に生成したＬＦＩを伝達する。

ライブビュー画像生成部６２０、確認画像生成部６３０及び本画像生成部６４０は、ＬＦＩから各マイクロレンズの位置に基づいてサブ画像から画像（再構成画像）を生成する。

ライトフィールド画像から、各マイクロレンズの位置に基づいてサブ画像から画像（再構成画像）を生成する処理を、以下「再構成処理」と呼ぶ。再構成処理において、再構成される被写体が仮想的に存在する面を、「再構成面」と呼ぶ。
ライブビュー画像生成部６２０は、再構成画像のうちライブビュー用の画像（ライブビュー画像）を生成する。ライブビュー画像を生成する処理を「ライブビュー画像生成処理」と呼ぶ。ライブビューでは撮影時の準備・撮影状況をユーザに表示するため、被写体の画像を高速に切り替えて表示することが望まれる。そのため、本実施形態ではライブビュー画像生成処理は必要な計算量が少なく設定されている。ライブビュー画像生成部６２０は、生成したライブビュー画像を表示部７０に出力する。ライブビュー画像生成部６２０は第１の生成部とも言う。

また、確認画像生成部６３０は再構成画像のうち画像撮影後の確認のための画像（確認画像）を生成する。確認画像を生成する処理を「確認画像生成処理」と呼ぶ。撮影後の確認では、鑑賞用画像ほどの画質は要求されない一方、どのような画像が得られたか確認が出来る程度には高い画質が望まれる。また、撮影後速やかに表示する必要はあるが、ライブビュー画像ほど迅速に生成する必要が無い。そのため、確認画像生成処理はより画質の高い画像を生成できるように、ライブビュー画像生成処理よりは必要計算量が多く設定されている。確認画像生成部６３０は、生成した確認画像を表示部７０に出力する。なお、ここで画質が高いとは、単に解像度が大きいことはもとより、再構成の精度が高い、ノイズが少ない、適切なボケを負荷して本確認の特徴をより的確に反映している、等のユーザにとって利便性の高い画像全般を言う。確認画像生成部６３０は第２の生成部とも言う。

本画像生成部６４０は再構成画像のうち観賞用の画像（本画像）を生成する。本画像を生成する処理を「本画像生成処理」と呼ぶ。本画像は鑑賞に堪えるため、ユーザが所望する再構成設定に合致しかつ高画質な画像であることが望まれる。そのため、本画像生成処理は必要な計算量が大きく設定されている。本画像生成部６４０は、生成した本画像を記憶部８０に記憶する。本画像生成部６４０は第３の生成部とも言う。なお、ライブビュー画像生成部６２０と確認画像生成部６３０と本画像生成部６４０とを区別せず、単に生成部と言う場合もある。

表示部７０は伝達された再構成画像を表示する。なお、表示部７０は３２０×２４０画素の解像度を持つ。
また、記憶部８０は伝達された本画像を記憶する。なお、記憶部８０は本画像を対応する確認画像と共に記憶しても良い。

デジタルカメラ１が実行するＬＦＩを取得して再構成画像を出力するための処理（画像出力処理１）を、図６を参照して説明する。
デジタルカメラ１は、電源を投入され、入力部５０が撮影を準備する操作を受け取ると、図６に示す画像出力処理１を開始する。

画像出力処理１では、まず画像撮影部４０とＬＦＩ生成部６１０とがＬＦＩを生成する（ステップＳ１０１）。

次に、入力部５０がＲＡＭ２３及びＲＯＭ２２に記憶されている現在の撮像設定情報を取得する（ステップＳ１０２）。撮像設定には、現在のメインレンズ３１１の焦点距離ｆ_ＭＬ、絞り（Ｆ値）、マイクロレンズアレイ３１２における各マイクロレンズの位置情報、マイクロレンズアレイ３１２と撮像素子３１３との位置情報、等が含まれる。

撮像設定情報を取得すると、ライブビュー画像生成部６２０がライブビュー画像生成処理を実行する（ステップＳ１０３）。本実施形態では、ライブビュー画像生成処理は後述する画像生成処理１である。

ライブビュー画像生成処理を実行するライブビュー画像生成部６２０の機能構成を図７を参照して説明する。本実施形態では、ライブビュー画像生成部６２０は、図７に示す第１再構成画像生成部７１０である。

第１再構成画像生成部７１０は、サブ画像抽出部７１１と、部分領域定義部７１２と、画素抽出部７１３と、画素配置部７１４と、出力部７１５と、から構成される。第１再構成画像生成部７１０は、これら各部によりＬＦＩから出力画像として第１再構成画像（本願のライブビュー画像）を生成する。第１再構成画像は、３２０×２４０画素の画像とする。

サブ画像抽出部７１１は、ＬＦＩを構成するサブ画像を順次注目サブ画像として抽出して、部分領域定義部７１２に伝達する。

部分領域定義部７１２は、サブ画像抽出部７１１から伝達された注目サブ画像の所定の領域を部分領域として定義する。部分領域の詳細については後述する。部分領域定義部７１２は、部分領域を示す情報を画素抽出部７１３に伝達する。

画素抽出部７１３は部分領域定義部７１２から伝達された情報が示す注目サブ画像上の部分領域から、所定の条件で画素を抽出する。画素を抽出する処理の具体的な内容については後述する。画素抽出部７１３は抽出した画素を画素配置部７１４に伝達する。

画素配置部７１４は画素抽出部７１３が抽出した画素を第１再構成画像上に配置する。画素を配置する処理の具体的な内容については後述する。

サブ画像抽出部７１１から画素配置部７１４は、全てのサブ画像を注目画像として順次画素を抽出して第１再構成画像上に配置することにより、第１再構成画像を生成する。
出力部７１５は、こうして生成された第１再構成画像を外部（表示部７０）に出力する。

次に、第１再構成画像生成部７１０が実行する再構成画像生成処理（画像生成処理１）について、図８及び図９を参照して説明する。
ライブビュー画像生成部６２０（第１再構成画像生成部７１０）は、画像出力処理１（図６）のステップＳ１０３に至ると、図８に示す画像生成処理１を開始する。

画像生成処理１では、まずｋ１をカウンタ変数として、サブ画像抽出部７１１がＬＦＩのｋ１番目のサブ画像を注目サブ画像として抽出する（ステップＳ２０１）。

次に、部分領域定義部７１２が注目サブ画像の所定領域（ここではサブ画像の中心に位置する８×８画素の正方形の領域）を部分領域として定義する（ステップＳ２０２）。この所定領域の大きさは、デジタルカメラ１の設計上撮影可能な被写体について生じる画素のズレ（視差）の大きさに基づいて設定される。例えば、カメラの撮影可能な最も近い距離と遠い距離で生じる画素のズレが４画素から１２画素である場合に、中間付近の８画素を採用する。

部分領域を定義すると、画素抽出部７１３が部分領域の画素を、後述する第１再構成画像中の注目サブ画像に対応する領域（対応領域）の画素数だけ抽出する（ステップＳ２０３）。

そして、抽出した画素を画素配置部７１４が第１再構成画像（生成画像）の対応領域の対応部位に配置する（ステップＳ２０４）。
ステップＳ２０１からステップＳ２０４までの処理について、具体例を用いて図９を参照して説明する。

ＬＦＩには、図９（ａ）に示すように、略円状のサブ画像Ｓ_１１〜Ｓ_ＭＮが格子状に並んでいる。サブ画像Ｓ_１１から順に注目サブ画像として抽出し（ステップＳ２０１）、中心部の８×８画素の正方形の部分を部分領域として抽出する（ステップＳ２０２）。

部分領域の拡大図を図９（ｂ）に示す。図９（ｂ）の左側はサブ画像Ｓ_１１の、右側はサブ画像Ｓ_２３の部分領域である。各部分領域の画素を格子で表し、座標（１，１）〜（８，８）で表す。

第１再構成画像の例を図９（ｃ）に示す。この例では、第１再構成画像は３２０×２４０画素の画像であり、８０×６０個のサブ画像のそれぞれについて、その座標に応じた４×４画素の対応領域（太線で示す領域）に分割されている。
Ｓ_１１の対応領域は図９（ｃ）の座標（１，１）〜（４，４）の正方形の部分であり、Ｓ_２３の対応領域は座標（９，５）〜（１２，８）の正方形の部分である。

ステップＳ２０３では、部分領域から、４×４個の画素を一つ置きに抽出する。そして、ステップＳ２０４で、抽出した画素をサブ画像ごとに上下左右（点対称）に反転して対応領域に配置する。メインレンズ結像面ＭＡが撮像素子３１３の前に存在するため、被写体ＯＢの像がサブ画像ごとに反転しているためである。
図９の例では、Ｓ_１１の部分領域の画素（１，１）は、第１再構成画像の座標（４，４）に配置される。また、Ｓ_１１の部分領域の画素（１，３）が第１再構成画像の座標（３，４）に配置される。以下同様に一つおきに画素を部分領域から抽出して配置し、部分領域の画素（７，７）が第１再構成画像の座標（１，１）に配置される。

図８に戻って、ステップＳ２０４で現在の注目サブ画像について対応領域の全ての画素に抽出した画素を配置すると、次に全サブ画像について上記処理が実行されたか判別する（ステップＳ２０５）。未処理のサブ画像が存在する場合（ステップＳ２０５；ＮＯ）、カウンタ変数ｋ１をインクリメントし（ステップＳ２０６）、次の注目サブ画像についてステップＳ２０１から処理を繰り返す。

一方、すべてのサブ画像について上記処理済である場合は（ステップＳ２０５；ＹＥＳ）、完成した第１再構成画像をライブビュー画像として、画像生成処理１は終了する。

なお、部分領域と対応領域の画素数が同じ場合は、上記抽出処理を省略して、部分領域の全画素を点対称に反転して対応領域に配置すればよい。
また、部分領域が１１×１１画素、対応領域が４×４画素である場合等、等間隔で抽出できない場合は、１番目の画素と、４番目の画素と、７番目の画素と、１１番目の画素と、を抽出するといった、等間隔に近い抽出方法で画素を抽出する。あるいは、部分領域（１１×１１画素）を補間しながら対応領域（４×４画素）にリサイズしても良い。

図６に戻って、ライブビュー画像の生成が終わると、生成したライブビュー画像を表示部７０が表示する（ステップＳ１０４）。
そして、入力部５０が撮像操作（シャッターキー１０を押し込む操作）を検出したか否か判別する（ステップＳ１０５）。撮像操作を検出していないと判別すると（ステップＳ１０５；ＮＯ）、デジタルカメラ１はステップＳ１０１に戻ってライブビュー画像を表示するための処理を繰り返す。

一方、撮像操作を検出したと判別すると（ステップＳ１０５；ＹＥＳ）、次に確認画像生成部６３０が確認画像生成処理を実行する（ステップＳ１０６）。本実施形態では、確認画像生成処理は後述する画像生成処理２である。

確認画像生成処理を実行する確認画像生成部６３０の機能構成を図１０（ａ）を参照して説明する。本実施形態では、確認画像生成部６３０は、図１０（ａ）に示す第２再構成画像生成部７２０である。

第２再構成画像生成部７２０は、サブ画像抽出部７２１と、ズレ値算出部７２２と、部分領域定義部７２３と、配置画像生成部７２４と、画像配置部７２５と、出力部７２６と、から構成される。第２再構成画像生成部７２０は、これら各部によりＬＦＩから出力画像として第２再構成画像（本実施形態の確認画像）を生成する。第２再構成画像は、３２０×２４０画素の画像とする。

サブ画像抽出部７２１は、ＬＦＩを構成するサブ画像を順次注目サブ画像として抽出して、ズレ値算出部７２２に伝達する。

ズレ値算出部７２２は、注目サブ画像が、注目サブ画像を中心とした所定範囲の周囲のサブ画像（周辺サブ画像）に対してどの程度ずれているかを表す係数（画像ズレ係数）を算出する。画像ズレ係数は、例えば以下の方法で算出する。
設計上定められた注目サブ画像の中心の所定領域（例えば中心の１０×１０の領域）を中心領域とし、中心サブ画像に対応する部分が右隣（無い場合は左隣、この場合は以下左右逆）のサブ画像のどこにあるか求める。これは、ある画像部位が他の画像のどこにあるか決定する任意の既知の方法を用いる事が出来るが、本実施形態では次の方法を用いる。
まず、右隣の中心の１０×１０の領域を算出対象部位とする。そして、中心部位と算出対象部位の各画素値の差分絶対値和を取る。次に右に１画素ずらした領域について同様に差分絶対値和を取る。これを起こりうる視差の範囲について繰り返す。得られた絶対差分値和が最小である位置ズレを画像ズレ係数とする。

なお、右隣の２つのサブ画像から画像ズレ係数を取得する場合は、すぐ右隣のサブ画像についてｄ画素ずれた位置で差分絶対値和を求め、その隣のサブ画像について２ｄ画素ずれた位置で差分絶対値和の総和を求め、二つの値の和を評価関数として評価関数が最小となるｄを求めればよい。サブ画像の数が増えた場合は以下同様に処理することが出来る。

部分領域定義部７２３は、ズレ値算出部７２２が算出した画像ズレ係数に対応する部分領域の大きさを、ＲＯＭ２２に記憶された領域テーブルを参照して取得する。
領域定義テーブルは、図１０（ｂ）に示すように、画像ズレ係数の範囲と、領域の大きさを示す値と、を対応づけて記録する。例えば、画像ズレ係数が８である場合、部分領域は注目サブ画像の中心６×６画素の領域である。部分領域定義部７２３は、定義した部分領域を示す情報を配置画像生成部７２４に伝達する。

なお、領域定義テーブルは、画像ズレ係数が大きくなると、所定のオフセット値を前提としておおむね比例して部分領域の大きさが大きくなるようなテーブルであることが望ましい。
領域の大きさを求める方法はこれに限らず、画像ズレ係数が大きくなると部分領域の大きさ（自然数）が所定範囲で大きくなるような任意のテーブルまたは算出式を用いて算出して良い。

配置画像生成部７２４は、部分領域を定義する情報を受け取ると、その領域に含まれる画像を補間によりリサイズして、生成画像（第２再構成画像）に配置するための配置画像を生成する。具体的には、生成画像（第２再構成画像）の対応領域の大きさに合致する大きさ（ここでは４×４画素）にリサイズする。

画像配置部７２５は配置画像生成部７２４が生成した配置画像を第２再構成画像上に配置する。

サブ画像抽出部７２１から画像配置部７２５は、全てのサブ画像について配置画像生成し、画像配置部７２５が第２再構成画像上に配置して第２再構成画像を生成する。
出力部７２６は、こうして生成された第２再構成画像を外部（表示部７０）に出力する。

次に、第２再構成画像生成部７２０が実行する処理（画像生成処理２）について、図１１及び図１２を参照して説明する。
確認画像生成部６３０（第２再構成画像生成部７２０）は、画像出力処理１（図６）のステップＳ１０６に至ると、図１１に示す画像生成処理２を開始する。

画像生成処理２では、まずｋ２をカウンタ変数として、サブ画像抽出部７２１がＬＦＩのｋ２番目のサブ画像を注目サブ画像として抽出する（ステップＳ３０１）。

次に、ズレ値算出部７２２が注目サブ画像の所定領域（中央部１０×１０画素）に写っている被写体が、右隣のサブ画像で中央から何画素ずれていると推定されるかを示す画像ズレ係数を上述した方法で算出する（ステップＳ３０２）。

次に、部分領域定義部７２３が注目サブ画像の部分領域を定義する（ステップＳ３０３）。ステップＳ３０３では、領域定義テーブルを参照して、ステップＳ３０２で得られた画像ズレ係数に対応する領域の大きさＬを取得する。そして、注目サブ画像の中央部にその大きさの領域（Ｌ×Ｌ画素の正方形の領域）を部分領域として定義する。

そして配置画像生成部７２４が、Ｌ×Ｌ画素の部分領域の画像を第２再構成画像中の注目サブ画像に対応する領域（対応領域）に合致するようにリサイズして配置画像とする（ステップＳ３０４）。対応領域の大きさは、設定上定められた第２再構成画像（ここでは３２０×２４０画素）を各サブ画像に分配した大きさであり、予め記憶された設定値に従う。

そして、配置画像を第２再構成画像（生成画像）の注目サブ画像に対応する部位に配置する（ステップＳ３０５）。ここでは、左右上下に反転して配置する。
ステップＳ３０１からステップＳ３０５までの処理の具体例を、図１２を参照して説明する。

ＬＦＩには、図１２（ａ）に示すように、略円状のサブ画像Ｓ_１１〜Ｓ_ＭＮが格子状に並んでいる。Ｓ_１１から順に注目サブ画像として抽出し（ステップＳ３０１）、右隣のサブ画像との位置ズレ係数を取得する（ステップＳ３０２）。図１２（ａ）では、太い矢印で示したＳ_１１のＳ_１２との画像ズレ係数は大きく、Ｓ_２３のＳ_２４との画像ズレ係数は小さいとする。

画像ズレ係数が大きいほど部分領域が大きくなるように定義する（ステップＳ３０３）。
本例では図１２（ｂ）に示すように、Ｓ_１１の中心部の１０×１０画素の正方形の部分をＳ_１１の部分領域として、Ｓ_２３の中心部の３×３画素の正方形の部分をＳ_２３の部分領域として、それぞれ定義している。

第２再構成画像の例を図１２（ｃ）に示す。この例では、第２再構成画像は３２０×２４０画素の画像であり、８０×６０個のサブ画像のそれぞれについて、その座標に応じた４×４画素の対応領域（太線で示す領域）が定義される。

ステップＳ３０４では、部分領域の画像をリサイズして４×４の配置画像とし、続くステップＳ３０５では配置画像を上下左右（点対象）に反転して対応領域に配置する。メインレンズ結像面ＭＡが撮像素子３１３の前に存在するため、被写体ＯＢの画像はサブ画像ごとに反転しているためである。リサイズは、液晶モニタ画面１３の画素数に対応した第２再構成画像が小さい場合は縮小のみとなり、縮小率が画像ズレ係数に応じて変化する。一方、液晶モニタ画面１３の画素数が大きく、対応領域が大きければ、画像ズレ係数に応じて拡大又は縮小を行うこととなる。

図１１に戻って、ステップＳ３０５で現在の注目サブ画像について対応領域に画像を配置すると、次に全サブ画像について上記処理が実行されたか判別する（ステップＳ３０６）。未処理のサブ画像が存在する場合（ステップＳ３０６；ＮＯ）、カウンタ変数ｋ２をインクリメントし（ステップＳ３０７）、次の注目サブ画像についてステップＳ３０１から処理を繰り返す。

一方、すべてのサブ画像について上記処理済である場合は（ステップＳ３０６；ＹＥＳ）、完成した第２再構成画像を確認画像として、画像生成処理２は終了する。

なお、ここでは確認画像を、液晶モニタ画面１３の画素数に対応してライブビュー画像と同じ画素数（３２０×２４０画素）とした。しかし、確認画像はライブビュー画像より大きくても良い。
また、配置画像を、部分領域をリサイズして生成したが、部分領域の画素を対応領域の大きさに合わせて抽出して配置画像を生成しても良い。

図６に戻って、確認画像の生成が終わると、生成した確認画像を表示部７０が表示する（ステップＳ１０７）。
そして、入力部５０が記憶部３４、入力部３２等から本画像を生成するための再構成設定を取得する（ステップＳ１０８）。再構成設定には、メインレンズ３１１と再構成面との距離及び再構成画像が占める部位、フィルタの使用の有無及びフィルタ設定、再構成画像の画素数、等の情報が含まれる。

再構成設定を取得すると、その再構成設定を用いて本画像生成部６４０が本画像生成処理を実行する（ステップＳ１０９）。本実施形態では、本画像生成処理は後述する画像生成処理３である。

本画像生成処理を実行する本画像生成部６４０の機能構成を図１３を参照して説明する。本実施形態では、本画像生成部６４０は、図１３に示す第３再構成画像生成部７３０である。

第３再構成画像生成部７３０は、サブ画像抽出部７３１と、画素ズレ係数算出部７３２と、フィルタ処理部７３３と、画像ズレ係数算出部７３４と、部分領域定義部７３５と、画像配置部７３６と、出力部７３７と、から構成される。第３再構成画像生成部７３０は、これら各部によりＬＦＩから出力画像として第３再構成画像（本願の本画像）を生成する。

サブ画像抽出部７３１は、ＬＦＩを構成するサブ画像を順次注目サブ画像として抽出して、画素ズレ係数算出部７３２に伝達する。

画素ズレ係数算出部７３２は、注目サブ画像の各画素を順次注目画素として、注目画素に対応する画素が、周辺サブ画像でどの程度ずれているかを示す係数（注目画素の画素ズレ係数）を算出する。画素ズレ係数は注目画素の被写体との距離に対応する。画素ズレ係数は、ＬＦＩの画素の被写体の距離を推定する任意の方法を用いて算出してよいが、ここでは以下の方法で算出する。

注目サブ画像の右側（無い場合は左側、この場合は以下左右逆）のサブ画像を、位置順にＳＲ１、ＳＲ２、…ＳＲｋとする。ｋは設定上定められた自然数である。また、注目画素の画素値を画素値ａ、注目サブ画像上の座標を（ｘ、ｙ）とする。現在の画素ズレをｄとして、画素値ａとＳＲ１の（ｘ＋ｄ、ｙ）の画素値（右にｄ個ずれた画素の画素値）との差を取る。同様に、ＳＲ２の（ｘ＋２ｄ、ｙ）との差、…、ＳＲｋの（ｘ＋ｋｄ、ｙ）との差、をそれぞれ取得して、差分絶対値和を求める。これを起こりうる視差の範囲について繰り返す。得られた絶対差分値和が最小である位置ズレを画素ズレ係数とする。

画素ズレ係数算出部７３２は、注目サブ画像に含まれる全ての画素の画素ズレ係数を算出し、フィルタ処理部７３３に伝達する。フィルタ処理部７３３は、画素ズレ係数が示す各画素に対応する被写体までの距離と、入力部５０から取得した再構成設定に含まれる再構成面までの距離と、を比較する。そして、その差に応じたフィルタ処理を実行して、ライトフィールド画像の各画素についてボケ付加を行う。再焦点距離と被写体までの距離の差が所定値以上あれば設定されたボケ強度に従ってボケ付加処理を行う。ボケ付加処理には例えばガウシアンフィルターを用いる。

ある画素が非常に遠くにある被写体を撮影した点である場合には画素ズレ係数（位置ずれの量に対応）は小さく、近くにある被写体を撮影した点である場合に大きい。この位置ずれと、実世界における被写体とカメラの距離の関係は、メインレンズ３１１、マイクロレンズアレイ３１２内のマイクロレンズ３１２−ｉの焦点距離と、撮像素子３１３の置かれた位置および大きさによって決まる。位置ズレと、被写体距離の対応関係は、予め実験によって求められ、ズレ距離テーブルとしてＲＯＭ２２に格納されている。

本実施形態ではズレ距離テーブルを用いてフィルタ処理を実行する。ズレ距離テーブルは予め実験により求められ、ＲＯＭ２２に記憶されている。ズレ距離テーブルは、所定範囲の距離を示すレベル（ＬＶ）と、そのレベルに属するズレ係数（画像ズレ係数及び画素ズレ係数）と、そのレベルに属する再構成面までの距離と、を対応付けて記憶している。

フィルタ処理部７３３は、画素ズレ係数が属するレベルと、再構成面までの距離が属するレベルと、の差をズレ距離テーブルを用いて算出する。差が０である画素は再構成面に十分近い距離にある被写体に対応するとの推定の元、フィルタ処理を実行しない。即ち、ボケは付加されない。一方、その差が１以上あれば、その画素の被写体は再構成面とずれているため、ボケを付加する。差が大きくなればなるほど、強いボケを付加するようにフィルタ処理を実行する。

画像ズレ係数算出部７３４は、図１０のズレ値算出部７２２と同様に注目サブ画像の画像ズレ係数を算出する。ただし、画像ズレ係数算出部７３４は、横方向と縦方向両方に画像ズレ係数を算出した後、両者を平均して注目画像の画像ズレ係数とする。また、画像ズレ係数に応じて、部分領域の画像を再構成画像に配置する際の間隔を決定する。配置間隔は、画像ズレ係数と、撮像設定情報に含まれるメインレンズ３１１の焦点距離と、マイクロレンズアレイ３１２内のマイクロレンズ３１２−ｉの焦点距離と、撮像素子３１３の置かれた位置と、再構成設定に含まれる再構成面までの距離によって定まる。
遠くにある被写体ほどマイクロレンズ毎の見込み角度の差が小さくなるためサブ画像内での移動も小さい。これに従い配置間隔を小さくする。逆に近くにある被写体ほどマイクロレンズ毎の見込み角度の差が大きくなるためサブ画像内での移動も大きい。これに従い配置間隔を大きくする。

本実施形態では、メインレンズ３１１の焦点距離と、再構成面までの距離と、画像ズレ係数とをインデックスとして配置間隔を定めたＲＯＭ２２に記憶されたテーブル（配置間隔テーブル）を用いて決定するものとする。
配置間隔テーブルは、固定パラメータであるマイクロレンズアレイ３１２内のマイクロレンズ３１２−ｉの焦点距離と、撮像素子３１３の置かれた位置と、に応じて、画像ズレ係数と、再構成面までの距離と、メインレンズ３１１の焦点距離と、のそれぞれの値に対して実験により求めた好適な配置間隔の値を定義している。
なお、配置間隔は、上記パラメータを変数とするＲＯＭ２２に記憶された予め実験により定めた方程式により求めても良い。

部分領域定義部７３５は、図１０（ｂ）の領域定義テーブルから画像ズレ係数に合致する部分領域の大きさを取得し、注目サブ画像のボケ強度の大きさに基づいて大きさを補正する。
注目画像のボケ強度は、注目サブ画像全体がどの程度再構成面からずれており、その部分をぼかして表示すべきかを定める係数である。ここでは、前述のズレ距離テーブルが定める画像ズレ係数のレベルと、再構成面までの距離のレベルと、の差をボケ強度とする。

補正後の部分領域の一辺は配置間隔よりも大きいものである。そのため、部分領域の画像が第３再構成画像に配置された際には配置画像同士の重なりが生ずる。重ねた部分については画素値を加算平均するから、重ねられる配置画像の枚数が多いほどボケが強くなる。そのため、ボケ強度が強ければ、部分領域の大きさが大きくなるように補正を実行する。

画像配置部７３６は、部分領域の画像をリサイズせず、生成画像（第３再構成画像）に配置する。このとき、前に配置された部分領域の画像との間隔は、上記画像ズレ係数算出部７３４が求めた配置間隔に従う。このとき、配置した画像が重なるように配置間隔と部分領域の大きさが定められている。重なった部分については、重複して配置された画素の画素値を加算平均して生成画像の画素値とする。
サブ画像抽出部７３１〜画像配置部７３６は、ＬＦＩに含まれる全てのサブ画像について上記処理を実行して、第３再構成画像を生成する。

次に、第３再構成画像生成部７３０が実行する処理（画像生成処理３）について、図１４及び図１５を参照して説明する。
本画像生成部６４０（第３再構成画像生成部７３０）は、画像出力処理１（図６）のステップＳ１０９に至ると、図１４に示す画像生成処理３を開始する。

画像生成処理３では、まずｋ３をカウンタ変数として、サブ画像抽出部７３１がＬＦＩのｋ３番目のサブ画像を注目サブ画像として抽出する（ステップＳ４０１）。

次に、注目サブ画像の各画素について、画素ズレ係数算出部７３２が上記のとおり画素ズレ係数を算出する（ステップＳ４０２）。

そして、注目サブ画像の各画素について、フィルタ処理部７３３がズレ距離テーブルを用いて画素ズレ係数と再構成距離との差（レベル差）を算出する（ステップＳ４０３）。

次に、再構成距離との差が所定以上ある（レベル差が０でない）画素について、ＲＯＭ２２に記憶された条件でレベル差に応じたフィルタ処理を実行する（ステップＳ４０４）。

次に、画像ズレ係数算出部７３４が、注目サブ画像の画像ズレ係数を取得する（ステップＳ４０５）。ステップＳ４０５では、図１１のステップＳ３０２と同様に右隣について画像ズレ係数を取得した上で、下隣（無い場合は上）にも画像ズレ係数を取得し、両者の平均を注目サブ画像の画像ズレ係数とする。
計算量の増加と引き換えに縦方向と横方向と両方の位置ずれに基づいて画像ズレ係数を算出するので、図１１のステップＳ３０２よりも正確にサブ画像の被写体距離を反映した画像ズレ係数となり、生成画像の画質が向上する。その他に画像ズレ係数の精度を向上する方法として、１方向についてより多いサブ画像について画像ズレ係数を計算することが考えられる。
なお、画像ズレ係数はステップＳ４０２で求めたサブ画像の各画素の画素ズレ係数を平均して求めてもよい。

次に、ステップＳ４０６において、画像ズレ係数算出部７３４は、画像ズレ係数と、メインレンズ３１１の焦点距離と、再構成面までの距離と、に応じた配置間隔の数値をＲＯＭ２２に記憶された配置間隔テーブルから読み出し、配置間隔として設定する。

次に、部分領域定義部７３５が、領域定義テーブルから画像ズレ係数に合致する部分領域の大きさ（Ｌ２×Ｌ２）を取得する。さらに、ボケ強度が大きくなれば部分領域が大きくなるように補正して、部分領域の大きさ（Ｌ２×Ｌ２）を決定する。そして、注目サブ画像の中央部のＬ２×Ｌ２の正方形の領域を、部分領域として定義する（ステップＳ４０７）。なお、Ｌ２は配置間隔よりも大きい。
図１５（ａ）及び（ｂ）の例では、Ｓ_１１とＳ_１２は画像ズレ係数が大きいので、部分領域が大きい。一方、Ｓ_２３は画像ズレ係数が小さく、部分領域が小さい。

そして、部分領域の画像を、ステップＳ４０６で定めた配置間隔で生成画像である第３再構成画像に配置する（図１５（ｃ）、ステップＳ４０８）。ここでは、左右上下に反転して配置する。画像が重なるので、重なった部分については重なった分だけ加算平均して画素値を定める。図１５（ｃ）では、Ｓ_１１の部分領域の画像（横線の領域）とＳ_１２の部分領域の画像（縦線の領域）が重なっている。

ステップＳ４０８で現在の注目サブ画像について対応領域に画像を配置すると、次に全サブ画像について上記処理が実行されたか判別する（ステップＳ４０９）。未処理のサブ画像が存在する場合（ステップＳ４０９；ＮＯ）、カウンタ変数ｋ３をインクリメントし（ステップＳ４１０）、次の注目サブ画像についてステップＳ４０１から処理を繰り返す。

一方、すべてのサブ画像について上記処理済である場合は（ステップＳ４０９；ＹＥＳ）、完成した第３再構成画像を本画像として、画像生成処理３は終了する。

図６に戻って、本画像の生成が終わると、生成した本画像を記憶部８０に記憶し（ステップＳ１１０）、画像出力処理１は終了する。

画像生成処理３では、サブ画像ごとのボケ加工と、画素ごとのボケ加工がそれぞれ実行される。そのため、画素ごとの被写体距離推定に誤りが含まれていた場合でも、サブ画像ごとのボケ加工（重ね書きに）より平均化され、誤りの影響が緩和される。そのため、画質が高い本画像を生成できる。

以上説明したとおり、本実施形態のデジタルカメラ１は、確保できる計算時間と用途に合わせた複数の再構成画像生成手段を有する。そのため、ライブビュー、撮影後の確認、観賞用、といったさまざまな用途に合わせた好適な再構成画像を、好ましい速さで生成して表示することが出来る。このように、本実施形態のデジタルカメラ１は状況に合わせて必要十分な画質の再構成画像を十分な速さで表示できるため、ユーザにとって利便性が高い。

具体的には、第１再構成画像生成処理により、少ない計算量でＬＦＩに含まれる全てのサブ画像の内容を含む再構成画像（第１再構成画像）を生成することが出来る。
そのため、ライブビューに使用するなど、通常の再構成画像生成処理（例えば特許文献１に例示されたような）には十分な計算量が確保できない場合でも、撮影準備のために使用できる再構成画像を特に高速に生成して表示することが出来る。また、サブ画像から一つずつ画素を抽出して並べた画像を使用する場合に比べて、画質が高い画像を生成できる。

また、第２再構成画像生成処理により、各サブ画像単位で被写体の距離に対応する係数に応じた、第１再構成画像よりも画質が高い再構成画像（第２再構成画像）を生成することが出来る。この処理の必要計算量は、第１再構成画像生成処理よりは多いが、通常の再構成画像生成処理（例えば特許文献１に例示されたような）よりは少ない。そのため、第１再構成画像よりも画質が高い再構成画像を、撮影後の確認用に高速に表示することが出来る。

さらに、第３再構成画像生成処理により、サブ画像単位のボケ加算処理と、画素単位のボケ加算処理と、を実行した画質の高い再構成画像（第３再構成画像）を生成できる。この処理の必要計算量は、第２再構成画像生成処理よりは多いが、通常の再構成画像生成処理（例えば特許文献１に例示されたような）よりは少ない。そのため、デジタルカメラ等の、ＣＰＵの処理速度が制限されるような端末で、画質が高い再構成画像を生成することができる。
また、第１〜第３再構成画像生成処理においてサブ画像毎に上下左右に反転して画像を配置することで、光学系の構成によりサブ画像毎に反転して撮影された像から、正しく配置した再構成画像を少ない計算量で生成することが出来る。

また、本実施形態のデジタルカメラ１は、画像ズレ係数が大きいサブ画像についてより大きな部分領域を定義して、その部分領域の全体の情報が再構成画像に現れるように設定されている。
画像ズレ係数が大きいことは、注目サブ画像の被写体がメインレンズから近い位置にあり、隣のサブ画像では、対応するマイクロレンズの視差により見える位置が大きくずれていることを示す。ここでは中央部の被写体を、サブ画像を代表する被写体とする。
対応する被写体の位置がサブ画像間で大きくずれることは、隣接するサブ画像の部分領域をつなげて全体の画像を構成するに当たって情報の抜けを作らないために必要な部分領域の大きさが大きいことを意味する。そこで、本実施形態では画像ズレ係数が大きいほど部分領域を大きく取って生成画像の対応領域に配置して、生成画像に情報の抜けが生じないようにしている。また、画像ズレ係数が小さい画像については部分領域を小さくして、隣同士のサブ画像間に現れる情報の重複が、再構成画像上に過度に現れないようにしている。
本実施形態のデジタルカメラ１では、このような構成により高速に生成した再構成画像であっても、視差による位置ズレを考慮し、情報抜けや情報の重複の度合いを軽減することができる。

（実施形態２）
本発明の実施形態２について説明する。
本実施形態のデジタルカメラ１は、図２に示す物理構成を持つ。本実施形態のデジタルカメラ１は、実施形態１の対応する部位と比べて、ＣＰＵ２１がより高速であり、表示部３５がより大きな解像度、例えばＶＧＡ（６４０×４８０画素）を持つ。その他の図２の各部は、実施形態１のデジタルカメラ１と同様である。
本実施形態のデジタルカメラ１では、表示部３５が大きいので、実施形態１に記載した方法では画像の粗さが目立ってしまう。そこでＣＰＵ２１が高速なことを利用して、より高精細で画質の高い、デジタルカメラ１の表示部３５に表示するための再構成画像を作成する。

本実施形態のデジタルカメラ１は、図５に示す機能構成を備える。
本実施形態では、ライブビュー画像生成部６２０は第２再構成画像生成部７２０であり、確認画像生成部６３０は第３再構成画像生成部７３０であり、本画像生成部６４０は第４再構成画像生成部である。その他の図５の各部は、実施形態１のデジタルカメラ１の対応する構成と同様である。

第２再構成画像生成部７２０と第３再構成画像生成部７３０とは、実施形態１の同名の部位と同様の構成を持つ。
第４再構成画像生成部は、後述する再構成画像生成処理を実行してＬＦＩから再構成画像を生成し、記憶部８０に生成した画像を伝達する。

本実施形態のデジタルカメラ１が実行する処理について、フローチャートを参照して説明する。

デジタルカメラ１は、電源を投入され、入力部５０が撮影を準備する操作を受け取ると、図１６に示す画像出力処理２を開始する。

画像出力処理２では、ステップＳ５０１からステップＳ５０２までを、図６の画像出力処理のステップＳ１０１からステップＳ１０２までと同様に実行する。

本実施形態では、ステップＳ５０３で画像生成処理２（図１１）を実施形態１と同様に実行してライブビュー画像を生成する。

ステップＳ５０３でライブビュー画像の生成が終わると、デジタルカメラ１はステップＳ５０４からステップＳ５０５までを、図６の画像出力処理１のステップＳ１０４からステップＳ１０５までと同様に実行する。

ステップＳ５０６では、図１３の第３再構成画像生成部７３０である確認画像生成部６３０が、図１４に示す画像生成処理３を、実施形態１と同様に実行して確認画像を生成する。

図１６に戻って、ステップＳ５０６で確認画像の生成が終わると、デジタルカメラ１はステップＳ５０７を、図６の画像出力処理のステップＳ１０７と同様に実行する。

ステップＳ５０８では、第４再構成画像生成部である本画像生成部６４０が、画像生成処理４を実行して本画像を生成する。
画像生成処理４は、ライトフィールド画像の画素値を、光線が通過してきたマイクロレンズ毎に重み付け加算することで画像再構成を行う。

画像生成処理４は、次のような手順で再構成画像を生成する。
（１）再構成したい画素からの光線がメインレンズの主点を通過してマイクロレンズアレイに到達した位置を特定する。
（２）特定された位置を中心に再構成面に対応する再焦点距離に基づいた半径のメインレンズブラー領域（再構成したい画素からの光線が到達するマイクロレンズアレイ上の領域）を計算する。
（３）マイクロレンズアレイに含まれるマイクロレンズの内、一部又は全てがメインレンズブラー領域に含まれるマイクロレンズを特定する。
（４）特定されたマイクロレンズの内の一つを選択する。
（５）選択されたマイクロレンズとメインレンズブラー領域とが重なっている面積を計算し、これをマイクロレンズの面積で割って重み付け係数とする。
（６）再構成したい画素からの光線が、選択されたマイクロレンズによって結像される位置にある、サブ画像上に画素値を取得する。
（７）この取得された画素値に先の重み付け係数をかけたものを補正画素値とする。
（８）一部又は全てがメインレンズブラー領域に含まれるマイクロレンズの全てにわたって補正画素値を計算し総和を取る。
（９）補正画素値の総和を、重なり面積の総和で除算して再構成したい画像の画素値とする。

ステップＳ５０８で本画像の生成が終わると、デジタルカメラ１はステップＳ５０９を、図６の画像出力処理のステップＳ１１０と同様に実行して、画像出力処理２を終了する。

以上説明したように、本実施形態のデジタルカメラ１では、実施形態１の確認画像と同等の画質でライブビュー画像を表示できる。また、実施形態１の本画像と同等の画質で確認画像を表示できる。

また、本実施形態の変形例として、ライブビュー画像を画像生成処理２に代わり画像生成処理１を用いて生成する構成が考えられる。
この構成によれば、もっとも生成速度が速いことが望まれるライブビュー画像については実施形態１と同様の少ない計算量で生成できる一方、確認画像と本画像については実施形態１よりも高い画質の画像とすることができる。
なお、本実施形態の第４再構成画像生成部はＬＦＩから再構成画像を生成する既知の任意の処理（例えば特許文献１に例示された処理）を用いて再構成画像を生成するとしてもよい。

（第３実施形態）
本発明の実施形態３について説明する。
本実施形態のデジタルカメラ１は、図２に示す物理構成を持つ。本実施形態のデジタルカメラ１は、実施形態２の対応する部位と比べて、ＣＰＵ２１がより高速である。その他の図２の各部は、実施形態２のデジタルカメラ１と同様である。

実施形態１及び実施形態２においては、ライブビュー画像としてボケを含まない画像を表示した。実施形態３においては、ＣＰＵ２１がより高速であることを利用し、ライブビュー画像段階からボケを付加した画像を表示することを特徴とする。

本実施形態のデジタルカメラ１は、図５に示す機能構成を備える。
本実施形態では、ライブビュー画像生成部６２０は、図１８に示す第５再構成画像生成部７４０である。その他の図５の各部は、実施形態２のデジタルカメラ１の対応する構成と同様である。

第５再構成画像生成部７４０は、図１３に示す第３再構成画像生成部７３０と比して、（１）画素ズレ係数算出部７３２とフィルタ処理部７３３に対応する部位が無い、（２）画像ズレ係数算出部７３４ａが所定部位のサブ画像の画素ズレ係数を取得し、その平均値を全サブ画像のズレ係数として配置領域の大きさ・配置間隔を決定する、点が異なる。その他の部位は実施形態１の第３再構成画像生成部７３０の同名の部位と同様である。

本実施形態のデジタルカメラ１が実行する処理について、フローチャートを参照して説明する。

デジタルカメラ１は、電源を投入され、入力部５０が撮影を準備する操作を受け取ると、図１７に示す画像出力処理３を開始する。

画像出力処理３では、ステップＳ６０１からステップＳ６０２までを、実施形態１に係る図６の画像出力処理のステップＳ１０１からステップＳ１０２までと同様に実行する。

本実施形態では、ステップＳ６０３で画像生成処理５（図１９）を実行してライブビュー画像を生成する。

画像生成処理５を、図１９を参照して説明する。
画像生成処理５では、まず画像ズレ係数算出部７３４ａが、ＬＦＩに含まれるサブ画像のうち、設定で定められた一部のサブ画像について画像ズレ係数を取得する（ステップＳ７０１）。ここで、「一部のサブ画像」から得られた画像ズレ係数が、ＬＦＩ全体のずれ度合いを反映するように「一部」を設定する。具体的には、中央部の所定部位、角の４つのサブ画像、等が考えられる。
各サブ画像について画像ズレ係数を取得する方法は実施形態１に係る画像生成処理２（図１１）のステップＳ３０２と同様である。

次にステップＳ７０１で算出した一部のサブ画像の画像ズレ係数に基づいてＬＦＩ全体の画像ズレ係数とする。ここでは、算出した複数の画像ズレ係数を加算平均して、ＬＦＩに含まれるサブ画像全体のズレ係数として設定する（ステップＳ７０２）。

そして、サブ画像全体のズレ係数に基づいて、予めＲＯＭ２２又は記憶部３４に保存された条件に従って全てのサブ画像に適用される配置間隔と部分領域の大きさを算出する（ステップＳ７０３）。ズレ係数が大きくなると部分領域及び配置間隔も大きくなる。また、部分領域の大きさは配置間隔より大きい。ここでは、例えばサブ画像全体のズレ係数が１０の場合には配置間隔を１０画素に、部分領域の大きさを２０画素×２０画素とする。

次に、ｋ４をカウンタ変数として、サブ画像抽出部７３１がＬＦＩのｋ４番目のサブ画像を注目サブ画像として抽出する（ステップＳ７０４）。

そして、部分領域定義部７３５が、図１４のステップＳ４０７と同様に注目サブ画像の中央部にステップＳ７０３で求めた大きさの部分領域を定義する（ステップＳ７０５）。

さらに、画像配置部７３６が、図１４のステップＳ４０８と同様に、ステップＳ７０３で求めた配置間隔で部分領域の画像を配置する（ステップＳ７０６）。このとき、画像は上下左右に反転して配置される。

そして、ステップＳ７０７で全てのサブ画像について画像を配置する処理を実行したか判別する。
未処理のサブ画像が残っている場合には（ステップＳ７０７；ＮＯ）、ｋ４をインクリメント（ステップＳ７０８）してステップＳ７０４から処理を繰り返す。
一方、全てのサブ画像について処理が終了していた場合には（ステップＳ７０７；ＹＥＳ）、生成した画像をライブビュー画像として出力し、画像生成処理５は終了する。
図１７に戻って、ステップＳ６０４からステップＳ６０９までを、実施形態２での図１６のステップＳ５０４からステップＳ５０９までと同様に実行して、処理を終了する。

以上説明したように、本実施形態のデジタルカメラ１によれば、ライブビュー画像の生成段階からボケを付加した画像を表示することができる。これによりユーザは容易に完成画像を予想できる。
また、ライブビュー画像の生成段階では画素ごとのズレ係数を算出する必要が無いため、ボケを付加するための必要計算量の増大が少ない。そのため、ボケを付加した画像を高速に生成することが出来る。

（第４実施形態）
本発明の実施形態４について説明する。
本実施形態のデジタルカメラ１は、図２に示す物理構成を持つ。デジタルカメラ１の各部の機能は、実施形態１のデジタルカメラ１と同様である。

実施形態１においては、画像生成処理２及び画像生成処理３において、全てのサブ画像について画像ズレ係数を算出した。また、実施形態３では画像生成処理５において、一部のサブ画像（中央部の所定部位又は角の４つのサブ画像、など）の画像ズレ係数を算出し、その加算平均を全体の画像ズレ係数として設定した。これに対して、本実施形態ではライブビュー画像を生成するに当たって一部のサブ画像について画像ズレ係数を算出し、算出結果からその他のサブ画像（画像ズレ係数の算出対象外）の画像ズレ係数を推定する。また、本実施形態は算出対象となるサブ画像を巡回的に選択することを特徴とする。

本実施形態のデジタルカメラ１は、図５に示す機能構成を備える。
本実施形態では、ライブビュー画像生成部６２０は第６再構成画像生成部７５０（図２０）であり、確認画像生成部６３０は図１３に示す第３再構成画像生成部７３０である。また、本画像生成部６４０は、実施形態２で説明した第４再構成画像生成部である。その他の図５の各部は、実施形態１のデジタルカメラ１の対応する構成と同様である。

図２０の第６再構成画像生成部７５０は、画像ズレ係数算出部７５１と、画像ズレ係数推定部７５２と、サブ画像抽出部７２１と、部分領域定義部７２３と、配置画像生成部７２４と、画像配置部７２５と、出力部７２６と、から構成される。第６再構成画像生成部７５０は、図１０（ａ）の第２再構成画像生成部７２０と比べて、ズレ値算出部７２２の代わりに画像ズレ係数算出部７５１と、画像ズレ係数推定部７５２と、を含む。その他の構成については第２再構成画像生成部７２０と同様である。

画像ズレ係数算出部７５１は、ライブビュー画像を生成する度に、ズレ係数の算出対象となるサブ画像（算出画像）を巡回的に選択する。そして、選択した算出画像について、画像ズレ係数を算出する。具体的には、サブ画像をｎ個のグループ（例えばｎ＝２）にクラス分けする。そして、ライブビュー画像を順次生成するにあたって、注目グループ（算出画像を含むグループ）として、一ループ毎にグループを順に選択する。注目グループに属するサブ画像を算出画像とする。ｎの値は、予め設定され記憶部３４に記憶されている。
画像ズレ係数の算出方法は、実施形態１のズレ値算出部７２２と同様である。

画像ズレ係数推定部７５２は、画像ズレ係数算出部７５１が算出した算出画像の画像ズレ係数を用いて、算出画像以外のサブ画像（推定画像）の画像ズレ係数を推定する。推定の具体的な方法は後述する。

本実施形態のデジタルカメラ１が実施する処理を、図２１を参照して説明する。本実施形態のデジタルカメラ１は、電源を投入され、入力部５０が撮影を準備する操作を受け取ると、図２１に示す画像出力処理４を開始する。

画像出力処理４では、実施形態１で実行される画像出力処理１（図６）のステップＳ１０１及びステップＳ１０２と同様に、ステップＳ８０１及びステップＳ８０２を実行する。

そして、ライブビュー画像生成部６２０（第６再構成画像生成部７５０）の画像ズレ係数算出部７５１がフレームフラグを更新する（ステップＳ８０３）。フレームフラグは、算出画像を算出するグループを選ぶためのフラグである。フレームフラグは最初１に設定され、ライブビュー画像を生成するループ（ステップＳ８０１〜Ｓ８０７）が一度回るごとに、１ずつ加算される。そして、設定されたグループ数ｎを超えると、１に戻る。その結果、例えばｎ＝４の場合、フレームフラグは１、２、３，４、１、２、３，４，１…のように、１〜４までの数値が巡回的に設定される。

ステップＳ８０３でフレームフラグを更新すると、画像ズレ係数算出部７５１が算出画像の画像ズレ係数を算出し、推定画像の画像ズレ係数を推定するための処理（ズレ係数推定処理）を開始する。

ステップＳ８０４で実行されるズレ係数推定処理について、図２２を参照して説明する。ズレ係数推定処理では、まず画像ズレ係数算出部７５１が、現在のフレームフラグに応じた算出画像を選択する（ステップＳ９０１）。

ここで選択される算出画像の選択方法について、図２３及び図２４を用いて説明する。図２３及び図２４では、各サブ画像が正方形で表されている。例えば、サブ画像が２つのグループに分かれている場合（ｎ＝２）、図２３の黒で示されたサブ画像と、白で示されたサブ画像の何れかが算出画像として選択される。例えば、フレームフラグが１である場合に黒、フレームフラグが２である場合には白のサブ画像が選択される。

あるいは、ＬＦＩをｎ個のサブ画像を含む領域に分割して、分割した領域内で巡回的に算出画像を選択してよい。例えばｎ＝９である場合に、図２４に示したように縦３個、横３個のサブ画像を含む領域（太線）に分割する。そして、領域内のサブ画像を１〜９までナンバリングする。例えば、図２４のサブ画像ａ１〜ａ９は、一つ目の領域（ａ領域）の１〜９番目のサブ画像をそれぞれ意味する。そして、各領域（図２４の例では、ａ領域〜ｌ領域）から、現在のフレームフラグと一致する番号のサブ画像を一つ、算出画像として選択する。

ステップＳ９０１で算出画像を選択すると、次に画像ズレ係数算出部７５１が算出画像から一つ注目サブ画像を選択する（ステップＳ９０２）。そして、画像ズレ係数算出部７５１が注目サブ画像について画像ズレ係数を算出する（ステップＳ９０３）。画像ズレ係数の算出方法は実施形態１と同じである。

そして、画像ズレ係数算出部７５１は、注目サブ画像の画像ズレ係数の変化量が閾値以上であるか否か判定する（ステップＳ９０４）。ここでは、画像ズレ係数算出部７５１は、注目サブ画像について、前回のズレ係数推定処理で推定された画像ズレ係数と今回の処理で算出された画像ズレ係数との差分を、所定の閾値と比較する。この閾値は、予め実験により求められ、記憶部３４に記憶されている。なお、ｎの数値が比較的少なく、前回算出した時刻との時間差が少ない場合（例えばｎ＝２である場合）などには、最後に算出した画像ズレ係数に対する差分を、所定の閾値と比較してもよい。

そして、比較の結果、変化量が閾値未満であった場合（ステップＳ９０４；ＮＯ）、画像ズレ係数算出部７５１は、注目サブ画像の変化フラグをＯＦＦとする（ステップＳ９０５）。一方、変化量が閾値以上であった場合（ステップＳ９０４；ＹＥＳ）、画像ズレ係数算出部７５１は、注目サブ画像の変化フラグをＯＮとする（ステップＳ９０６）。変化フラグは、各サブ画像に対応付けられた二値変数である。

変化フラグの設定を終えると、次に画像ズレ係数算出部７５１はステップＳ９０１で選択した全算出画像について画像ズレ係数を算出済みであるか判定する（ステップＳ９０７）。未処理の算出画像が有る場合は（ステップＳ９０７；ＮＯ）次の算出画像についてステップＳ９０２から処理を繰り返す。一方、全算出画像について処理済みである場合（ステップＳ９０７；ＹＥＳ）、ステップＳ９０８に移行する。

ステップＳ９０８では、算出画像以外の画像（推定画像）のうち、推定処理済みで無いサブ画像を一つ注目画像として選択する（ステップＳ９０８）。

そして、周辺の算出画像（周辺画像）の変化フラグをチェックし、画像ズレ係数が変化したか否か判定する（ステップＳ９０９）。例えば、ｎ＝２の場合、注目画像の上下左右に隣接する算出画像のうち、変化フラグがＯＮである画像が所定の数（例えば２つ以上）ある場合に周辺画像に変化ありと決定する（ステップＳ９０９；ＹＥＳ）。このとき、変化フラグがＯＮである画像が全て同方向（たとえば、ズレ係数が増加する方向）に変化していた場合に、その変化が信用できると判定して変化ありと決定し、異なる方向に変化している場合には信用できないと判定して、変化なしと決定しても良い。ｎが２より大きい場合には、注目画像から近い順にｍ個（例えばｍ＝４）の算出画像を選択して、同様に変化フラグを参照する。

変化ありと決定された場合は（ステップＳ９０９；ＹＥＳ）、最も近い算出画像の画像ズレ係数を、注目画像の画像ズレ係数と推定する（ステップＳ９１０）。なお、このときステップＳ９０９で参照した算出画像の画像ズレ係数を加算平均した数値を推定値としても良い。

一方、周辺画像に変化が無いと決定すると（ステップＳ９０９；ＮＯ）、ステップＳ９１０をスキップする。その結果、前回までのループで設定された画像ズレ係数が更新されないままその後の処理で使用される。そして、全推定画像について、上記処理を終了したか判定し（ステップＳ９１１）、未処理の推定画像が有る場合には（ステップＳ９１１；ＮＯ）次の推定画像についてステップＳ９０８から処理を繰り返す。一方、全推定画像が処理済であれば（ステップＳ９１１；ＹＥＳ）ズレ係数推定処理は終了する。

なお、ここでは周辺画像が変化ありと判定した場合に、周辺の算出画像の画像ズレ係数を推定画像の画像ズレ係数と推定する処理について説明した。その他の推定方法として、周辺の算出画像の変化量を、算出画像からの距離に応じて振り分ける方法を適用しても良い。振り分けの具体例を図２５に示す。図２５は、太線で示した算出画像について、前回算出値（又は前回推定値）に対して最新の算出値が異なった（左側の算出画像について＋３、右側の算出画像について＋１）の例を示す。画像ズレ係数の差に、算出画像から遠いほど小さくなる重みを乗算して推定画像（点線の正方形）の前回のループ処理で設定された画像ズレ係数に加算し、加算結果を推定結果とする。
なお、図２５において、矢印が振り分け（加算）の方向を、矢印上の数値が振り分けられた数を、それぞれ示す。ここでは、算出画像の上下左右及び斜めに隣接する推定画像には算出画像の差の２／３を、その隣の推定画像に３／１を、それぞれ振り分けている。

他の推定方法として、算出画像の画像ズレ係数を用いた３次元補間処理によって、推定画像の画像ズレ係数を設定しても良い。

図２１に戻って、ステップＳ８０４で全サブ画像について画像ズレ係数を設定すると、サブ画像抽出部７２１が設定した画像ズレ係数を用いて図１１に示す画像生成処理２を開始する（ステップＳ８０５）。画像生成処理２においては、ステップＳ３０２において画像ズレ係数推定処理で設定された画像係数を取得する以外は、実施形態１と同様に各ステップを実行する。

画像生成処理２によってライブビュー画像を生成すると、生成した画像を表示部７０が表示する（ステップＳ８０６）。そして、入力部５０が撮像操作を検出したか判別する（ステップＳ８０７）。

判別の結果、撮像操作を検出しなかった場合は（ステップＳ８０７；ＮＯ）、ステップＳ８０１に戻ってライブビュー画像の生成を続ける。一方、撮像操作を検出した場合は（ステップＳ８０７；ＹＥＳ）、確認画像生成部６３０（第３再構成画像生成部７３０）は、図１４の画像生成処理３によって確認画像を生成する（ステップＳ８０８）。この場合、画像生成処理３においては、全てのサブ画像について画像ズレ係数を算出しても良いし、最後のズレ係数推定処理（ステップＳ８０４）で設定した画像ズレ係数を用いても良い。あるいは、ライブビュー画像を生成する処理と同様に、サブ画像を算出画像と推定画像に分けて推定処理を実行しても良い。このとき、サブ画像全体に占める算出画像の割合を、ライブビュー画像よりも増やす事で推定精度を上昇させる事が出来る。

以下、生成した確認画像を表示し（ステップＳ８０９）、実施形態３と同様に画像生成処理４によって本画像を生成する（ステップＳ８１０）。そして、生成した本画像を記録して（ステップＳ８１１）、画像出力処理４を終了する。

以上説明したように、本実施形態のデジタルカメラ１によると、画像生成処理２のような各サブ画像の画像ズレ係数を必要とする処理において、画像ズレ係数の算出を全ての画像について実行する必要が無い。必要計算量が大きい画像ズレ係数の算出を制限できるので、高画質な画像を生成するにあたって、必要な計算量が軽減される。
その結果、計算処理に必要な電力も低減される。よって、デジタルカメラ１の駆動時間及び撮影枚数を増大させることが出来る。

また、ライブビュー画像を生成するにあたっては、算出画像を巡回的に選択する。算出画像を固定した場合は、算出画像の被写体が他の被写体と異なる場合や、算出画像にノイズが発生していた場合に、その不具合が常に画像上に現れてしまう。本実施形態では、算出画像は一度の生成処理毎に変更されるので、一部のサブ画像に不具合があってもその影響を緩和することが出来る。また、長期的に見れば全部のサブ画像について画像ズレ計数を算出しているので、ライブビュー画像が被写体全体の傾向を加味した画像となる。

なお、本実施形態ではライブビュー画像生成部６２０が、図２０のズレ係数推定処理によって算出又は推定した画像ズレ係数を用いて、画像生成処理２によってライブビュー画像を生成した。これに限られず、ズレ係数推定処理は画像ズレ係数を用いて再構成画像を生成する任意の処理（画像生成処理３，画像生成処理５等）に応用できる。例えば、ライブビュー画像生成部６２０がズレ係数推定処理と画像生成処理３とによって画像生成を実行してもよい。また、ライブビュー画像生成部６２０に限らず、確認画像生成部６３０又は本画像生成部６４０についても、画像ズレ係数を用いて再構成画像を生成する構成を採用した場合には本実施形態のズレ係数推定処理を用いることが出来る。

以上、本発明の実施形態１乃至４について説明したが、本発明の実施形態はこれに限られず、さまざまな変形が可能である。

例えば、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値として同様に処理する。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像であるライトフィールド画像からカラー画像である再構成画像を生成できる。

また、再焦点距離（再構成面までの距離に対応）の設定は、マニュアル操作で設定しても良いし、焦点を合わせたい被写体までの距離を測定して設定しても良い。さらに、再構成画像の表示後にタッチパネルなどにより焦点を合わせたい被写体を選択し直して、再焦点距離を再設定するようにしても良い。

また、メインレンズ結像面ＭＡがマイクロレンズアレイよりメインレンズ側に存在する場合について説明したが、本発明の光学系の構成はこれに限らない。
例えば、その他の設計は同じで、メインレンズ結像面ＭＡはマイクロレンズアレイより後ろにあってもよい。この場合、配置用画像を生成画像に配置する場合に、上下左右に反転せずそのまま配置する。
また、マイクロレンズの結像面が撮像素子よりマイクロレンズ側にある場合も考えられる。この場合は、そうでない場合を基礎として、さらに上下左右に反転させて配置画像を生成画像に配置することとなる。

また、ライブビュー画像生成処理と確認画像生成処理と本画像生成処理は、上記の組み合わせに限らない。本発明では、ライブビュー画像生成処理の必要計算量が確認画像生成処理以下であり、本画像生成処理が確認画像生成処理よりも必要計算量が大きいという条件で任意に上記処理の組み合わせを選択することが出来る。
例えば、ライブビュー画像生成処理と確認画像生成処理が上記画像生成処理１であって、本画像生成処理が画像生成処理３又は４であってもよい。さらに、ライブビュー画像生成処理と確認画像生成処理が画像生成処理２であり、本画像生成処理が画像生成処理３又は４という組み合わせも可能である。

また、ライブビュー画像生成処理と確認画像生成処理とで、同じ種類の画像生成処理を採用し、その処理の中で計算量を調節しても良い。例えば、ライブビュー画像生成処理と確認画像生成処理が画像生成処理２である場合に、ライブビュー画像生成処理では画像ズレ係数を一方向のみで計算し、確認画像生成処理では画像ズレ係数を縦と横の二方向で計算することで、確認画像について画像ズレ係数の精度を向上させるという構成が可能である。
あるいは、画像ズレ係数を計算するための領域を、確認画像生成処理についてはライブビュー生成処理よりも大きく取ることにより、画像ズレ係数の精度を向上させる構成も可能である。

このような構成により、ＣＰＵの速度に合わせて、最も高速に表示すべきライブビュー画像を最も必要計算量が少ない処理を用いて高速に表示することができる。また、確認画像を少なくともライブビュー画像と同等の画質で、設定によってはより高い画質で、十分に早く表示することが出来る。また、本画像についてはより高画質な画像とすることが出来る。このように、必要な表示速度に応じて画像生成処理を使い分けることにより、ユーザにとって利便性が高いデジタルカメラを提供できる。

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。

ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、などから構成される画像生成のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールし、上記画像生成処理を実行する部分を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで上記画像生成処理を実行する部分を構成してもよい。

上記画像生成処理を実行する部分の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、コンピュータプログラムを、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得部と、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出部と、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成部と、
を備えたことを特徴とする画像処理装置。

（付記２）
前記生成部は、前記部分画像をそれぞれ点対象に反転して配置して前記再構成画像を生成する、
ことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得するズレ取得部をさらに備え、
前記抽出部は、前記ズレ取得部が取得した画像ズレ係数が大きいほど、当該副画像のより大きい範囲から部分画像を抽出する、
ことを特徴とする付記１又は２に記載の画像処理装置。

（付記４）
前記ズレ取得部は、前記複数の副画像から選択した算出対象の副画像について前記画像ズレ係数を算出し、当該算出した画像ズレ係数に基づいて当該算出対象以外の副画像について前記画像ズレ係数を推定する、
ことを特徴とする付記３に記載の画像処理装置。

（付記５）
前記取得部は前記多視点画像を順次取得し、
前記ズレ取得部は、順次取得された前記多視点画像毎に、前記算出対象の副画像を巡回的に選択して、前記複数の副画像の画像ズレ係数を順次取得し、
前記生成部は、前記取得部が順次取得した多視点画像から、前記ズレ取得部が順次取得した画像ズレ係数を用いて前記再構成画像を順次生成する、
ことを特徴とする付記４に記載の画像処理装置。

（付記６）
前記生成部は、前記再構成画像を前記副画像の何れかに対応する複数の配置領域に分割し、前記抽出部が抽出した部分画像に含まれる画素から、当該部分画像の抽出元の副画像に対応する前記配置領域に合致する数だけ画素を抽出し、当該抽出した画素を当該対応する配置領域に配置する、
ことを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。

（付記７）
前記生成部は、前記再構成画像を前記副画像の何れかに対応する複数の配置領域に分割し、前記抽出部が抽出した部分画像を、抽出元の副画像に対応する配置領域のそれぞれの大きさに合致するように縮小又は拡大して配置する、
ことを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。

（付記８）
撮像部と、前記撮像部が撮像した多視点画像を取得する付記１乃至７の何れか１つに記載の画像処理装置と、前記画像処理装置が生成した再構成画像を表示する表示手段と、を備えたことを特徴とする撮像装置。

（付記９）
被写体を複数の視点から見た複数の副画像が整列した多視点画像を撮像する撮像部と、
画像を表示する表示部と、
撮影準備状態において表示するための第１の再構成画像を、前記多視点画像の複数の副画像を用いた第１の画像生成方法で生成する第１の生成部と、
撮影後の再生表示のための第２の再構成画像を、前記多視点画像の複数の副画像を用いた第２の画像生成方法で生成する第２の生成部と、
前記表示部に、撮影準備状態では前記第１の再構成画像を表示させ、撮影後の再生表示では前記第２の再構成画像を表示させる制御部と、
を備え、
前記第２の画像生成方法は、画質向上のため、前記第１の画像生成方法より計算量が大きい、
ことを特徴とする撮像装置。

（付記１０）
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出部と、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置する配置部と、
をさらに備え、
前記第１の画像生成方法は前記抽出部と前記配置部とを用いて前記第１の再構成画像を生成する方法であり、
前記第２の画像生成方法は前記抽出部と前記配置部とを用いて前記第２の再構成画像を生成する方法であり、
前記第２の画像生成方法は、前記第１の画像生成方法を基礎として、画質向上のための処理を追加し、又はより計算量が大きい代替の処理を実行する方法である、
ことを特徴とする付記９に記載の撮像装置。

（付記１１）
前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得する画像ズレ取得部をさらに備える、
ことを特徴とする付記１０に記載の撮像装置。

（付記１２）
前記画像ズレ取得部は、前記複数の副画像から選択した算出対象の副画像について前記画像ズレ係数を算出し、当該算出した画像ズレ係数に基づいて当該算出対象以外の副画像について前記画像ズレ係数を推定する、
ことを特徴とする付記１１に記載の撮像装置。

（付記１３）
前記撮像部は前記多視点画像を順次撮影し、
前記画像ズレ取得部は、順次撮影された前記多視点画像毎に、前記算出対象の副画像を巡回的に選択して、前記複数の副画像の画像ズレ係数を順次取得し、
前記第１の生成部は、前記撮像部が順次撮影した多視点画像から、前記画像ズレ取得部が順次取得した画像ズレ係数を用いて前記第１の再構成画像を順次生成する、
ことを特徴とする付記１２に記載の撮像装置。

（付記１４）
前記第１の生成部は、前記第１の画像生成方法の一環として、前記抽出部に前記副画像のそれぞれから同じ大きさの所定範囲から部分画像を抽出させ、
前記第２の生成部は、前記第２の画像生成方法の一環として、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記１１又は１２に記載の撮像装置。

（付記１５）
前記副画像の画素のそれぞれについて、その画素が当該副画像に占める位置と、当該画素に現れる被写体が当該副画像から所定範囲にある他の副画像に表れる位置と、の位置のズレを示す画素ズレ係数を画素ごとに取得する画素ズレ取得部をさらに備え、
前記第１の生成部は、前記第１の画像生成方法の一環として、前記抽出部に前記副画像のそれぞれから同じ大きさの所定範囲から部分画像を抽出させ、
前記第２の生成部は、前記第２の画像生成方法の一環として、前記画素ズレ取得部が取得した画素ズレ係数の大きさに基づいて、前記副画像の画素にフィルタ処理を実行し、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記１１又は１２に記載の撮像装置。

（付記１６）
前記第１の生成部は、前記第１の画像生成方法の一環として、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させ、
前記第２の生成部は、前記第２の画像生成方法の一環として、前記画像ズレ取得部に前記第１の画像生成方法よりも大きい部位について前記画像ズレ係数を取得させ、前記抽出部に当該画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記１１乃至１３の何れか１つに記載の撮像装置。

（付記１７）
前記副画像の画素のそれぞれについて、その画素が当該副画像に占める位置と、当該画素に現れる被写体が当該副画像から所定範囲にある他の副画像に表れる位置と、の位置のズレを示す画素ズレ係数を画素ごとに取得する画素ズレ取得部をさらに備え、
前記第１の生成部は、前記第１の画像生成方法の一環として、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させ、
前記第２の生成部は、前記第２の画像生成方法の一環として、前記画素ズレ取得部が取得した画素ズレ係数の大きさに基づいて、前記副画像の画素にフィルタ処理を実行し、前記抽出部に前記画像ズレ取得部が取得した画像ズレ係数が大きい副画像からは大きい範囲から、小さい副画像からは小さい範囲から、それぞれ部分画像を抽出させる、
ことを特徴とする付記１１乃至１３の何れか１つに記載の撮像装置。

（付記１８）
第３の再構成画像を、第３の画像生成方法で生成する第３の生成部と、
前記第３の生成部が生成した第３の再構成画像を記憶する記憶部と、
をさらに備え、
前記第３の画像生成方法は、画質向上のため、前記第２の画像生成方法より計算量が大きい、
ことを特徴とする付記９乃至１７の何れか１つに記載の撮像装置。

（付記１９）
被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得ステップと、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出ステップと、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成ステップと、
を含む画像生成方法。

（付記２０）
コンピュータに、
被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得機能、
前記多視点画像に含まれる副画像の所定範囲から、部分画像を抽出する抽出機能、
前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成機能、
を実現させるためのプログラム。

本発明は、多視点画像を撮影できる撮像装置に適用することができる。

１…デジタルカメラ、１０…シャッターキー、１１…電源ボタン、１２…撮像レンズ、１３…液晶モニタ画面、１４…操作部、２０…内部バス、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、３０…入出力インターフェース、３１…撮像部、３１１…メインレンズ、３１２…マイクロレンズアレイ、３１３…撮像素子、３１２−１〜３１２−Ｎ×Ｍ…マイクロレンズ、３２…入力部、３３…出力部、３４…記憶部、３５…表示部、３６…通信部、３７…メディアドライブ、３８…リムーバブルメディア、４０…画像撮影部、５０…入力部、６０…画像生成処理部、６１０…ＬＦＩ生成部、６２０…ライブビュー画像生成部、６３０…確認画像生成部、６４０…本画像生成部、７０…表示部、７１０…第１再構成画像生成部、７１１…サブ画像抽出部、７１２…部分領域定義部、７１３…画素抽出部、７１４…画素配置部、７１５…出力部、７２０…第２再構成画像生成部、７２１…サブ画像抽出部、７２２…ズレ値算出部、７２３…部分領域定義部、７２４…配置画像生成部、７２５…画像配置部、７２６…出力部、７３０…第３再構成画像生成部、７３１…サブ画像抽出部、７３２…画素ズレ係数算出部、７３３…フィルタ処理部、７３４…画像ズレ係数算出部、７３４ａ…画像ズレ係数算出部、７３５…部分領域定義部、７３６…画像配置部、７３７…出力部、７４０…第５再構成画像生成部、７５０…第６再構成画像生成部、７５１…画像ズレ係数算出部、７５２…画像ズレ係数推定部、８０…記憶部、ＯＢ…被写体、ＭＡ…メインレンズ結像面、Ｓ_１１〜Ｓ_ＭＮ…サブ画像、ＬＦＩ…ライトフィールド画像、ＲＩ…再構成画像

Claims (9)

1. 被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得部と、
   前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得するズレ取得部と、
   前記多視点画像に含まれる副画像の前記画像ズレ係数が大きいほど当該副画像のより大きい範囲から、部分画像を抽出する抽出部と、
   前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成部と、
   を備えたことを特徴とする画像処理装置。
2. 前記生成部は、前記部分画像をそれぞれ点対象に反転して配置して前記再構成画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ズレ取得部は、前記複数の副画像から選択した算出対象の副画像について前記画像ズレ係数を算出し、当該算出した画像ズレ係数に基づいて当該算出対象以外の副画像について前記画像ズレ係数を推定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得部は前記多視点画像を順次取得し、
   前記ズレ取得部は、順次取得された前記多視点画像毎に、前記算出対象の副画像を巡回的に選択して、前記複数の副画像の画像ズレ係数を順次取得し、
   前記生成部は、前記取得部が順次取得した多視点画像から、前記ズレ取得部が順次取得した画像ズレ係数を用いて前記再構成画像を順次生成する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成部は、前記再構成画像を前記副画像の何れかに対応する複数の配置領域に分割し、前記抽出部が抽出した部分画像に含まれる画素から、当該部分画像の抽出元の副画像に対応する前記配置領域に合致する数だけ画素を抽出し、当該抽出した画素を当該対応する配置領域に配置する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記生成部は、前記再構成画像を前記副画像の何れかに対応する複数の配置領域に分割し、前記抽出部が抽出した部分画像を、抽出元の副画像に対応する配置領域のそれぞれの大きさに合致するように縮小又は拡大して配置する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
7. 撮像部と、前記撮像部が撮像した多視点画像を取得する請求項１乃至６の何れか１項に記載の画像処理装置と、前記画像処理装置が生成した再構成画像を表示する表示部と、を備えたことを特徴とする撮像装置。
8. 被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得ステップと、
   前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得するズレ取得ステップと、
   前記多視点画像に含まれる副画像の前記画像ズレ係数が大きいほど当該副画像のより大きい範囲から、部分画像を抽出する抽出ステップと、
   前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成ステップと、
   を含む画像生成方法。
9. コンピュータに、
   被写体を複数の視点から見た複数の副画像が整列した多視点画像を取得する取得機能、
   前記複数の副画像ごとに、当該副画像の所定部位について、当該所定部位の当該副画像における位置と、当該所定部位の被写体が当該副画像から所定範囲にある他の副画像に映る位置と、の位置のズレを示す画像ズレ係数を取得するズレ取得機能、
   前記多視点画像に含まれる副画像の前記画像ズレ係数が大きいほど当該副画像のより大きい範囲から、部分画像を抽出する抽出機能、
   前記部分画像を、当該部分画像に対応する副画像の並び順に配置して再構成画像を生成する生成機能、
   を実現させるためのプログラム。