JP5699609B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、立体映像表示等に用いられる視点画像を生成する画像処置装置および画像処理方法に関する。

従来、様々な撮像装置が提案され、開発されている（特許文献１〜４，非特許文献１）。また、撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズの焦点面にレンズアレイを配置し、更にこのレンズアレイの焦点面にイメージセンサを設けたものである。これにより、レンズアレイ上に結像する被写体の映像を、イメージセンサにおいて、各視点方向の光線に分割しつつ受光し、同時刻に多視点の画像を取得することができる。

国際公開第０６／０３９４８６号パンフレット 特公平５−７６２３４号公報 特公平７−８０５５号公報 特許第３１８２００９号公報

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

上記のような撮像装置では、レンズアレイにおける１つのレンズに、イメージセンサ上の複数の画素が割り当てられ（各レンズの縦横の寸法がそれぞれ、画素ピッチの整数倍に等しく）、そのレンズに割り当てられた画素数分の視点画像を取得可能である。例えば、１つのレンズが３×３の画素に割り当てられている（レンズの縦横の寸法がそれぞれ３画素分のピッチに等しい）場合には、縦方向および横方向にそれぞれ３視点の画像（合計９視点分の画像）を取得することができる。このようにして取得された視点画像のうち例えば左右２つの視点画像を所定のディスプレイを用いて表示することにより、例えば立体映像表示を実現できる。

ところが、立体映像表示の際には、表示する映像によっては、左右の視点画像間における視差量が大きくなり過ぎて、人間の立体知覚限界を超えてしまうことがある。このように知覚限界を超えてしまうと、２つの視点画像が２重像となって認識される。この場合、そのような映像を見続けると眼精疲労等を引き起こす虞があるため、このような視差過大による視認性への影響を軽減する手法の実現が望まれている。

ちなみに、特許文献２では、撮影画像毎に絞り条件を変えて撮影を行うことで、ぼけをつくり（輪郭をぼかし）、上記２重象による影響を緩和する手法が提案されている。しかしながら、この手法では、絞り条件が画像毎に異なるために、動画に対応しにくい。また、特許文献３には、立体映像のデフォーカスした被写体画像の画質を低下させることが記載され、特許文献４の手法では、注目画素の周辺の画素の平均を取る処理を行うことによりぼけを形成している。

本発明はかかる問題点に鑑みてなされたもので、その目的は、立体映像表示の際に良好な視認性をもたらす視点画像を生成可能な画像処理装置および画像処理方法を提供することにある。

本発明の画像処理装置は、単一の撮像レンズと撮像レンズの結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成する視点画像生成部と、視点画像生成部により生成された複数の視点画像を、撮像データに基づいて得られる視差情報または奥行き情報を用いて重み付けをしつつ合成する画像合成処理部とを備えたものである。

本発明の画像処理装置では、単一の撮像レンズとその結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成し、これら複数の視点画像を撮像データに基づいて得られる視差情報または奥行き情報を用いて重みづけをしつつ合成する。合成後の視点画像では、被写体の画像の位置がシフトすると共に、よりデフォーカスしたような（輪郭がぼけたような）画像となる。

本発明の画像処理方法は、単一の撮像レンズとその結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成し、生成された複数の視点画像を、撮像データに基づいて得られる視差情報または奥行き情報を用いて重み付けをしつつ合成するものである。

本発明の画像処理装置によれば、単一の撮像レンズとその結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成し、生成された複数の視点画像を、撮像データに基づいて得られる視差情報または奥行き情報を用いて重み付けをしつつ合成する。これにより、ある視点画像の位置をシフトしつつ、その輪郭をぼかすことができる。そのため、例えば左右２つの（合成後の）視点画像を用いて立体映像表示を行った場合、これらの視点画像における視差量抑制とぼけによる効果によって、人間の知覚限界を超えるような過大視差を軽減し、眼精疲労等を緩和することができる。即ち、立体映像表示の際に良好な視認性をもたらす視点画像を取得可能となる。

本発明の画像処理方法によれば、視差情報または奥行き情報を含む撮像データに基づいて複数の視点画像を生成し、生成された複数の視点画像を、視差情報または奥行き情報に基づいて重み付けをしつつ合成する。これにより、例えば左右２つの（合成後の）視点画像を用いて立体映像表示を行った場合、これらの視点画像における視差量抑制とぼけによる効果によって、人間の知覚限界を超えるような過大視差を軽減し、眼精疲労等を緩和することができる。即ち、立体映像表示の際に良好な視認性をもたらす視点画像を取得可能となる。

本発明の一実施の形態に係る撮像装置の全体構成を表す図である。 レンズアレイとイメージセンサの配置関係を表す模式図である。 図１に示した画像処理部における詳細構成を表す機能ブロック図である。 視点方向毎の光線分割について説明するための模式図である。 図１に示した撮像装置により取得される撮像データの模式図である。 図５に示した撮像データから得られる各視点画像データの模式図である。 図６に示した視点画像データに対応する視点画像の一例を表す模式図である。 視点画像間の視差量について説明するための模式図である。 画像合成処理動作について説明するための模式図である。 比較例１に係る視点画像に対して合成処理を行った場合の見え方について説明するための模式図である。 実施の形態に係る視点画像に対して合成処理を行った場合の見え方について説明するための模式図である。 実施の形態に係る視点画像に対して比率を変えて合成処理を行った場合の見え方について説明するための模式図である。 変形例１に係る画像処理部の詳細構成を表す機能ブロック図である。 図１３に示した画像処理部による画像合成処理動作を説明するための模式図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（視点画像の合成処理を画像面一括で行う場合の例）
２．変形例（奥行き情報に応じて、合成処理を画像面内の選択的な領域毎に行う場合の例）

＜実施の形態＞
［全体構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、１つの撮像レンズを用いて撮影を行う、いわゆる単眼方式のカメラであり、被写体２を撮像して所定の画像処理を施すことにより、視点画像としての画像データＤoutを出力するものである。この撮像装置１は、撮像レンズ１１と、レンズアレイ１２と、イメージセンサ１３と、画像処理部１４と、イメージセンサ駆動部１５と、制御部１６とを備える。尚、以下では、光軸をＺとし、光軸Ｚに直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。尚、本実施の形態の画像処理部１４あるいは撮像装置１が、本発明の画像処理装置の一具体例に相当する。また、本発明の画像処理方法は、画像処理部１４の構成および動作によって具現化されるものであるため、その説明を省略する。

撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。

レンズアレイ１２は、撮像レンズ１１の焦点面（結像面）に配置され、例えばガラスなどの基板上に複数のレンズ（マイクロレンズ）１２ａがＸ方向およびＹ方向に沿って２次元配置されたものである。これら複数のレンズ１２ａは、フォトレジスト等の樹脂材料よりなり、ガラスやプラスチック等よりなる基板上に、例えばレジストリフロー法やナノインプリント法を用いて、形成されたものである。あるいは、基板表面にエッチング処理を施して形成されたものであってもよい。このレンズアレイ１２の焦点面には、イメージセンサ１３が配設されている。

イメージセンサ１３は、レンズアレイ１２を通過した光線を受光して撮像データＤ０を取得するものである。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、ＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの固体撮像素子により構成されている。

図２は、レンズアレイ１２とイメージセンサ１３の配置構成について模式的に表したものである。レンズアレイ１２およびイメージセンサ１３は、光軸Ｚに沿って所定の間隔（レンズアレイ１２の焦点距離分）をあけて、１つのレンズ１２ａに、イメージセンサ１３におけるｍ×ｎの画素領域Ｕが割り当てられるように配置されている。レンズ１２ａのＸＹ平面形状は、例えばｍ×ｎの画素領域Ｕに等しい方形状である。尚、ｍ，ｎは１以上の整数であり、ｍ×ｎの値が大きくなるに従って、即ち１つのマイクロレンズに割り当てられる画素の数が多くなるに従って、視点画像数（視点数）が多くなる。一方、レンズへの割り当て画素数が少なくなる（ｍ×ｎの値が小さくなる）に従って、各視点画像における画素数（解像度）が高くなる。このように、視点画像における視点数と解像度とはトレードオフの関係となっている。以下では、１つのレンズ１２ａに３×３（ｍ＝ｎ＝３）の画素領域Ｕが割り当てられている場合を例に挙げて説明する。

イメージセンサ１３の受光面上には、図示しないカラーフィルタが設けられていてもよい。カラーフィルタとしては、例えば、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の各色のフィルタが例えば１：２：１の比率で配列（ベイヤー配列）してなるものを用いることができる。

画像処理部１４は、イメージセンサ１３において取得された撮像データＤ０に対して所定の画像処理を施し、例えば視点画像としての画像データＤoutを出力するものである。
図３に、画像処理部１４の詳細構成について示す。画像処理部１４は、例えば、視点画像生成部１４０、画像合成処理部１４１および画像補正処理部１４２を有している。この画像処理部１４の具体的な画像処理動作については後述する。

イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。

制御部１６は、画像処理部１４およびイメージセンサ駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。

［作用、効果］
（１．撮像データの取得）
撮像装置１では、撮像レンズ１１およびイメージセンサ１３間の所定の位置にレンズアレイ１２が設けられていることにより、イメージセンサ１３において、被写体２からの光線は、その強度分布に加え進行方向（視点方向）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過した光線は、視点方向毎に分割され、イメージセンサ１３の異なる画素において受光される。例えば、図４に示したように、レンズ１２ａの通過光線のうち、ある視点方向（第１視点）からの光線（光束）ＬＡは画素「Ａ」、それとは異なる視点方向（第２，３視点）からの光線ＬＢ，ＬＣは、画素「Ｂ」「Ｃ」において、それぞれ受光される。このように、レンズ１２ａに割り当てられた画素領域Ｕでは、互いに異なる視点方向からの光線が、互いに異なる画素において受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データＤ０が取得される。

図５に、撮像データＤ０における画素データ配列について模式的に示す。本実施の形態のように、１つのレンズ１２ａに３×３の画素領域Ｕが割り当てられている場合、イメージセンサ１３では、その画素領域Ｕ毎に、計９つの視点方向からの光線が受光され、３×３のＡ〜Ｉの画素データが取得される。尚、図５では、簡便化のため、イメージセンサ１３の９×９の画素領域（９つの画素領域Ｕ）から得られる撮像データについて示している。また、イメージセンサ１３の受光面側に、カラーフィルタが配置されている場合には、撮像データＤ０は、このカラーフィルタの色配列に対応したカラーデータとして記録される。上記のようにして得られた撮像データＤ０は、画像処理部１４へ出力される。

（２．視点画像生成）
画像処理部１４は、図３に示したように、視点画像生成部１４０、画像合成処理部１４１および画像補正処理部１４２を有し、イメージセンサ１３から出力された撮像データＤ０に基づいて撮像データＤ０に基づいて、所定の画像処理を行い、視点画像としての画像データＤoutを出力する。

具体的には、まず、視点画像生成部１４０が、撮像データＤ０に基づいて複数の視点画像を生成する処理を行う。即ち、図５に示した撮像データＤ０に対し、同一の視点方向の画素データ（画素領域Ｕ間において互いに同一の位置にある画素から抽出される画素データ）同士を合成する。例えば、撮像データＤ０の中から全ての画素データ「Ａ」を抽出してこれらを合成する（図６（Ａ））。他の画素データ「Ｂ」〜「Ｉ」についても同様の処理を行う（図６（Ｂ）〜（Ｉ））。このようにして、視点画像生成部１４０は、撮像データＤ０に基づいて、複数の視点画像（ここでは、第１〜９視点の計９つの視点画像）を生成する。これらの視点画像は、視点画像データＤ１として、画像合成処理部１４１へ出力される。

（３．画像合成処理）
画像合成処理部１４１は、入力された視点画像データＤ１における複数の視点画像に対し、以下に説明するような画像合成処理を施す。

図７（Ａ）〜（Ｉ）に示した視点画像Ｒ１〜Ｒ９は、図６（Ａ）〜（Ｉ）のデータ配列に対応する視点画像の一具体例である。ここでは、被写体２の画像として、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを例に挙げて説明する。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズの焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。このような視点画像Ｒ１〜Ｒ９は、１つの撮像レンズを用いた単眼方式のカメラで撮影したものであるので、フォーカス面（焦点面）にある「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図７（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。

上記のような９つの視点画像Ｒ１〜Ｒ９のうち、例えば左右２つの視点画像を用いて立体映像表示を行う場合、表示される映像の立体感は、それら２つの視点画像間の視差量に応じたものとなる。例えば、図７（Ｄ）に示した視点画像Ｒ４と、図７（Ｆ）に示した視点画像Ｒ６とを上記２つの視点画像として選択した場合、表示映像における立体感は、次のようなものとなる。即ち、「山」は「人」よりも奥まって見えるが、その度合いは、図８（Ａ），（Ｂ）に示したように、視点画像Ｒ４における画像Ｒｂ４と視点画像Ｒ６における画像Ｒｂ６との位置ずれ量（視差量）Ｗｂに応じたものとなる。一方、「花」は「人」よりも手前に飛び出して見えるが、その度合いは、視点画像Ｒ４における画像Ｒｃ４と視点画像Ｒ６における画像Ｒｃ６との位置ずれ量Ｗｃに応じたものとなる。そして、位置ずれ量Ｗｂ，Ｗｃが大きければ大きい程、「山」はより奥まって、「花」はより飛び出して、それぞれ観察されることとなる。

ところが、これらの視差量が大き過ぎる場合、人間の知覚限界を超えてしまい、それぞれの画像が２重像として見え、立体映像として認識されないことがある。あるいは、立体映像として認識されたとしても、そのような知覚限界に近い映像を継続して見ることで眼精疲労を生じ易くなる。

そこで、本実施の形態では、上記のような眼精疲労を招く過大視差を軽減する目的で、２以上の視点画像を所定の合成比率で合成する（足し合わせる）処理（以下、合成処理という）を行う。つまり、２以上の視点画像同士の合成処理を、視点画像毎に重みづけをして行う。この合成処理は、以下の式（１）のように表すことができる。但し、Ｒｎを合成処理後の視点画像とし、α，β，γ，δ，ε，ζ，η，θ，ιはそれぞれ合成比率を表す係数とする。これらの係数は０（ゼロ）であってもよい。即ち、全ての視点画像を合成してもよいし、選択的な視点画像のみを合成するようにしてもよい。また、このような合成処理は、面データ毎、ラインデータ毎、画素データ毎のいずれによっても行うことができる。但し、本実施の形態では、合成比率が各画像面内において一律であるため、面一括で合成処理を行うことができる。
Ｒｎ＝（α×Ｒ１＋β×Ｒ２＋γ×Ｒ３＋δ×Ｒ４＋ε×Ｒ５＋ζ×Ｒ６＋η×Ｒ７＋θ×Ｒ８＋ι×Ｒ９） ………（１）

（視差軽減の原理）
このような合成処理による視差軽減の原理を、図９〜図１２を参照して説明する。ここでは、簡便化のため、視点画像Ｒ４と視点画像Ｒ５とを合成する場合（上記係数のうちα，β，γ，ζ，η，θ，ιがいずれも０、δ＝１、０＜ε＜１である場合）を例に挙げる。図９（Ａ）〜（Ｃ）は、視点画像の合成処理を画像イメージとして表したものである。このように、視点画像Ｒ４と、係数εを乗じた視点画像Ｒ５とを足し合わせると、デフォーカスした「山」および「花」の画像位置がシフトする。具体的には、「花」に着目した場合、視点画像Ｒ４における画像Ｒｃ４の位置Ｓ４と、視点画像Ｒ５における画像Ｒｃ５の位置Ｓ５との間の位置Ｓｎにシフトする。また、合成処理後の画像Ｒｃｎは、その輪郭がぼやけたような画像となる。これは、「山」の画像についても同様で、合成処理後の画像Ｒｂｎは、画像Ｒｂ４，Ｒｂ５の各位置の間の位置にシフトすると共に、その輪郭がぼやけたような（よりデフォーカスしたような）画像となる。

ちなみに、２眼式のカメラで撮影した視点画像を用いて、上記と同様の合成処理を行った場合には、本実施の形態のように画像位置をシフトしつつ画像自体をぼかすことは困難である。ここで、図１０（Ａ）〜（Ｃ）に、本実施の形態の比較例として２眼式のカメラで撮影した視点画像同士を合成する場合の信号強度分布（デフォーカス画像の輪郭部分のコントラスト）を模式的に示す。比較例では、デフォーカス領域であっても、画像自体がシャープなため、異なる視点画像同士を足し合わせた場合、２重像となってしまう。具体的には、図１０（Ａ），（Ｂ）に示したように、コントラストの幅（広がり）Ｈ１００が小さいため、互いに異なる位置Ｓ１００，Ｓ１０１にピークを有するコントラストＡ１００，Ｂ１００同士を合成した場合、図１０（Ｃ）に示したように、合成後のコントラストＣ１００は、２箇所（Ｓ１００，Ｓ１０１）にピークを有する分布となってしまう。また、２眼方式では、図示はしないが、フォーカス面にある被写体の画像の位置が、視点画像間において異なるため、本実施の形態のような画像全面一括の合成処理を行うことは難しい（フォーカス面での画像位置を合わせる処理等が必要となる）。

これに対し、本実施の形態では、上述のように合成処理によって位置シフトおよび輪郭ぼかしを行うことができるが、これは、次のような理由による。ここで、図１１（Ａ）〜（Ｃ）に、撮像装置１により取得された視点画像を用いて合成処理を行う場合の信号強度分布（デフォーカス画像の輪郭部分のコントラスト）を模式的に示す。但し、この例では、各視点画像の合成比率を互いに同一とした場合を示している。このように、本実施の形態では、デフォーカス領域においては、コントラストの幅Ｈが広いため、互いに異なる位置Ｓ４，Ｓ５にピークを有するコントラストＡ，Ｂ（例えば、視点画像Ｒ４，Ｒ５における画像Ｒｃ４，Ｒｃ５に相当）同士を合成した場合、図１１（Ｃ）に示したように、合成後のコントラストＣでは、２箇所（Ｓ４，Ｓ５）のピークが消えて、より緩やかな分布となる（２重像が生じない）。従って、本実施の形態では、合成処理によって、上述のようにデフォーカス画像の位置をシフトさせつつ、輪郭をぼかす（ぼやかす）ことができる。また、上記２眼式のカメラで撮影した視点画像と異なり、フォーカス面にある被写体の画像位置が視点画像間で同一となるため、合成処理に際して比較例のような位置合わせ処理が不要である。加えて、生成した視点画像同士を重みづけして足し合わせるだけでよいので、処理負荷も小さくて済む。

また、図１２（Ａ）〜（Ｃ）には、上記本実施の形態の合成処理において、合成比率を視点画像毎に変えた場合の信号強度分布について模式的に示す。この場合も、上記と同様、互いに異なる位置Ｓ４，Ｓ５にピークを有するコントラストＡ，Ｂ１（例えば、画像Ｒｃ４，Ｒｃ５に相当、但し（Ｒ４の合成比率）＜（Ｒ５の合成比率））同士を合成した場合、合成後のコントラストＣ１では、２重像が生じない。従って、デフォーカス画像の位置をシフトさせつつ、輪郭をぼかすことができる。但し、視点画像毎に重みづけがなされているため、コントラストＣ１のピーク位置Ｓｎ’は、位置Ｓ５側に片寄る。

このように、２つの視点画像を合成した場合を例に挙げて説明したが、３以上の視点画像を合成する場合も同様である。また、合成比率を視点画像毎に変える（重みづけを行う）ことによって、所定の範囲内で自在に画像位置をシフトすることが可能である。即ち、合成処理前では、デフォーカス画像が視点数に対応する９つの位置で表現されるが、上記合成処理を行うことにより、それら９つの位置の間の任意の位置に画像をシフトさせ、かつその輪郭をぼかすことができる。従って、視差量抑制の効果と画像のぼやけの効果とにより、過大視差を軽減することが可能となる。

上記のような合成処理後の視点画像は、視点画像データＤ２として、画像補正処理部１４２へ出力される。画像補正処理部１４２は、視点画像データＤ２に対し、例えばデモザイク処理等のカラー補間処理やホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像データを画像データＤoutとして出力する。この画像データＤoutは、撮像装置１の外部へ出力されるようにしてもよいし、撮像装置１の内部に設けられた記憶部（図示せず）に記憶するようにしてもよい。

尚、上記視点画像データＤ２および画像データＤoutは、合成処理によって生成された視点画像に対応するデータのみであってもよいし、合成処理の施されていない元々の視点画像（ここでは９つの視点画像）に対応するデータを含んでいてもよい。あるいは、これらの合成処理前後の視点画像に対応するデータが混在して含まれていてもよいし、元々の視点画像が、合成処理によって生成された視点画像に置き換えられていてもよい。また、合成処理によって生成される視点画像は１枚であってもよいし、複数枚であってもよい。

以上のように本実施の形態では、撮像レンズ１１、レンズアレイ１２およびイメージセンサ１３を用いて取得された撮像データＤ０に基づいて複数の視点画像を生成し、これらのうち２以上の視点画像を合成する。これにより、ある視点画像の位置をシフトしつつ、その輪郭をぼかすことができる。そのため、例えば左右２つの視点画像を用いて立体映像表示を行う際には、これらの視点画像における視差量抑制とぼけによる効果によって、人間の知覚限界を超えるような過大視差を軽減し、眼精疲労等を緩和することができる。即ち、立体映像表示の際に良好な視認性を有する視点画像を取得可能となる。

以下、上記実施の形態の変形例について説明する。尚、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

＜変形例＞
図１３は、変形例に係る画像処理部１４Ａの詳細構成を表す機能ブロック図である。画像処理部１４Ａは、上記実施の形態の画像処理部１４と同様、撮像レンズ１１、レンズアレイ１２およびイメージセンサ１３によって取得された撮像データＤ０に対して、所定の画像処理を施し、画像データＤoutを出力するものである。但し、本変形例では、画像処理部１４Ａが、視点画像生成部１４０、画像合成処理部１４１および画像補正処理部１４２に加えて奥行き情報取得部１４３を備えており、画像合成処理部１４１が、奥行き情報に応じた合成処理を行うようになっている。

具体的には、画像処理部１４Ａでは、まず視点画像生成部１４０が、撮像データＤ０に基づき、上記実施の形態と同様にして複数の視点画像（例えば第１〜第９視点の視点画像Ｒ１〜Ｒ９）を生成する（視点画像データＤ１を出力する）。

一方、奥行き情報取得部１４３が、撮像データＤ０から奥行き情報、例えばディスパリティマップ等の被写体の深度を表す情報を取得する。具体的には、奥行き情報取得部１４３が、例えばステレオマッチング法により複数の視点画像間のディスパリティ（disparity：位相差、位相ずれ）を画素毎に算出し、算出したディスパリティを各画素に対応づけたマップを生成する。但し、ディスパリティマップとしては、上記のような画素単位で生成したものに限らず、所定数の画素からなる画素ブロック毎にディスパリティを求め、求めたディスパリティを各画素ブロックに対応付けて保持したものでもよい。生成されたディスパリティマップは、奥行き情報ＤＤとして、画像合成処理部１４１へ出力される。

次いで、画像合成処理部１４１が、入力された複数の視点画像Ｒ１〜Ｒ９と、奥行き情報ＤＤとを用いて合成処理を行う。具体的には、複数の視点画像Ｒ１〜Ｒ９のうちの２枚以上の視点画像において、奥行き情報ＤＤに応じて、画像面内における選択的な領域毎に重みづけをして合成処理を行う。詳細には、画像面内においてフォーカス面により近い被写体の画像については合成比率をより小さく、フォーカス面からより離れた被写体の画像については合成比率をより大きくして、選択的な領域毎に合成処理を行う。

図１４（Ａ）〜（Ｃ）に、本変形例における画像合成処理の一例について示す。尚、ここでは、説明のため、フォーカス面にある「人」の画像Ｒａと、この「人」よりも手前にある２つの「花」の画像Ｒｃ４１，Ｒｃ４２について示している。また、これらの画像Ｒｃ４１，Ｒｃ４２のうち、画像Ｒｃ４１よりも画像Ｒｃ４２の方が手前側で観察される画像となっている（画像Ｒｃ４１よりも画像Ｒｃ４２の方がよりデフォーカスした画像であり、フォーカス面からより離れた「花」の画像である）。このような場合には、例えば視点画像Ｒ４と視点画像Ｒ５を合成する際に、以下の式（２），（３）に示すような画像Ｒｃ４１，Ｒｃ４２毎の合成処理を行う。但し、合成比率をε１＜ε２とする。
Ｒｃ４１＋ε１×Ｒｃ５１＝Ｒｃｎ１ ………（２）
Ｒｃ４２＋ε２×Ｒｃ５２＝Ｒｃｎ２ ………（３）

これにより、図１４（Ｃ）に示したように、合成処理後の視点画像Ｒｎでは、上述の図１１（Ａ）〜（Ｃ）に示した原理により、「花」の画像Ｒｃｎ１は、画像Ｒｃ４１，Ｒｃ５１の各位置の間の位置にシフトし、輪郭もぼやける。「花」の画像Ｒｃｎ２についても同様で、画像Ｒｃ４２，Ｒｃ５２の各位置の間にシフトし輪郭がぼやける。但し、画像Ｒｃ４１，Ｒｃ４２間で重みづけを変えている（ε１＜ε２）ので、上述の図１２（Ａ）〜（Ｃ）に示した原理により、画像Ｒｃｎ１よりも画像Ｒｃｎ２の方が、シフト量が大きくなる。詳細には、画像Ｒｃｎ１の位置が画像Ｒｃ５１の位置に近づく度合いよりも、画像Ｒｃｎ２の位置が画像Ｒｃ５２の位置に近づく度合いの方が大きくなる。これにより、よりフォーカス面から離れた画像（よりデフォーカスした画像）では、他の視点画像との間の視差量が大きくなるが、そのようなデフォーカス画像に対して、よりシフト量を増大させることができる。即ち、画像面内の視差量に応じて視差量を抑制しつつ、画像の輪郭をぼかすことができる。これにより、例えば、視差量のさほど大きくない画像については、そのまま位置シフトや輪郭ぼかしを行わず、視差量の大きな画像についてのみ位置をシフトして輪郭をぼかす、といった合成処理を行うことが可能となる。

このような合成処理後の複数の視点画像は、視点画像データＤ２として画像補正処理部１４２へ出力され、上記と同様の画像補正処理が施された後、画像データＤoutとして出力される。

変形例のように、画像合成処理部１４２において、奥行き情報に基づいて、画像面内の選択的な領域毎に合成処理を行うようにしてもよい。このような場合であっても、上記実施の形態と同様の効果を得ることができる。また、奥行き情報を用いることで、画像面内の深度（視差量）が異なる被写体の画像に対し、その視差量に応じた視差抑制を行いつつ、画像の輪郭をぼかすことができる。よって、より自然な立体映像表示を実現可能となる。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ割り当て画素（画素領域）ｍ×ｎ＝３×３である場合を例に挙げて説明したが、各レンズに割り当てられる画素領域は、これに限定されず、例えばｍ，ｎが１，２または４以上であってもよい。

また、上記変形例では、奥行き情報としてディスパリティマップを生成して、これを用いて画像合成処理を行う場合を例に挙げたが、奥行き情報は、そのようなディスパリティマップに限らず、他の手法により取得した情報であってもよい。例えば、フォーカス面からの距離に応じて被写体の画像の解像度が異なるため、解像度に基づいて、各画像の奥行き情報を取得してもよい。具体的には、フォーカス面にある「人」の画像は高解像度となる一方、「山」や「花」はフォーカス面から離れているため、その画像はデフォーカスしており低解像度となる。

更に、上記実施の形態等では、本発明の画像処理方法の一例（画像処理部１４によって具現化される画像処理方法）では、撮像レンズ、レンズアレイおよびイメージセンサを有する１つの撮像装置内において撮像データを取得し、この撮像データに基づいて所定の画像処理を行うようにしたが、画像処理対象となる撮像データは、必ずしも１つの装置内で取得されたものでなくともよい。即ち、複数の視点画像に対応する撮像データを、外部から取得するようにしてもよく、外部から取得した撮像データに対して、所定の画像処理を施してもよい。

１…撮像装置、１１…撮像レンズ、１２…レンズアレイ、１２ａ…レンズ、１３…イメージセンサ、１４…画像処理部、１５…イメージセンサ駆動部、１６…制御部、１４０…視点画像生成部、１４１…画像合成処理部、１４２…画像補正処理部、１４３…奥行き情報取得部、２…被写体、Ｄ０…撮像データ、Ｄ１，Ｄ２，Ｄ３…視点画像データ、ＤＤ…奥行き情報、Ｄout…画像データ、Ｒ１〜Ｒ９…視点画像。

Claims (12)

1. 単一の撮像レンズと前記撮像レンズの結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて、複数の視点画像を生成する視点画像生成部と、
   前記視点画像生成部により生成された複数の視点画像を、前記撮像データに基づいて得られる視差情報または奥行き情報を用いて重みづけをしつつ合成する画像合成処理部と
   を備えた画像処理装置。
2. 前記画像合成処理部は、前記視点画像毎に前記重みづけを行う
   請求項１に記載の画像処理装置。
3. 前記画像合成処理部は、画像面内の領域ブロック毎に前記重みづけを行う
   請求項１に記載の画像処理装置。
4. 前記画像合成処理部は、焦点面からより離れた位置にある被写体の画像に対して、合成比率をより大きく設定する
   請求項３に記載の画像処理装置。
5. 前記画像合成処理部は、焦点面により近い位置にある被写体の画像に対して、合成比率をより小さく設定する
   請求項３に記載の画像処理装置。
6. 前記撮像データに基づいて生成された複数の視点画像を、これらの視点画像間の位置合わせを行うことなく合成する
   請求項１に記載の画像処理装置。
7. 単一の撮像レンズと前記撮像レンズの結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成し、
   生成された複数の視点画像を、前記撮像データに基づいて得られる視差情報または奥行き情報を用いて重みづけをしつつ合成する
   画像処理方法。
8. 前記視点画像毎に前記重みづけを行う
   請求項７に記載の画像処理方法。
9. 画像面内の領域ブロック毎に前記重みづけを行う
   請求項７に記載の画像処理方法。
10. 焦点面からより離れた位置にある被写体の画像に対して、合成比率をより大きく設定する
    請求項９に記載の画像処理方法。
11. 焦点面により近い位置にある被写体の画像に対して、合成比率をより小さく設定する
    請求項９に記載の画像処理方法。
12. 前記撮像データに基づいて生成された複数の視点画像を、これらの視点画像間の位置合わせを行うことなく合成する
    請求項７に記載の画像処理方法。

Images