JP2018007205A - 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】ノイズを低減した撮像画像と撮像画像に対応した深度情報を生成できる画像処理装置を提供すること。【解決手段】撮像装置１００は、複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子１１と、複数の光電変換素子のうち一部の光電変換素子からの信号を視点画像として読み出すための第１の読み出し動作と、複数の光電変換素子からの信号を混合して第１の合成画像として読み出すための第２の読み出し動作を、複数の画素群に対して行うシステム制御部３１と、第１の合成画像に対応する深度情報を生成する画像処理部１３と、を有する。画像処理部１３は、システム制御部３１が第１の読み出し動作によって読み出した視点画像を用いて深度情報を生成し、システム制御部３１が第１の読み出し動作を行わずに第２の読み出し動作を行って得られる第１の合成画像に対応する深度情報は、視点画像を用いて生成された深度情報を用いて生成される。【選択図】図３

Description

本発明は、デフォーカス分布に関連する情報を取得する画像処理装置、撮像装置、画像処理装置の制御方法及びプログラムに関するものである。

撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視点画像を同時に撮影することができる撮像装置が提案されている。特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して瞳分割されて撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成されている。これらの光電変換部で受光したそれぞれの信号から、分割された瞳部分領域に応じた複数の視点画像を生成することができる。特許文献２では、分割された光電変換部で受光した信号を、全て加算することにより撮像画像を生成することが開示されている。さらに特許文献３では、瞳分割された複数の視点画像の出力から左右視差または上下視差によるデフォーカスマップを作成する撮像装置が開示されている。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報 特開２００９−１６５１１５号公報

瞳分割された光電変換部から読み出す際、深度情報を生成するために視点画像と複数の視点画像を合成（混合）した合成画像を読み出す場合、視点画像を読み出さずに合成画像を読み出す場合に比べて合成画像のノイズ量が多くなる場合があった。

上記課題に鑑み、本発明は、ノイズを低減した撮像画像と撮像画像に対応した深度情報を生成できる画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子のうち一部の光電変換素子からの信号を視点画像として読み出すための第１の読み出し動作と、前記複数の光電変換素子からの信号を混合して第１の合成画像として読み出すための第２の読み出し動作を、複数の画素群に対して行う読み出し制御手段と、前記第１の合成画像に対応する深度情報を生成する生成手段と、を有し、前記生成手段は、前記読み出し制御手段が前記第１の読み出し動作によって読み出した視点画像を用いて前記深度情報を生成し、前記読み出し制御手段が前記第１の読み出し動作を行わずに前記第２の読み出し動作を行って得られる第１の合成画像に対応する深度情報は、前記視点画像を用いて生成された深度情報を用いて生成される。

本発明によれば、ノイズを低減した撮像画像と撮像画像に対応した深度情報を生成できる画像処理装置を提供することができる。

撮像装置の構成例を示す図である。 撮像部の構成例を示す図である。 撮像装置の動作を示すフローチャートである。 静止画用デフォーカスマップの生成処理を示すフローチャートである。

図１は、本発明の実施形態における撮像装置の構成例を示す図である。撮像装置１００は、撮影レンズ１０、撮像素子１１、撮像素子１１のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器１２、画像処理部１３を備えている。撮像装置１００は、デタルカメラやビデオカメラ等であるが、これらに限定されるものではない。撮像素子１１は、複数の画素群を含み、画素群の各画素が光学像を電気信号に変換する複数の光電変換素子を含む撮像部であり、複数の視点画像を同時に取得できる。画像処理部１３は、Ａ／Ｄ変換器１２からのデータ或いはメモリ制御部２０からのデータに対して所定のデモザイク処理やホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの処理を行う。さらにデフォーカスマップの生成、複数枚の画像の動きベクトル算出などの様々な画像処理を行う。

撮像装置１００はさらに、メモリ制御部２０、Ｄ／Ａ変換器２１、画像表示部２２、画像表示メモリ２３、メモリ２４を備える。メモリ制御部２０は、Ａ／Ｄ変換器１２、画像処理部１３を制御する。Ａ／Ｄ変換器１２から出力されたデータが、画像処理部１３及びメモリ制御部２０を介して、或いはＡ／Ｄ変換器１２のデータが、直接メモリ制御部２０を介して、画像表示メモリ２３またはメモリ２４に書き込まれる。画像表示部２２は、ＴＦＴ ＬＣＤ等を有する画像表示部であり、画像表示メモリ２３に書き込まれた表示画像用の画像データはＤ／Ａ変換器２１を介して画像表示部２２により表示される。画像表示部２２を用いて、撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。

メモリ２４は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。さらに、メモリ２４には、回復フィルタを生成するための１つ以上のＯＴＦデータ１１０が保存されている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ２４に対して行うことが可能となる。また、メモリ２４は、システム制御部３１の作業領域としても使用することが可能である。

撮像装置１００はさらに、記録部３０、システム制御部３１、ＳＷ３２、ＳＷ３３、モードダイアル４０を備えている。記録部３０は、記録媒体を含む。システム制御部３１は、撮像装置１００全体を制御するシステム制御部である。ＳＷ３２は、シャッタースイッチで、不図示のシャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。ＳＷ３３は、シャッタースイッチで、不図示のシャッターボタンの押下（全押し）でＯＮとなりとなる。ＳＷ３３のＯＮは、撮像素子１１からの信号の読み出しから記録部３０に画像データを書き込む記録処理までの一連の処理の動作開始を指示するものである。一連の処理では、撮像素子１１から信号を読み出し、Ａ／Ｄ変換器１２、メモリ制御部２０を介して画像処理部１３やメモリ制御部２０での演算を用いた現像処理、メモリ２４からの画像データの読み出し、圧縮処理を行う。そして、記録部３０に画像データを書き込む記録処理を行う。

本実施形態の撮像素子と瞳分割との対応関係の概念図を図２に示す。図２（Ａ）は、撮像素子１１の画素配列の構成例を示す模式図である。図２（Ａ）にて紙面に直交する方向をｚ方向とし、手前側を＋ｚ方向と定義する。ｚ方向に直交する第１の方向をｘ方向とし、図２（Ａ）の右方向を＋ｘ方向と定義する。また、ｚ方向に直交する第２の方向をｙ方向とし、図２（Ａ）の上方向を＋ｙ方向と定義する。図２（Ａ）には、ある画素２００を拡大した模式図を示す。画素２００は、マイクロレンズ２０１と、一対の光電変換素子である瞳分割画素２０２Ａ、２０３Ｂから構成される。撮像素子１１は、複数の画素２００が二次元アレイ状に規則的に配列されている。複数の光電変換素子のうち一部の光電変換素子から、視点画像として信号を読み出す。本実施形態においては、規則的に配列された読み出し部である瞳分割画素２０２Ａ、２０３Ｂから、一対の画像としてＡ像、Ｂ像がそれぞれ読み出されるものとする。デフォーカスマップなどの深度情報を生成するために視点画像と複数の視点画像を合成（混合）した合成画像をこの順に読み出す場合、視点画像Ａ像（Ｂ像）を読み出さずに合成画像ＡＢ像を読み出す場合に比べて合成画像のノイズ量が多くなる場合があった。これは、暗電流などに起因するノイズを除去するための成分を読み出すＮｕｌｌ読みのタイミングが合成画像の蓄積期間と離れてしまうことなどが考えられる。そこで本実施形態では後述するように、静止画用の合成画像ＡＢ像の読み出し時にはＡ像の読み出しを行わないようにすることでＡＢ像のノイズ悪化を低減する。

図２（Ｂ）は、撮像光学系の瞳と撮像素子の光電変換部との関係を示す模式図である。撮像素子１１は、撮影レンズ１０の結像面近傍に配置され、被写体からの光束は、撮影レンズ１０の射出瞳８００を通過して、それぞれ対応する画素に入射する。射出瞳８００の大きさは、絞りの大きさや、レンズを保持するレンズ枠などの大きさによって変化する。瞳部分領域８０１Ａ、８０２Ｂは、ｘ方向にて２分割された瞳分割画素２０２Ａ、２０３Ｂの受光面と、マイクロレンズによって概ね共役関係になっている。従って、各瞳部分領域を通過した光束は、共役関係にある各瞳分割画素で受光される。水平方向における瞳分割数をＭとし、垂直方向における瞳分割数をＮとすると、撮影レンズ１０の射出瞳８００は、瞳分割数をＮｐ＝Ｍ×Ｎとして、異なる瞳部分領域に分割される。撮影レンズ１０の絞り値をＦとすると、瞳部分領域の実効絞り値は、概ね（√（Ｍ×Ｎ））×Ｆとなる。また、瞳領域８０３は、Ｍ×Ｎ個に分割された光電変換部を全て合わせた際の画素２００全体で受光可能な瞳領域（全開口領域）である。例えば、瞳分割数をＭ＝２、Ｎ＝１とする場合、瞳部分領域の実効絞り値はＦの√２倍となる。つまり、１つの瞳分割画像は全開口画像と比較して、一段分被写界深度が深く、暗い画像が得られる。

以上の構成により、図１の撮影レンズ１０の瞳にて異なる領域をそれぞれ通過する一対の光束を、一対の光学像として結像させて、一対の画像である視点画像が得られる。一対の視点画像を、画素毎に信号を全て加算（合成）することで、有効画素数の解像度を有する画像を生成することができる。ここで、Ａ像とＢ像を撮像素子１１から読み出す前に混合（加算）し、Ａ／Ｄ変換した画像（第１の合成画像）をＡＢ像と呼ぶ。

図３および図４は、本実施形態の撮像装置１００の処理を示すフローチャートである。図３および図４を用いて、撮像装置１００の動作を説明する。
処理が開始されると、システム制御部３１は、フラグや制御変数等の初期化し、画像表示部２２の画像表示をＯＦＦ状態などに初期設定する。
ステップＳ３０１にて、システム制御部３１は、モードダイアル４０の設定位置を判断する。モードダイアル４０が電源ＯＦＦに設定されていたならばＳ３０２に進む。Ｓ３０２にて、システム制御部３１は、各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリに記録するなど、所定の終了処理を行う。モードダイアル４０が撮影モード以外に設定されていたならば、Ｓ３０３に進む。Ｓ３０３にて、システム制御部３１は、選択されたモードに応じた処理を実行し、処理を終えたならばＳ３０１に戻る。モードダイアル４０が撮影モードに設定されていたならば、Ｓ３０４に進む。

ステップＳ３０４にて、システム制御部３１は、視点画像であるＡ像及びＢ像と、表示用の合成画像であるＡ＋Ｂ像を読み出す（第１の読み出し動作）。具体的には、内部メモリ或いはメモリに記憶される測光データに従い、撮像素子１１を露光し、測光データに従って所定の時間が経過した後、撮像素子１１からＡ像およびＢ像の電荷信号をそれぞれ読み出す。そして、Ａ／Ｄ変換器１２、画像処理部１３、メモリ制御部２０を介して、或いはＡ／Ｄ変換器１２から直接メモリ制御部２０を介して、メモリ２４にＡ像およびＢ像のデータを書き込む。さらに、画像処理部１３は、式（１）で示す通り、Ａ像およびＢ像の着目画素位置（ｘ，ｙ）毎に画素値を加算することでＡ＋Ｂ像を生成し、生成したＡ＋Ｂ像をメモリ２４に書き込む。
Ａ＋Ｂ（ｘ，ｙ）＝Ａ（ｘ，ｙ）＋Ｂ（ｘ，ｙ） ・・・（１）

ステップＳ３０５にて、画像処理部１３は、ステップＳ３０４での撮影で取得された瞳分割画像であるＡ像とＢ像の各信号を用いて、着目画素位置ごとのデフォーカス量を算出し、デフォーカスマップ（ＤＥＦ１、深度情報）を生成する。デフォーカス量は、被写体の深度分布に関連する情報であり、デフォーカスマップデータの値を表す。デフォーカス量算出の詳細を下記に示す。
着目画素位置におけるＡ像の信号列をＥ（１）〜Ｅ（ｍ）と表記し、Ｂ像の信号列をＦ（１）〜Ｆ（ｍ）と表記する。Ａ像の信号列Ｅ（１）〜Ｅ（ｍ）に対して、Ｂ像の信号列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、式（２）を用いて２つの信号列間のずらし量ｋにおける相関量Ｃ（ｋ）の演算が行われる。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜ ・・・（２）
式（２）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算においてｎ、ｎ＋ｋの取る範囲は、１からｍの範囲に限定される。ずらし量ｋは整数値をとり、一対のデータの検出ピッチを単位とした相対的シフト量を表す。

式（２）の演算結果のうちで、一対の信号系列の相関が高いシフト量（ずらし量ｋ）において相関量Ｃ（ｋ）が最小になる。以下では、離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。以下の式（３）から式（５）による３点内挿処理を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘが算出される。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（３）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝
・・・（５）

式（３）で算出されるシフト量ｘから、デフォーカス量（ＤＥＦと記す）を式（６）によって求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（６）
式（６）に示すＫＸは、一対の瞳領域を通過する光束の重心の開き角の大きさによって決まる変換係数である。ＰＹは、検出ピッチである。参照する領域が白とびの領域または黒つぶれの領域である場合、式（２）における｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜の項が０となり、Ｃ（ｋ）の値がゼロとなる。そのため、相関量Ｃ（ｋ）が最小となるｋｊを正しく算出できなくなる結果、算出されたデフォーカス量は正確な値でなくなる。以上のように算出したデフォーカス量の空間的な分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップデータを、メモリ２４に記録する。

ステップＳ３０６にて、画像処理部１３は表示画像用画像を取得する。具体的には、まず、システム制御部３１は、メモリ制御部２０を介して、メモリ２４に書き込まれたＡ＋Ｂ像と、デフォーカスマップデータを読み出す。画像処理部１３は、読み出したＡ＋Ｂ像に色処理やデフォーカスマップを用いた補正処理を順次行い表示画像用画像を生成し、メモリ２４に表示画像用画像データを書き込む。
ステップＳ３０７にて、システム制御部３１は、メモリ２４から表示画像用画像データを読み出し、メモリ制御部２０を介して画像表示メモリ２３に表示画像データの転送を行う。そして、画像表示メモリ２３に書き込まれた表示画像データを、画像表示部２２にてライブビュー表示を行う。

ステップＳ３０８にて、システム制御部３１は、静止画撮影用のＳＷ３３が押下されていないか（スイッチが全押しされていないか）判断する。押されていないならば、Ｓ３０１に戻る。ＳＷ３３が押されたならば、Ｓ３０９に進む。
Ｓ３０９にて、システム制御部３１は、静止画用（撮像画像用）のＡＢ像を読み出す（第２の読み出し動作）。具体的には、内部メモリ或いはメモリ２４に記憶される測光データに従い、絞り機能を有するシャッターを絞り値に応じて開放して、必要な場合はフラッシュを発光させ、撮像素子１１を露光する。測光データに従って撮像素子１１の露光終了を待ち、シャッターを閉じて、撮像素子１１からＡＢ画像信号を読み出す。そして、Ａ／Ｄ変換器１２、画像処理部１３、メモリ制御部２０を介して、或いはＡ／Ｄ変換器１２から直接メモリ制御部２０を介して、メモリ２４に撮像画像用であるＡＢ像のデータを書き込む。

ステップＳ３１０にて、ステップＳ３０９で取得したＡＢ像の色処理やデフォーカスマップを用いた補正処理などの現像処理を行うため、ＡＢ像用のデフォーカスマップ（ＤＥＦ２）を生成する。このステップＳ３１０の撮像画像用のデフォーカスマップの生成処理の詳細は、図４を用いて後述する。
ステップＳ３１１にて、画像処理部１３は、ＡＢ像に対し撮像画像用のデフォーカスマップ（ＤＥＦ２）を用いて現像処理を行い、画像圧縮処理を行い、撮像画像（静止画像）を生成する。具体的には、まず、システム制御部３１が、ステップＳ３１０で生成したデフォーカスマップをメモリ２４から読み出す。画像処理部１３は、読み出したデフォーカスマップを用いて色処理や補正処理などの現像処理を行い、また、設定したモードに応じた画像圧縮処理を行い、撮像画像を生成する。そして、システム制御部３１は、記録部３０へ撮像画像データの書き込みを行う記録処理を実行する。

図４は、図３のステップＳ３１０における撮像画像用のデフォーカスマップを生成する詳細な処理を示すフローチャートである。撮像画像は視点画像を取得せずに（Ａ像、Ｂ像の各信号を取得せずに）生成されるものであり、ＡＢ像の信号しか持たない撮像画像に対応するデフォーカスマップを、ステップＳ３０５のようにＡ像、Ｂ像の各信号から生成することができない。撮影でＡ像、Ｂ像の各信号を取得しない場合にも、撮像画像に対応するデフォーカスマップを生成する処理について、図４を用いて説明する。
ステップＳ４０１にて、システム制御部３１は、ステップＳ３０４にて記録した表示画像用のＡ＋Ｂ像と、Ｓ３０５でＡ像及びＢ像から生成したデフォーカスマップ（深度情報。以下、ＤＥＦ１という）をメモリ２４から読み出す。このとき読み出す信号及びデフォーカスマップは、静止画撮影時刻より前に取得され、かつ、静止画撮影時刻に一番近い直前のものである。
ステップＳ４０２にて、システム制御部３１は、ステップＳ３０９にて記録した静止画ＡＢ像をメモリ２４から読み出す。

ステップＳ４０３にて、画像処理部１３は、表示画像用のＡ＋Ｂ像と撮像画像用のＡＢ像の動きベクトルを算出する。動きベクトルは、２つの画像をブロック状に分割した複数のブロックそれぞれについて、ブロックマッチングにより差分絶対値和を算出する。差分絶対値和が小さいほど、ブロックマッチングの相関が高いことになる。ブロックマッチングにおいて差分絶対値和が最小になるシフト量を動きベクトル（Ｖｘ、Ｖｙ）とする。本実施形態では、ブロックマッチングによって動きベクトルを算出したが、オプティカルフローによる動きベクトル算出でもよい。

ステップＳ４０４にて、画像処理部１３は、ＤＥＦ１に対して算出した動きベクトル（Ｖｘ、Ｖｙ）に基づいて補間を行い、撮像画像用のデフォーカスマップ（以下、ＤＥＦ２という）を生成する。ＤＥＦ２の生成は、下記の式（８）の通り、ＤＥＦ１の各画素に対して、動きベクトル分画素を移動させて行えばよい。
ＤＥＦ２（ｘ， ｙ） ＝ ＤＥＦ１（ｘ −Ｖｘ，ｙ −Ｖｙ） ・・・（８）

ステップＳ４０５にて、画像処理部１３は、ステップＳ４０４で生成されたＤＥＦ２に対して整形処理を行う。画像処理部１３は、撮像画像用のＡＢ像を整形用画像として、デフォーカスマップにバイラテラルフィルタ処理を施し、システム制御部３１は、整形したデフォーカスマップをメモリ２４に記録する。バイラテラルフィルタ処理の詳細を下記に説明する。着目画素位置ｐのフィルタ結果をＪｐと記すと、これは下記の式（９）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）
・・・（９）

式（９）中の各記号の意味は以下のとおりである。
ｑ ：周辺画素位置
Ω ：着目画素位置ｐを中心とする積算対象領域
Σ ：ｑ∈Ω範囲の積算
Ｉ１ｑ：周辺画素位置ｑにおけるデフォーカスマップ信号値
ｆ（｜ｐ−ｑ｜）：着目画素位置ｐを中心とするガウシアン関数
Ｉ２ｐ ：着目画素位置ｐでの整形用画像信号値
Ｉ２ｑ ：周辺画素位置ｑでの整形用画像信号値
ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）：整形用画像信号値Ｉ２ｐを中心とするガウシアン関数
Ｋｐ ：正規化係数であり、ｆ・ｇ重みの積算値。

着目画素位置ｐでの信号値Ｉ２ｐと周辺画素位置ｑでの信号値Ｉ２ｑとの差が小さい場合、つまり整形用画像において着目画素の画素値と周辺画素の画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。
Ｓ４０５の整形処理によって、デフォーカスマップでの被写体の輪郭が正しい輪郭に合うことになる。また、デフォーカスマップの整形処理は距離の信号値を正しい輪郭に合わせる作用を有するだけではなく、フレーム補間の際に生じたデフォーカスマップの歪み補正にも有効である。

本実施形態では、撮像素子１１から一対の画像であるＡ像とＢ像を読み出し、表示用画像としてＡ像とＢ像をそれぞれＡ／Ｄ変換した後に加算したＡ＋Ｂ像を取得していた。しかし、本発明はこれに限られるものではなく、例えば、撮像素子１１からＡＢ像とＡ像を読み出し、そこからＢ像を取得するようにしてもよい。この場合も、ＡＢ像のみを取得する撮像画像の場合に比べて、ＡＢ像とＡ像の二つを読み出すためノイズ量が多くなるため、ノイズの少ない撮像画像と撮像画像に対応したデフォーカスマップを生成する本発明を適用できる。

また、本実施形態では、デフォーカスマップについて説明したが、これに限られるものではなく、視点画像から生成される様々な深度を表す情報（深度情報）であればよい。深度情報は、例えば、瞳分割画像の視差量の分布情報（視差マップ、像ズレマップ）、被写体の奥行き方向の相対的な位置関係がわかる分布情報などである。深度情報は、ステップＳ３１１で撮像画像を生成するときに行われる補正処理などで利用される。補正処理は、例えば、リフォーカス、背景ぼかし、領域判定などであるが、これに限られるものではない。

以上のように、本実施形態によれば、撮像画像をＡ像とＢ像を撮像素子１１から読み出す前に加算したノイズの少ないＡＢ像から生成することができる。また、撮像画像に対応するデフォーカスマップを、ライブビュー表示用のデフォーカスマップから補間し生成することができる。そのため、撮像画像にノイズの多い複数の視点画像を取得することなくデフォーカスマップを生成し、ノイズの少ない撮像画像に対してデフォーカスマップを用いた補正を行うことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１３ 画像処理部
３１ システム制御部
１００ 撮像装置

Claims (10)

1. 複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子のうち一部の光電変換素子からの信号を視点画像として読み出すための第１の読み出し動作と、前記複数の光電変換素子からの信号を混合して第１の合成画像として読み出すための第２の読み出し動作を、複数の画素群に対して行う読み出し制御手段と、
   前記第１の合成画像に対応する深度情報を生成する生成手段と、を有し、
   前記生成手段は、前記読み出し制御手段が前記第１の読み出し動作によって読み出した視点画像を用いて前記深度情報を生成し、
   前記読み出し制御手段が前記第１の読み出し動作を行わずに前記第２の読み出し動作を行って得られる第１の合成画像に対応する深度情報は、前記視点画像を用いて生成された深度情報を用いて生成されることを特徴とする撮像装置。
2. 前記深度情報は被写体の奥行き方向の相対的な位置関係がわかる分布情報であることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の読み出し動作によって読み出した視点画像を合成して第２の合成画像を生成する合成手段を有し、
   前記生成手段は、前記第１の合成画像と前記第２の合成画像から動きベクトルを検出し、前記視点画像と前記動きベクトルを用いて前記第１の合成画像に対応する深度情報を生成することを特徴とする請求項１または２に記載の撮像装置。
4. 前記動きベクトルの検出に用いる前記第２の合成画像は、前記第１の合成画像を読み出すための第２の読み出し動作の直前の第１の読み出し動作で読み出された視点画像を合成して生成された第２の合成画像であることを特徴とする請求項３に記載の撮像装置。
5. 前記生成手段は、前記視点画像と前記動きベクトルを用いて生成した深度情報に整形処理を行い、前記第１の合成画像に対応する深度情報を生成することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記整形処理は、バイラテラルフィルタ処理であることを特徴とする請求項５に記載の撮像装置。
7. 前記深度情報に基づき画像を補正する補正手段をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 複数の光電変換素子のうち一部の光電変換素子からの信号を視点画像として読み出すための第１の読み出し動作と、複数の光電変換素子からの信号を混合して合成画像として読み出すための第２の読み出し動作を、複数の画素群に対して行う読み出し制御手段と、
   前記合成画像に対応する深度情報を生成する生成手段と、を有し、
   前記生成手段は、前記読み出し制御手段が前記第１の読み出し動作によって読み出した視点画像を用いて前記深度情報を生成し、
   前記読み出し制御手段が前記第１の読み出し動作を行わずに前記第２の読み出し動作を行って得られる合成画像に対応する深度情報は、前記視点画像を用いて生成された深度情報を用いて生成されることを特徴とする画像処理装置。
9. 複数の画素群を含み、画素群の各画素が複数の光電変換素子を含む撮像素子を有する撮像装置の制御方法であって、
   前記複数の光電変換素子のうち一部の光電変換素子からの信号を視点画像として読み出すための第１の読み出し工程と、
   前記複数の光電変換素子からの信号を混合して合成画像として読み出すための第２の読み出し工程と、
   前記合成画像に対応する深度情報を生成する工程と、を有し、
   前記生成する工程において、前記第１の読み出し工程において読み出した視点画像を用いて前記深度情報を生成し、
   前記第１の読み出し工程を行わずに前記第２の読み出し工程を行って得られる合成画像に対応する深度情報は、前記視点画像を用いて生成された深度情報を用いて生成されることを特徴とする制御方法。
10. コンピュータを請求項１から７のいずれか１項に記載の撮像装置が備える各手段として機能させることを特徴とするプログラム。
    

Images