JP2018098663A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】２つの視差画像からリフォーカス画像を作成する場合で、視差画像の欠陥がリフォーカス画像に波及しないようにする。【解決手段】画像処理部１１６が、入力する視差画像Ａから撮影画像Ｃを減算して、視差画像Ｂを生成する。画素ずらし加算部２０４が、視差画像Ａ、Ｂを画素ずらし加算合成してリフォーカス画像Ｄ１を生成する。リフォーカス変化量算出部２０６が、視差画像Ａの欠陥領域に対応する領域で、撮影画像Ｃとリフォーカス画像Ｄの変化量Ｈｄを算出する。リフォーカス変化量適用部２０８が、リフォーカス変化量Ｈｄと撮影画像Ｃからリフォーカス画像Ｄ２を生成し、リフォーカス画像Ｄ１の欠陥画素領域およびその周辺領域をリフォーカス画像Ｄ２で置き換える。【選択図】 図２

Description

本発明は、複数の視差画像から合焦位置を変更した画像を生成する画像処理装置、方法及びプログラムに関する。

撮影レンズの射出瞳を複数の領域（瞳領域）に分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影できる撮像装置が提案されている。

特許文献１には、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が記載されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成されることで、瞳分割を実現する。分割された光電変換部の出力信号から、分割された瞳部分領域に応じた複数の視差画像を生成できる。

特許文献２には、分割された光電変換部で受光した信号を全て加算することにより撮像画像を生成することが記載されている。

特許文献３には、複数の視差画像ごとに異なる画素ずらし処理を行い合成することで、空間解像度の高い撮像画像を形成することが記載されている。

米国特許第４４１０８０４号公報明細書 特開２００１−０８３４０７号公報 特開２０１３−１４５９７９号公報

撮影レンズの射出瞳を複数の瞳領域に分割することで取得した複数の視差画像では、一般に、欠陥画素の位置が異なる。異なる位置に欠陥画素のある視差画像を合成すると、各々の欠陥画素の影響は小さくなる。しかし、連続した欠陥画素がある場合、欠陥画素を補正しても欠陥が目立ってしまうという課題がある。

本発明は、視差画像に欠陥画素がある場合でも複数の視差画像の合成により良好な画質の合成画像を得られる画像処理装置、方法及びプログラムを提示することを目的とする。

本発明に係る画像処理装置は、撮影画像と前記撮影画像に対する２つの視差画像を取得する取得手段と、前記２つの視差画像から第１のリフォーカス画像を生成する第１の画像生成手段と、前記２つの視差画像の一方の視差画像の欠陥画素の存在する欠陥画像領域の情報を取得する欠陥画像領域情報取得手段と、前記第１のリフォーカス画像と前記撮影画像との変化量を算出する変化量算出手段と、前記変化量と前記撮影画像とから第２のリフォーカス画像を生成する第２の画像生成手段と、前記第１のリフォーカス画像の前記欠陥画像領域に対応する領域を前記第２のリフォーカス画像の対応する領域の画像で置換する置換手段とを備えることを特徴とする。

本発明によれば、視差画像に欠陥が含まれる場合でも、その欠陥を含まないまたは軽減したリフォーカス画像を生成できる。

本発明の一実施例の概略構成ブロック図である。 本実施例の画像処理部の機能ブロック図である。 本実施例の画像処理の動作フローチャートである。 本実施例の視差画像取得処理の動作フローチャートである。 本実施例のリフォーカス変化量算出処理の動作フローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像処理装置を実現するデジタルカメラの一実施例の概略構成ブロック図を示す。

図１に示すデジタルカメラ１００において、ＣＰＵ１０２は、ＲＯＭ１０４に記憶されるプログラム及びデータに従い、カメラ１００を制御する。ＲＡＭ１０６は、ＣＰＵ１０２のワークメモリとして、また、画像データの格納用に使用される。

撮影レンズ１０８は絞り１１０を有し、被写体の光学像を撮像素子１１２に入射する。撮像素子１１２は、撮像面上の光学像を電気信号に変換し、Ａ／Ｄ変換器１１４は、撮像素子１１２から出力されるアナログ画像信号をデジタル信号に変換する。Ａ／Ｄ変換器１１４の出力画像データは、画像処理部１１６に供給され、必要により、ＲＡＭ１０６に書き込まれる。

撮像素子１１２は特許文献２の図２に示すセンサ構造からなり、撮影レンズ１０８の瞳を２分割した一方の瞳部分領域からの視差画像、他方の瞳部分領域からの視差画像、及び全体の画素からの撮影画像を同時にまたは選択的に出力可能である。

画像処理部１１６は、Ａ／Ｄ変換器１１４からの画像データまたはＲＡＭ１０６に記憶される画像データに所定のデモザイク処理及び色変換処理を行う回路である。カメラ信号処理部１１８は、画像処理部１１６の出力画像データに現像処理、ホワイトバランス補正、及び測距用演算等を施す。カメラ信号処理部１１８の出力画像データは、ＲＡＭ１０６に書き込まれる。

メディアＩ／Ｆ１２０は、カメラ信号処理部１１８から出力される画像データを所定の圧縮方式で圧縮して記録媒体１２２に記録し、記録媒体１２２に記録される画像データを再生してＲＡＭ１０６に書き込む。

ＲＡＭ１０６は、撮影した静止画像及び動画像の画像データを格納するメモリであり、所定枚数の静止画像または所定時間の動画像を格納するのに十分な記憶量を備えている。複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像データをＲＡＭ１０６に書き込むことが出来る。ＲＡＭ１０６は、撮像素子１１２の欠陥画素情報も記憶する。

画像表示部１２４は例えばＴＦＴ ＬＣＤ等の液晶表示デバイスからなり、ＲＡＭ１０６に記憶される表示用画像データを画像表示する。撮像素子１１２による撮像画像を画像表示部１２４に逐次表示することで、ライブビュー機能を実現できる。

撮像制御部１２６は、ＡＥ（自動露出）処理、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＡＷＢ（オートホワイトバランス）処理に、撮影レンズ１０８、絞り１１０の開度、及びカメラ信号処理部１１８を制御する。

操作部１２８は、ユーザまたは撮影者がデジタルカメラ１００に種々の指示を入力する手段であり、静止画または動画の撮影を指示するシャッタボタンを具備する。静止画撮影の場合、シャッタボタンの半押し段階で、ＣＰＵ１０２は、撮像制御部１２６に絞り１１０の駆動、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等を指示する。シャッタボタンの全押しで、ＣＰＵ１０２は、撮像素子１１２からの所定解像度の画像データの読み出し、画像処理部１１６及びカメラ信号処理部１１８による処理、並びにメディアＩ／Ｆ１２０による記録媒体１２２への記録処理を実行する。

画像処理部１１６は、本実施例に特徴的な機能要素として、図２に示すように、距離マップ生成部２０２、画素ずらし加算部２０４、リフォーカス変化量算出部２０６、及びリフォーカス変化量適用部２０８を有する。距離マップ生成部２０２は、複数の視差画像から被写体までの距離を算出する。画素ずらし加算部２０４は、複数の視差画像からリフォーカス画像を生成する。リフォーカス変化量算出部２０６は、撮影画像とリフォーカス画像の変化量を算出する。リフォーカス変化量適用部２０８は、リフォーカス変化量算出部２０６により算出した変化量を撮影画像に適用することにより、別のリフォーカス画像を生成する。

図３は、画像処理部１１６における本実施例に特徴的な画像処理のフローチャートを示す。

Ｓ３０１で、画像処理部１１６は、２つの視差画像Ａ、Ｂと撮影画像Ｃを取得する。図４を参照して、Ｓ３０１の処理を詳細に説明する。図４は、視差画像Ａ，Ｂと撮影画像Ｃの取得する処理（Ｓ３０１）の詳細なフローチャートを示す。

Ｓ４０１で、画像処理部１１６は、視差画像Ａを取得する。撮像素子１１２は、撮影レンズ１０８の射出瞳の、分割された２つの瞳分割領域に応じた視差画像Ａ，Ｂを同時に出力可能である。画像処理部１１６は、Ａ／Ｄ変換器１１４の出力から、第１の瞳分割領域による有効画素数の解像度の視差画像Ａを取得する。Ｓ４０２で、画像処理部１１６は、Ａ／Ｄ変換器１１４の出力から撮像画像Ｃを取得する。Ｓ４０３で、画像処理部１１６は、撮影画像Ｃから画素毎に視差画像Ａを減算することにより視差画像Ｂを取得する。

Ｓ３０２で、画素ずらし加算部２０４は、撮像素子１１２が配置された撮像面とは異なる結像光学系の仮想結像面に応じて、Ｓ３０１で取得した視差画像Ａ、Ｂを画素ずらし加算合成する。この合成演算により、画素ずらし加算部２０４は、撮影時とは異なる任意の撮影距離に位置する被写体に焦点が合ったリフォーカス画像Ｄ１を生成する。すなわち、画素ずらし加算部２０４は、リフォーカス画像生成手段である。視差画像から焦点位置を変更した画像を生成する手法は公知であり、詳細な説明は省略する。

Ｓ３０３で、画像処理部１１６は、視差画像Ａの欠陥画素情報をＲＡＭ１０６から読み出すことで、視差画像Ａの欠陥画素の存在する領域（欠陥画像領域）の情報を取得する。ここでは、画像処理部１１６が、視差画像Ａの欠陥画像領域情報を取得する欠陥画像領域情報取得手段として機能する。
Ｓ３０４で、リフォーカス変化量算出部２０６が、Ｓ３０３で取得した欠陥画像領域に対応するリフォーカス画像Ｄ１の領域で、撮影画像Ｃからのリフォーカス変化量を算出する。視差画像Ａに欠陥画素がある場合、視差画像Ａと視差画像Ｂを画素ずらし加算して得られるリフォーカス画像Ｄ１にも、同様の位置に欠陥画素が存在する。視差画像Ａに欠陥画素補正が行われていたとしても、欠陥画素が連続するような場合には欠陥画素補正後でも欠陥が目立ってしまう。画像処理部１１６は、Ｓ３０４でのリフォーカス変化量の算出を、このような連続した欠陥が存在する領域でのみ実行する。

図５は、リフォーカス変化量算出処理（Ｓ３０４）の詳細なフローチャートを示す。

Ｓ５０１で、距離マップ生成部２０２は、視差画像Ａと視差画像Ｂから距離マップを生成する。距離マップ生成部２０２は、視差画像Ａと視差画像Ｂとの間の各画素の位相差を、所定のフォーカス領域に含まれる各分割領域で算出する。そして、距離マップ生成部２０２は、各分割領域で算出された位相差に基づき各分割領域のデフォーカス量を求める。デフォーカス量は被写体距離情報と等価であるので、有効画素領域の全体に渡って求められた各分割領域のデフォーカス量の集合を距離マップとする。

Ｓ５０２で、リフォーカス変化量算出部２０６は、Ｓ５０１で生成した距離マップを用いて、撮影画像Ｃとリフォーカス画像Ｄ１を被写体の距離毎に領域分割し、Ｓ５０３で、距離毎に分割した画像をフーリエ変換する。例えば、撮影画像Ｃにおける任意の距離ｄに対する分割画像をＣｄとし、任意の撮影距離ｄでの撮影画像Ｃのフーリエ変換結果をＦ（Ｃｄ）と表す。同様にリフォーカス画像Ｄ１における任意の撮影距離ｄでのフーリエ変換結果をＦ（Ｄｄ）と表す。

Ｓ５０４で、リフォーカス変化量算出部２０６は、任意の撮影距離ｄで撮影画像Ｃとリフォーカス画像Ｄ１の変化量を求める。任意の撮影距離ｄにおける変化量をＨｄは、
Ｈｄ＝Ｆ（Ｃｄ）／Ｆ（Ｄｄ）
で求められる。

ステップＳ５０５で、リフォーカス変化量算出部２０６は、ステップＳ５０４で算出した変化量Ｈｄから特定周波数以上の信号をカットすることで、ノイズ成分を除去する。

このような演算により、リフォーカス変化量Ｈｄが算出される。ここでは、距離マップを求め被写体距離毎に変化量を算出したが、画像を小領域に分割し、各小領域に対して変化量を求めてもよい。

Ｓ３０５で、リフォーカス変化量適用部２０８は、Ｓ３０４で算出したリフォーカス変化量Ｈｄと撮影画像Ｃからリフォーカス画像Ｄ２を生成する。具体的には、リフォーカス画像Ｄ２は、リフォーカス変化量Ｈｄを逆フーリエ変換し、撮影画像Ｃに畳み込み処理を行うことで、得られる。

Ｓ３０６で、リフォーカス変化量適用部２０８が置換手段として、リフォーカス画像Ｄ１の欠陥画像領域（欠陥画素領域およびその周辺領域）をリフォーカス画像Ｄ２の対応する領域で置き換える。この置換処理の後のリフォーカス画像Ｄ１が、目的とする画像となる。

画像処理部１１６の機能を撮像装置から分離した状態で利用する場合、画像処理部１１６には、視差画像Ａと撮影画像Ｃとして、別途、複数の視差画像を記録可能な撮像装置で撮影され記録されたものを入力する。

図２から図５を参照して説明した機能の一部または全部は、コンピュータ上で動作するコンピュータプログラムにより実現することも可能である。また、ＲＯＭ１０４に図３から図５に示す処理に対応するプログラムを格納しておき、ＣＰＵ１０２が、ＲＯＭ１０４からそのプログラムを読み出し実行することで、画像処理部１１６に代えて、上述した機能を実現することもできる。

以上説明したように、本実施例によれば、撮影画像と撮影画像に対する視差画像からリフォーカス画像を生成する場合に、視差画像の画素欠陥の影響をなくしたリフォーカス画像を生成できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。このようなソフトウエアを搬送する媒体として、コンピュータ読み取り可能な記録媒体がある。

Claims (12)

1. 撮影画像と前記撮影画像に対する２つの視差画像を取得する取得手段と、
   前記２つの視差画像から第１のリフォーカス画像を生成する第１の画像生成手段と、
   前記２つの視差画像の一方の視差画像の欠陥画素の存在する欠陥画像領域の情報を取得する欠陥画像領域情報取得手段と、
   前記第１のリフォーカス画像と前記撮影画像との変化量を算出する変化量算出手段と、
   前記変化量と前記撮影画像とから第２のリフォーカス画像を生成する第２の画像生成手段と、
   前記第１のリフォーカス画像の前記欠陥画像領域に対応する領域を前記第２のリフォーカス画像の対応する領域の画像で置換する置換手段
   とを備えることを特徴とする画像処理装置。
2. 前記変化量算出手段は、被写体距離毎に前記変化量を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記変化量算出手段は、撮影画像を小領域に分割したときの各小領域で前記変化量を算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記変化量算出手段は、前記２つの視差画像から算出される距離情報に応じて、前記撮影画像及び前記第１のリフォーカス画像を前記小領域に分割することを特徴とする請求項３に記載の画像処理装置。
5. 前記変化量算出手段は、前記撮影画像及び前記第１のリフォーカス画像をフーリエ変換し、これらのフーリエ変換結果の比を前記変化量とすることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記変化量算出手段は、前記欠陥画像領域で前記変化量を算出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記変化量算出手段は、算出した変化量に対してノイズ成分を除去する手段を有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記取得手段は、前記撮影画像と前記２つの視差画像のうちの２つの画像が入力し、入力した２つの画像を生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記取得手段は、前記撮影画像と前記２つの視差画像のうちの一方の視差画像が入力し、前記撮影画像から前記一方の視差画像を減算して、前記２つの視差画像のうちの他方の視差画像を生成することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
10. 撮影画像と前記撮影画像に対する２つの視差画像を取得するステップと、
    前記２つの視差画像から第１のリフォーカス画像を生成する第１の画像生成ステップと、
    前記２つの視差画像の一方の視差画像の欠陥画素の存在する欠陥画像領域の情報を取得する欠陥画像領域情報取得ステップと、
    前記第１のリフォーカス画像と前記撮影画像との変化量を算出する変化量算出ステップと、
    前記変化量と前記撮影画像とから第２のリフォーカス画像を生成する第２の画像生成ステップと、
    前記第１のリフォーカス画像の前記欠陥画像領域に対応する領域を前記第２のリフォーカス画像の対応する領域の画像で置換する置換ステップ
    とを備えることを特徴とする画像処理方法。
11. コンピュータを請求項１から９のいずれか１項に記載の画像処理装置として動作させるためのコンピュータプログラム。
12. コンピュータを請求項１から９のいずれか１項に記載の画像処理装置として動作させるためのコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images