JP2013110700A - 撮像装置、撮像方法、及び画像処理装置 - Google Patents

Abstract

【課題】撮像画像を取得する過程で深度方向の位置によらない全焦点画像の生成が可能な撮像装置、撮像方法、及び画像処理装置を提供すること。
【解決手段】フォーカスレンズ又は撮像素子駆動中に連続して露光することによりスイープ画像を撮像する撮像部と、撮像した前記スイープ画像をデコンボリューションし、デコンボリューション画像を生成する画像処理部と、を備えることを特徴とする、撮像装置が提供される。
【選択図】図３

Description

本発明は、撮像装置、撮像方法、及び画像処理装置に関する。

オートフォーカス（ＡＦ）機能を有するデジタルスチルカメラにおいては、シャッターボタンが押下されてからフォーカスを合わせた後、合焦画像の撮像が行われる。従来、シャッターボタンが押下されてから合焦画像を撮像するまでの間に撮像を行い、合焦前画像として高画質化技術に利用する方法が提案されている。

合焦画像及び合焦前画像を利用する画像処理方法として、例えば、合焦画像を付加的に利用して合焦前画像を補正する方法と、合焦前画像を付加的に利用して合焦画像を補正する方法とが提案されている。

合焦画像を付加的に利用して合焦前画像を補正する方法としては、例えば下記の特許文献１及び２に記載の技術がある。

下記の特許文献１には、合焦前の画像である合焦前画像と合焦時の画像である合焦画像との間の動きを検出し、合焦前画像に対応する動き補償画像を生成し、当該動き補償画像と合焦前画像とに基づいて、合焦前画像のボケを補正する方法が開示されている。

また、下記の特許文献２には、複数の露光パターンに従って露光期間中に複数の撮像画像を取得し、撮影画像において検出したぶれ量及び露光パターンに基づいて作成した関数を撮像画像に適用することで、複数の補正画像を作成し合成する方法が開示されている。

一方、合焦前画像を付加的に利用して合焦画像を補正する方法としては、合焦前に取得した画像データ等から得た特徴をパラメータとして反映させたり、現像後の画像に対して処理を施したりする方法が開示されている。

例えば、下記の引用文献３には、測距処理中合焦前に得られる画像データを用いて瞳の位置を検出し、後処理で当該検出結果に基づく赤目補正を行う方法が開示されている。

特開２０１１−０４４８３９号公報 特開２０１１−１０９６１９号公報 特開２００５−１９７８８５号公報

上記の引用文献１に記載の技術を用いると、確かに被写体の動きに起因するボケに対しては改善することができる。しかし、深度方向に依存するボケに対しては反復的な手法を用いるため、画像取得のリアルタイム性に欠ける。

また、上記の引用文献２に記載の技術を用いると、確かに合焦前画像の画質改善を図ることができる。しかし、必要とする全ての露光条件の画像を撮影してからぶれ補正が行われるために、大きな計算コストがかかる。

また、上記の引用文献３に記載の技術では、合焦前に瞳の位置を検出している。しかし、引用文献３に記載の方法によりＡＦ中に取得された画像は、所定レベル以上のコントラストを確保しているものの、合焦後の撮影データに比べてピントが合っておらず、ノイズリダクション、先鋭化等高画質化への応用が難しい。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像を取得する過程で深度方向の位置によらず、全焦点画像であるデコンボリューション画像の生成が可能な撮像装置、撮像方法、及び画像処理装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、フォーカスレンズ又は撮像素子を光軸方向に駆動中に連続して露光することによりスイープ画像を撮像する撮像部と、撮像した前記スイープ画像をデコンボリューションし、デコンボリューション画像を生成する画像処理部とを備える撮像装置が提供される。

スイープ画像は、被写体の深度方向の位置による影響がない画像である。画像処理部がスイープ画像をデコンボリューションすることにより、画像中の全領域のボケが除去された復元画像が生成される。また、スイープ画を合焦画像撮像のためのフォーカスレンズ又は撮像素子の駆動中に撮像することにより、合焦画像撮像後にスイープ画像撮像するための時間が不要となる。その結果、撮像画像を取得する過程で深度方向の位置によらず、全焦点画像であるデコンボリューション画像の生成が可能になる。

また、前記撮像部は、フォーカスレンズの合焦後に合焦画像を撮像し、前記画像処理部は、前記合焦画像の高周波成分を通過させる第１ハイパスフィルタと、前記デコンボリューション画像の高周波成分を通過させる第２ハイパスフィルタと、前記第１及び第２ハイパスフィルタ通過後の、前記合焦画像及び前記デコンボリューション画像に基づき、前記合焦画像中の合焦領域を判定する合焦領域判定部とを備える。

合焦画像及びデコンボリューション画像を第１及び第２ハイパスフィルタに通過させることにより、高周波成分からなる合焦領域が検出される。合焦画像及びデコンボリューション画像の両方から合焦領域を判定することにより、合焦画像のみから合焦領域を判定した場合に誤判定される領域であっても、判定を正確に行うことができる。その結果、ハイパスフィルタ通過後の合焦画像のみから合焦領域を判定する場合と比較して、合焦領域の検出精度が向上する。

また、前記画像処理部は、検出した前記合焦画像中の前記合焦領域と、非合焦領域とで、個別に画像処理を行うように構成される。

上記構成により、合焦領域の画像処理の目的と、非合焦領域の画像処理の目的とが異なる場合に、異なる画像処理を行うことができる。その結果、画像の領域ごとの目的に合わせて適切に画像処理を行うことが可能になる。

また、前記デコンボリューション画像及び前記合焦画像を表示する表示部と、前記デコンボリューション画像又は前記合焦画像を選択するための操作部とをさらに備える。

上記構成により、ユーザは表示部に表示されたデコンボリューション画像及び合焦画像から、所望の画像を選択することができる。その結果、撮像装置の利便性が向上する。

また、前記画像処理部は、前記合焦領域以外の領域において、前記合焦画像及び前記スイープ画像を合成するように構成される。

スイープ画像は、フォーカスレンズ又は撮像素子を光軸方向に駆動中に撮像された画像であり、光軸方向のボケを含む。合焦画像の非合焦領域にスイープ画像を合成することにより、合焦画像の非合焦領域は大きくボケる。その結果、人物等の被写体が含まれる合焦領域を強調することが可能になる。

また、上記課題を解決するために、本発明の別の観点によれば、フォーカスレンズ又は撮像素子を光軸方向に駆動中に連続して露光することによりスイープ画像を撮像する撮像ステップと、撮像した前記スイープ画像をデコンボリューションし、デコンボリューション画像を生成する画像処理ステップとを含む撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、フォーカスレンズ又は撮像素子を光軸方向に駆動中に連続して露光することにより撮像して得られるスイープ画像を取得する画像取得部と、取得した前記スイープ画像をデコンボリューションし、デコンボリューション画像を生成する画像処理部とを備える画像処理装置が提供される。

以上説明したように本発明によれば、撮像画像を取得する過程で深度方向の位置によらず、全焦点画像であるデコンボリューション画像の生成が可能な撮像装置、撮像方法、及び画像処理装置が提供される。

本発明の第１の実施形態に係る撮像装置の全体構成の一例を示した説明図である。 同実施形態に係るスイープ画像の取得方法を説明するための説明図である。 同実施形態に係るスイープ画像及び合焦画像の取得方法の流れの一例を示した説明図である。 本発明の第２の実施形態に係る撮像装置の画像処理部の機能構成の一例を示した説明図である。 本発明の第３の実施形態に係る撮像装置の画像処理部の機能構成の一例を示した説明図である。 本発明の第３の実施形態に係る撮像装置の画像処理部の機能構成の一例を示した説明図である。 本発明の第４の実施形態に係る画像選択画面表示方法の流れの一例を示した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１：撮像装置１０の全体構成
１−２：第１の実施形態に係る撮像処理、及びデコンボリューション処理の流れ
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態

＜１．第１の実施形態＞
［１−１：撮像装置１０の全体構成］
まず、図１を参照して、本実施形態に係る撮像装置１０の全体構成について説明する。図１は、本実施形態に係る撮像装置１０の全体構成の一例を示した説明図である。なお、図１に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは変更したりしてもよい。また、撮像装置１０は、例えば、静止画像を撮影可能なデジタルスチルカメラ、デジタルスチルカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータ等である。

撮像装置１０は、図１に示すように、操作部１０１、操作Ｉ／Ｆ１０３、制御部１０５、記録メディア１０７、記録メディアＩ／Ｆ１０９、光学系駆動部１１１、撮像光学系１１３、撮像素子１１５、画像処理部１１７、表示部１１９、表示制御部１２１、及びフラッシュ１２３を、主に備える。

ユーザが操作部１０１に対して行った操作は、操作Ｉ／Ｆ１０３を介して撮像装置１０の各部に入力される。操作部１０１は、電源ボタン、上下左右キー、モードダイヤル、シャッターボタン等を備える。

制御部１０５は、操作部１０１の入力に応じて、撮像装置１０の各部が行う処理の制御を行う。制御部１０５の機能は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）によって実現される。

例えば、ユーザがシャッターボタンを半押しした場合に制御部１０５によるフォーカス制御が開始され、半押し解除でフォーカス制御が終了する。また、例えば、ユーザがシャッターボタンを全押しした場合に、撮像が開始される。

また、撮像装置１０で撮像された画像は、記録メディアＩ／Ｆ１０９を介して記録メディア１０７に保存される。記録メディア１０７は、メモリカード等の外部メモリでもよい。

光学系駆動部１１１は、制御部１０５の制御信号に基づき、撮像光学系１１３を駆動する。例えば、撮像光学系１１３はレンズ１３１、絞り等を備え、光学系駆動部１１１は、レンズ１３１、絞り等に配設されたモータ等である。レンズ１３１は、本実施形態においてはフォーカスレンズを主に表す。フォーカスレンズは、光軸方向に移動することで後述する撮像素子１１５の撮像面１１５Ａに被写体像を合焦させる。撮像装置１０は、被写体までの距離及び焦点位置を検出し、レンズ１３１の焦点を自動で合わせるＡＦ機能を有している。

撮像素子１１５は、レンズ１３１を透過して入射した光を電気信号に変換する複数の光電変換素子で構成される。各光電変換素子は、受光した光量に応じた電気信号を生成する。なお、利用可能な撮像素子１１５としては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等がある。撮像素子１１５の撮像面１１５Ａは、レンズ１３１を透過した光が入射する面である。撮像素子１１５は、光信号を電気信号に変換すると、電気信号を画像処理部１１７に出力する。

画像処理部１１７は、撮像した画像の各種画像処理を行う。例えば、後述するように、本実施形態においては、撮像したスイープ画像のデコンボリューション処理を行い、本発明の第２の実施形態では、撮像した合焦画像のノイズ除去処理等を行う。画像処理部１１７によって出力された画像は、記録メディアＩ／Ｆ１０９を介して記録メディア１０７に記録されたり、表示制御部１２１によって表示部１１９に表示されたりする。

また、撮像装置１０はフラッシュ１２３を発光させることにより、暗所での撮影も可能である。

以上、撮像装置１０の全体構成について説明した。

［１−２：第１の実施形態に係る撮像処理、及びデコンボリューション処理の流れ］
以下では、図２及び図３を参照しながら、本実施形態に係る撮像装置１０が行うデコンボリューション画像の生成方法について説明する。

図２に示すように、撮像装置１０は、レンズ１３１又は撮像素子１１５を光軸方向（換言すれば、被写体奥行き方向）に駆動中に、一定時間連続して露光することにより撮像された画像であるスイープ画像を取得する。

実際にはレンズ１３１と、撮像素子１１５とのどちらを駆動させても良いが、以下では、説明の便宜上、位置を固定したレンズ１３１を基準とした、光軸上の撮像素子の撮像面１１５Ａの位置をｘとする。撮像面１１５Ａの駆動範囲は、合焦位置（ｘ＝ｘ_ｆ）及び合焦位置の前後の区間うち、所定の区間が含まれるように設定する。

例えば、ある後ピン状態の位置ｘ_１から、位置ｘ_１と対応する前ピン状態の位置ｘ_２まで撮像面１１５Ａを移動させながら連続して露光することにより、スイープ画像が取得される。ここで、前ピンとは、撮像面１１５Ａに対してピントが合っている面がレンズ１３１側にある場合をいい、後ピンとは、撮像面１１５Ａに対してピントが合っている面がレンズ１３１と反対側にある場合をいう。

また、駆動範囲は、合焦位置を含まない、前ピン状態のみの区間又は後ピン状態のみの区間でもよい。

図３は、スイープ画像、及び合焦画像の撮像方法の流れの一例を示した流れ図である。なお、以下で説明する撮像処理は、撮像装置１０の制御部１０５、光学系駆動部１１１、撮像光学系１１３等によって実現される。また、以下では、前ピン状態のみの区間又は後ピン状態のみの区間でスイープ画像を撮像する場合の流れを説明する。

図３に示したように、ユーザによって操作部１０１のシャッターボタンが半押しされると（Ｓ１０１）、撮像装置１０の制御部１０５は、合焦位置及びフォーカスレンズ駆動範囲を決定する（Ｓ１０３）。

次に、制御部１０５は、決定したフォーカスレンズ駆動範囲でレンズ１３１を駆動するための制御、及び撮像素子１１５の露光制御を行う。光学系駆動部１１１は、制御部１０５の制御に基づいて、撮像光学系１１３のレンズ１３１を駆動開始する。光学系駆動部１１１は、レンズ１３１の駆動中に継続して行う撮像素子１１５の露光を開始する（Ｓ１０５）。

次に、制御部１０５は、フォーカスレンズ駆動範囲でのフォーカスレンズの駆動が終了するまで待機した後、処理を次のステップＳ１０９に進める（Ｓ１０７）。

次に、制御部１０５は、フォーカスレンズ駆動範囲で露光したスイープ画像を撮像装置１０の記録メディア１０７に記録するための制御を行う（Ｓ１０９）。

次に、制御部１０５は、撮像素子１１５が合焦位置にあるか否かを識別する（Ｓ１１１）。制御部１０５は、撮像素子１１５が合焦位置まで駆動されるまで待機した後、処理を次のステップＳ１１３に進める。

次に、制御部１０５は、操作部１０１のシャッターボタンが押下されているか、解除されているかを識別する（Ｓ１１３）。シャッターボタンが押下されている場合、制御部１０５は、処理をステップＳ１１５に進める。一方、シャッターボタンが解除されている場合、制御部１０５は、処理をステップＳ１１７に進める。

ここで処理をステップＳ１１５に進めた場合、制御部１０５は、ホワイトバランス調整や撮像モードの切替等の画像処理設定を行う（Ｓ１１５）。続いて、合焦画像を撮像し、撮像した合焦画像を記録メディア１０７に保存し、一連の処理を終了する（Ｓ１１９）。

また、処理をステップＳ１１７に進めた場合、制御部１０５は、ステップＳ１０９で記録したスイープ画像を破棄し、一連の処理を終了する（Ｓ１１７）。

以上では、スイープ画像、及び合焦画像の撮像方法の流れの一例について、簡単に説明した。なお、一部の処理については、変更してもよい。例えば、ステップＳ１０１において、撮像装置１０のＡＦ機能を発揮させるための操作であれば、シャッターボタンを半押しする以外の操作を行うようにしてもよい。

また、例えば、ある後ピン状態の位置ｘ１から、位置ｘ１と対応する前ピン状態の位置ｘ２まで撮像面１１５Ａを移動させながら露光することによりスイープ画像を撮像する場合は、ステップＳ１０９と、ステップＳ１１１との間に、制御部１０５が撮像素子１１５をステップＳ１０９までの駆動と光軸方向逆向きに駆動するための制御を行う。光学系駆動部１１１は、制御部１０５の制御に基づいて、撮像素子１１５を駆動する。

上記のように、スイープ画像は合焦前に撮像するため、ピントの合っていない画像である。スイープ画像として撮像された画像は、原画像と、点のボケ具合を表すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、点拡がり関数）とが畳み込まれた（コンボリューションされた）画像である。そこで、以下のデコンボリューション処理により、スイープ画像からボケのない原画像を復元する。

ここで、撮像素子１１５を位置ｘ＝ｘ_１からｘ＝ｘ_２まで駆動させたときのスイープ画像のＰＳＦであるhは、下記の式１０１のように表される。

・・・（式１０１）

上記の式１０１中の関数ＰＳＦ（ｘ）は、フォーカスレンズ１３１の位置を基準とした光軸上の位置ｘに撮像素子１１５の撮像面１１５Ａがあるときの、ＰＳＦを表している。

このとき、以下の式１０２のウィナーフィルタ等により、復元画像が得られる。ただし、Ｆ、Ｆ’、及びＨは、スイープ画像、復元画像、及び上記の式１０１で示したスイープ画像のＰＳＦであるｈのフーリエ変換を表す。また、Γは定数である。

・・・（式１０２）

なお、｜Ｈ^２｜について、以下の式１０３が成立する。

・・・（式１０３）

得られた復元画像（以下、デコンボリューション画像）は、画像中の全領域において、焦点が合った（換言すれば、ボケが少ない）全焦点画像である。ここで、一般には、ＰＳＦは光軸上の撮像面１１５Ａの位置ｘ、及び光軸上の被写体の位置の関数である。ただし、光軸上の被写体の位置は撮像面１１５Ａの位置（ｉ，ｊ）によって異なる場合がある。しかし、上記の式１０１においては、関数ＰＳＦを撮像素子１１５の一定の駆動範囲で積分するため、スイープ画像のＰＳＦを撮像面１１５Ａの面内で一律に扱うことが可能である。そのため、撮像装置１０により、低処理負荷で、被写体の深度方向の位置によらず、深度方向のボケを除去した高画質な画像を生成することが可能である。

なお、スイープ画像撮像中にレンズ１３１又は撮像素子１１５が等速で駆動され、又は、レンズ１３１又は撮像素子１１５が等速で駆動されている区間でスイープ画像が撮像されることが好ましい。

これにより、式１０１において光軸上の撮像面１１５Ａの位置ｘを時間ｔの一次関数として計算することができ、撮像装置１０の処理負荷が小さくなる。

また、撮像素子１１５の駆動範囲は、上述したように、前ピン状態のみの区間又は後ピン状態のみの区間でもよい。しかし、スイープ画像のＰＳＦを撮像面１１５Ａの面内で一律に扱うために、前ピン状態の位置から当該前ピン位置と対応する後ピン状態の位置とすることが好ましい。

本実施形態に係る撮像装置１０によれば、シャッターボタンの半押しから合焦までのフォーカス動作中にスイープ画像を取得及び保持するため、合焦画像とスイープ画像とを別個に撮像する場合と比較して、撮像時間を短縮することが可能になる。

以上、第１の実施形態に係る画像取得処理、及びデコンボリューション処理の流れについて説明した。

＜２．第２の実施形態＞
第２の実施形態は、第１の実施形態で生成されたデコンボリューション画像又はスイープ画像を用いて、合焦画像のノイズ除去処理等の画像処理を行う方法に関するものである。なお、以下で説明する画像処理は、第１の実施形態に係る撮像装置１０の画像処理部１１７によって実現される。

図４は、ＨＰＦを利用してノイズ除去処理を行う画像処理部１１７の構成の一例を示した説明図である。

画像処理部１１７は、２枚の画像のうちピントの合っている領域（ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）出力が高い等）を検出し、それぞれ対応する画素同士の画素値を平均することによりノイズ除去を行う。

以下では、図４を参照しながら、画像処理部１１７が行うノイズ除去処理について、詳細に説明する。

まず、図４に示したように、合焦画像Ｐ_１及びデコンボリューション画像Ｐ_２が入力されると、入力された合焦画像Ｐ_１及びデコンボリューション画像Ｐ_２は、画像処理部１１７が備えるＨＰＦ１４１及び１４３を通過し、フィルタ通過後の画素値が合焦領域判定部１４５に入力される。

合焦画像Ｐ_１及びデコンボリューション画像Ｐ_２をＨＰＦ１４１及び１４３を通過させることにより、高周波成分からなる合焦領域が検出される。

次に、合焦領域判定部１４５は、合焦画像Ｐ_１のＨＰＦ出力、及びデコンボリューション画像Ｐ_２のＨＰＦ出力が大きい領域をピントが合っている領域（以下、合焦領域Ｆ）として、検出する。合焦領域判定部１４５は、合焦領域Ｆを判定すると、判定結果をノイズ除去部１４７に出力する。

また、合焦領域判定部１４５は、合焦画像Ｐ_１のＨＰＦ出力、又はデコンボリューション画像Ｐ_２のＨＰＦ出力が大きい領域を合焦領域Ｆとして、検出してもよい。

また、合焦領域判定部１４５は、合焦画像Ｐ_１のＨＰＦ出力のみから合焦領域Ｆを検出することも可能である。しかし、合焦領域判定部１４５が合焦画像Ｐ_１のＨＰＦ出力及びデコンボリューション画像Ｐ_２のＨＰＦ出力の両方を考慮して合焦領域Ｆを検出することにより、検出精度が向上する。

次に、ノイズ除去部１４７は、合焦領域Ｆ内では以下の式１０４に示すように合焦画像Ｐ_１の画素値及びデコンボリューション画像Ｐ_２の画素値の平均値をノイズ除去後画像Ｐ_３の画素値とし、非合焦領域では以下の式１０５に示すように合焦画像Ｐ_１の画素値をノイズ除去後画像Ｐ_３の画素値とする。

・・・（式１０４）

・・・（式１０５）

ここで、一般的にノイズはランダムに発生する。そのため、複数の画像の位置を合わせた状態でコンポジット（合成）することにより、画像中のノイズを軽減することができる。

上記の式１０４のように、合焦領域においては、合焦画像Ｐ_１及びデコンボリューション画像Ｐ_２の位置を合わせた状態で対応する画素の画素値を平均することにより、ノイズを除去した高画質画像を生成することができる。

一方で、非合焦領域においては、合焦画像Ｐ_１と、デコンボリューション画像Ｐ_２との対応する画素の画素値が大きく異なるため、合焦画像Ｐ_１の画素値をノイズ除去後画像Ｐ_３の画素値としている。

また、合焦画像Ｐ_１と、レンズ１３１又は撮像素子１１５を光軸方向に駆動中に取得した複数のスイープ画像から生成した複数のデコンボリューション画像Ｐ_２１、Ｐ_２２、Ｐ_２３、…とをコンポジットすることにより、ノイズ除去後画像Ｐ_３を生成してもよい。

複数のデコンボリューション画像を合成することにより、ノイズ除去をより効果的に行うことができる。

以上では、図４を参照しながら、本実施形態に係るノイズ除去処理方法について説明した。以下では、本実施形態に係る特殊効果画像生成方法について説明する。

画像処理部１１７は、上記のノイズ除去処理を行う場合と同様に、合焦画像の合焦領域Ｆを検出する。

その後、画像処理部１１７は、合焦画像の非合焦領域について、合焦画像とスイープ画像とを合成する。

ここで、第１の実施形態で生成されたスイープ画像は、レンズ１３１又は撮像素子１１５を駆動させながら撮像された画像であり、画像中の多くの領域においてボケが発生している。

そのため、合焦画像の非合焦領域について、スイープ画像を合成させて大きくボケさせることにより、人物等の被写体が含まれる合焦領域を強調した特殊効果画像を生成することが可能になる。

上記のノイズ除去や特殊効果画像の取得の例のように、合焦領域の画像処理の目的と、非合焦領域の画像処理の目的とが異なる場合に、異なる画像処理を行うことができる。その結果、画像の領域ごとの目的に合わせて適切に画像処理を行うことが可能になる。

以上、本発明に係る第２の実施形態について説明した。

＜３．第３の実施形態＞
第３の実施形態は、第２の実施形態に係る合焦領域Ｆの判定結果を用いて、合焦画像の合焦領域と非合焦領域とでそれぞれの領域に適した画像処理を別個に行う方法に関するものである。なお、以下で説明する画像処理は、第１の実施形態に係る撮像装置１０の画像処理部１１７によって実現される。

図５及び図６は、合焦画像の合焦領域と非合焦領域とで別個に画像処理を行う画像処理部１１７の構成の例を示した説明図である。以下では、画像処理部１１７が行う画像処理について、詳細に説明する。

まず、図５に示した画像処理の例について、説明する。

画像入力部１５１は、合焦画像を構成する全画素から順次選択した一つの画素の画素値ｖを、第１画像処理部１５３及び第２画像処理部１５５に出力する。

第１画像処理部１５３は、画素値ｖが入力されると、合焦領域に適した画像処理を行うためのパラメータ（ｌ_１、ｌ_２、…）を有する関数ｆ（ｖ）に基づいて値の補正を行い、補正後の画素値をセレクタ１５７に出力する。また、第１画像処理部１５３の処理と並行して、第２画像処理部１５５は、画素値ｖが入力されると、非合焦領域に適した画像処理を行うためのパラメータ（ｍ_１、ｍ_２、…）を有する関数ｆ（ｖ）に基づいて値の補正を行い、処理後の画素値をセレクタ１５７に出力する。

例えば、第１画像処理部１５３は、美肌補正、コントラスト調整等の画像処理を行い、第２画像処理部１５５は、ノイズリダクションを強めにかける等の処理を行う。

上記のように領域毎に異なる処理を行うことで、例えば、人物等の被写体が含まれる合焦領域はコントラストを弱くしてやわらかい印象にする一方で、背景部分が含まれる非合焦領域についてはノイズ除去を効果的に行うことが可能になる。

また、領域信号生成部１５９は、第２の実施形態に係る合焦領域Ｆの判定結果を用いて、合焦画像の各画素が合焦領域Ｆに属するか否かを表した領域切替信号ＳＷを、セレクタ１５７に出力する。

セレクタ１５７は、領域信号生成部１５９から入力された合焦画像中の画素に対応する領域切替信号ＳＷの値に応じて、第１画像処理部１５３からの入力値及び第２画像処理部１５５からの入力値のいずれか一方を選択し、画像記録部１６１に出力する。

この場合、例えば、領域信号生成部１５９は、入力された画素が合焦領域内にある場合には、ＳＷ＝１とし、入力された画素が合焦領域外にある場合には、ＳＷ＝０とする。

上記の場合、セレクタ１５７は、ＳＷ＝１の場合には、人物等の重要な被写体が含まれていると考えられるため、第１画像処理部１５３からの入力値を選択する。一方、セレクタ１５７は、ＳＷ＝０の場合には、背景等が含まれていると考えられるため、第２画像処理部１５５からの入力値を選択する。

以上では、図５に示した画像処理の例について説明した。以下では、図６に示した画像処理の例について説明する。

画像入力部１５１は、合焦画像を構成する全画素から順次選択した一つの画素の画素値ｖを、画像処理部１５４に出力する。

また、領域信号生成部１５９は、第２の実施形態に係る合焦領域Ｆの判定結果を用いて、合焦画像の各画素が合焦領域Ｆに属するか否かを表した領域切替信号ＳＷを、画像処理部１５４に出力する。

画像処理部１５４は、画素値ｖが入力され場合、入力された画素に対応する領域切替信号ＳＷの値に応じて、関数ｆ（ｖ）のパラメータとして合焦領域に適した画像処理を行うためのパラメータ（ｌ_１、ｌ_２、…）及び非合焦領域に適した画像処理を行うためのパラメータ（ｍ_１、ｍ_２、…）のいずれか一方を選択する。

例えば、画像処理部１５４は、合焦領域に適した画像処理として、美肌補正、コントラスト調整等の画像処理を行い、非合焦領域に適した画像処理として、ノイズリダクションを強めにかける等の処理を行う。

なお、パラメータｌ_１、ｌ_２、…及びｍ_１、ｍ_２、…は、予め撮像装置１０の記録メディア１０７等に保持されたものを使用しても、ユーザが操作部１０１を操作することにより指定できるようにしてもよい。

画像処理部１５４は、合焦画像の画像処理を行うと、処理後の画像を、画像記録部１６１に出力する。

例えば、領域信号生成部１５９は、入力された画素が合焦領域内にある場合には、ＳＷ＝１とし、入力された画素が合焦領域外にある場合には、ＳＷ＝０とする。この場合、セレクタ１５７は、ＳＷ＝１の場合にはパラメータ（ｌ_１、ｌ_２、…）を選択し、ＳＷ＝０の場合にはパラメータ（ｍ_１、ｍ_２、…）を選択する。

以上では、図６に示した画像処理の例について説明した。

上記のように、合焦画像及びデコンボリューション画像に基づく領域切替信号を用いることで、画像の領域ごとの目的に合わせて画像処理を行うことが可能になる。

以上、本発明に係る第３の実施形態について説明した。

＜４．第４の実施形態＞
第４の実施形態は、第１の実施形態に係るデコンボリューション画像と、合焦画像とから、ユーザが所望の画像を選択することを可能とする方法に関するものである。なお、以下で説明する画像処理は、第１の実施形態に係る撮像装置１０の各部によって実現される。

図７は、デコンボリューション画像と、合焦画像とから、ユーザが所望の画像を選択することを可能とする方法の流れの一例を示した流れ図である。

図７に示したように、ユーザによって操作部１０１のシャッターボタンが半押しされると（Ｓ２０１）、撮像装置１０の制御部１０５は、合焦位置及びフォーカスレンズ駆動範囲を決定する（Ｓ２０３）。

次に、制御部１０５は、決定したフォーカスレンズ駆動範囲でフォーカスレンズを駆動するための制御を行う。光学系駆動部１１１は、制御部１０５の制御に基づいて、撮像光学系１１３のフォーカスレンズを駆動開始するとともに、露光を開始する（Ｓ２０５）。

次に、制御部１０５は、フォーカスレンズ駆動範囲でのフォーカスレンズの駆動が終了するまで待機した後、処理を次のステップＳ２０９に進める（Ｓ２０７）。

次に、制御部１０５は、フォーカスレンズ駆動範囲で露光したスイープ画像を画像処理部１１７に出力する（Ｓ２０９）。

次に、画像処理部１１７は、スイープ画像をデコンボリューションすることにより、デコンボリューション画像を生成し、生成したデコンボリューション画像を内部メモリ等に記録する（Ｓ２１１）。

次に、制御部１０５は、撮像素子１１５が合焦位置にあるか否かを識別する（Ｓ２１３）。撮像素子１１５が合焦位置まで駆動されるまで待機した後、制御部１０５は、処理を次のステップＳ２１５に進める。

次に、制御部１０５は、操作部１０１のシャッターボタンが押下されているか、解除されているかを識別する（Ｓ２１５）。シャッターボタンが押下されている場合、制御部１０５は、処理をステップＳ２１７に進める。一方、シャッターボタンが解除されている場合、制御部１０５は、処理をステップＳ２２３に進める。

ここで処理をステップＳ２１７に進めた場合、制御部１０５は、ホワイトバランス調整や撮像モード切替等の画像処理設定を行う（Ｓ２１７）。続いて、合焦画像を撮像し、撮像した合焦画像を内部メモリ等に保存する（Ｓ２１９）。

さらに、表示制御部１２１は、撮像した合焦画像及び生成したデコンボリューション画像を、表示部１１９に表示するための制御を行う。ユーザは、操作部１０１を操作することにより、合焦画像及びデコンボリューション画像のいずれか若しくは両方を選択する。また、ユーザは、合焦画像及びデコンボリューション画像のいずれも選択しなくてもよい。制御部１０５は、ユーザによって選択された画像を記録メディア１０７に記録し、一連の処理を終了する（Ｓ２２１）。

一方で、処理をステップＳ２２３に進めた場合、制御部１０５は、記録したスイープ画像及びデコンボリューション画像を破棄し、一連の処理を終了する（Ｓ２２３）。

以上では、デコンボリューション画像と、合焦画像とから、ユーザが所望の画像を選択することを可能とする方法の流れの一例について、簡単に説明した。なお、一部の処理については、変更してもよい。例えば、ステップＳ２０１において、撮像装置１０のＡＦ機能を発揮させるための操作であれば、シャッターボタンを半押しする以外の操作を行うようにしてもよい。また、例えば、ステップＳ２２１において、制御部１０５は、ユーザに選択されなかった画像も記録メディア１０７に記録するようにしてもよい。

ここで、デコンボリューション画像は、画像中の全領域においてボケの少ない画像である。また、合焦画像は、主に被写体にピントが合っている画像である。デコンボリューション画像と、合焦画像とのいずれが選択されるかは、画像の被写体や、画像を選択するユーザによって異なる。

その結果、ユーザがデコンボリューション画像と、合焦画像とから、ユーザが所望の画像を選択できることで、撮像装置の利便性が向上する。

以上、本発明に係る第４の実施形態について説明した。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 撮像装置
１０１ 操作部
１０３ 操作Ｉ／Ｆ
１０５ 制御部
１０７ 記録メディア
１０９ 記録メディアＩ／Ｆ
１１１ 光学系駆動部
１１３ 撮像光学系
１１５ 撮像素子
１１５Ａ 撮像面
１１７ 画像処理部
１１９ 表示部
１２１ 表示制御部
１２３ フラッシュ
１３１ レンズ
１４１ ＨＰＦ
１４３ ＨＰＦ
１４５ 合焦領域判定部
１４７ ノイズ除去部
１５１ 画像入力部
１５３ 第１画像処理部
１５４ 画像処理部
１５５ 第２画像処理部
１５７ セレクタ
１５９ 領域信号生成部
１６１ 画像記録部

Claims (7)

1. フォーカスレンズ又は撮像素子を光軸方向に駆動中に連続して露光することによりスイープ画像を撮像する撮像部と、
   撮像した前記スイープ画像をデコンボリューションし、デコンボリューション画像を生成する画像処理部と、
   を備える
   ことを特徴とする、撮像装置。
2. 前記撮像部は、
   フォーカスレンズの合焦後に合焦画像を撮像し、
   前記画像処理部は、
   前記合焦画像の高周波成分を通過させる第１ハイパスフィルタと、
   前記デコンボリューション画像の高周波成分を通過させる第２ハイパスフィルタと、
   前記第１及び第２ハイパスフィルタ通過後の、前記合焦画像及び前記デコンボリューション画像に基づき、前記合焦画像中の合焦領域を判定する合焦領域判定部と、
   を備える
   ことを特徴とする、請求項１に記載の撮像装置。
3. 前記画像処理部は、
   検出した前記合焦画像中の前記合焦領域と、非合焦領域とで、個別に画像処理を行う
   ことを特徴とする、請求項２に記載の撮像装置。
4. 前記デコンボリューション画像及び前記合焦画像を表示する表示部と、
   前記デコンボリューション画像又は前記合焦画像を選択するための操作部と、
   をさらに備える
   ことを特徴とする、請求項２又は３に記載の撮像装置。
5. 前記画像処理部は、
   前記合焦領域以外の領域において、前記合焦画像及び前記スイープ画像を合成する
   ことを特徴とする、請求項２又は４に記載の撮像装置。
6. フォーカスレンズ又は撮像素子を光軸方向に駆動中に連続して露光することによりスイープ画像を撮像する撮像ステップと、
   撮像した前記スイープ画像をデコンボリューションし、デコンボリューション画像を生成する画像処理ステップと、
   を含む
   ことを特徴とする、撮像方法。
7. フォーカスレンズ又は撮像素子を光軸方向に駆動中に連続して露光することにより撮像して得られるスイープ画像を取得する画像取得部と、
   取得した前記スイープ画像をデコンボリューションし、デコンボリューション画像を生成する画像処理部と、
   を備える
   ことを特徴とする、画像処理装置。
   

Images