JP5300133B2 - 画像表示装置及び撮像装置 - Google Patents

Description

本発明は、撮影画像に基づく画像を表示する画像表示装置及び該画像表示装置を含む撮像装置に関する。

オートフォーカス機能を備えたデジタルカメラ等の撮像装置では、通常、ＡＦエリア内の被写体にピントが合うように光学的にオートフォーカス制御が実行され、その後に実際の撮影処理が行われる。オートフォーカス制御の結果は、撮像装置に設けられた表示画面上で確認できることが多い。しかしながら、この方法では、撮像装置に設けられた表示画面が小さいこともあって、ＡＦエリア内のどの部分にピントが合っているのかが分かりにくく、実際にピントが合っている（換言すれば、合焦している）領域をユーザが誤認識する場合もある。

これに鑑み、実際にピントの合っている領域を容易に確認できるようにすることを目的として、下記特許文献１に記載の撮像装置では、以下のような、コントラスト検出方式に基づく制御を行っている。
撮影画像の画像領域を複数のブロックに区分けして、フォーカスレンズを移動させながら各ブロックのＡＦ評価値を求め、フォーカスレンズのレンズ位置毎に、ＡＦエリア内の全ブロックのＡＦ評価値を合計である合計ＡＦ評価値を算出する。そして、合計ＡＦ評価値が最も大きくなるレンズ位置を合焦レンズ位置として導出する。一方で、ブロックごとに、当該ブロックのＡＦ評価値を最大化するためのレンズ位置をブロック合焦レンズ位置として検出し、合焦レンズ位置と対応するブロック合焦レンズ位置との差が小さいブロックがピントの合っている領域（合焦領域）であると判断して、該領域を識別表示する。

特開２００８−４９９６号公報

しかしながら、特許文献１の方法では、フォーカスレンズの多段階移動が必須となるため、その移動の分、撮影に必要な時間が増大する。また、レンズ移動を伴わない撮影に対して適用することができない。

そこで本発明は、レンズ移動を必要とすることなく合焦領域を視認可能ならしめる画像表示装置及び撮像装置を提供することを目的とする。

本発明に係る画像表示装置は、撮像手段によって撮影される各被写体の被写体距離を検出する被写体距離検出手段と、前記撮像手段による撮影によって得られた入力画像から、特定距離範囲内に位置する被写体にピントが合っている画像を出力画像として生成する出力画像生成手段と、前記被写体距離検出手段の検出結果に基づき、前記出力画像中の画像領域であって前記特定距離範囲内に位置する被写体が現れている画像領域を合焦領域として抽出し、前記合焦領域が視認可能となるように前記出力画像に基づく表示画像を表示手段に表示させる表示制御手段と、を備えたことを特徴とする。

被写体距離の検出結果を用いて合焦領域を特定するため、フォーカスレンズの移動は必要ではなくなる。よって、本発明に係る画像表示装置は、レンズ移動を伴わずに撮影を行う撮像装置に対しても有益に機能する。

具体的には例えば、前記被写体距離検出手段は、前記入力画像の画像データと前記撮像手段の光学系の特性とに基づいて、前記入力画像上の各位置における被写体の被写体距離を検出し、前記出力画像生成手段は、前記特定距離範囲の指定を受け、前記被写体距離検出手段による検出被写体距離と指定された前記特定距離範囲と前記撮像手段の光学系の特性とに応じた画像処理を前記入力画像に施すことによって、前記出力画像を生成する。

これにより、入力画像の撮影後に、所望の合焦状態を有する出力画像を生成することが可能となる。つまり、撮影後のフォーカス制御が可能となるため、ピント合わせミスによる撮影の失敗をなくすことができる。

表示手段の表示画面が比較的小さい場合、何れの被写体が合焦状態にあるのかが分かりずらいことも多いが、上記構成によれば、ピントの合っている合焦領域が視認可能となるように表示制御がなされるため、ユーザは、何れの被写体が合焦状態にあるのかを容易に認識できるようになり、所望の被写体に合焦した画像を確実且つ容易に得ることができるようになる。

より具体的には例えば、前記入力画像の画像データには、前記入力画像上の各位置における被写体の被写体距離に基づく情報が含まれており、前記被写体距離検出手段は、前記情報を前記入力画像の画像データから抽出し、抽出結果と前記光学系の特性に基づいて前記入力画像上の各位置における被写体の被写体距離を検出する。

或いは具体的には例えば、前記被写体距離検出手段は、前記入力画像を表す複数色の色信号に含まれる所定の高域周波数成分を色信号ごとに抽出し、抽出結果と前記光学系の軸上色収差の特性に基づいて前記入力画像上の各位置における被写体の被写体距離を検出する。

本発明に係る撮像装置は、撮像手段と上記画像表示装置を備えている。

また例えば、本発明に係る撮像装置では、前記撮像手段を用いた撮影により得られた画像データが前記入力画像の画像データとして前記画像表示装置に供給され、前記入力画像の撮影後において、前記特定距離範囲を指定する操作に従って前記入力画像から前記出力画像が生成されて該出力画像に基づく前記表示画像が前記表示手段に表示される。

本発明によれば、レンズ移動を必要とすることなく合焦領域を視認可能ならしめる画像表示装置及び撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、第１実施形態に係る撮像装置１００の概略全体ブロック図である。撮像装置１００（及び後述する他の実施形態における撮像装置）は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１００は、符号１０１〜１０６によって参照される各部位を備える。尚、撮影と撮像は同義である。

撮像部１０１は、光学系及びＣＣＤ（Charge Coupled Device）等の撮像素子を備え、撮像素子を用いた撮影によって被写体の像を表す電気信号を出力する。原画像生成部１０２は、撮像部１０１の出力信号に所定の映像信号処理を施すことによって画像データを生成する。原画像生成部１０２の生成画像データによって表される１枚の静止画像を原画像と呼ぶ。原画像は、撮像部１０１の撮像素子上に結像した被写体像を表している。尚、画像データとは、画像の色及び明るさを表すデータである。

原画像の画像データには、原画像の各画素位置における被写体の被写体距離に依存する情報が含まれている。例えば、撮像部１０１の光学系が有する軸上色収差に由来して、原画像の画像データには、そのような情報が含まれることになる（この情報に関しては、他の実施形態にて詳説される）。被写体距離検出部１０３は、その情報を原画像の画像データから抽出し、抽出結果に基づいて原画像の各画素位置における被写体の被写体距離を検出する（推定する）。原画像の各画素位置における被写体の被写体距離を表す情報を、被写体距離情報と呼ぶ。尚、或る被写体の被写体距離とは、その被写体と撮像装置（本実施形態において撮像装置１００）との間における実空間上の距離を指す。

目標合焦画像生成部１０４は、原画像の画像データ、被写体距離情報及び被写界深度設定情報に基づいて目標合焦画像の画像データを生成する。被写界深度設定情報は、目標合焦画像生成部１０４にて生成されるべき目標合焦画像の被写界深度を指定する情報であり、被写界深度設定情報によって、目標合焦画像の被写界深度内に位置する最短の被写体距離及び最長の被写体距離が指定される。被写界深度設定情報によって指定される被写界深度を、以下、単に指定被写界深度とも呼ぶ。被写界深度設定情報は、例えばユーザの操作によって設定される。

目標合焦画像は、指定被写界深度内に位置する被写体にピントが合い且つ該指定被写界深度外に位置する被写体にピントがあっていない画像である。目標合焦画像生成部１０４は、被写界深度設定情報に従って原画像に被写体距離情報に応じた画像処理を施すことにより、指定被写界深度を有する目標合焦画像を生成する。原画像から目標合焦画像を生成する方法は、他の実施形態にて例示される。尚、ピントが合っていることと「合焦」は同義である。

表示制御部１０５は、目標合焦画像の画像データ、被写体距離情報及び被写界深度設定情報に基づいて特殊な表示画像の画像データを生成する。この特殊の表示画像を、便宜上、強調表示画像と呼ぶ。具体的には、被写体距離情報及び被写界深度設定情報に基づき、目標合焦画像の全体画像領域の内、ピントが合っている画像領域を合焦領域として特定し、合焦領域が表示部１０６の表示画面上で他の画像領域と区別して視認可能となるように目標合焦画像に対して所定の加工処理を施す。加工処理後の目標合焦画像は、強調表示画像として表示部１０６（液晶ディスプレイなど）の表示画面上に表示される。尚、目標合焦画像の全体画像領域の内、ピントが合っていない画像領域を非合焦領域と呼ぶ。

指定被写界深度内の被写体距離に位置する被写体を合焦被写体と呼び、指定被写界深度外の被写体距離に位置する被写体を非合焦被写体と呼ぶ。目標合焦画像及び強調表示画像の合焦領域には合焦被写体の画像データが存在しており、目標合焦画像及び強調表示画像の非合焦領域には非合焦被写体の画像データが存在している。

原画像、目標補正画像及び強調表示画像の例を説明する。図２（ａ）の画像２００は、原画像の例を表している。原画像２００には、人物である被写体ＳＵＢ_A及びＳＵＢ_Bを含む実空間領域を撮影することによって得た原画像である。被写体ＳＵＢ_Aの被写体距離は被写体ＳＵＢ_Bのそれよりも小さい。また、図２（ａ）の原画像２００は、撮像部１０１の光学系が比較的大きな軸上色収差を有していることを想定した原画像である。この軸上色収差に由来して、原画像２００上では被写体ＳＵＢ_A及びＳＵＢ_Bがぼけて現われている。

図２（ｂ）の画像２０１は、原画像２００に基づく目標合焦画像の例である。目標合焦画像２０１の生成に際して、被写体ＳＵＢ_Aの被写体距離が指定被写界深度内に位置する一方で被写体ＳＵＢ_Bの被写体距離が指定被写界深度外に位置するように被写界深度設定情報が作成されたとする。このため、目標合焦画像２０１上では、被写体ＳＵＢ_Aが鮮明に描写されている一方で被写体ＳＵＢ_Bの像はぼけている。

上述したように、表示制御部１０５は、合焦領域が表示部１０６の表示画面上で視認可能となるように目標合焦画像を加工して強調表示画像を得る。図３（ａ）〜（ｄ）の画像２１０〜２１３の夫々は、目標合焦画像２０１に基づく強調表示画像の例である。目標合焦画像２０１における被写体ＳＵＢ_Aの画像データが存在する画像領域は、合焦領域に含まれる。実際には、被写体ＳＵＢ_Aの周辺被写体（例えば、被写体ＳＵＢ_Aの足元の地面）の画像データが存在する画像領域も合焦領域に含まれることになるが、今、図示の煩雑化防止及び説明の簡略化上、強調表示画像２１０〜２１３において、被写体ＳＵＢ_A以外の全被写体の画像領域は非合焦領域に含まれると想定する。

例えば、図３（ａ）に示す如く、合焦領域内の画像のエッジを強調する加工処理を目標合焦画像２０１に施すことで、合焦領域を視認可能とすることができる。この場合に得られる強調表示画像２１０では、被写体ＳＵＢ_Aのエッジが強調表示される。エッジの強調は、周知のエッジ強調フィルタを用いたフィルタリング処理で実現できる。図３（ａ）では、被写体ＳＵＢ_Aのエッジが強調されている様子を、被写体ＳＵＢ_Aの輪郭を太くすることによって示している。

或いは例えば、図３（ｂ）の強調表示画像２１１の如く、合焦領域内の画像の輝度（又は明度）を増加させる加工処理を目標合焦画像２０１に施すことで、合焦領域を視認可能とすることができる。この場合に得られる強調表示画像２１１では、被写体ＳＵＢ_Aが他と比べて明るく表示される。

或いは例えば、図３（ｃ）の強調表示画像２１２の如く、非合焦領域内の画像の輝度（又は明度）を低下させる加工処理を目標合焦画像２０１に施すことで、合焦領域を視認可能とすることもできる。この場合に得られる強調表示画像２１２では、被写体ＳＵＢ_A以外の被写体が暗く表示される。尚、合焦領域内の画像の輝度（又は明度）を増加させる一方で非合焦領域内の画像の輝度（又は明度）を低下させる加工処理を目標合焦画像２０１に施すようにしてもよい。

或いは例えば、図３（ｄ）の強調表示画像２１３の如く、非合焦領域内の画像の彩度を低下させる加工処理を目標合焦画像２０１に施すことで、合焦領域を視認可能とすることができる。この際、合焦領域内の画像の彩度を変化させないようにする。但し、合焦領域内の画像の彩度を増加させることも可能である。

尚、非合焦領域内の画像の輝度を低下させる場合、非合焦領域内の画像の輝度を一律に同程度だけ低下させるようにしても良いが、図４に示す如く、輝度が低下させられる画像領域の被写体距離が指定被写界深度の中心から離れるに従って、輝度の低下度合いを徐々に増大させるようにしてもよい。明度又は彩度を低下させる場合も同様である。エッジ強調においてもエッジ強調の度合いは一律でなくとも良い。例えば、エッジ強調のなされる画像領域の被写体距離が指定被写界深度の中心から離れるに従って、エッジ強調の度合いを徐々に低下させるようにしてもよい。

また、上述の加工処理例の内、複数の加工処理を組み合わせて実施することも可能である。例えば、非合焦領域内の画像の輝度（又は明度）を低下させつつ合焦領域内の画像のエッジを強調する、といった加工処理を採用することも可能である。合焦領域を視認可能とするための方法例を幾つか挙げたが、これらはあくまで例示であり、合焦領域が表示部１６上で視認可能となるなら、他の如何なる方法をも採用可能である。

図５に、撮像装置１００の動作の流れを説明する。まず、ステップＳ１１において、原画像を取得し、続くステップＳ１２において、原画像の画像データから被写体距離情報を生成する。その後、ステップＳ１３において、撮像装置１００は、ユーザによる被写界深度を指定する操作を受け付け、指定された被写界深度に従って被写界深度設定情報を作成する。続くステップＳ１４では、被写体距離情報及び被写界深度設定情報を用いて原画像の画像データから目標合焦画像の画像データを生成し、更にステップＳ１５において、目標合焦画像に基づく強調表示画像を生成して表示する。

この強調表示画像を表示している状態において、ステップＳ１６の分離処理が実行される。具体的には、ステップＳ１６において、撮像装置１００は、ユーザによる確定操作又は調整操作を受け付ける。調整操作は、指定被写界深度を変更する操作である。

ステップＳ１６において、ユーザにより調整操作がなされた場合は、その調整操作により変更された指定被写界深度に従って被写界深度設定情報を変更した後、ステップＳ１４及びＳ１５の処理を再度行う。つまり、変更後の被写界深度設定情報に従って原画像の画像データから目標合焦画像の画像データを再度生成し、新たな目標合焦画像に基づく強調表示画像を生成及び表示する。この後、再びユーザの確定操作又は調整操作を受け付ける。

一方、ステップＳ１６において、ユーザにより確定操作がなされた場合は、現在表示している強調表示画像の元となった目標合焦画像の画像データを圧縮処理を介して記録媒体（不図示）に記録する（ステップＳ１７）。

撮像装置１００（及び後述の他の実施形態における撮像装置）によれば、原画像の撮影後に、任意の被写体にピントが合った、任意の被写界深度を有する目標合焦画像を生成することができる。つまり、撮影後のフォーカス制御が可能となるため、ピント合わせミスによる撮影の失敗をなくすことができる。

このような撮影後のフォーカス制御によって、ユーザは、所望の被写体に合焦した画像を作成しようとするが、撮像装置に設けられる表示画面が比較的小さいこともあって、何れの被写体が合焦状態にあるのかが分かりずらいことも多い。これを考慮し、本実施形態では、合焦状態にある画像領域（合焦被写体）を視認可能なように強調表示画像を生成する。これにより、ユーザは、何れの被写体が合焦状態にあるのかを容易に認識できるようになり、所望の被写体に合焦した画像を確実且つ容易に得ることができるようになる。また、距離情報を用いて合焦領域を特定するため、正確な合焦領域をユーザに知らせることができる。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態では、原画像から目標合焦画像を生成する方法の詳細説明を交えながら、本発明に係る撮像装置の詳細構成及び動作例を説明する。

図６、図７（ａ）〜（ｃ）及び図８を参照して、第２実施形態の撮像装置にて利用されるレンズ１０Ｌの特性を説明する。レンズ１０Ｌは、比較的大きな所定の軸上色収差を有している。従って、図６に示す如く、点光源３００からレンズ１０Ｌに向かう光３０１は、レンズ１０Ｌによって青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒに分離され、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒは、互いに異なる結像点３０２Ｂ、３０２Ｇ及び３０２Ｒ上に結像する。青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒは、夫々、光３０１の青、緑及び赤成分である。

図７（ａ）等において、符号１１は、撮像装置にて利用される撮像素子を表している。撮像素子１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子である。撮像素子１１は、いわゆる単板方式のイメージセンサであり、撮像素子１１としての１枚のイメージセンサにおける各受光画素の前面には、光の赤成分のみを透過させる赤フィルタ、光の緑成分のみを透過させる緑フィルタ、及び、光の青成分のみを透過させる青フィルタの何れかが配置されている。赤フィルタ、緑フィルタ及び青フィルタの配列は、ベイヤ配列である。

レンズ１０Ｌの中心から結像点３０２Ｂ、３０２Ｇ及び３０２Ｒまでの距離を、図８に示す如く、それぞれＸＢ、ＸＧ及びＸＲにて表す。そうすると、レンズ１０Ｌが有する軸上色収差により、不等式「ＸＢ＜ＸＧ＜ＸＲ」が成立する。また、レンズ１０Ｌの中心から撮像素子１１までの距離をＸ_ISにて表す。図８では、「ＸＢ＜ＸＧ＜ＸＲ＜Ｘ_IS」が成立しているが、光源３００とレンズ１０Ｌの中心までの距離３１０（図６参照）が変化することによって、距離ＸＢ、ＸＧ及びＸＲと距離Ｘ_ISとの大小関係は変化する。点光源３００が注目した被写体であると考えれば、距離３１０は、注目した被写体にとっての被写体距離である。

図７（ａ）〜（ｃ）は、距離３１０が変化することによって結像点３０２Ｂ、３０２Ｇ及び３０２Ｒの位置が変化する様子を示した図である。図７（ａ）は、距離３１０が比較的小さな距離であって「ＸＢ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。図７（ｂ）は、距離３１０が図７（ａ）の状態から増大することによって「ＸＧ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。図７（ｃ）は、距離３１０が図７（ｂ）の状態から更に増大することによって「ＸＲ＝Ｘ_IS」が成立する時の、結像点３０２Ｂ、３０２Ｇ及び３０２Ｒと撮像素子１１の位置関係を示している。

距離Ｘ_ISが距離ＸＢ、ＸＧ、ＸＢと一致する時におけるレンズ１０Ｌの位置は、青色光３０１Ｂ、緑色光３０１Ｇ、赤色光３０１Ｒに対するレンズ１０Ｌの合焦位置である。従って、「ＸＢ＝Ｘ_IS」、「ＸＧ＝Ｘ_IS」、「ＸＲ＝Ｘ_IS」が成立する場合においては、夫々、青色光３０１Ｂ、緑色光３０１Ｇ、赤色光３０１Ｒに対して完全にピントが合った状態の画像が撮像素子１１から得られる。但し、青色光３０１Ｂに対して完全にピントが合った状態の画像においては、緑色光３０１Ｇ及び赤色光３０１Ｒの像がぼける。緑色光３０１Ｇ及び赤色光３０１Ｒに対して完全にピントが合った状態の画像についても同様である。図８のＹＢ、ＹＧ及びＹＲは、夫々、撮像素子１１の撮像面上に形成される青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像の半径を表している。

軸上色収差の特性を含むレンズ１０Ｌの特性は撮像装置の設計段階で予め分かっているともに撮像装置は距離Ｘ_ISをも当然に認識可能である。よって、撮像装置は、距離３１０が分かれば、レンズ１０Ｌの特性と距離Ｘ_ISを用いて青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像のぼけの状態を推定可能である。また、距離３１０が分かれば、青色光３０１Ｂ、緑色光３０１Ｇ及び赤色光３０１Ｒの画像の点広がり関数（Point Spread Function）が決まるので、点広がり関数の逆関数を用いて、それらの画像のぼけを除去することも可能である。尚、距離Ｘ_ISを変化させることも可能ではあるが、以下の説明では、説明の簡略化上、特に記述なき限り距離Ｘ_ISは一定距離に固定されているものとする。

図９に、被写体距離と撮像素子１１から得られた原画像のＢ、Ｇ及びＲ信号の解像度との関係を示す。ここにおける原画像とは、撮像素子１１から得られたＲＡＷデータに対してデモザイキング処理を施して得られる画像を指し、後述のデモザイキング処理部１４にて生成される原画像に相当する（図１１等参照）。Ｂ、Ｇ及びＲ信号とは、夫々、青色光３０１Ｂに対応する画像上の青色成分を表す信号、緑色光３０１Ｇに対応する画像上の緑色成分を表す信号及び赤色光３０１Ｒに対応する画像上の赤色成分を表す信号を指す。

尚、本明細書における解像度とは、画像の画素数を表すものではなく、画像上で表現可能な最大の空間周波数を指す。換言すれば、本明細書における解像度とは、画像上にどの程度まで細かなものを再現できるかを表す尺度であり、解像力とも呼ばれる。

図９において、曲線３２０Ｂ、３２０Ｇ及び３２０Ｒは、夫々、原画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性を表している。図９（及び後述の図１０等）の、解像度と被写体距離との関係を表すグラフにおいて、横軸及び縦軸は夫々被写体距離及び解像度を表し、横軸上を左から右に向かうにつれて対応する被写体距離は増大すると共に縦軸上を下から上に向かうにつれて対応する解像度は増大する。

被写体距離ＤＤ_B、ＤＤ_G及びＤＤ_Rは、夫々、図７（ａ）に対応する「ＸＢ＝Ｘ_IS」、図７（ｂ）に対応する「ＸＧ＝Ｘ_IS」及び図７（ｃ）に対応する「ＸＲ＝Ｘ_IS」が成立する場合における被写体距離である。従って、「ＤＤ_B＜ＤＤ_G＜ＤＤ_R」が成立する。

曲線３２０Ｂに示す如く、原画像のＢ信号の解像度は、被写体距離が距離ＤＤ_Bである時に最大となり、被写体距離が距離ＤＤ_Bを起点として減少又は増大するにつれて減少する。同様に、曲線３２０Ｇに示す如く、原画像のＧ信号の解像度は、被写体距離が距離ＤＤ_Gである時に最大となり、被写体距離が距離ＤＤ_Gを起点として減少又は増大するにつれて減少する。同様に、曲線３２０Ｒに示す如く、原画像のＲ信号の解像度は、被写体距離が距離ＤＤ_Rである時に最大となり、被写体距離が距離ＤＤ_Rを起点として減少又は増大するにつれて減少する。

上述した解像度の定義から分かるように、原画像のＢ信号の解像度は、原画像上のＢ信号の最大空間周波数を表す（Ｇ及びＲ信号についても同様）。或る信号の解像度が比較的高ければ、その信号には高域周波数成分が比較的多く含まれる。従って、被写体距離が比較的近い被写体（例えば、被写体距離がＤＤ_Bの被写体）に対しては、原信号のＢ信号に高域周波数成分が含まれ、被写体距離が比較的遠い被写体（例えば、被写体距離がＤＤ_Rの被写体）に対しては、原信号のＲ信号に高域周波数成分が含まれ、被写体距離が中程度の被写体（例えば、被写体距離がＤＤ_Gの被写体）に対しては、原信号のＧ信号に高域周波数成分が含まれる。尚、或る信号に含まれる周波数成分の内、所定の周波数以上の周波数成分を高域周波数成分（以下、高域成分と略記する）と呼び、所定の周波数未満の周波数成分を低域周波数成分（以下、低域成分と略記する）と呼ぶ。

これらの高域成分を補完しあえば、合焦範囲の広い、即ち被写界深度の深い画像を生成可能である。図１０は、原信号のＢ、Ｇ及びＲ信号の高域成分を補完しあうことで生成されるＹ信号（即ち、輝度信号）の解像度を表す曲線３２０Ｙを、図９に付加した図である。このような補完を行った後、合焦を望む被写体（例えば主要被写体としての人物）との間で被写体距離が異なる被写体（例えば背景）をぼかすようにすれば、合焦を望む被写体にピントが合った、合焦範囲の狭い画像（即ち、被写界深度の浅い画像）を生成することができる。

注目した或る画像に関し、Ｙ信号（又はＢ、Ｇ及びＲ信号の全て）の有する解像度が或る一定の基準解像度ＲＳ_O以上になる被写体距離の範囲が、第１実施形態でも述べた被写界深度である。本実施形態では、被写界深度を合焦範囲と呼ぶこともある。

図１１は、本実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１０〜２４によって参照される各部位を備えている。撮像装置１の構成を第１実施形態に係る撮像装置１００（図１参照）に適用することができる。図１１の撮像装置１の構成を撮像装置１００に適用する場合、撮像部１０１は光学系１０及び撮像素子１１を含み、原画像生成部１０２はＡＦＥ１２及びデモザイキング処理部１４を含み被写体距離検出部１０３は高域成分抽出／距離検出部１５を含み、目標合焦画像生成部１０４は被写界深度拡大処理部１６及び被写界深度制御部１７を含み、表示制御部１０５は表示制御部２５を含み、表示部１０６はＬＣＤ１９及びタッチパネル制御部２０を含む、と考えることができる。

光学系１０は、光学ズームを行うためのズームレンズ及び焦点位置を調整するためのフォーカスレンズを含むレンズ群と、撮像素子１１への入射光量を調節するための絞りによって形成され、所望の画角を有し且つ所望の明るさを有する画像を撮像素子１１の撮像面に結像させる。光学系１０を単体のレンズとして捉えたものが上述のレンズ１０Ｌである。従って、光学系１０は、レンズ１０Ｌが有する軸上色収差と同じ軸上色収差を有する。

撮像素子１１は、光学系１０を介して入射した被写体を表す光学像（被写体像）を光電変換し、該光電変換によって得られたアナログの電気信号をＡＦＥ１２に出力する。ＡＦＥ（Analog Front End）１２は、撮像素子１１から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから出力する。ＡＦＥ１２の信号増幅における増幅度は、ＡＦＥ１２の出力信号レベルが最適化されるように、光学系１０の絞り値に対する調整と連動して調整される。尚、ＡＦＥ１２の出力信号をＲＡＷデータとも呼ぶ。ＲＡＷデータを、ＤＲＡＭ（Dynamic Random Access Memory）１３に一時記憶させることができる。また、ＤＲＡＭ１３は、ＲＡＷデータだけではなく、撮像装置１内で生成される各種データを一時的に記憶することができる。

上述したように、撮像素子１１はベイヤ配列を採用した単板方式のイメージセンサであるため、ＲＡＷデータによって表される二次元画像においては、赤、緑及び青の色信号の夫々がベイヤ配列に従ってモザイク状に配置される。

デモザイキング処理部１４は、ＲＡＷデータに対して周知のデモザイキング処理を実行することにより、ＲＧＢ形式の画像データを生成する。デモザイキング処理部１４が生成した画像データによって表される二次元画像を、原画像と呼ぶ。原画像を形成する１つ１つの画素にはＲ、Ｇ及びＢ信号の全てが割り当てられる。或る画素についてのＲ、Ｇ及びＢ信号は、夫々、その画素の赤、緑及び青の強度を表す色信号である。原画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ０、Ｇ０及びＢ０にて表す。

高域成分抽出／距離検出部１５（以下、抽出／検出部１５と略記する）は、色信号Ｒ０、Ｇ０及びＢ０の夫々の高域成分を抽出すると共に、その抽出を介して原画像の各位置における被写体距離を推定し、推定被写体距離を表す被写体距離情報ＤＩＳＴを生成する。また、高域成分の抽出結果に応じた情報が被写界深度拡大処理部１６に出力される。

被写界深度拡大処理部１６（以下、拡大処理部１６と略記する）は、抽出／検出部１５からの情報に基づき、色信号Ｒ０、Ｇ０及びＢ０によって表される原画像の被写界深度を拡大する（即ち、被写界深度の深さを増大する）ことにより中間生成画像を生成する。中間生成画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ１、Ｇ１及びＢ１にて表す。

被写界深度制御部１７は、被写体距離情報ＤＩＳＴと目標合焦画像に対する被写界深度を指定する被写界深度設定情報に基づいて中間生成画像の被写界深度を調整することにより、被写界深度の浅い目標合焦画像を生成する。被写界深度設定情報によって、目標合焦画像に対する被写界深度の深さと何れの被写体を合焦被写体とするのかが定められる。被写界深度設定情報は、ユーザの指示等に基づき、ＣＰＵ２３によって作成される。目標合焦画像のＲ、Ｇ及びＢ信号を、夫々、Ｒ２、Ｇ２及びＢ２にて表す。

目標合焦画像のＲ、Ｇ及びＢ信号はカメラ信号処理部１８に与えられる。原画像又は中間生成画像のＲ、Ｇ及びＢ信号をカメラ信号処理部１８に与えることも可能である。

カメラ信号処理部１８は、原画像、中間生成画像又は目標合焦画像のＲ、Ｇ及びＢ信号を輝度信号Ｙ並びに色差信号Ｕ及びＶから成るＹＵＶ形式の映像信号に変換して出力する。この映像信号を液晶ディスプレイであるＬＣＤ１９又は撮像装置１の外部に設けられた外部表示装置（不図示）に供給することによって、ＬＣＤ１９の表示画面上または外部表示装置の表示画面上に、原画像、中間生成画像又は目標合焦画像を表示することができる。

撮像装置１において、いわゆるタッチパネル操作が可能となっている。ユーザは、ＬＣＤ１９の表示画面に触れることによって撮像装置１に対する操作（即ち、タッチパネル操作）を行うことができる。タッチパネル制御部２０が、ＬＣＤ１９の表示画面上に加えられた圧力を検出することなどによって、タッチパネル操作を受け付ける。

圧縮／伸張処理部２１は、カメラ信号処理部１８から出力される映像信号を所定の圧縮方式を用いて圧縮することにより圧縮映像信号を生成する。また、その圧縮映像信号を伸張することにより、圧縮前の映像信号を復元することもできる。圧縮映像信号を、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリである記録媒体２２に記録することができる。また、記録媒体２２に、ＲＡＷデータを記録することもできる。ＣＰＵ（Central Processing Unit）２３は、撮像装置１を形成する各部位の動作を統括的に制御する。操作部２４は、撮像装置１に対する様々な操作を受け付ける。操作部２４に対する操作内容は、ＣＰＵ２３に伝達される。

カメラ信号処理部１８に内在する表示制御部２５は、第１実施形態で述べた表示制御部１０５（図１参照）と同等の機能を有している。即ち、被写体距離情報ＤＩＳＴ及び被写界深度設定情報に基づき、目標合焦画像に対して第１実施形態で述べた加工処理を施すことで、ＬＣＤ１９の表示画面上で表示されるべき強調表示画像を生成する。この加工処理は、得られた強調表示画像の合焦領域がＬＣＤ１９の表示画面上で視認可能となるように行われる。

第１実施形態における図５の動作手順は第２実施形態にも適用可能である。即ち、一旦生成した目標合焦画像及びそれに基づく強調表示画像に対してユーザが調整操作を行った場合は、その調整操作により変更された指定被写界深度に従って被写界深度設定情報を変更し、変更後の被写界深度設定情報に従って中間生成画像（又は原画像）の画像データから目標合焦画像の画像データを再度生成して、新たな目標合焦画像に基づく強調表示画像を生成及び表示する。この後、再びユーザの確定操作又は調整操作を受け付ける。ユーザにより確定操作がなされた場合は、現在表示している強調表示画像の元となった目標合焦画像の画像データが圧縮処理を介して記録媒体２２に記録される。

［目標合焦画像の生成原理：被写界深度の制御原理］
図１２（ａ）〜（ｄ）を参照して、原画像から目標合焦画像を生成する方法の原理を説明する。図１２（ａ）において、曲線４００Ｂ、４００Ｇ及び４００Ｒは、夫々、原画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性、即ち、色信号Ｂ０、Ｇ０及びＲ０における解像度の被写体距離依存性を表している。曲線４００Ｂ、４００Ｇ及び４００Ｒは、夫々、図９の曲線３２０Ｂ、３２０Ｇ及び３２０Ｒと同じものである。図１２（ａ）及び（ｂ）の距離ＤＤ_B、ＤＤ_G及びＤＤ_Rは、図９に示したそれらと同じものである。

軸上色収差により、色信号Ｂ０、Ｇ０及びＲ０の解像度が高まる被写体距離は互いに異なる。上述したように、被写体距離が比較的近い被写体に対しては色信号Ｂ０に高域成分が含まれ、被写体距離が比較的遠い被写体に対しては色信号Ｒ０に高域成分が含まれ、被写体距離が中程度の被写体に対しては色信号Ｇ０に高域成分が含まれる。

このような色信号Ｂ０、Ｇ０及びＲ０を得た後、色信号Ｂ０、Ｇ０及びＲ０の内、最も大きな高域成分を有する信号を特定し、特定した色信号の高域成分を他の２つの色信号に付加することにより中間生成画像の色信号Ｂ１、Ｇ１及びＲ１を生成することができる。各色信号の高域成分の大きさは被写体距離の変化に伴って変化するため、この生成処理は、互いに異なる第１、第２、第３・・・の被写体距離に対して別個に実行される。原画像の全体画像領域内には様々な被写体距離を有する被写体が表れるが、各被写体の被写体距離は、図１１の抽出／検出部１５によって推定される。

図１２（ｂ）において、曲線４１０は、中間生成画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性、即ち、色信号Ｂ１、Ｇ１及びＲ１における解像度の被写体距離依存性を表している。曲線４１０は、第１の被写体距離における色信号Ｂ０、Ｇ０及びＲ０の解像度の最大値、第２の被写体距離における色信号Ｂ０、Ｇ０及びＲ０の解像度の最大値、第３の被写体距離における色信号Ｂ０、Ｇ０及びＲ０の解像度の最大値、・・・を繋ぎ合わせたような曲線となる。中間生成画像の合焦範囲（被写界深度）は、原画像のそれよりも大きく、中間生成画像の合焦範囲（被写界深度）内に距離ＤＤ_B、ＤＤ_G及びＤＤ_Rが包含される。

中間生成画像を生成する一方で、ユーザの指示などに基づき、図１２（ｃ）に示すような被写界深度曲線４２０を設定する。図１１の被写界深度制御部１７は、目標合焦画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性を表す曲線が被写界深度曲線４２０と概ね同じとなるように、中間生成画像のＢ、Ｇ及びＲ信号を補正する。図１２（ｄ）の実線曲線４３０は、この補正により得られた目標合焦画像のＢ、Ｇ及びＲ信号における解像度の被写体距離依存性、即ち、色信号Ｂ２、Ｇ２及びＲ２における解像度の被写体距離依存性を表している。被写界深度曲線４２０を適切に設定すれば、合焦範囲の狭い目標合焦画像（被写界深度の浅い目標合焦画像）を生成することができる。即ち、所望の被写体距離の被写体にのみピントが合い、他の被写体距離の被写体がぼけたような目標合焦画像を生成することができる。

色信号Ｂ０、Ｇ０及びＲ０から色信号Ｂ１、Ｇ１及びＲ１を生成する方法の原理について補足説明を行う。色信号Ｂ０、Ｇ０、Ｒ０、Ｂ１、Ｇ１及びＲ１を被写体距離Ｄの関数とみなし、それらを夫々、Ｂ０（Ｄ）、Ｇ０（Ｄ）、Ｒ０（Ｄ）、Ｂ１（Ｄ）、Ｇ１（Ｄ）及びＲ１（Ｄ）と表記する。色信号Ｇ０（Ｄ）は、高域成分Ｇｈ（Ｄ）と低域成分ＧＬ（Ｄ）に分離することができる。同様に、色信号Ｂ０（Ｄ）は高域成分Ｂｈ（Ｄ）と低域成分ＢＬ（Ｄ）に分離することができ、色信号Ｒ０（Ｄ）は高域成分Ｒｈ（Ｄ）と低域成分ＲＬ（Ｄ）に分離することができる。即ち、
Ｇ０（Ｄ）＝Ｇｈ（Ｄ）＋ＧＬ（Ｄ）、
Ｂ０（Ｄ）＝Ｂｈ（Ｄ）＋ＢＬ（Ｄ）、
Ｒ０（Ｄ）＝Ｒｈ（Ｄ）＋ＲＬ（Ｄ）、
が成り立つ。

光学系１０に軸上色収差がなかったと仮定したならば、局所的には色の変化が少ないという画像の性質から、通常、下記式（１）が成り立つと共に下記式（２）も成り立つ。これは、任意の被写体距離に対して成り立つ。実空間上における被写体は様々な色成分を有しているが、被写体が有する色成分を局所的に見た場合、微小領域内では輝度は変化するものの色は殆ど変化しないことが多い。例えば、緑の葉の色成分を或る方向に走査した時、葉の模様によって輝度は変化するものの色（色相など）は殆ど変化しない。故に、光学系１０に軸上色収差がなかったと仮定したならば、式（１）及び（２）が成り立つことが多い。
Ｇｈ（Ｄ）／Ｂｈ（Ｄ）＝ＧＬ（Ｄ）／ＢＬ（Ｄ） …（１）
Ｇｈ（Ｄ）／ＧＬ（Ｄ）＝Ｂｈ（Ｄ）／ＢＬ（Ｄ）＝Ｒｈ（Ｄ）／ＲＬ（Ｄ） …（２）

一方、実際には光学系１０に軸上色収差が存在するため、任意の被写体距離に対して、色信号Ｂ０（Ｄ）、Ｇ０（Ｄ）及びＲ０（Ｄ）の高域成分は互いに異なる。逆に考えれば、或る被写体距離に対して大きな高域成分を有する１つの色信号を用いて、他の２つの色信号の高域成分を補うことができる。例えば、今、図１３に示す如く、被写体距離Ｄ₁において色信号Ｇ０（Ｄ）の解像度が色信号Ｂ０（Ｄ）及びＲ０（Ｄ）のそれらよりも大きく、且つ、Ｄ₁よりも大きな或る被写体距離をＤ₂とする。また、図１４に示す如く、被写体距離Ｄ₁の被写体ＳＵＢ₁の画像データが存在する、原画像中の一部の画像領域を符号４４１によって表し、被写体距離Ｄ₂の被写体ＳＵＢ₂の画像データが存在する、原画像中の一部の画像領域を符号４４２によって表す。画像領域４４１及び４４２には、夫々、被写体ＳＵＢ₁及びＳＵＢ₂の画像が現れる。

画像領域４４１におけるＧ信号、即ちＧ０（Ｄ₁）（＝Ｇｈ（Ｄ₁）＋ＧＬ（Ｄ₁））には高域成分が多く含まれることになるが、軸上色収差に由来して、画像領域４４１におけるＢ信号及びＲ信号、即ちＢ０（Ｄ₁）（＝Ｂｈ（Ｄ₁）＋ＢＬ（Ｄ₁））及びＲ０（Ｄ₁）（＝Ｒｈ（Ｄ₁）＋ＲＬ（Ｄ₁））に含まれる高域成分は少ない。この画像領域４４１におけるＢ及びＲ信号の高域成分を、画像領域４４１におけるＧ信号の高域成分を用いて生成する。生成された画像領域４４１におけるＢ及びＲ信号の高域成分を夫々Ｂｈ’（Ｄ₁）及びＲｈ’（Ｄ₁）にて表すとすると、Ｂｈ’（Ｄ₁）及びＲｈ’（Ｄ₁）は下記式（３）及び（４）によって求められる。
Ｂｈ’（Ｄ₁）＝ＢＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（３）
Ｒｈ’（Ｄ₁）＝ＲＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（４）

光学系１０に軸上色収差がなかったならば上記式（１）及び（２）より「Ｂｈ（Ｄ₁）＝ＢＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁）」及び「Ｒｈ（Ｄ₁）＝ＲＬ（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁）」が成立すると考えられるが、実在する光学系１０の軸上色収差により、被写体距離Ｄ₁に関しては原画像のＢ及びＲ信号から高域成分Ｂｈ（Ｄ₁）及びＲｈ（Ｄ₁）が欠落している。この欠落分を、上記式（３）及び（４）によって生成する。

尚、実際には、Ｂ０（Ｄ₁）の高域成分Ｂｈ（Ｄ₁）及びＲ０（Ｄ₁）の高域成分Ｒｈ（Ｄ₁）は少ないため、Ｂ０（Ｄ₁）≒ＢＬ（Ｄ₁）且つＲ０（Ｄ₁）≒ＲＬ（Ｄ₁）とみなすことができる。故に、被写体距離Ｄ₁に関しては、式（５）及び（６）に従い、Ｂ０（Ｄ₁）、Ｒ０（Ｄ₁）及びＧｈ（Ｄ₁）／ＧＬ（Ｄ₁）を用いてＢ１（Ｄ₁）及びＲ１（Ｄ₁）を求めることで高域成分を含む信号Ｂ１及びＲ１を生成する。Ｇ１（Ｄ₁）は、式（７）に示す如く、Ｇ０（Ｄ₁）そのものとされる。
Ｂ１（Ｄ₁）＝ＢＬ（Ｄ₁）＋Ｂｈ’（Ｄ₁）
≒Ｂ０（Ｄ₁）＋Ｂ０（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（５）
Ｒ１（Ｄ₁）＝ＲＬ（Ｄ₁）＋Ｒｈ’（Ｄ₁）
≒Ｒ０（Ｄ₁）＋Ｒ０（Ｄ₁）×Ｇｈ（Ｄ₁）／ＧＬ（Ｄ₁） …（６）
Ｇ１（Ｄ₁）＝Ｇ０（Ｄ₁） …（７）

Ｇ信号が多くの高域成分を含むこととなる画像領域４４１に注目して信号Ｂ１、Ｇ１及びＲ１の生成方法を説明したが、Ｂ又はＲ信号が多くの高域成分を含む画像領域に対しても同様の生成処理がなされる。

［高域成分抽出、距離推定、被写界深度拡大］
上述の原理に基づく処理を担う部位の詳細構成例を説明する。図１５は、図１１に示される抽出／検出部１５及び拡大処理部１６の内部ブロック図である。原画像の色信号Ｇ０、Ｒ０及びＢ０が、抽出／検出部１５及び拡大処理部１６に入力される。抽出／検出部１５は、ＨＰＦ（ハイパスフィルタ）５１Ｇ、５１Ｒ及び５１Ｂ、ＬＰＦ（ローパスフィルタ）５２Ｇ、５２Ｒ及び５２Ｂ、最大値検出部５３、距離推定演算部５４、選択部５５並びに演算部５６を備える。拡大処理部１６は、選択部６１Ｇ、６１Ｒ及び６１Ｂ並びに演算部６２を備える。

原画像、中間生成画像又は目標合焦画像などの、任意の二次元画像は、水平及び垂直方向に複数の画素がマトリクス状に配列されて形成されており、図１６（ａ）〜（ｃ）に示す如く、その二次元画像上の注目画素の位置を（ｘ，ｙ）にて表す。ｘ及びｙは、夫々、注目画素の水平及び垂直方向の座標値を表す。そして、原画像の画素位置（ｘ，ｙ）における色信号Ｇ０、Ｒ０及びＢ０を夫々Ｇ０（ｘ，ｙ）、Ｒ０（ｘ，ｙ）及びＢ０（ｘ，ｙ）にて表し、中間生成画像の画素位置（ｘ，ｙ）における色信号Ｇ１、Ｒ１及びＢ１を夫々Ｇ１（ｘ，ｙ）、Ｒ１（ｘ，ｙ）及びＢ１（ｘ，ｙ）にて表し、目標合焦画像の画素位置（ｘ，ｙ）における色信号Ｇ２、Ｒ２及びＢ２を夫々Ｇ２（ｘ，ｙ）、Ｒ２（ｘ，ｙ）及びＢ２（ｘ，ｙ）にて表す。

ＨＰＦ５１Ｇ、５１Ｒ及び５１Ｇは、同一構成及び同一特性を有する、二次元の空間フィルタである。ＨＰＦ５１Ｇ、５１Ｒ及び５１Ｇは、入力信号Ｇ０、Ｒ０及びＢ０をフィルタリングすることによって、信号Ｇ０、Ｒ０及びＢ０に含まれる所定の高域成分Ｇｈ、Ｒｈ及びＢｈを抽出する。画素位置（ｘ，ｙ）に対して抽出された高域成分Ｇｈ、Ｒｈ及びＢｈを、夫々、Ｇｈ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）にて表す。

空間フィルタは、空間フィルタに対する入力信号をフィルタリングすることにより得た信号を出力する。空間フィルタによるフィルタリングとは、注目画素位置（ｘ，ｙ）における入力信号と注目画素位置（ｘ，ｙ）の周辺位置における入力信号とを用いて空間フィルタの出力信号を得る操作を指す。注目画素位置（ｘ，ｙ）における入力信号の値をＩ_IN（ｘ，ｙ）にて表し、注目画素位置（ｘ，ｙ）に対する空間フィルタの出力信号をＩ_O（ｘ，ｙ）にて表した場合、両者は下記式（８）の関係を満たす。ｈ（ｕ，ｖ）は、空間フィルタの位置（ｕ，ｖ）におけるフィルタ係数を表す。式（８）に従う空間フィルタのフィルタサイズは（２ｗ＋１）×（２ｗ＋１）である。ｗは自然数である。

ＨＰＦ５１Ｇは、ラプラシアンフィルタなどの、入力信号の高域成分を抽出して出力する空間フィルタであり、注目画素位置（ｘ，ｙ）における入力信号Ｇ０（ｘ，ｙ）と注目画素位置（ｘ，ｙ）の周辺位置における入力信号（Ｇ０（ｘ＋１，ｙ＋１）などを含む）を用いて、注目画素位置（ｘ，ｙ）に対する出力信号Ｇｈ（ｘ，ｙ）を得る。ＨＰＦ５１Ｒ及び５１Ｂについても同様である。

ＬＰＦ５２Ｇ、５２Ｒ及び５２Ｇは、同一構成及び同一特性を有する、二次元の空間フィルタである。ＬＰＦ５２Ｇ、５２Ｒ及び５２Ｇは、入力信号Ｇ０、Ｒ０及びＢ０をフィルタリングすることによって、信号Ｇ０、Ｒ０及びＢ０に含まれる所定の低域成分ＧＬ、ＲＬ及びＢＬを抽出する。画素位置（ｘ，ｙ）に対して抽出された低域成分ＧＬ、ＲＬ及びＢＬを、夫々、ＧＬ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）にて表す。「ＧＬ（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）−Ｇｈ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）−Ｒｈ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）−Ｂｈ（ｘ，ｙ）」に従って、低域成分ＧＬ（ｘ，ｙ）、ＲＬ（ｘ，ｙ）及びＢＬ（ｘ，ｙ）を求めるようにしてもよい。

演算部５６は、色信号ごとに且つ画素位置ごとに、上述のようにして得られた高域成分を低域成分にて正規化することにより、値Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）を求める。更に、色信号ごとに且つ画素位置ごとに、それらの絶対値Ｇｈｈ（ｘ，ｙ）＝｜Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）｜、Ｒｈｈ（ｘ，ｙ）＝｜Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）｜、及び、Ｂｈｈ（ｘ，ｙ）＝｜Ｂｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）｜も求める。

演算部５６にて得られる信号Ｇｈｈ、Ｒｈｈ及びＢｈｈと被写体距離との関係を図１７に示す。絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）は、夫々信号Ｇｈｈ、Ｒｈｈ及びＢｈｈの位置（ｘ，ｙ）における値である。曲線４５０Ｇ、４５０Ｒ及び４５０Ｂは、夫々、被写体距離の変化に対して信号Ｇｈｈ、Ｒｈｈ及びＢｈｈがどのように変化していくかをプロットしたものである。図１２（ａ）の曲線４００Ｇと図１７の曲線４５０Ｇとの比較から分かるように、信号Ｇｈｈの被写体距離依存性は、信号Ｇ０の解像度の被写体距離依存性と同一又は類似している（信号Ｒｈｈ及びＢｈｈについても同様）。信号Ｇ０の解像度の増減に連動して、信号Ｇ０の高域成分Ｇｈ及びそれの絶対値に比例する信号Ｇｈｈも増減するからである。

最大値検出部５３は、画素位置ごとに、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内の最大値を特定し、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、何れが最大であるかを表す信号ＳＥＬ＿ＧＲＢ（ｘ，ｙ）を出力する。絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、Ｂｈｈ（ｘ，ｙ）が最大である場合をケース１と呼び、Ｇｈｈ（ｘ，ｙ）が最大である場合をケース２と呼び、Ｒｈｈ（ｘ，ｙ）が最大である場合をケース３と呼ぶ。

距離推定演算部５４は、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）に基づいて、画素位置（ｘ，ｙ）における被写体の被写体距離ＤＩＳＴ（ｘ，ｙ）を推定する。この推定方法を、図１８を参照して説明する。距離推定演算部５４では、まず、０＜Ｄ_A＜Ｄ_Bを満たす、２つの被写体距離Ｄ_A及びＤ_Bが予め定義される。距離推定演算部５４は、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、何れが最大であるかに応じて被写体距離の推定方法を変更する。

ケース１においては、画素位置（ｘ，ｙ）における被写体の被写体距離は比較的小さいと判断して、０＜ＤＩＳＴ（ｘ，ｙ）＜Ｄ_Aが満たされる範囲内で、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）から推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図１８の線分４６１は、ケース１における、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）と推定被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｂｈｈ（ｘ，ｙ）が最大となるケース１においては、図１７に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＧｈｈ（ｘ，ｙ）及びＲｈｈ（ｘ，ｙ）が共に増大するが、被写体距離の増大に対するＧｈｈ（ｘ，ｙ）及びＲｈｈ（ｘ，ｙ）の増大の程度は、Ｇｈｈ（ｘ，ｙ）の方が高いと考えられる。従って、ケース１においては、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が減少につれてＤＩＳＴ（ｘ，ｙ）が増大するように推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。

ケース２においては、画素位置（ｘ，ｙ）における被写体の被写体距離は中程度であると判断して、Ｄ_A≦ＤＩＳＴ（ｘ，ｙ）＜Ｄ_Bが満たされる範囲内で、Ｂｈｈ（ｘ，ｙ）／Ｒｈｈ（ｘ，ｙ）から推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図１８の線分４６２は、ケース２における、Ｂｈｈ（ｘ，ｙ）／Ｒｈｈ（ｘ，ｙ）と推定被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｇｈｈ（ｘ，ｙ）が最大となるケース２においては、図１７に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＢｈｈ（ｘ，ｙ）が減少する一方でＲｈｈ（ｘ，ｙ）が増大する。従って、ケース２においては、Ｒｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が減少につれてＤＩＳＴ（ｘ，ｙ）が増大するように推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。

ケース３においては、画素位置（ｘ，ｙ）における被写体の被写体距離は比較的大きいと判断して、Ｄ_B＜ＤＩＳＴ（ｘ，ｙ）が満たされる範囲内で、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）から推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。図１８の線分４６３は、ケース３における、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）と推定被写体距離ＤＩＳＴ（ｘ，ｙ）の関係を示している。Ｒｈｈ（ｘ，ｙ）が最大となるケース３においては、図１７に示す如く、画素（ｘ，ｙ）に対応する被写体距離が増大するにつれてＧｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）が共に減少するが、被写体距離の増大に対するＧｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の減少の程度は、Ｇｈｈ（ｘ，ｙ）の方が高いと考えられる。従って、ケース３においては、Ｂｈｈ（ｘ，ｙ）／Ｇｈｈ（ｘ，ｙ）が増大につれてＤＩＳＴ（ｘ，ｙ）が増大するように推定被写体距離ＤＩＳＴ（ｘ，ｙ）を求める。

図９の曲線３２０Ｇ、３２０Ｒ及び３２０Ｂによって表される色信号の解像度の被写体距離依存性並びにそれに応じた信号Ｇｈｈ、Ｒｈｈ及びＢｈｈの被写体距離依存性（図１７参照）は、光学系１０の有する軸上色収差の特性によって定まり、その軸上色収差の特性は撮像装置１の設計段階にて定まる。また、信号Ｇｈｈ、Ｒｈｈ及びＢｈｈの被写体距離依存性を表す曲線４５０Ｇ、４５０Ｒ及び４５０Ｂの形状から、図１８の線分４６１〜４６３を定めることができる。故に、光学系１０の有する軸上色収差の特性から、Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）とＤＩＳＴ（ｘ，ｙ）との関係を予め定めておくことができる。実際には例えば、その関係を格納したＬＵＴ（ルックアップテーブル）を距離推定演算部５４に設けておき、Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）を該ＬＵＴに与えることでＤＩＳＴ（ｘ，ｙ）を得ればよい。全ての画素位置に対する推定被写体距離ＤＩＳＴ（ｘ，ｙ）を包含する情報を被写体距離情報ＤＩＳＴと呼ぶ。

このように、軸上色収差の存在に由来して、原画像の画像データには被写体の被写体距離に依存する情報が含まれることとなる。抽出／検出部１５では、その情報を信号Ｇｈｈ、Ｒｈｈ及びＢｈｈとして抽出し、抽出結果と既知の軸上色収差の特性を用いてＤＩＳＴ（ｘ，ｙ）を求めている。

選択部５５は、演算部５６にて算出される値Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）及びＢｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）の内の１つを信号ＳＥＬ＿ＧＲＢ（ｘ，ｙ）に基づいて選択し、選択値をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力する。具体的には、
Ｂｈｈ（ｘ，ｙ）が最大となるケース１においては、Ｂｈ（ｘ，ｙ）／ＢＬ（ｘ，ｙ）をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力し、
Ｇｈｈ（ｘ，ｙ）が最大となるケース２においては、Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力し、
Ｒｈｈ（ｘ，ｙ）が最大となるケース３においては、Ｒｈ（ｘ，ｙ）／ＲＬ（ｘ，ｙ）をＨ（ｘ，ｙ）／Ｌ（ｘ，ｙ）として出力する。

拡大処理部１６には、原画像の色信号Ｇ０（ｘ，ｙ）、Ｒ０（ｘ，ｙ）及びＢ０（ｘ，ｙ）と信号Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）とが与えられる。選択部６１Ｇ、６１Ｒ及び６１Ｂは、第１及び第２入力信号の内の一方を信号ＳＥＬ＿ＧＲＢ（ｘ，ｙ）に基づいて選択し、選択した信号をＧ１（ｘ，ｙ）、Ｒ１（ｘ，ｙ）及びＢ１（ｘ，ｙ）として出力する。選択部６１Ｇ、６１Ｒ及び６１Ｂの第１入力信号は、夫々、Ｇ０（ｘ，ｙ）、Ｒ０（ｘ，ｙ）及びＢ０（ｘ，ｙ）であり、選択部６１Ｇ、６１Ｒ及び６１Ｂの第２入力信号は、夫々、演算部６２にて求められる「Ｇ０（ｘ，ｙ）＋Ｇ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）」、「Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）」及び「Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）」である。

Ｂｈｈ（ｘ，ｙ）が最大となるケース１においては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）＋Ｇ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）、
となるように選択部６１Ｇ、６１Ｒ及び６１Ｂの選択処理がなされ、
Ｇｈｈ（ｘ，ｙ）が最大となるケース２においては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）
となるように選択部６１Ｇ、６１Ｒ及び６１Ｂの選択処理がなされ、
Ｒｈｈ（ｘ，ｙ）が最大となるケース３においては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）＋Ｇ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）
となるように選択部６１Ｇ、６１Ｒ及び６１Ｂの選択処理がなされる。

例えば、注目した画素位置（ｘ，ｙ）が図１４の画像領域４４１内の画素位置である場合（図１３も参照）、絶対値Ｇｈｈ（ｘ，ｙ）、Ｒｈｈ（ｘ，ｙ）及びＢｈｈ（ｘ，ｙ）の内、Ｇｈｈ（ｘ，ｙ）が最大となる。故にこの場合は、Ｈ（ｘ，ｙ）／Ｌ（ｘ，ｙ）＝Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）となるため、被写体距離Ｄ₁に対応する画素位置（ｘ，ｙ）に対しては、
Ｇ１（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）、
Ｒ１（ｘ，ｙ）＝Ｒ０（ｘ，ｙ）＋Ｒ０（ｘ，ｙ）×Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、且つ
Ｂ１（ｘ，ｙ）＝Ｂ０（ｘ，ｙ）＋Ｂ０（ｘ，ｙ）×Ｇｈ（ｘ，ｙ）／ＧＬ（ｘ，ｙ）、となる。この３つの式は、上記式（５）〜（７）における“（Ｄ₁）”を“（ｘ，ｙ）”に置き換えたものに等しい。

［目標合焦画像の具体的生成方法］
図１９は、図１１に示される被写界深度制御部１７の内部ブロック図である。図１９の被写界深度制御部１７は、可変ＬＰＦ部７１と、カットオフ周波数制御部７２と、を備える。可変ＬＰＦ部７１には、カットオフ周波数を可変設定することが可能に形成された３つの可変ＬＰＦ（ローパスフィルタ）７１Ｇ、７１Ｒ及び７１Ｂが備えられており、カットオフ周波数制御部７２が、被写体距離情報ＤＩＳＴ及び被写界深度設定情報に基づいて可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂのカットオフ周波数を制御する。信号Ｇ１、Ｒ１及びＢ１を、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂに入力することにより、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂから、目標合焦画像を表す色信号Ｇ２、Ｒ２及びＢ２が得られる。

被写界深度設定情報は、色信号Ｇ２、Ｒ２及びＢ２の生成に先立って、ユーザの指示等に基づき生成される。被写界深度設定情報から、図１２（ｃ）に示すものと同じ、図２０の被写界深度曲線４２０が設定される。被写界深度設定情報によって表される指定被写界深度の内、最短の被写体距離をＤ_MINにて表し、最長の被写体距離をＤ_MAXにて表す（図２０参照）。当然、０＜Ｄ_MIN＜Ｄ_MAXである。

被写界深度設定情報によって、何れの被写体を合焦被写体とするのかが定められると共に目標合焦画像の被写界深度内に属すべき被写体距離Ｄ_MIN、Ｄ_CN及びＤ_MAXが定められる。被写体距離Ｄ_CNは、目標合焦画像の被写界深度における中心距離であり、Ｄ_CN＝（Ｄ_MIN＋Ｄ_MAX）／２が成立する。ユーザは、Ｄ_CNの値を直接指定することができる。また、ユーザは、指定被写界深度の深さを表す距離差（Ｄ_MAX−Ｄ_MIN）を直接指定することもできる。但し、距離差（Ｄ_MAX−Ｄ_MIN）に予め設定された固定値を用いるようにしてもよい。

また、ユーザは、合焦被写体となるべき特定被写体を指定することによってＤ_CNの値を決定することもできる。例えば、原画像若しくは中間生成画像又は暫定的に生成された目標合焦画像をＬＣＤ１９の表示画面に表示させた状態で、ユーザが、特定被写体が表示されている表示部分を、タッチパネル機能を利用して指定する。その指定結果と被写体距離情報ＤＩＳＴからＤ_CNを設定することができる。より具体的には例えば、ユーザにとっての特定被写体が図１４の被写体ＳＵＢ₁である時、ユーザは、タッチパネル機能を利用して画像領域４４１を指定する操作を行う。そうすると、画像領域４４１に対して推定された被写体距離ＤＩＳＴ（ｘ，ｙ）がＤ_CNとして設定される（推定が理想的に成された場合は、Ｄ_CN＝Ｄ₁となる）。

被写界深度曲線４２０は、被写体距離と解像度の関係を定める曲線であり、被写界深度曲線４２０上の解像度は、被写体距離Ｄ_CNにて最大値をとり、被写体距離がＤ_CNから離れるに従って徐々に減少していく（図２０参照）。被写体距離Ｄ_CNにおける被写界深度曲線４２０上の解像度は基準解像度ＲＳ_Oよりも大きく、被写体距離Ｄ_MIN及びＤ_MAXにおける被写界深度曲線４２０上の解像度は基準解像度ＲＳ_Oと一致する。

カットオフ周波数制御部７２では、あらゆる被写体距離に対して解像度が被写界深度曲線４２０上の最大解像度と一致する仮想信号が想定される。図２０における破線４２１は、仮想信号における解像度の被写体距離依存性を表している。カットオフ周波数制御部７２では、破線４２１をローパルフィルタ処理によって被写界深度曲線４２０に変換するために必要な、ローパスフィルタのカットオフ周波数が求められる。つまり、仮想信号が可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂへの入力信号であると仮定した時における可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂの出力信号を仮想出力信号と呼んだ場合、カットオフ周波数制御部７２は、仮想出力信号の解像度の被写体距離依存性を表す曲線が被写界深度曲線４２０と一致するように、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂのカットオフ周波数を設定する。図２０において、上下方向の実線矢印群は、破線４２１に対応する仮想信号の解像度が被写界深度曲線４２０の解像度まで低下せしめられる様子を表している。

被写体距離情報ＤＩＳＴより、カットオフ周波数制御部７２は、どの画像領域に対して、どのようなカットオフ周波数を設定すべきかを決める。例えば（図１４参照）、被写体距離Ｄ₁の被写体ＳＵＢ₁の画像データが存在する画像領域４４１内に画素位置（ｘ₁，ｙ₁）が存在すると共に、被写体距離Ｄ₂の被写体ＳＵＢ₂の画像データが存在する画像領域４４２内に画素位置（ｘ₂，ｙ₂）が存在する場合を考える。この場合、被写体距離の推定誤差を無視すれば、画素位置（ｘ₁，ｙ₁）に対する推定被写体距離ＤＩＳＴ（ｘ₁，ｙ₁）及びその周辺画素位置に対する推定被写体距離はＤ₁となり、画素位置（ｘ₂，ｙ₂）に対する推定被写体距離ＤＩＳＴ（ｘ₂，ｙ₂）及びその周辺画素位置に対する推定被写体距離はＤ₂となる。また、図２１に示す如く、被写体距離Ｄ₁及びＤ₂に対応する、被写界深度曲線４２０上の解像度が、それぞれＲＳ₁及びＲＳ₂であったとする。

この場合、カットオフ周波数制御部７２は、破線４２１に対応する仮想信号の解像度を解像度ＲＳ₁まで低下させるために必要なローパスフィルタのカットオフ周波数ＣＵＴ₁を決定し、カットオフ周波数ＣＵＴ₁を画像領域４４１内の信号Ｇ１、Ｒ１及びＢ１に適用させる。これにより、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂでは、画像領域４４１内の信号Ｇ１、Ｒ１及びＢ１に対してカットオフ周波数ＣＵＴ₁のローパスフィルタ処理が施される。このローパスフィルタ処理後の信号は、目標合焦画像の画像領域４４１内の信号Ｇ２、Ｒ２及びＢ２として出力される。

同様に、カットオフ周波数制御部７２は、破線４２１に対応する仮想信号の解像度を解像度ＲＳ₂まで低下させるために必要なローパスフィルタのカットオフ周波数ＣＵＴ₂を決定し、カットオフ周波数ＣＵＴ₂を画像領域４４２内の信号Ｇ１、Ｒ１及びＢ１に適用する。これにより、可変ＬＰＦ７１Ｇ、７１Ｒ及び７１Ｂでは、画像領域４４２内の信号Ｇ１、Ｒ１及びＢ１に対してカットオフ周波数ＣＵＴ₂のローパスフィルタ処理が施される。このローパスフィルタ処理後の信号は、目標合焦画像の画像領域４４２内の信号Ｇ２、Ｒ２及びＢ２として出力される。

ローパスフィルタ処理後に得られる解像度とローパスフィルタのカットオフ周波数との関係を規定するテーブルデータ又は演算式を事前に用意しておき、該テーブルデータ又は演算式を用いて、可変ＬＰＦ部７１に設定されるべきカットオフ周波数を決定することができる。このテーブルデータ又は演算式によって、解像度ＲＳ₁及びＲＳ₂に対応するカットオフ周波数が夫々ＣＵＴ₁及びＣＵＴ₂であることが規定される。

図２１に示す如く、被写体距離Ｄ₁が目標合焦画像の被写界深度内に属し且つ被写体距離Ｄ₂が目標合焦画像の被写界深度に含まれないなら、ＣＵＴ₁＞ＣＵＴ₂が成立するようにカットオフ周波数ＣＵＴ₁及びＣＵＴ₂が設定され、可変ＬＰＦ部７１により画像領域４４２内の画像は画像領域４４１内の画像に比べてぼかされ、結果、目標合焦画像において画像領域４４２内の画像の解像度は画像領域４４１のそれよりも低くなる。また、図２１に示す状況とは異なり、Ｄ_MAX＜Ｄ₁＜Ｄ₂である場合も、ＣＵＴ₁＞ＣＵＴ₂が成立するようにカットオフ周波数ＣＵＴ₁及びＣＵＴ₂が設定されるが、指定された被写界深度内に被写体距離Ｄ₁及びＤ₂が属しないために、可変ＬＰＦ部７１により中間生成画像中における画像領域４４１及び４４２内の画像は共にぼかされる。但し、そのぼかしの程度は画像領域４４１よりも画像領域４４２の方が大きく、結果、目標合焦画像において画像領域４４２内の画像の解像度は画像領域４４１のそれよりも低くなる。

このようなローパスフィルタ処理が、中間生成画像の全体画像領域に対して行われることで、目標合焦画像の各画素位置における色信号Ｇ２、Ｒ２及びＢ２が可変ＬＰＦ部７１から出力される。上述したように、この色信号Ｇ２、Ｒ２及びＢ２の解像度の被写体距離依存性は、図１２（ｄ）の曲線４３０にて示される。カットオフ周波数制御部７２にて定められるカットオフ周波数は、仮想信号（４２１）の解像度特性を被写界深度曲線４２０の解像度特性に変換するためのものであるのに対して、実際の色信号Ｇ１、Ｒ１及びＢ１の解像度特性は仮想信号のそれとは異なる。故に、曲線４３０と被写界深度曲線４２０とは若干異なる。

［第１変形例］
上述の方法では、原画像から目標合焦画像を生成する処理を、高域成分の補完処理とローパスフィルタ処理によって実現しているが、軸上色収差による画像のぼけを画像劣化と見立てたときの点広がり関数（Point Spread Function;以下、ＰＳＦという）を用いて原画像から中間生成画像を生成し、その後、目標合焦画像を生成するようにしてもよい。この方法を、第１変形例として説明する。

原画像は、軸上色収差によって劣化した画像であると考えることができる。ここにおける劣化は、軸上色収差に由来する画像のぼけである。この劣化過程を表す関数又は空間フィルタは、ＰＳＦと呼ばれる。被写体距離が定まれば色信号ごとのＰＳＦが求まるため、被写体距離情報ＤＩＳＴに含まれる原画像上の各位置における推定被写体距離に基づけば、原画像上の各位置における、色信号ごとのＰＳＦが定まる。このようなＰＳＦの逆関数を用いた畳み込み演算を色信号Ｇ０、Ｒ０及びＢ０に行えば、軸上色収差に由来する原画像の劣化（ぼけ）は除去される。劣化を除去する画像処理は画像復元処理とも呼ばれる。この除去によって得られる画像が第１変形例における中間生成画像である。

図２２は、第１変形例に係る被写界深度調整部２６の内部ブロック図である。図１１の拡大処理部１６及び被写界深度制御部１７を被写界深度調整部２６にて置き換えることができる。被写界深度調整部２６にて生成される中間生成画像のＧ、Ｒ及びＢ信号を、夫々、Ｇ１’、Ｒ１’及びＢ１’にて表し、被写界深度調整部２６にて生成される目標合焦画像のＧ、Ｒ及びＢ信号を、夫々、Ｇ２’、Ｒ２’及びＢ２’にて表す。第１変形例では、この色信号Ｇ２’、Ｒ２’及びＢ２’が、目標合焦画像の色信号Ｇ２、Ｒ２及びＢ２として表示制御部２５に供給される。

図２２の画像復元フィルタ８１は、上記の逆関数を信号Ｇ０、Ｒ０及びＢ０に作用させるための二次元の空間フィルタである。画像復元フィルタ８１は、軸上色収差に由来する原画像の劣化過程を表すＰＳＦの逆フィルタに相当する。フィルタ係数演算部８３は、被写体距離情報ＤＩＳＴから、原画像上の各位置における、色信号Ｇ０、Ｒ０及びＢ０に対するＰＳＦの逆関数を求め、その求めた逆関数を信号Ｇ０、Ｒ０及びＢ０に作用させるべく、画像復元フィルタ８１のフィルタ係数を算出する。画像復元フィルタ８１は、フィルタ係数演算部８３によって算出されたフィルタ係数を用いて、色信号Ｇ０、Ｒ０及びＢ０に対して個別にフィルタリングを行うことで、色信号Ｇ１’、Ｒ１’及びＢ１’を生成する。

図２３の破線５００は、色信号Ｇ１’、Ｒ１’及びＢ１’における解像度の被写体距離依存性を表している。曲線４００Ｇ、４００Ｒ及び４００Ｂは、上述したように、色信号Ｇ０、Ｒ０及びＢ０における解像度の被写体距離依存性を表している。色信号ごとの画像復元処理によって、Ｇ、Ｒ及びＢ信号の全てにおいて解像度の高い中間生成画像が得られる。

被写界深度調整フィルタ８２も、二次元の空間フィルタである。被写界深度調整フィルタ８２は、色信号Ｇ１’、Ｒ１’及びＢ１’を色信号ごとにフィルタリングすることにより、目標合焦画像を表す色信号Ｇ２’、Ｒ２’及びＢ２’を生成する。被写界深度調整フィルタ８２としての空間フィルタのフィルタ係数は、フィルタ係数演算部８４によって算出される。

被写界深度設定情報によって、図２０又は図２１に示すような被写界深度曲線４２０が設定される。図２３の破線５００に対応する色信号Ｇ１’、Ｒ１’及びＢ１’は、図２０又は図２１の破線４２１に対応する、上述の仮想信号に相当する。被写界深度調整フィルタ８２は、色信号Ｇ２’、Ｒ２’及びＢ２’の解像度の被写体距離依存性を表す曲線が被写界深度曲線４２０と一致するように、色信号Ｇ１’、Ｒ１’及びＢ１’に対してフィルタリングを行う。

このようなフィルタリングを実現するための、被写界深度調整フィルタ８２のフィルタ係数が、被写界深度設定情報と被写体距離情報ＤＩＳＴに基づいてフィルタ係数演算部８４により算出される。

尚、図２２の被写界深度調整部２６内における被写界深度調整フィルタ８２及びフィルタ係数演算部８４を図１９の可変ＬＰＦ７１部及びカットオフ周波数制御部７２に置き換え、これらの可変ＬＰＦ７１部及びカットオフ周波数制御部７２を用いて色信号Ｇ１’、Ｒ１’及びＢ１’にローパスフィルタ処理を施すことにより色信号Ｇ２’、Ｒ２’及びＢ２’を生成するようにしてもよい。この場合も、上述したように、被写界深度設定情報及び被写体距離情報ＤＩＳＴに基づいて、可変ＬＰＦ７１部のカットオフ周波数を定めればよい（図１９参照）。

［第２変形例］
また、図２２の構成では、中間生成画像を得るためのフィルタリングを行ってから目標合焦画像を得るためのフィルタリングを行っているが、両者のフィルタリングを一度に行うようにしてもよい。即ち、被写界深度調整部２６を、図２４の被写界深度調整部２６ａのように構成してもよい。図２４は、被写界深度調整部２６ａの内部ブロック図である。被写界深度調整部２６ａを用いる方法を第２変形例と呼ぶ。第２変形例では、被写界深度調整部２６ａが被写界深度調整部２６として用いられる。被写界深度調整部２６ａは、被写界深度調整フィルタ９１とフィルタ係数演算部９２を備える。

被写界深度調整フィルタ９１は、図２２の画像復元フィルタ８１によるフィルタリングと被写界深度調整フィルタ８２によるフィルタリングを統合したフィルタリングを行う、二次元の空間フィルタである。原画像の色信号Ｇ０’、Ｒ０’及びＢ０’に対して色信号ごとに被写界深度調整フィルタ９１によるフィルタリングを行うことで、直接、色信号Ｇ２’、Ｒ２’及びＢ２’が生成される。第２変形例では、被写界深度調整部２６ａにて生成された色信号Ｇ２’、Ｒ２’及びＢ２’が、目標合焦画像の色信号Ｇ２、Ｒ２及びＢ２として表示制御部２５に供給される。

フィルタ係数演算部９２は、図２２のフィルタ係数演算部８３及び８４を統合したフィルタ係数演算部であり、被写体距離情報ＤＩＳＴと被写界深度設定情報から色信号ごとに被写界深度調整フィルタ９１のフィルタ係数を算出する。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
第１実施形態において、図１の被写体距離検出部１０３は、画像データに基づいて被写体距離の検出を行っているが、画像データ以外の他のデータに基づいて被写体距離の検出を行うようにしても良い。

例えば、ステレオカメラを用いて被写体距離の検出を行うこともできる。即ち、撮像部１０１を第１カメラ部として用いて第１カメラ部と同等の第２カメラ部（不図示）を撮像装置１００に設け、第１及び第２カメラ部の撮影によって得られた一対の原画像に基づいて被写体距離の検出を行うようにしても良い。周知の如く、ステレオカメラを形成する第１カメラ部と第２カメラ部は互いに異なる位置に配置され、第１カメラ部から得られる原画像と第２カメラ部から得られる原画像との間における画像情報の誤差（即ち、視差（disparity））に基づいて、各画素位置（ｘ，ｙ）の被写体距離を検出することができる。

また例えば、被写体距離を計測する距離センサ（不図示）を撮像装置１００に設け、該距離センサの計測結果によって各画素位置（ｘ，ｙ）の被写体距離を検出するようにしてもよい。距離センサは、例えば、撮像装置１００の撮影方向に向かって光を放射し、放射した光が被写体に反射して返ってくるまでの時間を計測する。計測した時間に基づいて被写体距離を検出することができ、光の放射方向を変更することで各画素位置（ｘ，ｙ）における被写体距離を検出することができる。

［注釈２］
原画像から目標合焦画像及び強調表示画像を生成して該強調表示画像の表示制御を行う機能を撮像装置（１又は１００）内で実現する実施形態を上述したが、その機能を撮像装置の外部の画像表示装置（不図示）にて実現するようにしてもよい。

例えば、この外部の画像表示装置に、図１の符号１０３〜１０６によって参照される各部位を設ける。或いは例えば、この外部の画像表示装置に、図１１の符号１５〜２５によって参照される各部位を設ける。更に或いは、この外部の画像表示装置に、図１１の符号１５及び１８〜２５によって参照される各部位と、図２２又は図２４の被写界深度調整部２６又は２６ａと、を設ける。そして、外部の画像表示装置に対して撮像装置（１又は１００）の撮影によって得られた原画像の画像データ（例えば、色信号Ｇ０、Ｒ０及びＢ０）を供給することにより、該画像表示装置内において目標合焦画像及び強調表示画像の生成並びに強調表示画像の表示が行われる。

［注釈３］
撮像装置（１又は１００）は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、原画像から目標合焦画像及び強調表示画像を生成する機能の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置（１又は１００）を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

本発明の第１実施形態に係る撮像装置の概略全体ブロック図である 図１の撮像装置において得られる原画像及び目標合焦画像の例を示す図である。 図１の撮像装置において得られる強調表示画像の例を示す図である。 本発明の第１実施形態に係り、強調表示画像を生成する際の輝度調整例を示す図である。 図１の撮像装置の動作の流れを示すフローチャートである。 本発明の第２実施形態に係り、レンズが有する軸上色収差の特性を説明するための図である。 本発明の第２実施形態に係り、点光源、軸上色収差を有するレンズ、各色光の結像点及び撮像素子の位置関係を示す図であって、（ａ）は点光源及びレンズ間距離が比較的小さい場合のそれを、（ｂ）は点光源及びレンズ間距離が中程度である場合のそれを、（ｃ）は点光源及びレンズ間距離が比較的大きい場合のそれを表す。 本発明の第２実施形態に係り、点光源、軸上色収差を有するレンズ及び撮像素子の位置関係と、撮像素子上における各色光の像の広がりを示す図である。 本発明の第２実施形態に係り、軸上色収差を有するレンズを介して得られた原画像における色信号の解像度特性を示す図である。 本発明の第２実施形態に係り、軸上色収差を有するレンズを介して得られた原画像における色信号の解像度特性を示す図である。 本発明の第２実施形態に係る撮像装置の全体ブロック図である。 本発明の第２実施形態に係り、原画像から中間生成画像の生成を介して目標合焦画像が生成される原理を説明するための図である。 本発明の第２実施形態の具体例に係る２つの被写体距離（Ｄ₁及びＤ₂）を説明するための図である。 ２つの被写体距離（Ｄ₁及びＤ₂）における２つの被写体と、原画像上における該２つの被写体の像を示す図である。 図１１に示される高域成分抽出／距離検出部及び被写界深度拡大処理部の内部ブロック図である。 原画像、中間生成画像及び目標合焦画像上における画素位置の意義を説明するための図である。 図１５の高域成分抽出／距離検出部にて生成される値の特性を示す図である。 図１５の高域成分抽出／距離検出部による被写体距離推定方法を説明するための図である。 図１１に示される被写界深度制御部の内部ブロック図である。 図１９の被写界深度制御部にて実行される処理の内容を説明するための図である。 図１９の被写界深度制御部にて実行される処理の内容を説明するための図である。 図１１の被写界深度拡大処理部及び被写界深度制御部の代わりに用いることのできる被写界深度調整部の内部ブロック図である。 図２２の被写界深度調整部にて実行される処理の内容を説明するための図である。 図２２に示される被写界深度調整部の変形内部ブロック図である。

符号の説明

１、１００ 撮像装置
１０１ 撮像部
１０２ 原画像生成部
１０３ 被写体距離検出部
１０４ 目標合焦画像生成部
１０５ 表示制御部
１０６ 表示部

Claims (6)

1. 撮像手段によって撮影される各被写体の被写体距離を検出する被写体距離検出手段と、
   前記撮像手段による撮影によって得られた入力画像から、特定距離範囲内に位置する被写体にピントが合っている画像を出力画像として生成する出力画像生成手段と、
   前記被写体距離検出手段の検出結果に基づき、前記出力画像中の画像領域であって前記特定距離範囲内に位置する被写体が現れている画像領域を合焦領域として抽出し、前記合焦領域が視認可能となるように前記出力画像に基づく表示画像を表示手段に表示させる表示制御手段と、を備え、
   前記被写体距離検出手段は、前記入力画像の画像データと前記撮像手段の光学系の特性とに基づいて、前記入力画像上の各位置における被写体の被写体距離を検出し、
   前記出力画像生成手段は、前記特定距離範囲の指定を受け、前記被写体距離検出手段による検出被写体距離と指定された前記特定距離範囲と前記撮像手段の光学系の特性とに応じた画像処理を前記入力画像に施すことによって、前記出力画像を生成する
   ことを特徴とする画像表示装置。
2. 前記入力画像の画像データには、前記入力画像上の各位置における被写体の被写体距離に基づく情報が含まれており、
   前記被写体距離検出手段は、前記情報を前記入力画像の画像データから抽出し、抽出結果と前記光学系の特性に基づいて前記入力画像上の各位置における被写体の被写体距離を検出する
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記被写体距離検出手段は、前記入力画像を表す複数色の色信号に含まれる所定の高域周波数成分を色信号ごとに抽出し、抽出結果と前記光学系の軸上色収差の特性に基づいて前記入力画像上の各位置における被写体の被写体距離を検出する
   ことを特徴とする請求項１に記載の画像表示装置。
4. 前記出力画像生成手段は、前記画像処理において前記入力画像の被写界深度の変更を介し、前記出力画像を生成する
   ことを特徴とする請求項１〜請求項３の何れかに記載の画像表示装置。
5. 撮像手段と、
   請求項１〜請求項４の何れかに記載の画像表示装置と、を備えた
   ことを特徴とする撮像装置。
6. 撮像手段と、
   請求項１〜請求項４の何れかに記載の画像表示装置と、を備えた撮像装置であって、
   前記撮像手段を用いた撮影により得られた画像データが前記入力画像の画像データとして前記画像表示装置に供給され、
   前記入力画像の撮影後において、前記特定距離範囲を指定する操作に従って前記入力画像から前記出力画像が生成されて該出力画像に基づく前記表示画像が前記表示手段に表示される
   ことを特徴とする撮像装置。