JP5620522B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルカメラ等の撮像装置を用いた撮影において、明るいシーンをスローシャッタで撮影する場合や複数の距離の異なる被写体の全てにピントを合わせて撮影したい場合等に、Ｆ値を大きく（絞り径を小さく）して露出を下げたり、焦点深度を深くしたりして撮影する場合がある。しかしながら、Ｆ値を大きく（絞り径を小さく）して撮影をした場合、回折の影響によりレンズＭＴＦ（Modulation Transfer Function）が劣化し、画像がぼやけてしまう。

これに対し、特許文献１は、露出を下げるのにＮＤ（Neutral Density）フィルタを用いている。これにより、特許文献１は、回折の現象を抑えてレンズＭＴＦの大きな劣化を防いでいる。さらに、特許文献１は、画像信号を絞りの設定値に応じて補正することにより、レンズＭＴＦの変化による解像力劣化を補正している。

特開２００４−１４６９９３号公報

露出を下げるだけでなく、焦点深度を深くしたい場合には、ＮＤフィルタを用いずに絞り径を小さくする必要がある。ここで、前述したように、ＮＤフィルタを用いない場合には、回折によるレンズＭＴＦの劣化が大きくなる。特許文献１において提案されている画像信号の補正方法は、比較的狭い範囲の絞り変化に対しては有効であるが、レンズＭＴＦが大きく劣化してしまうような広い範囲の絞り変化に対しては補正が困難である。

本発明は、前述の事情に鑑みてなされたものであり、撮影時の絞り径の変化が大きい場合であっても適切に画像の解像力劣化を補正することが可能な撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮影レンズを介して被写体を撮像して画像信号を取得する撮像素子と、前記画像信号の複数の周波数成分に対する前記撮影レンズの撮影時の絞り値に応じた補正量をそれぞれ算出する補正量算出部と、前記算出された補正量に基づいて、前記複数の周波数成分の画像信号の周波数特性を補正する補正部とを具備し、前記補正量算出部は、前記撮影レンズに設定され得る各々の絞り値に対応して設定されたレンズ周波数特性情報と前記撮像素子の画素ピッチ情報とに基づいて、前記複数の周波数成分の各々に対する補正量を算出し、前記複数の周波数成分は、高周波成分及び低周波成分であり、前記補正量算出部は、前記高周波成分に対しては、前記絞り値がレンズ周波数特性情報により決まる所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を小さくし、前記低周波成分に対しては、前記絞り値が前記所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を大きくするように前記補正量を算出することを特徴とする。

前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像素子により、撮影レンズを介して被写体を撮像して画像信号を取得する第１ステップと、補正量算出部により、前記画像信号の複数の周波数成分に対する前記撮影レンズの撮影時の絞り値に応じた補正量をそれぞれ算出する第２ステップと、補正部により、前記算出された補正量に基づいて、前記複数の周波数成分の画像信号の周波数特性を補正する第３ステップとを有し、前記第２ステップにおいて、前記撮影レンズに設定され得る各々の絞り値に対応して設定されたレンズ周波数特性情報と前記撮像素子の画素ピッチ情報とに基づいて、前記複数の周波数成分の各々に対する補正量を算出し、前記複数の周波数成分は、高周波成分及び低周波成分であり、前記第２ステップにおいて、前記高周波成分に対しては、前記絞り値がレンズ周波数特性情報により決まる所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を小さくし、前記低周波成分に対しては、前記絞り値が前記所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を大きくするように前記補正量を算出することを特徴とする。

本発明によれば、撮影時の絞り径の変化が大きい場合であっても適切に画像の解像力劣化を補正することが可能な撮像装置及び撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 エッジ強調処理部の詳細な構成を示す図である。 第１帯域と第２帯域とをそれぞれ示した図である。 本発明の一実施形態に係る撮像方法を含むデジタルカメラのメイン動作を示すフローチャートである。 レンズＭＴＦ特性情報の一例を示す図である。 第１帯域補正ゲインG_f1(F)の特性の例を示すグラフである。 補正テーブルの例を示す図である。 現像処理について示すフローチャートである。 図９（ａ）はＦ値の変化に対する画像の一般的な解像力劣化を示した図であり、図９（ｂ）は特定の周波数成分のみを抽出してＦ値に応じたエッジ強調処理を行った場合の画像の解像力の変化を示す図である。 図１０（ａ）は本発明の一実施形態の手法により算出されるゲイン補正量の例を示す図であり、図１０（ｂ）は本発明の一実施形態の手法によりエッジ強調処理を行った場合の画像の解像力の変化を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであっても良い。

図１に示すデジタルカメラ１は、交換式レンズ１００と、カメラ本体２００と、を有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。

交換式レンズ１００は、撮影レンズ１０２と、絞り１０４と、ドライバ１０６と、マイクロコンピュータ１０８と、Ｆｌａｓｈメモリ１１０と、を有している。
撮影レンズ１０２は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０４に集光するための光学系である。この撮影レンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有していても良い。

絞り１０４は、開閉自在に構成され、撮影レンズ１０２を介して入射した光束の量を調整する。ドライバ１０６は、モータ等を有している。このドライバ１０６は、マイクロコンピュータ１０８の制御に従って、撮影レンズ１０２内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０４を開閉駆動させたりする。

マイクロコンピュータ１０８は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１１２を介してカメラ本体２００内のマイクロコンピュータ２３０と通信自在に接続される。このマイクロコンピュータ１０８は、マイクロコンピュータ２３０からの制御に従ってドライバ１０６を駆動させる。また、マイクロコンピュータ１０８は、Ｆｌａｓｈメモリ１１０に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１１２を介してマイクロコンピュータ２３０に通信する。

Ｆｌａｓｈメモリ１１０は、撮影レンズ１０２の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。ここで、本実施形態におけるＦｌａｓｈメモリ１１０は、レンズ情報として、さらにレンズ周波数（レンズＭＴＦ）特性情報を記憶している。レンズＭＴＦ特性情報は、例えば空間周波数に対するレスポンス（撮影レンズを通過する前後の画像信号のコントラスト比）で示されるレンズＭＴＦ値（％）で与えられる。本実施形態では、このようなレンズＭＴＦ特性情報を、撮影レンズ１０２に対して設定され得る絞り１０４の絞り値（Ｆ値）の各々に対応して予め取得しておく。

カメラ本体２００は、メカシャッタ２０２と、撮像素子２０４と、アナログ処理部２０６と、アナログ/デジタル（Ａ/Ｄ）変換部２０８と、バス２１０と、ＳＤＲＡＭ２１２と、ＡＥ処理部２１４と、ＡＦ処理部２１６と、画像処理部２１８と、モニタドライバ２２０と、モニタ２２２と、画像圧縮伸張部２２４と、メモリインターフェイス（Ｉ/Ｆ）２２６と、記録媒体２２８と、マイクロコンピュータ２３０と、操作部２３２と、Ｆｌａｓｈメモリ２３４と、を有している。

メカシャッタ２０２は、撮像素子２０４の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。このメカシャッタ２０２を移動させることにより撮像素子２０４の露光時間が調整される。

撮像素子２０４は、撮影レンズ１０２を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０４は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。

ここで、撮像素子２０４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子２０４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。また、撮像素子２０４は、露光時間を電子的に制御する電子シャッタ機能を有していても良い。

アナログ処理部２０６は、撮像素子２０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部２０８は、アナログ処理部２０６においてアナログ処理された画像信号をデジタル信号（以下、ＲＡＷ画像データという）に変換する。ここで、ＲＡＷ画像データとは、画像処理部２１８における画像処理が施される前の「生の」画像データである。

バス２１０は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。ＳＤＲＡＭ２１２は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。このＳＤＲＡＭ２１２は、画像処理部２１８における画像処理の際のバッファメモリとしても使用される。

ＡＥ処理部２１４は、画像データ（例えばＲＡＷ画像データ）を用いて被写体輝度を算出する。なお、被写体輝度は、画像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。ＡＦ処理部２１６は、画像データ（例えばＲＡＷ画像データ）から高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。

画像処理部２１８は、ＲＡＷ画像データに対して各種の画像処理を行って記録用画像データ又は表示用画像データを生成する。記録用画像データ又は表示用画像データは、画像処理のパラメータが異なっている。

本実施形態における画像処理部２１８は、少なくとも、同時化処理部２１８１と、エッジ強調処理部２１８２と、ノイズ低減処理部２１８３と、を有している。画像の色バランスを補正するホワイトバランス補正部、画像の輝度特性を変換する輝度特性変換部、画像の色再現を調整する色再現処理部といった一般的な処理ブロックを画像処理部２１８に持たせても良い。

同時化処理部２１８１は、ベイヤ配列に対応して撮像素子２０４を介して出力されるＲＡＷ画像データ等の、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応しているＲＧＢ画像データに変換する。
補正部の一例として機能するエッジ強調処理部２１８２は、ＲＧＢ画像データから複数の周波数成分信号（エッジ信号）を抽出し、抽出したエッジ信号のそれぞれの周波数特性を補正する処理を施す。エッジ強調処理部２１８２については後で詳しく説明する。
ノイズ低減処理部２１８３は、コアリング処理等を用いて、ＲＧＢ画像データにおけるノイズ成分を除去する。

モニタドライバ２２０は、画像処理部２１８で得られた表示用画像データ又は画像圧縮伸張部２２４で記録用画像データを伸張して得られる表示用画像データを、モニタ２２２の表示サイズに応じてリサイズし、リサイズした表示用画像データを映像信号に変換してモニタ２２２に出力する。モニタ２２２は、例えば液晶ディスプレイ（ＬＣＤ）である。このモニタ２２２は、モニタドライバ２２０から入力された映像信号に基づく画像を表示する。

画像圧縮伸張部２２４は、画像の記録時においては、画像処理部２１８における画像処理によって得られた記録用画像データに対してＪＰＥＧ形式やＴＩＦＦ形式等の静止画圧縮処理又はＭＰＥＧ形式やＨ．２６４形式等の動画圧縮処理を施す。また、画像圧縮伸張部２２４は、画像の再生時においては、圧縮処理が施された記録用画像データに対して伸張処理を施す。

メモリＩ/Ｆ２２６は、マイクロコンピュータ２３０等が記録媒体２２８にアクセスするためのインターフェイスである。記録媒体２２８は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２２８は、画像ファイル等を記録する。画像ファイルは、画像圧縮伸張部２２４によって圧縮された記録用画像データに、ヘッダ情報を付加したファイルである。記録媒体２２８は、カメラ本体２００に固定されていても良い（着脱できなくても良い）。

マイクロコンピュータ２３０は、メカシャッタ２０２、撮像素子２０４、モニタドライバ２２０といったカメラ本体２００の各部の動作を統括的に制御する。また、マイクロコンピュータ２３０は、ＡＥ処理部２１４で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２１６で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。また、マイクロコンピュータ２３０は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。さらに、本実施形態におけるマイクロコンピュータ２３０は、補正量算出部としての機能も有し、エッジ強調処理部２１８２におけるエッジ信号の補正量としてのゲイン補正量を算出することも行う。

操作部２３２は、ユーザによって操作される各種の操作部材である。本実施形態における操作部２３２は、例えばレリーズボタンと、動画ボタンと、再生ボタンと、メニューボタンと、電源ボタンと、を有している。ここで、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。

レリーズボタンは、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ２３０は、ＡＦ処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ２３０は、静止画記録のための撮影処理を実行する。

動画ボタンは、マイクロコンピュータ２３０に対して動画撮影の実行を指示する。動画ボタンが押された場合、マイクロコンピュータ２３０は、動画撮影を開始する。また、動画記録処理の実行中に動画ボタンが押された場合、マイクロコンピュータ２３０は、動画撮影を終了する。

メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面上において、ユーザは、カメラ本体２００の各種の設定を変更することが可能である。

再生ボタンは、マイクロコンピュータ２３０に対して静止画ファイル又は動画ファイルの再生を指示するための操作部である。電源ボタンは、カメラ本体２００の電源のオン又はオフを指示するための操作部である。

Ｆｌａｓｈメモリ２３４は、画像処理部２１８の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。また、Ｆｌａｓｈメモリ２３４は、マイクロコンピュータ２３０が実行する種々のプログラムも記憶している。ここで、本実施形態におけるＦｌａｓｈメモリ２３４は、撮像素子２０４の画素ピッチ（画素間の距離。単位は、例えばミリメートル）の情報を記憶している。マイクロコンピュータ２３０は、この画素ピッチの情報とレンズＭＴＦ特性情報とを用いて、エッジ強調処理部２１８２におけるエッジ強調処理の際のゲイン補正量を算出する。このゲイン補正量の算出の詳細については後で述べる。

図２は、エッジ強調処理部２１８２の詳細な構成を示す図である。図２に示すように、エッジ強調処理部２１８２は、第１帯域エッジ抽出部２１８２ａと、第１帯域ゲイン補正部２１８２ｂと、第１帯域エッジ分離部２１８２ｃと、第１帯域合成部２１８２ｄと、第２帯域エッジ抽出部２１８２ｅと、第２帯域ゲイン補正部２１８２ｆと、第２帯域エッジ分離部２１８２ｇと、第２帯域合成部２１８２ｈと、を有している。図２に示すエッジ強調処理部２１８２は、ＲＧＢ画像データを高周波成分と低周波成分とに分けてそれぞれの周波数成分に対して異なる補正ゲインを用いて補正をする。

第１帯域エッジ抽出部２１８２ａは、例えばバンドパスフィルタで構成され、入力されたＲＧＢ画像データのうちの第１の帯域に対応するエッジ信号を抽出する。第１帯域ゲイン補正部２１８２ｂは、第１帯域エッジ抽出部２１８２ａで抽出されたエッジ信号を、マイクロコンピュータ２３０によって指示される第１帯域補正ゲインだけ増幅する補正を行う。第１帯域補正ゲインの詳細については後で述べる。第１帯域エッジ分離部２１８２ｃは、入力されたＲＧＢ画像データから、第１帯域エッジ抽出部２１８２ａで抽出されたエッジ信号を減算することにより、このエッジ信号を除くＲＧＢ画像データを得る。第１帯域合成部２１８２ｄは、第１帯域ゲイン補正部２１８２ｂの出力と第１帯域エッジ分離部２１８２ｃの出力とを合成（加算）する。

第２帯域エッジ抽出部２１８２ｅは、例えばバンドパスフィルタで構成され、第１帯域合成部２１８２ｄから入力されたＲＧＢ画像データのうちの第２の帯域に対応するエッジ信号を抽出する。第２帯域ゲイン補正部２１８２ｆは、第２帯域エッジ抽出部２１８２ｅで抽出されたエッジ信号を、マイクロコンピュータ２３０によって指示される第２帯域補正ゲインだけ増幅する補正を行う。第２帯域補正ゲインの詳細については後で述べる。第２帯域エッジ分離部２１８２ｇは、第１帯域合成部２１８２ｄから入力されたＲＧＢ画像データから、第２帯域エッジ抽出部２１８２ｅで抽出されたエッジ信号を減算することにより、このエッジ信号を除くＲＧＢ画像データを得る。第２帯域合成部２１８２ｈは、第２帯域ゲイン補正部２１８２ｆの出力と第２帯域エッジ分離部２１８２ｇの出力とを合成（加算）する。

図３は、第１帯域と第２帯域とをそれぞれ示した図である。図３の横軸は、入力されるＲＧＢ画像データの空間周波数である。ここで、図３の横軸で示す空間周波数は、ナイキスト周波数で規格化している。また、図３の縦軸は、ＲＧＢ画像データから抽出されるエッジ信号の値である。図３に示すように、第１帯域ｆ１は、第２帯域ｆ２よりも高周波の帯域である。ここで、第１帯域ｆ１及び第２帯域ｆ２の値は、例えばカメラの設計時に予め設定しておく。

以下、前述したデジタルカメラの動作について説明する。図４は、本実施形態に係る撮像方法を含むデジタルカメラのメイン動作を示すフローチャートである。図４の動作は、例えば図１に示すデジタルカメラの電源がオンされた場合に行われる。

デジタルカメラの電源オン後において、マイクロコンピュータ２３０は、レンズＭＴＦ特性情報を含むレンズ情報を、交換式レンズ１００のＦｌａｓｈメモリ１１０から読み込む（ステップＳ１０１）。図５は、レンズＭＴＦ特性情報の一例である。図５に示すように、レンズＭＴＦ特性情報は、空間周波数（ラインペア（ＬＰ）/ｍｍ）の変化に対するレンズＭＴＦ値（％）を、絞り値（Ｆ値）毎に記憶させたテーブル情報である。

続いて、マイクロコンピュータ２３０は、画素ピッチ情報を、Ｆｌａｓｈメモリ２３４から読み込む（ステップＳ１０２）。

レンズＭＴＦ特性情報と画素ピッチ情報の読み込み後、マイクロコンピュータ２３０は、読み込んだレンズＭＴＦ特性情報と画素ピッチ情報とを用いてエッジ強調処理のための補正テーブルを算出する（ステップＳ１０３）。

以下、補正テーブルの算出手法の例を説明する。まず、画素ピッチ（ｍｍ）をpとしたとき、図３で示した第１帯域ｆ１のピーク周波数q1（ＬＰ/ｍｍ）及び第２帯域ｆ２のピーク周波数q2（ＬＰ/ｍｍ）を以下の（式１）により算出する。
q1＝f1/(2×p）
q2＝f2/(2×p） （式１）
次に、Ｆ値毎のq1及びq2の空間周波数に該当するレンズＭＴＦ値（％）を、図５で示したレンズＭＴＦ特性情報から取得する。図５に示したように、レンズＭＴＦ特性情報は、空間周波数とＦ値との関数となっている。したがって、以下、q1に対応して取得したレンズＭＴＦ値をM(q1,F)、q2に対応して取得したレンズＭＴＦ値をM(q2,F)と表記する。括弧の中のFは、Ｆ値である。

なお、図５に記憶されている空間周波数の値とq1又はq2の空間周波数の値が一致しない場合には、q1又はq2の近傍の参照可能な空間周波数に対応するレンズＭＴＦ値から、q1又はq2に対応したレンズＭＴＦ値を算出する。この算出手法は、例えば近傍の参照可能な空間周波数の間の線形補間で良い。

M(q1,F)及びM(q2,F)を取得した後、エッジ強調処理における補正ゲインを算出する。ここでは、第１帯域ゲイン補正部２１８２ｂに対して設定する第１帯域補正ゲインG_f1(F)の算出手法を主に説明する。

まず、M(q1,F)がレンズＭＴＦ値の閾値M_THよりも高い場合には、レンズＭＴＦ値M(q1,F)と基準Ｆ値F0におけるレンズＭＴＦ値M(q1,F0)との比から、第１帯域補正ゲインG_f1(F)を算出する。具体的には、以下の（式２）に示すようにして算出する。
G_f1(F)＝M(q1,F0)/M(q1,F) （式２）
ここで、閾値M_TH（0＜M_TH＜M(q1,F0)）は、例えばデジタルカメラの設計時に実験等によって設定されてＦｌａｓｈメモリ２３４に記憶される値であり、画像の解像力がないと見なせる値である。また、基準Ｆ値F0は、エッジ強調処理による解像力の補正の必要ないＦ値である。図５からも分かるように、一般に、Ｆ値を小さく（絞り径を大きく）するとレンズＭＴＦ値が大きくなる。このことは解像力の劣化が少なくなることを意味しており、この場合にはエッジ強調処理による解像力の補正は必要ない。したがって、基準Ｆ値F0としては例えば開放Ｆ値であるF0＝2.8を用いる。

また、M(q1,F)がレンズＭＴＦ値の閾値M_THよりも低い場合には、以下の（式３）に従って、第１帯域補正ゲインG_f1(F)を算出する。
G_f1(F)＝[{M(q1,F0)/M_TH−Gmin｝/M_TH}]×M(q1,F)＋Gmin （式３）
ここで、Gminは、解像力の劣化が全くないときの補正ゲインであって、例えばデジタルカメラの設計時に実験等によって設定されてＦｌａｓｈメモリ２３４に記憶される値である。このGminは、基準Ｆ値F0のときの補正ゲイン以下の値であり、そのときのレンズＭＴＦ値を基準Ｆ値F0におけるレンズＭＴＦ値M(q1,F0)に一致させるような補正ゲインである。なお、Gminを、基準Ｆ値F0のとき（補正が必要ない状態）の補正ゲインである1.0としても良い。

以上の（式２）及び（式３）で示される第１帯域補正ゲインG_f1(F)の特性をグラフで示すと図６に示すようになる。図６にも示されるように、（式２）及び（式３）に従って補正ゲインを算出した場合、閾値M_THを超える範囲で第１帯域補正ゲインG_f1(F)が曲線的に変化し、閾値M_TH以下の範囲で第１帯域補正ゲインG_f1(F)が直線的に変化する。しかしながら、このような補正ゲインの算出手法は一例である。第１帯域補正ゲインG_f1(F)は、閾値M_THを超える範囲でM(q1,F)の増加に伴って減少し、閾値M_TH以下の範囲でM(q1,F)の増加に伴って増加する特性を有していれば良い。

続いて、第２帯域補正ゲインG_f2(F)の算出手法について説明する。第２帯域補正ゲインG_f2(F)は（式２）の演算だけ行う。これは、第２の帯域が第１の帯域よりも低周波の帯域のためである。

以上の演算により、図７で示す補正テーブルが得られる。図７に示すように、補正テーブルは、Ｆ値と第１帯域補正ゲインG_f1(F)及び第２帯域補正ゲインG_f2(F)とを対応付けたテーブル情報である。補正テーブルの算出後、マイクロコンピュータ２３０は、算出した補正テーブルを例えばＳＤＲＡＭ２１２に記憶させる。

ここで再び図４の説明に戻る。補正テーブルの算出後、マイクロコンピュータ２３０は、ユーザによって操作部２３２のレリーズボタンが半押しされてレリーズボタンの状態がＯＦＦ状態から１ｓｔレリーズスイッチのＯＮ状態に遷移したか否かを判定する（ステップＳ１０４）。

ステップＳ１０４において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯＮ状態に遷移したと判定した場合に、マイクロコンピュータ２３０は、ＡＦ処理を行う（ステップＳ１０５）。ＡＦ処理において、マイクロコンピュータ２３０は、ＡＦ処理部２１６によって合焦評価値を取得させる。そして、マイクロコンピュータ２３０は、ＡＦ処理部２１６で取得された合焦評価値により、コントラストを評価しつつ、撮影レンズ１０２のフォーカスレンズを微少量ずつ駆動させるようにマイクロコンピュータ１０８に指示する。その後、マイクロコンピュータ２３０は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにマイクロコンピュータ１０８に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。

続いて、マイクロコンピュータ２３０は、デジタルカメラの電源がオフされたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において、デジタルカメラの電源がオフされていないと判定した場合に、マイクロコンピュータ２３０は、ステップＳ１０４以後の処理を実行する。一方、ステップＳ１０６において、デジタルカメラの電源がオフされたと判定した場合に、マイクロコンピュータ２３０は、図４の処理を終了させる。

ステップＳ１０４において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯＮ状態に遷移していないと判定した場合に、マイクロコンピュータ２３０は、ユーザによって操作部２３２のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯＮ状態となっているか否かを判定する（ステップＳ１０７）。

ステップＳ１０７において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯＮ状態であると判定した場合に、マイクロコンピュータ２３０は、ＡＥ処理を行う（ステップＳ１０８）。ＡＥ処理において、マイクロコンピュータ２３０は、ＡＥ処理部２１４によって被写体輝度を算出させる。その後、マイクロコンピュータ２３０は、ＡＥ処理部２１４によって算出された被写体輝度に応じて撮影処理の実行時におけるＩＳＯ感度、Ｆ値、シャッタ速を決定する。

続いて、マイクロコンピュータ２３０は、撮影処理を実行する（ステップＳ１０９）。このために、マイクロコンピュータ２３０は、ＡＥ処理によって決定したＩＳＯ感度に応じてアナログ処理部２０６におけるゲイン制御量（増幅率）を設定するとともに、ＡＥ処理によって決定したＦ値をマイクロコンピュータ１０８に送信する。その後、マイクロコンピュータ２３０は、マイクロコンピュータ１０８の制御による絞り１０４の駆動と同期して、ＡＥ処理によって決定したシャッタ速に応じてメカシャッタ２０２を動作させて撮像素子２０４の露光量を制御する。このような撮影処理により、ＲＡＷ画像データがＳＤＲＡＭ２１２に記憶される。

撮影処理を実行した後、マイクロコンピュータ２３０は、画像処理部２１８により、撮影の結果としてＳＤＲＡＭ２１２に記憶されたＲＡＷ画像データに対する現像処理を行う（ステップＳ１１０）。現像処理の詳細については後で述べる。

現像処理の後、マイクロコンピュータ２３０は、画像圧縮伸張部２２４により、現像処理の結果としてＳＤＲＡＭ２１２に記憶されたＲＧＢ画像データに対する圧縮処理（ＪＰＥＧ圧縮処理）を行う（ステップＳ１１１）。その後、マイクロコンピュータ２３０は、画像圧縮伸張部２２４により圧縮された静止画像データ（ＲＧＢ画像データ）をＳＤＲＡＭ２１２から読み出し、読み出した静止画像データに所定のヘッダ情報を付加して静止画ファイルを作成し、作成した静止画ファイルを記録媒体２２８に記録する（ステップＳ１１２）。その後、マイクロコンピュータ２３０は、処理をステップＳ１０６に移行させる。

ステップＳ１０７において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯＮ状態でないと判定した場合に、マイクロコンピュータ２３０は、ライブビュー表示を行う（ステップＳ１１３）。その後、マイクロコンピュータ２３０は、処理をステップＳ１０６に移行させる。ライブビュー表示の処理において、マイクロコンピュータ２３０は、ライブビュー表示のための電子シャッタを用いた撮影処理を実行する。電子シャッタを用いた撮影処理を実行した後、マイクロコンピュータ２３０は、撮影処理によってＳＤＲＡＭ２１２に記憶されたＲＡＷ画像データに対する画像処理を、画像処理部２１８に実行させる。その後、マイクロコンピュータ２３０は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された表示用画像データを表示するようにモニタドライバ２２０に指示する。この指示を受けてモニタドライバ２２０は、ＳＤＲＡＭ２１２から表示用画像データを読み出し、読み出した表示用画像データを映像信号に変換してモニタ２２２に出力する。モニタ２２２は、この映像信号に基づいて画像を再生する。このようなライブビュー表示により、ユーザは、モニタ２２２を用いて構図の確認等を行うことが可能である。

図８は、現像処理について示すフローチャートである。図８において、同時化処理部２１８１は、同時化処理を行う（ステップＳ２０１）。同時化処理において、同時化処理部２１８１は、ＲＡＷ画像データを、補間処理を用いて同時化する。これにより、１画素がＲＧＢのうちの１つの色成分を有しているＲＡＷ画像データを１画素がＲＧＢ３つの色成分を有するＲＧＢ画像データに変換する。ここで、ＲＡＷ画像データがベイヤ配列等の１画素が１つの色成分を有している画像データでなければ、同時化処理は不要である。

同時化処理の後、マイクロコンピュータ２３０は、撮影直前のＡＥ処理によって決定されたＦ値を取得する（ステップＳ２０２）。そして、マイクロコンピュータ２３０は、取得したＦ値から補正ゲインを算出する（ステップＳ２０３）。この処理において、マイクロコンピュータ２３０は、取得したＦ値に対応する第１帯域補正ゲインG_f1(F)及び第２帯域補正ゲインG_f2(F)を、図７で示したようにして得られた補正テーブルから取得する。そして、マイクロコンピュータ２３０は、第１帯域補正ゲインG_f1(F)をエッジ強調処理部２１８２の第１帯域ゲイン補正部２１８２ｂに入力し、第２帯域補正ゲインG_f2(F)を第２帯域ゲイン補正部２１８２ｆに入力する。

補正ゲインが入力されると、エッジ強調処理部２１８２は、エッジ強調処理を行う（ステップＳ２０４）。

エッジ強調処理として、第１帯域エッジ抽出部２１８２ａは、入力されたＲＧＢ画像データにおける第１帯域のエッジ信号を抽出する。第１帯域ゲイン補正部２１８２ｂは、第１帯域エッジ抽出部２１８２ａによって抽出された第１帯域のエッジ信号を、マイクロコンピュータ２３０によって指示される第１帯域補正ゲインG_f1(F)だけ増幅して第１帯域合成部２１８２ｄに入力する。また、第１帯域エッジ分離部２１８２ｃは、入力されたＲＧＢ画像データから、第１帯域エッジ抽出部２１８２ａで抽出されたエッジ信号を除いたＲＧＢ画像データを第１帯域合成部２１８２ｄに入力する。第１帯域合成部２１８２ｄは、第１帯域ゲイン補正部２１８２ｂによって得られた第１帯域の補正エッジ信号を、もとのＲＧＢ画像データに加算（合成）する。このようにして、ＲＧＢ画像データにおける第１帯域の成分の周波数特性が補正される。

また、第２帯域エッジ抽出部２１８２ｅは、第１帯域合成部２１８２ｄから入力されたＲＧＢ画像データにおける第２帯域のエッジ信号を抽出する。第２帯域ゲイン補正部２１８２ｆは、第２帯域エッジ抽出部２１８２ｅによって抽出された第２帯域のエッジ信号を、マイクロコンピュータ２３０によって指示される第２帯域補正ゲインG_f2(F)だけ増幅して第２帯域合成部２１８２ｈに入力する。また、第２帯域エッジ分離部２１８２ｇは、入力されたＲＧＢ画像データから、第２帯域エッジ抽出部２１８２ｅで抽出されたエッジ信号を除いたＲＧＢ画像データを第２帯域合成部２１８２ｈに入力する。第２帯域合成部２１８２ｈは、第２帯域ゲイン補正部２１８２ｆによって得られた第２帯域の補正エッジ信号を、もとのＲＧＢ画像データに加算（合成）する。このようにして、ＲＧＢ画像データにおける第２帯域の成分の周波数特性が補正される。

ここで、図２で示したエッジ強調処理部２１８２は、高周波の帯域である第１帯域のＲＧＢ画像データに対する処理と低周波の帯域である第２帯域のＲＧＢ画像データに対する処理とを順次に行っている。第１帯域のＲＧＢ画像データに対する処理と低周波の帯域である第２帯域のＲＧＢ画像データに対する処理とを並列に行えるようにエッジ強調処理部２１８２を構成しても良い。

エッジ強調処理の後、ノイズ低減処理部２１８３は、ノイズ低減処理を行う（ステップＳ２０５）。ノイズ低減処理において、ノイズ低減処理部２１８３は、例えば、エッジ強調処理がされたＲＧＢ画像データを周波数分解し、周波数に応じてコアリング処理等を施して画像におけるノイズ成分を低減させる。ノイズ低減処理の後、ノイズ低減処理部２１８３は、ノイズ低減処理したＲＧＢ画像データを記録用画像データとしてＳＤＲＡＭ２１２に記憶させる。これにより、図８の処理が終了する。

以上説明したように本実施形態では、レンズＭＴＦ値の低下による画像の解像力劣化を改善するために、画像データを高周波成分と低周波成分とに分け、それぞれの成分を異なる補正ゲインで補正するエッジ強調処理を行う。これにより、撮影時の絞り径の変化が大きい場合であっても適切に画像の解像力劣化を補正することが可能である。

以下、本実施形態の効果についてさらに説明する。図９（ａ）は、Ｆ値の変化に対する画像の一般的な解像力劣化（レンズＭＴＦ値の変化）を示した図である。

図９（ａ）に示すように、高周波成分のレンズＭＴＦ値は、Ｆ値が小さい（絞り径が大きい）範囲Ａでは、Ｆ値が増加する（絞り径が小さくなる）に従って徐々に減少する。これに対し、低周波成分のレンズＭＴＦ値は、Ｆ値が変化しても殆ど変化しない。

一方、図９（ａ）に示すように、ある程度にＦ値が大きい（絞り径が小さい）範囲Ｂでは、高周波成分のレンズＭＴＦ値は殆どゼロになる。これは、回折限界によって高周波成分が失われたことを意味している。これに対し、低周波成分のレンズＭＴＦ値は、Ｆ値が増加する（絞り径が小さく）なるに従って徐々に減少する。

ここで、ある特定の周波数成分のみを抽出してＦ値に応じたエッジ強調処理を行うことを考える。
例えば、高周波成分のみを補正するエッジ強調処理をする場合、Ｆ値が小さい（絞り径が大きい）範囲の解像力劣化については、図９（ｂ）に示すようにして正しく補正することが可能である。しかしながら、Ｆ値が大きい（絞り径が小さい）範囲では、高周波成分が殆どなくなっているので、図９（ｂ）に示すように、エッジ強調処理によってノイズのみが増幅されてしまう。
逆に、低周波成分のみを補正するエッジ強調処理をする場合、Ｆ値が大きい（絞り径が小さい）範囲でノイズのみが増幅されることはなくなる。その反面、Ｆ値が小さい（絞り径が大きい）範囲の高周波成分の解像力の劣化を補正しきれなくなるおそれがある。

これに対し、本実施形態では、レンズＭＴＦ値が閾値M_THよりも高いか否かを判定することによって現在のＦ値が範囲Ａと範囲Ｂの何れにあるかを判定している。そして、図１０（ａ）に示すように、高周波成分に対しては、レンズＭＴＦ値が閾値M_TH以下となるＦ値が小さい範囲ＡにおいてはＦ値が大きくなるに従ってゲイン補正量を大きくし、レンズＭＴＦ値が閾値M_THを超えるＦ値がある程度大きい範囲ＢにおいてはＦ値が大きくなるに従いゲイン補正量を小さくする。これにより、図１０（ｂ）に示すように、Ｆ値が小さい範囲における高周波成分の解像力劣化を補正しつつ、Ｆ値が大きい範囲におけるノイズの発生を抑えることができる。

一方、低周波成分に対しては、Ｆ値がある程度大きい範囲Ｂにおいて、Ｆ値が大きくなるに従いゲイン補正量を大きくする。これにより、図１０（ｂ）に示すように、Ｆ値が大きい範囲におけるＦ値の増加に伴う低周波成分の解像力の劣化も補正することができる。

このようにして本実施形態では、撮影時の絞り径の変化が大きい場合であっても適切に画像の解像力劣化を補正することが可能である。

ここで、本実施形態では、画像データから抽出する周波数成分を高周波成分と低周波成分の２成分としているが、３成分以上の周波数成分を抽出してそれぞれの周波数成分に対して異なるエッジ強調処理を行うようにしても良い。

また、前述の実施形態では、交換式レンズが装着されるデジタルカメラにおける解像力劣化を補正する例を説明している。ここで、レンズ一体型のデジタルカメラの場合、レンズＭＴＦ特性情報が設計時に得られる。したがって、設計時に補正テーブルを算出しておくことができる。この補正テーブルを例えばＦｌａｓｈメモリ２３４に記憶させておけば、撮影時に改めて補正テーブルを算出する必要はない。即ち、図４のステップＳ１０３の処理を省略できる。

また、前述の実施形態では、ＲＧＢ画像データに対してエッジ強調処理を施す例を説明している。これに対し、ＲＧＢ画像データを輝度データと色差データとに分離する処理を行い、その後に輝度データに対してエッジ強調処理を施すようにしても良い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…デジタルカメラ、１００…交換式レンズ、１０２…撮影レンズ、１０４…絞り、１０６…ドライバ、１０８…マイクロコンピュータ、１１０…Ｆｌａｓｈメモリ、１１２…インターフェイス（Ｉ/Ｆ）、２００…カメラ本体、２０２…メカシャッタ、２０４…撮像素子、２０６…アナログ処理部、２０８…アナログ/デジタル（Ａ/Ｄ）変換部、２１０…バス、２１２…ＳＤＲＡＭ、２１４…ＡＥ処理部、２１６…ＡＦ処理部、２１８…画像処理部、２２０…モニタドライバ、２２２…モニタ、２２４…画像圧縮伸張部、２２６…メモリインターフェイス、２２８…記録媒体、２３０…マイクロコンピュータ、２３２…操作部、２３４…Ｆｌａｓｈメモリ、２１８１…同時化処理部、２１８２…エッジ強調処理部、２１８２ａ…第１帯域エッジ抽出部、２１８２ｂ…第１帯域ゲイン補正部、２１８２ｃ…第１帯域エッジ分離部、２１８２ｄ…第１帯域合成部、２１８２ｅ…第２帯域エッジ抽出部、２１８２ｆ…第２帯域ゲイン補正部、２１８２ｇ…第２帯域エッジ分離部、２１８２ｈ…第２帯域合成部、２１８３…ノイズ低減処理部

Claims (4)

1. 撮影レンズを介して被写体を撮像して画像信号を取得する撮像素子と、
   前記画像信号の複数の周波数成分に対する前記撮影レンズの撮影時の絞り値に応じた補正量をそれぞれ算出する補正量算出部と、
   前記算出された補正量に基づいて、前記複数の周波数成分の画像信号の周波数特性を補正する補正部と、
   を具備し、
   前記補正量算出部は、前記撮影レンズに設定され得る各々の絞り値に対応して設定されたレンズ周波数特性情報と前記撮像素子の画素ピッチ情報とに基づいて、前記複数の周波数成分の各々に対する補正量を算出し、
   前記複数の周波数成分は、高周波成分及び低周波成分であり、
   前記補正量算出部は、前記高周波成分に対しては、前記絞り値がレンズ周波数特性情報により決まる所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を小さくし、前記低周波成分に対しては、前記絞り値が前記所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を大きくするように前記補正量を算出することを特徴とする撮像装置。
2. 前記撮影レンズは、当該撮像装置の本体に着脱自在に構成され、前記レンズ周波数特性情報を記憶するメモリを有する交換式レンズであり、
   前記撮像素子の画素ピッチ情報を記憶するメモリをさらに具備することを特徴とする請求項１に記載の撮像装置。
3. 前記補正部は、前記画像信号から、複数の周波数成分の各々に対応するエッジ信号を抽出し、該抽出された各々の周波数成分に対応したエッジ信号に対して前記算出された対応する補正量に基づき信号補正を行って補正エッジ信号を得て、各々の補正エッジ信号を用いて前記複数の周波数成分の画像信号の各々の周波数特性を補正する、ことを特徴とする請求項１に記載の撮像装置。
4. 撮像素子により、撮影レンズを介して被写体を撮像して画像信号を取得する第１ステップと、
   補正量算出部により、前記画像信号の複数の周波数成分に対する前記撮影レンズの撮影時の絞り値に応じた補正量をそれぞれ算出する第２ステップと、
   補正部により、前記算出された補正量に基づいて、前記複数の周波数成分の画像信号の周波数特性を補正する第３ステップと、
   を有し、
   前記第２ステップにおいて、前記撮影レンズに設定され得る各々の絞り値に対応して設定されたレンズ周波数特性情報と前記撮像素子の画素ピッチ情報とに基づいて、前記複数の周波数成分の各々に対する補正量を算出し、
   前記複数の周波数成分は、高周波成分及び低周波成分であり、
   前記第２ステップにおいて、前記高周波成分に対しては、前記絞り値がレンズ周波数特性情報により決まる所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を小さくし、前記低周波成分に対しては、前記絞り値が前記所定の値よりも大きい範囲で前記絞り値が大きくなるに従って前記補正量を大きくするように前記補正量を算出する、
   ことを特徴とする撮像方法。

Images