JP2007336386A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】被写体画像に係る解像感を保ち、かつ撮影した画像のノイズを抑圧できるようにする。
【解決手段】複数の画素を有する撮像素子での結像の状態を変えて得られる複数の画像の画像情報を各画素毎又は画素領域毎に比較し、その比較結果として得られる画像情報の変化に応じて撮影した画像に対する信号処理の内容を変更するようにして、画像情報の変化の大きさを基に被写体の絵柄部分と判定された部分についてはノイズ抑圧処理を弱くし、そうでない部分についてはノイズ抑圧処理を強めて、撮影した画像のノイズ抑圧と被写体の絵柄の解像感の保持とを両立できるようにする。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関し、詳しくは撮影画像の画質を向上させる画像処理技術に関する。

ディジタルカメラ、ビデオカメラ等の撮像装置は、ズームレンズ、フォーカスレンズ、及び光学手ぶれ補正機構などから成る光学系を通じて、外界の被写体像をＣＣＤやＣＭＯＳ等のイメージセンサー上に結像させる。その結像させた被写体の光学像を電気信号に変換する、すなわち光電変換することにより画像信号を得ている。

また、近年、ディジタル信号処理技術の浸透により、ほぼすべての撮像装置において、イメージセンサーより出力された画像信号は、アナログ−ディジタル（Ａ／Ｄ）変換されてディジタル画像信号として取り扱われる。イメージセンサーからの出力以後、相関二重サンプリング等のアナログ信号処理を除き、各信号処理をディジタル信号処理化することで様々かつ高度な画像処理を施すことが可能になった。そのため、イメージセンサーにおける画素数の多画素化との相乗効果もあって、撮像装置により得られる画像の画質は大きく向上してきている。

撮像装置で得られる画像の画質の中で、主要なものの一つとしてノイズ感が挙げられ、結像された光学像を、なるべく少ないノイズで画像信号にできるほど画質が良いということが言える。

ここで、撮像装置におけるノイズについて分類すると、イメージセンサー上で発生するノイズとして、イメージセンサーの暗電流によるノイズがあり、その中でも暗電流そのものは固定パターンノイズとして現れる。また、ショットノイズと呼ばれるノイズがあり、いわゆるランダムノイズとして現れる。このショットノイズには、暗電流ショットノイズと呼ばれるイメージセンサーの発生電荷に関係なく発生するノイズと、光ショットノイズと呼ばれるイメージセンサーの発生電荷に応じて変動するノイズがある。また、いわゆる欠陥画素と呼ばれるものも、大分類からいえばノイズの一種と見なせ、暗電流のように固定パターンノイズと見ることができる。

次に、イメージセンサーの出力信号をディジタル変換する際に発生するノイズとして、相関二重サンプリング回路やＡ／Ｄ変換回路などのアナログ電気回路において、周辺からの電荷誘導により発生するノイズがある。また、連続量であるアナログ信号を離散量であるディジタル信号に変換するときの量子化誤差によって発生する量子化ノイズもある。これらは、いずれもランダムなノイズである。

こうした撮像装置におけるノイズのうち各発生源にて防止できなかったものについては、ディジタル信号処理回路でその低減処理が行われてきた。例えば、暗電流や欠陥画素のように時間的に相関の高いものについては、通常画像の他に遮光状態の黒画像も撮影しておき、通常画像から黒画像を差し引くことにより除去している。また、量子化ノイズについては、基本的に量子化の分解能を上げれば低減でき、近年の回路技術の向上により解決が図られている。それ以外のランダムノイズについては、フィルタを用いた周波数帯域制限による低減、及びランダム性を利用したＮＲ（ノイズリダクション）と呼ばれる技術による低減が行われている。

特開２０００−１０５８１５号公報 特開２００５−３５４１３０号公報

これら撮像装置におけるノイズの低減技術のうち、ランダムノイズを低減させる従来技術には以下のような問題がある。
まず、フィルタを用いた周波数帯域制限によりノイズ低減させる場合には、ノイズの周波数帯域成分とともに、被写体画像の周波数帯域成分が同時に抑圧されていた。したがって、撮像装置により得られる画像の画質のもう一つの主要要素である画像の解像感が乏しくなり、解像感とノイズ感の両立が困難であった。

これに対して、特許文献１に開示されているように、非線形要素を有するフィルタを用いることで、振幅が小さい高周波成分はノイズとみなして抑圧し、振幅が大きな高周波成分は被写体画像とみなして抑圧しないようにする技術がある。しかしながら、イメージセンサーへの入射光量によって変動する光ショットノイズのようにノイズの状態に変動が生じた場合に対応できないという問題があった。

同様に、被写体画像の解像感とノイズ感の両立を図る方法として、特許文献２に開示されているように、特定被写体を認識するようにして、その認識結果に応じて画像処理内容を変えることにより解像感とノイズ感の両立を実現しようとする方法が提案されている。しかしながら、この方法は、より一般的な被写体への対応が実現困難であるという問題がある。

また、ＮＲ技術においては、時間軸方向の画像変化情報を長くとるほどノイズ抑圧の効果が得られる。しかし、ビデオカメラのように動画を撮影する撮像装置では、残像が生じない範囲での適用となり、また、被写体が厳密には静止していないことを鑑みればディジタルスチルカメラにおいても限界があり、十分なノイズ抑圧の効果が得られないという問題がある。

本発明は、このような事情に鑑みてなされたものであり、被写体画像に係る解像感を保ち、かつ撮影した画像のノイズを抑圧できるようにすることを目的とする。

本発明に係る撮像装置は、複数の画素を有する撮像素子と、前記撮像素子での結像の状態を変えて得られる複数の画像の画像情報を、各画素毎又は画素領域毎に比較する比較手段と、前記撮像素子により得られた画像に対して信号処理を施す信号処理手段とを備え、前記信号処理手段は、前記比較手段により比較結果として得られる前記画像情報の変化に応じて信号処理の内容を変更することを特徴とする。
本発明に係る撮像装置は、被写体にフォーカスした状態で撮影された第１の画像における所定の周波数帯域成分の値と、前記被写体にフォーカスしない状態で撮影された第２の画像における前記所定の周波数帯域成分の値に、所定値を越える変化が生じた画素又は画素領域における前記第１の画像に対する信号処理の内容と、前記第１の画像の前記所定の周波数帯域成分の値と前記第２の画像の前記所定の周波数帯域成分の値に、前記所定値を越える変化が生じない画素又は画素領域における前記第１の画像に対する信号処理の内容を変えることを特徴とする。
本発明に係る撮像方法は、複数の画素を有する撮像素子での結像の状態を変えて複数の画像を得る撮像工程と、前記撮像工程により得られる前記複数の画像の画像情報を、各画素毎又は画素領域毎に比較する比較工程と、前記撮像工程により得られた画像に対して信号処理を施す信号処理工程とを有し、前記信号処理工程では、前記比較工程での比較結果として得られる前記画像情報の変化に応じて信号処理の内容を変更することを特徴とする。
本発明に係る撮像方法は、被写体にフォーカスした状態で撮影された第１の画像における所定の周波数帯域成分の値と、前記被写体にフォーカスしない状態で撮影された第２の画像における前記所定の周波数帯域成分の値に、所定値を越える変化が生じた画素又は画素領域における前記第１の画像に対する信号処理の内容と、前記第１の画像の前記所定の周波数帯域成分の値と前記第２の画像の前記所定の周波数帯域成分の値に、前記所定値を越える変化が生じない画素又は画素領域における前記第１の画像に対する信号処理の内容を変えることを特徴とする。

本発明によれば、各画素毎又は領域毎における結像の状態を変えて得られる複数の画像の画像情報の変化に応じて信号処理の内容を変更するので、撮影した画像のノイズ、特にランダムノイズの抑圧と被写体の絵柄の解像感の保持との両立を実現することができる。

以下、本発明の実施形態を図面に基づいて説明する。

以下に説明する本発明の実施形態では、撮影画像におけるノイズは、撮像装置において撮像素子に結像した光学像の時点ではまだ発生していない点に着目し、例えば被写体にフォーカスがとれている通常の画像の他に、完全にボケた画像を撮影する。以下、この被写体にフォーカスがとれておらず完全にボケた画像を、「デフォーカス画像」と称する。

デフォーカス画像は、入射光量としてはフォーカス画像と同様であり、光ショットノイズを含めてノイズ状態としてはフォーカス画像とほぼ同じであるが、被写体の絵柄の高周波成分を含まない画像であるといえる。このことは、例えば光学手ぶれ補正用の光路変更手段を利用して強制的に動きブレを生じさせた状態で得られる動きブレ画像においても同様である。なお、以下では、説明の便宜上、動きブレ画像もデフォーカス画像の一種であるとする。また、デフォーカスと動きブレを同時に生じさせるようにしても良い。

撮影したフォーカス画像及びデフォーカス画像における所定の周波数帯域成分の値を比較し、その周波数帯域成分の値の変化が小さい画素又は画素領域については、被写体の絵柄が少ない部分であると判定してフォーカス画像に対するノイズ抑圧処理を強める。一方、変化が大きい画素又は画素領域については、被写体の絵柄が存在する部分であると判定して解像感を強める処理をフォーカス画像に対して施す。このようにフォーカス画像及びデフォーカス画像の所定の周波数帯域成分の変化に応じて、フォーカス画像に対する処理内容を変更することにより、ランダムノイズに対するノイズ感と、被写体の絵柄に対する解像感の両立を実現するものである。

また、フォーカス画像やデフォーカス画像から、撮像素子を遮光して得られる黒画像を差し引いた後に、周波数帯域成分の値の比較及び信号処理内容の変更を行う。これにより、暗電流ムラや欠陥画素などの固定パターンノイズの除去を行ったうえで、ランダムノイズに対するノイズ感及び被写体の絵柄に対する解像感の両立を実現する。

（第１の実施形態）
本発明の第１の実施形態による撮像装置について説明する。
図１は、第１の実施形態による撮像装置の構成例を示すブロック図である。図２は、第１の実施形態における動作シーケンスを示す図である。

図１において、１０１はフォーカスレンズ、１０２はズームレンズ、１０３はシフトレンズ、１０４はアイリス、１０５は複数の画素を有する撮像素子（例えば、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー等）である。ここで、シフトレンズ１０３は、手ぶれ補正機構を実現するものであり、撮像装置の動きに応じてその動きを打ち消すように移動制御される。１０６はアナログ信号処理回路、１０７はディジタル信号処理部、１０８はメモリ（例えば、大容量ＤＲＡＭ）、１０９はメモリ記録メディア、１１０はマイクロコンピュータ（以下、マイコンと称す。）である。

図１に示す２０１〜２２２はディジタル信号処理部１０７内の構成要素であって、２０１はクランプ回路、２０２は黒画像差分回路、２０３はＹＣ分離回路、２０４はメモリインタフェース回路（メモリＩＦ回路）である。クランプ回路２０１は、撮像素子における光学的黒（オプティカルブラック）レベル（以下、ＯＢレベルと称す。）を画像信号の明るさの基準としてクランプし、そのＯＢレベルを用いて入力される画像信号を補正する。黒画像差分回路２０２は、撮像素子を露光した状態（露光状態）で撮影して得られた画像データから、撮像素子を露光しない状態（遮光状態、非露光状態）で撮影して得られた黒画像データを減算する。ＹＣ分離回路２０３は、黒画像差分回路２０２からの出力を輝度信号成分及び色信号成分に分離する。メモリＩＦ回路２０４は、メモリ１０８に対するデータの読み出しや書き込みを行うためのものである。

また、２０５は第１のバンドパスフィルタ、２０６は第１の絶対値回路、２０７は第１の移動平均フィルタ、２０８は第２のバンドパスフィルタ、２０９は第２の絶対値回路、２１０は第２の移動平均フィルタ、２１１はレベル比較回路である。２１２は第１の遅延調整回路、２１３は第１の帯域制限フィルタ、２１４は第２の遅延調整回路、２１５は第２の帯域制限フィルタ、２１６は重み付け加算回路、２１７は輝度信号処理回路、２１８は第３の遅延調整回路、２１９は色信号処理回路である。２２０は画像フォーマット生成回路、２２１はＪＰＥＧ処理回路、２２２はカードインタフェース回路である。

図１及び図２を参照して、第１の実施形態における撮像装置の動作について説明する。
第１の実施形態における撮像装置は、その動作モードとして、第１の撮影モード、第２の撮影モード、第３の撮影モード、及び静止画処理モードを有し、これら各モードを順次遷移させながら動作を行う。

第１の撮影モードでは、撮像素子１０５を遮光状態（非露光状態）として黒画像の撮影を行う。第２の撮影モードでは、撮像素子１０５を露光状態とし被写体にフォーカスのとれた本画像（フォーカス画像）の撮影を行い、第３の撮影モードでは、撮像素子１０５を露光状態とし被写体にフォーカスがとれていないデフォーカス画像の撮影を行う。静止画処理モードでは、第１〜第３の撮影モードでの動作により得られる黒画像データ、本画像データ、及びデフォーカス画像データを用いて、出力静止画像データを生成する。

以下、図２に示す動作シーケンスに基づいて動作を説明する。
マイコン１１０は、第１の撮影モード設定をディジタル信号処理部１０７に対して実施し（ステップＳ１）、その後、アイリス１０４を完全に閉じた状態に制御して（ステップＳ２）、撮像素子１０５を駆動する（ステップＳ３）。これにより、撮像素子１０５を遮光状態とした黒画像の撮影が行われる。この黒画像撮影における撮像素子１０５の出力（アナログ黒画像信号）は、アナログ信号処理回路１０６にて、相関二重サンプリング及びアナログ−ディジタル変換処理が施された後、ディジタル黒画像信号としてディジタル信号処理部１０７に入力される。

ディジタル信号処理部１０７は、クランプ回路２０１にてＯＢレベルを一定としてディジタル黒画像信号に所定の処理を施し、得られた黒画像データをメモリＩＦ回路２０４を介してメモリ１０８の黒画像データエリア（図示せず）に格納する（ステップＳ４）。この黒画像データには、暗電流による固定パターンノイズ及び欠陥画素による固定パターンノイズが含まれている。

次に、マイコン１１０は、第２の撮影モード設定を実施し（ステップＳ５）、その後、ズーム制御及びフォーカス制御等の各種制御を行い、ズーム、フォーカス、露出、及びホワイトバランス等の調整を行う（ステップＳ６）。それらの調整が完了した後、マイコン１１０は、撮像素子１０５を駆動して、撮像素子１０５を露光状態とし、かつ被写体にフォーカスした状態とした本画像の撮影を行う（ステップＳ７）。この本画像撮影における撮像素子１０５の出力（アナログ本画像信号）は、アナログ信号処理回路１０６にて上述した黒画像信号と同様に処理が施された後、ディジタル本画像信号としてディジタル信号処理部１０７に入力される。

ディジタル信号処理部１０７は、クランプ回路２０１にてＯＢレベルを一定としてディジタル本画像信号に所定の処理を施す。さらに、黒画像差分回路２０２にて、クランプ回路２０１で処理して得られた本画像データから、メモリ１０８の黒画像データエリアに格納されている黒画像データをメモリＩＦ回路２０４を介して読み出し減算する。これにより、本画像における暗電流及び欠陥画素による固定パターンノイズを抑圧する。

その後、上述のようにして固定パターンノイズが抑圧された本画像データを、ＹＣ分離回路２０３にて輝度信号成分及び色信号成分に分離する。輝度信号成分である本画像輝度データは、メモリＩＦ回路２０４を介してメモリ１０８の本画像輝度データエリア（図示せず）に格納される。同様に、色信号成分である本画像色データは、メモリＩＦ回路２０４を介してメモリ１０８の本画像色データエリア（図示せず）に格納される（ステップＳ８）。

次に、マイコン１１０は、第３の撮影モード設定を実施し（ステップＳ９）、フォーカスレンズ１０１及びシフトレンズ１０３の少なくとも一方の位置を所定量変化させる（ステップＳ１０）。これにより、撮像素子１０５の受光面に結像している光学像をぼけさせて、被写体の絵柄が消去される（被写体画像が不鮮明となる）状態が作り出される。

この状態で、マイコン１１０は、撮像素子１０５を駆動して、撮像素子１０５を露光状態とし、かつ被写体にフォーカスしない状態としたデフォーカス画像の撮影を行う（ステップＳ１１）。このデフォーカス画像撮影における撮像素子１０５の出力（アナログデフォーカス画像信号）は、アナログ信号処理回路１０６にて上述と同様に処理が施された後、ディジタルデフォーカス画像信号としてディジタル信号処理部１０７に入力される。

ディジタル信号処理部１０７は、クランプ回路２０１にてＯＢレベルを一定としてディジタルデフォーカス画像信号に所定の処理を施す。さらに、黒画像差分回路２０２にて、クランプ回路２０１で処理して得られたデフォーカス画像データから、メモリ１０８の黒画像データエリアに格納されている黒画像データをメモリＩＦ回路２０４を介して読み出し減算する。これにより、デフォーカス画像における暗電流及び欠陥画素による固定パターンノイズを抑圧する。

その後、暗電流及び欠陥画素による固定パターンノイズが抑圧されたデフォーカス画像データから、ＹＣ分離回路２０３にて輝度信号成分のみを抽出する。抽出されたデフォーカス画像輝度データは、メモリＩＦ回路２０４を介してメモリ１０８のデフォーカス画像輝度データエリア（図示せず）に格納される（ステップＳ１２）。

次に、マイコン１１０は、静止画処理モード設定を実施する（ステップＳ１３）。続いて、ディジタル信号処理部１０７は、メモリ１０８の各データエリアに格納されている本画像輝度データ、本画像色データ、及びデフォーカス画像輝度データを、メモリＩＦ回路２０４を介して読み出す（ステップＳ１４）。次に、ディジタル信号処理部１０７は、読み出した本画像輝度データ、本画像色データ、及びデフォーカス画像輝度データを用いてランダムノイズ抑圧処理を実行する（ステップＳ１５）。

以下、ステップＳ１５に示すランダムノイズ抑圧処理について説明する。
メモリ１０８から読み出された本画像輝度データは、第１のバンドパスフィルタ２０５、第１の遅延調整回路２１２、及び第２の遅延調整回路２１４に入力され、本画像色データは、第３の遅延調整回路２１８に入力される。また、メモリ１０８から読み出されたデフォーカス画像輝度データは、第２のバンドパスフィルタ２０８に入力される。

ここで、第１及び第２のバンドパスフィルタ２０５、２０８は、同一の周波数特性を有しており、本画像輝度データ及びデフォーカス画像輝度データに含まれるショットノイズなどのランダムノイズを含む周波数成分を主に抽出できる周波数特性を有する。

本画像輝度データが入力された第１のバンドパスフィルタ２０５は、本画像輝度データのランダムノイズを含む周波数成分（以後、第１画像成分と称す。）を抽出する。第１の絶対値回路２０６は、第１のバンドパスフィルタ２０５にて抽出された第１画像成分の大きさデータを抽出する。第１の移動平均フィルタ２０７は、第１の絶対値回路２０６により抽出された第１画像成分の大きさデータを空間的に局所平均化する。

同様に、デフォーカス画像輝度データが入力された第２のバンドパスフィルタ２０８は、デフォーカス画像輝度データのランダムノイズを含む周波数成分（以後、第２画像成分と称す。）を抽出する。第２の絶対値回路２０９は、第２のバンドパスフィルタ２０８にて抽出された第２画像成分の大きさデータを抽出する。第２の移動平均フィルタ２１０は、第２の絶対値回路２０９により抽出された第２画像成分の大きさデータを空間的に局所平均化する。

レベル比較回路２１１は、第１及び第２の移動平均フィルタ２０７、２１０によりそれぞれ局所平均化された第１画像成分の大きさと第２画像成分の大きさを比較する。ここで、第１画像成分は、本画像輝度データから抽出されているため、本画像内の被写体の絵柄に応じて局所的に大きさが変化する。一方、第２画像成分は、デフォーカス画像輝度データから抽出されているため、全画面においてほとんど大きさが変化しない。したがって、第１画像成分の大きさと第２画像成分の大きさが同等である部分は、被写体の絵柄が存在しない（ほとんどない）部分と判定でき、第１画像成分の大きさが、第２画像成分の大きさより明確に大きい部分は、被写体の絵柄が存在する部分と判定できる。

そこで、レベル比較回路２１１は、第１画像成分の大きさと第２画像成分の大きさとの差分値Ｄに基づいて混合比率データＫを生成し、生成した混合比率データＫを重み付け加算回路２１６に出力する。混合比率データＫは、図３に示すように差分値Ｄが第１所定値Ｖ１以下である場合には０、差分値Ｄが第２所定値Ｖ２以上である場合には１、差分値Ｄが第１所定値Ｖ１と第２所定値Ｖ２の中間である場合には、線形補間して得られる０〜１の間の任意の値とする。なお、混合比率データＫについては、その他任意の特性を与えるようにしても良い。なお、レベル比較回路２１１における第１画像成分の大きさと第２画像成分の大きさとの比較は、画像の各画素毎又は所定の画素領域毎に行われる。

一方、本画像輝度データが入力された第１の遅延調整回路２１２及び第２の遅延調整回路２１４は、本画像輝度データを所定時間遅延させて第１の帯域制限フィルタ２１３、第２の帯域制限フィルタ２１５に出力する。すなわち、輝度データに関し、バンドパスフィルタ２０５（２０８）、絶対値回路２０６（２０９）、移動平均フィルタ２０７（２１０）及びレベル比較回路２１１により生ずる遅延と、遅延調整回路２１２（２１４）及び帯域制限フィルタ２１３（２１５）により生ずる遅延とが、重み付け加算回路２１６において一致するように遅延量調整を行う。

第１の帯域制限フィルタ２１３は、例えばローパスフィルタにより構成され、本画像輝度データに含まれる第１画像成分であるランダムノイズ成分を強く抑圧する。第２の帯域制限フィルタ２１５は、例えばローパスフィルタにより構成され、本画像輝度データに含まれる第１画像成分であるランダムノイズ成分を弱く抑圧する。したがって、第１の帯域制限フィルタ２１３の出力Ｙ１は、画像における解像感を犠牲にしながらもランダムノイズを強く抑えた輝度データ、第２の帯域制限フィルタ２１５の出力Ｙ２は、解像感を落とさずにランダムノイズをある程度残した輝度データと言える。

重み付け加算回路２１６は、図３に示した混合比率データＫと、帯域制限フィルタ２１３、２１５の出力Ｙ１、Ｙ２を用いて、重み付け加算輝度データＹｏｕｔを以下の式により生成する。
Ｙｏｕｔ＝（１−Ｋ）×Ｙ１＋Ｋ×Ｙ２

これにより、重み付け加算輝度データＹｏｕｔは、本画像データ及びデフォーカス画像データのある周波数成分を局所的に比較し、比較結果に応じた信号処理を施した本画像に係る輝度データとなる。具体的には、本画像において被写体の絵柄が存在しない部分についてはノイズ抑圧処理を強めてランダムノイズを強く抑圧し、被写体の絵柄が存在する部分については高周波成分が強調されるように絵柄の高周波成分を残し解像感を保った輝度データとなる。この重み付け加算輝度データＹｏｕｔは、輝度信号処理回路２１７にて所定の輝度信号処理が行われて画像フォーマット生成回路２２０に出力される。

メモリ１０８から読み出された本画像色データは、第３の遅延調整回路２１８にて、上述した輝度データに係る一連の信号処理における遅延との調整が行われる。そして、色信号処理回路２１９にて、色分離、マトリクス演算、ホワイトバランス等の所定の色信号処理が行われて画像フォーマット生成回路２２０に出力される。

画像フォーマット生成回路２２０は、輝度信号処理回路２１７にて輝度信号処理された重み付け加算輝度データＹｏｕｔ及び色信号処理回路２１９にて色信号処理された本画像色データを基に所定の圧縮前の画像データを生成する。生成された圧縮前の画像データは、メモリＩＦ回路２０４を介してメモリ１０８のカメラ処理画像データエリア（図示せず）に格納される。

カメラ処理画像データエリアに格納された画像データは、その後、必要に応じてＪＰＥＧ処理回路２２１により圧縮処理等を行い、カードインタフェース回路２２２を介してメモリ記録メディア１０９に圧縮画像データとして記録することができる。

第１の実施形態によれば、撮影したフォーカス画像及びデフォーカス画像におけるランダムノイズを含む周波数成分の大きさを比較し、その差分が小さい部分は、被写体の絵柄が存在しない部分としてノイズ抑圧処理を強めてランダムノイズ成分を強く抑圧する。一方、その差分が大きい部分は、被写体の絵柄が存在する部分としてノイズ抑圧処理を弱めてランダムノイズ成分を弱く抑圧し、絵柄の高周波成分を残して解像感を保ち、相対的に解像感を強める。

これにより、最終的に得られるカメラ処理画像として、被写体の絵柄が存在する部分では絵柄の解像感を保ち、被写体の絵柄のない部分ではランダムノイズが強く抑圧された画像が得られる。勿論、カメラ処理画像においては固定パターンノイズも除去されている。したがって、例えば空や人肌等の高周波成分の少ない平坦部分のＳ／Ｎは向上し、例えば樹木や輪郭等の細かい絵柄部分は解像感が保たれ、撮影した画像におけるノイズ、特にランダムノイズの抑圧及び被写体の絵柄の解像感の保持の両立を良好に実現できる。

また、入射光量を変えることなく、撮影の都度、ノイズ部分と被写体の絵柄部分との識別が行えるので、光ショットノイズのように入射光量に依存してノイズ量が変わるようなノイズ状態の変動に対しても適切に対応することができ、問題を生じない。したがって、従来の非線形フィルタによるノイズ除去技術よりも、より広い撮影状態に対応できる効果がある。

また、本実施形態では、特定の被写体のみに対してではなく、どのような被写体に対しても対応でき、より一般的な被写体に対応することが可能となる。また、表示や記録する画像に対して時間軸方向に対する処理を行う必要がないため、残像などの生じるおそれのある従来のＮＲ技術よりも、十分にノイズ抑圧することができ効果的である。

（第２の実施形態）
次に、本発明の第２の実施形態による撮像装置について説明する。
図４は、第２の実施形態による撮像装置の構成例を示すブロック図である。図５は、第２の実施形態における動作シーケンスを示す図である。

図４において、３０１〜３１０は、図１に示した１０１〜１１０の各構成要素と同一であり説明を省略する。図４の４０１、４０２、４０４〜４１６はディジタル信号処理部３０７内の構成要素であって、４０１はクランプ回路、４０２は黒画像差分回路、４０４はメモリインタフェース回路（メモリＩＦ回路）である。クランプ回路４０１、黒画像差分回路４０２、及びメモリＩＦ回路４０４は、図１に示したクランプ回路２０１、黒画像差分回路２０２、及びメモリＩＦ回路２０４に相当し同様の機能を実現する。

また、４０５はバンドパスフィルタ、４０６は絶対値回路、４０７は移動平均フィルタ、４０８はレベル比較回路である。４０９は第１の遅延調整回路、４１０はノイズ除去フィルタ、４１１は第２の遅延調整回路、４１２は第３の遅延調整回路、４１３はアパーチャ付加回路、４１４は重み付け加算回路、４１５はＪＰＥＧ処理回路、４１６はカードインタフェース回路である。

図４及び図５を参照して、第２の実施形態における撮像装置の動作について説明する。
第２の実施形態における撮像装置は、その動作モードとして、第１の撮影モード、第２の撮影モード、第３の撮影モード、第１の黒画像差分処理モード、第２の黒画像差分処理モード、ランダムノイズ抽出モード、及び出力静止画処理モードを有する。第２の実施形態における撮像装置は、これら各モードを順次遷移させながら動作を行う。

第１の撮影モードでは、撮像素子３０５を露光状態とし被写体にフォーカスのとれた本画像の撮影を行う。第２の撮影モードでは、撮像素子３０５を遮光状態として黒画像の撮影を行う。第３の撮影モードでは、撮像素子３０５を露光状態としてデフォーカス画像の撮影を行う。

第１の黒画像差分処理モードでは、第１及び第２の撮影モードでの動作により得られる本画像データ及び黒画像データを用いて、第１の固定パターンノイズ抑圧画像データを生成する。第２の黒画像差分処理モードでは、第２及び第３の撮影モードでの動作により得られる黒画像データ及びデフォーカス画像を用いて、第２の固定パターンノイズ抑圧画像データを生成する。

ランダムノイズ抽出モードでは、第２の固定パターンノイズ抑圧画像データからランダムノイズ成分画像データを生成する。出力静止画処理モードでは、第１の固定パターンノイズ抑圧画像データ及びランダムノイズ成分画像データから出力静止画像データを生成する。

以下、図５に示す動作シーケンスに基づいて動作を説明する。
マイコン３１０は、第１の撮影モード設定をディジタル信号処理部３０７に対して実施し（ステップＳ２１）、その後、ズーム制御及びフォーカス制御等の各種制御を行い、ズーム、フォーカス、露出、及びホワイトバランス等の調整を行う（ステップＳ２２）。それらの調整が完了した後、マイコン３１０は、撮像素子３０５を駆動して、撮像素子３０５を露光状態とし、かつ被写体にフォーカスした状態とした本画像の撮影を行う（ステップＳ２３）。この本画像撮影における撮像素子３０５の出力（アナログ本画像信号）は、アナログ信号処理回路３０６にて、相関二重サンプリング及びアナログ−ディジタル変換処理が施された後、ディジタル本画像信号としてディジタル信号処理部３０７に入力される。

ディジタル信号処理部３０７は、クランプ回路４０１にてＯＢレベルを一定としてディジタル本画像信号に所定の処理を施し、得られた本画像データをメモリＩＦ回路４０４を介してメモリ３０８の本画像データエリア（図示せず）に格納する（ステップＳ２４）。この本画像データには、ランダムノイズ、暗電流による固定パターンノイズ、及び欠陥画素による固定パターンノイズが含まれている。

次に、マイコン３１０は、第２の撮影モード設定を実施し（ステップＳ２５）、その後、アイリス３０４を完全に閉じた状態に制御し（ステップＳ２６）、撮像素子３０５を駆動して、撮像素子３０５を非露光状態とした黒画像の撮影を行う（ステップＳ２７）。この黒画像撮影における撮像素子３０５の出力（アナログ黒画像信号）は、アナログ信号処理回路１０６にて上述したアナログ本画像信号と同様に処理が施された後、ディジタル黒画像信号としてディジタル信号処理部３０７に入力される。

ディジタル信号処理部３０７は、クランプ回路４０１にてＯＢレベルを一定としてディジタル黒画像信号に所定の処理を施し、得られた黒画像データをメモリＩＦ回路４０４を介してメモリ３０８の黒画像データエリア（図示せず）に格納する（ステップＳ２８）。この黒画像データにおいても、ランダムノイズ、暗電流による固定パターンノイズ、及び欠陥画素による固定パターンノイズが含まれている。

ステップＳ２６においてアイリス３０４を完全に閉じて、ステップＳ２８において黒画像データをメモリ３０８の黒画像データエリアに格納するまでの間に、フォーカスレンズ３０１の位置を所定量変化させる（ステップＳ２９）。これにより、撮像素子３０５の受光面に結像している光学像をぼけさせて、光は入射するが被写体の絵柄は光学的に消去される状態を作り出しておく。

次に、マイコン３１０は、第３の撮影モード設定を実施し（ステップＳ３０）、アイリス３０４を第１の撮影モード設定時の状態に戻し（ステップＳ３１）、撮像素子３０５を駆動する（ステップＳ３２）。アイリス３０４が第１の撮影モード設定時に戻る、すなわち第１の撮影モードにおける本画像撮影と同じ光学絞りの状態で、かつ、ステップＳ２９において撮像素子３０５の受光面上の光学像はあらかじめデフォーカスされている。したがって、このステップＳ３２にて得られる撮像画像は、撮像素子３０５を露光状態とし、かつ被写体にフォーカスしない状態としたデフォーカス画像となる。このデフォーカス画像撮影における撮像素子３０５の出力（アナログデフォーカス画像信号）は、アナログ信号処理回路３０６にて上述と同様に処理が施された後、ディジタルデフォーカス画像信号としてディジタル信号処理部３０７に入力される。

ディジタル信号処理部３０７は、クランプ回路４０１にてＯＢレベルを一定としてディジタルデフォーカス画像信号に所定の処理を施す。そして、得られたデフォーカス画像データをメモリＩＦ回路４０４を介してメモリ３０８のデフォーカス画像データエリア（図示せず）に格納する（ステップＳ３３）。このデフォーカス画像データにおいても、ランダムノイズ、暗電流による固定パターンノイズ、及び欠陥画素による固定パターンノイズが含まれている。

次に、マイコン３１０は、第１の黒画像差分処理モード設定を実施する（ステップＳ３４）。続いて、ディジタル信号処理部３０７は、メモリ３０８の本画像データエリアに格納されている本画像データ、及びメモリ３０８の黒画像データエリアに格納されている黒画像データを、メモリＩＦ回路４０４を介して読み出す。そして、黒画像差分回路４０２にて、読み出した本画像データから黒画像データを減算し、得られた第１の差分画像データをメモリＩＦ回路４０４を介してメモリ３０８の第１の差分画像データエリア（図示せず）に格納する（ステップＳ３５）。したがって、第１の差分画像データは、暗電流による固定パターンノイズ及び欠陥画素による固定パターンノイズが除去されるが、ランダムノイズについては統計的には除去されていない画像データとなっている。

次に、マイコン３１０は、第２の黒画像差分処理モード設定を実施する（ステップＳ３６）。続いて、ディジタル信号処理部３０７は、メモリ３０８のデフォーカス画像データエリアに格納されているデフォーカス画像データ、及びメモリ３０８の黒画像データエリアに格納されている黒画像データを、メモリＩＦ回路４０４を介して読み出す。さらに、黒画像差分回路４０２にて、読み出したデフォーカス画像データから黒画像データを減算し、得られた第２の差分画像データをメモリＩＦ回路４０４を介してメモリ３０８の第２の差分画像データエリア（図示せず）に格納する（ステップＳ３７）。したがって、第２の差分画像データは、暗電流による固定パターンノイズ及び欠陥画素による固定パターンノイズが除去されるが、ランダムノイズについては統計的には除去されていない画像データとなっている。

次に、マイコン３１０は、ランダムノイズ抽出モード設定を実施する（ステップＳ３８）。続いて、ディジタル信号処理部３０７は、メモリ３０８の第２の差分画像データエリアに格納されている第２の差分画像データを、メモリＩＦ回路４０４を介して読み出してバンドパスフィルタ４０５に入力する。

第２の差分画像データが入力されたバンドパスフィルタ４０５は、第２の差分画像データから、主としてランダムノイズを含む周波数成分（以後、第２画像成分）を抽出する。絶対値回路４０６は、バンドパスフィルタ４０５にて抽出された第２画像成分の大きさを表す第２画像成分絶対値データを算出し、移動平均フィルタ４０７は、算出された第２画像成分絶対値データを空間的に局所平均化して第２画像成分評価データを算出する。

算出された第２画像成分評価データは、メモリＩＦ回路４０４を介してメモリ３０８の第２画像成分評価値データエリア（図示せず）に書き込まれる（ステップＳ３９）。この第２画像成分評価データは、デフォーカス画像を基に算出されたものであるため、除去されていないランダムノイズの局所空間的な分布を表すものである。

次に、マイコン３１０は、出力静止画処理モード設定を実施する（ステップＳ４０）。続いて、ディジタル信号処理部３０７は、メモリＩＦ回路４０４を介して、メモリ３０８の第１の差分画像データエリアに格納されている第１の差分画像データを読み出す。また、ディジタル信号処理部３０７は、メモリＩＦ回路４０４を介して、メモリ３０８の第２画像成分評価値データエリアに格納されている第２画像成分評価データを読み出す（ステップＳ４１）。

メモリ３０８から読み出された第１の差分画像データは、バンドパスフィルタ４０５、第１の遅延調整回路４０９、第２の遅延調整４１１、及び第３の遅延調整回路４１２に入力され、第２画像成分評価データは、レベル比較回路４０８に入力される。

第１の差分画像データが入力されたバンドパスフィルタ４０５は、第１の差分画像データから、主としてランダムノイズと被写体の絵柄を表す周波数成分（以後、第１画像成分）を抽出する。その後、上述したランダムノイズ抽出モードと同様にして、絶対値回路４０６及び移動平均フィルタ４０７により第１画像成分評価データが算出され、レベル比較回路４０８に入力される（ステップＳ４２）。この第１画像成分評価データは、本画像を基に算出されたものであるため、除去されていないランダムノイズに重畳した被写体の絵柄による周波数成分の大きさの局所空間的な分布を表すものとなっている。

第１画像成分評価データに含まれる統計的なランダムノイズ量と、第２画像成分評価データに含まれる統計的なランダムノイズ量とはほぼ同等である。したがって、レベル比較回路４０８において、第１画像成分評価データと第２画像成分評価データを比較することにより、本画像において被写体の絵柄による高周波成分が存在するか否かの判定を局所空間的に行うことが可能となる。

そこで、レベル比較回路４０８は、第１画像成分評価データと第２画像成分評価データとの差分値Ｄに基づいて、混合比率データＫ１及びＫ２、混合比率選択フラグＫｆを生成し、重み付け加算回路４１４に出力する（ステップＳ４３）。混合比率データＫ１、Ｋ２、及び混合比率選択フラグＫｆについての説明は後述する。なお、レベル比較回路４０８における第１画像成分評価データと第２画像成分評価データとの比較は、画像の各画素毎又は所定の画素領域毎に行われる。

第１の遅延調整回路４０９、第２の遅延調整回路４１１、及び第３の遅延調整回路４１２にそれぞれ入力された第１の差分画像データは、それぞれフリップフロップによるパイプライン処理により生ずる遅延量が調整される。ノイズ除去フィルタ４１０、アパーチャ付加回路４１３、及びメモリＩＦ回路４０４からの各データと、レベル比較回路４０８からの混合比率データＫ１、Ｋ２、及び混合比率選択フラグＫｆとのタイミングが重み付け加算回路４１４にて一致するように調整される。なお、ノイズ除去フィルタ４１０は、帯域制限処理を行うものであり、ランダムノイズ成分を強く抑圧する周波数特性となっている。また、アパーチャ付加回路４１３は、いわゆるアパーチャ補正処理を行うものであり、被写体の輪郭成分を強調するものである。

したがって、重み付け加算回路４１４には、第１の遅延調整回路４０９及びノイズ除去フィルタ４１０を介して、第１の差分画像データのランダムノイズを大幅に低減した第１の処理画像データＳ１が入力される。また、重み付け加算回路４１４には、第２の遅延調整回路４１１を介して、第１の差分画像データのランダムノイズをそのまま含む第２の処理画像データＳ２が入力される。また、重み付け加算回路４１４には、第３の遅延調整回路４１２及びアパーチャ付加回路４１３を介して、第１の差分画像データの被写体輪郭を表す高域周波数成分を増幅した第３の処理画像データＳ３が入力される。さらに、重み付け加算回路４１４には、混合比率データＫ１、Ｋ２と、混合比率選択フラグＫｆが入力される。

混合比率データＫ１は、図６に示すように差分値Ｄが第１所定値Ｖ１以下である場合は０、差分値Ｄが第２所定値Ｖ２以上である場合は１、差分値Ｄが第１所定値Ｖ１と第２所定値Ｖ２の中間である場合は、線形補間して得られる０〜１の間の任意の値とする。混合比率データＫ２は、図７に示すように差分値Ｄが第３所定値Ｖ３以下である場合は０、差分値Ｄが第４所定値Ｖ４以上である場合は１、差分値Ｄが第３所定値Ｖ３と第４所定値Ｖ４の中間である場合は、線形補間して得られる０〜１の間の任意の値とする。なお、混合比率データＫ１、Ｋ２については、その他任意の特性を与えるようにしても良い。

混合比率選択フラグＫｆは、差分値Ｄが第２所定値Ｖ２以下である場合には０、差分値Ｄが第２所定値Ｖ２以上である場合には１とする。若しくは、混合比率選択フラグＫｆは、差分値Ｄが第３所定値Ｖ３以下である場合に０とし、第３所定値Ｖ３以上である場合に１とするようにしても良い。

重み付け加算回路４１２は、上述した第１〜第３の処理画像データＳ１、Ｓ２、Ｓ３、混合比率データＫ１、Ｋ２、及び混合比率選択フラグＫｆを用いて、最終画像データＳｍｉｘを以下の式により生成する（ステップＳ４４）。
Ｓｍｉｘ＝（１−Ｋ１）×Ｓ１＋Ｋ１×Ｓ２ （但し、Ｋｆ＝０）
Ｓｍｉｘ＝（１−Ｋ２）×Ｓ２＋Ｋ２×Ｓ３ （但し、Ｋｆ＝１）

これにより、最終画像データＳｍｉｘは、本画像データとデフォーカス画像データの局所的な周波数成分の比較により、比較結果に応じた画像処理を施されたものとなる。具体的には、本画像において被写体の絵柄が存在しない部分についてはノイズ抑圧処理を強めてランダムノイズを強く抑圧し、被写体の絵柄が存在する部分については絵柄の高周波成分を増加させて輪郭強調をかけることができる。また、被写体の絵柄の強さとして中間の状態の部分については、ノイズ抑圧も輪郭強調も施していない元々の画像を用いることができ、ごく自然な最終画像を生成することができる。

生成された最終画像データは、メモリＩＦ回路４０４を介してメモリ３０８のカメラ処理画像データエリア（図示せず）に格納される（ステップＳ４５）。その後、必要に応じてＪＰＥＧ処理回路４１５により圧縮処理等を行い、カードインタフェース回路４１６を介してメモリ記録メディア３０９に圧縮画像データとして記録することができる。

第２の実施形態によれば、上述した第１の実施形態と同様の効果が得られ、最終画像データとして、被写体の絵柄が存在する部分では絵柄の解像感を保ち、被写体の絵柄のない部分ではランダムノイズが強く抑圧された画像を得ることができる。勿論、最終画像データにおいては、固定パターンノイズも除去されていることは言うまでもない。

なお、上述した実施形態は、例えばディジタルスチルカメラやディジタルビデオカメラに用いて好適である。

なお、上述した実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

第１の実施形態による撮像装置の構成例を示す図である。 第１の実施形態における動作シーケンスを示す図である。 第１の実施形態における第１画像成分及び第２画像成分の大きさの差分値（Ｄ）と混合比率（Ｋ）との関係を示す図である。 第２の実施形態による撮像装置の構成例を示す図である。 第２の実施形態における動作シーケンスを示す図である。 第２の実施形態における第１画像成分評価データと第２画像成分評価データの差分値（Ｄ）と、混合比率（Ｋ１）の関係を示す図である。 第２の実施形態における第１画像成分評価データと第２画像成分評価データの差分値（Ｄ）と、混合比率（Ｋ２）の関係を示す図である。

符号の説明

１０１、３０１ フォーカスレンズ
１０３、３０３ シフトレンズ
１０４、３０４ アイリス
１０５、３０５ 撮像素子
１０７、３０７ ディジタル信号処理部
１０８、３０８ メモリ
１１０、３１０ マイクロコンピュータ（マイコン）
２０５、２０８、４０５ バンドパスフィルタ
２０６、２０９、４０６ 絶対値回路
２０７、２１０、４０７ 移動平均フィルタ
２１１、４０８ レベル比較回路
２１３、２１５ 帯域制限フィルタ
４１０ ノイズ除去フィルタ
４１３ アパーチャ付加回路
２１６、４１４ 重み付け加算回路

Claims (14)

1. 複数の画素を有する撮像素子と、
   前記撮像素子での結像の状態を変えて得られる複数の画像の画像情報を、各画素毎又は画素領域毎に比較する比較手段と、
   前記撮像素子により得られた画像に対して信号処理を施す信号処理手段とを備え、
   前記信号処理手段は、前記比較手段により比較結果として得られる前記画像情報の変化に応じて信号処理の内容を変更することを特徴とする撮像装置。
2. 前記画像情報が比較される各画素毎又は画素領域毎に、前記画像情報の変化に応じた信号処理を施すことを特徴とする請求項１記載の撮像装置。
3. 前記比較手段は、前記画像情報の比較により対象の画素又は画素領域が被写体像に係る画素又は画素領域であるか否かを判定し、
   前記信号処理手段は、前記比較手段により被写体像に係る画素又は画素領域でないと判定された画素又は画素領域では第１の信号処理を施し、被写体像に係る画素又は画素領域であると判定された画素又は画素領域では第２の信号処理を施すことを特徴とする請求項１又は２記載の撮像装置。
4. 前記信号処理手段は、前記画像情報の変化が予め定めた変化量より小さい画素又は画素領域ではノイズ抑圧処理を強めた第１の信号処理を行い、前記画像情報の変化が前記変化量より大きい画素又は画素領域では高周波成分強調処理を強めた第２の信号処理を行うことを特徴とする請求項１記載の撮像装置。
5. 前記第１の信号処理には帯域制限処理を含み、前記第２の信号処理にはアパーチャ補正処理を含むことを特徴とする請求項４記載の撮像装置。
6. 前記画像情報は、前記各画像における所定の周波数帯域成分の値、又は当該所定の周波数帯域成分の値を加工して得られる値であることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記結像の状態は、前記撮像素子での光学像のフォーカス状態であることを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
8. 前記結像の状態は、前記撮像素子での光学像の動きブレの状態であることを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
9. 前記複数の画像は、前記撮像素子での結像の状態を変えて撮影した複数の撮像画像から、前記撮像素子を遮光状態にして撮影した黒画像を各々差し引いた複数の画像であることを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
10. 前記信号処理手段は、前記撮像素子での結像の状態を変えて得られる複数の画像のうちの一部の画像に対してのみ信号処理を施すことを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
11. 被写体にフォーカスした状態で撮影された第１の画像における所定の周波数帯域成分の値と、前記被写体にフォーカスしない状態で撮影された第２の画像における前記所定の周波数帯域成分の値に、所定値を越える変化が生じた画素又は画素領域における前記第１の画像に対する信号処理の内容と、前記第１の画像の前記所定の周波数帯域成分の値と前記第２の画像の前記所定の周波数帯域成分の値に、前記所定値を越える変化が生じない画素又は画素領域における前記第１の画像に対する信号処理の内容を変えることを特徴とする撮像装置。
12. 前記第１の画像は、前記被写体にフォーカスした状態で撮影した撮像画像から、撮像素子を遮光状態にして撮影した黒画像を差し引いた後の画像であり、
    前記第２の画像は、前記被写体にフォーカスしない状態で撮影した撮像画像から、撮像素子を遮光状態にして撮影した黒画像を差し引いた後の画像であることを特徴とする請求項１１記載の撮像装置。
13. 複数の画素を有する撮像素子での結像の状態を変えて複数の画像を得る撮像工程と、
    前記撮像工程により得られる前記複数の画像の画像情報を、各画素毎又は画素領域毎に比較する比較工程と、
    前記撮像工程により得られた画像に対して信号処理を施す信号処理工程とを有し、
    前記信号処理工程では、前記比較工程での比較結果として得られる前記画像情報の変化に応じて信号処理の内容を変更することを特徴とする撮像方法。
14. 被写体にフォーカスした状態で撮影された第１の画像における所定の周波数帯域成分の値と、前記被写体にフォーカスしない状態で撮影された第２の画像における前記所定の周波数帯域成分の値に、所定値を越える変化が生じた画素又は画素領域における前記第１の画像に対する信号処理の内容と、前記第１の画像の前記所定の周波数帯域成分の値と前記第２の画像の前記所定の周波数帯域成分の値に、前記所定値を越える変化が生じない画素又は画素領域における前記第１の画像に対する信号処理の内容を変えることを特徴とする撮像方法。

Images