JP2010147840A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】ノイズを効果的に低減するとともに残像や色のずれなどの発生を抑制することを可能とする画像処理装置や、この画像処理装置を備えた撮像装置を提供する
【解決手段】ノイズ低減処理部６０は、現フレームの入力画像と前フレームの出力画像との差分値を算出する差分処理部６１と、差分値に基づいてノイズ除去量を算出するノイズ除去量算出部６２と、差分値を色毎に補間してそれぞれの色の色別差分値を得る補間・平滑化処理部６３と、それぞれの色の色別差分値に基づいて巡回係数を算出する巡回係数算出部６５と、現フレームの入力画像からノイズ除去量及び巡回係数に基づいた除去値を減じてノイズの低減を行うノイズ低減部６６と、を備える。
【選択図】図３

Description

本発明は、入力される画像にノイズ低減処理を施す画像処理装置に関する。また、この画像処理装置を備える撮像装置に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子を備えたイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が広く普及している。そして、このような撮像装置の中に、撮像によって得られた画像のノイズを低減する画像処理装置を備えるものがある。

このような画像処理装置として、例えば、ノイズ低減後の出力画像を利用して、入力画像のノイズ低減を行う巡回型ノイズ低減処理を行うものがある。このような画像処理装置では、ノイズ低減後の出力画像と入力画像との差分からノイズ（特に、フレーム毎にランダムに発生するノイズ）の大きさを検出し、入力画像からこのノイズの大きさに応じた除去値を減算することによって、ノイズを低減する。

また、このような画像処理装置として、特許文献１では画像の輝度値に基づいてノイズの除去値を調整するものが提案されている。特許文献１で提案されている画像処理装置は、輝度値が小さい部分では除去値を大きくし、輝度値が大きい部分では除去値を小さくする制御を行う。

特開２００５−３４７８２１号公報

しかしながら、特許文献１に記載の画像処理装置では、輝度値が小さく彩度が大きい（ある色の信号値が突出して大きい）部分で除去値が大きくなるため、当該部分に動きが生じると、ある色の残像が強く発生するため問題となる。

以上の問題を鑑みて、本発明は、ノイズを効果的に低減するとともに残像や色のずれなどの発生を抑制することを可能とする画像処理装置や、この画像処理装置を備えた撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、前記ノイズ低減処理部に入力される前記入力画像の各画素に、所定の色を示す信号である色信号が備えられ、当該色信号の示す色が画素によって異なるものがあることを特徴とする。

また、上記構成の画像処理装置において、前記入力画像及び前記出力画像の各画素に備えられる前記色信号が、ベイヤ配列になることとしても構わない。

また、上記構成の画像処理装置において、前記入力画像及び前記出力画像の対応する画素のそれぞれに、同じ色を示す前記色信号が備えられ、前記ノイズ低減処理部が、第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、の対応する画素毎に前記色信号の差分値を算出する差分処理部と、ある色を示す前記色信号の差分値に基づいて、当該ある色を示す前記色信号を備えない画素についても当該ある色の前記色信号の差分値を算出して当該ある色に対する色別差分値を算出する補間処理部と、複数の色に対するそれぞれの前記色別差分値に基づいて除去値を設定するとともに、前記第１入力画像から当該除去値を減ずることによって第１出力画像を生成する出力画像生成部と、を備えることとしても構わない。

なお、以下の実施形態では、補間処理部の一例として、補間・平滑化処理部を挙げて説明している。また、出力画像生成部の一例として、絶対値化部、巡回係数算出部、ノイズ除去量算出部及びノイズ低減部を挙げて説明している。

また、上記構成の画像処理装置において、前記出力画像生成部が、複数の色に対するそれぞれの前記色別差分値を加算した加算値に基づいて、前記除去値を調整する係数である巡回係数を算出する巡回係数算出部と、前記第１入力画像と前記第２出力画像との差分値に基づいた値に前記巡回係数を乗算して前記除去値を算出する除去値算出部と、を備え、当該巡回係数算出部が、前記加算値が大きくなるほど前記巡回係数を小さくすることとしても構わない。

このように構成すると、いずれかの色に対する色別差分値のみが大きい（または小さい）場合や、それぞれの色に対する色別差分値は小さいがある程度の大きさを有する場合において、巡回係数を小さくすることが可能となる。したがって、残像の発生を効果的に抑制することが可能となる。なお、以下の実施形態では、除去値算出部の一例として、ノイズ低減部の乗算部を挙げて説明している。

また、上記構成の画像処理装置において、前記出力画像生成部が、複数の色に対するそれぞれの前記色別差分値のうち最大となる最大色別差分値に基づいて、前記除去値を調整する係数である巡回係数を算出する巡回係数算出部と、前記第１入力画像と前記第２出力画像との差分値に基づいた値に前記巡回係数を乗算して前記除去値を算出する除去値算出部と、を備え、当該巡回係数算出部が、前記最大色別差分値が大きくなるほど前記巡回係数を小さくすることとしても構わない。

このように構成すると、いずれかの色に対する色別差分値動のみが大きい（または小さい）場合において、巡回係数を小さくすることが可能となる。したがって、残像の発生を効果的に抑制することが可能となる。なお、以下の実施形態では、除去値算出部の一例として、ノイズ低減部の乗算部を挙げて説明している。

また、上記構成の画像処理装置において、前記出力画像生成部が、複数の色に対するそれぞれの前記色別差分値に基づいて、事前巡回係数をそれぞれ生成する巡回係数生成部と、前記巡回係数生成部によって生成されるそれぞれの前記事前巡回係数に基づいて、前記除去値を調整する係数である巡回係数を設定する巡回係数設定部と、前記第１入力画像と前記第２出力画像との差分値に基づいた値に前記巡回係数設定部によって設定された前記巡回係数を乗算して前記除去値を算出する除去値算出部と、を備えることとしても構わない。なお、以下の実施形態では、事前巡回係数の一例として、第１〜第３巡回係数を挙げて説明している。

また、上記構成の画像処理装置において、前記巡回係数設定部が、前記巡回係数生成部により生成される前記事前巡回係数の中で最も小さいものを前記巡回係数として設定することとしても構わない。このように構成すると、残像の発生を効果的に抑制することが可能となる。なお、以下の実施形態では、巡回係数設定部の一例として、最小値選択部を例に挙げて説明している。

また、上記構成の画像処理装置において、前記巡回係数設定部が、前記巡回係数生成部により生成される前記事前巡回係数の中で最も大きいものを前記巡回係数として設定することとしても構わない。このように構成すると、効果的にノイズを低減することが可能となる。

また、上記構成の画像処理装置において、前記巡回係数設定部が、前記巡回係数生成部により生成される前記事前巡回係数を平均化したものを前記巡回係数として設定することとしても構わない。このように構成すると、残像の発生の抑制とノイズの低減とを効果的に行うことが可能となる。

また、本発明の撮像装置は、１つの固体撮像素子を用いて撮像を行い前記入力画像を順次生成する撮像部と、上記の画像処理装置と、を備えることを特徴とする。

また、本発明の画像処理装置は、入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、前記入力画像及び前記出力画像が、それぞれ異なる色を示す画像である色別画像を複数備えたものであり、前記ノイズ低減処理部が、第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、のそれぞれに備えられる同じ色を示す前記色別画像の差分値を算出して、色別差分値を算出する差分処理部と、複数の色に対するそれぞれの前記色別差分値に基づいて、前記第１入力画像に備えられる前記色別画像に対する除去値をそれぞれ設定するとともに、当該色別画像のそれぞれから当該除去値をそれぞれ減ずることによって第１出力画像を生成する出力画像生成部と、備え、前記出力画像生成部が、複数の色に対するそれぞれの前記色別差分値に基づいて、それぞれの前記色別画像に対して共通となる巡回係数を設定するとともに、それぞれの前記色別画像について設定されるそれぞれの前記除去値が、当該巡回係数によって値が調整されたものとなることを特徴とする。

なお、以下の実施形態では、出力画像生成部の一例として、絶対値化部、巡回係数算出部、ノイズ除去量算出部及びノイズ低減部を挙げて説明している。

また、本発明の撮像装置は、複数の固体撮像素子を用いて撮像を行い、複数の前記固体撮像素子のそれぞれから前記色別画像を得て前記入力画像を順次生成する撮像部と、上記の画像処理装置と、を備えることを特徴とする。

本発明によると、撮像部で得られた画像（例えば、ベイヤ配列の画像）に対して、色同時化処理などの各種画像処理を施す前に、ノイズを低減する処理を施すことが可能となる。そのため、各種画像処理を施すことによってノイズの影響が周囲に拡散する前に、ノイズを低減する処理を施すことが可能となる。したがって、効果的にノイズを低減することが可能となる。

また、本発明によると、それぞれの色に対する色別差分値を総合的に評価して除去値を設定する構成となる。そのため、色毎に除去値を設定して色毎にノイズを低減する場合に生じやすい、色ずれの発生を抑制することが可能となる。

本発明における撮像装置の各実施形態について、図面を参照して説明する。また、撮像装置として、デジタルカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。

＜＜第１実施形態＞＞
＜撮像装置＞
まず、本発明の第１実施形態に係る撮像装置の構成について、図１を参照して説明する。図１は、本発明の第１実施形態に係る撮像装置の基本構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｉが構成され、この撮像部Ｉによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

本実施形態では、単板式のイメージセンサ２が用いられる。この場合、イメージセンサ２から出力される画像信号は、１つの画素に１種類の色を示す信号（以下、色信号とする）のみが含まれるものとなる。例えば、図２の画像信号の一例の模式図に示すような配列（ベイヤ配列）の信号となる。図２に示す画像信号が得られる場合、イメージセンサ２は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３種類の色信号が含まれる画像信号を生成することとなる。

図２では、画素位置を座標［ｘ，ｙ］で示しており、右方ほどｘの値が大きく下方ほどｙの値が大きくなるように示している。図２に示す例では、最も左上の画素の座標を［０，０］とし、［２（ｎ−１），２（ｍ−１）＋１］の画素にＲ信号、［２（ｎ−１）＋１，２（ｍ−１）］の画素にＢ信号、［２（ｎ−１），２（ｍ−１）］及び［２（ｎ−１）＋１，２（ｍ−１）＋１］の画素にＧ信号、がそれぞれ含まれる場合を示している。ただし、ｎ及びｍは自然数とする。

撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力されるデジタル信号の画像信号に色同時化処理を施したりＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換したりするとともに画像信号に各種画像処理を施す画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号にノイズ低減処理を施すノイズ低減処理部６０を備える。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図面を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６は、階調補正や輪郭強調等の各種画像処理が施す。このとき、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。また、画像処理部６に備えられるノイズ低減処理部６０は、入力される画像信号に対してノイズ低減処理を施す。

さらに、画像処理部６は、図２に示すような画像信号に対して色同時化処理を施す。色同時化処理は、各画素に複数種類の色信号を備えさせる処理である。例えば、算出対象となる画素の周辺の画素の色信号を用いて（例えば色信号の信号値を線形補間して）、算出対象となる画素の色信号を得る。具体的に例えば、図２に示す例において［１，１］の画素を算出対象の画素とする場合、［１，０］及び［１，２］のそれぞれのＢ信号を用いて［１，１］のＢ信号を得る。同様に、［０，１］及び［２，１］のそれぞれのＲ信号を用いて［１，１］のＲ信号を得る。なお、［１，１］には既にＧ信号が備えられているが、［０，０］、［２，０］、［１，１］、［０，２］及び［２，２］のそれぞれのＧ信号を用いて［１，１］のＧ信号を生成し直すこととしても構わない。

また、画像処理部６は、入力される画像信号に基づいて、レンズ部３における各種レンズの位置や絞りの開度、イメージセンサ２の増幅度（ゲイン）などを調整するための信号をＣＰＵ１４に出力する。ＣＰＵ１４は、入力されるこれらの信号に基づいてそれぞれの制御を行う。このレンズ部３やイメージセンサ２の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

また、撮像部ＩがＲ、Ｇ及びＢの色信号を備えたベイヤ配列の画像信号を生成することとしたが、これは一例に過ぎず、他の形式の画像信号を生成することとしても構わない。例えば、画像信号に備えられる色信号の色の種類を２種類や４種類以上としても構わないし、ベイヤ配列以外の配列としても構わない。

＜ノイズ低減処理部＞
次に、図１に示した画像処理部６に備えられるノイズ低減処理部の構成について図面を参照して説明する。図３は、第１実施形態に係る撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。なお、以下では説明の具体化のために、ノイズ低減処理部６０に入力されてノイズ低減処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、ノイズ低減処理部６０から出力される画像信号を「出力画像」と呼ぶこととする。

また、順次入出力される入力画像及び出力画像の順序を、フレームを用いて表現する。特に、ノイズ低減処理が行われる対象となる入力画像を現フレームの入力画像とし、この現フレームの入力画像にノイズ低減処理が施されて出力される出力画像を現フレームの出力画像とする。また、現フレームの入力画像の前にノイズ低減処理部６０に入力される入力画像を前フレームの入力画像とし、この前フレームの入力画像にノイズ低減処理が施されて出力される出力画像を前フレームの出力画像とする。

入力画像及び出力画像は、各画素が１種類の色信号を備える画像である（即ち、色同時化処理が行われる前の画像である）。また、入力画像及び出力画像のそれぞれの対応する位置の画素に備えられる色信号の色の種類は、同じものものとなる。なお、以下においては説明の具体化のため、入力画像及び出力画像が図２に示したベイヤ配列の画像であるものとする。

図３に示すように、本実施形態におけるノイズ低減処理部６０は、現フレームの入力画像と前フレームの出力画像との差分値を算出する差分処理部６１と、差分処理部６１で算出される差分値に基づいてノイズ除去量を算出するノイズ除去量算出部６２と、差分処理部６１から出力される差分値を色信号の色の種類毎に補間及び平滑化して色別差分値を得る補間・平滑化処理部６３と、補間・平滑化処理部６３から出力されるそれぞれの色別差分値を絶対値化して動き検出値を得る絶対値化部６４１〜６４３と、絶対値化部６４１〜６４３から出力されるそれぞれの動き検出値に基づいて巡回係数を算出する巡回係数算出部６５と、現フレームの入力画像からノイズ除去量及び巡回係数に基づいた除去値を減じてノイズの低減を行うノイズ低減部６６と、を備える。

現フレームの出力画像を生成するために利用される前フレームの出力画像は、フレームメモリ２０に記憶されている。なお、フレームメモリ２０を、図１に示したメモリ１５としても構わない。

ノイズ低減部６６は、ノイズ除去量算出部６２から出力されるノイズ除去量に対して巡回係数算出部６５から出力される巡回係数を乗算して除去値を算出する乗算部ｍｕｌと、乗算部ｍｕｌから出力される除去値を現フレームの入力画像から減算する減算部ｓｕｂと、を備える。

また、ノイズ低減処理部６０の動作について図面を参照して説明する。図４は、第１実施形態に係る撮像装置に備えられるノイズ低減処理部の動作を示すフローチャートである。図４に示すように、ノイズ低減処理が開始されると、最初に、ノイズ低減処理部６０が、現フレームの入力画像及び前フレームの出力画像を取得する（ＳＴＥＰ１）。なお、前フレームの出力画像は、フレームメモリ２０から取得する。

ＳＴＥＰ１において取得された現フレームの入力画像及び前フレームの出力画像は、差分処理部６１に入力されて画素毎に差分値が算出される（ＳＴＥＰ２）。このとき、例えば現フレームの入力画像から前フレームの出力画像が減算されることによって、差分値が算出される。

ＳＴＥＰ２で算出される差分値は、補間・平滑化処理部６３に入力され、補間・平滑化処理が行われる（ＳＴＥＰ３１）。補間・平滑化処理について、図面を参照して説明する。図５は、補間・平滑化処理の一例を示す図であり、図６は、補間・平滑化処理に用いられるフィルタの一例を示す図である。

図５に示すように、各画素の色信号の信号値の差分値ｒ（色信号Ｒの差分値）、ｇ（色信号Ｇの差分値）及びｂ（色信号Ｂの差分値）も、図２に示すようなベイヤ配列となる。補間・平滑化処理部６３では、全ての画素位置の差分値ｒ、差分値ｇ及び差分値ｂを算出する（補間処理）。また、ノイズの影響を低減するために、平滑化処理を行うこととすると好ましい。

このとき、例えば図６に示す平滑化フィルタ（ローパスフィルタ）を用いることとすると、補間処理と平滑化処理とを同時に行うことができる。図６に示すフィルタは５×５のフィルタであり、そのフィルタ係数を｛ｘ，ｙ｝で示す。なお、右方ほどｘの値が大きく下方ほどｙの値が大きくなるようにし、中央の画素（算出対象の画素）に乗算されるフィルタ係数を｛０，０｝とする。また、左上のフィルタ係数を｛−２，−２｝、右下のフィルタ係数を｛２，２｝とする。

図６（ａ）〜（ｃ）のフィルタは、算出対象の画素に差分値ｇが備えられている場合（［２，２］や［３，３］など）に適用可能なフィルタである。図６（ａ）に示すフィルタ係数は、｛−２，−２｝＝｛２，−２｝＝｛−２，２｝＝｛２，２｝＝１、｛０，−２｝＝｛−２，０｝＝｛２，０｝＝｛０，２｝＝２、｛−１，−１｝＝｛１，−１｝＝｛０，０｝＝｛−１，１｝＝｛１，１｝＝４、それ以外は０、となり、乗算及び合算して得られた値は３２で除算される。図６（ｂ）に示すフィルタ係数は、｛−２，−１｝＝｛２，−１｝＝｛−２，１｝＝｛２，１｝＝１、｛０，−１｝＝｛０，１｝＝２、それ以外は０、となり、乗算及び合算して得られた値は８で除算される。図６（ｃ）に示すフィルタ係数は、｛−１，−２｝＝｛１，−２｝＝｛−１，２｝＝｛１，２｝＝１、｛０，−１｝＝｛０，１｝＝２、それ以外は０となり、乗算及び合算して得られた値は８で除算される。

また、［２，２］のように、算出対象となる画素の上下の画素に差分値ｒが備えられる場合、算出対象の画素の差分値ｒを算出するために図６（ｂ）のフィルタが用いられ、差分値ｂを算出するために図６（ｃ）のフィルタが用いられる。一方、［３，３］のように算出対象となる画素の上下の画素に差分値ｂが備えられる場合、算出対象の画素の差分値ｒを算出するために図６（ｃ）のフィルタが用いられ、差分値ｂを算出するために図６（ｂ）のフィルタが用いられる。なお、いずれの場合も、差分値ｇを算出するために図６（ａ）のフィルタが用いられる。

図６（ｄ）〜（ｆ）のフィルタは、算出対象の画素に差分値ｒまたは差分値ｂが備えられている場合（［３，２］や［２，３］など）に適用可能なフィルタである。図６（ｄ）に示すフィルタ係数は、｛−１，−２｝＝｛１，−２｝＝｛−２，−１｝＝｛２，−１｝＝｛−２，１｝＝｛２，１｝＝｛−１，２｝＝｛１，２｝＝１、｛０，−１｝＝｛−１，０｝＝｛１，０｝＝｛０，１｝＝２、それ以外は０、となり、乗算及び合算して得られた値は１６で除算される。図６（ｅ）に示すフィルタ係数は、｛−２，−２｝＝｛２，−２｝＝｛−２，２｝＝｛２，２｝＝１、｛０，−２｝＝｛−２，０｝＝｛２，０｝＝｛０，２｝＝２、｛０，０｝＝４，それ以外は０、となり、乗算及び合算して得られた値は１６で除算される。図６（ｆ）に示すフィルタ係数は、｛−１，−１｝＝｛１，−１｝＝｛−１，１｝＝｛１，１｝＝１、それ以外は０となり、乗算及び合算して得られた値は４で除算される。

また、［３，２］のように、算出対象となる画素に差分値ｂが備えられる場合、算出対象の画素の差分値ｒを算出するために図６（ｆ）のフィルタが用いられ、差分値ｂを算出するために図６（ｅ）のフィルタが用いられる。一方、［２，３］のように算出対象となる画素に差分値ｒが備えられる場合、算出対象の画素の差分値ｒを算出するために図６（ｅ）のフィルタが用いられ、差分値ｂを算出するために図６（ｆ）のフィルタが用いられる。なお、いずれの場合も、差分値ｇを算出するために図６（ｄ）のフィルタが用いられる。

以上のようにして算出される各差分値ｒ，ｇ及びｂのそれぞれを、以下において色別差分値と呼ぶ。なお、図６に示すフィルタ及び演算方法は一例に過ぎず、補間処理や平滑化処理が行われるものであれば、どのような演算方法を適用しても構わない。

ＳＴＥＰ３１によって得られた色別差分値のそれぞれは、絶対値化部６４１〜６４３において絶対値化処理が行われる（ＳＴＥＰ３２）。これにより、それぞれの色別差分値が絶対値となる。また、これらの絶対値化処理が施された色別差分値（以下、動き検出値とする）に基づいて、巡回係数算出部６５が巡回係数を算出する（ＳＴＥＰ３３）。

巡回係数算出部６５は、入力される動き検出値に基づいて画素毎に巡回係数を算出する。原則として、動き検出値が大きくなるほど巡回係数が小さくなるものとする。なお、巡回係数の算出方法については後述する各実施例において詳細に説明する。

また、ノイズ除去量算出部６２は、差分処理部６１から出力される差分値に基づいてノイズ除去量を算出する（ＳＴＥＰ４）。例えば、図７に示すような方法でノイズ除去量を設定する。図７は、ノイズ除去量の設定方法の一例を示すグラフである。図７に示すように、ノイズ除去量算出部６２は、画素毎に得られる差分値ｋに基づいてノイズ除去量ｎ（ｋ）を設定する。なお、図７に示すようにノイズ除去量を設定する場合、ｎ（ｋ）は下記式（１）に示すものとなる。

上記式（１）に示されるｎ（ｋ）では、差分値ｋの絶対値が閾値ｔｈ（ｔｈ＞０）を超える場合、ノイズ除去量ｎ（ｋ）が抑制される。そのため、被写体や撮像装置の動きなどによって画素値に大きな変動が生じた場合に、ノイズによる変動と誤認されてノイズ除去量が大きく設定されることが抑制される。これにより、尾引きや残像などの発生が抑制される。

次に、ノイズ低減部６６の乗算部ｍｕｌが、ＳＴＥＰ４で得られるノイズ除去量に対してＳＴＥＰ３１〜３３によって得られる巡回係数を乗算して、除去値を算出する。また、減算部ｓｕｂが、現フレームの入力画像の各画素の色信号の信号値から除去値を減算する（ＳＴＥＰ５）。これにより、現フレームの出力画像が得られる。また、得られる現フレームの出力画像は、ノイズ低減処理部６０から出力される。そして、次のフレームの入力画像の処理のためにフレームメモリ２０に一時的に記憶される（ＳＴＥＰ６）。

また、このときＣＰＵから終了する指示が入力されているか否かを確認する（ＳＴＥＰ７）。終了する指示が入力されていない場合（ＳＴＥＰ７、ＮＯ）、ＳＴＥＰ１に戻って次フレームの入力画像と現フレームの出力画像との取得を行う。一方、終了する指示が入力されている場合（ＳＴＥＰ７、ＹＥＳ）は、終了する。

上述のようにノイズ低減処理を行うこととすると、色同時化処理を行う前の画像（即ち、１つの画素に１種類の色信号が含まれる）に対してノイズ低減処理が行われることとなる。これにより、ノイズが含まれる画素の色信号が周囲の画素の色信号の算出に利用されるためにノイズの影響が複数の画素に拡散する処理（例えば、色同時化処理など）を行う前に、ノイズ低減処理を行うことが可能となる。そのため、効果的にノイズ低減処理を行うことが可能となる。

また、動き検出値が大きい場合に巡回係数を小さくすることにより、ノイズ除去量に巡回係数を乗じて算出される除去値を小さくする。そのため、ノイズではなく被写体や撮像装置１の動きによって差分値が大きくなる場合に、除去値を小さくして現フレームの入力画像の画素値をほぼそのまま現フレームの出力画像として出力することが可能となる。したがって、尾引きや残像の発生を抑制することが可能となる。

一方、動き検出値が小さい場合に巡回係数を大きくすることにより、ノイズ除去量に巡回係数を乗じて算出される除去値を大きくする。そのため、現フレームの入力画像から効果的にノイズを低減することが可能となる。

また、各色信号の値に基づいて巡回係数を算出してノイズ低減処理を施すため、画素毎に輝度値に基づいてノイズ低減処理を施す場合に生じる色の残像を抑制することが可能となる。

さらに、巡回係数算出部６５が、色信号の種類毎（本例ではＲ、Ｇ及びＢ毎）に補間・平滑化処理してそれぞれの色別差分値を得るとともに、それぞれの色別差分値から得られる動き検出値を総合的に評価して画素毎に巡回係数を算出する。そのため、差分値から直接的に得られる動き検出値（即ち、色信号の種類毎の動き検出値）を用いて巡回係数を設定してノイズ低減処理を施す場合に生じる、「色ずれ」を抑制することが可能となる。

具体的には、通常、色信号の種類毎（画素毎）の差分値は異なったものとなるため、色信号の種類毎（画素毎）に巡回係数を算出すると、色信号の種類毎（画素毎）の巡回係数が大きく異なる場合が生じる。そのため、動きがある輪郭部（エッジ部）において「色ずれ」が生じやすくなる。しかしながら、本実施形態の撮像装置１に適用されるノイズ低減処理であれば、それぞれの色別差分値に基づく動き検出値を総合的に評価して巡回係数を設定するため、色信号の種類毎（画素毎）に巡回係数が異なることを抑制することが可能となる。

なお、図４において、巡回係数を算出する動作（ＳＴＥＰ３１〜３３）の後に、ノイズ除去量を算出する動作（ＳＴＥＰ４）を行うものとして説明したが、この順番に動作を行わないこととしても構わない。例えば、巡回係数を算出する動作の前にノイズ除去量を算出する動作を行うこととしても構わないし、同時に行うこととしても構わない。

また、入力画像及び出力画像が、各画素に色信号以外の信号を備えることとしても構わない。例えば、色信号に輝度信号が重畳されて、各画素に備えられることとしても構わない。

＜巡回係数算出部＞
［第１実施例］
次に、図３に示した巡回係数算出部６５の具体的な構成及び巡回係数の算出方法について、各実施例を挙げるとともに図面を参照して説明する。図８は、巡回係数算出部の第１実施例の構成について示すブロック図である。

図８に示すように、巡回係数算出部６５１は、絶対値算出部６４１〜６４３から出力されるそれぞれの動き検出値を加算して動き評価値を算出する加算部６５１１と、加算部６５１１から出力される動き評価値に基づいて巡回係数を生成する巡回係数生成部６５１２と、を備える。

また、巡回係数生成部６５１２による巡回係数の生成方法の一例について図面を参照して説明する。図９は、巡回係数生成部による巡回係数の生成方法の一例を示すグラフである。図９に示すように、巡回係数生成部６５１２が生成する巡回係数は、動き評価値が大きいほど小さいものとなる。例えば、動き評価値Ｍが第１閾値Ｍ_th1よりも小さい場合は巡回係数Ｃが最大値Ｃ_max、動き評価値Ｍが第１閾値Ｍ_th1以上であり第２閾値Ｍ_th2以下である場合は巡回係数ＣがＣ＝Ｃ_max×（Ｍ_th2−Ｍ）／（Ｍ_th2−Ｍ_th1）、動き評価値Ｍが第２閾値Ｍ_th2よりも大きい場合は巡回係数Ｃが０、となるように生成を行う。ただし、巡回係数Ｃの最大値Ｃ_maxは、１以下の値にすると好ましい。

このように構成すると、色信号毎の動き検出値を加算して得られる動き評価値に基づいた巡回係数が生成されることとなる。そのため、いずれかの種類の色信号の動き検出値のみが大きい（または小さい）場合においても、動きがあると判定して巡回係数を小さくすることが可能となる。したがって、残像の発生を効果的に抑制することが可能となる。

また、動きはあるがそれぞれの動き検出値が小さい場合でも、加算して得られる動き評価値は大きいものとなる。そのため、このような場合にも動きがあると判定して、効果的に残像の発生を抑制することが可能となる。

なお、動き検出値を加算する構成であればよいため、動き検出値の平均値を動き評価値としても構わない。この場合、図９に示すグラフのように巡回係数Ｃの生成を行うこととしても構わない。ただし、第１閾値Ｍ_th1及び第２閾値Ｍ_th2は、動き検出値の平均値を動き評価値とする場合に対応させるために、適宜設定し直すものとする。

また、図９に示す巡回係数の生成方法は一例に過ぎず、他の方法で巡回係数を生成することとしても構わない。ただし、動き評価値が大きいほど小さい巡回係数が生成されることとすると好ましい。

［第２実施例］
また、巡回係数算出部６５の第２実施例について図面を参照して説明する。図１０は、巡回係数算出部の第２実施例の構成について示すブロック図であり、第１実施例について示した図８に相当するものである。

本実施例の巡回係数算出部６５２は、絶対値算出部６４１〜６４３から出力されるそれぞれの動き検出値から最大のものを選択して動き評価値として出力する最大値選択部６５２１と、最大値選択部６５２１から出力される動き評価値に基づいて巡回係数を生成する巡回係数生成部６５２２と、を備える。

巡回係数生成部６５２２は、第１実施例における巡回係数生成部６５１２と同様の方法（即ち、図９に示す生成方法）で巡回係数の生成を行うことが可能である。ただし、第１閾値Ｍ_th1及び第２閾値Ｍ_thは、動き検出値の最大値を動き評価値とする場合に対応させるために、適宜設定し直すものとする。

このように構成すると、第１実施例と同様に、いずれかの種類の色信号の動き検出値のみが大きい（または小さい）場合においても、動きがあると判定して巡回係数を小さくすることが可能となる。したがって、残像の発生を効果的に抑制することが可能となる。

［第３実施例］
また、巡回係数算出部６５の第３実施例について図面を参照して説明する。図１１は、巡回係数算出部の第３実施例の構成について示すブロック図であり、第１実施例について示した図８に相当するものである。

本実施例の巡回係数算出部６５３は、絶対値算出部６４１〜６４３から出力されるそれぞれの動き検出値に基づいて第１〜第３巡回係数を生成するそれぞれの巡回係数生成部６５３１〜６５３３と、巡回係数生成部６５３１〜６５３３から出力される第１〜第３巡回係数から最小のものを選択して巡回係数として出力する最小値選択部６５３４と、を備える。

巡回係数生成部６５３１〜６５３３は、第１実施例における巡回係数生成部６５１２と同様の方法（即ち、図９に示す生成方法）で第１〜第３巡回係数の生成を行うことが可能である。ただし、第１閾値Ｍ_th1及び第２閾値Ｍ_thは、それぞれの動き検出値を用いる場合に対応させるために、適宜設定し直すものとする。

このように構成すると、第１及び第２実施例と同様に、いずれかの種類の色信号の動き検出値のみが大きい（または小さい）場合においても、巡回係数を小さくする（動きがあると判定する）ことが可能となる。したがって、残像の発生を効果的に抑制することが可能となる。

なお、図１１に示す例では最小値選択部６５３４を備えることとしたが、これに代えて最大値選択部を備える構成としても構わない。最大値選択部を備える構成とすると、積極的に巡回係数を大きく（即ち、除去値を大きく）することとなるため、ノイズ低減効果を大きくすることが可能となる。同様に、図１０に示す第２実施例の最大値選択部６５２１を、最小値選択部に代えてもかまわない。

また、図１１に示す最小値選択部６５３４に代えて、平均値算出部を備える構成としても構わない。平均値算出部を備える構成とすると、残像の発生とノイズとを効果的に抑制することが可能となる。

＜＜第２実施形態＞＞
＜撮像装置＞
次に、本発明の第２実施形態に係る撮像装置について図面を参照して説明する。第２実実施形態に係る撮像装置は、特に撮像部の構成及び生成される画像信号が、第１実施形態の撮像装置と異なるものとなる。例えば、本実施形態の撮像装置の撮像部の構成は、図１２に示すような構成となる。図１２は、本発明の第２実施形態に係る撮像装置の撮像部の構成例を示すブロック図である。

図１２に示すように、本実施形態の撮像部Ｉａは、レンズ部３と、レンズ部３から出力される光学像を色別（波長別）に分光する分光部Ｄと、分光部Ｄによって分光されたそれぞれの光学像を光電変換してそれぞれの画像信号を生成するイメージセンサ２１〜２３と、を備える。

また、図１２に示す撮像部Ｉａによって得られる画像信号の一例を、図１３に示す。図１３は、画像信号の一例を示す模式図であり、第１実施形態における画像信号の一例を示した図２に相当するものである。図１３に示すように、本実施形態では、イメージセンサ２１〜２３のそれぞれから、色信号の種類（例えば、Ｒ、Ｇ及びＢ）毎となる色別画像信号Ｓａ〜Ｓｃがそれぞれ生成される。

なお、図１２及び図１３に示す撮像部Ｉａ及び画像信号の構成は一例に過ぎず、他の構成としても構わない。例えば、得られる色別画像信号を４種類以上（イメージセンサを４つ以上備えること）としても構わない。

＜ノイズ低減処理部＞
上述のように、本実施形態の撮像装置では、撮像部Ｉａが複数種類の画像信号Ｓａ〜Ｓｃを生成する。そのため、ノイズ低減処理部もこれに応じた構成とする。本実施形態におけるノイズ低減処理部の構成について、図面を参照して説明する。図１４は、第２実施形態に係る撮像装置に備えられるノイズ低減処理部の構成を示すブロック図であり、第１実施形態について示した図３に相当するものである。なお、図３と同様の部分については同じ符号を付し、その詳細な説明については省略する。

また、第１実施形態についての説明と同様に、ノイズ低減処理部に入力されてノイズ低減処理が行われる画像信号を画像として表現する。特に、ノイズ低減処理部に入力されるそれぞれの画像信号を色別入力画像、ノイズ低減処理部から出力されるそれぞれの画像信号を色別出力画像とする。なお、図１３に示した色別画像信号と同様に、Ｒ、Ｇ及びＢの３種類の色別入力画像がノイズ低減処理部に入力される場合について説明する。また、第１実施形態と同様に、順次入力される色別入力画像及び順次出力される色別出力画像の入出力の順番を、フレームを用いて表現する。

図１４に示すように、本実施形態におけるノイズ低減処理部６０ａは、現フレームのそれぞれの色別入力画像と前フレームのそれぞれの色別出力画像との差分値をそれぞれ算出して色別差分値を出力する差分処理部６１１〜６１３と、差分処理部６１１〜６１３から出力されるそれぞれの色別差分値に基づいてそれぞれのノイズ除去量を算出するノイズ除去量算出部６２１〜６２３と、差分処理部６１１〜６１３から出力されるそれぞれの色別差分値を平滑化して出力する平滑化処理部６３１〜６３３と、平滑化処理部６３１〜６３３から出力されるそれぞれの平滑化された色別差分値を絶対値化して動き検出値を得る絶対値化部６４１〜６４３と、絶対値化部６４１〜６４３から出力されるそれぞれの動き検出値に基づいて共通の巡回係数を算出する巡回係数算出部６５と、現フレームのそれぞれの色別入力画像からそれぞれのノイズ除去量及び共通の巡回係数に基づいた除去値を減じてそれぞれのノイズの低減を行うノイズ低減部６６１〜６６３と、を備える。

現フレームのそれぞれの色別出力画像を生成するために利用される前フレームのそれぞれの色別出力画像は、フレームメモリ２０１〜２０３に記憶されている。なお、フレームメモリ２０１〜２０３を、図１に示したメモリ１５としても構わない。

ノイズ低減部６６１〜６６３のそれぞれの構成は、図３に示すノイズ低減部６６と同様のものとすることができる。即ち、ノイズ除去量算出部６２１〜６２３から出力されるそれぞれのノイズ除去量に対して巡回係数算出部６５から出力される共通の巡回係数を乗算して除去値を算出する乗算部（不図示）と、乗算部から出力される除去値を現フレームのそれぞれの色別入力画像から減算する減算部（不図示）と、をそれぞれ備える構成としても構わない。

次に、ノイズ低減処理部６０ａの動作について図面を参照して説明する。図１５は、第２実施形態に係る撮像装置に備えられるノイズ低減処理部の動作を示すフローチャートであり、第１実施形態について示した図４に相当するものである。なお、図４と同様の動作となる部分には同じＳＴＥＰ番号を付し、その詳細な説明については省略する。

図１５に示すように、最初にノイズ低減処理部６０ａが、現フレームのそれぞれの色別入力画像及び前フレームのそれぞれの色別出力画像を取得する（ＳＴＥＰ１ａ）。なお、前フレームのそれぞれの色別出力画像は、フレームメモリ２０１〜２０３から取得する。

ＳＴＥＰ１ａにおいて取得された現フレームの色別入力画像及び前フレームの色別出力画像は、それぞれ差分処理部６２１〜６２３に入力されて、画素毎に色別差分値がそれぞれ算出される（ＳＴＥＰ２ａ）。このとき、例えば現フレームのそれぞれの色別入力画像から前フレームのそれぞれの色別出力画像が減算されることによって、それぞれの色別差分値が算出される。

このとき、それぞれの色別差分値は、図５に示した色別差分値ｒ、ｇ及びｂのように、全ての画素について得られるものとなる。そのため本実施形態では、平滑化処理部６３１〜６３３において、ノイズの影響を低減するための平滑化処理を行うだけで足りることとなる（ＳＴＥＰ３１ａ）。なお、平滑化処理を行う場合、平滑化フィルタ（例えば、全てのフィルタ係数が同じ数（例えば１）であり、フィルタ係数を乗算して合算することで得られた値を、フィルタ係数を合算した値で除算するフィルタ）を用いることとしても構わない。

ＳＴＥＰ３１ａによって得られるそれぞれの平滑化された色別差分値は、絶対値化部６４１〜６４３において絶対値化処理が行われ、動き検出値が生成される（ＳＴＥＰ３２）。また、この動き検出値に基づいて、巡回係数算出部６５が巡回係数を算出する（ＳＴＥＰ３３）。なお、巡回係数の算出方法は第１実施形態と同様の方法を用いることができる。

また、ノイズ除去量算出部６２１〜６２３は、差分処理部６１１〜６１３から出力されるそれぞれの色別差分値に基づいて、それぞれのノイズ除去量を算出する（ＳＴＥＰ４ａ）。なお、ノイズ除去量の算出方法については、第１実施形態と同様の方法を用いることができる。

そして、ノイズ低減部６６１〜６６３のそれぞれが、ＳＴＥＰ４ａで得られるそれぞれのノイズ除去量に対してＳＴＥＰ３１ａ〜３３によって得られる共通の巡回係数を乗算して、それぞれの除去値を算出する。また、現フレームのそれぞれの色別入力画像の各画素の色信号の信号値から除去値を減算する（ＳＴＥＰ５ａ）。これにより、現フレームのそれぞれの色別出力画像が得られる。また、得られる現フレームのそれぞれの色別出力画像は、ノイズ低減処理部６０ａから出力され、フレームメモリ２０１〜２０３に一時的に記憶される（ＳＴＥＰ６ａ）。また、終了する指示の入力の有無を確認し（ＳＴＥＰ７）、処理を継続する（ＳＴＥＰ７、ＮＯ）、または、終了する（ＳＴＥＰ７、ＹＥＳ）。

上述のようにノイズ低減処理を行うこととすると、巡回係数を用いて除去値を適宜調整することが可能となる。そのため、ノイズを低減したり、被写体や撮像装置１の動きによる尾引きや残像の発生を抑制したりすることが可能となる。

さらに、複数の色別入力画像のそれぞれにノイズ低減処理を施す際に、共通の巡回係数を用いることが可能となる。そのため、色別入力画像毎（即ち、色信号の色の種類毎）に巡回係数が異なることにより、色ずれが発生することを抑制することが可能となる。

また、それぞれの色別入力画像の色信号の値に基づいて共通の巡回係数を算出してノイズ低減処理を施すため、画素毎に輝度値を算出してノイズ低減処理を施す場合に生じる色の残像を抑制することが可能となる。

なお、図１５において、巡回係数を算出する動作（ＳＴＥＰ３１ａ〜３３）の後に、ノイズ除去量を算出する動作（ＳＴＥＰ４ａ）を行うものとして説明したが、この順番に動作を行わないこととしても構わない。例えば、巡回係数を算出する動作の前にノイズ除去量を算出する動作を行うこととしても構わないし、同時に行うこととしても構わない。

また、巡回係数算出部６５として、第１実施形態の第１〜第３実施例において示した巡回係数算出部６５１〜６５３を適用することとしても構わない。

＜＜変形例＞＞
なお、上述したノイズ低減処理は、動画の撮像時のみならず、静止画の撮像時に利用することも可能である。この場合、撮像時に複数フレームの画像を取得することとする。また、撮像装置だけでなく、再生装置に適用することも可能である。例えば、上記の第２実施形態では、撮像によって得られる複数の色別入力画像に対してノイズ低減処理を施す場合について述べているが、この色別入力画像を、例えば記録媒体から読み出したビデオ信号のＲ，Ｇ及びＢのそれぞれの信号に置き換えても構わない。

また、本発明の各実施形態における撮像装置１について、画像処理部６やノイズ低減処理部６０，６０ａなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１、図３のノイズ低減処理部６０及び図１４のノイズ低減処理部６０ａは、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１やノイズ低減処理部６０，６０ａを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。

本発明は、入力される画像に対してノイズ低減処理を施す画像処理装置撮像装置に適用することが可能である。また、この画像処理装置を備えたデジタルビデオカメラなどの撮像装置に適用可能である。

は、本発明の第１実施形態に係る撮像装置の基本構成を示すブロック図である。 は、画像信号の一例を示す模式図である。 は、第１実施形態に係る撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。 は、第１実施形態に係る撮像装置に備えられるノイズ低減処理部の動作を示すフローチャートである。 は、補間・平滑化処理の一例を示す図である。 は、補間・平滑化処理に用いられるフィルタの一例を示す図である。 は、ノイズ除去量の設定方法の一例を示すグラフである。 は、巡回係数算出部の第１実施例の構成について示すブロック図である。 は、巡回係数生成部による巡回係数の設定方法の一例を示すグラフである。 は、巡回係数算出部の第２実施例の構成について示すブロック図である。 は、巡回係数算出部の第３実施例の構成について示すブロック図である。 は、本発明の第２実施形態に係る撮像装置の撮像部の構成例を示すブロック図である。 は、画像信号の一例を示す模式図である。 は、第２実施形態に係る撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。 は、第２実施形態に係る撮像装置に備えられるノイズ低減処理部の動作を示すフローチャートである。

符号の説明

１ 撮像装置
２，２１〜２３ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ 集音部
６ 画像処理部
６０，６０ａ ノイズ低減処理部
６１，６１１〜６１３ 差分処理部
６２、６２１〜６２２ ノイズ除去量算出部
６３ 補間・平滑化処理部
６３１〜６３３ 平滑化処理部
６４，６４１〜６４３ 絶対値化部
６５，６５１〜６５３ 巡回係数算出部
６５１１ 加算部
６５２１ 最大値選択部
６５３４ 最小値選択部
６５１２，６５２２，６５３１〜６５３３ 巡回係数生成部
６６，６６１〜６６３ ノイズ低減部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス
２０，２０１〜２０３ フレームメモリ
Ｄ 分光部
Ｉ，Ｉａ 撮像部
ｍｕｌ 乗算部
ｓｕｂ 減算部

Claims (6)

1. 入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、
   前記ノイズ低減処理部に入力される前記入力画像の各画素に、所定の色を示す信号である色信号が備えられ、当該色信号の示す色が画素によって異なるものがあることを特徴とする画像処理装置。
2. 前記入力画像及び前記出力画像の対応する画素のそれぞれに、同じ色を示す前記色信号が備えられ、
   前記ノイズ低減処理部が、
   第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、の対応する画素毎に前記色信号の差分値を算出する差分処理部と、
   ある色を示す前記色信号の差分値に基づいて、当該ある色を示す前記色信号を備えない画素についても当該ある色の前記色信号の差分値を算出して当該ある色に対する色別差分値を算出する補間処理部と、
   複数の色に対するそれぞれの前記色別差分値に基づいて除去値を設定するとともに、前記第１入力画像から当該除去値を減ずることによって第１出力画像を生成する出力画像生成部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記出力画像生成部が、
   複数の色に対するそれぞれの前記色別差分値を加算した加算値に基づいて、前記除去値を調整する係数である巡回係数を算出する巡回係数算出部と、
   前記第１入力画像と前記第２出力画像との差分値に基づいた値に前記巡回係数を乗算して前記除去値を算出する除去値算出部と、を備え、
   当該巡回係数算出部が、前記加算値が大きくなるほど前記巡回係数を小さくすることを特徴とする請求項２に記載の画像処理装置。
4. 前記出力画像生成部が、
   複数の色に対するそれぞれの前記色別差分値のうち最大となる最大色別差分値に基づいて、前記除去値を調整する係数である巡回係数を算出する巡回係数算出部と、
   前記第１入力画像と前記第２出力画像との差分値に基づいた値に前記巡回係数を乗算して前記除去値を算出する除去値算出部と、を備え、
   当該巡回係数算出部が、前記最大色別差分値が大きくなるほど前記巡回係数を小さくすることを特徴とする請求項２に記載の画像処理装置。
5. １つの固体撮像素子を用いて撮像を行い前記入力画像を順次生成する撮像部と、
   請求項１〜請求項４のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
6. 入力される入力画像からノイズを低減して出力画像を生成し出力するノイズ低減処理部を備える画像処理装置において、
   前記入力画像及び前記出力画像が、それぞれ異なる色を示す画像である色別画像を複数備えたものであり、
   前記ノイズ低減処理部が、
   第１入力画像と、当該第１入力画像よりも前に前記ノイズ低減処理部に入力された第２入力画像から生成された第２出力画像と、のそれぞれに備えられる同じ色を示す前記色別画像の差分値を算出して、色別差分値を算出する差分処理部と、
   複数の色に対するそれぞれの前記色別差分値に基づいて、前記第１入力画像に備えられる前記色別画像に対する除去値をそれぞれ設定するとともに、当該色別画像のそれぞれから当該除去値をそれぞれ減ずることによって第１出力画像を生成する出力画像生成部と、を備え、
   前記出力画像生成部が、複数の色に対するそれぞれの前記色別差分値に基づいて、それぞれの前記色別画像に対して共通となる巡回係数を設定するとともに、
   それぞれの前記色別画像について設定されるそれぞれの前記除去値が、当該巡回係数によって値が調整されたものとなることを特徴とする画像処理装置。

Images