JP4991907B2 - 画像処理装置、および、画像処理装置の制御方法 - Google Patents

Description

本発明は、１つの画像データから周波数帯域の異なる複数の画像データを生成し、これらの生成した画像データに画像処理を施してから合成する技術に関するものである。

一般に、デジタルカメラやビデオカメラ等の撮像装置では、ＣＣＤやＣＭＯＳセンサなどの撮像素子から読み出した画像データにガンマ処理、補間処理、マトリクス変換等の各種画像処理を施している。単板で構成された撮像素子であれば、複数の色のカラーフィルターを有し、画素毎にいずれか１色のカラーフィルターが配置された構成となっている。原色Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルターを有するベイヤー配列の撮像素子であれば、図４に示すように、縦２画素、横２画素の４画素の中にＲとＢが斜め方向に隣接して配置され、残りの画素にＧが配置されるというパターンが繰り返される。

ここで、一般的に、撮像素子から読み出した画像データには、撮像素子の回路に起因するノイズ成分が含まれていたり、偽色が含まれていたりする。そのため、画像データに対して、これらの不要な信号成分を低減する画像処理が施される。

例えば、入力された画像データを異なる複数の周波数帯域の画像データに分離してから、これら複数の周波数帯域の画像データを合成することで、画像データにおける不要な信号成分を低減するものが提案されている。

特許文献１に開示された構成は、まず、低域通過フィルタ（ＬＰＦ）処理および縮小処理を階層的に行なうことにより、入力された画像データを複数の異なる周波数帯域の画像データに分離する。そして、各周波数帯域の画像データにおける低域成分から算出したエッジ情報に基づいて、各周波数帯域の画像データにおける高域成分に対して、ノイズ成分の低減処理を行う。その後、それぞれに対してノイズ成分の低減処理を行った高い周波数帯域の画像データと低い周波数帯域の画像データを合成する。

このように、入力された画像データを、複数の異なる周波数帯域の画像データに分離してから、これら複数の周波数帯域の画像データを合成する処理を行うための一般的な画像処理部の構成について、図５を用いて説明する。

図５において、画像処理部は、入力された画像データを複数の周波数帯域に分割する分割部５１０と、メモリ５２０と、各周波数帯域の画像データに補正を行なう補正部５３０と、各周波数帯域の画像データを合成する合成部５４０とからなる。

分割部５１０は入力画像データＳｉｎを第１の周波数帯域の画像データとしてメモリ５２０に出力する。分割部５１０は、この入力画像データＳｉｎを高域通過フィルタ（ＨＰＦ）５１１に入力し、高周波成分を抽出した画像データを第１の周波数帯域の画像データとしてメモリ５２０に出力する。分割部５１０は、また、この入力画像データＳｉｎを低域通過フィルタ５１２に入力して平滑化してから、縮小回路５１３に入力することで、入力画像データＳｉｎよりも画素数の少ない画像データを生成する。そして、この画像データを高域通過フィルタ５１４に入力し、高周波成分を抽出した画像データを第２の周波数帯域の画像データとしてメモリ５２０に出力する。さらに、縮小回路５１３で生成された画像データを低域通過フィルタ５１５で平滑化し、さらに縮小回路５１６に入力することで、縮小回路５１３で生成された画像データよりもさらに画素数の少ない画像データを生成する。そして、この画像データを第３の周波数帯域の画像データとしてメモリ５２０に出力する。第１の周波数帯域が最も高域であり、第２の周波数帯域、第３の周波数帯域となるにつれて低域になる。

図５の分割部５１０は、高域通過フィルタ、低域通過フィルタ、および、縮小回路とで１つの帯域分割回路を形成し、２つの帯域分割回路をツリー状に有していることになる。

補正部５３０は第１から第３の周波数帯域の画像データに対応した３つの補正回路５３１〜５３３を有している。これらの補正回路５３１〜５３３は、メモリ５２０から読み出したそれぞれの周波数帯域の画像データに対して、画像の高精細化を目的としたノイズ低減やエッジ保存、あるいは、収差補正などの処理を施す。

合成部５４０は補正回路５３３にて処理された第３の周波数帯域の画像データを拡大回路５４１に入力し、補正回路５３２にて処理された第２の周波数帯域の画像データと同じ画素数の画像データを生成し、低域通過フィルタ５４２で平滑化する。加算回路５４３は低域通過フィルタ５４２から出力された画像データと、補正回路５３２にて処理された第２の周波数帯域の画像データを加算する。拡大回路５４４は、加算回路５４３から出力された画像データから補正回路５３１にて処理された第１の周波数帯域の画像データと同じ画素数の画像データを生成し、低域通過フィルタ５４５で平滑化する。加算回路５４６は低域通過フィルタ５４５から出力された画像データと、補正回路５３１にて処理された第１の周波数帯域の画像データを加算して、出力画像データＳｏｕｔを生成する。

図５の合成部５４０は、拡大回路、低域通過フィルタ、および、加算回路で１つの帯域合成回路を形成し、２つの帯域合成回路をツリー状に有していることになる。

特開２００８−０１５７４１号公報

上述したように、原色ベイヤー配列のように、複数の色に対応したカラーフィルタをモザイク状に配置した撮像素子から得られた画像データは、１つの画素からは、いずれか１つの色に対応した画素値しか得られない。

しかしながら、上述した特許文献１では、画素ごとに複数の色のカラーフィルタのいずれかの色に対応した信号を有している画像データの扱いについては開示されていない。

ここで、原色ベイヤー配列のような単板の撮像素子の場合、帯域分割の際に行うダウンサンプリングによる縮小処理により、それぞれの色において信号がゼロの画素に対して補間を行うことなく、各画素がすべての色信号を有することが可能となる。ベイヤー配列の撮像素子のある行に着目すると、図６のように、色フィルタがＲ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇ・・・の順に配列されており、これを水平方向に半分の画素数に縮小処理する例について説明する。この行において、Ｒ信号のみに注目すると、元々２画素に１つの周期で並んでいるＲ信号が縮小処理により１画素毎の信号となる。また、Ｇ信号のみに注目した場合も、元々２画素に１つ存在するＧ信号が縮小処理により１画素毎の信号となっている。ただし、Ｇ信号の縮小処理では、Ｇ信号の重心位置をＲ信号に合わせるため両隣の画素値から平均値を演算することより値を求めている。このように、縮小処理を行うことで、それぞれの色において信号がゼロの画素に対して補間を行うことなく、１つの画素位置にＲＧＢすべての色信号が生成されることになる。なお、同じ画素に対して複数種類の色の信号が生成された状態となることを同時化と呼ぶ。

第２の周波数帯域および第３の周波数帯域の画像データは縮小によって同時化されているため、そのまま同時化された状態でメモリ５２０に記憶させればよい。同時化された第２の周波数帯域および第３の周波数帯域の画像データを、わざわざベイヤー配列の画像データに戻してしまうと、それだけこれらの画像データの情報量が減ることになる。そのため、補正部５３０におけるノイズ低減処理や収差補正処理における補正精度が低下しまうことになるためである。

ここで、第１の周波数帯域の画像データも、第２および第３の周波数帯域の画像データにあわせて同時化を施してから、メモリ５２０に記憶させることが考えられる。しかしながら、最も情報量の多い第１の周波数帯域の画像データの情報量が３倍になってしまうことから、メモリ５２０に必要な容量が極端に増加してしまう。

本発明は、複数色のカラーフィルタを有する単板の撮像素子から得られた画像データを複数の周波数帯域に分解してメモリに保存し、メモリから読み出した複数の周波数帯域の画像データに補正を加える画像処理装置の改良に関するものである。具体的には、複数の周波数帯域の画像データを記憶するメモリの容量を肥大化させることなく、好適な画像処理を行えるようにする画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明は、複数の色信号から構成され、画素ごとに複数の色信号のうちのいずれかの色信号を有する第１の画像データから、前記第１の画像データよりも画素数が少なく、かつ、前記第１の画像データよりも低い周波数帯域の第２の画像データを生成して出力する帯域分割手段と、前記帯域分割手段から出力される前記第１の画像データおよび前記第２の画像データを記憶するメモリと、前記メモリに記憶された前記第１の画像データおよび前記第２の画像データに対して補正処理を行う補正手段と、前記補正手段にて補正処理が施された前記第１の画像データおよび前記第２の画像データを合成する合成部を有し、前記帯域分割手段から出力される前記第２の画像データは、一部または全ての画素が前記複数の色信号を有するものであり、前記メモリは、前記第１の画像データを画素ごとに複数の色信号のうちのいずれかの色信号を有する形態で記憶し、前記第２の画像データを一部または全ての画素が前記複数の色信号を有する形態で記憶することを特徴とする画像処理装置を提供する。

本発明によれば、複数の周波数帯域の画像データを記憶するメモリの容量を肥大化させることなく、好適な画像処理を行えるようにする画像処理装置を提供することができる。

本発明にかかる撮像装置の機能ブロック図である。 画像処理部のノイズ低減処理に関する第１の実施形態における構成を示すブロック図である。 画像処理部のノイズ低減処理に関する第２の実施形態における構成を示すブロック図である。 ベイヤー配列のパターンを説明するための図である。 複数の周波数帯域の画像データを合成する処理を行うための一般的な画像処理部の構成を示すブロック図である。 ダウンサンプリングによる縮小処理により、画像データが同時化される様子を説明するための図である。

図１は、本発明にかかる撮像装置の機能ブロック図である。

図１において、結像光学部１０１はレンズや絞り等を含み、フォーカス調節や露出調節を行う。撮像素子１０２は光学像を電気信号に変換する光電変換機能を有し、ＣＣＤやＣＭＯＳセンサ等で構成される。Ａ／Ｄ変換回路１０３は撮像素子１０２からのアナログ画像信号をデジタル画像データに変換する。画像処理部１０４はＡ／Ｄ変換回路１０３から出力された画像データにノイズ低減処理、収差補正処理、偽色除去処理、ガンマ処理、補間処理、および、マトリクス変換等を施す。メモリインターフェース（Ｉ／Ｆ）１０５はＤＲＡＭで構成されたメモリ１０６との間で、画像処理部１０４で処理された画像データや各種制御データの書き込み／読み出しを行う。ＣＰＵ１０７は各種制御を司る。表示部１０８は、液晶モニター等で構成され、画像処理部１０４にて処理された画像データを随時表示し、使用者がリアルタイムで被写体の様子を観察できるようにする。

結像光学部１０１に入射した光は撮像素子１０２の受光面に結像され、撮像素子１０２からアナログ画像信号として出力される。撮像素子１０２は、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが配置されており、各画素から出力される信号レベルは、Ｒ、Ｇ、Ｂのいずれかに対応した信号レベルとなる。アナログ画像信号はＡ／Ｄ変換回路１０３でベイヤー配列のＲＡＷ画像としてのデジタル画像データに変換され、画像処理部１０４に入力される。

（第１の実施形態）
図２は、画像処理部１０４のノイズ低減処理に関する第１の実施形態における構成を示すブロック図である。

図２において、画像処理部１０４は、入力された画像データを複数の周波数帯域に分割する分割部２１０と、メモリ２２０と、各周波数帯域の画像データにノイズ低減処理を行なう補正部２３０と、各周波数帯域の画像データを合成する合成部２４０とからなる。

分割部２１０は入力画像データＳｉｎを第１の周波数帯域の画像データとしてそのままメモリ２２０に出力する。

分割部２１０はこの入力画像データＳｉｎを低域通過フィルタ（ＬＰＦ）２１１に入力して平滑化してから、縮小回路２１２に入力することで、入力画像データＳｉｎよりも画素数の少ない画像データを生成する。本実施形態では、縮小回路２１２はダウンサンプリングを行うことで、入力された画像データを、縦および横の画素数がそれぞれ１／２になるように縮小する。そして、この画像データを第２の周波数帯域の画像データとしてメモリ２２０に出力する。

さらに、縮小回路２１２で生成された画像データを低域通過フィルタ２１３で平滑化し、さらに縮小回路２１４に入力することで、縮小回路２１２で生成された画像データよりもさらに画素数の少ない画像データを生成する。本実施形態では、縮小回路２１４もダウンサンプリングを行うことで、入力された画像データを、縦および横の画素数がそれぞれ１／２になるように縮小する。そして、この画像データを第３の周波数帯域の画像データとしてメモリ２２０に出力する。

低域通過フィルタ２１１および２１３は、例えば伝達関数Ｈ（ｚ）＝１／２（１＋Ｚ^−１）で実現することが可能である。

この分割部２１０は帯域分割手段として機能し、第１の周波数帯域が最も高く、第２の周波数帯域、第３の周波数帯域となるにつれて低くなる。

上述したように、第２の周波数帯域および第３の周波数帯域の画像データは、低域通過フィルタを介しているため、１つの画素位置にＲＧＢすべての色信号が生成される同時化が施されている。この第２の周波数帯域および第３の周波数帯域の画像データは、同時化された状態で、メモリ２２０に記憶される。

これに対し、第１の周波数帯域の画像データは、後段の補正部２３０は同時化された画像データを用いるのであるが、メモリ２２０に記憶するときは同時化されていないベイヤー配列のＲＡＷ画像データとすることで、メモリ２２０の容量を節約している。

補正部２３０は、メモリ２２０に記憶された第１から第３の周波数帯域の画像データを読みだし、ノイズ低減処理を行う。この補正部２３０では、一度に画像データ全体を読み出すのではなく、高域通過フィルタ（ＨＰＦ）２３１、２３２およびノイズ低減回路２３３〜２３５における、一度の処理で必要な領域分の画像データを、処理のたびに読み出す。ゆえに、補正部２３０は不図示のメモリを備えているが、その容量はメモリ２２０の容量に比較してかなり小さくて済む。なお、高域通過フィルタ２３１、２３２は、例えば伝達関数Ｈ（ｚ）＝１／２（１−Ｚ^−１）で実現することが可能である。

補正部２３０は、着目画素を中心とする所定画素数の第１の周波数帯域の画像データを読みだして、高域通過フィルタ２３１を通すことにより、第１の周波数帯域の画像データの着目画素を中心とする領域の高域成分を抽出することができる。読み出された所定画素数の第１の周波数帯域の画像データは、高域通過フィルタ２３１に入力されることにより、各画素の位置にＲＧＢすべての色信号が生成される同時化が行われる。

ノイズ低減（ＮＲ）回路２３３は、高域通過フィルタ２３１から出力された高域成分の画像データを用いて、この画像データのエッジ方向を判定する。ノイズ低減回路２３３は、例えば、同時化されたＧの色信号レベルから、読み出した画像データの領域におけるエッジ方向を判定する。そしてノイズ低減回路２３３は、判定したエッジに沿う方向に信号の混合処理を行うことで平滑化処理を行い、画像データのノイズを低減する。

補正部２３０は、同様に、着目画素を中心とする所定画素数の第２の周波数帯域の画像データを読みだして、高域通過フィルタ２３２に高域成分を抽出させ、ノイズ低減回路２３４にノイズの低減処理を行わせる。

補正部２３０は、着目画素を中心とする所定画素数の第３の周波数帯域の画像データを読みだして、高域通過フィルタによる高域成分を抽出することなく、ノイズ低減回路２３５にノイズの低減処理を行わせる。

なお、補正部２３０は、これらの第１〜第３の周波数帯域の画像データを用いて、ノイズ低減処理だけでなく、倍率色収差補正処理や偽色除去処理を行うようにしてもよい。同時化された第２および第３の周波数帯域の画像データを用いることで、画像画質を向上させることが補正処理であれば、ノイズ低減処理以外の処理を実行する場合であっても、本発明を適用することは可能である。

続いて、合成部２４０は、ノイズ低減回路２３５から出力された画像データを拡大回路２４１に入力し、同一の領域における画素数がノイズ低減回路２３４から出力された画像データと等しくなるように画像データを拡大する。具体的には、拡大回路２４１は、ノイズ低減回路２３５から出力された画像データの縦および横の画素数をそれぞれ２倍となるようにアップサンプリングを行う。そして、アップサンプリングされた画像データは低域通過フィルタ２４２に入力され、平滑化処理が行われる。

加算回路２４３は低域通過フィルタ２４２から出力された画像データと、ノイズ低減回路２３４から出力された画像データを、空間的位相を一致させて合成し、拡大回路２４４に出力する。拡大回路２４４は、同一の領域における画素数がノイズ低減回路２３３から出力された画像データと等しくなるように画像データを拡大する。具体的には、拡大回路２４４は、加算回路２４３から出力された画像データの縦および横の画素数をそれぞれ２倍となるようにアップサンプリングを行う。そして、アップサンプリングされた画像データは低域通過フィルタ２４５に入力され、平滑化処理が行われる。

加算回路２４６は低域通過フィルタ２４５から出力された画像データと、ノイズ低減回路２３３から出力された画像データを、空間的位相を一致させて合成し、注目画素における出力画像データＳｏｕｔを生成する。画像処理部１０４は、これらの処理を画像データの全領域に対して行うことで、ノイズ低減処理が施された画像データを得ることができる。

また、加算回路２４３、２４６の画像データの加算の際に、加算対象となる画像データの空間的位相が揃うようにノイズ低減回路２３３、２３４から出力される画像データを遅延させることで、補正部２３０および合成部２４０はメモリの容量を節約することができる。

ここで、補正部２３０が、所望のタイミングで、必要な領域の画像データを漏れなく読み出すためには、メモリ２２０が画像データの全領域における第１から第３の周波数帯域の画像データを記憶しておく必要がある。このとき、もっとも画素数の多い第１の周波数帯域の画像データを、第２および第３の周波数帯域の画像データと同様に同時化した状態でメモリ２２０に記憶させようとすると、メモリ２２０に必要な容量が膨大となってしまう。

そこで、本実施形態では、分割部２１０にて既に同時化された第２および第３の周波数帯域の画像データを同時化した状態でメモリ２２０に記憶するのに対し、第１の周波数帯域の画像データは同時化していない状態でメモリ２２０に記憶するようにしている。

画像処理部１０４に入力される画像データが、もともと画素ごとにカラーフィルタのいずれかの色に対応した色信号しか備えていないため、第１の周波数帯域の画像データをそのままの形態で記憶したとしても、画像データの情報量が減ることにはならない。なお、第１の周波数帯域の画像データがベイヤー形式を維持できる補正（例えば、欠陥画素補正）であれば、メモリ２２０に記憶する前に、第１の周波数帯域の画像データに対して補正処理を行ってもよい。

なお、同時化されている第２および第３の周波数帯域の画像データを、第１の周波数帯域の画像データと同様に、１画素につき１つの色信号を持つようにサンプリング処理してベイヤー化した状態で、メモリ２２０に記憶することも考えられる。しかしながら、このような構成とすると、補正部２３０で再び同時化した画像を生成したとしても、それはベイヤー化する前の画像よりも情報量が減少したものとなり、ノイズ低減の精度が低下してしまうことになる。そのため、本実施形態では、第２および第３の周波数帯域の画像データについては、同時化された形態のままでメモリ２２０に記憶するようにしている。

なお、第１の周波数帯域の画像データに含まれるエッジ成分の強度に応じて、拡大回路２４１、２４４における画像データの合成比率を適応的に変化させるように構成すれば、補正部２３０における高域通過フィルタ２３１、２３２は省略することも可能である。具体的には、第１の周波数帯域の画像データに含まれるエッジ成分の強度が大きいほど、周波数帯域の高い画像データの合成比率を高くするようにすればよい。

（第２の実施形態）
図３は、画像処理部１０４のノイズ低減処理に関する第２の実施形態における構成を示すブロック図である。

図３において、画像処理部１０４は、入力された画像データを複数の周波数帯域に分割する分割部３１０と、メモリ３２０と、各周波数帯域の画像データにノイズ低減処理を行なう補正部３３０と、各周波数帯域の画像データを合成する合成部３４０とからなる。

メモリ３２０と合成部３４０は、それぞれ図２のメモリ２２０と合成部２４０と同様の構成である。

分割部３１０において、低域通過フィルタ３１１乃至縮小回路３１４は、図２の分割部２１０の低域通過フィルタ２１１乃至縮小回路２１４と同様の構成であり、ＲＢ変換回路３１５、３１６を備える点が図２の分割部２１０と異なる。

補正部３３０において、高域通過フィルタ３３１乃至ノイズ低減回路３３５は、図２の補正部２３０の高域通過フィルタ２３１乃至ノイズ低減回路２３５と同様の構成であり、ＲＢ逆変換回路３３６、３３７を備える点が図２の補正部２３０と異なる。

ＲＢ変換回路３１５、３１６は、縮小回路３１２、３１４から出力された同時化された画像データのうち、ＲとＢの色信号からなる画像データの水平解像度を１／２にする処理が行なわれる。つまり、Ｇの色信号は全ての画素が有するが、ＲとＢの色信号は一部（半分）の画素のみ有するように画像データを処理する。例えば、画像データに対して、水平方向に伝達関数Ｈ（ｚ）＝１／４（１＋２Ｚ^−１＋Ｚ^−２）の低域通過フィルタをかけてダウンサンプリングを行って間引けばよい。

ＲＢ逆変換回路３３６、３３７では、それぞれＲＢ変換回路３１５、３１６によって水平解像度を１／２にされたＲとＢの色信号からなる画像データの水平解像度を２倍に復元する処理が行なわれる。例えば、水平方向に２倍のアップサンプリングを行って補間すればよい。

Ｒ、Ｇ、Ｂの色信号からなる画像データのうち、視覚特性に及ぼす影響はＧに比較するとＲとＢは相対的に低くなるため、ＧをそのままとしてＲとＢの水平解像度を１／２倍にしても、撮影画像の画質は大幅には低減しない。

そこで、第２および第３の周波数帯域の画像データに対しては、ＲとＢの水平解像度を１／２倍にしてからメモリ３２０に画像データを記憶させる構成とすることで、メモリ３２０の容量およびバンド幅を節約することが可能となる。

なお、ＲＢ変換回路３１５、３１６およびＲＢ逆変換回路３３６、３３７による処理の有無を撮像装置の駆動モードに応じて変更するように構成してもよい。近年のデジタルカメラは、静止画を撮影する機能だけでなく、動画を記録する機能や、高速に連写する機能など、複数の駆動モードが備えられている。動画記録や高速連写の場合、特に問題となるのはメモリのバンド幅である。

従って、撮像素子１０２の駆動モードが動画記録や高速連写など、メモリのバンド幅を大量に消費する場合には、ＲＢ変換回路３１５、３１６およびＲＢ逆変換回路３３６、３３７による処理を有効にすればよい。

反対に、撮像素子１０２の駆動モードが静止画記録の場合には、ＲＢ変換回路３１５、３１６およびＲＢ逆変換回路３３６、３３７による処理を停止する。こうすることで、これらの回路による処理を有効にした場合に比較して、多くの情報量を用いたノイズ低減処理を行うことができるため、ノイズ低減処理の精度を維持することが可能となる。

なお、いずれの実施形態においても、説明を容易にするため、処理内容ごとに別の回路を設けた図面を用いて説明を行ったが、これら複数の回路を１つの回路にまとめたり、あるいは、１つの回路における処理を複数の回路で分担して行うように構成してもよい。

また、Ｒ、Ｇ、Ｂの原色ベイヤー配列のカラーフィルタを有する撮像素子で得られた画像データを用いて説明を行ったが、これに限られるものではない。Ｙ（黄）、Ｍ（マゼンダ）、Ｃ（シアン）の補色のカラーフィルタを有する撮像素子で得られた画像データに対しても、同様の処理を行うことが可能である。

また、いずれの実施形態でも、３つの周波数帯域の画像データに分割する構成を例にあげて説明を行ったが、２つの周波数帯域の画像データのみに分割する構成であっても、４つ以上の異なる周波数帯域の画像データに分割する構成であっても構わない。

また、画像データを複数の異なる周波数帯域の画像データに分割する方法としては、上記方法以外にも、ウェーブレット変換によって、画像データを、互いの周波数帯域が重複しない複数の画像データに分割する方法を適用することも可能である。

（他の実施形態）
本発明は、画素によって異なる色信号を有する画像データに対して、同時化を施して画像処理を施すことができる画像処理装置であれば、撮像装置に限らず、画像処理のためのアプリケーションを搭載したパーソナルコンピュータ等でも実現することが可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２１０、３１０ 分割部
２１１、２１３、２４２、２４５、３１１、３１３、３４２、３４５ 低域通過フィルタ
２１２、２１４、３１２、３１４ 縮小回路
２２０、３２０ メモリ
２３０、３３０ 補正部
２３１、２３２、３３１、３３２ 高域通過フィルタ
２３３、２３４、２３５、３３３、３３４、３３５ ノイズ低減回路
２４０、３４０ 合成部
２４１、２４４、３４１、３４４ 拡大回路
２４３、２４６、３４３、３４６ 加算回路
３１５、３１６ ＲＢ変換回路
３３６、３３７ ＲＢ逆変換回路

Claims (10)

1. 複数の色信号から構成され、画素ごとに複数の色信号のうちのいずれかの色信号を有する第１の画像データから、前記第１の画像データよりも画素数が少なく、かつ、前記第１の画像データよりも低い周波数帯域の第２の画像データを生成して出力する帯域分割手段と、
   前記第１の画像データおよび前記第２の画像データを記憶するメモリと、
   前記メモリに記憶された前記第１の画像データおよび前記第２の画像データに対して補正処理を行う補正手段と、
   前記補正手段にて補正処理が施された前記第１の画像データおよび前記第２の画像データを合成する合成部を有し、
   前記帯域分割手段から出力される前記第２の画像データは、一部または全ての画素が前記複数の色信号を有するものであり、
   前記メモリは、前記第１の画像データを画素ごとに複数の色信号のうちのいずれかの色信号を有する形態で記憶し、前記第２の画像データを一部または全ての画素が前記複数の色信号を有する形態で記憶することを特徴とする画像処理装置。
2. 前記帯域分割手段は、前記第１の画像データから、前記第１の画像データよりも画素数が少なく、前記第１の画像データよりも周波数帯域が低く、かつ、画素ごとに前記複数の色信号を有する第３の画像データを生成し、前記第３の画像データにおける前記複数の色信号のうちの、いずれかの色信号を有する画素の数を減らすことで第４の画像データを生成し、前記第４の画像データを前記第２の画像データとして前記メモリに出力し、
   前記補正手段は、前記メモリに前記第２の画像データとして記憶された前記第４の画像データにおける前記いずれかの色信号を有する画素の数を、前記第３の画像データにおける前記いずれかの色信号を有する画素の数と等しくしてから、前記補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記帯域分割手段は、前記第１の画像データを生成する撮像素子の駆動モードに応じて、前記第３の画像データを前記第２の画像データとして前記メモリに出力するか、前記第４の画像データを前記第２の画像データとして前記メモリに出力するかを切り替え、
   前記補正手段は、前記帯域分割手段が前記第３の画像データを前記第２の画像データとして前記メモリに出力した場合には、前記第２の画像データとして記憶された前記第３の画像データに対して前記補正処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の色信号はＲ、Ｇ、および、Ｂの色信号で構成され、前記いずれかの色信号はＲおよびＢの色信号であることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記補正処理は、ノイズ低減処理、倍率色収差補正処理、および、偽色除去処理の少なくともいずれかを含むことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記補正手段は、前記第１の画像データを画素ごとに前記複数の色信号を有する形態に変更してから、前記第１の画像データに対して前記補正処理を行うことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記帯域分割手段は、前記第１の画像データから、前記第２の画像データを出力するとともに、前記第２の画像データから、前記第２の画像データよりも画素数が少なく、前記第２の画像データよりも周波数帯域が低く、かつ、一部または全ての画素が前記複数の色信号を有する第３の画像データを生成して出力し、
   前記メモリは、前記第１の画像データ、前記第２の画像データ、および、前記第３の画像データを記憶し、
   前記補正手段は、前記メモリに記憶された前記第１の画像データ、前記第２の画像データ、および、前記第３の画像データに対して補正処理を行い、
   前記合成部は、前記補正手段にて補正処理が施された前記第１の画像データ、前記第２の画像データ、および、前記第３の画像データを合成することを特徴とする請求項１に記載の画像処理装置。
8. 複数の色信号から構成され、画素ごとに複数の色信号のうちのいずれかの色信号を有する第１の画像データから、前記第１の画像データよりも画素数が少なく、かつ、前記第１の画像データよりも低い周波数帯域の第２の画像データを生成して出力する帯域分割ステップと、
   前記帯域分割ステップにて生成される前記第１の画像データおよび前記第２の画像データをメモリに記憶する記憶ステップと、
   前記メモリに記憶された前記第１の画像データおよび前記第２の画像データに対して補正処理を行う補正ステップと、
   前記補正処理が施された前記第１の画像データおよび前記第２の画像データを合成する合成ステップを有し、
   前記帯域分割ステップで出力される前記第２の画像データは、一部または全ての画素が前記複数の色信号を有するものであり、
   前記記憶ステップは、前記メモリは、前記第１の画像データを画素ごとに複数の色信号のうちのいずれかの色信号を有する形態で記憶し、前記第２の画像データを一部または全ての画素が前記複数の色信号を有する形態で記憶することを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させるために前記コンピュータが読み出すことが可能なプログラム。
10. 請求項９に記載のプログラムを記憶した記憶媒体。

Images