JP2008283540A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 画像信号からノイズを除去する画像処理装置を得る。
【解決手段】 入力された２次元画像を複数のブロックに分割して、処理対象の注目画素のブロック制御情報を出力するブロック制御部と、このブロック制御部が分割した各ブロック内の代表的な画像信号値である代表値を算出する代表値算出部と、この代表値算出部が算出した各ブロック内の代表値を注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する代表値バッファと、ブロック制御部が出力したブロック制御情報に基づいて注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、代表値バッファが保持する代表値を抽出し、抽出した代表値に基づいて注目画素にローパスフィルタ処理を行うローパスフィルタ処理部とを備えた。
【選択図】 図１

Description

この発明は、画像信号のノイズを除去する画像処理装置および画像処理方法に関するものである。

ＣＣＤ等の撮像素子を備えたディジタルカメラやイメージスキャナなどの画像入力装置や、このような画像入力装置で入力した画像を表示するディスプレイや印刷するカラープリンタ等の画像出力装置では、画像入力系あるいは画像伝送系において混入するノイズを除去する画像処理を装置内で行うのが一般的である。こうした画像入出力装置のうち、ディジタルカメラにおいて、混入したノイズを除去する手順に関して、従来の方法について説明する。

ノイズを除去する最も平易で一般的な構成としては、画像処理対象である画素（以下、注目画素と称す）を中心にした複数画素からなる画素ウィンドウを構成し、周辺画素の信号レベル値と注目画素の信号レベル値を重み付けして畳み込み演算することによりローパスフィルタをかけることで実現している。

また、注目画素を中心にした画素ウィンドウを構成し、プレヴィット（Prewitt）やゾーベル（Sobel）などのオペレータによるエッジ検出フィルタを適用することでエッジを検出し、注目画素が画像中の有意なエッジであると判断した場合は強度を弱めたローパスフィルタをかけ、あるいは周辺に存在するエッジを構成する画素を避ける方向性を持たせたローパスフィルタをかけることで、画像の解像度の低下を抑えながらノイズを除去する方法が提案されている（例えば、特許文献１）。

これらの画像入出力装置において、上記のようなノイズを除去する方法をとる従来の信号処理は、一般的に、色補正の信号処理などとともに複数用意された画像処理機能の一種として設けられ、前段の画像処理が１画素の処理を終えるとその出力画素を後段の画像処理に引き渡して順次処理するパイプライン構成をとるため、周辺画素を参照するためには各画像処理ごとに複数ライン分のラインバッファを設けて、画素を保持して時間的に遅延させている。

特開２００２−１８５７９５号公報

注目画素を中心にした複数画素からなる画素ウィンドウを構成し、ローパスフィルタをかける従来のノイズ除去装置は、ノイズでなく画像に存在する有意なエッジに対しても一律にローパスフィルタをかけてしまうため、画像の解像度が低下するという問題がある。

また、パイプライン構成で複数の画像処理を接続する場合、その画像処理の一つとして特許文献１のような画像の解像度の低下を抑えたノイズ除去処理を行う際にも、周辺画素を参照するためには、複数ライン分のラインバッファをノイズ除去処理用に持ち、画素を時間的に遅延させて保持しておく必要が生じる。その結果、比較的低周波成分のノイズを除去しようとした場合には、広範囲の周辺画素を参照して畳み込み演算を行う必要があるため、多くの参照ライン数のラインバッファを持つことになり、装置コストが上昇するという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、より少ないコストで広範囲の周辺画素を参照してローパスフィルタ処理を行い、ノイズを除去する画像処理装置を実現することを目的とする。

この発明に係る画像処理装置は、入力された２次元画像を複数のブロックに分割して、処理対象の注目画素のブロック制御情報を出力するブロック制御部と、このブロック制御部が分割した各ブロック内の代表的な画像信号値である代表値を算出する代表値算出部と、この代表値算出部が算出した各ブロック内の代表値を注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する代表値バッファと、ブロック制御部が出力したブロック制御情報に基づいて注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、代表値バッファが保持する代表値を抽出し、抽出した代表値に基づいて注目画素にローパスフィルタ処理を行うローパスフィルタ処理部とを備えたものである。

この発明によれば、より少ないコストで広範囲の周辺画素を参照してローパスフィルタ処理を行い、ノイズを除去する画像処理装置を実現することができる。

この発明に係る画像処理装置の実施の形態について、図およびフローチャートを用いて説明する。以下の各実施の形態では、入力される２次元画像を小領域に分割し、その小領域内の画像信号値を代表する信号値（代表値）を小領域に対して１つずつバッファリングするが、ここでは小領域をブロックとして説明を行う。

実施の形態１．
この発明の実施の形態１では、入力された２次元画像を固定サイズのブロックに分割し、そのブロック内の画像信号値を代表する信号値（代表値）をバッファリングして、入力画素（注目画素）を含む処理対象のブロック周辺の所定の範囲のブロックに対応する代表値を参照しながらローパスフィルタ処理を行う画像処理装置の一例について説明する。

図１は、この発明の実施の形態１に係る画像処理装置の一実施例を示すブロック図である。図において、ブロック制御部１０は、入力された２次元画像を複数のブロックに分割して、処理対象の注目画素のブロック制御情報を出力する。代表値算出部１１は、ブロック制御部１０が分割した各ブロック内の代表的な画像信号値である代表値を算出する。代表値バッファ１２は、代表値算出部１１が算出した各ブロック内の代表値を注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する。ローパスフィルタ処理部１３Ａは、ブロック制御部１０が出力したブロック制御情報に基づいて注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、代表値バッファが保持する代表値を抽出し、抽出した代表値に基づいて注目画素にローパスフィルタ処理を行う。

ブロック制御部１０が出力するブロック制御情報は、ブロック内または２次元画像上における注目画素の座標、注目画素が位置するブロックの座標を特定できる情報を含む。このブロック制御情報によって、代表値算出部１１、代表値バッファ１２、ローパスフィルタ処理部１３Ａに対して、ブロックにおける代表値の算出、代表値の更新、ブロックウィンドウの範囲のブロックに対応した代表値の参照などが適宜制御される。

図２は、この発明の実施の形態１によるブロックウィンドウに関する一実施例を示す説明図である。図２において、Ｐはパイプライン処理時にローパスフィルタ処理の前段の処理から取り込んだ入力画素（注目画素）であり、例えば、２次元の入力画像全体を所定の座標の画素（例えば、左上の第１画素）を基準にして８×８画素毎の固定サイズのブロックに分割し、ブロックＷ４４を構成する８×８画素内のいずれかの位置に注目画素Ｐが入るような座標位置でブロックＷｘｙ（この発明の実施の形態では０≦ｘ≦８、０≦ｙ≦４）からなるブロックウィンドウを抽出した概念を示している。各ブロックに対応した代表値バッファには、ブロックＷｘｙ内に含まれる６４画素の信号レベルを代表する代表値Ｄｘｙが格納されている。各ブロックに対応する代表値は、この発明の実施の形態１では、注目画素の位置する処理対象ブロックに対してブロックウィンドウをカバーする少なくとも垂直方向に５ブロック分がバッファリングされる。

この発明の実施の形態１では、このブロックの代表値Ｄｘｙは、処理対象の入力画素（注目画素）Ｐの位置するラインバッファを設けずに、代表値バッファをブロックの代表値の更新値Ｄ’ｘｙに順次更新していくものとし、例えば走査順に沿ってブロック内の最初の画素の信号値を初期値に設定して以降順次更新していく。なお、このブロックの代表値Ｄｘｙは、同一ブロック内の処理中は、更新値Ｄ’ｘｙを代表値Ｄｘｙとして保持してもよいし、更新した代表値バッファの値を毎回参照してもよい。また、１ブロック分のラインバッファを設けずに注目画素の位置する処理対象ラインに沿ってブロックを横断しながらローパスフィルタ処理を行うことになるため、隣のブロックに移った時点で当該ブロックの代表値Ｄｘｙを代表値バッファから読み出して保持するか、または代表値バッファから毎回参照するものとする。

図３は、図２のブロックウィンドウのブロックを対象にローパスフィルタを実施する一実施例を示すフローチャートである。以下、図３のフローチャートと図１のブロック図に基づいて動作を説明する。

画像からノイズを除去する画像処理が開始されると、垂直ラインカウンタの値から全ラインのデータ処理が終了したか否かを判定し、全ラインのデータ処理が終了した場合は、ローパスフィルタ処理が終了する（ステップST101）。全ラインのデータ処理が終了していない場合は、水平画素カウンタの値から１ラインのデータ処理が終了したか否かを判定し（ステップST102）、１ラインのデータ処理が終了した場合は、水平画素カウンタのリセットなどのライン更新処理を行う（ステップST103）。ステップST103においてライン更新処理したとき、または、ステップST102において１ラインのデータ処理が終了していなかったときは、水平画素カウンタを進めるなどの注目画素の更新処理を行う（ステップST104）。

次に、ステップST104で更新した注目画素Ｐの画像中における座標位置に合わせて、図２に示した９×５ブロックからなるブロックウィンドウの範囲の各ブロックＷｘｙに対応した代表値Ｄｘｙを代表値バッファから抽出する（ステップST105）。ブロックウィンドウの範囲内に対応した代表値バッファから抽出された各代表値Ｄｘｙを用いて、例えば式１に従って、即ち合計４５ブロックの各代表値の平均値としてローパスフィルタ処理を実施する（ステップST106）。

ステップST106のローパスフィルタ演算によって算出されたローパスフィルタ結果の値Ｐlpfは、出力値Ｐoutとしてローパスフィルタ処理の次段に位置する他の画像処理に対して出力される。

また、ローパスフィルタ処理では、引き続き注目画素Ｐと注目画素が含まれるブロックＷ４４に対応する代表値Ｄ４４とに基づいて、例えば式２の演算に従って代表値の更新値Ｄ'４４を算出し、代表値Ｄ４４に上書きすることで更新する処理を行う（ステップST107）。

以上の処理を、注目画素を１画素ずつ水平方向及び垂直方向に順次ずらしながら、注目画素を含む処理対象ブロックが常にブロックＷ４４になるように位置付けてブロックウィンドウを形成しながらローパスフィルタ処理を繰り返すことによって、１画面分のローパスフィルタ処理を完了する。

なお、ステップST101の全ライン終了の判定とステップST102のライン終了の判定の順序を入れ替え、先にライン終了か否かを判定し、ラインが終了していても、全ラインが終了していないと判定したとき、ステップST103のライン更新処理を行うようにしてもよい。

また、ステップST106のローパスフィルタ処理とステップST107のブロック代表値更新処理は、処理順序を逆にしてもよい。

このように、この発明の実施の形態１における画像処理装置の例では、８×８画素のブロックを９×５ブロックのブロックウィンドウの範囲の各ブロックの代表値を用いてノイズを除去するローパスフィルタを構成することにより、擬似的に７２×４０画素の領域を参照した広範囲なフィルタ効果を得ることができる。

また、このとき、画像の垂直方向を参照するためにデータを遅延させる際に必要となるラインバッファについても、実際に７２×４０画素のフィルタを適用する場合に比較して、水平方向、垂直方向共に１／８の容量で済むため、１／６４の容量を備えればよく、最低限のコストで広範囲のフィルタ効果を得ることができる。さらに、これを一般化した場合、水平方向、垂直方向にＳ×Ｒ画素を１ブロックとして処理することで、同等のローパスフィルタ効果を得るためのラインバッファの必要量を従来の１／Ｓ×１／Ｒの容量で済ませることができる。

実施の形態２．
この発明の実施の形態２では、この発明の実施の形態１と同様に、入力された２次元画像を固定サイズのブロックに分割し、そのブロック内の画像信号値を代表する代表値をバッファリングし、さらに各ブロック内にエッジが存在するか否かを示すエッジフラグをバッファリングして、入力画素（注目画素）を含む処理対象のブロック周辺の所定の範囲のブロックに対応する代表値およびエッジフラグを参照しながらローパスフィルタ処理を行う画像処理装置の一例について説明する。

図４は、この発明の実施の形態２に係る画像処理装置の一実施例を示すブロック図である。図において、ブロック制御部１０、代表値算出部１１、代表値バッファ１２は、この発明の実施の形態１において図１で説明した同一符号を付したブロック制御部１０、代表値算出部１１、代表値バッファ１２と同様に動作する。ラインバッファ１４は、入力された２次元画像を注目画素が位置するラインとその前後のラインについて保持する。エッジ判定部１５Ａは、ラインバッファ１４が保持する注目画素とその周辺画素に基づいて注目画素が位置するブロックに対してエッジ検出を行い、エッジ検出した結果を所定のしきい値と比較して注目画素周辺のエッジ有無をエッジ判定結果フラグとして判定する。エッジフラグバッファ１６は、エッジ判定部１５Ａが判定したエッジ判定結果フラグを処理対象の注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する。ローパスフィルタ処理部１３Ｂは、ブロック制御部１０が出力したブロック制御情報に基づいて注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、代表値バッファ１２が保持する代表値を抽出するとともに、エッジフラグバッファ１６が保持したエッジ判定結果フラグを抽出し、抽出した代表値とエッジ判定結果フラグとに基づいて注目画素にローパスフィルタ処理を行う。

ブロック制御部１０が出力するブロック制御情報は、この発明の実施の形態１と同様に、ブロック内または２次元画像上における注目画素の座標、注目画素が位置するブロックの座標を特定できる情報を含む。このブロック制御情報によって、代表値算出部１１、代表値バッファ１２、ラインバッファ１４、エッジ判定部１５Ａ、エッジフラグバッファ１６、ローパスフィルタ処理部１３Ｂに対して、ブロックにおける代表値の算出、代表値の更新、注目画素の周辺画素の参照、エッジフラグの算出、エッジフラグの更新、ブロックウィンドウの範囲のブロックに対応した代表値およびエッジフラグの参照などが制御される。

図５は、この発明の実施の形態２によるラインバッファとブロックウィンドウに関する一実施例を示す説明図である。この図５において、８×８画素のブロックウィンドウはこの発明の実施の形態１における図２と同等の機能を有しており、各ブロックＷｘｙに対応した代表値バッファには、ブロックＷｘｙ内に含まれる６４画素の信号レベルを代表する１つの代表値Ｄｘｙが格納されている。

また、図５では、注目画素Ｐの周辺８近傍画素Ｐｉ（１≦ｉ≦８）を含む注目画素ウィンドウを設けた点が、図２と異なっている。即ち、図５においては、各ブロックＷｘｙの代表値Ｄｘｙを保持しておく代表値バッファに加えて、前段の画像処理から出力された画素毎の信号レベル値を少なくとも注目画素ウィンドウを形成するライン数分保持するラインバッファを有している。

さらに、図５では、このラインバッファの画素を参照して判定される各ブロックＷｘｙに対応した１ビット幅のエッジフラグＦｘｙを保持しておくエッジフラグバッファを有する。この発明の実施の形態２では、ブロックウィンドウの各ブロックＷｘｙに対応するエッジフラグＦｘｙは、代表値バッファと同様に、処理対象ブロックに対してブロックウィンドウをカバーする少なくとも垂直方向に５ブロック分がバッファリングされる。図６は、図５のブロックウィンドウの各ブロックに対応したエッジフラグバッファに関する一参照例を示す説明図である。

図７は、図５のブロックウィンドウのブロックを対象にローパスフィルタを実施する一実施例を示すフローチャートである。以下、図７のフローチャートと図４のブロック図に基づいて動作を説明する。この発明の実施の形態１における図３のフローチャートのステップステップST104を新しくステップステップST108に置き換えているが、そのステップST104を除く図７におけるステップST101からステップST107についてはこの発明の実施の形態１と同様であるため、この発明の実施の形態２における特徴であるステップST108以降の動作について説明する。

ステップST108では、次の注目画素に対するローパスフィルタ処理を行うために、図５における注目画素Ｐ及び周辺画素Ｐ１〜Ｐ８をラインバッファから読み出し、注目画素ウィンドウを形成する。

次に、ステップST105で代表値バッファからブロックウィンドウの範囲のブロックに対応する代表値Ｄｘｙを抽出したのと同様の手順で、エッジフラグバッファからブロックウィンドウの範囲のブロックに対応するエッジフラグＦｘｙを抽出する（ステップST109）。次に、図５における注目画素ウィンドウに対して、例えば式３の演算を用いることで、エッジ検出処理を実施する（ステップST110）。この式３は、一般的なエッジ検出フィルタであるラプラシアン（Laplacian）フィルタの演算を示しており、絶対値をとることでEdge値（エッジ情報）が大きいほど注目画素近傍に画像中のエッジが存在することを表している。

次に、算出したEdge値を所定のしきい値ＴＨedgeと比較し、注目画素近傍におけるエッジの有無を判定する（ステップST111）。次に、ローパスフィルタ処理を行うが、ステップST111の判定結果で注目画素近傍にエッジが存在すると判断した場合は、ローパスフィルタを実施せず、入力された注目画素値Ｐをそのまま後段の画像処理に対して出力値Ｐoutとする。また、ステップST111の判定結果で注目画素近傍にエッジが存在しないと判断した場合、図５のブロックウィンドウの範囲の各ブロックに対応する代表値Ｄｘｙと図６の各ブロックのエッジフラグＦｘｙを用いてローパスフィルタ処理を実施する(ステップST106)。

ステップST106のローパスフィルタ方法について詳細に説明する。図６のエッジフラグバッファには、該当するブロックＷｘｙ内の画素にエッジが存在するか否かを示すエッジフラグＦｘｙが格納されており、例えば図６では”１”が設定されている場合は当該ブロックにエッジが含まれていることを示しており、”０”が設定されている場合は当該ブロックにはエッジが含まれていないことを示している。ローパスフィルタ処理では、図６のエッジフラグを参照しながら、図５のブロックウィンドウ内の各ブロックのうちエッジが含まれていないブロックの代表値を選択的に用いて、例えば選択されたブロック数に応じて平均値を算出する式１に準じたローパスフィルタ演算を行い、演算結果Ｐlpfを後段の画像処理に対して出力値Ｐoutとする。

図８は、この発明の実施の形態２によるエッジフラグバッファを参照して選択されるローパスフィルタ処理の対象ブロックに関する一参照例を示す説明図である。この図８は、エッジフラグウィンドウの内容が図６のような場合に、実際にローパスフィルタ処理のために選択されるブロック（斜線で図示）の一例を示したものである。この例の場合、ブロックＷ４４の近傍で”０”のみで設定される”１”のブロックを越えない最大の矩形の範囲としている。

次に、この発明の実施の形態１と同様な方法でブロックＷ４４に対応する代表値バッファの代表値Ｄ４４を更新し（ステップST107）、さらにステップST111のエッジ判定処理において、注目画素周辺にエッジが存在すると判断した場合には、ブロックＷ４４に対応するエッジフラグバッファのエッジフラグＦ４４の値をＦ’４４である”１”に更新する（ステップST112）。以上の処理を、注目画素を１画素ずつ水平方向及び垂直方向に順次ずらしながら、注目画素が含まれるブロックが常にＷ４４になるように位置付けてブロックウィンドウを形成することでローパスフィルタ処理を繰り返すことによって、１画面分のローパスフィルタ処理を完了する。

なお、この発明の実施の形態２においては、エッジフラグを参照する矩形範囲が複数定義できる時には、例えば、構成ブロック数が最大となる矩形とすればよい。また、例えば、矩形の底辺のブロック数が最大となる矩形としてもよく、あるいは注目画素が位置するブロックＷ４４の対応ブロックから参照する各ブロック間の平均距離が最小となる矩形としてもよいが、この限りでない。

このように、この発明の実施の形態２における画像処理装置の例では、この発明の実施の形態１のノイズを除去するローパスフィルタの構成に、エッジ検出のための数ラインのラインバッファと、１ビット幅のエッジフラグを格納するためのエッジフラグバッファを付加することで、画像中を広範囲かつエッジをぼけさせることなく広範囲なフィルタ効果を得ることができる。また、実際に広範囲を参照するために数十ラインのラインバッファを備える場合に比べて、この発明の実施の形態１で説明した１／Ｓ×１／Ｒのサイズのブロックバッファ、さらに画像データが８ビット幅であっても、１／Ｓ×１／Ｒ×１／８のサイズのエッジフラグウィンドウ、及びエッジ情報を判定するための数ライン分のラインバッファを備えればよいため、コストパフォーマンスに優れた広範囲のローパスフィルタを実現することができる。

実施の形態３．
この発明の実施の形態３では、この発明の実施の形態２と同様に、入力された２次元画像を固定サイズのブロックに分割し、そのブロック内の画像信号値を代表する代表値をバッファリングし、さらに各ブロック内にエッジが存在するか否かを示すエッジフラグをバッファリングして、入力画素（注目画素）を含む処理対象のブロック周辺の所定の範囲のブロックに対応する代表値およびエッジフラグを参照しながらローパスフィルタ処理を行う画像処理装置の一例について説明する。

図９は、この発明の実施の形態３に係る画像処理装置の一実施例を示すブロック図である。図において、ブロック制御部１０、代表値算出部１１、代表値バッファ１２、ラインバッファ１４、エッジフラグバッファ１６は、この発明の実施の形態２において図４で説明した同一符号を付したブロック制御部１０、代表値算出部１１、代表値バッファ１２、ラインバッファ１４、エッジフラグバッファ１６と同様に動作する。エッジ判定部１５Ｂは、この発明の実施の形態２におけるエッジ判定部１５Ａと同様に動作し、エッジ判定結果フラグを判定する際に用いた注目画素が位置するブロックに対してエッジ検出した結果を出力する。ローパスフィルタ処理部１３Ｃは、ブロック制御部１０が出力したブロック制御情報に基づいて注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、代表値バッファ１２が保持する代表値を抽出するとともに、エッジフラグバッファ１６が保持したエッジ判定結果フラグを抽出し、抽出した代表値とエッジ判定結果フラグとに基づいて注目画素にローパスフィルタ処理を行い、エッジ判定部１５Ｂが判定して得られたエッジ検出した結果に基づく重み係数で、ローパスフィルタ処理結果と注目画素値を重み付け加算した値を出力する。

以下、この発明の実施の形態３を図について説明する。この発明の実施の形態３においても、この発明の実施の形態２の説明と同様に、図５ないし図７のラインバッファの概念図及び動作を説明するフローチャートを用いて説明する。なお、この発明の実施の形態３と実施の形態２の相違点は、図７におけるローパスフィルタ演算にある。

次に、この発明の実施の形態３における動作について説明する。以下、この発明の実施の形態３における特徴的な動作であるステップST106のローパスフィルタ処理について説明する。

図１０は、この発明の実施の形態３によるエッジフラグバッファを参照して選択されるローパスフィルタ処理の対象ブロックに関する一参照例を示す説明図である。この図１０は、エッジフラグウィンドウの内容が図６のような場合に、この発明の実施の形態２における図８に代わり、実際にローパスフィルタ処理のために選択されるブロック（斜線で図示）の一例を示したものである。この例の場合、ブロックＷ４４の近傍で”０”のみで設定される”１”のブロックを越えない最大の矩形の範囲としている。

このように、ブロックウィンドウから算出したローパスフィルタ値Ｐlpfと注目画素値Ｐに対して、エッジ検出値Edge（エッジ情報）を用いて例えば式４のように所定の重み係数で重み付け加算することで、出力値Ｐoutを算出する。

なお、式４において、重み係数ａはEdge値を０から１の間で正規化した値である。この式４から、注目画素近傍に強いエッジが存在する場合は、注目画素値Ｐに比重がかかった値が出力され、注目画素近傍にエッジが存在しない場合は、ブロックウィンドウから算出した広範囲のローパスフィルタ値Ｐlpfに比重がかかった値が出力される。出力された画像信号Ｐoutは、後段の画像処理に引き渡される。

このように、この発明の実施の形態３における画像処理装置の例では、注目画素近傍のエッジレベルに応じてローパスフィルタ強度が適応的に変化するため、ブロックの代表値のみを用いてローパスフィルタを実現した場合に比べて、エッジしきい値ＴＨedgeでエッジと判断されない程度の画像中の微妙な凹凸を再現でき、画像中のベタ領域では広範囲のローパスフィルタ効果を実現しながら、階調性と解像度に優れたフィルタ効果を得ることができる。

また、この発明の実施の形態２及び実施の形態３においては、エッジ検出方法として等方性のあるラプラシアンフィルタを用いる方法について説明したが、この限りではなく、ゾーベル（Sobel）フィルタのように方向性のあるエッジ検出フィルタを用いて複数方向のエッジを検出しEdge値にすることによって、画像中の有意なエッジを検出すると同時に、孤立点ノイズのような無方向性のノイズを広範囲なローパスフィルタで除去してもよく、この発明を効果的に実施することができる。

以上のように、この発明における実施の形態では、１ブロックに含まれる画素として８×８画素の場合を示したが、この限りでなく、必要な画質や装置コストを考慮して適宜定めることができる。また、ローパスフィルタを実施するブロックウィンドウに含まれるブロックを９×５ブロックの場合を示したが、この限りでなく、画質を考慮したサイズに適宜変更してよい。

また、この発明における実施の形態では、２次元の入力画像をブロック分割する基準とする所定の座標の画素を左上の第１画素として説明したが、この限りでなく、任意の座標の画素を基準にしてよい。２次元の入力画像の上下左右の端では、ブロックサイズに満たない場合もあるが、そのサイズに合わせたブロックの代表値やエッジフラグの算出処理およびローパスフィルタ処理を行えばよい。

また、この発明における実施の形態では、ブロックの代表値の抽出に関しては、順次更新していく方法について示したが、他の方法としては、注目画素が位置するブロックを構成するライン数分のラインバッファを設けられる場合には、例えば予めブロック内の画素の信号値を参照して、例えば平均値などの統計値を設定してもよい。そして、このような統計値を初期値として設定し、以降当該ブロックに固定的に使用することもできる。

また、この発明における実施の形態では、ローパスフィルタ処理の演算として式１のものを示したが、この限りでなく、注目画素が含まれるブロックからの距離に応じて各ブロックの代表値に対して重み付け係数をかけるようにしてもよい。

また、この発明における実施の形態では、ブロックの代表値の更新演算として式２のものを示したが、この限りでなく、ブロック内に含まれる一部の画素のみを用いて演算する方法や各画素の信号値を反映可能な他の方法を用いるようにしてもよい。

また、以上のすべての実施の形態では、演算処理する画像信号として画像入出力装置が扱う信号全般に対して適用することが可能である。即ち、一般的なＲＧＢ色空間における各色信号ごとに適用することも可能であり、また、各センサ素子ごとに１色の信号を受光可能な単板式イメージセンサを備えたディジタルカメラでは、センサから入力される原色系あるいは補色系信号の各色ごとに適用することが可能である。さらに、ＹＣｂＣｒ色空間に代表される輝度色差系信号の輝度または色差及び輝度色差双方の信号ごとに適用するようにしてもよく、モノクロ信号を扱う機器では、単色に適用することができる。

この発明の実施の形態１に係る画像処理装置の一実施例を示すブロック図である。 この発明の実施の形態１によるブロックウィンドウに関する一実施例を示す説明図である。 この発明の実施の形態１によるブロックウィンドウを対象にローパスフィルタを実施する一実施例を示すフローチャートである。 この発明の実施の形態２に係る画像処理装置の一実施例を示すブロック図である。 この発明の実施の形態２によるラインバッファとブロックウィンドウに関する一実施例を示す説明図である。 この発明の実施の形態２によるブロックウィンドウの各ブロックに対応したエッジフラグバッファに関する一参照例を示す説明図である。 この発明の実施の形態２によるブロックウィンドウを対象にエッジフラグバッファを参照してローパスフィルタを実施する一実施例を示すフローチャートである。 この発明の実施の形態２によるエッジフラグバッファを参照して選択されるローパスフィルタ処理の対象ブロックに関する一参照例を示す説明図である。 この発明の実施の形態３に係る画像処理装置の一実施例を示すブロック図である。 この発明の実施の形態３によるエッジフラグバッファを参照して選択されるローパスフィルタ処理の対象ブロックに関する一参照例を示す説明図である。

符号の説明

１０ ブロック制御部
１１ 代表値算出部
１２ 代表値バッファ
１３Ａ、１３Ｂ、１３Ｃ ローパスフィルタ処理部
１４ ラインバッファ
１５Ａ、１５Ｂ エッジ判定部
１６ エッジフラグバッファ

Claims (8)

1. 入力された２次元画像を複数のブロックに分割して、処理対象の注目画素のブロック制御情報を出力するブロック制御部と、
   このブロック制御部が分割した各ブロック内の代表的な画像信号値である代表値を算出する代表値算出部と、
   この代表値算出部が算出した各ブロック内の前記代表値を前記注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する代表値バッファと、
   前記ブロック制御部が出力したブロック制御情報に基づいて前記注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、前記代表値バッファが保持する前記代表値を抽出し、抽出した前記代表値に基づいて前記注目画素にローパスフィルタ処理を行うローパスフィルタ処理部と
   を備えたことを特徴とする画像処理装置。
2. 入力された２次元画像を複数のブロックに分割して、処理対象の注目画素のブロック制御情報を出力するブロック制御部と、
   このブロック制御部が分割した各ブロック内の代表的な画像信号値である代表値を算出する代表値算出部と、
   この代表値算出部が算出した各ブロック内の前記代表値を前記注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する代表値バッファと、
   前記２次元画像を前記注目画素が位置するラインとその前後のラインについて保持するラインバッファと、
   このラインバッファが保持する前記注目画素とその周辺画素に基づいて前記注目画素が位置するブロックに対してエッジ検出を行い、エッジ検出した結果を所定のしきい値と比較して注目画素周辺のエッジ有無をエッジ判定結果フラグとして判定するエッジ判定部と、
   このエッジ判定部が判定した前記エッジ判定結果フラグを処理対象の注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持するエッジフラグバッファと、
   前記ブロック制御部が出力したブロック制御情報に基づいて前記注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、前記代表値バッファが保持する前記代表値を抽出するとともに、前記エッジフラグバッファが保持した前記エッジ判定結果フラグを抽出し、抽出した前記代表値と前記エッジ判定結果フラグとに基づいて前記注目画素にローパスフィルタ処理を行うローパスフィルタ処理部と
   を備えたことを特徴とする画像処理装置。
3. 前記ローパスフィルタ処理部は、前記エッジ判定部が判定して得られたエッジ検出した結果に基づく重み係数で、前記ローパスフィルタ処理結果と前記注目画素値を重み付け加算した値を出力することを特徴とする請求項２に記載の画像処理装置。
4. 前記エッジ判定部は、前記ラインバッファから周辺画素を参照して前記注目画素を中心にした複数方向に対する方向性検出フィルタを組み合わせてエッジ検出することを特徴とする請求項２に記載の画像処理装置。
5. 入力された２次元画像を複数のブロックに分割して、処理対象の注目画素のブロック制御情報を出力するブロック制御ステップと、
   このブロック制御ステップが分割した各ブロック内の代表的な画像信号値である代表値を算出する代表値算出ステップと、
   この代表値算出ステップが算出した各ブロック内の前記代表値を前記注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する代表値記憶ステップと、
   前記ブロック制御ステップが出力したブロック制御情報に基づいて前記注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、前記代表値記憶ステップが保持する前記代表値を抽出し、抽出した前記代表値に基づいて前記注目画素にローパスフィルタ処理を行うローパスフィルタ処理ステップと
   を有することを特徴とする画像処理方法。
6. 入力された２次元画像を複数のブロックに分割して、処理対象の注目画素のブロック制御情報を出力するブロック制御ステップと、
   このブロック制御ステップが分割した各ブロック内の代表的な画像信号値である代表値を算出する代表値算出ステップと、
   この代表値算出ステップが算出した各ブロック内の前記代表値を前記注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持する代表値記憶ステップと、
   前記２次元画像を前記注目画素が位置するラインとその前後のラインについて保持するライン記憶ステップと、
   このライン記憶ステップが保持する前記注目画素とその周辺画素に基づいて前記注目画素が位置するブロックに対してエッジ検出を行い、エッジ検出した結果を所定のしきい値と比較して注目画素周辺のエッジ有無をエッジ判定結果フラグとして判定するエッジ判定ステップと、
   このエッジ判定ステップが判定した前記エッジ判定結果フラグを処理対象の注目画素が位置するブロックに対して垂直方向に少なくともＹブロックの範囲で保持するエッジフラグ記憶ステップと、
   前記ブロック制御ステップが出力したブロック制御情報に基づいて前記注目画素が位置するブロックに対して水平方向にＸブロック、垂直方向にＹブロックからなるＸ×Ｙブロックで形成されるブロックウィンドウの範囲のブロックに対応した、前記代表値記憶ステップが保持する前記代表値を抽出するとともに、前記エッジフラグ記憶ステップが保持した前記エッジ判定結果フラグを抽出し、抽出した前記代表値と前記エッジ判定結果フラグとに基づいて前記注目画素にローパスフィルタ処理を行うローパスフィルタ処理ステップと
   を有することを特徴とする画像処理方法。
7. 前記ローパスフィルタ処理ステップは、前記エッジ判定ステップが判定して得られたエッジ検出した結果に基づく重み係数で、前記ローパスフィルタ処理結果と前記注目画素値を重み付け加算した値を出力することを特徴とする請求項６に記載の画像処理方法。
8. 前記エッジ判定ステップは、前記ライン記憶ステップから周辺画素を参照して前記注目画素を中心にした複数方向に対する方向性検出フィルタを組み合わせてエッジ検出することを特徴とする請求項６に記載の画像処理方法。

Images