以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
即ち、本発明の一側面の信号処理装置は、連続的に配置されている画像信号を、順次、注目信号に指定する指定手段(例えば、図3の水平方向平滑化処理部22)と、指定手段によって指定された前記注目信号の近傍信号と、前記注目信号との差分絶対値に基づいて、第1の閾値を設定する設定手段(例えば、図3の閾値設定部36)と、指定手段によって指定された注目信号を基準として、第1の方向に連続的に配置されている画像信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段(例えば、図3の水平処理方向成分画素抽出部31)と、注目信号と各処理信号との差分である処理差分と、第1の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算手段(例えば、図5の非線形フィルタ51)と、処理差分と第1の閾値よりも小さな第2の閾値との比較結果に基づいて、平滑化信号と注目信号との第1の混合比を計算する第1の混合比計算手段(例えば、図5の混合比検出部53)と、第1の混合比計算手段により計算された第1の混合比に基づいて、平滑化信号、および、注目信号を混合し、第1の混合信号を生成する第1の混合手段(例えば、図5の混合部52)と、指定手段によって指定された注目信号を基準として、第1の方向と異なる第2の方向に連続的に配置されている画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段(例えば、図3の垂直参照方向成分画素抽出部34)と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第2の混合比を計算する第2の混合比計算手段(例えば、図3のFlatレート計算部35)と、第2の混合比計算手段により計算された第2の混合比に基づいて、第1の混合信号、および、注目信号を混合し、第2の混合信号を生成する第2の混合手段(例えば、図3の混合部33)とを含むことを特徴とする。
前記設定手段には、前記参照信号と前記注目信号との差分絶対値を算出する差分絶対値算出手段(例えば、図6の差分絶対値算出部71)をさらに設けるようにさせることができ、前記参照信号と前記注目信号との差分絶対値のうち、最大となる差分絶対値に基づいて、第1の閾値を設定させるようにすることができる。
前記設定手段には、前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号を抽出する最大信号抽出手段(例えば、図20の最大値抽出部81)と、前記参照信号および前記注目信号のうち、最小となる参照信号または注目信号を抽出する最小信号抽出手段(例えば、図20の最小値抽出部82)とをさらに設けるようにさせることができ、前記参照信号および前記注目信号のうち、最大となる参照信号または注目信号と、最小となる参照信号または注目信号との差分絶対値に基づいて、第1の閾値を設定させるようにすることができる。
前記設定手段には、前記注目信号の位置から見て前記第2の方向に対して順方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する順方向算出手段(例えば、図25の第1方向差分絶対値算出部111)と、前記注目信号の位置から見て前記第2の方向に対して逆方向側に配置される前記参照信号と前記注目信号との差分絶対値を算出する逆方向算出手段(例えば、図25の第2方向差分絶対値算出部112)とをさらに設けるようにさせることができ、前記順方向算出手段により算出された差分絶対値の最大値、または、前記逆方向算出手段により算出された差分絶対値の最大値のうち、いずれか小さい方の値に基づいて、第1の閾値を設定させるようにすることができる。
前記設定手段には、前記注目信号の位置から見て前記第2の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する順方向最大信号抽出手段(例えば、図22の最大値抽出部91)と、前記注目信号の位置から見て前記第2の方向に対して順方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する順方向最小信号抽出手段(例えば、図22の最小値抽出部92)と、前記順方向最大信号抽出手段により抽出された最大値と、前記順方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する順方向差分絶対値算出手段(例えば、図22の差分絶対値算出部93)と、前記注目信号の位置から見て前記第2の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最大値を抽出する逆方向最大信号抽出手段(例えば、図22の最大値抽出部94)と、前記注目信号の位置から見て前記第2の方向に対して逆方向側に配置される前記参照信号および前記注目信号のうちの最小値を抽出する逆方向最小信号抽出手段(例えば、図22の最小値抽出部95)と、前記逆方向最大信号抽出手段により抽出された最大値と、前記逆方向最小信号抽出手段により抽出された最小値との差分絶対値を算出する逆方向差分絶対値算出手段(例えば、図22の差分絶対値算出部96)とをさらに設けるようにさせることができ、前記順方向差分絶対値算出手段により算出された差分絶対値、または、前記逆方向差分絶対値算出手段により算出された差分絶対値のうち、いずれか小さい方の値に基づいて、第1の閾値を設定させるようにすることができる。
前記設定手段には、前記注目信号の位置から見て複数の方向別に設定されるブロック毎に、前記ブロック内の各画素と前記注目画素との差分絶対値を算出し、最大値を出力するブロック差分絶対値算出手段(例えば、図28のブロック差分絶対値算出部131−1乃至131−8)を設けるようにさせることができ、前記ブロック差分絶対値算出手段により算出された前記ブロックの最大値に基づいて、第1の閾値を設定させるようにすることができる。
前記設定手段には、前記注目信号と、その近傍の各画素との差分絶対値を算出する近傍差分絶対値算出手段(例えば、図31の差分絶対値算出部141)と、前記近傍差分絶対値算出手段により算出された各画素と前記注目画素との差分絶対値に基づいて、ヒストグラムを生成するヒストグラム生成手段(例えば、図31のヒストグラム生成部142)とを設けるようにさせることができ、前記ヒストグラムにより頻度が最小となる差分絶対値に基づいて、第1の閾値を設定させるようにすることができる。
本発明の一側面の信号処理方法およびプログラムは、連続的に配置されている画像信号を、順次、注目信号に指定する指定ステップ(例えば、図8のフローチャートのステップS11の処理)と、指定ステップの処理によって指定された注目信号の近傍信号と、注目信号との差分絶対値に基づいて、第1の閾値を設定する設定ステップ(例えば、図8のフローチャートのステップS14の処理)と、指定ステップの処理で指定された注目信号を基準として、第1の方向に連続的に配置されている画像信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップ(例えば、図8のフローチャートのステップS12の処理)と、注目信号と各処理信号との差分である処理差分と、第1の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算ステップ(例えば、図11のフローチャートのステップS32の処理)と、処理差分と第1の閾値よりも小さな第2の閾値との比較結果に基づいて、平滑化信号と注目信号との第1の混合比を計算する第1の混合比計算ステップ(例えば、図11のフローチャートのステップS33の処理)と、第1の混合比計算ステップの処理で計算された第1の混合比に基づいて、平滑化信号、および、注目信号を混合し、第1の混合信号を生成する第1の混合ステップ(例えば、図11のフローチャートのステップS36の処理)と、指定ステップの処理で指定された注目信号を基準として、第1の方向と異なる第2の方向に連続的に配置されている画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップ(例えば、図8のフローチャートのステップS13の処理)と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第2の混合比を計算する第2の混合比計算ステップ(例えば、図8のフローチャートのステップS17の処理)と、第2の混合比計算ステップの処理で計算された第2の混合比に基づいて、第1の混合信号、および、注目信号を混合し、第2の混合信号を生成する第2の混合ステップ(例えば、図8のフローチャートのステップS18の処理)とを含むことを特徴とする。
図2は、本発明を適用した画像のエッジ部分を残しつつ、それ以外の領域のコントラストや鮮鋭度を強調し、さらに、処理方向に応じて生じる不自然な強調処理を抑制するようにした強調処理装置の一実施の形態の構成を示す図である。
バッファ21は、入力されてくる画像信号を一時的に記憶し、後段の水平方向平滑化処理部22に供給する。水平方向平滑化処理部22は、注目画素に対して水平方向に配置される近傍の画素と注目画素を使用して、注目画素に対して水平方向に非線形平滑化処理を施し、バッファ23に供給する。バッファ23は、水平方向平滑化処理部22より供給されてくる画像信号を一時的に記憶し、順次、垂直方向平滑化処理部24に供給する。垂直方向平滑化処理部24は、注目画素に対して垂直方向に配置される近傍の画素と注目画素を使用して、注目画素に対して非線形平滑化処理を施し、バッファ25に供給する。バッファ25は、垂直方向平滑化処理部24より供給される、垂直方向に非線形平滑化された画素からなる画像信号を一時的に記憶し、後段の図示せぬ装置に出力する。
次に、図3を参照して、水平方向平滑化処理部22の詳細な構成について説明する。
水平処理方向成分画素抽出部31は、バッファ21に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部32に出力する。より具体的には、水平処理方向成分画素抽出部31は、注目画素に対して、水平方向に左右に隣接するそれぞれ2画素を水平処理方向成分画素として抽出し、抽出した4画素と注目画素のそれぞれの画素値を非線形平滑化処理部32に供給する。尚、抽出する水平処理方向成分画素の画素数は、注目画素に対して左右に隣接する2画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の左右に隣接する3画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する1画素と、右方向に隣接する3画素とするようにしても良い。
非線形平滑化処理部32は、水平処理方向成分画素抽出部31より供給された注目画素とその左右のそれぞれに隣接する2画素である水平処理方向成分画素とを用いて、閾値設定部36より供給される閾値ε2に基づいて、注目画素を非線形平滑化処理し、混合部33に供給する。尚、非線形平滑化処理部32の構成については、図5を参照して後述する。また、ここで、水平方向に非線形平滑化処理するとは、注目画素に対して水平方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。同様にして、後述する垂直方向に非線形平滑化処理するとは、注目画素に対して垂直方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。
垂直参照方向成分画素抽出部34は、バッファ21に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を抽出し、Flatレート計算部35および閾値設定部36に出力する。より具体的には、垂直参照方向成分画素抽出部34は、注目画素に対して、垂直方向の上下に隣接する2画素を垂直参照方向成分画素として抽出し、抽出した4画素と注目画素のそれぞれの画素値をFlatレート計算部35および閾値設定部36に供給する。尚、抽出する垂直参照方向成分画素の画素数は、注目画素に対して上下に隣接する2画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する3画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する1画素と、下方向に隣接する3画素とするようにしても良い。
Flatレート計算部35は、垂直参照方向成分画素抽出部34より供給されてくる注目画素と、垂直参照方向成分画素とのそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部33に供給する。ここで、垂直方向のFlatレートは、注目画素と垂直参照方向成分画素との画素値の差分絶対値の変化を示したものであり、Flatレートが大きいとき、注目画素近傍の画素の画素値の変化が大きく、垂直方向に画素間の相関が小さい、平坦ではない画像(画素値の変化が大きいFlatではない画像)であることを示し、逆に、Flatレートが小さいとき、注目画素近傍の画素の画素値の変化が小さく、垂直方向に画素間の相関が大きい、平坦な画像(画素値の変化が小さいFlatな画像)であることを示している。
混合部33は、Flatレート計算部35より供給される垂直方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ23に出力する。
閾値設定部36は、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を用いて、非線形平滑化処理部32における非線形平滑化処理に必要な閾値ε2を設定して非線形平滑化処理部32に供給する。尚、閾値設定部36の構成については、図6を参照して詳細を後述する。
次に、図4を参照して、垂直方向平滑化処理部24の詳細な構成について説明する。
垂直方向平滑化処理部24は、基本的に上述した水平方向平滑化処理部22の構成における水平方向の処理と垂直方向の処理を入れ替えたものである。すなわち、垂直処理方向成分画素抽出部41は、バッファ23に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部42に出力する。より具体的には、垂直処理方向成分画素抽出部41は、注目画素に対して、垂直方向に上下に隣接するそれぞれ2画素からなる垂直処理方向成分画素を抽出し、抽出した4画素と注目画素のそれぞれの画素値を非線形平滑化処理部42に供給する。尚、抽出する垂直処理方向成分画素の画素数は、注目画素に対して上下に隣接する2画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する3画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する1画素と、下方向に隣接する3画素とするようにしても良い。
非線形平滑化処理部42は、垂直処理方向成分画素抽出部41より供給された注目画素とその上下のそれぞれに隣接する2画素である垂直処理方向成分画素とを用いて、閾値設定部46より供給される閾値ε2に基づいて、注目画素を垂直方向に非線形平滑化処理し、混合部43に供給する。非線形平滑化処理部42の構成は、非線形平滑化処理部32と同様の構成であり、その詳細については、図5を参照して後述する。
水平参照方向成分画素抽出部44は、バッファ23に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を抽出し、Flatレート計算部45および閾値設定部46に出力する。より具体的には、水平参照方向成分画素抽出部44は、注目画素に対して、水平方向の左右に隣接する2画素ずつを抽出し、抽出した4画素と注目画素のそれぞれの画素値をFlatレート計算部45および閾値設定部46に供給する。尚、抽出する画素数は、注目画素に対して水平に隣接する2画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の水平に隣接する3画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する1画素と、右方向に隣接する3画素とするようにしても良い。
Flatレート計算部45は、水平参照方向成分画素抽出部44より供給されてくる注目画素と、注目画素に対して左右のそれぞれに隣接する2画素のそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部43に供給する。
混合部43は、Flatレート計算部45より供給される水平方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ25に出力する。
閾値設定部46は、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を用いて、非線形平滑化処理部32における非線形平滑化処理に必要な閾値ε2を設定して非線形平滑化処理部42に供給する。尚、閾値設定部46の構成については、閾値設定部36と同様であり、その詳細については、図6を参照して詳細を後述する。
次に、図5を参照して、非線形平滑化処理部32の詳細な構成について説明する。
この非線形平滑化処理部32の非線形フィルタ51は、入力される画像信号SIを構成する画素の変動のうち、そのサイズが閾値設定部36より供給されてくる閾値ε2よりも大きい急峻なエッジを保持すると共に、エッジ以外の部分を平滑化し、平滑化した画像信号SLPF-Hを混合部52に出力する。
混合比検出部53は、閾値設定部36より供給されてくる閾値ε2よりも十分に小さい閾値ε3を求め、この閾値ε3に基づいて、入力される画像信号SIを構成する画素の変動の中の微小な変化を検出し、検出結果を用いて、混合比を計算し、混合部52に供給する。
混合部52は、平滑化処理された画像信号SLPF-Hと平滑化されていない入力された画像信号SIを、混合比検出部53より供給される混合比に基づいて、混合し、非線形平滑化された画像信号SF-Hとして出力する。
非線形フィルタ51のLPF(Low Pass Filter)61は、制御信号発生部62より供給される制御信号および閾値設定部36より供給されてくる閾値ε2に基づいて、注目画素と、その水平方向の左右に隣接する2画素である水平処理方向成分画素との画素値を用いて、注目画素を平滑化して、平滑化された画像信号SLPF-Hを混合部52に出力する。制御信号発生部62は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を算出し、その算出結果に基づいてLPF61を制御する制御信号を発生し、LPF61に供給する。尚、非線形フィルタ51としては、例えば、上述した従来のεフィルタを用いるようにしてもよい。
次に、図6を参照して、閾値設定部36の構成について説明する。
差分絶対値算出部71は、注目画素と、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する各画素との差分絶対値を求めて、閾値決定部72に供給する。閾値決定部72は、差分絶対値算出部71より供給されてくる差分絶対値のうち、最大となるものに所定のマージンを加算した値を閾値ε2として決定し、非線形平滑化処理部32に供給する。尚、閾値設定部46については、閾値設定部36と同様の構成となるため、図示を省略するものとするが、閾値設定部46においては、差分絶対値算出部71は、注目画素と、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する各画素との差分絶対値を求めて閾値決定部72に供給することになる。
次に、図7のフローチャートを参照して、図2の強調処理装置11による画像強調処理について説明する。
ステップS1において、水平方向平滑化処理部22は、バッファ21に、順次記憶されていく画像信号を用いて、水平方向平滑化処理を実行する。
ここで、図8のフローチャートを参照して、水平方向平滑化処理部22による水平方向平滑化処理について説明する。
ステップS11において、水平方向平滑化処理部22の水平処理方向成分画素抽出部31は、ラスタスキャン順に注目画素を設定する。同時に、垂直参照方向成分画素抽出部34も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、水平処理方向成分画素抽出部31により設定される注目画素と、垂直参照方向成分画素抽出部34により設定される注目画素とが同一となるように設定される必要がある。
ステップS12において、水平処理方向成分画素抽出部31は、注目画素と共に、注目画素に対して水平方向(左右方向)に2画素ずつ隣接する近傍画素である水平処理方向成分画素からなる合計5画素の画素値をバッファ21より抽出して非線形平滑化処理部32に出力する。例えば、図9で示されるような場合、画素L2,L1,C,R1,R2が、注目画素および水平処理方向成分画素として抽出される。尚、図9においては、画素Cは、注目画素であり、画素L2,L1が、注目画素Cの左側に隣接する2画素の水平処理方向成分画素であり、画素R1,R2が注目画素Cの右側に隣接する2画素の水平処理方向成分画素である。
ステップS13において、垂直参照方向成分画素抽出部34は、注目画素と共に、注目画素に対して垂直方向(上下方向)に2画素ずつ隣接する近傍画素である垂直参照方向成分画素からなる合計5画素の画素値をバッファ21より抽出してFlatレート計算部35および閾値設定部36に出力する。例えば、図9で示されるような場合、画素U2,U1,C,D1,D2が、注目画素および垂直参照方向成分画素として抽出される。尚、図9においては、画素Cは、注目画素であり、画素U2,U1が、注目画素Cの上側に隣接する2画素の垂直参照方向成分画素であり、画素D1,D2が注目画素Cの下側に隣接する2画素の垂直参照方向成分画素である。
ステップS14において、閾値設定部36は、閾値設定処理を実行する。
ここで、図10のフローチャートを参照して、閾値設定処理について説明する。
ステップS21において、差分絶対値算出部71は、注目画素と、垂直参照方向画素との画素値の差分絶対値を求めて、閾値決定部72に供給する。例えば、図9の場合、注目画素は、画素Cであり、垂直参照方向画素は、画素U2,U1,D1,D2であるので、差分絶対値算出部71は、|C−U2|,|C−U1|,|C−D2|,|C−U1|を算出し、閾値決定部72に供給する。
ステップS22において、閾値決定部72は、差分絶対値算出部71より供給されてくる差分絶対値のうち、最大値となる差分絶対値を閾値ε2に決定し、非線形平滑化処理部32に供給する。したがって、図9の場合、閾値決定部72は、|C−U2|,|C−U1|,|C−D2|,|C−U1|の最大値を検索し、その最大値に所定のマージンを加算して閾値ε2として設定する。ここで、マージンを加算するとは、例えば、10%のマージンを加算する場合、差分絶対値の最大値×1.1を閾値ε2として設定することである。
ここで、図8のフローチャートの説明に戻る。
ステップS14において、閾値設定処理が終了すると、ステップS15において、非線形平滑化処理部32は、水平処理方向成分画素抽出部31より供給された注目画素と水平処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。
ここで、図11のフローチャートを参照して、非線形平滑化処理部32による非線形平滑化処理について説明する。
ステップS31において、非線形フィルタ51の制御信号発生部62は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。すなわち、図9の場合、制御信号発生部62は、注目画素Cと、水平方向に隣接する各近傍画素である水平処理方向成分画素L2,L1,R1,R2との画素値の差分絶対値|C−L2|,|C−L1|,|C−R1|,|C−R2|を計算する。
ステップS32において、ローパスフィルタ61は、制御信号発生部62により計算された各差分絶対値と閾値設定部36により設定された閾値ε2と比較して、この比較結果に対応して、入力される画像信号SIに非線形フィルタリング処理を施す。より具体的には、ローパスフィルタ61は、例えば、式(1)のように、注目画素Cおよび水平処理方向成分画素の画素値を、タップ係数を用いて加重平均して、注目画素Cに対応する変換結果C’を平滑化された画像信号SLPF-Hとして混合部52に出力する。ただし、注目画素Cの画素値との差分絶対値が、所定の閾値ε2よりも大きい水平処理方向成分画素については、画素値を注目画素Cの画素値と置換して加重平均するようにする(例えば、式(2)で示されるように演算する)。
ステップS33において、混合比検出部53は、微小エッジ判定処理を実行し、微小なエッジが存在するか否かを判定する。
ここで、図12のフローチャートを参照して、微小エッジ判定処理について説明する。
ステップS41において、混合比検出部53は、それぞれ閾値設定部61より供給されてきた閾値ε2に基づいて、微小なエッジの有無を検出するために必要とされる閾値ε3を求める。より具体的には、閾値ε3は、閾値ε2に対して十分に小さな値であることが条件(ε3≪ε2)であるので、例えば、閾値ε2に対して、十分に小さい係数を乗じることにより得られた値を閾値ε3として設定する。
ステップS42において、混合比検出部53は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε3(≪ε2)よりも小さいか否かを判定し、その判定結果に基づいて、微小なエッジが存在するか否かを判定する。
すなわち、例えば、図9で示したように、混合比検出部53は、注目画素Cと、水平方向に隣接する各水平処理方向成分画素L2,L1,R1,R2との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε3よりも小さいか否かを判定し、各差分絶対値が全て閾値ε3よりも小さいと判定した場合、近傍画素と注目画素との画素値に変化がないものとみなし、ステップS44に進み、注目画素の近傍には、微小なエッジが存在しないものと判定する。
一方、ステップS42において、算出された差分絶対値のうち、1つでも閾値ε3以上のものがあると判定された場合、ステップS43に進み、混合比検出部53は、注目画素の左右の一方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε3よりも小さく、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε3以上であって、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との各差分の正負が一致しているか否かを判定する。
すなわち、注目画素Cの左右の一方側の水平処理方向成分画素が、例えば、図9の画素L2,L1であり、注目画素Cの左右の他方側の水平処理方向成分画素が、図9の画素R2,R1である場合、混合比検出部53は、注目画素Cの左右の一方側の水平処理方向成分画素と注目画素Cとの差分絶対値が全て閾値ε3よりも小さく、かつ、注目画素Cの左右の他方側の水平処理方向成分画素R1,R2と注目画素Cとの差分絶対値が全て閾値ε3以上であって、かつ、注目画素Cの左右の他方側の水平処理方向成分画素R1,R2と注目画素Cとの各差の正負が一致しているか否かを判定する。
例えば、上記の条件が満たされていると判定された場合、ステップS44において、混合比検出部53は、注目画素の近傍に、微小なエッジが存在すると判定する。
一方、ステップS43において、上記条件を満たしていないと判定された場合、ステップS45において、混合比検出部53は、注目画素の近傍には、微小なエッジが存在しないと判定する。
例えば、注目画素Cと水平処理方向成分画素L2,L1,R1,R2の関係が図13に示すような場合、注目画素Cと左側の水平処理方向成分画素L2,L1の差分絶対値|L2−C|,|L1−C|が閾値ε3よりも小さく、かつ、注目画素Cと右側の水平処理方向成分画素R1,R2の差分絶対値|R1−C|,|R2−C|が閾値ε3以上であり、かつ、注目画素Cと右側の水平処理方向成分画素R1,R2の差(R1−C),(R2−C)の符号が一致する(いまの場合、ともに正)ので、注目画素Cの近傍に微小なエッジが存在すると判定される。
また、例えば、注目画素Cと水平処理方向成分画素L2,L1,R1,R2の関係が図14に示すような場合、注目画素Cと左側の水平処理方向成分画素L2,L1の差分絶対値|L2−C|,|L1−C|が閾値ε3よりも小さく、かつ、注目画素Cと右側の水平処理方向成分画素R1,R2の差分絶対値|R1−C|,|R2−C|が閾値ε3以上ではあるが、かつ、注目画素Cと右側の水平処理方向成分画素R1,R2の差(R1−C),(R2−C)の符号が一致しない(いまの場合、それぞれ正、負)ので、注目画素Cの近傍に微小なエッジが存在しないと判定される。
さらに、例えば、注目画素Cと水平処理方向成分画素L2,L1,R1,R2の関係が図15に示すような場合、注目画素Cの左右いずれの側も、注目画素Cと水平処理方向成分画素の差分絶対値が全て閾値ε3よりも小さいわけではないので、注目画素Cの近傍に微小なエッジが存在しないと判定される。
このようにして、注目画素の近傍に微小なエッジが存在するか否かが判定された後、処理は図11のステップS34に戻る。
ステップS33の処理が終了すると、ステップS34において、混合比検出部53は、ステップS33における微小エッジ判定処理による判定結果が、「注目画素Cの近傍に微小なエッジが存在する」であるか否かを判定する。例えば、微小エッジ判定処理による判定結果が、「注目画素Cの近傍に微小なエッジが存在する」である場合、ステップS35において、混合比検出部53は、水平方向に非線形フィルタリング処理された画像信号SLPF-Hと入力された画像信号SIの混合比であるMixレートMr-Hを最大MixレートMr-H maxとして混合部52に出力する。尚、最大MixレートMr-H maxは、MixレートMr-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。
ステップS36において、混合部52は、混合比検出部53より供給されるMixレートMr-Hに基づいて、入力される画像信号SIと非線形フィルタ51により非線形平滑化処理された画像信号SLPF-Hとを混合し、非線形平滑化された画像信号SF-Hとしてバッファ23に出力する。より詳細には、混合部52は、以下の式(3)を演算して、入力される画像信号SIと非線形フィルタにより非線形平滑化された画像信号SLPF-Hとを混合する。
SF-H=SI×Mr-H/Mr-H max+SLPF-H×(1−Mr-H/Mr-H max)
・・・(3)
ここで、Mr-Hは、Mixレートであり、Mr-H maxは、MixレートMr-Hの最大値、すなわち、画素値の最大値と最小値の差分絶対値である。
式(3)で示されるように、MixレートMr-Hが大きければ、非線形フィルタ51により処理された画像信号SLPF-Hの重みが小さくなり、入力された処理されていない画像信号SIの重みが大きくなる。逆に、MixレートMr-Hが小さければ、すなわち、水平方向に隣接する画素間の画素値の差分絶対値が小さいほど、非線形フィルタにより処理された画像信号SLPF-Hの重みが大きくなり、入力された処理されていない画像信号の重みが小さくなる。
従って、微小エッジが検出された場合、MixレートMr-Hは最大MixレートMr-H maxとなるので、実質的に入力された画像信号SIが、そのまま出力されることになる。
一方、ステップS34において、「微小エッジが存在しない」と判定された場合、ステップS37において、混合比検出部53は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr-Hとして求め、混合部52に出力し、その処理は、ステップS36に進む。
すなわち、図9の場合、混合比検出部53は、注目画素Cと、各水平処理方向成分画素L2,L1,R1,R2との画素値の差分絶対値|C−L2|,|C−L1|,|C−R1|,|C−R2|を計算し、計算した各差分絶対値のうちの最大値を混合比であるMixレートMr-Hとして求め、混合部52に出力する。
すなわち、微小エッジが存在しない場合、注目画素と各水平処理方向成分画素との画素値の差分絶対値の最大値に応じて、非線形フィルタリング処理された画像信号SLPF-Hと、入力された画像信号SIとが混合されて、非線形平滑化処理された画像信号SF-Hが生成され、微小エッジが存在した場合、入力された画像信号SIがそのまま出力される。
結果として、非線形平滑化処理部32においては、閾値ε3を基準として微小エッジが検出されることになるので、微小エッジが存在する部分については、非線形平滑化処理が施されないようにすると共に、エッジが存在しない部分についても、その差分絶対値の大きさに応じて非線形平滑化処理が施された画素値と、入力された画像信号とを混合するようにしたので、特に、微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという事態を抑止することが可能になる。
ここで、図8のフローチャートの説明に戻る。
ステップS16において、Flatレート計算部35は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図9の場合、Flatレート計算部35は、注目画素Cと、垂直方向に隣接する各垂直参照方向成分画素U2,U1,D1,D2との画素値の差分絶対値|C−U2|,|C−U1|,|C−D1|,|C−D2|を計算する。
ステップS17において、Flatレート計算部35は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr-Vとして混合部33に供給する。
ステップS18において、混合部33は、Flatレート計算部35より供給されるFlatレートFr-Vに基づいて、入力される画像信号SIと非線形平滑化処理部32により非線形平滑化処理された画像信号SF-Hとを混合し、水平処理平滑化処理された画像信号SNL-Hとしてバッファ23に出力する。より詳細には、混合部33は、以下の式(4)を演算して、入力される画像信号SIと非線形平滑化処理部32により非線形平滑化処理された画像信号SF-Hとを混合する。
SNL-H=SF-H×Fr-V/Fr-H max+SI×(1−Fr-V/Fr-V max)
・・・(4)
ここで、Fr-Vは、垂直方向のFlatレートであり、Fr-V maxは、垂直方向のFlatレートFr-Vの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr-Vは、垂直参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態(Flatな状態)であると言える。逆に、FlatレートFr-Vが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態(Flatではない状態)であることが示される。
このため、式(4)で示されるように、FlatレートFr-Vが大きければ、非線形平滑化処理部32により非線形平滑化処理された画像信号SF-Hの重みが増し、入力された処理されていない画像信号SIの重みが小さくなる。逆に、FlatレートFr-Vが小さければ、すなわち、垂直方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部32により非線形平滑化処理された画像信号SF-Hの重みが小さくなり、入力された処理されていない画像信号SIの重みが大きくなる。
ステップS18において、水平処理方向成分画素抽出部31は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップS11に戻る。そして、ステップS18において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図7のステップS1の処理が終了する。尚、垂直参照方向成分画素抽出部34も、同様に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。
結果として、注目画素に対して垂直方向に隣接する垂直参照方向成分画素との画素値の差分絶対値より求められる垂直方向のFlatレートFr-Vに応じて、水平方向に非線形平滑化処理された画像信号SF-Hと、入力された画像信号SIとが混合されることにより、垂直方向に相関が強い、すなわち、垂直方向のFlatレートFr-Vが小さく、垂直方向の相関が強い場合、入力された画像信号SIの重みを大きくし、逆に、垂直方向のFlatレートFr-Vが大きく、垂直方向の相関が弱い場合、水平方向に非線形フィルタリング処理された画像信号SF-Hの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた(非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた)不自然な処理を抑制することが可能となる。
尚、以上においては、混合に際しては、FlatレートFr-Vをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートに応じた重み係数を非線形フィルタリング処理された画像信号SF-Hと入力された画像信号SIのそれぞれに乗じて混合するようにしても良い。すなわち、例えば、図16で示されるように、FlatレートFr-Vに応じて設定される重み係数W1,W2を用いて、以下の式(5)を用いて混合するようにしても良い。
SNL-H=SI×W1+SF-H×W2
・・・(5)
ここで、W2は水平方向に非線形フィルタリング処理された画像信号SF-Hの重み係数であり、W1は入力された画像信号SIの重み係数である。また、(W1+W2)は、重み係数の最大値Wmax(=1)である。
すなわち、図16においては、FlatレートFr-HがFr1より小さい範囲(Fr-V<Fr1)では、重み係数W1は、重み係数の最大値Wmaxであり、重み係数W2は0である。FlatレートFr-VがFr1より以上で、かつ、Fr2以下の範囲(Fr1≦Fr-V≦Fr2)では、重み係数W1は、FlatレートFr-Vに比例して減少し、重み係数W2は、FlatレートFr-Vに比例して増大して、かつ、(W1+W2)は、重み係数の最大値Wmax(=1)となるように設定されている。さらに、FlatレートFr-VがFr2より大きい範囲(Fr2≦Fr-V)では、重み係数W1は0であり、重み係数W2は重み係数の最大値Wmaxである。
結果として、エッジの有無を正確に意識して、画像を非線形平滑化することが可能となる。尚、Fr1=Fr2となる場合、FlatレートFr-Vが、Fr1(=Fr2)であるときを閾値として、出力される画像信号が、入力された画像信号SIか、または、非線形平滑化処理された画像信号SF-Hのいずれかが、切替えられて出力されることになる。
また、上述した図8のフローチャートにおけるステップS14の処理である、閾値設定処理により、例えば、図17の上部で示されるような矩形波があり、注目画素が図中のバツ印であった場合、図17の下部で示されるように、垂直参照方向画素の波形に基づいて、閾値ε2の大きさを設定することにより、図18の上部で示されるように閾値を設定することが可能となるため、図17の上部で示されるように矩形波の画素値の変化よりも大きいことにより、図1の中段で示されるような波形に変化してしまうといった問題を解消し、図18の下部で示されるよに、矩形波を維持しつつ、振幅成分のみを平滑化することが可能となる。
ここで、図7のフローチャートに戻る。
以上のように、ステップS1において、水平方向平滑化処理部22は、水平方向平滑化処理により生成された画像信号SNL-Hをバッファ23に順次記憶させる。
ステップS2において、垂直方向平滑化処理部24は、バッファ23に、順次記憶されている、水平方向平滑化処理されている画像信号SNL-Hを用いて、垂直方向平滑化処理を実行する。ここで、図19のフローチャートを参照して、垂直方向平滑化処理について説明する。尚、垂直方向平滑化処理は、水平方向平滑化処理における処理の水平方向の処理と、垂直方向の処理とを入れ替えた処理であり、処理内容そのものは同様のものである。また、閾値設定処理についても、注目画素に対して垂直方向に隣接する画素から水平方向に隣接する画素と、注目画素とを用いる以外の点については、同様の処理であるので、その説明は省略する。
すなわち、ステップS51において、垂直方向平滑化処理部24の垂直処理方向成分画素抽出部41は、ラスタスキャン順に注目画素を設定する。同時に、水平参照方向成分画素抽出部44も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、垂直処理方向成分画素抽出部41により設定される注目画素と、水平参照方向成分画素抽出部44により設定される注目画素とが同一となるように設定される必要がある。
ステップS52において、垂直処理方向成分画素抽出部41は、注目画素と共に、注目画素に対して垂直方向(上下方向)に2画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計5画素の画素値をバッファ23より抽出して非線形平滑化処理部42に出力する。例えば、図9で示されるような場合、画素U2,U1,C,D1,D2が、注目画素および水平参照方向成分画素として抽出される。
ステップS53において、水平参照方向成分画素抽出部44は、注目画素と共に、注目画素に対して水平方向(左右方向)に2画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計5画素の画素値をバッファ23より抽出してFlatレート計算部45に出力する。例えば、図9で示されるような場合、画素L2,L1,C,R1,R2が、注目画素および水平参照方向成分画素として抽出される。
ステップS54において、閾値設定部46は、閾値設定処理を実行する。
ステップS55において、非線形平滑化処理部42は、垂直処理方向成分画素抽出部41より供給された注目画素と垂直処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。尚、ステップS55における非線形平滑化処理については、図8のステップS15における非線形平滑化処理と、水平方向と垂直方向の関係が入れ替わるのみで、その他の処理については同様であるので、その説明は省略するものとする。従って、この処理により、非線形平滑化処理部42は、垂直方向に非線形平滑化処理された画像信号SF-Vを混合部43に出力する。
ステップS56において、Flatレート計算部45は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図9の場合、Flatレート計算部45は、注目画素Cと、水平方向に隣接する各水平参照方向成分画素L2,L1,R1,R2との画素値の差分絶対値|C−L2|,|C−L1|,|C−R1|,|C−R2|を計算する。
ステップS57において、Flatレート計算部45は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr-Hとして混合部43に供給する。
ステップS58において、混合部43は、Flatレート計算部45より供給されるFlatレートFr-Hに基づいて、入力される水平方向平滑化処理部22により水平方向非線形平滑化処理された画像信号SNL-Hと非線形平滑化処理部42により非線形平滑化処理された画像信号SF-Vとを混合し、垂直方向の近接画素と用いて平滑化された画像信号SOをバッファ25に出力する。より詳細には、混合部43は、以下の式(6)を演算して、入力される水平方向非線形平滑化処理されている画像信号SNL-Hと非線形平滑化処理部42により垂直方向に非線形平滑化処理された画像信号SF-Vとを混合する。
SO=SF-V×Fr-H/Fr-H max+SNL-H×(1−Fr-H/Fr-H max)
・・・(6)
ここで、Fr-Hは、水平方向のFlatレートであり、Fr-H maxは、FlatレートFr-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr-Hは、水平方向に隣接する各水平参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に水平方向に隣接する近傍画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態(Flatな状態)であると言える。逆に、FlatレートFr-Hが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する水平参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態(Flatではない状態)であることが示される。
このため、式(6)で示されるように、FlatレートFr-Hが大きければ、非線形平滑化処理部42により垂直方向に非線形平滑化処理された画像信号SF-Vの重みが増し、水平方向平滑化処理された画像信号SNL-Hの重みが小さくなる。逆に、FlatレートFr-Hが小さければ、すなわち、水平方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部32により垂直方向に非線形平滑化処理された画像信号SF-Vの重みが小さくなり、入力された水平方向に非線形平滑化処理されている画像信号SNL-Hの重みが大きくなる。
ステップS59において、垂直処理方向成分画素抽出部41は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップS51に戻る。そして、ステップS59において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図7のステップS2の処理が終了する。尚、水平参照方向成分画素抽出部44も、同様の処理に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。
結果として、注目画素に対して水平方向に隣接する水平参照方向成分画素との画素値の差分より求められるFlatレートFr-Hに応じて、垂直方向に平滑化処理された画像信号SF-Vと入力された画像信号SNL-Hとが混合されることにより、水平方向に相関が強い、すなわち、水平方向のFlatレートFr-Hが小さく、水平方向の相関が強い場合、入力された水平方向線形平滑化処理された画像信号SNL-Hの重みを大きくし、水平方向のFlatレートFr-Hが大きく、水平方向の相関が弱い場合、垂直方向に非線形フィルタリング処理された画像信号SF-Vの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた(非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた)不自然な処理を抑制することが可能となる。
尚、以上においては、混合に際しては、FlatレートFr-Hをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートFr-Hに応じた重み係数を平滑化処理された画像信号SF-Vと入力された水平方向平滑化処理された画像信号SNL-Hのそれぞれに乗じて混合するようにしても良い。すなわち、上述した水平方向平滑化処理における図16で示されるように、FlatレートFr-Hに応じて設定される重み係数W1,W2を用いていた場合と同様に、以下の式(7)のようにして、垂直方向平滑化処理された画像信号SOを求めるようにしても良い。
SO=SNL-H×W11+SF-V×W12
・・・(7)
ここで、W12は垂直方向に平滑化処理された画像信号SF-Vの重み係数であり、W11は入力された水平方向平滑化処理された画像信号SNL-Hの重み係数である。また、(W11+W12)は、重み係数の最大値Wmax(=1)である。
結果として、エッジの有無を正確に意識して生成される画像を非線形平滑化することが可能となる。
ここで、図7のフローチャートの説明に戻る。
ステップS2において、垂直方向平滑化処理が実行されると、ステップS3において、次の画像が入力されたか否かが判定され、次の画像が入力されたと判定された場合、その処理は、ステップS1に戻り、それ以降の処理が繰り返される。ステップS3において、次の画像が入力されていない、すなわち、画像信号が終了したと判定された場合、その処理は、終了する。
以上の処理により、水平方向平滑化処理と垂直方向平滑化処理のそれぞれで、処理方向に応じた不自然な平滑化処理を、Flatレートを求めて、Flatレートに応じて、非線形平滑化された画像信号と、非線形平滑化処理されていない画像信号を混合するようにしたので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
また、非線形平滑化処理に用いる閾値ε2を処理方向に対して垂直方向の画素(参照方向画素)を用いて設定するようにしたので、構造成分を維持したまま、振幅成分のみを強調することが可能となるので、図1で説明したような、矩形波形を崩したり、強調処理を行えないといった問題を解消し、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
以上においては、閾値設定処理において、注目画素と、参照方向画素との差分絶対値のうち、最大となるものを閾値ε2に設定するようにしていたが、閾値はこれに限るものではなくその他の方法で設定するようにしてもよい。閾値ε2は、例えば、注目画素および参照方向成分画素のうち、最大値と最小値とを求めて、それらの差分絶対値により設定するようにしてもよい。
図20は、閾値ε2を、注目画素および垂直参照方向成分画素のうち、最大値と最小値との差分絶対値により設定するようにした閾値設定部36の構成を示している。
最大値抽出部81は、注目画素および垂直参照方向成分画素のいずれか最大値となる画素の画素値を抽出し、閾値決定部83に供給する。
最小値抽出部82は、注目画素および垂直参照方向成分画素のいずれか最小値となる画素の画素値を抽出し、閾値決定部83に供給する。
閾値決定部83は、最大値抽出部81より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最大となる画素の画素値と、最小値抽出部82より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最小となる画素の画素値との差分絶対値を求めて、所定のマージンを加算して閾値ε2に設定し、非線形平滑化処理部32に供給する。
次に、図21のフローチャートを参照して、図20の閾値設定部36による閾値設定処理について説明する。
ステップS71において、最大値抽出部81は、注目画素および垂直参照方向成分画素のいずれか最大値となる画素の画素値を抽出し、閾値決定部83に供給する。すなわち、図9の場合、注目画素および垂直参照方向成分画素は、画素U2,U1,C,D1,D2であるので、最大値抽出部81は、画素U2,U1,C,D1,D2の画素値のうち、最大値となる画素の画素値を抽出して閾値決定部83に供給する。
ステップS72において、最小値抽出部82は、注目画素および垂直参照方向成分画素のいずれか最小値となる画素の画素値を抽出し、閾値決定部83に供給する。すなわち、図9の場合、注目画素および垂直参照方向成分画素は、画素U2,U1,C,D1,D2であるので、最小値抽出部82は、画素U2,U1,C,D1,D2の画素値のうち、最小値となる画素の画素値を抽出して閾値決定部83に供給する。
ステップS73において、閾値決定部83は、最大値抽出部81より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最大となる画素の画素値と、最小値抽出部82より供給されてくる注目画素および垂直参照方向成分画素のうちで、画素値が最小となる画素の画素値との差分絶対値を求めて、所定のマージンを加算して閾値ε2に設定し、非線形平滑化処理部32に供給する。
以上のように、注目画素および垂直参照方向成分画素における最大値と最小値との差分絶対値に基づいて閾値ε2が設定されることにより、構造成分を維持しつつ、振幅成分のみを平滑化することが可能となる。尚、閾値設定部46は、閾値設定部36において処理された注目画素および垂直参照方向成分画素に代えて、注目画素および水平参照方向成分画素が処理されることになるのみであり、その処理は、同様であるので、その説明は省略するものとする。
以上においては、注目画素と参照方向成分画素との最大値と最小値との差分絶対値に基づいて閾値ε2が設定される例について説明してきたが、例えば、注目画素および参照方向成分画素のうち、注目画素を境界として2方向に存在する画素の画素値の最大値と最小値と差分絶対値のうち、小さい方の値に基づいて、閾値ε2を設定するようにしてもよい。
図22は、注目画素および参照方向成分画素のうち、注目画素を境界として2方向に存在する画素の画素値の最大値と最小値との差分絶対値のうち、小さい方の値に基づいて、閾値ε2を設定するようにした閾値設定部36の構成例を示している。
第1方向最大値抽出部91は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部93に供給する。尚、図22においては、第1方向とは注目画素に対して上部の方向を示し、第2方向とは下部の方向を示す。
第1方向最小値抽出部92は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部93に供給する。
第2方向最大値抽出部94は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部96に供給する。
第2方向最小値抽出部95は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部96に供給する。
差分絶対値算出部93は、第1方向最大値抽出部91より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最大値と、第1方向最小値抽出部92より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部97に供給する。
差分絶対値算出部96は、第2方向最大値抽出部94より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最大値と、第2方向最小値抽出部95より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部97に供給する。
閾値決定部97は、差分絶対値算出部93,96より、それぞれに供給されてくる差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として決定し、非線形平滑化処理部32に供給する。
次に、図23のフローチャートを参照して、図22の閾値設定部36による閾値設定処理について説明する。
ステップS91において、第1方向最大値抽出部91は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部93に供給する。すなわち、例えば、図9における場合、第1方向最大値抽出部91は、注目画素Cと、注目画素Cよりも上部の方向に隣接する垂直参照方向成分画素U2,U1を抽出し、画素値C,U1,U2のうち、最大値となる画素値を差分絶対値算出部93に供給する。
ステップS92において、第1方向最小値抽出部92は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より上部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部93に供給する。すなわち、例えば、図9における場合、第1方向最小値抽出部92は、注目画素Cと、注目画素Cよりも上部の方向に隣接する垂直参照方向成分画素U2,U1を抽出し、画素値C,U1,U2のうち、最小値となる画素値を差分絶対値算出部93に供給する。
ステップS93において、差分絶対値算出部93は、第1方向最大値抽出部91より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最大値と、第1方向最大値抽出部92より供給されてくる注目画素を含む注目画素よりも上部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部97に供給する。すなわち、図9における場合、差分絶対値算出部93は、第1方向最大値抽出部91より供給されてくる画素値C,U1,U2の最大値と、第1方向最小値抽出部92より供給されてくる画素値C,U1,U2の最小値との差分絶対値を求めて閾値決定部97に供給する。
ステップS94において、第2方向最大値抽出部94は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最大値を抽出して差分絶対値算出部96に供給する。すなわち、例えば、図9における場合、第2方向最大値抽出部94は、注目画素Cと、注目画素Cよりも下部の方向に隣接する垂直参照方向成分画素D2,D1を抽出し、画素値C,D1,D2のうち、最大値となる画素値を差分絶対値算出部96に供給する。
ステップS95において、第2方向最小値抽出部95は、注目画素および垂直参照方向成分画素のうち、注目画素および注目画素より下部の方向に隣接している垂直参照方向成分画素の画素値の最小値を抽出して差分絶対値算出部96に供給する。すなわち、例えば、図9における場合、第2方向最小値抽出部95は、注目画素Cと、注目画素Cよりも下部の方向に隣接する垂直参照方向成分画素D2,D1を抽出し、画素値C,D1,D2のうち、最小値となる画素値を差分絶対値算出部96に供給する。
ステップS96において、差分絶対値算出部96は、第2方向最大値抽出部94より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最大値と、第2方向最小値抽出部95より供給されてくる注目画素を含む注目画素よりも下部の方向に存在する画素の最小値との差分絶対値を算出して閾値決定部97に供給する。すなわち、図9における場合、差分絶対値算出部96は、第2方向最大値抽出部94より供給されてくる画素値C,D1,D2の最大値と、第2方向最小値抽出部95より供給されてくる画素値C,D1,D2の最小値との差分絶対値を求めて閾値決定部97に供給する。
ステップS97において、閾値決定部97は、差分絶対値算出部93,96より、それぞれに供給されてくる差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として決定し、非線形平滑化処理部32に供給する。
以上の処理により、注目画素にエッジが存在する場合、注目画素の画素値に近い近傍画素のみを使用して閾値を設定することが可能となる。すなわち、図24で示されるように、注目画素Cを含めて、その下部である画素D1,D2が白色の画素値であって、注目画素Cより上部の画素U1,U2が黒色の画素値であるような場合、注目画素Cは、画素値としては画素D1,D2に近い値となる。したがって、画素C,U1,U2のうちの最大値と最小値との差分絶対値と、画素C,D1,D2のうちの最大値と最小値との差分絶対値とを比較すれば、画素C,D1,D2のうちの最大値と最小値との差分絶対値の方が小さくなり、この値が閾値ε2に設定される。結果として、注目画素Cに近い画素値のみを使って閾値ε2を設定することができるので、構造成分のみを正確に抽出することができ、振幅成分のみを正確に平滑化することが可能となる。尚、閾値設定部46は、閾値設定部36において処理された注目画素および垂直参照方向成分画素に代えて、注目画素および水平参照方向成分画素が処理されることになるのみであり、その処理は、同様であるので、その説明は省略するものとする。
以上においては、注目画素を基準に参照方向成分画素を分けた上で、それらの中での最大値と最小値との差分絶対値に基づいて閾値を設定するようにしてきたが、例えば、注目画素を基準に参照方向成分画素を分けた上で、それらの中で各画素について、注目画素との差分絶対値に基づいて閾値ε2を設定するようにしてもよい。
図25は、注目画素を基準に参照方向成分画素を分けた上で、それらの中で各画素について、注目画素との差分絶対値に基づいて閾値ε2を設定するようにした閾値設定部36の構成を示している。
第1方向差分絶対値算出部111は、注目画素と、注目画素より上部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部113に供給する。
第2方向差分絶対値算出部112は、注目画素と、注目画素より下部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部113に供給する。
閾値決定部113は、第1方向差分絶対値算出部111および第2方向差分絶対値算出部112より供給される差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として設定し、非線形平滑化処理部32に供給する。
次に、図25の閾値設定部36による閾値設定処理について説明する。
ステップS111において、第1方向差分絶対値算出部111は、垂直方向成分画素抽出部34より供給されてくる画素のうち、注目画素と、注目画素より上部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部113に供給する。すなわち、例えば、図9の場合、第1方向差分絶対値算出部111は、注目画素Cと、注目画素Cに対して上部に配置される画素U1,U2との各差分絶対値|C−U1|,|C−U2|を計算すると共に、それらの最大値を求めて、閾値決定部113に供給する。
ステップS112において、第2方向差分絶対値算出部112は、垂直方向成分画素抽出部34より供給されてくる画素のうち、注目画素と、注目画素より下部に隣接して配置される各垂直参照方向成分画素との差分絶対値を算出し、その中で、最大値となる差分絶対値を閾値決定部113に供給する。すなわち、例えば、図9の場合、第2方向差分絶対値算出部112は、注目画素Cと、注目画素Cに対して上部に配置される画素D1,D2との各差分絶対値|C−D1|,|C−D2|を計算すると共に、それらの最大値を求めて、閾値決定部113に供給する。
ステップS113において、閾値決定部113は、第1方向差分絶対値算出部111および第2方向差分絶対値算出部112より供給される差分絶対値のうち、小さい方の値にマージンを加算して、閾値ε2として設定し、非線形平滑化処理部32に供給する。
以上の処理により、注目画素にエッジが存在する場合、注目画素の画素値に近い近傍画素のみを使用して、注目画素を基準とした閾値を設定することが可能となる。尚、閾値設定部46は、閾値設定部36において処理された注目画素および垂直参照方向成分画素に代えて、注目画素および水平参照方向成分画素が処理されることになるのみであり、その処理は、同様であるので、その説明は省略するものとする。
ところで、以上においては、注目画素を基準として、処理方向に対して垂直方向に存在する画素を用いて閾値を設定する例について説明してきたが、注目画素近傍の画素を注目画素に対して垂直方向に限定することなく使用するようにしてもよく、例えば、注目画素を基点とした8方向の画素ブロックの相関の高さにより設定するようにしてもよい。
図27は、注目画素を基点とした8方向の相関により閾値を設定するようにした水平方向平滑化処理部22の構成を示している。尚、図27において、図3における水平方向平滑化処理部22の構成と同一の構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
図27の水平方向平滑化処理部22において、図3と異なるのは、閾値設定部36に代えて、閾値設定部121を設けた点である。
閾値設定部121は、入力される画像の全ての画素について、注目画素を基準にして、上下垂直方向、左右水平方向、左右上下の斜め方向について、画素ブロック毎に、各画素と注目画素との差分絶対値を求めて、各画素ブロックにおける最大値のうち、最小となる差分絶対値に基づいて、閾値ε2を求める。
次に、図28を参照して、閾値設定部121の一実施の形態の構成について説明する。
ブロック差分絶対値131−1乃至131−8は、それぞれ図29で示されるような、画素ブロック毎に各画素と注目画素との差分絶対値を求め、その最大値を閾値決定部132に供給する。
画素ブロックとは、例えば、図29で示される画素ブロックB1乃至B8である。画素ブロックB1は、注目画素に対して垂直上方のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,U1,U2,P1乃至P10,P14,P15の14画素で構成される。また、画素ブロックB2は、注目画素に対して右斜め上方のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,U1,U2,R1,R2,P4,P9,P10,P15乃至P17の11画素で構成される。さらに、画素ブロックB3は、注目画素に対して水平右側のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,R1,R2,P10,P11,P15乃至P17,P19,P23乃至P25,P30,P31の14画素で構成される。また、画素ブロックB4は、注目画素に対して右斜め下方のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,D1,D2,R1,R2,P23乃至P25,P29,P30,P35の11画素で構成される。
画素ブロックB5は、注目画素に対して垂直下方のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,D1,D2,P22,P23,P27乃至P36の14画素で構成される。また、画素ブロックB6は、注目画素に対して左斜め下方のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,D1,D2,L1,L2,P20乃至P22,P27,P28,P33の11画素で構成される。さらに、画素ブロックB7は、注目画素に対して水平左側のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,L1,L2,P6,P7,P12乃至P14,P18,P20乃至P22,P26,P27の14画素で構成される。また、画素ブロックB8は、注目画素に対して左斜め上方のテクスチャの有無を検出するための画素ブロックであり、図29においては、例えば、画素C,U1,U2,L1,L2,P2,P7,P8,P12乃至P14の11画素で構成される。
閾値決定部132は、ブロック差分絶対値131−1乃至131−8より供給されてくる差分絶対値のうち、最小となる差分絶対値に、マージンを加算した値を閾値ε2として設定し、非線形平滑化処理部32に供給する。
次に、図30のフローチャートを参照して、図28の閾値設定部36による閾値設定処理について説明する。
ステップS131において、ブロック差分絶対値算出部131−1乃至131−8は、それぞれの画素ブロックの各画素と注目画素との差分絶対値を求め、さらに、それらの最大値を閾値決定部132に供給する。
すなわち、図29の場合、ブロック差分絶対値算出部131−1は、画素ブロックB1の|C−U1|,|C−U2|,|C−P1|乃至|C−P10|,|C−P14|,|C−P15|を求め、これらのうち、最大値を閾値決定部132に供給する。
また、ブロック差分絶対値算出部131−2は、画素ブロックB2の|C−U1|,|C−U2|,|C−R1|,|C−R2|,|C−P4|,|C−P9|,|C−P10|,|C−P15|乃至|C−P17|を求め、これらのうち、最大値を閾値決定部132に供給する。
さらに、ブロック差分絶対値算出部131−3は、画素ブロックB3の|C−R1|,|C−R2|,|C−P10|,|C−P11|,|C−P15|乃至|C−P17|,|C−P19|,|C−P23|乃至|C−P25|,|C−P30|,|C−P31|を求め、これらのうち、最大値を閾値決定部132に供給する。
また、ブロック差分絶対値算出部131−4は、画素ブロックB4の|C−D1|,|C−D2|,|C−R1|,|C−R2|,|C−P23|乃至|C−P25|,|C−P29|,|C−P30|,|C−P35|を求め、これらのうち、最大値を閾値決定部132に供給する。
さらに、ブロック差分絶対値算出部131−5は、画素ブロックB5の|C−D1|,|C−D2|,|C−P22|,|C−P23|,|C−P27|乃至|C−P36|を求め、これらのうち、最大値を閾値決定部132に供給する。
また、ブロック差分絶対値算出部131−6は、画素ブロックB6の|C−D1|,|C−D2|,|C−L1|,|C−L2|,|C−P20|乃至|C−P22|,|C−P27|,|C−P28|,|C−P33|を求め、これらのうち、最大値を閾値決定部132に供給する。
さらに、ブロック差分絶対値算出部131−7は、画素ブロックB7の|C−L1|,|C−L2|,|C−P6|,|C−P7|,|C−P12|乃至|C−P14|,|C−P18|,|C−P20|乃至|C−P22|,|C−P26|,|C−P27|を求め、これらのうち、最大値を閾値決定部132に供給する。
また、ブロック差分絶対値算出部131−8は、画素ブロックB8の|C−U1|,|C−U2|,|C−L1|,|C−L2|,|C−P2|,|C−P7|,|C−P8|,|C−P12|乃至|C−P14|を求め、これらのうち、最大値を閾値決定部132に供給する。
ステップS132において、閾値決定部132は、ブロック差分絶対値算出部131−1乃至131−8より供給されてくる、各ブロックにおける差分絶対値の最大値のうち、最小となる最大値に、マージンを加算した値を閾値ε2として設定し、非線形平滑化処理部32に供給する。すなわち、差分絶対値が最小となるブロックの画素は、注目画素に対して最も相関が高く、注目画素に跨るテクスチャが存在する可能性が高いとみなすため、そのブロックの差分絶対値の最大値が最小となる値が閾値ε2として設定される。
以上の処理により、注目画素に対してテクスチャの存在する可能性の高い方向に応じた、注目画素の近傍の画素により閾値が設定されることになるので、構造成分を維持しつつ、振幅成分を平滑化することが可能となる。尚、以上においては、注目画素に対して8方向のテクスチャの存在する画素ブロックの画素値により閾値ε2を設定していたが、それ以外の数の方向のテクスチャの存在する可能性を考慮して閾値を設定するようにしてもよい。
尚、以上においては、注目画素に対してテクスチャの存在する方向に対応する画素ブロックの各画素と注目画素との画素値の差分絶対値を閾値として設定する例について説明してきたが、例えば、注目画素に対する方向に関わらず、差分絶対値の分布に基づいて、閾値を設定するようにしてもよい。
図31は、注目画素と、注目画素近傍の画素の画素値との差分絶対値のヒストグラムにより、差分絶対値の分布に基づいて、閾値を設定するようにした閾値設定部121の構成例を示している。
差分絶対値算出部141は、入力される全ての画素を注目画素としたとき、注目画素の近傍画素と、注目画素との差分絶対値を求めて、ヒストグラム生成部142に供給する。
ヒストグラム生成部142は、差分絶対値を横軸に頻度を縦軸にしたヒストグラムを生成し、閾値決定部143に供給する。
閾値決定部143は、ヒストグラム生成部142より供給されてくるヒストグラムに基づいて、閾値ε2を設定し、非線形平滑化処理部32に供給する。
次に、図32のフローチャートを参照して、図31の閾値設定部121による閾値設定処理について説明する。
ステップS141において、差分絶対値算出部141は、入力される全ての画素を注目画素としたとき、注目画素の近傍画素と、注目画素との差分絶対値を求めて、ヒストグラム生成部142に供給する。このとき、近傍画素については、例えば、注目画素を中心とした、11画素×11画素の範囲などである。
ステップS142において、ヒストグラム生成部142は、差分絶対値を横軸に頻度を縦軸にしたヒストグラムを生成し、閾値決定部143に供給する。この処理により、例えば、図33で示されるように、ピークP1,P2が発生するようなヒストグラムなどが生成される。
ステップS143において、閾値決定部143は、ヒストグラム生成部142より供給されてくるヒストグラムに基づいて、閾値ε2を設定し、非線形平滑化処理部32に供給する。より具体的には、例えば、図33で示されるようなヒストグラムが供給されてきた場合、閾値決定部143は、ピークP1,P2近傍の差分絶対値を持つ画素が多く分布し、それらの画素によりエッジが存在するものとみなし、ピークP1,P2間の頻度の低い、例えば、差分絶対値Btを閾値ε2として設定する。
以上の処理により、差分絶対値の頻度に基づいて、エッジの存在する差分絶対値の分布に基づいて、閾値ε2を設定することができるので、構造成分を維持しつつ、振幅成分のみを平滑化することが可能となる。
尚、以上においては、水平方向平滑化処理部22における閾値設定部121について説明してきたが、垂直方向平滑化処理部24においても、図34で示されるように同様の構成からなる閾値設定部151が設けられているが、閾値設定部121における水平方向および垂直方向との関係が入れ替わるのみは、同様の処理がなされるのみであるので、その説明は省略する。
尚、以上においては、水平方向平滑化処理の後、垂直方向平滑化処理が施される場合の例について説明してきたが、垂直方向平滑化処理の後、水平方向平滑化処理が施されるようにしてもよい。また、水平方向平滑化処理か、または、垂直方向平滑化処理のいずれかの処理のみを画像信号に施すだけでも、それぞれの処理で、処理方向に応じたFlatレートを求めるようにしているので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。
また、以上の非線形平滑化処理部32においては、注目画素と、注目画素に対する水平処理方向成分画素を用いて非線形平滑化処理を行う例について説明してきたが、例えば、非線形平滑化処理において、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにしても良い。図35は、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにした水平方向平滑化処理部22の構成を示している。図35において、図3と対応する構成については、同一の符号を付すものとし、その説明は適宜省略するものとする。
図35の水平方向平滑化処理部22において、図3の水平方向平滑化処理部22と異なるのは非線形平滑化処理部32に代えて、非線形平滑化処理部161を設け、混合部33を削除して、Flatレート計算部35により計算されたFlatレートFr-Vを非線形平滑化処理部161に供給するようにしたことである。非線形平滑化処理部161は、基本的には、非線形平滑化処理部32と同様の機能を有するものであるが、さらに、非線形平滑化処理において、水平処理方向成分画素と共に、垂直参照方向成分画素抽出部34より供給される垂直参照方向成分画素を用いるようにした点が異なる。
次に、図36を参照して、非線形平滑化処理部161の詳細な構成について説明する。尚、図36の非線形平滑化処理部161の構成において、図5の非線形平滑化処理部32の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
図36の非線形平滑化処理部161の構成において、図5の非線形平滑化処理部32の構成と異なるのは、制御信号発生部62に代えて、制御信号発生部171を設けた点である。制御信号発生部171は、基本的な機能は、制御信号発生部62と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部35より供給されるFlatレートFr-Vを用いて制御信号を発生させる点で異なる。
次に、図37のフローチャートを参照して、図35の水平方向平滑化処理部22による非線形平滑化処理について説明する。尚、図37のフローチャートにおけるステップS153乃至S157の処理は、図11のフローチャートにおけるステップS33乃至S37の処理と同様であるので、その説明は省略する。
ステップS151において、非線形フィルタ51の制御信号発生部62は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。
ステップS152において、ローパスフィルタ61は、制御信号発生部171により計算された注目画素Cと、複数の水平処理方向成分画素の画素値との各差分絶対値と所定の閾値ε2と比較して、この比較結果に対応して、閾値ε2よりも大きい場合、Cに置き換える第1の処理を実行した後、第1の処理が施された各画素に対してFlatレート計算部35より供給されてくるFlatレートFr-vを考慮して、画像信号SIに非線形フィルタリング処理を施す。
より具体的には、例えば、注目画素Cを中心として左右2画素の画像信号が信号L2,L1,C,R1,R2であった場合、LPF61は、制御信号発生部171により発生される制御信号に基づいて、注目画素Cの画素値との差分が閾値よりも大きいとき、Cに置き換える処理を施し、注目画素を中心として左右に2画素ずつの水平方向の信号L2’,L1’,C,R1’,R2’を生成するものとする。さらに、LPF61は、各信号L2’,L1’,C,R1’,R2’に対して、FlatレートFr-Vを考慮した処理を施す。
すなわち、例えば、信号L2’の場合、FlatレートFr-Vを考慮した処理により得られる信号L2”は、以下の式(8)を計算することにより求められる。
L2”=WC×C+WL2×L2’
・・・(8)
ここで、式(8)において、WL2とWCは、上述した式(5)における重みと同様のものであり、WCがW1に、WL2がW2にそれぞれ対応する(WL2+WC=1)ものである。従って、FlatレートFr-vが小さい場合、重みWCが最大値(=1)となり、信号L2”はCとなる(L2”=C)。
また、画素の信号に対しても同様の処理が施されるので、信号L1’,R1’,R2’のそれぞれは、以下の式(9)乃至式(11)で示されるような式により計算される。
L1”=WC×C+WL1×L1’
・・・(9)
R1”=WC×C+WR1×R1’
・・・(10)
R2”=WC×C+WR2×R2’
・・・(11)
ここで求められる重みは、何れも注目画素Cの垂直方向のFlatレートFr-Vが用いられるので、実質的に、WL2=WL1=WR2=WR1となる。よって、FlatレートFr-vが、所定の閾値より小さい場合、L1”=C,R1”=C,R2”=Cとなる.
結果として、このような場合、LPF61は、式(1)を用いて、以下の式(12)を演算することにより水平方向平滑化処理を行う。
C’=(1×C+2×C+3×C+2×C+1×C)/9
= C
・・・(12)
結果として、FlatレートFr-vが小さい場合、入力された画像信号がそのまま出力されることになる。逆にFlatレートFr-vが大きい場合、式(1)のように水平方向の画素の値に基づいてフィルタリング処理された値を用いる。
以上のように、非線形平滑化処理においてFlatレートを考慮して処理を行うことが可能であるので、後段の混合部33を削除することが可能となる(結果として、非線形平滑化処理部161より出力される信号SF-H=水平方向平滑化処理部22から出力される信号SNL-Hとなる)。
以上の処理により、注目画素の水平方向の相関のみならず、垂直方向の相関も考慮した非線形フィルタリング処理を実現することで、さらに、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。
尚、図36においては、非線形平滑化処理部161の構成として、制御信号発生部171が、水平処理方向成分画素に加えて、垂直参照方向成分画素をも考慮した非線形フィルタリング処理をする例について説明してきたが、微小エッジを検出する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにしても良い。
図38は、MixレートMr-Hを計算する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにした非線形平滑化処理部161の構成を示している。尚、図38の非線形平滑化処理部161の構成において、図5の非線形平滑化処理部32の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
図38の非線形平滑化処理部161の構成において、図5の非線形平滑化処理部32の構成と異なるのは、混合比検出部53に代えて、混合比検出部181を設けた点である。混合比検出部181は、基本的な機能は、混合比検出部53と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部35より供給されるFlatレートFr-Vを用いてMixレートMr’-Hを求める。
次に、図39のフローチャートを参照して、図38の非線形平滑化処理部161による微小エッジ判定処理を説明する。尚、図39のフローチャートにおけるステップS171乃至S176の処理は、図11のフローチャートにおけるステップS31乃至S36の処理と同様であるので、その説明は省略する。
ステップS177において、混合比検出部181は、注目画素と、各水平処理方向成分画素とのそれぞれの画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr-H(MixレートMr-Hは、ステップS35,S37における処理と同様の手法により求められる)を求めた後、FlatレートFr-Vを用いてMixレートMr’-Hを求め、混合部52に出力する。
より詳細には、混合比検出部181は、以下の式(13)を演算することにより、FlatレートFr-Vを用いてMixレートMr’-Hを求める。
Mr’-H=WA×Mr-Hmax+WB×Mr-H
・・・(13)
ここで、重みWAとWBは、それぞれ式(5)における重みW1とW2に相当する。また、MixレートMr-HmaxはMixレートMr-Hの最大値である。FlatレートFr-Vが小さい場合MixレートMr’-H=Mr-H maxとなり、大きい場合はMr-H'=Mr-Hとなる。従って、例えば、FlatレートFr-Vが小さい場合、式(3)の結果から、信号SF-H=SIとなり、入力された信号SIがそのまま出力されることになる。
以上の処理により、非線形平滑化処理部の混合部の時点で垂直方向の情報を付加することが可能となり、注目画素に対応する水平処理方向成分画素のみならず、垂直参照方向成分画素をも考慮してMixレートMr-Hを設定することが可能となるので、より自然に非線形フィルタリング処理された画像信号SLPF-Hと、入力された画像信号SIとを混合することが可能となり、結果として、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。
同様にして、垂直方向平滑化処理部24においても同様に垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにしても良い。図40は、垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにした垂直方向平滑化処理部24の構成を示している。尚、図40の垂直方向平滑化処理部24の構成において、図4の非線形平滑化処理部24の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。
図40の垂直方向平滑化処理部24において、図4の垂直方向平滑化処理部24と異なるのは非線形平滑化処理部42に代えて、非線形平滑化処理部191を設け、混合部33を削除して、Flatレート計算部45により計算されたFlatレートFr-Hを非線形平滑化処理部191に供給するようにしたことである。非線形平滑化処理部191は、基本的には、非線形平滑化処理部42と同様の機能を有するものであるが、さらに、非線形平滑化処理において、垂直処理方向成分画素と共に、Flatレート計算部45より供給されるFlatレートFr-Hを用いるようにした点が異なる。
尚、非線形平滑化処理部191の構成は、図36,図38で示される非線形平滑化処理部161における水平方向の処理を垂直方向の処理にしている点以外は同様であるので、その説明は省略する。また、処理についても、水平方向の処理と垂直方向の処理とが入れ替わっている点以外は同様であるので、その説明は省略する。また、以上においては、閾値設定部36,46を用いた場合について説明してきたが、例えば、図41で示されるように、非線形平滑化処理部161を使用する際、閾値設定部36に代えて閾値設定部121を用いるようにしてもよいことは言うまでもない。さらに、同様にして、例えば、図42で示されるように、非線形平滑化処理部191を使用する際、閾値設定部46に代えて閾値設定部151を設けるようにしてもよい。いずれにおいても、閾値設定処理については、上述したものと同様であるので、その説明は省略する。
本発明の信号処理装置および方法、並びにプログラムによれば、連続的に配置されている信号を、順次、注目信号に指定し、指定された注目信号の近傍信号と、注目信号との差分絶対値に基づいて、第1の閾値を設定し、指定した注目信号を基準として、第1の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出し、注目信号と各処理信号との差分である処理差分と、第1の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算し、処理差分と第1の閾値よりも小さな第2の閾値との比較結果に基づいて、平滑化信号と注目信号との第1の混合比を計算し、計算した第1の混合比に基づいて、平滑化信号、および、注目信号を混合し、第1の混合信号を生成し、指定した注目信号を基準として、第2の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出し、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第2の混合比を計算し、計算した第2の混合比に基づいて、第1の混合信号、および、注目信号を混合し、第2の混合信号を生成するようにしたので、画像を構成する画素の急峻なエッジを保持したままで、エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化することが可能となる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
図43は、図2の強調処理装置11の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU201は、パーソナルコンピュータの全体の動作を制御する。また、CPU201は、バス204および入出力インタフェース205を介してユーザからキーボードやマウスなどからなる入力部206から指令が入力されると、それに対応してROM(Read Only Memory)202に格納されているプログラムを実行する。あるいはまた、CPU201は、ドライブ210に接続された磁気ディスク221、光ディスク222、光磁気ディスク223、または半導体メモリ224から読み出され、記憶部208にインストールされたプログラムを、RAM(Random Access Memory)203にロードして実行する。これにより、上述した図2の強調処理装置11の機能が、ソフトウェアにより実現されている。さらに、CPU201は、通信部209を制御して、外部と通信し、データの授受を実行する。
プログラムが記録されている記録媒体は、図43に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク221(フレキシブルディスクを含む)、光ディスク222(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク223(MD(Mini-Disc)を含む)、もしくは半導体メモリ224などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM202や、記憶部208に含まれるハードディスクなどで構成される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
11 強調処理装置, 22 水平方向平滑化処理部, 24 垂直方向平滑化処理部, 31 水平処理方向成分画素抽出部, 32 非線形平滑化処理部, 33 混合部, 34 垂直参照方向成分画素抽出部, 35 Flatレート計算部, 36 閾値設定部, 41 垂直処理方向成分画素抽出部, 42 非線形平滑化処理部, 43 混合部, 44 水平参照方向成分画素抽出部, 45 Flatレート計算部, 46 閾値設定部, 51 非線形フィルタ, 52 混合部, 53 混合比検出部, 61 LPF, 62 制御信号発生部, 71 差分絶対値算出部, 72 閾値決定部, 81 最大値抽出部, 82 最小値抽出部, 83 閾値決定部, 91 最大値抽出部, 92 最小値抽出部, 93 差分絶対値算出部, 94 最大値抽出部, 95 最小値抽出部, 96 差分絶対値算出部, 97 閾値決定部, 111 第1方向差分絶対値算出部, 112 第2方向差分絶対値算出部, 113 閾値決定部, 121 閾値設定部, 131−1乃至131−8 ブロック差分絶対値算出部, 132 閾値決定部, 141 差分絶対値算出部, 142 ヒストグラム生成部, 143 閾値決定部, 151 閾値設定部, 161 非線形平滑化処理部, 171 制御信号発生部, 181 混合比検出部, 191 非線形平滑化処理部