JP4496106B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、動画像に含まれるノイズを検出し、除去することが可能な画像処理装置及び画像処理方法に関する。

デジタルテレビ受像機などの機器において、動画像に含まれるノイズを検出する手法には、様々なものがある。

例えば、特許文献１には、ビデオ信号中の連続したフィールド又はフレーム間で互いに対応する画素の画素値間の差の絶対値（即ち、絶対差）を各々計算し、計算した絶対差を所定の個数だけ累積することにより、ノイズに対応する値を抽出する技術が開示されている。

また、特許文献２には、映像信号の差を求め、その差を二乗し、平均して平方根を求めることにより、固定パターンノイズを含まないランダムノイズだけを求める技術が開示されている。
特開２００１−３４６２２８公報 特開平２−２３３０８９号公報

しかしながら、従来の技術によるノイズ検出においては、フレーム間における画像の変化（絵柄の変化）などの影響をも受けてしまうため、ノイズを精度良く検出することができないという問題がある。

本発明は上記実情に鑑みてなされたものであり、動画像に含まれるノイズを精度良く検出することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、複数のフレームが連続する動画像の現信号と、この現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号とから、フレーム間の画像の差分レベルを画素単位で生成する差分生成手段と、前記差分生成手段により生成される個々の差分レベルのうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態で、前記フレーム間の差分レベルの頻度分布を示すヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されるヒストグラムのうち、ノイズ量判定に用いるヒストグラムとして不適切なヒストグラムを前記ヒストグラム生成手段により生成されるヒストグラムから除外し、この除外したヒストグラムを生成するヒストグラム除外手段と、前記ヒストグラム除外手段により生成されるヒストグラムに基づきノイズの量を判定するノイズ量判定手段とを具備する。

本発明によれば、動画像に含まれるノイズを精度良く検出することができる。

以下、図面を参照して、本発明の実施例について説明する。
図１は、本発明の第１実施例に係る画像処理装置の構成を示すブロック図である。
当該画像処理装置は、例えばデジタルテレビ受像機や記録再生機などに搭載され、ＬＳＩなどの形で実現できるものとなっている。また、この画像処理装置は、伝送されるデジタル動画像データの有効画像範囲（垂直及び水平ブランキング期間を除く画像範囲）の信号に含まれるノイズを検出する機能を有する。

この画像処理装置の第１実施例においては、複数のフレームが連続する動画像の現信号と、この現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号とから、フレーム間で対応する画素の差分を生成する。そして、生成された個々の差分のうち、一定値以上の画像変化（絵柄の変化）が生じた画素に対応する差分を除いた上で、個々の差分の頻度分布を示すヒストグラムを生成し、生成されたヒストグラムに基づき、ノイズの量を判定する。

上記画像処理装置は、ノイズ除去回路１１、フレームメモリ１２、フレーム間差分生成回路１３、バンドパスフィルタ１４、セレクタ１５、絶対値生成回路１６、リミッタ１７、スイッチ１８、ヒストグラム生成回路１９、動き検出回路２０、エッジ検出回路２１、検出領域指定回路２２、カウントＳＷ制御回路２３、ヒストグラムカウンタリセット回路２４、及びノイズ量判定部２６を備えている。

ノイズ除去回路１１は、フレーム巡回型と呼ばれる形式を採用したノイズ除去回路であり、フレーム間差分信号及び後述のノイズ除去回路パラメータを入力しながら、動画像の現信号に対してノイズ除去処理を行い、ノイズ除去済み現信号を生成する。生成されたノイズ除去済み現信号は、フレームメモリ１２へ送られる。

フレームメモリ１２は、ノイズ除去回路１１により生成されたノイズ除去済み現信号を入力して一時的に記憶するものであり、１フレーム分の遅延時間後に、ノイズ除去済みフレーム遅延信号を出力する。このノイズ除去済みフレーム遅延信号は、フレーム間差分生成回路１３、動き検出回路２０、及びエッジ検出回路２１へ送られる。

フレーム間差分生成回路１３は、動画像の現信号とノイズ除去済みフレーム遅延信号とから、フレーム間で対応する画素の画素値差分（画素毎の差分信号レベル）を示すフレーム間差分信号を生成する。例えば、フレーム間で絵柄に一定値以上の変化（信号レベルの変化）が生じた画素においては、上記フレーム間差分信号は、ノイズ成分のほかに、絵柄の変化に起因する成分をも含んでいることになる。生成されたフレーム間差分信号は、ノイズ除去回路１１、バンドパスフィルタ１４、及びセレクタ１５へ送られる。

バンドパスフィルタ１４は、フレーム間差分生成回路１３により生成されたフレーム間差分信号に対してＤＣ成分を除去する。ＤＣ成分を除去することにより、後述する動き検出でも検出できない微小な絵柄の変化に起因する成分を排除することができる。

セレクタ１５は、フレーム間差分信号をバンドパスフィルタ１４に処理させる場合と、させない場合とに切り替えて、絶対値生成回路１５へ送り出すものである。なお、このセレクタ１５を設けずに、常にバンドパスフィルタ１４を使用する形態としてもよいし、セレクタ１５もバンドパスフィルタ１４も設けない形態としてもよい。

絶対値生成回路１６は、フレーム間差分信号に示される差分の絶対値（差分の大きさ）を示すフレーム間差分絶対値信号を生成する。

リミッタ１７は、絶対値生成回路１６により生成されたフレーム間差分絶対値信号に対して、後述するヒストグラムの生成に必要のない一定値以上のレベルの信号の通過を制限し、フレーム間差分ヒストグラム入力信号を生成する。このフレーム間差分ヒストグラム入力信号には、画素毎の差分信号レベルが示されている。なお、上記リミッタ１７は必ずしも必要とされるものではない。

スイッチ１８は、カウントＳＷ制御回路２３により制御され、フレーム間差分ヒストグラム入力信号のヒストグラム生成回路１９への入力を、画素単位でオン／オフする切り替え処理を行うものである。

ヒストグラム生成回路１９は、差分信号レベル別に画素の数をそれぞれカウントするための複数のカウンタを備えている。このヒストグラム生成回路１９は、スイッチ１８がオンとなっているときにフレーム間差分ヒストグラム入力信号を入力して、当該信号に示されている各画素に対応する個々の差分信号レベルを取得し、差分信号レベル別に画素の数をそれぞれカウントすることにより、差分信号レベルの頻度分布を示すフレーム間差分ヒストグラムを生成する。尚、１つのカウンタで複数個のレベルを包含する所定のレベル範囲に対応した画素の数をカウントする構成とすることも可能である。各カウンタのカウント結果は、複数本（複数ビット）の信号線を介して誤検出ヒストグラム除外判定部２５へ、フレーム間差分ヒストグラムＤＨＩとして送られる。この際、カウント結果の情報を圧縮もしくは減少させる処理を行ってから誤検出ヒストグラム除外判定部２５へ送るようにしてもよい。

動き検出回路２０は、画像中のノイズ成分を除外した低周波成分のフレーム間の信号レベル変化が一定値（所定閾値）以上となる画素を検出し、検出結果を動き検出信号として出力する。この結果、動き検出回路２０は、画像中の絵柄の動きを検出する。

エッジ検出回路２１は、フレーム間の信号レベル変化が高周波数成分を含む画素を検出し、検出結果をエッジ検出信号として出力する。この結果、エッジ検出回路２１は、隣接する画素との信号レベルの差が一定値（所定閾値）以上となる画素を検出する。

検出領域指定回路２２は、垂直同期信号及び水平同期信号を入力し、ヒストグラム生成の対象となる範囲（例えば有効画像範囲）を指定する範囲指定信号を出力する。なお、この検出領域指定回路２２により、ヒストグラム生成の対象となる画素を空間的に間引くこともできる。

カウントＳＷ制御回路２３は、ヒストグラム生成の対象となる範囲を検出領域指定回路２２により指定された範囲に設定し、動き検出回路２０により検出された画素に対応する差分、及びエッジ検出回路２１により検出された画素に対応する差分が、ヒストグラム生成の対象から外れるようにスイッチ１８を制御する。すなわち、カウントＳＷ制御回路２３は、検出領域指定回路２２により指定された範囲のうち、動き検出信号もエッジ検出信号も入力していない間は、スイッチ１８をオンの状態にしているが、動き検出信号とエッジ検出信号の少なくとも一方の信号を入力している間は、スイッチ１８をオフの状態にし、該当する画素についてのカウントが行われないようにする。この結果、フレーム間での絵柄の変化が少なく、フレーム内で絵柄が平坦な領域の画素に関する差分情報が得られる。

ヒストグラムカウンタリセット回路２４は、垂直同期信号及び水平同期信号を入力し、ヒストグラム生成回路１９の各カウンタからヒストグラムを示す信号が出力されるタイミングで、ヒストグラム生成回路１９の各カウンタの値をリセットする。ここでは１フレーム毎にリセットを行うようにしているが、複数フレーム毎にリセットを行うようにしてもよい。この場合、ヒストグラム生成回路１９の各カウンタは、複数のフレーム間にわたってカウントを行うため、複数のフレーム間にわたって積分されたヒストグラムが生成されることになる。

誤検出ヒストグラム除外判定部２５は、フレーム間差分ヒストグラムＤＨＩを入力し、当該ヒストグラムを後段のノイズ量判定部２６でノイズ量判定に用いるか否かを判定する。

ノイズ量判定部２６は、誤検出ヒストグラム除外判定部２５でノイズ量判定に用いると判定されたヒストグラムのみについて、動画像におけるノイズの量を判定する。ノイズの量は、ヒストグラムに示される頻度分布の標準偏差、分散、及び平均値の少なくとも一つを用いて判定することができる。この判定結果は、動画像の制御に関わる各種のパラメータ（画像の輪郭強調の度合いを決めるパラメータなど）の調整に利用することができる。なお、上記ヒストグラムの積分処理を当該ノイズ量判定部２６の側で行ってからノイズ量の判定を行うようにしてもよい。

このように構成された画像処理装置においては、動画像の現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号が生成され、現信号とこのノイズ除去済みフレーム遅延信号とに基づいてフレーム間差分信号が生成される。このフレーム間差分信号は、各種の必要な処理が施された後、フレーム間差分ヒストグラム入力信号としてヒストグラム生成回路１９へ供給される。一方、現信号とノイズ除去済みフレーム遅延信号とに基づいて、動き検出やエッジ検出が行われ、検出された画像に対応する信号の上記ヒストグラム生成回路１９への供給が阻止される。これにより、フレーム間や画素間での絵柄の変化などに起因する不要な成分が除去された状態でヒストグラムが生成されるため、動画像におけるノイズの量が判定されることになる。

図２は、図１中に示される動き検出回路２０の構成を示すブロック図である。
動き検出回路２０は、例えば、フレーム間差分生成回路３１、ローパスフィルタ３２、絶対値生成回路３３、レベル比較回路３４、及び動き検出信号エリアフィルタ３５を備えている。

フレーム間差分生成回路３１は、動画像の現信号とノイズ除去済みフレーム遅延信号とに基づき、フレーム間で対応する画素の画素値差分（画素毎の差分信号レベル）を示すフレーム間差分信号を生成する。なお、このフレーム間差分生成回路３１を設けず、代わりに、同じ機能を有する前述の図１中のフレーム間差分生成回路１３の出力信号をローパスフィルタ３２へ供給する構成としてもよい。

ローパスフィルタ３２は、フレーム間差分生成回路３１により生成されたフレーム間差分信号に対して、高域成分すなわちノイズ成分を除去し、低帯域フレーム間差分信号を生成する。この低帯域フレーム間差分信号は、フレーム間の絵柄の動きによる変化を示し、ノイズではない。

絶対値生成回路３３は、ローパスフィルタ３２により生成された低帯域フレーム間差分信号に示される差分の絶対値（差分の大きさ）を示す低帯域フレーム間差分絶対値信号を生成する。

レベル比較回路３４は、絶対値生成回路３３により生成された低帯域フレーム間差分絶対値信号のレベルが、動き検出レベル閾値以上となる画素を検出し、検出結果を示す信号を生成する。

動き検出信号エリアフィルタ３５は、レベル比較回路３４により生成された信号に対し、動き検出レベル閾値以上となる画素に関する情報を空間的に拡大し、動き検出信号として出力する。ここでの拡大処理は、水平方向のみに対して行うようにしてもよいし、水平方向及び垂直方向の両方に対して行うようにしてもよい。

このような構成により、低帯域フレーム間差分絶対値信号が一定値（所定閾値）以上となる画素に対応する検出結果を動き検出信号として得ることができる。

図３は、図１中に示されるエッジ検出回路２１の構成を示すブロック図である。
エッジ検出回路２１は、例えば、フレーム間差分生成回路４１、バンドパスフィルタ４２、絶対値生成回路４３、レベル比較回路４４、及びエッジ検出信号エリアフィルタ４５を備えている。

フレーム間差分生成回路４１は、動画像の現信号とノイズ除去済みフレーム遅延信号とに基づき、フレーム間の画像の差分を示すフレーム間差分信号を生成する。なお、このフレーム間差分生成回路４１は必ずしも設ける必要はない。

バンドパスフィルタ４２は、フレーム間差分生成回路４１により生成されたフレーム間差分信号に対して、低域成分を除去し、高帯域フレーム間差分信号を生成する。この高帯域フレーム間差分信号は、絵柄のエッジ部分を示す。なお、ここでの処理は、水平方向のみに対して行うようにしてもよいし、水平方向及び垂直方向の両方に対して行うようにしてもよい。

絶対値生成回路４３は、バンドパスフィルタ４２により生成された画素間差分信号に示される差分の絶対値（差分の大きさ）を示す高帯域フレーム間差分絶対値信号を生成する。

レベル比較回路４４は、絶対値生成回路４３により生成された高帯域フレーム間差分絶対値信号のレベルがエッジ検出レベル閾値以上となる画素を検出し、検出結果を示す信号を生成する。

エッジ検出信号エリアフィルタ４５は、レベル比較回路４４により生成された信号に対し、エッジ検出レベル閾値以上となる画素に関する情報を空間的に拡大し、エッジ検出信号として出力する。ここでの拡大処理は、水平方向のみに対して行うようにしてもよいし、水平方向及び垂直方向の両方に対して行うようにしてもよい。

こうした構成により、隣接する画素との信号レベルの差が一定以上（閾値以上）となる画素に対応する検出結果をエッジ検出信号として得ることができる。

図４〜図６は、図１中に示されるヒストグラム生成回路１９により生成されるヒストグラムの例を示す図である。図４〜図６のヒストグラムの例においては、横軸がフレーム間差分レベルを示し、縦軸は正規化したカウント値（即ち、カウント数／全カウント数）即ち頻度を示している。図４はノイズが大きい場合の一例を示しており、図５はノイズが中程度の場合の一例を示しており、図６はノイズが小さい場合の一例を示している。

図４のヒストグラム（ノイズ大）は、図５のヒストグラム（ノイズ中）に比べ、頻度分布の標準偏差、分散、もしくは平均値が比較的大きいものとなっている。一方、図６のヒストグラム（ノイズ小）は、図５のヒストグラム（ノイズ中）に比べ、頻度分布の標準偏差、分散、もしくは平均値が比較的小さいものとなっている。

例えば、前述のノイズ量判定部２６は、ヒストグラムに示される頻度分布の標準偏差、分散、もしくは平均値が大きいほど、ノイズの量が多いものと判定する。あるいは、各フレーム間差分における個々のカウント値のうち、閾値を超えるものを合計して得られた値が大きいほど、ノイズの量が多いものと判定する。

図７は図１で示した画像処理装置を用いた本発明に係る動画像ノイズ除去を行う画像処理装置の第１実施例を示す。

この画像処理装置は、図１の構成に対し、パラメータ決定部２７及びパラメータ設定部２８を加えたものとなっている。 この画像処理装置は、図１の構成で得られたノイズ量に基づいて、ノイズ除去回路１１のパラメータを調整できるように構成されている。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。

パラメータ決定部２７は、ノイズ量判定部２６により判定されたノイズ量に基づき、ノイズ除去回路１１における所定のパラメータ（フレーム巡回係数など）の値を決定する。

パラメータ設定部２８は、ノイズ除去回路１１で使用される上記パラメータの値を、パラメータ決定部２７により決定された値に設定する。

こうした構成により、ノイズ除去回路１１におけるパラメータの値が、ノイズ量判定部２６により判定されたノイズ量に応じて適切に調整されることになる。

動画像ノイズ検出を行う画像処理装置及び動画像ノイズ除去を行う画像処理装置の第１実施例によれば、デジタル動画像信号の有効画像範囲に対するノイズ検出において、絵柄の変化よる影響を極力抑えた検出結果を得ることができる。また、この検出結果を用いてノイズ除去回路のパラメータを調整することにより、最適なノイズ除去を行うことができる。

以下、上記画像処理装置における本発明による誤検出ヒストグラム除外判定部２５について詳細に説明する。

誤検出ヒストグラム除外判定部２５は、ヒストグラム生成回路１９により生成されるフレーム間差分ヒストグラムのうち、ノイズ量判定部２６のノイズ量判定に用いるヒストグラムとして不適切なヒストグラムを、ノイズ量判定から除外する。例えば誤検出ヒストグラム除外判定部２５は、フレーム間差分ヒストグラムとして特異な形状（特徴）を有するヒストグラムを、信頼性の低いヒストグラムとして判断し、該ヒストグラムがノイズ量判定部２６によりノイズ量判定に使用されることを防止する。これにより、ノイズ量判定部２６は更に信頼性の高い判定処理を行うことができる。上記の特異な形状を有するヒストグラムは、例えば動き検出回路２０で検出できなかった動き成分あるはエッジ検出回路２１で検出できなかったエッジ成分を有するヒストグラムを含む。

図８は本発明による誤検出ヒストグラム除外判定部２５の第１実施例として、誤検出ヒストグラム除外判定部２５ａを示す。

カウント値総和算出部１０１は、入力されたフレーム間差分ヒストグラムの各カウント数の総和ＣＳＬを求める。比較回路１０２は、カウント値総和算出部１０１により算出された総和ＣＳＬと所定閾値ＴＨ１とを比較し、総和ＣＳＬが所定閾値ＴＨ１以下の場合、比較結果ＤＥＴ１として例えば”１（ハイレベル）”を提供する。この結果、ノイズ量判定部２６は、現在の差分ヒストグラムＤＨＩをノイズ量判定に用いない（以前の差分ヒストグラムを更新しない）。

つまり誤検出ヒストグラム除外判定部２５ａは、前記総和ＣＳＬが所定閾値ＴＨ１以下の場合は、当該フレーム間差分ヒストグラムをノイズ量判定に用いないと判定する。このように構成することにより、フレーム間差分ヒストグラムを構成する画素の数が少なく、大きな検出誤差を生じる可能性があるヒストグラムをノイズ量判定から除外することができ、より信頼性の高いノイズ量判定が行える。

図９は上記動画像ノイズ検出装置及び動画像ノイズ除去装置における、本発明による誤検出ヒストグラム除外判定部２５の第２実施例として、誤検出ヒストグラム除外判定部２５ｂを示す。

微分回路１１１は、フレーム間差分ヒストグラムＤＨＩの各カウント数を基に、該ヒストグラムＤＨＩの微分値ＤＩＦを算出する。符号変化検出部１１２は、微分値ＤＩＦの符号変化点ＳＩＧを検出する。カウンタ１１３は符号変化点ＳＩＧに基づいて、前記ヒストグラムの極大点の数ＣＳＩを計数する。比較器１１４は極大点の数ＣＳＩと所定閾値ＴＨ２とを比較し、極大値の数ＣＳＩが所定閾値ＴＨ２以上の場合、比較結果ＤＥＴ２として例えば”１（ハイレベル）”を提供する。この結果、ノイズ量判定部２６は、現在の差分ヒストグラムＤＨＩをノイズ量判定に用いない。

図１０はフレーム間差分ヒストグラムの極大点について説明する図である。図１０（ａ）は極大点がない場合、図１０（ｂ）は極大点が１つある場合、図１０（ｃ）は極大点が２つある場合である。

誤検出ヒストグラム除外判定部２５ｂは、極大値の数ＣＳＩが所定閾値ＴＨ２（本実施例では２）以上の場合は、当該フレーム間差分ヒストグラムをノイズ量判定に用いないと判定する。このように構成することにより、ランダムノイズ以外の動き成分等の成分が、誤って混入したフレーム間差分ヒストグラムを、ノイズ量判定から除外することができ、より安定したノイズ量判定が行える。

図１１は本発明の動画像ノイズ検出装置及び動画像ノイズ除去装置における、誤検出ヒストグラム除外判定部２５の第３実施例として、誤検出ヒストグラム除外判定部２５ｃを示す。

正規化部１２１は、入力されたフレーム間差分ヒストグラムＤＨＩの各カウント数をカウント数の総和で正規化し、正規化ヒストグラムＲＥＨを提供する。メモリ１２２は、正規化ヒストグラムＲＥＨを１フレーム期間遅延して、遅延ヒストグラムＲＧＭを提供する。減算器１２３は正規化部１２１が出力する現在の正規化ヒストグラムＲＥＨと、メモリ１２２が出力する遅延ヒストグラムＲＧＭの差分を算出し、差分正規化ヒストグラムＲＧＤを提供する。絶対値回路１２４は、差分正規化ヒストグラムＲＧＤの絶対値である絶対値ヒストグラムＲＧＡを生成し、比較回路１２５はヒストグラムＲＧＡと所定閾値ＴＨ３とを比較する。比較回路１２５は、絶対値ヒストグラムＲＧＡを構成する各カウント数の中で、所定閾値ＴＨ３以上のカウント数が存在する場合、比較結果ＤＥＴ３として例えば”１”を提供する。この結果、ノイズ量判定部２６は、現在の差分ヒストグラムＤＨＩをノイズ量判定に用いない。

図１２は誤検出ヒストグラム除外判定部２５ｃの動作を説明するための図である。図１２（ａ）は直前に取得したヒストグラムつまり遅延正規化ヒストグラムＲＧＭの一例を示し、図１２（ｂ）は現在の正規化ヒストグラムＲＥＨの一例を示し、図１２（ｃ）は差分正規化ヒストグラムＲＧＤの絶対値ＲＧＡを示す。尚、図１２（ａ）〜１２（ｃ）の縦軸に示される正規化カウント数は、カウント数をカウント数の総和で除算した（カウント数／カウント数の総和）値である。

つまり誤検出ヒストグラム除外判定部２５ｃは、現在の差分ヒストグラムＤＨＩと以前の差分ヒストグラムＲＧＭの差分を算出し、該差分の絶対値を示す絶対値ヒストグラムＲＧＡ（図１２（ｃ）参照）を作成する。絶対値ヒストグラムＲＧＡにおいて、所定閾値ＴＨ３以上のカウント数が存在する場合、前記現在のヒストグラムＤＨＩをノイズ量判定に用いないと判定する。

このように構成することにより、動き検出回路２０及びエッジ検出回路２１等の誤検出により形状が特異形状になってしまったフレーム間差分ヒストグラムを、ノイズ量判定から除外することができ、より安定したノイズ量判定が行える。

図１３は本発明の動画像ノイズ検出装置及び動画像ノイズ除去装置における、誤検出ヒストグラム除外判定部２５の第４実施例として、誤検出ヒストグラム除外判定部２５ｄを示す。

正規化部１３１は、フレーム間差分ヒストグラムＤＨＩの各カウント数をカウント数の総和で正規化し、正規化ヒストグラムＲＥＨを生成する。標準偏差算出部１３２は、正規化ヒストグラムＲＥＨを基に、その標準偏差ＳＴＡ（もしくは分散）を算出する。平均値算出部１３４は、正規化ヒストグラムＲＥＨを基に、その平均値ＡＶＥを算出する。メモリ１３５は、標準偏差ＳＴＡ及び平均値ＡＶＥをそれぞれ１フレーム期間遅延して遅延標準偏差ＳＴＭ及び遅延平均値ＡＶＭを提供する。

減算器１３６は、標準偏差ＳＴＡと遅延標準偏差ＳＴＭの差分を算出し、差分標準偏差ＳＴＤを提供する。減算器１３７は、平均値ＡＶＥと遅延平均値ＡＶＭの差分を算出し、差分平均値ＡＶＤを提供する。絶対値回路１３８は、差分標準偏差ＳＴＤの絶対値ＳＴＤＡを算出し、絶対値回路１３９は、差分平均値ＡＶＤの絶対値ＡＶＤＡを算出する。比較回路１４０は、絶対値ＳＴＤＡと所定閾値ＴＨ４とを比較し、絶対値ＳＴＤＡが所定閾値ＴＨ４以上の場合、比較結果ＳＴＣとして例えば”１”を提供する。比較回路１４１は、絶対値ＡＶＤＡと所定閾値ＴＨ５とを比較し、絶対値ＡＶＤＡが所定閾値ＴＨ５以上の場合、比較結果ＡＶＣとして”１” を提供する。ＯＲ回路１４２は比較結果ＳＴＣと比較結果ＡＶＣをＯＲ演算し、演算結果ＤＥＴ４を提供する。演算結果ＤＥＴ４が”１”の場合、ノイズ量判定部２６は、現在の差分ヒストグラムＤＨＩをノイズ量判定に用いない。 つまり検出ヒストグラム除外判定部２５ｄは、現在のフレーム間差分ヒストグラムとそれより以前に取得した時間的に最も近いフレーム間差分ヒストグラムとを共に正規化し、それぞれ標準偏差（もしくは分散）及び平均値を算出する。現在及び以前のヒストグラム間で平均値の差の絶対値ＡＶＤＡが所定閾値ＴＨ５以上となった場合、あるいは、ヒストグラム間で標準偏差（もしくは分散）の差の絶対値ＳＴＤＡが所定閾値ＴＨ４以上となった場合は、現在のフレーム間差分ヒストグラムをノイズ量判定に用いないと判定する。

このように構成することにより、動き検出回路２０及びエッジ検出回路２１等の誤検出により形状が特異形状になってしまったフレーム間差分ヒストグラムをノイズ量判定から除外することができ、より安定したノイズ量判定が行える。

図１４は本発明の画像処理装置の第２実施例を示す。図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。

前述の第１実施例に係る画像処理装置（図１）においては、フレームメモリ１２は、ノイズ除去回路１１により生成されたノイズ除去済み現信号を入力して一時的に記憶し、１フレーム分の遅延時間後に、ノイズ除去済みフレーム遅延信号を出力する構成であった。

これに対し、画像処理装置の第２実施例（図１４）においては、フレームメモリ１２は、上記ノイズ除去済み現信号を入力するのではなく、現信号を入力して一時的に記憶し、１フレーム分の遅延時間後に、フレーム遅延信号を出力する構成となっている。このため、フレーム間差分生成回路１３は、動画像の現信号とフレーム遅延信号とに基づき、フレーム間で対応する画素の画素値差分（画素毎の差分信号レベル）を示すフレーム間差分信号を生成することになる。このように画像処理装置は、上記フレーム巡回型ノイズ除去回路１１と組み合わせなくても構成できる。

このように構成された画像処理装置においては、動画像の現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号が生成され、現信号とこのフレーム遅延信号とからフレーム間差分信号が生成される。このフレーム間差分信号は、各種の必要な処理が施された後、フレーム間差分ヒストグラム入力信号としてヒストグラム生成回路１９へ供給される。一方、現信号とフレーム遅延信号とに基づいて、動き検出やエッジ検出が行われ、検出された画像に対応する信号の上記ヒストグラム生成回路１９への供給が阻止される。これにより、フレーム間や画素間での絵柄の変化などに起因する不要な成分が除去された状態でヒストグラムが生成されるため、動画像におけるノイズの量が精度良く判定されることになる。

なお、図１４の構成に対し、図７にて説明したパラメータ決定部２７、パラメータ設定部２８、ノイズ除去回路を更に加えてもよい。この画像処理装置の第２実施例によれば、前述の第１実施例と同様な効果を得ることができる。

図１５、図１６は本発明の画像処理装置の第３、第４実施例を示す。図１７は本発明の動画像ノイズ除去を行う画像処理装置の第２実施例を示す。図１、図７、図１４で示した例との相違点は、カウントＳＷ制御回路２３ａ…及びフレーム間差分ヒストグラム１９ａ…のように、１画面内でＮ個の領域におけるフレーム間差分ヒストグラムを生成できる構成となっている点である。

図１８はフレーム間差分ヒストグラムが検出される領域の設定例を示す。図１８（ａ）は１画面（フレーム）を４分割した例を示す。通常、差分ヒストグラムは、１画面中のどの領域においても同様な特性（形状）を有している。従って、例えば２つの領域の差分ヒストグラムにおいて、対応する差分レベルのカウント値はほぼ等しい。誤検出ヒストグラム除外判定部２５は、１画面内の互いに異なる領域の差分ヒストグラムを比較し、互いに対応する差分レベルのカウント値の差において、所定閾値より大きいものがある場合、当該フレーム間差分ヒストグラムをノイズ量判定に用いるヒストグラムから除外する。

図１８（ｂ）は、画面周辺のエリアを除く領域において、複数領域を設定した例を示す。このように画面周辺のエリアを除いて設定すれば、サイドパネルやレターボックスが挿入された動画像に対しても、その影響を受けずに済む。

以下、図１５、図１６の画像処理装置及び図１７の画像処理装置における誤検出ヒストグラム除外判定部２５の実施例を説明する。図１９は誤検出ヒストグラム除外判定部２５の第５実施例を誤検出ヒストグラム除外判定部２５ｅとして示す。

フレーム間差分ヒストグラムカウンタ２９ａは、領域１におけるヒストグラムＨＩＡ１を作成する。正規化部１５３は、ヒストグラムＨＩＡ１の各カウント数をカウント数の総和で正規化し、正規化ヒストグラムＲＥＡ１を提供する。フレーム間差分ヒストグラムカウンタ２９ｂは、領域２におけるヒストグラムＨＩＡ２を作成する。正規化部１５４は、ヒストグラムＨＩＡ２の各カウント数をカウント数の総和で正規化し、正規化ヒストグラムＲＥＡ２を提供する。減算器１５６は、正規化ヒストグラムＲＥＡ１と正規化ヒストグラムＲＥＡ２の差分を算出し、差分正規化ヒストグラムＤＲＥ１を生成する。

同様にフレーム間差分ヒストグラムカウンタ２９ｃは、領域３におけるヒストグラムＨＩＡ３を作成し、正規化部１５５は正規化ヒストグラムＲＥＡ３を提供する。また、減算器１５７は正規化ヒストグラムＲＥＡ１と正規化ヒストグラムＲＥＡ３の差分を算出し、差分正規化ヒストグラムＤＲＥ２を生成する。

このように、正規化部は図１８に示すような領域毎に設けられ、各減算器はＮ個の正規化ヒストグラムのうち２つのヒストグラムの差を算出する。比較器１５８は、差分正規化ヒストグラムＤＲＥ１、ＤＲＥ２、…の各カウント値の絶対値と所定閾値ＴＨ６とを比較し、各カウント値の絶対値の中で所定閾値ＴＨ６以上のものがある場合、比較結果ＤＥＴ５として例えば”１”を提供する。この結果、ノイズ量判定部２６は、現在の差分ヒストグラムＤＨＩをノイズ量判定に用いない。

つまり誤検出ヒストグラム除外判定部２５ｅは、入力された現在のフレームにおけるＮ個の領域のフレーム間差分ヒストグラムのうちの２つのヒストグラム間で、対応する正規化カウント数(カウント数／カウント数の総和)の差の絶対値をそれぞれ求める。差の絶対値のうち所定閾値ＴＨ６以上となるものが1つ以上ある、ヒストグラムの組み合わせが存在する場合、入力された現在のフレーム間差分ヒストグラムＤＨＩをノイズ量判定に用いないと判定する。

このように構成することにより、誤検出により１画面内で形状が特異となってしまったフレーム間差分ヒストグラムをノイズ量判定から除外することができ、より安定したノイズ量判定が行える。

次に、図１５、図１６の画像処理装置及び図１７の画像処理装置における誤検出ヒストグラム除外判定部２５の第６実施例を説明する。図２０は誤検出ヒストグラム除外判定部２５の第６実施例を誤検出ヒストグラム除外判定部２５ｆとして示す。

フレーム間差分ヒストグラムカウンタ２９ａは、領域１におけるヒストグラムＨＩＡ１を作成する。正規化部１６３は、ヒストグラムＨＩＡ１の各カウント数をカウント数の総和で正規化し、正規化ヒストグラムＲＥＡ１を生成する。標準偏差算出部１６５は、正規化ヒストグラムＲＥＡ１を基に、その標準偏差ＳＴＡ１を算出する。平均値算出部１６６は、正規化ヒストグラムＲＥＡ１を基に、その平均値ＡＶＥ１を算出する。

同様に、フレーム間差分ヒストグラムカウンタ２９ｂは領域２におけるヒストグラムＨＩＡ２を作成し、正規化部１６４は正規化ヒストグラムＲＥＡ２を提供し、標準偏差算出部１６７は標準偏差ＳＴＡ２を算出し、平均値算出部１６８は平均値ＡＶＥ２を算出する。このように、ヒストグラムカウンタ、正規化部、標準偏差算出部、平均値算出部は、図１８に示すような領域毎に設けられる。尚、標準偏差算出部の代わりに、分散を算出する分散算出部を設けても良い。

比較器１６９は、複数の領域について算出された複数の標準偏差ＳＴＡ１、ＳＴＡ２、…のうち２つを組み合わせ、それぞれの標準偏差の差分絶対値を算出する。該差分絶対値を所定閾値ＴＨ７とそれぞれ比較し、その比較結果ＳＴＣ１、ＳＴＣ２、…を提供する。例えば比較器１６９は、標準偏差ＳＴＡ１と標準偏差ＳＴＡ２との差分絶対値を算出し、その差分絶対値が所定閾値ＴＨ７以上であければ、比較結果ＳＴＣ１として例えば”１”を出力する。ＯＲ回路１７１は比較器１６９から出力される複数の比較結果に基づいてＯＲ演算を行い、その演算結果ＤＥＴ６を生成する。

比較器１７０は、複数の領域について算出された複数の平均値ＡＶＥ１、ＡＶＥ２、…のうち２つを組み合わせ、組み合わせた平均値の差分絶対値を算出する。該差分絶対値を所定閾値ＴＨ８とそれぞれ比較し、その比較結果ＡＶＣ１、ＡＶＣ２、…を生成する。例えば比較器１７０は、平均値ＡＶＥ１と平均値ＡＶＥ２との差分絶対値を算出し、その差分絶対値が所定閾値ＴＨ８以上であれば、比較結果ＡＶＣ１として例えば”１”を出力する。

ＯＲ回路１７２は比較器１７０から出力される複数の比較結果に基づいてＯＲ演算を行い、その演算結果ＤＥＴ７を提供する。ＯＲ回路１７３は比較結果ＤＥＴ６及びＤＥＴ７に基づいてＯＲ演算を行い、その演算結果ＤＥＴ８を提供する。

つまり誤検出ヒストグラム除外判定部２５ｆは、入力された現在のフレーム内のＮ個の領域における標準偏差（もしくは分散）のうち２つを組み合わせ、それら標準偏差の差の絶対値と所定閾値ＴＨ７とを比較する。標準偏差の差の絶対値が所定閾値ＴＨ７以上となる組み合わせが存在する場合、誤検出ヒストグラム除外判定部２５ｆは、入力された現在のフレーム間差分ヒストグラムＤＨＩをノイズ量判定に用いないと判定する。

更に誤検出ヒストグラム除外判定部２５ｆは、入力された現在のフレーム内のＮ個の領域について算出された平均値のうち２つを組み合わせ、それら平均値の差の絶対値と所定閾値ＴＨ８とを比較する。平均値の差の絶対値が該所定閾値８以上となる組み合わせが存在する場合、誤検出ヒストグラム除外判定部２５ｆは、入力された現在のフレーム間差分ヒストグラムＤＨＩをノイズ量判定に用いないと判定する。

このように構成することにより、動き検出回路２０及びエッジ検出回路２１等の誤検出により形状が特異形状になってしまったフレーム間差分ヒストグラムをノイズ量判定から除外することができ、より安定したノイズ量判定が行える。

以上説明したように本発明によれば、有効画像範囲内の信号からのフレーム間差分絶対値ヒストグラムを用いたノイズ検出において、誤検出により特異となったフレーム間差分絶対値ヒストグラムをノイズ量判定から除外することができ、ノイズに応じた最適なノイズ除去を行うことができる。即ち、動画像に含まれるノイズを精度良く検出することができる。

なお、本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施例に係る画像処理装置の構成を示すブロック図。 図１中に示される動き検出回路の構成を示すブロック図。 図１中に示されるエッジ検出回路の構成を示すブロック図。 ノイズが大きい場合のヒストグラムの例を示す図。 ノイズが中程度の場合のヒストグラムの例を示す図。 ノイズが小さい場合のヒストグラムの例を示す図。 図１の構成で得られたノイズ量に基づいてノイズ除去回路のパラメータを調整できるようにした構成例を示すブロック図。 本発明による誤検出ヒストグラム除外判定部の第１実施例の構成を示す図。 本発明による誤検出ヒストグラム除外判定部の第２実施例の構成を示す図。 フレーム間差分ヒストグラムの極大点について説明する図。 本発明による誤検出ヒストグラム除外判定部の第３実施例の構成を示す図。 誤検出ヒストグラム除外判定部２５ｃの動作を説明するための図。 本発明による誤検出ヒストグラム除外判定部の第４実施例の構成を示す図。 本発明の第２実施例に係る画像処理装置の構成を示すブロック図。 本発明の第３実施例に係る画像処理装置の構成を示すブロック図。 本発明の第４実施例に係る画像処理装置の構成を示すブロック図。 図１５の構成で得られたノイズ量に基づいてノイズ除去回路のパラメータを調整できるようにした構成例を示すブロック図。 フレーム間差分ヒストグラムが検出される領域の設定例を示す図。 本発明による誤検出ヒストグラム除外判定部の第５実施例の構成を示す図。 本発明による誤検出ヒストグラム除外判定部の第６実施例の構成を示す図。

符号の説明

１１…ノイズ除去回路、１２…フレームメモリ、１３…フレーム間差分生成回路、１４…バンドパスフィルタ、１５…セレクタ、１６…絶対値生成回路、１７…リミッタ、１８…スイッチ、１９…ヒストグラム生成回路、２０…動き検出回路、２１…エッジ検出回路、２２…検出領域指定回路、２３…カウントＳＷ制御回路、２４…ヒストグラムカウンタリセット回路、２５…誤検出ヒストグラム除外判定部、２６…ノイズ量判定部、２７…パラメータ決定部、２８…パラメータ設定部。

Claims (13)

1. 複数のフレームが連続する動画像の現信号と、この現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号とから、フレーム間の画像の差分レベルを画素単位で生成する差分生成手段と、
   前記差分生成手段により生成される個々の差分レベルのうち、一定以上の画像変化が生じた画素に対応する差分を除いた差分レベルを用いて、前記フレーム間の差分レベルの頻度分布を示すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成されるヒストグラムの信頼度をヒストグラムの特性または過去に得られたヒストグラムとの比較により判定する判定手段と、
   前記判定手段により信頼度が所定の値以上の場合に前記ヒストグラムから
   ノイズの量を判定し、前記判定手段により信頼度が所定の値未満の場合には前記ヒストグラムからノイズの量を判定しないノイズ量判定手段と、
   を具備することを特徴とする画像処理装置。
2. 複数のフレームが連続する動画像の現信号と、この現信号に対して１フレーム分の遅延処理を行った後のフレーム遅延信号とから、フレーム間の画像の差分を画素単位で生成する差分生成手段と、
   前記差分生成手段により生成される個々の差分レベルのうち、一定以上の画像変化が生じた画素に対応する差分を除いた差分レベルを用いて、前記フレーム間の差分レベルの頻度分布を示すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成されるヒストグラムのうち、ノイズ量判定に用いるヒストグラムとして不適切なヒストグラムを前記ヒストグラム生成手段により生成されるヒストグラムから除外し、この除外したヒストグラムを生成するヒストグラム除外手段と、
   前記ヒストグラム除外手段により生成されるヒストグラムに基づきノイズの量を判定するノイズ量判定手段と、
   を具備することを特徴とする画像処理装置。
3. 前記ヒストグラム除外手段は、前記ヒストグラム生成手段により生成されたヒストグラムの各カウント数の総和を求める総和算出手段と、前記算出された総和と所定閾値とを比較する比較手段とを具備し、
   前記総和が所定閾値より小さい場合、前記ヒストグラムを前記ノイズ量判定に用いるヒストグラムから除外することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記ヒストグラム除外手段は、
   前記ヒストグラム生成手段により生成されたヒストグラムの各カウント数を基に、該ヒストグラムの微分値を算出する微分手段と、
   前記微分値の符号変化点を検出する符号変化検出手段と、
   前記符号変化点に基づいて前記ヒストグラムの極大点の数を計数するカウンタと、
   前記極大点の数と所定閾値とを比較する比較手段とを具備し、
   前記極大値の数が所定閾値以上の場合、前記ヒストグラムを前記ノイズ量判定に用いるヒストグラムから除外することを特徴とする請求項１又は２記載の画像処理装置。
5. 前記ヒストグラム除外手段は、
   前記ヒストグラム生成手段により生成されたヒストグラムの各カウント数をカウント数の総和で正規化した正規化ヒストグラムを提供する正規化手段と、
   前記正規化ヒストグラムを１フレーム期間遅延してた遅延ヒストグラムを提供する遅延手段と、
   前記正規化部が出力する現在の正規化ヒストグラムと、前記遅延手段が出力する遅延ヒストグラムの差分を算出した差分正規化ヒストグラムを生成する減算器と、
   前記差分正規化ヒストグラムの絶対値を示す絶対値ヒストグラムを生成する絶対値算出部と、
   前記絶対値ヒストグラムと所定閾値とを比較する比較手段とを具備し、
   前記絶対値ヒストグラムにおいて、所定閾値以上のカウント値を有する差分レベルが存在する場合、前記ヒストグラム生成手段により生成されたヒストグラムを前記ノイズ量判定に用いるヒストグラムから除外することを特徴とする請求項１又は２記載の画像処理装置。
6. 前記ヒストグラム除外手段は、
   前記ヒストグラム生成手段により生成されたヒストグラムの各カウント数をカウント数の総和で正規化し、正規化ヒストグラムを提供する正規化手段と、
   前記正規化ヒストグラムを基に、その標準偏差を算出する標準偏差算出手段と、その平均値を算出する平均値算出手段と、
   前記標準偏差および平均値を１フレーム期間遅延して、遅延標準偏差および遅延平均値を提供する遅延手段と、
   前記標準偏差と遅延標準偏差の差分を算出した差分標準偏差を生成する減算手段と、前記平均値と遅延平均値の差分を算出した差分平均値を生成する減算手段と、
   前記差分標準偏差の絶対値を算出する標準偏差差分絶対値算出手段と、前記差分平均値の絶対値を算出する平均値差分絶対値算出手段と、
   前記標準偏差差分絶対値と所定閾値とを比較する比較手段と、
   前記平均値差分絶対値と所定閾値とを比較する比較手段とを具備し、
   前記標準偏差差分絶対値が所定閾値以上であった場合、あるいは、前記平均値差分絶対値が所定閾値以上であった場合、前記ヒストグラム生成手段により生成された前記ヒストグラムを前記ノイズ量判定に用いるヒストグラムから除外することを特徴とする請求項１又は２記載の画像処理装置。
7. 前記差分生成手段により生成される差分レベル信号の高域成分を除去することにより得られる低域差分信号から、所定レベル以上のレベルを有する差分信号に対応する画素を検出する動き検出手段と、
   前記差分生成手段により生成された個々の差分のうち、前記動き検出手段により検出された画素に対応する差分が除かれるように制御する制御手段と
   を更に具備することを特徴とする請求項１又は２記載の画像処理装置。
8. 前記差分生成手段により生成される差分レベル信号の低域成分を除去することにより得られる高帯域フレーム間差分信号から、所定レベル以上のレベルを有する差分信号に対応する画素を検出するエッジ検出手段と、
   前記差分生成手段により生成された個々の差分のうち、前記エッジ検出手段により検出された画素に対応する差分が除かれるように制御する制御手段と
   を更に具備することを特徴とする請求項１又は２記載の画像処理装置。
9. １フレーム内の複数個の領域における個々の差分レベルの頻度分布を示す複数個のヒストグラムを生成するヒストグラム生成手段と、
   前記各ヒストグラムの各カウント数を該ヒストグラムのカウント数の総和で正規化した正規化ヒストグラムを生成する正規化手段と、
   前記複数個の正規化ヒストグラムのうち任意の２つのヒストグラムの差分を算出した差分正規化ヒストグラムを生成する減算手段と、
   前記複数個の差分正規化ヒストグラムの各カウント値の絶対値と所定閾値とを比較する比較手段とを具備し、
   前記複数個の差分正規化ヒストグラムの各カウント値の絶対値のうち、前記所定閾値以上のものが存在する場合、前記１フレームに対応する前記ヒストグラム生成手段により生成されたヒストグラムを、前記ノイズ量判定に用いるヒストグラムから除外することを特徴とする請求項１又は２記載の画像処理装置。
10. １フレーム内の複数個の領域における個々の差分レベルの頻度分布を示す複数個のヒストグラムを生成するヒストグラム生成手段と、
    前記各ヒストグラムの各カウント数を、該ヒストグラムのカウント数の総和で正規化した正規化ヒストグラムを生成する正規化手段と、
    前記複数個の正規化ヒストグラムを基に、該ヒストグラムの標準偏差を算出する標準偏差算出手段と、該ヒストグラムの平均値を算出する平均値算出手段と、
    前記複数個の標準偏差のうち任意の２つの標準偏差の差を算出し、該標準偏差の差と所定閾値とを比較する比較手段と、
    前記複数個の平均値のうち任意の２つの平均値の差を算出し、該平均値の差と所定閾値とを比較する比較手段とを具備し、
    前記標準偏差の差が前記所定閾値より大きくなるものが１つ以上ある場合、あるいは、前記平均値の差が前記所定閾値より大きくなるものが１つ以上ある場合、前記１フレームに対応する前記ヒストグラム生成手段により生成されたヒストグラムを、前記ノイズ量判定に用いるヒストグラムから除外することを特徴とする請求項１又は２記載の画像処理装置。
11. 前記ノイズ量判定手段は、前記ヒストグラムに示される頻度分布の標準偏差、分散、及び平均値の少なくとも一つを用いて前記ノイズの量を判定することを特徴とする請求項１から１０記載の画像処理装置。
12. 前記ノイズ量判定手段により判定されたノイズの量に基づき、前記ノイズ除去処理に使用するパラメータを設定する手段を更に具備することを特徴とする請求項１から１１記載の画像処理装置。
13. 複数のフレームが連続する動画像の現信号と、この現信号に対してノイズ除去処理および１フレーム分の遅延処理を行った後のノイズ除去済みフレーム遅延信号とから、フレーム間の画像の差分を画素単位で生成し、
    前記生成した個々の差分のうち、一定以上の画像変化が生じた画素に対応する差分を除いた状態で、前記フレーム間の差分レベルの頻度分布を示すヒストグラムを生成し、
    前記ヒストグラム生成手段により生成されるヒストグラムのうち、ノイズ量判定に用いるヒストグラムとして不適切なヒストグラムを前記ヒストグラム生成手段により生成されるヒストグラムから除外し、この除外したヒストグラムに基づきノイズの量を判定すること
    を特徴とする画像処理方法。

Images