JP2012205062A - フリッカ／シーンチェンジ判定装置及び方法 - Google Patents

Abstract

【課題】
動画像の圧縮符号化に起因するフリッカとシーンチェンジを判別する。
【解決手段】
評価値算出装置（３２）は、符号化前の画像データと符号化後の局所復号化された画像データの両方についてフレーム間差分を定量評価する評価値Ｓを算出する。平均算出装置（３４）は、直前の所定数の評価値Ｓを累計してその平均値（平均Ｓ又は平均評価値）を算出する。閾値決定装置（３６）は、平均算出装置（３４）からの平均Ｓから判定閾値εを算出する。判別装置（３８）は、現在の評価値Ｓと、閾値決定装置（３６）で算出される閾値εとから、現在のフレームにフリッカが発生しているのかシーンチェンジが発生しているのかを判別する。
【選択図】 図１

Description

本発明は、ＭＰＥＧに代表されるフレーム間予測を用いる動画像符号化システムにおいて、符号化の際に発生するフリッカとシーンチェンジを判定するフリッカ／シーンチェンジ判定装置、方法及びプログラムに関する。

動画を表示する場合、動画を構成するフレーム間で輝度が小刻みにちらつくと、利用者は、目の疲れやめまいを起こすことがある。このような輝度変動はフリッカと呼ばれ、モニタのリフレッシュレートを上げることで、目立たなくすることができる。

動画の伝送又は記録再生のための動画符号化方式として、ＭＰＥＧ２及びＨ．２６４等の、フレーム間予測を使用する方式が広く使用されている。このようなフレーム間予測を使用する動画符号化方式では、ＧＯＰ（Group Of Pictures）という一定フレーム数を単位としてフレーム内符号化のフレームが挿入されることにより、画面輝度が変動することがある。このような輝度変動も利用者にはフリッカと認識されることから、このような輝度変動を検出する手段が望まれる。

特許文献１には、ＧＯＰ依存のフリッカを検出すると、ＧＯＰ構成を変更すること、具体的には、クローズドＧＯＰをオープンＧＯＰに変更することが記載されている。

非特許文献１には、フレーム間予測符号化の符号化前の画像データのフレーム間差分量の二乗と、符号化後の画像データのフレーム間差分量の二乗との和（差の二乗和）でフリッカ発生度（又はフリッカメジャー）を定量評価することが記載されている。動画では、シーンチェンジの部分でフレーム間の輝度差分量が大きくなる。非特許文献１に記載の技術では、シーンチェンジをフリッカと誤判定することを防止するために、フレーム間差分量が著しく大きい場合には、シーンチェンジと判定するようにしている。

特開２００７−２１４７８５号公報

X. Fan et al.,"Flicking Reduction in All Intra Frame Coding," JVT-E070, 2002.

フレーム間差分量が著しく大きいケースをシーンチェンジとして除外するとしても、シーンチェンジでのフレーム間差分量は、動画像の性質又は内容に依存するので、一律の閾値でシーンチェンジを制度良く判定するのは難しく、従って、依然として、シーンチェンジをフリッカと判定してしまう可能性がある。

本発明は、動画像符号化によるフリッカとシーンチェンジを判定するフリッカ／シーンチェンジ判定装置、方法及びプログラムを提示することを目的とする。

本発明に係るフリッカ／シーンチェンジ判定装置は、動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定装置であって、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出手段と、当該評価値算出手段により算出する当該評価値の平均値を算出する平均算出手段と、当該平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定手段と、当該評価値算出手段からの現在の評価値を当該判定閾値と比較し、フリッカからシーンチェンジの発生を判別する判別手段とを具備することを特徴とする。

本発明に係るフリッカ／シーンチェンジ判定装置は、動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定装置であって、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出手段と、当該評価値算出手段により算出する当該評価値の平均値であって、注目フレームより時間的に前の第１の平均値と、注目フレームより時間的に後の第２の平均値を算出する平均算出手段と、当該第２の平均値が当該第１の平均値に対して一定の範囲にある場合に、フリッカと判定し、そうでない場合にシーンチェンジと判定する判別手段とを具備することを特徴とする。

本発明に係るフリッカ／シーンチェンジ判定方法は、動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定方法であって、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出ステップと、当該評価値算出ステップにより算出する当該評価値の平均値を算出する平均算出ステップと、当該平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定ステップと、当該評価値算出ステップにより得られる現在の評価値を当該判定閾値と比較し、フリッカからシーンチェンジの発生を判別する判別ステップとを具備することを特徴とする。

本発明に係るフリッカ／シーンチェンジ判定方法は、動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定方法であって、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出ステップと、当該評価値算出ステップにより算出する当該評価値の平均値であって、注目フレームより時間的に前の第１の平均値と、注目フレームより時間的に後の第２の平均値を算出する平均算出ステップと、当該第２の平均値が当該第１の平均値に対して一定の範囲にある場合に、フリッカと判定し、そうでない場合にシーンチェンジと判定する判別ステップとを具備することを特徴とする。

本発明に係るフリッカ／シーンチェンジ判定プログラムは、動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するデジタル演算装置に判定させるフリッカ／シーンチェンジ判定プログラムであって、当該デジタル演算装置に、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出機能と、当該評価値算出機能により算出する当該評価値の平均値を算出する平均算出機能と、当該平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定機能と、当該評価値算出機能による現在の評価値を当該判定閾値と比較し、フリッカからシーンチェンジの発生を判別する判別機能とを実現させることを特徴とする。

本発明に係るフリッカ／シーンチェンジ判定プログラムは、動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するデジタル演算装置に判定させるフリッカ／シーンチェンジ判定プログラムであって、当該デジタル演算装置に、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出機能と、当該評価値算出機能により算出する当該評価値の平均値であって、注目フレームより時間的に前の第１の平均値と、注目フレームより時間的に後の第２の平均値を算出する平均算出機能と、当該第２の平均値が当該第１の平均値に対して一定の範囲にある場合に、フリッカと判定し、そうでない場合にシーンチェンジと判定する判別機能とを実現させることを特徴とする。

本発明によれば、動画像を符号化する符号化装置の符号化に起因するフリッカと、シーンチェンジとを識別でき、従来よりも正しくフリッカを検出できるようになる。

本発明の一実施例の概略構成ブロック図である。 本実施例の動作説明のフレーム列と評価値Ｓを示す模式図である。 本実施例のフリッカ／シーンチェンジ判定動作のフローチャートである。 本発明の第２実施例の概略構成ブロック図である。 第２実施例でフリッカ発生と判定するケースのフレーム列と評価値Ｓを示す模式図である。 第２実施例でシーンチェンジ発生と判定するケースのフレーム列と評価値Ｓを示す模式図である。 第２実施例のフリッカ／シーンチェンジ判定動作のフローチャートである。 本発明の第３実施例の概略構成ブロック図である。 図８に示す実施例のフリッカ／シーンチェンジ判定動作のフローチャートである。 図８に示す実施例の別のフリッカ／シーンチェンジ判定動作のフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。入力端子１０には、符号化すべき動画像を構成する画像データがフレーム順に入力する。フレームメモリ１２は、入力端子１０からの画像データを、後述するフレーム判定に必要なフレーム数分、一時記憶する。動き補償予測符号化装置１４は、フレームメモリ１２からの画像データを動き補償予測符号化する。動き補償予測符号化装置１４は、符号化用に直交変換（例えば、離散コサイン変換）装置、量子化装置及びエントロピー符号化装置を具備し、直交変換及び量子化後の画像データ又は画像差分データを復号化する局所復号化装置を具備し、更に、フレーム間及びフレーム内で動きベクトルを算出し、動きを補償する動き補償装置と、動きベクトルに従いフレーム間及びフレーム内での予測のための予測画像データを生成する動き予測装置とを具備する。このような動き補償予測符号化装置１４の構成自体は、周知である。

バッファ１６は、動き補償予測符号化装置１４により生成される符号データ（復号化に必要な動きベクトル等の情報を含む）を一時記憶し、出力端子１８に出力する。バッファ１６は、記憶容量の内で、動き補償予測符号化装置１４からの符号データの占める割合、いわゆるデータ占有量と、単位時間当たりの発生符号量を符号化制御装置２０に供給する。符号化制御装置２０は、バッファ１６からの占有量情報と発生符号量情報に従い、バッファ１６でオーバーフローもアンダーフローも発生しないように、また、単位時間当たりの発生符号量が所定値に収まるように、動き補償予測符号化装置１４の符号化条件、具体的には量子化ステップサイズを制御する。

フリッカ／シーンチェンジ判定装置３０は、フレームメモリ１２から符号化前の画像データを取り込み、動き補償予測符号化装置１４から内部の局所復号化装置で復号化された画像データを取り込み、隣接フレーム間の輝度変動を定量評価して、フリッカかシーンチェンジかを判定する。フリッカ／シーンチェンジ判定装置３０の判定結果は、符号化制御装置２０と表示装置５０に供給される。表示装置５０は、フリッカ／シーンチェンジ判定装置３０の判定結果をユーザ又はオペレータに知らせるために表示する。

符号化制御装置２０は、フリッカ／シーンチェンジ判定装置３０がフリッカの発生を示す場合に、フリッカを低減するように動き補償予測符号化装置１４の符号化条件を制御する。例えば、特許文献１に記載されるように、クローズドＧＯＰをオープンＧＯＰに変更するものでも、輝度レベルの平均値を修正するものでもよい。シーンチェンジに対しては、該当するフレームがＩピクチャでない場合に、Ｉピクチャで符号化しなおすこと等が考えられる。

フリッカ／シーンチェンジ判定装置３０の構成と機能を詳細に説明する。評価値算出装置３２は、非特許文献１にフリッカメジャー算出式として記載される下記式を使って、フリッカ／シーンチェンジ判定のための評価値Ｓを算出する。すなわち、

ここで、ｉはフレーム番号、ｊはマクロブロック番号、Ｏ（，）はフレームメモリ１２の符号化前の画像データ、Ｒ（，）は動き補償予測符号化装置１４からの局所復号化画像データ、ＳＳＤは差の二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＡＶＧはｉ及びｊにおける平均値をそれぞれ示す。式（１）式においてＳＳＤの代わりに差分絶対値和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いてもよい。なお、画像データは何れも輝度値である。

評価値Ｓはまた、下記式（２）を用いて算出しても良い。すなわち、

ここで、ｉはフレーム番号、ｊはマクロブロック番号、Ｒ（，）は局所復号化画像データ、ＳＳＤは差の二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＡＶＧはｉ及びｊにおける平均値である。なお、式（２）においてＳＳＤの代わりに差分絶対値和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いてもよい。式（２）では、原画を必要とせず、符号化画像のみでのフリッカの強さを評価できる。

符号化後の画像データでのフレーム間差分量は、符号化による劣化の影響と、元々の画像の動きの影響の両方を含むのに対し、符号化前の画像データでのフレーム間差分量は、元々の画像の動きの影響の両方を含む。本実施例で問題にするフリッカは、もっぱら符号化に起因するものであることから、式（１）により得られる評価値Ｓは、符号化によるフリッカを定量的に示す指標となりうる。他方、式（２）により得られる評価値Ｓも、符号化後の画像データでのフレーム間差分量から計算されることから、式（１）より精度は低いものの、符号化によるフリッカを定量的に示す指標となりうる。

平均算出装置３４は、評価値算出装置３２で算出される直前の所定数（例えば、５つ）の評価値Ｓを累計してその平均値（平均Ｓ又は平均評価値）を算出する。閾値決定装置３６は、平均算出装置３４からの平均Ｓから判定閾値εを算出する。例えば、平均Ｓに一定の係数（例えば、３）を乗算した結果を判定閾値εとする。

判別装置３８は、現在の評価値Ｓと、閾値決定装置３６で算出される閾値εとから、現在のフレームにフリッカが発生しているのかシーンチェンジが発生しているのかを判別する。判別装置３８は、フリッカかシーンチェンジかを示すフラグと評価値Ｓを、フリッカ／シーンチェンジ判定装置３０の判定結果として符号化制御装置２０に供給する。上述したように、符号化制御装置２０は、フリッカ／シーンチェンジ判定装置３０からの判定結果がフリッカの発生を示す場合には、当該フリッカが低減するように動き補償予測符号化装置１４の符号化条件を制御する。

図２及び図３を参照して、フリッカ／シーンチェンジ判定装置３０の作用を具体的に説明する。図２は、説明用のフレーム例を示し、図３は、フリッカ判定手順のフローチャートを示す。図２に示すように、フレーム１〜７が順次、入力端子１０に入力し、評価値算出装置３２が、各フレーム１〜７に対して順次、評価値Ｓを算出し（Ｓ１，Ｓ２）、平均算出装置３４が、評価値Ｓの一定期間内の平均値を算出する（Ｓ３）。

算出された評価値Ｓが、フレーム１，２間で１０００、フレーム２，３間で１５００、フレーム３，４間で５００、フレーム４，５間で５００、フレーム５，６間で１５００であったとする。このとき、この５つのフリッカ評価値Ｓの平均値（平均Ｓ）は、１０００となる。閾値決定装置３６は、平均Ｓに一定の係数（例えば、３）を乗算して閾値εとする（Ｓ４）。このケースでは、平均Ｓが１０００であるので、閾値εは３０００となる。

判別装置３８は、現在のフレーム７とその直前のフレーム６に対して評価値算出装置３２が算出する評価値Ｓ（これを現在評価値Ｓｃとする）を閾値εと比較し（Ｓ５）、この現在評価値Ｓｃが閾値ε以下の場合には、フリッカと判定し（Ｓ６）、そうでない場合には、シーチェンジと判定する（Ｓ７）。例えば、フレーム６，７間の評価値Ｓｃが５０００の場合、フレーム７に対してシーンチェンジと判定され、２０００の場合、フリッカの発生と判定される。判別装置３８の判別結果（フリッカ／シーンチェンジ判定結果と評価値Ｓｃ）は、符号化制御装置２０に供給される。

平均Ｓを算出する対象フレーム数は任意であり、また、平均Ｓから閾値εを算出するための乗数も任意であり、適宜に選択されうる。

図４は、本発明の第２実施例の概略構成ブロック図を示す。図１と同じ構成要素には同じ符号を付してあり、フリッカ／シーンチェンジ判定装置３０に代えてフリッカ／シーンチェンジ判定装置１３０を用いる。

フリッカ／シーンチェンジ判定装置１３０の構成と機能を詳細に説明する。評価値算出装置１３２は、評価値算出装置３２と同様に、隣接フレーム間でフリッカ／シーンチェンジ判定のための評価値Ｓを算出し、メモリ１３４に格納する。メモリ１３４には、フリッカ／シーンチェンジを判定しようとするフレーム（注目フレーム）の前後の所定数の評価値Ｓが格納される。平均算出装置１３６は、メモリ１３４に記憶される評価値Ｓを使って、注目フレームの前後の平均評価値を算出する。

判別装置１３８は、メモリ１３４から注目フレームの評価値Ｓ（Ｓｃとする）を読み込み、平均算出装置１３６から、注目フレームの前後の平均Ｓを読み込む。注目フレームの時間的に前の平均Ｓ（前平均Ｓ）をＡｖ_１とし、時間的に後の平均Ｓ（後平均Ｓ）をＡｖ_２とする。判別装置１３８は、Ａｖ_２（後平均Ｓ）がＡｖ_１（前平均Ｓ）の３倍以下、且つ１／３以上である場合、注目フレームの前後で平均Ｓが同様の傾向を示すことから、フリッカと判定し、それ以外の場合には、シーンチェンジと判定する。判別装置１３８の判別結果（注目フレームの評価値Ｓｃを含む）は、フリッカ／シーンチェンジ判定装置１３０の判定結果として、符号化制御装置２０と表示装置５０に供給される。

図５は、判別装置１３８によりフリッカ発生と判定されるケースの評価値Ｓの変化例を示し、図６は、シーンチェンジ発生と判定されるケースの評価値の変化例を示す。図７は、フリッカ／シーンチェンジ判定装置１３０の判定動作のフローチャートを示す。

図５及び図６に示すように、フレーム１〜１３が順次、入力端子１０に入力し、評価値算出装置１３２は、各フレーム１〜１３に対して順次、フレームメモリ１２から符号化前の画像データを、動き補償予測符号化装置１４から内部の局所復号化装置で復号化された画像データをそれぞれ取り込み（Ｓ１１）、フレーム間の評価値Ｓを算出し、メモリ１３４に格納する（Ｓ１２）。ここで、注目フレームはフレーム７であるとする。平均算出装置１３６は、注目フレーム７に対し、メモリ１３４に記憶されるフレーム１〜６から計算される評価値Ｓから平均Ｓ（Ａｖ_１）を算出し、メモリ１３４に記憶されるフレーム８〜１３から計算される評価値Ｓから平均Ｓ（Ａｖ_２）を算出する（Ｓ１３）。

評価値算出装置１３２が、フレーム１２とフレーム１３間の評価値Ｓを算出してメモリ１３４に格納し、平均算出装置１３６が、フレーム８〜１３の平均評価値Ａｖ_２を算出できた段階で、注目フレームはフレーム７となる。平均算出装置１３６は、注目フレーム７の前平均Ｓ（Ａｖ_１）と後平均Ｓ（Ａｖ_２）を判別装置１３８に供給する。判別装置１３８は、Ａｖ_２（後平均Ｓ）がＡｖ_１（前平均Ｓ）の３倍以下、且つ１／３以上である場合（Ｓ１４）、フリッカと判定し（Ｓ１５）、それ以外の場合には（Ｓ１４）、シーンチェンジと判定する（Ｓ１６）。判別装置１３８はまた、注目フレーム７の評価値Ｓをメモリ１３４から読み込み、フリッカ／シーンチェンジの判別結果（注目フレーム７の評価値Ｓ（Ｓｃ）を含む）を符号化制御装置２０と表示装置５０に供給する。

平均Ｓを算出する対象フレーム数は任意である。注目フレーム前後での平均評価値を算出するためのフレーム数もまた、任意であり、注目フレーム前後での平均評価値の傾向の同一性を判定する際の係数（３と１／３）は、上記数値例に限定されず、適宜に選択されるものである。

図８は、本発明の第３実施例の概略構成ブロック図を示す。図８に示す実施例は，図１に示す実施例によるフリッカ／シーンチェンジ判定と、図４に示す実施例によるフリッカ／シーンチェンジ判定とを組み合わせたものである。図１と同じ構成要素には同じ符号を付してある。図１に示すフリッカ／シーンチェンジ判定装置３０に代えてフリッカ／シーンチェンジ判定装置２３０を用いる。

図９は、フリッカ／シーンチェンジ判定装置２３０の判定動作のフローチャートを示す。図８及び図９を参照して、フリッカ／シーンチェンジ判定装置２３０の構成と機能を詳細に説明する。

符号化対象の動画を構成するフレームが順次、入力端子１０からフレームメモリ１２に入力する。評価値算出装置２３２は、評価値算出装置１３２と同様に、各フレームに対して順次、フレームメモリ１２から符号化前の画像データを、動き補償予測符号化装置１４から内部の局所復号化装置で復号化された画像データをそれぞれ取り込み（Ｓ２１）、フレーム間の評価値Ｓを算出し、メモリ２３４に格納する（Ｓ２２）。メモリ２３４には、フリッカ／シーンチェンジを判定しようとするフレーム（注目フレーム）の前後の所定数の評価値Ｓが格納される。

平均算出装置２３６は、メモリ２３４に記憶される評価値Ｓを使って、注目フレームの前後の平均評価値を算出する（Ｓ２３）。注目フレームは、図５及び図６に示すケースの、フレーム７であるとすると、平均算出装置２３６は、注目フレーム７に対し、メモリ２３４に記憶されるフレーム１〜６から計算される評価値Ｓから平均Ｓ（Ａｖ_１）を算出し、メモリ２３４に記憶されるフレーム８〜１３から計算される評価値Ｓから平均Ｓ（Ａｖ_２）を算出する。

閾値決定装置２３８は、平均算出装置２３６からの前平均Ｓ（Ａｖ_１）から判定閾値εを算出する。例えば、前平均Ｓ（Ａｖ_１）に一定の係数（例えば、３）を乗算した結果を判定閾値εとする（Ｓ２４）。

判別装置２４０は、注目フレームとその直前のフレームに関する評価値Ｓ（注目評価値Ｓｃ）を閾値εと比較し（Ｓ２５）、注目評価値Ｓｃが閾値εを越える場合には（Ｓ２５）、シーンチェンジ発生と判別する（Ｓ２６）。

注目評価値Ｓｃが閾値ε以下である場合（Ｓ２５）、注目フレーム前の平均評価値Ａｖ_１と後の平均評価値Ａｖ_２とを対比する（Ｓ２７）。すなわち、平均算出装置２３６は、注目フレームの前平均Ｓ（Ａｖ_１）と後平均Ｓ（Ａｖ_２）を判別装置２４０に供給する。判別装置２４０は、Ａｖ_２（後平均Ｓ）がＡｖ_１（前平均Ｓ）の３倍を超えるか、又は１／３未満である場合（Ｓ２７）、シーンチェンジと判別する（Ｓ２９）。Ａｖ_２（後平均Ｓ）がＡｖ_１（前平均Ｓ）の３倍以下で且つ１／３以上である場合（Ｓ２７）、判別装置２４０は、フリッカ発生と判別する（Ｓ２８）。

ステップＳ２５とステップＳ２７の間でステップＳ２３に相当する処理を実行しても良いことは、明らかである。

図９に示すフローでは、注目フレームに対する評価値Ｓｃと判定閾値εとの対比を行ってから、平均評価値の傾向比較を行っているが、この判断の順序を逆にしても良い。図１０は、そのように変更したフリッカ／シーンチェンジ判定動作のフローチャートを示す。ステップＳ３１〜Ｓ３４は、図９のステップＳ２１〜Ｓ２４と同じであるので、詳細な説明は省略する。

まず、注目フレーム前の平均評価値と後の平均評価値との対比により、シーンチェンジかどうかを判定する（Ｓ３５）。すなわち、平均算出装置２３６は、注目フレームの前平均Ｓ（Ａｖ_１）と後平均Ｓ（Ａｖ_２）を判別装置２４０に供給する。判別装置２４０は、Ａｖ_２（後平均Ｓ）がＡｖ_１（前平均Ｓ）の３倍を超えるか、又は１／３未満である場合（Ｓ３５）、シーンチェンジと判別する（Ｓ３６）。

Ａｖ_２（後平均Ｓ）がＡｖ_１（前平均Ｓ）の３倍以下で且つ１／３以上である場合（Ｓ３５）、判別装置２４０は、第１実施例と同様の方法で、閾値決定装置２３８により算出される閾値εを使ってフリッカ／シーンチェンジを判定する（Ｓ３７）。すなわち、判別装置２４０は、注目フレームとその直前のフレームに関する評価値Ｓ（注目評価値Ｓｃ）を閾値εと比較し（Ｓ３７）、注目評価値Ｓｃが閾値ε以下の場合には、フリッカと判定し（Ｓ３８）、そうでない場合には、シーチェンジと判定する（Ｓ３９）。

ステップＳ３５とステップＳ３７の間でステップＳ３４に相当する処理を実行しても良いことは、明らかである。

この実施例でも、平均Ｓを算出する対象フレーム数は任意である。注目フレーム前後での平均評価値を算出するためのフレーム数もまた、任意であり、注目フレーム前後での平均評価値の傾向の同一性を判定する際の係数（３と１／３）は、上記数値例に限定されず、適宜に選択されるものである。

本実施例の機能、特に、動き補償予測符号化装置１４、符号化制御装置２０及びフリッカ／シーンチェンジ判定装置３０，１３０，２３０の機能は、マイクロコンピュータ、デジタル信号処理装置（いわゆるＤＳＰ）等のデジタル演算装置上で動作するソフトウエアプログラムとして実現することが可能である。

特定の説明用の実施例を参照して本発明を説明したが、特許請求の範囲に規定される本発明の技術的範囲を逸脱しないで、上述の実施例に種々の変更・修整を施しうることは、本発明の属する分野の技術者にとって自明であり、このような変更・修整も本発明の技術的範囲に含まれる。

１０：入力端子
１２：フレームメモリ
１４：動き補償予測符号化装置
１６：バッファ
１８：出力端子
２０：符号化制御装置
３０：フリッカ／シーンチェンジ判定装置
３２：評価値算出装置
３４：平均算出装置
３６：閾値決定装置
３８：判別装置
１３０：フリッカ／シーンチェンジ判定装置
１３２：評価値算出装置
１３４：メモリ
１３６：平均算出装置
１３８：判別装置
２３０：フリッカ／シーンチェンジ判定装置
２３２：評価値算出装置
２３４：メモリ
２３６：平均算出装置
２３８：閾値決定装置
２４０：判別装置

Claims (21)

1. 動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定装置であって、
   当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出手段と、
   当該評価値算出手段により算出する当該評価値の平均値を算出する平均算出手段と、
   当該平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定手段と、
   当該評価値算出手段からの現在の評価値を当該判定閾値と比較し、フリッカからシーンチェンジの発生を判別する判別手段
   とを具備することを特徴とするフリッカ／シーンチェンジ判定装置。
2. 当該評価値算出手段は、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量と、当該符号化装置による符号化前の画像データのフレーム間差分量とから当該評価値を算出することを特徴とする請求項１に記載のフリッカ／シーンチェンジ判定装置。
3. 当該閾値決定手段は、当該評価値算出手段により算出する当該評価値の平均値に所定値を乗算して当該判定閾値を算出することを特徴とする請求項１又は２に記載のフリッカ／シーンチェンジ判定装置。
4. 動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定装置であって、
   当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出手段と、
   当該評価値算出手段により算出する当該評価値の平均値であって、注目フレームより時間的に前の第１の平均値と、注目フレームより時間的に後の第２の平均値を算出する平均算出手段と、
   当該第２の平均値が当該第１の平均値に対して一定の範囲にある場合に、フリッカと判定し、そうでない場合にシーンチェンジと判定する判別手段
   とを具備することを特徴とするフリッカ／シーンチェンジ判定装置。
5. 当該評価値算出手段は、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量と、当該符号化装置による符号化前の画像データのフレーム間差分量とから当該評価値を算出することを特徴とする請求項４に記載のフリッカ／シーンチェンジ判定装置。
6. 更に、当該第１の平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定手段を具備し、
   当該判別手段は、当該評価値算出手段からの現在の評価値が当該判定閾値より大きい場合に、シーンチェンジと判定し、当該現在の評価値が当該判定閾値以下の場合であって、当該第２の平均値が当該第１の平均値に対して一定の範囲にあるときにフリッカと判定し、そうでないときにシーンチェンジと判定する
   ことを特徴とする請求項４又は５に記載のフリッカ／シーンチェンジ判定装置。
7. 更に、当該第１の平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定手段を具備し、
   当該判別手段は、当該第２の平均値が当該第１の平均値に対して一定の範囲にない場合にシーンチェンジと判定し、当該一定の範囲にある場合であって、当該評価値算出手段からの現在の評価値が当該判定閾値より大きいときに、シーンチェンジと判定し、当該現在の評価値が当該判定閾値以下のときにフリッカと判定する
   ことを特徴とする請求項４又は５に記載のフリッカ／シーンチェンジ判定装置。
8. 動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定方法であって、
   当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出ステップと、
   当該評価値算出ステップにより算出する当該評価値の平均値を算出する平均算出ステップと、
   当該平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定ステップと、
   当該評価値算出ステップにより得られる現在の評価値を当該判定閾値と比較し、フリッカからシーンチェンジの発生を判別する判別ステップ
   とを具備することを特徴とするフリッカ／シーンチェンジ判定方法。
9. 当該評価値算出ステップは、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量と、当該符号化装置による符号化前の画像データのフレーム間差分量とから当該評価値を算出することを特徴とする請求項８に記載のフリッカ／シーンチェンジ判定方法。
10. 当該閾値決定ステップは、当該評価値算出ステップにより算出する当該評価値の平均値に所定値を乗算して当該判定閾値を算出することを特徴とする請求項８又は９に記載のフリッカ／シーンチェンジ判定方法。
11. 動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するフリッカ／シーンチェンジ判定方法であって、
    当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出ステップと、
    当該評価値算出ステップにより算出する当該評価値の平均値であって、注目フレームより時間的に前の第１の平均値と、注目フレームより時間的に後の第２の平均値を算出する平均算出ステップと、
    当該第２の平均値が当該第１の平均値に対して一定の範囲にある場合に、フリッカと判定し、そうでない場合にシーンチェンジと判定する判別ステップ
    とを具備することを特徴とするフリッカ／シーンチェンジ判定方法。
12. 当該評価値算出ステップは、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量と、当該符号化装置による符号化前の画像データのフレーム間差分量とから当該評価値を算出することを特徴とする請求項１１に記載のフリッカ／シーンチェンジ判定方法。
13. 更に、当該第１の平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定ステップを具備し、
    当該判別ステップは、当該評価値算出ステップにより得られる現在の評価値が当該判定閾値より大きい場合に、シーンチェンジと判定し、当該現在の評価値が当該判定閾値以下の場合であって、当該第２の平均値が当該第１の平均値に対して一定の範囲にあるときにフリッカと判定し、そうでないときにシーンチェンジと判定する
    ことを特徴とする請求項１１又は１２に記載のフリッカ／シーンチェンジ判定方法。
14. 更に、当該第１の平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定ステップを具備し、
    当該判別ステップは、当該第２の平均値が当該第１の平均値に対して一定の範囲にない場合にシーンチェンジと判定し、当該一定の範囲にある場合であって、当該評価値算出ステップにより得られる現在の評価値が当該判定閾値より大きいときに、シーンチェンジと判定し、当該現在の評価値が当該判定閾値以下のときにフリッカと判定する
    ことを特徴とする請求項１１又は１２に記載のフリッカ／シーンチェンジ判定方法。
15. 動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するデジタル演算装置に判定させるフリッカ／シーンチェンジ判定プログラムであって、当該デジタル演算装置に、
    当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出機能と、
    当該評価値算出機能により算出する当該評価値の平均値を算出する平均算出機能と、
    当該平均値からフリッカ／シーンチェンジ判定の判定閾値を決定する閾値決定機能と、
    当該評価値算出機能による現在の評価値を当該判定閾値と比較し、フリッカからシーンチェンジの発生を判別する判別機能
    とを実現させることを特徴とするフリッカ／シーンチェンジ判定プログラム。
16. 当該評価値算出機能は、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量と、当該符号化装置による符号化前の画像データのフレーム間差分量とから当該評価値を算出することを特徴とする請求項１５に記載のフリッカ／シーンチェンジ判定プログラム。
17. 当該閾値決定機能は、当該評価値算出機能により算出する当該評価値の平均値に所定値を乗算して当該判定閾値を算出することを特徴とする請求項１５又は１６に記載のフリッカ／シーンチェンジ判定プログラム。
18. 動画像を符号化する符号化装置の符号化によるフリッカと、当該動画像のシーンチェンジを判定するデジタル演算装置に判定させるフリッカ／シーンチェンジ判定プログラムであって、当該デジタル演算装置に、
    当該符号化装置による符号化画像の復号化画像データのフレーム間差分量を評価する評価値を算出する評価値算出機能と、
    当該評価値算出機能により算出する当該評価値の平均値であって、注目フレームより時間的に前の第１の平均値と、注目フレームより時間的に後の第２の平均値を算出する平均算出機能と、
    当該第２の平均値が当該第１の平均値に対して一定の範囲にある場合に、フリッカと判定し、そうでない場合にシーンチェンジと判定する判別機能
    とを実現させることを特徴とするフリッカ／シーンチェンジ判定プログラム。
19. 当該評価値算出機能は、当該符号化装置による符号化画像の復号化画像データのフレーム間差分量と、当該符号化装置による符号化前の画像データのフレーム間差分量とから当該評価値を算出することを特徴とする請求項１８に記載のフリッカ／シーンチェンジ判定プログラム。
20. 更に、当該デジタル演算装置に当該第１の平均値からフリッカ／シーンチェンジ判定の判定閾値を決定させる閾値決定機能を具備し、
    当該判別機能は、当該評価値算出機能により得られる現在の評価値が当該判定閾値より大きい場合に、シーンチェンジと判定し、当該現在の評価値が当該判定閾値以下の場合であって、当該第２の平均値が当該第１の平均値に対して一定の範囲にあるときにフリッカと判定し、そうでないときにシーンチェンジと判定する
    ことを特徴とする請求項１８又は１９に記載のフリッカ／シーンチェンジ判定プログラム。
21. 更に、当該デジタル演算装置に当該第１の平均値からフリッカ／シーンチェンジ判定の判定閾値を決定させる閾値決定機能を具備し、
    当該判別機能は、当該第２の平均値が当該第１の平均値に対して一定の範囲にない場合にシーンチェンジと判定し、当該一定の範囲にある場合であって、当該評価値算出機能により得られる現在の評価値が当該判定閾値より大きいときに、シーンチェンジと判定し、当該現在の評価値が当該判定閾値以下のときにフリッカと判定する
    ことを特徴とする請求項１８又は１９に記載のフリッカ／シーンチェンジ判定プログラム。

Images