JP4655791B2 - 符号化装置、符号化方法およびそのプログラム - Google Patents

Description

本発明は、動画像データの符号化装置、符号化方法およびそのプログラムに関する。

近年、画像をデータデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)に続いて、より圧縮率が高いＨ．２６４／ＡＶＣ(Advanced Video Coding)などの符号化方式に準拠した符号化装置および復号装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

ところで、従来の符号化装置では、符号化対象の動画像データの特性を考慮することなく、予め決められたＭ値に応じたＧＯＰ(Grope Of Pictures)構造に従って、動画像データを構成する各ピクチャデータにＩ，Ｐ，Ｂのピクチャタイプを割り当てる。
ここで、Ｍ値とは、Ｐスライス（Ｐピクチャ）の間隔、すなわちＩピクチャの間で何ピクチャ間隔でＰピクチャを配置するかを示す値である。

しかしながら、上述した従来の符号化装置では、符号化対象の動画像データの特性を考慮することなく、予め決められたＭ値に応じたＧＯＰ構造で符号化を行うため、十分に高い符号化効率を得られないという問題がある。

本発明はかかる事情に鑑みてなされたものであり、動画像の符号化効率をさらに高めることができる符号化装置、符号化方法およびそのプログラムを提供することを目的とする。

本発明の符号化装置は、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断するシーンチェンジ検出手段と、前記シーンチェンジ検出手段の判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する相関度検出手段と、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する困難度検出手段と、前記各シーンについて、前記相関度検出手段が検出した前記相関度に比例し、前記困難度検出手段が検出した前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいＭ値を決定するＭ値決定手段と、前記Ｍ値決定手段が決定した前記Ｍ値に基づいて、前記ピクチャデータのピクチャタイプを決定するピクチャタイプ決定手段と、を有する。

本発明の符号化方法は、シーンチェンジ検出手段と、相関度検出手段と、困難度検出手段と、Ｍ値決定手段と、ピクチャタイプ決定手段と、を有する符号化装置の符号化方法であって、前記シーンチェンジ検出手段が、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第１の工程と、前記相関度検出手段が、前記第１の工程における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第２の工程と、前記困難度検出手段が、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第３の工程と、前記Ｍ値決定手段が、前記各シーンについて、前記第２の工程において検出された前記相関度に比例し、前記第３の工程において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいＭ値を決定する第４の工程と、前記第４の工程において決定された前記Ｍ値に基づいて、前記ピクチャデータのピクチャタイプを決定する第５の工程と、を有する。

本発明のプログラムは、動画像データの符号化を行う符号化装置が含むコンピュータに実行させるプログラムであって、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第１の手順と、前記第１の手順における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第２の手順と、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第３の手順と、前記各シーンについて、前記第２の手順において検出された前記相関度に比例し、前記第３の手順において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいＭ値を決定する第４の手順と、前記第４の手順において決定された前記Ｍ値に基づいて、前記ピクチャデータのピクチャタイプを決定する第５の手順と、を前記コンピュータに実行させる。

本発明によれば、動画像の符号化効率をさらに高めることができる符号化装置、符号化方法およびそのプログラムを提供することができる。

以下、本発明の実施形態の通信システムについて説明する。
先ず、本実施形態の構成と本発明の構成との関係を説明する。
図２に示すトライアル動き予測・補償回路５１が本発明の相関度検出手段と困難度検出手段との一例である。
また、ピクチャタイプ割当回路５４が本発明のピクチャタイプ決定手段の一例である。
また、最適Ｍ決定回路５３が本発明のＭ値決定手段の一例である。

図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。

通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置３において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。

<符号化装置２＞
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２１、画面並べ替え回路２３、演算回路３１、直交変換回路３２、量子化回路３３、レート制御回路３４、可逆符号化回路３５、バッファメモリ３６、逆量子化回路３７、逆直交変換回路３８、加算回路３９、デブロックフィルタ４０、フレームメモリ４１、イントラ予測回路４２、動き予測・補償回路４３、トライアル動き予測・補償回路５１、ＳＣ(Scene Change)検出回路５２、最適Ｍ決定回路５３、ピクチャタイプ割当回路５４を有する。

符号化装置２では、トライアル動き予測・補償回路５１、ＳＣ検出回路５２を用いることで、図３に示すように、ピクチャデータ間の相関をマクロブロックＭＢを単位として検出して統計量を計算すると共に、各マクロブロックＭＢのフレーム内符号化の困難度の統計量を計算する。
そして、最適Ｍ決定回路５３において、これらの統計量を基に、高い符号化効率が得られるようにＭ値を決定し、ピクチャタイプ割当回路５４において当該決定されたＭ値を用いて各ピクチャデータのピクチャタイプが決定される。
なお、本実施形態は、ピクチャデータは、フレームデータあるいはフィールドデータである。

以下、符号化装置２の構成要素について説明する。
［Ａ／Ｄ変換回路２１］
Ａ／Ｄ変換回路２１は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号Ｓ１０をデジタルの原ピクチャデータに変換し、これを画面並べ替え回路２３およびトライアル動き予測・補償回路５１に出力する。

［画面並べ替え回路２３］
画面並べ替え回路２３は、Ａ／Ｄ変換回路２１が生成したピクチャデータを、ピクチャタイプ割当回路５４で割り当てたピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えて演算回路３１、イントラ予測回路４２および動き予測・補償回路４３に出力する。

［演算回路３１］
演算回路３１は、画面並べ替え回路２３から入力した符号化対象のピクチャデータと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとの差分を示す画像データを生成し、これを直交変換回路３２に出力する。

［直交変換回路３２］
直交変換回路３２は、演算回路３１から入力した画像データに離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ（例えばＤＣＴ係数）を生成し、これを量子化回路３３に出力する。

［量子化回路３３］
量子化回路３３は、直交変換回路３２から入力した画像データ（量子化前の変換係数）を、レート制御回路３４から入力した量子化スケールＱＳを基に量子化して量子化後の変換係数を示す画像データを生成し、これを可逆符号化回路３５および逆量子化回路３７に出力する。

［レート制御回路３４］
レート制御回路３４は、例えば、バッファメモリ３６から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化回路３３に出力する。

［可逆符号化回路３５］
可逆符号化回路３５は、量子化回路３３から入力した画像データを可変長符号化した画像データをバッファ３６に格納する。
このとき、可逆符号化回路３５は、動き予測・補償回路４３から入力した動きベクトルＭＶあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路４２から入力したイントラ予測モードをヘッダデータなどに格納する。

［バッファメモリ３６］
バッファメモリ３６に格納された画像データは、変調等された後に画像データＳ２として送信される。
当該画像データＳ２は、後述するように、復号装置３によって復号される。
［逆量子化回路３７］
逆量子化回路３７は、量子化回路３３の量子化に対応した逆量子化処理を、量子化回路３３からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路３８に出力する。
［逆直交変換回路３８］
逆直交変換回路３８は、逆量子化回路３７から入力したデータに、直交変換回路３２における直交変換の逆変換を施して生成した画像データを加算回路３９に出力する。

［加算回路３９］
加算回路３３は、逆直交変換回路３８から入力した（デコードされた）画像データと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとを加算して参照（再構成）ピクチャデータを生成し、これをデブロックフィルタ４０に出力する。

［デブロックフィルタ４０］
デブロックフィルタ４０は、加算回路３９から入力した参照ピクチャデータのブロック歪みを除去してフレームメモリ４１に書き込む。

［イントラ予測回路４２］
イントラ予測回路４２は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路４２は、ブロックサイズとして、４ｘ４および１６ｘ１６画素を用いる。
イントラ予測回路４２は、イントラ予測が選択された場合に、イントラ予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。

［動き予測・補償回路４３］
動き予測・補償回路４３は、既に符号化後に局所復号されてフレームメモリ４１に記憶されている参照ピクチャデータＲＥＦを基に動き予測を行い、残差を最小にする動きベクトルおよび動き補償のブロックサイズを決定する。
動き予測・補償回路４３は、ブロックサイズとして、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８および４ｘ４画素を用いる。
動き予測・補償回路４３は、インター予測が選択された場合に、インター予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。

［トライアル動き予測・補償回路５１］
トライアル動き予測・補償回路５１は、Ａ／Ｄ変換回路２１から入力した各原ピクチャデータ内の各マクロブロックＭＢについて、下記式（１）に示すように、当該マクロブロックＭＢの画素データＯｒｇ（ｉ，ｎ，ｘ，ｙ）と、それに対応するインター予測画像のマクロブロックＭＢの画素データｉｎｔｅｒＰｒｅｄ（ｉ，ｎ，ｘ，ｙ）との画素データの差分の絶対値和を示す指標データｉｎｔｅｒＡＤ（ｉ，ｎ）を算出する。
このとき、トライアル動き予測・補償回路５１は、Ｍ値として「１」を用いる。
本実施形態において、Ｍ値は、Ｐスライス（Ｐピクチャ）の間隔、すなわちＩピクチャの間で、何ピクチャ間隔でＰピクチャを配置するかを示す値である。
ここで、ｉはピクチャデータの番号を示し、ｎはマクロブロックＭＢの番号を示す。
また、ａｂｓは、絶対値を示す。

（数１）
ｉｎｔｅｒＡＤ（ｉ，ｎ）＝Σａｂｓ（Ｏｒｇ（ｉ，ｎ，ｘ，ｙ）−ｉｎｔｅｒＰｒｅｄ（ｉ，ｎ，ｘ，ｙ））
…（１）

また、トライアル動き予測・補償回路５１は、Ａ／Ｄ変換回路２１から入力した各原ピクチャデータ内の各マクロブロックＭＢについて、当該マクロブロックＭＢの画素データと、イントラ予測マクロブロックＭＢとの画素データの差分の絶対値和ＩＮＤ（ｉ、ｎ）を算出する。

トライアル動き予測・補償回路５１は、各ピクチャデータについて、当該ピクチャデータ内の全て（Ｎ個）のマクロブロックＭＢの指標データｉｎｔｅｒＡＤ（ｉ，ｎ）の総和を示すＩＮＴＥＲ＿ＡＤ（ｉ）を算出し、これを最適Ｍ決定回路５３に出力する。
また、トライアル動き予測・補償回路５１は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックＭＢについての上記絶対値和ＩＮＤ（ｉ，ｎ）の総和ＩＮＤ（ｉ）を算出し、これを最適Ｍ決定回路５３に出力する。

また、トライアル動き予測・補償回路５１は、Ａ／Ｄ変換回路２１から入力した原ピクチャデータをＳＣ検出回路５２に出力する。
また、トライアル動き予測・補償回路５１は、例えば、上記算出した指標データｉｎｔｅｒＡＤ（ｉ，ｎ）をＳＣ検出回路５２に出力する。

［ＳＣ検出回路５２］
ＳＣ検出回路５２は、トライアル動き予測・補償回路５１から入力した指標データｉｎｔｅｒＡＤ（ｉ，ｎ）を基に、各ピクチャデータについて、シーンチェンジＳＣ直後のピクチャデータであるか否かを判断し、その判断結果ＲＳＣを最適Ｍ決定回路５３に出力する。

［最適Ｍ決定回路５３］
最適Ｍ決定回路５３は、図４に示すように、ＳＣ検出回路５２からの判断結果ＲＳＣを基に、複数の一連のピクチャデータのなかからシーンチェンジ位置を特定し、その特定したシーンチェンジ位置に応じて規定される各シーンについて、下記式（２）に示すように、当該シーンに属するピクチャデータのＩＮＴＥＲ＿ＡＤ（ｉ）の総和をＩＮＤ（ｉ）の総和で除算して指標データＸを算出する。

（数２）
Ｘ＝（ＩＮＴＥＲ＿ＡＤ（ｉ）の総和）／（ＩＮＤ（ｉ）の総和）
…（２）

最適Ｍ決定回路５３は、上記算出した指標データＸが、しきい値ＴＨ以下の場合に、Ｍ値として「１」を割り当て、それ以外の場合にＭ値として「２」あるいは「３」を割り当てる。
なお、最適Ｍ決定回路５３は、上記それ以外の場合に、Ｍ値として「２」のみを割り当ててもよい。
本実施形態において、しきい値ＴＨは、実験的に決定される。

［ピクチャタイプ割当回路５４］
ピクチャタイプ割当回路５４は、ＳＣ検出回路５２から入力した原ピクチャデータのそれぞれに、Ｉ，Ｐ，Ｂのいずれかのピクチャタイプを割り当てる。
このとき、ピクチャタイプ割当回路５４は、最適Ｍ決定回路５３からの入力したＭ値が「１」を示す場合には、処理対象のシーン内のＩピクチャデータ以外の全てのピクチャデータにピクチャタイプＰを割り当てる。
また、ピクチャタイプ割当回路５４は、最適Ｍ決定回路５３からの入力したＭ値が「２」を示す場合には、処理対象のシーン内のＩピクチャデータ以外のピクチャデータにピクチャタイプＰとＢとを交互に割り当てる。

以下、符号化装置２においてＭ値を決定する動作例を説明する。
図５および図６は、符号化装置２においてＭ値を決定する動作例を説明するためのフローチャートである。
ステップＳＴ１１：
トライアル動き予測・補償回路５１は、Ａ／Ｄ変換回路２１から入力した各原ピクチャデータ内の各マクロブロックＭＢについて、上記式（１）に示すように、当該マクロブロックＭＢの画素データＯｒｇ（ｉ，ｎ，ｘ，ｙ）と、それに対応するインター予測画像のマクロブロックＭＢの画素データｉｎｔｅｒＰｒｅｄ（ｉ，ｎ，ｘ，ｙ）との差分の総和を示す指標データｉｎｔｅｒＡＤ（ｉ，ｎ）を算出する。
このとき、トライアル動き予測・補償回路５１は、Ｍ値として「１」を用いる。

ステップＳＴ１２：
トライアル動き予測・補償回路５１は、Ａ／Ｄ変換回路２１から入力した各原ピクチャデータ内の各マクロブロックＭＢについて、当該マクロブロックＭＢを構成する画素データの平均値を示すＭｅａｎＯｒｇ（ｉ，ｎ）を算出する。
そして、トライアル動き予測・補償回路５１は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックＭＢについての上記絶対値和ＩＮＤ（ｉ，ｎ）を算出する。

ステップＳＴ１３：
トライアル動き予測・補償回路５１は、各ピクチャデータについて、当該ピクチャデータ内の全て（Ｎ個）のマクロブロックＭＢの指標データｉｎｔｅｒＡＤ（ｉ，ｎ）の総和を示すＩＮＴＥＲ＿ＡＤ（ｉ）を算出し、これを最適Ｍ決定回路５３に出力する。

ステップＳＴ１４：
トライアル動き予測・補償回路５１は、各ピクチャデータについて、当該ピクチャデータ内の全てのマクロブロックＭＢの上記絶対値和ＩＮＤ（ｉ，ｎ）の総和を示すＩＮＤ（ｉ）を算出し、これを最適Ｍ決定回路５３に出力する。

ステップＳＴ１５：
ＳＣ検出回路５２は、トライアル動き予測・補償回路５１から入力した指標データｉｎｔｅｒＡＤ（ｉ，ｎ）を基に、各ピクチャデータについて、シーンチェンジＳＣ直後のピクチャデータであるか否かを判断し、その判断結果ＲＳＣを最適Ｍ決定回路５３に出力する。

ステップＳＴ１６：
最適Ｍ決定回路５３は、図４に示すように、ＳＣ検出回路５２からの判断結果ＲＳＣを基に、複数の一連のピクチャデータのなかからシーンチェンジ位置を特定し、その特定したシーンチェンジ位置に応じて規定される各シーンについて、上記式（３）に示すように、当該シーンに属するピクチャデータのＩＮＴＥＲ＿ＡＤ（ｉ）の総和をＩＮＤ（ｉ）の総和で除算して指標データＸを算出する。

ステップＳＴ１７：
最適Ｍ決定回路５３は、ステップＳＴ１６で上記算出した指標データＸが、しきい値ＴＨ以下であるか否かを判断し、しきい値ＴＨ以下であると判断すると、ステップＳＴ１８に進み、そうでない場合にステップＳＴ１９に進む。

ステップＳＴ１８：
最適Ｍ決定回路５３は、Ｍ値として「１」を割り当てる。

ステップＳＴ１９：
最適Ｍ決定回路５３は、Ｍ値として「２」あるいは「３」を割り当てる。

以下、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２１においてデジタルの原ピクチャデータに変換され、画面並べ替え回路２３およびトライアル動き予測・補償回路５１に出力される。
そして、トライアル動き予測・補償回路５１、ＳＣ検出回路５２および最適Ｍ決定回路５３において、図５および図６に示した手順でＭ値が決定される。
次に、ピクチャタイプ割当回路５４において、上記決定されたＭ値に基づいて、ピクチャタイプが割り当てられる。続いて、画面並べ替え回路２３において、画像圧縮情報のＧＯＰ構造に応じ、ピクチャデータの並べ替えが行われ、それによって得られたピクチャデータが、演算回路３１、イントラ予測回路４２および動き予測・補償回路４３に出力される。
そして、演算回路３１において、画面並べ替え回路２３からのピクチャデータと、イントラ予測回路４２あるいは動き予測・補償回路４３からの予測画像データＰＩとの差分画像が生成され、これが直交変換回路３２に出力される。

そして、直交変換回路３２、量子化回路３３、逆量子化回路３７および逆直交変換回路３８において、上記差分画像が直交変換、量子化、逆量子化および逆直交変換されて加算回路３９に出力される。
そして、加算回路３９において、イントラ予測回路４２あるいは動き予測・補償回路４３からの予測画像データＰＩと、逆直交変換回路３８からの差分画像とが再構成され、再構成画像が参照画像データとしてデブロックフィルタ４０を介してフレームメモリ４１に書き込まれる。
そして、イントラ予測回路４２において、イントラ予測が行われ、予測画像データＰＩが生成される。
また、動き予測・補償回路４３において、フレームメモリ４１に記憶された参照画像データＲＥＦを基に、予測画像データＰＩが生成される。
そして、イントラ予測回路４２および動き予測・補償回路４３で生成された予測画像データＰＩのうち、符号化効率をより高くする予測画像データＰＩが選択されて演算回路３１に出力される。

以上説明したように、符号化装置２では、符号化対象の動画像データのピクチャデータの特性に応じて最適なＭ値を決定し、当該Ｍ値を基にピクチャタイプ割当回路５４においてピクチャデータのピクチャタイプを決定する。
そのため、符号化装置２によれば、ピクチャデータの特定に適合したＧＯＰ構造で符号化を行うことができ、従来に比べて符号化効率を高めることができる。

＜変形例１＞
上述した実施形態では、トライアル動き予測・補償回路５１において、処理対象の原ピクチャデータのマクロブロックＭＢと、そのインター予測画像のマクロブロックＭＢとの間の画素データの差分の総和を示す指標データｉｎｔｅｒＡＤ（ｉ，ｎ）を用いたが、その代わりに、処理対象のピクチャデータのマクロブロックＭＢと表示順が一つ前のピクチャデータのマクロブロックＭＢとの間の画素データの差分の絶対値和を用いてもよい。
また、トライアル動き予測・補償回路５１は、上記指標データｉｎｔｅｒＡＤ（ｉ，ｎ）の代わりに、処理対象のピクチャデータのマクロブロックＭＢと、そのインター予測画像のマクロブロックＭＢとの間の画素データの差分をＤＣＴあるいはＦＦＴ変換した後のＤＣ成分あるいはＡＣ成分の合計値を用いてもよい。
また、トライアル動き予測・補償回路５１は、上記指標データｉｎｔｅｒＡＤ（ｉ，ｎ）の代わりに、処理対象のマクロブロックＭＢの動きベクトルの各要素の絶対値和を用いてもよい。

＜変形例２＞
上述した実施形態では、トライアル動き予測・補償回路５１において、上記絶対値和ＩＮＤ（ｉ）を用いたが、その代わりに処理対象の原ピクチャデータ内の各マクロブロックＭＢの画素データＯｒｇ（ｉ，ｎ，ｘ，ｙ）と、上記平均値ＭｅａｎＯｒｇ（ｉ，ｎ）との差分の絶対値和を示す指標データＭａｄ（ｉ，ｎ）を用いてもよい。
また、トライアル動き予測・補償回路５１は、上記絶対値和ＩＮＤ（ｉ）の代わりに、処理対象のピクチャデータのマクロブロックＭＢと、そのイントラ予測画像のマクロブロックＭＢとの間の画素データの差分をＤＣＴあるいはＦＦＴ変換した後のＤＣ成分あるいはＡＣ成分の合計値を用いてもよい。
また、トライアル動き予測・補償回路５１は、上記絶対値和ＩＮＤ（ｉ）の代わりに、処理対象のマクロブロックＭＢ内の画素データの分散値、あるいは当該マクロブロックＭＢ内の画素データの最大値あるいは最小値の差分を用いてもよい。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した符号化装置２の機能の全部あるいは一部を、図７に示すように、メモリ２５２に記憶されたプログラムＰＲＧの記述に従ってＣＰＵ(Central Processing Unit)などの処理回路２５３が実行してもよい。
この場合に、インターフェース２５１を介して、符号化対象の画像データが入力され、その処理結果が出力される。

また、上述した実施形態では、最適Ｍ決定回路５３において、指標データＸに基づいて、Ｍ値として「１」あるいは「２」を割り当てたか、「３」以上の値を割り当ててもよい。Ｍ値の割り当てに用いるしきい値の数は２以上であってもよい。

図１は、本発明は、本発明の実施形態の通信システムの構成図である。 図２は、図１に示す符号化装置の機能ブロック図である。 図３は、図２に示すトライアル動き予測・補償回路５１の処理を説明するための図である。 図４は、図２に示すＳＣ検出回路５２および最適Ｍ決定回路５３の処理を説明するための図である。 図５は、図２に示す符号化装置においてＭ値を決定する動作例を説明するためのフローチャートである。 図６は、図２に示す符号化装置においてＭ値を決定する動作例を説明するための図５の続きのフローチャートである。 図７は、図１に示す符号化装置の変形例を説明するための図である。

符号の説明

１…通信システム、２…符号化装置、３…復号装置、２１…Ａ／Ｄ変換回路、２３…画面並べ替え回路、３１…演算回路、３２…直交変換回路、３３…量子化回路、３４…レート制御回路、３５…可逆符号化回路、３６…バッファメモリ、３７…逆量子化回路、３８…逆直交変換回路、３９…加算回路、４０…デブロックフィルタ、４１…フレームメモリ、４２…イントラ予測回路、４３…動き予測・補償回路、５１…トライアル動き予測・補償回路、５２…ＳＣ検出回路、５３…最適Ｍ決定回路、５４…ピクチャタイプ割当回路

Claims (6)

1. 符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断するシーンチェンジ検出手段と、
   前記シーンチェンジ検出手段の判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する相関度検出手段と、
   前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する困難度検出手段と、
   前記各シーンについて、前記相関度検出手段が検出した前記相関度に比例し、前記困難度検出手段が検出した前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいＭ値を決定するＭ値決定手段と、
   前記Ｍ値決定手段が決定した前記Ｍ値に基づいて、前記ピクチャデータのピクチャタイプを決定するピクチャタイプ決定手段と、
   を有する符号化装置。
2. 前記相関度検出手段は、前記ピクチャデータと前記参照ピクチャデータから得られる予測画像データとの間の画素値の差分の合計値と、前記差分を直交変換した後のＤＣ成分あるいはＡＣ成分の合計値と、前記ピクチャデータと当該ピクチャデータに対して表示順が一つ前のピクチャデータとの間の画素値の差分の合計値と、前記ピクチャデータの動きベクトルの各要素の絶対値和との何れか一つを前記相関度として検出する
   請求項１に記載の符号化装置。
3. 前記困難度検出手段は、前記ピクチャデータの画素データの画素値と、その平均値との間の第１の差分の合計値と、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の第２の差分の合計値と、前記第２の差分を直交変換した後のＤＣ成分あるいはＡＣ成分の合計値と、前記ピクチャデータの画素値の分散値と、前記画素値の最大値と最小値との差分との何れか一つを前記困難度として検出する
   請求項１または２に記載の符号化装置。
4. 前記ピクチャタイプ決定手段が決定した前記ピクチャタイプに基づいて、前記ピクチャデータを符号化する符号化手段
   をさらに有する請求項１に記載の符号化装置。
5. シーンチェンジ検出手段と、相関度検出手段と、困難度検出手段と、Ｍ値決定手段と、ピクチャタイプ決定手段と、を有する符号化装置の符号化方法であって、
   前記シーンチェンジ検出手段が、符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第１の工程と、
   前記相関度検出手段が、前記第１の工程における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第２の工程と、
   前記困難度検出手段が、前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第３の工程と、
   前記Ｍ値決定手段が、前記各シーンについて、前記第２の工程において検出された前記相関度に比例し、前記第３の工程において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいＭ値を決定する第４の工程と、
   前記ピクチャタイプ決定手段が、前記第４の工程において決定された前記Ｍ値に基づいて、前記ピクチャデータのピクチャタイプを決定する第５の工程と、
   を有する符号化方法。
6. 動画像データの符号化を行う符号化装置が含むコンピュータに実行させるプログラムであって、
   符号化対象の動画像データを構成する複数のピクチャデータの各々について、シーンチェンジ直後のピクチャデータであるか否かを判断する第１の手順と、
   前記第１の手順における判断結果を基に、前記複数のピクチャデータの中からシーンチェンジ位置を特定し、当該シーンチェンジ位置によって規定される各シーンについて、前記ピクチャデータとその参照ピクチャデータから得られる予測画像データとの間の画素値の差分の前記シーン毎の合計値を、前記複数のピクチャデータがインター符号化される場合における、当該ピクチャデータと、その参照ピクチャデータとの相関度として検出する第２の手順と、
   前記各シーンについて、前記ピクチャデータと当該ピクチャデータのピクチャ内符号化による予測画像データとの間の画素値の差分のシーン毎の合計値を、前記ピクチャデータのフレーム内符号化の困難度として検出する第３の手順と、
   前記各シーンについて、前記第２の手順において検出された前記相関度に比例し、前記第３の手順において検出された前記困難度に反比例する指標データを生成し、前記指標データが小さくなるに従って小さいＭ値を決定する第４の手順と、
   前記第４の手順において決定された前記Ｍ値に基づいて、前記ピクチャデータのピクチャタイプを決定する第５の手順と、
   を前記コンピュータに実行させるプログラム。

Images