JP6348562B2 - 復号化装置および復号化方法 - Google Patents

Description

本発明は、映像を符号化するための映像符号化装置、映像符号化プログラム、映像符号化方法、符号化された映像を復号化するための映像復号化装置、復号化プログラム、復号化方法、符号化された映像符号化ストリームを記録した媒体及び符号化された映像データを送信する方法に関する。

大容量の映像や音声の情報を、圧縮されたデジタルデータとして記録し、伝達する方法として、ＭＰＥＧ（Moving Picture Experts Group）方式等の符号化方式が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG : “Text of International Standard of Joint Video Specification”, ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding, (December, 2003)に記載されるＨ．２６４／ＡＶＣ（Advanced Video Coding）規格等が定められている。これらの方式は、デジタル衛星放送、ＤＶＤ、携帯電話及びデジタルカメラ等における符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなっている。

これらの符号化方式のうち、Ｈ．２６４／ＡＶＣ方式では、これまでＭＰＥＧ等で用いられてきた、動き補償予測や離散コサイン変換（Discrete Cosine Transform、ＤＣＴ）による算術変換符号化の技術に加え、イントラ（Intra-coded）予測符号化と呼ばれる技術が採用されている。これは、他のピクチャの情報を用いることなく、イントラフレーム内における符号化済み隣接ブロックから信号レベルを予測する技術である。

図３は、イントラ予測符号化の説明図である。ここでは、例として、画面の左上から右下へ順次走査するラスタースキャン方式において、４×４画素サイズのブロック単位で予測する場合について説明する。予測ブロック３０３（予測する対象のブロック）の画素３０４の信号レベルは、既に符号化された隣接ブロック３０１の境界画素３０２（隣接ブロック３０１の画素のうち、予測ブロックに隣接する画素。ただし、予測ブロックの右上の隣接ブロックについては、最も下の一行の画素）の信号レベルから予測され、予測された値と実際の値との差分（残差成分）をＤＣＴ等によって算術変換符号化する。このとき、まだ符号化されていない隣接ブロックの画素３０５は、予測に用いることができない。予測の方向（すなわち、符号化モード）３０６は複数あり、全ての方向について予測を行って残差成分を比較し、最も残差成分が小さい方向が選択されて、その残差成分が算術変換符号化される。ここで、方向「０：ＤＣ」は、全ての境界画素の信号レベルの平均値を予測値とするモードである。

なお、１６×１６画素サイズのブロック単位で予測する場合でも、予測の方向は制限されるが、同様にしてイントラ予測符号化をすることができる。

上記のように、イントラ予測符号化では、まだ符号化されていない隣接ブロックの画素を用いることができない。このため、予測の方向３０６によって、予測精度に差が生じる。例えば、画面の左上から右下へ順番に走査するラスタースキャン方式によってブロックをスキャンする場合、左上から右下方向への予測精度は高くなるが、右上から左下方向への予測精度は低くなる。すなわち、左上から右下方向へ信号レベルが同等の画素が続く画像（右下がり画像）に対しては予測がしやすいため、圧縮率を高くすることができるが、右上から左下へ信号レベルが同等の画素が続く画像（右上がり画像）に対しては予測がしにくいため、圧縮率が低くなる。

また、従来のイントラ予測符号化では、境界画素のみを用いて予測しているため、ブロック内部の信号レベルの連続的変化を十分精度高く予測できないという問題点がある。通常は、画素の信号レベルはなだらかに変化する。しかし、従来のイントラ予測符号化では、ブロック境界において境界画素を延長して予測する（すなわち、予測されるブロック内の画素を境界画素と同じであると予測する）。このため、境界画素から遠い画素ほど、残差成分が大きくなり、算術変換後の符号量が多くなる。

本発明は、上記の問題点に鑑みてなされたものであり、イントラ予測を行う前に、入力画像を垂直方向若しくは水平方向に反転し、又は、任意の角度に回転させることによって、スキャン方向を変更することなく常に予測精度の高い方向にイントラ予測することができる映像符号化装置、及び、これに対応する映像復号化装置を提供することを目的とする。

また、本発明は、イントラ予測の際に、境界画素だけでなく、ブロック内部の画素を用いて、所定の補間式による精度の高いイントラ予測を実現する映像符号化装置、及び、これに対応した映像復号化装置を提供することを目的とする。

本発明によれば、符号化された画像の信号を復号化する復号化装置において、前記画像の方向が変換されているか否かを判定する判定部と、前記画像を復号化する復号化部と、前記復号化された画像に対して、前記判定された変換を元に戻す変換を行う画像変換部と、を備えるものが提供される。

したがって、本発明によれば、スキャン方向を変更することなく常に予測精度の高い方向にイントラ予測することによって圧縮率を高めた映像符号化装置に対応する映像復号化装置を提供することができる。

本発明の実施形態、本発明の利点については、添付された図面を参照しながら以下に詳細に説明する。

本発明の第１の実施の形態の映像符号化装置のハードウエア構成を説明するブロック図である。 本発明の第１の実の形態の映像符号化装置の機能を説明するブロック図である。 イントラ予測符号化の説明図である。 本発明の第１の実施の形態の映像符号化の手順の説明図である。 本発明の第２の実施の形態の映像復号化装置のハードウエア構成を説明するブロック図である。 本発明の第２の実施の形態の映像復号化装置の機能を説明するブロック図である。 本発明の第２の実施の形態の映像復号化の手順の説明図である。 本発明の第３の実施の形態のイントラ予測方法の説明図である。 本発明第３の実施の形態のイントラ予測方法を適用するイントラ予測部の機能を説明するブロック図である。 本発明の第３の実施の形態のイントラ予測の手順の説明図である。 本発明の第４の実施の形態のデータ記録媒体の説明図である。 本発明の第５の実施の形態のパケットの説明図である。

図１は、本発明の第１の実施の形態の映像符号化装置のハードウエア構成を説明するブロック図である。

第１の実施の形態の映像符号化装置１０１は、相互に通信可能に接続されたプロセッサ１０２、メモリ１０３、入力インターフェース（入力Ｉ／Ｆ）１０４及び出力インターフェース（出力Ｉ／Ｆ）１０６からなる。入力Ｉ／Ｆ１０４は、入力装置１０５に接続される。また、出力Ｉ／Ｆ１０６は、出力装置１０７に接続される。

プロセッサ１０２は、本発明の映像符号化の処理を行うプロセッサであり、メモリ１０３に格納されたプログラムを実行して、入力Ｉ／Ｆ１０４から受けたデータを符号化し、出力Ｉ／Ｆ１０６に送る。

メモリ１０３には、プロセッサ１０２が実行するプログラムが格納される。また、プロセッサ１０２が処理する対象となるデータが一時的に格納される。

映像符号化装置１０１には、プロセッサ１０２及びメモリ１０３が複数設けられてもよい。例えば、本発明の映像符号化の処理を行うプログラムの一部のみを実行する専用のプロセッサが設けられてもよい。また、同一の処理を行う専用のプロセッサが複数設けられてもよい。

プロセッサ１０２及びメモリ１０３は、単一のチップ上に実装されてもよい。

入力Ｉ／Ｆ１０４は、プロセッサ１０２が処理する映像データを入力装置１０５から受信するインターフェースである。

入力装置１０５は、映像符号化装置１０１が処理する映像信号を入力Ｉ／Ｆ１０４に入力する装置であり、例えば、ビデオカメラやＴＶチューナーである。この場合、入力Ｉ／Ｆ１０４は、例えば、ビデオキャプチャカードである。また、入力装置１０５は、符号化されていない映像データが格納された記憶装置であってもよい。この場合、入力Ｉ／Ｆ１０４は、例えば、ＳＣＳＩインターフェースである。

出力Ｉ／Ｆ１０６は、プロセッサ１０２によって符号化されたデータを出力装置１０７に送信するインターフェースである。

出力装置１０７は、映像符号化装置１０１が符号化したデータの出力先であり、例えば、符号化したデータを格納する記憶装置である。この場合、出力Ｉ／Ｆ１０６は、例えば、ＳＣＳＩインターフェースである。また、出力装置１０７は、ＬＡＮやＩＰネットワーク等（図示省略）を介して出力Ｉ／Ｆ１０６と接続されたコンピュータ装置であってもよい。この場合、出力Ｉ／Ｆ１０６は、ネットワークインターフェースである。また、出力装置１０７は、電話通信網（図示省略）を介して出力Ｉ／Ｆ１０６と接続された受像装置であってもよい。この場合、出力Ｉ／Ｆ１０６は、電話信号の送信機である。また、出力装置１０７は、デジタルＴＶ受像機であってもよい。この場合、出力Ｉ／Ｆ１０６は、デジタルＴＶ信号の送信機である。

映像符号化装置１０１は、入力Ｉ／Ｆ１０４及び出力Ｉ／Ｆ１０６をそれぞれ複数備え、それぞれの入力Ｉ／Ｆ１０４及び出力Ｉ／Ｆ１０６に、異なる種類の入力装置及び出力装置が接続されてもよい。例えば、映像符号化装置１０１は、二つの出力Ｉ／Ｆ１０６を備え、一方にはハードディスク装置が接続され、もう一方には光磁気ディスク装置が接続されてもよい。また、一方にはハードディスク装置が接続され、もう一方にはＬＡＮ等を介してコンピュータ装置が接続されてもよい。

図２は、本発明の第１の実施の形態の映像符号化装置１０１の機能を説明するブロック図である。

映像符号化装置１０１は、原画像メモリ２０１、画像変換部２０２、符号化部２０３、モード制御部２１３及びモード選択部２１４からなる。ここで、原画像メモリ２０１は、メモリ１０３の一部の領域であり、画像変換部２０２、モード制御部２１３及びモード選択部２１４は、メモリ１０３に格納され、プロセッサ１０２によって実行されるプログラムである。また、符号化部２０３は、プロセッサ１０２によって実行されるプログラムである動き予測部２０４、イントラ予測部２０５、算術変換部２０６、量子化部２０７、係数符号化部２０８、逆量子化部２０９及び逆算術変換部２１０、並びに、メモリ１０３の一部の領域である復号画像メモリ２１１及び予測画像メモリ２１２からなる。

次に、映像符号化装置１０１の各部の機能を、画像を符号化する手順に沿って説明する。

原画像メモリ２０１は、符号化する原画像を一時的にバッファリングする。次に、画像変換部２０２は、原画像メモリ２０１から取得した画像のフレーム全体又は一部を変換処理する。ここで、フレームの一部とは、例えば、フレームを所定のサイズに分割したマクロブロック又はブロックでもよいし、所定の矩形領域でもよい。一般には、マクロブロック単位で符号化が行われる。

画像変換部２０２は、フレーム全体に対して変換処理を行ったデータをマクロブロック単位に分割して符号化部２０３に伝送してもよいし、フレームをマクロブロック単位に分割してから変換処理を行ってもよい。変換処理を行ったか否かの情報は、モード制御部２１３に伝送される。

画像変換部２０２が行う変換処理は、画像の方向を変換する処理である。画像の方向を変換する処理とは、例えば、フレームを左右に反転させる左右対称変換、フレームを上下に反転させる上下対称変換、及び、フレームを回転させる回転変換等の線対称変換や点対称変換である。以下、例として、画像全体を左右対称変換した場合と、変換しない場合とを比較して、符号量が小さくなる方を選択する場合について説明する。

符号化部２０３は、画像変換部２０２から、左右対称変換した画像と、変換しない画像とを取得し、それぞれの画像を順次符号化する。また、符号化部２０３が複数設けられ、それぞれの画像を二つの符号化部２０３が並列に符号化してもよい。符号化部２０３が複数設けられる場合、映像符号化装置１０１には、符号化部２０３のプログラムのみを実行する専用のプロセッサ１０２が複数設けられる。

動き予測部２０４は、画像変換部２０２から取得した画像に対して、予測画像メモリ２１２及び復号画像メモリ２１１の画像を用いてフレーム間予測を行い、動きベクトル等の情報をモード制御部２１３に伝送し、予測によって得られた符号化ブロックの残差成分を算術変換部２０６に伝送する。

イントラ予測部２０５は、画像変換部２０２から取得した画像に対して、復号画像メモリ２１１の画像を用いてイントラ予測を行い、モードの情報等をモード制御部２１３に伝送し、予測によって得られた符号化ブロックの残差成分を算術変換部２０６に伝送する。

算術変換部２０６、量子化部２０７及び係数符号化部２０８は、従来の符号化装置と同じものであり、それぞれ、ＤＣＴ演算、変換係数の量子化、及び、係数の符号への変換等を行う。また、逆量子化部２０９、逆算術変換部２１０も、従来の符号化装置と同じものであり、それぞれ、符号化されたデータを逆変換することによって画像情報に戻し、復号画像メモリ２１１及び予測画像メモリ２１２に格納する。

モード制御部２１３は、画像（フレーム）全体及び符号化途中のマクロブロックにおける符号化モードを管理する。画像全体に関しては、変換処理を行った画像に対する符号化プロセスと、変換処理を行っていない画像に対する符号化プロセスの情報を保持する。すなわち、変換処理を行った場合と、行わない場合のそれぞれについて、動き予測の基準となる情報（動きベクトル、参照フレームの情報等）や、イントラ符号化モード（イントラ予測の方向）の情報等を保持する。マクロブロックに関しては、現マクロブロックがイントラ符号化されるかフレーム間予測符号化されるかの情報、及び、これらに関係するイントラ符号化モード、動きベクトル、参照フレームの情報等を保持する。モード制御部２１３は、これらの情報をモード選択部２１４に伝送する。

モード選択部２１４は、画像全体及び符号化途中のマクロブロックに関する符号化データ並びに符号化モードの情報から、画像の符号化データを構成して出力する。画像変換部２０２による変換処理を行って符号化した場合の全体の符号量と、変換処理を行わないで符号化した場合の符号量とを比較し、小さい方の符号をストリームとして出力する。また、変換処理を行ったか否かのフラグ、及び、画像の一部の領域について変換した場合にはその領域の位置情報を、データとしてストリームに付加する。

変換処理を行ったか否かを示すフラグは、左右対称変換、上下対称変換については、それぞれ１ビットずつあればよい。回転変換の場合、時計周りに９０度回転する毎に数を１ずつ増やすとすると、２ビットあれば３６０度の回転を表現できる。

図４は、本発明の第１の実施の形態の映像符号化の手順の説明図である。

まず、画像変換部２０２が符号化方式の判定を行う（ステップ４０１）。すなわち、フレーム全体に対して変換処理を行うか、マクロブロック単位で変換するか等の判定を行う。以下、例として、フレーム全体を変換する場合について説明する。変換処理を行うプロセスは、ステップ４０２に進み、変換処理を行わないプロセスはステップ４０４に進む。

ステップ４０２では、画像変換部２０２が入力画像の変換を行う。すなわち、フレームごとに、左右対称変換、上下対称変換、回転変換等を行う。続いて、ステップ４０３に進む。

ステップ４０３及びステップ４０４では、符号化部２０３が画像を符号化する。この符号化は、図２において説明した通りである。

次に、モード選択部２１４が符号量の比較及びモード判定を行う（ステップ４０５）。すなわち、図２において説明したように、変換処理を行ったプロセスと変換処理を行わなかったプロセスとで、符号化によって得られた符号量を比較し、符号量の少ないデータを出力すると判定する。

次に、モード選択部２１４が符号及びフラグを出力する（ステップ４０６）。図２において説明したように、ステップ４０５の判定に従い、変換処理を行ったか否かを示すフラグと、画像の一部の領域を変換処理した場合にはその領域の位置情報と、選択された符号化データをストリームとして出力する。以上で符号化処理が終了する。

図５は、本発明の第２の実施の形態の映像復号化装置のハードウエア構成を説明するブロック図である。

第２の実施の形態の映像復号化装置５０１は、相互に通信可能に接続されたプロセッサ５０２、メモリ５０３、入力インターフェース（入力Ｉ／Ｆ）５０４及び出力インターフェース（出力Ｉ／Ｆ）５０６からなる。入力Ｉ／Ｆ５０４は、入力装置５０５に接続される。また、出力Ｉ／Ｆ５０６は、出力装置５０７に接続される。

プロセッサ５０２は、本発明の映像復号化の処理を行うプロセッサであり、メモリ５０３に格納されたプログラムを実行して、入力Ｉ／Ｆ５０４から受けたデータを復号化し、出力Ｉ／Ｆ５０６に送る。

メモリ５０３には、プロセッサ５０２が実行するプログラムが格納される。また、プロセッサ５０２が処理する対象となるデータが一時的に格納される。

映像復号化装置５０１には、プロセッサ５０２及びメモリ５０３が複数設けられてもよい。例えば、本発明の映像復号化の処理を行うプログラムの一部のみを実行する専用のプロセッサが設けられてもよい。

プロセッサ５０２及びメモリ５０３は、単一のチップ上に実装されてもよい。

入力Ｉ／Ｆ５０４は、プロセッサ１０２が処理する符号化されたデータを入力装置５０５から受信するインターフェースである。

入力装置５０５は、映像復号化装置５０１が処理する符号化されたデータを入力Ｉ／Ｆ５０４に入力する装置であり、例えば、符号化されたデータが格納された記憶装置である。この場合、入力Ｉ／Ｆ５０４は、例えば、ＳＣＳＩインターフェースである。また、入力装置５０５は、ＬＡＮやＩＰネットワーク等（図示省略）を介して入力Ｉ／Ｆ５０４と接続されたコンピュータ装置であってもよい。この場合、入力Ｉ／Ｆ５０４は、ネットワークインターフェースである。また、入力装置５０５は、電話通信網（図示省略）を介して入力Ｉ／Ｆ５０４と接続された映像データ送信装置であってもよい。この場合、入力Ｉ／Ｆ５０４は、電話信号の受信機である。また、入力装置５０５は、デジタルＴＶ放送局であってもよい。この場合、入力Ｉ／Ｆ５０４は、デジタルＴＶチューナーである。

出力Ｉ／Ｆ５０６は、プロセッサ５０２によって復号化されたデータを出力装置５０７に送信するインターフェースである。

出力装置５０７は、映像復号化装置５０１が復号化したデータの出力先であり、例えば、映像を出力するディスプレイである。この場合、出力Ｉ／Ｆ５０６は、例えば、ビデオカードである。また、出力装置５０７は、復号化したデータをストリーム記録する記憶装置である。この場合、出力Ｉ／Ｆ５０６は、例えば、ＳＣＳＩインターフェースである。

映像復号化装置５０１は、入力Ｉ／Ｆ５０４及び出力Ｉ／Ｆ５０６をそれぞれ複数備え、それぞれの入力Ｉ／Ｆ５０４及び出力Ｉ／Ｆ５０６に、異なる種類の入力装置及び出力装置が接続されてもよい。例えば、映像符号化装置１０１は、二つの入力Ｉ／Ｆ５０４を備え、一方にはハードディスク装置が接続され、もう一方には光ディスク装置が接続されてもよい。また、一方にはハードディスク装置が接続され、もう一方にはＬＡＮ等を介してコンピュータ装置が接続されてもよい。

図６は、本発明の第２の実施の形態の映像復号化装置５０１の機能を説明するブロック図である。

映像復号化装置５０１は、ストリーム解析部６０１、モード判定部６０２、復号化部６０３、画像変換部６１０及び復号画像メモリ６１１からなる。ここで、ストリーム解析部６０１、モード判定部６０２、復号化部６０３及び画像変換部６１０は、メモリ５０３に格納され、プロセッサ５０２によって実行されるプログラムであり、復号画像メモリ６１１は、メモリ５０３の一部の領域である。また、復号化部６０３は、プロセッサ５０２によって実行されるプログラムである動き予測部６０４、イントラ予測部６０５、係数解析部６０６、逆量子化部６０７及び逆算術演算部６０８、並びに、メモリ５０３の一部の領域である予測画像メモリ６０９からなる。

第２の実施の形態の復号化装置５０１は、第１の実施の形態の映像符号化装置１０１によって符号化されたストリームを復号化することができる。次に、映像復号化装置５０１の各部の機能を、符号化されたストリームを復号化する手順に沿って説明する。

ストリーム解析部６０１は、入力された符号化ストリームのデータを解析し、フラグやデータの情報をモード判定部６０２に伝送する。ストリーム解析部６０１は、符号化装置１０１によって作成されたストリームのデータ、フラグを解析する。

次に、モード判定部６０２は、ストリーム解析部６０１によって解析された情報によって、動き予測やイントラ予測、画像変換に関するモードの制御を行う。符号化時に、画像に対して反転、回転等の変換処理が施されていることを示すフラグがストリームに付されている場合には、施された変換処理の種類の情報（例えば、左右対称変換が施されているか否かの情報等）を画像変換部６１０に伝送する。

動き予測部６０４は、モード判定部６０２から伝送された動きベクトル等の情報と予測画像メモリ６０９および復号画像メモリ６１１の画像とを用いてフレーム間予測を行い、予測情報を係数解析部６０６に伝送する。

イントラ予測部６０５は、モード判定部６０２から伝送されたイントラ符号化モード等の情報と復号画像メモリ６１１の画像とを用いてイントラ予測を行い、予測情報を係数解析部６０６に伝送する。

係数解析部６０６、逆量子化部６０７及び逆算術変換部６０８は、従来の復号化装置と同じものであり、それぞれ、予測情報と係数情報との合成、変換係数の逆量子化及びＤＣＴ演算等を行う。

画像変換部６１０は、モード判定部６０２から伝送された情報に従って、復号化された画像のフレーム全体又は一部を変換処理する。すなわち、上記図１及び図２の符号化装置１０１の画像変換部２０２が行った変換処理を元に戻す処理を行う。

復号画像メモリ６１１は、画像変換部６１０による変換処理後の復号画像を格納し、出力装置５０４に伝送して、復号化された画像の画面への表示やストリームへの出力を行う。

図７は、本発明の第２の実施の形態の映像復号化の手順の説明図である。

まず、ストリーム解析部６０１及びモード判定部６０２がストリーム及びフラグの解析を行う（ステップ７０１）。次に、復号化部６０３が画像を復号化する（ステップ７０２）。次に、画像変換部６１０が復号画像の変換を行い、復号画像メモリ６１１に格納する（ステップ７０３）。最後に、復号画像メモリ６１１に格納された画像を表示又はストリーム記録のために出力する（ステップ７０４）。以上で復号化処理が終了する。なお、上記の各部の処理の内容は、図６において説明した通りであるので、詳細な説明を省略する。

以上で説明した本発明の第１の実施の形態の映像符号化装置１０１及び第２の実施の形態の映像復号化装置５０１は、同一のハードウエアとして実装されてもよい。この場合、メモリ１０３（又は、メモリ５０３）には、図２及び図６において説明した各プログラムが格納されると共に、図２及び図６において説明した各領域が確保される。

以上の本発明の第１及び第２の実施の形態によれば、スキャン方向を変更することなく常に予測精度の高い方向にイントラ予測をすることによって符号化後の符号量を削減する（すなわち、圧縮率の高い）映像符号化装置と、これに対応する映像復号化装置を提供することができる。その結果、従来のイントラ予測と比較して、符号量が最大で約１割程度削減される。但し、符号量は原画像の内容に応じて変化するので、常時一定の削減量ではない。

図８は、本発明の第３の実施の形態のイントラ予測方法の説明図である。

本実施の形態は、予測ブロック８０２の画素の信号レベルを予測する際に、境界画素の信号レベルだけでなく、既に符号化された隣接ブロック８０１全体の画素の信号レベルを使用する方法であり、上記図２及び図６のイントラ予測部２０５及び６０５において用いられる。ここで、「予測ブロック」とは、符号化の対象であって、まだ符号化されていないブロックをいい、「隣接ブロック」とは、予測ブロックに隣接する符号化済みのブロックをいう。

予測の方向は、図３の３０６に示す通りである。本実施の形態では、説明を簡単にするため、一部の方向についての予測のみを記載するが、実際の予測では、予測の方向３０６の全てについて予測を行い、残差成分が最も小さくなる方向が選択される。ここで、予測とは、符号化の際には、予測ブロック８０２の各画素の実際の信号レベルと、予測に利用する隣接ブロックの画素の信号レベルから算出された予測値との差分（残差成分）を符号化する手順をいう。一方、復号化の際には、同様にして算出された予測値に、復号化された残差成分を加算することによって復号画像を得る手順をいう。以下、符号化の手順を説明する。

従来のイントラ予測方法は、境界画素のみを用いた予測方法である。例えば、垂直方向に予測する場合、予測ブロック８０２の真上にある隣接ブロック８０１の境界画素（最も下の一行の画素）を用いて、下方向に予測する。すなわち、予測ブロック８０２を４列に分割し、各画素の信号レベルの値から、その画素を含む列の上に接する境界画素の信号レベルの値を減算する。水平方向に予測する場合も同様に、予測ブロックの左側にある隣接ブロックの境界画素（最も右の一列の画素）を用いて、右方向に予測する。すなわち、予測ブロック８０２を４行に分割し、各画素の信号レベルの値から、その画素を含む行の左に接する境界画素の信号レベルの値を減算する。すなわち、上記のいずれの方向の予測においても、予測ブロックの画素の信号レベルを、境界画素の信号レベルと同じであると予測し、その予測値と実際の値との差（残差成分）を計算する。

一方、本発明の第３の実施の形態のイントラ予測方法は、境界画素だけでなく、隣接ブロックの内部の画素をも用いる複合画素による予測方法である。ここで、複合画素とは、予測ブロックの画素の予測に用いる複数のブロックをいい、例えば、水平方向に予測する場合、予測対象の行の左側に隣接する隣接ブロックの一行（８０３）である。この場合、複合画素８０３の値から補間式によって予測値を算出し、隣接する予測ブロックの一行の画素の値を予測する。この予測には、例えば、ニュートン前進補間式を用いる。例えば、隣接ブロックの複合画素と予測ブロックの予測対象の画素の番号ｎを０〜７として、画素ｎの信号レベルをｙｎとし、ｎ＝０、１、２、３（符号化済み）からｎ＝４、５、６、７（未符号化）を求める場合について説明する。この時、画素ｎの信号レベル予測値ｙｎは、式（１）によって算出される。

残差成分は、予測ブロックの画素の値から、式（１）によって算出された予測値を減算して求める。例えば、ｎ＝７の場合、画素７の残差成分は、画素７の実際の値からｙ７を減算した値である。斜めの方向に予測する場合も、同様にして、予測対象となる予測ブロックの画素と、予測の基礎となる隣接ブロックの画素に、番号ｎ（ｎ＝０〜７）を付して、式（１）によって予測値を算出する（８０５）。予測の対象となる画素が４より少ない場合は、ｎの範囲を制限して計算する。例えば、予測の対象となる画素が３である場合は、ｎ＝０〜６とする（８０６）。

式（１）は、ブロックサイズが４×４画素の場合に適用する数式の例であるが、本実施の形態の予測方法は、他のブロックサイズ（例えば、１６×１６画素等）の場合にも適用することができる。一般に、０からｎまでの番号が付された画素について、画素０〜ｍの既知の信号レベルの値から、画素ｍ＋１〜ｎの信号レベルの値を予測する場合、予測値ｙｎは、式（２）によって求めることができる。ここで、ｎＣｊは二項係数である。

次に、従来の予測方法による残差と本実施の形態の予測方法による残差とを比較する。従来の予測方法による信号レベル８０８は、画素３（境界画素）の信号レベルと同じである。一方、本実施の形態の予測方法による信号レベル８０９は、式（１）によって算出された値である。

例えば、画素０〜３の信号レベルが一定の割合で変化するとき、画素４〜７の実際の信号レベル８１０も、それに近い割合で変化することが多い。すなわち、実際の信号レベル８１０は、従来の予測方法による信号レベル８０８より本実施の形態の予測方法による信号レベル８０９に近いことが多い。その結果、従来の予測方法による残差８１１より本実施の形態の予測方法による残差８１２が小さくなり、符号量が少なくなる。なお、式（１）及び式（２）では、予測に全ての既知の画素の信号レベルを用いているが、一部の画素の信号レベルを用いて予測することもできる。

なお、本実施の形態には、最小二乗法を適用してもよい。この場合、既知の信号レベルから、最小二乗法による推定を行った一次式を用いる。例えば、上記と同様に、ｎ＝０、１、２、３のときの画素ｎの既知の信号レベルｙｎに基づいて、ｎ＝４、５、６、７のときの画素ｎの信号レベルｙｎを求める場合には、式（３）を用いる。ここで、ｍは、予測の基礎となる画素の数であり、この例では、ｍ＝４である。

図９は、本発明第３の実施の形態のイントラ予測方法を適用するイントラ予測部２０５の機能を説明するブロック図である。

本実施の形態のイントラ予測部２０５は、既に符号化された隣接ブロックの信号レベルの情報９０７と現画像とに基づいて、予測ブロックのイントラ符号化モード（すなわち、上記図３の予測の方向３０６）を決定し、予測処理を行って、符号化モード及び残差成分の情報９０６をモード制御部２１３、及び算術変換部２０６に伝送する。

イントラ予測部２０５は、イントラ予測制御部９０１と、各符号化モードに対応する複数の予測部とによって構成される。これらの複数の予測部は、従来の境界画素を使用した予測をおこなうものと、本実施の形態の複合画素による予測を行うものに分類され、それぞれには、図２の予測の方向３０６に示す各方向に予測を行うものが含まれる。

図９には、説明を簡単にするため、境界画素を用いて垂直方向（図２の「０：Ｖｅｒｔｉｃａｌ」）に予測する垂直方向境界画素モード予測部９０２、境界画素を用いて水平方向（図２の「１：Ｈｏｒｉｚｏｎｔａｌ」）に予測する水平方向境界画素モード予測部９０３、複合画素を用いて垂直方向に予測する垂直方向複合画素モード予測部９０４及び複合画素を用いて水平方向に予測する水平方向複合画素モード予測部９０５のみを示すが、実際には、図２の他の予測の方向３０６ごとに、境界画素を用いる予測部と、複合画素を用いる予測部とが設けられる。

イントラ予測制御部９０１は、イントラ予測方法の管理を行う。すなわち、予測ブロックに隣接するブロックが使用可能かどうかをチェックし、イントラ予測のための情報を制御する。

各モード予測部９０２〜９０５は、隣接ブロックの画素の信号レベルから予測ブロックの画素の信号レベルを予測して、実際の画素の信号レベルとの残差成分を算出する。次に、算出された残差成分が最も小さいモードの情報をモード制御部２１３に伝送し、そのモードで算出された残差成分を算術変換部２０６に伝送する。

垂直方向境界画素モード予測部９０２は、予測ブロックの上側の隣接ブロックの境界画素を用いて、下方向に予測する。水平方向境界画素モード予測部９０３は、予測ブロックの左側の隣接ブロックの境界画素を用いて、右方向に予測する。

垂直方向複合画素モード予測部９０４及び水平方向複合画素モード予測部９０５は、本実施の形態の複合画素を用いたイントラ予測を行う。垂直方向複合画素モード予測部９０４は、予測ブロックの上側の隣接ブロックの複合画素（すなわち、境界画素及び内部にある画素）を用いて、式（１）又は式（２）によって信号レベルの予測値を計算し、実際の信号レベルとの残差成分を求める。水平方向複合画素モード予測部９０５は、予測ブロックの左側の隣接ブロックの複合画素を用いて、式（１）又は式（２）によって信号レベルの予測値を計算し、実際の信号レベルとの残差成分を求める。

図１０は、本発明の第３の実施の形態のイントラ予測の手順の説明図である。

まず、イントラ予測制御部９０１が、イントラ予測モードのチェックを行う（ステップ１００１）。すなわち、隣接するブロックの画素が使用可能であるかどうかを判定し、その判定結果に基づいて、適用可能な予測の方向３０６及びそれぞれの予測の方向３０６において予測に使用する画素を特定する。

次に、モード予測部９０２〜９０５が、適用可能な予測の方向３０６について、イントラ予測を行う。図１０では、例として、垂直方向及び水平方向のそれぞれについて、従来の境界画素を用いた予測と、本実施の形態の複合画素を用いた予測とを行う（ステップ１００２〜１００５）。

次に、ステップ１００２〜１００５の予測の結果から、最適なイントラ予測モードを選択する（ステップ１００６）。ステップ１００２〜１００５の予測の結果、画素ごとの残差成分のモードごとの合計値が算出される。この合計値が小さいモードほど符号化後の符号量は小さくできるため、最も残差成分の合計値が小さいモードを最適なモードとして選択する。次に、選択された残差成分を算術変換部２０６に伝送し、選択されたモードの情報をモード制御部２１３に伝送する。さらに正確に判定するためには、モード選択部２１４が、算術変換部２０６による算術変換後の残差成分の合計値が最も小さいモードを最適なモードとして選択してもよい。以上で、イントラ予測処理が終了する。

モード選択部２１４は、選択された最適なモードを示すフラグを、出力する符号のストリームに付加する。

なお、図１０においては、説明を簡単にするため、垂直方向及び水平方向の予測のみを記載したが、実際は、イントラ予測制御部９０１が適用可能と判定した全ての予測の方向について予測を行い、その結果から最適なモードを選択することができる。

図９及び図１０は、映像符号化装置１０１について説明したが、本実施の形態のイントラ予測方法は、映像復号化装置５０１についても同様に適用することができる。この場合、イントラ予測部６０５は、従来の境界画素モード予測部に加えて、各予測の方向３０６ごとの複合画素モード予測部を備え、入力された符号化データの予測モードに従ってイントラ予測を行うことによって、本実施の形態のイントラ予測方法に対応した映像復号化装置５０１を実現することができる。

すなわち、モード判定部６０２は、復号化しようとする画像のストリームに付されたフラグを参照し、画像を符号化したときに選択されたイントラ予測モードを判定する。次に、イントラ予測部６０５は、判定されたイントラ予測モードに従って予測を行い、画像を復号化する。例えば、復号化しようとする画像が、右方向に境界画素モードの符号化がされていた場合は、予測ブロックの画素の信号レベルを、予測ブロックの左側の隣接ブロックの境界画素と同じと予測して、復号化する。また、例えば、復号化しようとする画像が、右方向に複合画素モードの符号化がされていた場合は、予測ブロックの画素の信号レベルを、予測ブロックの左側の隣接ブロックの複合画素に式（１）を適用して予測値を算出し、復号化する。

以上の本発明の第３の実施の形態によれば、複合画素（ブロック内部の画素）を用いて精度の高いイントラ予測をすることによって、符号化後の符号量を削減する（すなわち、圧縮率が高い）映像符号化装置、およびこれに対応した映像復号化装置を提供することができる。

図１１は、本発明の第４の実施の形態のデータ記録媒体の説明図である。

データ記録媒体１１０１は、出力装置１０７又は入力装置５０５が記憶装置である場合の記録媒体であり、例えば、磁気ディスクである。本発明の第１の実施の形態の映像符号化装置１０１によって作成された符号化データは、データ記録媒体１１０１上にデータ列１１０２として記録される。データ列１１０２は、一定の文法に従う符号化ストリームとして記録される。以下、Ｈ．２６４／ＡＶＣ規格の例について説明する。

Ｈ．２６４／ＡＶＣでは、ストリームは、シーケンスパラメータセット１１０３、ピクチャパラメータセット１１０４並びにスライス１１０５、１１０６及び１１０７によって構成される。以下、例として、１つのスライスに１つの画像（フレーム）が格納される場合について説明する。

フレーム全体に左右対称変換、上下対称変換又は回転変換等の変換処理が行われた場合のストリームでは、スライス１１０５の先頭にスライスヘッダ１１０８が記録され、スライスヘッダ１１０８の内部には、変換処理に関連するフラグ等の情報１１０９が格納される。この情報の内容としては、変換処理を行ったか否かを示すフラグと、画像の一部の領域を変換した場合には、その一部の領域の位置情報等が格納される。変換処理を行ったか否かを示すフラグは、左右対称変換、上下対称変換については、それぞれ１ビットずつあれば足りる。回転変換の場合、時計周りに９０度回転する毎に数を１ずつ増やすとすると、２ビットあれば３６０度の回転を表現できる。変換処理を行った領域の位置情報は、例えば、画像における横座標、縦座標、幅、高さ等の情報である。また、マクロブロック毎に変換処理を行う場合には、スライスヘッダの代わりにマクロブロックのフラグを記録する部分にこれらの情報を格納することができる。

また、本発明の第３の実施の形態のイントラ予測方法を適用する場合、Ｈ．２６４／ＡＶＣ規格の符号化ストリームに複合画素を用いた新しいモードが追加される。この場合、従来のフラグ等の情報１１０９に、新しいモードを示す数値を追加して格納する。新しいモードの表現形式としては、複合画素を用いた予測であることを示すビットを追加してもよいし、各予測方向に対して、複合画素によるモード予測を行った場合の数値を割り当ててもよい。

図１２は、本発明の第５の実施の形態のパケットの説明図である。

図１２は、例として、映像符号化装置１０１の出力Ｉ／Ｆ１０６が、ＩＰネットワークに送信するＩＰパケットを図１１のデータ列１１０２から生成する手順を説明する図である。

まず、データ列１１０２は、所定のサイズに分割され、ＴＣＰヘッダ１２０４〜１２０６が付され、ＴＣＰセグメント１２０１〜１２０３が生成される。図１２は、一つのスライスから一つのセグメントが生成される例を示す。このとき、各スライスに含まれるスライスヘッダ１１０８も、セグメントに含まれる。図１１において説明したように、スライスヘッダ１１０８の内部には、変換処理に関連するフラグ等の情報１１０９が格納される。なお、図１２では説明を省略するが、スライス１１０７以降についても同様にしてセグメントが生成される。

次に、各セグメントが所定のサイズに分割され、ＩＰヘッダが付され、ＩＰパケットが生成される。例えば、セグメント１２０２を所定のサイズに分割し、ＩＰヘッダ１２０９及び１２１０を付して、ＩＰパケット１２０７及び１２０８が生成される。ここでは、セグメント１２０２の一部から生成されたＩＰパケット１２０７及び１２０８のみを示すが、セグメント１２０２全体について、同様にしてＩＰパケットが生成される。また、図１２では説明を省略するが、他のセグメント１２０１等も同様にして分割され、ＩＰパケットが生成される。

ＩＰパケット１２０９等は、例えば、映像符号化装置１０１の出力Ｉ／Ｆ１０６によって生成され、ＩＰネットワーク（図示省略）を介して出力装置１０７に送信される。

また、ＩＰパケット１２０９等は、データ列１１０２が格納された記憶装置と、データ列１１０２からＩＰパケット１２０９等を生成して送信する出力インターフェースとを備え、映像符号化機能を有しないパケット送信装置（図示省略）から送信されてもよい。

また、図１２と同様にして、映像符号化装置１０１又はパケット送信装置は、データ列１１０２から無線パケットを生成し、無線パケット通信網を介して出力装置１０７に無線パケットを送信してもよい。

なお、本発明は、Ｈ．２６４／ＡＶＣに限らず、種々の規格に基づいた映像符号化装置及び映像復号化装置等に適用することができる。

特許請求の範囲に記載していない本発明の観点の代表的なものとして、次のものが挙げられる。

（１）画像の信号を符号化する符号化装置において、
前記画像の方向を変換する画像変換部（２０２）と、
前記方向を変換されていない変換前画像と、前記方向を変換された変換後画像とをそれぞれ符号化する一つ又は複数の符号化部（２０３）と、
前記符号化された変換前画像の符号量と、前記符号化された変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力するモード選択部（２１４）と、を備えることを特徴とする符号化装置。

（２）前記画像変換部（２０２）は、前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換を行い、
前記符号化部（２０３）は、前記変換前画像と、前記各モードの変換が行われた変換後画像とをそれぞれ符号化し、
前記モード選択部（２１４）は、前記符号化された変換前画像の符号量と、前記符号化された各モードの変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力することを特徴とする（１）に記載の符号化装置。

（３）符号化された画像の信号を復号化する復号化装置において、
前記画像の方向が変換されているか否かを判定するモード判定部（６０２）と、
前記画像を復号化する復号化部（６０３）と、
前記復号化された画像に対して、前記判定された変換を元に戻す変換を行う画像変換部（６１０）と、を備えることを特徴とする復号化装置。

（４）前記モード判定部（６０２）は、前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換のいずれかが行われているか否かを判定することを特徴とする（３）に記載の復号化装置。

（５）画像の信号を符号化する処理を、プロセッサ（１０２）に実行させるプログラムにおいて、
前記画像の方向を変換する第１の手順と、
前記方向を変換されていない変換前画像を符号化する第２の手順と、
前記方向を変換された変換後画像を符号化する第３の手順と、
前記第２の手順で符号化された符号量と前記第３の手順で符号化された符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力する第４の手順とを含むことを特徴とするプログラム。

（６）前記第１の手順は、前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換を行い、
前記第３の手順は、前記各モードの変換が行われた変換後画像を符号化し、
前記第４の手順は、前記符号化された変換前画像の符号量と、前記符号化された各モードの変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力することを特徴とする（５）に記載のプログラム。

（７）符号化された画像の信号を復号化する処理を、プロセッサ（５０２）に実行させるプログラムにおいて、
前記画像の方向が変換されているか否かを判定する第１の手順と、
前記画像を復号化する第２の手順と、
前記復号化された画像に対して、前記判定された変換を元に戻す変換を行う第３の手順と、を含むことを特徴とするプログラム。

（８）前記第１の手順は、前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換のいずれかが行われたか否かを判定することを特徴とする（７）に記載のプログラム。

（９）画像の信号を符号化する方法であって、
前記画像の方向を変換する第１の手順と、
前記方向を変換されていない変換前画像を符号化する第２の手順と、
前記方向を変換された変換後画像を符号化する第３の手順と、
前記第２の手順で符号化された符号量と前記第３の手順で符号化された符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力する第４の手順とを含むことを特徴とする方法。

（１０）前記第１の手順は、前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換を行い、
前記第３の手順は、前記各モードの変換が行われた変換後画像を符号化し、
前記第４の手順は、前記符号化された変換前画像の符号量と、前記符号化された各モードの変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力することを特徴とする（９）に記載の方法。

（１１）符号化された画像の信号を復号化する方法であって、
前記画像の方向が変換されているか否かを判定する第１の手順と、
前記画像を復号化する第２の手順と、
前記復号化された画像に対して、前記判定された変換を元に戻す変換を行う第３の手順と、を含むことを特徴とする方法。

（１２）前記第１の手順は、前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換のいずれかが行われたか否かを判定することを特徴とする（１１）に記載の方法。

（１３）符号化された画像が記録される記録媒体において、
前記画像を符号化する際に前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換が行われたことを示す識別子が、前記符号化された画像と共に記録されることを特徴とする記録媒体。

（１４）符号化された画像を送信する送信方法であって、
前記符号化された画像と、前記画像を符号化する際に前記画像を上下に反転する上下対称モード、前記画像を左右に反転する左右対称モード、及び／又は、前記画像を回転させる回転モードの変換のいずれかが行われたことを示す識別子とを含むパケットを送信することを特徴とする送信方法。

（１５）画像の信号を符号化する符号化装置において、
前記画像の予測領域の第１の画素の情報と、前記第１の画素から予測方向にある複数の第２の画素の情報に前進補間式を適用して算出した予測値との第１の差分を算出し、前記予測領域の前記第１の差分を符号化する符号化部（２０３）と、
複数の前記予測方向について算出された前記予測領域の前記第１の差分の符号量を比較し、前記符号量が最も少ない符号を選択し、前記選択された符号と、前記選択された符号がいずれの前記予測方向について算出された第１の差分であるかを示す識別子とを出力するモード選択部（２１４）と、を備えることを特徴とする符号化装置。

（１６）前記符号化部（２０３）は、前記画像の予測領域の第１の画素の情報と、前記第１の画素から予測方向にある一つの第３の画素の情報との第２の差分を算出し、前記予測領域の前記第２の差分を符号化し、
前記モード選択部（２１４）は、複数の前記予測方向について算出された前記予測領域の前記第１及び第２の差分の符号量を比較し、前記符号量が最も少ない符号を選択し、前記選択された符号と、前記選択された符号がいずれの前記予測方向について算出された第１又は第２のいずれの差分であるかを示す識別子とを出力することを特徴とする（１５）に記載の符号化装置。

（１７）符号化された画像の信号を復号化する復号化装置において、
前記符号化された画像の信号が、いずれの予測方向で予測されているかを判定するモード判定部（６０２）と、
前記予測方向の複数の画素の情報に前進補間式を適用して予測値を算出し、前記符号化された第１の差分を復号化する復号化部（６０３）と、を備えることを特徴とする復号化装置。

（１８）前記モード判定部（６０２）は、前記符号化された画像の信号が、複数の画素の情報に前記前進補間式を適用して算出された予測値を基準とした第１の差分が符号化されたものであるか、一つの画素の情報を基準とした第２の差分が符号化されたものであるかを判定し、
前記復号化部（６０３）は、前記符号化された画像の信号が前記第１の差分が符号化されたものである場合は、前記予測方向に前記複数の画素の情報に前記前進補間式を適用して予測値を算出し、前記符号化された第１の差分を復号化し、前記符号化された画像の信号が前記第２の差分が符号化されたものである場合は、前記予測方向に前記一つの画素の情報による予測を行い、前記符号化された第２の差分を復号化することを特徴とする（１７）に記載の復号化装置。

（１９）画像の信号を符号化する処理を、プロセッサ（１０２）に実行させるプログラムにおいて、
前記画像の予測領域の第１の画素の情報と、前記第１の画素から予測方向にある複数の第２の画素の情報に前進補間式を適用して算出した予測値との第１の差分を算出し、前記予測領域の前記第１の差分を符号化する第１の手順と、
複数の前記予測方向について算出された前記予測領域の前記第１の差分の符号量を比較し、前記符号量が最も少ない符号を選択し、前記選択された符号と、前記選択された符号がいずれの前記予測方向について算出された第１の差分であるかを示す識別子とを出力する第２の手順と、を含むことを特徴とするプログラム。

（２０）前記第１の手順は、前記画像の予測領域の第１の画素の情報と、前記第１の画素から予測方向にある一つの第３の画素の情報との第２の差分を算出し、前記予測領域の前記第２の差分を符号化し、
前記第２の手順は、複数の前記予測方向について算出された前記予測領域の前記第１及び第２の差分の符号量を比較し、前記符号量が最も少ない符号を選択し、前記選択された符号と、前記選択された符号がいずれの前記予測方向について算出された第１又は第２のいずれの差分であるかを示す識別子とを出力することを特徴とする（１９）に記載のプログラム。

（２１）符号化された画像の信号を復号化する処理を、プロセッサ（５０２）に実行させるプログラムにおいて、
前記符号化された画像の信号が、いずれの予測方向で予測されているかを判定する第１の手順と、
前記予測方向の複数の画素の情報に前進補間式を適用して予測値を算出し、前記符号化された第１の差分を復号化する第２の手順と、を含むことを特徴とするプログラム。

（２２）前記第１の手順は、前記符号化された画像の信号が、複数の画素の情報に前記前進補間式を適用して算出された予測値を基準とした第１の差分が符号化されたものであるか、一つの画素の情報を基準とした第２の差分が符号化されたものであるかを判定し、
前記第２の手順は、前記符号化された画像の信号が前記第１の差分が符号化されたものである場合は、前記予測方向に前記複数の画素の情報に前記前進補間式を適用して予測値を算出し、前記符号化された第１の差分を復号化し、前記符号化された画像の信号が前記第２の差分が符号化されたものである場合は、前記予測方向に前記一つの画素の情報による予測を行い、前記符号化された第２の差分を復号化することを特徴とする（２１）に記載のプログラム。

（２３）画像の信号を符号化する方法であって、
前記画像の予測領域の第１の画素の情報と、前記第１の画素から予測方向にある複数の第２の画素の情報に前進補間式を適用して算出した予測値との第１の差分を算出し、前記予測領域の前記第１の差分を符号化する第１の手順と、
複数の前記予測方向について算出された前記予測領域の前記第１の差分の符号量を比較し、前記符号量が最も少ない符号を選択し、前記選択された符号と、前記選択された符号がいずれの前記予測方向について算出された第１の差分であるかを示す識別子とを出力する第２の手順と、を含むことを特徴とする方法。

（２４）前記第１の手順は、前記画像の予測領域の第１の画素の情報と、前記第１の画素から予測方向にある一つの第３の画素の情報との第２の差分を算出し、前記予測領域の前記第２の差分を符号化し、
前記第２の手順は、複数の前記予測方向について算出された前記予測領域の前記第１及び第２の差分の符号量を比較し、前記符号量が最も少ない符号を選択し、前記選択された符号と、前記選択された符号がいずれの前記予測方向について算出された第１又は第２のいずれの差分であるかを示す識別子とを出力することを特徴とする（２３）に記載の方法。

（２５）符号化された画像の信号を復号化する方法であって、
前記符号化された画像の信号が、いずれの予測方向で予測されているかを判定する第１の手順と、
前記予測方向の複数の画素の情報に前進補間式を適用して予測値を算出し、前記符号化された第１の差分を復号化する第２の手順と、を含むことを特徴とする方法。

（２６）前記第１の手順は、前記符号化された画像の信号が、複数の画素の情報に前記前進補間式を適用して算出された予測値を基準とした第１の差分が符号化されたものであるか、一つの画素の情報を基準とした第２の差分が符号化されたものであるかを判定し、
前記第２の手順は、前記符号化された画像の信号が前記第１の差分が符号化されたものである場合は、前記予測方向に前記複数の画素の情報に前記前進補間式を適用して予測値を算出し、前記符号化された第１の差分を復号化し、前記符号化された画像の信号が前記第２の差分が符号化されたものである場合は、前記予測方向に前記一つの画素の情報による予測を行い、前記符号化された第２の差分を復号化することを特徴とする（２５）に記載の方法。

（２７）符号化された画像が記録される記録媒体において、
前記画像を符号化する際に一つの画素の情報を基準とした第１の差分が符号化されているか、複数の画素の情報と、前記複数の画素の情報に前進補間式を適用して予測値が算出され、前記予測値を基準とした第２の差分が符号化されているかを示す識別子が、前記符号化された画像と共に記録されることを特徴とする記録媒体。

（２８）符号化された画像を送信する送信方法であって、
前記符号化された画像と、前記画像を符号化する際に一つの画素の情報を基準とした第１の差分が符号化されているか、複数の画素の情報と、前記複数の画素の情報に前進補間式を適用して予測値が算出され、前記予測値を基準とした第２の差分が符号化されているかを示す識別子とを含むパケットを送信することを特徴とする送信方法。

（２９）符号化された画像の信号を復号化する復号化装置において、
前記画像の方向が変換されているか否かを、前記画像と共に送られてくる識別子によって判定するモード判定部（６０２）と、
前記画像を復号化する復号化部（６０３）と、
前記復号化された画像に対して、前記判定された変換を元に戻す変換を行う画像変換部（６１０）と、を備えることを特徴とする復号化装置。

したがって、本発明によれば、スキャン方向を変更することなく常に予測精度の高い方向にイントラ予測することによって圧縮率を高めた映像符号化装置と、これに対応する映像復号化装置を提供することができる。

また、本発明によれば、ブロック内部の画素を用いて精度の高いイントラ予測をすることによって圧縮率を高めた映像符号化装置、およびこれに対応した映像復号化装置を提供することができる。

本発明は、画像データの記録及び伝送に利用することができ、圧縮率を改善してデータ量を削減することによって、記録容量の低減及び伝送速度の向上に寄与する。例えば、本発明は、ハードディスクやＤＶＤを用いたビデオレコーダー及びビデオプレーヤーに利用することができる。また、本発明は、携帯電話やテレビ放送を含む、有線又は無線通信網を用いた画像配信サービスに利用することができる。また、本発明は、テレビ電話、テレビ会議システム等に利用することができる。

Claims (2)

1. イントラ符号化された画像の信号を復号化する復号化装置において、
   前記画像の一部の領域について、上下方向に反転する上下対称モードによる変換又は左右方向に反転する左右対称モードによる変換がなされているかを、前記画像の信号とともに送られてくる第１の情報によって判定する判定部と、
   イントラ予測処理の後に前記判定部によって判定された変換に対応する変換処理を行い、復号画像を生成する復号画像生成部と、を備え、
   前記第１の情報には、前記反転した領域の位置に関する情報が含まれており、
   前記第１の情報は、ブロック単位よりも大きい領域を反転した領域として指定するものであり、
   前記イントラ予測処理は、前記画像の信号とともに送られてくる第２の情報に示された予測方向を用いてイントラ予測を行うものであるが、前記第１の情報により指定される反転した領域におけるイントラ予測処理であっても、当該イントラ予測処理における前記第２の情報が示す予測方向は反転しない、復号化装置。
2. イントラ符号化された画像の信号を復号化する復号化方法において、
   前記画像の一部の領域について、上下方向に反転する上下対称モードによる変換又は左右方向に反転する左右対称モードによる変換がなされているかを、前記画像の信号とともに送られてくる第１の情報によって判定する判定ステップと、
   イントラ予測処理の後に前記判定ステップにて判定された変換に対応する変換処理を行い、復号画像を生成する復号画像生成ステップと、を含み、
   前記第１の情報には、前記反転した領域の位置に関する情報が含まれており、
   前記第１の情報は、ブロック単位よりも大きい領域を反転した領域として指定するものであり、
   前記イントラ予測処理は、前記画像の信号とともに送られてくる第２の情報に示された予測方向を用いてイントラ予測を行うものであるが、前記第１の情報により指定される反転した領域におけるイントラ予測処理であっても、当該イントラ予測処理における前記第２の情報が示す予測方向は反転しない、復号化方法。

Images