JP4722153B2 - 画像復号化方法および画像復号化装置 - Google Patents

Description

本発明は、動画像データを符号化および復号化する方法、並びにそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関するものである。

近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ（国際電気通信連合 電気通信標準化部門）のH.261、H.263、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）-1、MPEG-2、MPEG-4などがある。

これらの動画像符号化方式に共通の技術として動き補償を伴うピクチャ間予測がある。これらの動画像符号化方式の動き補償では、入力画像のピクチャを所定のサイズのブロックに分割し、各ブロック毎にピクチャ間の動きを示す動きベクトルから予測画像を生成する。MPEGのピクチャ間予測には、符号化対象ピクチャより表示時刻が前のピクチャ１枚から予測を行う前方予測、符号化対象ピクチャより表示時刻が後のピクチャ１枚から予測を行う後方予測、符号化対象ピクチャに対し表示時刻が前のピクチャと表示時刻が後のピクチャの計２枚のピクチャから画素補間による予測を行う双方向予測が使用される（例えば、非特許文献１参照）。

MPEGでは、フレーム間予測の種類に対して使用する参照フレームが一意に決まり、任意の参照フレームを選択することができない。一方、ＩＴＵで現在標準化中のH.264では、符号化対象ピクチャの表示時刻に関わらずピクチャメモリに蓄積されている複数の符号化済みピクチャの中から任意の２枚の参照ピクチャを選択できるように拡張された２方向予測が検討されている。

図１９は、H.264における動画像符号化装置の構成を示すブロック図である。図１９の従来の動画像符号化装置は、ピクチャ間予測時に参照ピクチャを複数のピクチャの中から選択可能な動画像符号化方式を実行する装置とする。

この動画像符号化装置は、図１９に示すように動き推定部３０１、画素補間部１０２、減算器１０３、画像符号化部１０４、画像復号化部１０５、加算器１０６、可変長符号化部３０２、マルチフレームバッファ１０８、およびスイッチ１０９を備えている。

この動画像符号化装置では、入力された画像データImgをブロックに分割し、そのブロック毎に処理を行う。減算器１０３は、動画像符号化装置に入力された画像データImgから予測画像データPredを減算し、残差データResとして出力する。 画像符号化部１０４は、入力された残差データResを、直交変換・量子化などの画像符号化処理を行い、量子化済直交変換係数などを含む残差符号化データEResとして出力する。画像復号化部１０５は、入力された残差符号化データEResを、逆量子化・逆直交変換などの画像復号化処理を行い、残差復号データDResとして出力する。加算器１０６は、残差復号データDResと予測画像データPredとを加算し、再構成画像データReconとして出力する。再構成画像データReconの中で、以降のピクチャ間予測で参照される可能性があるデータは、マルチフレームバッファ１０８に格納される。

ここで、従来の動画像符号化装置が行う２枚の参照ピクチャによる補間予測について図２０を用いて説明する。図２０は複数参照ピクチャからの補間予測の概念図である。ここで、ピクチャpicは符号化対象ピクチャである。ピクチャFwRef1〜FwRef3は符号化対象ピクチャpicより表示時刻が前の符号化済ピクチャ、ピクチャBwRef1〜BwRef3は符号化対象ピクチャpicより表示時刻が後の符号化済ピクチャを示す。ブロックBlk1は、符号化対象ピクチャpicより表示時刻が前のピクチャFwRef3に含まれる参照ブロックRefBlk11と符号化対象ピクチャpicより表示時刻が後のピクチャBwRef1に含まれる参照ブロックRefBlk12との画素値から予測される。ブロックBlk2は、符号化対象ピクチャより表示時刻が前の２枚のピクチャFwRef1, FwRef2に含まれる参照ブロックRefBlk21,RefBlk22の画素値から予測される。ブロックBlk3は、符号化対象ピクチャより表示時刻が後の２枚のピクチャBwRef1, BwRef2に含まれる参照ブロックRefBlk31,RefBlk32の画素値から予測される。すなわち、２つの参照ブロックの対応する位置の画素を平均値など所定の方法で補間した結果を予測画像とする。従来の動画像符号化装置の特徴は、図２０に示すようにブロック毎に任意の２枚の参照ピクチャから予測を行うことである。以降、上記のような２枚の参照ピクチャから予測を行う方法を、複数参照ピクチャ補間予測と呼ぶ。なお、予測方法には、上記の画素補間により予測画像を生成する方法以外にも、任意の１枚のピクチャに含まれるブロックをそのまま予測画像とする方法や画面内予測などがあり、ブロック単位で予測方法を切り替えることも可能である。

動き推定部３０１は、入力された符号化対象ブロックについて、ブロックの予測種別、ピクチャ間予測に使用する参照ピクチャ、動きベクトルを決定し、予測種別PredType、参照ピクチャ番号RefNo1,RefNo2、動きベクトルMV1,MV2を出力する。動き推定部３０１は、複数参照ピクチャ補間予測時には、２つの参照ピクチャが選択されるため、２つの参照ピクチャ番号と２つの動きベクトルを出力する。このとき、マルチフレームバッファ１０８は参照ピクチャ番号RefNo1と動きベクトルMV1に対応する参照ブロックRefBlk1と、参照ピクチャ番号RefNo2と動きベクトルMV2に対応する参照ブロックRefBlk2とを出力する。画素補間部１０２は、２個の参照ブロックRefBlk1,RefBlk2の対応する画素値を平均値などで補間し、補間ブロックRefPolとして出力する。一方、複数参照ピクチャ補間予測以外のピクチャ間予測時には、動き推定部３０１は、１つの参照ピクチャを選択するため、１つの参照ピクチャ番号RefNo1と１つの動きベクトルMV1とを出力する。このとき、マルチフレームバッファ１０８は参照ピクチャ番号RefNo1と動きベクトルMV1に対応する参照ブロックRefBlkを出力する。

動き推定部３０１により決定された予測種別PredTypeが複数参照ピクチャ補間予測を示す場合には、スイッチ１０９は"１"側に切り替わり、補間ブロックRefPol が予測画像データPredとして使用される。予測種別PredTypeが複数参照ピクチャ補間予測以外のピクチャ間予測方法を示す場合には、スイッチSW11は"０"側に切り替わり、参照ブロックRefBlkが予測画像データPredとして使用される。可変長符号化部３０２は、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo1,RefNo2、動きベクトルMV1,MV2を可変長符号化し、動画像符号化データStr0として出力する。

図２１は、従来の動画像符号化装置の動画像符号化データフォーマットの概念図である。１ピクチャ分の符号化データPictureは、ピクチャを構成するブロック毎の１ブロック分の符号化データBlock等より構成されている。ここで、この１ブロック分の符号化データBlockは、複数参照ピクチャ補間予測によるブロックの符号化データを示しており、符号化データ中に２つの参照ピクチャに対する参照ピクチャ番号RefNo1,RefNo2と動きベクトルMV1,MV2、および予測モードPredType等を含んでいる。

図２２は、従来の動画像復号化装置の構成を示すブロック図である。

この動画像復号化装置は、図２２に示すように可変長復号化部６０１、動き補償部６０２、画像復号化部４０４、加算器４０５、画素補間部４０６、マルチフレームバッファ４０７、およびスイッチ４０８を備えている。

可変長復号化部６０１は、入力された画像符号化データStr0に対して可変長復号化を行い、残差符号化データERes、動きベクトルMV1,MV2、参照ピクチャ番号RefNo1,RefNo2、予測種別PredTypeを出力する。画像復号化部４０４は、入力された残差符号化データEResに対して、逆量子化・逆直交変換などの画像復号化処理を行い、残差復号化データDResを出力する。加算器４０５は、残差復号化データDResと予測画像データPredとを加算し、復号化画像データDImgとして動画像復号化装置外に出力する。マルチフレームバッファ４０７は、ピクチャ間予測のために復号化画像データDImgを格納する。

動き補償部６０２は、予測種別PredTypeに応じてピクチャ間予測に必要な参照ブロック分の参照ピクチャ番号NRefNo1,NRefNo2と動きベクトルMV1,MV2を出力し、マルチフレームバッファ４０７に参照ブロックの出力を指示する。予測種別PredTypeが複数参照ピクチャ補間予測を示す場合には、マルチフレームバッファ４０７は参照ピクチャ番号NRefNo1と動きベクトルNMV1に対応する参照ブロックRefBlk1と参照ピクチャ番号NRefNo2と動きベクトルNMV2に対応する参照ブロックRefBlk2を出力する。画素補間部４０６は、２個の参照ブロックRefBlk1,RefBlk2の対応する画素値を平均値などで補間し、補間ブロックRefPolとして出力する。一方、予測種別PredTypeが、複数参照ピクチャ補間予測以外のピクチャ間予測を示す場合には、マルチフレームバッファ４０７は参照ピクチャ番号NRefNo1と動きベクトルNMV1に対応する参照ブロックRefBlkを出力する。

また、予測種別PredTypeが複数参照ピクチャ補間予測を示す場合には、スイッチ４０８は"０"側に切り替わり、補間ブロックRefPol が予測画像データPredとして使用される。一方、予測種別PredTypeが複数参照ピクチャ補間予測以外のピクチャ間予測方法を示す場合には、スイッチ４０８は"１"側に切り替わり、参照ブロックRefBlkが予測画像データPredとして使用される。以上、説明した処理により動画像復号化装置は動画像符号化データStr0を復号化し、画像復号化データDImgとして出力する。

ところで、MPEG-4の動画像符号化方式では、双方向予測ピクチャと呼ばれる複数参照ピクチャ補間予測を使用するタイプのピクチャにおいて、ダイレクトモードと呼ばれる、補間による予測画像作成に用いる２枚の参照ピクチャに対する動きベクトルを符号化済の動きベクトルから算出することでブロックの符号化データ中の動きベクトルおよび参照ピクチャ番号を省略する複数参照ピクチャ補間予測方法が定義されている。

図２３はMPEG-4のダイレクトモードの説明図である。ここで、ピクチャPicは符号化対象ピクチャ、ピクチャRef1は符号化対象ピクチャPicより表示時刻が前の参照ピクチャ、ピクチャRef2は符号化対象ピクチャPicより表示時刻が後の参照ピクチャ、ブロックBlkは符号化対象ブロック、ブロックBlk0は符号化対象Blkと画面内の位置が同じ参照ピクチャRef2内のブロックを示している。また、動きベクトルMV01はブロックBlk0の符号化時に使用したピクチャRef1を参照ピクチャとする前方参照動きベクトル、動きベクトルMV1は参照ピクチャRef1に対する符号化対象ブロックの動きベクトル、動きベクトルMV2は参照ピクチャRef2に対する符号化対象ブロックの動きベクトル、ブロックRefBlk1は動きベクトルMV1により参照される参照ブロック、ブロックRefBlk2は動きベクトルMV2により参照される参照ブロックを示している。

符号化対象ブロックBlkが参照に使用する２枚のピクチャは、後方参照ピクチャとして表示時刻が後で最も近いピクチャRef2が使用され、前方参照ピクチャとしてブロックBlk0が符号化時に参照していた前方参照ピクチャRef1が使用される。

動きベクトルの算出は、ピクチャ間で動きが一定、もしくは、動きがない場合を仮定して行う。このとき、符号化対象ピクチャPicと参照ピクチャRef1との表示時刻の差の値をTRD1、参照ピクチャRef1と参照ピクチャRef2との表示時刻の差の値をTRD2、符号化対象ピクチャPicと参照ピクチャRef2との表示時刻の差の値をTRD3とすると、符号化対象ブロックを符号化する際に用いる動きベクトルMV1および動きベクトルMV2はそれぞれ次の計算式で算出できる。

ＭＶ１＝ＭＶ０１×（ＴＲＤ１／ＴＲＤ２） … （式Ａ）
ＭＶ２＝−ＭＶ０１×（ＴＲＤ３／ＴＲＤ２） … （式Ｂ）

以上の方法により、ダイレクトモード時の参照ピクチャ、動きベクトルを決定することができる。上記説明したダイレクトモードの処理は、動画像符号化装置では、図１９の従来の動画像符号化装置の構成を示すブロック図の動き推定部３０１で実行される。また、上記説明したダイレクトモードの処理は、動画像復号化装置では、図２２の従来の動画像復号化装置の構成を示すブロック図の動き補償部６０２で実行される。

ピクチャ間で動きが少ない動画像に対してピクチャ間予測を行った場合、ピクチャ間予測誤差は非常に小さくなり量子化などの画像符号化処理により残差符号化データEresのほとんどが０になる。多くの符号化方式では、上記で説明したダイレクトモードのように、動きベクトルおよび参照ピクチャ番号を符号化することなく所定の方法で決定する符号化において、符号化対象ブロックの参照ピクチャと動きベクトルによるピクチャ間予測の残差符号化データEResを全て０とする場合を、スキップモードと呼ばれる予測種別PredTypeの１つとして定義している。スキップモードでは、スキップモードを示す予測種別PredTypeのみを伝送するため非常に小さな符号量でブロックを符号化できる。このスキップモードに他の予測種別より短い可変長符号語を割り当てたり、連続するスキップモードのブロック個数をランレングス符号化することで、より効率的に符号化できる。

上記H.264では、ダイレクトモードによるピクチャ間予測の残差符号化データを１ブロック分全て０とする場合をスキップモードと定義している。図１９に示す動画像符号化装置においてブロックをスキップモードで符号する場合には以下の処理を行う。動き推定部３０１は、上記に説明したダイレクトモードの処理により参照ピクチャ番号RefNo1,RefNo2、動きベクトルMV1,MV2、スキップモードを示す予測種別PredTypeを出力する。可変長符号化部３０２は、予測種別PredTypeがスキップモードを示す場合には予測種別PredTypeのみを可変長符号化して動画像符号化データStr0として出力する。図２２に示す動画像復号化装置においてスキップモードで符号化されたブロックの符号化データが入力された場合には以下の処理を行う。可変長復号化部６０１は、予測種別PredTypeを可変長復号化する。動き補償部６０２は、予測種別PredTypeがスキップモードを示す場合には上記に説明したダイレクトモードの処理により参照ピクチャ番号NRefNo1,NRefNo2、動きベクトルNMV1,NMV2、スキップモードを示す予測種別PredTypeを出力する。
ISO/IEC 14496-2:1999(E) Information technology -- coding of audio-visual objects Part 2: Visual (1999-12-01) P.150 7.6.7 Temporal prediction structure

上記のようにH.264では、符号化対象ピクチャの表示時刻に関わらず複数の符号化済ピクチャの中から任意の参照ピクチャを選択することができる。しかしながら、この場合には複数の符号化済ピクチャについて動き検出を行って任意の参照ピクチャを選択することになるので、この動き検出のための処理負荷が非常に大きくなる。また、この複数参照ピクチャ補間予測では、２つの参照ピクチャ毎に参照ピクチャ番号と動きベクトルを符号化することが必要となるため符号化効率が劣化する問題があった。

さらに、従来の技術で説明した双方向予測ピクチャのように符号化対象ピクチャの表示時刻より後のピクチャを参照ピクチャとしてピクチャ間予測を行うピクチャが存在する場合には、表示時刻順とは異なる順序でピクチャを符号化しなければならず、符号化による遅延が発生する。テレビ電話などの実時間通信の場合には遅延が問題となるため双方向予測ピクチャが使用できない場合がある。しかしH.264では表示順情報に関わらず任意の２枚の参照ピクチャを選択することが可能であるため、符号化対象ピクチャより表示時刻が前のピクチャを２枚選択し複数参照ピクチャ補間予測を行うことにより、符号化による遅延をなくすことが可能となる。しかしながら、このとき符号化対象ピクチャの表示時刻より後のピクチャがマルチフレームバッファに格納されていないため、符号化対象ピクチャの表示時刻より後のピクチャから動きベクトルを決定する上記従来のダイレクトモードを使用することはできない。

そこで、本発明は上記の事情に鑑みてなされたものであり、複数参照ピクチャ補間予測時に効率的な符号化を実現することができ、かつ、処理量を削減することができる画像復号化方法および画像復号化装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像復号化方法は、ブロック毎に複数の参照ピクチャから一つの参照ピクチャを選択して、復号化対象ピクチャのブロックを予測復号化する画像復号化方法であって、複数のブロックからなる複数ブロック画像単位を復号化する際に、共通して参照する一つの共通参照ピクチャを特定する情報が、前記複数ブロック画像単位に対する共通情報領域に記述されているか否かを判断し、一つの共通参照ピクチャを特定する情報が前記共通情報領域に記述されていると判断された場合には、前記共通参照ピクチャを用いて前記複数ブロック画像単位に含まれる復号化対象ブロックの予測画像を生成し、一つの共通参照ピクチャを特定する情報が前記共通情報領域に記述されていないと判断された場合には、ブロック毎に特定された参照ピクチャを用いて前記複数ブロック画像単位に含まれる復号化対象ブロックの予測画像を生成し、前記予測画像を用いて前記復号化対象ブロックを復号化することを特徴とする。例えば、前記複数ブロック画像単位は、複数ピクチャ単位、ピクチャ単位、スライス単位あるいはマクロブロック単位である。

また、上記目的を達成するために、本発明に係る動画像符号化方法は、入力画像を構成する各ピクチャをブロック単位で符号化する動画像符号化方法であって、符号化済みピクチャを参照して符号化する複数のブロックが共通して参照するピクチャを決定する共通参照ピクチャ決定ステップと、前記共通して参照するピクチャを用いて予測画像を生成する予測画像生成ステップと、前記予測画像を用いて符号化対象ブロックを符号化する符号化ステップとを含むことを特徴とする。

これによって、参照ピクチャを用いて予測画像を生成する場合、ブロック毎に複数の符号化済ピクチャの中から参照ピクチャとするピクチャを選択するための処理が必要なくなるため、処理量を削減することができる。また、この参照ピクチャをブロック毎に符号化する必要がないため、符号量を削減することができる。一般に、画像データ中の大部分のブロックでは、同じピクチャを最適な参照ピクチャとして選択する可能性が高い。したがって、参照ピクチャを例えばピクチャ単位で共通とすることで、高い符号化効率を維持したまま処理量を削減することができる。

また、本発明に係る動画像符号化方法は、入力画像を構成する各ピクチャをブロック単位で符号化する動画像符号化方法であって、符号化済みピクチャを２枚参照して符号化する複数のブロックが共通して参照する第１のピクチャを決定する共通参照ピクチャ決定ステップと、前記第１のピクチャと、各ブロック毎に符号化済みピクチャから選択した第２のピクチャとを参照して予測画像を生成する予測画像生成ステップと、前記予測画像を用いて符号化対象ブロックを符号化する符号化ステップとを含むことを特徴とする。

これによって、２枚ピクチャを参照ピクチャとして用いて予測画像を生成する場合、一方の参照ピクチャについてはブロック毎に複数の符号化済ピクチャの中から１枚のピクチャを選択するための処理が必要なくなるため、処理量を削減することができる。また、この参照ピクチャをブロック毎に符号化する必要がないため、符号量を削減することができる。一般に、画像データ中の大部分のブロックでは、同じピクチャを最適な参照ピクチャとして選択する可能性が高い。したがって、一方の参照ピクチャを例えばピクチャ単位で共通とすることで、高い符号化効率を維持したまま処理量を削減することができる。

ここで、前記動画像符号化方法は、さらに、前記共通参照ピクチャを特定するための情報を、生成する動画像符号化データ中の複数のブロックに対する共通情報領域に記述する情報記述ステップを含んでもよい。これによって、共通の参照ピクチャを特定するための情報を、動画像符号化データ中に記述して出力することができ、動画像符号化データを復号化する際に参照ピクチャを確実に特定することができる。

また、本発明に係る動画像復号化方法は、各ピクチャがブロック単位で符号化された動画像符号化データを復号化する動画像復号化方法であって、復号化済みピクチャを参照して復号化する複数のブロックが共通して参照するピクチャを決定する共通参照ピクチャ決定ステップと、前記共通して参照するピクチャを用いて予測画像を生成する予測画像生成ステップと、前記予測画像を用いて復号化対象ブロックを復号化する復号化ステップとを含むことを特徴とする。

これによって、共通の参照ピクチャを用いて符号化されて出力された動画像符号化データを、復号化する際に正しく復号化処理することができる。

また、本発明に係る動画像復号化方法は、各ピクチャがブロック単位で符号化された動画像符号化データを復号化する動画像復号化方法であって、復号化済みピクチャを２枚参照して復号化する複数のブロックが共通して参照する第１のピクチャを決定する共通参照ピクチャ決定ステップと、前記第１のピクチャと、各ブロック毎に復号化済みピクチャから選択した第２のピクチャを参照して予測画像を生成する予測画像生成ステップと、前記予測画像を用いて復号化対象ブロックを復号化する復号化ステップとを含むことを特徴とする。

これによって、共通の参照ピクチャと、ブロック毎の参照ピクチャとを用いて符号化されて出力された動画像符号化データを、復号化する際に正しく復号化処理することができる。

ここで、前記動画像復号化方法は、さらに、前記動画像符号化データ中の複数のブロックに対する共通情報領域より前記共通の参照ピクチャを特定するための情報を抽出する情報抽出ステップを含んでもよい。これによって、共通の参照ピクチャを特定するための情報を、動画像符号化データ中より抽出することができ、参照ピクチャを確実に特定することができる。

なお、本発明は、このような動画像符号化方法および動画像復号化方法（画像復号化方法）として実現することができるだけでなく、このような動画像符号化方法および動画像復号化方法が含む特徴的なステップを手段として備える動画像符号化装置および動画像復号化装置（画像復号化装置）として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したり、前記動画像符号化方法により符号化した動画像符号化データとして実現したりすることもできる。そして、そのようなプログラムおよび動画像符号化データは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上、詳細に説明したように、本発明に係る動画像符号化方法によれば、一方の参照ピクチャについては、ブロック毎に複数の符号化済ピクチャの中から１枚のピクチャを選択する必要がなく、またこの参照ピクチャをブロック毎に符号化する必要がないため、効率的な符号化を実現し、かつ処理量を削減することができる。

また、本発明に係る動画像復号化方法（画像復号化方法）によれば、共通の参照ピクチャと、ブロック毎の参照ピクチャとを用いて符号化されて出力された動画像符号化データを、復号化する際に正しく復号化処理することができる。

以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明に係る実施の形態１の動画像符号化装置の構成を示すブロック図である。図１９における従来の動画像符号化装置の構成を示すブロック図と同じ動作をするユニットおよび同じ動作のデータは同じ記号を付し、説明を省略する。なお、以下に説明する各実施の形態の動画像符号化装置および動画像復号化装置では、２枚の参照ピクチャを用いて画素補間により予測画像を生成する方法（複数参照ピクチャ補間予測）、任意の１枚のピクチャに含まれるブロックをそのまま予測画像とする方法、および画面内予測により予測画像を生成する方法などの予測方法を、ブロック単位で切り替えることが可能である。

動画像符号化装置は、入力される画像データImgをブロックに分割し、そのブロック毎に符号化処理を行う装置であり、図１に示すように動き推定部１０１、画素補間部１０２、減算器１０３、画像符号化部１０４、画像復号化部１０５、加算器１０６、可変長符号化部１０７、マルチフレームバッファ１０８、およびスイッチ１０９を備えている。

動画像符号化装置に、複数参照ピクチャ補間予測により符号化するブロックで使用する片方の参照ピクチャを示すデフォルト参照ピクチャ番号DefRefNoが入力される。動き推定部１０１は、複数参照ピクチャ補間予測時に、２つの参照ピクチャの一方を、入力されたデフォルト参照ピクチャ番号DefRefNoが示す参照ピクチャに固定して動き推定を行う。従って、動き推定部１０１が出力する参照ピクチャ番号RefNo1は、デフォルト参照ピクチャ番号DefRefNoと同一の値になる。可変長符号化部１０７は、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、動きベクトルMV1,MV2、デフォルト参照ピクチャ番号DefRefNoを可変長符号化し、動画像符号化データStrとして出力する。

次に、上記のように構成された動画像符号化装置において、符号化対象ブロックの予測種別が複数参照ピクチャ補間予測である場合の動作について説明する。

入力された画像データImgは、ブロック単位に動き推定部１０１および減算器１０３に入力される。

動き推定部１０１は、入力された符号化対象ブロックの予測種別を決定し、この予測種別をスイッチ１０９および可変長符号化部１０７へ出力する。また、動き推定部１０１は、決定した予測種別PredTypeが複数参照ピクチャ補間予測時である場合、２つの参照ピクチャの一方を、入力されたデフォルト参照ピクチャ番号DefRefNoが示す参照ピクチャとし、他方の参照ピクチャ、およびこの２つの参照ピクチャに対する動きベクトルをそれぞれ決定する。そして、動き推定部１０１は、参照ピクチャ番号RefNo2および動きベクトルMV1,MV2をマルチフレームバッファ１０８および可変長符号化部１０７へ、参照ピクチャ番号RefNo1をマルチフレームバッファ１０８へ出力する。なお、デフォルト参照ピクチャ番号DefRefNoは、動き推定部１０１から可変長符号化部１０７へ出力されても良い。

次に、マルチフレームバッファ１０８は、参照ピクチャ番号RefNo1および動きベクトルMV1に対応する参照ブロックRefBlk1と、参照ピクチャ番号RefNo2および動きベクトルMV2に対応する参照ブロックRefBlk2とを画素補間部１０２へ出力する。画素補間部１０２は、２個の参照ブロックRefBlk1,RefBlk2の対応する画素値を平均値などで補間し、補間ブロックRefPolとして出力する。ここでは、動き推定部１０１により決定された予測種別PredTypeが複数参照ピクチャ補間予測であるので、スイッチ１０９は"１"側に切り替わり、補間ブロックRefPol が予測画像データPredとして減算器１０３および加算器１０６へ出力される。

減算器１０３は、入力された画像データImgから予測画像データPredを減算し、残差データResとして画像符号化部１０４へ出力する。 画像符号化部１０４は、入力された残差データResを、直交変換・量子化などの画像符号化処理を行い、量子化済直交変換係数などを含む残差符号化データEResとして画像復号化部１０５および可変長符号化部１０７へ出力する。画像復号化部１０５は、入力された残差符号化データEResを、逆量子化・逆直交変換などの画像復号化処理を行い、残差復号化データDResとして加算器１０６へ出力する。加算器１０６は、残差復号化データDResと予測画像データPredとを加算し、再構成画像データReconとして出力する。再構成画像データReconの中で、以降のピクチャ間予測で参照される可能性があるデータは、マルチフレームバッファ１０８に格納される。

可変長符号化部１０７は、入力された残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、および動きベクトルMV1,MV2をブロック毎に、デフォルト参照ピクチャ番号DefRefNoをピクチャ毎に可変長符号化し、動画像符号化データStrとして出力する。

デフォルト参照ピクチャ番号DefRefNoが示すピクチャはマルチフレームバッファ１０８内に蓄積されているピクチャの中から任意のものを選択することが可能である。例えば、マルチフレームバッファ１０８内で符号化対象ピクチャの表示順情報に最も近い表示順情報を持つ符号化済ピクチャや、マルチフレームバッファ１０８内で符号化対象ピクチャの表示順情報より前で最も近い表示順情報を持つ符号化済ピクチャや、マルチフレームバッファ１０８内で符号化対象ピクチャの表示順情報より後で最も近い表示順情報を持つ符号化済ピクチャなどが考えられる。また、マルチフレームバッファ１０８内で符号化対象ピクチャに符号化順が最も近いピクチャや、マルチフレームバッファ１０８内で符号化対象ピクチャの表示順情報より前で符号化順が最も近いピクチャや、マルチフレームバッファ１０８内で符号化対象ピクチャの表示順情報より後で符号化順が最も近いピクチャなども考えられる。

図２は、実施の形態１の動画像符号化データフォーマットの概念図である。図２１における従来の動画像符号化装置の動画像符号化データフォーマットの概念図と同じデータは同じ記号を付し、説明を省略する。図２１に示した従来の動画像符号化装置の動画像符号化データフォーマットとの相違点は、ピクチャ毎にデフォルト参照ピクチャ番号DefRefNoが含まれることと、複数参照ピクチャ補間予測により符号化されたブロックの符号化データ中に含まれる参照ピクチャ番号のデータが１つのみという点である。

以上のように本実施の形態によれば、参照ピクチャの一方についてはブロック単位で複数の符号化済ピクチャの中から任意のピクチャを選択し、参照ピクチャの他方についてはピクチャ単位で複数の符号化済ピクチャ中の一枚のピクチャに固定することができるので、固定した参照ピクチャ番号をブロック毎に符号化しなくてもよいため符号化効率を改善できる。

なお、本実施の形態では、デフォルト参照ピクチャを指定するための方法として、前記ピクチャに割り当てられたピクチャ番号を用いたがこれに限られるものではない。例えば、符号化対象ピクチャの持つピクチャ番号と、デフォルト参照ピクチャとして選択したピクチャの持つピクチャ番号との相対的な差分値、もしくはそれを示すためのコマンド等の情報を用いて指定することも可能である。

また、本実施の形態では、片方の参照ピクチャのみデフォルト参照ピクチャ番号で指定したが、２つのデフォルト参照ピクチャ番号を符号化することで、ブロックの符号化データ中の２つの参照ピクチャ番号を両方とも省略することができる。

また、本実施の形態では、２枚の参照ピクチャを用いて画素補間により予測画像を生成する複数参照ピクチャ補間予測について説明を行ったが、任意の１枚のピクチャに含まれるブロックをそのまま予測画像とする単数参照ピクチャ補間予測の場合も同様に扱うことが可能である。その場合、ブロックごとには参照ピクチャ情報を記述する必要がなくなり、共通情報領域にのみ参照ピクチャ情報を記述することとなる。

また、本実施の形態では、デフォルト参照ピクチャ番号はピクチャ毎に符号化しているが、例えば複数毎のピクチャに対して１つのデフォルト参照ピクチャ番号を格納するシンタックス構造で符号化してもよいし、複数のブロックで構成されるマクロブロックや複数のマクロブロックで構成されるスライスなどピクチャ以下のシンタックス構造に対して１つのデフォルト参照ピクチャ番号を格納するシンタックス構造で符号化してもよい。

（実施の形態２）
図３は、本発明に係る実施の形態２の動画像復号化装置のブロック図である。図２２における従来の動画像復号化装置の構成を示すブロック図と同じ動作をするユニットおよび同じ動作のデータは同じ記号を付し、説明を省略する。図２２と異なる点はデフォルト参照ピクチャ番号バッファ４０２が追加された点である。

この動画像復号化装置は、図３に示すように可変長復号化部４０１、デフォルト参照ピクチャ番号バッファ４０２、動き補償部４０３、画像復号化部４０４、加算器４０５、画素補間部４０６、マルチフレームバッファ４０７、およびスイッチ４０８を備えている。

可変長復号化部４０１は、入力された動画像符号化データStrに対して可変長復号化を行い、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、動きベクトルMV1,MV2、デフォルト参照ピクチャ番号DefRefNoを出力する。復号化されたデフォルト参照ピクチャ番号DefRefNoは、複数のブロックで共通に使用しなければならないため、デフォルト参照ピクチャ番号バッファ４０２に格納しておく。動き補償部４０３には、デフォルト参照ピクチャ番号バッファ４０２に格納されたデフォルト参照ピクチャ番号DefRefNoが参照ピクチャ番号RefNo1として入力される。

次に、上記のように構成された動画像復号化装置において、復号化対象ブロックの予測種別が複数参照ピクチャ補間予測である場合の動作について説明する。

動画像符号化データStrは、可変長復号化部４０１に入力される。可変長復号化部４０１は、入力された動画像符号化データStrに対して可変長復号化を行い、残差符号化データEResを画像復号化部４０４へ、参照ピクチャ番号RefNo2および動きベクトルMV1,MV2を動き補償部４０３へ、予測種別PredTypeを動き補償部４０３およびスイッチ４０８へ、デフォルト参照ピクチャ番号DefRefNoをデフォルト参照ピクチャ番号バッファ４０２へそれぞれ出力する。デフォルト参照ピクチャ番号バッファ４０２は、格納したデフォルト参照ピクチャ番号DefRefNoを参照ピクチャ番号RefNo1として動き補償部４０３へ出力する。

動き補償部４０３は、予測種別PredTypeが複数参照ピクチャ補間予測であるので、デフォルト参照ピクチャ番号バッファ４０２より入力された参照ピクチャ番号NRefNo1、可変長復号化部４０１より入力された参照ピクチャ番号RefNo2および動きベクトルMV1,MV2をマルチフレームバッファ４０７へ出力し、参照ブロックの出力を指示する。マルチフレームバッファ４０７は、参照ピクチャ番号NRefNo1および動きベクトルNMV1に対応する参照ブロックRefBlk1と、参照ピクチャ番号NRefNo2および動きベクトルNMV2に対応する参照ブロックRefBlk2とを画素補間部４０６へ出力する。画素補間部４０６は、２個の参照ブロックRefBlk1,RefBlk2の対応する画素値を平均値などで補間し、補間ブロックRefPolとして出力する。ここでは、予測種別PredTypeが複数参照ピクチャ補間予測であるので、スイッチ４０８は"０"側に切り替わり、補間ブロックRefPol が予測画像データPredとして加算器４０５へ出力される。

一方、残差符号化データEResが入力された画像復号化部４０４は、この残差符号化データEResに対して、逆量子化・逆直交変換などの画像復号化処理を行い、残差復号化データDResを加算器４０５へ出力する。加算器４０５は、残差復号化データDResと予測画像データPredとを加算し、復号化画像データDImgとして動画像復号化装置外に出力する。マルチフレームバッファ４０７は、ピクチャ間予測のために復号化画像データDImgを格納する。このような処理により、動画像復号化装置は動画像符号化データStrを復号化し、画像復号化データDImgとして出力する。

以上のように本実施の形態によれば、実施の形態１で説明した本発明の動画像符号化方法を用いた動画像符号化装置により符号化された動画像符号化データStrを正しく復号化できる。

（実施の形態３）
図４は、本発明に係る実施の形態３の動画像符号化装置のブロックである。なお、図１における実施の形態１の動画像符号化装置のブロック図と同じ動作をするユニットおよび同じ動作のデータは同じ記号を付し、説明を省略する。

本実施の形態の動画像符号化装置は、実施の形態１の構成に加えてデフォルト参照ピクチャ番号生成部２０１を備えている。デフォルト参照ピクチャ番号生成部２０１は、所定の方法によりデフォルト参照ピクチャ番号DefRefNoを生成し、動き推定部１０１へ出力する。動き推定部１０１は、実施の形態１の動画像符号化装置と同様に、複数参照ピクチャ補間予測時に、２つの参照ピクチャの一方を、入力されたデフォルト参照ピクチャ番号DefRefNoが示す参照ピクチャに固定して動き推定を行う。可変長符号化部２０２は、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、動きベクトルMV1,MV2を可変長符号化し、動画像符号化データStr2として出力する。

デフォルト参照ピクチャ番号生成部２０１のデフォルト参照ピクチャ番号DefRefNoの生成方法は、例えば、以下の方法を使用できる。第１の方法は、マルチフレームバッファ１０８に格納された符号化済ピクチャの内で、符号化対象ピクチャの表示順情報に最も近い表示順情報のピクチャを示すピクチャ番号をデフォルト参照ピクチャ番号DefRefNoとする方法である。第２の方法は、マルチフレームバッファ１０８に格納された符号化済ピクチャの内で、符号化対象ピクチャの表示順情報より前で最も近い表示順情報のピクチャを示すピクチャ番号をデフォルト参照ピクチャ番号DefRefNoとする方法である。第３の方法は、マルチフレームバッファ１０８に格納された符号化済ピクチャの内で、符号化対象ピクチャの表示順情報より後で最も近い表示順情報のピクチャを示すピクチャ番号をデフォルト参照ピクチャ番号DefRefNoとする方法である。第４の方法は、マルチフレームバッファ１０８に格納された符号化済ピクチャの内で、符号化対象ピクチャに符号化順が最も近いピクチャを示すピクチャ番号をデフォルト参照ピクチャ番号DefRefNoとする方法である。第５の方法は、マルチフレームバッファ１０８に格納された符号化済ピクチャの内で、符号化対象ピクチャの表示順情報より前で符号化順が最も近いピクチャを示すピクチャ番号をデフォルト参照ピクチャ番号DefRefNoとする方法である。第６の方法は、マルチフレームバッファ１０８に格納された符号化済ピクチャの内で、符号化対象ピクチャの表示順情報より後で符号化順が最も近いピクチャを示すピクチャ番号をデフォルト参照ピクチャ番号DefRefNoとする方法である。

本実施の形態の動画像符号化装置の動画像符号化フォーマットは、図２で示した動画像符号化データフォーマットにおけるデフォルト参照ピクチャ番号DefRefNoが省略され、図５に示すようなデータフォーマットになる。従って、デフォルト参照ピクチャ番号DefRefNoを符号化しなくてもよいため、符号化効率が改善する。

なお、上記実施の形態ではデフォルト参照ピクチャの決定方法をどれか１つに固定にしてしまうことにより、データフォーマットにデフォルト参照ピクチャに関する情報を全く記述せずに符号化を実現する方法を説明したが、デフォルト参照ピクチャの決定方法をピクチャ単位で切り替えることも可能である。例えば、マルチフレームバッファに格納された符号化済ピクチャの内で符号化対象ピクチャの表示順情報に最も近い表示順情報を持つピクチャをデフォルト参照ピクチャとして選択する方法を表す識別子や、マルチフレームバッファに格納された符号化済ピクチャの内で符号化対象ピクチャの表示順情報より前で最も近い表示順情報を持つピクチャをデフォルト参照ピクチャとして選択する方法を表す識別子や、マルチフレームバッファに格納された符号化済ピクチャの内で符号化対象ピクチャの表示順情報より後で最も近い表示順情報を持つピクチャをデフォルト参照ピクチャとして選択する方法を表す識別子を符号化することによって実現できる。

図６は、その場合の動画像符号化装置のブロックである。デフォルト参照ピクチャ番号生成部２０３は、図６に示すようにデフォルト参照ピクチャを選択する方法を示す識別子Identを可変長符号化部２０４へ出力する。可変長符号化部２０４は、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、動きベクトルMV1,MV2、および識別子Identを可変長符号化し、動画像符号化データStr3として出力する。この場合のデータフォーマットには、図２のデータフォーマットに示したデフォルト参照ピクチャを直接指定する情報であるデフォルト参照ピクチャ番号DefRefNoの代わりに、図７に示すようにデフォルト参照ピクチャの選択方法を示すための識別子Identが含まれることになる。

同様に、マルチフレームバッファに格納された符号化済ピクチャの内で符号化対象ピクチャに符号化順が最も近いピクチャをデフォルト参照ピクチャとして選択する方法を表す識別子や、マルチフレームバッファに格納された符号化済ピクチャの内で符号化対象ピクチャの表示順情報より前で符号化順が最も近いピクチャをデフォルト参照ピクチャとして選択する方法を表す識別子や、マルチフレームバッファに格納された符号化済ピクチャの内で符号化対象ピクチャの表示順情報より後で符号化順が最も近いピクチャをデフォルト参照ピクチャとして選択する方法を表す識別子を符号化することも可能である。なお、この方法を用いて作成した動画像符号化データは以下で説明する実施の形態４の構成を持った復号化方法によって復号化することが可能である。

また、上記デフォルト参照ピクチャを選択する方法を表す識別子の代わりに、実施の形態１と同様に図２のようにデフォルト参照ピクチャを示すピクチャ番号DefRefNoそのものを符号化することも、もしくは符号化対象ピクチャの持つピクチャ番号とデフォルト参照ピクチャとして選択したピクチャの持つピクチャ番号との相対的な差分値を符号化することも、もしくはそれを示すためのコマンド等の情報を符号化することも可能である。

図８は、その場合の動画像符号化装置のブロックである。デフォルト参照ピクチャ番号生成部２０５は、図８に示すようにデフォルト参照ピクチャ番号DefRefNoを可変長符号化部２０６へ出力する。可変長符号化部２０６は、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、動きベクトルMV1,MV2、およびデフォルト参照ピクチャ番号DefRefNoを可変長符号化し、動画像符号化データStr4として出力する。この場合のデータフォーマットは、図２に示したデータフォーマットと同じになる。なお、この方法を用いて作成した動画像符号化データは実施の形態２で説明した構成の復号化方法によって復号化することが可能である。

（実施の形態４）
図９は、本発明に係る実施の形態４の動画像復号化装置のブロック図である。なお、図３における実施の形態２の動画像復号化装置のブロック図と同じ動作をするユニットおよび同じ動作のデータは同じ記号を付し、説明を省略する。

本実施の形態の動画像復号化装置は、実施の形態２の構成に示すデフォルト参照ピクチャ番号バッファ４０２に替えてデフォルト参照ピクチャ番号生成部５０２を備えている。可変長復号化部５０１は、入力された動画像符号化データStr2に対して可変長復号化を行い、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、動きベクトルMV1,MV2を出力する。デフォルト参照ピクチャ番号生成部５０２は、実施の形態３で説明したデフォルト参照ピクチャ番号生成部２０１と同一の方法でデフォルト参照ピクチャ番号DefRefNoを生成し、このデフォルト参照ピクチャ番号DefRefNoを参照ピクチャ番号RefNo1として動き補償部４０３へ出力する。

以上のように本実施の形態によれば、実施の形態３で説明した本発明の動画像符号化方法を用いた動画像符号化装置により符号化された動画像符号化データStr2を正しく復号化できる。

なお、上記実施の形態３の変形例で示したようなデフォルト参照ピクチャの選択方法を示すための識別子Identが含まれている動画像符号化データStr3を復号化する場合、動画像復号化装置は、以下のように構成される。

図１０は、この場合の動画像復号化装置のブロックである。可変長復号化部５０３は、図１０に示すように入力された動画像符号化データStr3に対して可変長復号化を行い、残差符号化データERes、予測種別PredType、参照ピクチャ番号RefNo2、動きベクトルMV1,MV2、およびデフォルト参照ピクチャの選択方法を示すための識別子Identを出力する。デフォルト参照ピクチャ番号生成部５０４は、可変長復号化部５０３より入力された識別子Identが示すデフォルト参照ピクチャの選択方法を用いてデフォルト参照ピクチャ番号DefRefNoを生成し、このデフォルト参照ピクチャ番号DefRefNoを参照ピクチャ番号RefNo1として動き補償部４０３へ出力する。

このように、上記実施の形態３で説明したデフォルト参照ピクチャの選択方法を示すための識別子Identが含まれる動画像符号化データStr3を正しく復号化できる。

（実施の形態５）
本実施の形態では、符号化対象ピクチャより表示順情報が前のピクチャのみを参照して符号化を行う場合におけるダイレクトモードによる符号化について説明する。

図１１は、本発明に係る実施の形態５の符号化対象ピクチャより表示順情報が前の複数参照ピクチャによるダイレクトモードの説明図である。ここで、ピクチャPicは符号化対象ピクチャ、ピクチャRef1,Ref2は参照ピクチャ、ブロックBlkは符号化対象ブロック、ブロックBlk0は符号化対象ブロックBlkと画面内の位置が同じ参照ピクチャRef1内のブロックを示している。また、動きベクトルMV01はブロックBlk0の符号化時に使用した前方参照動きベクトル、ピクチャRef3は動きベクトルMV01が参照する参照ピクチャ、動きベクトルMV1は参照ピクチャRef1からの動きベクトル、動きベクトルMV2は参照ピクチャRef2からの動きベクトル、ブロックRefBlk1は動きベクトルMV1により参照される参照ブロック、ブロックRefBlk2は動きベクトルMV2により参照される参照ブロックを示している。

参照ピクチャには、例えば、マルチフレームバッファに格納された符号化済ピクチャの内で、符号化対象ピクチャの表示順情報より表示順情報が前のピクチャで、表示順情報が最も近いピクチャと２番目に近いピクチャを選択する。このとき、符号化対象ピクチャPicと参照ピクチャRef1との表示順情報の差の値をTRD1、参照ピクチャRef1と参照ピクチャRef3との表示順情報の差の値をTRD2、符号化対象ピクチャPicと参照ピクチャRef2との表示順情報の差の値をTRD3とすると、符号化対象ブロックを符号化する際に用いる動きベクトルMV1および動きベクトルMV2はそれぞれ次の計算式で算出できる。

ＭＶ１＝ＭＶ０１×（ＴＲＤ１／ＴＲＤ２） … （式Ａ）
ＭＶ２＝ＭＶ０１×（ＴＲＤ３／ＴＲＤ２） … （式Ｂ）

以上の方法により、ダイレクトモード時の参照ピクチャ、動きベクトルを決定することができる。

また、上記H.264では、符号化済ピクチャのマルチフレームバッファへの挿入やマルチフレームバッファから削除するための制御情報を動画像符号化データ中に含めることにより、明示的にマルチフレームバッファに格納するピクチャの制御を行う方法が議論されている。このような制御によっては、符号化対象ピクチャの表示順情報より後のピクチャしかマルチフレームバッファに格納されていない場合も有り得る。以下に、符号化対象ピクチャより表示順情報が後のピクチャしかマルチフレームバッファに格納されていない場合における複数参照ピクチャ補間予測を使用するピクチャのダイレクトモード実現方法について説明する。

図１２は、本発明に係る実施の形態５の符号化対象ピクチャより表示順情報が後の複数参照ピクチャによるダイレクトモードの説明図である。ここで、ピクチャPicは符号化対象ピクチャ、ピクチャRef1,Ref2は参照ピクチャ、ブロックBlkは符号化対象ブロック、ブロックBlk0は符号化対象ブロックBlkと画面内の位置が同じ参照ピクチャRef1内のブロックを示している。また、動きベクトルMV01はブロックBlk0の符号化時に使用した前方参照動きベクトル、動きベクトルMV1は参照ピクチャRef1からの動きベクトル、動きベクトルMV2は参照ピクチャRef2からの動きベクトル、ブロックRefBlk1は動きベクトルMV1により参照される参照ブロック、ブロックRefBlk2は動きベクトルMV2により参照される参照ブロックを示している。

参照ピクチャには、例えば、マルチフレームバッファに格納された符号化済ピクチャの内で、符号化対象ピクチャの表示順情報より表示順情報が後のピクチャで、表示順情報が最も近いピクチャと２番目に近いピクチャを選択する。このとき、符号化対象ピクチャPicと参照ピクチャRef1との表示順情報の差の値をTRD1、参照ピクチャRef1と参照ピクチャRef3との表示順情報の差の値をTRD2、符号化対象ピクチャPicと参照ピクチャRef2との表示順情報の差の値をTRD3とすると、符号化対象ブロックを符号化する際に用いる動きベクトルMV1および動きベクトルMV2はそれぞれ次の計算式（式Ｃ）および（式Ｄ）で算出できる。

ＭＶ１＝−ＭＶ０１×（ＴＲＤ１／ＴＲＤ２） … （式Ｃ）
ＭＶ２＝−ＭＶ０１×（ＴＲＤ３／ＴＲＤ２） … （式Ｄ）

以上の方法により、ダイレクトモード時の参照ピクチャ、動きベクトルを決定することができる。

なお、上記のダイレクトモードの処理は、図１に示す動画像符号化装置では、動き推定部１０１で実行される。また、同様に図３に示す動画像復号化装置では、動き補償部４０３で実行される。

以上のように、本実施の形態で示したダイレクトモードを備えた動画像符号化装置により、マルチフレームバッファに符号化対象ピクチャの表示順情報より前、あるいは後の符号化済ピクチャしかない場合にもダイレクトモードを使用することができ、参照ピクチャ・動きベクトルを省略できるため符号化効率を改善できる。また、本実施の形態で示したダイレクトモードを備えた動画像復号化装置により、本実施の形態で示したダイレクトモードを備えた動画像符号化装置が出力する動画像符号化データを復号化することができる。

また、スキップモードの定義を、本実施の形態によるダイレクトモードから算出された参照ピクチャ・動きベクトルを使用してピクチャ間予測した結果の残差符号化データが０の場合とすることもできる。本実施の形態によるダイレクトモードはマルチフレームバッファに符号化対象ピクチャの表示順情報より前、あるいは後の符号化済ピクチャしかない場合にもダイレクトモードを使用することができるため、そのような場合でもスキップモードを選択することができ、上記説明のスキップモードを備えた動画像符号化装置により、スキップモードを使用することができるため符号化効率を改善することができる。また、本実施の形態で示したダイレクトモードを備えた動画像復号化装置により、本実施の形態で示したダイレクトモードを備えた動画像符号化装置が出力する動画像符号化データを復号化することができる。

なお、図１１、図１２に対する上記説明において、参照ピクチャRef1に対する動きベクトルを自由に選択できるようにし、その動きベクトルと上記説明の動きベクトルMV1の差分ベクトルを符号化することもできる。同様に、参照ピクチャRef2に対する動きベクトルを自由に選択できるようにし、その動きベクトルと上記説明の動きベクトルMV2の差分ベクトルを符号化することもできる。

また、本実施の形態では、マルチフレームバッファに符号化対象ピクチャより表示順情報が前、もしくは、後のピクチャしかない場合に本実施の形態で説明したスキップモードを使用したが、例えば、マルチフレームバッファに格納されたピクチャから符号化対象ピクチャの表示順情報に最も近いピクチャと２番目に近いピクチャを選択し、選択された２枚のピクチャとも符号化対象ピクチャの表示順情報より前、もしくは、後のピクチャしかない場合に本実施の形態で説明したスキップモードを適用するように手順を変更してもよい。

（実施の形態６）
上記H.264では、複数参照ピクチャ補間予測を含むピクチャのスキップモードは、ダイレクトモードによるピクチャ間予測の残差符号化データが０の場合を示す。これに対し、本実施の形態の動画像符号化装置、動画像復号化装置では、スキップモードに使用する予測方法を、マルチフレームバッファの符号化済ピクチャの内で符号化対象ピクチャの表示順情報に最も近い参照ピクチャからのピクチャ間予測とする。

図１３は、本発明に係る実施の形態６のスキップモード時のピクチャ間予測の説明図である。ここで、ピクチャPicは符号化対象ピクチャ、ピクチャRef1は符号化対象ピクチャの直前の表示順情報を持つ符号化済ピクチャ、ピクチャRef2は符号化対象ピクチャの直後の表示順情報を持つ符号化済ピクチャ、ブロックBlkは符号化対象ブロック、動きベクトルMV1はピクチャRef1からの０値の動きベクトル、ブロックRefBlk1は動きベクトルMV1により参照される参照ブロックを示している。また、符号化対象ピクチャPicとピクチャRef1との表示順情報の差の値TRD1は、符号化対象ピクチャPicとピクチャRef2との表示順情報の差の値TRD2より小さい値とする。

本実施の形態では、符号化対象ピクチャの表示順情報に最も近いピクチャを参照ピクチャとする。図１３では、符号化対象ピクチャPicの表示順情報に最も近いピクチャは、ピクチャRef1である。ピクチャRef1に対する動きベクトルMV1はピクチャ内の垂直成分および水平成分とも０とし、動きベクトルMV1により参照される参照ブロックRefBlkを予測画像として使用する。このような予測方法を用いることにより、動画像符号化装置および動画像復号化装置で、参照ピクチャと動きベクトルが一意に決まるため、参照ピクチャを示す情報および動きベクトルを動画像符号化データ中に含める必要はない。そこで、上記説明したピクチャ間予測の結果の残差符号化データが０になる場合をスキップモードと定義し、スキップモードのブロックに対する符号化データ中はスキップモードを示す予測種別のみを伝送すればよくなる。

なお、本実施の形態では、マルチフレームバッファの符号化済ピクチャの内で符号化対象ピクチャの表示順情報に最も近いピクチャを参照ピクチャとしたが、マルチフレームバッファの符号化済ピクチャの内で符号化対象ピクチャの表示順情報より前で最も近いピクチャを参照ピクチャとしてもよい。

また、本実施の形態では、マルチフレームバッファの符号化済ピクチャの内で符号化対象ピクチャの表示順情報に最も近いピクチャを参照ピクチャとしたが、マルチフレームバッファの符号化済ピクチャの内で符号化対象ピクチャの表示順情報より後で最も近いピクチャを参照ピクチャとしてもよい。

また、上記各実施の形態において用いたピクチャの表示順情報は、ピクチャを表示する時刻を表す値であっても、ピクチャの相対的な表示順の関係を示す情報であってもよい。

なお、上記ピクチャとはフレームおよびフィールドの両方の意味を持つものであり、フレーム符号化の場合はフレームとして、インターレース符号化（フィールド符号化）の場合はフィールドとして扱うことができる。

また、上記各実施の形態は、１枚のピクチャをトップフィールド、ボトムフィールドの２枚のフィールドに分けて符号化するインタレース符号化の場合であっても同様に処理を行うことが可能である。このインタレース符号化では、参照ピクチャ番号は２倍であるので、さらに符号化効率を高めることができる。また、この場合には、デフォルト参照ピクチャ番号DefRefNoが示すピクチャとして、符号化対象ピクチャと同じ属性を有するピクチャを優先して用いればよい。すなわち、符号化対象ピクチャがトップフィールドである場合は、デフォルト参照ピクチャ番号DefRefNoが示すピクチャとして、トップフィールドを優先して用いる。一方、符号化対象ピクチャがボトムフィールドである場合は、デフォルト参照ピクチャ番号DefRefNoが示すピクチャとして、ボトムフィールドを優先して用いる。

（実施の形態７）
さらに、上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１４は、上記各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。

図１４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法が記録されている。

また、図１４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

図１６は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１７に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明の画像復号化方法および画像復号化装置は、例えばデジタルビデオカメラや携帯電話などに適用することができる。

実施の形態１の動画像符号化装置の構成を示すブロック図である。 実施の形態１の動画像符号化データフォーマットの概念図である。 実施の形態２の動画像復号化装置の構成を示すブロック図である。 実施の形態３の動画像符号化装置の構成を示すブロック図である。 実施の形態３の動画像符号化データフォーマットの概念図である。 実施の形態３の動画像符号化装置の変形例の構成を示すブロック図である。 実施の形態３の変形例による動画像符号化データフォーマットの概念図である。 実施の形態３の動画像符号化装置の変形例の構成を示すブロック図である。 実施の形態４の動画像復号化装置の構成を示すブロック図である。 実施の形態４の動画像復号化装置の変形例の構成を示すブロック図である。 実施の形態５の符号化対象ピクチャより表示順情報が前の複数参照ピクチャによるダイレクトモードの説明図である。 実施の形態５の符号化対象ピクチャより表示順情報が後の複数参照ピクチャによるダイレクトモードの説明図である。 実施の形態６のスキップモード時のピクチャ間予測の説明図である。 各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す概略図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。 従来の動画像符号化装置の構成を示すブロック図である。 複数参照ピクチャからの補間予測の概念図である。 従来の動画像符号化装置の動画像符号化データフォーマットの概念図である。 従来の動画像復号化装置の構成を示すブロック図である。 従来のダイレクトモードの説明図である。

符号の説明

１０１、３０１ 動き推定部
１０２、４０６ 画素補間部
１０３ 減算器
１０４ 画像符号化部
１０５ 画像復号化部
１０６ 加算器
１０７、２０２、３０２ 可変長符号化部
１０８、４０７ マルチフレームバッファ
２０１、５０２ デフォルト参照ピクチャ番号生成部
４０１、５０１、６０１ 可変長復号化部
４０２ デフォルト参照ピクチャ番号バッファ
４０３、６０２ 動き補償部
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦDD フレキシブルディスクドライブ

Claims (3)

1. ブロック毎に複数の参照ピクチャから一つの参照ピクチャを選択して、復号化対象ピクチャのブロックを予測復号化する画像復号化方法であって、
   複数のブロックからなる複数ブロック画像単位を復号化する際に、共通して参照する一つの共通参照ピクチャを特定する情報が、前記複数ブロック画像単位に対する共通情報領域に記述されているか否かを判断し、
   一つの共通参照ピクチャを特定する情報が前記共通情報領域に記述されていると判断された場合には、前記共通参照ピクチャを用いて前記複数ブロック画像単位に含まれる復号化対象ブロックの予測画像を生成し、
   一つの共通参照ピクチャを特定する情報が前記共通情報領域に記述されていないと判断された場合には、ブロック毎に特定された参照ピクチャを用いて前記複数ブロック画像単位に含まれる復号化対象ブロックの予測画像を生成し、
   前記予測画像を用いて前記復号化対象ブロックを復号化する
   ことを特徴とする画像復号化方法。
2. 前記複数ブロック画像単位は、複数ピクチャ単位、ピクチャ単位、スライス単位あるいはマクロブロック単位である
   ことを特徴とする請求項１記載の画像復号化方法。
3. ブロック毎に複数の参照ピクチャから一つの参照ピクチャを選択して、復号化対象ピクチャのブロックを予測復号化する画像復号化装置であって、
   複数のブロックからなる複数ブロック画像単位を復号化する際に、共通して参照する一つの共通参照ピクチャを特定する情報が、前記複数ブロック画像単位に対する共通情報領域に記述されているか否かを判断する判断手段と、
   前記判断手段により一つの共通参照ピクチャを特定する情報が前記共通情報領域に記述されていると判断された場合には、前記共通参照ピクチャを用いて前記複数ブロック画像単位に含まれる復号化対象ブロックの予測画像を生成し、前記判断手段により一つの共通参照ピクチャを特定する情報が前記共通情報領域に記述されていないと判断された場合には、ブロック毎に特定された参照ピクチャを用いて前記複数ブロック画像単位に含まれる復号化対象ブロックの予測画像を生成する、予測画像生成手段と、
   前記予測画像生成手段により生成された前記予測画像を用いて前記復号化対象ブロックを復号化する復号化手段と
   を備えることを特徴とする画像復号化装置。

Images