JP2004088736A - 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム - Google Patents

Abstract

【課題】画像の符号化および復号化においてＢピクチャを用いた場合、時間的に後方にあるピクチャを参照する可能性があることから、参照される可能性のあるピクチャから順に並び替えて符号化を行うため、時間的な遅延が発生するという問題があった。
【解決手段】識別信号をヘッダ領域に付加することにより、ピクチャ間予測符号化において時間的に前方にあるピクチャのみを参照するように制限を施し、表示する順と同じ順番でピクチャの符号化を行うことにより符号化および復号化装置における遅延を最小限に抑えることを可能とする。特にＢピクチャを用いた場合でも、前記制限を施すことによって符号化および復号化を行えることを特徴とする。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化方法および復号化方法に関するものであり、特に既に符号化済みの複数のピクチャを参照して予測符号化を行うＢピクチャを使用する符号化方法および復号化方法に関するものである。
【０００２】
【従来の技術】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および動き補償を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。
【０００３】
図５は上記の符号化対象ピクチャとこの符号化対象ピクチャが参照するピクチャとの参照関係の例を示す図である。
ピクチャＩ１は参照ピクチャを持たずピクチャ内予測符号化を行う。ピクチャＰ１０は時間的に前方にあるＰ７を参照しピクチャ間予測符号化を行う。また、ピクチャＢ６は時間的に前方にある２つのピクチャを参照し、ピクチャＢ１２は時間的に後方にある２つのピクチャを参照し、ピクチャＢ１８は時間的に前方および後方にあるそれぞれ１枚ずつのピクチャを参照しピクチャ間予測符号化を行う。
【０００４】
Ｂピクチャを用いた動画像の符号化では時間的に後方にあるピクチャを参照して符号化が行われる可能性があるため、前記参照される可能性のあるピクチャを符号化対象のピクチャよりも先に符号化しておく必要がある。
【０００５】
図６（ａ）は表示されるピクチャの順番を示し、図６（ｂ）は符号化するピクチャの順番を示したものである。
図６（ａ）におけるＢ６３のようなＢピクチャがあった場合はそれが参照するＰ６４を先に符号化する必要があるため、図６（ｂ）のような順番に並び替えて符号化を行わなくてはならない。そして、並び替えを行いＢ６３より時間的に後方にあるＰ６４が符号化されてからＢ６３を符号化することが、Ｂ６３の伝送を開始するときの遅延の原因となる。
【０００６】
同様に、復号化装置では図６（ｂ）のような順番で入力されてきた符号列に対して順次復号化を行うが、表示を行うためには時間軸に従った図６（ａ）のような順番に復号化されたピクチャを並び替える必要がある。ここでも、Ｂ６３を表示するためにＢ６３より時間的に後方にあるＰ６４を復号化することが、Ｂ６３が表示されるときに遅延が発生する原因となる。
【０００７】
ＭＰＥＧ２等の従来の符号化方法では上記並び替えにともなう遅延の対応策としてローディレイモードというものが定義されていた。これは、図７に示すように、符号化および復号化の際に、Ｂピクチャが後方参照を行う可能性があるため、Ｂピクチャを用いないことによりピクチャの並び替えを行わずに符号化および復号化を行うことを実現するものである（例えば、非特許文献１参照）。
【０００８】
【非特許文献１】
「ＩＳＯ／ＩＥＣ　１３８１８−２，Ｉｎｆｏｒｍａｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ　−−　Ｇｅｎｅｒｉｃ　ｃｏｄｉｎｇ　ｏｆ　ｍｏｖｉｎｇ　ｐｉｃｔｕｒｅｓ　ａｎｄ　ａｓｓｏｃｉａｔｅｄ　ａｕｄｉｏ　ｉｎｆｏｒｍａｔｉｏｎ：　Ｖｉｄｅｏ」（１９９６年５月１５日），Ｐ．１５０　　Ｄ．５　Ｌｏｗ　ｄｅｌａｙ　ｍｏｄｅ
【０００９】
【発明が解決しようとする課題】
しかし、Ｂピクチャを使用しないことにより符号化効率が大幅に低下する可能性を含んでいた。
そこで、本発明はＢピクチャを使用しながらも、遅延を最小限に抑えた動画像の符号化および復号化を可能とすることを目的とする。
【００１０】
【課題を解決するための手段】
そしてこの目的を達成するために、本願発明による符号化方法は、ピクチャ内予測符号化により符号化されるＩピクチャと、符号化対象のピクチャより表示順で前方向または後方向にあるピクチャを参照するピクチャ間予測符号化により符号化されるピクチャ間予測符号化ピクチャとを用いてピクチャを符号化する符号化方法であって、ピクチャ内予測符号化を行うＩピクチャと符号化対象のピクチャより表示順で前方向にあるピクチャのみを参照して予測符号化を行うピクチャとの組み合わせからなるピクチャを用いて符号化することを示す命令を受けるステップと、前記命令を受けて、ピクチャの並び替えが不要であることを示す識別信号を出力するステップと、前記組み合わせからなるピクチャを並び替えを行わずに表示順で前記識別信号と共に符号化するステップとを有する。
【００１１】
これにより符号化対象のピクチャより表示順で前方向にあるピクチャのみを参照して予測符号化を行うＢピクチャを用いて符号化するため、表示順で入力された画像を並べ替えずに符号化することが可能になる。
【００１２】
また、本願発明による復号化方法は、ピクチャ内予測符号化により符号化されたＩピクチャと、表示順で前方向または後方向にあるピクチャを参照するピクチャ間予測符号化により符号化されたピクチャ間予測符号化ピクチャとを復号化する復号化方法であって、ピクチャの並び替えが必要か不要かを示す識別信号とピクチャの信号とを受信するステップと、前記識別信号が、ピクチャの並び替えが必要であることを示すか、ピクチャの並び替えが不要であることを示すかを判断するステップと、ピクチャの並び替えが不要であると判断されたとき、受信した順番で前記ピクチャの信号を復号化して出力し、ピクチャの並び替えが必要であると判断されたとき、受信した前記ピクチャの信号を復号化し、ピクチャの表示される順に前記ピクチャを並び替えて出力するステップとを有する。
【００１３】
これにより復号化対象のピクチャより表示順で前方向にあるピクチャのみを参照して復号化を行うＢピクチャを用いて復号化するため、表示順で入力された画像を並べ替えずに復号化することが可能になる。
【００１４】
また、本発明の復号化方法、データストリーム、データ記録媒体およびプログラムについても上記と同様の構成、作用および効果を有する。
【００１５】
また、本発明のデータストリームは、次の（１）から（３）の何れかの構成としてもよい。
（１）画面内予測符号化を行うＩピクチャと符号化対象のピクチャより表示時間の順番で前方向にあるピクチャのみを参照して予測符号化を行うピクチャとの組み合わせからなるピクチャを用いて符号化されたシーケンスデータと、符号化されたピクチャの復号化において前記符号化されたピクチャの並び替えが不要であることを示す識別信号とを有するデータストリーム。
（２）符号化対象のピクチャより表示時間の順番で前方向にあるピクチャのみを参照して予測符号化を行うＢピクチャと画面内予測符号化を行うＩピクチャと符号化対象のピクチャより表示時間の順番で前方向にある１枚のピクチャのみを参照して予測符号化を行うＰピクチャとの組み合わせからなるピクチャを用いて符号化されたシーケンスデータと、符号化されたピクチャの復号化において前記符号化されたピクチャの並び替えが不要であることを示す識別信号とを有するデータストリーム。
（３）符号化対象のピクチャより表示時間の順番で前方向にあるピクチャのみを参照して予測符号化を行うＢピクチャと画面内予測符号化を行うＩピクチャと符号化対象のピクチャより表示時間の順番で前方向にある１枚のピクチャのみを参照して予測符号化を行うＰピクチャとの組み合わせからなるピクチャを用いて符号化するときに、符号化されたピクチャの復号化において前記符号化されたピクチャの並び替えが不要であることを示す識別信号が符号化され、Ｂピクチャのうち符号化対象のピクチャより表示時間の順番で後方向にあるピクチャを参照して動き予測を行うＢピクチャを用いて符号化するときに、符号化されたピクチャの復号化において前記符号化されたピクチャの並び替えが必要であることを示す識別信号が符号化されたデータストリーム。
【００１６】
また、本発明の画像符号化方法は、次の（４）、（５）の何れかの構成としてもよい。
（４）画像符号化方法であって、画面内予測符号化を行うＩピクチャと符号化対象のピクチャより表示時間の順番で前方向にあるピクチャのみを参照して予測符号化を行うピクチャとの組み合わせからなるピクチャを用いて符号化することを示す命令を受けるステップと、前記命令を受けて、ピクチャの並び替えが不要であることを示す識別信号を出力するステップと、前記命令を受けて、前記組み合わせからなるピクチャのみを並び替えを行わず表示時間の順番で前記識別信号と共に符号化するステップとを備える。
（５）画像符号化方法であって、符号化対象のピクチャより表示時間の順番で前方向にあるピクチャのみを参照して予測符号化を行うＢピクチャと、画面内予測符号化を行うＩピクチャと、符号化対象のピクチャより表示時間の順番で前方向にある１枚のピクチャのみを参照して予測符号化を行うＰピクチャとの組み合わせからなるピクチャを用いて符号化することを示す命令を受けるステップと、前記命令を受けて、ピクチャの並び替えが不要であることを示す識別信号を出力するステップと、前記命令を受けて、前記Ｂピクチャと前記Ｉピクチャと前記Ｐピクチャのみを並び替えを行わず表示時間の順番で前記識別信号と共に符号化するステップとを備える。
【００１７】
また、本発明の画像復号化方法は、次の（６）、（７）の何れかの構成としてもよい。
（６）画像復号化方法であって、ピクチャの並び替えが不要であることを示す識別信号と表示時間の順番で符号化されたピクチャの信号とを受信するステップと、前記識別信号にともない、受信した順番で前記ピクチャの信号を復号化するステップと、復号化された順番で表示のために前記復号化されたピクチャを出力するステップとを備え。
（７）画像復号化方法であって、ピクチャの並び替えが必要か不要かを示す識別信号とピクチャの信号とを受信するステップと、前記識別信号が、ピクチャの並び替えが必要であることを示すか、ピクチャの並び替えが不要であることを示すかを判断するステップと、前記識別信号が、ピクチャの並び替えが不要であることを示す識別信号であるとき、受信した順番で前記ピクチャの信号を復号化して出力し、前記識別信号が、ピクチャの並び替えが必要であることを示す識別信号であるとき、受信した前記ピクチャの信号を復号化し、ピクチャの表示される順に前記ピクチャを並び替えて出力するステップとを備える。
【００１８】
また、本発明のプログラム記録媒体は、（３）又は（４）に記載された画像符号化方法又は（６）又は（７）記載の復号化方法をコンピュータに実行させるプログラムを格納した記録媒体としてもよい。
【００１９】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１における動画像符号化方法を図１に示したブロック図を用いて説明する。
【００２０】
予測方向制限指示部１０９は外部からの指示を受け、ピクチャ間予測を行うときの参照方法を制御する。ここで、ピクチャ間予測でＢピクチャを用いるときの参照方法の例としては、▲１▼図５のＢ６に示すように前方にある２枚のピクチャを参照するか、▲２▼図５のＢ１２に示すように後方にある２枚のピクチャを参照するか、▲３▼図５のＢ１８に示すように前方の１枚と後方の１枚のピクチャを参照するか、などが考えられる。予測モードの例としては前方向２枚参照予測モード、後方向２枚参照予測モード、前方向後方向同時参照予測モード等がある。ただし予測方向制限指示部１０９によって時間的に前方にあるピクチャのみが参照されるように制限されている場合は、Ｂピクチャの符号化において時間的に後方にあるピクチャを参照する予測モードは選択されない。入力された指示によって図４（ａ）又は同図（ｂ）に示す使用可能なピクチャが決定される。以下では、説明を簡単にするため同図（ａ）又は同図（ｂ）に示す識別番号が指示として入力されるものとする。入力された指示（識別番号）は予測方向制限指示部１０９からフレームメモリ１０１、符号列生成部１０３、動きベクトル検出部１０６に出力される。
【００２１】
符号化対象となる動画像は表示を行う順にピクチャ単位でフレームメモリ１０１に入力される。予測方向制限指示部１０９によって予測方向の制限がなされていない場合はフレームメモリ１０１において符号化を行う順にピクチャの並び替えを行う。また、時間的に前方にあるピクチャのみが参照されるように制限されている場合は並び替えを行わない。ここで時間的に前方にあるピクチャのみが参照される場合とは、Ｂピクチャに関して図５のＢ６に示すような前方にある２枚のピクチャを参照するＢピクチャのみを用いる場合、またはＢピクチャを全く用いない場合である。各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
【００２２】
フレームメモリ１０１から読み出されたマクロブロックは動きベクトル検出部１０６に入力される。ここではフレームメモリ１０５に蓄積されている画像を参照ピクチャとして用いて、符号化対象のマクロブロックの動きベクトル検出を行う。フレームメモリ１０５には以下のステップで画像が保存される。まず、予測残差符号化部１０２から予測残差復号化部１０４に信号が入力される。予測残差復号化部１０４に入力された信号と、動き補償符号化部１０７で得られた予測画像とが加算演算部１１１において加算され、加算された信号が参照用の画像としてフレームメモリ１０５に保存される。なお、ピクチャ内予測符号化を行う場合は上記のような動き補償を必要としないため、スイッチ１１３は切断される。
【００２３】
また、動きベクトル検出部１０６で決定された動きベクトルに従って、動き補償符号化部１０７では動きベクトル記憶部１０８に記憶されている符号化済みのピクチャで用いた動きベクトルとフレームメモリ１０５に記憶されている符号化済みのピクチャを用いて、予測画像が生成される。また、動き補償符号化部１０７から符号列生成部１０３に差分動きベクトルが入力される。
【００２４】
図８は符号化の対象ピクチャが時間的に後方のピクチャを参照しない場合の各ピクチャの参照関係を示したものである。この場合、並び替えを行う必要が無いため、各ピクチャは表示される順番で符号化される。シーケンスに含まれる全てのＢピクチャは時間的に前方にある１枚もしくは複数の符号化済みピクチャを参照して予測符号化を行っている。よって、Ｂピクチャを使用することにより、ＩピクチャとＰピクチャのみを用いた従来のローディレイモードと比べて効率の良い符号化を行うことが可能となる。
【００２５】
動きベクトル検出部１０６によって得られた動きベクトルによって決定された予測画像が差分演算部１１０に入力され、符号化対象のマクロブロックとの差分をとることにより予測残差画像が生成され、予測残差符号化部１０２において符号化が行われる。
【００２６】
以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であったが、スイッチ１１２によってピクチャ内予測符号化との切り替えがなされる。なお、その際にスイッチ１１３も同時に切断される。
【００２７】
最後に符号列生成部１０３によって、動きベクトル等の制御情報および予測残差符号化部１０２から出力される画像情報等に対し可変長符号化を施し、最終的に出力される符号列が生成される。その際に、図３（ａ）のように予測方向制限指示部１０９によって指示された図４（ａ）または図４（ｂ）に示す識別番号が予測方向制限識別信号３１として符号化の対象とするシーケンスのヘッダ領域に付加される。予測方向制限識別信号３１がシーケンスヘッダに付加された場合は符号化対象の動画像列全体に対して予測方向の制限が適用されることになる。
【００２８】
なお、図３（ｂ）の３２、３３のように予測方向制限指示部１０９によって指示された図４（ａ）または図４（ｂ）に示す識別番号をＧＯＰのヘッダ領域に付加することにより、ＧＯＰごとに予測方向の制限を切り替えることも可能である。このとき予測方向制限識別信号として付加する信号は図４（ａ）に例として示したテーブルを参照して決定される。図４（ａ）の例に従うと、予測方向の制限を行わない場合は識別番号「０」が、前方のみに予測方向を制限する場合つまりＩピクチャおよびＰピクチャおよび前方のみを参照するＢピクチャを使用する場合は識別番号「１」が選択される。
【００２９】
また、予測方向制限識別信号として図４（ａ）に示した２つの項目のみのテーブルを用いる代わりに、図４（ｂ）に示したような３つの項目からなるテーブルを使用することも可能である。ここでは、図４（ａ）の２項目に加え、Ｂピクチャを全く使用しない符号化方法を選択することを可能としている。これによって、符号化効率の低下をできるだけ抑えつつ遅延の発生を避けたい場合は識別番号「１」を、処理量の削減を優先しつつ遅延の発生を避けたい場合は識別番号「２」を選択するといった使い分けが可能となる。つまり、予測方向制御指示部１０９への外部からの指示は、符号化対象の動画像に適切な処理量、効率、遅延を検討の上、決定されることになる。
【００３０】
また、図１１に示すように、処理量はＩピクチャとＰピクチャのみを用いる場合が少なく、符号化効率は全てのピクチャタイプを用いる場合がよく、符号化時に伝送を開始するとき発生する遅延および復号化時に表示を開始するときに発生する遅延は全てのピクチャタイプを用いる場合に起きやすい。なお、図４（ａ）および図４（ｂ）における識別番号の割り振り方はこれ以外の方法を用いても同様に扱うことが可能である。また、図３（ａ）に示すシーケンスデータおよび図３（ｂ）に示すＧＯＰデータにはピクチャのデータが入っている。
【００３１】
以下、図４（ａ）に示す識別番号が予測方向制御指示部１０９に入力されたときの図１に示す符号化方法における処理の流れの一例を、図９（ａ）を用いて説明する。
Ｅ１において図４（ａ）に示す識別番号が入力されると、Ｅ２−ａにおいて識別番号に応じた動作モードが選択される。識別番号が「０」であればフレームメモリ１０１から画像が取り込まれる（Ｅ３）。取り込まれた画像をＢピクチャとして符号化する場合はさらに画像の取り込みを行う（Ｅ３）。Ｂピクチャ以外の方法で符号化する画像が取り込まれた時点で、取り込まれた複数の画像を符号化を行う順番に並び替える（Ｅ５）。例として、図６（ａ）のような画像列を符号化する場合を考えると、まずＩピクチャであるＩ６１はそのまま符号化を行う。つぎにＢピクチャであるＢ６２およびＢ６３は、それらが参照するピクチャであるＰピクチャのＰ６４が取り込まれるのを待ってから、符号化する順番に並び替えられられる。図６（ｂ）は符号化する順番に並び替えられたピクチャの列を表したものである。そしてＥ６において並び替えた順に符号化を行う。Ｅ６における符号化により全ての符号化が完了していれば符号化は終了し、符号化が完了していなければＥ３に戻り上記Ｅ３からＥ７までのステップを繰返す。
【００３２】
一方、Ｅ２−ａにおいて識別番号が「１」であればＥ８において、１枚のピクチャをフレームメモリ１０１から取り込む。Ｉピクチャ、Ｐピクチャ、前方参照のみのＢピクチャはいずれも後方参照を行わないピクチャであるためＥ５のような並び替えをすることなく、Ｅ９において取り込んだピクチャの符号化を行う。そのときのピクチャ列の例を図８に示す。このピクチャ列におけるＢ８２およびＢ８３等の全てのＢピクチャは前方のみを参照するピクチャとなっている。そしてＥ７と同様に、Ｅ９における符号化により全ての符号化が完了していれば符号化は終了し、符号化が完了していなければＥ８に戻り上記Ｅ８からＥ１０までのステップを繰返す。
【００３３】
次に図４（ｂ）に示す識別番号が予測方向制御指示部１０９に入力されたときの符号化方法における処理の流れを図９（ｂ）を用いて説明する。ただし、図９（ａ）と同じ処理をするステップには同一の符号を振り、説明を省略する。
図９（ｂ）の処理の流れで図９（ａ）と異なる点は、図４（ｂ）では３種類の識別番号があるためＥ２−ｂにおける判断が増える点、図４（ａ）と異なる識別番号「２」に対応する動作モードとして処理ステップＥ１１、Ｅ１２、Ｅ１３がある点である。図４（ｂ）において識別番号「２」に対応する動作モードはＩピクチャとＰピクチャのみを用いて符号化するため、Ｅ１１で画像を取り込んだ後、取り込んだ画像の並び替えを行うことなくＥ１２においてＥピクチャとＰピクチャのみを符号化することになる。そのときのピクチャ列の例を図７に示す。このピクチャ列では前方を参照するＩピクチャおよびＰピクチャのみで構成されているのが分かる。なお、識別番号の入力は、外部から人為的に入力されても、予め設定をしてハードウェア的に処理されても、ソフトウェアで間接的に入力されても、いずれでもよい。
【００３４】
図４（ａ）または図４（ｂ）に示す識別番号が予測方向制限指示部１０９に入力された後に、符号列生成部１０３に入力される信号は図１２に示す手順に従う。
まず、図４（ａ）に示す識別番号の場合について説明する。図１２（ａ）に示すように、入力された識別番号「０」「１」がそのまま符号列生成部１０３に出力される。つまり、図３の予測方向制限識別信号３１，３２，３３には、予測方向制限指示部１０９に入力された識別番号がそのまま入る。同様に、図４（ｂ）に示す識別番号の場合、図１２（ｂ）に示すように予測方向制限指示部１０９に入力された識別番号が図３の予測方向制限識別信号３１，３２，３３にそのまま入る。
【００３５】
図４（ｂ）のように識別番号が多くなると、用いるビット数も増加する。そこで、図１２（ｃ）や図１２（ｄ）に示すような処理をすると、図１２（ｂ）に示すような処理と比べてビット量を削減させることができる。図１２（ｃ）は図４（ａ）の識別番号が予測方向制限指示部１０９に入力された場合についての処理手順を示す。図１２（ｃ）に示すように予測方向制限指示部１０９に入力された識別番号は、並び替えが必要かどうかを判別され、並び替えが必要であれば「０」を、並び替えが不要であれば「１」を出力する。同様に、図１２（ｄ）に示すように予測方向制限指示部１０９に入力された識別番号は、並び替えが必要かどうかを判別され、入力された識別番号が「０」の場合は並び替えが必要なため「０」を出力する。一方、入力された識別番号が「１」と「２」の場合は、後方参照するピクチャを扱わないため並び替えが不要であり、この並び替えが不要の意味を有する「１」を出力する。これにより、予測方向制限指示部１０９から符号列生成部１０３に出力される信号は、図１４（ｃ）に示したように、並び替えが必要か、不要かの情報のみを用いれば良く、ビット量を削減することが可能である。特に、識別番号の数が多いときに、並び替えが必要か、不要かの２つの判断のみに意味付けでき、有効である。
【００３６】
また、Ｂピクチャを用いると、２枚の参照画像の平均画像を予測画像として使用できることから、２枚が時間的に前方にある場合でも符号化効率を向上できる可能性がある。
【００３７】
なお、前方の１枚のピクチャのみを参照するＢピクチャを用いる場合も、上記実施の形態で示した前方の２枚のピクチャのみを参照するＢピクチャと同様に、並び替えが不要なピクチャとして扱うことができる。さらに、上記実施の形態における動き補償は、符号化対象のピクチャが有する動きベクトルの情報を用いることを前提としていたが、ダイレクトモードと呼ばれる、符号化対象のピクチャが動きベクトルの情報をもたずに符号化済みのブロックの情報を用いて動き補償を行う場合でも、上記実施の形態で示した符号化方法を用いることができる。ダイレクトモードを用いるＢピクチャの場合、動きベクトルの情報を持たないため、ダイレクトモード以外の予測モードを用いるＢピクチャの場合と比べ、さらに符号化効率を向上させることが可能である。
【００３８】
また、前後へ動き補償を行う通常のＢピクチャは複数の物体が重なって見え隠れする場合の動画像に有効であるが、前方向のみ動き補償を行うＢピクチャを用いた場合もほぼ同等の効果を得ることが可能である。なお、Ｂピクチャの動き補償において２枚のピクチャから予測画像を生成する際に、それぞれの画素値に対して重み付け平均を取ることによってフェード等の画面全体の明度が変わるような動画像に対して効率の良い符号化を行うことができる。以上のように上記実施の形態１に示した符号化方法により、符号化装置に入力されたピクチャの順番を入れ替える処理を省くことができ、符号化処理による時間的な遅延を最小限に抑えることができる。なお、符号化処理における遅延は、ピクチャの順番を並べ替える遅延が支配的であるから、この並べ替えの遅延を削減することは大きな意味がある。
【００３９】
（実施の形態２）
本発明の実施の形態２における動画像復号化方法を図２に示したブロック図を用いて説明する。ただし、以下の説明では実施の形態１の動画像符号化方法で生成された符号列が入力されるものとするが、同じデータ構造の符号列であればよく、必ずしも実施の形態１の動画像符号化方法で生成された符号列でなくても良い。
【００４０】
まず入力された符号列から符号列解析器２０１によって動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。同時に、ピクチャ間予測を行うときの予測方向に関する情報が予測方向制限識別信号としてヘッダ領域から抽出されるものとする。図３（ａ）は前記予測方向制限識別信号３１がシーケンスヘッダに付加されている場合の符号化列を示したものである。また、図３（ｂ）の３２、３３ようにＧＯＰのヘッダ領域に付加されている場合も同様に扱うことも可能である。このとき、図１２（ａ）から図１２（ｄ）のいずれの方法によって符号化されたかによって、それに対応する図４（ａ）もしくは図４（ｂ）に示した識別番号が前記予測方向制限識別信号として付加されているものとする。
【００４１】
符号列解析器２０１で抽出された識別番号は予測方向制限指示部２０６に、動きベクトル情報（差分動きベクトル）は動き補償復号部２０４に、予測残差符号化データは予測残差復号化部２０２にそれぞれ出力される。符号列解析器２０１で抽出された識別番号は、ピクチャの並び替えが必要か不要かのいずれを意味する識別番号であるか、予測方向制限指示部２０６において判断される。そして、ピクチャの並び替えが必要か不要かの情報がフレームメモリ２０３に入力される。動き補償復号部２０４ではフレームメモリ２０３に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、入力された動きベクトル情報または動きベクトル記憶部２０５に記憶されている動きベクトル情報に基づいて予測画像を生成する。なお、時間的に前方にあるピクチャのみが参照されるように制限されている場合に、動き補償復号部２０４ではＢピクチャの復号化において時間的に後方にあるピクチャを参照する予測モードを参照しようとした際には、予測方向制限指示部２０６によってエラー検出やエラーの修正指示がなされるようにしてもよい。
【００４２】
生成された予測画像は加算演算部２０７に入力され、予測残差復号化部２０２において生成された予測残差画像との加算を加算演算部２０７で行うことにより復号化画像が生成される。予測方向制限指示部２０６によって予測方向の制限がなされていない場合、例えば図４（ａ）または図４（ｂ）で示す識別番号が「０」の場合は、生成された復号化画像はフレームメモリ２０３において表示される順にピクチャの並び替えを行う。一方、時間的に前方にあるピクチャのみが参照されるように制限されている場合、例えば図４（ａ）または図４（ｂ）で示す識別番号が「１」の場合または図４（ｂ）で示す識別番号が「２」の場合は、並び替えを行うことなく復号化された順にそのまま表示することが可能となる。また、識別番号「１」の場合、符号化効率の低下をできるだけ抑えつつ遅延の発生を避けた符号化方法によって生成された符号列の復号化ができる。そして、識別番号「２」の場合、復号化の処理量の削減を優先しつつ、また表示における遅延の発生を抑えつつ、符号化方法によって生成された符号列の復号化を矛盾なく実現することができる。
【００４３】
なお、図４（ａ）および図４（ｂ）における識別番号の割り振り方はこれ以外の方法を用いても同様に扱うことが可能である。なお、符号列解析部２０１に入力される符号列の信号における予測方向制限信号が、図４（ｂ）に示す識別番号が「０」の場合と、識別番号が「１」と「２」の場合のどちらかを識別できる制御信号のとき、前者では予測方向制御指示部２０６に並び替えをする必要があることを示す制御信号が入力され、後者では予測方向制御指示部２０６に並び替えをする必要がないことを示す制御信号が入力される。
【００４４】
予測方向制限識別番号が図１２（ａ）の手順に従って符号化されている場合の復号化の手順について図１０（ａ）を用いて説明する。なお、識別番号「０」「１」はそれぞれ図４（ａ）の識別番号に対応し、図１４（ａ）に示す通りである。まずＤ１において、入力された符号列から識別番号が抽出され、それに従ってＤ２−ａにおいて動作モードが選択される。識別番号が「０」であればＤ３によって符号列を取り込み、取り込んだ順番のままＤ４において復号化を行う。さらに復号化された複数のピクチャを表示する順番に並び替える（Ｄ５）。例として、図６（ｂ）のような符号化される順番に並び替えられた符号列を復号化する場合を考えると、まずＩピクチャであるＩ６１はそのまま符号化を行い表示される。つぎにＰピクチャであるＰ６４は、それに続くＢピクチャであるＢ６２およびＢ６３の後に表示されるものであるため、Ｂ６２およびＢ６３が復号化および表示されるのを待つ必要がある。最終的には図６（ａ）のような順番で復号化されたピクチャが表示される。全てのピクチャの復号化が完了していなければＤ３に戻り上記Ｄ３からＤ６までのステップを繰返す。
【００４５】
一方、Ｄ２−ａにおいて識別番号が「１」であればＤ７において、Ｉピクチャ、Ｐピクチャ、前方参照のみのＢピクチャの符号列を取り込む。Ｉピクチャ、Ｐピクチャ、前方参照のみのＢピクチャはいずれも後方参照を行わないピクチャであるためＤ５のような並び替えをすることなく、Ｄ８において取り込んだピクチャの符号化を行う。そのときのピクチャ列の例を図８に示す。このピクチャ列におけるＢ８２およびＢ８３等の全てのＢピクチャは前方のみを参照するピクチャとなっている。そしてＤ６と同様に、全てのピクチャの復号化が完了していれば復号化は終了し、復号化が完了していなければＤ７に戻り上記Ｄ７からＤ９までのステップを繰返す。なお、動作モードの選択Ｄ２−ａは予測方向制御指示部２０６において行われる。
【００４６】
次に予測方向制限識別番号が図１２（ｂ）の手順に従って符号化されている場合の復号化の手順について図１０（ｂ）を用いて説明する。ただし、図１０（ａ）と同じ処理をするステップには同一の符号を振り、説明を省略する。なお、予測方向制御識別信号は図１４（ｂ）に示す通りである。
【００４７】
図１０（ｂ）の処理の流れで図１０（ａ）と異なる点は、図４（ｂ）では３種類の識別番号があるためＤ２−ｂにおける判断が増える点、図４（ａ）と異なる識別番号「２」に対応する動作モードとして処理ステップＤ１０、Ｄ１１、Ｄ１２がある点である。図４（ｂ）において識別番号「２」に対応する動作モードはＩピクチャとＰピクチャのみを用いて符号化するため、Ｄ１０で画像を取り込んだ後、取り込んだ画像の並び替えを行うことなくＤ１１においてＩピクチャとＰピクチャのみを符号化することになる。そのときのピクチャ列の例を図７に示す。このピクチャ列では前方を参照するＩピクチャおよびＰピクチャのみで構成されているのが分かる。なお、動作モードの選択Ｄ２−ｂは予測方向制御指示部２０６において行われる。
【００４８】
さらに、予測方向制限識別番号が図１２（ｃ）の手順に従って符号化されている場合の復号化の手順について図１３を用いて述べる。なお、識別番号は図１４（ｃ）に示す通りである。この場合は、基本的に図１０（ａ）に示す手順と同一である。異なる点は、予測方向制限識別信号自体が並び替えの要・不要のみを示しており、図１０（ａ）のＤ２−ａにおける動作モード選択と、図１３のＤ２−ｃにおける動作モード選択の意味が異なる点である。Ｄ２−ｃにおいてモード選択がされた後は、符号列を取り込み、取り込んだピクチャを復号化し（Ｄ４０、Ｄ８０）、並び替えが必要なモードでは並び替えをし、並び替えの必要のないモードでは並び替えをしない。このモードの選択は予測方向制御指示部２０６において行われる。なお、予測方向制限識別番号が図１２（ｄ）の手順に従って符号化されている場合の復号化の手順も、同様である。このときの識別番号は図１４（ｃ）に示す通りである。図１２（ｃ）の手順に従って符号化されている場合と異なる点は、取り込まれる符号列、復号化されるピクチャの種類である。
【００４９】
以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であったが、スイッチ２０８によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。
【００５０】
以上のように上記実施の形態２示した復号化方法により、復号化されたピクチャを表示するための順番に入れ替える処理を省くことができ、復号化処理によるピクチャ並べ替えのための時間的な遅延を不要にすることができる。復号化処理における遅延は、ピクチャの順番を並べ替える遅延が支配的であるから、この並べ替えの遅延を削減することは大きな意味がある
【００５１】
（実施の形態３）
上記実施の形態１および２では、Ｐピクチャが時間的に前方にある１枚のピクチャを参照してピクチャ間予測符号化されたピクチャである場合について説明した。本実施の形態では、Ｐピクチャが時間的に前方向または後方向にある１枚のピクチャを参照してピクチャ間予測符号化される場合について説明する。
【００５２】
以下、説明の便宜上、前方にある１枚のピクチャを参照してピクチャ間予測符号化されるピクチャを前方予測Ｐピクチャ、後方にある１枚のピクチャを参照してピクチャ間予測符号化されるピクチャを後方予測Ｐピクチャと呼ぶ。
本実施の形態における符号化方法および復号化方法について、実施の形態１および２と同じ点については説明を省略し、以下異なる点を中心に説明する。
【００５３】
本実施の形態における識別番号は、次の読み替えを行う点以外は図４（ａ）（ｂ）、図１４（ａ）〜（ｃ）と同じである。すなわち、図４（ａ）及び図１４（ａ）において識別番号が０である場合の”Ｐピクチャ”は前方予測Ｐピクチャおよび後方予測Ｐピクチャと、識別番号が１である場合の”Ｐピクチャ”は前方予測Ｐピクチャとそれぞれ読み替える。その結果、識別番号が０の場合にはピクチャの順番を並べ替える必要があり、識別番号が１の場合にはピクチャの順番を並べ替えること必要がないことになる。
【００５４】
同様に、図４（ｂ）及び図１４（ｂ）において識別番号が０である場合の”Ｐピクチャ”は前方予測Ｐピクチャ及び後方予測Ｐピクチャと、識別番号が１である場合および２である場合の”Ｐピクチャ”は前方予測Ｐピクチャとそれぞれ読み替える。その結果、識別番号が０の場合にはピクチャの順番を並べ替える必要があり、識別番号が１の場合および２の場合にはピクチャの順番を並べ替えること必要がないことになる。
【００５５】
このように、識別番号により示される使用可能なＰピクチャの種類については実施の形態１および２とは異なっているが、識別番号により示される並び替えの必要があるかないかについては同じである。
【００５６】
また、本実施の形態における符号化方法は次の読み替えを行う点以外は図９（ａ）（ｂ）と同様である。すなわち、ステップＥ６における”Ｐピクチャ”は前方予測Ｐピクチャおよび後方予測Ｐピクチャと読み替え、ステップＥ９、Ｅ１２における”Ｐピクチャ”は前方予測Ｐピクチャと読み替える。
【００５７】
同様に、本実施の形態における復号号化方法は次の読み替えを行う点以外は図１０（ａ）（ｂ）と同様である。すなわち、ステップＤ４における”Ｐピクチャ”は前方予測Ｐピクチャおよび後方予測Ｐピクチャと読み替え、ステップＤ８、Ｄ１１における”Ｐピクチャ”は前方予測Ｐピクチャと読み替える。
【００５８】
以上説明してきたように本実施の形態における動画像の符号化方法及び復号化方法によれば、Ｐピクチャが前方向または後方向にある１枚を参照してピクチャ間符号化される場合であっても、実施の形態１及び２の符号化方法及び復号化方法と同様の効果を得ることができる。
【００５９】
なお、上記各実施の形態における予測方向制限識別信号は、符号列生成部１０３に生成される符号列に設定される（Ａ）表示の遅延時間を示すデータ（表示遅延データと呼ぶ）、又は（Ｂ）並び替えにおけるピクチャ数を示すデータ（並び替えピクチャ数データと呼ぶ）であってもよい。（Ａ）表示遅延データは、復号が完了してからフレームメモリ２０３の復号済ピクチャが表示されるまでの遅延時間（単位は、例えばピクチャ枚数と等価なクロック数）を表すデータである。この場合、予測方向制限識別信号は、表示遅延データの遅延時間を０とすることにより並び替え不要であることを示す。（Ｂ）並び替えピクチャ数データは、並び替えによるピクチャの復号順位と表示順順位との最大の差分を表すデータである。この場合、予測方向制限識別信号は、並び替えピクチャ数データを０とすることにより並び替え不要であることを示す。
【００６０】
また、符号列生成部１０３は、予測方向制限識別信号を、図３（ａ）に示したシーケンスヘッダ中に予測方向制限識別信号３１として設定してもよいし、図３（ｂ）に示したＧＯＰヘッダ中に予測方向制限識別信号３２、３３として設定してもよいし、図１５（ａ）に示すピクチャ共通情報領域中に予測方向制限識別信号３４として設定してもよいし、図１５（ｂ）に示す拡張領域中に予測方向制限識別信号３５として設定してもよい。前記ピクチャ共通情報領域は、１つまたは複数のピクチャから共通して参照される情報をまとめて記述したものであり、前記拡張領域は、復号化するための補助となる情報をまとめて記述したものであり必ずしも使用されるとは限らないものである。これらの領域は、符号列中の任意の位置に設けることができる。
【００６１】
なお、以上の説明では、Ｐピクチャは１枚の符号化済みピクチャを、Ｂピクチャは１枚または２枚の符号化済みピクチャを参照して予測画像を生成し動き補償を行うとしているが、前記内容は動き補償を行う対象の１つのブロックごとに参照することのできる符号化済みピクチャの枚数を示すものでもある。例えば符号化の対象とする１枚のピクチャに対して複数枚（例えば５枚）の符号化済みピクチャを参照することが許可されていた場合は、その中から最適な１枚もしくは２枚のピクチャを符号化対象または復号化対象のブロックごとに選択し、選択されたピクチャ中のブロックを用いて動き補償を行うという動作に置き換えて処理を行った場合も、全く同様に扱うことができる。
【００６２】
（実施の形態４）
さらに、上記各実施の形態で示した符号化処理および復号化処理の構成を実現するための符号化および復号化プログラムや符号列（データストリーム）を、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００６３】
図１４は、上記実施の形態１から２の符号化あるいは復号化処理を、上記符号化および復号化プログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
図１４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【００６４】
また、図１４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記符号化および復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００６５】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６６】
また、上記実施の形態に示した符号化方法・復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。具体的な応用例を図１７〜図２０を用いて説明する。
【００６７】
図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【００６８】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ　ｄｉｇｉｔａｌ　ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００６９】
しかし、コンテンツ供給システムｅｘ１００は図１７のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【００７０】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【００７１】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【００７２】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００７３】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１８は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【００７４】
さらに、携帯電話ｅｘ１１５について図１９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【００７５】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【００７６】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００７７】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【００７８】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【００７９】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【００８０】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【００８１】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【００８２】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【００８３】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００８４】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２０に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。
【００８５】
また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【００８６】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００８７】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【００８８】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００８９】
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００９０】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【００９１】
【発明の効果】
以上、本発明の動画像符号化方法により、符号化装置に入力されたピクチャの順番を入れ替える処理を省くことでき、符号化処理による時間的な遅延を最小限に抑えることができる。さらに、符号化の処理量を削減でき、符号化装置への負荷を下げることができる。
【００９２】
また、本発明の動画像復号化方法により、復号化されたピクチャを表示するための順番に入れ替える処理を省くことができ、復号化処理による時間的な遅延を最小限に抑えることができる。さらに、復号化の処理量を削減でき、復号化装置への負荷を下げることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による符号化の動作を説明するためのブロック図である。
【図２】本発明の実施の形態２による復号化の動作を説明するためのブロック図である。
【図３】予測方向制限識別信号をヘッダ領域に付加する方法を説明するための模式図である。
【図４】予測方向制限識別番号と使用可能ピクチャの対応関係を示すための図である。
【図５】従来例のピクチャの参照関係を説明するための模式図である。
【図６】ピクチャの並び替えを説明するための模式図である。
【図７】前方のみに制限された場合の従来の参照関係を説明するための模式図である。
【図８】前方のみに制限された場合の本発明の参照関係を説明するための模式図である。
【図９】符号化処理の流れの概要を説明するためのフローチャートである。
【図１０】復号化処理の流れの概要を説明するためのフローチャートである。
【図１１】予測の制限を行うことによる効果の比較を示すための模式図である。
【図１２】符号列生成部への出力手順を示す図である。
【図１３】復号化処理の流れの概要を説明するためのフローチャートである。
【図１４】予測方向制限識別信号と使用可能ピクチャの対応関係を示すための図である。
【図１５】予測方向制限識別信号が設定されたピクチャ共通情報領域を示す図である。
【図１６】本発明の実施の形態４におけるデータ記録媒体について説明するための模式図である。
【図１７】本発明に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１８】本発明に係る携帯電話の一例を示す図である。
【図１９】同携帯電話の構成を示すブロック図である。
【図２０】本発明に係るディジタル放送用システムの構成を示す図である。
【符号の説明】
１０１　フレームメモリ
１０２　予測誤差符号化部
１０３　符号列生成部
１０４　予測残差復号化部
１０５　フレームメモリ
１０６　動きベクトル検出部
１０７　動き補償符号化部
１０８　動きベクトル記憶部
１０９　予測方向制限指示部
２０１　符号列解析部
２０２　予測残差復号化部
２０３　フレームメモリ
２０４　動き補償復号部
２０５　動きベクトル記憶部
２０６　予測方向制限指示部
Ｓｅ　　セクタ
Ｔｒ　　トラック
ＦＤ　　フレキシブルディスク
Ｆ　　　フレキシブルディスクケース
Ｃｓ　　コンピュータ・システム
ＦＤＤ　フレキシブルディスクドライブ

Claims (18)

1. ピクチャ内予測符号化により符号化されたＩピクチャと、表示順で前方向または後方向にあるピクチャを参照するピクチャ間予測符号化により符号化されたピクチャ間予測符号化ピクチャとから構成可能なデータストリームであって、
   前記データストリームはシーケンスデータと識別信号とを有し、
   前記シーケンスデータは、前記前方向にあるピクチャのみを参照して符号化されたピクチャ間予測符号化ピクチャと前記Ｉピクチャとの組み合わせにより構成され、
   前記識別信号は、前記後方向にあるピクチャを参照して符号化されたピクチャが前記シーケンスデータに含まれていない場合に、前記データストリームの復号化において前記符号化されたピクチャの並び替えが不要であることを示す
   ことを特徴とするデータストリーム。
2. 前記データストリームは、前方予測Ｂピクチャと後方予測ＢピクチャとＰピクチャと前記Ｉピクチャとから構成可能であり、
   前記前方予測Ｂピクチャは前記前方向にあるピクチャの中からブロックごとに２枚まで参照することを可能とするピクチャ間予測符号化により符号化されたピクチャであり、
   前記後方予測Ｂピクチャは、前記後方向にあるピクチャが少なくとも１枚含まれるピクチャの中からブロックごとに２枚まで参照することを可能とするピクチャ間予測符号化により符号化されたピクチャであり、
   前記Ｐピクチャは、前記前方向にあるピクチャの中からブロックごとに１枚ずつ参照してピクチャ間予測符号化されたピクチャであり、
   前記シーケンスデータは、前記前方予測Ｂピクチャと、前記Ｉピクチャと、前記Ｐピクチャとからなる組み合わせにより構成される
   ことを特徴とする請求項１記載のデータストリーム。
3. 前記シーケンスデータは、さらに、前記後方予測Ｂピクチャを組み合わせて構成され、
   前記識別信号は、前記後方予測Ｂピクチャがシーケンスデータに含まれる場合に、前記並び替えが必要であることを示す
   ことを特徴とする請求項２記載のデータストリーム。
4. 前記データストリームは、前方予測Ｐピクチャと後方予測Ｐピクチャと前記Ｉピクチャとから構成可能であり、
   前記前方予測Ｐピクチャは、前記前方向にあるピクチャの中からブロックごとに１枚ずつ参照してピクチャ間予測符号化されたピクチャであり、
   前記後方予測Ｐピクチャは、前記後方向にあるピクチャが少なくとも１枚含まれるピクチャの中からブロックごとに１枚ずつ参照してピクチャ間予測符号化されたピクチャであり、
   前記シーケンスデータは、前記前方予測Ｐピクチャと前記Ｉピクチャとからなる組み合わせにより構成される
   ことを特徴とする請求項１記載のデータストリーム。
5. 前記シーケンスデータは、さらに、後方予測Ｐピクチャを組み合わせて構成され、
   前記識別信号は、前記後方予測Ｐピクチャがシーケンスデータに含まれる場合に、前記並び替えが必要であることを示す
   ことを特徴とする請求項４記載のデータストリーム。
6. 前記識別信号は、前記識別信号は、ピクチャが復号化されてから表示されるまでの時間を示すデータであり、当該時間を０に設定することにより前記並び替えが不要であることを示す
   ことを特徴とする請求項１から５の何れかに記載のデータストリーム。
7. 前記識別信号は、前記並び替えによるピクチャの復号順位と表示順位との最大の差分を示すデータであり、当該差分を０に設定することにより前記並び替えが不要であることを示す
   ことを特徴とする請求項１から５の何れかに記載のデータストリーム。
8. 請求項１から７の何れかに記載のデータストリームを記録したコンピュータ読み取り可能なデータ記録媒体。
9. ピクチャ内予測符号化により符号化されるＩピクチャと、符号化対象のピクチャより表示順で前方向または後方向にあるピクチャを参照するピクチャ間予測符号化により符号化されるピクチャ間予測符号化ピクチャとを用いてピクチャを符号化する符号化方法であって、
   前記Ｉピクチャと前記ピクチャ間予測符号化ピクチャのうち前記前方向にあるピクチャのみを参照して予測符号化を行うピクチャとの組み合わせからなるピクチャを用いて符号化することを示す命令を受けるステップと、
   前記命令を受けたとき、ピクチャの並び替えが不要であることを示す識別信号を出力するステップと、
   前記組み合わせからなるピクチャを並び替えを行わずに表示順で前記識別信号と共に符号化するステップとを有することを特徴とする符号化方法。
10. 前記ピクチャ間予測符号化ピクチャには、前記前方向にあるピクチャの中からブロックごとに２枚まで参照することを可能とするピクチャ間予測符号化により符号化される前方予測Ｂピクチャと、前記後方向にあるピクチャが少なくとも１枚含まれるピクチャの中からブロックごとに２枚まで参照することを可能とするピクチャ間予測符号化により符号化される後方予測Ｂピクチャと、前記前方向にあるピクチャの中からブロックごとに１枚ずつ参照して符号化されるＰピクチャとを含み、
    前記命令は、前記前方予測Ｂピクチャと前記Ｉピクチャと前記Ｐピクチャとの組み合わせからなるピクチャを用いて符号化することを示す
    ことを特徴とする請求項９記載の符号化方法。
11. 前記ピクチャ間予測符号化ピクチャは、前記前方向にあるピクチャの中からブロックごとに１枚ずつ参照するピクチャ間予測符号化により符号化される前方予測Ｐピクチャと、前記後方向にあるピクチャが少なくとも１枚含まれるピクチャの中からブロックごとに１枚ずつ参照するピクチャ間予測符号化により符号化される後方予測Ｐピクチャとを含み、
    前記命令は、前記前方予測Ｐピクチャと前記Ｉピクチャとの組み合わせからなるピクチャを用いて符号化することを示す
    ことを特徴とする請求項９記載の復号化方法。
12. 前記識別信号は、ピクチャが復号化されてから表示されるまでの時間を示すデータであり、当該遅間を０に設定することにより前記並び替えが不要であることを示す
    ことを特徴とする請求項９、１０又は１１記載の符号化方法。
13. 前記識別信号は、前記並び替えによるピクチャの復号順位と表示順位との最大の差分を示すデータであり、当該差分を０に設定することにより前記並び替えが不要であることを示す
    ことを特徴とする請求項９、１０又は１１記載の符号化方法。
14. ピクチャ内予測符号化により符号化されたＩピクチャと、表示順で前方向または後方向にあるピクチャを参照するピクチャ間予測符号化により符号化されたピクチャ間予測符号化ピクチャとを復号化する復号化方法であって、
    ピクチャの並び替えが不要であることを示す識別信号と表示順で符号化されたシーケンスデータとを受信するステップと、
    前記識別信号に従って、受信した順番で前記シーケンスデータを復号化するステップと
    復号化された順番で表示のために前記復号化されたピクチャを出力するステップと
    を有することを特徴とする復号化方法。
15. ピクチャ内予測符号化により符号化されたＩピクチャと、表示順で前方向または後方向にあるピクチャを参照するピクチャ間予測符号化により符号化されたピクチャ間予測符号化ピクチャとを復号化する復号化方法であって、
    ピクチャの並び替えが必要か不要かを示す識別信号とシーケンスデータとを受信するステップと、
    前記識別信号が、ピクチャの並び替えが必要であることを示すか、ピクチャの並び替えが不要であることを示すかを判断するステップと、
    ピクチャの並び替えが不要であることを示す識別信号であると判断されたとき、受信した順番で前記ピクチャの信号を復号化して出力し、ピクチャの並び替えが必要であることを示す識別信号であると判断されたとき、受信した前記ピクチャの信号を復号化し、ピクチャの表示される順に前記ピクチャを並び替えて出力するステップと
    を有することを特徴とする復号化方法。
16. 前記識別信号は、ピクチャが復号化されてから表示されるまでの時間を示すデータであり、当該時間を０に設定することにより前記並び替えが不要であることを示す
    ことを特徴とする請求項１４又は１５記載の復号化方法。
17. 前記識別信号は、前記並び替えによるピクチャの復号順位と表示順位との最大の差分を示すデータであり、当該差分を０に設定することにより前記並び替えが不要であることを示す
    ことを特徴とする請求項１４又は１５記載の復号化方法。
18. 請求項９から１３の何れかに記載の符号化方法または請求項１４から１７の何れかに記載の復号化方法をコンピュータに実行させることを特徴とするプログラム。

Images