JP4612721B2 - 復号化器及びビットストリーム復号化方法 - Google Patents

Description

本発明は、符号化器及び復号化器（Encoder and decoder）に関するもので、特に、ビットストリームを符号化（encoding）するときに用いられた規格に関係なく、ビットストリームを復号化可能にするための符号化器及び復号化器に関する。

一般的に動画像は符号化器でビットストリーム（Bit-stream）の形態に変換される。このとき、ビットストリームは符号化器の制約条件を満足する符号化の類型に応じて格納される。

ＭＰＥＧはビットストリームの制約条件として、シンタックス（syntax）、セマンティックス（semantics）、シンタックスの順序を要求する。

シンタックスは、データの構造や形式及び長さを示し、データがどんな順序で表現されるかを示す。すなわち、シンタックスは符号化（encoding）／復号化（decoding）作業のために文法を合わせるためのものであって、ビットストリームに含まれている各要素（elements）の順序、各要素の長さ、及びデータ形式などを定義する。

セマンティックスはデータを構成する各ビットの意味を示す。すなわち、セマンティックスはビットストリーム内の各要素の意味を示す。

したがって、符号化器の符号化条件または適用された規格（またはコーデック）に応じて、多様な形態のビットストリームが生成できる。一般的に各規格（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなど）は、各々異なるビットストリーム・シンタックスを有する。

したがって、各規格や符号化条件に応じて、符号化されたビットストリームは、それぞれ異なる形式（すなわち、シンテックス、セマンティックス）を有していると言え、当該ビットストリームの復号化のためには符号化器に対応する復号化器を使用しなくてはならない。

上述したように、従来のビットストリーム復号化器は符号化器の制約条件を満足しなくてはならなく、このような制限は複数の規格に対応する統合復号化器の実現を難しくする原因となる。

したがって、上述した問題点を解決するために、本発明の目的は、各規格（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなど）に応じて多様な形式（シンテックス、セマンティックス）で符号化されたビットストリームを同一の情報認識方式により復号化できるビットストリーム符号化／復号化方法及び装置を提供することにある。

本発明の他の目的は、符号化のときにシンタックスの操作を行ったかどうかにかかわらず、正常な復号化が行われるビットストリーム符号化／復号化方法及び装置を提供することにある。

本発明のまた他の目的は、セマンティックスの類似性を基準にして多様な規格のシンタックス構造を統合管理することができるビットストリーム符号化／復号化方法及び装置を提供することにある。

本発明のまた他の目的は、多様な形態のビットストリームを統合コーデック及び／または一般コーデック内で復号化することができるように、ビットストリーム・シンタックスを容易に解析できる復号化装置及びビットストリーム復号化のためのシンタックス解析方法を提供することにある。

本発明のまた他の目的は、多様な形態のビットストリームを復号化するためのシンタックス解析方法を共通に適用できる復号化装置及びビットストリーム復号化のためのシンタックス解析方法を提供することにある。

本発明のまた他の目的は、解析されたシンタックスの要素情報（element information、すなわち、シンタックス要素（syntax element）の解析から生成された情報）がビットストリーム復号化に用いられる構成要素にも共有できるようにする復号化装置及びビットストリーム復号化のためのシンタックス解析方法を提供することにある。

本発明のまた他の目的は、解析されたシンタックスの要素情報（すなわち、シンタックス要素の解析から生成された情報）を後続のビットストリーム・シンタックス要素の解析にも利用できる復号化装置及びビットストリーム復号化のためのシンタックス解析方法を提供することにある。

また、本発明のまた他の目的は、ビットストリーム復号化の統合に関する概念及び構造に関する国際標準化にあり、その他の本発明の目的は以下に記載された実施例によりさらに明確になるだろう。

本発明のある観点によれば、入力されたビットストリーム内の各ビットに対応する各シンタックス要素間の階層構造を示すシンタックス・ツリー情報、及び、各シンタックス要素間の連結関係を示す規則記述情報（rule description）を用いて認識情報を生成する条件情報抽出部であって、前記シンタックス要素はグループ要素及び情報要素を含んでいる条件情報抽出部と、前記認識情報を用いて前記ビットストリームに含まれているデータを動画像データに復号化する復号化処理部と、を含む復号化装置が提供される。

前記シンタックス階層情報は複数のグループ要素（group element）及び複数の情報要素（information element）間の階層的従属関係を示し、前記認識情報は、前記ビットストリーム内の各ビットに対応するシンタックス情報及び各シンタックス情報に対応するセマンティックスを含むことができる。ここで、前記シンタックス情報はシンタックス順序（syntax order）、シンタックス長さ（syntax length）及びシンタックスデータ形式（syntax data type）の中の少なくとも何れか一つを含むことができる。

前記規則記述情報により表現される連結関係は、前記グループ要素及び前記情報要素間の連結情報（connectivity）及び分岐情報（branch）を含むことができる。ここで、前記分岐情報は予め指定されている条件を満足するか否かにより任意の現在情報要素に連結される情報要素を変動させる。

前記復号化器は、前記規則記述情報及び前記ビットストリームを各々独立的に受信するか、前記規則記述情報及び前記ビットストリームが一つのデータで統合された拡張ビットストリーム（universal bit-stream）を受信することができる。

前記復号化器は、前記シンタックス階層情報、前記ビットストリームを生成した符号化器に適用された規格情報の中の少なくとも何れか一つをさらに受信することができる。

前記シンタックス階層情報に含まれるシンタックス要素、各シンタックス要素間の階層関係、前記シンタックス要素に対応するセマンティックス（semantics）の中の少なくとも何れか一つは追加、削除、または更新されることができる。

本発明の別の観点によれば、入力される動画像を所定の規格に応じたビットストリームに符号化する符号化処理部と、前記ビットストリームに含まれている各ビットに該当するシンタックス要素（syntax element）に対応する規則情報を生成し、前記符号化処理部に提供する条件情報生成部であって、前記シンタックス要素は複数のグループ要素及び複数の情報要素を含み、前記規則情報は各グループ要素及び各情報要素間の連結関係を示す条件情報生成部と、を含む符号化器が提供される。ここで、前記符号化処理部は前記ビットストリームと前記規則情報とをそれぞれ独立的に復号化器に伝送するか、前記ビットストリーム及び前記規則情報を統合した拡張ビットストリームを生成して前記復号化器に伝送することができる。

前記条件情報生成部は前記シンタックス要素の階層的従属関係を示すシンタックス階層情報を格納し、前記シンタックス階層情報中、前記各ビットのシンタックス要素に対応する情報を用いて前記規則情報を生成することができる。

前記規則情報は前記グループ要素及び前記情報要素間の連結情報（connectivity）及び分岐情報（branch）を含むことができる。ここで、前記分岐情報は予め指定されている条件を満足するか否かにより任意の現在情報要素に連結される情報要素を変動させる。

前記拡張ビットストリームは前記規則情報、ヘッダ情報、及び圧縮データの順で構成されるか、またはヘッダ規則情報、前記ヘッダ情報、データ規則情報、及び前記圧縮データの順で構成されることができる。

前記規則情報は、前記拡張ビットストリームを生成した符号化器に適用された規格情報をさらに含むことができる。

前記シンタックス階層情報に含まれるシンタックス要素、各シンタックス要素間の階層関係、前記シンタックス要素に対応するセマンティックス（semantics）の中の少なくとも何れか一つは追加、削除、または更新されることができる。

本発明の別の観点によれば、ビットストリーム・シンタックス要素に対応する情報を格納する要素情報格納部と、入力されたビットストリームのヘッダ領域に含まれているビットストリーム・シンタックス要素の解析順序を、シンタックス規則情報を用いて特定し、特定されたシンタックス要素の順序に応じてシンタックス要素情報を用いて制御信号及び文脈情報（Control signal及びcontext information）を生成して前記要素情報格納部に格納するシンタックス解析部と、前記制御信号及び文脈情報を用いて前記ビットストリームに含まれているデータを動画像データに復号化する復号化処理部と、を含む復号化器が提供される。

前記シンタックス解析部は、ＣＳＣＩ（Control Signal and Context Information）情報を用いて前記制御信号及び文脈情報の意味及び対応する値を生成して前記要素情報格納部にさらに格納することができる。

前記シンタックス規則情報、前記シンタックス要素情報、及び前記ＣＳＣＩ情報は、バイナリコードで具現可能である。

前記シンタックス解析部は、前記要素情報格納部に格納された前記制御信号及び文脈情報から適切な制御信号及び文脈情報を読み出して現在のシンタックス要素の解析を行う。

上述した目的を達成するために本発明の他の実施形態によれば、ビットストリームの符号化／復号化方法が提供される。

本発明の別の観点によれば、復号化器でビットストリームを復号化する方法において、ビットストリームが入力されるステップと、ビットストリーム内の各シンタックス要素間の階層構造を示すシンタックス階層情報及び各シンタックス要素間の連結関係を示す規則記述情報を用いて認識情報を生成するステップであって、前記シンタックス要素はグループ要素及び情報要素を含むステップと、前記認識情報を用いて前記ビットストリームに含まれているデータを動画像データに復号化するステップと、を含むビットストリーム復号化方法が提供される。

前記シンタックス階層情報は複数のグループ要素及び複数の情報要素間の階層的従属関係を示し、前記認識情報は前記ビットストリーム内の各ビットに対応するシンタックス情報及び各シンタックス情報に対応するセマンティックスを含むことができる。ここで、前記シンタックス情報はシンタックス順序、シンタックス長さ、及びシンタックスデータ形式の中の少なくとも何れか一つを含むことができる。

前記規則記述情報により表現される連結関係は前記グループ要素及び前記情報要素間の連結情報及び分岐情報を含むことができる。ここで、前記分岐情報は予め指定されている条件を満足するか否かにより任意の現在情報要素に連結される情報要素を変動させる。

前記復号化器は、前記規則記述情報及び前記ビットストリームを各々独立的に受信するか、または前記規則記述情報及び前記ビットストリームが一つのデータで統合された拡張ビットストリームを受信することができる。

本発明の別の観点によれば、符号化器におけるビットストリーム生成方法において、任意の動画像を所定の規格に応じたビットストリームに符号化するステップと、前記ビットストリームに含まれている各ビットに該当するシンタックス要素に対応する規則情報を生成するステップであって、前記シンタックス要素は複数のグループ要素及び複数の情報要素を含み、前記規則情報は各グループ要素及び各情報要素間の連結関係を示すステップと、前記ビットストリーム及び前記規則情報を通信網を介して復号化器に伝送するステップと、を含むビットストリーム生成方法が提供される。

前記伝送するステップは、前記ビットストリーム及び前記規則情報を統合した拡張ビットストリームを生成するステップと、前記拡張ビットストリームを通信網を介して前記復号化器に伝送するステップと、を含むことができる。

前記拡張ビットストリームは、前記規則情報、ヘッダ情報、及び圧縮データの順で構成されるか、またはヘッダ規則情報、前記ヘッダ情報、データ規則情報、及び前記圧縮データの順で構成されることができる。

上述した目的、特徴及び長所を添付の図面に基づいて、詳しく説明する。

本発明は多様な変換を加えることができ、様々な実施例を有することができるため、特定実施例を図面に例示し、詳細に説明する。しかし、これは本発明を特定の実施形態に限定するものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物及び代替物を含むものとして理解されるべきである。各図面には類似した参照符号を類似している構成要素に使用した。本発明を説明するに当たって、係る公知技術に対する具体的な説明が本発明の要旨をかえって不明にすると判断される場合、その詳細な説明を省略する。

「第１」、「第２」などの用語は、多様な構成要素の説明に用いることに過ぎなく、前記構成要素が前記用語により限定されるものではない。前記用語は一つの構成要素を他の構成要素から区別する目的だけに用いられる。例えば、本発明の権利範囲内における第１構成要素は第２構成要素であると命名されることができ、同様に第２構成要素も第１構成要素であると命名されることができる。「及び」／「または」という用語は、複数の関連のある記載項目の組合または複数の関連のある記載項目のうち何れかの項目を含む。

ある構成要素が他の構成要素に「連結」あるいは「接続」されていると記載された時には、その他の構成要素に直接的に連結されているか、または接続されていることができ、中間に他の構成要素が存在することもできると理解しなければならない。反面、ある構成要素が他の構成要素に「直接連結」あるいは「直接接続」されていると記載された時には、中間に他の構成要素が存在しないと理解しなければならない。

本願で用いた用語は、ただ特定の実施例を説明するために用いたものであって、本発明を限定するものではない。単数の表現は、文の中で明らかに表現しない限り、複数の表現を含む。本願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在を指定するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除するものではないと理解しなければならない。

その他、定義しない限り、技術的または科学的な用語を含んで、ここで用いられる全ての用語は、本発明が属する技術分野で通常の知識を有する者であれば一般的に理解される用語と同一の意味を有する。一般的に用いられる予め定義しているような用語は、関連技術の文脈上の意味と一致する意味を有すると解釈すべきで、本出願で明らかに定義しない限り、理想的または過度に形式的な意味として解釈しない。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

一般的な復号化器及び符号化器
図１は、一般的な復号化器の構成を概略的に示す図面であり、図２は、一般的な符号化器の構成を概略的に示す図面である。

図１に示すように、一般的にＭＰＥＧ−４復号化器１００は、可変長復号化部（Variable Length Decoding）１１０、逆スキャン部（Inverse Scan）１１５、逆ＤＣ／ＡＣ予測部（Inverse DC/AC Prediction）１２０、逆量子化部（Inverse Quantization）１２５、逆ＤＣＴ部（Inverse Discrete Cosine Transform、逆離散余弦部）１３０、動画像復元部（VOP Reconstruction）１３５を含む。復号化器１００の構成は適用される規格に応じて異なり得ることは自明であり、また、一部の構成要素を他の構成要素に代替することも可能である。

伝達されたビットストリームがシンタックス・パーシング（parsing）され、ヘッダを除いた画像データが抽出されると、可変長復号化部１１０はハフマンテーブルを用いて量子化したＤＣＴ係数を作り、逆スキャン部１１５は逆スキャンを行って動画像と同一の順序のデータを生成する。すなわち、逆スキャン部１１５は、符号化したときの様々な方法でスキャンされた順序の逆順で、値を出力する。符号化するとき、量子化を行った後に周波数帯域値の分布によりスキャン方向が定義されることができる。一般的には、ジグザグのスキャン方法が用いられるが、コーデック別に様々な種類のスキャン方法がある。

シンタックス・パーシングは、可変長復号化部１１０で統合的に行われるか、または可変長復号化部１１０に先行してビットストリームを処理する任意の構成要素にて行われることができる。この場合、シンタックス・パーシングは、符号化器と復号化器とに適用される規格が同じであるため、当該規格に対応するように予め指定されている基準によってのみ処理される。

逆ＤＣ／ＡＣ予測部１２０は、周波数帯域でＤＣＴ係数の大きさを用いて予測のための参照ブロックの方向性を決める。

逆量子化部１２５は、逆スキャンされたデータを逆量子化する。すなわち、符号化時に指定された量子化値（ＱＰ：Quantization Parameter）を用いてＤＣとＡＣ係数を還元する。

逆ＤＣＴ部１３０は、逆離散余弦変換を行い実際動画像ピクセル値を求めてＶＯＰ（Video Object Plane）を生成する。動画像復元部１３５は、逆ＤＣＴ部から生成されたＶＯＰを用いて動画像信号を復元して出力する。

図２に示すように、一般的にＭＰＥＧ−４符号化器２００は、ＤＣＴ部２１０、量子化部２１５、ＤＣ／ＡＣ予測部２２０、スキャン部２３０、可変長符号化部２３５を含む。
符号化器２００に含まれている各構成要素は、それぞれ対応するように復号化器１００に含まれている構成要素の逆機能を行い、これは当業者にとって自明なことである。簡単に説明すれば、符号化器２００は動画像信号（すなわち、デジタル画像ピクセル値）を離散余弦変換、量子化などを通して周波数値に変換して符号化を行い、これを情報の頻度数に応じてビット長さを差別化する可変長符号化を行って圧縮ビットストリーム状態で出力する。

本発明の一実施例に係る復号化器
図３は、本発明の好ましい一実施例に係る復号化器の構成を概略的に示す図面であり、図４は、本発明の好ましい一実施例に係るシンタックス・ツリーを例示する図面であり、図５は、本発明の好ましい一実施例に係るグループ要素の規則をグラフ形態で示す図面である。

図３に示すように、本発明に係る復号化器３００は、従来の復号化器１００（以下、「復号化処理部」と称する）に比して条件情報抽出部３１０をさらに含むことができる。図示された復号化処理部１００の構成は、単に例示として提示したものに過ぎず、その構成は入力されたビットストリームを動画像に復元するための構成であればよく、適用される規格などに応じて異なって構成することも可能である。

条件情報抽出部３１０は、図３に示すように、可変長復号化部１１０に従属するように結合されたり、可変長復号化部１１０に挿入されたり、または可変長復号化部１１０の前段に設置されたりすることが可能である。例えば、条件情報抽出部３１０はＦＳＭ（Finite State Machine）で具現可能である。本明細書で可変長復号化部１１０は、復号化器３００内でビットストリームのパーシングを行う任意の構成要素（例えば、パーシング処理部）をいうだけであって、これに限定されることではなく、また、これにより本発明の権利範囲が制限されることでもない。

条件情報抽出部３１０は、拡張ビットストリームから抽出された規則情報及び予め格納されたシンタックス・ツリーを用いてシンタックス情報（すなわち、シンタックス順序、シンタックス長さ、シンタックスデータ形式など）及び、各シンタックス情報に対応するセマンティックスを認識して可変長復号化部１１０に提供する。拡張ビットストリームは、従来の符号化器２００で生成されるビットストリームと規則情報とが含まれるように、本発明に係る符号化器６００（図６参照）で生成される。勿論、本発明に係る符号化器６００で、規則情報が独立した電子ファイル（またはデータ）に生成されて復号化器３００に提供されれば、ビットストリームは一般的なヘッダ情報及び圧縮データだけを有する従来のビットストリーム形式で符号化されることもできることは明らかである。しかし、本明細書では本発明に係る符号化器６００が規則情報とビットストリームとを用いて一つの拡張ビットストリームを生成し、復号化器３００は拡張ビットストリームに含まれている規則情報を用いてビットストリームに含まれている圧縮データを復号化する場合を中心に説明する。

規則情報は、従来のビットストリームの任意の領域に挿入されるか、付加されて拡張ビットストリームを構成する。より好ましくは、規則情報が従来のビットストリームのヘッダ情報の前段に備えられることである。規則情報は、符号化器６００のビットストリームの生成の際に適用した規格情報（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなど）、予め指定した形式（例えば、テキスト形式またはバイナリコード形式）の規則記述情報（図５及び表２参照）などを含むことができる。

条件情報抽出部３１０が、図３のように、可変長復号化部１１０に従属的に設置されている場合、可変長復号化部１１０は受信された拡張ビットストリームから規則情報を抽出して条件情報抽出部３１０に提供する。続いて、条件情報抽出部３１０から認識情報（すなわち、シンタックス情報、セマンティックス）が受信されると、認識情報に対応するようにパーシング処理を行う。これは、可変長復号化部１１０が条件情報抽出部３１０を含む場合にも類似に適用される。

しかし、条件情報抽出部３１０が可変長復号化部１１０の前段に位置する場合、条件情報抽出部３１０は拡張ビットストリームから規則情報を抽出して認識情報を生成し、認識情報とビットストリームとを可変長復号化部１１０に提供することができる。
また、条件情報抽出部３１０は可変長復号化部１１０と並列に設置されるなど多様な形態で構成されることもでき、その他にも可変長復号化部１１０が条件情報抽出部３１０から認識情報の提供を受けることができる構造であれば何ら制限なしに同様に適用できる。
本発明に係る条件情報抽出部３１０を具体的に説明すれば、次の通りである。
条件情報抽出部３１０は、条件情報格納部（図示せず）及び認識部（図示せず）を含むことができる。

格納部は予め指定された構造のシンタックス・ツリーを格納する。シンタックス・ツリーは、図４に示すように、各階層を意味するグループ要素と該当グループを構成する情報要素とで構成される。ＭＰＥＧ−４の場合、グループ要素としてはＶＳ（Visual Session）、ＶＯ（Visual Object）、ＶＯＬ（Video Object Layer）、ＶＯＰ（Video Object Plane）、ＭＢ（Macro Block）、Ｂ（Block）などがある。情報要素としては「visual_object_sequence_start_code」、「user_data」などがある。情報要素には、ビットストリーム内で該当情報要素に対応するビット数、実際内容（syntax value、以下シンタックス・バリューとも言う）、セマンティックスなどの情報が記録される。グループ要素と情報要素とは、各々対応するインデックスにより区分されることができ、インデックスは拡張ビットストリーム内で区分子として利用できる。また、一つのグループ要素内に含まれる情報要素は階層的インデックス（hierarchical
index）により区分されるようにすることができる。

シンタックス・ツリーは、各規格で用いられるシンタックス要素（すなわち、グループ要素及び／または情報要素）の類似点及び相違点を考慮して生成されることができる。例えば、ＭＰＥＧ−２のsequence_header_code elementはＭＰＥＧ−４のvisual_object_start_codeと同じく、動画像が始まる部分を意味するコードである。したがって、両者は異なる規格であっても一つの情報要素と看做されることができる。しかし、各規格間に異なるコードは個別的に管理することができる。すなわち、拡張ビットストリームの符号化／復号化のために用いられるシンタックス・ツリーは、各規格（例えば、ＭＰＥＧ−１／２／４／ＡＶＣなど）のシンタックス要素の和集合の形態とも言える。

ただし、各規格別に用いられるシンタックス要素間の意味が類似していて一つの情報要素と看做されても、各規格別に異なる特徴を有する場合には個別的に管理することが好ましい。例えば、各規格別にビットストリーム内のビット数とシンタックス・バリュー、そして内容のセマンティックス情報などはそれぞれ異なり得る。

シンタックス・ツリーに含まれる各要素に対する詳細情報は下記表１のようである。ただし、表１は、ＭＰＥＧ−４ intra-only符号化／復号化時の必要要素だけを対象としたものであって、他の規格（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ＡＶＣなど）に係る要素が附加的に含まれることもできることは自明である。

表１に示すように、シンタックス・ツリーに含まれている各要素は拡張ビットストリーム内の区分子のインデックスに対応され、また、各要素は各グループ内の区分子の階層的インデックス、ビットストリーム内のビット数、シンタックス・バリュー及び内容のセマンティックスに対応できる。

上述した拡張ビットストリームは、各規格による符号化器６００から個別的に生成されることもできる。したがって、各符号化器も拡張ビットストリームに含まれる規則情報を生成するためにシンタックス・ツリーを有することができる。この場合、当該シンタックス・ツリーは適用可能なあらゆる規格のシンタックス要素を含むことができる。勿論、各符号化器６００は適用された一つの規格だけに対するシンタックス・ツリーを有することでたり得て、他の規格に対するシンタックス要素は省略可能である。

シンタックス・ツリーに含まれているシンタックス要素、シンタックス要素間の階層関係、シンタックス要素に対応するセマンティックス等は規格の変動、追加などの原因（例えば、規格化過程）により追加、修正、または削除できることは自明である。

条件情報抽出部３１０の認識部は、拡張ビットストリームから抽出したか、またはパーシング処理部（例えば、可変長復号化部１１０）から提供された規則情報（または規則記述情報）及び格納部に格納されたシンタックス・ツリーを用いて認識情報を生成し、パーシング処理部に伝達する。認識情報はシンタックス情報（すなわち、シンタックス順序、シンタックス長さ、データ形式など）及び各シンタックス情報に対応するセマンティックスを含む。

一般的に任意の規格（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなど）に係る符号化器６００で生成されたビットストリームは、当該規格から必要とされる情報だけをビットストリーム内に含む。したがって、当該規格に対応する復号化器のみでビットストリームを動画像に復元できるという限界を有する。しかし、本発明に係る符号化器６００は該当規格から必要とされる情報を予め格納されているシンタックス・ツリーから抽出して生成された規則情報を含ませて拡張ビットストリームを生成する。拡張ビットストリームに含まれている規則情報を用いる本発明に係る復号化器３００は、符号化器に適用された規格に関係なく、当該ビットストリームを動画像に復元することができる。

規則記述情報は、各シンタックス要素に対応するように設定されたシンタックス・ツリー内のインデックスを用いて示したビットストリーム内の各要素の連結情報及び分岐情報を含む。連結情報とはグループ要素及び／または情報要素間の連続的な連結関係に関する情報であり、分岐情報とはある条件を満足するか否かによる情報要素間の非連続的な連結関係（例えば、情報要素の構成変更、グループ要素の変更など）に関する情報である。規則情報は、例えば、テキスト形式またはバイナリコード形式で拡張ビットストリーム内に含まれることができる。

図５にはグループ要素の規則がグラフ形態で示されている。これを文字化（texture description）して表すと表２のようになる。図５及び下記表２に示されている数字は前記表１のインデックスを示す。

図５に示すように、各グループ要素に含まれる各情報要素は予め指定された関係により配列される。すなわち、任意の規格に対応する規則情報は、ビットストリームの階層構造に基づいて階層的なグループ要素それぞれの規則情報を組み合わせて構成することができる。例えば、ＭＰＥＧ−４の場合、グループ要素はroot、ＶＳ、ＶＯ、ＶＯＬ、ＶＯＰ、ＭＢ、Ｂの順で並べることができる。ここでrootは、あらゆる規格に同じく使用され、始まる部分を示す。グループ要素ＶＳは、６→７→８→９→１→１０の情報要素の順でビットストリームを構成することができる。連結情報は、現在ノード、後続ノードの形態で表示され、常にＳ（start）ノードから始まり、各連結される情報要素を経由して最後のＥ（end）ノードで終わる。図５に示されているグループ要素ＶＳの規則を参照すると、二つの分岐が存在する。情報要素「７」を基準にして、条件に応じて情報要素「８」または情報要素「１」に分岐できる。また、情報要素「１」は情報要素「１」または情報要素「１０」に分岐できる。ここで、情報要素「１」は表１に示されているように、他のグループ要素（すなわち、ＶＯ）を示し、大部分のグループ要素は繰り返して行われるループ構造を有する。これは、例えば一つの動画像が複数枚のイメージが連続的に表現される特徴を有するからである。

下記の表２は、図５に示されているグラフ形態の規則を文字化して示したものである。すなわち、連結情報と分岐情報とが文字（ＴＤ：Texture description）で記録されている。拡張ビットストリーム内には予め指定されている形態（例えば、文字化した規則記述情報またはバイナリコード形式の規則記述情報）が任意の位置に含まれることができる。

上述のように、連結情報は常にＳ（start）ノードから始まり、各連結された情報要素を経由して最後のＥ（end）ノードで終わる。前記表２に示すように、グループ要素「ＶＳ」の規則は文字化して示すとき、情報要素「７」及び情報要素「１」に存在する分岐情報は、条件に該当する入力（input）部分と、入力条件に応じて分岐する目的地情報要素などとで記述されることができる。入力条件は連結情報の二つ以上の現在ノードが位置する情報要素（例えば、ＶＳの場合は（７，８）と（７，１）、（１，１）と（１，Ｅ）など）で満足するか否かが判断され、二つ以上の現在ノードが位置する情報要素の順に分岐情報が順次用いられる。例えば、情報要素「７」に対する分岐情報は「branch next bits（３２）＝＝user_data_start_code、case1（８）、case2（１）」であって、後続する３２ビットが「user_data_start_code」であれば情報要素「８」に分岐され、そうでなければ情報要素「１」に分岐される。同じく、情報要素「１」に対しては「branch VO loop、case1（１）、case２（Ｅ）」という分岐情報が用いられる。分岐情報に含まれるcase（）の数量は分岐する数と一致することができる。

上述した拡張ビットストリーム内の（またはビットストリームと独立的に受信された）規則情報（または規則記述情報）と予め格納されている（または拡張ビットストリーム内に含まれている）シンタックス・ツリーを用いて、認識部は認識情報（すなわち、シンタックス情報、すなわち、シンタックス順序、シンタックス長さ、データ形式など）及び各シンタックス情報に対応するセマンティックス）を生成することができ、生成された認識情報はパーシング処理部に提供され、ビットストリームのパーシングが行われるようにする。認識情報内にはビットストリームの生成の際に適用した規格情報（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなど）がさらに含まれることができる。本発明に係る復号化器３００が各規格によるビットストリームの復号のための構成要素を個別的または並列的に含んで構成された場合、認識情報に含まれている規格情報を用いて該当ビットストリームの復号化経路（すなわち、順次的な構成要素の選択経路）が決定されることもできる。

本発明の一実施例に係る符号化器
図６は、本発明の好ましい一実施例に係る符号化器の構成を概略的に示す図面である。

図６に示すように、本発明に係る符号化器６００は、従来の符号化器２００（以下、「符号化処理部」と称する）に比して条件情報生成部６１０をさらに含む。図示された符号化処理部２００の構成は、単に例示に過ぎず、その構成は入力された動画像をビットストリームにコーディングするための構成であればよく、適用される規格などに応じて異なるように構成することができる。

条件情報生成部６１０は、図６に示すように可変長符号化部２３５に従属されるように結合されたり、可変長符号化部２３５に挿入されたり、可変長符号化部２３５の後段に設置されたりすることが可能である。勿論、条件情報生成部６１０は、ビットストリームのヘッダ部分に対する規則情報の生成を符号化が始まる最前段に追加的に設置できることも自明なことである。例えば、条件情報生成部６１０は、ＦＳＭ（Finite State Machine）で具現可能である。本明細書で可変長符号化部２３５は、符号化器６００内でビットストリームを生成するために最終的に符号化を行う任意の構成要素（例えば、符号化部）をいうだけであって、これに限定されるものではなく、また、これにより本発明の権利範囲が制限されることでもない。

条件情報生成部６１０は、拡張ビットストリーム内の（または対応される）規則情報生成のためにシンタックス・ツリーを格納する格納部、シンタックス・ツリーを用いてビットストリームの生成の際に各ビットに対応する規則情報を生成する生成部を含む。規則情報は、シンタックス情報（すなわち、シンタックス順序、シンタックス長さ、データ形式など）及び、各シンタックス情報に対応するセマンティックスを含むことができる。また、規則情報は符号化器６００でビットストリーム生成のために適用された規格情報をさらに含むことができる。当該規則情報は、各符号化器６００に対応するように予め指定されている場合には別途に生成せず、予め指定されている規則情報が利用できることは自明である。

符号化部（例えば、可変長符号化部２３５）は、条件情報生成部６１０から提供された規則情報（及び規格情報）が一定領域に含まれている拡張ビットストリームを生成する。拡張ビットストリームは、例えば、規則情報、ヘッダ情報、データの順で構成されるか、ヘッダ規則情報、ヘッダ情報、データ規則情報、データの順で構成されることができる。上述したように、本発明に係る符号化器６００は規則情報を独立した電子ファイル（またはデータ）で管理することにより、ビットストリームを、一般的なヘッダ情報及び圧縮データだけを有する従来のビットストリーム形式で符号化できることは自明である。また、符号化部は、格納部に格納されたシンタックス・ツリーが拡張ビットストリーム内に挿入されるようにすることもできる。シンタックス・ツリーが拡張ビットストリーム内に挿入された場合、復号化器３００はシンタックス・ツリーを別途に備えなくても当該拡張ビットストリームを動画像に復元できるという効果がある。

符号化器６００で予め格納されているシンタックス・ツリーを用いてビットストリームの各ビットに対応する規則情報を生成する方法は、上述した復号化器３００のシンタックス・ツリーを用いた認識情報生成方法を通して当業者が容易に理解できるため、これに対する説明は省略する。

上述したように、本発明に係る拡張ビットストリーム符号化／復号化方法は一つの規格（またはコーデック）内で、または異なる規格（またはコーデック）間にシンタックス操作を容易とさせる。すなわち、特定規格により生成されるビットストリーム内のシンタックス順序を変更したり、新しいシンタックスを挿入したり、既存のシンタックスを削除したりすることができる。

しかし、従来技術によれば、このようなシンタックス操作の際に、復号化器では当該ビットストリームを正常に復号化できないという問題点があった。例えば、ビットストリーム情報がＡＢＣであったものをＡＣＢに順序を変更してビットストリームを構成し伝送すると、復号化器はこれを認識できないので正常な復号化が不可能である。また、新規でＦを挿入してＡＢＦＣで構成したり、Ｂを削除してＡＣでビットストリームを構成したりする場合にも同様である。

しかし、本発明に係る拡張ビットストリーム符号化／復号化方法及び装置を利用すれば、拡張ビットストリーム内に当該ビットストリームの規則情報が含まれていて、条件情報抽出部３１０がシンタックス・ツリーを用いて認識情報を生成することができ、認識情報を用いてビットストリームパーシングが行われるため上述した場合においても円滑な復号化が可能である。

本発明の他の実施例に係る復号化器及びシンタックス解析方法
図７は、本発明の好ましい他の実施例に係る復号化器の構成を概略的に示す図面であり、図８は、本発明の好ましい他の実施例に係るシンタックス解析部の構成を概略的に示す図面であり、図９は、本発明の好ましい他の実施例に係るシンタックス解析過程を例示する図面である。

図７に示すように、本発明に係る復号化器７００は従来の復号化器１００（以下、「復号化処理部」と称する）に比してシンタックス解析部７１０をさらに含むことができる。また、復号化器７００は要素情報格納部７２０をさらに含むことができる。

復号化器７００の構成は、単に例示に過ぎなく、その構成は入力されたビットストリームを動画像に復元するための構成であればよく、適用される規格などに応じて異なるように構成することができる。従来の復号化処理部１００もシンタックス・パーシングのための構成要素をさらに含むことができるが、両者間のシンタックス処理過程には多数の差異点が存在し、これは以下の説明を通して容易に理解できる。

シンタックス解析部７１０は、図７に示すように、可変長復号化部１１０に先行して設置されることができる。これは、可変長復号化部１１０がビットストリームのヘッダ領域に含まれている情報の特定長さ領域のデータを読み取りハフマン（Huffman）復号化を行ってセマンティック・データを生成する際に、シンタックス解析部７１０で解析／生成された要素情報を用いることができるからである。勿論、シンタックス解析部７１０が可変長復号化部１１０に挿入されるか、または可変長復号化部１１０と並列に結合されることができることは自明である。ただし、可変長復号化部１１０と並列に結合したシンタックス解析部７１０が要素情報を解析／生成して要素情報格納部７２０に格納するためには、可変長復号化部１１０が、入力されたビットストリーム（またはヘッダ領域の情報）をシンタックス解析部７１０に提供しなくてはならない。

シンタックス解析部７１０は、例えばＦＳＭ（Finite State Machine）で具現可能である。

シンタックス解析部７１０は拡張ビットストリームから抽出されたシンタックス規則情報、及び予め格納されたシンタックス要素テーブル、制御信号／文脈情報テーブルを用いて、各シンタックス要素に対応する要素情報（例えば、シンタックス要素の順序、シンタックス要素の長さ、シンタックス要素のデータ形式、各シンタックス要素の相互関係、各シンタックス要素を用いる他の構成要素の範囲など）を順次解析して要素情報格納部７２０に格納する。すなわち、要素情報には以下で説明するＳＥＴ出力値、ＣＳＣＩＴ出力値などが含まれることができる。

可変長復号化部１１０は、セマンティックスデータを生成するために要素情報格納部７２０に格納されている要素情報を用いることができる。
また他の方法として、シンタックス解析部７１０は解析した要素情報を可変長復号化部１１０に伝送し、必要により、当該要素情報をエントロピー復号化して要素情報格納部７２０に格納することもできる。

このように、要素情報格納部７２０に要素情報を格納する主体はシンタックス解析部７１０または可変長復号化部１１０であってもよく、これは設計または具現上の便宜のために指定することができる。勿論、要素情報格納の主体がシンタックス解析部７１０及び可変長復号化部１１０であってもよく、それぞれが格納する要素情報の類型を別に指定することもできることは明らかである。これは以下で同様である。

本明細書における拡張ビットストリームは、従来の符号化器２００で生成される一般的なビットストリーム以外に任意の領域にシンタックス規則テーブルをさらに含むビットストリームを意味する。シンタックス規則情報は、従来のビットストリームの任意の領域に挿入されたり、付加されたりして拡張ビットストリームを構成する。より好ましくは、規則情報が従来のビットストリームのヘッダ情報の前段に備えられることである。

拡張ビットストリームは、シンタックス規則テーブル以外にシンタックス要素テーブル、制御信号／文脈情報テーブルの中の少なくとも何れか一つをさらに含むこともできる。ただし、拡張ビットストリーム内にシンタックス要素テーブル、制御信号／文脈情報テーブルの中の少なくとも何れか一つが含まれていない場合、これらは復号化器７００またはシンタックス解析部７１０に予め備えられているべきである。

また、シンタックス規則テーブル、シンタックス要素テーブル、制御信号／文脈情報テーブルは、便宜のためにテーブル形態に説明したが、実際的には各情報を順次並んで表示することもできる。

例えば、シンタックス規則テーブル、シンタックス要素テーブル、制御信号／文脈情報テーブルは、バイナリコード形態で表示及び／または記述された任意の情報であることができる。したがって、当該情報の表現が簡略になることができ、シンタックス要素テーブルの処理内容（Process−表４参照）の表現が簡単になるだけでなく、具現及びコンパイルも簡単になることができる。また、一つのシンタックス・パーシング関数で多様な規格のビットストリーム・シンタックス・パーシングが可能であるという特徴がある。

本発明に係る復号化器７００は、符号化器から拡張ビットストリームを受信し、拡張ビットストリーム内に含まれている動画像データを復号化することもできるが、符号化器からビットストリームだけを受信することもできる。この場合、復号化器７００は別途のデータまたは電子ファイルの形態で符号化器からシンタックス規則情報（及びシンタックス要素テーブル、制御信号／文脈情報テーブルの中の少なくとも何れか一つをさらに含む）を受信しなければならない。

ただし、本明細書では本発明に係る符号化器１０００がシンタックス規則情報とビットストリームとを用いて一つの拡張ビットストリームを生成し、復号化器７００が拡張ビットストリームに含まれている規則情報を用いてビットストリームに含まれている圧縮データを復号化する場合を中心に説明する。

シンタックス解析部７１０が、図７に示すように、可変長復号化部１１０の前段に設置された場合、可変長復号化部１１０は入力されたビットストリームを要素情報格納部７２０に格納されている要素情報を用いてセマンティックスデータを生成することができる。可変長復号化部１１０がシンタックス解析部７１０から受信した要素情報を必要とする場合、エントロピー復号化して要素情報格納部７２０に格納することもできることは上述した通りである。

図８にはシンタックス解析部７１０の構成が概略的に例示されている。

図８に示すように、シンタックス解析部７１０は解析実行部８１０を含み、解析実行部８１０はシンタックス要素テーブル８２０、ＣＳ（制御情報）ＣＩ（文脈情報）テーブル８３０、シンタックス規則テーブル８４０を用いてビットストリームのヘッダ領域に含まれているシンタックス要素を解析し、要素情報を抽出または生成して要素情報格納部７２０に格納する。上述したように、解析実行部８１０は抽出または生成した要素情報（例えば、解析された値）を可変長復号化部１１０に伝送し、可変長復号化部１１０は受信した要素情報をセマンティック・データに変換して要素情報格納部７２０に格納することもできることは自明である。

シンタックス要素テーブル８２０、ＣＳ（制御情報）ＣＩ（文脈情報）テーブル８３０は、シンタックス解析部７１０内に備えられることができる。例えば、シンタックス解析部７１０がプログラムコードの組み合わせで具現される場合、シンタックス要素テーブル８２０及びＣＳ（制御情報）ＣＩ（文脈情報）テーブル８３０に対応する情報が共に含まれるように具現可能である。

または、シンタックス要素テーブル８２０、ＣＳ（制御情報）ＣＩ（文脈情報）テーブル８３０は、別途の格納部に格納された状態で解析実行部８１０のシンタックス解析の際に参照可能である。

同じく、拡張ビットストリームに含まれているか、または別途のデータで受信されたシンタックス規則テーブル８４０は、シンタックス解析部７１０の動作のためにシンタックス解析部７１０内に挿入されるか、または別途の格納部に格納されて参照可能である。
要素情報格納部７２０に格納されている要素情報は、後続するビットストリーム・シンタックスを解析する場合及び／またはビットストリームの復号化のために動作する各構成要素により参照可能である。

要素情報格納部７２０に格納される要素情報には、シンタックス要素テーブル８２０、ＣＳＣＩテーブル８３０、シンタックス規則テーブル８４０を用いて解析された要素の名前と実際該当する値が含まれることができる。

シンタックス要素解析のとき、シンタックス要素テーブル８２０、ＣＳＣＩテーブル８３０、シンタックス規則テーブル８４０から提供できる要素情報としては、例えばシンタックス要素の順序、シンタックス要素の長さ、シンタックス要素のデータ形式、各シンタックス要素の相互関係、各シンタックス要素を用いる他の構成要素の範囲などがある。
以下、解析実行部８１０によるシンタックス解析方法を具体的に説明する。説明の便宜のために、シンタックス要素テーブル８２０は「ＳＥＴ」、ＣＳ（制御情報）ＣＩ（文脈情報）テーブル８３０は「ＣＳＣＩＴ」、シンタックス規則テーブル８４０は「ＲＴ」と称する。

解析実行部８１０は受信された拡張ビットストリームからＲＴ８４０を抽出するか、別途のデータでＲＴ８４０を受信する。

ＲＴ８４０は下記表３のように構成することができる。

解析実行部８１０は、入力されたビットストリームのシンタックス要素間の連結情報をＲＴを用いて認識することができる。

表３に示すように、ＲＴ８４０は各シンタックス要素間の連結関係を区分するための「インデックス番号（Index No.）フィールド」、各シンタックス要素間の連結制御のための入力値（すなわち、要素情報格納部７２０に予め格納されている任意の要素情報（制御信号及び文脈情報））の「入力（input）フィールド」、現在シンタックス要素と連結できる要素の数を示す「分岐数（No. of branches）フィールド」、各分岐条件に対応する分岐経路を示す「分岐経路（branch #）フィールド」を含む。

「入力フィールド」は連結可能なシンタックス要素が複数である場合にだけ存在し、この値を用いて分岐制御が可能である。例えば、「インデックス番号」Ｒ２は分岐がないので入力値もないが、「インデックス番号」Ｒ３は分岐があるので入力値が存在する。
「分岐経路フィールド」には該当経路に分岐するための分岐条件（例えば、Ｃ４＝ＦＡＬＳＥ）があり、分岐条件がない場合には「インデックス番号」Ｒ５のように、常に「ＴＲＵＥ」と認識される。分岐条件以後には、シンタックス要素指定情報（例えば、「Ｓ９」のようにＳＥＴ８２０内のインデックス番号）とＲＴ８４０上でのその次の連結情報（例えば、「Ｒ９」のようにＲＴ８４０内のインデックス番号）が１対（pair）で記載される。

このように、本発明に係る復号化器７００は、新規規格の発生、既存規格のシンタックス構造変更（例えば、修正、追加、または削除）の際にもＲＴ８４０で該当情報だけを変更（例えば、修正、追加、または削除）することにより、入力されたビットストリームのシンタックス要素の解析が行われるようにすることができる長所がある。

また、解析実行部８１０は、ＳＥＴ８２０を参照してシンタックス要素指定情報を用いたＳＥＴ出力値を抽出または生成して要素情報格納部７２０に格納する。上述したように、解析実行部８１０は、抽出または生成した要素情報（例えば、解析された値）を可変長復号化部１１０に伝送し、可変長復号化部１１０は受信した要素情報をセマンティック・データに変換して要素情報格納部７２０に格納することもできる。ＳＥＴ出力値は制御信号及び文脈情報であることができる。

ＳＥＴ８２０は下記表４のように構成することができる。

表４に示すように、ＳＥＴ８２０は各シンタックス要素に対するインデックス、名前、入力データ、出力データ、及び処理内容から構成される。

インデックスは、ＲＴ８４０で各シンタックス要素指定情報として用いられる区分子であり、入力データは、ビットストリームのデータであって該当データの長さを示す。出力データは制御信号及び文脈情報として機能し、各シンタックス要素のインデックス別に指定された処理内容に応じて生成または抽出される。参考に、通常の場合、指定されている処理を行うためには可変長復号化部１１０によりセマンティック・データに変換しなくてはならない。これは該当データに可変長テーブルが存在する場合である。ただし、可変長テーブルを要しない場合には、本来のシンタックス値そのものを指定された処理手続きで処理する。表４には各シンタックス要素に対応する出力（ＣＳＣＩ）データを識別するための記号（例えば、Ｃ１）が一部重複されて示されているが、これは、各記号をＣＳＣＩＴ８３０のインデックスに一致させるためだけであって、対応するＣＳＣＩＴ出力値を生成することができれば、全てのシンタックス要素のそれぞれに対応する記号（例えば、Ｃ１）は不一致するように指定することもできる。

例えば、インデックス「Ｓ１」のシンタックス要素の名前「Vo_sequence_start_code」であり、入力データはビットストリーム内の３２ビット文字列（string）として任意の処理内容に対応するＳＥＴ出力値が生成または抽出される。

解析実行部８１０のＳＥＴ８２０を用いたＳＥＴ出力値の生成または抽出に当たって、任意のシンタックス要素（例えば、インデックスＳ２、Ｓ６、Ｓ７、Ｓ８、Ｓ１０など）に対しては反復的な動作を行うこともできる。

解析実行部８１０が、ＳＥＴ８２０を用いて生成または抽出して要素情報格納部７２０に格納したＳＥＴ出力値に対する詳細情報（すなわち、ＣＳＣＩＴ出力値）をＣＳＣＩＴ８３０を用いて生成し、生成されたＣＳＣＩＴ出力値を要素情報格納部７２０に格納する。ここで、ＣＳＣＩＴの出力値は前記ＣＳＣＩの意味と該当実際値を含むことができる。

ＣＳＣＩＴ８３０は下記表５のように構成することができる。

表５に示すように、ＣＳＣＩＴ８３０は、ＳＥＴ出力値の識別子（例えば、Ｃ１）で区分されるインデックス、ＳＥＴ出力値の名前、当該ＳＥＴ出力値の特性、及び当該ＳＥＴ出力値が用いられる範囲（すなわち、復号化のための全体過程または全体復号化過程中の一部過程（例えば、シンタックス・パーシング過程など））を示す。

以下、図９を参照してシンタックス解析部７１０におけるビットストリームのヘッダ領域のシンタックスを解析する過程を簡略に説明する。図９で空欄とした円形は「Null」値（ＲＴ８４０参照）を意味する。

先ず、ビットストリームが入力されると、シンタックス解析部７１０はＲＴ８４０（表３参照）に従ってインデックス番号「Ｒ０」から動作を始まる。

シンタックス解析部７１０がＲＴ８４０のインデックス番号「Ｒ０」を実行する際には、入力値を要しないので「Ｔｒｕｅ」条件を満足したと解析して、ＳＥＴ８２０（表４参照）のインデックス番号「Ｓ１」に進む。すなわち、表４に示すように、ＲＴ８４０のインデックス番号「Ｒ０」は分岐条件が「ＴＲＵＥ→（Ｓ１、Ｒ１）」に指定され、「Ｔｒｕｅ」条件を満足する場合には、ＳＥＴ８２０（表４参照）のインデックス番号「Ｓ１」を行った後、ＲＴ８４０のインデックス番号「Ｒ１」を行うように指定されている。

シンタックス解析部７１０は、ＳＥＴ８２０のインデックス番号「Ｓ１」を行うために、ビットストリームのヘッダ領域から３２ビット文字列で構成されたシンタックス要素「V0_sequence_start_code」を読み出す。ビットストリームのヘッダ領域から各シンタックス要素を読み出す方法は当業者にとって自明なことであるので、これに対する説明は省略する。続いて、シンタックス解析部７１０は読み出された値が処理内容（Process、すなわちif ibs＝0x000001B1）により、「Ｔｒｕｅ」または「Ｆａｌｓｅ」であるかを決め、決定された値をＳＥＴ出力値として要素情報格納部７２０に格納する。上述したように、要素情報格納部７２０に対応する要素情報の格納は可変長復号化部１１０により行われることもできる。

また、シンタックス解析部７１０は、決定されたＳＥＴ出力値（すなわち、Ｃ１）に該当するＣＳＣＩＴ出力値（すなわち、ＣＳＣＩの意味と該当する値）をＣＳＣＩＴ８３０を用いて読み出し、要素情報格納部７２０に格納する。

シンタックス解析部７１０は、ＳＥＴ８２０のインデックス番号「Ｓ１」に対する実行が完了されたら、ＲＴ８４０のインデックス番号「Ｒ１」を行うために進む。

シンタックス解析部７１０がＲＴ８４０のインデックス番号「Ｒ１」を行うためには、入力値「Ｃ１」が必要であるため、従来のインデックス番号「Ｒ０」の実行により要素情報格納部７２０に格納した制御信号及び文脈情報を読み出し、入力値として用いる。

このように、本発明に係るシンタックス解析部７１０は、シンタックス要素解析過程において、従来のシンタックス要素解析を通して抽出または生成された情報を用いることができる。同じく、要素情報格納部７２０に格納された要素情報（すなわち、ＳＥＴ出力値とＣＳＣＩＴ出力値として読み出された情報）はビットストリームの復号化過程で他の構成要素に用いられることもできる。

シンタックス解析部７１０は、ＲＴ８４０のインデックス番号「Ｒ１」の実行のために、要素情報格納部７２０から読み出されたＣＳＣＩ情報が「Ｔｒｕｅ」であると、ＳＥＴ８２０のインデックス番号「Ｓ２」を実行（及びＣＳＣＩＴ８３０からＳＥＴ８２０のインデックス番号「Ｓ２」の処理結果によるＣＳＣＩＴ出力値生成）した後、ＲＴ８４０のインデックス番号「Ｒ２」に進む。しかし、読み出されたＣＳＣＩ情報が「Ｆａｌｓｅ」であると、「NULL」に進み、シンタックス復号化エラー（インデックス番号「ＲＥ」）と処理する。

このような過程を繰り返すことにより、図９に示されているビットストリームのヘッダ領域のシンタックス解析過程が完了できる。シンタックス解析過程から抽出または生成された要素情報は、要素情報格納部７２０に格納され、後続するシンタックス要素の解析または復号化過程に用いることができる。

上述したシンタックス解析過程を表にすると、下記のようになる。

表６のフローは左側上端からジグザグ形態の順に解析される。すなわち、解析実行部８１０はＲ０、Ｓ１、Ｃ１の順にシンタックス要素解析を進行し、Ｃ１はＲ１の入力値として用いられ、その次Ｓ２、Ｃ２などの順にシンタックス要素解析を進行する。

本発明の他の実施例に係る符号化器
図１０は、本発明の好ましい他の実施例に係る符号化器の構成を概略的に示す図面である。

図１０に示すように、本発明に係る符号化器１０００は従来の符号化器２００（以下、「符号化処理部」と称する）に比してＲＴ情報生成部１０１０をさらに含む。図示されている符号化器１０００の構成は、単に例示に過ぎず、その構成は入力された動画像をビットストリームにコーディングするための構成であればよく、適用される規格などに応じて異なるように構成することができる。

ＲＴ情報生成部１０１０は、図１０に示すように、可変長符号化部２３５に従属されるように結合されたり、可変長符号化部２３５に挿入されたり、可変長符号化部２３５の後に設置されたりすることができる。これは、一般的にＲＴ８４０の生成が符号化過程で継続的、連続的に行われることができるからである。勿論、ＲＴ情報生成部１０１０の位置は設計及び具現方法に応じて多様にできる。例えば、ＲＴ情報生成部１０１０はＦＳＭ（Finite State Machine）で具現可能である。

ＲＴ情報生成部１０１０がＲＴ８４０情報を生成する形態は、既に詳述した復号化器７００の内容を通して容易に理解できるため、これに対する説明は省略する。また、ＲＴ情報生成部１０１０がＲＴ情報を生成するために必要とする構成要素も当業者にとっては自明なことであるため、これに対する説明も省略する。

ＲＴ情報生成部１０１０は、生成したＲＴ情報が挿入されている拡張ビットストリームを生成するか、可変長符号化部２３５が拡張ビットストリームを生成するように要請することができる。また、ＲＴ情報生成部１０１０から生成されたＲＴ情報は、ＲＴ情報生成部１０１０または可変長符号化部２３５により独立したデータまたはファイルの形態で復号化器７００に伝送されることもできる。また、ＲＴ情報生成部１０１０は、ＲＴ８４０以外にＳＥＴ８２０及びＣＳＣＩＴ８３０の中の少なくとも何れか一つをさらに復号化器７００に提供できることは上述した通りである。

本明細書で可変長符号化部２３５は符号化器１０００内でビットストリームを生成するために最終的に符号化を行う任意の構成要素（例えば、符号化部）を指すだけであって、これに限定されることではなく、また、これにより本発明の権利範囲が制限されることはない。

上述したように、本発明に係る復号化装置及びビットストリーム復号化のためのシンタックス解析方法は一つの規格（またはコーデック）内で、または他の規格（またはコーデック）間にシンタックス要素の解析を容易とさせる。すなわち、特定規格により生成されるビットストリーム内のシンタックス要素の順序を変更したり、新しいシンタックス要素を挿入したり、既存のシンタックス要素を削除したりすることが問題にならない。

また、従来技術によれば、このようなシンタックス要素の操作の際に復号化器では該当ビットストリームを正常に復号化することができないという問題点があった。例えば、ビットストリーム情報がＡＢＣであったものをＡＣＢに順序を変更してビットストリームを構成して伝送すると、復号化器はこれを認識できないので正常な復号化が不可能であった。また、新規でＦを挿入してＡＢＦＣで構成したり、Ｂを削除してＡＣでビットストリームを構成したりする場合にも同様である。

しかし、本発明に係る復号化装置及びビットストリーム復号化のためのシンタックス解析方法を用いると、拡張ビットストリーム内に含まれるか、または独立したデータでＲＴ８４０が提供されるので復号化器の円滑な復号化動作が可能になる。

以上、本発明に係る復号化装置及びビットストリーム復号化のためのシンタックス解析方法の説明に当たって、ＭＰＥＧ−４を基準にして説明したが、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ＡＶＣ及びその他の動画像符号化／復号化の規格に何ら制限なく同様に適用できることは勿論である。

図面と発明の詳細な説明は、ただ本発明の例示に過ぎず、これは単に本発明を説明するための目的であって、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使用されたものではない。したがって、本技術分野の通常の知識を有する者であれば、これから多様な変形及び均等の他の実施例が可能であることを理解できよう。また、本発明の技術的保護範囲は添付した特許請求の範囲の技術的思想により決めるべきである。

上述したように、本発明は、各規格（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなど）に係る多様な形式（シンタックス、セマンティックス）で符号化したビットストリームを同一の情報認識方式で復号化することができる。
また、本発明は、符号化の際に、シンタックスを操作するか否かにかかわらず、正常な復号化を行うことができる。

また、本発明は、セマンティックスの類似性を基準にして多様な規格のシンタックス構造を統合管理することができる。

また、本発明は、多様な形態のビットストリームを統合コーデック及び／または一般コーデック内で復号化できるように、ビットストリーム・シンタックスを容易に解析することができる。

また、本発明は、多様な形態のビットストリームを復号化するためのシンタックス解析方法を共通に適用することができる。

また、本発明は、解析されたシンタックスの要素情報（すなわち、シンタックス要素の解析により生成された情報）がビットストリーム復号化のために用いられる構成要素にも共有できるようにする。

また、本発明は、解析されたシンタックスの要素情報（すなわち、シンタックス要素を解析により生成された情報）を後続するビットストリーム・シンタックス要素の解析のために用いることができる。

また、本発明は、ビットストリーム復号化の統合に関する概念及び構造を標準化することができる。

一般的な復号化器の構成を概略的に示す図面である。 一般的な符号化器の構成を概略的に示す図面である。 本発明の好ましい一実施例に係る復号化器の構成を概略的に示す図面である。 本発明の好ましい一実施例に係るシンタックス・ツリーを例示する図面である。 本発明の好ましい一実施例に係るグループ要素の規則をグラフ形態で示した図面である。 本発明の好ましい一実施例に係る符号化器の構成を概略的に示す図面である。 本発明の好ましい他の実施例に係る復号化器の構成を概略的に示す図面である。 本発明の好ましい他の実施例に係るシンタックス解析部の構成を概略的に示す図面である。 本発明の好ましい他の実施例に係るシンタックス解析過程を例示する図面である。 本発明の好ましい他の実施例に係る符号化器の構成を概略的に示す図面である。

Claims (9)

1. 各規格で用いられるシンタックス要素間の階層構造を示すシンタックス・ツリー情報を格納する格納部と、
   ビットストリーム、及び、前記ビットストリームの各シンタックス要素間の連結関係を示す規則記述情報を受信する受信部と、
   前記シンタックス・ツリー情報及び前記規則記述情報を用いて、前記ビットストリーム内の各ビットに対応するシンタックス情報を含む認識情報を生成する認識情報生成部と、
   前記認識情報に応じて前記ビットストリームをパーシングし、前記パーシングされた各シンタックス要素を用いて復号化して動画像データを生成する復号化処理部と、
   を含み、
   前記シンタックス・ツリー情報は、前記各シンタックス要素に対応するように設定されたインデックスを用いて、前記シンタックス要素を構成する複数のグループ要素及び複数の情報要素間の階層的従属関係を示し、
   前記規則記述情報は、前記シンタックス・ツリー情報内の前記インデックスを用いて、前記ビットストリームの各シンタックス要素間の連結関係を示し、
   前記認識情報に含まれる前記シンタックス情報は、前記ビットストリーム内の各ビットに対応する各シンタックス要素の順序、長さ及びデータ形式を含む、復号化器。
2. 前記規則記述情報は、前記グループ要素及び前記情報要素間の連結情報及び分岐情報を含み、
   前記連結情報は、前記グループ要素及び前記情報要素間の連続的な連結関係に関する情報であり、
   前記分岐情報は、予め指定されている条件を満足するか否かにより変わる、前記情報要素間の非連続的な連結関係に関する情報である、請求項１に記載の復号化器。
3. 前記復号化器は、前記規則記述情報及び前記ビットストリームをそれぞれ独立的に受信する、請求項１に記載の復号化器。
4. 前記復号化器は、前記規則記述情報及び前記ビットストリームが一つのデータで統合された拡張ビットストリームを受信する、請求項１に記載の復号化器。
5. 前記復号化器は、前記シンタックス・ツリー情報、前記ビットストリームを生成する符号化器に適用された規格情報の中の少なくとも何れか一つをさらに受信する、請求項３または４に記載の復号化器。
6. 前記復号化器は、前記シンタックス・ツリー情報に含まれるシンタックス要素、各シンタックス要素間の階層関係、前記シンタックス要素に対応するセマンティックスの中の少なくとも何れか一つを、追加、削除または更新する、請求項１に記載の復号化器。
7. 復号化器におけるビットストリーム復号化方法において、
   ビットストリーム、及び、前記ビットストリームの各シンタックス要素間の連結関係を示す規則記述情報が入力されるステップと、
   各規格で用いられるシンタックス要素間の階層構造を示すシンタックス・ツリー情報、及び前記規則記述情報を用いて、前記ビットストリーム内の各ビットに対応するシンタックス情報を含む認識情報を生成するステップと、
   前記認識情報に応じて前記ビットストリームをパーシングし、前記パーシングされた各シンタックス要素を用いて復号化して動画像データを生成するステップと、
   を含み、
   前記シンタックス・ツリー情報は、前記各シンタックス要素に対応するように設定されたインデックスを用いて、前記シンタックス要素を構成する複数のグループ要素及び複数の情報要素間の階層的従属関係を示し、
   前記規則記述情報は、前記シンタックス・ツリー情報内の前記インデックスを用いて、前記ビットストリームの各シンタックス要素間の連結関係を示し、
   前記認識情報に含まれる前記シンタックス情報は、前記ビットストリーム内の各ビットに対応する各シンタックス要素の順序、長さ及びデータ形式を含む、ビットストリーム復号化方法。
8. 前記規則記述情報は、前記グループ要素及び前記情報要素間の連結情報及び分岐情報を含み、
   前記連結情報は、前記グループ要素及び前記情報要素間の連続的な連結関係に関する情報であり、
   前記分岐情報は、予め指定されている条件を満足するか否かにより変わる、前記情報要素間の非連続的な連結関係に関する情報である、請求項７に記載のビットストリーム復号化方法。
9. 前記復号化器は、前記規則記述情報及び前記ビットストリームをそれぞれ独立的に受信するか、または、前記規則記述情報及び前記ビットストリームが一つのデータで統合された拡張ビットストリームを受信する、請求項７に記載のビットストリーム復号化方法。

Images