JP4997243B2 - 画像符号化装置、その方法およびその集積回路 - Google Patents

Description

本発明は、動画像データを圧縮符号化する画像符号化装置に関し、特に、Ｈ．２６４／ＡＶＣの規格に適合する符号化装置に関する。

ハイビジョン放送の実用化などにより映像デジタル情報のデータ量は肥大化している。データ量の肥大化は特に動画像のデジタル情報において著しく、放送やＤＶＤ（Ｄｅｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のメディアでの効率的な流通を可能とする画像圧縮技術が規格化されている。例えば、衛星、地上波デジタルハイビジョン放送で採用されているＭＰＥＧ２はこのような画像圧縮技術の規格の一例である。

画像圧縮技術の規格は、コンピュータの情報処理能力の向上とともに、より高い圧縮率を実現できる規格に進展してきている。Ｈ．２６４／ＡＶＣは、ＭＰＥＧ２の次の映像圧縮技術の規格であり、その特徴の１つにエントロピー符号化（可変長符号化）がある。Ｈ．２６４／ＡＶＣでのエントロピー符号化では、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、コンテキスト適応型２値算術符号化方式）とＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ、コンテキスト適応型可変長符号化方式）とが用意されている。

ＣＡＢＡＣでのエントロピー符号化の特徴は、シンタックスと呼ばれる符号化すべき多値情報を２値データに変換する２値化（ｂｉｎａｒｉｚａｔｉｏｎ）処理と、２値化処理によって変換された２値データに対して算出されるコンテキストを参照してビット毎の０／１の出現確率に基づく算術符号化処理とを含むことである。ＣＡＢＡＣの算術符号化では、コンテキストごとに出現確率の更新も同時に行なうため、ビット毎の処理となり、演算スピードは通常１ビット／１クロックとなる。

図１は、ＣＡＢＡＣの算術符号化機能を備える従来の画像符号化装置の構成を示すブロック図である。本図に示す従来の画像符号化装置１０は、画像データ１２を符号化する装置であって、ソース符号化部１４と、制御部１８と、中間ストリーム生成部３０と、バッファ３２と、符号化ストリーム生成部３４とを備える。

ソース符号化部１４は画像データ１２に予め定められた処理を施し、処理後のデータである画像処理データを出力する。ここで、「画像データ」１２とはピクチャ群の画素毎の輝度や色差を含む動画像データである。また、ソース符号化部１４が実行する処理の具体例は、動き予測と、イントラ予測と、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と、量子化とである。

制御部１８は、ソース符号化部１４と、中間ストリーム生成部３０と、符号化ストリーム生成部３４とを制御する。

中間ストリーム生成部３０はソース符号化部１４から出力されるソース符号化された情報（以下、「ソース符号化後画像データ」という。）を２値化する。中間ストリーム生成部３０は中間コード生成部４０と、ヘッダ情報符号化部４２と、合成部４４とを有する。

中間コード生成部４０はスライス毎のソース符号化後画像データが２値化された情報（以下、「中間コード」という。）を生成する。ヘッダ情報符号化部４２は符号化されたヘッダ情報を生成する。「ヘッダ情報」は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と、スライスヘッダとを含む。また、以下単に「ヘッダ情報」という場合は、符号化されたヘッダ情報をいう。合成部４４は中間コードとヘッダ情報とが合成された中間ストリーム５０を生成する。

図２は、従来の中間ストリーム５０に含まれる情報を示す図である。本図に示すように中間ストリーム５０は、ヘッダ情報、すなわちＳＰＳ２２、ＰＰＳ２４およびスライスヘッダ２６と、中間コード５２とを含む。中間ストリーム５０のヘッダ情報はヘッダ情報符号化部４２により符号化されており、中間コード５２は中間コード生成部４０により生成された２値化情報である。

バッファ３２は中間ストリーム生成部３０の合成部４４から出力される中間ストリーム５０を保持する記憶部である。

ところで、画像圧縮処理では、動画像を構成する１枚のピクチャを分割したマクロブロックと呼ばれる、例えば、縦１６×横１６の画素の集合を１つの単位として処理されることが多い。例えば、パイプライン処理を行うときには、マクロブロックごとのパイプラインとして動作することが一般的である。

１つのマクロブロックを圧縮したときの符号量は、そのマクロブロックに含まれる画素の状態に依存し、通常、一様な画素値を含むマクロブロックの符号量は少なくなり、変化が大きい画素値を含むマクロブロックの符号量は多くなる。

算術符号化処理は上で述べたように、１ビット／１クロックの演算スピードであり、マクロブロックの符号量が非常に大きかった場合、平均マクロブロック処理時間（＝１÷単位時間当たりに符号化処理されるマクロブロック数）で１つのマクロブロックを処理できない場合がある。このような状態が連続すると、算術符号化処理を開始できないデータが、待ちデータとして蓄積されるため、算術符号化処理の待ちデータを保持するためのバッファが通常設けられる。Ｈ．２６４／ＡＶＣの場合、このバッファは最大２ピクチャ分のデータを格納できる容量が必要となる。

特許文献１に記載の技術は、入力した画像データ１２を符号化する処理において、可変長符号に一意に対応する中間コードを一時的にバッファ３２に蓄積し、その中間コードを可変長符号化することにより、可変長符号化と可変長符号化以外の処理とを非同期に行う方法を開示している。

符号化ストリーム生成部３４は、バッファ３２から中間ストリーム５０を取得し、取得した中間ストリーム５０を算術符号化することにより、符号化ストリーム２０を生成し出力する。ここで符号化ストリーム２０に含まれる情報について図３を参照して説明する。

図３は、符号化ストリーム２０に含まれる情報を示す図である。本図に示すように符号化ストリーム２０には、ヘッダ情報、すなわち、ＳＰＳ２２、ＰＰＳ２４およびスライスヘッダ２６と、符号化画像データ２８とが含まれる。ここで、「符号化画像データ」２８とは、スライスごとの中間コードを可変長符号化した情報である。

符号化ストリーム生成部３４は、ストリーム入力制御部６０と、ヘッダ情報復号部６２と、パラメータ情報レジスタ６４と、可変長符号化部６６と、合成部６８とを有する。

ストリーム入力制御部６０は、バッファ３２から中間ストリーム５０を取得する。

ヘッダ情報復号部６２は中間ストリーム５０を復号化し、ヘッダ情報に含まれるパラメータ情報を抽出する。

ここで「パラメータ情報」とは、ヘッダ情報に含まれる情報のうち、中間コードを可変長符号化するために必要な情報をいう。パラメータ情報の具体例として、Ｈ２６４／ＡＶＣ規格の「ｐｉｃ ｗｉｄｔｈ ｉｎ ＭＢｓ」や「ｐｉｃ ｈｅｉｇｈｔ ｉｎ ＭＢｓ」、「Ｓｌｉｃｅ ＱＰｙ」、「ｃａｂａｃ＿ｉｎｉｔ＿ｉｄｃ」、「ｓｌｉｃｅ＿ｔｙｐｅ」等が挙げられる。

パラメータ情報レジスタ６４は、ヘッダ情報復号部６２により抽出されたパラメータ情報を一時的に保持する記憶部である。

可変長符号化部６６は、中間コード５２とパラメータ情報レジスタ６４が保持しているパラメータ情報とを取得し、中間コード５２を可変長符号化する。

合成部６８は、ヘッダ情報と、可変長符号化部６６により可変長符号化された符号化後のデータとを合成した符号化ストリーム２０を出力する。
特開２００３−２５９３７０号公報

しかしながら、従来の画像符号化装置１０は、演算処理の増大やＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）回路の大規模化をもたらすという問題がある。

従来例では、２値化後の情報がストリームである場合、可変長符号化の前に中間ストリームを復号化する処理および復号化した中間ストリームからパラメータ情報を抽出する処理を行う必要がある。すなわち、Ｈ．２６４／ＡＶＣにおける算術符号化処理では、中間コードを算術符号化する前に、ヘッダ情報を復号し、パラメータ情報を抽出する必要がある。

上記のような理由から、従来例では、符号化ストリーム生成部において、中間ストリームを先頭から復号化する必要があり、復号化処理やその処理のためのＬＳＩ回路を備える必要があり、演算量の増大やＬＳＩ回路の大規模化をもたらしていた。

本発明は、上記の問題を解決するためになされたもので、演算処理の減少やＬＳＩ回路の小型化を可能とする画像符号化装置の提供を目的とする。

上記目的を達成するために、本発明に係る画像符号化装置は、画像データから中間コードを生成するとともに画像符号化における符号化条件に含まれるヘッダ情報を符号化し、生成した中間コードと符号化したヘッダ情報とを合成して中間ストリームを生成する中間ストリーム生成手段と、前記中間ストリーム生成手段により生成された前記中間ストリームに含まれる前記中間コードを可変長符号化して符号化画像データを生成し、生成した前記符号化画像データと前記中間ストリーム生成手段により符号化された前記ヘッダ情報とを合成して符号化ストリームを出力する符号化ストリーム生成手段とを備える画像符号化装置であって、前記符号化ストリーム生成手段により前記中間コードが可変長符号化される際に必要となるパラメータ情報を、符号化されていない前記符号化条件から抽出するパラメータ情報抽出手段を備え、前記符号化ストリーム生成手段は、前記パラメータ情報抽出手段により抽出された前記パラメータ情報を用いて前記中間コードを可変長符号化して前記符号化画像データを生成する。

このように、符号化されていない符号化条件からパラメータ情報を抽出する。そのため、パラメータ情報を抽出するために、符号化された符号化条件を復号する必要がなくなる。したがって、画像符号化の処理の軽減が可能となる。

好ましくは、前記中間ストリーム生成手段は、前記パラメータ情報抽出手段を有し、前記パラメータ情報抽出手段により抽出された前記パラメータ情報を前記中間ストリームに合成する。

このように、画像符号化における符号化条件からパラメータ情報を抽出し、そのパラメータ情報を中間ストリームに合成する。そのため、中間コードを可変長符号化するためのパラメータ情報を中間ストリームから容易に取得することができ、画像符号化の処理の軽減が可能となる。

また好ましくは、前記中間ストリーム生成手段は、前記パラメータ情報の直前にスタートコードを付加した中間ストリームを生成し、前記符号化ストリーム生成手段は、前記中間ストリームに付加されたスタートコードを検出することにより、前記中間ストリームから前記パラメータ情報を抽出する。

このように、スタートコードをパラメータ情報の直前に付加する。そのため、パラメータ情報を容易に見つけ出すことができ、画像符号化の処理をさらに軽減することが可能となる。

さらに好ましくは、前記スタートコードは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのスタートコードと同じ形式である。

このように、中間コードの中に付加するスタートコードをＮＡＬユニットのスタートコードと同じ形式とする。これにより、一般の画像符号化装置が備えるＮＡＬユニットのスタートコードを検出する手段を利用して、中間コードの中に付加するスタートコードを検出することができる。そのため、一般の画像符号化装置に機能を追加しなくても高速に、中間コードの中に付加するスタートコードを検出することが可能になる。

さらに好ましくは、前記符号化ストリーム生成手段は、前記パラメータ情報抽出手段により抽出された前記パラメータ情報を前記パラメータ情報抽出手段から直接に取得する。

このように、符号化ストリーム生成手段は、生成されたパラメータ情報を直接に取得して可変長符号化する。そのため、中間コードを可変長符号化するためのパラメータ情報を容易に取得することができ、画像符号化の処理の軽減が可能となる。

さらに好ましくは、前記中間ストリーム生成手段は、前記中間コードの直前にスタートコードを付加した中間ストリームを生成し、前記符号化ストリーム生成手段は、前記中間ストリームに付加されたスタートコードを検出することにより、前記中間ストリームから前記中間コードを抽出する。

このように、本発明に係る画像符号化装置は、スタートコードを中間コードの直前に付加する。そのため、中間コードを容易に見つけ出すことができ、画像符号化の処理をさらに軽減することが可能となる。

さらに好ましくは、前記スタートコードは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのスタートコードと同じ形式である。

このように、中間コードの中に付加するスタートコードをＮＡＬユニットのスタートコードと同じ形式とする。これにより、上記のように、一般の画像符号化装置に機能を追加しなくても高速に、中間コードの中に付加するスタートコードを検出することが可能になる。

なお、本発明は、このような特徴的な手段を備える画像符号化装置または画像符号化集積回路として実現することができるだけでなく、画像符号化装置に含まれる特徴的な手段をステップとする画像符号化方法として実現したり、画像符号化装置に含まれる特徴的な手段としてコンピュータを機能させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

本発明により、画像符号化における演算処理を減少させることが可能となり、また、画像符号化のためのＬＳＩ回路の小型化が可能となる。

以下、図面を参照しながら、本発明に係る画像符号化装置の実施の形態について説明する。

（実施の形態１）
先ず、図４から図６までを参照して、本発明の実施の形態１について説明する。

図４は、本発明の実施の形態１の画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、入力された画像データ１２を可変長符号化を含む画像圧縮符号化することにより符号化ストリーム２０を出力する装置であって、ソース符号化部１４と、制御部１１８と、中間ストリーム生成部１３０と、バッファ１３２と、符号化ストリーム生成部１３４とを備える。ここで、図１に示す従来の画像符号化装置１０が備える各部位と同様の機能を有する部位には同一の符号を付しており、それらに関する本図での説明は省略する。

制御部１１８は、ソース符号化部１４と、中間ストリーム生成部１３０と、符号化ストリーム生成部１３４とを制御する。

中間ストリーム生成部１３０は、中間コード生成部４０と、ヘッダ情報符号化部４２と、パラメータ情報抽出部１４０と、合成部１４４とを有する。

中間コード生成部４０は、ソース符号化部１４が画像データ１２に対して予め定められた処理を施して出力したデータ、すなわち例えばソース符号化後画像データを取得し、そのソース符号化後画像データを２値化する。

パラメータ情報抽出部１４０は、制御部１１８が出力する画像符号化における符号化条件からパラメータ情報を抽出する。

ヘッダ情報符号化部４２は、制御部１１８が出力する画像符号化における符号化条件を符号化してヘッダ情報として出力する。

合成部１４４は、中間コードと、ヘッダ情報と、パラメータ情報と、パラメータ情報の開始位置を示す固有のスタートコードとが合成された中間ストリーム１５０を生成する。

ここで、固有のスタートコードは、例えば、１６進数で表記した場合の「０００００１」である。

一般に、スライスヘッダと中間コードとが、１つのＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットに含まれるため、算術符号化の対象である中間コードを取得するには、中間ストリームがどこから開始されるのか、スライスヘッダを先頭から復号化しなければ判別できない。このような、固有のスタートコードを含む中間ストリーム１５０を生成することにより、スライスヘッダを復号することなく、算術符号化の対象となる中間コードを取得することが可能になる。

図５は、実施の形態１の中間ストリーム１５０に含まれる情報を示す図である。本図に示すように中間ストリーム１５０は、ヘッダ情報、すなわちＳＰＳ２２、ＰＰＳ２４およびスライスヘッダ２６と、中間コード５２と、スタートコード１５４と、パラメータ情報１５６とを含む。中間ストリーム１５０のヘッダ情報はヘッダ情報符号化部４２により符号化されている。すなわち、Ｈ２６４／ＡＶＣ規格では、中間コード５２がｓｌｉｃｅ＿ｄａｔａ（）に含まれるデータであり、ＳＰＳ２２、ＰＰＳ２４およびスライスヘッダ２６はｓｌｉｃｅ＿ｄａｔａ（）以外に含まれるデータである。

中間コード５２は中間コード生成部４０により生成された２値化情報である。スタートコード１５４は合成部１４４によりパラメータ情報１５６の直前に付加される情報である。パラメータ情報１５６は、パラメータ情報抽出部１４０により抽出され、合成部１４４により中間コード５２の直前に付加される、中間コード５２の可変長符号化に必要な情報であって、符号化されていない。パラメータ情報１５６は、例えば、「ｐｉｃ ｗｉｄｔｈ ｉｎ ＭＢｓ」や「ｐｉｃ ｈｅｉｇｈｔ ｉｎ ＭＢｓ」、「Ｓｌｉｃｅ ＱＰｙ」、「ｃａｂａｃ＿ｉｎｉｔ＿ｉｄｃ」、「ｓｌｉｃｅ＿ｔｙｐｅ」等を含む固定長の情報である。

このように、中間ストリーム１５０はスタートコード１５４を含む。そのため、後述する符号化ストリーム生成部１３４は、可変長符号化の対象となる情報である中間コード５２および中間コード５２を可変長符号化するために必要な情報であるパラメータ情報１５６と、同一のＮＡＬユニットに含まれるスライスヘッダ２６との境界を、中間ストリームを復号しなくても判断できる。また、中間ストリーム１５０は符号化されていないパラメータ情報をも含む。そのため、後述する符号化ストリーム生成部１３４は、中間ストリームを復号しなくても、中間コード５２の可変長符号化に必要なパラメータを取得できる。

このような中間ストリーム１５０を生成することにより、符号化ストリーム生成部１３４はヘッダ情報の復号処理をする必要がなくなるため、画像符号化における演算処理を減少させることが可能となり、また、画像符号化のためのＬＳＩ回路の小型化が可能となる。

なお、スタートコード１５４は、合成部１４４の代わりに、ヘッダ情報符号化部４２により自身が抽出したヘッダ情報の末尾に、または、パラメータ情報抽出部１４０により自身が抽出したパラメータ情報１５６の先頭に付加されても良い。

ここから図４の説明に戻る。

バッファ１３２は中間ストリーム生成部１３０の合成部１４４から出力される中間ストリーム１５０を保持する記憶部である。

符号化ストリーム生成部１３４は、パラメータ情報レジスタ６４と、可変長符号化部６６と、合成部６８と、ストリーム入力制御部１６０とを有する。

パラメータ情報レジスタ６４は、従来の画像符号化装置１０が備えるパラメータ情報レジスタ６４と同様に、パラメータ情報を一時的に保持する記憶部である。

ストリーム入力制御部１６０は、従来の画像符号化装置１０が備えるストリーム入力制御部１６０と同様に、バッファ１３２から中間ストリーム５０を取得する。

さらに、本実施の形態のストリーム入力制御部１６０は、中間ストリーム５０に含まれるスタートコード１５４を検出し、検出されたスタートコード１５４に続くパラメータ情報１５６を取得する。ストリーム入力制御部１６０は、取得したパラメータ情報１５６をパラメータ情報レジスタ６４に格納する。

ここで、一般のストリーム入力制御部１６０は、ＮＡＬユニットのスタートコードを高速で検出するために、専用の検出処理部を有する。上記のように、パラメータ情報の開始位置を示す固有のスタートコードは、ＮＡＬユニットのスタートコードと同じ「０００００１」（１６進数表記）である。そのため、専用の検出処理部を用いて固有のスタートコードを検出することができる。したがって、固有のスタートコードの検出処理を速くすることが可能になる。

可変長符号化部６６は、従来の画像符号化装置１０が備える可変長符号化部６６と同様に、中間コード５２とパラメータ情報レジスタ６４が保持しているパラメータ情報１５６とを取得し、中間コード５２を可変長符号化する。

合成部６８は、従来の画像符号化装置１０が備える合成部６８と同様に、ヘッダ情報１５６と、可変長符号化部６６により可変長符号化された符号化後のデータとを合成した符号化ストリーム２０を出力する。

ストリーム入力制御部１６０はバッファ１３２から中間ストリーム１５０を取得し、取得した中間ストリーム１５０からパラメータ情報１５６を抽出し、抽出したパラメータ情報１５６をパラメータ情報レジスタ６４に保持させる。

図６は、本発明の実施の形態１の画像符号化装置１００が実行する処理のフローチャートである。

制御部１１８が、画像符号化における符号化条件を、ヘッダ情報符号化部４２へ与え、ヘッダ情報の符号化を指示する。制御部１１８からの指示により、ヘッダ情報符号化部４２は、ＳＰＳ２２と、ＰＰＳ２４と、スライスヘッダ２６等を含むヘッダ情報を出力する（Ｓ１００）。

制御部１１８が、画像符号化における符号化条件を、パラメータ情報抽出部１４０へ与え、パラメータ情報１５６の出力を指示する。制御部１１８からの指示により、パラメータ情報抽出部１４０は、中間コード５２を可変長符号化する際に必要となるパラメータ情報１５６を出力する（Ｓ１０１）。

制御部１１８が、ソース符号化部１４に対して、画像データの符号化を指示する。ソース符号化部１４は、画像データ１２を入力としてソース符号化後画像データを出力する（Ｓ１０２）。

中間コード生成部４０は中間コード５２を生成する（Ｓ１０３）。

合成部１４４は、ヘッダ情報符号化部４２から取得したヘッダ情報と、パラメータ情報抽出部１４０から取得したパラメータ情報１５６と、中間コード生成部４０から取得した中間コード５２とを合成するとともに、スタートコード１５４を付加することにより生成した、図５に示す中間ストリーム１５０をバッファ１３２に格納する（Ｓ１０４）。

１スライス分の中間コードが生成されたことを検出した制御部１１８の指示を受けて、ストリーム入力制御部１６０はバッファ１３２から中間ストリーム１５０を取得する（Ｓ１０５）。

ストリーム入力制御部１６０は中間ストリーム１５０のスタートコード１５４を検出することにより、そこから始まるスライス毎のパラメータ情報１５６を抽出するとともに、ヘッダ情報と中間コード５２とを抽出する（Ｓ１０６）。

ストリーム入力制御部１６０は抽出したパラメータ情報をパラメータ情報レジスタ６４に格納する（Ｓ１０７）。

可変長符号化部６６はストリーム入力制御部１６０により抽出された中間コード５２をストリーム入力制御部１６０から取得するとともに、それに対応するスライスのパラメータ情報をパラメータ情報レジスタ６４から取得することにより、中間コード５２を可変長符号化する（Ｓ１０８）。

合成部６８はストリーム入力制御部１６０により抽出されたヘッダ情報と、中間コード５２と可変長符号化部６６により符号化された符号化画像データ２８とを図３に示すように合成した符号化ストリーム２０を生成し（Ｓ１０９）、出力して処理を終了する。

なお、ヘッダ情報符号化部４２やパラメータ情報抽出部１４０、ストリーム入力制御部１６０は、制御部１１８の指示を受けて処理を開始することとした。これらの指示はそれぞれの部位に固有のコマンドを制御部１１８が出力することにより実現されてもよい。

具体的には、例えば、パラメータ情報抽出部１４０に与えられるコマンドである抽出制御コマンドは、ソース符号化部１４が処理を開始する直前に、または、ヘッダ情報符号化部４２がヘッダ情報を生成したときに、制御部１１８からパラメータ情報抽出部１４０に出力される。

ここで、パラメータ情報抽出部１４０及びヘッダ情報符号化部４２で処理される画像符号化における符号化条件は、ソース符号化部１４における処理の前に決定され、例えば制御部１１８により保持されている。そのため、抽出制御コマンドは、上記のタイミングで符号化条件とともに制御部１１８からパラメータ情報抽出部１４０に出力されてもよい。また、符号化条件をパラメータ情報抽出部１４０にあらかじめ与えておき、上記のタイミングで、制御部１１８から抽出制御コマンドのみを出力するような方法をとってもよい。

また、ストリーム入力制御部１６０に与えられるコマンドである保持制御コマンドは、ストリーム入力制御部１６０にスタートコード１５４を検出させ、さらに、それにより判別し、抽出されたパラメータ情報１５６をパラメータ情報レジスタ６４に格納させる（Ｓ１０６およびＳ１０７）一連の処理を実行させるものでもよい。

さらに、ストリーム入力制御部１６０に与えられるコマンドである保持制御コマンドは、ストリーム入力制御部１６０にスタートコード１５４を検出させるコマンドである検出制御コマンドと別であってもよい。この場合、検出制御コマンドを受けたストリーム入力制御部１６０は、中間ストリーム１５０のスタートコード１５４を検出する（Ｓ１０６の前半）。そして、ストリーム入力制御部１６０がスタートコード１５４を検出したことを制御部１１８に伝えると、続けて、制御部１１８はストリーム入力部１６０に保持制御コマンドを出力する。保持制御コマンドを受けたストリーム入力部１６０は、検出したスタートコード１５４から始まるパラメータ情報１５６を抽出するとともに、抽出したパラメータ情報をパラメータ情報レジスタ６４に格納する（Ｓ１０６の後半およびＳ１０７）。

なお、実施の形態１の符号化処理において出力される中間コード５２内に、スタートコード１５４と同じコードが現れる場合がある。例えば、実施の形態１では、中間コード５２内に「０００００１」（１６進数表記）が現れる場合がある。このような、中間コード５２内のコードとスタートコード１５４との区別を容易にするために、中間コード５２内のコードの中にエミュレーション防止バイトを付加してもよい。例えば、スタートコード１５４と同じ「０００００１」（１６進数表記）が中間コード５２内に現れた場合は、エミュレーション防止バイトとしてのｅｍｕｌａｔｉｏｎ＿ｐｒｅｖｅｎｔｉｏｎ＿ｔｈｒｅｅ＿ｂｙｔｅ（１６進数表記で「０３」）を、「００００」と「０１」との間に挿入してもよい。

なお、固有のスタートコード１５４は、ＮＡＬユニットのスタートコードと同じ「０００００１」（１６進数表記）としたが、他のＮＡＬユニットのスタートコードとして用いられる「００００００」、「０００００２」、「０００００３」などのいずれかでもよい（いずれも１６進数表記）。また、ＮＡＬユニットのスタートコードの次の２バイトは、ＮＡＬユニットの種類を示すために用いられる。しかし、ＮＡＬユニットのスタートコードの次の２バイトには、ＮＡＬユニットの種類を示す値としては未使用または未定義の値もある。このように未使用または未定義の値を「ｘｘ」（１６進数表記）とした場合、固有のスタートコード１５４とそれに続く２バイトは、「０００００１ｘｘ」（１６進数表記）となる。

（実施の形態２）
図７は、本発明の実施の形態２の画像符号化装置２００の構成を示すブロック図である。画像符号化装置２００は、入力された画像データ１２を、可変長符号化を含む画像圧縮符号化することにより符号化ストリームを出力する装置であって、ソース符号化部１４と、制御部２１８と、パラメータ情報バッファ２２０と、中間ストリーム生成部２３０と、バッファ２３２と、符号化ストリーム生成部２３４とを備える。ここで、図１に示す従来の画像符号化装置１０が備える各部位と同様の機能を有する各部位には同一の符号を付しており、それらに関する本図での説明は省略する。

制御部２１８は、ソース符号化部１４と中間ストリーム生成部２３０と符号化ストリーム生成部２３４とを制御するとともに、パラメータ情報抽出手段としてパラメータ情報を抽出してパラメータ情報バッファ２２０に格納する。

パラメータ情報バッファ２２０は、制御部２１８がヘッダ情報から抽出したパラメータ情報、すなわち符号化されていないパラメータ情報を一時的に保持しているバッファである。

中間ストリーム生成部２３０は、中間コード生成部４０と、ヘッダ情報符号化部４２と、合成部２４４とを有する。中間コード生成部４０と、ヘッダ情報符号化部４２とは、図１を参照して説明した従来の画像符号化装置１０が備える同一の符号を付した各部位と同様の機能を有する。そのため、これらの各部位に関するここでの説明は省略する。

合成部２４４は、中間コードと、ヘッダ情報と、中間コードの開始位置を示す固有のスタートコード２５４とが合成された中間ストリーム２５０を生成する。ここでの固有のスタートコードも、実施の形態１と同様に、「０００００１」（１６進数表記）であるとする。

図８は、実施の形態２の中間ストリーム２５０に含まれる情報を示す図である。本図に示すように中間ストリーム２５０は、ヘッダ情報、すなわちＳＰＳ２２、ＰＰＳ２４およびスライスヘッダ２６と、中間コード５２と、スタートコード２５４とを含む。すなわち、Ｈ２６４／ＡＶＣ規格では、中間コード５２がｓｌｉｃｅ＿ｄａｔａ（）に含まれるデータであり、ＳＰＳ２２、ＰＰＳ２４およびスライスヘッダ２６はｓｌｉｃｅ＿ｄａｔａ（）以外に含まれるデータである。

中間ストリーム２５０のヘッダ情報はヘッダ情報符号化部４２により符号化されている。中間コード５２は中間コード生成部４０により生成された２値化情報である。スタートコード２５４は合成部２４４により中間コード５２の直前に付加される情報である。

このように、中間ストリーム２５０はスタートコード２５４を含む。そのため、後述する符号化ストリーム生成部２３４は、可変長符号化の対象となる情報である中間コード５２と、同一のＮＡＬユニットに含まれるスライスヘッダ２６との境界を、中間ストリーム２５０を復号しなくても判断できる。そのため、後述する符号化ストリーム生成部２３４は、中間ストリームを復号しなくても、中間コード５２を取得できる。

また、パラメータ情報バッファ２２０は、符号化されていないパラメータ情報を保持する。そのため、後述する符号化ストリーム生成部２３４は、中間ストリームを復号しなくても、パラメータ情報バッファ２２０から符号化されていないパラメータ情報を取得することができる。

したがって、このような中間ストリーム２５０を生成することにより、符号化ストリーム生成部１３４はヘッダ情報の復号処理をする必要がなくなるため、画像符号化における演算処理を減少させることが可能となり、また、画像符号化のためのＬＳＩ回路の小型化が可能となる。

なお、スタートコード２５４は、合成部２４４の代わりに、ヘッダ情報符号化部４２により自身が抽出したヘッダ情報の末尾に、または、中間コード生成部４０により自身が抽出した中間コード５２の先頭に付加されても良い。

バッファ２３２は、中間ストリーム生成部２３０の合成部２４４から出力される中間ストリーム２５０を保持する記憶部である。

符号化ストリーム生成部２３４は、可変長符号化部６６と、合成部６８と、ストリーム入力制御部２６０と、パラメータ情報レジスタ２６４とを有する。

ストリーム入力制御部２６０は、バッファ２３２から中間ストリーム２５０を取得する。

パラメータ情報レジスタ２６４は、パラメータ情報バッファ２２０からパラメータ情報を取得し、取得したパラメータ情報を自身が一時的に保持する。すなわち、本実施の形態のパラメータ情報レジスタ２６４は、パラメータ情報を保持する記憶部とパラメータ情報バッファ２２０からパラメータ情報を取得する処理部とを有する。

なお、パラメータ情報は、このようにパラメータ情報レジスタ２６４自身が取得する代わりに、制御部２１８がパラメータ情報バッファ２２０から取得してパラメータ情報レジスタ２６４に格納されてもよい。

図９は、本発明の実施の形態２の画像符号化装置２００が実行する処理のフローチャートである。

制御部２１８が、画像符号化における符号化条件を、ヘッダ情報符号化部４２へ与え、ヘッダ情報の符号化を指示する。制御部２１８からの指示により、ヘッダ情報符号化部４２は、ＳＰＳ２２と、ＰＰＳ２４と、スライスヘッダ２６等を含むヘッダ情報を出力する（Ｓ２００）。

制御部２１８が、次に中間コード生成部４０で処理される画像データのパラメータ情報を抽出し、スライス毎にまとめたパラメータ情報を生成する（Ｓ２０１）。

制御部２１８は、生成したパラメータ情報をパラメータ情報バッファ２２０に格納する。パラメータ情報レジスタ２６４は、パラメータ情報バッファ２２０からパラメータ情報を取得するとともに、取得したパラメータ情報を自身で保持する（Ｓ２０２）。

制御部２１８が、ソース符号化部１４に対して、画像データの符号化を指示する。ソース符号化部１４は、画像データ１２を入力としてソース符号化後画像データを出力する（Ｓ２０３）。

中間コード生成部４０は中間コード５２を生成する（Ｓ２０４）。

合成部２４４は、ヘッダ情報符号化部４２から取得したヘッダ情報と、中間コード生成部４０から取得した中間コードとを合成するとともに、スタートコード２５４を付加することにより生成した、図８に示す中間ストリーム２５０をバッファ２３２に格納する（Ｓ２０５）。

１スライス分の中間コードが生成されたことを検出した制御部２１８の指示を受けて、ストリーム入力制御部２６０はバッファ２３２から中間ストリーム２５０を取得する（Ｓ２０６）。

可変長符号化部６６は、次に可変長符号化部６６で処理される中間コードに対応したパラメータ情報をパラメータ情報レジスタ２６４から取得する（Ｓ２０７）。

ストリーム入力制御部２６０は、中間ストリーム２５０のスタートコード２５４を検出し、中間ストリーム２５０に含まれる中間コード５２を抽出する。可変長符号化部６６は、取得したパラメータ情報に対応するスライスの中間コード５２をストリーム入力制御部２６０から取得し、取得した中間コード５２を可変長符号化する（Ｓ２０８）。

合成部６８はストリーム入力制御部２６０が中間ストリーム２５０のスタートコード２５４を検出することにより抽出したヘッダ情報と、可変長符号化部６６により符号化された符号化画像データ２８とを図３に示すように合成した符号化ストリーム２０を生成し（Ｓ２０９）、出力して処理を終了する。

このように、中間ストリーム２５０にスタートコード２５４が含まれるため、符号化ストリーム生成部２３４は、同一のＮＡＬユニットに含まれている、符号化されたスライスヘッダ２６と中間コード５２との境界をヘッダ情報を復号化することなく判断できる。そのため、符号化ストリーム生成部２３４での処理の軽減やＬＳＩ回路の小規模化が可能となる。

なお、実施の形態２の制御部２１８は、各部を制御し、画像符号化における符号化条件からパラメータ情報を生成するとともに、生成したパラメータ情報をパラメータ情報バッファに格納することとしたが、制御部２１８は各部を制御するのみとし、別の部位がパラメータ情報を生成してもよい。この場合、パラメータ情報を生成する部位は、制御部２１８から符号化条件を取得し、取得した符号化条件からスライス毎のパラメータ情報を生成し、生成したパラメータ情報をパラメータ情報バッファ２２０に格納する。

そして、パラメータ情報の生成は、例えば、制御部２１８が実行する場合にはその内部にある固有のコマンドにより実行されてもよいし、制御部２１８とは別のパラメータ情報を生成する部位が実行する場合には、制御部２１８からその部位にコマンドを出力して実行を指示してもよい。また、そのような固有のコマンドは、ソース符号化部１４が処理を開始する直前に出力されることとしてもよい。

なお、ヘッダ情報符号化部４２が実行する処理と、ストリーム入力制御部２６０が実行するスタートコード２５４の検出処理とは、制御部２１８の指示を受けてそれぞれ開始されることとしたが、制御部２１８からの指示を受けることなく開始されてもよい。例えば、制御部２１８からソース符号化部１４へ、ソース符号化の指示があったときに自動的にヘッダ情報符号化部４２が処理を開始してもよいし、合成部２４４から中間ストリームが出力されたときに自動的にストリーム入力制御部２６０が中間ストリームを取得してスタートコード２５４を検出するようにしてもよい。

なお、実施の形態２の画像符号化装置２００が備えるパラメータ情報バッファ２２０は、専用のバッファではなく、例えば、制御部２１８をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実現する場合にはその内部の記憶域であってもよい。

以上、本発明の実施の形態１に係る画像符号化装置１００と実施の形態２に係る画像符号化装置２００とについて説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、実施の形態１ではスタートコード１５４は合成部１４４により中間ストリーム１５０に付加されることとしたが、パラメータ情報抽出部１４０により自身の抽出したパラメータ情報の先頭に付加されてもよく、また、ヘッダ情報符号化部４２により自身の符号化したヘッダ情報の末尾に付加されてもよい。また、実施の形態２でも同様に、中間ストリーム２５０に付加されるスタートコード２５４は、中間コード生成部４０により自身の生成した中間コードの先頭に付加されてもよく、または、ヘッダ情報符号化部４２により自身の符号化したヘッダ情報の末尾に付加されてもよい。

また例えば、パラメータ情報１５６は、実施の形態１では、中間ストリーム１５０に合成される際、符号化されずにスタートコード１５４の直後に合成されることとし、実施の形態２では、符号化されずにパラメータ情報バッファ２２０に格納されることとし、符号化されないパラメータ情報がパラメータ情報レジスタ２６４に保持されることとしたが、パラメータ情報は符号化されていてもよい。

すなわち、実施の形態１では、符号化されたパラメータ情報がスタートコード１５４の直後に合成されてもよい。また、実施の形態２では、符号化されたパラメータ情報がパラメータ情報バッファ２２０を介してパラメータ情報レジスタ２６４に保持されてもよい。

これにより、中間ストリーム１５０またはパラメータ情報レジスタ２６４からパラメータ情報をまとめて取得することができるため、パラメータ情報を検出するために復号する処理を省くことが可能になる。

さらに例えば、図９に示す実施の形態１に係る画像符号化装置１００が実行する処理や図９に示す実施の形態２に係る画像符号化装置２００が実行する処理は、必ずしもシーケンシャルに実行されなくてもよい。すなわち、各処理部の処理能力に余裕がある場合には、並行して処理されてもよい。例えば、中間ストリーム生成部１３０と符号化ストリーム生成部１３４とが実行する処理、または、中間ストリーム生成部２３０と符号化ストリーム生成部２３４とが実行する処理は並行して処理されてもよい。

さらに例えば、実施の形態１に係る画像符号化装置１００、または、実施の形態２に係る画像符号化装置２００が集積回路により実現される場合、画像符号化装置１００または画像符号化装置２００は１つの集積回路により実現されても、また、複数の集積回路により実現されてもよい。

本発明は、可変長符号化とそれ以前の画像処理とを非同期に実行する画像符号化装置及び方法等に適用でき、特に、可変長符号化において、Ｈ．２６４／ＡＶＣなどで採用されている算術符号化を用いる場合に有効である。

図１は、ＣＡＢＡＣの算術符号化機能を備える従来の画像符号化装置の構成を示すブロック図である。 図２は、従来の中間ストリームに含まれる情報を示す図である。 図３は、符号化ストリームに含まれる情報を示す図である。 図４は、本発明の実施の形態１の画像符号化装置の構成を示すブロック図である。 図５は、実施の形態１の中間ストリームに含まれる情報を示す図である。 図６は、本発明の実施の形態１の画像符号化装置が実行する処理のフローチャートである。 図７は、本発明の実施の形態２の画像符号化装置の構成を示すブロック図である。 図８は、実施の形態１の中間ストリームに含まれる情報を示す図である。 図９は、本発明の実施の形態２の画像符号化装置が実行する処理のフローチャートである。

符号の説明

１２ 画像データ
１４ ソース符号化部
２０ 符号化ストリーム
４０ 中間コード生成部
４２ ヘッダ情報符号化部
６４、２６４ パラメータ情報レジスタ
６６ 可変長符号化部
６８ 合成部
１００ 画像符号化装置
１１８、２１８ 制御部
１３０ 中間ストリーム生成部
１３２、２３２ バッファ
１３４ 符号化ストリーム生成部
１４０ パラメータ情報抽出部
１４４、２４４ 合成部
１５０、２５０ 中間ストリーム
１６０、２６０ ストリーム入力制御部
２２０ パラメータ情報バッファ

Claims (10)

1. 画像データから中間コードを生成するとともに画像符号化における符号化条件に含まれるヘッダ情報を符号化し、生成した中間コードと符号化したヘッダ情報とを合成して中間ストリームを生成する中間ストリーム生成手段と、
   前記中間ストリーム生成手段により生成された前記中間ストリームに含まれる前記中間コードを可変長符号化して符号化画像データを生成し、生成した前記符号化画像データと前記中間ストリーム生成手段により符号化された前記ヘッダ情報とを合成して符号化ストリームを出力する符号化ストリーム生成手段とを備える画像符号化装置であって、
   前記符号化ストリーム生成手段により前記中間コードが可変長符号化される際に必要となるパラメータ情報を、符号化されていない前記符号化条件から抽出するパラメータ情報抽出手段を備え、
   前記符号化ストリーム生成手段は、前記パラメータ情報抽出手段により抽出された前記パラメータ情報を用いて前記中間コードを可変長符号化して前記符号化画像データを生成する
   ことを特徴とする画像符号化装置。
2. 前記中間ストリーム生成手段は、前記パラメータ情報抽出手段を有し、前記パラメータ情報抽出手段により抽出された前記パラメータ情報を前記中間ストリームに合成する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記中間ストリーム生成手段は、前記パラメータ情報の直前にスタートコードを付加した中間ストリームを生成し、
   前記符号化ストリーム生成手段は、前記中間ストリームに付加されたスタートコードを検出することにより、前記中間ストリームから前記パラメータ情報を抽出する
   ことを特徴とする請求項２に記載の画像符号化装置。
4. 前記スタートコードは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのスタートコードと同じ形式である
   ことを特徴とする請求項３に記載の画像符号化装置。
5. 前記符号化ストリーム生成手段は、前記パラメータ情報抽出手段により抽出された前記パラメータ情報を前記パラメータ情報抽出手段から直接に取得する
   ことを特徴とする請求項１に記載の画像符号化装置。
6. 前記中間ストリーム生成手段は、前記中間コードの直前にスタートコードを付加した中間ストリームを生成し、
   前記符号化ストリーム生成手段は、前記中間ストリームに付加されたスタートコードを検出することにより、前記中間ストリームから前記中間コードを抽出する
   ことを特徴とする請求項５に記載の画像符号化装置。
7. 前記スタートコードは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのスタートコードと同じ形式である
   ことを特徴とする請求項６に記載の画像符号化装置。
8. 画像データから中間コードを生成するとともに画像符号化における符号化条件に含まれるヘッダ情報を符号化し、生成した中間コードと符号化したヘッダ情報とを合成して中間ストリームを生成する中間ストリーム生成ステップと、
   前記中間ストリーム生成手段により生成された前記中間ストリームに含まれる前記中間コードを可変長符号化して符号化画像データを生成し、生成した前記符号化画像データと前記中間ストリーム生成手段により符号化された前記ヘッダ情報とを合成して符号化ストリームを出力する符号化ストリーム生成ステップとを含む画像符号化方法であって、
   前記符号化ストリーム生成ステップにおいて前記中間コードが可変長符号化される際に必要となるパラメータ情報を、符号化されていない前記符号化条件から抽出するパラメータ情報抽出ステップを含み、
   前記符号化ストリーム生成ステップでは、前記パラメータ情報抽出ステップにおいて抽出された前記パラメータ情報を用いて前記中間コードを可変長符号化して前記符号化画像データを生成する
   ことを特徴とする画像符号化方法。
9. 画像データから中間コードを生成するとともに画像符号化における符号化条件に含まれるヘッダ情報を符号化し、生成した中間コードと符号化したヘッダ情報とを合成して中間ストリームを生成する中間ストリーム生成ステップと、
   前記中間ストリーム生成手段により生成された前記中間ストリームに含まれる前記中間コードを可変長符号化して符号化画像データを生成し、生成した前記符号化画像データと前記中間ストリーム生成手段により符号化された前記ヘッダ情報とを合成して符号化ストリームを出力する符号化ストリーム生成ステップとをコンピュータに実行させる画像符号化プログラムであって、
   前記符号化ストリーム生成ステップにおいて前記中間コードが可変長符号化される際に必要となるパラメータ情報を、符号化されていない前記符号化条件から抽出するパラメータ情報抽出ステップをコンピュータに実行させ、
   前記符号化ストリーム生成ステップでは、前記パラメータ情報抽出ステップにおいて抽出された前記パラメータ情報を用いて前記中間コードを可変長符号化して前記符号化画像データを生成する
   ことを特徴とする画像符号化プログラム。
10. 画像データから中間コードを生成するとともに画像符号化における符号化条件に含まれるヘッダ情報を符号化し、生成した中間コードと符号化したヘッダ情報とを合成して中間ストリームを生成する中間ストリーム生成手段と、
    前記中間ストリーム生成手段により生成された前記中間ストリームに含まれる前記中間コードを可変長符号化して符号化画像データを生成し、生成した前記符号化画像データと前記中間ストリーム生成手段により符号化された前記ヘッダ情報とを合成して符号化ストリームを出力する符号化ストリーム生成手段とを備える集積回路であって、
    前記符号化ストリーム生成手段により前記中間コードが可変長符号化される際に必要となるパラメータ情報を、符号化されていない前記符号化条件から抽出するパラメータ情報抽出手段を備え、
    前記符号化ストリーム生成手段は、前記パラメータ情報抽出手段により抽出された前記パラメータ情報を用いて前記中間コードを可変長符号化して前記符号化画像データを生成する
    ことを特徴とする集積回路。

Images