JP6234770B2 - 動画像復号処理装置、動画像符号化処理装置およびその動作方法 - Google Patents

Description

本発明は、動画像復号処理装置、動画像符号化処理装置およびその動作方法に関し、特に並列処理における処理能力の低下を軽減するのに有効な技術に関するものである。

良く知られているように、国際規格ＩＳＯ／ＩＥＣ １３８１８−２で標準化されたＭＰＥＧ−２規格による動画像(Moving Picture)の一般的な圧縮方式は、ビデオストリームから冗長な情報を削除することによって、ビデオ記憶容量と必要な帯域幅とを削減すると言う原理に基づいている。尚、ＭＰＥＧは、Moving Picture Experts Groupの略である。

ＭＰＥＧ−２規格は、ビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)およびデコードプロセスのみを規定しているので、衛星放送・サービス、ケーブルテレビジョン、インターラクティブテレビジョン、インターネット等の種々の状況で十分利用可能なようにフレキシブルなものである。

ＭＰＥＧ−２のエンコードプロセスでは、最初にデジタルビデオの各画素の色差と輝度の成分を規定するために、ビデオ信号がサンプルされ量子化される。色差と輝度との成分を示す値は、マクロブロックに蓄積される。マクロブロックに蓄積された色差と輝度との値は、離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)を使用して周波数値に変換される。ＤＣＴによって得られる変換係数は、ピクチャーの輝度と色差で異なった周波数を持つ。量子化されたＤＣＴ変換係数は、ビデオストリームを更に圧縮する可変長コーディング(ＶＬＣ：Variable Length Coding)によってエンコードされる。

ＭＰＥＧ−２のエンコードプロセスでは、動き圧縮技術による付加圧縮が規定されている。ＭＰＥＧ−２の規格では、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のフレーム(ピクチャとも称す)が存在している。Ｉフレームは、ビデオストリーム中の他のいかなるフレームを参照することなく再生されるフレームを意味する、イントラ符号化(コード)されたフレームである。ＰフレームとＢフレームは、他のフレームの参照によって再生されるフレームを意味する、インター符号化(コード)されたフレームである。例えば、ＰフレームとＢフレームとは、参照フレームに関して動き推定を示す動きベクトルを含む。動きベクトルの使用によって、ＭＰＥＧエンコーダは特定のビデオストリームに必要な帯域幅の低減が可能となる。尚、Ｉフレームは独立(intra-coded)フレームと呼ばれ、Ｐフレームは片方向予測(predictive-coded)フレームと呼ばれ、Ｂフレームは両方向予測(bi-directionally predictive-coded)フレームと呼ばれる。

従って、ＭＰＥＧ−２の動画像符号化装置(Encoder)は、フレームメモリと動きベクトル検出部と動き補償部と減算部とＤＣＴ変換部と量子化部と逆量子化部と逆ＤＣＴ変換部と可変長符号化部と加算部とによって構成される。符号化される動画像信号は、ＰフレームやＢフレームの符号化や動きベクトル検出のために、フレームメモリに格納された後に、フレームメモリから読み出され、動き補償部からの動き補償予測信号が減算部で減算される。減算により生成された予測残差は、ＤＣＴ変換部と量子化部でそれぞれ、ＤＣＴ変換処理と量子化処理とが実行される。量子化されたＤＣＴ変換係数は、可変長符号化部によって可変長符号化処理されるとともに、逆量子化部と逆ＤＣＴ変換部において局部復号処理が実行された後に、この局部復号処理結果が加算部に直接供給されるとともに、動き補償部を介して減算部に供給される。

一方、ＭＰＥＧ−２の動画像復号装置(Decoder)は、バッファメモリと可変長復号部と逆量子化部と逆ＤＣＴ変換部と動き補償部と加算部とフレームメモリによって構成される。ＭＰＥＧ−２の符号化ビットストリームは、バッファメモリに蓄積された後、可変長復号部と逆量子化部と逆ＤＣＴ変換部でそれぞれ、可変長復号処理と逆量子化処理と逆ＤＣＴ変換処理が実行され、可変長復号処理された動きベクトルから動き補償部によって求められた予測画像と逆ＤＣＴ変換処理結果が加算部で加算され、加算部の出力から再生画像信号が生成される。この再生画像信号は、フレームメモリに格納され、他のフレームの予測に使用される。

ＭＰＥＧ−２の規格に続いて、テレビ電話等の低レートの符号化のための国際規格ＩＳＯ／ＩＥＣ １４４９６で標準化されたＭＰＥＧ−４規格(Ｈ．２６３)よる動画像圧縮方式も提案されている。ＭＰＥＧ−４規格(Ｈ．２６３)による圧縮方式は、ＭＰＥＧ−２と同様に、フレーム間予測と離散コサイン変換を用いた「ハイブリッド型」と呼ばれるものであり、更に１／４画素(クォーターペル)単位での動き補償が導入された。この圧縮方式は、ＭＰＥＧ−２と同様に、エントロピー符号化としてハフマン符号を使用するが、新しくランとレベルとラストとを同時に符号化する３次元可変長符号化（３次元ＶＬＣ）という技術を導入して、圧縮率を大きく向上させている。尚、ランとレベルとはランレングスの係数に関するものであって、ラストとは最後の係数であるか否かを示すものである。更に、ＭＰＥＧ−４規格(Ｈ．２６３)には、Ｂａｓｅｌｉｎｅと呼ばれる基本部分と、Ａｎｎｅｘと呼ばれる拡張規格とがある。

ＭＰＥＧ−４規格(Ｈ．２６３)による圧縮方式を、より符号化効率が高いものにすべく、ＭＰＥＧ−４ ＡＶＣ規格(Ｈ．２６４)が国際規格ＩＳＯ／ＩＥＣ １４４９６−１０によって標準化された。尚、ＡＶＣは、Advanced Video Codingの略であり、ＭＰＥＧ−４ ＡＶＣ規格(Ｈ．２６４)は、Ｈ．２６４／ＡＶＣ規格と呼ばれる。

Ｈ．２６４／ＡＶＣ規格によるビデオコーディングは、ビデオコーディング層(Video Coding Layer)と、ネットワーク抽象層(Network Abstraction Layer)とから構成されている。すなわち、ビデオコーディング層は、ビデオコンテキストを有効に表現するように設計されたものであり、またネットワーク抽象層は、ビデオのＶＣＬ表現をフォーマットするとともに、種々の転送層や記憶媒体による転送のために適切な方法でのヘッダー情報を与えるものである。

ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ規格等の国際標準動画像符号化方法では、時間方向の相関を使って高い符号化効率を実現するために、フレーム間予測符号化が使用されている。フレームの符号化モードには、フレーム間の相関を使わずに符号化するＩフレームと、過去に符号化した１フレームから予測するＰフレームと、過去に符号化した２フレームから予測することができるＢフレームがある。

このフレーム間予測符号化では、動画像から動き補償された参照画像(予測画像)が減算され、この減算による予測残差が符号化される。符号化の処理は、ＤＣＴ(離散コサイン変換)等の直交変換と量子化と可変長符号化との処理を含んでいる。動き補償(動き補正)は、フレーム間予測の参照フレームを空間的に移動させる処理を含むものであり、動き補償の処理は、被符号化フレームのブロック単位で行われる。画像内容に動きが無い場合には、移動は無く被予測画素と同一位置の画素が使用される。動きが有る場合には、最も適合するブロックが探索され、移動量が動きベクトルとされる。動き補償のブロックは、ＭＰＥＧ−２の符号化方法では、１６画素×１６画素／１６画素×８画素のブロックであり、ＭＰＥＧ−４の符号化方法では、１６画素×１６画素／１６画素×８画素／８画素×８画素のブロックである。動き補償のブロックは、Ｈ．２６４／ＡＶＣ規格の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×１６画素／８画素×８画素／８画素×４画素／４画素×８画素／４画素×４画素のブロックである。

上述した符号化処理は映像画面(フレームまたはフィールド)毎に行われるものであり、画面を細分化したブロック(通常は１６画素×１６画素、ＭＰＥＧではマクロブロック(ＭＢ)と呼ばれる)が処理単位となるものである。すなわち、符号化されるべきブロック毎に、既に符号化された参照画像から最も類似したブロック(予測画像)が選択され、符号化画像(ブロック)と予測画像との差分信号が符号化(直交変換、量子化等)される。画面内での符号化されるブロックと予測信号の相対位置の差が、動きベクトルと呼ばれるものである。

また下記非特許文献１には、Ｈ．２６４／ＡＶＣ規格によるビデオコーディング層(ＶＣＬ)は、ブロックベースドハイブリッドビデオコーディングと呼ばれるアプローチに従っていると記載されている。ＶＣＬ設計は、マクロブロック、スライス、スライスブロックから構成されており、各ピクチャーは固定サイズの複数のマクロブロックに分割され、各マクロブロックは、輝度成分で１６×１６サンプルの四角形ピクチャー領域と、それに対応する２つの色差成分のそれぞれに四角形サンプル領域とを含んでいる。１つのピクチャーは、１つまたはそれ以上のスライスを含むことができ、各スライスは、アクティブシーケンスとピクチャーパラメータセットとを与えると言う意味で自己包含的であり、スライス表現は、基本的には他のスライスからの情報を使用することなくデコードされるので、シンタックスエレメントは、ビットストリームとピクチャーの領域のサンプルの値とから解析できる。しかしながら、より完全なデコーディングのために、スライス境界にわたってデブロッキングフィルタを適応するためには、他のスライスからのいくつかの情報が必要となる。また、各スライスは、ピクチャーの他のスライスと独立してエンコードされデコードされるので、スライスは並列処理に使用できることも、下記非特許文献１に記載されている。

一方で、動画像符号を扱うシステムは、デジタルＨＤＴＶ(High Definition Television)放送受信機やＨＤＴＶ信号を撮影可能なデジタルビデオカメラなど、画像サイズが大画面化してきている。これらの信号を処理する画像符号化装置や画像復号装置には、ますます高い処理性能が求められている。

このような背景から、Ｈ．２６４／ＡＶＣ規格の後続規格であるＨ．２６５(ＩＳＯ／ＩＥＣ ２３００８−２)規格が提案された。この新規格は、ＨＥＶＣ(High Efficiency Video Coding)規格とも呼ばれている。このＨＥＶＣ規格は、ブロックサイズの適正化等により圧縮効率が優れており、ＭＰＥＧ−２規格と比較して約４倍、Ｈ．２６４／ＡＶＣ規格と比較して約２倍の圧縮性能を有するものである。

一方、下記特許文献１には、ＭＰＥＧ−１／２／４とＨ．２６１／Ｈ．２６３／Ｈ．２６４／ＡＶＣ規格等、広く採用されている種々の符号化圧縮規格が、１６×１６画素からなる１つのマクロブロックが動き補償と後続処理の処理単位として使用されているのに対し、Ｈ．２６５／ＨＥＶＣ規格では、よりフレキシブルなブロック構造が処理単位として採用されると記載されている。このフレキシブルなブロック構造の単位は、コーディングユニット(ＣＵ)と呼ばれ、最大コーディングユニット(ＬＣＵ)から出発して良好な性能を達成するために、クアッド・トリー(quadtree)を使用した小さなブロックに適応的に分割される。最大コーディングユニット(ＬＣＵ)のサイズは、１６×１６画素のマクロブロックのサイズよりもずっと大きな６４×６４画素である。下記特許文献１の図１とそれに関係する開示には、クアッド・トリーに基づくコーディングユニット分割の例が示され、その深さ“ゼロ”では、最初のコーディングユニット(ＣＵ)は、６４×６４画素からなる最大コーディングユニット(ＬＣＵ)である。スプリットフラグ“０”は、その時点のコーディングユニット(ＣＵ)が分割されないことを示し、スプリットフラグ“１”は、その時点のコーディングユニット(ＣＵ)がクアッド・ツリーによって４つの小さなコーディングユニットに分割されることを示す。分割後のコーディングユニット(ＣＵ)は、予め特定された最小コーディングユニット(ＣＵ)サイズに到達するまで、更にクアッド・ツリー分割されることも、下記特許文献１に記載されている。

下記非特許文献２には、Ｈ．２６５／ＨＥＶＣ規格の概観が記載されている。以前の規格のコーディングレイヤーのコアが、輝度サンプルの１６×１６ブロックと８×８ブロックの２つの色差サンプルを含むマクロブロックであったのに対して、Ｈ．２６５／ＨＥＶＣ規格においては、伝統的なマクロブロックよりも大きくエンコーダによってサイズが選択されるコーディングツリーユニット(ＣＴＵ)である。コーディングツリーユニット(ＣＴＵ)は、輝度コーディングツリーブロック(ＣＴＢ)と色差コーディングツリーブロック(ＣＴＢ)とシンタックス要素とによって構成される。コーディングツリーユニット(ＣＴＵ)のクアッド・ツリー・シンタックスは、その輝度と色差のコーディングツリーブロック(ＣＴＢ)の大きさと位置とを指定する。ピクチャー領域を符号化するためにインター・ピクチャーまたはイントラ・ピクチャーが使用されるか否かの決定は、コーディングユニット(ＣＵ)のレベルでなされる。プレディクションユニット(ＰＵ)の分割構造は、コーディングユニット(ＣＵ)のレベルにその根源を持っている。基本的なプレディクションタイプの決定に依存して、輝度と色差のコーディングブロック(ＣＢ)は、サイズの分割が可能で、輝度と色差のプレディクションブロック(ＰＢ)からの予測が可能である。Ｈ．２６５／ＨＥＶＣ規格は、６４×６４サンプルから４×４サンプルまでの可変のプレディクションブロック(ＰＢ)のサイズをサポートする。予測残差はブロック変換によって符号化されて、トランスフォームユニット(ＴＵ)のツリー構造は、コーディングユニット(ＣＵ)のレベルにその根源を持つものである。輝度のコーディングブロック(ＣＢ)の残差は、輝度のトランスフォームブロック(ＴＢ)と同一なことが可能であり、更に小さな輝度のトランスフォームブロック(ＴＢ)への分割が可能である。これは、色差のトランスフォームブロック(ＴＢ)でも同様である。離散コサイン変換(ＤＣＴ)の関数と類似した整数ベースの関数が、４×４、８×８、１６×１６、３２×３２サンプルの四角型のトランスフォームブロック(ＴＢ)のサイズのために定義されている。Ｈ．２６５／ＨＥＶＣ規格では、Ｈ．２６４／ＡＶＣ規格と同様に、均等復元量子化(ＵＲＱ：Uniform Reconstruction Quantization)が使用される。すなわち、量子化パラメータ(ＱＰ)の値の範囲は０から５１までで規定され、量子化パラメータ(ＱＰ)のマッピングは量子化スケーリングマトリックスの対数に近似的に対応する。

更に下記非特許文献２には、Ｈ．２６５／ＨＥＶＣ規格のスライスは、同一のピクチャーの他のスライスから独立に符号化されることが可能なデータ構造であることが記載されている。また更に下記非特許文献２には、Ｈ．２６５／ＨＥＶＣ規格には、並列処理における処理能力を強化するかパケッタイズする目的でスライスデータの構造を修正するために、タイルやウエーブフロント・パラレル・プロセッシング(ＷＰＰ)の新規な特徴が導入されていることも記載されている。タイルは、ピクチャーを四角形の領域に分割するものであり、タイルの主たる目的は、誤差の回復力を提供するよりも、並列処理の能力を増加するものである。複数のタイルは、１つのピクチャーの独立に復号可能な領域であり、こられは共有ヘッダー情報によって符号化される。ウエーブフロント・パラレル・プロセッシング(ＷＰＰ)により、１つのスライスは複数のコーディングツリーユニット(ＣＴＵ)の行に分割される。最初の行は通常の方法によって処理され、最初の行に若干の決定がされた後に２番目の行は処理を開始され、２番目の行に若干の決定がされた後に３番目の行は処理を開始されることができる。

更に、下記特許文献２の図７と図８と図９とそれに関係する開示には、ＭＰＥＧ−２規格によって符号化されたビットストリームを、スライスレベルで並列処理するＭＰＥＧデコーダが記載されている。すなわち、ＭＰＥＧ−２規格では、スライスは１行分のマクロブロック(ＭＢ)のみを含むので、スライスレベルで並列処理することで、複数行のマクロブロック(ＭＢ)の並列処理をＭＰＥＧデコーダが実行するものである。

また更に下記特許文献２には、ＭＰＥＧ−４(Ｈ．２６３)規格では、ＭＰＥＧ−２規格のようなスライスヘッダと呼ばれるユニークコードがＶＯＰ(Video Object Plane)と呼ばれるピクチャー内に存在しないので、スライスレベルの並列処理ができないという問題が記載されている。この問題を解決するために、下記特許文献２の図１と図２の第１実施形態による画像復号装置は、ビットストリーム解析部と４個のＶＯＰデコーダとフレームメモリとメモリ制御部とによって構成される。ビットストリーム解析部は、４個のＶＯＰデコーダでの各マクロブロックのデコード処理開始タイミングが、各マクロブロックが必要とする参照画像領域のデコード完了後となるように、４個のＶＯＰデコーダのデコード処理開始制御が実行されるものである。下記特許文献２の図１と図２の第１実施形態では、このデコード処理開始制御を具体的に実行するために、ＦＣＯＤＥ(エフコード)が使用される。すなわち、ＦＣＯＤＥ＝２の場合には、参照画像領域は±３２画素となるので、符号化対象ピクチャー内の処理マクロブロックが必要とする参照画像領域は、参照ピクチャー内部で、処理マクロブロックの位置に対して上下マクロブロック(ＭＢ)２個分と左右マクロブロック(ＭＢ)２個分の範囲となる。また、ＦＣＯＤＥ(エフコード)は、下記特許文献３の図１３に示されたように、エフコード＝１の場合には、動きベクトル探索範囲が−１６〜＋１５．５画素となり、エフコード＝２の場合には、動きベクトル探索範囲が−３２〜＋３１．５画素となる。また、エフコード＝３の場合には、動きベクトル探索範囲が−６４〜＋６３．５画素となり、エフコード＝４の場合には、動きベクトル探索範囲が−１２８〜＋１２７．５画素となる。更に、エフコード＝５の場合には、動きベクトル探索範囲が−２５６〜＋２５５．５画素となり、エフコード＝６の場合には、動きベクトル探索範囲が−５１２〜＋５１１．５画素となり、エフコード＝７の場合には、動きベクトル探索範囲が−１０２４〜＋１０２３．５画素となる。

更に、下記特許文献２の図３と図４の第２実施形態には、符号化対象ピクチャー内の処理マクロブロックが必要とする参照画像領域を示す動きベクトルが未処理領域を示す場合には、未処理領域のデコードが完了するので待機するようにデコード制御部により制御することも記載されている。

米国公開特許 ＵＳ２０１２／０１０６６５２Ａ１ 明細書 特開２００６−１４１１３号 公報 特開２００4−１２０７１０号 公報

ＧＡＲＹ Ｊ． ＳＵＬＬＩＶＡＮ ｅｔ ａｌ，"Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ−Ｆｒｏｍ Ｃｏｎｃｅｐｔ ｔｏ ｔｈｅ Ｈ．２６４／ＡＶＣ規格 Ｓｔａｎｄａｒｄ" ， ＰＲＯＣＥＥＤＩＮＧ ＯＦ ＴＨＥ ＩＥＥＥ， ＶＯＬ．９３、 Ｎｏ．１， ＪＡＮＵＡＲＹ ２００５、ＰＰ．１８−３１． Ｇａｒｙ Ｊ． Ｓｕｌｌｉｖａｎ ｅｔ ａｌ， "Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ"， ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＮＯＬＯＧＹ， ＶＯＬ．２２，ＮＯ．１２， ＤＥＣＥＭＢＥＲ ２０１２， ＰＰ．１６４９−１６６８．

本発明者等は本発明に先立って、Ｈ．２６５／ＨＥＶＣ規格およびＨ．２６４／ＡＶＣ規格によって符号化されたビットストリームを復号可能な画像復号装置(video decoder)の開発に従事した。

この開発において、最初に本発明に先立って本発明者等は、上記特許文献２の図１と図２の第１実施形態による画像復号装置に関してレビューを行ったものである。

すなわち、上記特許文献２の図１と図２の第１実施形態では、このデコード処理開始制御を具体的に実行するために、動きベクトル探索範囲を示すＦＣＯＤＥ(エフコード)が使用されたものである。しかし、このＦＣＯＤＥ(エフコード)は、ＭＰＥＧ−１／２／４(Ｈ．２６３)の３つの規格で使用されていたが、最近発表されたＨ．２６５／ＨＥＶＣ規格およびＨ．２６４／ＡＶＣ規格では使用されていない。

従って、Ｈ．２６５／ＨＥＶＣ規格およびＨ．２６４／ＡＶＣ規格により符号化されたビットストリームを復号可能な画像復号装置として、上記特許文献２の第１実施形態に記載されたＦＣＯＤＥ(エフコード)を使用して並列処理のデコード処理制御を実行することは不可能であることが、本発明に先立った本発明者等による検討により明らかとされた。

一方、Ｈ．２６５／ＨＥＶＣ規格は、ブロックサイズの適正化等によって圧縮効率が優れたものであり、ＭＰＥＧ−２の規格に比較して約４倍、規格Ｈ．２６４／ＡＶＣ規格に比較して約２倍の圧縮性能を有するとされている。デジタルＨＤＴＶ(High Definition Television)放送受信機や、ＨＤＴＶ信号を撮影可能なデジタルビデオカメラ等における画像サイズの大画面化に伴い、動画像符号化装置や動画像復号装置には更に高い処理性能が求められており、ＨＥＶＣの規格はこれらの要求を満足するものと期待されている。

一方、近年、高精細ＨＤ(High Definition)の画素サイズである１９２０画素×１０８０画素の大きさの約４倍の４０９６画素×２１６０画素、または３８４０画素×２１６０画素の大きさの表示装置を有する４ＫＴＶが、注目されている。例えば、日本では２０１４年７月から、４Ｋテレビ放送を開始するとの総務省の方針が発表されている。このように、４ＫＴＶの表示装置の表示画面に相当する１枚のフレーム(ピクチャー)の動画像信号の符号化または復号を実行する動画像符号化装置または動画像復号装置にも、高い処理性能が要求される。

一方、本発明者等による検討によって、Ｈ．２６５／ＨＥＶＣ規格およびＨ．２６４／ＡＶＣ規格に準拠して符号化処理を実行する動画像符号化装置では、動画像符号化処理による動きベクトルの大きさの最大値は、高精細ＨＤの画素サイズ(１９２０画素×１０８０画素)の大きさの約半分である場合が多いことが、明らかとされた。

図７は、動きベクトルの大きさの最大値が、高精細ＨＤの画素サイズの約半分であることを考慮して、本発明に先立って本発明者等によって検討された動画像復号装置の動作を説明する図である。

図示しない動画像符号化装置から生成される符号化ビットストリームが図示しない復号制御部に供給されることより、第１番目のＩフレームＩ０と第２番目のＰフレームＰ１と第３番目のＰフレームＰ２と第４番目のＰフレームＰ３のそれぞれの符号化情報が復号制御部から生成される。

並列復号処理を実行する動画像復号装置のハードウェアを削減するために、奇数番目である第１番目のＩフレームＩ０と第３番目のＰフレームＰ２の符号化情報が第１復号処理部ＤＥＣ０により復号処理され、偶数番目である第２番目のＰフレームＰ１と第４番目のＰフレームＰ３の符号化情報が第２復号処理部ＤＥＣ１により復号処理される。

第１番目のＩフレームＩ０は、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。すなわち、高精細ＨＤの画素サイズに設定された動画像符号化画面は、水平方向にＸ個の画素を有し、垂直方向にＹ個の画素を有するものである。偶数番目の第２番目のＰフレームＰ１も、奇数番目の第３番目のＰフレームＰ２も、偶数番目の第４番目のＰフレームＰ３も、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

第２復号処理部ＤＥＣ１は、第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０での復号処理位置を監視しているので、第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の前半部分の復号処理の終了に応答して、第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の前半部分の復号処理が開始される。更に、第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の後半部分の復号処理の終了に応答して、第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の後半部分の復号処理が開始される。すなわち、第１復号処理部ＤＥＣ０が第１番目のＩフレームＩ０の開始点(０、０)の符号化情報の復号処理を開始してから第１番目のＩフレームＩ０の中間点(Ｘ／２、Ｙ／２)での符号化情報の復号処理を開始するまでの第１期間Ｔ０では、第１復号処理部ＤＥＣ０だけが復号処理を実行して、第２復号処理部ＤＥＣ１が復号処理を中止する、と言う復号単独処理が実行されるものである。更に第１復号処理部ＤＥＣ０が第１番目のＩフレームＩ０の中間点(Ｘ／２、Ｙ／２)での符号化情報の復号処理を開始してから第１番目のＩフレームＩ０の終了点(Ｘ、Ｙ)の符号化情報の復号処理を終了するまでの第２期間Ｔ１では、第１復号処理部ＤＥＣ０と第２復号処理部ＤＥＣ１とが復号処理を実行する、と言う並列復号処理が実行されるものである。すなわち、第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の復号処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが検出されると、その検出結果に応答して、第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の前半の復号処理が開始点(０、０)から開始される。その後、第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の復号処理が終了点(Ｘ、Ｙ)まで到達したことを検出すると、その検出結果に応答して、第３期間Ｔ２で第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の後半の復号処理が中間点(Ｘ／２、Ｙ／２)から開始される。

従って、第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の復号処理と第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の復号処理が、高精細ＨＤの画素サイズの約半分の時間差を有するパイプライン動作となるものである。その結果、高精細ＨＤの画素サイズの約半分の時間差を有するパイプライン動作により、第１期間Ｔ０での第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の前半部分のイントラ復号処理結果が、第２期間Ｔ１での第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の前半部分のインター復号処理のための参照画像情報として使用されることが可能となる。更に、第２期間Ｔ１での第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の後半部分のイントラ復号処理結果が、第３期間Ｔ２での第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の後半部分でのインター復号処理のための参照画像情報として使用されることが可能となる。

しかしながら、本発明者等による検討によって、図７に示した動画像復号装置の動作では、第３期間Ｔ２に第１復号処理部ＤＥＣ０はノーオペレーション(ＮＯＰ)を実行しなければならないので、並列復号処理の能力が低減される、と言う問題が明らかとされた。

第３期間Ｔ２に第１復号処理部ＤＥＣ０がノーオペレーション(ＮＯＰ)を実行しなければならないのは、次の理由によるものである。

上述したように、第２復号処理部ＤＥＣ１は第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０と第３番目のＰフレームＰ２での復号処理位置を監視しているので、第２復号処理部ＤＥＣ１が第２番目のＰフレームＰ１の後半部分のインター復号処理を実行する第３期間Ｔ２でも、第２復号処理部ＤＥＣ１は第１復号処理部ＤＥＣ０の復号処理位置を監視している。従って、もしも、第３期間Ｔ２において第１復号処理部ＤＥＣ０が第３番目のＰフレームＰ２の前半部分のインター復号処理を実行することを、想定する。この場合には、第３期間Ｔ２にて第２復号処理部ＤＥＣ１が第２番目のＰフレームＰ１の後半部分でのインター復号処理のために参照すべき参照画像情報が、第１復号処理部ＤＥＣ０による第３番目のＰフレームＰ２の前半部分でのインター復号処理によって不所望に上書きされると、言う問題が発生する。第３期間Ｔ２にて第２復号処理部ＤＥＣ１が第２番目のＰフレームＰ１の後半部分でのインター復号処理のために参照すべき参照画像情報は、第２期間Ｔ１での第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の後半部分での復号処理結果である。従って、この参照画像情報の上書きの問題を解消するために、第３期間Ｔ２に第１復号処理部ＤＥＣ０がノーオペレーション(ＮＯＰ)を実行しなければならないので、並列復号処理の能力が低減されると言う問題が発生する。

このような課題を解決するための手段等を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される代表的な実施の形態の概要を簡単に説明すれば、下記のとおりである。

すなわち、代表的な実施の形態による動画像復号処理装置は、復号制御部(１０)と第１復号処理部(２０)と第２復号処理部(２１)とを具備する。

復号制御部(１０)は、符号化ビットストリーム(ＢＳ)から第１の複数のフレーム(Ｉ０、Ｐ２)の符号化情報と第２の複数のフレーム(Ｐ１、Ｐ３)の符号化情報とを生成する。

第１の複数のフレーム(Ｉ０、Ｐ２)の符号化情報が復号制御部(１０)から第１復号処理部(２０)に供給され、第２の複数のフレーム(Ｐ１、Ｐ３)の符号化情報が復号制御部(１０)から第２復号処理部(２１)に供給される。

第３期間(Ｔ２)での第２復号処理部(２１)による第２の先行フレーム(Ｐ１)の途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの符号化情報の復号処理のために、第１終了信号(ＰＥＮ０)に応答して、第３期間(Ｔ２)での第１復号処理部(２０)による復号処理の結果の使用が禁止される。

第３期間(Ｔ２)での第２復号処理部(２１)による第２の先行フレーム(Ｐ１)の符号化情報の復号処理のために、第２期間(Ｔ１)での第１復号処理部(２０)による第１の先行フレーム(Ｉ０)の復号処理の結果の使用が許可される。

第２期間(Ｔ１)での第２復号処理部(２１)による第２の先行フレーム(Ｐ１)の復号処理の前記途中点(Ｘ／２、Ｙ／２)の到達に応答して、第３期間(Ｔ２)では第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた第１の後続フレーム(Ｐ２)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの符号化情報が第１復号処理部(２０)によって復号処理される(図１、図２参照)。

本願において開示される実施の形態のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。

すなわち、動画像復号処理装置によれば、並列処理能力の低下を軽減することができる。

図１は、実施の形態１による動画像復号処理装置の構成を示す図である。 図２は、図１に示した実施の形態１による動画像復号処理装置の動作を説明する図である。 図３は、実施の形態２による動画像符号化処理装置の構成を示す図である。 図４は、図３に示した実施の形態２による動画像符号化処理装置の動作を説明する図である。 図５は本発明の他の実施の形態による動画像復号処理装置の構成と動作を説明する図である。 図６は本発明の他の実施の形態による動画像符号化処理装置の構成と動作を説明する図である。 図７は、動きベクトルの大きさの最大値が、高精細ＨＤの画素サイズの約半分であることを考慮して、本発明に先立って本発明者等によって検討された動画像復号装置の動作を説明する図である。

１．実施の形態の概要
まず、本願において開示される代表的な実施の形態について、その概要を説明する。代表的な実施の形態の概要説明で括弧を付して参照する図面の参照符号は、それが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕代表的な実施の形態による動画像復号処理装置は、復号制御部(１０)と第１復号処理部(２０)と第２復号処理部(２１)とを具備する。

前記復号制御部(１０)は、符号化ビットストリーム(ＢＳ)から第１の複数のフレーム(Ｉ０、Ｐ２)の符号化情報と第２の複数のフレーム(Ｐ１、Ｐ３)の符号化情報とを生成する。

前記第１の複数のフレーム(Ｉ０、Ｐ２)の前記符号化情報が前記復号制御部(１０)から前記第１復号処理部(２０)に供給され、前記第２の複数のフレーム(Ｐ１、Ｐ３)の前記符号化情報が前記復号制御部(１０)から前記第２復号処理部(２１)に供給される。

第１期間(Ｔ０)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた第１の先行フレーム(Ｉ０)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記符号化情報が前記第１復号処理部(２０)によって復号処理される。

前記第１期間(Ｔ０)での前記第１復号処理部(２０)による前記第１の先行フレーム(Ｉ０)の復号処理の前記途中点(Ｘ／２、Ｙ／２)の到達に応答して、第２期間(Ｔ１)では、前記第２の複数のフレーム(Ｐ１、Ｐ３)に含まれた第２の先行フレーム(Ｐ１)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記符号化情報が前記第２復号処理部(２１)によって復号処理される。

前記第２期間(Ｔ１)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた前記第１の先行フレーム(Ｉ０)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報が前記第１復号処理部(２０)によって復号処理される。

前記第２期間(Ｔ１)での前記第１復号処理部(２０)による前記第１の先行フレーム(Ｉ０)の復号処理の前記終了点(Ｘ、Ｙ)の到達を示す第１終了信号(ＰＥＮ０)に応答して、第３期間(Ｔ２)では、前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報が前記第２復号処理部(２１)によって復号処理される。

前記第３期間(Ｔ２)での前記第２復号処理部(２１)による前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報の復号処理のために、前記第１終了信号(ＰＥＮ０)に応答して、前記第３期間(Ｔ２)での前記第１復号処理部(２０)による復号処理の結果の使用が禁止される。

前記第３期間(Ｔ２)での前記第２復号処理部(２１)による前記第２の先行フレーム(Ｐ１)の前記符号化情報の復号処理のために、前記第２期間(Ｔ１)での前記第１復号処理部(２０)による前記第１の先行フレーム(Ｉ０)の前記復号処理の結果の使用が許可される。

前記第２期間(Ｔ１)での前記第２復号処理部による前記第２の先行フレームの復号処理の前記途中点の到達に応答して、前記第３期間では前記第１の複数のフレームに含まれた第１の後続フレーム(Ｐ２)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの符号化情報が前記第１復号処理部(２０)によって復号処理されることを特徴とする(図１、図２参照)。

前記実施の形態によれば、並列処理能力の低下を軽減することができる。

好適な実施の形態では、前記第３期間での前記第２復号処理部(２１)による前記第２の先行フレーム(Ｐ１)の復号処理の前記終了点(Ｘ、Ｙ)の到達を示す第２終了信号(ＰＥＮ１)に応答して、第４期間(Ｔ３)では、前記第１の後続フレーム(Ｐ２)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報が前記第１復号処理部(２０)によって復号処理される。

前記第４期間(Ｔ３)での前記第１復号処理部(２０)による前記第１の後続フレーム(Ｐ２)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報の復号処理のために、前記第２終了信号(ＰＥＮ１)に応答して、前記第４期間(Ｔ３)での前記第２復号処理部(２１)による復号処理の結果の使用が禁止される。

前記第４期間(Ｔ３)での前記第１復号処理部(２０)による前記第１の後続フレーム(Ｐ２)の前記符号化情報の復号処理のために、前記第３期間(Ｔ２)での前記第２復号処理部(２１)による前記第２の先行フレーム(Ｐ１)の前記復号処理の結果の使用が許可される。

前記第３期間での前記第１復号処理部(による前記第１の後続フレームの復号処理の前記途中点(Ｘ／２、Ｙ／２)の到達に応答して、前記第４期間では前記第２の複数のフレームに含まれた第２の後続フレーム(Ｐ３)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの符号化情報が前記第２復号処理部(２１)によって復号処理される(図１、図２参照)。

他の好適な実施の形態では、前記第１復号処理部(２０)と前記第２復号処理部(２１)の各復号処理部は、可変長復号部(２０１)と逆量子化部(２０２)と逆変換部(２０３)とセレクタ部(２０４)と動き補償部(２０５)とイントラ予測部(２０６)と加算部(２０７)とフィルタ部(２０８)とを含むことを特徴とする(図１参照)。

更に他の好適な実施の形態では、前記復号制御部(１０)と前記第１復号処理部(２０)と前記第２復号処理部(２１)とは、半導体集積回路の半導体チップの内部に集積化されたことを特徴とする(図１参照)。

具体的な実施の形態では、前記動画像復号処理装置は、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠した前記符号化ビットストリーム(ＢＳ)を復号処理することを特徴とする(図１、図２参照)。

〔２〕代表的な実施の形態による動画像符号化処理装置は、符号制御部(１０、３０)と第１符号化処理部(５０)と第２符号化処理部(５１)とを具備する。

前記符号制御部(１０、３０)に、第１の複数のフレーム(Ｉ０、Ｐ２)の動画像信号と第２の複数のフレーム(Ｐ１、Ｐ３)の動画像信号とを含む符号化対象である映像入力信号(ＶＳ)が供給される。

前記第１の複数のフレーム(Ｉ０、Ｐ２)の前記動画像信号が前記符号制御部(１０、３０)から前記第１符号化処理部(５０)に供給され、前記第２の複数のフレーム(Ｐ１、Ｐ３)の前記動画像信号が前記符号制御部(１０、３０)から前記第２符号化処理部(５１)に供給される。

第１期間(Ｔ０)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた第１の先行フレーム(Ｉ０)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記動画像信号が前記第１符号化処理部(５０)によって符号化処理される。

前記第１期間での前記第１符号化処理部による前記第１の先行フレームの符号化処理の前記途中点の到達に応答して、第２期間(Ｔ１)では、前記第２の複数のフレーム(Ｐ１、Ｐ３)に含まれた第２の先行フレーム(Ｐ１)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記動画像信号が前記第２符号化処理部(５１)によって符号化処理される。

前記第２期間(Ｔ１)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた前記第１の先行フレーム(Ｉ０)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号が前記第１符号化処理部(５０)によって符号化処理される。

前記第２期間(Ｔ１)での前記第１符号化処理部(５０)による前記第１の先行フレーム(Ｉ０)の符号化処理の前記終了点(Ｘ、Ｙ)の到達を示す第１終了信号(ＰＥＮ０)に応答して、第３期間(Ｔ２)では、前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号が前記第２符号化処理部(５１)によって符号化処理される。

前記第３期間(Ｔ２)での前記第２符号化処理部(５１)による前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号の符号化処理のために、前記第１終了信号(ＰＥＮ０)に応答して、前記第３期間(Ｔ２)での前記第１符号化処理部(５０)による符号化処理の結果の使用が禁止される。

前記第３期間(Ｔ２)での前記第２符号化処理部(５１)による前記第２の先行フレーム(Ｐ１)の前記動画像信号の符号化処理のために、前記第２期間(Ｔ１)での前記第１符号化処理部(５０)による前記第１の先行フレーム(Ｉ０)の前記符号化処理の結果の使用が許可される。

前記第２期間での前記第２符号化処理部による前記第２の先行フレームの符号化処理の前記途中点の到達に応答して、前記第３期間(Ｔ２)では前記第１の複数のフレームに含まれた第１の後続フレーム(Ｐ２)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの符号化情報が前記第１符号化処理部(５０)によって符号化処理される(図３、図４参照)。

前記実施の形態によれば、並列処理能力の低下を軽減することができる。

好適な実施の形態では、前記第３期間での前記第２符号化処理部による前記第２の先行フレームの符号化処理の前記終了点の到達を示す第２終了信号(ＰＥＮ１)に応答して、第４期間(Ｔ３)では、前記第１の後続フレーム(Ｐ２)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号が前記第１符号化処理部(５０)によって符号化処理される。

前記第４期間(Ｔ３)での前記第１符号化処理部(５０)による前記第１の後続フレーム(Ｐ２)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号の符号化処理のために、前記第２終了信号(ＰＥＮ１)に応答して、前記第４期間(Ｔ３)での前記第２符号化処理部(５１)による符号化処理の結果の使用が禁止される。

前記第４期間(Ｔ３)での前記第１符号化処理部(５０)による前記第１の後続フレーム(Ｐ２)の前記動画像信号の符号化処理のために、前記第３期間(Ｔ２)での前記第２符号化処理部(５１)による前記第２の先行フレーム(Ｐ１)の前記符号化処理の結果の使用が許可される。

前記第３期間での前第１符号化処理部による前記第１の後続フレームの符号化処理の前記途中点の到達に応答して、前記第４期間(Ｔ３)では前記第２の複数のフレームに含まれた第２の後続フレーム(Ｐ３)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの動画像信号が前記第２符号化処理部(５１)によって符号化処理される(図３、図４参照)。

他の好適な実施の形態では、前記第１符号化処理部(５０)と前記第２符号化処理部(５１)の各符号化処理部は、減算器と周波数変換部と量子化部と逆量子化部と逆周波数変換部と加算器とフィルタ部と動きベクトル検出部と動き補償部とイントラ予測部とセレクタ部と可変長符号化部とを含むことを特徴とする(図３参照)。

更に他の好適な実施の形態では、前記符号制御部(１０、３０)と前記第１符号化処理部(５０)と前記第２符号化処理部(５１)とは、半導体集積回路の半導体チップの内部に集積化されたことを特徴とする(図１参照)。

具体的な実施の形態では、前記動画像符号化処理装置は、映像入力信号(ＶＳ)を符号化処理することによって、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠した前記符号化ビットストリーム(ＢＳ)を生成することを特徴とする(図３、図４参照)。

〔３〕代表的な実施の形態は、復号制御部(１０)と第１復号処理部(２０)と第２復号処理部(２１)とを具備する動画像復号処理装置の動作方法である。

前記復号制御部(１０)は、符号化ビットストリーム(ＢＳ)から第１の複数のフレーム(Ｉ０、Ｐ２)の符号化情報と第２の複数のフレーム(Ｐ１、Ｐ３)の符号化情報とを生成する。

前記第１の複数のフレーム(Ｉ０、Ｐ２)の前記符号化情報が前記復号制御部(１０)から前記第１復号処理部(２０)に供給され、前記第２の複数のフレーム(Ｐ１、Ｐ３)の前記符号化情報が前記復号制御部(１０)から前記第２復号処理部(２１)に供給される。

第１期間(Ｔ０)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた第１の先行フレーム(Ｉ０)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記符号化情報が前記第１復号処理部(２０)によって復号処理される。

前記第１期間(Ｔ０)での前記第１復号処理部(２０)による前記第１の先行フレーム(Ｉ０)の復号処理の前記途中点(Ｘ／２、Ｙ／２)の到達に応答して、第２期間(Ｔ１)では、前記第２の複数のフレーム(Ｐ１、Ｐ３)に含まれた第２の先行フレーム(Ｐ１)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記符号化情報が前記第２復号処理部(２１)によって復号処理される。

前記第２期間(Ｔ１)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた前記第１の先行フレーム(Ｉ０)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報が前記第１復号処理部(２０)によって復号処理される。

前記第２期間(Ｔ１)での前記第１復号処理部(２０)による前記第１の先行フレーム(Ｉ０)の復号処理の前記終了点(Ｘ、Ｙ)の到達を示す第１終了信号(ＰＥＮ０)に応答して、第３期間(Ｔ２)では、前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報が前記第２復号処理部(２１)によって復号処理される。

前記第３期間(Ｔ２)での前記第２復号処理部(２１)による前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記符号化情報の復号処理のために、前記第１終了信号(ＰＥＮ０)に応答して、前記第３期間(Ｔ２)での前記第１復号処理部(２０)による復号処理の結果の使用が禁止される。

前記第３期間(Ｔ２)での前記第２復号処理部(２１)による前記第２の先行フレーム(Ｐ１)の前記符号化情報の復号処理のために、前記第２期間(Ｔ１)での前記第１復号処理部(２０)による前記第１の先行フレーム(Ｉ０)の前記復号処理の結果の使用が許可される。

前記第２期間での前記第２復号処理部による前記第２の先行フレーム(Ｐ１)の復号処理の前記途中点の到達に応答して、前記第３期間(Ｔ２)では前記第１の複数のフレームに含まれた第１の後続フレーム(Ｐ２)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの符号化情報が前記第１復号処理部(２０)によって復号処理される(図１、図２参照)。

前記実施の形態によれば、並列処理能力の低下を軽減することができる。

〔４〕代表的な実施の形態は、符号制御部(１０、３０)と第１符号化処理部(５０)と第２符号化処理部(５１)とを具備する動画像符号化処理装置の動作方法である。

前記符号制御部(１０、３０)に、第１の複数のフレーム(Ｉ０、Ｐ２)の動画像信号と第２の複数のフレーム(Ｐ１、Ｐ３)の動画像信号とを含む符号化対象である映像入力信号(ＶＳ)が供給される。

前記第１の複数のフレーム(Ｉ０、Ｐ２)の前記動画像信号が前記符号制御部(１０、３０)から前記第１符号化処理部(５０)に供給され、前記第２の複数のフレーム(Ｐ１、Ｐ３)の前記動画像信号が前記符号制御部(１０、３０)から前記第２符号化処理部(５１)に供給される。

第１期間(Ｔ０)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた第１の先行フレーム(Ｉ０)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記動画像信号が前記第１符号化処理部(５０)によって符号化処理される。

前記第１期間での前記第１符号化処理部による前記第１の先行フレーム(Ｉ０)の符号化処理の前記途中点(Ｘ／２、Ｙ／２)の到達に応答して、第２期間(Ｔ１)では、前記第２の複数のフレームに含まれた第２の先行フレーム(Ｐ１)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの前記動画像信号が前記第２符号化処理部(５１)によって符号化処理される。

前記第２期間(Ｔ１)では、前記第１の複数のフレーム(Ｉ０、Ｐ２)に含まれた前記第１の先行フレーム(Ｉ０)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号が前記第１符号化処理部(５０)によって符号化処理される。

前記第２期間(Ｔ１)での前記第１符号化処理部(５０)による前記第１の先行フレーム(Ｉ０)の符号化処理の前記終了点(Ｘ、Ｙ)の到達を示す第１終了信号(ＰＥＮ０)に応答して、第３期間(Ｔ２)では、前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号が前記第２符号化処理部(５１)によって符号化処理される。

前記第３期間(Ｔ２)での前記第２符号化処理部(５１)による前記第２の先行フレーム(Ｐ１)の前記途中点(Ｘ／２、Ｙ／２)から終了点(Ｘ、Ｙ)までの前記動画像信号の符号化処理のために、前記第１終了信号(ＰＥＮ０)に応答して、前記第３期間(Ｔ２)での前記第１符号化処理部(５０)による符号化処理の結果の使用が禁止される。

前記第３期間(Ｔ２)での前記第２符号化処理部(５１)による前記第２の先行フレーム(Ｐ１)の前記動画像信号の符号化処理のために、前記第２期間(Ｔ１)での前記第１符号化処理部(５０)による前記第１の先行フレーム(Ｉ０)の前記符号化処理の結果の使用が許可される。

前記第２期間での前記第２符号化処理部による前記第２の先行フレーム(Ｐ１)の符号化処理の前記途中点の到達に応答して、前記第３期間(Ｔ２)では前記第１の複数のフレームに含まれた第１の後続フレーム(Ｐ２)の開始点(０、０)から途中点(Ｘ／２、Ｙ／２)までの符号化情報が前記第１符号化処理部(５０)によって符号化処理される(図３、図４参照)。

前記実施の形態によれば、並列処理能力の低下を軽減することができる。

２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。

［実施の形態１］
《動画像復号処理装置の構成》
図１は、実施の形態１による動画像復号処理装置の構成を示す図である。

図１に示した実施の形態１の動画像復号処理装置は、復号制御部１０と第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とメモリ制御部３０とフレームメモリ４０とによって構成される。

図示しない動画像符号化装置から生成される符号化ビットストリームＢＳが復号制御部１０に供給されることより、第１番目のＩフレームＩ０と第２番目のＰフレームＰ１と第３番目のＰフレームＰ２と第４番目のＰフレームＰ３のそれぞれの符号化情報が復号制御部１０から生成される。

図１に示した実施の形態１でも、並列復号処理を実行する動画像復号処理装置のハードウェアを削減するために、奇数番目の第１番目のＩフレームＩ０と第３番目のＰフレームＰ２の符号化情報が第１復号処理部２０(ＤＥＣ０)により復号処理され、偶数番目の第２番目のＰフレームＰ１と第４番目のＰフレームＰ３の符号化情報が第２復号処理部２１(ＤＥＣ１)により復号処理される。

奇数番目の第１番目のＩフレームＩ０は、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。すなわち、高精細ＨＤの画素サイズに設定された動画像符号化画面は、水平方向にＸ個の画素を有し、垂直方向にＹ個の画素を有するものである。偶数番目の第２番目のＰフレームＰ１も、奇数番目の第３番目のＰフレームＰ２も、偶数番目の第４番目のＰフレームＰ３も、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

《復号制御部》
復号制御部１０は、図示しない動画像符号化装置によってＨ．２６４／ＡＶＣ規格もしくはＨ．２６５／ＨＥＶＣ規格に準拠して符号化されたビットストリームＢＳのパーシング(構文解釈)を実行する。すなわち、復号制御部１０は、符号化ビットストリームＢＳのシンタックス(圧縮符号化データ列の規則もしくは符号化データのビットストリームの構成方法)のパーシングを実行する。その結果、復号制御部１０は符号化ビットストリームＢＳのフレーム分割を実行するので、奇数番目の第１番目のＩフレームＩ０と第３番目のＰフレームＰ２の符号化情報が第１復号処理部２０(ＤＥＣ０)に供給され、偶数番目の第２番目のＰフレームＰ１と第４番目のＰフレームＰ３の符号化情報が第２復号処理部２１(ＤＥＣ１)に供給される。

更に、復号制御部１０は、画像参照制御部１０１と処理ブロック制御部１０２とを含んでいる。画像参照制御部１０１には第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とからフレーム復号処理終了信号ＰＥＮ０、ＰＥＮ１とが供給されることによって、画像参照制御部１０１から処理ブロック制御部１０２に画像参照制御信号Ｂ０、Ｂ１が供給される。処理ブロック制御部１０２から第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とにブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０、Ｓｔａｒｔ＿ＭＢ１が供給されて、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とから処理ブロック制御部１０２に処理ブロック信号ＰＭＢ０、ＰＭＢ１が供給される。

《第１と第２の復号処理部》
第１復号処理部２０(ＤＥＣ０)は、可変長復号部２０１と逆量子化部２０２と逆変換部２０３とセレクタ部２０４と動き補償部２０５とイントラ予測部２０６と加算部２０７とフィルタ部２０８とを含んでいる。

第２復号処理部２１(ＤＥＣ１)も、可変長復号部２１１と逆量子化部２１２と逆変換部２１３とセレクタ部２１４と動き補償部２１５とイントラ予測部２１６と加算部２１７とフィルタ部２１８とを含んでいる。

第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１は可変長復号を実行するエントロピー復号ユニットとして機能するので、第１番目のＩフレームＩ０と第３番目のＰフレームＰ２の符号化情報のエントロピー符号を逆転させて、図示しない動画像符号化装置によって符号化された予測モードを復号する。復号された予測モードがイントラ予測モードである場合に可変長復号部２０１はイントラ予測の情報を再構築する一方、復号された予測モードがインター予測モードである場合に可変長復号部２０１は動きベクトルを再構築する。

第２復号処理部２１(ＤＥＣ１)の可変長復号部２１１も可変長復号を実行するエントロピー復号ユニットとして機能するので、第２番目のＩフレームＩ１と第４番目のＰフレームＰ３の符号化情報のエントロピー符号を逆転させて、図示しない動画像符号化装置によって符号化された予測モードを復号する。復号された予測モードがイントラ予測モードである場合に可変長復号部２１１はイントラ予測の情報を再構築する一方、復号された予測モードがインター予測モードである場合に可変長復号部２１１は動きベクトルを再構築する。

第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１と逆変換部２０３とセレクタ部２０４と動き補償部２０５とイントラ予測部２０６と加算部２０７とフィルタ部２０８は、それぞれ下記のように動作するものである。

可変長復号部２０１によりエントロピー復号された輝度および色差の予測残差成分が逆量子化部２０２の入力端子に供給され、この予測残差成分が逆量子化部２０２により逆量子化処理される。逆量子化部２０２の出力信号は、逆変換部２０３によって逆離散コサイン変換(ＤＣＴ)または逆離散サイン変換(ＤＳＴ)の処理の実行によって残差信号に変換される。すなわち、逆変換部２０３に逆量子化部２０２から周波数ドメインのデータが供給され、残差信号に変換される。

加算部２０７の第１入力端子には逆変換部２０３から残差信号が供給され、加算部２０７の第２入力端子にはセレクタ部２０４から予測情報が供給される。復号動画像ストリームでインター予測モードが示されている場合には、セレクタ部２０４は予測された予測信号を動き補償部２０５から選択する。復号動画像ストリームでイントラ予測モードが示されている場合には、セレクタ部２０４はイントラ予測部２０６から予測信号を選択する。

動き補償部２０５はフレームメモリ４０とメモリ制御部３０からの参照データを使用するとともに、動画像復号処理装置によって計算されて符号化動画像ビットストリームで伝送された動き予測を適用することによって、予測信号を生成するものである。すなわち、動き補償部２０５は、可変長復号部２０１からの動きベクトルＭＶと、フレームメモリ４０からの参照データＲｅｆ＿Ｐｉｃｔとを使用することによって、予測信号を生成するものである。

イントラ予測部２０６は現在のブロックより以前に復号された周辺画素を参照データＲｅｆ＿Ｐｉｃｔとして使用して符号化動画像ビットストリームで伝送されたイントラ予測モードにより指定された動画像復号処理装置によって計算されたイントラ予測を適用することによって、予測信号を生成する。すなわち、イントラ予測部２０６は、可変長復号部２０１からの空間的予測モードＳＰＭとフレームメモリ４０からの参照データＲｅｆ＿Ｐｉｃｔとを使用することにより、予測信号を生成するものである。

加算部２０７は、逆変換部２０３から供給される残差信号とセレクタ部２０４により選択される予測信号とを加算することによって、復号映像信号ＶＳを生成する。加算部２０７によって生成された復号映像信号ＶＳは、フィルタ部２０８とメモリ制御部３０とフレームメモリ４０とを介して、図示されない表示装置に供給される。

フィルタ部２０８は、Ｈ．２６４／ＡＶＣ規格に準拠してブロック歪みを低減するためのデブロッキングフィルタの機能を有するものである。またフィルタ部２０８はＨ．２６５／ＨＥＶＣ規格に準拠するために、デブロッキングフィルタ機能と別にサンプルアダプティブオフセット(ＳＡＯ)と呼ばれるフィルタ機能を有する。このフィルタ機能は、動画像符号化処理装置側の度数分布解析により決定される追加パラメータを使用して記述されたルックアップテーブルを使用することにより、原信号振幅を良好に再構築するものである。加算部２０７の出力信号がフィルタ部２０８の入力端子に供給されることによって、フィルタ部２０８の出力端子から復号映像信号ＶＳが生成され、図示されない表示装置に供給される。尚、生成された復号映像信号ＶＳが、参照データＲｅｆ＿Ｐｉｃｔとしてフレームメモリ４０に格納される。

第２復号処理部２１(ＤＥＣ１)の可変長復号部２１１と逆変換部２１３とセレクタ部２１４と動き補償部２１５とイントラ予測部２１６と加算部２１７とフィルタ部２１８とは、上述した第１復号処理部２０(ＤＥＣ０)の場合と全く同様に動作するので、その説明を省略する。

特に、第１復号処理部２０(ＤＥＣ０)では、フレームメモリ４０から参照データＲｅｆ＿Ｐｉｃｔをアクセスするための参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔが、可変長復号部２０１からメモリ制御部３０を介してフレームメモリ４０に供給される。同様に、第２復号処理部２１(ＤＥＣ１)でも、フレームメモリ４０から参照データＲｅｆ＿Ｐｉｃｔをアクセスするための参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔが、可変長復号部２１１からメモリ制御部３０を介してフレームメモリ４０に供給される。

図１に示した実施の形態１の動画像復号処理装置がＨ．２６４／ＡＶＣ規格に従って復号処理動作を実行する場合には、フレームメモリ４０からアクセスされる参照データＲｅｆ＿Ｐｉｃｔは輝度成分で１６画素×１６画素のサイズを有するマクロブロック(ＭＢ)の画像参照データとなる。それに対して、図１に示した実施の形態１の動画像復号処理装置がＨ．２６５／ＨＥＶＣ規格に従って復号処理動作を実行する場合には、フレームメモリ４０からアクセスされる参照データＲｅｆ＿Ｐｉｃｔは最大で６４画素×６４画素のサイズを有する最大コーディングユニット(ＬＣＵ)の画像参照データとなる。

更に、第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１には復号制御部１０の処理ブロック制御部１０２から生成されるブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０が供給され、第２復号処理部２１(ＤＥＣ１)の可変長復号部２１１にも同様に復号制御部１０の処理ブロック制御部１０２から生成されるブロック処理開始信号Ｓｔａｒｔ＿ＭＢ１が供給される。

図１に示した実施の形態１の動画像復号処理装置がＨ．２６４／ＡＶＣ規格に従って復号処理動作を実行する場合には、ブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０、ＭＢ１は復号処理が開始されるマクロブロック(ＭＢ)の連続番号を指示する。それに対して図１に示した実施の形態１の動画像復号処理装置がＨ．２６５／ＨＥＶＣ規格に従って復号処理動作を実行する場合には、ブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０、ＭＢ１は復号処理が開始される最大コーディングユニット(ＬＣＵ)の連続番号を指示する。

更に第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から生成される処理ブロック信号ＰＭＢ０が復号制御部１０の処理ブロック制御部１０２に供給され、第２復号処理部２１(ＤＥＣ１)のフィルタ部２１８から生成される処理ブロック信号ＰＭＢ１が復号制御部１０の処理ブロック制御部１０２に供給される。処理ブロック信号ＰＭＢ０は第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８が処理中の処理ブロックの位置を示すものであり、処理ブロック信号ＰＭＢ１も第２復号処理部２１(ＤＥＣ１)のフィルタ部２１８が処理中の処理ブロックの位置を示すものである。

図１に示した実施の形態１の動画像復号処理装置がＨ．２６４／ＡＶＣ規格に従って復号処理動作を実行する場合には、処理ブロック信号ＰＭＢ０、ＰＭＢ１は、復号処理部２０(ＤＥＣ０)、２１(ＤＥＣ１)によりインター復号処理またはイントラ復号処理されるマクロブロック(ＭＢ)の連続番号を指示する。それに対して、図１に示した実施の形態１の動画像復号処理装置がＨ．２６５／ＨＥＶＣ規格に従って復号処理動作を実行する場合には、処理ブロック信号ＰＭＢ０、ＰＭＢ１は、復号処理部２０(ＤＥＣ０)、２１(ＤＥＣ１)によってインター復号処理またはイントラ復号処理される最大コーディングユニット(ＬＣＵ)の連続番号を指示する。

更に、第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から生成されるフレーム復号処理終了信号ＰＥＮ０が復号制御部１０の画像参照制御部１０１に供給されて、第２復号処理部２１(ＤＥＣ１)のフィルタ部２１８から生成されるフレーム復号処理終了信号ＰＥＮ１が復号制御部１０の画像参照制御部１０１に供給される。

図１に示した実施の形態１の動画像復号処理装置がＨ．２６４／ＡＶＣ規格に従って復号処理動作を実行する場合には、フレーム復号処理終了信号ＰＥＮ０、ＰＥＮ１は、フレーム中の終了点(Ｘ、Ｙ)でのマクロブロック(ＭＢ)のインター復号処理もしくはイントラ復号処理が完了したことを示すものである。それに対して、図１に示した実施の形態１の動画像復号処理装置がＨ．２６５／ＨＥＶＣ規格に従って復号処理動作を実行する場合には、フレーム復号処理終了信号ＰＥＮ０、ＰＥＮ１は、フレーム中の終了点(Ｘ、Ｙ)での最大コーディングユニット(ＬＣＵ)のインター復号処理またはイントラ復号処理が完了したことを示すものである。

《半導体集積回路の利用》
図１に示した実施の形態１による動画像復号処理装置は、その大部分がシステムオンチップ(ＳｏＣ)と呼ばれるシステムＬＳＩ半導体集積回路の半導体チップの内部に集積化されている。しかし、フレームメモリ４０は、このシステムＬＳＩ半導体集積回路と別個に構成された同期スタティックランダムアクセスメモリ(ＳＲＡＭ)の半導体チップの内部に集積化される。従って、復号制御部１０と第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とメモリ制御部３０は、システムオンチップ(ＳｏＣ)の半導体チップの内部に集積化されたものである。

《動画像復号処理装置の動作》
図２は、図１に示した実施の形態１による動画像復号処理装置の動作を説明する図である。

《第１期間の復号単独処理》
上述したように復号制御部１０による符号化ビットストリームＢＳのフレーム分割によって、奇数番目の第１番目のＩフレームＩ０の符号化情報が第１復号処理部２０(ＤＥＣ０)に供給されるので、第１期間Ｔ０では第１復号処理部２０(ＤＥＣ０)が第１番目のＩフレームＩ０の開始点(０、０)の符号化情報の復号処理を開始する。すなわち、復号制御部１０の処理ブロック制御部１０２から第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１にブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０が供給され、ブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０によって復号処理が開始されるマクロブロック(ＭＢ)もしくは最大コーディングユニット(ＬＣＵ)の連続番号が指示される。復号制御部１０の処理ブロック制御部１０２がブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０の値をインクリメントするので、第１復号処理部２０(ＤＥＣ０)は、第１番目のＩフレームＩ０の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって符号化情報の復号処理を進行する。第１復号処理部２０(ＤＥＣ０)が第１番目のＩフレームＩ０の開始点(０、０)の符号化情報の復号処理を開始してから第１番目のＩフレームＩ０の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始するまでの第１期間Ｔ０では、第１復号処理部２０(ＤＥＣ０)だけが復号処理を実行して、第２復号処理部２１(ＤＥＣ１)が復号処理を中止する、と言う復号単独処理が実行される。

《第２期間の並列復号処理》
更に第１復号処理部２０(ＤＥＣ０)が第１番目のＩフレームＩ０の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始してから第１番目のＩフレームＩ０の終了点(Ｘ、Ｙ)の符号化情報の復号処理を終了するまでの第２期間Ｔ１では、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とが復号処理を実行する、と言う並列復号処理が実行される。すなわち、第１復号処理部２０(ＤＥＣ０)による第１番目のＩフレームＩ０の復号処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から復号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ０による検出結果に応答して、第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の前半の復号処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化に応答して、第２期間Ｔ１では第２復号処理部２１(ＤＥＣ１)が第２番目のＰフレームＰ１の開始点(０、０)の符号化情報の復号処理を開始する。具体的には、復号制御部１０の処理ブロック制御部１０２から第２復号処理部２１(ＤＥＣ１)の可変長復号部２１１にブロック処理開始信号Ｓｔａｒｔ＿ＭＢ１が供給され、ブロック処理開始信号Ｓｔａｒｔ＿ＭＢ１によって復号処理が開始されるマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)の連続番号が指示される。復号制御部１０の処理ブロック制御部１０２がブロック処理開始信号Ｓｔａｒｔ＿ＭＢ１の値をインクリメントするので、第２復号処理部２１(ＤＥＣ１)は第２番目のＰフレームＰ１の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって符号化情報の復号処理を進行する。第２復号処理部２１(ＤＥＣ１)が第２番目のＰフレームＰ１の開始点(０、０)の符号化情報の復号処理を開始してから第２番目のＰフレームＰ１の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始するまでの第２期間Ｔ１では、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)が復号処理を実行する、と言う復号並列処理が実行される。この第２期間Ｔ１での復号並列処理における第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の前半部分のインター復号処理のための参照画像情報として、第１期間Ｔ０での第１復号処理部２０(ＤＥＣ０)による第１番目のＩフレームＩ０の前半部分のイントラ復号処理結果が第２復号処理部２１(ＤＥＣ１)によって使用される。

従って、第２復号処理部２１(ＤＥＣ１)は、第２番目のＰフレームＰ１の前半部分のインター復号処理のための参照画像情報としての第１期間Ｔ０での第１復号処理部２０(ＤＥＣ０)による第１番目のＩフレームＩ０の前半部分のイントラ復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔを第２期間Ｔ１において生成する。すなわち、第１期間Ｔ０における第１復号処理部２０(ＤＥＣ０)によるＩフレームＩ０の前半部分のイントラ復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔが、第２期間Ｔ１に第２復号処理部２１(ＤＥＣ１)の可変長復号部２１１からメモリ制御部３０を介してフレームメモリ４０に供給される。

《第３期間の並列復号処理》
更に第２復号処理部２１(ＤＥＣ１)が第２番目のＰフレームＰ１の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始してから第２番目のＰフレームＰ１の終了点(Ｘ、Ｙ)の符号化情報の復号処理を終了するまでの第３期間Ｔ２でも、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とが復号処理を実行する、と言う並列復号処理が実行される。特に、第２期間Ｔ１の最終タイミングで第１復号処理部２０(ＤＥＣ０)による第１番目のＩフレームＩ０の終了点(Ｘ、Ｙ)でのマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)のインター復号処理が完了したことを示すフレーム復号処理終了信号ＰＥＮ０が、第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から画像参照制御部１０１に供給される。従って、フレーム復号処理終了信号ＰＥＮ０に応答して、画像参照制御部１０１から処理ブロック制御部１０２に供給される画像参照制御信号Ｂ０が、ハイレベル“１”からローレベル“０”に変化するので、第３期間Ｔ２における第２復号処理部２１(ＤＥＣ１)による第１復号処理部２０(ＤＥＣ０)の復号処理位置の監視が停止されるものである。尚、フレーム復号処理終了信号ＰＥＮ０が第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から復号制御部１０の画像参照制御部１０１に供給される以前では画像参照制御信号Ｂ０がハイレベル“１”に維持されているので、第２復号処理部２１(ＤＥＣ１)による第１復号処理部２０(ＤＥＣ０)の復号処理位置の監視が許可されている。このように、第３期間Ｔ２においては、フレーム復号処理終了信号ＰＥＮ０と画像参照制御信号Ｂ０とに応答して、第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の後半のインター復号処理のための参照画像として、第３期間Ｔ２での第１復号処理部２０(ＤＥＣ０)による復号処理結果が使用されることが禁止される。しかし、第３期間Ｔ２では、第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の後半のインター復号処理のための参照画像として、第２期間Ｔ１での第１復号処理部２０(ＤＥＣ０)による第１番目のＩフレームＩ０の後半のイントラ復号処理結果が使用されることが可能とされる。

従って、図１と図２とに示した実施の形態１による動画像復号処理装置によれば、第３期間Ｔ２では第１復号処理部２０(ＤＥＣ０)がノーオペレーション(ＮＯＰ)を実行する必要がなく第３番目のＰフレームＰ２の前半のインター復号処理を実行することが可能となるので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に、第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の復号処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第２復号処理部２１(ＤＥＣ１)のフィルタ部２１８から復号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ１による検出結果に応答して、第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の前半の復号処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化に応答して、第３期間Ｔ２では第１復号処理部２０(ＤＥＣ０)が第３番目のＰフレームＰ２の開始点(０、０)の符号化情報の復号処理を開始する。具体的には、復号制御部１０の処理ブロック制御部１０２から第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１にブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０が供給され、ブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０によって復号処理が開始されるマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)の連続番号が指示される。復号制御部１０の処理ブロック制御部１０２がブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０の値をインクリメントするので、第１復号処理部２０(ＤＥＣ０)は第３番目のＰフレームＰ２の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって符号化情報の復号処理を進行する。第１復号処理部２０(ＤＥＣ０)が第３番目のＰフレームＰ２の開始点(０、０)の符号化情報の復号処理を開始してから第３番目のＰフレームＰ２の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始するまでの第３期間Ｔ２では、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)が復号処理を実行する、と言う復号並列処理が実行される。この第３期間Ｔ２での復号並列処理における第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の前半部分のインター復号処理のための参照画像情報として、第２期間Ｔ１での第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の前半部分のインター復号処理結果が第１復号処理部２０(ＤＥＣ０)によって使用される。

従って、第１復号処理部２０(ＤＥＣ０)は、第３番目のＰフレームＰ２の前半部分のインター復号処理のための参照画像情報としての第２期間Ｔ１での第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の前半部分のイントラ復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔを第３期間Ｔ２において生成する。すなわち、第２期間Ｔ１における第２復号処理部２１(ＤＥＣ１)によるＰフレームＰ１の前半部分のインター復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔが、第３期間Ｔ２に第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１からメモリ制御部３０を介してフレームメモリ４０に供給される。

《第４期間の並列復号処理》
更に第１復号処理部２０(ＤＥＣ０)が第３番目のＰフレームＰ２の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始してから第３番目のＰフレームＰ２の終了点(Ｘ、Ｙ)の符号化情報の復号処理を終了するまでの第４期間Ｔ３でも、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とが復号処理を実行する、と言う並列復号処理が実行される。特に、第３期間Ｔ２の最終タイミングで第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の終了点(Ｘ、Ｙ)でのマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)のインター復号処理が完了したことを示すフレーム復号処理終了信号ＰＥＮ１が、第２復号処理部２１(ＤＥＣ１)のフィルタ部２１８から復号制御部１０の画像参照制御部１０１に供給される。従って、フレーム復号処理終了信号ＰＥＮ１に応答して画像参照制御部１０１から処理ブロック制御部１０２に供給される画像参照制御信号Ｂ１がハイレベル“１”からローレベル“０”に変化するので、第４期間Ｔ３における第１復号処理部２０(ＤＥＣ０)による第２復号処理部２１(ＤＥＣ１)の復号処理位置の監視が停止される。尚、フレーム復号処理終了信号ＰＥＮ１が第２復号処理部２１(ＤＥＣ１)のフィルタ部２１８から復号制御部１０の画像参照制御部１０１に供給される以前では画像参照制御信号Ｂ１がハイレベル“１”に維持されているので、第１復号処理部２０(ＤＥＣ０)による第２復号処理部２１(ＤＥＣ１)の復号処理位置の監視が許可されている。このように第４期間Ｔ３においては、フレーム復号処理終了信号ＰＥＮ１と画像参照制御信号Ｂ１とに応答して、第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の後半のインター復号処理のための参照画像として、第４期間Ｔ３での第２復号処理部２１(ＤＥＣ１)による復号処理結果が使用されることが禁止される。しかし、第４期間Ｔ３では、第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の後半のインター復号処理のための参照画像として、第３期間Ｔ２での第２復号処理部２１(ＤＥＣ１)による第２番目のＰフレームＰ１の後半のインター復号処理結果が使用されることが可能とされる。

従って、図１と図２とに示した実施の形態１による動画像復号処理装置によれば、第４期間Ｔ３では第２復号処理部２１(ＤＥＣ１)がノーオペレーション(ＮＯＰ)を実行する必要がなく第４番目のＰフレームＰ３の前半のインター復号処理を実行することが可能となるので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に、第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の復号処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から復号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ０による検出結果に応答して、第２復号処理部２１(ＤＥＣ１)による第４番目のＰフレームＰ３の前半の復号処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化に応答して、第４期間Ｔ３では第２復号処理部２１(ＤＥＣ１)が第４番目のＰフレームＰ３の開始点(０、０)の符号化情報の復号処理を開始する。具体的には、復号制御部１０の処理ブロック制御部１０２から第２復号処理部２１(ＤＥＣ１)の可変長復号部２１１にブロック処理開始信号Ｓｔａｒｔ＿ＭＢ１が供給され、ブロック処理開始信号Ｓｔａｒｔ＿ＭＢ１によって復号処理が開始されるマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)の連続番号が指示される。復号制御部１０の処理ブロック制御部１０２がブロック処理開始信号Ｓｔａｒｔ＿ＭＢ１の値をインクリメントするので、第２復号処理部２１(ＤＥＣ１)は第４番目のＰフレームＰ３の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって符号化情報の復号処理を進行する。第２復号処理部２１(ＤＥＣ１)が第４番目のＰフレームＰ３の開始点(０、０)の符号化情報の復号処理を開始してから第４番目のＰフレームＰ３の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始するまでの第４期間Ｔ３では、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)が復号処理を実行する、と言う復号並列処理が実行される。この第４期間Ｔ３での復号並列処理における第２復号処理部２１(ＤＥＣ１)による第４番目のＰフレームＰ３の前半部分のインター復号処理のための参照画像情報として、第３期間Ｔ２での第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の前半部分のインター復号処理結果が第２復号処理部２１(ＤＥＣ１)によって使用される。

従って、第２復号処理部２１(ＤＥＣ１)は、第４番目のＰフレームＰ３の前半部分のインター復号処理のための参照画像情報としての第３期間Ｔ２での第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の前半部分のイントラ復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔを第４期間Ｔ３において生成する。すなわち、第３期間Ｔ２における第１復号処理部２０(ＤＥＣ０)によるＰフレームＰ２の前半部分のインター復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔが、第４期間Ｔ３に第２復号処理部２１(ＤＥＣ１)の可変長復号部２１１からメモリ制御部３０を介してフレームメモリ４０に供給される。

《第５期間の並列復号処理》
更に第２復号処理部２１(ＤＥＣ１)が第４番目のＰフレームＰ３の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始してから第４番目のＰフレームＰ３の終了点(Ｘ、Ｙ)の符号化情報の復号処理を終了するまでの第５期間Ｔ４でも、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)とが復号処理を実行する、と言う並列復号処理が実行される。特に、第４期間Ｔ３の最終タイミングで第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の終了点(Ｘ、Ｙ)でのマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)のインター復号処理が完了したことを示すフレーム復号処理終了信号ＰＥＮ０が、第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から復号制御部１０の画像参照制御部１０１に供給される。従って、フレーム復号処理終了信号ＰＥＮ０に応答して画像参照制御部１０１から処理ブロック制御部１０２に供給される画像参照制御信号Ｂ０がハイレベル“１”からローレベル“０”に変化するので、第５期間Ｔ４における第２復号処理部２１(ＤＥＣ１)による第１復号処理部２０(ＤＥＣ０)の復号処理位置の監視が停止される。尚、フレーム復号処理終了信号ＰＥＮ０が第１復号処理部２０(ＤＥＣ０)のフィルタ部２０８から復号制御部１０の画像参照制御部１０１に供給される以前では画像参照制御信号Ｂ０がハイレベル“１”に維持されているので、第２復号処理部２１(ＤＥＣ１)による第１復号処理部２０(ＤＥＣ０)の復号処理位置の監視が許可されている。このように第５期間Ｔ４においては、フレーム復号処理終了信号ＰＥＮ０と画像参照制御信号Ｂ０とに応答して、第２復号処理部２１(ＤＥＣ１)による第４番目のＰフレームＰ３の後半のインター復号処理のための参照画像として、第５期間Ｔ４での第１復号処理部２０(ＤＥＣ０)による復号処理結果が使用されることが禁止される。しかし、第５期間Ｔ４では、第２復号処理部２１(ＤＥＣ１)による第４番目のＰフレームＰ３の後半のインター復号処理のための参照画像として、第４期間Ｔ３での第１復号処理部２０(ＤＥＣ０)による第３番目のＰフレームＰ２の後半のインター復号処理結果が使用されることが可能とされる。

従って、図１と図２とに示した実施の形態１による動画像復号処理装置によれば、第５期間Ｔ４では第１復号処理部２０(ＤＥＣ０)がノーオペレーション(ＮＯＰ)を実行する必要がなく図２で省略された第５番目のＰフレームＰ４の前半のインター復号処理を実行することが可能となるので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に、第２復号処理部２１(ＤＥＣ１)による第４番目のＰフレームＰ３の復号処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第２復号処理部２１(ＤＥＣ１)のフィルタ部２１８から復号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ１による検出結果に応答して、第１復号処理部２０(ＤＥＣ０)により図２で省略された第５番目のＰフレームＰ４の前半の復号処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化に応答して、第５期間Ｔ４では第１復号処理部２０(ＤＥＣ０)が図２で省略された第５番目のＰフレームＰ４の開始点(０、０)の符号化情報の復号処理を開始する。具体的には、復号制御部１０の処理ブロック制御部１０２から第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１にブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０が供給され、ブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０によって復号処理が開始されるマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)の連続番号が指示される。復号制御部１０の処理ブロック制御部１０２がブロック処理開始信号Ｓｔａｒｔ＿ＭＢ０の値をインクリメントするので、第１復号処理部２０(ＤＥＣ０)は図２で省略された第５番目のＰフレームＰ４の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって符号化情報の復号処理を進行する。第１復号処理部２０(ＤＥＣ０)が第５番目のＰフレームＰ４の開始点(０、０)の符号化情報の復号処理を開始してから第５番目のＰフレームＰ４の中間点(Ｘ／２、Ｙ／２)の符号化情報の復号処理を開始するまでの第５期間Ｔ４では、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)が復号処理を実行する、と言う復号並列処理が実行される。この第５期間Ｔ４での復号並列処理における第１復号処理部２０(ＤＥＣ０)による第５番目のＰフレームＰ４の前半部分のインター復号処理のための参照画像情報として、第４期間Ｔ３での第２復号処理部２１(ＤＥＣ１)による第４番目のＰフレームＰ３の前半部分のインター復号処理結果が第２復号処理部２１(ＤＥＣ１)によって使用される。

従って、第１復号処理部２０(ＤＥＣ０)は、第５番目のＰフレームＰ４の前半部分のインター復号処理のための参照画像情報としての第４期間Ｔ３での第２復号処理部２１(ＤＥＣ１)による第４番目のＰフレームＰ３の前半部分のイントラ復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔを第４期間Ｔ３において生成する。すなわち、第４期間Ｔ３における第２復号処理部２１(ＤＥＣ１)によるＰフレームＰ３の前半部分のインター復号処理結果をアクセスする参照データアドレス信号Ａｄｄ＿Ｒｅｆ＿Ｐｉｃｔが、第５期間Ｔ４に第１復号処理部２０(ＤＥＣ０)の可変長復号部２０１からメモリ制御部３０を介してフレームメモリ４０に供給される。

図２では、図示されていないが、第６期間Ｔ５では、第１復号処理部２０(ＤＥＣ０)による第５番目のＰフレームＰ４の後半部分のインター復号処理と第２復号処理部２１(ＤＥＣ１)による第６番目のＰフレームＰ５の前半部分のインター復号処理とが実行される、と言う復号並列処理が実行される。以下、同様にして、上述した復号並列処理が反復して実行されることが可能である。

［実施の形態２］
《動画像符号化処理装置の構成》
図３は、実施の形態２による動画像符号化処理装置の構成を示す図である。

図３に示した実施の形態２の動画像符号化処理装置は、符号制御部１０と第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)とメモリ制御部３０とフレームメモリ４０とストリームバッファ６０、７０とストリーム合成部８０とによって構成される。

図３に示したようにメモリ制御部３０には符号化対象である映像入力信号ＶＳが供給されるので、メモリ制御部３０は映像入力信号ＶＳの奇数番目の第１番目のフレームと第３番目のフレームと偶数番目の第２番目のフレームと第４番目のフレームをフレームメモリ４０に格納される。

フレームメモリ４０に格納された後にメモリ制御部３０によって読み出される奇数番目の第１番目のフレームと第３番目のフレームとは第１符号化処理部５０(ＥＮＣ０)によって符号化処理され、フレームメモリ４０に格納された後にメモリ制御部３０によって読み出される偶数番目の第２番目のフレームと第４番目のフレームとは第２符号化処理部５１(ＥＮＣ１)によって符号化処理される。その結果、図３に示した実施の形態２の動画像符号化処理装置は、並列符号化処理を実行するためのハードウェアを削減することが可能となる。

メモリ制御部３０によって読み出される第１番目のフレームはその他のピクチャーを参照すること無しに第１符号化処理部５０(ＥＮＣ０)によりイントラ符号化され、その次に読み出される第２番目のフレームは第１番目のＩフレームＩ０の符号化処理結果を参照することによって第２符号化処理部５１(ＥＮＣ１)によりインター符号化される。その次に読み出される第３番目のフレームは第２番目のＰフレームＰ１の符号化処理結果を参照することによって第１符号化処理部５０(ＥＮＣ０)によりインター符号化され、その次に読み出される第４番目のフレームは第３番目のＰフレームＰ２の符号化処理結果を参照することによって第２符号化処理部５１(ＥＮＣ１)によりインター符号化される。

奇数番目の第１番目のＩフレームＩ０は、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。すなわち、高精細ＨＤの画素サイズに設定された動画像符号化画面は、水平方向にＸ個の画素を有し、垂直方向にＹ個の画素を有するものである。偶数番目の第２番目のＰフレームＰ１も、奇数番目の第３番目のＰフレームＰ２も、偶数番目の第４番目のＰフレームＰ３も、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

《符号制御部》
符号制御部１０は、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠してフレームメモリ４０に格納された複数のフレームを符号化処理するための符号化制御を実行する。すなわち、符号制御部１０は、フレームメモリ４０に格納された複数のフレームの各フレームをイントラ符号化によって符号化するかインター符号化によって符号化するかを決定するとともに、各フレームの符号化処理のタイミング制御を実行する。その結果、第１符号化処理部５０(ＥＮＣ０)による第１番目のＩフレームＩ０の符号化処理と第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の符号化処理が、高精細ＨＤの画素サイズの約半分の時間差を有するパイプライン動作となるものである。

従って、高精細ＨＤの画素サイズの約半分の時間差を有するパイプライン動作により、第１期間での第１符号化処理部５０(ＥＮＣ０)による第１番目のＩフレームＩ０の前半部分のイントラ符号化処理結果が、第２期間での第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の前半部分のインター符号化処理のための参照画像情報として使用されることが可能となる。更に、第２期間での第１符号化処理部５０(ＥＮＣ０)による第１番目のＩフレームＩ０の後半部分のイントラ符号化処理結果が、第３期間での第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の後半部分でのインター符号化処理のための参照画像情報として使用されることが可能となる。

更に、符号制御部１０は、画像参照制御部１０１と処理ブロック制御部１０２とを含んでいる。画像参照制御部１０１には第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)とからフレーム符号化処理終了信号ＰＥＮ０、ＰＥＮ１とが供給されることによって、画像参照制御部１０１から処理ブロック制御部１０２に画像参照制御信号Ｂ０、Ｂ１が供給される。処理ブロック制御部１０２から第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)に画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０、Ｓｔａｒｔ＿Ｐｉｘ１が供給され、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)とから処理ブロック制御部１０２に処理ブロック信号ＰＭＢ０、ＰＭＢ１が供給される。

《第１と第２の符号化処理部》
第１符号化処理部５０(ＥＮＣ０)は、画像供給スイッチ５００１と減算器５００２と周波数変換部５００３と量子化部５００４と逆量子化部５００５と逆周波数変換部５００６と加算器５００７とによって構成される。更に第１符号化処理部５０(ＥＮＣ０)は、フィルタ部５００８と動きベクトル検出部５００９と動き補償部５０１０とイントラ予測部５０１１とセレクタ部５０１２と可変長符号化部５０１３とによって構成される。

奇数番目の第１番目のＩフレームＩ０と第３番目のＰフレームＰ２の各フレームから１個分のマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)を構成する動画像信号が、画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０によってオン状態に制御される画像供給スイッチ５００１を介して、減算器５００２の一方の入力端子に供給される。それと同時に、この動画像信号は、動きベクトル検出部５００９の一方の入力端子とイントラ予測部５０１１の一方の入力端子とに供給される。

図３に示されていないが、動画像の各ピクチャーのインター予測またはイントラ予測を示す予測モードが、符号制御部１０からセレクタ部５０１２と可変長符号化部５０１３とに供給される。インター符号化される動画像信号は、ＰフレームもしくはＢフレームの符号化や動きベクトルの検出ためにフレームメモリ４０に格納された後、フレームメモリ４０から読み出されて減算器５００２の一方の入力端子に供給される。動きベクトル検出部５００９は、フレームメモリ４０から読み出された動画像信号とフレームメモリ４０に格納された参照画像とに応答して、動きベクトルＭＶを生成する。動き補償部５０１０は、動きベクトル検出部５００９から生成された動きベクトルＭＶとフレームメモリ４０に格納された参照画像とに応答して、動き補償予測信号を生成する。動き補償部５０１０からの動き補償予測信号がセレクタ部５０１２を介して減算部１０１で動画像信号から減算され、減算部１０１の減算出力信号である予測残差信号に関して周波数変換部５００３と量子化部５００４とでそれぞれ周波数変換処理と量子化処理とが実行される。量子化部５００４で量子化された周波数変換係数と動きベクトル検出部５００９から生成された動きベクトルＭＶとは可変長符号化部５０１３で可変長符号化処理され、ストリームバッファ６０とストリーム合成部８０とを介して、符号化ビットストリームＢＳが生成される。量子化部５００４で量子化された周波数変換係数は、逆量子化部５００５と逆周波数変換部５００６と加算器５００７とフィルタ部５００８によって局部復号処理が実行された後に、この局部復号処理結果は参照画像としてフレームメモリ４０に格納される。フィルタ部５００８は、Ｈ．２６４／ＡＶＣ規格に従って、ブロック歪みを低減するためのデブロッキングフィルタの機能を有するものである。また更にフィルタ部５００８は、Ｈ．２６５／ＨＥＶＣ規格に準拠するために、デブロッキングフィルタ機能の後にサンプルアダプティブオフセット(ＳＡＯ)と呼ばれるフィルタ機能を有する。このサンプルアダプティブオフセット(ＳＡＯ)のフィルタ機能は、図３の動画像符号化装置において図示しない符号化制御ユニットの度数分布解析により決定される追加パラメータによって記述されるルックアップテーブルを使用することにより、原信号振幅を良好に再構築するものである。

イントラ符号化される動画像信号はフレームメモリ４０に格納された後に、フレームメモリ４０から読み出された動画像信号は、イントラ予測部５０１１の一方の入力端子に供給される。その一方で、加算器５００７の出力端子にはイントラ予測により符号化されて局部復号処理により生成された参照画像が生成されているので、加算器５００７の出力端子から生成された参照画像がイントラ予測部５０１１の他方の入力端子に供給される。従って、イントラ予測部５０１１は一方の入力端子に供給される動画像信号をイントラ符号化する際に、加算器５００７の出力端子から他方の入力端子に供給される符号化済みの参照画像に含まれる複数の近隣の画像信号から最適な画像信号を選択して更に選択された最適な画像信号の空間情報を生成する。その結果、イントラ予測部５０１１は、イントラ予測された最適な画像信号と対応する空間的予測モードとを含んだイントラ予測情報をセレクタ部５０１２に供給するものである。

第２符号化処理部５１(ＥＮＣ１)は、画像供給スイッチ５１０１と減算器５１０２と周波数変換部５１０３と量子化部５１０４と逆量子化部５１０５と逆周波数変換部５１０６と加算器５１０７とによって構成される。更に第２符号化処理部５１(ＥＮＣ１)は、フィルタ部５１０８と動きベクトル検出部５１０９と動き補償部５１１０とイントラ予測部５１１１とセレクタ部５１１２と可変長符号化部５１１３とによって構成される。

偶数番目の第２番目のＰフレームＰ１と第４番目のＰフレームＰ３の各フレームから１個分のマクロブロック(ＭＢ)または最大コーディングユニット(ＬＣＵ)を構成する動画像信号が、画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ１によってオン状態に制御される画像供給スイッチ５１０１を介して、減算器５１０２の一方の入力端子に供給される。それと同時に、この動画像信号は、動きベクトル検出部５１０９の一方の入力端子とイントラ予測部５１１１の一方の入力端子とに供給される。

第２符号化処理部５１の減算器５１０２と周波数変換部５１０３と量子化部５１０４と逆量子化部５１０５と逆周波数変換部５１０６と加算器５１０７とフィルタ部５１０８と動きベクトル検出部５１０９と動き補償部５１１０とイントラ予測部５１１１とセレクタ部５１１２と可変長符号化部５１１３とは、上述した第１符号化処理部５０と全く同様に動作するので、その説明を省略する。

《半導体集積回路の利用》
図３に示した実施の形態２による動画像符号化処理装置は、その大部分がシステムオンチップ(ＳｏＣ)と呼ばれるシステムＬＳＩ半導体集積回路の半導体チップ内部に集積化されている。しかし、フレームメモリ４０は、このシステムＬＳＩ半導体集積回路と別個に構成された同期スタティックランダムアクセスメモリ(ＳＲＡＭ)の半導体チップ内部に集積化される。従って、符号制御部１０と第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)とメモリ制御部３０とストリームバッファ６０、７０とストリーム合成部８０とは、システムオンチップ(ＳｏＣ)の半導体チップの内部に集積化されたものである。

《動画像符号化処理装置の動作》
図４は、図３に示した実施の形態２による動画像符号化処理装置の動作を説明する図である。

《第１期間の符号化単独処理》
上述のようにフレームメモリ４０からメモリ制御部３０によって読み出される奇数番目の第１番目のフレームと第３番目のフレームとは第１符号化処理部５０(ＥＮＣ０)によって符号化処理され、フレームメモリ４０に格納された後にメモリ制御部３０によって読み出される偶数番目の第２番目のフレームと第４番目のフレームとは第２符号化処理部５１(ＥＮＣ１)によって符号化処理される。

すなわち、奇数番目の第１番目のＩフレームＩ０の動画像信号が第１符号化処理部５０(ＥＮＣ０)に供給されるので、第１期間Ｔ０では第１符号化処理部５０(ＥＮＣ０)が第１番目のＩフレームＩ０の開始点(０、０)の動画像信号の符号化処理を開始する。具体的には、符号制御部１０の処理ブロック制御部１０２から第１符号化処理部５０(ＥＮＣ０)の画像供給スイッチ５００１に画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０が供給され、画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０によって符号化処理が開始される１個分のマクロブロック(ＭＢ)もしくは最大コーディングユニット(ＬＣＵ)を構成する動画像信号の連続番号が指示される。符号制御部１０の処理ブロック制御部１０２が画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０の値をインクリメントするので、第１符号化処理部５０(ＥＮＣ０)は第１番目のＩフレームＩ０の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって動画像信号の符号化処理を進行する。第１符号化処理部５０が第１番目のＩフレームＩ０の開始点(０、０)の動画像信号の符号化処理を開始してから第１番目のＩフレームＩ０の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始するまでの第１期間Ｔ０では、第１符号化処理部５０だけが符号化処理を実行して、第２符号化処理部５１が符号化処理を中止する、と言う符号化単独処理が実行される。

《第２期間の並列符号化処理》
更に第１符号化処理部５０(ＥＮＣ０)が第１番目のＩフレームＩ０の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始してから第１番目のＩフレームＩ０の終了点(Ｘ、Ｙ)の動画像信号の符号化処理を終了するまでの第２期間Ｔ１では、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)が符号化処理を実行する、と言う並列符号化処理が実行される。すなわち、第１符号化処理部５０(ＥＮＣ０)による第１番目のＩフレームＩ０の符号化処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第１符号化処理部５０(ＥＮＣ０)のフィルタ部５００８から符号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ０による検出結果に応答して、第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の前半の符号化処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化に応答して、第２期間Ｔ１では第２符号化処理部５１(ＥＮＣ１)が第２番目のＰフレームＰ１の開始点(０、０)の動画像信号の符号化処理を開始する。具体的には、符号制御部１０の処理ブロック制御部１０２から第２符号化処理部５１(ＥＮＣ１)の画像供給スイッチ５１０１に画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ１が供給され、画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ１によって符号化処理が開始される１個分のマクロブロック(ＭＢ)もしくは最大コーディングユニット(ＬＣＵ)を構成する動画像信号の連続番号が指示される。符号制御部１０の処理ブロック制御部１０２が画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０の値をインクリメントするので、第２符号化処理部５１(ＥＮＣ１)は第２番目のＰフレームＰ１の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって動画像信号の符号化処理を進行する。第２符号化処理部５１(ＥＮＣ１)が第２番目のＰフレームＰ１の開始点(０、０)の動画像信号の符号化処理を開始してから第２番目のＰフレームＰ１の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始するまでの第２期間Ｔ１では、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)が符号化処理を実行する、と言う符号化並列処理が実行される。この第２期間Ｔ１での符号化並列処理における第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の前半部分のインター符号化処理のための参照画像情報として、第１期間Ｔ０での第１符号化処理部５０(ＥＮＣ０)による第１番目のＩフレームＩ０の前半部分のイントラ符号化処理結果が第２符号化処理部５１(ＥＮＣ１)によって使用される。

従って、第２符号化処理部５１(ＥＮＣ１)は、第２番目のＰフレームＰ１の前半部分でのインター符号化処理のための参照画像情報としての第１期間Ｔ０での第１符号化処理部５０(ＥＮＣ０)による第１番目のＩフレームＩ０の前半部分のイントラ符号化処理結果をアクセスする参照データアドレス信号を第２期間Ｔ１において生成する。すなわち、第１期間Ｔ０における第１符号化処理部５０(ＥＮＣ０)によるＩフレームＩ０の前半部分のイントラ符号化処理結果をアクセスする参照データアドレス信号が、第２期間Ｔ１に第２符号化処理部５１(ＥＮＣ１)からメモリ制御部３０を介してフレームメモリ４０に供給される。

《第３期間の並列符号化処理》
更に第２符号化処理部５１(ＥＮＣ１)が第２番目のＰフレームＰ１の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始してから第２番目のＰフレームＰ１の終了点(Ｘ、Ｙ)の動画像信号の符号化処理を終了するまでの第３期間Ｔ２でも、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)とが符号化処理を実行する、と言う並列符号化処理が実行される。特に第２期間Ｔ１の最終タイミングで第１符号化処理部５０による第１番目のＩフレームＩ０の終了点(Ｘ、Ｙ)での１個分のマクロブロックもしくは最大コーディングユニットを構成する動画像信号のインター符号化処理が完了したことを示すフレーム符号化処理終了信号ＰＥＮ０が、第１符号化処理部５０のフィルタ部５１０８から画像参照制御部１０１に供給される。従って、フレーム符号化処理終了信号ＰＥＮ０に応答して、画像参照制御部１０１から処理ブロック制御部１０２に供給される画像参照制御信号Ｂ０が、ハイレベル“１”からローレベル“０”に変化するので、第３期間Ｔ２における第２符号化処理部５１(ＥＮＣ１)による第１符号化処理部５０(ＥＮＣ０)の符号化処理位置の監視が停止されるものである。尚、フレーム符号化処理終了信号ＰＥＮ０が第１符号化処理部５０(ＥＮＣ０)のフィルタ部５１０８から符号化制御部１０の画像参照制御部１０１に供給される以前では画像参照制御信号Ｂ０がハイレベル“１”に維持されているので、第２符号化処理部５１(ＥＮＣ１)による第１符号化処理部５０(ＥＮＣ０)の符号化処理位置の監視が許可されている。このように、第３期間Ｔ２においては、フレーム符号化処理終了信号ＰＥＮ０と画像参照制御信号Ｂ０とに応答して、第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の後半のインター符号化処理のための参照画像として、第３期間Ｔ２での第１符号化処理部５０(ＥＮＣ０)による符号化処理結果が使用されることが禁止される。しかし、第３期間Ｔ２では、第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の後半のインター符号化処理のための参照画像として、第２期間Ｔ１での第１符号化処理部５０(ＥＮＣ０)による第１番目のＩフレームＩ０の後半のイントラ符号化処理結果が使用されることが可能とされる。

従って、図３と図４とに示した実施の形態２による動画像符号化処理装置によれば、第３期間Ｔ２では第１符号化処理部５０(ＥＮＣ０)がノーオペレーション(ＮＯＰ)を実行する必要がなく第３番目のＰフレームＰ２の前半のインター符号化処理を実行することが可能となるので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に、第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の復号処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第２符号化処理部５１(ＥＮＣ１)のフィルタ部５０１８から符号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ１による検出結果に応答して、第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の前半の符号化処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化に応答して、第３期間Ｔ２では第１符号化処理部５０(ＥＮＣ０)が第３番目のＰフレームＰ２の開始点(０、０)の動画像信号の符号化処理を開始する。具体的には、符号制御部１０の処理ブロック制御部１０２から第１符号化処理部５０(ＥＮＣ０)の画像供給スイッチ５００１に画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０が供給され、画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０によって符号化処理が開始される１個分のマクロブロック(ＭＢ)もしくは最大コーディングユニット(ＬＣＵ)を構成する動画像信号の連続番号が指示される。符号制御部１０の処理ブロック制御部１０２が画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０の値をインクリメントするので、第１符号化処理部５０(ＥＮＣ０)は第３番目のＰフレームＰ２の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって動画像信号の符号化処理を進行する。第１符号化処理部５０(ＥＮＣ０)が第３番目のＰフレームＰ２の開始点(０、０)の動画像信号の符号化処理を開始してから第３番目のＰフレームＰ２の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始するまでの第３期間Ｔ２では、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)が符号化処理を実行する、と言う符号化並列処理が実行される。この第３期間Ｔ２での符号化並列処理における第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の前半部分のインター符号化処理のための参照画像情報として、第２期間Ｔ１での第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の前半部分のインター符号化処理結果が第１符号化処理部５０(ＥＮＣ０)によって使用される。

従って、第１符号化処理部５０(ＥＮＣ０)は、第３番目のＰフレームＰ２の前半部分のインター符号化処理のための参照画像情報としての第２期間Ｔ１での第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の前半部分のイントラ符号化処理結果をアクセスする参照データアドレス信号を第３期間Ｔ２において生成する。すなわち、第２期間Ｔ１における第２符号化処理部５１(ＥＮＣ１)によるＰフレームＰ１の前半部分のインター符号化処理結果をアクセスする参照データアドレス信号が、第３期間Ｔ２に第１符号化処理部５０(ＥＮＣ０)からメモリ制御部３０を介してフレームメモリ４０に供給される。

《第４期間の並列符号化処理》
更に第１符号化処理部５０(ＥＮＣ０)が第３番目のＰフレームＰ２の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始してから第３番目のＰフレームＰ２の終了点(Ｘ、Ｙ)の動画像信号の符号化処理を終了するまでの第４期間Ｔ３でも、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)とが符号化処理を実行する、と言う並列符号化処理が実行される。特に、第３期間Ｔ２の最終タイミングで第２符号化処理部５１による第２番目のＰフレームＰ１の終了点(Ｘ、Ｙ)での１個分のマクロブロックもしくは最大コーディングユニットを構成する動画像信号のインター符号化処理が完了したことを示すフレーム符号化処理終了信号ＰＥＮ１が、第２符号化処理部５１のフィルタ部５０１８から符号制御部１０の画像参照制御部１０１に供給される。従って、フレーム符号化処理終了信号ＰＥＮ１に応答して画像参照制御部１０１から処理ブロック制御部１０２に供給される画像参照制御信号Ｂ１がハイレベル“１”からローレベル“０”に変化するので、第４期間Ｔ３における第１符号化処理部５０(ＥＮＣ０)による第２符号化処理部５１(ＥＮＣ１)の符号化処理位置の監視が停止される。尚、フレーム符号化処理終了信号ＰＥＮ１が第２符号化処理部５１(ＥＮＣ１)のフィルタ部５０１８から符号制御部１０の画像参照制御部１０１に供給される以前では画像参照制御信号Ｂ１がハイレベル“１”に維持されているので、第１符号化処理部５０(ＥＮＣ０)による第２符号化処理部５１(ＥＮＣ１)の符号化処理位置の監視が許可されている。このように第４期間Ｔ３においては、フレーム符号化処理終了信号ＰＥＮ１と画像参照制御信号Ｂ１とに応答して、第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の後半のインター符号化処理のための参照画像として、第４期間Ｔ３での第２符号化処理部５１(ＥＮＣ１)による符号化処理結果が使用されることが禁止される。しかし、第４期間Ｔ３では、第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の後半のインター符号化処理のための参照画像として、第３期間Ｔ２での第２符号化処理部５１(ＥＮＣ１)による第２番目のＰフレームＰ１の後半のインター符号化処理結果が使用されることが可能とされる。

従って、図３と図４とに示した実施の形態２による動画像復号処理装置によれば、第４期間Ｔ３では第２符号化処理部５１(ＥＮＣ１)がノーオペレーション(ＮＯＰ)を実行する必要がなく第４番目のＰフレームＰ３の前半のインター符号化処理を実行することが可能となるので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に、第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の符号化処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第１符号化処理部５０(ＥＮＣ０)のフィルタ部２０８から符号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ０による検出結果に応答して、第２符号化処理部５１(ＥＮＣ１)による第４番目のＰフレームＰ３の前半の符号化処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ０のローレベル“０”からハイレベル“１”への変化に応答して、第４期間Ｔ３では第２符号化処理部５１(ＥＮＣ１)が第４番目のＰフレームＰ３の開始点(０、０)の動画像信号の符号化処理を開始する。具体的には、符号制御部１０の処理ブロック制御部１０２から第２符号化処理部５１(ＥＮＣ１)の画像供給スイッチ５１０１に画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ１が供給され、画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ１によって符号化処理が開始される１個分のマクロブロック(ＭＢ)もしくは最大コーディングユニット(ＬＣＵ)を構成する動画像信号の連続番号が指示される。符号制御部１０の処理ブロック制御部１０２が画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ１の値をインクリメントするので、第２符号化処理部５１(ＥＮＣ１)は第４番目のＰフレームＰ３の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって動画像信号の符号化処理を進行する。第２符号化処理部５１(ＥＮＣ１)が第４番目のＰフレームＰ３の開始点(０、０)の動画像信号の符号化処理を開始してから第４番目のＰフレームＰ３の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始するまでの第４期間Ｔ３では、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)が符号化処理を実行する、と言う符号化並列処理が実行される。この第４期間Ｔ３での符号化並列処理における第２符号化処理部５１(ＥＮＣ１)による第４番目のＰフレームＰ３の前半部分のインター符号化処理のための参照画像情報として、第３期間Ｔ２での第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の前半部分のインター符号化処理結果が第２符号化処理部５１(ＥＮＣ１)によって使用される。

従って、第２符号化処理部５１(ＥＮＣ１)は、第４番目のＰフレームＰ３の前半部分のインター符号化処理のための参照画像情報としての第３期間Ｔ２での第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の前半部分のイントラ符号化処理結果をアクセスする参照データアドレス信号を第４期間Ｔ３において生成する。すなわち、第３期間Ｔ２における第１符号化処理部５０(ＥＮＣ０)によるＰフレームＰ２の前半部分のインター符号化処理結果をアクセスする参照データアドレス信号が、第４期間Ｔ３に第２符号化処理部５１(ＥＮＣ１)からメモリ制御部３０を介してフレームメモリ４０に供給される。

《第５期間の並列符号化処理》
更に第２符号化処理部５１(ＥＮＣ１)が第４番目のＰフレームＰ３の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始してから第４番目のＰフレームＰ３の終了点(Ｘ、Ｙ)の動画像信号の符号化処理を終了するまでの第５期間Ｔ４でも、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)とが符号化処理を実行する、と言う並列符号化処理が実行される。特に第４期間Ｔ３の最終タイミングで第１符号化処理部５０による第３番目のＰフレームＰ２の終了点(Ｘ、Ｙ)での１個分のマクロブロックもしくは最大コーディングユニットを構成する動画像信号のインター符号化処理が完了したことを示すフレーム符号化処理終了信号ＰＥＮ０が、第１符号化処理部５０のフィルタ部５１０８から画像参照制御部１０１に供給される。従って、フレーム符号化処理終了信号ＰＥＮ０に応答して、画像参照制御部１０１から処理ブロック制御部１０２に供給される画像参照制御信号Ｂ０がハイレベル“１”からローレベル“０”に変化するので、第５期間Ｔ４における第２符号化処理部５１(ＥＮＣ１)による第１符号化処理部５０(ＥＮＣ０)の符号化処理位置の監視が停止される。尚、フレーム符号化処理終了信号ＰＥＮ０が第１符号化処理部５０(ＥＮＣ０)のフィルタ部５１０８から符号制御部１０の画像参照制御部１０１に供給される以前では画像参照制御信号Ｂ０がハイレベル“１”に維持されているので、第２符号化処理部５１(ＥＮＣ１)による第１符号化処理部５０(ＥＮＣ０)の符号化処理位置の監視が許可されている。このように第５期間Ｔ４においては、フレーム符号化処理終了信号ＰＥＮ０と画像参照制御信号Ｂ０とに応答して、第２符号化処理部５１(ＥＮＣ１)による第４番目のＰフレームＰ３の後半のインター符号化処理のための参照画像として、第５期間Ｔ４での第１符号化処理部５０(ＥＮＣ０)による符号化処理結果が使用されることが禁止される。しかし、第５期間Ｔ４では、第２符号化処理部５１(ＥＮＣ１)による第４番目のＰフレームＰ３の後半のインター符号化処理のための参照画像として、第４期間Ｔ３での第１符号化処理部５０(ＥＮＣ０)による第３番目のＰフレームＰ２の後半のインター符号化処理結果が使用されることが可能とされる。

従って、図３と図４とに示した実施の形態２による動画像符号化処理装置によれば、第５期間Ｔ４では第１符号化処理部５０(ＥＮＣ０)がノーオペレーション(ＮＯＰ)を実行する必要がなく図４で省略された第５番目のＰフレームＰ４の前半のインター符号化処理を実行することが可能となるので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に、第２符号化処理部５１(ＥＮＣ１)による第４番目のＰフレームＰ３の符号化処理が開始点(０、０)から開始され中間点(Ｘ／２、Ｙ／２)まで到達したことが、第２符号化処理部５１(ＥＮＣ１)のフィルタ部５０１８から符号制御部１０の処理ブロック制御部１０２に供給される処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化によって検出される。処理ブロック信号ＰＭＢ１による検出結果に応答して、第１符号化処理部５０(ＥＮＣ０)により図４で省略された第５番目のＰフレームＰ４の前半の符号化処理が開始点(０、０)から開始される。

すなわち、処理ブロック信号ＰＭＢ１のローレベル“０”からハイレベル“１”への変化に応答して、第５期間Ｔ４では第１符号化処理部５０(ＥＮＣ０)が図４で省略された第５番目のＰフレームＰ４の開始点(０、０)の動画像信号の符号化処理を開始する。具体的には、符号制御部１０の処理ブロック制御部１０２から第１符号化処理部５０(ＥＮＣ０)の画像供給スイッチ５００１に画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０が供給され、画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０によって符号化処理が開始される１個分のマクロブロック(ＭＢ)もしくは最大コーディングユニット(ＬＣＵ)を構成する動画像信号の連続番号が指示される。符号制御部１０の処理ブロック制御部１０２が画像処理開始信号Ｓｔａｒｔ＿Ｐｉｘ０の値をインクリメントするので、第１符号化処理部５０(ＥＮＣ０)は図４で省略された第５番目のＰフレームＰ４の開始点(０、０)から中間点(Ｘ／２、Ｙ／２)に向かって動画像信号の符号化処理を進行する。第１符号化処理部５０(ＥＮＣ０)が第５番目のＰフレームＰ４の開始点(０、０)の動画像信号の符号化処理を開始してから第５番目のＰフレームＰ４の中間点(Ｘ／２、Ｙ／２)の動画像信号の符号化処理を開始するまでの第５期間Ｔ４では、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)が符号化処理を実行する、と言う符号化並列処理が実行される。この第５期間Ｔ４での符号化並列処理における第１符号化処理部５０(ＥＮＣ０)による第５番目のＰフレームＰ４の前半部分のインター符号化処理のための参照画像情報として、第４期間Ｔ３での第２符号化処理部５１(ＥＮＣ１)による第４番目のＰフレームＰ３の前半部分のインター符号化処理結果が第２符号化処理部５１(ＥＮＣ１)によって使用される。

従って、第１符号化処理部５０(ＥＮＣ０)は、第５番目のＰフレームＰ４の前半部分のインター符号化処理のための参照画像情報としての第４期間Ｔ３での第２符号化処理部５１(ＥＮＣ１)による第４番目のＰフレームＰ３の前半部分のイントラ符号化処理結果をアクセスする参照データアドレス信号を第４期間Ｔ３において生成する。すなわち、第４期間Ｔ３における第２符号化処理部５１(ＥＮＣ１)によるＰフレームＰ３の前半部分のインター符号化処理結果をアクセスする参照データアドレス信号が、第５期間Ｔ４に第１符号化処理部５０(ＥＮＣ０)からメモリ制御部３０を介してフレームメモリ４０に供給される。

図４では、図示されていないが、第６期間Ｔ５では、第１符号化処理部５０(ＥＮＣ０)による第５番目のＰフレームＰ４の後半部分のインター符号化処理と第２符号化処理部５１(ＥＮＣ１)による第６番目のＰフレームＰ５の前半部分のインター符号化処理とが実行される、と言う符号化並列処理が実行される。以下、同様にして、上述した符号化並列処理が反復して実行されることが可能である。

以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、本動画像復号処理装置は、第１復号処理部２０(ＤＥＣ０)と第２復号処理部２１(ＤＥＣ１)の２個のみの復号処理部を具備することに限定されるものではない。

図５は本発明の他の実施の形態による動画像復号処理装置の構成と動作を説明する図である。すなわち、図５に示した本発明の他の実施の形態による動画像復号処理装置は、第１復号処理部ＤＥＣ０と第２復号処理部ＤＥＣ１と第３復号処理部ＤＥＣ２と第４復号処理部ＤＥＣ３とを具備したものである。

図５に示すように、第１番目のＩフレームＩ０と第５番目のＩフレームＩ４と第９番目のＩフレームＩ８とが、第１復号処理部ＤＥＣ０によりイントラ復号処理される。尚、第１番目のＩフレームＩ０と第５番目のＩフレームＩ４と第９番目のＩフレームＩ８の各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

第２番目のＰフレームＰ１と第６番目のＰフレームＰ５と第１０番目のＰフレームＰ９が、第２復号処理部ＤＥＣ１によりインター復号処理される。尚、第２番目のＰフレームＰ１と第６番目のＰフレームＰ５と第１０番目のＰフレームＰ９との各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

第３番目のＰフレームＰ２と第７番目のＰフレームＰ６が、第３復号処理部ＤＥＣ２によりインター復号処理される。尚、第３番目のＰフレームＰ２と第７番目のＰフレームＰ６との各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

第４番目のＰフレームＰ３と第８番目のＰフレームＰ７が、第４復号処理部ＤＥＣ３によりインター復号処理される。尚、第４番目のＰフレームＰ３と第８番目のＰフレームＰ７との各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

図５に示した動画像復号処理装置では、第３期間Ｔ２にて第１復号処理部ＤＥＣ０から生成されるフレーム復号処理終了信号ＰＥＮ０に応答して、第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の後半のインター復号処理のための参照画像として、第３期間Ｔ２での第１復号処理部ＤＥＣ０による第５番目のＩフレームＩ４の前半のイントラ復号処理結果が使用されることが禁止される。しかし、第３期間Ｔ２では、第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の後半のインター復号処理のための参照画像として、第２期間Ｔ１での第１復号処理部ＤＥＣ０による第１番目のＩフレームＩ０の後半のイントラ復号処理結果が使用されることが可能とされる。

図５に示した動画像復号処理装置では、第４期間Ｔ３にて第２復号処理部ＤＥＣ１から生成されるフレーム復号処理終了信号ＰＥＮ１に応答して、第３復号処理部ＤＥＣ２による第３番目のＰフレームＰ２の後半のインター復号処理のための参照画像として、第４期間Ｔ３での第２復号処理部ＤＥＣ１による第６番目のＰフレームＰ５の前半のインター復号処理結果が使用されることが禁止される。しかし、第４期間Ｔ３では、第３復号処理部ＤＥＣ２による第３番目のＰフレームＰ２の後半のインター復号処理のための参照画像として、第３期間Ｔ２での第２復号処理部ＤＥＣ１による第２番目のＰフレームＰ１の後半のインター復号処理結果が使用されることが可能とされる。

図５に示した動画像復号処理装置では、第５期間Ｔ４にて第１復号処理部ＤＥＣ０から生成されるフレーム復号処理終了信号ＰＥＮ０に応答して、第２復号処理部ＤＥＣ１による第６番目のＰフレームＰ５の後半のインター復号処理のための参照画像として、第５期間Ｔ４での第１復号処理部ＤＥＣ０による第９番目のＩフレームＩ８の前半のイントラ復号処理結果が使用されることが禁止される。しかし、第５期間Ｔ４では、第２復号処理部ＤＥＣ１による第６番目のＰフレームＰ５の後半のインター復号処理のための参照画像として、第４期間Ｔ３での第１復号処理部ＤＥＣ０による第５番目のＩフレームＩ４の後半のイントラ復号処理結果が使用されることが可能とされる。更に、第５期間Ｔ４にて第３復号処理部ＤＥＣ２から生成されるフレーム復号処理終了信号ＰＥＮ２に応答して、第４復号処理部ＤＥＣ３による第４番目のＰフレームＰ３の後半のインター復号処理のための参照画像として、第５期間Ｔ４での第３復号処理部ＤＥＣ２による第７番目のＰフレームＰ６の前半のインター復号処理結果が使用されることが禁止される。しかし、第５期間Ｔ４では、第４復号処理部ＤＥＣ３による第４番目のＰフレームＰ３の後半のインター復号処理のための参照画像として、第４期間Ｔ３での第３復号処理部ＤＥＣ２による第３番目のＰフレームＰ２の後半のインター復号処理結果が使用されることが可能とされる。

図５の動画像復号処理装置では、第６期間Ｔ５にて第２復号処理部ＤＥＣ１から生成されるフレーム復号処理終了信号ＰＥＮ１に応答して、第３復号処理部ＤＥＣ２による第７番目のＰフレームＰ６の後半のインター復号処理のための参照画像として、第６期間Ｔ５での第２復号処理部ＤＥＣ１による第１０番目のＰフレームＰ９の前半のインター復号処理結果が使用されることが禁止される。しかし、第６期間Ｔ５では、第３復号処理部ＤＥＣ２による第７番目のＰフレームＰ６の後半のインター復号処理のための参照画像として、第５期間Ｔ４での第２復号処理部ＤＥＣ１による第６番目のＰフレームＰ５の後半のインター復号処理結果が使用されることが可能とされる。

従って、図５に示した本発明の他の実施の形態による動画像復号処理装置もノーオペレーション(ＮＯＰ)を実行する必要がないので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に、本動画像符号化処理装置は、第１符号化処理部５０(ＥＮＣ０)と第２符号化処理部５１(ＥＮＣ１)の２個のみの符号化処理部を具備することに限定されるものではない。

図６は本発明の他の実施の形態による動画像符号化処理装置の構成と動作を説明する図である。すなわち、図６に示した本発明の他の実施の形態による動画像符号化処理装置は、第１符号化処理部ＥＮＣ０と第２符号化処理部ＥＮＣ１と第３符号化処理部ＥＮＣ２と第４符号化処理部ＥＮＣ３とを具備したものである。

図６に示すように、第１番目のＩフレームＩ０と第５番目のＩフレームＩ４と第９番目のＩフレームＩ８とは、第１符号化処理部ＥＮＣ０によりイントラ符号化処理されたものである。尚、第１番目のＩフレームＩ０と第５番目のＩフレームＩ４と第９番目のＩフレームＩ８の各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

第２番目のＰフレームＰ１と第６番目のＰフレームＰ５と第１０番目のＰフレームＰ９とは、第２符号化処理部ＥＮＣ１によりインター符号化処理されたものである。尚、第２番目のＰフレームＰ１と第６番目のＰフレームＰ５と第１０番目のＰフレームＰ９との各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

第３番目のＰフレームＰ２と第７番目のＰフレームＰ６とは、第３符号化処理部ＥＮＣ２によりインター符号化処理されものである。尚、第３番目のＰフレームＰ２と第７番目のＰフレームＰ６との各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

第４番目のＰフレームＰ３と第８番目のＰフレームＰ７とは、第４符号化処理部ＥＮＣ３によりインター符号化処理されものである。尚、第４番目のＰフレームＰ３と第８番目のＰフレームＰ７との各フレームは、高精細ＨＤの画素サイズに設定された動画像符号化画面のラスター・スキャンの開始点(０、０)と中間点(Ｘ／２、Ｙ／２)と終了点(Ｘ、Ｙ)のそれぞれの符号化情報を含んでいる。

図６に示した装置では、第３期間Ｔ２にて第１符号化処理部ＥＮＣ０から生成されるフレーム符号化処理終了信号ＰＥＮ０に応答して、第２符号化処理部ＥＮＣ１による第２番目のＰフレームＰ１の後半のインター符号化処理のための参照画像として、第３期間Ｔ２での第１符号化処理部ＥＮＣ０による第５番目のＩフレームＩ４の前半のイントラ符号化処理結果が使用されることが禁止される。しかし、第３期間Ｔ２では、第２符号化処理部ＥＮＣ１による第２番目のＰフレームＰ１の後半のインター符号化処理のための参照画像として、第２期間Ｔ１での第１符号化処理部ＥＮＣ０による第１番目のＩフレームＩ０の後半のイントラ符号化処理結果が使用されることが可能とされる。

図６に示した装置では、第４期間Ｔ３にて第２符号化処理部ＥＮＣ１から生成されるフレーム符号化処理終了信号ＰＥＮ１に応答して、第３符号化処理部ＥＮＣ２による第３番目のＰフレームＰ２の後半のインター符号化処理のための参照画像として、第４期間Ｔ３での第２符号化処理部ＥＮＣ１による第６番目のＰフレームＰ５の前半のインター符号化処理結果が使用されることが禁止される。しかし、第４期間Ｔ３では、第３符号化処理部ＥＮＣ２による第３番目のＰフレームＰ２の後半のインター符号化処理のための参照画像として、第３期間Ｔ２での第２符号化処理部ＥＮＣ１による第２番目のＰフレームＰ１の後半のインター符号化処理結果が使用されることが可能とされる。

図６に示した装置では、第５期間Ｔ４にて第１符号化処理部ＥＮＣ０から生成されるフレーム符号化処理終了信号ＰＥＮ０に応答して、第２符号化処理部ＥＮＣ１による第６番目のＰフレームＰ５の後半のインター符号化処理のための参照画像として、第５期間Ｔ４での第１符号化処理部ＥＮＣ０による第９番目のＩフレームＩ８の前半のイントラ符号化処理結果が使用されることが禁止される。しかし、第５期間Ｔ４では、第２符号化処理部ＥＮＣ１による第６番目のＰフレームＰ５の後半のインター符号化処理のための参照画像として、第４期間Ｔ３での第１符号化処理部ＥＮＣ０による第５番目のＩフレームＩ４の後半のイントラ符号化処理結果が使用されることが可能とされる。更に、第５期間Ｔ４にて第３符号化処理部ＥＮＣ２から生成されるフレーム符号化処理終了信号ＰＥＮ２に応答して、第４符号化処理部ＥＮＣ３による第４番目のＰフレームＰ３の後半のインター符号化処理のための参照画像として、第５期間Ｔ４での第３符号化処理部ＥＮＣ２による第７番目のＰフレームＰ６の前半のインター符号化処理結果が使用されることが禁止される。しかし、第５期間Ｔ４では、第４符号化処理部ＥＮＣ３による第４番目のＰフレームＰ３の後半のインター符号化処理のための参照画像として、第４期間Ｔ３での第３符号化処理部ＥＮＣ２による第３番目のＰフレームＰ２の後半のインター符号化処理結果が使用されることが可能とされる。

図６に示した装置では、第６期間Ｔ５にて第２符号化処理部ＥＮＣ１から生成されるフレーム符号化処理終了信号ＰＥＮ１に応答して、第３符号化処理部ＥＮＣ２による第７番目のＰフレームＰ６の後半のインター符号化処理のための参照画像として、第６期間Ｔ５での第２符号化処理部ＥＮＣ１による第１０番目のＰフレームＰ９の前半のインター符号化処理結果が使用されることが禁止される。しかし、第６期間Ｔ５では、第３符号化処理部ＥＮＣ２による第７番目のＰフレームＰ６の後半のインター符号化処理のための参照画像として、第５期間Ｔ４での第２符号化処理部ＥＮＣ１による第６番目のＰフレームＰ５の後半のインター符号化処理結果が使用されることが可能とされる。

従って、図６に示した本発明の他の実施の形態による動画像符号化処理装置もノーオペレーション(ＮＯＰ)を実行する必要がないので、図７で説明したような並列処理能力の低下を軽減することが可能となる。

更に本動画像復号処理装置または本動画像符号化処理装置は、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠する符号化ビットストリームＢＳを復号処理することにのみ限定されるものではない。

また更に、本動画像復号処理装置は、６４×６４画素の最大のサイズを有する最大コーディングユニット(ＬＣＵ)を処理単位とするＨ．２６５／ＨＥＶＣ規格以外に６４×６４画素より大きな最大サイズを有する最大コーディングユニット(ＬＣＵ)を処理単位とする将来出現する規格に準拠した符号化ビットストリームＢＳを復号処理することに適用することも可能である。

更に、本動画像符号化処理装置は、６４×６４画素の最大サイズよりも小さい、例えば３２×３２画素のサイズを有する最大コーディングユニット(ＬＣＵ)を処理単位として、Ｈ．２６５／ＨＥＶＣ規格に準拠して符号化された符号化ビットストリームＢＳを復号処理することも可能である。

更に、本動画像符号化処理装置は、６４×６４画素の最大サイズよりも小さい、例えば３２×３２画素のサイズを有する最大コーディングユニット(ＬＣＵ)を処理単位として、Ｈ．２６５／ＨＥＶＣ規格に準拠して符号化された符号化ビットストリームＢＳを生成する符号化処理することも可能である。

更に本動画像復号処理装置または本動画像符号化処理装置では、各フレームの画素サイズは、高精細ＨＤの画素サイズである１９２０画素×１０８０画素のみに限定されるものではない。すなわち、本動画像復号処理装置もしくは本動画像符号化処理装置における各フレームの画素サイズは、４ＫＴＶの画素サイズである４０９６画素×２１６０画素もしくは３８４０画素×２１６０画素とすることが可能である。このようにフレームの画素サイズが４ＫＴＶである場合には、動きベクトルの最大値が４ＫＴＶの画素サイズの約半分となるように動画像符号化処理を実行するものとする。

１０…制御部
１０１…画像参照制御部
１０２…処理ブロック制御部
２０…第１復号処理部(ＤＥＣ０)
２１…第２復号処理部(ＤＥＣ１)
２０１、２１１…可変長復号部
２０２、２１２…逆量子化部
２０３、２１３…逆変換部
２０４、２１４…セレクタ部
２０５、２１５…動き補償部
２０６、２１６…イントラ予測部
２０７、２１７…加算部
２０８、２１８…フィルタ部
３０…メモリ制御部
４０…フレームメモリ
５０…第１符号化処理部(ＥＮＣ０)
５１…第２符号化処理部(ＥＮＣ１)
５００１、５１０１…画像供給スイッチ
５００２、５１０２…減算器
５００３、５１０３…周波数変換部
５００４、５１０４…量子化部
５００５、５１０５…逆量子化部
５００６、５１０６…逆周波数変換部
５００７、５１０７…加算器
５００８、５１０８…フィルタ部
５００９、５１０９…動きベクトル検出部
５０１０、５１１０…動き補償部
５０１１、５１１１…イントラ予測部
５０１２、５１１２…セレクタ部
５０１３、５１１３…可変長符号化部
６０、７０…ストリームバッファ
８０…ストリーム合成部

Claims (22)

1. 動画像復号処理装置は、復号制御部と第１復号処理部と第２復号処理部とを具備して、
   前記復号制御部は、符号化ビットストリームから第１の複数のフレームの符号化情報と第２の複数のフレームの符号化情報とを生成して、
   前記第１の複数のフレームの前記符号化情報が前記復号制御部から前記第１復号処理部に供給され、前記第２の複数のフレームの前記符号化情報が前記復号制御部から前記第２復号処理部に供給され、
   第１期間では、前記第１の複数のフレームに含まれた第１の先行フレームの開始点から途中点までの前記符号化情報が前記第１復号処理部によって復号処理され、
   前記第１期間での前記第１復号処理部による前記第１の先行フレームの復号処理の前記途中点の到達に応答して、第２期間では、前記第２の複数のフレームに含まれた第２の先行フレームの開始点から途中点までの前記符号化情報が前記第２復号処理部によって復号処理され、
   前記第２期間では、前記第１の複数のフレームに含まれた前記第１の先行フレームの前記途中点から終了点までの前記符号化情報が前記第１復号処理部によって復号処理され、
   前記第２期間での前記第１復号処理部による前記第１の先行フレームの復号処理の前記終了点の到達を示す第１終了信号に応答して、第３期間では、前記第２の先行フレームの前記途中点から終了点までの前記符号化情報が前記第２復号処理部によって復号処理され、
   前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記途中点から終了点までの前記符号化情報の復号処理のために、前記第１終了信号に応答して、前記第３期間での前記第１復号処理部による復号処理の結果の使用が禁止され、
   前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記符号化情報の復号処理のために、前記第２期間での前記第１復号処理部による前記第１の先行フレームの前記復号処理の結果の使用が許可され、
   前記第２期間での前記第２復号処理部による前記第２の先行フレームの復号処理の前記途中点の到達に応答して、前記第３期間では前記第１の複数のフレームに含まれた第１の後続フレームの開始点から途中点までの符号化情報が前記第１復号処理部によって復号処理される
   動画像復号処理装置。
2. 請求項１において、
   前記第３期間での前記第２復号処理部による前記第２の先行フレームの復号処理の前記終了点の到達を示す第２終了信号に応答して、第４期間では、前記第１の後続フレームの前記途中点から終了点までの前記符号化情報が前記第１復号処理部によって復号処理され、
   前記第４期間での前記第１復号処理部による前記第１の後続フレームの前記途中点から終了点までの前記符号化情報の復号処理のために、前記第２終了信号に応答して、前記第４期間での前記第２復号処理部による復号処理の結果の使用が禁止され、
   前記第４期間での前記第１復号処理部による前記第１の後続フレームの前記符号化情報の復号処理のために、前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記復号処理の結果の使用が許可され、
   前記第３期間での前記第１復号処理部による前記第１の後続フレームの復号処理の前記途中点の到達に応答して、前記第４期間では前記第２の複数のフレームに含まれた第２の後続フレームの開始点から途中点までの符号化情報が前記第２復号処理部によって復号処理される
   動画像復号処理装置。
3. 請求項２において、
   前記第１復号処理部と前記第２復号処理部の各復号処理部は、可変長復号部と逆量子化部と逆変換部とセレクタ部と動き補償部とイントラ予測部と加算部とフィルタ部とを含む
   動画像復号処理装置。
4. 請求項３において、
   前記復号制御部と前記第１復号処理部と前記第２復号処理部とは、半導体集積回路の半導体チップの内部に集積化された
   動画像復号処理装置。
5. 請求項３において、
   前記動画像復号処理装置は、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠した前記符号化ビットストリームを復号処理する
   動画像復号処理装置。
6. 動画像符号化処理装置は、符号制御部と第１符号化処理部と第２符号化処理部とを具備して、
   前記符号制御部に、第１の複数のフレームの動画像信号と第２の複数のフレームの動画像信号とを含む符号化対象である映像入力信号が供給され、
   前記第１の複数のフレームの前記動画像信号が前記符号制御部から前記第１符号化処理部に供給され、前記第２の複数のフレームの前記動画像信号が前記符号制御部から前記第２符号化処理部に供給され、
   第１期間では、前記第１の複数のフレームに含まれた第１の先行フレームの開始点から途中点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
   前記第１期間での前記第１符号化処理部による前記第１の先行フレームの符号化処理の前記途中点の到達に応答して、第２期間では、前記第２の複数のフレームに含まれた第２の先行フレームの開始点から途中点までの前記動画像信号が前記第２符号化処理部によって符号化処理され、
   前記第２期間では、前記第１の複数のフレームに含まれた前記第１の先行フレームの前記途中点から終了点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
   前記第２期間での前記第１符号化処理部による前記第１の先行フレームの符号化処理の前記終了点の到達を示す第１終了信号に応答して、第３期間では、前記第２の先行フレームの前記途中点から終了点までの前記動画像信号が前記第２符号化処理部によって符号化処理され、
   前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記途中点から終了点までの前記動画像信号の符号化処理のために、前記第１終了信号に応答して、前記第３期間での前記第１符号化処理部による符号化処理の結果の使用が禁止され、
   前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記動画像信号の符号化処理のために、前記第２期間での前記第１符号化処理部による前記第１の先行フレームの前記符号化処理の結果の使用が許可され、
   前記第２期間での前記第２符号化処理部による前記第２の先行フレームの符号化処理の前記途中点の到達に応答して、前記第３期間では前記第１の複数のフレームに含まれた第１の後続フレームの開始点から途中点までの符号化情報が前記第１符号化処理部によって符号化処理される
   動画像符号化処理装置。
7. 請求項６において、
   前記第３期間での前記第２符号化処理部による前記第２の先行フレームの符号化処理の前記終了点の到達を示す第２終了信号に応答して、第４期間では、前記第１の後続フレームの前記途中点から終了点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
   前記第４期間での前記第１符号化処理部による前記第１の後続フレームの前記途中点から終了点までの前記動画像信号の符号化処理のために、前記第２終了信号に応答して、前記第４期間での前記第２符号化処理部による符号化処理の結果の使用が禁止され、
   前記第４期間での前記第１符号化処理部による前記第１の後続フレームの前記動画像信号の符号化処理のために、前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記符号化処理の結果の使用が許可され、
   前記第３期間での前第１符号化処理部による前記第１の後続フレームの符号化処理の前記途中点の到達に応答して、前記第４期間では前記第２の複数のフレームに含まれた第２の後続フレームの開始点から途中点までの動画像信号が前記第２符号化処理部によって符号化処理される
   動画像符号化処理装置。
8. 請求項７において、
   前記第１符号化処理部と前記第２符号化処理部の各符号化処理部は、減算器と周波数変換部と量子化部と逆量子化部と逆周波数変換部と加算器とフィルタ部と動きベクトル検出部と動き補償部とイントラ予測部とセレクタ部と可変長符号化部とを含む
   動画像符号化処理装置。
9. 請求項８において、
   前記符号制御部と前記第１符号化処理部と前記第２符号化処理部とは、半導体集積回路の半導体チップの内部に集積化された
   動画像符号化処理装置。
10. 請求項８において、
    前記動画像符号化処理装置は、映像入力信号を符号化処理することによって、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠した前記符号化ビットストリームを生成する
    動画像符号化処理装置。
11. 復号制御部と第１復号処理部と第２復号処理部とを具備する動画像復号処理装置の動作方法であって、
    前記復号制御部は、符号化ビットストリームから第１の複数のフレームの符号化情報と第２の複数のフレームの符号化情報とを生成して、
    前記第１の複数のフレームの前記符号化情報が前記復号制御部から前記第１復号処理部に供給され、前記第２の複数のフレームの前記符号化情報が前記復号制御部から前記第２復号処理部に供給され、
    第１期間では、前記第１の複数のフレームに含まれた第１の先行フレームの開始点から途中点までの前記符号化情報が前記第１復号処理部によって復号処理され、
    前記第１期間での前記第１復号処理部による前記第１の先行フレームの復号処理の前記途中点の到達に応答して、第２期間では、前記第２の複数のフレームに含まれた第２の先行フレームの開始点から途中点までの前記符号化情報が前記第２復号処理部によって復号処理され、
    前記第２期間では、前記第１の複数のフレームに含まれた前記第１の先行フレームの前記途中点から終了点までの前記符号化情報が前記第１復号処理部によって復号処理され、
    前記第２期間での前記第１復号処理部による前記第１の先行フレームの復号処理の前記終了点の到達を示す第１終了信号に応答して、第３期間では、前記第２の先行フレームの前記途中点から終了点までの前記符号化情報が前記第２復号処理部によって復号処理され、
    前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記途中点から終了点までの前記符号化情報の復号処理のために、前記第１終了信号に応答して、前記第３期間での前記第１復号処理部による復号処理の結果の使用が禁止され、
    前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記符号化情報の復号処理のために、前記第２期間での前記第１復号処理部による前記第１の先行フレームの前記復号処理の結果の使用が許可され、
    前記第２期間での前記第２復号処理部による前記第２の先行フレームの復号処理の前記途中点の到達に応答して、前記第３期間では前記第１の複数のフレームに含まれた第１の後続フレームの開始点から途中点までの符号化情報が前記第１復号処理部によって復号処理される
    動画像復号処理装置の動作方法。
12. 請求項１１において、
    前記第３期間での前記第２復号処理部による前記第２の先行フレームの復号処理の前記終了点の到達を示す第２終了信号に応答して、第４期間では、前記第１の後続フレームの前記途中点から終了点までの前記符号化情報が前記第１復号処理部によって復号処理され、
    前記第４期間での前記第１復号処理部による前記第１の後続フレームの前記途中点から終了点までの前記符号化情報の復号処理のために、前記第２終了信号に応答して、前記第４期間での前記第２復号処理部による復号処理の結果の使用が禁止され、
    前記第４期間での前記第１復号処理部による前記第１の後続フレームの前記符号化情報の復号処理のために、前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記復号処理の結果の使用が許可され、
    前記第３期間での前記第１復号処理部による前記第１の後続フレームの復号処理の前記途中点の到達に応答して、前記第４期間では前記第２の複数のフレームに含まれた第２の後続フレームの開始点から途中点までの符号化情報が前記第２復号処理部によって復号処理される
    動画像復号処理装置の動作方法。
13. 請求項１２において、
    前記第１復号処理部と前記第２復号処理部の各復号処理部は、可変長復号部と逆量子化部と逆変換部とセレクタ部と動き補償部とイントラ予測部と加算部とフィルタ部とを含む
    動画像復号処理装置の動作方法。
14. 請求項１３において、
    前記復号制御部と前記第１復号処理部と前記第２復号処理部とは、半導体集積回路の半導体チップの内部に集積化された
    動画像復号処理装置の動作方法。
15. 請求項１３において、
    前記動画像復号処理装置は、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠した前記符号化ビットストリームを復号処理する
    動画像復号処理装置の動作方法。
16. 符号制御部と第１符号化処理部と第２符号化処理部とを具備する動画像符号化処理装置の動作方法であって、
    前記符号制御部に、第１の複数のフレームの動画像信号と第２の複数のフレームの動画像信号とを含む符号化対象である映像入力信号が供給され、
    前記第１の複数のフレームの前記動画像信号が前記符号制御部から前記第１符号化処理部に供給され、前記第２の複数のフレームの前記動画像信号が前記符号制御部から前記第２符号化処理部に供給され、
    第１期間では、前記第１の複数のフレームに含まれた第１の先行フレームの開始点から途中点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
    前記第１期間での前記第１符号化処理部による前記第１の先行フレームの符号化処理の前記途中点の到達に応答して、第２期間では、前記第２の複数のフレームに含まれた第２の先行フレームの開始点から途中点までの前記動画像信号が前記第２符号化処理部によって符号化処理され、
    前記第２期間では、前記第１の複数のフレームに含まれた前記第１の先行フレームの前記途中点から終了点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
    前記第２期間での前記第１符号化処理部による前記第１の先行フレームの符号化処理の前記終了点の到達を示す第１終了信号に応答して、第３期間では、前記第２の先行フレームの前記途中点から終了点までの前記動画像信号が前記第２符号化処理部によって符号化処理され、
    前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記途中点から終了点までの前記動画像信号の符号化処理のために、前記第１終了信号に応答して、前記第３期間での前記第１符号化処理部による符号化処理の結果の使用が禁止され、
    前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記動画像信号の符号化処理のために、前記第２期間での前記第１符号化処理部による前記第１の先行フレームの前記符号化処理の結果の使用が許可され、
    前記第２期間での前記第２符号化処理部による前記第２の先行フレームの符号化処理の前記途中点の到達に応答して、前記第３期間では前記第１の複数のフレームに含まれた第１の後続フレームの開始点から途中点までの符号化情報が前記第１符号化処理部によって符号化処理される
    動画像符号化処理装置の動作方法。
17. 請求項１６において、
    前記第３期間での前記第２符号化処理部による前記第２の先行フレームの符号化処理の前記終了点の到達を示す第２終了信号に応答して、第４期間では、前記第１の後続フレームの前記途中点から終了点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
    前記第４期間での前記第１符号化処理部による前記第１の後続フレームの前記途中点から終了点までの前記動画像信号の符号化処理のために、前記第２終了信号に応答して、前記第４期間での前記第２符号化処理部による符号化処理の結果の使用が禁止され、
    前記第４期間での前記第１符号化処理部による前記第１の後続フレームの前記動画像信号の符号化処理のために、前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記符号化処理の結果の使用が許可され、
    前記第３期間での前第１符号化処理部による前記第１の後続フレームの符号化処理の前記途中点の到達に応答して、前記第４期間では前記第２の複数のフレームに含まれた第２の後続フレームの開始点から途中点までの動画像信号が前記第２符号化処理部によって符号化処理される
    動画像符号化処理装置の動作方法。
18. 請求項１７において、
    前記第１符号化処理部と前記第２符号化処理部の各符号化処理部は、減算器と周波数変換部と量子化部と逆量子化部と逆周波数変換部と加算器とフィルタ部と動きベクトル検出部と動き補償部とイントラ予測部とセレクタ部と可変長符号化部とを含む
    動画像符号化処理装置の動作方法。
19. 請求項１８において、
    前記符号制御部と前記第１符号化処理部と前記第２符号化処理部とは、半導体集積回路の半導体チップの内部に集積化された
    動画像符号化処理装置の動作方法。
20. 請求項１８において、
    前記動画像符号化処理装置は、映像入力信号を符号化処理することによって、Ｈ．２６４／ＡＶＣ規格またはＨ．２６５／ＨＥＶＣ規格に準拠した前記符号化ビットストリームを生成する
    動画像符号化処理装置の動作方法。
21. 動画像復号処理装置は、復号制御部と第１復号処理部と第２復号処理部とを具備して、
    前記復号制御部は、符号化ビットストリームから第１の複数のフレームの符号化情報と第２の複数のフレームの符号化情報とを生成して、
    前記第１の複数のフレームの前記符号化情報が前記復号制御部から前記第１復号処理部に供給され、前記第２の複数のフレームの前記符号化情報が前記復号制御部から前記第２復号処理部に供給され、
    第１期間では、前記第１の複数のフレームに含まれた第１の先行フレームの開始点から途中点までの前記符号化情報が前記第１復号処理部によって復号処理され、
    前記第１期間での前記第１復号処理部による前記第１の先行フレームの復号処理の前記途中点の到達に応答して、第２期間では、前記第２の複数のフレームに含まれた第２の先行フレームの開始点から途中点までの前記符号化情報が前記第２復号処理部によって復号処理され、
    前記第２期間では、前記第１の複数のフレームに含まれた前記第１の先行フレームの前記途中点から終了点までの前記符号化情報が前記第１復号処理部によって復号処理され、
    前記第２期間での前記第１復号処理部による前記第１の先行フレームの復号処理の前記終了点の到達を示す第１終了信号が前記第１復号処理部から前記復号制御部に入力され、前記第１終了信号に応答して、第３期間では、前記第２の先行フレームの前記途中点から終了点までの前記符号化情報が前記第２復号処理部によって復号処理され、
    前記復号制御部は、前記第１終了信号に応答して、前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記途中点から終了点までの前記符号化情報の復号処理のために、前記第３期間での前記第１復号処理部による復号処理の結果が使用されることを禁止し、
    前記復号制御部は、前記第３期間での前記第２復号処理部による前記第２の先行フレームの前記符号化情報の復号処理のために、前記第２期間での前記第１復号処理部による前記第１の先行フレームの前記復号処理の結果の使用を許可し、
    前記第２期間での前記第２復号処理部による前記第２の先行フレームの復号処理の前記途中点の到達に応答して、前記第３期間では前記第１の複数のフレームに含まれた第１の後続フレームの開始点から途中点までの符号化情報が前記第１復号処理部によって復号処理される
    動画像復号処理装置。
22. 動画像符号化処理装置は、符号制御部と第１符号化処理部と第２符号化処理部とを具備して、
    前記符号制御部に、第１の複数のフレームの動画像信号と第２の複数のフレームの動画像信号とを含む符号化対象である映像入力信号が供給され、
    前記第１の複数のフレームの前記動画像信号が前記符号制御部から前記第１符号化処理部に供給され、前記第２の複数のフレームの前記動画像信号が前記符号制御部から前記第２符号化処理部に供給され、
    第１期間では、前記第１の複数のフレームに含まれた第１の先行フレームの開始点から途中点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
    前記第１期間での前記第１符号化処理部による前記第１の先行フレームの符号化処理の前記途中点の到達に応答して、第２期間では、前記第２の複数のフレームに含まれた第２の先行フレームの開始点から途中点までの前記動画像信号が前記第２符号化処理部によって符号化処理され、
    前記第２期間では、前記第１の複数のフレームに含まれた前記第１の先行フレームの前記途中点から終了点までの前記動画像信号が前記第１符号化処理部によって符号化処理され、
    前記第２期間での前記第１符号化処理部による前記第１の先行フレームの符号化処理の前記終了点の到達を示す第１終了信号が前記第１符号化処理部から前記符号制御部に入力され、前記第１終了信号に応答して、第３期間では、前記第２の先行フレームの前記途中点から終了点までの前記動画像信号が前記第２符号化処理部によって符号化処理され、
    前記符号制御部は、前記第１終了信号に応答して、前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記途中点から終了点までの前記動画像信号の符号化処理のために、前記第３期間での前記第１符号化処理部による符号化処理の結果が使用されることを禁止し、
    前記符号制御部は、前記第３期間での前記第２符号化処理部による前記第２の先行フレームの前記動画像信号の符号化処理のために、前記第２期間での前記第１符号化処理部による前記第１の先行フレームの前記符号化処理の結果の使用を許可し、
    前記第２期間での前記第２符号化処理部による前記第２の先行フレームの符号化処理の前記途中点の到達に応答して、前記第３期間では前記第１の複数のフレームに含まれた第１の後続フレームの開始点から途中点までの符号化情報が前記第１符号化処理部によって符号化処理される
    動画像符号化処理装置。

Images