JP5236332B2 - 符号化装置、符号化方法および符号化プログラム - Google Patents

Description

この発明は、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置、符号化方法および符号化プログラムに関する。

従来より、符号化データの符号量を画像（ピクチャ）単位または画像以下の単位で一定量にする技術がある（特許文献１）。この画像処理システムにおける符号化装置は、例えば、１ピクチャ単位で符号量を一定にした場合は、図１３のように、符号化データ出力時間が１ピクチャ単位で一定になる。

具体的には、特許文献１に係る符号化装置は、図１４に示すように、ピクチャもしくはピクチャよりも小さな単位で符号量を一定に制御する符号量制御部と、符号量制御部から受け付けた符号量に基づいて入力画像データを符号化する符号化部と、符号化部により符号化された符号化データの符号量を算出して符号量制御部にフィードバックさせる符号量算出部とから構成される。

このような構成を有する符号化装置は、図１５に示すように、入力画像を６分割し、それぞれの領域で使用できる上限の符号量（例えば、２０ビットなど）を一定にする。つまり、符号化装置は、領域「０、１、２、３」、領域「４、５、６、７」、領域「８、９、１０、１１」、領域「１２、１３、１４、１５」、領域「１６、１７、１８、１９」、領域「２０、２１、２２、２３」それぞれの符号量を一定に制御して符号化する。例えば、符号化装置は、一つの領域である「０、１、２、３」に対して、定められた符号量内に収まるように各画像ブロックを符号化する。そして、符号化装置は、符号化された符号化データから順に復号化装置に送信する。また、符号量を一定にすることによって、符号化データ出力時間も一定になるので、画面以下の単位ごとに符号量を一定にすれば、結果的に、低遅延化も可能となる。

特開２００１−１６９２８１号公報

しかしながら、上記した従来の技術は、符号化の低遅延化が実現できるものの、最終的に得られる画像データの質が劣化するという課題があった。

具体的には、上記した従来の技術において、符号化遅延を小さくする場合には、ピクチャ内の一定単位ごとに符号量を制御するため、ピクチャ内の複雑さに対応できない。つまり、従来の技術では、入力画像を一定に分割し、分割した領域内で使用できる符号量が一定であるため、領域内の複雑な画像ブロックも複雑でない画像ブロックも両方とも同じように符号量が割り当てられた上で符号化される。言い換えれば、複雑な画像ブロックは元の画像データを符号化した場合よりも小さな符号量の符号化データとなり、複雑でない画像ブロックは元の画像データを符号化した場合よりも大きな符号量の符号化データとなる場合がある。そして、このように符号化されたデータがそのまま復号化されてしまうので、小さい符号量で符号化された複雑な画像ブロックは、復号化した際には元の画像データよりも画質が悪い。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である符号化装置、符号化方法および符号化プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置であって、許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定するサイズ決定手段と、前記サイズ決定手段により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手段と、前記符号量割り当て手段により割り当てられた符号量で、前記サイズ決定手段によりサイズが決定された部分領域を符号化する符号化手段と、を備えたことを特徴とする。

本発明によれば、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。

以下に添付図面を参照して、この発明に係る符号化装置、符号化方法および符号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る符号化装置の概要および特徴、符号化装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。

［符号化装置の概要および特徴］
まず最初に、図１を用いて、実施例１に係る符号化装置の概要および特徴を説明する。図１は、実施例１に係る符号化装置の概要と特徴を説明するための図である。

実施例１に係る符号化装置は、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化することを概要とするものであり、特に、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である点に主たる特徴がある。

この主たる特徴について具体的に説明する。この符号化装置は、許容される符号化遅延時間を１／２ロウ、つまり、部分領域の最大サイズが「４」、１画像ブロックあたりの生成符号量の目標値が「５」であるとする。また、この符号化装置は、一般的に符号量は複雑度に比例することから、複雑度「１」を予想符号量「１」として、領域サイズと符号量を決定して符号化する。

例えば、このような状態において、図１の（ａ）に示した複雑度を有する画像が入力された符号化装置は、領域サイズを「４」と固定した場合には、図１の（ｂ１）に示すように、４画像ブロックで符号量が「２０」になるように符号化する。ところが、符号化装置は、図１の（ｂ２）に示すように、１画像ブロック目の予想符号量は「８」、２画像ブロック目の予想符号量は「２」、３画像ブロック目の予想符号量は「９」、４画像ブロック目の予想符号量は「９」であるので、最初の部分領域の予想符号量の合計は「２６」であり、符号量を「６」減らして符号化することとなる。また、次の部分領域の予想符号量の合計は「１０」であり、割り当てられた符号量「２０」になるように符合量「１０」を水増しすることとなる。

これに対して、領域サイズを最大「４」とした場合、符号化装置は、図１の（ｃ１）に示すように、最小サイズが１画像ブロックの目標値「５」、最大サイズが４画像ブロックの目標値「２０」として、領域サイズを可変に変更することができ、符号量の不足や水増しを緩和することができる。具体的には、符号化装置は、図１の（ｃ２）に示すように、１画像ブロック目の予想符号量が「８」、２画像ブロック目の予想符号量が「２」であることより、この２つの画像ブロックを一つの部分領域として符号化する。次に、符号化装置は、１画像ブロック目の予想符号量が「９」、２画像ブロック目の予想符号量が「９」、３画像ブロック目の予想符号量が「２」、４画像ブロック目の予想符号量が「０」であることより、この４つの画像ブロックを一つの部分領域として符号化する。

このように、符号化装置は、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定し、決定された部分領域のサイズに応じて、符号量を割り当て、割り当てられた符号量で、サイズが決定された部分領域を符号化することができる。

次に、図２を用いて、この符号化装置が、入力された画像に対して、部分領域のサイズを可変に決定して、決定した部分領域のサイズに応じて、符号量を割り当てて符号化する全体的な流れについて説明する。なお、図２は、実施例１に係る符号化処理を示す図である。

図２に示すように、この符号化装置は、画像ブロック「０〜２３」で構成されている画像が入力された場合、許容される符号化遅延時間により定まる最大サイズ内を４として、その範囲内で、部分領域のサイズを決定する。具体的に例を挙げると、符号化装置は、入力された画像ブロック「０〜２３」で構成されている画像に対して、部分領域１「０〜３」のサイズ４、部分領域２「４」のサイズ１、部分領域３「５〜８」のサイズ４、部分領域４「９〜１２」のサイズ４、部分領域５「１３」のサイズ１、部分領域６「１４」のサイズ１、部分領域７「１５、１６」のサイズ２、部分領域８「１７〜１９」のサイズ３、部分領域９「２０〜２３」のサイズ４に領域分割・サイズ決定する。

そして、符号化装置は、決定された部分領域のサイズに応じて、符号量を割り当てて、割り当てられた符号量でサイズが決定された部分領域を符号化する。１画像ブロックあたりの生成符号量の目標値が「５」であるとした例で説明すると、符号化装置は、サイズ４である部分領域１には生成符号量「２０」、サイズ１である部分領域２には生成符号量「５」、サイズ４である部分領域３には生成符号量「２０」、サイズ４である部分領域４には生成符号量「２０」、サイズ１である部分領域５には生成符号量「５」、サイズ１である部分領域６には生成符号量「５」、サイズ２である部分領域７には生成符号量「１０」、サイズ３である部分領域８には生成符号量「１５」、サイズ４である部分領域９には生成符号量「２０」を割り当てる。そして、符号化装置は、それぞれの領域を順に符号化して、復号化装置に送信する。

このように、実施例１に係る符号化装置は、入力画像を分割する領域サイズを制御することにより、分割位置を可変にすることで、局所的な符号量割り当ての偏りを緩和し、複雑度（予想符号量）の分布に応じた符号量制御を行うことができる結果、上記した主たる特徴のごとく、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。

［符号化装置の構成］
次に、図３を用いて、図１と図２に示した符号化装置の構成を説明する。図３は、実施例１に係る符号化装置の構成を示すブロック図である。図３に示すように、この符号化装置１０は、符号量調整領域制御部１１と、符号量制御部１２と、符号化部１３と、符号量算出部１４とから構成される。

符号量調整領域制御部１１は、図４に示すように、ブロック抽出部１１ａと、複雑度算出部１１ｂと、領域サイズ算出部１１ｃとを備え、これらによって、許容される符号化遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する処理を実行する。なお、図４は、符号量調整領域制御部の詳細な処理部を説明するための図である。

ブロック抽出部１１ａは、入力画像から画像ブロックを抽出する。具体的に例を挙げれば、ブロック抽出部１１ａは、ビデオカメラなどの画像入力装置から入力画像を受け付けて、受け付けた入力画像から画像ブロックを抽出し、抽出した画像ブロックを後述する複雑度算出部１１ｂに出力する。

複雑度算出部１１ｂは、入力画像から抽出された画像ブロックそれぞれに対して複雑度を算出する。具体的に例を挙げれば、複雑度算出部１１ｂは、入力画像から抽出された画像ブロックをブロック抽出部１１ａから受信した場合に、受信した画像ブロックそれぞれについて複雑度を算出し、算出した画像ブロックごとの複雑度を後述する領域サイズ算出部１１ｃに出力する。

複雑度の算出手法として、例えば、画像ブロックの大きさを１６画素×１６画素とした場合、複雑度算出部１１ｂは、画像ブロックを構成する２５６画素の分散を使用することができる。具体的には、画像ブロックを構成する２５６画素（１６画素×１６画素）の平均値を求め、各画素について求めた平均値との差を二乗した値を計算し、この値の２５６画素分の平均が分散となる。この分散値により複雑度を算出する。分散値の値が大きいほど複雑度は大きくなり、分散値の値が小さいほど複雑度は小さくなる。

また、例えば、複雑度算出部１１ｂは、画像ブロックを構成する画素の数画素毎の平均値を求め、その平均値の分散を用いることもできる。具体的には、複雑度算出部１１ｂは、４画素毎の平均値の分散を算出する場合、まず４画素毎の平均値を求め、６４個（１６画素×１６画素／４画素）の平均値から分散値を算出すればよい。そのため、上記した２５６画素（１６画素×１６画素）の分散値を算出する場合に比べて、演算コストが少なくて済む。

また、例えば、複雑度算出部１１ｂは、二次元ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を用いることもできる。具体的には、複雑度算出部１１ｂは、１６×１６の画素に対して、二次元のＤＣＴを施すことにより、１６×１６の周波数成分を得ることができる。そして、複雑度算出部１１ｂは、得られた周波数成分が高いほど複雑度は大きく、得られた周波数成分が低いほど複雑度は小さくなる。

上記したいずれの手法を用いたとしても、複雑度算出部１１ｂは、得られた分散値または周波数成分そのものを複雑度としてもよく、さらに計算を加えて求められた値を複雑度としてもよい。このようにして、入力画像の画像ブロックごとの複雑度を算出した複雑度算出部１１ｂは、算出して得られた画像ブロックごとの複雑度を後述する領域サイズ算出部１１ｃに出力する。

領域サイズ算出部１１ｃは、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する。具体的には、領域サイズ算出部１１ｃは、複雑度算出部１１ｂから受信した画像ブロック数と画像ブロックごとの複雑度に応じて、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する。ここで、部分領域の最大値は、後述する符号化処理を実行する符号化部１３が許容される符号化の遅延時間で、例えば１／２ロウである場合には「４」となり、１ロウである場合は「８」となる。また、許容される遅延時間内であれば、より小さな値としてもよい。このようにして、定められた最大値以下で、領域サイズ算出部１１ｃは、入力画像を複数の領域に分割し、分割した結果を後述する符号量制御部１２に出力する。

図３に戻り、符号量制御部１２は、符号量調整領域制御部１１により決定された部分領域のサイズに応じて、符号量を割り当てる。具体的には、符号量制御部１２は、１サイズの符号量（複雑度、目標符号量）を「５」とした場合、符号量調整領域制御部１１により決定されて入力された部分領域のサイズが「３」であると、当該部分領域に対して符号量「１５」を割り当てる。そして、符号量制御部１２は、部分領域サイズ「３」と、割り当てた目標符号量「１５」を後述する符号化部１３に出力する。また、符号量算出部１４からフィードバックされた実際の符号量と目標符号量との差を考慮して符号化部１３に出力する次の部分領域の目標符号量の微調整を行う。

符号化部１３は、符号量制御部１２により割り当てられた符号量で、決められたサイズの部分領域を符号化する。具体的に例を挙げると、符号化部１３は、画像ブロック「０〜２３」で構成される入力画像を受け付け、符号量制御部１２からサイズ「４」、符号量「２０」を受け付けた場合、入力画像の「０〜３」の画像ブロックを符号量「２０」で符号化する。例えば、符号化部１３は、画像ブロック「０」を、符号量「１２」で符号化し、残りの画像ブロック「１〜３」を目標符号量「２０」から「１２」を差し引いた符号量「８」で、符号化する。このように、符号化部１３は、符号量制御部１２により割り当てられた領域サイズに含まれる画像ブロックに対して、符号量制御部１２により割り当てられた符号量内で複雑度に応じて使用する符号量を決定して符号化する。なお、この符号化部１３は、一つの機能部で構成されている必要はなく、複数の機能を有していてもよい。

符号量算出部１４は、符号量をフィードバックするとともに、生成された符号化データを復号化装置に送信する。具体的に例を挙げると、符号量算出部１４は、符号化部１３により入力された符号化データの符号量を抽出して、符号量制御部１２にフィードバックするとともに、当該符号化データを復号化装置に送信する。

［符号化装置による処理］
次に、図５と図６とを用いて、符号化装置による処理を説明する。図５は、実施例１に係る符号化装置における領域サイズ決定処理の流れを示すフローチャートであり、図６は、実施例１に係る符号化装置における符号化処理の流れを示すフローチャートである。

（領域サイズ決定処理の流れ）
図５に示すように、符号化処理を開始した符号化装置１０は、作業用変数の初期化を実施する（ステップＳ１０１）。具体的には、符号化装置１０は、作業用変数として、現在処理中の画像ブロックを示す「ｐ」を「ｐ＝１」とし、受信した画像ブロックを示す「ｔ」を「ｔ＝１」とする。

変数の初期化を行った符号化装置１０は、画像ブロックの複雑度を受信する（ステップＳ１０２）。上記した例で具体的に説明すると、符号化装置１０は、「Ｃ_t＝複雑度、ｔ＜ｐ＋Ｍ」（Ｍ：符号量調整ブロック数の最大値）とする画像ブロックを受け付ける。

そして、符号化装置１０は、受信した画像ブロック数を更新し（ステップＳ１０３）、受信した各画像ブロックの複雑度の平均を算出する（ステップＳ１０４）。上記した例で具体的に説明すると、符号化装置１０は、「ｔ＝ｐ＋Ｍ」として受信した画像ブロック数を更新し、式（１）に示した算出式で複雑度の平均を算出する。なお、式（１）に示される「Ｓ_i,j」とは「画像ブロックｉからｊ個の複雑度の平均」を示している。

その後、符号化装置１０は、式（１）を用いて算出した「Ｓ_i,j」から、複雑度の目標値Ｂ以下、かつ、最大の「Ｓ_i,j」を取得する（ステップＳ１０５）。

そして、符号化装置１０は、複雑度の目標値Ｂ以下、かつ、最大の「Ｓ_i,j」が取得できた場合（ステップＳ１０６肯定）、処理画像ブロック数「ｊ」を符号化部１３に送信し（ステップＳ１０８）、処理中の画像ブロック数「ｐ」を「ｐ＝ｐ＋ｊ」と更新する（ステップＳ１０９）。

処理中の画像ブロック数を更新した符号化装置１０は、更新した画像ブロック数「ｐ」が「Ｎ（１ピクチャあたりの画像ブロック数）」より大きくなった場合（ステップＳ１１０否定）、つまり、入力された画像全ての画像ブロックについて上記したステップＳ１０２〜ステップＳ１０９の処理を実行した場合、処理を終了する。

一方、処理中の画像ブロック数を更新した符号化装置１０は、更新した画像ブロック数「ｐ」が「Ｎ（１ピクチャあたりの画像ブロック数）」以下である場合（ステップＳ１１０肯定）、つまり、入力された画像において、上記したステップＳ１０２〜ステップＳ１０９の処理を実行していない画像ブロックが存在する場合、ステップＳ１０２に戻り、以降の処理を実行する。

ステップＳ１０６に戻り、符号化装置１０は、複雑度の目標値Ｂ以下、かつ、最大の「Ｓ_i,j」が取得できない場合（ステップＳ１０６否定）、上記した「Ｓ_i,j」が最小のものを取得し（ステップＳ１０７）、ステップＳ１０８以降の処理を実行する。

ここで、上記したステップＳ１０１〜ステップＳ１１０の処理を具体的に例を挙げて説明する。符号化装置１０は、複雑度「Ｃ₁＝８、Ｃ₂＝２、Ｃ₃＝９、Ｃ₄＝８」の４つの画像ブロックを受信した場合、受信した画像ブロック数「ｔ」を「ｔ＝１＋４＝５」と更新する。なお、ここでは、符号量調整ブロック数の最大値「Ｍ＝４」、複雑度の目標値（１画像ブロックあたりに使用する符号量の目安）「Ｂ＝５」とする。

そして、符号化装置１０は、各複雑度の平均として、「Ｓ_1,1＝８／１＝８」、「Ｓ_1,2＝（８＋２）／２＝５」、「Ｓ_1,3＝（８＋２＋９）／３＝６．３３・・・」、「Ｓ_1,4＝（８＋２＋９＋８）／４＝６．７５」を算出する。

続いて、符号化装置１０は、算出した上記「Ｓ_1,1＝８」、「Ｓ_1,2＝５」、「Ｓ_1,3＝６．３３」、「Ｓ_1,4＝６．７５」から、目標値「Ｂ＝５」以下で最大の「Ｓ_1,2＝５」を取得する。

そして、符号化装置１０は、取得した「Ｓ_1,2＝５」に基づいて、処理画像ブロック数＝２、処理中の画像ブロック数ｐ＝１＋２＝３と更新して、次の画像ブロックを受信する。つまり、ここで、符号化装置１０は、処理サイズを「２」と決定し、「Ｃ₁＝８、Ｃ₂＝２」が一つの領域となる。

その後、符号化装置１０は、複雑度「Ｃ₅＝２、Ｃ₆＝３」をさらに受信したとする。つまり、ここでは、「Ｃ₃＝９、Ｃ₄＝８、Ｃ₅＝２、Ｃ₆＝３」の４つの画像ブロックが受信されたがサイズが未決定であることとなる。また、処理中の画像ブロック数ｐ＝３であることより、符号化装置１０は、「Ｃ₃＝９」以降に受信した画像ブロックについて上記した処理を行うこととなる。

そして、同様に、符号化装置１０は、受信した画像ブロック数「ｔ」を「ｔ＝３＋４＝７」と更新し、各複雑度の平均として、「Ｓ_3,1＝９／１＝９」、「Ｓ_3,2＝（９＋８）／２＝８．５」、「Ｓ_3,3＝（９＋８＋２）／３＝６．３３・・・」、「Ｓ_3,4＝（９＋８＋２＋３）／４＝５．５」を算出する。

続いて、符号化装置１０は、算出した「Ｓ_3,1＝９」、「Ｓ_3,2＝８．５」、「Ｓ_3,3＝６．３３・・・」、「Ｓ_3,4＝５．５」のうち、目標値「Ｂ＝５」以下のものがないため、最小の「Ｓ_3,4＝５．５」を取得する。

そして、符号化装置１０は、取得した「Ｓ_3,4＝５．５」に基づいて、処理画像ブロック数＝４、ｐ＝３＋４＝７と更新して、次の画像ブロックを受信する。つまり、ここで、符号化装置１０は、処理サイズを「４」と決定し、「Ｃ₃＝９、Ｃ₄＝８、Ｃ₅＝２、Ｃ₆＝３」が一つの領域となる。

このように、符号化装置１０は、受信した画像ブロック数の複雑度から順次、部分領域サイズを決定する。

（符号化処理の流れ）
図６に示すように、符号化装置１０は、画像が入力されると（ステップＳ２０１肯定）、当該入力された画像（入力画像）の画像ブロックを抽出し、抽出したそれぞれの画像ブロックに対して複雑度を算出した後に、領域サイズを算出する（ステップＳ２０２〜ステップＳ２０４）。ここで示したステップＳ２０１〜ステップＳ２０４までの処理は、図５で説明した手法を用いて実施される。

そして、符号化装置１０は、決定した部分領域それぞれに対して、既に使用された符号量をフィードバック情報として取得しつつ（ステップＳ２０５）、目標符号量を決定して符号化を実施する（ステップＳ２０６とステップＳ２０７）。

符号化を実施した符号化装置１０は、実際の符号量を算出してフィードバックするとともに（ステップＳ２０８〜ステップＳ２０９）、入力画像を符号化した符号化データを復号化装置に送信する（ステップＳ２１０）。

そして、符号化装置１０は、１ピクチャ（入力画像）分の符号化データを送信し終わると（ステップＳ２１１肯定）、処理を終了し、１ピクチャ（入力画像）分の符号化データを送信し終わっていない場合には（ステップＳ２１１否定）、ステップＳ２０１に戻って、上記した処理を繰り返す。

［従来技術との比較］
そして、従来技術に係る符号化装置は、画像が入力されると、図７に示すように（図７に示される数字は複雑度を示している）、当該画像を一定単位（４画像ブロック）に分割する（部分領域１〜６）。そして、従来技術に係る符号化装置は、それぞれの部分領域を一定の符号量（例えば、２０（画像ブロック１つに対して目標符号量を５とした場合））で符号化するため、図８に示すように、部分領域１と部分領域４と部分領域６とについては、符号量が足りず大幅な符号量の削減を行う必要がある一方で、部分領域２と部分領域３と部分領域５とについては、符号量が余っており調整する必要がある。つまり、従来技術に係る符号化装置では、図９に示すように、目標符号量を超える符号量が必要な領域に対しては、符号量を削除する必要な量が多く、結果として、最終的に得られる画像データが劣化する。

これに対して、本発明に係る符号化装置は、上記した画像と同じ画像が入力された場合、図１０に示すように、許容される符号化の遅延時間に対応する領域を最大値（４）として、部分領域のそれぞれのサイズを決定する（部分領域１〜９）。そして、符号化装置は、それぞれの部分領域のサイズに応じて決定された符号量（例えば、サイズが１の場合は符号量５、サイズが２の場合は符号量１０、サイズが４の場合は符号量２０）で符号化するため、図１１に示すように、部分領域１〜９のどの領域でも、従来技術のように符号量が足りないまたは余るなどの事象が発生することなく、全ての領域を符号化することができる。つまり、本発明に係る符号化装置では、図１２に示すように、全ての部分領域を領域のサイズに応じた目標符号量を超えることなく符号化することができる結果、最終的に得られる画像データの劣化を低減することができる。

なお、図７は、従来技術を用いた画像分割例を示す図であり、図８は、従来技術における画像分割後の使用符号量を示す図であり、図９は、従来技術における画像分割後の符号量削除量を示す図であり、図１０は、本発明を用いた画像分割例を示す図であり、図１１は、本発明における画像分割後の使用符号量を示す図であり、図１２は、本発明における画像分割後の符号量削除量を示す図である。

［実施例１による効果］
このように、実施例１によれば、許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定し、決定された部分領域のサイズに応じて、符号量を割り当てて、割り当てられた符号量で、決定された部分領域を符号化するので、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。

また、実施例１によれば、部分領域に含まれる画像の複雑度に応じて、部分領域のサイズを決定するので、画像ブロック毎の符号量の割り当てを柔軟に行い局所的な符号量の偏りを緩和することができる結果、最終的に得られる画像データの劣化をより低減することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）複雑度算出手法、（２）符号化手法、（３）システム構成等、（４）プログラムにそれぞれ区分けして異なる実施例を説明する。

（１）複雑度算出手法
例えば、本符号化装置は、上記した複雑度の算出手法として様々な手法を用いることができる。例えば、本符号化装置は、画像ブロックを構成する画素すべてについての分散を使用したり、数画素の平均に対して分散を用いたり、二次元ＤＣＴを用いたりして複雑度を算出することもできる。

（２）符号化手法
また、例えば、本発明に係る符号化装置は、割り当てられた符号量で、サイズが決定された部分領域を、入力画像の画面順で符号化することができる。このようにすることで、処理対象画像ブロックもしくは既に入力されている画像データを使用して符号化することにより、入力された順で符号化し出力することが可能になるので、符号化を低遅延にすること可能である。

（３）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、画像入力処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、符号量調整領域制御部と符号化部とを統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（４）プログラム
なお、本実施例で説明した符号化方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る符号化装置、符号化方法および符号化プログラムは、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化することに有用であり、特に、符号化の低遅延化と、最終的に得られる画像データの劣化を低減することに適する。

実施例１に係る符号化装置の概要と特徴を説明するための図である。 実施例１に係る符号化処理を示す図である。 実施例１に係る符号化装置の構成を示すブロック図である。 符号量調整領域制御部の詳細な処理部を説明するための図である。 実施例１に係る符号化装置における領域サイズ決定処理の流れを示すフローチャートである。 実施例１に係る符号化装置における符号化処理の流れを示すフローチャートである。 従来技術を用いた画像分割例を示す図である。 従来技術における画像分割後の使用符号量を示す図である。 従来技術における画像分割後の符号量削除量を示す図である。 本発明を用いた画像分割例を示す図である。 本発明における画像分割後の使用符号量を示す図である。 本発明における画像分割後の符号量削除量を示す図である。 従来技術の符号化処理から復号化処理までの流れを示す図である。 従来技術に係る符号化装置の構成を示す図である。 従来技術の符号化処理の流れを示す図である。

符号の説明

１０ 符号化装置
１１ 符号量調整領域制御部
１１ａ ブロック抽出部
１１ｂ 複雑度算出部
１１ｃ 領域サイズ算出部
１２ 符号量制御部
１３ 符号化部
１４ 符号量算出部

Claims (6)

1. 入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置であって、
   前記入力画像の符号化を開始してから終了するまでの遅延時間として許容できる画像ブロック数を最大領域サイズとして、前記部分領域のそれぞれのサイズを決定するサイズ決定手段と、
   前記サイズ決定手段により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手段と、
   前記符号量割り当て手段により割り当てられた符号量で、前記サイズ決定手段によりサイズが決定された部分領域を符号化する符号化手段と、
   を備えたことを特徴とする符号化装置。
2. 前記サイズ決定手段は、前記部分領域に含まれる画像の複雑度に応じて、前記部分領域のそれぞれのサイズを決定することを特徴とする請求項１に記載の符号化装置。
3. 前記サイズ決定手段は、前記複雑度として前記部分領域に含まれる画像値の分散値を算出し、算出した分散値を基に、前記部分領域のそれぞれのサイズを決定することを特徴とする請求項２に記載の符号化装置。
4. 前記符号化手段は、前記入力画像の画面順で符号化することを特徴とする請求項１〜３のいずれか一つに記載の符号化装置。
5. 入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化することに適した符号化方法であって、
   前記入力画像の符号化を開始してから終了するまでの遅延時間として許容できる画像ブロック数を最大領域サイズとして、前記部分領域のそれぞれのサイズを決定するサイズ決定工程と、
   前記サイズ決定工程により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て工程と、
   前記符号量割り当て工程により割り当てられた符号量で、前記サイズ決定工程によりサイズが決定された部分領域を符号化する符号化工程と、
   を含んだことを特徴とする符号化方法。
6. 入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化することをコンピュータに実行させる符号化プログラムであって、
   前記入力画像の符号化を開始してから終了するまでの遅延時間として許容できる画像ブロック数を最大領域サイズとして、前記部分領域のそれぞれのサイズを決定するサイズ決定手順と、
   前記サイズ決定手順により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手順と、
   前記符号量割り当て手順により割り当てられた符号量で、前記サイズ決定手順によりサイズが決定された部分領域を符号化する符号化手順と、
   をコンピュータに実行させることを特徴とする符号化プログラム。

Images