JP7536484B2 - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像の符号化に関するものである。

動画像の圧縮記録の符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化技術の制限を定義した複数のプロファイルが定義されており、Ｍａｉｎ １０プロファイルは８ビット～１０ビットまでのビット深度の画像に対応している。また、ＨＥＶＣにおいては、さらに高いビット深度の画像にも対応するため、１２ビットや１６ビットの画像にも対応したプロファイルが定義されている。特許文献１には、このような高ビット深度に対応した画像符号化方式に対応した符号化技術が開示されている。

近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）がＩＳＯ／ＩＥＣとＩＴＵ－Ｔの間で設立され、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＶＶＣ）として標準化が進められている。符号化効率向上のため、ＶＶＣでは従来の直交変換に加え、直交変換を施した後の係数（以下、直交変換係数と記す）の低周波成分に対しさらに二次的な変換（ＬＦＮＳＴ、以下低周波変換と呼称する）を施す新たな技術も検討されている。

特開２０１４－１３１１７２号公報

ＶＶＣでは、直交変換や量子化などといった符号化処理において、処理結果の値に制限を加えることにより、実装の容易性を高めている。具体的には、量子化処理後の係数（以下、量子化係数と記す）の取り得る値を－３２７６８～３２７６７に制限することで、係数の符号化処理や復号側での逆量子化処理の実装を容易にしている。これにより、ＶＶＣでは、高ビット深度の画像を符号化する場合においてもハードウェアの実装コストはさほど上昇しないと考えられている。一方で上述のような制限により、特に高ビット深度の画像に対しては演算精度の低下が発生し、画質が向上しないといった問題が生じている。

したがって、本発明は上述した課題を解決するためになされたものであり、符号化または復号処理における係数値の取り得る値の範囲を適応的に決定できるようにすることを目的としている。

上記課題を解決するため、本発明の画像符号化装置は、例えば、以下の構成を備える。すなわち、画像符号化装置は、入力画像のサブブロックに対する予測処理により得られた予測画像と前記サブブロックとの差分である予測誤差を生成する予測手段と、前記予測誤差に直交変換処理を行って第一の変換係数を生成する第一の変換手段と、前記第一の変換係数に対しＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理を行って第二の変換係数を生成する第二の変換手段と、前記第二の変換係数に対し量子化処理を行って量子化係数を生成する量子化手段と、前記量子化係数を符号化する符号化手段とを有し、前記符号化手段は、少なくとも前記第二の変換係数が取り得る値の範囲を、ビット深度によって決定される第一の範囲とするか、前記ビット深度に依存しない固定の第二の範囲とするかを示す情報を符号化し、少なくとも前記第二の変換係数が取り得る値の範囲を前記ビット深度によって決定される前記第一の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記ビット深度によって決定される前記第一の範囲であり、少なくとも前記第二の変換係数が取り得る値の範囲を前記ビット深度に依存しない固定の前記第二の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記第二の範囲である。

また、上記課題を解決するため、本発明の画像復号装置は、例えば、以下の構成を備える。すなわち、画像復号装置は、ビットストリームから画像を復号する画像復号装置であって、前記ビットストリームから量子化係数を復号する復号手段と、前記量子化係数に逆量子化処理を施して第一の変換係数を導出する逆量子化手段と、前記第一の変換係数に対し逆ＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理を施して第二の変換係数を導出する第一の変換手段と、前記第二の変換係数に対し逆直交変換処理を施して予測誤差を導出する第二の変換手段とを有し、前記復号手段は、少なくとも前記第一の変換係数が取り得る値の範囲を、ビット深度によって決定される第一の範囲とするか、前記ビット深度に依存しない固定の第二の範囲とするかを示す情報を前記ビットストリームから復号し、少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度によって決定される前記第一の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記ビット深度によって決定される前記第一の範囲であり、少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度に依存しない固定の前記第二の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記第二の範囲である。

本発明によれば、符号化または復号処理における係数値の取り得る値の範囲を適応的に決定することができる。

画像符号化装置のブロック構成図である。 画像復号装置のブロック構成図である。 画像符号化装置における画像符号化処理を示すフローチャートである。 画像復号装置における画像復号処理を示すフローチャートである。 コンピュータハードウェア構成図である。 符号化装置によって生成され、復号装置によって復号されるビットストリーム構造の例を示す図である。 サブブロック分割の例を示す図である。 係数レンジ情報、画像のビット深度と係数の取り得る範囲の関係性を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わされてもよい。さらに添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は本実施形態の画像符号化装置１００のブロック構成図である。画像符号化装置１００は、装置全体の制御を司る制御部１５０を有する。この制御部１５０はＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像符号化装置１００は、入力端子１０１、ブロック分割部１０２、係数レンジ情報生成部１０３、予測部１０４、変換・量子化部１０５、逆量子化・逆変換部１０６、画像再生部１０７、フレームメモリ１０８、インループフィルタ部１０９、符号化部１１０、統合符号化部１１１、および、出力端子１１２を有する。

入力端子１０１は、符号化対象の画像データをフレーム単位に入力する。画像データは、画像を撮像する撮像装置や、符号化対象の画像データを記憶したファイルサーバや記憶媒体等から取得されるが、その種類は問わない。また、出力端子１１２は、符号化データを出力先装置に出力するが、その出力先装置も記憶媒体、ファイルサーバ等、特に問わない。

ブロック分割部１０２は、入力したフレーム（ピクチャ）の画像を複数の基本ブロックに分割し、その１つを基本ブロックとして後段の予測部１０４に順に出力する。また、一例として、基本ブロックは、１２８×１２８画素のブロックでもよいし、６４×６４画素や３２×３２画素のブロックを基本ブロックとしてもよい。また、更に小さいブロックを基本ブロックとしてもよい。また、基本ブロックとは、例えば、ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔやｃｏｄｉｎｇ ｕｎｉｔである。基本ブロックとは、サブブロックへと、更に細かく分割可能な単位であればよい。

係数レンジ情報生成部１０３は、後述の各符号化処理の結果である係数値の取り得る値の範囲を示す係数レンジ情報を生成し、後段の変換・量子化部１０５、逆量子化・逆変換部１０６、統合符号化部１１１に出力する。

予測部１０４は、基本ブロック単位の画像データに対し、サブブロック分割を決定する。このとき、予測部１０４は、基本ブロックをサブブロックへと分割するか否かを決定し、分割するとすればどのように分割するか決定する。サブブロックへ分割しない場合、サブブロックは基本ブロックと同じサイズとなる。サブブロックは正方形でもよいし、正方形以外の長方形であってもよい。

そして、予測部１０４は、分割したサブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、サブブロック単位の予測画像データを生成する。このとき、予測部１０４は、例えば、あるサブブロックに対して行う予測方法を、イントラ予測、インター予測、及び、イントラ予測とインター予測とを組み合わせた予測の中から選択し、選択した予測を行って、当該サブブロックのための予測画像データを生成する。

さらに、予測部１０４は、入力された画像データと予測画像データから画素単位の予測誤差をサブブロック単位で算出し、出力する。例えば、予測部１０４は、サブブロックの画像データの各画素値と、当該サブブロックに対する予測によって生成された予測画像データの各画素値との差分を算出し、それを予測誤差として算出する。

また、予測部１０４は、予測に必要な情報、例えばサブブロック分割（基本ブロックからサブブロックへの分割状態）を示す情報（基本ブロックがどのようにサブブロックに分割されているかを示す情報）を予測誤差と併せて出力する。また、予測部１０４は、当該サブブロックの予測で用いる予測モードや動きベクトル等の情報も予測誤差と併せて出力する。以降、この予測に必要な情報を予測情報と呼称する。

変換・量子化部１０５は、予測部１０４から入力した予測誤差をサブブロック単位で直交変換して、予測誤差の各周波数成分を表す直交変換係数を得る。また、変換・量子化部１０５は、直交変換係数の低周波部分に低周波変換を施すか否かを決定し、その情報を低周波変換情報として生成する。つまり、低周波変換情報は、直交変換係数の低周波部分に低周波変換を施すか否かを示す情報である。当該サブブロックに低周波変換を施す場合、変換・量子化部１０５は、得られた直交変換係数の低周波成分に低周波変換処理を施して低周波変換係数を得て、さらに低周波変換係数を量子化することで残差係数（量子化後の直交変換係数）を得る。一方、当該サブブロックに低周波変換を施さない場合、変換・量子化部１０５は、直交変換係数の量子化を行い、残差係数を得る。なお、低周波変換とは、ＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）の処理を示し、直交変換係数を変換して低周波変換係数を再生（導出）する処理である。

逆量子化・逆変換部１０６は、変換・量子化部１０５から残差係数および低周波変換情報を入力し、残差係数に対して逆量子化し変換係数を再生する。このとき、逆量子化・逆変換部１０６は、変換・量子化部１０５から入力された残差係数に対し、量子化マトリクスと量子化パラメータとを用いて、変換係数を再生する。このように、量子化マトリクスと量子化パラメータとを用いて、残差係数から変換係数を再生（導出）する処理を逆量子化と称するものとする。なお、逆量子化の処理において量子化マトリクスは必ずしも用いなくてもよい。特に変換・量子化部１０５の量子化処理において量子化マトリクスが用いられなかった場合、逆量子化・逆変換部１０６の逆量子化処理には量子化マトリクスは用いられない。さらには、当該サブブロックにおいて低周波変換が施されていたか否かによって、量子化マトリクスの適用の有無を決定してもよい。例えば、当該サブブロックにおいて低周波変換が施されていた場合には量子化マトリクスを用いずに逆量子化し、そうでない場合には量子化マトリクスを用いて逆量子化をするといった具合である。

また、逆量子化・逆変換部１０６は、入力された低周波変換情報に基づき当該サブブロックに対し低周波変換が施されていたか否かの判定を行う。当該サブブロックに対し低周波変換が施されていた場合、逆量子化・逆変換部１０６は、残差係数に対して逆量子化することで得られた変換係数（低周波変換係数）に逆低周波変換処理を施して直交変換係数を再生し、さらに当該直交変換係数に逆直交変換を施し予測誤差を再生する。一方、当該サブブロックに対し低周波変換が施されていなかった場合、逆量子化・逆変換部１０６は、残差係数に対して逆量子化することで得られた変換係数（直交変換係数）に逆直交変換を施して予測誤差を再生する。なお、逆低周波変換処理とは、逆ＬＦＮＳＴの処理を示し、低周波変換係数を変換して直交変換係数を再生（導出）する処理である。

画像再生部１０７は、予測部１０４から出力された予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成する。画像再生部１０７は、この予測画像データに、逆量子化・逆変換部１０６から入力された予測誤差を加算することで、再生画像データ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を生成し、フレームメモリ１０８に格納する。

インループフィルタ１０９は、フレームメモリ１０８に格納されている再生画像に対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データを再度フレームメモリ１０８に格納する。

符号化部１１０は、変換・量子化部１０５から出力された残差係数や低周波変換情報、予測部１０４から出力された予測情報を符号化して、符号データを生成し、統合符号化部１１１に出力する。

統合符号化部１１１は、係数レンジ情報生成部１０３からの係数レンジ情報を符号化し、係数レンジ情報符号を生成する。そして係数レンジ情報符号を含むヘッダ符号データを生成する。そして、統合符号化部１１１は、ヘッダ符号データに、符号化部１１０から出力された符号データと後続させ、ビットストリームを形成する。そして、統合符号化部１１１は、形成したビットストリームを、出力端子１１２を介して出力する。

ここで、画像符号化装置における画像の符号化動作をより詳しく以下に説明する。本実施形態では、入力端子１０１より、１６ビットの動画像データをフレーム単位に入力する構成とするが、１フレーム分の静止画データを入力する構成としても構わない。また、本実施形態では説明のため、ブロック分割部１０１においては、入力端子より入力した画像データを８×８画素の基本ブロックに分割するものとして説明する。また、ここでいう、基本ブロックは、例えば、ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔである。なお、一例として、ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔのサイズが８×８画素である例について説明するが、他のサイズでもよい。例えば、３２×３２画素～１２８×１２８画素の内のいずれかのサイズでもよい。

画像の符号化に先立ち、本実施形態の符号化処理における係数の取り得る値の範囲を決定する。

係数レンジ情報生成部１０３は、入力された画像のビット深度によって符号化処理における係数の取り得る値の範囲を可変とするか、ビット深度によらず当該範囲を固定とするかを示す係数レンジ情報を生成する。以下、前者の画像のビット深度によって符号化処理における係数の取り得る値の範囲を可変としたものを高精度係数レンジ、後者の画像のビット深度によらず当該範囲を固定としたものを固定係数レンジと呼称する。本実施形態では、前者の高精度係数レンジが選択された場合には係数レンジ情報は１、後者の固定係数レンジが選択された場合には係数レンジ情報は０となるものとする。ただし、選択された係数レンジと係数レンジ情報との組み合わせはこれらに限定されない。また、係数レンジ情報の決定方法も特に限定されず、本符号化装置および対応する復号装置が使用するアプリケーションを想定して符号化処理に先立って決定してもよいし、ユーザによって選択されてもよい。例えば、本実施形態の画像符号化装置１００が画質最優先で演算精度を重視するアプリケーションで使用されることが想定される場合には、係数レンジ情報を１とし、そうでなければ０とするといった具合である。生成された係数レンジ情報は、統合符号化部１１１、変換・量子化部１０５および逆量子化・逆変換部１０６に出力される。

統合符号化部１１１は、係数レンジ情報生成部１０３から入力された係数レンジ情報を符号化して係数レンジ情報符号を生成し、画像データの符号化に必要なヘッダ情報に統合する。

続いて、画像データの符号化が行われる。入力端子１０１から入力された１フレーム分の画像データはブロック分割部１０２に供給される。

ブロック分割部１０２は、入力された１フレームの画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部１０４に出力する。本実施形態では、８×８画素の基本ブロック単位の画像データが予測部１０４に供給されることとなる。

予測部１０４は、ブロック分割部１０２から入力された基本ブロック単位の画像データに対し予測処理を実行する。具体的には、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割を決定し、さらにサブブロック単位でイントラ予測やインター予測などの予測モードを決定する。イントラ予測は符号化対象ブロックの空間的に周辺に位置する符号化済画素を用いて符号化対象ブロックの予測画素を生成し、水平予測や垂直予測、ＤＣ予測などのイントラ予測方法を示すイントラ予測モードも生成する。インター予測は符号化対象ブロックとは時間的に異なるフレームの符号化済画素を用いて符号化対象ブロックの予測画素を生成し、参照するフレームや動きベクトルなどを示す動き情報も生成する。

図７を参照してサブブロック分割方法を説明する。図７（ａ）～（ｆ）のブロック７００～７０５の太枠は基本ブロックと同じ８×８画素のサイズである。太枠内の各四角形はサブブロックを表している。図７（ｂ）は従来の正方形サブブロック分割の一例を表しており、８×８画素の基本ブロック７０１は、４個の４×４画素のサブブロックに分割されている。一方、図７（ｃ）～（ｆ）は長方形サブブロック分割の一例を表している。図７（ｃ）は、基本ブロック７０２が４×８画素サイズの２個のサブブロック（垂直方向に長手）に分割されることを示している。図７（ｄ）は、基本ブロック７０３が、８×４画素サイズの２個のサブブロック（水平方向に長手）に分割されることを示している。図７（ｅ）、（ｆ）は、基本ブロック７０４、７０５の場合、分割方法が異なるものの、１：２：１の比で３つの長方形サブブロックに分割されている。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。

本実施形態では、８×８画素サイズの基本ブロックを、サブブロックに分割しない図７（ａ）のみが用いられるものとするが、サブブロック分割方法はこれに限定されない。図７（ｂ）のような四分木分割、図７（ｅ）、（ｆ）のような三分木分割または図７（ｃ）や図７（ｄ）のような二分木分割を用いても構わない。

予測部１０４は、決定した予測モード、および、フレームメモリ１０８に格納されている符号化済の領域から予測画像データを生成し、さらに入力された画像データと前記予測画像データから画素単位の予測誤差を算出し、その誤差を変換・量子化部１０５に出力する。また、予測部１０４は、サブブロック分割や予測モードなどの情報を予測情報として、符号化部１１０、画像再生部１０７に出力する。

変換・量子化部１０５は、まず、係数レンジ生成部１０３から係数レンジ情報を入力し、変換処理や量子化処理における係数の取り得る値の範囲を決定する。本実施形態では、図８に示されたテーブルに基づいて、水平・垂直各方向の一次元の直交変換や、直交変換後の係数にさらに変換を施す二次変換、量子化といった各演算結果の係数が取り得る範囲を決定するものとする。ただし、係数レンジ情報と各演算結果の係数の取り得る範囲の組み合わせはこれらに限定されない。本実施形態では、入力画像のビット深度が１６であることから、係数レンジ情報に応じて、－３２７６８～３２７６７または－８３８８６０８～８３８８６０７の範囲をとることとなる。各演算結果が上記の範囲外になった場合の処理については特に限定しないが、クリップ処理やビットシフト処理により結果を上記の範囲内に収めることができる。

次に変換・量子化部１０５は、上述した係数レンジに基づいて、予測部１０４より入力した予測誤差に対し、直交変換・量子化を行い、残差係数を生成する。具体的には、変換・量子化部１０５は、まず、予測誤差に対し、サブブロックのサイズに対応した直交変換処理を施し直交変換係数を生成する。次に変換・量子化部１０５は、直交変換係数の低周波部分に対し低周波変換を施すか否かを決定し、その情報を低周波変換情報として生成し、逆量子化・逆変換部１０６および符号化部１１０に出力する。低周波変換情報の決定方法は特に限定しないが、直交変換係数が低周波成分に集中しており、低周波変換を施すことにより更なる圧縮効率の向上が期待できる場合などに低周波変換をさらに施すことができる。低周波変換を施すことに決定した場合、変換・量子化部１０５は、直交変換係数の低周波部分に低周波変換を施し低周波変換係数を生成する一方、低周波変換が施されなかった高周波成分は直交変換係数の値に関わらず０であったものとして扱う。そして、変換・量子化部１０５は、低周波変換を施した場合は、低周波変換係数を量子化し、残差係数を生成する。一方、低周波変換を施さなかった場合には、変換・量子化部１０５は、直交変換係数を量子化し、残差係数を生成する。

逆量子化・逆変換部１０６においても変換・量子化部１０５と同様に、まず、係数レンジ生成部１０３から係数レンジ情報を入力し、逆量子化処理や逆変換処理における係数の取り得る値の範囲を決定する。本実施形態では、変換・量子化部１０５と同様に、図８に示されたテーブルに基づいて、逆量子化処理や低周波成分に対する逆低周波変換処理、垂直・水平方向の一次元の逆直交変換処理といった各演算結果の係数が取り得る範囲を決定するものとする。本実施形態では、変換・量子化部１０５同様、入力画像のビット深度が１６であることから、係数レンジ情報に応じて、－３２７６８～３２７６７または－８３８８６０８～８３８８６０７の範囲をとることとなる。

次に、逆量子化・逆変換部１０６は、上述した係数レンジに基づいて、変換・量子化部１０５から入力した残差係数を、逆量子化することで変換係数を再生する。また、逆量子化・逆変換部１０６は、変換・量子化部１０５から入力した低周波変換情報に基づき、当該サブブロックに対し低周波変換が施されているか否かを判定する。当該サブブロックに対して低周波変換が施されていた場合、逆量子化・逆変換部１０６は、変換係数に逆低周波変換処理を施して直交変換係数を再生し、さらに直交変換係数に逆直交変換を施し予測誤差を再生する。一方、当該サブブロックに対して低周波変換が施されていなかった場合、逆量子化・逆変換部１０６は、変換係数を逆直交変換して予測誤差を再生する。こうして再生された予測誤差は画像再生部１０７に出力される。

ｙ＝Ｃｌｉｐ３（ＣｏｅｆｆＭｉｎ，ＣｏｅｆｆＭａｘ，（（ΣｌｏｗＦｒｅｑＴｒａｎｓＭａｔｒｉｘ［ｊ］×ｘ）＋６４）＞＞７） …（１）
（ただし、Ｃｌｉｐ３（ａ，ｂ，ｃ）は値ｃを最小値ａおよび最大値ｂでクリップする処理を示し、「＞＞」は右へのビットシフトを表す。）
上記の式（１）は本実施形態の逆量子化・逆変換部１０６における逆低周波変換処理で用いられる計算式の一つである。ここで式（１）のＣｏｅｆｆＭｉｎは図８の最小係数値が、式（１）のＣｏｅｆｆＭａｘは図８の最大係数値が対応している。本実施形態では入力画像のビット深度が１６ビットであるため、係数レンジ情報に基づいて式（１）のＣｏｅｆｆＭｉｎ、ＣｏｅｆｆＭａｘの値が定まることとなる。係数レンジ情報が０である場合、すなわち固定係数レンジが選択されている場合、ＣｏｅｆｆＭｉｎは－３２７６８、ＣｏｅｆｆＭａｘは３２７６７となり、出力値は符号付き１６ビットで表現することができる。この場合、以降の符号化処理において１６ビットの加算・乗算命令などが使えることになるため、実装コストが高くならないといったメリットがある。一方で、係数レンジ情報が１である場合、すなわち高精度係数レンジが選択されている場合、ＣｏｅｆｆＭｉｎは－８３８８６０８、ＣｏｅｆｆＭａｘは８３８８６０７となる。この場合、出力値が符号付き１６ビットでは表現することができないため、以降の符号化処理における実装コストは高くなるが、１６ビットといった高ビット深度にふさわしい高演算精度の符号化処理を実現することができる。結果として、圧縮効率を高めたり、符号化結果のビットストリームを復号した際の画質を高めたりする効果がある。

画像再生部１０７は、予測部１０４から入力される予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして画像再生部１０７は、再生された予測画像と、逆量子化・逆変換部１０６により再生された予測誤差とに基づき、再生画像データを生成し、フレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部１０９は、フィルタ処理された画像データをフレームメモリ１０８に再格納する。

符号化部１１０は、変換・量子化部１０５で生成されたサブブロック単位の残差係数や低周波変換情報、並びに、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。符号化部１１０は、生成された符号データを統合符号化部１１１に出力する。

統合符号化部１１１は、前述のヘッダの符号データとともに、符号化部１１０から入力された符号データなどを多重化してビットストリームを形成する。そして、統合符号化部１１１は、形成したビットストリームを出力端子１１２から外部（記憶媒体やネットワークなど）に出力する。

図６（ａ）は本実施形態で出力されるビットストリームのデータ構造の一例である。シーケンスヘッダには、係数レンジ情報符号が含まれている。ただし、符号化される位置はこれに限定されず、図６（ｂ）のようなピクチャヘッダ部や複数のピクチャにまたがるヘッダ部に符号化される構成をとってももちろん構わない。

図３は、実施形態の画像符号化装置１００における制御部１５０の１フレーム分の符号化処理を示すフローチャートである。

まず、画像の符号化に先立ち、Ｓ３０１にて、制御部１５０は、係数レンジ情報生成部１０３を制御し、係数レンジ情報を生成させる。

Ｓ３０２にて、制御部１５０は、統合符号化部１１１を制御し、Ｓ３０１にて生成された係数レンジ情報の符号化を行わせ、係数レンジ情報符号を生成させる。

Ｓ３０３にて、制御部１５０は、統合符号化部１１１を制御し、生成された係数レンジ情報符号とともに、画像データの符号化に必要なヘッダ情報を符号化し、出力させる。

Ｓ３０４にて、制御部１５０は、ブロック分割部１０２を制御し、フレーム単位の入力画像を基本ブロック単位に分割させる。

Ｓ３０５にて、制御部１５０は、予測部１０４を制御し、Ｓ３０４にて生成された基本ブロック単位の画像データに対して、予測処理を実行させ、サブブロック分割情報や予測モードなどの予測情報および予測画像データを生成させる。さらに、制御部１５０は、予測部１０４を制御して、入力された画像データと予測画像データから予測誤差を算出させる。

Ｓ３０６にて、制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０１で生成された係数レンジ情報に基づいて、本ステップの符号化処理における係数レンジを決定する。例えば、制御部１５０は、係数レンジ情報が１である場合、本ステップの符号化処理における係数レンジを高精度係数レンジとして決定し、係数レンジ情報が０である場合、本ステップの符号化処理における係数レンジを固定係数レンジとして決定する。次に制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０５で算出された予測誤差に対して直交変換を行わせ、直交変換係数を生成させる。そして、制御部１５０は、変換・量子化部１０５を制御し、当該サブブロックにおいて生成された直交変換係数に対して低周波変換を施すか否かを決定させ、その情報を低周波変換情報として生成させる。低周波変換を施すと決定した場合、制御部１５０は、変換・量子化部１０５を制御し、直交変換係数の低周波成分に低周波変換を施させた後に量子化を行わせ、残差係数を生成させる。一方、低周波変換を施さないと決定した場合、制御部１５０は、変換・量子化部１０５を制御し、直交変換係数に量子化を施させ、残差係数を生成させる。

Ｓ３０７にて、制御部１５０は、逆量子化・逆変換部１０６を制御し、Ｓ３０１で生成された係数レンジ情報に基づいて、本ステップの符号化処理における係数レンジを決定する。例えば、制御部１５０は、係数レンジ情報が１である場合、本ステップの符号化処理における係数レンジを高精度係数レンジとして決定し、係数レンジ情報が０である場合、本ステップの符号化処理における係数レンジを固定係数レンジとして決定する。次に制御部１５０は、逆量子化・逆変換部１０６を制御し、Ｓ３０６で生成された残差係数を、逆量子化を行わせ、変換係数を再生させる。次に、制御部１５０は、逆量子化・逆変換部１０６を制御し、Ｓ３０６で生成された低周波変換情報に基づき、当該サブブロックにおいて低周波変換が施されていたか否かを判定する。当該サブブロックに対して低周波変換が施されていた場合、制御部１５０は、逆量子化・逆変換部１０６を制御し、変換係数に逆低周波変換処理を施させて直交変換係数を再生させ、さらに直交変換係数に逆直交変換を施させて予測誤差を再生させる。一方、当該サブブロックに対して低周波変換が施されていない場合、制御部１５０は、逆量子化・逆変換部１０６を制御し、変換係数に逆直交変換を施させて予測誤差を再生させる。

Ｓ３０８にて、制御部１５０は、画像再生部１０７を制御し、Ｓ３０５で生成された予測情報に基づいて予測画像を再生させ、再生された予測画像とＳ３０７で生成された予測誤差から画像データを再生させ、フレームメモリ１０８に格納させる。

Ｓ３０９にて、制御部１５０は、符号化部１１０を制御し、Ｓ３０５で生成された予測情報およびＳ３０６で生成された残差係数や低周波変換情報の符号化を行わせ、符号データを生成させる。また、符号化部１１０は、生成した符号データを統合符号化部１１１に出力する。統合符号化部１１１は、符号化部１１０からの符号化データを、先に生成したヘッダに後続するように位置させ、出力する。

Ｓ３１０にて、制御部１５０は、着目フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行う。制御部１５０は、終了していると判定した場合にはＳ３１１に進め、未符号化の基本ブロックが残っていると判断した場合にはＳ３０４に処理を戻し、次の基本ブロックに対する符号化を継続させる。

Ｓ３１１にて、制御部１５０は、インループフィルタ部１０９を制御し、Ｓ３０８で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

以上の構成と動作、特にＳ３０２において、係数レンジ情報を符号化することで、アプリケーションの要求仕様に応じて演算精度や実装コストの異なる符号化処理の切り替え可能なビットストリームを生成させることができる。

なお、本実施形態では、係数レンジを変換処理や量子化処理の結果となる係数の取り得る値の範囲として説明したが、それ以外の符号化処理の結果となる係数の取り得る値の範囲として用いても構わない。例えば、ＶＶＣでは主にロスレス符号化時の圧縮効率を高めるため、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）と呼ばれる技術が採用されている。ＢＤＰＣＭは、予測誤差に対して変換・量子化を施した残差係数を符号化する代わりに、予測誤差に対して変換を施さずに量子化のみを施して量子化係数を生成し、左もしくは上に隣接する量子化係数との差分値を符号化する方式である。ここで、係数レンジをこの差分値に適用してもよい。これより、ＢＤＰＣＭの適用の有無に関わらず、符号化される係数の取り得る値の範囲が固定係数レンジか高精度係数レンジかが定まるので、片方のレンジのみをサポートする符号化部を実装することで、実装コストを低減することが可能となる。

また、本実施形態において、例えば入力画像のビット深度が８ビットであった場合、係数レンジ情報符号を省略することも可能である。これは、最小係数値および最大係数値が、係数レンジ情報に関わらず等しくなるためで、これにより冗長な符号を削減することができる。係数レンジ情報の符号化が省略できる入力画像のビット深度は８ビットに限定されず、他の実施形態において最小係数値と最大係数値が係数レンジ情報に関わらず等しくなる場合に係数レンジ情報の符号化を省略することが可能である。

図２は、実施形態における上記画像符号化装置１００で生成された符号化画像データを復号する画像復号装置２００のブロック構成図である。以下、同図を参照し、復号処理に係る構成とその動作を説明する。

画像復号装置２００は、装置全体の制御を司る制御部２５０を有する。この制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像復号装置２００は、入力端子２０１、分離復号部２０２、復号部２０３、逆量子化・逆変換部２０４、画像再生部２０５、フレームメモリ２０６、インループフィルタ部２０７、出力端子２０８、及び、係数レンジ情報復号部２０９を有する。

入力端子２０１は、符号化されたビットストリームを入力するものであり、入力源は例えば符号化ストリームを格納した記憶媒体であるが、ネットワークから入力しても良く、その種類は問わない。

分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態の分離復号部２０２は、係数レンジ情報符号を分離し、係数レンジ情報復号部２０９に出力する。また、分離復号部２０２は、画像の符号データを復号部２０３に出力する。

係数レンジ情報復号部２０９は、分離復号部２０２より供給された係数レンジ情報符号を復号することで係数レンジ情報を再生し、後段の逆量子化・逆変換部２０４に出力する。

復号部２０３は、分離復号部２０２から出力された画像の符号データを復号し、残差係数、低周波変換情報および予測情報を再生する。

逆量子化・逆変換部２０４は、図１の逆量子化・逆変換部１０６と同様、残差係数に対して逆量子化を行い、逆量子化後の係数である変換係数を再生する。また、逆量子化・逆変換部２０４は、低周波変換情報を用いて、当該サブブロックに対して低周波変換が施されていたか否かの判定を行う。逆量子化・逆変換部２０４は、当該サブブロックに対し低周波変換が施されていた場合、低周波変換係数に逆低周波変換処理を施して直交変換係数を再生する。逆量子化・逆変換部２０４は、さらにこの直交変換係数または変換係数に対し逆直交変換を実行することで、予測誤差を再生する。一方、当該サブブロックに対して低周波変換が施されていなかった場合、逆量子化・逆変換部２０４は、直交変換係数を逆直交変換して予測誤差を再生する。

画像再生部２０５は、入力された予測情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成する。そして、画像再生部２０５は、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成し、フレームメモリ２０６に格納する。

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６に格納された再生画像データに対し、デブロッキングフィルタなどのインループフィルタ処理を行い、処理後の画像データをフレームメモリ２０６に再格納する。

出力端子２０８は、フレームメモリ２０６に格納されたフレーム画像を順次、外部に出力する。出力先は表示装置が一般的であるが、他のデバイスであっても構わない。

上記実施形態の画像復号装置２００の画像の復号に係る動作をさらに詳しく説明する。本実施形態では、符号化されたビットストリームをフレーム単位で入力する構成となっている。

図２において、入力端子２０１から入力された１フレーム分のビットストリームは分離復号部２０２に供給される。分離復号部２０２では、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。そして、分離復号部２０２には、ヘッダ部に含まれていた係数レンジ情報符号を係数レンジ情報復号部２０９に供給し、画像データの符号データを復号部２０３に供給する。具体的には、分離復号部２０２は、まず、図６（ａ）に示されるビットストリームのシーケンスヘッダから係数レンジ情報符号を抽出し、係数レンジ情報復号部２０９に出力する。続いて、ピクチャデータの基本ブロック単位の符号データを抽出し、復号部２０３に出力する。

係数レンジ情報復号部２０９は、分離復号部２０２から入力された係数レンジ情報符号を復号し、係数レンジ情報を得る。符号化側同様、係数レンジ情報が１の際は高精度係数レンジが用いられ、係数レンジ情報が０の際は固定係数レンジが用いられる。係数レンジ情報は逆量子化・逆変換部２０４に出力される。本実施形態では、符号化側で１６ビットの画像を入力し、復号側で１６ビットの画像を出力する構成のため、係数レンジ情報が０の際は－３２７６８～３２７６７、係数レンジ情報が１の際は－８３８８６０８～８３８８６０７の範囲をとることとなる。

復号部２０３は、分離復号部２０２から供給された符号データを復号し、予測情報を再生し、さらに残差係数および低周波変換情報を再生する。まず、復号部２０３は、予測情報を再生し、当該サブブロックで用いられる予測モードを取得する。復号部２０３は、再生された残差係数および低周波変換情報を逆量子化・逆変換部２０４に出力し、再生された予測情報を画像再生部２０５に出力する。

逆量子化・逆変換部２０４は、入力された残差係数に対し、上述した係数レンジに基づいて逆量子化を行って変換係数を生成する。そして逆量子化・逆変換部２０４は、入力された低周波変換情報に基づき、当該サブブロックにおいて低周波変換が施されていたか否かの判定を行う。当該サブブロックに対して低周波変換が施されていた場合、逆量子化・逆変換部２０４は、変換係数に低周波変換処理を施して直交変換係数を再生し、さらに直交変換係数に逆直交変換を施し予測誤差を再生する。一方、当該サブブロックに対して低周波変換が施されていない場合、逆量子化・逆変換部２０４は、変換係数に逆直交変換を施して予測誤差を再生する。こうして再生された予測誤差は画像再生部２０５に出力される。

画像再生部２０５は、復号部２０３から入力された予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。本実施形態の画像再生部２０５は、符号化側の予測部１０４と同様、イントラ予測やインター予測が用いられる。具体的な予測の処理については、符号化側の予測部１０４と同様であるため、説明を省略する。画像再生部２０５は、この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、フレームメモリ２０６に格納する。格納された画像データは予測の際の参照に用いられる。

インループフィルタ部２０７は、符号化側のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７は、フィルタ処理された画像をフレームメモリ２０６に再格納する。

フレームメモリ２０６に格納された再生画像は、最終的には出力端子２０８から外部（表示装置がその代表となる）に出力される。

図４は、実施形態に係る画像復号装置２００における制御部２０５の復号処理を示すフローチャートである。

まず、Ｓ４０１にて、制御部２５０は、分離復号部２０２を制御して、ビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号する。より具体的には、分離復号部２０２は、係数レンジ情報符号を係数レンジ情報復号部２０９に供給し、画像の符号データを復号部２０３に供給させる。

Ｓ４０２にて、制御部２５０は、係数レンジ情報復号部２０９を制御し、Ｓ４０１で再生された係数レンジ情報符号を復号させる。ここでの係数レンジ情報復号部２０９の具体的な動作は、説明済であるため省略する。

Ｓ４０３にて、制御部２５０は、復号部２０３を制御し、Ｓ４０１で分離された符号データを復号し、予測情報を再生し、残差係数および低周波変換情報を再生する。

Ｓ４０４にて、制御部２５０は、逆量子化・逆変換部２０４を制御し、Ｓ４０２で復号された係数レンジ情報に戻づいて、本ステップの復号処理における係数レンジを決定する。例えば、制御部１５０は、係数レンジ情報が１である場合、本ステップの復号処理における係数レンジを高精度係数レンジとして決定し、係数レンジ情報が０である場合、本ステップの復号処理における係数レンジを固定係数レンジとして決定する。次に制御部２５０は、逆量子化・逆変換部２０４を制御し、Ｓ４０３で再生された残差係数に対し逆量子化を行って変換係数を生成させる。また、制御部２５０は、逆量子化・逆変換部２０４を制御し、Ｓ４０３で再生された低周波変換情報に基づき、当該サブブロックにおいて低周波変換が施されていたか否かの判定を行う。当該サブブロックに対して低周波変換が施されていた場合、制御部２５０は、逆量子化・逆変換部２０４を制御し、変換係数に逆低周波変換処理を施させて直交変換係数を再生させ、さらに直交変換係数に逆直交変換を施させて予測誤差を再生させる。一方、当該サブブロックに対して低周波変換が施されていない場合、制御部２５０は、逆量子化・逆変換部２０４を制御し、変換係数に逆直交変換を施させて予測誤差を再生させる。

Ｓ４０５にて、制御部２５０は画像再生部２０５を制御し、Ｓ４０３で生成された予測情報に基づき画像を再生させる。具体的には、画像再生部２０５は、予測情報に基づき、フレームメモリ２０６を参照して予測画像を再生する。このとき、画像再生部２０５は、符号化側のＳ３０５と同様、イントラ予測やインター予測が用いられる。そして、画像再生部２０５は、再生された予測画像とＳ４０４で生成された予測誤差から画像データを再生し、再生した画像データをフレームメモリ２０６に格納する。

Ｓ４０６にて、制御部２５０は、着目フレーム内の全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば処理をＳ４０７に進み、未符号の基本ブロックが存在する場合は次の基本ブロックを復号対象とするための処理をＳ４０３に戻す。

Ｓ４０７にて、制御部２５０は、インループフィルタ部２０７を制御し、Ｓ４０５で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

以上の構成と動作により、先に説明した画像符号化装置１００で生成された、符号化ビットストリーム、すなわち、アプリケーションの要求仕様に応じて演算精度や実装コストの異なる復号処理の切り替えを可能にしたビットストリームを復号することができる。

なお、本実施形態では、係数レンジを逆量子化処理や逆変換処理の結果となる係数の取り得る値の範囲として説明したが、それ以外の復号処理の結果となる係数の取り得る値の範囲として用いても構わない、例えば、符号化側と同様、ＢＤＰＣＭ処理においてこの係数レンジを適用しても構わない。

ｄｚ［ｘ］［ｙ］＝Ｃｌｉｐ３（ＣｏｅｆｆＭｉｎ，ＣｏｅｆｆＭａｘ，
ｄｚ［ｘ－１］［ｙ］＋ｄｚ［ｘ］［ｙ］） …（２）
（ただし、Ｃｌｉｐ３（ａ，ｂ，ｃ）は値ｃを最小値ａおよび最大値ｂでクリップする処理を示す。）
上記の式（２）はＢＤＰＣＭの復号処理において用いられる計算式の一つであり、量子化係数ｄｚ［ｘ］［ｙ］の再生に左隣の量子化係数ｄｚ［ｘ－１］［ｙ］に差分値を加算し、係数レンジでクリップ処理をしたものである。式（１）同様、式（２）のＣｏｅｆｆＭｉｎおよびＣｏｅｆｆＭａｘは、図８の最小係数値および最大係数値が対応している。係数レンジ情報が０、すなわち固定係数レンジが用いられていた場合、式（２）の出力である量子化係数ｄｚ［ｘ］［ｙ］は－３２７６８～３２７６７の範囲をとり、符号付き１６ビットで表現することができる。この場合、以降の復号処理である逆量子化処理において、１６ビットの乗算・加算命令などが使えることになるため、実装コストを抑えられるといったメリットがある。一方で係数レンジ情報が１、すなわち高精度係数レンジが選択されている場合、逆量子化処理などの以降の復号処理における実装コストは高くなるが、高演算精度の復号処理を実現することができる。結果として、符号化側で圧縮効率を高め生成されたビットストリームを、より高画質で復号することができる。

上記実施形態の画像符号化装置１００および画像復号装置２００が有する各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図５は、上記実施形態に係る画像符号化装置１００、画像復号装置２００に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記実施形態に係る画像符号化装置１００または画像復号装置２００が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアとしても利用される。ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラム（アプリケーションプログラム）が保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

上記構成において、本装置に電源が投入されると、ＣＰＵ５０１はＲＯＭ５０３に格納されたブートプログラムを実行し、外部記憶装置５０６に格納されたＯＳをＲＡＭ５０２にロードし実行する。そして、ＣＰＵ５０１は、ＯＳの制御下にて、外部記憶装置５０６から符号化、或いは、復号に係るアプリケーションプログラムをＲＡＭ５０２にロードし、実行する。この結果、ＣＰＵ５０１は、図１或いは図２の各処理部として機能し、本装置が画像符号化装置、或いは、画像復号装置として機能することになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像符号化装置
１０１ 入力端子
１０２ ブロック分割部
１０３ 係数レンジ情報生成部
１０４ 予測部
１０５ 変換・量子化部
１０６ 逆量子化・逆変換部
１０７ 画像再生部
１０８ フレームメモリ
１０９ インループフィルタ部
１１０ 符号化部
１１１ 統合符号化部
１１２ 出力端子
２００ 画像復号装置
２０１ 入力端子
２０２ 分離復号部
２０３ 復号部
２０４ 逆量子化・逆変換部
２０５ 画像再生部
２０６ フレームメモリ
２０７ インループフィルタ部
２０８ 出力端子
２０９ 係数レンジ情報復号部

Claims (11)

1. 入力画像のサブブロックに対する予測処理により得られた予測画像と前記サブブロックとの差分である予測誤差を生成する予測手段と、
   前記予測誤差に直交変換処理を行って第一の変換係数を生成する第一の変換手段と、
   前記第一の変換係数に対しＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理を行って第二の変換係数を生成する第二の変換手段と、
   前記第二の変換係数に対し量子化処理を行って量子化係数を生成する量子化手段と、
   前記量子化係数を符号化する符号化手段とを有し、
   前記符号化手段は、少なくとも前記第二の変換係数が取り得る値の範囲を、ビット深度によって決定される第一の範囲とするか、前記ビット深度に依存しない固定の第二の範囲とするかを示す情報を符号化し、
   少なくとも前記第二の変換係数が取り得る値の範囲を前記ビット深度によって決定される前記第一の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記ビット深度によって決定される前記第一の範囲であり、
   少なくとも前記第二の変換係数が取り得る値の範囲を前記ビット深度に依存しない固定の前記第二の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記第二の範囲であることを特徴とする画像符号化装置。
2. 量子化マトリクスを使用するかどうかが決定され、
   前記ＬＦＮＳＴ処理が適用されるとき、量子化マトリクスを使用しないと決定されることを特徴とする請求項１に記載の画像符号化装置。
3. 前記ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理は、入力画像の或るサブブロックに対する予測処理により得られた予測画像と当該或るサブブロックとの差分である予測誤差に対する量子化により生成された量子化係数のうち、隣り合う量子化係数の差分を導出する処理であり、
   前記ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値は、前記量子化係数の差分の値であることを特徴とする請求項１に記載の画像符号化装置。
4. 前記ビット深度が８である場合、前記第一の範囲と前記第二の範囲は同じであることを特徴とする請求項１に記載の画像符号化装置。
5. ビットストリームから画像を復号する画像復号装置であって、
   前記ビットストリームから量子化係数を復号する復号手段と、
   前記量子化係数に逆量子化処理を施して第一の変換係数を導出する逆量子化手段と、
   前記第一の変換係数に対し逆ＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理を施して第二の変換係数を導出する第一の変換手段と、
   前記第二の変換係数に対し逆直交変換処理を施して予測誤差を導出する第二の変換手段とを有し、
   前記復号手段は、少なくとも前記第一の変換係数が取り得る値の範囲を、ビット深度によって決定される第一の範囲とするか、前記ビット深度に依存しない固定の第二の範囲とするかを示す情報を前記ビットストリームから復号し、
   少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度によって決定される前記第一の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記ビット深度によって決定される前記第一の範囲であり、
   少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度に依存しない固定の前記第二の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記第二の範囲であることを特徴とする画像復号装置。
6. 逆量子化処理において量子化マトリクスを使用するかどうかが決定され、
   前記ＬＦＮＳＴ処理が適用されるとき、前記量子化マトリクスを使用しないと決定する請求項５に記載の画像復号装置。
7. 前記ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理は、或る量子化係数の再生のために当該或る量子化係数の左隣の量子化係数に差分値を加算する処理であることを特徴とする請求項５に記載の画像復号装置。
8. 少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度によって決定される前記第一の範囲とすることを前記情報が示す場合、逆ＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理により導出される前記第二の変換係数の値の範囲は前記ビット深度によって決定される前記第一の範囲であり、
   少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度に依存しない固定の前記第二の範囲とすることを前記情報が示す場合、逆ＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理により導出される前記第二の変換係数の値の範囲は前記第二の範囲であることを特徴とする請求項５に記載の画像復号装置。
9. 前記ビット深度が８である場合、前記第一の範囲と前記第二の範囲は同じであることを特徴とする請求項５に記載の画像復号装置。
10. 入力画像のサブブロックに対する予測処理により得られた予測画像と前記サブブロックとの差分である予測誤差を生成する予測工程と、
    前記予測誤差に直交変換処理を行って第一の変換係数を生成する第一の変換工程と、
    前記第一の変換係数に対しＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理を行って第二の変換係数を生成する第二の変換工程と、
    前記第二の変換係数に対し量子化処理を行って量子化係数を生成する量子化工程と、
    前記量子化係数を符号化する符号化工程とを有し、
    前記符号化工程において、少なくとも前記第二の変換係数が取り得る値の範囲を、ビット深度によって決定される第一の範囲とするか、前記ビット深度に依存しない固定の第二の範囲とするかを示す情報を符号化し、
    少なくとも前記第二の変換係数が取り得る値の範囲を前記ビット深度によって決定される前記第一の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記ビット深度によって決定される前記第一の範囲であり、
    少なくとも前記第二の変換係数が取り得る値の範囲を前記ビット深度に依存しない固定の前記第二の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記第二の範囲であることを特徴とする画像符号化方法。
11. ビットストリームから画像を復号する画像復号方法であって、
    前記ビットストリームから量子化係数を復号する復号工程と、
    前記量子化係数に逆量子化処理を施して第一の変換係数を導出する逆量子化工程と、
    前記第一の変換係数に対し逆ＬＦＮＳＴ（Ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）処理を施して第二の変換係数を導出する第一の変換工程と、
    前記第二の変換係数に対し逆直交変換処理を施して予測誤差を導出する第二の変換工程とを有し、
    前記復号工程において、少なくとも前記第一の変換係数が取り得る値の範囲を、ビット深度によって決定される第一の範囲とするか、前記ビット深度に依存しない固定の第二の範囲とするかを示す情報を前記ビットストリームから復号し、
    少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度によって決定される前記第一の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記ビット深度によって決定される前記第一の範囲であり、
    少なくとも前記第一の変換係数が取り得る値の範囲を前記ビット深度に依存しない固定の前記第二の範囲とすることを前記情報が示す場合、ＢＤＰＣＭ（Ｂｌｏｃｋ－ｂａｓｅｄ Ｄｅｌｔａ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）処理により得られる値の範囲は前記第二の範囲であるすることを特徴とする画像復号方法。
    

Images