JP2011061527A - 画像符号変換装置および画像符号変換方法ならびに画像復号装置および画像復号方法 - Google Patents

Abstract

【課題】 画像を符号化したコードストリームの構造を変換する。
【解決手段】 この発明に係る画像符号変換装置は、画像を分割した複数の分割画像を独立に符号化した符号データと付加データから構成される第１のデータ列の構造を解析する付加データ解析部と、この付加データ解析部が解析した前記第１のデータ列の構造に基づいて、前記独立に符号化された複数の分割画像の符号データを、前記画像を前記第１のデータ列より少ない分割数の分割画像として符号化したときの符号データの並びに再配置する符号データ再配置部と、この符号データ再配置部が再配置した符号データに付加する付加データを生成し、該再配置した符号データと生成した付加データから第２のデータ列を構成する付加データ更新部とを備えた。
【選択図】 図１１

Description

この発明は、コードストリームの符号化方式を変換する画像符号変換装置および画像符号変換方法ならびに画像復号装置および画像復号方法に関するものである。

従来、静止画像データを圧縮する符号化アルゴリズムの一例として、ＪＰＥＧ（Joint Photographic Experts Group）符号化方式が、現在インターネットやデジタルカメラを中心に広く普及している。一方で、さらなる性能改善、機能付加の要求を背景として、次期の静止画像符号化アルゴリズムとしてＪＰＥＧ２０００符号化方式が制定された。

ＪＰＥＧ２０００符号化方式は、基本方式を規定したパート１、拡張方式を規定したパート２からなる。ＪＰＥＧ２０００符号化では、いずれの方式も、画像をウェーブレット変換によりウェーブレット変換係数に変換し、変換係数の絶対値を自然２進数で表現したときのビットプレーンを上位プレーンから順にコンテクストモデリングを使った算術符号化によりエントロピ符号化する。これにより、ＪＰＥＧ２０００符号化は優れた圧縮性能を有するだけでなく、符号化パラメータを組み合わせた設定によって再生時の表現方法を含めた従来のＪＰＥＧ符号化にない様々な機能を提供する。

例えば、ＪＰＥＧ２０００符号化アルゴリズム（非特許文献１）では、入力画像を単一の画像のまま符号化処理する以外にも、入力画像をタイルと呼ばれる複数の矩形小ブロックに分割し、各タイルを独立に符号化処理してもよいことが規定されている。

このタイル分割処理の有利な点は、圧縮・伸長に用いられる符号化処理装置・復号処理装置のハードウェア規模を抑えるとともに、並列処理を容易にして動作速度の向上を図ることが可能な点である。このようなタイル分割処理による符号化方式（以下、タイル分割方式）が好適とされる用途は、例えば、スポーツの試合を生中継するために、映像をリアルタイムで符号化処理してストリーミング配信する場合が挙げられる。

一方で、タイル分割処理が有利とならない点は、符号化レートを低くした場合、タイル分割処理を適用するとタイル境界における僅かな画質の差がタイル状の歪み（例えば不連続感）として知覚され、滑らかさが損なわれた画像になってしまう点である。このようなタイル分割処理が不適とされる用途では、特に画質を重視する用途ではタイル分割の使用を制限することでタイル状の歪みの発生を回避する。例えば、ＪＰＥＧ２０００符号化を採用したデジタルシネマの業界標準規格のＤＣＩ（Digital Cinema Initiatives）規格では、タイル分割処理を禁止している。よって、ＤＣＩ規格準拠のデジタルシネマ上映装置は、単一タイル処理による符号化方式（以下、単一タイル方式）に対応できればよいので、タイル分割方式で符号化されたコードストリームの復号再生に対応できるように構成されているとは限らない。このように、デジタルシネマでは、映画コンテンツデータをオフラインで符号化して一旦蓄積しておき、このあらかじめ符号化されたコンテンツデータを読み出しながら復号して劇場上映する形態をとるため、符号化処理のリアルタイム性は要求されない。

ITU-T勧告T.800 / ISO/IEC標準 15444-1

従来のデジタルシネマの上映装置のような単一タイル方式で符号化したコードストリームの復号にのみ対応した復号処理装置では、タイル分割方式で符号化したコードストリームを復号することができないという課題がある。

そのため、単一タイル方式にのみ対応したデジタルシネマの上映装置を復号処理装置に使用して、劇場内においてパブリックビューイング形式で生中継の映像コンテンツをリアルタイムストリーミング上映する場合、タイル分割方式の符号化処理装置を使用して配信することができないという問題があった。

また、単一タイル方式の復号処理装置にタイル分割方式の復号に対応させること、またはタイル分割方式の符号化処理装置に単一タイル方式の符号化に対応させることはコストの面で高くなってしまうとともに、一方、既存の復号処理装置および符号化処理装置を置き換えずに接続したまま継続的に活用することができないという問題があった。

この発明は、以上のような問題点を解決するためになされたものであり、符号データ自体を加工することなく、タイル分割方式の符号化処理装置により符号化されたコードストリーム（第１のデータ列）を、第１のデータ列より少ないタイル分割数で分割された画像を符号化したコードストリーム（第２のデータ列）に変換する画像符号変換装置および画像符号変換方法を得ることを目的とする。

また、この発明は、前記画像符号変換装置および画像符号変換方法を備え、タイル分割方式の符号化処理装置により符号化されたコードストリーム（第１のデータ列）を、第１のデータ列より少ないタイル分割数で分割された画像を符号化したコードストリーム（第２のデータ列）に変換し、この変換したコードストリームを復号する画像復号装置および画像復号方法を得ることを目的とする。

この発明に係る画像符号変換装置は、画像を分割した複数の分割画像を独立に符号化した符号データと付加データから構成される第１のデータ列の構造を解析する付加データ解析部と、前記付加データ解析部が解析した前記第１のデータ列の構造に基づいて、前記独立に符号化された複数の分割画像の符号データを、前記画像を第１のデータ列より少ない分割数の分割画像として符号化したときの符号データの並びに再配置する符号データ再配置部と、前記符号データ再配置部が再配置した符号データに付加する付加データを生成し、該再配置した符号データと生成した付加データから第２のデータ列を構成する付加データ更新部とを備えた。

また、この発明に係る画像復号装置は、第１のデータ列を変換して第２のデータ列を構成する画像符号変換装置を備え、この画像符号変換装置の付加データ更新部が構成した第２のデータ列の符号データを直交変換係数に復号する画像復号処理部と、この画像復号処理部が復号した直交変換係数をウェーブレット逆変換する逆直交変換部を備えた。

この発明に係る画像符号変換装置および画像符号変換方法によれば、タイル分割方式の符号化処理装置により符号化されたコードストリームを、単一タイル方式の復号処理装置が復号可能なコードストリームに変換することができる。

また、この発明に係る画像復号装置および画像復号方法によれば、前段に備えた画像符号変換装置および画像符号変換方法が、タイル分割方式の符号化処理装置により符号化されたコードストリームを、単一タイル方式の復号処理装置が復号可能なコードストリームに変換し、後段に備えた単一タイル方式の復号処理装置が、この変換されたコードストリームを復号し、復号した画像を得ることができる。

このように、この発明に係る画像符号変換装置および画像符号変換方法によれば、単一タイル方式にのみ対応したデジタルシネマの上映装置を復号処理装置に使用して、劇場内においてパブリックビューイング形式で生中継の映像コンテンツをリアルタイムストリーミング上映する場合でも、この発明に係る画像符号変換装置を介して接続することで、既存のタイル分割方式の符号化処理装置をそのまま使用して配信することができるようになる。

また、単一タイル方式の復号処理装置にタイル分割方式の復号に対応させること、またはタイル分割方式の符号化処理装置に単一タイル方式の符号化に対応させることをしなくても、この発明に係る画像符号変換装置を介して接続することで、既存の復号処理装置および符号化処理装置を置き換えずに、継続的に活用することができるようになる。

また、この発明に係る画像符号変換装置および画像符号変換方法によれば、タイル分割方式の符号化処理装置により符号化されたコードストリームを、より少ないタイル分割数で構成されたタイル分割方式の復号処理装置が復号可能なコードストリームに変換することができる。

また、この発明に係る画像復号装置および画像復号方法によれば、前段に備えた画像符号変換装置および画像符号変換方法が、タイル分割方式の符号化処理装置により符号化されたコードストリームを、より少ないタイル分割数で構成されたタイル分割方式の復号処理装置が復号可能なコードストリームに変換し、後段に備えたタイル分割方式の復号処理装置が、この変換されたコードストリームを復号し、復号した画像を得ることができる。

この発明の実施の形態１に係る符号化処理装置の一例を示すブロック構成図である。 この発明の実施の形態１に係る符号化処理装置が出力するコードストリーム構造の一例を示す説明図である。 この発明の実施の形態１に係る復号処理装置の一例を示すブロック構成図である。 この発明の実施の形態１に係るタイル分割方式の符号化処理装置のタイル分割部がタイル分割した画像の一例を示す説明図である。 この発明の実施の形態１に係るタイル分割方式の符号化処理装置のウェーブレット変換部がウェーブレット変換したウェーブレット変換係数の一例を示す説明図である。 この発明の実施の形態１に係るタイル分割方式の符号化処理装置のエントロピ符号部が符号化した符号データの取り出し順の一例を示す説明図である。 この発明の実施の形態１に係るタイル分割方式の符号化処理装置のデータフォーマット処理部が出力するコードストリームの一例を示す構成図である。 この発明の実施の形態１に係る単一タイル方式の符号化処理装置のウェーブレット変換部がウェーブレット変換したウェーブレット変換係数の一例を示す説明図である。 この発明の実施の形態１に係る単一タイル方式の符号化処理装置のエントロピ符号部が符号化した符号データの取り出し順の一例を示す説明図である。 この発明の実施の形態１に係る単一タイル方式の符号化処理装置データフォーマット処理部が出力するコードストリームの一例を示す構成図である。 この発明の実施の形態１に係る画像符号変換装置の一例を示すブロック構成図である。 この発明の実施の形態１に係る画像符号変換装置の処理手順の一例を示すフローチャート図である。 この発明の実施の形態１に係る画像符号変換装置が変換する並べ替えの一例を示す概念図である。 この発明の実施の形態１に係る画像符号変換装置が出力する変換後のコードストリームの一例を示す構成図である。 この発明の実施の形態１に係る画像符号変換装置の符号変換前後におけるタイル境界のウェーブレット変換・逆変換の画素参照の一例を示す説明図である。 この発明の実施の形態２に係るタイル分割方式の符号化処理装置のタイル分割部がタイル分割した画像とプレシンクトとの対応の一例を示す説明図である。 この発明の実施の形態３に係る画像符号変換装置が扱うタイル分割方式の入力コードストリームが対応するタイル分割の一例を示す概念図である。 この発明の実施の形態３に係る画像符号変換装置が扱う図１７の入力コードストリーム構造を示す概念図である。 この発明の実施の形態３に係る画像符号変換装置が扱うタイル分割方式の出力コードストリームが対応するタイル分割の一例を示す概念図である。 この発明の実施の形態３に係る画像符号変換装置が扱う図１９の出力コードストリーム構造を示す概念図である。

この発明は、生中継などのリアルタイムストリーミングに適したタイル分割方式で画像を符号化する符号化処理装置とデジタルシネマの上映装置のように単一タイル方式のみに対応した復号処理装置の間に配置して、該符号化処理装置が符号化したタイル分割方式によるコードストリームを該復号処理装置で復号できる単一タイル方式と同じ構造のコードストリームに変換する画像符号変換装置および画像符号変換方法に関するものである。以下、この発明に係る画像符号変換装置および画像符号変換方法を各実施の形態に従って説明する。

実施の形態１．
以下に、この発明の実施の形態１に係る符号変換装置および画像符号変換方法について説明する。

以下の説明では、例えば、ＪＰＥＧ２０００の符号化・復号処理手順を利用するため、まずＪＰＥＧ２０００の処理手順の概略を説明する。

図１は、ＪＰＥＧ２０００の符号化処理装置１０の一例を示すブロック図である。この図に基づいて基本的な符号化処理手順を説明する。

タイル分割部１０１は、入力画像データを複数の矩形小ブロック（以下、タイルという）に分割する。以降の処理部では、タイル単位で独立して処理するものとする。ただし、タイル分割をせず画像全体を単一タイルとして処理することも可能である。

ウェーブレット変換部１０２は、タイル分割部１０１が分割した各タイルを２次元離散ウェーブレット変換（ＤＷＴ；Discrete Wavelet Transform）し、ＬＬ成分（水平方向低周波成分、垂直方向低周波成分）、ＨＬ成分（水平方向高周波成分、垂直方向低周波成分）、ＬＨ成分（水平方向低周波成分、垂直方向高周波成分）、ＨＨ成分（水平方向高周波成分、垂直方向高周波成分）の４つのサブバンドに分割する。分解レベルが２以上の場合、各レベルのＬＬ成分のみを２次元離散ウェーブレット変換し、４つのサブバンドに分解する処理を繰り返し行う。

量子化部１０３は、サブバンドに分解されたウェーブレット変換係数を、サブバンド毎に量子化する。ここで、ウェーブレット変換部１０２において可逆ウェーブレット変換を適用し、この量子化部１０３で量子化ステップを１に設定すると可逆圧縮（ロスレス圧縮）することが可能となり、このとき実質的に量子化処理は適用されないとみなせる。

エントロピ符号化部１０４は、量子化されたウェーブレット変換係数をエントロピ符号化処理する。このとき、エントロピ符号化部１０４は、量子化されたウェーブレット変換係数をさらにプレシンクト、コードブロックという単位に分割し、コードブロック単位毎にエントロピ符号化処理する。なお、プレシンクトとコードブロックは、縦横とも２のべき乗のサイズを持つ矩形小ブロックで、各プレシンクトには一つ以上のコードブロックが含まれる。

データフォーマット処理部１０５は、エントロピ符号化された符号データをプレシンクト（ウェーブレット変換係数の分割）、解像度、コンポーネント、レイヤー（ビット深さ方向の階層）単位にパケット化し、マーカと呼ばれる符号化に関するパラメータ情報を付加してコードストリームを構成する。このとき、コードストリーム中のパケットの配置順は、レイヤー、解像度、プレシンクト、コンポーネントの各要素から優先順位をタイル毎に決めることができ、再生時の表現方法を定義するこれら要素の優先順序の組合せをプログレッションオーダーと呼ぶ。以下、例えば、解像度Ｒ、レイヤーＬ、コンポーネントＣ、プレシンクトＰを優先順序としてパケット化するプログレッションオーダーをＲＬＣＰと表す。

図２は、ＪＰＥＧ２０００のコードストリーム構造の一例を示す説明図である。コードストリーム全体の先頭には符号化画像全般に関する情報を含むメインヘッダが付加される。パケット化されたタイルのコードデータ（タイルストリームデータ）はタイルパートにまとめられ、各タイルパートの先頭にはタイルパートヘッダが付加される。また、コードストリーム全体の末尾には、末尾を示す終了マーカが付加される。

図３は、ＪＰＥＧ２０００の復号処理装置２０の一例を示すブロック図である。この図に基づいて基本的な復号処理手順を説明する。復号処理は、図１の符号化ブロック図に示されたブロックの各処理を逆順に復元することで、コードストリームから再生画像を得るものである。

データフォーマット処理部２０１は、コードストリームからヘッダを解析し、符号データを抽出する。エントロピ復号部２０２は、抽出された符号データをウェーブレット変換係数にエントロピ復号する。逆量子化部２０３は、エントロピ復号されたウェーブレット変換係数を逆量子化する。ウェーブレット逆変換部２０４は、逆量子化されたウェーブレット変換係数を２次元離散ウェーブレット逆変換（ＩＤＷＴ；Inverse Discrete Wavelet Transform）する。タイル結合部２０５は、ウェーブレット逆変換された各タイルの画像を一つの画像に結合する。

ここで、符号化処理装置が可逆ウェーブレット変換を適用し、かつ量子化ステップ１の量子化した可逆圧縮のコードストリームを生成しているのであれば、復号処理装置が逆量子化部２０３で量子化ステップを１に設定し、ウェーブレット逆変換部２０４において可逆ウェーブレット逆変換を適用することで可逆復号することができる。なお、量子化ステップ１のとき、実質的に逆量子化処理は適用されないとみなせる。

なお、図１のＪＰＥＧ２０００の符号化処理装置１０および図３のＪＰＥＧ２０００の復号処理装置２０は、タイル分割方式の符号化処理装置および復号処理装置として図示して説明したが、単一タイル方式しか扱わない符号化処理装置および復号処理装置であれば、図１の符号化処理装置１０のタイル分割部１０１および図２の復号処理装置２０のタイル結合部２０５を実装しない装置構成（図示せず）をとることもできる。

この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法に入力される変換対象となるコードストリームの生成について説明する。この変換対象のコードストリームは、タイル分割方式で画像を符号化する符号化処理装置に対して、次の符号化パラメータを設定することで符号化し生成する。

［タイル分割方式の符号化パラメータ設定例］
・原画像サイズ：２^{（ｎ＋２）}×２^{（ｍ＋２）}
・画像領域のオフセット：（０，０）
・タイルのオフセット：（０，０）
・タイルサイズ：２^{（ｎ＋１）}×２^{（ｍ＋１）}
・ウェーブレット変換分解レベル：１
・量子化ステップ：１
・プレシンクトサイズ：設定なし（最大サイズ）
・プログレッションオーダー：ＲＬＣＰ

まず、図４は、この発明の実施の形態１に係るタイル分割方式の符号化処理装置のタイル分割部がタイル分割した画像の一例を示す説明図である。ここでは、先に説明した符号化パラメータ設定の下で、タイル分割部１０１は、入力された縦横のサイズ２^{（ｎ＋２）}×２^{（ｍ＋２）}の原画像をオフセット（０，０）、タイルサイズ２^{（ｎ＋１）}×２^{（ｍ＋１）}のタイル画像Ｔ_０からＴ_３に４分割する。ここで、オフセットとは、画像データの各画素位置を示す座標系の原点（０，０）に対し、実際の画像データの配置が開始される位置、あるいはタイルの分割が開始される位置を表す。この例では、画像領域、タイル分割ともに原点（０，０）から始まっているものとする。

次に、図５は、この発明の実施の形態１に係るタイル分割方式の符号化処理装置のウェーブレット変換部がウェーブレット変換したウェーブレット変換係数の一例を示す説明図である。ウェーブレット変換部１０２は、タイル分割された画像を分解レベル１のウェーブレット変換処理し、ＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分の４つのサブバンドに分割する。このとき、各サブバンドのサイズは２^ｎ×２^ｍとなる。ここでは、タイル画像Ｔ_ｋの４つのサブバンドであるＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分をＬＬ_ｋ、ＨＬ_ｋ、ＬＨ_ｋ、ＨＨ_ｋと表す（ｋ＝０〜３）。

量子化部１０３は、量子化ステップが１なので、ここでは実質的に量子化処理は省略される。なお、量子化ステップサイズの設定によっては、その値が１でないこともありうる。

図６は、この発明の実施の形態１に係るタイル分割方式の符号化処理装置のエントロピ符号部が符号化した符号データの取り出し順の一例を示す説明図である。ここでは、各タイル画像において、サブバンドのＬＬ成分および他の３つのサブバンドＨＬ成分、ＬＨ成分、ＨＨ成分を単位とした取り出し順を示している。エントロピ符号部１０４は、プレシンクトサイズを最大サイズ（サブバンドと同じサイズ）に設定したため、各サブバンドのウェーブレット変換係数を番号付けした単位で符号化する。

図７は、この発明の実施の形態１に係るタイル分割方式の符号化処理装置のデータフォーマット処理部が出力するコードストリームの一例を示す構成図である。データフォーマット処理部１０５は、図６の番号付けされた順番に、符号化された符号データを取り出してプレシンクト毎にプログレッションオーダーＲＬＣＰに従ってパケットとして並べるとともに、メインヘッダ、タイルパートヘッダおよび終了マーカを付加した構造のコードストリームを出力する。なお、図７では、図６に同一番号を付したＨＬ成分、ＬＨ成分、ＨＨ成分の符号データを一つにまとめて示している。ここでは、ＨＬ成分、ＬＨ成分、ＨＨ成分の順に示しているが、あらかじめ規定された順序であれば、この順に限るものではない。

この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法が出力する変換後のコードストリームについて説明する。ここでは、先に説明したタイル分割方式の符号化処理装置の符号化パラメータ設定と同様に、変換後のコードストリームを復号する単一タイル方式の復号処理装置が復号可能なコードストリームを生成する単一タイル方式の符号化処理装置への符号化パラメータ設定という観点から説明する。

［単一タイル方式の符号化パラメータ設定例］
・原画像サイズ：２^{（ｎ＋２）}×２^{（ｍ＋２）}
・画像領域のオフセット：（０，０）
・タイルのオフセット：（０，０）
・ウェーブレット変換分解レベル：１
・量子化ステップ：１
・プレシンクトサイズ：２^ｎ×２^ｍ（ＬＬ成分）、２^{（ｎ＋１）}×２^{（ｍ＋１）}（ＬＬ成分以外）
・プログレッションオーダー：ＲＬＣＰ

まず、図８は、この発明の実施の形態１に係る単一タイル方式の符号化処理装置のウェーブレット変換部がウェーブレット変換したウェーブレット変換係数の一例を示す説明図である。ウェーブレット変換部１０２は、縦横のサイズが２^{（ｎ＋２）}×２^{（ｍ＋２）}である原画像をタイル分割せずに分解レベル１のウェーブレット変換処理を適用しＬＬ成分、ＨＬ成分、ＬＨ成分、ＨＨ成分の４つのサブバンドに分割する。このウェーブレット変換処理によって、各サブバンドのサイズは２^{（ｎ＋１）}×２^{（ｍ＋１）}となる。

量子化部１０３は、量子化ステップが１なので、ここでは実質的に量子化処理は省略される。なお、量子化ステップサイズの設定によっては、その値が１でないこともありうる。

次に、図９は、この発明の実施の形態１に係る単一タイル方式の符号化処理装置のエントロピ符号部が符号化した符号データの取り出し順の一例を示す説明図である。ここでは、各サブバンドにおいて、プレシンクトを単位とした取り出し順を示している。エントロピ符号部１０４は、プレシンクトサイズをＬＬ成分が２^ｎ×２^ｍ、ＬＬ成分以外が２^{（ｎ＋１）}×２^{（ｍ＋１）}にしたため、各サブバンドのプレシンクトのウェーブレット変換係数を番号付けした単位で符号化する。

図１０は、この発明の実施の形態１に係る単一タイル方式の符号化処理装置のデータフォーマット処理部が出力するコードストリームの一例を示す構成図である。データフォーマット処理部１０５は、図９の番号付けされた順番に、符号化された符号データを取り出してプレシンクト毎にプログレッションオーダーＲＬＣＰに従ってパケットとして並べるとともに、メインヘッダ、タイルパートヘッダおよび終了マーカを付加した構造のコードストリームを出力する。なお、図１０では、図９に同一番号を付したＨＬ成分、ＬＨ成分、ＨＨ成分の符号データを一つにまとめて示している。ここでは、ＨＬ成分、ＬＨ成分、ＨＨ成分の順に示しているが、あらかじめ規定された順序であれば、この順に限るものではない。

ここに示した符号化パラメータを設定して符号化された上述の図１０に示した構成のコードストリームは、デジタルシネマの上映装置のような単一タイル方式の復号処理装置で復号できるものとなる。

このように、この発明の実施の形態１に係る符号変換装置は、タイル分割方式の符号化パラメータを設定して符号化する符号化処理装置の図７に示されるコードストリームを単一タイル方式の符号化パラメータを設定して復号する復号処理装置の図１０に示されるコードストリームに変換するものである。以下、この符号変換装置のコードストリームに変換処理について、詳しく説明する。

タイル分割方式におけるプログレッションオーダーＲＬＣＰの２×２タイルコードストリームは、図７のコードストリーム構造、図６のプレシンクト分割された符号データの配置に示すように、各タイルパートヘッダに続いてＬＬ成分、ＬＬ以外の成分の符号データパケットが、左上、右上、左下、右下の順序でタイル毎に続く構成となっている。

一方、単一タイル方式におけるプログレッションオーダーＲＬＣＰの単一タイルコードストリームは、図１０のコードストリーム構造、図９のプレシンクト分割された符号データの配置に示すように、単一のタイルパートヘッダに続いて左上、右上、左下、右下領域の各ＬＬ成分、左上領域のＬＬ以外の成分、右上領域のＬＬ以外の成分、左下領域のＬＬ以外の成分、右下領域のＬＬ以外の成分という順序の符号データパケットで構成される。

図１１は、この発明の実施の形態１に係る画像符号変換装置の一例を示すブロック構成図である。また、図１２は、この発明の実施の形態１に係る画像符号変換装置の処理手順の一例を示すフローチャート図である。このブロック構成図の処理部とフローチャート図の処理動作を対応付けて説明する。

最初に、画像符号変換装置３００の付加データ解析部３０１は、入力されるタイル分割方式のコードストリームの付加データに含まれるヘッダ情報を解析する（ステップＳ４０１）。次に、符号データ再配置部３０２は、ヘッダ情報の解析結果に基づいて、図１０のコードストリーム構造に当てはめて分解した符号データを単一タイル方式に対応した順序に並べ替える（ステップＳ４０２）。付加データ更新部３０３は、単一タイル方式に対応した順序に並べ替えられた符号データに、単一タイル方式に対応した付加データを生成して付加することで単一タイル方式のコードストリームに更新する（ステップＳ４０３）。

すなわち、この発明の実施の形態１に係る画像符号変換装置３００は、付加データ解析部３０１が、画像を分割した複数の分割画像を独立に符号化した符号データとヘッダを含む付加データから構成されるタイル分割方式のコードストリーム（第１のデータ列）の構造を解析し、符号データ再配置部３０２が、付加データ解析部３０１が解析したタイル分割方式のコードストリーム（第１のデータ列）の構造に基づいて、独立に符号化された複数の分割画像の符号データを、画像を単一画像として符号化したときの符号データの並びに再配置し、付加データ更新部３０３が、符号データ再配置部が再配置した符号データに付加する付加データを生成し、該再配置した符号データと生成した付加データから、画像を単一画像として符号化したときの符号データ構造を有する単一タイル方式のコードストリーム（第２のデータ列）を構成するものである。

図１１のブロック構成図の各処理部の処理手順をより詳しく説明する。付加データ解析部３０１は、入力される図７で示されるプログレッションオーダーＲＬＣＰの２×２タイルコードストリームを付加データに含まれるメインヘッダやタイルパートヘッダに基づいて解析し、図６に示したプレシンクト分割された符号データの単位で取り出せるようにする。

図１３は、この発明の実施の形態１に係る画像符号変換装置が変換する並べ替えの一例を示す概念図である。符号データ再配置部３０２は、左段に示した符号変換前のタイル分割方式に対応して示された図６の符号データ配置を右段に示した符号変換後の単一タイル方式に対応して示された図９の符号データ配置に並べ替える再配置を行う。なお、右段の符号データ配置に付した番号は、対応する左段の符号データ配置に付した番号で示したため、図９で付した番号と異なっている。

このような並べ替えの概念に基づいて、符号データ再配置部３０２は、図７で示したタイル分割方式のコードストリームを図１０の単一タイル方式のコードストリームの構成になるように各符号データを並べ替える変換を行う。ここでは、画像の符号化単位の符号データの順番を並べ替えているだけで、画像の符号化単位を再符号化することはない。

付加データ更新部３０３は、コードストリームの付加データに含まれるタイル分割方式のヘッダを単一タイル方式のヘッダに付け直すことで、単一タイル方式の復号処理装置で復号できるコードストリームを生成する。

図１４は、この発明の実施の形態１に係る画像符号変換装置が出力する変換後のコードストリームの一例を示す構成図である。図１３の右段の並べ替え後の符号データ配置の番号付けに対応したコードストリームの構造を示している。

このように変換したコードストリームは、画像を単一タイル方式で符号化したコードストリームと比較すると、構造は完全に一致したものなっているが、符号データはタイル境界でのウェーブレット変換の処理にのみ異なる点がある。

図１５は、この発明の実施の形態１に係る画像符号変換装置の符号変換前後におけるタイル境界のウェーブレット変換・逆変換の画素参照の一例を示す説明図である。符号変換前として、上段に示した符号化処理時のタイル分割方式の符号化処理装置における原画像からウェーブレット変換係数へのウェーブレット変換では、タイルは単独で符号化、復号できることを保証するため、タイル境界を越えた隣接タイルの画素参照は行われない。一方、符号変換後として、下段に示した復号処理時の単一タイル方式の復号処理装置におけるウェーブレット変換係数から再生画像へのウェーブレット逆変換では、本来のタイルをプレシンクトとみなしているため、タイル境界として扱われず、プレシンクト境界を越えた隣接タイルの画素参照が行われてしまう。

このような理由から、この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法で変換されたコードストリームは、変換前の符号化に可逆圧縮（ロスレス圧縮）モードを用いていても、完全に元の画像に復号できるわけではないが、元の画像に復号されない領域は、ウェーブレット逆変換でタイル境界を越えて画素参照される部分に限られる。なお、タイル境界において急峻な画質変化がない場合には、タイル境界での画質への影響はきわめて小さい。

なお、この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法では、縦２×横２のタイルに４分割したタイル分割方式のコードストリーム（第１のデータ列）を受信して単一タイル方式のコードストリーム（第２のデータ列）に変換する一例について説明したが、４タイル分割からタイル分割のない単一タイルへの変換に限るものではなく、４タイルでない分割数であっても、既定のサブバンド、タイル、プレシンクト、コードブロックの参照順序に従ってコードストリームを変換することができる。

また、この発明の実施の形態１に係る図１１の画像符号変換装置３００を前段に、単一タイル方式に対応した復号処理部を後段に備え、受信したタイル分割方式のコードストリーム（第１のデータ列）を単一タイル方式のコードストリーム（第２のデータ列）に変換し、変換した単一タイル方式のコードストリームを画像に復号する画像復号装置として構成されてもよい。ここで、後段に配置する復号処理部は、例えば、先に説明した図３の単一タイル方式の復号処理装置２００とすればよい。このとき、単一タイル方式ではタイル結合は行わないので、タイル結合部２０５を備えない構成でもよいが、タイル結合部２０５を備える構成ならば、ウェーブレット逆変換部２０４の出力を直通させてもよい。

また、単一タイル方式のコードストリームの形式に変換しなくても、図３の単一タイル方式の復号処理装置２００の符号データ再配置部３０２、付加データ更新部３０３と、図１１の画像符号変換装置３００のデータフォーマット処理部２０１が協調して、タイル分割方式のコードストリームから単一タイル方式の処理順序に符号データおよび付加データを適宜抽出してエントロピ復号部２０２が処理できるように制御する一つの処理部として、画像復号装置が実現されても構わない。

以上のように、この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法によれば、タイル分割方式の符号化処理装置と単一タイル方式の復号処理装置が対応可能な符号化パラメータを適切に設定し、符号データ自体を加工することなく、並べ替えることで、タイル分割方式の符号化処理装置が符号化したコードストリームを単一タイル方式の復号処理装置が復号可能なコードストリームに変換することができる。

すなわち、劇場で生中継の映像コンテンツをリアルタイムストリーミング上映する場合、処理速度およびハードウェア規模で有利なタイル分割方式の符号化処理装置を使用しても、単一タイル方式のデジタルシネマの上映装置を復号処理装置としてそのまま使用することができるようになる。このように、この発明の画像符号変換装置を介して符号化処理装置と復号処理装置を接続すれば、例えば、単一タイル方式の復号処理装置にタイル分割方式の復号機能を追加、あるいはタイル分割方式の符号化処理装置に単一タイル方式の符号化機能を追加して、符号化処理装置または復号処理装置の少なくとも一方を単一タイル方式およびタイル分割方式の両機能に対応した符号化処理装置または復号処理装置に置き換える必要がなくなるので、タイル分割方式の符号化処理装置と単一タイル方式の復号処理装置を現状のまま継続して低コストで活用できるようになる。

また、この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法によれば、タイル分割方式で、タイル境界において急峻な画質変化がある場合、その画質差からタイル境界が目立ってしまう画像でも、単一タイル方式に変換して復号することで、本来のタイル境界を越えた画素参照を伴うウェーブレット逆変換によって、その画質差を緩和しタイル境界を目立たなくする効果もある。

実施の形態２．
先に説明したこの発明の実施の形態１に係る画像符号変換装置および画像符号変換方法の説明では、タイル分割部が分割する矩形状のタイル画像の縦横のサイズについて、縦横の画素数がそれぞれ２のべき乗であることを前提とした。この発明の実施の形態２に係る画像符号変換装置および画像符号変換方法では、隣接するタイル画像の境界、すなわちタイル画像を単一の画像として結合する際の結合境界を符号化時の処理ブロックの境界と一致させることで、縦横の画素数がそれぞれ２のべき乗でない場合に対応する一例について説明する。

この発明の実施の形態２に係る画像符号変換装置および画像符号変換方法に入力される変換対象となるコードストリームを生成するために、タイル分割方式で画像を符号化する符号化処理装置に対して、次の符号化パラメータを設定する。

［タイル分割方式の符号化パラメータ設定例］
・原画像サイズ：３８４×３８４
・画像領域のオフセット：（０，０）
・タイルのオフセット：（０，０）
・タイルサイズ：１９２×１９２
・ウェーブレット変換分解レベル：１
・量子化ステップ：１
・コードブロックサイズ：３２×３２
・プログレッションオーダー：ＲＬＣＰ

タイル分割方式のコードストリームの生成については、画像の縦横のサイズが２のべき乗である場合と同一であり、実施の形態１における図４から図７で説明したとおりである。画像を１９２×１９２のタイルサイズで分割しウェーブレット変換で１レベル分解したサブバンドのサイズは９６×９６となる。

先に説明した実施の形態１のように画像の縦横のサイズが２のべき乗である場合は、このサブバンド領域を単一タイルで符号化した場合のプレシンクト分割の領域と一致させることでコードストリームの変換をしたが、ＪＰＥＧ２０００符号化ではプレシンクトの縦横サイズは２のべき乗とする規定があるため、９６×９６というサイズはプレシンクトサイズとしては指定できない。

よって、９６×９６よりも大きなプレシンクトサイズを指定し、プレシンクト分割の座標原点をオフセットすることで、サブバンド領域を９６×９６の領域に分割してパケット化する。

図１６は、この発明の実施の形態２に係るタイル分割方式の符号化処理装置のタイル分割部がタイル分割した画像とプレシンクトとの対応の一例を示す説明図である。１９２×１９２のＬＬ成分のサブバンド領域を、破線で示す１２８×１２８のプレシンクトに分割し、タイルオフセットを（３２，３２）とすることで、９６×９６の４領域に分割してパケット化することができる。

また、この発明の実施の形態２に係る画像符号変換装置および画像符号変換方法が出力する変換後のコードストリームを復号する単一タイル方式の復号処理装置が復号可能なコードストリームを生成する単一タイル方式の符号化処理装置への符号化パラメータ設定は次のものとする。

［単一タイル方式の符号化パラメータ設定例］
・原画像サイズ：３８４×３８４
・画像領域のオフセット：（６４，６４）
・タイルのオフセット：（６４，６４）
（これにより、ＬＬ成分以外のタイルのオフセットが（６４，６４）、ＬＬ成分のタイルのオフセットが（３２，３２）となる）
・ウェーブレット変換分解レベル：１
・量子化ステップ：１
・プレシンクトサイズ：１２８×１２８（ＬＬ成分）、２５６×２５６（ＬＬ成分以外）
・コードブロックサイズ：３２×３２
・プログレッションオーダー：ＲＬＣＰ

ここに示した符号化パラメータを設定して符号化されたコードストリームは、デジタルシネマの上映装置のような単一タイル方式の復号処理装置で復号できるものとなる。

このような符号化パラメータを設定することによって、タイル画像を単一の画像として結合する際の結合境界を符号化時の処理ブロックの境界と一致させることで、画像サイズが２のべき乗でない場合でも、タイル分割方式のコードストリームと単一タイル方式のコードストリームの符号化データの分割領域を同一にできるため、先に説明した実施の形態１における画像サイズが２のべき乗である場合と同様に、コードストリームの変換が可能となる。

なお、この発明の実施の形態２に係る画像符号変換装置および画像符号変換方法では、タイル画像の縦横の画素数がそれぞれ２のべき乗でない場合について説明したが、縦または横の一方のみが２のべき乗でない画素数の場合でも、当該方向にオフセットを設定することで説明することができる。

以上のように、この発明の実施の形態２に係る画像符号変換装置および画像符号変換方法によれば、この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法における効果が同様に得られ、タイル分割方式によるコードストリームを単一タイル方式と同じ構造のコードストリームに変換でき、単一タイル方式の復号処理装置で復号できるようになる。

実施の形態３．
先に説明したこの発明の実施の形態１に係る画像符号変換装置および画像符号変換方法は、タイル分割方式のコードストリームから単一タイル方式のコードストリームに変換するものについて説明した。この発明の実施の形態３では、複数のタイルで構成されたタイル分割方式のコードストリームを入力することは変わらないが、隣接するタイルをこの発明の実施の形態１で説明したような手法でまとめることで、例えば４×４タイルのタイル分割方式のコードストリームを２×２タイルのタイル分割方式のコードストリームに変換する一例について説明する。

まず、この発明の実施の形態３に係る画像符号変換装置は、この発明の実施の形態１の図１１で説明した画像符号変換装置において、付加データ解析部３０１が、画像を分割した複数の分割画像を独立に符号化した符号データとヘッダを含む付加データから構成されるタイル分割方式のコードストリーム（第１のデータ列）の構造を解析し、符号データ再配置部３０２が、付加データ解析部３０１が解析したタイル分割方式のコードストリーム（第１のデータ列）の構造に基づいて、独立に符号化された複数の分割画像の符号データを、画像を第１のデータ列より少ないタイル分割数で分割された分割画像として符号化したときの符号データの並びに再配置し、付加データ更新部３０３が、符号データ再配置部が再配置した符号データに付加する付加データを生成し、該再配置した符号データと生成した付加データから、画像を第１のデータ列より少ないタイル分割数で分割された分割画像として符号化したときの符号データ構造を有するタイル分割方式のコードストリーム（第２のデータ列）を構成するものである。

図１７は、この発明の実施の形態３に係る画像符号変換装置が扱うタイル分割方式の入力コードストリームが対応するタイル分割の一例を示す概念図である。この例では、画像を４×４タイル（１６タイル）に分割している。

また、図１８は、この発明の実施の形態３に係る画像符号変換装置が扱う図１７の入力コードストリーム構造を示す概念図である。

図１９は、この発明の実施の形態３に係る画像符号変換装置が扱うタイル分割方式の出力コードストリームが対応するタイル分割の一例を示す概念図である。この例では、図１７の４×４タイルから２×２タイルに再構成するものである。すなわち、図１９のタイルＴ’_０は、図１７の４つのタイルＴ_０、Ｔ_１、Ｔ_４、Ｔ_５から再構成される。同様に、タイルＴ’_１は、タイルＴ_２、Ｔ_３、Ｔ_６、Ｔ_７から、タイルＴ’_２は、タイルＴ_８、Ｔ_９、Ｔ_１２、Ｔ_１３から、タイルＴ’_３は、タイルＴ_１０、Ｔ_１１、Ｔ_１４、Ｔ_１５から再構成される。

図２０は、この発明の実施の形態３に係る画像符号変換装置が扱う図１９の出力コードストリーム構造を示す概念図である。図中、タイルＴ’_０に相当する第１のタイルパートヘッダとタイルストリームデータは、図１７の４つのタイルＴ_０、Ｔ_１、Ｔ_４、Ｔ_５から、図１３で説明した変換に基づいて、図１４のタイルパートヘッダとタイルストリームデータと同様に変換することで再構成する。他の３つのタイルＴ’_１、Ｔ’_２、Ｔ’_３についても同様に再構成する。

なお、図１９に破線で示した本来のタイル境界は、先に図１５で説明したとおり、本来のタイルをプレシンクトとみなしているため、プレシンクト境界はタイル境界として扱われず、プレシンクト境界を越えた隣接タイルの画素参照が行われてしまうことになり、一方で本来とおりタイル境界として扱われる部分はタイル境界を越えた隣接タイルの画素参照は行われないことになる。

以上のように、この発明の実施の形態３に係る画像符号変換装置および画像符号変換方法によれば、送信側のタイル分割方式の符号化処理装置と受信側のタイル分割方式の復号処理装置が対応可能な符号化パラメータを適切に設定し、符号データ自体を加工することなく、並べ替えることで、送信側のタイル分割方式の符号化処理装置が処理するタイル数より少ないタイル数しか処理できない受信側のタイル分割方式の復号処理装置でも復号可能なコードストリームに変換することができる。

また、この発明の実施の形態３に係る画像符号変換装置および画像符号変換方法によれば、本来のタイルを接合した境界部の画質については、この発明の実施の形態１に係る画像符号変換装置および画像符号変換方法において説明した同様な効果が得られる。

以上、これまで説明したように、この発明の実施の形態に係る画像符号変換装置および画像符号変換方法では、画像をＭ×Ｎタイル（Ｍ、Ｎ＞１）で構成されるものとして説明したが、Ｍ×１タイル、１×Ｎタイルで構成される場合でも同様に説明できる。

また、この発明の実施の形態に係る画像符号変換装置および画像符号変換方法では、タイル分割方式のコードストリームを一度に単一タイル方式のコードストリームに変換しなくても、例えば、縦４×横４のタイルに１６分割したタイル分割方式のコードストリームから単一タイル方式のコードストリームへ変換する過程として、縦２×横２の４タイルを１タイルに統合する処理とみなして、縦横１／２の分割数の縦２×横２のタイルに４分割したタイル分割方式のコードストリームに変換し、さらに縦横１／２の分割数となる単一タイル方式のコードストリームに段階的にタイル分割数を減少させていく変換として適用してもよい。また、縦方向のみまたは横方向のみの方向別に２タイルを１タイルに統合する変換を段階的に繰り返してもよい。すなわち、この発明の実施の形態に係る画像符号変換装置および画像符号変換方法は、一度にタイル分割方式のコードストリームを単一タイル方式のコードストリームに変換するためだけでなく、上述の途中段階で生成されるタイル分割方式のコードストリームから統合されたタイル分割方式のコードストリームに変換することも可能であることは明らかである。なお、タイル分割数によっては、縦横の分割数を１／２でなく、１／Ｎに減らしてもよく、また、縦横の分割数を異なる割合で減らしてもよい。

また、この発明の実施の形態に係る画像符号変換装置および画像符号変換方法では、タイル分割して符号化したタイル画像の符号化データを単一のコードストリームに格納するものとして説明したが、タイル画像の符号化データをタイルごとに完全に独立した複数のコードストリームに含まれる複数の画像の符号化データであっても構わない。

また、この発明の実施の形態に係る画像符号変換装置および画像符号変換方法では、一例としてＪＰＥＧ２０００符号化を適用する場合について説明したが、同様な画像分割および符号化単位を適用したＪＰＥＧ２０００符号化方式に限らず他の符号化方式を適用しても構わない。また、画像にウェーブレット変換を適用する場合について説明したが、ウェーブレット変換に限らず他の直交変換を適用しても構わない。

１０ 符号化処理装置
２０ 復号処理装置
３０ 画像符号変換装置
１０１ タイル分割部
１０２ ウェーブレット変換部
１０３ 量子化部
１０４ エントロピ符号化部
１０５ データフォーマット処理部
２０１ データフォーマット処理部
２０２ エントロピ復号部
２０１ 逆量子化部
２０４ ウェーブレット逆変換部
２０５ タイル結合部
３０１ 付加データ解析部
３０２ 符号化データ再配置部
３０３ 付加データ更新部

Claims (11)

1. 画像を分割した複数の分割画像を独立に符号化した符号データと付加データから構成される第１のデータ列の構造を解析する付加データ解析部と、
   この付加データ解析部が解析した前記第１のデータ列の構造に基づいて、前記独立に符号化された複数の分割画像の符号データを、前記画像を前記第１のデータ列より少ない分割数の分割画像として符号化したときの符号データの並びに再配置する符号データ再配置部と、
   この符号データ再配置部が再配置した符号データに付加する付加データを生成し、該再配置した符号データと生成した付加データから第２のデータ列を構成する付加データ更新部と
   を備えた画像符号変換装置。
2. 前記符号データ再配置部が再配置する符号データの並びは、前記画像を分割数１の分割画像として符号化したときの符号データの並びであることを特徴とする請求項１に記載の画像符号変換装置。
3. 前記複数の分割画像は、前記画像を矩形タイル状に分割したタイル画像であることを特徴とする請求項１に記載の画像符号変換装置。
4. 前記タイル画像は、縦横のサイズが共に２のべき乗の画素数の画像であることを特徴とする請求項３に記載の画像符号変換装置。
5. 前記タイル画像は、符号化処理ブロックを単位として符号データに符号化され、
   この符号化処理ブロックは、該タイル画像と隣接するタイル画像との境界を基準として配置される
   ことを特徴とする請求項３に記載の画像符号変換装置。
6. 前記第１のデータ列は、前記複数の分割画像を各分割画像で独立にウェーブレット変換したウェーブレット変換係数が符号化されていることを特徴とする請求項１または請求項２に記載の画像符号変換装置。
7. 前記第１のデータ列を変換して前記第２のデータ列を構成する請求項６記載の画像符号変換装置を備え、
   前記付加データ更新部が構成した第２のデータ列の符号データをウェーブレット変換係数に復号する画像復号処理部と、
   この画像復号処理部が復号したウェーブレット変換係数を逆ウェーブレット変換する逆ウェーブレット変換部
   を備えることを特徴とする画像復号装置。
8. 画像を分割した複数の分割画像を独立に符号化した符号データと付加データから構成される第１のデータ列の構造を解析する付加データ解析工程と、
   この付加データ解析工程が解析した前記第１のデータ列の構造に基づいて、前記独立に符号化された複数の分割画像の符号データを、前記画像を前記第１のデータ列より少ない分割数の分割画像として符号化したときの符号データの並びに再配置する符号データ再配置工程と、
   この符号データ再配置工程が再配置した符号データに付加する付加データを生成し、該再配置した符号データと生成した付加データから第２のデータ列を構成する付加データ更新工程と
   を有する画像符号変換方法。
9. 前記符号データ再配置工程で再配置される符号データの並びは、前記画像を分割数１の分割画像として符号化したときの符号データの並びであることを特徴とする請求項８に記載の画像符号変換方法。
10. 画像を分割した複数の分割画像を各分割画像で独立にウェーブレット変換したウェーブレット変換係数を符号化した符号データと付加データから構成される第１のデータ列の構造を解析する付加データ解析工程と、
    この付加データ解析工程が解析した前記第１のデータ列の構造に基づいて、前記独立に符号化された複数の分割画像の符号データを、前記画像を前記第１のデータ列より少ない分割数の分割画像として符号化したときの符号データの並びに再配置する符号データ再配置工程と、
    この符号データ再配置工程が再配置した符号データに付加する付加データを生成し、該再配置した符号データと生成した付加データから第２のデータ列を構成する付加データ更新工程と、
    この付加データ更新工程が構成した第２のデータ列の符号データをウェーブレット変換係数に復号する画像復号処理工程と、
    この画像復号処理工程が復号したウェーブレット変換係数を逆ウェーブレット変換する逆ウェーブレット変換工程
    を有する画像復号方法。
11. 前記符号データ再配置工程で再配置される符号データの並びは、前記画像を分割数１の分割画像として符号化したときの符号データの並びであることを特徴とする請求項１０に記載の画像復号方法。

Images