JP2009267573A - 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム - Google Patents

Abstract

【課題】符号化レイヤ間の画像信号の予測誤差信号を符号化する場合に、予測誤差信号の情報量を削減し、符号量を削減して効率良く符号化を行う。
【解決手段】動画像階層符号化装置１０１では、空間インターポレーション部１０６はベースレイヤエンコード部１０５からのベースレイヤローカルデコード信号をエンハンスメントレイヤの解像度に拡大し、高周波成分除去部１１８は高周波成分推定拡大部１１７からのベースレイヤローカルデコード信号に基づき推定された高周波成分推定信号を入力画像信号から除去し、エンハンスメントレイヤエンコード部１０７は、高周波成分除去部１１８からの高周波成分除去信号と、空間インターポレーション部１０６からのエンハンスメントレイヤの解像度に拡大されたインターポレーション信号との差分をとってエンハンスメントレイヤにて符号化する。
【選択図】図１

Description

本発明は、空間解像度が互いに異なる、２階層や３階層、４階層などの複数階層の符号化レイヤにより動画像信号を符号化する動画像の階層符号化装置、階層符号化方法、階層符号化プログラム、及び空間解像度が互いに異なる複数の符号化レイヤにより動画像信号が階層符号化された符号化ビットストリームを復号する動画像の階層復号化装置、階層復号方法及び階層復号プログラムに関する。

従来、映像符号化において空間解像度、時間解像度及びＳＮＲ（信号対雑音比）それぞれのスケーラビリティを実現する符号化方式が数多く提案されており、様々な分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、静止画像の符号化を含め、その適用範囲が広く、映像の空間解像度スケーラビリティを実現する階層符号化装置及び復号装置として、例えば、ベースレイヤとエンハンスメントレイヤの２層の階層符号化装置において、ベースレイヤの復号信号を空間的にインターポレーション（補間）してエンハンスメントレイヤの空間解像度にした信号と、エンハンスメントレイヤの映像信号との間で相関を利用した予測を行い、その予測誤差信号を符号化して符号化ビットストリームを復号装置へ伝送し、復号装置ではその符号化ビットストリームを復号するものがある（例えば、特許文献１参照。）。
特開平７−１６２８７０号公報

しかし、ベースレイヤの符号化対象として用意する画像フレームにおいては、エンハンスメントレイヤで扱う画像フレームに含まれるような高い周波数成分は、ベースレイヤの空間解像度に縮小（デジメーション）する際、周波数帯域制限によって除去される。また、ベースレイヤにおける符号化の結果、あまり重要でないと判断された高い周波数成分は、量子化などの符号化処理の過程で除去される。

そのため、上記特許文献１に記載の従来技術のように、このようなベースレイヤの符号化信号を復号し、さらにインターポレーション（補間）してエンハンスメントレイヤの空間解像度にした信号との相関を利用してエンハンスメントレイヤの動画像信号を符号化する場合、ベースレイヤの信号とエンハンスメントレイヤの信号との間で予測処理を行った予測誤差信号には、低周波数成分を多く含む領域に対しては正しい予測処理が行われている可能性が高いが、比較的大きな高周波数成分が連続した領域、例えばエッジ部などを含む領域においては、ベースレイヤから得られる信号では高周波成分が除去されているため、十分な予測処理を行うことができず、予測誤差信号の情報量が増大し、符号量が増大する、という問題が生じる。

そこで、本発明は、符号化レイヤ間の画像信号の予測誤差信号を符号化する場合に、予測誤差信号の情報量を削減し、符号量を削減して効率良く符号化を行うことができる動画像の階層符号化装置、階層符号化方法、階層符号化プログラム、およびかかる符号化により符号化された符号化ビットストリームを復号することができる動画像の階層復号化装置、階層復号方法及び階層復号プログラムを提供することにある。

上記課題を解決するため本発明の動画像階層符号化装置は、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化装置であって、前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得る、空間デシメーション部と、前記入力動画像信号を高解像度画像信号として蓄積する、高解像度信号保持部と、前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成する、低解像度符号化部と、前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成する、高周波成分除去部と、前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得る、高解像度符号化部と、少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行う、多重化部と、を有する。
ここで、前記高周波成分推定部は、前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第１のハイパスフィルタリング部と、抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第２のハイパスフィルタリング部と、を有するようにしても良いし。また、前記高周波成分推定部は、さらに、前記入力画像信号と、前記第２のハイパスフィルタリング部からの低域成分が除去された前記高周波成分とに基づいて前記振幅制限・定数倍処理部が前記振幅制限および定数倍処理をする際の強度パラメータを指定範囲内で推定し、その推定強度パラメータを前記振幅制限および定数倍処理部へ出力して、前記振幅制限・定数倍処理部に前記指定範囲内の前記推定強度パラメータに基づいて前記高周波数成分に対し振幅制限および定数倍処理を行わせると共に、前記指定範囲内で推定した全ての前記推定強度パラメータにて生成された前記高周波成分信号と前記入力画像信号の高域成分とのレベル差が最小となる最適推定強度パラメータを出力する推定度判断部と、前記推定度判断部からの前記最適推定強度パラメータをエントロピー符号化するエントロピー符号化部と、を有し、前記第２のハイパスフィルタリング部は、前記振幅制限・定数倍処理部が前記最適推定強度パラメータに基づいて振幅制限および定数倍処理を行った前記高周波数成分から低域成分を除去して前記高周波成分除去部へ出力し、前記多重化部は、さらに、エントロピー符号化された前記最適推定強度パラメータを多重化する、ようにしても良い。
また、本発明の動画像階層符号化方法は、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化方法であって、前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得るステップと、前記入力動画像信号を高解像度画像信号として蓄積するステップと、前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成するステップと、前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成するステップと、前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成するステップと、前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成するステップと、前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得るステップと、少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行うステップと、を有する。
また、本発明の動画像階層符号化プログラムは、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動作を、コンピュータに実行させるための動画像階層符号化プログラムであって、上記動画像階層符号化方法の各ステップをコンピュータに実行させるプログラムである。
また、本発明の動画像階層復号化装置は、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成する、高解像度復号化部と、前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成する高周波成分復元部と、を有する。
ここで、前記高周波成分推定部は、前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第１のハイパスフィルタリング部と、抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第２のハイパスフィルタリング部と、を有するようにしても良い。また、前記多重分離部は、前記多重化ビットストリームより、前記低解像度符号化データと、前記高解像度符号化データと、さらに前記高解像度符号化データを符号化した際に用いられエントロピー符号化された最適推定強度パラメータを分離し、前記高周波成分推定部は、さらに、エントロピー符号化された前記最適推定強度パラメータをエントロピー復号化するエントロピー復号化部、を有し、前記振幅制限・定数倍処理部は、エントロピー復号化された前記最適推定強度パラメータに基づいて空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする、ようにしても良い。
また、本発明の動画像階層復号化方法は、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成するステップと、前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成するステップと、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成するステップと、前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、前記高周波成分推定信号を生成するステップと、前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成するステップと、を有する。
また、本発明の動画像階層復号化プログラムは、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動作をコンピュータに実行させるための動画像階層復号化プログラムであって、前記動画像階層復号化方法の各ステップを実行するプログラムである。

本発明の動画像階層符号化装置、符号化方法、符号化プログラムでは、階層符号化における高解像度符号化処理の前段に、低解像度符号化処理の際の局部復号（ローカルデコード）信号より高周波数成分を推定し、推定した高周波成分を除去する高周波数成分除去処理を追加したため、高解像度符号化処理が行われる入力映像信号は高域成分が取り除かれた信号となり、従来技術の階層間予測であれば予測が困難であった高域成分が存在しなくなるので、予測誤差を小さくすることができる。また、高解像度符号化処理において動き補償予測を行う場合でも、予測対象の高域成分が存在しないため、動きによる変形や解像度変化による動き補償予測誤差の高周波成分増大を防ぐことが可能となる。両方の効果により、高解像度符号化処理の符号化効率が向上する。

また、高周波数成分を推定する際、局部復号（ローカルデコード）信号の劣化状態と、入力画像の高域成分の特性を判断し、その判断結果を用いて推定強度を変化させて最適な推定強度を求め、最適な推定強度により推定高周波成分信号を生成した場合、更なる高解像度エンハンスメントレイヤの符号化効率向上をもたらし、効率的でより高品位な動画像信号の階層符号化・復号化を実現することが可能となる。

また、本発明の動画像階層復号化装置、復号化方法、復号化プログラムでは、低解像復号信号より高周波数成分を推定し、推定した高周波数成分を高解像度復号信号に加える高周波数成分復元処理を追加したので、符号化側で、階層符号化の高解像度符号化処理の前段に、低解像度符号化処理の際の局部復号信号より高周波数成分を推定し、推定した高周波成分を除去する高周波数成分除去処理を追加していても、正しく高解像度復号信号を復元することができ、互換性が確保される。また、符号化側でかかる高周波数成分除去処理を追加していない場合には、高域成分が復元された、符号化側より良好な特性の動画像信号を再生できる。

次に本発明の実施の形態について説明する。

本発明の動画像階層符号化装置は、従来の符号化処理に対して、入力画像信号を解像度の異なる階層に分解して得た、入力画像信号よりも解像度の低い画像信号を符号化する過程で得られる局部復号化信号を用いて、入力画像信号の持つ高域成分を推定し、推定成分を予め除去した信号を解像度の高い映像信号を符号化する処理に入力する処理が追加したものである。また、本発明の階層復号装置は、入力画像信号よりも解像度の低い画像信号の符号化データを復号した画像信号を用いて、入力画像信号の持つ高域成分を推定し、前記推定成分を予め除去した信号の符号化データの復号画像信号に加算する処理を追加したものである。

これらを実現するための動画像階層符号化装置の構成、方法及びプログラムの実施例を以下に示す。なお、以下に示す実施例は、説明を簡単にするために２つの空間解像度階層を持つ階層符号化・復号化を例に挙げているが、これを３層以上の多階層で実現することも可能である。

実施の形態１.
図１は、実施の形態１の動画像階層符号化装置及び階層復号化装置の構成例を示す図である。

図１に示されるように、実施の形態１の動画像階層符号化装置１０１と、動画像階層復号化装置１０３とは、通信回線１０２を介して接続されている。なお、通信回線１０２ではなく、ＤＶＤ等の記録媒体を介して接続されるようにしても勿論よい。

本実施の形態の動画像階層符号化装置１０１は、図１に示すように、空間デシメーション（空間的縮小）部１０４、ベースレイヤエンコード部１１７、空間インターポレーション（空間的拡大）部１０６、エンハンスメントレイヤエンコード部１０７、多重化部１０８、入力画像蓄積部１１６、高周波数成分推定拡大部１１７、高周波成分除去部１１８、高周波数成分推定拡大部１１９、高周波成分復元部１２０を追加した構成を有している。

また、本発明の動画像階層復号化装置の一実施の形態である動画像階層復号化装置１０３は、図１に示すように、エクストラクト部１０９、ベースレイヤデコード部１１０、空間インターポレーション部１１１、エンハンスメントレイヤデコード部１１２、高周波数成分推定拡大部１１９、および高周波成分復元部１２０を有している。

次に、本実施の形態１の動画像階層符号化装置１０１に含まれる各部の動作について、図２のフローチャートを用いて説明する。

図２は、図１に示す動画像階層符号化装置１０１による画像信号を空間スケーラブル符号化の手順を示すフローチャートである。

オリジナルの画像信号がこの動画像階層符号化装置１０１に入力すると、まず、空間デシメーション部１０４は、空間解像度のデシメーション、すなわち空間的縮小処理を行い、ベースレイヤエンコード部１１７へ出力する（ステップＳ２０１）。

ベースレイヤエンコード部１１７は、空間解像度がデシメーションされた信号をベースレイヤにて符号化し、ビットストリームを生成する（ステップＳ２０２）。生成したベースレイヤの符号化ビットストリームを多重化部１０８へ送る一方、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部１０６及び高周波数成分推定拡大部１１７へ送る。

空間インターポレーション部１０６は、ベースレイヤエンコード部１１７からのベースレイヤのローカルデコード信号を、空間解像度に空間インターポレーションを行う（ステップＳ２０３）。そして、空間インターポレーションした信号をエンハンスメントレイヤエンコード部１０７に送る。

一方、高周波数成分推定拡大部１１７は、ベースレイヤエンコード部１１７からのベースレイヤのローカルデコード信号からオリジナルの画像信号の高周波数成分を推定して、高周波成分除去部１１８へ出力する（ステップＳ２０４）。詳細については後述する。

高周波成分除去部１１８は、入力画像蓄積部１１６より出力されたオリジナルの入力画像信号から、高周波数成分推定拡大部１１７より出力された推定高域成分信号を減算し、高周波成分が除去された高解像度映像信号を生成して、エンハンスメントレイヤエンコード部１０７へ出力する（ステップＳ２０５）。

エンハンスメントレイヤエンコード部１０７は、高周波成分除去部１１８からの高解像度映像信号と、空間インターポレーション部１０６からの出力信号とを用いて、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号をエンハンスメントレイヤにて符号化し、その符号化ビットストリームを多重化部１０８へ送る（ステップＳ２０６）。

そして、多重化部１０８は、ベースレイヤエンコード部１１７からのベースレイヤの符号化ビットストリームと、エンハンスメントレイヤエンコード部１０７からのエンハンスメントレイヤの符号化ビットストリームと多重化して、ひとつの多重化ビットストリームを生成して、通信回線１０２を介し動画像階層復号化装置１０３へ送信する（ステップＳ２０７）。

図３は、図１に示す動画像階層符号化装置１０１により空間スケーラブル符号化および多重化された多重化ストリームを分離して復号する図１に示す動画像階層復号化装置１０３の手順を示すフローチャートである。

図１に示す動画像階層復号化装置１０３では、図１に示す動画像階層符号化装置１０１により空間スケーラブル符号化および多重化された多重化ストリームを、通信回線やメディア等１０２を介し送信されてくると、まず、エクストラクト部１０９が受信する。エクストラクト部１０９は、多重化ビットストリームを受信すると解析して、動画像階層復号化装置１０３およびディスプレイ等の性能に応じて必要な符号データを抽出し、ベースレイヤデコード部１１０、エンハンスメントレイヤデコード部１１２それぞれに対応したデータに分割して出力する（ステップＳ３０１）。

ベースレイヤデコード部１１０は、エクストラクト部１０９で分割されたベースレイヤの符号化ストリームをベースレイヤにて復号し（ステップＳ３０２）、復号したベースレイヤデコード画像信号を空間インターポレーション部１１１と、高周波数成分推定拡大部１１９とに出力する。ここで、必要があれば、ベースレイヤデコード部１１０は、ディスプレイ等に出力する。

空間インターポレーション部１１１は、ベースレイヤデコード部１１０から得られるベースレイヤのデコード画像信号を入力して、空間解像度のインターポレーションを行い（ステップＳ３０３）、空間インターポレーションした信号をエンハンスメントレイヤデコード部１１２に送る。

エンハンスメントレイヤデコード部１１２は、エクストラクト部１０９で分離されたエンハンスメントレイヤに対応する符号化ビットストリームと、空間インターポレーション部１１１にてベースレイヤのデコード画像信号を空間インターポレーションした空間インターポレーション信号とを復号し（ステップＳ３０４）、復号したデコード画像信号を、高周波成分復元部１２０に出力する。

その一方、高周波数成分推定拡大部１１９は、ベースレイヤデコード部１１０から得られるベースレイヤのデコード画像信号を入力して、ベースレイヤデコード信号を元に、エンハンスメントレイヤにおいて復号された画像信号が符号化時に推定・除去された高周波成分と同じ成分を生成する（ステップＳ５０５）。

高周波成分復元部１２０は、高周波数成分推定拡大部１１９から出力された高周波成分推定信号と、復号したエンハンスメントレイヤのデコード画像信号と加算し、高周波成分を復元した高解像度デコード画像信号を生成し（ステップＳ３０６）、生成した高解像度デコード映像信号をディスプレイ等へ出力する。

図４は、実施の形態１による高周波数成分推定拡大部１１７、１１９の詳細な構成例を示している。

図４において、高周波数成分推定拡大部１１７、１１９は、第１のハイパスフィルタリング部４０１、空間インターポレーション部４０２、振幅制限・定数倍処理部４０３、第２のハイパスフィルタリング部４０４を有する。

次に、本実施の形態１の動画像階層符号化装置１０１の高周波数成分推定拡大部１１７、及び動画像階層復号化装置１０３の高周波数成分推定拡大部１１９のより詳細な構成及び動作について説明する。

なお、高周波数成分推定拡大処理の基本的な考えは、例えば、「高周波数成分推定を伴う任意倍率可能な画像拡大法』（高橋靖正,田口亮著,信学論(A),vol.J84-A,no.9,pp.1192-1201,Sep.2001.参照）や「PARAMETERSTIMATIONS FOR SUPER RESOLUTION BASED ON THE LAPLACIAN PYRAMID REPRESENTATION」(Shuai Yuan, YasumasaTakahashi*, Akira Taguchi著)等に掲載されている。これは、階層符号化におけるラプラシアンピラミッドの考え方を応用したものである。階層間のラプラシアン成分の相関が強いことを利用して、注目する階層の信号のみから空間解像度が一つ高い階層のラプラシアン成分の推定を成し遂げる方法である。

図４は、高周波数成分推定拡大部１１７，１１９の一実施の形態のブロック図を示す。同図に示すように、高周波数成分推定拡大部１１７は、少なくとも第１のハイパスフィルタリング部４０１、空間インターポレーション部４０２、振幅制限・定数倍処理部４０３、及び第２のハイパスフィルタリング部４０４を有している。ただし、ここでは、動画像階層符号化装置１０１に含まれる高周波数成分推定拡大部１１７と、動画像階層復号化装置１０３に含まれる高周波数成分推定拡大部１１９の構成及び動作は、同一であるため、以下、高周波数成分推定拡大部１１７について代表して説明する。

次に、本発明の動画像階層符号化装置１０１に含まれる高周波数成分推定拡大部１１７、及び動画像階層復号化装置２００に含まれる高周波数成分推定拡大部１１９の動作について、図４に示す高周波数成分推定拡大部１１７を代表として図５のフローチャートを用いて説明する。

第１のハイパスフィルタリング部４０１は、ベースレイヤのローカルデコード（復号画像）信号に含まれる高周波数成分において、次の上位階層の符号化対象であるエンハンスメントレイヤの画像フレーム信号に含まれる高周波数成分と相関が高く、推定に適した高周波数成分を抽出する（ステップＳ５０１）。ここでは、推定に適した高周波数成分を表現するための情報として、拡大対象であるベースレイヤのローカルデコード（復号画像）信号のラプラシアン成分を抽出する機能を有することが望ましい。

ここで、入力信号のラプラシアン成分の抽出は、例えば、次のように行う。説明を簡単にするために、１次元の信号モデルを例にして、入力信号をＧ_０(ｘ)、入力信号から抽出されるラプラシアン成分をＬ_０(ｘ)とすると、ラプラシアン成分Ｌ_０(ｘ)は、次の（１）式及び（２）式で演算される。なお、（２）式中のρは、ガウシアンフィルタの帯域を調整するためのパラメータで、ハーフバンドフィルタとなる値に設定されている。

・・・式（１）

・・・式（２）

ここで、第１のハイパスフィルタリング部４０１は、入力信号から抽出した推定に適した高周波数成分を表現するための情報を空間インターポレーション部４０２へ出力する。ここでは、推定に適した高周波数成分を表現するための情報として、抽出したラプラシアン成分Ｌ_０(ｘ)の信号を空間インターポレーション部４０２へ出力する。

ここで、上記式（１）、（２）では、ガウシアン関数を用いて高周波数成分を抽出しているが、これを他の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、図１における空間デシメーション部１０４、空間インターポレーション部１０６、１１１と、図４の空間インターポレーション部４０２、第２のハイパスフィルタリング部４０４に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。例えば、空間デシメーション部にsinc関数を用いた場合、空間インターポレーション部４０２、第２のハイパスフィルタリング部４０４にもsinc関数を用いることでsinc関数によるピラミッド構成の関係が構築できる。

空間インターポレーション部４０２は、第１のハイパスフィルタリング部４０１より出力される推定に適した高周波数成分を表現するための情報を取得すると、その信号をエンハンスメントレイヤの空間解像度となるように、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rにインターポレーションを行う（ステップＳ５０２）。ここでは、ラプラシアン成分Ｌ_０(ｘ)の信号を入力として受け、その入力信号がエンハンスメントレイヤの空間解像度となるように、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rのインターポレーションを行う。

ここで、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rへのインターポレーションは、次のように行うことが望ましいが、必ずしもこの方法に限定するわけではない。

つまり、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rにインターポレーションした補間信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)は、入力ラプラシアン成分をＬ_０(ｘ)とすると、次の（３）式、（４）式及び（５）式により演算算出される。

・・・式（３）

・・・式（４）

・・・式（５）
ここで、int()は整数部分を取り出す操作を示す。

空間インターポレーション部４０２は、このようにして生成したインターポレーションされた補間信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)を振幅制限・定数倍処理部４０３へ出力する。

振幅制限・定数倍処理部４０３は、空間インターポレーション部４０２から出力される補間信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)を取得し、その取得した補間信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)から未知の高周波数成分を推定するための低解像度工程を実施する（ステップＳ５０３）。この未知の高周波数成分を推定する低解像度工程の処理は、入力される補間信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)に対して、次の（６）式で示すような振幅制限および定数倍処理を行うことにより実現する。

・・・式（６）

すなわち、振幅制限・定数倍処理部４０３は、入力信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)の振幅が、振幅制限のためのパラメータＴと−Ｔとの間にあるときには、入力信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)を定数倍処理のためのパラメータα_ｒ倍した信号を出力し、入力信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)の振幅がＴ以上であるときには、α_ｒ・Ｔのレベルの信号を出力し、入力信号(ＥＸＰＡＮＤ)_ｒＬ_０(ｘ)の振幅が−Ｔ以下であるときには、α_ｒ・（−Ｔ）のレベルの信号を出力する。ここで、振幅制限のためのパラメータＴ及び定数倍処理のためのパラメータα_rは、例えば前記非特許文献１中で実験的に求められているような値を利用するようにしても構わない。なお、パラメータα_rは、拡大率に応じて可変である。

振幅制限・定数倍処理部４０３により、上記のように振幅制限・定数倍処理された信号は、第２のハイパスフィルタリング部４０４に供給される。

第２のハイパスフィルタリング部４０４は、未知の高周波数成分を推定するための高解像度工程を実施する（ステップＳ５０４）。この第２のハイパスフィルタリング部４０４による高解像度工程の処理は、振幅制限・定数倍処理部４０３から取得した信号、すなわち、未知の高周波数成分を推定するための低解像度工程が実施された信号から、不必要な低域成分を取り除き、本来求めようとしている高周波数成分のみを得るためのものである。これは、入力される信号に対してハイパスフィルタリングを行うことにより実現する。

第２のハイパスフィルタリング部４０４によるハイパスフィルタリングが行われて、第２のハイパスフィルタリング部４０４から出力される、推定した未知の高周波数成分は、次の（７）式で表されることが望ましい。推定された未知の高周波成分Ｌγ（ハット＾）（ｘ）は、入力される信号をＬ_γ（アッパーバー￣）(ｘ)とすると、

・・・式（７）
で与えられる。ここで、Ｗ(i)は式(２)に示すものである。

そして、第２のハイパスフィルタリング部４０４は、推定した推定高周波数成分信号を、図１に示すように高周波成分除去部１１８へ出力する。

なお、階層復号装置１０３の高周波成分推定拡大部１１９であれば、推定した推定高周波数成分信号を、図１に示すように高周波成分復元部１２０へ出力する。

すると、上述したように、動画像階層符号化装置１０１では、エンハンスメントレイヤエンコード部１０７が高周波成分除去部１１８からの高解像度映像信号と、空間インターポレーション部１０６からの出力信号とを用いて、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号をエンハンスメントレイヤにて符号化し、多重化部１０８がベースレイヤエンコード部１１７からのベースレイヤの符号化ビットストリームと、エンハンスメントレイヤエンコード部１０７からのエンハンスメントレイヤの符号化ビットストリームとを多重化して通信回線１０２を介し動画像階層復号化装置１０３へ送信する。

その一方、動画像階層復号化装置１０３では、動画像階層復号化装置１０３からの多重化ビットストリームを受信して、高解像度画像信号と低解像度画像信号とを得る。

このように、従来の動画像階層符号化装置及び階層復号装置ではブロック単位で符号化・復号処理が行われていたため、ブロック単位でラプラシアン成分の強調処理を行うと、ブロック境界に対しては十分な解析や強調処理を行うことが難しかったが、本実施の形態１によれば、以上説明したように、ベースレイヤのローカルデコード（復号画像）信号を求め、このローカルデコード（復号画像）信号をエンハンスメントレイヤの画像サイズまで空間インターポレーションを行った後に、ラプラシアン成分の強調処理を行うための解析を行い高周波数成分を推定するようにしたため、符号化レイヤ間の予測誤差信号の信号振幅を抑制することができる。その結果、これにより周囲の符号化レイヤ間の予測誤差信号との相関が高まり、結果としてエントロピーを抑制し、符号化を行う際により少ないビット数で符号化対象を表現することができるため、符号化効率が向上するという効果を生じる。

また、周囲の符号化レイヤ間の予測誤差信号との相関が高まり、その結果、予測誤差信号を符号化した際には、エントロピーが抑制され、エントロピー符号化を行う際により少ないビット数で符号化対象を表現することができる。

また、符号化対象となる符号化レイヤ間の予測誤差信号の信号振幅が、従来の階層符号化における符号化レイヤ間の予測誤差信号と比較して抑制されるため、量子化時に生じる量子化誤差に起因する復号時の影響も抑えることができる。

従って、本実施の形態１の動画像階層符号化装置１０１によれば、空間インターポレーション部１０６はベースレイヤエンコード部１０５からのベースレイヤローカルデコード信号をエンハンスメントレイヤの解像度に拡大し、高周波成分除去部１１８は高周波成分推定拡大部１１７からのベースレイヤローカルデコード信号に基づき推定された高周波成分推定信号を入力画像信号から除去し、エンハンスメントレイヤエンコード部１０７は、高周波成分除去部１１８からの高周波成分除去信号と、空間インターポレーション部１０６からのエンハンスメントレイヤの解像度に拡大されたインターポレーション信号との差分をとってエンハンスメントレイヤにて符号化するようにしたので、エンハンスメントレイヤの符号化における階層間予測誤差及び動き補償予測誤差の高周波成分を減少させることでき、エンハンスメントレイヤの符号化効率を向上させることができる。

つまり、従来技術の階層間予測であれば予測が困難であった高域成分が存在しなくなるので、予測誤差を小さくすることができると共に、エンハンスメントレイヤの符号化処理において動き補償予測を行う場合でも、予測対象の高域成分が存在しないため、動きによる変形や解像度変化による動き補償予測誤差の高周波成分増大を防ぐことでき、これら両方の効果により、高解像度符号化処理の符号化効率が向上する。また、復号側でかかる高周波数成分除去処理を追加していない場合においても、高域成分が抑制された特性の動画像信号を再生できる。

また、本実施の形態１の動画像階層復号化装置１０３によれば、高周波成分推定拡大部１１７と同様の高周波成分推定拡大部１１９と、高周波成分除去部１１８とは逆に高周波成分推定拡大部１１９からの高周波成分推定信号により高周波成分を復元する高周波成分復元部１２０とを有するので、本実施の形態１の動画像階層符号化装置１０１によって符号化された符号化ビットストリームを正しく復号することができる。また、符号化側でかかる高周波数成分除去処理を追加していない場合には、高域成分が復元された、符号化側より良好な特性の動画像信号を再生できる。

実施の形態２．
次に、本発明の実施の形態２の動画像階層符号化装置及び動画像階層復号化装置の構成例について説明する。

図６は、実施の形態２の動画像階層符号化装置及び動画像階層復号化装置の構成例を示すブロック図である。

図６において、実施の形態２の動画像階層符号化装置６０１及び動画像階層復号化装置６０３は、図１に示す実施の形態１の動画像階層符号化装置１０１及び動画像階層復号化装置１０３に対し、動画像階層符号化装置６０１では、空間デシメーション部６０４、高周波数成分推定拡大部６１７、多重化部６０８の処理が異なる一方、動画像階層復号化装置６０３では、エクストラクト部６０９、高周波数成分推定拡大部６１９で行なわれる処理が異なる。以下、実施の形態１と異なる処理を中心に説明する。

つまり、本実施の形態２の動画像階層符号化装置６０１の空間デシメーション部６０４では、オリジナルの画像信号を入力して、その入力信号を所望、すなわちこの場合、実施の形態１と同様にエンハンスメントレイヤとベースレイヤとの２階層で説明しているので、ベースレイヤの空間解像度に空間デシメーションすると共に、入力信号もしくは入力信号の高周波数成分を生成し、高周波数成分推定拡大部６１７に出力する。ここで、高周波数成分は、所望の空間解像度に空間デシメーションした信号を、空間インターポレーションした信号と、オリジナルの画像信号との差分情報より算出することが可能であるが、処理の構成に関しては、他の高周波数成分生成方法を用いる事も出来る。

本実施の形態２の高周波数成分推定拡大部６１７は、ベースレイヤエンコード部６０５から出力されるローカルデコード信号に加えて、空間デシメーション部６０４から出力される入力信号もしくは入力された信号の高周波数成分を入力として受け付け、ローカルデコード信号を元にエンハンスメントレイヤにおいて符号化される画像信号の高周波成分を推定強度の設定と共に、最適な高周波成分推定を施す。詳細については後述する。また、高周波数成分推定拡大部６１７は、高周波成分推定信号を高周波成分除去部６１８に出力すると共に、推定強度を示す制御パラメータを多重化部６０８に出力する機能を有する。

多重化部６０８は、ベースレイヤエンコード部６０５およびエンハンスメントレイヤエンコード部６０７より出力されるそれぞれの符号化ビットストリームを入力として受け付けると共に、高周波数成分推定拡大部６１７より出力された推定強度を示す制御パラメータを入力し、多重化してひとつの多重化ビットストリームとして階層符号化部６０１の外部、例えば通信回線やメディアなど６０２へ出力する機能を有する。

エクストラクト部６０９は、本実施の形態２の動画像階層符号化装置６０１が送信した多重化ビットストリームを入力して、復号に必要な情報として、ベースレイヤ及びエンハンスメントレイヤの符号化ビットストリームと共に、推定強度を示す制御パラメータを切り出し、分割してそれぞれをベースレイヤデコード部６１０、エンハンスメントレイヤデコード部６１２、及び高周波数成分推定拡大部６１９に出力する。

高周波数成分推定拡大部１１９は、ベースレイヤデコード部１１０から出力されるベースレイヤデコード信号と共に、エクストラクト部６０９から出力される推定強度を示す制御パラメータを入力として受け付け、ベースレイヤデコード信号と推定強度を示す制御パラメータを元に、エンハンスメントレイヤにおいて復号された画像信号が符号化時に除去された高周波成分を推定する。また、高周波数成分推定拡大部１１９は、高周波成分推定信号を高周波成分復元部１２０に出力する。

図７は、図６に示す実施の形態２の階層符号化部６０１の画像信号を空間スケーラブル符号化の手順を示すフローチャートである。

まず、空間デシメーション部６０４は、オリジナルの画像信号を入力してベースレイヤの空間解像度にデシメーションを行い、ベースレイヤ信号をベースレイヤエンコード部６０５へ出力する（ステップＳ７０１）。

ベースレイヤエンコード部６０５では、ベースレイヤの空間解像度にデシメーションされた信号をベースレイヤにて符号化し、ベースレイヤの符号化ビットストリームとして多重化部６０８へ送ると共に、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部６０６及び高周波数成分推定拡大部６１７へ送る（ステップＳ７０２）。

空間インターポレーション部６０６は、ベースレイヤエンコード部６０５より得られるベースレイヤのローカルデコード信号を、エンハンスメントレイヤの空間解像度に空間インターポレーションを行い、空間インターポレーションした信号をエンハンスメントレイヤエンコード部６０７に送る（ステップＳ７０３）。

続いて、高周波数成分推定拡大部６１７は、ベースレイヤエンコード部６０５より得られるベースレイヤのローカルデコード信号と、空間デシメーション部６０４から出力される入力画像信号もしくは入力された信号の高周波数成分とを用いて、オリジナルの画像信号の高周波数成分を推定し、推定強度を示す制御パラメータと高周波成分推定信号を生成し、推定強度を示す制御パラメータを多重化部６０８に送る一方、高周波成分推定信号は高周波成分除去部６１８へ送る（ステップＳ７０４）。詳細については後述する。

高周波成分除去部６１８は、入力画像蓄積部６１６からのオリジナルの入力画像信号から、高周波数成分推定拡大部６１７からの推定高域成分信号を減算し、高周波成分が除去された高解像度映像信号を生成して、エンハンスメントレイヤエンコード部６０７へ出力する（ステップＳ７０５）。

エンハンスメントレイヤエンコード部６０７では、高周波成分除去部６１８で生成された高周波成分除去信号と、空間インターポレーション部６０６からの空間インターポレーション信号とを入力して、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化し、符号化により生成されたビットストリームを、多重化部６０８へ送る（ステップＳ７０６）。

多重化部６０８は、ベースレイヤエンコード部６０５およびエンハンスメントレイヤエンコード部６０７からのそれぞれのレイヤのビットストリーム及と、高周波成分推定拡大部６１７からの推定強度を示す制御パラメータとを入力して多重化を行い、ひとつの多重化ビットストリームを生成し、通信回線やメディア等６０２へ出力する（ステップＳ７０７）。

次に復号側の動作を説明する。

図８は、図６に示す動画像階層復号化装置６０３の構成例による空間スケーラブル符号化された多重化ビットストリームを復号してデコード映像信号を得る手順を示すフローチャートである。

図６に示す実施の形態２の動画像階層復号化装置６０３では、動画像階層符号化装置６０１からの多重化ビットストリームを、通信回線やメディア等６０２を介しエクストラクト部６０９が受信する。

エクストラクト部６０９は、層符号化装置６０１からの多重化ビットストリームを通信回線やメディア等６０２を介し受信すると、受信した多重化ビットストリームを解析して多重分離する。すなわち、エクストラクト部６０９は、動画像階層復号化装置６０３やこれに接続されているディスプレイ等の性能に応じて復号する符号化レイヤ（ここでは、ベースレイヤとエンハンスメントレイヤの２階層の符号化レイヤとする。）を決定し、多重化ビットストリームからベースレイヤの符号化ビットストリームと、エンハンスメントレイヤの符号化ビットストリームと、エンハンスメントレイヤの復号に使用する推定強度を示す制御パラメータを抽出し、ベースレイヤデコード部６１０にはベースレイヤの符号化ストリーム、エンハンスメントレイヤデコード部６１２にはエンハンスメントレイヤの符号化ストリーム、高周波数成分推定拡大部６１９には推定強度を示す制御パラメータをそれぞれ出力する（ステップＳ８０１）。

ベースレイヤデコード部６１０では、エクストラクト部６０９で分離されたベースレイヤ符号化ビットストリームをベースレイヤで復号し、復号したベースレイヤデコード画像信号を空間インターポレーション部６１１および周波数成分推定拡大部６１９に出力し、必要あればディスプレイ等にも出力する（ステップＳ８０２）。

空間インターポレーション部６１１は、ベースレイヤデコード部６１０より得られるベースレイヤのデコード画像信号を、エンハンスメントレイヤの空間解像度に空間インターポレーションを行い、空間インターポレーションした信号をエンハンスメントレイヤデコード部６１２に送る（ステップＳ８０３）。

そして、エンハンスメントレイヤデコード部６１２は、エクストラクト部６０９で分離されたエンハンスメントレイヤに対応する符号化ビットストリームと、空間インターポレーション部６１１でエンハンスメントレイヤの空間解像度に空間インターポレーションされた空間インターポレーション信号とを加算して復号し、復号したデコード画像信号を高周波成分復元部６２０に出力する（ステップＳ８０４）。

一方、高周波数成分推定拡大部６１９は、ベースレイヤデコード部６１０にて復号されたベースレイヤデコード画像信号と、エクストラクト部６０９にて分離された推定強度を示す制御パラメータとを基に、高周波数成分推定拡大部６１７が推定し高周波成分除去部６１８にて入力画像から除去された高周波成分を推定し、高周波成分復元部６２０へ出力する（ステップＳ８０５）。

高周波成分復元部６２０は、高周波数成分推定拡大部６１９から出力された高周波成分推定信号と、エンハンスメントレイヤデコード部６１２にて復号されたエンハンスメントレイヤのデコード画像信号とを加算し、高周波成分を復元した高解像度デコード画像信号を生成し、高解像度デコード映像信号としてディスプレイ等へ出力する（ステップＳ８０６）。

続いて、実施の形態２の動画像階層符号化装置６０１の高周波数成分推定拡大部６１７の詳細な構成例を説明する。

図９は、実施の形態２の動画像階層符号化装置６０１の高周波数成分推定拡大部６１７の詳細な構成例を示すブロック図である。なお、動画像復号化装置６０３の高周波数成分推定拡大部６１９も同様に構成されている。

図９において実施の形態２の高周波数成分推定拡大部６１７は、第１のハイパスフィルタリング部９０１、空間インターポレーション部９０２、振幅制限・定数倍処理部９０３、第２のハイパスフィルタリング部９０４、推定度判断部９０５、及びエントロピー符号化部９０６を有する。なお、図４に示す実施の形態１の高周波数成分推定拡大部１１７対し追加された部分を中心に説明し、説明を省略した部分については実施の形態１と同様の働きを行う。

つまり、本実施の形態２の振幅制限・定数倍処理部９０３は、推定度判断部９０５からの推定強度を示す制御パラメータと、空間インターポレーション部９０２からの空間インターポレーション信号を入力して、未知の高周波数成分を推定するための第１工程を実施する機能を有する。本実施例では、最適なパラメータ算出のための試行が可能となるように、振幅制限・定数倍処理部９０３に対して、制御パラメータを外部から与える構造を有している。

推定度判断部９０５は、第２のハイパスフィルタリング部９０４から出力される信号と、図６に示す空間デシメーション部６０４からの入力画像信号もしくは入力画像信号の高周波数成分とを入力して、最終的に最適な推定強度を求める機能を有する。ここで、第２のハイパスフィルタリング部９０４から出力される信号は、振幅制限・定数倍処理部９０３において、ある推定強度を持つパラメータを用いたときの高周波成分の推定信号である。推定度判断部９０５は、この信号と空間デシメーション部６０４から出力される信号との間の相関がどの程度であるかを定量化し、それを記録する機能を有する。

ここで、２つの信号の相関を定量化する方法としては、例えば空間デシメーション部６０４より入力画像信号が出力される場合には、入力画像信号より高周波成分の推定信号を減算した信号のエントロピーを算出することにより可能となる。また、空間デシメーション部６０４が入力された信号の高周波数成分である場合には、前記高周波数成分と高周波成分推定信号の双方のエネルギーを算出し、その値の類似度により定量化することも可能である。

推定度判定部９０５が設置されている目的は、エンハンスメントレイヤエンコーダ部に入力される画像信号の情報量が少なくなる、パラメータα_rとT(またはα_rのみ)を求めることであるため、任意の範囲内のパラメータを逐次更新して振幅制限・定数倍処理部９０３へ出力する機能も持つ。そして、逐次記録した相関定量化値から、もっとも情報量が少なくなるケースを判断し、そのときのパラメータをエントロピー符号化部９０６へ出力し、そのときの高周波成分推定信号を図６における高周波成分除去部６１８に出力する。

エントロピー符号化部９０６は、推定度判断部９０５より出力されるパラメータを入力として受け付ける機能を有する。また、入力されたパラメータをエントロピー符号化してビットストリームを生成し、図６における多重化部６０８に出力する。

図９に示す高周波数成分推定拡大部６１７の構成例を用いて、高周波成分推定信号を生成する手順を図１０に示す。

図１０において、まず、第１のハイパスフィルタリング部９０１は、ベースレイヤエンコード部６０５からのローカルデコード信号から高周波数成分信号を抽出する（ステップＳ１００１）。

空間インターポレーション部９０２は、第１のハイパスフィルタリング部９０１にて抽出された高周波数成分信号をインターポレーションする（ステップＳ１００２）。

振幅制限・定数倍処理部９０３は、空間インターポレーション部９０２にてインターポレーションされた信号に対して、推定強度パラメータに基づき振幅制限及び定数倍処理を行う（ステップＳ１００３）。ここで、振幅制限及び定数倍処理に伴う推定強度パラメータは、推定度判断部９０５から与えられたものを用いる。

第２のハイパスフィルタリング部９０４は、振幅制限・定数倍処理部９０３にて推定強度パラメータに基づいて振幅制限及び定数倍処理された信号から推定した高周波成分を抽出して、推定度判断部９０５へ出力する（ステップＳ１００４）。

推定度判断部９０５は、第２のハイパスフィルタリング部９０４からの高周波成分推定信号を記録すると共に、空間デシメーション部６０４から出力される入力画像信号または入力画像信号の高域成分信号と、高周波成分推定信号との間の相関を検出し、推定強度パラメータと関連付けて記録する（ステップＳ１００５）。

そして、推定度判断部９０５は、高周波成分推定信号がオリジナルの入力画像信号の高域成分に最も近づく最適推定強度パラメータを試行によって求めるために、ステップＳ１００３〜ステップＳ１００５の手順を、推定強度パラメータを更新しながら、ユーザが予め指定しておいた指定範囲内の推定強度パラメータに対して繰り返し行う（ステップＳ１００６）。

そして、推定度判断部９０５は、ステップＳ１００３〜ステップＳ１００５の処理を、指定範囲内の推定強度パラメータに対して完了した場合（ステップＳ１００６“ＹＥＳ”）、指定範囲内の全ての推定強度パラメータで生成した、それぞれの高周波成分推定信号と、オリジナルの入力画像信号の高域成分とのレベル差が最も小さくなる最適な推定強度パラメータを選択し、振幅制限・定数倍処理部９０３と、エントロピー符号化部９０６とへ出力する（ステップＳ１００７）。

すると、振幅制限・定数倍処理部９０３は、空間インターポレーション部９０２からのインターポレーションされた信号に対して、その最適な推定強度パラメータに基づき振幅制限及び定数倍処理を行い、第２のハイパスフィルタリング部９０４は、その最適な推定強度パラメータに基づいて振幅制限及び定数倍処理された信号から推定した高周波成分を抽出して、高周波成分推定信号として推定度判断部９０５へ出力する（ステップＳ１００８）。

また、エントロピー符号化部９０６は、推定度判断部９０５からの最適な高周波成分推定信号をエントロピー符号化して多重化部６０８へ出力する（ステップＳ１００９）。なお、推定強度パラメータは、ブロックごとに符号化しても良いし、例えば１ＧＯＰでのパラメータの平均値を採用し、そのＧＯＰ内でパラメータを一律として高解像度推定信号を生成し、１ＧＯＰで符号化するパラメータをひとつだけにしても良い。符号化するパラメータの数やタイミング等の制限はしない。

次に、本発明の実施の形態２による階層復号化における高周波数成分推定拡大部６１９の詳細な構成例を図１１に示し説明する。

図１１において、高周波数成分推定拡大部６１９は、第１のハイパスフィルタリング部１１０１、空間インターポレーション部１１０２、振幅制限・定数倍処理部１１０３、第２のハイパスフィルタリング部１１０４及びエントロピー復号化部１１０５で構成される。

以下、図４に示す実施の形態１による高周波数成分推定拡大部から追加された部分を説明する。説明がされていない部分に関しては、実施の形態１と同様の働きを行う。

つまり、エントロピー復号化部１１０５は、図６におけるエクストラクト部６０９より出力されるビットストリームのうち、パラメータに相当するものを入力として受け付け、復号する機能を有する。また、復号したパラメータを振幅制限・定数倍処理部１１０３へ出力する機能を有する。

振幅制限・定数倍処理部１１０３は、エントロピー復号化部１１０５に復号された推定強度パラメータ、及び空間インターポレーション部１１０２より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第１工程を実施する機能を有する。結果として、符号化時に設定した推定強度を示す制御パラメータを元に、高周波成分が推定される事になる。

図１１に示す高周波数成分推定拡大部６１９の構成例を用いて、高周波成分推定信号を生成する手順を図１２に示す。

図１２において、まず、高周波数成分推定拡大部６１９のエントロピー復号化部１１０５は、エクストラクト部６０９（図６参照）より得られるビットストリーム中に含まれる最適推定強度パラメータ等の符号化パラメータを復号化し、振幅制限・定数倍処理部１１０３へ出力する（ステップＳ１２０１）。

一方、第１のハイパスフィルタリング部１１０１は、ベースレイヤデコード部１１０から得られるベースレイヤのデコード信号から高周波成分信号を抽出する（ステップＳ１２０２）。

空間インターポレーション部１１０２は、第１のハイパスフィルタリング部１１０１にて抽出された高周波成分信号をエンハンスメントレイヤの解像度にインターポレーションする（ステップＳ１２０３）。

振幅制限・定数倍処理部１１０３は、空間インターポレーション部１１０２にてインターポレーションされた信号と、エントロピー復号化部１１０５にて復号された最適推定強度パラメータとに基づいて、振幅制限・定数倍処理を行う（ステップＳ１２０４）。

第２のハイパスフィルタリング部１１０４は、振幅制限・定数倍処理部１１０３からの振幅制限定数倍処理された信号に対してハイパスフィルタリング処理を行い、符号化側にて推定された高周波成分推定信号に戻し、図６における高周波成分除去部６１８に出力する（ステップＳ１２０５）。

従って、本実施の形態２の動画像階層符号化装置６０１によれば、上記実施の形態１と同様に、空間インターポレーション部６０６はベースレイヤエンコード部６０５からのベースレイヤローカルデコード信号をエンハンスメントレイヤの解像度に拡大し、高周波成分除去部６１８は入力画像信号から高周波成分推定拡大部６１７からのベースレイヤローカルデコード信号に基づき推定された高周波成分推定信号を除去し、エンハンスメントレイヤエンコード部６０７は、高周波成分除去部６１８からの高周波成分除去信号と、空間インターポレーション部６０６からのエンハンスメントレイヤの解像度に拡大されたインターポレーション信号との差分をとってエンハンスメントレイヤにて符号化するようにしたので、エンハンスメントレイヤの符号化における階層間予測誤差及び動き補償予測誤差の高周波成分を減少させることでき、エンハンスメントレイヤの符号化効率を向上させることができる。

特に、本実施の形態２の動画像階層符号化装置６０１では、推定高周波成分生成部６１７が空間デシメーション部６０４からの入力画像信号もしくはその高域成分を入力して、高周波成分推定信号とオリジナルの入力画像信号の高域成分とのレベル差が最も小さくなる最適な推定強度パラメータを選択し、幅制限・定数倍処理部９０３が空間インターポレーション部９０２からのインターポレーションされた信号に対してその最適な推定強度パラメータに基づき振幅制限及び定数倍処理を行うようにしたので、実施の形態１の場合より、さらに最適な高周波成分推定信号を高周波成分除去部６１８へ出力することができる。

つまり、高周波数成分を推定する際、局部復号（ローカルデコード）信号の劣化状態と、入力画像の高域成分の特性を判断し、その判断結果を用いて推定強度を変化させて最適な推定強度を求め、最適な推定強度により推定攻守は成分信号を生成した場合、更なる高解像度エンハンスメントレイヤの符号化効率向上をもたらし、効率的でより高品位な動画像信号の階層符号化・復号化を実現することが可能となる。

また、本実施の形態２の動画像階層復号化装置６０３によれば、上記実施の形態１と同様に、高周波成分推定拡大部６１７と同様の高周波成分推定拡大部６１９と、高周波成分除去部６１８とは逆に高周波成分推定拡大部６１９からの高周波成分推定信号により高周波成分を復元する高周波成分復元部６２０とを有するので、本実施の形態２の動画像階層符号化装置１０１によって符号化された符号化ビットストリームを正しく復号することができる。また、符号化側でかかる高周波数成分除去処理を追加していない場合には、高域成分が復元された、符号化側より良好な特性の動画像信号を再生できる。

なお、上記実施の形態１，２では、上述したように、本発明に係る動画像階層符号化装置および動画像階層復号化装置を、ブロック図によりハードウエア的に構成して説明したが、本発明では、これに限らず、ＣＰＵがＣＤやネックワークを介しダウンロードしたプログラムを実行することにより、上記実施の形態１，２の動画像階層符号化装置および動画像階層復号化装置をソフトウエア的に達成するようにしても勿論よい。

また、上記実施の形態１，２では、ベースレイヤ及びエンハンスメントレイヤの動画像符号化構成としてＭＰＥＧ２符号化方式を用いたが、ＭＰＥＧ１やＭＰＥＧ４−ＡＶＣ等の他の動画像符号化規格をベースに用いた場合においても、勿論適用可能である。

本発明の実施の形態１である動画像階層符号化装置および動画像階層復号化装置を示す構成図である。 本発明の実施の形態１である階層符号化部の動作を示すフローチャートである。 本発明の実施の形態１である動画像階層復号化装置の動作を示すフローチャートである。 本発明の実施の形態１における高周波数成分推定拡大部の構成図である。 本発明の実施の形態１における高周波成分推定の動作を示すフローチャートである。 本発明の実施の形態２である動画像階層符号化装置および動画像階層復号化装置を示す構成図である。 本発明の実施の形態２である階層符号化部の動作を示すフローチャートである。 本発明の実施の形態２である動画像階層復号化装置の動作を示すフローチャートである。 本発明の実施の形態２である動画像階層符号化装置における高周波数成分推定拡大部の構成図である。 本発明の実施の形態２である動画像階層符号化装置における高周波成分推定の動作を示すフローチャートである。 本発明の実施の形態２である動画像階層復号化装置における高周波数成分推定拡大部の構成図である。 本発明の高解像度実施例である動画像階層復号化装置における高周波成分推定の動作を示すフローチャートである。

符号の説明

１０１，６０１ 動画像階層符号化装置
１０２，６０２ 通信回線またはメディア
１０３，６０３ 動画像階層復号化装置
１０４，６０４ 空間デシメーション部
１０５，６０５ ベースレイヤエンコード部(低解像度符号化部)
１０６，６０６ 空間インターポレーション部
１０７，６０７ エンハンスメントレイヤエンコード部(高解像度符号化部)
１０８，６０８ 多重化部
１０９，６０９ エクストラクト部（多重分離部）
１１０，６１０ ベースレイヤデコード部(低解像度復号化部)
１１１，６１１ 空間インターポレーション部
１１２，６１２ エンハンスメントレイヤデコード部(高解像度復号化部)
１１７，６１７ 高周波数成分推定拡大部
１１８，６１８ 高周波成分除去部
１１９，６１９ 高周波数成分推定拡大部
１２０，６２０ 高周波成分復元部
４０１，９０１ 第１のハイパスフィルタリング部
４０２，９０２ 空間インターポレーション部
４０３，９０３ 振幅制限・定数倍処理部
４０４，９０４ 第２のハイパスフィルタリング部
９０５ 推定度判断部
９０６ エントロピー符号化部

Claims (10)

1. 入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化装置であって、
   前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得る、空間デシメーション部と、
   前記入力動画像信号を高解像度画像信号として蓄積する、高解像度信号保持部と、
   前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成する、低解像度符号化部と、
   前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、
   前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、
   前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成する、高周波成分除去部と、
   前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得る、高解像度符号化部と、
   少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行う、多重化部と、
   を有する、動画像階層符号化装置。
2. 前記高周波成分推定部は、
   前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第１のハイパスフィルタリング部と、
   抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、
   空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、
   振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第２のハイパスフィルタリング部と、
   を有する、請求項１に記載の動画像階層符号化装置。
3. 前記高周波成分推定部は、さらに、
   前記入力画像信号と、前記第２のハイパスフィルタリング部からの低域成分が除去された前記高周波成分とに基づいて前記振幅制限・定数倍処理部が前記振幅制限および定数倍処理をする際の強度パラメータを指定範囲内で推定し、その推定強度パラメータを前記振幅制限および定数倍処理部へ出力して、前記振幅制限・定数倍処理部に前記指定範囲内の前記推定強度パラメータに基づいて前記高周波数成分に対し振幅制限および定数倍処理を行わせると共に、前記指定範囲内で推定した全ての前記推定強度パラメータにて生成された前記高周波成分信号と前記入力画像信号の高域成分とのレベル差が最小となる最適推定強度パラメータを出力する推定度判断部と、
   前記推定度判断部からの前記最適推定強度パラメータをエントロピー符号化するエントロピー符号化部と、を有し、
   前記第２のハイパスフィルタリング部は、
   前記振幅制限・定数倍処理部が前記最適推定強度パラメータに基づいて振幅制限および定数倍処理を行った前記高周波数成分から低域成分を除去して前記高周波成分除去部へ出力し、
   前記多重化部は、
   さらに、エントロピー符号化された前記最適推定強度パラメータを多重化する、請求項２に記載の動画像階層符号化装置。
4. 入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化方法であって、
   前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得るステップと、
   前記入力動画像信号を高解像度画像信号として蓄積するステップと、
   前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成するステップと、
   前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
   前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成するステップと、
   前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成するステップと、
   前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得るステップと、
   少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行うステップと、
   を有する、動画像階層符号化方法。
5. 入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動作を、コンピュータに実行させるための動画像階層符号化プログラムであって、
   前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得るステップと、
   前記入力動画像信号を高解像度画像信号として蓄積するステップと、
   前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成するステップと、
   前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
   前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成するステップと、
   前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成するステップと、
   前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得るステップと、
   少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行うステップと、
   をコンピュータに実行させるための動画像階層符号化プログラム。
6. 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、
   前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、
   分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、
   前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、
   前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成する、高解像度復号化部と、
   前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、
   前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成する高周波成分復元部と、
   を有する、動画像階層復号化装置。
7. 前記高周波成分推定部は、
   前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第１のハイパスフィルタリング部と、
   抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、
   空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、
   振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第２のハイパスフィルタリング部と、
   を有する、請求項６に記載の動画像階層復号化装置。
8. 前記多重分離部は、
   前記多重化ビットストリームより、前記低解像度符号化データと、前記高解像度符号化データと、さらに前記高解像度符号化データを符号化した際に用いられエントロピー符号化された最適推定強度パラメータを分離し、
   前記高周波成分推定部は、さらに、
   エントロピー符号化された前記最適推定強度パラメータをエントロピー復号化するエントロピー復号化部、を有し、
   前記振幅制限・定数倍処理部は、エントロピー復号化された前記最適推定強度パラメータに基づいて空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする、請求項７に記載の動画像階層復号化装置。
9. 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、
   前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、
   分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成するステップと、
   前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
   前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成するステップと、
   前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、前記高周波成分推定信号を生成するステップと、
   前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成するステップと、
   を有する、動画像階層復号化方法。
10. 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動作をコンピュータに実行させるための動画像階層復号化プログラムであって、
    前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、
    分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成するステップと、
    前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
    前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成するステップと、
    前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、前記高周波成分推定信号を生成するステップと、
    前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成するステップと、
    をコンピュータを実行させる動画像階層復号化プログラム。