JP2020120322A - 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム - Google Patents

Abstract

【課題】距離画像を奥行範囲ごとに階層的に符号化することが可能な距離画像符号化装置を提供する。【解決手段】距離画像符号化装置１は、距離画像を荒く符号化し基本レイヤ符号化ストリームを生成する基本レイヤ符号化手段１２と、量子化係数から復号画像を生成するローカル復号手段１３と、距離画像と復号画像との差分を復号差分画像として生成する復号差分画像生成手段１４と、予め設定された奥行範囲ごとに距離画像の領域を区分する領域区分手段１１と、復号差分画像から奥行範囲ごとの画像を奥行別差分画像として生成する奥行別差分画像生成手段１５と、奥行範囲ごとに奥行別差分画像を細かく符号化し拡張レイヤ符号化ストリームを生成する拡張レイヤ符号化手段１６と、基本レイヤ符号化ストリームと奥行範囲ごとの拡張レイヤ符号化ストリームとを結合するストリーム結合手段１７と、を備える。【選択図】図１

Description

本発明は、距離画像を符号化する距離画像符号化装置およびそのプログラム、ならびに、符号化された距離画像を復号する距離画像復号装置およびそのプログラムに関する。

現在、立体画像（多視点画像）を伝送するにあたり、撮影画像と撮影位置（視点位置）からの奥行情報を示す距離画像（デプスマップ）とを、あわせて伝送する方式が検討されている。国際標準においては、多視点画像と距離画像とを符号化し、復号側で任意の視点画像を生成する３Ｄ−ＡＶＣ、３Ｄ−ＨＥＶＣ等の符号化方式が決められている（非特許文献１，２参照）。
従来、距離画像の符号化は、基本的に、動き補償をベースとした撮影画像の符号化方式をそのまま適用している。また、撮影画像の符号化方式を適用しつつ、撮影画像と距離画像との統計的性質の違い、例えば、撮影画像の方が距離画像より高周波成分が多い等に着目して、撮影画像と距離画像とで量子化のパラメータを変えて符号化する手法（非特許文献３参照）や、画質に影響する領域境界の距離画像の圧縮を抑える手法（非特許文献４参照）が開示されている。
また、撮影画像の符号化方式には、伝送路や受信装置（復号装置）の仕様により、階層的に圧縮効率を変えて符号化を行う手法が存在する（特許文献１，２、非特許文献５参照）。

特開２００４−３５００７２号公報 特開２００７−２６６７４８号公報

志水、「デプスマップを用いた三次元映像符号化の国際標準化動向」、情報処理学会研究報告、Vol.2013-AVM-82、No.11、pp.1-6(2013). 妹尾，山本，大井，栗田、「ＭＰＥＧ多視点映像符号化の標準化活動」、情報通信研究機構季報、Vol.56、Nos.1/2、pp.79-90(2010). Saldanha, Sanchez, Marcon, Agostini, "Block-level fast coding scheme for depth maps in three-dimensional high efficiency video coding", Journal of Electronic Imaging, Vol.27(1), 64,010502-1-4(2018). Oh, Vetro, Ho, "Depth Coding Using a Boundary Reconstruction Filter for 3-D Video Systems", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, Vol.21, No.3, pp.350-359(2011). 筑波，永吉，花村，富永、「独立階層による空間スケーラブル符号化方式に関する検討」、情報処理学会研究報告、Vol.2004-AVM-45、pp.29-34(2004).

従来の距離画像の符号化方式は、基本的に撮影画像の符号化方式をそのまま適用している。そのため、伝送路の帯域、受信装置の性能等の制限による符号化データの圧縮を考慮した場合、撮影画像を階層的に符号化するとともに、距離画像も同様に階層的に符号化する必要がある。
しかし、従来の階層化手法をそのまま距離画像に適用すると、奥行きに関係なく距離画像を単に空間的に階層化することになる。
また、人の奥行感度は、視点からの距離が近い領域については感度が高く、視点からの距離が遠い領域については感度が低いことが知られている（以下の参考文献）。
（参考文献）長田、「視覚の奥行距離情報とその奥行感度」、一般社団法人映像情報メディア学会、テレビジョン、Vol.31、No.8、pp.649-655(1977)
そのため、距離画像を単に空間的に階層化しただけでは、伝送路の帯域が狭い場合、受信装置の性能が低い場合等、すべての階層が復号されない再生画像において、視点からの距離が近い領域で画質の劣化が目立ってしまうという問題がある。

本発明は、このような問題に鑑みてなされたものであり、距離画像を奥行範囲ごとに階層的に符号化／復号することが可能な距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る距離画像符号化装置は、被写体の奥行情報を示す距離画像を符号化する距離画像符号化装置であって、基本レイヤ符号化手段と、ローカル復号手段と、復号差分画像生成手段と、領域区分手段と、奥行別差分画像生成手段と、拡張レイヤ符号化手段と、ストリーム結合手段と、を備える構成とした。

かかる構成において、距離画像符号化装置は、基本レイヤ符号化手段によって、距離画像を周波数成分に変換して第１量子化ステップで量子化し、量子化係数を可変長符号化することで基本レイヤ符号化ストリームを生成する。なお、この第１量子化ステップは、後記する基本レイヤ符号化手段の第２量子化ステップよりも値を大きくすることで、基本レイヤ符号化手段は、距離画像の諧調のレベルを荒く量子化して符号化する。
そして、距離画像符号化装置は、ローカル復号手段によって、量子化係数を逆量子化し、周波数成分を逆変換することで、復号側で復号される距離画像の復号画像を再現する。

さらに、距離画像符号化装置は、復号差分画像生成手段によって、距離画像と復号画像との差分を復号差分画像として生成する。
また、距離画像符号化装置は、領域区分手段によって、予め設定された奥行範囲ごとに、距離画像の領域を区分する。
そして、距離画像符号化装置は、奥行別差分画像生成手段によって、復号差分画像から、領域区分手段で区分された領域ごとの画像を奥行別差分画像として生成する。

そして、距離画像符号化装置は、拡張レイヤ符号化手段によって、奥行範囲ごとに、対応する奥行別差分画像を周波数成分に変換して第１量子化ステップよりも小さい第２量子化ステップで量子化し、量子化係数を可変長符号化することで拡張レイヤ符号化ストリームを生成する。なお、この第２量子化ステップは基本レイヤ符号化手段の第１量子化ステップよりも値が小さいため、拡張レイヤ符号化手段は、奥行別差分画像の諧調のレベルを細かく量子化して符号化することができる。

そして、距離画像符号化装置は、ストリーム結合手段によって、基本レイヤ符号化ストリームと、奥行範囲ごとの拡張レイヤ符号化ストリームとを結合して、距離画像の符号化ストリームを生成する。
これによって、距離画像を荒く符号化した基本レイヤ符号化ストリームと、荒く符号化した距離画像と元の距離画像との差分を細かく符号化した奥行範囲ごとの複数の拡張レイヤ符号化ストリームとによって、奥行範囲ごとに階層的に符号化したストリームが生成されることになる。
なお、距離画像符号化装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。

また、前記課題を解決するため、本発明に係る距離画像復号装置は、第１量子化ステップで被写体の奥行情報を示す距離画像を符号化した基本レイヤ符号化ストリームと、前記基本レイヤ符号化ストリームとして符号化された距離画像と元の距離画像との差分を第１量子化ステップよりも小さい第２量子化ステップで符号化した奥行範囲ごとの複数の拡張レイヤ符号化ストリームとを連結した符号化ストリームを復号する距離画像復号装置であって、ストリーム分離手段と、基本レイヤ復号手段と、拡張レイヤ復号手段と、画像合成手段と、を備える構成とした。

かかる構成において、距離画像復号装置は、ストリーム分離手段によって、符号化ストリームを、基本レイヤ符号化ストリームと複数の拡張レイヤ符号化ストリームとに分離する。

そして、距離画像復号装置は、基本レイヤ復号手段によって、基本レイヤ符号化ストリームを、符号化側と同じ値の大きい第１量子化ステップを用いて復号し、基本レイヤ復号画像を生成する。これによって、諧調のレベルが大まかな距離画像が生成されることになる。
また、距離画像復号装置は、拡張レイヤ復号手段によって、複数の拡張レイヤ符号化ストリームを、符号化側と同じ小さい第２量子化ステップを用いて復号し、複数の拡張レイヤ復号画像を生成する。これによって、基本レイヤ符号化ストリームとして符号化された距離画像と元の距離画像との差分が細かい諧調のレベルまで精度よく再現されることになる。

そして、距離画像復号装置は、画像合成手段によって、基本レイヤ復号画像と複数の拡張レイヤ復号画像とを合成し、符号化ストリームを復号した距離画像を生成する。
これによって、距離画像復号装置は、階層的に符号化ストリームを復号することができる。
なお、距離画像復号装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、距離画像を奥行範囲ごとに階層的に符号化／復号することができる。これによって、本発明は、伝送路の帯域に応じて階層数を限定したり、距離画像復号装置のＣＰＵパワー等の性能に応じて奥行範囲に優先順位を付けて復号することが可能な符号化ストリームを生成することができる。

本発明の実施形態に係る距離画像符号化装置の構成を示すブロック構成図である。 距離画像を説明するための説明図であって、（ａ）はカメラ（３眼カメラ）と被写体との配置を示す斜視図、（ｂ）は撮影画像、（ｃ）は距離画像を示す。 奥行範囲の閾値を説明するための説明図である。 （ａ）〜（ｃ）は奥行範囲ごとのマスクデータを示す図である。 本発明の実施形態に係る距離画像符号化装置の動作を示すフローチャートである。 本発明の実施形態に係る距離画像復号装置の構成を示すブロック構成図である。 本発明の実施形態に係る距離画像復号装置の動作を示すフローチャートである。 奥行範囲の他の閾値を説明するための説明図である。

以下、本発明の実施形態について図面を参照して説明する。
〔距離画像符号化装置の構成〕
図１を参照して、本発明の実施形態に係る距離画像符号化装置１の構成について説明する。

距離画像符号化装置１は、被写体の奥行情報を示す距離画像（デプスマップ）を、奥行きに応じて階層的に符号化するものである。
距離画像は、被写体を撮影した被写体空間における視点位置から被写体までの距離を、画素ごとに予め定めた奥行最小値から奥行最大値までの範囲に割り当てた画素値で表した画像である。なお、被写体を撮影した撮影画像が静止画像であれば、距離画像は１枚の画像である。また、撮影画像が動画像であれば、距離画像も撮影画像のフレームに対応した画像となる。

ここで、図２を参照して、距離画像の例について説明する。
図２（ａ）に示すように、距離画像は、被写体空間上の被写体（ここでは、Ｏ_１〜Ｏ_３）をカメラ（３眼カメラ）Ｃで撮影した画像のうち２枚の画像（ステレオ画像）の視差に応じて画素ごとに画素値を割り当てることで生成することができる。
カメラＣは、左眼カメラＣ_Ｌと中央カメラＣ_Ｃと右眼カメラＣ_Ｒとを備え、それぞれを水平方向に等間隔に配置して構成している。
中央カメラＣ_Ｃは、撮影画像として被写体を撮影するカメラである。
左眼カメラＣ_Ｌおよび右眼カメラＣ_Ｒは、視差を求めるための画像を撮影するカメラである。

図２（ｂ）は、図２（ａ）において中央カメラＣ_Ｃで撮影した撮影画像Ｐを示している。距離画像は、左眼カメラＣ_Ｌで撮影した撮影画像（不図示）と、右眼カメラＣ_Ｒで撮影した撮影画像（不図示）とでマッチングを行い、対応する画素の水平方向の距離に応じた視差に対応する画素値を撮影画像Ｐの画素位置に割り当てたものである。
例えば、図２（ｂ）の撮影画像Ｐに対応する奥行情報は、図２（ｃ）のグレー画像で表される距離画像Ｄとなる。
ここでは、距離画像Ｄは、視点位置に近いほど白く、視点位置から遠いほど黒く表示している。例えば、距離画像の諧調を２５６階調としたとき、距離画像は、奥行最小値を“０”、奥行最大値を“２５５”とする。
なお、ここでは、距離画像をカメラＣで撮影したステレオ画像から生成したものとしたが、投射したレーザの往復時間から距離を測定する距離画像センサ等、一般的な手法によって取得したものでもよい。

図１に戻って、距離画像符号化装置１の構成について説明を続ける。
図１に示すように、距離画像符号化装置１は、閾値設定手段１０と、領域区分手段１１と、基本レイヤ符号化手段１２と、ローカル復号手段１３と、復号差分画像生成手段１４と、奥行別差分画像生成手段１５と、拡張レイヤ符号化手段１６と、ストリーム結合手段１７と、を備える。

閾値設定手段１０は、距離画像の奥行きを階層的に区分するための閾値を設定するものである。閾値は、距離画像を奥行範囲ごとに区分した奥行階層の境界を示す奥行値である。なお、ここでは、奥行階層数を“４”として説明するが、少なくとも“２”以上であればよい。
この閾値設定手段１０は、距離画像において、最も小さい奥行値を探索し、その奥行値に予め定めた値を加算した奥行値を、第１の閾値Ｔ_１と設定する。
これによって、視点位置（奥行最小値）からの距離が最も近い被写体を含んだ奥行範囲を特定することができる。

また、閾値設定手段１０は、閾値Ｔ_１から奥行最大値まで範囲を、予め定めた奥行階層数（ここでは、“４”）から“１”を減算した数で等分して、第２以降の閾値を設定する。
すなわち、閾値設定手段１０は、閾値Ｔ_１を設定後、以下の式（１）により、閾値Ｔ_ｉ（ｉは２以上奥行階層数未満の整数）を設定する。なお、Ｄ_ｍａｘは奥行最大値を示し、ｎは奥行階層数を示す。

これによって、図３に示すように、奥行最小値から閾値Ｔ_１までの奥行範囲を第１階層Ｌ_１、閾値Ｔ_１から閾値Ｔ_２までの奥行範囲を第２階層Ｌ_２、閾値Ｔ_２から閾値Ｔ_３までの奥行範囲を第３階層Ｌ_３、閾値Ｔ_３から奥行最大値までの奥行範囲を第４階層Ｌ_４として、距離画像を階層的に区分することができる。このとき、第１階層Ｌ_１の閾値間の距離はｄ_１（＝Ｔ_１）、第２階層Ｌ_２〜第４階層Ｌ_４のそれぞれの閾値間の距離はすべてｄ_ｍ（＝（Ｄ_ｍａｘ−Ｔ_１）／３）となる。
閾値設定手段１０は、設定した閾値（Ｔ_１〜Ｔ_３）を領域区分手段１１に出力する。
なお、入力される距離画像が動画像に対応した連続したフレームで構成されている場合、閾値設定手段１０は、フレームごとに閾値を設定することとしてもよいし、最初のフレームだけで閾値を設定することとしてもよい。
また、最も直近に配置される被写体までの距離が既知であれば、閾値設定手段１０は、外部から、閾値Ｔ_１を入力することとしてもよい。

領域区分手段１１は、設定された閾値で特定される奥行範囲ごとに、距離画像の領域を区分するものである。
この領域区分手段１１は、奥行範囲ごとに、距離画像の対応する奥行値を有する画素の集合を、奥行範囲に対応する領域を示す領域情報とする。
ここでは、領域区分手段１１は、奥行範囲ごとの領域情報をマスクデータとして生成する。具体的には、領域区分手段１１は、奥行範囲ごとに、距離画像の画素値が奥行範囲に含まれる画素の画素値を“１”、それ以外の画素値を“０”としてマスクデータを生成する。なお、２つの奥行範囲を区分する閾値はいずれか一方の奥行範囲に含ませることとする。

例えば、図２に示すように被写体Ｏ_１〜Ｏ_３に対する距離画像が図２（ｃ）の距離画像Ｄであって、図３に示すように被写体Ｏ_１〜Ｏ_３が、第１階層Ｌ_１〜第３階層Ｌ_３のそれぞれの奥行範囲に存在していたとする。
この場合、領域区分手段１１は、第１階層Ｌ_１については、距離画像Ｄにおいて、奥行最小値以上、閾値Ｔ_１未満の奥行範囲の画素の画素値を“１”、それ以外の画素値を“０”として、図４（ａ）に示すマスクデータＭ_１を生成する。
また、領域区分手段１１は、第２階層Ｌ_２については、距離画像Ｄにおいて、閾値Ｔ_１以上、閾値Ｔ_２未満の奥行範囲の画素の画素値を“１”、それ以外の画素値を“０”として、図４（ｂ）に示すマスクデータＭ_２を生成する。
また、領域区分手段１１は、第３階層Ｌ_３については、距離画像Ｄにおいて、閾値Ｔ_２以上、閾値Ｔ_３未満の奥行範囲の画素の画素値を“１”、それ以外の画素値を“０”として、図４（ｃ）に示すマスクデータＭ_３を生成する。
なお、領域区分手段１１は、第４階層Ｌ_４については、距離画像Ｄにおいて、閾値Ｔ_３以上、奥行最大値以下の奥行範囲の画素の画素値を“１”、それ以外の画素値を“０”としてマスクデータ（不図示）を生成する。
これによって、領域区分手段１１は、閾値で特定される奥行範囲ごとに、距離画像の領域を区分することができる。

領域区分手段１１は、生成した領域情報（マスクデータ）を奥行別差分画像生成手段１５に出力する。ここでは、領域区分手段１１は、視点位置からの距離が近い順に、それぞれの奥行範囲の領域情報を、奥行別差分画像生成手段１５Ａ，１５Ｂ，１５Ｃ，１５Ｄに出力する。

基本レイヤ符号化手段１２は、距離画像を周波数成分に変換して量子化し、量子化係数を可変長符号化することで基本レイヤの符号化ストリーム（基本レイヤ符号化ストリーム）を生成するものである。
ここで、基本レイヤは、距離画像全体を符号化対象とする階層を示す。また、後記する拡張レイヤは、距離画像を奥行範囲ごとに符号化対象とする階層（奥行階層）を示す。
なお、基本レイヤ符号化手段１２は、拡張レイヤ符号化手段１６よりも大きい量子化ステップ（第１量子化ステップ）で、諧調のレベルを荒くして距離画像の量子化を行う。
基本レイヤ符号化手段１２は、直交変換手段１２０と、量子化手段１２１と、可変長符号化手段１２２と、を備える。

直交変換手段１２０は、距離画像を所定の大きさのブロック（例えば、８×８画素）ごとに直交変換し、周波数成分に変換するものである。この直交変換は、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）である。直交変換手段１２０は、算出した周波数成分である変換係数を量子化手段１２１に出力する。

量子化手段１２１は、直交変換手段３１が算出した周波数成分である変換係数を、予め設定した量子化ステップ（第１量子化ステップ）で量子化するものである。この量子化ステップは、変換係数を離散化するときの刻み幅（量子化幅）であって、拡張レイヤ符号化手段１６で用いる量子化ステップよりも大きい値とする。なお、この量子化ステップは、予め設定された値であってもよいし、外部から量子化パラメータで指定される値であってもよい。
量子化手段１２１は、変換係数を量子化ステップのサイズで除算し、整数値に丸めることで、量子化係数を生成する。
量子化手段１２１は、量子化した変換係数（量子化係数）を、可変長符号化手段１２２およびローカル復号手段１３に出力する。

可変長符号化手段１２２は、量子化手段１２１で生成された量子化係数を、可変長符号化して、ストリームデータ（基本レイヤ符号化ストリーム）を生成するものである。なお、可変長符号化手段１２２における可変長符号化は、ハフマン符号化、算術符号化等、一般的な方式を用いればよい。
可変長符号化手段１２２は、生成した基本レイヤ符号化ストリームをストリーム結合手段１７に出力する。

ローカル復号手段１３は、基本レイヤ符号化手段１２で生成された量子化係数を逆量子化し、周波数成分を逆変換することで距離画像を復号した復号画像を生成するものである。この復号画像は、復号側（動画像復号装置）で、基本レイヤの距離画像として復号される画像を、符号化側（距離画像符号化装置）でローカルに再現した画像である。
ローカル復号手段１３は、逆量子化手段１３０と、逆直交変換手段１３１と、を備える。

逆量子化手段１３０は、基本レイヤ符号化手段１２の量子化手段１２１が量子化した量子化係数に対して、量子化手段１２１で行った処理の逆の処理である逆量子化を行うものである。すなわち、逆量子化手段１３０は、量子化係数に量子化ステップのサイズを乗算することで、周波数成分である変換係数を生成する。
逆量子化手段１３０は、逆量子化後の変換係数を、逆直交変換手段１３１に出力する。

逆直交変換手段１３１は、逆量子化手段１３０が逆量子化した変換係数に対して、基本レイヤ符号化手段１２の直交変換手段１２０で行った処理の逆の処理である逆直交変換（例えば、逆離散コサイン変換）を行うものである。この逆直交変換手段１３１で変換されたブロックごとの画像によって、復号側（動画像復号装置）で基本レイヤの距離画像として復号される画像（復号画像）を再現することができる。
逆直交変換手段１３１は、生成した復号画像を復号差分画像生成手段１４に出力する。

復号差分画像生成手段１４は、符号化対象である元の距離画像と、ローカル復号手段１３で復号された復号画像との差分を復号差分画像として生成するものである。
この復号差分画像生成手段１４は、距離画像から復号画像を減算することで、符号化対象である元の距離画像と、基本レイヤで符号化される距離画像との差分を生成する。
復号差分画像生成手段１４は、生成した復号差分画像を奥行別差分画像生成手段１５（１５Ａ，１５Ｂ，１５Ｃ，１５Ｄ）に出力する。

奥行別差分画像生成手段１５は、復号差分画像生成手段１４で生成された復号差分画像から、領域区分手段１１で区分された領域ごとの画像を奥行別差分画像として生成するものである。
ここでは、奥行別差分画像生成手段１５を、奥行範囲ごとに、拡張レイヤ数（奥行階層数）に応じた複数の奥行別差分画像生成手段１５Ａ，１５Ｂ，１５Ｃ，１５Ｄで構成している。
奥行別差分画像生成手段１５Ａは、復号差分画像のうちで、領域区分手段１１で区分された視点位置からの距離が最も近い奥行範囲の領域を、奥行別差分画像として生成するものである。
奥行別差分画像生成手段１５Ｂは、復号差分画像のうちで、領域区分手段１１で区分された視点位置からの距離が２番目に近い奥行範囲の領域を、奥行別差分画像として生成するものである。
同様に、奥行別差分画像生成手段１５Ｃ，１５Ｄは、それぞれ復号差分画像のうちで、領域区分手段１１で区分された視点位置からの距離が３番目，４番目に近い奥行範囲の領域を、奥行別差分画像として生成するものである。

なお、奥行別差分画像生成手段１５Ａ〜１５Ｄは、復号差分画像から、所定の奥行範囲の領域の奥行別差分画像を生成する点で同じ処理を行う。
具体的には、奥行別差分画像生成手段１５Ａ〜１５Ｄは、それぞれ、復号差分画像生成手段１４で生成された復号差分画像に、領域区分手段１１から出力される領域情報であるマスクデータを乗算することで、奥行範囲ごとの奥行別差分画像を生成する。
奥行別差分画像生成手段１５は、生成した奥行範囲ごとの奥行別差分画像を拡張レイヤ符号化手段１６に出力する。

拡張レイヤ符号化手段１６は、奥行別差分画像生成手段１５で生成された奥行別差分画像を周波数成分に変換して基本レイヤ符号化手段１２よりも小さい量子化ステップ（第２量子化ステップ）で量子化し、量子化係数を可変長符号化することで拡張レイヤの符号化ストリーム（拡張レイヤ符号化ストリーム）を生成するものである。
ここでは、拡張レイヤ符号化手段１６を、奥行範囲ごとに、拡張レイヤ数に応じた複数の拡張レイヤ符号化手段１６Ａ，１６Ｂ，１６Ｃ，１６Ｄで構成している。

拡張レイヤ符号化手段１６Ａは、奥行別差分画像生成手段１５（１５Ａ）で生成される視点位置からの距離が最も近い奥行範囲の奥行別差分画像を符号化するものである。
拡張レイヤ符号化手段１６Ｂは、奥行別差分画像生成手段１５（１５Ｂ）で生成される視点位置からの距離が２番目に近い奥行範囲の奥行別差分画像を符号化するものである。
同様に、拡張レイヤ符号化手段１６Ｃ，１６Ｄは、それぞれ奥行別差分画像生成手段１５（１５Ｃ，１５Ｄ）で生成される視点位置からの距離が３番目，４番目に近い奥行範囲の奥行別差分画像を符号化するものである。

なお、拡張レイヤ符号化手段１６Ａ〜１６Ｄは、奥行別差分画像を符号化する点で同じ処理を行う。
拡張レイヤ符号化手段１６Ａ〜１６Ｄは、同じ構成であるため、ここでは、拡張レイヤ符号化手段１６Ａの構成を例に説明する。
拡張レイヤ符号化手段１６Ａは、直交変換手段１６０と、量子化手段１６１と、可変長符号化手段１６２と、を備える。

直交変換手段１６０は、奥行別差分画像を所定の大きさのブロックごとに直交変換し、周波数成分に変換するものである。この直交変換は、例えば、離散コサイン変換（ＤＣＴ）である。直交変換手段１６０は、算出した周波数成分である変換係数を量子化手段１６１に出力する。

量子化手段１６１は、直交変換手段１６０が算出した周波数成分である変換係数を、予め設定した量子化ステップ（第２量子化ステップ）で量子化するものである。量子化手段１６１は、基本レイヤ符号化手段１２で用いる量子化ステップよりも小さい値の量子化ステップで諧調のレベルを細かくして量子化する。
量子化手段１６１は、量子化した変換係数（量子化係数）を、可変長符号化手段１６２に出力する。

可変長符号化手段１６２は、量子化手段１６１で生成された量子化係数を、可変長符号化して、ストリームデータ（拡張レイヤ符号化ストリーム）を生成するものである。
可変長符号化手段１６２は、生成した拡張レイヤ符号化ストリームをストリーム結合手段１７に出力する。
このように、拡張レイヤ符号化手段１６Ａ〜１６Ｄは、それぞれ奥行範囲ごとに奥行別差分画像を符号化し、符号化した拡張レイヤ符号化ストリームをストリーム結合手段１７に出力する。

ストリーム結合手段１７は、基本レイヤ符号化手段１２で生成された基本レイヤ符号化ストリームと、拡張レイヤ符号化手段１６で生成された奥行範囲ごとの拡張レイヤ符号化ストリームとを結合するものである。
このストリーム結合手段１７は、基本レイヤ符号化ストリームと奥行範囲ごとの拡張レイヤ符号化ストリームとを連結する。このとき、ストリーム結合手段１７は、基本レイヤ符号化ストリームの次に拡張レイヤ符号化ストリームを連結する。また、ストリーム結合手段１７は、複数の拡張レイヤ符号化ストリームについては、視点位置に近い奥行範囲の拡張レイヤ符号化ストリームほど前にして連結を行う。ここでは、ストリーム結合手段１７は、拡張レイヤ符号化手段１６Ａ，１６Ｂ，１６Ｃ，１６Ｄの順に、生成した拡張レイヤ符号化ストリームを基本レイヤ符号化ストリームに連結する。これによって、復号側では、基本レイヤ符号化ストリームの次に、優先度の高い拡張レイヤ符号化ストリームを復号することができる。

さらに、ストリーム結合手段１７は、レイヤの構成（例えば、拡張レイヤ〔奥行階層〕の数）、距離画像の大きさ（水平画素数、垂直画素数）、基本レイヤ符号化ストリームのデータ長、各拡張レイヤ符号化ストリームのデータ長等のストリームの構成情報をヘッダ情報として生成する。
そして、ストリーム結合手段１７は、基本レイヤ符号化ストリームと奥行範囲ごとの拡張レイヤ符号化ストリームとを連結したストリームに、ヘッダ情報を付加して、符号化ストリームを生成する。
なお、入力される距離画像が動画像に対応した連続したフレームで構成される場合、ストリーム結合手段１７は、フレーム数だけ符号化ストリームを連続させて出力する。

以上説明したように距離画像符号化装置１を構成することで、距離画像符号化装置１は、距離画像全体を荒く量子化して符号化した基本レイヤ符号化ストリームと、距離画像を奥行範囲ごとに細かく量子化した符号化ストリームとによって、距離画像を階層的に符号化することができる。

これによって、符号化ストリームを復号する距離画像復号装置では、ＣＰＵパワー等の性能に応じて、基本レイヤと視点位置からの距離が最も近い拡張レイヤのみを復号する等、階層的に距離画像を復号することができる。
また、符号化ストリームは階層的に符号化されているため、伝送路上の帯域に応じて、優先度の低いレイヤの伝送を行わないようにすることができる。この場合でも、視点位置に近い奥行範囲のレイヤは、伝送対象となるため、復号装置において、精度よく奥行きを再現することができる。
なお、距離画像符号化装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（距離画像符号化プログラム）で動作させることができる。

〔距離画像符号化装置の動作〕
次に、図５を参照（構成については、適宜図１参照）して、本発明の実施形態に係る距離画像符号化装置１の動作について説明する。なお、ここでは、距離画像は、動画像に対応した連続したフレームで構成されているものとする。
ステップＳ１において、閾値設定手段１０は、距離画像の奥行きを階層的に区分するための閾値を設定する。この閾値によって、距離画像を、奥行最小値から奥行最大値までの範囲で、閾値を境界とする奥行範囲ごとに階層化することができる。
ステップＳ２において、領域区分手段１１は、ステップＳ１で設定された閾値で特定される奥行範囲ごとに、距離画像の領域を区分する。ここでは、領域区分手段１１は、奥行範囲ごとの領域情報をマスクデータとして生成する。

ステップＳ３において、基本レイヤ符号化手段１２は、基本レイヤとして、距離画像全体を符号化する。このステップＳ３では、基本レイヤ符号化手段１２は、直交変換手段１２０によって、距離画像を所定の大きさのブロックごとに直交変換（ＤＣＴ変換）し、周波数成分である変換係数を生成する。そして、基本レイヤ符号化手段１２は、量子化手段１２１によって、拡張レイヤよりも大きい量子化ステップで変換係数を量子化し、量子化係数を生成する。そして、基本レイヤ符号化手段１２は、可変長符号化手段１２２によって、量子化係数を可変長符号化し、ストリームデータ（基本レイヤ符号化ストリーム）を生成する。

ステップＳ４において、ローカル復号手段１３は、ステップＳ３で量子化によって生成された量子化係数から、基本レイヤ符号化手段１２で符号化した距離画像を復号した復号画像を生成する。このステップＳ４では、ローカル復号手段１３は、逆量子化手段１３０によって、量子化手段１２１で生成された量子化係数を逆量子化し、周波数成分である変換係数を生成する。そして、ローカル復号手段１３は、逆直交変換手段１３１によって、変換係数を逆直交変換し、復号画像を生成する。
ステップＳ５において、復号差分画像生成手段１４は、符号化対象である元の距離画像と、ステップＳ４で生成された復号画像との差分を復号差分画像として生成する。

ステップＳ６において、奥行別差分画像生成手段１５は、ステップＳ５で生成された復号差分画像から、ステップＳ２で区分された奥行範囲ごとの領域の画像を奥行別差分画像として生成する。ここでは、奥行別差分画像生成手段１５は、ステップＳ５で生成された復号差分画像に、ステップＳ２で生成された奥行範囲ごとのマスクデータを乗算することで、奥行範囲ごとの奥行別差分画像を生成する。

ステップＳ７において、拡張レイヤ符号化手段１６は、拡張レイヤとして、ステップＳ６で生成された奥行別差分画像を奥行範囲ごとに符号化する。このステップＳ７では、拡張レイヤ符号化手段１６は、ステップＳ３と同様の符号化処理によって、奥行別差分画像を符号化し、ストリームデータ（拡張レイヤ符号化ストリーム）を生成する。なお、拡張レイヤ符号化手段１６の符号化処理内における量子化は、ステップＳ３の基本レイヤ符号化手段１２における量子化よりも量子化ステップの値を小さくして行う。

ステップＳ８において、ストリーム結合手段１７は、ステップＳ３で生成した基本レイヤ符号化ストリームと、ステップＳ７で生成された奥行範囲ごとの拡張レイヤ符号化ストリームとを結合して、符号化ストリームを生成する。
ここで、次フレームがさらに入力される場合（ステップＳ９でＹｅｓ）、距離画像符号化装置１は、ステップＳ２に戻って動作を続ける。
一方、入力が終了した場合（ステップＳ９でＮｏ）、距離画像符号化装置１は、動作を終了する。なお、距離画像が、静止画像の撮影画像に対応した画像の場合、ステップＳ９の動作は省略することができる。

〔距離画像復号装置の構成〕
次に、図６を参照して、本発明の実施形態に係る距離画像復号装置２の構成について説明する。

距離画像復号装置２は、距離画像符号化装置１（図１）で符号化された距離画像の符号化ストリームを復号するものである。
図６に示すように、距離画像復号装置２は、ストリーム分離手段２０と、基本レイヤ復号手段２１と、拡張レイヤ復号手段２２と、画像合成手段２３と、を備える。

ストリーム分離手段２０は、符号化ストリームを、基本レイヤ符号化ストリームと、複数の拡張レイヤ符号化ストリームとに分離するものである。
このストリーム分離手段２０は、符号化ストリームのヘッダ情報を参照して、符号化ストリームから、基本レイヤ符号化ストリームと、複数の拡張レイヤ符号化ストリームとを分離して抽出する。
ストリーム分離手段２０は、分離した基本レイヤ符号化ストリームを基本レイヤ復号手段２１に出力する。また、ストリーム分離手段２０は、分離した拡張レイヤ符号化ストリームを拡張レイヤ復号手段２２に出力する。ここでは、ストリーム分離手段２０は、複数の拡張レイヤ符号化ストリームを、入力した順、すなわち、優先度の高い（視点位置からの距離が近い）順に、拡張レイヤ復号手段２２Ａ，２２Ｂ，２２Ｃ，２２Ｄに出力する。

基本レイヤ復号手段２１は、ストリーム分離手段２０で分離された基本レイヤ符号化ストリームを復号するものである。
基本レイヤ復号手段２１は、可変長復号手段２１０と、逆量子化手段２１１と、逆直交変換手段２１２と、を備える。

可変長復号手段２１０は、基本レイヤ符号化ストリームに対して、可変長符号化手段１２２（図１）の逆変換となる可変長復号を行うものである。この可変長復号によって、基本レイヤ符号化ストリームから量子化係数が復号される。
可変長復号手段２１０は、復号した量子化係数を逆量子化手段２１１に出力する。

逆量子化手段２１１は、可変長復号手段２１０で復号された量子化係数に対して、量子化手段１２１（図１）で行った処理の逆の処理である逆量子化を行うものである。すなわち、逆量子化手段１３０は、量子化係数に量子化手段１２１と同じ量子化ステップのサイズを乗算することで、周波数成分である変換係数を生成する。
逆量子化手段２１１は、逆量子化後の変換係数を、逆直交変換手段２１２に出力する。

逆直交変換手段２１２は、逆量子化手段２１１が逆量子化した変換係数に対して、直交変換手段１２０（図１）で行った処理の逆の処理である逆直交変換（例えば、逆離散コサイン変換）を行うものである。この逆直交変換手段２１２で変換されたブロックごとの画像によって、基本レイヤ符号化ストリームを復号した画像（基本レイヤ復号画像）が生成される。この基本レイヤ復号画像は、単体でも距離画像となる画像であるが、荒く量子化されて符号化／復号された画像であるため、奥行きの精度は低い。
逆直交変換手段２１２は、生成した基本レイヤ復号画像を画像合成手段２３に出力する。
また、逆直交変換手段２１２は、基本レイヤ復号画像を生成した後、拡張レイヤ復号手段２２（２２Ａ）に拡張レイヤ符号化ストリームの復号開始を指示する。

拡張レイヤ復号手段２２は、ストリーム分離手段２０で分離された拡張レイヤ符号化ストリームを復号するものである。
ここでは、拡張レイヤ復号手段２２を、奥行範囲ごとに、拡張レイヤ数に応じた複数の拡張レイヤ復号手段２２Ａ，２２Ｂ，２２Ｃ，２２Ｄで構成している。なお、ここでは、拡張レイヤ復号手段２２を、距離画像符号化装置１（図１）の拡張レイヤ符号化手段１６と同じ数の手段で構成しているが、拡張レイヤ復号手段２２の数は、“１”以上、拡張レイヤのレイヤ数以下であればよい。ただし、距離画像を精度よく復号するには、拡張レイヤ復号手段２２を、距離画像符号化装置１（図１）の拡張レイヤ符号化手段１６と同じ数の手段で構成することが好ましい。

拡張レイヤ復号手段２２Ａは、ストリーム分離手段２０で分離された優先度が最も高い拡張レイヤ符号化ストリームを復号した拡張レイヤ復号画像（奥行別差分画像）を生成するものである。
拡張レイヤ復号手段２２Ｂは、ストリーム分離手段２０で分離された優先度が２番目に高い拡張レイヤ符号化ストリームを復号した拡張レイヤ復号画像（奥行別差分画像）を生成するものである。
同様に、拡張レイヤ復号手段２２Ｃ，２２Ｄは、それぞれ、ストリーム分離手段２０で分離された優先度が３番目，４番目に高い拡張レイヤ符号化ストリームを復号した拡張レイヤ復号画像（奥行別差分画像）を生成するものである。

なお、拡張レイヤ復号手段２２Ａ〜２２Ｄは、拡張レイヤ符号化ストリームから奥行別差分画像を復号する点で同じ処理を行う。
拡張レイヤ復号手段２２Ａ〜２２Ｄは、同じ構成であるため、ここでは、拡張レイヤ復号手段２２Ａの構成を例に説明する。
拡張レイヤ復号手段２２Ａは、可変長復号手段２２０と、逆量子化手段２２１と、逆直交変換手段２２２と、を備える。

可変長復号手段２２０、逆量子化手段２２１および逆直交変換手段２２２は、復号対象が拡張レイヤ符号化ストリームである点を除いて、それぞれ、可変長復号手段２１０、逆量子化手段２１１および逆直交変換手段２１２と同じ処理を行うものであるため、詳細な説明は省略する。ただし、逆量子化手段２２１で使用する量子化ステップは、逆量子化手段２１１で使用する量子化ステップよりも小さい値で、量子化手段１６１（図１）で使用する量子化ステップと同じである。
逆量子化手段２２１は、復号した拡張レイヤ復号画像（奥行別差分画像）を画像合成手段２３に出力する。
なお、拡張レイヤ復号手段２２Ａは、基本レイヤ復号手段２１（逆直交変換手段２１２）から、復号開始を指示された段階で、拡張レイヤ符号化ストリームの復号を開始する。

また、拡張レイヤ復号手段２２Ａは、優先度が１番目の拡張レイヤ符号化ストリームを復号した後、優先度の低い拡張レイヤ復号手段２２Ｂに、優先度が２番目の拡張レイヤ符号化ストリームの復号開始を指示する。
このように、拡張レイヤ復号手段２２Ａ〜２２Ｄは、優先度の高い拡張レイヤ符号化ストリームから順番に復号し、復号した奥行別差分画像を画像合成手段２３に出力する。

画像合成手段２３は、基本レイヤ復号手段２１で復号された基本レイヤ復号画像と、拡張レイヤ復号手段２２で復号された複数の拡張レイヤ復号画像（奥行別差分画像）とを合成するものである。
この画像合成手段２３は、基本レイヤ復号画像に複数の拡張レイヤ復号画像を加算することで、奥行精度を高めた距離画像を生成する。

なお、画像合成手段２３は、動画像の撮影画像に対応する距離画像を復号する場合には、撮影画像の１フレームの周期内で距離画像を復号する必要がある。そこで、距離画像復号装置２は、図示を省略したタイマ等の計時手段によって１フレーム分の符号化ストリームが入力された時点からの時間を計測する。そして、画像合成手段２３は、フレーム周期の残り時間が、１レイヤ分の拡張フレームの復号時間に満たない場合、基本レイヤの距離画像と、その時点までに復号されている拡張レイヤの奥行別差分画像とを合成し、符号化ストリームに対する距離画像として出力する。なお、１レイヤ分の拡張フレームの復号時間は、例えば、固定的に予め定めた時間であってもよいし、基本フレームの復号時間としてもよい。

以上説明したように距離画像復号装置２を構成することで、距離画像復号装置２は、距離画像符号化装置１で距離画像を奥行範囲ごとに階層的に符号化された符号化ストリームを復号することができる。
また、距離画像復号装置２は、ＣＰＵパワー等の性能に応じて、基本レイヤと視点位置からの距離が最も近い拡張レイヤのみを優先的に復号する等、階層的に距離画像を復号することができる。

〔距離画像復号装置の動作〕
次に、図７を参照（構成については、適宜図６参照）して、本発明の実施形態に係る距離画像復号装置２の動作について説明する。なお、ここでは、距離画像は、動画像に対応した連続したフレームで構成されているものとする。
ステップＳ１０において、ストリーム分離手段２０は、フレームごとに、符号化ストリームを基本レイヤ符号化ストリームと複数の拡張レイヤ符号化ストリームとに分離する。なお、ここでは、距離画像復号装置２は、図示を省略した計時手段によって１フレーム分の符号化ストリームが入力された時点からの時間を計測する

ステップＳ１１において、基本レイヤ復号手段２１は、ステップＳ１０で分離された基本レイヤ符号化ストリームを復号する。このステップＳ１１では、基本レイヤ復号手段２１は、可変長復号手段２１０によって、基本レイヤ符号化ストリームを可変長復号することで量子化係数を生成する。そして、基本レイヤ復号手段２１は、逆量子化手段２１１によって、逆量子化を行うことで、周波数成分である変換係数を生成する。そして、基本レイヤ復号手段２１は、逆直交変換手段２１２によって、変換係数を逆直交変換（例えば、逆離散コサイン変換）することで、基本レイヤ符号化ストリームの復号結果となる画像（基本レイヤ復号画像）を生成する。

ステップＳ１２において、画像合成手段２３は、フレーム周期の残り時間が、１レイヤ分の拡張フレームの復号時間以上あるか否かを判定する。
ここで、フレーム周期の残り時間が拡張フレームの復号時間未満の場合（ステップＳ１２でＮｏ）、距離画像復号装置２は、ステップＳ１８に動作を進める。
一方、フレーム周期の残り時間が拡張フレームの復号時間以上の場合（ステップＳ１２でＹｅｓ）、ステップＳ１３において、拡張レイヤ復号手段２２は、拡張レイヤを識別するための変数ｉを初期化（ここでは、“１”に設定）する。

ステップＳ１４において、拡張レイヤ復号手段２２は、ステップＳ１０で分離されたｉ番目の優先度の拡張レイヤ符号ストリームを復号する。このステップＳ１４では、拡張レイヤ復号手段２２は、ステップＳ１１と同様の符号化処理によって、拡張レイヤ符号ストリームを復号し、拡張レイヤ復号画像を生成する。
ここで、フレーム周期の残り時間が拡張フレームの復号時間未満の場合（ステップＳ１５でＮｏ）、距離画像復号装置２は、ステップＳ１８に動作を進める。
一方、フレーム周期の残り時間が拡張フレームの復号時間以上の場合（ステップＳ１５でＹｅｓ）、ステップＳ１６において、拡張レイヤ復号手段２２は、変数ｉに“１”を加算する。

ここで、拡張レイヤ復号手段２２は、まだ、変数ｉが拡張レイヤ数（ここでは、“４”）に達していない場合（ステップＳ１７でＮｏ）、ステップＳ１４に戻って、次の階層の拡張レイヤ符号ストリームを復号する。
一方、変数ｉが拡張レイヤ数に達した場合（ステップＳ１７でＹｅｓ）、拡張レイヤ復号手段２２における復号処理を終了し、距離画像復号装置２は、ステップＳ１８に動作を進める。

ステップＳ１８において、画像合成手段２３は、ステップＳ１１で復号された基本レイヤ復号画像と、ステップＳ１４でフレーム期間内に復号された拡張レイヤ復号画とを合成することで、距離画像を生成する。
ここで、次フレームの符号化ストリームがさらに入力される場合（ステップＳ１９でＹｅｓ）、距離画像復号装置２は、ステップＳ１０に戻って動作を続ける。
一方、入力が終了した場合（ステップＳ１９でＮｏ）、距離画像復号装置２は、動作を終了する。
なお、復号対象の距離画像が、静止画像の撮影画像に対応した画像の場合、ステップＳ９の動作は省略することができる。また、ステップＳ１２，Ｓ１５の動作も省略することができる。

〔変形例〕
以上、本発明の実施形態に係る距離画像符号化装置１および距離画像復号装置２の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。

（変形例その１）
ここでは、距離画像符号化装置１の閾値設定手段１０は、視点位置から直近の閾値を設定し、それよりも遠方の奥行値を等分するように閾値を設定した。
しかし、閾値は、図８に示すように、奥行きが奥に行くほど、奥行範囲を広くするように設定してもよい。この場合、視点位置から直近の閾値Ｔ_１は、少なくとも奥行最大値を奥行階層数で除算した値よりも小さい値とする。
具体的には、閾値設定手段１０は、閾値Ｔ_１を設定後、以下の式（２）により、閾値Ｔ_ｉ（ｉは２以上奥行階層数未満の整数）を設定する。ここで、ｄ_１は視点位置から区分した１番目の奥行範囲の距離を示す。すなわち、ｄ_１＝Ｔ_１である。また、ｒは“１”より大きい整数を示す。

奥行最大値をＤ_ｍａｘとしたとき、奥行範囲の距離ｄ_ｊは、以下の式（３）の関係を有する。なお、ｎは奥行階層数を示し、ｊは視点位置からの奥行範囲の順番を示す番号（１以上ｎ以下）を示す。また、ａ＝ｄ_１＝Ｔ_１である。

よって、式（２）のｒは、以下の式（４）の方程式の解として求めることができる。

（変形例その２）
ここでは、距離画像符号化装置１の閾値設定手段１０は、距離画像から、あるいは、外部から指定されることで閾値を設定した。
しかし、これらの閾値は、距離画像符号化装置１の内部メモリ等に予め設定されているものとしてもよい。この場合、距離画像符号化装置１は、構成から閾値設定手段１０を省略してもよい。また、この場合、領域区分手段１１は、予め設定されている閾値によって、距離画像の領域を区分すればよい。

（変形例その３）
ここでは、距離画像符号化装置１の奥行別差分画像生成手段１５を、拡張レイヤ数に応じた複数の奥行別差分画像生成手段１５Ａ，１５Ｂ，１５Ｃ，１５Ｄで、並列に動作させる構成とした。また、拡張レイヤ符号化手段１６も、拡張レイヤ数に応じた複数の拡張レイヤ符号化手段１６Ａ，１６Ｂ，１６Ｃ，１６Ｄで、並列に動作させる構成とした。
しかし、奥行別差分画像生成手段１５および拡張レイヤ符号化手段１６は、それぞれ、必ずしも並列に動作を行う構成とする必要はない。
すなわち、奥行別差分画像生成手段１５および拡張レイヤ符号化手段１６は、それぞれ、単一の構成とし、拡張レイヤごとに順番に動作することとしてもよい。

（変形例その４）
ここで、距離画像復号装置２の拡張レイヤ復号手段２２を、拡張レイヤ数に応じた複数の拡張レイヤ復号手段２２Ａ，２２Ｂ，２２Ｃ，２２Ｄで、優先度の高い拡張レイヤから順に動作させる構成とした。
しかし、距離画像復号装置２は、ＣＰＵパワー等の性能に余裕があれば、基本レイヤ復号手段２１を含め、拡張レイヤ復号手段２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを、並列に動作させる構成としてもよい。

（変形例その５）
ここでは、距離画像符号化装置１は、奥行別差分画像生成手段１５および拡張レイヤ符号化手段１６において、視点位置からの距離が近い奥行範囲ほど、優先度の高い拡張レイヤに割り当てて符号化した。そして、距離画像符号化装置１は、ストリーム結合手段１７で、基本レイヤ符号化ストリームの次にその優先度に応じて拡張レイヤ符号化ストリームを連結することとした。
しかし、拡張レイヤの優先度は、必ずしも視点位置からの距離が近いことで定める必要はない。例えば、光線再生型の立体ディスプレイで画像を表示する場合、スクリーン面近傍で表示される奥行範囲ほど優先度の高い拡張レイヤに割り当てることが好ましい。また、例えば、インテグラル立体方式で画像を表示する場合、レンズアレイ面近傍で表示される奥行範囲ほど優先度の高い拡張レイヤに割り当てることが好ましい。
これによって、高画質に表示したい奥行範囲を優先的に符号化／復号することができる。

１ 距離画像符号化装置
１０ 閾値設定手段
１１ 領域区分手段
１２ 基本レイヤ符号化手段
１２０ 直交変換手段
１２１ 量子化手段
１２２ 可変長符号化手段
１３ ローカル復号手段
１３０ 逆量子化手段
１３１ 逆直交変換手段
１４ 復号差分画像生成手段
１５，１５Ａ，１５Ｂ，１５Ｃ，１５Ｄ 奥行別差分画像生成手段
１６，１６Ａ，１６Ｂ，１６Ｃ，１６Ｄ 拡張レイヤ符号化手段
１６０ 直交変換手段
１６１ 量子化手段
１６２ 可変長符号化手段
１７ ストリーム結合手段
２ 距離画像復号手段
２０ ストリーム分離手段
２１ 基本レイヤ復号手段
２１０ 可変長復号手段
２１１ 逆量子化手段
２１２ 逆直交変換手段
２２，２２Ａ，２２Ｂ，２２Ｃ，２２Ｄ 拡張レイヤ復号手段
２３ 画像合成手段

Claims (8)

1. 被写体の奥行情報を示す距離画像を符号化する距離画像符号化装置であって、
   前記距離画像を周波数成分に変換して第１量子化ステップで量子化し、量子化係数を可変長符号化することで基本レイヤ符号化ストリームを生成する基本レイヤ符号化手段と、
   前記量子化係数を逆量子化し、周波数成分を逆変換することで前記距離画像を復号した復号画像を生成するローカル復号手段と、
   前記距離画像と前記復号画像との差分を復号差分画像として生成する復号差分画像生成手段と、
   予め設定された奥行範囲ごとに、前記距離画像の領域を区分する領域区分手段と、
   前記復号差分画像から、前記領域区分手段で区分された領域ごとの画像を奥行別差分画像として生成する奥行別差分画像生成手段と、
   前記奥行範囲ごとに、対応する前記奥行別差分画像を周波数成分に変換して前記第１量子化ステップよりも小さい第２量子化ステップで量子化し、量子化係数を可変長符号化することで拡張レイヤ符号化ストリームを生成する拡張レイヤ符号化手段と、
   前記基本レイヤ符号化ストリームと、前記奥行範囲ごとの前記拡張レイヤ符号化ストリームとを結合して、前記距離画像の符号化ストリームを生成するストリーム結合手段と、
   を備えることを特徴とする距離画像符号化装置。
2. 前記奥行範囲を予め定めた基準で区分するための閾値を設定する閾値設定手段をさらに備えることを特徴とする請求項１に記載の距離画像符号化装置。
3. 前記領域区分手段は、前記奥行範囲ごとに、前記距離画像の領域を区分するマスクデータを生成し、
   前記奥行別差分画像生成手段は、前記復号差分画像に前記マスクデータを乗算することで、前記奥行別差分画像を生成することを特徴とする請求項１または請求項２に記載の距離画像符号化装置。
4. 前記拡張レイヤ符号化手段は、予め定めた奥行きに近い奥行範囲ほど優先度の高いレイヤとして前記奥行別差分画像から前記拡張レイヤ符号化ストリームを生成し、
   前記ストリーム結合手段が、前記基本レイヤ符号化ストリームに、前記優先度の高い順で前記奥行範囲ごとの拡張レイヤ符号化ストリームを連結することを特徴とする請求項１から請求項３のいずれか一項に記載の距離画像符号化装置。
5. コンピュータを、請求項１から請求項４のいずれか一項に記載の距離画像符号化装置として機能させるための距離画像符号化プログラム。
6. 第１量子化ステップで被写体の奥行情報を示す距離画像を符号化した基本レイヤ符号化ストリームと、前記基本レイヤ符号化ストリームを復号した距離画像と元の距離画像との差分を前記第１量子化ステップよりも小さい第２量子化ステップで符号化した奥行範囲ごとの複数の拡張レイヤ符号化ストリームと、を連結した符号化ストリームを復号する距離画像復号装置であって、
   前記符号化ストリームを、前記基本レイヤ符号化ストリームと前記複数の拡張レイヤ符号化ストリームとに分離するストリーム分離手段と、
   前記基本レイヤ符号化ストリームを、前記第１量子化ステップを用いて復号し、基本レイヤ復号画像を生成する基本レイヤ復号手段と、
   前記複数の拡張レイヤ符号化ストリームを、前記第２量子化ステップを用いて復号し、複数の拡張レイヤ復号画像を生成する拡張レイヤ復号手段と、
   前記基本レイヤ復号画像と前記複数の拡張レイヤ復号画像とを合成し、前記符号化ストリームを復号した距離画像を生成する画像合成手段と、
   を備えることを特徴とする距離画像復号装置。
7. 前記符号化ストリームは、動画像の撮影画像に対応する距離画像を符号化したストリームであって、
   前記拡張レイヤ復号手段は、前記符号化ストリームに連結されている拡張レイヤ符号化ストリームを連結順に復号し、
   前記画像合成手段は、前記基本レイヤ復号画像と、フレーム周期内で復号された前記拡張レイヤ復号画像とを合成することを特徴とする請求項６に記載の距離画像復号装置。
8. コンピュータを、請求項６または請求項７に記載の距離画像復号装置として機能させるための距離画像復号プログラム。