JP5436458B2 - 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム - Google Patents

Description

本発明は、ある被写体を撮影する複数のカメラにより撮影された画像を符号化する多視点画像符号化方法およびその装置と、その多視点画像符号化方法により符号化された符号データを復号する多視点画像復号方法およびその装置と、その多視点画像符号化方法の実現に用いられる多視点画像符号化プログラムと、その多視点画像復号方法の実現に用いられる多視点画像復号プログラムとに関する。
本願は、２００９年２月１２日に、日本に出願された特願２００９−２９２４９号に基づき優先権を主張し、その内容をここに援用する。

多視点画像とは、複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。

一般的な動画像符号化や多視点動画像符号化に用いられる技術として、動き補償予測と視差補償予測とが提案されている。

動き補償予測は、Ｈ．２６４に代表される近年の動画像符号化方式の国際標準にも採用されている手法であり、符号化対象フレームを既に符号化済みの参照フレームとの間で被写体の動きを補償して画像信号のフレーム間差分を取り、その差分信号のみを符号化する（非特許文献１参照）。

一方、視差補償予測は、参照フレームとして別のカメラで撮影されたフレームを用いることで被写体の視差を補償して、画像信号のフレーム間差分を取りながら符号化する（非特許文献２参照）。

ここで用いられる視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。視差補償予測では、これを二次元ベクトルで表現して符号化を行っている。図８に示す通り、視差がカメラと被写体のカメラからの距離（デプス）とに依存して発生する情報であるため、この原理を利用した視点合成予測（視点補間予測）と呼ばれる方式が存在する。

視点合成予測（視点補間予測）では、符号化側もしくは復号側で得られた多視点映像に対して、カメラの位置情報と三角測量の原理とを用いて被写体のデプスを推定し、その推定されたデプスを用いて符号化対象フレームを合成（補間）して予測画像とする方式である（特許文献１、非特許文献３参照）。なお、符号化側でデプスを推定する場合には、使用したデプスを符号化する必要がある。

視差補償予測や視点合成予測では、カメラの撮像素子の応答に個体差があったり、カメラごとにゲインコントロールやガンマ補正が行われていたり、カメラごとに被写体深度や絞りなどの設定が異なっていたり、シーンに方向依存の照明効果があったりすると、符号化効率が劣化する。この理由は、符号化対象フレームと参照フレームとで被写体の輝度や色が同じであるという前提で予測を行っているためである。

こうした被写体の輝度や色の変化に対応すべく検討された方式として、輝度補償や色補正と呼ばれるものがある。この方式においては、参照フレームの輝度や色を補正したものを予測に使用するフレームとすることで、符号化する予測残差を小さく抑える。

Ｈ．２６４では、１次関数を用いて補正するWeighted Prediction が採用されており（非特許文献１参照）、非特許文献３では、色テーブルを用いて補正する方式が提案されている。

特開２００７−０３６８００号公報，“映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体”

ITU-T Rec. H.264/ISO/IEC 11496-10, "Advanced video coding for generic audiovisual services", Final Committee Draft, Document JVT-E022d7, September 2002.(pp.10-13, pp.62-73) Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004. K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto, S.Shimizu, K.Kamikura, and Y.Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007.

上記の輝度補償や色補正を用いた符号化の場合、次の二つの問題が存在する。

一つ目の問題は、輝度補償・色補正パラメータを付加することによる符号量の増加である。通常の視差補償予測や視点合成（補間）予測では符号化する必要のなかった輝度補償・色補正パラメータを符号化する必要が生じるため、符号化効率が低下する。

二つ目の問題は、局所的なミスマッチへの対応能力の欠如である。ここで、ミスマッチとは、符号化対象フレームと参照フレームや視点合成画像との間に存在する輝度や色の不一致のことを言う。

通常の動画像符号化におけるフェードやフラッシュの場合、画面全体が同様に変化するため、単一の補正パラメータで十分な輝度補償や色補正を行うことが可能である。しかしながら、被写体が完全拡散反射体ではないことや、カメラごとに被写界深度やフォーカスが完全に一致していないことによるミスマッチはシーンではなく、被写体に依存するミスマッチであり局所的なものである。そのため、単一の補正パラメータによる輝度補償や色補正では予測差分を十分に小さくすることができない。

この問題に対して、局所的な変化に対応するために複数の補正パラメータを用いる方法も考えられる。しかしながら、この方法を用いると、複数の補正パラメータを符号化する符号量だけでなく、画像領域ごとにどの補正パラメータを用いるのかを示す情報を符号化する必要が生じるため、更なる符号量の増大を招くことになり一つ目の問題を解決することができない。

本発明はかかる事情に鑑みてなされたものであって、カメラ間で局所的な輝度や色のミスマッチを伴うような多視点画像（多視点の静止画像や動画像）においても、高能率な符号化を実現し、かつ、その実現にあたって必要とされる符号量の削減を実現する新たな多視点画像符号化および復号技術を提供することを目的とする。

［１］本発明の基本的な技術思想
前述の課題を解決するために、本発明では、符号化／復号対象フレームを分割して、領域ごとに符号化／復号を行う場合において、以下の手段を講ずる。

まず、処理対象領域だけでなく、その処理対象領域に隣接する既に符号化／復号済みの領域においても、同一の予測方法で予測画像を生成する。次に、隣接領域における予測画像と復号画像とから輝度や色のミスマッチを補正する補正パラメータを推定する。次に、推定した補正パラメータを用いて、処理対象領域について生成した予測画像を補正することで、実際に使用する補正予測画像を生成する。

符号化対象フレームと参照フレームとを比較して補正パラメータを算出する従来の方法の場合は、符号化対象フレームは復号側では入手不可能なため、補正パラメータを符号化する必要がある。

一方、本発明では、隣接領域における予測画像と復号画像とから補正パラメータを推定することから、符号化／復号済みフレームと参照フレーム（予測画像の生成元となったフレーム）とを比較して補正パラメータを算出する。どちらのフレームも復号側で入手可能なものであるため、補正パラメータを符号化する必要がない。つまり、本発明によって符号量増加の問題を解決することが可能である。

また、符号化処理は入力信号をできるだけ忠実に変換する処理であるため、符号化対象フレームと符号化／復号済みフレームはほぼ同じものとみなすことが可能である。つまり、本発明によって算出される補正パラメータは予測画像を符号化対象フレームに近づけ、符号化する予測差分を十分小さくすることができる。

また、本発明では、補正パラメータを処理対象領域ごとに隣接領域の情報を用いて推定する。これにより、局所的な輝度や色のミスマッチに応じた補正を行うことが可能となる。

上記の多視点画像符号化／復号において、推定した補正パラメータを用いて隣接領域の予測画像を補正し、その結果と隣接領域の符号化／復号済み画像とを比較することで、補正パラメータの信頼度を算出することができる。その信頼度が閾値を超えない場合（信頼度が低い場合）は、補正パラメータによる補正を行わずに、処理対象領域について生成した予測画像をそのまま補正予測画像としてもよい。なお、信頼度としては、補正した予測画像と符号化／復号済み画像の差分の最大値や分散値などが大きくなるほど、信頼度が低い値を示すことになる関数（逆数などのような関数）により算出される値を用いることが可能である。

また、補正パラメータを推定する際、隣接領域における予測画像と符号化／復号済み画像との画素ごとの差分を求め、その差分値に応じて隣接領域の画素をクラスタリングし、最も要素数の多いクラスタに属する画素のみを用いて補正パラメータを導出するという方法を用いることも可能である。

［２］本発明の構成
次に、本発明の多視点画像符号化装置および多視点画像復号装置の構成について説明する。

［２−１］本発明の多視点画像符号化装置の構成
本発明の多視点画像符号化装置は、第１のカメラで撮影された被写体の入力画像を複数の符号化対象領域に分割して、前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の既に符号化済みの画像を用いて、符号化対象領域ごとに予測符号化を行うことによって多視点画像（多視点の静止画像や動画像）を符号化する装置であって、（１）前記入力画像において符号化対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定部と、（２）符号化対象領域とサンプル領域とに属する画素について、前記第２のカメラで撮影された前記符号化済みの画像から予測画像を生成する予測画像生成部と、（３）サンプル領域についての予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度や色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、（４）補正パラメータを用いて、符号化対象領域についての予測画像を補正して第１の補正予測画像を生成する予測画像補正部と、（５）第１の補正予測画像を用いて、符号化対象領域の画像信号を符号化して符号データを生成する画像符号化部と、（６）この符号データを復号して、符号化対象領域における復号画像を生成する画像復号部とを備える。

本発明の実施形態による多視点画像符号化装置は、さらに、（７）推定された補正パラメータを用いて、サンプル領域に対する予測画像を補正して第２の補正予測画像を生成するサンプル画像補正部と、（８）この第２の補正予測画像および復号画像に基づいて、推定された補正パラメータを評価する補正パラメータ評価部とを備えてもよい。この場合には、予測画像補正部は、推定された補正パラメータの評価値と予め定められた閾値とを比較することによって、推定された補正パラメータの信頼度が高いと判断した場合には推定された補正パラメータを用いて符号化対象領域についての予測画像を補正して前記第１の補正予測画像を生成し、この補正パラメータの信頼度が低いと判断した場合には符号化対象領域に対する予測画像を第１の予測画像とするようにしてもよい。

また、本発明の実施形態による多視点画像符号化装置は、さらに、（９）サンプル領域に属する画素を、予測画像と復号画像との差分値を用いてクラスタリングするサンプル画素分類部と、（１０）クラスタリングで得られたクラスタの内、最も要素数の多いクラスタに属する画素をサンプル領域として設定しなおして修正されたサンプル領域を設定するサンプル領域修正部とを備えてもよい。この場合には、補正パラメータ推定部は、修正されたサンプル領域に属する画素のみを用いて補正パラメータの推定を行うようにしてもよい。

以上の各処理手段が動作することで実現される本発明の多視点画像符号化方法はコンピュータプログラムでも実現できる。このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現する。

［２−２］本発明の多視点画像復号装置の構成
本発明の多視点画像復号装置は、第１のカメラで撮影された被写体の画像を前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の画像を用いて符号化した復号対象画像の符号データを、前記第２のカメラで撮影された既に復号済みの前記被写体の画像を用いて、前記復号対象画像を分割した複数の復号対象領域ごとに復号を行う装置であって、（１）前記復号対象画像において復号対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定部と、（２）復号対象領域と設定されたサンプル領域とに属する画素について、前記第２のカメラで撮影された前記符号化済みの画像から予測画像を生成する予測画像生成部と、（３）設定されたサンプル領域についての予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、（４）この補正パラメータを用いて、復号対象領域に対する予測画像を補正して第１の補正予測画像を生成する予測画像補正部と、（５）この第１の補正予測画像を用いて、復号対象領域の画像信号を符号データから復号する画像復号部とを備える。

本発明の実施形態による多視点画像復号装置は、さらに、（６）推定された補正パラメータを用いて、サンプル領域についての前記予測画像を補正して第２の補正予測画像を生成するサンプル画像補正部と、（７）この第２の補正予測画像および前記復号画像に基づいて、推定された補正パラメータを評価する補正パラメータ評価部とを備えてもよい。この場合には、予測画像補正部は、前記補正パラメータの評価値と予め定められた閾値とを比較することによって、前記補正パラメータの信頼度が高いと判断した場合にはこの補正パラメータを用いて復号対象領域についての前記予測画像を補正して前記第１の補正予測画像を生成し、前記補正パラメータの信頼度が低いと判断した場合には復号対象領域についての前記予測画像を前記第１の予測画像とするようにしてもよい。

また、本発明の実施形態による多視点画像復号装置は、さらに、（８）サンプル領域に属する画素を、前記予測画像と前記復号画像との差分値を用いてクラスタリングするサンプル画素分類部と、（９）クラスタリングで得られたクラスタの内、最も要素数の多いクラスタに属する画素をサンプル領域として設定しなおして修正されたサンプル領域を設定するサンプル領域修正部とを備えてもよい。この場合には、補正パラメータ推定部は、修正されたサンプル領域に属する画素のみを用いて前記補正パラメータの推定を行うようにしてもよい。

以上の各処理手段が動作することで実現される本発明の多視点画像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現する。

本発明によれば、カメラ間で輝度や色のミスマッチが局所的に生じている場合においても、このミスマッチに対処するための補正パラメータを局所的に求めるようにしていることから、予測差分を小さくすることができるようになる。したがって、効率的な多視点画像や多視点動画像の符号化および復号を実現することができる。

しかも、本発明によれば、そのようにして求める補正パラメータを別途符号化／復号する必要がないことから、多視点画像や多視点動画像の符号化および復号にあたっての符号量を大幅に削減することができる。

本発明の第１の実施形態による多視点映像符号化装置を示すブロック図である。 本発明の第１の実施形態による多視点映像符号化装置が実行する処理を示すフローチャートである。 本発明の第１の実施形態による多視点映像符号化装置が実行する処理の詳細を示すフローチャートである。 本発明の第１の実施形態による多視点映像符号化装置が実行する処理を示すフローチャートである。 本発明の第２の実施形態による多視点映像復号装置を示すブロック図である。 本発明の第２の実施形態による多視点映像復号装置が実行する処理を示すフローチャートである。 本発明の第２の実施形態による多視点映像復号装置が実行する処理の詳細を示すフローチャートである。 視差補償予測方式を示す図である。

以下、本発明の実施形態を示す図面を参照して本発明を詳細に説明する。

なお、以下の説明では、映像（フレーム）に位置を特定可能な情報（記号［］で挟まれた情報であり、座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた映像信号を示す。

［１］本発明の第１の実施形態例による多視点映像符号化装置

図１に、本発明の第１の実施形態に係る多視点映像符号化装置１００の装置構成を図示する。

図１に示すように、実施形態例１の多視点映像符号化装置１００は、符号化対象画像入力部１０１と、符号化対象画像メモリ１０２と、参照カメラ画像入力部１０３と、参照カメラ画像メモリ１０４と、予測画像生成部１０５と、補正パラメータ推定部１０６と、予測画像補正部１０７と、画像符号化部１０８と、画像復号部１０９と、復号画像メモリ１１０とを備える。
符号化対象画像入力部１０１は、第１のカメラで撮影された被写体の画像のフレームを符号化対象として入力する。符号化対象画像メモリ１０２は、入力された符号化対象フレームを蓄積する。参照カメラ画像入力部１０３は、第１のカメラとは別の第２のカメラで同一の被写体を撮影して得られた画像のフレームを参照フレームとして入力する。参照カメラ画像メモリ１０４は、入力された参照フレームを蓄積する。予測画像生成部１０５は、参照フレームを用いて符号化対象フレームの予測画像を生成する。補正パラメータ推定部１０６は、符号化対象領域の周辺領域における予測画像および復号画像に基づいて補正パラメータを推定する。予測画像補正部１０７は、推定された補正パラメータを用いて符号化対象領域の予測画像を補正する。画像符号化部１０８は、補正された予測画像を予測信号として使用しながら符号化対象領域の画像信号を符号化する。画像復号部１０９は、符号化された画像信号を復号する。復号画像メモリ１１０は、復号された画像を蓄積する。

図２に、このように構成される本実施形態の多視点映像符号化装置１００の実行する処理フローを示す。

次に、この処理フローに従って、本実施形態の多視点映像符号化装置１００が実行する処理について詳細に説明する。

まず、符号化対象画像入力部１０１により符号化対象フレームＯｒｇが入力されて符号化対象画像メモリ１０２に格納される。参照カメラ画像入力部１０３により参照フレームＲｅｆが入力されて参照カメラ画像メモリ１０４に格納される［Ａ１］。

入力される参照フレームは、既に符号化済みの画像を復号した画像フレームである。これは、復号装置で得られる情報と同じ情報を用いることでドリフト等の符号化ノイズの発生を抑えるためである。ただし、これらの符号化ノイズの発生を許容する場合は、符号化前のオリジナルが入力されても構わない。なお、参照フレームが複数存在する場合には、ここで複数の参照フレームが入力される。

次に、符号化装置１００は、符号化対象フレームを複数の符号化対象領域に分割し、その符号化対象領域ごとに予測画像を生成・補正しながら、画像符号化部１０８で符号化対象フレームの画像信号を符号化する［Ａ２−Ａ９］。

つまり、符号化処理ブロックのインデックスをblk、総符号化処理ブロック数をnumBlksで表すとすると、blkを０で初期化した後［Ａ２］、blkに１を加算しながら［Ａ８］、blkがnumBlksになるまで［Ａ９］、以下の処理［Ａ３−Ａ７］を繰り返す。

符号化処理ブロックごとに繰り返される処理では、符号化装置１００は、まず予測画像生成部１０５で参照フレームを用いながら、同一の生成手法を用いて、ブロックblk（符号化対象領域）とその周辺の符号化済み領域（サンプル領域）に対する予測画像Predを生成する［Ａ３］。

ここで、周辺領域としてはブロックblkに隣接する符号化処理ブロックや隣接画素など、様々な単位のものを用いることが可能である。どのような定義の周辺領域を使用しても構わないが、復号側で使用する定義と同じものを使用する必要がある。本実施形態例では、ブロックblkの周辺の符号化済み領域に含まれる画素の集合をN_blkで表し、ブロックblkに含まれる画素の集合をC_blkで表す。

予測画像の生成方法としては、参照フレームRefを用いるものであればどのようなものを用いても構わないが、ブロックblkとその周辺領域では同じ方法で予測画像Predを生成する。例えば、視差ベクトルを用いた視差補償予測を用いる場合には、単一の視差ベクトルdvを用いて、次の式（１）のように予測画像Predを生成する。

∀p∈C_blk∪N_blk, Pred[p]=Ref[p+dv] ・・・・ 式(1)
また、視点合成（補間）予測を用いる場合には、参照フレームRefを用いて符号化対象カメラの画像全体を合成（補間）した視点合成（補間）画像Synthに対して、次の式（２）のように予測画像Predを生成する。

∀p∈C_blk∪N_blk, Pred[p]=Synth[p] ・・・・ 式（２）
次に、周辺領域における予測画像と復号画像Decとを用いて、補正パラメータ推定部１０６で補正パラメータを求める［Ａ４］。

補正方法や補正パラメータ推定としては、どのような方法を用いても構わないが、復号側で使用されるものと同じ方法を用いる必要がある。

補正方法として、例えば、オフセットによる補正、１次関数を用いた補正、タップ長ｋの二次元線形フィルタ処理などがある。補正対象の画素をpとし、補正前の値をIn、補正後の値をOutとすると、これらは、それぞれ、以下の式（３）〜式（５）で表すことが可能である。

オフセットによる補正や１次関数を用いた補正は、線形フィルタ処理による補正の特殊な例である。なお、補正処理は線形処理である必要はなく、補正パラメータ推定が可能であれば非線形フィルタを使用しても構わない。非線形な補正方法の例としてはガンマ補正がある。ガンマ補正は次の式（６）で表すことができる。

これらの補正モデルの例では、それぞれ、offset、（α，β）、（｛F_i,j ｝, o）、（γ，ａ，ｂ）が補正パラメータとなる。

周辺領域においては、補正前の値が予測画像であり、理想的な補正後の値が復号画像となる。したがって、それらの差が小さくなるように補正パラメータを求めると精度の高い補正が行える。

例えば、オフセット値による補正では、次の式（７）を用いてoffsetを求めることが可能である。なお、‖‖はその集合の要素数を表す。

また、一次関数による補正を行う場合には、二乗誤差を最小化する補正パラメータを導出する方法として最小二乗法を用いて求めることが可能である。その場合の補正パラメータ（α，β）は次の式（８）で表される。

これらの補正パラメータは輝度や色差信号ごとに求めても良いし、ＲＧＢなどの色チャンネルごとに求めても構わない。また、例えば、Ｒチャンネルの０〜１２７と１２８〜２５５とで別の補正パラメータを用いた補正を行うというように、各チャンネルを細分化して一定のレンジごとに異なる補正を行うことも可能である。

補正パラメータが推定できたら、予測画像補正部１０７でブロックblk に対する予測画像Pred を補正パラメータに従って補正して、補正予測画像CPred を生成する［Ａ５］。

この補正予測画像CPred の生成処理は、具体的には、図３の処理フローに示すように、画素ごとに行われる。図３の処理フローにおいて、pix は画素の識別情報を表し、 numPixblk はブロックblk 内の画素数を表す。

例えば、オフセット値を用いた補正を行う場合には、次の式（９）に従ってCPred が生成される。

∀p∈Cblk ,CPred [p]=Pred [p]+offset ・・・・ 式（９）
補正方法（補正モデル）として、オフセット値を用いた式（３）の補正を行う場合の例で説明する。図４に示すように、処理Ａ４で、周辺の符号化済み領域の予測画像の画素値をIn とし、周辺の符号化済み領域の復号画像の画素値をOutとした場合のoffsetを推定することによって、画素値変換式となる補正モデルが決定される。次に、処理Ａ５で、その決定した画素値変換式のIn に、ブロックblk の予測画像の画素値を代入することによって、ブロックblk の予測画像が補正される。

ブロックblk の予測画像に対する補正が完了したら、画像符号化部１０８においてブロックblk に対する符号化対象フレームOrgを、補正予測画像CPred を予測信号としながら符号化を行う［Ａ６］。

どのような符号化方法を用いても構わないが、Ｈ．２６４など一般的な符号化手法では、OrgとCPred との差分に対して、ＤＣＴ・量子化・２値化・エントロピー符号化を施すことによって符号化を行う。

符号化結果のビットストリームは多視点映像符号化装置１００の出力となる。これとともに、ブロックごとに画像復号部１０９で復号され、復号結果であるところの復号画像Decが他のブロックにおける補正パラメータ推定のために復号画像メモリ１１０に格納される［Ａ７］。

このようにして、本実施形態の多視点映像符号化装置１００は、カメラ間で局所的な輝度や色のミスマッチを伴うような多視点映像を高能率に符号化できるようにするために、このミスマッチに対処するための補正パラメータを局所的に求める。さらに、符号量の増加を回避するために、その補正パラメータを別途符号化／復号する必要がない形態で求めるようにしつつ、その多視点映像の符号化を実行する。

本実施形態例では、予測モードが１つしか存在しない場合で説明をしたが、複数存在する予測化モードの中から符号化効率の最も良くなるものを１つ選択して符号化を行う多視点映像符号化装置１００の場合でも、本発明を用いることが可能である。

具体的には、各予測モードに対して処理Ａ３−Ａ６を行い、符号化効率を比較して、最終的に最も符号化効率の高かった予測モードに対する符号化結果を多視点映像符号化装置１００の出力とするとともに画像復号部１０９に送る。このとき、画像符号化部１０８から予測画像生成部１０５にどのような予測モードを用いるのかを伝える制御信号が送られる。図１の破線はこの制御信号を表している。

［２］本発明の第２の実施形態例による多視点映像復号装置
次に、本発明の第２の実施形態例について説明する。

図５に、本発明の実施形態例２に係る多視点映像復号装置２００の装置構成を図示する。

図５に示すように、本実施形態の多視点映像復号装置２００は、符号データ入力部２０１と、符号データメモリ２０２と、参照カメラ画像入力部２０３と、参照カメラ画像メモリ２０４と、予測画像生成部２０５と、補正パラメータ推定部２０６と、予測画像補正部２０７と、画像復号部２０８と、復号画像メモリ２０９とを備える。符号データ入力部２０１は、第１のカメラによって撮影された被写体の画像フレームの符号データを復号対象として入力する。符号データメモリ２０２は、入力された符号データを蓄積する。参照カメラ画像入力部２０３は、参照フレームとなる第１のカメラとは別の第２のカメラによって撮影された同一の被写体の画像フレームを入力する。参照カメラ画像メモリ２０４は、入力された参照フレームを蓄積する。予測画像生成部２０５は、参照フレームを用いて復号対象フレームの予測画像を生成する。補正パラメータ推定部２０６は、復号対象領域の周辺領域における予測画像および復号画像に基づいて補正パラメータを推定する。予測画像補正部２０７は、推定された補正パラメータを用いて復号対象領域の予測画像を補正する。画像復号部２０８は、補正された予測画像を予測信号として使用しながら復号対象領域の符号データを復号する。復号画像メモリ２０９は、復号された画像を蓄積する。

図６に、このように構成される第２実施形態の多視点映像復号装置２００の実行する処理フローを示す。

次に、この処理フローに従って、多視点映像復号装置２００が実行する処理について詳細に説明する。

まず、符号データ入力部２０１により符号データが入力されて符号データメモリ２０２に格納される。参照カメラ画像入力部２０３により参照フレームRef ）が入力されて参照カメラ画像メモリ２０４に格納される［Ｂ１］。参照フレームRef は、その参照フレームRef を撮影したカメラに対応付けて設けられる多視点映像復号装置２００により既に復号されている。

なお、参照フレームが複数存在する場合には、ここで複数の参照フレームが入力される。

次に、復号装置２００は、復号対象フレームを複数の復号対象領域に分割し、その復号対象領域ごとに予測画像を生成・補正しながら、画像復号部２０８で復号対象フレームの画像信号を復号する［Ｂ２−Ｂ８］。

つまり、復号処理ブロックのインデックスをblk 、総復号処理ブロック数を numBlksで表すとすると、復号装置２００は、blk を０で初期化した後［Ｂ２］、blk に１を加算しながら［Ｂ７］、blk が numBlks になるまで［Ｂ８］、以下の処理［Ｂ３−Ｂ６］を繰り返す。

復号処理ブロックごとに繰り返される処理では、復号装置２００は、まず予測画像生成部２０５で参照フレームを用いながら、同一の生成手法を用いて、ブロックblk （復号対象領域）とその周辺の復号済み領域（サンプル領域）に対する予測画像Pred を生成する［Ｂ３］。

ここでの処理は実施形態例１の処理Ａ３と同じである。処理Ａ３と同様に、周辺領域としてはブロックblk に隣接する復号処理ブロックや隣接画素など、様々な単位のものを用いることが可能である。どのような定義の周辺領域を使用しても構わないが、符号化側で使用された定義と同じものを使用する必要がある。本実施形態例では、ブロックblk の周辺の復号済み領域に含まれる画素の集合をN_blk で表し、ブロックblk に含まれる画素の集合をC_blkで表す。

なお、ここで行われる予測画像（第１および第２カメラ間の予測画像）の生成手法としては、符号化側で用いられたものと同様の方法を用いる必要がある。複数の予測モードの中から１つを選んで符号化が行われている場合、符号データにどの予測モードが使われたかを示す情報が含まれている。そのため、予測画像生成部２０５ではその制御信号を受け取り、指定された予測方法でブロックblk と周辺領域の予測画像を生成する。図５の破線はこの制御信号を表している。

次に、周辺領域における予測画像と復号画像Decとを用いて、補正パラメータ推定部２０６で補正パラメータを求める［Ｂ４］。

補正方法や補正パラメータ推定にはどのような方法を用いても構わないが、符号化側で使用されたものと同じ方法を用いる必要がある。ここでの処理は実施形態例１の処理Ａ４と同じである。

補正パラメータが推定できたら、予測画像補正部２０７でブロックblk に対する予測画像Pred を補正パラメータに従って補正して、補正予測画像CPred を生成する［Ｂ５］。

ここでの処理は実施形態例１の処理Ａ５と同じであり、図７の処理フローに示すように、画素ごとに行われる。ここで、図７の処理フローにおいて、pix は画素の識別情報を表し、 numPixblk はブロックblk 内の画素数を表す。

ブロックblk の予測画像に対する補正が完了したら、画像復号部２０８においてブロックblk に対する符号データを、補正予測画像CPred を予測信号としながら復号して、ブロックblk に対する復号画像Dec[blk] を得る［Ｂ６］。

ここで行われる復号処理は符号データを生成するときに用いられた方法に対応するものを使う必要がある。例えば、Ｈ．２６４を用いて符号化されている場合、エントロピー復号、多値化、逆量子化、逆ＤＣＴを行い復号された残差信号に対して予測信号を足し合わせることで復号処理が行われる。

復号結果の復号画像は多視点映像復号装置２００の出力となるとともに、他のブロックにおける補正パラメータ推定のために復号画像メモリ２０９に格納される。

このようにして、図５のように構成される多視点映像復号装置２００は、図１のように構成される多視点映像符号化装置１００の生成した多視点映像復号の符号データを復号するように処理する。

上記説明を行った実施形態例１および実施形態例２では、全てのブロックにおいて補正を行うようにしているが、ブロックごとに１ビットのフラグ情報を符号化することで、補正を行うか否かを選択する構成をとることもできる。

また、１ビットのフラグ情報を符号化せずに、補正パラメータの信頼度を測定し、その信頼度に応じて補正をするのか否かを選択する方法もある。

具体的には、処理Ａ４および処理Ｂ４において補正パラメータを求めた後に、以下の式（１０）〜式（１２）に示すような補正の確からしさと有効性を表現する値を求める。その値があらかじめ与えられた閾値よりも大きな場合にのみ、処理Ａ５および処理Ｂ５においてブロックblk の予測画像を補正する。

ここで、式（１０）の第１項は復号画像Decと補正前の予測画像Pred との差分絶対値和を示し、第２項は復号画像Decと補正予測画像CPred との差分絶対値和を示す。これらから、式（１０）は補正することによって真値と予測値との差分絶対値和がどの程度削減されたかを示す。また、式（１１）の第１項は復号画像Decと補正前の予測画像Pred との差分二乗和を示し、第２項は復号画像Decと補正予測画像CPred との差分二乗和を示すこれらから、式（１１）は、補正することによって真値と予測値との差分二乗和がどの程度削減されたかを示す。また、式（１２）は補正モデルが得られているサンプルに対してどの程度確からしいかを表す値である。

これらの式（１０）〜式（１２）に示す値は、どの値も処理対象ブロックではなく周辺領域の値を用いて求められているため、全体で用いる閾値のみを符号化して復号側に通知するだけでよい。

よりロバストな補正パラメータを求めるために、第１の実施形態および第２の実施形態における周辺領域の設定において、周辺領域における画素の中で外れ値を持つものを補正パラメータ推定時のサンプルから除く処理を行うことができる。

例えば、周辺領域における各画素を、復号画像と予測画像との差分を尺度にしてクラスタリングし、最も要素数の多いクラスタに属する画素のみを補正パラメータ推定に用いる周辺画素集合Nblk の要素とする。

最も簡単なクラスタリング方法としては、復号画像と予測画像との差分値の分散がある閾値以下なら全体として１つのクラスタとし、閾値より大きい場合は差分値の平均を境界にして２つのクラスタに分割する方法がある。この場合、全てのクラスタに含まれる画素の復号画像と予測画像との差分値の分散がある閾値以下になったらクラスタリングを終了する。

より複雑なクラスタリング方法としては、初めは各画素で１つのクラスタとし、ある２つのクラスタを融合した際に、クラスタ内の画素の復号画像と予測画像との差分値の分散の増加が最も少ないものを順に融合していく方法がある。この場合、どの２つのクラスタを融合してもある閾値を超える分散を持つクラスタが発生してしまう場合にクラスタリングを終了する。

なお、本実施形態例では、１つのカメラの１フレームを符号化又は復号する処理を説明したが、この処理をフレームごとに繰り返すことで多視点映像の符号化又は復号を実現することが可能である。さらに、カメラごとに繰り返すことで複数のカメラの多視点映像の符号化又は復号を実現することが可能である。

以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができる。そのプログラムはコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

また、以上の実施形態では多視点映像符号化装置および多視点映像復号装置を中心に説明したが、この多視点映像符号化装置の各部の動作に対応したステップによって本実施形態の多視点映像符号化方法を実現することができる。また、この多視点映像復号装置の各部の動作に対応したステップによって本実施形態の多視点映像復号方法を実現することができる。

以上、図面を参照して本発明の実施形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。
したがって、本発明を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

本発明は多視点画像の符号化手法に適用できるものであり、本発明を適用することで、カメラ間で輝度や色のミスマッチが局所的に生じている場合においても、効率的な多視点画像や多視点動画像の符号化および復号を実現できる。また、その実現にあたっての符号量を大幅に削減することができる。

１００ 多視点映像符号化装置
１０１ 符号化対象画像入力部
１０２ 符号化対象画像メモリ
１０３ 参照カメラ画像入力部
１０４ 参照カメラ画像メモリ
１０５ 予測画像生成部
１０６ 補正パラメータ推定部
１０７ 予測画像補正部
１０８ 画像符号化部
１０９ 画像復号部
１１０ 復号画像メモリ
２００ 多視点映像復号装置
２０１ 符号データ入力部
２０２ 符号データメモリ
２０３ 参照カメラ画像入力部
２０４ 参照カメラ画像メモリ
２０５ 予測画像生成部
２０６ 補正パラメータ推定部
２０７ 予測画像補正部
２０８ 画像復号部
２０９ 復号画像メモリ

Claims (16)

1. 第１のカメラで撮影された被写体の入力画像を複数の符号化対象領域に分割し、前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の既に符号化済みの画像を用いて前記符号化対象領域ごとに予測符号化を行う多視点画像符号化方法であって、
   前記入力画像において前記符号化対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定ステップと、
   前記符号化対象領域と前記サンプル領域とに属する画素について、前記第２のカメラで撮影された前記符号化済みの画像から予測画像を生成する予測画像生成ステップと、
   前記サンプル領域についての前記予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
   前記補正パラメータを用いて、前記符号化対象領域についての前記予測画像を補正して第１の補正予測画像を生成する予測画像補正ステップと、
   前記第１の補正予測画像を用いて、前記符号化対象領域の画像信号を符号化して符号データを生成する画像符号化ステップと、
   前記符号データを復号して、前記符号化対象領域の復号画像を生成する画像復号ステップと、
   を有する多視点画像符号化方法。
2. 請求項１に記載の多視点画像符号化方法において、
   前記補正パラメータを用いて、前記サンプル領域についての前記予測画像を補正して第２の補正予測画像を生成するサンプル画像補正ステップと、
   前記第２の補正予測画像および前記復号画像に基づいて、前記補正パラメータを評価する補正パラメータ評価ステップとを備え、
   前記予測画像補正ステップでは、前記補正パラメータの評価値と予め定められた閾値とを比較することによって、前記補正パラメータの信頼度が高いと判断した場合には前記補正パラメータを用いて前記符号化対象領域についての前記予測画像を補正して前記第１の補正予測画像を生成し、前記補正パラメータの信頼度が低いと判断した場合には前記符号化対象領域についての前記予測画像を前記第１の予測画像とする
   多視点画像符号化方法。
3. 請求項１に記載の多視点画像符号化方法において、
   前記サンプル領域に属する画素を、前記予測画像と前記復号画像との差分値を用いてクラスタリングするサンプル画素分類ステップと、
   前記クラスタリングで得られたクラスタの内、最も要素数の多いクラスタに属する画素を前記サンプル領域として設定しなおし修正されたサンプル領域を設定するサンプル領域修正ステップとを備え、
   前記補正パラメータ推定ステップでは、前記修正されたサンプル領域に属する画素のみを用いて前記補正パラメータの推定を行う
   多視点画像符号化方法。
4. 第１のカメラで撮影された被写体の画像を前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の画像を用いて符号化した復号対象画像の符号データを、前記第２のカメラで撮影された既に復号済みの前記被写体の画像を用いて、前記復号対象画像を分割した複数の復号対象領域ごとに復号を行う多視点画像復号方法であって、
   前記復号対象画像において前記復号対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定ステップと、
   前記復号対象領域と前記サンプル領域とに属する画素について、前記第２のカメラで撮影された前記復号済みの画像から予測画像を生成する予測画像生成ステップと、
   前記サンプル領域についての前記予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
   前記補正パラメータを用いて、前記復号対象領域についての前記予測画像を補正して第１の補正予測画像を生成する予測画像補正ステップと、
   前記第１の補正予測画像を用いて、前記復号対象領域の画像信号を前記符号データから復号する画像復号ステップと、
   を有する多視点画像復号方法。
5. 請求項４に記載の多視点画像復号方法において、
   前記補正パラメータを用いて、前記サンプル領域についての前記予測画像を補正して第２の補正予測画像を生成するサンプル画像補正ステップと、
   前記第２の補正予測画像および前記復号画像に基づいて、前記補正パラメータを評価する補正パラメータ評価ステップとを備え、
   前記予測画像補正ステップでは、前記補正パラメータの評価値と予め定められた閾値とを比較することによって、前記補正パラメータの信頼度が高いと判断した場合には前記補正パラメータを用いて前記復号対象領域についての前記予測画像を補正して前記第１の補正予測画像を生成し、前記補正パラメータの信頼度が低いと判断した場合には前記復号対象領域についての前記予測画像を前記第１の予測画像とする
   多視点画像復号方法。
6. 請求項４に記載の多視点画像復号方法において、
   前記サンプル領域に属する画素を、前記予測画像と前記復号画像との差分値を用いてクラスタリングするサンプル画素分類ステップと、
   前記クラスタリングで得られたクラスタの内、最も要素数の多いクラスタに属する画素をサンプル領域として設定しなおし修正されたサンプル領域を設定するサンプル領域修正ステップとを備え、
   前記補正パラメータ推定ステップでは、前記修正されたサンプル領域に属する画素のみを用いて前記補正パラメータの推定を行う
   多視点画像復号方法。
7. 第１のカメラで撮影された被写体の入力画像を複数の符号化対象領域に分割し、前記第１のカメラとは別の第２のカメラで撮影された前記被写体の既に符号化済みの画像を用いて前記符号化対象領域ごとに予測符号化を行う多視点画像符号化装置であって、
   前記入力画像において前記符号化対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定部と、
   前記符号化対象領域と前記サンプル領域とに属する画素について、前記第２のカメラで撮影された前記符号化済みの画像から予測画像を生成する予測画像生成部と、
   前記サンプル領域についての前記予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、
   前記補正パラメータを用いて、前記符号化対象領域についての前記予測画像を補正して補正予測画像を生成する予測画像補正部と、
   前記補正予測画像を用いて、前記符号化対象領域の画像信号を符号化して符号データを生成する画像符号化部と、
   前記符号データを復号して、前記符号化対象領域の復号画像を生成する画像復号部と、
   を有する多視点画像符号化装置。
8. 第１のカメラで撮影された被写体の画像を前記第１のカメラとは別の第２のカメラで撮影された前記被写体の画像を用いて符号化した復号対象画像の符号データを、前記第２のカメラで撮影された既に復号済みの前記被写体の画像を用いて、前記復号対象画像を分割した複数の復号対象領域ごとに復号を行う多視点画像復号装置であって、
   前記復号対象画像において前記復号対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定部と、
   前記復号対象領域と前記サンプル領域とに属する画素について、前記第２のカメラで撮影された前記復号済みの画像から予測画像を生成する予測画像生成部と、
   前記サンプル領域についての前記予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、
   前記補正パラメータを用いて、前記復号対象領域についての前記予測画像を補正して補正予測画像を生成する予測画像補正部と、
   前記補正予測画像を用いて、前記復号対象領域の画像信号を符号データから復号する画像復号部と、
   を有する多視点画像復号装置。
9. 請求項１ないし３のいずれか１項に記載の多視点画像符号化方法をコンピュータに実行させるための多視点画像符号化プログラム。
10. 請求項４ないし６のいずれか１項に記載の多視点画像復号方法コンピュータに実行させるための多視点画像復号プログラム。
11. 第１のカメラで撮影された被写体の入力画像を複数の符号化対象領域に分割し、前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の既に符号化済みの画像を用いて前記符号化対象領域ごとに予測符号化を行う多視点画像符号化方法であって、
    前記入力画像において前記符号化対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定ステップと、
    前記符号化対象領域に属する画素について、前記第２のカメラで撮影された前記符号化済みの画像から第１の予測画像を生成する第１の予測画像生成ステップと、
    前記サンプル領域に属する画素について、前記第２のカメラで撮影された前記符号化済みの画像から、前記第１の予測画像生成ステップと同じ方法で、第２の予測画像を生成する第２の予測画像生成ステップと、
    前記サンプル領域についての前記第２の予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
    前記補正パラメータを用いて、前記符号化対象領域についての前記第１の予測画像を補正して第１の補正予測画像を生成する予測画像補正ステップと、
    前記第１の補正予測画像を用いて、前記符号化対象領域の画像信号を符号化して符号データを生成する画像符号化ステップと、
    前記符号データを復号して、前記符号化対象領域の復号画像を生成する画像復号ステップと、
    を有する多視点画像符号化方法。
12. 請求項１１に記載の多視点画像符号化方法において、
    前記第１の予測画像生成ステップは、前記第２のカメラで撮影された前記符号化済みの画像から、前記第１のカメラで撮影された画像を合成して前記符号化対象領域についての視点合成画像を前記第１の予測画像として生成し、
    前記第２の予測画像生成ステップは、前記第２のカメラで撮影された前記符号化済みの画像から、前記第１のカメラで撮影された画像を合成して前記サンプル領域についての視点合成画像を前記第２の予測画像として生成する
    多視点画像符号化方法
13. 請求項１１または１２に記載の多視点画像符号化方法において、
    前記補正パラメータを用いて、前記第２の予測画像生成ステップで生成された前記第２の予測画像を補正して、第２の補正予測画像を生成するサンプル画像補正ステップと、
    前記第２の補正予測画像と前記サンプル領域についての復号画像とに基づいて、前記補正パラメータを評価する補正パラメータ評価ステップとを備え、
    前記予測画像補正ステップでは、前記補正パラメータの評価値と予め定められた閾値とを比較することによって、前記補正パラメータの信頼度が高いと判断した場合には前記補正パラメータを用いて前記符号化対象領域についての前記予測画像を補正して前記第１の補正予測画像を生成し、前記補正パラメータの信頼度が低いと判断した場合には前記符号化対象領域についての前記予測画像を前記第１の予測画像とする
    多視点画像符号化方法。
14. 第１のカメラで撮影された被写体の画像を前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の画像を用いて符号化した復号対象画像の符号データを、前記第２のカメラで撮影された既に復号済みの前記被写体の画像を用いて、前記復号対象画像を分割した複数の復号対象領域ごとに復号を行う多視点画像復号方法であって、
    前記復号対象画像において前記復号対象領域に隣接する既に復号済みの領域をサンプル領域として設定するサンプル領域設定ステップと、
    前記復号対象領域に属する画素について、前記第２のカメラで撮影された前記復号済みの画像から第１の予測画像を生成する第１の予測画像生成ステップと、
    前記サンプル領域に属する画素について、前記第２のカメラで撮影された前記復号済みの画像から、前記第１の予測画像生成ステップと同じ方法で、第２の予測画像を生成する第２の予測画像生成ステップと、
    前記サンプル領域についての前記第２の予測画像および前記サンプル領域について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
    前記補正パラメータを用いて、前記復号対象領域についての前記第１の予測画像を補正して第１の補正予測画像を生成する予測画像補正ステップと、
    前記第１の補正予測画像を用いて、前記復号対象領域の画像信号を前記符号データから復号する画像復号ステップと、
    を有する多視点画像復号方法。
15. 請求項１４に記載の多視点画像復号方法において、
    前記第１の予測画像生成ステップは、前記第２のカメラで撮影された前記復号済みの画像から、前記第１のカメラで撮影された画像を合成して前記復号対象領域についての視点合成画像を前記第１の予測画像として生成し、
    前記第２の予測画像生成ステップは、前記第２のカメラで撮影された前記復号済みの画像から、前記第１のカメラで撮影された画像を合成して前記サンプル領域についての視点合成画像を前記第２の予測画像として生成する
    多視点画像復号方法
16. 請求項１４または１５に記載の多視点画像復号方法において、
    前記補正パラメータを用いて、前記第２の予測画像生成ステップで生成された前記第２の予測画像を補正して、第２の補正予測画像を生成するサンプル画像補正ステップと、
    前記第２の補正予測画像と前記サンプル領域についての復号画像とに基づいて、前記補正パラメータを評価する補正パラメータ評価ステップとを備え、
    前記予測画像補正ステップでは、前記補正パラメータの評価値と予め定められた閾値とを比較することによって、前記補正パラメータの信頼度が高いと判断した場合には前記補正パラメータを用いて前記復号対象領域についての前記予測画像を補正して前記第１の補正予測画像を生成し、前記補正パラメータの信頼度が低いと判断した場合には前記復号対象領域についての前記予測画像を前記第１の予測画像とする
    多視点画像復号方法。

Images