JPH10191394A

JPH10191394A - 多視点画像符号化装置

Info

Publication number: JPH10191394A
Application number: JP34320696A
Authority: JP
Inventors: Toshio Nomura; 敏男野村; Ryuji Kitaura; 竜二北浦
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-12-24
Filing date: 1996-12-24
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】従来は、いかなる場合であっても動き補償を
行った後に視差補償を行うため、入力画像の性質変動に
対応できず、符号化効率が低下する場合も発生する。
また、低ビットレートで符号化を行なう場合、フレーム
レートを低くすることが多いが、このような場合には前
フレームと符号化フレームの時間的間隔が大きくなり、
それに伴って動き量も大きくなるため、動き補償が有効
に機能しなくなるという問題もある。【解決手段】本発明では、基準画像に対して動き補償
を行う第１の動き補償手段と、基準画像以外の視点の画
像であるところの視差画像に対して視差補償を行う視差
補償手段と、視差画像もしくは視差補償された視差画像
に対して動き補償を行なう第２の動き補償手段と、ブロ
ックごとに補償方法を選択する判断部とを備え、視差補
償手段において全てのブロックに対して視差ベクトルを
求めるとともに、符号化対象画像の復号画像と視差補償
画像との差分画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像高能率符号化
において、特に動き補償及び視差補償予測を用いた多視
点画像の高能率符号化装置に関するものである。

【０００２】

【従来の技術】ステレオ動画像の符号化方式の従来例
が、電子情報通信学会技術研究報告ＩＥ８９−１（１９
８９）に示されている。ここでは、２台のカメラを用い
たステレオ動画像を符号化する際、一方の画像は動き補
償フレーム間予測誤差を、他方の画像は動き補償フレー
ム間予測誤差に対して視差補償を行った後の予測誤差を
符号化する。

【０００３】

【発明が解決しようとする課題】上記従来例では、ステ
レオ動画像が時間的相関が高いだけでなく、左右画像間
の相関（空間的相関）も高いことを利用し、動き補償を
行った後に視差補償を行うことにより符号化効率を向上
させようとしている。

【０００４】しかしながら、いかなる場合であっても動
き補償を行った後に視差補償を行うため、入力画像の性
質変動に対応できず、符号化効率が低下する場合も発生
する。

【０００５】視差補償後の誤差電力が大きい場合には動
き補償フレーム間差分信号を量子化すればよいという記
述はあるが、詳細については述べられていない。

【０００６】また、低ビットレートで符号化を行なう場
合、フレームレートを低くすることが多いが、このよう
な場合には前フレームと符号化フレームの時間的間隔が
大きくなり、それに伴って動き量も大きくなるため、動
き補償が有効に機能しなくなるという問題もある。

【０００７】本発明は多視点画像符号化において、動き
補償と視差補償を有効に利用することによって高い符号
化効率を実現しつつ、性質の異なる入力画像にも柔軟に
対応でき、低ビットレートにおいても精度よい補償が可
能な多視点画像符号化装置を提供することを目的とす
る。

【０００８】

【課題を解決するための手段】本発明は上記目的を達成
するために、符号化単位を画像領域の一部であるところ
のブロックとする多視点画像符号化装置において、１つ
の視点の画像を基準画像と定め、前記基準画像に対して
動き補償を行う第１の動き補償手段と、前記基準画像以
外の視点の画像であるところの視差画像に対して視差補
償を行う視差補償手段と、前記視差画像もしくは視差補
償された前記視差画像に対して動き補償を行なう第２の
動き補償手段と、ブロックごとに補償方法を選択する判
断部とを備え、前記視差補償手段においては前記判断部
で選択される補償方法によらず全てのブロックに対して
視差ベクトルを求めるとともに、符号化対象画像の復号
画像と視差補償画像との差分画像を生成することを特徴
とする。

【０００９】また本発明では、視差ベクトルを符号化す
る際に、直前のブロックの視差ベクトルとの差分を符号
化してもよい。

【００１０】また本発明では、視差補償された前記視差
画像に対して動き補償を行なったブロックの量子化ステ
ップを、それ以外の補償方法を用いたブロックの量子化
ステップよりも小さくしてもよい。

【００１１】また本発明では、前記視差補償部と前記第
１および第２の動き補償手段を１つに統合してもよい。

【００１２】

【発明の実施の形態】図１に本発明の多視点画像符号化
装置の実施の形態を示す。本実施の形態は２眼式の例で
あり、入力部１には左目用画像Ｌｎ（ｎ＝１，２，…）
と右目用画像Ｒｎ（ｎ＝１，２，…）が入力されるが、
まず左目用画像の符号化について説明する。

【００１３】動画像の符号化においては、符号化の単位
をブロック（ブロックは例えば１６×１６画素で構成さ
れる）とし、ブロックマッチングを用いる動き補償予測
符号化が一般的に使用されているが、本実施の形態にお
いては左目用画像を基準画像とし、この符号化方法は、
この動き補償予測符号化の方法と同じである。

【００１４】また、左目用画像はフレーム画像、フィー
ルド画像のいずれでもよいが、ここではフレーム画像で
あるものとして説明する。

【００１５】図１に示すように左目用画像Ｌｎが入力部
１に入力されると、動き補償部２により前フレームの復
号画像を用いて動き補償され、検出された動きベクトル
が可変長符号化部６に伝送される。

【００１６】減算器３では、左目用画像Ｌｎと動き補償
された画像との差分がとられ予測誤差画像が生成され
る。この予測誤差画像は変換部４と量子化部５において
変換および量子化されて可変長符号化部６に伝送される
とともに、逆量子化部８と逆変換部９において逆量子化
および逆変換された後、動き補償された画像を加算器１
０において加えられて復号画像となり、フレームメモリ
１１に蓄えられる。

【００１７】次に右目用画像の符号化について説明す
る。右目用画像も符号化の単位はブロックであり、フレ
ーム画像、フィールド画像のいずれでもよいが、ここで
はフレーム画像であるものとして説明する。右目用画像
には補償方法によって４種類のブロックが存在する。

【００１８】Ａ）動き補償のみを行なうブロックＢ）視差補償のみを行なうブロックＣ）視差補償後に動き補償を行なうブロックＤ）補償を行なわないブロック判断部２５は、現在符号化しようとしているブロックを
上記Ａ）〜Ｄ）のどの方法で符号化するかを予測誤差の
値によって判断し、視差補償部１２および動き補償部１
４を制御する。

【００１９】該ブロックの予測誤差があらかじめ設定し
た閾値を越えている場合にはＤ）を選択し、補償を行な
わない。該ブロックの予測誤差があらかじめ設定した閾
値以下である場合には、Ａ）〜Ｃ）のうち、予測誤差が
最も小さくなる補償方式を選択する。

【００２０】視差補償部１２には右目用画像Ｒｎとフレ
ームメモリ１１からの左目用画像Ｌｎの復号画像が入力
され、ブロック毎に視差ベクトルが求まる。この視差ベ
クトルは全てのブロックに対して求めるものとし、求ま
った視差ベクトルは可変長符号化部６に伝送される。

【００２１】視差補償部１２では左目用画像Ｌ１の復号
画像と視差ベクトルを用いて、全てのブロックに対して
視差補償を行ない、その結果を減算器２３に渡す。減算
器２３では、右目用画像Ｒｎの復号画像と視差補償され
た画像との差分画像を作り、フレームメモリ２４に蓄え
る。

【００２２】動き補償部１４では右目用画像Ｒｎとフレ
ームメモリ２２からの前フレームの右目用画像Ｒｎ−１
の復号画像を用いて動きベクトルが求められる。

【００２３】判断部２５で視差補償を行なうと判断され
た場合には、動き補償部１４には減算器１３の出力であ
るところの視差補償後の予測誤差画像と、フレームメモ
リ２４に蓄えられている動き補償後に視差補償を行なっ
た前フレームの差分画像が入力され、動きベクトルが求
められる。求められた動きベクトルは、可変長符号化部
６に伝送される。

【００２４】減算器１３では、ブロックの視差予測誤差
の総和が閾値以下の場合に限り、右目用画像Ｒｎと視差
補償された画像との差分がとられ、その差分データが減
算器１５と動き補償部１４に渡される。

【００２５】ブロックの視差予測誤差の総和が閾値を越
えている場合は、視差補償部１２から視差補償された画
像が出力されず、差分はとられない。同様に減算器１５
では、ブロックの動き予測誤差の総和が閾値以下の場合
に限り、減算器１３の出力と動き補償された画像との差
分がとられる。

【００２６】ブロックの動き予測誤差の総和が閾値を越
えている場合は、動き補償部１４から動き補償された画
像が出力されず、差分はとられない。減算器１５の出力
は、変換部１６と量子化部１７を通って変換、量子化さ
れた後、可変長符号化部６と逆量子化部１８にそれぞれ
入力される。

【００２７】逆量子化部１８に入力されたデータは、逆
量子化された後、逆変換部１９において逆変換され、加
算器２０および加算器２１において補償画像を加えるこ
とによって、右目用画像Ｒｎの復号画像としてフレーム
メモリ２２に蓄えられる。なお、可変長符号化部６で可
変長符号化されたデータは、多重化部７で多重化されて
送出される。

【００２８】次に、図２を用いて２眼式立体画像３０を
符号化する手順について説明する。

【００２９】１）左目用画像３１の符号化…時刻ｔ１に
おける左目用画像３１をフレーム内符号化する。

【００３０】２）右目用画像３２の符号化…左目用画像
３１の復号画像を用いた視差補償により、時刻ｔ１にお
ける右目用画像３２に対してフレーム間符号化を行な
う。

【００３１】この時、全てのブロックに対して視差ベク
トルを求めるが、視差補償を行なうかどうかは、ブロッ
ク内の予測誤差の総和によって、ブロック毎に判定す
る。また、この視差ベクトルを用いて、右目用画像３２
から左目用画像３１の復号画像を差し引いた差分画像３
３を作成する。

【００３２】３）左目用画像３４の符号化…時刻ｔ２に
おける左目用画像３４は、前の左目用画像３１の復号画
像を用いた動き補償によりフレーム間符号化を行なう。

【００３３】４）右目用画像３５の符号化…時刻ｔ２に
おける右目用画像３５に対する符号化はブロック毎に次
の（ａ）から（ｄ）の手順で行なわれるが、これについ
て図３を用いて説明する。

【００３４】（ａ）右目用画像３５に対し、前フレーム
の右目用画像３２の復号画像を用いてブロックマッチン
グを行ない、その予測誤差がある閾値以下のとき動き補
償を行なうものとし（Ｊ１００）、右目用画像３５と求
めた動きベクトルで動き補償された右目用画像３２の復
号画像との差分をとり、その差分値を符号化する（Ｓ１
１４）。

【００３５】なお、ここでは視差補償を行なわないた
め、ここでの符号化のためには差分画像３６を作成する
必要はないが、次フレームの右目用画像を符号化する際
のステップＪ１０３における参照画像とするために、右
目用画像３５に対し、左目用画像３４の復号画像を用い
て視差ベクトルを求め（Ｓ１１２）、視差補償を行なっ
た左目用画像３４の復号画像と右目用画像３５との差分
をとることによって差分画像３６を作成しておく（Ｓ１
１３）。

【００３６】（ｂ）ステップＪ１００で動き補償を行な
わないと判定された場合は、右目用画像３５に対し、左
目用画像３４の復号画像を用いて視差ベクトルを求める
（Ｓ１２２）。

【００３７】この時、予測誤差がある閾値以下であれば
視差補償を行なうものとし（Ｊ１０２）、右目用画像３
５と視差補償された左目用画像３４の復号画像との差分
をとり（Ｓ１２３）、差分画像３６を作成する。

【００３８】差分画像３６に対し、前フレームの差分画
像３３を用いてブロックマッチングを行ない、その予測
誤差がある閾値以下でなければ（Ｊ１０３）動き補償を
行なわず、視差補償のみが行なわれた結果であるところ
の差分値を符号化する。

【００３９】（ｃ）ステップＪ１０３で動き補償を行う
と判定された場合は、差分画像３６と動き補償された差
分画像３３との差分をとり（Ｓ１２４）、その差分値を
符号化する。

【００４０】（ｄ）ステップＪ１０２で視差補償を行わ
ないと判定された場合は、右目用画像３５の画素値をそ
のまま符号化する。なお、右目用画像３５と動き補償さ
れた右目用画像３２の復号画像との差分をとり（Ｓ１３
２）、その差分値を符号化する。

【００４１】ここでの符号化のためには差分画像３６を
作成する必要はないが、次フレームの右目用画像を符号
化する際のステップＪ１０３における参照画像とするた
めに、ステップＳ１２２で求めた視差ベクトルを用い
て、視差補償を行なった左目用画像３４の復号画像と右
目用画像３５との差分をとることによって差分画像３６
を作成しておく（Ｓ１３１）。

【００４２】上記の手順では、手順（ａ）は動き補償の
みを、手順（ｃ）は視差補償のみを、手順（ｂ）は視差
補償後に動き補償を行ない、手順（ｄ）は補償を行なわ
ないことになる。

【００４３】ただし、手順（ａ）、（ｄ）では視差補償
を行なわないにもかかわらず差分画像３６を生成するの
で、補償方法によらず全てのブロックについて視差ベク
トルを持つとともに差分画像３６を生成することにな
る。この理由について、図４を用いて説明する。

【００４４】右目用画像３５の次フレームの右目用画像
を符号化することを考えると、手順（ｂ）、（ｃ）にお
いて、視差補償後の誤差画像に対して動き補償を行なう
かどうかを判断するためにブロックマッチングを行なわ
なければならない（ステップＪ１０３）。

【００４５】ところで、図４においては、一般にＡ、
Ｂ、Ｄのブロックの画素値に比べてＣのブロックの画素
値はずっと小さい。これは、視差補償と動き補償の２回
差分を取っているためである。ステップＪ１０３の時点
では、符号化対象のブロックは視差補償だけされている
ので、画素値の大きさとしてはＢのブロックとほぼ等し
い。

【００４６】ここで、図４中のＸ−Ｘ’（右目用画像３
５の復号画像）と、Ｙ−Ｙ’（差分画像３６）のライン
上の画素値を比較すると、Ｘ−Ｘ’上ではブロック境界
で変化が大きいのに対し、Ｙ−Ｙ’上ではさほど大きな
変動はない。

【００４７】したがって、Ｂ相当のブロックとマッチン
グを行なうには、単に右目用画像３５の復号画像を用い
るよりも、差分画像３６を用いた方が有利であることは
明らかである。この理由から、全てのブロックについ
て、視差補償だけを行なった差分画像を生成するのであ
る。

【００４８】また、ブロック毎に補償方法を切り替える
にもかかわらず、全てのブロックについて視差ベクトル
を求めるため、視差ベクトルを符号化する際に、直前の
ブロックの視差ベクトルとの差分だけを符号化すること
により、視差ベクトルの符号量を削減することができ
る。

【００４９】さらに、一般的にＣのブロックの画素値が
Ａ、Ｂ、Ｄのブロックの画素値に比べて小さいことか
ら、Ｃのブロックを量子化する際には、他のブロックよ
りも量子化ステップを小さくすると、復号画像の画質を
向上させることができる。

【００５０】以降、３）、４）の手順を繰り返して符号
化は行なわれる。ただし、３）、４）の手順を繰り返し
て符号化する際に、予測誤差の伝搬を防ぐため、１）、
２）の手順を、一定の周期で挿入してもよい。なお、本
実施の形態では右目用画像を基準画像としてもよい。ま
た、本実施の形態では２眼式立体画像の符号化について
述べたが、多視点立体画像においても同様の考えで符号
化できる。

【００５１】次に、本発明の他の実施の形態について、
図５を用いて説明する。本実施の形態は、図１における
動き補償部２、視差補償部１２、動き補償部１４を１つ
の補償部４０として統合したことを特徴とする。

【００５２】図１における上記３つの補償部は、いずれ
も符号化フレームと参照フレームの間のブロックマッチ
ングを行なうものであるから、図５における補償部４０
も、符号化フレーム４２、参照フレーム４３、ブロック
マッチング部４４と、選択部４１を加えた構成となって
いる。

【００５３】判断部４６からの指示により、選択部４１
で符号化フレーム４２、参照フレーム４３とする入力画
像を選択するとともに、ブロックマッチング部４４にお
ける探索範囲を設定する。このようにすることにより、
ハードウェアの小規模化を図ることができる。

【００５４】

【発明の効果】本発明の多視点画像符号化装置によれ
ば、符号化単位を画像領域の一部であるところのブロッ
クとする多視点画像符号化装置において、１つの視点の
画像を基準画像と定め、前記基準画像に対して動き補償
を行う第１の動き補償手段と、前記基準画像以外の視点
の画像であるところの視差画像に対して視差補償を行う
視差補償手段と、前記視差画像もしくは視差補償された
前記視差画像に対して動き補償を行なう第２の動き補償
手段とを備えるので、低ビットレートにおいても精度よ
い補償が可能である。

【００５５】また、ブロックごとに補償方法を選択する
判断部とを備えるようにしたので、性質の異なる入力画
像にも柔軟に対応することができる。

【００５６】さらに、前記視差補償手段においては前記
判断部で選択される補償方法によらず全てのブロックに
対して視差ベクトルを求めるとともに、符号化対象画像
の復号画像と視差補償画像との差分画像を生成するよう
にしたので、動き補償と視差補償を有効に利用すること
ができ、高い符号化効率を実現することができる。

【００５７】また、視差ベクトルを符号化する際に、直
前のブロックの視差ベクトルとの差分を符号化するよう
にしたので、視差ベクトルの情報量を削減することがで
きる。

【００５８】さらに、視差補償された前記視差画像に対
して動き補償を行なったブロックの量子化ステップを、
それ以外の補償方法を用いたブロックの量子化ステップ
よりも小さくするようにしたので、復号画像の画質をさ
らに向上させることができる。

【００５９】加えて、視差補償手段と２つの動き補償手
段を１つに統合することにより、ハードウェアの小規模
化を図ることができる。

【図面の簡単な説明】

【図１】本発明における多視点画像符号化装置の一実施
の形態の構成図である。

【図２】２眼式立体画像の符号化順序を説明する図であ
る。

【図３】右目用画像の符号化手順を示す図である。

【図４】復号画像と差分画像の画素値の違いを説明する
図である。

【図５】視差補償部と２つの動き補償部を統合した補償
部を説明する図である。

【符号の説明】

１画像入力部２、１４動き補償部３、１３、１５、２３減算器４、１６変換部５、１７量子化部６可変長符号化部７多重化部８、１８逆量子化部９、１９逆変換部１０、２０、２１加算器１１、２２、２４フレームメモリ１２視差補償部２５、４６判断部４０補償部４１選択部４２符号化フレーム４３参照フレーム４４ブロックマッチング部

Claims

【特許請求の範囲】

【請求項１】符号化単位を画像領域の一部であるとこ
ろのブロックとする多視点画像符号化装置において、１
つの視点の画像を基準画像と定め、前記基準画像に対し
て動き補償を行う第１の動き補償手段と、前記基準画像
以外の視点の画像であるところの視差画像に対して視差
補償を行う視差補償手段と、前記視差画像もしくは視差
補償された前記視差画像に対して動き補償を行なう第２
の動き補償手段と、ブロックごとに補償方法を選択する
判断部とを備え、前記視差補償手段においては前記判断
部で選択される補償方法によらず全てのブロックに対し
て視差ベクトルを求めるとともに、符号化対象画像の復
号画像と視差補償画像との差分画像を生成することを特
徴とする多視点画像符号化装置。
【請求項２】請求項１に記載の多視点画像符号化装置
において、視差ベクトルを符号化する際に、直前のブロ
ックの視差ベクトルとの差分を符号化することを特徴と
する多視点画像符号化装置。
【請求項３】請求項１に記載の多視点画像符号化装置
において、視差補償された前記視差画像に対して動き補
償を行なったブロックの量子化ステップを、それ以外の
補償方法を用いたブロックの量子化ステップよりも小さ
くすることを特徴とする多視点画像符号化装置。
【請求項４】請求項１に記載の多視点画像符号化装置
において、前記視差補償部と前記第１および第２の動き
補償手段を１つに統合することを特徴とする多視点画像
符号化装置。