JPH06113338A - 多眼式立体映像の動き補償予測方法 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、２眼以上の多眼式立体映像につい
て動き補償を行なう多眼式立体映像の動き補償予測方法
に関し、アンカバードバックグラウンドが生じた場合で
も、動き補償における参照画面と入力画面を近いものと
することにより、予測誤差を減少させて符号化効率の向
上を図ることを目的とする。 【構成】 ２眼以上の多眼式立体映像についての動き補
償予測を行なうに際して、まず該当カメラからの現在の
出力と過去の出力から、動き補償ベクトルとグローバル
動き補償ベクトルパラメータとを計算し、動き補償ベク
トルからグローバル動き補償ベクトルパラメータを除い
た局所的な動き補償ベクトルを求めた上で、グローバル
動き補償ベクトルパラメータを用いて、アンカバードバ
ックグラウンド領域を検出してから、アンカバードバッ
クグラウンド領域について他カメラからの過去の出力を
用いて、動き補償予測を行なうように構成する。

Description

【発明の詳細な説明】

【０００１】 （目次） 産業上の利用分野 従来の技術（図１９〜図２５） 発明が解決しようとする課題 課題を解決するための手段（図１） 作用（図１） 実施例 ・第１実施例の説明（図２〜図１２） ・第２実施例の説明（図１３〜図１８） ・その他 発明の効果

【０００２】

【産業上の利用分野】本発明は、２眼以上の多眼式立体
映像について動き補償を行なう多眼式立体映像の動き補
償予測方法に関する。

【０００３】

【従来の技術】図１９は従来の多眼式立体映像システム
を示す図であるが、この図１９において、１０２はカメ
ラであり、このカメラ１０２は複数個設けられていて、
各カメラ１０２は、被写体１０１を撮影するものであっ
て、縦と横で、各々のカメラ１０２の配置位置を少しず
つずらしている。

【０００４】カメラ１０２の位置を縦および横に、少し
ずつずらしているのは、１つのカメラからの出力を片方
の眼に対する入力として、両眼視差を形成して立体視が
得られるようにするためである。従って、このようにカ
メラ１０２を多数用いることにより、出力系でディスプ
レイ１０７を見る人間が、このディスプレイ１０７を見
る位置を変えても自然な立体視が得られるようになって
いる。

【０００５】１０３は符号化器であり、この符号化器１
０３は各カメラ１０２から入力される画像データを符号
化するものである。１０４は多重化（マルチプレクス）
器であり、この多重化器１０４は、符号化器１０３で符
号化された画像データを伝送路にのせて伝送するため
に、符号化された画像データを多重化するものである。
１０５は分離（デマルチプレクス）器であり、この分離
器１０５は、伝送路を介して入力された多重画像データ
を分離するものである。そして、１０６は復号器であ
り、この復号器１０６は、分離器１０５で分離された画
像データを、ディスプレイ１０７に映し出すために復号
を行なうものである。

【０００６】なお、ディスプレイ１０７には、一例とし
てレンチキュラ・レンズ（横方向にのみ視差がある場
合）または、ハエの眼レンズ（縦・横方向に視差がある
場合）を使用する。このような構成により、上記の多眼
式立体映像システムは以下に示す動作を有する。

【０００７】まず、静止している、あるいは動いている
被写体１０１を、位置を縦および横に、少しずつずらし
た複数のカメラ１０２で撮影する。次に、複数のカメラ
１０２から得られた画像データを高能率符号化し、多重
化器１０４により多重化（マルチプレクス）する。その
後、伝送路などを介して伝送し、受信側では分離器１０
５により分離（デマルチプレクス）した後、復号器１０
６により復号を行ない、ディスプレイ１０７に映し出
す。

【０００８】このディスプレイ１０７に映し出された映
像の一例として、図２０にタコを被写体としたときの、
縦５眼、横５眼のそれぞれのカメラからの出力を示す。
この例では、上下方向にも視差があることがわかる。さ
らに、別の例として、図２１にホログラフィック・ステ
レオグラムを構成する場合のシステムの一例を示す。こ
の図２１において、復号器１０６によって復号を行なう
ところまでは図１９で示した多眼式立体映像システムと
同様である。

【０００９】１０８は画像サイズ変換部であり、この画
像サイズ変換部１０８は、位相計算部１０９によるホロ
グラム位相計算の前処理として、画像サイズを変換する
ものである。位相計算部１０９は、画像サイズ変換後に
ディスプレイ等のホログラフィック出力系１１０へ出力
するためのホログラム位相計算を行なうものである。こ
のような構成により、上記のホログラフィック・ステレ
オグラムは、復号器１０６による復号を行なうところま
では、図１９で示した多眼式立体映像システムと同様の
動作を有する。

【００１０】しかし、復号器１０６で復号を行なった後
は、位相計算部１０９によるホログラム位相計算を行な
うために、画像サイズ変換部１０８により画像サイズを
変換する。その後、位相計算部１０９で位相計算を行な
い、ホログラフィック出力系１１０によって画像を出力
する。さて、多眼式立体映像の実現においては、画面の
動きを補償する必要があり、この動き補償方法として、
時間方向のブロックマッチング予測と、同時刻の、他の
位置のカメラの画像とのブロックマッチング予測（視差
補償）を行なう方法がある。

【００１１】図２２は、上記動き補償方法においての、
前者の一例である時間方向のブロックマッチング予測を
行なうものである。この時間方向のブロックマッチング
予測は、過去の画像と入力画像のブロックマッチングと
なり、原画面と参照画面の違いは時間だけが問題となる
ため、単眼式から多眼式まで方法は同じものである。こ
の図２２において、２０１はブロックマッチング及びベ
クトル検出部であり、このブロックマッチング及びベク
トル検出部２０１は、過去の画像と入力画像との、例え
ば１６×１６画素のブロックサイズに分割された各ブロ
ックを用いることにより、後述する様な方法で動きベク
トルを検出するようになっている。

【００１２】図２３は、上述のブロックマッチング及び
ベクトル検出部２０１を詳しく示した図であるが、この
図２３において、２０８はメモリであり、このメモリ２
０８は図２２におけるメモリ２０８に相当するものであ
って、参照画面に関する符号化された画像データを記憶
させておくものである。２０９は２乗誤差算出部であ
り、この２乗誤差算出部２０９は、入力画面と参照画面
との２乗誤差を算出するものであり、減算部２０９−１
と２乗計算部２０９−２と加算部２０９−３と遅れ要素
（Ｄ１）２０９−４とをそなえて構成されている。

【００１３】２１０はベクトル変換部であり、このベク
トル変換部２１０は、参照画面の符号化された画像デー
タについて、ベクトルに変換するものである。２１１は
ベクトル検出部であり、このベクトル検出部２１１は、
２乗誤差算出部２０９で入力画面と参照画面との２乗誤
差の累積によって算出した値を最小にするベクトルを検
出するようになっており、比較部２１１−１と遅れ要素
（Ｄ２）２１１−２，２１１−５とセレクタ２１１−
３，２１１−４とをそなえて構成されている。

【００１４】ところで、図２２における２０２は可変遅
延部であり、この可変遅延部２０２は、参照画面を可変
遅延させるものである。２０３は第１演算部であり、こ
の第１演算部２０３は、入力画面と、可変遅延部２０２
により可変遅延された参照画面との差分をとるものであ
る。２０４は符号化部であり、この符号化部２０４は入
力される画像データに符号化を施すものである。２０５
は可変長符号化器（ＶＬＣ）であり、この可変長符号化
器２０５は、発生頻度の高い符号語にはビット数を少な
く、発生頻度の低い符号語にはビット数を多く割り当て
ることにより、１符号語当たりの平均のビット数を減ら
して符号化ビットレートの低減して符号化を図るもので
ある。

【００１５】２０６はローカルデコード部であり、この
ローカルデコード部２０６は、符号化部２０４で符号化
された画像データについて、可変長符号化部２０５で可
変長符号化されるもののほか、参照画面としても用いる
ためにローカルデコードするものである。２０７は第２
演算部であり、この第２演算部２０７は、ローカルデコ
ード部２０６からの画像データと可変遅延部２０２から
の画像データに関し、所定の演算を施し、メモリ２０８
及び可変遅延部２０２に再送するものである。

【００１６】２０８はメモリであり、このメモリ２０８
は、参照画面に関する符号化された画像データを記憶さ
せておくものである。このような構成により、従来の動
き補償方法では、入力画面と参照画面のあるブロックで
のブロックマッチングを、ブロックマッチング及びベク
トル検出部２０１により行なう。

【００１７】つまり、ブロックマッチング及びベクトル
検出部２０１では、図２３におけるメモリ２０８によっ
て蓄積されていた参照画面と入力画面の２乗誤差を、２
乗誤差算出部２０９において算出する。ベクトル検出部
２１１では、この２乗誤差を最小にするベクトルを検出
して出力する。なお、ここでベクトル検出部２１１にお
けるセレクタ２１１−４に入力するベクトルは、参照画
面からの画像データをベクトル変換部２１０においてベ
クトルに変換したものである。

【００１８】ブロックマッチング後は、ブロックマッチ
ング及びベクトル検出部２０１により動きベクトルを検
出して可変遅延部２０２にて参照画面を可変遅延させ、
第１演算部２０３により入力画面との差分をとり、これ
を予測画面とする。この予測画面は符号化部２０４にお
いて符号化されて、その後可変長符号化器（ＶＬＣ）２
０５により可変長符号化されて送信される。

【００１９】また、参照画面とするために、符号化部２
０４で符号化された画像データについて、ローカルデコ
ード部２０６によりローカルデコードを行なう。なお、
上記動き補償を用いた、グローバル動き補償という考え
かたもある。グローバル動き補償とは、カメラのパン、
ズーム等による画面の全体的な動きを補償するものであ
る。例えば、個々のブロックについてローカルに動き補
償を行ない、その後、行列演算によって、垂直、水平方
向のパン、ズームの３つのパラメータを抽出している。
実際に使用するときには、グローバル動き補償のパラメ
ータと、ローカルな動き補償のパラメータを組み合わせ
て処理、伝送する。

【００２０】また、図２４は既述の動き補償方法におい
ての、後者の視差補償の一例のブロック図であるが、こ
の図２４において、２１２はブロックマッチング部であ
り、このブロックマッチング部２１２は、右眼側の入力
画像（原画、あるいは、符号化済の再生画）を参照画面
として、左眼側の入力画像とのブロックマッチングをと
るものである。

【００２１】２１３は視差補償ベクトル検出部であり、
この視差補償ベクトル検出部２１３は、ブロックマッチ
ング部２１２において、ブロックマッチングを行なって
から、視差補償ベクトルを検出するものである。従っ
て、上記のブロックマッチング部２１２と視差補償ベク
トル検出部２１３は、図２３におけるブロックマッチン
グ及びベクトル検出部１０１と同様の機能を有するもの
である。

【００２２】２１４は可変遅延部であり、この可変遅延
部２１４については図２２における可変遅延部１０２と
同様に、参照画面である右眼側の入力画像を可変遅延さ
せるものである。２１５は減算部であり、この減算部２
１５は右眼側における符号化部２１８ａまたは符号化部
２１８ｂによる入力画像の符号化後、視差補償ベクトル
に従って右眼側の符号化済該当ブロックを可変遅延部２
１４により切り出し、左眼側の入力画像との差分信号を
求めものである。２１６は符号化部であり、この符号化
部２１６は減算部２１５において差を取った画像データ
について、符号化を施すものである。

【００２３】２１７及び２２０は可変長符号化部であ
り、この可変長符号化部２１７，２２０は図１９の可変
長符号化部１０５と同様な可変長符号化を施すものであ
る。ここで、可変長符号化部２１７は左眼の画像データ
について可変長符号化を施すものであり、可変長符号化
部２２０は右眼の画像データについて可変長符号化を施
すものである。

【００２４】２１８ａ，２１８ｂは符号化部であり、こ
の符号化部２１８ａ，２１８ｂは、符号化部２１６と同
様に画像データについて符号化を施すものであるが、ブ
ロックマッチング部２１２によるブロックマッチングの
態様に従ってそなえる位置が異なる。つまり、参照画面
としてブロックマッチング部２１２に入力する右眼入力
画像は、符号化済のものを使用する場合は、符号化部２
１８ａをそなえ、符号化前、つまり原画を使用する場合
は、符号化部２１８ｂをそなえる。

【００２５】このような構成において、従来の視差補償
における、ブロックマッチングと視差補償ベクトルの検
出は、図２５に示すようなフローチャートに示すような
動作を有する。つまり、図２５におけるステップＳ１
で、右眼入力画像ＦＲ（Ｘ_OR，Ｙ_OR）を参照とし、左眼
入力画像ＦＬ（Ｘ_OL，Ｙ_OL）を視差補償するものであ
る。サーチ範囲はｘ方向に対し±Ｓｘ，ｙ方向に対し±
Ｓｙとする。ブロックの大きさをｘ方向に対し、Ｂｘ，
ｙ方向に対しＢｙとする。

【００２６】そして、ステップＳ２及びステップＳ３
で、右眼入力画像ＦＲ（Ｘ_OR，Ｙ_OR）及び左眼入力画像
ＦＬ（Ｘ_OL，Ｙ_OL）におけるブロック当たりで変動する
座標変位の初期値を設定する。つまり、Ｙ座標において
Ｊ＝１と設定し、Ｘ座標においてＩ＝１と設定する。そ
の後、ステップＳ４〜ステップＳ１２に渡って、２乗誤
差の累積が最小となるようなベクトルを選択する。つま
り、ステップＳ４〜ステップＳ６で、初期の座標値にお
けるベクトルの２乗誤差の累積値を設定し、ステップＳ
７〜ステップＳ２１でベクトルの最小値を決定する。

【００２７】そして、ステップＳ１２において、決定し
たベクトルの最小値を視差補償ベクトルとして出力し、
処理を終了する。こうしてブロックマッチングと視差補
償ベクトルが検出されると、右眼側の入力画像の符号化
部２１８ａ又は２１８ｂによる符号化後、視差補償ベク
トルに従って右眼側の符号化済該当ブロックを可変遅延
部２１４により切り出す。

【００２８】その後、減算部２１５によって左眼側の入
力画像との差分信号を求める。求まった差分信号に対
し、符号化部２１６により符号化を行なってから可変長
符号化部２１７によって可変長符号化して伝送する。右
眼側についても、可変長符号化部２２０によって可変長
符号化を行なってから伝送する。

【００２９】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動き補償方法及び視差補償方法では、パン、
ズーム等が激しく発生するようなシーンにおいては、ア
ンカバードバックグラウンド（Ｕｎｃｏｖｅｒｄ Ｂａ
ｃｋｇｒｏｕｎｄ）が生じ、正確な動き補償が出来ない
ため、符号化効率の低下を招くという課題がある。

【００３０】ここでアンカバードバックグラウンドと
は、参照画面において隠れていた、つまり、画面の範囲
ではなかった領域が、入力画面において現れてしまうこ
とをいう。本発明は、このような課題に鑑み創案された
もので、アンカバードバックグラウンドが生じた場合で
も、動き補償における参照画面と入力画面を近いものと
することにより、予測誤差を減少させて符号化効率の向
上を図ることができるようにした、多眼式立体映像の動
き補償予測方法を提供することを目的とする。

【００３１】

【課題を解決するための手段】図１は本発明の原理ブロ
ック図で、この図１において、２はスイッチであり、こ
のスイッチ２は、参照画面判定部７からの信号を受け
て、複数の画像（過去におけるもの）の中から、１つの
画像を選択するようにスイッチングして、動き補償予測
部３に出力するものである。

【００３２】３は動き補償予測部であり、この動き補償
予測部３は、２眼以上の多眼式立体映像についての動き
補償を行なうものであり、現在の画像出力と過去の画像
出力とが入力されている。４はブロックマッチング部で
あり、このブロックマッチング部４は現在の画像出力を
入力画面とし、過去の画像出力を参照画面としてブロッ
クマッチングを行なうことにより、動き補償ベクトルを
決定するようになっている。さらに、動き補償ベクトル
からグローバル動き補償ベクトルパラメータを除いた局
所的な動き補償ベクトルをも求めるものである。

【００３３】５はグローバルベクトル検出部であり、こ
のグローバルベクトル検出部５は、ブロックマッチング
部４において検出された動きベクトルをもとにして、グ
ローバル動き補償ベクトルパラメータを計算するもので
ある。６はアンカバードバックグラウンド予測部であ
り、このアンカバードバックグラウンド予測部６は、グ
ローバルベクトル検出部５において検出されたグローバ
ルベクトルパラメータに基づいて、アンカバードバック
グラウンド領域を検出するものである。

【００３４】具体的には、このアンカバードバックグラ
ウンド予測部６は、画面を拡大状態から小さくしていく
場合は、グローバルベクトル検出部５において検出した
グローバル動き補償ベクトルパラメータのズームパラメ
ータを用いて、画面の周辺部をアンカバードバックグラ
ウンド領域として検出するようになっている。また、こ
のアンカバードバックグラウンド予測部６は、画面を移
動させる場合は、グローバルベクトル検出部５において
検出したグローバル動き補償ベクトルパラメータの、パ
ンパラメータを用いて、動いた方の画面の周辺部をアン
カバードバックグラウンド領域として検出するようにな
っている。

【００３５】さらに、このアンカバードバックグラウン
ド予測部６は、ブロックマッチング部４で求めた局所的
な動き補償ベクトルを用い、現在処理しようとしている
ブロックの局所的な動き補償ベクトルが周囲のブロック
の局所的な動き補償ベクトルと比較して、異なる場合、
例えば、その差が第１しきい値を越える個数が第２しき
い値を越えた場合に、現在処理しようとしている当該ブ
ロックを、アンカバードバックグラウンド領域として検
出することも可能である。

【００３６】７は参照画面判定部であり、この参照画面
判定部７は、アンカバードバックグラウンド予測部６で
検出したアンカバードバックグラウンド領域について他
カメラからの過去の出力を用いる際に、処理をしようと
しているブロックの位置を参照して、どのカメラからの
過去の出力を用いるかを決定するようになっている。ま
た、この参照画面判定部７は、アンカバードバックグラ
ウンド予測部６にて検出したアンカバードバックグラウ
ンド領域について、他カメラからの過去の出力を用いる
際に、処理をしようとしているブロックのグローバル動
き補償ベクトルを参照して、どのカメラからの過去の出
力を用いるかを決定するように構成することも可能であ
る（以上、請求項１〜７）。

【００３７】

【作用】上述の本発明の多眼式立体映像の動き補償予測
方法では、２眼以上の多眼式立体映像についての動き補
償予測を行なうに際して、まず該当カメラからの現在の
出力と過去の出力から、ブロックマッチング部４とグロ
ーバル動き補償ベクトル検出部５とにより、動き補償ベ
クトルとグローバル動き補償ベクトルパラメータとを計
算する。

【００３８】さらに、ブロックマッチング部４により動
き補償ベクトルからグローバル動き補償ベクトルパラメ
ータを除いた局所的な動き補償ベクトルを求めた上で、
アンカバードバックグラウンド予測部６において、グロ
ーバル動き補償ベクトルパラメータを用いて、アンカバ
ードバックグラウンド領域を検出する。そして、参照画
面判定部７と動き補償予測部３とにより、このアンカバ
ードバックグラウンド領域について他カメラからの過去
の出力を用いて、動き補償予測を行なう（請求項１）。

【００３９】このとき、アンカバードバックグラウンド
予測部６においては、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、画面を拡大状態から小さくしていく場
合は、グローバル動き補償ベクトルパラメータのズーム
パラメータを用いて、画面の周辺部をアンカバードバッ
クグラウンド領域として検出する（請求項２）。

【００４０】また、アンカバードバックグラウンド予測
部６においては、グローバル動き補償ベクトルパラメー
タを用いて、アンカバードバックグラウンド領域を検出
するに際し、画面を移動させる場合は、グローバル動き
補償ベクトルパラメータのパンパラメータを用いて、動
いた方の画面の周辺部をアンカバードバックグラウンド
領域として検出する（請求項３）。

【００４１】なお、このアンカバードバックグラウンド
予測部６は、ブロックマッチング部４で求めた局所的な
動き補償ベクトルを用い、現在処理しようとしているブ
ロックの局所的な動き補償ベクトルが周囲のブロックの
局所的な動き補償ベクトルと比較して、異なる場合、例
えば、その差が第１しきい値を越える個数が第２しきい
値を越えた場合に、現在処理しようとしている当該ブロ
ックを、アンカバードバックグラウンド領域として検出
する（請求項４，５）。

【００４２】また、参照画面判定部７では、アンカバー
ドバックグラウンド予測部６で検出したアンカバードバ
ックグラウンド領域について他カメラからの過去の出力
を用いる際に、処理をしようとしているブロックの位置
を参照して、どのカメラからの過去の出力を用いるかを
決定する（請求項６）。さらに、この参照画面判定部７
は、アンカバードバックグラウンド予測部６にて検出し
たアンカバードバックグラウンド領域について、他カメ
ラからの過去の出力を用いる際に、処理をしようとして
いるブロックのグローバル動き補償ベクトルを参照し
て、どのカメラからの過去の出力を用いるかを決定する
ことも可能である（請求項７）。

【００４３】

【実施例】以下、図面を参照して本発明の実施例を説明
する。 （ａ）第１実施例の説明 図２は本発明の第１実施例を示すブロック図で、この図
２において、１２はスイッチであり、このスイッチ１２
は、参照画面判定部１７からの信号を受けて、ｎ個のカ
メラ出力（又はローカルデコード画面；以下、単にカメ
ラ出力というときはこのローカルデコード画面の場合を
も含む。）１ａ−１〜１ａ−ｎの中で、カメラ出力１ａ
−ｋのカメラ出力を選択してスイッチングし、動き補償
予測部３０に出力するものである。

【００４４】動き補償予測部３０は、２眼以上の多眼式
立体映像についての動き補償を行なうものであり、カメ
ラ出力１ａ−１〜１ａ−ｎがスイッチ１２によるスイッ
チングにより入力されるようになっている。この動き補
償予測部３０は、前述の、図２２で示した従来の動き補
償方法を示すブロック図と同様の機能を有するものであ
り、ブロックマッチング部３１と可変遅延部３２と第１
演算部３３と符号化部３４と可変長符号化部（ＶＬＣ）
３５とローカルデコード部３６と第２演算部３７とメモ
リ３８とをそなえて構成されており、それぞれ、図２２
におけるブロックマッチング部及びベクトル検出部１０
１，可変遅延部１０２，第１演算部１０３，符号化部１
０４，可変長符号化部（ＶＬＣ）１０５とローカルデコ
ード部１０６と第２演算部１０７とメモリ１０８とに対
応して同様の機能を有しているものである。

【００４５】また、図２における１４はブロックマッチ
ング部であり、このブロックマッチング部１４は、カメ
ラ出力１ａ−ｋを入力画面とし、カメラ出力１ａ−１〜
１ａ−ｎを参照画面としてブロックマッチングを行なう
ことにより、動きベクトルを各ブロック毎にとり、この
中から動き補償ベクトルを決定するものである。さら
に、この動き補償ベクトルからグローバル動き補償ベク
トルパラメータを除いた局所的な動き補償ベクトルをも
求めるようになっている。

【００４６】例えば、現画面ｋ（ｉ，ｊ）に対し、参照
画面ｋ′（ｉ＋ａ，ｊ＋ｂ）を用いて予測を行なおうと
する場合、動きベクトルＶは、Ｖ（ａ，ｂ）となる。な
お、このブロックマッチング部１４についても図２０に
示した従来のブロックマッチング部と同様の機能を有す
るものである。ところで、このブロックマッチング部１
４で出力する動き補償ベクトル及び局所的な動き補償ベ
クトルは、グローバルベクトル検出部１５に出力され
る。

【００４７】１５はグローバルベクトル検出部であり、
このグローバルベクトル検出部１５は、ブロックマッチ
ング部１４において検出された動きベクトルをもとにし
て、グローバル動き補償ベクトルパラメータを計算し、
１画面全体のグローバルベクトルを検出するものであ
る。このグローバル動き補償ベクトルパラメータは、水
平方向と垂直方向のパンとズームの３つのパラメータに
よって構成されている。例えば、ズームパラメータ，パ
ンパラメータの水平方向Ｐｈ，垂直方向Ｐｖとすると、
動きベクトルＶは、グローバルベクトルのみで、Ｖ（ｉ
ｚ＋Ｐｈ，ｊｚ＋Ｐｖ）と表すことができる。従って、
ズームインの時はｚは負の値をとり、ズームアウトの時
はｚは正の値をとる。

【００４８】アンカバードバックグラウンド予測部１６
は、グローバルベクトル検出部１５において検出された
３つのグローバル動き補償ベクトルパラメータに基づい
て、アンカバードバックグラウンド領域を検出するもの
である。ここで、アンカバードバックグラウンド領域と
は、参照画面において隠れていた、つまり、画面の範囲
ではなかった領域が、入力画面において現れる領域をい
う。

【００４９】そして、このアンカバードバックグラウン
ド予測部１６は、画面を拡大状態から小さくしていく場
合、グローバルベクトル検出部１５において検出したグ
ローバル動き補償ベクトルパラメータのズームパラメー
タを用いて、画面の周辺部をアンカバードバックグラウ
ンド領域として検出するようになっている。また、この
アンカバードバックグラウンド予測部１６は、画面を移
動させる場合、グローバルベクトル検出部１５において
検出したグローバル動き補償ベクトルパラメータのパン
パラメータを用いて、動いた方の画面の周辺部をアンカ
バードバックグラウンド領域として検出するようになっ
ている。

【００５０】なお、このアンカバードバックグラウンド
予測部１６は、局所的な動きに対応する為に、ブロック
マッチング部１４で求めた局所的な動き補償ベクトルに
ついても、グローバル動き補償ベクトルパラメータと共
に用いる。そして、現在処理しようとしているブロック
の局所的な動き補償ベクトルが周囲のブロックの局所的
な動き補償ベクトルと比較して、異なる場合、例えば、
その差が第１しきい値を越える個数が第２しきい値を越
えた場合に、現在処理しようとしている当該ブロック
を、アンカバードバックグラウンド領域として検出する
ようにもなっている。

【００５１】参照画面判定部１７は、アンカバードバッ
クグラウンド予測部１６で検出したアンカバードバック
グラウンド領域について他カメラからの過去の出力を用
いる際に、ブロックマッチング部１４から直接信号を入
力することにより、処理をしようとしているブロックの
位置を参照して、どのカメラからの過去の出力を用いる
かを決定するようになっている。

【００５２】上述の構成により、２眼以上の多眼式立体
映像についての動き補償予測を行なうに際して、まず該
当カメラからの現在の出力と過去の出力から、ブロック
マッチング部１４とグローバル動き補償ベクトル検出部
１５とにより、動き補償ベクトルとグローバル動き補償
ベクトルパラメータとを計算する。さらに、ブロックマ
ッチング部１４により動き補償ベクトルからグローバル
動き補償ベクトルパラメータを除いた局所的な動き補償
ベクトルを求めた上で、アンカバードバックグラウンド
予測部１６において、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出する。

【００５３】そして、参照画面判定部１７と動き補償予
測部３０とにより、このアンカバードバックグラウンド
領域について他カメラからの過去の出力を用いて、動き
補償予測を行なう。このとき、アンカバードバックグラ
ウンド予測部１６においては、グローバル動き補償ベク
トルパラメータを用いて、アンカバードバックグラウン
ド領域を検出するに際し、画面を拡大状態から小さくし
ていく場合は、グローバル動き補償ベクトルパラメータ
のズームパラメータを用いて、画面の周辺部をアンカバ
ードバックグラウンド領域として検出する。

【００５４】ここで、このアンカバードバックグラウン
ド予測部１６によるズームパラメータに注目したアンカ
バードバックグラウンド予測方法については図３に示す
フローチャートに従って行なわれる。すなわち、まず、
ステップＡ１で、グローバル動き補償ベクトルパラメー
タとして、ズームパラメータをｚとし、画像の中心点を
座標（０，０）とした場合のｘ軸方向の大きさの最大値
Ａ、ｙ軸方向の大きさの最大値Ｂとする。

【００５５】そして、ステップＡ２で、ズームパラメー
タｚの正負を調べる。ここで、ズームパラメータｚが負
である場合は、ズームインなるため、ステップＡ３で、
アンカバードバックグラウンドは無いと判断される。ま
た、ズームパラメータｚが正である場合は、ステップＡ
４で、画像の外枠から、ｘ軸方向にＡｚ，ｙ軸方向にＢ
ｚだけ内側の領域がアンカバードバックグラウンドとな
る。

【００５６】従ってアンカバードバックグラウンド領域
は、ステップＡ５で、全体として次式（１−１）〜（１
−４）に示すような領域をとる。 Ａ−ｕ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ （１−
１） −Ａ≦ｘ≦−Ａ＋ｕ，−Ｂ≦ｙ≦Ｂ （１−２） −Ａ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ＋Ｖ （１−３） −Ａ≦ｘ≦Ａ ，Ｂ−Ｖ≦ｙ≦Ｂ （１−４） また、アンカバードバックグラウンド予測部１６におい
ては、グローバル動き補償ベクトルパラメータを用い
て、アンカバードバックグラウンド領域を検出するに際
し、画面を移動させる場合は、グローバル動き補償ベク
トルパラメータのパンパラメータを用いて、動いた方の
画面の周辺部をアンカバードバックグラウンド領域とし
て検出する。

【００５７】今、例えば動きベクトルＶは、ズームパラ
メータをｚ、パンパラメータの水平成分をＰｈ、垂直成
分をＰｖとしてグローバルベクトルのみで表すと、Ｖ
（ｉｚ＋Ｐｈ，ｊｚ＋Ｐｖ）となる。従ってＰｈが正の
値の場合はカメラが右へ、負の値の場合はカメラが左
へ、Ｐｖが正の値の場合はカメラが上へ、負の値の場合
はカメラが下へ動いていることを示す。

【００５８】次に、このアンカバードバックグラウンド
予測部１６によるパンパラメータに注目したアンカバー
ドバックグラウンド領域の予測は、図４のフローチャー
トに示すような過程により行なわれる。すなわち、この
図４において、ステップＢ１で、パンパラメータの水平
成分をＰｈ、垂直成分をＰｖ、画像の中心点を座標
（０，０）とした場合のｘ軸方向の大きさの最大値を
Ａ、ｙ軸方向の大きさの最大値をＢと設定する。

【００５９】そして、ステップＢ２で、パンパラメータ
の垂直成分Ｐｖの正負を調べる。ここで、パンパラメー
タの垂直成分Ｐｖが正の値をとる場合は、カメラが上に
進んでいる場合となるため、ステップＢ３で、アンカバ
ードバックグラウンドは画像の上側にＰｖの幅で出現す
る。つまり、アンカバードバックグラウンド領域は、式
（２−１）に示すとおりである。

【００６０】 −Ａ≦ｘ≦Ａ ，Ｂ−Ｐｖ≦ｙ≦Ｂ （２−１） また、パンパラメータの垂直成分Ｐｖが負の値をとる場
合は、カメラが下に進んでいる場合となるため、ステッ
プＢ４で、アンカバードバックグラウンドは画像の下側
にＰｖの幅で出現する。つまり、アンカバードバックグ
ラウンド領域は、式（２−２）に示すとおりである。

【００６１】 −Ａ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ＋Ｐｖ （２−２） 次に、ステップＢ５で、パンパラメータの水平成分Ｐｈ
の正負を調べる。ここで、パンパラメータの水平成分Ｐ
ｈが正の値をとる場合は、カメラが右に進んでいる場合
となるため、ステップＢ６で、アンカバードバックグラ
ウンドは画像の右側にＰｈの幅で出現する。つまり、ア
ンカバードバックグラウンド領域は、式（２−３）に示
すとおりである。

【００６２】 Ａ−Ｐｈ≦ｘ≦Ａ ，−Ｂ≦ｙ≦Ｂ （２−３） また、パンパラメータの水平成分Ｐｈが負の値をとる場
合は、カメラが左に進んでいる場合だから、ステップＢ
７で、アンカバードバックグラウンドは画像の左側にＰ
ｈの幅で出現する。つまり、アンカバードバックグラウ
ンド領域は、式（２−４）に示すとおりである。

【００６３】 −Ａ≦ｘ≦−Ａ＋Ｐｈ，−Ｂ≦ｙ≦Ｂ （２−４） さらに、このアンカバードバックグラウンド予測部１６
は、ブロックマッチング部１４で求めた局所的な動き補
償ベクトルを用い、現在処理しようとしているブロック
の局所的な動き補償ベクトルが周囲のブロックの局所的
な動き補償ベクトルと比較して、異なる場合、例えば、
その差が第１しきい値を越える個数が第２しきい値を越
えた場合に、現在処理しようとしている当該ブロック
を、アンカバードバックグラウンド領域として検出す
る。

【００６４】この場合、アンカバードバックグラウンド
予測部１６では、グローバルベクトルとともに局所的な
動き補償ベクトルを用いることによって、アンカバード
バックグラウンド領域を予測するものであるが、ここ
で、局所的な動きとは、例えば静止した人物が手だけを
振っている場合等である。そして、このアンカバードバ
ックグラウンド領域の予測は、図５のフローチャートに
示すような過程に従って行なわれる。

【００６５】すなわち、まずステップＣ１で、初期設定
として、処理しようとしている局所的な動き補償ベクト
ルＶ（ｖｘ，ｖｙ）、その周囲のベクトルをＶ１（ｖｘ
１，ｖｙ１）〜Ｖ８（ｖｘ８，ｖｙ８）として設定し、
また、しきい値をＴＨ１（第１しきい値），ＴＨ２（第
２しきい値）として設定する。そして、ステップＣ２
で、Ｖｎ（ｎ＝１〜８）について、ＶとＶｎとのｘ方
向、ｙ方向それぞれの絶対値差分を計算し、それぞれＵ
ｘｎ，Ｕｙｎとする。

【００６６】つぎに、ステップＣ３とステップＣ４で、
それぞれ下記に示すカウント数とｎの値の初期設定を行
なう。その後、ステップＣ５〜ステップＣ８で、ｎ＝１
〜８においてＵｘｎ＜ＴＨ１かつＵｙｎ＜ＴＨ１となる
数をカウントする。そして、ステップＣ９で、このカウ
ント数としきい値ＴＨ２との大小関係を調べる。

【００６７】ここで、カウント数がしきい値ＴＨ２より
小さい場合は、ステップＣ１０で、当該ブロックはアン
カバードバックグラウンド領域であると判断し、そうで
ない場合は、ステップＣ１１で、当該ブロックはアンカ
バードバックグラウンド領域でないと判断する。ただ
し、局所的な動きを示す場合でも、ある動き補償ベクト
ルが首位のベクトルと極端に異なる場合は、アンカバー
ドバックグラウンドによるミスマッチの可能性が高いと
いうことが考えられる。例えば、しきい値ＴＨ１を２〜
３、ＴＨ２を１とすると、ベクトルの方向が２〜３画素
以内のずれであれば類似のベクトルとして、その個数
が、１つもない場合はアンカバードバックグラウンドに
よるミスマッチの可能性が大きいということが判断され
る。

【００６８】そして、その後は上記において、アンカバ
ードバックグラウンド領域と予測された領域の和集合を
とり、局所的なアンカバードバックグラウンドをも含む
ブロックを全てアンカバードバックグラウンド領域とし
て予測するのである。すなわち、この場合は、図６に示
すようなフローチャートにより、アンカバードバックグ
ラウンド領域の予測が行われる。

【００６９】まず図６におけるステップＤ１で、初期設
定として、各要素の値が全て０の配列Ｂ₁ 〜Ｂ₃ ，Ｂ₀
を設定する。これらの配列は１ビットの配列であって、
各要素は画面中の画素の数と対応している。ここで、ス
テップＤ２で、ズームパラメータを用いてアンカバード
バックグラウンド領域と判定された画素を「１」にした
配列をＢ₁ とする。次に、ステップＤ３で、パンパラメ
ータを用いてアンカバードバックグラウンド領域と判定
された画素を「１」にした配列をＢ₂ とする。さらに、
ステップＤ４で、局所的な動きに注目してアンカバード
バックグラウンド領域と判定された画素を「１」にした
配列をＢ₃ とする。

【００７０】その後、ステップＤ５で、配列Ｂ₁ 〜Ｂ₃
を画素毎に論理和を取ったものを、配列Ｂ₀ とし、ステ
ップＤ６で、配列Ｂ₀ をブロックに仕切る。このブロッ
ク中において「１」の画素がしきい値ＴＨ以上ならばア
ンカバードブロックと予測されるのである。上述の作用
を具体的な例で示したものが、図７及び図８である。ま
ず図７において、画面の画素数をもつ１ビットの配列を
Ｂ₀ とする（簡単のため８×８の配列とする）。Ｂ₀ の
各画素の初期状態は全て０である〔図７の（１）参
照〕。

【００７１】そして、ズームパラメータに注目してアン
カバードと判定された画素を「１」にした配列をＢ
₁ 〔図７の（２）参照〕，パンパラメータに注目してア
ンカバードと判定された画素を「１」にした配列をＢ₂
〔図７の（３）参照〕，局所的な動きに注目してアンカ
バードと判定された画素を「１」にした配列をＢ₃ とす
る〔図８の（１）参照〕。

【００７２】さらに、配列Ｂ₁ ，Ｂ₂ ，Ｂ₃ に対して画
素単位で論理和をとり配列Ｂ₀ とし〔図８の（２）参
照〕、次に配列Ｂ₀ をブロック毎に区切り、ブロックの
中のアンカバード画素の個数がしきい値ＴＨを越えた場
合アンカバードブロックとするのである〔図８の（３）
参照〕。なお、上述した図７における（１）〜（３）
は、それぞれ図６におけるステップＤ１〜ステップＤ３
に相当している過程であり、図８における（１）〜
（３）は、それぞれ図６におけるステップＤ４〜ステッ
プＤ６に相当している過程である。

【００７３】そして、アンカバードバックグラウンド領
域が上記のように予測された場合は、参照画面判定部１
７では、参照画面を過去の画面において存在しなかった
領域が画像の周辺部を取り囲むように現れる。このよう
に、スイッチ１２と動き補償予測部３０とブロックマッ
チング部１４とグローバルベクトル検出部１５とアンカ
バードバックグラウンド予測部１６と参照画面判定部１
７とをそなえることにより、アンカバードバックグラウ
ンド領域を確実に予測することができるのである。

【００７４】その後は、参照画面判定部１７において、
アンカバードバックグラウンド予測部１６で検出したア
ンカバードバックグラウンド領域について他カメラから
の過去の出力を用いる際に、処理をしようとしているブ
ロックの位置を参照して、どのカメラからの過去の出力
を用いるかを決定することが行なわれる。このように、
この実施例における参照画面判定部１７では、検出した
グローバル動き補償ベクトル等を用いずに、アンカバー
ドブロックの位置だけで参照画面の判定を行なうが、こ
のために、この参照画面判定部１７、は図９に示すよう
に、比較部５１−１〜５１−６，ＲＯＭ５２，第３演算
部５４，乗算部５５及び符号反転部５６をそなえて構成
されている。

【００７５】ここで、比較部５１−１〜５１−６は、ア
ンカバード判定結果によるアンカバードかどうかの判定
及び、現在処理しようとしているブロックの左上の座標
位置について判別するものであり、この判別結果は１ビ
ットの情報としてＲＯＭ５２に入力しているものであ
る。ＲＯＭ５２は、比較部５１−１〜５１−６からの、
現在処理しようとしているブロックの左上の座標判別情
報とカメラ位置を表す情報とをそれぞれ入力し、この入
力に応じてスイッチ１２にスイッチング情報を出力する
ものである。

【００７６】また、第３演算部５４は、ブロックの左上
の座標（ｉ，ｊ）における、「ｉ」と「ｊ」の絶対値の
和をとることにより、この和を比較器５１−２にて
「０」と比較し、当該座標が原点に位置しているかどう
かを判定するためのものである。乗算部５５は、座標
（ｉ，ｊ）のｘ座標「ｉ」と「Ｂ／Ａ」との乗算値を計
算することにより、この乗算値とｙ座標「ｊ」との大小
を、比較器５１−３にて比較させるためのものである。

【００７７】符号反転部５６は、乗算部５５の出力の符
号を反転させることにより、この値とｙ座標「ｊ」との
大小を、比較器５１−４にて比較させるためのものであ
る。従って、この参照画面判定部１７での参照画面判定
は、図１０，図１１に示すフローチャートに従って行な
われる。まず、図１０におけるステップＥ１で、画面の
中心の座標を原点（０，０）とした座標系を考え、処理
しようとしているブロックの左上の座標は（ｉ，ｊ）と
する。また、ｘ軸方向の画面の最大値をＡ，ｙ軸方向の
画面の最大値をＢとする。

【００７８】次に、ステップＥ２で、比較器５１−１で
のアンカバードブロックかどうかの判定と、比較器５１
−２での処理を使用としているブロックの左上の座標
（ｉ，ｊ）が原点に位置しているがどうかの判定を行な
う。ここで、アンカバードブロックでなければ、あるい
は、（ｉ，ｊ）が（０，０）の場合、ステップＥ３で、
参照画面は、同じカメラの過去の画面の同位置を中心と
してブロックマッチングを行なう。

【００７９】また、上記の場合に該当しない場合は、ス
テップＥ４で、カメラが右端であるか否かを調べ、右端
ならば、ステップＥ３で、参照画面は、同じカメラの過
去の画面の同位置を中心としてブロックマッチングを行
なう。そして、ステップＥ４において、カメラが右端で
ない場合は、ステップＥ５で、ｉが正で、かつｊがＢ×
ｉ／Ａ以下かつ、ｊが−Ｂ×ｉ／Ａ以上となるかを判断
する。つまり、座標（ｉ，ｊ）が、図１２における
（ａ）の領域にあるかどうかを判断する。

【００８０】ｉ及びｊがこれらの条件に該当する場合
は、ステップＥ６で、参照画面は処理しようとしている
カメラの真右側（あるいは真右端）に位置するカメラの
過去の画面の同位置を中心とし、ブロックマッチングを
行なう。ｉ及びｊがこれらの条件に該当しない場合は、
ステップＥ７で、カメラが左端であるか否かを調べる。
ここで、カメラが左端にある場合は、ステップＥ３で、
参照画面は、同じカメラの過去の画面の同位置を中心と
して、ブロックマッチングを行なう。

【００８１】ステップＥ７で、カメラが左端にない場合
は、図１１におけるステップＥ８で、ｉが負で、かつｊ
がＢ×ｉ／Ａ以上かつ、ｊが−Ｂ×ｉ／Ａ以下となるか
を判断する。つまり、座標（ｉ，ｊ）が、図１２におけ
る（ｂ）の領域にあるかどうかを判断する。ｉ及びｊが
これらの条件に該当する場合は、ステップＥ９で、参照
画面は処理しようとしているカメラの真左側（あるいは
真左端）に位置するカメラの過去の画面の同位置を中心
とし、ブロックマッチングを行なう。

【００８２】ステップＥ８で、ｉ及びｊがこれらの条件
に該当しない場合は、ステップＥ１０で、カメラが上端
であるか否かを調べる。ここで、カメラが上端にある場
合は、ステップＥ３で、参照画面は、同じカメラの過去
の画面の同位置を中心として、ブロックマッチングを行
なう。また、カメラが上端にない場合は、ステップＥ１
１で、ｊが正で、かつｊがＢ×ｉ／Ａ以上かつ、ｊが−
Ｂ×ｉ／Ａ以上となるかを判断する。つまり、座標
（ｉ，ｊ）が、図１２における（ｃ）の領域にあるかど
うかを判断する。

【００８３】ｉ及びｊがこれらの条件に該当する場合
は、ステップＥ１２で、参照画面は処理しようとしてい
るカメラの真上側（あるいは真上端）に位置するカメラ
の過去の画面の同位置を中心とし、ブロックマッチング
を行なう。ｉ及びｊがこれらの条件に該当しない場合
は、ステップＥ１３で、カメラが下端であるか否かを調
べる。ここで、カメラが下側にある場合は、ステップＥ
３で、参照画面は、同じカメラの過去の画面の同位置を
中心として、ブロックマッチングを行なう。

【００８４】また、カメラが下側にない場合は、ブロッ
クの左上の座標（ｉ，ｊ）が、図１２の（ｄ）の位置に
あるので、ステップＥ１４で、参照画面は処理しようと
しているカメラの真下側（真下端）に位置するカメラの
過去の画面の同位置を中心とし、ブロックマッチングを
行なう。上記のブロックマッチングは、動き補償予測部
３０によって行なわれるが、この動き補償予測部３０で
のブロックマッチングは、従来のものと同様に行なわれ
る。

【００８５】このように、予測されたアンカバードバッ
クグラウンド領域（位置情報）のみを用いることによ
り、他カメラの過去の画面を動き補償を行なう参照画面
の判定を行なうことができ、この動き補償における参照
画面は、より入力画面に近いものとなる。従って、予測
誤差が減少して符号化効率の向上を図ることができる。
また、いずれも過去の画像を用いているため、現在の画
像を用いるよりも各画像間の遅延等が生じにくい利点が
ある。

【００８６】（ｂ）第２実施例の説明 図１３は、本発明の第２実施例を示すブロック図である
が、この図１３に示す装置は、スイッチ１２，ブロック
マッチング部１４，グローバルベクトル検出部１５，ア
ンカバードバックグラウンド予測部１６，参照画面判定
部１７′及び動き補償予測部３０をそなえて構成されて
いる。

【００８７】ここで、スイッチ１２，ブロックマッチン
グ部１４，グローバルベクトル検出部１５，アンカバー
ドバックグラウンド予測部１６及び動き補償予測部３０
は前述の第１実施例のものと同様のものであるので、そ
の詳細な説明は省略する。この第２実施例において、前
述の第１実施例と異なるのは、参照画面判定部１７′で
あるが、この参照画面判定部１７′は、は、アンカバー
ドバックグラウンド予測部１６にて検出したアンカバー
ドバックグラウンド領域について、他カメラからの過去
の出力を用いる際に、処理をしようとしているブロック
のグローバル動き補償ベクトル等とアンカバードブロッ
クの位置を参照して、どのカメラからの過去の出力を用
いるかを決定するものである。

【００８８】このため、ブロックマッチング部１４で出
力する動き補償ベクトル及び局所的な動き補償ベクトル
は、グローバルベクトル検出部１５に出力されるほか、
参照画面判定部１７′へも出力されており、更にグロー
バル動き補償ベクトルパラメータは、アンカバードバッ
クグラウンド予測部１６のほかに、参照画面判定部１
７′へも入力されている。

【００８９】つまり、この参照画面判定部１７′での参
照画面判定方法は、グローバル動き補償ベクトルが向い
ている方向のカメラの出力を使う場合は、カメラが回り
込んでアンカバードとなった領域を映す場合が多いこと
を利用したものであるということができる。ところで、
参照画面判定部１７′は、上記のような機能を発揮する
ため、図１４に示すように、比較部６１−１〜６１−
５，ＲＯＭ６２，グローバル動き補償ベクトル計算部６
４−１，第１演算部６４−２及び符号反転部６５−１，
６５−２をそなえて構成されている。

【００９０】ここで、比較部６１−１〜６１−５は、ア
ンカバード判定結果によるアンカバードかどうかの判別
及び、グローバル動き補償ベクトル等の方向を判別をす
るものであり、この判別結果は、１ビットの情報として
ＲＯＭ６２に入力しているものである。ＲＯＭ６２は、
比較部６１−１〜６１−５からのグローバル動き補償ベ
クトルに関する判別情報とカメラ位置情報とをそれぞれ
入力し、これらの入力に応じてスイッチ１２にスイッチ
ング情報を出力するものである。

【００９１】グローバル動き補償ベクトル計算部６４−
１は、処理しようとしているブロックにおける、左上の
座標（ｉ，ｊ）とグローバル動き補償ベクトルパラメー
タ（Ｐｈ，Ｐｖ，ｚ）とを用いることにより、そのブロ
ックにおけるグローバル動き補償ベクトル（Ｕｘ，Ｕ
ｙ）を計算するものである。第１乗算部６４−２はグロ
ーバル動き補償ベクトルのｘ成分Ｕｘに対し定数「１／
４」を乗算するものである。また、第２乗算部６４−３
は、第１乗算部６４−２の出力に対して定数「３」乗算
して出力するものである。

【００９２】符号反転部６５−１及び符号反転部６５−
２は、それぞれ、第２乗算部６４−３の出力及び第１乗
算部６４−２の出力の符号を反転させて出力させるもの
である。上述の構成により、本発明の第２実施例にかか
る多眼式立体映像の動き補償予測方法では、２眼以上の
多眼式立体映像についての動き補償予測を行なうに際し
て、まず該当カメラからの現在の出力と過去の出力か
ら、ブロックマッチング部１４とグローバル動き補償ベ
クトル検出部１５とにより、動き補償ベクトルとグロー
バル動き補償ベクトルパラメータとを計算する。

【００９３】さらに、ブロックマッチング部１４により
動き補償ベクトルからグローバル動き補償ベクトルパラ
メータを除いた局所的な動き補償ベクトルを求めた上
で、アンカバードバックグラウンド予測部１６におい
て、グローバル動き補償ベクトルパラメータを用いて、
アンカバードバックグラウンド領域を検出する。そし
て、参照画面判定部１７′と動き補償予測部１３とによ
り、このアンカバードバックグラウンド領域について他
カメラからの過去の出力を用いて、動き補償予測を行な
う。

【００９４】このとき、アンカバードバックグラウンド
予測部１６においては、グローバル動き補償ベクトルパ
ラメータを用いて、アンカバードバックグラウンド領域
を検出するに際し、画面を拡大状態から小さくしていく
場合は、グローバル動き補償ベクトルパラメータのズー
ムパラメータを用いて、画面の周辺部をアンカバードバ
ックグラウンド領域として検出する。このときの詳細な
フローチャートは図３に示すものと同じである。

【００９５】また、アンカバードバックグラウンド予測
部１６においては、グローバル動き補償ベクトルパラメ
ータを用いて、アンカバードバックグラウンド領域を検
出するに際し、画面を移動させる場合は、グローバル動
き補償ベクトルパラメータのパンパラメータを用いて、
動いた方の画面の周辺部をアンカバードバックグラウン
ド領域として検出する。このときの詳細なフローチャー
トは、図４に示すものと同じである。

【００９６】なお、このアンカバードバックグラウンド
予測部１６は、ブロックマッチング部１４で求めた局所
的な動き補償ベクトルを用い、現在処理しようとしてい
るブロックの局所的な動き補償ベクトルが周囲のブロッ
クの局所的な動き補償ベクトルと比較して、異なる場
合、例えば、その差が第１しきい値を越える個数が第２
しきい値を越えた場合に、現在処理しようとしている当
該ブロックを、アンカバードバックグラウンド領域とし
て検出する。このときの詳細なフローチャートは、図５
に示すものと同一である。

【００９７】その後、このアンカバードバックグラウン
ド予測部１６では、上記ズームパラメータを用いたアン
カバードバックグラウンド領域とパンパラメータを用い
た当該領域と局所的な動き補償ベクトルを用いて検出し
た当該領域との論理和をとり、これをアンカバードバッ
クグラウンド領域として検出する。このときの詳細なフ
ローチャートは、図６に示すものと同一である。

【００９８】さらに、参照画面判定部１７′で、アンカ
バードバックグラウンド予測部１６にて 検出したアン
カバードバックグラウンド領域について、他カメラから
の過去の出力を用いる際に、処理をしようとしているブ
ロックのグローバル動き補償ベクトルと、現在処理しよ
うとしているベクトルの位置を参照して、どのカメラか
らの過去の出力を用いるかを決定することが行なわれ
る。

【００９９】そして、この参照画面判定部１７′で行な
われる参照画面判定方法では、図１５，図１６，図１７
に示すフローチャートに従って動作する。まず図１５に
おけるステップＦ１において、初期設定として、画面の
中心の座標を原点（０，０）とし、ｘ軸方向の画面の最
大値をＡ、ｙ軸方向の画面の最大値をＢとする座標系を
設定する。

【０１００】また、処理しようとしているブロックの左
上の座標を（ｉ，ｊ）とする。そして、元の動き補償ベ
クトルを（Ｖｅｃｘ，Ｖｅｃｙ）、グローバル動き補償
パラメータを（Ｐｈ，Ｐｖ，Ｚ）とし、元の動き補償ベ
クトルからグローバル動き補償の成分を除いた局所的な
動き補償ベクトル（Ｖｘ，Ｖｙ）とする。ここで、図１
３における参照画面判定部１７′での参照画面の判定時
には、アンカバードバックグラウンド予測部１６による
アンカバードバックグラウンドの予測は、すでに完了し
ている。

【０１０１】このため、ステップＦ２で、処理しようと
しているブロックが、アンカバードバックグラウンドか
どうかを図１４における比較部６１−１により判別す
る。ここで、アンカバードバックグラウンドでない場合
は、ステップＦ３で、参照画面は、同じカメラの過去の
画面の同位置を中心として、ブロックマッチングを行な
う。

【０１０２】また、当該ブロックがアンカバードバック
グラウンドである場合は、ステップＦ４で、ブロックに
おけるグローバル動き補償ベクトル（Ｕｘ，Ｕｙ）を計
算する。計算方法としては、グローバル動き補償パラメ
ータ（Ｐｈ，Ｐｖ，Ｚ）とブロックの座標（ｉ，ｊ）を
用いて計算する。なお、このグローバル動き補償ベクト
ル（Ｕｘ，Ｕｙ）の計算方法として、元の動き補償ベク
トルから局所的な動き補償ベクトルを引き算して算出す
る方法もある（ステップＦ４′）。

【０１０３】次に、ステップＦ５で、カメラが右端でな
いか否かを調べる。ここで右端であるならば、ステップ
Ｆ３で、参照画面は、同じカメラの過去の画面の同位置
を中心として、ブロックマッチングを行なう。また、右
端でなければ、ステップＦ６で、Ｕｙが−Ｕｘ／４以上
でかつＵｘ／４以下かどうかを判別する。つまり、動き
補償ベクトルのｙ成分Ｕｙが、図１８における（ａ）の
領域にあるかどうかを判別する。

【０１０４】ここで、Ｕｙが当該領域にある場合は、ス
テップＦ７で、参照画面は処理しようとしているカメラ
の真右側（あるいは真右端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。上記の場合のいずれにも該当しない場合は、ステッ
プＦ８で、カメラが右上端でないか否かを調べる。ここ
で、右上端ならば、ステップＦ３で、参照画面は、同じ
カメラの過去の画面の同位置を中心として、ブロックマ
ッチングを行なう。

【０１０５】また、カメラが右上端でない場合は、ステ
ップＦ９で、ＵｙがＵｘ／４以上Ｕｘ×３／４以下であ
るがどうかを判断する。つまり、動き補償ベクトルのｙ
成分Ｕｙが、図１８における（ｂ）の領域にあるかどう
かを判別する。ここで、Ｕｙが当該領域にある場合は、
ステップＦ１０で、参照画面は処理しようとしているカ
メラの右上側（あるいは右上端）に位置するカメラの過
去の画面の同位置を中心とし、ブロックマッチングを行
なう。

【０１０６】上記の場合に該当しないときは、図１６に
おけるステップＦ１１で、カメラが上端でないか否かを
調べる。ここで、上端であるならば、ステップＦ３で、
参照画面は、同じカメラの過去の画面の同位置を中心と
して、ブロックマッチングを行なう。また、カメラが上
端にない場合は、ステップＦ１２で、ＵｙがＵｘ×３／
４以上かつ−Ｕｘ×３／４以上の範囲に該当するかどう
かを判別する。つまり、動き補償ベクトルのｙ成分Ｕｙ
が、図１８における（ｃ）の領域にあるかどうかを判別
する。

【０１０７】ここで、Ｕｙが当該領域にある場合は、ス
テップＦ１３で、参照画面は処理しようとしているカメ
ラの上側（あるいは上端）に位置するカメラの過去の画
面の同位置を中心とし、ブロックマッチングを行なう。
また、Ｕｙが上記の範囲に該当しない場合は、ステップ
Ｆ１４で、カメラが左上端でないか否かを調べる。ここ
で、カメラが左上端にあるならば、ステップＦ３で、参
照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。

【０１０８】しかし、カメラが左上端に無い場合は、ス
テップＦ１５で、Ｕｙが−Ｕｘ／４以上かつＵｘ×３／
４以上の範囲にあるかどうかを判別する。つまり、動き
補償ベクトルのｙ成分Ｕｙが、図１８における（ｄ）の
領域にあるかどうかを判別する。ここで、Ｕｙが当該領
域にある場合は、ステップＦ１６で、参照画面は処理し
ようとしているカメラの左上側（あるいは左上端）に位
置するカメラの過去の画面の同位置を中心とし、ブロッ
クマッチングを行なう。

【０１０９】Ｕｙが上記の範囲に該当しない場合は、ス
テップＦ１７で、カメラが左端でないか否かを調べる。
ここで、カメラが左端にあるならば、ステップＦ３で、
参照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。しかし、カメラが左
端に無い場合は、図１７におけるステップＦ１８で、Ｕ
ｙがＵｘ／４以上−Ｕｘ／４以下の範囲にあるかどうか
を判別する。つまり、動き補償ベクトルのｙ成分Ｕｙ
が、図１８における（ｅ）の領域にあるかどうかを判別
する。

【０１１０】ここで、Ｕｙが前記の範囲にある場合は、
ステップＦ１９で、参照画面は処理しようとしているカ
メラの左側（あるいは左端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。Ｕｙが上記の範囲に該当しない場合は、ステップＦ
２０で、カメラが左下端にあるかどうかを判別する。こ
こで、カメラが左下端にある場合は、ステップＦ３で、
参照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。

【０１１１】しかし、カメラが左下端にない場合は、ス
テップＦ２１で、ＵｙがＵｘ×３／４以上Ｕｘ／４以下
の範囲にあるかどうかを判別する。つまり、動き補償ベ
クトルのｙ成分Ｕｙが、図１８における（ｆ）の領域に
あるかどうかを判別する。ここで、Ｕｙが前記の範囲に
ある場合は、ステップＦ２２で、参照画面は処理しよう
としているカメラの左下側（あるいは左下端）に位置す
るカメラの過去の画面の同位置を中心とし、ブロックマ
ッチングを行なう。

【０１１２】Ｕｙが上記の範囲に該当しない場合は、ス
テップＦ２３で、カメラが下端にあるかどうかを判別す
る。ここで、カメラが下端にある場合は、ステップＦ３
で、参照画面は同じカメラの過去の画面の同位置を中心
として、ブロックマッチングを行なう。ところが、カメ
ラが下端にない場合は、ステップＦ２４で、Ｕｙが−Ｕ
ｘ×３／４以下かつＵｘ×３／４以下の範囲にあるかど
うかを判別する。つまり、動き補償ベクトルのｙ成分Ｕ
ｙが、図１８における（ｇ）の領域にあるかどうかを判
別する。

【０１１３】そして、Ｕｙが前記の範囲にある場合は、
ステップＦ２５で、参照画面は処理しようとしているカ
メラの下側（あるいは下端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。Ｕｙが上記の範囲にない場合は、ステップＦ２６
で、カメラが右下端にあるかどうかを判別する。ここ
で、カメラが右下端にある場合は、ステップＦ３で、参
照画面は同じカメラの過去の画面の同位置を中心とし
て、ブロックマッチングを行なう。

【０１１４】しかし、カメラが右下端にない場合は、ス
テップＦ２７で、参照画面は処理しようとしているカメ
ラの右下側（あるいは下端）に位置するカメラの過去の
画面の同位置を中心とし、ブロックマッチングを行な
う。このように、スイッチ１２と動き補償予測部３０と
ブロックマッチング部１４とグローバルベクトル検出部
１５とアンカバードバックグラウンド予測部１６と参照
画面判定部１７′とをそなえることにより、アンカバー
ドバックグラウンド領域を確実に予測することができる
ほか、予測されたアンカバードバックグラウンド領域
と、検出されたグローバル動き補償ベクトル等を用いる
ことにより、他カメラの過去の画面を動き補償を行なう
参照画面の判定を行なうことができ、この動き補償にお
ける参照画面は、より入力画面に近いものとなる。従っ
て、予測誤差が減少して符号化効率の向上を図ることが
できる。また、いずれも過去の画像を用いているため、
現在の画像を用いるよりも各画像間の遅延等が生じにく
い利点がある。

【０１１５】（ｃ）その他 上記の各実施例では、ズームパラメータ，パンパラメー
タ，局所的な動きに注目して、アンカバードバックグラ
ウンド領域を総合的に検出したが、用途によっては、ズ
ームパラメータ，パンパラメータ，局所的な動きのいず
れか一又は一部の組み合わせに着目してアンカガードバ
ックグラウンド領域を検出することもできる。

【０１１６】

【発明の効果】以上詳述したように、本発明の多眼式立
体映像の動き補償予測方法によれば、２眼以上の多眼式
立体映像についての動き補償予測を行なうに際して、ま
ず該当カメラからの現在の出力と過去の出力から、動き
補償ベクトルとグローバル動き補償ベクトルパラメータ
とを計算し、該動き補償ベクトルから該グローバル動き
補償ベクトルパラメータを除いた局所的な動き補償ベク
トルを求めた上で、グローバル動き補償ベクトルパラメ
ータを用いて、アンカバードバックグラウンド領域を検
出してから、アンカバードバックグラウンド領域につい
て他カメラからの過去の出力を用いて、動き補償予測を
行なうことにより、予測誤差が減少して符号化効率の向
上を図ることができ、更には、各画像間の遅延等が生じ
にくい利点がある。

【０１１７】また、グローバル動き補償ベクトルパラメ
ータを用いて、アンカバードバックグラウンド領域を検
出するに際し、画面を拡大状態から小さくしていく場合
は、グローバル動き補償ベクトルパラメータのズームパ
ラメータを用いて、画面の周辺部をアンカバードバック
グラウンド領域として検出することにより、画面を拡大
状態から小さくしていく場合においても、正確な動き補
償を行なうことがき、従って符号化効率の向上、ひいて
は各画像間の遅延を減少させることができる等の利点が
ある。

【０１１８】そして、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、画面を移動させる場合は、グローバル
動き補償ベクトルパラメータのパンパラメータを用い
て、動いた方の画面の周辺部をアンカバードバックグラ
ウンド領域として検出することにより、画面を移動させ
る場合においても、正確な動き補償を行なうことがき、
従って符号化効率の向上、更には、各画像間の遅延を減
少させることができる等の利点がある。

【０１１９】さらに、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、局所的な動き補償ベクトルを用い、現
在処理しようとしているブロックの局所的な動き補償ベ
クトルが周囲のブロックの局所的な動き補償ベクトルと
比較して、異なる場合に、現在処理しようとしている当
該ブロックを、アンカバードバックグラウンド領域とし
て検出することにより、符号化の効率向上に資すること
ができる。

【０１２０】そして、グローバル動き補償ベクトルパラ
メータを用いて、アンカバードバックグラウンド領域を
検出するに際し、局所的な動き補償ベクトルを用い、現
在処理しようとしているブロックの局所的な動き補償ベ
クトルが周囲のブロックの局所的な動き補償ベクトルと
比較して、その差が第１しきい値を越える個数が第２し
きい値を越えた場合に、現在処理しようとしている当該
ブロックを、アンカバードバックグラウンド領域として
検出することにより、予測誤差が減少して符号化効率の
向上を図ることができる。また、各画像間の遅延等が生
じにくい利点がある。

【０１２１】ところで、アンカバードバックグラウンド
領域について他カメラからの過去の出力を用いる際に、
処理をしようとしているブロックの位置を参照して、ど
のカメラからの過去の出力を用いるかを決定することに
より、より動き補償における参照画面が、入力画面に近
いものとなり、その結果、予測誤差が減少して符号化効
率の向上を図ることができる。

【０１２２】また、アンカバードバックグラウンド領域
について他カメラからの過去の出力を用いる際に、処理
をしようとしているブロックのグローバル動き補償ベク
トルを参照して、どのカメラからの過去の出力を用いる
かを決定することにより予測誤差が減少して符号化効率
の向上を図ることができる利点がある。

【図面の簡単な説明】

【図１】本発明の原理ブロック図である。

【図２】本発明の第１実施例を示すブロック図である。

【図３】ズームパラメータを用いてアンカバードバック
グラウンド領域を検出する要領を説明するためのフロー
チャートである。

【図４】パンパラメータを用いてアンカバードバックグ
ラウンド領域を検出する要領を説明するためのフローチ
ャートである。

【図５】局所的な動きに注目してアンカバードバックグ
ラウンド領域を検出する要領を説明するためのフローチ
ャートである。

【図６】アンカバードバックグラウンド領域の検出要領
を説明するためのフローチャートである。

【図７】アンカバードバックグラウンド領域の検出要領
を具体的に説明するための図である。

【図８】アンカバードバックグラウンド領域の検出要領
を具体的に説明するための図である。

【図９】本発明の第１実施例にかかる参照画面判定部を
示すブロック図である。

【図１０】本発明の第１実施例にかかる参照画面判定要
領を説明するためのフローチャートである。

【図１１】本発明の第１実施例にかかる参照画面判定要
領を説明するためのフローチャートである。

【図１２】本発明の第１実施例にかかる参照画面を説明
する図である。

【図１３】本発明の第２実施例を示すブロック図であ
る。

【図１４】本発明の第２実施例にかかる参照画面判定部
を示すブロック図である。

【図１５】本発明の第２実施例にかかる参照画面判定要
領を説明するためのフローチャートである。

【図１６】本発明の第２実施例にかかる参照画面判定要
領を説明するためのフローチャートである。

【図１７】本発明の第２実施例にかかる参照画面判定要
領を説明するためのフローチャートである。

【図１８】本発明の第２実施例にかかる参照画面を説明
する図である。

【図１９】多眼式立体映像システムを示す図である。

【図２０】多眼式（５眼×５眼）のカメラの出力例を示
す図である。

【図２１】ホログラフィック・ステレオグラムを示す図
である。

【図２２】従来の動き補償方法を示すブロック図であ
る。

【図２３】従来の動き補償方法にかかるブロックマッチ
ングを示す図である。

【図２４】従来の視差補償方法を示すブロック図であ
る。

【図２５】従来のブロックマッチングと視差補償ベクト
ルの検出を説明するためのフローチャートである。

【符号の説明】

１ａ−１〜１ａ−ｎ カメラ出力 １−１〜１−ｎ カメラ出力 ２，１２ スイッチ ３，３０ 動き補償予測部 ４，１４，３１，２１２ ブロックマッチング部 ５，１５ グローバルベクトル検出部 ６，１６ アンカバードバックグラウンド予測部 ７，１７，１７′ 参照画面判定部 ３２，２０２，２１４ 可変遅延部 ３３，２０３ 第１演算部 ３４，２０４，２１６，２１８ａ，２１８ｂ 符号化部 ３５，２０５，２１７，２２０ 可変長符号化部 ３６，２０６ ローカルデコード部 ３７，２０７ 第２演算部 ３８，２０８ メモリ ５１−１〜５１−６，６１−１〜６１−５ 比較部 ５２，６２ ＲＯＭ ５３，６３ スイッチ ５４ 第３演算部 ５５ 乗算部 ５６，６５−１，６５−２ 符号反転部 ６４−１ グローバル動き補償ベクトル計算部 ６４−２ 第１乗算部 ６４−３ 第２乗算部 １０１ 被写体 １０２ カメラ １０３ 符号化器 １０４ マルチプレクス器 １０５ デマルチプレクス器 １０６ 復号器 １０７ ディスプレイ １０８ 画像サイズ変換部 １０９ 位相計算部 １１０ ホログラフィック出力系 ２０１ ブロックマッチング及びベクトル検出部 ２０９ ２乗誤差算出部 ２０９−１，２１５ 減算部 ２０９−２ ２乗計算部 ２０９−３ 加算部 ２０９−４，２１１−２，２１１−５ 遅れ要素 ２１０ ベクトル変換部 ２１１ ベクトル検出部 ２１１−１ 比較部 ２１１−３，２１１−４ セレクタ ２１３ 視差補償ベクトル検出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ２眼以上の多眼式立体映像についての動
   き補償予測を行なうに際して、 まず該当カメラからの現在の出力と過去の出力から、動
   き補償ベクトルとグローバル動き補償ベクトルパラメー
   タとを計算し、該動き補償ベクトルから該グローバル動
   き補償ベクトルパラメータを除いた局所的な動き補償ベ
   クトルを求めた上で、 該グローバル動き補償ベクトルパラメータを用いて、ア
   ンカバードバックグラウンド領域を検出してから、 該アンカバードバックグラウンド領域について他カメラ
   からの過去の出力を用いて、動き補償予測を行なうこと
   を特徴とする、多眼式立体映像の動き補償予測方法。
2. 【請求項２】 該グローバル動き補償ベクトルパラメー
   タを用いて、アンカバードバックグラウンド領域を検出
   するに際し、 画面を拡大状態から小さくしていく場合は、該グローバ
   ル動き補償ベクトルパラメータのズームパラメータを用
   いて、画面の周辺部を該アンカバードバックグラウンド
   領域として検出することを特徴とする請求項１記載の多
   眼式立体映像の動き補償予測方法。
3. 【請求項３】 該グローバル動き補償ベクトルパラメー
   タを用いて、アンカバードバックグラウンド領域を検出
   するに際し、 画面を移動させる場合は、該グローバル動き補償ベクト
   ルパラメータのパンパラメータを用いて、動いた方の画
   面の周辺部を該アンカバードバックグラウンド領域とし
   て検出することを特徴とする請求項１記載の多眼式立体
   映像の動き補償予測方法。
4. 【請求項４】 該グローバル動き補償ベクトルパラメー
   タを用いて、アンカバードバックグラウンド領域を検出
   するに際し、 局所的な動き補償ベクトルを用い、現在処理しようとし
   ているブロックの局所的な動き補償ベクトルが周囲のブ
   ロックの局所的な動き補償ベクトルと比較して、異なる
   場合に、現在処理しようとしている当該ブロックを、該
   アンカバードバックグラウンド領域として検出すること
   を特徴とする請求項１記載の多眼式立体映像の動き補償
   予測方法。
5. 【請求項５】 該グローバル動き補償ベクトルパラメー
   タを用いて、アンカバードバックグラウンド領域を検出
   するに際し、 局所的な動き補償ベクトルを用い、現在処理しようとし
   ているブロックの局所的な動き補償ベクトルが周囲のブ
   ロックの局所的な動き補償ベクトルと比較して、その差
   が第１しきい値を越える個数が第２しきい値を越えた場
   合に、現在処理しようとしている当該ブロックを、該ア
   ンカバードバックグラウンド領域として検出することを
   特徴とする請求項４記載の多眼式立体映像の動き補償予
   測方法。
6. 【請求項６】 該アンカバードバックグラウンド領域に
   ついて他カメラからの過去の出力を用いる際に、処理を
   しようとしているブロックの位置を参照して、どのカメ
   ラからの過去の出力を用いるかを決定することを特徴と
   する請求項１記載の多眼式立体映像の動き補償予測方
   法。
7. 【請求項７】 該アンカバードバックグラウンド領域に
   ついて他カメラからの過去の出力を用いる際に、処理を
   しようとしているブロックのグローバル動き補償ベクト
   ルを参照して、どのカメラからの過去の出力を用いるか
   を決定することを特徴とする請求項１記載の多眼式立体
   映像の動き補償予測方法。