JPWO2017134770A1

JPWO2017134770A1 - 映像同期装置

Info

Publication number: JPWO2017134770A1
Application number: JP2016542285A
Authority: JP
Inventors: 司深澤; 浩平岡原; 古木　一朗; 一朗古木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-02-03
Filing date: 2016-02-03
Publication date: 2018-02-08
Also published as: WO2017134770A1

Abstract

複数の映像を同期させる場合、映像を撮影する際に、それぞれの映像に撮影時刻を同期させる同期信号を付与するための装置、あるいは複数のカメラに同期信号を送信する装置等のように、映像を撮影する際にカメラなどの撮影装置において同期を取るための装置を設けることが必要であった。したがって、このような装置を持たない撮影装置で撮影した映像を同期することができなかった。本発明によれば、撮影した複数の映像の重畳領域における動体の情報に基づいて複数の映像の撮影時刻を同期するようにしたので、複数の映像を撮影する際に映像を同期させるための装置が設けられていない撮影装置で撮影した映像の撮影時刻を同期することができる。

Description

本発明は、撮影された複数の映像間で撮影時刻を同期させる映像同期装置に関するものである。

異なるカメラで撮影した複数の映像を一つの映像に合成する映像合成システムがある。このシステムにおいて、カメラから映像合成サーバへ映像情報を伝送する時間が複数のカメラそれぞれで異なる場合に、そのまま映像を合成すると、それぞれのカメラで撮影した時刻が異なる映像を１つの画像に合成した画像となってしまい、合成映像を視聴するユーザにとって違和感を与える原因となる。この違和感がないように合成するためには複数の映像を撮影した時刻を同期させる必要がある。複数の映像を同期させる方法として、従来は、映像を撮影する際に例えばストロボ光や音を加えこれらを撮影時刻の情報として映像内や音声に埋め込んで付与し、合成の際にはこれらの埋め込んだ撮影時刻情報を抽出して同期に用いていた。

また、別の方法として、特許文献１の監視システムのように、複数の監視カメラが映像を撮影する際に、同期信号発生回路により撮影時刻の同期信号を発生させ、これにより複数の監視カメラを同期させていた。

特開２０００−２４４８９６号公報

上記のようにして複数の映像を同期させる場合、映像を撮影する際に、それぞれの映像に撮影時刻を同期させる同期信号を付与するための装置、あるいは複数のカメラに同期信号を送信する装置等のように、映像を撮影する際にカメラなどの撮影装置において同期を取るための装置を設けることが必要であった。したがって、このような装置を持たない撮影装置で撮影した映像を同期することができなかった。

本発明は、上述したような問題点を解決するためになされたものであり、同期信号発生装置により同期信号が付与されていなくても複数の映像の撮影時刻を同期することができる映像同期装置を得ることを目的とする。

この発明に係る映像同期装置は、互いに重畳した重畳領域を有する撮影領域をそれぞれ撮影した複数の映像を記憶する映像記憶部と、映像記憶部が記憶した複数の映像の前記重畳領域において撮影された対象物を検出し、対象物の動きを示す動体情報を生成する動体情報生成部と、動体情報生成部が生成した動体情報に基づいて複数の映像の撮影時刻を同期させる映像同期部とを備えたものである。

本発明によれば、撮影した複数の映像の重畳領域における動体の情報に基づいて複数の映像の撮影時刻を同期するので、複数の映像を撮影する際に映像を同期させるための装置が設けられていない撮影装置で撮影した映像の撮影時刻を同期することができる。

本実施の形態１に係る映像同期装置を使用した映像合成サーバの構成図である。本実施の形態１に係る映像同期装置の映像の重畳領域を説明する説明図である。本実施の形態１に係る映像同期装置の映像記憶部に記憶される映像の構成を示す説明図である。本実施の形態１に係る映像同期装置の映像の重畳領域を３分割する例を示す説明図である。本実施の形態１に係る映像同期装置の全体の動作を示すフローチャートである。本実施の形態１に係る映像同期装置の映像記憶部の動作を示すフローチャートである。本実施の形態１に係る映像同期装置の対象物検出部の動作を示すフローチャートである。本実施の形態１に係る映像同期装置の映像同期部の動作を示すフローチャートである。本実施の形態１に係る映像同期装置の映像同期部における判断の詳細例を示す説明図である。本実施の形態１に係る映像同期装置の映像合成部の動作を示すフローチャートである。本実施の形態１に係る映像同期装置のハードウェア構成図である。本実施の形態２に係る映像同期装置の構成図である。

実施の形態１．
本実施の形態では、２つの映像が重畳領域を有するように２台のカメラ１０１、１０２を配置し、これらカメラ１０１、１０２で撮影した映像を映像合成サーバ２００内の映像同期装置３００にて同期し、１つの映像に合成して表示装置４００に表示する場合について説明する。
図１は、実施の形態１における映像合成サーバ２００の構成例を示す構成図である。映像合成サーバ２００は、外部のカメラ１０１、１０２から撮影された映像を受信し、カメラ１０１、１０２によって撮影された映像の時刻を同期する映像同期装置３００と、映像同期装置３００から出力される映像情報に基づいて映像を合成する映像合成部６０と、合成された映像を表示装置４００に出力する映像出力部７０を有して構成されている。また、映像同期装置３００は、カメラ１０１、１０２からの映像を受信する映像受信部１０と、受信した映像を記憶する映像記憶部２０と、映像記憶部２０に記憶された映像の重畳領域における対象物を検出する対象物検出部３０と、対象物検出部３０にて検出された対象物の動きを検出して動体情報を生成する動体情報生成部４０と、動体情報生成部が生成した動体情報に基づいてカメラ１０１、１０２で撮影された映像の撮影時刻を同期させる映像同期部５０とから構成される。

カメラ１０１、１０２は映像を撮影し、カメラ１０１が撮影した映像は映像１１０、カメラ１０２が撮影した映像は映像１２０として映像合成サーバ２００の映像同期装置３００の映像受信部１０に送信する。
カメラ１０１及びカメラ１０２は、撮影する映像１１０、１２０が互いに重畳領域を有するように配置されている。図２は、本実施の形態の例としてカメラ１０１が撮影した映像１１０とカメラ１０２が撮影した映像１２０から合成映像１３０を作成する場合を説明した説明図である。２つのカメラで撮影している映像領域のうちの一部は重なっており、互いに同じ領域を撮影している。この重なった領域を重畳領域と言い、図２の映像１１０及び映像１２０にそれぞれ斜線で示した領域である。この例では映像１１０の右端と映像１２０の左端の斜線部が重畳領域であり、この重畳領域を重ねるように合成処理をすることによって合成映像１３０が生成される。上述のように、合成映像１３０を作成する際、カメラ１０１の映像１１０の右端と同じ領域である重畳領域を有するようにカメラ１０２を配置するので位置関係は整合した合成映像となるが、映像は動画であるので、カメラ１０１の映像１１０とカメラ１０２の映像１１０の映像は撮影時刻が同期したもの同士を合成しないと、合成映像１３０が違和感のある映像になってしまう。この映像の撮影時刻を同期させるものが映像同期装置３００である。

以下、映像同期装置３００の構成を説明する。
映像受信部１０は、カメラ１０１、１０２によって互いに重畳した重畳領域を有する撮影領域をそれぞれ撮影した映像１１０、１２０を受信し、映像記憶部２０に出力する。

映像記憶部２０は、映像受信部１０から出力された互いに重畳した重畳領域を有する撮影領域をそれぞれ撮影した映像１１０、１２０を記憶する。映像記憶部２０は、映像１１０、１２０を記憶する際に、映像１１０，１２０を構成する画像にインデックスを付与しながらバッファリングする。図３は、映像の構成を示す説明図である。図３に示すように映像は連続した画像から構成されており、映像記憶部２０は映像をバッファリングする際にこれらの連続した画像に、例えば１、２、３・・・などのインデックス番号を昇順で付与して記憶する。
なお、映像は画像を識別できるようになっていれば、圧縮符号化して記憶してもよい。

対象物検出部３０は、映像記憶部２０が記憶した映像１１０、１２０の重畳領域において撮影された対象物を以下のようにして検出する。
対象物検出部３０は、まず、映像１１０、１２０の重畳領域をユーザによってあらかじめ決定された３つの領域に分割する。図４に、カメラ１０１、１０２が撮影した映像の重畳領域を３つに分割した場合の例を示す。図４では、重畳領域をブロックＢ１〜Ｂ３の３つに分割した映像１１０と、重畳領域をブロックＢ４〜Ｂ６の３つに分割した映像１２０が示されており、分割された映像１１０、１２０のブロックは、それぞれＢ１とＢ４、Ｂ２とＢ５、Ｂ３とＢ６がそれぞれの重畳領域として対応している。このように、重畳領域を分割する場合は、映像１１０、１２０の重畳領域が互いに対応するように分割を行う。
対象物検出部３０は、映像１１０、１２０の重畳領域において分割されたブロックごとに対象物の検出を行う。対象物とは、カメラの撮影領域内に存在し、撮影映像中にひとまとまりとして認識される実体、例えば、動いている人や物などの撮像情報を指す。対象物は、撮影された映像における色や輪郭、時間変化に基づき、例えば映像の中で動きのない背景との差分によって検出される。対象物検出部３０は、対象物を検出した場合、ブロック内で検出された対象物が１つであるか判断し、１つのブロック内に複数の対象物があると判断した場合はさらにブロックの分割を行う。ブロックの分割は、映像１１０、１２０の重畳領域が対応するようにそれぞれ分割し、ブロック内にて対象物が１つであると判断するまで分割を繰り返す。対象物検出部３０は、対応するブロックでそれぞれ対象物を検出した場合は、該ブロックの位置と大きさ及び対象物の重心の位置（ｘ、ｙ）を示すブロック情報を動体情報生成部４０に出力する。このように生成されたブロック情報に基づいて映像１１０と映像１２０の撮影時刻の同期を行うものであるが、対応するブロックの両方で対象物が検出されなかった場合、すなわち映像１１０、１２０どちらかの重畳領域のブロックでしか対象物が検出できなかった場合は撮影時刻の同期は行えない。
なお、対象物検出部３０において最初に重畳領域を３つに分割した例を示したが、最初は重畳領域全てを１つのブロックとして対象物の検出をすることもできる。さらに、あらかじめ対象物が検出される場所とされない場所がわかっている場合には、ブロックを分割し、一部のブロックについては対象物の検出を行わないように設定することで映像合成サーバ２００自体の負荷を減らすことができる。
また、分割するブロックの大きさや数は上述したものに限らない。

動体情報生成部４０では、対象物検出部３０から出力されたブロック情報を受け取ると検出した対象物の動きを示す動体情報を生成する。動体情報は、対象物の位置と動きを示す情報である。対象物の動きは、着目した画像における対象物とその前の画像や後の画像における対象物のそれぞれのブロック情報を比較し、対象物の位置の差分によって移動した大きさと方向を求めることで得ることができる。動体情報が生成されると、動体情報生成部４０は動体情報を映像同期部５０に出力する。

映像同期部５０では、動体情報生成部４０から出力された動体情報に基づいて映像１１０及び映像１２０の撮影時刻を以下のようにして同期する。映像同期部５０は、動体情報生成部４０から出力された動体情報を受信し、映像１１０、１２０の対応するブロックにおいて動体情報が一致する画像を探す。すなわち、一方の映像のある画像におけるブロックと同じ位置に対象物が存在し、その動きと同じ動きをした対象物が、他方の映像の画像において対応するブロック中にあれば、それぞれの画像が同じ時刻の画像である可能性が高いので、それらの画像を探すものである。
そして、動体情報が一致した場合は、動体情報が一致した映像１１０、１２０中のそれぞれの画像のインデックス番号を撮影時刻が同じ画像であるものとして映像記憶部２０に通知する。これにより、映像記憶部２０は記憶した映像とともに、各映像においてどの画像同士が同じ撮影時刻かを示す同期情報も記憶する。同期情報は、例えばそれぞれの映像１１０、１２０において同じ撮影時刻である画像それぞれのインデックス番号を対応させたテーブルとして記憶される。
以上のようにして同期情報を生成することで撮影時刻の同期が実現されるものである。
以上のような映像受信部１０、映像記憶部２０、対象物検出部３０、動体情報生成部４０、映像同期部５０により、映像同期装置３００が構成されている。

映像合成部６０は、映像記憶部２０から出力される映像１１０、１２０の合成を行う。映像の合成は、具体的には、それぞれの映像の対応する２つの画像を合成することで合成画像を生成し、それら合成画像を連続させることで合成映像を得るということである。対応する２つの画像は映像記憶部２０から出力されるものであり、同期が必要な場合には、撮影時刻が同期した２つの画像が出力されて映像合成部６０に入力されることになる。
映像合成部６０による画像の合成処理としては、まず映像１１０、１２０対して画像合成テーブルを用いて視点変換処理を行う。画像合成テーブルとは、カメラ１０１、１０２の主点とピクセル単位で表される焦点距離といった内部パラメータから回転行列や平行移動ベクトルといった外部パラメータを算出したカメラ位置パラメータ、及びカメラ歪補正テーブルを含む映像１１０及び映像１２０を合成した時に視点が異なることによる違和感を削減するためものである。次に、視点変換処理を行った映像データに対して画像合成処理を行い、合成映像１３０を生成する。映像合成部６０は、カメラ１０１、１０２の映像１１０、１２０を１枚の合成映像１３０として映像出力部７０に出力する。

映像出力部７０は、映像合成部６０から入力された合成映像を表示装置４００に出力する。

表示装置４００は、合成映像を映像出力部７０から受け取り、表示する。

次に、実施の形態１の映像合成サーバ２００の動作について説明する。図５は、実施の形態１に係る映像合成サーバ２００の動作を示すフローチャートである。
まず、ステップＳ１０１にて映像受信部１０はカメラ１０１、１０２が撮影した映像を受信する。次に、Ｓ１０２にて映像記憶部２０は受信した映像を構成する各画像にインデックスを付与しながら映像を記憶する。また、映像記憶部２０はステップＳ１０３にて、映像の時刻を同期する処理を行うか否かを判断する。なお、この判断は、ユーザが設定する指示信号に基づいて行われるものであり、システム起動時の１度だけ複数カメラ間の同期を取る運用、あるいは、１時間ごとに複数カメラ間の同期を取るなど一定間隔にて同期を行う運用などが考えられる。具体的には、システム起動時に同期処理実行を指示する信号を発する手段、タイマによる計時をもとに自動的に一定間隔で同期処理実行を指示する信号を発する手段を設けることで実現できる。あるいは、ユーザが所望するときに同期処理実行を指示する信号を入力する手段を設けてもよい。
時刻の同期処理を行うと判断した場合は時刻を同期するための処理を行うステップＳ１０４〜Ｓ１０８を経て、時刻の同期を行わないと判断した場合は時刻を同期するための処理を行わずに、それぞれ映像を合成するステップＳ１０９へ進む。
ステップＳ１０３にて時刻の同期を行うと判断した場合、ステップＳ１０４に進み、対象物検出部３０は、映像記憶部２０に記憶された映像の画像の重畳領域を分割し、分割したブロック内の対象物を検出する。
その後ステップＳ１０５にて対象物が検出されたか否かを判断し、対象物が検出されなかった場合は同期を取らずにステップＳ１０９に進む。対象物が検出された場合は、ステップＳ１０６に進み、動体情報生成部４０がステップＳ１０４で検出した対象物の動体情報を生成する。
ステップＳ１０７では、映像同期部５０にて映像１１０と映像１２０から検出された動体情報が一致するかを判断する。具体的には、映像１１０、１２０の対応するブロックにおいて動体情報が一致する他方の映像中の画像を探すものであり、一方の映像のある画像におけるブロックに対象物が存在し、その動きと同じ動きをした対象物が、他方の映像の画像において対応するブロックの中にあれば、それぞれの画像が同じ時刻の画像である可能性が高いので、それらの画像を探すのである。動体情報が一致した画像があった場合はステップＳ１０８に進み、時刻の同期を取る。ここで同期を取るという動作は具体的には、動体情報が一致した映像１１０、１２０中のそれぞれの画像が同じ撮影時刻であるものと判断し、それらの画像のインデックス番号を撮影時刻が同じ画像であるものとして映像記憶部２０に通知することである。これにより、映像記憶部２０は記憶した映像とともに、各映像においてどの画像同士が同じ撮影時刻かを示す同期情報も記憶する。同期情報は、例えばそれぞれの映像１１０、１２０において同じ撮影時刻である画像それぞれのインデックス番号を対応させたテーブルとして記憶される。
ステップＳ１０７で、動体情報が一致しない場合はステップＳ１０９へ進む。
以上のような同期処理を経て、あるいは、同期処理を経ないでステップＳ１０９に進むと、映像合成部６０は映像記憶部２０から合成する２つの画像を読出し、合成画像を生成し、合成画像を連続させることで合成映像を生成する。
なお、映像合成部６０が映像記憶部２０から合成する２つの画像を読み出す際、ステップＳ１０３で映像の時刻を同期すると判断された場合の画像は、ステップＳ１０４〜Ｓ１０８の同期処理を経て同期された２つの画像が読み出される。同期された２つの画像は、映像記憶部２０に記憶された前記同期情報を参照することで判別することができる。また、同期処理を行わないと判断した場合の画像は、同期処理を経ない画像、例えばインデックス番号をカウントするカウンタがその時に示すインデックス番号の順に画像が読み出される。
そして、ステップＳ１１０にて映像出力部７０が合成映像１３０を表示装置４００に出力する。

次に、映像記憶部２０の詳細動作を説明する。図６は、実施の形態１の映像同期装置３００の映像記憶部２０の動作を示すフローチャートである。
ステップＳ２０からステップＳ２２は映像記憶部２０がカメラ１０１、１０２の映像２１０、２２０を記憶し、インデックスを付与する動作を示している。まず、映像記憶部２０はステップＳ２０にてカメラ１０１、１０２から映像１１０、１２０を受信し、バッファリングする。ステップＳ２１にて映像記憶部２０では、バッファリングした映像１１０、１２０の連続する画像に昇順でインデックス番号を付与する。映像記憶部２０は、ステップＳ２２にてバッファリングする映像１１０、１２０のデータ量が映像記憶部２０の閾値を超えたかを判断し、超えない場合はステップＳ２０に戻る。映像記憶部２０のデータ量が閾値を超えるまでステップＳ２０〜Ｓ２２を繰り返し、閾値を超えた場合はステップＳ２３に進む。
ステップＳ２３では、映像１１０、１２０の時刻を同期処理するか否かを判断する。時刻の同期処理をすると判断した場合にはステップＳ２４に進み、時刻の同期処理をしないと判断した場合はステップＳ２８へ進む。
ステップＳ２４からステップＳ２７では時刻の同期処理を行う場合の動作である。ステップＳ２３にて時刻の同期処理を行うと判断した場合は、ステップＳ２４にて、映像１１０、１２０それぞれの画像１枚分を、ステップＳ２１で付与したインデックス番号とともに対象物検出部３０に出力する。この出力された２つの画像は、対象物検出部３０と動体情報生成部４０と映像同期部５０の動作により、同じ撮影時刻のものかが判断される。そして、映像記憶部２０では、ステップＳ２５にて映像同期部５０が判断した結果を応答として受け、対象物検出部３０に出力した画像が撮影時刻として同期していたか否かを確認する。ステップＳ２５にて同期するという応答であった場合は、ステップＳ２６に進み、それぞれの映像の画像のインデックス番号及び画像を同期情報として記憶する。同期情報は、例えば、それぞれの映像１１０、１２０において同じ撮影時刻である画像それぞれのインデックス番号を対応させたテーブル形式で記憶する。ステップＳ２５にて同期していないという応答であった場合は、ステップＳ２７に進み、映像同期部５０から指定された映像、例えば、他方の映像における次のインデックス番号が付された画像を対象物検出部３０に出力する。ステップＳ２５とステップＳ２７は、ステップＳ２５で同期するという応答があるまで繰り返す。また、映像同期部５０で同期処理を終了した場合も、このフローチャートの動作を終了する。
以上により、映像記憶部２０は記憶した映像とともに、各映像においてどの画像同士が同じ撮影時刻かを示す同期情報も記憶する。
そして、映像合成部６０の要請に基づき、ステップＳ２８にて、設定されたインデックス番号のカメラ画像を映像合成部６０に出力する。
なお、本発明では、バッファリングを行う映像のデータ量について特に規定しない。映像の同期を行う契機は映像合成システムが起動したときに映像の同期をとる、或いは一定期間ごとに映像の同期を行うことを想定しているが、映像の同期を行う契機としてこれに限るものではない。

次に、対象物検出部３０の動作を説明する。図７は、本実施の形態１の映像合成サーバ２００の対象物検出部３０の動作を示すフローチャートである。
まず、ステップＳ３０にて、対象物検出部３０は映像記憶部２０にて時刻の同期処理を行うと判断された場合に出力される映像１１０、１２０のインデックス番号を付与された画像を取得する。次にステップＳ３１にて、映像１１０の画像の重畳領域を３つのブロックに分割する。
ステップＳ３２にてブロックごとに対象物を検出する。ステップＳ３３にて、各ブロックに対象物が検出されたかを確認し、どのブロックにも対象物が検出されなかった場合は対象物検出部３０の動作を終了する。ステップＳ３３にて対象物が検出された場合はステップＳ３４に進み、１つのブロック内で検出された対象物の数が１体であるかを判断する。検出された対象物が複数あった場合は、ステップＳ３５に進み、該ブロックを再分割する。その後、ステップＳ３２に戻り再分割したブロック内で検出された対象物が１つになるまでステップＳ３２〜ステップＳ３５の動作を繰り返す。
ステップＳ３４にてブロック内で検出された対象物が各ブロック内に１体であると判断された場合、ステップＳ３６に進み、対応するブロック両方で対象物を検出したかを判断する。すなわち、映像１１０にて対象物が検出されたブロックと対応する映像１２０のブロックに対象物が検出されているかを判断する。対応するブロックにて対象物が検出されていた場合は、ステップＳ３７に進む。ステップＳ３７では、画像における対象物が検出されたブロックの大きさと位置及び対象物の重心位置（ｘ、ｙ）を示すブロック情報を動体情報生成部４０に出力する。なお、対応するブロックにて対象物が検出されなかった場合は映像記憶部２０から受信した画像では撮影時刻を同期できないため、次の画像を取得するまで動作を終了する。以上のようにして、検出した対象物を検出し、その情報が動体情報生成部４０に送られる。

次に、動体情報生成部４０の動作を説明する。動体情報生成部４０では、対象物検出部３０から送られたブロック情報に基づいて、検出した対象物の動きを示す動体情報を生成する。動体情報は、対象物の位置と動きを示す情報である。対象物の動きは、着目した画像における対象物とその前の画像や後の画像における対象物のそれぞれのブロック情報を比較し、前後する２枚の画像における対象物の位置の差分によって移動した大きさと方向を求めることで得ることができる。動体情報が生成されると、動体情報生成部４０は動体情報を映像同期部５０に出力する。

次に、映像同期部５０の動作を説明する。図８は、本実施の形態１の映像合成サーバ２００の映像同期部５０の動作を示すフローチャートである。
まず、ステップＳ５０にて映像同期部５０では、動体情報生成部４０が生成した動体情報を取得する。
次に、ステップＳ５０からＳ５４にて映像１１０、１２０の対応するブロックにおける動体情報が一致するかを判断する。詳細には、まずステップＳ５１にて、２つの画像の各ブロックごとに、動体情報のベクトルの方向が一致するかを判断する。一致しないと判断した場合は動作を終了し、一致すると判断した場合はステップＳ５２へ進む。
ステップＳ５２では動体情報の重心の座標が一致するかを判断する。一致しないと判断した場合は、ステップＳ５３に進み、動体情報のベクトルの方向に基づいて次に比較する画像を今比較した画像の前の画像とするか後の画像とするかを決め、同期していなかった旨と、次に送らせる画像を指定する情報を映像記憶部２０に応答する。ステップＳ５２で一致すると判断した場合は、ステップＳ５４に進みベクトルの大きさが一致するかを判断する。一致しないと判断した場合は動作を終了し、一致しないと判断した場合は２つの画像が同じ撮影時刻であると判断し、ステップＳ５５に進む。
ステップＳ５５では、ステップＳ５１からＳ５４の動作によって動体情報のベクトルの方向、重心の座標、ベクトルの大きさが一致したと判断した映像１１０、１２０の画像に付したインデックス番号を、撮影時刻が同じ画像であるものとして映像記憶部２０に通知する。ステップＳ５１からＳ５４の判断動作についてまとめた表を図９に示す。

次に映像合成部６０の動作を説明する。図１０は、本実施の形態１の映像合成サーバ２００の映像合成部６０の動作を示すフローチャートである。まず、ステップＳ６０にて映像合成部６０は、映像記憶部２０から出力されたカメラ１０１、１０２の映像１１０、１２０を取得する。次に、ステップＳ６１にて、取得した映像１１０、１２０の視点変換の処理が必要であるか否かを判断する。指定変換の処理が必要であると判断した場合はステップＳ６２に進み、各カメラの画像に対して、画像合成テーブルを用いて視点変換の処理を行い、ステップＳ６３へ進む。ステップＳ６１にて指定変換の処理が必要でないと判断した場合は、ステップＳ６３へ進む。ステップＳ６３では、各カメラの画像に対して、画像合成テーブルを用いて画像合成の処理を行う。画像合成処理を終えると、ステップＳ６４にて、映像出力部７０に合成映像を出力する。
映像合成部６０が映像記憶部２０から合成する２つの画像を読み出す際、映像の時刻の同期が判断された画像は、映像記憶部２０に記憶された前記同期情報を参照することで一緒に読み出されるので、撮影時刻が同期した画像同士が合成される。

以上のように、実施の形態１に係る映像同期装置によれば、撮影した複数の映像の重畳領域における動体の情報に基づいて複数の映像の撮影時刻を同期するので、複数の映像を撮影する際に映像を同期させるための装置が設けられていない撮影装置で撮影した映像の撮影時刻を同期することができる。

なお、映像１１０、１２０の重畳領域を図２に示すように映像の右端や左端としたが、映像１１０、１２０は重畳領域を有する映像であればよい。また、カメラは重畳領域を有するように配置されていれば２台に限らず複数台によって撮影された映像の撮影時刻を同期できるものである。
また、対象物検出部３０にて検出される対象物として、撮影された実体の影を検出するようにしてもよい。立体である対象物を２つの視点のカメラから検出すると、２次元である映像として対象物をとらえた場合に形が大きく変化する場合があり、重心位置が変化する恐れがある。立体物の影を検出する構成とすれば、影は地面が平面であれば対象物が２次元化され、カメラの視点が異なっていても視点変換処理を経て同様の形として検出することができる。
また、動体情報生成部４０にて生成される動体情報は、対象物の位置と動きを示す情報としたが、この他に色に関する情報なども、２つの映像の重畳領域に撮影された対象物から撮影時刻を判別する情報とすることができる。また、映像同期部５０が行う同期処理では、動体情報を多く用いて撮影時刻を同期する方が精度は向上する。しかし、ハードウェアの能力によっては、例えば動体情報生成部４０で生成する動体情報を対象物の位置のみとして映像同期部５０で行う同期処理に用いることによってＣＰＵの負荷を減らすように設計してもよい。
また、映像同期部５０のステップＳ５３の動作において、重心座標が一致しない場合に動体情報のベクトルの方向に基づいて映像１１０、１２０のどちらかの画像のインデックス番号を送らせた。この動作は、どちらの映像のインデックス番号を前に進めるか、戻すかについては、動体情報のベクトルの向きや位置によってどの画像を次の比較に用いるのが良いか算出して決める構成としてもよいし、どちらか一方の映像の画像のインデックス番号を順番に用いて比較することをあらかじめ設定する構成としてもよい。また、送らせる画像の枚数も１枚とは限らず、動体情報によって枚数を変化させる構成としてもよい。

図１１はこの発明の実施の形態１の映像合成サーバ２００をハードウェアで実現する場合の構成を示すハードウェア構成図である。図１１において、映像合成システムは、映像合成サーバ２００、カメラ１０１、１０２、表示装置４００で構成される。
映像合成サーバ２００は、メインプロセッサ２０１、メインメモリ２０２、カメラインターフェース２０３、画像処理プロセッサ２０４、画像処理メモリ２０５、表示器インターフェース２０６で構成される。カメラ１０１、１０２は、映像合成サーバ２００にあるカメラインターフェース２０３と実線で結ばれているが、接続方法は有線でも無線でも構わない。また、カメラ１０１、１０２とカメラインターフェース２０３の接続種別として、ＩＰ(ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ)ネットワークによる接続方式や同軸ケーブルによる接続方式などがあるが、本発明ではカメラ１０１、１０２とカメラインターフェース２０３の有線の接続種別は特に規定はしない。カメラインターフェース２０３は、それぞれのカメラ１０１、１０２からカメラ映像を受信する機能を有する。
メインプロセッサ２０１は、カメラインターフェース２０３で受信した複数のカメラ映像を視点変換や画像合成といった画像処理を行う映像合成プログラムを実行する機能を有する。メインメモリ２０２はメインプロセッサ２０１と接続され、視点変換や画像合成といった画像処理を行うメインプロセッサ２０１が直接アクセスできる記憶装置である。画像処理プロセッサ２０４は行列演算や浮動小数点演算を高速に演算できる画像処理に特化した専用プロセッサである。画像処理メモリ２０５は画像処理プロセッサ２０４と接続され、画像処理プロセッサ２０４が直接アクセスできる記憶装置である。表示器インターフェース２０６はメインプロセッサ２０１でカメラ映像を合成した映像を表示装置４００に表示する機能を有する。表示装置４００と実線で結ばれているが、接続方法は特に問わない。
図１１では画像処理に特化した専用プロセッサである画像処理プロセッサ２０４と画像処理メモリ２０５があるが、メインプロセッサで高速に処理できるのではあれば画像処理プロセッサ２０４と画像処理メモリ２０５はなくても構わず、これに限るものでない。ここでは、画像処理プロセッサ２０４と画像処理メモリ２０５があるとする。
図１における各部と図１１のハードウェア構成の対応は以下のとおりである。
映像受信部１０はカメラインターフェース２０３により実現される。
映像記憶部２０が行う処理はメインメモリ２０２及びメインメモリ２０２に記録された映像合成プログラムをメインプロセッサ２０１が読みだして実行することで実現される。
対象物検出部３０が行う処理はメインメモリ２０２に記憶された対象物検出プログラムをメインプロセッサ２０１に読み出して実行することで実現される。
動体情報生成部４０が行う処理は、メインメモリ２０２に記憶された動体情報生成プログラムをメインプロセッサ２０１に読み出して実行することで実現される。
映像同期部５０が行う処理は、メインメモリ２０２に記憶された映像同期プログラムをメインプロセッサ２０１に読み出して実行することで実現される。
映像合成部６０が行う処理はメインメモリ２０２に記憶された映像合成プログラムをメインプロセッサ２０１に読み出し、視点変換や画像合成といった画像処理を行う場合に映像データ等を画像処理プロセッサ２０４が画像処理メモリにコピーして映像合成プログラムを実行することで実現される。映像合成において、各カメラの映像の重畳領域部分の位置ずれを少なくするためには、各カメラの相対的な位置関係を算出する必要がある。この際、カメラの位置姿勢情報として外部パラメータを利用して各カメラの映像を合成することで位置ずれを少なくすることができる。本発明では、それぞれの映像の位置ずれはないものとし、対象物検出部３０で重畳領域の座標を事前に保存しているものとする。各カメラの相対的な位置姿勢関係を算出する手法として限るものではない。
映像出力部７０が行う処理はメインメモリ２０２に記憶された映像合成プログラムをメインプロセッサ２０１に読み出して実行することで実現される。

実施の形態２．
次に、実施の形態２について説明する。実施の形態１では、カメラ１０１、１０２と映像合成サーバ２００の間で各カメラの映像の同期を取るようにしたものであるが、この実施の形態２では複数の映像合成サーバ２００と映像合成サーバ２１０を統合する統合映像合成サーバ５００で映像の同期を取る場合の構成を示す。映像合成サーバ２００、２１０の動作は実施の形態１と同様である。
図１２は、実施の形態２に係る統合映像合成サーバ５００の構成例を示す構成図である。カメラ１０１、１０２で撮影された映像は映像合成サーバ２００へ、カメラ１１１、１１２によって撮影された映像は映像合成サーバ２１０へ一度蓄積される。なお、カメラ１０１、１０２、１１１、１１２が撮影する映像領域は、他の少なくとも１つのカメラとの重畳領域を有している。統合映像合成サーバ５００は、映像合成サーバ２００、２１０が一度蓄積したカメラ１０１、１０２によって撮影された映像及びカメラ１１１、１１２によって撮影された映像全ての時刻を同期し、映像の合成処理を経て表示装置４００に合成映像を出力する。
なお、映像合成サーバ２００、２１０には２台のカメラが接続されているが、カメラの台数を２台と限定しているわけではない。映像合成サーバ２００及び映像合成サーバ２１０は、ハードウェアの制約によりリアルタイムで合成できる映像の枚数が限られる。本実施の形態では、映像合成サーバ２台を統合映像合成サーバ５００に接続する例を示しているが、映像合成サーバの台数を２台に限るものではない。
また、統合映像合成サーバ５００は、映像合成サーバ２００、２１０と実線で結ばれているが、接続方法は有線でも無線でも構わない。また、映像合成サーバ２００、２１０と映像合成サーバインターフェース５０３の接続種別として、ＩＰ(ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ)ネットワークによる接続方式や同軸ケーブルによる接続方式などがあるが、本発明では有線の接続種別は特に規定はしない。
なお、本実施の形態２の映像合成サーバをハードウェアで実現する場合のハードウェア構成は、実施の形態１で示したものと同様である。ただし、本実施の形態２では各映像合成サーバ２００、２１０の映像出力部７０はそれぞれの映像を統合映像合成サーバ５００に送信する機能を有する映像合成サーバインターフェースで実現するとともに、統合映像合成サーバ５００の映像受信部１０は、それぞれの映像合成サーバ２００、２１０から映像を受信する機能を有する映像合成サーバインターフェースで実現する。

１０映像受信部
２０映像記憶部
３０対象物検出部
４０動体情報生成部
５０映像同期部
６０映像合成部
７０映像出力部
１０１．１０２カメラ
２００映像合成サーバ
３００映像同期装置
４００表示装置
５００統合映像合成サーバ

この発明に係る映像同期装置は、互いに重畳しあらかじめ決定された重畳領域を有する撮影領域をそれぞれ撮影した複数の映像を記憶する映像記憶部と、映像記憶部が記憶した複数の映像の前記重畳領域において撮影された対象物を検出し、対象物の動きを示す動体情報を生成する動体情報生成部と、動体情報生成部が生成した動体情報に基づいて複数の映像の撮影時刻を同期させる映像同期部とを備えたものである。

Claims

互いに重畳した重畳領域を有する撮影領域をそれぞれ撮影した複数の映像を記憶する映像記憶部と、
前記映像記憶部が記憶した前記複数の映像の前記重畳領域において撮影された対象物の動きを示す動体情報を生成する動体情報生成部と、
前記動体情報生成部が生成した前記動体情報に基づいて前記複数の映像の撮影時刻を同期させる映像同期部と、
を備えた映像同期装置。
前記動体情報生成部は、前記対象物の動きを複数検出した場合は前記重畳領域を分割し、分割した重畳領域において撮影された前記対象物の動きを示す動体情報を生成し、
前記映像同期部は、前記動体情報生成部が分割した前記重畳領域において検出された前記対象物に関する前記動体情報に基づいて前記複数の映像情報を同期させる請求項１に記載の映像同期装置。