JP4559976B2 - 映像合成装置、映像合成方法及び映像合成プログラム - Google Patents

Description

本発明は、複数の映像信号を入力し、それらを異なるパターンで合成した映像信号を複数出力する映像合成装置、映像合成方法及び映像合成プログラムに関する。

テレビ会議では、複数の端末同士間でマイク音声やカメラ映像などによりコミュニケーションを行ういわゆる多地点テレビ会議の場合、単純に互いの端末同士をフルメッシュで接続すると、通信や端末処理の面で負荷が大きい。そこで、通常はMCU（Multipoint Conference Unit:多地点会議ユニット）を設ける手法がとられる。MCUはサーバの一種で、各端末と接続して各端末からの音声や映像を受信し、それらを合成し、合成したものを各端末に送信する機能を持つ。このMCUによって、各端末はMCUとのみ通信し、MCUからの合成音声や合成映像を受信するだけで、全ての参加者からの音声や映像を得られるようになり、通信や端末処理の面で効率がよい。このように、MCUは多地点テレビ会議において重要な役割を持ち、ここで映像合成技術が利用されている。

映像合成技術のもう一つの応用として、監視カメラの画面分割ユニットがある。監視カメラは通常建物などに複数個設置されているため、それを別々のモニタで観察・録画すると設備が大掛かりになり、使い勝手が悪い。そこで、通常は画面分割ユニットを使用し、複数のカメラ映像を合成して一つの映像信号にし、それを単一のモニタで確認したり単一の録画機で録画できるようにする手法がとられる。
特開平１１−８８８５４号公報 特開平５−１０３３２４号公報

しかし、従来の映像合成技術はそのほとんどが単一の合成映像を出力するものであり、複数の合成映像を出力する場合を提案したものは少なかった。

例えばテレビ会議の場合を考えると、従来のように合成映像が一種類で全ての参加者がそれを見るという形態でもテレビ会議としては成り立つ。しかし、より高い利便性を追求すると、例えば合成されている複数の映像のうちある特定の映像をズームして表示したいといった要求も生じる。特開平11-88854号公報ではそれに対する一つの解を示している。ただし、この特開平11-88854号公報の手法では、ある映像をズームした状態ではズームした映像以外の映像を見ることが出来ない。合成の仕方を変えて、例えばズームした映像の中に他の映像を小さく埋め込むとか、あるいは映像を全画面にズームするのではなく、相対的にある程度ズームして、その周辺に他の参加者を小さく表示するなどといった合成映像を提示できれば、より使い勝手がよい。この場合、各参加者が別々の映像をズームしたくなる場合が当然発生すると考えられ、従って、各端末用に別々のパターンで映像を合成し、複数の異なる合成映像を出力することが要求される。

複数の合成映像を出力する形態は、知り得る限りでは唯一、特開平5-103324号公報に記載されている。この特開平5-103324号公報では映像メモリに記憶された入力映像を縮小回路が縮小して合成回路が合成して出力している。しかし、この形態を実際に実装することを考えると回路が複雑になる問題がある。具体的には以下のような問題が生じる。

まず、合成された映像信号を出力する合成回路は通常、出力信号の規格にのっとったタイミングで信号を出力しなければならない。よって、そのためには自身の処理遅延を考慮してそれが可能なタイミングで自身へ入力信号を入力してもらわなければならない（間にバッファが設けられている場合は許容タイミング内で）。それに対し、合成回路への入力信号を生成する縮小回路は、合成回路が上記タイミングで信号を出力するには、同じく自身の処理遅延を考慮してそれに合わせたタイミングで映像メモリからデータを読み込まなければならない。このように、最終的な合成回路からの信号の出力タイミングに合わせて、合成回路の処理遅延を考慮しつつ縮小回路の出力タイミングを決定し、さらに縮小回路の処理遅延を考慮して映像メモリからデータを読み出すタイミングを決定しなければならない。

しかし、上記構成において、合成回路が動的に合成パターンを変更可能にし、さらに縮小回路が動的に縮小率を変更可能にする場合、遅延のタイミングも動的に変わることとなる。この結果、遅延に対処する処理が単純ではなくなり、回路の複雑化・回路規模の増大につながる。

本発明は、回路規模の増大を可及的に防ぎつつ、複数の入力映像を別々のパターンで合成して複数の合成映像を生成できる映像合成装置、映像合成方法及び映像合成プログラムを提供する。

本発明の一態様としての映像合成装置は、それぞれ入力映像が入力されるＩ個の映像変倍手段であって、各々自身に入力された前記入力映像を複数の倍率によって変倍して複数の変倍された入力映像を生成する、Ｉ個の映像変倍手段と、変倍された前記入力映像の書込み要求を受けて前記変倍された入力映像を前記書込み要求により指定された領域に一時的に記憶する映像記憶手段と、各々前記映像変倍手段に対応し、前記映像変倍手段によって生成された前記複数の変倍された入力映像の各々を前記映像記憶手段における所定領域へ書き込むことを前記映像記憶手段に要求する、書込要求手段と、Ｊ個の映像配置情報のそれぞれに基づいて入力映像の読出し要求を行う、各前記映像配置情報のそれぞれは合成映像上における各入力映像の配置を定めている、読出要求手段と、前記読出し要求を受けて前記入力映像を前記映像記憶手段から読み出す読出制御手段と、各々前記映像配置情報に対応し、前記読出制御手段によって読み出された入力映像から合成映像を生成する、Ｊ個の合成映像生成手段と、を備え、前記読出要求手段は、前記J個の映像配置情報毎に、前記各入力映像のそれぞれの配置に応じた倍率をもつ前記変倍された入力映像の読出し要求を行い、前記複数の倍率のうち当該倍率以外の他の倍率の前記変倍された入力映像の読出し要求は行わないことを特徴とする。

本発明の一態様としての映像合成方法は、Ｉ個の入力映像の各々を複数の倍率によって変倍して、前記入力映像ごとに複数の変倍された入力映像を生成する入力映像生成ステップと、前記入力映像ごとに生成された前記複数の変倍された入力映像の各々を映像記憶手段における所定領域に書き込む書込ステップと、合成映像上における各入力映像の配置を定めたＪ個の映像配置情報のそれぞれに基づいて、前記映像記憶手段から入力映像の読み出しを行う読出ステップと、前記映像配置情報ごとに読み出された入力映像から合成映像を生成する合成映像生成ステップと、を備え、前記読出ステップは、前記J個の映像配置情報毎に、前記各入力映像のそれぞれの配置に応じた倍率をもつ前記変倍された入力映像の読み出しを行い、前記複数の倍率のうち当該倍率以外の他の倍率の前記変倍された入力映像の読み出しは行わないことを特徴とする。

本発明の一態様としての映像合成プログラムは、Ｉ個の入力映像の各々を複数の倍率によって変倍して、前記入力映像ごとに複数の変倍された入力映像を生成する入力映像生成ステップと、前記入力映像ごとに生成された前記複数の変倍された入力映像の各々を映像記憶手段における所定領域に書き込む書込ステップと、合成映像上における各入力映像の配置を定めたＪ個の映像配置情報のそれぞれに基づいて、前記映像記憶手段から入力映像の読み出しを行う読出ステップと、前記映像配置情報ごとに読み出された入力映像から合成映像を生成する合成映像生成ステップと、をコンピュータに実行させ、前記読出ステップは、前記J個の映像配置情報毎に、前記各入力映像のそれぞれの配置に応じた倍率をもつ前記変倍された入力映像の読み出しを行い、前記複数の倍率のうち当該倍率以外の他の倍率の前記変倍された入力映像の読み出しは行わないことを特徴とする。

本発明により、回路規模の増大を可及的に防ぎつつ、複数の入力映像を別々のパターンで合成して複数の合成映像を生成できる。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。図２は、図１の映像合成装置を適用したテレビ会議システムの構成を概略的に示すブロック図である。

図２において、端末１２（１）〜１２（４）は、図示しないネットワークを介して、映像合成装置１１に接続されている。端末１２（１）〜１２（４）は、映像信号（入力映像）１３（１）〜１３（４）を生成して映像合成装置１１に伝送する。また、端末１２（１）〜１２（４）は、映像合成装置１１において映像合成のために用いられる映像配置情報（レイアウト情報）１４（１）〜１４（４）を映像合成装置１１に伝送する。端末１２（１）〜１２（４）は、レイアウトの変更の都度、新たに映像配置情報を生成して映像合成装置１１に伝送する。映像合成装置１１は、映像配置情報１４（１）〜１４（４）に基づいて映像信号１３（１）〜１３（４）を合成して各端末１２（１）〜１２（４）用に合成映像を生成し、端末１２（１）〜１２（４）に合成映像信号（出力映像）１５（１）〜１５（４）を伝送する。つまり、この映像合成装置１１は映像信号を４つ入力し、これらの映像信号を合成した合成映像信号を４つ生成及び出力する。映像信号は例えばITU-R(International Telecommunication Union-Radiocommunication) BT.656仕様のデジタル信号で送られ、映像信号は画素値情報を含む。映像フレームの同期を取るため所定のタイミングで同期コードが映像信号に挿入される。同期コードはFF、00、00、XXのセットであり、XXにはフレーム上の位置を示すコードが入る。

なお、映像信号の伝送の際には実際には図示しないMPEGデコーダ・エンコーダなどを用いて圧縮伝送してもよい。すなわち、映像を送信する装置側でまず映像信号をMPEGストリーミングにエンコードし、そのMPEGストリーミングを受信した装置側でデコードして映像信号を復元する。この場合、前記に従うと映像合成装置でデコードされた端末からの入力映像信号と、これからエンコードする端末への出力映像信号が例えばBT.656仕様であるとする。

図１において、映像合成装置１１は、解析部２１（１）〜２１（４）、可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）、RAM制御部２３、RAM２４、要求部２５（１）〜２５（４）、生成部２６（１）〜２６（４）及び映像配置情報管理部２７を備える。可変縮小部は書込要求手段を含む。映像配置情報管理部２７は倍率指定手段を含む。

解析部２１（１）〜２１（４）は、入力された映像信号１３（１）〜１３（４）の同期コードを解析し、現在の画素データの入力映像上での座標を求める。

映像配置情報管理部２７は、映像配置情報１４（１）〜１４（４）に基づき、各端末１２（１）〜１２（４）用の合成映像のレイアウトを管理する。映像配置情報管理部２７は、映像配置情報１４（１）〜１４（４）に基づき、各入力映像１３（１）〜１３（４）の倍率（本例では縮小率）を計算し、計算した縮小率を可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）に通知する。映像配置情報が更新された場合は、その都度、更新後の映像配置情報に基づいて、各入力映像１３（１）〜１３（４）の縮小率を計算し、可変縮小部に通知する。

可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）は、各々複数の縮小率で入力映像を縮小可能に構成される。可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）は、映像配置情報管理部２７から指定された縮小率に基づき、入力映像１３（１）〜１３（４）を縮小する。

例えば、可変縮小部２２（１−１）、２２（１−２）、２２（１−３）、２２（１−４）は映像配置情報管理部２７から指定された縮小率によって、出力映像１５（１）〜１５（４）上に配置される入力映像１３（１）を縮小する。また、可変縮小部２２（１−１）、２２（２−１）、２２（３−１）、２２（４−１）はそれぞれ映像配置情報管理部２７から指定された縮小率によって出力映像１５（１）上に配置される入力映像１３（１）〜１３（４）を縮小する。

可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）はそれぞれ、前段の解析部２１（１）〜２１（４）で解析した座標情報を元に入力映像１３（１）〜１３（４）を縮小し、RAM２４における所定領域（各可変縮小部用のフレームバッファ）への縮小映像（画素値情報）の書込みをRAM制御部２３に要求する。可変縮小部は例えば映像変倍手段に相当する。

RAM制御部２３は、映像信号を記憶するRAM２４への書込み及びRAM２４からの読出しを制御する。RAM制御部２３は、可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）から受け取った画素値情報をRAM２４における各可変縮小部から指定された領域に書き込んだり、要求部２５（１）〜２５（４）からの読出し要求に基づいてRAM２４から画素値情報を読み出して生成部２６（１）〜２６（４）に出力したりする。

生成部２６（１）〜２６（４）はそれぞれ、RAM制御部２３から受け取った画素値情報に基づき、映像信号１３（１）〜１３（４）を合成した合成映像信号を生成し、生成した合成映像信号を適宜、同期信号やブランクを挿入しつつ出力する。同時に、生成部２６（１）〜２６（４）は、現在出力している合成映像信号の映像フレーム内における座標を管理し、現在出力している合成映像信号に基づき、次に読み出すべき座標情報を要求部２５（１）〜２５（４）に通知する。

要求部２５（１）〜２５（４）は、生成部２６（１）〜２６（４）からの座標情報をもとに、映像配置情報管理部２７内の映像配置情報を参照して、RAM制御部２３に対して、次に読み出すべき画素値情報の読出し要求を出す。RAM制御部２３は、要求された画素値情報をRAM２４から読み出して生成部２６（１）〜２６（４）に渡す。

RAM２４は、可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）の各々に対応したフレームバッファを有する。即ち、RAM２４は、これらの可変縮小部に対応して、計４×４＝１６個のフレームバッファを有する。各フレームバッファへは、例えばその先頭アドレスから順次、画素値情報が書き込まれ、入力映像のフレームが代わるごとに、再度、先頭アドレスから上書きされる。なお、いわゆるダブルバッファ構造を採用した場合は、各フレームバッファの容量はその２倍になる。

なお、前記したRAM制御部は同時に複数の要求を受ける場合があるため、要求されてから実行するまで実際にはタイムラグが存在する場合がある（なお、複数の要求を受ける場合は要求を受けた順に順次処理を行うよう構成してもよい。あるいは、予め定められた優先順位の順に処理を行うよう構成してもよい）。よって、各可変縮小部とRAM制御部との間、または、RAM制御部と各生成部との間、またはこれらの両方に、データを一時的に保持するバッファを設けてもよい。

以上のような映像合成装置による詳細な処理の流れを以下に説明する。

図１の左側の入力系において、映像信号として、27MHzのクロックにより、8ビットパラレルの画素値情報が、画面の左上の画素から画面の右下の画素まで順次、解析部２１（１）〜２１（４）に入力される。また、フレームにおける各ラインの開始位置と終了位置では所定の同期コードが映像信号に挿入され、さらにフレームの開始位置ではそれを示す同期コードが映像信号に挿入される。

解析部２１（１）〜２１（４）は、内部でX座標値（例えば0〜1715（水平ブランクを含む））とY座標値（例えば0〜524（垂直ブランクを含む））とを管理する。解析部２１（１）〜２１（４）は、ピクセルデータが来るたびにX座標値を1ずつ増加し、X座標値が最大値に達したら再び0からカウントするとともに、Y座標値を1増加する。解析部２１（１）〜２１（４）は、上述の同期コードを検知したとき、この同期コードがフレームの開始位置を示すものであれば、内部で管理しているX座標値とY座標値とをリセットすることでフレーム同期をとる。

可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）は、例えば1/1縮小のときは、現在の座標位置がブランク領域である場合は、画素値情報は無効であるためこの画素値情報を破棄する。現在の座標位置がブランク領域でない場合は、画素値情報をそのままRAM制御部２３に渡し、さらにこの画素値情報を書き込むべきアドレスとして、この画素値情報の座標に対応する1/1縮小用のフレームバッファにおけるアドレスを指定する。1/2縮小の場合は、同じく現在の座標位置がブランク領域でなければ、画素値情報を適宜平均化処理することにより、入力映像を縦方向及び横方向に１／２縮小した情報をRAM制御部２３に渡し、先と同様に、書き込むべきアドレスもRAM制御部２３に渡す。他の縮小率の場合も同様に適宜入力映像を縮小しつつRAM制御部２３に渡す。

例えば、出力映像１５（１）に対して、図３のような映像配置が要求されている場合、入力映像１３（１）は1/2縮小されるため、可変縮小部２２（１−１）は、1/2縮小を実行する。RAM制御部２３は、可変縮小部２２（１−１）から適宜受け取る画素値情報を、可変縮小部２２（１−１）から指定されたRAM２４におけるアドレスに書き込む。以上のことは他の入力映像１３（２）〜１３（４）に関しても同様である。

一方、図１の右側の出力系において、入力系と同じくBT.656信号を生成するため、生成部２６（１）〜２６（４）では、X座標値とY座標値とを管理し、解析部２１（１）〜２１（４）と同様に、２７MHｚのクロックによって、その値を１ずつ更新していく。

ここで、前述した図３の映像配置が要求されている場合、要求部２５（１）は、生成部２６（１）から指定された座標値に基づき、座標値が映像配置の左上の位置であれば1/2縮小された入力映像１３（１）、右上であれば1/2縮小された入力映像１３（２）、左下であれば1/2縮小された入力映像１３（３）、右下であれば1/2縮小された入力映像１３（４）における座標のアドレスをRAM制御部２３に指定する。RAM制御部２３は、要求部２５（１）から指定されたRAM２４におけるアドレスから画素値情報を読み込み、読み取った画素値情報を生成部２６（１）に渡す。

生成部２６（１）〜２６（４）は、受け取った画素値情報を適宜ブランクや同期コードを挿入しつつITU-R BT.656信号として２７MHzのクロックにより出力する。

以上のように、本実施の形態によれば、４つの入力映像を４つのパターンで合成して、４つの合成映像を生成及び出力することが可能となる。

また、各可変縮小部はそれぞれ対応する入力映像に同期して処理を行い各要求部はそれぞれ対応する出力映像に同期して処理を行えばよいため、即ち、可変縮小部と要求部とは互いには非同期であり連携をする必要が無いため、特開平5-103324号公報に述べられた技術に比べて、単純なアルゴリズムが実現され、よって、より単純で回路規模の小さい回路を実現できる。

なお、要求部は、図１０のように1つ（要求部２５）で複数の出力映像（出力映像１５（１）〜１５（４））に対する画素値情報の読み出し要求を生成してDRAM制御部に要求する形態でも良い。あくまで複数の出力映像に対応する要求が行われることがポイントである。

上述した本実施の形態では、４つの映像信号を入力して４つの合成映像を生成する例を示したが、入力する映像信号の数は４つである必要は無く、また生成する合成映像の数も４つに限定されない。映像信号の数と合成映像の数とは、複数であればこれより多くても少なくてもよく、また、これらの数が互いに異なってもよい。また、入力映像信号及び出力映像信号の規格はITU-R BT.656でなくともよい。また、本実施の形態では、縮小処理として単純に画素値の平均をとる方法を用いたが、縮小アルゴリズム自体は本実施の形態の本質とは関係ないため、何らかのフィルタを使う方法などを用いても良い。また、RAMとRAM制御部とは、本実施の形態のように、各々単一のデバイスであることの他、可変縮小部の数や出力の数（映像配置情報の数）などに応じて、各々複数の要素に分割されてもよく、本発明はこれを含む。また、映像配置は、配置パターンによっては一部の入力映像のみが配置されてもよく、さらには入力映像もその一部が切り取られて配置されても良い。入力映像同士が重なり合って配置されても良い。映像が配置されていない領域は背景色が表示されても良い。映像に枠が表示されていても良い。また映像を反転すること、あるいは複数の映像を透過的に重ね合わせて合成を行うことなどを含んでもよい。また、図１における解析部、可変縮小部、映像配置情報管理部、要求部および生成部による処理は、通常のプログラミング技法に基づいて生成したプログラムをコンピュータに実行させることによって実現してもよいし、ハードウェア的に実現してもよい。本段落で述べたことは後述する実施の形態でも同様に適用される。

（第２の実施の形態）
図４は、本発明の第２の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。

本実施の形態が第１の実施の形態と異なる点は、図１の可変縮小部２２（１−１）〜２２（１−４）、２２（２−１）〜２２（２−４）、２２（３−１）〜２２（３−４）、２２（４−１）〜２２（４−４）が、固定倍率の縮小を行う固定縮小部２８（１−１）〜２８（１−４）、２８（２−１）〜２８（２−４）、２８（３−１）〜２８（３−４）、２８（４−１）〜２８（４−４）になった点にある。

固定縮小部２８（１−１）〜２８（１−４）、２８（２−１）〜２８（２−４）、２８（３−１）〜２８（３−４）、２８（４−１）〜２８（４−４）は一定の縮小率によってのみ縮小を行い、映像配置情報管理部２７から縮小率の指定は受けない。固定縮小部２８（１−１）〜２８（１−４）、２８（２−１）〜２８（２−４）、２８（３−１）〜２８（３−４）、２８（４−１）〜２８（４−４）は、動的に変化する映像配置情報とは関係なく、常に同一の縮小率で入力映像を縮小して画素値情報をRAM制御部２３を介してRAM２４に書き込む。本例では、固定倍率として1/1と1/2と1/3と1/4との4つが与えられ、RAM２４上には計４×４＝１６個のフレームバッファが存在する（いわゆるダブルバッファの場合はその２倍）。

その他の構成及び動作は第１の実施の形態と同様である。

すなわち、要求部２５（１）〜２５（４）は、映像配置情報管理部２７内の映像配置情報と、生成部２６（１）〜２６（４）から指定される座標情報とに基づいて、RAM２４におけるフレームバッファからの画素値情報の読出し要求をRAM制御部２３に行う。RAM制御部２３はRAM２４から画素値情報を読み出して生成部２６（１）〜２６（４）に出力する。例えば前述した図３のような映像配置の場合、要求部２５（１）〜２５（４）は、生成部２６（１）〜２６（４）から指定された座標値が、映像配置の左上の位置であれば1/2縮小された入力映像１３（１）、右上であれば1/2縮小された入力映像１３（２）、左下であれば1/2縮小された入力映像１３（３）、右下であれば1/2縮小された入力映像１３（４）の座標のアドレスをRAM制御部２３に指定する。RAM制御部２３は、要求部２５（１）〜２５（４）から指定されたRAM２４におけるアドレスから画素値情報を読み込み、読み取った画素値情報を生成部２６（１）〜２６（４）に渡す。

ここで本実施の形態による効果について第１の実施の形態及び従来技術と比較して述べる。

まず、第１及び第２の実施の形態では入力映像の数が４つであるが、入力映像の数をＮ個とする。また、第２の実施の形態では、固定縮小部を1/1と1/2と1/3と1/4との４つとしたが、固定縮小部の数は複数であればこれより多くても少なくてもよくこれをＭ個とする。但し、1/1縮小部は実質的に縮小処理をしていないことから、固定縮小部の総数は実質的に（Ｍ−１）×Ｎ個となる。これに対し、上記特開平５−１０３３２４号公報又は第１の実施の形態では、同じＮ個の入力映像、Ｎ個の出力映像を実現する場合、可変縮小部はＮ×Ｎ個必要になる。これらの比を取ると（Ｍ−１）／Ｎである。

ここで、現実的なテレビ会議のMCUや監視カメラの画像分割ユニットを考慮すると、Nの値は通常４以上であることが多い。一方、Ｍの値に関しては、合成画面上に並べる入力映像の数が一方向でせいぜい４つ程度（すなわち画面上にはせいぜい４×４＝１６個程度）であることから、縮小率1/1、1/2、1/3、1/4、2/3、3/4（計６つ）がよく利用され、その個数は1/1を除いてせいぜい５つ程度である。よって、Ｎ≧４、Ｍ＝６とした場合、（Ｍ−１）／Ｎ≦５／４≒１となり、固定縮小部の数は、可変縮小部の数と比べてせいぜい同じかそれ以下である。

しかし、一般に、縮小率が固定の固定縮小部に比べ、縮小率が可変の可変縮小部はあらゆる縮小率に対応しなければならないため、その回路規模は固定縮小部に比べて遥かに大きくなる。よって（Ｍ−１）がＮと同程度である場合、本実施の形態により、縮小部全体の回路規模を、第１の実施の形態及び従来技術に比べて遥かに小さくできる。

（第３の実施の形態）
第１及び第２の実施の形態において図１及び図４の要求部は映像配置情報を用いてRAM制御部への読出し要求を行うことを説明したが、実際には、図１及び図４の要求部は、映像配置情報から生成される要求情報を用いて、RAM制御部２３への読出し要求を行う。従って、要求部が読出し要求を行うためには、あらかじめ上記要求情報を取得しておく必要がある。この要求情報は映像配置情報管理部２７によって生成される。このため映像配置情報管理部２７は、例えば、図５に示すように、映像配置情報１４（１）〜１４（４）に基づいて要求情報を生成する要求情報生成部３１（１）〜３１（４）を備える。

ここで、映像配置情報と要求情報とについて間単に説明する。

映像配置情報は、入力映像の配置を規定する情報であり、一般には「この入力映像を出力映像上のこの位置に配置する」という形式であるのが自然である。具体的には、映像の有効部分（ブランクを除いた部分）の座標をX = 0〜720、Y = 0〜480とすると、図３の合成映像の場合、入力映像１３（１）の1/2縮小映像を(0、0)に、入力映像１３（２）の1/2縮小映像を(360、0)に、入力映像１３（３）の1/2縮小映像を(0、240)に、入力映像１３（４）の1/2縮小映像を(360、240)に、という情報になる。これをサブセット情報（入力映像番号、ｘ座標、ｙ座標、倍率）のセットとして表現した場合、（１、０、０、１／２）（２、３６０、０、１／２）・・・となる。なお、入力映像番号１は入力映像１３（１）、入力映像番号２は入力映像１３（２）、・・・に相当する。

一方、要求情報は、要求部が生成部から受け取った現在の座標を元にRAM制御部２３への要求内容を決定するためのもので、「出力映像上のこの位置にはこの入力映像を配置する」という形式であることが望ましい。つまり、座標(0、0)には入力映像１３（１）の1/2縮小映像を、座標(360、0)には入力映像１３（２）の1/2縮小映像を、座標(0、240)には入力映像１３（３）の1/2縮小映像を、座標(360、240)には入力映像１３（４）の1/2縮小映像を、という情報であり、この情報があれば要求部は現在の座標から要求すべき入力映像を指定して得ることが出来る。より詳細には、要求すべき映像のRAM上のアドレスを指定する。このRAM上のアドレスへの対応や変換処理は割愛する。

なお、この配置例は単純な例であるが、例えば各入力映像が重なり合って配置される場合もありうる。しかし、その場合は要求情報生成部が重なりを分析し、重なり合った領域はその最上位の入力映像が配置映像となるだけであり、それ以外の処理については同様である。また、どの映像も配置されない領域が存在する場合もありうるが、その場合は所定の背景色や背景映像がその領域に配置されるだけであり、やはりそれ以外の処理については同様である。

ここで、要求部は、生成部による映像フレームの生成開始前に、即ち、RAM制御部２３に対して読出し要求を行う前に、予め上記要求情報（又は要求情報の少なくとも一部）を内部にセットしておく必要がある。そこで、図５の要求情報生成部３１（１）〜３１（４）は、要求部２５（１）〜２５（４）が動作していない期間、例えば垂直ブランク期間の間に、映像配置情報１５（１）〜１５（４）から要求情報を生成する。そして、要求部２５（１）〜２５（４）は、この垂直ブランク期間の間に今回の映像フレームで必要な要求情報を要求情報生成部３１（１）〜３１（４）から受け取って内部にセットする。要求部２５（１）〜２５（４）が動作しないブランク期間に要求情報を生成し、映像フレームの有効期間（非ブランク期間）にこの要求情報を使用することを繰り返す。

ここで、図５では映像配置情報管理部２７内に複数の要求情報生成部３１（１）〜３１（４）を設けたが、図７に示すように、映像配置情報管理部２７内に単一の要求情報生成部５１を設け、要求情報生成部５１が各要求部２５（１）〜２５（４）に対する要求情報を時分割で生成することで、回路規模をより縮小できる。以下、これについて詳細に説明する。

図６は、図１又は図４の生成部２６（１）〜２６（４）から映像フレームが時間軸に沿って出力される様子を示す図である。

斜線部は、垂直ブランク４１及び水平ブランク４２を示す。垂直ブランク４１と水平ブランク４２とにより囲まれた部分が映像フレームの有効部分である。各生成部２６（１）〜２６（４）は、互いに垂直ブランク分の時間だけずれてY座標を生成するように構成されている。即ち、互いの垂直ブランク期間が重ならないようなタイミングで各映像フレームが生成及び出力されている。

このように映像フレームの生成及び出力タイミングをずらすことにより、各要求部２５（１）〜２５（４）に対する要求情報を生成する時間をずらすことができるため、図７に示したように、単一の要求情報生成部を用いて、要求情報を時分割で生成できる。但し、１つの要求情報を生成する時間は、垂直ブランク期間よりも短いとする。

以上に説明した本実施の形態では、互いの垂直ブランク期間が全く重ならないように各生成部が映像フレームを生成したが、これは一例であり、一部が重なってもよく、従って、本発明は上記内容に限定されない。また、要求情報生成部は、垂直ブランク期間内に要求情報を生成したが、これは一例であり、要求情報生成部は、映像フレームの有効期間に要求情報を生成してもよい。要は、要求情報生成部が複数の要求部で使用する要求情報を時分割で生成できるように、映像フレームの生成及び出力のタイミングをずらすことができればよい。

以上のように、本実施の形態によれば、要求情報生成部を複数の要求部で共用できるため、さらなる回路規模の縮小が可能である。

（第４の実施の形態）
第１〜第３の実施の形態において、図４に示した固定縮小部の構成の場合、縮小率が離散的であり、また、図１に示した可変縮小部の場合でも、実装コストを鑑みると離散的になってしまう場合がある。本実施の形態では、これらの離散的な縮小率を補う形態を述べる。

図８は、本発明の第４の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。

映像配置情報管理部２７と要求部２５（１）〜２５（４）との間に補完拡縮率生成部６１が配置されている。補完拡縮率生成部は例えば倍率分割手段に相当する。本例では、入力映像の縮小部として、図４に示した固定縮小部が用いられているが、図１に示した可変縮小部が用いられてもよい。補完拡縮率生成部は、出力映像ごとに（生成部ごとに）用意されてもよいが、本例では、単一の補完拡縮率生成部６１が、時分割により複数の出力映像のための処理を行う。

補完拡縮率生成部６１は、映像配置情報管理部２７によって計算された縮小率を、縮小部が実行可能な縮小率と、補完拡縮率との積として表す縮小率分割処理を行う。

補完拡縮率生成部６１は、例えば入力映像１３（１）の1/2.5縮小を示す情報が映像配置情報管理部２７から与えられたとすると、1/2.5 = 1/2 × 4/5と表すことができるため、補完拡縮率として4/5を生成する。そして、補完拡縮率生成部６１は、例えば要求部２５（１）に対して、入力映像１３（１）の1/2映像を4/5に間引いて利用することを要求する要求情報を与える。このようにすることにより、結果的に生成部２６（１）へは、1/2.5縮小の映像が出力される。または、1/2.5 = 1/3 × 6/5と表すことができるため、補完拡縮率生成部６１は、補完拡縮率6/5を生成し、要求部２５（１）に対して、入力映像１３（１）の1/3映像が6/5倍になるように当該1/3映像の一部を重複して利用することを要求する要求情報を与えてもよい。

以上のように、本実施の形態によれば、縮小部を小さく保ったまま、入力映像に対する連続的な縮小率を実現することが可能となる。

（第５の実施の形態）
本実施の形態では、離散的な縮小率を補う他の形態を説明する。

図９は、本発明の第５の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。図８との違いは、RAM制御部２３と生成部２６（１）〜２６（４）との間に映像の補完的な拡大または縮小を行う拡縮部７１（１）〜７１（４）が配置された点にある。拡縮部は、例えば映像補完変倍手段、映像補完縮小手段または映像補完拡大手段に相当する。

補完拡縮率生成部６１は、例えば入力映像１３（１）の1/2.5縮小を示す情報が映像配置情報管理部２７から与えられたとすると、1/2.5 = 1/2 x 4/5と表すことができるため、補完縮小率として4/5を生成する。そして、補完拡縮率生成部６１は、例えば要求部２５（１）に対して、入力映像１３（１）の1/2縮小を要求するための要求情報を与え、拡縮部７１（１）には4/5縮小を行うように指示することで、結果的に生成部２６（１）へは1/2.5縮小の映像が出力される。または、補完拡縮率生成部６１は、1/2.5 = 1/3 × 6/5と表すことができるため、補完拡縮率として6/5を生成し、拡縮部７１（１）〜７１（４）には6/5拡大を行うように指示してもよい。

ここで、前述した第１〜第４の実施の形態からも理解されるように、本発明の実施の形態は、入力映像の縮小を行う縮小部をRAM制御部の前段に配置し、合成処理を行うための要求部と生成部とをRAM制御部の後段に配置することで、縮小処理と合成処理とを分離して処理を容易にすることを大きな特徴の１つとする。この点からすると、本第５の実施の形態は、一見、この特徴に反するようにも見える。しかし、本実施の形態における拡縮部は、あくまで縮小部の離散的な縮小率を補うものであるため、拡縮部が行う拡縮率は1に近く変動幅も小さい。よって、この拡縮部による拡縮率の変動に伴う処理遅延の変動は少なく、従って遅延の見積もりが容易であるから、本発明の実施の形態による効果の１つである、処理を簡単にすることにより回路規模を縮小することを損なうものではない。

以上に説明した第５の実施の形態は第４の実施の形態と組み合わせることも可能である。

即ち、まず、補完拡縮率生成部が入力映像の縮小率を、縮小部が実行可能な縮小率と、補完拡縮率との積として表す。

この後、例えば、補完拡縮率が１より大きい場合は、RAM制御部から読み出された入力映像を、拡縮部が補完拡縮率によって拡大し、補完拡縮率が１未満の場合は、入力映像を補完拡縮率に応じた分間引いて利用することを要求部がRAM制御部に要求する。

または、補完拡縮率が１未満の場合は、RAM制御部から読み出された入力映像を、拡縮部が補完拡縮率によって縮小し、補完拡縮率が１より大きい場合は、入力映像を補完拡縮率に応じた分重複して利用することを要求部がRAM制御部に要求する。

なお、以上のように実施の形態としてテレビ会議サーバを示したが、本発明はあくまでも複数の映像を入力して複数の合成映像を出力する合成処理一般に関するものであり、テレビ会議サーバに限定されるものではない。例えば監視用途で複数の監視カメラ映像を入力して合成する、オフィスや家庭内などでPC画面、TV画面、ゲーム画面などを合成するなど何でも良く、装置の用途や各々の入出力映像の種別／信号フォーマットは問わない（各チャンネルで異なっていても良い）。

本発明の第１の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。 図１の映像合成装置を適用したテレビ会議システムの構成を概略的に示すブロック図である。 映像配置の一例を示す図である。 本発明の第２の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。 映像配置情報管理部が複数の要求情報生成部を備えた構成を示す図である。 複数の映像フレームが時間に沿って出力される様子を示す図である。 映像配置情報管理部が単一の要求情報生成部を備えた構成を示す図である。 本発明の第４の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。 本発明の第５の実施の形態に従った映像合成装置の構成を概略的に示すブロック図である。 本発明の第１の実施の形態に従った映像合成装置の他の構成を概略的に示すブロック図である。

符号の説明

１１ 映像合成装置
１２（１）〜１２（４） 端末
１３（１）〜１３（４） 入力映像
１４（１）〜１４（４） 出力映像
１５（１）〜１５（４） 映像配置情報
２１（１）〜２１（４） 解析部
２２（１）〜２２（４） 可変縮小部
２３ RAM制御部
２４ RAM
２５（１）〜２５（４）、２５ 要求部
２６（１）〜２６（４） 生成部
２７ 映像配置情報管理部
２８（１）〜２８（４） 固定縮小部
５１ 要求情報生成部
６１ 補完縮小率生成部
７１（１）〜７１（４） 拡縮部

Claims (18)

1. それぞれ入力映像が入力されるＩ個の映像変倍手段であって、各々自身に入力された前記入力映像を複数の倍率によって変倍して複数の変倍された入力映像を生成する、Ｉ個の映像変倍手段と、
   変倍された前記入力映像の書込み要求を受けて前記変倍された入力映像を前記書込み要求により指定された領域に一時的に記憶する映像記憶手段と、
   各々前記映像変倍手段に対応し、前記映像変倍手段によって生成された前記複数の変倍された入力映像の各々を前記映像記憶手段における所定領域へ書き込むことを前記映像記憶手段に要求する、書込要求手段と、
   Ｊ個の映像配置情報のそれぞれに基づいて入力映像の読出し要求を行う、各前記映像配置情報のそれぞれは合成映像上における各入力映像の配置を定めている、読出要求手段と、
   前記読出し要求を受けて前記入力映像を前記映像記憶手段から読み出す読出制御手段と、
   各々前記映像配置情報に対応し、前記読出制御手段によって読み出された入力映像から合成映像を生成する、Ｊ個の合成映像生成手段と、を備え、
   前記読出要求手段は、前記J個の映像配置情報毎に、前記各入力映像のそれぞれの配置に応じた倍率をもつ前記変倍された入力映像の読出し要求を行い、前記複数の倍率のうち当該倍率以外の他の倍率の前記変倍された入力映像の読出し要求は行わない
   ことを特徴とする映像合成装置。
2. 前記Ｊ個の映像配置情報に基づいて前記映像変倍手段のそれぞれに複数の倍率を指定する倍率指定手段をさらに備え、
   前記映像変倍手段は、前記倍率指定手段によって指定された前記複数の倍率にしたがって前記入力映像を変倍して前記複数の変倍された入力映像を生成する、
   ことを特徴とする請求項１に記載の映像合成装置。
3. 前記映像変倍手段は、Ｊ個の可変変倍部を有することを特徴とする請求項２に記載の映像合成装置。
4. 前記映像変倍手段は、それぞれ相異なる一定の倍率をもつ複数の固定変倍手段を有することを特徴とする請求項１に記載の映像合成装置。
5. 前記映像変倍手段は、自身に入力される入力映像に関して前記映像配置情報で指定可能な倍率の個数と同数の固定変倍手段を有することを特徴とする請求項１に記載の映像合成装置。
6. 各前記映像配置情報のそれぞれから、合成映像上の各座標領域に配置されるべき入力映像の情報を、前記読出要求手段が前記読み出し要求を行う際に参照する要求情報として順番に生成する要求情報生成部をさらに備え、
   前記読出要求手段は、前記要求情報の生成順序に合わせて前記要求情報生成部が少なくとも前記要求情報を生成するのに必要な時間ずつずれるように、前記読出制御手段に対する前記読出し要求を開始する、
   ことを特徴とする請求項１に記載の映像合成装置。
7. 前記要求情報生成部は前記映像配置情報に対応する合成映像の垂直ブランク期間内に前記映像配置情報に対応する要求情報の生成処理を終えることを特徴とする請求項６に記載の映像合成装置。
8. 前記映像変倍手段は、自身に入力された前記入力映像を複数の縮小率によって縮小して複数の縮小された入力映像を生成することを特徴とする請求項１に記載の映像合成装置。
9. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、補完変倍率との積として表し、前記補完変倍率が１未満の場合は、前記変倍された入力映像を前記補完変倍率に応じた分間引いて利用することを、前記補完変倍率が１より大きい場合は、前記変倍された入力映像を前記補完変倍率に応じた分重複して利用することを前記読出要求手段に要求する、倍率分割手段をさらに備えた、
   ことを特徴とする請求項１に記載の映像合成装置。
10. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、１未満の値を有する補完縮小率との積として表し、前記変倍された入力映像を前記補完縮小率に応じた分間引いて利用することを前記読出要求手段に要求する、倍率分割手段をさらに備えた、ことを特徴とする請求項１に記載の映像合成装置。
11. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、１より大きい値を有する補完拡大率との積として表し、前記変倍された入力映像を前記補完拡大率に応じた分重複して利用することを前記読出要求手段に要求する、倍率分割手段をさらに備えた、
    ことを特徴とする請求項１に記載の映像合成装置。
12. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、補完変倍率との積として表す倍率分割手段と、
    各々前記合成映像生成手段に対応配置され、前記読出制御手段から読み出された前記変倍された入力映像を、前記補完変倍率によって変倍し、変倍後の入力映像を前記合成映像生成手段に出力する映像補完変倍手段と、
    をさらに備えたことを特徴とする請求項１に記載の映像合成装置。
13. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、１未満の値を有する補完縮小率との積として表す倍率分割手段と、
    各々前記合成映像生成手段に対応配置され、前記読出制御手段から読み出された前記変倍された入力映像を、前記補完縮小率によって縮小し、縮小後の入力映像を前記合成映像生成手段に出力する映像補完縮小手段と、
    をさらに備えたことを特徴とする請求項１に記載の映像合成装置。
14. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、１より大きい値を有する補完拡大率との積として表す倍率分割手段と、
    各々前記合成映像生成手段に対応配置され、前記読出制御手段から読み出された前記変倍された入力映像を、前記補完拡大率によって拡大し、拡大後の入力映像を前記合成映像生成手段に出力する映像補完拡大手段と、
    をさらに備えたことを特徴とする請求項１に記載の映像合成装置。
15. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、補完変倍率との積として表す倍率分割手段と、
    各々前記合成映像生成手段に対応配置され、前記補完変倍率が１より大きい場合は、前記読出制御手段から読み出された前記変倍された入力映像を、前記補完変倍率によって拡大し、拡大後の入力映像を前記合成映像生成手段に出力する映像補完拡大手段と、をさらに備え、
    前記倍率分割手段は、前記補完変倍率が１未満の場合は、前記変倍された入力映像を前記補完変倍率に応じた分間引いて利用することを前記読出要求手段に要求する、
    ことを特徴とする請求項１に記載の映像合成装置。
16. 前記映像配置情報に従って配置される前記入力映像の倍率を、前記映像変倍手段が変倍可能な倍率と、補完変倍率との積として表す倍率分割手段と、
    各々前記合成映像生成手段に対応配置され、前記補完変倍率が１未満の場合は、前記読出制御手段から読み出された前記変倍された入力映像を、前記補完変倍率によって縮小して、縮小後の入力映像を前記合成映像生成手段に出力する映像補完縮小手段と、をさらに備え、
    前記倍率分割手段は、前記補完変倍率が１より大きい場合は、前記変倍された入力映像を前記補完拡大率に応じた分重複して利用することを前記読出制御手段に要求する、
    ことを特徴とする請求項１に記載の映像合成装置。
17. Ｉ個の入力映像の各々を複数の倍率によって変倍して、前記入力映像ごとに複数の変倍された入力映像を生成する入力映像生成ステップと、
    前記入力映像ごとに生成された前記複数の変倍された入力映像の各々を映像記憶手段における所定領域に書き込む書込ステップと、
    合成映像上における各入力映像の配置を定めたＪ個の映像配置情報のそれぞれに基づいて、前記映像記憶手段から入力映像の読み出しを行う読出ステップと、
    前記映像配置情報ごとに読み出された入力映像から合成映像を生成する合成映像生成ステップと、を備え、
    前記読出ステップは、前記J個の映像配置情報毎に、前記各入力映像のそれぞれの配置に応じた倍率をもつ前記変倍された入力映像の読み出しを行い、前記複数の倍率のうち当該倍率以外の他の倍率の前記変倍された入力映像の読み出しは行わない
    ことを特徴とする映像合成方法。
18. Ｉ個の入力映像の各々を複数の倍率によって変倍して、前記入力映像ごとに複数の変倍された入力映像を生成する入力映像生成ステップと、
    前記入力映像ごとに生成された前記複数の変倍された入力映像の各々を映像記憶手段における所定領域に書き込む書込ステップと、
    合成映像上における各入力映像の配置を定めたＪ個の映像配置情報のそれぞれに基づいて、前記映像記憶手段から入力映像の読み出しを行う読出ステップと、
    前記映像配置情報ごとに読み出された入力映像から合成映像を生成する合成映像生成ステップと、
    をコンピュータに実行させ、
    前記読出ステップは、前記J個の映像配置情報毎に、前記各入力映像のそれぞれの配置に応じた倍率をもつ前記変倍された入力映像の読み出しを行い、前記複数の倍率のうち当該倍率以外の他の倍率の前記変倍された入力映像の読み出しは行わない
    ことを特徴とする映像合成プログラム。

Images