JP3610423B2

JP3610423B2 - 映像表示システムおよびその臨場感向上方法

Info

Publication number: JP3610423B2
Application number: JP8577597A
Authority: JP
Inventors: 治森川
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 1997-03-19
Filing date: 1997-03-19
Publication date: 2005-01-12
Anticipated expiration: 2017-03-19
Also published as: JPH10260808A

Description

【０００１】
【発明の属する技術分野】
本発明は、遠隔地を通信回線で接続して、会議を行う場合に好適な映像表示システムおよびその臨場感向上方法に関する。
【０００２】
【従来の技術】
従来、遠隔の人間同士が自己の映像を相手先に送る映像表示システムとしては電子会議システムや、テレビ電話システムが知られている。電子会議システムやテレビ電話システムでは、ビデオカメラにより撮像された映像をパーソナルコンピュータに入力し、パーソナルコンピュータから、ＬＡＮ（広域ネットワーク）などの通信回線を介して、更新相手のパーソナルコンピュータに送る。
【０００３】
相手のパーソナルコンピュータからはやはりビデオカメラにより撮像された相手側の人間の映像が自己のパーソナルコンピュータに送られてくる。双方のパーソナルコンピュータでは自己のビデオカメラにより撮影された映像を、たとえば、ＣＲＴ表示装置の表示画面の左側、相手側から送られた映像を表示画面の右側に表示して、ユーザに臨場感をもたしている。
【０００４】
【発明が解決しようとする課題】
このように２つのパーソナルコンピュータの間の相互通信（全２重通信）では、２箇所の人間しか会議に参加することができず、３個所以上での電子会議を開くことができない。また、相手側から送られてくる映像は通信のために。自己のビデオカメラにより撮影された映像とはタイムラグが生じてしまい、その表示が不自然となっていしまう。さらに従来は自分の映像と相手の映像は別々の方形の中に表示されており、その位置関係および表示サイズは各利用者毎に異なっていた。そのため、両者が同じ空間（画面位置）を意図的に共有することはできなかった。
【０００５】
そこで、本発明は、２箇所以上の人間が同一の場所で会議を行っているような臨場感を与えることができる、映像表示システムおよびその臨場感向上方法を提供することにある。
【０００６】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、異なる場所で映像を入力する複数の映像入力手段と、異なる場所で映像を表示する複数の映像表示手段と、前記複数の映像入力手段から入力された複数組の映像を、鏡像となるように１つの映像に合成する画像合成手段とを有し、前記画像合成手段により合成した映像を前記複数の映像表示手段に転送して、前記複数の映像表示手段で表示することを特徴とする。
【０００７】
請求項２の発明は、請求項１に記載の映像表示システムにおいて、前記画像合成手段をサーバ内に設け、前記複数の映像入力手段と前記複数の映像表示手段とを複数のクライアント内に設け、前記サーバと、前記複数のクライアントを通信ネットワークで接続したことを特徴とする。
【０００８】
請求項３の発明は、請求項１に記載の映像表示システムにおいて、前記映像入力手段はビデオカメラ、前記映像表示手段はプロジェクタであることを特徴とする。
【０００９】
請求項４の発明は、映像入力する複数の映像入力装置を異なる場所に設置し、映像を表示する複数の映像表示装置を異なる場所に設置し、前記複数の映像入力装置から入力された複数組の映像を、鏡像となるように１つの映像に画像処理装置により合成し、前記画像処理装置により合成した映像を前記複数の映像表示装置に転送して、前記複数の映像表示装置で表示することを特徴とする。
【００１０】
請求項５の発明は、請求項４に記載の映像表示システムの臨場感向上方法において、前記画像処理装置をサーバ内に設け、前記複数の映像入力装置と前記複数の映像表示装置とを複数のクライアント内に設け、前記サーバと、前記複数のクライアントを通信ネットワークで接続したことを特徴とする。
【００１１】
請求項６の発明は、請求項４に記載の映像表示システム臨場感向上方法において、前記映像入力装置はビデオカメラ、前記映像合成装置はプロジェクタであることを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【００１３】
（第１実施の形態）
図１は本発明第１実施の形態における映像通信システムのシステム構成を示す。図１において、サーバー１００および複数のクライアント２００がＬＡＮ（ローカルエリアネットワーク）等の通信回線（ネットワーク）に接続されている。各クライアント２００側では、会議に参加したい者を撮像し（音声入力を含む）、撮像結果から人物の映像を残し、背景を除去して、サーバー１００に送信する。サーバー１００側では、複数のクライアント２００側から送られる人物像と、サーバ１００側で用意している背景とを合成し、合成後の映像を各クライアント２００に送信する。各クライアント側では受信した合成映像を表示する。
【００１４】
サーバ１００およびクライアント２００のシステム構成を図２に示す。サーバ１００およびクライアント２００には汎用のパーソナルコンピュータやワークステーションを使用することができるので、システム説明は簡単に留める。図２において、クライアント側のＣＰＵ１はＯＳ（オペレーティングシステム）に従って、システム制御を行う他、図３に示す処理プログラムを実行して、本発明に係る映像通信を行う。ＲＯＭ２には上記ＯＳの一部およびシステムフォント等を記憶している。ＲＡＭ３はＣＰＵ１に対する入出力データ、ハードディスク記憶装置（ＨＤＤ）８からローディングされた実行用プログラム、ＣＰＵ１の演算データ、キーボード６から入力されたデータ等が格納される。
【００１５】
ＣＲＴ４は後述の合成映像の表示を行う。入出力インタフェース（Ｉ／Ｏ）５はＬＡＮ（ローカルエリアネットワーク）と接続し、サーバ１００から送信された映像を受信する。
【００１６】
キーボード６は文字情報等やＣＰＵ１に対する動作指示を入力する。マウス７はＣＲＴ４の表示画面の特定位置を指定することによりその位置に表示されている情報に関連する動作命令、文字、数値等を入力する。ＨＤＤ８は上記ＯＳ、映像通信用プログラムを格納する。Ｉ／Ｏ９はビデオカメラ１０と接続し、ビデオカメラ１０により撮影した映像（動画像＋音声）を入力する。
【００１７】
サーバ１００も上述したクライアント１００とほぼ同じハード構成とすることができる。ただし、サーバー１００にはビデオカメラ１０は接続されておらず、ＨＤＤ８には映像合成および通信用プログラム（図４）および合成対象となる背景の静止画像を記憶している点がクライアント２００と異なる。クライアント２００側で実行する映像通信プログラムの内容を図３に示し、サーバ１００側で実行する映像合成およひ通信プログラム映像通信用プログラムの内容を図４に示す。図３および図４のフローチャートを参照しながら図１のシステム動作を説明する。
【００１８】
各クライアント２００側のＣＰＵ１はキーボード６またはマウス７により映像通信用プログラムの起動の指示を受けると、ＨＤＤ８からＲＡＭ３にローディングして、実行を開始する。サーバー１００側のＣＰＵ１でも映像合成および通信用プログラムの起動の指示を受けるとＲＡＭ３に映像合成および通信用プログラムをローディングして、実行を開始する。
【００１９】
クライアント２００では、従来から周知の通信プロトコル、たとえば、ＴＣＰ／ＩＰのような通信プロトコルを使用して、サーバ１００と接続する（ステップＳ１０）。
【００２０】
クライアント側のＣＰＵ１はビデオカメラ１０から入力される動画像（図５の符号５０１）および音声をＲＡＭ３に記憶し、次にこの動画像から背景画像（図５の符号５０３）を消去する（ステップＳ２０→Ｓ３９）。このためには、ＵＳＰ５５７２２４８号に記載されているような、画像処理方法を使用することができる。この画像処理では人物が存在しない背景画像（動画像または静止画像）を予め取得し、入力した映像に対して人物が存在しない背景画像によりマスク処理を施すことで背景を除去する。さらに人部画像は左右反転により鏡像が作成される。
【００２１】
このようにして背景画像を除去して鏡像形態の動画像５０４すなわち、人物５０２についての画像データおよび背景部分の各画素を、たとえば、数値０とした画像データ（図５の５０５）からなる動画画像５０４および音声データはデータ圧縮されて、クライアント２００のＩ／Ｏ５を介してサーバ１００に送信される（ステップＳ４０）。
【００２２】
次にクライアント２００のＣＰＵ１はサーバ１００側で人物画像が合成された映像（図５の符号６０２参照）をＩ／Ｏ５を介して受信し、データ復元を行って、ＣＲＴ４に表示する。
【００２３】
一方サーバー１００側のＣＰＵ１はクライアント２００側の通信要求に応じて、接続し、マルチタスク処理により複数のクライアント２００と時系列的に通信を行う（ステップＳ１００）。最初にサーバ１００側のＣＰＵ１は各クライアント２００から送信される圧縮済みの映像を受信し、サーバ１００内のＲＡＭ３に一時記憶する（ステップＳ１１０）。
【００２４】
接続されている全てのクライアント２００から映像を受信すると、サーバ１００側のＣＰＵ１は受信した映像のデータ復元を行って、複数の人物画像（鏡像形態）およびサーバ１００内のＨＤＤ８に用意してある背景画像（図５の符号６０１）を合成する（ステップＳ１３０）。合成後の映像６０２は上記ＣＰＵ１によりデータ圧縮されて、全クライアント２００に送信される（ステップＳ１４０）。以下、終了の指示があるまで、上述の処理が繰り返される（ステップＳ１１０〜Ｓ１６０のループ処理）。
【００２５】
このようにして、図５に示すように各クライアント２００はサーバ１００と映像の相互通信を行うだけで、全てのクライアント２００側の人物がそろった、画像を表示することができる。このため、クライアント２００側の通信プログラムは従来と同様のものをしようすることができる。また、サーバ１００側で用意する背景が１つの部屋の風景であれば、全員があたかも１つの部屋にいるような臨場感を与えることができる。
【００２６】
（第２実施の形態）
第１実施の形態は、通信ネットワークを介して、映像を転送し、ＣＲＴなどの表示装置に合成画像を表示する例であった。画像合成を光学的に行う例を図６に示す。図６において、５１および６３はビデオカメラ、５２，５３，６１，６２はプロジェクタである。７０は転送される映像信号を増幅し、分配する信号処理装置である。ビデオカメラ５１により撮影された人物の映像はプロジェクタ５３、６１送られ、プロジェクタ５３によりスクリーン５４に鏡像となるように投影され、プロジェクタ６１によりスクリーン６４に鏡像となるように投影される。また、ビデオカメラ６３により撮影された人物の映像はプロジェクタ５２，６１に送られ、スクリーン５４，６４にそれぞれ鏡像となるように投影される。したがって、遠隔地にいる人物同士の映像が２つのプロジェクタ５２，５３（６１，６２）により合成されてスクリーン５４（６４）に表示される。
【００２７】
以上説明した第１、第２実施の形態では、図７に示すように番号１１の対話者がスクリーン５４に番号１５の鏡像として投影され、番号１２の対話者が番号１６の鏡像として投影される。また、番号１３の人物の鏡像（番号１７）もスクリーン５４に投影される。したがって、番号１１，１２の対話者はスクリーン５４上の鏡像７を見るて、あたかも自分の知覚に仮想人物（１８）がいるような臨場感を得ることができる。これは遠隔地にいる番号１３の対話者についても同様のことがいえる。
【００２８】
さらに図８に示すように２人の人物（番号１１，１２）が遠隔地におり、それぞれが鏡像１３，１４，１５，１６を見ている状態では、番号１１の対話者は番号１４の鏡像（対話者２の鏡像）の位置に向けて話かけていることになる。番号１２の対話者も同様である。これは対話者１２にとって、仮想像１７の位置に話かけることになり両者は対話を行うことができる。この原理は、対話者が３人以上でも成立する。
【００２９】
上述の実施の形態の他に次の例を実施できる。
【００３０】
１）上述の実施例ではサーバ１００側では映像、すなわち、動画像および音声を合成したが、合成対象を動画像のみとすることもできる。
【００３１】
２）上述の実施の形態では、映像通信システムを電子会議に適用した例を示したが、遠隔地にいる複数の人間による各種の情報通信に本発明を適用できる。
【００３２】
３）上述の実施の形態ではＬＡＮに複数のクライアントが接続するれいであったが、ＬＡＮに代わり、公衆電話回線を介在させた通信ネットワーク、たとえば、インタ−ネットを使用することもできる。
【００３３】
４）ビデオカメラに優先順位を定めておき、複数の人物の映像を重複して表示する場合には上記優先順位にしたがって、表示を行い、優先順位の低い映像から重複部分をマスク（除去）することも可能である。
【００３４】
５）表示画面中の同一位置に複数の人物が存在する場合がある。そこで、ビデオカメラと被写体の人物との間の距離を測定しておく。人物画像の輪郭線により人物の位置を検出し、複数の人物画像の位置が一致する場合には、測定距離の小さい方の人物画像を優先して表示することも可能である。なお、被写体の距離（位置）を測定する方法には、天井にカメラを設置し、３角方の原理で人物の位置、距離を測定する方法や、磁気を使用する位置検出方法、ステレオ立体視による位置検出方法等、周知の方法を使用するとよい。
【００３５】
６）上述の第１の実施形態では、クライアント２００側で背景の除去処理と、鏡像への変換処理を行ったが、画像のこま送り速度を優先させる場合には、ビデオカメラ１０から入力した映像をそのまま、サーバー１００に送り、サーバ１００側で、画像合成を行うとよい。このとき、背景の除去処理は行わない。また、サーバー側での画像処理として、人物画像の大きさがほぼ同一となるように各人物画像を圧縮／拡大することもできる。
【００３６】
【発明の効果】
以上、説明したように請求項１、４の発明によれば、遠隔地にいる人物像を鏡像の形態で１つに合成し、表示することで、その表示を見るものは自己があたかも仲間と同一の１つの部屋にいるような臨場感を持つことができる。
【００３７】
加えて、同一縮尺で合成画像を作ることができ、利用者間の相対位置関係が明確になる。また、表示される映像が鏡像映像のため、鏡を見ている場合のアナロジーを使うことにより指さし等の非言語対話が容易に行え、臨場感がさらに向上する。
【００３８】
請求項２、５の発明では、通信ネットワークを介して映像を通信する場合にも、各人物画像の表示に際して、タイムラグが生ぜず、良質な表示画像を得ることができる。
【００３９】
請求項３、６の発明では、プロジェクタ等により光学的に画像を合成することで、多数の人物を大きなスクリーンに表示することができ、多数の人間を取り扱いの対象とすることができる。
【図面の簡単な説明】
【図１】本発明第１実施の形態のシステム構成を示すブロック図である。
【図２】サーバ１００およびクライアント２００のシステム構成を示すブロック図である。
【図３】クライアント側の処理手順を示すフローチャートである。
【図４】サーバ側の処理手順を示すフローチャートである。
【図５】映像合成を説明するための説明図である。
【図６】第２実施の形態のシステム構成を示す構成図である。
【図７】人物と鏡像の位置関係を示す説明図である。
【図８】人物と鏡像の位置関係を示す説明図である。
【符号の説明】
１ＣＰＵ
２ＲＯＭ
３ＲＡＭ
４ＣＲＴ
５，９Ｉ／Ｏ
６キーボード
７マウス
８ＨＤＤ
１０ビデオカメラ

Claims

自己の映像を含む異なる場所で撮像された映像をそれぞれ入力する複数の映像入力手段と、異なる場所で映像を表示する複数の映像表示手段と、前記複数の映像入力手段から入力された複数組の映像を、鏡像となるように１つの映像に合成する画像合成手段とを有し、前記画像合成手段により合成した映像を前記複数の映像表示手段に転送して、前記複数の映像表示手段で表示することを特徴とする映像表示システム。
請求項１に記載の映像表示システムにおいて、前記画像合成手段をサーバ内に設け、前記複数の映像入力手段と前記複数の映像表示手段とを複数のクライアント内に設け、前記サーバーと、前記複数のクライアントを通信ネットワークで接続したことを特徴とする映像表示システム。
請求項１に記載の映像表示システムにおいて、前記映像入力手段はビデオカメラ、前記映像表示手段はプロジェクタであることを特徴とする映像表示システム。
自己の映像を含む異なる映像をそれぞれ映像入力する複数の映像入力装置を異なる場所に設置し、映像を表示する複数の映像表示装置を異なる場所に設置し、前記複数の映像入力装置から入力された複数組の映像を、鏡像となるように１つの映像に画像処理装置により合成し、前記画像処理装置により合成した映像を前記複数の映像表示装置に転送して、前記複数の映像表示装置で表示することを特徴とする映像表示システムの臨場感向上方法。
請求項４に記載の映像表示システムの臨場感向上方法において、前記画像処理装置をサーバー内に設け、前記複数の映像入力装置と前記複数の映像表示装置とを複数のクライアント内に設け、前記サーバと、前記複数のクライアントを通信ネットワークで接続したことを特徴とする映像表示システムの臨場感向上方法。
請求項４に記載の映像表示システムの臨場感向上方法において、前記映像入力装置はビデオカメラ、前記映像処理装置はプロジェクタであることを特徴とする映像表示システムの臨場感向上方法。