JP2010157906A - 映像表示装置 - Google Patents

Abstract

【課題】参加者が１箇所に集まって行う会議の臨場感のある仮想的な会議空間映像と音声とを生成できるようにする。
【解決手段】自局の会議参加者を撮像し、前記撮像された会議参加者が着席している位置を検出する。一方、複数の遠隔地からの映像より人物映像を抽出し、前記抽出された人物映像を配置する位置を決定して映像の合成を行う。そして、前記合成された映像を、検出された自局の会議参加者の着席位置に応じた範囲で、複数の表示装置に表示させることによって、相手局の会議参加者の映像が表示される位置を制御する。
【選択図】図１

Description

本発明は映像表示装置に関し、特に、遠隔地の会議参加者と映像のやり取りを行うビデオ会議システムに用いて好適な技術に関する。

従来、ビデオ会議システムでは、複数の遠隔地点間で映像を相互に送り、ビデオモニタの画面を分割して、そこに複数の画面を同時に表示する方法や、各々の拠点に対応したビデオモニタに表示する方法が採られている。

さらに、従来のビデオ会議システムにおいて、臨場感を有する仮想的な会議空間の映像を生成する方法がある。具体的には、相手局側の会議机が自局側の会議机とつながっているかのように、相手局側で撮影した机の前に着席した会議参加者の映像を自局側の複数の大型ビデオモニタに表示する方法であり、いわゆるテレプレゼンスといわれるシステムである。

図５は、複数の大型ビデオモニタに相手局の会議参加者が表示されているビデオ会議システムの画面表示例を示す図である。
図５において、自局側をＤ局とし、相手局をＡ局、Ｂ局、Ｃ局とする。自局であるＤ局にある第１のビデオモニタ４０１には、Ａ局において撮影された３人の会議参加者及び会議机を含む会議室の映像が表示される。また、第２のビデオモニタ４０２にはＢ局において撮影された１人の会議参加者及び会議机を含む会議室の映像が表示され、同様に第３のビデオモニタ４０３にはＣ局において撮影された２人の会議参加者及び会議机を含む会議室の映像が表示される。

しかしながら、従来のビデオ会議システムでは、複数の遠隔地点間でビデオ会議を行う場合、各拠点の会議参加者の映像が複数台のビデオモニタに別々に表示されため、特定の相手局の拠点の会議参加者が多い場合がある。そのため、ある拠点からの会議参加者が少ない場合には、各ビデオモニタに対して会議参加者の映像が偏って表示されてしまう。

また、自局側で会議の参加人数が少なく、会議机の端の一部でしか着席していない場合でも、各拠点の会議参加者の映像を表示させるため、自局で着席している位置から遠い位置にあるビデオモニタに相手局の会議参加者の映像を表示させなければならない。したがって、参加者が１箇所に集まって行う会議空間とは異なり、臨場感を有する会議空間を得られにくい。

本発明は前述の問題点に鑑み、参加者が１箇所に集まって行う会議の臨場感のある仮想的な会議空間映像と音声とを生成できるようにすることを目的としている。

本発明の映像表示装置は、外部装置からの映像データを受信して、複数の表示装置に映像を表示する映像表示装置、前記外部装置から受信された映像データより人物を抽出する人物映像抽出手段と、前記人物映像抽出手段により抽出された人物を配置する位置を決定して映像の合成を行う映像出力合成手段と、前記映像出力合成手段によって合成された映像を前記複数の表示装置に表示する表示制御手段とを備えたことを特徴とする。

本発明によれば、ビデオ会議システムで遠隔地を意識せず同じ会議空間で会議を行っているような臨場感を実現することができる。

（第１の実施形態）
以下、図面を参照しながら、本発明の第１の実施形態について詳細に説明する。
図１は、本実施形態におけるビデオ会議システム１００の構成例を示すブロック図である。
図１において、１００は映像表示装置であるビデオ会議システムの本体である。２００はビデオカメラなどの映像入力機器群であり、複数のビデオカメラを利用することによって、より広範囲に撮影をすることができる。本実施形態では、映像入力機器群２００は、図５に示すような３台のビデオカメラ２０１〜２０３により構成されている。

この映像入力機器群２００よりＵＳＢ Ｉ／ＦやＨＤＭＩなどのデジタルインターフェースによってデジタル映像信号がビデオ会議システム１００に入力される。３０１はマイクなどの音声入力機器であり、同様にデジタルインターフェースによってデジタル音声信号がビデオ会議システム１００に入力される。

４００はビデオモニタなどの映像出力機器群であり、ビデオ会議システム１００よりＨＤＭＩなどのデジタルインターフェースによって出力されたデジタル映像信号の表示を行う。複数のビデオモニタを利用することによって、より広範囲に映像の表示を行うことができ、より臨場感を得ることができる。本実施形態では、映像出力機器群４００は、図５に示すような３台のビデオモニタ４０１〜４０３から構成されている。

５００はスピーカーなどの音声出力機器群であり、同様にデジタルインターフェースによって出力されたデジタル音声信号の出力を行う。複数のスピーカーを利用することによって、より広範囲に音声の出力を行うことができ、より臨場感を得ることができる。本実施形態では、音声出力機器群５００は、図５に示すような３台のスピーカー５０１〜５０３から構成されている。

１０６は映像入力機器群２００から入力されたデジタル映像信号を圧縮して符号化するビデオ符号化部であり、１０８は受信した映像データを伸張して復号化し、デジタル映像信号を人物映像抽出部１０４に出力するビデオ復号化部である。ビデオ符号化部１０６及びビデオ復号化部１０８は、例えば、Ｈ．２６３、Ｈ．２６４などの規格に基づく動作を行う。

１０７はマイク３０１から入力されたデジタル音声信号を圧縮して符号化するオーディオ符号化部であり、１０９は受信した音声データを伸張して復号化し、デジタル音声信号を音声出力処理部１０５に出力するオーディオ復号化部である。オーディオ符号化部１０７及びオーディオ復号化部１０９は、例えば、Ｇ．７１１、Ｇ．７２２．１などの規格に基づく動作を行う。

１１０はビデオ・オーディオコーデックであり、ビデオ符号化部１０６、オーディオ符号化部１０７、ビデオ復号化部１０８、及びオーディオ復号化部１０９を包含し、ＤＳＰなどで実現される。１１１は符号化された映像データ及び音声データをそれぞれビデオパケット、オーディオパケットにパケット化処理を行うパケット化制御部である。

１１２は受信したビデオパケット、オーディオパケットをデパケット化し、それぞれ符号化された映像データ及び音声データを構成させるデパケット化制御部である。また、デパケット化制御部１１２は、同期の維持や、ネットワークでのパケット到着ジッタを考慮してメディアストリームに付加された遅延を処理する。さらに、オーディオ復号化部１０９によって復号化された音声信号、及び受信した符号化された音声データを所定期間遅延して映像データとの同期（リップ・シンク）をとるための機能も有している。

１１３はプロトコル制御部であり、送信されるビデオ、オーディオ及び制御ストリームをＬＡＮ Ｉ／Ｆ部１１４に出力するために、形式に従って配置する。また、ＬＡＮ Ｉ／Ｆ部１１４から入力されたメッセージから受信したビデオ、オーディオ及び制御ストリームを取り出す。さらに、それぞれのメディアタイプに応じて、論理フレーミング、シーケンス番号付加、エラー検出、エラー訂正機能を提供する。

１１４はＬＡＮ Ｉ／Ｆ部であり、パケット通信ネットワーク網と端末との間に必要な適応化を測る。６００は遠隔地の外部装置とのＬＡＮ・ＷＡＮなどのパケット通信ネットワーク網である。１０１は予め映像入力機器群２００から入力された自局の壁などのデジタル映像を蓄積させておく背景映像蓄積部であり、背景映像としてビデオ会議の通信時に映像出力合成処理部１０３へ出力する。

１０２は自局の会議参加者を撮像した結果、その着席位置を検出し、検出結果を映像出力合成処理部１０３と音声出力処理部１０５とへ通知する人物位置検出部である。１０４はビデオ復号化部１０８から出力された相手局からのデジタル映像より人物映像を検出して輪郭抽出を行う人物映像抽出部であり、抽出した人物映像を映像出力合成処理部１０３へ出力する。

１０３は映像出力合成処理部であり、人物位置検出部１０２から通知される自局の会議参加者の着席位置情報を受けて複数のビデオモニタのどの範囲に表示するかを決定する。そして、その表示範囲に人物映像抽出部１０４から抽出された相手局の会議参加者の人物映像を配列し、背景映像蓄積部１０１から出力される背景映像と合成して、デジタル映像信号として映像出力機器群４００に出力して表示制御を行う。

１０５は音声出力処理部であり、人物位置検出部１０２から通知される自局の会議参加者の着席位置情報を受けて複数のスピーカーのどのスピーカーにどのくらいのレベルで出力するかを決定する。そして、そのレベルのデジタル音声信号を音声出力機器群５００に出力する。１１５は呼制御・システム制御部であり、適切な操作のためのシグナリングを提供する。提供される機能は、呼制御、能力情報交換、命令と通知のシグナリング、および論理チャネルの開設などであり、例えば、Ｈ．３２３、ＳＩＰなどの規格に基づく動作を行う。さらにビデオ会議システム１００を構成する各部の制御をも行う。

次に、ビデオ会議システム１００の動作について説明する。
図４は、本実施形態におけるビデオ会議システム１００の動作手順の一例を示すフローチャートである。
なお、ビデオ会議を始める前に、予め、自局会議室の壁の映像を３台のビデオカメラより撮像しておくものとする。また、ビデオ会議システム１００本体に接続されている３台のビデオカメラからの撮影だけでなく、ＨＤＭＩ入力端子などの外部入力端子を設けることにより、ビデオカムコーダなどで撮影済みの映像を入力することもできる。そして、入力された自局会議室の壁の映像を背景映像蓄積部１０１に蓄積しておく。その上で、ビデオ会議の通信開始を行う。多地点でのビデオ会議の場合には、すべての相手局からのメディアストリームが送受信されたことを受けて動作フローが開始される。

ビデオ会議の通信が開始されると、ステップＳ４０１において、図５に示すように撮像手段であるビデオカメラ２０１〜２０３により自局の会議参加者を撮影する。そして、人物位置検出部１０２は、撮影された映像をデジタル映像として入力し、入力されたデジタル映像から会議参加者が会議室の机に座っている着席位置を検出する。着席位置を検出したら、ステップＳ４０２において、人物位置検出部１０２は、映像出力合成処理部１０３及び音声出力処理部１０５へ着席位置情報を通知する。

本実施形態では、着席位置情報をデジタル映像上の座標点として通知するが、それほどの精度を要求されない場合にはある程度の範囲として通知してもかまわない。次に、ステップＳ４０３において、通知を受けると、映像出力合成処理部１０３は、図５に示す複数のビデオモニタ４０１〜４０３で相手局の会議参加者の映像を表示させる範囲を算出して決定する。

次に、ステップＳ４０４において、同様に通知を受けた音声出力処理部１０５は、前述のビデオモニタ４０１〜４０３に表示する範囲において、図５に示すスピーカー５０１〜５０３に各々どのくらいのレベルで出力するかを決定する。

次に、ステップＳ４０５において、受信した相手局からのメディアストリームをデパケット化制御部１１２は、映像ストリームにデパケット化し、ビデオ復号化部１０８はデジタル映像に復号化して人物映像抽出部１０４に出力する。そして、人物映像抽出部１０４は、入力されたデジタル映像から人物映像を認識し、その映像の輪郭抽出を行う。そして、輪郭抽出を行った人物映像を映像出力合成処理部１０３へ出力する。

次に、ステップＳ４０６において、映像出力合成処理部１０３は、ステップＳ４０３で決定された相手局の会議参加者の映像を表示させる範囲に対して、例えば均等に配列した映像を作成する。そして、人物映像抽出部１０４から入力された人物映像を背景映像蓄積部１０１に蓄積してある自局会議室の壁の映像と合成する。

なお、相手局の会議参加者の人物映像を合成映像に配列させる順序などは特に規定されるものではなく、ステップＳ４０３で決定された表示範囲であれば並び方を自由に選定できるようにしてもよい。例えば、画面中に表示される人物映像の領域が大きくなるように、上下左右、自由に配置してもよい。そして合成されたデジタル映像を図５に示す複数のビデオモニタ４０１〜４０３に出力する。

図２は、本実施形態の映像出力合成処理部１０３から出力された相手局であるＡ局、Ｂ局、Ｃ局の会議参加者の映像と自局であるＤ局会議室の壁の背景映像とが合成された映像を表示しているビデオ会議システムの画面表示例を示す図である。本実施形態では、図２に示すような画面が表示されながらビデオ会議を行うことになる。

次に、ステップＳ４０７において、ステップＳ４０４で決定された複数のスピーカー５０１〜５０３への出力レベルに応じて相手局の会議参加者からの音声を出力する。もちろん、同時に表示されている相手局の人物の発言によってその人物映像が表示されている画面の一番近くに設置されているスピーカーの出力レベルをさらに上げる機能も設けてもよい。

次に、ステップＳ４０８において、ビデオ会議が行われている最中に相手局の会議参加者が変わったか否かを判断する。この判断の結果、相手局のうち、ある拠点の会議参加者が変わった場合は、ステップＳ４０５に戻る。そして、ビデオ復号化部１０８にて復号化されたデジタル映像を入力した人物映像抽出部１０４は、会議参加者が減った場合にはいなくなった人物の映像を消去する。また、人物が増えた場合には、新たに増えた人物の映像を抽出する。そして、ステップＳ４０６に進み、前述と同様の手順で再び、映像出力合成処理部１０３にてデジタル映像を合成し、複数のビデオモニタ４０１〜４０３に出力する。一方、ステップＳ４０８の判断の結果、相手局の会議参加者が変わっていない場合はｍステップＳ４０９に進む。

次に、ステップＳ４０９において、自局の会議参加者が変わったか否かを判断する。この判断の結果、自局の会議参加者が変わった場合は、ステップＳ４０１に戻る。そして、人物位置検出部１０２は、ビデオカメラ２０１〜２０３より入力された自局の会議参加者のデジタル映像から会議参加者が会議室の机に座っている着席位置を再び検出する。その後、前述の手順に則って、相手局の会議参加者の映像をビデオモニタ４０１〜４０３に表示させる範囲、及び複数のスピーカー５０１〜５０３に対して、各々どのくらいのレベルで出力するかを決定する。

そして、映像出力合成処理部１０３にてデジタル映像を合成し、複数のビデオモニタ４０１〜４０３に出力する。図３は、本実施形態において、相手局であるＣ局の会議参加者が１人減り、自局であるＤ局の会議参加者が２人増えて変化した場合の合成された映像が表示されているビデオ会議システムの画面表示例を示す図である。図２に示した例から表示のされ方が変化していることがわかる。

一方、ステップＳ４０９の判断の結果、自局の会議参加者が変わっていない場合は、ステップＳ４１０において、ビデオ会議の通信中であるか否かを判断する。この判断の結果、通信中である場合は、ステップＳ４０７に戻り、通信が終了した場合は、そのまま処理を終了する。

以上のように本実施形態によれば、ビデオ会議システムの各拠点の会議参加人数に対し、自局の会議参加者が座っている位置に応じた範囲で、遠隔地点の相手局の人物がビデオモニタに表示される。さらに、その表示される位置と音声が出力される位置とをダイナミックに制御する。また、相手局の人物が表示されている背景映像を自局会議室の壁の映像に差し替えて表示をすることによって、参加者が１箇所に集まって行う会議の臨場感のある仮想的な会議空間映像と音声を生成することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における映像表示装置を構成する各手段、並びに映像表示方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図４に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態におけるビデオ会議システムの構成例を示すブロック図である。 本発明の実施形態の映像出力合成処理部から出力された相手局であるＡ局、Ｂ局、Ｃ局の会議参加者の映像と自局であるＤ局会議室の壁の背景映像とが合成された映像を表示しているビデオ会議システムの画面表示例を示す図である。 本発明の実施形態において、相手局であるＣ局の会議参加者が１人減り、自局であるＤ局の会議参加者が２人増えて変化した場合の合成された映像が表示されているビデオ会議システムの画面表示例を示す図である。 本発明の実施形態におけるビデオ会議システムの動作手順の一例を示すフローチャートである。 複数の大型ビデオモニタに相手局の会議参加者が表示されているビデオ会議システムの画面表示例を示す図である。

符号の説明

１００ ビデオ会議システム
１０１ 背景映像蓄積部
１０２ 人物位置検出部
１０３ 映像出力合成処理部
１０４ 人物映像抽出部
１０５ 音声出力処理部
１０６ ビデオ符号化部
１０７ オーディオ符号化部
１０８ ビデオ復号化部
１０９ オーディオ復号化部
１１０ ビデオ・オーディオコーデック
１１１ パケット化制御部
１１２ デパケット化制御部
１１３ プロトコル制御部
１１４ ＬＡＮ Ｉ／Ｆ
１１５ 呼制御・システム制御部

Claims (5)

1. 外部装置からの映像データを受信して、複数の表示装置に映像を表示する映像表示装置、
   前記外部装置から受信された映像データより人物を抽出する人物映像抽出手段と、
   前記人物映像抽出手段により抽出された人物を配置する位置を決定して映像の合成を行う映像出力合成手段と、
   前記映像出力合成手段によって合成された映像を前記複数の表示装置に表示する表示制御手段とを備えたことを特徴とする映像表示装置。
2. 人物を撮像する撮像手段と、
   前記撮像手段によって撮像された人物が着席している位置を検出する人物位置検出手段とをさらに備え、
   前記表示制御手段は、前記映像出力合成手段によって合成された映像を前記人物位置検出手段より検出された人物の着席位置に応じた範囲で、前記複数の表示装置に表示することを特徴とする請求項１記載の映像表示装置。
3. 前記映像出力合成手段は、受信した映像データの中の人物が変化した場合には、再び合成映像を生成することを特徴とする請求項１記載の映像表示装置。
4. 前記撮像手段によって撮像される人物が変化した場合は、前記人物位置検出手段は、前記変化した人物の着席位置を検出し、前記表示制御手段は、再び前記映像出力合成手段によって合成された映像を前記人物位置検出手段より検出された人物の着席位置に応じた範囲で、前記複数の表示装置に表示することを特徴とする請求項２記載の映像表示装置。
5. 背景映像としての映像データを蓄積する背景映像蓄積手段をさらに備え、
   前記映像出力合成手段は、前記人物映像抽出手段により抽出された人物と、前記背景映像蓄積手段により蓄積された背景映像とを合成することを特徴とする請求項１記載の映像表示装置。

Images