以下、図1乃至図36を用いて、本発明の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法>
図1乃至図7を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、3次元の全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。
図1(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図1(a),図1(b),図1(c)に示されているように、撮影装置1の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する魚眼レンズ102a,102b)と併せて用いられる。また、図1(b)に示されているように、撮影装置1の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)はメルカトル図法により表された画像(以下、「メルカトル画像」という)を示した図である。図4(a)はメルカトル画像で球を被う状態を示した概念図、図4(b)は全天球パノラマ画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって重畳され、図3(c)に示されているように、メルカトル画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラICの位置座標ではなく、所定領域Tである仮想カメラICの撮影領域(X,Y,Z)によって示してもよい。以下では、仮想カメラICの撮影方向(rH,rV)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、rHはHorizontal Radian、rVはVertical Radian、αは画角(Angle)を示す。即ち、撮影方向(rH,rV)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
Lf=tan(α/2)・・・(式1)
図8は、球座標による3次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ、φ)を用いて説明する。
<画像通信システムの概略>
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、本実施形態の画像通信システムの構成の概略図である。
図9に示されているように、本実施形態の画像通信システムは、撮影装置1a,1b、ビデオ会議端末3a,3b、ディスプレイ4a,4b、通信管理システム5、PC(Personal Computer)6、PC7、撮影装置8、及びスマートフォン9によって構成され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。
これらのうち、撮影装置1a,1bは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置8は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。
ビデオ会議端末3a,3bは、ビデオ会議専用の端末であり、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話(ビデオ通話)の画像を、それぞれディスプレイ4a,4bに表示する。ビデオ会議端末3aは、通常は後述の図11のカメラ312で撮影するが、撮影装置1aを取り付けるクレードル2aに有線ケーブルで接続されると、撮影装置1aが優先され、全天球パノラマ画像の元になる2つの半球画像を得ることができる。さらにビデオ会議端末3aは、PC6と接続され、PC6の画面を得ることができる。有線ケーブルを利用する場合、クレードル2aは、撮影装置1aとビデオ会議端末3aとの間の通信を行なうだけでなく、撮影装置1aに電源供給及び撮影装置1aを支える役割を果たす。なお、ここでは、撮影装置1a、クレードル2a、ビデオ会議端末3a、ディスプレイ4a及びPC6は、同じ拠点である拠点Aに置かれている。また、拠点Aには、4人の利用者A1,A2,A3,A4が、映像通話に参加している。一方、ビデオ会議端末3d、及びディスプレイ4dは、同じ拠点である拠点Dに置かれている。また、拠点Dには、3人の利用者D1,D2,D3が、映像通話に参加している。
通信管理システム5は、ビデオ会議端末3a,3b、PC7、及びスマートフォン9の通信を管理及び制御したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム5は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
PC6は、ビデオ会議で表示される資料画像のデータ(資料画像データ)を生成する。資料画像は、PC6上で動作する汎用のアプリケーションで表示または作成または編集している画像や、PC6上で一般のデジタルカメラ等で撮影された画像を再生している画像などであるがこれに限られない。
PC7は、撮影装置8が取り付けられることで、映像通話が可能となる。なお、ここでは、PC7、及び撮影装置8は、同じ拠点である拠点Cに置かれている。また、拠点Cには、1人の利用者Cが映像通話に参加している。
スマートフォン9は、自装置に設けられた後述のディスプレイ917に映像通話の画像を表示する。スマートフォン9は、通常は自装置に設けられた後述のCMOS(Complementary Metal Oxide Semiconductor)センサ905等で撮影するが、WiFi(Wireless Fidelity)やBluetooth(登録商標)等の無線通信技術を利用して、撮影装置1bで得られた全天球パノラマ画像の元になる2つの半球画像データを取得することができる。無線通信技術を利用する場合、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支えるだけの役割を果たす。なお、ここでは、撮影装置1b、クレードル2b、及びスマートフォン9は、同じ拠点である拠点Bに置かれている。また、拠点Bには、2人の利用者B1,B2が、映像通話に参加している。
また、ビデオ会議端末3a,3d、PC7、及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像パノラマ画像から所定領域画像を作成したりすることができる。
なお、図9に示す各端末(通信端末、ディスプレイ、撮影装置)、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Cで、撮影装置8に代えて、全天球パノラマ画像の撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置1a,1bのうち任意の撮影装置を表す場合には、「撮影装置1」として表す。また、ビデオ会議端末3a,3bのうち任意のビデオ会議端末を表す場合には、「ビデオ会議端末3」として表す。更に、ディスプレイ4a,4bのうち任意のディスプレイを表す場合には、「ディスプレイ4」として表す。
<<実施形態のハードウェア構成>>
次に、図10乃至図13を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC6、PC7、及びスマートフォン9のハードウェア構成を詳細に説明する。
なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
<撮影装置1のハードウェア構成>
まず、図10を用いて、撮影装置1のハードウェア構成を説明する。図10は、撮影装置1のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図10に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOSセンサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを重畳処理して、図3(c)に示されているようなメルカトル画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、ビデオ会議端末3aのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してビデオ会議端末3a等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、WiFiやNFC(Near Field Communication)等の近距離無線技術によって、ビデオ会議端末3a等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータをビデオ会議端末3aの外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<ビデオ会議端末のハードウェア構成>
次に、図11を用いて、ビデオ会議端末3のハードウェア構成を説明する。図11は、ビデオ会議端末のハードウェア構成図である。図11に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチで
ある。
また、ネットワークI/F311は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。カメラ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、カメラ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ4に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(登録商標)、Bluetooth(登録商標)等の通信回路である。
また、バスライン310は、図11に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ4は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示手段の一種である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。このケーブル4cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ312は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOSセンサや、CCDセンサ等が用いられる。外部機器接続I/F318には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のカメラ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<通信管理システム、PCのハードウェア構成>
次に、図12を用いて、通信管理システム5、PC6及びPC7のハードウェア構成を説明する。図12は、通信管理システム及びPCのハードウェア構成図である。なお、通信管理システム5、PC6及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC6およびPC7の構成の説明は省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、通信管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク100を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD-RW(Compact Disc -ReWritable)513に対する各種データの読み出しを制御するCD-RWドライブ514、及び、上記各構成要素を図12に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<スマートフォンのハードウェア構成>
次に、図13を用いて、スマートフォンのハードウェアについて説明する。図13は、スマートフォンのハードウェア構成図である。図13に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、IPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ905は、CPU901の制御に従って被写体(主に自画像)を撮像し画像データを得る。加速度・方位センサ906は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部909は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、近距離通信回路919のアンテナ919a、及びタッチパネル921を備えている。
これらのうち、遠距離通信回路911は、通信ネットワーク100を介して、他の機器と通信する回路である。カメラ912は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F913は、カメラ912の駆動を制御する回路である。マイク914は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F916は、CPU901の制御に従ってマイク914及びスピーカ915との間で音信号の入出力を処理する回路である。ディスプレイ917は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F918は、各種の外部機器を接続するためのインターフェースである。近距離通信回路919は、NFCやBluetooth等の通信回路である。タッチパネル921は、利用者がディスプレイ917を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたCD-ROM等の記録媒体、並びに、これらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<実施形態の機能構成>>
次に、図14乃至図21を用いて、本実施形態の機能構成について説明する。図14及び図15は、画像通信システムの一部の機能ブロック図である。
<撮影装置1aの機能構成>
図14に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶・読出部19aを有している。これら各部は、図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1は、図10に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000aを有している。記憶部1000aには、自装置のGUID(Globally Unique Identifier)が記憶されている。
なお、撮影装置1bは、受付部12b、撮像部13b、集音部14b、通信部18b、記憶・読出部19b、及び記憶部1000bを有しているが、それぞれ、撮影装置1aにおける受付部12a、撮像部13a、集音部14a、通信部18a、記憶・読出部19a及び記憶部1000aと同様の機能を実現するため、これらの説明を省略する。
(撮影装置1aの各機能構成)
次に、図10及び図14を用いて、撮影装置1aの各機能構成について更に詳細に説明する。
撮影装置1の受付部12aは、主に、図10に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13aは、主に、図10に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像のデータ(撮影画像データ)を得る。
集音部14aは、図10に示されている108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1aの周囲の音を集音する。
通信部18aは、主に、CPU111の処理によって実現され、ビデオ会議端末3aの通信部38aと、NFC規格、BlueTooth、WiFi等による近距離無線通信技術によって通信することができる。
記憶・読出部19aは、主に、図10に示されているCPU111の処理によって実現され、記憶部1000aに各種データ(または情報)を記憶したり、記憶部1000aから各種データ(または情報)を読み出したりする。
<ビデオ会議端末3aの機能構成>
図14に示されているように、ビデオ会議端末3aは、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、算出部37a、通信部38a、及び記憶・読出部39aを有している。これら各部は、図11に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3a用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末3aは、図11に示されているROM302、RAM303、及びフラッシュメモリ304によって構築される記憶部3000aを有している。この記憶部3000aには、画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a及び重畳位置管理DB3004aが構築されている。これらのうち、画像種類管理DB3001aは、図16に示されている画像種類管理テーブルによって構成されている。撮影装置管理DB3002aは、図17に示される撮影装置管理テーブルによって構成されている。所定領域管理DB3003aは、図18に示されている所定領域管理テーブルによって構成されている。重畳位置管理DB3004aは、図19に示されている重畳位置管理テーブルによって構成されている。
なお、ビデオ会議端末3dは、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、作成部36d、算出部37d、通信部38d、記憶・読出部39d、及び記憶部3000dを有しているが、それぞれ、ビデオ会議端末3aにおける送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、算出部37a、通信部38a、記憶・読出部39a、及び記憶部3000aと同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末3dにおける記憶部3000dには、画像種類管理DB3001d、撮影装置管理DB3002d、所定領域管理DB3003d及び重畳位置管理DB3004dが構築されているが、ビデオ会議端末3aにおける画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a及び重畳位置管理DB3004aと同様のデータ構造であるため、これらの説明を省略する。
(画像種類管理テーブル)
図16は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって作成された名称である。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」、「1.3.2.3」の4つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データである
(撮影装置管理テーブル)
図17は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
(所定領域管理テーブル)
図18は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレス、撮影画像データの送信先の通信端末のIPアドレス、及び、撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
例えば、図18の所定領域管理テーブルの1行目から3行目までは、ビデオ会議端末3aのIPアドレスが「1.2.1.3」の場合、ビデオ会議端末3aから送信された撮影画像データが、通信管理システム5を介して、IPアドレスが「1.2.2.3」のビデオ会議端末3d、IPアドレスが「1.3.1.3」のPC7、及びIPアドレスが「1.3.2.3」のスマートフォン9に送信された旨が管理されている。更に、ビデオ会議端末3dは、所定領域情報(r=10,θ=20,φ=30)の送信元の通信端末である旨が管理されている。同様に、PC7は、所定領域情報(r=10,θ=30,φ=40)の送信元の通信端末である旨が管理されている。また、スマートフォン9は、所定領域情報(r=30,θ=40,φ=50)の送信元の通信端末である旨が管理されている。
また、送受信部31aによって、既に管理されている撮影画像データの送信元の通信端末のIPアドレス及び撮影画像データの送信先の通信端末のIPアドレスと同じ組のIPアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部39aは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。
(重畳位置管理テーブル)
図19は、重畳位置管理テーブルを示す概念図である。この重畳位置管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレスと、重畳元画像である資料画像を重畳先画像である全天球パノラマ画像のどこに重畳するかを示す重畳位置情報とが関連付けられて記憶されて管理されている。
図20を用いて重畳位置情報の一例としての重畳座標について説明する。図20は、重畳元画像である資料画像が重畳された全天球映像のメルカトル画像を示す。重畳座標は、始点座標および終点座標からなる。重畳元である資料画像の左上の頂点位置と始点としたとき、始点座標は(0,0)、終点座標は(xn,yn)とあらわせる。このとき始点座標(0,0)と終点座標(xn,yn)をそれぞれメルカトル画像における座標(x1,y1)と座標(x2,y2)に対応させた位置に重畳する場合は、重畳位置管理テーブルに、始点座標として(x1,x2)、終点座標として(x2,y2)と関連づけられる。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
(ビデオ会議端末3aの各機能構成)
次に、図11及び図14を用いて、ビデオ会議端末3aの各機能構成について更に詳細に説明する。
ビデオ会議端末3aの送受信部31aは、主に、図11に示されているネットワークI/F311及びCPU301の処理によって実現され、通信ネットワーク100を介して、通信管理システム5と各種データ(または情報)の送受信を行う。
受付部32aは、主に操作ボタン308及びCPU301による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン308だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部33aは、図11に示されているCPU301からの命令によって実現され、カメラ312が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部33aは、マイク314によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
更に、画像・音処理部33aは、表示制御部34がディスプレイ4に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部33aは、画像データ(例えば、図3(a),(b)に示されているような各半球画像のデータ)に基づいて、図4(b)に示されているような全天球パノラマ画像に変換することで全天球パノラマ画像画像を作成する。更に、全天球パノラマ画像に対して重畳する資料画像がある場合は、資料画像データと重畳位置情報に基づいて、全天球パノラマ画像に資料画像を重畳した画像である重畳画像を生成する。また画像・音処理部33aは、図6(b)に示されているような所定領域画像を作成する。また、画像・音処理部33aは、他の通信端末から通信管理システム5を介して受信された音データに係る音声信号をスピーカ315に出力し、スピーカ315から音声を出力させる。
表示制御部34aは、主にディスプレイI/F317及びCPU301の処理によって実現され、ディスプレイ4に各種画像や文字等を表示させるための制御を行う。
判断部35aは、主にCPU301の処理によって実現され、例えば、撮影装置1aから受信された画像データに係る画像種類を判断するが、これに限られずその他画像データに関する各種判断を行う。
作成部36aは、主にCPU301の処理によって実現され、判断部35aによって、一般画像又は特殊画像(ここでは、全天球パノラマ画像)と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部35aが、一般画像であると判断した場合には、作成部36aは、一般画像である旨を示すソース名「Video」を作成する。一方、判断部35aが、特殊画像であると判断した場合には、作成部36aは、特殊画像である旨を示すソース名「Video_Theta」を作成する。
算出部37aは、主にCPU301の処理によって実現され、重畳位置情報を算出する。
通信部38aは、主に、近距離通信回路319、アンテナ318a、及びCPU301の処理によって実現され、撮影装置1aの通信部18aと、NFC、BlueTooth、WiFi等による近距離無線技術によって通信することができる。なお、通信部38aと送受信部31aとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部39aは、主に、図11に示されているCPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
<通信管理システムの機能構成>
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム5は、図12に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、セッション管理DB5001、画像種類管理DB5002、所定領域管理DB5003、及び割合管理DB5004が構築されている。このうち、セッション管理DB5001は、図21に示されているセッション管理テーブルによって構成されている。画像種類管理DB5002は、図22に示される画像種類管理テーブルによって構成されている。所定領域管理DB5003は、図23に示される所定領域情報管理テーブルによって構成されている。割合管理DB5004は、図24に示される割合管理テーブルによって構成されている。
(セッション管理テーブル)
図21は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3a等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
(画像種類管理テーブル)
図22は、画像種類管理テーブルを示す概念図である。図22に示されている画像種類管理テーブルは、図16に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3a等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
(所定領域情報管理テーブル)
図23は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルは、基本的に図18に示されている所定領域情報管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図21では、新しい所定領域情報ほど上位で管理されている。
(割合管理テーブル)
図24は、割合管理テーブルを示す概念図である。この割合管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレス、撮影画像データの送信先の通信端末のIPアドレス、及び、割合情報が関連付けられて記憶されて管理されている。割合情報は、撮影画像データの送信先(受信側)の通信端末において、ディスプレイ等の表示手段に、送信元の通信端末から送られて来た、全天球パノラマ画像データにおける所定領域画像、及び資料画像データに係る資料画像(重畳画像の一例)を表示する場合に、所定領域画像と資料画像のそれぞれの表示面積の割合を示している。
(通信管理システムの各機能構成)
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。
通信管理システム5の送受信部51は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3a,3d、又はPC7と各種データ(または情報)の送受信を行う。
判断部55は、主にCPU501の処理によって実現され、各種判断を行なう。
生成部56は、主にCPU501の処理によって実現され、画像データIDを生成する。
記憶・読出部59は、主に、図12に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<PCの機能構成>
次に、図12及び図14を用いて、PC6の各機能構成について詳細に説明する。
PC6は、図14に示されているように、受付部62、表示制御部64、通信部68、及び記憶・読出部69を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC6用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、PC6は、図12に示されているROM502、RAM503、及びHD504によって構築される記憶部6000を有している。
(PCの各機能構成)
PC6の受付部62は、主にキーボード511、マウス512及びCPU501の処理によって実現され、受付部32aと同様の機能を実現する。表示制御部64は、主にCPU501の処理によって実現され、ディスプレイ508に各種画像や文字等を表示させるための制御を行う。通信部68は、主に、CPU501の処理によって実現され、ビデオ会議端末3aの通信部38aと、NFC規格、BlueTooth、WiFi等による近距離無線通信技術によって通信することができる。記憶・読出部69aは、CPU501の処理によって実現され、記憶部6000に各種データ(または情報)を記憶したり、記憶部6000から各種データ(または情報)を読み出したりする。
<通信端末としてのPCの機能構成>
次に、図12及び図15を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図14に示されているように、PC7は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、算出部77、通信部78、及び記憶・読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、PC7は、図12に示されているROM502、RAM503、及びHD504によって構築される記憶部7000を有している。この記憶部7000には、画像種類管理DB7001、撮影装置管理DB7002、所定領域管理DB7003及び重畳位置管理DB7004が構築されている。なお、画像種類管理DB7001、撮影装置管理DB7002、所定領域管理DB7003、及び重畳位置管理DB7004は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a及び重畳位置管理DB3004aと同じデータ構造であるため、これらの説明を省略する。
(通信端末としてのPCの各機能構成)
PC7の送受信部71は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部72は、主にキーボード511、マウス512及びCPU501の処理によって実現され、受付部32aと同様の機能を実現する。画像・音処理部73は、主にCPU501からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部74は、主にCPU501の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部75は、主にCPU501の処理によって実現され、判断部35aと同様の機能を実現する。作成部76は、主にCPU501の処理によって実現され、作成部36aと同様の機能を実現する。算出部77は、主にCPU501の処理によって実現され、算出部37aと同様の機能を実現する。通信部78は、主に、CPU501の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部79aは、CPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図13及び図14を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図14に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出部99を有している。これら各部は、図13に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図13に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。この記憶部9000には、画像種類管理DB9001、撮影装置管理DB9002、所定領域管理DB9003及び重畳位置管理DB9004が構築されている。なお、画像種類管理DB9001、撮影装置管理DB9002、及び所定領域管理DB9003、及び重畳位置管理DB9004は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、所定領域管理DB3003a及び重畳位置管理DB3004aと同じデータ構成であるため、これらの説明を省略する。
(スマートフォンの各機能構成)
スマートフォン9の送受信部91は、主に、図13に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部92は、主にタッチパネル921及びCPU901の処理によって実現され、受付部32aと同様の機能を実現する。
画像・音処理部93は、主にCPU901からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部94は、主にCPU901の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部95は、主にCPU901の処理によって実現され、判断部35aと同様の機能を実現する。作成部96は、主にCPU901の処理によって実現され、作成部36aと同様の機能を実現する。算出部97は、主にCPU901の処理によって実現され、算出部37aと同様の機能を実現する。通信部98は、主に、CPU901の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部99は、CPU901の処理によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
<<実施形態の処理又は動作>>
続いて、図25乃至図36を用いて、本実施形態の処理又は動作について説明する。
<参加の処理>
まず、図25及び図26を用いて、特定の通信セッションへの参加処理について説明する。図25は、特定の通信セッションへの参加処理を示したシーケンス図である。図26は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aにおいて、通信セッション(仮想の会議室)の選択画面の表示を行なう操作をすると、受付部32aが選択画面を表示する操作を受け付け、表示制御部34aがディスプレイ4aに、図26に示されているような選択画面を表示する(ステップS21)。この選択画面には、選択対象である各仮想の会議室R1,R2,R3等を示す選択ボタンb1,b2,b3等が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が仮想の会議室の所望の選択ボタン(ここでは選択ボタンb1)を選択すると、受付部32aは、通信セッションの選択を受け付ける(ステップS22)。そして、送受信部31aは、通信管理システム5に対して、仮想の会議室への参加要求を送信する(ステップS23)。この参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末であるビデオ会議端末3aのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、参加要求を受信する。
次に、記憶・読出部59は、セッション管理DB5001(図21参照)において、ステップS23で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS23で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(ステップS24)。そして、送受信部51は、ビデオ会議端末3aに対して、参加要求応答を送信する(ステップS25)。この参加要求応答には、ステップS23によって受信されたセッションID、及び参加処理結果が含まれている。これにより、ビデオ会議端末3aの送受信部31aは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
<画像種類情報の管理処理>
続いて、図27を用いて、画像種類情報の管理処理を説明する。図27は、画像種類情報の管理処理を示すシーケンス図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aに、撮影装置1aが取り付けられた状態のクレードル2aのUSBケーブルを接続すると、撮影装置1aの記憶・読出部19aが記憶部1000aに記憶されている自装置(撮影装置1a)のGUIDを読み出し、通信部18aがビデオ会議端末3aの通信部38aに対して自装置のGUIDを送信する(ステップS51)。これにより、ビデオ会議端末3aの通信部38aは、撮影装置1aのGUIDを受信する。
次に、ビデオ会議端末3aの判断部35aは、撮影装置管理DB3002a(図17参照)において、ステップS51によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(ステップS52)。具体的には、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されている場合には、判断部35aは、撮影装置1aが特殊画像(ここでは、全天球パノラマ画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35aは、撮影装置1aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部39aは、画像種類管理DB3001a(図16参照)に対して、送信元端末である自端末(ビデオ会議端末3a)のIPアドレスと、ステップS52で判断された判断結果である画像種類情報とを関連付けて記憶する(ステップS53)。この状態では、画像データIDは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類(一般画像、特殊画像)である。
次に、送受信部31aは、通信管理システム5に対して、画像種類情報の追加要求を送信する(ステップS54)。この画像種類情報の追加要求には、ステップS53で記憶した送信元端末である自端末のIPアドレス、及び画像種類情報が含まれている。これにより、通信管理システム5の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理システム5の記憶・読出部59は、ステップS54によって受信された送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(図21参照)を検索することにより、対応するセッションIDを読み出す(ステップS55)。
次に、生成部56は、固有の画像データIDを生成する(ステップS56)。そして、記憶・読出部59は、画像種類管理DB5002(図22参照)に、新たなレコードとして、ステップS55で読み出されたセッションID、ステップS56で生成された画像データID、並びに、ステップS54で受信された送信元端末のIPアドレス及び画像種類情報を関連付けて記憶する(ステップS57)。そして、送受信部51は、ビデオ会議端末3aに対して、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3aの送受信部31aは、画像データIDを受信する(ステップS58)。
次に、ビデオ会議端末3aの記憶・読出部39aは、画像種類管理DB3001a(図16参照)に、上記ステップS53で記憶しておいた送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報に関連づけて、ステップS58で受信された画像データIDを記憶する(ステップS59)。
一方、通信管理システム5の送受信部51は、他の通信端末(ここでは、スマートフォン9)に対して、画像種類情報の追加通知を送信する(ステップS60)。この画像種類情報の追加通知には、ステップS56で生成された画像データID、並びに、ステップS53で記憶された送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報が含まれている。これにより、スマートフォン9の送受信部91は、画像種類情報の追加通知を受信する。なお、送受信部51の送信先は、セッション管理DB5001(図21参照)で、ビデオ会議端末3aのIPアドレスと同じセッションIDに関連付けられている他のIPアドレスである。即ち、送信先は、ビデオ会議端末3aと同じ仮想の会議室に入っている他の通信端末である。
次に、スマートフォン9の記憶・読出部99は、画像種類管理DB9001(図16参照)に、新たなレコードとして、ステップS60で受信された、画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する(ステップS61)。同じように、他の通信端末であるビデオ会議端末3d及びPC7にも画像種類情報の追加通信が送信され、ビデオ会議端末3d及びPC7でも、それぞれ画像種類管理DB3001d,7001に記憶される。以上より、各通信端末では、各画像種類管理DB3001a,3001d,7001,9001で同じ情報を共有することができる。
<撮影画像データの通信処理>
続いて、図28乃至図36を用いて、映像通話における撮影画像データおよび資料画像データの通信処理について説明する。図28は、拠点Aを例として映像通話の状態を示したイメージ図である。
図28に示されているように、ビデオ会議端末3aは、PC6で生成される資料画像を、撮影装置1aで撮影した全天球パノラマ画像上に重畳してディスプレイ4に表示させる。なお、図28中の右側には、利用者A1等が文字や絵等を書き込むことができるホワイトボードWが設置されている。
続いて、図29を用い、図28に示されている拠点Aで得られた撮影画像データ、音データ及び資料画像データが、通信管理システム5を介して、他の各通信端末(スマートフォン9,PC7,ビデオ会議端末3d)へ送信される処理について説明する。図29は、映像通話における撮影画像データ,音データ及び資料画像データの通信処理を示すシーケンス図である。
まず、撮影装置1aの通信部18aからビデオ会議端末3aの通信部38aに対して、被写体や風景等を撮影して得た撮影画像データ及び集音して得た音データを送信する(ステップS101)。この場合、撮影装置1aは全天球パノラマ画像の元になる2つの半球画像を得ることができる装置であるため、図3(a)、(b)に示されているように、撮影画像データは、2つの半球画像のデータによって構成されている。これにより、ビデオ会議端末3aの通信部38aは、撮影画像データ及び音データを受信する。
次に、PC6の通信部68は、表示制御部64が表示する資料画像データを、ビデオ会議端末3aの通信部38aに対して送信する(ステップS102)。
次に、ビデオ会議端末3aの送受信部31aは、通信管理システム5に対して、撮影装置1aから送られてきた撮影画像データ、音データ及び資料画像データを送信する(ステップS103)。これにより、通信管理システム5の送受信部51は、撮影画像データ、音データ及び資料画像データを受信する。ここで、撮像画像データについては、送信対象である撮影画像データを識別するための画像データIDが含まれている。
次に、通信管理システム5の送受信部51は、ビデオ会議端末3aと同じ映像通話に参加している通信端末(スマートフォン9,PC7,ビデオ会議端末3d)に対して、撮影画像データ、音データ及び資料画像データを送信する(ステップS104,S105,S106)。これら各送信において撮像画像データの送信については、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、スマートフォン9の送受信部91、PC7の送受信部71及びビデオ会議端末3dの送受信部31dは、それぞれ撮影画像データ及び画像データIDを受信し、さらに音データ、資料画像データを受信する。
続いて、図30を用いて、拠点Bにおけるディスプレイ917の表示例を説明する。図30は、拠点Dにおけるディスプレイの表示例である。このうち、図30(a)は、拠点Aの撮影装置1aからビデオ会議端末3aを介して送られて来た撮影画像データ、及び拠点Bの撮影装置1bから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示している。一方、図30(b)は、撮影装置1a,1bから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示している。なお、ディスプレイ4dの左側の表示領域(レイアウト番号「1」)には拠点Aの画像が表示され、右側上段の表示領域(レイアウト番号「2」)には拠点Bの画像が表示されている。更に、ディスプレイ4dの右側中段の表示領域(レイアウト番号「3」)には拠点Cの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には拠点D(自拠点)の画像が表示されている。レイアウト番号「1」の表示領域は主表示領域であり、レイアウト番号「2」、「3」及び「4」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。
ここで、全天球パノラマ画像の撮影が可能な撮影装置1a,1bから送られて来た撮影画像データをそのまま表示すると、図30(a)に示されているように、拠点Aと拠点Bの画像が、それぞれ図3(a),(b)に示されているように、前側の半球画像と後側の半球画像として表示される。
これに対して、画像・音処理部93が、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置1a,1bが出力した撮影画像データから、全天球パノラマ画像を作成し、更に所定領域画像を作成すると、図30(b)に示されているように、平面画像である所定領域画像が表示される。なお、拠点Cでは、一般画像を得る撮影装置8が撮影し、拠点Dでも、一般画像を得るビデオ会議端末3dが撮影しているため、図30(a),(b)のいずれも、一般画像(ここでは、平面画像)が表示されている。
また、各拠点の利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。例えば、利用者B1は、タッチパネル921の操作等により、受付部92が所定領域画像の移動を受け付け、表示制御部94は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図30(b)に示されているように、初期設定(デフォルト)で拠点Aの一部の利用者A1,A2が表示されている所定領域画像から、図30(c)に示されているように、所定領域画像を表示することができる。具体的には、図30(c)は、図28に示されている拠点Aの撮影画像において、利用者A1,A2を含む所定領域画像から、ホワイトボードWを含む所定領域画像に変更した状態を示している。
なお、図30(b)、(c)に示されている全天球アイコン191,192は、全天球パノラマ画像の一部の所定領域Tを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン191,192の表示位置は、右上ではなく、左上、左下、及び右下等、どこでもよい。また、全天球アイコン191,192の種類は図30(b)、(c)に限らない。また、全天球アイコン191,192ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。
続いて、図31を用いて、図30(b)のように所定領域画像を表示した場合、及び図30(b)から図30(c)のように所定領域画像を変更した場合の画像通信システムにおける処理について説明する。図31は、所定領域情報を共有する処理を示したシーケンス図である。図31では、拠点Aのビデオ会議端末3aが第3の通信端末であり、拠点Dのビデオ会議端末3dが他の通信端末であり、拠点Bのスマートフォン9が通信端末(自端末)である。
まず、図30(b)に示されているように、拠点Dで利用者D1等がビデオ会議端末3dを利用して拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS111)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に、ステップS111で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS112)。なお、ステップS111,112の処理は、図30(b)から図30(c)のように、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスの組を一定期間(例えば、30秒)毎に読み出す(ステップS113)。そして、送受信部51は、所定領域情報の送信元であるビデオ会議端末3dと同じ映像通話を行なっている他の通信端末(ビデオ会議端末3a、スマートフォン9、PC7)に対して、ステップS113で読み出された各IPアドレスを含む所定領域情報を配信(送信)する(ステップS114,S116,S118)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。そして、記憶・読出部39aは、所定領域管理DB3003aに、ステップS114で受信された所定領域情報及び各IPアドレスを関連付けたまま記憶する(ステップS115)。同様に、スマートフォン9においても、送受信部91が所定領域情報を受信した後、記憶・読出部99が所定領域管理DB9003に、ステップS116で受信された所定領域情報及び各IPアドレスに関連付けたまま記憶する(ステップS117)。更に、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS118で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS119)。
続いて、図32を用いて、所定領域情報を共有する他の処理について説明する。図32は、図31に示された処理の他の例を示し、所定領域情報を共有する他の処理を示すシーケンス図である。図32では、拠点Aのビデオ会議端末3aが通信端末(自端末)であり、拠点Dのビデオ会議端末3dが他の通信端末である。
上記図31に示された処理では、通信管理システム5が、各通信端末から送信された各所定領域情報を一旦管理して(S112参照)、一定期間毎に送信元以外の各通信端末に各所定領域情報を送信した(S114~S119参照)。これに対して、本実施形態では、図33に示されているように、撮影画像データの送信元の通信端末(ここでは、ビデオ会議端末3a)が、通信管理システム5に替わって、所定領域情報を一旦管理して(S213参照)、一定期間毎に自端末以外の各通信端末に各所定領域情報を送信する(S215~S221参照)。即ち、本実施形態では、撮影画像データの送信元の通信端末は、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのような所定領域T1の所定領域画像として表示されているかを管理している。
なお、図32で示される処理は、図31で示される処理と共通のハードウェア構成で実現される。そのため、図32の処理を実現するためのハードウェア構成の説明は省略する。
図32で示される処理では、まず、拠点Dで利用者D1等がビデオ会議端末3dを利用して拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS211)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、撮影画像データの送信元であるビデオ会議端末3aに、ステップS211で受信した各IPアドレスを含む所定領域情報を送信する(ステップS212)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに、ステップS212で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS213)。このステップS213の処理が、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのように表示されているかを管理する処理である。なお、ステップS211~S213の処理は、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスを一定期間(例えば、30秒)毎に読み出す(ステップS214)。そして、送受信部31aは、通信管理システム5に対して、ステップS214で読み出された各IPアドレスを含む所定領域情報を送信する(ステップS215)。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、各通信端末(ビデオ会議端末3d,スマートフォン9,PC7)に、ステップS215で受信した各IPアドレスを含む所定領域情報を送信(配信)する(ステップS216,S218,S220)。これにより、ビデオ会議端末3dの送受信部31dは、所定領域情報を受信する。そして、記憶・読出部39dは、所定領域管理DB3003dに、ステップS216で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS217)。同様に、スマートフォン9においても、送受信部91が所定領域情報を受信した後、記憶・読出部99が所定領域管理DB9003に、ステップS218で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS219)。更に、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS220で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS221)。
以上により、拠点Aで変更された所定領域画像を示す所定領域情報は、同じ映像通話中の他拠点B,C,Dの各通信端末に送信されることで、拠点Aで表示中の所定領域画像を示す所定領域情報が他拠点B,C,Dにおいても共有される。この処理は、拠点B,C,Dにおいて所定領域画像が変更された場合も同様に行なわれ、同じ映像通話中の全拠点で互いに他拠点で表示中の所定領域画像を示す所定領域情報が共通される。
続いて、図33乃至35を用いて、資料画像の重畳位置設定について説明する。図33は、画像配信元である拠点Aにおいて、資料画像を全天球パノラマ画像に重畳する重畳位置を変更する場合の、画像通信システムにおける処理を示すシーケンス図である。
まず、受付部32aは、拠点Aの利用者A1等の操作に応じて資料画像の選択を受け付ける(ステップS71)。選択状態にする方法の例として、拠点Aの利用者A1等が配信している全天球パノラマ画像のプレビュー画面で、資料画像部分に対して「右クリック」「ダブルクリック」「該当するキーの入力」などの操作を行う方法がある。タッチ可能な端末の場合はプレビュー領域内の通常映像を「ロングタップ」「ダブルタップ」などの操作で実現しても良い。次に、受付部32aは、利用者A1等の操作に応じて資料画像の重畳位置の変更を受け付ける(ステップS72)。
次に、受付部32aは、利用者A1等の操作に応じて資料画像の重畳位置の決定を受け付け、算出部37aは重畳位置情報を生成する(ステップS73)。決定する方法の例として、重畳位置の確定には、ステップS72の操作完了後に自動的に決定とみなしてもよいし、別途画面上の決定ボタンを押したり、あらかじめ決められたキー操作を行なったりする方法でもよい。
ここで、利用者A等が資料画像の重畳位置を変更する画面例を、図34を用いて説明する。図34は、全天球パノラマ画像の拠点Aにおけるプレビュー画面である。ここでいうプレビュー画面とは、ある拠点が配信している映像を、通信ネットワーク100を介さずに自拠点で確認するための画面である。図34に示されるようにプレビュー画面には、全天球パノラマ画像のうち利用者A2,A4そしてホワイトボードWを含む所定領域画像が示されている。ホワイトボードWには文字や円グラフが書き込まれている。
図34にはさらに、点線の枠内に示される領域R1と実線の枠内で示される領域R2が示されている。領域R1と領域R2はそれぞれ、変更前の重畳位置と変更後の重畳成置を示している。ホワイトボードW内の領域である領域2に資料画像の重畳位置を変更することで、PC6が表示させている資料画像である棒グラフをホワイトボードW内に書き込まれている他の文字や円グラフと並べて表示させ、会議の参加者がより見やすくすることができる。
図34を用いて、前述した前述のステップ71~ステップ73に対応させて利用者A1等の操作を説明すると、まず利用者A1等は領域R1を選択し(ステップS71)、次に矢印の向きにドラッグアンドドロップして資料画像の重畳位置を変更する(ステップ72)。そして所望の領域R2に移動させた状態で変更後の重畳位置決定のための動作を実行する(ステップ73)。
なお、重畳位置の変更の方法は、図34で示した「ドラッグアンドドロップ」に限られない。他の例として、あらかじめ決められたキー操作によって重畳画像の始点と終点の座標を変更してもよいし、タッチ入力可能なデバイスの場合はピンチイン、ピンチアウトの操作によって変更してもよい。また、変更前と変更後の資料画像のサイズ、つまり領域R1と領域R2のサイズが異なるような場合、変更後のサイズに収まるように拡大・縮小を行うようにしてもよい。また、領域R1を示す点線の枠や矢印は利用者の操作補助のために表示させてもよいし、表示させなくてもよい。
図33の説明を続けると、次に通信部68は、変更後の重畳位置情報を、通信システム5の送受信部51に送信する(ステップS74)。この重畳位置情報には、重畳位置座標と、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(重畳位置情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、重畳位置情報を受信する。
次に、送受信部51は、所定領域情報の送信元であるビデオ会議端末3dと同じ映像通話を行なっている他の通信端末(ビデオ会議端末3d、スマートフォン9、PC7)に対して、重畳位置情報を配信(送信)する(ステップS75,S77,S79)。これにより、ビデオ会議端末3dの送受信部31dは、重畳位置情報を受信する。そして、記憶・読出部39aは、重畳位置管理DB3004dに、ステップS75で受信された重畳位置情報を、送信元アドレスを関連付けて記憶する(ステップS76)。同様に、スマートフォン9においても、送受信部91が重畳位置情報を受信した後、記憶・読出部99が重畳位置管理DB9004に、ステップS77で受信された重畳位置報を送信元IPアドレスと関連付けて記憶する(ステップS78)。更に、PC7においても、送受信部71が重畳位置情報を受信した後、記憶・読出部79が所定領域管理DB7004に、ステップS79で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS80)。
図35は受信側端末における資料画像の表示処理を示したフローチャートである。なお、各受信側端末の処理は同じであるため、ここでは、拠点Bのスマートフォン9の処理について説明する。
まず、スマートフォン9では、記憶・読出部99が、図29に示されているステップS106によって受信された画像データIDを検索キーとして、画像種類管理DB9001(図16参照)を検索することにより、対応する画像種類情報(ソース名)を読み出す(ステップS131)。
次に、判断部95は、ステップS131によって読み出された画像種類情報が「特殊画像」である旨を示すか否かを判断する(ステップS132)。さらに判断部95は、ステップ132の判断結果が、特殊画像である場合には、資料画像データを受信しているかを確認する(ステップS133)。ステップS133の確認は、例えば画像データIDで管理されていない画像データがあれば資料画像データであると判断する。ステップS133の判断結果が受信していない場合、つまりNoの場合は、画像・音処理部93が、全天球画像を表示して終了する(ステップS137)。一方ステップ133の判断結果が受信している場合、つまりYesの場合、判断部95は、画像情報の送信元IPアドレスが重畳位置管理DB9004dに記憶されているかを判断する(ステップ135)。ステップ135の判断結果が、記憶されていない場合、つまりNoの場合は、画像・音処理部93が、全天球画像のあらかじめ決められた重畳位置である初期重畳位置(デフォルト重畳位置)に資料画像データを重畳し(ステップS136)、全天球画像を表示する(ステップS137)。ステップ135の判断結果が、記憶されている場合、つまりYesの場合は、記憶・読出部99が、重畳位置管理DB9004dから重畳位置を取得する(ステップS138)。次に、画像・音処理部93は、全天球画像に取得された重畳位置に資料画像データを重畳し(ステップ139)、全天球画像を表示する(S137)。
図36は、図35で説明した表示処理を実行した拠点Bの表示画面例である。図36に示されるように拠点Bにおいて、図34で重畳画像を拠点Aで変更させた重畳位置である領域R2に資料画像(重畳画像)が表示されている。
以上により、拠点Aで変更された重畳位置情報は、同じ映像通話中の他拠点B,C,Dの各通信端末に送信されることで、拠点Aで表示中の資料画面と同じ位置に他拠点B,C,Dにおいても表示され共有される。
<撮影画像及び資料画像の画像品質制御>
図36乃至図39を用いて、通信管理システム5が実行する撮影画像及び資料画像の画像品質制御について説明する。図37は、画像品質を変更する処理を示したシーケンス図である。図38は、資料画像を含んだ所定領域画像を変更した場合の図である。図39は、変更後の所定領域を示す図である。
まず、スマートフォン9の算出部97は、図36に示されている拠点Aの所定領域画像と重畳画像(資料画像)R2に関して、拠点Aの表示領域における表示割合を算出する(ステップS151)。図36では、重畳画像R2は全て表示されている。
次に、スマートフォン9の送受信部91は、算出部97によって算出された割合を示す割合情報を通信管理システム5に送信する(ステップS152)。この際、画像送信元の通信端末(ここでは、ビデオ会議端末3a)のIPアドレス、及び画像送信先の通信端末(ここでは、スマートフォン9)のIPアドレスも送信される。これにより、通信管理システム5の送受信部51は、割合情報及び各IPアドレスを受信する。
次に、通信管理システム5では、記憶・読出部59が、送受信部51によって受信された割合情報及び各IPアドレスを関連付けて、割合管理DB5004に記憶して管理する(ステップS153)。
続いて、図29のステップS103と同様に、通信管理システム5の送受信部51は、ビデオ会議端末3aの送受信部31aから送信された、画像データIDが付随している撮影画像データ、音データ、及び資料画像データを受信する(ステップS154)。
次に、記憶・読出部59が、画像送信元の通信端末(ここでは、ビデオ会議端末3a)のIPアドレス、及び画像送信先の通信端末(ここでは、スマートフォン9)のIPアドレスを検索キーとして割合管理DB5004を検索することにより、対応する割合情報を読み出し、変更部53が、割合情報で示される割合に応じて、ステップS154で受信された撮影画像データに係る撮影画像及び資料画像データに係る資料画像の画像品質を変更する。この場合、割合情報に示された割合が大きければ画像品質を上げ、割合が小さければ画像品質を下げる。
次に、送受信部51は、割合に応じた撮影画像データ及び資料画像データ、並びに音データを、スマートフォン9に送信する(ステップS156)。この場合、撮影画像データには画像データIDも付随している。これにより、スマートフォン9の送受信部91は、撮影画像データ、資料画像データ、及び音データを受信する。
次に。スマートフォンでは、画像・音処理部93が、送受信部91によって受信された撮影画像データに係る全体画像上に資料画像データに係る重畳画像(資料画像)を重畳する画像処理を行う(ステップS157)。そして、表示制御部94は、ディスプレイ917上に図35に示されているような画像を表示させる。
ところで、拠点Bで利用者B1,B2が、図38に示されているように、拠点Aの所定領域画像を変更した場合、拠点Aの画像の表示領域における全体画像と資料画像(重畳画像)の割合が変化する。図38では、図36に比べて重畳画像R2の割合が少なくなっている。図39に、図38の場合の拠点Aにおける表示領域Tの範囲を示している。このような場合、再度、ステップS151からの処理が開始される。ここでは、重畳画像R2の割合が少なくなっているため。ステップS156によって送信される撮影画像データに係る撮影画像の画像品質は上がり、同じく送信される資料画像データに係る資料画像の画像品質は下がる。
なお、拠点Bの利用者B1,B2は、タッチパネル921を利用することで、重畳画面R3が重畳される所定位置を変更することができる。この場合、受付部92が所定位置の変更を受け付けて、画像・音処理部93が所定位置に資料画像を重畳する。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、ステップS151~S154の処理によって、受信側の利用者は、送信側の利用者が注目して欲しい資料画像を見落としてしまうという課題を解消することができるという効果を奏する。
また、ビデオ会議端末3a等の通信端末は、画像データと共に送られて来る画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、図30(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
また、本実施形態によれば、受信者がある映像(重畳先画像)の一部に別の映像(重畳元画像)を重畳して表示させる会議システム等で、送信者が、重畳先画像での重畳元映像の表示位置を変更することができる。したがって、送信者が意図していない場所に重畳元の映像が重畳されている場合や、会議中に映像を別の位置に重畳したい場合に重畳位置を変更することにより、より見えやすく理解しやすい映像にすることができるという効果を奏する。
〔補足〕
上記実施形態では、重畳先であるパノラマ画像の一例として、撮影画像(全体画像)が3次元の全天球パノラマ画像について説明したが、2次元のパノラマ画像であってもよい。
また、上記実施形態では、通信管理システム5が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。
また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。