JP2019180027A - 通信端末、画像通信システム、表示方法、及びプログラム - Google Patents

Abstract

【課題】送信者が意図していない場所に合成元の映像が合成されている場合や、会議中に映像を別の位置に合成したい場合に、合成位置を変更して、より見えやすく理解しやすい映像にすることができる通信端末、画像通信システム、表示方法及びプログラムを提供する。【解決手段】第一の画像データと第二の画像のデータを送信する通信端末と、第一の画像データに係る第一の画像の所定の合成位置に、第二のデータに係る第二の画像を合成して表示する他の通信端末を有する画像通信システムであって、通信端末は、所定の合成位置の情報である合成位置情報を他の通信端末に送信する送信部を有し、他の通信端末は、合成位置情報に基づき、第一の画像に第二の画像を合成して表示する表示制御部を有する。【選択図】図３２

Description

本発明は、通信端末、画像通信システム、表示方法、及びプログラムに関するものである。

インターネット等の通信ネットワークを介して、遠隔地との間で遠隔会議を行う会議システムが普及している。この会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔会議システムの通信端末を用いて会議の当事者などの会議室の画像及び発言などの音声を撮影及び収集し、これらをデジタルデータに変換して相手方の通信端末に送信している。これにより、相手方の会議室のディスプレイに画像表示及びスピーカにより音声出力して、映像通話（ビデオ通話）を行なうことができるため、実際の会議に近い状態で遠隔地間の会議を行うことができる（特許文献１参照）。

また、通信端末に全天球パノラマ画像をリアルタイムに取得可能な撮影装置を接続し、この撮影装置から取得された全天球パノラマ画像を相手方の各通信端末に送信し、相手方の各通信端末において、全天球パノラマ画像から当該画像の一部である所定領域を示す所定領域画像をディスプレイ等に表示する技術が知られている（特許文献２参照）。これにより、各拠点の利用者は、全天球パノラマ画像の全体画像のうちで自分が気になる所定領域を示す所定領域画像を独自に決めて表示することができる。

また、二つ以上の映像通信端末間で映像の中継を行う中継サーバにおいて、映像中継サーバによって映像中に図形を重畳する際に、映像通信端末によって指定された映像中の対象物体に対して予め定めた図形を重畳する技術が知られている（特許文献３参照）。これにより、映像中の物体の位置が動いても、当該図形を対象物体に追随させた合成映像を提供することができる。

しかしながら、従来の技術では、受信者側にある画像（合成先画像）のある位置に別の画像（合成元画像）を合成させて表示させる場合に、映像送信者側でその位置を変更することができない。したがって、送信者が意図していない場所に合成元の画像が合成されたままになり、会議システム等で、映像が見えづらく理解しにくいという課題が生じる。

請求項１に係る発明は、第一の画像データと第二の画像のデータを送信する通信端末と、前記第一の画像データに係る第一の画像の所定の合成位置に、前記第二のデータに係る第二の画像を合成して表示する他の通信端末を有する画像通信システムであって、前記通信端末は、前記所定の合成位置の情報である合成位置情報を前記他の通信端末に送信する送信部を有し、前記他の通信端末は、前記合成位置情報に基づき、前記第一の画像に前記第二の画像を合成して表示する表示制御部を有することを特徴とする画像通信システムである。

以上説明したように本発明によれば、送信者が意図していない場所に合成元の映像が合成されている場合や、会議中に映像を別の位置に合成したい場合に、合成位置を変更することができる。これにより送信者が意図していない場所に合成元の映像が合成されている場合や、会議中に映像を別の位置に合成したい場合に、合成位置を変更して、より見えやすく理解しやすい映像にすることができるという効果を奏する。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されたている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 球座標による３次元ユークリッド空間内の点を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 ビデオ会議端末のハードウェア構成図である。 通信管理システム及びＰＣのハードウェア構成図である。 スマートフォンのハードウェア構成図である。 画像通信システムの一部の機能ブロック図である。 画像通信システムの一部の機能ブロック図である。 画像種類管理テーブルを示す概念図である。 撮影装置管理テーブルを示す概念図である。 所定領域管理テーブルを示す概念図である。 合成位置管理テーブルを示す概念図である。 合成位置の説明図である。 セッション管理テーブルを示す概念図である。 画像種類管理テーブルを示す概念図である。 所定領域管理テーブルを示す概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 通信セッション（仮想の会議室）の選択画面を示した図である。 画像種類情報の管理処理を示すシーケンス図である。 映像通話の状態を示したイメージ図である。 映像通話における撮影画像データ、音データ及び資料画像データの通信処理を示すシーケンス図である。 拠点Ｂにおけるディスプレイの表示例を示し、（ａ）は、撮影装置１ａ，１ｂから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示し、図２９（ｂ）は、撮影装置１ａ，１ｂから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示し、図２９（ｃ）は図２９（ｂ）の所定領域画像を変更した場合を示した図である。 所定領域情報を共有する処理を示すシーケンス図である。 所定領域情報を共有する他の処理を示すシーケンス図である。 合成位置情報を共有する処理を示すシーケンス図である。 合成位置を変更する画面例である。 合成画像の表示処理を示したフローチャートである。 拠点Ｂにおける合成画像の表示例を示す。

以下、図１乃至図３５を用いて、本発明の実施形態について説明する。

＜＜実施形態の概略＞＞
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、３次元の全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），図１（ｂ），図１（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述する魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図１（ｂ）に示されているように、撮影装置１の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使
用イメージ図である。撮影装置１は、図２に示されているように、例えば、ユーザが手に
持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されてい
る撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮
像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。以下では、仮想カメラＩＣの撮影方向（ｒＨ，ｒＶ）と画角（α）を用いて説明する。

図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、ｒＨはHorizontal Radian、ｒＶはVertical Radian、αは画角(Angle)を示す。即ち、撮影方向（ｒＨ，ｒＶ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌｆ＝ｔａｎ（α／２）・・・（式１）

図８は、球座標による３次元ユークリッド空間内の点を示した図である。中心点ＣＰを球面極座標系で表現したときの位置座標を（ｒ、θ、φ）とする。（ｒ、θ、φ）は、それぞれ動径、極角、方位角である。動径ｒは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図８は、これらの関係を表した図である。以降、仮想カメラＩＣの位置座標（ｒ，θ、φ）を用いて説明する。

＜画像通信システムの概略＞
続いて、図９を用いて、本実施形態の画像通信システムの構成の概略について説明する。図９は、本実施形態の画像通信システムの構成の概略図である。

図９に示されているように、本実施形態の画像通信システムは、撮影装置１ａ，１ｂ、ビデオ会議端末３ａ，３ｂ、ディスプレイ４ａ，４ｂ、通信管理システム５、ＰＣ(Personal Computer)６、ＰＣ７、撮影装置８、及びスマートフォン９によって構成され、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。

これらのうち、撮影装置１ａ，１ｂは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置８は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。

ビデオ会議端末３ａ，３ｂは、ビデオ会議専用の端末であり、ＵＳＢ(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話（ビデオ通話）の画像を、それぞれディスプレイ４ａ，４ｂに表示する。ビデオ会議端末３ａは、通常は後述の図１１のカメラ３１２で撮影するが、撮影装置１ａを取り付けるクレードル２ａに有線ケーブルで接続されると、撮影装置１ａが優先され、全天球パノラマ画像の元になる２つの半球画像を得ることができる。さらにビデオ会議端末３ａは、ＰＣ６と接続され、ＰＣ６の画面を得ることができる。有線ケーブルを利用する場合、クレードル２ａは、撮影装置１ａとビデオ会議端末３ａとの間の通信を行なうだけでなく、撮影装置１ａに電源供給及び撮影装置１ａを支える役割を果たす。なお、ここでは、撮影装置１ａ、クレードル２ａ、ビデオ会議端末３ａ、ディスプレイ４ａ及びＰＣ６は、同じ拠点である拠点Ａに置かれている。また、拠点Ａには、４人の利用者Ａ１，Ａ２，Ａ３，Ａ４が、映像通話に参加している。一方、ビデオ会議端末３ｄ、及びディスプレイ４ｄは、同じ拠点である拠点Ｄに置かれている。また、拠点Ｄには、３人の利用者Ｄ１，Ｄ２，Ｄ３が、映像通話に参加している。

通信管理システム５は、ビデオ会議端末３ａ，３ｂ、ＰＣ７、及びスマートフォン９の通信を管理及び制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム５は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム５は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

ＰＣ６は、ビデオ会議で表示される資料画像の画像データである資料画像データを生成する。資料画像は、ＰＣ６上で動作する汎用のアプリケーションで表示または作成または編集している画像や、ＰＣ６上で一般のデジタルカメラ等で撮影された画像を再生している画像などであるがこれに限られない。

ＰＣ７は、撮影装置８が取り付けられることで、映像通話が可能となる。なお、ここでは、ＰＣ７、及び撮影装置８は、同じ拠点である拠点Ｃに置かれている。また、拠点Ｃには、１人の利用者Ｃが映像通話に参加している。

スマートフォン９は、自装置に設けられた後述のディスプレイ９１７に映像通話の画像
を表示する。スマートフォン９は、通常は自装置に設けられた後述のＣＭＯＳ(Complemen
tary Metal Oxide Semiconductor)センサ９０５等で撮影するが、WiFi(Wireless Fidelit
y)やBLUETOOTH（登録商標）等の無線通信技術を利用して、撮影装置１ｂで得られた全天
球パノラマ画像の元になる２つの半球画像データを取得することができる。無線通信技術
を利用する場合、クレードル２ｂは、撮影装置１ｂに電源供給と撮影装置１ｂを支えるだ
けの役割を果たす。なお、ここでは、撮影装置１ｂ、クレードル２ｂ、及びスマートフォ
ン９は、同じ拠点である拠点Ｂに置かれている。また、拠点Ｂには、２人の利用者Ｂ１，
Ｂ２が、映像通話に参加している。

また、ビデオ会議端末３ａ，３ｄ、ＰＣ７、及びスマートフォン９は、通信端末の一例
である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の
一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像
パノラマ画像から所定領域画像を作成したりすることができる。

なお、図９に示す各端末（通信端末、ディスプレイ、撮影装置）、装置、利用者の配置
は一例であり、他の例であってもよい。例えば、拠点Ｃで、撮影装置８に代えて、全天球
パノラマ画像の撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタ
ルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影
装置１ａ，１ｂのうち任意の撮影装置を表す場合には、「撮影装置１」として表す。また
、ビデオ会議端末３ａ，３ｂのうち任意のビデオ会議端末を表す場合には、「ビデオ会議
端末３」として表す。更に、ディスプレイ４ａ，４ｂのうち任意のディスプレイを表す場
合には、「ディスプレイ４」として表す。

＜＜実施形態のハードウェア構成＞＞
次に、図１０乃至図１３を用いて、本実施形態の撮影装置１、ビデオ会議端末３、通信管理システム５、ＰＣ６、ＰＣ７、及びスマートフォン９のハードウェア構成を詳細に説明する。
なお、撮影装置８は、一般のカメラであるため、詳細な説明は省略する。

＜撮影装置１のハードウェア構成＞
まず、図１０を用いて、撮影装置１のハードウェア構成を説明する。図１０は、撮影装置１のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図１０に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１によっては、ディスプレイ（例えば、ビデオ会議端末３ａのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してビデオ会議端末３ａ等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFiやNFC（Near Field Communication）規格等の近距離無線技術によって、ビデオ会議端末３ａ等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータをビデオ会議端末３ａの外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

＜ビデオ会議端末のハードウェア構成＞
次に、図１１を用いて、ビデオ会議端末３のハードウェア構成を説明する。図１１は、ビデオ会議端末のハードウェア構成図である。図１１に示されているように、ビデオ会議端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、フラッシュメモリ３０４、ＳＳＤ３０５、メディアＩ／Ｆ３０７、操作ボタン３０８、電源スイッチ３０９、バスライン３１０、ネットワークＩ／Ｆ３１１、カメラ３１２、撮像素子Ｉ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイＩ／Ｆ３１７、外部機器接続Ｉ／Ｆ３１８、近距離通信回路３１９、近距離通信回路３１９のアンテナ３１９ａを備えている。

これらのうち、ＣＰＵ３０１は、ビデオ会議端末３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。フラッシュメモリ３０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ（Solid State Drive）３０５は、ＣＰＵ３０１の制御にしたがってフラッシュメモリ３０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン３０８は、ビデオ会議端末３の宛先を選択する場合などに操作されるボタンである。電源スイッチ３０９は、ビデオ会議端末３の電源のＯＮ／ＯＦＦを切り換えるためのスイッチで
ある。

また、ネットワークＩ／Ｆ３１１は、インターネット等の通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。カメラ３１２は、ＣＰＵ３０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ３１３は、カメラ３１２の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ３１７は、ＣＰＵ３０１の制御に従って外付けのディスプレイ４に画像データを送信する回路である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路３１９は、NFC規格、BLUETOOTH（登録商標）等の通信回路である。

また、バスライン３１０は、図１１に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ディスプレイ４は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示手段の一種である。また、ディスプレイ４は、ケーブル４ｃによってディスプレイＩ／Ｆ３１７に接続される。このケーブル４ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）(High-Definition Multimedia Interface)やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

なお、カメラ３１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳセンサや、ＣＣＤセンサ等が用いられる。外部機器接続Ｉ／Ｆ３１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ３０１の制御に従って、内蔵型のカメラ３１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ３０１の制御に従って、それぞれが内蔵型のマイク３１４や内蔵型のスピーカ３１５に優先して、外付けマイクや外付けスピーカが駆動する。

また、記録メディア３０６は、ビデオ会議端末３に対して着脱自在な構成となっている。また、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ３０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

＜通信管理システム、ＰＣのハードウェア構成＞
次に、図１２を用いて、通信管理システム５、ＰＣ６及びＰＣ７のハードウェア構成を説明する。図１２は、通信管理システム及びＰＣのハードウェア構成図である。なお、通信管理システム５、ＰＣ６及びＰＣ７は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム５の構成について説明し、ＰＣ６及びＰＣ７の構成の説明は省略する。

通信管理システム５は、通信管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、通信管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク１００を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc -ReWritable)５１３に対する各種データの読み出しを制御するＣＤ−ＲＷドライブ５１４、及び、上記各構成要素を図１２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜スマートフォンのハードウェア構成＞
次に、図１３を用いて、スマートフォンのハードウェアについて説明する。図１３は、スマートフォンのハードウェア構成図である。図１３に示されているように、スマートフォン９は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。

これらのうち、ＣＰＵ９０１は、スマートフォン９全体の動作を制御する。ＲＯＭ９０２は、ＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ９０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０８は、フラッシュメモリ等の記録メディア９０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン９は、遠距離通信回路９１１、カメラ９１２、撮像素子Ｉ／Ｆ９１３、マイク９１４、スピーカ９１５、音入出力Ｉ／Ｆ９１６、ディスプレイ９１７、外部機器接続Ｉ／Ｆ９１８、近距離通信回路９１９、近距離通信回路９１９のアンテナ９１９ａ、及びタッチパネル９２１を備えている。

これらのうち、遠距離通信回路９１１は、通信ネットワーク１００を介して、他の機器と通信する回路である。カメラ９１２は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１３は、カメラ９１２の駆動を制御する回路である。マイク９１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ９１６は、ＣＰＵ９０１の制御に従ってマイク９１４及びスピーカ９１５との間で音信号の入出力を処理する回路である。ディスプレイ９１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ９１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路９１９は、NFC規格やBLUETOOTH（登録商標）等の通信回路である。タッチパネル９２１は、利用者がディスプレイ９１７を押下することで、スマートフォン９を操作する入力手段の一種である。

また、スマートフォン９は、バスライン９１０を備えている。バスライン９１０は、ＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜＜実施形態の機能構成＞＞
次に、図１４乃至図２１を用いて、本実施形態の機能構成について説明する。図１４及び図１５は、画像通信システムの一部の機能ブロック図である。

＜撮影装置１ａの機能構成＞
図１４に示されているように、撮影装置１ａは、受付部１２ａ、撮像部１３ａ、集音部１４ａ、通信部１８ａ、及び記憶・読出部１９ａを有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図１０に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００ａを有している。記憶部１０００ａには、自装置のＧＵＩＤ(Globally Unique Identifier)が記憶されている。

なお、撮影装置１ｂは、受付部１２ｂ、撮像部１３ｂ、集音部１４ｂ、通信部１８ｂ、記憶・読出部１９ｂ、及び記憶部１０００ｂを有しているが、それぞれ、撮影装置１ａにおける受付部１２ａ、撮像部１３ａ、集音部１４ａ、通信部１８ａ、記憶・読出部１９ａ及び記憶部１０００ａと同様の機能を実現するため、これらの説明を省略する。

（撮影装置１ａの各機能構成）
次に、図１０及び図１４を用いて、撮影装置１ａの各機能構成について更に詳細に説明する。

撮影装置１の受付部１２ａは、主に、図１０に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部１３ａは、主に、図１０に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。

集音部１４ａは、図１０に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１ａの周囲の音を集音する。

通信部１８ａは、主に、ＣＰＵ１１１の処理によって実現され、ビデオ会議端末３ａの通信部３８ａと、NFC規格、BLUETOOTH（登録商標）、WiFi等による近距離無線通信技術によって通信することができる。

記憶・読出部１９ａは、主に、図１０に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００ａに各種データ（または情報）を記憶したり、記憶部１０００ａから各種データ（または情報）を読み出したりする。

＜ビデオ会議端末３ａの機能構成＞
図１４に示されているように、ビデオ会議端末３ａは、送受信部３１ａ、受付部３２ａ、画像・音処理部３３ａ、表示制御部３４ａ、判断部３５ａ、作成部３６ａ、算出部３７ａ、通信部３８ａ、及び記憶・読出部３９ａを有している。これら各部は、図１１に示されている各構成要素のいずれかが、フラッシュメモリ３０４からＲＡＭ３０３上に展開されたビデオ会議端末３ａ用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、ビデオ会議端末３ａは、図１１に示されているＲＯＭ３０２、ＲＡＭ３０３、及びフラッシュメモリ３０４によって構築される記憶部３０００ａを有している。この記憶部３０００ａには、画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、所定領域管理ＤＢ３００３ａ及び合成位置管理ＤＢ３００４ａが構築されている。これらのうち、画像種類管理ＤＢ３００１ａは、図１６に示されている画像種類管理テーブルによって構成されている。撮影装置管理ＤＢ３００２ａは、図１７に示される撮影装置管理テーブルによって構成されている。所定領域管理ＤＢ３００３ａは、図１８に示されている所定領域管理テーブルによって構成されている。合成位置管理ＤＢ３００４ａは、図１９に示されている合成位置管理テーブルによって構成されている。

なお、ビデオ会議端末３ｄは、送受信部３１ｄ、受付部３２ｄ、画像・音処理部３３ｄ、表示制御部３４ｄ、判断部３５ｄ、作成部３６ｄ、算出部３７ｄ、通信部３８ｄ、記憶・読出部３９ｄ、及び記憶部３０００ｄを有しているが、それぞれ、ビデオ会議端末３ａにおける送受信部３１ａ、受付部３２ａ、画像・音処理部３３ａ、表示制御部３４ａ、判断部３５ａ、作成部３６ａ、算出部３７ａ、通信部３８ａ、記憶・読出部３９ａ、及び記憶部３０００ａと同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末３ｄにおける記憶部３０００ｄには、画像種類管理ＤＢ３００１ｄ、撮影装置管理ＤＢ３００２ｄ、所定領域管理ＤＢ３００３ｄ及び合成位置管理ＤＢ３００４ｄが構築されているが、ビデオ会議端末３ａにおける画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、所定領域管理ＤＢ３００３ａ及び合成位置管理ＤＢ３００４ａと同様のデータ構造であるため、これらの説明を省略する。

（画像種類管理テーブル）
図１６は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末３ａ等の各通信端末によって作成された名称である。

例えば、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．３．２．３」の４つの通信端末は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」、「ＲＳ００４」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。

なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データである

（撮影装置管理テーブル）
図１７は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる２つの半球画像を得ることができる撮影装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。

（所定領域管理テーブル）
図１８は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮影画像データの送信元の通信端末のＩＰアドレス、撮影画像データの送信先の通信端末のＩＰアドレス、及び、撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図６及び図７に示されているように、撮影画像から、この撮影画像における所定領域Ｔの画像（所定領域画像）に変換するための変換パラメータである。なお、ＩＰアドレスは、宛先情報の一例であって、宛先情報には、ＭＡＣ(Media Access Control)アドレス、通信端末を特定するための端末ＩＤ(Identification)等が含まれる。また、ここでは、ＩＰアドレスは、ＩＰｖ４アドレスを簡略化して表されている。ＩＰアドレスは、ＩＰｖ６でもよい。

例えば、図１８の所定領域管理テーブルの１行目から３行目までは、ビデオ会議端末３ａのＩＰアドレスが「１．２．１．３」の場合、ビデオ会議端末３ａから送信された撮影画像データが、通信管理システム５を介して、ＩＰアドレスが「１．２．２．３」のビデオ会議端末３ｄ、ＩＰアドレスが「１．３．１．３」のＰＣ７、及びＩＰアドレスが「１．３．２．３」のスマートフォン９に送信された旨が管理されている。更に、ビデオ会議端末３ｄは、所定領域情報（ｒ＝１０，θ＝２０，φ＝３０）の送信元の通信端末である旨が管理されている。同様に、ＰＣ７は、所定領域情報（ｒ＝１０，θ＝３０，φ＝４０）の送信元の通信端末である旨が管理されている。また、スマートフォン９は、所定領域情報（ｒ＝３０，θ＝４０，φ＝５０）の送信元の通信端末である旨が管理されている。

また、送受信部３１ａによって、既に管理されている撮影画像データの送信元の通信端末のＩＰアドレス及び撮影画像データの送信先の通信端末のＩＰアドレスと同じ組のＩＰアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部３９ａは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。

（合成位置管理テーブル）
図１９は、合成位置管理テーブルを示す概念図である。この合成位置管理テーブルでは、撮影画像データの送信元の通信端末のＩＰアドレスと、合成元画像である資料画像を合成先画像である全天球パノラマ画像のどこに合成するかを示す合成位置情報とが関連付けられて記憶されて管理されている。

図２０を用いて合成位置情報の一例としての合成座標について説明する。図２０は、合成元画像である資料画像が合成された全天球映像のメルカトル画像を示す。合成座標は、始点座標及び終点座標からなる。合成元である資料画像の左上の頂点位置と始点としたとき、始点座標は（0,0）、終点座標は（xn,yn）とあらわせる。このとき始点座標（0,0）と終点座標（xn,yn）をそれぞれメルカトル画像における座標（x1,y1）と座標（x2,y2）に対応させた位置に合成する場合は、合成位置管理テーブルに、始点座標として（x1,x2）、終点座標として（x2,y2）と関連づけられる。なお、ＩＰアドレスは、宛先情報の一例であって、宛先情報には、ＭＡＣ(Media Access Control)アドレス、通信端末を特定するための端末ＩＤ(Identification)等が含まれる。また、ここでは、ＩＰアドレスは、ＩＰｖ４アドレスを簡略化して表されている。ＩＰアドレスは、ＩＰｖ６でもよい。

（ビデオ会議端末３ａの各機能構成）
次に、図１１及び図１４を用いて、ビデオ会議端末３ａの各機能構成について更に詳細に説明する。

ビデオ会議端末３ａの送受信部３１ａは、主に、図１１に示されているネットワークＩ／Ｆ３１１及びＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、通信管理システム５と各種データ（または情報）の送受信を行う。

受付部３２ａは、主に操作ボタン３０８及びＣＰＵ３０１による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン３０８だけでなく、他の入力手段としてタッチパネル等を用いてもよい。

画像・音処理部３３ａは、図１１に示されているＣＰＵ３０１からの命令によって実現され、カメラ３１２が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部３３ａは、マイク３１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。

更に、画像・音処理部３３ａは、表示制御部３４がディスプレイ４に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部３３ａは、画像データ（例えば、図３（ａ），（ｂ）に示されているような各半球画像のデータ）に基づいて、図４（ｂ）に示されているような全天球パノラマ画像に変換することで全天球パノラマ画像画像を作成する。更に、全天球パノラマ画像に対して合成する資料画像がある場合は、資料画像データと合成位置情報に基づいて、全天球パノラマ画像に資料画像を合成した画像である合成画像を生成する。なお合成とは、第一の画像である全天球パノラマ画像の一部分に対して第二の画像である資料画像を重畳したり、上書きしたりすることを含む。また、全天球パノラマ画像の一部分に替えて資料画像を埋め込むこと等でもよい。また画像・音処理部３３ａは、図６（ｂ）に示されているような所定領域画像を作成する。また、画像・音処理部３３ａは、他の通信端末から通信管理システム５を介して受信された音データに係る音声信号をスピーカ３１５に出力し、スピーカ３１５から音声を出力させる。

表示制御部３４ａは、主にディスプレイＩ／Ｆ３１７及びＣＰＵ３０１の処理によって実現され、ディスプレイ４に各種画像や文字等を表示させるための制御を行う。

判断部３５ａは、主にＣＰＵ３０１の処理によって実現され、例えば、撮影装置１ａから受信された画像データに係る画像種類を判断するが、これに限られずその他画像データに関する各種判断を行う。

作成部３６ａは、主にＣＰＵ３０１の処理によって実現され、判断部３５ａによって、一般画像又は特殊画像（ここでは、全天球パノラマ画像）と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部３５ａが、一般画像であると判断した場合には、作成部３６ａは、一般画像である旨を示すソース名「Video」を作成する。一方、判断部３５ａが、特殊画像であると判断した場合には、作成部３６ａは、特殊画像である旨を示すソース名「Video_Theta」を作成する。

算出部３７ａは、主にＣＰＵ３０１の処理によって実現され、合成位置情報を算出する。

通信部３８ａは、主に、近距離通信回路３１９、アンテナ３１８ａ、及びＣＰＵ３０１の処理によって実現され、撮影装置１ａの通信部１８ａと、NFC規格、BLUETOOTH（登録商標）、WiFi等による近距離無線技術によって通信することができる。なお、通信部３８ａと送受信部３１ａとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。

記憶・読出部３９ａは、主に、図１１に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜通信管理システムの機能構成＞
次に、図１２及び図１５を用いて、通信管理システム５の各機能構成について詳細に説明する。通信管理システム５は、送受信部５１、判断部５５、生成部５６、及び記憶・読出部５９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信管理システム５は、図１２に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、セッション管理ＤＢ５００１、画像種類管理ＤＢ５００２及び所定領域管理ＤＢ５００３が構築されている。このうち、セッション管理ＤＢ５００１は、図２１に示されているセッション管理テーブルによって構成されている。画像種類管理ＤＢ５００２は、図２２に示される画像種類管理テーブルによって構成されている。所定領域管理ＤＢ５００３は、図２３に示される所定領域管理テーブルによって構成されている。

（セッション管理テーブル）
図２１は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、ビデオ会議端末３ａ等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。

（画像種類管理テーブル）
図２２は、画像種類管理テーブルを示す概念図である。図２２に示されている画像種類管理テーブルは、図１６に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」の３つの通信端末が参加していることが示されている。なお、通信管理システム５において、ビデオ会議端末３ａ等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。

（所定領域管理テーブル）
図２３は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルは、基本的に図１８に示されている所定領域管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部５１は、各通信端末に一定期間（例えば３０秒）毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部５１によって受信された全ての所定領域情報は削除されずに保存されている。図２１では、新しい所定領域情報ほど上位で管理されている。

（通信管理システムの各機能構成）
次に、図１２及び図１５を用いて、通信管理システム５の各機能構成について詳細に説明する。

通信管理システム５の送受信部５１は、主に、図１２に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介してビデオ会議端末３ａ，３ｄ、又はＰＣ７と各種データ（または情報）の送受信を行う。

判断部５５は、主にＣＰＵ５０１の処理によって実現され、各種判断を行なう。

生成部５６は、主にＣＰＵ５０１の処理によって実現され、画像データＩＤを生成する。

記憶・読出部５９は、主に、図１２に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜ＰＣの機能構成＞
次に、図１２及び図１４を用いて、ＰＣ６の各機能構成について詳細に説明する。

ＰＣ６は、図１４に示されているように、受付部６２、表示制御部６４、通信部６８、及び記憶・読出部６９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたＰＣ６用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、ＰＣ６は、図１２に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部６０００を有している。

（ＰＣの各機能構成）
ＰＣ６の受付部６２は、主にキーボード５１１、マウス５１２及びＣＰＵ５０１の処理によって実現され、受付部３２ａと同様の機能を実現する。表示制御部６４は、主にＣＰＵ５０１の処理によって実現され、ディスプレイ５０８に各種画像や文字等を表示させるための制御を行う。通信部６８は、主に、ＣＰＵ５０１の処理によって実現され、ビデオ会議端末３ａの通信部３８ａと、NFC規格、BLUETOOTH（登録商標）、WiFi等による近距離無線通信技術によって通信することができる。記憶・読出部６９ａは、ＣＰＵ５０１の処理によって実現され、記憶部６０００に各種データ（または情報）を記憶したり、記憶部６０００から各種データ（または情報）を読み出したりする。

＜通信端末としてのＰＣの機能構成＞
次に、図１２及び図１５を用いて、ＰＣ７の機能構成について詳細に説明する。ＰＣ７は、基本的にビデオ会議端末３ａと同じ機能を有している。即ち、図１４に示されているように、ＰＣ７は、送受信部７１、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、算出部７７、通信部７８、及び記憶・読出部７９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたＰＣ７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、ＰＣ７は、図１２に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。この記憶部７０００には、画像種類管理ＤＢ７００１、撮影装置管理ＤＢ７００２、所定領域管理ＤＢ７００３及び合成位置管理ＤＢ７００４が構築されている。なお、画像種類管理ＤＢ７００１、撮影装置管理ＤＢ７００２、所定領域管理ＤＢ７００３、及び合成位置管理ＤＢ７００４は、それぞれ画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、所定領域管理ＤＢ３００３ａ及び合成位置管理ＤＢ３００４ａと同じデータ構造であるため、これらの説明を省略する。

（通信端末としてのＰＣの各機能構成）
ＰＣ７の送受信部７１は、主に、図１２に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、送受信部３１ａと同様の機能を実現する。

受付部７２は、主にキーボード５１１、マウス５１２及びＣＰＵ５０１の処理によって実現され、受付部３２ａと同様の機能を実現する。画像・音処理部７３は、主にＣＰＵ５０１からの命令によって実現され、画像・音処理部３３ａと同様の機能を実現する。表示制御部７４は、主にＣＰＵ５０１の処理によって実現され、表示制御部３４ａと同様の機能を実現する。判断部７５は、主にＣＰＵ５０１の処理によって実現され、判断部３５ａと同様の機能を実現する。作成部７６は、主にＣＰＵ５０１の処理によって実現され、作成部３６ａと同様の機能を実現する。算出部７７は、主にＣＰＵ５０１の処理によって実現され、算出部３７ａと同様の機能を実現する。通信部７８は、主に、ＣＰＵ５０１の処理によって実現され、通信部３８ａと同様の機能を実現する。記憶・読出部７９ａは、ＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図１３及び図１４を用いて、スマートフォン９の機能構成について詳細に説明する。スマートフォン９は、基本的にビデオ会議端末３ａと同じ機能を有している。即ち、図１４に示されているように、スマートフォン９は、送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出部９９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開されたスマートフォン９用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン９は、図１３に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部９０００を有している。この記憶部９０００には、画像種類管理ＤＢ９００１、撮影装置管理ＤＢ９００２、所定領域管理ＤＢ９００３及び合成位置管理ＤＢ９００４が構築されている。なお、画像種類管理ＤＢ９００１、撮影装置管理ＤＢ９００２、及び所定領域管理ＤＢ９００３、及び合成位置管理ＤＢ９００４は、それぞれ画像種類管理ＤＢ３００１ａ、撮影装置管理ＤＢ３００２ａ、所定領域管理ＤＢ３００３ａ及び合成位置管理ＤＢ３００４ａと同じデータ構成であるため、これらの説明を省略する。

（スマートフォンの各機能構成）
スマートフォン９の送受信部９１は、主に、図１３に示されている遠距離通信回路９１１及びＣＰＵ９０１の処理によって実現され、送受信部３１ａと同様の機能を実現する。

受付部９２は、主にタッチパネル９２１及びＣＰＵ９０１の処理によって実現され、受付部３２ａと同様の機能を実現する。

画像・音処理部９３は、主にＣＰＵ９０１からの命令によって実現され、画像・音処理部３３ａと同様の機能を実現する。表示制御部９４は、主にＣＰＵ９０１の処理によって実現され、表示制御部３４ａと同様の機能を実現する。判断部９５は、主にＣＰＵ９０１の処理によって実現され、判断部３５ａと同様の機能を実現する。作成部９６は、主にＣＰＵ９０１の処理によって実現され、作成部３６ａと同様の機能を実現する。算出部９７は、主にＣＰＵ９０１の処理によって実現され、算出部３７ａと同様の機能を実現する。通信部９８は、主に、ＣＰＵ９０１の処理によって実現され、通信部３８ａと同様の機能を実現する。記憶・読出部９９は、ＣＰＵ９０１の処理によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

＜＜実施形態の処理又は動作＞＞
続いて、図２４乃至図３５を用いて、本実施形態の処理又は動作について説明する。

＜参加の処理＞
まず、図２４及び図２５を用いて、特定の通信セッションへの参加処理について説明する。図２４は、特定の通信セッションへの参加処理を示したシーケンス図である。図２５は、通信セッション（仮想の会議室）の選択画面を示した図である。

まず、拠点Ａの利用者（例えば、利用者Ａ１）が、ビデオ会議端末３ａにおいて、通信セッション（仮想の会議室）の選択画面の表示を行なう操作をすると、受付部３２ａが選択画面を表示する操作を受け付け、表示制御部３４ａがディスプレイ４ａに、図２５に示されているような選択画面を表示する（ステップＳ２１）。この選択画面には、選択対象である各仮想の会議室Ｒ１，Ｒ２，Ｒ３等を示す選択ボタンｂ１，ｂ２，ｂ３等が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。

ここで、利用者Ａ１が仮想の会議室の所望の選択ボタン（ここでは選択ボタンｂ１）を選択すると、受付部３２ａは、通信セッションの選択を受け付ける（ステップＳ２２）。そして、送受信部３１ａは、通信管理システム５に対して、仮想の会議室への参加要求を送信する（ステップＳ２３）。この参加要求には、ステップＳ２２で選択を受け付けられた通信セッションを示すセッションＩＤ、及び要求元端末であるビデオ会議端末３ａのＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部５１は、参加要求を受信する。

次に、記憶・読出部５９は、セッション管理ＤＢ５００１（図２１参照）において、ステップＳ２３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ２３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行なう（ステップＳ２４）。そして、送受信部５１は、ビデオ会議端末３ａに対して、参加要求応答を送信する（ステップＳ２５）。この参加要求応答には、ステップＳ２３によって受信されたセッションＩＤ、及び参加処理結果が含まれている。これにより、ビデオ会議端末３ａの送受信部３１ａは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。

＜画像種類情報の管理処理＞
続いて、図２６を用いて、画像種類情報の管理処理を説明する。図２６は、画像種類情報の管理処理を示すシーケンス図である。

まず、拠点Ａの利用者（例えば、利用者Ａ１）が、ビデオ会議端末３ａに、撮影装置１ａが取り付けられた状態のクレードル２ａのＵＳＢケーブルを接続すると、撮影装置１ａの記憶・読出部１９ａが記憶部１０００ａに記憶されている自装置（撮影装置１ａ）のＧＵＩＤを読み出し、通信部１８ａがビデオ会議端末３ａの通信部３８ａに対して自装置のＧＵＩＤを送信する（ステップＳ５１）。これにより、ビデオ会議端末３ａの通信部３８ａは、撮影装置１ａのＧＵＩＤを受信する。

次に、ビデオ会議端末３ａの判断部３５ａは、撮影装置管理ＤＢ３００２ａ（図１７参照）において、ステップＳ５１によって受信されたＧＵＩＤ中のベンダＩＤ及びプロダクトＩＤと、同じベンダＩＤ及びプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（ステップＳ５２）。具体的には、撮影装置管理ＤＢ３００２ａにおいて、同じベンダＩＤ及びプロダクトＩＤが管理されている場合には、判断部３５ａは、撮影装置１ａが特殊画像（ここでは、全天球パノラマ画像）を撮影する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ３００２ａにおいて、同じベンダＩＤ及びプロダクトＩＤが管理されていない場合には、判断部３５ａは、撮影装置１ａが一般画像を撮影する撮影装置であると判断する。

次に、記憶・読出部３９ａは、画像種類管理ＤＢ３００１ａ（図１６参照）に対して、送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレスと、ステップＳ５２で判断された判断結果である画像種類情報とを関連付けて記憶する（ステップＳ５３）。この状態では、画像データＩＤは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類（一般画像、特殊画像）である。

次に、送受信部３１ａは、通信管理システム５に対して、画像種類情報の追加要求を送信する（ステップＳ５４）。この画像種類情報の追加要求には、ステップＳ５３で記憶した送信元端末である自端末のＩＰアドレス、及び画像種類情報が含まれている。これにより、通信管理システム５の送受信部５１は、画像種類情報の追加要求を受信する。

次に、通信管理システム５の記憶・読出部５９は、ステップＳ５４によって受信された送信元端末のＩＰアドレスを検索キーとして、セッション管理ＤＢ５００１（図２１参照）を検索することにより、対応するセッションＩＤを読み出す（ステップＳ５５）。

次に、生成部５６は、固有の画像データＩＤを生成する（ステップＳ５６）。そして、記憶・読出部５９は、画像種類管理ＤＢ５００２（図２２参照）に、新たなレコードとして、ステップＳ５５で読み出されたセッションＩＤ、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５４で受信された送信元端末のＩＰアドレス及び画像種類情報を関連付けて記憶する（ステップＳ５７）。そして、送受信部５１は、ビデオ会議端末３ａに対して、ステップＳ５６で生成された画像データＩＤを送信する。これにより、ビデオ会議端末３ａの送受信部３１ａは、画像データＩＤを受信する（ステップＳ５８）
。

次に、ビデオ会議端末３ａの記憶・読出部３９ａは、画像種類管理ＤＢ３００１ａ（図１６参照）に、上記ステップＳ５３で記憶しておいた送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレス及び画像種類情報に関連づけて、ステップＳ５８で受信された画像データＩＤを記憶する（ステップＳ５９）。

一方、通信管理システム５の送受信部５１は、他の通信端末（ここでは、スマートフォン９）に対して、画像種類情報の追加通知を送信する（ステップＳ６０）。この画像種類情報の追加通知には、ステップＳ５６で生成された画像データＩＤ、並びに、ステップＳ５３で記憶された送信元端末である自端末（ビデオ会議端末３ａ）のＩＰアドレス及び画像種類情報が含まれている。これにより、スマートフォン９の送受信部９１は、画像種類情報の追加通知を受信する。なお、送受信部５１の送信先は、セッション管理ＤＢ５００１（図２１参照）で、ビデオ会議端末３ａのＩＰアドレスと同じセッションＩＤに関連付けられている他のＩＰアドレスである。即ち、送信先は、ビデオ会議端末３ａと同じ仮想の会議室に入っている他の通信端末である。

次に、スマートフォン９の記憶・読出部９９は、画像種類管理ＤＢ９００１（図１６参照）に、新たなレコードとして、ステップＳ６０で受信された、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を関連付けて記憶する（ステップＳ６１）。同じように、他の通信端末であるビデオ会議端末３ｄ及びＰＣ７にも画像種類情報の追加通信が送信され、ビデオ会議端末３ｄ及びＰＣ７でも、それぞれ画像種類管理ＤＢ３００１ｄ，７００１に記憶される。以上より、各通信端末では、各画像種類管理ＤＢ３００１ａ，３００１ｄ，７００１，９００１で同じ情報を共有することができる。

＜撮影画像データの通信処理＞
続いて、図２７乃至図３５を用いて、映像通話における撮影画像データ及び資料画像データの通信処理について説明する。図２７は、拠点Ａを例として映像通話の状態を示したイメージ図である。

図２７に示されているように、ビデオ会議端末３ａは、ＰＣ６で生成される資料画像を、撮影装置１ａで撮影した全天球パノラマ画像上に合成してディスプレイ４に表示させる。なお、図２７中の右側には、利用者Ａ１等が文字や絵等を書き込むことができるホワイトボードWが設置されている。

続いて、図２８を用い、図２７に示されている拠点Ａで得られた撮影画像データ、音データ及び資料画像データが、通信管理システム５を介して、他の各通信端末（スマートフォン９，ＰＣ７，ビデオ会議端末３ｄ）へ送信される処理について説明する。図２８は、映像通話における撮影画像データ，音データ及び資料画像データの通信処理を示すシーケンス図である。

まず、撮影装置１ａの通信部１８ａからビデオ会議端末３ａの通信部３８ａに対して、被写体や風景等を撮影して得た撮影画像データ及び集音して得た音データを送信する（ステップＳ１０１）。この場合、撮影装置１ａは全天球パノラマ画像の元になる２つの半球画像を得ることができる装置であるため、図３（ａ）、（ｂ）に示されているように、撮影画像データは、２つの半球画像のデータによって構成されている。これにより、ビデオ会議端末３ａの通信部３８ａは、撮影画像データ及び音データを受信する。

次に、ＰＣ６の通信部６８は、表示制御部６４が表示する資料画像データを、ビデオ会議端末３ａの通信部３８ａに対して送信する（ステップＳ１０２）。

次に、ビデオ会議端末３ａの送受信部３１ａは、通信管理システム５に対して、撮影装置１ａから送られてきた撮影画像データ、音データ及び資料画像データを送信する（ステップＳ１０３）。これにより、通信管理システム５の送受信部５１は、撮影画像データ、音データ及び資料画像データを受信する。ここで、撮像画像データについては、送信対象である撮影画像データを識別するための画像データＩＤが含まれている。

次に、通信管理システム５の送受信部５１は、ビデオ会議端末３ａと同じ映像通話に参加している通信端末（スマートフォン９，ＰＣ７，ビデオ会議端末３ｄ）に対して、撮影画像データ、音データ及び資料画像データを送信する（ステップＳ１０４，Ｓ１０５，Ｓ１０６）。これら各送信において撮像画像データの送信については、送信対象である撮影画像データを識別するための画像データＩＤが含まれている。これにより、スマートフォン９の送受信部９１、ＰＣ７の送受信部７１及びビデオ会議端末３ｄの送受信部３１ｄは、それぞれ撮影画像データ及び画像データＩＤを受信し、さらに音データ、資料画像データを受信する。

続いて、図２９を用いて、拠点Ｂにおけるディスプレイ９１７の表示例を説明する。図２９は、拠点Ｄにおけるディスプレイの表示例である。このうち、図２９（ａ）は、拠点Ａの撮影装置１ａからビデオ会議端末３ａを介して送られて来た撮影画像データ、及び拠点Ｂの撮影装置１ｂから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示している。一方、図２９（ｂ）は、撮影装置１ａ，１ｂから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示している。なお、ディスプレイ４ｄの左側の表示領域（レイアウト番号「１」）には拠点Ａの画像が表示され、右側上段の表示領域（レイアウト番号「２」）には拠点Ｂの画像が表示されている。更に、ディスプレイ４ｄの右側中段の表示領域（レイアウト番号「３」）には拠点Ｃの画像が表示され、右側下段の表示領域（レイアウト番号「４」）には拠点Ｄ（自拠点）の画像が表示されている。レイアウト番号「１」の表示領域は主表示領域であり、レイアウト番号「２」、「３」及び「４」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。

ここで、全天球パノラマ画像の撮影が可能な撮影装置１ａ，１ｂから送られて来た撮影画像データをそのまま表示すると、図２９（ａ）に示されているように、拠点Ａと拠点Ｂの画像が、それぞれ図３（ａ），（ｂ）に示されているように、前側の半球画像と後側の半球画像として表示される。

これに対して、画像・音処理部９３が、全天球パノラマ画像の元になる２つの半球画像を得ることができる撮影装置１ａ，１ｂが出力した撮影画像データから、全天球パノラマ画像を作成し、更に所定領域画像を作成すると、図２９（ｂ）に示されているように、平面画像である所定領域画像が表示される。なお、拠点Ｃでは、一般画像を得る撮影装置８が撮影し、拠点Ｄでも、一般画像を得るビデオ会議端末３ｄが撮影しているため、図２９（ａ），（ｂ）のいずれも、一般画像（ここでは、平面画像）が表示されている。

また、各拠点の利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。例えば、利用者Ｂ１は、タッチパネル９２１の操作等により、受付部９２が所定領域画像の移動を受け付け、表示制御部９４は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図２９（ｂ）に示されているように、初期設定（デフォルト）で拠点Ａの一部の利用者Ａ１，Ａ２が表示されている所定領域画像から、図２９（ｃ）に示されているように、所定領域画像を表示することができる。具体的には、図２９（ｃ）は、図２７に示されている拠点Ａの撮影画像において、利用者Ａ１，Ａ２を含む所定領域画像から、ホワイトボードWを含む所定領域画像に変更した状態を示している。

なお、図２９（ｂ）、（ｃ）に示されている全天球アイコン１９１，１９２は、全天球パノラマ画像の一部の所定領域Ｔを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン１９１，１９２の表示位置は、右上ではなく、左上、左下、及び右下等、どこでもよい。また、全天球アイコン１９１，１９２の種類は図２９（ｂ）、（ｃ）に限らない。また、全天球アイコン１９１，１９２ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。

続いて、図３０を用いて、図２９（ｂ）のように所定領域画像を表示した場合、及び図２９（ｂ）から図２９（ｃ）のように所定領域画像を変更した場合の画像通信システムにおける処理について説明する。図３０は、所定領域情報を共有する処理を示したシーケンス図である。図３０では、拠点Ａのビデオ会議端末３ａが第３の通信端末であり、拠点Ｄのビデオ会議端末３ｄが他の通信端末であり、拠点Ｂのスマートフォン９が通信端末（自端末）である。

まず、図２９（ｂ）に示されているように、拠点Ｄで利用者Ｄ１等がビデオ会議端末３ｄを利用して拠点Ａの所定領域画像を表示させた場合、ビデオ会議端末３ｄの送受信部３１ｄは、通信管理システム５に対して、表示された所定領域画像を示す所定領域情報を送信する（ステップＳ１１１）。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末３ａのＩＰアドレス、及び撮影画像データの送信先（所定領域情報の送信元）であるビデオ会議端末３ｄのＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部５１は、所定領域情報を受信する。

次に、通信管理システム５の記憶・読出部５９は、所定領域管理ＤＢ５００３に、ステップＳ１１１で受信された所定領域情報並びに送信元及び送信先の各ＩＰアドレスを関連付けて記憶する（ステップＳ１１２）。なお、ステップＳ１１１，１１２の処理は、図２９（ｂ）から図２９（ｃ）のように、ビデオ会議端末３ｄで所定領域画像が変更される度に行なわれる。

次に、通信管理システム５の記憶・読出部５９は、所定領域管理ＤＢ５００３に記憶しておいた所定領域情報及び各ＩＰアドレスの組のうち、その時点で最新の組となる（最も遅く記憶された組となる）所定領域情報及び各ＩＰアドレスの組を一定期間（例えば、３０秒）毎に読み出す（ステップＳ１１３）。そして、送受信部５１は、所定領域情報の送信元であるビデオ会議端末３ｄと同じ映像通話を行なっている他の通信端末（ビデオ会議端末３ａ、スマートフォン９、ＰＣ７）に対して、ステップＳ１１３で読み出された各ＩＰアドレスを含む所定領域情報を配信（送信）する（ステップＳ１１４，Ｓ１１６，Ｓ１１８）。これにより、ビデオ会議端末３ａの送受信部３１ａは、所定領域情報を受信する。そして、記憶・読出部３９ａは、所定領域管理ＤＢ３００３ａに、ステップＳ１１４で受信された所定領域情報及び各ＩＰアドレスを関連付けたまま記憶する（ステップＳ１１５）。同様に、スマートフォン９においても、送受信部９１が所定領域情報を受信した後、記憶・読出部９９が所定領域管理ＤＢ９００３に、ステップＳ１１６で受信された所定領域情報及び各ＩＰアドレスに関連付けたまま記憶する（ステップＳ１１７）。更に、ＰＣ７においても、送受信部７１が所定領域情報を受信した後、記憶・読出部７９が所定領域管理ＤＢ７００３に、ステップＳ１１８で受信された所定領域情報を同じく受信された各ＩＰアドレスに関連付けて記憶する（ステップＳ１１９）。

続いて、図３１を用いて、所定領域情報を共有する他の処理について説明する。図３１は、図３０に示された処理の他の例を示し、所定領域情報を共有する他の処理を示すシーケンス図である。図３１では、拠点Ａのビデオ会議端末３ａが通信端末（自端末）であり、拠点Ｄのビデオ会議端末３ｄが他の通信端末である。

上記図３０に示された処理では、通信管理システム５が、各通信端末から送信された各所定領域情報を一旦管理して（Ｓ１１２参照）、一定期間毎に送信元以外の各通信端末に各所定領域情報を送信した（Ｓ１１４〜Ｓ１１９参照）。これに対して、本実施形態では、図３２に示されているように、撮影画像データの送信元の通信端末（ここでは、ビデオ会議端末３ａ）が、通信管理システム５に替わって、所定領域情報を一旦管理して（Ｓ２１３参照）、一定期間毎に自端末以外の各通信端末に各所定領域情報を送信する（Ｓ２１５〜Ｓ２２１参照）。即ち、本実施形態では、撮影画像データの送信元の通信端末は、自端末（ここでは、ビデオ会議端末３ａ）が送信した撮影画像データが他の通信端末でどのような所定領域Ｔ１の所定領域画像として表示されているかを管理している。

なお、図３１で示される処理は、図３０で示される処理と共通のハードウェア構成で実現される。そのため、図３１の処理を実現するためのハードウェア構成の説明は省略する。

図３１で示される処理では、まず、拠点Ｄで利用者Ｄ１等がビデオ会議端末３ｄを利用して拠点Ａの所定領域画像を表示させた場合、ビデオ会議端末３ｄの送受信部３１ｄは、通信管理システム５に対して、表示された所定領域画像を示す所定領域情報を送信する（ステップＳ２１１）。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末３ａのＩＰアドレス、及び撮影画像データの送信先（所定領域情報の送信元）であるビデオ会議端末３ｄのＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部５１は、所定領域情報を受信する。

次に、通信管理システム５の送受信部５１は、撮影画像データの送信元であるビデオ会議端末３ａに、ステップＳ２１１で受信した各ＩＰアドレスを含む所定領域情報を送信する（ステップＳ２１２）。これにより、ビデオ会議端末３ａの送受信部３１ａは、所定領域情報を受信する。

次に、ビデオ会議端末３ａの記憶・読出部３９ａは、所定領域管理ＤＢ３００３ａに、ステップＳ２１２で受信された所定領域情報並びに送信元及び送信先の各ＩＰアドレスを関連付けて記憶する（ステップＳ２１３）。このステップＳ２１３の処理が、自端末（ここでは、ビデオ会議端末３ａ）が送信した撮影画像データが他の通信端末でどのように表示されているかを管理する処理である。なお、ステップＳ２１１〜Ｓ２１３の処理は、ビデオ会議端末３ｄで所定領域画像が変更される度に行なわれる。

次に、ビデオ会議端末３ａの記憶・読出部３９ａは、所定領域管理ＤＢ３００３ａに記憶しておいた所定領域情報及び各ＩＰアドレスの組のうち、その時点で最新の組となる（最も遅く記憶された組となる）所定領域情報及び各ＩＰアドレスを一定期間（例えば、３０秒）毎に読み出す（ステップＳ２１４）。そして、送受信部３１ａは、通信管理システム５に対して、ステップＳ２１４で読み出された各ＩＰアドレスを含む所定領域情報を送信する（ステップＳ２１５）。これにより、通信管理システム５の送受信部５１は、所定領域情報を受信する。

次に、通信管理システム５の送受信部５１は、各通信端末（ビデオ会議端末３ｄ，スマートフォン９，ＰＣ７）に、ステップＳ２１５で受信した各ＩＰアドレスを含む所定領域情報を送信（配信）する（ステップＳ２１６，Ｓ２１８，Ｓ２２０）。これにより、ビデオ会議端末３ｄの送受信部３１ｄは、所定領域情報を受信する。そして、記憶・読出部３９ｄは、所定領域管理ＤＢ３００３ｄに、ステップＳ２１６で受信された所定領域情報を同じく受信された各ＩＰアドレスに関連付けて記憶する（ステップＳ２１７）。同様に、スマートフォン９においても、送受信部９１が所定領域情報を受信した後、記憶・読出部９９が所定領域管理ＤＢ９００３に、ステップＳ２１８で受信された所定領域情報を同じく受信された各ＩＰアドレスに関連付けて記憶する（ステップＳ２１９）。更に、ＰＣ７においても、送受信部７１が所定領域情報を受信した後、記憶・読出部７９が所定領域管理ＤＢ７００３に、ステップＳ２２０で受信された所定領域情報を同じく受信された各ＩＰアドレスに関連付けて記憶する（ステップＳ２２１）。

以上により、拠点Ａで変更された所定領域画像を示す所定領域情報は、同じ映像通話中の他拠点Ｂ，Ｃ，Ｄの各通信端末に送信されることで、拠点Ａで表示中の所定領域画像を示す所定領域情報が他拠点Ｂ，Ｃ，Ｄにおいても共有される。この処理は、拠点Ｂ，Ｃ，Ｄにおいて所定領域画像が変更された場合も同様に行なわれ、同じ映像通話中の全拠点で互いに他拠点で表示中の所定領域画像を示す所定領域情報が共通される。

続いて、図３２乃至３５を用いて、資料画像の合成位置設定について説明する。図３２は、画像配信元である拠点Ａにおいて、資料画像を全天球パノラマ画像に合成する合成位置を変更する場合の、画像通信システムにおける処理を示すシーケンス図である。

まず、受付部３２ａは、拠点Ａの利用者Ａ１等の操作に応じて資料画像の選択を受け付ける（ステップＳ７１）。選択状態にする方法の例として、拠点Ａの利用者Ａ１等が配信している全天球パノラマ画像のプレビュー画面で、資料画像部分に対して「右クリック」「ダブルクリック」「該当するキーの入力」などの操作を行う方法がある。タッチ可能な端末の場合はプレビュー領域内の通常映像を「ロングタップ」「ダブルタップ」などの操作で実現しても良い。次に、受付部３２ａは、利用者Ａ１等の操作に応じて資料画像の合成位置の変更を受け付ける（ステップＳ７２）。

次に、受付部３２ａは、利用者Ａ１等の操作に応じて資料画像の合成位置の決定を受け付け、算出部３７ａは合成位置情報を生成する（ステップＳ７３）。決定する方法の例として、合成位置の確定には、ステップＳ７２の操作完了後に自動的に決定とみなしてもよいし、別途画面上の決定ボタンを押したり、あらかじめ決められたキー操作を行なったりする方法でもよい。

ここで、利用者Ａ等が資料画像の合成位置を変更する画面例を、図３３を用いて説明する。図３３は、全天球パノラマ画像の拠点Ａにおけるプレビュー画面である。ここでいうプレビュー画面とは、ある拠点が配信している映像を、通信ネットワーク１００を介さずに自拠点で確認するための画面である。図３３に示されるようにプレビュー画面には、全天球パノラマ画像のうち利用者Ａ２，Ａ４そしてホワイトボードWを含む所定領域画像が示されている。ホワイトボードWには文字や円グラフが書き込まれている。

図３３にはさらに、点線の枠内に示される領域Ｒ１と実線の枠内で示される領域Ｒ２が示されている。領域Ｒ１と領域Ｒ２はそれぞれ、変更前の合成位置と変更後の合成成置を示している。ホワイトボードW内の領域である領域２に資料画像の合成位置を変更することで、ＰＣ６が表示させている資料画像である棒グラフをホワイトボードW内に書き込まれている他の文字や円グラフと並べて表示させ、会議の参加者がより見やすくすることができる。

図３３を用いて、前述した前述のステップ７１〜ステップ７３に対応させて利用者Ａ１等の操作を説明すると、まず利用者Ａ１等は領域Ｒ１を選択し（ステップＳ７１）、次に矢印の向きにドラッグアンドドロップして資料画像の合成位置を変更する（ステップ７２）。そして所望の領域Ｒ２に移動させた状態で変更後の合成位置決定のための動作を実行する（ステップ７３）。

なお、合成位置の変更の方法は、図３３で示した「ドラッグアンドドロップ」に限られない。他の例として、あらかじめ決められたキー操作によって合成画像の始点と終点の座標を変更してもよいし、タッチ入力可能なデバイスの場合はピンチイン、ピンチアウトの操作によって変更してもよい。また、変更前と変更後の資料画像のサイズ、つまり領域Ｒ１と領域Ｒ２のサイズが異なるような場合、変更後のサイズに収まるように拡大・縮小を行うようにしてもよい。また、領域Ｒ１を示す点線の枠や矢印は利用者の操作補助のために表示させてもよいし、表示させなくてもよい。

図３２の説明を続けると、次に通信部６８は、変更後の合成位置情報を、通信システム５の送受信部５１に送信する（ステップＳ７４）。この合成位置情報には、合成位置座標と、撮影画像データの送信元であるビデオ会議端末３ａのＩＰアドレス、及び撮影画像データの送信先（合成位置情報の送信元）であるビデオ会議端末３ｄのＩＰアドレスが含まれている。これにより、通信管理システム５の送受信部５１は、合成位置情報を受信する。

次に、送受信部５１は、所定領域情報の送信元であるビデオ会議端末３ｄと同じ映像通話を行なっている他の通信端末（ビデオ会議端末３ｄ、スマートフォン９、ＰＣ７）に対して、合成位置情報を配信（送信）する（ステップＳ７５，Ｓ７７，Ｓ７９）。これにより、ビデオ会議端末３ｄの送受信部３１ｄは、合成位置情報を受信する。そして、記憶・読出部３９ａは、合成位置管理ＤＢ３００４ｄに、ステップＳ７５で受信された合成位置情報を、送信元アドレスを関連付けて記憶する（ステップＳ７６）。同様に、スマートフォン９においても、送受信部９１が合成位置情報を受信した後、記憶・読出部９９が合成位置管理ＤＢ９００４に、ステップＳ７７で受信された合成位置報を送信元ＩＰアドレスと関連付けて記憶する（ステップＳ７８）。更に、ＰＣ７においても、送受信部７１が合成位置情報を受信した後、記憶・読出部７９が所定領域管理ＤＢ７００４に、ステップＳ７９で受信された所定領域情報を同じく受信された各ＩＰアドレスに関連付けて記憶する（ステップＳ８０）。

図３４は受信側端末における資料画像の表示処理を示したフローチャートである。なお、各受信側端末の処理は同じであるため、ここでは、拠点Ｂのスマートフォン９の処理について説明する。

まず、スマートフォン９では、記憶・読出部９９が、図２８に示されているステップＳ１０６によって受信された画像データＩＤを検索キーとして、画像種類管理ＤＢ９００１（図１６参照）を検索することにより、対応する画像種類情報（ソース名）を読み出す（ステップＳ１３１）。

次に、判断部９５は、ステップＳ１３１によって読み出された画像種類情報が「特殊画像」である旨を示すか否かを判断する（ステップＳ１３２）。さらに判断部９５は、ステップ１３２の判断結果が、特殊画像である場合には、資料画像データを受信しているかを確認する（ステップＳ１３３）。ステップＳ１３３の確認は、例えば画像データＩＤで管理されていない画像データがあれば資料画像データであると判断する。ステップＳ１３３の判断結果が受信していない場合、つまりＮｏの場合は、画像・音処理部９３が、全天球画像を表示して終了する（ステップＳ１３７）。一方ステップ１３３の判断結果が受信している場合、つまりＹｅｓの場合、判断部９５は、画像情報の送信元ＩＰアドレスが合成位置管理ＤＢ９００４ｄに記憶されているかを判断する（ステップ１３５）。ステップ１３５の判断結果が、記憶されていない場合、つまりＮｏの場合は、画像・音処理部９３が、全天球画像のあらかじめ決められた合成位置である初期合成位置（デフォルト合成位置）に資料画像データを合成し（ステップＳ１３６）、全天球画像を表示する（ステップＳ１３７）。ステップ１３５の判断結果が、記憶されている場合、つまりＹｅｓの場合は、記憶・読出部９９が、合成位置管理ＤＢ９００４ｄから合成位置を取得する（Ｓ１３８）。次に、画像・音処理部９３は、全天球画像に取得された合成位置に資料画像データを合成し（ステップ１３９）、全天球画像を表示する（Ｓ１３７）。

図３５は、図３４で説明した表示処理を実行した拠点Ｂの表示画面例である。図３５に示されるように拠点Ｂにおいて、図３３で合成画像を拠点Ａで変更させた合成位置である領域Ｒ２に合成画像が表示されている。

以上により、拠点Ａで変更された合成位置情報は、同じ映像通話中の他拠点Ｂ，Ｃ，Ｄの各通信端末に送信されることで、拠点Ａで表示中の資料画面と同じ位置に他拠点Ｂ，Ｃ，Ｄにおいても表示され共有される。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、ビデオ会議端末３ａ等の通信端末は、画像データと共に送られて来る画像データＩＤに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、図２７（ａ）に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。

また、本実施形態によれば、受信者がある映像（合成先画像）の一部に別の映像（合成元画像）を合成して表示させる会議システム等で、送信者が、合成先画像での合成元映像の表示位置を変更することができる。したがって、送信者が意図していない場所に合成元の映像が合成されている場合や、会議中に映像を別の位置に合成したい場合に合成位置を変更することにより、より見えやすく理解しやすい映像にすることができるという効果を奏する。

〔補足〕
上記実施形態では、合成先であるパノラマ画像の一例として、撮影画像（全体画像）が３次元の全天球パノラマ画像について説明したが、２次元のパノラマ画像であってもよい。

また、上記実施形態では、通信管理システム５が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。

また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

１ａ 撮影装置
１ｂ 撮影装置
３ａ ビデオ会議端末（他の通信端末の一例）
３ｄ ビデオ会議端末（通信端末の一例）
４ａ ディスプレイ
４ｄ ディスプレイ（表示手段の一例）
５ 通信管理システム
６ ＰＣ
７ ＰＣ
８ 撮影装置
９ スマートフォン（他の通信端末の一例）
３１ｄ 送受信部（送信手段の一例、受信手段の一例）
３７ｄ 算出部（変更手段の一例）
３００４ａ 合成位置管理ＤＢ（合成位置管理手段の一例）
３００４ｄ 合成位置管理ＤＢ（合成位置管理手段の一例）
７００４ 合成位置管理ＤＢ（合成位置管理手段の一例）
９００４ 合成位置管理ＤＢ（合成位置管理手段の一例）

特開２０１２−１７８１３５号公報 特開２０１１−２２３０７６号公報 特開２０１２−１５６８２０号公報

Claims (12)

1. 第一の画像データと第二の画像のデータを送信する通信端末と、
   前記第一の画像データに係る第一の画像の所定の合成位置に、前記第二のデータに係る第二の画像を合成して表示する他の通信端末を有する画像通信システムであって、
   前記通信端末は、
   前記所定の合成位置の情報である合成位置情報を前記他の通信端末に送信する送信部を有し、
   前記他の通信端末は、
   前記合成位置情報に基づき、前記第一の画像に前記第二の画像を合成して表示する表示制御部を有することを特徴とする画像通信システム。
2. 請求項１に記載の画像通信システムであって、
   前記他の通信端末は、前記合成位置情報に基づき、前記第一の画像に前記第二の画像を合成する画像処理を行う画像処理手段を有することを特徴とする画像通信システム。
3. 請求項２に記載の画像通信システムであって、
   前記他の通信端末は、
   前記通信端末のＩＰアドレスと前記合成位置情報とを関連付けて管理する管理手段を有し、
   前記画像処理手段は、受信した前記第二の画像データの送信元ＩＰアドレスと同じＩＰアドレスと前記管理手段で関連付けられた前記合成位置情報に基づき、前記第一の画像に前記第二の画像を合成することを特徴とする画像通信システム。
4. 請求項１ないし３のいずれかに記載の画像通信システムであって、
   前記通信端末は、前記合成位置の設定を受け付ける受付手段を有し、
   前記送信手段は、前記設定後の前記合成位置情報を送信することを特徴とする画像通信システム。
5. 請求項１ないし４のいずれかに記載の画像通信システムであって、
   前記第一の画像データは撮像画像データであって、前記第二の画像データは資料画廊データであることを特徴とする画像通信システム。
6. 請求項１ないし５のいずれかに記載の画像通信システムであって、
   前記第一の画像は全天球パノラマ画像であることを特徴とする画像通信システム。
7. 他の通信端末に対して第一の画像データと第二の画像データを送信する通信端末であって、
   前記他の通信端末に対して、前記第一の画像データ及び前記第二の画像データを送信する送信手段と、
   前記第一の画像データに係る第一の画像上の、前記第二のデータに係る第二の画像を合成する所定の合成位置の設定を受け付ける受付手段とを有し、
   前記送信手段は、受け付けられた前記所定の合成位置の情報である合成位置情報を、前記他の通信端末に対して送信することを特徴とする通信端末。
8. 請求項７に記載の通信端末であって、
   前記第一の画像データは撮影画像データであり、前記第二の画像データは資料画像データであることを特徴とする通信端末。
9. 請求項７または８いずれか一項に記載の通信端末であって、
   前記第一の画像は全天球パノラマ画像であることを特徴とする通信端末。
10. 請求項７ないし９のいずれか一項に記載の通信端末と、
    前記他の通信端末と、
    前記通信端末及び前記他の通信端末の間の画像データの通信を管理する通信管理システムとを有することを特徴とする画像通信システム。
11. 請求項１０に記載の画像通信システムであって、
    前記他の通信端末は、
    前記通信端末から前記第一の画像データ及び前記第二の画像データ、並びに前記合成位置情報を受信する受信手段と、
    前記合成位置情報で示されている前記第一の画像上の位置に対して前記第二の画像を合成する画像処理手段と、
    前記第二の画像が合成された前記第一の画像を表示させる表示制御手段とを有することを特徴とする画像通信システム。
12. 請求項１１の画像通信システムであって、
    前記他の通信端末は、
    前記通信端末のＩＰアドレスと前記合成位置情報とを関連付けて管理する管理手段を有し、
    前記画像処理手段は、受信した前記第二の画像データの送信元ＩＰアドレスと同じＩＰアドレスと前記管理手段で関連付けられた前記合成位置情報に基づき、前記第一の画像に前記第二の画像を合成することを特徴とする画像通信システム。