<<実施形態の全体構成>>
以下、図を用いて、本発明の一実施形態について説明する。図1は、本発明の一実施形態に係る伝送システム1の概略図であり、まずは図1を用いて、本実施形態の概略を説明する。
伝送システムには、伝送管理システムを介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムや、伝送管理システムを介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム、音声会議システム、音声電話システム、PC(Personal Computer)画面共有システム等が例として挙げられる。
本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定した上で、伝送システム、伝送管理システム、及び伝送端末について説明する。即ち、本発明の伝送端末及び伝送管理システムは、テレビ会議システムに適用されるだけでなく、コミュニケーションシステム、又は伝送システムにも適用される。
図1に示す伝送システム1は、複数の伝送端末(10aa,10ab,…)、各伝送端末(10aa,10ab,…)用のディスプレイ(120aa,120ab,…)、複数の中継装置(30a,30b,30c,30d,30e)、及び伝送管理システム50、プログラム提供システム90、及びメンテナンスシステム100によって構築されている。
なお、本実施形態では、伝送端末(10aa,10ab,…)のうち任意の伝送端末を示す場合には「伝送端末10」を用い、ディスプレイ(120aa,120ab,…)のうち任意のディスプレイを示す場合には「ディスプレイ120」を用い、中継装置(30a,30b,30c,30d,30e)のうち任意の中継装置を示す場合には「中継装置30」を用いる。
伝送端末10は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。なお、以下では、「伝送端末」を単に「端末」として表し、「伝送管理システム」を単に「管理システム」として表す。即ち、本実施形態における通話には、音声データの送受信だけでなく、画像データの送受信も含まれる。即ち、本実施形態における端末10は、画像データ及び音声データの送受信を行う。但し、端末10は画像データの送受信を行わず、音声データの送受信を行うようにしてもよい。
本実施形態では、端末10は、映像のコーデック(Codec、エンコード及びデコードの符号化方式)として、1以上の映像エンコーダ、及びデコーダをサポートしてもよいし、1つもサポートしていなくともよい。音声コーデックについても、同様である。
本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であってもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。中継装置30は、複数の端末10の間で、画像データ及び音声データの中継を行う。管理システム50は、端末10及び中継装置30を一元的に管理する。
また、図1に示されている複数のルータ(70a,70b,70c,70d,70ab,70cd)は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ(70a,70b,70c,70d,70ab,70cd)のうち任意のルータを示す場合には「ルータ70」を用いる。
プログラム提供システム90は、端末10に各種機能又は各種手段を実現させるための端末用プログラムが記憶された、不図示のHD(Hard Disk)を備えており、端末10に、端末用プログラムを送信することができる。また、プログラム提供システム90のHDには、中継装置30に各種機能又は各種手段を実現させるための中継装置用プログラムも記憶されており、中継装置30に、中継装置用プログラムを送信することができる。更に、プログラム提供システム90のHDには、管理システム50に各種機能又は各種手段を実現させるための伝送管理用プログラムも記憶されており、管理システム50に、伝送管理用プログラムを送信することができる。
メンテナンスシステム100は、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、又は保守を行うためのコンピュータである。例えば、メンテナンスシステム100が国内に設置され、端末10、中継装置30、管理システム50、又はプログラム提供システム90が国外に設置されている場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。
また、端末(10aa,10ab,10ac,10a…)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。端末(10ba,10bb,10bc,10b…)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、端末(10ca,10cb,10cc,10c…)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。端末(10da,10db,10dc,10d…)、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカであり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域A及び地域Bは、それぞれルータ(70ab,70cd)からインターネット2iを介して通信可能に接続されている。
また、管理システム50、及びプログラム提供システム90は、インターネット2iを介して、端末10、及び中継装置30と通信可能に接続されている。管理システム50、及びプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
また、中継装置30eは、通信ネットワーク2を介して端末10と通信可能に接続されている。この中継装置30eは、常時稼動しており、地域A又は地域Bのローカルエリア内の通信量の影響を受けにくくするために、これら以外の地域に設置されている。これにより、端末10が他のローカルエリアに設置された端末と通話する場合に、通話データを中継するための中継装置として中継装置30eが用いられる。また、同一のローカルエリアの端末間で通話を行う際に、このローカルエリアに設置された中継装置が稼動していない場合にも、緊急用の中継装置として中継装置30eが用いられる。
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく無線による通信が行われる箇所があってもよい。
また、図1において、各端末10、各中継装置30、管理システム50、各ルータ70、プログラム提供システム90、及びメンテナンスシステム100の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。本実施形態では、中継先(宛先)としての端末10で画像データの受信に遅延が生じた場合に、中継装置30によって画像データの画像の解像度を変更してから、中継先としての端末10へ画像データを送信する場合について説明する。
図32は、本実施形態に係る端末10の外観図である。以下、端末10の長手方向をX軸方向、水平面内でX軸方向に直交する方向をY軸方向、X軸方向及びY軸方向に直交する方向(鉛直方向)をZ軸方向として説明する。
図32に示されているように、端末10は、筐体1100、アーム1200、及びカメラハウジング1300を備えている。このうち、筐体1100の前側壁面1110には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して端末10の後方の外気を取り込み、排気面1121を介して端末10の後方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
筐体1100の右側壁面1130側には、操作パネル1150が形成されている。この操作パネル1150には、後述の複数の操作ボタン(108a〜108e)、後述の電源スイッチ109、及び後述のアラームランプ119が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音声出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述の外部機器接続I/F118に対して電気的にケーブルを接続するための複数の接続口(1132a〜1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F118に対して電気的にディスプレイ120用のケーブル120cを接続するための不図示の接続口が設けられている。
なお、以下では、操作ボタン(108a〜108e)のうち任意の操作ボタンを示す場合には「操作ボタン108」を用い、接続口(1132a〜1132c)のうち任意の接続口を示す場合には「接続口1132」を用いて説明する。
次に、アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図32は、チルト角θ1が90度の状態を示している。
カメラハウジング1300には、後述の内蔵型のカメラ112が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。そして、カメラハウジング1300は、トルクヒンジ1310を介してアーム1200に取り付けられており、カメラハウジング1300がアーム1200に対して、図32で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
なお、中継装置30、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
図2は、本発明の一実施形態に係る端末10のハードウェア構成図である。図2に示されているように、本実施形態の端末10は、端末10全体の動作を制御するCPU(Central Processing Unit)101、端末用プログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、画像データや音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、端末10の宛先を選択する場合などに操作される操作ボタン108、端末10の電源のON/OFFを切り換えるための電源スイッチ109、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、端末10は、CPU101の制御に従って被写体を撮像して画像を得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、図32に示されている接続口1100gに取り付けられ各種の外部機器を接続するための外部機器接続I/F118、端末10の各種機能の異常を知らせるアラームランプ119、及び上記各構成要素を図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(登録商標)(High-Definition Multimedia Interface)やDVI(Digital VideoInteractive)信号用のケーブルであってもよい。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア106は、端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable andProgrammable ROM)等を用いてもよい。
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
図3は、本発明の一実施形態に係る管理システムのハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、伝送管理用プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、各種データを記憶するHD(Hard Disk)204、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対するデータの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各構成要素を図3に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
なお、上記伝送管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
また、中継装置30は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、中継装置30を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
更に、プログラム提供システム90は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、プログラム提供システム90を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
また、メンテナンスシステム100は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、メンテナンスシステム100を制御するためのメンテナンス用プログラムが記録されている。この場合も、メンテナンス用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
なお、上記着脱可能な記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図4は、本実施形態の伝送システム1を構成する各端末、装置及びシステムの機能ブロック図である。図4では、端末10、中継装置30、及び管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。また、図1に示されているプログラム提供システム90、及びメンテナンスシステム100は、テレビ会議の通信において直接関係ないため、図4では省略されている。
<端末の機能構成>
端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音声入力部15a、音声出力部15b、表示制御部16、遅延検出部18、記憶・読出処理部19、宛先リスト作成部20、及び制御部21を有している。これら各部は、図2に示されている各構成要素のいずれかが、ROM102に記憶されているプログラムに従ったCPU101からの命令によって動作することで実現される機能又は手段である。また、端末10は、図2に示されているRAM103によって構築される揮発性記憶部1100、及び図2に示されているフラッシュメモリ104によって構築される不揮発性記憶部1000を有している。
<端末の各機能部>
次に、端末の各部を詳細に説明する。端末10の送受信部11は、図2に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(情報)の送受信を行う。この送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各端末10の稼動状態(ONラインかOFFラインかの状態)だけでなく、ONラインであっても更に通話中であるか、待受け中であるか等の詳細な状態を示す。また、この状態情報は、各端末10の稼動状態だけでなく、端末10でケーブルが端末10から外れていたり、音声を出力するが画像は出力させなかったり、音声を出力さないようにする(MUTE)等、様々な状態を示す。以下では、一例として、状態情報が稼動状態を示す場合について説明する。
送受信部11は、例えば、管理システム50にログインする際や、管理システム50に通話の開始を要求する際等に、端末10がサポートしているコーデックの情報を、管理システム50に通知する。
操作入力受付部12は、図2に示されている操作ボタン108、及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図2に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする。
ログイン要求部13は、図2に示されているCPU101からの命令によって実現され、上記電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元としての端末10の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ109をONの状態からOFFにすると、送受信部11は、管理システム50へ、電源をOFFする旨の状態情報を送信してから、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、端末10が電源ONから電源OFFになったことを把握することができる。
撮像部14は、図2に示されているCPU101からの命令、並びに図2に示されているカメラ112、及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。音声入力部15aは、図2に示されている音声入出力I/F116によって実現され、マイク114によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを入力する。音声出力部15bは、図2に示されているCPU101からの命令、並びに図2に示されている音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ115から音声を出力させる。
表示制御部16は、図2に示されているディスプレイI/F117によって実現され、外付けのディスプレイ120に対して画像データを送信するための制御を行う。表示制御部16は、要求元としての端末10が所望の宛先としての端末10とテレビ会議の通話を開始する前に、送受信部11による受信の開始後に受信された状態情報を反映させて各宛先名が含まれた宛先リストをディスプレイ120に表示させる。
例えば、ディスプレイ120上には、表示実行部16aによって、図24に示されているような宛先リスト枠1100−1が表示される。この宛先リスト枠1100−1には、宛先名「日本 東京事業所 AB端末」1100−2等の各宛先名が表示されており、宛先名毎に状態情報に係る状態を示したアイコン(1100−3a,1100−3b,1100−3c,1100−3d)が表示される。このうち、アイコン1100−3aは、宛先候補の一つの端末がONライン状態で待受け中であるため、この端末と通話可能であることを示す。アイコン1100−3bは、宛先候補の一つの端末がOFFライン状態で、この端末と通話不可能であることを示す。アイコン1100−3cは、宛先候補の一つの端末が他の端末と通話中の状態で、この通話に加わって、三者通話等が可能な状態を示す。アイコン1100−3dは、宛先候補の一つの端末が他の端末との通話を要求しているか他の端末から通話を要求されているため、この宛先候補の一つの端末と通話不可能な状態を示す。更に、アイコン1100−3dは、上記の状態に加えて、他の端末との通話の要求を許可したか、他の端末との通話の要求が許可されたため、この宛先候補の一つの端末と通話不可能な状態を示す。また、宛先リスト枠1100−1には、右側にスクロールバー1100−4が表示され、三角形の上向き又は下向きアイコンが選択されることで、図24には表示されていない宛先候補の宛先名および状態を示したアイコンが表示されることになる。
遅延検出部18は、図2に示されているCPU101からの命令によって実現され、他の端末10から中継装置30を介して送られて来る画像データ又は音声データの遅延時間(ms)を検出する。
また、記憶・読出処理部19は、図2に示されているCPU101からの命令、並びに一例として図2に示すSSD105によって実行され、不揮発性記憶部1000に各種データを記憶したり、不揮発性記憶部1000に記憶された各種データを読み出す処理を行う。この不揮発性記憶部1000には、端末10を識別するための端末ID(Identification)、及びパスワード等が記憶される。更に、記憶・読出処理部19は、揮発性記憶部1100に各種データを記憶したり、揮発性記憶部1100に記憶された各種データを読み出す処理も行う。この揮発性記憶部1100には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。
宛先リスト作成部20は、管理システム50から受信した、後述の宛先リスト情報及び各宛先候補としての端末10の状態情報に基づいて、図24に示されているような宛先候補の状態がアイコンで示された宛先リストの作成及び更新を行う。
制御部21は、ユーザからの操作に応じて、管理システム50に、会議の開始を要求する。なお、本実施形態の会議(通話)には、1対1の通話や、3つ以上の端末での多地点会議が含まれる。
制御部21は、会議の相手の端末10がサポートするデコーダに対応するエンコーダにより、映像、音声等のコンテンツデータをエンコードし、送受信部11から、中継装置30を介して、相手の端末10へ送信する。
制御部21は、会議の相手の端末10からの映像、音声等のコンテンツデータをデコードし、画面やスピーカに出力させる。3つ以上の端末10にて多地点の会議をしている場合は、会議の相手の各端末10からの映像、音声等のコンテンツデータをそれぞれデコードし、それぞれ画面に表示させる。
制御部21は、管理システム50から後述するコーデック対応情報を受信すると、コーデック対応情報に基づく情報を画面に表示する(図19参照)。制御部21は、当該画面にて、ユーザから了承の操作を受け付けた場合はその旨を管理システム50に通知する。制御部21は、当該画面にて、ユーザからキャンセルの操作を受け付けた場合はその旨を管理システム50に通知する。
なお、制御部21は、管理システム50から受信したコーデック対応情報において、送受信不可の宛先端末10があるか否か判断し、全て問題なし(送受信不可の宛先端末10なし)の場合、ユーザからの承認操作を不要として、自動で管理システム50に承認を通知する構成としてもよい。その場合、制御部21は、送受信不可の宛先端末10がある場合のみ、上述したコーデック対応情報に基づく情報を画面に表示する構成としてもよい。
制御部21は、コーデック対応情報において、送受信不可の宛先端末10があるか否か判断し、ある場合は、自動で管理システム50にキャンセルを通知する構成としてもよい。
なお、本実施形態の端末ID、及び後述の中継装置IDは、それぞれ端末10、及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID、及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
(中継装置の機能構成)
次に、中継装置30の機能又は手段について説明する。中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、及び記憶・読出処理部39を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、中継装置30は、図3に示されているHD204により構築され、中継装置30の電源をOFFにしても各種データや情報の記憶が維持される不揮発性記憶部3000を有している。
(変更品質管理テーブル)
不揮発性記憶部3000には、図5に示されているような変更品質管理テーブルによって構成されている変更品質管理DB(Data Base)3001が構築される。変更品質管理テーブルでは、画像データの中継先としての端末10のIPアドレス、及びこの中継先に中継装置30が中継する画像データの画質が関連付けられて管理される。
ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図6(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図6(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図6(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。例えば、図5に示されている変更品質管理テーブルにおいて、中継装置30が、IPアドレス「1.3.2.4」の宛先端末に対して画像データを中継する場合には、この中継される画像データの画質(画像の品質)は「高品質」である。
<中継装置の各機能部>
次に、中継装置30の各機能構成について詳細に説明する。なお、以下では、中継装置30の各部を説明するにあたって、図3に示されている各構成要素のうち、中継装置30の各部を実現させるための主な構成要素との関係も説明する。
図4に示されている中継装置30の送受信部31は、図3に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。状態検知部32は、図3に示されているCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「ONライン」、「OFFライン」、又は「故障中」の状態がある。
データ品質確認部33は、図3に示されているCPU201からの命令によって実現され、宛先端末のIPアドレスを検索キーとして、変更品質管理テーブル(図5参照)を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。変更品質管理部34は、図3に示されているCPU201からの命令によって実現され、管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理DB3001の変更品質管理テーブルの内容を変更する。例えば、端末IDが「01aa」である要求元端末(端末10aa)と、端末IDが「01db」である宛先端末(端末10db)との間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末(端末10bb)と宛先端末(端末10ca)が通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末(端末10db)で画像データの受信の遅延が生じた場合には、中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる必要がある。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の変更品質管理テーブルの内容が変更される。
データ品質変更部35は、図3に示されているCPU201からの命令によって実現され、送信元端末10から送られて来た画像データの画質を、上記変更された変更品質管理DB3001の変更品質管理テーブルの内容に基づいて変更する。記憶・読出処理部39は、図3に示されているHDD205によって実現され、不揮発性記憶部3000に各種データを記憶したり、不揮発性記憶部3000に記憶された各種データを読み出す処理を行う。
<管理システムの機能構成>
次に、管理システム50の機能又は手段について説明する。管理システム50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態取得部55、中継装置選択部56、セッション管理部57、品質決定部58、記憶・読出処理部59、遅延時間管理部60、及び判断部61を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、管理システム50は、図3に示されているHD204により構築され、管理システム50の電源をOFFにしても各種データや情報の記憶が維持される不揮発性記憶部5000を有している。この不揮発性記憶部5000には、図24に示されている宛先リスト枠1100−1が記憶されている。更に、管理システム50は、図3に示されているRAM203によって構築される揮発性記憶部5100を有している。
(中継装置管理テーブル)
不揮発性記憶部5000には、図7に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図7に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「ONライン」で、管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」で、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
(端末認証管理テーブル)
更に、不揮発性記憶部5000には、図8に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図8に示されている端末認証管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(端末管理テーブル)
また、不揮発性記憶部5000には、図9に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各端末10の端末ID毎に、各端末10を宛先とした場合の宛先名、各端末10の稼動状態、他の端末との通信状態、後述のログイン要求情報が管理システム50で受信された受信日時、端末10のIPアドレス、及び該当端末がサポートする(対応可能な)コーデック(エンコーダ、デコーダ)の情報が関連付けられて管理される。例えば、図9に示されている端末管理テーブルにおいて、端末IDが「01aa」の端末10aaは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「ONライン」で、通信状態が他の端末と通信しておらず待受け中の状態を示す「None」で、管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」で、この端末10aaのIPアドレスが「1.2.1.3」、サポートするコーデックは、映像エンコーダがH.264、音声エンコーダがSpeex、映像デコーダがH.264、音声デコーダがSpeexであることが示されている。尚、通信状態には、他の端末を呼び出し中の状態を示す「Calling」、他の端末から呼び出されている状態を示す「Ringing」、他の端末との通話の要求を許可したか、他の端末との通話の要求が許可された状態を示す「Accepted」、他の端末と通話中の状態を示す「Busy」等が含まれる。
(宛先リスト管理テーブル)
更に、不揮発性記憶部5000には、図10に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議における通話の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図10に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末(端末10aa)からテレビ会議における通話の開始を要求することができる宛先端末の候補は、端末IDが「01ab」の端末10ab、端末IDが「01ba」の端末10ba、及び端末IDが「01bb」の端末10bb等であることが示されている。この宛先端末の候補は、要求元端末から管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
(セッション管理テーブル)
また、この不揮発性記憶部5000には、図11に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、端末間で通話データが通信されるセッションを識別するためのセッションID毎に、画像データ及び音声データの中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けられて管理される。例えば、図11に示されているセッション管理テーブルにおいて、セッションID「se1」を用いて実行されたセッションで選択された中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の要求元端末(端末10aa)と、端末IDが「01bb」の宛先端末(端末10bb)と、端末IDが「01cb」の宛先端末(端末10cb)と、端末IDが「01db」の宛先端末(端末10db)との間で、画像データ及び音声データを中継しており、宛先端末(端末10db)において「2009年11月10日の14時00分」時点における画像データの遅延時間が200(ms)であることが示されている。なお、2つの端末10の間でテレビ会議を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、3つ以上の端末10の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の端末10から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
(品質管理テーブル)
更に、不揮発性記憶部5000には、図12に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末又は宛先端末における画像データの遅延時間(ms)に応じて、中継装置30で中継させる画像データの画質(画像の品質)が関連付けられて管理される。
(中継装置選択管理テーブル)
更に、不揮発性記憶部5000には、図13に示されているような中継装置選択管理テーブルによって構成されている中継装置選択管理DB5008が構築されている。この中継装置選択管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、画像データ及び音声データの中継に使用される中継装置30の中継装置IDが関連付けられて管理される。
(状態変更管理テーブル)
また、不揮発性記憶部5000には、図14,図15,図16に示されているような状態変更管理テーブルによって構成されている状態変更管理DB5009が構築されている。図14の状態変更管理テーブルでは、端末間の通信の状態を変更させる要求を示す変更要求情報(変更情報の一例)と、状態管理部53によって変更される前の通信の状態を示す変更前状態情報と、状態管理部53によって変更された状態を示す変更情報とが関連付けられて管理される。また、図15の状態変更管理テーブルでは、変更要求情報と、要求元端末と宛先端末とを識別するための端末情報と、変更前状態情報と、変更情報とが関連付けられて管理される。図16の状態変更管理テーブルでは、変更要求情報と、端末情報と、通信の開始を要求する旨の変更要求情報「Invite」を受信した複数の端末のいずれかから通信の開始を拒否する旨の変更要求情報「Reject」を受信した場合に、複数の端末のすべてから変更要求情報「Reject」を受信したか否かを判定した結果を示す判定情報と、変更前状態情報と、変更情報とが関連付けられて管理される。尚、変更要求情報には、上記の「Invite」、「Reject」の他、通信の開始を許可する旨の変更要求情報「Accept」、通信の開始の要求を取り消す旨の変更要求情報「Cancel」、通話データの中継の開始を要求する旨の変更要求情報「Join」、既に端末間のセッションが確立されている場合にこのセッションへの参加を要求する旨の変更要求情報「Call」、通信の終了を要求する旨の変更要求情報「Leave」等が含まれる。
(管理システムの各機能部)
次に、管理システム50の各機能部について詳細に説明する。なお、以下では、管理システム50の各部を説明するにあたって、図3に示されている各構成要素のうち、管理システム50の各部を実現させるための主な構成要素との関係も説明する。
送受信部51は、図3に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとし、不揮発性記憶部5000の端末認証管理テーブル(図8参照)を検索し、端末認証管理テーブルに同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。
状態管理部53は、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理テーブル(図9参照)に、この要求元端末の端末ID、要求元端末の稼動状態、管理システム50でログイン要求情報が受信された受信日時、及び要求元端末のIPアドレスを関連付けて記憶して管理する。具体的には、状態管理部53は、端末10の利用者が端末10の電源スイッチ109をOFFの状態からONにすることで、この端末から送られてきた電源をONする旨の状態情報に基づいて、端末管理テーブル(図9参照)の稼動状態のOFFラインを示す稼動状態をONラインに設定する。また、利用者が端末10の電源スイッチ109をONの状態からOFFにすることで、この端末から送られてきた電源をOFFする旨の状態情報に基づいて、端末管理テーブル(図9参照)のONラインを示す稼動状態をOFFラインに設定する。
状態管理部53は、要求元端末又は宛先端末によって送信された変更要求情報が送受信部51によって受信されると、要求元端末及び宛先端末の少なくとも一方の状態情報を端末管理テーブル(図9参照)から取得する。
状態管理部53は、送受信部51によって受信された変更要求情報に基づき、端末管理テーブル(図9参照)で管理される要求元端末の状態情報及び宛先端末の状態情報のいずれか或は両方を変更する。
端末抽出部54は、ログイン要求した要求元端末の端末IDをキーとして、宛先リスト管理テーブル(図10参照)を検索し、要求元端末と通話することができる宛先端末の候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理テーブルを検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。
端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理テーブル(図9参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、端末状態取得部55は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末状態取得部55は、上記端末抽出部54によって抽出された端末IDを検索キーとして、端末管理テーブルを検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
中継装置選択部56は、複数の中継装置30から最終的に1つの中継装置30に絞り込むための処理を行う。具体的には、中継装置選択部56は、端末間で通話データが通信されるセッションを識別するためのセッションIDを生成する。中継装置選択部56は、要求元端末から送られてきた開始要求情報に含まれている要求元端末の端末ID、及宛先端末の端末IDに基づいて、中継装置選択管理テーブル(図13参照)を検索することにより、対応するそれぞれの中継装置IDを抽出する。中継装置選択部56は、中継装置管理テーブル(図7参照)で管理されている中継装置30のうち、稼動状態が「ONライン」となっている中継装置30の中継装置IDを選択することにより、中継装置30の選択を行う。
セッション管理部57は、不揮発性記憶部5000のセッション管理テーブル(図11参照)に、中継装置選択部56で生成されたセッションID、要求元端末の端末ID、及び宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理テーブルに対して、セッションID毎に、最終的に1つに選択された中継装置30の中継装置IDを記憶して管理する。
品質決定部58は、上記遅延時間を検索キーとして、品質管理テーブル(図12参照)を検索し、対応する画像データの画質を抽出することで、中継装置30に中継させる画像データの画質を決定する。記憶・読出処理部59は、図3に示されているHDD205によって実行され、不揮発性記憶部5000に各種データを記憶したり、不揮発性記憶部5000に記憶された各種データを読み出す処理を行う。
遅延時間管理部60は、上記宛先端末のIPアドレスを検索キーとして、端末管理テーブル(図9参照)を検索することで、対応する端末IDを抽出し、更に、セッション管理テーブル(図11参照)において、上記抽出した端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
判断部61は、要求元の端末10−1(「第1の端末」)から会議の要求を受信すると、セッション管理DB5005及び端末管理DB5003から取得した情報に基づいて、コーデック対応情報を生成するコーデック対応情報生成処理を行う。判断部61は、生成したコーデック対応情報を送受信部51から、要求元の端末10−1へ通知する。
具体的には、判断部61は、コーデック対応情報生成処理において、次のような処理を行う。
判断部61は、セッション管理DB5005を参照し、当該会議の相手である端末10(「第2の端末」)の端末IDを取得する。なお、会議の相手とは、要求元の端末10−1が、既存の会議に後から参加する場合は、当該会議に参加している1以上の端末10であり、1以上の宛先を指定して新規の会議を開始する場合は、当該指定された1以上の端末10である。なお、既存の会議に後から参加する場合は、会議のIDを指定して会議に参加する構成としてもよいし、会議に参加している一の端末10の端末IDを指定して会議に参加する構成としてもよい。
判断部61は、端末管理DB5003を参照し、要求元の端末10−1がサポートするコーデックの情報と、当該会議の相手である1以上の端末10がサポートするコーデックの情報とを取得する。
図17は、コーデック対応情報の一例を示す図である。コーデック対応情報は、コンテンツデータの種別(例えば、映像、音声)毎の、送信が可能でない会議の相手の端末10、及び受信が可能でない会議の相手の端末10の一覧である。図17の例では、それぞれ「映像送信不可」、「映像受信不可」、「音声送信不可」、「音声受信不可」である端末10の宛先名の情報が含まれる。
判断部61は、要求元の端末10−1から、当該会議の相手の端末10へのコンテンツデータの送信が可能であるか否か判断する。具体的には、要求元の端末10−1からの映像、音声等のデータを、当該会議の相手の端末10がデコードできるか否かを判断する。要求元の端末10−1がサポートしているエンコーダのうち、相手の端末10が1つでも対応するデコーダをサポートしていれば、そのエンコーダによって符号化したデータは送信可能であると判断する。
判断部61は、前記要求元の端末10−1にて、当該会議の相手の端末10からのコンテンツデータの受信が可能であるか否かを判断する。具体的には、要求元の端末10−1が、当該会議の相手の端末10からの映像、音声等のデータをデコードできるか否かを判断する。要求元の端末10−1がサポートしているデコーダのうち、相手の端末10が1つでも対応するエンコーダをサポートしていれば、そのエンコーダによって符号化されたデータは受信可能であると判断する。
なお、コーデック対応情報生成処理の詳細例は後述する。
なお、送受信部51は、判断部61に生成されたコーデック対応情報において、コンテンツデータの全ての種別(例えば、映像、音声等)で、送受信不可の宛先端末10があるか否か判断し、全て問題なし(送受信不可の宛先端末10なし)の場合、コーデック対応情報を要求元の端末10−1へ通知せずに、要求元の端末10からの会議の要求を、会議の相手の端末10に転送する会議開始処理を行う構成としてもよい。その場合、送受信部51は、送受信不可の宛先端末10がある場合のみ、生成したコーデック対応情報を要求元の端末10−1へ通知する構成としてもよい。
<<実施形態の処理または動作>>
次に、図18を参照して、一実施形態に係る伝送システム1の、コーデック対応情報を通知する動作について説明する。図18は、一実施形態に係る伝送システム1における、コーデック対応情報を通知する際の処理のシーケンス図である。
端末10−1、10−2、・・・、10−nは、それぞれ、管理システム50にログインする際、管理システム50に、端末10−1がサポートしているコーデックを通知する(ステップS1001−1、S1001−2、・・・、S1001−n)。
管理システム50は、端末10−1、10−2、・・・、10−nの端末IDと、サポートしているコーデックの情報を、端末管理DB5003にて管理する(ステップS1002−1、S1002−2、・・・、S1002−n)。
端末10−1は、ユーザから、会議の開始操作を受け付けると(ステップS1003)、管理システム50に、会議で使用可能なコーデック対応情報の通知を要求する(ステップS1004)。なお、会議を指定する情報としては、会議を識別する会議IDや、会議に参加している1の端末の端末ID、会議に招待する1以上の宛先の端末の端末ID等を用いる構成としてよい。
管理システム50は、コーデック対応情報生成処理を行い(ステップS1005)、端末10−1に、生成したコーデック対応情報を通知する(ステップS1006)。
端末10−1は、コーデック対応情報に基づく情報を画面に表示し(ステップS1007)、ユーザからの了承操作を受け付けると(ステップS1008)、管理システム50に、当該会議の要求を送信する(ステップS1009)。
管理システム50は、要求元の端末10−1からの会議の要求を、会議の相手の端末10−2、・・・、10−nに転送する会議開始処理を行う(ステップS1010)。その後、会議に含まれる端末10−1、10−2、・・・、10−n間での映像、音声等のコンテンツデータの送受信が開始される(ステップS1011−1、S1011−2、・・・、S1011−n)。
図19は、図18のステップS1007で端末10−1に表示される、コーデック対応情報に基づく表示画面の一例を示す図である。図19の例では、図17のコーデック対応情報に基づいて、映像の送信については問題がなく、自端末10−1が送信する映像データを、会議の全ての端末10が受信・表示可能であることを示している。映像の受信については、「日本 大阪事業所 AA端末」からの映像のみが自端末10−1ではデコードできず、表示不可能であることを示している。同様に、音声の送信については、図中に示す2つの端末10で受信・再生不可能であることを示している。音声の受信については問題がなく、会議の全ての端末10からの音声を受信・再生可能であることを示している。端末10−1は、「OK」ボタン501を押下された場合は了承操作を受け付け、「キャンセル」ボタン502を押下された場合は、会議の開始要求をキャンセルする。
それにより、端末10−1のユーザは、自拠点と映像・音声の送受信に問題のある相手拠点の一覧を確認した上で、提示された状況が許容できるかどうかを判断し、このまま会議開始するかどうかを適切に判断できる。
次に、図20を参照して、判断部61の、コーデック対応情報生成処理について説明する。図20は、コーデック対応情報生成処理のフローチャートである。
判断部61は、端末10−1から、会議の要求を受信する(ステップS201)。
端末管理DB5003から、端末10−1がサポートしている映像エンコーダを抽出する(ステップS202)。なお、端末10−1がサポートしている映像エンコーダの数は、0の場合(サポートしている映像エンコーダがない場合)や、1以上の場合もある。
セッション管理DB5005を参照して、会議に参加する、または参加している先頭の端末10−nを抽出する(ステップS203)。
端末管理DB5003から、抽出した端末10−nがサポートしている映像デコーダを抽出する(ステップS204)。なお、端末10−nがサポートしている映像デコーダの数は、0の場合(サポートしている映像デコーダがない場合)や、1以上の場合もある。
端末10−1がサポートしている映像エンコーダの数が1以上あり、当該1以上の映像エンコーダのうち、端末10−nがサポートしている映像デコーダと一致するものがあるか判断する(ステップS205)。
一致するものがあれば(ステップS205でYES)、後述するステップS207へ進む。
一致するものがなければ(ステップS205でNO)、当該端末10−nを、「映像送信不可」として記憶する(ステップS206)。
セッション管理DB5005を参照して、会議の未抽出の端末10−nがあるか判断する(ステップS207)。
あれば(ステップS207でYES)、会議に参加する、または参加している次の端末10−nを抽出し(ステップS208)、ステップS204の処理へ進む。
なければ(ステップS207でNO)、端末管理DB5003から、端末10−1がサポートしている映像デコーダを抽出する(ステップS209)。なお、端末10−1がサポートしている映像デコーダの数は、0の場合(サポートしている映像デコーダがない場合)や、1以上の場合もある。
セッション管理DB5005を参照して、会議に参加する、または参加している先頭の端末10−nを抽出する(ステップS210)。
端末管理DB5003から、抽出した端末10−nがサポートしている映像エンコーダを抽出する(ステップS211)。なお、端末10−nがサポートしている映像エンコーダの数は、0の場合(サポートしている映像エンコーダがない場合)や、1以上の場合もある。
端末10−1がサポートしている映像デコーダの数が1以上あり、当該1以上の映像デコーダのうち、端末10−nがサポートしている映像エンコーダと一致するものがあるか判断する(ステップS212)。
一致するものがあれば(ステップS212でYES)、後述するステップS213へ進む。
一致するものがなければ(ステップS212でNO)、当該端末10−nを、「映像受信不可」として記憶する(ステップS213)。
セッション管理DB5005を参照して、会議に参加する次の端末10−nがあるか判断する(ステップS214)。
あれば(ステップS214でYES)、次の端末10−nを抽出し(ステップS215)、ステップS211の処理へ進む。
なければ(ステップS214でNO)、処理を終了する。
なお、音声エンコーダ、デコーダについても、映像エンコーダ、デコーダと同様の処理を行う。その場合の処理は、図20中の「映像」を「音声」と読み替えればよい。
それにより、「映像送信不可」、「映像受信不可」、「音声送信不可」、「音声受信不可」である端末10の一覧を含むコーデック対応情報が生成される。
なお、端末10−1がサポートしているコーデックの情報は、ログイン時に登録された情報を用いる代わりに、次のような処理を行う構成としてもよい。端末10−1が、会議の要求に、端末10−1がサポートしているコーデックの情報を含めて通知する。判断部61は、ステップS202、ステップS210で、ステップS201で端末10−1から受信した会議の要求に含まれる情報から、端末10−1がサポートしているエンコーダ、デコーダの情報をそれぞれ取得する。
続いて、本実施形態に係る伝送システム1における処理方法の詳細例を説明する。なお、図21は、各中継装置の稼動状態を示す状態情報を管理する処理を示したシーケンス図である。図22は、伝送システムにおける画像データ、音声データ、及び各種管理情報の送受信の状態を示した概念図である。図23は、端末間で通話を開始する準備段階の処理を示したシーケンス図である。図24は、本実施形態の宛先リストを示す概念図である。図24は、通信の開始を要求する処理を示したシーケンス図である。
図26は、通信の開始の要求を許可する処理を示したシーケンス図である。図27は、通話データの中継を要求する処理を示したシーケンス図である。図28は、伝送端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。図29は、通話データ用セッションへの参加を要求する処理を示したシーケンス図である。図30は、通話データ用セッションからの退出を要求する処理を示したシーケンス図である。図31は、他の実施形態の宛先リストを示す概念図である。図32は、本実施形態に係る伝送端末の外観図である。
まず、図21を用いて、各中継装置30から管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を説明する。まず、各中継装置30では、図4に示されている状態検知部32が、自装置である中継装置30の稼動状態を定期的に検知している(ステップS1−1〜S1−4)。そして、管理システム50側で各中継装置30の稼動状態をリアルタイムで管理させるべく、各中継装置30の送受信部31は、定期的に通信ネットワーク2を介して管理システム50へ各状態情報を送信する(ステップS2−1〜S2−4)。これら各状態情報には、中継装置30毎の中継装置IDと、これら各中継装置IDに係る中継装置30の状態検知部32で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置(30a,30b,30d)は、正常に稼動して「ONライン」となっている一方で、中継装置30cは稼働中ではあるが、中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて、「OFFライン」となっている場合が示されている。
次に、管理システム50では、各中継装置30から送られて来た各状態情報を送受信部51が受信し、記憶・読出処理部59を介して不揮発性記憶部5000の中継装置管理テーブル(図7参照)に、中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜S3−4)。これにより、図7に示されるような中継装置管理テーブルに対して、中継装置ID毎に「ONライン」、「OFFライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ID毎に、管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置30から状態情報が送られない場合には、図7に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
次に、図22を用いて、伝送システム1における画像データ、音声データ、及び各種管理情報の送受信の状態を示した概念を説明する。図22に示されているように、伝送システム1では、端末10Aと端末10Bと端末10Cの間では、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、端末10Aと端末10Bと端末10Cの間では、中継装置30を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの4つの各データを送受信するための4つのセッションが確立される。ここでは、これら4つのセッションをまとめて、画像・音声データ用セッションsedとして示している。
次に、図23を用いて、図18のステップS1001、S1002のコーデック情報の管理等、端末10aaが通話を開始する前の準備段階における各管理情報の送受信処理について説明する。なお、図23では、全て管理情報用セッションseiによって、各種管理情報が送受信される処理が示されている。
まず、端末10aaの利用者が、図2に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源ONの受信を契機とし、送受信部11から通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自端末である端末10aaを識別するための端末ID、パスワード、及び端末10aaがサポートしているコーデック(エンコーダ、及びデコーダ)の情報が含まれている。これら端末ID、パスワード、及び端末10aaがサポートしているコーデックの情報は、記憶・読出処理部19を介して不揮発性記憶部1000から読み出されて、送受信部11に送られたデータである。なお、端末10aaから管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である端末10aaのIPアドレスを把握することができる。
次に、管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、不揮発性記憶部5000の端末認証管理テーブル(図8参照)を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。
この端末認証部52によって、同一の端末ID及びパスワードが管理されているため、正当な利用権限を有する端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理テーブル(図9参照)に、端末10aaの端末ID及び宛先名で示されるレコード毎に、上記ログイン要求情報が受信された受信日時、端末10aaのIPアドレス、及び端末10aaがサポートしているコーデック(エンコーダ、及びデコーダ)の情報を関連付けて記憶する(ステップS24−1)。これにより、図9に示されている端末管理テーブルには、端末ID「01aa」に、受信日時「2009.11.10.13:40」、端末IPアドレス「1.2.1.3」、エンコーダ「H.264/Speex」、デコーダ「H.264/Speex」が関連付けて管理されることになる。なお、端末10aaがサポートしているコーデックの情報は、ログインが成功した後に端末10aaから受信して管理する構成としてもよい。
続いて、状態管理部53が、端末10aaの稼動状態「ONライン」と通信状態「None」を設定し、端末管理テーブル(図9参照)に、端末10aaの端末ID及び宛先名で示されるレコード毎に、稼動状態、及び通信状態を関連付けて記憶する(ステップS24−2)。これにより、図9に示されている端末管理テーブルには、端末ID「01aa」に、稼動状態「ONライン」及び通信状態「None」が関連付けて管理されることになる。
そして、管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
端末10aaでは、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11が通信ネットワーク2を介して管理システム50へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS26)。これにより、管理システム50の送受信部51は、宛先リスト要求情報を受信する。
次に、端末抽出部54は、ログイン要求した要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図10参照)を検索し、要求元端末(端末10aa)と通話することができる宛先端末の候補の端末IDを読み出すことによって抽出する(ステップS27)。また、端末抽出部54は、抽出された端末IDを検索キーとして、端末管理テーブル(図9参照)を検索し、この端末IDに対応する宛先名を読み出すことによって抽出する。ここでは、要求元端末(端末10aa)の端末ID「01aa」に対応する宛先端末(10ab,10ba,…,10db,…)のそれぞれの端末ID(「01ab」、「01ba」、…「01db」、…)と、これらに対応する端末名(「日本 東京事業所 AB端末」、「日本 大阪事業所 BA端末」、…「アメリカ ワシントン事業所 DB端末」、…)が抽出される。
次に、管理システム50の送受信部51は、記憶・読出処理部59を介して記憶部6000から宛先リスト枠のデータ(図24で示されている宛先リスト枠1100−1部分のデータ)を読み出す(ステップS28)と共に、この宛先リスト枠並びに上記端末抽出部54によって抽出された端末ID及び宛先名を含めた「宛先リスト情報(宛先リスト枠、端末ID、宛先名)」を、要求元端末(端末10aa)に送信する(ステップS29)。これにより、要求元端末(端末10aa)では、送受信部11が宛先リスト情報を受信し、記憶・読出処理部19が揮発性記憶部1100へ宛先リスト情報を記憶する(ステップS30)。
また、管理システム50の端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、…「01db」、…)を検索キーとして、端末管理テーブル(図9参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に、対応する稼動状態を読み出すことにより、宛先候補としての端末(10ab,10ba,…,10db,…)の各稼動状態を取得する(ステップS31)。
次に、送受信部51は、上記ステップS27で使用された検索キーとしての端末ID「01ab」と、対応する宛先端末(端末10ab)の稼動状態「OFFライン」とが含まれた「端末の状態情報」を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS32)。また、同じくステップS32の一環として、送受信部51は、端末ID「01ba」と、対応する宛先端末(端末10ba)の稼動状態「ONライン(Calling)」とが含まれた「端末の状態情報」等、残りの「端末の状態情報」も個別に要求元端末(端末10aa)へ送信する。
次に、要求元端末(端末10aa)の記憶・読出処理部19は、順次、管理システム50から受信した端末の状態情報を揮発性記憶部1100に記憶する(ステップS33)。よって、要求元端末(端末10aa)は、上記各端末の状態情報を受信することで、要求元端末(端末10aa)と通話することができる宛先端末の候補である端末10ab等の現時点のそれぞれの稼動状態を取得することができる。
次に、要求元端末(端末10aa)の宛先リスト作成部20は、揮発性記憶部1100に記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末10の状態を反映させた宛先リストを作成すると共に、表示制御部16が、図2に示されているディスプレイ120に対して、宛先リストを表示するタイミングを制御する(ステップS34)。
以上より、図24に示されているように、宛先リスト枠1100−1に各宛先名1100−2等及び各状態情報を反映させたアイコン1100−3a等が表示された状態の宛先リストをディスプレイ120aaに表示させることになる。
一方、図23に戻って、管理システム50の端末抽出部54は、ログイン要求してきた要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図10参照)を検索し、上記要求元端末(端末10aa)の端末ID「01aa」を宛先端末の候補として登録している他の要求元端末の端末IDを抽出する(ステップS35)。図10に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末の端末IDは、「01ab」、「01ba」、及び「01db」である。
次に、管理システム50の端末状態取得部55は、上記ログイン要求して来た要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、端末管理テーブル(図9参照)を検索し、ログイン要求してきた要求元端末(端末10aa)の稼動状態を取得する(ステップS36)。
そして、送受信部51は、上記ステップS35で抽出された端末ID(「01ab」、「01ba」、及び「01db」)に係る端末(10ab,10ba,10db)のうち、端末管理テーブル(図9参照)で稼動状態が「ONライン」となっている端末(10ba,10db)に、上記ステップS36で取得された要求元端末(端末10aa)の端末ID「01aa」と稼動状態「ONライン」が含まれる「端末の状態情報」を送信する(ステップS37−1,S37−2)。なお、送受信部51が端末(10ba,10db)に端末の状態情報を送信する際に、各端末ID(「01ba」、「01db」)に基づいて、図9に示されている端末管理テーブルで管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末(端末10aa)を宛先として通話することができる他の宛先端末(10db,10ba)のそれぞれに、上記ログイン要求した要求元端末(端末10aa)の端末ID「01aa」、及び稼動状態「ONライン」を伝えることができる。
一方、他の端末10でも、上記ステップS21と同様に、利用者が図3に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付け、上記ステップS22〜S38−1,S38−2の処理と同様の処理を行うため、その説明を省略する。
続いて、図25を用いて、図18のステップS1003〜S1009の、端末が他の端末との会議を新規に開始を要求する場合の処理を説明する。図25の例では、端末10aaが、図18の端末10−1に対応する。
なお、図25では、全て管理情報用セッションseiによって、各種管理情報が送受信される処理が示されている。また、本実施形態においては、要求元端末(端末10aa)は、宛先の候補としての端末10のうち、上記ステップS32によって受信した端末の状態情報により、稼動状態がONラインであり通信状態がNoneである端末(10aa,10bb,10cb,10db)の少なくとも一方と通話を行うことができる。そこで、以下では、要求元端末(端末10aa)の利用者が、4つの宛先端末(端末10bb、10cb、10db)と通話を開始することを選択した場合について説明する。
まず、要求元端末(端末10aa)の利用者が図2に示されている操作ボタン108を押下して宛先端末(端末10bb)と宛先端末(端末10cb)と宛先端末(端末10db)とを選択すると、図4に示されている操作入力受付部12は、端末10bb、端末10cb及び端末10dbとの通話(会議)を開始する要求を受け付ける(ステップS41)。なお、ステップS41は、図18のステップS1003で、1以上の宛先を指定して新規の会議を開始する場合の例である。
そして、上述した図18のステップS1004〜S1008の処理を行う。ステップS1008で、了承操作を受け付けると、端末10aaの送受信部11は、要求元端末(端末10aa)の端末ID「01aa」、宛先端末(端末10bb)の端末ID「01bb」、宛先端末(端末10cb)の端末ID「01cb」、宛先端末(端末10db)の端末ID「01db」、及び通話の開始を要求する旨を示す変更要求情報「Invite」が含まれる開始要求情報を、管理システム50へ送信する(ステップS42)。なお、ステップS42は、ステップS1009の一例である。これにより、管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することになる。
そして、状態管理部53は、開始要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」、宛先端末(端末10bb)の端末ID「01bb」、宛先端末(10cb)の端末ID「01cb」、及び宛先端末(端末10db)の端末ID「01db」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01aa」、端末ID「01bb」、端末ID「01cb」、及び端末ID「01db」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する(ステップS43)。
次に、中継装置選択部56は、要求元端末(端末10aa)によって要求された各宛先端末との間の通信を実行するためのセッション(通話データ用セッションsed)を識別するためのセッションID「se1」を生成する(ステップS44)。セッションIDが生成されると、セッション管理部57は、セッションID「se1」及び、宛先端末の数「3」を揮発性記憶部5100に記憶する。この宛先端末の数は、後に通信の開始を拒否する旨の変更要求情報「Reject」を受信した場合に、宛先端末のすべてからこの変更要求情報「Reject」を受信したか否かを判定するために用いられる。
続いて、管理システム50の中継装置選択部56は、中継装置管理DB5001、中継装置選択管理DBに基づいて、要求元端末(端末10aa)と、宛先端末(端末10bb、10cb、10db)との通話を中継するための中継装置30の選択を行う(ステップS45)。この場合、まず、要求元端末(10aa)から送られてきた開始通信情報に含まれている要求元端末(端末10aa)の端末ID「01aa」、宛先端末(端末10bb)の端末ID「01bb」、宛先端末(端末10cb)の端末ID「01cb」、宛先端末(端末10db)の端末ID「01db」に基づいて、中継装置選択管理テーブル(図13参照)を検索することにより、端末(10aa,10bb,10cb,10db)に対応する中継装置ID(「111a」,「111b」,「111c」,「111d」)を抽出する。
抽出された各中継装置IDが同一であれば、中継装置管理テーブル(図7参照)で管理されている中継装置30の稼動状態のうち、抽出された中継装置IDの稼動状態を参照する。ここで中継装置IDの稼動状態が「ONライン」である場合には、抽出された中継装置を、通話を中継するための中継装置として選択する。抽出された各中継装置IDが同一でない場合、又は、上記の参照の結果、中継装置IDの稼動状態が「OFFライン」である場合には、中継装置ID「111e」の中継装置30eを、通話を中継するための中継装置として選択する。本実施形態では、中継装置30eが選択された場合につき、以下続けて説明する。
中継装置30の選択処理が完了すると、セッション管理部57は、不揮発性記憶部5000のセッション管理テーブル(図11参照)において、セッションID「se1」が含まれるレコードの要求元端末ID、宛先端末ID、中継装置IDのフィールド部分に、要求元端末(端末10aa)の端末ID「01aa」、宛先端末(端末10bb)の端末ID「01bb」、宛先端末(端末10cb)の端末ID「01cb」、及び宛先端末(端末10db)の端末ID「01db」、選択された中継装置の中継装置ID「111e」を記憶して管理する(ステップS46)。
次に、図4に示されている送受信部51は、通信ネットワーク2を介して、要求元端末(端末10aa)へ、生成されたセッションIDと、中継装置選択部56で選択された中継装置30eに接続するために用いられる中継装置接続情報を送信する(ステップS47)。この中継装置接続情報には、中継装置30eのIPアドレス「1.1.1.3」、認証情報、ポート番号等を含めることができる。これにより、端末10aaは、セッションID「se1」におけるセッションの実行において、通話データの中継に用いられる中継装置30eに接続するために用いられる中継装置接続情報を把握することができる。
次に、送受信部51は、要求元端末(端末10aa)の端末ID「01aa」、宛先端末との通話の開始を要求する旨を示す変更要求情報「Invite」、セッションID「se1」が含まれる開始要求情報、中継装置30eに接続するために用いられる上記の中継装置接続情報、及び管理システム50のIPアドレスをすべての宛先端末(10bb,10cb,10db)へ送信する(ステップS48−1,S48−2,S48−3)。これにより、宛先端末(端末10bb、10cb、10db)の送受信部51は、上記開始要求情報を受信すると共に、通話データの中継に用いられる中継装置30eに接続するために用いられる中継装置接続情報、及び送信元である管理システム50のIPアドレス「1.1.1.2」を把握することになる。
続いて、図26を用いて、上記の開始要求情報を受信した宛先端末(端末10db)の利用者が、図2に示されている操作ボタン108を押下することにより、要求元端末(端末10aa)との間の通信の開始を許可する旨の応答が受け付けられた場合の処理について説明する。宛先端末(端末10db)の操作ボタン108によって、要求元端末(端末10aa)との間の通信の開始を許可する旨の応答が受け付けられる(ステップS49)。次に、宛先端末(端末10db)の送受信部11は、宛先端末(端末10db)の端末ID「01db」、要求元端末(端末10aa)の端末ID「01aa」、通信の開始を許可する旨を示す変更要求情報「Accept」、セッションID「se1」が含まれる開始応答情報を、管理システム50へ送信する(ステップS50)。
管理システム50の送受信部51がこの開始応答情報を受信すると、状態管理部53は、要求元端末(端末10aa)の端末ID「01aa」及び宛先端末(端末10db)の端末ID「01db」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01aa」及び端末ID「01db」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する(ステップS51)。
次に、送受信部51は、宛先端末(端末10db)の端末ID「01db」、宛先端末との通話の開始の要求を許可する旨を示す変更要求情報「Accept」、セッションID「se1」が含まれる開始応答情報を要求元端末(端末10aa)へ送信する(ステップS52)。この開始応答情報を受信すると、要求元端末(端末10aa)は、送受信部11によってセッションID「se1」と、ステップS47で取得した中継装置接続情報とを中継装置30eに送信することにより、中継装置30eと接続する(ステップS53)。一方、宛先端末(端末10db)は、送受信部11によってセッションID「se1」と、ステップS48−1で取得した中継装置接続情報とを中継装置30eに送信することにより、中継装置30eと接続する(ステップS54)。
なお、端末10bb,端末10cbについても、通信の開始を許可する旨の応答が受け付けられた場合、上述した端末10dbと同様の処理がそれぞれ行われる。
続いて、図27を用いて、中継装置30eが要求元端末(端末10aa)と宛先端末(端末10db)との間で通信される通話データの中継を開始する処理を説明する。なお、図27では、全て管理情報用セッションseiによって、各種管理情報が送受信される処理が示されている。
まず、要求元端末(端末10aa)は、中継装置30eと接続した後(ステップS53参照)の所定のタイミングで、送受信部11によって、要求元端末(端末10aa)の端末ID「01aa」、セッションID「se1」、及び中継の開始を要求する旨を示す変更要求情報「Join」が含まれる中継要求情報を管理システム50へ送信する(ステップS71−1)。
管理システム50の送受信部51が中継要求情報を受信すると、状態管理部53は、中継要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01aa」が含まれるレコードの通信状態のフィールド部分を変更する(ステップS72−1)。
次に、管理システム50は、要求元端末(端末10aa)の端末ID「01aa」、及びセッションID「se1」が含まれる中継開始要求情報を中継装置30eへ送信する(ステップS73−1)。この中継開始要求情報を受け付けると、中継装置30eは、中継の開始を許可する旨を示す通知情報「OK」を含む中継開始許可情報を、管理システム50へ送信する(ステップS74−1)。この応答を受信すると管理システム50の送受信部51は、この中継開始許可情報を要求元端末(端末10aa)に送信する(ステップS75−1)。これにより、要求元端末(端末10aa)と中継装置30aとの間の通話データ用セッションsedが確立される(ステップS76−1)。
一方、宛先端末(端末10db)は、中継装置30eと接続した後(ステップS54参照)の所定のタイミングで、送受信部11によって、宛先端末(端末10db)の端末ID「01db」、セッションID「se1」、及び中継の開始を要求する旨を示す変更要求情報「Join」が含まれる中継要求情報を管理システム50へ送信する(ステップS71−2)。
続いて、管理システム50及び中継装置30eによってステップS72−1,S73−1,S74−1,S75−1と同様の処理が実行されることにより、宛先端末(端末10db)と中継装置30eとの間の通話データ用セッションsedが確立される(ステップS72−2,S73−2,S74−2,S75−2,S76−2)。要求元端末(端末10aa)と中継装置30eとの間の通話データ用セッションsed及び宛先端末(端末10aa)と中継装置30eとの間の通話データ用セッションsedが確立されると、中継装置30aは、端末(10aa,10db)の間で、低解像度、中解像度、及び高解像度の3つ画像データ、並びに、音声データを中継することができる。これにより、端末(10aa,10db)は、テレビ会議を開始することができる。
なお、端末10bb,端末10cbについても、通信の開始を許可する旨の応答が受け付けられた場合、上述した端末10dbと同様の処理がそれぞれ行われる。それにより、多地点でのテレビ会議を開始することができる。
続いて、図31を用いて、要求元端末(端末10aa)と宛先端末(端末10db)との間で、テレビ会議の通話を行うために、画像データ及び音声データを送受信する処理を説明する。なお、端末10aaから端末10dbに画像データ及び音声データを送信する一方向の処理と、端末10dbから端末10aaに画像データ及び音声データを送信する逆方向の処理とで、画像データ及び音声データの送受信や後述の遅延時間の検出等は同じ処理であるため、上記一方向の通信について説明し、上記逆方向の通信は省略する。
まず、要求元端末(端末10aa)は、画像・音声データ用セッションsedによって、撮像部14で撮像された被写体の画像データ、及び音声入力部15aで入力された音声の音声データを、送受信部11から通信ネットワーク2を介して中継装置30eへ送信する(ステップS81)。なお、本実施形態では、図22に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置30eでは、送受信部31で上記3つの解像度の画像データ及び音声データを受信する。
そして、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理テーブル(図5参照)を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された画像データの画像の画質が「高画質」であり、送受信部31で受信した画像データの画質と同じであるため、中継装置30aは、画像・音声データ用セッションsedによって、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末(端末10db)に転送する(ステップS83)。これにより、宛先端末(端末10db)は、送受信部11で画像データ及び音声データを受信し、表示制御部16がディスプレイ120に上記画像データに基づく画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
次に、端末10dbの遅延検出部18は、送受信部11で受信された画像データの受信の遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、遅延時間が200(ms)である場合について、以下説明を続ける。
宛先端末(端末10db)の送受信部11は、管理情報用セッションseiによって、通信ネットワーク2を介して管理システム50へ、遅延時間「200(ms)」を示す遅延情報を送信する(ステップS85)。これにより、管理システム50は、遅延時間を把握すると共に、遅延情報の送信元である端末10dbのIPアドレス「1.3.2.4」を把握することができる。
次に、管理システム50の遅延時間管理部60は、上記宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、端末管理テーブル(図9参照)を検索することで、対応する端末ID「01db」を抽出し、更に、セッション管理テーブル(図11参照)において、上記端末ID「01db」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「200(ms)」を記憶して管理する(ステップS86)。
次に、品質決定部58は、上記遅延時間「200(ms)」を検索キーとして、品質管理テーブル(図12参照)を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。
次に、送受信部51は、セッション管理テーブル(図11参照)において、上記端末ID「01db」に関連付けられている中継装置ID「111e」を検索キーとして、中継装置管理テーブル(図7参照)を検索し、対応する中継装置30eのIPアドレス「1.1.1.3」を抽出する(ステップS88)。
そして、送受信部51は、管理情報用セッションseiによって、通信ネットワーク2を介して中継装置30eへ、上記ステップS87によって決定された画像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、中継装置30eでは、変更品質管理部34が、変更品質管理テーブル(図5参照)に、送信先の端末10(ここでは、宛先端末(端末10db))のIPアドレス「1.3.2.4」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。
次に、端末10aaは、引き続き上記ステップS81と同様に、画像・音声データ用セッションsedによって、中継装置30eへ、低画質、中画質、及び高画質の3つから成る高画質の画像データ、並びに、音声データを送信する(ステップS91)。これにより、中継装置30eでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理テーブル(図5参照)を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する(ステップS92)。
本実施形態では、確認された画像データの画質が「中画質」であり、送受信部31で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部35は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する(ステップS93)。そして、送受信部31は、画像・音声データ用セッションsedによって、通信ネットワーク2を介して端末10dbへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する(ステップS94)。このように、画像データを受信する宛先端末(端末10db)で、受信の遅延が生じた場合には、中継装置30eは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
なお、端末10bb,端末10cbについても、上述した端末10dbと同様の処理がそれぞれ行われる。
続いて、図29を用いて、図18のステップS1003〜S1009で、複数の端末(端末10aa、端末10db)間で通話データ用セッションが確立された後に、宛先端末(端末10cb)がこの通話データ用セッションに参加する処理を説明する。なお、図29の例では、端末10cbが、図18の端末10−1に対応する。なお、図29では、全て管理情報用セッションseiによって、各種管理情報が送受信される処理が示されている。
まず、要求元端末(端末10aa)の利用者が図2に示されている操作ボタン108を押下すことにより、宛先端末(端末10cb)が通話データ用セッションsedに参加するためにセッションIDを宛先端末10cbに通知することを要求する旨の情報が受け付けられる(ステップS101)。次に、要求元端末(端末10aa)の送受信部11は、要求元端末(端末10aa)の端末ID「01aa」、宛先端末(端末10cb)の端末ID「01cb」、及びセッションID「se1」が含まれる、セッションID通知要求情報を管理システム50へ送信する(ステップS102)。管理システム50がこのセッションID通知要求情報を受信すると、送受信部51は、要求元端末(端末10aa)の端末ID「01aa」、及びセッションID「se1」が含まれる、セッションID通知情報を端末10cbに送信する(ステップS103)。
宛先端末(端末10cb)は、上記のセッションID通知情報を受信すると、この通話データ用セッションsedへの参加要求を受け付ける(ステップS104)。なお、ステップS104は、図18のステップS1003で、会議のID(セッションID)を指定して会議に参加する場合の例である。
そして、上述した図18のステップS1004〜S1008の処理を行う。ステップS1008で、了承操作を受け付けると、宛先端末(端末10cb)の送受信部11は、宛先端末(端末10cb)の端末ID「01cb」、通話データ用セッションに参加することを要求する旨を示す変更要求情報「Call」及びセッションID「se1」が含まれるセッション参加要求情報を管理システム50に送信する(ステップS105)。
このセッション参加要求情報を受信すると、管理システム50の状態管理部53は、セッション参加要求情報に含まれる参加を要求する端末(端末10cb)の端末ID「01cb」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01cb」が含まれるレコードの通信状態のフィールド部分を変更する(ステップS106)。
次に、セッション管理部57は、不揮発性記憶部5000のセッション管理テーブル(図11参照)において、セッションID「se1」が含まれるレコードの宛先端末のフィールド部分に参加を要求する端末(端末10cb)の端末ID「01cb」を追加する。
次に、管理システム50の送受信部51は、通話データ用セッションsedに参加する端末(端末10cb)の端末ID「01cb」、及びセッションID「se1」が含まれる参加通知を、既に通話データ用セッションsedを開始している要求元端末(端末10aa)及び宛先端末(端末10db)に送信する(ステップS107−1,S107−2)。これにより、要求元端末(端末10aa)及び宛先端末(端末10db)は、宛先端末(端末10db)が通話データ用セッションに参加する旨を把握することができる。また、管理システム50の送受信部51は、通話データ用セッションsedに参加するセッションID「se1」、及び中継装置30eに接続するために用いられる中継装置接続情報が含まれる参加許可通知を、通話データ用セッションsedを開始する宛先端末(端末10cb)に送信する(ステップS107−3)。
端末10cbは、この参加許可通知を受信すると送受信部11によってセッションID「se1」と、参加許可通知に含まれる中継装置接続情報とを中継装置30eに送信することにより中継装置30eと接続する(ステップS108)。更に、端末10cbは、中継装置30eと接続した後の所定のタイミングで、送受信部11によって、端末10cbの端末ID「01cb」、セッションID「se1」、及び中継の開始を要求する旨を示す変更要求情報「Join」が含まれる中継要求情報を管理システム50へ送信する。続いて、管理システム50及び中継装置30eによってステップS72−1,S73−1,S74−1,S75−1と同様の処理が実行されることにより、端末10cbと中継装置30eとの間の通話データ用セッションsedが確立される。この通話データ用セッションsedが確立されると、中継装置30eは、端末(10aa,10cb,10db)の間で、低解像度、中解像度、及び高解像度の3つ画像データ、並びに、音声データを中継することができる。これにより、端末(10aa,10cb,10db)は、テレビ会議を開始することができる。
続いて、図30を用いて、要求元端末(端末10aa)と宛先端末(端末10cb、10db)との間で通話データ用セッションが確立された後に、要求元端末(端末10aa)がこの通話データ用セッションから退出する処理を説明する。なお、図27では、全て管理情報用セッションseiによって、各種管理情報が送受信される処理が示されている。
まず、要求元端末(端末10aa)の利用者が図2に示されている操作ボタン108を押下すことにより、通話データ用セッションから退出する要求が受け付けられる(ステップS111)。そして、要求元端末(端末10aa)の送受信部11は、要求元端末(端末10aa)の端末ID「01aa」、通話データ用セッションから退出する要求を示す変更要求情報「Leave」、及びセッションID「se1」が含まれる、セッション退出要求情報を管理システム50へ送信する(ステップS112)。
このセッション退出要求情報を受信すると、管理システム50の状態管理部53は、セッション退出要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01aa」が含まれるレコードの通信状態のフィールド部分を変更する(ステップS113)。
次に、セッション管理部57は、不揮発性記憶部5000のセッション管理テーブル(図11参照)において、セッションID「se1」が含まれるレコードの要求元端末のフィールド部分から要求元端末(端末10aa)の端末ID「01aa」を削除する(ステップS114)。管理システム50は、要求元端末(端末10aa)の端末ID「01aa」、及びセッションID「se1」が含まれるセッションの退出を要求する旨の通知を、中継装置30eへ送信する(ステップS115)。これにより、中継装置30eは、要求元端末(端末10aa)との間の通話データ用セッションを停止するとともに、要求元端末(端末10aa)との間の接続を切断する。続いて、中継装置30eは、要求元端末(端末10aa)の端末ID「01aa」、セッションID「se1」が含まれる退出の要求を許可する旨の通知を、管理システム50へ送信する(ステップS116)。
管理システム50が退出の要求を許可する旨の通知を受信すると、送受信部51は、要求元端末(端末10aa)の端末ID「01aa」、変更要求情報「Leave」、セッションID「se1」、退出の要求を許可する旨の通知情報「OK」が含まれるセッション退出許可情報を要求元端末(端末10aa)に送信する(ステップS117)。セッション退出許可情報を受信すると、端末10aaは、図2に示されている電源スイッチ109を押下することにより、電源OFFの要求を受け付ける(ステップS118)。電源OFFの要求が受け付けられると、送受信部11は端末10aaの端末ID「01aa」と管理システム50との間の接続を切断する旨の通知情報と含む切断要求情報を管理システム50へ送信する(ステップS119)。
管理システム50の送受信部51がこの切断要求情報を受信すると、状態管理部53は、切断要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01aa」が含まれるレコードの通信状態のフィールド部分の記録を削除する(ステップS120)。続いて、送受信部51は、切断の要求を許可する旨の切断許可情報を要求元端末(端末10aa)に送信する(ステップS121)。これにより、管理システム50は、要求元端末(端末10aa)との間の管理データ用セッションを停止するとともに、要求元端末(端末10aa)との間の接続を切断する。
切断許可情報を受け付けると、要求元端末(端末10aa)は、電源OFFを実行して処理を完了する(ステップS122)。端末10cb、端末10dbも、端末10aaのステップS111乃至S121の処理と同様にして通話データ用セッションsedから退出して端末間の通話を完了することができる。
<<実施形態の主な効果>>
以上説明したように本実施形態によれば、管理システムにおいて、各端末がサポートするコーデックの情報を管理する端末管理部と、要求元の端末から会議の要求を受信すると、前記要求元の端末がサポートするコーデックの情報と、前記会議の相手の端末がサポートするコーデックの情報とに基づいて、前記要求元の端末と、前記相手の端末とのコンテンツデータの通信が可能であるか否かを判断する判断部と、前記判断の結果を、前記要求元の端末に送信する送信部と、を備える。それにより、実際に会議に参加しなくとも、会議で使用可能なコーデックの情報を通知することができるという効果を奏する。
また、例えば、MCU(Multi-point Control Unit)を用いて多地点での会議を行う従来技術では、端末10とMCU間で使用するエンコーダ、デコーダはそれぞれ1つのみである。そのため、端末10がサポートしているエンコーダ、デコーダが、MCUがサポートしているデコーダ、エンコーダと一致するものがない場合は、コーデックの変換(トランスコード)を行う必要があるため、処理能力の高い高価なMCUが必要となる。一方、本実施形態では、各端末10にて、多地点での会議に参加している他の端末10からの映像や音声をデコードして出力するため、1つの会議においても、他の端末10毎に、使用するエンコーダ、デコーダを選択できる。そしてその際に、映像や音声の送信、受信が不可である端末10をユーザに通知することができるという効果を奏する。
また、本実施形態では、管理システム50から受信したコーデック対応情報に基づいて、端末10側にて、会議へ参加するか否かを判断できる構成としている。そのため、端末10は、例えば、会議の聴講のみをできれば良い場合などに、他の端末10への映像、音声の送信が不可であっても、会議に参加することを選択できる。
<<実施形態の補足>>
上記実施形態では、図24に示されているように、宛先名1100−2等とアイコン1100−3a等を示した状態の宛先リスト枠1100−1が表示されるようにしたが、これに限るものではなく、宛先リスト枠1100−1は無く、宛先名1100−2等とアイコン1100−3a等のみが表示されるようにしてもよい。
また、上記各実施形態における管理システム50、及びプログラム提供システム90は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
また、上記本実施形態の端末用プログラム、中継装置用プログラム、及び伝送管理用プログラムが記憶された記録媒体、並びに、これらプログラムが記憶されたHD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記端末用プログラム、中継装置用プログラム、及び伝送管理用プログラムが利用者等に提供される場合に用いられる。
更に、上記実施形態では、図5に示されている変更品質管理テーブル、及び図12に示されている品質管理テーブルによって、中継装置30で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。
また、図7、図9、及び図11では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。
更に、上記実施形態では、図7で中継装置のIPアドレス、図9で端末のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で中継装置30を特定するための中継装置特定情報、又は通信ネットワーク2上で端末10を特定するための端末特定情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。
本実施形態において、「テレビ会議」は、「ビデオ会議」と置き換え可能な用語として用いられている。
なお、上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
また、上記実施形態では、伝送システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、伝送システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、端末10の一方が自動車に搭載されたカーナビゲーション装置に相当し、端末10の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。更に、伝送システム1は、音声会議システム、又はPC(Personal Computer)画面共有システムであっても良い。
更に、伝送システム1は、携帯電話機の通信システムであってもよい。この場合、例えば、端末10は携帯電話機に相当する。この場合の宛先リストの表示例は、図31に示されている。即ち、携帯電話機としての端末10は、携帯電話機の本体151、この本体151に設けられたメニュー画面表示ボタン152、本体151に設けられた表示部153、本体151の下部に設けられたマイク154、本体151に設けられたスピーカ155を備えている。このうち、「メニュー画面表示ボタン」152は、各種アプリケーションを示すアイコンが表示されているメニュー画面を表示させるためのボタンである。表示部153は、タッチパネルになっており、利用者が宛先名を選択することで、相手の携帯電話機と通話を行うことができる。
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末側でユーザが接触した感覚が、他方の端末側に伝達される。更に、コンテンツデータは、嗅覚(smell)データであってもよい。この場合、一方の端末側の匂い(臭い)が、他の端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ、及び嗅覚データのうち、少なくとも1つのデータであればよい。
また、上記実施形態では、伝送システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。