JP2011077708A - 中継サーバ装置および通信方法 - Google Patents

Abstract

【課題】複数のクライアント端末を使用するマルチモーダルを実現する際のユーザの負担を小さくする。
【解決手段】サーバと複数のクライアントとの間に設けられる中継サーバ装置であって、各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持する管理部と、第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送するＷｅｂサーバ部と、前記管理部に保持された第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記管理部に保持された前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったときに、前記レスポンスを、前記第２のクライアントに送信する配信部、を有する。
【選択図】図４

Description

本発明は、マルチモーダルを提供するためのサーバ装置および通信方法に係わる。

近年、マルチモーダルシステムの提案または実用化が増えてきている。マルチモーダルシステムでは、ユーザは複数のクライアント端末を利用し、各端末において同一のまたは相異なるコミュニケーションモード（例えば、視覚、聴覚など）によってサーバシステムとのインタラクションが行われる。たとえば、ユーザは、複数のクライアント端末（例えば、電話機、ＴＶ受像機など）を利用してサーバとの間で通信を行う。

図１は、マルチモーダルを実現する技術の一例を示す図である。ここでは、ユーザが電話で商品（図１に示す例では、ピザ）を注文する際に、その商品の写真または注文内容をテレビ画面に表示するシステムについて説明する。

ユーザは、電話機１０１およびテレビ受像機（以下、単に「テレビ」と呼ぶ。）１０２を操作可能である。電話機１０１およびテレビ１０２は、いずれもインターネットに接続されている。また、ピザ屋の注文サーバ１０３もインターネットに接続されている。

ユーザは、ピザを注文する際、先ず、電話機１０１を利用してピザ屋に電話をかける。このとき、インターネットと連携可能なプロトコル（例えば、ＳＩＰ（Session Initiation Protocol））が使用されるものとする。また、ユーザは、注文に際してピザの写真の画像を見たいときは、その旨を口頭でピザ屋の担当者に伝える。そうすると、ピザ屋の担当者は、注文サーバ１０３に指示を与えることにより、電話機１０１に画像送信先のＩＰアドレスを要求する。このとき、ＳＩＰを利用して要求メッセージが送信される。この要求に応じて、電話機１０１から注文サーバ１０３にテレビ１０２のＩＰアドレスが通知される。そして、注文サーバ１０３がテレビ１０２に画像データを送信すると、ピザの画像がテレビ１０２に表示される。

ただし、この方式では、テレビ１０２がグローバルＩＰアドレスを有している必要がある。このため、例えば、クライアント側にＮＡＴ（Network Address Translation）等が設けられており、テレビ１０２にローカルアドレスが割り当てられている場合には、注文サーバ１０３からテレビ１０２へ画像データを送信することはできない。

図２は、マルチモーダルを実現する他の技術を示す図である。このシステムでは、第１の端末（電話機１０１）から第２の端末（テレビ１０２）へ、ＳＩＰを利用してサーバの場所が通知される。すなわち、注文サーバ１０３は、画像にアクセスするためのＵＲＬを電話機１０１に通知する。そうすると、電話機１０１は、ＳＩＰを利用して、このＵＲＬをテレビ１０２に通知する。そして、テレビ１０２は、ＨＴＴＰを利用してこのＵＲＬに接続して画像を取得する。この結果、要求した画像がテレビ１０２に表示される。

この方式によれば、テレビ１０２に対してグローバルＩＰアドレスが割り当てられていなくても、要求した画像がテレビ１０２に表示されが、以下の課題がある。すなわち、この方式では、テレビ１０２がＳＩＰ等の非同期通信をサポートする必要がある。しかし、既に出荷されているテレビの多くはＳＩＰをサポートしていない。また、この方式は、電話機１０１にテレビ１０２のＩＰアドレスを予め設定または登録しておく必要があるが、多くのユーザにとってこの設定／登録作業は必ずしも簡単ではない。

なお、関連する技術として、セキュリティを確保する電子ショッピングシステムが提案されている。このシステムは、複数のユーザ端末をグルーピングして共通の表示画面を表示させ、ネットショッピングサイトとの間を仲介するプロキシサーバと、ネットショッピングサイトへのログイン時および決済時にグループのメンバを個別に認証する認証サーバとを有する。認証サーバは、さらに、グループのメンバを個別に認証し、正常に認証されたメンバに所定の認証完了情報をそれぞれ付与する。プロキシサーバはグループの各メンバの認証完了情報を用いて、ネットショッピングサイトとの間を仲介し、ネットショッピングサーバにおいて各メンバを識別可能する。

特開２００６−１７１８２９号公報

上述したマルチモーダルシステムでは、クライアント端末が特殊なソフトウェアまたはプロトコルを実装している必要がある。すなわち、ユーザは、マルチモーダルを実現するためには、特殊なソフトウェアまたはプロトコルを実装しているクライアント端末を用意する必要がある。或いは、ユーザは、クライアント端末において様々な設定／登録を行う必要がある。

本発明の課題は、複数のクライアント端末を使用するマルチモーダルを実現する際のユーザの負担を小さくすることである。

本発明の１つの態様の中継サーバ装置は、サーバと複数のクライアントとの間に設けられ、各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持する管理部と、第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送するＷｅｂサーバ部と、前記管理部に保持された第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記管理部に保持された前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったときに、前記レスポンスを、前記第２のクライアントに送信する配信部、を有する。

本出願において開示される構成または方法によれば、複数のクライアント端末を使用するマルチモーダルを実現する際のユーザの負担が小さくなる。

マルチモーダルを実現する技術の一例を示す図である。 マルチモーダルを実現する他の技術を示す図である。 中継サーバを利用してマルチモーダルを実現する方法を説明する図である。 実施形態のマルチモーダルシステムの構成を示す図である。 ポータル画面の一例を示す図である。 第１の実施形態においてマルチモーダルを実現する方法のフローチャートである。 ログインＩＤおよびセッションＩＤを管理するテーブルの実施例である。 管理テーブルの他の実施例である。 第２の実施形態においてマルチモーダルを実現する方法のフローチャート（その１）である。 第２の実施形態においてマルチモーダルを実現する方法のフローチャート（その２）である。 ＨＴＭＬドキュメントにスクリプトを注入する方法を説明する図である。 イベント発行スクリプトの実施例である。 イベント受信スクリプトの実施例である。 各クライアント端末に実装されたガジェットの表示例である。 中継サーバのハードウェア構成を示す図である。

図３は、中継サーバを利用してマルチモーダルを実現する方法を説明する図である。図３において、電話機１およびテレビ受像機（以下、単に「テレビ」と呼ぶ。）２は、ユーザが使用するクライアント端末である。ここでは、電話機１およびテレビ２には、それぞれブラウザが実装されているものとする。また、以下の例では、ユーザは、電話機１およびテレビ２を利用してピザを注文するものとする。注文サーバ３は、クライアントからの注文に応じて対応する処理を実行し、サービスを提供する。中継サーバ４は、クライアント（電話機１およびテレビ２）とサーバ（注文サーバ３）との間に設けられ、ポータルサーバとして動作する。そして、図３に示すシステムでは、以下の手順によりマルチモーダルが実現される。

（１）ユーザは、電話機１のブラウザを利用してログインＩＤを入力することにより、中継サーバ４にログインする。

（２）ユーザは、テレビ２のブラウザを利用してログインＩＤを入力することにより、中継サーバ４にログインする。なお、ユーザは、電話機１およびテレビ２を利用して同じログインＩＤを入力するものとする。また、各クライアント端末を利用して入力されたログインＩＤは、管理テーブルにより管理される。

（３）電話機１と注文サーバ３との間で、ＳＩＰを利用して、音声通話のためのコネクションが設定される。ユーザは、このコネクションを利用して、例えば口頭で、ピザの画像を要求する。

（４）注文サーバ３から電話機１へ、ピザの画像を提供するガジェット（以下、ピザ画像ガジェット）のＵＲＬ（Uniform Resource Locator）が通知される。なお、ガジェットは、特に限定されるものではないが、クライアント端末に配布されるアプリケーションプログラムであり、ウィジェットと呼ばれることもある。また、ガジェットは、Ｗｅｂ上で実行されるプログラム部品を含んでもよい。さらに、ガジェットは、例えば、クライアント端末のDesktopに配置される。

（５）電話機１のブラウザは、通知されたＵＲＬにアクセスし、ピザ画像ガジェットを取得する。このとき、電話機１と注文サーバ３との間の通信は、中継サーバ４を介して行われる。

（６）電話機１のブラウザには、ピザ画像ガジェットにより、ピザ注文ページが表示される。

（７）中継サーバ４は、上述した管理テーブルを参照し、電話機１を利用して入力されたログインＩＤと同じログインＩＤが登録されているかチェックする。この例では、電話機１およびテレビ２を利用して同じログインＩＤが入力されている。この場合、中継サーバ４は、テレビ２に対して、非同期で、ピザ画像ガジェットのＵＲＬを通知する。

（８）テレビ２のブラウザは、通知されたＵＲＬにアクセスし、ピザ画像ガジェットを取得する。このとき、テレビ２と注文サーバ３との間の通信は、中継サーバ４を介して行われる。

（９）テレビ２のブラウザには、ピザ画像ガジェットにより、ピザ注文ページが表示される。このとき、テレビ２のブラウザには、電話機１とは異なる内容が表示されるようにしてもよい。例えば、テレビ２のブラウザには、より大きなピザ画像またはより詳細な注文情報が表示される。この後、ユーザは、テレビ２のブラウザに表示されるピザ画像を見ながら、所望のピザを注文することができる。

このように、図３に示す方式では、電話機１およびテレビ２を利用して入力されるログインＩＤが互いに同じであれば、中継サーバ４は、電話機１にピザ画像ガジェットを送信する際に、そのピザ画像ガジェットのＵＲＬをテレビ２に通知する。したがって、テレビ２のブラウザにも、ピザ画像ガジェットにより、ピザの画像が表示される。この方式によれば、電話機１とテレビ２との間で直接的な通信は行われない。

＜第１の実施形態＞
図４は、実施形態のマルチモーダルシステムの構成を示す図である。なお、図４に示すシステム構成は、基本的に、第１の実施形態および後述する第２の実施形態において共通である。以下、ユーザが電話機１およびテレビ２を利用して商品（ここでは、ピザ）を注文するものとする。

電話機１およびテレビ２は、ユーザが使用するクライアント端末である。また、電話機１およびテレビ２は、それぞれインターネットに接続されている。なお、電話機１およびテレビ２は、インターネットに直接的に接続されてもよいし、ＮＡＴ等を介してインターネットに接続されてもよい。

電話機１は、例えば、移動端末または携帯電話機であり、ＨＴＴＰ通信でインターネット上のページを閲覧するブラウザ１１が実装されている。また、電話機１は、通話部１２および受信部１３を備えている。通話部１２は、ＳＩＰで発呼および着呼を行う機能を備え、音声通話のためのコネクションを終端する。受信部１３は、ＳＩＰを利用する非同期通信のパケットを受信する。

テレビ２は、インターネットに接続された受像機である。また、テレビ２には、ＨＴＴＰ通信でインターネット上のページを閲覧するブラウザ２１が実装されている。
注文サーバ３は、インターネットに接続され、クライアントからの注文に応じて対応する処理を実行し、サービスを提供する。注文サーバ３は、ＳＩＰサーバ部を備え、ＳＩＰを利用したリクエストを、未使用状態のコールセンター端末５に転送する。なお、コールセンター端末５は、注文サーバ３に接続され、オペレータにより入力される指示に応じてクライアント端末との間の送受信を制御する機能を備えている。また、注文サーバ３は、Ｗｅｂサーバ部を備え、ＨＴＴＰリクエストを受け付けて、対応するレスポンスを返送する。さらに、注文サーバ３が備えるメモリには、ピザ画像ガジェット３１が格納されている。そして、注文サーバ３は、クライアントからの要求に応じて、ピザ画像ガジェット３１を配信する。

中継サーバ４は、クライアント（電話機１およびテレビ２）とサーバ（注文サーバ３）との間に設けられ、この例では、電話機１およびテレビ２のポータルサーバとして動作する。なお、中継サーバ４も、ＮＡＴ等を介してインターネットに接続されてもよい。この場合、電話機１、テレビ２、中継サーバ４が、ＮＡＴによるプライベートネットワーク内に配置されるようにしてもよい。

中継サーバ４は、Ｗｅｂサーバ部４１、配信部４２、管理部４３、スクリプト注入部４４を備える。Ｗｅｂサーバ部４１は、ＨＴＴＰリクエストを受け付け、必要に応じてそのリクエストに対応するコンテンツを取得する。この例では、Ｗｅｂサーバ部４１は、ＨＴＴＰリクエストに対応するガジェット（ピザ画像ガジェット３１）を取得する。配信部４２は、Ｗｅｂサーバ部４１が取得したコンテンツをクライアントに送信する。管理部４３は、中継サーバ４にアクセスするクライアントのセッションを管理する。スクリプト注入部４４は、Ｗｅｂサーバ部４１または配信部４２によりクライアントに配信されるコンテンツに、１または複数の予め用意してあるスクリプトを注入する。このスクリプトは、コンテンツを受信したクライアント端末において実行される。なお、スクリプト注入部４４は、第２の実施形態において使用される。

上記構成のシステムにおいて、電話機１のブラウザ１１およびテレビ２のブラウザ２１には、ピザ画像ガジェット３１が配信される。そうすると、ピザ画像ガジェット３１は、ブラウザ１１、２１のポータル画面内に配置される。

図５は、ポータル画面の一例を示す図である。ポータル画面は、１つのＷｅｂページである。そして、インターネット上のサーバから取得したガジェットは、通常、このポータル画面内に配置される。図４に示す例では、ブラウザ１１、２１によりそれぞれポータル画面が表示され、各ポータル画面内にピザ画像ガジェット３１が配置される。なお、ポータル画面内には、複数のガジェットを配置することができる。図５では、ポータル画面内に３つのガジェットが配置されている。

図６は、第１の実施形態においてマルチモーダルを実現する方法を示すフローチャート図である。
ステップＳ１〜Ｓ２において、ユーザは、通信を始める前に、マルチモーダルを実現したい全てのクライアント端末（この例では、電話機１およびテレビ２）の各ブラウザ１１、２１を利用して、同一のログインＩＤで中継サーバ（Ｗｅｂポータルサーバ）４にログインする。ブラウザ１１を利用するログインが先に行われてもよいし、ブラウザ２１を利用するログインが先に行われてもよい。このとき、ユーザは、例えば、キーパッドまたはリモコン入力装置等を操作することにより、各ブラウザ１１、２１において、中継サーバ４を指示するＵＲＬを入力する。或いは、予め登録されている中継サーバ４のＵＲＬが選択されるようにしてもよい。これにより、各ブラウザ１１、２１から中継サーバ４へ、ログインのためのＨＴＴＰリクエストが送信される。

ユーザは、クライアント端末が備える入力デバイスを利用してログインＩＤを入力することができる。また、クライアント端末が、先に入力されたログインＩＤを保存する機能を備えている場合には、先に入力されたログインＩＤを読み出して使用するようにしてもよい。

中継サーバ４は、パスワード入力等の方法でユーザ認証を行い、ユーザのログインＩＤを特定する。また、中継サーバ４は、受信したリクエストに対応するＨＴＴＰレスポンスとして、ブラウザ１１、２１にポータル画面を返送する。ポータル画面は、例えば、図５を参照しながら説明したように、１つのページ内に１または複数のガジェットを配置することができる。このとき、中継サーバ４からブラウザ１１、２１へ、非同期通信を仮想的に実現するポータルアプリケーションがＨＴＴＰを利用してダウンロードされるようにしてもよい。この場合、このポータルアプリケーションは、例えば、ブラウザ１１、２１上のポータル画面内に配置される。また、このポータルアプリケーションは、ブラウザ内で実行可能なプログラム（例えば、JavaScript等）である。

中継サーバ４とブラウザ１１、２１との間で行われる非同期通信は、例えば、Cometである。この場合、ブラウザ１１、２１は、JavaScriptのXMLHttpRequest等の命令を使用して、中継サーバ４との間にＨＴＴＰのコネクションを設定し、ＨＴＴＰレスポンスが返送されてくるのを待機する。また、中継サーバ４は、クッキー等を利用して、各クライアントのブラウザを一意に特定するためのセッションＩＤを生成する。これにより、ログインが成功した後は、ブラウザ１１、２１から発生するリクエストに対してセッションＩＤが付与され、中継サーバ４は、そのセッションＩＤを利用して、ブラウザ１１、２１へガジェット等を送信することが可能になる。

ログインに成功すると、中継サーバ４の管理部４３は、ログインＩＤおよびセッションＩＤを互いに関連づけて管理する。ログインＩＤおよびセッションＩＤは、例えば図７に示すように、テーブル形式で管理される。ここで、図７に示す管理テーブルの１行目は、電話機１のブラウザ１１を利用してログインＩＤ「user001」でログインが行われ、その際にセッションＩＤとして「ab93jdh4sb」が生成された状態を表している。また、管理テーブルの２行目は、テレビ２のブラウザ２１を利用してログインＩＤ「user001」でログインが行われ、その際にセッションＩＤとして「dk4jdsnskk」が生成された状態を表している。すなわち、図７に示す例では、ユーザは、ブラウザ１１、２１を利用して同じログインＩＤでログインを行っている。なお、管理部４３が管理する情報は、例えば、当該セッションのログアウト時、または当該セッションの通信が一定時間行われなかったときに削除される。

ステップＳ３において、ユーザは、電話機１を利用してピザ屋のコールセンターに電話をかける。このとき、電話機１の通話部１２から注文サーバ３に対して発呼が行われる。そうすると、ステップＳ４において、注文サーバ３は、電話機１からの呼を、未使用状態のコールセンター端末５に転送する。このとき、コールセンター端末５のオペレータ（すなわち、ピザ屋の担当者）が着信した呼を受け付けるものとする。これにより、ユーザとコールセンターの担当者との間の通話が確立され、注文が可能になる。

ユーザは、商品（ここでは、ピザ）の写真を見たいときは、例えば、コールセンターの担当者にその旨を伝える。そうすると、担当者は、ステップＳ５において、コールセンター端末５を操作して電話機１への画像送信を指示する。このとき、画像送信指示は、注文サーバ３に与えられる。

ステップＳ６において、注文サーバ３は、上述の画像送信指示を受け取ると、ＳＩＰメッセージを利用して電話機１に対して画像を表示するためのＵＲＬを通知する。このＵＲＬは、例えば、図４に示すピザ画像ガジェット３１の格納場所を表す。

ステップＳ７において、電話機１の受信部１３は、注文サーバ３から送信されたＳＩＰメッセージを受信する。そして、受信部１３は、受信したＳＩＰメッセージに含まれているＵＲＬをブラウザ１１に通知する。すなわち、ブラウザ１１は、ピザ画像ガジェット３１のＵＲＬを取得する。このとき、ブラウザ１１には、ポータル画面が表示されており、また、中継サーバ４から受信した非同期通信のためのポータルアプリケーションが実装されているものとする。

ステップＳ８において、電話機１のポータルアプリケーションは、ＨＴＴＰリクエストで、注文サーバ３から取得したＵＲＬを中継サーバ４に通知する。このとき、このＵＲＬは、アクセス先を表すパラメータとして、クッキー等と共に中継サーバ４に送信される。なお、電話機１から中継サーバ４への通知は、Ｗｅｂサーバ部４１により受信される。

ステップＳ９において、中継サーバ４のＷｅｂサーバ部４１は、電話機１から通知されたＵＲＬを利用してＨＴＴＰで注文サーバ３にアクセスする。そうすると、注文サーバ３は、ＨＴＴＰリクエストに対応するレスポンスとして、アクセスされたコンテンツのＨＴＭＬドキュメントを中継サーバ４に送信する。これにより、中継サーバ４は、ピザ画像ガジェット３１を受信する。そして、Ｗｅｂサーバ部４１は、注文サーバ３から取得したピザ画像ガジェット３１を、ＨＴＴＰリクエストの送信元である電話機１のポータルアプリケーションに返送する。

ステップＳ１０において、電話機１のポータルアプリケーションは、ブラウザ１１に表示されているポータル画面の中に、受信したガジェットを追加する。すなわち、ブラウザ１１のポータル画面にピザ画像ガジェット３１が追加される。このとき、ピザの画像を含むＨＴＭＬドキュメントがレンダリングされ、生成された画像がブラウザ１１上に表示される。

ステップＳ１１において、中継サーバ４は、電話機１との通信に対して生成されているクッキーに含まれるセッションＩＤを抽出する。そして、管理部４３は、図７に示す管理テーブルを参照し、抽出されたセッションＩＤに対応するログインＩＤを特定する。さらに、管理部４３は、特定されたログインＩＤと同じログインＩＤが管理テーブルに登録されているか否かを検索する。すなわち、中継サーバ４は、電話機１のユーザが他のクライアント端末を利用して同時にログインしているか否かを確認する。

図４および図７に示す例では、まず、ブラウザ１１との通信に対して生成されているセッションＩＤ「ab93jdh4sb」が抽出される。そうすると、管理テーブルの１行目が参照され、このセッションＩＤに対応するログインＩＤ「user001」が特定される。さらに、「user001」でログインが行われた他のクライアント端末が検索される。この結果、管理テーブルの２行目からセッションＩＤ「dk4jdsnskk」が特定される。すなわち、電話機１のブラウザ１１およびテレビ２のブラウザ２１がログインしていると判定される。

ステップＳ１２において、中継サーバ４の配信部４２は、同じログインＩＤでログインしているテレビ２のブラウザ２１に対して、非同期で、ピザ画像ガジェット３１のＨＴＭＬドキュメントを送信する。すなわち、中継サーバ４からブラウザ１１、２１にピザ画像ガジェット３１が配信される。なお、中継サーバ４からテレビ２へガジェット等を送信するための非同期通信方式としてCometを利用する場合には、ブラウザ２１を利用してログインが行われたときに確立したＨＴＴＰセッションが保持される。そして、中継サーバ４は、所望のタイミングで、ＨＴＴＰレスポンスとしてテレビ２へＨＴＭＬドキュメント等を送信する。

ステップＳ１３において、テレビ２のブラウザ２１のポータルアプリケーションは、中継サーバ４からの非同期通信でＨＴＴＰレスポンスを受信する。このＨＴＴＰレスポンスは、ピザ画像ガジェット３１（ＨＴＭＬドキュメント）を含んでいる。そうすると、テレビ２のポータルアプリケーションは、ブラウザ２１に表示されているポータル画面の中に受信したガジェットを追加する。すなわち、ブラウザ２１のポータル画面にピザ画像ガジェット３１が追加される。このとき、ピザの画像を含むＨＴＭＬドキュメントがレンダリングされ、生成された画像がブラウザ２１上に表示される。

このように、実施形態のマルチモーダルシステムにおいては、同じログインＩＤでログインした複数のブラウザに、ほぼ同時に、同じガジェットが配布される。図４に示す例では、ユーザにより操作されるクライアント端末（第１のクライアント端末）である電話機１のブラウザ１１、および第１のクライアントと同時に使用されるクライアント端末（第２のクライアント端末）であるテレビ２のブラウザ２１に、ピザ画像ガジェット３１が表示される。このとき、テレビ２にインターネット上のページを閲覧するためのソフトウェア（例えば、ブラウザ）が実装されていれば、テレビ２は、ガジェットの画像を表示できる。すなわち、各クライアント端末にブラウザが実装されている環境においては、マルチモーダルを実現するために、ユーザが難しい操作または設定をする必要はなく、また、第２のクライアント端末にＳＩＰ等の通信プロトコルを実装する必要もない。さらに、第１のクライアント端末に第２クライアント端末のＩＰアドレスを予め登録しておく必要もない。

なお、上述の例では、電話機１のブラウザ１１およびテレビ２のブラウザ１２にピザ画像ガジェット３１が配信されているが、ブラウザ１１、１２に配信されるＨＴＭＬドキュメントは異なっていてもよい。例えば、各クライアント端末の表示能力が異なる場合は、中継サーバ４は、各クライアント端末の表示能力に応じて編集したＨＴＭＬドキュメントを送信するようにしてもよい。

図８は、中継サーバ４の管理部４３が備える管理テーブルの他の実施例である。この管理テーブルにおいては、ログインＩＤおよびセッションＩＤと共に、各クライアント端末の能力を表す情報が管理されている。なお、各クライアント端末から中継サーバ４に送信されるログイン情報の中にUser-Agent情報が含まれているものとする。この場合、中継サーバ４は、受信したUser-Agent情報に基づいて、クライアント端末の機種およびその能力を特定することができる。そして、中継サーバ４が備える編集部は、ガジェットを送信する際に、クライアント端末の能力（画像の解像度、通信速度など）に応じて、送信画像のサイズおよびテキストデータを編集する。この構成によれば、各クライアント端末にそれぞれ適切な情報が表示される。

或いは、中継サーバ４は、各クライアント端末（電話機１、テレビ２）に同じＨＴＭＬドキュメントが送信されてもよい。このとき、各クライアント端末は、それぞれ、受信したＨＴＭＬドキュメントから表示可能な部分のみを抽出して表示するようにしてもよい。

＜第２の実施形態＞
第２の実施形態のシステム構成は、上述したように、基本的に第１の実施形態と同じである。すなわち、第２の実施形態のシステムも、図４に示すように、クライアント（電話機１およびテレビ２）とサーバ（注文サーバ３）との間に中継サーバ４を備えている。

ただし、第２の実施形態においては、各クライアントに配信されるＨＴＭＬドキュメントにスクリプトが注入される。スクリプトは、中継サーバ４のスクリプト注入部４４により注入される。そして、各クライアントにおいてスクリプトが実行されることにより、１つのクライアントにおいて発生するイベントが他のクライアントに通知され、複数のクライアントが同期または連携して動作する。

図９および図１０は、第２の実施形態においてマルチモーダルを実現する方法を示すフローチャート図である。なお、ステップＳ１〜Ｓ８、Ｓ１０〜Ｓ１１、Ｓ１３の処理は、第１の実施形態と同じであり、説明を省略する。

ステップＳ８において、電話機１のポータルアプリケーションは、注文サーバ３からブラウザ１１に通知されたＵＲＬを、ＨＴＴＰリクエストを利用して中継サーバ４に通知する。そして、Ｗｅｂサーバ部４１がこのＨＴＴＰリクエストを受信すると、ステップＳ２１以降の処理が実行される。

ステップＳ２１において、中継サーバ４のＷｅｂサーバ部４１は、ＨＴＴＰリクエストで通知されたＵＲＬで注文サーバ３にアクセスする。そうすると、注文サーバ３は、ＨＴＴＰリクエストに対応するレスポンスとして、アクセスされたコンテンツのＨＴＭＬドキュメントを中継サーバ４に送信する。これにより、中継サーバ４は、ピザ画像ガジェット３１のＨＴＭＬドキュメントを受信する。

ステップＳ２２〜Ｓ２３において、中継サーバ４のスクリプト注入部４４は、注文サーバ３から取得したＨＴＭＬドキュメントに、イベント発行スクリプトおよび／またはイベント受信スクリプトを挿入する。イベント発行スクリプトおよびイベント受信スクリプトは、予め作成されたJavaScriptである。

図１１は、ＨＴＭＬドキュメントにスクリプトを注入する方法を説明する図である。スクリプト注入部４４は、ＨＴＭＬドキュメントをクライアントに提供する際に、例えば、body部の末尾にイベント発行スクリプトおよびイベント受信スクリプトを注入する。ただし、スクリプトを注入する位置は、body部の末尾に限定されるものではなく、たとえば、body部の先頭にスクリプトが注入されてもよい。

ステップＳ２２では、スクリプト注入部４４は、注文サーバ３から取得したＨＴＭＬドキュメントにイベント発行スクリプトを注入することにより、イベント発行用ＨＴＭＬドキュメントを作成する。ステップＳ２３では、スクリプト注入部４４は、注文サーバ３から取得したＨＴＭＬドキュメントにイベント受信スクリプトを注入することにより、イベント受信用ＨＴＭＬドキュメントを作成する。

図１２および図１３は、それぞれ、イベント発行スクリプトおよびイベント受信スクリプトの実施例である。これら１組のスクリプトを実行することにより、１つのクライアント端末において矢印キーを押圧するユーザ操作を、複数のクライアント端末で共有することができる。

図１２に示すイベント発行スクリプトおいて、記述Ａは、ユーザにより押圧されたキーに対応するキーコードを引数として関数sendKeyを呼び出すための命令を含んでいる。記述Ｂは、関数sendKeyの定義キーコードを取得するための命令を含んでいる。記述Ｃは、XMLHttpRequestを利用して中継サーバ４に接続し、その接続先に対してイベント情報（キーコード、イベント種別、ガジェット種別）を送信するための命令を含む。この例では、イベント情報の送信先として「iwc/InterWidgetCommunicationServlet（中継サーバ４）」が指定されている。また、イベント種別は「sendKey」であり、ガジェット種別は「PizzaShop」である。

図１３に示すイベント受信スクリプトにおいて、記述Ｄは、受信情報において指定されているガジェット種別が「PizzaShop」であったときに記述Ｅの処理を実行するための命令を含む。したがって、図１２に示すイベント発行スクリプトにより生成されたイベント情報が与えられると、イベント受信スクリプトの記述Ｅの処理が実行される。記述Ｅは、Comet経由でイベントを受信したときに呼び出され、通知されたキーコードに応じて変数moveを制御する命令を含む。この例では、キーコードが「３８（上向き矢印キー）」であったときに変数moveが１だけデクリメントされ、キーコードが「４０（下向き矢印キー）」であったときに変数moveが１だけインクリメントされる。

記述Ｆは、配信されるガジェットが提供する複数のラジオボタンの中から選択されているラジオボタンの位置を取得する命令を含む。記述Ｇは、変数moveの値に応じて、ラジオボタンの選択位置を変化させる命令を含む。

図９に戻る。ステップＳ２４において、中継サーバ４のＷｅｂサーバ部４１は、ステップＳ８で受信したＨＴＴＰリクエストの送信元へ、イベント発行用ＨＴＭＬドキュメントを送信する。ここで、ＨＴＴＰリクエストの送信元は、電話機１のポータルアプリケーションである。また、イベント発行用ＨＴＭＬドキュメントは、図１２に示すイベント発行スクリプトが注入されたピザ画像ガジェット３１である。すなわち、電話機１のポータルアプリケーションに、イベント発行スクリプトが注入されたピザ画像ガジェット３１が送信される。この結果、ステップＳ１０において、ブラウザ１１のポータル画面にピザ画像ガジェット３１が追加される。

ステップＳ２５において、中継サーバ４の配信部４２は、ステップＳ１１で特定されるセッションＩＤに基づいて、イベント受信用ＨＴＭＬドキュメントを送信する。この例では、ステップＳ１１においてテレビ２のブラウザ２１が特定される。また、イベント受信用ＨＴＭＬドキュメントは、図１３に示すイベント受信スクリプトが注入されたピザ画像ガジェット３１である。すなわち、テレビ２１のポータルアプリケーションに、イベント受信スクリプトが注入されたピザ画像ガジェット３１が送信される。この結果、ステップＳ１３において、ブラウザ２１のポータル画面にピザ画像ガジェット３１が追加される。

このように、第２の実施形態においても、電話機１のブラウザ１１およびテレビ２のブラウザ２１にピザ画像ガジェット３１が表示される。ただし、第２の実施形態では、ピザ画像ガジェット３１には、イベント発行／受信スクリプトが注入されている。

ステップＳ３１〜Ｓ３５は、イベント発行／受信スクリプトが注入されガジェットが配信された後に実行される手順である。すなわち、ステップＳ３１において、ユーザは、電話機１の入力キーを操作することにより、電話機１に配信されたピザ画像ガジェット３１が提供する機能を使用する。ステップＳ３２では、電話機１において、イベント発行スクリプトは、発生したイベントを検出し、そのイベント内容を中継サーバ４に通知する。検出されるイベントは、例えば、ユーザによるキー入力操作である。この場合、イベント発行スクリプトは、イベント情報として、ユーザにより押圧されたキーを識別するキーコード、イベント種別、ガジェット種別を中継サーバ４に通知する。また、イベント発行スクリプトは、この例では、XMLHttpRequestを利用して中継サーバ４にイベント情報を送信する。

ステップＳ３３において、中継サーバ４は、上記XMLHttpRequestの送信元端末において入力されたログインＩＤと同じログインＩＤが入力されたクライアント端末を検索する。このとき、管理部４３の管理テーブルが参照され、図７に示す例では、テレビ２が特定される。ステップＳ３３の検索手順は、基本的に、ステップＳ１１と同じである。

ステップＳ３４において、配信部４２は、ステップＳ３３で特定されたクライアント端末にイベント情報を送信する。このとき、配信部４２は、Comet等の非同期通信方式でイベント情報をテレビ２へ送信する。このイベント情報は、テレビ２のポータルアプリケーションにより受信される。

ステップＳ３５において、テレビ２のポータルアプリケーションは、イベント情報に含まれるガジェット種別が指示するガジェットを特定し、そのガジェットに対してイベント情報を通知する。このイベント情報を受信すると、上記特定されたガジェットに注入されているイベント受信スクリプトは、そのイベント情報に従って、電話機１で発生したイベントを再現する。すなわち、中継サーバ４を介して、電話機１において行われたユーザ操作と、テレビ２で実行されるガジェットの動作とが同期する。したがって、ユーザは、電話機１を操作することにより、実質的に、テレビ２を操作することができる。

図１４は、電話機１のブラウザ１１およびテレビ２のブラウザ２１に実装されたピザ画像ガジェット３１の表示例である。ブラウザ１１においては、ピザ屋が販売している複数のピザ（aaaピザ、bbbピザ、cccピザ）の名称、および各ピザを選択するためのラジオボタンが表示されている。また、ブラウザ２１においては、上記複数のピザの画像、および各ピザを選択するためのラジオボタンが表示されている。なお、ブラウザ１１、２１において、ピザを選択するためのラジオボタンは、画面内で縦方向に並んでいる。

ユーザは、ブラウザ１１、２１に実装されているピザ画像ガジェット３１を参照してピザを注文する。この場合、ユーザは、例えば、電話機１の上向き矢印キーおよび下向き矢印キーを操作することにより、ブラウザ１１上で所望のピザを選択する。そうすると、電話機１において、ピザ画像ガジェット３１に注入されているイベント発行スクリプトは、ユーザにより指示されたキーを検出し、イベント情報として中継サーバ４に通知する。ここでは、ユーザにより下向き矢印キーが操作されたものとする。この場合、電話機１のブラウザ１１において、aaaピザが選択されている状態から、bbbピザが選択された状態に変化する。

中継サーバ４の管理部４３は、図７に示すように、ログインＩＤとセッションＩＤとの対応関係を管理している。したがって、中継サーバ４は、電話機１から受信したイベント情報をテレビ２に送信する。そうすると、テレビ２において、ピザ画像ガジェット３１に注入されているイベント受信スクリプトは、テレビ２を操作するための入力装置が備える下向き矢印キーが指示されたときと同じ処理を実行する。すなわち、テレビ２のブラウザ２１においても、電話機１のブラウザ１１と同様に、aaaピザが選択されている状態から、bbbピザが選択された状態に変化する。

上記状態に続いて、再度、ユーザが電話機１の下向き矢印キーを操作すると、ブラウザ１１、２１においてそれぞれcccピザが選択される。さらに、ユーザが電話機１の下向き矢印キーを操作すると、ブラウザ１１、２１上でそれぞれピザ画像ガジェット画面のスクロールが実行され、例えば、aaaピザの代わりにdddピザが表示される。

このように、第２の実施形態においては、第１のクライアント端末（ここでは、電話機１）で発生するイベントが、第２のクライアント端末（ここでは、テレビ２）が通知され、第１および第２のクライアント端末間で同期動作が実現される。したがって、第２のクライアント端末のキーボードやリモコン入力装置等を使用することなく、第１のクライアント端末を操作すれば、実質的に、第１および第２のクライアント端末双方を操作することが可能となる。

なお、中継サーバ４は、各クライアント端末にＨＴＭＬドキュメントを送信する際に、イベント発行スクリプトおよびイベント受信スクリプトの双方をそのＨＴＭＬドキュメントに注入してもよい。ただし、中継サーバ４は、イベント発行スクリプトまたはイベント受信スクリプトの一方のみをクライアント端末に送信するようにしてもよい。例えば、上述の例では、ステップＳ８のリクエストの送信元（ここでは、電話機１）に送信するＨＴＭＬドキュメントにイベント発行スクリプトのみを注入してもよい。また、ステップＳ１１で検索されたクライアント端末（ここでは、テレビ２）に送信するＨＴＭＬドキュメントにイベント受信スクリプトのみを注入するようにしてもよい。

＜他の実施形態＞
上述の例では、ピザ画像ガジェット３１は、注文サーバ３が備えるメモリ領域に格納されているが、本発明はこれに限定されるものではない。すなわち、ピザ画像ガジェット３１は、注文サーバ３とは異なるサーバ装置または記憶領域から提供されるようにしてもよい。

上述の例では、中継サーバ４は、ＨＴＴＰリクエストの送信元および他の１つのクライアント端末（テレビ２）にピザ画像ガジェット３１を送信するが、本発明はこれに限定されるものではない。すなわち、中継サーバ４は、同じログインＩＤでログインを行ったすべてのクライアント端末に対してピザ画像ガジェット３１を送信することができる。

上述の例では、クライアント端末にガジェットが送信されるが、本発明はこれに限定されるものではない。すなわち、例えば、クライアント端末にＷｅｂアプリケーションが送信されるようにしてもよい。

上述の例では、同じログインＩＤを利用してログインを行ったクライアント端末に対してガジェットが送信されるが、本発明はこれに限定されるものではない。すなわち、中継サーバ４は、例えば、同じユーザＩＤ（クライアント端末のユーザを直接的または間接的に識別する情報を含む）が入力されたクライアント端末に対して、ガジェット／Ｗｅｂアプリケーションを送信するようにしてもよい。なお、ログインＩＤは、一般に、初期登録時にユーザにより決定される情報であり、ユーザを間接的に識別する情報として使用することができる。

＜中継サーバ４のハードウェア構成＞
図１５は、中継サーバ４のハードウェア構成を示す図である。図４において、ＣＰＵ５１は、メモリ５３を利用してマルチモーダル提供プログラムを実行することにより中継サーバに各処理手順を実行させる。記憶装置５２は、例えばハードディスクであり、マルチモーダル提供プログラムを格納する。なお、記憶装置５２は、外部記録装置であってもよい。メモリ５３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。

読み取り装置５４は、ＣＰＵ５１の指示に従って可搬型記録媒体５５にアクセスする。可搬性記録媒体５５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース５６は、ＣＰＵ５１の指示に従って、ネットワークを介してデータを送受信する。入出力装置５７は、例えば、ユーザからの指示を受け付けるデバイス等に相当する。

第１および第２の実施形態に係わるマルチモーダル提供プログラムは、例えば、下記の形態で提供される。
（１）記憶装置５２に予めインストールされている。
（２）可搬型記録媒体５５により提供される。
（３）プログラムサーバ６０からダウンロードする。

そして、上記構成のコンピュータでマルチモーダル提供プログラムを実行することにより、第１および第２の実施形態に係わる中継サーバ４が実現される。すなわち、上記構成のコンピュータでマルチモーダル提供プログラムを実行することにより、Ｗｅｂサーバ部４１、配信部４２、管理部４３、スクリプト注入部４４の一部または全部が実現される。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
サーバと複数のクライアントとの間に設けられる中継サーバ装置であって、
各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持する管理部と、
第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送するＷｅｂサーバ部と、
前記管理部に保持された第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記管理部に保持された前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったときに、前記レスポンスを、前記第２のクライアントに送信する配信部、
を有する中継サーバ装置。
（付記２）
付記１に記載の中継サーバ装置であって、
前記第１のクライアントへ送信されるレスポンスに、前記第１のクライアントで発生したイベントを表すイベント情報を前記中継サーバに送信させる第１のスクリプトを注入するとともに、前記第２のクライアントへ送信されるレスポンスに、前記第２のクライアントが前記中継サーバからイベント情報を受信したときに、前記第２のクライアントに前記イベント情報に対応する処理を実行させる第２のスクリプトを注入するスクリプト注入部をさらに備え、
前記配信部はさらに、前記第１のスクリプトに基づいて前記第１のクライアントから前記イベント情報を受信したときに、前記第２のクライアントに前記イベント情報を送信する
ことを特徴とする中継サーバ装置。
（付記３）
付記２に記載の中継サーバ装置であって、
前記配信部は、前記第１のクライアントから前記イベント情報を受信したときに、前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じログインＩＤに対応するセッションＩＤにより識別されるクライアントに対して、前記イベント情報を送信する
ことを特徴とする中継サーバ装置。
（付記４）
付記１に記載の中継サーバ装置であって、
前記第１または第２のクライアントの少なくとも一方に送信されるレスポンスを、前記第１または第２のクライアントの能力に応じて編集する編集部をさらに備える
ことを特徴とする中継サーバ装置。
（付記５）
サーバと複数のクライアントとの間に設けられる中継サーバ装置を利用した通信方法であって、
前記中継サーバ装置が、
第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送し、
各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持したテーブルに基づいて、第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったと判断されたときに、前記レスポンスを、前記第２のクライアントに送信する、
ことを特徴とする通信方法。
（付記６）
付記５に記載の通信方法であって、
前記中継サーバ装置が、前記第１のクライアントへ送信されるレスポンスに、前記第１のクライアントで発生したイベントを表すイベント情報を前記中継サーバに送信させる第１のスクリプトを注入するとともに、前記第２のクライアントへ送信されるレスポンスに、前記第２のクライアントが前記中継サーバからイベント情報を受信したときに、前記第２のクライアントに前記イベント情報に対応する処理を実行させる第２のスクリプトを注入し、
前記中継サーバ装置が、前記第１のスクリプトに基づいて前記第１のクライアントから前記イベント情報を受信したときに、前記第２のクライアントに前記イベント情報を送信する
ことを特徴とする通信方法。
（付記７）
サーバと複数のクライアントとの間に設けられる中継サーバ装置に、
第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送するステップと、
各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持したテーブルに基づいて、第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったと判断されたときに、前記レスポンスを、前記第２のクライアントに送信するステップと、
を実行させる通信プログラム。
（付記８）
付記７に記載の通信プログラムであって、
前記中継サーバ装置に、さらに、
前記第１のクライアントへ送信されるレスポンスに、前記第１のクライアントで発生したイベントを表すイベント情報を前記中継サーバに送信させる第１のスクリプトを注入するとともに、前記第２のクライアントへ送信されるレスポンスに、前記第２のクライアントが前記中継サーバからイベント情報を受信したときに、前記第２のクライアントに前記イベント情報に対応する処理を実行させる第２のスクリプトを注入するステップと、
前記第１のスクリプトに基づいて前記第１のクライアントから前記イベント情報を受信したときに、前記第２のクライアントに前記イベント情報を送信するステップと、
を実行させる通信プログラム。

１ 電話機
２ テレビ
３ 注文サーバ
４ 中継サーバ
５ コールセンター端末
１１、２１ ブラウザ
３１ ピザ画像ガジェット
４１ Ｗｅｂサーバ
４２ 配信部
４３ 管理部
４４ スクリプト注入部

Claims (4)

1. サーバと複数のクライアントとの間に設けられる中継サーバ装置であって、
   各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持する管理部と、
   第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送するＷｅｂサーバ部と、
   前記管理部に保持された第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記管理部に保持された前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったときに、前記レスポンスを、前記第２のクライアントに送信する配信部、
   を有する中継サーバ装置。
2. 請求項１に記載の中継サーバ装置であって、
   前記第１のクライアントへ送信されるレスポンスに、前記第１のクライアントで発生したイベントを表すイベント情報を前記中継サーバに送信させる第１のスクリプトを注入するとともに、前記第２のクライアントへ送信されるレスポンスに、前記第２のクライアントが前記中継サーバからイベント情報を受信したときに、前記第２のクライアントに前記イベント情報に対応する処理を実行させる第２のスクリプトを注入するスクリプト注入部をさらに備え、
   前記配信部はさらに、前記第１のスクリプトに基づいて前記第１のクライアントから前記イベント情報を受信したときに、前記第２のクライアントに前記イベント情報を送信する
   ことを特徴とする中継サーバ装置。
3. サーバと複数のクライアントとの間に設けられる中継サーバ装置を利用した通信方法であって、
   前記中継サーバ装置が、
   第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送し、
   各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持したテーブルに基づいて、第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったと判断されたときに、前記レスポンスを、前記第２のクライアントに送信する、
   ことを特徴とする通信方法。
4. サーバと複数のクライアントとの間に設けられる中継サーバ装置に、
   第１のクライアントからのリクエストを前記サーバに中継すると共に、前記サーバから受信した前記リクエストに対応するレスポンスを、前記第１のクライアントに返送するステップと、
   各クライアントから入力されるログインＩＤと各クライアントを識別するセッションＩＤとを対応づけて保持したテーブルに基づいて、第２のクライアントを識別するセッションＩＤに対応するログインＩＤが、前記第１のクライアントを識別するセッションＩＤに対応するログインＩＤと同じであったと判断されたときに、前記レスポンスを、前記第２のクライアントに送信するステップと、
   を実行させる通信プログラム。