JP6136206B2 - 会議システム、サーバ、及び、会議情報生成プログラム - Google Patents

Description

本発明は、会議システム、サーバ、及び、会議情報生成プログラムに関する。

一般的に、会議が行われた後、会議の内容や会議に参加した人物の発言を記録するためや、会議に参加していない第３者に把握するために、議事録の作成等が行われる。ただし、議事録の作成には時間を要すると共に、議事録作成者にもたらされる負担も大きい。

そこで、会議の内容や参加メンバーの発言内容を、会議が行なわれた後に把握可能にするために、ビデオカメラやサウンドレコーダなどによって、音声や画像として記録する方法が広く用いられる。また、会議における音声や画像を記憶すると共に、会議で使用された文書や、参加者等の情報を記録する会議システムが提案される（特許文献１）。

特開２００７−０５２５６６号公報

しかしながら、第３者は、会議におけるいずれの時間に、また、会議資料のいずれの部分に対して、どのような発言が行なわれたかを予め検知することができない。また、第３者は、会議におけるいずれの時間、及び、会議資料のいずれの部分に対して、説明や議論が最も活性化したかを検知することができない。このため、第３者は、必要な情報を得るため、会議の中心となった発言や会議資料を把握するために、記憶された音声や画像を初めから再生する必要があった。これは、効率が悪く、時間やコストの増加につながっていた。

また、ユーザは、サウンドレコーダの記録に基づいて会議での発言を検知可能になるものの、会議資料におけるどの部分に対して発言が行われたかを検知することはできなかった。また、ビデオカメラやサウンドレコーダ等を備えるにはコストがかかる。

本発明は、会議内容を低コストで効率的に把握可能にする会議システム、サーバ、及び、会議情報生成プログラムを提供するものである。

第１の側面は、サーバと、前記サーバに接続可能な携帯端末とを有する会議システムであって、前記携帯端末は、前記携帯端末の姿勢情報を検出する姿勢推定手段と、ユーザによって前記携帯端末に行われた操作情報を検出する操作手段と、前記姿勢推定手段及び前記操作手段によって検出された前記姿勢情報及び前記操作情報を描画イベントとして、前記サーバに送信するイベント送信手段と、を有し、前記サーバは、１または複数ページの会議資料の画像情報と、前記描画イベントに基づいて前記会議資料に重ねて描画されるポインタの画像情報とを生成する画像情報生成手段と、前記描画されたポインタの描画履歴情報に基づいて、前記会議資料に対応する行動情報を生成する行動情報生成手段と、を有する。

第１の側面によれば、会議内容を低コストで効率的に把握可能にすることができる。

本実施の形態例における会議システムの一例について説明する図である。 会議システムにおいて生成される行動情報について説明する図である。 行動情報の具体例の一例について説明する図である。 本実施の形態例における会議システムの構成図の一例である。 本実施の形態例における会議システムのブロック図の一例である。 サーバ及び携帯端末の状態遷移について説明する図である。 サーバのデータベースが有するテーブルの種別について説明する図である。 接続テーブルの一例を表す図である。 ポインタ描画開始・停止テーブルの一例を表す図である。 ポインタ移動テーブルの一例を表す図である。 姿勢情報に基づく移動位置情報の生成処理について説明する図である。 エリア描画開始・停止テーブルの一例を表す図である。 エリア描画サイズ制御テーブルの一例を表す図である。 エリアポインタのサイズの生成処理について説明する図である。 音声録音開始・停止テーブルの一例を表す図である。 会議資料の時系列の表示ページに対応するポインタの描画位置情報、ポインタ描画時の音声位置情報の生成処理について説明する図である。 ページ、及び、表示ページに対応するポインタ描画活性度の生成処理について説明する図である。 表示ページ内の位置に対応するポインタ描画活性度の生成処理について説明する図である。

以下、図面にしたがって本発明の実施の形態について説明する。ただし、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

［会議システム］
図１は、本実施の形態例における会議システムの一例について説明する図である。同図における会議システムは、例えば、サーバＳＶ、サーバＳＶが生成する会議資料等の画像データを表示画面ＤＰに表示するプロジェクタＰＪ、サーバＳＶと通信可能な複数の携帯端末ｆＡ〜ｆＤを有する。図１の例では、会議には４人の参加者Ａ〜Ｄがおり、それぞれスマートフォン等の携帯端末ｆＡ〜ｆＤを有する。

本実施の形態例における会議システムにおいて、例えば、参加者Ａは、携帯端末ｆＡを、表示画面ＤＰに会議資料に重ねて描画されるポインタを描画するポインティングデバイスとして使用する。参加者Ａは、携帯端末ｆＡのタッチパネルへの操作、及び、携帯端末ｆＡの姿勢変更によって、表示画面ＤＰにポインタｐｐ１、ｐｐ２や、楕円や矩形等のエリアポインタｅｐを描画させる。また、携帯端末ｆＡは、参加者Ａの発話情報を音声ファイルとして記録する。なお、本実施の形態例における会議システムでは、複数の携帯端末ｆＡ〜ｆＤによるポインタｐｐ１、ｐｐ２、エリアポインタｅｐを同時に描画させることが可能である。

また、本実施の形態例の会議システムにおいて、サーバＳＶには、描画されたポインタの描画履歴情報が記憶される。描画履歴情報とは、例えば、会議資料の表示されたページに対応する、描画されたポインタの時系列の描画位置情報である。サーバＳＶは、描画履歴情報に基づいて、会議資料に対応する行動情報を生成する。続いて、行動情報について説明する。

［行動情報］
図２は、本実施の形態例の会議システムにおいて生成される、会議資料に対応する行動情報について説明する図である。本実施の形態例における会議システムにおけるサーバＳＶは、携帯端末ｆＡ、ｆＢによるポインタｐｐＡ、ｐｐＢの描画の履歴情報をデータベースＤＢに蓄積し（Ｆ１）、描画履歴情報に基づいて会議資料に対応する行動情報を生成する（Ｆ２）。

行動情報とは、例えば、会議資料の時系列の表示ページに対応する、ポインタｐｐＡ、ｐｐＢの描画位置情報、ポインタｐｐＡ、ｐｐＢが描画された時の音声ファイルの少なくとも一部を示す音声位置情報のいずれかである。これにより、ユーザは、行動情報に基づいて、誰が、会議資料のいずれのページ内のいずれの部分に対して、どのような発言をしたかを示す音声ファイルにおける区間を検知することができる。

または、行動情報とは、ポインタｐｐＡ、ｐｐＢの描画量の度合いを示す描画活性度である。描画活性度は、会議資料のページ、ページ内の位置（注目エリア）、または、表示された時系列のページ（以下、時系列の表示ページと称する）、時系列の表示ページ内の位置（注目エリア）に対応して生成される。これにより、ユーザは、会議において、ポインタの描画が多量に行われたページ（表示ページを含む）や、ページ内のポインタの描画が多量に行われた注目エリアを参照することができる。これにより、ユーザは、会議において、説明や議論が最も活性化したページ及び表示ページや、注目エリアを検知することができる。

続いて、行動情報について具体例を挙げて説明する。

［行動情報の具体例］
図３は、行動情報の具体例の一例について説明する図である。同図では、例えば、会議において表示された時系列の表示ページに対応して、音声録音情報ｖＡ１、ｖＡ２、ｖＢ１、ｖＢ２、ポインタの描画活性度ｍ１〜ｍ３、ページ内の位置に対応する描画活性度ｖｚが表される。この例において、会議資料の総ページ数は４ページであって、１ページ〜４ページｓ１−１〜ｓ４−１の順に表示された後、３ページｓ３−２、２ページｓ２−２と遷移し、再び、３ページｓ３−３に遷移する。

図３の左部に示される時系列の各表示ページｓ１−１、ｓ２−１、ｓ３−１、ｓ４−１、ｓ３−２、ｓ２−２、ｓ３−３では、描画されたポインタの軌跡が表される。具体的に、携帯端末Ａによって描画されたポインタの軌跡ＰＡは実線、携帯端末Ｂによって描画されたポインタの軌跡ＰＢは点線で表される。また、図３における中央部の下向きの矢印ｖＡ１、ｖＡ２、ｖＢ１、ｖＢ２は、各表示ページが表示されているときに音声情報が記憶されたことを示す。具体的に、携帯端末Ａによって生成された音声情報は実線の矢印ｖＡ１、ｖＡ２、携帯端末Ｂによって生成された音声情報は破線の矢印ｖＢ１、ｖＢ２によって表される。

なお、本実施の形態例において、ポインタが描画される場合、同時に、ポインタを描画した参加者によって、音声が発せられていることが前提とされる。これは、ページのいずれかの位置を指すとき、当該位置に対して発言しているという前提に基づく。このため、例えば、ある携帯端末によってポインタが描画されている間、当該携帯端末において音声ファイルが生成される。図３の例において、表示ページｓ２−１、ｓ３−１に携帯端末Ａによるポインタが描画されている間（実線）、矢印ｖＡ１に示されるように、携帯端末Ａによって音声ファイルが生成される。同様にして、表示ページｓ４−１、ｓ３−２に携帯端末Ｂによるポインタが描画されている間（破線）、矢印ｖＢ１に示されるように、携帯端末Ｂによって音声ファイルが生成される。

そして、図３において、網点で表される棒グラフは、表示ページに対応するポインタの描画活性度を示す。ポインタの描画活性度は、例えば、ページまたは表示ページにおけるポインタの描画時間や描画した携帯端末数に示される描画量に基づいて、ポインタの描画量が多い程、ポインタの描画活性度を高くするように生成される。このため、例えば、ポインタの描画量が多い表示ページｓ３−２、ｓ３−３に対応する描画活性度ｍ１、ｍ２は高く、ポインタの描画量が少ない表示ページｓ２−１に対応する描画活性度ｍ３は低い。ユーザは、ページまたは表示ページに対応する描画活性度を参照することによって、ポインタの描画が多量に行われたページまたは表示ページを検知することができる。また、ユーザは、検知されたページ内のポインタの描画位置情報や、対応する音声ファイルの少なくとも一部を示す音声ファイル区間（位置情報）を検知することができる。音声位置情報とは、音声ファイルの少なくとも一部を示す、音声ファイルにおける位置や区間を示す情報である。

なお、ポインタの描画活性度は、図３のような棒グラフの例に限定されるものではない。ポインタの描画活性度は、数値やランク、他のグラフによって表されてもよい。なお、描画活性度の生成処理の詳細については、後述する。

また、図３の右部には、各表示ページ内の位置に対応する描画活性度が表される。この例では、例えば、描画活性度の高い位置が注目エリアとして示される。この例において、携帯端末Ａによる注目エリアは実線、携帯端末Ｂによる注目エリアは点線で表される。ユーザは、描画活性度を参照することによって、ポインタの描画が多量に行われたページ内の位置を検知することができる。例えば、表示ページｓ３−２は携帯端末Ａ、Ｂによってポインタの描画が行われ、携帯端末Ａ、Ｂそれぞれの注目エリアと、その重複エリアｖｚが示される。これにより、ユーザは、例えば、表示ページｓ３−２内において、ポインタの描画が最も活性化した注目エリアｖｚを検知することができる。

また、ユーザは、図３に示されるような、描画されたポインタの時系列の描画位置情報を含む描画履歴情報に基づいて、ページに対応するポインタの描画位置情報や、ポインタ描画時の音声位置情報を検知することができる。つまり、ユーザは、描画履歴情報に基づいて、携帯端末ｆＢを有する参加者Ｂが、表示ページ３ｓ３−２の描画位置ｖｙに対して、音声ファイルにおける音声位置ｖｘに示される発言をしたことを検知できる。

なお、図３の例では、各表示ページに対応して描画活性度が生成される。しかし、描画活性度は、ページ毎に、同一のページを示す表示ページの統合描画活性度として生成されてもよい。例えば、図３の右部には、ページ３内の位置に対応する描画活性度ｖｗが示される。これにより、ユーザは、ページ単位に、ポインタの描画が多量に行われたページや、当該ページ内の位置に対応する描画活性度を検知できる。

続いて、本実施の形態例における会議システムの構成図について説明する。

［会議システムの構成図］
図４は、本実施の形態例における会議システムの構成図の一例である。同図において、サーバＳＶには、複数の携帯端末ｆＡ、ｆＢが接続されるが、ここでは、１台の携帯端末ｆＡについて説明する。サーバＳＶは、例えば、コンピュータであって、携帯端末ｆＡ、ｆＢは、例えば、アンドロイド等のプラットフォームがインストールされるスマートフォンである。

なお、本実施の形態例における会議システムは、複数の携帯端末が接続される場合に限定されるものではなく、サーバＳＶに接続される携帯端末は１台であってもよい。本実施の形態例において、会議には、図１で示したような形態に加えて、例えば、デジタルサイネージによるプレゼンテーション等の形態も含まれる。この場合、会議システムは、例えば、広告やマーケティング等を目的とするデジタルサイネージの表示画面とサーバ、１台の携帯端末とによって構成される。

［携帯端末の構成図］
図４において、携帯端末ｆＡは、例えば、ＣＰＵ２１（Central Processing Unit）、メモリ２０、通信手段２２、センサ２３、マイク２５、タッチパネル２４を有する。サーバＳＶに接続される他の携帯端末ｆＢの構成についても同様である。

タッチパネル２４は、参加者の操作に基づいて、操作情報を検出する。マイク２５は、参加者によって発話された音声情報を取得し、音声ファイルを生成する。また、センサ２３は、例えば、ジャイロセンサ３１センサ、加速度センサ３２を有する。ジャイロセンサ３１は、例えば、携帯端末ｆＡに対応するＸ、Ｙ、Ｚ方向の各軸回りの角速度を検出し、加速度センサ３２は、各方向の加速度を検出する。センサは、ジャイロセンサ３１及び加速度センサ３２の出力に基づいて、携帯端末ｆＡの姿勢情報を検出する。

また、メモリ２０には、例えば、本実施の形態例における会議システムの端末用プログラムが記憶される。端末用プログラムは、ＣＰＵ２１と協働して、タッチパネル２４によって検出された操作情報、マイク２５によって生成された音声ファイル、センサによって検出された姿勢情報に基づいてイベントを生成し、通信手段２２を介してサーバＳＶに送信する。なお、この例において、イベントには、複数の携帯端末ｆＡを識別するデバイスＩＤが含まれ、いずれの携帯端末ｆＡによって生成されたイベントであるか識別可能である。

［サーバＳＶの構成図］
図４において、サーバＳＶは、例えば、ＣＰＵ１２、メモリ１３、ＲＴＣ（Real Time Clock）１１、データベースＤＢ、表示装置１０、通信手段１４等を有する。表示装置１０は、例えば、サーバＳＶが生成した画像データを表示する大画面ディスプレイである。表示装置１０は、サーバＳＶに接続可能な別の機械に備えられていてもよい。

ＲＴＣ１１は、時間管理専用のチップであって、サーバＳＶの日時情報を生成する。また、メモリ１３には、会議システムにおけるサーバ用プログラムが記憶される。サーバ用プログラムは、ＣＰＵ１２と協働して、通信手段１４を介して受信したイベントに基づく、表示装置１０に描画されるポインタや会議資料の画像情報の生成処理を制御する。また、サーバ用プログラムは、受信したイベントをデータベースＤＢに登録する。データベースＤＢは、イベントの種別に応じた複数のテーブルを有する。データベースＤＢに登録された情報に基づいて、行動情報が生成される。

続いて、会議システムにおける携帯端末ｆｆ、及び、サーバＳＶのブロック図について説明する。

［会議システムのブロック図］
図５は、本実施の形態例における会議システムのブロック図の一例である。同図において、サーバＳＶと、１つの携帯端末ｆｆのブロック図が例示される。

［携帯端末ｆｆのブロック図］
図５において、携帯端末ｆｆは、操作情報生成部４４、９軸センサ４３、姿勢推定部４２４２、音声取得部４５、イベント生成部４１、通信管理部５０を有する。操作情報生成部４４は、参加者によるボタン押下操作や長押し操作、フリック操作等を検出し、操作情報を検出する。また、９軸センサ４３は、携帯端末ｆｆに対応するＸ、Ｙ、Ｚ軸等の各軸の角速度を検出し、姿勢推定部４２に出力する。姿勢推定部４２は、９軸センサから出力された各角速度に基づいて姿勢情報を生成する。また、音声取得部４５は、参加者による発話情報を取得し、音声ファイルを生成する。

イベント生成部４１は、姿勢推定部４２、操作情報生成部４４、音声取得部４５によって、検出及び生成された情報を受けてイベントを生成する。具体的に、イベント生成部４１は、姿勢推定部４２によって生成された姿勢情報、及び、操作情報生成部４４によって検出された操作情報に基づいて描画イベントを生成する。また、イベント生成部４１は、音声取得部４５によって生成された音声ファイルを受けて、音声イベントを生成する。そして、イベント生成部４１は、通信管理部５０を介して、描画イベント、音声ファイルを含む音声イベントをサーバＳＶに送信する。

また、通信管理部５０は、例えば、Ｗｉ-Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信に基づく通信制御する。無線通信の接続先であるサーバＳＶのＩＰアドレスやデバイス情報等の通信情報は、例えば、予め、携帯端末ｆｆにおける通信管理部５０に登録される。ただし、サーバＳＶの通信情報は、例えば、ＮＦＣ（Near Field Communication）のタグ６０に登録され、携帯端末ｆｆをＮＦＣタグ６０に接触させることによって取得させてもよい。ＮＦＣとは、無線通信の国際規格であって、十数センチの近距離での小電力無線通信技術である。また、操作情報についても、携帯端末ｆｆをＮＦＣタグ６０に接触させることによって検出させてもよい。これにより、サーバＳＶの通信情報の設定を省略可能にすると共に、操作情報の検出をより簡易にすることができる。

［サーバＳＶのブロック図］
図５において、サーバＳＶは、例えば、通信管理部５０、イベント取得部５３、ポインタ・ＵＩ制御部５１、データベースＤＢ、行動情報生成部５２等を有する。イベント取得部５３は、通信管理部５０を介して、携帯端末ｆｆから送信されたイベントを取得すると共に、イベントの情報をデータベースＤＢに登録する。これにより、データベースＤＢに描画履歴情報が蓄積される。また、イベント取得部５３は、取得したイベントが描画イベントを示す場合、ポインタ・ＵＩ制御部５１に通知する。ポインタ・ＵＩ制御部５１は、会議資料の画像情報を生成すると共に、通知された描画イベントに基づいて、表示装置に描画するポインタやエリアポインタの画像情報を生成する。また、ポインタ・ＵＩ制御部５１は、会議資料のページ遷移等のユーザインタフェース制御を行う。また、行動情報生成部５２は、データベースＤＢに登録されたポインタの描画履歴情報に基づいて、行動情報を生成する。各テーブル、及び、行動情報の生成処理の詳細については、後述する。

ここで、携帯端末ｆｆ、及び、サーバＳＶの状態の遷移について説明する。

［状態遷移図］
図６は、本実施の形態例における会議システムのサーバＳＶ及び携帯端末ｆｆの状態遷移について説明する図である。まず、例えば、携帯端末ｆｆのタッチパネル２４上のボタンの押下によって、アプリケーションが起動される。このとき、端末用プログラムが起動、接続イベントが生成され、携帯端末ｆｆとサーバＳＶとが接続状態になる。これにより、携帯端末ｆｆ及びサーバＳＶは、未接続状態から接続状態に遷移する（ｃ１）。なお、接続状態においてアプリケーションが終了すると切断イベントが生成され、接続状態から未接続状態に戻る（ｃ２）。

そして、接続状態において、携帯端末ｆｆのタッチパネル２４上で参加者による長押し操作が検出されると、ポインタ描画開始イベントが生成され、携帯端末ｆｆ及びサーバＳＶは、接続状態からポインタ制御状態に遷移する（ｃ３）。ポインタ制御状態では、携帯端末ｆｆからサーバＳＶに、携帯端末ｆｆの姿勢情報を有するポインタ移動イベントが、例えば、５０ｍｓ毎に送信される。サーバＳＶは、ポインタ移動イベントに含まれる姿勢情報に基づいてポインタの描画位置を移動する。このため、長押し状態のまま、携帯端末ｆｆの上下、左右への姿勢変化に対応して、表示画面ＤＰに描画されたポインタが移動する。

また、ポインタ制御状態のまま、さらに、タッチパネル２４への指の押下位置の移動が検出されると、エリア描画開始イベントが生成され、携帯端末ｆｆ及びサーバＳＶは、ポインタ制御状態からエリア描画制御状態に遷移する（ｃ５）。このとき（ｔ１０）、サーバＳＶは、例えば、表示画面ＤＰにおいて、ポインタを中心とする楕円等のエリアポインタが描画された透明描画ウィンドウを最前面に配置させる。エリア描画制御状態では、携帯端末ｆｆからサーバＳＶに、エリアポインタのサイズを有するエリア描画制御イベントが、例えば、５０ｍｓ毎に送信される。このため、エリア描画制御状態では、姿勢変更に対応するポインタの移動と共に、長押し状態における指の移動に対応して、エリアポインタのサイズが変更される。

一方、描画制御状態において、指の押下位置が初めの位置に戻ると、エリア描画停止イベントが生成され、ポインタ制御状態に遷移する（ｃ６）。これにより（ｔ１１）、エリアポインタが描画された透明描画ウィンドウは一番後ろに配置し直され、エリア描画が終了する。さらに、描画制御状態、及び、ポインタ制御状態において、タッチパネル２４を長押ししていた指が離脱すると、エリア描画停止イベント、及び、ポインタ描画停止イベントが生成され、接続状態に遷移する（ｃ４、ｃ７）。

このように、タッチパネル２４への操作や、携帯端末ｆｆの姿勢の移動に応じて、サーバＳＶにイベントが送信されると共に、携帯端末ｆｆ及びサーバＳＶの状態が遷移する。サーバＳＶは、受信したイベントを、ポインタの描画履歴情報としてデータベースＤＢの各テーブルに登録する。続いて、サーバＳＶのデータベースＤＢが有する各テーブルについて説明する。

［テーブル例］
図７は、サーバＳＶのデータベースＤＢが有するテーブルの種別について説明する図である。本実施の形態例において、データベースＤＢは、例えば、接続テーブルＴ１、ポインタ描画開始・停止テーブルＴ２、ポインタ移動テーブルＴ３、エリア描画開始・停止テーブルＴ４、エリア描画サイズ制御テーブルＴ５、音声録音開始・停止テーブルＴ６、ページ遷移テーブルＴ７を有する。

接続テーブルＴ１は、サーバＳＶとの通信の接続・切断を示すイベントを蓄積するテーブルである。例えば、接続テーブルＴ１は、通信の接続・切断イベントの送信元の携帯端末ｆｆのデバイスＩＤと、接続・切断イベントを受信したタイムスタンプ、イベントの種別を示す通知情報を有する。タイムスタンプは、例えば、サーバＳＶのＲＴＣ１１によって生成される。

ポインタ描画開始・停止テーブルＴ２は、ポインタ描画の開始及び停止を示すイベントを蓄積するテーブルである。例えば、ポインタ描画開始・停止テーブルＴ２は、ポインタの描画開始・停止イベントの送信元の携帯端末ｆｆのデバイスＩＤと、イベントを受信したタイムスタンプ、イベントの種別を示す通知情報を有する。また、ポインタ移動テーブルＴ３は、描画されたポインタの移動情報を示すイベントを蓄積するテーブルである。例えば、ポインタ移動テーブルＴ３は、ポインタ移動イベントの送信元の携帯端末ｆｆのデバイスＩＤと、イベントを受信したタイムスタンプ、移動位置情報（Ｘ座標、Ｙ座標）を有する。

エリア描画開始・停止テーブルＴ４は、エリア描画の開始及び停止を示すイベントを蓄積するテーブルである。例えば、エリア描画開始・停止テーブルＴ４は、エリア描画開始・停止イベントの送信元の携帯端末ｆｆのデバイスＩＤと、イベントを受信したタイムスタンプ、イベントの種別を示す通知情報を有する。エリア描画サイズ制御テーブルＴ５は、描画されたエリアポインタのサイズ情報を示すイベントを蓄積するテーブルである。例えば、エリア描画サイズ制御テーブルＴ５は、エリア描画サイズ制御イベントの送信元の携帯端末ｆｆのデバイスＩＤと、イベントを受信したタイムスタンプ、エリアポインタのサイズ情報を有する。

音声録音開始・停止テーブルＴ６は、携帯端末ｆｆの参加者による発話を記録した音声ファイルの情報をイベントとして蓄積するテーブルである。例えば、音声録音開始・停止テーブルＴ６は、音声イベントの送信元の携帯端末ｆｆのデバイスＩＤと、イベントを受信したタイムスタンプ、開始・停止を示す通知情報を有する。ページ遷移テーブルＴ７は、ページの遷移情報を蓄積するテーブルである。例えば、ページ遷移テーブルＴ７は、ページ遷移イベントの送信元の携帯端末ｆｆのデバイスＩＤと、イベントを受信したタイムスタンプ、現ページの情報を有する。即ち、ページ遷移テーブルＴ７は、時間に対応する表示ページの情報を有する。例えば、ページ遷移イベントは、タッチパネル２４におけるフリック動作に基づいて生成される。

続いて、図７で述べたテーブルの具体例について説明する。

［接続テーブルＴ１］
図８は、接続テーブルＴ１の一例を表す図である。同図において、実線矢印はＡさんの携帯端末ｆＡにおける接続状態を、破線矢印はＢさんの携帯端末ｆＢにおける接続状態を示す。また、テーブルにおいて網点で表される情報は、参加者Ｂが有する携帯端末ｆＢの情報を示す。前述したとおり、接続テーブルＴ１は、例えば、携帯端末のデバイスＩＤと、イベント受信時のタイムスタンプ、イベントの種別を示す通知情報を有する。

参加者Ａの有する携帯端末ｆＡにおいてアプリケーションが起動されると、接続開始イベントが生成され、サーバＳＶに送信される。具体的に、接続テーブルＴ１における接続開始イベントＥ１１は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、接続要求が発生したタイムスタンプ「１３３６５２８５３０２００８１０」、接続を示す通知情報「ｃｏｎｎｅｃｔ」を有する。

そして、携帯端末ｆＡにおいてアプリケーションが終了されると、切断イベントが生成され、サーバＳＶに送信される。接続テーブルＴ１における切断イベントＥ１２は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、切断要求が発生したタイムスタンプ「１３３６５２８５３０２００８１０」、切断を示す通知情報「ｑｕｉｔ」を有する。

他の接続・切断イベントについても同様である。なお、携帯端末ｆＢのイベントは、デバイスＩＤとして携帯端末ｆＡを示すＩＤ「３５８９３８０４０６３６２００」とは異なるＩＤ「３５７１９４０４１３９７２１７」を有する。このように、各携帯端末からサーバＳＶに接続、切断が行われる度に、接続・切断イベントが生成されると共にサーバＳＶに送信され、サーバＳＶの接続テーブルＴ１に蓄積される。

［ポインタ描画開始・停止テーブルＴ２］
図９は、ポインタ描画開始・停止テーブルＴ２の一例を表す図である。接続テーブルＴ１と同様にして、同図のテーブルにおいて網点で表された情報は、参加者Ｂの有する携帯端末ｆＢの情報を示す。前述したとおり、ポインタ描画開始・停止テーブルＴ２は、例えば、携帯端末のデバイスＩＤと、イベント受信時のタイムスタンプ、イベントの種別を示す通知情報を有する。

参加者Ａの有する携帯端末ｆＡにおいて、タッチパネル２４の長押しが検出されると、ポインタ描画開始イベントが生成され、サーバＳＶに送信される。具体的に、ポインタ描画開始・停止テーブルＴ２テーブルにおけるポインタ描画開始イベントＥ２１は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、ポインタ描画開始イベントが発生したタイムスタンプ「１３３６５２８５３０２１２４１０」、開始を示す通知情報「ｓｔａｒｔ」を有する。

そして、携帯端末ｆＡにおいて長押下状態にあった指がタッチパネル２４から離れたときに、ポインタ描画停止イベントが生成され、サーバＳＶに送信される。ポインタ描画開始・停止テーブルＴ２テーブルにおけるポインタ描画停止イベントＥ２２は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、ポインタ描画停止イベントが発生したタイムスタンプ「１３３６５２９１７００３１５２０」、停止を示す通知情報「ｓｔｏｐ」を有する。

他のポインタ描画開始・停止イベントについても同様である。このように、各携帯端末におけるタッチパネル２４の操作に基づいて、ポインタ描画開始・停止イベントが生成されると共にサーバＳＶに送信され、サーバＳＶのポインタ描画開始・停止テーブルＴ２に蓄積される。

［ポインタ移動テーブルＴ３］
図１０は、ポインタ移動テーブルＴ３の一例を表す図である。同図のテーブルは、携帯端末のポインタ移動情報を有する。前述したとおり、ポインタ移動テーブルＴ３は、例えば、携帯端末のデバイスＩＤと、イベントの受信タイムスタンプ、移動位置情報（Ｘ座標、Ｙ座標）を有する。

参加者Ａの有する携帯端末ｆＡにおいて、長押しが検出されてポインタ描画開始イベントが送信されると、定期的に、ポインタ移動イベントが生成されサーバＳＶに送信される。具体的に、ポインタ移動テーブルＴ３テーブルにおけるポインタ移動イベントＥ３１は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、ポインタ描画開始イベントが発生したタイムスタンプ「１３３６５２８５３３６６７６７０」、移動位置情報「−２，−６」を有する。本実施の形態例において、移動位置情報は、姿勢情報に基づいて生成される情報であって、表示画面ＤＰ上の移動座標である。この例において、移動位置情報「−２，−６」は、ポインタの位置を、Ｘ座標の方向に−２、Ｙ座標の方向に−６、移動することを示す。

他のポインタ移動イベントについても同様である。このように、各携帯端末におけるタッチパネル２４の操作に基づいて、定期的に、ポインタ移動イベントが生成されると共にサーバＳＶに送信され、サーバＳＶのポインタ移動テーブルＴ３に蓄積される。

ここで、移動位置情報の生成処理について説明する。

［移動位置情報の生成］
図１１は、検出された姿勢情報に基づく移動位置情報の生成処理について説明する図である。前述したとおり、携帯端末は、ジャイロセンサ３１センサを有し、携帯端末の姿勢を内部でセンシングし、姿勢情報を検出する。例えば、３軸のジャイロセンサ３１センサがあれば、携帯端末の姿勢の回転量を推定可能である。

例えば、ジャイロセンサ３１は、Ｘ、Ｙ、Ｚ軸の３軸回りの角速度を検出し、姿勢推定部４２に出力する。この例において、携帯端末のタッチパネル２４の方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をロール方向、Ｙ軸回りの回転方向をピッチ方向、Ｚ軸回りの回転方向をヨー方向とする。例えば、携帯端末のＸ軸方向の回転を示すＲｏｌｌへの角速度をθとする。また、携帯端末のＺ軸方向の回転を示すＹａｗへの角速度をφとする。角速度θ、φは、ジャイロセンサ３１から姿勢推定部４２に入力される。

続いて、姿勢推定部４２は、各軸に対応する角速度に基づいて、ポインタの移動位置情報を生成する。姿勢推定部４２は、数式１、２に基づいて、ポインタの移動位置情報を示す座標の移動量（距離）を算出する。ｋは時間を、Ｋは変化した角速度の移動座標への反映度を示す係数である。数式１、２において、φ_０はＺ軸の初期の角速度、θ_０はＸ軸の初期の角速度、即ち、長押し時におけるそれぞれの角速度を示す。また、φ（ｋ）、θ（ｋ）は時間ｋの経過後の各軸の角速度を示す。数式１では、時間ｋ経過後のＺ軸の角速度の変化値に係数Ｋが乗算されることにより、時間ｋ経過後のＸ座標の移動量ｄ_ｘ（ｋ）が算出される。同様にして、数式２では、時間ｋ経過後のＸ軸の角速度の変化値に係数Ｋが乗算されることにより、時間ｋ経過後のＹ座標の移動量ｄ_ｙ（ｋ）が算出される。これにより、Ｘ軸、Ｙ軸の移動位置情報（例えば、図１０で示した−２，６）が生成される。
ｄ_ｘ（ｋ）＝Ｋ（φ（ｋ）−φ_０） …数式１
ｄ_ｙ（ｋ）＝−Ｋ（θ（ｋ）−θ_０） …数式２
また、さらに、数式３、４によると、移動位置情報に基づく移動後のポインタｐｐの座標が算出される。数式３、４におけるＸ_{ｃｅｎｔｅｒ}、Ｙ_{ｃｅｎｔｅｒ}は、表示画面ＤＰの中心ｃｃの座標を示す。このため、中心座標から、時間ｋ経過後の各座標の移動量が減算されることにより、時間ｋ経過後のポインタｐｐの座標ｘ（ｋ）、ｙ（ｋ）が算出される。
ｘ（ｋ）＝Ｘ_{ｃｅｎｔｅｒ}−ｄ_ｘ（ｋ） …数式３
ｙ（ｋ）＝Ｙ_{ｃｅｎｔｅｒ}−ｄ_ｙ（ｋ） …数式４
なお、携帯端末が、ジャイロセンサ３１に加えて、加速度センサ３２を有することによって、より高精度の姿勢情報を算出することができる。加速度センサ３２は、携帯端末を基準とした上下方向、左右方向および前後方向の３軸方向について、それぞれ加速度を検出して姿勢推定部４２に出力する。これにより、さらに、加速度が加味されることによって、姿勢推定部４２は、より精度の高い移動位置情報を生成することができる。

［エリア描画開始・停止テーブルＴ４］
図１２は、エリア描画開始・停止テーブルＴ４の一例を表す図である。接続テーブルＴ１と同様にして、同図のテーブルにおいて網点で表された情報は、参加者Ｂの有する携帯端末ｆＢの情報を示す。前述したとおり、エリア描画開始・停止テーブルＴ４は、例えば、携帯端末のデバイスＩＤと、イベント受信時のタイムスタンプ、イベントの種別を示す通知情報を有する。

参加者Ａの有する携帯端末ｆＡにおいて、タッチパネル２４が長押しされた状態で、指の一定以上の移動が検出されると、エリア描画開始イベントが生成され、サーバＳＶに送信される。具体的に、エリア描画開始・停止テーブルＴ４テーブルにおけるエリア描画開始イベントＥ４１は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、ポインタ描画開始イベントが発生したタイムスタンプ「１３３６５２８５３０２１２４１０」、開始を示す通知情報「ｓｔａｒｔ」を有する。

そして、携帯端末ｆＡにおいて、指が初めの押下位置に戻ったとき、長押下状態にあった指がタッチパネル２４から離れたときに、エリア描画停止イベントが生成され、サーバＳＶに送信される。エリア描画開始・停止テーブルＴ４テーブルにおけるエリア描画停止イベントＥ４２は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、エリア描画停止イベントが発生したタイムスタンプ「１３３６５２９１７００３１５２０」、停止を示す通知情報「ｓｔｏｐ」を有する。

他のエリア描画開始・停止イベントについても同様である。このように、各携帯端末におけるタッチパネル２４の操作に基づいて、エリア描画開始・停止イベントが生成されると共にサーバＳＶに送信され、サーバＳＶのエリア描画開始・停止テーブルＴ４に蓄積される。

［エリア描画サイズ制御テーブルＴ５］
図１３は、エリア描画サイズ制御テーブルＴ５の一例を表す図である。同図のテーブルは、携帯端末のエリア描画サイズ制御情報を有する。前述したとおり、エリア描画サイズ制御テーブルＴ５は、例えば、携帯端末のデバイスＩＤと、イベントの受信タイムスタンプ、エリアサイズを有する。

参加者Ａの有する携帯端末ｆＡにおいて、エリア描画開始イベントが発生すると、定期的に、エリア描画サイズ制御イベントが生成され、サーバＳＶに送信される。具体的に、エリア描画サイズ制御テーブルＴ５におけるエリア描画サイズ制御イベントＥ５３は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、エリア描画サイズ制御イベントが発生したタイムスタンプ「１３３６５２８５４９８２６２９０」、エリアポインタのサイズ「１．７９８８８９，１」を有する。例えば、エリアポインタが、ポインタを中心とする楕円エリアである場合、例えば、エリアポインタのサイズは、楕円のＸ軸方向の半径１．７９８８８９とＹ軸方向の半径１を示す。エリアサイズは、タッチパネル２４における指の移動距離に基づいて生成される。

他のエリア描画サイズ制御イベントについても同様である。このように、各携帯端末におけるタッチパネル２４の操作に基づいて、定期的に、エリア描画サイズ制御イベントが生成されると共にサーバＳＶに送信され、サーバＳＶのエリア描画サイズ制御テーブルＴ５に蓄積される。

ここで、エリアポインタのサイズの生成処理について説明する。

［サイズ情報の生成］
図１４は、エリアポインタのサイズの生成処理について説明する図である。同図において、線ＬＬの軌跡は、タッチパネル２４への指のタッチ位置の移動軌跡を示す。また、この例において、エリアポインタｅｐは、楕円エリアである。なお、エリアポインタｅｐの形は、楕円に限定されるものではなく、矩形や円等であってもよい。

図１４のタッチパネル２４において、黒丸ｔ１は長押しされた位置を示す。また、網点で表わされるエリアｅ１は、黒丸ｔ１を中心とする所定半径の不感帯エリアを示す。この例では、長押しされた指が不感帯エリアｅ１を越えて移動したときに、ポインタｐｐを中心とする楕円等のエリアポインタｅｐの描画が開始される。このとき、表示画面ＤＰに表示されるエリアポインタｅｐの半径ＤＴｘは、不感帯エリアｅ１を越えたエリア描画開始位置ｔ２と、現在の指の位置ｔ３との距離ＤＴに基づいて生成される。即ち、描画開始位置ｔ２と、現在の指の位置ｔ３に基づいて、描画されるエリアポインタｅｐのサイズが制御される。

なお、図６の遷移図で説明したとおり、エリアポインタｅｐが描画されるとき、サーバＳＶは、表示画面ＤＰの最前面に、エリアポインタｅｐを描画する透明ウィンドウを配置する。例えば、複数の携帯端末によって同時にエリアポインタｅｐが描画される場合、サーバＳＶの表示画面ＤＰの最前面に、複数の透明ウィンドウが配置される。これにより、複数の携帯端末による複数のエリアポインタｅｐの描画が可能になる。また、このとき、各エリアポインタｅｐは、例えば、色や形状を分けることによって識別可能に描画される。

［音声録音開始・停止テーブルＴ６］
図１５は、音声録音開始・停止テーブルＴ６の一例を表す図である。同図のテーブルは、携帯端末のエリア描画サイズ制御情報を有する。また、テーブルにおいて網点で表された情報は、参加者Ｂの有する携帯端末ｆＢの情報を示す。前述したとおり、エリア描画サイズ制御テーブルＴ５は、例えば、携帯端末のデバイスＩＤと、イベントの受信タイムスタンプ、通知情報を有する。

この例では、携帯端末ｆＡにおいて、ポインタの描画が開始されたときに、音声の取得が開始される。ただし、音声の取得は、一定以上の音量が検知されたときに開始されてもよい。これにより、音声録音開始イベントが生成され、サーバＳＶに送信される。具体的に、音声録音開始・停止テーブルＴ６における音声録音開始イベントＥ６１は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、音声録音開始イベントが発生したタイムスタンプ「１３３６５２８５３０２１２４１０」、開始を示す通知情報「ｓｔａｒｔ」を有する。

そして、携帯端末ｆＡにおいてポインタの描画が停止されると、音声録音停止イベントが生成され、生成された音声ファイルと共に、サーバＳＶに送信される。または、音声ファイルは、一定間隔でサーバＳＶに送信されてもよい。なお、音声録音停止イベントは、音声の音量が一定以下になったときに生成されてもよい。音声録音開始・停止テーブルＴ６テーブルにおける音声録音停止イベントＥ６２は、携帯端末ｆＡを示すデバイスＩＤ「３５８９３８０４０６３６２００」、音声録音停止イベントが発生したタイムスタンプ「１３３６５２９１７００３１５２０」、停止を示す通知情報「ｓｔｏｐ」を有する。

他の音声録音開始・停止イベントについても同様である。このように、各携帯端末におけるタッチパネル２４の操作に基づいて、音声録音開始・停止イベントが生成されると共にサーバＳＶに送信され、サーバＳＶの音声録音開始・停止テーブルＴ６に蓄積される。

続いて、図７〜図１５で説明したデータベースに基づく行動情報の生成処理について説明する。

［行動情報の生成処理：その１］
図１６は、会議資料の時系列の表示ページに対応するポインタの描画位置情報、ポインタ描画時の音声位置情報の生成処理について説明する図である。初めに、ユーザは、行動情報の生成の対象とする参加者のデバイスＩＤを特定する（Ｓ１０）。そして、行動情報生成部５２は、対象のデバイスＩＤに基づいてポインタ移動テーブルＴ３を検索し、デバイスＩＤによるポインタ移動イベントのタイムスタンプを取得する。これにより、対象のデバイスＩＤの携帯端末の操作時間帯が特定されると共に（Ｓ１１）、デバイスＩＤによる時系列のポインタの描画位置の軌跡情報が特定される（Ｓ１２）。

そして、行動情報生成部５２は、特定された時間帯情報に基づいて、ページ遷移テーブルＴ７を参照し、時間帯に対応するページ情報を取得する（Ｓ１２）。また、行動情報生成部５２は、特定した時間帯情報に基づいて、エリア描画サイズ制御テーブルＴ５を参照し、時間帯に対応するエリアポインタのサイズ情報等を取得する（Ｓ１２）。さらに、行動情報生成部５２は、特定した時間帯情報に基づいて、音声録音開始・停止テーブルＴ６を参照し、時間帯に対応する音声ファイルにおける位置情報を取得する（Ｓ１３）。

この結果、デバイスＩＤに基づいて、会議資料のページ、当該ページ内におけるポインタの描画位置の軌跡情報（Ｓ１１）、エリアポインタが描画された領域（Ｓ１２）、音声ファイルの位置情報（Ｓ１３）が取得される。このように、本実施の形態例におけるサーバＳＶは、テーブルが有するページに対応するポインタの時系列の描画位置情報を含む描画履歴情報に基づいて、会議資料の時系列の表示ページに対応するポインタの描画位置情報、ポインタが描画された時の音声ファイルの少なくとも一部を示す音声位置情報を生成する。

これにより、ユーザは、デバイスＩＤの携帯端末を有する参加者が、会議資料のどのページにおけるどの位置を指し示し、どのような内容を発言したかを特定することができる。つまり、ユーザは、会議に参加していなくても、行動情報に基づいて、誰が、会議資料のいずれのページ内のいずれの位置に対して、どのような発言をしたかを検知することができる。

続いて、別の行動情報であるポインタの描画活性度の生成処理について説明する。

［行動情報の生成処理：その２］
図１７は、ページ、及び、表示ページに対応するポインタ描画活性度の生成処理について説明する図である。この例では、表示ページの描画活性度を生成する場合を例示するが、ページ単位の描画活性度は、例えば、同一ページを示す表示ページの描画活性度の累計や平均によって生成される。行動情報生成部５２は、まず、ページ遷移テーブルＴ７を参照して、各表示ページの表示時間帯、即ち、停留時間帯Ｔ_ｉを特定する。

そして、第１に、行動情報生成部５２は、特定された各表示ページの停留時間帯Ｔ_ｉに基づいてポインタ移動テーブルＴ３を参照し、全体における対象表示ページのポインタの描画量の割合Ｐ_ｉ、ＰＵ_ｉを算出する（Ｓ２１、Ｓ２２）。まず、行動情報生成部５２は、全体における停留時間帯Ｔ_ｉの移動イベントの割合Ｐ_ｉを算出する（Ｓ２１）。具体的に、行動情報生成部５２は、ポインタ移動テーブルＴ３を参照し、会議中の全ての移動イベント数における停留時間帯Ｔ_ｉのポインタ移動イベント数の割合を、停留時間帯Ｔ_ｉのポインタ移動イベントの割合Ｐ_ｉとして算出する。例えば、会議中の全ての移動イベント数が１００、停留時間帯Ｔ_ｉポインタの移動イベント数が１０の場合、割合Ｐ_ｉは１０％となる。

本実施の形態例において、ポインタ移動イベントは、ポインタ制御状態において、定期的に生成される。このため、ポインタ移動イベントの数は、ポインタの描画時間を意味する。即ち、割合Ｐ_ｉは、会議中の全てのポインタの描画時間のうち、停留時間帯Ｔ_ｉにおけるポインタの描画時間を示す。

続いて、行動情報生成部５２は、停留時間帯Ｔ_ｉにポインタ描画を行った参加者の割合ＰＵ_ｉを算出する（Ｓ２２）。具体的に、行動情報生成部５２は、ポインタ移動テーブルＴ３を参照し、全ての参加者における停留時間帯Ｔ_ｉにポインタの移動イベントを送信したデバイスＩＤの種類、即ち、描画を行った参加者数の割合を割合ＰＵ_ｉとして算出する。例えば、会議中の参加者が５人、停留時間帯Ｔ_ｉにポインタの描画を行った参加者数が２の場合、割合ＰＵ_ｉは４０％となる。

第２に、行動情報生成部５２は、特定された各表示ページの停留時間帯Ｔ_ｉに基づいてエリア描画サイズ制御テーブルＴ５を参照し、全体における対象表示ページのエリアポインタの描画量の割合Ｒ_ｉ、ＲＵ_ｉを算出する（Ｓ２３、Ｓ２４）。まず、行動情報生成部５２は、全体における停留時間帯Ｔ_ｉのエリア描画制御イベントの割合Ｒ_ｉを算出する（Ｓ２３）。具体的に、行動情報生成部５２は、エリア描画サイズ制御テーブルＴ５を参照し、会議中の全てのエリアサイズ制御イベント数における停留時間帯Ｔ_ｉのエリアサイズ制御イベント数の割合を、停留時間帯Ｔ_ｉのエリア描画制御イベントの割合Ｒ_ｉとして算出する。

本実施の形態例において、エリア描画サイズ制御イベントは、エリア描画制御状態において、定期的に生成される。このため、エリア描画サイズ制御イベントの数は、エリアポインタの描画時間を意味する。即ち、割合Ｒ_ｉは、会議中の全てのエリアポインタの描画時間のうち、停留時間帯Ｔ_ｉにおけるエリアポインタの描画時間を示す。

続いて、行動情報生成部５２は、停留時間帯Ｔ_ｉにエリアポインタの描画を行った参加者の割合ＲＵ_ｉを算出する（Ｓ２４）。具体的に、行動情報生成部５２は、エリア描画サイズ制御テーブルＴ５を参照し、全ての参加者における、停留時間帯Ｔ_ｉにエリア描画サイズ制御イベントを送信したデバイスＩＤの種類、即ち、エリアポインタの描画を行った参加者数の割合を割合ＲＵ_ｉとして算出する。

そして、行動情報生成部５２は、算出されたポインタの描画量の割合Ｐ_ｉ、ＰＵ_ｉ、エリアポインタの描画量の割合Ｒ_ｉ、ＲＵ_ｉに基づいて、描画活性度を算出する。数式５は、描画活性度の算出する数式である。数式５では、ポインタの描画量の割合Ｐ_ｉ、ＰＵ_ｉと、エリアポインタの描画量の割合Ｒ_ｉ、ＲＵ_ｉが加算されることによって、描画活性度が算出される。
Ｒａｎｋ_ｉ＝ａ_１Ｐ_ｉ＋ａ_２ＰＵ_ｉ＋ａ_３Ｐ_ｉ＋ａ_４ＰＵ_ｉ
（ａ_ｉは重み係数でΣａ_ｉ＝１） …数式５
また、数式５の例のように、加算対象の各割合Ｐ_ｉ、ＰＵ_ｉ、Ｒ_ｉ、ＲＵ_ｉには、重み係数ａ_ｉが付与されてもよい。これにより、例えば、重み係数ａ_３、ａ_４を大きくした場合、エリアポインタの描画量（描画時間及び描画した携帯端末の数）の反映度合いを高くしたポインタの描画活性度が算出可能になる。また、例えば、重み係数ａ_１、ａ_３を大きくした場合、ポインタ及びエリアポインタの描画時間の反映度合いを高くしたポインタの描画活性度が算出可能になる。

このように、本実施の形態例における会議システムによると、サーバＳＶに蓄積された描画履歴情報に含まれる描画されたポインタの時系列の描画位置情報に基づいて、行動情報として、会議資料のページまたは表示ページに対応して、ポインタの描画量の度合いを示す描画活性度が生成される。また、ポインタの描画活性度は、ページにおけるポインタの描画時間、または、描画した携帯端末の数のいずれか、または両方を示すポインタの描画量に基づいて、ポインタの描画量が多い程、ポインタの描画活性度を高くするように生成される。

これにより、ユーザは、会議資料のページのうち、いずれのページ、及び表示ページで最もポインタの描画が行われたか、即ち、最も発言や議論が活性化したかを検知することができる。そこで、ユーザは、活性の度合いに基づく会議の中心となるページを検知すると共に、当該ページが表示されていたときの音声ファイルの位置や区画を特定することができる。なお、描画活性度は、次の場合にも適用可能である。例えば、商品の商談等の会議において、会議資料の複数のページにそれぞれ商品が提示される場合、ユーザは、描画活性度に基づいて、ページに対応する商品の購買意欲を特定することができる。例えば、描画活性度の高いページに搭載された商品を重点的に売り込む等の判定が可能になる。

［行動情報の生成処理：その３］
図１８は、表示ページ内の位置に対応するポインタ描画活性度の生成処理について説明する図である。この例では、表示ページ内の位置に対応する描画活性度を生成する場合を例示する。例えば、ページ内の位置に対応する描画活性度は、例えば、同一ページを示す表示ページの描画活性度の累計によって生成可能である。

まず、行動情報生成部５２は、ページ遷移テーブルＴ７を参照して、各表示ページの表示時間帯、即ち、停留時間帯を特定する。そして、行動情報生成部５２は、特定された各表示ページの停留時間帯に基づいてポインタ移動テーブルＴ３を参照し、デバイスＩＤ別のポインタの描画位置情報の軌跡を検出する。そして、ポインタの描画位置の軌跡点に基づいて、当該軌跡点を包含する最小のエリアを注目エリアとして算出する。注目エリアは、描画活性度が高いエリアを示す。

具体的に、例えば、エリアポインタが矩形のエリアである場合、行動情報生成部５２は、二次元の軌跡点の集合に基づいて、ＡＡＢＢ(Axis Aligned Bounding Box)構造を作成する。そして、行動情報生成部５２は、ＡＡＢＢ構造の示す最小エリアの矩形を注目エリアとして検出する。または、例えば、行動情報生成部５２は、二次次元の軌跡点に基づく最小包含円法によって最小エリアの円形を抽出し、注目エリアとして検出する。これにより、行動情報生成部５２は、ポインタの描画位置情報を包含する注目エリアをデバイスＩＤ別に検出する。

図１８では、例えば、３つのデバイスＩＤに対応する注目エリアＥＡ、ＥＢ、ＥＣがそれぞれ表示される。この例において、点線軌跡ｘａは携帯端末ｆＡ、点線軌跡ｘｂは携帯端末ｆＢ、点線軌跡ｘｃは携帯端末ｆＣによって描画されたポインタの描画位置の軌跡を示す。また、エリアＥＡ、ＥＢ、ＥＣは、各携帯端末の描画位置の軌跡点ｘａ、ｘｂ、ｘｃに基づく注目エリアである。さらに、それぞれの注目エリアＥＡ、ＥＢ、ＥＣの重複部分に基づいて、描画活性度の高い、即ち、最も注目されたエリアＥＺが検出可能になる。この例において、重複度の最も高い位置ＥＺの描画活性度は高く、注目エリアが対応しない位置の描画活性度は低い。

このように、テーブルが示す描画されたポインタの時系列の描画位置情報を含む描画履歴情報に基づいて、行動情報として、会議資料のページ内の位置、または表示ページ内の位置に対応して、ポインタの描画量の度合いを示す描画活性度が生成される。また、ポインタの描画活性度は、ページにおけるポインタの描画位置情報に基づいて、ポインタの描画位置に対応するページ内の位置の描画活性度を高くするように生成される。

これにより、ユーザは、会議資料のページ内、及び表示ページ内の位置に対応して、ポインタの描画が行われた位置、及び、ポインタの描画が重複して行われた位置を検知することができる。このため、ユーザは、最も発言や議論が活性化したページを検知するだけでなく、ポインタの描画が重点的に行われたページ内の注目エリアを検知することができる。なお、例えば、商品の商談等の会議において、会議資料であるページの複数箇所に異なる商品が提示される場合、ページ内の位置に対応する描画活性度に基づいて、対応する商品の購買意欲を特定することも可能である。

以上のように、本実施の形態例における会議システムは、サーバＳＶと、サーバＳＶに接続可能な携帯端末とを有する。そして、携帯端末は、携帯端末の姿勢情報を検出する姿勢推定手段と、ユーザ（参加者）によって携帯端末に行われた操作情報を検出する操作手段と、姿勢推定手段及び操作手段によって検出された姿勢情報及び操作情報を描画イベントとして、サーバＳＶに送信するイベント送信手段とを有する。また、サーバＳＶは、１または複数ページの会議資料の画像情報と、描画イベントに基づいて会議資料に重ねて描画されるポインタの画像情報とを生成する画像情報生成手段と、描画されたポインタの描画履歴情報に基づいて、会議資料に対応する行動情報を生成する行動情報生成手段とを有する。

これにより、ユーザは、会議資料に対応する行動情報に基づいて、会議資料の各ページに対応するポインタの描画位置、及び、描画量を参照することにより、会議内容を効率的に把握することができる。さらに、図３に示したように、会議資料の各ページに対応する時系列の行動情報を可視化することにより、ユーザは、より効率的に会議の内容を把握することが可能になる。また、本実施の形態例における会議システムでは、スマートフォン等の携帯端末をポインティングデバイスとして使用する。一般的に、携帯端末には、姿勢推定手段、及び、操作手段が予め備わっていることから、会議システムは、新たなデバイスを用意する必要がない。これにより、本実施の形態例における会議システムは、既存の携帯端末の既存機能を利用することによって、会議内容を効率的に、低コストによって把握可能にする。

また、本実施の形態例の会議システムにおける携帯端末は、さらに、ユーザ（参加者）の発話情報を取得して音声ファイルを生成する音声取得手段を有し、携帯端末のイベント送信手段は、さらに、音声ファイルを音声イベントとしてサーバＳＶに送信する。また、サーバＳＶの行動情報生成手段は、描画履歴情報に含まれる描画されたポインタの時系列の描画位置情報に基づいて、行動情報として、会議資料の時系列の表示ページに対応するポインタの描画位置情報、ポインタが描画された時の音声ファイルの少なくとも一部を示す音声位置情報のいずれか、または、両方を生成する。

これにより、ユーザは、会議資料の時系列の表示ページに対応するポインタの描画位置情報に基づいて、会議資料のどのページにおけるどの位置にポインタが描画されたかを検知できる。また、ユーザは、会議資料の時系列の表示ページに対応するポインタ描画時の音声ファイルの位置を検知することができる。これにより、ユーザは、ある携帯端末を有する参加者が、会議資料におけるいずれのページのいずれの位置を指し示しながら、どのような発言を行ったかを検知することができる。このように、会議に参加していない第３者であっても、行動情報に基づいて、誰が、会議資料のいずれのページ内のいずれの位置に対して、どのような発言をしたかを効率的に検知することができる。これにより、会議の議事録の作成作業や、会議音声の聞きなおし作業が省略可能になり、会議内容を効率的に把握可能にすることが可能になる。

また、本実施の形態例における会議システムにおいて、サーバＳＶの行動情報生成手段は、行動情報として、さらに、会議資料の時系列の表示ページ、または、時系列の表示ページ内の位置に対応して、ポインタの描画量の度合いを示す描画活性度を生成する。

これにより、ユーザは、ページまたは表示ページに対応する描画活性度を参照することによって、ポインタの描画が多量に行われたページまたは表示ページを検知することができる。また、ユーザは、描画活性度に基づいて検知したページにおけるポインタの描画位置情報や、ポインタ描画時の音声ファイルの音声位置情報（区画情報）を検知可能になる。即ち、ユーザは、会議資料のページのうち、いずれのページ及び表示ページで最もポインタの描画が行われたか、即ち、発言や議論が活性化したかを検知することができると共に、その時に行われた発言の発言者や発言内容を検知することができる。

または、本実施の形態例における会議システムにおいて、サーバＳＶの行動情報生成手段は、描画履歴情報に含まれる描画されたポインタの時系列の描画位置情報に基づいて、行動情報として、会議資料のページ、または、ページ内の位置に対応して、ポインタの描画量の度合いを示す描画活性度を生成する。また、行動情報生成手段は、会議資料の時系列の表示ページ、または、時系列の表示ページ内の位置に対応して、描画活性度を生成してもよい。

これにより、ユーザは、会議資料のページ内、及び表示ページ内の位置に対応する、ポインタの描画が行われた位置（注目エリア）、及び、ポインタの描画が重複して行われた位置（重複した注目エリア）を検知することができる。このため、ユーザは、最も発言や議論が行われたページを検知することに加えて、ポインタの描画が集中したページ内の位置を検知することができる。

また、ページに対応するポインタの描画活性度は、ページにおけるポインタの描画時間、または、描画した携帯端末の数のいずれか、または両方を示すポインタの描画量に基づいて、ポインタの描画量が多い程、ポインタの描画活性度を高くするように生成される。これにより、単にページが表示されていた時間によることなく、ページ表示時におけるポインタの描画時間や、ポインタを描画した携帯端末の数に基づいて描画活性度が生成される。このため、会議において実質的に議論や発言が活性化したページが、描画活性度の高いページとして検知可能になる。

または、ページ内の位置に対応するポインタの描画活性度は、ページにおけるポインタの描画位置情報に基づいて、ポインタの描画位置に対応するページ内の位置の描画活性度を高くするように生成される。これにより、ページ内に複数のセクションがあるような場合、いずれのセクションに対して、実質的に議論や発言が活性化したかが検知可能になる。

なお、ポインタの描画活性度は、携帯端末毎に区別して生成されてもよい。これにより、参加者毎の、ポインタの描画が多量に行われたページまたは表示ページの検知が可能になる。また、あるページについて、参加者別の注目エリアの検知が可能になる。

また、本実施の形態例では、１つのサーバＳＶが、ポインタの描画処理、及び、行動情報の生成処理を行うが、この例に限定されるものではない。会議システムは、画像情報生成手段を有する第１のサーバＳＶと、行動情報生成手段を有する第１のサーバＳＶとは異なる第２のサーバＳＶとを有してもよい。

なお、本実施の形態例において、ポインタの描画活性度は、会議の終了後に生成されるが、会議内における所定の時間毎に生成されてもよい。例えば、ポインタの描画活性度は、３０分毎に生成される。これにより、ユーザは、会議中に、描画活性度に基づいて、会議が十分に活性化しているか否かを判定することができる。例えば、会議の主催者は、商談やデジタルサイネージによるプレゼンテーション等の会議中に、ポインタの描画活性度が期待される度合いに達していない場合、発言の内容やプレゼンテーション方式、会議資料の内容を切り替えることにより、会議内容の活性化を図ることができる。

なお、本実施の形態例におけるサーバＳＶのイベントの受信処理、画像情報の生成処理、行動情報の生成処理は、コンピュータ読み取り可能な記録媒体にプログラムとして記憶され、当該プログラムをコンピュータが読み出して実行することによって行われてもよい。

以上の実施の形態をまとめると、次の付記のとおりである。

（付記１）
サーバ（ＳＶ）と、前記サーバに接続可能な携帯端末（ｆｆ、ｆＡ、ｆＢ）とを有する会議システムであって、
前記携帯端末は、
前記携帯端末の姿勢情報を検出する姿勢推定手段（４２）と、
ユーザによって前記携帯端末に行われた操作情報を検出する操作手段（４４）と、
前記姿勢推定手段及び前記操作手段によって検出された前記姿勢情報及び前記操作情報を描画イベントとして、前記サーバに送信するイベント送信手段（４１）と、を有し、
前記サーバは、
１または複数ページの会議資料の画像情報と、前記描画イベントに基づいて前記会議資料に重ねて描画されるポインタの画像情報とを生成する画像情報生成手段（５１）と、
前記描画されたポインタの描画履歴情報に基づいて、前記会議資料に対応する行動情報を生成する行動情報生成手段（５２）と、を有する会議システム。（１）
（付記２）
付記１において、
前記携帯端末は、さらに、
ユーザの発話情報を取得して音声ファイルを生成する音声取得手段（４５）を有し、
前記携帯端末の前記イベント送信手段は、さらに、前記音声ファイルを音声イベントとして前記サーバに送信し、
前記サーバの前記行動情報生成手段は、前記描画履歴情報に含まれる前記描画されたポインタの時系列の描画位置情報に基づいて、前記行動情報として、前記会議資料の時系列の表示ページに対応する前記ポインタの描画位置情報、前記ポインタが描画された時の前記音声ファイルの少なくとも一部を示す音声位置情報のいずれか、または、両方を生成する会議システム。（２）
（付記３）
付記２において、
前記サーバの前記行動情報生成手段は、前記行動情報として、さらに、前記会議資料の時系列の表示ページ、または、前記時系列の表示ページ内の位置に対応して、前記ポインタの描画量の度合いを示す描画活性度（ｍ１〜ｍ３）を生成する会議システム。（３）
（付記４）
付記１において、
前記サーバの前記行動情報生成手段は、前記描画履歴情報に含まれる前記描画されたポインタの時系列の描画位置情報に基づいて、前記行動情報として、前記会議資料の前記ページ、または、ページ内の位置に対応して、前記ポインタの描画量の度合いを示す描画活性度を生成する会議システム。（４）
（付記５）
付記４において、
前記サーバの前記行動情報生成手段は、前記会議資料の時系列の表示ページ、または、前記時系列の表示ページ内の位置に対応して、前記描画活性度を生成する会議システム。（５）
（付記６）
付記３または５において、
前記ページに対応する前記ポインタの描画活性度は、前記ページにおける前記ポインタの描画時間、または、描画した前記携帯端末の数のいずれか、または両方を示す前記ポインタの描画量に基づいて、前記ポインタの描画量が多い程、前記ポインタの描画活性度を高くするように生成される会議システム。（６）
（付記７）
付記３または５において、
前記ページ内の位置に対応する前記ポインタの描画活性度は、前記ページにおける前記ポインタの描画位置情報に基づいて、前記ポインタの描画位置に対応する前記ページ内の位置の描画活性度を高くするように生成される会議システム。（７）
（付記８）
付記３または５において、
前記サーバには、複数の前記携帯端末が接続され、
前記ポインタの描画活性度は、前記携帯端末毎に区別して生成される会議システム。（８）
（付記９）
付記１乃至８のいずれかにおいて、
前記サーバは、
前記画像情報生成手段を有する第１のサーバと、
前記行動情報生成手段を有する、前記第１のサーバとは異なる第２のサーバと、を有する会議システム。（９）
（付記１０）
付記１乃至９のいずれかにおいて、
前記描画イベントは、前記ポインタの描画位置の移動を指示するポインタ移動イベントを含む会議システム。（１０）
（付記１１）
付記１０において、
前記描画イベントは、さらに、前記ポインタの描画位置を基点とするサイズ可変エリアの描画を指示するエリア描画制御イベントを含む会議システム。（１１）
（付記１２）
携帯端末と接続可能なサーバであって、
前記携帯端末が検出する姿勢情報と、前記携帯が検出する操作情報とを描画イベントとして受信する受信手段と、
１または複数ページの会議資料と、前記描画イベントに基づいて前記会議資料に重ねて描画されるポインタの画像情報とを生成する画像情報生成手段と、
前記描画されたポインタの描画履歴情報に基づいて、前記会議資料に対応する行動情報を生成する行動情報生成手段と、を有するサーバ。（１２）
（付記１３）
会議情報生成処理をコンピュータに実行させるコンピュータ読み取り可能な会議情報生成プログラムであって、
前記会議情報生成処理は、
前記コンピュータに接続可能な携帯端末が検出する姿勢情報と、前記携帯端末が検出する操作情報とを描画イベントとして受信する受信工程と、
１または複数ページの会議資料と、前記描画イベントに基づいて前記会議資料に重ねて描画されるポインタの画像情報とを生成する画像情報生成工程と、
前記描画されたポインタの描画履歴情報に基づいて、前記会議資料に対応する行動情報を生成する行動情報生成工程と、を有する会議情報生成プログラム。（１３）

ｆＡ：携帯端末、２０：メモリ、２１：ＣＰＵ、２２：通信手段、２３：センサ、２４：タッチパネル、マイク：２５、ＳＶ：サーバ、１０表示装置、１１：ＲＴＣ、１２：ＣＰＵ、１３：メモリ、１４：通信手段、ＤＢ：データベース

Claims (11)

1. サーバと、前記サーバに接続可能な携帯端末とを有する会議システムであって、
   前記携帯端末は、
   前記携帯端末の姿勢情報を検出する姿勢推定手段と、
   前記携帯端末に行われた操作情報を検出する操作検出手段と、
   前記姿勢推定手段及び前記操作検出手段によって検出された前記姿勢情報及び前記操作情報を描画イベントとして、前記サーバに送信するイベント送信手段と、を有し、
   前記サーバは、
   前記描画イベントに基づいて、１または複数ページの会議資料の各ページの画像に重ねて表示されるポインタの画像を生成し、前記会議資料の画像と前記ポインタの画像とを重ねて表示する画像表示手段と、
   前記表示されたポインタの前記会議資料の各ページの表示履歴情報を生成し、前記表示履歴情報に基づいて、継続して表示されるページの単位を示し同一ページであっても別ページの後に再表示された場合に異なる表示ページとなる表示ページごとに、前記ポインタの表示量を示すポインタ活性度を生成する行動情報生成手段と、を有する会議システム。
2. 請求項１において、
   前記携帯端末は、さらに、
   ユーザの発話情報を取得して音声ファイルを生成する音声取得手段を有し、
   前記携帯端末の前記イベント送信手段は、さらに、前記音声ファイルを音声イベントとして前記サーバに送信し、
   前記サーバの前記行動情報生成手段は、前記表示履歴情報に基づいて、前記表示ページの前記ポインタの表示位置情報、前記ポインタが表示された時の前記音声ファイル内の位置を識別する音声位置情報のいずれか、または、両方を生成する、会議システム。
3. 請求項１、または２において、
   前記サーバの前記行動情報生成手段は、さらに、前記表示ページ内の領域ごとに、前記ポインタ活性度を生成する会議システム。
4. 請求項１において、
   前記ポインタの表示量は、前記ポインタの表示時間、または、前記表示した前記携帯端末の数のいずれか、または両方を示し、前記表示量が多い程、前記ポインタ活性度を高くするように生成される会議システム。
5. 請求項３において、
   前記領域に対応する前記ポインタ活性度は、前記ポインタの表示位置を含む領域のポインタ活性度を高くするように生成される会議システム。
6. 請求項１において、
   前記サーバには、複数の前記携帯端末が接続され、
   前記ポインタ活性度は、前記携帯端末毎に区別して生成される会議システム。
7. 請求項１乃至６のいずれかにおいて、
   前記サーバは、
   前記画像表示手段を有する第１のサーバと、
   前記行動情報生成手段を有する、前記第１のサーバとは異なる第２のサーバと、を有する会議システム。
8. 請求項１乃至７のいずれかにおいて、
   前記描画イベントは、前記ポインタの表示位置の移動を指示するポインタ移動イベントを含む会議システム。
9. 請求項８において、
   前記描画イベントは、さらに、前記ポインタの表示位置を基点とするサイズ可変エリアの描画を指示するエリア描画制御イベントを含む会議システム。
10. 携帯端末と接続可能なサーバであって、
    前記携帯端末が検出する姿勢情報と、前記携帯端末が検出する操作情報とを描画イベントとして受信する受信手段と、
    前記描画イベントに基づいて、１または複数ページの会議資料の各ページの画像に重ねて表示されるポインタの画像を生成し、前記会議資料の画像と前記ポインタの画像とを重ねて表示する画像表示手段と、
    前記表示されたポインタの前記会議資料の各ページの表示履歴情報を生成し、前記表示履歴情報に基づいて、継続して表示されるページの単位を示し同一ページであっても別ページの後に再表示された場合に異なる表示ページとなる表示ページごとに、前記ポインタの表示量を示すポインタ活性度を生成する行動情報生成手段と、を有するサーバ。
11. 会議情報生成処理をコンピュータに実行させるコンピュータ読み取り可能な会議情報生成プログラムであって、
    前記会議情報生成処理は、
    前記コンピュータに接続可能な携帯端末が検出する姿勢情報と、前記携帯端末が検出する操作情報とを描画イベントとして受信する受信工程と、
    前記描画イベントに基づいて、１または複数ページの会議資料の各ページの画像に重ねて表示されるポインタの画像を生成し、前記会議資料の画像と前記ポインタの画像とを重ねて表示する画像表示工程と、
    前記表示されたポインタの前記会議資料の各ページの表示履歴情報を生成し、前記表示履歴情報に基づいて、継続して表示されるページの単位を示し同一ページであっても別ページの後に再表示された場合に異なる表示ページとなる表示ページごとに、前記ポインタの表示量を示すポインタ活性度を生成する行動情報生成工程と、を有する会議情報生成プログラム。

Images