[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5094804B2 - 会議中継装置及びコンピュータプログラム - Google Patents

会議中継装置及びコンピュータプログラム Download PDF

Info

Publication number
JP5094804B2
JP5094804B2 JP2009200948A JP2009200948A JP5094804B2 JP 5094804 B2 JP5094804 B2 JP 5094804B2 JP 2009200948 A JP2009200948 A JP 2009200948A JP 2009200948 A JP2009200948 A JP 2009200948A JP 5094804 B2 JP5094804 B2 JP 5094804B2
Authority
JP
Japan
Prior art keywords
conference
unit
keyword
communication
participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009200948A
Other languages
English (en)
Other versions
JP2011055160A (ja
Inventor
大輔 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009200948A priority Critical patent/JP5094804B2/ja
Priority to US12/856,753 priority patent/US20110055227A1/en
Priority to CN2010102667346A priority patent/CN102006176A/zh
Publication of JP2011055160A publication Critical patent/JP2011055160A/ja
Application granted granted Critical
Publication of JP5094804B2 publication Critical patent/JP5094804B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、通信可能に接続された複数の通信装置間で行なわれる通信会議を中継する会議中継装置、該会議中継装置をコンピュータによって実現するためのコンピュータプログラムに関する。
従来より、複数の拠点のそれぞれに設けられたテレビ会議端末をネットワークを介して接続して構成されたテレビ会議システムが普及している。このようなテレビ会議システムを用いることにより、離れた拠点における参加者間での会議が可能となる。また、会議で使用された複数の会議資料のそれぞれの提示時間、複数の会議参加者のそれぞれの発言時間、各発言がなされたときに提示されていた会議資料等を管理する装置が提案されている(特許文献1参照)。特許文献1に開示された装置は、上述した各情報を管理しておくことにより、各会議において、各会議参加者の発言状況を把握できる。また、特許文献1に開示された発明は、上述した各情報を用いて、議論の盛り上がり状況を把握できる。
特開平11−272679号公報
しかしながら、特許文献1に開示された装置は、各会議参加者の発言頻度等に基づいて、議論の盛り上がり状況を算出する構成であり、各会議参加者の発言内容については考慮していない。従って、会議参加者による発言が頻繁に行なわれていれば、議論の内容が本論から逸れている場合であっても、「議論が盛り上がっている」と判断されるという問題がある。
本発明はかかる事情に鑑みてなされたものであり、その目的とするところは、会議の参加者間でやり取りされる内容を考慮して、会議が本論から逸れているか否か等の会議の状況を判断することが可能な会議中継装置及びコンピュータプログラムを提供することにある。
本発明に係る会議中継装置は、複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、複数のキーワードを記憶する記憶部と、前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、該判定部が前記情報に前記キーワードのいずれかが含まれていると判定した場合の得点と、前記判定部が前記情報に前記キーワードが含まれていないと判定した場合の得点とに基づいて累積得点を算出する算出部と、該算出部が算出した累積得点に基づいて、前記通信会議の状況を判断する状況判断部とを備えることを特徴とする。
本発明に係る会議中継装置は、複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、前記通信装置間で送受信される情報は、テキスト情報を含み、複数のキーワードを記憶する記憶部と、前記通信装置間で送受信されるテキスト情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、該判定部の判定結果に基づいて、前記通信会議の状況を判断する状況判断部とを備えることを特徴とする。
本発明に係る会議中継装置は、複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、複数のキーワードを記憶する記憶部と、前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、該判定部の判定結果に基づいて、前記通信会議の状況が前記キーワードを含む所定の内容から逸れているか否かを判断する状況判断部と、該状況判断部によって前記通信会議の状況が所定の内容から逸れていると判断された場合、前記通信会議の状況を所定の内容に戻す旨を通知する通知部とを備えることを特徴とする。
本発明に係る会議中継装置は、複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、複数のキーワードを記憶する記憶部と、前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、該判定部の判定結果に基づいて、前記通信会議の状況を判断する状況判断部と、前記通信装置間で送受信される情報から単語を抽出する抽出部と、該抽出部が抽出した単語の出現頻度を計数する出現頻度計数部と、該出現頻度計数部が計数した出現頻度が所定回数以上となった単語をキーワードとして前記記憶部に登録する登録部とを備えることを特徴とする。
本発明に係る会議中継装置は、前記通信装置間で送受信される情報は、音声情報を含み、前記通信装置間で送受信される音声情報を認識してテキスト情報に変換する音声認識部を備え、前記判定部は、前記音声認識部が変換したテキスト情報に前記キーワードのいずれかが含まれているか否かを判定するようにしてあることを特徴とする。
本発明に係る会議中継装置は、前記記憶部に記憶されているキーワードの類似語を記憶する類似語記憶部を備え、前記判定部は、前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワード及び前記類似語記憶部に記憶されている類似語のいずれかが含まれているか否かを判定するようにしてあることを特徴とする。
本発明に係る会議中継装置は、前記状況判断部の判断結果を報知する報知部を備えることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、上述したいずれかひとつの会議中継装置が備える各部を実現させることを特徴とする。
本発明によれば、会議中継装置は、通信可能に接続された複数の通信装置間で行なわれる通信会議を中継する。会議中継装置は、複数のキーワードを記憶部に記憶しており、通信装置間で送受信される情報に、記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する。また、会議中継装置は、判定結果に基づいて、通信会議の状況を判断する。即ち、会議中継装置は、通信会議にて送受信される可能性のあるキーワードを予め記憶部に記憶しておく。そして、会議中継装置は、実際の通信会議にて送受信された情報に、記憶しておいたキーワードのいずれかが含まれているか否かに基づいて、通信会議が本論から逸れているか等の状況を判断する。
本発明によれば、会議中継装置は、通信装置間で送受信される情報にキーワードが含まれていると判定された場合と、含まれていないと判定された場合とにおいてそれぞれ異なる得点を加算して累積得点を算出する。また、会議中継装置は、算出した累積得点に基づいて、通信会議が本論から逸れているか等の状況を判断する。よって、会議中継装置は、通信装置間で送受信される情報にキーワードが含まれているか否かに応じて、通信会議が本論から逸れているか等の状況を数値で評価するので、より適切に会議の状況を判断できる。
本発明によれば、会議中継装置は、通信装置間で送受信される情報として音声情報を中継する場合、取得した音声情報を認識してテキスト情報に変換する。会議中継装置は、変換したテキスト情報に、記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定し、判定結果に基づいて、通信会議の状況を判断する。よって、会議中継装置は、実際の通信会議にて送受信された音声情報に、記憶しておいたキーワードが含まれるか否かに基づいて、通信会議が本論から逸れているか等の状況を判断する。
本発明によれば、会議中継装置は、通信装置間で送受信される情報としてテキスト情報を中継する場合、取得したテキスト情報に、記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定し、判定結果に基づいて、通信会議の状況を判断する。よって、会議中継装置は、実際の通信会議にて送受信されたテキスト情報に、記憶しておいたキーワードが含まれるか否かに基づいて、通信会議が本論から逸れているか等の状況を判断する。
本発明によれば、会議中継装置は、記憶部に記憶されているキーワードの類似語を類似語記憶部に記憶している。会議中継装置は、通信装置間で送受信される情報に、記憶部に記憶されているキーワード及び類似語記憶部に記憶されている類似語のいずれかが含まれるか否かの判定結果に基づいて、通信会議の状況を判断する。よって、会議中継装置は、実際の通信会議にて送受信された情報に、予め記憶してあるキーワードだけでなく、キーワードに類似する類似語が含まれるか否かに基づいて、通信会議が本論から逸れているか等の状況を判断する。
本発明によれば、会議中継装置は、判断した会議の状況を報知する。よって、会議中継装置は、通信会議が本論から逸れているか等の状況を会議の参加者等に通知できる。
本発明によれば、会議中継装置は、通信会議の状況が、予め記憶部に記憶してあるキーワードを含む所定の内容から逸れたか否かを判断しており、所定の内容から逸れたと判断した場合、通信会議の状況を所定の内容に戻す旨を通知する。よって、会議中継装置は、通信会議が本論から逸れていると判断した場合には、本論に戻すように会議の参加者等に警告できる。
本発明によれば、会議中継装置は、通信装置間で送受信される情報から抽出した単語の出現頻度を計数し、出現頻度が所定回数以上となった単語をキーワードとして登録する。よって、会議中継装置は、キーワードとして予め記憶されていない単語であっても、通信会議での出現頻度が所定回数以上となった場合には、キーワードとして扱うことが可能となる。
本発明では、会議中継装置は、実際の通信会議にて送受信された情報に、通信会議にて送受信される可能性があるとして予め記憶部に記憶しておいたキーワードが含まれるか否かに基づいて、通信会議が本論から逸れているか等の状況を判断する。よって、会議中継装置は、会議の参加者間でやり取りされる内容を考慮して、会議が本論から逸れているか否か等の会議の状況を判断できる。
実施形態1の会議システムの構成を示す模式図である。 端末装置の内部構成を示すブロック図である。 会議サーバの内部構成を示すブロック図である。 記憶部に記憶されているテーブルの格納内容を示す模式図である。 記憶部に記憶されているテーブルの格納内容を示す模式図である。 実施形態1の会議サーバの機能構成を示す機能ブロック図である。 会議サーバによる通信会議の中継処理の手順を示すフローチャートである。 会議サーバによる通信会議の中継処理の手順を示すフローチャートである。 会議サーバによる通信会議の中継処理の手順を示すフローチャートである。 端末装置で表示される表示画面の構成例を示す模式図である。 会議サーバによる議論の判定処理の手順を示すフローチャートである。 会議サーバによる議論の判定処理の手順を示すフローチャートである。 判定結果の表示例を示す模式図である。 実施形態2の会議サーバの機能構成を示す機能ブロック図である。 発言内容DBの格納内容を示す模式図である。 会議サーバによるキーワードの登録処理の手順を示すフローチャートである。 実施形態3の会議サーバの機能構成を示す機能ブロック図である。 会議サーバによるキーワードの登録処理の手順を示すフローチャートである。
以下に、本発明に係る会議中継装置及びコンピュータプログラムについて、その実施形態を示す図面に基づいて詳述する。なお、以下の各実施形態では、本発明に係るコンピュータプログラムを公知のパーソナルコンピュータ、サーバコンピュータ等に読み取らせ、パーソナルコンピュータ又はサーバコンピュータのCPU(Central Processing Unit)等に実行させることによって本発明に係る会議中継装置を実現する構成について説明する。しかし、等価な働きをするハードウェアによって本発明に係る会議中継装置を実現してもよい。
(実施形態1)
以下に、本発明に係る会議中継装置を備えた実施形態1の会議システムについて説明する。図1は実施形態1の会議システムの構成を示す模式図である。本実施形態1の会議システム100は、複数の端末装置(通信装置)4,4…と、端末装置4,4…の一部又は全部の間で行なわれる通信会議を中継する会議サーバ(会議中継装置)1とを備える。なお、図1では、会議サーバ1は、破線の閉曲線でそれぞれ囲まれる3つの端末装置4,4,4間でそれぞれ行なわれている会議1と会議2とをそれぞれ独立して中継している。
端末装置4,4…及び会議サーバ1は、LAN(Local Area Network)又はWAN(Wide Area Network)等のIP(Internet Protocol)ネットワーク100aを介して相互に接続されている。また、端末装置4,4…及び会議サーバ1は、IPネットワーク100aを介して、例えば、H.323、T.120、SIP(Session Initiation Protocol)、HTTP(Hyper Text Transfer Protocol)等の通信プロトコルに従って、音声信号及び映像信号を含む各種の信号の送受信を行なう。なお、端末装置4,4…及び会議サーバ1は、これらの通信プロトコルを適宜組み合わせて利用してもよい。
本実施形態1の会議システム100では、端末装置4,4…及び会議サーバ1は、IPネットワーク100aを介して相互に接続されている。しかし、例えば、端末装置4,4…のそれぞれは接続されておらず、端末装置4,4…のそれぞれが会議サーバ1と1対1通信を行なうように接続されていてもよい。また、1つの端末装置4が会議サーバ1の機能を備え、この端末装置4を親機とし、他の端末装置4(子機)のそれぞれを親機と1対1通信できるように接続してもよい。
本実施形態1の会議システム100は、例えば、同一の通信会議に参加する端末装置4,4…は全て同一の部屋に設置されているものとする。即ち、例えば、同一の会議に参加する参加者の人数分の端末装置4,4…が同一の部屋に用意されており、各参加者はそれぞれ1つの端末装置4を用いて会議に参加する。そして、参加者は、自身が使用する端末装置4,4…に会議資料を表示させつつ、議長又は発言者の説明を聞き、会議に参加する。なお、端末装置4,4…は必ずしも同一の部屋に設置されている必要はなく、離れた拠点に設置されていてもよい。この場合、本実施形態1の会議システム100は、離れた拠点間での遠隔会議に用いることができる。
以下に、本実施形態1の会議システム100に用いられる端末装置4について説明する。図2は端末装置4の内部構成を示すブロック図である。本実施形態1の端末装置4は、制御部40、記憶部41、認証要求部42、入力処理部43、通信部44、信号処理部45、入力音声処理部46、出力音声処理部47、表示処理部48等を備える。制御部40、記憶部41、認証要求部42、入力処理部43、通信部44及び信号処理部45は、バスを介して相互に接続されている。また、入力音声処理部46、出力音声処理部47及び表示処理部48はそれぞれ信号処理部45に接続されている。
制御部40は、CPU、MPU(Micro Processor Unit)等であり、上述したようなハードウェア各部を制御すると共に、記憶部41に格納されている制御プログラムを適宜実行する。記憶部41は、EEPROM(Electrically Erasable and Programmable ROM)、フラッシュROM、HDD(Hard Disk Drive)等である。記憶部41は、端末装置4を動作させるために必要な種々の制御プログラム、制御部40による制御プログラムの実行時に発生する種々のデータ、自身の端末装置4に割り当てられた端末ID及びIPアドレス等を記憶する。なお、記憶部41は、制御プログラムとして、例えば、会議サーバ1を介したテレビ会議を実行するためのテレビ会議実行処理プログラム、会議サーバ1を含む外部装置で保持されている共有ドキュメントを閲覧するためのドキュメント閲覧処理プログラム等を記憶している。
認証要求部42は、会議システム100が提供する通信会議に端末装置4を用いて参加したい参加者が正当な参加者であるかの認証を会議サーバ1に要求する。具体的には、操作部34を介してユーザID及びパスワードが入力された場合、認証要求部42は、入力されたユーザID及びパスワードを通信部44から会議サーバ1へ送信し、会議サーバ1に認証を要求する。また、認証要求部42は、会議サーバ1からの認証結果を通信部44を介して取得し、取得した認証結果を制御部40へ通知する。
入力処理部43は、操作部34に接続されており、操作部34を介してユーザが入力した各種の情報を取得する。操作部34は、例えば、マウス、キーボード、タブレット等であり、ユーザが端末装置4を操作するために必要な各種のボタンを備える。入力処理部43は、ユーザが操作部34を介して入力した各種の情報を制御部40へ送出し、制御部40は、入力処理部43から取得した情報に応じた処理を実行する。
通信部44は、IPネットワーク100aに接続するためのインタフェースであり、IPネットワーク100aを介して会議サーバ1との間で情報の送受信を行なう。
入力音声処理部46は、マイクロホン31に接続されている。入力音声処理部46は、例えば、A/D(アナログ/デジタル)変換器を備え、マイクロホン31が集音したアナログの音声信号をデジタルの音声信号に変換し、信号処理部45へ出力する。信号処理部45は、音声信号を符号化する音声符号化部を備え、入力音声処理部46から取得した音声信号を符号化する。なお、信号処理部45によって符号化された音声信号は、例えば、通信部44へ転送され、通信部44を介して会議サーバ1へ送信される。これにより、端末装置4のマイクロホン31によって集音された音声信号は、会議サーバ1へ送信される。なお、音声符号化部は、例えば、G.711、G.722、G.728、G.729、MPEG(Moving Picture Experts Group)−4 AAC(Advanced Audio Coding)等の規格に従った符号化処理を行なう。
信号処理部45は、符号化された音声信号を復号する音声復号部を備える。なお、通信部44は、IPネットワーク100aを介して会議サーバ1から符号化された音声信号を受信しており、信号処理部45は、通信部44から取得した符号化された音声信号を復号する。なお、音声復号部は、音声符号化部が行なう符号化処理の規格と同一の規格に従った復号処理を行なう。信号処理部45は、通信部44から取得して復号した音声信号を出力音声処理部47へ出力する。出力音声処理部47は、スピーカ32に接続されている。出力音声処理部47は、例えば、D/A(デジタル/アナログ)変換器を備え、信号処理部45から取得したデジタルの音声信号をアナログの音声信号に変換し、スピーカ32へ出力する。これにより、会議サーバ1から受信した音声信号に基づく音声がスピーカ32から出力される。
また、信号処理部45は、符号化された映像信号を復号する映像復号部を備える。なお、通信部44は、IPネットワーク100aを介して会議サーバ1から符号化された映像信号を受信しており、信号処理部45は、通信部44から取得した符号化された映像信号を復号する。なお、映像復号部は、例えば、H.261、H.263、H.264等の規格に従った復号処理を行なう。信号処理部45は、通信部44から取得して復号した映像信号を表示処理部48へ出力する。表示処理部48は、ディスプレイ33に接続されており、信号処理部45から取得した映像信号をディスプレイ33へ出力する。これにより、会議サーバ1から受信した映像信号に基づく映像がディスプレイ33に表示される。なお、ディスプレイ33は、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)等の表示装置である。
なお、上述したように、マイクロホン31、スピーカ32、ディスプレイ33及び操作部34は、端末装置4の本体とは別体に構成されてもよいし、全てが一体に構成されてもよい。また、ディスプレイ33及び操作部34は、タッチパネル又はタブレットによって構成されてもよい。
また、本実施形態1では、会議に参加する参加者は同一の部屋で端末装置4,4…を操作する構成であるので、各端末装置4,4…を使用する各参加者の顔を撮影して、端末装置4,4…間で送受信する必要はない。しかし、会議システム100を遠隔会議に用いる場合、端末装置4,4…が離れた拠点に設置されることになる。従って、端末装置4,4…にカメラを接続し、端末装置4,4…の内部に、カメラによって撮影して得られた映像信号を処理する映像処理部を備えてもよい。なお、映像処理部は、例えば、カメラによって撮影して得られた映像信号を符号化する映像符号化部であり、映像符号化部は、例えば、H.261、H.263、H.264等の規格に従った符号化処理を行なう。
なお、本実施形態1では、会議に参加する参加者が同一の部屋で端末装置4,4…を操作する状況を想定しているので、全ての参加者が所定範囲内にいるような会議では、発話者が発した音声を直接聞くことが可能である。従って、このような会議に会議システム100を用いる場合、端末装置4,4…にスピーカ32を備える必要はない。ただし、本実施形態1の会議サーバ1は、各参加者の発言内容に基づいて、議論の盛り上がり状態を判定する機能を有するので、端末装置4,4…はマイクロホン31を必ず備えている。
以下に、本実施形態1の会議システム100に用いられる会議サーバ1について説明する。図3は会議サーバ1の内部構成を示すブロック図である。本実施形態1の会議サーバ1は、制御部10、認証部11、通信部12、記憶部20等を備える。上述したハードウェア各部は、バスを介して相互に接続されている。制御部10は、CPU、MPU等であり、上述したようなハードウェア各部を制御すると共に、記憶部20に格納されている制御プログラムを適宜実行する。
記憶部20は、HDD等の大容量の記憶装置である。記憶部20は、会議サーバ1を動作させるために必要な種々の制御プログラム、制御部10による制御プログラムの実行時に発生する種々のデータ等を記憶する。また、本実施形態1の会議サーバ1は、ウェブサーバの機能を有しており、ウェブサーバとしてIPネットワーク100aを介して公開しているウェブページを記憶部20に記憶している。更に、記憶部20は、IPネットワーク100aを介して共有(公開)されている会議資料データ、図4(a)に示すようなユーザ情報テーブル21、図4(b)に示すような予約状況管理テーブル22、図4(c)に示すような端末・ユーザ管理テーブル23、図5(a)に示すような開催状況管理テーブル24を記憶する。
また、記憶部20は、音声信号をテキスト情報に変換する音声認識処理を制御部10が行なうための音声認識処理プログラム、音声認識処理に用いる音声認識用データベース(以下、音声認識用DBという)25を記憶する。また、記憶部20は、テキスト情報を日本語の文法に沿って単語に分解する言語解析処理を制御部10が行なうための言語解析処理プログラム、言語解析処理に用いる言語解析用データベース(以下、言語解析用DBという)26を記憶する。また、記憶部20は、通信会議で行なわれている議論が本論に沿っているか否かを判定する判定処理を制御部10が行なうための判定処理プログラム、判定処理に用いるキーワードデータベース(以下、キーワードDBという)27、判定結果データベース(以下、判定結果DBという)28を記憶する。
会議資料データは、ドキュメントデータ、画像データ等であり、IPネットワーク100aを介して端末装置4,4…で閲覧可能に公開されている。なお、会議資料データは、特定のユーザにのみ公開されているデータであってもよい。この場合、会議サーバ1は、各会議資料データの閲覧を許可されたユーザのユーザ情報(ユーザID)を保持しておき、IPネットワーク100aを介して閲覧要求してきたユーザが、予めユーザ情報を保持しているユーザであれば閲覧を許可する。なお、記憶部20に記憶されている各テーブルの詳細な構成については後述する。
認証部11は、端末装置4の操作部34を介して入力され、端末装置4の認証要求部42から送信されたユーザID及びパスワードを通信部12を介して取得する。認証部11は、取得したユーザID及びパスワードが、後述のユーザ情報テーブル21に既に登録されているか否かに基づいて、このユーザ(参加者)が会議システム100の利用を許可された正当な参加者であるかを認証する。認証部11は、取得したユーザID及びパスワードがユーザ情報テーブル21に登録されていれば、正当な参加者であると判断し、登録されていなければ、正当な参加者ではないと判断する。認証部11は、取得したユーザID及び認証結果を、ユーザID及びパスワードを送信してきた端末装置4へ返信する。
通信部12は、IPネットワーク100aに接続するためのインタフェースであり、IPネットワーク100aを介して会議サーバ1との間で情報の送受信を行なう。
図4及び図5は記憶部20に記憶されているテーブルの格納内容を示す模式図である。なお、図4(a)はユーザ情報テーブル21の格納内容を、図4(b)は予約状況管理テーブル22の格納内容を、図4(c)は端末・ユーザ管理テーブル23の格納内容をそれぞれ示す。図5(a)は開催状況管理テーブル24の格納内容を、図5(b)はキーワードDB27の格納内容をそれぞれ示す。
図4(a)に示すように、ユーザ情報テーブル21には、会議サーバ1によって提供される会議システム100の利用が可能なユーザに関するユーザ情報が格納される。ユーザ情報は、例えば、各ユーザに予め割り当てられたユーザID、各ユーザによって予め登録されたパスワード等を含む。なお、ユーザ情報は、各ユーザを識別し、各ユーザが適正であるか否かを認証するための情報であればよい。また、ユーザ情報は、各ユーザの氏名、所属、役職等を含んでもよい。ユーザ情報テーブル21の格納内容は、会議システム100の利用が可能なユーザのユーザ情報が追加、変更又は削除される都度、制御部10によって登録、更新又は削除される。なお、ユーザ情報は、会議サーバ1の操作部(図示せず)、会議サーバ1とIPネットワーク100aを介して接続された端末装置4又はその他の通信装置の操作部を介して会議サーバ1に入力される。このようなユーザ情報テーブル21によって、会議サーバ1は、会議システム100の利用が可能なユーザを管理できる。
図4(b)に示すように、予約状況管理テーブル22には、会議システム100によって開催される会議(通信会議)の予約情報が格納される。予約情報は、予約された会議に割り当てられた会議ID、会議の予約を行なったユーザ(登録者)のユーザID(登録者ID)、会議の開催日時、会議に参加するユーザ(参加者)のユーザID(参加者ID)等を含む。予約状況管理テーブル22の格納内容は、会議システム100の利用が可能なユーザが会議の開催を予約又は予約をキャンセルする都度、制御部10によって登録又は削除される。また、予約状況管理テーブル22に格納された予約情報は、登録者が予約内容を変更する都度、制御部10によって更新される。なお、予約情報も、会議サーバ1、端末装置4又はその他の通信装置の操作部を介して会議サーバ1に入力される。このような予約状況管理テーブル22によって、会議サーバ1は、予約された会議の内容を管理できる。
図4(c)に示すように、端末・ユーザ管理テーブル23には、端末装置4,4…に割り当てられた端末IDに対応付けて、各端末装置4,4…を使用中のユーザのユーザIDが格納される。端末・ユーザ管理テーブル23には、会議システム100に利用される端末装置4,4…に割り当てられている端末IDが予め格納されている。なお、端末・ユーザ管理テーブル23の端末IDは、会議システム100に利用される端末装置4,4…のうちで起動している端末装置4,4…の端末IDであってもよい。また、端末・ユーザ管理テーブル23のユーザIDは、会議システム100を利用するためにユーザが端末装置4を使用して会議サーバ1にログインした場合に、制御部10によって、端末装置4の端末IDに対応させて格納される。また、端末・ユーザ管理テーブル23のユーザIDは、会議システム100を利用しているユーザが会議サーバ1からログアウトした場合に、制御部10によって削除される。このような端末・ユーザ管理テーブル23によって、会議サーバ1は、会議システム100を利用するユーザがいずれの端末装置4を使用しているかを管理できる。
図5(a)に示すように、開催状況管理テーブル24には、会議システム100によって実際に開催されている会議(通信会議)に割り当てられた会議IDに、会議に参加中のユーザ(参加者)に関する参加者情報が対応付けて格納される。参加者情報は、会議の参加者のユーザID(参加者ID)、各参加者が使用中の端末装置4の端末ID、各参加者が閲覧中の会議資料を示す閲覧情報等を含む。開催状況管理テーブル24の参加者情報は、予約情報に登録されている登録者及び参加者のいずれかが会議に参加するために会議サーバ1にログインしてきた場合に、制御部10によって、会議IDに対応付けて登録される。また、最初にログインした参加者の参加者情報が開催状況管理テーブル24に登録された後は、各参加者が会議サーバ1にログインする都度、各参加者の参加者情報が順次追加して格納される。なお、各参加者(登録者も含む)が会議サーバ1にログインしてきた時点では、各参加者の参加者ID及び端末IDのみが開催状況管理テーブル24に格納される。
開催状況管理テーブル24の閲覧情報は、会議サーバ1が各参加者(端末装置4)からの要求に応じて会議資料データを提供する都度、制御部10によって更新される。このような開催状況管理テーブル24によって、会議サーバ1は、開催中の会議において、会議の参加者、各参加者が閲覧中の会議資料等を管理できる。なお、会議IDに対応付けられて最初の参加者情報が開催状況管理テーブル24に登録されるタイミングは、例えば、会議を予約した登録者が会議サーバ1にログインしてきた時点でもよい。
音声認識用DB25は、例えば、音声認識処理の認識結果となる認識単語のそれぞれについて読み及び音素列が対応付けて登録されている単語辞書、又は認証単語のそれぞれについて音声データ(音声信号)が対応付けて登録されている単語辞書等である。なお、各認識単語の音素列は、各認識単語に含まれる音素について、各音素の特徴を示す音響モデルの並びを示している。また、音声認識用DB25は、日本語の音素毎に各音素の特徴を表す音響モデル(音声認識の分野で通常用いられる音響パラメータ)を格納している。言語解析用DB26は、例えば、各単語のそれぞれについて表記、読み、品詞情報等が対応付けて登録されており、形態素解析に用いられる単語辞書である。
図5(b)に示すように、キーワードDB27は、予約された会議の会議IDに対応付けて、この会議の議論で各参加者が発する可能性のある複数のキーワードを記憶する。キーワードDB27の格納内容は、例えば会議の予約を行なった登録者がキーワードを設定又は変更する都度、制御部10によって登録又は更新される。なお、キーワードDB27に格納されるキーワードは、会議サーバ1の操作部、会議サーバ1とIPネットワーク100aを介して接続された端末装置4又はその他の通信装置の操作部を介して会議サーバ1に入力される。会議サーバ1は、このようなキーワードDB27を用いて、各会議での議論が、キーワードを含む内容に沿っているか否かを判定する。なお、キーワードDB27に格納されるキーワードは、会議の登録者による入力操作によって登録される構成に限らず、例えば、会議資料から自動的に抽出して登録されてもよく、このような構成については実施形態3において述べる。
判定結果DB28は、開催中の会議の会議IDに対応付けて、制御部10が記憶部20に記憶されている判定処理プログラムを実行することによって行なわれる判定処理の結果を記憶する。本実施形態1の判定結果DB28は、判定結果として、通信会議が開催されてからの経過時間に対応付けて、議論が本論に沿っているか、逸れているかを示す情報を記憶する。また、本実施形態1の会議サーバ1は、判定結果(議論が本論に沿っているか、逸れているか)に基づいて、議論に対する累積スコアを算出しており、判定結果DB28は、逐次算出(更新)される累積スコアを会議IDに対応付けて記憶する。なお、判定結果DB28は、このような構成に限らず、例えば、通信会議が開催されてからの経過時間に対応付けて、その時点での会議に対する累積スコアを蓄積する構成でもよいし、通信会議が開始されてから所定時間毎の判定結果(議論が本論に沿っているか、逸れているか)を蓄積してもよい。
記憶部20に格納される各情報は、記憶部20に予め格納されている構成に限られない。会議サーバ1が外部メモリ(図示せず)に記憶してあるデータの読み出しが可能なドライバ(図示せず)を備える場合には、外部メモリに記憶された各種情報をドライバによって読み出して記憶部20に格納させてもよい。また、会議サーバ1が、インターネット等を介して外部の装置から各種情報をダウンロードして記憶部20に格納させてもよい。
会議サーバ1は、上述した構成のほかに更に、会議サーバ1を操作するための操作部、会議サーバ1による処理結果を表示するための表示部を備えてもよい。この場合、会議システム100の管理者は、操作部及び表示部を用いて、記憶部20に記憶される会議資料データ、各種のテーブルの記憶内容等を容易に変更できる。
以下に、上述した構成の会議サーバ1において、制御部10が記憶部20に記憶してある制御プログラムを実行することによって実現する各種の機能について説明する。図6は実施形態1の会議サーバ1の機能構成を示す機能ブロック図である。本実施形態1の会議サーバ1において、制御部10は、記憶部20に記憶してある制御プログラムを実行することによって、音声認識部14、言語解析部15、判定部16、集計部17等の機能を実現する。
音声認識部14は、例えば、通信部12を介して受信した音声信号に対して、音声認識用DB25を用いた音声認識処理を行ない、音声信号をテキスト情報に変換する。具体的には、音声認識部14は、音声信号を音響分析して音響パラメータを抽出し、音声認識用DB25に格納されている音響モデルと照合し、最も類似する音響モデルに対応する単語を認識結果とする。音声認識部14は、音声認識処理を行なって得られたテキスト情報を言語解析部15へ出力する。
言語解析部15は、音声認識部14によって生成されたテキスト情報に対して、言語解析用DB26を用いた形態素解析等の言語解析処理を行ない、例えば、単語に分解する。また、言語解析部15は、音声認識部14から入力されるテキスト情報を1文毎に区切り、言語解析処理によって得られた単語を、1文単位でまとめて判定部16へ出力する。
判定部16は、言語解析部15によって分解された単語を1文毎に取得し、1文毎に、各文中の単語とキーワードDB27に記憶されているキーワードとを照合し、各文にいずれかのキーワードが含まれているか否かを判定する。判定部16は、判定結果(各文にキーワードが含まれているか否か)を集計部17に通知する。
集計部17は、判定部16から判定結果を通知された場合、会議の開催からの経過時間に対応付けて判定結果を判定結果DB28に蓄積する。なお、制御部10は、各会議が開始されてからの経過時間を計測する時計機能を有している。また、集計部17は、通知された判定結果に応じたスコアを、各会議の会議IDに対応付けて判定結果DB28に記憶されている累積スコアに加算する。具体的には、集計部17は、判定部16から各文にキーワードが含まれているとの判定結果を通知された場合、例えば+1を累積スコアに加算する。一方、集計部17は、判定部16から各文にキーワードが含まれていないとの判定結果を通知された場合、例えば−1を累積スコアに加算する。
なお、集計部17は、各文にキーワードが含まれていると判定した場合と、各文にキーワードが含まれていないと判定した場合とにおいてそれぞれのスコアに重み付けを行なった上で累積スコアに加算してもよい。具体的には、判定部16は、各文にキーワードが含まれていると判定した場合、例えば+3を累積スコアに加算し、各文にキーワードが含まれていないと判定した場合、例えば−2を累積スコアに加算してもよい。また、集計部17は、各文に複数のキーワードが含まれる場合に、各文に含まれるキーワードの数が多いほど高いスコアを加算してもよい。
集計部17は、逐次更新する累積スコアに基づいて、各会議での議論が本論に沿っているか又は本論から逸れているかを判断する。なお、本実施形態1の会議サーバ1は、端末装置4,4…のマイクロホン31によって集音された各参加者の発言内容に、キーワードDB27に記憶してあるキーワードが含まれているか否かに基づいて、議論が本論に沿っているか否かを判断する。従って、集計部17は、各会議の累積スコアと予め設定された閾値とを比較し、累積スコアが閾値未満となった場合に、議論が本論から逸れていると判断する。また、集計部17は、累積スコアが閾値以上である場合には、議論が本論に沿っていると判断する。
会議サーバ1の制御部10は、集計部17によって議論が本論から逸れていると判断された場合、例えば、「議論の内容が本論から逸れています」といったメッセージを通信部12を介して、会議に参加している各端末装置4,4…へ送信する。また、制御部10は、集計部17によって議論が本論に沿っていると判断された場合、例えば、「議論の内容が本論に沿っています」といったメッセージを通信部12を介して、会議に参加している各端末装置4,4…へ送信する。これにより、会議における議論がキーワードDB27に記憶してあるキーワードに沿った内容であるか否かを各参加者に通知できる。なお、議論が本論に沿っている場合には必ずしもその旨を通知する必要はない。
以下に、上述した構成の会議システム100において、会議サーバ1及び端末装置4,4…が行なう処理について説明する。上述した構成の会議システム100において、会議の予約を行ないたいユーザは、端末装置4を用いて会議サーバ1にアクセスする。なお、端末装置4の使用を開始する際に、ユーザID及びパスワードを用いて認証処理を行なうことによって、端末装置4を使用できるユーザを、会議システム100の利用が可能なユーザに制限してもよい。
会議サーバ1は、ウェブサーバの機能を有しており、会議システム100が提供する会議の予約を受け付けるためのウェブページを端末装置4へ提供する。図示しないが、会議の予約を受け付けるためのウェブページは、会議の予約を行なうユーザのユーザID、会議の開催日時、会議の参加者の参加者ID(ユーザID)等の予約情報を入力するための入力欄を有する。会議の予約を行なうユーザは、このようなウェブページを介して、自身のユーザID(登録者ID)、開催日時、参加者ID等の予約情報を入力し、端末装置4の制御部40は、入力された予約情報を会議サーバ1へ送信し、会議の予約を行なう。
会議サーバ1の制御部10は、端末装置4から予約情報を取得した場合、予約する会議に会議IDを割り当て、割り当てた会議IDに取得した予約情報を対応付けて予約状況管理テーブル22に格納する。これにより、会議の予約が完了する。なお、会議IDは、各会議を識別できる情報であればよく、例えば、予約状況管理テーブル22に格納された順に1,2,3…の会議IDが割り当てられてもよい。
また、会議の予約を行なったユーザ(登録者)は、会議におけるキーワードを、端末装置4を介して会議サーバ1に登録しておく。なお、キーワードの登録も、会議サーバ1から提供されるウェブページを介して行なうことができる。会議サーバ1の制御部10は、端末装置4から各会議におけるキーワードを取得した場合、予約してある会議の会議IDに対応付けて、取得したキーワードをキーワードDB27に格納する。なお、キーワードは、会議の各参加者が発言する可能性のある単語、用語等であり、本実施形態1では、会議の登録者による入力操作によって登録される。
以下に、上述したように会議の予約情報が会議サーバ1の予約状況管理テーブル22に格納されている会議システム100において、予約された会議が開催される際に会議サーバ1及び端末装置4,4…が行なう処理について説明する。なお、会議の登録者は、会議が開催されるまでにキーワードを会議サーバ1のキーワードDB27に登録すればよく、会議が開催される前であればいつでもキーワードを変更できる。
図7乃至図9は会議サーバ1による通信会議の中継処理の手順を示すフローチャートである。なお、以下の処理は、会議サーバ1の制御部10によって実行されると共に、端末装置4,4…の制御部40によって実行される。また、図7乃至図9では、一点鎖線で区切った2つの領域において、左側の領域に端末装置4の制御部40による処理を、右側の領域に会議サーバ1の制御部10による処理をそれぞれ示している。
予約されている会議に参加したい参加者(登録者も含む)は、端末装置4を用いて会議サーバ1にアクセスする。会議サーバ1は、予約されている会議又は既に開催されている会議への参加要求を受け付けるためのウェブページを端末装置4へ提供する。図示しないが、会議への参加要求を受け付けるためのウェブページは、例えば、予約されている会議又は既に開催されている会議に関する情報を一覧表示しており、これらの会議から1つの選択を受け付けるように構成されている。
このようなウェブページをディスプレイ33に表示している端末装置4の制御部40は、参加者が操作部34を用いて一覧表示された情報の1つを選択したか否かに基づいて、任意の会議への参加要求を受け付けたか否かを判断している(S1)。任意の会議への参加要求を受け付けていないと判断した場合(S1:NO)、制御部40は、任意の会議への参加要求を受け付けるまで待機する。任意の会議への参加要求を受け付けたと判断した場合(S1:YES)、制御部40は、参加者のユーザID及びパスワードの入力欄を有するログイン画面をディスプレイ33に表示させる(S2)。
端末装置4の制御部40は、ログイン画面を介してユーザID及びパスワード(ユーザ情報)が入力されたか否かを判断しており(S3)、入力されていないと判断した場合(S3:NO)、ステップS2に処理を戻し、ログイン画面の表示を継続する。ユーザ情報が入力されたと判断した場合(S3:YES)、制御部40は、自身の端末装置4の端末IDを記憶部41から読み出し、ステップS1で選択された会議を示す情報(例えば会議ID)と、入力されたユーザ情報と、読み出した端末IDとを通信部44から会議サーバ1へ送信し、会議への参加要求を送信する(S4)。
なお、任意の会議への参加要求を受け付けた場合ではなく、端末装置4の使用を開始する際に、ユーザ情報による認証処理を行なうことによって、会議への参加を要求できるユーザを、会議システム100の利用が可能なユーザに制限してもよい。また、ログイン画面において、ユーザIDの入力欄は、プルダウンメニューによって、予め会議システム100にユーザ登録してあるユーザのユーザIDの一覧を表示してもよい。このような構成とした場合、会議サーバ1にログインしたいユーザは、プルダウンメニューによって表示された一覧から自身のユーザIDを選択すればよく、ユーザIDの入力操作を削減できる。
会議サーバ1の制御部10は、通信部12を介して端末装置4から会議への参加要求を受信した場合、会議への参加を要求してきたユーザが、この会議への参加が許可された正当な参加者であるか否かを認証部11によって認証する(S5)。具体的には、制御部10は、まず、端末装置4から受信したユーザ情報(ユーザID及びパスワード)に基づいて、このユーザが会議システム100の利用を許可されているか否かを認証する。ここでは、制御部10は、受信したユーザ情報がユーザ情報テーブル21に既に登録されているか否かを判断し、ユーザ情報がユーザ情報テーブル21に登録されていれば、正当なユーザであると判断し、登録されていなければ、正当なユーザではないと判断する。
次に、制御部10は、会議システム100の利用を許可されていると判断したユーザについて、端末装置4から受信した会議ID及びユーザIDに基づいて、参加要求してきた会議の参加者に登録されているか否かを判断する。ここでは、制御部10は、受信した会議IDの予約情報を予約状況管理テーブル22から読み出し、読み出した予約情報の登録者ID又は参加者IDに、受信したユーザIDが含まれているか否かを判断する。制御部10は、予約情報の登録者ID又は参加者IDに、受信したユーザIDが含まれていれば、正当な参加者であると判断し、含まれていなければ、正当な参加者ではないと判断する。
会議サーバ1の制御部10は、認証の結果、会議への参加を要求してきたユーザが正当な参加者であるか否かを判断する(S6)。正当な参加者ではないと判断した場合(S6:NO)、制御部10は、認証されなかった旨を示す認証結果(認証不可)を、会議への参加要求を送信してきた端末装置4に通知する(S7)。なお、制御部10が正当な参加者ではないと判断する場合とは、会議への参加を要求してきたユーザが、会議システム100の利用を予め許可されたユーザではない場合、又は参加を要求した会議への参加者として登録されたユーザではない場合である。
端末装置4の制御部40は、通信部44を介して会議サーバ1から認証不可を通知された場合、例えば「ユーザID・パスワードが誤りです」、「御希望の会議には参加できません」等のメッセージをディスプレイ33に表示させ、会議に参加できない旨をユーザに通知する(S8)。そして、制御部40は、ステップS1に処理を戻し、会議への参加要求の再受付、又はユーザ情報の再入力を行なう。
認証の結果、会議への参加を要求してきたユーザが正当な参加者であると判断した場合(S6:YES)、会議サーバ1の制御部10は、端末装置4から受信した端末ID及びユーザIDを対応付けて端末・ユーザ管理テーブル23に格納する(S9)。これにより、正当な参加者が会議システム100にアクセスしてきた場合、各参加者がいずれの端末装置4を使用しているかを把握できる。
次に、会議サーバ1の制御部10は、正当な参加者であると認証されたユーザ(参加者)の参加者情報を生成し、端末装置4から受信した会議IDに対応付けて、生成した参加者情報を開催状況管理テーブル24に格納する(S10)。なお、開催状況管理テーブル24は、会議の予約を行なった登録者の参加者情報を、各参加者の参加者情報の先頭に格納するようにしてある。従って、正当な参加者であると認証されたユーザが、会議の予約を行なった登録者である場合、制御部10は、生成した参加者情報を、会議IDに対応する参加者情報の格納領域の先頭に格納する。一方、正当な参加者であると認証されたユーザが、会議の予約を行なった登録者ではない場合、制御部10は、生成した参加者情報を、会議IDに対応する参加者情報の格納領域の先頭以外の領域に格納する。
なお、開催状況管理テーブル24に格納された参加者情報に基づいて会議の登録者が誰であるかが識別できればよく、登録者の参加者情報を、会議IDに対応する参加者情報の格納領域の先頭に格納する構成である必要はない。例えば、開催状況管理テーブル24に登録者フラグを設けておき、登録者の登録者フラグを1に、他の参加者の登録フラグを0に設定することによって、登録者が誰であるかを識別してもよい。
また、正当な参加者であると認証されたユーザが登録者であるか否かは、端末装置4から受信した会議IDの予約情報に含まれる登録者IDが、正当な参加者であると認証されたユーザのユーザIDであるか否かに基づいて判断できる。また、端末装置4から受信した会議IDが既に開催状況管理テーブル24に格納されている場合、制御部10は、既に格納されている会議IDに対応する格納領域に、生成した参加者情報を格納する。
会議サーバ1の制御部10は、参加者情報(登録者情報)を開催状況管理テーブル24に格納した後、会議への参加要求を送信してきた端末装置4に、会議の開始画面情報を送信する(S11)。端末装置4の制御部40は、会議サーバ1から会議の開始画面情報を受信した場合、図10(a)に示すような会議の開始画面をディスプレイ33に表示させる(S12)。図10は端末装置4,4…で表示される表示画面の構成例を示す模式図である。会議の開始画面は、登録者又は参加者(以下、まとめて参加者ということもある)が端末装置4,4…で閲覧する会議資料を選択するための画面であり、図10(a)に示す開始画面は、例えば、資料選択ボタンを表示している。
端末装置4のユーザ(参加者)が、操作部34を介して資料選択ボタンを操作した場合、制御部40は、会議サーバ1の記憶部20に格納されており、IPネットワーク100aを介して公開されている会議資料データの情報(例えばファイル名)を会議サーバ1から取得する。また、図示しないが、制御部40は、取得した会議資料データの情報を一覧表示し、端末装置4の参加者は、一覧表示された情報から1つを選択することにより、所望の会議資料データを会議サーバ1に要求する。
なお、図10(a)に示す開始画面は、資料選択ボタンのほかに、端末装置4のユーザが、表示された会議資料に対して操作部34を介して各種の操作を行なうための操作ボタンが表示されている。操作ボタンとして、例えば、表示された会議資料に対してメモを付加するためのメモボタン、予め登録された図形を描画するための図形ボタン、会議資料を拡大又は縮小して表示させるためのズームボタンが表示されている。また、操作ボタンとして、既に付加されたメモ又は描画された図形を削除するための消しゴムボタン、同期ボタン、通信会議の終了を要求するための終了ボタンが表示されている。なお、会議の開始画面を含む各種の表示画面に表示される各ボタンは、上述したようなボタンに限らない。
メモボタンが操作された場合、端末装置4の制御部40は、操作部34を介してユーザからの手書き入力、テキストボックスの挿入及び編集等を受け付け、受け付けた各種情報をディスプレイ33に表示させる。図形ボタンが操作された場合、端末装置4の制御部40は、操作部34を介してユーザから図形の描画を受け付け、受け付けた情報をディスプレイ33に表示させる。ズームボタンが操作された場合、端末装置4の制御部40は、表示中の会議資料を所定の拡大率又は縮小率で拡大又は縮小してディスプレイ33に表示させる。なお、ズームボタンが操作された場合に、拡大率又は縮小率を入力するための入力欄を表示させ、入力欄を介して拡大率又は縮小率の入力を受け付けるようにしてもよい。
消しゴムボタンが操作された場合、端末装置4の制御部40は、操作部34を介してユーザからのメモ又は図形の削除指示を受け付け、削除指示されたメモ又は図形をディスプレイ33の表示から消去する。終了ボタンが操作された場合、端末装置4の制御部40は、通信会議を終了し、通信会議の終了を会議サーバ1に通知する。
本実施形態1の会議システム100は、各端末装置4,4…がそれぞれ任意の会議資料データを会議サーバ1から取得して閲覧できると共に、会議の議長又は発表者が会議の予約を行なう登録者となり、登録者の端末装置4で閲覧中の会議資料と同一の会議資料を各参加者の端末装置4,4…で閲覧できるように構成されている。従って、同期ボタンが操作された場合、端末装置4の制御部40は、会議サーバ1に対して、登録者の端末装置4と同一の会議資料データの提供を要求する。即ち、会議サーバ1は、同期設定されている各参加者の端末装置4,4…に対して、登録者からの要求に応じて適宜変更される会議資料データを登録者の端末装置4へ送信するタイミングに同期させて同一の会議資料データを配信する。
なお、同期ボタンは、同期設定されていない状態で操作された場合、同期設定が行なわれ、同期設定されている状態で操作された場合、同期設定が解除される。また、同期ボタン以外の各ボタンも同様に構成されている。例えば、メモボタンは、メモの入力モードではない状態で操作された場合、メモの入力が可能な入力モードに設定され、メモの入力モードが設定されている状態で操作された場合、メモの入力モードの設定が解除される。
図10(a)に示す画面をディスプレイ33に表示している端末装置4の制御部40は、参加者が操作部34を介して資料選択ボタンを選択し、また、任意の会議資料データが選択されたか否かに基づいて、会議資料データの選択を受け付けたか否かを判断している(S13)。制御部40は、会議資料データの選択を受け付けたと判断した場合(S13:YES)、参加者から選択された会議資料データを、通信部44を介して会議サーバ1に要求する(S14)。
制御部40は、会議資料データの選択を受け付けていないと判断した場合(S13:NO)、図10(a)に示す画面を介して同期ボタンが操作されたか否かを判断する(S15)。同期ボタンが操作されていないと判断した場合(S15:NO)、制御部40は、ステップS16に処理を移行する。同期ボタンが操作されたと判断した場合(S15:YES)、制御部40は、会議サーバ1に対して、同期設定が選択されたことを通知することによって、登録者の端末装置4に提供する会議資料データと同一の会議資料データを要求する(S14)。
会議サーバ1の制御部10は、通信部12を介して端末装置4から会議資料データを要求されたか否かを判断しており(S19)、要求されていないと判断した場合(S19:NO)、ステップS23に処理を移行する。会議資料データを要求されたと判断した場合(S19:YES)、制御部10は、要求された会議資料データの情報(ファイル名及びページ番号)を、会議資料データを要求してきた参加者の参加者IDに対応する閲覧情報として開催状況管理テーブル24に格納する(S20)。そして、制御部10は、開催状況管理テーブル24に格納した閲覧情報の会議資料データを記憶部20から読み出し、通信部12から、会議資料データを要求してきた端末装置4へ配信する(S21)。
なお、制御部10は、端末装置4から、登録者の端末装置4に提供する会議資料データと同一の会議資料データを要求された場合、即ち、同期設定が選択されたことを通知された場合、会議資料データを要求してきた参加者の参加者IDに対応する閲覧情報として「同期」を開催状況管理テーブル24に格納する(S20)。そして、この場合、制御部10は、登録者に対応する閲覧情報に基づいて、登録者が閲覧中の会議資料データと同一の会議資料データを記憶部20から読み出し、会議資料データを要求してきた端末装置4へ配信する(S21)。
更に、会議資料データを要求してきた参加者が登録者である場合、制御部10は、要求された会議資料データを登録者の端末装置4に配信すると共に、同一の会議資料データを、開催状況管理テーブル24の閲覧情報に「同期」が格納されている端末装置4,4…にも配信する。これにより、端末装置4,4…は、所望の会議資料データを会議サーバ1から取得できるだけでなく、登録者が閲覧中の会議資料データを登録者と共に取得できる。
端末装置4の制御部40は、通信部44を介して、会議サーバ1から会議資料データを受信したか否かを判断している(S16)。制御部40は、会議資料データを受信したと判断した場合(S16:YES)、受信した会議資料データを信号処理部45及び表示処理部48を介してディスプレイ33へ出力し、図10(b)又は図10(c)に示すような表示画面によって会議資料を表示させる(S17)。なお、会議資料データを受信していないと判断した場合(S16:NO)、制御部40は、ステップS17の処理をスキップする。
図10(b)に示す表示画面は、登録者の端末装置4に表示される表示画面、又は登録者の端末装置4との同期設定を行なっていない参加者の端末装置4に表示される表示画面の例である。また、図10(c)に示す表示画面は、登録者の端末装置4との同期設定を行なっている参加者の端末装置4に表示される表示画面の例である。
参加者からの要求に従った会議資料データを会議サーバ1から取得した端末装置4は、図10(b)に示すように、取得した会議資料データを表示すると共に、表示中の会議資料のページを移動させるための前頁ボタン及び次頁ボタンを表示する。また、図10(b)に示す表示画面は、図10(a)に示した開始画面と同様に、参加者が端末装置4,4…で閲覧する会議資料を新たに選択するための資料選択ボタンを表示する。一方、登録者の端末装置4との同期設定がされている端末装置4は、図10(c)に示すように、取得した会議資料データのみを表示する。また、図10(c)に示す表示画面は、同期設定されていることを参加者に通知するために、同期ボタンを他のボタンとは異なる色で表示する。
図10(b),(c)に示すような表示画面がディスプレイ33に表示されている端末装置4,4…において、参加者は、会議を終了したい場合、操作部34を介して終了ボタンを操作する。端末装置4の制御部40は、参加者によって終了ボタンが操作されたか否かを判断しており(S18)、終了ボタンが操作されていないと判断した場合(S18:NO)、ステップS13に処理を移行する。制御部40は、参加者によって終了ボタンが操作されるまで、ステップS13〜S18の処理を繰り返す。
なお、図10(b)に示す表示画面をディスプレイ33に表示している端末装置4において、同期ボタンが操作された場合、制御部40は、登録者の端末装置4との同期設定を行ない、登録者が閲覧中の会議資料と同一の会議資料を会議サーバ1から取得し、図10(c)に示す表示画面に切り替える。また、図10(c)に示す表示画面をディスプレイ33に表示している端末装置4において、同期ボタンが更に操作された場合、制御部40は、登録者の端末装置4との同期設定を解除し、任意の会議資料を会議サーバ1から取得できるように、図10(b)に示す表示画面に切り替える。
図10(b),(c)に示す表示画面において終了ボタンが操作されたと判断した場合(S18:YES)、制御部40は、通信会議を終了する。そして、制御部40は、自身の端末装置4の端末ID又は参加者の参加者IDを通信部44から会議サーバ1へ送信し、会議の終了要求を送信する(S22)。会議サーバ1の制御部10は、通信部12を介して端末装置4から会議の終了要求を受信したか否かを判断しており(S23)、受信していないと判断した場合(S23:NO)、ステップS19に処理を移行する。
会議の終了要求を受信したと判断した場合(S23:YES)、制御部10は、会議の終了を要求してきた参加者が登録者であるか否かを判断する(S24)。具体的には、制御部10は、会議の終了要求を送信してきた端末装置4の端末ID又は参加者の参加者IDを含む参加者情報が、開催状況管理テーブル24の参加者情報の格納領域の先頭に格納されているか否かに基づいて、登録者であるか否かを判断する。また、制御部10は、会議の開催後も予約状況管理テーブル22の予約情報が削除されない構成であれば、予約情報に基づいて、会議の終了要求を送信してきた参加者が登録者であるか否かを判断してもよい。
会議の終了を要求してきた参加者が登録者でないと判断した場合(S24:NO)、制御部10は、終了を要求してきた参加者に対してのみ会議を終了する(S25)。具体的には、制御部10は、会議の終了を要求してきた参加者の参加者情報のみを開催状況管理テーブル24から削除する。なお、会議サーバ1の制御部10は、会議への参加を終了した参加者の端末装置4に、会議への参加要求を受け付けるためのウェブページを再度送信してもよい。会議サーバ1の制御部10は、ステップS19に処理を移行し、その他の参加者からの会議資料データの要求があれば、要求に従って会議資料データを適宜端末装置4,4…へ配信する。
会議の終了を要求してきた参加者が登録者であると判断した場合(S24:YES)、制御部10は、会議全体を終了し(S26)、上述した処理を終了する。具体的には、制御部10は、登録者によって終了が要求された会議の会議IDに対応する全ての参加者情報を開催状況管理テーブル24から削除する。また、制御部10は、開催状況管理テーブル24から参加者情報を削除した参加者の端末装置4,4…に、会議の終了を通知する画面、又は会議への参加要求を受け付けるためのウェブページを送信してもよい。この場合、端末装置4,4…の参加者は、会議が終了されたことを把握できる。
上述した処理では、会議サーバ1が、端末装置4,4…からの要求に応じた会議資料データを適宜端末装置4,4…に配信する処理について説明した。しかし、本実施形態1の会議サーバ1は、会議資料データを端末装置4,4…に配信しつつ、端末装置4,4…のマイクロホン31で集音した音声信号を集め、それぞれの端末装置4,4…に配信する処理も行なう。これにより、会議システム100を用いて遠隔会議を行なう場合であっても、各参加者の発言を端末装置4,4…間で送受信できる。なお、本実施形態1の会議サーバ1は、音声信号を端末装置4,4…に配信する際に、例えば、最も音量の大きい音声信号を選択して端末装置4,4…に配信するようにしてもよい。また、本実施形態1の会議サーバ1は、予め登録された端末装置4(例えば登録者の端末装置4)のマイクロホン31で集音された音声信号を他の端末装置4,4…に配信するようにしてもよい。
本実施形態1の会議サーバ1は、上述したように複数の端末装置4,4…間で行なわれる通信会議を中継すると共に、端末装置4,4…間で送受信される情報に基づいて、議論が本論に沿っているか否かの判定処理を行なう。なお、本実施形態1では、議論が本論に沿っているか本論から逸れているかを判定する際の基準に、会議の登録者によってキーワードDB27に予め登録されたキーワードを用いる。
以下に、会議サーバ1による議論の判定処理について説明する。図11及び図12は会議サーバ1による議論の判定処理の手順を示すフローチャートである。なお、以下の処理は、会議サーバ1の制御部10によって実行される。
会議サーバ1の制御部10は、図7乃至図9で示したような通信会議の中継処理を行ないつつ、ある通信会議において、端末装置4,4…から出力された音声信号を取得したか否かを判断する(S31)。なお、端末装置4,4…の制御部40は、マイクロホン31によって集音された音声信号を随時会議サーバ1へ送信している。会議サーバ1の制御部10は、音声信号を取得していないと判断した場合(S31:NO)、図7乃至図9で示した処理を行ないつつ待機する。
音声信号を取得したと判断した場合(S31:YES)、制御部10は、取得した音声信号に対して、音声認識用DB25を用いた音声認識を行ない(S32)、音声信号をテキスト情報に変換する。制御部10は、生成したテキスト情報に対して、言語解析用DB26を用いた言語解析を行ない、1文を抽出する(S33)。制御部10は、この通信会議に対応するキーワードをキーワードDB27から読み出し、抽出した1文に含まれる各単語と、読み出したキーワードとを照合し、1文にいずれかのキーワードが含まれているか否かを判定する(S34)。
1文にいずれかのキーワードが含まれていると判定した場合(S34:YES)、制御部10は、この1文は議論の本論に沿っていると判定する(S35)。一方、1文にいずれのキーワードも含まれていないと判定した場合(S34:NO)、制御部10は、この1文は議論の本論から逸れていると判定する(S36)。制御部10は、各会議が開始されてからの経過時間を計測する時計機能を有しており、判定結果が出た場合、判定結果を、会議ID及び会議の開始からの経過時間に対応付けて判定結果DB28に蓄積する(S37)。
また、制御部10は、判定結果に基づいて累積スコアを算出する(S38)。具体的には、制御部10は、本論に沿っていると判定した場合、会議IDに対応付けて判定結果DB28に記憶されている累積スコアに、所定のスコア(例えば1)を加算する。また、制御部10は、本論から逸れていると判定した場合、会議IDに対応付けて判定結果DB28に記憶されている累積スコアから、所定のスコア(例えば1)を減算する。
制御部10は、算出した累積スコアが、予め設定されている閾値未満であるか否かを判断し(S39)、累積スコアが閾値以上であると判断した場合(S39:NO)、現時点での議論は本論に沿っていると判定する。そして、制御部10は、「議論の内容が本論に沿っています」といったメッセージを通信部12から、会議に参加している各端末装置4,4…へ送信し、本論に沿っている旨を通知する(S40)。なお、このようなメッセージを受信した端末装置4,4…の制御部40は、受信したメッセージを信号処理部45及び表示処理部48を介してディスプレイ33へ出力し、所定の表示領域に表示させる。これにより、会議サーバ1は、会議における議論がキーワードDB27に記憶してあるキーワードに沿った内容であることを各参加者に通知できる。
制御部10は、本論から逸れていると判定された状況の継続時間を計測するためのタイマを有しており、議論が本論に沿っていると判定した場合、このタイマをリセットする(S41)。なお、このとき、制御部10は、タイマをリセットした状態で停止させておく。制御部10は、端末装置4,4…間での通信会議が終了したか否かを判断し(S42)、通信会議が終了していないと判断した場合(S42:NO)、ステップS31に処理を戻し、上述した処理を繰り返す。また、制御部10は、通信会議が終了したと判断した場合(S42:YES)、上述した判定処理を終了する。なお、制御部10は、会議の登録者が端末装置4において終了ボタンを操作することによって、端末装置4から会議の終了要求を受信した場合に、通信会議を終了させる。
一方、制御部10は、算出した累積スコアが閾値未満であると判断した場合(S39:YES)、現時点での議論は本論から逸れていると判定する。そして、制御部10は、「議論の内容が本論から逸れています」といったメッセージを通信部12から、会議に参加している各端末装置4,4…へ送信し、本論から逸れている旨を通知する(S43)。なお、このようなメッセージを受信した端末装置4,4…の制御部40は、受信したメッセージを信号処理部45及び表示処理部48を介してディスプレイ33へ出力し、所定の表示領域に表示させる。これにより、会議サーバ1は、会議における議論がキーワードDB27に記憶してあるキーワードに沿った内容から逸れていることを各参加者に通知できる。
なお、端末装置4,4…のディスプレイ33にメッセージを表示させることによって各参加者に通知する構成のほかに、例えば、ディスプレイ33の表示面、又はディスプレイ33に表示される通信会議用のウインドウの色を通常動作時の色とは異なる色で表示することによって、議論が本論に沿っている又は本論から逸れている旨を通知してもよい。また、ディスプレイ33に表示される通信会議用のウインドウの形状を通常動作時の形状とは異なる形状とすることによって通知してもよく、ディスプレイ33に予め設定されたマークを表示させることによって通知してもよい。
制御部10は、本論から逸れていると判定された状況の継続時間を計測するためのタイマのカウントが開始されているか否かを判断し(S44)、カウントが開始されていないと判断した場合(S44:NO)、タイマのカウントを開始する(S45)。タイマのカウントが既に開始されていると判断した場合(S44:YES)、制御部10は、ステップS45の処理をスキップする。
制御部10は、タイマが計測した時間に基づいて、本論から逸れていると判定された状況が所定時間以上継続したか否かを判断する(S46)。所定時間以上継続していないと判断した場合(S46:NO)、制御部10は、ステップS42に処理を移行し、端末装置4,4…間での通信会議が終了したか否かを判断する(S42)。所定時間以上継続したと判断した場合(S46:YES)、制御部10は、「議論の内容が本論から長時間逸れています」、「議論の内容を本論に戻してください」といったメッセージを通信部12から、会議に参加している各端末装置4,4…へ送信して警告する(S47)。制御部10は、その後、ステップS42に処理を移行し、端末装置4,4…間での通信会議が終了したか否かを判断する(S42)。
これにより、会議サーバ1は、会議における議論がキーワードDB27に記憶してあるキーワードに沿った内容から逸れている状況が所定時間以上継続した場合に、本論から著しく逸脱している旨を各参加者に警告できる。なお、警告のほかに、登録者又は各参加者に休憩を促すようなメッセージを通知してもよい。このように、会議サーバ1が、議論が所定時間(例えば10分間)以上本論から脱線した場合に各参加者に警告することによって、議事の進行の円滑化を図ることができる。
上述したように、本実施形態1の会議システム100では、複数の端末装置4,4…間で通信会議を行なうことができると共に、通信会議で行なわれている議論が予めキーワードDB27に登録されたキーワードに沿った内容であるか否かを判定できる。従って、議論のテーマが予め決定しており、登録者によってキーワードの登録が可能であるような会議については、議論の内容そのものを考慮し、議論が盛り上がっているか、議論が本論に沿っているか、議論が本論から逸れているか等の議論の状況を判断できる。また、本実施形態1の会議サーバ1は、議論が本論に沿っているか否かを、累積スコアによって評価するので、議論全体としての評価が容易にできる。
また、本実施形態1の会議サーバ1は、会議の開始からの経過時間に対応して、各参加者の発言が本論に沿っているか否かを示す判定結果を蓄積するので、会議の終了後に、議論がどのタイミングで脱線したのか等を把握できる。また、会議サーバ1は、判定結果DB28に蓄積した判定結果を図13に示すように表示してもよい。図13は判定結果の表示例を示す模式図である。図13では横軸に会議の開始からの経過時間を示し、各経過時間において、議論が本論に沿っているか本論から逸れているかを示す判定結果を表示している。
このような表示画面を端末装置4のディスプレイ33又は会議サーバ1に接続されたディスプレイに表示させることにより、経過時間に対応した会議の状況を容易に把握できる。また、図13に示すように警告を発したタイミングを表示した場合には、どのタイミングで警告が発せられたのかも容易に把握できる。なお、判定結果DB28に蓄積される判定結果の蓄積方法は、上述した方法に限らず、例えば、会議の開始からの経過時間に対応して、そのときの累積スコアを蓄積してもよいし、所定時間毎の蓄積スコアを蓄積してもよい。
本実施形態1の会議サーバ1は、判定結果を示すメッセージ又は警告メッセージをIPネットワーク100aを介して端末装置4,4…に送信することによって各参加者に通知していた。しかし、例えば、会議サーバ1に大型ディスプレイを接続しておき、大型ディスプレイにメッセージを表示させることによって各参加者に通知してもよい。特に、各参加者が同室内にいる場合には、端末装置4,4…のディスプレイ33における会議資料の表示を妨げることなく、各参加者にメッセージを通知できる。
本実施形態1の会議サーバ1は、各参加者の発言内容に、キーワードDB27に格納されているキーワードが含まれているか否かに基づいて、議論が本論に沿っているか否かを判定していた。このほかに、例えば、各キーワード(単語)に類似する類似語辞書を予め用意しておき、各参加者の発言内容にキーワード又はキーワードの類似語が含まれているか否かに基づいて、議論が本論に沿っているか否かを判定してもよい。また、会議の登録者が、キーワードと共にキーワードの類似語も登録しておいてもよく、各参加者の発言内容にキーワードが含まれる場合のスコアと、類似語が含まれる場合のスコアとを異なる値として累積スコアを算出してもよい。
本実施形態1の会議サーバ1は、キーワードDB27に予め格納してあるキーワードのみを用いて判定処理を行なっていた。このほかに、例えば会議の議長(登録者)が会議中に端末装置4の操作部34を介してキーワードを入力することによって、新たなキーワードを適宜追加できるようにしてもよい。これにより、会議の議題がリアルタイムで変化している状況であっても、議題に応じたキーワードの登録が可能となり、会議の状況をより精度よく判定できる。
(実施形態2)
以下に、本発明に係る会議中継装置を備えた実施形態2の会議システムについて説明する。なお、本実施形態2の会議サーバ1及び端末装置4,4…は、上述した実施形態1の会議サーバ1及び端末装置4,4…と同一の構成によって実現できる。本実施形態2の会議サーバ1は、上述した実施形態1の会議サーバ1と同一の処理を行ない、更に、端末装置4,4…間で送受信される音声信号に基づいて、各参加者の発言内容から新たなキーワードを抽出する処理を行なう。
図14は実施形態2の会議サーバ1の機能構成を示す機能ブロック図である。本実施形態2の会議サーバ1は、制御部10が記憶部20に記憶してある制御プログラムを実行することによって、図6に示した各機能のほかに、発言者特定部18及び発言内容蓄積部19の機能を実現する。
端末装置4,4…の制御部40は、会議サーバ1に対して各種の信号を送信する場合、自身の端末装置4の端末ID又は参加者の参加者IDも会議サーバ1へ送信する。発言者特定部18は、通信部12を介して音声信号を受信した場合、音声信号と共に受信した端末装置4の端末ID又は端末装置4の参加者の参加者IDに基づいて、この音声信号を発言した参加者(発言者)を特定する。具体的には、発言者特定部18は、音声信号と共に端末IDを受信した場合、端末・ユーザ管理テーブル23を参照して、受信した端末IDに対応する参加者ID(ユーザID)を特定する。なお、発言者特定部18は、音声信号と共に参加者IDを受信した場合、何も行なわずに参加者IDの参加者が発言者であると特定できる。
発言者特定部18は、発言者であると特定した参加者の参加者IDを発言内容蓄積部19へ出力する。また、発言者特定部18は、通信部12を介して受信した音声信号をそのまま音声認識部14へ出力する。
本実施形態2の言語解析部15は、テキスト情報に対して言語解析処理を行なって得られた単語を1文単位でまとめて判定部16及び発言内容蓄積部19へ出力する。なお、言語解析部15は、発言内容蓄積部19に対しては、1文単位ではなく、発言者特定部18が特定した発言者単位で、各発言者の発言内容に含まれる単語を出力してもよい。
発言内容蓄積部19は、発言者特定部18から発言者の参加者IDを取得し、言語解析部15から各発言者の発言内容に含まれる各単語を取得する。発言内容蓄積部(抽出部)19は、言語解析部15から取得した各単語から、名詞又は固有名詞等、議論の状況を判定する際にキーワードとして使用できる単語を抽出し、発言内容DB29に蓄積する。
図15は発言内容DB29の格納内容を示す模式図である。図15に示すように、発言内容DB29は、会議の会議IDと、会議の参加者の参加者IDとに対応付けて、各参加者の発言内容から抽出された発言単語と、各発言単語の出現回数(発言回数)とを記憶する。発言内容DB29の格納内容は、会議サーバ1の制御部10(発言内容蓄積部19)が、端末装置4,4…から受信した音声信号から、キーワードとして使用できる単語を抽出する都度、制御部10(発言内容蓄積部19)によって格納される。
従って、発言内容蓄積部(出現頻度計数部)19は、会議ID及び参加者IDに対応付けて、抽出した各単語を発言内容DB29に蓄積すると共に、各単語の出現回数(発言回数)を順次更新する。なお、発言内容蓄積部19は、「私」、「○○さん」等のように、議論の状況を判定する際にキーワードとして使用できない単語を除外して発言内容DB29に蓄積することが望ましく、このような除外すべき単語を予め記憶部20に記憶しておいてもよい。
また、発言内容蓄積部19は、参加者のいずれかの発言単語を発言内容DB29に蓄積した場合に、蓄積した発言単語が、新たなキーワードとしてキーワードDB27に登録すべきであるか否かを判断する。具体的には、発言内容蓄積部(登録部)19は、発言内容DB29に発言単語を格納した場合、この発言単語が所定の条件を満たすか否かを判断し、所定の条件を満たす場合に、この発言単語を、対応する会議のキーワードとしてキーワードDB27に登録する。所定の条件とは、例えば、発言単語が、所定人数以上の参加者によって発言されていること、発言回数の総数が所定回数以上であること、所定人数以上の参加者によって所定回数以上発言されていること等である。また、これらの各条件を組み合わせて判断してもよい。
このように、例えば、所定人数以上の参加者によって発言された単語をキーワードDB27に登録しておくことにより、以降の判定処理においてキーワードとして使用することができる。よって、予め登録してあるキーワードだけでなく、議論の内容にリアルタイムに沿ったキーワードに基づいて、議論がキーワードを含む内容に沿っているか否かを判断できる。
以下に、本実施形態2の会議システム100において、会議サーバ1及び端末装置4,4…が行なう処理について説明する。なお、本実施形態2の会議システム100において、ユーザが端末装置4を用いて会議の予約を行なう際に会議サーバ1及び端末装置4が行なう処理、会議の予約を行なったユーザ(登録者)が端末装置4を用いて会議におけるキーワードを登録する際に会議サーバ1及び端末装置4が行なう処理は、実施形態1で説明した処理と同一である。また、本実施形態2の会議システム100において、予約された会議が登録者又は参加者によって開催され、開始された通信会議が会議サーバ1を介して中継される際に会議サーバ1及び端末装置4が行なう処理、会議サーバ1がキーワードDB27を用いて議論の状況を判定する際の処理は、実施形態1で説明した処理と同一である。
次に、本実施形態2の会議サーバ1の特徴的な機能である、会議の参加者の発言内容に基づいてキーワードを登録する処理について説明する。図16は会議サーバ1によるキーワードの登録処理の手順を示すフローチャートである。なお、以下の処理は、会議サーバ1の制御部10によって実行される。会議サーバ1の制御部10は、図7乃至図9で示したような通信会議の中継処理、図11及び図12で示したような議論の判定処理を行ないつつ、各参加者の発言内容に基づくキーワードの登録処理を行なう。
会議サーバ1の制御部10は、ある通信会議において、端末装置4,4…から出力された音声信号を取得したか否かを判断する(S51)。制御部10は、音声信号を取得していないと判断した場合(S51:NO)、その他の処理を行ないつつ待機する。音声信号を取得したと判断した場合(S51:YES)、制御部10は、この音声信号を送信してきた端末装置4のユーザ(発言者)を特定する(S52)。具体的には、制御部10は、音声信号と共に受信した端末装置4の端末ID又は端末装置4の参加者の参加者IDに基づいて、この音声信号を発言した参加者(発言者)を特定する。
制御部10は、取得した音声信号に対して、音声認識用DB25を用いた音声認識を行ない(S53)、音声信号をテキスト情報に変換する。制御部10は、生成したテキスト情報に対して、言語解析用DB26を用いた言語解析を行ない、単語に分解する(S54)。制御部10は、分解した各単語が、キーワードDB27に格納されているキーワードのいずれかに一致するか否かを判断する(S55)。なお、このとき、制御部10は、「私」、「○○さん」等のように、議論の状況を判定する際にキーワードとして使用できない単語を除外した上で、各単語がキーワードに一致するか否かを判断する。
制御部10は、キーワードに一致すると判断した場合(S55:YES)、この単語は既にキーワードDB27に格納されているので、キーワードの登録処理を行なわずにステップS51に処理を戻す。制御部10は、キーワードに一致しないと判断した場合(S55:NO)、この単語はまだキーワードDB27に格納されていないので、この単語を、会議ID及びステップS52で特定した発言者の参加者IDに対応付けて発言内容DB29に蓄積する(S56)。
制御部10は、発言内容DB29に蓄積した単語が、所定の条件を満たすか否かを判断し(S57)、所定の条件を満たさないと判断した場合(S57:NO)、ステップS51に処理を戻す。なお、制御部10は、各会議について、発言内容DB29に蓄積した単語を発言した発言者の数、発言回数等を発言内容DB29から読み出し、予め設定されている条件を満たすか否かを判断する。
制御部10は、所定の条件を満たすと判断した場合(S57:YES)、この単語をキーワードとしてキーワードDB27に格納する(S58)。なお、このとき、制御部10は、この単語及びこの単語の発言回数を発言内容DB29から削除しておいてもよい。制御部10は、端末装置4,4…間での通信会議が終了したか否かを判断し(S59)、通信会議が終了していないと判断した場合(S59:NO)、ステップS51に処理を戻し、上述した処理を繰り返す。また、制御部10は、通信会議が終了したと判断した場合(S59:YES)、上述した登録処理を終了する。
上述したように、本実施形態2の会議システム100では、端末装置4,4…から受信した音声信号、即ち、会議の参加者の発言内容に基づいて、議論の状況を判定する際に用いるキーワードが新たに登録される。従って、予め登録されているキーワードだけでなく、議論の進行状況によって参加者が発言する内容に基づいたキーワードを用いて、議論の状況を判定できる。
本実施形態2の会議サーバ1は、会議の参加者の発言内容に基づいて、例えば、複数の参加者によって発言された単語、各参加者によって複数回発言された単語等をキーワードとしてキーワードDB27に登録していた。このほかに、例えば、会議の開始から所定時間(例えば、10分間)における参加者の発言内容に基づいてキーワードを登録してもよい。会議の開始直後では当初の議題に沿った内容の議論が行なわれる傾向が強いので、このような議論における参加者の発言内容に基づいてキーワードを作成することによって、当初の議題から逸脱しないキーワードの登録が可能となる。なお、会議の開始からある程度の時間が経過した場合、当初の議題から逸れた内容の議論が行なわれている場合が考えられ、このような状況での発言内容に基づくキーワードは、当初の議題から逸れた内容である可能性が高い。
一方で、会議ではリアルタイムに議題が変化していくことも考えられる。従って、このような状況を考慮すると、本実施形態2のように会議が終了するまでの間、参加者の発言内容に基づいてキーワードを逐次更新することによって、リアルタイムに変化していく議題に沿ったキーワードの登録が可能となる。よって、このようなキーワードを用いた場合には、リアルタイムに議論変化していく会議においても、議論の内容が本論に沿っているか否かを精度よく判定できる。
また、例えば、各参加者の発言内容に、「○○が重要です」、「○○についても考える必要がある」、「○○を忘れてはいけない」等のように、「○○」が会議において重要単語であると考えられる用語が含まれる場合に、このような単語「○○」をキーワードとしてキーワードDB27に登録するようにしてもよい。例えば、「地球温暖化の対策として、CO2 削減は重要だ」という発言があった場合に、会議サーバ1は、この発言内容から「重要」という単語を抽出し、「重要」が示す内容である「CO2 削減」という単語をキーワードとして登録する。
(実施形態3)
以下に、本発明に係る会議中継装置を備えた実施形態3の会議システムについて説明する。なお、本実施形態3の会議サーバ1及び端末装置4,4…は、上述した実施形態1の会議サーバ1及び端末装置4,4…と同一の構成によって実現できる。本実施形態3の会議サーバ1は、上述した実施形態1の会議サーバ1と同一の処理を行ない、更に、会議資料データからキーワードDB27に格納すべきキーワードを抽出してキーワードDB27に登録する処理を行なう。
図17は実施形態3の会議サーバ1の機能構成を示す機能ブロック図である。本実施形態3の会議サーバ1は、制御部10が記憶部20に記憶してある制御プログラムを実行することによって、図6に示した各機能のほかに、キーワード抽出部51及び類似語生成部52の機能を実現する。
本実施形態3の会議システム100では、ユーザ(登録者)が会議の予約を行なう際に、登録者の登録者ID、会議の開催日時、参加者の参加者IDだけでなく、会議に用いる資料を識別するための資料情報も登録しておく。従って、本実施形態3では、予約状況管理テーブル22に記憶される予約情報に資料情報も含まれる。なお、資料情報は、例えば会議資料データに付与されたファイル名を用いることができる。また、資料情報は、会議サーバ1の記憶部20に既に記憶された会議資料データの識別情報であり、会議の登録者は、会議の予約を行なう際に、会議資料データの登録(会議サーバ1の記憶部20への記憶)も行なっておく。
なお、会議資料データが、パーソナルコンピュータ又はワークステーション等を用いて作成されたテキストデータ等のドキュメントである場合、登録者は、端末装置4を介して会議サーバ1へ会議資料データを転送して記憶部20に記憶させる。また、会議資料が紙媒体である場合、登録者は、端末装置4又は会議サーバ1に接続されたスキャナによって会議資料を読み取り、得られた画像データを会議サーバ1の記憶部20に記憶させる。
キーワード抽出部51は、会議が予約された後に、会議資料として登録された会議資料データに対して、例えば、言語解析部15による言語解析処理と同様の処理を行なって単語に分解する。なお、会議資料データが、スキャナによって紙媒体から読み取られたデータ(画像データ)である場合、画像中の文字を抽出するOCR(Optical Character Reader)を用いて一旦テキストデータに変換した後、言語解析処理によって単語に分解する。また、スキャナがOCR機能を有する場合、スキャナによって読み取られた画像データと共に、OCRによって画像データから変換されたテキストデータを会議サーバ1に登録しておいてもよい。
キーワード抽出部51は、分解した各単語の出現頻度を計数する。なお、キーワード抽出部51は、「私」、「○○さん」等のように、議論の状況を判定する際にキーワードとして使用できない単語を除く各単語の出現頻度を計数する。キーワード抽出部51は、会議資料データから分解された各単語の出現頻度を計数した後、各単語の出現頻度が所定回数(例えば10回)以上であるか否かを判断し、出現頻度が所定回数以上の単語を、キーワードとしてキーワードDB27に格納する。なお、キーワード抽出部51は、会議の会議IDに対応付けて、出現頻度が所定回数以上の単語をキーワードDB27に格納する。また、キーワード抽出部51は、キーワードとしてキーワードDB27に格納した単語を類似語生成部52へ出力する。
類似語生成部52は、キーワード抽出部51から取得した単語(キーワード)に類似する類似語(類語、類義語)を生成する。例えば、類似語生成部52は、各単語の類似語が予め登録してある類似語辞書(類語辞書)を用いて、各キーワードの類似語を生成する。また、類似語生成部52は、各キーワードを短縮した単語を類似語として生成してもよく、例えば、キーワード「エコロジー」に対して類似語「エコ」を生成し、キーワード「地球温暖化」に対して類似語「温暖化」を生成する。
類似語生成部52は、生成した類似語を、キーワード抽出部51がキーワードDB27に格納したキーワードに対応付けてキーワードDB27に格納する。これにより、会議資料データから抽出されたキーワードだけでなく、各キーワードに類似する類似語もキーワードDB27に格納できる。なお、キーワードDB27は、会議IDに対応して、キーワードの格納領域と、類似語の格納領域とを各別に有してもよく、類似語もキーワードとして扱い、同一の格納領域にキーワード抽出部51が格納したキーワードと類似語生成部52が生成した類似語とを格納してもよい。
本実施形態3のキーワードDB27は、上述したように会議資料から特定されたキーワードだけでなくキーワードの類似語も格納するので、本実施形態3の判定部16は、言語解析部15から取得する各単語を、キーワードDB27に記憶されているキーワードだけでなくキーワードの類似語とも照合し、各文にいずれかのキーワード又は類似語が含まれているか否かを判定する。判定部16は、各文にキーワード又は類似語が含まれているか否かを示す判定結果を集計部17に通知する。
会議におけるキーワード及び類似語は、会議が開催されるまでにキーワードDB27に登録されていればよい。従って、キーワード抽出部51及び類似語生成部52によるキーワード又は類似語の登録処理は、会議が予約された直後に行なう必要はなく、例えば、1日における所定時刻に、各会議のキーワード登録をまとめて行なってもよい。
以下に、本実施形態3の会議システム100において、会議サーバ1及び端末装置4,4…が行なう処理について説明する。なお、本実施形態3の会議システム100において、ユーザが端末装置4を用いて会議の予約を行なう際に会議サーバ1及び端末装置4が行なう処理、予約された会議が登録者又は参加者によって開催され、開始された通信会議が会議サーバ1を介して中継される際に会議サーバ1及び端末装置4が行なう処理は、実施形態1で説明した処理と同一である。また、本実施形態3の会議システム100において、会議サーバ1がキーワードDB27を用いて議論の状況を判定する際の処理は、実施形態1で説明した処理と同一である。なお、本実施形態3の会議サーバ1は、議論の状況を判定する際に、キーワードDB27に格納されているキーワードだけでなくキーワードの類似語も用いる。
次に、本実施形態3の会議サーバ1の特徴的な機能である、会議資料に基づいてキーワードを登録する処理について説明する。図18は会議サーバ1によるキーワードの登録処理の手順を示すフローチャートである。なお、以下の処理は、会議サーバ1の制御部10によって実行される。本実施形態3の会議サーバ1の制御部10は、会議の予約が行なわれてから会議が開催されるまでのいずれかのタイミングで、以下に説明する会議資料に基づくキーワードの登録処理を行なう。
会議サーバ1の制御部10は、予約された会議に使用される会議資料データに対して言語解析処理を行なって単語に分解する(S61)。制御部10は、分解した単語毎に出現頻度を計数する(S62)。制御部10は、分解した各単語について、計数した出現頻度が所定回数以上であるか否かを判断し(S63)、出現頻度が所定回数以上であると判断した場合(S63:YES)、この単語をキーワードとして会議IDに対応付けてキーワードDB27に格納する(S64)。
制御部10は、キーワードDB27に格納した単語(キーワード)に類似する類似語を生成し、ステップS64でキーワードDB27に格納したキーワードと共にキーワードDB27に格納する(S65)。出現頻度が所定回数以上でないと判断した場合(S63:NO)、制御部10は、ステップS64,S65の処理をスキップし、ステップS61で分解した全ての単語について上述した処理を終了したか否かを判断する(S66)。
制御部10は、全ての単語に対する処理を終了していないと判断した場合(S66:NO)、ステップS63に処理を戻し、各単語の出現頻度が所定回数以上であるか否かを判断する(S63)。制御部10は、全ての単語に対する処理を終了するまでステップS63〜S65の処理を繰り返し、全ての単語に対する処理を終了したと判断した場合(S66:YES)、上述した処理を終了する。
上述したように、本実施形態3の会議システム100では、会議に用いられる資料から、会議の状況を判定する際に用いられるキーワードが自動的に抽出されてキーワードDB27に登録される。よって、登録者がキーワードの入力操作を行なう必要がなく、登録者の負担を軽減できる。
本実施形態3の会議サーバ1は、議論が本論に沿っているか否かを判定する際に、参加者の発言内容にキーワードDB27に格納してあるキーワード又は類似語が含まれるか否かを判定していた。即ち、会議サーバ1は、キーワードDB27に格納されているキーワードと類似語とを同等に扱っていた。このほかに、例えば、各参加者の発言内容にキーワードが含まれる場合と、類似語が含まれる場合とにおいて、累積スコアに加算するスコアを異なる値としてもよい。これにより、各参加者の発言内容にキーワードそのものが含まれる場合と、キーワードの類似語が含まれる場合とにおいて、発言内容に重み付けを行なうことができ、より発言内容を考慮した判定処理が可能となる。
本実施形態3の会議サーバ1は、会議におけるキーワード(類似語も含む)を会議資料中の各単語の出現頻度に基づいて決定していた。このほかに、例えば、会議資料中の各単語のフォントサイズを検出し、フォントサイズが所定サイズ以上である単語をキーワードとして登録してもよい。資料中の各項目名の文字は他の文字よりも大きいサイズで記載されている可能性が高く、また、各項目名はキーワードとすべき単語を含んでいる可能性が高いので、このような処理によってキーワードを決定することにより、効率よくキーワードを特定できる。
本実施形態3は、上述した実施形態1の会議システム100の変形例として説明したが、上述した実施形態2の会議システム100にも適用できることは勿論である。即ち、本実施形態3の会議サーバ1が、端末装置4,4…から受信した音声信号の発言者を特定する機能を備える構成とすることもできる。
上述した実施形態1〜3では、会議サーバ1は、各参加者の発言内容において、1文毎にキーワードDB27に格納してあるキーワード(類似語も含む)を含むか否かを判定し、その判定結果を端末装置4,4…に通知していた。しかし、議論が本論に沿っている場合には必ずしもその旨を通知する必要はなく、また、議論が所定時間以上脱線した時点で初めて警告するようにしてもよい。
上述した実施形態1〜3では、会議サーバ1は、端末装置4,4…間で送受信される音声信号にキーワードが含まれているか否かに基づいて、議論が本論に沿っているか否かを判定していた。このほかに、例えば、端末装置4,4…においてユーザが操作部34を介して入力したテキスト情報(メモ情報)が通信会議において端末装置4,4…間で送受信される場合、送受信されるテキスト情報も、議論が本論に沿っているか否かの判定処理の対象としてもよい。
上述した実施形態1〜3では、各ユーザを識別するユーザ情報としてユーザID及びパスワードを用いる構成であった。しかし、このような構成に限られず、各ユーザの名刺をスキャナで読み取った情報をユーザ情報として用いてもよい。この場合、各ユーザが、繁雑な入力処理によって自身のユーザ情報を入力する必要がなく、操作性が向上する。特に、会議システム100にユーザ登録されていないユーザ(例えば来客者)が会議に参加する際に要する操作が簡略化される。
上述した実施形態1〜3では、会議サーバ1は、各参加者の発言内容について、各文にキーワードが含まれているか否かを判定していた。このほかに、例えば、実施形態2の会議サーバ1のように発言者を特定する機能を備える場合、各発言者の一連の発言毎に、各発言にキーワードが含まれているか否かを判定してもよい。また、発言者を特定する機能を備えない場合であっても、例えば、会議サーバ1の制御部10が、発言者による発言が途切れてからの時間を計測し、予め設定された時間が経過した場合に、発言者が代わったと判断してもよい。これにより、各発言者による発言毎に、各発言にキーワードが含まれているか否かを判定することができる。
上述した実施形態1〜3では、会議サーバ1は、会議が行なわれている間、端末装置4,4…間で送受信される音声信号に基づいて議論の状況の判定処理を行なっていた。このほかに、例えば、会議の議長又は司会者(登録者)が、端末装置4の操作部34を介して、議論の状況の判定処理を開始する指示を行なうことによって、会議サーバ1が判定処理を開始する構成としてもよい。これにより、例えば、発表者の発表後の質疑応答の時間帯等、会議中の所定の時間帯において、議論が本論から逸れているか否かの判定処理が可能となる。これは、発表者の発表内容は本論に沿っている可能性が高いので、発表者が発表している間は判定処理を行なう必要がないからである。
上述した実施形態1〜3では、キーワードDB27に日本語の単語が登録されている構成であった。しかし、キーワードDB27に英単語等の外国語の単語を登録しておき、会議サーバ1が、端末装置4,4…間で送受信される音声信号に対して外国語に対応した音声認識を行なうようにしてもよい。これにより、各参加者が外国語で会話する場合であっても、同様の処理が可能となる。
以上、本発明の好適な実施形態についてそれぞれ具体的に説明したが、各構成及び動作等は適宜変更可能であって、上述の実施形態に限定されることはない。
100 会議システム
1 会議サーバ(会議中継装置)
10 制御部(報知部)
14 音声認識部
16 判定部
17 集計部(状況判断部、集計部)
19 発言内容蓄積部(抽出部、出現頻度計数部、登録部)
20 記憶部
27 キーワードDB
4 端末装置(通信装置)

Claims (8)

  1. 複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、
    複数のキーワードを記憶する記憶部と、
    前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、
    該判定部が前記情報に前記キーワードのいずれかが含まれていると判定した場合の得点と、前記判定部が前記情報に前記キーワードが含まれていないと判定した場合の得点とに基づいて累積得点を算出する算出部と、
    該算出部が算出した累積得点に基づいて、前記通信会議の状況を判断する状況判断部と
    を備えることを特徴とする会議中継装置。
  2. 複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、
    前記通信装置間で送受信される情報は、テキスト情報を含み、
    複数のキーワードを記憶する記憶部と、
    前記通信装置間で送受信されるテキスト情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、
    該判定部の判定結果に基づいて、前記通信会議の状況を判断する状況判断部と
    を備えることを特徴とする会議中継装置。
  3. 複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、
    複数のキーワードを記憶する記憶部と、
    前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、
    該判定部の判定結果に基づいて、前記通信会議の状況が前記キーワードを含む所定の内容から逸れているか否かを判断する状況判断部と、
    該状況判断部によって前記通信会議の状況が所定の内容から逸れていると判断された場合、前記通信会議の状況を所定の内容に戻す旨を通知する通知部と
    を備えることを特徴とする会議中継装置。
  4. 複数の通信装置と通信可能に接続され、前記複数の通信装置間で行なわれる通信会議を中継する会議中継装置において、
    複数のキーワードを記憶する記憶部と、
    前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワードのいずれかが含まれているか否かを判定する判定部と、
    該判定部の判定結果に基づいて、前記通信会議の状況を判断する状況判断部と、
    前記通信装置間で送受信される情報から単語を抽出する抽出部と、
    該抽出部が抽出した単語の出現頻度を計数する出現頻度計数部と、
    該出現頻度計数部が計数した出現頻度が所定回数以上となった単語をキーワードとして前記記憶部に登録する登録部と
    を備えることを特徴とする会議中継装置。
  5. 前記通信装置間で送受信される情報は、音声情報を含み、
    前記通信装置間で送受信される音声情報を認識してテキスト情報に変換する音声認識部を備え、
    前記判定部は、前記音声認識部が変換したテキスト情報に前記キーワードのいずれかが含まれているか否かを判定するようにしてあることを特徴とする請求項1からまでのいずれかひとつに記載の会議中継装置。
  6. 前記記憶部に記憶されているキーワードの類似語を記憶する類似語記憶部を備え、
    前記判定部は、前記通信装置間で送受信される情報に、前記記憶部に記憶されているキーワード及び前記類似語記憶部に記憶されている類似語のいずれかが含まれているか否かを判定するようにしてあることを特徴とする請求項1からまでのいずれかひとつに記載の会議中継装置。
  7. 前記状況判断部の判断結果を報知する報知部を備えることを特徴とする請求項1からまでのいずれかひとつに記載の会議中継装置。
  8. コンピュータに、請求項1からまでのいずれかひとつに記載の会議中継装置が備える各部を実現させることを特徴とするコンピュータプログラム。
JP2009200948A 2009-08-31 2009-08-31 会議中継装置及びコンピュータプログラム Active JP5094804B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009200948A JP5094804B2 (ja) 2009-08-31 2009-08-31 会議中継装置及びコンピュータプログラム
US12/856,753 US20110055227A1 (en) 2009-08-31 2010-08-16 Conference relay apparatus and conference system
CN2010102667346A CN102006176A (zh) 2009-08-31 2010-08-27 会议中继装置以及会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009200948A JP5094804B2 (ja) 2009-08-31 2009-08-31 会議中継装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2011055160A JP2011055160A (ja) 2011-03-17
JP5094804B2 true JP5094804B2 (ja) 2012-12-12

Family

ID=43626381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009200948A Active JP5094804B2 (ja) 2009-08-31 2009-08-31 会議中継装置及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20110055227A1 (ja)
JP (1) JP5094804B2 (ja)
CN (1) CN102006176A (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741172B2 (ja) * 2011-04-19 2015-07-01 ソニー株式会社 情報処理装置、通信システムおよび情報処理方法
JP5994215B2 (ja) * 2011-06-17 2016-09-21 ソニー株式会社 無線通信装置、情報処理装置、通信システムおよび無線通信装置の制御方法
US8934383B1 (en) * 2012-02-22 2015-01-13 West Corporation Internet SIP registration/proxy service for audio conferencing
JP5831320B2 (ja) * 2012-03-21 2015-12-09 株式会社リコー 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
JP6019707B2 (ja) * 2012-04-25 2016-11-02 株式会社リコー 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
JP6003274B2 (ja) * 2012-06-18 2016-10-05 株式会社リコー 伝送管理システム、伝送システム、及び伝送管理システム用プログラム
US10007724B2 (en) * 2012-06-29 2018-06-26 International Business Machines Corporation Creating, rendering and interacting with a multi-faceted audio cloud
JP6225543B2 (ja) * 2013-07-30 2017-11-08 富士通株式会社 議論支援プログラム、議論支援装置及び議論支援方法
JP6252739B2 (ja) * 2013-09-13 2017-12-27 株式会社リコー 伝送管理システム、管理方法及びプログラム
JP6229403B2 (ja) * 2013-09-26 2017-11-15 日本電気株式会社 議事録作成補助装置、電子会議装置および電子会議システム
US20150170651A1 (en) * 2013-12-12 2015-06-18 International Business Machines Corporation Remedying distortions in speech audios received by participants in conference calls using voice over internet (voip)
WO2015156148A1 (ja) * 2014-04-10 2015-10-15 ソニー株式会社 情報処理装置および方法、情報処理システム、並びにプログラム
JP6242773B2 (ja) * 2014-09-16 2017-12-06 株式会社東芝 会議情報蓄積装置、方法およびプログラム
US10043517B2 (en) * 2015-12-09 2018-08-07 International Business Machines Corporation Audio-based event interaction analytics
CN106911484A (zh) * 2015-12-23 2017-06-30 卡讯电子股份有限公司 传声器发言系统控制方法
CN106921842B (zh) * 2015-12-28 2019-10-01 南宁富桂精密工业有限公司 录影播放系统及方法
CN105684429A (zh) * 2016-01-19 2016-06-15 王晓光 一种视频会议的开会讨论方法及系统
US10614418B2 (en) * 2016-02-02 2020-04-07 Ricoh Company, Ltd. Conference support system, conference support method, and recording medium
WO2017149838A1 (ja) 2016-02-29 2017-09-08 株式会社オーディオテクニカ 会議システム
JP6651985B2 (ja) * 2016-05-26 2020-02-19 富士通株式会社 雑談検出装置、画像表示システム、雑談検出方法及び雑談検出プログラム
CN108257594A (zh) * 2016-12-28 2018-07-06 中国移动通信有限公司研究院 一种会议系统及其信息处理方法
US10558421B2 (en) * 2017-05-22 2020-02-11 International Business Machines Corporation Context based identification of non-relevant verbal communications
JP2019012438A (ja) * 2017-06-30 2019-01-24 レノボ・シンガポール・プライベート・リミテッド 会議管理装置、会議管理方法及び会議管理プログラム
JP6820647B2 (ja) * 2017-11-06 2021-01-27 Kddi株式会社 議論の活性化のために適切な指導タイミングを発動させる装置、プログラム及び方法
JP7044633B2 (ja) * 2017-12-28 2022-03-30 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法
CN111260510A (zh) * 2018-11-30 2020-06-09 北京师范大学 辅助学习方法、装置、计算机设备和存储介质
CN111385185A (zh) * 2018-12-28 2020-07-07 中兴通讯股份有限公司 信息处理方法、计算机装置及计算机可读存储介质
JP7196610B2 (ja) * 2019-01-08 2022-12-27 株式会社リコー 意見評価システム、情報処理システム、意見評価方法およびプログラム
JP6739811B2 (ja) * 2019-01-22 2020-08-12 株式会社インタラクティブソリューションズ 発言禁止用語に対し注意を喚起するためのプレゼンテーション支援装置
CN110300001B (zh) * 2019-05-21 2022-03-15 深圳壹账通智能科技有限公司 会议音频控制方法、系统、设备及计算机可读存储介质
JP7487457B2 (ja) * 2019-09-13 2024-05-21 コニカミノルタ株式会社 会議支援システム、会議支援装置、および会議支援プログラム
JP7362401B2 (ja) * 2019-10-02 2023-10-17 シャープ株式会社 情報処理システム、情報処理方法、及び情報処理プログラム
JP6946499B2 (ja) * 2020-03-06 2021-10-06 株式会社日立製作所 発話支援装置、発話支援方法、および発話支援プログラム
US12008986B1 (en) * 2020-04-27 2024-06-11 Interactions Llc Universal semi-word model for vocabulary contraction in automatic speech recognition
US11277462B2 (en) * 2020-07-14 2022-03-15 International Business Machines Corporation Call management of 5G conference calls
CN112651860B (zh) * 2020-12-18 2021-11-05 重庆师范大学 讨论式机器人教学系统、方法及装置
CN112765334A (zh) * 2021-01-26 2021-05-07 联想(北京)有限公司 一种信息处理方法及设备
JP2023102496A (ja) * 2022-01-12 2023-07-25 東芝テック株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN116246633B (zh) * 2023-05-12 2023-07-21 深圳市宏辉智通科技有限公司 无线智能物联网会议系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106602A (ja) * 1998-09-28 2000-04-11 Mitsubishi Electric Corp 顧客情報データベース生成システム
US6807563B1 (en) * 1999-05-21 2004-10-19 Terayon Communications Systems, Inc. Automatic teleconferencing control system
US20030163816A1 (en) * 2002-02-28 2003-08-28 Koninklijke Philips Electronics N.V. Use of transcript information to find key audio/video segments
US10298700B2 (en) * 2002-06-25 2019-05-21 Artimys Technologies Llc System and method for online monitoring of and interaction with chat and instant messaging participants
KR100612839B1 (ko) * 2004-02-18 2006-08-18 삼성전자주식회사 도메인 기반 대화 음성인식방법 및 장치
JP4910343B2 (ja) * 2005-09-20 2012-04-04 富士ゼロックス株式会社 多重ワーク支援システムおよび多重ワーク支援方法
US8359190B2 (en) * 2006-10-27 2013-01-22 Hewlett-Packard Development Company, L.P. Identifying semantic positions of portions of a text
US9137257B2 (en) * 2007-05-04 2015-09-15 Gary Stephen Shuster Anti-phishing filter
US8320886B2 (en) * 2007-05-23 2012-11-27 Verint Americas, Inc. Integrating mobile device based communication session recordings
JP4728357B2 (ja) * 2008-01-15 2011-07-20 みずほ情報総研株式会社 遠隔会議管理システム、遠隔会議管理方法及び遠隔会議動作確認プログラム

Also Published As

Publication number Publication date
JP2011055160A (ja) 2011-03-17
US20110055227A1 (en) 2011-03-03
CN102006176A (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
JP5094804B2 (ja) 会議中継装置及びコンピュータプログラム
JP2011053629A (ja) 会議中継装置及びコンピュータプログラム
US11483273B2 (en) Chat-based interaction with an in-meeting virtual assistant
CA2770361C (en) System and method for real time text streaming
JP2011065467A (ja) 会議中継装置及びコンピュータプログラム
JP3930022B2 (ja) 遠隔教育システム、受講確認方法および受講確認プログラム
CN107733666A (zh) 一种会议实现方法、装置及电子设备
JP5409194B2 (ja) 会議システム
CN107430858A (zh) 传送标识当前说话者的元数据
JP2014206896A (ja) 情報処理装置、及び、プログラム
JP2024155959A (ja) 通信システム、端末装置、通信方法、プログラム
JP2012160793A (ja) テレビ会議システム及びテレビ会議用装置並びにプログラム
WO2021015948A1 (en) Measuring and responding to attention levels in group teleconferences
JP4077656B2 (ja) 発言者特定映像装置
JP4250938B2 (ja) コミュニケーション支援方法およびコミュニケーションサーバ
JP7119615B2 (ja) サーバ、音データ評価方法、プログラム、通信システム
JP2006345250A (ja) 発言者決定方法
JP2011086123A (ja) 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP2016082355A (ja) 入力情報支援装置、入力情報支援方法および入力情報支援プログラム
KR20080024704A (ko) 온라인 토론서비스 장치 및 방법
JP2021048482A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
JP6112239B2 (ja) 入力情報支援装置、入力情報支援方法および入力情報支援プログラム
JP7581618B2 (ja) 通信システム、及び提案方法
US11971968B2 (en) Electronic communication system and method using biometric event information
JP2020053715A (ja) 情報処理システム、情報処理方法、及び、情報処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120731

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120918

R150 Certificate of patent or registration of utility model

Ref document number: 5094804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3