JP7248351B1 - 端末装置、出力方法、及びプログラム - Google Patents

Abstract

【課題】複数の電子会議への参加を可能とし、さらに会議間で提示される情報が相互に干渉することのない視聴態様の実現に貢献する端末装置、出力方法、及びプログラムの提供。
【解決手段】複数の会議サーバより配信される複数の会議データを受信する受信部と、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする選択部と、前記選択部の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する出力設定部と、前記出力設定に基づいて、会議データを出力する出力部と、を有し、前記出力設定部は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、端末装置。
【選択図】図１

Description

本発明は、端末装置、出力方法、及びプログラムに関する。

現在、リモートワーク等で遠隔地にいるメンバと会議を行う場面が多く存在する。そういった場合に、リモート会議システムを利用するが、単一の会議に参加することしか想定されていない場合が多い。同時間帯に複数の会議が予定されることもあり、そういった場面に遭遇したとしても対処できるような会議サービスが求められている。

特許文献１には以下のような多地点電子会議装置が開示されている。該技術では、複数の会議に参加可能な電子会議装置であって、複数の会議を利用者が認識しやすいユーザインタフェースを実現するとともに、複数の会議の音声を制御することにより、どの会議の音声を聞いているのかを利用者が認識しやすい電子会議装置を提供している。

特開平７－１０５１０６号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

しかしながら、上記開示された発明は、複数の会議を表示しているウインドウのうちアクティブなウインドウの音声を出力し、それ以外のアクティブでないウインドウの情報については小音量で会議の音声を出力するといった構成であり、音声の性質上会議間で干渉が生じる可能性がある。このため、必要な情報を干渉により聞き逃す場合があるといった問題があった。

本発明は、複数の電子会議への参加を可能とし、さらに会議間で提示される情報が相互に干渉することのない視聴態様の実現に貢献する端末装置、出力方法、及びプログラムを提供することを目的とする。

本発明乃至開示の第一の視点によれば、複数の会議サーバより配信される複数の会議データを受信する受信部と、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする選択部と、前記選択部の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する出力設定部と、前記出力設定に基づいて、会議データを出力する出力部と、を有し、前記出力設定部は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、端末装置が提供される。

本発明乃至開示の第二の視点によれば、複数の会議サーバより配信される複数の会議データを受信するステップと、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択するステップと、前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定するステップと、前記出力設定に基づいて、会議データを出力するステップと、を有し、前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、出力方法が提供される。

本発明乃至開示の第三の視点によれば、複数の会議サーバより配信される複数の会議データを受信する処理と、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択する処理と、前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する処理と、前記出力設定に基づいて、会議データを出力する処理と、を有し、前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする、コンピュータに実行させるためのプログラムが提供される。

本発明乃至開示の各視点によれば、本発明は、複数の電子会議への参加を可能とし、さらに会議間で提示される情報が相互に干渉することのない視聴態様の実現に貢献する端末装置、出力方法、及びプログラムが提供される。

一実施形態に係る端末装置の構成の一例を示すブロック図である。 第１の実施形態に係る端末装置の処理の概要を示すための概略図である。 第１の実施形態に係る端末装置の構成の一例を示すブロック図である。 第１の実施形態に係る端末装置の動作の一例を示すフローチャートである。 第１の実施形態に係る端末装置のハードウエア構成を示す概略図である。 第２の実施形態におけるシステムの概要と構成を示すための図である。 第２の実施形態のシステムが提供するサービスの概要を示す図である。 第２の実施形態のシステムが提供するサービスの概要を示す図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェースも同様である。

図１は一実施形態に係る端末装置の構成の一例を示すブロック図である。この図にあるように、一実施形態に係る端末装置１０は、受信部１１と、選択部１２と、出力設定部１３と、出力部１４と、を有する。

受信部１１は複数の会議サーバより配信される複数の会議データを受信する。選択部１２は、前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする。出力設定部１３は前記選択部１２の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する。出力部１４は前記出力設定に基づいて、会議データを出力する。出力設定部１３は、副会議データの出力設定を主会議データの出力設定とは異なる設定とする。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

［第１の実施形態］
図２は、第１の実施形態にかかる端末装置の処理の概要を示すための概略図である。この図にあるように、会議サーバ２１－２３から会議が配信されている。これらの会議は画面上の複数のウインドウ２４－２６上で表示されている。ここで「主会議」はウインドウ２４であり、「副会議」はウインドウ２５及び２６である。なお、表示される会議の数は３つに限られない。主会議においては発言者２７が資料２８を共有しながら発言しており、この発言はスピーカから音声として出力されている。一方副会議であるウインドウ２５及び２６では音声の代わりに、Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔの技術により発言者の発言を認識しテキスト化してポップアップウインドウで表示している。ポップアップウインドウは一例であり、これに限定はされず、テキストの提示は種々の態様が考えられる。このように本実施形態の端末装置では複数の会議を主会議と副会議に分け、主会議からは音声を出力し、副会議からは発言内容のテキストが出力される構成となっている。

図３は、第１の実施形態に係る端末装置の構成の一例を示すブロック図である。この図にあるように本実施形態にかかる端末装置１０は、受信部１１と、選択部１２と、出力設定部１３と、出力部１４と、入力部１５と、送信設定部１６と、送信部１７と、音声文字変換部１８と、を有する。

受信部１１は複数の会議サーバより配信される複数の会議データを受信する。「会議データ」とは、会議サーバから配信される音声や映像の配信データを指す。配信される配信データについては既存のリモート会議システムで用いられているものでもよい。すなわち「会議サーバ」は既存のリモート会議システムで用いられているサーバでよい。端末装置側では複数の会議を別のウインドウで表示しているが、ウインドウ表示は既存のリモート会議システム用アプリケーションプログラムでもよいし、端末装置１０が独自に生成するものでもよい。受信された会議データは出力部１４に送られる。

選択部１２は前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする。具体的には、例えばキーボードやマウス等の入出力インタフェースにより選択操作を受け付け、複数の会議の中から主会議を選択し、出力設定部１３や送信設定部１６に対して設定を変更するためのトリガを送る。例えば一番早い時刻に開始される会議を主会議とし、２番目以降に開催される会議を副会議としたり、特定の話題が会議に取り上げられた場合に副会議から主会議へ選択を変更したり、特定の資料の共有が開始された場合に副会議から主会議へ選択を変更したりする。またアクティブ化されたウインドウに表示された会議データを主会議とするといった処理も選択部１２により可能である。

さらに選択部１２は、前記会議データの配信の受信を開始する際に、既に後述する出力部１４より音声が出力されている、又は後述する入力部１５より音声が入力されている場合には、前記会議データは副会議データとして取り扱うといった処理が可能である。

出力設定部１３は選択部１２の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する。「会議データの出力態様」とは、例えば副会議として選択された会議データについては、配信された会議データの映像のみ出力し、音声についてはミュートとする、利用者側から送信する映像や音声については送信しない、との設定の組み合わせを指す。このように、出力設定部１３は、副会議データの出力設定を主会議データの出力設定とは異なる設定とすることが可能である。これらの設定をもって後述する出力部１４が制御される。

ここで出力設定部１３は、副会議データの出力設定を主会議データの出力設定とは異なる設定としてもよい。すなわち上述したように、主会議データについては音声出力がＯＮ、副会議データについては音声出力がＯＦＦ、映像出力はいずれもＯＮであるが主会議データは動画である一方で副会議データはテキストの出力、というように、主会議と副会議の配信の態様を特徴づけるものとなる。これらの出力設定の差異によって利用者は干渉なく複数の会議データにかかる映像や音声を視聴することができる。

出力部１４は前記出力設定に基づいて、会議データを出力する。具体的には出力設定部１３より出力設定を受け取り、音声や映像の出力を制御し、これらを出力する。主にスピーカやディスプレイデバイスと、これらを制御するデバイスドライバなどが該当する。

主会議と副会議の切り替えは、音声出力のＯＮとＯＦＦの操作に連動して行われてもよい。会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける音声出力設定受付部（図示せず）をさらに有し、出力設定部１３は前記操作に応じて音声出力を会議データ毎に有効化又は無効化し、選択部１２は、音声出力を有効化した場合に有効化された会議データを主会議データとして、その他の会議データを副会議データとする。あるいは音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとするといった構成である。

入力部１５は、音声及び映像を入力する。主にマイクやカメラなどの映像と音声を取得するためのデバイスとこれらを制御するデバイスドライバなどが該当する。取得した映像や音声は後述する送信部１７へ送られる。

送信設定部１６は音声及び映像を送信する態様を、送信先の会議サーバ毎に設定する。例えば、マイクやカメラから入力した音声及び映像を、主会議の会議サーバ宛には音声と映像をともに送信するが、副会議の会議サーバ宛には音声は送信せずに映像のみ送る等の処理を実行するための制御を後述する送信部１７に対して行う。

送信設定部１６は、副会議データの送信設定を主会議データの送信設定とは異なる設定としてもよい。上記の通り主会議の会議サーバ宛には音声及び映像をともに送信するが、副会議の会議サーバ宛には音声は送信せず映像のみ送信するといった設定が可能であってよい。このように、送信設定部は、副会議データの送信設定を主会議データの送信設定とは異なる設定とすることが可能である。

送信設定部１６と出力設定部１３における設定により、出力設定部１３は、副会議データの音声を出力しない設定とし、送信設定部は、副会議データの送信元に対して音声を送信しない設定とすることが可能であり、主会議に干渉しない態様で利用者は複数の会議に参加することが可能である。

送信部１７は、前記音声の音声データ及び前記映像の映像データを各会議データにかかる会議サーバへ送信する。送信設定部１６が設定した送信態様でネットワークを介して各会議サーバへ送信する。

音声文字変換部１８は会議データの音声を音声認識によりテキスト化する。受信部１１にて受信した会議データのうちの音声を取得し、ほぼリアルタイムで音声認識（Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ）を行い、その結果を出力部１４より出力を行う。音声認識エンジンについては既存のものを使用してよいが、リアルタイム処理が可能な高速な認識エンジンを採用することが望ましい。

出力部１４にて変換されたテキストを出力するが、出力の態様は種々のものが考えられる。例えば図２のように話者から吹き出しがでておりその中に変換結果を表示させてもよいし、映画の字幕のように話者の映像の下部や側部に変換結果を表示するものでもよい。あるいは、チャットツールで使用されているようなタイムライン型式で変換結果を時系列上にて表示するものでもよい。

音声の干渉を回避して複数の会議に参加するには、主会議は受信した会議データの映像と音声の両方を出力し、副会議データの音声はテキスト化し、出力部により変換された副会議データのテキストを出力するという態様が望ましい。

音声文字変換部１８は、事前に設定された文字列が変換結果に含まれる場合に通知を行う通知機能を有してもよい。適時に副会議に参加するためには、音声文字変換部１８にて変換された文字列を常に監視して、参加すべきタイミングを図ることが必要であるが、副会議での議事の進行を、キーワードを設定しておいて音声文字変換部１８で監視し、設定したキーワードが出現した場合に通知することで、副会議に過度に注意を払うことなく主会議に集中することが可能となる。

［動作の説明］
本実施形態の端末装置１０の動作の一例について図４を用いて説明する。図４は、第１の実施形態に係る端末装置１０の動作の一例を示すフローチャートである。

まず出力系の処理について説明する。同装置が動作を開始すると、主会議データと副会議データとを選択する（ステップＳＡ４１）。次いで会議データの出力態様を会議データ毎に設定する（ステップＳＡ４２）。次に複数の会議データを受信する（ステップＳＡ４３）。受信したら出力設定に基づいて会議データが出力される（ステップＳＡ４４）。会議データの出力に伴って、音声をテキスト化して出力する（ステップＳＡ４５）。ここで、主会議の変更が生じた場合（ステップＳＡ４６、Ｙ）には、再び主会議データと副会議データとを選択する処理（ステップＳ４１）に戻る。変更がない場合（ステップＳＡ４６、Ｎ）には会議への参加が終了するか否かを判断し、終了でない場合（ステップＳＡ４７、Ｎ）には再び複数の会議データを受信する処理（ステップＳＡ４３）に戻る。終了であれば（ステップＳＡ４７、Ｙ）端末装置の動作が終了する。

次に入力系の処理について説明する。なお入力系の処理と出力系の処理は並行して実行されてもよい。端末装置１０が動作を開始すると出力系において主会議データと副会議データとが選択される。この選択は入力系にも継承される（点線部）。すると入力データの送信態様を会議サーバ毎に設定する（ステップＳＢ４１）。次にカメラやマイク等から映像や音声を入力する（ステップＳＢ４２）。入力された映像や音声は映像データや音声データにて会議サーバへ送信される（ステップＳＢ４３）。ここで主会議の変更があった場合（ステップＳＢ４４、Ｙ）には入力データの送信態様を会議サーバ毎に設定する処理（ステップＳＢ４１）に戻る。主会議の変更がない場合には（ステップＳＢ４４、Ｎ）会議への参加が終了するか否かを判断し、終了でない場合（ステップＳＢ４５、Ｎ）には引き続き映像や音声を入力する処理（ステップＳＢ４２）に戻る。終了である場合には（ステップＳＢ４５、Ｙ）端末装置の動作が終了する。

［ハードウエア構成］
本実施形態の端末装置１０は、情報処理装置（コンピュータ）により構成可能であり、図５に例示する構成を備える。例えば、端末装置１０は、内部バス５５により相互に接続される、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１、メモリ５２、入出力インタフェース５３及び通信手段であるＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）５４等を備える。

但し、図５に示す構成は、端末装置１０のハードウエア構成を限定する趣旨ではない。端末装置１０は、図示しないハードウエアを含んでもよいし、必要に応じて入出力インタフェース５３を備えていなくともよい。また、端末装置１０に含まれるＣＰＵ等の数も図５の例示に限定する趣旨ではなく、例えば、複数のＣＰＵが端末装置１０に含まれていてもよい。

メモリ５２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ ＯＮｌｙ Ｍｅｍｏｒｙ）、補助記憶装置（ハードディスク等）である。

入出力インタフェース５３は、図示しない表示装置や入力装置のインタフェースとなる手段である。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受付ける装置である。

端末装置１０の機能は、メモリ５２に格納された受信プログラム、選択プログラム、出力設定プログラム、音声文字変換プログラム、出力プログラム、入力プログラム、送信設定プログラム、送信プログラム等といったプログラム群（処理モジュール）と、出力設定及び入力設定のデフォルト値等のデータ群により実現される。当該処理モジュールは、例えば、メモリ５２に格納された各プログラムをＣＰＵ５１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウエア、及び／又は、ソフトウエアで実行する手段があればよい。

［ハードウエアの動作］
最初に出力系の処理におけるハードウエアの動作について説明する。まず端末装置１０は、動作を開始すると、選択プログラムがメモリ５２からＣＰＵ５１に呼び出され、実行状態となり、主会議データと副会議データを選択する処理を行う。具体的には入出力インタフェース５３により主会議データ又は副会議データを選択する。あるいはすでに第１の会議データを受信しており、音声の出力がある場合に、新たに第２の会議データの受信を追加すると、追加された第２の会議データについては副会議データとし、第１の会議データが主会議データとなるといった処理を行ってもよい。

次に出力設定プログラムがメモリ５２から呼び出されＣＰＵ５１にて実行状態となる。同プログラムは選択プログラム又は後述する受信プログラムから、選択された主会議データの識別子及び副会議データの識別子を受け取る。次にメモリ５２に格納されている主会議データ及び副会議データの出力設定値のデフォルト値を読み込む。次に出力プログラムがメモリ５２から呼び出されＣＰＵ５１にて実行状態となる。ここで出力設定プログラムは出力設定値と主会議データ及び副会議データの識別子を出力プログラムに渡す。次に受信プログラムがメモリ５２から呼び出され、ＣＰＵ５１で実行状態となる。同プログラムはＮＩＣ５４を介して会議サーバから会議データを受信する。受信されたデータは出力プログラムと、音声文字変換プログラムに渡される。

次に音声文字変換プログラムがメモリ５２から呼び出されＣＰＵ５１にて実行状態となる。同プログラムは受信プログラムより渡された副会議データを読み込み、音声認識処理により受信した会議データの音声部分をテキスト化する。テキスト化されたデータは出力プログラムに渡される。

出力プログラムでは受信部から渡される会議データを主会議データの識別子により識別し、出力設定値を反映させてディスプレイ、スピーカなどの入出力インタフェース５３より出力する。併せて出力プログラムは音声文字変換プログラムより渡されたテキストデータを入出力インタフェース５３のディスプレイに副会議データの映像に重畳する等の処理を行うことで出力する。

ここで主会議の変更処理に関しては、入出力インタフェース５３により所定の操作を行うことで割り込みが発生し、選択プログラムがＣＰＵ５１にて実行状態となる。キーボードやマウス等の入出力インタフェース５３の操作入力により主会議が選択され、主会議データの識別子が出力設定プログラムに送られ主会議における出力設定値のデフォルト値とともに出力プログラムに送られる。

なお、主会議の変更処理については、音声出力の有効化、無効化により切り替えを行う態様でもよい。この場合、音声出力設定受付プログラムが起動し音声出力の有効化又は無効化を受け付け、音声出力が有効となった会議データの識別子を出力設定プログラムもしくは選択プログラムに送り、主会議データとすることで変更処理を行う。

次に入力系の処理におけるハードウエアの動作について説明する。まず出力系の処理の選択プログラムにより主会議データと副会議データとが選択される。すると送信設定プログラムがメモリ５２から呼び出されＣＰＵ５１にて実行状態となる。同プログラムは選択プログラムより主会議データと副会議データとの識別子を受け取る。また同プログラムはメモリ５２に格納されている主会議及び副会議の送信設定のデフォルト値を読み込む。

次に入力プログラムがメモリ５２から呼び出されＣＰＵ５１にて実行状態となる。同プログラムは音声及び映像をマイクやカメラ等の入出力インタフェース５３により取得する。次に送信プログラムがメモリ５２から呼び出されＣＰＵ５１にて実行状態となる。取得された音声及び映像は入力データとして送信プログラムに送られる。送信プログラムは、送信設定プログラムより主会議及び副会議の設定値を受け取り、主会議データと副会議データの識別子から主会議データ及び副会議データを配信するサーバのアクセス先を解決する。送信プログラムは解決されたアクセス先（アドレス）それぞれに対して送信設定値を反映させた形態で入力データを送信する。

なお主会議の変更処理については、出力系の選択プログラムより選択後の主会議データの識別子と副会議データの識別子とを送信設定プログラムが受け取り、メモリ５２に格納されている主会議及び副会議の送信設定のデフォルト値を読み込む。送信設定プログラムはこれらの値と識別子を送信プログラムに渡すことで主会議の変更を行う。

［効果の説明］
上記第１の実施形態に係る端末装置により、複数の電子会議への参加を可能とし、さらに主会議と副会議で出力の態様を変え、副会議の会議データの音声を認識してテキスト化し提示することで、会議間で提示される情報、特に音声が相互に干渉することのない視聴態様が実現できる。

［第２の実施形態］
第２の実施形態では、上記実施形態を会議サービスとして提供した場合の会議システムの構成及び動作について説明する。

図６は第２の実施形態におけるシステムの概要と構成を示す図である。会議アプリケーション２００は、この状態からユーザがメールやスケジュールのＵＲＬをクリックすることで同時刻にあらかじめ予約された第２の会議に参加する機能を有する。図７及び図８は本実施形態のシステムが提供するサービスの概要を示す図である。図７に示すように、会議アプリケーション２００は、第２の会議を副会議として起動し、マイク、及びスピーカを使用せず、会議サービス１００の音声文字変換（Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ）機能でテキスト化された議事を表示する。なお、チャット、他者が表示した資料の共有、及びユーザの映像送信については、主会議／副会議で個別にＯＮ／ＯＦＦすることができる。

本実施形態によると、主会議にて参加する第１の会議は音声、映像、資料共有などを駆使して常にやり取りを把握している状況で参加し、テキスト化された議事だけを追えれば良い第２の会議に参加することができる。

一方で、第２の会議で一部分だけ受け答えしたい場合がある。この場合、ユーザは第２の会議の画面で音声ＯＮのアイコンをクリックする（もしくは第１の会議の画面で音声ＯＦＦ操作を行ない、第２の会議の画面で音声ＯＮの操作を行なう）と、図６に示すように、第１の会議では、会議サービス１００の音声文字変換（Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ）機能でテキスト化された議事を表示し、第２の会議では、マイク、及びスピーカを使用することができる。なお、第２の会議の音声文字変換（Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔ）機能でテキスト化された議事は、機能をＯＦＦするまで引き続き表示される。本実施形態によると第２の会議の中で一部分だけ受け答えしたい場合に参加することが可能となり、第１の会議の議事を後から確認することができる。

次に実施形態の構成について説明する。図６に本実施形態のシステムの構成を示す。会議サービス１００、ユーザの情報端末（ＰＣ／スマートフォン）上の会議アプリケーション２００で構成される。

会議サービス１００は、例えばクラウド上のサーバ装置で、会議に必要な音声、映像などをやり取りするための機能を提供する会議サーバ１１０と、Ｗｅｂサーバ１２０、各種システム設定が格納されたＤＢサーバ１３０、各ユーザの会議設定情報を保持するユーザ会議設定１５０を備える。

ユーザの情報端末（ＰＣ／スマートフォン）上の会議アプリケーション２００は、会議サービス１００とネットワークを介して接続されている。

［動作の説明］
上記では、１つの会議アプリケーション２００で実施される場合を記載したが、複数の会議サービス１００ａ、１００ｂ（図示せず）、及び会議アプリケーション２００ａ、２００ｂ（図示せず）で実施する場合の実施形態を説明する。

会議アプリケーション２００ａ、２００ｂは、起動時にマイク、及びスピーカが使用されているかを確認し、使用されていない場合、通常の主会議として起動し、マイク、及びスピーカを使用し、使用されている場合、副会議として起動し、マイク、及びスピーカを使用せず、会議サービス１００のＳｐｅｅｃｈ ｔｏ Ｔｅｘｔ機能でテキスト化された議事を表示するように起動する機能を有する。

また、音声ＯＮ操作で、マイク、及びスピーカが使用されているかを確認し、使用されていない場合、マイク、及びスピーカを会議で使用するように制御し、音声ＯＦＦ操作で、マイク、及びスピーカを開放し、会議サービス１００のＳｐｅｅｃｈ ｔｏ Ｔｅｘｔ機能でテキスト化された議事を表示する機能を有する。

マイク、及びスピーカが使用されていない状態で、会議アプリケーション２００ａを起動すると、主会議として起動し、マイク、及びスピーカを使用するようことができる。この状態で、会議アプリケーション２００ｂを起動すると、既にマイク、及びスピーカが会議アプリケーション２００ａで使用されているので、副会議として起動し、マイク、及びスピーカを使用せず、会議サービス１００ｂのＳｐｅｅｃｈ ｔｏ Ｔｅｘｔ機能でテキスト化された議事を表示する。

会議アプリケーション２００ｂで一部分だけ受け答えしたい場合、ユーザは会議アプリケーション２００ａの画面で音声ＯＦＦ操作を行ない、会議サービス１００ａのＳｐｅｅｃｈ ｔｏ Ｔｅｘｔ機能でテキスト化された議事を表示し、会議アプリケーション２００ｂの画面で音声ＯＮの操作を行ない、マイク、及びスピーカを使用することができる。

本実施形態によると、異なる会議アプリケーションであってもメインにて参加する会議は音声、映像、資料共有などを駆使して常にやり取りを把握している状況で参加し、テキスト化された議事だけを追えれば良い副会議に参加することができ、副会議の中で一部分だけ受け答えしたい場合に参加することが可能となり、主会議の議事を後から確認することができる。

［効果の説明］
メインにて参加する会議は音声、映像、資料共有などを駆使して常にやり取りを把握している状況で参加し、テキスト化された議事だけを追えれば良い副会議に参加することができる。副会議の中で一部分だけ受け答えしたい場合に参加することが可能となり、主会議の議事を後から確認することができる。

前述の実施形態の一部又は全部は、以下の各付記のようにも記載することができる。しかしながら、以下の各付記は、あくまでも、本発明の単なる例示に過ぎず、本発明は、かかる場合のみに限るものではない。
［付記１］
上述の第一の視点に係る端末装置のとおりである。
［付記２］
音声及び映像を入力する入力部と、音声及び映像を送信する態様を、送信先の会議サーバ毎に送信設定する送信設定部と、前記送信設定に基づいて、前記音声の音声データ及び前記映像の映像データを各会議データにかかる会議サーバへ送信する送信部と、をさらに有し、前記送信設定部は、副会議データの送信設定を主会議データの送信設定とは異なる設定とする、好ましくは付記１の端末装置。
［付記３］
出力設定部は、副会議データの音声を出力しない設定とし、送信設定部は、副会議データの送信元に対して音声を送信しない設定とする、好ましくは付記２の端末装置。
［付記４］
会議データの音声を音声認識によりテキスト化する音声文字変換部をさらに有し、出力部は変換されたテキストを出力する、好ましくは付記１から３のいずれか１の端末装置。
［付記５］
音声文字変換部は副会議データの音声をテキスト化し、出力部は変換された副会議データのテキストを出力する、好ましくは付記４の端末装置。
［付記６］
音声文字変換部は、事前に設定された文字列が変換結果に含まれる場合に通知を行う好ましくは付記４又は５の端末装置。
［付記７］
会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける音声出力設定受付部を、さらに有し、出力設定部は操作に応じて音声出力を会議データ毎に有効化又は無効化し、選択部は、音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとする、好ましくは付記１から６のいずれか一の端末装置。
［付記８］
選択部は、会議データの配信の受信を開始する際に、出力部より音声が出力されている、又は入力部より音声が入力されている場合には、会議データは副会議データとして取り扱う、付記１から７のいずれか一の端末装置。
［付記９］
上述の第二の視点に係る出力方法のとおりである。
［付記１０］
上述の第三の視点に係るプログラムのとおりである。
なお、付記９及び付記１０は、付記１と同様に、付記２～付記８に展開することが可能である。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（特許請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（部分的削除を含む）が可能である。すなわち、本発明は、特許請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０：端末装置
１１：受信部
１２：選択部
１３：出力設定部
１４：出力部
１５：入力部
１６：送信設定部
１７：送信部
１８：音声文字変換部
２１－２３ ：会議サーバ
２４－２６ ：ウインドウ
２７：発言者
２８：資料
５１：ＣＰＵ
５２：メモリ
５３：入出力インタフェース
５５：内部バス
１００、１００ａ、１００ｂ：会議サービス
１１０：会議サーバ
１２０：Ｗｅｂサーバ
１３０：ＤＢサーバ
１５０：ユーザ会議設定
２００、２００ａ、２００ｂ：会議アプリケーション

Claims (9)

1. 複数の会議サーバより配信される複数の会議データを受信する受信部と、
   前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとする選択部と、
   前記選択部の選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する出力設定部と、
   前記出力設定に基づいて、会議データを出力する出力部と、
   を有し、
   前記出力設定部は、副会議データの出力設定を主会議データの出力設定とは異なる設定とし、
   前記会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける音声出力設定受付部を、
   さらに有し、
   前記出力設定部は前記操作に応じて音声出力を前記会議データ毎に有効化又は無効化し、
   前記選択部は、音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとする、
   端末装置。
2. 音声及び映像を入力する入力部と、
   音声及び映像を送信する態様を、送信先の会議サーバ毎に送信設定する送信設定部と、
   前記送信設定に基づいて、前記音声の音声データ及び前記映像の映像データを各会議データにかかる会議サーバへ送信する送信部と、
   をさらに有し、
   前記送信設定部は、副会議データの送信設定を主会議データの送信設定とは異なる設定とする、
   請求項１の端末装置。
3. 前記出力設定部は、前記副会議データの音声を出力しない設定とし、
   前記送信設定部は、前記副会議データの送信元に対して音声を送信しない設定とする、
   請求項２の端末装置。
4. 前記会議データの音声を音声認識によりテキスト化する音声文字変換部をさらに有し、
   前記出力部は変換されたテキストを出力する、
   請求項１から３のいずれか一の端末装置。
5. 前記音声文字変換部は副会議データの音声をテキスト化し、
   前記出力部は変換された副会議データのテキストを出力する、
   請求項４の端末装置。
6. 前記音声文字変換部は、事前に設定された文字列が変換結果に含まれる場合に通知を行う請求項４又は５の端末装置。
7. 選択部は、前記会議データの配信の受信を開始する際に、出力部より音声が出力されている、又は入力部より音声が入力されている場合には、前記会議データは副会議データとして取り扱う、
   請求項１から６のいずれか一の端末装置。
8. 複数の会議サーバより配信される複数の会議データを受信するステップと、
   前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択するステップと、
   前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定するステップと、
   前記出力設定に基づいて、会議データを出力するステップと、
   を有し、
   前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とし、
   前記会議データ毎に音声の出力を有効化又は無効化するための操作を受け付けるステップと、
   前記操作に応じて音声出力を前記会議データ毎に有効化又は無効化するステップと、
   音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとするステップと、を有する、
   出力方法。
9. 複数の会議サーバより配信される複数の会議データを受信する処理と、
   前記複数の会議データのうち一の会議データを主会議データとし、その他の会議データを副会議データとして選択する処理と、
   前記選択に基づいて、前記会議データの出力態様を、会議データ毎に設定し出力設定する処理と、
   前記出力設定に基づいて、会議データを出力する処理と、
   を有し、
   前記出力設定は、副会議データの出力設定を主会議データの出力設定とは異なる設定とし、
   前記会議データ毎に音声の出力を有効化又は無効化するための操作を受け付ける処理と、
   前記操作に応じて音声出力を前記会議データ毎に有効化又は無効化する処理と、
   音声出力を有効化した場合に有効化された会議データを主会議データとしてその他の会議データを副会議データとし、音声出力を無効化した場合に無効化された会議データを副会議データとし、その他の会議データのうちの一を主会議データとする処理と、をコンピュータに実行させるためのプログラム。

Images