JP7044633B2 - 操作支援装置、操作支援システム、及び操作支援方法 - Google Patents

Description

本発明は、ユーザーによる表示機器の操作を支援する操作支援装置、操作支援システム、及び操作支援方法に関する。

音声認識技術を利用してユーザーによる操作を支援する放送受信装置が特許文献１に開示されている。特許文献１に開示された放送受信装置は、ユーザー音声に対応する外部入力装置が接続されている外部入力端子を活性化させて、ユーザー音声に対応する外部入力装置から受信する映像を表示する。具体的には、特許文献１に開示された放送受信装置は、外部入力端子と、呼出し語設定部と、保存部と、音声認識部と、制御部と、ディスプレー部とを備える。また、放送受信装置は、サーバーと通信可能に接続する。

外部入力端子には、外部入力装置が接続される。呼出し語設定部は、外部入力装置の呼出し語を設定する。保存部は、呼出し語と、呼出し語に対応する外部入力装置が接続される外部入力端子とをマッチングして保存する。音声認識部は、ユーザー音声をデジタル信号に変換して、サーバーに送信する。サーバーは、デジタル信号に基づいて、ユーザー音声に対応するテキスト情報を生成する。

制御部は、サーバーから受信したテキスト情報に基づいて、ユーザー音声に呼出し語が含まれているか否かを判断し、ユーザー音声に呼出し語が含まれている場合、呼出し語に対応する外部入力端子を活性化させ、呼出し語に対応する外部入力端子が受信する映像を表示するようにディスプレー部を制御する。特許文献１に開示されている呼出し語は、例えばビデオ、ＤＶＤ、ブルーレイである。

特開２０１４－０２１４９３号公報

しかしながら、特許文献１に開示された放送受信装置では、アプリケーションソフトウェアがインストールされている端末機器（例えば、パーソナルコンピューター）が表示機器に接続されている場合に、そのアプリケーションソフトウェアによって生成される画像情報を、ユーザー音声に応じて表示機器に表示させることができない。

本発明は上記課題に鑑みてなされたものであり、その目的は、表示機器に接続されている端末機器にアプリケーションソフトウェアがインストールされている場合に、そのアプリケーションソフトウェアによって生成される画像情報を、ユーザー音声に応じて表示させることができる操作支援装置、操作支援システム、及び操作支援方法を提供することにある。

本発明の操作支援装置は、表示機器の操作を支援する。当該操作支援装置は、音声認識部と、コマンド生成部とを備える。前記音声認識部は、音声データをテキスト情報に変換する。前記コマンド生成部は、前記テキスト情報の内容に対応する制御コマンドを生成する。また、前記コマンド生成部は、前記テキスト情報に、アプリケーションソフトウェアを示すキーワードが含まれている場合、前記アプリケーションソフトウェアに関連付けられた入力端子を、前記表示機器が備える入力端子のうちから特定する。前記コマンド生成部は、前記制御コマンドとして、特定した前記入力端子を活性化させる切替コマンドと、前記アプリケーションソフトウェアを起動させる起動コマンドとを生成する。

本発明の操作支援システムは、表示機器と、前記表示機器の操作を支援する操作支援装置とを備える。前記操作支援装置は、音声認識部と、コマンド生成部とを備える。前記音声認識部は、音声データをテキスト情報に変換する。前記コマンド生成部は、前記テキスト情報の内容に対応する制御コマンドを生成する。また、前記コマンド生成部は、前記テキスト情報に、アプリケーションソフトウェアを示すキーワードが含まれている場合、前記アプリケーションソフトウェアに関連付けられた入力端子を、前記表示機器が備える入力端子のうちから特定する。前記コマンド生成部は、前記制御コマンドとして、特定した前記入力端子を活性化させる切替コマンドと、前記アプリケーションソフトウェアを起動させる起動コマンドとを生成する。前記表示機器は、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示する。

本発明の操作支援方法は、表示機器の操作を支援する。当該操作支援方法は、音声データをテキスト情報に変換する音声認識ステップと、前記テキスト情報の内容に対応する制御コマンドを生成するコマンド生成ステップと、画像情報を表示する表示ステップとを含む。前記コマンド生成ステップは、前記テキスト情報に、アプリケーションソフトウェアを示すキーワードが含まれている場合に、前記アプリケーションソフトウェアに関連付けられた入力端子を、前記表示機器が備える入力端子のうちから特定するステップと、前記制御コマンドとして、特定した前記入力端子を活性化させる切替コマンドと、前記アプリケーションソフトウェアを起動させる起動コマンドとを生成するステップとを含む。前記表示ステップは、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示するステップを含む。

本発明によれば、表示機器に接続されている端末機器にアプリケーションソフトウェアがインストールされている場合に、そのアプリケーションソフトウェアによって生成される画像情報を、ユーザー音声に応じて表示させることができる。

本発明の実施形態１に係る会議システムを示す図である。 本発明の実施形態１に係る会議支援サーバーの構成を示す図である。 本発明の実施形態１に係る第１端末機器の構成を示す図である。 本発明の実施形態１に係るマイク／スピーカ装置の構成を示す図である。 本発明の実施形態１に係る表示機器の構成を示す図である。 本発明の実施形態１に係る接続機器登録画面を示す図である。 （ａ）は、本発明の実施形態１に係る第１管理テーブルを示す図である。（ｂ）は、本発明の実施形態１に係るアプリケーションテーブルを示す図である。 本発明の実施形態１に係る第１キーワード群を示す図である。 本発明の実施形態１に係る第２キーワード群を示す図である。 本発明の実施形態１に係る第３キーワード群を示す図である。 本発明の実施形態１に係る第２管理テーブルを示す図である。 本発明の実施形態１に係る登録処理を示す図である。 本発明の実施形態１に係る表示切替処理を示す図である。 本発明の実施形態１に係る表示切替処理を示す図である。 本発明の実施形態１に係る表示切替処理を示す図である。 本発明の実施形態１に係る表示切替処理の他例を示す図である。 本発明の実施形態１に係る表示画面設定処理を示す図である。 本発明の実施形態２に係る第１端末機器の構成を示す図である。 本発明の実施形態２に係る第２端末機器の構成を示す図である。 本発明の実施形態２に係る会議支援サーバーの構成を示す図である。 本発明の実施形態２に係る第１管理テーブルを示す図である。 本発明の実施形態２に係る第４キーワード群を示す図である。 本発明の実施形態２に係る表示画面設定処理を示す図である。 本発明の他の実施形態に係るメイン画面及びサブ画面を示す図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。また、説明が重複する箇所については、適宜説明を省略する場合がある。

［実施形態１］
図１は、本実施形態に係る会議システム１を示す図である。会議システム１は、会議に使用される。会議システム１は、操作支援システムの一例である。図１に示すように、会議システム１は、会議支援サーバー２、アクセスポイント３、第１端末機器４～第３端末機器６、マイク／スピーカ装置７、及び表示機器８を備える。

本実施形態において、会議支援サーバー２は、操作支援装置の一例であり、表示機器８の操作を支援する。具体的には、会議支援サーバー２は、ユーザーが発声した音声に所定のキーワードが含まれる場合、ユーザーが発声した音声に応じて表示機器８の表示画面を切り替える。なお、以下の説明において、ユーザーが発声した音声を、「ユーザー音声」と記載する場合がある。

アクセスポイント３は、インターネット回線９とＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル１０とを接続する。ＬＡＮケーブル１０には、第１端末機器４～第３端末機器６、及び表示機器８が接続する。会議支援サーバー２は、インターネット回線９、アクセスポイント３、及びＬＡＮケーブル１０を介して、第１端末機器４との間で通信を行う。

アクセスポイント３は、無線ＬＡＮを介してマイク／スピーカ装置７と接続する。会議支援サーバー２は、インターネット回線９、アクセスポイント３、及び無線ＬＡＮを介して、マイク／スピーカ装置７との間で通信を行う。

なお、アクセスポイント３は、無線ＬＡＮを介して第１端末機器４と接続してもよいし、ＬＡＮケーブルを介してマイク／スピーカ装置７と接続してもよい。

第１端末機器４～第３端末機器６は、表示機器８に接続されて、表示機器８に画像情報を出力する。第１端末機器４は、ＬＡＮケーブル１０を介して、第２端末機器５、第３端末機器６、及び表示機器８との間で通信を行う。なお、第１端末機器４は、無線ＬＡＮを介して、第２端末機器５、第３端末機器６、及び表示機器８との間で通信を行ってもよい。

第１端末機器４は、画像情報を出力できる限り、特に限定されない。本実施形態において、第１端末機器４は、会議室ＰＣ（パーソナルコンピューター）であり、アプリケーションソフトウェアを実装することができる。会議室ＰＣには、汎用のパーソナルコンピューターを用いることができる。

第２端末機器５及び第３端末機器６は、画像情報を出力できる限り、特に限定されない。第２端末機器５及び第３端末機器６は、例えば、インターネット回線９を介して外部のサーバーから取得した映像情報を出力する機器であり得る。あるいは、第２端末機器５及び第３端末機器６は、汎用のパーソナルコンピューター、ビデオカメラ、ＤＶＤ再生装置、又はブルーレイ再生装置であり得る。本実施形態において、第２端末機器５及び第３端末機器６は、ゲストＰＣであり、アプリケーションソフトウェアを実装することができる。

第１端末機器４～第３端末機器６にインストールされるアプリケーションソフトウェアは、例えば、電子黒板ソフトウェア、表計算ソフトウェア、文書作成ソフトウェア、テレビ会議ソフトウェア、ウエブ会議ソフトウェア、ビデオ会議ソフトウェア、及びプレゼンテーションソフトウェアである。

マイク／スピーカ装置７は、集音装置の一例であり、ユーザーが発声した音声を集音し、集音した音声を音声データ（デジタルデータ）に変換して、会議支援サーバー２へ送信する。また、マイク／スピーカ装置７は、会議支援サーバー２から受信した音声データ（デジタルデータ）に基づいて音声を出力する。

表示機器８は、画像情報を表示する。具体的には、表示機器８は、第１入力端子８１～第３入力端子８３を備える。第１入力端子８１～第３入力端子８３には、画像情報を出力できる機器が接続される。第１入力端子８１～第３入力端子８３は、例えば、Ｄ－ＳＵＢ端子、ＨＤＭＩ（登録商標）端子、又はＤｉｓｐｌａｙｐｏｒｔである。

本実施形態において、第１入力端子８１には第１端末機器４が接続される。第２入力端子８２には第２端末機器５が接続される。第３入力端子８３には第３端末機器６が接続される。表示機器８は、第１入力端子８１～第３入力端子８３のいずれかを活性化させ、第１入力端子８１～第３入力端子８３のうちの活性化した入力端子が受信した画像情報を表示する。例えば、第１入力端子８１を活性化させた場合、第１入力端子８１が第１端末機器４から受信する画像情報を表示する。

続いて図１及び図２を参照して、会議支援サーバー２の構成を説明する。図２は、会議支援サーバー２の構成を示す図である。図２に示すように、会議支援サーバー２は、通信部２１、音声認識部２２、記憶部２３、及び制御部２４を備える。

通信部２１は、インターネット回線９（図１）に接続する。例えば、通信部２１は、ＬＡＮボード又はＬＡＮモジュールを備える。通信部２１は、第１端末機器４（図１）及びマイク／スピーカ装置７（図１）との間の通信を制御する。

音声認識部２２は、マイク／スピーカ装置７（図１）から受信した音声データを音声認識技術によりテキスト情報（以下、「認識結果テキスト」と記載する場合がある。）に変換する。音声認識部２２は、例えば、音声認識ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を備える。

記憶部２３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような半導体メモリーを備える。更に、記憶部２３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のようなストレージデバイスを備える。記憶部２３は、制御部２４が実行する制御プログラムを記憶する。

本実施形態において、記憶部２３は、第１管理テーブル２３１、アプリケーションテーブル２３２、第１キーワード群２３３、第２キーワード群２３４、第３キーワード群２３５、及び第２管理テーブル２３６を記憶する。

第１管理テーブル２３１及びアプリケーションテーブル２３２は、第１端末機器４～第３端末機器６（図１）にインストールされている第１アプリケーションソフトウェアと、第１入力端子８１～第３入力端子８３（図１）に接続する機器と、第１入力端子８１～第３入力端子８３（図１）とを対応付ける。以下、第１アプリケーションソフトウェアを「外部アプリケーション」と記載する場合がある。

第１管理テーブル２３１は更に、表示機器８（図１）と、表示機器８（図１）にインストールされている第２アプリケーションソフトウェアとを対応付ける。以下、第２アプリケーションソフトウェアを「内蔵アプリケーション」と記載する場合がある。内蔵アプリケーションは、例えば図５に示すような表示機器８の記憶部８７に記憶された電子黒板ソフトウェアである。

第１キーワード群２３３は、第１入力端子８１～第３入力端子８３（図１）に接続する各機器を示すキーワードを含む。本実施形態において、第１キーワード群２３３は、第１端末機器４～第３端末機器６（図１）を示す各キーワードを含む。第２キーワード群２３４は、表示機器８（図１）が表示する表示画面を１つ前の表示画面に戻すキーワードを含む。第３キーワード群２３５は、第１端末機器４～第３端末機器６（図１）及び表示機器８（図１）にインストールされている各アプリケーションソフトウェアを示すキーワードを含む。第２管理テーブル２３６は、表示機器８（図１）が表示した表示画面の履歴（履歴情報）を示す。

制御部２４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサを備える。また、制御部２４（コンピューター）は、記憶部２３に記憶された制御プログラム（コンピュータープログラム）に基づいて、会議支援サーバー２の動作を制御する。本実施形態において、制御部２４は、制御プログラムを実行することにより、コマンド生成部２５及び判定部２６として機能する。

コマンド生成部２５は、認識結果テキストの内容に対応する制御コマンドを生成する。判定部２６は、認識結果テキストに、外部アプリケーション及び内蔵アプリケーションのうちのいずれかを示すキーワードと、第１入力端子８１～第３入力端子８３（図１）に接続する機器のうちのいずれかを示すキーワードと、表示機器８（図１）が表示する表示画面を１つ前の表示画面に戻すキーワードとのうちのいずれが含まれるかを判定する。

詳しくは、判定部２６は、第１キーワード群２３３～第３キーワード群２３５を参照して、認識結果テキストに含まれるキーワードが、第１キーワード群２３３に属するキーワードと、第２キーワード群２３４に属するキーワードと、第３キーワード群２３５に属するキーワードとのうちのいずれに該当するかを判定する。コマンド生成部２５は、判定部２６の判定結果に応じて、以下で説明する第１制御コマンド生成処理～第４制御コマンド生成処理を実行する。

［第１制御コマンド生成処理］
コマンド生成部２５は、認識結果テキストに、ある外部アプリケーションを示すキーワードが含まれている場合、その外部アプリケーションに関連付けられた入力端子を、第１入力端子８１～第３入力端子８３（図１）のうちから特定する。

本実施形態において、コマンド生成部２５は、まず、外部アプリケーションがインストールされている機器を、第１端末機器４～第３端末機器６（図１）のうちから特定する。詳しくは、コマンド生成部２５は、第１管理テーブル２３１及びアプリケーションテーブル２３２を参照して、認識結果テキストのキーワードに対応する外部アプリケーションがインストールされている機器を特定する。

更に、コマンド生成部２５は、特定した機器が接続されている入力端子を、第１入力端子８１～第３入力端子８３（図１）のうちから特定する。詳しくは、コマンド生成部２５は、第１管理テーブル２３１を参照して、特定した機器に対応付けられた入力端子を特定する。

また、コマンド生成部２５は、入力端子を特定すると、制御コマンドとして、特定した入力端子を活性化させる第１切替コマンドと、認識結果テキストのキーワードに対応する外部アプリケーションを起動させる第１起動コマンドとを生成する。第１切替コマンドは、第１入力端子８１～第３入力端子８３のうちのいずれかを指定して、指定した入力端子を活性化させる命令を示す。制御コマンド（第１切替コマンド及び第１起動コマンド）は、図１を参照して説明した第１端末機器４（会議室ＰＣ）に送信される。なお、以下の説明において、認識結果テキストのキーワードに対応するアプリケーションソフトウェアを、指定アプリケーションと記載する場合がある。指定アプリケーションは、ユーザー音声によって指定されたアプリケーションソフトウェアである。

［第２制御コマンド生成処理］
コマンド生成部２５は、認識結果テキストに、内蔵アプリケーションを示すキーワードが含まれている場合、制御コマンドとして、第１入力端子８１～第３入力端子８３の全てを不活性化させる第２切替コマンドと、認識結果テキストのキーワードに対応する内蔵アプリケーションを起動させる第２起動コマンドとを生成する。制御コマンド（第２切替コマンド及び第２起動コマンド）は、図１を参照して説明した第１端末機器４（会議室ＰＣ）に送信される。

［第３制御コマンド生成処理］
コマンド生成部２５は、認識結果テキストに、第１端末機器４～第３端末機器６（図１）のうちの１つを示すキーワードが含まれている場合、その機器が接続されている入力端子を、第１入力端子８１～第３入力端子８３（図１）のうちから特定する。

詳しくは、コマンド生成部２５は、第１管理テーブル２３１を参照して、認識結果テキストのキーワードに対応する機器を特定する。また、第１管理テーブル２３１を参照して、特定した機器に対応付けられた入力端子を特定する。コマンド生成部２５は、入力端子を特定すると、制御コマンドとして、第１切替コマンドを生成する。制御コマンド（第１切替コマンド）は、図１を参照して説明した第１端末機器４（会議室ＰＣ）に送信される。

［第４制御コマンド生成処理］
コマンド生成部２５は、認識結果テキストに、表示機器８（図１）が表示する表示画面を１つ前の表示画面に戻すキーワードが含まれている場合、第２管理テーブル２３６を参照して、１つ前の表示画面を表示機器８（図１）に表示させる制御コマンドを生成する。１つ前の表示画面に戻すキーワードは、例えば「前の画面」、「元の画面」又は「さっきの画面」である。

具体的には、第２管理テーブル２３６は、１つ前の表示画面に表示された画像情報が、第１入力端子８１～第３入力端子８３（図１）のうちの１つによって受信された画像情報である場合、その入力端子によって受信された画像情報が１つ前の表示画面に表示されていたことを示す。典型的には、第２管理テーブル２３６は、１つ前の表示画面に表示された画像情報を受信した入力端子を示す。この場合、コマンド生成部２５は、制御コマンドとして、第１切替コマンドを生成する。制御コマンド（第１切替コマンド）は、図１を参照して説明した第１端末機器４（会議室ＰＣ）に送信される。

また、１つ前の表示画面に表示された画像情報が、内蔵アプリケーションによって生成された画像情報である場合、第２管理テーブル２３６は、内蔵アプリケーションによって生成された画像情報が１つ前の表示画面に表示されていたことを示す。この場合、コマンド生成部２５は、制御コマンドとして、第２切替コマンドと、第２起動コマンドとを生成する。制御コマンド（第２切替コマンド及び第２起動コマンド）は、図１を参照して説明した第１端末機器４（会議室ＰＣ）に送信される。

以上、第１制御コマンド生成処理～第４制御コマンド生成処理について説明した。続いて図１及び図２を参照して、制御部２４が実行する音声データ出力処理について説明する。

制御部２４は、認識結果テキストに含まれるキーワードが、第１キーワード群２３３～第３キーワード群２３５に属するキーワードのいずれにも該当しない場合に、音声データ出力処理を実行する。具体的には、制御部２４は、所定の音声データをマイク／スピーカ装置７に送信する。所定の音声データは、記憶部２３に予め記憶されている。所定の音声データは、ユーザーに再度発声してもらうためのメッセージを示す。例えば、メッセージの内容は、「もう一度話して下さい」である。

以上、図１及び図２を参照して、会議支援サーバー２について説明した。なお、図２に示す会議支援サーバー２は音声認識部２２を備えたが、制御部２４が音声認識部２２の機能を有してもよい。この場合、音声認識部２２は省略される。

続いて図１及び図３を参照して、第１端末機器４の構成について説明する。図３は、第１端末機器４（会議室ＰＣ）の構成を示す図である。図３に示すように、第１端末機器４は、出力端子４１、通信部４２、操作部４３、表示部４４、記憶部４５、及び制御部４６を備える。

出力端子４１は、画像情報を出力する。出力端子４１は、表示機器８の第１入力端子８１（図１）に接続する。表示機器８の第１入力端子８１（図１）が活性化している場合、出力端子４１から出力された画像情報が表示機器８（図１）によって表示される。

通信部４２は、ＬＡＮケーブル１０（図１）に接続する。通信部４２は、例えば、ＬＡＮボード又はＬＡＮモジュールを備える。通信部４２は、会議支援サーバー２（図１）との間の通信を制御する。また、通信部４２は、第２端末機器５（図１）、第３端末機器６（図１）、及び表示機器８（図１）との間の通信を制御する。

具体的には、通信部４２は、会議支援サーバー２（図１）から制御コマンドを受信する。また、通信部４２は、第１切替コマンド又は第２切替コマンドを表示機器８（図１）に送信する。第２切替コマンドを送信する場合、通信部４２は、第２起動コマンドも表示機器８（図１）に送信する。また、通信部４２は、第１起動コマンドを、指定アプリケーション（外部アプリケーション）がインストールされている機器に送信する。なお、指定アプリケーションがインストールされている機器が第１端末機器４である場合、通信部４２は、自身へ向けて第１起動コマンドを送信する。

操作部４３は、ユーザーによって操作されて、ユーザーからの指示を受け付ける。操作部４３は、ユーザーの操作に応じた信号を制御部４６に出力する。この結果、第１端末機器４は、操作部４３が受け付けた操作に応じた動作を実行する。操作部４３は、例えば、ポインティングデバイスと、キーボードとを備える。なお、操作部４３は、タッチセンサを備えてもよい。タッチセンサは、表示部４４の表示面に重畳される。

表示部４４は各種の画面を表示する。本実施形態において、表示部４４は、図６を参照して後述する接続機器登録画面６０を表示する。接続機器登録画面６０は、ユーザーインターフェイス画面であり、各種情報の登録を受け付ける。表示部４４は、例えば、液晶ディスプレー又は有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレーである。なお、タッチセンサが表示部４４の表示面に重畳される場合、表示部４４は、タッチディスプレーとして機能する。

記憶部４５は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。更に、記憶部４５は、ＨＤＤのようなストレージデバイスを備える。記憶部４５は、制御部４６が実行する制御プログラムを記憶する。

本実施形態において、記憶部４５は、表示切替制御プログラム４５１、アプリケーション起動指示制御プログラム４５２、及びアプリケーションソフトウェア４５３（外部アプリケーション）を記憶する。

表示切替制御プログラム４５１は、会議支援サーバー２（図１）から受信した第１切替コマンド又は第２切替コマンドを表示機器８（図１）に送信するためのプログラムである。アプリケーション起動指示制御プログラム４５２は、会議支援サーバー２（図１）から受信した第１起動コマンド又は第２起動コマンドを、指定アプリケーションがインストールされている機器に送信するためのプログラムである。

制御部４６は、例えばＣＰＵのようなプロセッサを備える。また、制御部４６（コンピューター）は、記憶部４５に記憶された制御プログラム（コンピュータープログラム）に基づいて、第１端末機器４の動作を制御する。

本実施形態において、制御部４６は、表示切替制御プログラム４５１を実行することにより、会議支援サーバー２（図１）から受信した第１切替コマンド又は第２切替コマンドを表示機器８（図１）に送信する。

また、制御部４６は、アプリケーション起動指示制御プログラム４５２を実行することにより、指定アプリケーションがインストールされている機器を特定し、会議支援サーバー２（図１）から受信した第１起動コマンド又は第２起動コマンドを、指定アプリケーションがインストールされている機器に送信する。

また、制御部４６は、表示部４４に表示されている画像を示す画像データを、出力端子４１を介して第１入力端子８１（図１）に送信する。表示機器８（図１）は、第１入力端子８１が活性化している場合、表示部４４に表示されている画像を表示する。例えば、表示部４４は、外部アプリケーション４５３が現在処理の対象としているデータファイルを表示する場合がある。換言すると、表示部４４は、外部アプリケーション４５３が開いているデータファイルを表示する場合がある。この場合、表示機器８（図１）は、外部アプリケーション４５３が開いているデータファイルを示す画面を表示する。データファイルは記憶部４５に記憶されている。なお、制御部４６は、表示部４４に表示されている画像を示す画像データを、出力端子４１（図１）及びＬＡＮケーブル１０（図１）を介して第１入力端子８１（図１）に送信して、表示部４４に表示されている画像を表示機器８（図１）に表示させてもよい。

続いて図１及び図４を参照して、マイク／スピーカ装置７の構成について説明する。図４は、マイク／スピーカ装置７の構成を示す図である。図４に示すように、マイク／スピーカ装置７は、通信部７１、音声入力部７２、音声出力部７３、記憶部７４、及び制御部７５を備える。

通信部７１は、アクセスポイント３（図１）に接続する。通信部７１は、会議支援サーバー２（図１）との間の通信を制御する。具体的には、通信部７１は、音声データを会議支援サーバー２（図１）に送信する。また、通信部７１は、会議支援サーバー２（図１）から音声データを受信する。通信部７１は、例えば、無線ＬＡＮボード又は無線ＬＡＮモジュールである。

音声入力部７２は、ユーザーが発声した音声を集音して、アナログ電気信号に変換する。アナログ電気信号は、制御部７５に入力される。音声入力部７２は、例えば、マイクロフォンである。音声出力部７３は、会議支援サーバー２（図１）から受信した音声データに対応する音声を出力する。音声出力部７３は、例えば、スピーカである。

記憶部７４は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。記憶部７４は更に、ＨＤＤのようなストレージデバイスを備えてもよい。記憶部７４は、制御部７５が実行する制御プログラムを記憶する。

制御部７５は、例えばＣＰＵ又はＭＰＵのようなプロセッサを備える。また、制御部７５（コンピューター）は、記憶部７４に記憶された制御プログラム（コンピュータープログラム）に基づいて、マイク／スピーカ装置７の動作を制御する。

続いて図１及び図５を参照して、表示機器８の構成について説明する。図５は、表示機器８の構成を示す図である。図５に示すように、表示機器８は、図１を参照して説明した第１入力端子８１～第３入力端子８３に加えて、通信部８４、入力端子切替部８５、表示部８６、記憶部８７、及び制御部８８を備える。

通信部８４は、ＬＡＮケーブル１０（図１）に接続する。通信部８４は、例えば、ＬＡＮボード又はＬＡＮモジュールを備える。通信部８４は、第１端末機器４（図１）との間の通信を制御する。具体的には、通信部８４は、第１端末機器４（図１）から第１切替コマンド又は第２切替コマンドを受信する。第２切替コマンドを受信する場合、通信部８４は、第２起動コマンドも受信する。

入力端子切替部８５は、第１入力端子８１～第３入力端子８３のうちのいずれか１つを選択して活性化させる。本実施形態において、入力端子切替部８５は、第１切替コマンドに応じて、第１入力端子８１～第３入力端子８３のうちのいずれか１つを活性化させる。また、入力端子切替部８５は、第２切替コマンドに応じて、第１入力端子８１～第３入力端子８３の全てを不活性化させる。

表示部８６は、第１入力端子８１～第３入力端子８３のうち活性化した入力端子が受信する画像情報を表示する。あるいは、表示部８６は、内蔵アプリケーションによって生成される画像情報を表示する。表示部８６は、例えば、液晶ディスプレー又は有機ＥＬディスプレーである。なお、表示部８６は、タッチセンサを備え得る。換言すると、表示部８６は、タッチディスプレーであり得る。

記憶部８７は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。更に、記憶部８７は、ＨＤＤのようなストレージデバイスを備え得る。記憶部８７は、制御部８８が実行する制御プログラムを記憶する。本実施形態において、記憶部８７は、内蔵電子黒板ソフトウェア８７１を記憶する。内蔵電子黒板ソフトウェア８７１は、内蔵アプリケーションの一例である。

制御部８８は、例えばＣＰＵ又はＭＰＵのようなプロセッサを備える。また、制御部８８（コンピューター）は、記憶部８７に記憶された制御プログラム（コンピュータープログラム）に基づいて、表示機器８の動作を制御する。

本実施形態において、制御部８８は、第１切替コマンド又は第２切替コマンドに応じて、入力端子切替部８５を制御する。具体的には、制御部８８は、第１切替コマンドを受信した場合、第１切替コマンドに基づいて、第１入力端子８１～第３入力端子８３のうちのいずれかを活性化させ、第２切替コマンドを受信した場合、第１入力端子８１～第３入力端子８３の全てを不活性化させる。また、制御部８８は、第２起動コマンドに基づいて、内蔵電子黒板ソフトウェア８７１を起動させる。

以上、図１～図５を参照して本実施形態について説明した。なお、本実施形態では、会議支援サーバー２が音声認識処理を実行したが、マイク／スピーカ装置７が音声認識処理を実行して、認識結果テキストを会議支援サーバー２に送信してもよい。

本実施形態によれば、表示機器８に接続されている端末機器（第１端末機器４～第３端末機器６）にアプリケーションソフトウェアがインストールされている場合に、そのアプリケーションソフトウェアによって生成される画像情報を、ユーザー音声に応じて表示させることができる。

また、本実施形態によれば、各テーブル（第１管理テーブル２３１、アプリケーションテーブル２３２、及び第２管理テーブル２３６）を参照して制御コマンドを生成するため、制御コマンドの作成が容易となる。

更に、本実施形態によれば、第２管理テーブル２３６によって、表示機器８が表示した表示画面の履歴を管理することができる。したがって、ユーザーは、１つ前の画面に表示されていた画像情報の出力元を認識することなく、「前の画面」や「元の画面」、「さっきの画面」のようなキーワードによって、表示機器８が表示する画面を１つ前の画面に戻すことができる。よって、ユーザーは、より直観的に表示機器８の表示画面を切り替えることができる。

また、本実施形態によれば、表示機器８に接続する機器（第１端末機器４～第３端末機器６）にインストールされているアプリケーションソフトウェアだけではなく、表示機器８にインストールされているアプリケーションソフトウェアも、音声によって起動させることができる。したがって、ユーザーの利便性を高めることができる。

続いて図１～図３及び図６を参照して、接続機器登録画面６０について説明する。図６は、本実施形態に係る接続機器登録画面６０を示す図である。接続機器登録画面６０は、第１端末機器４の表示部４４（図３）に表示されるユーザーインターフェイス画面である。ユーザーは、第１端末機器４の操作部４３（図３）を操作して、接続機器登録画面６０に各種の情報を設定（登録）することができる。なお、第１端末機器４（図３）は、ユーザーインターフェイス画面の画像データを表示機器８（図５）に送信して、第１端末機器４の表示部４４（図３）に表示されているユーザーインターフェイス画面を表示機器８の表示部８６（図５）に表示させてもよい。

図６に示すように、本実施形態の接続機器登録画面６０は、入力端子名欄６１、接続機器名登録欄６２、及び複数のアプリケーション情報登録欄６３を表示する。また、接続機器登録画面６０は、保存ボタン６４及びキャンセルボタン６５を表示する。

入力端子名欄６１には、第１入力端子８１～第３入力端子８３（図１）の各々の名称として事前に設定された名称（デフォルト名）が設定される。具体的には、入力端子名欄６１には、Ｄ－ＳＵＢ端子、ＨＤＭＩ（登録商標）端子、又はＤｉｓｐｌａｙｐｏｒｔ等が設定される。

接続機器名登録欄６２には、第１入力端子８１～第３入力端子８３（図１）の各々に接続される機器の名称（機器名）が設定される。機器名は、ユーザーが任意に決定する。

アプリケーション情報登録欄６３には、第１入力端子８１～第３入力端子８３（図１）の各々に接続される機器にインストールされているアプリケーションの情報が設定される。具体的には、アプリケーション情報登録欄６３は、ユーザーが任意に決定したアプリケーションソフトウェアの名称（ユーザーラベル）、及びアプリケーション名（メーカー指定の名称）の設定を受け付ける。

保存ボタン６４は、接続機器登録画面６０に設定された情報を保存するためのボタンであり、ユーザーが操作部４３（図３）を操作して保存ボタン６４を押下する指示を入力すると、接続機器登録画面６０に設定された情報が保存されて、会議支援サーバー２の制御部２４（図２）が、第１管理テーブル２３１（図２）及びアプリケーションテーブル２３２（図２）を作成する。

キャンセルボタン６５は、接続機器登録画面６０を用いた情報登録処理をキャンセルするためのボタンであり、ユーザーが操作部４３（図３）を操作してキャンセルボタン６５を押下する指示を入力すると、接続機器登録画面６０に設定された情報が保存されることなく、接続機器登録画面６０が閉じる。

続いて図１～図３及び図７（ａ）を参照して、第１管理テーブル２３１について説明する。図７（ａ）は、本実施形態に係る第１管理テーブル２３１を示す図である。図７（ａ）に示すように、第１管理テーブル２３１は、表示機器ＩＤ欄７０１、第１タグ欄７０２、第２タグ欄７０３、アプリケーション情報欄７０４を有する。

表示機器ＩＤ欄７０１には、表示機器８（図１）の識別番号（デフォルト値）が設定される。表示機器８（図１）の識別番号は、予め設定される。

第１タグ欄７０２には、第１入力端子８１～第３入力端子８３（図１）の第１タグが設定される。第１入力端子８１～第３入力端子８３（図１）の第１タグには、第１入力端子８１～第３入力端子８３（図１）の各々の名称として事前に設定された名称（デフォルト名）が用いられる。詳しくは、第１タグ欄７０２には、図６を参照して説明した入力端子名欄６１に設定された名称が反映される。具体的には、会議支援サーバー２の制御部２４（図２）が、図６を参照して説明した入力端子名欄６１に設定された情報に基づいて、第１タグ欄７０２を作成する。

更に、表示機器８（図１）に内蔵アプリケーションがインストールされている場合、その内蔵アプリケーションの第１タグが第１タグ欄７０２に設定される。内蔵アプリケーションの第１タグは、予め設定されてもよいし、ユーザーが第１端末機器４の操作部４３（図３）を操作して事前に設定（登録）してもよい。

第２タグ欄７０３には、第１入力端子８１～第３入力端子８３（図１）の第２タグが設定される。第１入力端子８１～第３入力端子８３（図１）の第２タグには、第１入力端子８１～第３入力端子８３（図１）の各々に接続される機器（第１端末機器４～第３端末機器６）の名称（機器名）が設定される。詳しくは、第２タグ欄７０３には、図６を参照して説明した接続機器名登録欄６２に設定された名称が反映される。具体的には、会議支援サーバー２の制御部２４（図２）が、図６を参照して説明した接続機器名登録欄６２に設定された情報に基づいて、第２タグ欄７０３を作成する。

更に、表示機器８（図１）に内蔵アプリケーションがインストールされている場合、その内蔵アプリケーションの第２タグとして、ユーザーが任意に決定したアプリケーションの名称（ユーザーラベル）が第２タグ欄７０３に設定される。内蔵アプリケーションのユーザーラベルは、ユーザーが第１端末機器４の操作部４３（図３）を操作して事前に設定（登録）してもよい。

アプリケーション情報欄７０４は、第２タグ欄７０３に設定された各機器に外部アプリケーションがインストールされているか否かを示す。具体的には、会議支援サーバー２の制御部２４（図２）が、図６を参照して説明したアプリケーション情報登録欄６３に設定された情報に基づいて、アプリケーション情報欄７０４を作成する。ここで、アプリケーション情報欄７０４の「アプリケーションテーブル１」は、外部アプリケーションがインストールされていることを示すとともに、その外部アプリケーションの情報が「アプリケーションテーブル１」に設定されていることを示す。「アプリケーションテーブル２」及び「アプリケーションテーブル３」も、「アプリケーションテーブル１」と同様である。なお、外部アプリケーションがインストールされていない場合、アプリケーション情報欄７０４は「Ｎｕｌｌ」を示す。

表示機器８（図１）に内蔵アプリケーションがインストールされている場合、その内蔵アプリケーションのアプリケーション名（メーカー指定の名称）が、アプリケーションタグとしてアプリケーション情報欄７０４に設定される。内蔵アプリケーションのアプリケーション名は、予め設定される。あるいは、ユーザーが第１端末機器４の操作部４３（図３）を操作して、内蔵アプリケーションのアプリケーション名を事前に設定（登録）してもよい。

続いて図１～図３及び図７（ｂ）を参照して、アプリケーションテーブル２３２について説明する。図７（ｂ）は、本実施形態に係るアプリケーションテーブル２３２を示す図である。詳しくは、図７（ｂ）は、「アプリケーションテーブル１」を例示している。図７（ｂ）に示すように、アプリケーションテーブル２３２は、起動コマンド欄７０５、アプリケーションタグ欄７０６、及びユーザーラベルタグ欄７０７を有する。

起動コマンド欄７０５には、外部アプリケーションの起動コマンド（第１起動コマンド）が設定される。具体的には、図２を参照して説明した会議支援サーバー２の制御部２４（コマンド生成部２５）が、外部アプリケーションのアプリケーション名を使用して起動コマンドを生成する。詳しくは、起動コマンドとして、「ｅｘｅ」＋「アプリケーション名」を生成し、生成した起動コマンドを起動コマンド欄７０５に設定する。なお、内蔵アプリケーションの起動コマンド（第２起動コマンド）も、外部アプリケーションの起動コマンドと同様に生成される。

アプリケーションタグ欄７０６には、外部アプリケーションのアプリケーションタグとして、外部アプリケーションのアプリケーション名が設定される。具体的には、会議支援サーバー２の制御部２４（図２）が、図６を参照して説明したアプリケーション情報登録欄６３に設定された情報に基づいて、アプリケーションタグ欄７０６を作成する。

ユーザーラベルタグ欄７０７には、外部アプリケーションのユーザーラベルタグとして、外部アプリケーションのユーザーラベルが設定される。具体的には、会議支援サーバー２の制御部２４（図２）が、図６を参照して説明したアプリケーション情報登録欄６３に設定された情報に基づいて、ユーザーラベルタグ欄７０７を作成する。

続いて図１、図２、図７（ａ）及び図８を参照して、第１キーワード群２３３について説明する。図８は、本実施形態に係る第１キーワード群２３３を示す図である。本実施形態において、第１キーワード群２３３は、第１入力端子８１～第３入力端子８３（図１）に接続する第１端末機器４～第３端末機器６（図１）の機器名を含む。具体的には、会議支援サーバー２の制御部２４（図２）が、図７（ａ）を参照して説明した第２タグ欄７０３に設定された情報に基づいて、第１キーワード群２３３を作成する。

続いて図１、図３、及び図９を参照して、第２キーワード群２３４について説明する。図９は、本実施形態に係る第２キーワード群２３４を示す図である。本実施形態において、第２キーワード群２３４は、表示機器８（図１）が表示する表示画面を１つ前の表示画面に戻す各キーワードを含む。第２キーワード群２３４は、予め設定されてもよいし、ユーザーが第１端末機器４の操作部４３（図３）を操作して事前に設定（登録）してもよい。

続いて図１～図３、図７（ａ）、図７（ｂ）及び図１０を参照して、第３キーワード群２３５について説明する。図１０は、本実施形態に係る第３キーワード群２３５を示す図である。本実施形態において、第３キーワード群２３５は、第１端末機器４～第３端末機器６（図１）及び表示機器８（図１）にインストールされているアプリケーションソフトウェアのユーザーラベルを含む。具体的には、会議支援サーバー２の制御部２４（図２）が、図７（ａ）を参照して説明したアプリケーション情報欄７０４に設定された情報、及び、図７（ｂ）を参照して説明したユーザーラベルタグ欄７０７に設定された情報に基づいて、第３キーワード群２３５を作成する。

また、第３キーワード群２３５は、アプリケーションソフトウェアの起動を命じるキーワードを含む。図１０には、「起動」及び「立ち上げ」を例示している。アプリケーションソフトウェアの起動を命じるキーワードは、予め設定されてもよいし、ユーザーが第１端末機器４の操作部４３（図３）を操作して事前に設定（登録）してもよい。

以上、図６、図７（ａ）、図７（ｂ）、及び図８～図１０を参照して、第１管理テーブル２３１、アプリケーションテーブル２３２、及び第１キーワード群２３３～第３キーワード群２３５について説明した。本実施形態によれば、第１端末機器４～第３端末機器６を示すキーワードをユーザーが任意に決定することができる。また、外部アプリケーションを示すキーワード、及び、内蔵アプリケーションを示すキーワードをユーザーが任意に決定することができる。したがって、ユーザーは表示画面の切り替えをより容易に行うことができる。

続いて図１、図２、図７（ａ）、及び図１１を参照して、第２管理テーブル２３６について説明する。図１１は、本実施形態に係る第２管理テーブル２３６を示す図である。図１１に示すように、第２管理テーブル２３６は、表示機器ＩＤ欄７０８、デフォルト設定端子欄７０９、「現在の表示」欄７１０、及び「１つ前の表示」欄７１１を有する。

表示機器ＩＤ欄７０８には、表示機器８（図１）の識別番号（デフォルト値）が設定される。表示機器８（図１）の識別番号は、予め設定される。

デフォルト設定端子欄７０９には、第１入力端子８１～第３入力端子８３（図１）のうちのいずれかの第１タグ（図７（ａ））が設定される。「デフォルト設定端子」は予め設定される。あるいは、ユーザーが第１端末機器４の操作部４３（図３）を操作して、「デフォルト設定端子」を事前に設定（登録）してもよい。

「現在の表示」欄７１０及び「１つ前の表示」欄７１１は、表示機器８（図１）が表示する表示画面が切り替わる度に更新される。具体的には、会議支援サーバー２の制御部２４（図２）が、第１管理テーブル２３１（図７（ａ））を参照して、「現在の表示」欄７１０及び「１つ前の表示」欄７１１を更新する。

例えば、表示画面に現在表示されている画像情報が、第１入力端子８１～第３入力端子８３（図１）のうちの１つによって受信された画像情報である場合、「現在の表示」欄７１０には、その入力端子の第１タグ（図７（ａ））が設定される。また、表示画面に現在表示されている画像情報が、内蔵アプリケーションによって生成された画像情報である場合、「現在の表示」欄７１０には、その内蔵アプリケーションのアプリケーションタグ（図７（ａ））が設定される。表示画面が切り替わると、「１つ前の表示」欄７１１に、「現在の表示」欄７１０に設定されていた情報が設定される。

続いて図１～図１７を参照して、会議システム１が実行する処理（動作）について説明する。まず、図１～図１２を参照して、登録処理について説明する。登録処理は、図６を参照して説明した接続機器登録画面６０を用いて各種の情報を登録する処理である。図１２は、本実施形態に係る登録処理を示す図である。

ユーザーが、第１端末機器４の操作部４３を操作して、第１端末機器４の表示部４４に接続機器登録画面６０を表示させる指示を入力すると、図１２に示す登録処理が開始する。

図１２に示すように、ユーザーが接続機器登録画面６０を表示させる指示を入力すると、第１端末機器４の制御部４６は、第１端末機器４の表示部４４に接続機器登録画面６０を表示させる（ステップＳ１）。

第１端末機器４の制御部４６は、第１端末機器４の表示部４４に接続機器登録画面６０を表示させると、接続機器登録画面６０の保存ボタン６４及びキャンセルボタン６５のうちのいずれのボタンが押下されたのかを判定する（ステップＳ２）。

ユーザーが、第１端末機器４の操作部４３を操作して、保存ボタン６４を押下すると（ステップＳ２；保存）、第１端末機器４の制御部４６は、接続機器登録画面６０に設定された各種の情報を会議支援サーバー２へ送信して（ステップＳ３）、処理を終了する。また、ユーザーが、第１端末機器４の操作部４３を操作して、キャンセルボタン６５を押下すると（ステップＳ２；キャンセル）、第１端末機器４の制御部４６は、接続機器登録画面６０に設定された各種の情報を会議支援サーバー２へ送信することなく、処理を終了する。

会議支援サーバー２の制御部２４は、第１端末機器４から受信した情報を、第１管理テーブル２３１及びアプリケーションテーブル２３２に登録する（ステップＳ４）。また、会議支援サーバー２の制御部２４は、第１管理テーブル２３１及びアプリケーションテーブル２３２を参照して、第１キーワード群２３３、及び第３キーワード群２３５を作成すると、処理を終了する。

続いて図１～図５及び図１３～図１５を参照して、会議システム１が実行する表示切替処理について説明する。表示切替処理は、表示機器８の表示画面を切り替える処理である。

まず図１、図２、図４、及び図１３を参照して、会議支援サーバー２及びマイク／スピーカ装置７が実行する処理について説明する。図１３は、本実施形態に係る表示切替処理を示す図であり、詳しくは、会議支援サーバー２及びマイク／スピーカ装置７が実行する処理を示す。

表示切替処理は、ユーザーが音声を発声することにより開始する。図１３に示すように、ユーザーが音声を発声すると、マイク／スピーカ装置７が、ユーザー音声を集音し（ステップＳ１１）、ユーザー音声に対応する音声データを会議支援サーバー２へ送信する（ステップＳ１２）。

会議支援サーバー２が、マイク／スピーカ装置７から音声データを受信すると（ステップＳ２１）、会議支援サーバー２の音声認識部２２が音声データをテキスト情報に変換する。この結果、会議支援サーバー２の制御部２４が、認識結果テキストを取得する（ステップＳ２２）。

会議支援サーバー２の制御部２４は、認識結果テキストを取得すると、表示画面設定処理を実行する（ステップＳ２３）。具体的には、図２を参照して説明した第１制御コマンド生成処理～第４制御コマンド生成処理のいずれかの処理を実行する。表示画面設定処理については、図１７を参照して後述する。

会議支援サーバー２の制御部２４は、表示画面設定処理の実行後、表示画面の設定に失敗したか否かを判定する（ステップＳ２４）。会議支援サーバー２の制御部２４は、表示画面の設定に失敗しなかったと判定した場合（ステップＳ２４；Ｎｏ）、第１制御コマンド生成処理～第４制御コマンド生成処理のいずれかの処理によって生成した制御コマンドを第１端末機器４へ送信して（ステップＳ２５）、図１３に示す処理を終了する。

一方、会議支援サーバー２の制御部２４は、表示画面の設定に失敗したと判定した場合（ステップＳ２４；Ｙｅｓ）、図２を参照して説明した音声データ出力処理を実行して、ユーザーに再度発声してもらうためのメッセージを示す音声データを、マイク／スピーカ装置７に送信する（ステップＳ２６）。会議支援サーバー２の制御部２４は、音声データ出力処理を実行すると、図１３に示す処理を終了する。

マイク／スピーカ装置７は、音声データを送信した後（ステップＳ１２）、会議支援サーバー２から音声データを受信したか否かを判定する（ステップＳ１３）。マイク／スピーカ装置７は、会議支援サーバー２から音声データを受信しなかった場合（ステップＳ１３；Ｎｏ）、図１３に示す処理を終了する。

一方、マイク／スピーカ装置７は、会議支援サーバー２から音声データを受信した場合（ステップＳ１３；Ｙｅｓ）、会議支援サーバー２から受信した音声データに対応する音声を出力して（ステップＳ１４）、図１３に示す処理を終了する。したがって、ユーザーは、再度、表示画面を所望の画面に切り替える指示を音声によって行うことができる。

続いて図１、図３、図５、及び図１４を参照して、第１端末機器４（会議室ＰＣ）及び表示機器８が実行する処理について説明する。図１４は、本実施形態に係る表示切替処理を示す図であり、詳しくは、第１端末機器４（会議室ＰＣ）及び表示機器８が実行する処理を示す。

図１４に示すように、第１端末機器４の制御部４６は、会議支援サーバー２から制御コマンドを受信すると（ステップＳ３１）、制御コマンドに含まれる切替コマンド（第１切替コマンド又は第２切替コマンド）を表示機器８へ送信する（ステップＳ３２）。

表示機器８の制御部８８は、第１端末機器４から切替コマンド（第１切替コマンド又は第２切替コマンド）を受信すると（ステップＳ４１）、切替コマンドに従って切替処理を実行する（ステップＳ４２）。具体的には、切替コマンドが第１切替コマンドである場合、表示機器８の制御部８８は、第１入力端子８１～第３入力端子８３のうち、第１切替コマンドによって指定された入力端子を活性化させる。また、切替コマンドが第２切替コマンドである場合、表示機器８の制御部８８は、第１入力端子８１～第３入力端子８３の全てを不活性化させる。

表示機器８の制御部８８は、切替処理を実行した後、応答信号を第１端末機器４へ送信して（ステップＳ４３）、図１４に示す処理を終了する。応答信号は、切替処理が完了したことを示す。

第１端末機器４の制御部４６は、表示機器８から応答信号を受信すると（ステップＳ３３）、会議支援サーバー２から受信した制御コマンドが起動コマンド（第１起動コマンド又は第２起動コマンド）を含むか否かを判定する（ステップＳ３４）。

第１端末機器４の制御部４６は、制御コマンドが起動コマンドを含まないと判定すると（ステップＳ３４；Ｎｏ）、図１４に示す処理を終了する。一方、第１端末機器４の制御部４６は、制御コマンドが起動コマンドを含むと判定すると（ステップＳ３４；Ｙｅｓ）、指定アプリケーションがインストールされている機器へ起動コマンド（第１起動コマンド又は第２起動コマンド）を送信して（ステップＳ３５）、図１４に示す処理を終了する。

続いて図１及び図１５を参照して、起動コマンド（第１起動コマンド又は第２起動コマンド）を受信した機器Ｘが実行する処理について説明する。図１５は、本実施形態に係る表示切替処理を示す図であり、詳しくは、起動コマンド（第１起動コマンド又は第２起動コマンド）を受信した機器Ｘが実行する処理を示す。

第１端末機器４が起動コマンドを送信すると、機器Ｘが起動コマンドを受信する（ステップＳ５１）。具体的には、起動コマンドが第１起動コマンドである場合、第１端末機器４～第３端末機器６のいずれかによって第１起動コマンドが受信される（ステップＳ５１）。一方、起動コマンドが第２起動コマンドである場合、表示機器８によって第２起動コマンドが受信される（ステップＳ５１）。機器Ｘの制御部は、起動コマンドを受信すると、指定アプリケーションを起動して（ステップＳ５２）、図１５に示す処理を終了する。

続いて図１６を参照して、表示切替処理の他例を説明する。図１６は、本実施形態に係る表示切替処理の他例を示す図である。詳しくは、第１端末機器４（会議室ＰＣ）が実行する処理の他例を示す。

図１６に示すように、第１端末機器４の制御部４６は、会議支援サーバー２から制御コマンドを受信すると（ステップＳ３１１）、制御コマンドが起動コマンド（第１起動コマンド又は第２起動コマンド）を含むか否かを判定する（ステップＳ３１２）。

第１端末機器４の制御部４６は、制御コマンドが起動コマンドを含むと判定すると（ステップＳ３１２；Ｙｅｓ）、指定アプリケーションがインストールされている機器へ起動コマンド（第１起動コマンド又は第２起動コマンド）を送信する（ステップＳ３１３）。その後、第１端末機器４の制御部４６は、切替コマンド（第１切替コマンド又は第２切替コマンド）を表示機器８へ送信して（ステップＳ３１４）、図１６に示す処理を終了する。

一方、第１端末機器４の制御部４６は、制御コマンドが起動コマンドを含まないと判定すると（ステップＳ３１２；Ｎｏ）、起動コマンドを送信することなく、切替コマンド（第１切替コマンド又は第２切替コマンド）を表示機器８へ送信して（ステップＳ３１４）、図１６に示す処理を終了する。

以上、図１６を参照して、表示切替処理の他例を説明した。図１６に示す処理によれば、アプリケーションソフトウェアを起動させた後に、表示画面を切り替えることができる。したがって、表示画面が一瞬真っ黒になる不具合が発生し難くなる。

すなわち、アプリケーションソフトウェアの起動が遅い場合、切替コマンドを送信した後に起動コマンドを送信すると、アプリケーションソフトウェアが起動する前に、例えば入力端子の切り替えが実行されて、表示画面が一瞬真っ黒になる可能性がある。これに対し、起動コマンドを送信した後に切替コマンドを送信することにより、アプリケーションソフトウェアの起動が遅い場合であっても、表示画面が一瞬真っ黒になる不具合が発生し難くなる。

なお、切替コマンドは、起動コマンドが送信されてから所定期間経過後に送信することが好ましい。これにより、表示画面が一瞬真っ黒になる不具合がより発生し難くなる。より好ましくは、アプリケーションソフトウェアの起動時間経過後に、切替コマンドの送信を実行する。これにより、表示画面が一瞬真っ黒になる不具合を防止することができる。

続いて図１、図２、図７～図１１、及び図１７を参照して、表示画面設定処理（図１３のステップＳ２３）について説明する。図１７は、本実施形態に係る表示画面設定処理を示す図である。

図１７に示すように、会議支援サーバー２の制御部２４は、認識結果テキストを取得すると、認識結果テキストが第１キーワード群２３３のキーワードを含むか否かを判定する（ステップＳ２０１）。詳しくは、認識結果テキストが、キーワード「第１端末」、キーワード「第２端末」、及びキーワード「第３端末」のいずれかを含むか否かを判定する。

会議支援サーバー２の制御部２４は、認識結果テキストが第１キーワード群２３３のキーワードを含むと判定した場合（ステップＳ２０１；Ｙｅｓ）、第１管理テーブル２３１を参照して、制御コマンドを生成する（ステップＳ２０２）。例えば、認識結果テキストがキーワード「第１端末」を含む場合、第２タグ「第１端末」を第１管理テーブル２３１において探索し、第２タグ「第１端末」に対応する第１タグ「第１入力端子」を探索する。そして、会議支援サーバー２の制御部２４は、第１入力端子８１を活性化させる切替コマンド（第１切替コマンド）を生成する。会議支援サーバー２の制御部２４は、制御コマンドを生成すると、図１３の処理に戻る。

会議支援サーバー２の制御部２４は、認識結果テキストが第１キーワード群２３３のキーワードを含まないと判定した場合（ステップＳ２０１；Ｎｏ）、認識結果テキストが第２キーワード群２３４のキーワードを含むか否かを判定する（ステップＳ２０３）。換言すると、認識結果テキストが、表示画面を１つ前の表示画面に戻すキーワードを含むか否かを判定する。

会議支援サーバー２の制御部２４は、認識結果テキストが第２キーワード群２３４のキーワードを含むと判定した場合（ステップＳ２０３；Ｙｅｓ）、第２管理テーブル２３６を参照して、制御コマンドを生成する（ステップＳ２０２）。例えば、第２管理テーブル２３６の「１つ前の表示」欄７１１に、第１タグ「第１入力端子」が設定されている場合、会議支援サーバー２の制御部２４は、第１入力端子８１を活性化させる切替コマンド（第１切替コマンド）を生成する。会議支援サーバー２の制御部２４は、制御コマンドを生成すると、図１３の処理に戻る。

会議支援サーバー２の制御部２４は、認識結果テキストが第２キーワード群２３４のキーワードを含まないと判定した場合（ステップＳ２０３；Ｎｏ）、認識結果テキストが第３キーワード群２３５のキーワードを含むか否かを判定する（ステップＳ２０４）。換言すると、認識結果テキストが、アプリケーションソフトウェアを示キーワード、及び、アプリケーションソフトウェアの起動を指示するキーワードを含むか否かを判定する。

会議支援サーバー２の制御部２４は、認識結果テキストが第３キーワード群２３５のキーワードを含むと判定した場合（ステップＳ２０４；Ｙｅｓ）、認識結果テキストに含まれるキーワードに対応するユーザーラベルタグ（以下、ターゲットタグと記載する場合がある。）が、第１管理テーブル２３１の第２タグ欄７０３及びアプリケーションテーブル２３２のユーザーラベルタグ欄７０７に存在するか否かを判定する（ステップＳ２０５）。詳しくは、会議支援サーバー２の制御部２４は、第１管理テーブル２３１のアプリケーション情報欄７０４を参照して、各アプリケーションテーブル２３２（「アプリケーションテーブル１」～「アプリケーションテーブル３」）のユーザーラベルタグ欄７０７を探索する。また、ターゲットタグが、ユーザーラベルタグ欄７０７に存在しない場合、第１管理テーブル２３１の第２タグ欄７０３にターゲットタグが存在するか否かを判定する。

会議支援サーバー２の制御部２４は、ターゲットタグが存在すると判定した場合（ステップＳ２０５；Ｙｅｓ）、第１管理テーブル２３１及びアプリケーションテーブル２３２を参照して、制御コマンドを生成する（ステップＳ２０２）。会議支援サーバー２の制御部２４は、制御コマンドを生成すると、図１３の処理に戻る。

例えば、会議支援サーバー２の制御部２４は、「アプリケーションテーブル１」のユーザーラベルタグ欄７０７にターゲットタグが存在した場合、「アプリケーションテーブル１」に設定されている起動コマンドを参照して、起動コマンドを生成する。また、第１管理テーブル２３１の「アプリケーションテーブル１」が含まれる行から第１タグ「第１入力端子」を探索する。そして、会議支援サーバー２の制御部２４は、第１入力端子８１を活性化させる切替コマンド（第１切替コマンド）を生成する。

また例えば、会議支援サーバー２の制御部２４は、第１管理テーブル２３１の第２タグ欄７０３にターゲットタグが存在する場合、第２切替コマンドを生成する。また、ターゲットタグが存在する行に含まれるアプリケーション情報（アプリケーション名）を用いて起動コマンドを生成する。

会議支援サーバー２の制御部２４は、認識結果テキストが第３キーワード群２３５のキーワードを含まないと判定した場合（ステップＳ２０４；Ｎｏ）、表示画面の設定に失敗したことを示すフラグを設定して（ステップＳ２０６）、図１３に示す処理に戻る。また、会議支援サーバー２の制御部２４は、ターゲットタグが存在しないと判定した場合（ステップＳ２０５；Ｎｏ）、表示画面の設定に失敗したことを示すフラグを設定して（ステップＳ２０６）、図１３に示す処理に戻る。

［実施形態２］
続いて図１及び図１８～図２３を参照して本発明の実施形態２について説明する。但し、実施形態１と異なる事項を説明し、実施形態１と同じ事項についての説明は割愛する。実施形態２は、第１端末機器４～第３端末機器６にインストールされているアプリケーションソフトウェアが現在処理の対象としているデータファイルのファイル名をユーザーが発声すると、表示機器８がそのデータファイルを表示する点で、実施形態１と異なる。

まず図１及び図１８を参照して、本実施形態の第１端末機器４（会議室ＰＣ）について説明する。図１８は、本実施形態に係る第１端末機器４の構成を示す図である。

図１８に示すように、本実施形態の記憶部４５は、データファイル名通知プログラム４５４を更に記憶する。また、記憶部４５は、外部アプリケーション４５３の処理の対象であるデータファイルと、そのデータファイルのファイル名を示す情報とを関連付けて記憶している。以下、ファイル名を示す情報を「ファイル名情報」と記載する場合がある。

本実施形態の制御部４６は、データファイル名通知プログラム４５４を実行することにより、表示部４４が現在表示しているデータファイルのファイル名情報を会議支援サーバー２（図１）に送信する。換言すると、制御部４６は、外部アプリケーション４５３が開いているデータファイルのファイル名情報を会議支援サーバー２（図１）に送信する。

より具体的には、制御部４６は、表示部４４において最前面に表示されているデータファイルのファイル名情報を通信部４２に送信させる。したがって、制御部４６は、最前面に表示されるデータファイルが切り替わると、ファイル名情報を会議支援サーバー２（図１）に送信する。

例えば、ユーザーによる操作部４３の操作に応じて、外部アプリケーション４５３がデータファイルを開くと、制御部４６が通信部４２にファイル名情報を送信させる。あるいは、表示部４４が複数のデータファイルを表示している場合に、ユーザーによる操作部４３の操作に応じて、最前面に表示されるデータファイルが入れ替わると、制御部４６が通信部４２にファイル名情報を送信させる。あるいは、表示部４４が複数のデータファイルを表示している場合に、ユーザーによる操作部４３の操作に応じて、最前面に表示されていたデータファイルが閉じると、制御部４６が通信部４２にファイル名情報を送信させる。あるいは、ユーザーによる操作部４３の操作に応じて、最小化されていたデータファイルが拡大すると、制御部４６が通信部４２にファイル名情報を送信させる。なお、制御部４６は、ユーザーによる操作部４３の操作に応じて、表示部４４に表示されていた全てのデータファイルを閉じると、データファイルが表示されていないことを示す情報を会議支援サーバー２（図１）に送信する。

続いて図１及び図１９を参照して、本実施形態の第２端末機器５（ゲストＰＣ）の構成について説明する。図１９は、本実施形態に係る第２端末機器５の構成を示す図である。図１９に示すように、第２端末機器５は、出力端子５１、通信部５２、操作部５３、表示部５４、記憶部５５、及び制御部５６を備える。

出力端子５１は、画像情報を出力する。出力端子５１は、表示機器８の第２入力端子８２（図１）に接続する。表示機器８の第２入力端子８２（図１）が活性化している場合、出力端子５１から出力された画像情報が表示機器８（図１）によって表示される。

通信部５２は、ＬＡＮケーブル１０（図１）に接続する。通信部５２は、例えば、ＬＡＮボード又はＬＡＮモジュールを備える。通信部５２は、会議支援サーバー２（図１）との間の通信を制御する。具体的には、通信部５２は、会議支援サーバー２（図１）にファイル名情報を送信する。また、通信部５２は、データファイルが表示されていないことを示す情報を会議支援サーバー２（図１）に送信する。

操作部５３は、ユーザーによって操作されて、ユーザーからの指示を受け付ける。操作部５３は、ユーザーの操作に応じた信号を制御部５６に出力する。この結果、第２端末機器５は、操作部５３が受け付けた操作に応じた動作を実行する。操作部５３は、例えば、ポインティングデバイスと、キーボードとを備える。なお、操作部５３は、タッチセンサを備えてもよい。タッチセンサは、表示部５４の表示面に重畳される。

表示部５４は各種の画面を表示する。本実施形態において、表示部５４は、第２端末機器５にインストールされている外部アプリケーション４５３が現在処理の対象としている（現在開いている）データファイルを表示する。換言すると、表示部５４は、外部アプリケーション４５３が開いているデータファイルを表示する。表示部５４は、例えば、液晶ディスプレー又は有機ＥＬディスプレーである。なお、タッチセンサが表示部５４の表示面に重畳される場合、表示部５４は、タッチディスプレーとして機能する。

記憶部５５は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。更に、記憶部５５は、ＨＤＤのようなストレージデバイスを備える。記憶部５５は、制御部５６が実行する制御プログラムを記憶する。また、記憶部５５は、第１端末機器４と同様に、外部アプリケーション４５３、外部アプリケーション４５３の処理の対象であるデータファイル、ファイル名情報、及びデータファイル名通知プログラム４５４を記憶する。

制御部５６は、例えばＣＰＵのようなプロセッサを備える。また、制御部５６（コンピューター）は、記憶部５５に記憶された制御プログラム（コンピュータープログラム）に基づいて、第２端末機器５の動作を制御する。

本実施形態において、制御部５６は、データファイル名通知プログラム４５４を実行することにより、図１８を参照して説明した第１端末機器４の制御部４６と同様に、表示部５４が現在表示しているデータファイルのファイル名情報を会議支援サーバー２（図１）に送信する。また、制御部５６は、データファイル名通知プログラム４５４を実行することにより、図１８を参照して説明した第１端末機器４の制御部４６と同様に、データファイルが表示されていないことを示す情報を会議支援サーバー２に送信する。

以上、本実施形態の第２端末機器５について説明した。なお、本実施形態の第３端末機器６の構成は第２端末機器５と同様であるため、その説明は割愛する。

続いて図１及び図２０を参照して、本実施形態の会議支援サーバー２について説明する。図２０は、本実施形態に係る会議支援サーバー２の構成を示す図である。

まず、通信部２１について説明する。本実施形態において、通信部２１は、第１端末機器４～第３端末機器６（図１）及びマイク／スピーカ装置７（図１）との間の通信を制御する。本実施形態の通信部２１は、第１端末機器４～第３端末機器６（図１）から、ファイル名情報を受信する。また、通信部２１は、第１端末機器４～第３端末機器６（図１）から、データファイルが表示されていないことを示す情報を受信する。

続いて、記憶部２３について説明する。本実施形態の記憶部２３は、図２０に示すように、第１管理テーブル２３１、アプリケーションテーブル２３２、第１キーワード群２３３、第２キーワード群２３４、第３キーワード群２３５、及び第２管理テーブル２３６に加えて、第４キーワード群２３７を更に記憶する。

本実施形態の第１管理テーブル２３１は、第１端末機器４～第３端末機器６（図１）が現在表示しているデータファイルのファイル名と、第１入力端子８１～第３入力端子８３（図１）に接続する機器と、第１入力端子８１～第３入力端子８３（図１）とを更に対応付ける点で、実施形態１で説明した第１管理テーブル２３１と異なる。より具体的には、第１端末機器４～第３端末機器６（図１）の各々の表示部において最前面に表示されているデータファイルのファイル名が、第１管理テーブル２３１に登録される。

第４キーワード群２３７は、第１端末機器４～第３端末機器６（図１）が現在表示しているデータファイルのファイル名を示すキーワードを含む。より具体的には、第４キーワード群２３７は、第１端末機器４～第３端末機器６（図１）の各々の表示部において最前面に表示されているデータファイルのファイル名を示すキーワードを含む。

続いて、本実施形態の判定部２６及びコマンド生成部２５について説明する。本実施形態において、判定部２６は、第１キーワード群２３３～第４キーワード群２３７を参照して、認識結果テキストに含まれるキーワードが、第１キーワード群２３３に属するキーワードと、第２キーワード群２３４に属するキーワードと、第３キーワード群２３５に属するキーワードと、第４キーワード群２３７に属するキーワードとのうちのいずれに該当するかを判定する。コマンド生成部２５は、判定部２６の判定結果に応じて、第１制御コマンド生成処理～第５制御コマンド生成処理のいずれかを実行する。なお、第１制御コマンド生成処理～第４制御コマンド生成処理は、実施形態１において既に説明しているため、ここでの説明は割愛する。以下、第５制御コマンド生成処理について説明する。

［第５制御コマンド生成処理］
コマンド生成部２５は、認識結果テキストに、あるファイル名を示すキーワードが含まれている場合、そのファイル名に関連付けられた入力端子を、第１入力端子８１～第３入力端子８３（図１）のうちから特定する。

詳しくは、コマンド生成部２５は、第１管理テーブル２３１を参照して、認識結果テキストのキーワードに対応する機器を特定する。更に、コマンド生成部２５は、第１管理テーブル２３１を参照して、特定した機器に対応付けられた入力端子を特定する。

また、コマンド生成部２５は、入力端子を特定すると、制御コマンドとして、特定した入力端子を活性化させる第１切替コマンドを生成する。制御コマンド（第１切替コマンド）は、図１を参照して説明した第１端末機器４（会議室ＰＣ）に送信される。

以上、図１及び図１８～図２０を参照して本実施形態について説明した。本実施形態によれば、表示機器８に接続されている端末機器（第１端末機器４～第３端末機器６）にアプリケーションソフトウェアがインストールされている場合に、そのアプリケーションソフトウェアによって生成される画像情報を、ユーザー音声に応じて表示させることができる。

具体的には、アプリケーションソフトウェアが開いているデータファイルのファイル名をユーザーが発声すると、表示機器８にそのデータファイルが表示される。より具体的には、表示機器８に接続されている端末機器の表示部において最前面に表示されているデータファイルのファイル名をユーザーが発声すると、表示機器８にそのデータファイルが表示される。本実施形態によれば、ユーザーは、表示機器８に表示させたいデータファイルを記憶している端末機器を特定することなく、所望のデータファイルを表示機器８に表示させることができる。換言すると、ユーザーは、所望のデータファイルを記憶している端末機器を知らなくても、所望のデータファイルを表示機器８に表示させることができる。

続いて図１、図２０及び図２１を参照して、本実施形態の第１管理テーブル２３１について説明する。図２１は、本実施形態に係る第１管理テーブル２３１を示す図である。図２１に示すように、本実施形態の第１管理テーブル２３１は、データファイル名欄７１２を更に有する。

データファイル名欄７１２は、第２タグ欄７０３に設定された各機器の表示部が現在表示しているデータファイルのファイル名を示す。具体的には、データファイル名欄７１２は、各機器の表示部において最前面に表示されているデータファイルのファイル名を示す。

詳しくは、会議支援サーバー２の制御部２４（図２０）が、第１端末機器４～第３端末機器６（図１）から受信するファイル名情報に基づいて、データファイル名欄７１２にファイル名を登録する。換言すると、会議支援サーバー２の制御部２４（図２０）は、第１端末機器４～第３端末機器６（図１）から受信するファイル名情報に基づいて、データファイル名欄７１２を更新する。また、会議支援サーバー２の制御部２４（図２０）は、ある機器から、データファイルが表示されていないことを示す情報を受信すると、その機器に対応するデータファイル名欄７１２に「Ｎｕｌｌ」を設定する。なお、図２１には、拡張子付きのファイル名を例示しているが、拡張子は省略されてもよい。

続いて図１及び図２０～図２２を参照して、第４キーワード群２３７について説明する。図２２は、本実施形態に係る第４キーワード群２３７を示す図である。第４キーワード群２３７は、第１端末機器４～第３端末機器６（図１）のそれぞれの表示部が現在表示しているデータファイルのファイル名を示すキーワードを含む。具体的には、第４キーワード群２３７は、表示部において最前面に表示されているデータファイルのファイル名を示すキーワードを含む。

詳しくは、会議支援サーバー２の制御部２４（図２０）が、図２１を参照して説明したデータファイル名欄７１２に設定された情報に基づいて、第４キーワード群２３７を作成する。換言すると、会議支援サーバー２の制御部２４（図２０）は、データファイル名欄７１２を更新すると、第４キーワード群２３７を更新する。なお、図２２には、拡張子が付いていないキーワードを例示しているが、拡張子付きのキーワードが作成されてもよい。

続いて図２０～図２３を参照して、本実施形態の表示画面設定処理（図１３のステップＳ２３）について説明する。図２３は、本実施形態に係る表示画面設定処理を示す図である。図２３に示す処理は、ステップＳ２０７を含む点で、図１７に示す表示画面設定処理と異なる。

会議支援サーバー２の制御部２４は、認識結果テキストが第３キーワード群２３５のキーワードを含まないと判定した場合（ステップＳ２０４；Ｎｏ）、認識結果テキストが第４キーワード群２３７のキーワードを含むか否かを判定する（ステップＳ２０７）。換言すると、認識結果テキストが、ファイル名を示すキーワードを含むか否かを判定する。

会議支援サーバー２の制御部２４は、認識結果テキストが第４キーワード群２３７のキーワードを含むと判定した場合（ステップＳ２０７；Ｙｅｓ）、第１管理テーブル２３１を参照して、制御コマンドを生成する（ステップＳ２０２）。例えば、認識結果テキストがキーワード「１１１１」（図２２）を含む場合、キーワード「１１１１」を含むファイル名をデータファイル名欄７１２（図２１）において探索する。そして、会議支援サーバー２の制御部２４は、第１入力端子８１を活性化させる切替コマンド（第１切替コマンド）を生成する。会議支援サーバー２の制御部２４は、制御コマンドを生成すると、図１３の処理に戻る。

会議支援サーバー２の制御部２４は、認識結果テキストが第４キーワード群２３７のキーワードを含まないと判定した場合（ステップＳ２０７；Ｎｏ）、表示画面の設定に失敗したことを示すフラグを設定して（ステップＳ２０６）、図１３に示す処理に戻る。

以上、図１及び図１８～図２３を参照して本発明の実施形態２について説明した。なお、本実施形態において、会議支援サーバー２の記憶部２３は、入力端子と、入力端子に接続されている機器と、ファイル名とを対応付けるテーブル（第１管理テーブル２３１）を記憶したが、会議支援サーバー２の記憶部２３は、ファイル名と入力端子とを関連付けて記憶してもよい。また、本実施形態では、外部アプリケーション４５３が開いているデータファイルを表示機器８に表示させたが、表示機器８に表示させるデータファイルは、表示機器８に接続している機器が表示中のデータファイルである限り、外部アプリケーション４５３が開いているデータファイルに限定されない。

以上、本発明の実施形態について図面を参照しながら説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。

例えば、表示機器８は、ユーザー音声に基づいて活性化させた入力端子をユーザーに通知する画像を表示してもよい。活性化させた入力端子をユーザーに通知する画像は、例えば、活性化させた入力端子の名称（Ｄ－ＳＵＢ端子、ＨＤＭＩ（登録商標）端子、及びＤｉｓｐｌａｙｐｏｒｔ等）を示す。もしくは、表示機器８は、ユーザー音声に基づいて活性化させた入力端子に接続されている端末機器をユーザーに通知する画像を表示してもよい。活性化させた入力端子に接続されている端末機器をユーザーに通知する画像は、例えば、端末機器の名称（第１端末、第２端末等）を示す。

また、本発明の実施形態では、会議システム１を説明したが、本発明が適用されるシステムは、表示機器を備えるシステムである限り、特に限定されない。例えば、本発明は、塾又は学校で使用される講義システム、家庭で使用される表示システムに適用することができる。

また、本発明の実施形態では、マイク／スピーカ装置７が使用されたが、第１端末機器４（会議室ＰＣ）又は表示機器８が、マイク／スピーカ装置７の機能を有してもよい。

また、本発明の実施形態では、会議支援サーバー２が表示機器８の表示画面の切り替えを支援する構成について説明したが、会議支援サーバー２は表示機器８の音量操作を支援してもよい。例えば、会議支援サーバー２の記憶部２３は、「音量」、「ボリューム」、「下げる」及び「上げる」のような音量に関するキーワード群を更に記憶してもよい。会議支援サーバー２の記憶部２３が音量に関するキーワード群を記憶することにより、ユーザー音声に応じた音量の制御が可能となる。

また、本発明の実施形態では、会議支援サーバー２の制御部２４（コマンド生成部２５）が、アプリケーション名を使用して起動コマンド（第１起動コマンド）を生成したが、ユーザーが第１端末機器４の操作部４３を操作して、起動コマンドを登録してもよい。

また、本発明の実施形態では、操作支援装置として会議支援サーバー２が使用されたが、操作支援装置として第１端末機器４（会議室ＰＣ）が使用されてもよいし、表示機器８が使用されてもよい。

また、本発明の実施形態では、会議支援サーバー２から送信された制御コマンドを、第１端末機器４が、第１端末機器４～第３端末機器６及び表示機器８へ送信したが、会議支援サーバー２が制御コマンドを第１端末機器４～第３端末機器６及び表示機器８へ送信してもよい。

また、本発明の実施形態において、表示機器８は３つの入力端子（第１入力端子８１～第３入力端子８３）を備えたが、表示機器８が備える入力端子の数は３つに限定されるものではなく、表示機器８は複数の入力端子を備えていればよい。

また、本発明の実施形態では、ユーザー音声を取得するために、音声を集音する機能と音声を出力する機能とを備えた装置（マイク／スピーカ装置７）が使用されたが、音声を集音する機能と音声を出力する機能とのうちの音声を集音する機能のみを備えた装置が使用されてもよい。

また、本発明の実施形態において、会議支援サーバー２の記憶部２３は、入力端子と、入力端子に接続されている機器と、外部アプリケーションとを対応付けるテーブル（第１管理テーブル２３１）を記憶したが、会議支援サーバー２の記憶部２３は、外部アプリケーションと入力端子とを直接対応付けるテーブルを記憶してもよい。

また、本発明の実施形態において、表示機器８は、１つの入力端子を活性化させたが、同時に２つの入力端子を活性化させてもよい。具体的には、表示機器８は、図２４に示すように、メイン画面１８１と、メイン画面１８１よりも画面サイズが小さいサブ画面１８２とを同時に表示してもよい。

また、図２４に示すように、メイン画面１８１及びサブ画面１８２を同時に表示する場合、会議支援サーバー２の記憶部２３が、「入れ替え」、「メイン」、及び「サブ」のようなキーワード群を更に記憶することにより、メイン画面１８１に表示されている第１画像情報と、サブ画面１８２に表示されている第２画像情報とのうちの少なくとも一方を変更する制御コマンドを生成することができる。

例えば、第１入力端子８１が受信する画像情報がメイン画面１８１に表示されており、第２入力端子８２が受信する画像情報がサブ画面１８２に表示されている状態において、認識結果テキストに、キーワード「入れ替え」が含まれていた場合、コマンド生成部２５は、第１入力端子８１が受信する画像情報をサブ画面１８２に表示させ、第２入力端子８２が受信する画像情報がメイン画面１８１を表示させる制御コマンドを生成することができる。

また例えば、第１入力端子８１が受信する画像情報がメイン画面１８１に表示されており、第２入力端子８２が受信する画像情報がサブ画面１８２に表示されている状態において、認識結果テキストに、キーワード「メイン」及びキーワード「第３端末」が含まれていた場合、コマンド生成部２５は、第３入力端子８３が受信する画像情報をメイン画面１８１に表示させる制御コマンドを生成することができる。

本発明は、会議システム、講義システム、及び授業システムのような表示機器を使用するシステムに有用である。

１ 会議システム
２ 会議支援サーバー
４ 第１端末機器
５ 第２端末機器
６ 第３端末機器
７ マイク／スピーカ装置
８ 表示機器
６０ 接続機器登録画面
１８１ メイン画面
１８２ サブ画面
２３１ 第１管理テーブル
２３２ アプリケーションテーブル
２３３ 第１キーワード群
２３４ 第２キーワード群
２３５ 第３キーワード群
２３６ 第２管理テーブル

Claims (13)

1. 表示機器の操作を支援する操作支援装置であって、
   音声データをテキスト情報に変換する音声認識部と、
   前記テキスト情報の内容に対応する制御コマンドを生成するコマンド生成部と
   を備え、
   前記コマンド生成部は、
   前記テキスト情報に、アプリケーションソフトウェアを示すキーワードが含まれている場合、前記アプリケーションソフトウェアに関連付けられた入力端子を、前記表示機器が備える入力端子のうちから特定し、
   前記制御コマンドとして、特定した前記入力端子を活性化させる切替コマンドと、前記アプリケーションソフトウェアを起動させる起動コマンドとを生成する、操作支援装置。
2. 前記コマンド生成部は、前記起動コマンドを送信した後に、前記切替コマンドを生成する、請求項１に記載の操作支援装置。
3. 前記アプリケーションソフトウェアに対してユーザーが任意に設定した名称を記憶する記憶部を備え、
   前記コマンド生成部は、前記テキスト情報に前記名称が含まれている場合、前記名称に対応する前記アプリケーションソフトウェアに関連付けられた入力端子を特定する、請求項１又は請求項２に記載の操作支援装置。
4. 前記表示機器が表示した表示画面の履歴を示す履歴情報を記憶する記憶部を備え、
   前記コマンド生成部は、前記テキスト情報に、前記表示機器が表示する表示画面を１つ前の表示画面に戻すキーワードが含まれている場合に、前記履歴情報を参照して、前記１つ前の表示画面を前記表示機器に表示させる前記制御コマンドを生成する、請求項１から請求項３のいずれか１項に記載の操作支援装置。
5. データファイルのファイル名と、入力端子とを関連付けて記憶する記憶部を備え、
   前記テキスト情報に前記ファイル名を示すキーワードが含まれている場合、前記コマンド生成部は、前記ファイル名に関連付けられた前記入力端子を、前記表示機器が備える入力端子のうちから特定して、前記切替コマンドを生成する、請求項１から請求項４のいずれか１項に記載の操作支援装置。
6. 前記データファイルは、前記アプリケーションソフトウェアが現在処理の対象としているデータファイルである、請求項５に記載の操作支援装置。
7. 前記データファイルは、前記入力端子に接続されている機器が表示しているデータファイルである、請求項５又は請求項６に記載の操作支援装置。
8. 前記入力端子に接続されている機器と、前記機器にインストールされている前記アプリケーションソフトウェアと、前記入力端子とを対応付ける管理テーブルを記憶する記憶部を備え、
   前記コマンド生成部は、
   前記管理テーブルを参照して、前記アプリケーションソフトウェアがインストールされている前記機器を特定し、
   前記管理テーブルを参照して、特定した前記機器が接続されている前記入力端子を特定する、請求項１から請求項７のいずれか１項に記載の操作支援装置。
9. 前記テキスト情報に、前記アプリケーションソフトウェアを示すキーワードと、前記入力端子に接続されている機器を示すキーワードとのうちのいずれが含まれるかを判定する判定部を備え、
   前記コマンド生成部は、
   前記テキスト情報に含まれるキーワードが、前記アプリケーションソフトウェアを示すキーワードである場合、前記制御コマンドとして、前記切替コマンドと、前記起動コマンドとを生成し、
   前記テキスト情報に含まれるキーワードが、前記機器を示すキーワードである場合、前記機器が接続されている入力端子を、前記表示機器が備える入力端子のうちから特定し、
   前記制御コマンドとして、特定した前記入力端子を活性化させる前記切替コマンドを生成する、請求項１から請求項８のいずれか１項に記載の操作支援装置。
10. 前記アプリケーションソフトウェアは、前記入力端子に関連付けられた第１アプリケーションソフトウェアと、前記表示機器にインストールされている第２アプリケーションソフトウェアとを含み、
    前記コマンド生成部は、前記テキスト情報に、前記第２アプリケーションソフトウェアを示すキーワードが含まれている場合、前記制御コマンドとして、前記第２アプリケーションソフトウェアを起動させる前記起動コマンドを生成する、請求項１から請求項９のいずれか１項に記載の操作支援装置。
11. 前記表示機器は、メイン画面と、メイン画面よりも画面サイズが小さいサブ画面とを表示し、
    前記コマンド生成部は、前記テキスト情報に、前記メイン画面に表示されている第１画像情報と、前記サブ画面に表示されている第２画像情報とのうちの少なくとも一方を変更するキーワードが含まれる場合、前記キーワードに応じて、前記第１画像情報と前記第２画像情報とのうちの少なくとも一方を変更する前記制御コマンドを生成する、請求項１から請求項１０のいずれか１項に記載の操作支援装置。
12. 表示機器と、前記表示機器の操作を支援する操作支援装置とを備えた操作支援システムであって、
    前記操作支援装置は、
    音声データをテキスト情報に変換する音声認識部と、
    前記テキスト情報の内容に対応する制御コマンドを生成するコマンド生成部と
    を備え、
    前記コマンド生成部は、
    前記テキスト情報に、アプリケーションソフトウェアを示すキーワードが含まれている場合、前記アプリケーションソフトウェアに関連付けられた入力端子を、前記表示機器が備える入力端子のうちから特定し、
    前記制御コマンドとして、特定した前記入力端子を活性化させる切替コマンドと、前記アプリケーションソフトウェアを起動させる起動コマンドとを生成し、
    前記表示機器は、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示する、操作支援システム。
13. 表示機器の操作を支援する操作支援方法であって、
    音声データをテキスト情報に変換する音声認識ステップと、
    前記テキスト情報の内容に対応する制御コマンドを生成するコマンド生成ステップと、
    画像情報を表示する表示ステップと
    を含み、
    前記コマンド生成ステップは、
    前記テキスト情報に、アプリケーションソフトウェアを示すキーワードが含まれている場合に、前記アプリケーションソフトウェアに関連付けられた入力端子を、前記表示機器が備える入力端子のうちから特定するステップと、
    前記制御コマンドとして、特定した前記入力端子を活性化させる切替コマンドと、前記アプリケーションソフトウェアを起動させる起動コマンドとを生成するステップと
    を含み、
    前記表示ステップは、前記切替コマンドによって活性化された前記入力端子が受信する画像情報を表示するステップを含む、操作支援方法。

Images