JP7489928B2 - 音声により機器を操作するための情報処理装置、システム、機器制御装置、およびプログラム - Google Patents

Description

本開示は、音声により機器の操作を実行するための情報処理装置、システム、機器制御装置、およびプログラムに関する。

施設内に設置された複数の監視カメラと、これらの監視カメラを遠隔操作する操作装置と、監視カメラによる映像信号を出力表示するモニター装置とを備えた監視システムが知られている（例えば、特許文献１を参照）。同監視システムでは、ユーザーが監視すべき撮像対象の設備の名称を音声情報入力部に言語情報として入力すると、音声認識部がその言語情報を認識する。制御部は、認識された言語情報に基づいて、撮像対象を特定して対応するカメラの操作を実行する。

特開平０９－０８３９９７号公報

特許文献１における監視システムは、設備の名称と同設備を撮像する監視カメラの番号とが対応付けられたテーブルデータを保持し、ユーザーは設備名を音声で入力することにより、対応する監視カメラの操作を実行できる。

しかし、ユーザーは、言い間違いや失念等により操作対象機器の名称を正確に発話するとは限らない。また、音声認識エンジンが入力音声を誤認識する可能性もある。かかる場合、認識された音声から操作対象機器を特定できず、操作不良や誤操作をする可能性がある。

上述した観点に鑑み、本開示の目的は、音声による操作対象機器をより正確に特定するのに有効な情報処理装置、システム、機器制御装置、およびプログラムを提供することである。

上記課題を解決するため、本開示の一の観点によれば、情報処理装置は、一つ以上の機器に関する操作を実行する機器制御装置と通信可能な情報処理装置であって、音声入力を受け付ける音声入力部と、音声入力部により受け付けられた音声を認識して、認識した音声に基づき一つ以上の機器に関する操作を実行するための操作コマンドを生成する制御部と、操作コマンドを機器制御装置に送信する通信部と、制御部による制御に応じて情報を出力する出力部と、を備える。機器制御装置に操作コマンドを送信する前に、制御部は、予め機器制御装置から取得される一つ以上の機器を特定する登録ワードを、出力部に出力させる。

本開示の他の観点によれば、システムは、情報処理装置と機器制御装置とを含み、機器制御装置は、一つ以上の機器を個別に識別するための名称の入力を受け付ける入力部と、入力部により入力された名称を登録ワードとして記憶する記憶部と、情報処理装置から送信された操作コマンドと登録ワードに基づいて一つ以上の機器のうち操作すべき機器を特定し、特定した機器を操作する制御部とを備える。機器制御装置は、情報処理装置が操作コマンドを送信する前に、登録ワードを情報処理装置に送信し、情報処理装置は、受信した登録ワードを出力部に出力させる。

本開示の他の観点によれば、機器制御装置は、一つ以上の機器を個別に識別する名称を登録ワードとして記憶する記憶部と、音声入力部を有する情報処理装置と通信するための通信部と、情報処理装置から音声入力部を介して入力されて認識された音声に基づき生成された操作コマンドと登録ワードとに基づき、一つ以上の機器のうち操作すべき機器を特定し、特定した機器を操作する制御部とを備える。機器制御装置は、登録ワードが情報処理装置に出力されるように、登録ワードを情報処理装置に送信する。

本開示の他の観点によれば、コンピュータープログラムは、一つ以上の機器に関する操作を実行する機器制御装置と通信し、音声により機器を操作するためのコンピュータープログラムであって、音声入力を受け付け、受け付けられた音声を認識し、認識した音声に基づき一つ以上の機器に関する操作を実行するための操作コマンドを生成し、操作コマンドを機器制御装置に送信することを含み、機器制御装置に操作コマンドを送信する前に、予め機器制御装置から取得される一つ以上の機器を特定する登録ワードを出力部により出力させる。

本開示に係る情報処理装置、システム、機器制御装置、およびプログラムは、音声による操作対象機器をより正確に特定するのに有効である。

図１は、実施の形態に係る情報処理装置を含むシステムの構成を示す。 図２は、実施の形態に係る情報処理装置の構成を示す。 図３は、実施の形態に係る機器制御装置の構成を示す。 図４Ａは、実施の形態における操作コマンドの構成例を示す。 図４Ｂは、実施の形態における定型命令語の例を示す。 図４Ｃは、実施の形態における登録ワードの例を示す。 図４Ｄは、実施の形態における辞書ワードの例を示す。 図５は、実施の形態に係る情報処理装置の動作を示すフローチャートである。 図６は、図５の辞書ワード更新処理を示すフローチャートである。 図７は、実施の形態に係る機器制御装置の動作を示すフローチャートである。 図８は、実施の形態に係る情報処理装置の出力画面の例を示す。 図９は、その他実施の形態に係る情報処理装置を含むシステムの構成を示す。

１．実施の形態
近年、音声認識エンジンやスマートスピーカーの開発により音声入力により機器の操作を行うことが増えつつある。しかし、施設内に複数配された機器を操作対象とする場合、次のような問題が生じる。

複数の機器を操作対象とするシステムでは、個々の機器を識別するためにユーザーが任意で各機器に名称を登録し、この名称を指定して機器の操作を行うことがある。例えば、複数の監視カメラが接続され、各カメラの映像を出力することが可能なレコーダーにおいて、ユーザーはレコーダーの入力手段（マウスやキーボード）を用いて接続された各カメラの名称を登録することができる。例えば、ユーザーは、施設内で各カメラが設置されている場所に応じて各カメラに名称を登録できる。ショッピングモール等の施設を想定すると、例えば、駐車場に設置されているカメラには「駐車場カメラ」と名称を登録し、複数あるエントランスのうち南側のエントランスに設定されているカメラに「南エントランスカメラ」と名称を登録する具合である。レコーダーは、このように登録された各カメラ固有の名称と対応するカメラとを関連付けて記憶しておくことで、ユーザーから設定されたカメラ名称を指定する入力操作を受けて、対応するカメラの操作を行うことができる。カメラの操作とは、例えば、レコーダーがカメラに対して映像送信の要求メッセージを送信し、当該カメラから撮像映像を受信して再生することを含む。

このように複数の機器を操作対象として個々の機器を識別する名称を任意に登録できるシステムに対し、音声入力による操作を実現しようした場合、登録された名称が正確に入力されず操作が正確に行えない恐れがある。すなわち、ユーザーは、複数の機器にそれぞれ登録される名称（登録ワード）を利用して操作対象機器を操作するための音声を入力する際、登録ワードを正確に覚えていないことがある。また、登録ワードを登録したユーザーと音声を入力して機器を操作するユーザーが同じとは限らないため、ユーザーがそもそも登録ワードを知らない場合もある。登録ワードが正確にわからないと正しい操作コマンドが生成できず、操作不良や誤操作が起きてしまう。そこで、本実施の形態においては、音声による操作対象機器をより正確に特定することができる情報処理装置およびプログラムを提供する。

図１は、本実施の形態に係るシステム１を示す。システム１は、情報処理装置１０と機器制御装置３０とを備える。ユーザーは、端末装置である情報処理装置１０を操作して、複数の監視カメラ５０のうち指定した監視カメラ５０の映像（音声を含む）の表示や再生等の操作を実行する。

情報処理装置１０は、無線または有線ＬＡＮ、ＷＡＮ、インターネット等を介して機器制御装置３０と通信可能に接続される。施設に設置された機器制御装置３０は、施設内の各箇所を撮影する複数の監視カメラ５０に有線または無線のチャンネルを介して接続される。

以下、本実施の形態における各装置の構成について説明する。

１－１．構成
１－１－１．情報処理装置１０の構成
図２は、情報処理装置１０の主なハードウエア構成を示す。情報処理装置１０は、例えばスマートフォンやタブレット端末等、ユーザーが操作可能な携帯端末である。情報処理装置１０は、制御部１１と、ＲＡＭ１２と、ＲＯＭ１３と、ストレージ１４と、マイク１５と、表示部１６と、操作部１７と、スピーカー１８と、通信部１９とを備える。各部は、バスラインＢを介して相互に接続される。

制御部１１（制御部の一例）は、ＣＰＵ（Central Processing Unit）により構成され、ＲＯＭ１３やストレージ１４に格納されたプログラムやデータをＲＡＭ１２上に読み出し、処理を実行することにより、情報処理装置１０の各機能を実現する。ＲＡＭ１２は、制御部１１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ１３は、電源を切ってもプログラムやデータを保持することができる不揮発性のメモリである。

ストレージ１４は、例えばフラッシュメモリである。ストレージ１４は、例えば、後述するアプリ１１ａを含むアプリケーションプログラム、および各種データ等を記憶する。ストレージ１４はまた、アプリ１１ａに関連付けて記憶される定型命令語６１（図４Ｂ）を記憶すると共に、後述するように、辞書ワード６３（図４Ｄ）を記憶する。ストレージ１４は更に、後述するように、接続される機器制御装置３０から取得される登録ワード６２（図４Ｃ）を少なくとも一時的に記憶する。

定型命令語６１は、図４Ｂに示すように、接続される機器制御装置３０において定義された、動作に対応する命令語である。なお、一つの動作に対し複数の定型命令語６１が定義されていてもよい。例えば、映像出力の停止を指令する定型命令語６１として「止めて」および「停止して」の双方を登録してもよい。登録ワード６２は、図４Ｃに示すように、接続される機器制御装置３０に接続された各監視カメラ５０を特定する名称であって、情報処理装置１０を介すことなく（例えば、機器制御装置３０に備わる入力手段を介して）ユーザーにより任意に登録される名称である。なお、一つの監視カメラ５０に対し複数の名称が登録されていてもよい。辞書ワード６３は、図４Ｄに示すように、ユーザーの音声入力によって認識されたワードであって登録ワードと一致しなかったワードを、登録ワードに対応させて記憶したものである。なお、後述するように、辞書ワードは、ユーザーの音声入力に応じて、一つの登録ワードに対し１つ以上登録され、更新される。

マイク１５（音声入力部の一例）は、音声を入力する。表示部１６（出力部の一例）は、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置である。操作部１７は、例えば、タッチパネルおよび操作ボタンを備える。タッチパネルは、抵抗膜方式や静電容量方式等のタッチセンサを含み、表示部１６のディスプレイに重ねて配置され、ユーザーが画面に表示されるボタンやアイコン、キーボードに触れることで各種操作を行うことができる。操作ボタンは、情報処理装置１０の表面や側面等に配置され、操作により電源のＯＮ／ＯＦＦや画面の表示を行う。スピーカー１８は、音声データを出力する。

通信部１９は、データ通信するためのインターフェースであり、例えば、有線ＬＡＮや無線ＬＡＮの通信インターフェースである。通信部１９は、有線ＬＡＮ、３Ｇ（3rd Generation）、ＬＴＥ(Long Term Evolution)、４Ｇ（4th Generation）、５Ｇ（5th Generation）、ミリ波無線通信の通信インターフェースを備えていてもよい。

情報処理装置１０と所定の機器制御装置３０との通信が遠隔で行われる場合、当該通信は、ＶＰＮ機能等に対応した中継器を介することにより行われてもよい。この場合、例えば、アプリ１１ａを起動して通信を確立する際に、中継器がユーザー認証を実行し、所定の機器制御装置３０への接続のみが許可されるようにしてもよい。

制御部１１は、アプリ１１ａ（プログラムの一例）を含むコンピュータープログラムを実行することにより、以下の機器操作のための情報処理を実行する。

制御部１１は、アプリ１１ａを起動後、通信部１９を介して機器制御装置３０との通信を確立し、接続される機器制御装置３０より、登録ワードのリスト（図４Ｃ）を取得する。

制御部１１は、マイク１５から入力された音声に対し音声認識を行う。音声認識は、公知の音声認識エンジンやその他音声認識機能を用いて行われる。音声認識は、入力された音声に対し所定の信号処理を行って音声信号を取得し、同音声信号における音素を特定し、特定した音素の配列と予め登録された単語とをマッチングし、マッチングが成功した単語をテキストに変換する。変換したテキストは、各属性（本実施の形態においては「命令語」と「目的語」）に応じて分類され、認識される。より具体的には、機器の動作に対応する命令語と、操作対象に対応する目的語（指定ワード）とに分類される。

制御部１１は、後述するように、指定ワードと登録ワード（図４Ｃ）とを照合する。制御部１１は、指定ワードと登録ワードとが一致した場合、図４Ａの例に示すような構成を有する操作コマンド６０を生成する。制御部１１は、指定ワードと登録ワードとが一致しない場合、指定ワードと辞書ワードとを照合する。指定ワードと辞書ワードとが一致した場合、辞書ワードを対応する登録ワードに基づき操作コマンドを生成する。制御部１１は、指定ワードが登録ワードおよび辞書ワードのいずれにも一致しない場合、後述する辞書ワード更新処理を実行する。

制御部１１は、生成した操作コマンドを、接続される機器制御装置３０に通信部１９を介して送信する。これにより、機器制御装置３０において、操作コマンドで指定された監視カメラ５０に関する操作が実行される。

１－１－２．機器制御装置３０の構成
図３に示す機器制御装置３０は、制御部３１と、ＲＡＭ３２と、ＲＯＭ３３と、ストレージ３４と、機器接続部３５と、入力部３６と、表示部３７と、通信部３９とを備えるコンピューター装置である。各部は、バスラインＢを介して相互に接続される。機器制御装置３０は、監視カメラ５０の撮像映像を出力したり記録したりするレコーダーとして機能する。

制御部３１は、ＣＰＵ（Central Processing Unit）により構成され、ＲＯＭ３３やストレージ３４に格納されたプログラムやデータをＲＡＭ３２上に読み出し、処理を実行することにより、機器制御装置３０の各機能を実現する。ＲＡＭ３２は、制御部３１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ３３は、電源を切ってもプログラムやデータを保持することができる不揮発性のメモリである。制御部３１は、所定のプログラムに従って、情報処理装置１０から受信する操作コマンド６０（図４Ａ）を解析し、目的語や命令語を解釈して、操作コマンド６０に対応する操作を実行する。

入力部３６は、ユーザーの入力操作を受け付ける。入力部３６は、例えば操作ボタン等を含み、マウスやキーボードを含む。入力部３６は、タッチパネルであってもよい。

表示部３７は、ＬＣＤや有機ＥＬディスプレイ等の表示装置である。表示部３７は、接続端子を介して接続される外部モニターであってもよい。表示部３７には、後述するように、操作コマンド６０に応じてライブ映像や録画映像が表示される。

ストレージ３４は、例えば、ＳＳＤ（Solid State Drive）やＳＤメモリカード等のフラッシュメモリや、ＨＤＤ等により構成される。なお、ストレージ３４は、別体の機器として機器制御装置３０に接続されていてもよい。ストレージ３４は、例えば、プログラム、および各種データ等を記憶する。特に、ストレージ３４は、各監視カメラ５０から受信した映像を映像データ３４ａとして、監視カメラ５０の識別情報毎に記録する。すなわち、映像データ３４ａは、監視カメラ５０から受信した、監視カメラ５０が過去に撮影した映像である。ストレージ３４はまた、各監視カメラ５０の名称である登録ワード３４ｂを記憶する。登録ワード３４ｂは、入力部３６を介した入力操作によってユーザーが監視カメラ５０に対して任意に登録したワードである。

機器接続部３５は、監視カメラ５０に接続する接続端子を含み、監視カメラ５０とはケーブルを介して接続される。機器接続部３５はまた、モニターやＰＣ等との接続端子を備えていてもよい。

通信部３９は、ネットワークを介して、データ通信するためのインターフェースであり、例えば、無線または有線ＬＡＮの通信インターフェースである。

１－２．動作
１－２－１．情報処理装置１０の動作
図５を参照しながら、本実施の形態に係る情報処理装置１０（図２）の動作について説明する。以下の動作においては、ユーザーは、「１階北側駐車場」（登録ワード）として登録された監視カメラ５０のライブ映像を見る操作を行う場合を例とする。

ユーザーによる操作部１７の操作により、アプリ１１ａが起動され（Ｓ１０１）、所定の機器制御装置３０との通信が確立される。通信確立後、接続される機器制御装置３０より、登録ワードのリストを受信し（Ｓ１０２）、ストレージ１４に記憶する。

アプリ１１ａはリモコンモードに移行し、制御部１１は、図８の画面１６ａに示すように、音声入力を促すメッセージを表示部１６に表示させる。更に、画面１６ａでは、操作の内容に応じて、ユーザーがどのように発話するかをガイドするメッセージが表示される。図８に示すように、制御部１１は、画面１６ａに操作コマンドを構成する定型命令語６１「見せて」「再生して」を表示させ、ユーザーの音声入力を助ける。ここで、ユーザーは、「北側１階駐車場を見せて」と発話し、マイク１５より音声が入力される（Ｓ１０３）。

制御部１１は、発話に対し音声が認識できた場合（Ｓ１０４のＹｅｓ）、変換されたテキストから目的語と命令語とを抽出し、少なくとも一時的にＲＡＭ１２又はストレージ１４に記憶する。このとき、制御部１１は、目的語を指定ワードとして記憶する。制御部１１は、変換されたテキストにおいて定型命令語６１（図４Ｂ）があるかどうか、すなわち、抽出した命令語と定型命令語６１とが一致するか判定する（Ｓ１０５）。ここでは、「見せて」が含まれるため、定型命令語６１があると判定される（Ｓ１０５のＹｅｓ）。

制御部１１は、変換されたテキストにおいて、登録ワードがあるかどうか、すなわち指定ワードと登録ワードが一致するか判定する（Ｓ１０６）。ここでは、指定ワード「北側１階駐車場」が含まれるが、一致する登録ワード６２（図４Ｃ）がないため（Ｓ１０６のＮｏ）、制御部１１は、ステップＳ１０７に進む。なお、変換されたテキストにおいて指定ワードと一致する登録ワードがある場合（Ｓ１０６のＹｅｓ）、制御部１１は、ステップＳ１０５で判定した定型命令語６１と、一致した登録ワードとに基づき、操作コマンド「１階北側駐車場を見せて」を生成し、接続される機器制御装置３０に送信する（Ｓ１０９）。

ステップＳ１０７において、制御部１１は、辞書ワード６３（図４Ｄ）を参照して、指定ワードと一致するものがあるかどうか判定する。ここでは、指定ワード「北側１階駐車場」が辞書ワードにあり、これに対応する登録ワードが「１階北側駐車場」であるので（Ｓ１０７のＹｅｓ）、ステップＳ１０９に進む。なお、指定ワードと一致する辞書ワードがない場合（Ｓ１０７のＮｏ）、制御部１１は、後述する辞書ワード更新処理（Ｓ１０８）に進む。

制御部１１は、ステップＳ１０５で判定した定型命令語６１と、ステップＳ１０７で判定した、指定ワードに対応する登録ワードとに基づき、操作コマンド「１階北側駐車場を見せて」を生成し、接続される機器制御装置３０に送信する（Ｓ１０９）。これにより、機器制御装置３０は、表示部３７において、１階北側駐車場の映像を表示する。

ステップＳ１０４において音声が認識できなかった場合、あるいはステップＳ１０５において定型命令語６１が判定できなかった場合、制御部１１は表示部１６にエラーを表示する（Ｓ１１０）。エラー表示は、音声が認識できなかった旨のメッセージに加え、ユーザーに対し音声入力のやり直しや、操作部１７（タッチパネルのキーボード）によるテキスト入力を促す旨のメッセージを含んでいてもよい。

制御部１１は、アプリ１１ａの終了や通信の終了等により処理を終了し、接続される機器制御装置３０に関する操作が引き続き行われる場合はステップＳ１０３の音声入力に戻る（Ｓ１１１）。

なお、ユーザーが更に音声入力をした場合（Ｓ１０３）、例えば「止めて」と発話した場合、制御部１１は、ステップＳ１０４～Ｓ１０５の処理を実行する。ステップＳ１０５において定型命令語６１を判定すると、制御部１１は、ステップＳ１０９に進み、操作コマンド「（１階北側駐車場を）止めて」を生成し、接続される機器制御装置３０に送信し、表示部３７における当該映像の表示を停止させる。同様に、ライブ映像を出力させている間に、監視カメラ５０に対する駆動を指示する命令語（例えば、パン、チルト、ズーム等）を入力して、操作コマンドを生成し、実行してもよい。

＜辞書ワード更新処理＞
図５のステップＳ１０７において指定ワードと一致する辞書ワードがない場合、制御部１１は、図６に示す辞書ワード更新処理を実行する。以下、上述した指定ワード「北側１階駐車場」が、辞書ワードと一致しない場合を例にして説明する。

制御部１１は、接続される機器制御装置３０より取得した登録ワードのリストを表示部１６に表示させる（Ｓ１０８１）。このとき、制御部１１は、図８の画面１６ｂに示すように、指定ワード「北側１階駐車場」が一致しない旨のメッセージと、接続される機器制御装置３０より取得した登録ワードを表示部１６に表示させる。

制御部１１は、登録ワードが複数ある場合は、その全てを表示部１６に表示させる。あるいは、制御部１１は、複数の登録ワードから、指定ワードと類似する登録ワードを選択して表示部１６に表示させてもよい。ワード間の類似度は、例えば、公知のマッチング手法により、重複する単語の数や、各単語に対して設定される重みづけ等に基づいて判定される。制御部１１は、指定ワードと所定レベル以上の類似度を有する登録ワードを選択する。例えば、「北側１階駐車場」の場合、「駐車場」を含む登録ワードを選択して表示してもよいし、図８の画面１６ｂのように「北側」と「駐車場」とを含む登録ワードを表示してもよい。

表示された登録ワードの中から、ユーザーが操作部１７を介した操作により登録ワードを選択入力すると（Ｓ１０８２のＹｅｓ）、制御部１１は、図８の画面１６ｃに示すように、指定ワードを辞書ワードとして登録することの確認入力をユーザーに促すメッセージを表示部１６に表示させる。ユーザーが確認入力すると、制御部１１は、指定ワードを選択された登録ワードに対応づけた辞書ワードを記憶する（Ｓ１０８３）。

次いで、制御部１１は、図５のステップＳ１０９に進み、操作コマンドを生成し、接続される機器制御装置３０に送信する。この場合、制御部１１は、ステップＳ１０５で判定した定型命令語６１と、ステップＳ１０８２において選択された登録ワードとに基づき、操作コマンド「１階北側駐車場を見せて」を生成する。

なお、登録ワードが選択されなかった場合、制御部１１は表示部１６にエラーを表示する（Ｓ１０８４）。エラー表示は、操作対象の監視カメラ５０が特定できなかった旨のメッセージに加え、ユーザーに対し音声入力のやり直しや、操作部１７を介したテキスト入力を促すメッセージを含んでいてもよい。

１－２－２．機器制御装置３０の動作
図７を参照しながら、本実施の形態に係る機器制御装置３０（図３）の動作について説明する。

機器制御装置３０は、適時、接続された監視カメラ５０を識別するための登録ワードの入力を受け付ける。制御部３１は、入力部３６を介してテキスト入力を受け付け、入力されたテキストを登録ワード３４ｂとして対応する監視カメラ５０に関連付けてストレージ３４に記憶する。登録ワード３４ｂは、対応する監視カメラ５０を操作するために監視カメラ５０を指定するための識別子と対応付けて記憶される。識別子は例えば、ＩＰアドレスを含む。

機器制御装置３０は、情報処理装置１０から送信される操作コマンドを受信し、受信した操作コマンドに対応して監視カメラ５０を操作するよう構成されている。具体的には、例えば、操作コマンドに含まれる命令語と対応付けて所定の操作が定義されており、操作コマンドに含まれる目的語により操作対象となる監視カメラ５０を特定するようになっている。例えば、命令語「見せて」に対応する操作としてライブ映像の出力が定義され、命令語「再生して」に対応する操作としてストレージ３４に記憶されている過去の映像（映像データ３４ａ）の出力が定義され、命令語「止めて」に対応する操作として現在実行中の映像出力を停止することが定義されている。また、受信した操作コマンドに含まれる目的語に一致する登録ワード３４ｂを特定し、特定した登録ワード３４ｂと対応付けられた監視カメラ５０に対して操作を行う。例えば、操作コマンド「１階北側駐車場を見せて」を受信した場合、機器制御装置３０は、目的語「１階北側駐車場」と一致する登録ワード３４ｂと対応付けられた監視カメラ５０に対し、撮像映像を要求する要求メッセージを送信し、これに応答して送信される撮像映像を受信して出力することで、この監視カメラ５０のライブ映像の表示を実行する。また例えば、操作コマンド「２階北側駐車場を再生して」を受信した場合、機器制御装置３０は、目的語「２階北側駐車場」と一致する登録ワード３４ｂと対応付けられた監視カメラ５０と対応付けられて記憶されている映像データ３４ａを読み出して出力することで、この監視カメラ５０が過去撮影した映像の再生を実行する。また例えば、ライブ映像の表示中又は映像データ３４ａの再生中に、操作コマンド「止めて」を受信した場合、機器制御装置３０は、実行中のライブ映像の表示又は映像データ３４ａの再生を停止する。機器制御装置３０は、映像を、表示部３７に表示させてもよいし、通信部３９を介して情報処理装置１０に送信して表示させてもよい。

図７に示すように、情報処理装置１０からの通信開始要求に応じて、制御部３１は、通信部３９を介して情報処理装置１０との通信を開始し、予めストレージ３４に記憶した登録ワードのリストを情報処理装置１０に送信する（Ｓ１３１）。情報処理装置１０から操作コマンドを受信すると（Ｓ１３２のＹｅｓ）、操作コマンド（例えば、「１階北側駐車場を見せて」）に含まれる命令語と目的語を解析する（Ｓ１３３）。制御部３１は、解析した目的語と登録ワード６２（図４Ｃ）とを照合し（Ｓ１３４）、対応する監視カメラ５０を特定する。

制御部３１は、特定された監視カメラ５０に関する操作コマンドを実行する（Ｓ１３５）。その結果を通信部３９を介して接続される情報処理装置１０に送信する（Ｓ１３６）。

接続される情報処理装置１０との通信の終了に応じて処理を終了する（Ｓ１３７）。接続される情報処理装置１０より更に操作コマンドを受信した場合（Ｓ１３２のＹｅｓ）、例えば「（１階北側駐車場を）止めて」とする停止コマンドを受信した場合、出力中の映像を停止する。同様に、ライブ映像を出力している間に、監視カメラ５０に対する駆動を指示する命令語（例えば、パン、チルト、ズーム等）を含む操作コマンドを受信することにより、当該監視カメラ５０に対する駆動を実行してもよい。

１－３．補足
機器制御装置３０による登録ワードの送信（Ｓ１３１）と情報処理装置１０による登録ワードの受信（Ｓ１０２）は、両者の通信確立後、登録ワードリストを表示する（Ｓ１０８１）ために種々のタイミング、態様で実行されうる。例えば、情報処理装置１０が機器制御装置３０に対して登録ワードの要求メッセージを送信し、これに応答して機器制御装置３０が情報処理装置１０に対して登録ワード３４ｂのリストを含むメッセージを送信（Ｓ１３１）してもよい。また例えば、機器制御装置３０は、情報処理装置１０からの明示的な要求に依らず、自発的に登録ワード３４ｂのリストを含むメッセージを送信（Ｓ１３１）してもよい。例えば、機器制御装置３０と情報処理装置１０とが通信を確立したことに応答して登録ワードの送受信（Ｓ１３１、Ｓ１０２）が実行されてもよい。また例えば、音声入力時（Ｓ１０３～Ｓ１０５）に登録ワードの送受信（Ｓ１３１、Ｓ１０２）が実行されてもよい。この場合、情報処理装置１０は、マイク１５から入力された音声を認識してテキストを抽出する間（Ｓ１０３～Ｓ１０５）に、機器制御装置３０に登録ワードの要求メッセージを送信し、機器制御装置３０は、この要求メッセージに応答して登録ワード３４ｂのリストを含むメッセージを送信する。

情報処理装置１０は、ＲＡＭ１２又はストレージ１４に一時的に記憶した指定ワードを所定のタイミングで消去するようにしてもよい。例えば、情報処理装置１０は、指定ワードと登録ワードが一致した場合（Ｓ１０６：ＹＥＳ）、又は指定ワードを辞書ワードに登録した場合（Ｓ１０８３）、指定ワードは不要となるため、これらに応答して指定ワードを消去するとよい。

１－４．特徴
本実施の形態に係る情報処理装置１０またはアプリ１１ａは、機器制御装置３０に操作コマンドを送信する前に、予め機器制御装置３０から取得される登録ワードを表示部１６に表示させる。このため、音声入力の補助を効果的に提供することができ、音声による操作対象機器をより正確に特定することができる。また、本実施の形態に係る情報処理装置１０またはアプリ１１ａは、機器制御装置３０を含む機器側において機能の追加や変更を最小限に留めつつ実現できる。

本実施の形態に係る情報処理装置１０、システム１、機器制御装置３０、またはアプリ１１ａによれば、認識した音声に含まれる監視カメラ５０を指定する指定ワードと、登録ワードとが一致しなかった場合に、登録ワードを表示部１６に表示させる。このため、音声入力を補助するための登録ワードの表示は、ユーザーが監視カメラ５０の名称を言い間違えた場合や失念した場合等音声入力がうまくいかない場合に行われるため、ニーズに応じた音声入力の補助を提供することができる。

本実施の形態に係る情報処理装置１０、システム１、機器制御装置３０、またはアプリ１１ａによれば、登録ワードは、複数の監視カメラ５０をそれぞれ特定する複数の登録ワードを含み、複数の登録ワードのうち、指定ワードと所定レベル以上の類似度を有する登録ワードを判定し、判定された登録ワードを表示部１６に出力させる。このため、音声入力を補助するために表示される登録ワードは、ユーザーが操作対象とする可能性の高い監視カメラ５０の登録ワードとなるため、操作対象機器の特定を迅速に行うことができる。

本実施の形態に係る情報処理装置１０、システム１、機器制御装置３０、またはアプリ１１ａによれば、指定ワードが登録ワードと一致しなかった場合、指定ワードと登録ワードとを対応づけて辞書ワードとしてストレージ１４に記憶し、次にその指定ワードを含む音声が認識された場合は、指定ワードに対応する登録ワードに基づき操作コマンドを生成する。このため、ユーザーは、言い間違えや失念した場合であっても、言いやすい名称を監視カメラ５０の登録ワードとして実質的に増やしていくことができ、情報処理装置１０またはアプリ１１ａを使用しながら音声による操作対象機器の特定の精度を向上させることができる。

１－５．変形例
上記実施の形態において、一例として、ユーザーが所望する監視カメラ５０のライブ映像の受信や停止を行う操作コマンドを例にしているが、これに限定されない。例えば、所望の監視カメラ５０に関して、録画映像の再生、停止、早送り、巻き戻し等の操作を実行することもできる。この場合、操作コマンド（例えば、「１階北側駐車場を再生して」）を受信した機器制御装置３０は、同様に操作コマンドを解析し、登録ワードを照合した後（図７のステップＳ１３１～Ｓ１３４）、特定された監視カメラ５０のストレージ３４に記憶された録画映像を情報処理装置１０に送信することにより、操作コマンドを実行する。

２．その他実施の形態
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。例えば、以下の実施の形態が考えられる。

（１）上記実施の形態における情報処理装置１０は、図９に示すように、クライアント端末１０ａと、インターネット等のネットワークを介して接続されるサーバー１０ｂとから構成され、機器制御装置３０に接続されてもよい。サーバー１０ｂは、ＣＰＵ等の制御部、ＲＡＭやＲＯＭ等のメモリ、ストレージを備えるコンピューター装置である。この場合、上述した情報処理装置１０の機能をサーバー１０ｂが実行してもよい。例えば、図５におけるステップＳ１０４～Ｓ１０９の処理を実行するアプリ１１ａの機能全てまたはその一部をサーバー１０ｂで実行するようにしてもよい。また、サーバー１０ｂは、上述した情報処理装置１０のストレージ１４に記憶する辞書ワードを、自身に接続されるストレージに記憶、保持してもよい。またサーバー１０ｂは、機器制御装置３０がストレージ３４に記憶する各監視カメラ５０の映像データ３４ａや登録ワード３４ｂを、自身に接続されるストレージに記憶し、保持してもよい。

更に、サーバー１０ｂは複数の施設の機器制御装置３０および監視カメラ５０を管理する装置であってもよい。この場合、サーバー１０ｂは、接続されるクライアント端末１０ａに対し所定のユーザー認証を行い、所定の機器制御装置３０に関する操作を許可する。

上述した情報処理装置１０またはクライアント端末１０ａ／サーバー１０ｂまたは機器制御装置３０の一部または全ては、一つの機能を有線または無線のネットワークを介して複数の装置で分担、共同して処理する構成をとることができる。また、クライアント端末１０ａおよびサーバー１０ｂは、クラウドコンピューティングの構成をとることも可能である。

（２）機器制御装置３０は、機器と別体で接続される形態であってもよいが、機器と同一筐体において接続されるものであってもよい。

（３）操作対象機器は監視カメラ５０に限られず、様々な電子機器が操作対象機器となりうる。例えば、構内放送システムにおける複数のスピーカーが操作対象機器となりうる。この場合、機器制御装置３０は、構内放送ステムにおいて放送先としてスピーカーを選択し、選択したスピーカーに放送用の音声信号を送信する操作を行うよう構成されているとよい。例えば、操作コマンドに含まれる命令語「放送して」に対応する操作として放送用の音声信号を送信する操作が定義され、操作コマンドに含まれる目的語により音声信号の送信先であるスピーカーを特定するようになっている。登録ワード３４ｂは、各スピーカーの名称として登録された登録ワードである。

同様に、スピーカーの場合、音量の調整、音質の調整等の操作を定義した操作コマンドを情報処理装置１０に入力して、特定されたスピーカーの操作を実行してもよい。また同様に、操作対象機器がマイクの場合、マイクで集音されるライブ音声を機器制御装置３０または情報処理装置１０から出力したり、マイクに接続されるレコーダーからの録音音声を再生したりすることができる。

（４）操作コマンドにより実行された操作結果の送信または出力は、表示部３７または表示部１６による表示に加えてまたは表示に代えて、スピーカー１８（図２）や機器制御装置３０に接続されるスピーカー（図示省略）などを介して音声で行ってもよい（出力部の一例）。

（５）情報処理装置１０の制御部１１および／または機器制御装置３０の制御部３１は、ＣＰＵ以外の、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現してもよい。プロセッサは、一つまたは複数のプロセッサで構成してもよい。これらの制御部の一部または全ては、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。

（６）図５、図６および図７に示すフローチャートの処理の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えたり、並行して実行されたりすることができる。更に、一つのステップに複数の処理が含まれる場合には、その一つのステップに含まれる複数の処理は、一つの装置で実行する他、複数の装置で分担して実行することができる。

（７）上記実施の形態における機器の操作を実行する方法、および同方法を実行するアプリ１１ａを含むコンピュータープログラム、および同コンピュータープログラムを記録したコンピューター読み取り可能な記録媒体は、本開示の範囲に含まれる。コンピュータープログラムは電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して取得され、あるいは実行されるものであってもよい。

（８）情報処理装置１０またはクライアント端末１０ａは、デスクトップ型、ラップトップ型、タブレット型等のコンピューター端末であってもよい。

（９）監視カメラ５０等の操作対象機器は、施設に設置されるものに限定されず、電車、バス等の交通機関、道路等に設置される機器であってもよい。

本開示は、音声により機器を操作するための情報処理装置、システム、機器制御装置およびプログラムとして適用可能である。

１ ：システム
１０ ：情報処理装置
１０ａ ：クライアント端末
１０ｂ ：サーバー
１１ ：制御部
１１ａ ：アプリ
１２ ：ＲＡＭ
１３ ：ＲＯＭ
１４ ：ストレージ
１５ ：マイク
１６ ：表示部
１７ ：操作部
１８ ：スピーカー
１９ ：通信部
３０ ：機器制御装置
３１ ：制御部
３２ ：ＲＡＭ
３３ ：ＲＯＭ
３４ ：ストレージ
３５ ：機器接続部
３９ ：通信部
５０ ：監視カメラ

Claims (8)

1. 一つ以上の機器に関する操作を実行する機器制御装置と通信可能な情報処理装置を含むシステムであって、
   前記情報処理装置は、音声入力を受け付ける音声入力部を備え、
   前記情報処理装置は、前記音声入力部により受け付けられた音声を認識して、認識した音声に基づき一つ以上の機器に関する操作を実行するための操作コマンドを生成する制御部を備え、
   前記情報処理装置は、前記操作コマンドを前記機器制御装置に送信する通信部を備え、
   前記情報処理装置は、前記制御部による制御に応じて情報を出力する出力部を備え、
   前記機器制御装置は、前記一つ以上の機器を個別に識別するための名称の入力を受け付ける入力部を備え、
   前記機器制御装置は、前記入力部により入力された名称を登録ワードとして記憶する記憶部を備え、
   前記機器制御装置は、前記情報処理装置から送信された前記操作コマンドと前記登録ワードに基づいて前記一つ以上の機器のうち操作すべき機器を特定し、特定した機器を操作する制御部を備え、
   前記機器制御装置は、前記情報処理装置が前記操作コマンドを送信する前に、前記登録ワードを前記情報処理装置に送信し、前記情報処理装置は、受信した前記登録ワードを前記出力部に出力させ、
   前記情報処理装置は、前記登録ワードと対応付けられた辞書ワードを記憶する記憶部を備え、
   前記情報処理装置は、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードとが一致した場合は、前記指定ワードに基づき前記操作コマンドを生成し、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと前記登録ワードが一致しないが、前記指定ワードと前記辞書ワードとが一致する場合は、前記辞書ワードに対応付けられた登録ワードに基づき前記操作コマンドを生成し、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードおよび辞書ワードのいずれとも一致しない場合は、前記登録ワードを選択可能に前記出力部に出力させて、選択された前記登録ワードに基づき前記操作コマンドを生成するとともに、前記指定ワードと選択された前記登録ワードとを対応付けて前記辞書ワードを記憶する、
   システム。
2. 一つ以上の機器に関する操作を実行する機器制御装置と通信可能な情報処理装置であって、
   音声入力を受け付ける音声入力部と、
   前記音声入力部により受け付けられた音声を認識して、認識した音声に基づき一つ以上の機器に関する操作を実行するための操作コマンドを生成する制御部と、
   前記操作コマンドを前記機器制御装置に送信する通信部と、
   前記制御部による制御に応じて情報を出力する出力部と、
   前記機器制御装置から取得される前記一つ以上の機器を特定する登録ワードと対応付けられた辞書ワードを記憶する記憶部と、
   を備え、
   前記機器制御装置に前記操作コマンドを送信する前に、前記制御部は、前記登録ワードを前記出力部に出力させ、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードとが一致した場合は、前記指定ワードに基づき前記操作コマンドを生成し、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと前記登録ワードが一致しないが、前記指定ワードと前記辞書ワードとが一致する場合は、前記辞書ワードに対応付けられた登録ワードに基づき前記操作コマンドを生成し、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードおよび辞書ワードのいずれとも一致しない場合は、前記登録ワードを選択可能に前記出力部に出力させて、選択された前記登録ワードに基づき前記操作コマンドを生成するとともに、前記指定ワードと選択された前記登録ワードとを対応付けて前記辞書ワードを記憶する、
   情報処理装置。
3. 前記制御部は、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードとが一致しなかった場合に、前記登録ワードを前記出力部に出力させる、請求項２に記載の情報処理装置。
4. 前記登録ワードは、複数の機器をそれぞれ特定する複数の登録ワードを含み、
   前記制御部は、前記複数の登録ワードのうち、前記指定ワードと所定レベル以上の類似度を有する登録ワードを判定し、判定された登録ワードを前記出力部に出力させる、請求項３に記載の情報処理装置。
5. 前記制御部は、出力された前記登録ワードの選択入力に応じて前記操作コマンドを生成する、請求項３または４に記載の情報処理装置。
6. 前記制御部は、
   前記指定ワードが前記登録ワードと一致しなかった場合、前記指定ワードと前記登録ワードとを対応づけて前記記憶部に記憶し、
   次に前記指定ワードを含む音声が認識された場合は、前記指定ワードに対応する前記登録ワードに基づき前記操作コマンドを生成する、請求項３から５のいずれかに記載の情報処理装置。
7. 認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードとが一致した場合は、前記指定ワードに基づき前記操作コマンドを生成し、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードとが一致しなかった場合は、前記登録ワードを選択可能に前記出力部に出力させて、選択された前記登録ワードに基づき前記操作コマンドを生成する、請求項２に記載の情報処理装置。
8. 一つ以上の機器に関する操作を実行する機器制御装置と通信し、音声により機器を操作するためのコンピュータープログラムであって、
   コンピュータである情報処理装置が、音声入力を受け付け、
   前記情報処理装置が、受け付けられた音声を認識し、
   前記情報処理装置が、認識した音声に基づき一つ以上の機器に関する操作を実行するための操作コマンドを生成し、
   前記情報処理装置が、前記操作コマンドを前記機器制御装置に送信し、
   前記情報処理装置が、前記機器制御装置から取得される前記一つ以上の機器を特定する登録ワードと対応付けられた辞書ワードを記憶する、
   ことを含み、
   前記情報処理装置が、前記機器制御装置に前記操作コマンドを送信する前に、予め前記機器制御装置から取得される前記一つ以上の機器を特定する登録ワードを出力部により出力させ、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードとが一致した場合は、前記指定ワードに基づき前記操作コマンドを生成し、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと前記登録ワードが一致しないが、前記指定ワードと前記辞書ワードとが一致する場合は、前記辞書ワードに対応付けられた登録ワードに基づき前記操作コマンドを生成し、
   認識した音声に含まれる前記一つ以上の機器を指定する指定ワードと、前記登録ワードおよび辞書ワードのいずれとも一致しない場合は、前記登録ワードを選択可能に前記出力部に出力させて、選択された前記登録ワードに基づき前記操作コマンドを生成するとともに、前記指定ワードと選択された前記登録ワードとを対応付けて前記辞書ワードを記憶する、
   プログラム。

Images