WO2019087811A1 - 情報処理装置、及び情報処理方法 - Google Patents

Abstract

本技術は、より正確に、ユーザの発話の意図を推定することができるようにする情報処理装置、及び情報処理方法に関する。 ユーザの発話中に得られる認識の結果に基づいて、ユーザの発話の区切りを検出する検出部と、検出した発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、ユーザの発話の意図を推定する推定部とを備える情報処理装置が提供される。本技術は、例えば、音声対話システムに適用することができる。

Description

情報処理装置、及び情報処理方法

　本技術は、情報処理装置、及び情報処理方法に関し、特に、より正確に、ユーザの発話の意図を推定することができるようにした情報処理装置、及び情報処理方法に関する。

　近年、ユーザの発話に応じた応答を行う音声対話システムが、様々な分野で利用されはじめている。音声対話システムでは、ユーザの発話の音声を認識するだけでなく、ユーザの発話の意図を推定して、適切な応答を行うことが求められる。

　例えば、特許文献１には、入力文を、言語文法を用いて要素に分割し、分割された要素に対する意味解析を行うことで、長文の解析能力を高める技術が開示されている。

特開平6-295308号公報

　しかしながら、上述した特許文献１に開示されている言語文法による入力文の分割では、ユーザの発話に含まれる多様な表現に対し、ユーザの意図の単位で、分割が正しく行われない可能性がある。そのため、ユーザによって、複数の意図を含む長い文章や複文などが発話されたときに、ユーザの発話の意図を、正確に推定することができない場合がある。

　本技術はこのような状況に鑑みてなされたものであり、より正確に、ユーザの発話の意図を推定することができるようにするものである。

　本技術の一側面の情報処理装置は、ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出する検出部と、検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する推定部とを備える情報処理装置である。

　本技術の一側面の情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置が、ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出し、検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する情報処理方法である。

　本技術の一側面の情報処理装置、及び情報処理方法においては、ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りが検出され、検出された前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図が推定される。

　本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

　本技術の一側面によれば、より正確に、ユーザの発話の意図を推定することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した音声対話システムの構成の例を示すブロック図である。 本技術を適用した音声対話システムの機能的構成の例を示すブロック図である。 音声対話処理の流れを説明するフローチャートである。 第１の条件を用いた場合のユーザ発話の区切りの検出の例を示す図である。 第１の条件を用いた場合のユーザ発話の区切りの検出の例を示す図である。 第２の条件を用いた場合のユーザ発話の区切りの検出の例を示す図である。 ユーザの意図推定の第１の例を示す図である。 ユーザの意図推定の第２の例を示す図である。 ユーザの意図推定の第３の例を示す図である。 ユーザの意図推定の第４の例を示す図である。 発話全体のBody判定処理の流れを説明するフローチャートである。 区切り単位のキャンセル処理の流れを説明するフローチャートである。 コンピュータの構成例を示す図である。

　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．本技術の実施の形態
２．変形例
３．コンピュータの構成

＜１．本技術の実施の形態＞

（音声対話システムの構成例）
　図１は、本技術を適用した音声対話システムの構成の例を示すブロック図である。

　音声対話システム１は、ユーザ宅等のローカル側に設置され、音声対話サービスのユーザインターフェースとして機能する端末装置１０と、データセンタ等のクラウド側に設置され、音声対話機能を実現するための処理を行うサーバ２０とから構成される。音声対話システム１において、端末装置１０とサーバ２０とは、インターネット３０を介して相互に接続されている。

　端末装置１０は、例えば、家庭内LAN(Local Area Network)等のネットワークに接続可能なスピーカであって、スマートスピーカやホームエージェントなどとも称される。この種のスピーカは、音楽の再生のほか、例えば、ユーザとの音声対話や、照明器具や空調設備などの機器に対する音声操作などの機能を有している。

　なお、端末装置１０は、スピーカに限らず、例えば、ゲーム機や、スマートフォンや携帯電話機等のモバイル機器、タブレット型のコンピュータなどとして構成されるようにしてもよい。

　端末装置１０は、インターネット３０を介してサーバ２０と連携することで、ユーザに対し、音声対話サービス（のユーザインターフェース）を提供することができる。

　例えば、端末装置１０は、ユーザから発せられた音声（ユーザ発話）を収音し、その音声データを、インターネット３０を介して、サーバ２０に送信する。また、端末装置１０は、インターネットを介してサーバ２０から送信されてくる処理データを受信し、その処理データに応じた音声などの情報を出力する。

　サーバ２０は、クラウドベースの音声対話サービスを提供するサーバである。

　例えば、サーバ２０は、インターネット３０を介して端末装置１０から送信されてくる音声データに基づき、音声認識処理や意味解析処理などの処理を行い、その処理の結果に応じた処理データを、インターネット３０を介して端末装置１０に送信する。

（音声対話システムの機能的構成例）
　図２は、図１に示した音声対話システム１の機能的構成の例を示すブロック図である。

　図２において、音声対話システム１は、音声入力部１０１、画像入力部１０２、センサ部１０３、音声認識部１０４、画像認識部１０５、センサ認識部１０６、発話区切り検出部１０７、意味解析部１０８、複数意図推定部１０９、タスク実行部１１０、効果音再生部１１１、音声合成処理部１１２、出力画像処理部１１３、音声出力部１１４、画像出力部１１５、及び記憶部１１６から構成される。

　音声入力部１０１は、例えば、マイクロフォン等の音声入力デバイスから構成される。音声入力部１０１は、ユーザ２が発した声を電気信号に変換して得られる音声データを、音声認識部１０４に供給する。

　画像入力部１０２は、例えば、イメージセンサを有するカメラ等の画像入力デバイスから構成される。画像入力部１０２は、ユーザ２等の被写体を撮像して得られる画像データを、画像認識部１０５に供給する。

　センサ部１０３は、例えば、各種のセンサ等のセンサデバイスから構成される。センサ部１０３は、ユーザ２やその周辺などのセンシングを行い、そのセンシング結果に応じたセンサデータを、センサ認識部１０６に供給する。

　ここで、センサ部１０３としては、例えば、呼吸や脈拍、指紋、虹彩などの生体情報を検出する生体センサ、磁場（磁界）の大きさや方向を検出する磁気センサ、加速度を検出する加速度センサ、角度（姿勢）や角速度、角加速度を検出するジャイロセンサ、近接するものを検出する近接センサなどを含めることができる。

　また、センサ部１０３は、ユーザ２の頭部に取り付けられ、電位等を計測することで脳波を検出する脳波センサであってもよい。さらに、センサ部１０３には、温度を検出する温度センサや、湿度を検出する湿度センサ、周囲の明るさを検出する環境光センサなどの周囲の環境を測定するためのセンサや、GPS(Global Positioning System)信号などの位置情報を検出するためのセンサを含めることができる。

　音声認識部１０４は、音声入力部１０１から供給される音声データに基づいて、音声認識処理を行い、その音声認識の結果を、発話区切り検出部１０７に供給する。

　この音声認識処理では、例えば、音声テキスト変換用のデータベース等を参照することで、音声入力部１０１からの音声データを、テキストデータ（発話文）に変換する処理が行われる。

　また、この音声認識処理では、例えば、音声入力部１０１からの音声データ（の信号波形）を解析する処理など、音声データに対し、後段の発話区切り検出処理で用いられる音声認識の結果を抽出するための処理が行われる。

　なお、以下の説明では、音声認識部１０４により行われる音声認識処理のうち、ユーザ２の発話のテキストデータ（発話文）を得るための音声認識を、「音声認識（ASR：Automatic Speech Recognition）」と記述して、後段の発話区切り検出処理で、発話の区切りを検出するために用いられる音声認識の結果と区別する。さらに、音声認識処理による音声認識（ASR）の結果得られるテキストデータを、「発話文」と記述する。

　画像認識部１０５は、画像入力部１０２から供給される画像データに基づいて、画像認識処理を行い、その画像認識の結果を、発話区切り検出部１０７に供給する。この画像認識処理では、画像データに対し、後段の発話区切り検出処理で用いられる画像認識の結果を抽出するための処理が行われる。

　センサ認識部１０６は、センサ部１０３から供給されるセンサデータに基づいて、センサ認識処理を行い、そのセンサ認識の結果を、発話区切り検出部１０７に供給する。このセンサ認識処理では、センサデータに対し、後段の発話区切り検出処理で用いられるセンサ認識の結果を抽出するための処理が行われる。

　発話区切り検出部１０７には、音声認識部１０４による音声認識（ASR）の結果である発話文とともに、音声認識部１０４からの音声認識の結果、画像認識部１０５からの画像認識の結果、及びセンサ認識部１０６からのセンサ認識の結果が供給される。

　発話区切り検出部１０７は、音声認識の結果、画像認識の結果、及びセンサ認識の結果に基づいて、発話文に対する発話区切り検出処理を行い、その発話区切り検出の結果を、意味解析部１０８に供給する。また、発話区切り検出部１０７は、発話区切り検出の結果を、効果音再生部１１１、音声合成処理部１１２、又は出力画像処理部１１３に供給する。

　この発話区切り検出処理は、音声認識の結果、画像認識の結果、及びセンサ認識のうち、少なくとも１つの認識の結果に基づき、例えば、発話の間（ま）の時間が一定の時間を超えたときや、イントネーション句の境界を検出したとき、言いよどみやフィラーを検出したときなどに、発話の区切りを検出する。

　なお、以下の説明では、発話区切り検出処理により検出された発話の区切り位置を境界として、音声認識（ASR）の結果得られる発話文を分割して得られるテキストデータを、「分割発話文」と記述する。また、発話区切り検出処理の詳細については、図４乃至図６などを参照して後述する。

　意味解析部１０８は、発話区切り検出部１０７から供給される発話区切り検出の結果（分割発話文）に基づいて、意味解析処理を行い、その意味解析の結果を、複数意図推定部１０９に供給する。

　この意味解析処理では、例えば、音声言語理解用のデータベース等を参照することで、自然言語である音声認識（ASR）の結果得られる発話文を分割した分割発話文（テキストデータ）を、機械（システム）が理解できる表現に変換する処理が行われる。

　ここでは、意味解析の結果として、ユーザが実行させたい「意図（Intent）」と、そのパラメータとなる「実体情報（Entity）」の形で、発話の意味が表現される。なお、以下の説明では、この意味解析処理を、「意味解析（NLU：Natural Language Understanding）」とも記述する。また、以下の説明では、分割発話文ごとの意味解析（NLU）の結果得られる意図を、「意図（Intent）」又は「Intent」と記述することで、ユーザ２の発話の意図と区別する。

　複数意図推定部１０９は、意味解析部１０８から供給される意味解析（NLU）の結果に基づいて、意図推定処理を行い、その意図推定の結果を、タスク実行部１１０に供給する。

　この意図推定処理では、分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）に基づき、ユーザ２の発話の意図が１又は複数推定される。なお、ここでは、ユーザ２の発話の意図を推定するに際し、例えば各分割発話文の発話速度などの他の情報が用いられるようにしてもよい。また、意図推定処理の詳細については、図７乃至図１２などを参照して後述する。

　なお、意味解析部１０８には、逐次、発話区切り検出部１０７によって分割発話文が投入され、分割発話文ごとに意図（Intent）と実体情報（Entity）が得られるため、この意味解析（NLU）の結果を、記憶部１１６に（一時的に）記録（蓄積）しておくことで、複数意図推定部１０９は、記憶部１１６に記録（蓄積）されている、分割発話文ごとの意味解析の結果（Intent, Entity）を取得することができる。

　タスク実行部１１０は、複数意図推定部１０９から供給される意図推定の結果に基づいて、タスク実行処理を行い、そのタスク実行の結果を、音声合成処理部１１２、及び出力画像処理部１１３に供給する。

　効果音再生部１１１は、発話区切り検出部１０７から供給される発話区切り検出の結果に基づいて、効果音再生処理を行い、その効果音再生の結果を、音声出力部１１４に供給する。

　音声合成処理部１１２は、発話区切り検出部１０７から供給される発話区切り検出の結果に基づいて、音声合成処理を行い、その音声合成の結果を、音声出力部１１４に供給する。また、音声合成処理部１１２は、タスク実行部１１０から供給されるタスク実行の結果に基づいて、音声合成処理を行い、その音声合成の結果を、音声出力部１１４に供給する。

　出力画像処理部１１３は、発話区切り検出部１０７から供給される発話区切り検出の結果に基づいて、出力画像処理を行い、その出力画像の結果を、画像出力部１１５に供給する。また、出力画像処理部１１３は、タスク実行部１１０から供給されるタスク実行の結果に基づいて、出力画像処理を行い、その出力画像の結果を、画像出力部１１５に供給する。

　音声出力部１１４は、例えば、スピーカやヘッドホン等の音声出力デバイスから構成される。音声出力部１１４は、効果音再生部１１１から供給される効果音再生の結果、又は音声合成処理部１１２から供給される音声合成の結果に基づいて、それらの音声データに応じた音を、システム応答（応答）として出力する。

　画像出力部１１５は、例えば、液晶ディスプレイや有機ELディスプレイ等の画像出力デバイスから構成される。画像出力部１１５は、出力画像処理部１１３から供給される出力画像の結果に基づいて、その画像データに応じた画像を、システム応答（応答）として出力（表示）する。

　音声対話システム１は、以上のように構成される。

　なお、図２の音声対話システム１において、音声入力部１０１乃至記憶部１１６を、端末装置１０（図１）と、サーバ２０（図１）のどちらの機器に組み込むかは、任意であるが、例えば、次のような構成とすることができる。

　すなわち、ユーザインターフェースとして機能する、音声入力部１０１、画像入力部１０２、センサ部１０３、音声出力部１１４、及び画像出力部１１５を、ローカル側の端末装置１０に組み込む一方で、それ以外の機能となる、音声認識部１０４、画像認識部１０５、センサ認識部１０６、発話区切り検出部１０７、意味解析部１０８、複数意図推定部１０９、タスク実行部１１０、効果音再生部１１１、音声合成処理部１１２、出力画像処理部１１３、及び記憶部１１６を、クラウド側のサーバ２０に組み込むことができる。

　このとき、音声認識部１０４、画像認識部１０５、センサ認識部１０６、発話区切り検出部１０７、意味解析部１０８、複数意図推定部１０９、タスク実行部１１０、効果音再生部１１１、音声合成処理部１１２、及び出力画像処理部１１３は、例えば、サーバ２０のCPU(Central Processing Unit)が、プログラムを実行することで実現される。また、記憶部１１６は、例えば、揮発性メモリの一種であるRAM(Random Access Memory)などから構成される。

　また、図示はしていないが、端末装置１０とサーバ２０は、インターネット３０を介してデータをやり取りするために、通信インターフェース回路等から構成される通信I/Fをそれぞれ有している。これにより、ユーザ２の発話中に、端末装置１０とサーバ２０が、インターネット３０を介して通信を行い、サーバ２０側では、端末装置１０からの認識の結果に基づき、発話区切り検出処理などの処理を行うことができる。

　さらに、端末装置１０には、例えば、ボタンやキーボード等からなる入力部を設けて、ユーザの操作に応じた操作信号が得られるようにするか、あるいは、画像出力部１１５が、タッチセンサと表示部とが一体化されたタッチパネルとして構成され、ユーザの指やタッチペン（スタイラスペン）による操作に応じた操作信号が得られるようにしてもよい。

（音声対話処理の流れ）
　次に、図３のフローチャートを参照して、音声対話システム１により実行される音声対話処理の流れを説明する。

　この音声対話処理は、端末装置１０の付近に存在するユーザ２により発話が開始されたときに実行される。なお、ここでは、ユーザ２が発話を開始するに際して、例えば、特定のキーワード（いわゆる起動ワード）を用いることによる呼びかけや、手を叩くことによる破裂音などによって、発話を開始するための明示的な指示を与えるようにしてもよい。

　ステップＳ１１において、音声入力部１０１は、ユーザ２から発せられた音声を収音することで、ユーザ２の発話を受け付ける。

　ステップＳ１２において、音声認識部１０４等の認識部は、音声入力部１０１等の前段の入力部からのデータに基づいて、ユーザ発話中の認識処理を行う。

　ここでは、例えば、音声認識部１０４によって、音声入力部１０１からの音声データに基づき、音声認識処理が行われ、音声認識（ASR）の結果が得られる。また、音声認識部１０４による音声認識処理、画像認識部１０５による画像認識処理、及びセンサ認識部１０６によるセンサ認識処理のうち、少なくとも１つの認識処理が行われ、後段の発話区切り検出処理（Ｓ１３）で用いられる認識の結果が得られる。

　ステップＳ１３において、発話区切り検出部１０７は、ステップＳ１２の処理で得られる認識の結果（各入力部の認識の結果）に基づいて、音声認識（ASR）の結果得られる発話文に対し、発話区切り検出処理を行い、ユーザ２の発話の区切りを検出する。

　ステップＳ１４において、意味解析部１０８は、ステップＳ１３の処理で得られる発話の区切り位置で分割された分割発話文に対し、意味解析処理を行う。

　この意味解析処理によって、自然言語である音声認識（ASR）の結果得られる発話文を分割した分割発話文（テキストデータ）を、機械（システム）が理解できる表現に変換する処理が行われる。これにより、分割発話文の意味解析（NLU）の結果（Intent, Entity）が得られる。

　ステップＳ１５において、音声合成処理部１１２は、ステップＳ１３の処理で得られる発話の区切り位置での発話意図の受領を示すフィードバック情報（例えば、「はい」である音声）を生成し、音声出力部１１４から出力する。これにより、システム応答（応答）として、ユーザ２に対し、フィードバック情報が出力（提示）される。

　なお、ここでは、フィードバック情報として、音声合成処理部１１２により合成された音声を出力するほか、例えば、効果音再生部１１１により再生された効果音や、出力画像処理部１１３により生成された出力画像を出力するようにしてもよい。

　ステップＳ１６においては、音声入力部１０１により収音される音声に基づき、ユーザ２の発話が完了したかどうかが判定される。

　ステップＳ１６において、ユーザ２の発話を完了していないと判定された場合、処理は、ステップＳ１１に戻り、上述したステップＳ１１乃至Ｓ１５の処理が繰り返される。

　すなわち、ステップＳ１１乃至Ｓ１５の処理が繰り返されることで、ユーザ２の発話の区切りごとに得られる分割発話文が、逐次、意味解析処理に投入され（かけられ）、分割発話文ごとに意味解析（NLU）の結果（Intent, Entity）が得られる。これにより、意味解析（NLU）の結果として、ユーザ２の発話に対し、分割発話文ごとに意図（Intent）と実体情報（Entity）が、記憶部１１６に記録（蓄積）される。

　そして、ステップＳ１６において、ユーザ２の発話が完了したと判定された場合、処理は、ステップＳ１７に進められる。

　ステップＳ１７において、複数意図推定部１０９は、ステップＳ１１乃至Ｓ１６の処理が繰り返されることで順次記録される意味解析（NLU）の結果（Intent, Entity）に基づいて、意図推定処理を行い、ユーザ２の発話の意図を推定する。

　ステップＳ１８において、タスク実行部１１０は、ステップＳ１７の処理で得られる意図推定の結果に基づいて、タスク実行処理を行い、ユーザ２の発話の意図に応じたシステムのタスクを実行する。ここでは、ユーザ２の発話の意図推定の結果に基づき、１又は複数のタスクが実行される。

　ステップＳ１９において、音声合成処理部１１２は、ステップＳ１８の処理で行われるシステムのタスク実行の結果を示すタスク実行情報（例えば、タスクが正常に完了した旨の音声）を生成し、音声出力部１１４から出力する。これにより、システム応答（応答）として、ユーザ２に対し、タスク実行情報が出力（提示）される。

　なお、ここでは、タスク実行情報として、音声合成処理部１１２により合成された音声を出力するほか、例えば、出力画像処理部１１３により生成された出力画像（例えば、タスクが正常に完了した旨の画像）などを提示するようにしてもよい。

　以上、音声対話処理の流れを説明した。

　この音声対話システム１により実行される音声対話処理（図３）では、ユーザ２の発話が、マイクロフォン等の音声入力部１０１を通じて音声認識処理にかけられ、その発話の内容がテキスト化されて、発話区切り検出処理に送られる。この音声認識処理は、ユーザ２の発話中に常時行われ、認識できた発話途中のテキストデータ（分割発話文）が、逐次、発話区切り検出処理に送られる。

　また、音声認識処理は、ユーザ２の発話内容をテキスト化するのみならず、発話のピッチ抽出などの入力音声の韻律の検出も行い、逐次、発話区切り検出処理に送られるようにしてもよい。

　さらに、ユーザ２の発話の音声以外にも、ユーザ２を撮像して得られる画像が、カメラ等の画像入力部１０２を通じて画像認識処理にかけられ、ユーザ２の口や首の動きなどの仕草などが認識さるようにしたり、あるいは、ユーザ２の生体情報などが、センサ部１０３を通じてセンサ認識処理にかけられ、ユーザ２の呼吸状態などが認識されるようにしたりすることができる。

　これらの認識処理は、ユーザ２の発話中に常時行われ、その認識の結果が、逐次、発話区切り検出処理に送られる。

　そして、音声対話システム１により実行される音声対話処理（図３）では、発話中のユーザ２の状態や仕草などの認識の結果に基づき、発話の区切りを検出して、その区切り位置で分割された発話文に対し、逐次、意味解析（NLU）を行い、その意味解析の結果得られる複数の意図（Intent）と実体情報（Entity）に基づき、１又は複数のユーザの意図を推定して、その推定結果に応じたタスク（アクション）を実行する。

　ここで、発話中のユーザ２の状態や仕草としては、例えば、小さな発話の間（ま）や、口や首の動き、生体情報、言いよどみやフィラー、イントネーションなどがある。そこで、音声対話システム１では、この人の発話特性を検出して、ユーザ２の意図を理解してほしい単位で、発話文を分割することで、より正確に、ユーザ２の発話の意図を推定するようにしている。

（発話区切り検出処理）
　次に、図４乃至図６等を参照して、発話区切り検出部１０７によって実行される発話区切り検出処理の詳細な内容について説明する。

　発話区切り検出部１０７は、ユーザ２の発話中に、音声認識部１０４、画像認識部１０５、及びセンサ認識部１０６から逐次送られてくる認識の結果に基づいて、発話区切り検出処理を行うことで、ユーザ２の発話の区切り位置を検出する。

　この発話区切り検出処理では、例えば、下記に示した（Ａ）乃至（Ｇ）の条件のうち、１つの条件、又は複数の条件の組み合わせに基づき、ユーザ２の発話の区切りのタイミングが検出される。

（Ａ）発話の間の時間が一定の時間を超えたとき
（Ｂ）イントネーション句の境界を検出したとき
（Ｃ）言いよどみやフィラーを検出したとき
（Ｄ）息継ぎを検出したとき
（Ｅ）口が動いていない時間が一定の時間を超えたとき
（Ｆ）視線の動きが大きいことを検出したとき
（Ｇ）身体（の一部）の動きが大きいことを検出したとき

　なお、上述した（Ａ）乃至（Ｇ）の条件は、発話の区切りを検出するための条件を例示列挙したものであって、ユーザ２の発話の区切りのタイミングを検出可能なものであれば、他の条件を用いるようにしてもよい。

（Ａ）第１の条件
　ここで、上述の（Ａ）に示した第１の条件を用いた場合には、「発話の間（ま）の時間が一定の時間を超えたとき」に、発話の区切りを検出するが、その具体例を、図４に示している。

　図４において、ユーザ２が、「いいよ、」と、「10時になったら、、」を順に発話する場合に、「いいよ、」である発話が終わってから、「10時になったら、、」である発話が開始されるまでの時間が、微小な時間（例えば、数百ミリ秒程度）を超えたときに、音声対話システム１は、ユーザ２の発話の区切りを検出して、「はい」である応答を行う。

　すなわち、音声対話システム１では、ユーザ２の発話中に、音声認識（ASR）の結果（発話のテキストデータ）が逐次出力されるが、音声認識（ASR）の結果として逐次出力するテキストデータの途中結果（分割発話文）が、閾値（例えば、300ms）を超えて更新されない場合に、発話の区切りを検出する。そして、音声対話システム１は、発話の区切りを検出した場合に、前回の区切り位置から今回の区切り位置までのテキストデータの途中結果（分割発話文）を、意味解析処理に投入することで、意味解析（NLU）の結果として、意図（Intent）と実体情報（Entity）を得ることができる。

　図４においては、時刻t11乃至t12に、「いいよ、」である発話を用いた音声認識処理が行われ、音声認識（ASR）の結果の出力が更新されるが、時刻t12以降に、音声認識（ASR）の結果の出力の更新が停止され、閾値（閾値時間）を超えても音声認識（ASR）の結果の出力の更新がなされていない。そのため、時刻t13になったときに、ユーザ２の発話の区切りが検出され、テキストデータの途中結果として、「いいよ、」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。そして、時刻t14に、「はい」である応答が行われる。

　その後、時刻t15乃至時刻t16に、「10時になったら、、」である発話を用いた音声認識処理が行われ、その音声認識（ASR）の結果の出力が更新されることになる。

　また、例えば、図５において、ユーザ２が、「いいよ、10時になったらはじめよう いつもの場所で、、」である発話を行った場合、音声対話システム１は、音声認識（ASR）の結果得られる「いいよ、」と「10時になったらはじめよう」との間に、微小な間（ま）による発話の区切りを検出する。そして、音声対話システム１では、「いいよ、」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。

　また、音声対話システム１は、音声認識（ASR）の結果得られる「10時になったらはじめよう」と「いつもの場所で、、」との間に、微小な間（ま）による発話の区切りを検出する。そして、音声対話システム１では、「10時になったらはじめよう」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。

　なお、図示はしていないが同様に、その後に、「いつもの場所で、、」についての発話の区切りが検出されたとき、音声対話システム１では、「いつもの場所で、、」である分割発話文が、意味解析処理に投入される。

　このように、上述の（Ａ）の第１の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ユーザ２の発話中に、微小な間（ま）等の発話の間の時間が一定の時間を超えたとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。

（Ｂ）第２の条件
　上述の（Ｂ）の第２の条件を用いた場合には、「イントネーション句の境界を検出したとき」に、発話の区切りを検出するが、その具体例を、図６に示している。

　図６において、ユーザ２が、「いいよ、10時になったらはじめよう いつもの場所で待ってるよって返信して」である発話を行った場合、音声対話システム１は、音声認識（ASR）の結果得られる「いいよ、」と「10時になったらはじめよう」との間に、発話音声のピッチの自然降下からイントネーション句の境界（息継ぎ）を検出する。

　ここでは、図６の「ピッチ」の波形で示すように、「いいよ、」である発話に注目すれば、ユーザ２の発話のピッチ（例えば、音の高さや基本周波数F0に相当する）のエンベローブ波形は、発話の始めはピッチが上昇し、アクセント核の後で自然降下するので、このピッチの自然降下を検出することで、イントネーション句の境界（息継ぎ）を検出することが可能となる。

　なお、ピッチに相当する物理量である基本周波数F0は、時間軸にしたがって、少しずつ下降する傾向があって、この傾向のことを、自然降下（Declination）という。

　そして、音声対話システム１では、「いいよ、」である発話のイントネーション句の境界によって発話の区切りを検出し、「いいよ、」である分割発話文が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。

　同様にまた、「10時になったらはじめよう」と「いつもの場所で待ってるよって返信して」である発話に注目すれば、音声対話システム１では、これらの発話のピッチの自然降下がそれぞれ検出され、イントネーション句の境界によって発話の区切りが検出される。そして、音声対話システム１では、「10時になったらはじめよう」である分割発話文と、「いつもの場所で待ってるよって返信して」である分割発話文が、逐次、意味解析処理に投入され、それらの分割発話文ごとに意味解析（NLU）の結果が得られる。

　なお、図６においても、音声対話システム１によって、ユーザ２の発話の区切りが検出されたとき、「はい」である応答が行われている。

　このように、上述の（Ｂ）の第２の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ユーザ２の発話中に、イントネーション句の境界（息継ぎ）を検出したとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。

（Ｃ）第３の条件
　上述の（Ｃ）の第３の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ユーザ２の発話中に、言いよどみや、フィラー（例えば、「えーと」、「あのー」など）が検出されたとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。

　なお、日本語以外の言語として、例えば、英語の場合には、 "like", "you know", "I mean" などの特定の文言によるフィラーを検出したときに、ユーザ２の発話の区切りを検出することになる。

（Ｄ）第４の条件
　上述の（Ｄ）の第４の条件を用いる場合には、例えば、センサ認識部１０６によるセンサ認識の結果に基づき、ユーザ２の発話中に、ユーザ２が息を吸っている呼吸（息継ぎ）が検出されたとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。ここでのセンサ認識の結果としては、例えば、生体センサとして構成されるセンサ部１０３から得られるセンサデータの認識の結果を用いることができる。

（Ｅ）第５の条件
　上述の（Ｅ）の第５の条件を用いる場合には、例えば、画像認識部１０５による画像認識の結果に基づき、ユーザ２の発話中に、画像の情報からユーザ２の口が動いていない時間が一定値（閾値）を超えるとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。

（Ｆ）第６の条件
　上述の（Ｆ）の第６の条件を用いる場合には、例えば、画像認識部１０５による画像認識の結果に基づき、ユーザ２の発話中に、画像の情報からユーザ２の視線の動きが大きいこと（例えば、アイコンタクトなど）を検出したとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。

（Ｇ）第７の条件
　上述の（Ｇ）の第７の条件を用いる場合には、例えば、センサ認識部１０６によるセンサ認識の結果に基づき、ユーザ２の発話中に、ユーザ２の身体の一部（例えば首など）の動きが大きいことを検出したとき、発話区切り検出部１０７は、ユーザ２の発話の区切りを検出する。ここでのセンサ認識の結果としては、例えば、頭などのユーザ２の身体に身につけた加速度センサとして構成されるセンサ部１０３から得られるセンサデータの認識の結果を用いることができる。

（発話区切り検出の他の例）
　なお、上述した（Ａ）乃至（Ｇ）の条件以外の他の条件としては、例えば、次に示すような認識の結果が得られたときに、音声対話システム１は、その認識の結果に基づき、ユーザ２の発話の区切りを検出するようにしてもよい。

　第１の他の例として、端末装置１０（の画像出力部１１５）に表示されている表示情報から、ユーザ２が視線をそらしたとき、又は確認のためにそれらにユーザ２の視線が向いたときに、ユーザ２の発話の区切りを検出することができる。ここで、表示情報としては、例えば、アイコン（例えば、マイクアイコン）や、ユーザの音声認識の結果（例えば、音声認識（ASR）や意味解析（NLU）の結果）などの情報を含む。

　第２の他の例として、ユーザ２の発話の音量や高さ、速度の変化量が大きかったとき、ユーザ２の発話の区切りを検出することができる。ここで、音量としては、例えば、声の大きさなどが該当する。また、速度の変化量としては、例えば、急に大きな声になったり、若しくは小さな声になったり、トーンが変わったり、又は話す速度（話速）が変わったりすることを含む。

　第３の他の例として、ユーザ２の発話内に語末を伸ばす表現が含まれるとき、ユーザ２の発話の区切りを検出することができる。ここで、語末を伸ばす表現としては、母音の継続時間が長い表現、例えば、「・・・でさぁ」や「・・・してからぁ」などの表現が含まれる。

　第４の他の例として、イントネーションのパターンによる発話の区切りは、例えば言語や地域によっても異なる場合があるので、ユーザに関する情報（例えば、サービスのログイン情報等）から、エリアの属性を取得し、エリアごとに適応するパターンを変えて、ユーザ２の発話の区切りを検出することができる。

　また、ユーザ個人が、システムに対し、別要因で発話を区切ったイントネーションのパターンを設定しておくことで、次回以降のシステムを利用時には、個人化されたパターンによって、発話の区切りを検出するようにしてもよい。

　なお、音声対話システム１は、ユーザ２の発話中に、端末装置１０以外の他の対象（例えば、家族や友達等の他のユーザ）に対して話していることが、視線や発話内容から検出されたときには、その認識の結果に基づき、発話の区切りの検出や蓄積を停止して、ユーザ２に対し、応答を返すのを止めてもよい。

（言語文法の利用）
　音声対話処理において、発話中のユーザ２の状態や仕草などの認識の結果に基づき、発話の区切りを検出する際に、ユーザ２の状態や仕草のみでは、分割発話文が長く、意味解析（NLU）の結果として意図（Intent）が得られなかった場合には、言語文法を用いた発話文の分割を併用するようにしてもよい。

　例えば、ユーザ２の状態や仕草などの認識の結果に基づき、区切られた分割発話文を、意味解析処理に投入して、その意味解析（NLU）の結果として、意図（Intent）の信頼度のスコアが、一定値以下であった場合に、その分割発話文内で、係り受けが離れている箇所を境界としてさらに分割して得られる分割発話文を、意味解析処理に投入することで、より信頼度スコアの高い意図（Intent）を得ることができる。

　例えば、ユーザ２が、「音量を大きくして、曲の先頭に戻って」である発話を行った場合に、上述の条件を用いて発話の区切りを検出できなかったとき（発話の区切りの検出の精度が悪かったとき）、言語文法を利用して、「音量を大きくして」である発話に対し、「戻って」である発話は、係り受けが離れているため、「音量を大きくして」である発話の後に、発話の区切りを検出することができる。

　以上、音声対話システム１においては、ユーザ２による発話が開始されると、発話区切り検出部１０７によって、例えば、第１の条件乃至第７の条件等の上述の条件のうち、１つの条件、又は複数の条件の組み合わせを用いた発話区切り検出処理が行われる。また、音声対話システム１では、発話区切り検出処理によって、発話の区切りが検出されると、前回の区切り位置から、今回の区切り位置までのテキストデータの途中結果（分割発話文）が、意味解析部１０８による意味解析処理に投入される。

　そして、音声対話システム１では、ユーザ２による発話が完了するまで、発話の区切りが検出される度に、分割発話文の意味解析処理が逐次行われ、その結果得られる分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）が記録（蓄積）されることになる。

　このように、ユーザ２の発話中に、意味解析処理を逐次行い、その結果得られる意味解析（NLU）の結果（Intent, Entity）を記録（蓄積）しておくことで、ユーザ２の発話が完了してから、全ての発話文を意味解析処理するのに比べて、音声対話システム１の応答（レスポンス）を速くする効果が得られる。

（発話区切りでのフィードバック情報出力処理）
　次に、効果音再生部１１１、音声合成処理部１１２、又は出力画像処理部１１３によって実行される発話区切りでのフィードバック情報出力処理の詳細な内容について説明する。

　ところで、人は、相手が発話意図を理解できる区切りで間（ま）をあけるなどの仕草を無意識に行うことで、相手の意図の受領を示す反応行動（例えば相槌など）を促している。

　また、人は、相手の発話途中の内容や意図が理解できたタイミングで、意図の受領を示す反応行動（例えば相槌など）を行うが、音声対話システム１が、この人の反応行動（理解行動）に相当する動作を行うことで（シミュレートすることで）、ユーザは、発話の途中でシステムに理解されていることのフィードバックを受けることができる。

　ここで、音声対話システム１では、発話の区切りを検出するためのユーザの状態や仕草を認識したときに、ユーザ２に対し、音声や画像を出力して、フィードバックをかけるようにしている。その結果として、ユーザ２は、音声対話システム１に対し、その後の発話内容を話しかけやすくなる。

　例えば、上述の図４及び図６では、ユーザ２の発話の区切りを検出したタイミングで、音声合成処理部１１２が、「はい」である相槌を、システム発話として出力する場合を例示した。このような相槌を、応答（システム発話）として出力する場合には、発話の区切りに応じた分割発話文ごとの意味解析（NLU）の結果として、意図（Intent）が得られたときには、受領したことを示す「はい」を出力する一方で、意図（Intent）が得られなかったときには、理解できなかったことを示す「え？」を、応答（システム発話）として出力するようにしてもよい。

　これにより、ユーザ２は、音声対話システム１に対し、発話を行った場合に、音声対話システム１から、受領の相槌があったときには、後続の発話を安心して行うことができる。一方で、音声対話システム１から、理解できない旨の相槌があったとき、ユーザ２は、文言を変えて言い直しを行うことができるようになる。

　なお、上述の「分割発話文ごとの意味解析（NLU）の結果として、意図（Intent）が得られなかったとき」とは、例えば、対話の文脈に合った意図（Intent）ではない場合や、意図（Intent）の信頼度スコアが、一定の値（閾値）よりも低い場合などが該当する。

　また、上述した例では、「はい」等の相槌を応答（システム発話）として出力する場合を説明したが、効果音再生部１１１によって、例えば、「ピッ」などの効果音を出力することで、ユーザ２に対し、フィードバック情報が通知されるようにしてもよい。

　ただし、効果音再生部１１１では、分割発話文ごとの意味解析（NLU）の結果で、意図（Intent）が得られたときと、意図（Intent）が得られずに理解できなかったときとで、効果音の種類を変えるようにしてもよい。

　さらに、出力画像処理部１１３によって、例えば、アバタ等の画像を生成することで、ユーザ２に対し、フィードバック情報が通知されるようにしてもよい。ここでは、画像の表示に限らず、例えば、LED(Light Emitting Diode)の点灯パターンや、色による視覚情報など、ユーザ２に対し、視覚的に、フィードバック情報を通知できる手法であれば、他の手法を用いるようにしてもよい。

　ただし、出力画像処理部１１３では、分割発話文ごとの意味解析（NLU）の結果で、意図（Intent）が得られたときと、意図（Intent）が得られずに理解できなかったときとで、表示する画像の種類を変えるようにしてもよい。

　一般的に、ユーザ２の発話の完了は、音声対話システム１側で、１秒以上程度、ユーザ２の発話が無いことをもって、発話が完了したと判定される。ユーザ２の発話の区切りを検出することで、ユーザ２が、長い時間待たされることも想定され、音声対話システム１からフィードバック情報の通知がないと、この発話の完了待ちの間、ユーザ２は、自身の発話が受領されているのかどうかが分からずに不安になって、不要な言い直しなどを行ってしまう可能性がある。

　それに対し、効果音再生部１１１、音声合成処理部１１２、又は出力画像処理部１１３によって、発話区切りでのフィードバック情報出力処理が行われ、ユーザ２の発話の区切りで、フィードバック情報が、早期に出力されるようにすることで、ユーザ２は、自身の発話が受領されていることを認知することができる。その結果として、ユーザ２が、不要な言い直しをしてしまうことを回避することができる。

（フィードバック情報出力の他の例）
　なお、上述したフィードバック情報の出力は一例であって、音声対話システム１では、ユーザ２の発話に応じて行われるフィードバックであれば、様々なものを採用することができる。

　例えば、ユーザ２が身につけている機器（例えば、スマートフォンやウェアラブル機器等）が振動することで、触覚によってフィードバック情報が通知されるようにしてもよい。このとき、フィードバックの内容に応じて振動の種類を変えてもよい。さらにまた、ユーザ２の身体に、微弱な電流を通して刺激を与えるようにしてもよい。

　また、例えば、前の区切り位置から一定期間、発話の区切りが検出されず、発話時間が長いと認識された場合には、ユーザ２に対し、発話の区切りを促すためのフィードバック情報が提示されるようにしてもよい。このようにすることで、フィードバック情報が早めに提示され、分割発話文の分割単位を小さくすることができるため、後段の意味解析部１０８による意味解析処理の解析精度を向上させることができる。

　ここで、早めのフィードバック情報を提示する手法としては、例えば、ユーザ２の発話時間が長いときに、画像出力部１１５に表示された擬人化エージェントがうなずくことで、ユーザ２に対し、発話の区切りを促すことができる。なお、擬人化エージェントとは、例えばCG(Computer Graphics)キャラクタやビデオアバタ等の動画像を用いてユーザと音声での対話を行う擬人化音声対話エージェントである。

（意図推定処理・タスク実行処理）
　次に、図７乃至図１０を参照して、複数意図推定部１０９により実行される意図推定処理と、タスク実行部１１０により実行されるタスク実行処理の詳細な内容について説明する。

　複数意図推定部１０９は、記録（蓄積）された意味解析（NLU）の結果（Intent, Entity）に基づいて、意図推定処理を行うことで、ユーザ２の意図を推定する。また、タスク実行部１１０は、ユーザ２の意図推定の結果に基づいて、タスク実行処理を行うことで、システムのタスクを実行する。

（ユーザ意図推定の第１の例）
　図７は、ユーザ２の意図推定の第１の例を示している。

　図７において、ユーザ２は、「いいよ、10時になったらはじめよう いつもの場所で待ってるよって返信して」である発話を行っている。従来の音声対話システムでは、この発話文全体に対し、意味解析処理を行うため、発話文に複数の異なる意図が含まれてしまうことになり、意味解析（NLU）の結果は、OOD(Out Of Domain)となる。ここで、OODとは、意味解析処理の結果得られる信頼度スコアが低く、正しい結果となっていないことを意味する。

　一方で、音声対話システム１では、「いいよ」である発話の後に発話の区切りを検出し、「いいよ」である第１の分割発話文（テキストデータ）が、意味解析処理に投入される。そして、この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = "YES" が得られる。

　このとき、音声対話システム１では、「いいよ」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。

　次に、音声対話システム１では、「いいよ」である発話に続く、「10時になったらはじめよう」である発話の後に、発話の区切りを検出し、「10時になったらはじめよう」である第２の分割発話文（テキストデータ）が、意味解析処理に投入される。この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = "ALARM-SET", Entity = "10時" が得られる。

　このとき、音声対話システム１では、「10時になったらはじめよう」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。

　次に、音声対話システム１では、「10時になったらはじめよう」である発話に続く、「いつもの場所で待ってるよって返信して」である発話の後に、発話の区切りを検出し、「いつもの場所で待ってるよって返信して」である第３の分割発話文（テキストデータ）が、意味解析処理に投入される。この意味解析処理によって、第３の分割発話文の意味解析（NLU）の結果として、Intent = "REPLY", Entity = "いつもの場所で待ってるよ" が得られる。

　そして、音声対話システム１においては、複数意図推定部１０９によって、第３の分割発話文の意味解析（NLU）の結果が、Intent = "REPLY", Entity = "いつもの場所で待ってるよ"となっていることから、それ以前の第１の分割発話文と第２の分割発話文も、第３の分割発話文と同様に、返信（"REPLY"）の内容であると推定することができる。すなわち、例えば日本語の場合には、発話の最後に述語がくるため、ここでは、第３の分割発話文の意図（Intent）である、返信（"REPLY"）が、発話全体の意図であると推定している。

　これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "REPLY", Entity = "いいよ" + "10時になったらはじめよう" + "いつもの場所で待ってるよ" を得ることができる。この発話全体の意図推定の結果は、「いいよ、10時になったらはじめよう いつもの場所で待ってるよって返信して」である発話の内容からすれば、ユーザ２の意図に従った結果として適切であると言える。

　その後、タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０又はサーバ２０の各部（例えば、メッセージ生成部や通信I/Fなど）を制御して、「いいよ 10時になったらはじめよう いつもの場所で待ってるよ」であるメッセージを返信する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、ユーザ２の発話に応じて、「メッセージの返信」であるタスクが実行される。

　なお、図７の例では、「メッセージの返信」であるタスクを説明したが、それに限らず、例えば、音声対話システム１において、「メッセージの作成」などの他のタスクを実行する場合にも、同様に適用することができる。

（ユーザ意図推定の第２の例）
　図８は、ユーザ２の意図推定の第２の例を示している。

　図８において、ユーザ２は、「忘れそうだからぁ、子供のプレゼント買って、早めに帰宅って今日の予定に入れといて」である発話を行っている。

　音声対話システム１は、「忘れそうだからぁ」である発話の後に発話の区切りを検出し、「忘れそうだからぁ」である第１の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = OOD が得られる。

　また、このとき、音声対話システム１は、「忘れそうだからぁ」である発話の音声データを解析して、その発話速度（話速）を、"遅い"と判定している。これらの解析の結果（Intent, 話速）は、記憶部１１６に記録される。

　次に、音声対話システム１は、「忘れそうだからぁ」である発話に続く、「子供のプレゼント買って」である発話の後に、発話の区切りを検出し、「子供のプレゼント買って」である第２の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = "BUY-ITEM", Entity = "子供のプレゼント" が得られる。

　ただし、"子供のプレゼント"は、BodyタイプのEntityとされる。なお、Bodyは、発話の内容を表すものであって、BodyタイプのEntityは、自由発話を含んでいる。

　また、このとき、音声対話システム１は、「子供のプレゼント買って」である発話の音声データを解析して、その発話速度（話速）を、"速い"と判定している。これらの解析の結果（Intent, Entity, 話速）は、記憶部１１６に記録される。

　次に、音声対話システム１は、「子供のプレゼント買って」である発話に続く、「早めに帰宅って今日の予定に入れといて」である発話の後に、発話の区切りを検出し、「早めに帰宅って今日の予定に入れといて」である第３の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第３の分割発話文の意味解析（NLU）の結果として、Intent = "SCHEJULE-ADD", Entity = "早めに帰宅", Entity = "今日" が得られる。ただし、Entityのうち、"早めに帰宅"は、BodyタイプのEntityとされ、"今日"は、DateタイプのEntityとされる。

　また、このとき、音声対話システム１は、「早めに帰宅って今日の予定に入れといて」である発話の音声データを解析して、その発話速度（話速）を、"速い"と判定している。これらの解析の結果（Intent, Entity, 話速）は、記憶部１１６に記録される。

　なお、上述した例と同様に、音声対話システム１は、ユーザ２の発話の区切りが検出されたとき、ユーザ２に対し、「はい」である応答（相槌）を行っている。

　そして、音声対話システム１において、複数意図推定部１０９は、記憶部１１６に記録されている、ユーザ２の発話を３分割した分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）と、各分割発話文の発話速度（話速）に基づき、ユーザ２の発話の意図を推定する。

　この意図推定処理では、最後の分割発話文である第３の分割発話文の意図（Intent）に対するBodyタイプのEntityが、"早めに帰宅"であって、第３の分割発話文が、BodyタイプのEntityを有する意図（Intent）であり、かつ、その１つ前の第２の分割発話文である「子供のプレゼント買って」の話速が、"速い"と判定されているため、第２の分割発話文の意味解析（NLU）の結果は、次のように処理される。

　すなわち、この意図推定処理では、第２の分割発話文の意図（Intent）を棄却して、その発話内容が、第３の分割発話文の意図（Intent）である、Intent = "SCHEJULE-ADD" のBodyタイプのEntityに追加されるようにする。

　また、この意図推定処理では、さらにその１つ前の第１の分割発話文（先頭の分割発話文）である「忘れそうだからぁ」の話速が、"遅い"と判定されているため、第１の分割発話文の意図（Intent）が、第３の分割発話文のBodyタイプのEntityに追加されないようにする。

　これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "SCHEJULE-ADD", BodyタイプのEntity = "子供のプレゼント買って" + "早めに帰宅", DateタイプのEntity = "今日" を得ることができる。この発話全体の意図推定は、「忘れそうだからぁ、子供のプレゼント買って、早めに帰宅って今日の予定に入れといて」である発話の内容からすれば、ユーザ２の意図に従った結果として適切であると言える。

　その後、タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０又はサーバ２０の各部（例えば、スケジュール管理部など）を制御して、「今日」の予定として、「子供のプレゼント買って 早めに帰宅」である予定を、スケジュールに登録する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、ユーザ２の発話に応じて、「スケジュールの登録」であるタスクが実行される。

　なお、この第２の例では、意図推定処理において、複数の意味解析（NLU）の結果から、Bodyの部分を判定し、スケジュールの内容に追加する際に、発話速度（話速）を用いたが、Bodyの部分として追加すべきかどうかを判定可能な情報であれば、他の情報を用いるようにしてもよい。

（ユーザ意図推定の第３の例）
　図９は、ユーザ２の意図推定の第３の例を示している。

　図９において、ユーザ２は、「ああ、明日雨なんだよな いつもの場所で待ってるよって返信して」である発話を行っている。

　音声対話システム１は、「ああ」である発話の後に発話の区切りを検出し、「ああ」である第１の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = OOD が得られる。

　また、このとき、音声対話システム１は、「ああ」である発話中の画像データを解析して、発話中のユーザ２の視線が、端末装置１０に対し、"それている"と判定している。これらの解析結果（Intent, 視線）は、記憶部１１６に記録される。

　次に、音声対話システム１は、「ああ」である発話に続く、「明日雨なんだよな」である発話の後に、発話の区切りを検出し、「明日雨なんだよな」である第２の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = OOD が得られる。

　また、このとき、音声対話システム１は、「明日雨なんだよな」である発話中の画像データを解析して、発話中のユーザ２の視線が、端末装置１０に対し、"それている"と判定している。これらの解析結果（Intent, 視線）は、記憶部１１６に記録される。

　次に、音声対話システム１は、「明日雨なんだよな」である発話に続く、「いつもの場所で待ってるよって返信して」である発話の後に、発話の区切りを検出し、「いつもの場所で待ってるよって返信して」である第３の分割発話文が、意味解析処理に投入される。この意味解析処理によって、第３の分割発話文の意味解析（NLU）の結果として、Intent = "REPLY", Entity = "いつもの場所で待ってるよ" が得られる。

　また、このとき、音声対話システム１は、「いつもの場所で待ってるよって返信して」である発話中の画像データを解析して、発話中のユーザ２の視線が、端末装置１０に対し、"向いている"と判定している。これらの解析結果（Intent, Entity, 視線）は、記憶部１１６に記録される。

　そして、音声対話システム１においては、複数意図推定部１０９によって、第３の分割発話文の意味解析（NLU）の結果が、Intent = "REPLY", Entity = "いつもの場所で待ってるよ"となっているが、その１つ前の第２の分割発話文である「明日雨なんだよな」の発話中の視線が、"それている"と判定されているため、第２の分割発話文の意図（Intent）が、第３の分割発話文のBodyタイプのEntityに追加されないようにする。

　同様にまた、さらにその１つ前の第１の分割発話文（先頭の分割発話文）である「ああ」の発話中の視線が、"それている"と判定されているため、第１の分割発話文の意図（Intent）が、第３の分割発話文のBodyタイプのEntityに追加されないようにする。

　これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "REPLY", BodyタイプのEntity = "いつもの場所で待ってるよ"を得ることができる。この発話全体の意図推定は、「ああ、明日雨なんだよな いつもの場所で待ってるよって返信して」である発話の内容からすれば、「ああ、明日雨なんだよな」が、ユーザ２の独り言であるため、ユーザ２の意図に従った結果として適切であると言える。

　その後、タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０又はサーバ２０の各部（例えば、メッセージ生成部や通信I/Fなど）を制御して、「いつもの場所で待ってるよ」であるメッセージを返信する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、ユーザ２の発話に応じて、「メッセージの返信」であるタスクが実行される。

　なお、この第３の例では、意図推定処理において、複数の意味解析（NLU）の結果から、Bodyの部分を判定し、スケジュールの内容に追加する際に、視線を用いたが、Bodyの部分として追加すべきかどうかを判定可能な情報であれば、他の情報を用いるようにしてもよい。

（ユーザ意図推定の第４の例）
　図１０は、ユーザ２の意図推定の第４の例を示している。

　図１０において、ユーザ２は、「音量を大きくして、曲の先頭に戻って」である発話を行っている。従来の音声対話システムでは、この発話文全体に対し、意味解析処理を行うが、発話文に複数の異なる意図が含まれるため、意味解析（NLU）の結果として、Intent = OOD が得られる。

　一方で、音声対話システム１では、「音量を大きくして」である発話の後に、発話の区切りを検出し、「音量を大きくして」である第１の分割発話文が、意味解析処理に投入される。そして、この意味解析処理によって、第１の分割発話文の意味解析（NLU）の結果として、Intent = "VOLUME_UP" が得られる。

　このとき、音声対話システム１では、「音量を大きくして」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。

　また、音声対話システム１では、「音量を大きくして」である発話に続く、「曲の先頭に戻って」である発話の後に、発話の区切りを検出し、「曲の先頭に戻って」である第２の分割発話文が、意味解析処理に投入される。そして、この意味解析処理によって、第２の分割発話文の意味解析（NLU）の結果として、Intent = "MUSIC_REPLAY" が得られる。

　このとき、音声対話システム１では、「曲の先頭に戻って」である発話の区切りが検出されたため、ユーザ２に対し、「はい」である応答（相槌）が行われる。

　そして、音声対話システム１では、複数意図推定部１０９によって、第１の分割発話文の意味解析（NLU）の結果が、Intent = "VOLUME_UP" であり、第２の分割発話文の意味解析（NLU）の結果が、Intent = "MUSIC_REPLAY" であることから、ユーザ２の発話には、２つの意図（Intent）が含まれると推定することができる。

　これにより、複数意図推定部１０９は、ユーザ２の発話全体の意図推定の結果として、Intent = "VOLUME_UP", "MUSIC_REPLAY" の２つの意図（Intent）を得ることができる。この発話全体の意図推定の結果は、「音量を大きくして、曲の先頭に戻って」である発話の内容からすれば、ユーザ２の意図に従った結果として適切であると言える。

　タスク実行部１１０は、複数意図推定部１０９による意図推定の結果に基づいて、端末装置１０の音声出力部１１４等を制御することで、音量を上げるとともに、曲を先頭に戻して再生する処理を行う。このように、音声対話システム１（のタスク実行部１１０）では、"VOLUME_UP"である意図（Intent）に応じた「音量を上げる」である第１のタスクと、"MUSIC_REPLAY"である意図（Intent）に応じた「曲を先頭に戻して再生する」である第２のタスクを、ユーザ２の意図に従って、一括して実行することができるようになる。

　なお、図１０の例では、音楽再生操作の依頼を説明したが、それに限らず、例えば、音声対話システム１において、ユーザ２の発話が、複数のシステムへの依頼意図を含む場合に、この手法の適用が可能とされる。

（意図推定処理・タスク実行処理の他の例）

　上述した図７のユーザ意図推定の第１の例として、メッセージの返信や作成のタスクを実行する例を説明したが、このメッセージの返信や作成のタスクを、エージェントの伝言機能などの他の機能に応用するようにしてもよい。

　例えば、音声対話システム１に対し、ユーザ２によって、「「冷蔵庫におやつのケーキがあるよ」って言っておいて」である発話（伝言）がなされた場合に、この発話のうち、発話の区切りに応じた「冷蔵庫におやつのケーキがあるよ」である部分の発話音声を、伝言本文として録音しておくことで、他のユーザ（例えば家族）に対しては、伝言本文の音声のみが再生されるようにしてもよい。

　また、ユーザ２は、発話中に言い間違える可能性があるが、発話中の言い間違いに対する、キャンセルやアンドゥ（undo）、取り消しを、発話の区切り単位で行うようにしてもよい。

　ここで、発話の区切り単位でのキャンセル機能の２つの具体例を示すが、対話における、ユーザ２の発話を、「Ｕ（User）」と表記し、音声対話システム１による応答（タスクの実行）を、「Ｓ（System）」と表記している。また、「/」は、発話区切り検出処理によって検出した発話の区切り位置を表している。

（第１の例）

　Ｕ：「明日の目覚ましは / ７時にかけて / 間違えた / ６時にかけて」
　Ｓ：（「明日の朝６時」に「アラーム設定」であるタスクの実行）

　この第１の例の場合において、音声対話システム１は、「間違えた」である分割発話文の１つ前の発話の区切りに対応する、「７時にかけて」である分割発話文をキャンセルし、「間違えた」である分割発話文の１つ後の発話の区切りに対応する、「６時にかけて」である分割発話文を用い、明日の朝６時にアラームの設定を行っている。

　すなわち、ここでは、分割発話文ごとに得られる意味解析（NLU）の結果のうち、アラーム設定（"ALARM-SET"）である意図（Intent）はそのままに、実体情報（Entity）としての、「７時」が、「６時」に修正されている。

（第２の例）

　Ｕ：「買い物リストに / 卵 / 人参 / いやそれはやめて / 大根 / を入れておいて」
　Ｓ：（「卵」と「大根」を「買い物リストに追加」であるタスクの実行）

　この第２の例の場合において、音声対話システム１は、「いやそれはやめて」である分割発話文の１つ前の発話の区切りに対応する、「人参」である分割発話文をキャンセルし、「いやそれはやめて」である分割発話文の１つ後の発話の区切りに対応する、「大根」である分割発話文を用い、卵と大根の買い物リストへの追加を行っている。

　すなわち、ここでは、分割発話文ごとに得られる意味解析（NLU）の結果のうち、買い物の予定（"SCHEJULE-ADD"）である意図（Intent）はそのままに、実体情報（Entity）としての、「人参」が、「大根」に修正されている。

（統計的な分析）
　音声対話システム１では、分割発話文ごとに、意味解析（NLU）の結果（Intent, Entity）が得られるため、例えば、複数の意図（Intent）の相対的な共起頻度を統計的に分析し、その分析結果を、意図推定処理で用いるようにしてもよい。

　例えば、ユーザ２によって、「音量を上げて、××の曲を再生して」である発話がなされたときに、「音量を上げて」である第１の分割発話文と、「××の曲を再生して」である第２の分割発話文のそれぞれの意味解析（NLU）の結果に基づき、Intent = VOLUME_UP + PLAY_MUSIC の相対的な共起頻度を統計的に学習することができる。

　また、音声対話システム１では、記憶部１１６に記録される、分割発話文ごとの意味解析（NLU）の結果（Intent, Entity）等のデータを、収集データとして記録しておくことで、この収集データを統計的に分析して、例えば、VOLUME_UPである意図（Intent）の発話の後には、PLAY_MUSICである意図（Intent）の発話がされやすいなどを、学習することができる。

　そして、例えば、ユーザ２によって、「音量を上げて、××をかけて」である発話がなされたときに、「音量を上げて」である第１の分割発話文と、「××をかけて」である第２の分割発話文のそれぞれの意味解析（NLU）の結果として、Intent = VOLUME_UP + OOD が得られた場合を想定する。ここでは、Intent = PLAY_MUSIC の信頼度スコアが低い状態であるため、第２の分割発話文の意図（Intent）が、OODとなっている。

　このとき、音声対話システム１（の複数意図推定部１０９）では、あらかじめ行われた学習の結果を用い、OOD となっているPLAY_MUSIC の信頼度スコアに、共起頻度に応じた値を加算して、補正することにより（VOLUME_UPの後のPLAY_MUSICの共起頻度が高いために信頼度スコアが上がることで）、OODではなく、PLAY_MUSICの意図であると判定した意図推定の結果が得られる。これにより、音声対話システム１（のタスク実行部１１０）では、音量を上げるとともに音楽の再生も行う。

　なお、記憶部１１６が、サーバ２０に設けられる場合には、ある特定のユーザのみならず、音声対話サービスを使用している多数のユーザの発話に応じた意味解析（NLU）の結果（Intent, Entity）を、収集データとして蓄積することができるため、より多くの収集データを用いて、より精度の高い機械学習を行うことができる。

　すなわち、上述した統計的な共起頻度を、ユーザ全体に対して収集して適用してもよいし、ユーザ属性（例えばエリアや年代、性別など）ごとに収集して適用するか、あるいは、ある特定のユーザ個人に対して収集して適用するようにしてもよい。

　また、上述した例では、n-gram統計の n=2 の場合を示したが、例えば、n=3, n=4, ・・・ と共起関係の数を増やして、頻度を統計的に分析するようにしてもよい。

　このような統計的な分析を行うことで、例えば、システムの使用時間とともに収集するデータ量が増加して、ユーザにより発話される長い文章や複文などからも、分割発話文ごとの意味解析（NLU）の結果が得られることで、意図推定処理での意図推定の精度が上がって、使い込むほどにシステムが賢くなっていくことを、ユーザは実感することができる。

（発話全体のBody判定処理の流れ）
　次に、図１１のフローチャートを参照して、音声対話システム１により実行される発話全体のBody判定処理の流れを説明する。

　なお、この発話全体のBody判定処理は、図３の音声対話処理におけるステップＳ１１乃至Ｓ１６の処理が繰り返し行われ、分割発話文ごとの意味解析（NLU）の結果が得られた後に行われるステップＳ１７の処理に含まれる。

　ステップＳ３１において、複数意図推定部１０９は、記憶部１１６に記録されている、ユーザ２の発話をN個に分割した分割発話文の意味解析（NLU）の結果と、各分割発話文の発話速度（話速）を取得する。ただし、Nは、１以上の整数である。

　ステップＳ３２において、複数意図推定部１０９は、分割文インデックスnとして、n = N をセットする。ここでは、n = N をセットすることで、処理の対象が、最後の分割発話文とされる。

　ステップＳ３３において、複数意図推定部１０９は、n番目の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有するかどうかを判定する。

　ステップＳ３３において、n番目の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有していないと判定された場合、処理は、ステップＳ３５に進められる。

　ステップＳ３５において、複数意図推定部１０９は、ユーザ２の発話内に、Bodyタイプの実体情報（Entity）が存在しないため、N個の分割発話文の各意図（Intent）に応じた意図を推定する。これにより、タスク実行部１１０は、複数意図推定部１０９からの意図推定の結果に基づき、N個の分割発話文の各意図（Intent）に応じたタスクを実行する。

　このステップＳ３５の処理が実行されるケースとしては、例えば、図１０に示したユーザ意図推定の第４の例が該当する。図１０においては、ユーザ２の発話全体の意図推定の結果として、Intent = "VOLUME_UP", "MUSIC_REPLAY" の２つの意図（Intent）が推定されている。

　ステップＳ３５の処理が終了すると、発話全体のBody判定処理は終了する。

　一方で、ステップＳ３３において、n番目の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有すると判定された場合、処理は、ステップＳ３４に進められる。

　ステップＳ３４において、複数意図推定部１０９は、n番目の分割発話文が、ユーザ２の発話の先頭であるかどうかを判定する。ここでは、処理の対象が、n = 1，すなわち、１番目（先頭）の分割発話文であるかどうかが判定される。

　ステップＳ３４において、n番目の分割発話文が、ユーザ２の発話の先頭であると判定された場合、Bodyタイプの実体情報（Entity）を有しているが、先頭の分割発話文であるため、発話全体のBody判定処理は終了する。

　また、ステップＳ３４において、n番目の分割発話文が、ユーザ２の発話の先頭ではないと判定された場合、処理は、ステップＳ３６に進められる。ステップＳ３６において、複数意図推定部１０９は、分割文インデックスnとして、n = n-1 をセットする。ここでは、例えば、Nの次に、N-1など、１つ前の分割発話文に対応するインデックスがセットされる。

　ステップＳ３７において、複数意図推定部１０９は、n番目の分割発話文のユーザ２の発話速度が、閾値を超えるかどうか（閾値が示す速度よりも速いかどうか）を判定する。

　ステップＳ３７において、ユーザ２の発話速度が、閾値を超えると判定された場合、処理は、ステップＳ３８に進められる。

　ステップＳ３８において、複数意図推定部１０９は、n番目の分割発話文の意図（Intent）を未実行とし、その内容を、最後の分割発話文の意図（Intent）のBodyタイプの実体情報（Entity）に追加した意図を推定する。これにより、タスク実行部１１０は、n番目の分割発話文の意図（Intent）を、最後の分割発話文の意図（Intent）のBodyタイプの実体情報（Entity）に追加した意図推定の結果に応じたタスクを実行する。

　このステップＳ３８の処理が実行されるケースとしては、例えば、図７に示したユーザ意図推定の第１の例が該当する。図７においては、ユーザ２の発話全体の意図推定の結果として、"いいよ" 及び "10時になったらはじめよう" である分割発話文の内容が、最後の分割発話文のBodyタイプの実体情報（Entity）として追加され、Intent = "REPLY", Entity = "いいよ" + "10時になったらはじめよう" + "いつもの場所で待ってるよ" が得られる。

　ステップＳ３８の処理が終了すると、処理は、ステップＳ３４に戻り、上述した処理が繰り返される。

　一方で、ステップＳ３７において、ユーザの発話速度が、閾値未満であると判定された場合、処理は、ステップＳ３９に進められる。

　ステップＳ３９において、複数意図推定部１０９は、n番目より前の分割発話文は、システムへの依頼発話ではないと判定し、n番目より前の分割発話文の意図（Intent）を未実行とした意図を推定する。これにより、タスク実行部１１０は、n番目より前の分割発話文の意図（Intent）を未実行とした意図推定の結果に応じたタスクを実行する。

　このステップＳ３９の処理が実行されるケースとしては、例えば、図８に示したユーザ意図推定の第２の例が該当する。図８においては、「忘れそうだからぁ」である分割発話文（の意図（Intent））が未実行とされ、発話全体の意図推定の結果として、Intent = "SCHEJULE-ADD", BodyタイプのEntity = "子供のプレゼント買って" + "早めに帰宅", DateタイプのEntity = "今日" が得られる。

　ステップＳ３９の処理が終了すると、発話全体のBody判定処理は終了する。

　以上、発話全体のBody判定処理の流れを説明した。

（区切り単位のキャンセル処理の流れ）
　次に、図１２のフローチャートを参照して、音声対話システム１により実行される区切り単位のキャンセル処理の流れを説明する。

　なお、この区切り単位のキャンセル処理は、図３の音声対話処理におけるステップＳ１１乃至Ｓ１６の処理が繰り返し行われ、分割発話文ごとの意味解析（NLU）の結果が得られた後に行われるステップＳ１７の処理に含まれる。

　ステップＳ５１において、複数意図推定部１０９は、記憶部１１６に記録されている、ユーザの発話をN個に分割した分割発話文の意味解析（NLU）の結果を取得する。ただし、Nは、１以上の整数である。

　ステップＳ５２において、複数意図推定部１０９は、分割文インデックスnとして、n = N をセットする。n = N をセットすることで、処理の対象が、最後の分割発話文とされる。

　ステップＳ５３において、複数意図推定部１０９は、n番目の分割発話文が、ユーザ２の発話の先頭であるかどうかを判定する。ここでは、処理の対象が、n = 1，すなわち、１番目（先頭）の分割発話文であるかどうかが判定される。

　ステップＳ５３において、n番目の分割発話文が、ユーザ２の発話の先頭であると判定された場合、発話の区切り単位でキャンセルを行う必要はないため、区切り単位のキャンセル処理は終了する。

　一方で、ステップＳ５３において、n番目の分割発話文が、ユーザ２の発話の先頭ではないと判定された場合、処理は、ステップＳ５４に進められる。

　ステップＳ５４において、複数意図推定部１０９は、n番目の分割発話文の意図（Intent）が、キャンセルや取り消しの意図を有するかどうかを判定する。ここで、キャンセルや取り消しの意図としては、例えば、上述の「間違えた」や「いやそれはやめて」などの分割発話文に応じた意図（Intent）が該当する。

　ステップＳ５４において、n番目の分割発話文の意図（Intent）が、キャンセル等の意図を有すると判定された場合、処理は、ステップＳ５５に進められる。ステップＳ５５において、複数意図推定部１０９は、n-1番目の分割発話文を、ユーザ２の意図推定の対象から削除する。

　例えば、上述の第１の例で、「・・・ / ７時にかけて / 間違えた / ・・・」である発話の区切りが検出された場合に、「間違えた」であるn番目の分割発話文が、キャンセル等の意図を有すると判定されたとき、「７時にかけて」であるn-1番目の分割発話文が、意図推定の対象から削除される。

　また、例えば、上述の第２の例で、「・・・ / 人参 / いやそれはやめて / ・・・」である発話の区切りが検出された場合、「いやそれはやめて」であるn番目の分割発話文が、キャンセル等の意図を有すると判定されたとき、「人参」であるn-1番目の分割発話文が、意図推定の対象から削除される。

　一方で、ステップＳ５４において、n番目の分割発話文の意図（Intent）が、キャンセル等の意図を有していないと判定された場合、処理は、ステップＳ５６に進められる。ステップＳ５６において、複数意図推定部１０９は、分割文インデックスnとして、n = n-1 をセットする。ここでは、例えば、Nの次に、N-1など、１つ前の分割発話文に対応するインデックスがセットされる。

　ステップＳ５６の処理が終了すると、処理は、ステップＳ５３に戻り、それ以降の処理が繰り返される。

　また、ステップＳ５５の処理が終了すると、処理は、ステップＳ５７に進められる。ステップＳ５７において、複数意図推定部１０９は、n-1番目の分割発話文が、ユーザ２の発話の先頭であるかどうかを判定する。ここでは、処理の対象が、n = 2，すなわち、２番目の分割発話文であるかどうかが判定される。

　ステップＳ５７において、n-1番目の分割発話文が、ユーザ２の発話の先頭であると判定された場合、これ以上発話の区切り単位でキャンセルを行う必要はないため、区切り単位のキャンセル処理は終了する。

　一方で、ステップＳ５７において、n-1番目の分割発話文が、ユーザ２の発話の先頭ではないと判定された場合、処理は、ステップＳ５８の処理に進められる。ステップＳ５８において、複数意図推定部１０９は、分割文インデックスnとして、n = n-2 をセットする。ここでは、例えば、Nの次に、N-2など、２つ前の分割発話文に対応するインデックスがセットされる。

　ステップＳ５８の処理が終了すると、処理は、ステップＳ５３に戻り、それ以降の処理が繰り返される。

　以上、区切り単位のキャンセル処理の流れを説明した。

　このように、音声対話システム１では、ユーザ２の発話特性を検出して、ユーザ２の意図を理解してほしい単位で発話文を分割した分割発話文ごとに意味解析（NLU）の結果を得ることで、より正確に、ユーザ２の発話の意図を推定することができるようにしている。

　ところで、従来の意味解析エンジン（NLUエンジン）では、ユーザの発話文から意図（Intent）と実体情報（Entity）を抽出する際に、複数の意図を含む長い文章や複文から、意図（Intent）と実体情報（Entity）を正しく抽出することは、困難であった。つまり、ユーザが発話する文章が長くなるほど、複数の意図（Intent）や実体情報（Entity）が含まれる可能性が高くなり、従来の意味解析エンジンでは、一意の意図（Intent）を推定することができなくなる。

　また、従来の音声対話システムにおいて、ユーザが長めの発話を行った場合に、その意図（Intent）を正しく推定できないときには、ユーザが意図しないシステム挙動となってしまう。その結果として、ユーザは、音声対話システムに対し、短文やコマンドベースでの発話しか行わないようになって、音声コマンドによる入力ユーザインターフェース（UI：User Interface）からの脱却を図ることができない。

　ただし、ここでの音声コマンドは、ユーザが、音声によって特定のコマンドを発することであって、ユーザによる自然発話ではないことを意味している。

　それに対し、音声対話システム１では、人の発話特性を検出して、ユーザ２の意図を理解してほしい単位で、発話文を分割した分割発話文ごとに意味解析（NLU）の結果が得られるため、ユーザ２の発話に即した意図（Intent）や実体情報（Entity）を得ることができる。そのため、音声対話システム１では、ユーザ２によって、複数の意図を含む長い文章や複文などが発話された場合（ユーザ２の発話が複数のシステムへの依頼意図を含む場合）でも、各々の依頼意図を正しく推定して、各依頼タスクに応じたタスクを一括で実行することが可能となる。

　その結果として、ユーザ２が、依頼タスクごとに音声コマンド的な短文発話による対話ターンを行わなくなることが期待される。また、ユーザ２にとっては、長い文章や複文を発話したときにも、システムが正しく意図を理解して動作している経験を通じて、システムに対して長い文章や複文の発話をすることができる、というマインドができる。

　さらに、音声対話システム１では、ユーザ２の複雑な発話の意図に対し、音声コマンド的な短文発話による複数の対話ターンを必要としないため、ユーザ２に対し、対話ターンを意識させない自然な対話を行うことが可能となる。

　また、音声対話システム１では、例えば、電子メールやソーシャルネットワーキングサービス（SNS：Social Networking Service）等のメッセージの作成依頼の発話時に、発話文の中からメッセージの内容（Body）を正しく抽出することが可能となるので、例えば、メッセージの作成依頼とメッセージの内容（Body）の入力で、別の対話ターンとせずに、１回の対話ターンでまとめて処理することが可能となる。

＜２．変形例＞

　上述した説明では、音声対話システム１において、音声入力部１０１乃至センサ部１０３、音声出力部１１４、及び画像出力部１１５が、ローカル側の端末装置１０に組み込まれ、音声認識部１０４乃至出力画像処理部１１３が、クラウド側のサーバ２０に組み込まれる構成を一例として説明したが、音声入力部１０１乃至画像出力部１１５のそれぞれは、端末装置１０とサーバ２０のうち、どちらの機器に組み込まれてもよい。

　例えば、音声入力部１０１乃至画像出力部１１５のすべてが、端末装置１０側に組み込まれ、ローカル側で処理が完了するようにしてもよい。ただし、このような構成を採用した場合でも、各種のデータベースは、インターネット３０上のサーバ２０が管理するようにしてもよい。

　また、音声認識部１０４で行われる音声認識処理や、意味解析部１０８で行われる意味解析処理は、他のサービスで提供されている音声認識サービスや意味解析サービスを利用するようにしてもよい。この場合、例えば、サーバ２０では、インターネット３０上で提供される音声認識サービスに対し、音声データを送ることで、音声認識の結果を得ることができる。また、例えば、サーバ２０では、インターネット３０上で提供される意味解析サービスに対し、分割発話文のデータを送ることで、分割発話文ごとの意味解析結果（Intent, Entity）を得ることができる。

＜３．コンピュータの構成＞

　上述した一連の処理（例えば、図３に示した音声対話処理など）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。

　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

　以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

　コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　また、図３に示した音声対話処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　なお、本技術は、以下のような構成をとることができる。

（１）
　ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出する検出部と、
　検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する推定部と
　を備える情報処理装置。
（２）
　前記認識の結果は、前記ユーザの発話の音声データの認識の結果、前記ユーザを撮像して得られる画像データの認識の結果、及び前記ユーザ又はその周辺をセンシングして得られるセンサデータの認識の結果のうち、少なくとも１つの認識の結果を含む
　前記（１）に記載の情報処理装置。
（３）
　前記検出部は、前記認識の結果から得られる前記ユーザの状態又は仕草に基づいて、前記発話の区切りを検出する
　前記（２）に記載の情報処理装置。
（４）
　前記推定部は、前記分割発話文ごとに逐次得られる意図（Intent）及び実体情報（Entity）に基づいて、前記ユーザの発話の意図を推定する
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記推定部は、前記分割発話文ごとの意図（Intent）の中から、前記発話文に即した意図（Intent）を抽出する
　前記（４）に記載の情報処理装置。
（６）
　前記推定部は、前記分割発話文ごとの実体情報（Entity）の中から、前記発話文に即した実体情報（Entity）を抽出する
　前記（４）又は（５）に記載の情報処理装置。
（７）
　前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
　前記推定部は、最後の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有する場合に、それよりも前の分割発話文であって注目している注目分割発話文が、特定の条件を満たす場合、前記注目分割発話文の意図（Intent）を未実行とし、その内容を、最後の分割発話文の意図（Intent）が有するBodyタイプの実体情報（Entity）に追加する
　前記（４）に記載の情報処理装置。
（８）
　前記推定部は、前記注目分割発話文が、前記特定の条件を満たさない場合、前記注目分割発話文の意図（Intent）を破棄する
　前記（７）に記載の情報処理装置。
（９）
　前記特定の条件は、前記ユーザの発話の速度が、所定の閾値を超えるかどうかを判定するための条件、又は前記ユーザの視線が、所定の対象を向いているかどうかを判定するための条件を含む
　前記（８）に記載の情報処理装置。
（１０）
　前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
　前記推定部は、Bodyタイプの実体情報（Entity）を有する前記分割発話文が存在しないとき、前記分割発話文ごとの意図（Intent）に応じて、前記ユーザの発話の意図を推定する
　前記（４）に記載の情報処理装置。
（１１）
　前記推定部は、前記ユーザの発話に、取り消しの意図（Intent）が含まれるとき、取り消しの対象となる分割発話文を、前記ユーザの発話の意図推定の対象から削除する
　前記（４）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記推定部は、n番目の分割発話文が、取り消しの意図（Intent）を有しているとき、n-1番目の分割発話文を、前記ユーザの発話の意図推定の対象から削除する
　前記（１１）に記載の情報処理装置。
（１３）
　検出した前記発話の区切りごとに出力されるフィードバック情報を生成する生成部をさらに備える
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記フィードバック情報は、音声、効果音、又は画像を含む
　前記（１３）に記載の情報処理装置。
（１５）
　前記検出部は、前記音声データの認識の結果に基づいて、前記ユーザの発話の間の時間が一定の時間を超えたとき、前記ユーザの発話に含まれるイントネーション句の境界を検出したとき、又は前記ユーザの発話に含まれる言いよどみ若しくはフィラーを検出したとき、前記発話の区切りを検出する
　前記（２）又は（３）に記載の情報処理装置。
（１６）
　前記検出部は、前記画像データの認識の結果に基づいて、前記ユーザの口が動いていない時間が一定の時間を超えたとき、又は前記ユーザの視線の動きが大きいことを検出したとき、前記発話の区切りを検出する
　前記（２）又は（３）に記載の情報処理装置。
（１７）
　前記検出部は、前記センサデータの認識の結果に基づいて、前記ユーザの息継ぎを検出したとき、又は前記ユーザの身体の全体若しくは一部の動きを検出したとき、前記発話の区切りを検出する
　前記（２）又は（３）に記載の情報処理装置。
（１８）
　前記ユーザの発話の意図推定の結果に基づいて、タスクを実行するタスク実行部をさらに備える
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　前記ユーザの発話から前記発話文を得るための音声認識（ASR）を行う音声認識部と、
　前記発話の区切りごとに逐次得られる前記分割発話文の意味解析（NLU）を行う意味解析部と
　をさらに備える前記（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
　情報処理装置の情報処理方法において、
　前記情報処理装置が、
　ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出し、
　検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する
　情報処理方法。

　１　音声対話システム，　１０　端末装置，　２０　サーバ，　３０　インターネット，　１０１　音声入力部，　１０２　画像入力部，　１０３　センサ部，　１０４　音声認識部，　１０５　画像認識部，　１０６　センサ認識部，　１０７　発話区切り検出部，　１０８　意味解析部，　１０９　複数意図推定部，　１１０　タスク実行部，　１１１　効果音再生部，　１１２　音声合成処理部，　１１３　出力画像処理部，　１１４　音声出力部，　１１５　画像出力部，　１１６　記憶部，　１０００　コンピュータ，　１００１　CPU

Claims (20)

1. 　ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出する検出部と、
   　検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する推定部と
   　を備える情報処理装置。
2. 　前記認識の結果は、前記ユーザの発話の音声データの認識の結果、前記ユーザを撮像して得られる画像データの認識の結果、及び前記ユーザ又はその周辺をセンシングして得られるセンサデータの認識の結果のうち、少なくとも１つの認識の結果を含む
   　請求項１に記載の情報処理装置。
3. 　前記検出部は、前記認識の結果から得られる前記ユーザの状態又は仕草に基づいて、前記発話の区切りを検出する
   　請求項２に記載の情報処理装置。
4. 　前記推定部は、前記分割発話文ごとに逐次得られる意図（Intent）及び実体情報（Entity）に基づいて、前記ユーザの発話の意図を推定する
   　請求項１に記載の情報処理装置。
5. 　前記推定部は、前記分割発話文ごとの意図（Intent）の中から、前記発話文に即した意図（Intent）を抽出する
   　請求項４に記載の情報処理装置。
6. 　前記推定部は、前記分割発話文ごとの実体情報（Entity）の中から、前記発話文に即した実体情報（Entity）を抽出する
   　請求項４に記載の情報処理装置。
7. 　前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
   　前記推定部は、最後の分割発話文の意図（Intent）が、Bodyタイプの実体情報（Entity）を有する場合に、それよりも前の分割発話文であって注目している注目分割発話文が、特定の条件を満たす場合、前記注目分割発話文の意図（Intent）を未実行とし、その内容を、最後の分割発話文の意図（Intent）が有するBodyタイプの実体情報（Entity）に追加する
   　請求項４に記載の情報処理装置。
8. 　前記推定部は、前記注目分割発話文が、前記特定の条件を満たさない場合、前記注目分割発話文の意図（Intent）を破棄する
   　請求項７に記載の情報処理装置。
9. 　前記特定の条件は、前記ユーザの発話の速度が、所定の閾値を超えるかどうかを判定するための条件、又は前記ユーザの視線が、所定の対象を向いているかどうかを判定するための条件を含む
   　請求項８に記載の情報処理装置。
10. 　前記実体情報（Entity）は、そのタイプとして、自由発話を含むことを表すBodyタイプを含み、
    　前記推定部は、Bodyタイプの実体情報（Entity）を有する前記分割発話文が存在しないとき、前記分割発話文ごとの意図（Intent）に応じて、前記ユーザの発話の意図を推定する
    　請求項４に記載の情報処理装置。
11. 　前記推定部は、前記ユーザの発話に、取り消しの意図（Intent）が含まれるとき、取り消しの対象となる分割発話文を、前記ユーザの発話の意図推定の対象から削除する
    　請求項４に記載の情報処理装置。
12. 　前記推定部は、n番目の分割発話文が、取り消しの意図（Intent）を有しているとき、n-1番目の分割発話文を、前記ユーザの発話の意図推定の対象から削除する
    　請求項１１に記載の情報処理装置。
13. 　検出した前記発話の区切りごとに出力されるフィードバック情報を生成する生成部をさらに備える
    　請求項１に記載の情報処理装置。
14. 　前記フィードバック情報は、音声、効果音、又は画像を含む
    　請求項１３に記載の情報処理装置。
15. 　前記検出部は、前記音声データの認識の結果に基づいて、前記ユーザの発話の間の時間が一定の時間を超えたとき、前記ユーザの発話に含まれるイントネーション句の境界を検出したとき、又は前記ユーザの発話に含まれる言いよどみ若しくはフィラーを検出したとき、前記発話の区切りを検出する
    　請求項３に記載の情報処理装置。
16. 　前記検出部は、前記画像データの認識の結果に基づいて、前記ユーザの口が動いていない時間が一定の時間を超えたとき、又は前記ユーザの視線の動きが大きいことを検出したとき、前記発話の区切りを検出する
    　請求項３に記載の情報処理装置。
17. 　前記検出部は、前記センサデータの認識の結果に基づいて、前記ユーザの息継ぎを検出したとき、又は前記ユーザの身体の全体若しくは一部の動きを検出したとき、前記発話の区切りを検出する
    　請求項３に記載の情報処理装置。
18. 　前記ユーザの発話の意図推定の結果に基づいて、タスクを実行するタスク実行部をさらに備える
    　請求項１に記載の情報処理装置。
19. 　前記ユーザの発話から前記発話文を得るための音声認識（ASR）を行う音声認識部と、
    　前記発話の区切りごとに逐次得られる前記分割発話文の意味解析（NLU）を行う意味解析部と
    　をさらに備える請求項１８に記載の情報処理装置。
20. 　情報処理装置の情報処理方法において、
    　前記情報処理装置が、
    　ユーザの発話中に得られる認識の結果に基づいて、前記ユーザの発話の区切りを検出し、
    　検出した前記発話の区切りごとに発話文を分割して得られる分割発話文の意味解析の結果に基づいて、前記ユーザの発話の意図を推定する
    　情報処理方法。

Images