JP5074759B2

JP5074759B2 - 対話制御装置、対話制御方法及び対話制御プログラム

Info

Publication number: JP5074759B2
Application number: JP2006343145A
Authority: JP
Inventors: 真治杉山; 博昭関山; 利行難波; 実奈子藤城; 泰彦藤田; 恵美大谷; 真裕二位
Original assignee: Toyota Motor Corp; Advanced Media Inc
Current assignee: Toyota Motor Corp; Advanced Media Inc
Priority date: 2006-12-20
Filing date: 2006-12-20
Publication date: 2012-11-14
Anticipated expiration: 2026-12-20
Also published as: JP2008157987A

Description

本発明は、対話制御装置、対話制御方法及び対話制御プログラムに関し、特に、音声案内と音声案内の途中に認識したユーザ発話内容との間に矛盾が存在する場合にその矛盾を指摘することでユーザとの間の自然な対話を実現させる対話制御装置、対話制御方法及び対話制御プログラムに関する。

従来、音声情報をユーザに提供し、ユーザからの応答に基づき処理を遂行する音声対話システムであって、所定のシナリオに沿って順次発話する音声情報の発話途中にユーザが応答する場合（以下、この応答行為を「Barge−In（バージイン）」という。）であっても、ユーザの応答内容を認識できる音声対話システムが知られている（例えば、特許文献１参照。）。

この音声対話システムは、音声情報に含まれる単語とこれに応答したユーザ発話との間の時間間隔、ユーザの発話の強さ又はユーザの発話の速さ等のバージインの状況に対応させて予め登録しておいた認識辞書中の語彙の重み付けを変更し、ユーザがこの認識辞書中のどの語彙を発話したかの認識率、ひいては、ユーザがどの選択肢を選択したか、或いは、ユーザがどのような指示をしたかの認識率を向上させる。

このように、音声対話システムは、ユーザ発話に含まれるキーワードをより正確に認識することができる。
特開２００３−１７７７８８号公報

しかしながら、特許文献１に記載の音声対話システムは、ユーザが実際に発話する発話内容と音声対話システムが期待する発話内容とが合致しないような場合に対応できず、この場合、ユーザの発話内容が認識辞書中のどの語彙にも該当しないとしてユーザの発話を無視してしまう。

上述の点に鑑み、本発明は、音声案内と音声案内の途中に認識したユーザ発話内容との間に矛盾が存在する場合にその矛盾を指摘することでユーザとの間の自然な対話を実現させる対話制御装置、対話制御方法及び対話制御プログラムを提供することを目的とする。

上述の目的を達成するために、本発明の第一の実施例に係る対話制御装置は、音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御装置であって、バージインにより音声案内の途中にユーザが発した音声を認識する音声認識手段と、前記音声認識手段の認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定手段と、前記バージインが発生したときに音声出力していた音声案内の内容と前記ユーザ発話内容特定手段が特定したユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する矛盾判定手段と、前記矛盾判定手段により予め登録された矛盾が存在すると判定された場合に該予め登録された矛盾の内容を音声出力する矛盾指摘手段と、を備えることを特徴とする。

また、本発明の第二の実施例は、第一の実施例に係る対話制御装置であって、前記矛盾判定手段は、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定することを特徴とする。

また、本発明の第三の実施例は、第一又は第二の実施例に係る対話制御装置であって、前記矛盾判定手段は、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分と未だ出力されていない部分とを含む全部の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定することを特徴とする。

また、本発明の第四の実施例に係る対話制御方法は、音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御方法であって、バージインにより音声案内の途中にユーザが発した音声を認識する音声認識ステップと、前記音声認識ステップにおける認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定ステップと、前記バージインが発生したときに音声出力していた音声案内の内容と前記ユーザ発話内容特定ステップにおいて特定されたユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する矛盾判定ステップと、前記矛盾判定ステップにおいて予め登録された矛盾が存在すると判定された場合に該予め登録された矛盾の内容を音声出力する矛盾指摘ステップと、を備えることを特徴とする。

また、本発明の第五の実施例は、第四の実施例に係る対話制御方法であって、前記矛盾判定ステップにおいて、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定することを特徴とする。

また、本発明の第六の実施例は、第四又は第五の実施例に係る対話制御方法であって、前記矛盾判定ステップにおいて、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分と未だ出力されていない部分とを含む全部の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定することを特徴とする。

また、本発明の第七の実施例に係る対話制御プログラムは、第四乃至第六の何れかの実施例に係る対話制御方法をコンピュータに実行させることを特徴とする。

上述の手段により、本発明は、音声案内と音声案内の途中に認識したユーザ発話内容との間に矛盾が存在する場合にその矛盾を指摘することでユーザとの間の自然な対話を実現させる対話制御装置、対話制御方法及び対話制御プログラムを提供することができる。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る対話制御装置１００の構成例を示すブロック図である。対話制御装置１００は、制御部１、音声取得部２、記憶部３及び音声出力部４から構成され、所定のシナリオに沿って記憶部３に記憶された音声案内データを読み出して音声出力部４からその音声案内データを音声出力し、ユーザとの間の対話が自然に推移するよう、音声取得部２を介して取得したユーザ音声に応じて次の音声出力を制御する。

対話制御装置１００は、例えば、車輌に搭載され、カーナビゲーションシステムにおけるルート案内や施設案内で利用される。なお、対話制御装置１００は、エアコン、カーオーディオ、灯火類等の各種車載装置を操作するために利用されてもよい。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備えたコンピュータであり、音声認識手段１０、ユーザ発話内容特定手段１１、登録発話内容取得手段１２、音声案内制御手段１３、矛盾判定手段１４及び矛盾指摘手段１５に対応するプログラムをＲＯＭに記憶し、それらプログラムをＲＡＭ上に展開して対応する処理をＣＰＵに実行させる。

音声取得部２は、ユーザが発する音声を取得するための装置であり、例えば、車輌を運転するドライバの音声を確実に認識できるよう指向性を備えたマイクが用いられる。

また、音声取得部２は、入力音検知機能を備え、定常雑音以外の音をユーザの発話による音声として取得してもよく、音量や音の長さに基づいて取得する音声を取捨選択してもよい。また、音声取得部２は、発話検出機能を備え、入力される音声のうち人の発話部分のみを検出して取得するようにしてもよい。なお、音声取得部２は、取得したユーザの音声を制御部１に出力する。

記憶部３は、対話制御装置１００が必要とする各種情報を記憶するための装置であり、例えば、音声案内データと音声案内データを起動させる起動条件と登録発話内容とを体系的に記憶する音声案内データベース３０を格納するハードディスクである。

音声出力部４は、音声案内データを音声出力するための装置であり、例えば、制御部１から出力される音声案内データを音声出力する車載スピーカである。

ここで、「登録発話内容」とは、音声案内に対するユーザからの応答として期待される予め登録された発話内容であり、「ユーザ発話内容」は、音声取得部２が実際に取得するユーザ音声の発話内容である。また、「発話内容」とは、発話の意味を表現する属性であり、ユーザ発話内容は、例えば、予め登録されたキーワード、キーフレーズ、又は、それらの組み合わせ等（以下、「キーワード等」という。）をユーザ音声から抽出することによって特定される。

図２は、音声案内とバージイン（音声案内の途中にユーザが発話する行為を言う。）の発生タイミングとの間の関係を説明するための図であり、音声案内「○○のお勧めは、ＡとＢとＣとがあるけれどどれにする？」を音声出力する間に（１）〜（６）の何れかのタイミングでバージインが発生した状態を示す。

また、図３は、図２の音声案内データに関する発話内容とキーワードとの間の対応関係を説明するための図であり、ユーザがキーワード「それ」又は「そいつ」を発話した場合に、発話内容「間接的選択」（指示代名詞によって選択されたことを意味する。）が特定されることを示す。

同様に、ユーザがキーワード「Ａ」、「Ｂ」又は「Ｃ」を発話した場合に、発話内容「直接的選択」（選択肢の語そのものによって選択されたことを意味する。）が特定され、ユーザがキーワード「他」又は「別」を発話した場合に、発話内容「別の選択肢要求」（案内された選択肢以外の選択肢が要求されたことを意味する。）が特定され、ユーザがキーワード「どちら」、「どっち」、「どうしよう」を発話した場合に、発話内容「迷い」（ユーザが選択肢の選択に迷っていることを意味する。）が特定され、ユーザがキーワード「うん」、「はい」又は「ええ」を発話した場合に、発話内容「相槌」（ユーザが音声案内の内容を理解していることを意味する。）が特定され、ユーザがキーワード「Ｄ」を発話した場合に、発話内容「直接的選択（無効）」（選択肢にない語によって選択されたことを意味する。）が特定される。

また、図４は、図２の音声案内データに関する登録発話内容を説明するための図であり、例えば、タイミング（３）においてバージインが発生した場合に、現在の音声案内を継続させる発話内容として発話内容「別の選択肢要求」及び「相槌」を登録し、現在の音声案内を別の音声案内に遷移させる発話内容として発話内容「間接的選択」及び「直接的選択」を登録し、ユーザの発話内容が音声案内に矛盾するとして現在の音声案内を中断し矛盾を指摘する音声案内を出力させる発話内容として発話内容「迷い」及び「直接的選択（無効）」を登録する。

また、図５は、ユーザの発話内容が図２の音声案内に矛盾する場合に対話制御装置１００が音声出力する音声案内の内容を説明するための図であり、例えば、タイミング（１）において発話内容「相槌」以外の発話内容が特定された場合に、現在の音声案内の内容が未だ不明であるにもかかわらずバージインが行われたとして、音声案内「まだ言ってないよ」が音声出力されることを示す。

次に、制御部１が有する各種手段について詳細に説明する。

音声認識手段１０は、ユーザ音声をテキストデータとして認識するための手段であり、例えば、音声取得部２を介して取得したユーザ音声をテキストデータに変換し、形態素解析等によりテキストデータを形態素に分割する。

また、音声認識手段１０は、ユーザ音声をテキストデータとして認識するばかりでなく、認識結果の信頼度、ユーザ音声の長さ（語数又は時間）、ユーザ音声の発話速度若しくは発話速度変化、又は、ユーザ音声の発話音量等の特徴を検出し、それら特徴をテキストデータに関連付けて記憶するようにしてもよい。

これにより、対話制御装置１００は、テキストデータのみから得られる情報を使用する場合に比べ、後述する発話内容の取得をより柔軟に実行することができる。

ユーザ発話内容特定手段１１は、音声認識手段１０が認識したテキストデータに基づいてユーザ発話内容を特定するための手段であり、例えば、形態素に分割されたテキストデータから予め登録されたキーワードに合致又は類似する語を抽出し、抽出された語又は語の組み合わせに基づいてユーザ発話内容を特定する。

登録発話内容取得手段１２は、各音声案内データに対応付けられた登録発話内容を取得するための手段であり、例えば、図４に示すように現在発話中の音声案内の各タイミングに対応付けられた発話内容を記憶部３の音声案内データベース３０から読み出して取得する。

音声案内制御手段１３は、音声出力部４で音声出力させる音声案内データを制御するための手段であり、例えば、ユーザ発話内容特定手段１１が特定したユーザ発話内容と登録発話内容取得手段１２が取得した登録発話内容とに基づいて現在の音声案内を継続させたり、一時停止させたり、中止させたり、或いは、別の音声案内データを音声出力させたりする。

また、音声案内制御手段１３は、音声取得部２が取得したユーザ音声が所定の音声案内を音声出力している途中のもの（バージイン）であるか否かを判定し、さらに、音声案内のどのタイミングでバージインが行われたかを判定する。

音声案内制御手段１３は、所定の音声案内を音声出力している途中に音声取得部２がユーザ音声を取得した場合にバージインが発生したものと判定するが、そのユーザ音声が所定長（例えば、３秒）以上の場合に限ってバージインが発生したものとしてもよく、そのユーザ音声に所定のキーワードが含まれている場合に限ってバージインが発生したものとしてもよい。

また、音声案内制御手段１３は、ユーザ音声の音量、発話速度、発話頻度、発話速度変化、リジェクション（ユーザ音声をテキストとして認識できなかった場合をいう。）の発生、リジェクション回数、又は、音声認識スコア等に基づいてバージインが発生したか否かを判定するようにしてもよい。

なお、音声案内制御手段１３は、音声案内毎にバージインを受け入れるか否かを設定するようにしてもよく、バージインを受け入れない設定とした場合、音声案内の途中に取得した全てのユーザ音声を無視することとする。

また、音声案内制御手段１３は、バージインが発生した場合に音声出力中の音声案内を一時停止させ、あたかも人間同士の会話で発話が重なった場合にお互いが発話を中断させるような状況を現出させてもよい。

また、音声案内制御手段１３は、判定バージイン及び強制バージインの二種類のバージインを使い分けるようにしてもよい。

「判定バージイン」とは、音声案内中にユーザ音声を取得した場合であっても、その音声案内が終了するまで待機し、その音声案内が終了した時点でそのユーザ音声から特定されるユーザ発話内容に基づいて次に音声出力する音声案内を選択させる方法である。

判定バージインが発生した場合、音声案内制御手段１３は、ユーザ発話内容特定手段１１によりそのユーザ音声に関するユーザ発話内容を特定して記憶しておき、現在の音声案内を継続させる。そして、現在の音声案内が終了した後、特定されたユーザ発話内容に基づいて次に音声出力する音声案内を決定する。

なお、一つの音声案内を音声出力している場合に複数の判定バージインが発生した場合、音声案内制御手段１３は、各ユーザ音声に関するユーザ発話内容を特定してそれぞれ記憶しておき、現在の音声案内が終了した時点で、既に記憶された複数のユーザ発話内容に基づいて次に音声出力する音声案内を決定する。

この場合、音声案内制御手段１３は、所定の優先度に従い最も優先度の高いユーザ発話内容を採用して次に音声出力する音声案内を決定してもよく、或いは、最初に得られたユーザ発話内容、最後に得られたユーザ発話内容、又は、最も音量の大きいユーザ音声に関するユーザ発話内容を採用して次に音声出力する音声案内を決定してもよい。

また、音声案内制御手段１３は、特定したユーザ発話内容に関連するキーワードの品詞に基づいて採用するユーザ発話内容を決定してもよい。「キーワードの品詞に基づいて」とは、例えば、名詞を指示代名詞より優先させたりすることを意味する。

「強制バージイン」とは、音声案内出力中にユーザ音声を取得した場合、現在の音声案内を即座に中断させ、そのユーザ音声から特定されるユーザ発話内容に基づいて次に音声出力する音声案内を決定する方法である。

強制バージインが発生した場合、音声案内制御手段１３は、次の音声案内を即座に開始させるが、次の音声案内を開始させる前に、「○○の話をしますか？」といった承諾を求めるための音声案内を音声出力し、中断させた音声案内を再開させる選択肢を残すようにしてもよい。

また、強制バージインが発生する前に判定バージインが発生していた場合、音声案内制御手段１３は、判定バージインに関連付けて記憶しておいたユーザ発話内容をクリアして強制バージインを優先させる。但し、このような場合であっても、元の音声案内を再開させた場合には、記憶しておいたユーザ発話内容をクリアすることなく、元の音声案内が終了した時点で、判定バージインに基づく処理を実行させるようにしてもよい。

なお、音声案内制御手段１３は、バージインが発生したタイミングとそのときのユーザ発話内容とに基づいて、バージインが判定バージイン又は強制バージインの何れに該当するかを決定し、同じユーザ発話内容であっても、あるタイミングでは判定バージインとしたものを、別のタイミングでは強制バージインとする場合もある。

矛盾判定手段１４は、音声案内とユーザ発話内容特定手段１１が特定したユーザ発話内容との間に矛盾が存在するか否かを判定するための手段である。なお、ここでいう矛盾には、後述するように、時期的矛盾と内容的矛盾が存在する。

矛盾指摘手段１５は、矛盾判定手段１４により矛盾が存在すると判定された場合、その矛盾内容を音声出力部４から音声出力させる手段である。

以下、図２乃至図５を参照しながら、矛盾判定手段１４が音声案内とユーザ発話内容特定手段１１が特定したユーザ発話内容との間に矛盾が存在するか否かを判定し、矛盾が存在する場合に、矛盾指摘手段１５がその矛盾を指摘する音声案内を出力する処理について説明する。

音声取得部２がユーザ音声「それにする」を取得した場合を想定する。音声認識手段１０は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段１１は、指示代名詞である単語「それ」を抽出して発話内容「間接的選択」をユーザ発話内容として特定する（図３の第一行参照。）。

一方、登録発話内容取得手段１２は、現在発話中の音声案内に対応付けられた登録発話内容を記憶部３の音声案内データベース３０から読み出して取得する。

タイミング（１）又は（２）において音声取得部２がユーザ音声「それにする」を取得した場合、矛盾判定手段１４は、時期的な矛盾が存在すると判定する（図４の第一行又第二行を参照。）。未だ選択肢を案内していないにもかかわらず、ユーザが選択肢を指示代名詞によって選択しようとしたからである。

従って、矛盾指摘手段１５は、時期的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「まだ言ってないよ」を音声出力させる（図５の第一行又は第二行を参照。）。

また、タイミング（３）、（４）、（５）の何れかにおいて音声取得部２がユーザ音声「それにする」を取得した場合、矛盾判定手段１４は、矛盾が存在しないと判定し（図４の第三行〜第五行を参照。）、この場合、音声案内制御手段１３は、強制バージインが発生したとして、タイミング（３）の場合に音声案内データ「Ａだね、了解」を音声出力させ、同様に、タイミング（４）の場合に「Ｂだね、了解」、タイミング（５）の場合に「Ｃだね、了解」を音声出力させる。

また、タイミング（６）において音声取得部２がユーザ音声「それにする」を取得した場合、矛盾判定手段１４は、内容的な矛盾が存在すると判定する（図４の第六行を参照。）。選択肢にＡ、Ｂ、Ｃの三つが案内されているので、指示代名詞「それ」では、どれを指しているか特定できないからである。

従って、矛盾指摘手段１５は、このような内容的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「どれ、それでは分からないよ」を音声出力させる（図５の第九行を参照。）。

このようにして、対話制御装置１００は、ユーザとの間の自然な対話を継続させることができる。

次に、音声取得部２がユーザ音声「他は？」を取得した場合を想定する。音声認識手段１０は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段１１は、単語「他」を抽出して発話内容「別の選択肢要求」をユーザ発話内容として特定する（図３の第三行参照。）。

タイミング（１）又は（２）の場合は、ユーザ音声「それにする」を取得した場合と同じなので説明を省略する。

タイミング（３）又は（４）の場合、矛盾判定手段１４は、矛盾が存在しないと判定し（図４の第三行又は第四行参照。）、この場合、音声案内制御手段１３は、判定バージインが発生したとして、現在の音声案内が終了するまで待機する。未だ全ての選択肢を案内していないからであり、現在の音声案内を継続させることでユーザの要求を満たすことができるからである。

一方、タイミング（５）又は（６）の場合、内容的な矛盾が存在すると判定する（図４の第五行又は第六行参照。）。選択肢を全て案内し終わっており、別の選択肢が存在しないからである。

従って、矛盾指摘手段１５は、このような内容的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「これしか知らないんだ、ごめん」を音声出力させる（図５の第六行又は第八行参照。）。

次に、音声取得部２がユーザ音声「Ａ！」を取得した場合を想定する。音声認識手段１０は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段１１は、単語「Ａ」を抽出して発話内容「直接的選択」をユーザ発話内容として特定する（図３の第二行参照。）。

タイミング（１）又は（２）において音声取得部２がユーザ音声「Ａ！」を取得した場合、矛盾判定手段１４は、時期的な矛盾が存在すると判定する。未だ選択肢を案内していないからである（図４の第一行又は第二行参照。）。

なお、未だ選択肢を案内していないが、現在の音声案内に選択肢「Ａ」が含まれることから、矛盾指摘手段１５は、時期的な矛盾が存在する場合であっても、音声案内データ「未だ言ってないよ」を音声出力する代わりに、音声案内データ「あたり！」（未だ案内していない選択肢を言い当てたことを意味する。）を音声出力させてもよい。ユーザとの間の対話を自然に継続させるためである。

また、タイミング（３）乃至（６）の何れかにおいて音声取得部２がユーザ音声「Ａ！」を取得した場合、矛盾判定手段１４は、矛盾が存在しないと判定し（図４の第三行乃至第六行参照。）、この場合、音声案内制御手段１３は、強制バージインが発生したとして、音声案内データ「Ａだね、了解」を音声出力させる。

次に、音声取得部２がユーザ音声「どっちにしようかな」を取得した場合を想定する。音声認識手段１０は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段１１は、単語「どっち」を抽出して発話内容「迷い」をユーザ発話内容として特定する（図３の第四行参照。）。

タイミング（３）において音声取得部２がユーザ音声「どっちにしようかな」を取得した場合、矛盾判定手段１４は、時期的な矛盾が存在すると判定する（図４の第三行参照。）。選択肢が一つしか案内されておらず、迷いが生じる余地がないからである。

従って、矛盾指摘手段１５は、このような時期的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「まだ一個しか言っていないよ」を音声出力させる（図５の第三行参照。）。

タイミング（４）乃至（６）の場合、矛盾判定手段１４は、矛盾が存在しないと判定し（図４の第四行乃至第六行参照。）、この場合、音声案内制御手段１３は、判定バージインが発生したとして、現在の音声案内が終了するまで待機する。複数の選択肢が既に案内されたからであり、現在の音声案内を継続させてもユーザの要求に反することがないからである。

次に、音声取得部２がユーザ音声「Ｄ！」を取得した場合を想定する。音声認識手段１０は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段１１は、単語「Ｄ」を抽出して発話内容「直接的選択（無効）」をユーザ発話内容として特定する（図３の第六行参照。）。

タイミング（１）又は（２）において音声取得部２がユーザ音声「Ｄ！」を取得した場合、矛盾判定手段１４は、時期的な矛盾が存在すると判定する（図４の第一行又は第二行参照。）。未だ選択肢を案内していないからである。

従って、矛盾指摘手段１５は、時期的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「まだ言ってないよ」を音声出力させる（図５の第一行又は第二行参照。）。

また、ユーザ音声「Ａ！」を取得した場合と異なり、現在の音声案内に選択肢「Ｄ」が存在しないことから、矛盾指摘手段１５は、時期的な矛盾及び内容的な矛盾が存在するとして音声案内データ「まだ言ってないよ」の代わりに、音声案内データ「Ｄについてはよく知らないの、ごめんね」を音声出力させてもよい。

また、タイミング（３）乃至（６）の何れかにおいて音声取得部２がユーザ音声「Ｄ！」を取得した場合、矛盾判定手段１４は、内容的な矛盾が存在すると判定し（図４の第三行又は第六行参照。）、矛盾指摘手段１５は、このような内容的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「Ｄについてはよく知らないの、ごめんね」を音声出力させる（図５の第四行、第五行、第七行又は第十行参照。）。

次に、音声取得部２がユーザ音声「うん」を取得した場合を想定する。音声認識手段１０は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段１１は、単語「うん」を抽出して発話内容「相槌」をユーザ発話内容として特定する（図３の第五行参照。）。

何れのタイミングであっても、矛盾判定手段１４は、矛盾が存在しないと判定し（図４の第一行乃至第六行参照。）、この場合、音声案内制御手段１３は、判定バージインが発生したとして、現在の音声案内が終了するまで待機する。ユーザは相槌を打っているだけで特定の意思を示しておらず、現在の音声案内を継続させることでユーザの要求を満たすことができるからである。

なお、音声取得部２がユーザ音声を取得したがそのユーザ音声をリジェクトした場合も同様である。ユーザの意思が特定できないからである。

次に、図６を参照しながら、対話制御装置１００が音声案内を制御する処理の流れについて説明する。なお、図６は、この処理の流れを示すフローチャートであり、この処理は、音声案内が開始すると同時に実行され、音声案内が行われている間中、繰り返し実行されるものとする。

最初に、音声案内制御手段１３は、音声案内が終了したか否かを監視し（ステップＳ１）、音声案内が終了していない場合(ステップＳ１のＮＯ）、バージインが発生したか否かを監視する（ステップＳ２）。

音声案内制御手段１３は、バージインが発生しなければ（ステップＳ２のＮＯ）、現在の音声案内をそのまま継続させるが（ステップＳ１０）、バージインが発生した場合には（ステップＳ２のＹＥＳ）、音声案内を一時停止させ（ステップＳ３）、現在出力している音声案内がバージインを受け入れるか否かの設定を確認する（ステップＳ４）。

バージインを受け入れない設定である場合（ステップＳ４のＮＯ）、音声案内制御手段１３は、現在の音声案内をそのまま継続させる（ステップＳ１０）。

バージインを受け入れる設定である場合（ステップＳ４のＹＥＳ）、音声案内制御手段１３は、バージインが強制バージイン又は判定バージインの何れに該当するかを判定する（ステップＳ５）。なお、この判定は、音声取得部２が取得したユーザ音声のユーザ発話内容とバージインの発生タイミングとに基づいて行われる。

強制バージインであると判定された場合（ステップＳ５のＹＥＳ）、音声案内制御手段１３は、現在の音声案内を中止させ(ステップＳ６)、矛盾判定手段１４により、ユーザ発話内容特定手段１１が特定したユーザ発話内容と現在の音声案内との間に矛盾が存在するか否かを判定して、次の音声案内を決定する（ステップＳ７）。

その後、音声案内制御手段１３は、決定された音声案内を音声出力部４から音声出力させて（ステップＳ８）、処理を終了する。

一方、判定バージインであると判定された場合（ステップＳ５のＮＯ）、音声案内制御手段１３は、そのユーザ発話内容を判定バージイン履歴として記憶部３又はＲＡＭに記憶し（ステップＳ９）、現在の音声案内をそのまま継続させる（ステップＳ１０）。

その後、音声案内制御手段１３は、現在の音声案内が終了したときに（ステップＳ１のＹＥＳ）、記憶部３又はＲＡＭに記憶された判定バージイン履歴を参照する（ステップＳ１１）。

判定バージイン履歴が存在する場合（ステップＳ１１のＮＯ）、音声案内制御手段１３は、その判定バージイン履歴に基づいて次の音声案内を決定し(ステップＳ７)、決定された音声案内を音声出力部４から音声出力させて（ステップＳ８）、処理を終了する。

なお、判定バージイン履歴がない場合（ステップＳ１１のＮＯ）、音声案内制御手段１３は、そのまま処理を終了させる。

以上の構成により、対話制御装置１００は、音声案内とその音声案内の途中に認識したユーザ発話内容とが矛盾する場合にも自然な対話を継続させることができる。

また、対話制御装置１００は、音声案内とユーザの発話内容との間に矛盾が生じた場合であっても、元の音声案内に関するシナリオにユーザを誘導することができる。

また、対話制御装置１００は、音声案内とユーザの発話内容との間に時期的な矛盾が生じた場合であっても、その旨を適切にユーザに通知することができる。

また、対話制御装置１００は、音声案内とユーザの発話内容との間に内容的な矛盾が生じた場合であっても、その旨を適切にユーザに通知することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

本発明に係る対話制御装置の構成例を示すブロック図である。音声案内とバージインの発生タイミングとの間の関係を説明するための図である。図２の音声案内データに関する発話内容とキーワードとの間の対応関係を説明するための図である。図２の音声案内データに関する登録発話内容を説明するための図でありユーザの発話内容が図２の音声案内に矛盾する場合に出力される音声案内の内容を説明するための図である。対話制御装置が音声案内を制御する処理の流れを示すフローチャートである。

符号の説明

１制御部
２音声取得部
３記憶部
４音声出力部
１０音声認識手段
１１ユーザ発話内容特定手段
１２登録発話内容取得手段
１３音声案内制御手段
１４矛盾判定手段
１５矛盾指摘手段
３０音声案内データベース
１００対話制御装置

Claims

音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御装置であって、
バージインにより音声案内の途中にユーザが発した音声を認識する音声認識手段と、
前記音声認識手段の認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定手段と、
前記バージインが発生したときに音声出力していた音声案内の内容と前記ユーザ発話内容特定手段が特定したユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する矛盾判定手段と、
前記矛盾判定手段により予め登録された矛盾が存在すると判定された場合に該予め登録された矛盾の内容を音声出力する矛盾指摘手段と、
を備えることを特徴とする対話制御装置。
前記矛盾判定手段は、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する、
ことを特徴とする請求項１に記載の対話制御装置。
前記矛盾判定手段は、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分と未だ出力されていない部分とを含む全部の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する、
ことを特徴とする請求項１又は２に記載の対話制御装置。
音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御方法であって、
バージインにより音声案内の途中にユーザが発した音声を認識する音声認識ステップと、
前記音声認識ステップにおける認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定ステップと、
前記バージインが発生したときに音声出力していた音声案内の内容と前記ユーザ発話内容特定ステップにおいて特定されたユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する矛盾判定ステップと、
前記矛盾判定ステップにおいて予め登録された矛盾が存在すると判定された場合に該予め登録された矛盾の内容を音声出力する矛盾指摘ステップと、
を備えることを特徴とする対話制御方法。
前記矛盾判定ステップにおいて、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する、
ことを特徴とする請求項４に記載の対話制御方法。
前記矛盾判定ステップにおいて、前記バージインが発生したときに音声出力していた音声案内の、既に出力された部分と未だ出力されていない部分とを含む全部の内容と前記ユーザ発話内容との間に予め登録された矛盾が存在するか否かを判定する、
ことを特徴とする請求項４又は５に記載の対話制御方法。
請求項４乃至６の何れかに記載の対話制御方法をコンピュータに実行させるための対話制御プログラム。