JP6459330B2 - 音声認識装置、音声認識方法、及び音声認識プログラム - Google Patents

Description

本発明は、音声認識装置、音声認識方法、及び音声認識プログラムに関する。

近年、音声認識技術は、例えば車室内においてユーザが各種機器の操作を行ったり電話応答処理を行ったりするためなどに利用されている。このようなシステムでは即時対応性が要求されることがあり、利用者が当該システムからの発話タイミングを促す処理を待機することなく発話する場合に備え、音声認識装置が、所謂割り込み発話に対応するバージイン機能を備える場合がある（例えば、特許文献１参照）。

例えば、特許文献１記載のバージイン機能は、バージインのフォールスポジティブを防止するため、必要と判断されたときだけバージイン機能を有効とする技術となっている。バージイン制御部は、利用者の音声信号の始端時刻をタイムスタンプとして音声バッファに記録し、音声認識部が第１の音声認識処理を行っている。そして、利用者の音声信号の終端時刻を検出したときに第１の音声認識処理を終了する。そして、第１の音声認識処理の認識結果を取得できた場合には、割り込み発話の発生の可能性を判定し、バージイン機能の動作の要否を決定する。

このとき、語尾の語彙のみ検出された場合または語頭の語彙の認識スコアが所定以下の場合には、バージイン機能の動作が必要と決定し、誤頭の語彙の認識スコアと語尾の語彙の認識スコアとの差が所定以下の場合、バージイン機能の動作が必要と決定する。または、語頭の語彙の音声区間である観測長θが所定、すなわち、最小値Ａｍｉｎ[ｍｓｅｃ]より短い場合、バージイン機能の動作が必要と決定する。

割り込み発話がありバージイン機能の動作が必要と決定されると、認識辞書を参照し語尾の語彙に接続する可能性のある全語頭の語彙の予測発話長の最大値Ａｍａｘ［ｍｓｅｃ］を取得する。この最大値Ａｍａｘ及び語尾語彙始端に基づいて新規音声始端を再設定し、第２の音声認識処理の音声認識対象区間を決定している。このときの新規音声始端は、語尾語彙始端から予測発話長の最大値Ａｍａｘ[ｍｓｅｃ]遡った時刻となる。そして、音声認識対象区間を対象として第２の音声認識処理を行っている。

特開２００９−２５５７９号公報

特許文献１記載の技術を用いると、バージイン機能を実現するときには、少なくとも第１及び第２の音声認識処理を必要とする。近年、音声認識処理は、多くの語彙を対象として待ち受け可能になってきており、これらの多くの語彙に対してパターンマッチングするため処理負荷が大きくなる。特に、特許文献１記載のように、音声認識処理を複数回繰り返し行わなければならないと音声認識処理に多大な時間を要してしまい、レスポンスが悪化してしまう。この場合、音声認識応答時間の膨大化につながる。

本発明の目的は、レスポンスを向上できるようにした音声認識装置、音声認識方法、及び音声認識プログラムを提供することにある。

請求項１記載の発明によれば、再生音除去手段は、音声ガイダンスの再生区間中及びその後の音データを取得する音取得手段の取得音から音声ガイダンスの再生音を除去する。判定手段は、再生音除去手段により音声ガイダンスの再生音が除去された除去後の音データに基づいて、音取得手段の取得音に含まれるユーザ発話音を音声認識処理することなく当該ユーザ発話音に音声認識要求する意図が存在するか否かを判定する。そして、音声認識対象区間設定手段は、判定手段により音声認識要求する意図が存在すると判定されたときには音声ガイダンスの再生区間を音声認識対象区間として含め、逆に音声認識要求する意図が存在しないと判定されたときには音声ガイダンスの再生区間を音声認識対象区間に含めないように設定する。

音声認識対象区間設定手段が、音声ガイダンスの再生区間を音声認識対象区間として含めた場合には、音声認識処理するときにユーザ発話音を含めて音声認識処理できる。逆に、音声認識対象区間設定手段が音声ガイダンスの再生区間を音声認識対象区間として含めないときには、例えば音声ガイダンスの除去後でも僅かに存在する音声ガイダンスの再生音やその他の音声ガイダンス再生期間中の雑音による誤認識の影響を防止でき、音声認識の信頼性を向上できる。これら何れの場合も、判定手段は音声認識処理することなく処理できるため、音声認識処理を少ない回数で済ますことができ、レスポンスを向上できる。

一実施形態に係る音声認識装置の電気的構成を概略的に示すブロック図 一実施形態に係るマイクの設置位置を概略的に示す説明図 一実施形態に係る処理の流れを概略的に示すフローチャート 具体例を示すタイミングチャート（その１） 具体例を示すタイミングチャート（その２）

以下、音声認識装置の一実施形態について図面を参照しながら説明する。まず図１を参照し、音声認識装置の構成例を説明する。図１は、音声認識装置の電気的構成を概略的に示すブロック図である。音声認識装置１００は、制御部１、音声コントローラ２、音響分析部３、音声認識部４を備え、マイク５及びスピーカ６を接続して構成される。音声認識装置１００は、例えば通常のマイクロコンピュータを用いて構成されており、内部には、ＣＰＵ、ＲＯＭ及びＲＡＭなどのメモリ、Ｉ／Ｏ及びこれらの構成を接続するバスライン（いずれも図示せず）が備えられ、制御部１、音声コントローラ２、音響分析部３、音声認識部４としての各機能を実現する。

制御部１は、音声コントローラ２から入力された各種情報に基づいてメモリに記憶されるプログラムにより所定の処理を実行する。メモリには音声ガイダンスの音声データが例えばデジタル音声として記憶されており、音声認識装置１００は、音声コントローラ２を通じて音声ガイダンスの音声をスピーカ６から出力可能になっている。音声コントローラ２は、制御部１からの制御信号に基づいて、音響分析部３、音声認識部４、及び、スピーカ６を制御する。音響分析部３は、マイク５から入力されるユーザ発話を取得して例えばデジタル化してメモリに記憶させると共に、マイク５から取得された音を分析する。

音声認識部４には認識辞書部７が接続されており、例えば音声コントローラ２を経由して入力された音響分析部３の分析結果に基づいて認識辞書部７の登録辞書を参照して音声認識処理を行う。認識辞書部７は、例えば、コマンド対応辞書、楽曲対応辞書、住所／ＰＯＩ（Point Of Interest）対応辞書などの辞書を備えている。コマンド対応辞書は、例えばナビゲーション装置、オーディオユニット、電話通信ユニットなどの各種コマンドに対応する音声認識用辞書であり、楽曲対応辞書は、様々な楽曲の認識語を記憶する音声認識用辞書であり、住所／ＰＯＩ辞書は、住所、ＰＯＩ（施設の名称等）の認識語を記憶する音声認識用辞書である。

マイク５は、例えば指向性を有するものを採用すると良く、特定方向から入力した音声を大きく入力するものを採用すると良い。図２は車両Ａ内のマイク５の設置場所などを概略的に示している。マイク５は、車両Ａの運転席Ａ１の上方、助手席Ａ２の上方、後部座席Ａ３の上方などにそれぞれ設置されており、これらのマイク５は、それぞれ、対応した座席Ａ１〜Ａ３に坐した人の声を大きく受信するように設置されている。音響分析部３は、音声コントローラ２を通じてこれらのマイク５の入力音声を入力すると音声の指向特性、音の大きさ等を分析し、分析した音声に基づいて、何れの座席に坐した人が声を発したか否か、１又は複数の人が声を発したか否か、ひいては音声認識処理する意図が存在するか否か、を判定する。なお、音響分析部３は、再生音除去部３ａ、判定部３ｂ、音声認識対象区間設定部３ｃ、としての機能を備える。

図３は上記構成の音声認識動作を概略的に示すフローチャートである。図３に示すように、ここでは、音声認識装置１００が、ユーザに発話を促す何らかの音声ガイダンスについてスピーカ６を通じて出力し、この音声ガイダンスを聞いたユーザが発話応答するまでの処理を説明する。まず、制御部１は、音声コントローラ２に対し音声認識開始を指示する（Ｓ１）。音声コントローラ２は、音声認識開始の指示を受け付けると、音響分析部３に音響分析処理を指令し（Ｓ２）、スピーカ６を通じて音声ガイダンスを出力指示する（Ｓ３）。音響分析部３は、音響分析処理を開始するとマイク５を通じて音声の取得を開始する（Ｓ４）。

音響分析部３は、音響分析処理を進める過程において、音声コントローラ２から音声ガイダンスの出力完了通知を受け付けるまで、ステップＳ５〜Ｓ１２の処理を例えばリアルタイムで行う。音響分析部３は、マイク５から音を取得するとこの音をデジタル変換し、この音データから音声ガイダンスの音データを除去する（Ｓ５）。音響分析部３は、マイク５からの入力音データから音声ガイダンスの音データを除去処理しながら（Ｓ５）、音声認識処理することなくユーザに音声認識要求する意図が存在するか否かを判定し（Ｓ６〜Ｓ１０）、判定条件をクリアしたときにはバージイン処理を有効とし（Ｓ１１）、逆に判定条件をクリアしないときにはバージイン処理を無効とする（Ｓ１２）。

音声コントローラ２が、スピーカ６から音声ガイダンス出力完了通知を受け付ける（Ｓ１３）と、音声コントローラ２は、音響分析部３に音声ガイダンス出力完了通知を出力する（Ｓ１４）。音響分析部３は、ステップＳ１４において音声ガイダンス出力完了通知を受け付けると、音響分析部３がバージイン処理を有効としたときには（Ｓ１５：ＹＥＳ）、音声ガイダンス再生区間を音声認識対象区間に含める（Ｓ１６）こととし、この旨を示す音響分析結果を音声コントローラ２に通知する（Ｓ１８）。逆に、音響分析部３がバージイン処理を無効としたときには（Ｓ１５：ＮＯ）、音声ガイダンス再生区間を音声認識対象区間に含めない（Ｓ１７）こととし、この旨を示す音響分析結果を音声コントローラ２に通知する（Ｓ１８）。

音声コントローラ２は、音響分析部３により音声ガイダンス再生区間を含めると判定されたときには、音声コントローラ２がスピーカ６に音声ガイダンス出力指示をしたタイミング（Ｓ３）から音声ガイダンス終了完了通知を受け付けるタイミング（Ｓ１３）までを音声認識対象区間として含ませるようにする。逆に、音声コントローラ２は、音響分析部３により音声ガイダンス再生区間を含めないと判定したときには、音声ガイダンス再生区間を音声認識対象区間として含ませないようにする。音声コントローラ２は、音声ガイダンスをスピーカ６から出力完了した後には、音響分析部３による音響分析処理を停止させ、音声認識部４に音声認識処理を開始させるが、この間又はこの後も音声認識部４はマイク５から音入力し音データを記憶し続ける。そして、音声認識部４は、認識辞書部７を参照して音声認識処理することになる（Ｓ２０）。

以下、取得音の音声認識処理を行うことなく、ユーザに音声認識要求する意図が存在するか否かを判定する処理の詳細例を説明する。音響分析部３は、例えばステップＳ６においてマイク５の音データの音量が所定閾値を超えたか否かを判定し、所定閾値を超えていることを一つの条件として（Ｓ６：ＹＥＳ）、バージイン処理を有効と判定する（Ｓ１１）。この所定閾値は、通常の所謂音声ガイダンス出力後に音声認識部４が通常の音声認識処理で用いる音量閾値よりも大きく設定された閾値を用いると良い。これは、ユーザが音声認識要求する意思を持って発話するときには、ユーザが通常よりも大きな声で発話する特性を利用するものである。

また、音響分析部３は、例えばステップＳ７において、音声ガイダンスを除去した後の音データが所定閾値を超えた音量が所定時間以上継続したか否かを判定し、所定時間続いていることを一つの条件として（Ｓ７：ＹＥＳ）、バージイン処理を必要と判定する（Ｓ１１）。ここでいう所定時間は、例えば意味の存在する言葉の長さを発話した場合の音声出力時間の閾値を意味している。すなわち、ユーザが音声認識要求する意思を持っている場合には、例えば返事（例えば「はい」、「いいえ」）、場所（例えば「とうきょうえき」、「なごやえき」、「おおさかえき」）という意味の存在する単語、又は、文章（例えば「おんりょうをあげてください」、「おんりょうあっぷ」）などの連続文字であることが多く、一文字（例えば「あ」、「い」）であることがないため、このユーザ発話時間の長短の特性を利用するものである。なお、複数の文字の発話間には音量が瞬間的に低下するタイミングが存在する場合もあるが、この処理は、例えば音データを平均化処理することで音量が所定時間以上継続したか否かを判定することも可能となる。

また、音響分析部３は、例えばステップＳ８において、音声ガイダンスを除去した後の音データ中にユーザ発話音が存在しているか否かを判定し、ユーザ発話音が存在すると判定したことを一つの条件として（Ｓ８：ＹＥＳ）、バージイン処理を有効と判定する（Ｓ１１）。ユーザ発話音の存否の判定方法としては、マイク５に入力された音声指向性が比較的大となる方向が、車両Ａ内の座席Ａ１〜Ａ３の存在する特定方向であるか否かを判定することで行うことが一例として挙げられる。

また、音響分析部３は、例えばステップＳ１０において、音声ガイダンスを除去した後の音データに基づいてユーザがマイク５に向いているか否かを判定し、ユーザがマイク５に向いていると判定したことを一つの条件として（Ｓ９：ＹＥＳ）、バージイン処理を有効と判定する（Ｓ１１）。ユーザがマイク５に向いているか否かの判定方法としては、マイク５に入力された音声指向性が比較的大となる方向が、車両内の座席の存在する特定方向であるか否かを判定することが一例として挙げられる。

また、音響分析部３は、例えばステップＳ１０において、音声ガイダンスを除去した後の音データに基づいてユーザ話者が複数存在するか否かを判定し、この条件を満たさないと判定したことを一つの条件として（Ｓ１０：ＮＯ）、バージイン処理を有効と判定する（Ｓ１１）。ユーザ話者が複数存在しているか判定する方法としては、複数のマイク５からの入力音声が存在するか否かを判定する方向が挙げられる。また、単数又は複数のマイク５の音声指向性が大となる方向が、車両内の異なる２つ以上の方向であることを条件としてユーザ話者が複数存在すると判定しても良い。

いずれにしても、複数の音源が存在することを特定することで判定できる。ユーザ話者が複数存在したと判定した場合には、バージイン処理を無効とし、音声ガイダンス区間を音声認識対象区間から外している（Ｓ１７）。この結果、ユーザによる他者との会話による発話を音声認識装置１００の入力音声としてしまう虞を極力なくすことができる。また、あるユーザの発話に他者の発話が重なることで様々な複合語を認識してしまう、という誤認識を極力防止できる。特に、バージイン機能が搭載されていない音声認識装置に慣れているユーザは、音声ガイダンス再生区間に意図的に他者と会話することが考えられる。このような場合、この会話の内容を誤認識することを極力防止でき、最大限の効果を発揮できる。

音声認識区間設定方法の具体例を図４、図５に示している。図４に示すように、音声コントローラ２がスピーカ６を通じて音声ガイダンスを再生した後、ユーザがこの音声ガイダンスに応答する場合には、前述のステップＳ６〜Ｓ１０の条件をクリアしないため、図３に示すように、音響分析部３は、音声ガイダンス再生区間Ｔ０を音声認識対象区間に含めることなく、その後のユーザ発話音の音入力期間を含む区間Ｔ１を音声認識対象区間として設定し、音声認識部４がステップＳ２０において音声認識処理する。この場合、音声ガイダンスの除去後でも僅かに存在する音声ガイダンスの再生音やその他の音声ガイダンス再生期間中の雑音（図４中のＡ０参照）による音声誤認識の影響を極力低減できる。

図５に示すように、音声コントローラ２がスピーカ６を通じて音声ガイダンスを再生している最中に、ユーザがこの音声ガイダンスに応答する場合、前述の図３のステップＳ６〜Ｓ１０の条件をクリアし、バージインを有効と判定したときには、音響分析部３は、音声ガイダンス再生区間Ｔ０を含み且つユーザ発話音の音入力区間を含む区間Ｔ２を音声認識対象区間として設定し、音声認識部４がステップＳ２０において音声認識処理する。この場合、バージイン機能による音声認識処理を信頼性高く実現できる。

本実施形態に示す判定条件（特にＳ６の条件）を採用した場合、音声認識部４は、ユーザ発話音の音量が通常より高い所定閾値を超えている条件を満たした音データを対象として音声認識処理するため、誤認識を極力防止しながら音声認識処理できる。

音響分析部３は、ユーザ発話の特徴量を抽出しこの音声分析結果を音声認識部４に渡している。音声認識部４は、認識辞書部７に登録された認識語とパターンマッチングするが、音響分析部３の計算量はこのパターンマッチングの計算量に比較して少ない。したがって、音声認識部４が音声認識処理をステップＳ１２のみで行っている場合には、音声認識処理を全体で１回のみで終了させることができ、全体の計算量を少なくできる。特に近年では、認識語として数多くの語彙を待ち受けるようになっている。

例えば、認識辞書部７内の住所／ＰＯＩ辞書は、住所を認識語として記憶しているが、音声認識部４は、例えば県（例えば、「とうきょうと」、「あいちけん」、「おおさかふ」）から番地（例えば「いちばんち」、「にばんち」）までの長文節を対象として待ち受ける場合もある。さらに、認識辞書部７内の楽曲対応辞書は、楽曲を認識語として記憶しているが、近年ではこのような楽曲を例えば数千件程度まで待ち受けるようになっている。これらの語彙について、全て言語処理的に語彙を探索してパターンマッチングするには相当時間を要する。特に、音声認識部４による音声認識の誤り率は、通常ノイズの存在しない環境下でも５％程度は存在する。このため、１回のユーザ発話に対し音声認識処理を増やすことはレスポンスの悪化に直結する。

他方、本実施形態に係る音響分析部３は、ステップＳ５において例えばデジタル化された音データから音声ガイダンスの音データを概ね減算処理等することで音声ガイダンスを除去しながら、ステップＳ７〜Ｓ１１のように音響（音の指向性等）を分析するのみであるため、音声認識部４による音声認識処理を行う方法に比較して格段に計算量を削減できる。これにより、全体処理の計算量を削減でき処理負荷を低減でき、レスポンスを向上できる。

例えば、音声ガイダンス中のユーザ発話を音声認識する場合、ユーザが音声認識させようと発話した音声と、音声認識とは無関係に発話した音声とを区別することが難しい。このような場合、ユーザが音声ガイダンスの再生後に正しい発話をしたとしても、音声認識精度は著しく落ちてしまう可能性がある。これに対し、本実施形態によれば、音響分析部３が、ユーザに音声認識要求する意図が存在するか否かを判定できるようにし、音声認識に無関係な発話を認識対象としないようにしている。これにより認識精度を向上できる。

また本実施形態では、音声認識対象区間Ｔ１、Ｔ２を音響分析部３の音声分析結果に応じて変更できるため認識精度を向上できる。また、音声認識部４は、音声認識対象区間Ｔ２として音声ガイダンス再生区間Ｔ０を含んでいたとしても、音声ガイダンス再生区間Ｔ０の音声ガイダンスの除去データについて音声認識するため認識精度を向上できる。

（他の実施形態）
前述実施形態に限定されるものではなく、例えば、以下に示す変形または拡張が可能である。
「音声認識処理することなくユーザに音声認識要求する意図が存在するか否かを判定する」方法の一例が、ステップＳ６〜Ｓ１０に示される処理となるが、これらの処理は、その一部または全部を用いて判定しても良いし、単独で他の判定処理を行っても、この他の判定処理をステップＳ６〜Ｓ１０の一部又は全部に加えて判定しても良い。

ここで、他の判定処理としては、例えば、図１に示すように、車内撮像用のカメラ（撮像手段）８について、撮像分析部９を通じて制御部１に接続し、撮像分析部９が、カメラ８により撮像されたユーザの顔、身体又は視線がマイクに向いているか否かを分析、判定する方法が挙げられる。より具体的には、撮像分析部９は、例えば通常のマイクロコンピュータに内蔵して構成され、人体の顔認識技術、身体認識技術、視線認識技術等を用いて、車両内のユーザの顔、身体又は／及び視線がマイク５に向かっているか否かを判定する。撮像分析部９は、この撮像画像による前述の認識技術に基づいて、何れの人が声を発したか否か、１又は複数の人が声を発したか否か、ひいては音声認識処理する意図が存在するか否か、を判定できる。

また、さらに他の判定処理としては、例えば、人の脳波を認識する認識装置１０（図１参照）を制御部１に接続し、この認識装置１０により認識された脳波に基づいて、音声認識要求する意図が存在するか否かを判定部１０ａにより判定する方法を用いても良い。この判定処理を前述の判定処理に替えても加えてもよい。

図面中、１００は音声認識装置、３は音響分析部（音取得手段）、３ａは再生音除去部（再生音除去手段）、３ｂは判定部（判定手段）、３ｃは音声認識対象区間設定部（音声認識対象区間設定手段）、４は音声認識部、８はカメラ（撮像手段）、９は撮像分析部、９ａ、１０ａは判定部（判定手段）、を示す。

Claims (4)

1. 音声ガイダンスの再生区間中及びその後の音データを取得する音取得手段（３）の取得音から前記音声ガイダンスの再生音を除去する再生音除去手段（３ａ）と、
   前記再生音除去手段により前記音声ガイダンスの再生音が除去された除去後の音データに基づいて、前記音取得手段の取得音に含まれるユーザ発話音を音声認識処理することなく音声認識要求する意図が存在するか否かを判定する判定手段（３ｂ、９ａ、１０ａ）と、
   前記判定手段により音声認識要求する意図が存在すると判定されたときには音声ガイダンスの再生区間を音声認識対象区間として含め、前記判定手段により音声認識要求する意図が存在しないと判定されたときには前記音声ガイダンスの再生区間を音声認識対象区間に含めずその後の前記取得音に含まれる前記ユーザ発話音の音入力区間を含む区間を音声認識対象区間に設定する音声認識対象区間設定手段（３ｃ）と、
   前記音声認識対象区間設定手段により設定された前記音声認識対象区間にて音声認識する音声認識部（４）と、を備えることを特徴とする音声認識装置。
2. 請求項１記載の音声認識装置において、
   前記判定手段は、
   前記再生音除去手段により前記音声ガイダンスの再生音が除去された除去後の音データに基づいて、前記音取得手段の取得音に含まれるユーザ発話音に音声認識要求する意図が存在するか否かを判定するときには、
   （Ａ）前記除去後の音データの音量が所定閾値を超える、
   （Ｂ）前記所定閾値を超えた音量が所定時間以上継続する、
   （Ｃ）前記除去後の音データ中にユーザ発話音が存在する、
   （Ｄ）前記除去後の音データに基づいてユーザがマイクに向いていると判定、
   （Ｅ）前記除去後の音データ中にユーザ話者が複数存在しない、
   （Ｆ）撮像手段により撮像されたユーザの顔、身体又は視線がマイクに向いていると判定、
   （Ｇ）人の脳波を検出して前記意図が存在すると判定、
   の条件のうち、少なくとも１つ以上の条件を満たしたときに、前記音取得手段の取得音に含まれるユーザ発話音に音声認識要求する意図が存在すると判定することを特徴とする音声認識装置。
3. 音声ガイダンスの再生区間中及びその後の音データを取得する音取得手段の取得音から前記音声ガイダンスの再生音を除去し、
   前記音声ガイダンスの再生音が除去された除去後の音データに基づいて、前記音取得手段の取得音に含まれるユーザ発話音を音声認識処理することなく音声認識要求する意図が存在するか否かを判定し、
   音声認識要求する意図が存在すると判定されたときには音声ガイダンスの再生区間を音声認識対象区間として含め、音声認識要求する意図が存在しないと判定されたときには前記音声ガイダンスの再生区間を音声認識対象区間に含めずその後の前記取得音に含まれる前記ユーザ発話音の音入力区間を含む区間を音声認識対象区間に設定し、
   設定された前記音声認識対象区間にて音声認識する音声認識方法。
4. 音声認識装置に、
   音声ガイダンスの再生区間中及びその後の音データを取得する音取得手段の取得音から前記音声ガイダンスの再生音を除去する手順と、
   前記音声ガイダンスの再生音が除去された除去後の音データに基づいて、前記音取得手段の取得音に含まれるユーザ発話音を音声認識処理することなく音声認識要求する意図が存在するか否かを判定する手順と、
   音声認識要求する意図が存在すると判定されたときには音声ガイダンスの再生区間を音声認識対象区間として含め、音声認識要求する意図が存在しないと判定されたときには前記音声ガイダンスの再生区間を音声認識対象区間に含めずその後の前記取得音に含まれる前記ユーザ発話音の音入力区間を含む区間を音声認識対象区間に設定する手順と、
   設定された前記音声認識対象区間にて音声認識する手順と、を実行させる音声認識プログラム。

Images