JP5685702B2 - 音声認識結果管理装置および音声認識結果表示方法 - Google Patents

Description

本発明は、会話の音声データに対する音声認識処理の結果を管理する音声認識結果管理装置と、その音声認識処理の結果を表示する音声認識結果表示方法とに関する。

従来、コールセンターやコンタクトセンター等において、顧客とオペレータとの通話音声を録音することが広く行われている。通話音声を再生可能とすることにより、通話内容を、オペレータ自身や、スーパーバイザおよびセンター管理者等（以下「管理者」という）が後から確認し、サービスの向上を図ることができる。

ところが、録音した通話音声のみでは、オペレータや管理者は、必要とする通話音声を探し出し難く、簡単に聞き返しを行うことができない。そこで、例えば非特許文献１に記載されているように、音声に対して音声認識処理を行い、音声認識結果である文字列と、音声認識結果が得られた時間範囲である発話区間を伴った音声波形とを、話者毎に区別して発話タイミングの順序で表示する装置が提案されている。この装置は、右向きの時間軸に沿って発話区間と音声波形とを併せて表示し、文字列を音声波形表示の下に発話区間毎に表示する。オペレータの発話か顧客の発話かは文字列の左側に話者情報として表示して区別する。このような装置を用いることにより、オペレータや管理者が、必要とする通話音声を音声波形や発話区間、音声認識結果の文字列の目視や全文検索等により簡単に捜し出して分析することが可能となり、サービスの向上を図ることができる。

中村雅巳、「議会議事録作成支援システム」、自動認識、日本工業出版、２００４年１０月、第１７巻、１２号、ｐ.３８−４３

しかしながら、非特許文献１記載の装置は、オペレータおよび顧客の各発話区間の文字列を、発話開始時刻でソートされた順番に混在して表示し、更に、各文字列を発話区間と離れて表示する。したがって、非特許文献１記載の装置では、管理者は文字列と発話区間との対応を付け難く、視線移動も必要となり、後から通話内容を確認するのに不便であるという問題がある。

そこで、この問題を解決するために、各発話区間の波形表示の上下に文字列を配置することが考えられる。ところが、この場合、画面に一時に表示される範囲の時間幅（以下「表示時間幅」という）を広くしようとすると、一時に表示すべき文字列が多くなり、画面の横方向に文字列が収まらなくなるという問題が発生する。

本発明の目的は、通話内容の確認を簡単に行うことができる音声認識結果管理装置および音声認識結果表示方法を提供することである。

本発明の一態様に係る音声認識結果管理装置は、会話の音声データに対する音声認識処理の結果を管理する音声認識結果管理装置であって、前記音声認識処理の結果である文字列と前記音声認識結果が得られた時間範囲である発話区間とを、話者毎に区別しかつ発話タイミングの順序で表示する会話表示画面を生成する画面生成部と、前記画面生成部が生成した前記会話表示画面を出力する画面出力部とを有し、前記会話表示画面は、前記発話区間と前記文字列とを、前記話者毎に対応付けるとともに前記発話区間の表示の時間軸方向と前記文字列の配列方向とを一致させずに表示する。

本発明の一態様に係る音声認識結果表示方法は、会話の音声データに対する音声認識処理の結果を表示する音声認識結果表示方法であって、前記音声認識処理の結果である文字列と前記音声認識結果が得られた時間範囲である発話区間とを、話者毎に区別しかつ発話タイミングの順序で表示する会話表示画面を生成する工程と、生成した前記会話表示画面を出力する工程とを有し、前記会話表示画面は、前記発話区間と前記文字列とを、前記話者毎に対応付けるとともに前記発話区間の表示の時間軸方向と前記文字列の配列方向とを一致させずに表示する。

本発明によれば、発話区間と文字列とをその方向を一致させずに表示するので、一致させる場合に比べて、文字列を画面に納め易くすることができ、通話内容の確認を簡単に行うことを可能にする。

本発明の実施の形態に係る音声認識結果管理装置を含むコールセンターシステムの構成の一例を示すシステム構成図 本実施の形態に係る音声認識結果管理装置を含む通話録音・管理装置の構成を示すブロック図 本実施の形態における会話表示画面の構成の一例を示す図 本実施の形態の変形例１における会話表示画面の構成を部分的に示す図 本実施の形態の変形例２における会話表示画面の構成を示す図 本実施の形態の変形例３における会話表示画面の構成を示す図 本実施の形態の変形例４における会話表示画面の構成を部分的に示す図 本実施の形態の変形例５における会話表示画面の構成を部分的に示す図 本実施の形態の変形例６における会話表示画面の構成を示す図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の実施の形態に係る音声認識結果管理装置を含むコールセンターシステムの構成の一例を示すシステム構成図である。

図１において、コールセンターシステム１００は、顧客端末２００−１〜２００−Ｍと、オペレータ端末３００−１〜３００−Ｎと、本実施の形態に係る音声認識結果管理装置を含む通話録音・管理装置４００と、音声認識サーバ５００とを有する。

顧客端末２００−１〜２００−Ｍとオペレータ端末３００−１〜３００−Ｎとは、通信網７００を介して、通話可能に接続されている。通話録音・管理装置４００は、通信網７００とオペレータ端末３００−１〜３００−Ｎとの間に配置されている。通話録音・管理装置４００と音声認識サーバ５００とは、例えばＬＡＮ（local area network）を介して通信可能に接続されている。

顧客端末２００−１〜２００−Ｍは、通話機能を有する顧客側の装置であり、例えば、固定電話機、携帯電話機、ＩＰ電話機能を有するパーソナルコンピュータである。

オペレータ端末３００−１〜３００−Ｎは、通話機能および情報処理機能を有するコールセンター側の装置であり、例えば、ＩＰ電話機能を有するパーソナルコンピュータと通話用のヘッドセットとのユニットである。

通話録音・管理装置４００は、顧客端末２００とオペレータ端末３００との間の通話音声を録音し、録音音声の音声データを、呼の識別情報（以下「呼情報」という）、話者の識別情報（以下「話者情報」という）、および各時点の時刻を示す情報（以下「時刻情報」という）を付加した状態で管理する。

また、通話録音・管理装置４００は、後述の音声認識サーバ５００を用いて、通話音声の音声データに対する音声認識の結果を話者毎に区別して取得し、取得した音声認識結果のデータに基づいて、会話表示画面を生成して表示する。会話表示画面は、音声波形および音声認識結果を、話者毎に区別して、発話タイミングの順序で表示する画面である。また、通話録音・管理装置４００は、会話表示画面に対する操作を、例えばコールセンターの管理者から受け付ける。会話表示画面については後述する。

音声認識サーバ５００は、音声認識処理を行う装置であり、例えば、ＬＡＮ機能を有するパーソナルコンピュータである。

通信網７００は、インターネット、公衆電話回線網等である。

このような構成を有するコールセンターシステム１００は、顧客端末２００−１〜２００−Ｍとオペレータ端末３００−１〜３００−Ｎとの間の通話内容のみならず、顧客やオペレータの語気の状態（以下適宜「通話状況」という）を示す会話表示画面を表示することができる。したがって、管理者は、各オペレータの顧客との通話状況を、容易に確認することができる。

次に、本発明に係る通話録音・管理装置４００の構成について説明する。

図２は、通話録音・管理装置４００の構成を示すブロック図である。

図２に示すように、通話録音・管理装置４００は、音声データ入力部４１０、特徴抽出部４２０、画面生成部４３０、画面出力部４４０、操作受付部４５０、音声出力部４６０、およびファイル出力部４７０を有する。

なお、本実施の形態では、音声認識処理のうち、音声データから特徴量を抽出する処理は通話録音・管理装置４００において行われ、抽出された特徴量に基づいて音声認識を行う処理は音声認識サーバ５００において行われる。

音声データ入力部４１０は、通信網７００を介して顧客端末２００から音声データを入力して記憶し、記憶する音声データを、特徴抽出部４２０および画面生成部４３０へ出力する。音声データは、少なくとも音圧の変化を示す音声波形データを含む。音声データ入力部４１０は、各音声データに、呼情報および話者情報を付加する。

特徴抽出部４２０は、音声データ入力部４１０から入力された音声データから発話区間を検出し、発話区間の音声データから特徴量を抽出して、特徴量の時系列データに呼情報、話者情報、および発話区間の時刻情報を付加した特徴量データを生成する。ここで、発話区間とは、発話音声が所定時間以上の間隔を空けずに連続して検出される区間である。そして、特徴抽出部４２０は、生成した特徴量データを音声認識サーバ５００へ出力し、音声認識サーバ５００に対して音声認識処理の実行を指示する。

この結果、音声認識サーバ５００では、発話区間毎の特徴量データから、予め用意された音響モデルデータ、辞書データ、言語モデルデータを用いて、発話音声を示すテキストデータが生成される。そして、音声認識サーバ５００からは、音声認識結果である各テキストデータが、呼情報、話者情報、および発話区間の時刻情報が付加された状態で、通話録音・管理装置４００へ出力される。

通話録音・管理装置４００の画面生成部４３０は、音声データ入力部４１０から入力された音声データと、音声認識サーバ５００から入力されたテキストデータとに基づいて、通話毎に、会話表示画面を構成するための画像データを生成する。そして、画面生成部４３０は、画像データと音声データとを時間軸で統合した画面データを、データ記憶部４３１に記憶する。会話表示画面は、上述の通り、音声波形と音声認識結果とを、話者毎に区別して、発話タイミングの順序で表示する画面である。より具体的には、会話表示画面は、発話区間と文字列とを、話者毎に対応付けるとともに発話区間の表示の時間軸方向と文字列の配列方向とを直交させて表示する画面である。画面生成部４３０は、画面データに基づき、操作受付部４５０を介して行われる操作に応じて、会話表示画面を生成し、画面出力部４４０を介して表示する。また、画面生成部４３０は、画面データに基づき、操作受付部４５０を介して行われる操作に応じて、音声出力部４６０を介して音声を出力する。会話表示画面の詳細については後述する。

画面出力部４４０は、例えば液晶ディスプレイであり、画面生成部４３０の制御を受けて、会話表示画面を表示する。

操作受付部４５０は、例えば、キーボードおよび縦方向のホイールを備えたマウスであり、画面出力部４４０が表示している会話表示画面に対する操作を受け付ける。この操作の内容については後述する。

音声出力部４６０は、画面生成部４３０の制御を受けて、音声を出力する。

ファイル出力部４７０は、画面生成部４３０の制御を受けて、データのファイル出力を行う。

また、通話録音・管理装置４００は、図示しないが、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリ、および通信回路等によって実現することができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する通話録音・管理装置４００は、発話区間と文字列とを直交させて表示するので、表示時間幅を広くしても文字列を画面に納めることができ、通話内容の確認を簡単に行うことを可能にする。また、通話録音・管理装置４００は、音声波形をも話者毎に区別して表示するので、管理者が、会話の状況と話者の感情の変化との関係を詳細に解析することを可能にする。

次に、会話表示画面の構成について説明する。

図３は、会話表示画面の構成の一例を示す図である。

図３に示すように、会話表示画面８００は、通話情報表示部８１０、全体像表示部８２０、通話状況表示部８３０、表示状態変更部８４０、ツールバー表示部８５０、および検索バー８６０を有する。

通話情報表示部８１０は、元の音声データに付加されていた、呼情報、話者情報、時刻情報の内容を含む、通話情報を表示する。通話情報は、例えば、話者、通話開始日時、通話時間、通話方向、通話属性、編集者、採集編集日時、版数、コメント、評価、音声認識処理開始日時、音声認識処理終了日時、音声認識処理時間、音声認識信頼度、発言数、音声認識パラメータ、公開情報、およびアクセス履歴を含む。

このような通話情報表示部８１０によれば、管理者は、どのオペレータのいつの通話に関する通話状況が会話表示画面８００表示されているかを知ることができる。

全体像表示部８２０は、音声波形の全体図８２１と、表示範囲マーカ８２２とを表示する。音声波形の全体図８２１は、通話全体の音声波形を、縦方向の時間軸に沿って、話者毎に区別して表示する。また、管理者は、顧客またはオペレータの語気が荒くなっている箇所や無音区間等の重要部分を容易に見付けることができる。表示範囲マーカ８２２は、通話状況表示部８３０で現在表示されている範囲（以下「表示範囲」という）を示し、操作受付部４５０を介して、その位置を縦方向の任意の位置（通話中の任意の位置）に移動させることができるようになっている。

通話状況表示部８３０は、全体像表示部８２０の表示範囲マーカ８２２の位置に対応する時刻周辺の音声波形８３１を、縦方向に伸びて表示される時間軸８３２に沿って、話者毎に区別して表示する。すなわち、音声波形８３１の時刻は縦方向の位置で示され、音声波形８３１の音圧は横方向の位置で示される。ここでは、通話状況表示部８３０は、顧客の音声波形８３１−１を左側に、オペレータの音声波形８３１−２を右側に表示する。

また、通話状況表示部８３０は、音声認識結果が得られた発話区間を示す発話区間バー８３３を、時間軸８３２に沿って、話者毎に区別して表示する。ここでは、通話状況表示部８３０は、顧客の発話区間バー８３３−１を中央の左側に、オペレータの発話区間バー８３３−２を中央の右側に表示する。これにより、管理者は、各情報の話者毎の区別を容易に行うことができる。

また、通話状況表示部８３０は、音声認識結果を横書き文字で示すテキストボックス８３４を、対応する発話区間バー８３３に結び付けて、音声波形８３１に重ねて表示する。すなわち、通話状況表示部８３０は、時間軸８３２の方向と直交する配列方向で、音声認識結果の文字列を表示する。これにより、管理者は、音声波形と文字列とを同時に閲覧することができる。また、表示時間幅が広い状態（縮尺が小さい、または縮尺分母が大きい状態）においても画面の横幅を一定にすることができ、文字列を一画面に表示させ易くなり、画面の利用効率を向上させることができる。個々のテキストボックス８３４は、テキスト表示欄と、再生、コピー、編集前への復帰、初期状態への復帰、および削除の各操作のための制御用アイコンとを有する。管理者は、マウスをテキストボックス８３４の上に持ってくるだけで、テキストボックス８３４をアクティブ状態とし（操作対象とし）、文字列の指定や制御用アイコンの操作を即座に行うことができる。すなわち、特定の文字列やこれに対応する音声データに対する操作を、１クリックで行うことが可能となる。

なお、各テキストボックス８３４は、そのテキストボックス８３４上にポインタが位置するときのみ、制御用アイコンを表示するようにしても良い。また、各テキストボックス８３４は、通常は小さいフォントサイズで文字列を表示し、そのテキストボックス８３４上にポインタが位置するときのみ、フォントサイズを大きくしたり、色を変更して、文字列を表示するようにしても良い。これにより、画面の簡素化を図ることができると共に、管理者はどのテキストボックス８３４上にポインタが位置しているかを認識し易くなる。

また、各テキストボックス８３４は、通話状況表示部８３０の表示時間幅に応じて、文字列のフォントサイズを変更したり、必要に応じて他のテキストボックス８３４と重なって表示されるようにしても良い。これにより、表示時間幅が後述のズームバー８４１によって大きく設定され、表示対象となる文字列が多くなっても、各文字列の省略をできるだけ防ぐことができる。

また、通話状況表示部８３０は、音声再生が行われているとき、再生位置を示す再生位置マーカ８３５を、音声波形８３１に重ねて表示する。これにより、管理者は、再生されている音声に対応する音声波形８３１や文字列を容易に確認することができる。

なお、通話状況表示部８３０に表示されている画像は、縦方向のドラッグ操作が可能となっている。

表示状態変更部８４０は、ズームバー８４１および要約バー８４２を表示する。ズームバー８４１は、通話状況表示部８３０の表示時間幅を変更するための、つまり時間軸８３２の縮尺を変更（ズームイン、ズームアウト）するための、スライドバーである。要約バー８４２は、通話状況表示部８３０のテキストボックス８３４に表示される文字列を要約された文字列（以下「要約文字列」という）に置き換える旨およびその要約の程度を指定するためのスライドバーである。ズームバー８４１および要約バー８４２は、いずれも、縦方向にバーがスライドするようになっている。これにより、管理者は、全体像表示部８２０および通話状況表示部８３０と統一感のある操作感覚で、表示状態変更部８４０を操作することができる。

ツールバー表示部８５０は、音声データの全体を連続再生するための複数の制御用アイコンを表示する。より具体的には、ツールバー表示部８５０は、自動スクロール停止、再生開始、再生停止、再生範囲の選択、コピー、メモ、保存、編集前への復帰、および初期状態への復帰の各操作のための制御用アイコンを表示する。

会話表示画面８００は、再生開始の制御用アイコンがクリックされると、音声データの再生を開始し、再生箇所が通話状況表示部８３０の最下端に到達する毎に、通話状況表示部８３０の表示画像を１ページ分上へスクロールさせる。なお、会話表示画面８００は、再生箇所が通話状況表示部８３０の中央に固定されるように、通話状況表示部８３０の表示画像を連続的に上へスクロールさせても良い。

また、会話表示画面８００は、コピーの制御用アイコンがクリックされると、選択中の文字列をコピー対象として記憶する。

また、会話表示画面８００は、メモの制御用アイコンがクリックされると、補足説明や注意点等のメモの入力を受け付け、入力内容を記憶する。

また、会話表示画面８００は、保存の制御用アイコンがクリックされると、文字列に対する編集結果を保存する。

また、会話表示画面８００は、編集前への復帰の制御用アイコンがクリックされると、編集された文字列を、最後に行われた編集の前の文字列へ復帰させる。

また、会話表示画面８００は、初期状態への復帰の制御用アイコンがクリックされると、編集された文字列を、初期状態（つまり音声認識結果）へ復帰させる。

検索バー８６０は、入力された文字列を、音声認識結果から検索するためのテキストボックスである。

このような会話表示画面８００が表示されることにより、管理者は、音声波形８３１の特徴の変化から、顧客またはオペレータが、どのタイミングで保留したか、およびどのタイミングで黙ったか、を知ることができる。また、管理者は、音声波形８３１の特徴から、声の大小や録音音声に異常（音割れや雑音混入）の有無を一目で確認することができる。また、管理者は、広い表示時間幅で多くの文字列を一目で確認することができる。したがって、管理者は、通話状況の確認を簡単に行うことができる。

画面生成部４３０は、このような会話表示画面８００を構成するためのデータを、予め保持している。また、画面生成部４３０は、テキストボックス８３４に表示される各文字列に対して、複数の要約レベルごとに予め定められた要約ルールに従って要約文字列を生成し、生成した要約文字列を記憶する。要約文字列は、元の文字列よりも文字数が削減された文字列であり、要約バー８４２において要約された文字列の表示が指示されたときに用いられるものである。

以下、会話表示画面８００に関する通話録音・管理装置４００の動作について説明する。

まず、画面出力部４４０は、例えば、音声データ入力部４１０に記憶されている音声データの通話をリスト化した通話リストを表示して通話の選択を受け付ける。そして、画面出力部４４０は、いずれかの通話が選択されると、音声データ入力部４１０に対し、その通話の音声データを特徴抽出部４２０へ出力することを指示する。この結果、音声データ入力部４１０は、選択された音声データを、特徴抽出部４２０へ出力する。

通話リストは、例えば、「自分の通話」、「自分のグループの通話」、「お気に入りの通話」、「管理者からコメントされた通話」等、適宜グループ化されて表示されても良い。また、画面出力部４４０は、通話リストによってではなく、条件検索（日時、オペレータ名、電話番号、各種分類、認識結果または編集結果の文字列全文検索等）によって、通話の選択を受け付けても良い。

特徴抽出部４２０は、入力された音声データに対して発話区間の検出および発話区間の特徴量抽出を行い、特徴量データを音声認識サーバ５００へ出力して、その音声認識結果を返送させる。なお、特徴抽出部４２０および音声認識サーバ５００は、音声認識に関する処理を、通話の録音が行われるタイミング等に、事前に行っておいても良い。

画面生成部４３０は、音声認識結果が入力されると、音声データ入力部４１０から対応する音声データを取得する。そして、画面生成部４３０は、音声認識結果および音声データから、上述の画面データを生成し、画面出力部４４０を介して会話表示画面８００を表示する。画面生成部４３０は、初期状態では、全体像表示部８２０の表示範囲マーカ８２２を、通話の開始位置の音声波形８３１が表示される位置に配置する。また、画面生成部４３０は、初期状態では、通話状況表示部８３０の表示時間幅を、比較的小さい幅とする。

画面生成部４３０は、操作受付部４５０からの操作に応じて、会話表示画面８００の表示内容を変更する。具体的には、以下の通りである。

画面生成部４３０は、表示範囲マーカ８２２の位置が変更されたとき、その変更に対応して、通話状況表示部８３０の表示範囲を変更する。これにより、管理者は、確認したい位置を、容易に任意の位置に変更することができる。また、音声波形の全体図８２１が表示されているので、管理者は、顧客またはオペレータの語気が荒くなっている箇所を容易に見付けることができ、ピンポイントに重要部分の頭出しを行うことができる。

画面生成部４３０は、通話状況表示部８３０のテキストボックス８３４以外の部分を選択して縦方向のドラッグ操作が行われたとき、その操作方向および操作量に応じて、表示範囲を縦方向にスクロールさせる。また、このとき、画面生成部４３０は、表示範囲のスクロールに対応して、表示範囲マーカ８２２の位置を変更する。これにより、管理者は、通話状況の変化を、自分のペースで、連続的に確認することができる。また、スクロール方向が縦方向であるため、通常のマウスのホイールによるスクロール操作がし易く、管理者の操作負担を軽減することができる。この点、時間軸を横方向に配置した従来技術では、このような効果を得ることはできない。

画面生成部４３０は、ズームバー８４１のスライダの位置が変更されたとき、その変更に対応して、通話状況表示部８３０の表示時間幅を変更する。これにより、管理者は、全体を俯瞰したり詳細を見たりといった、目的に応じた閲覧が容易となる。また、画面生成部４３０は、表示時間幅の変更に対応して、テキストボックス８３４に表示される文字列を、対応する要約レベルの要約文字列に変更する。これにより、音声認識結果の文字列を、会話の内容が分かる状態で短くすることができ、各テキストボックス８３４の文字列および音声波形８３１を見易く表示することができる。

画面生成部４３０は、要約バー８４２のスライダの位置が変更されたとき、その変更に対応して、テキストボックス８３４に表示される文字列を、対応する要約レベルの要約文字列に変更する。

画面生成部４３０は、テキストボックス８３４の制御用アイコンがクリックされたとき、対応する処理を行う。例えば、画面生成部４３０は、テキストボックス８３４の再生アイコンがクリックされたときには、表示中の文字列に対応する音声データを、音声出力部４６０を用いて再生する。また、画面生成部４３０は、テキストボックス８３４の文字列部分がクリックされたとき、文字列に対する編集を受け付ける。

画面生成部４３０は、音声再生が行われているとき、再生位置マーカ８３５を音声波形８３１に重ねて表示するとともに、再生位置に対応して表示位置を移動させる。

画面生成部４３０は、ツールバー表示部８５０の制御用アイコンがクリックされたとき、対応する処理を行う。例えば、画面生成部４３０は、ツールバー表示部８５０の再生アイコンがクリックされたとき、表示中の音声波形８３１に対応する音声データを、音声出力部４６０を用いて再生する。また、画面生成部４３０は、ツールバー表示部８５０の保存アイコンがクリックされたときには、会話表示画面８００の表示内容の一部または全てのデータを、ファイル出力部４７０を用いてファイル出力する。

画面生成部４３０は、検索バー８６０に文字列が入力されると、音声認識結果から入力された文字列を検索し、テキストボックス８３４に表示されている文字列のうち、該当する部分を、色を反転させたりハイライトを掛けたりする等して強調表示させる。これにより、管理者は、特定の文字列の出現箇所や出現頻度を容易に確認することができ、更に特定の文字列を含む箇所をピンポイントに再生することが容易となる。

音声出力部４６０は、上述の通り、画面生成部４３０の制御を受けて音声データを再生するが、このとき、ステレオ音声で、音声データを再生する。より具体的には、音声出力部４６０は、顧客の音声データを左側音声で再生し、オペレータの音声データを右側音声で再生する。すなわち、通話録音・管理装置４００は、話者毎に、通話状況の表示の左右方向と、音声出力の左右方向とを対応させている。これにより、管理者は、音声を話者毎に区別して把握することが容易となり、更に、会話表示画面８００の表示内容と対応付けることが容易となる。この点、話者毎の情報を上下に配置して表示する従来技術では、通常のステレオ音声によって上下方向を区別して再生することはできないため、再生の方向と表示の方向とを感覚的に対応付けることは困難である。

以上説明したように、本実施の形態の通話録音・管理装置４００によれば、発話区間と文字列とを直交させて表示するので、表示時間幅を広くしても文字列を画面に納めることができ、通話内容の確認を簡単に行うことを可能にする。

なお、本実施の形態では、会話表示画面が、顧客の音声データに関する情報を左側、オペレータの音声データに関する情報を右側にそれぞれ表示する場合について説明したが、これに限定されない。例えば、会話表示画面は、顧客の情報とオペレータの情報とを、左右逆に配置しても良い。

また、本実施の形態では、各テキストボックスの位置の基準を発話区間バーが表示されている中央側としたが、これに限定されない。例えば、会話表示画面は、話者毎に、テキストボックスの左端部を縦方向に揃えても良い。この場合、管理者は、各文字列の発話タイミングの時間間隔を、テキストボックスの左端部の位置関係から、より正確に捉えることが可能となる。

また、会話表示画面は、顧客の情報とオペレータの情報とを、左右に分けずに配置しても良い。この場合には、例えば、会話表示画面は、図３と同様に顧客とオペレータとで縦方向２列に分けて配置した発話区間バーを画面の端に表示し、テキストボックスについては特に分けずに縦方向１列に配置し、顧客の文字列とオペレータの文字列とをより近接した位置で表示する。この場合、管理者は、両者の間の会話の流れをより短時間で確認することができる。但し、この場合には、会話表示画面は、話者が区別されるよう、テキストボックスを対応する音声バーに結び付けて表示するだけでなく、テキストボックスの色や配置等の表示形態を、顧客とオペレータとの間で異ならせることが望ましい。

また、会話表示画面は、顧客の情報のみまたはオペレータの情報のみを表示してもよい。更に、会話表示画面は、顧客の情報とオペレータの情報とを、切り換えて表示しても良い。

また、会話表示画面における時間軸の方向と文字列の配列方向とは、必ずしも直交していなくても良い。時間軸の方向と文字列の配列方向とが一致していなければ、一致している従来技術に比べて、文字列を一画面に表示させ易くなり、画面の利用効率を向上させることができる。また、時間軸は、必ずしも縦方向でなくても良い。

また、会話表示画面は、音声認識結果のスコア（信頼度）に応じて、文字列の表示状態（例えば色や大きさ）を異ならせても良い。これにより、管理者は、音声認識結果の信頼度を考慮して通話解析を行うことができる。この場合、通話録音・管理装置４００は、例えば、音声認識結果の各所のスコアを、音声認識サーバ５００から取得する必要がある。

また、会話表示画面は、苦情の部分の文字列、テキストボックス、および発話区間バーの少なくとも１つを強調表示しても良い。これにより、管理者は、苦情の発生箇所を素早く見付けることができる。この場合、通話録音・管理装置４００は、例えば、苦情に特有の語句を検索する等して苦情箇所の抽出を行う必要がある。

また、会話表示画面は、顧客の話を遮ってオペレータが話し始める、いわゆる話かぶりが発生した箇所の、文字列、テキストボックス、および発話区間バーの少なくとも１つを強調表示しても良い。この場合、通話録音・管理装置４００は、例えば、顧客の発話区間の途中でオペレータの発話区間が開始する箇所を抽出する必要がある。

また、通話録音・管理装置４００は、音声認識結果のテキスト情報を分析して、発話内容を、発話内容の種別に時系列で分類しても良い。例えば、通話録音・管理装置４００は、各発話区間を、「あいさつ」、「質問」、「回答」、「苦情」、「依頼」等の種別に分類し、種別を示すタグをその発話区間に付加し、会話表示画面に分かり易く表示する。これにより、管理者は、各発話の種別を素早く判断することができる。この場合、通話録音・管理装置４００は、例えば、発話内容の種別毎に作成された語句のリストで、各発話区間に出現する単語を検索し、ヒット数が最も多いリストの種別を取得する等の統計処理を行って、各発話区間の種別を判断する必要がある。

また、通話録音・管理装置４００は、会話表示画面の表示内容や画面イメージを、コピーして別ファイルとして保存したり、印刷しても良い。これにより、音声認識結果の活用の幅が広がると共に、管理者は、通話の解析を更に深めることができる。この場合、コピーや印刷の対象を、文字列のみ、所定の時間範囲のみ、特定の話者のみというように、任意に指定できることが望ましい。

すなわち、会話表示画面の態様は、図３に示す態様に限定されるものではない。以下、本実施の形態の変形例として、会話表示画面の他の態様の例について説明する。

（変形例１）
図４は、本実施の形態の変形例１における会話表示画面の構成を部分的に示す図である。

図４に示すように、変形例１における会話表示画面８００ａは、通話状況表示部８３０ａに、音声波形８３１の音圧０を基準として、縦方向に伸びた複数の目盛り線８３６ａを横方向に並べて表示する。

これにより、管理者は、音声の音量の変化を把握し易くなる。また、管理者は、音量を定量的に把握し易くなるので、「声が大きすぎる部分」や「声が小さすぎる部分」の定量的な抽出を、容易に行うことができる。例えば、管理者は、音圧０の位置から両側２本目の目盛り線８３６ａを音声波形８３１がはみ出している部分を探すことにより、音量が所定の値を超えた部分を容易にピックアップすることができる。

（変形例２）
図５は、本実施の形態の変形例２における会話表示画面の構成を示す図である。

図５に示すように、変形例２における会話表示画面８００ｂは、通話状況表示部８３０ｂにおける顧客の情報とオペレータの情報とを、異なる形態で表示する。具体的には、会話表示画面８００ｂは、顧客の音声波形８３１ｂ−１とオペレータの音声波形８３１ｂ−２とを異なる色で表示し、顧客のテキストボックス８３４ｂ−１とオペレータのテキストボックス８３４ｂ−２とを異なる色で表示する。また、これにより、管理者は、情報を話者毎に区別して把握することがより一層容易となる。

また、会話表示画面８００ｂは、ツールバー表示部８５０に、先頭の発話区間への移動、前の発話区間への移動、次の発話区間への移動、末尾の発話区間への移動、および繰り返し再生の各操作のための制御用アイコンを更に表示する。会話表示画面８００は、これらの制御用アイコンがクリックされると、該当する発話区間の開始位置へ再生位置を移動させるとともに、該当する発話区間のテキストボックス８３４ｂをアクティブにする。

なお、会話表示画面８００ｂは、顧客の情報とオペレータの情報との間で、線種や字体を異ならせても良い。また、会話表示画面８００ｂは、音量の大きさや、表示される文字列に特定の語句が含まれるか否か等に応じて、通話状況表示部８３０ｂにおける表示形態を変化させてもよい。例えば、会話表示画面８００ｂは、音量が一定レベルを超えている箇所の、テキストボックス８３４ｂや文字列を強調表示する。これにより、管理者は、顧客またはオペレータの語気が荒くなっている箇所等を容易に見付けることができる。

（変形例３）
図６は、本実施の形態の変形例３における会話表示画面の構成を示す図である。

図６に示すように、変形例３における会話表示画面８００ｃは、通話状況表示部８３０ｃにおいて、音声データの音声波形ではなく、音声スペクトログラム８３７ｃ−１、８３７ｃ−２を表示する。

音声スペクトログラムは、各周波数領域のパワーを濃淡表示させて視覚的に判りやすく表示したグラフであり、声紋とも呼ばれる。音声スペクトログラムからは、音声波形には現れ難い声の特徴を読み取ることが可能である。管理者は、訓練次第で、音声スペクトログラムから、声の高さ、発声者の性別、子音や母音等の音素記号、話者の感情等を読み取り、音声波形のみでは困難な種類の通話解析を行うことが可能となる。なお、会話表示画面８００ｃは、音声波形８３１と音声スペクトログラム８３７ｃとを切り換えて表示しても良い。この場合には、より多面的に通話解析を行うことができる。

（変形例４）
図７は、本実施の形態の変形例４における会話表示画面の構成を部分的に示す図である。

図７に示すように、変形例４における会話表示画面８００ｄは、通話状況表示部８３０ｄにおいて、発話区間を示す情報として、発話区間バーを用いず、テキストボックス８３４ｄを用いる。具体的には、会話表示画面８００ｄは、音声波形８３１上の発話区間に対応する位置に、テキストボックス８３４ｄを表示する。これにより、画面の簡素化を図ることができる。また、管理者は、音声波形８３１と文字列との対応関係をより一層容易に把握することができる。

（変形例５）
図８は、本実施の形態の変形例５における会話表示画面の構成を部分的に示す図である。

図８に示すように、変形例５における会話表示画面８００ｅは、通話状況表示部８３０ｅにおいて、発話区間バー８３３ｅを、通話状況表示部８３０の中央ではなく、音声波形８３１上に配置する。これにより、発話区間バー８３３ｅの表示に用いていた領域を他の情報表示に割り当てることができ、画面を有効活用することができる。また、管理者は、発話区間と音声波形８３１との対応関係をより一層容易に把握することができる。

更に、図８に示すように、会話表示画面８００ｅは、変形例４と同様に音声波形８３１上の対応位置に、テキストボックス８３４ｄを表示しても良い。管理者は、音声波形８３１と発話区間と文字列との対応関係をより一層容易に把握することができる。

（変形例６）
図９は、本実施の形態の変形例６における会話表示画面の構成を示す図である。

図９に示すように、変形例６における会話表示画面８００ｆは、全体像表示部８２０ｆを、通話状況表示部８３０ｆの中央に表示する。そして、会話表示画面８００ｆは、音声波形の全体図８２１を上下方向に引き伸ばして表示し、全体像表示部８２０ｆを全体像表示部８２０ｆの表示範囲マーカ８２２ｆに結び付けて表示する。

これにより、情報と操作対象を画面の中央にまとまって配置することができ、画面の視認性および操作性を向上させることができる。また、管理者は、全体像表示部８２０ｆの表示範囲の通話全体における位置を直感的に把握し易くなる。

本発明に係る音声認識結果管理装置および音声認識結果表示方法は、通話内容の確認を簡単に行うことができる音声認識結果管理装置および音声認識結果表示方法として有用である。

１００ コールセンターシステム
２００ 顧客端末
３００ オペレータ端末
４００ 通話録音・管理装置
４１０ 音声データ入力部
４２０ 特徴抽出部
４３０ 画面生成部
４３１ データ記憶部
４４０ 画面出力部
４５０ 操作受付部
４６０ 音声出力部
４７０ ファイル出力部
５００ 音声認識サーバ
７００ 通信網
８００、８００ａ〜８００ｆ 会話表示画面
８１０ 通話情報表示部
８２０、８２０ｆ 全体像表示部
８２１、８２１ｆ 音声波形の全体図
８２２、８２２ｆ 表示範囲マーカ
８３０、８３０ａ、８３０ｂ、８３０ｃ、８３０ｄ、８３０ｅ、８３０ｆ 通話状況表示部
８３１、８３１ｂ 音声波形
８３２ 時間軸
８３３、８３３ｅ 発話区間バー
８３４、８３４ｂ、８３４ｄ テキストボックス
８３５ 再生位置マーカ
８３６ａ 目盛り線
８３７ｃ 音声スペクトログラム
８４０ 表示状態変更部
８４１ ズームバー
８４２ 要約バー
８５０ ツールバー表示部
８６０ 検索バー

Claims (13)

1. 会話の音声データに対する音声認識処理の結果を管理する音声認識結果管理装置であって、
   前記音声認識処理の結果である文字列を、話者毎に区別しかつ発話タイミングの順序で表示する会話表示画面を生成する画面生成部と、
   前記画面生成部が生成した前記会話表示画面を出力する画面出力部と、を有し、
   前記会話表示画面は、
   前記話者毎に、発話区間を示す情報と、前記発話区間以外の区間である無音区間を示す情報とを、同一の時間軸に沿って表示し、前記文字列を、前記発話区間を示す情報と対応付けるとともに前記時間軸の方向と前記文字列の配列方向とを一致させずに表示する、
   音声認識結果管理装置。
2. 前記会話表示画面は、
   前記発話区間を示す情報および前記無音区間を示す情報と前記文字列とを、前記時間軸の方向と前記文字列の配列方向とを直交させて表示する、
   請求項１記載の音声認識結果管理装置。
3. 前記時間軸の方向は、縦方向である、
   請求項１記載の音声認識結果管理装置。
4. 前記会話表示画面は、
   前記話者毎に、前記話者の語気の状態を示す情報を、前記発話区間を示す情報と対応付けて表示する、
   請求項１に記載の音声認識結果管理装置。
5. 前記語気の状態を示す情報は、前記時間軸に沿って配置される前記音声データの音声波形を含む、
   請求項４記載の音声認識結果管理装置。
6. 前記語気を示す情報は、前記文字列を強調する情報を含む、
   請求項４記載の音声認識結果管理装置。
7. 前記画面出力部は、前記会話表示画面を表示し、
   前記会話表示画面に表示される前記文字列のそれぞれに対応して、前記文字列に対する編集操作を受け付ける制御用アイコンを含む操作受付部、を更に有する、
   請求項１記載の音声認識結果管理装置。
8. 前記画面出力部は、前記会話表示画面を表示し、
   前記会話表示画面に対する縦方向のスクロール操作を受け付ける操作受付部、を更に有する、
   請求項３記載の音声認識結果管理装置。
9. 前記画面出力部は、前記会話表示画面を表示し、
   前記会話表示画面に一時に表示される範囲の時間幅に対する変更操作を受け付ける操作受付部と、を更に有し、
   前記画面生成部は、
   前記時間幅に応じた要約レベルで要約された前記文字列を生成し、前記会話表示画面に表示させる、
   請求項１記載の音声認識結果管理装置。
10. 前記画面出力部は、前記会話表示画面を表示し、
    前記音声データを再生する音声再生部と、
    前記音声データの再生箇所の指定と、再生の開始および停止とを受け付ける操作受付部と、を更に有し、
    前記会話表示画面は、前記音声データの再生中に再生箇所を示す、
    請求項１記載の音声認識結果管理装置。
11. 前記画面出力部は、前記会話表示画面を表示し、
    前記会話は、二人の話者の会話であり、
    前記会話表示画面は、前記二人の話者の音声波形を左右に分けて表示し、
    前記二人の話者の音声データを、前記音声波形の表示の左右方向に対応する方向で、左右に分けて再生する音声再生部、を更に有する、
    請求項３記載の音声認識結果管理装置。
12. 前記会話表示画面は、
    前記発話区間毎に、前記発話区間の発話内容の種別を示す情報を、前記発話区間と対応付けて表示する、
    請求項１に記載の音声認識結果管理装置。
13. 会話の音声データに対する音声認識処理の結果を表示する音声認識結果表示方法であって、
    前記音声認識処理の結果である文字列を、話者毎に区別しかつ発話タイミングの順序で表示する会話表示画面を生成する工程と、
    生成した前記会話表示画面を出力する工程と、を有し、
    前記会話表示画面は、
    前記話者毎に、発話区間を示す情報と、前記発話区間以外の区間である無音区間を示す情報とを、同一の時間軸に沿って表示し、前記文字列を、前記発話区間を示す情報と対応付けるとともに前記時間軸の方向と前記文字列の配列方向とを一致させずに表示する、
    音声認識結果表示方法。