JP5144836B2 - 語音聴取の評価システム、その方法およびそのプログラム - Google Patents

Description

本発明は、ユーザが語音を快適に聴取できたか否かを評価するための技術に関する。より具体的には、本発明は、補聴器等において、音の周波数ごとの増幅量を調整して個々のユーザにとって適切な大きさの音を得る「フィッティング」のための、語音聴取時の快適性の程度を評価する語音聴取の快適性評価システムに関する。

近年、社会の高齢化に伴い、老人性の難聴者が増加している。若年者においても、大音量の音楽を長時間聴く機会が増えたなどの影響により、音響性の難聴者が増加している。また、補聴器の小型化・高性能化に伴い、補聴器の装用に対するユーザの抵抗が少なくなってきている。これらを背景として、会話の聞き分け能力の向上を目的に、日常的に補聴器を装用するユーザが増加している。

補聴器は、ユーザが聞きとりにくい音を構成する種々の周波数のうち、特定周波数の信号の振幅を増幅させることにより、ユーザの低下した聴力を補うための装置である。ユーザが補聴器に求める音の増幅量は、ユーザごとの聴力低下の度合いに応じて異なる。そのため、補聴器の利用を開始する前には、まずユーザごとの聴力に合わせて音の増幅量を調整する「フィッティング」が必須である。

フィッティングは、補聴器の周波数ごとの出力音圧（音として知覚され得る、大気の圧力変動）をＭＣＬ（ｍｏｓｔ ｃｏｍｆｏｒｔａｂｌｅ ｌｅｖｅｌ：ユーザが快適に感じる音圧レベル）にすることを目指して行われる。このとき、（１）増幅量不足、または、（２）増幅量過多のいずれかの場合には、フィッティングが適切であるとは言えない。たとえば、増幅量不足の場合、音声が聞き分けられず、補聴器装用の目的が達成できないためである。また、増幅量過多の場合、音声の聞き分けはできるがユーザがうるさく感じ長時間使用できないという問題が発生するためである。そのため、上記（１）または（２）のいずれにも該当しないよう、フィッティングを行う必要がある。

フィッティングの最初の手順は、オージオグラムの測定である。「オージオグラム」とは、聴取可能な純音の最小音圧である閾値を評価した結果である。たとえば、複数の周波数の音のそれぞれについて、そのユーザが聞き取ることが可能な最も小さい音圧レベル（デシベル値）を周波数（たとえば２５０Ｈｚ、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚ）に応じてプロットした図である。

次に、オージオグラムの結果から周波数ごとの増幅量を推定するための関数であるフィッティング理論に基づき、周波数ごとの増幅量を決定する。

しかしながら、オージオグラムとフィッティング理論に基づく調整のみでは、会話の聞き分け明瞭度を向上させる最適なフィッティングが実現されたかどうかは分からない。その理由として、たとえばオージオグラムと会話の聞き分け能力とが一対一対応しないこと、難聴者は適切な大きさに感じる音圧の範囲が狭いため調整が難しいことなどが挙げられる。

そこで、上記の方法で決定・調整された補聴器を装用して、補聴器適合検査が実施される（たとえば、非特許文献1参照）。補聴器適合検査の必須検査項目には、（１）語音明瞭度曲線の測定、（２）環境騒音許容レベルの測定の２種類がある。

語音明瞭度曲線の測定では、補聴器装用時と補聴器非装用時（裸耳）において、５５ｄＢ ＳＰＬ（Ｓｏｕｎｄ ｐｒｅｓｓｕｒｅ ｌｅｖｅｌ）、６５ｄＢ ＳＰＬ、７５ｄＢ ＳＰＬおよび８５ｄＢ ＳＰＬの音圧で単音節の語音音声を呈示し、それぞれの音圧レベルごとの語音明瞭度をプロットし比較する。そして、非装用時の場合と比較して装用時において明瞭度が向上していれば適合と判定する。

この「語音明瞭度」とは、単音節の語音音声が聞き取れたか否かの程度をいう。語音明瞭度は、会話時の聞き分けの程度を反映する。「単音節の語音」とは、一つの母音、または子音と母音との組合せを示す（たとえば「あ」／「だ」／「し」）。

語音明瞭度は、以下の手順で評価する（たとえば非特許文献２）。まず、日本聴覚医学会が制定した６７Ｓ式語表（２０語音）の音声をひとつずつ再生し、ユーザに聞かせる。次に、呈示された語音をどの語音として聞き取ったかをユーザに発話または書き取りなどの方法で回答させる。そして、評価者が呈示した語音と回答とを照合し、全２０語音のうち正しく聞き取れた語音の割合である正解率を計算する。その正解率が語音明瞭度である。

語音明瞭度の評価方法に関して、従来から種々の技術が公開されている。たとえば、特許文献１には、パーソナルコンピュータ（ＰＣ）を用いて自動的に正誤判定を行う語音明瞭度評価方法が開示されている。特許文献１では、ＰＣを用いてユーザに対して単音節の音声を呈示し、ユーザにマウスまたはペンタッチ（touch the pen to the display）により回答させ、回答をＰＣの入力として受け付け、呈示した音声と回答入力との正誤判定を自動的に行う方法が提案されている。マウスまたはペンタッチで回答入力を受けることで、ユーザの回答（発話または書き取り）を評価者が識別／解読する必要がなくなり、評価者の手間が削減される。

また、たとえば特許文献２には、音声呈示後に該当する語音の選択候補を文字で呈示する語音明瞭度評価方法が開示されている。特許文献２では、選択候補を数個に絞り、数個の文字の中から該当する語音を選択させることでユーザが文字を探す手間を低減している。

一方、環境騒音許容レベルの測定では、朗読音と環境騒音を同時に呈示し朗読音を聴取させた場合に、環境騒音が許容できるかどうかを評価する（非特許文献２）。具体的には、朗読音を６５ｄＢ ＳＰＬで、環境騒音を５５ｄＢ ＳＰＬで呈示し、環境騒音が許容できるかどうかに関する主観的な印象を報告させる。主観的な印象として、雑音下で朗読音を聴取するときに補聴器を使用できる、または雑音下での補聴器装用は困難である、のどちらかを報告させる。そして、前者の場合を適合、後者の場合を不適合と判定する。

特開平９−０３８０６９号公報 特開平６−１１４０３８号公報

細井裕司他、「補聴器適合検査の指針２００８」、２００８年 小寺一興、「補聴器フィッティングの考え方」、診断と治療社、１９９９年、１６６頁

しかしながら、上述の補聴器適合検査のうち、語音明瞭度曲線の測定では、語音明瞭度のみに基づいて適合状態が判定されており、語音聴取が快適であったか否かは考慮されていなかった。そのため、語音聴取時の快適性が低い場合にも、非装用時と比較して補聴器装用時において明瞭度が高ければ、適した補聴処理であると評価された。また、環境騒音許容レベルの測定では、環境騒音が許容できるか否かが評価され、語音聴取そのものの快適性に関する評価はされなかった。これらの評価では、語音聴取の快適性が低いため聞いていて疲れやすい補聴処理であっても、適合していると判定してしまう場合があった。快適性の低さは、補聴器を日常的に装用するユーザにとって負担である。

本発明の目的は、語音聴取の快適性に関するユーザ状態を評価する、語音聴取の快適性評価システムを実現することである。

本発明による語音聴取の評価システムは、ユーザの脳波信号を計測する生体信号計測部と、単音節の語音を複数保持している語音データベースを参照して、呈示する単音節の語音を決定する呈示語音決定部と、決定された語音を、前記ユーザに聴覚的刺激として順次呈示する出力部と、前記語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定し、判定結果に応じて、前記ユーザが前記語音を努力して聞いているか否かの評価結果を出力する陽性成分判定部と、前記語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定し、判定結果に応じて、前記ユーザが前記語音をうるさいと感じているか否かの評価結果を出力する陰性成分判定部とを備えている。

前記評価システムは、前記脳波信号の事象関連電位を加算平均する事象関連電位処理部をさらに備え、前記事象関連電位処理部は、前記語音が語音の種類および呈示されたときの音圧レベルの少なくとも一つに基づいて分類されるときにおいて、同じ分類に属する語音が呈示されたときに得られる前記脳波信号の事象関連電位を加算平均してもよい。

前記陽性成分判定部は、各語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位の区間平均電位が予め定められた第１閾値以上の場合に陽性成分が存在すると判定し、前記区間平均電位が前記第１閾値よりも小さい場合には陽性成分が存在しないと判定してもよい。

前記陽性成分判定部は、前記陽性成分が存在すると判定した場合、前記ユーザが前記語音を努力して聞いているという評価結果を出力し、前記陽性成分が存在しないと判定した場合には、前記ユーザが前記語音を努力せずに聞いているという評価結果を出力してもよい。

前記陰性成分判定部は、各語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に存在する陰性成分のピークが、予め定められた第２閾値よりも短い場合には陰性成分が存在すると判定し、前記陰性成分のピークが前記第２閾値以上の場合には陰性成分は存在しないと判定してもよい。

前記陰性成分判定部は、前記陰性成分が存在すると判定した場合、前記ユーザが前記語音をうるさいと感じているという評価結果を出力し、前記陰性成分が存在しないと判定した場合、前記ユーザが前記語音をうるさいと感じていないという評価結果を出力してもよい。

前記語音データベースには、複数の語音の各々について、音声、子音情報および異聴発生確率に関するグループが対応付けて記憶されていてもよい。

前記評価システムは、前記陽性成分判定部および前記陰性成分判定部の判定結果を蓄積する結果蓄積データベースをさらに備え、前記結果蓄積データベースは、少なくとも１つの音圧レベルに関して、前記陽性成分判定部によって陽性成分なしと判定された語音、子音、または、前記異聴発生確率に関するグループの割合、および、前記陰性成分判定部によって陰性成分なしと判定された語音、子音、または、前記異聴発生確率に関するグループの割合を算出し、算出結果を利用して評価結果を生成してもよい。

前記結果蓄積データベースには、語音ごと、子音ごと、または、前記異聴発生確率に関するグループごとに、前記ユーザが前記語音を努力して聞いているか否か、および前記ユーザが前記語音をうるさいと感じているか否かを評価するための情報が蓄積されていてもよい。

前記結果蓄積データベースは、語音ごと、音圧レベルごとに、前記ユーザが前記語音を努力して聞いているか否か、および前記ユーザが前記語音をうるさいと感じているか否かを評価するための情報を蓄積してもよい。

前記呈示語音決定部は、呈示音声の音圧レベルを決定してもよい。

前記評価システムは、前記呈示語音決定部によって決定され、呈示される前記語音に関して補聴処理の種類を選択し、選択された補聴処理に基づいて前記語音データベースに保持されている語音データを加工する補聴処理部をさらに備えていてもよい。

前記評価システムは、前記陽性成分判定部および前記陰性成分判定部の判定結果を蓄積する結果蓄積データベースをさらに備え、前記結果蓄積データベースには、語音ごと、補聴処理ごとに、前記ユーザが前記語音を努力して聞いているか否か、および前記ユーザが前記語音をうるさいと感じているか否かを評価するための情報が蓄積されていてもよい。

本発明による語音聴取の評価装置は、単音節の語音を複数保持している語音データベースを参照して、出力部からユーザに聴覚的刺激として順次呈示する単音節の語音を決定する呈示語音決定部と、前記ユーザの脳波信号を計測する生体信号計測部がおいて計測した脳波信号において、前記語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定する陽性成分判定部と、前記ユーザの脳波信号を計測する生体信号計測部がおいて計測した前記語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定する陰性成分判定部とを備えている。

本発明による語音聴取の評価方法は、ユーザの脳波信号を計測するステップと、単音節の語音を複数保持している語音データベースを参照して、呈示する単音節の語音を決定するステップと、決定された語音を、前記ユーザに聴覚的刺激として順次呈示するステップと、前記語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定するステップと、判定結果に応じて前記ユーザが前記語音聴取を努力して聞いているか否かの評価結果を出力するステップと、前記語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定するステップと、判定結果に応じて、前記ユーザが前記語音をうるさいと感じているか否かの評価結果を出力するステップとを包含する。

本発明によるコンピュータプログラムは、語音明瞭度評価システムに設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記語音明瞭度評価システムに実装されるコンピュータに対し、計測されたユーザの脳波信号を受け取るステップと、単音節の語音を複数保持している語音データベースを参照して、呈示する単音節の語音を決定するステップと、決定された語音を、前記ユーザに聴覚的刺激として順次呈示するステップと、前記語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定するステップと、判定結果に応じて、前記ユーザが前記語音を努力して聞いているか否かの評価結果を出力するステップと、前記語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定するステップと、判定結果に応じて、前記ユーザが前記語音をうるさいと感じているか否かの評価結果を出力するステップとを実行させる。

本発明によれば、音声呈示後のユーザ脳波の潜時約７５０ｍｓの陽性成分と潜時約２００ｍｓの陰性成分の有無に応じて、語音聴取に対してどれくらい努力したか（努力性）と、語音をどれくらいうるさいと感じたか（うるささ）を判定し、語音聴取の快適性とする。そして、語音がどれくらい聞き分けられたかを示す明瞭度の軸に加えて、語音聴取の快適性の軸で補聴処理の評価を実現する。努力性・うるささを要素とした快適性評価により、ユーザは、快適性が高く（努力が不要でうるささを感じない）、長時間にわたって補聴器を装用しても疲れにくい補聴処理を選択できるようになる。

脳波計測実験の実験手順の概要を示す図である。 １ブロック分の手順を示すフローチャートである。 （ａ）は音声と歪みの６条件の分類を示す図であり、（ｂ）は周波数ごとのゲイン調整量を示す図である。 （ａ）は国際１０−２０法（１０−２０ System）の電極位置を示す図であり、（ｂ）は本実験で電極を装着した電極配置を示す図である。 努力性に関する参加者ごとの主観評価の結果を示す図である。 うるささに関する参加者ごとの主観評価の結果を示す図である。 （ａ）は、頭頂部（Ｐｚ）における音声呈示を起点とした事象関連電位を、上述の方法でラベル付けした努力性高／努力性低ごとに総加算平均した波形を示す図であり、（ｂ）は、サンプリングごとｔ検定の結果のｐ値のプロット図である。 頭頂部（Ｐｚ）において音声刺激を起点とした事象関連電位をラベル付けした「うるさい」／「うるさくない」の基準によって分けて総加算平均した波形を示す図である。 （ａ）は、本願発明者らによってまとめられた、陽性成分／陰性成分の有無と、努力性／うるささ判定との対応関係を示す図であり、（ｂ）は、陽性成分および陰性成分の有無と、補聴処理の評価との対応関係を示す図である。 本実施形態による快適性評価システム１００の構成および利用環境を示す図である。 実施形態１による語音聴取の快適性評価装置１のハードウェア構成を示す図である。 実施形態１による快適性評価システム１００の機能ブロックの構成を示す図である。 ６７Ｓ式語表の２０語音を検査語音として用いる場合の語音ＤＢ７１の例を示す図である。 結果蓄積ＤＢ８０におけるデータ蓄積の例を示す図である。 （ａ）〜（ｃ）は、語音明瞭度曲線の測定結果（従来評価）と、従来評価に加えて実施形態１による語音聴取の快適性評価結果の例を示す図である。 快適性評価システム１００において行われる処理の手順を示すフローチャートである。 単音節の単語ごとに努力性とうるささを評価した結果の一例を示す図である。 実施形態２による快適性評価システム２００の機能ブロックの構成を示す図である。 （ａ）および（ｂ）は、結果蓄積ＤＢ８５におけるデータ蓄積の例を示す図である。 実施形態２による語音明瞭度システム２００の処理手順を示すフローチャートである。 ある音圧レベルで語音を呈示した場合の、従来の語音明瞭度評価の結果と、それに実施形態２における快適性評価の結果を加えた場合の結果を、概念的に示す図である。 実施形態３による快適性評価システム３００の機能ブロックの構成を示す頭である。 実施形態３による語音明瞭度システム３００の処理手順を示すフローチャートである。

以下、添付の図面を参照して、本発明による語音聴取の快適性評価システム（以下「快適性評価システム」と記述する。）の実施形態を説明する。

本発明による快適性評価システムは、語音聴取時のユーザ状態として、脳波を利用してユーザがどの程度快適に語音を聴取したか、を評価するために用いられる。より具体的には、本システムは、単音節の語音を音声で呈示し、ユーザに音声を聞き分けさせる設定で、音声呈示を起点として計測したユーザ脳波の事象関連電位を指標に、語音聴取の快適性を評価する。なお、本明細書において、「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。また、「音声を呈示する」とは、聴覚刺激（「音声刺激」ともいう。）を出力すること、たとえば音声をスピーカから出力することをいう。なお、スピーカの種類は任意であり、床やスタンド上に設置されたスピーカでもよいし、ヘッドフォン型のスピーカでもよい。ただしスピーカは、正しく評価を行うために指定した音圧で正確に出力できる必要がある。

本願発明者らは、語音聴取の快適性は、（１）どれだけ努力して語音を聞き分けたかを示す“努力性”と、（２）語音をどれだけうるさいと感じたかを示す“うるささ”の２つで定義されるとの考えに想到した。これは、語音明瞭度評価および評価時のユーザ状態を詳細に分析した結果、初めて得られたものである。以下で、具体的に説明する。

語音明瞭度評価では、語音ごとに音声を聞き分けられたかどうかを○／×で評価し、聞き分けられた語音の数を評価対象の語音数（６７Ｓ式語表の場合は２０）で割って求める。そのため、語音聴取時のユーザ状態は結果に反映されない。

しかしながら、実際には快適に聞き分けができた場合と、聞き分けはできたが不快であった場合が存在すると考えられる。語音明瞭度評価は、補聴器販売店において実施される短時間の評価である。そのため、評価中のユーザは、最大限に努力して語音音声を聞き分けようとする。ユーザがうるさいと感じたかどうかは評価対象ではないため、我慢できないうるささでなければ少しうるさいと感じてもユーザは我慢して評価課題を遂行する。

ところが、日常的に長時間にわたって補聴器を装用する場合には、常に最大限の努力を維持して会話を聞き取ることは困難であり、長時間にわたってうるささを我慢することは、ユーザにとって負担である。

これらの状況に鑑み、本願発明者らは、語音聴取時のユーザ状態として、「努力」あるいは「うるささに対する我慢」が不要な場合と、「努力」あるいは「うるささに対する我慢」が必要な場合は切り分けて評価すべきであると考えた。そして、それらが語音聴取時の快適性の要素であると特定した。努力性およびうるささに関する処理は、それぞれ脳内では全く別の処理であるため、脳波の測定によりそれぞれを切り分けて評価できる可能性がある。

１．実験概要
本願発明者らは、語音聴取の快適性評価の実現を目指し、努力性とうるささとを反映した脳波特徴成分を特定するために以下の実験を実施した。

単音節の語音を音声で呈示し、音声に対応する語音をユーザに思い浮かべさせる設定で、音声呈示を起点に事象関連電位を計測する脳波計測実験を実施した。実験では、語音聴取に対する努力性／うるささに関する主観を測定するために、それらに関する主観報告をさせた。そして、努力性／うるささに関する主観報告に基づき、それぞれ事象関連電位を加算平均した。

その結果、音声呈示を起点とした事象関連電位において、（１）音声聞き分けに対する努力性が高い場合には、低い場合と比べて頭頂部において潜時約７５０ｍｓの陽性成分が惹起されること、（２）上記陽性成分とは独立に音声に対するうるささの増加に伴い潜時約２００ｍｓの陰性成分（Ｎ１成分）の潜時が短くなること、を発見した。「潜時」とは、音声刺激が呈示された時刻を起点として陽性成分または陰性成分のピークが出現するまでの時間を示す。

これらの発見から、（１）音声呈示を起点とした事象関連電位の潜時約７５０ｍｓの陽性成分の有無から語音聴取の努力性の評価が可能であること、（２）潜時約２００ｍｓの陰性成分（Ｎ１成分）の潜時から語音聴取のうるささの評価が可能であることを見出した。本手法により、語音聴取のユーザ状態として、努力していたか／うるさいと感じていたかの評価を、客観的・定量的に実現できる。

以下で、これらをより詳細に説明する。はじめに、語音聴取の快適性評価を実現するために本願発明者らが実施した脳波計測実験について説明する。その後、実施形態としての、語音聴取の快適性を評価する語音聴取の快適性評価装置の概要および語音聴取の快適性評価装置を含む快適性評価システムの構成および動作を説明する。

２．脳波計測実験
脳波計測実験では、音声呈示後に取得した努力性、および、うるささに関する主観報告と、音声を起点とした事象関連電位との関係を調べた。以下、図１から図８を参照しながら、脳波計測実験の実験設定および実験結果を説明する。

実験参加者は、正常な聴力を持つ大学・大学院生１３名であった。

図１は、脳波計測実験の実験手順の概要である。まず、手順Ａにおいて単音節の音声を呈示した。呈示した音声の詳細は後述する。次に手順Ｂにおいて、参加者に音声を聞かせ、聞き取った音声に対応する平仮名を書き取らせた。呈示音声の条件を変えず、語音の種類のみ変化させた。手順ＡとＢを５試行繰り返した。そして手順Ｃにおいて、参加者に手順Ａで呈示された音声に対する、努力性／うるささ等に関する主観評価を行わせた。主観評価はタッチパネルを利用し、ビジュアルアナログスケール（１００段階評価）で行った。上述の手順Ａから手順Ｃを１ブロックとして１２ブロック繰り返した（計６０試行）。ブロックごとに呈示音声の音圧と歪みの条件は、ランダムな順序で変化させた。

図２は、１ブロック分の手順を示すフローチャートである。

ステップＳ１１では単音節の音声が実験参加者に呈示される。

ステップＳ１２では参加者は単音節の音声を聞いて対応する文字を思い浮かべる。

ステップＳ１３では、参加者は聞き取った音声に対する文字を書き取る。

ステップＳ１４では、音声が呈示された回数がカウントされる。呈示回数が４回まではＳ１１に戻る。呈示回数が５回のときＳ１５に進み、呈示回数をリセットする。

ステップＳ１５では参加者はステップＳ１１で聞き取った音声に対して主観を回答する。

刺激として呈示した語音音声は、聞き取り間違いが多いとされる無声子音の中から日本聴覚医学会が制定した６７S式語表の８音（シ、ス、キ、ク、タ、テ、ト、ハ）とした。正常な聴力を有する参加者に対して、快適性の要素である努力性とうるささを操作するために、周波数ゲインを調整した語音音声を用いた。「周波数ゲイン」とは、複数の周波数帯域ごとのゲイン（回路の利得、増幅率）を意味する。

周波数ゲインの調整には、音圧３種類（大：Large、中：Middle、小：Small）×歪み２種類（なし：Flat、あり：Distorted）の計６条件を設定した。具体的には以下の（１）〜（６）のとおりである。本明細書では、たとえば、音圧大・歪みなしはLargeとFlatの頭文字を取り、ＬＦ条件などと呼ぶ。

（１）ＬＦ（Ｌａｒｇｅ Ｆｌａｔ）条件：音圧は大きく聞き分け易い音声として全ての周波数帯域においてゲインを２０ｄＢ向上させた。（２）ＬＤ（Ｌａｒｇｅ Ｄｉｓｔｏｒｔｅｄ）条件：音圧は大きいが聞き分けが難しい音声としてＭＤ条件をベースに全体的に２０ｄＢ向上させた。（３）ＭＦ（Ｍｉｄｄｌｅ Ｆｌａｔ）条件：音圧が大きく聞き分けやすい音声として周波数ゲインの加工をしなかった。（４）ＭＤ（Ｍｉｄｄｌｅ Ｄｉｓｔｏｒｔｅｄ）条件：聞き分けが難しい音声としてＬＦ条件の音声を２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−３０ｄＢまで調整（低減）した。（５）ＳＦ（Ｓｍａｌｌ Ｆｌａｔ）条件：音圧は小さいが聞き分け易い音声として全ての周波数帯域においてゲインを２０ｄＢ下げた。（６）ＳＤ（Ｓｍａｌｌ Ｄｉｓｔｏｒｔｅｄ）条件：音圧が小さく聞き分けが難しい音声としてＭＤ条件をベースに全体的に２０ｄＢ下げた。

図３（ａ）は、音声と歪みの６条件の分類を示す。また、図３（ｂ）は、周波数ごとのゲイン調整量を示す。高周波数帯の周波数ゲインを低減させた理由は、高齢難聴の典型的なパターンである高音漸傾型を模擬するためである。音声刺激は、周波数特性がフラットなスピーカから呈示した。

脳波は頭皮上のＦｚ、Ｃｚ、Ｐｚ、Ｃ３、Ｃ４（国際１０−２０法）、左右こめかみ、右目上下から右マストイドを基準に記録した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。図４（ａ）は、国際１０−２０法（１０−２０ System）
の電極位置を示し、図４（ｂ）は本実験で電極を装着した電極配置を示す。サンプリング周波数は２００Ｈｚ、時定数は１秒とした。オフラインで０．０５−６Ｈｚのディジタルバンドパスフィルタをかけた。音声呈示に対する事象関連電位として、音声が呈示された時刻を起点に−２００ｍｓから１０００ｍｓの波形を切り出した。ここで、「−２００ミリ秒」とは、音声を呈示する時刻より２００ミリ秒前の時点をいう。

以下、主観評価結果の分布と閾値の設定を説明する。

まず、主観評価の結果を示す。主観評価結果に基づき、後述の方法で決定した参加者ごとに閾値に基づいて、努力性／うるささの有無のラベル付けを行った。以下では、その主観評価のラベルを語音聴取時のユーザ状態とする。

図５は、努力性に関する参加者ごとの主観評価の結果である。図５には全試行に対する割合が示されている。図５中の実線は主観評価結果の分布であり、破線は主観評価（努力性高／努力性低）を分割した閾値を示す。主観評価の個人差が大きいため、閾値は個人ごとの評価結果（ビジュアルアナログスケールの１〜１００）の順位に基づいて決定した。具体的には、個人内での評価結果の順位が中央になる値を閾値とした。ただし、評価結果が同じものは同じ主観評価として扱った。

図６は、うるささに関する参加者ごとの主観評価の結果である。図６には全試行に対する割合が示されている。図６中の実線は主観評価結果の分布であり、破線は主観評価（「うるさい」／「うるさくない」）を分割した閾値を示す。努力性と同様、本願発明者らは、閾値を個人ごとの評価結果（ビジュアルアナログスケールの１〜１００）の順位に基づいて決定した。具体的には本願発明者らは、個人内での評価値の順位が、評価値が大きい方から３分の１を「うるさい」、それ以外を「うるさくない」とし、閾値を設定した。ただし、評価結果が同じものは同じ主観評価として扱った。

次に、努力性に関する実験結果を説明する。

以下、事象関連電位の結果を説明する。まず、主観評価の結果によってラベル付けした、努力性高／努力性低に基づいて加算平均した結果を、次に「うるさい」／「うるさくない」の基準に基づいて加算平均した結果を説明する。

図７（ａ）は、頭頂部（Ｐｚ）における音声呈示を起点とした事象関連電位を、上述の方法でラベル付けした努力性高／努力性低ごとに総加算平均した波形である。加算平均は、上記計測実験の全６条件におけるブロックごとの努力性に関する主観評価に基づいて行った。図７（ａ）の横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。図７（ａ）に示されたスケールから明らかなとおり、グラフの下方向が正（陽性）に、上方向が負（陰性）に対応している。図７（ａ）に示される破線は努力性低の場合、実線は努力性高い場合の総加算平均波形である。

図７（ａ）より、語音聴取時の努力性低の場合（破線）に比べて努力性高の場合（実線）では、潜時６００−９００ｍｓの陽性成分の振幅が大きいことが見てとれる。主観評価ごとの６００−９００ｍｓの区間平均電位を見てみると、努力性低の場合は１．９９μＶ、努力性高の場合には２．７３μＶであった。区間平均電位をｔ検定した結果、１０％水準で有意差があった。図７（ｂ）は、サンプリングごとｔ検定の結果のｐ値である。図７（ｂ）より、音声刺激を起点に約６００−９００ｍｓの時間帯において、他の時間帯と比べてｐ値が小さいことが分かる。したがって、語音聴取の努力性は、音声呈示を起点として潜時約６００−９００ｍｓの陽性電位に反映される可能性があるといえる。０ｍｓから１０００ｍｓにおける全てのサンプリングごとにｔ検定を実施した結果、主観評価の違いによる有意差が１５ｍｓ以上持続した時間帯は４２０−４４５ｍｓ、６５５−６７０ｍｓ、７３０−７４５ｍｓ、７７５−８３０ｍｓであった（ｐ ＜ ．０５）。

図８は、頭頂部（Ｐｚ）において音声刺激を起点とした事象関連電位を、上述の方法でラベル付けした「うるさい」／「うるさくない」の基準によって分けて総加算平均した波形である。加算平均は、上記計測実験の全６条件における、ブロックごとのうるささに関する主観評価に基づいて行った。図８の横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。図７（ａ）と同様、図８中に示されたスケールから明らかなとおり、グラフの下方向が正（陽性）に、上方向が負（陰性）に対応している。図８中に示される実線は「うるさい」場合の総加算平均波形であり、破線は、「うるさくない」場合の総加算平均波形である。

図８より、「うるさくない」場合の破線に比べて、「うるさい」場合の実線では、潜時約２００ｍｓに惹起される陰性成分（Ｎ１成分）の潜時が短いことが分かる。参加者ごとのＮ１成分の潜時は「うるさい」場合は１９５ｍｓ、「うるさくない」場合には２４０ｍｓであった。潜時をｔ検定した結果、有意差が認められた（ｐ＜．０５）。また、参加者ごとの潜時２００ｍｓ−３００ｍｓの区間平均電位は、「うるさい」場合は０．１４μＶ、「うるさくない」場合には−１．３８μＶであった。潜時２００ｍｓ−３００ｍｓの区間平均電位をｔ検定した結果、「うるさい」場合の区間平均電位は有意に大きかった（ｐ＜．０５）。よって、音声呈示を起点としたＮ１成分の潜時と、音声呈示を起点として約２００−３００ｍｓの陰性成分の平均電位はうるささを反映し、語音聴取時のうるささの指標として利用できるといえる。０ｍｓ−１０００ｍｓにおける全てのサンプリングごとにｔ検定を実施した結果、主観評価の違いによる有意差が１５ｍｓ以上持続した時間帯は５０−７０ｍｓ、１５５−１７５ｍｓ、２２５−２９０ｍｓ、９２０−９３５ｍｓであった。

３．考察
以上、脳波計測実験により、語音聴取の快適性の要素である努力性とうるささをそれぞれ反映する脳波成分の存在が明らかになった。具体的には、努力性は潜時約７５０ｍｓにピークを持つ陽性電位に、うるささは潜時約２００ｍｓにピークを持つ陰性電位にそれぞれ反映されることを発見した。

陰性成分に関してはこれまでに、純音を刺激として呈示する場合に刺激音の音圧増加に伴ってＮ１成分（潜時約１００ｍｓの陰性成分）の振幅が増大することが報告されている（たとえば、Naatanen, R., & Picton, T. W.（1987）. The N1 wave of the human electric and magnetic response to sound : a review and an analysis of the component structure. Psychophysiology, 24, 375-425.）。

しかしながら、Ｎ１成分の振幅は音圧の他に、刺激音の立ち上がりや持続時間によって変化するため、立ち上がりや周波数、パワーが時間変化する「語音」を刺激として用いた場合の音圧レベルと陰性成分の関係性は明らかでなかった。加えて、音声刺激聴取時のうるささの主観報告（「うるさい」／「うるさくない」）を反映して、Ｎ１成分に差異があることは分からなかった。

よって、語音聴取時のユーザのうるささに関する主観（「うるさい」／「うるさくない」）を反映して潜時約２００ｍｓの陰性成分の振幅が増大するという事実は、本願発明者らが実施した、脳波計測実験によって初めて明らかになったといえる。

上述の頭頂部（Ｐｚ）における潜時約７５０ｍｓの陽性成分（図７）および、うるささに関する主観評価ごとの潜時約２００ｍｓの陰性成分（図８）は、たとえば該当区間のピーク振幅の大きさを閾値処理する方法、典型的な上記成分の波形からテンプレートを作成してそのテンプレートとの類似度を算出する方法等によって識別可能である。なお、閾値・テンプレートはあらかじめ保持した典型的なユーザのものを利用してもよいし、個人ごとに作成してもよい。

また、今回の実験では、音声が呈示された時刻を起点とした事象関連電位に聞き分け自信度やうるささに関する主観を反映した成分が出現することを確認する意味で１３人の参加者のデータを加算平均した。しかし、特徴量抽出の方法（たとえば波形のウェーブレット変換）や識別方法（たとえばサポートベクターマシンラーニング）の工夫により、非加算または数回程度の少数加算でも陽性成分・陰性成分の識別は可能である。

本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時約７５０ｍｓ」と表現している。これは、７５０ｍｓという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に」（加我君孝ほか編集、篠原出版新社、１９９５）の３０頁に記載の表１によると、一般的に、事象関連電位の波形には、個人ごとに３０ｍｓから５０ｍｓの差異（ずれ）が生じる。したがって、「約Ｘｍｓ」や「Ｘｍｓ付近」という語は、Ｘｍｓを中心として３０から５０ｍｓの幅がその前後（例えば、３００ｍｓ±３０ｍｓ、７５０ｍｓ±５０ｍｓ）に存在し得ることを意味している。

なお、上述の「３０ｍｓから５０ｍｓの幅」はＰ３００成分の一般的な個人差の例であるが、上記潜時約７５０ｍｓの陽性成分はＰ３００と比べて潜時が遅いためユーザの個人差がさらに大きく現れる。よって、より広い幅、たとえば前後に各１００ｍｓから１５０ｍｓ程度の幅であるとして取り扱うことが好ましい。よって、本実施形態において、「潜時約７５０ｍｓ」は、６００ｍｓから９００ｍｓの範囲内に存在する潜時を示す。

また、「潜時２００ｍｓ付近」や「潜時約２００ｍｓ」についても、潜時２００ｍｓに対して前後に各３０ｍｓから５０ｍｓの幅を持つとしてもよいし、それよりも若干広い幅、たとえば前後に各５０ｍｓから１００ｍｓの幅を持つとしてもよい。

以上、本願発明者らが実施した脳波計測実験により、音声が呈示された時刻を起点とした事象関連電位において、（１）潜時約７５０ｍｓの陽性成分が語音聴取の努力性を反映すること、（２）潜時約２００ｍｓの陰性成分がうるささを、それぞれ反映することが明らかになった。努力性とうるささは、本願発明者らが特定した語音聴取時に評価すべき快適性の２つの要素である。

ゆえに、音声刺激に対する事象関連電位を指標に評価した努力性とうるささの結果に基づき、それらを合わせて語音聴取の快適性評価が実現可能となる。

図９（ａ）は、本願発明者らによってまとめられた、陽性成分／陰性成分の有無と、努力性／うるささ判定との対応関係を示す。陽性成分の有無に基づいて、陽性成分なしの場合（陽性成分の振幅が閾値より小さい）には努力性が低いと判定し、陽性成分ありの場合（陽性成分の振幅が閾値より大きい）には努力性高いと判定する。また、陰性成分の有無に基づいて、陰性成分なしの場合（陰性成分の潜時が閾値以上に長い）には「うるさくない」と判定し、陰性成分ありの場合（陰性成分の潜時が閾値より短い）には「うるさい」と判定する。

なお、一般的には「陽性成分」とは０μＶよりも大きい電位を意味する。しかしながら、本願明細書において「陽性成分」とは、絶対的に陽性である（０μＶよりも大きい）ことを要しない。本願明細書では、聞き分け自信度が高いか低いかを識別するために「陽性成分」の有無を識別しており、聞き分け自信度の有意な高低を弁別できる限り、区間平均電位等が０μＶ以下であってもよい。

なお、一般的には「陰性成分」とは潜時の長短に関わらず０μＶよりも小さい電位を意味する。しかしながら本願明細書では、「うるさい」と感じたか否かを識別するために、潜時が所定の閾値よりも短い場合を「陰性成分あり」、潜時が所定の閾値よりも長い場合を「陰性成分なし」と定義する。閾値の具体例は後述する。

また、図９（ｂ）は、陽性成分および陰性成分の有無と、補聴処理の評価との対応関係を示す。セル（Ａ）は、陽性成分・陰性成分がともに存在した場合である。この場合には、ゲイン調整した周波数が最適ではない、あるいは周波数ごとのゲイン調整の量が過多であると評価する。セル（Ｂ）は、陽性成分は存在したが、陰性成分は存在しなかった場合である。この場合には、努力により聞き分けが可能だが努力が必要で日常的に補聴器を装用する場合には向かないと評価する。セル（Ｃ）は、陽性成分が存在せず、陰性成分が存在した場合である。この場合には、語音聴取に努力は必要ないが、全体的に増幅しすぎであると評価する。セル（Ｄ）は、陽性成分・陰性成分がともに存在しなかった場合である。この場合には、ユーザが快適に語音を聞き分けることができる、適した補聴処理であると評価する。

このように、陽性成分と陰性成分の有無に基づき、努力性とうるささを判定し、語音聴取の快適性を評価することで、同じ明瞭度であっても、ユーザが語音聴取時に努力が必要であるのか、「うるさい」と感じているのかが判定できる。そこで、たとえば、結果がセル（Ｂ）に該当する場合にはゲイン調整量を全体的に上げ、また結果がセル（Ｃ）に該当する場合にはゲイン調整量を全体的に下げる、のように語音聴取の快適性を向上させるための具体的なフィッティング手順への落とし込みを実現できる。

以下、本発明の実施形態にかかる快適性評価システムを説明する。快適性評価システムは、単音節の語音を音声で順次呈示し、音声が呈示された時刻を起点とした事象関連電位の潜時約７５０ｍｓの陽性成分と潜時約２００ｍｓの陰性成分の有無に基づいて、語音聴取の努力性とうるささを判定し、快適性評価を実現する。これは本願発明者らの発見に基づき初めて実現される。

４．実施形態１
以下では、まず、快適性評価システムの概要を説明する。その後、語音聴取の快適性評価装置を含む快適性評価システムの構成および動作を説明する。

本実施形態による快適性評価システムは、音声を順次呈示し音声呈示時刻の各々を起点に事象関連電位を計測する。そして、潜時約７５０ｍｓの陽性成分と、潜時約２００ｍｓの陰性成分とを検出し、語音聴取の快適性の要素である努力性とうるささとをそれぞれ判定する。

本実施形態においては、探査電極を頭頂部（Ｐｚ）に設け、基準電極を左右どちらかのマストイドに設けて、探査電極と基準電極の電位差である脳波を計測した。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定の仕方に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って事象関連電位の特徴成分を検出し、語音明瞭度の評価を行うことが可能である。そのような改変例は、本発明の範疇である。

上記脳波計測実験の説明においては、実験的に正常な聴力を有する参加者に対して周波数ゲインの強弱を変化させて、難聴者の聞こえの状況に近い状況を再現した。しかしながら、難聴者に対して評価を実施する場合には聞き分けにくい語音をあえて呈示する必要はない。本実施形態では、あらかじめ測定した難聴者のオージオグラムからフィッティング手法に基づいて、周波数ごとのゲインが最適に調整された音声を呈示することを前提とする。

図１０は、本実施形態による快適性評価システム１００の構成および利用環境を示す。この快適性評価システム１００は後述する実施形態１のシステム構成に対応させて例示している。なお、「快適性評価システム」は「語音聴取の評価システム」とも呼ばれることがある。続く実施形態２および３においても同様である。

快適性評価システム１００は、語音聴取の快適性評価装置１と、音声出力部１１と、生体信号計測部５０とを備えている。生体信号計測部５０は少なくとも２つの電極ＡおよびＢと接続されている。電極Ａはユーザ５のマストイドに貼り付けられ、電極Ｂはユーザ５の頭頂部（いわゆるＰｚ）の頭皮上に貼り付けられている。

快適性評価システム１００は、単音節の語音をある音圧の音声でユーザ５に呈示し、音声呈示時刻を起点に計測したユーザ５の脳波（事象関連電位）において潜時約７５０ｍｓの陽性成分の有無と潜時約２００ｍｓの陰性成分の有無を判定する。そして、呈示音声と当該陽性成分・陰性成分の有無に基づき、それぞれ語音聴取時にユーザが努力していたか・うるさいと感じたかを判定する。

ユーザ５の脳波は、電極Ａと電極Ｂとの電位差に基づいて生体信号計測部５０により取得される。生体信号計測部５０は、電位差に対応する情報（脳波信号）を無線または有線で語音聴取の快適性評価装置１に送信する。図１０では、当該情報を生体信号計測部５０が無線で語音聴取の快適性評価装置１に送信する例を示している。

語音聴取の快適性評価装置１は、語音聴取の快適性評価のための音声の音圧や呈示タイミングの制御を行い、音声出力部１１（たとえばスピーカ）を介してユーザ５に音声を呈示する。

図１１は、本実施形態による語音聴取の快適性評価装置１のハードウェア構成を示す。語音聴取の快適性評価装置１は、ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２とを有している。これらは互いにバス３４で接続され、相互にデータの授受が可能である。

ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。語音聴取の快適性評価装置１は、このコンピュータプログラム３５にしたがって、同じメモリ３１に格納されている語音データベース（ＤＢ）７１を利用して、快適性評価システム１００の全体を制御する処理を行う。この処理は後に詳述する。

オーディオコントローラ３２は、ＣＰＵ３０の命令に従って、それぞれ、呈示すべき音声を生成し、生成した音声信号を指定された音圧で音声出力部１１に出力する。

なお、語音聴取の快適性評価装置１は、１つの半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。そのようなＤＳＰは、１つの集積回路で上述のＣＰＵ３０、メモリ３１、オーディオコントローラ３２の機能を全て実現することが可能である。

上述のコンピュータプログラム３５は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図１１に示すハードウェアを備えた機器（たとえばＰＣ）は、当該コンピュータプログラム３５を読み込むことにより、本実施形態による語音聴取の快適性評価装置１として機能し得る。なお、語音ＤＢ７１はメモリ３１に保持されていなくてもよく、たとえばバス３４に接続されたハードディスク（図示せず）に格納されていてもよい。

図１２は、本実施形態による快適性評価システム１００の機能ブロックの構成を示す。快適性評価システム１００は、音声出力部１１と、生体信号計測部５０と、語音聴取の快適性評価装置１とを有している。図１２はまた、語音聴取の快適性評価装置１の詳細な機能ブロックも示している。すなわち、語音聴取の快適性評価装置１は、事象関連電位処理部５５と、陽性成分判定部６０と、陰性成分判定部６５と、呈示語音決定部７０と、語音ＤＢ７１と、結果蓄積ＤＢ８０とを備えている。なお、ユーザ５のブロックは説明の便宜のために示されている。

語音聴取の快適性評価装置１の各機能ブロック（語音ＤＢ７１を除く）は、それぞれ、図１１に関連して説明したプログラムが実行されることによって、ＣＰＵ３０、メモリ３１、オーディオコントローラ３２によって全体としてその時々で実現される機能に対応している。

語音ＤＢ７１は、語音聴取の快適性評価を行うための語音のデータベースである。図１３は、６７S式語表の２０語音を検査語音として用いる場合の語音ＤＢ７１の例を示す。図１３に示した語音ＤＢ７１では、呈示する音声ファイル、子音ラベル、異聴発生尤度（異聴の発生しやすさ）によってグループ分けされたデータが対応付けられている。保存されている音声は、あらかじめ測定した難聴者のオージオグラムからあるフィッティング理論に基づいて周波数ごとのゲイン調整（補聴処理）が完了しているとする。保存される語音の種類は、６７S式語表の２０語音以外にも、５７Ｓ式語表の５０音を用いてもよい。子音ラベルは、ユーザ５がどの子音において努力性またはうるささが高いかを評価する際に利用される。グループ分けのデータは、ユーザ５がどのグループにおいて努力性またはうるささが高いかを評価する際に利用される。グループ分けは、たとえば大分類、中分類、小分類とする。

大分類は母音、無声子音、有声子音の分類でそれぞれ０、１、２のように表記している。中分類は無声子音内、有声子音内の分類である。無声子音内はサ行（中分類：１）とタ・カ・ハ行（中分類：２）に、有声子音内はラ・ヤ・ワ行（中分類：１）とナ・マ・ガ・ザ・ダ・バ行（中分類：２）に分類できる。小分類は、ナ・マ行（小分類：１）とザ・ガ・ダ・バ行（小分類：２）のように分類できる。異聴発生尤度については、「補聴器フィッティングの考え方」（小寺一興、診断と治療社、１９９９年、１７２頁）を参照した。

再び図１２を参照する。呈示語音決定部７０は、語音ＤＢ７１を参照し、どの語音をどの音圧レベルで呈示するかを決定する。呈示語音は、たとえばランダムな順序で選択・決定してもよい。呈示語音の音圧レベルは、語音明瞭度曲線測定の５５ｄＢ ＳＰＬ、６５ｄＢ ＳＰＬ、７５ｄＢ ＳＰＬ、８５ｄＢ ＳＰＬの音声に対して補聴処理を実施した後の音圧レベルとする。音圧レベルは、小さな音圧レベルから大きな音圧レベルに順に変更してもよいし、その逆でもよい。また、ランダムな順序で音圧レベルを選択してもよい。

呈示語音決定部７０は、音声呈示時刻に合わせてトリガを生体信号計測部５０へ出力し、また呈示される音声の内容を事象関連電位処理部５５に送信する。

音声出力部１１は、呈示語音決定部７０によって決定された単音節の音声を再生することにより、ユーザ５に呈示する。

生体信号計測部５０は、ユーザ５の生体信号を計測する脳波計であり、生体信号として脳波を計測する。そして、呈示語音決定部７０から受けたトリガを起点に所定区間（たとえば−２００ｍｓから１０００ｍｓの区間）の脳波の事象関連電位を切り出し、その波形データ（脳波データ）を事象関連電位処理部５５に送付する。ユーザ５はあらかじめ脳波計を装着しているものとする。脳波計測用の電極はたとえば頭頂部のＰｚに装着される。

事象関連電位処理部５５は、生体信号計測部５０から事象関連電位を受け取り、呈示語音決定部７０から受けた呈示音声の内容に応じて、事象関連電位の加算平均演算を行う。事象関連電位処理部５５は、たとえば同じ語音の音声呈示に対する事象関連電位のみを選択して、語音の種類毎に事象関連電位の加算平均演算を行う。同じ語音のみで事象関連電位を加算平均した場合には語音ごとの快適性評価が可能となる。加算平均は、同じ子音を持つ語音を選択して行ってもよいし、図１３で示したグループの大分類・中分類・小分類ごとに行ってもよい。同じ子音を持つ語音で加算平均した場合には、子音の種類毎に、語音聴取の努力性・うるささの評価が可能となる。また、グループごとに加算平均した場合には、たとえば有声子音と無声子音では無声子音に対して努力性が高い、のようにグループにおける聞き分け評価が可能となる。子音ごと、グループごとの加算平均によって、ある程度加算回数が確保された加算波形がそれぞれ得られる。また、たとえば同じ語音の種類に関わらず、同じ音圧の音声呈示に対する事象関連電位を選択して加算平均してもよい。同じ音圧で加算平均した場合には、音圧ごとの快適性評価が可能となる。

事象関連電位処理部５５は、語音ごとに所定回数の加算平均演算を実行して得られた脳波データを、陽性成分判定部６０と陰性成分判定部６５とに送付する。ここで、脳波データの送付先ごとに事象関連電位に別々の処理を行ってもよい。たとえば、送り先に応じて加算平均演算を実行する回数を変更してもよいし、送り先に応じて遮断周波数の異なる２種類のフィルタ処理を切り替えて事象関連電位の波形にフィルタ処理を施してもよい。図７および図８からも明らかなように、潜時約７５０ｍｓの陽性成分に比べて潜時約２００ｍｓ陰性成分の周波数は異なっており、陰性成分でより高周波数である。送り先に応じて異なるフィルタ処理を行うことにより、シグナル／ノイズ比が高い脳波データを得ることができる。

陽性成分判定部６０および陰性成分判定部６５は事象関連電位処理部５５から脳波データを受け取って、後述する別々の解析を行う。

陽性成分判定部６０は、事象関連電位処理部５５から受け取った脳波データに基づいて、潜時約７５０ｍｓの陽性成分の有無を判定する。陽性成分の有無の識別方法は以下のとおりである。

陽性成分判定部６０は、たとえば潜時６００ｍｓから９００ｍｓの最大振幅、または、潜時６００ｍｓから９００ｍｓの区間平均電位を所定の閾値と比較する。区間平均電位を用いる場合の所定の閾値は、一般的なユーザの陽性成分の有無の閾値として、上述の実験で得られた「努力性高」と「努力性低」の区間平均電位の中央値である２．３６μＶとしてもよい。そして、区間平均電位が閾値より大きい場合には、陽性成分判定部６０は「陽性成分あり」と識別し、小さい場合を「陽性成分なし」と識別する。

または陽性成分判定部６０は、潜時約７５０ｍｓの典型的な陽性成分信号の波形から作成した所定のテンプレートとの類似度（たとえば相関係数）によって類似しているか否かを判定してもよい。そして類似しているといえる場合には、陽性成分判定部６０は「陽性成分あり」と識別し、類似しているとはいえない場合には「陽性成分なし」と識別してもよい。所定のテンプレートは、予め取得した一般的なユーザの陽性成分の波形から算出・作成してもよい。

陰性成分判定部６５は、事象関連電位処理部５５から受け取った脳波データの潜時約２００ｍｓにおける、陰性成分の有無を識別する。たとえば、陰性成分判定部６５は、潜時１００ｍｓから３００ｍｓの陰性電位のピークの潜時を所定の閾値と比較する。そして、陰性電位のピーク潜時が所定の閾値よりも短い場合には「陰性成分あり」と識別し、ピーク潜時が所定の閾値より小さい場合を「陰性成分なし」と識別する。

たとえば「所定の閾値」は、一般的なユーザの陰性成分の有無の閾値として、上述の実験で得られた「うるさい」と「うるさくない」の陰性成分の潜時の中央値である２１８ｍｓとしてもよい。または、陰性成分判定部６５は、潜時約２００ｍｓの典型的な陰性成分信号の波形から作成した所定のテンプレートとの類似度（たとえば相関係数）によって類似しているか否かを判定してもよい。そして類似しているといえる場合を「陰性成分あり」と識別し、類似していない場合を「陰性成分なし」と識別してもよい。所定の閾値やテンプレートは、予め取得した一般的なユーザの陰性成分の波形から算出・作成してもよい。

結果蓄積ＤＢ８０は、呈示した音声の情報を呈示語音決定部７０から受け取る。また結果蓄積ＤＢ８０は、陽性成分判定部６０から語音ごとの陽性成分の有無の情報を受け取り、陰性成分判定部６５から語音ごとの陰性成分の有無の情報を受け取る。そして、たとえば呈示音声の語音ごと・音圧レベルごとに、受け取った努力性とうるささの判定結果の情報を蓄積する。

なお、陽性成分判定部６０は、陽性成分が存在すると判定した場合、ユーザが語音を努力して聞いているという評価結果を出力し、陽性成分が存在しないと判定した場合には、ユーザが前記語音を努力せずに聞いているという評価結果を出力してもよい。

努力性の判定結果は、「努力性がある」及び「努力性がない」の２値の判定に加えて、陽性成分の振幅又は区間平均電位に対応する努力性の程度も含んでも良い。この場合、陽性成分判定部６０は、努力性の程度と対応させた複数の閾値又はテンプレートを有する。

例えば、第三の閾値、第四の閾値の順に、閾値が小さくなる場合を考える。陽性成分の振幅値が、第三の閾値以上に大きい場合、努力性が大きいと判定できる。陽性成分の振幅値が、第四の閾値以上でありかつ第三の閾値より小さい場合には、努力性が中と判定できる。陽性成分の振幅値が、第四の閾値より小さい場合には、努力性が小さいと判定できる。また、陽性成分の振幅値又は区間平均電位の値を判定結果としても良い。

陰性成分判定部６５によるうるささの判定結果についても、同様である。

陰性成分判定部６５は、陰性成分が存在すると判定した場合、ユーザが語音をうるさいと感じているという評価結果を出力し、陰性成分が存在しないと判定した場合、ユーザが語音をうるさいと感じていないという評価結果を出力してもよい。

そして陰性成分判定部６５は、「うるさい」及び「うるさくない」の２値に加えて、陰性成分の潜時に対応するうるささの程度を含んでも良い。この場合、陰性成分判定部６５は、陽性成分判定部６０と同様に複数の閾値又はテンプレートを有する。

図１４は、結果蓄積ＤＢ８０におけるデータ蓄積の例である。図１４では、語音ごと・音圧レベルごとに努力性とうるささの情報をそれぞれ蓄積する場合を例示している。たとえば図１４中の「１」は、陽性成分判定部６０または陰性成分判定部６５において陽性成分または陰性成分が存在したと判定された場合を示し、「０」は、陽性成分または陰性成分が存在しなかったと判定された場合を示す。

努力性とうるささの判定結果に基づく快適性の評価方法としては、たとえば陽性成分なしと判定された語音の割合と、陰性成分なしと判定された語音の割合を音圧レベルごとに算出し、平均して、快適性の評価結果としてもよい。または、少なくとも１つの音圧レベルに関して、陽性成分なしと判定された語音の割合と、陰性成分なしと判定された語音の割合を算出し、それらの算出結果を利用して快適性の評価結果を生成してもよい。語音の割合に代えて、子音または異聴発生確率に関するグループの割合を利用して快適性の評価結果を求めてもよい。

上述の快適性を評価する処理は、たとえば結果蓄積ＤＢ８０が行ってもよい。このときは、結果蓄積ＤＢ８０は単なる記録媒体ではない。記録媒体に加えて、その記録媒体に蓄積された情報を検索し、抽出する機能等を備えている。それらの機能は、たとえばデータベースサーバとして機能するハードウェアまたはソフトウェア（いずれも図示せず）によって実現される。このデータベースサーバが上記算出処理を行えばよい。

図１５（ａ）〜（ｃ）は、語音明瞭度曲線の測定結果（従来評価）と、従来評価に加えて本実施形態による語音聴取の快適性評価結果の例である。図１５（ａ）は、装用時において呈示音声の音圧レベルごとの語音明瞭度のみを評価した例である。この例は従来の評価手法によって得られた評価結果である。この例では、６５ｄＢ ＳＰＬ以上の音圧レベルにおいて、明瞭度は８０％以上と評価されている。そのため、非装用時（図１５には表示せず）と比較して語音明瞭度が向上している場合には補聴器適合検査で適合と判定される。

図１５（ｂ）および（ｃ）は、図１５（ａ）に示した装用時における語音明瞭度曲線の測定結果に加えて、本実施形態による努力性とうるささの判定に基づく快適性評価を加えた評価結果の例である。語音明瞭度曲線は、発話やキー入力等を行う従来の方法で別途測定したとする。

図１５（ｂ）および（ｃ）では語音明瞭度曲線は同じであるが、快適性評価の結果が大きく異なる。たとえば、図１５（ｂ）では、快適性が全体的に低く、特に５５ｄＢにおいて低い。これは、努力すれば聞けるが全体的に音圧が低かったと評価できる。また、たとえば、図１５（ｃ）では、快適性が全体的に高いが、大きな音圧レベルでは快適性が低い。これは、６５ｄＢ ＳＰＬ付近の音圧では適切な補聴処理であるが、８５ｄＢ ＳＰＬと大きな音圧レベルではうるささを感じていると評価できる。これらは、努力性とうるささの２要素で語音聴取の快適性を評価した結果、初めて得られる評価である。このような評価によって、たとえば図１５（ｂ）の場合には、全体的にゲイン調整量を上げる、図１５（ｃ）の場合にはノンリニア増幅におけるコンプレッションを強くするという具体的なフィッティング手順の提案ができる。

なお、図１５（ｂ）および（ｃ）では、装用時のみの快適性を示しているが、非装用時（裸耳）についても快適性を評価し、非装用時と装用時で快適性を比較してもよい。

次に、図１６を参照しながら図１２の快適性評価システム１００において行われる処理手順を説明する。

図１６は、快適性評価システム１００において行われる処理の手順を示すフローチャートである。

ステップＳ１０１において、呈示語音決定部７０は語音ＤＢ７１を参照しながら呈示する単音節の語音と音圧レベルを決定する。音声出力部１１は、決定された音圧レベルでユーザ５にその語音を呈示する。呈示語音決定部７０は、生体信号計測部５０にはトリガを送信し、事象関連電位処理部５５には呈示した語音に関する音声情報を送信する。呈示する語音はＤＢ７１からランダムに選択してもよいし、特定の子音またはグループの語音を集中的に選択してもよい。呈示語音の音圧レベルは、たとえば語音明瞭度曲線測定の５５ｄＢ ＳＰＬ、６５ｄＢ ＳＰＬ、７５ｄＢ ＳＰＬ、８５ｄＢ ＳＰＬの音声に対して補聴処理を実施した後の音圧レベルとする。音圧レベルの呈示順序は、小さな音圧レベルから大きな音圧レベルに順に変更してもよいし、その逆でもよい。また、ランダムな順序で音圧レベルを選択してもよい。

ステップＳ１０２において、生体信号計測部５０は呈示語音決定部７０からトリガを受けて、計測した脳波のうち、トリガを起点にたとえば−２００ｍｓから１０００ｍｓまでの事象関連電位を切り出す。そしてたとえば−２００ｍｓから０ｍｓの平均電位を求め、その平均電位が０μＶになるよう、得られた事象関連電位をベースライン補正する。

ステップＳ１０３において、事象関連電位処理部５５はステップＳ１０２で切り出した事象関連電位を、呈示語音決定部７０から受けた呈示語音の情報に基づき語音ごと・音圧レベルごとに加算平均する。本実施形態では語音ごと・音圧レベルごとに加算平均演算を行っているが、加算平均演算の対象は語音ごとに限られない。たとえば、語音の種類に応じて（たとえば子音ごとや語音のグループごとに）行ってもよいし、呈示された音圧レベルごとに行ってもよい。すなわち、各語音が語音の種類および呈示されたときの音圧レベルの少なくとも一つに基づいて分類されるときにおいて、事象関連電位処理部５５は、同じ分類に属する語音が呈示されたときに得られる脳波信号の事象関連電位を加算平均すればよい。

ステップＳ１０４において、事象関連電位処理部５５はステップＳ１０１で呈示された語音に対する事象関連電位の加算回数が所定の加算回数に到達したか否かを判定する。加算回数が所定回数以下の場合には処理はステップＳ１０１へ戻り、音声の呈示を繰り返す。加算回数が所定回数以上の場合には、処理はステップＳ１０５へ進む。加算回数は、たとえば２０回である。なお、「２０回」は、事象関連電位を計測する分野において多く採用される加算回数であるが、これは一例に過ぎない。

ステップＳ１０５において、事象関連電位処理部５５は所定回数の加算平均演算をした脳波データを陽性成分判定部６０および陰性成分判定部６５に送付する。

ステップＳ１０６において、陽性成分判定部６０は、脳波データの潜時約７５０ｍｓに陽性成分が存在するか否かを判定する。陽性成分の識別は、上述のように、所定の閾値との比較によって行ってもよいし、テンプレートとの比較によって行ってもよい。

ステップＳ１０７において、陰性成分判定部６５は、脳波データの潜時約２００ｍｓに陰性成分が存在するか否かを判定する。陰性成分の識別は、上述のように、所定の陰性成分の潜時の閾値比較によって行ってもよいし、テンプレートとの比較によって行ってもよい。

ステップＳ１０８において、結果蓄積ＤＢ８０は、ステップＳ１０１で呈示した語音ごと・音圧レベルごとに、陽性成分判定部６０から受け取った潜時約７５０ｍｓ陽性成分の有無の情報と、陰性成分判定部６５から受け取った潜時約２００ｍｓの陰性成分の有無の情報を蓄積する。

ステップＳ１０９において、呈示語音決定部７０は、語音聴取の快適性を評価する予定の、全ての語音・音圧レベルにおいて刺激呈示が完了したか否かを判定する。完了していない場合には処理はステップＳ１０１へ戻り、完了している場合には語音聴取の快適性評価を終了する。

結果蓄積ＤＢ８０において蓄積した語音ごと・音圧レベルごとの努力性・うるささを要素とした快適性評価結果に基づけば、より具体的なフィッティング手順の提案ができる。たとえば、図１５（ｂ）のように快適性が全体的に低く、特に５５ｄＢにおいて低い場合には、全体的にゲイン調整量を上げる。また、図１５（ｃ）のように快適性が全体的に高いが、大きな音圧レベルでは低い場合には、ノンリニア増幅におけるコンプレッションを強くすればよい。

本実施形態では、単音節の語音を音声で呈示する設定で音声が呈示された時刻を起点とした事象関連電位の潜時約７５０ｍｓの陽性成分と、潜時約２００ｍｓの陰性成分とを用いた処理により、語音聴取の快適性を評価した。上述の処理によれば、語音聴取時に、ユーザがどれくらい努力したか（努力性）・どれくらいうるささを感じたか（うるささ）に関する判定が実現できる。これは、語音明瞭度とは異なる語音聴取の快適性を軸として、補聴処理の適合度合いを評価できることを意味する。快適性を軸として補聴処理の評価ができるので、快適性が高く聞いていて疲れにくい補聴処理が実現できる。

なお、本実施形態における語音聴取の快適性評価装置１は、図１１に示すとおり、一般的なハードウェアを用いた、小型化可能な構成により実現される。快適性評価装置１を持ち運び可能な大きさおよび重さで構成してユーザが携行することにより、ユーザが補聴器を利用する音環境で語音聴取の快適性を評価することができる。なお、図９では音声出力部１１をスピーカとしたが、音声出力部１１はヘッドフォンでもよい。ヘッドフォンを用いることで、持ち運びが簡易になりユーザが利用する環境において語音明瞭度の評価が可能となる。

本実施形態では日本語の語音明瞭度評価を想定して説明した。しかしながら、単音節の語音であれば英語でも中国語でもよい。たとえば英語の場合には、単音節の単語を呈示し、単語ごとの評価をしてもよい。図１７は、単音節の単語ごとに努力性とうるささを評価した結果の一例を示している。

本実施形態の快適性評価システム１００によれば、ユーザは音声を聞いて該当する平仮名を思い浮かべるだけで語音聴取時にどれくらい努力したか（努力性）とどれくらいうるささを感じたか（うるささ）の判定が実現される。これにより、語音聴取時の快適性が定量化され、快適性の軸で補聴処理の評価ができるので、快適性が高い補聴処理で、聞いていて疲れにくいフィッティングが実現できる。

本実施形態の説明では、生体信号計測部５０は、呈示語音決定部７０からのトリガを起点にして予め定められた範囲の事象関連電位を切り出し、ベースライン補正を行って電位波形のデータを事象関連電位処理部５５に送信するとした。しかしながら、この処理は一例である。他の処理として、たとえば、生体信号計測部５０は継続的に脳波を計測し、事象関連電位処理部５５が必要な事象関連電位の切り出しおよびベースライン補正を行ってもよい。当該構成であれば、呈示語音決定部７０は生体信号計測部５０にトリガを送信する必要はなくなり、事象関連電位処理部５５にトリガを送信すればよい。

また、本実施形態においては、快適性評価の結果は、結果蓄積ＤＢ８０に蓄積されるとしたが、蓄積しなくてもよい。たとえば結果蓄積ＤＢ８０を快適性評価装置１の外部に設ける場合には、陽性成分判定部６０および陰性成分判定部６５は各判定結果を単に出力すればよい。各判定結果は、語音聴取の快適性に関する情報として利用され得る。

また、陽性成分判定部６０および陰性成分判定部６５は、それぞれ陽性成分及び陰性成分の有無を判定し、その判定結果を出力するとして説明した。しかしながら、この構成は一例である。たとえば陽性成分判定部６０は、陽性成分が存在するときは努力性の指標が大きいと判断し、陰性成分判定部６５は、陰性成分が存在するときはうるささの指標が大きいと判断しても良い。または、判定結果に応じた語音聴取に努力が必要であった／必要でなかった、という評価結果や、うるさいと感じた／感じていない、という評価結果を出力し、評価結果を結果蓄積ＤＢ８０に蓄積してもよい。判定結果または評価結果のいずれを出力するかは、陽性成分判定部６０および陰性成分判定部６５の各々について独立して設定することができる。

なお、判定結果は、陽性／陰性成分が現れたか否かを示す２値の数値を用いて出力されてもよいし、陽性／陰性成分の存否を表す数値以外の形式（たとえば文字情報）で出力されてもよい。また、努力が必要であった／必要でなかった、うるさいと感じた／感じていないという評価結果については、それぞれを示す２値の数値を用いて出力されてもよいし、努力およびうるさいと感じた程度が３値以上の数値を用いて出力されてもよい。または、それらの程度を示す数値以外の形式（たとえば文字情報）で出力されてもよい。

５．実施形態２
実施形態１による快適性評価システム１００では、語音ＤＢ７１に保存されたある１種類の補聴処理に基づいてあらかじめ調整された所定の音声に対して、潜時約７５０ｍｓの陽性成分と潜時約２００ｍｓの陰性成分の有無に基づき、語音聴取時の努力性とうるささを判定した。

しかしながら、近年、信号処理の高精度化に伴い、たとえば子音強調、指向性、ノイズリダクション等の機能を実現する補聴処理方法の開発が進んでおり、１つの補聴処理に対する快適性評価の結果のみから、最適な補聴処理を探索・特定することは困難であった。

そこで本実施形態では、呈示する語音音声を補聴器から出力される音に加工する補聴処理部を設け、補聴処理ごとの快適性を評価する、快適性評価システムについて説明する。

図１８は、本実施形態による快適性評価システム２００の機能ブロックの構成を示す。快適性評価システム２００は、音声出力部１１と、生体信号計測部５０と、語音聴取の快適性評価装置２とを有している。図１２と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、語音聴取の快適性評価装置２のハードウェア構成は、図１１に示すとおりである。実施形態１で説明したプログラム３５（図１１）と異なる処理を規定するプログラムが実行されることにより、図１８に示す本実施形態による語音聴取の快適性評価装置２が実現される。

本実施形態による語音聴取の快適性評価装置２が、実施形態１による語音聴取の快適性評価装置１と大きく相違する点は、新たに補聴処理部９０を設けた点である。なお、快適性評価装置２の構成要素名に関しては、原則として実施形態１と同じ名称を用いているが、異なる動作および／または機能を有している場合には、異なる参照符号を用いている。たとえば、本実施形態では、実施形態１では行わなかった、複数の補聴処理ごとの快適性評価を実施するため、実施形態１にかかる事象関連電位処理部５５、呈示語音決定部７０、語音ＤＢ７１、結果蓄積ＤＢ８０に代えて、本実施形態では事象関連電位処理部５６、呈示語音決定部７５、語音ＤＢ７２、結果蓄積ＤＢ８５を設けている。

以下、語音ＤＢ７２、呈示語音決定部７５、補聴処理部９０、事象関連電位処理部５６、結果蓄積ＤＢ８５および補聴処理部９０を説明する。

語音ＤＢ７２は、実施形態１にかかる語音ＤＢ７１と同様に、たとえば図１３に示した６７Ｓ式語表の２０語音のような語音聴取の快適性評価を行うための語音データベースである。語音ＤＢ７１との差異は、補聴処理前の語音データを持つ点である。

呈示語音決定部７５は、実施形態１にかかる呈示語音制御部７０と同様に語音ＤＢを参照し、語音の種類と音圧レベルを決定する。呈示語音制御部７０との差異は、どの補聴処理で音声を加工するかを選択し、補聴処理部９０に呈示語音の音声データを共に送付する点である。

補聴処理部９０は、呈示語音決定部７５から受けた補聴処理選択に関する指示と、音声データとに基づき、音声データを指示された補聴処理方法で加工する。補聴処理には、たとえば子音強調、指向性、ノイズリダクション等がある。子音強調の補聴処理が選択されていた場合には、たとえば通常よりも子音周波数のゲイン増幅量を上げるという処理をほどこし、音声データを加工する。

事象関連電位処理部５６は、実施形態１にかかる事象関連電位処理部５５と同様に、呈示語音制御部から受けた呈示音声の内容に応じて、制定信号計測部５０から受けた事象関連電位の加算平均演算を行う。事象関連電位処理部５５との差異は、呈示語音決定部７５から補聴処理の情報を受けて、語音ごと・音圧レベルごと・補聴処理ごとの加算平均演算を行う点である。

結果蓄積ＤＢ８５は、実施形態１にかかる結果蓄積ＤＢ８０と同様に、たとえば語音ごと・音圧レベルごとに、陽性成分判定部６０から受け取った潜時約７５０ｍｓの陽性成分の有無の情報と、陰性成分判定部６５から受け取った潜時約２００ｍｓの陰性成分の有無の情報を蓄積する。結果蓄積ＤＢ８０との差異は、呈示語音決定部７５から、呈示刺激の語音・音圧レベルの情報に加えて、補聴処理の種類の情報を受け取り、補聴処理の種類ごとにデータを蓄積する点である。

図１９（ａ）および（ｂ）は、結果蓄積ＤＢ８５におけるデータ蓄積の例である。図１９（ａ）および（ｂ）では、語音ごと・音圧レベルごと・補聴処理ごとに努力性とうるささの判定結果をそれぞれ蓄積する場合を例示している。たとえば図１９（ａ）は、結果蓄積ＤＢ８５に蓄積された、ある補聴処理Ａの語音ごと・音圧レベルごとの、努力性とうるささの判定結果を示す。図１９（ｂ）は、結果蓄積ＤＢ８５に蓄積された、ある補聴処理Ｂの語音ごと・音圧レベルごとの、努力性とうるささの判定結果を示す。図１９（ａ）および（ｂ）中の「１」は、陽性成分判定部６０または陰性成分判定部６５において陽性成分または陰性成分があったと判定された場合で、「０」は、陽性成分または陰性成分がなかったと判定された場合を示す。

次に、図２０を参照しながら、快適性評価システム２００において行われる全体的な処理の手順を説明する。

図２０は、本実施形態による語音明瞭度システム２００の処理手順を示すフローチャートである。図２０では、快適性評価システム１００の処理（図１６）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

本実施形態による快適性評価システム２００の処理が、実施形態１による快適性評価システム２００の処理と相違する点は、ステップＳ２０１、Ｓ２０２およびＳ２０３である。ステップＳ２０１では、指定された補聴処理で加工した単音節音声が呈示される。ステップＳ２０２では、語音・音圧レベル・補聴処理ごとに加算平均演算が行われる。ステップＳ２０３では、語音ごと・音声ごと・補聴処理ごとに結果が蓄積される。それ以外のステップについては、図１６に関連して既に説明しているため、説明を省略する。

以下、ステップＳ２０１〜Ｓ２０３を詳細に説明する。

ステップＳ２０１において、呈示語音決定部７５は、語音ＤＢ７２を参照して呈示する音声の種類と音圧レベルを決定し、そのデータを取得する。さらに、呈示語音決定部７５は、補聴処理を決定して、補聴処理の種類に関する情報と音声データを補聴処理部９０に送付する。補聴処理部９０は、呈示語音決定部７５によって決定された補聴処理の種類に関する情報と音声データとを受け取り、指定された補聴処理方法に基づいて音声データを加工する。音声出力部１１は、加工された音声データをユーザ５に呈示する。

ステップＳ２０２において、事象関連電位処理部５６は呈示語音決定部７５から受けた呈示語音の種類、音圧レベル、補聴処理の情報を受けて、生体信号計測部５０で計測した脳波の事象関連電位を、たとえば語音ごと・音圧レベルごと・補聴処理ごとに加算平均する。

ステップＳ２０３において、結果蓄積ＤＢは、呈示語音決定部７５から受けた呈示語音に関する情報（語音の種類、音圧レベル、補聴処理）ごとに、陽性成分判定部６０で判定した潜時約７５０ｍｓの陽性成分の有無と、陰性成分判定部６５で判定した潜時約２００ｍｓの陰性成分の有無を蓄積する。結果蓄積の例は、図１９（ａ）および（ｂ）に示したとおりである。

このような処理によって、たとえば、子音強調、指向性、ノイズリダクション等の補聴処理ごとに、語音聴取に対する快適性が評価できる。図２１は、ある音圧レベルで語音を呈示した場合の、従来の語音明瞭度評価の結果と、それに本実施形態における快適性評価の結果を加えた場合の結果を、概念的に示す。図２１中に示した、処理Ａは子音強調、処理Ｂは指向性、処理Ｃと処理Ｄはノイズリダクションの補聴処理を想定している。それぞれのプロットは、以下の仮説に基づいている。
子音強調（処理Ａ）：子音の周波数帯のゲイン調整量を増やすため、明瞭度は向上するが、音声そのものの周波数特性が変化するため、快適性が低下する。
指向性（処理Ｂ）：明瞭度そのものは変化しないが、音源が異なるノイズが低減されるため、快適性は向上する。
ノイズリダクション（処理Ｃと処理Ｄ）：ノイズとともに音声情報もリダクションされるため、明瞭度は下がるが、うるささが低減するため快適性は向上する。従来は、語音明瞭度評価の結果のみに基づき、補聴処理ごとの明瞭度のみが評価されたため、たとえば処理Ｃや処理Ｄは、適合度が悪いと判定された。しかし、快適性の軸を加えることで、それらの補聴処理の効果をより適切に評価できるようになる。

本実施形態の快適性評価システム２００によれば、補聴処理ごとの快適性を評価できる。これによって、補聴器装用の目的、使用環境に合わせた補聴処理の選択が実現できるようになる。

６．実施形態３
実施形態１による快適性評価システム１００では、陽性成分判定部６０と陰性成分判定部６５において、一般的なユーザの陽性成分／陰性成分から算出した閾値や、一般的なユーザの陽性成分／陰性成分のテンプレートを用いて、それぞれ陽性成分の有無と陰性成分の有無を判定した。

しかしながら、事象関連電位の波形は個人差が大きいため、それらを基準とした識別では、努力性・うるささを精度よく判定することは困難であった。

そこで本実施形態では、語音聴取の快適性評価の前にユーザごとの潜時約７５０ｍｓの陽性成分と潜時約２００ｍｓの陰性成分の特徴を測定するためのキャリブレーションを行い、個人ごとの成分特徴に基づいて快適性を評価することとした。

図２２は、本実施形態による快適性評価システム３００の機能ブロックの構成を示す。快適性評価システム３００は、音声出力部１１と、生体信号計測部５０と、語音聴取の快適性評価装置３とを有している。図１２と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、語音聴取の快適性評価装置３のハードウェア構成は、図１１に示すとおりである。実施形態１で説明したプログラム３５（図１１）と異なる処理を規定するプログラムが実行されることにより、図１８に示す本実施形態による語音聴取の快適性評価装置３が実現される。

本実施形態による語音聴取の快適性評価装置３が、実施形態１による語音聴取の快適性評価装置１と大きく相違する点は、新たに校正／評価切替部９５と個別閾値ＤＢ９６を設けた点である。また、ユーザごとの成分特徴に基づいて陽性成分の有無を判定するため、実施形態１にかかる事象関連電位処理部５５、陽性成分判定部６０、陰性成分判定部６５、呈示語音決定部７０に代えて、本実施形態では陽性成分判定部６１、陰性成分判定部６６、事象関連電位処理部５７および呈示語音決定部７７を設けている。

以下、校正／評価切替部９５、個別閾値ＤＢ９６、呈示語音制御部７７、事象関連電位処理部５７、陽性成分判定部６１、陰性成分判定部６５を説明する。

校正／評価切替部９５は、ユーザごとの事象関連電位成分の特徴を特定するための校正モードと、快適性評価をする評価モードとを切り替える。そして、現在のモードを示す情報を呈示語音制御部７７に送付する。なおモードの切替えは、ユーザ脳波の特徴を特定するために必要な所定回数の語音呈示が終了した時点で実施してもよい。

呈示語音制御部７７は、呈示語音制御部７０と同様に語音ＤＢ７１を参照し、語音の種類と呈示音声の音圧レベルを決定する。また、校正／評価切替部９５から校正モード／評価モードの情報を受けて、校正モードの場合には、（１）ユーザが努力しないで聞けるが「うるさい」と感じる音圧レベルと、（２）努力が必要だが「うるさくない」と感じる音圧レベルで、音声出力部１１を介してユーザ５に音声を呈示する。音圧レベルは、たとえばユーザのオージオグラムを参考に決定してもよい。そして、生体信号計測部５０にトリガの情報を、事象関連電位処理部５７に音声情報と校正／評価のモード情報を送付する。

事象関連電位処理部５７は、事象関連電位処理部５５と同様に、呈示語音制御部から受けた呈示音声の内容に応じて、制定信号計測部５０から受けた事象関連電位の加算平均演算を行う。呈示語音制御部７７からモード情報を受け取る。校正モードの場合には、たとえば語音の種類に関わらず音圧レベルごとに加算平均演算を実施する。そして、陽性成分判定部６１と陰性成分判定部６６で識別に用いる特徴量を算出し、個別閾値ＤＢ９６に送付する。特徴量には、たとえば区間平均電位、最大振幅、波形そのものがある。他方、評価モードの場合には、事象関連電位処理部５５と同様の方法で加算平均演算を実施する。

個別閾値ＤＢ９６は、事象関連電位処理部５７から送付された識別に利用する特徴量を保存する。

陽性成分判定部６１および、陰性成分判定部６６は、事象関連電位処理部５７から脳波データを受け取り、個別閾値ＤＢ９６に保存された音圧レベルごとの特徴量を参照して、それぞれ努力性とうるささを判定する。たとえば、特徴量が区間平均電位の場合には、音圧レベルごとの特徴量の中間値を閾値として、陽性成分判定部６０／陰性成分判定部６５と同様の方法で、陽性成分／陰性成分を検出する。

次に、図２３を参照しながら、快適性評価システム３００において行われる全体的な処理の手順を説明する。

図２３は、本実施形態による語音明瞭度システム３００の処理手順を示すフローチャートである。図２３では、快適性評価システム１００の処理（図１６）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

本実施形態による快適性評価システム３００の処理が、実施形態１による快適性評価システム１００の処理と相違する点は、ステップＳ３０１〜Ｓ３０８である。それ以外のステップについては、図１６に関連して既に説明しているため、説明を諸略する。

ステップＳ３０１において、校正／評価切替部９５は、ユーザの選択に基づいて、現在のモードを校正モードに設定し、校正モードの情報を呈示語音制御部７７に送付する。

ステップＳ３０２において、呈示語音制御部７７は、語音ＤＢ７１を参照して語音の種類を決定する。そして、呈示語音制御部７７は、単音節の音声呈示を（１）ユーザが努力しないで聞けるが「うるさい」と感じる音圧レベル、あるいは、（２）努力が必要だが「うるさくない」と感じる音圧レベルを設定する。そして、音声出力部１１を介してユーザ５に音声を呈示する。

ステップＳ３０３において、事象関連電位処理部５７は、生体信号計測部５０で計測した事象関連電位を、音圧レベルごとに加算平均する。

ステップＳ３０４において、事象関連電位処理部５７は、音圧レベルごとの特徴量を保存する。より具体的には、事象関連電位処理部５７は、加算平均波形から、陽性成分判定部６１および陰性成分判定部６６で識別に用いる特徴量をそれぞれ算出する。たとえば、特徴量が区間平均電位の場合には、所定区間の平均電位を算出する。そして、個別閾値ＤＢ９６に保存する。このようにして得られた平均値は、そのユーザ固有の特徴を表しているといえる。

ステップＳ３０５において、校正／評価切替部９５は、所定回数の音声呈示が終了した段階で、校正モードから評価モードへの切り替えを行い、評価モードの情報を呈示語音制御部７７に送付する。

ステップＳ３０６ではユーザごとの陽性成分の特徴量に基づき陽性成分の有無が判定される。具体的には、陽性成分判定部６１は、個別閾値ＤＢ９６を参照して陽性成分の有無を判定するための閾値を読み出し、その閾値を利用して事象関連電位処理部５７から受けた事象関連電位における潜時約７５０ｍｓの陽性成分の有無を判定する。たとえば、区間平均電位を特徴量として識別を行う場合には、潜時約７５０ｍｓの区間平均電位が算出した閾値よりも大きい場合に陽性成分あり、小さい場合に陽性成分なしと判定する。

ステップＳ３０７では、ユーザごとの陰性成分の特徴量に基づき陰性成分の有無が判定される。すなわちステップＳ３０７において、陰性成分判定部６１は、個別閾値ＤＢ９６を参照して陰性成分の有無の閾値を判定するための閾値を読み出し、その閾値を利用して事象関連電位処理部５７から受けた事象関連電位における潜時約２００ｍｓの陰性成分の有無を判定する。たとえば、潜時を特徴量として識別を行う場合には、潜時約２００ｍｓの潜時が算出した閾値よりも小さい場合に陰性成分あり、大きい場合に陰性成分なしと判定する。

このような処理によって、ユーザごとの脳波特徴に合わせて、陽性成分・陰性成分の有無の識別が可能となるため、語音聴取の快適性が精度よく評価できるようになる。

本実施形態の快適性評価システム３００によれば、ユーザごとの脳波特徴に合わせて高い精度で快適性を評価できる。これによって、快適性が高く聞いていて疲れない補聴処理が実現できるようになる。

なお、本実施形態では、ユーザごとの陽性成分および陰性成分の各特徴量を校正すると説明したが、この処理は一例である。ユーザごとの特徴量として、陽性成分または陰性成分の一方のみを校正してもよい。

本発明の語音聴取の快適性評価装置および語音聴取の快適性評価装置が組み込まれた語音聴取の明瞭性評価システムによれば、語音の聞き分けができたか否かの明瞭度に加えて、語音聴取時の脳波に基づき、語音聴取の定量的な快適性評価が可能になる。それによって、快適性が高く聞いていて疲れない補聴処理が選択できるため、全ての補聴器ユーザのフィッティングにおいて利用可能である。

１、２、３ 語音聴取の快適性評価装置
５ ユーザ
１１ 音声出力部
５０ 生体信号計測部
５５、５６、５７ 事象関連電位処理部
６０、６１ 陽性成分判定部
６５、６６ 陰性成分判定部
７０、７５、７７ 呈示語音決定部
７１、７２ 語音ＤＢ
８０、８５ 結果蓄積ＤＢ
９０ 補聴処理部
９５ 校正／評価切替部
９６ 個別閾値ＤＢ
１００、２００ 語音聴取の明瞭性評価システム

Claims (16)

1. ユーザの脳波信号を計測する生体信号計測部と、
   単音節の語音を複数保持している語音データベースを参照して、呈示する単音節の語音を決定する呈示語音決定部と、
   決定された単音節の語音を、前記ユーザに聴覚的刺激として順次呈示する出力部と、
   下記（ａ）乃至（ｃ）のいずれかを用いて、前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定し、判定結果に応じて、前記ユーザが前記単音節の語音を努力して聞いているか否かの評価結果を出力する陽性成分判定部
   （ａ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位の平均電位
   （ｂ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形の最大振幅
   （ｃ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形と所定のテンプレートとの類似度
   と、
   前記単音節の語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定し、判定結果に応じて、前記ユーザが前記単音節の語音をうるさいと感じているか否かの評価結果を出力する陰性成分判定部と
   を備えた、語音聴取の評価システム。
2. 前記脳波信号の事象関連電位を加算平均する事象関連電位処理部をさらに備え、前記事象関連電位処理部は、前記単音節の語音が語音の種類および呈示されたときの音圧レベルの少なくとも一つに基づいて分類されるときにおいて、同じ分類に属する語音が呈示されたときに得られる前記脳波信号の事象関連電位を加算平均する、請求項１に記載の語音聴取の評価システム。
3. 前記陽性成分判定部は、各単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位の区間平均電位が予め定められた第１閾値以上の場合に陽性成分が存在すると判定し、前記区間平均電位が前記第１閾値よりも小さい場合には陽性成分が存在しないと判定する、請求項１に記載の語音聴取の評価システム。
4. 前記陽性成分判定部は、前記陽性成分が存在すると判定した場合、前記ユーザが前記単音節の語音を努力して聞いているという評価結果を出力し、前記陽性成分が存在しないと判定した場合には、前記ユーザが前記単音節の語音を努力せずに聞いているという評価結果を出力する、請求項３に記載の語音聴取の評価システム。
5. 前記陰性成分判定部は、各単音節の語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に存在する陰性成分のピークが、予め定められた第２閾値よりも短い場合には陰性成分が存在すると判定し、前記陰性成分のピークが前記第２閾値以上の場合には陰性成分は存在しないと判定する、請求項１に記載の語音聴取の評価システム。
6. 前記陰性成分判定部は、前記陰性成分が存在すると判定した場合、前記ユーザが前記単音節の語音をうるさいと感じているという評価結果を出力し、前記陰性成分が存在しないと判定した場合、前記ユーザが前記単音節の語音をうるさいと感じていないという評価結果を出力する、請求項５に記載の語音聴取の評価システム。
7. 前記語音データベースには、複数の単音節の語音の各々について、音声、子音情報および異聴発生確率に関するグループが対応付けて記憶されている、請求項５に記載の語音聴取の評価システム。
8. 前記陽性成分判定部および前記陰性成分判定部の判定結果を蓄積する結果蓄積データベースをさらに備え、
   前記結果蓄積データベースは、少なくとも１つの音圧レベルに関して、前記陽性成分判定部によって陽性成分なしと判定された単音節の語音、子音、または、前記異聴発生確率に関するグループの割合、および、前記陰性成分判定部によって陰性成分なしと判定された単音節の語音、子音、または、前記異聴発生確率に関するグループの割合を算出し、算出結果を利用して評価結果を生成する、請求項７に記載の語音聴取の評価システム。
9. 前記結果蓄積データベースには、単音節の語音ごと、子音ごと、または、前記異聴発生確率に関するグループごとに、前記ユーザが前記単音節の語音を努力して聞いているか否か、および前記ユーザが前記単音節の語音をうるさいと感じているか否かを評価するための情報が蓄積されている、請求項６に記載の語音聴取の評価システム。
10. 前記結果蓄積データベースは、単音節の語音ごと、音圧レベルごとに、前記ユーザが前記単音節の語音を努力して聞いているか否か、および前記ユーザが前記単音節の語音をうるさいと感じているか否かを評価するための情報を蓄積する、請求項９に記載の語音聴取の評価システム。
11. 前記呈示語音決定部は、呈示音声の音圧レベルを決定する、請求項５に記載の語音聴取の評価システム。
12. 前記呈示語音決定部によって決定され、呈示される前記単音節の語音に関して補聴処理の種類を選択し、選択された補聴処理に基づいて前記語音データベースに保持されている複数の単音節の語音データを加工する補聴処理部をさらに備えた、請求項５に記載の語音聴取の評価システム。
13. 前記陽性成分判定部および前記陰性成分判定部の判定結果を蓄積する結果蓄積データベースをさらに備え、
    前記結果蓄積データベースには、単音節の語音ごと、補聴処理ごとに、前記ユーザが前記単音節の語音を努力して聞いているか否か、および前記ユーザが前記単音節の語音をうるさいと感じているか否かを評価するための情報が蓄積されている、請求項１２に記載の語音聴取の評価システム。
14. 単音節の語音を複数保持している語音データベースを参照して、出力部からユーザに聴覚的刺激として順次呈示する単音節の語音を決定する呈示語音決定部と、
    前記ユーザの脳波信号を計測する生体信号計測部が計測した脳波信号において、下記（ａ）乃至（ｃ）のいずれかを用いて、前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定する陽性成分判定部
    （ａ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位の平均電位
    （ｂ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形の最大振幅
    （ｃ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形と所定のテンプレートとの類似度
    と、
    前記ユーザの脳波信号を計測する生体信号計測部が計測した前記単音節の語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定する陰性成分判定部と
    を備えた、語音聴取の評価装置。
15. ユーザの脳波信号を計測するステップと、
    単音節の語音を複数保持している語音データベースを参照して、呈示する単音節の語音を決定するステップと、
    決定された単音節の語音を、前記ユーザに聴覚的刺激として順次呈示するステップ
    下記（ａ）乃至（ｃ）のいずれかを用いて、前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定するステップ
    （ａ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位の平均電位
    （ｂ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形の最大振幅
    （ｃ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形と所定のテンプレートとの類似度
    と、
    判定結果に応じて前記ユーザが前記単音節の語音を努力して聞いているか否かの評価結果を出力するステップと、
    前記単音節の語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定するステップと、
    判定結果に応じて、前記ユーザが前記単音節の語音をうるさいと感じているか否かの評価結果を出力するステップと
    を包含する、語音聴取の評価方法。
16. 語音明瞭度評価システムに設けられたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記語音明瞭度評価システムに実装されるコンピュータに対し、
    計測されたユーザの脳波信号を受け取るステップと、
    単音節の語音を複数保持している語音データベースを参照して、呈示する単音節の語音を決定するステップと、
    決定された単音節の語音を、前記ユーザに聴覚的刺激として順次呈示するステップと、
    下記（ａ）乃至（ｃ）のいずれかを用いて、前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陽性成分が出現したか否かを判定するステップ
    （ａ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位の平均電位
    （ｂ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形の最大振幅
    （ｃ）前記単音節の語音が呈示された時刻を起点として６００ｍｓ以上９００ｍｓ以下の範囲に含まれる前記脳波信号の波形と所定のテンプレートとの類似度
    と、
    判定結果に応じて、前記ユーザが前記単音節の語音を努力して聞いているか否かの評価結果を出力するステップと、
    前記単音節の語音が呈示された時刻を起点として１００ｍｓ以上３００ｍｓ以下の範囲に含まれる前記脳波信号の事象関連電位に、陰性成分が出現したか否か判定するステップと、
    判定結果に応じて、前記ユーザが前記単音節の語音をうるさいと感じているか否かの評価結果を出力するステップと
    を実行させる、コンピュータプログラム。

Images