JP5144835B2 - うるささ判定システム、装置、方法およびプログラム - Google Patents

Description

本発明は、ユーザが語音を快適に聴取できたか否かを評価（判定）するための技術に関する。

近年、社会の高齢化に伴い、加齢を原因とした難聴者が増加している。大音量の音楽を長時間聴く機会が増えたなどの影響により、若年の難聴者が増加している。また、補聴器の小型化・高性能化に伴い、ユーザが、抵抗なく、補聴器を装用するようになってきている。これらを背景として、会話の聞き分け能力の向上を目的に、補聴器を装用するユーザが増加している。

補聴器は、ユーザが聞きとりにくい音を構成する種々の周波数のうち、特定周波数の信号の振幅を増幅させることにより、ユーザの低下した聴力を補う。補聴器は、ユーザごとの聴力低下の度合いに応じて、音を増幅する量を調整することが求められる。そのため、補聴器の利用を開始する前には、ユーザごとの聴力に合わせて、音の増幅量を調整する「フィッティング」が必須である。

フィッティングとは、音の周波数ごとに、出力する音圧（音として知覚され得る、大気の圧力変動） をＭＣＬ（ｍｏｓｔ ｃｏｍｆｏｒｔａｂｌｅ ｌｅｖｅｌ：ユーザが快適に感じる音圧）にすることを意味する。このとき、（１）増幅量不足、または、（２）増幅量過多のいずれかの場合には、フィッティングが適切でない。たとえば、増幅量不足の場合、ユーザが音声を聞き分けられず、補聴器装用の目的が達成できない。また、増幅量過多の場合、ユーザが音声を聞き分けることができる。しかし、ユーザが音声をうるさいと感じるため、補聴器を長時間使用できないという問題が発生する。そのため、上記（１）または（２）のいずれにも該当しないよう、フィッティングを行う必要がある。特に（２）の場合には、補聴器から必要以上の大音量が呈示されることになり、ユーザの耳を傷つける可能性がある。

フィッティングの最初の手順は、オージオグラムの測定である。「オージオグラム」とは、聴取可能な純音の最小音圧を測定することを意味する。たとえば、複数の周波数の音のそれぞれについて、そのユーザが聞き取ることが可能な最も小さい音圧（デシベル値）を周波数（たとえば２５０Ｈｚ、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚ）に応じてプロットした図である。

次に、オージオグラムの結果から周波数ごとの増幅量を推定するための関数であるフィッティング理論に基づき、周波数ごとの増幅量を決定する。

しかしながら、オージオグラムとフィッティング理論に基づく調整のみでは、会話の聞き分け明瞭度を向上させる最適なフィッティングが実現されたかどうかは分からない。その理由として、たとえばオージオグラムと会話の聞き分け能力とが一対一対応しないこと、難聴者は適切な大きさに感じる音圧の範囲が狭いため調整が難しいことなどが挙げられる。

そこで、上記の方法で決定・調整された補聴器を装用して、補聴器適合検査が実施される（たとえば、非特許文献1参照）。補聴器適合検査の必須検査項目には、（１）語音明瞭度曲線の測定、（２）環境騒音許容レベルの測定の２種類がある。

語音明瞭度曲線の測定では、補聴器装用時と補聴器非装用時（裸耳）において、５５ｄＢ ＳＰＬ（Ｓｏｕｎｄ ｐｒｅｓｓｕｒｅ ｌｅｖｅｌ）、６５ｄＢ ＳＰＬ、７５ｄＢＳＰＬおよび８５ｄＢ ＳＰＬの音圧で単音節の語音音声を呈示し、それぞれの音圧ごとの語音明瞭度をプロットし比較する。そして、非装用時の場合と比較して装用時において明瞭度が向上していれば適合と判定する。

この「語音明瞭度」とは、単音節の語音音声が聞き取れたか否かの程度の指標をいう。語音明瞭度は、会話時の聞き分けの程度を反映する。「単音節の語音」とは、一つの母音、または子音と母音との組合せを示す（たとえば「あ」／「だ」／「し」）。

語音明瞭度は、以下の手順で評価する（たとえば非特許文献２）。まず、日本聴覚医学会が制定した６７Ｓ式語表（２０語音）の音声をひとつずつ再生し、ユーザに聞かせる。次に、呈示された語音をどの語音として聞き取ったかをユーザに発話または書き取りなどの方法で回答させる。そして、評価者が呈示した語音と回答とを照合し、全２０語音のうち正しく聞き取れた語音の割合である正解率を計算する。その正解率が語音明瞭度である。

語音明瞭度の評価方法に関して、従来から種々の技術が公開されている。たとえば、特許文献１には、パーソナルコンピュータ（ＰＣ）を用いて自動的に正誤判定を行う語音明瞭度評価方法が開示されている。特許文献１では、ＰＣを用いてユーザに対して単音節の音声を呈示し、ユーザにマウスまたはペンタッチ（touch the pen to the display）により回答させ、回答をＰＣの入力として受け付け、呈示した音声と回答入力との正誤判定を自動的に行う方法が提案されている。マウスまたはペンタッチで回答入力を受けることで、ユーザの回答（発話または書き取り）を評価者が識別／解読する必要がなくなり、評価者の手間が削減される。

また、たとえば特許文献２には、音声呈示後に該当する語音の選択候補を文字で呈示する語音明瞭度評価方法が開示されている。特許文献２では、選択候補を数個に絞り、数個の文字の中から該当する語音を選択させることでユーザが文字を探す手間を低減している。

一方、環境騒音許容レベルの測定では、朗読音と環境騒音を同時に呈示し朗読音を聴取させた場合に、環境騒音が許容できるかどうかを評価する（非特許文献２）。具体的には、朗読音を６５ｄＢ ＳＰＬで、環境騒音を５５ｄＢ ＳＰＬで呈示し、環境騒音が許容できるかどうかに関する主観的な印象を報告させる。主観的な印象として、雑音下で朗読音を聴取するときに補聴器を使用できる、または雑音下での補聴器装用は困難である、のどちらかを報告さＦせる。そして、前者の場合を適合、後者の場合を不適合と判定する。

特開平９−０３８０６９号公報 特開平６−１１４０３８号公報

細井裕司他、「補聴器適合検査の指針２００８」、２００８年 小寺一興、「補聴器フィッティングの考え方」、診断と治療社、１９９９年、１６６頁

しかしながら、上述の補聴器適合検査のうち、語音明瞭度曲線の測定では、語音明瞭度のみに基づいて適合状態が判定されており、語音聴取時にユーザがうるさいと感じたか否かは考慮されていなかった。そのため、語音聴取時にうるさいと感じた場合にも、非装用時と比較して補聴器装用時において明瞭度が高ければ、適した補聴処理であると評価された。また、環境騒音許容レベルの測定では、環境騒音が許容できるか否かが評価され、語音聴取に対するうるささの評価はされなかった。これらの評価では、語音聴取時にユーザがうるさいと感じる、聞いていて疲れやすい補聴処理であっても、適合していると判定してしまう場合があった。語音聴取に対するうるささは、補聴器を日常的に装用するユーザにとって負担である。

本発明の目的は、語音聴取に対するうるささに関するユーザ状態を評価する仕組みを提供することである。

本発明のある実施形態によるうるささ判定システムは、ユーザの脳波信号を計測する生体信号計測部と、複数の単音節の語音を保持する語音データベースであって、各語音について、語音と前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けられている語音データベースと、前記語音データベースを参照して、呈示する単音節の語音を決定する呈示語音決定部と、前記ユーザに、決定された語音を呈示する出力部と、前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較して、出力された前記語音のうるささを判定するうるささ判定部とを備えている。

語音データベースは、前記語音に含まれる子音の長さ又は子音の強度に応じて、前記語音と前記語音に対応する脳波信号の陰性成分の基準潜時を対応付けていてもよい。

前記うるささ判定部は、前記陰性成分のピーク潜時が前記基準潜時よりも小さい場合に、前記音声信号が前記ユーザにとってうるさいと判定し、前記陰性成分のピーク潜時が前記基準潜時よりも大きい場合に、前記音声信号が前記ユーザにとってうるさくないと判定してもよい。

前記うるささ判定システムは、前記脳波信号の事象関連電位を、所定の基準にしたがって加算する事象関連電位処理部をさらに備え、前記呈示語音決定部は、複数の語音を決定し、前記出力部は、決定された前記複数の語音を順次呈示し、前記事象関連電位処理部は、前記複数の語音について、前記語音の種類又は前記語音呈示されたときの音圧が同じ語音が呈示された時刻を起点とした前記脳波信号の事象関連電位を加算して、前記加算した結果を前記うるささ判定部に出力してもよい。

前記うるささ判定部は、前記ピーク潜時として、前記決定された前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分の最小の電位を取る時刻、または、前記脳波信号と予め用意されたＮ１成分の波形のテンプレートとの一致度が最も高くなる場合の、前記テンプレートに対応付けられたピーク潜時を採用してもよい。

前記事象関連電位処理部は、子音ごとまたは基準潜時の差が所定の値よりも小さい語音グループごとに事象関連電位を加算してもよい。

前記うるささ判定システムは、前記語音のうるささに関する判定結果を示す情報を蓄積する結果蓄積データベースをさらに備え、前記結果蓄積データベースには、語音ごと、子音ごと、または、基準潜時の差が所定の値よりも小さい語音グループごとに、前記語音のうるささに関する判定結果を示す情報が蓄積されていてもよい。

前記うるささ判定システムは、前記呈示された前記語音に関して補聴処理の種類を選択し、選択された補聴処理に基づいて前記語音データベースに保持されている語音データを加工する補聴処理部をさらに備えていてもよい。

前記うるささ判定システムは、ユーザごとの陰性成分の潜時を求める校正モードと、うるささを評価する評価モードとを切り替える切替部をさらに備え、前記校正モードにおいて、前記切替部は、前記呈示語音決定部において母音を選択し、母音に対する前記陰性成分の潜時に基づいて語音ごとの基準潜時を算出し、前記評価モードに切り替えられた後において、前記切替部は、前記陰性成分のピーク潜時と算出した前記基準潜時とを比較してもよい。

前記校正モードにおいて、前記評価切替部は、前記呈示語音決定部において母音が選択された場合に、母音に対するＮ１成分の潜時を母音の基準潜時に設定し、母音の基準潜時に子音部分の長さまたは強度に応じて決定された正の値を加えて、子音ごとの基準潜時を算出してもよい。

本発明の他の実施形態による補聴処理システムは、複数の単音節の語音を保持する語音データベースであって、各語音について、語音と前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けられている語音データベースと、前記語音データベースを参照して、呈示する単音節の語音を決定する呈示語音決定部と、生体信号計測部によって計測された前記ユーザの脳波信号のうち、前記語音が出力部によってユーザに呈示された時刻を起点として、５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較した結果を出力するうるささ判定部と、前記うるささ判定部が出力した、前記脳波信号の陰性成分のピーク潜時と前記語音に対応する基準潜時との差に基づいて、前記語音を調整する補聴処理部とを備えている。

本発明の他の実施形態によるうるささ判定方法は、ユーザの脳波信号を計測するステップと、複数の単音節の語音と、前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けて保持されている語音データベースを参照して、呈示する単音節の語音を決定するステップと、前記ユーザに、決定された語音を呈示するステップと、前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較して、出力された前記語音のうるささを判定するステップとを包含する。

本発明の他の実施形態によるコンピュータプログラムは、語音聴取のうるささ判定システムに設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記うるささ判定システムに実装されるコンピュータに対し、ユーザの脳波信号を受け取るステップと、複数の単音節の語音と、前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けて保持されている語音データベースを参照して、呈示する単音節の語音を決定するステップと、前記ユーザに、決定された語音を呈示するステップと、前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較して、出力された前記語音のうるささを判定するステップとを実行させる。

本発明のさらに他の実施形態によるうるささ判定システムは、ユーザの脳波信号を計測する生体信号計測部と、特定話者が発声した音声信号を入力するための音声入力部と、前記音声信号が入力されたタイミングを検出してトリガを出力し、さらに前記音声の子音部分の長さおよび強度に関する特徴を分析する音声分析部と、前記音声分析部で分析された前記特徴に基づいて、陰性成分の基準潜時を推定する基準潜時推定部と、前記トリガを起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記基準潜時推定部によって推定された基準潜時とを比較してうるささを判定するうるささ判定部とを備えている。

前記うるささ判定システムは、前記特定話者に発生させるための語音を示す文字情報を出力する文字出力部をさらに備え、前記文字出力部によって出力された文字情報に基づいて前記特定話者が発生した音声信号が前記音声入力部に入力されてもよい。

前記文字出力部は、前記単音節の語音を前記特定話者が発声する際の大きさを示す音圧に関する情報をさらに出力し、前記文字出力部によって出力された文字情報および音圧に関する情報に基づいて前記特定話者が発生した音声信号が前記音声入力部に入力されてもよい。

前記うるささ判定システムは、予め用意された語音リストを参照して、前記特定話者に発声させる語音を決定する呈示語音決定部をさらに備え、前記文字出力部は、前記呈示語音決定部によって決定された前記語音を示す文字情報を出力してもよい。

前記基準潜時推定部は、前記音声分析部で分析された前記特徴、および、呈示語音決定部が決定した前記特定話者に発声させる語音に基づいて、前記陰性成分の基準潜時を推定してもよい。

前記基準潜時推定部は、予め用意されたベース潜時に、前記音声の子音長あるいは子音強度に基づいて決定される所定の正の値を加えることにより、前記陰性成分の基準潜時を推定してもよい。

本発明のさらに他の実施形態によるうるささ判定方法は、ユーザの脳波信号を計測するステップと、特定話者が発声した音声信号を入力するステップと、前記音声信号が入力されたタイミングを検出してトリガを出力し、さらに前記音声の子音部分の長さおよび強度に関する特徴を分析するステップと、分析する前記ステップで分析された前記特徴に基づいて、陰性成分の基準潜時を推定するステップと、前記トリガを起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、推定する前記ステップによって推定された基準潜時とを比較してうるささを判定するステップとを包含する、。

本発明によれば、語音聴取に対するうるささに関するユーザ状態を評価する仕組みを提供できる。

脳波計測実験の実験手順の概要を示す図である。 １試行分の手順を示すフローチャートである。 （ａ）は、騒音計で測定した条件ごとの音圧レベルを示す図であり、（ｂ）は、６つの条件のそれぞれにおける周波数ごとのゲイン調整量を示す図である。 （ａ）は、国際１０−２０法（１０−２０ System）の電極位置を示した図である。（ｂ）は、脳波計を装着した電極配置である。 うるささについて、ビジュアルアナログスケールで主観報告行った結果を示す図である。 音声が呈示された時刻を起点としたＰｚにおける事象関連電位を、うるささに関する主観評価ごとに加算平均した波形を示す図である。 実験で呈示したＭＦ条件の音声波形である。 同じ子音を持つ語音ごとの加算平均波形の例である。 同じ子音を持つ語音ごとのＮ１成分の潜時の音圧による変化と、従来研究による純音のＮ１成分の潜時の音圧による変化を示した図である。 刺激として呈示した語音音声の子音強度の例として、ＭＦ条件における子音部分に関する二乗平均振幅のその時刻までの和を示す図である。 子音強度が弱い子音および強い子音の各音声波形の例を示す図である。 Ｎ１成分の潜時の比較結果と、うるささ判定結果の対応関係を示す図である。 実施形態１による語音聴取のうるささ判定システム１００の構成および利用環境を示す図である。 実施形態１による語音聴取のうるささ判定装置１のハードウェア構成を示す図である。 実施形態１による語音聴取のうるささ判定システム１００の機能ブロックの構成を示す図である。 語音ＤＢ７１の例を示す図である。 実施形態１による手法を用いたうるささの判定結果蓄積の例を示す図である。 実施形態１による手法を用いたうるささの判定結果と、従来の語音明瞭度曲線の結果との比較を示す図である。 語音聴取のうるささ判定システム１００において行われる処理の手順を示すフローチャートである。 単音節の単語ごとの評価結果の一例を示す図である。 実施形態２による語音聴取のうるささ判定システム２００の機能ブロックの構成を示す図である。 実施形態２による手法を用いたうるささの判定結果蓄積の例を示す図である。 実施形態２による語音聴取のうるささ判定システム２００の処理手順を示すフローチャートである。 実施形態３による語音聴取のうるささ判定システム３００の機能ブロックの構成を示す図である。 実施形態３による語音聴取のうるささ判定システム３００の処理手順を示すフローチャートである。 実施形態４による語音聴取のうるささ判定システム４００の機能ブロックの構成を示す図である。 実施形態４による語音聴取のうるささ判定装置４のハードウェア構成を示す図である。 実施形態４による語音聴取のうるささ判定システム４００の処理手順を示すフローチャートである。

以下、添付の図面を参照して、本発明による語音聴取のうるささ判定システムの実施形態を説明する。

本発明による語音聴取のうるささ判定システムは、語音聴取時のユーザ状態として、脳波を利用して語音聴取時にユーザがうるさいと感じたか、を評価するために用いられる。より具体的には、本システムは、単音節の語音を音声で呈示し、音声呈示を起点として計測したユーザ脳波の事象関連電位を指標に、語音聴取のうるささを評価する。

ここで、本明細書で用いる文言を説明する。「事象関連電位（ｅｖｅｎｔ−ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ：ＥＲＰ）」とは、脳波（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。また、「音声を呈示する」とは、聴覚刺激（「音声刺激」ともいう。）を出力することをいう。たとえば、音声をスピーカから出力する。なお、スピーカの種類は任意であり、床やスタンド上に設置されたスピーカでもよいし、ヘッドフォン型のスピーカでもよい。ただし、スピーカは、正しく評価を行うために指定した音圧で正確に出力できる必要がある。また「評価」は「判定」の意味としても用いられる。

本願発明者らは、語音明瞭度評価および評価時のユーザ状態を詳細に分析した結果、ユーザにとってうるさいと感じる程度を示す「うるささ」の評価が必要であるという知見を見出した。以下で、具体的に説明する。

語音明瞭度評価では、語音ごとに音声を聞き分けられたかどうかを聞き分けられた（○）／聞き分けられなかった（×）で評価する。聞き分けられた語音の数を評価対象の語音数（６７ｓ式語表の場合は２０）で割って求める。そのため、語音聴取時のユーザ状態は結果に反映されない。

しかしながら、実際には快適に聞き分けができた場合と、聞き分けはできたが不快であった場合が存在すると考えられる。語音明瞭度評価は、補聴器販売店において実施される短時間の評価である。ユーザがうるさいと感じたかどうかは評価対象ではないため、我慢できないうるささでなければ少しうるさいと感じてもユーザは我慢して評価課題を遂行する。

ところが、日常的に長時間にわたって補聴器を装用する場合には、長時間にわたってうるささを我慢することは、ユーザにとって負担である。

これらの状況に鑑み、本願発明者らは、語音聴取時のユーザ状態として、「うるささに対する我慢」が不要な場合と、「うるささに対する我慢」が必要な場合は切り分けて評価すべきであると考えた。うるささは、語音聴取時の脳内における処理であるため、脳波の測定により評価できる可能性がある。

１．実験概要
本願発明者らは、語音聴取のうるささ判定の実現を目指し、うるささを反映した脳波特徴成分を特定するために以下の実験を実施した。

単音節の語音を音声で呈示し、音声に対応する語音をユーザに思い浮かべさせる設定で、音声呈示を起点に事象関連電位を計測する脳波計測実験を実施した。実験では、語音聴取に対するうるささに関する主観報告をさせた。そして、うるささに関する主観報告に基づき、それぞれ事象関連電位を加算平均した。なお、音声に対応する語音を思い浮かべさせるという手順は、うるささ判定においては必須ではない。

その結果、本願発明者らは、音声呈示を起点とした事象関連電位において、音声に対するうるささの増加に伴い潜時約２００ｍｓの陰性成分（Ｎ１成分）の潜時が短くなることを発見した。さらに、語音ごとの子音長又は子音強度などの特徴の違いによって、Ｎ１成分の潜時が異なることを発見した。「潜時」とは、音声刺激が呈示された時刻を起点として陽性成分または陰性成分のピークが出現するまでの時間を示す。

これらの発見から、本願発明者らは、潜時約２００ｍｓの陰性成分（Ｎ１成分）の潜時から語音聴取のうるささの判定が可能であることを見出した。本手法により、語音聴取のユーザ状態として、うるさいと感じていたかの評価を、語音ごとに客観的・定量的に実現できる。

以下で、これらをより詳細に説明する。はじめに、語音聴取のうるささ判定を実現するために本願発明者らが実施した脳波計測実験について説明する。その後、実施形態としての、語音聴取の快適性を評価する語音聴取のうるささ判定装置の概要および語音聴取のうるささ判定装置を含む語音聴取のうるささ判定システムの構成および動作を説明する。

２．脳波計測実験
脳波計測実験では、音声呈示後に取得したうるささに関する主観報告と、音声を起点とした事象関連電位との関係を調べた。以下、図１から図６を参照しながら、脳波計測実験の実験設定および実験結果を説明する。

実験参加者は、正常な聴力を持つ大学・大学院生１３名であった。

図１は、脳波計測実験の実験手順の概要である。まず、手順Ａにおいて単音節の音声を呈示した。呈示した音声の詳細は後述する。次に手順Ｂにおいて、参加者に音声を聞かせ、聞き取った音声に対応する平仮名を書き取らせた。呈示音声の条件を変えず、語音の種類のみ変化させた。手順ＡとＢを５試行繰り返した。そして手順Ｃにおいて、参加者に手順Ａで呈示した音声に対する、うるささ等に関する主観評価を実施させた。主観評価はタッチパネルを利用し、ビジュアルアナログスケール（１００段階評価）で行った。上述の手順Ａから手順Ｃを１ブロックとして１２ブロック繰り返した（計６０試行）。ブロックごとに呈示音声の音圧と歪みの条件は、ランダムな順序で変化させた。

図２は、１ブロック分の手順を示すフローチャートである。

ステップＳ１１では、単音節の音声を実験参加者に呈示する。

ステップＳ１２では、参加者が単音節の音声を聞いて対応する文字を思い浮かべる。

ステップＳ１３では、参加者が聞き取った音声に対する文字を書き取る。

ステップＳ１４では、音声の呈示回数をカウントする。呈示回数が４回まではステップＳ１１に戻る。呈示回数が５回のときステップＳ１５に進み、呈示回数をリセットする。

ステップＳ１５では、参加者がステップＳ１１で聞き取った音声に対して主観を回答する。

刺激として呈示した語音音声は、聞き取り間違いが多いとされる無声子音のうち、日本聴覚医学会が制定した６７Ｓ式語表に含まれる８音（キ、ク、シ、ス、タ、テ、ト、ハ）とした。正常な聴力を有する参加者に対して、うるささを操作するために、周波数ゲインを調整した語音音声を用いた。「周波数ゲイン」とは、複数の周波数帯域ごとのゲイン（回路の利得、増幅率）を意味する。

周波数ゲインの調整には、音圧３種類（大：Large、中：Middle、小：Small）×歪み２種類（なし：Flat、あり：Distorted）の計６条件を利用した。具体的には以下の（１）〜（６）のとおりである。本明細書では、たとえば、音圧大・歪みなしはLargeとFlatの頭文字を取り、ＬＦ条件などと呼ぶ。

（１）ＬＦ（Ｌａｒｇｅ Ｆｌａｔ）条件：音圧は大きく聞き分け易い音声として全ての周波数帯域においてゲインを２０ｄＢ向上させた。（２）ＬＤ（Ｌａｒｇｅ Ｄｉｓｔｏｒｔｅｄ）条件：音圧は大きいが聞き分けが難しい音声としてＭＤ条件をベースに全体的に２０ｄＢ向上させた。（３）ＭＦ（Ｍｉｄｄｌｅ Ｆｌａｔ）条件：音圧が大きく聞き分けやすい音声として周波数ゲインの加工をしなかった。（４）ＭＤ（Ｍｉｄｄｌｅ Ｄｉｓｔｏｒｔｅｄ）条件：聞き分けが難しい音声としてＬＦ条件の音声を２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−３０ｄＢまで調整（低減）した。（５）ＳＦ（Ｓｍａｌｌ Ｆｌａｔ）条件：音圧は小さいが聞き分け易い音声として全ての周波数帯域においてゲインを２０ｄＢ下げた。（６）ＳＤ（Ｓｍａｌｌ Ｄｉｓｔｏｒｔｅｄ）条件：音圧が小さく聞き分けが難しい音声としてＭＤ条件をベースに全体的に２０ｄＢ下げた。

図３（ａ）は、音声と歪みの６条件の分類を示す。また、図３（ｂ）は、周波数ごとのゲイン調整量を示す。高周波数帯の周波数ゲインを低減させた理由は、高齢難聴の典型的なパターンである高音漸傾型を模擬するためである。音声刺激は、周波数特性がフラットなスピーカから呈示した。

脳波は頭皮上のＦｚ、Ｃｚ、Ｐｚ、Ｃ３、Ｃ４（国際１０−２０法）、左右こめかみ、右目上下から右マストイドを基準に記録した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。図４（ａ）は、国際１０−２０法（１０−２０ System）の電極位置を示し、図４（ｂ）は本実験で電極を装着した電極配置を示す。サンプリング周波数は２００Ｈｚ、時定数は１秒とした。オフラインで０．０５−２０Ｈｚのディジタルバンドパスフィルタをかけた。音声呈示に対する事象関連電位として、音声が呈示された時刻を起点に−２００ｍｓから１０００ｍｓの波形を切り出した。ここで、「−２００ｍｓ」とは、音声を呈示する時刻より２００ミリ秒前の時点をいう。

以下、主観評価結果の分布と閾値の設定を説明する。

まず、主観評価の結果を示す。主観評価結果に基づき、後述の方法で決定した参加者ごとの閾値に基づいて、「うるさい」／「うるさくない」のラベル付けを行った。以下では、その主観評価のラベルを語音聴取時のユーザ状態とする。

図５は、うるささに関する参加者ごとの主観評価の結果である。横軸は主観評価値（ビジュアルアナログスケールの１から１００）で、縦軸は度数分布を全試行数で割った割合（０から１）である。図５には全試行に対する割合が示されている。

図５中の実線は主観評価結果の分布であり、破線は主観評価（「うるさい」／「うるさくない」）を分割した閾値を示す。本願発明者らは、閾値を個人ごとの評価結果（ビジュアルアナログスケールの１から１００）の順位に基づいて決定した。具体的には本願発明者らは、個人内での評価値の順位が、評価値が大きい方から３分の１を「うるさい」、それ以外を「うるさくない」とし、閾値を設定した。ただし、評価結果が同じものは同じ主観評価として扱った。

以下、事象関連電位の結果として、主観評価の結果によってラベル付けした、「うるさい」／「うるさくない」の基準に基づいて加算平均した結果を説明する。

図６は、頭頂部（Ｐｚ）において音声刺激が呈示された時刻を起点とした事象関連電位を示す。具体的には、図６は、上述の方法でラベル付けした「うるさい」／「うるさくない」の基準によって分けて総加算平均した波形である。加算平均は、上記計測実験の全６条件における、ブロックごとのうるささに関する主観評価に基づいて行った。図６の横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。図６中に示されたスケールから明らかなとおり、グラフの下方向が正（陽性）に、上方向が負（陰性）に対応している。図６中に示される実線は「うるさい」場合の総加算平均波形であり、破線は、「うるさくない」場合の総加算平均波形である。

図６より、「うるさくない」場合の破線に比べて、「うるさい」場合の実線では、潜時約２００ｍｓに惹起される陰性成分（Ｎ１成分）の潜時が短いことが分かる。参加者ごとのＮ１成分の潜時は「うるさい」場合は１９５ｍｓ、「うるさくない」場合には２４０ｍｓであった。潜時をｔ検定した結果、有意差が認められた（ｐ＜．０５）。よって、「うるさくない」場合よりも「うるさい」場合で潜時は短かったと結論付けることができた音声刺激の呈示（以下「音声呈示」という。）が行われた時刻を起点としたＮ１成分の潜時は、ユーザの主観的なうるささを反映し、語音聴取時のうるささの指標として利用できるといえる。

ところで、純音（トーンピップ、トーンバースト）を用いた従来研究により、聴覚刺激に対するＮ１成分の潜時および振幅は、音刺激の強度と立ち上がり時間に応じて変化することが知られている（鈴木他、１９８５、聴性脳幹反応−その基礎と臨床− ｐｐ３８４−３８５参照）。具体的には、刺激音の強度の増大に伴って潜時は短縮し、振幅（Ｎ１成分−Ｐ２成分の差の絶対値）は増大する。また、刺激音の立ち上がり時間の増大に伴い、振幅が減少する。

本実験では聴覚刺激として語音を用いた。図７は、本実験で用いた、ＭＦ条件（８語音：キ、ク、シ、ス、タ、テ、ト、ハ）の音声波形の例を示す。図７からも明らかなように、音声ごとに、子音部分の長さ・強度や、母音部分の強度・立ち上がり時間が異なっていることが分かる。たとえば子音部分の長さ（子音長）に着目する。子音長は、発生開始時刻（０ｍｓ）後に、波形が比較的大きく立ち上がるまでの時間長である。より具体的には、子音長は、母音が立ち上がるまでの時間長である。子音長は、カ行（キ・ク）では約８０ｍｓ、サ行（シ・ス）では約１７０ｍｓ、タ行（タ・テ・ト）では約４０ｍｓ、ハ行（ハ）では１３０ｍｓであった。また、たとえば、子音部分の強度は、サ行においてカ・タ・ハ行と比べて強かった。それら行ごとの音声波形が大きく異なる一方で、同じ行であれば全体の波形の特徴が似ていることも分かる。

なお、カ行とは、ｋから始まる語音を示す。具体的には、ｋａ、ｋｉ、ｋｕ、ｋｅ、ｋｏを示す。サ行とは、ｓから始まる語音を示す。具体的には、ｓａ、ｓｉ、ｓｕ、ｓｅ、ｓｏを示す。タ行とは、ｔから始まる語音を示す。具体的には、ｔａ、ｔｉ、ｔｕ、ｔｅ、ｔｏを示す。

従来研究における純音刺激に関する知見、および、図７に示した語音ごとの音声波形の差異によれば、語音に対するＮ１成分の潜時・振幅は、語音ごとに異なる可能性がある。呈示した語音音声の特徴がＮ１成分の潜時変動の要因であるとすれば、「うるささ」とは無関係にＮ１成分の潜時が変動する。そのため、たとえばうるさくない音声に対してうるさい、あるいはうるさい音声に対してうるさくない、のような誤評価をするおそれがある。

そこで、本願発明者らは、音声波形の特徴が似ている同じ行ごとに加算平均を実施した。行ごとの加算平均により、Ｎ１成分の潜時の分析に必要な一定の加算平均回数を確保した。そして、行ごとの加算平均波形の結果から音声刺激の特徴の違いがＮ１成分の潜時におよぼす影響を調べた。なお、音圧とＮ１成分潜時との関係を明らかにするために、歪みの有無に関わらず、音圧ごとに加算平均を実施した。

図８（ａ）〜（ｃ）は、行ごとの加算平均の結果の一例である。図８（ａ）〜（ｃ）は順に、タ行（タ・テ・ト）、ハ行（ハ）、サ行（シ・ス）の結果を示している。図８の横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。

図８中に示されたスケールから明らかなとおり、グラフの下方向が正（陽性）に、上方向が負（陰性）に対応している。図８中に示される太実線はＬａｒｇｅ条件（８５ｄＢ）の場合の総加算平均波形であり、破線は、Ｍｉｄｄｌｅ条件（６５ｄＢ）の場合の総加算平均波形、細実線はＳｍａｌｌ条件（４５ｄＢ）の場合の総加算平均波形である。図８中の○印は、Ｎ１成分を示している。Ｎ１成分は、たとえば０ｍｓから５００ｍｓの区間における最小値を取っている。また、図８（ａ）から（ｃ）中に、音声波形と脳波との時間的な対応関係を示すために、それぞれの行を代表して、語音「タ」、「ハ」、「シ」の音声波形を、起点をそろえて示した。図８より、いずれの行においても、音圧の増大に伴ってＮ１成分の潜時が短縮している様子が見て取れる。また、図８（ｃ）のＬａｒｇｅ条件では、母音部分が立ち上がる前に、Ｎ１成分がピークをとることがわかる。

図９は、本実験によって得られたＮ１成分の潜時の、音圧による変化の一例を示す。図９中には、従来研究による純音の音圧による変化も示した。図９によれば、（１）音強度、および、（２）子音長について、下記の特徴を見出すことができる。（１）音強度については、いずれの行においても音圧の増大に伴い、Ｎ１潜時が短縮していることが分かる。また、（２）子音長については、タ行の結果とハ行の結果との比較により、子音長に応じて、Ｎ１成分の潜時が異なることが分かる。

以下、上述の音強度、および、子音長に関してそれぞれ考察する。

まず、語音音声の音圧増大に伴うＮ１成分の潜時の減少特性を考察する。従来研究によれば、純音では、同様の４０ｄＢの音圧増大に対して、Ｎ１成分の潜時は１０ｍｓのみ短縮することが分かっている。一方、本願発明者らの実験結果を用いて語音音声の音圧増大に伴うＮ１潜時の減少度合いを検討すると、４５ｄＢから８５ｄＢにかけての４０ｄＢの音圧増大に対して、サ行・タ行・ハ行の平均で約１００ｍｓ短縮することが認められた。これは、純音と語音とではＮ１成分の減少特性が異なることを示している。よって、語音音声の音圧増大に伴う振幅減少特性は本願発明者らが実施した実験において初めて明らかになったといえる。

次に、子音長に応じたＮ１成分の潜時の減少特性を考察する。たとえば、図７に示されるように、タ行とハ行の子音長はそれぞれ約４０ｍｓと約１３０ｍｓであり、約９０ｍｓの差がある。Ｓｍａｌｌ条件におけるタ行とハ行の潜時は２３６ｍｓと３２２ｍｓであり、約９０ｍｓの差が保存されている。よって、このＮ１成分は母音の立ち上がりに対して惹起されたと考えられる。一方、ほかの行と比べて子音強度が強いサ行では、子音長の影響は異なった。サ行の子音長は約１７０ｍｓであり、ハ行の子音長（約１３０ｍｓ）比較して長いが、全ての音圧条件においてＮ１成分の潜時はサ行においてハ行よりも短かった。また、サ行のＬａｒｇｅ条件におけるＮ１成分の潜時は１５６ｍｓであり、サ行の子音長よりも短かった。

これらの結果から、子音長の持続時間が所定時間（たとえば１００ｍｓ程度）よりも長く、かつ子音強度が強い場合には、子音に対してＮ１成分が惹起されるといえる。

図１０は、刺激として呈示した語音音声の子音強度の例として、ＭＦ条件における子音部分に関する二乗平均振幅のその時刻までの和を示す。図１０より、サ行では、ほかの語音と比較して、子音部の強度が強いことが分かる。「子音強度」とは、音声波形の子音部分の時間帯における振幅の大きさを意味する。子音強度は、たとえば子音部分の振幅の二乗平均値によって求めてもよい。

また、図１１は、子音強度が弱い子音および強い子音の各音声波形の例を示す。ザ行「ジ」・ラ行「リ」に比べてマ行「モ」・ナ行「ネ」の子音強度が強い様子が見て取れる。なお、サ行以外に、たとえばマ行・ナ行・ヤ行・ワ行・ガ行の語音については子音強度が強いといえる。

よって、子音部分の強度が強い子音の、子音部分に対してＮ１成分が惹起されず、母音部分にのみＮ１成分が惹起された場合（Ｎ１成分の潜時が想定よりも大幅に遅れた場合）には、子音部分が聞き取れなかったと判定することも可能である。

以上、脳波計測実験により、語音聴取に対するユーザのうるささに関する主観評価を反映する脳波成分の存在が明らかになった。具体的には、うるささは潜時約２００ｍｓにピークを持つ陰性電位に反映されることを発見した。また、Ｎ１成分の潜時は、音声波形の違いの影響で語音ごとに異なることを発見した。

上述の頭頂部（Ｐｚ）における、うるささに関する主観評価ごとの、潜時約２００ｍｓのＮ１成分（図６）の潜時は、たとえば該当区間において最小の電位を取る時刻としてもよい。また、典型的なＮ１成分の波形からテンプレートを作成し、そのテンプレートと計測波形の一致度が最も高くなる場合の、テンプレートのＮ１成分のピーク時刻を潜時としてもよい。なお、Ｎ１成分の潜時は、潜時に関する所定の閾値との比較を行う方法等によって識別可能である。なお、閾値・テンプレートはあらかじめ保持した典型的なユーザのものを利用してもよいし、個人ごとに作成してもよい。また、今回の実験では、音声が呈示された時刻を起点とした事象関連電位にうるささに関する主観を反映した成分が出現することを確認する意味で、１３人の参加者のデータを加算平均した。しかし、特徴量抽出の方法（たとえば波形のウェーブレット変換）や識別方法（たとえばサポートベクターマシンラーニング）の工夫により、非加算または数回程度の少数加算でも陰性成分の識別は可能である。

本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時約２００ｍｓ」と表現している。これは、２００ｍｓという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に」（加我君孝ほか編集、篠原出版新社、１９９５）の３０頁に記載の表１によると、一般的に、事象関連電位の波形には、個人ごとに３０ｍｓから５０ｍｓの差異（ずれ）が生じる。したがって、「約Ｘｍｓ」や「Ｘｍｓ付近」という語は、Ｘｍｓを中心として３０から５０ｍｓの幅がその前後（例えば、３００ｍｓ±３０ｍｓ、７５０ｍｓ±５０ｍｓ）に存在し得ることを意味している。また、上述のように、語音音声の特徴に応じてＮ１成分の潜時は変化する。よって、少なくとも子音長の変動分（０ｍｓ：母音から約２００ｍｓ：子音）を含めて、より広い幅、たとえば前後に約１５０ｍｓ程度の幅であるとして取り扱うことが好ましい。よって、本実施形態において、「潜時約２００ｍｓ」は、５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる潜時を意味する。

以上、本願発明者らが実施した脳波計測実験により、音声が呈示された時刻を起点とした事象関連電位において、潜時約２００ｍｓの陰性成分（Ｎ１成分）がうるささを反映することが明らかになった。ゆえに、音声呈示（音声刺激）に対する事象関連電位を指標に、語音聴取時のうるささに関する主観評価が実現可能となる。

図１２は、本願発明者らによってまとめられた、Ｎ１成分の潜時とうるささ判定との対応関係を示す。Ｎ１成分の潜時が所定の閾値よりも短い場合に「うるさい」と判定する。Ｎ１成分の潜時が所定の閾値よりも長い場合に「うるさくない」と判定する。

なお、一般的には「陰性成分」とは０μＶよりも小さい電位を意味する。しかしながら本願明細書では、「うるさい」と感じたか否かを識別するために、潜時が所定の閾値よりも短い場合を「陰性成分あり」、潜時が所定の閾値よりも長い場合を「陰性成分なし」と定義する。閾値の具体例は後述する。

以下、本発明の実施形態にかかる語音聴取のうるささ判定システムを説明する。語音聴取のうるささ判定システムは、単音節の語音を音声で順次呈示し、音声が呈示された時刻を起点とした事象関連電位の潜時約２００ｍｓの陰性成分の潜時に基づいて、語音聴取のうるささ判定を実現する。これは本願発明者らの発見に基づき初めて実現される。

（実施形態１）
以下では、まず、語音聴取のうるささ判定システムの概要を説明する。その後、語音聴取のうるささ判定装置を含む語音聴取のうるささ判定システムの構成および動作を説明する。

本実施形態による語音聴取のうるささ判定システムは、音声を順次呈示し音声呈示時刻の各々を起点に事象関連電位を計測する。そして、潜時約２００ｍｓの陰性成分を検出し、語音聴取のうるささを判定する。

本実施形態においては、探査電極を頭頂部（Ｐｚ）に設け、基準電極を左右どちらかのマストイドに設けて、探査電極と基準電極の電位差である脳波を計測する。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定の仕方に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って事象関連電位の特徴成分を検出し、語音明瞭度の評価を行うことが可能である。そのような改変例は、本発明の範疇である。

なお、上記脳波計測実験の説明においては、実験的に正常な聴力を有する参加者に対して周波数ゲインの強弱を変化させて、難聴者の聞こえの状況に近い状況を再現した。しかしながら、難聴者に対して評価を実施する場合には聞き分けにくい語音をあえて呈示する必要はない。本実施形態では、あらかじめ測定した難聴者のオージオグラムからフィッティング理論に基づいて、周波数ごとに最適なゲインで調整された音声を呈示することを前提とする。なお、ユーザが補聴器を装用した状態で評価する場合には、呈示する音声に対する調整は不要である。

図１３は、本実施形態による語音聴取のうるささ判定システム１００の構成および利用環境を示す。この語音聴取のうるささ判定システム１００は後述する実施形態１のシステム構成に対応させて例示している。

語音聴取のうるささ判定システム１００は、語音聴取のうるささ判定装置１と、音声出力部１１と、生体信号計測部５０とを備えている。生体信号計測部５０は少なくとも２つの電極ＡおよびＢと接続されている。電極Ａはユーザ５のマストイドに貼り付けられ、電極Ｂはユーザ５の頭皮上の頭頂部（いわゆるＰｚ）に貼り付けられている。

語音聴取のうるささ判定システム１００は、単音節の語音をある音圧の音声でユーザ５に呈示し、音声呈示時刻を起点に計測したユーザ５の脳波（事象関連電位）において潜時約２００ｍｓのＮ１成分の潜時が所定の閾値よりも短いか否かを識別する。そして、呈示音声と当該Ｎ１成分の潜時に関する識別結果に基づき、語音聴取時にユーザがうるさいと感じたかを判定する。

ユーザ５の脳波は、電極Ａと電極Ｂとの電位差に基づいて生体信号計測部５０により取得される。生体信号計測部５０は、電位差に対応する情報（脳波信号）を無線または有線で語音聴取のうるささ判定装置１に送信する。図１３では、当該情報を生体信号計測部５０が無線で語音聴取のうるささ判定装置１に送信する例を示している。

語音聴取のうるささ判定装置１は、語音聴取のうるささ判定のための音声の音圧又は音声の呈示タイミングの制御を行い、音声出力部１１（たとえばスピーカ）を介してユーザ５に音声を呈示する。

図１４は、本実施形態による語音聴取のうるささ判定装置１のハードウェア構成を示す。語音聴取のうるささ判定装置１は、ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２とを有している。これらは互いにバス３４で接続され、相互にデータの授受が可能である。

ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。語音聴取のうるささ判定装置１は、このコンピュータプログラム３５にしたがって、同じメモリ３１に格納されている語音データベース（ＤＢ）７１を利用して、語音聴取のうるささ判定システム１００の全体を制御する処理を行う。この処理は後に詳述する。

オーディオコントローラ３２は、ＣＰＵ３０の命令に従って、それぞれ、呈示すべき音声を生成し、生成した音声信号を指定された音圧で音声出力部１１に出力する。

なお、語音聴取のうるささ判定装置１は、１つの半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。そのようなＤＳＰは、１つの集積回路で上述のＣＰＵ３０、メモリ３１、オーディオコントローラ３２の機能を全て実現することが可能である。

上述のコンピュータプログラム３５は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図１４に示すハードウェアを備えた機器（たとえばＰＣ）は、当該コンピュータプログラム３５を読み込むことにより、本実施形態による語音聴取のうるささ判定装置１として機能し得る。なお、語音ＤＢ７１はメモリ３１に保持されていなくてもよく、たとえばバス３４に接続されたハードディスク（図示せず）に格納されていてもよい。

図１５は、本実施形態による語音聴取のうるささ判定システム１００の機能ブロックの構成を示す。語音聴取のうるささ判定システム１００は、音声出力部１１と、生体信号計測部５０と、語音聴取のうるささ判定装置１とを有している。図１５はまた、語音聴取のうるささ判定装置１の詳細な機能ブロックも示している。すなわち、語音聴取のうるささ判定装置１は、事象関連電位処理部５５と、うるささ判定部６５と、呈示語音決定部７０と、語音ＤＢ７１と、結果蓄積ＤＢ８０とを備えている。なお、ユーザ５のブロックは説明の便宜のために示されている。

語音聴取のうるささ判定装置１の各機能ブロック（語音ＤＢ７１を除く）は、それぞれ、図１４に関連して説明したプログラムが実行されることによって、ＣＰＵ３０、メモリ３１、オーディオコントローラ３２によって全体としてその時々で実現される機能に対応している。

語音ＤＢ７１は、語音聴取のうるささ判定を行うための語音のデータベースである。図１６は、たとえば６７Ｓ式語表の２０語音を検査語音として用いる場合の語音ＤＢ７１の例を示す。図１６に示した語音ＤＢ７１では、呈示する語音ごとの音声ファイル、子音ラベルに加えて、語音ごとのＮ１成分の基準潜時を対応付けて保持する。語音毎のＮ１成分の基準潜時は、語音に含まれる子音の長さ又は子音の強度に応じた長さであることが好ましい。音声ファイルは、たとえば６７Ｓ語表の２０語に関する標準的なテスト音声としてもよいし、補聴器を装用して主に会話する相手の声を収録した収録音声としてもよい。保存されている音声は、あらかじめ測定した難聴者のオージオグラムからあるフィッティング理論に基づいて周波数ごとのゲイン調整（補聴処理）が完了しているとする。なお、保存される語音の種類は、６７Ｓ式語表の２０語音以外にも、５７Ｓ式語表の５０音を用いてもよい。子音ラベルは、ユーザ５がどの子音においてうるささが高いかを評価する際に利用される。

Ｎ１成分の基準潜時は、語音音声の特徴の違いの影響を考慮した、語音ごとのＮ１成分の潜時の閾値（単位はｍｓ）である。標準的なテスト音声を用いる場合には、一般的なユーザがうるささを感じる音圧において、語音ごとに計測したＮ１成分の潜時を用いてもよい。また、標準的なテスト音声に限らず、たとえば補聴器を装用して主に会話する相手の声を録音した収録音声を用いる場合には、たとえば呈示語音の子音長と子音強度とに基づいて算出した値を設定してもよい。このＮ１成分の基準潜時と、計測したＮ１成分の潜時との比較によって、うるささを判定する。うるささ判定の方法については後述する。

再び図１５を参照する。呈示語音決定部７０は、語音ＤＢ７１を参照し、どの語音をどの音圧で呈示するかを決定する。呈示語音は、たとえばランダムな順序で選択・決定してもよい。呈示語音の音圧は、語音明瞭度曲線測定の５５ｄＢ ＳＰＬ、６５ｄＢ ＳＰＬ、７５ｄＢ ＳＰＬ、８５ｄＢ ＳＰＬの音声に対して補聴処理を実施した後の音圧とする。音圧は、小さな音圧から大きな音圧に順に変更してもよいし、その逆でもよい。また、ランダムな順序で音圧を選択してもよい。

呈示語音決定部７０は、音声呈示時刻に合わせてトリガを生体信号計測部５０へ出力し、また呈示される音声の内容を事象関連電位処理部５５に送信する。

音声出力部１１は、呈示語音決定部７０によって決定された単音節の音声を再生することにより、ユーザ５に呈示する。

生体信号計測部５０は、ユーザ５の生体信号を計測する脳波計であり、生体信号として脳波を計測する。そして、脳波データに対してＮ１成分の抽出に適した遮断周波数の周波数フィルタリングを行い、呈示語音決定部７０から受けたトリガを起点に所定区間（たとえば−２００ｍｓから５００ｍｓの区間）の脳波の事象関連電位を切り出し、その波形データ（脳波データ）を事象関連電位処理部５５に送付する。Ｎ１成分の周波数は１０Ｈｚ程度である。よって、周波数フィルタとしてバンドパスフィルタを用いる場合には、たとえば脳波の５Ｈｚから１５Ｈｚまでの成分を通過させるように設定してもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。脳波計測用の電極はたとえば頭頂部のＰｚに装着される。

事象関連電位処理部５５は、呈示語音決定部７０から受けた呈示音声の内容に応じて、生体信号計測部５０から受けた事象関連電位の加算演算を行う。事象関連電位処理部５５は、たとえば同じ語音の音声呈示に対する事象関連電位のみを選択して、語音の種類毎に事象関連電位の加算演算を行う。同じ語音のみで事象関連電位を加算した場合には語音ごとのうるささ判定が可能となる。語音音声の特徴は同じ子音を持つ語音において似ているため、加算は、同じ子音を持つ語音の事象関連電位を選択して行ってもよい。また、図１６に示したＮ１成分の基準潜時の差がたとえば１０ｍｓ以内と小さい語音をグルーピングして加算してもよい。同じ子音を持つ語音で加算した場合には、子音の種類毎に、語音聴取のうるささの評価が可能となる。また、Ｎ１成分の基準潜時の差が小さい語音ごとに加算した場合には、そのグループごとのうるささ判定が可能となる。子音ごと、Ｎ１成分の基準潜時の差の小さなグループごとの加算によって、ある程度加算回数が確保された加算波形がそれぞれ得られる。また、たとえば、計測脳波データの特徴として、事象関連電位処理部５５において、Ｎ１成分をシグナルとしてＳ（ｓｉｇｎａｌ）／Ｎ（ｎｏｉｓｅ）を求めてもよい。なお、上述の実験では事象関連電位の加算平均を実施したが、Ｎ１成分の潜時のみに着目する場合には平均の処理は不要である。

事象関連電位処理部５５は、語音ごとに所定回数の加算演算を実行して得られた脳波データを、うるささ判定部６５に送付する。

うるささ判定部６５は、事象関連電位処理部５５から脳波データを受け取って、後述する解析処理を行う。

うるささ判定部６５は、事象関連電位処理部５５から受け取った脳波データの潜時約２００ｍｓにおける、Ｎ１成分の潜時に基づいて、ユーザがうるさいと感じたか否かを判定する。たとえば、うるささ判定部６５は、呈示語音決定部７０から受けたトリガを起点とする５０ｍｓから３５０ｍｓの間で陰性電位のピークを与える時刻（以下「ピーク潜時」とも呼ぶ。）を、Ｎ１成分の潜時として、語音ＤＢ７１に保存した所定の基準潜時（閾値）と比較する。そして、Ｎ１成分のピーク潜時が所定の閾値よりも短い場合には「うるさい」と判定し、ピーク潜時が所定の閾値より小さい場合を「うるさくない」と判定する。ここで、「うるさい」とは、語音が、ユーザが不快に感じるほど大きな音圧であることを意味する。「うるさくない」とは、語音が、ユーザがうるさすぎて不快に感じることのない範囲の音圧であることを意味する。なお、うるささ判定部６５は、「うるさい」と「うるさくない」の２値の判定だけでなく、Ｎ１成分のピーク潜時と基準潜時との差を判定してもよい。

たとえば語音ごとにうるささを判定する場合には、語音ごとの基準潜時を所定の閾値とする。また、同じ子音をもつ行ごとにうるささを判定する場合には、行ごとの基準潜時を所定の閾値とし、基準潜時の差が小さいグループごとにうるささを判定する場合には、グループごとの基準潜時を所定の閾値としてもよい。

結果蓄積ＤＢ８０は、呈示語音決定部７０から呈示した音声の情報を受け取る。また結果蓄積ＤＢ８０は、うるささ判定部６５から語音ごとのうるささ判定の結果の情報を受け取る。そして、たとえば呈示音声の語音ごと・音圧ごとに、受け取ったうるささの判定結果の情報を蓄積する。

図１７は、結果蓄積ＤＢ８０におけるデータ蓄積の例である。図１７では、語音ごと・音圧ごとにうるささの情報を蓄積する場合を例示している。たとえば図１７中の「１」は、うるささ判定部６５においてＮ１成分の潜時が基準潜時よりも短く、「うるさい」と判定された場合を示し、「０」は、Ｎ１成分の潜時が基準潜時よりも長く、「うるさくない」と判定された場合を示す。

図１８（ａ）から（ｃ）は、語音明瞭度曲線の測定結果（従来評価）と、従来評価に加えて本実施形態による語音聴取のうるささ判定結果の例である。図１８（ａ）は、装用時において呈示音声の音圧ごとの語音明瞭度のみを評価した例である。この例は従来の評価手法によって得られた評価結果である。この例では、６５ｄＢ ＳＰＬ以上の音圧において、明瞭度は８０％以上と評価されている。そのため、非装用時（図１８には表示せず）と比較して語音明瞭度が向上している場合には補聴器適合検査で適合と判定される。

図１８（ｂ）および（ｃ）は、図１８（ａ）に示した装用時における語音明瞭度曲線の測定結果に加えて、本実施形態によるうるささ判定を加えた評価結果の例である。語音明瞭度曲線は、発話やキー入力等を行う従来の方法で別途測定したとする。

図１８（ｂ）および（ｃ）の明瞭度は同じであるが、うるささ判定の結果が大きく異なる。たとえば、図１８（ｂ）では、うるささの評価が全体的に低い。そこで、ユーザがうるささを感じることが少ない補聴処理であると評価できる。また、たとえば、図１８（ｃ）では、うるささの評価が全体的に高く、６５ｄＢ ＳＰＬ以上の大きな音圧では特に高い。そこで、日常会話の音圧である６５ｄＢ ＳＰＬでうるささを感じる補聴処理だと評価できる。このような評価によって、たとえば図１８（ｂ）の場合に、ユーザがさらに明瞭度向上を要求するのであれば、全体的にゲイン調整量を上げる、図１８（ｃ）の場合には全体的にゲイン調整量を下げ、さらにノンリニア増幅におけるコンプレッションを強くするという具体的なフィッティング手順の提案ができる。

なお、図１８（ｂ）、（ｃ）では、装用時のみのうるささの評価を示しているが、非装用時（裸耳）についてもうるささを評価し、非装用時と装用時でうるささを比較してもよい。

次に、図１９を参照しながら図１５の語音聴取のうるささ判定システム１００において行われる処理手順を説明する。図１９は、語音聴取のうるささ判定システム１００において行われる処理の手順を示すフローチャートである。

ステップＳ１０１において、呈示語音決定部７０は語音ＤＢ７１を参照しながら呈示する単音節の語音と音圧を決定する。音声出力部１１は、決定された音圧でユーザ５にその語音を呈示する。呈示語音決定部７０は、生体信号計測部５０にはトリガを送信し、事象関連電位処理部５５には呈示した語音に関する音声情報を送信する。呈示する語音はＤＢ７１からランダムに選択してもよいし、特定の子音の語音を集中的に選択してもよい。呈示語音の音圧は、たとえば語音明瞭度曲線測定の５５ｄＢ ＳＰＬ、６５ｄＢ ＳＰＬ、７５ｄＢ ＳＰＬ、８５ｄＢ ＳＰＬの音声に対して補聴処理を実施した後の音圧とする。音圧の呈示順序は、小さな音圧から大きな音圧に順に変更してもよいし、その逆でもよい。また、ランダムな順序で音圧を選択してもよい。

ステップＳ１０２において、生体信号計測部５０は呈示語音決定部７０からトリガを受けて、計測した脳波のうち、トリガを起点にたとえば−２００ｍｓから５００ｍｓまでの事象関連電位を切り出す。そしてたとえば−２００ｍｓから０ｍｓの平均電位を求め、その平均電位が０μＶになるよう、得られた事象関連電位をベースライン補正する。

なお、生体信号計測部５０は、評価中常に脳波を計測し、脳波データに対してＮ１成分の抽出に適した周波数フィルタをかけているものとする。適した周波数フィルタとは、たとえばＮ１成分の中心周波数１０Ｈｚ周辺の、５Ｈｚから１５Ｈｚを通過させるバンドパスフィルタである。なお、脳波データに対してたとえば５Ｈｚ以上のハイパスフィルタをかけた場合には、低周波の基線変化の影響をほとんど受けないため、ベースライン補正は必須ではない。

ステップＳ１０３において、事象関連電位処理部５５はステップＳ１０２で切り出した事象関連電位を、呈示語音決定部７０から受けた呈示語音の情報に基づき、語音ごと・音圧ごとに加算する。本実施形態では語音ごと・音圧ごとに加算演算を行っているが、加算演算の対象は語音ごとに限られない。たとえば、語音の種類に応じて、たとえば子音ごとや基準潜時の差の小さい語音のグループごとに行ってもよいし、呈示された音圧ごとに行ってもよい。すなわち、各語音が語音の種類または、子音の種類、基準潜時の差が小さいグループの少なくとも一つに基づいて分類されるときにおいて、事象関連電位処理部５５は、同じ分類に属する語音が呈示されたときに得られる脳波信号の事象関連電位を加算すればよい。

ステップＳ１０４において、事象関連電位処理部５５はステップＳ１０１で呈示された語音に対する事象関連電位の加算回数が所定の加算回数に到達したか否かを判定する。加算回数が所定回数以下の場合には処理はステップＳ１０１へ戻り、音声の呈示を繰り返す。加算回数が所定回数以上の場合には、処理はステップＳ１０５へ進む。所定回数とは、たとえば２０回である。なお、「２０回」は、事象関連電位を計測する分野において多く採用される加算回数であるが、これは一例に過ぎない。たとえば、事象関連電位処理部５５において、Ｎ１成分をシグナルとしてＳ（ｓｉｇｎａｌ）／Ｎ（ｎｏｉｓｅ）を求め、Ｓ／Ｎが一定以上となる加算回数を所定回数としてもよい。

ステップＳ１０５において、事象関連電位処理部５５は所定回数の加算演算をした脳波データをうるささ判定部６５に送付する。

ステップＳ１０６において、うるささ判定部６５は、事象関連電位処理部５５から受け取った脳波データのＮ１成分の潜時を求め、語音ＤＢ７１から受け取ったＮ１成分の基準潜時と比較を行う。脳波データにおけるＮ１成分の潜時は、たとえば０ｍｓから５００ｍｓの区間において電位が最小となる時刻とする。また、ステップＳ１０３において語音ごと・音圧ごとの加算を実施した場合には、語音ごとの基準潜時と、脳波データにおけるＮ１成分の潜時との比較を行う。

ステップＳ１０７において、うるささ判定部６５は、脳波データにおけるＮ１成分の潜時が基準潜時よりも短い場合に、ユーザ５はうるさいと感じたと判定する。一方、脳波データにおけるＮ１成分の潜時が基準潜時よりも長い場合に、ユーザ５はうるさくないと感じたと判定する。

ステップＳ１０８において、結果蓄積ＤＢ８０は、ステップＳ１０１で呈示した語音ごと・音圧ごとに、うるささ判定部６５から受け取ったうるささの判定結果の情報を蓄積する。

ステップＳ１０９において、呈示語音決定部７０は、語音聴取のうるささを評価する予定の、全ての語音・音圧において刺激呈示が完了したか否かを判定する。完了していない場合には処理はステップＳ１０１へ戻り、完了している場合には語音聴取のうるささ判定を終了する。

結果蓄積ＤＢ８０において蓄積した語音ごと・音圧ごとのうるささ判定結果に基づけば、より具体的なフィッティング手順の提案ができる。たとえば、図１８（ｂ）に示す語音明瞭度曲線の測定結果が得られたとする。図１８（ｂ）ではうるささの評価が全体的に低いと考えられる。しかしながら、ユーザがさらに明瞭度向上を要求するのであれば、全体的にゲイン調整量を上げればよい。これにより、そのユーザにより適切なフィッティングを実現できる。また、図１８（ｃ）に示す語音明瞭度曲線の測定結果が得られた場合には全体的にゲイン調整量を下げ、さらにノンリニア増幅におけるコンプレッションを強くする、というフィッティングを提案してもよい。

本実施形態では、単音節の語音を音声で呈示する設定で音声が呈示された時刻を起点とした事象関連電位の潜時約２００ｍｓの陰性成分を用いた処理により、語音聴取のうるささを評価した。上述の処理によれば、語音聴取時に、ユーザがどれくらいうるささを感じたか（うるささ）に関する判定が実現できる。これは、語音明瞭度とは異なる語音聴取のうるささを軸として、補聴処理の適合度合いを評価できることを意味する。うるささを軸として補聴処理の評価ができるので、ユーザが語音聴取時にうるささを感じない、聞いていて疲れにくい補聴処理を実現できる。

なお、本実施形態における語音聴取のうるささ判定装置１は、図１４に示すとおり、一般的なハードウェアを用いた、小型化可能な構成により実現される。うるささ判定装置１を持ち運び可能な大きさおよび重さで構成してユーザが携行することにより、ユーザが補聴器を利用する音環境で語音聴取の快適性を評価することができる。なお、図１３では音声出力部１１をスピーカとしたが、音声出力部１１はヘッドフォンでもよい。ヘッドフォンを用いることで、持ち運びが簡易になりユーザが利用する環境において語音明瞭度の評価が可能となる。

本実施形態では日本語の評価を想定して説明した。しかしながら、単音節の語音であれば英語でも中国語でもよい。たとえば英語の場合には、単音節の単語を呈示し、単語ごとの評価をしてもよい。単音節の英単語は、短時間の音声であり、子音と母音とで構成されている。そのため、上述の日本語における単音節語音とほぼ同様に、子音長および子音強度に基づいて、単語ごとに基準潜時を決定できる。

図２０は、単音節の単語ごとにうるささを評価した結果の一例を示している。図２０中の「１」は、ユーザがうるさいと感じたこと、「０」はうるさいと感じなかったことを示す。

本実施形態の語音聴取のうるささ判定システム１００によれば、ユーザは音声を聞いているだけで語音聴取時にどれくらいうるささを感じたか（うるささ）の判定が実現される。これにより、語音聴取時にユーザが感じる「うるささ」が定量化され、うるささの軸で補聴処理の評価ができるようになり、うるささを感じない、聞いていて疲れにくいフィッティングを実現できる。

本実施形態の説明では、生体信号計測部５０は、呈示語音決定部７０からのトリガを起点にして予め定められた範囲の事象関連電位を切り出し、ベースライン補正を行って電位波形のデータを事象関連電位処理部５５に送信するとした。しかしながら、この処理は一例である。他の処理として、たとえば、生体信号計測部５０は継続的に脳波を計測し、事象関連電位処理部５５が必要な事象関連電位の切り出しおよびベースライン補正を行ってもよい。当該構成であれば、呈示語音決定部７０は生体信号計測部５０にトリガを送信する必要はなくなり、事象関連電位処理部５５にトリガを送信すればよい。

また、本実施形態においては、うるささ判定の結果は、結果蓄積ＤＢ８０に蓄積されるとしたが、蓄積しなくてもよい。たとえば結果蓄積ＤＢ８０をうるささ判定装置１の外部に設ける場合には、うるささ判定部６５の各判定結果を単に出力すればよい。各判定結果は、語音聴取のうるささに関する情報として利用され得る。

本実施形態に示すうるささ判定システムは、音声呈示後のユーザ脳波の潜時約２００ｍｓ（より具体的には５０ｍｓから３５０ｍｓ）の陰性成分の潜時に応じて、語音聴取に対してどれくらいうるさいと感じたか（うるささ）を判定する。その際、語音ごとに異なる基準潜時を設定することで、語音ごとのたとえば子音部分の長さ（子音長）や子音部分の強度（子音強度）などの特徴によらずに高精度でうるささを評価する。語音聴取に対するうるささ判定により、ユーザがうるささを感じることがなく、長時間にわたって補聴器を装用しても疲れにくい補聴処理を選択できる。

（実施形態２）
実施形態１による語音聴取のうるささ判定システム１００では、語音ＤＢ７１に保存されたある１種類の補聴処理に基づいてあらかじめ調整された所定の音声に対して、潜時約２００ｍｓの陰性成分の有無に基づき、語音聴取時のうるささを判定した。

しかしながら、近年、信号処理の高精度化に伴い、たとえば子音強調、指向性、ノイズリダクション等の機能を実現する補聴処理方法の開発が進んでおり、１つの補聴処理に対するうるささ判定の結果のみから、最適な補聴処理を探索・特定することには限界があった。

そこで本実施形態では、呈示する語音音声を補聴器から出力される音に加工する補聴処理部を設け、補聴処理ごとのうるささを評価する、語音聴取のうるささ判定システムについて説明する。

図２１は、本実施形態による語音聴取のうるささ判定システム２００の機能ブロックの構成を示す。語音聴取のうるささ判定システム２００は、音声出力部１１と、生体信号計測部５０と、語音聴取のうるささ判定装置２とを有している。図１５と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、語音聴取のうるささ判定装置２のハードウェア構成は、図１４に示すとおりである。実施形態１で説明したプログラム３５（図１４）と異なる処理を規定するプログラムが実行されることにより、図２１に示す本実施形態による語音聴取のうるささ判定装置２が実現される。うるささ判定システム２００は、補聴処理システムとも表記する。

本実施形態による語音聴取のうるささ判定装置２が、実施形態１による語音聴取のうるささ判定装置１と大きく相違する点は、新たに補聴処理部９０を設けた点である。なお、うるささ判定装置２の構成要素名に関しては、原則として実施形態１と同じ名称を用いているが、異なる動作および／または機能を有している場合には、異なる参照符号を用いている。たとえば、本実施形態では、実施形態１では行わなかった、複数の補聴処理ごとのうるささ判定を実施するため、実施形態１にかかる事象関連電位処理部５５、呈示語音決定部７０、語音ＤＢ７１、結果蓄積ＤＢ８０に代えて、本実施形態では事象関連電位処理部５６、呈示語音決定部７５、語音ＤＢ７２、結果蓄積ＤＢ８５を設けている。

以下、語音ＤＢ７２、呈示語音決定部７５、補聴処理部９０、事象関連電位処理部５６、結果蓄積ＤＢ８５および補聴処理部９０を説明する。

語音ＤＢ７２は、実施形態１にかかる語音ＤＢ７１と同様に、たとえば図１６に示した６７Ｓ式語表の２０語音のような語音聴取のうるささ判定を行うための語音データベースである。語音ＤＢ７１と同様に、語音ごとにＮ１成分の基準潜時の情報も保持している。語音ＤＢ７２と語音ＤＢ７１との差異は、語音ＤＢ７２が補聴処理前の語音データを持つ点である。

呈示語音決定部７５は、実施形態１にかかる呈示語音制御部７０と同様に語音ＤＢを参照し、語音の種類と音圧を決定する。呈示語音決定部７５と呈示語音制御部７０との差異は、呈示語音決定部７５がどの補聴処理で音声を加工するかを選択し、補聴処理部９０に呈示語音の音声データを共に送付する点である。

補聴処理部９０は、呈示語音決定部７５から受けた補聴処理選択に関する指示と、音声データとに基づき、音声データを指示された補聴処理方法で加工する。補聴処理には、たとえば子音強調、指向性、ノイズリダクション等がある。子音強調の補聴処理が選択されていた場合には、たとえば通常よりも子音周波数のゲイン増幅量を上げるという処理をほどこし、音声データを加工する。なお、補聴処理部９０は、うるささ判定部６５の判定結果に基づいて、音声のゲイン増幅量を調整してもよい。たとえば、うるささ判定部６５がうるさいと判定した語音の音声データに対して、所定のゲイン増幅量を低下させる。うるささ判定部６５がうるさくないと判定した語音の音声データに対して、ゲイン増幅量を調整しない。または、うるささ判定部６５が判定した、Ｎ１成分のピーク潜時と基準潜時との差に基づいて、ゲイン増幅量を決定しても良い。たとえば、Ｎ１成分のピーク潜時と基準潜時との差の大きさが、あらかじめ定めた範囲に含まれる場合には、補聴処理部９０は、ゲイン増幅量を調整しない。Ｎ１成分のピーク潜時と基準潜時との差の大きさと、あらかじめ定めた範囲の上限値または下限値との差が大きいほど、補聴処理部９０は、ゲイン増幅量を小さくする。

事象関連電位処理部５６は、実施形態１にかかる事象関連電位処理部５５と同様に、呈示語音決定部７５から受けた呈示音声の内容に応じて、生体信号計測部５０から受けた事象関連電位の加算演算を行う。事象関連電位処理部５６と事象関連電位処理部５５との差異は、事象関連電位処理部５６は、呈示語音決定部７５から補聴処理の情報を受けて、語音ごと・音圧ごと・補聴処理ごとの加算演算を行う点である。

結果蓄積ＤＢ８５は、実施形態１にかかる結果蓄積ＤＢ８０と同様に、たとえば語音ごと・音圧ごとに、うるささ判定部６５から受け取ったＮ１成分の潜時に基づく、うるささ判定結果の情報を蓄積する。結果蓄積ＤＢ８５と結果蓄積ＤＢ８０との差異は、結果蓄積ＤＢ８５は、呈示語音決定部７５から、呈示刺激の語音・音圧の情報に加えて、補聴処理の種類の情報を受け取り、補聴処理の種類ごとにデータを蓄積する点である。

図２２（ａ）および（ｂ）は、結果蓄積ＤＢ８５におけるデータ蓄積の例である。図２２では、語音ごと・音圧ごと・補聴処理ごとにうるささの判定結果をそれぞれ蓄積する場合を例示している。図２２（ａ）は補聴処理Ａのパターンを示し、図２２（ｂ）は補聴処理Ｂのパターンを示す。それぞれ補聴処理された語音を呈示した場合のうるささの評価結果を示している。図２２中の「１」は、うるささ判定部６５において、Ｎ１成分の潜時が基準潜時よりも短くユーザ５がうるさいと感じたと判定された場合で、「０」は、Ｎ１成分の潜時が基準潜時よりも長くユーザ５がうるさくないと感じたと判定された場合を示す。図２２の（ａ）と（ｂ）とを比べると、補聴処理Ｂのパターンで補聴処理された（ｂ）の方が、「１」の数が少なく、ユーザはうるささを感じていないといえる。

次に、図２３のフローチャートを参照しながら、語音聴取のうるささ判定システム２００において行われる全体的な処理の手順を説明する。

図２３は、本実施形態による語音明瞭度システム２００の処理手順を示す。図２３では、語音聴取のうるささ判定システム１００の処理（図１９）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

本実施形態による語音聴取のうるささ判定システム２００の処理が、実施形態１による語音聴取のうるささ判定システム１００の処理と相違する点は、ステップＳ２０１、Ｓ２０２およびＳ２０３である。ステップＳ２０１では、指定された補聴処理で加工した単音節音声が呈示される。ステップＳ２０２では、語音・音圧・補聴処理ごとに加算演算が行われる。ステップＳ２０３では、語音ごと・音声ごと・補聴処理ごとに結果が蓄積される。それ以外のステップについては、図１９に関連して既に説明しているため、説明を省略する。

ステップＳ２０１において、呈示語音決定部７５は、語音ＤＢ７２を参照して呈示する音声の種類と音圧を決定し、そのデータを取得する。さらに、呈示語音決定部７５は、補聴処理を決定して、補聴処理の種類に関する情報と音声データを補聴処理部９０に送付する。補聴処理部９０は、呈示語音決定部７５によって決定された補聴処理の種類に関する情報と音声データとを受け取り、指定された補聴処理方法に基づいて音声データを加工する。音声出力部１１は、加工された音声データをユーザ５に呈示する。

ステップＳ２０２において、事象関連電位処理部５６は呈示語音決定部７５から受けた呈示語音の種類、音圧、補聴処理の情報を受けて、生体信号計測部５０で計測した脳波の事象関連電位を、たとえば語音ごと・音圧ごと・補聴処理ごとに加算する。

ステップＳ２０３において、結果蓄積ＤＢは、呈示語音決定部７５から受けた呈示語音に関する情報（語音の種類、音圧、補聴処理）ごとに、うるささ判定部６５で判定したＮ１成分の潜時に基づく、うるささの判定結果を蓄積する。結果蓄積の例は、図２２に示したとおりである。

このような処理によって、たとえば、子音強調、指向性、ノイズリダクション等の補聴処理ごとに、語音聴取に対する快適性が評価できる。

なお、本実施形態では、複数の種類で補聴処理された音声をミックスして、ランダムな順序で呈示する場合を想定したが、たとえば補聴処理Ａを行った後に補聴処理Ｂを行ったときのように、補聴処理の種類ごとに順番にうるささ判定を実施してもよい。補聴処理の種類ごとに実施すると、うるささ判定結果に応じて、次の補聴処理のパラメータを変更できるという特長がある。

本実施形態の語音聴取のうるささ判定システム２００によれば、補聴処理ごとのうるささを評価できる。これによって、補聴器装用の目的、使用環境に合わせた補聴処理の選択が実現できるようになる。

（実施形態３）
実施形態１による語音聴取のうるささ判定システム１００では、うるささ判定部６５において、一般的なユーザにおける語音ごとのＮ１成分の基準潜時と、計測した脳波データのＮ１成分の潜時との比較により、うるささ判定を実施した。

Ｎ１成分は、誘発電位と呼ばれる事象関連電位の初期成分であり、潜時／振幅に関する個人差は比較的小さいと考えられる。しかしながら、Ｎ１成分に潜時／振幅の個人差が全くないわけではない。そのため、一般的なユーザの語音ごとのＮ１成分の潜時から求めた基準潜時による識別では、うるささをより高精度で判定するには限界があった。

そこで本実施形態では、語音聴取のうるささ判定の前に、ユーザごとのＮ１成分の基準潜時を測定するキャリブレーションを行い、個人ごとのＮ１成分の特徴に基づいてうるささを評価する。 これにより、本実施形態によれば、実施形態１よりもうるささをより高精度で判定することが可能となった。

図２４は、本実施形態による語音聴取のうるささ判定システム３００の機能ブロックの構成を示す。語音聴取のうるささ判定システム３００は、音声出力部１１と、生体信号計測部５０と、語音聴取のうるささ判定装置３とを有している。図１５と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、語音聴取のうるささ判定装置３のハードウェア構成は、図１４に示すとおりである。実施形態１で説明したプログラム３５（図１４）と異なる処理を規定するプログラムが実行されることにより、図２４に示す本実施形態による語音聴取のうるささ判定装置３が実現される。

本実施形態による語音聴取のうるささ判定装置３が、実施形態１による語音聴取のうるささ判定装置１と大きく相違する点は、新たに校正／評価切替部９５および基準潜時算出部９６を設けた点である。また、ユーザごとの各語音に対するＮ１成分の基準潜時を求め、その基準潜時に基づいてうるささ判定を実施するために、実施形態１の呈示語音決定部７０、事象関連電位処理部５５、語音ＤＢ７１（図１５）に代えて呈示語音決定部７７、事象関連電位処理部５７、語音ＤＢ７３を設けている。

以下、校正／評価切替部９５、基準潜時算出部９６、呈示語音制御部７７、事象関連電位処理部５７、語音ＤＢ７３を説明する。

校正／評価切替部９５は、ユーザごとの各語音に対するＮ１成分の基準潜時を特定するための校正モードと、特定した基準潜時と計測したＮ１成分の潜時に基づいてうるささ判定をするための評価モードとを切り替える。そして、現在のモードを示す情報を呈示語音決定部７７に送付する。なおモードの切り替えは、語音ＤＢ７３に各語音に対する基準潜時が書き込まれた時点で実施してもよいし、ユーザ脳波の各語音に対するＮ１成分の基準潜時を特定するために必要な所定回数の語音呈示が終了した時点で実施してもよい。

呈示語音決定部７７は、語音ＤＢ７３を参照し、語音の種類と呈示音声の音圧を決定し、音声出力部１１を介してユーザ５に出力すると同時に、生体信号計測部５０にトリガの情報を送付する。また、校正／評価切替部９５から校正モード／評価モードの情報を受け取り、事象関連電位処理部５７に音声情報と構成／評価モードの情報を送付する。呈示語音決定部７７は、校正／評価切替部９５から受け取ったモードに応じて動作を切り替える。校正モードの場合には、たとえば母音（子音部分がない単音節語）の音声を所定の音圧で呈示する。語音音声として母音を呈示することで、子音部分の影響を受けない、ユーザごとにベースとなるＮ１成分の潜時が特定できる。所定の音圧は、ユーザが音声を聞くことができる閾値以上の音圧である。たとえばユーザが「うるさい」と感じる音圧としてもよい。ユーザが聞くことができる音圧／ユーザがうるさいと感じる音圧は、たとえばユーザのオージオグラムを参考に決定してもよいし、あらかじめ主観評価によって測定してもよい。評価モードの場合には、呈示語音制御部７０と同様に、語音を所定の音圧で呈示する。

事象関連電位処理部５７は、事象関連電位処理部５５と同様に、呈示語音決定部７７から受けた呈示音声の内容に応じて、生体信号計測部５０から受けた事象関連電位の加算演算を行う。また、事象関連電位処理部５７は、呈示語音決定部７７からモード情報を受け取り、動作を切り替える。校正モードの場合には、たとえば母音ごとに加算演算を実施し、所定回数の加算が完了すると、基準潜時算出部９６に、母音ごとの加算波形を送付する。評価モードの場合には、事象関連電位処理部５５と同様に、うるささ判定部６５に語音ごと・音圧ごとの加算波形を送付する。

基準潜時算出部９６は、事象関連電位処理部５７から母音ごとの加算波形データを受け取り、潜時約２００ｍｓにおけるＮ１成分の潜時を求める。Ｎ１成分の潜時は、たとえば潜時５０ｍｓから３５０ｍｓにおいて電位が最小となる時刻とする。たとえば、呈示語音決定部７７において、音圧をユーザが「うるさい」と感じる音圧に設定した場合には、求めた母音ごとのＮ１成分の潜時を、各母音の基準潜時とする。母音に対するＮ１潜時を測定することで、母音ごとの音特徴の違いに応じて、母音ごとにＮ１成分の基準潜時を求めることができる。また、子音部分を含む子音の基準潜時は、各母音の基準潜時に子音部分の特徴に応じた所定の正の値を加えて求める。所定の正の値は、子音ごとに決定する。たとえば、子音部分の強度が弱い子音の場合には、子音長を所定の正の値としてもよい。また、たとえば、子音部分の強度が強い子音の場合には、子音部分の強度が所定の値以上となるまでの時間を、所定の正の値としてもよい。そして、算出した結果を、語音ＤＢ７３に書き込む。

なお、子音に比べて母音は、語音ごとの音声特徴の差が小さいため、全ての母音に対するＮ１成分の潜時を平均し、母音のＮ１成分の基準潜時としてもよい。また、Ｎ１成分が安定的に計測できた母音の潜時のみを平均し、母音のＮ１成分の基準潜時としてもよい。

語音ＤＢ７３は、図１６に一例を示した語音ＤＢ７１と同様に、語音聴取のうるささ判定を行うための語音のデータベースである。語音ＤＢ７３と語音ＤＢ７１との相違点は、Ｎ１成分の基準潜時の書き換えが可能な点である。基準潜時算出部９６によって、Ｎ１成分の基準潜時が書き換えられるまでは、語音ごとに基準潜時が設定されていないことを示す０を保持してもよい。

次に、図２５のフローチャートを参照しながら、語音聴取のうるささ判定システム３００において行われる全体的な処理の手順を説明する。

図２５は、本実施形態による語音明瞭度システム３００の処理手順を示す。図２５では、語音聴取のうるささ判定システム１００の処理（図１９）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

本実施形態による語音聴取のうるささ判定システム３００の処理が、実施形態１による語音聴取のうるささ判定システム１００の処理と相違する点は、ステップＳ３０１〜Ｓ３０６である。それ以外のステップについては、図１９に関連して既に説明しているため、説明を諸略する。

ステップＳ３０１において、校正／評価切替部９５は、現在のモードを校正モードに設定し、校正モードの情報を呈示語音決定部７７に送付する。校正／評価切替部９５は、語音ＤＢ７３を参照し、Ｎ１成分の基準潜時の値が０の場合に構成モードを選択してもよい。また、所定回数の音声呈示が終了するまでは校正モードに設定してもよい。なお、校正／評価のモード切り替えは、補聴器フィッティングの専門家やユーザ５の選択によって実施してもよい。

ステップＳ３０２において、呈示語音決定部７７は、語音ＤＢ７３を参照して、たとえば母音を選択し、所定の音圧で音声出力部１１を介してユーザ５に出力する。所定の音圧とは、ユーザが音声を聞くことができる閾値以上の音圧である。たとえばユーザが「うるさい」と感じる音圧としてもよい。ユーザが聞くことができる音圧／ユーザがうるさいと感じる音圧は、たとえばユーザのオージオグラムを参考に決定してもよい。

ステップＳ３０３において、事象関連電位処理部５７は、生体信号計測部５０で計測した事象関連電位を、母音ごとに加算する。

ステップＳ３０４において、基準潜時算出部９６は、事象関連電位処理部５７から母音ごとの加算済の波形データを受け取り、潜時約２００ｍｓにおけるＮ１成分の潜時を求める。Ｎ１成分の潜時は、たとえば潜時５０ｍｓから３５０ｍｓにおいて電位が最小となる時刻とする。たとえば、呈示語音決定部７７において、音圧をユーザが「うるさい」と感じる音圧に設定した場合には、求めた母音ごとのＮ１成分の潜時を母音の基準潜時とする。そして、子音部分を含む子音の基準潜時は、母音の基準潜時に子音部分の特徴に応じた所定の正の値を加えて求める。所定の正の値は、子音ごとに決定する。たとえば、子音部分の強度が弱い子音の場合には、子音長を所定の正の値としてもよい。また、たとえば、子音部分の強度が強い子音の場合には、子音部分の強度が所定の値以上となるまでの時間を、所定の正の値としてもよい。

ステップＳ３０５において、基準潜時算出部９６は、ステップＳ３０４で算出した語音ごとのＮ１成分の基準潜時を、語音ＤＢ７３に書き込む。

ステップＳ３０６において、校正／評価切替部９５は、語音ＤＢ７３において、Ｎ１成分の基準潜時が書き込まれていることを検出して、校正モードから評価モードへの切替えを行い、評価モードの情報を呈示語音決定部７７に送付する。モードの切り替えは、所定回数の音声呈示が終了した段階で実施してもよいし、補聴器フィッティングの専門家やユーザ５の操作入力によって実施してもよい。

このような処理によって、ユーザごとの各語音に対するＮ１成分の基準潜時と、計測した脳波データのＮ１成分の潜時との比較ができるようになるため、語音聴取のうるささがより高精度で評価できるようになる。

なお、本実施形態では、校正モードの場合に呈示語音決定部７７において母音を選択し、母音に対するＮ１成分の潜時から、母音の基準潜時を決定し、子音の基準潜時を算出した。このようにすることで、全ての語音に対する基準潜時を算出する必要がなく、短時間で検査が実施できる。しかし、これは一例である。たとえば、うるささ判定対象の全ての語音を校正モードで呈示し、全ての語音に対して基準潜時を求めてもよい。また、たとえば、呈示語音決定部７７に２５０Ｈｚ、５００Ｈｚ、１ｋＨｚ、２ｋＨｚ、４ｋＨｚ等のオージオグラムで一般的に測定される純音を保持し、校正モードにおいて純音を呈示し、純音に対するＮ１成分の潜時から語音ごとの基準潜時を算出してもよい。

本実施形態の語音聴取のうるささ判定システム３００によれば、ユーザごとの脳波特徴に合わせて高い精度でうるささを評価できる。これによって、ユーザがうるささを感じない、聞いていて疲れない補聴処理が実現できるようになる。

なお、上述の実施形態１〜３では、語音ＤＢは語音聴取のうるささ判定装置内に設けられていると説明したが、これは必須ではない。語音ＤＢは、たとえば語音聴取のうるささ判定装置とネットワークを介して接続されたデータベースサーバ（図示せず）や外部記憶装置内に設けられていてもよい。その場合には、各実施形態の語音聴取のうるささ判定システムは、当該データベースサーバや外部記憶装置を含むことになる。

（実施形態４）
実施形態１による語音聴取のうるささ判定システム１００では、語音ＤＢ７１に収録済みの音声と、その語音音声の特徴に合わせた語音ごとのＮ１成分の基準潜時を保持し、計測した脳波データのＮ１成分の潜時との比較によりうるささ判定を実施した。収録済みの音声には、たとえば標準的なテスト音声、補聴器を装用して主に会話する相手（以下では「話者Ａ」と呼ぶ。）の音声がある。話者Ａが発声した音声に対するうるささ判定は、日常生活において話者Ａがユーザにしゃべりかける音声の評価であり、重要である。

しかしながら、うるささ判定の前に、話者Ａの音声を収録することは、話者Ａにとっても補聴器フィッティングの専門化にとっても手間であった。

そこで本実施形態では、話者Ａが発声した語音音声をリアルタイムに分析して、話者Ａの語音音声の特徴に合わせてユーザ５のＮ１成分の基準潜時を推定し、推定した基準潜時と計測した脳波のＮ１成分の基準潜時との比較によって、うるささを評価する。

図２６は、本実施形態による語音聴取のうるささ判定システム４００の機能ブロックの構成を示す。語音聴取のうるささ判定システム４００は、文字出力部１２と、音声入力部４１と、生体信号計測部５０と、語音聴取のうるささ判定装置４とを有している。図１５と同じブロックについては同一の参照符号を付し、その説明は省略する。

本実施形態による語音聴取のうるささ判定システム４００が、実施形態１による語音聴取のうるささ判定システム１００と相違する点は、音声入力部４１を新たに設けた点、および、音声出力部１１に代えて文字出力部１２を設けた点である。語音聴取のうるささ判定装置４は、これらの構成要素の追加に伴い、語音聴取のうるささ判定装置１とは異なる機能を有している。

文字出力部１２は、話者Ａに対して語音の文字情報を出力する表示装置、たとえば液晶ディスプレイである。文字情報として、話者Ａが発話する単音節の語音（たとえば「あ」、「だ」、「し」）を呈示する。また、単音節の語音に加えて、話者Ａがどれくらいの大きさで発話するかの音圧に関する情報を示してもよい。音圧に関する情報とは、たとえば「普段話しかける程度の大きさで」、「大きな声で」、「小さな声で」である。

音声入力部４１は、話者Ａが発声した音声を集音するマイクである。

語音聴取のうるささ判定装置４については後述する。

図２７は、語音聴取のうるささ判定装置４のハードウェア構成を示す。図１４に示した実施形態１と同じ構成については、同様の記号を付し、その説明は省略する。図１４との相違点は、新たにサウンドコントローラ４６を備えた点と、オーディオコントローラ３２の代わりにグラフィックコントローラ４５を備えた点、メモリ３１から語音ＤＢ７１を除いた点である。

サウンドコントローラ４６は、話者Ａが発声し、音声入力部４１から入力された音声波形をＡ／Ｄ変換して、得られた音声デジタルデータをＣＰＵ３０に送付する。

グラフィックコントローラ４５は、ＣＰＵ３０の命令に従って、呈示すべき語音の文字情報を、文字出力部１２に出力する。

音声波形の分析など、本実施形態による語音聴取のうるささ判定装置４の処理は、実施形態１で説明したプログラム３５（図１４）と異なる処理を規定するプログラムが実行されることにより実現される。

再び図２６を参照する。本実施形態による語音聴取のうるささ判定装置４が、実施形態１による語音聴取のうるささ判定装置１と大きく相違する点は、音声分析部４２と、基準潜時推定部４３とを新たに設けた点である。また、本実施形態においては、呈示語音決定部７８およびうるささ判定部６６は、話者Ａが発声する語音の種類を決定し、話者Ａが発声した語音音声に対するＮ１成分の基準潜時を求め、その基準潜時に基づいてうるささ判定を実施する。

以下、呈示語音決定部７８、音声分析部４２、基準潜時推定部４３、うるささ判定部６６を説明する。

呈示語音決定部７８は、予め用意され、自らが保持している語音リストを参照し、話者Ａが発声する語音をランダムに決定し、文字出力部１２を介して話者Ａに出力する。そして、決定した語音の情報を事象関連電位処理部５５および基準潜時推定部４３に送る。語音リストは、たとえば６７Ｓ語表の２０語音でもよいし、５７Ｓ語表の５０音でもよい。

音声分析部４２は、音声入力部４１に入力された音情報から、話者Ａが音声を発声したタイミングを検出し、その音声の子音長・子音強度・母音強度などに関する特徴を分析する。そして、話者Ａの発声を検出したタイミングでトリガを生体信号計測部５０に送付する。さらに、基準潜時推定部４２に音声特徴に関する情報を送付する。

基準潜時推定部４３は、音声分析部４２から受けた音声特徴に関する情報と、呈示語音決定部７８から受けた語音情報とに基づき、その語音に対するＮ１成分の基準潜時を推定する。

うるささ判定部６６は、実施形態１のうるささ判定部６５と同様に、事象関連電位処理部５５から受け取った脳波データの潜時約２００ｍｓにおける、Ｎ１成分の潜時に基づいて、ユーザがうるさいと感じたか否かを判定する。たとえば、うるささ判定部６６は、潜時５０ｍｓから３５０ｍｓの陰性電位のピークの潜時を、基準潜時推定部４３で推定された基準潜時（閾値）と比較する。そして、Ｎ１成分のピーク潜時が閾値よりも短い場合には「うるさい」と判定し、ピーク潜時が所定の閾値より小さい場合を「うるさくない」と判定する。

次に、図２８のフローチャートを参照しながら、語音聴取のうるささ判定システム４００において行われる全体的な処理の手順を説明する。

図２８は、本実施形態による語音明瞭度システム４００の処理手順を示す。図２８では、語音聴取のうるささ判定システム１００の処理（図１９）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

本実施形態による語音聴取のうるささ判定システム４００の処理が、実施形態１による語音聴取のうるささ判定システム１００の処理と相違する点は、ステップＳ４０１〜Ｓ４０７である。それ以外のステップについては、図１９に関連して既に説明しているため、説明を諸略する。

ステップＳ４０１において、呈示語音決定部７８は、呈示語音決定部７８が保持している語音リストを参照し、話者Ａに発生させる語音の種類をランダムに決定し、決定した語音を、文字出力部１２を介して話者Ａに出力する。

ステップＳ４０２において、音声分析部４２は、音声入力部４１に入力された音情報から、話者Ａが音声を発声したタイミングを検出し、検出したタイミングでトリガを生体信号計測部５０に送付する。

ステップＳ４０３において、音声分析部４２は、音声入力部４１に入力された音情報から検出した音声の子音長・子音強度・母音強度などに関する特徴を分析する。そして、基準潜時推定部４３に分析結果を送付する。

ステップＳ４０４において、基準潜時推定部４３は、音声分析部４２から受けた音声特徴に関する情報と、呈示語音決定部７８から受けた語音情報とに基づき、その語音に対するＮ１成分の基準潜時を推定する。基準潜時は、所定のベース潜時に、音声の子音長あるいは子音強度に基づく所定の正の値を加えて推定する。所定のベース潜時とは、たとえば９０ｄＢ ＳＰＬで母音を聞いたときの一般ユーザの平均的なＮ１成分の潜時としてもよい。具体的には、１００ｍｓとしてもよい。また、所定の正の値は、子音ごとに決定する。たとえば、子音部分の強度が弱い子音の場合には、音声分析部４２において分析した子音長を所定の正の値としてもよい。また、たとえば、子音部分の強度が強い子音の場合には、音声分析部４２において分析した子音部分の強度あるいは子音部分における特定周波数の強度が所定の値以上となるまでの時間を、所定の正の値としてもよい。子音強度の強弱は、呈示語音決定部７８から受けた語音情報に基づいて決定してもよい。そして、推定した基準潜時をうるささ判定部６６に送付する。

ステップＳ４０５において、事象関連電位処理部５５は、呈示語音決定部７０から受けた呈示音声の内容と、生体信号計測部５０から受けた事象関連電位を、うるささ判定部６６に送付する。

ステップＳ４０６において、うるささ判定部６６は、事象関連電位処理部５５から受け取った脳波データの潜時約２００ｍｓにおける、Ｎ１成分の潜時に基づいて、ユーザがうるさいと感じたか否か有無を判定する。たとえば、うるささ判定部６５は、潜時５０ｍｓから３５０ｍｓの陰性電位のピークの潜時と、基準潜時推定部４３からうけた基準潜時とを比較する。そして、Ｎ１成分のピーク潜時が基準潜時よりも短い場合には「うるさい」と判定し、ピーク潜時が基準潜時より小さい場合を「うるさくない」と判定する。

ステップＳ４０７において、結果蓄積ＤＢ８０は、呈示語音決定部７７から語音の種類を受け取り、うるささ判定部６６からうるささ判定の結果の情報を受け取る。そして、たとえば語音ごとに、うるささの判定結果の情報を蓄積する。

このような処理によって、話者Ａが発声した音声の特徴を分析し、音声特徴ごとにＮ１成分の基準潜時を推定し、推定したＮ１成分の基準潜時と、計測した脳波データのＮ１成分の潜時との比較が可能になる。なお、話者Ａに単音節の語音を自由に発声させ、音声分析部４２において音声認識をさせる場合には、呈示語音決定部７８および文字出力部１２はなくてもよい。

本実施形態の語音聴取のうるささ判定システム４００によれば、話者Ａが発声した音声を用いて、リアルタイムに語音聴取のうるささ判定が実現できる。これによって、話者Ａおよび補聴器フィッティングの専門家の手間が少なく、かつ、ユーザがうるささを感じない、聞いていて疲れない補聴処理が実現できるようになる。

また、本実施形態では、音声分析部４２は生体信号計測部５０にトリガを送信するのではなく、事象関連電位処理部５５にトリガを送信してもよい。このとき、生体信号計測部５０は継続的に脳波を計測し、事象関連電位処理部５５が必要な事象関連電位の切り出しおよびベースライン補正を行ってもよい。

上述の実施形態においては、たとえばうるささ判定部は「判定する」という動作を行い、呈示語音決定部は「決定する」という動作を行うとして説明した。しかしながらこれらの動作は、人間の理解の便宜のための表現であり、装置が積極的に「判定」し、「決定」したことを外部に出力することを意図するものではない。装置の一構成要素としての「うるささ判定部」や「呈示語音決定部」は、所定の条件が満たされたとき、所定の処理を行えばよい。

たとえば、うるささ判定部は、脳波データにおけるＮ１成分の潜時が基準潜時よりも短い場合には、ユーザがうるさいと感じたという分類でその結果を蓄積すればよく、また脳波データにおけるＮ１成分の潜時が基準潜時よりも長い場合に、ユーザがうるさくないと感じたという分類でその結果を蓄積すればよい。また、呈示語音決定部は、語音ＤＢを参照して、語音をランダムな順序で選択し、音圧をランダムな順序で選択して、音声出力部に出力させればよい。これらの処理を、「判定」や「決定」という表現を利用して説明しているに過ぎないことに留意されたい。

上述の説明は、本願発明による処理を方法として実施する場合も同様である。

本発明の語音聴取のうるささ判定装置および語音聴取のうるささ判定装置が組み込まれた語音聴取のうるささ判定システムによれば、語音の聞き分けができたか否かの明瞭度に加えて、語音聴取時の脳波に基づき、語音聴取のうるささ判定が定量的にできる。それによって、ユーザがうるささを感じることがなく、聞いていて疲れない補聴処理が選択できるため、全ての補聴器ユーザのフィッティングにおいて利用可能である。

１、２、３、４ 語音聴取のうるささ判定装置
５ ユーザ
１１ 音声出力部
１２ 文字出力部
４１ 音声入力部
４２ 音声分析部
４３ 基準潜時推定部
５０ 生体信号計測部
５５、５６、５７ 事象関連電位処理部
６５、６６ うるささ判定部
７０、７５、７７、７８ 呈示語音決定部
７１、７２、７３ 語音ＤＢ
８０、８５ 結果蓄積ＤＢ
９０ 補聴処理部
９５ 評価切替部
９６ 基準潜時算出部
１００、２００、３００、４００ 語音聴取のうるささ判定システム

Claims (20)

1. ユーザの脳波信号を計測する生体信号計測部と、
   複数の単音節の語音を保持する語音データベースであって、各語音について、語音と前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けられている語音データベースと、
   前記語音データベースを参照して、呈示する単音節の語音を決定する呈示語音決定部と、
   前記ユーザに、決定された語音を呈示する出力部と、
   前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較して、出力された前記語音のうるささを判定するうるささ判定部と
   を備えたうるささ判定システム。
2. 語音データベースは、前記語音に含まれる子音の長さ又は子音の強度に応じて、前記語音と前記語音に対応する脳波信号の陰性成分の基準潜時を対応付けている、請求項１に記載のうるささ判定システム。
3. 前記うるささ判定部は、前記陰性成分のピーク潜時が前記基準潜時よりも小さい場合に、呈示された前記語音が前記ユーザにとってうるさいと判定し、前記陰性成分のピーク潜時が前記基準潜時よりも大きい場合に、呈示された前記語音が前記ユーザにとってうるさくないと判定する、請求項１に記載のうるささ判定システム。
4. 前記脳波信号の事象関連電位を、所定の基準にしたがって加算する事象関連電位処理部をさらに備え、
   前記呈示語音決定部は、複数の語音を決定し、
   前記出力部は、決定された前記複数の語音を順次呈示し、
   前記事象関連電位処理部は、前記複数の語音について、前記語音の種類又は音圧が同じ語音が呈示された時刻を起点とした前記脳波信号の事象関連電位を加算して、前記加算した結果を前記うるささ判定部に出力する、請求項１に記載のうるささ判定システム。
5. 前記うるささ判定部は、前記ピーク潜時として、前記決定された前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分の最小の電位を取る時刻、または、前記脳波信号と予め用意されたＮ１成分の波形のテンプレートとの一致度が最も高くなる場合の、前記テンプレートに対応付けられたピーク潜時を採用する、請求項１に記載のうるささ判定システム。
6. 前記事象関連電位処理部は、子音ごとまたは基準潜時の差が所定の値よりも小さい語音グループごとに事象関連電位を加算する、請求項４に記載のうるささ判定システム。
7. 前記語音のうるささに関する判定結果を示す情報を蓄積する結果蓄積データベースをさらに備え、
   前記結果蓄積データベースには、語音ごと、子音ごと、または、基準潜時の差が所定の値よりも小さい語音グループごとに、前記語音のうるささに関する判定結果を示す情報が蓄積されている、請求項１に記載のうるささ判定システム。
8. 前記呈示された前記語音に関して補聴処理の種類を選択し、選択された補聴処理に基づいて前記語音データベースに保持されている語音データを加工する補聴処理部をさらに備えた、請求項１に記載のうるささ判定システム。
9. ユーザごとの陰性成分の潜時を求める校正モードと、うるささを評価する評価モードとを切り替える切替部をさらに備え、
   前記校正モードにおいて、前記切替部は、前記呈示語音決定部において母音を選択し、母音に対する前記陰性成分の潜時に基づいて語音ごとの基準潜時を算出し、
   前記評価モードに切り替えられた後において、前記切替部は、前記陰性成分のピーク潜時と算出した前記基準潜時とを比較する、請求項１に記載のうるささ判定システム。
10. 前記校正モードにおいて、前記切替部は、前記呈示語音決定部において母音が選択された場合に、母音に対するＮ１成分の潜時を母音の基準潜時に設定し、母音の基準潜時に子音部分の長さまたは強度に応じて決定された正の値を加えて、子音ごとの基準潜時を算出する、請求項９に記載のうるささ判定システム。
11. 複数の単音節の語音を保持し、かつ、各語音について、語音と前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けられている語音データベースを参照して、呈示する単音節の語音を決定する呈示語音決定部と、
    生体信号計測部によって計測されたユーザの脳波信号のうち、 前記語音が出力部によって前記ユーザに呈示された時刻を起点として、５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較した結果を出力するうるささ判定部と、
    前記うるささ判定部が出力した、前記脳波信号の陰性成分のピーク潜時と前記語音に対応する基準潜時との差に基づいて、前記語音を調整する補聴処理部と
    を備えたうるささ判定装置。
12. ユーザの脳波信号を計測するステップと、
    複数の単音節の語音と、前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けて保持されている語音データベースを参照して、呈示する単音節の語音を決定するステップと、
    前記ユーザに、決定された語音を呈示するステップと、
    前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較して、出力された前記語音のうるささを判定するステップと
    を包含する、うるささ判定方法。
13. 語音聴取のうるささ判定システムに設けられたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記うるささ判定システムに実装されるコンピュータに対し、
    ユーザの脳波信号を受け取るステップと、
    複数の単音節の語音と、前記語音に対応する脳波信号の陰性成分の基準潜時とが対応付けて保持されている語音データベースを参照して、呈示する単音節の語音を決定するステップと、
    前記ユーザに、決定された語音を呈示するステップと、
    前記語音が呈示された時刻を起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記語音データベースに保持されている、決定された前記語音に対応する基準潜時とを比較して、出力された前記語音のうるささを判定するステップと
    を実行させる、コンピュータプログラム。
14. ユーザの脳波信号を計測する生体信号計測部と、
    特定話者が発声した音声の音声信号を入力するための音声入力部と、
    前記音声信号が入力されたタイミングを検出してトリガを出力し、さらに前記音声の子音部分の長さおよび強度に関する特徴を分析する音声分析部と、
    前記音声分析部で分析された前記特徴に基づいて、陰性成分の基準潜時を推定する基準潜時推定部と、
    前記トリガを起点として５０ｍｓ以上３５０ｍｓ以下の範囲に含まれる前記脳波信号の陰性成分のピーク潜時と、前記基準潜時推定部によって推定された基準潜時とを比較してうるささを判定するうるささ判定部と
    を備えたうるささ判定システム。
15. 前記特定話者に発生させるための語音を示す文字情報を出力する文字出力部をさらに備え、
    前記文字出力部によって出力された文字情報に基づいて前記特定話者が発生した音声信号が前記音声入力部に入力される、請求項１４に記載のうるささ判定システム。
16. 前記文字出力部は、単音節の語音を前記特定話者が発声する際の大きさを示す音圧に関する情報をさらに出力し、
    前記文字出力部によって出力された文字情報および音圧に関する情報に基づいて前記特定話者が発生した音声信号が前記音声入力部に入力される、請求項１５に記載のうるささ判定システム。
17. 予め用意された語音リストを参照して、前記特定話者に発声させる語音を決定する呈示語音決定部をさらに備え、
    前記文字出力部は、前記呈示語音決定部によって決定された前記語音を示す文字情報を出力する、請求項１５に記載のうるささ判定システム。
18. 前記基準潜時推定部は、前記音声分析部で分析された前記特徴、および、呈示語音決定部が決定した前記特定話者に発声させる語音に基づいて、前記陰性成分の基準潜時を推定する、請求項１７に記載のうるささ判定システム。
19. 前記基準潜時推定部は、予め用意されたベース潜時に、前記語音の子音長あるいは子音強度に基づいて決定される所定の正の値を加えることにより、前記陰性成分の基準潜時を推定する、請求項１７に記載のうるささ判定システム。
20. ユーザの脳波信号を計測するステップと、
    特定話者が発声した音声の音声信号を入力するステップと、
    前記音声信号が入力されたタイミングを検出してトリガを出力し、さらに前記音声の子音部分の長さおよび強度に関する特徴を分析するステップと、
    分析する前記ステップで分析された前記特徴に基づいて、陰性成分の基準潜時を推定するステップと、
    前記トリガを起点として５０ｍｓ以上３５０ｍｓ以下の範囲 に含まれる前記脳波信号の陰性成分のピーク潜時と、推定する前記ステップによって推定された基準潜時とを比較してうるささを判定するステップと
    を包含する、うるささ判定方法。

Images