JP2021157134A - 信号処理方法、信号処理装置及び聴取装置 - Google Patents

Abstract

【課題】基底膜の減衰振動特性を物理音響的に補完する技術の提供。【解決手段】入力部１０に音声を含む音データが入力されると、所定周波数を境界として周波数帯域が分割され、ＨＰＦ１２を通過した音データに対しＦＦＴが施される。これにより得られた周波数領域の信号から、母音基本波抽出部２０で母音の基本波成分等が抽出されると、時間領域において、合成減衰波形生成部２２で母音の基本波成分等に対応する個人の周波数選択性の劣化度合いに応じた合成減衰波形が生成され、合成減衰波形畳み込み部２４でＨＰＦ１２を通過した音データに逐次畳み込まれる。合成減衰波形が畳み込まれて調整部２６で利得の調整がなされた音データは、ＬＰＦ１４を通過した音データと加算部２８で加算され、出力部３０から出力される。これにより、周波数選択性が劣化した周波数帯域の音声のスペクトルコントラストを実質的に強調でき、異音の少ない自然な音を出力できる。【選択図】図１

Description

本発明は、信号処理方法及びその方法を用いた装置に関し、特に、音声を強調するための信号処理方法に関する。

加齢性難聴は、周波数選択性の劣化や高音域における最小可聴閾値の上昇等の特徴を有しており、言葉がはっきりと聞こえなくなる症状が現れるが、その原因の一つに、内耳の中にある有毛細胞の機能損失があると考えられている。

音が外耳道を通ると鼓膜が振動して内耳に伝わり、有毛細胞において音の振動が電気的エネルギーに変換され、このエネルギーが神経系を経て脳に到達すると、音として聞こえることとなる。ここで、仮に、有毛細胞が摩耗により短くなったと想定すると、鼓膜や中耳を通して起動される内耳の基底膜の減衰振動特性が本来の時間より短くなり、その結果として、神経系に伝達するためのエネルギー量を十分に確保できなくなることが予想される。

ここで、母音の周波数スペクトルの形状に対しピークを残しつつその両脇を押さえる、すなわちピークをより鋭くする加工を行ってスペクトルコントラストを強調するという、ＳＳＳ（Sound Spectrum Shaping）と呼ばれる手法が実装された補聴器が知られている（例えば、特許文献１及び２を参照。）。

特許第５２７７３５５号公報 特許第５３１３５２８号公報

上述した先行技術によれば、補聴器使用者の周波数選択性の劣化度合いに応じたスペクトル強調処理がなされるため、音声の明瞭度を向上させることができると考えられる。

ところで、上述した先行技術においては、スペクトル強調処理が周波数領域において実行される。また、周波数領域での信号処理にはフーリエ変換を用いるのが一般的である。

例えば、高速フーリエ変換（Fast Fourier Transform、以下「ＦＦＴ」と称する場合がある。）を用いて上記のスペクトル強調処理が周波数領域で実行される場合、その作用はＦＦＴのフレーム内にしか及ばない。周波数領域におけるスペクトルのピークを鋭くすることは、時間領域における信号の持続時間をより長くすることに相当するため、本来はフレームを超えた時間の範囲までスペクトル強調処理による作用を及ぼすことが理想的である。しかしながら、ＦＦＴを用いたフレームを超えた時間の範囲にまで及ぶスペクトル強調処理は巡回畳み込みとなってしまうため、その作用を時間領域における信号に理想的な形で反映させることが困難である。また、周波数領域で音声のスペクトルコントラストを強調すると、ミュージカルノイズのような歪音が発生し易く、その回避も困難である。

そこで、本発明は、基底膜の減衰振動特性を物理音響的に補完する技術の提供を課題とする。

上記の課題を解決するため、本発明は以下の信号処理装置及び信号処理方法並びに聴取装置を採用する。なお、以下の括弧書中の文言はあくまで例示であり、本発明はこれに限定されるものではない。

すなわち、本発明の信号処理装置及び信号処理方法においては、音声信号を入力し、音声信号に対しフーリエ変換を行って、得られた信号について少なくとも母音の基本波成分及びその高調波成分の一部を抽出し、抽出された基本波成分及びその高調波成分に対応し、個人の周波数選択性の劣化度合いに応じた減衰波形（強調波形）を生成し、生成された減衰波形を音声信号に対して畳み込み、畳み込まれた音声信号を出力する。

周波数選択性の劣化度合いは、信号処理装置を利用する個人により、また周波数帯域によっても、様々に異なるものである。上述したように、周波数選択性が劣化した難聴者は内耳の基底膜の減衰振動特性が本来の時間より短くなっていることが予想されるため、周波数選択性の劣化を補完するためには、その劣化の度合いに応じて音の減衰特性を長くすることが有効と考えられる。

この態様においては、入力された音声信号にフーリエ変換を行って得られる周波数領域の信号から少なくとも母音の基本波成分及びその高調波成分の一部が抽出され、その基本波成分及び高調波成分に対応して、時間領域において、個人の周波数選択性の劣化度合いに応じて生成された減衰波形が元の音声信号に畳み込まれた上で出力される。

したがって、この態様によれば、時間領域において減衰波形が元の音声信号に対して畳み込まれるため、個人の周波数選択性の劣化度合いに応じて音声のスペクトルコントラストを実質的に強調することができ、基底膜の減衰振動特性を物理音響的に補完することが可能となる。また、この態様によれば、周波数領域での演算処理により音声のスペクトルコントラストを強調する場合と比較して、処理の作用を時間領域において理想的な形で反映させることができるとともに、異音が少なくより自然な音を出力することができる。

より好ましくは、上記の信号処理装置及び信号処理方法において、入力された音声信号を所定周波数に基づいて第一帯域音声信号と第二帯域音声信号とに分離し、分離された第一帯域音声信号に対してフーリエ変換を行う。また、分離された第一帯域音声信号に対して減衰波形を畳み込み、畳み込まれた音声信号の利得を増幅又は減衰させて調整する。そして、利得が調整された音声信号と分離された第二帯域音声信号とを加算して、加算された音声信号を出力する。

この態様においては、入力された音声信号のうち、所定周波数（例えば、母音の基本周波数を基準として定めたカットオフ周波数）未満の低周波数帯域成分（第二帯域音声信号）とその他の成分（第一帯域音声信号）とに分離される。そして、低周波数帯域成分がカットされた音声信号（第一帯域音声信号）に対してフーリエ変換や減衰波形の畳み込み等がなされ、これらの処理が施された音声信号に、分離された低周波数帯域成分の音声信号（第二帯域音声信号）がそのまま加算される。

したがって、この態様によれば、低周波数帯域成分の音声信号がそのまま加算されるため、低周波数帯域成分に起因する歪音等の発生を抑制することができる。さらに、この態様によれば、低音域以外の成分の音声信号に対してフーリエ変換がなされるため、入力された音声信号全体を対象とする場合と比較して、計算処理を簡略化することができる。

さらに好ましくは、上記の信号処理装置及び信号処理方法において、雑音信号を元にして減衰波形（強調波形）を生成する。

この態様によれば、雑音信号を元にして減衰波形（強調波形）が生成されるため、抽出された基本波成分及びその高調波成分に対応する周波数のスペクトルだけでなく、周辺周波数のスペクトルに対しても同時に、減衰波形の減衰特性（強調波形の特性）を適用することができる。そのため、個人の周波数選択性の劣化度合いに応じて音声のスペクトルコントラストをより自然な形で強調することができ、さらに自然な音を出力することができる。

また、本発明の聴取装置は、上記のいずれかの態様の信号処理装置と、信号処理装置内の出力部から出力された音声信号を音として出力するイヤホンとを備えている。より好ましくは、上記の聴取装置において、外部音を入力する少なくとも１つのマイクロホンをさらに備えている。

この態様によれば、マイクロホンを介してリアルタイムで入力される外部音について、個人の周波数選択性の劣化度合いに応じて音声のスペクトルコントラストを実質的に強調した自然な音が聴取装置（補聴器）から出力されるため、基底膜の減衰振動特性を物理音響的に補完することができる。

以上のように、本発明によれば、基底膜の減衰振動特性を物理音響的に補完することができる。

一実施形態における音声信号処理装置の構成を示す機能ブロック図である。 音声信号処理の手順例を示すフローチャートである。 母音基本波抽出処理の概要を示す図である。 周波数選択性の劣化度合いの一例を示す図である。 周波数選択性の劣化度合いに応じた減衰波形を生成する処理の概要を示す図である。 合成減衰波形生成部により生成された合成減衰波形の一例を示す図である。 音声信号処理を施していない場合と施した場合とで音声の波形とそのスペクトルを比較して示す図である。 音声信号処理装置の変形例を示す機能ブロック図である。 一実施形態における聴取装置の構成を示す機能ブロック図である。 従来技術における音声スペクトル強調処理の概要を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態は好ましい例示であり、本発明はこの例示に限定されるものではない。

〔音声信号処理装置の構成〕
図１は、一実施形態における音声信号処理装置１の構成を示す機能ブロック図である。

音声信号処理装置１は、例えば、音声データ入力部１０、ハイパスフィルタ（ＨＰＦ）１２、ローパスフィルタ（ＬＰＦ）１４、フーリエ変換部（ＦＦＴ部）１６、母音基本波抽出部２０、合成減衰波形生成部２２、合成減衰波形畳み込み部２４、利得調整部２６、波形加算部２８、音声データ出力部３０等で構成されている。

音声データ入力部１０は、音声が含まれる音データ（以下、単に「音データ」と称する。）を入力してハイパスフィルタ１２及びローパスフィルタ１４に送る。ハイパスフィルタ１２は、送られた音データのうち所定周波数以上の音成分を通過させてフーリエ変換部１６及び合成減衰波形畳み込み部２４に送る一方、所定周波数未満の音成分をカットする。ローパスフィルタ１４は、送られた音データのうち所定周波数未満の音成分を通過させて波形加算部２８に送る一方、所定周波数以上の音成分をカットする。

フーリエ変換部１６は、送られた音データに対してＦＦＴ処理を施すことにより、音データ（時間領域の信号）に対応する周波数領域の信号を生成する。母音基本波抽出部２０は、各ＦＦＴフレームにて観測される信号について少なくとも母音の基本波成分及びその高調波成分の一部を抽出する。合成減衰波形生成部２２は、抽出された母音の基本波成分及びその高調波成分に対応し、個人の周波数選択性の劣化度合いに応じた合成減衰波形を生成する。合成減衰波形畳み込み部２４は、生成された合成減衰波形を、ハイパスフィルタ１２から送られた音データに逐次畳み込む。

利得調整部２６は、畳み込まれた音データに対し利得の増幅又は減衰を行う。波形加算部２８は、利得調整部２６を経た音データとローパスフィルタ１４から送られた音データを加算して、音声データ出力部３０に送る。音声データ出力部３０は、送られた音データをデジタル信号として出力する。

このように、音声信号処理装置１においては、音声データ入力部１０に入力された音データに対し各機能部１２〜２８にて所定の処理が施され、処理後の音データが最終的に音声データ出力部３０から出力される。また、入力された音データのうち所定数周波数以上の音成分がＦＦＴ処理の対象となり、ＦＦＴ処理によって時間領域の信号（音データ）に対応する周波数領域の信号が生成され、周波数領域の信号から少なくとも母音の基本波成分及びその高調波成分の一部が抽出される。その上で、抽出された母音の基本波成分及びその高調波成分に対応する合成減衰波形の生成及び合成減衰波形の音データへの畳み込みが、時間領域において行われる。

なお、上記の各機能部により実行される具体的な処理の内容については、別の図面を参照しながら詳しく後述する。また、音データは、音声データ入力部１０に入力されてから音声データ出力部３０から出力されるまで、終始デジタル信号として処理される。以下の説明においては、信号との記載を省略したり、信号との記載に代えてデータと記載したりする場合があるが、いずれの場合においても指し示す対象は同一のものである。

図２は、音声信号処理の手順例を示すフローチャートである。
音声信号処理は、音声信号処理装置１により実行される処理である。以下、手順例に沿って説明する。

〔音声データ入力処理〕
ステップＳ１０：先ず、音声データ入力処理では、音声データ入力部１０が、音声を含む音データを入力する（音データの入力を受け付ける）。本実施形態の音声信号処理においては、音声が処理の対象とされ、その母音の基本波成分及びその高調波成分が含まれている必要があることから、１００Ｈｚ〜７ｋＨｚ程度の周波数帯域をカバーするために、サンプリング周波数を１６ｋＨｚとし、量子化ビットを１６ビットとした。

なお、サンプリング周波数は１６ｋＨｚ以上、量子化ビットは１６ビット以上であることが好ましい。また、音データは、例えば、音声信号処理装置１に接続されるマイクロホンを介してリアルタイムで入力されてもよいし、音声信号処理装置１の内部又は外部メモリ等に格納されたものであってもよい。

〔周波数帯域分割処理〕
ステップＳ２０：周波数帯域分割処理では、前ステップＳ１０で入力された音データについて、カットオフ周波数を境界として周波数帯域を２つに分割（周波数帯域を分離）する。カットオフ周波数は、音声の母音の基本波成分より低い周波数であることが好ましい。ここで、一般的には男性の声が女性の声より低く、また、男性の音声の母音の基本波成分は１５０Ｈｚ程度と考えられている。そこで、本実施形態においては、カットオフ周波数を１００Ｈｚとした。なお、カットオフ周波数はこれに限定されない。

この処理においては、ハイパスフィルタ１２がカットオフ周波数未満の低周波数帯域成分をカットして残りの音成分（低音域以外の成分）を通過させるとともに、ローパスフィルタ１４がカットオフ周波数以上の成分（低音域以外の成分）をカットして低周波数帯域成分を通過させる。なお、ハイパスフィルタ１２を通過した音成分は、後述する高速フーリエ変換処理以降の各処理（ステップＳ３０〜Ｓ７０）において様々な信号処理が施される。これに対し、ローパスフィルタ１４を通過した低周波数帯域成分は、後述する波形加算処理（ステップＳ８０）においてそのまま加算されることとなる。

カットオフ周波数未満の低周波数帯域成分には母音の基本周波数に関係しない音成分（例えば、空調機器の定常騒音）が多く含まれている上に、低周波数帯域成分は音のエネルギーも高いことから、信号処理を行う上でノイズ源となりうる。ハイパスフィルタ１２で低周波数帯域成分をカットすることにより、これ以降の信号処理において低周波数帯域成分に起因するノイズの影響を抑制することができる。

〔高速フーリエ変換処理〕
ステップＳ３０：高速フーリエ変換処理では、フーリエ変換部１６が、前ステップＳ２０でハイパスフィルタ１２により低周波数帯域成分がカットされた音データに対してＦＦＴ処理を施すことにより、時間領域の信号に対応する周波数領域の信号を生成する。このＦＦＴ処理は、低周波数帯域成分がカットされた音データを対象としており、入力された音データ全体を対象とする場合よりも計算する周波数帯域が限定されるため、フーリエ変換部１６における計算処理を簡略化することができる。

ＦＦＴ処理は、上記の音データ（時間領域の信号）を一定の間隔でシフトしながら所定の窓関数（例えば、ハニング窓）を掛け合わせて実行される。本実施形態においては、ＦＦＴのフレーム長を５１２サンプルとし、シフト長を２５６サンプルとしたが、これに限定されず、所望の目的信号の制度やプロセッサの性能等に応じて適切な値とすることが可能である。

〔母音基本波抽出処理〕
ステップＳ４０：母音基本波抽出処理では、母音基本波抽出部２０が、前ステップＳ３０でのＦＦＴ処理により得られた各フレームの信号について音声の少なくとも母音の基本波成分及びその高調波成分の一部を抽出する。より具体的には、母音基本波抽出部２０は、周波数の低い方から順に、母音の基本周波数（ｆ０）、母音の基本周波数の第２高調波（２ｆ０）、母音の基本周波数の第３高調波（３ｆ０）、・・・のうち少なくともこれらの一部を抽出する。

〔母音基本波抽出処理の概要〕
図３は、母音基本波抽出処理の概要を示す図であり、或るＦＦＴフレームにおける音声信号を含む信号の周波数分布の一例を表している。

図３中の太線は、当該フレームにおいて観測された信号（周波数領域の信号）を表している。また、図３中の細線のうち、音圧レベルが大きく変化している曲線は、当該フレームにおける音声信号を表しており、概ね一定の音圧レベルで広い周波数帯域にわたり延びている曲線は、この音声信号のノイズレベルを表している。

太線で表された信号のピークが周波数特性のピークであり、これらの各ピークの周波数ｆ０，２ｆ０，３ｆ０，・・・が、母音の基本周波数及びその高調波に相当する。なお、細線で表された音声信号のうち、音圧レベルがノイズレベルより低い部分は、ノイズに埋もれているため観測されない。したがって、音声信号のピーク周波数がノイズに埋もれている場合には、ｆ０，２ｆ０，３ｆ０，・・・が必ずしも全て観測されるとは限らないし、状況によっては、一つも観測されないこともある。或いは、母音の基本波成分は観測されずにその高調波成分の一部のみ観測されることもある。

母音の基本波成分及びその高調波成分の抽出は、様々な手法により行うことができる。例えば、先ずピーク周波数を判別して周波数の低い方からピーク周波数を確認し、各ピーク周波数について音声のスペクトルに関係しないものを除外し、その上で、周波数の低い方からｆ０，２ｆ０，３ｆ０と決定して、これら信号の大きさを決定することにより、母音の基本波成分を抽出することができる。或いは、母音の基本波成分は観測されずにその高調波成分の一部のみ観測される場合には、高調波成分より基本周波数を推定する。

なお、ｆ０，２ｆ０，３ｆ０のさらに高調波周波数について、上記と同様の処理を行ってもよい。また、母音基本波抽出処理は、音声の母音成分を対象とするものであり、音声以外の純音性の音は除外する（これらの音に対しては処理を実行しない）ことが好ましい。そこで、母音基本波抽出処理の実行前のいずれかの段階において、音声とそれ以外の音とを区別する処理を実行してもよい。例えば、音声特有の音響特徴量を利用して音声区間を検出するＶＡＤ（Voice Activity Detection）の手法を適用して、ＶＡＤにより音声区間と判定された区間に対してのみ、母音基本波抽出処理を実行する構成とすることも可能である。

〔合成減衰波形生成処理：図２参照〕
ステップＳ５０：合成減衰波形生成処理では、合成減衰波形生成部２２が、前ステップＳ４０で抽出された母音の基本波成分やその高調波成分に対応し、個人の周波数選択性の劣化度合いに応じた合成減衰波形を、雑音信号を元にして生成する。

〔周波数選択性の指標〕
図４は、周波数選択性の指標の一つであるＦＳｍａｐ（Frequency Selectivity Map、周波数選択性マップ）を用いて周波数選択性の劣化度合いを示す図である。ＦＳｍａｐとは、オージオグラム上に個人の聴覚フィルタ幅と健聴者の聴覚フィルタ幅との比（健聴者の聴覚フィルタの広がり幅を基準とした場合の難聴者の聴覚フィルタの広がりの割合）を色の濃淡で表したものであり、ここでは一例として、或る難聴者の周波数選択性の劣化度合いがＦＳｍａｐに表されている。

より具体的には、周波数毎に純音の聞き取りを測定することで得られた最小可聴閾値と、最小可聴閾値よりも大きな音に対する聴覚フィルタの広がり幅がＦＳｍａｐに表される。図４中の折れ線グラフは、各周波数での最小可聴閾値を直線でつないだオージオグラムであり、図４中の染色された帯は、その閾値上２０ｄＢの範囲における聴覚フィルタ幅の比を表している。なお、周波数や音圧レベル毎に聞き取りの測定結果が異なる場合には、帯内の周波数の間をグラデーションでつないで表している。グラフ右側の凡例バーは、染色の濃淡に応じた周波数選択性の劣化度合いを示しており、その目安として凡例バーの両側には１０段階の目盛（１〜１０）が振られている。帯の染色が濃いほど（目盛の数値が大きいほど）聴覚フィルタの広がり度合いが大きく（聞き取りが難しく）、帯の染色が薄いほど（目盛の数値が小さいほど）聴覚フィルタの広がり度合いが小さい（聞き取りが容易である、健聴者の聞こえと同様である）ことを表している。

例えば、図４に表された難聴者の場合には、５００Ｈｚの５０〜７０ｄＢＨＬでの染色は凡例バーの目盛２の色に該当しており、１ｋＨｚの５０〜７０ｄＢＨＬ及び２ｋＨｚの５５〜７５ｄＢＨＬでの染色は凡例バーの目盛５の色に該当しており、２５０Ｈｚの４５〜６５ｄＢＨＬ及び４ｋＨｚの６０〜８０ｄＢＨＬでの染色は凡例バーの目盛９の色に該当している。したがって、ＦＳｍａｐから、この難聴者は、５００Ｈｚの音声の明瞭性は比較的健聴者に近い聞き取りが可能であるのに対し、１ｋＨｚ及び２ｋＨｚの音声の明瞭性は聞き取りがやや難しく、２５０Ｈｚ及び４ｋＨｚの音声の明瞭性は聞き取りがかなり難しい、ということが分かる。

このように、難聴者の周波数選択性の劣化度合いは、個々人で周波数帯域によっても音圧レベルによっても異なるものである。また、周波数選択性の劣化と最小可聴閾値の上昇とは、必ずしも関係しないことが知られている。周波数選択性が劣化した難聴者は、上述したように、内耳の基底膜の減衰振動特性が本来の時間より短くなっており、神経系に伝達するエネルギー量が十分に確保できないことが予想される。そこで、周波数選択性の劣化を補完するために、劣化の度合いに応じて音の減衰特性を長くすることが一つの有効な手段であると考えられる。

そこで、本実施形態においては、前ステップＳ４０で抽出された母音の基本波成分やその高調波成分に対応して、個人の周波数選択性の劣化度合いに応じた合成減衰波形を生成する。減衰波形は、雑音信号を元にして生成されるが、その理由は、雑音は周波数帯域が広いことから、雑音信号を元にして減衰波形を生成すれば、特定の周波数のスペクトルのみならず周辺周波数のスペクトルに対しても同時に減衰波形の減衰特性を適用することができ、効率がよいためである。雑音信号としては、ホワイトノイズ、ピンクノイズ、１／ｆ雑音等の様々な特性の雑音信号が用いられる。雑音信号はその種類によって様々な周波数帯域に対応しており、抽出された母音の基本波成分やその高調波成分の周波数に応じて使い分けられる。減衰波形の減衰特性は、個人の周波数選択性の劣化度合いに応じて変化させることが好ましい。

〔合成減衰波形生成処理の基本概要〕
図５は、周波数選択性の劣化度合いに応じた減衰波形を生成する処理の基本概要を示す図である。図５中（Ａ）は、ＦＦＴフレームにおいて観測された信号のうちピーク周波数に対応した一部分を抜き出して表したものであり、観測されたままの信号Ｘ_Ｆと、信号Ｘ_Ｆのピークを残しつつその両脇を押さえてピークをより鋭くした信号Ｙ_Ｆが表されている。なお、図５中の各信号の波形は、発明の理解を容易とするために誇張して描かれている。

ところで、一般的にあるシステムのインパルス応答は、時間領域では無限の長さを持つ信号となることが知られている。このことは、周波数領域での信号のスペクトル形状が鋭い（ピークをなす周波数帯域が狭い）ほど、時間領域での信号は収束までの時間（減衰時間）が長くなることを意味する。

図５中（Ｂ）は、周波数領域での信号Ｘ_Ｆに対応する時間領域での信号Ｘ_Ｔを表しており、図５中（Ｃ）は、周波数領域での信号Ｙ_Ｆに対応する時間領域での信号Ｙ_Ｔを表している。これらの図に示されるように、観測されたままの信号Ｘ_Ｆに対応する信号Ｘ_Ｔと比較して、信号Ｘ_Ｆのピークをより鋭くした信号Ｙ_Ｆに対応する信号Ｙ_Ｔの方が、収束までの時間が長期化していることが分かる。

そこで、本実施形態においては、この考え方を減衰波形の生成に採用し、個人の周波数選択性の劣化度合いに応じた減衰特性を設定して、周波数選択性の劣化度合いに応じた合成減衰波形を生成している。図６は、合成減衰波形生成部２２により生成される合成減衰波形の一例であり、ホワイトノイズを元にして周波数帯域毎に生成された減衰波形を畳み込んで１つの合成減衰波形としたものである。

より具体的には、例えば、図４のＦＳｍａｐに表された難聴者の周波数選択性は、５００Ｈｚではあまり劣化しておらず、１ｋＨｚ及び２ｋＨｚではやや劣化しており、２５０Ｈｚ及び４ｋＨｚではかなり劣化している。そのため、周波数選択性の劣化分（内耳の基底膜の減衰振動特性の減少分）を補完するために、この難聴者の場合には、例えば、５００Ｈｚの５０〜７０ｄＢＨＬでは短めの減衰特性を設定し、１ｋＨｚの５０〜７０ｄＢＨＬ及び２ｋＨｚの５５〜７５ｄＢＨＬでは中程度の減衰特性を設定し、２５０Ｈｚの４５〜６５ｄＢＨＬ及び４ｋＨｚの６０〜８０ｄＢＨＬでは長めの減衰特性を設定して、周波数毎に設定された減衰特性を適用した個々の減衰波形を時間領域で生成する。これにより、５００Ｈｚの５０〜７０ｄＢＨＬに対しては減衰時間が短めの（短めの時間で収束する）減衰波形が生成され、１ｋＨｚの５０〜７０ｄＢＨＬ及び２ｋＨｚの５５〜７５ｄＢＨＬに対しては減衰時間が中程度の（中程度の時間で収束する）減衰波形が生成され、２５０Ｈｚの４５〜６５ｄＢＨＬ及び４ｋＨｚの６０〜８０ｄＢＨＬに対しては減衰時間が長めの（長めの時間で収束する）減衰波形が生成される。そして、これらの減衰波形が畳み込まれて、１つの合成減衰波形が生成されることとなる。

なお、例えばＦＳｍａｐで凡例バーの目盛が１となる周波数及び音圧の場合には、健聴者とほぼ同等に聞き取りが可能であるため、減衰特性の設定ではインパルス応答を設定し、入力された音と同じ音が出力される（減衰波形が生成されないことと実質的に等価である。）。

なお、本実施例においては、各周波数で音圧レベルごとには減衰特性を設定していないが、周波数選択性の劣化度合いが音圧レベルで異なる場合は、各周波数で音圧レベルごと設定してもよい。また、上記の周波数ポイント間の範囲、上記のうちの最低周波数ポイントより低い周波数範囲及び上記のうちの最大周波数ポイントより高い周波数範囲については、上記周波数ポイントの設定を元に補完する。補完方法は、例えば上記の周波数ポイント間については設定に対して直線的に補完してもよいし、既定の重みづけを行い補完してもよい。上記のうちの最低周波数ポイントより低い周波数範囲及び上記のうちの最大周波数ポイントより高い周波数範囲については、それらの周波数ポイントと同一の設定にしてもよいし、一律で一定程度低く、或いは高く設定してもよい。具体的には、７５０Ｈｚの５０ｄＢＨＬの設定は５００Ｈｚの５０ｄＢＨＬの設定と１ｋＨｚの５０ｄＢＨＬの設定との平均の設定とする。また、２５０Ｈｚより低い周波数範囲の６５ｄＢＨＬの設定は２５０Ｈｚの６５ｄＢＨＬと同じ設定とする。

なお、ここで説明した減衰特性の設定や合成減衰波形の生成の態様は一例として挙げたものであり、これらを異なる態様により行うことも可能である。例えば、減衰特性の設定や合成減衰波形の生成において、減衰波形のエンベロープが単調に減衰してもよいし、一度あるいは複数回の増幅を伴ってもよい。また、減衰波形や合成減衰波形は、合成減衰波形生成部２２の内部メモリ又は音声信号処理装置１に接続される外部メモリ（いずれも不図示）に予め記憶された複数種類のパターンの中から個人に最適なパターンを選択して使用してもよいし、装置のリソースに余裕があれば、個人の周波数選択性の劣化度合いに応じてその都度計算を行って生成してもよい。

〔合成減衰波形畳み込み処理：図２参照〕
ステップＳ６０：合成減衰波形畳み込み処理では、合成減衰波形畳み込み部２４が、上記のステップＳ２０でハイパスフィルタ１２により低周波数帯域成分がカットされた音データに対し、前ステップＳ５０で生成された合成減衰波形を逐次畳み込む。

ハイパスフィルタ１２を通過したままの音データは合成減衰波形畳み込み部２４に直接送られるのに対し、ハイパスフィルタ１２を通過した音データに基づいて生成された合成減衰波形は、高速フーリエ変換処理、母音基本波抽出処理及び合成減衰波形生成処理（上記のステップＳ３０〜Ｓ５０）を経て合成減衰波形畳み込み部２４に送られるため、これらの各処理の所要時間分だけ、ハイパスフィルタ１２を通過したままの音データに対して畳み込まれる合成減衰波形には時間遅延が生じることとなる。

合成減衰波形を畳み込む処理は、音データの母音の基本波成分及びその高調波成分に対応する残響を音データに付加する処理とも言い換えられる。そのため、前ステップＳ５０で合成減衰波形生成部２２が合成減衰波形を生成する際には、上記の時間遅延を考慮して処理を実行することもできる。したがって、時間遅延が生じること自体はさほど問題にならない。また、本発明における合成減衰波形を畳み込む処理は、音データの母音の基本波成分及びその高調波成分を強調する処理と言い換えることもできる。よって、合成減衰波形は合成強調波形と換言することができ、減衰波形は強調波形と換言することができる。

〔利得調整処理〕
ステップＳ７０：利得調整処理では、利得調整部２６が、前ステップＳ６０で合成減衰波形の畳み込みがなされた音データに対し、利得の増幅又は減衰を行う。

〔波形加算処理〕
ステップＳ８０：波形加算処理では、波形加算部２８が、前ステップＳ７０で利得の調整がなされた音データと、上記のステップＳ２０でローパスフィルタ１４を通過したままの音データとを加算する。

〔音声データ出力処理〕
ステップＳ９０：最後に、音声データ出力処理では、音声データ出力部３０が、前ステップＳ８０で加算された音データを出力する。なお、ここで出力される音データは、音声信号処理装置１に接続される他の機器や、音声信号処理装置１を一部の機能として搭載する装置等において用いられたり、或いは、それらの装置等の内部メモリや別途接続される外部メモリ等に格納されたりする。

以上のような手順で構成される音声信号処理を実行することにより、母音の基本波成分やその高調波成分について、個人の周波数選択性の劣化度合いに応じて時間領域での処理により母音のスペクトルコントラストを実質的に上げて母音を強調することができ、基底膜の減衰振動特性の減少分を物理音響的に補完することが可能となる。

〔波形及びスペクトルの比較〕
図７は、上記の音声信号処理（図２）を施していない場合（Ａ）と施した場合（Ｂ）とで音声の波形とその音声を時間周波数解析した結果のスペクトルを比較して示す図である。このシミュレーションは、男性が発する「まだ正式に決まったわけではないので」という音声を用いて実施した。

図７中（Ａ）のうち、左側の図は、シミュレーションに使用された音声の波形、すなわち上記の音声信号処理を施していない場合の波形を示しており、右側の図は、そのスペクトルを示している。また、図７中（Ｂ）のうち、左側の図は、シミュレーションに使用された音声に上記の音声信号処理を施した場合の波形を示しており、右側の図は、そのスペクトルを示している。なお、スペクトルにおける白色の濃淡は、音声のエネルギーの大小（音圧レベルの高低）に相当し、白色が濃いほど音声のエネルギーが大きい（音圧レベルが高い）ことを表している。

図７中（Ａ）及び（Ｂ）を比較してみると、（Ｂ）のスペクトルには、（Ａ）のスペクトルには現れていない白色や灰色の部分が現れており、母音の基本波成分及び高調波成分が（Ａ）より強調されていることが看取できる。また、（Ｂ）のスペクトルにおいて、その他の周波数成分に音の成分が多少みられるものの、さほど影響のある音は生じていない。以上のことから、上記の音声信号処理は、音声のスペクトルコントラストを強調しつつ、異音が少なく自然な音を出力することができることが分かる。

〔音声信号処理装置の変形例〕
図８は、音声信号処理装置１の変形例を示す機能ブロック図である。

変形例としての音声信号処理装置３は、最小限の構成によるものであり、例えば、音声データ入力部１０、フーリエ変換部１６、母音基本波抽出部２０、合成減衰波形生成部２２、合成減衰波形畳み込み部２４、音声データ出力部３０等で構成されている。音声信号処理装置３は、ハイパスフィルタ１２、ローパスフィルタ１４、利得調整部２６、波形加算部２８を有していない点において、上記の音声信号処理装置１とは異なっている。

音声信号処理装置３は、ハイパスフィルタ１２及びローパスフィルタ１４を有していないが、このような構成とすることも可能である。その場合には、音データを音声信号処理の後段で加算する必要がないことから、波形加算部２８は不要となる。また、音声信号処理装置３は、利得調整部２６を有していないが、利得調整部２６を有していてもよい。また、その場合に、利得調整部２６を音声データ出力部３０の下流側に配置することも可能である。

〔聴取装置の構成〕
図９は、一実施形態における聴取装置５の構成を示す機能ブロック図である。

聴取装置５は、例えば補聴器であり、上述したいずれかの態様による音声信号処理装置の機能が搭載された音声信号処理部６０に加え、例えば、マイクロホン５０、Ａ／Ｄコンバータ５２、Ｄ／Ａコンバータ６８、イヤホン７０等で構成されている。音声信号処理部６０は、例えば、ＤＳＰ（Digital Signal Processor）等に実装される。また、図示されていないが、聴取装置５は、その駆動電源を備えている。

マイクロホン５０は、外部空間から聴取装置５に入る音を電気信号に変換して出力する。Ａ／Ｄコンバータ５２は、マイクロホン５０から出力された電気信号をデジタル信号に変換して出力する。Ａ／Ｄコンバータ５２により出力されたデジタル信号は、音データとして音声信号処理部６０に入力する。

音声信号処理部６０に音データが入力されると、音声データ入力部１０がこれを受け付けて、音データに対する処理を行う機能部に送る。なお、図９においては、音声信号処理部６０を構成する音声データ入力部１０と音声データ出力部３０との間に設けられた各機能部の図示を省略しているが、音声信号処理部６０は、少なくとも上述した音声信号処理装置の構成を備えており、入力された音データに対して少なくとも上記の音声信号処理（図２）を実行する。また、音声信号処理部６０は、これらの他に、例えば、周波数特性の調整、ハウリングの抑制、無線を用いたストリーミング音声の受信等の処理を実行する機能部を備えていてもよい。

音声信号処理部６０において、これらの各機能部が各種の処理を実行することにより、入力された音データに合成減衰波形の畳み込みがなされ、聴取装置５を利用する個人（難聴者）の聴覚特性に合わせた音の大きさの調整等がなされる。音声データ出力部３０は、これらの処理が施された音データを出力する。これにより、音声信号処理部６０から音データが出力される。

Ｄ／Ａコンバータ６８は、音声信号処理部６０から出力された音データを電気信号に変換して出力する。イヤホン７０は、Ｄ／Ａコンバータ６８により出力された電気信号を音に変換して外部空間に出力する。このようにして、マイクロホン５０を経て聴取装置５に入った音は、上述した一連の処理が施された上でイヤホン７０から出力される。

ところで、耳かけ型補聴器や耳あな型補聴器においては、その駆動電源としてボタン型の一次電池で公称電圧１．４Ｖの空気亜鉛電池が使用されるケースが多い。そのため、聴取装置５内で電源を使用する各構成は、１．０Ｖ程度でも安定して駆動できるように構成されている。

なお、マイクロホン５０は、１つでもよいが、一般的な指向性処理が実装される場合には２つ以上搭載される。また、上記の構成例においては、マイクロホン５０とＡ／Ｄコンバータ５２とが別体として設けられているが、マイクロホンにＡ／Ｄコンバータの機能が搭載されていてもよい。

〔ハイブリッド方式による音声信号処理装置〕
音声信号処理装置１，３や音声信号処理部６０のさらなる変形例として、時間領域における畳み込み処理により音声スペクトルを強調する方式Ａと、周波数領域における演算処理により音声スペクトルを強調する方式Ｂとのハイブリット方式によるものが考えられる。方式Ａは、上述した実施形態に採用されている方式である。また、方式Ｂは、例えば上記の特許文献１及び２に記載された補聴器（以下、「従来技術」と称する。）に採用されている方式である。

図１０は、従来技術における音声スペクトル強調処理、すなわち上記のＳＳＳの手法の概要を示す図であり、音声「ウ」の場合の周波数スペクトルを示している。図１０中の破線は、音声スペクトル強調処理を施していない音声のスペクトルを示しており、図１０中の実線は、音声スペクトル強調処理を施した音声のスペクトルを示している。従来技術においては、方式Ｂにより周波数領域における演算処理を行うことで、音声のスペクトルコントラストを強調している。

これに対し、上述した実施形態においては、時間領域における畳み込み処理を行うことで、音声のスペクトルコントラストを実質的に強調している。

ハイブリッド方式による音声信号処理装置は、例えば、母音の基本波成分の周波数帯域を踏まえて帯域を分割し、所定の周波数の周波数帯域については方式Ａにより時間領域における畳み込み処理を行う一方、所定の周波数以上の周波数帯域については方式Ｂにより周波数領域における演算処理を行い、これらの処理を経た音声を合成して出力する。或いは、第１フォルマントについては方式Ａにより時間領域における畳み込み処理を行い、第２フォルマント又は第１フォルマントの高調波成分については方式Ｂにより周波数領域における演算処理を行って、それらを合成した音声を出力してもよい。

このように周波数帯域の高低に応じて処理を異ならせる構成とする背景には、周波数帯域による特性の違いがある。

フーリエ変換を行って周波数領域で演算処理を行う際に、低い周波数帯域では、サンプルポイント数が少ないことから演算処理に斑が出やすい等の問題があり、高い周波数帯域と同程度の効果が得られ難い場合がある。また、音声のエネルギーは低い周波数帯域の方が強いため、低い周波数帯域の音声について周波数領域において音声スペクトル強調処理を行うと、逆フーリエ変換を行って時間領域の信号にした場合に減衰時間が長くなり、フレームに収まらず異音の原因となる等の懸念がある。したがって、低い周波数帯域については、時間領域における畳み込み処理を行う方が有利であると考えられる。

これに対し、高い周波数帯域では、低い周波数帯域のようなサンプルポイント数が少ないことによる演算処理の斑は発生し難い。また、高い周波数帯域は音声のエネルギーが小さいため、減衰時間が低い周波数帯域の音声と実質的に同じであったとして、フレームで途切れたとしても、異音等の聴感上の問題となり難い。したがって、高い周波数帯域については、周波数領域における演算処理を行うことも可能である。

これらの点を踏まえ、低い周波数帯域には時間領域における畳み込み処理を適用し、高い周波数帯域には周波数領域における演算処理を適用して、これらの処理を経た音声を合成して出力するハイブリッド方式による音声信号処理装置も有効であると考えられる。

〔本発明の優位性〕
以上のように、上述した実施形態によれば、以下のような効果が得られる。

（１）周波数領域の信号について母音の基本波成分やその高調波成分を抽出した上で、時間領域において、抽出された成分に対応する個人の周波数選択性の劣化度合いに応じた合成減衰波形を生成して音データに逐次畳み込むことで、音声のスペクトルコントラストを実質的に上げるため、周波数領域での演算処理により音声のスペクトルコントラストを上げる場合と比較して、処理の作用を時間領域におけるスペクトルに理想的な形で反映させることができるとともに、異音が少なくより自然な音を出力することができる。これにより、基底膜の減衰振動特性の減少分を物理音響的に補完することが可能となる。

（２）合成減衰波形が雑音信号を元にして生成されるため、抽出された基本波成分やその高調波成分に対応する周波数のスペクトルだけでなく、周辺周波数のスペクトルに対しても同時に減衰波形の減衰特性を適用することができる。これにより、個人の周波数選択性の劣化度合いに応じて音声のスペクトルコントラストを自然な形で強調することができ、自然な音を出力することができる。

（３）ハイパスフィルタ１２で低周波数帯域成分がカットされるため、ハイパスフィルタ１２を通過した音データに対してその下流側でなされる信号処理において、低周波数帯域成分に起因するノイズの影響を抑制することができる。

（４）低周波数帯域成分がカットされた音データを対象としてＦＦＴ処理が施されるため、入力された音データ全体を対象とする場合と比較して、フーリエ変換部１６における計算処理を簡略化することができる。

本発明は、上述した実施形態に制約されることなく、種々に変形して実施することが可能である。

上述した実施形態においては、音声データ入力部１０が音データの受け渡しのみを行っているが、これに加えて、音声をより捉え易くするための処理を行う構成としてもよい。例えば、音声データ入力部１０が、入力された音データに対し、音声成分の有無を判定する処理（例えば、ＶＡＤ）や、音声以外の環境音等を抑制する雑音抑制処理（例えば、定常雑音抑制処理や指向性処理）を実行する構成としてもよい。このような構成とすることで、それ以降の処理の過程において音声以外の成分に起因するノイズの影響を抑制することができる。

上述した実施形態においては、音声データ入力部１０に入力された音データがハイパスフィルタ１２及びローパスフィルタ１４に通されるが、時間領域におけるフィルタの使用はこれに限定されない。例えば、ハイパスフィルタ１２の前後でさらなるフィルタを用いて周波数帯域をさらに分割し、分割された周波数毎に処理を細分化したり追加の処理を実行したりしてもよい。

上述した実施形態においては、ハイパスフィルタ１２を通過した帯域の音成分の信号にＦＦＴ処理を施しているが、ハイパスフィルタ１２及びローパスフィルタ１４により周波数帯域が分割される前の信号に対してＦＦＴ処理を施してもよい。

上述した実施形態においては、合成減衰波形生成処理（図２中のステップＳ５０）において、周波数帯域毎に減衰波形を生成し、これらを畳み込んで１つの合成減衰波形にした上で、合成減衰波形畳み込み処理（図２中のステップＳ６０）において、合成減衰波形を音データに畳み込んでいるが、これに代えて、合成減衰波形生成処理において、周波数帯域毎の減衰波形の生成までを行い、合成減衰波形畳み込み処理において、音データを周波数帯域毎に分割し、分割された各周波数帯域に対応する減衰波形の畳み込みを並列処理した上で、減衰波形が畳み込まれた周波数帯域毎の音データの加算を行ってもよい。

上述した実施形態においては、音声信号処理装置１または３を搭載した聴取装置５は、例えば補聴器であり、難聴者による使用を想定した装置であるが、ラジオやテレビやオーディオプレイヤー等のような健聴者による使用も想定した装置に搭載してもよい。その際に基本的には、合成減衰波形生成処理において最小可聴閾値の上昇や周波数選択性の劣化を考慮しなくてもよい（最小可聴閾値の上昇を各周波数で０ｄＢとし、聴覚フィルタ幅と健聴者の聴覚フィルタ幅との比を各周波数で１とする）が、周波数選択性の劣化度合いは例示した指標だけでは必ずしも評価できない事を鑑みて、当該聴取者にとって音声の明瞭性がより向上する場合には、合成減衰波形生成処理において適宜調整（１つ以上の周波数で最小可聴閾値の上昇を０ｄＢ以外の値に設定し、１つ以上の周波数で聴覚フィルタ幅と健聴者の聴覚フィルタ幅との比を１より大きい値に設定した合成減衰波形を用いる）してもよい。

その他、音声信号処理装置１，３や聴取装置５に関する説明の過程で挙げた構成や数値等はあくまで例示であり、本発明の実施に際して適宜に変形が可能であることは言うまでもない。

１ 音声信号処理装置 （信号処理装置、信号処理方法）
５ 聴取装置
１０ 音声データ入力部 （入力部、入力工程）
１２ ハイパスフィルタ （分離部、分離工程）
１４ ローパスフィルタ （分離部、分離工程）
１６ フーリエ変換部 （抽出部、抽出工程）
２０ 母音基本波抽出部 （抽出部、抽出工程）
２２ 合成減衰波形生成部 （生成部、生成工程）
２４ 合成減衰波形畳み込み部 （畳み込み部、畳み込み工程）
２６ 利得調整部 （調整部、調整工程）
２８ 波形加算部 （加算部、加算工程）
３０ 音声データ出力部 （出力部、出力工程）
５０ マイクロホン
６０ 音声信号処理部
７０ イヤホン

Claims (8)

1. 音声信号を入力する入力部と、
   前記音声信号に対しフーリエ変換を行い、得られた信号について少なくとも母音の基本波成分及びその高調波成分の一部を抽出する抽出部と、
   前記基本波成分及びその高調波成分に対応し、個人の周波数選択性の劣化度合いに応じた強調波形を生成する生成部と、
   前記強調波形を前記音声信号に対して畳み込む畳み込み部と、
   前記畳み込み部を経た前記音声信号を出力する出力部と
   を備えた信号処理装置。
2. 請求項１に記載の信号処理装置において、
   入力された前記音声信号を所定周波数に基づいて第一帯域音声信号と第二帯域音声信号とに分離する分離部と、
   前記畳み込み部を経た前記音声信号の利得を調整する調整部と、
   前記調整部を経た前記音声信号と前記第二帯域音声信号とを加算する加算部と
   をさらに備え、
   前記抽出部は、
   前記第一帯域音声信号に対して前記フーリエ変換を行い、
   前記畳み込み部は、
   前記第一帯域音声信号に対して前記強調波形を畳み込み、
   前記出力部は、
   前記加算部を経た前記音声信号を出力する
   ことを特徴とする信号処理装置。
3. 請求項１又は２に記載の信号処理装置において、
   前記生成部は、
   雑音信号を元にして前記強調波形を生成することを特徴とする信号処理装置。
4. 請求項１から３のいずれかに記載の信号処理装置と、
   前記出力部から出力された前記音声信号を音として出力するイヤホンと
   を備えた聴取装置。
5. 請求項４に記載の聴取装置において、
   外部音を入力する少なくとも１つのマイクロホンをさらに備えた聴取装置。
6. 音声信号を入力する入力工程と、
   前記音声信号に対しフーリエ変換を行い、得られた信号について少なくとも母音の基本波成分及びその高調波成分の一部を抽出する抽出工程と、
   前記基本波成分及びその高調波成分に対応し、個人の周波数選択性の劣化度合いに応じた強調波形を生成する生成工程と、
   前記強調波形を前記音声信号に対して畳み込む畳み込み工程と、
   前記畳み込み工程を経た前記音声信号を出力する出力工程と
   を含む信号処理方法。
7. 請求項６に記載の信号処理方法において、
   前記入力工程で入力された前記音声信号を所定周波数に基づいて第一帯域音声信号と第二帯域音声信号とに分離する分離工程と、
   前記畳み込み工程を経た音声信号の利得を調整する調整工程と、
   前記調整工程を経た音声信号と前記分離工程で分離された前記第二帯域音声信号とを加算する加算工程と
   をさらに備え、
   前記抽出工程では、
   前記分離工程で分離された第一帯域音声信号に対して前記フーリエ変換を行い、
   前記畳み込み工程では、
   前記分離工程で分離された第一帯域音声信号に対して前記強調波形を畳み込み、
   前記出力工程では、
   前記加算工程を経た前記音声信号を出力する
   ことを特徴とする信号処理方法。
8. 請求項６又は７に記載の信号処理方法において、
   前記生成工程では、
   雑音信号を元にして前記強調波形を生成することを特徴とする信号処理方法。

Images