JP5056157B2 - ノイズ低減回路 - Google Patents

Description

本発明は、撮像装置に関し、特に撮像装置における音声信号のノイズを低減させる音声処理回路、ノイズ低減回路、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

ビデオカメラ、デジタルカメラ、携帯電話、ＩＣレコーダ等の本体に小型マイクロホンを内蔵するデジタル家電機器は、近年益々小型化がなされている。そのため、収録時において不意にマイクロホン付近に触れてしまう場合や、各種機能スイッチのクリック操作によるノイズがキャビネットを伝播してマイクロホンに混入してしまう場合などがあり、再生時に聞き苦しいタッチノイズやクリックノイズが発生してしまうことがしばしば生じる。

一方、上述のデジタル家電機器には、各種コンテンツ（情報の内容）を記憶しておくための記憶装置が内蔵されるが、近年のコンテンツ量の増大化に伴い、ＤＶＤ（Digital Versatile Disc）や、ＨＤＤ（Hard Disc Drive）などのディスク装置が採用されるようになっている。そして、これらのディスク装置と内蔵マイクロホンは近接して配置され、ディスク装置より発生する振動ノイズや音響ノイズがマイクロホンに入力してしまう問題も生じている。特に、周囲が静かな状態では、内部ＡＧＣ（Automatic Gain Control）回路によってマイクロホンの感度が上がるため、わずかなタッチノイズやクリックノイズでも非常に耳障りになる。さらに、内蔵マイクロホンは、一般に無指向性マイクロホンユニットに演算回路を組み合わせることにより有指向性を持たせている場合が多く、有指向性特有の近接効果によってノイズ周波数帯域が持ち上がってしまい、目的とする音声信号よりも目だってしまうことがある。

このため、従来からこれらのノイズを低減するために、内蔵マイクロホンのマイクロホンユニットをキャビネットからゴムダンパー等のインシュレータで浮かせる構造をとり、または、ゴムワイヤー等でマイクロホンユニットを中空に浮かすような構造をとることで、キャビネットから伝わる振動を吸収しマイクロホンユニットにこれらのノイズが伝わらないようにしていた。しかし、このような手法においても全ての振動を抑えることは出来ず、強振動や振動周波数によってはインシュレータの効果が得られない場合や、逆に固有の周波数で共振振動する場合もあり、構造設計が難しく、コストダウンや小型化の阻害要因になっていた。さらに、上述のノイズはキャビネットを伝わる振動によるものだけでなく、振動とともに空気中を音として伝播する音響ノイズも同時に発生しており、これによりマイクロホンユニットへのノイズ伝達経路は複雑化し、従来のパッシブな方法では十分なノイズ低減効果が得られていなかった。

これに対し、人間の聴覚におけるマスキング効果を利用することによりノイズ低減を行う技術が提案されている。例えば、外部からノイズ発生タイミングを検出することにより音声信号を切り替えて、ノイズを低減する装置が提案されている（例えば、特許文献１参照。）。
特開２００５−３０３６８１号公報（図１）

上述の従来技術は、人間の聴覚に認識されないように、上述のショックノイズ、タッチノイズ、および、クリックノイズなどを除去するものであり、ノイズ発生期間が特定できる場合には有効であった。

しかしながら、従来技術においては、入力信号にノイズ以外の音が混入している場合や、駆動装置からノイズタイミングが得られない場合には、ノイズ発生期間を特定することができないため、ノイズを除去できないという問題があった。

本発明はこのような状況に鑑みてなされたものであり、音声信号とノイズが同時発生した場合においても、ノイズを認識することによりノイズ発生期間を特定して、ノイズを低減させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力された音声信号からノイズ帯域を除去するノイズ除去手段と、上記音声信号に含まれるノイズを認識するノイズ認識手段と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、上記ノイズ除去期間であることが示されている場合には上記ノイズ除去手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記音声信号を選択する選択手段とを具備することを特徴とするノイズ低減回路である。これにより、音声信号に含まれるノイズの発生期間に応じてノイズ除去の有無を選択させるという作用をもたらす。

また、この第１の側面において、上記ノイズ認識手段は、上記ノイズに波形近似した所定期間における平均値がゼロであるウェーブレット信号と上記音声信号との畳込み演算による出力を評価値として上記ノイズ認識を行うようにしてもよい。これにより、時間領域におけるノイズ認識結果に応じてノイズ除去の有無を選択させるという作用をもたらす。

また、この第１の側面において、上記ノイズ認識手段は、上記ノイズの周波数スペクトルに近似したパターン信号とフーリエ変換された上記音声信号との相関性を評価値として上記ノイズ認識を行うようにしてもよい。これにより、周波数領域におけるノイズ認識結果に応じてノイズ除去の有無を選択させるという作用をもたらす。

また、この第１の側面において、上記ノイズ除去手段は、ノイズ帯域を除去するフィルタにより実現することができる。この場合において、上記ノイズ除去手段は、上記ノイズ認識手段において認識されたノイズの周波数に基づいて上記フィルタの除去帯域および通過帯域を適応的に変化させるようにしてもよい。

また、この第１の側面において、上記選択手段は、クロスフェードスイッチにより実現してもよい。これにより、ノイズ除去の有無を切り替える際に所定の時定数をもってクロスフェードさせるという作用をもたらす。

また、本発明の第２の側面は、入力された音声信号からノイズ帯域を除去するノイズ除去手段と、上記ノイズ帯域の除去された信号に対する補間を行う信号補間手段と、上記音声信号に含まれるノイズを認識するノイズ認識手段と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、上記ノイズ除去期間であることが示されている場合には上記信号補間手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記音声信号を選択する選択手段とを具備することを特徴とするノイズ低減回路である。これにより、音声信号に含まれるノイズの発生期間に応じてノイズ除去の有無を選択させるとともに、ノイズ除去された音声信号を補間して聴感上のマスキング効果を向上させるという作用をもたらす。

また、この第２の側面において、上記信号補間手段は、上記補間のための補間源信号を生成する補間源信号生成手段と、上記補間源信号から上記ノイズ帯域以外を除去する補間外除去手段と、上記音声信号のレベル包絡線を生成するレベル包絡線生成手段と、上記レベル包絡線に基づいて上記補間のためのレベル係数を生成するレベル係数生成手段と、上記レベル係数に基づいて上記補間外除去手段の出力を変調するレベル変調手段と、上記ノイズ除去手段の出力と上記レベル変調手段の出力とを合成して上記選択手段に出力する合成手段とを具備してもよい。この場合において、上記レベル変調手段は、さらに人間の聴覚上でマスキングされるレベルに基づいて上記補間外除去手段の出力を変調するようにしてもよい。また、上記補間源信号生成手段は、所定の波形および所定の周期からなる複数もしくは単一の周期信号、音声帯域にレベルが均一なホワイトノイズ信号、または、上記周期信号および上記ホワイトノイズ信号の所定の混合比による混合信号の何れかを生成するようにしてもよい。

また、この第２の側面において、上記信号補間手段は、上記補間のための補間源信号を生成する補間源信号生成手段と、上記補間源信号から上記ノイズ帯域以外を除去する補間外除去手段と、上記ノイズ除去手段の出力の周波数スペクトル包絡線を生成するスペクトル包絡線生成手段と、上記スペクトル包絡線に基づいて上記補間のためのスペクトル係数を生成するスペクトル係数生成手段と、上記スペクトル係数に基づいて上記補間外除去手段の出力を変調するスペクトル変調手段と、上記音声信号のレベル包絡線を生成するレベル包絡線生成手段と、上記レベル包絡線に基づいて上記補間のためのレベル係数を生成するレベル係数生成手段と、上記レベル係数に基づいて上記スペクトル変調手段の出力を変調するレベル変調手段と、上記ノイズ除去手段の出力と上記レベル変調手段の出力とを合成して上記選択手段に出力する合成手段とを具備してもよい。この場合において、上記ノイズ除去手段および上記補間外除去手段は、上記ノイズ認識手段において認識されたノイズの周波数に基づいて除去帯域および通過帯域を適応的に変化させるフィルタにより実現してもよい。

また、本発明の第３の側面は、音声信号を取得する音声信号取得手段と、上記音声信号からノイズ帯域を除去するノイズ除去手段と、上記ノイズ帯域の除去された信号に対する補間を行う信号補間手段と、上記音声信号に含まれるノイズを認識するノイズ認識手段と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、上記ノイズ除去期間であることが示されている場合には上記信号補間手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記音声信号を選択する選択手段とを具備することを特徴とする音声処理回路である。これにより、取得された音声信号に含まれるノイズの発生期間に応じてノイズ除去の有無を選択させるとともに、ノイズ除去された音声信号を補間して聴感上のマスキング効果を向上させるという作用をもたらす。

また、本発明の第４の側面は、第１の音声信号を取得する第１の音声信号取得手段と、上記第１の音声信号からノイズ帯域を除去するノイズ除去手段と、上記ノイズ帯域の除去された信号に対する補間を行う信号補間手段と、第２の音声信号を取得する第２の音声信号取得手段と、上記第２の音声信号に含まれるノイズを認識するノイズ認識手段と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、上記ノイズ除去期間であることが示されている場合には上記信号補間手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記第１の音声信号を選択する選択手段とを具備することを特徴とする音声処理回路である。これにより、第２の音声信号に含まれるノイズの発生期間に応じて第１の音声信号に対するノイズ除去の有無を選択させるとともに、ノイズ除去された音声信号を補間して聴感上のマスキング効果を向上させるという作用をもたらす。

また、本発明の第５の側面は、被写体からの画像信号を撮像する撮像手段と、上記被写体からの音声信号を取得する音声信号取得手段と、上記音声信号からノイズ帯域を除去するノイズ除去手段と、上記ノイズ帯域の除去された信号に対する補間を行う信号補間手段と、上記音声信号に含まれるノイズを認識するノイズ認識手段と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、上記ノイズ除去期間であることが示されている場合には上記信号補間手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記音声信号を選択する選択手段と、上記画像信号および上記音声信号を多重化して記録する記録手段とを具備することを特徴とする撮像装置である。これにより、撮像装置において、音声信号に含まれるノイズの発生期間に応じてノイズ除去の有無を選択させるとともに、ノイズ除去された音声信号を補間して聴感上のマスキング効果を向上させるという作用をもたらす。

また、本発明の第６の側面は、被写体からの画像信号を撮像する撮像手段と、上記被写体からの音声信号を取得する音声信号取得手段と、上記音声信号からノイズ帯域を除去するノイズ除去手段とを備える撮像装置において、上記音声信号に含まれるノイズを認識するノイズ認識手順と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手順と、上記ノイズ除去期間であることが示されている場合には上記ノイズ除去手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記音声信号を選択する選択手順とを具備することを特徴とする音声信号のノイズ低減方法、または、これら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、音声信号に含まれるノイズの発生期間に応じてノイズ除去の有無を選択させるという作用をもたらす。

本発明によれば、ノイズを認識することによりノイズ発生期間を特定して、ノイズを低減させることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置の一構成例を示す図である。この撮像装置は、撮像部１１と、画像処理部１２と、音声取得部１３と、音声処理部１４と、多重化部１５と、記録再生部１６とを備えている。

撮像部１１は、被写体からの画像を画像信号として撮像するものであり、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどにより実現される。画像処理部１２は、撮像部１１によって撮像された画像信号に対して所定の画像処理を施すものである。

音声取得部１３は、被写体からの音声信号を取得するものであり、例えば、マイクロホンなどにより実現される。音声処理部１４は、音声取得部１３により取得された音声信号に対して所定の信号処理を施すものである。

多重化部１５は、画像処理部１２からの画像信号および音声処理部１４からの音声信号を多重化して、ＭＰＥＧ（Moving Picture Experts Group）方式などの符号化信号として出力するものである。記録再生部１６は、多重化部１５によって多重化された符号化信号を記録媒体に記録し、もしくは、その符号化信号を復号して再生するものである。

図１に一例を示した撮像装置において、本発明の実施の形態は、特に音声処理部１４に含まれるノイズ低減部に特徴を有するものである。以下、このノイズ低減部について図面を参照して説明する。

図２は、本発明の実施の形態におけるノイズ低減部の第１の構成例を示す図である。このノイズ低減部にはマイクロホン１１１からの音声信号が入力され、この音声信号についてノイズ低減処理が行われる。マイクロホン１１１は、撮像装置に内蔵され、もしくは、その周辺に設置される音声収音用のマイクロホンである。マイクロホン１１１の負側端子は回路のグランドレベル（ＧＮＤ）に接地され、正側端子にはアンプ１１２が接続される。このアンプ１１２によって音声信号が増幅される。この増幅された音声信号は信号線１１９を介してノイズ低減部の各部に供給される。

ノイズ低減部は、補間源信号生成部１３０と、ノイズ除去フィルタ１４１と、逆フィルタ１４２と、レベルエンベロープ生成部１７１と、レベル係数生成部１７２と、レベル変調部１７３と、合成部１８０と、選択スイッチ１９０と、ノイズ認識部２１０と、ノイズ除去期間生成部２２０とを備えている。

ノイズ除去フィルタ１４１は、マイクロホン１１１からの音声信号からノイズ帯域を除去するフィルタである。このノイズ除去フィルタ１４１は、例えば単一もしくは複数の周波数帯域を除去対象とするＢＥＦ（Band Elimination Filter）等により実現される。このノイズ除去フィルタ１４１の出力は信号線１４９を介して合成部１８０の一方の入力に供給される。

補間源信号生成部１３０は、補間のための補間源信号を生成するものである。本発明の実施の形態では、ノイズ除去フィルタ１４１によってノイズ帯域を除去された音声信号に対して補間信号を合成することにより、人間の聴覚上のマスキング効果を向上させる。補間源信号生成部１３０は、その補間信号の源となる補間源信号として、トーン信号およびランダム信号を適宜混合したものを出力する。この補間源信号生成部１３０の構成については後述する。

逆フィルタ１４２は、補間源信号生成部１３０によって生成された補間源信号からノイズ帯域以外を除去するフィルタである。この逆フィルタ１４２は、ノイズ除去フィルタ１４１の逆フィルタ特性を有するものであり、ノイズ除去フィルタ１４１の阻止帯域が逆フィルタ１４２の通過帯域となり、ノイズ除去フィルタ１４１の通過帯域が逆フィルタ１４２の阻止帯域となる。この逆フィルタ１４２の出力は信号線１４８を介してレベル変調部１７３に供給される。

レベルエンベロープ生成部１７１は、マイクロホン１１１からの音声信号のレベルエンベロープ（レベル包絡線）を連続的に検出するものである。このレベルエンベロープ生成部１７１の出力は信号線１７７を介してレベル係数生成部１７２に供給される。

レベル係数生成部１７２は、レベルエンベロープ生成部１７１から供給されたレベルエンベロープに基づいてレベル係数を生成するものである。このレベル係数生成部１７２の出力は信号線１７８を介してレベル変調部１７３に供給される。

レベル変調部１７３は、逆フィルタ１４２から供給された補間源信号に対して、レベル係数生成部１７２から供給されたレベル係数に応じてレベル変調を行って補間信号として出力するものである。このレベル変調部１７３の出力は信号線１７９を介して合成部１８０の一方の入力に供給される。

合成部１８０は、ノイズ除去フィルタ１４１から信号線１４９を介して供給された音声信号とレベル変調部１７３から信号線１７９を介して供給された補間信号とを合成するものである。この合成部１８０は、例えば加算器により実現される。この合成部１８０の出力は、信号線１８９を介して選択スイッチ１９０のオン入力端子に供給される。

ノイズ認識部２１０は、マイクロホン１１１からの音声信号に含まれるノイズを認識するものである。このノイズ認識部２１０の出力は、信号線２１９を介してノイズ除去期間生成部２２０に供給される。ノイズ除去期間生成部２２０は、ノイズ認識部２１０においてノイズが認識されると、ノイズの発生期間に応じてノイズ除去期間を示す信号を生成するものである。このノイズ除去期間生成部２２０の出力は、信号線２２９を介して選択スイッチ１９０の制御端子に供給される。

選択スイッチ１９０は、ノイズ除去期間生成部２２０から信号線２２９を介して供給された信号に応じて、ノイズ除去期間であれば合成部１８０から信号線１８９を介して供給された音声信号を選択し、ノイズ除去期間でなければマイクロホン１１１から信号線１１９を介して供給された音声信号を選択するスイッチである。この選択スイッチ１９０の出力は、信号線１９９を介して後段の処理のために供給される。

図３は、本発明の実施の形態において利用するマスキング現象を説明するための図である。人間の聴覚は、大きな騒音の中では人の声が聞き取りにくくなるように、相対的に大きな音の陰にあるような小さな音の存在に気が付かないようになっている。このような現象はマスキング現象と呼ばれ、周波数成分、音圧レベル、および、持続時間などの条件に依存することが知られている。この聴覚マスキング現象は周波数マスキングと時間マスキングに大別され、さらに時間マスキングは同時マスキングと非同時マスキング（継時マスキング）に分けられる。このマスキング現象は、例えばＣＤ（コンパクトディスク）などにおいて、オーディオ信号を１／５乃至１／１０程度に圧縮する高能率符号化として応用されるようになっている。

図３では、横方向に時間経過が示され、縦方向に時間ごとの信号レベルの絶対値が示されている。図３（ａ）のように、信号Ａが所定レベルで入力し、無信号のギャップ期間を挟んで信号Ｂが所定レベルで入力した場合、人間の聴感レベルは図３（ｂ）のように模式的に示される。すなわち、人間の聴感では、信号Ａが消えた後でも信号Ａのパターンが領域９１のように暫くの間は感度が低下しながらも残存する。このような現象は前方（順向）マスキングと呼ばれ、この期間には別の音が存在しても人間の聴感上は聞き取れなくなる。また、信号Ｂが入力する直前にも、領域９２のように同様の感度低下が発生する。これは後方（逆向）マスキングと呼ばれ、この期間に別の音が存在しても人間の聴感上は聞き取れなくなる。

通常は、後方マスキング量に対して前方マスキング量の方が大きく、時間的には条件にも左右されるが、最大で数百ｍＳ程度発生する。そしてある条件下においては、図３（ａ）のギャップ期間は数ミリ秒乃至数十ミリ秒程度が聴感上で認知されず、信号Ａと信号Ｂが連続音として聞こえる現象が発生する。このような現象は、Ｒ．Ｐｌｏｍｐのギャップ検出についての研究論文（１９６３）、三浦の研究論文（ＪＡＳ．Ｊｏｕｒｎａｌ ９４．１１月号）、さらに聴覚心理学概論（Ｂ．Ｃ．Ｊ．ムーア著、大串健吾監訳、誠信書房、第４章／聴覚系の時間分解能）にも示されているように、以下の特性を有することが知られている。

（第１特性）：信号Ａと信号Ｂの周波数帯域に相関性があればギャップ長は大きくなる。また、周波数的に信号Ａと信号Ｂの連続性が保たれていればギャップ長は大きくなる。
（第２特性）：単一正弦波信号よりも、帯域信号の方が、ギャップ長は大きくなる。
（第３特性）：信号Ａと信号Ｂのレベルが同じ場合、信号レベルが小さい程ギャップ長は大きくなり、ある程度以上に信号レベルが大きくなるとギャップ長は変化しない。
（第４特性）：信号Ａよりも信号Ｂのレベルが小さい方が、ギャップ長は大きくなる。
（第５特性）：信号に含まれる中心周波数が低い程ギャップ長は大きくなり、中心周波数が高くなる程ギャップ長が小さくなる。

本発明の実施の形態においては、レベル係数生成部１７２がこれら５つの特性を鑑みて、補間のためのレベル係数を生成する。例えば、レベル係数生成部１７２は、音声レベルが小さい場合にギャップ期間を長くし（第３特性）、また、音声レベルが時間的に上昇傾向にある場合よりも下降傾向の場合にギャップ期間をより長くする（第４特性）。

図４は、本発明の実施の形態における補間源信号生成部１３０の一構成例を示す図である。この補間源信号生成部１３０は、トーン信号発生部１３１と、ホワイトノイズ信号発生部１３２と、混合部１３３とを備えている。

トーン信号発生部１３１は、所定周期の単一もしくは複数の正弦波やパルス波などで構成されるトーン信号を発生するものである。このトーン信号は、周波数特性上、所定周波数に単一もしくは複数のピークを有する。

ホワイトノイズ信号発生部１３２は、音声帯域の全帯域にレベルが均一なホワイトノイズ信号（ランダム信号）を発生するものである。このホワイトノイズ信号発生部１３２は、例えば、Ｍ系列の乱数発生器などにより実現される。

混合部１３３は、トーン信号発生部１３１の発生したトーン信号とホワイトノイズ信号発生部１３２の発生したホワイトノイズ信号とを所定の混合比により混合した混合信号を補間源信号として出力するものである。この混合部１３３の出力は信号線１３９を介して逆フィルタ１４２に供給される。

なお、上記所定の混合比は、ノイズ除去フィルタ１４１のノイズ除去帯域特性に応じて適宜設定される。但し、何れか一方をゼロとして、トーン信号のみ、または、ホワイトノイズ信号のみを補間源信号として出力してもよい。

図５は、本発明の実施の形態におけるノイズ除去フィルタ１４１および逆フィルタ１４２の周波数特性例を示す図である。ここでは、横方向に周波数、縦方向にフィルタの通過信号レベルを示している。

図５（ａ）は、ノイズ除去フィルタ１４１の周波数特性例であり、ここでは、除去帯域の中心周波数としてｆａ、ｆｂおよびｆｃの３つを有するフィルタであることが示されている。一方、図５（ｂ）は、逆フィルタ１４２の周波数特性例であり、ノイズ除去フィルタ１４１とは逆に、中心周波数ｆａ、ｆｂおよびｆｃを通過帯域として有するフィルタであることが示されている。

すなわち、この例では、中心周波数ｆａ、ｆｂおよびｆｃをノイズ帯域として、ノイズ除去フィルタ１４１ではノイズ帯域を除去帯域として扱い、逆フィルタ１４２ではノイズ帯域を通過帯域として扱っていることが分かる。

図６は、本発明の実施の形態におけるレベルエンベロープ生成部１７１の一構成例を示す図である。このレベルエンベロープ生成部１７１は、絶対値生成部１７４と、平滑化部１７５とを備えている。

絶対値生成部１７４は、信号線１１９を介して供給される音声信号の絶対値を生成するものである。平滑化部１７５は、絶対値生成部１７４によって絶対値化された音声信号から低域成分を抽出して平滑化するものであり、例えば、ローパスフィルタ（ＬＰＦ）によって実現される。この平滑化により、瞬時ノイズのような急激なレベル変化による影響を取り除くことができる。

図７は、本発明の実施の形態におけるレベルエンベロープ生成部１７１による処理過程の一例を示す図である。図７（ａ）は、信号線１１９を介してレベルエンベロープ生成部１７１に供給される音声信号の波形例である。この音声信号は、絶対値生成部１７４によって絶対値化されることにより、図７（ｂ）のような波形になる。

そして、図７（ｂ）の波形を有する絶対値化された音声信号は、平滑化部１７５によって平滑化されることにより、図７（ｃ）に示す太線のような包絡線になる。

このようにして生成されたレベルエンベロープに基づいてレベル係数生成部１７２によりレベル係数が生成され、このレベル係数によってレベル変調部１７３を制御することにより、補間信号が生成される。

図８は、本発明の実施の形態における補間信号の一例を示す図である。この例では、レベルエンベロープ生成部１７１によって生成されたレベルエンベロープに基づいて信号Ａと信号Ｂとの間の周波数の連続性を維持するように補正信号２１を生成している。これにより、上述の第１特性によって、ギャップ長を大きくすることができる。

図９は、本発明の実施の形態における補間信号の他の例を示す図である。この例では、図３（ｂ）に示した前方マスキングおよび後方マスキングと信号Ｂとの間の不足分ΔＳを補うための補正信号２２を生成している。これにより、聴感上でギャップが感じられないようにしている。すなわち、この図９の例では、図８の例のように信号Ａと信号Ｂとの間の連続性を確保するものではなく、あくまでも聴感上でギャップ期間がマスキングされるようにレベル補間をしている。

図１０は、本発明の実施の形態におけるノイズ認識部２１０の一構成例を示す図である。図１０（ａ）は時間領域でノイズを認識するものであり、図１０（ｂ）は周波数領域でノイズを認識するものである。

図１０（ａ）の構成例では、ノイズ認識部２１０は、フレーム生成部２１１と、ノイズパターンマッチング部２１２と、ノイズパターン保持部２１３とを備えている。

フレーム生成部２１１は、信号線１１９を介して供給された音声信号を所定時間毎にフレーム化するものである。ここで、フレームとは複数の音声信号要素（オーディオサンプル）からなるデータ列である。フレーム化されたＮ個（Ｎは整数）の音声信号Ｓ（ｎ）はノイズパターンマッチング部２１２に供給される。但し、ｎは１からＮの整数を表す。

ノイズパターン保持部２１３は、ノイズパターンＷ（ｎ）を保持するメモリである。このノイズパターン（ウェーブレットとも呼ばれる）は、さらにａおよびｂの関数Ｗ（（ｎ−ｂ）／ａ）として、ノイズパターン保持部２１３から読み出される。ここで、ａはスケールパラメータ（但し、ａ＞０）であり、この値が小さいと低い周波数成分のノイズ認識に対応する。一方、スケールパラメータが大きいと高い周波数成分のノイズ認識に対応する。また、ｂはシフトパラメータであり、ノイズパターンとの間のパターンマッチングの際のシフト位置（時間）を表す。ウェーブレットは信号の平均値が０で、時間０の周りに局在する関数であるが、本発明の実施の形態においては、実際のノイズ波形に近似する関数を予め選択して、ノイズパターン保持部２１３に保持しておくものとする。

ノイズパターンマッチング部２１２は、フレーム生成部２１１によってフレーム化された音声信号Ｓ（ｎ）と、ノイズパターン保持部２１３に保持されているノイズパターンＷ（ｎ）とａおよびｂを変えながら畳込み演算を行うことにより、音声信号に存在するノイズを評価するものである。この場合の評価値Ｅｔは次式により算出される。

すなわち、評価値Ｅｔは、音声信号Ｓ（ｎ）の中にノイズパターンＷ（ｎ）がどの程度含まれるかを示す指標であり、フレーム毎の音声信号Ｓ（ｎ）にノイズが存在する場合には評価値Ｅｔは大きくなり、ノイズと相関が少ない場合には評価値Ｅｔがゼロに近づくようになる。

図１０（ｂ）の構成例では、ノイズ認識部２１０は、フレーム生成部２１４と、フーリエ変換部２１５と、ノイズパターンマッチング部２１６と、ノイズパターン保持部２１７とを備えている。

フレーム生成部２１４は、フレーム生成部２１１と同様に、信号線１１９を介して供給された音声信号を所定時間毎にフレーム化するものである。フーリエ変換部２１５は、フレーム生成部２１４によってフレーム化された音声信号をＦＦＴ（Fast Fourier Transform）によりフーリエ変換して、時間信号から周波数信号Ｆ（ｎ）に変換するものである。

ノイズパターン保持部２１７は、ノイズパターンＰ（ｎ）を保持するメモリである。このノイズパターン保持部２１７に保持されるノイズパターンＰ（ｎ）は、ノイズ発生時の周波数分布をモデル化したものである。

ノイズパターンマッチング部２１６は、フーリエ変換部２１５により変換された音声信号Ｆ（ｎ）と、ノイズパターン保持部２１３に保持されているノイズパターンＰ（ｎ）との相関度を求めることにより、音声信号に存在するノイズを評価するものである。この場合の評価値Ｅｆは次式により算出される。

ここで、Ｎは１フレーム内のＦＦＴポイント数である。すなわちｎが１〜Ｎでノイズパターンと音声信号の相似度が高い場合には、評価値Ｅｆは１に近づくため、所定の閾値以上であれば両者のパターンはほぼ一致していると認識することができる。

このようにしてノイズが認識された場合、ノイズ除去期間生成部２２０は、そのノイズ発生の始点および終点により定められる期間をノイズ除去期間として生成する。ここでは、時間領域および周波数領域のそれぞれでノイズを認識する手法について説明したが、これらを組み合わせることによりさらに認識率を向上させることができる。

図２の例では、選択スイッチ１９０として単純な切替スイッチを想定して説明したが、これは例えば以下のようなクロスフェードスイッチにより実現してもよい。

図１１は、本発明の実施の形態における選択スイッチ１９０の一例としてのクロスフェードスイッチ１９１の構成例を示す図である。このクロスフェードスイッチ１９１は、アッテネータ１９２および１９３と、制御係数生成部１９４と、係数反転部１９５と、合成部１９６とを備えている。

アッテネータ１９２および１９３は、入力信号を制御係数に応じて減衰させる減衰器である。アッテネータ１９２の制御係数は制御係数生成部１９４から供給され、アッテネータ１９３の制御係数は係数反転部１９５から供給される。

制御係数生成部１９４は、信号線２２９を介して供給されるノイズ除去期間に基づいてアッテネータ１９２の制御係数を生成するものである。係数反転部１９５は、制御係数生成部１９４の出力を反転するものである。すなわち、アッテネータ１９２および１９３の制御係数は互いに反転したものとなる。

合成部１９６は、アッテネータ１９２および１９３の出力を合成するものであり、例えば加算器により実現される。

図１２は、本発明の実施の形態におけるクロスフェードスイッチ１９１の波形信号例を示す図である。信号線２２９に図１２（ａ）のような信号３１が入力された場合、制御係数生成部１９４の出力信号は信号３２のように所定の時定数をもってクロスフェードする。一方、係数反転部１９５の出力信号は、信号３２の反転信号３３であり、同様に所定の時定数をもってクロスフェードする。したがって、オーバーシュートやリンギングの発生を防ぐことができる。また、アッテネータ１９２および１９３の出力の切替えの際の波形の不連続性を聴感上で吸収することができ、マスキング効果に有利に働くというメリットがある。

図１３は、本発明の実施の形態におけるクロスフェードスイッチ１９１を用いた場合の補間信号の例を示す図である。レベル変調部１７３において図８のような補間信号が出力されたとすると、クロスフェードスイッチ１９１を用いた場合には、図１３のように信号ＡおよびＢと補間信号との間の遷移においてクロスフェードされ、滑らかな切替えを実現することができる。

図１４は、本発明の実施の形態におけるノイズ低減部の第２の構成例を示す図である。このノイズ低減部には第１の構成例と同様にマイクロホン１１１からの音声信号が入力されるが、この第２の構成例ではさらにセンサー１１３からノイズ信号が入力される。このセンサー１１３は、ノイズ発生源付近に設置され、例えば加速度センサーや振動センサーなどにより実現される。センサー１１３の負側端子は回路のグランドレベルに接地され、正側端子にはアンプ１１４が接続される。このアンプ１１４によってノイズ信号が増幅される。この増幅されたノイズ信号は信号線１１８を介してノイズ低減部のノイズ認識部２１０に供給される。

このノイズ低減部の第２の構成例においては、ノイズ認識部２１０は、センサー１１３からのノイズ信号に基づいてノイズを認識する。これ以外の構成については第１の構成例と基本的に同様である。したがって、センサー１１３からのノイズ信号に基づいてノイズ除去期間が生成され、マイクロホン１１１からの音声信号についてノイズ低減処理が行われる。

なお、この第２の構成例において、選択スイッチ１９０をクロスフェードスイッチ１９１に置き換えることができる点についても第１の構成例と同様である。

図１５は、本発明の実施の形態におけるノイズ低減部の第３の構成例を示す図である。このノイズ低減部には第１の構成例と同様にマイクロホン１１１からの音声信号が入力され、この音声信号についてノイズ低減処理が行われる。

この第３の構成例では、第１の構成例に加えて、ノイズ除去フィルタ１４３と、スペクトルエンベロープ生成部１６１と、スペクトル係数生成部１６２と、可変フィルタ１６３とをさらに備えている。

ノイズ除去フィルタ１４３は、ノイズ除去フィルタ１４１と同様に、マイクロホン１１１からの音声信号からノイズ帯域を除去するフィルタである。このノイズ除去フィルタ１４３の出力はスペクトルエンベロープ生成部１６１に供給される。なお、このノイズ除去フィルタ１４３はノイズ除去フィルタ１４１と共通化することが可能であり、その場合にはノイズ除去フィルタ１４１の出力をスペクトルエンベロープ生成部１６１に供給することになる。

スペクトルエンベロープ生成部１６１は、マイクロホン１１１からの音声信号の周波数スペクトルのエンベロープ（スペクトル包絡線）を連続的に検出するものである。このスペクトルエンベロープ生成部１６１では、ＦＦＴや複数の帯域分割により音声信号の周波数毎のレベルを検出することにより、周波数スペクトルが検出される。このスペクトルエンベロープ生成部１６１の出力はスペクトル係数生成部１６２に供給される。

スペクトル係数生成部１６２は、スペクトルエンベロープ生成部１６１から供給されたスペクトルエンベロープに基づいてスペクトル係数を生成するものである。このスペクトル係数生成部１６２では、スペクトルエンベロープ生成部１６１において検出された周波数スペクトルを再現するようにスペクトル係数が生成される。このスペクトル係数生成部１６２の出力は、信号線１６８を介して可変フィルタ１６３に供給される。

可変フィルタ１６３は、逆フィルタ１４２から供給された補間源信号に対して、スペクトル係数生成部１６２から供給されたスペクトル係数に応じて周波数変調を行うものである。これにより、レベル変調部１７３におけるレベル変調だけでなく、周波数成分でも連続的に補間を行うため、第１特性によってギャップ長をさらに大きくすることができる。

なお、この第３の構成例において、選択スイッチ１９０をクロスフェードスイッチ１９１に置き換えることができる点についても第１の構成例と同様である。

図１６は、本発明の実施の形態におけるノイズ低減部の第４の構成例を示す図である。このノイズ低減部には第１および第３の構成例と同様にマイクロホン１１１からの音声信号が入力され、この音声信号についてノイズ低減処理が行われる。

この第４の構成例では、第３の構成例に加えて遅延部１２０が備えられ、この遅延部１２０によって所定時間の遅延が施された出力がノイズ除去フィルタ１４１、１４３およびレベルエンベロープ生成部１７１に供給されている。また、ノイズ認識部２１０からの信号線１５７が可変フィルタブロック１４０に供給されている。この可変フィルタブロック１４０は、ノイズ除去フィルタ１４１、逆フィルタ１４２およびノイズ除去フィルタ１４３を含むブロックである。

この第４の構成例におけるノイズ認識部２１０は、認識したノイズについて周波数を検出して、可変フィルタブロック１４０にフィードバックするようにしている。ノイズ周波数の検出方法としては、図１０（ａ）の時間領域におけるノイズ認識の際には、ノイズパターンが最も一致したスケールパラメータａからノイズ周波数を算出することができる。また、図１０（ｂ）の周波数領域におけるノイズ認識の際には、フーリエ変換部２１５からのノイズピーク周波数を検出することでノイズ周波数を算出することができる。

ノイズ認識部２１０からフィードバックされたノイズ周波数は、可変フィルタブロック１４０の各フィルタにおいて通過帯域または阻止帯域の調整のために用いられる。これにより、例えば、図５における中心周波数ｆａ、ｆｂおよびｆｃを、ノイズ周波数に合わせて適応的に変化させることによって、ノイズ周波数の変動や、複数のノイズ発生源からの連続的なノイズに対して効果的に対応することができる。

この第４の構成例では、ノイズ認識部２１０以外に対する音声信号の供給は遅延部１２０を介して行われるため、ノイズ認識の結果に応じて通過帯域または阻止帯域をリアルタイムに調整することができる。

なお、この第４の構成例において、選択スイッチ１９０をクロスフェードスイッチ１９１に置き換えることができる点についても第１の構成例と同様である。

次に本発明の実施の形態における撮像装置の動作について図面を参照して説明する。

図１７は、本発明の実施の形態における音声信号のノイズ低減方法の基本的な処理手順例を示す図である。この処理手順例は、上述の第１乃至第４の各構成例に共通のものである。

まず、ノイズ認識部２１０においてノイズ認識処理が行われる（ステップＳ９１０）。これにより、ノイズ除去期間生成部２２０ではノイズ除去期間が生成される。そして、ノイズ除去期間に該当する場合には（ステップＳ９２０）、選択スイッチ１９０によってノイズ除去フィルタ１４１から信号線１４９を介して供給された音声信号が選択される（ステップＳ９３０）。一方、ノイズ除去期間に該当しない場合には（ステップＳ９２０）、マイクロホン１１１から信号線１１９を介して供給された音声信号が選択される（ステップＳ９４０）。以上の処理が繰り返される。

このように、本発明の実施の形態によれば、ノイズ認識部２１０において認識されたノイズからノイズ除去期間を特定し、ノイズ除去期間にはノイズ除去フィルタ１４１によってノイズ除去された信号を選択して、それ以外の期間にはノイズ除去されない音声信号を選択するように選択スイッチ１９０を制御することにより、人間の聴感を考慮したノイズ低減処理を実現することができる。また、本発明の実施の形態によれば、ノイズ除去期間において補間信号を合成することにより、長時間継続するノイズも低減することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置の一構成例を示す図である。 本発明の実施の形態におけるノイズ低減部の第１の構成例を示す図である。 本発明の実施の形態において利用するマスキング現象を説明するための図である。 本発明の実施の形態における補間源信号生成部１３０の一構成例を示す図である。 本発明の実施の形態におけるノイズ除去フィルタ１４１および逆フィルタ１４２の周波数特性例を示す図である。 本発明の実施の形態におけるレベルエンベロープ生成部１７１の一構成例を示す図である。 本発明の実施の形態におけるレベルエンベロープ生成部１７１による処理過程の一例を示す図である。 本発明の実施の形態における補間信号の一例を示す図である。 本発明の実施の形態における補間信号の他の例を示す図である。 本発明の実施の形態におけるノイズ認識部２１０の一構成例を示す図である。 本発明の実施の形態における選択スイッチ１９０の一例としてのクロスフェードスイッチ１９１の構成例を示す図である。 本発明の実施の形態におけるクロスフェードスイッチ１９１の波形信号例を示す図である。 本発明の実施の形態におけるクロスフェードスイッチ１９１を用いた場合の補間信号の例を示す図である。 本発明の実施の形態におけるノイズ低減部の第２の構成例を示す図である。 本発明の実施の形態におけるノイズ低減部の第３の構成例を示す図である。 本発明の実施の形態におけるノイズ低減部の第４の構成例を示す図である。 本発明の実施の形態における音声信号のノイズ低減方法の基本的な処理手順例を示す図である。

符号の説明

１１ 撮像部
１２ 画像処理部
１３ 音声取得部
１４ 音声処理部
１５ 多重化部
１６ 記録再生部
１１１ マイクロホン
１１２、１１４ アンプ
１１３ センサー
１２０ 遅延部
１３０ 補間源信号生成部
１４０ 可変フィルタブロック
１４１、１４３ ノイズ除去フィルタ
１４２ 逆フィルタ
１６１ スペクトルエンベロープ生成部
１６２ スペクトル係数生成部
１６３ 可変フィルタ
１７１ レベルエンベロープ生成部
１７２ レベル係数生成部
１７３ レベル変調部
１８０ 合成部
１９０ 選択スイッチ
２１０ ノイズ認識部
２１１、２１４ フレーム生成部
２１２、２１６ ノイズパターンマッチング部
２１３、２１７ ノイズパターン保持部
２１５ フーリエ変換部
２２０ ノイズ除去期間生成部

Claims (9)

1. 入力された音声信号からノイズ帯域を除去するノイズ除去手段と、
   前記ノイズ帯域の除去された信号に対する補間を行う信号補間手段と、
   前記音声信号に含まれるノイズを認識するノイズ認識手段と、
   前記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、
   前記ノイズ除去期間であることが示されている場合には前記信号補間手段の出力を選択し、前記ノイズ除去期間であることが示されていない場合には前記音声信号を選択する選択手段と
   を具備し、
   前記ノイズ認識手段は、前記ノイズに波形近似した所定期間における平均値がゼロであるウェーブレット信号と前記音声信号との畳込み演算による出力を評価値として前記ノイズ認識を行う
   ノイズ低減回路。
2. 前記信号補間手段は、
   前記補間のための補間源信号を生成する補間源信号生成手段と、
   前記補間源信号から前記ノイズ帯域以外を除去する補間外除去手段と、
   前記音声信号のレベル包絡線を生成するレベル包絡線生成手段と、
   前記レベル包絡線に基づいて前記補間のためのレベル係数を生成するレベル係数生成手段と、
   前記レベル係数に基づいて前記補間外除去手段の出力を変調するレベル変調手段と、
   前記ノイズ除去手段の出力と前記レベル変調手段の出力とを合成して前記選択手段に出力する合成手段と
   を具備する請求項１記載のノイズ低減回路。
3. 前記レベル変調手段は、さらに人間の聴覚上でマスキングされるレベルに基づいて前記補間外除去手段の出力を変調する請求項２記載のノイズ低減回路。
4. 前記補間源信号生成手段は、所定の波形および所定の周期からなる複数もしくは単一の周期信号、音声帯域にレベルが均一なホワイトノイズ信号、または、前記周期信号および前記ホワイトノイズ信号の所定の混合比による混合信号の何れかを生成する請求項２記載のノイズ低減回路。
5. 前記信号補間手段は、
   前記補間のための補間源信号を生成する補間源信号生成手段と、
   前記補間源信号から前記ノイズ帯域以外を除去する補間外除去手段と、
   前記ノイズ除去手段の出力の周波数スペクトル包絡線を生成するスペクトル包絡線生成手段と、
   前記スペクトル包絡線に基づいて前記補間のためのスペクトル係数を生成するスペクトル係数生成手段と、
   前記スペクトル係数に基づいて前記補間外除去手段の出力を変調するスペクトル変調手段と、
   前記音声信号のレベル包絡線を生成するレベル包絡線生成手段と、
   前記レベル包絡線に基づいて前記補間のためのレベル係数を生成するレベル係数生成手段と、
   前記レベル係数に基づいて前記スペクトル変調手段の出力を変調するレベル変調手段と、
   前記ノイズ除去手段の出力と前記レベル変調手段の出力とを合成して前記選択手段に出力する合成手段と
   を具備する請求項１記載のノイズ低減回路。
6. 前記ノイズ除去手段および前記補間外除去手段は、前記ノイズ認識手段において認識されたノイズの周波数に基づいて除去帯域および通過帯域を適応的に変化させるフィルタである請求項５記載のノイズ低減回路。
7. 前記ノイズ除去手段は、ノイズ帯域を除去するフィルタである請求項１記載のノイズ低減回路。
8. 前記ノイズ除去手段は、前記ノイズ認識手段において認識されたノイズの周波数に基づいて前記フィルタの除去帯域および通過帯域を適応的に変化させる請求項７記載のノイズ低減回路。
9. 前記選択手段は、クロスフェードスイッチである請求項１記載のノイズ低減回路。

Images