JP2012203040A - 音声信号処理装置、及びその制御方法 - Google Patents

Abstract

【課題】音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択する技術を提供する。
【解決手段】動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、を備え、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択することを特徴とする音声信号処理装置を提供する。
【選択図】図１０

Description

本発明は、音声信号処理装置、及びその制御方法に関し、特に、音声信号に含まれる雑音を低減する音声信号処理装置、及びその制御方法に関する。

従来、音声信号処理装置として、動画撮影をすることができるカメラなどの撮像装置が知られている。これらの撮像装置は、動画撮影のために、例えばレンズや絞りなどの、撮像装置に組み込まれた駆動部を駆動させる。その際に発生する駆動雑音は、音声信号に混入してしまい、ユーザの求めない音声が記録されてしまうことがある。このような課題を解決するために、従来、さまざまな提案がなされている。

特許文献１では、電子カメラは、光学系の調整のためのモータの動作時間に応じて雑音処理手法を切り替える。これにより、モータの動作時間に応じた雑音処理が行われ、高品位な音声を得ることができる。具体的には、電子カメラは、モータの動作時間が長い場合にはローパスフィルタにより雑音を低減し、モータの動作時間が短い場合にはモータの動作の直前の音声を雑音発生期間の音声に対して重畳する処理を行う。

特開２００６−２０３３７６号公報

特許文献１では、モータの動作時間は考慮されているが、雑音の発生源の種類は考慮されていない。即ち、電子カメラは、雑音の発生源の種類に関わらず、単に動作時間の長短に応じて雑音処理の種類を切り替える。従って、雑音処理の切り替えに関する柔軟性が限られていた。

本発明はこのような状況に鑑みてなされたものであり、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択する技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、を備え、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択することを特徴とする音声信号処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能となる。

第１の実施形態に係る撮像装置１、及びこれに接続される撮像レンズ２の断面図 撮像装置１及び撮像レンズ２の電気的構成を示すブロック図 第１の実施形態に係る、雑音処理方法の選択の流れを示すフローチャート ステッピングモータの励磁方法を説明する図 音声処理回路２６の詳細な構成を示すブロック図 絞り駆動部９ｃの駆動方法と取得される音声信号との関係を説明する図 フィルタ処理の詳細について説明する図 予測処理の詳細について説明する図 ＭＵＴＥ処理の詳細について説明する図 第２の実施形態に係る、雑音処理方法の選択の流れを示すフローチャート

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

以下の各実施形態では、本発明の音声信号処理装置を適用可能な装置の一例として、動画撮影が可能な撮像装置について説明する。しかしながら、動画撮影は必須ではなく、例えば、周囲の音声を集音可能なボイスレコーダなどに本発明の音声信号処理装置を適用することもできる。更に、撮像装置やボイスレコーダなどが取得した音声信号を処理するパーソナルコンピュータ（ＰＣ）などに本発明の音声信号処理装置を適用することもできる。

また、以下の各実施形態では、動作時に雑音を発生するコンポーネントとして光学系駆動部及びコンデンサを例に挙げるが、コンポーネントの種類はこれに限定されず、例えばハードディスクドライブが含まれてもよい。本発明の音声信号処理装置は、そのようなコンポーネントの動作を制御可能である。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１、及びこれに接続される撮像レンズ２の断面図である。但し、撮像レンズ２は、撮像装置１に対して着脱可能であってもよいし、撮像装置１と一体化されていてもよい。図１において、３は撮影光学系を、４は撮像レンズ２の光軸を、５はレンズ鏡筒を、６は撮像素子を、７は撮像装置１に設けられたマイクを、８はレンズ制御を行う基板を、９は撮影光学系３の調整のための光学系駆動部を、それぞれ示す。また、１０は撮像装置１と撮像レンズ２とをつなぐ接点を、１１はいわゆるクイックリターンミラーを、１２はＡＥ／ＡＦセンサを含む焦点／露出検出部を、それぞれ示す。

撮像装置１は、撮像レンズ２と焦点／露出検出部１２とを用いて、焦点／露出検出を行うと共に撮影光学系３の一部を駆動させることにより撮影光学系３の調整を行い、光学像を撮像素子６の近傍に結像させると共に適正な露光になるように絞りを動作させる。詳細な動作は、図２のブロック図を用いて説明する。また、撮像装置１は、ユーザによる不図示のレリーズ釦の操作と同期させて撮像素子６より被写体の情報を得て、メモリカード等の記録媒体へ記録を行う。

図２は、撮像装置１及び撮像レンズ２の電気的構成を示すブロック図である。撮像装置１は、撮像系、画像処理系、音声処理系、記録再生系、及び制御系を有する。撮像系は、撮像レンズ２及び撮像素子６を含み、画像処理系は、Ａ／Ｄ変換器２０及び画像処理回路２１を含み、音声処理系は、マイク７及び音声処理回路２６を含む。また、記録再生系は、記録処理回路２３及び記録媒体２４を含み、制御系は、カメラシステム制御回路２５、焦点／露出検出部１２、操作検出回路２７、レンズシステム制御回路２８、及び光学系駆動部９を含む。光学系駆動部９は、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、及び絞り駆動部９ｃなどを含む。

撮像系は、物体からの光を、撮像レンズ２を介して撮像素子６の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、クイックリターンミラー１１に設けられたミラーを介して、焦点／露出検出部１２にも光束の一部が導かれる。また、後述するように制御系によって適切に撮像レンズ２が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６の近傍で被写体像が結像する。

画像処理回路２１は、Ａ／Ｄ変換器２０を介して撮像素子６から受けた撮像素子の画素の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。

音声処理系は、マイク７の信号に対して音声処理回路２６によって適切な処理を施して録音用音声信号を生成する。録音用音声信号は後述する記録処理回路２３により画像とリンクして圧縮処理される。

記録処理回路２３は、記録媒体２４への画像信号の出力を行うとともに、表示部２２に出力する像を生成、保存する。また、記録処理回路２３は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路２５は、撮像の際のタイミング信号などを生成して出力する。焦点／露出検出部１２は、撮像装置１のピント状態及び被写体の輝度を検出する。レンズシステム制御回路２８は、カメラシステム制御回路２５の信号に応じて適切に撮像レンズ２を駆動させて光学系の調整を行う。

制御系は、外部操作に応じて、撮像系、画像処理系、及び記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路２７が検出すると、制御系は、撮像素子６の駆動、画像処理回路２１の動作、記録処理回路２３の圧縮処理などを制御する。更に、制御系は、表示部２２によって、光学ファインダーや液晶モニタなどに情報表示を行うために、情報表示装置の各セグメントの状態を制御する。

制御系による光学系の調整動作について説明する。カメラシステム制御回路２５には焦点／露出検出部１２が接続されており、ここからの信号を基に適切な焦点位置及び絞り位置を求める。カメラシステム制御回路２５は、電気接点１０を介してこれらの位置をレンズシステム制御回路２８に指示し、レンズシステム制御回路２８は、焦点レンズ駆動部９ａ及び絞り駆動部９ｃを適切に制御する。更に、レンズシステム制御回路２８には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を基にブレ補正駆動部９ｂを適切に制御する。

図３から図６を用いて、絞り駆動部９ｃの駆動方法と雑音処理の選択方法との関係、及び、被写体が発する音（以下、被写体音）と絞り駆動部９ｃが発する不要な音（以下、メカ駆動音）との関係について説明する。なお、この雑音処理の選択は、動画撮影を実行している間に行われるものである。

図３は、第１の実施形態に係る、雑音処理方法の選択の流れを示すフローチャートである。本実施形態においては、説明を簡単にするために、光学系駆動部９の例として絞り駆動部９ｃを用いて説明を行う。本実施形態の絞り駆動部９ｃは、撮像レンズ２内に設けられたステッピングモータを駆動源としている。前述したように、カメラシステム制御回路２５は、必要に応じて光学系の調整動作を行う。このときに、カメラシステム制御回路２５は、適当な駆動方法を選択すると共に、それに応じた雑音処理方法を図３のフローチャートに従って選択する。

Ｓ１０１で、カメラシステム制御回路２５は、駆動方法及び雑音処理方法の選択を開始する。Ｓ１０２で、カメラシステム制御回路２５は、装着された撮像レンズ２の絞り駆動部９ｃがマイクロステップ駆動可能であるか否かを判断する。可能か否かの情報は、撮像装置１に対して撮像レンズ２が装着された後に、撮像装置１が適当なタイミングで電気接点１０を介して撮像レンズ２と通信を行い取得する。装着された撮像レンズ２がマイクロステップでの駆動が可能であれば処理はＳ１０３に進み、そうでない場合は処理はＳ１０５に進む。

Ｓ１０３で、カメラシステム制御回路２５は、ユーザの設定に応じて絞り駆動部９ｃの駆動速度を判断する。例えば、動画撮影時において日陰から日なたに被写体が高速で移動するような場面では、被写体の輝度が大きく変化する。この場合などは、絞りを高速に駆動したい。一方で、被写界深度の変化を抑えて撮影を行いたい場合などには、絞りを低速に駆動したい。これらはユーザによるモード等の設定によって判断される。Ｓ１０３では、カメラシステム制御回路２５は、撮影設定を参照して絞り駆動部９ｃの駆動速度を判断する。

Ｓ１０２でマイクロステップが不可能であると判断された場合、及びＳ１０３で高速駆動が選択された場合には、処理はＳ１０５に進み、カメラシステム制御回路２５は、絞り駆動部９ｃの駆動方法としてフルステップ駆動を選択する。次いで、Ｓ１０７で、カメラシステム制御回路２５は、雑音処理方法として予測処理（詳細は後述）を選択する。その理由は、予測処理による雑音処理は、例えば０．５秒等の短い雑音に対して特に有効であるためである。カメラシステム制御回路２５は、選択した雑音処理を実行するように音声処理回路２６を制御する。

Ｓ１０３で低速駆動が選択された場合には、処理はＳ１０９に進み、カメラシステム制御回路２５は、絞り駆動部９ｃの駆動方法としてマイクロステップ駆動を選択する。次いで、Ｓ１１１で、カメラシステム制御回路２５は、雑音処理方法としてフィルタ処理（詳細は後述）を選択する。その理由は、予測処理による雑音処理は、例えば０．５秒等の短い雑音に対して特に有効である反面、それよりも長い雑音に対してはあまり有効でないからである。そして、マイクロステップ駆動による雑音であれば、雑音の音量も小さいため、発生する雑音の周波数を例えばローパスフィルタなどで低減させるようにすれば、雑音を十分に低減することができるからである。カメラシステム制御回路２５は、選択した雑音処理を実行するように音声処理回路２６を制御する。

ところで、図３のフローチャートでは、一例として、雑音の発生源である絞り駆動部９ｃの動作の期間が長い（閾値以上）場合（マイクロステップ駆動で動作する場合）はフィルタ処理が選択された。また、動作の期間が短い（閾値未満）場合（フルステップ駆動で動作する場合）は予測処理が選択された。しかしながら、後述する第２の実施形態において詳述するように、動作の期間が短い場合であっても、雑音を発生するコンポーネントの種類によっては、フィルタ処理が選択される場合もある。従って、図３における雑音処理方法の選択処理は、雑音を発生するコンポーネントが絞り駆動部９ｃであることも加味されている。換言すれば、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて雑音処理方法を選択している。

次に、図４を参照して、絞り駆動部９ｃの駆動方法の詳細について説明する。図４は、ステッピングモータの励磁方法を説明する図である。図４において、横軸は時間、縦軸は電圧を示す。

図４（ａ）はいわゆるフルステップ駆動の励磁方法を示し、図４（ｂ）はいわゆるマイクロステップ駆動の励磁方法を示す。いずれの駆動方法であっても、ステッピングモータの励磁波形は、Ａ相及びＢ相の電圧は９０度位相がずれている。Ａ相及びＢ相のいずれの位相が進んでいるかによって回転方向が決定される。図４（ａ）に示したフルステップ駆動においては、Ａ相及びＢ相はそれぞれ２つの電圧状態を往復するように電圧が変化する。フルステップ駆動において、Ａ相又はＢ相の電圧が切り替わったときに回転する量がいわゆる１ステップの駆動量である。１ステップの駆動による回転角は、ステッピングモータの構造によって異なる。フルステップ駆動の特徴として、２つのコイルに対して同時に電圧を印加しているので駆動トルクが大きい、ということが挙げられる。そのため、回転数を上げてもいわゆる脱調がおきにくいという特徴がある。

図４（ｂ）に示したマイクロステップ駆動においては、Ａ相及びＢ相はフルステップ駆動の電圧の間にいくつかの状態を設けて段階的に電圧が変化する。マイクロステップ駆動の特徴として、１ステップをいくつかの区間に区切って駆動が可能となる、ということが挙げられる。そのため、精密な位置決めを行う場合に向くという特徴がある。

図４を用いて説明したように、高速で大きく動かすときにはフルステップ駆動が、低速で細かく動かすときにはマイクロステップ駆動が向いていることが分かる。撮像装置１においては、図３で説明したように撮影シーンなどに合わせて適切な駆動方法が選択される。

次に、図５を参照して、音声処理回路２６の詳細な構成について説明する。図５において、４１はゲイン調整部、４２はフィルタ、４３はＡ／Ｄ変換器、４４は雑音処理部、４５はフィルタである。

マイク７から得られた信号はゲイン調整部４１に供給される。ゲイン調整部４１は、Ａ／Ｄ変換器４３のダイナミックレンジが十分に活用できるようにマイク７の信号レベルを調整する。つまり、マイク７の信号レベルが小さいときはゲインアップして信号を増幅し、マイク７の信号レベルが大きいときはゲインを下げて飽和を防ぐ。フィルタ４２は、Ａ／Ｄ変換器４３のサンプリング周波数を考慮して適切なカットオフ周波数を持つローパスフィルタなどで構成される。マイク７が特定の周波数の音を発生する素子の近傍にある場合などは、フィルタ４２は前述のローパスフィルタに加えて適当なノッチフィルタを含む場合もある。Ａ／Ｄ変換器４３は、ゲイン調整部４１及びフィルタ４２で処理された信号をデジタルに変換する。

雑音処理部４４は、複数の雑音処理部で構成されている。図５の例では、雑音処理部４４は、予測処理部４４ａ，フィルタ処理部４４ｂ，及びＭＵＴＥ処理部４４ｃを含む。雑音処理部４４は、カメラシステム制御回路２５により動作が制御される。雑音処理部４４は、カメラシステム制御回路２５からの指令に応じて、複数の雑音処理を選択的に又は組み合わせて実行することができる。フィルタ４５は、音声信号に対して雑音処理を行った後に必要であれば適当なフィルタ処理を施すためのフィルタである。フィルタ４５におけるフィルタ処理は、不要であれば省略することもできる。

図５において「雑音処理」という言葉を用いているが、ここでいう「雑音処理」というのは前述のメカ駆動音（或いは、コンデンサ等の動作により発生する動作音）を低減する処理を指していて、ホワイトノイズの低減などを指すものではない。

メカ駆動音の有無と音声処理回路２６の動作との関係について詳述する。メカ駆動音が存在しないときは、雑音処理部４４はどの雑音処理も実行しないように設定され、音声信号が通過する。また、フィルタ４５も同様に動作しない。このときは、Ａ／Ｄ変換器４３が変換した音声信号そのものが録音用音声信号としてカメラシステム制御回路２５へ送出される。メカ駆動音が存在する場合の処理方法については後述する。

図６は、絞り駆動部９ｃの駆動方法と取得される音声信号との関係を説明する図である。図６において、横軸は時間であり、縦軸はマイク７の出力電圧である。図６は被写体音として音声信号があるときに、絞り駆動部９ｃを動作させたときの例を示している。図６（ａ）は絞り駆動部９ｃをフルステップ駆動したときを、図６（ｂ）は絞り駆動部をマイクロステップ駆動したときを、それぞれ示している。図６（ａ）及び図６（ｂ）を比較すると明らかなように、フルステップ駆動においては、被写体音に対してメカ駆動音が影響を与える時間は短いが、メカ駆動音の単位時間当たりの影響は大きくなる。一方で、マイクロステップ駆動においては、被写体音に対してメカ駆動音が影響を与える時間は長いが、メカ駆動音の単位時間当たりの影響は小さくなる。

図７を参照して、フィルタ処理の詳細について説明する。図７において、横軸は時間であり、縦軸はマイク７の出力電圧である。図７（ａ）は、絞り駆動部９ｃをマイクロステップ駆動したときに取得される音声信号を、図７（ｂ）は、図７（ａ）の音声信号をローパスフィルタで処理をした音声信号を、それぞれ示す。また、図７（ｃ）は、絞り駆動部９ｃをフルステップ駆動したときに取得される音声信号を、図７（ｄ）は、図７（ｃ）の音声信号をローパスフィルタで処理をした音声信号を、それぞれ示す。なお、フィルタの例としてローパスフィルタを挙げたが、絞り駆動部９ｃなどのコンポーネントが動作時に発生する雑音に対応する周波数の信号を低減するフィルタであれば、どのようなフィルタを用いてもよい。

マイクロステップ駆動においては、発生するメカ駆動音が小さいために、図７（ａ）の音声信号をローパスフィルタ処理した図７（ｂ）の音声信号ではメカ駆動音の影響が十分に低減され、高品位な被写体音が得られている。一方で、フルステップ駆動ではメカ駆動音が大きいために、図７（ｃ）の音声信号をローパスフィルタ処理した図７（ｄ）の音声信号ではメカ駆動音の成分が相変わらず多く残ってしまう。また、ローパスフィルタを多重に適用するなどの処理を行っても、メカ駆動音にも被写体音と同じ帯域の信号が含まれているので、高品位な被写体音を得るのは容易ではない。

図７で説明したように、光学系駆動部９の駆動方法によっては、適当なフィルタ処理を施すことで高品位な被写体音が得られる。一方で、フィルタ処理を施すことでは高品位な被写体音が得られない駆動方法も存在する。

次に、図８を参照して、予測処理の詳細について説明する。図８において、横軸は時間であり、縦軸はマイク７の出力電圧である。図８（ａ）は、メカ駆動音が存在し且つ被写体音が相対的に小さい場合の音声信号を、図８（ｂ）は、図８（ａ）の音声信号を予測処理で処理をする途中の段階を、図８（ｃ）は、図８（ａ）の音声信号を予測処理で処理した後の音声信号を、それぞれ示す。

本実施形態では、音声処理回路２６は、絞り駆動部９ｃをフルステップ駆動したときのメカ駆動音が存在する区間に対して、予測処理によって雑音処理を行う。予測処理においては、予測処理部４４ａは、まず図８（ｂ）に示すようにメカ駆動音が存在する区間の信号を破棄する。次に、予測処理部４４ａは後述するように学習動作と予測動作を行い、予測動作により求めた信号でメカ駆動音が存在する区間（予測区間）の信号を埋める（図８（ｃ）参照）。

このように、予測処理は、予測区間の元の信号を捨てる、予測区間の前後の学習区間の信号に基づいて信号を生成するという特徴と持つ。このため、予測処理は、フィルタ処理に比べて予測区間のメカ駆動音の大きさは問題にならない、予測区間は短いほうが性能がよいという特徴を持つ。そのため、本実施形態で示すように、フルステップ駆動のような駆動方法と組み合わせた場合に効果を発揮する。

本実施形態の予測処理に用いる、線形予測係数の導出（学習動作）、及び線形予測係数を用いた信号の予測（予測動作）について説明する。線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個（ここではｐ個とする）の標本値との間に次のような線形１次結合関係を仮定する。

但し、数１において、ε_ｔは平均値０、分散σ^２の互いに無相関な確率変数である。ここでｘ_ｔが過去の値から予測されるように式を変形すると、次のようになる。

数２によると、ε_ｔが十分に小さければ、近傍ｐ個の線形和によって現在の値が表現される。ｘ_ｔを上記の予測によって求めた後、更にその近似が十分によければｘ_ｔ＋１も同じく近傍ｐ個の線形和によって求められる。このようにε_ｔを十分に小さくすることができれば順次値を予測して信号を求めることができる。そこでε_ｔを最小にするようなα_ｉの求め方を考える。本発明ではε_ｔを最小にするようなα_ｉを求める動作を学習動作と呼ぶ。

前述した学習区間においてε_ｔの２乗和を最小化すればよい。学習の開始時刻をｔ_０、終了時刻をｔ_１とすると、次のようになる。

但し、α_０＝１である。ここで式を簡単にするために、

とする。数３を最小化するようにα_ｉを決めるためには、数３のα_ｊ（ｊ＝１，２，．．．，ｐ）に関する偏微分を０として解けばよい。

数５は、ｐ個の線形連立１次方程式を解けばα_ｉを決定できることを示している。数５のうちｃ_ｉｊはｘ_ｔ−ｉ（ｉ＝１，２，．．．，ｐ）から求めることができる。即ち、数５からα_ｉを求めることができる。

数５に従ってα_ｉを決定した場合、ε_ｔの２乗和は最小化されている。このとき数２より、ｘ_ｔの値はｘ＾_ｔで良い近似を与えることができる。この近似が十分に良いものであれば、ｘ_ｔの代わりにｘ＾_ｔを予測信号として用いることができる。更にｘ_ｔ＋１についても同様に近傍のｐ−１個と予測によって求めた信号から近似値を得ることができる。これを順次繰り返すことで予測区間の信号を生成することができる。本発明では、求められたα_ｉから予測区間の近似を求める動作を予測動作と呼ぶ。

学習動作と予測動作の一例について詳細に説明する。図８に示すように、学習動作を行うに当たっては予測区間の前後の近傍の信号を用いる。これは音声信号が極短時間の領域に着目すると比較的繰り返し性が高い性質を利用している。図８のように、メカ駆動音が存在する区間よりも前の時間に学習区間１を、メカ駆動音が存在する区間よりも後の時間に学習区間２を設ける。学習動作及び予測動作においては、学習区間１、学習区間２の信号に対してそれぞれ独立に計算を行う。学習区間１で学習動作を行った後に予測区間の信号を生成することを前方からの予測と呼び、学習区間２で学習動作を行った後に予測区間の信号を生成することを後方からの予測と呼ぶことにする。予測区間の信号は、学習区間１に近い場合には前方からの予測による値の重みを重く、学習区間２に近い場合には後方からの予測による値の重みを重くなるように適当な演算を行って求めるとよい。

また、学習区間は、必ずしも予測区間の前後両方に設ける必要は無い。換言すれば、予測処理部４４ａは、予測区間（動作時に雑音を発生するコンポーネントが動作している期間）の前後少なくとも一方の期間を学習区間とし、この学習区間の音声信号に基づいて生成される音声信号により予測区間の音声信号を置換すればよい。

次に、図９を参照してＭＵＴＥ処理の詳細について説明する。図９において、横軸は時間であり、縦軸はマイク７の出力電圧である。図９（ａ）はメカ駆動音と被写体音を合わせて取得された音声信号を、図９（ｂ）は図９（ａ）のメカ駆動音の存在する近傍を拡大した音声信号を、それぞれ示す。図９（ｃ）は図９（ａ）の音声信号をＭＵＴＥ処理によって処理した後の音声信号を、図９（ｄ）は図９（ｃ）のＭＵＴＥ処理した近傍を拡大した音声信号を、それぞれ示す。

図９（ａ）に示すように、被写体音が存在する時間で必ずしもメカ駆動音が発生するとは限らない。図９（ａ）の例では被写体音が途切れた箇所でメカ駆動音が発生した例を示している。メカ駆動音の発生部分を拡大した図９（ｂ）を見ると明らかなように、メカ駆動音の直前、直後には被写体音が存在していない。メカ駆動音が発生するタイミングはカメラシステム制御回路２５から知ることができるので、その前後の信号のパワーを観測することで、被写体音の有無を知ることができる。例えば、メカ駆動音が発生する前後０．１秒程度の区間の信号をフーリエ変換するなどして、パワースペクトルの推定を行えばよい。前述のパワーが十分に小さいと判断できれば、前述した予測処理に代わってＭＵＴＥ処理でメカ駆動音発生区間の信号を処理する。このＭＵＴＥ処理は、前述した予測処理に比べて演算量を減らすことが可能となる。

図９（ｃ）に、ＭＵＴＥ処理を行った後の信号を示した。ＭＵＴＥ処理は、少なくともメカ駆動音発生区間を包含するように必要最小限の区間に対して適用される。図９（ｃ）及び図９（ｄ）に示すように、ＭＵＴＥ処理を行っても被写体音に影響を与えることなく処理を行うことができる。前述したように、場面によっては、ＭＵＴＥ処理を行うことで簡単に高品位な音声を得ることができる。

図９で説明したＭＵＴＥ処理においては、メカ駆動音発生区間中に被写体音が無いことを予測しているので、その時間が短いほうが都合がよい。即ち、前述の予測処理と同様に、フルステップ駆動のような駆動方法と組み合わせると効果的である。

以上説明したように、本実施形態によれば、音声処理回路２６はカメラシステム制御回路２５による制御に従い、絞り駆動部９ｃのフルステップ駆動（動作の期間が短い）の場合は予測処理（場合によってはＭＵＴＥ処理）を選択し、絞り駆動部９ｃのマイクロステップ駆動（動作の期間が長い）の場合はフィルタ処理を選択する。このように、本実施形態によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能である。

［第２の実施形態］
第２の実施形態では、動作の期間が短い場合であっても、雑音を発生するコンポーネントの種類によっては、フィルタ処理が選択される場合について詳細に説明する。第２の実施形態において、特に断らない限り、撮像装置１の構成等は第１の実施形態と同様である。

図１０は、第２の実施形態に係る、雑音処理方法の選択の流れを示すフローチャートである。図１０において、図３と同様の処理が行われるステップには同一の符号を付し、その説明を省略する。

カメラシステム制御回路２５が操作ボタン（不図示）を介して、動画撮影／音声記録開始の指示を受信すると、カメラシステム制御回路２５は、Ｓ２０１において動画撮影を開始する。

Ｓ２０３で、カメラシステム制御回路２５は、例えば画像処理回路２１を用いて撮像面の輝度信号を適当に信号処理することにより、輝度の測定を行う。Ｓ２０５で、カメラシステム制御回路２５は、Ｓ２０３で求めた輝度を基に絞り駆動部９ｃの動作が必要か否かを判断する。撮像素子６が飽和しそうな場合には絞りを絞る側に、撮像素子６のＳ／Ｎ比が低下するほどに輝度が低い場合には絞りを開く側に、絞りを動作させる必要がある。絞り動作が必要と判断されると処理はＳ１０３に進み、不要と判断されると処理はＳ２１７に進む。

Ｓ１０３乃至Ｓ１１１の処理は、第１の実施形態と同様である。簡単に説明すると、絞り駆動においては、動作期間が所定の時間（例えば０．５秒）よりも短い場合（フルステップ駆動の場合）には、雑音処理のために前述の予測処理が実行される。また、動作期間が所定の時間（例えば０．５秒）よりも長い場合（マイクロステップ駆動の場合）には、雑音処理のために前述のフィルタ処理が実行される。

Ｓ２１７で、カメラシステム制御回路２５は、動画撮影処理のために必要なコンデンサＡ（不図示）へのチャージの実行の要否を確認する。チャージが必要な場合、処理はＳ２１９に進み、カメラシステム制御回路２５はコンデンサＡのチャージを実行する。コンデンサＡのチャージには、約３秒から４秒の時間がかかり、その間、所定の周波数（例えば１０ｋＨｚ）の雑音が発生する。そのため、カメラシステム制御回路２５は、動画撮影中にコンデンサＡがチャージされると、Ｓ２２５で、ノッチフィルタにより１０ｋＨｚの音声信号を低減させるようにする。ちなみに、この種の雑音は、回路のコンデンサＡとコイルとによる共振周波数の音である。カメラシステム制御回路２５は、選択した雑音処理を実行するように音声処理回路２６を制御する。

Ｓ２２７では、カメラシステム制御回路２５は、ユーザからの操作の有無を判断する。操作が無い場合、処理はＳ２０３に戻り、上述の動作が繰り返される。操作が有る場合、処理はＳ２２９に進む。

Ｓ２２９で、カメラシステム制御回路２５は、ユーザがズーム操作を行ったか否かを判断する。ズーム操作を行った場合には、処理はＳ２３１に進み、カメラシステム制御回路２５はズーム動作を行う。そしてＳ２３３で、カメラシステム制御回路２５は、雑音処理としてフィルタ処理を選択する。カメラシステム制御回路２５は、選択した雑音処理を実行するように音声処理回路２６を制御する。

Ｓ２３５では、カメラシステム制御回路２５は、コンデンサＢ（不図示）へのチャージの実行の要否を確認する。コンデンサＢのチャージは、例えば、ユーザの指示によりモニタの再表示や、静止画用のフラッシュ発光などが行われ、チャージされた電荷が一時的に解放された場合に必要となる。チャージが必要な場合、Ｓ２３７で、カメラシステム制御回路２５はコンデンサＢのチャージを実行する。コンデンサＢへのチャージには、０．２秒から０．５秒程度の時間がかかり、その間、コンデンサＡと同様又は異なる周波数（例えば１０ｋＨｚ又は１２ｋＨｚ）の雑音が発生する。そのため、Ｓ２４１で、カメラシステム制御回路２５は、ノッチフィルタにより１０ｋＨｚ又は１２ｋＨｚの音声信号を低減させるようにフィルタ処理を選択する。カメラシステム制御回路２５は、選択した雑音処理を実行するように音声処理回路２６を制御する。

Ｓ２４３では、カメラシステム制御回路２５は、ユーザが撮影終了の操作を行ったか否かを判断する。撮影を終了する操作があった場合には、処理はＳ２４５に進み、カメラシステム制御回路２５は動画撮影／音声記録を終了する。そうでない場合、処理はＳ２０３に戻り、上述の動作が繰り返される。

図１０のＳ２３７及びＳ２４１から理解できるように、本実施形態の撮像装置１は、コンデンサのチャージに起因する雑音については、絞り駆動部９ｃの場合とは異なり、動作期間が短い場合であってもフィルタ処理を行う。というのも、コンデンサ（第２のコンポーネント）の動作に起因する雑音は、絞り駆動部９ｃ（第１のコンポーネント）の動作に起因する雑音に比べて、フィルタ処理による低減に適した性質を持つからである。また、予測処理の演算負荷はフィルタ処理の演算負荷よりも大きいが、コンデンサ等のコンポーネントについては動作期間が短くてもフィルタ処理を実行することで、撮像装置１の演算負荷を低減することができる。更に、予測処理の場合と異なり、雑音発声期間の被写体音をある程度残すことができる。

以上説明したように、本実施形態によれば、カメラシステム制御回路２５は、絞り駆動部９ｃのフルステップ駆動（動作の期間が短い）の場合は予測処理（場合によってはＭＵＴＥ処理）を選択し、絞り駆動部９ｃのマイクロステップ駆動（動作の期間が長い）の場合はフィルタ処理を選択する。一方、コンデンサのチャージ動作の場合、カメラシステム制御回路２５は、動作期間の長短に関わらずフィルタ処理を選択する。このように、本実施形態によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能である。

なお、本実施形態では、コンデンサＡ及びコンデンサＢはそれぞれ別個のコンデンサであるように説明したが、同じコンデンサに対して異なる時間のチャージを実行する場合に対しても本実施形態を適用可能である。

また、ズーム動作の場合は常にフィルタ処理が実行されたが（Ｓ２３１及びＳ２３３参照）、雑音発生時間が短い場合に予測処理を実行し、長い場合にはフィルタ処理を実行するようにしてもよい。更に、焦点レンズ駆動部９ａについては、例えば、雑音発生時間の長短に関わらずフィルタ処理を実行するようにしてもよい。一例として、フィルタ処理による低減に適した性質を持つ雑音を発生するコンポーネントの場合には、動作期間の長短に関わらずフィルタ処理を実行すると、被写体音をそれほど損なわずに効果的に雑音を低減することができる。また、そのようなコンポーネントについては動作期間が短い場合でも予測処理ではなくフィルタ処理が選択されるので、撮像装置１の演算負荷が低減される。

（変形例）
上述の各実施形態では、撮像装置１は、動画撮影時に雑音処理を行った。しかしながら、動画撮影時には雑音処理を行わずに音声信号を記録し、後で雑音処理を実行するように撮像装置１を構成してもよい。具体的には、例えば、撮像装置１は、音声信号を記録する際に、雑音を発生する各コンポーネントの種類及び動作タイミングを併せて記録する。そして、例えば音声信号の再生時に、撮像装置１は、記録された各コンポーネントの種類及び動作タイミングに基づき、図１０を参照して説明したような雑音処理を実行する。この場合、例えばＳ２１７は「コンデンサＡの動作タイミング？」と読み替え、Ｓ２１９は省略するなど、図１０のフローチャートを適宜修正すればよい。また、撮像装置１自身ではなく、音声信号の取得時の各コンポーネントの種類及び動作タイミングを示す情報（動作情報）を伴う音声信号を撮像装置１から取得するＰＣ等が雑音処理を実行してもよい。この場合、撮像装置１は音声信号取得装置として機能し、ＰＣが音声信号処理装置として機能する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、
   前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、
   前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、
   を備え、
   前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
   ことを特徴とする音声信号処理装置。
2. 前記複数のコンポーネントは、第１のコンポーネントと、前記第１のコンポーネントと比べて前記フィルタ処理による低減に適した雑音を発生する第２のコンポーネントと、を含み、
   前記低減手段は、
   前記動作に係るコンポーネントが前記第１のコンポーネントである場合、前記動作の期間が閾値以上であれば前記フィルタ処理を選択し、前記動作の期間が前記閾値未満であれば前記予測処理を選択し、
   前記動作に係るコンポーネントが前記第２のコンポーネントである場合、前記動作の期間の長短に関わらず前記フィルタ処理を選択する
   ことを特徴とする請求項１に記載の音声信号処理装置。
3. 前記音声信号処理装置は、光学系を備える撮像装置であり、
   前記第１のコンポーネントは、前記光学系の駆動部であり、
   前記第２のコンポーネントは、コンデンサである
   ことを特徴とする請求項２に記載の音声信号処理装置。
4. 動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号取得装置が取得した音声信号と、前記音声信号取得装置による前記音声信号の取得時の前記複数のコンポーネントそれぞれの種類及び動作タイミングを示す動作情報と、を取得する取得手段と、
   前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、
   を備え、
   前記低減手段は、前記動作情報を参照して、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
   ことを特徴とする音声信号処理装置。
5. 動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置の制御方法であって、
   前記音声信号処理装置の取得手段が、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得工程と、
   前記音声信号処理装置の低減手段が、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減工程と、
   を備え、
   前記低減工程において、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
   ことを特徴とする制御方法。
6. 音声信号処理装置の制御方法であって、
   前記音声信号処理装置の取得手段が、動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号取得装置が取得した音声信号と、前記音声信号取得装置による前記音声信号の取得時の前記複数のコンポーネントそれぞれの種類及び動作タイミングを示す動作情報と、を取得する取得工程と、
   前記音声信号処理装置の低減手段が、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減工程と、
   を備え、
   前記低減工程において、前記低減手段は、前記動作情報を参照して、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
   ことを特徴とする制御方法。
7. コンピュータに、請求項５又は６に記載の制御方法の各工程を実行させるためのプログラム。

Images