JP6010539B2 - 符号化装置、復号装置、符号化方法および復号方法 - Google Patents

Description

本発明は、符号化装置、復号装置、符号化方法および復号方法に関する。

特許文献１には、超広帯域（Super-Wide-band：ＳＷＢ。一般的には0.05〜14kHz帯域）の音声信号または音楽信号を効率的に符号化できる技術が開示されており、この技術はＩＴＵ−Ｔにおいて規格化されている（例えば、非特許文献１および２）。この技術において、音声信号または音楽信号等の入力信号の低域部（例えば、7kHzまでの帯域）がコア符号化部で符号化され、高域部（例えば、7kHzより高域の帯域）が拡張帯域符号化部で符号化される。

また、一般的に、コア符号化部はＣＥＬＰ（Code Excited Linear Prediction：符号励振線形予測）符号化を使用する。一方、拡張帯域符号化部は、コア符号化部で符号化された情報を用いて周波数領域で符号化を行う。具体的には、拡張帯域符号化部は、コア符号化部で符号化された低域部（7kHz以下）の狭帯域信号を復号し、ＭＤＣＴ（Modified Discrete Cosine Transform：変形離散コサイン変換）係数（スペクトル）に変換して得られたスペクトル（低域復号スペクトル）を高域部（7kHzより高域の帯域。以下、「拡張帯域」と呼ぶ）の符号化に利用する。

拡張帯域での符号化の際、まず、コア符号化部で生成された低域復号スペクトルに対して、スペクトルパワーの包絡（または、エンベロープ。以下、エンベロープと呼ぶ）で正規化が行われる。具体的には、低域復号スペクトルを含む低域部が複数のサブバンドに分割され、サブバンド毎にエネルギ（サブバンドエネルギ）が算出される。次いで、周波数領域におけるエネルギの変動を滑らかにするために、サブバンドエネルギの平滑化が行われる。次いで、平滑化されたサブバンドエネルギを用いて各サブバンドに含まれるスペクトルの正規化が行われる。拡張帯域符号化部は、このようにして得られたスペクトル（正規化スペクトル）と、入力信号の拡張帯域スペクトルとの間で相関の高い帯域を探索し、相関の高い帯域を示す情報をラグとして符号化する。また、拡張帯域符号化部は、相関の高い低域の帯域を拡張帯域のスペクトル微細構造（周波数微細構造）として用いるために、相関の高い低域の帯域を拡張帯域にコピーする（写す）。そして、拡張帯域符号化部は、スペクトル微細構造と拡張帯域スペクトルとの間でゲインを算出し、ゲインを符号化する。

以上の処理を行うことで低域のスペクトルから拡張帯域のスペクトルが生成される。

なお、入力信号において、低域スペクトルから拡張帯域スペクトルを生成する際に、低域スペクトルを正規化する理由は次の通りである。一般に、低域スペクトルではエネルギの偏りが非常に大きく、高域の拡張帯域スペクトルではエネルギの偏りが小さい。つまり、高域部では低域部と比較して局所的に大きなピークが現れるケースが少ないので、ピーク性の高い信号を高域部（拡張帯域）にコピーすると音質劣化につながる恐れがある。そのため、符号化装置において低域スペクトルを正規化するのは、低域スペクトルのエネルギの偏りを除去して平坦化（正規化）してから、拡張帯域スペクトルとの相関を算出するほうが高効率に符号化することができるからである。

一方、非特許文献３には、コア符号化部で変換符号化を用いる従来技術が開示されている。この従来技術では、ＭＰＥＧ（Moving Picture Experts Group) ＡＡＣ（Advanced Audio Coding）方式をコア符号化部に用いる。また、上記で説明した拡張帯域の符号化方式とは異なるＳＢＲ（Spectral Band Replication）方式を用いて拡張帯域の符号化が行われる。

特表２００９−５１５２１２号公報

ITU-T Standard G.718 Annex B, 2008 ITU-T Standard G.729.1 Annex E, 2008 Martin Dietz, Lars Liljeryd, Kristofer Kjorling, Oliver Kunz, "Spectral Band Replication, a novel approach in audio coding", Preprint 5553, 112th AES Convention, Munich, 2002.

非特許文献１および２では、コア符号化部でＣＥＬＰ符号化を用いる。ＣＥＬＰ符号化は、音声信号に対して非常に効率的に符号化を行え、符号化性能が優れているという長所がある一方で、音楽信号に対しては符号化性能が十分ではないという短所がある。

しかしながら、サンプリングレートが32kHzであるＳＷＢの信号（ＳＷＢ信号）を符号化する用途としては、音楽信号の符号化性能の向上が必要となる。この場合、コア符号化部では、ＣＥＬＰ符号化の代わりに、変換符号化を用いることが考えられる。一般的に、変換符号化は、限定された数のパルスでスペクトルを符号化するので、低域スペクトルは離散的なパルス列で表現されることになる。

このような離散的なパルス列で表現されるスペクトルに対して、非特許文献１および２のように、サブバンドに区切ってサブバンドエネルギを算出し、平滑化してエンベロープを推定した場合、サブバンドエネルギを正確に算出するためのスペクトルが不足してしまう。このため、符号化装置では、本来のエンベロープ（つまり、入力信号のエンベロープ）の形状とは乖離したエンベロープを推定してしまう恐れがある。符号化装置がこのようにして求められた不正確なエンベロープで低域スペクトルの正規化を行っても、正規化スペクトルは平坦化されず、振幅が極端に大きいスペクトルが存在してしまうことがある。

音声信号または音楽信号のスペクトルを観察すると、高域部では低域部と比較して局所的に大きなピークが現れるケースがほとんどない。そのため、ピーク性が高い状態の低域部を高域部にコピーしてしまうと、高域部に過度にピーク性の大きいスペクトルが発生してしまい、音質劣化が生じてしまう。このように、低域スペクトルの特性が平坦でない場合、低域スペクトルを用いて生成された拡張帯域の音質に悪影響を与えてしまう。

本発明の目的は、ピーク性を十分に低い状態にした低域部を高域部（拡張帯域）にコピーすることにより、高域部において、ピーク性の過度に大きいスペクトルの発生を防ぎ、高品質な拡張帯域スペクトルを生成することができる符号化装置、復号装置、符号化方法および復号方法を提供することである。

本発明の一態様に係る符号化装置は、音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して、第１の符号化データを生成する第１符号化手段と、前記第１の符号化データを復号して得られる第１のスペクトルを正規化して、正規化スペクトルを生成する正規化手段と、前記入力信号の前記所定周波数より高い高域部のスペクトルである第２のスペクトルと前記正規化スペクトルとの間で相関値が最大となる特定の帯域を探索する帯域探索手段と、前記特定の帯域の前記正規化スペクトルを前記高域部に写して得られるスペクトルである第３のスペクトルと、前記第２のスペクトルとの間のゲインを算出するゲイン算出手段と、前記特定の帯域および前記ゲインを含む情報を符号化して、第２の符号化データを生成する第２の符号化手段と、を具備し、前記正規化手段は、前記低域部を分割して得られる複数のサブバンドのそれぞれにおいて、前記第１のスペクトルの振幅の最大値を探索する最大値探索手段と、各サブバンドに含まれる前記第１のスペクトルを、各サブバンドの前記振幅の最大値でそれぞれ正規化して、前記正規化スペクトルを得る振幅正規化手段と、を具備する構成を採る。

本発明の一態様に係る符号化装置は、音声信号または／および音楽信号である入力信号を周波数領域に変換して入力信号スペクトルを生成する変換手段と、前記入力信号スペクトルの全帯域を所定の帯域幅で分割した各サブバンドに配分するビット数を決定する第１ビット配分手段と、前記配分されたビットを用いて前記入力信号スペクトルを符号化し第１の符号化データを生成する第１符号化手段と、前記入力信号スペクトルの所定の周波数より低い低域部のスペクトルを所定の帯域幅で分割した各サブバンドに配分するビット数を決定する第２ビット配分手段と、前記配分されたビットを用いて前記入力信号の所定周波数より低い低域部のスペクトルを符号化し第２の符号化データを生成する第２符号化手段と、前記入力信号スペクトルの所定周波数より高い高域部のスペクトルを符号化し第３の符号化データを生成する第３符号化手段と、前記入力信号スペクトルの所定周波数より高い高域部のスペクトルの符号化に消費されるビット数を分析して判定情報を得る判定手段と、前記判定情報に応じて前記入力信号スペクトルの符号化を、前記第１符号化手段のみで行うか、あるいは、前記第２符号化手段と前記第３符号化手段とを組み合わせて行うかをフレーム毎に切替える切替え手段と、を具備する構成を採る。

本発明の一態様に係る復号装置は、符号化装置において音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して生成された第１の符号化データを入力して復号し、第１のスペクトルを生成する第１の復号手段と、前記第１のスペクトルを正規化して、正規化スペクトルを生成する正規化手段と、前記正規化スペクトル、および、前記符号化装置で生成された第２の符号化データを入力して復号し、第２のスペクトルを生成する第２の復号手段と、を具備し、前記第２の符号化データは、前記符号化装置における前記入力信号の前記所定周波数より高い高域部のスペクトルである符号化側第１スペクトルと前記符号化装置において前記第１の符号化データを復号して生成されたスペクトルを正規化した符号化側第２スペクトルとの間で相関値が最大となる特定の帯域を示す情報、および、前記特定の帯域の前記符号化側第２スペクトルを前記高域部に写して得られたスペクトルである符号化側第３のスペクトルと前記符号化側第１スペクトルとの間で算出されたゲインを示す情報、を含み、前記正規化手段は、前記低域部を分割して得られる複数のサブバンドのそれぞれにおいて、前記第１のスペクトルの振幅の最大値を探索する最大値探索手段と、各サブバンドに含まれる前記第１のスペクトルを、各サブバンドの前記振幅の最大値でそれぞれ正規化して、前記正規化スペクトルを生成する振幅正規化手段と、を具備する構成を採る。

本発明の一態様に係る符号化方法は、音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して、第１の符号化データを生成する第１符号化ステップと、前記第１の符号化データを復号して得られる第１のスペクトルを正規化して、正規化スペクトルを生成する正規化ステップと、前記入力信号の前記所定周波数より高い高域部のスペクトルである第２のスペクトルと前記正規化スペクトルとの間で相関値が最大となる特定の帯域を探索する帯域探索ステップと、前記特定の帯域の前記正規化スペクトルを前記高域部に写して得られるスペクトルである第３のスペクトルと、前記第２のスペクトルとの間のゲインを算出するゲイン算出ステップと、前記特定の帯域および前記ゲインを含む情報を符号化して、第２の符号化データを生成する第２の符号化ステップと、を具備し、前記正規化ステップは、前記低域部を分割して得られる複数のサブバンドのそれぞれにおいて、前記第１のスペクトルの振幅の最大値を探索する最大値探索ステップと、各サブバンドに含まれる前記第１のスペクトルを、各サブバンドの前記振幅の最大値でそれぞれ正規化して、前記正規化スペクトルを得る振幅正規化ステップと、を具備する構成を採る。

本発明の一態様に係る復号方法は、符号化装置において音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して生成された第１の符号化データを入力して復号し、第１のスペクトルを生成する第１の復号ステップと、前記第１のスペクトルを正規化して、正規化スペクトルを生成する正規化ステップと、前記正規化スペクトル、および、前記符号化装置で生成された第２の符号化データを入力して復号し、第２のスペクトルを生成する第２の復号ステップと、を具備し、前記第２の符号化データは、前記符号化装置における前記入力信号の前記所定周波数より高い高域部のスペクトルである符号化側第１スペクトルと前記符号化装置において前記第１の符号化データを復号して生成されたスペクトルを正規化した符号化側第２スペクトルとの間で相関値が最大となる特定の帯域を示す情報、および、前記特定の帯域の前記符号化側第２スペクトルを前記高域部に写して得られたスペクトルである符号化側第３のスペクトルと前記符号化側第１スペクトルとの間で算出されたゲインを示す情報、を含み、前記正規化ステップは、前記低域部を分割して得られる複数のサブバンドのそれぞれにおいて、前記第１のスペクトルの振幅の最大値を探索する最大値探索ステップと、各サブバンドに含まれる前記第１のスペクトルを、各サブバンドの前記振幅の最大値でそれぞれ正規化して、前記正規化スペクトルを得る振幅正規化ステップと、を具備する構成を採る。

本発明によれば、ピーク性を十分に低い状態にした低域部を高域部（拡張帯域）にコピーすることにより、高域部において、ピーク性の過度に大きいスペクトルの発生を防ぎ、高品質な拡張帯域スペクトルを生成することができる。

本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係る符号化装置の帯域探索部の動作の様子を示す図 本発明の実施の形態１に係る復号装置の構成を示すブロック図 本発明の実施の形態１に係る復号装置の拡張帯域復号部の動作の様子を示す図 本発明の実施の形態１に係るサブバンド振幅正規化部の内部構成を示すブロック図 従来のエンベロープ算出処理を示す図 従来の正規化低域スペクトルを示す図 本発明の実施の形態１に係る正規化低域スペクトルを示す図 本発明の実施の形態２に係る符号化装置の構成を示すブロック図 本発明の実施の形態２に係る復号装置の構成を示すブロック図 本発明の実施の形態２に係るエンベロープ算出処理、および、ハーモニクス強調正規化低域スペクトルを示す図 本発明の実施の形態３に係る符号化装置の構成を示すブロック図 本発明の実施の形態３に係る復号装置の構成を示すブロック図 本発明の実施の形態４に係る符号化装置の構成を示すブロック図 本発明の実施の形態４に係る復号装置の構成を示すブロック図 本発明の実施の形態４に係る符号化装置のスペクトル包絡正規化部の内部構成を示すブロック図 本発明の実施の形態５に係る符号化装置の帯域探索部の動作の様子を示す図 本発明の実施の形態５に係る復号装置の拡張帯域復号部の動作の様子を示す図 本発明の実施の形態６に係る符号化装置の入力信号スペクトルの複数のサブバンド分割を示す図 本発明の実施の形態６に係る符号化装置の構成を示すブロック図 本発明の実施の形態６に係る符号化装置のモード判定部の構成を示す図 本発明の実施の形態６に係る復号装置の構成を示すブロック図 本発明の実施の形態８に係る符号化装置のスペクトル包絡正規化部の内部構成を示すブロック図

本発明では、符号化装置が、低域部のスペクトル（低域スペクトル）を用いて、拡張帯域のスペクトル（拡張帯域スペクトル）を生成するコーデックにおいて、低域スペクトルを複数のサブバンドに分割し、サブバンド毎のスペクトルを、各サブバンドに含まれるスペクトルの振幅最大値で正規化する。こうすることで、低域スペクトルが離散的なスペクトルであっても、極端に大きな振幅のスペクトルの発生を抑止して、平坦な正規化低域スペクトルを得ることができる。これにより、符号化装置が、ピーク性を十分に低く抑えた状態の低域部を拡張帯域にコピーすることで、拡張帯域において、過度にピーク性の大きいスペクトルが発生することを防ぎ、高音質な拡張帯域スペクトルを生成することができるものである。

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、本発明に係る符号化装置および復号装置は、入力信号／出力信号として、音声信号、楽音信号、及び、これらが混在した信号、のいずれについても対象とするものとする。

（実施の形態１）
図１は、実施の形態１に係る符号化装置１００の構成を示すブロック図である。

図１に示す符号化装置１００は、時間−周波数変換部１０１、コア符号化部１０２、サブバンド振幅正規化部１０３、帯域探索部１０４、ゲイン算出部１０５、拡張帯域符号化部１０６および多重化部１０７により構成される。本実施の形態では、符号化装置１００に入力される入力スペクトルの所定周波数以下の低域部（低域スペクトル）をコア符号化部１０２が符号化し、入力スペクトルのうち、コア符号化部１０２により符号化された帯域よりも高域（所定周波数より高い帯域。以後、拡張帯域と呼ぶ）のスペクトルを拡張帯域符号化部１０６が符号化する。

時間−周波数変換部１０１は、入力される時間領域の入力信号（音声信号または／および音楽信号）を周波数領域の信号に変換し、得られる入力信号スペクトルをコア符号化部１０２、帯域探索部１０４およびゲイン算出部１０５に出力する。なお、ここでは、時間−周波数変換部１０１での時間−周波数変換処理として、ＭＤＣＴ変換を前提に説明する。しかし、時間−周波数変化部１０１は、時間領域から周波数領域へ変換するＦＦＴ（Fast Fourier Transform）、ＤＣＴ（Discrete Cosine Transform）等の直交変換を用いてもよい。

コア符号化部１０２は、時間−周波数変換部１０１から入力される入力信号スペクトルのうち、低域スペクトルを符号化して、符号化データを生成する。コア符号化部１０２は、変換符号化を用いて符号化を行う。コア符号化部１０２は、生成した符号化データをコア符号化データとして多重化部１０７に出力する。また、コア符号化部１０２は、コア符号化データを復号して得られるコア符号化低域スペクトルをサブバンド振幅正規化部１０３に出力する。

サブバンド振幅正規化部１０３は、コア符号化部１０２から入力されるコア符号化低域スペクトルを正規化して、正規化低域スペクトルを生成する。具体的には、サブバンド振幅正規化部１０３は、コア符号化低域スペクトルを複数のサブバンドに分割し、サブバンド毎のスペクトルを、各サブバンドに含まれるスペクトルの振幅（絶対値）の最大値でそれぞれ正規化する。サブバンド振幅正規化部１０３は、正規化処理によって得られる正規化低域スペクトルを帯域探索部１０４およびゲイン算出部１０５に出力する。なお、サブバンド振幅正規化部１０３の構成および動作の詳細については後述する。

帯域探索部１０４、ゲイン算出部１０５および拡張帯域符号化部１０６は、入力信号スペクトルのうち、拡張帯域のスペクトル（入力拡張帯域スペクトル）の符号化処理を行う。

帯域探索部１０４は、時間−周波数変換部１０１から入力される入力信号スペクトルのうち、入力拡張帯域スペクトルと、サブバンド振幅正規化部１０３から入力される正規化低域スペクトルとの間の相関値が最大となる特定の帯域を探索する。そして、帯域探索部１０４は、探索した上記特定の帯域（正規化低域スペクトルの対象帯域（コピー元）、および、拡張帯域の対象帯域（コピー先））を示す情報（ラグまたはラグ情報と呼ぶ）をゲイン算出部１０５および拡張帯域符号化部１０６に出力する。

図２は帯域探索部１０４の動作の様子を示す図である。帯域探索部１０４では、入力された正規化低域スペクトルから、あらかじめ定められたラグ候補（図２では例としてＬ０〜Ｌ３の４候補）それぞれについて、各ラグ候補に対応するスペクトルが切り出される。切り出されるスペクトルは、基準周波数ｆ０からラグ候補で表される既定のサンプル値だけシフトした位置を始点とし、入力拡張帯域スペクトル（拡張帯域の全帯域または一部の帯域）の帯域幅と同じ帯域幅に含まれるものである。切り出されたスペクトルは、相関値算出の候補スペクトルとして相関値算出部１０４ａに出力される。この例では、４種類の候補スペクトルが相関値算出の対象となる。

相関値算出部１０４ａは、ラグ候補に従い特定される候補スペクトルの各々と入力帯域スペクトルとの間の相関値を算出し、これら相関値の中で最も高い値を示すときのラグ候補を、前記特定の帯域を示す情報として、ゲイン算出部１０５および拡張帯域符号化部１０６に出力する。

ゲイン算出部１０５は、帯域探索部１０４で探索された上記特定の帯域の正規化低域スペクトルを、拡張帯域にコピーして（写して）得られるスペクトルを、スペクトル微細構造（周波数微細構造）とする。そして、ゲイン算出部１０５は、得られるスペクトル微細構造と、時間−周波数変換部１０１から入力される入力拡張帯域スペクトルとの間でゲインを算出する。ゲイン算出部１０５は、算出したゲインを示す情報を拡張帯域符号化部１０６に出力する。ゲイン算出部１０５は、基本的には正規化低域スペクトルからコピーしてきた信号のエネルギが、入力信号スペクトルの拡張帯域におけるエネルギに一致するように（もしくは近くなるように）ゲインを算出する。ゲインを算出する最も簡単な方法としては、例えば、入力信号スペクトルの拡張帯域のエネルギを、正規化低域スペクトルからコピーしてきた信号のエネルギで除算し、除算した値の平方根をゲインとする方法がある。

拡張帯域符号化部１０６は、帯域探索部１０４から入力される特定の帯域を示す情報を符号化するとともに、ゲイン算出部１０５から入力されるゲインを符号化する。拡張帯域符号化部１０６は、特定の帯域およびゲインを符号化して生成される符号化データを拡張帯域符号化データとして多重化部１０７に出力する。

多重化部１０７は、コア符号化部１０２から入力されるコア符号化データと、拡張帯域符号化部１０６から入力される拡張帯域符号化データとを多重化して、符号化データを出力する。

次に、本実施の形態に係る復号装置２００について説明する。図３は、復号装置２００の構成を示すブロック図である。

図３に示す復号装置２００は、分離部２０１、コア復号部２０２、サブバンド振幅正規化部２０３、拡張帯域復号部２０４および周波数−時間変換部２０５により構成される。

分離部２０１は、入力される符号化データを、コア符号化データと拡張帯域符号化データとに分離する。分離部２０１は、コア符号化データをコア復号部２０２に出力し、拡張帯域符号化データを拡張帯域復号部２０４に出力する。

なお、上述したように、コア符号化データは、符号化装置１００において入力信号（音声信号または／および音楽信号）の所定周波数以下の低域部を符号化して得られる符号化データである。また、拡張帯域符号化データには、入力信号（音声信号または／および音楽信号）の所定周波数以下の高域部のスペクトル（入力拡張帯域スペクトル）と正規化スペクトルとの間で相関値が最大となる特定の帯域を示す情報、および、特定の帯域の正規化スペクトルを高域部にコピーして得られるスペクトル（スペクトル微細構造）と入力拡張帯域スペクトルとの間のゲインを示す情報が含まれる。

コア復号部２０２は、分離部２０１から入力されるコア符号化データを復号して、コア符号化低域スペクトルを生成する。コア復号部２０２は、生成されたコア符号化低域スペクトルを、サブバンド振幅正規化部２０３および周波数−時間変換部２０５に出力する。

サブバンド振幅正規化部２０３は、コア復号部２０２から入力されるコア符号化低域スペクトルを正規化して、正規化低域スペクトルを生成する。サブバンド振幅正規化部２０３は、生成した正規化低域スペクトルを拡張帯域復号部２０４に出力する。なお、サブバンド振幅正規化部２０３の構成および動作は、図１に示したサブバンド振幅正規化部１０３の構成及び動作（後述する）と同一であるので、詳細な説明は省略する。

拡張帯域復号部２０４は、サブバンド振幅正規化部２０３から入力される正規化低域スペクトルおよび分離部２０１から入力される拡張帯域符号化データを用いて復号処理を行い、拡張帯域スペクトルを得る。拡張帯域復号部２０４は、拡張帯域符号化データを復号してラグ情報およびゲインを得る。拡張帯域復号部２０４は、ラグ情報に基づいて、拡張帯域にコピーする正規化低域スペクトルの所定帯域を特定し、正規化低域スペクトルの所定帯域を拡張帯域にコピーする。次に、拡張帯域復号部２０４は、正規化低域スペクトルの所定帯域が拡張帯域にコピーされたスペクトルに対して、復号したゲインを乗じることで、拡張帯域スペクトルを得る。そして、拡張帯域復号部２０４は、得られる拡張帯域スペクトルを周波数−時間変換部２０５に出力する。

図４は拡張帯域復号部２０４の動作の様子を示す図である。拡張帯域復号部２０４は、始めに、ラグ情報に基づいて、拡張帯域へのコピーに用いられる正規化低域スペクトルの始点を決定する。図４では、ラグ情報Ｌ１が得られる場合を例にしているので、ｆ１に位置するスペクトルを始点とする。

次に、拡張帯域復号部２０４は、拡張帯域スペクトル生成部２０４ａにおいて、この始点から、入力拡張帯域スペクトル（拡張帯域の全帯域または一部の帯域）の帯域幅と同じ帯域幅に含まれるスペクトルを切り出し、拡張帯域スペクトル（ゲイン乗算前）を生成する。

周波数−時間変換部２０５は、まず、コア復号部２０２から入力されるコア符号化低域スペクトルと、拡張帯域復号部２０４から入力される拡張帯域スペクトルとを結合して復号スペクトルを生成する。次いで、周波数−時間変換部２０５は、復号スペクトルを直交変換して、時間領域の信号に変換して出力信号として出力する。

次に、符号化装置１００のサブバンド振幅正規化部１０３の構成及び動作について詳細に説明する。

サブバンド振幅正規化部１０３は、コア符号化部１０２から入力されるコア符号化低域スペクトルのエネルギの偏りを除去して、正規化低域スペクトルを得る。ここで、スペクトルのエネルギの偏りを除去するには、スペクトルのエンベロープを求めて、帯域毎のエンベロープの代表値で帯域内の各スペクトルを除算することで正規化するのが一般的である。非特許文献１および２でも同様の手法により低域スペクトルを正規化している。

しかしながら、コア符号化部１０２において変換符号化が用いられ、かつ、ビットレートが低い場合には、低域スペクトルは離散的なパルス列で表現される。低域スペクトルを表す離散的なパルス列からエンベロープを正確に求めるのは困難である。そのため、このような低域スペクトルから求めた不正確なエンベロープで低域スペクトルを正規化した場合には、正規化低域スペクトルにエネルギの偏りが残り、極端に大きな振幅のスペクトルが残ってしまうという問題が生じる。このような正規化低域スペクトルと入力拡張帯域スペクトルとで相関の大きい帯域を探索して、相関の大きい帯域の正規化低域スペクトルを拡張帯域にコピーしてしまうと、本来拡張帯域（高域部）で発生することの無いピーク性の強い信号が高域側に生成されてしまい、大きく音質が劣化してしまう。

そこで、本実施の形態では、サブバンド振幅正規化部１０３は、エネルギの偏りを除く方法として、低域スペクトルの絶対値の最大振幅値（以下、サブバンド最大値と呼ぶ）をサブバンド毎に求め、各サブバンドに含まれるスペクトルを、各サブバンドで求めたサブバンド最大値でそれぞれ正規化する。こうすることで、正規化後の各サブバンドにおけるスペクトルの絶対値の最大値はサブバンド間で統一される。これにより、正規化低域スペクトルでは、極端に振幅が大きなスペクトルは存在しなくなる。

上記処理を実現するサブバンド振幅正規化部１０３の構成を図５に示す。図５に示すサブバンド振幅正規化部１０３は、サブバンド分割部１３１、最大値探索部１３２および振幅正規化部１３３により構成される。

サブバンド分割部１３１は、コア符号化部１０２から入力されるコア符号化低域スペクトルを含む帯域（つまり、低域部）を複数のサブバンドに分割して、得られるサブバンド毎のスペクトルをサブバンド分割コア符号化低域スペクトルとして、最大値探索部１３２および振幅正規化部１３３に出力する。以下では、簡単のため、サブバンド分割部１３１がコア符号化低域スペクトルの全帯域を等間隔で分割する場合について説明する。また、以下では、各サブバンドの帯域幅（サンプル数）を「ｗ」で表す。例えば、１サブバンドは８サンプル（ｗ＝８）で構成してもよい。

最大値探索部１３２は、複数のサブバンドのそれぞれにおいて、サブバンド分割部１３１から入力されるサブバンド分割コア符号化低域スペクトルの振幅（絶対値）の最大値（つまり、各サブバンドのサブバンド最大値）を探索する。最大値探索部１３２は、各サブバンドのサブバンド最大値を振幅正規化部１３３に出力する。以下では、ｊ番目のコア符号化低域スペクトルをＭ［ｊ］、サブバンド数をＳ、サブバンドインデックスをｓで表す。この場合、サブバンドｓにおけるサブバンド最大値Ｍｍａｘ［ｓ］は次式（１）のように表される。

振幅正規化部１３３は、サブバンド分割部１３１から入力されるサブバンド分割コア符号化低域スペクトルを、最大値探索部１３２から入力される各サブバンドのサブバンド最大値で正規化して、正規化低域スペクトルを得る。つまり、振幅正規化部１３３は、各サブバンドに含まれるサブバンド分割コア符号化低域スペクトルを、各サブバンドのサブバンド最大値でそれぞれ正規化する。例えば、正規化低域スペクトルＭｎは次式（２）で表される。

式（２）において、εは零除算を回避するための微少値を表す。振幅正規化部１３３は、上記処理を全てのサブバンドで実行することで、正規化低域スペクトルを得ることができる。

次いで、上述したサブバンド振幅正規化部１０３の動作を、図６、７、８を用いて説明する。

図６は、従来技術におけるエンベロープの算出処理の一例を示す。図６において、横軸は周波数を表し、縦軸はスペクトルパワーを表す。図６では、コア符号化部の符号化対象（符号化範囲）の帯域（低域部）は、ＳＢ０〜ＳＢ５の６個のサブバンドに分割されている。つまり、図６に示すＳＢ５より高域の帯域（拡張帯域）は、拡張帯域符号化部の符号化対象（符号化範囲）である。また、図６に示す破線曲線は入力信号スペクトルのエンベロープ（入力信号エンベロープ）を示す。

また、図６では、コア符号化部は、変換符号化によって、ｐ０〜ｐ１０の位置のスペクトルを符号化したものとする。なお、図６、図７、図８において、符号化されたスペクトルは、スペクトルパワーで図示している。図６に示すように、離散的なスペクトル（コア符号化低域スペクトル。ｐ０〜ｐ１０の位置のスペクトル）からは正確なエンベロープ（図６に示す破線）を求めるのは困難である。例えば、図６では、実線曲線で示される推定エンベロープ（コア符号化低域スペクトルから求めたエンベロープ）は、破線曲線で示される入力信号エンベロープとは乖離している。

図７は、従来技術における推定エンベロープ（不正確なエンベロープ）から算出された正規化低域スペクトルの一例をスペクトルパワーにて示す。図７において、図６と同一の記号は同一の意味を表す。低域スペクトルを不正確なエンベロープで正規化すると、図７に示すように、正規化低域スペクトルでは、各サブバンドのスペクトル振幅のばらつきが大きくなる。例えば、図７では、ＳＢ０およびＳＢ１の各サブバンドのスペクトル振幅に対して、ＳＢ３およびＳＢ５の各サブバンドのスペクトル振幅が大きくなっている。特に、エンベロープの推定を極端に誤った場合には、他のスペクトルと比べて極端に大きなパワーのスペクトルが発生してしまう。

これに対して、図８は、本実施の形態におけるサブバンド振幅正規化部１０３で得られる正規化低域スペクトルを、スペクトルパワーにて示す。図８において、図７と同一の記号は同一の意味を表す。

サブバンド振幅正規化部１０３において、最大値探索部１３２は、各サブバンドＳＢ０〜ＳＢ５のそれぞれにおいて、サブバンド最大値を探索する。例えば、図８に示すように、最大値探索部１３２は、ＳＢ０に含まれるスペクトル（ｐ０，ｐ１）のうち振幅値が最大となるスペクトル（ｐ１）を、ＳＢ０のサブバンド最大値として特定する。同様に、図８に示すように、最大値探索部１３２は、ＳＢ１に含まれるスペクトル（ｐ２，ｐ３）のうち振幅値が最大となるスペクトル（ｐ２）を、ＳＢ１のサブバンド最大値として特定する。最大値探索部１３２は、図８に示すＳＢ２〜ＳＢ５についても同様に、振幅値が最大となるスペクトル（ｐ５，ｐ７，ｐ８，ｐ１０）を各サブバンドのサブバンド最大値として特定する。

次いで、振幅正規化部１３３は、各サブバンドに含まれるスペクトル（サブバンド分割コア符号化低域スペクトル）を、各サブバンドのサブバンド最大値で正規化する。例えば、振幅正規化部１３３は、図８に示すＳＢ０において、ｐ０およびｐ１のスペクトルを、サブバンド最大値（ｐ１のスペクトルの振幅値）で正規化する。同様に、振幅正規化部１３３は、図８に示すＳＢ１において、ｐ２およびｐ３のスペクトルを、サブバンド最大値（ｐ２のスペクトルの振幅値）で正規化する。ＳＢ２〜ＳＢ５についても同様である。

この結果、各サブバンドにおいて振幅が最大となるスペクトルは必ず１．０となる。図８においても、振幅が最大となるスペクトルのスペクトルパワーは１．０になっている。ただし、ここでは、零除算対策のための微小値の影響は考慮しないこととする。つまり、図８に示す全サブバンドＳＢ０〜ＳＢ５において、正規化後の振幅の最大値は、同一値（１．０）で統一される。

こうすることで、サブバンド間でスペクトルの特性を平坦にでき、極端に振幅が大きなスペクトルも発生し得ない。すなわち、サブバンド振幅正規化部１０３は、拡張帯域スペクトル（一般的に低域スペクトルと比較して周波数特性が平坦であるスペクトル）との相関性が高い正規化低域スペクトルを得ることができる。つまり、サブバンド振幅正規化部１０３は、コア符号化部１０２によって入力信号スペクトルを符号化及び復号することにより生成されたコア符号化低域スペクトルを、特性が平坦な正規化低域スペクトルに変換できる。これにより、符号化装置１００では、拡張帯域スペクトルと相関の高い正規化低域スペクトルを得ることができるので、高域の音質を向上させることができる。

以上、サブバンド振幅正規化部１０３の構成および動作の詳細について説明した。

このように、本実施の形態によれば、符号化装置１００は、サブバンド振幅正規化部１０３において、最大値探索部１３２が、入力信号の所定周波数以下の低域部を分割して得られる複数のサブバンドのそれぞれにおいて、コア符号化低域スペクトルの振幅の最大値（サブバンド最大値）を探索し、振幅正規化部１３３が、各サブバンドに含まれるコア符号化低域スペクトルを、各サブバンドのサブバンド最大値で正規化する。そして、符号化装置１００は、正規化されたコア符号化低域スペクトル（正規化低域スペクトル）を用いて、拡張帯域スペクトルを符号化する。

こうすることで、符号化装置１００は、コア符号化部１０２での符号化によって得られるコア符号化低域スペクトルが離散的なスペクトルであっても、極端に振幅が大きいスペクトルの発生を抑止して、特性が平坦な正規化低域スペクトルを得ることができる。これにより、正規化低域スペクトルには極端に振幅が大きいスペクトルが存在しなくなるので、符号化装置１００は、ピーク性を十分に低い状態にした低域部のスペクトルを高域部（拡張帯域）にコピーすることにより、拡張帯域（高域部）において、ピーク性の過度に大きいスペクトルの発生を防ぎ、高品質な拡張帯域スペクトルを生成することができる。

（実施の形態２）
上述したように、入力信号の拡張帯域（高域部）のスペクトルを符号化する際、符号化装置は、正規化低域スペクトルを拡張帯域にコピーしたスペクトルをスペクトル微細構造として利用している。これは、入力信号の低域部のスペクトルのハーモニクス（調波）構造を利用しているとも言える。すなわち、入力信号の低域部のスペクトルにおいてハーモニクス構造をより強調することにより、明瞭性がより高い復号信号を得ることが期待できる。

そこで、本実施の形態では、実施の形態１で得られる正規化低域スペクトルに対して、更に、ハーモニクス構造を強調する場合について説明する。

図９は、本実施の形態に係る符号化装置３００の構成を示すブロック図である。図９に示す符号化装置３００において、ハーモニクス強調部３０１以外の構成要素については、実施の形態１の符号化装置１００（図１）内の各構成要素と同一であるため、同一の符号を付し、ここでは説明を省略する。

ハーモニクス強調部３０１は、サブバンド振幅正規化部１０３から入力される正規化低域スペクトルのハーモニクス構造を強調し、ハーモニクス構造が強調された正規化低域スペクトル（ハーモニクス強調正規化低域スペクトル）を、帯域探索部１０４およびゲイン算出部１０５に出力する。

すなわち、帯域探索部１０４は、ハーモニクス強調正規化低域スペクトルと、入力拡張帯域スペクトルとを用いて、特定の帯域（相関値が最大となる帯域）を探索する。また、ゲイン算出部１０５は、上記特定の帯域のハーモニクス強調正規化低域スペクトルを拡張帯域にコピーして得られるスペクトル（スペクトル微細構造）と、入力拡張帯域スペクトルとの間のゲインを算出する。

図１０は、本実施の形態に係る復号装置４００の構成を示すブロック図である。図１０に示す復号装置４００において、ハーモニクス強調部４０１以外の構成要素については、実施の形態１の復号装置２００（図３）内の各構成要素と同一であるため、同一の符号を付し、ここでは説明を省略する。また、ハーモニクス強調部４０１の構成および動作は、図９に示したハーモニクス強調部３０１の構成及び動作と同一であるので、詳細な説明は省略する。

次に、ハーモニクス強調部３０１におけるハーモニクス構造の強調処理の詳細について説明する。

上述したように、コア符号化部１０２では、ビットレートが低い場合には少ないパルスで低域スペクトルを符号化する。この際、エネルギがより大きいスペクトルが優先的に符号化されることが考えられる。また、エネルギがより大きいスペクトルは、ハーモニクス構造を構成する重要なスペクトルである可能性が高いスペクトルであると考えられる。さらに、ハーモニクス構造を構成するスペクトル（エネルギの高いスペクトル）は離散的に分布するはずである。

以上のことより、ハーモニクス強調部３０１は、正規化低域スペクトルのうち、各サブバンドで振幅の大きいスペクトル（各サブバンドのサブバンド最大値に対応するスペクトル）を残し、各サブバンドのサブバンド最大値に対応するスペクトル以外のスペクトルを除去する。これにより得られる、ハーモニクス強調正規化低域スペクトルでは、ハーモニクス構造を構成するスペクトルが多く残り、ハーモニクス構造を強調することができる。

図１１は、ハーモニクス強調部３０１におけるハーモニクス強調処理を示す。図１１Ａは図６に示す入力信号スペクトルのエンベロープ（入力信号エンベロープ）、および、コア符号化部１０２によって符号化された低域スペクトル（コア符号化低域スペクトル）のスペクトルパワーを示す。図１１Ｂは、本実施の形態で得られるハーモニクス強調正規化低域スペクトルをスペクトルパワーで図示している。なお、図１１Ａおよび図１１Ｂにおいて、図６、図７または図８と同一の記号は同一の意味を表す。

また、ここでは、簡単のため、１つのサブバンドにつき１つのパルスのみを残す場合を一例として説明する。

図１１Ａおよび図１１Ｂに示す実線のパルス（ｐ２，ｐ５，ｐ８）は、入力信号エンベロープのピーク付近で符号化されたスペクトルのスペクトルパワーであり、各サブバンド（ＳＢ１，ＳＢ２，ＳＢ４）において振幅（絶対値）が最大となるスペクトル（サブバンド最大値に対応するスペクトル）である。また、図１１Ａおよび図１１Ｂに示す点線のパルス（ｐ０，ｐ３，ｐ４，ｐ６，ｐ９）は、各サブバンドにおいて最大振幅値ではないスペクトルパワーである。また、図１１Ａおよび図１１Ｂに示す一点鎖線のパルス（ｐ１，ｐ７，ｐ１０）は、エンベロープのピーク付近ではないもののそのサブバンドで振幅（絶対値）が最大となるスペクトルである。

ハーモニクス強調部３０１は、正規化低域スペクトルのうち、サブバンド最大値に対応するスペクトルを残し、サブバンド最大値に対応するスペクトル以外のスペクトルを除去する。つまり、図１１Ａおよび図１１Ｂでは、ハーモニクス強調部３０１は、ｐ１、ｐ２、ｐ５、ｐ７、ｐ８、ｐ１０のスペクトル（パルス）を残し、ｐ０、ｐ３、ｐ４、ｐ６、ｐ９のスペクトル（パルス）を除去する。

これにより、図１１Ａに示すように、入力信号エンベロープのピーク付近で符号化されたスペクトル（実線のスペクトル）は全て残り、それ以外のスペクトルは除去され得ることになるため、ハーモニクス構造を強調することができる。

以上の構成、動作により、符号化装置３００では、拡張帯域スペクトルにおいてもハーモニクス構造を表現することができる。すなわち、符号化装置３００は、入力信号の拡張帯域でもハーモニクス構造を強調することが可能となり、実施の形態１と比較して更に明瞭性の高い高品質な拡張帯域スペクトルを生成することができる。これにより、符号化装置３００は、明瞭性の高い高音質な拡張帯域スペクトルを生成することができる。

また、本実施の形態によれば、符号化装置３００は、実施の形態１と同様、コア符号化部１０２での符号化によって得られる低域スペクトルが離散的なスペクトルであっても、極端に振幅が大きいスペクトルの発生を抑止して、特性が平坦な正規化低域スペクトルを得ることができる。これにより、実施の形態１と同様、拡張帯域（高域部）において、ピーク性の過度に大きいスペクトルの発生を防ぎ、高品質な拡張帯域スペクトルを生成することができる。

なお、本実施の形態では、ハーモニクス強調部３０１が各サブバンドにおける最大振幅値（サブバンド最大値）を有するスペクトルのみを残す場合について説明した。しかし、ハーモニクス強調部３０１は、各サブバンドにおいて、サブバンド最大値に対する振幅の所定の比率（例えば０．７５）を閾値（以下、微小スペクトル除去閾値と呼ぶ）として、微少スペクトル除去閾値以上の振幅を有するスペクトルを残し、微少スペクトル除去閾値未満の振幅を有するスペクトル（つまり、微少スペクトル除去閾値以上の振幅を有するスペクトル以外のスペクトル）を抑圧もしくは除去してもよい。また、ハーモニクス強調部３０１は、サブバンド最大値のスペクトルであっても、正規化前の振幅が小さい場合には、当該スペクトルを抑圧もしくは除去するようにしてもよい。

（実施の形態３）
実施の形態３では、さらに、実施の形態２のハーモニクス強調処理におけるハーモニクス構造の強調の程度を適応的に制御する。

図１２は、本実施の形態に係る符号化装置５００の構成を示すブロック図である。図１２に示す符号化装置５００において、サブバンド振幅正規化部５０１、閾値制御部５０２およびハーモニクス強調部５０３以外の構成要素については、実施の形態２の符号化装置３００（図９）内の各構成要素と同一であるため、同一の符号を付し、ここでは説明を省略する。

サブバンド振幅正規化部５０１は、正規化低域スペクトルを閾値制御部５０２およびハーモニクス強調部５０３に出力するとともに、最大値探索部１３２（図５）の出力である、各サブバンドのサブバンド最大値を閾値制御部５０２に出力する。

閾値制御部５０２は、サブバンド振幅正規化部５０１から入力される正規化低域スペクトルおよびサブバンド最大値を用いて、微小スペクトル除去閾値を制御する。ここで、微小スペクトル除去閾値は、ハーモニクス強調部５０３でのハーモニクス強調処理において正規化低域スペクトル（パルス）を除去（または抑圧）するか否かを判定するための閾値である。例えば、閾値制御部５０２は、低域スペクトルの各サブバンドの重要度に基づいて、微小スペクトル除去閾値を算出する。閾値制御部５０２は、微小スペクトル除去閾値を、ハーモニクス強調部５０３に出力する。

ハーモニクス強調部５０３は、閾値制御部５０２から入力される微小スペクトル除去閾値を用いて、サブバンド振幅正規化部５０１から入力される正規化低域スペクトルに対して、ハーモニクス強調処理を施す。具体的には、ハーモニクス強調部５０３は、各サブバンドに含まれる正規化低域スペクトルと、各サブバンドに設定された微小スペクトル除去閾値とを比較する。例えば、ハーモニクス強調部５０３は、微小スペクトル除去閾値以上の振幅を有するスペクトル（パルス）を残し、微小スペクトル除去閾値未満の振幅を有するスペクトル（パルス）を除去（または抑圧）する。

図１３は、本実施の形態に係る復号装置６００の内部の構成を示すブロック図である。図１３に示す復号装置６００において、サブバンド振幅正規化部６０１、閾値制御部６０２およびハーモニクス強調部６０３以外の構成要素については、実施の形態２の復号装置４００（図１０）内の各構成要素と同一であるため、同一の符号を付し、ここでは説明を省略する。また、サブバンド振幅正規化部６０１、閾値制御部６０２およびハーモニクス強調部６０３の構成および動作は、図１２に示したサブバンド振幅正規化部５０１、閾値制御部５０２およびハーモニクス強調部５０３の構成及び動作と同一であるので、詳細な説明は省略する。

次に、閾値制御部５０２における微小スペクトル除去閾値の設定処理およびハーモニクス強調部５０３におけるハーモニクス強調処理の詳細について説明する。

入力信号の低域部のスペクトルにおいて、サブバンド内のスペクトルの振幅最大値（サブバンド最大値）が大きいサブバンドほど聴感的に重要である。このため、当該サブバンドではサブバンド最大値に対応するスペクトルのみでなく、サブバンド最大値に対応するスペクトルの周辺に位置する、振幅が大きなスペクトルも残すことが好ましい。

一方、低域スペクトルにおいて、サブバンド最大値が小さいサブバンド内のスペクトルは、ハーモニクス構造を構成している可能性が小さい。このため、当該サブバンドでは、できるだけ少数のスペクトルのみを残すことが好ましい。

以上を踏まえて、閾値制御部５０２における微小スペクトル除去閾値の設定例について説明する。

まず、閾値制御部５０２は、各サブバンドのサブバンド最大値の中から、最大値を探索し、探索した最大値を全サブバンド最大値とする。

次いで、閾値制御部５０２は、例えば、全サブバンド最大値の０．５倍以上のサブバンド最大値を有するサブバンドを、聴感的に重要なサブバンド（帯域）と判断し、微小スペクトル除去閾値を小さく設定する。例えば、閾値制御部５０２は、当該サブバンドの微小スペクトル除去閾値を０．２５に設定する。

一方、閾値制御部５０２は、例えば、全サブバンド最大値の０．５倍未満のサブバンド最大値を有するサブバンドを、聴感的に重要ではないサブバンド（帯域）と判断し、微小スペクトル除去閾値を大きく設定する。例えば、閾値制御部５０２は、当該サブバンドの微小スペクトル除去閾値を０．９５に設定する。

すなわち、閾値制御部５０２は、入力信号の低域部における複数のサブバンドのうち、全サブバンド最大値（各サブバンドのサブバンド最大値の中で最も大きい値）に対する、各サブバンドのサブバンド最大値の比率が所定値（ここでは０．５）以上のサブバンドでは、微小スペクトル除去閾値（ハーモニクス強調部５０３において正規化低域スペクトルを残すか除去するかを判定するための閾値）を小さく設定し、複数のサブバンドのうち、全サブバンド最大値に対する、各サブバンドのサブバンド最大値の比率が所定値（ここでは０．５）未満のサブバンドでは、微小スペクトル除去閾値を大きく設定する。

これにより、ハーモニクス強調部５０３は、例えばここでは、聴感的に重要なサブバンドでは、サブバンド最大値の０．２５倍以上の振幅を有するスペクトルを残し、サブバンド最大値の０．２５倍未満の振幅を有するスペクトルを除去する。すなわち、聴感的に重要なサブバンドでは、より多くのスペクトルが残る可能性が高い。

一方、ハーモニクス強調部５０３は、例えばここでは、聴感的に重要ではないサブバンドでは、サブバンド最大値の０．９５倍以上の振幅を有するスペクトルを残し、サブバンド最大値の０．９５未満の振幅を有するスペクトルを除去する。すなわち、聴感的に重要ではないサブバンドでは、極少数のスペクトルしか残らない可能性が高い。

このような構成及び動作により、符号化装置５００は、正規化低域スペクトルにおいて、聴感的な重要性が高いサブバンド（帯域）ではスペクトルを多く残し、聴感的に重要性が低いサブバンド（帯域）では少数のスペクトルしか残さない。これにより、ハーモニクス強調することによる明瞭性の高い復号信号を実現できる。さらに、聴感上重要な帯域のスペクトル微細構造を多く残すことにより、より自然な復号信号を実現することができる。

なお、サブバンド最大値が極めて小さい値であり、当該サブバンド最大値に対応するサブバンドが聴感的に無くても構わないサブバンド（帯域）であると判定した場合には、閾値制御部５０２は、微小スペクトル除去閾値を１．０より大きくしてもよい。こうすることで、ハーモニクス強調部５０３は、当該サブバンド内のスペクトル（最大値：１．０）を全て除去することになり、ハーモニクス構造をより強調することができる。

このように、本実施の形態によれば、符号化装置５００は、正規化低域スペクトルのハーモニクス構造を強調する際、各サブバンド内のサブバンド最大値（またはサブバンドエネルギ）を用いて、各サブバンドにおけるハーモニクス強調の程度を適応的に制御する。具体的には、符号化装置５００は、サブバンド最大値がより大きいサブバンド（聴感的に重要なサブバンド）では、スペクトルの微細構造をより多く残すように制御し、サブバンド最大値がより小さいサブバンド（聴感的に重要ではないサブバンド）では、サブバンド最大値に関するスペクトル（つまり、ハーモニクス構造に関わるスペクトル）のみを残すように制御する。

こうすることで、符号化装置５００は、実施の形態２と同様、拡張帯域でもハーモニクス構造を強調することが可能となり、明瞭性の高い高品質な拡張帯域スペクトルを生成することができる。さらに、本実施の形態によれば、聴感的に重要なサブバンド（帯域）のスペクトル微細構造がより詳細に残されるので、より自然な復号信号を得ることができる。

また、本実施の形態によれば、符号化装置５００は、実施の形態１と同様、コア符号化部１０２での符号化によって得られる低域スペクトルが離散的なスペクトルであっても、極端に振幅が大きいスペクトルの発生を抑止して、特性が平坦な正規化低域スペクトルを得ることができる。これにより、実施の形態１と同様、拡張帯域（高域部）において、ピーク性の過度に大きいスペクトルの発生を防ぎ、高品質な拡張帯域スペクトルを生成することができる。

（実施の形態４）
入力信号は、必ずしも拡張帯域スペクトルのエネルギの偏りが小さいとは限らない。例えば、鉄琴を鳴らした音のように拡張帯域スペクトルのエネルギの偏りが大きい信号も存在する。このような入力信号では、サブバンド振幅正規化部１０３にて正規化低域スペクトルを生成するよりも、従来技術であるスペクトルパワーの包絡で正規化を行い、正規化拡張帯域スペクトルを生成する方が高音質化を図ることができる。加えて、一つの入力サンプルの中に、オーケストラのような一般的な音楽の信号とエネルギの偏りの大きい鉄琴の音のような信号とが混在する場合、低域スペクトルの正規化の方法をフレーム毎に判定して切り替える手法を用いることで、高音質化を安定して図ることができる。

実施の形態４では、入力信号の特性をフレーム毎に判定し、その判定結果に応じて、サブバンドに含まれるスペクトルの最大値で正規化を行う手法とスペクトルパワーの包絡で正規化を行う手法とを切替えて正規化拡張帯域スペクトルを生成する構成を説明する。

図１４は、本実施の形態に係る符号化装置７００の構成を示すブロック図である。図１４に示す符号化装置７００において、正規化方法判定部７０１、スペクトル包絡正規化部７０２、スイッチ７０３，７０４以外の構成要素については、実施の形態１の符号化装置１００（図１）内の各構成要素と同一であるため、同一の符号を付し、ここでは説明を省略する。

正規化方法判定部７０１は、コア符号化低域スペクトルを分析して、コア符号化低域スペクトルの正規化にサブバンド振幅正規化部１０３を用いるかスペクトル包絡正規化部７０２を用いるかを判定し、判定の結果を示す判定情報をスイッチ７０３、７０４に出力する。ここでは、判定情報が０を示す場合にサブバンド振幅正規化部１０３が選択され、判定情報が１を示す場合にスペクトル包絡正規化部７０２が選択されたものとする。

正規化方法判定部７０１は、入力されるコア符号化低域スペクトルのピーク性の強さを分析し、ピーク性が所定の閾値より弱い場合にはサブバンド振幅正規化部１０３を選択し、ピーク性が所定の閾値より強い場合にはスペクトル包絡正規化部７０２を選択する。ピーク性の強さは、例えば、サブバンドエネルギの分散値、スペクトルの幾何平均に対する算術平均の比で表されるスペクトルフラットネスメジャー、スペクトル振幅の平均値と標準偏差で規定される閾値を超えるスペクトルの数、などのパラメータと閾値との比較により決定する。

スペクトル包絡正規化部７０２は、コア符号化部１０２から入力されるコア符号化低域スペクトルを正規化して、正規化低域スペクトルを生成する。なお、スペクトル包絡正規化部７０２の構成および動作の詳細については後述する。

スイッチ７０３は、判定情報が０を示す場合にはコア符号化部１０２とサブバンド振幅正規化部１０３とを接続し、判定情報が１を示す場合にはコア符号化部１０２とスペクトル包絡正規化部７０２とを接続する。スイッチ７０４は、判定情報が０を示す場合にはサブバンド振幅正規化部１０３と帯域探索部１０４とを接続し、判定情報が１を示す場合にはスペクトル包絡正規化部７０２と帯域探索部１０４とを接続する。

図１５は、本実施の形態に係る復号装置８００の構成を示すブロック図である。図１５に示す復号装置８００において、正規化方法判定部８０１、スペクトル包絡正規化部８０２、スイッチ８０３，８０４以外の構成要素については、実施の形態１の復号装置２００（図３）内の各構成要素と同一であるため、同一の符号を付し、ここでは説明を省略する。

正規化方法判定部８０１の構成および動作は、図１４に示した正規化方法判定部７０１の構成及び動作と同一であるので、詳細な説明は省略する。正規化方法判定部８０１は、正規化方法判定部７０１と同じ方法を用いることにより、正規化方法判定部７０１で得られる判定情報と同一のものを得ることができる。

スペクトル包絡正規化部８０２は、コア復号部２０２から入力されるコア符号化低域スペクトルを正規化して、正規化低域スペクトルを生成する。なお、スペクトル包絡正規化部８０２の構成および動作は、図１４に示したスペクトル包絡正規化部７０２の構成及び動作（後述する）と同一であるので、詳細な説明は省略する。また、スイッチ８０３，８０４の動作は、それぞれ、図１４に示したスイッチ７０３，７０４の動作と同一であるので、詳細な説明は省略する。

スイッチ８０３は、判定情報が０を示す場合にはコア復号部２０２とサブバンド振幅正規化部２０３とを接続し、判定情報が１を示す場合にはコア復号部２０２とスペクトル包絡正規化部８０２とを接続する。スイッチ８０４は、判定情報が０を示す場合にはサブバンド振幅正規化部２０３と拡張帯域復号部２０４とを接続し、判定情報が１を示す場合にはスペクトル包絡正規化部８０２と拡張帯域復号部２０４とを接続する。

次に、図１６を用いてスペクトル包絡正規化部７０２の構成及び動作を詳細に説明する。図１６に示すスペクトル包絡正規化部７０２は、サブバンド分割部７３１、サブバンドエネルギ算出部７３２、平滑化部７３３およびスペクトル修正部７３４により構成される。

サブバンド分割部７３１は、コア符号化低域スペクトルを複数のサブバンドに分割し、サブバンドエネルギ算出部７３２に出力する。サブバンドエネルギ算出部７３２は、サブバンド毎のコア符号化低域スペクトルのエネルギ（サブバンドエネルギ）を算出し、平滑化部７３３に出力する。平滑化部７３３は、エネルギの変動を滑らかにしてスペクトル包絡を推定するために、サブバンドエネルギを周波数軸上で平滑化を行う。平滑化は、近傍のサブバンドエネルギを利用した加重平均処理、低周波数から高周波数に向けてサブバンドエネルギの自己回帰処理などにより実現される。平滑化部７３３は、このようにして求めた平滑化サブバンドエネルギをスペクトル包絡の推定値とみなし、スペクトル修正部７３４に出力する。スペクトル修正部７３４は、コア符号化低域スペクトルに平滑化サブバンドエネルギの逆数を乗じてコア符号化低域スペクトルからスペクトル包絡成分を取り除き、正規化低域スペクトルを生成して出力する。

なお、本実施の形態では、コア符号化低域スペクトルを分析して判定情報を求めることにより、判定情報を復号装置８００に伝送せずに済む構成について説明したが、本発明はこれに限らず、判定情報を復号装置８００に伝送する構成であっても良い。この場合、復号装置８００で生成できない情報に基づいて判定情報を決定する構成となる。例えば、入力信号スペクトルの高域部を分析し、高域部に含まれるスペクトルのエネルギの偏り、ピーク性の強さなどに基づき判定情報を決定する。

また、本発明は、実施の形態４に、実施形態２で説明したハーモニクス強調部、および実施形態３で説明した閾値制御部を組み合わせる構成であっても良い。

（実施の形態５）
実施の形態１では、帯域探索部１０４において、ラグ候補で表される既定のサンプル値だけシフトした位置を始点となるように相関値算出に用いる候補スペクトルを生成する方法を説明した。

実施の形態５では、ラグ候補が既定のサンプル値のシフト量を表すのではなく、低域部に立っている正規化低域スペクトルの何番目かを示す方法について説明する。図１７は、本実施の形態における帯域探索部１０４の動作の様子を示す図である。

図１７に示すように、ラグ候補（Ｌ０〜Ｌ３）は、ゼロでない正規化低域スペクトルの位置を始点として表す。つまり、ラグ候補番号が一つ増えると、正規化低域スペクトルがゼロとなる位置はスキップされ、その次に現れる正規化低域スペクトルの位置が始点となる。切り出されるスペクトルは、この始点の周波数から、入力拡張帯域スペクトル（拡張帯域の全帯域または一部の帯域）の帯域幅と同じ帯域幅に含まれるものである。切り出されたスペクトルは、相関値算出の候補スペクトルとして相関値算出部１０４ａに出力される。

これにより、ラグ情報に割り振られるビット数が少ない場合であっても、探索範囲を広く設定することができ、かつ少なくとも必ず一つは候補スペクトル内にスペクトルが存在することになる。したがって、スペクトルが全てゼロの候補スペクトルが生成されるという問題を回避することができる。また、候補スペクトル内の低域部に少なくとも一つのスペクトルが存在することになるため、相対的に高域よりは低域の信号エネルギが大きいという音声信号および音楽信号の一般的な特性にも合致し、音質の向上を図ることができる。

図１８は、本実施の形態における拡張帯域復号部２０４の動作の様子を示す図である。本実施の形態では、送られてきたラグ情報に従って何番目の正規化低域スペクトルを始点に用いるかを判断し、この始点から拡張帯域スペクトルの帯域幅に含まれる正規化低域スペクトルを拡張帯域スペクトル（ゲイン乗算前）として生成する。図１８の例では、ラグ情報Ｌ２が得られているため、ｆ１１の正規化低域スペクトルの位置する周波数が始点として用いられている。

（実施の形態６）
上記実施の形態では、入力信号を２０ミリ秒程度のフレームに分割し、各フレームのスペクトルを低域スペクトルと拡張帯域スペクトルとに分割し、低域スペクトルと拡張帯域スペクトルのそれぞれで異なる符号化方式を用いて符号化処理を行っている。この場合、拡張帯域部に割り当てられるビット数はどのような符号化方式を用いるかで決まり、ここに固定ビットレートの方式を用いた場合にはビット数は一定となる。これは、拡張帯域スペクトルのエネルギが非常に小さい場合においても常に一定のビットが消費されることを意味し、ビット配分が非効率的となる場合がある。

一方で、従来技術のように、入力信号スペクトルの全帯域をコア符号化部のような変換符号化にて符号化処理を行う場合を考える。

図１９は、入力信号スペクトルの複数のサブバンド分割を示す図である。

図１９に示すように、変換符号化では、入力信号スペクトルを複数のサブバンドに分割し、それぞれのサブバンドのエネルギ（サブバンドエネルギ）に応じてビットを割り振るのが一般的である。具体的には、サブバンドエネルギの大きいサブバンドほど多くビットを割り当て、サブバンドエネルギの小さいサブバンドにはビットを少なく割り当てる。図１９では、サブバンドの幅を低域ほど狭く、高域に行くに従いサブバンド幅が広くなる構成を採っている。これは、人間の聴感特性をモデル化した臨界帯域幅に関連付けられており、低域ほど音質にとって重要であると考えられるため、低域のサブバンド幅を狭くし、ビットを重点的に割り当てることで、品質良く符号化するという企図があるためである。

このようなサブバンド構成において入力信号スペクトルに対し変換符号化処理を行った場合、拡張帯域スペクトルの特性によっては、拡張帯域部に多くのビットが割り振られる場合が生じる。この場合、拡張帯域部のサブバンド幅が広いため、ビットが多く割り振られても、拡張帯域スペクトルを表現するために立てられるパルス数は少ない。また、拡張帯域部に多くビットが割り振られることで低域部に割り振られるビットは少なくなるため、結果として音質の劣化を引き起こしてしまう。

そこで本実施の形態では、入力信号スペクトルの符号化を変換符号化で行った際に拡張帯域部にビットが多く割り振られる場合には、拡張帯域スペクトルに対して拡張帯域符号化部で符号化を行い、低域スペクトルに対しては変換符号化処理を行う。逆に、入力信号スペクトルの符号化を変換符号化で行った際に拡張帯域部に割り振られるビットが少ない場合には、入力信号スペクトルの全帯域を変換符号化にて符号化処理を行う。このような符号化方式の切り替えをフレーム単位で行う。

本実施の形態では、次のような効果が得られる。入力信号スペクトルの符号化を変換符号化で行った際に拡張帯域部に割り振られるビットが多い場合、拡張帯域スペクトルの符号化を拡張帯域符号化部に切替え、少ないビット数で効率良く符号化を行うことにより、全帯域を変換符号化した場合に拡張帯域で消費されるビット数よりも少ないビット数で拡張帯域を符号化することができ、そこで生じた余剰ビットを低域部に再配分する。これにより、低域部で生じるノイズ感を低減し、同時に拡張帯域符号化により帯域感を保持することで、高音質化を図ることができる。

本実施の形態では、入力信号スペクトルを全てコアレイヤ符号化部で符号化する場合に拡張帯域のサブバンドに割り当てられる総ビット数と、拡張帯域スペクトルを拡張帯域符号化部で符号化する際に消費するビット数とを比較する構成を例に説明を行う。以下にその詳細を説明する。

図２０は、実施の形態６に係る符号化装置９００の構成を示すブロック図である。図２０において、図１と重複する構成要素については同一の記号を付し、その説明を省略する。

本実施の形態では、入力信号スペクトルの符号化を全て変換符号化部９０４で行う場合（以下、変換符号化モードと呼ぶ）と、実施の形態１のようにコア符号化部１０２と拡張帯域符号化部１０６とを組み合わせて行う場合（以下、拡張符号化モードと呼ぶ）とで切り替える構成になっている。以下で、各構成要素の動作を詳細に説明する。

時間−周波数変換部９０１は、入力される時間領域の入力信号（音声信号または／および音楽信号）を周波数領域の信号に変換し、得られる入力信号スペクトルをモード判定部９０２、ビット配分決定部９０３および変換符号化部９０４に出力する、あるいは、モード判定部９０２、ビット配分決定部９０５およびコア符号化部１０２に出力する。なお、ここでは、時間−周波数変換部９０１での時間−周波数変換処理として、ＭＤＣＴ変換を前提に説明する。しかし、時間−周波数変化部は、時間領域から周波数領域へ変換するＦＦＴ（Fast Fourier Transform）、ＤＣＴ（Discrete Cosine Transform）等の直交変換を用いてもよい。

モード判定部９０２は、時間−周波数変換部９０１から入力された入力信号スペクトルを用いて、入力信号スペクトルの符号化モードをフレーム毎に判定する。判定した情報をモード判定情報としてスイッチ９０７、スイッチ９０８および多重化部９０６に出力する。その動作の詳細は後述する。

スイッチ９０７は、モード判定部９０２から入力されたモード判定情報を用いて、符号化モードの切り替えを行う。モード判定情報が０を示す場合には、時間−周波数変換部９０１と変換符号化部９０４を接続し、モード判定情報が１を示す場合には、時間−周波数変換部９０１とコア符号化部１０２を接続する。

モード判定情報が０を示す場合、ビット配分決定部９０３は、時間−周波数変換部９０１から入力された入力信号スペクトルを用いて、入力信号スペクトルの各サブバンドに対して何ビット配分するかを表す情報（ビット配分情報）を、変換符号化部９０４に出力する。ビット配分決定部９０３の詳細な説明は後述する。

変換符号化部９０４は、時間−周波数変換部９０１から入力する入力信号スペクトルに対し、ビット配分決定部９０３より入力されるビット配分情報に基づき変換符号化処理を行い、変換符号化データを生成する。そして、変換符号化部９０４は、変換符号化データを多重化部９０６に出力する。

モード判定情報が１を示す場合、拡張符号化モードが動作する。まずビット配分決定部９０５は、時間−周波数変換部９０１から入力された入力信号スペクトルを用いて、低域スペクトルの各サブバンドおよび拡張帯域符号化部１０６に対して何ビット配分するかを表す情報（ビット配分情報）を、コア符号化部１０２および拡張帯域符号化部１０６に出力する。ビット配分決定部９０５の詳細な説明は後述する。その後、ビット配分決定部９０５から出力されたビット配分情報と時間−周波数変換部９０１から入力する入力信号スペクトルとを用いて、低域スペクトルの符号化をコア符号化部１０２にて行い、同じくビット配分決定部９０５から出力されたビット配分情報と時間−周波数変換部９０１から入力する入力信号スペクトルとを用いて、拡張帯域スペクトルの符号化を拡張帯域符号化部１０６にて行う。

スイッチ９０８はスイッチ９０７と連動して、モード判定部９０２から入力するモード判定情報が０の場合は変換符号化部９０４と多重化部９０６を接続し、モード判定情報が１の場合は、コア符号化部１０２と多重化部９０６を接続する。

多重化部９０６は、変換符号化部９０４から入力する変換符号化データとモード判定部９０２から入力するモード判定情報とを多重化する、あるいは、コア符号化部１０２から入力するコア符号化データと拡張帯域符号化部１０６から入力する拡張帯域符号化データとモード判定部９０２から入力するモード判定情報とを多重化し、符号化データとして出力する。

次に、ビット配分決定部９０３とビット配分決定部９０５の詳細な説明を行う。

ここで、ビット配分決定部９０３は、入力信号スペクトルのうちエネルギの大きなサブバンドにはビットを多く、エネルギの小さなサブバンドにはビットを少なく割り当てる。例えば、式（３）のように各サブバンドに対しビットを割り当てる。

ここで、Ｂsubは各サブバンドへの割り当てビット数、Ｎは入力信号スペクトルの総サブバンド数、Ｂtotalは入力信号スペクトルの符号化に割り当てることができる総ビット数、Ｅは各サブバンドにおけるエネルギ、ｊはサブバンドを示すインデックスを表す。

このように、サブバンドエネルギの平均値に対する各サブバンドのエネルギの大きさに応じて各サブバンドに配分されるビット数が決定され、サブバンドエネルギの大きいサブバンドには多くのビットが配分され、サブバンドエネルギの小さいサブバンドには少ないビットが配分される。

一方で、ビット配分決定部９０５は、入力信号の低域スペクトルの各サブバンドと拡張帯域符号化部１０６とにビットを割り当てる。

低域スペクトルの各サブバンドへのビット配分は、ビット配分決定部９０３と同様にして行われる。例えば、式（４）のようにビット配分を行う。

ここで、Ｓは低域スペクトルの総サブバンド数、Ｂ_ＳＷＢは拡張帯域符号化部１０６に割り当てられるビット数を表す。

なお、式（３）および式（４）において、各サブバンドに割り振られるビットの値が負になった場合は、当該サブバンドに割り振られるビット数を強制的に０とする。

拡張帯域符号化部１０６に割り当てられるビット数Ｂ_ＳＷＢはあらかじめ設計された値を用いる。例えば、符号化に使える総ビット数が１２ｋｂｐｓで、そのうちコア符号化部１０２に割り当てられるのが１０ｋｂｐｓの場合、拡張帯域符号化部１０６に充当されるのは２ｋｂｐｓである。例えばフレーム長が２０ミリ秒であった場合は、１フレームで拡張帯域符号化部１０６に割り振られるビット数Ｂ_ＳＷＢは、２０００×０．０２＝４０ｂｉｔｓとなる。

次に、モード判定部９０２の詳細について、図２１を用いて説明する。

図２１は、モード判定部９０２の構成を示す図である。

モード判定部９０２では、入力信号スペクトルに対する各符号化モードにおいて拡張帯域スペクトルの符号化に必要なビットを算出し、それぞれの消費ビット数を比較することで判定を行う。

ビット数１算出部１００１では、変換符号化モードにおいて拡張帯域部に配分される総ビット数を算出する。まず、入力信号スペクトルの各サブバンドに対してビットを配分する。この際のビット配分は、ビット配分決定部９０３と同様にして行うため、その説明を省略する。各サブバンドに配分されたビットのうち、拡張帯域部のサブバンドに割り当てられた総ビット数を算出し、ビット数１として消費ビット数比較部１００２へ出力する。

消費ビット数比較部１００２では、ビット数１算出部１００１で求められた拡張帯域部のサブバンドに割り当てられる総ビット数と、拡張符号化モードにおける拡張帯域符号化部の消費ビット数ＢＳＷＢを比較し、その結果をモード判定情報として出力する。例えば、ビット数１＞ＢＳＷＢである場合はモード判定情報を「１」、それ以外であればモード判定情報を「０」として、スイッチ９０７、スイッチ９０８および多重化部９０６に出力する。

次に、本実施の形態の復号装置について説明する。図２２は本実施の形態の復号装置１０１０の構成を示すブロック図である。図２２において、図３と重複する構成要素については同一の記号を付し、その説明を省略する。

分離部１０１１は、入力される符号化データを、モード判定情報と変換符号化データとに分離する、あるいは、分離部１０１１は、モード判定情報とコア符号化データと拡張帯域符号化データとに分離する。分離部１０１１は、モード判定情報をスイッチ１０１２、スイッチ１０１３およびスイッチ１０１４に出力する。また、モード判定情報が０の場合は変換符号化データを変換符号化復号部１０１５に出力し、モード判定情報が１の場合はコア符号化データをコア復号部２０２に出力し、さらにモード判定情報が１の場合は拡張帯域符号化データを拡張帯域復号部２０４に出力する。

スイッチ１０１２は、分離部１０１１から入力されたモード判定情報が０の場合には分離部１０１１と変換符号化復号部１０１５とを接続し、モード判定情報が１の場合には分離部１０１１とコア復号部２０２とを接続する。

スイッチ１０１３は、スイッチ１０１２と連動して、分離部１０１１から入力されたモード判定情報が０の場合には、分離部１０１１と拡張帯域復号部２０４とを接続せず、モード判定情報が１の場合には、分離部１０１１と拡張帯域復号部２０４とを接続する。

変換符号化復号部１０１５は、分離部１０１１から入力する変換符号化データに対して復号処理を行って変換符号化スペクトルを生成し、変換符号化スペクトルをスイッチ１０１４へ出力する。

コア復号部２０２は、分離部１０１１から入力するコア符号化データに対して復号処理を行ってコア符号化低域スペクトルを生成し、コア符号化低域スペクトルを、サブバンド振幅正規化部２０３および合成部１０１６へ出力する。

拡張帯域復号部２０４は、モード判定情報が１の場合に、分離部１０１１から入力する拡張帯域符号化データとサブバンド振幅正規化部２０３から入力する正規化低域スペクトルとを用いて復号処理を行って拡張帯域スペクトルを生成し、拡張帯域スペクトルを合成部１０１６へ出力する。

合成部１０１６は、コア復号部２０２から入力するコア符号化低域スペクトルと拡張帯域復号部２０４から入力する拡張帯域スペクトルとを合成して合成スペクトルを生成し、合成スペクトルをスイッチ１０１４へ出力する。

スイッチ１０１４は、スイッチ１０１２と連動して、分離部１０１１から入力されたモード判定情報が０の場合には変換符号化復号部１０１５と周波数−時間変換部２０５とを接続し、モード判定情報が１の場合には、合成部１０１６と周波数−時間変換部２０５とを接続する。

周波数−時間変換部２０５は、変換符号化復号部１０１５から入力する変換符号化スペクトルあるいは合成部１０１６から入力する合成スペクトルを直交変換して、時間領域の信号に変換して出力信号として出力する。

以上の構成および動作により、符号化装置（図２０）は拡張帯域スペクトルの特性に応じて、より少ないビット数で拡張帯域スペクトルの符号化を行うように入力信号スペクトルの符号化方法を切替える。これにより、低域スペクトルに対し多くのビットを割り当てることができるようになるため、音質の向上を実現することができる。

（実施の形態７）
図２０の符号化装置では、拡張帯域スペクトルの符号化を少ないビット数を用いて行う符号化方法を選択し、低域部に多くのビットを割り振ることで音質の向上を実現した。しかしながら、低ビットレートにおける符号化の場合、より少ないビット消費量で行われる拡張帯域スペクトルの符号化方法を選択したとしても、低域部へのビット配分増加量は非常に少ない。よって低域部の音質を少ないビットで改善するためには、低域部に対して効率的なビット配分を行う必要がある。

そこで本実施の形態では、拡張帯域スペクトルの符号化に適用される符号化方法の切り替えに伴って、入力信号スペクトルに対するビット配分の方法を切替える構成を採る。具体的には、変換符号化モードの場合には、帯域感のある音質を実現するため、広範な帯域にビットが配置されるようビット配分を行う。

一方で、拡張符号化モードの場合には、低域部スペクトルのサブバンドのうちエネルギが大きいサブバンドに限定してビットを配分する。エネルギが大きいサブバンドにビット配分を限定することで、コア符号化部における低域部のノイズ感を低減することができる。

このとき、変換符号化モードの際もエネルギが大きいサブバンドにビット配分を限定することで、低域部のノイズ感を低減することができるが、その場合は拡張帯域符号化部のサブバンドに割り振るビットが少なくなるために帯域感が損失してしまう。しかしながら、拡張符号化モードの場合は、低域スペクトルのうちエネルギが大きいサブバンドにビット配分を絞ったとしても、拡張帯域符号化部によって拡張帯域スペクトルを高品質に生成することができることから、帯域感損失の問題を回避できる。同時に、拡張帯域符号化部を適用したことにより生じた余剰ビットを低域部に割り振るので、低域部で生じるノイズ感の低減を図ることができる。

よって本実施の形態に依れば、ノイズ感が抑えられ、かつ帯域感のある音質を実現することができる。

本実施の形態における符号化装置は、実施の形態６における符号化装置（図２０）と同様の構成を採る。よって、図２０と重複する構成要素については同一の記号を付し、その説明を省略する。しかしながら、ビット配分決定部９０３、ビット配分決定部９０４は、それぞれ実施の形態６とは異なる動作を行うため、以下にその詳細を説明する。

ビット配分決定部９０３は、入力信号スペクトルのうちエネルギの大きなサブバンドにはビットを多く、エネルギの小さなサブバンドにはビットを少なく割り当てるが、帯域感の損失を防ぐため、なるべく入力信号スペクトルの全体に渡って広くビットが配置されるようビット配分を行う。例えば、式（５）のように各サブバンドへのビット配分を行う。

ここで、Ｂsubは各サブバンドへの割り当てビット数、Ｎは入力信号スペクトルの総サブバンド数、Ｂtotalは各サブバンドに割り当てることができる総ビット数、ｊはサブバンドを表すインデックスを表す。

なお、式（５）において、各サブバンドに割り振られるビットの値が負になった場合は、当該サブバンドに割り振られるビット数を強制的に０とする。

これに対し、ビット配分決定部９０５は、入力信号の低域スペクトルのみにビットを配置する。しかしここでは、低域部のノイズ感を低減させるため、エネルギの大きなサブバンドに絞り、ビットを集中的に配置する。例えば、式（６）のように各サブバンドへのビット配分を行う。

ここで、Ｓは低域スペクトルの総サブバンド数、Ｅは各サブバンドにおけるエネルギを表す。（６）式においては、サブバンドエネルギの大きさによって適応的に各サブバンドへのビット配分を調整しており、サブバンドエネルギの幾何平均値未満のエネルギを持つサブバンドへのビット配分は、強制的に０にする。つまり、幾何平均値以上のサブバンドエネルギを持つ、エネルギの大きなサブバンドに集中的にビットを配分している。

なお、式（６）において、小さなサブバンドエネルギを持つサブバンドに割り当てるビットを強制的に０にすることで余ったビットＢrestは、更にサブバンドエネルギの大きさに従って再配分される。例えば、式（７）のように再配分される。

ここで、Ｂ’sub[i]は各サブバンドに再配分される追加分のビット数、Мは式（６）においてビットが配分されたサブバンドの総数、ｉは再配分されるサブバンドのインデックスを表す。

本実施の形態の復号装置は、実施の形態６における復号装置（図２２）と同様の構成および動作のため、説明を省略する。

このような構成および動作により、本実施の形態の符号化装置は、入力信号の拡張帯域スペクトルの特徴に応じて符号化モードを切り替え、それに伴って入力信号スペクトルに対するビット配分を切替えることで、ノイズ感を抑え、かつ帯域感のある音質を実現することができる。

（実施の形態８）
実施の形態４では、入力信号の特性をフレーム毎に判定し、その判定結果に応じて、サブバンドに含まれるスペクトルの最大値で正規化を行う手法とスペクトルパワーの包絡で正規化を行う手法とを切替えて正規化拡張帯域スペクトルを生成する構成について説明した。本実施形態では、スペクトルパワーの包絡で正規化を行う際に、スペクトルの過渡なピークに起因する異音の発生を回避するため、乱数に基づいてい生成されるノイズをコア符号化低域スペクトルに付加する処理、および、生成される正規化低域スペクトルに対するクリッピング処理の少なくとも一方を用いる構成について説明する。

なお、本実施の形態に係る符号化装置及び復号装置は、実施の形態４に係る符号化装置７００及び復号装置８００と基本構成が共通するので、図１４，図１５を援用して説明する。ただし、本実施の形態では、実施の形態４に係る符号化装置７００のスペクトル包絡正規化部７０２の処理とは一部に相違点があり、それを示すために「スペクトル包絡正規化部７０２ａ」と表す。同様に、本実施の形態では、実施の形態４に係る復号装置８００のスペクトル包絡正規化部８０２の処理とは一部に相違点があり、それを示すために「スペクトル包絡正規化部８０２ａ」と表す。また、スペクトル包絡正規化部８０２ａの構成及び動作は、スペクトル包絡正規化部７０２ａの構成及び動作（後述する）と同一であるので、詳細な説明は省略する。

図２３を用いて本実施形態に係るスペクトル包絡正規化部７０２ａの構成及び動作を詳細に説明する。図２３において図１６と同一の構成要素については同一の符号を付し、ここでは説明を省略する。具体的には、図２３に示すスペクトル包絡正規化部７０２ａは、図１６に示すスペクトル包絡正規化部７０２の構成要素に加え、ノイズ付加部７４１及びクリッピング部７４２を有する。

ノイズ付加部７４１には、サブバンド分割部７３１によりサブバンドに分割されたコア符号化低域スペクトルが入力される。ノイズ付加部７４１は、乱数に基づいて生成されるノイズをコア符号化低域スペクトルに付加する。ノイズ付加部７４１は以下の処理をサブバンド毎に行う。例えば、ノイズ付加部７４１は、サブバンド内のコア符号化低域スペクトルがゼロとなる周波数があるか否かを判定し、ゼロとなる周波数がある場合には、乱数に基づいて生成されたノイズを当該周波数に付加する。

この際、ノイズ付加部７４１は、サブバンド内のスペクトルのピークの程度が強いほど、より大きなノイズを付加する。ノイズ付加の具体的な方法の一例として、ノイズ付加部７４１は、サブバンド内のスペクトルがゼロでない範囲を求め、その範囲が大きいほど、より小さなノイズを付加する。また、ノイズ付加部７４１は、サブバンド内のスペクトルの絶対値の最大値が大きいほど、より大きなノイズを付加する。スペクトルがゼロでない範囲及びスペクトルの絶対値の最大値に基づいて付加されるノイズは、例えば式（８）で表される。

ここで、noは付加ノイズを表し、i_fzeroはスペクトルがゼロとなる周波数を示すインデックスを表し、rand_valは-1.0〜1.0の間の乱数を表し、max_peakはサブバンド内のスペクトルの絶対値の最大値を表し、cntはスペクトルがゼロで無い範囲を表す。

ノイズ付加部７４１は、ノイズ付加処理後のコア符号化低域スペクトルを、サブバンドエネルギ算出部７３２に出力する。

クリッピング部７４２は、スペクトル修正部７３４より出力されるスペクトル（正規化低域スペクトル）に対しクリッピング処理を行う。クリッピング処理とは、所定の閾値と上記スペクトルの絶対値とを比較して、スペクトルの絶対値が閾値を越える場合にスペクトルの振幅値を閾値で置き換える処理のことである。つまり、クリッピング部７４２のクリッピング処理によって、スペクトル修正部７３４より出力されるスペクトルの振幅値は閾値以下になる。

なお、上記所定の閾値はフレーム毎に適応的に決定されてもよい。また、コア符号化低域スペクトルの全帯域またはサブバンド毎にスペクトルの絶対値の平均値を算出し、この平均値に所定の値を乗じた値を閾値として使用してもよい。仮に、上記所定の値として１．０を用いた場合には、スペクトルの絶対値の平均値が閾値となる。また、平均値に乗じる値を適応的に変化させても良い。一例として、コア符号化低域スペクトルの全帯域またはサブバンド毎のスペクトルの振幅の絶対値の総和に対する、全帯域またはサブバンド毎のスペクトルの絶対値の最大値の比を求め、この比が大きい場合には平均値に乗じる値を大きくし、この比が小さい場合には平均値に乗じる値を小さくする構成であっても良い。

このように、本実施の形態によれば、スペクトルパワーの包絡で正規化を行う際、ノイズ付加部７４１がコア符号化低域スペクトルにノイズを付加することにより、または、クリッピング部７４２がスペクトルに対してクリッピング処理を行うことにより、スペクトル包絡正規化部７０２ａにより生成される正規化低域スペクトルのピークの強さを軽減し、過度なピーク性に起因する音質劣化を回避することができる。

以上、本発明の各実施の形態について説明した。

なお、上記実施の形態において、サブバンド振幅正規化部（１０３，２０３，５０１，６０１）は、スペクトルを振幅絶対値で正規化する代わりに、変換符号化によって生成されたスペクトルの振幅を全て統一してもよい。ただし、この場合、スペクトルの極性は保存する。この処理により、処理量の低減を図ることができ、かつ、スペクトル振幅のばらつきが生じないことから異音感の更なる抑圧を図ることができる。

また、上記実施の形態における復号装置は、上記各実施の形態における符号化装置から伝送された符号化情報を用いて処理を行うとしたが、本発明はこれに限定されず、必要なパラメータまたはデータを含む符号化情報であれば、必ずしも上記各実施の形態における符号化装置からの符号化情報でなくても処理は可能である。

また、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

また、信号処理プログラムを、メモリ、ディスク、テープ、ＣＤ、ＤＶＤ等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用および効果を得ることができる。

また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、または、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２０１１年９月９日出願の特願２０１１−１９７２９５、２０１１年１２月２１日出願の特願２０１１−２７９６２３、２０１２年１月３１日出願の特願２０１２−０１９００４および２０１２年３月３０日出願の特願２０１２−０７９６８２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明は、低域部のスペクトルを用いて拡張帯域のスペクトルを符号化する際に、復号信号の品質を向上することができ、例えば、パケット通信システム、移動通信システムなどに適用できる。

１００、３００、５００、７００、９００ 符号化装置
１０１、９０１ 時間−周波数変換部
１０２ コア符号化部
１０３、２０３、５０１、６０１ サブバンド振幅正規化部
１０４ 帯域探索部
１０５ ゲイン算出部
１０６ 拡張帯域符号化部
１０７、９０６ 多重化部
１３１ サブバンド分割部
１３２ 最大値探索部
１３３ 振幅正規化部
２００、４００、６００、８００、１０１０ 復号装置
２０１、１０１１ 分離部
２０２ コア復号部
２０４ 拡張帯域復号部
２０５ 周波数−時間変換部
３０１、４０１、５０３、６０３ ハーモニクス強調部
５０２、６０２ 閾値制御部
７０１、８０１ 正規化方法判定部
７０２、７０２ａ、８０２、８０２ａ スペクトル包絡正規化部
７３１ サブバンド分割部
７３２ サブバンドエネルギ算出部
７３３ 平滑化部
７３４ スペクトル修正部
９０２ モード判定部
９０３、９０５ ビット配分決定部
９０４ 変換符号化部
９０７、９０８ スイッチ
１０１５ 変換符号化復号部

Claims (14)

1. 音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して、第１の符号化データを生成する第１符号化手段と、
   前記第１の符号化データを復号して得られる第１のスペクトルを複数のサブバンドに分割し、前記複数のサブバンドにおいて各サブバンド内の振幅の最大値でそれぞれ正規化して、前記低域部の正規化スペクトルを生成する正規化手段と、
   前記入力信号の前記所定周波数より高い高域部のスペクトルである第２のスペクトルと、前記低域部の正規化スペクトルとの間で相関値が最大となる特定の帯域を探索する帯域探索手段と、
   前記特定の帯域の前記正規化スペクトルを前記高域部に写して得られるスペクトルである第３のスペクトルと、前記第２のスペクトルとの間のゲインを算出するゲイン算出手段と、
   前記特定の帯域を示す情報と前記ゲインを示す情報とをそれぞれ符号化して、第２の符号化データを生成する第２の符号化手段と、
   を具備する、
   符号化装置。
2. 前記正規化スペクトルのハーモニクス構造を強調する強調手段、を更に具備し、
   前記帯域探索手段は、ハーモニクス構造が強調された前記正規化スペクトルと、前記第２のスペクトルとを用いて、前記特定の帯域を探索し、
   前記強調手段は、前記低域部内の前記正規化スペクトルのうち、各サブバンドの前記振幅最大値に対して、所定の比率以上の振幅を持つスペクトルを残し、前記所定の比率以上の振幅を持つスペクトル以外のスペクトルを抑圧もしくは除去する、
   請求項１記載の符号化装置。
3. 前記複数のサブバンドのうちで振幅の最大値を探索し、探索した最大値に対して、各サブバンドの前記振幅の最大値の比率が所定値以上のサブバンドでは、前記強調手段において前記正規化スペクトルを残すか除去するかを判定するための閾値を小さく設定し、前記複数のサブバンドのうち、前記比率が前記所定値未満のサブバンドでは、前記閾値を大きく設定する閾値制御手段、をさらに具備し、
   前記強調手段は、各サブバンドに含まれる前記正規化スペクトルのうち、各サブバンドに設定された前記閾値以上の振幅を有するスペクトルを残し、各サブバンドに設定された前記閾値未満の振幅を有するスペクトルを抑圧もしくは除去する、
   請求項２記載の符号化装置。
4. 前記第１のスペクトルを正規化して、正規化スペクトルを生成する第２の正規化手段と、
   前記第１のスペクトルを分析して判定情報を得る判定手段と、をさらに具備し、
   前記第２の正規化手段は、
   前記低域部を分割して得られる複数のサブバンドのそれぞれのエネルギを求め、
   前記サブバンドエネルギを平滑化して平滑化サブバンドエネルギを求め、
   前記平滑化サブバンドエネルギで前記第１のスペクトルを正規化して正規化スペクトルを生成し、
   前記判定手段は、
   前記第１のスペクトルのスペクトルを分析して前記第１のスペクトルの特徴量を求め、
   前記特徴量に応じて前記正規化手段または前記第２の正規化手段のいずれかを選択し、
   前記選択された正規化手段を用いて前記第１のスペクトルを正規化して、正規化スペクトルを生成する、
   請求項１記載の符号化装置。
5. 前記第２の正規化手段は、
   乱数に基づいて生成されるノイズを前記第１のスペクトルに付加する付加手段、をさらに具備する、
   請求項４記載の符号化装置。
6. 前記第２の正規化手段は、
   前記正規化スペクトルに対してクリッピング処理を行うクリッピング手段、をさらに具備する、
   請求項４記載の符号化装置。
7. 前記帯域探索手段は、前記正規化スペクトルの振幅値が非零である位置を始点にした帯域の複数の候補の中から相関値が最大となる特定の帯域を探索する、
   請求項１記載の符号化装置。
8. 符号化装置において音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して生成された第１の符号化データを入力して復号し、第１のスペクトルを生成する第１の復号手段と、
   前記第１のスペクトルを複数のサブバンドに分割し、複数のサブバンドにおいてサブバンド内の振幅の最大値でそれぞれ正規化して、前記低域部の正規化スペクトルを生成する正規化手段と、
   前記正規化スペクトル、および、前記符号化装置で生成された第２の符号化データを入力して復号し、第２のスペクトルを生成する第２の復号手段と、
   を具備し、
   前記第２の符号化データは、
   前記符号化装置における前記入力信号の前記所定周波数より高い高域部のスペクトルである符号化側第１スペクトルと前記符号化装置において前記第１の符号化データを復号して生成されたスペクトルを正規化した符号化側第２スペクトルとの間で相関値が最大となる特定の帯域を示す情報、および、
   前記特定の帯域の前記符号化側第２スペクトルを前記高域部に写して得られたスペクトルである符号化側第３のスペクトルと前記符号化側第１スペクトルとの間で算出されたゲインを示す情報、
   を含む、
   復号装置。
9. 前記正規化スペクトルのハーモニクス構造を強調する強調手段、を更に具備し、
   前記第２の復号手段は、ハーモニクス構造が強調された前記正規化スペクトル、および、前記第２の符号化データを入力して復号し、第２のスペクトルを生成し、
   前記強調手段は、前記低域部内の前記正規化スペクトルのうち、各サブバンドの前記振幅最大値に対して、所定の比率以上の振幅を持つスペクトルを残し、前記所定の比率以上の振幅を持つスペクトル以外のスペクトルを抑圧もしくは除去する、
   請求項８記載の復号装置。
10. 前記複数のサブバンドのうちで振幅の最大値を探索し、探索した最大値に対して、各サブバンドの前記振幅の最大値の比率が所定値以上のサブバンドでは、前記強調手段において前記正規化スペクトルを残すか除去するかを判定するための閾値を小さく設定し、前記複数のサブバンドのうち、前記比率が前記所定値未満のサブバンドでは、前記閾値を大きく設定する閾値制御手段、をさらに具備し、
    前記強調手段は、各サブバンドに含まれる前記正規化スペクトルのうち、各サブバンドに設定された前記閾値以上の振幅を有するスペクトルを残し、各サブバンドに設定された前記閾値未満の振幅を有するスペクトルを抑圧もしくは除去する、
    請求項９記載の復号装置。
11. 前記第１のスペクトルを正規化して、正規化スペクトルを生成する第２の正規化手段と、
    前記第１のスペクトルを分析して判定情報を得る判定手段と、をさらに具備し、
    前記第２の正規化手段は、
    前記低域部を分割して得られる複数のサブバンドのそれぞれのエネルギを求め、
    前記サブバンドエネルギを平滑化して平滑化サブバンドエネルギを求め、
    前記平滑化サブバンドエネルギで前記第１のスペクトルを正規化して正規化スペクトルを生成し、
    前記判定手段は、
    前記第１のスペクトルのスペクトルを分析して前記第１のスペクトルの特徴量を求め、
    前記特徴量に応じて前記正規化手段または前記第２の正規化手段のいずれかを選択し、
    前記選択された正規化手段を用いて前記第１のスペクトルを正規化して、正規化スペクトルを生成する、
    請求項８記載の復号装置。
12. 前記第２の復号手段は、前記正規化スペクトルの振幅値が非零である位置を始点にした帯域の複数の候補の中から相関値が最大となる特定の帯域を探索する、
    請求項８記載の復号装置。
13. 音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して、第１の符号化データを生成する第１符号化ステップと、
    前記第１の符号化データを復号して得られる第１のスペクトルを複数のサブバンドに分割し、前記複数のサブバンドにおいて各サブバンド内の振幅の最大値でそれぞれ正規化して、前記低域部の正規化スペクトルを生成する正規化ステップと、
    前記入力信号の前記所定周波数より高い高域部のスペクトルである第２のスペクトルと前記正規化スペクトルとの間で相関値が最大となる特定の帯域を探索する帯域探索ステップと、
    前記特定の帯域の前記正規化スペクトルを前記高域部に写して得られるスペクトルである第３のスペクトルと、前記第２のスペクトルとの間のゲインを算出するゲイン算出ステップと、
    前記特定の帯域を示す情報と前記ゲインを示す情報とをそれぞれ符号化して、第２の符号化データを生成する第２の符号化ステップと、
    を具備する、
    符号化方法。
14. 符号化装置において音声信号または／および音楽信号である入力信号の所定周波数以下の低域部を符号化して生成された第１の符号化データを入力して復号し、第１のスペクトルを生成する第１の復号ステップと、
    前記第１のスペクトルを複数のサブバンドに分割し、前記複数のサブバンドにおいて各サブバンド内の振幅の最大値でそれぞれ正規化して、前記低域部の正規化スペクトルを生成する正規化ステップと、
    前記正規化スペクトル、および、前記符号化装置で生成された第２の符号化データを入力して復号し、第２のスペクトルを生成する第２の復号ステップと、
    を具備し、
    前記第２の符号化データは、
    前記符号化装置における前記入力信号の前記所定周波数より高い高域部のスペクトルである符号化側第１スペクトルと前記符号化装置において前記第１の符号化データを復号して生成されたスペクトルを正規化した符号化側第２スペクトルとの間で相関値が最大となる特定の帯域を示す情報、および、
    前記特定の帯域の前記符号化側第２スペクトルを前記高域部に写して得られたスペクトルである符号化側第３のスペクトルと前記符号化側第１スペクトルとの間で算出されたゲインを示す情報、
    を含む、
    復号方法。

Images