JP4903053B2 - 広帯域符号化装置、広帯域ｌｓｐ予測装置、帯域スケーラブル符号化装置及び広帯域符号化方法 - Google Patents

Description

本発明は、音声信号を帯域スケーラブルに符号化する帯域スケーラブル符号化装置、その一部として動作する広帯域符号化装置、広帯域符号化装置に搭載される広帯域ＬＳＰ（Line Spectrum Pair：線スペクトル対）予測装置、並びにその広帯域符号化装置によって生成された広帯域符号化データ等を復号する帯域スケーラブル復号装置に関する。

信号帯域にスケーラビリティを有するエンベデッド可変レート音声符号化方式は、従来の電話サービスから臨場感のある広帯域音声通信サービスまでをサポートできる音声符号化方式として注目されている。また、スケーラブルな符号化情報は、伝送路上の任意のノードで自由に符号化情報を削減できるので、ＩＰ網に代表されるパケット網を利用した通信における輻輳制御に有効である。このような背景から、ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication standardization sector） ＳＧ１６（Study Group 16）においても、音声信号の帯域スケーラブルなエンベデッド可変レート符号化方式の標準化が行われている。

一方、音声信号の符号化において、ＬＳＰパラメータはスペクトル包絡情報を効率的に表現するパラメータとして広く用いられており、帯域スケーラブル音声符号化においてもＬＳＰパラメータの符号化は、必須要素技術の一つである。

ＬＳＰパラメータに帯域スケーラビリティをもたせる場合、狭帯域信号を分析して得られる狭帯域ＬＳＰパラメータを用いて広帯域ＬＳＰパラメータを予測量子化することになる。そのため、広帯域ＬＳＰパラメータの予測量子化における予測精度や量子化効率は、音声信号の帯域スケーラブル符号化性能に直接的な影響を与える重要指標である。

このような広帯域ＬＳＰパラメータを予測量子化する技術として、符号化した狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータをコードブックマッピングのような非線形予測技術を用いて予測し、その予測結果と実際の広帯域ＬＳＰパラメータとを比較して予測誤差を生成し、生成した予測誤差と符号化した狭帯域ＬＳＰパラメータとを共に伝送する技術が知られている（例えば特許文献１参照）。また、コードブックマッピング等を用いて狭帯域ＬＳＦ（Line Spectral Frequency）パラメータから広帯域ＬＳＦパラメータを予測し、予測残差を符号化する技術も知られている（例えば特許文献２参照）。
特表２００３−５３４５７８号公報 特開平６−１１８９９５号公報

しかしながら、特許文献１には、特許文献２に開示された方法で広帯域ＬＳＰ（ＬＳＦと同義）パラメータを予測し、さらに予測残差を符号化する「概念」は示されているものの、その具体的な記述としては、コードブックマッピング技術を用いるという程度である。

ここで、特許文献２に記載の方法で広帯域ＬＳＰパラメータを予測する場合、その量子化性能は予測性能に依存し、またその予測性能は変換テーブルの大きさや変換テーブルを学習によって作成する際の学習データ等に依存する。大規模な学習データを用いてサイズの大きな変換テーブルを設計すれば、さまざまな狭帯域信号と広帯域信号とを対応付けら
れるので、一般に高い予測性能が得られる。その一方で、実際のアプリケーションにおいて、巨大な学習データを用いて無限大の変換テーブルを作成し使用することは不可能である。従って、現実には、ある程度限られた規模の学習データを用いて、ある程度現実的なサイズの変換テーブルを作成し使用することになる。変換テーブルのサイズはメモリ量以外にも変換処理に要する演算処理量にも関係することから、メモリ量や演算処理量に制約のあるアプリケーション、例えば携帯端末等で使用されるアプリケーションについては、さらに変換テーブルのサイズを小さくしなければならない。そして、変換テーブルのサイズが小さいと、狭帯域信号と広帯域信号との関連付けが限定されるため、広帯域ＬＳＰパラメータの予測性能が低くなる。つまり、この変換テーブルの大きさが十分でなければ、狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータを非線形予測する際の量子化効率が低下してしまい、特に音声信号の特徴が良く現れる低域成分については、非線形予測を行うことによってその品質が却って劣化する場合もある。

このように、特許文献１には、コードブックマッピング技術のみを用いて狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータを予測する場合に生じる技術的課題についての示唆はなく、当然にその解決手段についての思想も開示されていない。つまり、特許文献１に記載の技術に、特許文献２に記載されたようなコードブックマッピング技術をそのまま適用しても、狭帯域ＬＳＰパラメータから広帯域ＬＳＰパラメータを予測する際の量子化効率と予測精度とを確実に改善することはできない。

よって、本発明の目的は、狭帯域ＬＳＰと広帯域ＬＳＰとを対応付けた変換テーブルのサイズを抑えつつ、狭帯域ＬＳＰから広帯域ＬＳＰを高い量子化効率で、かつ、高精度で予測できる広帯域符号化装置等を提供することである。

本発明に係る広帯域符号化装置は、入力された音声信号の量子化狭帯域ＬＳＰを、アップサンプリングによって、当該量子化狭帯域ＬＳＰの情報を有する広帯域の第１ＬＳＰに変換する変換手段と、非線形予測処理によって、前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを用いて広帯域の第２ＬＳＰを予測する予測手段と、前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和を用いて予測広帯域ＬＳＰを生成する生成手段と、前記予測広帯域ＬＳＰと前記音声信号の広帯域ＬＳＰとの間の誤差を最小とする符号化データを求める符号化手段と、を具備する構成を採る。

また、本発明に係る広帯域ＬＳＰ予測装置は、音声信号の量子化狭帯域ＬＳＰから広帯域ＬＳＰを予測する広帯域ＬＳＰ予測装置であって、アップサンプリングによって、前記量子化狭帯域ＬＳＰを当該量子化狭帯域ＬＳＰの情報を有する広帯域の第１ＬＳＰに変換する変換手段と、非線形予測処理によって、前記第１ＬＳＰから広帯域の第２ＬＳＰを予測する予測手段と、前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和を用いて予測広帯域ＬＳＰを生成する生成手段と、を具備する構成を採る。

すなわち、本発明によれば、音声信号の量子化狭帯域ＬＳＰをアップサンプリングして変換した変換広帯域ＬＳＰ（第１ＬＳＰ）と、この変換広帯域ＬＳＰを用いて非線形予測を行った非線形予測結果（第２ＬＳＰ）と、にそれぞれ重み付けを行い、それらの加算結果を用いることにより、量子化狭帯域ＬＳＰから音声信号の広帯域ＬＳＰを予測する。また、この予測によって得られる予測広帯域ＬＳＰと別途入力される広帯域ＬＳＰとの間の誤差を求め、これを最小化することにより広帯域ＬＳＰの符号化を行う。

また、本発明に係る広帯域符号化装置は、周波数軸方向にスケーラビリティを有する符号化データを生成する帯域スケーラブル符号化装置、及びこれに対応する帯域スケーラブル復号装置に搭載される。

本発明によれば、音声信号の帯域スケーラブル符号化において、変換広帯域ＬＳＰや音声信号の広帯域ＬＳＰを表す基準ベクトルである各種コードベクトルを複数含んで構成される各種符号帳のサイズを抑え、かつ、量子化狭帯域ＬＳＰから音声信号の広帯域ＬＳＰを予測する際の量子化効率と予測精度とを共に改善することができる。

以下、本発明に係る実施の形態について、図を適宜参照しながら詳細に説明する。なお、本発明では、音声信号を分析して得られるＬＳＰパラメータを単に「ＬＳＰ」と称する。また、本発明では、「ＬＳＰ」の代わりに「ＩＳＰ（Immittance Spectral Pair）」を使用することもできる。

（実施の形態１）
図１は、本発明の実施の形態１に係る広帯域ＬＳＰ予測装置を具備する広帯域符号化装置１００の主要な構成要素を示すブロック図である。なお、本実施の形態では、広帯域符号化装置１００が帯域スケーラブル符号化装置の一部として使用される場合を例にとって説明する。本実施の形態に係る広帯域ＬＳＰ予測装置、広帯域符号化装置、帯域スケーラブル符号化装置等は、携帯電話等の通信端末装置や基地局装置等に搭載され得るものである。

広帯域符号化装置１００は、狭帯域−広帯域変換部１０１、非線形予測部１０２、増幅器１０３、１０４、１２１、ＬＳＰ予測残差符号帳１１０、加算器１２２、誤差算出部１２３、誤差最小化決定部１２４及び予測係数テーブル１３１を具備する。また、ＬＳＰ予測残差符号帳１１０は、３段階構成の符号帳であり、初段符号帳（ＣＢａ）１１１、第２段符号帳（ＣＢｂ）１１２、加算器１１３、１１５及び第３段符号帳（ＣＢｃ）１１４を具備する。

狭帯域−広帯域変換部１０１は、図示しない狭帯域ＬＳＰ量子化器から入力される音声信号の量子化狭帯域ＬＳＰを例えば次の式（１）等を用いてアップサンプリングして広帯域ＬＳＰに変換し、得られる変換広帯域ＬＳＰを非線形予測部１０２と増幅器１０４とに入力する。

ｆｗ(ｉ)＝０．５×ｆｎ(ｉ) ［ただし、ｉ＝０，…，Ｐｎ−１］
＝０．０ ［ただし、ｉ＝Ｐｎ，…，Ｐｗ−１］ ・・・（１）
式（１）において、ｆｗ(ｉ)は音声信号のｉ次の広帯域ＬＳＰ、ｆｎ(ｉ)は音声信号のｉ次の狭帯域ＬＳＰ、Ｐｎは狭帯域ＬＳＰのＬＳＰ分析次数、Ｐｗは広帯域ＬＳＰのＬＳＰ分析次数をそれぞれ示す（例えば特開平１１−３０９９７号公報参照）。

非線形予測部１０２は、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰを用いて音声信号の広帯域ＬＳＰを非線形予測し、その非線形予測結果を増幅器１０３に入力する。なお、非線形予測部１０２の内部構成及びその動作等については後述する。

増幅器１０３は、非線形予測部１０２から入力される非線形予測結果に対して、後述する予測係数テーブル１３１から通知される重み係数β_１（ベクトル要素毎に値を有する）を乗じて、その乗算結果を加算器１２２に入力する。

増幅器１０４は、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰに、予測係数テーブル１３１から通知される重み係数β_２を乗じて、その乗算結果を加算器１２２に入力する。なお、本実施の形態では、増幅器１０３での乗算結果と増幅器１０４での乗算結果との加算結果が音声信号の広帯域ＬＳＰの予測結果である。

ＬＳＰ予測残差符号帳１１０は、音声信号の広帯域ＬＳＰを予測した予測結果とその音声信号の広帯域ＬＳＰとの残差を表す基準ベクトルであるＬＳＰ予測残差コードベクトルを複数含んで構成される符号帳であって、後述する誤差最小化決定部１２４からの通知に従って、その通知されたＬＳＰ予測残差コードベクトルを生成して増幅器１２１に入力する。

ＣＢａ１１１は、誤差最小化決定部１２４からの通知に従い、通知された初段コードベクトルを加算器１１３に入力する。

ＣＢｂ１１２も、誤差最小化決定部１２４からの通知に従い、通知された第２段コードベクトルを加算器１１３に入力する。

加算器１１３は、ＣＢａ１１１から入力される初段コードベクトルとＣＢｂ１１２から入力される第２段コードベクトルとを加算して、その加算結果を加算器１１５に入力する。

ＣＢｃ１１４は、誤差最小化決定部１２４からの通知に従い、通知された第３段コードベクトルを加算器１１５に入力する。

加算器１１５は、加算器１１３から入力される加算結果とＣＢｃ１１４から入力される第３段コードベクトルとを加算し、その加算結果をＬＳＰ予測残差コードベクトルとして増幅器１２１に入力する。

増幅器１２１は、ＬＳＰ予測残差符号帳１１０から入力されるＬＳＰ予測残差コードベクトルに、予測係数テーブル１３１から指示された重み係数β_４を乗じて、その乗算結果を加算器１２２に入力する。

加算器１２２は、増幅器１０３、１０４、１２１からそれぞれ入力される乗算結果（ベクトル）を加算し、その加算結果を量子化広帯域ＬＳＰ候補として誤差算出部１２３に入力する。また、加算器１２２は、後述する誤差最小化決定部１２４が初段コードベクトル〜第３段コードベクトルと予測係数セットとをそれぞれ決定すると、そのときの加算結果を量子化広帯域ＬＳＰとして広帯域符号化装置１００の外部へ必要に応じて出力する。この外部へ出力された量子化広帯域ＬＳＰは、音声信号を符号化する図示しない他のブロック等での処理に用いられる。

誤差算出部１２３は、量子化ターゲットとなる音声信号の広帯域ＬＳＰと、加算器１２２から入力される加算結果（量子化広帯域ＬＳＰ候補）と、の誤差を算出し、算出した誤差を誤差最小化決定部１２４に入力する。なお、誤差算出部１２３で算出される誤差は、入力されたＬＳＰベクトル間の二乗誤差で良い。また、入力されたＬＳＰベクトルの特徴に応じて重み付けを行なうようにすれば、さらに聴感上の品質を良くすることができる。例えば、ＩＴＵ−Ｔ勧告Ｇ．７２９では、３．２．４章（Quantization of the LSP coefficients）の（２１）式の重み付け二乗誤差（重み付けユークリッド距離）を用いて誤差最小化を行なう。

誤差最小化決定部１２４は、誤差算出部１２３から入力される誤差が最小となる初段コードベクトル〜第３段コードベクトルと予測係数セットとを決定して、決定した初段コードベクトル〜第３段コードベクトルと予測係数セットとを示す符号化データを生成し、生成した符号化データを図示しない無線送信部等に入力する。なお、誤差最小化決定部１２４は、誤差算出部１２３から入力される誤差が最小となる初段コードベクトル〜第３段コードベクトルと予測係数セットとを決定するに際して、ＣＢａ１１１、ＣＢｂ１１２及びＣＢｃ１１４と予測係数テーブル１３１とに対し、その出力を順次変更するように通知する。即ち、誤差最小化決定部１２４は、符号化データで示される初段コードベクトル〜第３段コードベクトルと予測係数セットとを試行錯誤的に決定する。

予測係数テーブル１３１は、増幅器１０３、１０４、１２１に指示する重み係数の組み合わせである予測係数セットを複数格納しており、誤差最小化決定部１２４からの通知に従い、格納している予測係数セットの中から通知された１セットを選択し、選択した予測係数セットに含まれる重み係数を使用するように、増幅器１０３、１０４、１２１にそれぞれ指示する。

なお、広帯域符号化装置１００は、図示しない無線送信部を具備し、音声信号の量子化狭帯域ＬＳＰを所定の方式で符号化した符号化データと、誤差最小化決定部１２４から入力される量子化広帯域ＬＳＰ候補と音声信号の広帯域ＬＳＰとの誤差が最小となる初段コードベクトル〜第３段コードベクトルと予測係数セットとを示す符号化データ即ち量子化広帯域ＬＳＰを構成する符号化データと、を含む無線信号を生成し、生成した無線信号を後述する広帯域復号装置３００を搭載する携帯電話等の通信端末装置に無線送信する。なお、広帯域符号化装置１００から送信された無線信号は、一旦基地局装置に受信され増幅等された後に、広帯域復号装置３００に受信される。

図２は、本実施の形態における非線形予測部１０２の主要な内部構成を示すブロック図である。非線形予測部１０２は、誤差算出部２０１、最小化部２０２、分類用符号帳２１０及び広帯域符号帳２２０を具備する。また、分類用符号帳２１０は、分類用コードベクトル（ＣＶｋ：ｋ＝１〜ｎ）を格納するｎ個の分類用コードベクトル格納部２１１及び選択部２１２を具備する。また、広帯域符号帳２２０は、広帯域コードベクトル（ＣＶｋ’：ｋ＝１〜ｎ）を格納するｎ個の広帯域コードベクトル格納部２２１及び選択部２２２を具備する。ここで、１つの分類用コードベクトル格納部２１１には、１種類のＣＶｋが格納されているものとし、同様に１つの広帯域コードベクトル格納部２２１には、１種類のＣＶｋ’が格納されているものとする。なお、図２では、同様の機能を発揮する複数の構成要素に対してそれぞれ異なる枝番号を付しているが、本明細書では、これらの構成要素について総括的に説明する場合には、その枝番号を省略する。

狭帯域−広帯域変換部１０１は、狭帯域ＬＳＰの次元数を単に広帯域ＬＳＰの次元数に変換するアップサンプリングを行う。このアップサンプリングによれば、広帯域ＬＳＰに狭帯域ＬＳＰの特徴が反映され、変換広帯域ＬＳＰの低域部（狭帯域ＬＳＰが定義される帯域）に元の狭帯域ＬＳＰの特徴が現れる。よって、狭帯域−広帯域変換部１０１で得られる変換広帯域ＬＳＰは、アップサンプリングによって見かけ上広帯域となっているが、音声信号としては実質的に狭帯域のデータのままである。非線形予測部１０２は、この変換広帯域ＬＳＰを、狭帯域用の符号帳（分類用符号帳２１０）及び広帯域用の符号帳（広帯域符号帳２２０）を用いて下記のようにコードブックマッピングによるベクトル量子化を行い、得られるコードベクトルを音声信号の広帯域ＬＳＰの非線形予測結果として出力する。

誤差算出部２０１は、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰと、後述する分類用符号帳２１０から順次入力されるＣＶｋ（ｋ＝１〜ｎ）と、の２乗誤差を逐次算出し、その算出結果を最小化部２０２に入力する。なお、誤差算出部２０１は、ベクトルのユークリッド距離（即ち２乗誤差）を算出しても良いし、ベクトルの重み付けユークリッド距離（即ち重み付け２乗誤差）を算出しても良い。

最小化部２０２は、誤差算出部２０１から変換広帯域ＬＳＰとＣＶｋとの２乗誤差が入力されるごとに、分類用符号帳２１０から誤差算出部２０１にＣＶｋ＋１が入力されるように選択部２１２に対して指示するとともに、ＣＶ１〜ＣＶｎについての２乗誤差を蓄積し、蓄積した中で最小の２乗誤差を示すＣＶｋを特定して、その特定したＣＶｋの「ｋ」を広帯域符号帳２２０における選択部２２２に通知する。

分類用符号帳２１０は、ＣＶｋを複数含んで構成され、最小化部２０２から指示されたＣＶｋを誤差算出部２０１に入力する。

分類用コードベクトル格納部２１１は、変換広帯域ＬＳＰを表す基準ベクトルであるＣＶｋをそれぞれ格納し、選択部２１２によって誤差算出部２０１と接続されたときに、格納するＣＶｋを選択部２１２を介して誤差算出部２０１に入力する。

選択部２１２は、最小化部２０２からの指示に従って、誤差算出部２０１に接続する分類用コードベクトル格納部２１１−１〜２１１−ｎを順次切り替えて、ＣＶ１〜ＣＶｎを順次誤差算出部２０１に入力する。

広帯域符号帳２２０は、ＣＶｋに対応付けされたＣＶｋ’を複数含んで構成され、最小化部２０２からの通知に応じて、最小化部２０２の特定したＣＶｋに対応付けられたＣＶｋ’を非線形予測結果として選出して、その選出した非線形予測結果を増幅器１０３に入
力する。

広帯域コードベクトル格納部２２１は、ＣＶｋそれぞれと対応付けされたＣＶｋ’を複数含んで構成され、後述する選択部２２２によって増幅器１０３と接続されたときに、保持するＣＶｋ’を増幅器１０３に入力する。なお、ＣＶｋとＣＶｋ’との対応付けは、学習データを用いて設計される。具体的には、学習データとなる音声信号から対となる狭帯域スペクトルデータと広帯域スペクトルデータとを生成し、狭帯域スペクトルデータ（又は広帯域スペクトルデータ）をＬＢＧアルゴリズム等によってｎクラスにクラスタリングしてＣＶｋを作成する。そして、各クラスにクラスタリングされたスペクトルデータの対となっている広帯域スペクトルデータ（又は狭帯域スペクトルデータ）の平均値を求めて広帯域のｎクラスのＣＶｋ’を作成することにより、ＣＶｋとＣＶｋ’との対応付けを行う。

選択部２２２は、最小化部２０２からｋを通知されたときに、最小化部２０２の特定したＣＶｋに対応付けされたＣＶｋ’を格納する広帯域コードベクトル格納部２２１と増幅器１０３とを接続する。

このように、本実施の形態では、非線形予測部１０２において、コードブックマッピング技術を用いた非線形予測が行われる。

図３は、本実施の形態に係る広帯域ＬＳＰ予測装置を具備する広帯域復号装置３００の主要な構成要素を示すブロック図である。広帯域復号装置３００は、狭帯域−広帯域変換部１０１、非線形予測部１０２、増幅器１０３、１０４、１２１、ＬＳＰ予測残差符号帳１１０、加算器１２２、予測係数テーブル１３１及びインデックス復号部３２４を具備する。従って、広帯域復号装置３００は、広帯域符号化装置１００の構成要素と同一の構成要素を多く具備するため、本実施の形態では、このような同一の構成要素については、その説明を省略する。

インデックス復号部３２４は、広帯域符号化装置１００から送信された無線信号に含まれる量子化広帯域ＬＳＰを構成する符号化データを受け取り、広帯域復号装置３００におけるＬＳＰ予測残差符号帳１１０のＣＢａ１１１、ＣＢｂ１１２及びＣＢｃ１１４と予測係数テーブル１３１とに対して、これらが出力すべき初段コードベクトル〜第３段コードベクトルや予測係数セットを通知する。

なお、広帯域復号装置３００は、図示しない無線受信部を具備し、この無線受信部において、広帯域符号化装置１００から送信された無線信号を受信し、その無線信号に含まれる音声信号の量子化狭帯域ＬＳＰを示す符号化データ及び量子化広帯域ＬＳＰを構成する符号化データを取り出す。また、広帯域復号装置３００は、図示しない狭帯域ＬＳＰ復号部を具備し、この狭帯域ＬＳＰ復号部において、無線受信部で取り出した音声信号の量子化狭帯域ＬＳＰを復号する。そして、広帯域復号装置３００において、図示しない無線受信部は、その取り出した量子化広帯域ＬＳＰを構成する符号化データをインデックス復号部３２４に入力し、また図示しない狭帯域ＬＳＰ復号部は、復号した音声信号の量子化狭帯域ＬＳＰを狭帯域−広帯域変換部１０１に入力する。

従って、広帯域復号装置３００は、広帯域符号化装置１００と同一の構成要素を具備し、広帯域符号化装置１００によって生成された音声信号の量子化狭帯域ＬＳＰと量子化広帯域ＬＳＰを構成する符号化データとに基づいて、これらの構成要素を動作させることにより、広帯域符号化装置１００の生成した量子化広帯域ＬＳＰと同一の量子化広帯域ＬＳＰを生成することになる。

このように、本実施の形態では、重み係数β_１を乗じた非線形予測結果と重み係数β_２を乗じた変換広帯域ＬＳＰとの和によって音声信号の広帯域ＬＳＰを予測し、またその予測結果と実際の音声信号の広帯域ＬＳＰとの残差を算出してその残差に最も近似するＬＳＰ予測残差コードベクトルを生成する。さらに、本実施の形態では、音声信号の広帯域ＬＳＰの予測結果とＬＳＰ予測残差コードベクトルに重み係数β_４を乗じたベクトルとを加算することにより、量子化広帯域ＬＳＰを生成する。つまり、本実施の形態によれば、従来法のように非線形予測のみ又はアップサンプルのみによって音声信号の広帯域ＬＳＰを予測するのではなく、非線形予測による予測値とアップサンプルによる予測値とを共に最大限に利用する。そのため、本実施の形態によれば、音声信号の量子化狭帯域ＬＳＰから音声信号の広帯域ＬＳＰを予測する場合の予測性能を高めることができ、その結果として、この場合における量子化性能も改善することができる。

また、本実施の形態では、同一フレーム内の互いに類似するこれらの値を同時に考慮しているので、フレーム内相関を利用して予測を行っていることとなり、予測性能を高めることができ、その結果として、この場合における量子化性能も改善することができる。

また、本実施の形態によれば、量子化広帯域ＬＳＰ候補がそれぞれ異なる信号処理によって生成されたベクトルの組み合わせで構成されることから、非線形予測部１０２の予測性能が低い場合でも、予測係数テーブル１３１が増幅器１０３、１０４、１２１に指示する重み係数を適宜調節することにより、量子化広帯域ＬＳＰの予測精度を改善することができる。従って、本実施の形態によれば、非線形予測部１０２の予測性能についての要求条件を緩和することができる。ここで、一般に、非線形予測の予測性能が高いほど、非線形予測に必要なメモリ量や演算処理量は多くなる。そのため、前述のように非線形予測の予測性能についての要求条件が緩和されるということは、そのメモリ量や演算処理量を少なく抑えることができるということである。つまり、本実施の形態によれば、非線形予測部１０２におけるメモリ量や演算処理量に制約がある場合でも、その定められたメモリ量や演算処理量の範囲内で、非線形予測の予測効果を最大限利用することができる。換言すれば、本実施の形態によれば、量子化広帯域ＬＳＰの予測性能を高性能化できると同時に、複数の予測成分及びそれらに乗じる重み係数を自由に設計したり設定したりできるという設計自由度の向上が図られることから、広帯域符号化装置について、誤り耐性と量子化性能とのバランスを任意に設定することができる。

なお、本実施の形態について、以下のように変形したり応用したりしても良い。

本実施の形態では、非線形予測部１０２においてコードブックマッピング技術を使用して非線形予測を行う場合について説明したが、本発明はこの場合に限定されるものではなく、例えば非線形予測部１０２においてニューラルネットや変換関数を用いた写像変換等を使用して非線形予測を行っても良い。

また、本実施の形態では、非線形予測部１０２において、ＣＶｋとＣＶｋ’とが一対一で対応付けされる場合について説明したが、本発明はこの場合に限定されるものではなく、例えば１つのＣＶｋに複数のＣＶｋ’が対応付けられ、さらに分類用符号帳２１０から広帯域符号帳２２０にＣＶｋ’の選出に必要な情報が伝送されるようにしても良い。このようにすれば、非線形予測部１０２における非線形予測に必要な伝送データ量を殆ど増加させることなく、非線形予測性能を効果的に改善することができる。

また、本実施の形態では、非線形予測部１０２の主要な内部構成が図２に示す態様である場合について説明したが、本発明はこの場合に限定されるものではなく、例えば非線形予測部１０２の主要な内部構成が図４に示す態様であっても良い。

ここで、図４は、本実施の形態の変形例における非線形予測部１０２の主要な内部構成を示すブロック図である。この変形例においても、非線形予測部１０２はコードブックマッピング技術を使用して非線形予測を行う。

図４に示す変形例において、非線形予測部１０２は、分類用コードベクトル格納部２１１、広帯域コードベクトル格納部２２１、重み係数決定部４０１及び重み付け和算出部４０２を具備する。この変形例において、分類用コードベクトル格納部２１１と広帯域コードベクトル格納部２２１とは、本実施の形態と同様に対応付けされており、重み係数決定部４０１はＣＶｋそれぞれに重み係数を試行錯誤的に乗じて、それらの乗算結果と変換広帯域ＬＳＰとの誤差が最小となる重み係数の組み合わせを決定し、決定した重み係数の組み合わせを重み付け和算出部４０２に通知する。

重み付け和算出部４０２は、重み係数決定部４０１から決定された重み係数の組み合わせを通知されると、ＣＶｋに対応付けられたＣＶｋ’を広帯域コードベクトル格納部２２１から取り出し、取り出したＣＶｋ’に通知された重み係数をそれぞれ乗じてその乗算結果を加算し、その加算結果を非線形予測結果として、増幅器１０３に入力する。

このように、図４に示す変形例によれば、非線形予測部１０２から増幅器１０３に入力される非線形予測結果が重み係数をそれぞれ乗じた複数のＣＶｋ’の総和で構成されるため、非線形予測結果の微細な調節が可能となり、非線形予測部１０２の予測性能を一層高めることができる。

また、本発明において、非線形予測部１０２の主要な内部構成は、例えば図５に示す態様であっても良い。ここで、図５は、本実施の形態の変形例における非線形予測部１０２の主要な内部構成を示すブロック図である。

図５に示す変形例では、非線形予測部１０２は複数の変換関数を用いて非線形予測を行う。この変形例において、非線形予測部１０２は、重み係数決定部５０１、重み付け和算出部５０２及び変換関数ｋ（ｋ＝１〜ｍ）をそれぞれ保持するｍ個の変換関数保持部５１１を具備する。

変換関数保持部５１１はそれぞれ、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰを保持する変換関数ｋ（ｋ＝１〜ｍ）を用いてベクトル変換し、変換後のベクトルを重み付け和算出部５０２に入力する。なお、変換関数ｋは、予め学習データを用いて作成することができるが、特に限定されるものではない。

重み係数決定部５０１は、変換関数保持部５１１から重み付け和算出部５０２へ入力されるベクトルに乗じる重み係数をそれぞれ決定する。すなわち、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰを用いて、上記の重み係数を決定して、決定した重み係数を重み付け和算出部５０２に通知する。この重み係数の決定方法としては、例えば特定の代表ベクトルに近い入力ベクトルに対して特定の変換関数を学習して設計し、各変換関数に割り当てられた代表ベクトルとの類似度を基にして決定する方法等が挙げられる。

重み付け和算出部５０２は、重み係数決定部５０１から通知された重み係数を変換関数保持部５１１から入力される各ベクトルに乗じて、その乗算結果を全て加算し、その加算結果を非線形予測結果として増幅器１０３に入力する。

また、本実施の形態では、ＬＳＰ予測残差符号帳１１０及び予測係数テーブル１３１は、非線形予測部１０２と関連付けられていない場合について説明したが、本発明はこの場
合に限定されるものではなく、例えば非線形予測部１０２内で決定された分類結果ｋや重み係数セットを利用して変換広帯域ＬＳＰのクラス分けを行い、決定されたクラス毎に異なるＬＳＰ予測残差符号帳１１０や予測係数テーブル１３１を切り替えて使用するようにしても良い。このように、ＬＳＰ予測残差符号帳や予測係数テーブルのマルチモード化を行えば、非線形予測処理途中に得られる情報を利用するだけであるため、モード判定のための追加処理や新たな伝送情報を必要とすることなく、非線形予測部１０２の予測性能を一層改善することができる。

（実施の形態２）
図６は、本発明の実施の形態２に係る広帯域ＬＳＰ予測装置を具備する広帯域符号化装置６００の主要な構成要素を示すブロック図である。広帯域符号化装置６００は、実施の形態１に係る広帯域符号化装置１００において、加算器１２２及び予測係数テーブル１３１の代わりに加算器６２２及び予測係数テーブル６３１を具備し、さらに遅延器６０１、６１２、除算器６０２及び増幅器６０３、６０４、６０５を具備するものである。従って、広帯域符号化装置６００は、広帯域符号化装置１００と同一の動作を行う構成要素を多く具備することから、本実施の形態では、広帯域符号化装置６００について、重複を避けるため、広帯域符号化装置１００と相違する構成要素についてのみ説明する。

遅延器６０１は、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰを１フレームの時間遅延させて、遅延させた１フレーム前の変換広帯域ＬＳＰを除算器６０２に入力する。

除算器６０２は、遅延器６０１から入力される１フレーム前の変換広帯域ＬＳＰを、後述する遅延器６１２から入力される１フレーム前の量子化広帯域ＬＳＰで除して、その除算結果を増幅器６０３に入力する。

増幅器６０３は、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰに対して除算器６０２から入力される除算結果を増幅係数として乗じて、その乗算結果を増幅器６０４に入力する。

増幅器６０４は、予測係数テーブル６３１から指示された重み係数β_６を、増幅器６０３から入力される変換広帯域ＬＳＰに乗じて、その乗算結果を加算器６２２に入力する。

増幅器６０５は、遅延器６１２から入力される１フレーム前の量子化広帯域ＬＳＰに、予測係数テーブル６３１から指示された予測係数β_５を乗じて、その乗算結果を加算器６２２に入力する。

加算器６２２は、増幅器１０３、１０４、１２１、６０４、６０５からそれぞれ入力される乗算結果を加算し、その加算結果即ち量子化広帯域ＬＳＰ候補を誤差算出部１２３に入力する。なお、誤差最小化決定部１２４で決定された誤差を最小とする初段コードベクトル〜第３段コードベクトルと予測係数セットとを用いたときに加算器６２２から出力される量子化広帯域ＬＳＰは、遅延器６１２に入力されるとともに、広帯域符号化装置６００の外部へ必要に応じて出力する。

遅延器６１２は、加算器６２２から入力される量子化広帯域ＬＳＰを１フレームの時間遅延させて、その１フレーム前の量子化広帯域ＬＳＰを除算器６０２と増幅器６０５とにそれぞれ入力する。

予測係数テーブル６３１は、増幅器１０３、１０４、１２１、６０４、６０５に指示する重み係数の組み合わせである予測係数セットを複数格納しており、誤差最小化決定部１
２４からの通知に応じて、格納する予測係数セットの中から通知された１セットを選択し、選択した予測係数セットにおける各重み係数を増幅器１０３、１０４、１２１、６０４、６０５にそれぞれ指示する。

図７は、本発明の実施の形態２に係る広帯域ＬＳＰ予測装置を具備する広帯域復号装置７００の主要な構成要素を示すブロック図である。広帯域復号装置７００は、実施の形態１に係る広帯域復号装置３００において、加算器１２２及び予測係数テーブル１３１の代わりに加算器６２２及び予測係数テーブル６３１を具備し、さらに遅延器６０１、６１２、除算器６０２及び増幅器６０３、６０４、６０５を具備するものである。従って、広帯域復号装置７００の主要な構成要素は全て、広帯域復号装置３００や広帯域符号化装置６００の構成要素と同一の動作を行うことから、本実施の形態では、重複を避けるため、広帯域復号装置７００についての説明を省略する。

このように、本実施の形態によれば、広帯域符号化装置６００又は広帯域復号装置７００において、量子化狭帯域ＬＳＰから音声信号の広帯域ＬＳＰを予測するに際して、１フレーム前の量子化広帯域ＬＳＰが用いられるため、フレーム間相関とフレーム内相関とを効率的に利用して、音声信号の帯域スケーラブル符号化又はその復号における予測性能を改善することができる。

なお、本実施の形態でも、実施の形態１と同様に、非線形予測部１０２の内部構成を図４及び図５に示す態様としても良い。さらに、本実施の形態でも、非線形予測部１０２の内部で得られる情報を用いて変換広帯域ＬＳＰのクラス分類を行い、ＬＳＰ予測残差符号帳１１０と予測係数テーブル６３１との少なくとも一方を分類されたクラスに応じて切り替える、マルチモード構成にしても良い。

（実施の形態３）
図８は、本発明の実施の形態３に係る広帯域ＬＳＰ予測装置を具備する広帯域符号化装置８００の主要な構成要素を示すブロック図である。広帯域符号化装置８００は、実施の形態１に係る広帯域符号化装置１００において、増幅器８０１をさらに具備するものである。また、非線形予測部１０２、加算器１２２及び予測係数テーブル１３１は、その基本的動作は同一だが、新たな動作も行うので、非線形予測部１０２ａ、加算器１２２ａ、予測係数テーブル１３１ａのように表す。従って、広帯域符号化装置８００は、広帯域符号化装置１００と同一の動作を行う構成要素を多く具備することから、本実施の形態では、広帯域符号化装置８００について、重複を避けるため、広帯域符号化装置１００と相違する構成要素についてのみ説明する。

非線形予測部１０２ａは、後述の通り、その非線形予測結果を増幅器８０１にも入力する。

予測係数テーブル１３１ａは、増幅器１０３、１０４、１２１、８０１に指示する重み係数の組み合わせである予測係数セットを複数格納しており、誤差最小化決定部１２４からの通知に従い、格納している予測係数セットの中から通知された１セットを選択し、選択した予測係数セットに含まれる重み係数を使用するように、増幅器１０３、１０４、１２１、８０１にそれぞれ指示する。

増幅器８０１は、非線形予測部１０２ａから入力される非線形予測結果に対して、予測係数テーブル１３１ａから通知される重み係数β_３を乗じて、その乗算結果を加算器１２２ａに入力する。

加算器１２２ａは、増幅器１０３、１０４、１２１、８０１からそれぞれ入力される乗
算結果（ベクトル）を加算し、その加算結果、すなわち音声信号の広帯域ＬＳＰの予測結果を出力する。

なお、本実施の形態では、説明を簡単にするため、各重み係数の表記を実施の形態１と同じくしているが、これらの値は設計段階における最適化によって定まる値であり、実際の値は実施の形態１とは異なる。

図９は、本実施の形態における非線形予測部１０２ａの主要な内部構成を示すブロック図である。

実施の形態１における非線形予測部１０２は、狭帯域−広帯域変換部１０１から入力される変換広帯域ＬＳＰと最も近似するコードベクトルを、分類用符号帳２１０から選択し、そのコードベクトルに対応する広帯域符号帳２２０のコードベクトルを増幅器１０３へ出力する。これに対し、本実施の形態における非線形予測部１０２ａは、分類用符号帳２１０で最終的に選択されたコードベクトルを増幅器８０１へ出力する。

図１０は、本実施の形態に係る広帯域ＬＳＰ予測装置を具備する広帯域復号装置１０００の主要な構成要素を示すブロック図である。なお、広帯域復号装置１０００は、実施の形態１に係る広帯域復号装置３００と同様の基本的構成を採っており、また増幅器８０１等についても既に説明しているので、ここでは説明を省略する。

このように、本実施の形態によれば、実質的には狭帯域ＬＳＰである変換広帯域ＬＳＰと、コードブックマッピング後の広帯域ＬＳＰ（非線形予測広帯域ＬＳＰ）と、コードブックマッピング用の符号帳でベクトル量子化された変換広帯域ＬＳＰと、の３つのＬＳＰの重み付け和をもって音声信号の広帯域ＬＳＰの予測結果としている。すなわち、音声信号の広帯域ＬＳＰを予測する予測広帯域ＬＳＰは、以下の式（２）で表される。
予測広帯域ＬＳＰ
＝β_２×狭帯域ＬＳＰ＋β_１×非線形予測広帯域ＬＳＰ＋β_３×コードブックマッピング用の符号帳でベクトル量子化された狭帯域ＬＳＰ ・・・（２）

一方、実施の形態１では、狭帯域ＬＳＰをコードブックマッピングによって広帯域ＬＳＰに変換し、変換前後のＬＳＰの重み付け和を広帯域ＬＳＰの予測結果としているので、予測広帯域ＬＳＰは、以下の式（３）で表されることになる。
予測広帯域ＬＳＰ
＝β_２×狭帯域ＬＳＰ＋β_１×非線形予測広帯域ＬＳＰ ・・・（３）

よって、実施の形態１と比較して、コードブックマッピング用の符号帳でベクトル量子化された狭帯域ＬＳＰもさらに考慮していることとなるため、予測性能がさらに向上し、符号化性能を向上させることができる。

なお、本実施の形態は、実施の形態２と組み合わせることもできる。図１１、１２は、本実施の形態を実施の形態２と組み合わせた場合の広帯域符号化装置１１００及び広帯域復号装置１２００の主要な構成要素を示すブロック図である。基本的動作は既に示した通りであるので説明を省略する。

（実施の形態４）
実施の形態３で示した各増幅器で乗ぜられる重み係数は、正の数とは限らない。例えば、各係数の最適値をシミュレーションによって求めると、β_１が正の数であるときに、β_３は−β_１に近い負の値となり、β_２は１．０に近い値となることが多い。

かかる状況下では、上記式（２）は、狭帯域−広帯域変換部１０１から入力される狭帯域ＬＳＰと狭帯域用の符号帳に格納されているコードベクトルとの重み付け誤差を、広帯域用の符号帳から出力されるコードベクトルに加算することによって、予測広帯域ＬＳＰを求めていることに相当する。このとき、実施の形態３で示した非線形予測部１０２ａ、増幅器８０１、加算器１２２ａの全体を、１つの非線形予測部１０２ｂとみなすことができる。

図１３は、本発明の実施の形態４に係る広帯域ＬＳＰ予測装置を具備する広帯域符号化装置１３００の主要な構成要素を示すブロック図である。なお、広帯域符号化装置１３００も、実施の形態１に係る広帯域符号化装置１００と同一の動作を行う構成要素を多く具備する。

この構成によれば、β_３＝−β_１として、減算器１３０１が狭帯域ＬＳＰとコードブックマッピング用の符号帳でベクトル量子化された狭帯域ＬＳＰとの差を算出することにより、予測広帯域ＬＳＰを下記の式（４）のように求めることができる。
予測広帯域ＬＳＰ
＝β_１×非線形予測広帯域ＬＳＰ＋β_２×（狭帯域ＬＳＰ−コードブックマッピング用の符号帳でベクトル量子化された狭帯域ＬＳＰ） ・・・（４）

図１４は、本実施の形態に係る広帯域ＬＳＰ予測装置を具備する広帯域復号装置１４００の主要な構成要素を示すブロック図である。基本的動作は既に示した通りであるので説明を省略する。

このように、本実施の形態によれば、上記式（４）の予測モデルを用いることにより、予測係数（重み係数）の数を１つ減らすことができ、その分のメモリ量を節約することができる。

なお、本実施の形態は、実施の形態２と組み合わせることもできる。図１５、１６は、本実施の形態を実施の形態２と組み合わせた場合の広帯域符号化装置１５００及び広帯域復号装置１６００の主要な構成要素を示すブロック図である。これらも基本的動作は既に示した通りであるので説明を省略する。

（実施の形態５）
本発明の実施の形態５に係る広帯域符号化装置の基本的構成は、実施の形態１に係る広帯域符号化装置１００と同様である。よって、実施の形態１と異なる構成である非線形予測部１０２ｃについて以下説明する。

図１７は、非線形予測部１０２ｃの主要な内部構成を示すブロック図である。

非線形予測部１０２ｃは、実施の形態１に示した広帯域符号帳２２０（図２参照）が多段構成となっている。すなわち、本実施の形態に係る広帯域符号帳２２０ｃはマルチステージ化されている。図１７の例では、２ステージ化である。ここで、ｘは広帯域符号帳２２０ｃの初段符号帳２２１−１１〜２２１−１ｘが格納するコードベクトル数を示しており、ｙは広帯域符号帳２２０ｃの２段目符号帳２２１−２１〜２２１−２ｙが格納するコードベクトル数を示している。両者にはｎ＝ｘ×ｙの関係がある。

分類用符号帳２１０の分類用コードベクトルＣＶｋと広帯域符号帳２２０ｃから生成される広帯域コードベクトルＣＶｋ’との対応付けは、例えば以下のように予め設計しておく。ここでは、ｘ＝８、ｙ＝８、ｎ＝６４の場合を例にとって説明する。
ＣＶ１→ＣＶ１１＋ＣＶ２１
ＣＶ２→ＣＶ１１＋ＣＶ２２
・
・
・
ＣＶ８→ＣＶ１１＋ＣＶ２８
ＣＶ９→ＣＶ１２＋ＣＶ２１
・
・
・
ＣＶ１６→ＣＶ１２＋ＣＶ２８
ＣＶ１７→ＣＶ１３＋ＣＶ２１
・
・
・
ＣＶ６４→ＣＶ１８＋ＣＶ２８

上記のように、分類用コードベクトルＣＶｋと広帯域コードベクトルＣＶｋ’とを対応付けておけば、分類用符号帳２１０から選択されたコードベクトルのインデックスの上位３ビットが、広帯域符号帳２２０ｃの初段符号帳２２１−１１〜２２１−１ｘから選択されるコードベクトル番号となり、また、分類用符号帳２１０から選択されたコードベクトルのインデックスの下位３ビットが、広帯域符号帳２２０ｃの２段目符号帳２２１−２１〜２２１−２ｙから選択されるコードベクトル番号となる。よって、分類用コードベクトルＣＶｋと広帯域コードベクトルＣＶｋ’との対応関係を別個のメモリに保持しておく必要がない。

このように、本実施の形態によれば、分類用符号帳２１０又は広帯域符号帳２２０の少なくとも一方をマルチステージ化するので、非線形予測処理に必要なメモリ量を削減することができる。

なお、実施の形態１において、広帯域符号帳２２０ではなく分類用符号帳２１０の方をマルチステージ化する構成も可能である。しかし、広帯域符号帳２２０の方が分類用符号帳２１０よりもベクトルの次元数が多い場合、広帯域符号帳２２０の方をマルチステージ化した方がメモリの削減量は大きくなる。

また、本実施の形態は、実施の形態３、４にも適用することができる。この場合、実施の形態３で示した非線形予測部１０２ａは図１８に示す非線形予測部１０２ｃのようになる。

（実施の形態６）
図１９は、本発明の実施の形態６に係る広帯域符号化装置１９００の主要な構成要素を示すブロック図である。広帯域符号化装置１９００は、実施の形態１に係る広帯域符号化装置１００と同一の動作を行う構成要素を多く具備することから、本実施の形態でも、重複を避けるために、広帯域符号化装置１００と相違する構成要素についてのみ説明する。

広帯域符号化装置１９００は、コードブックマッピングの候補を選択し、この選択に関する情報を広帯域復号装置に出力する。具体的には、分類用符号帳から複数の候補コードベクトルを選択し、これらの中から最も入力広帯域ＬＳＰベクトルとの誤差が小さいものを選択し、この選択情報を符号化データと共に広帯域復号装置に伝送する。

図２０は、非線形予測部１０２ｄの主要な内部構成を示すブロック図である。

候補選択部２００１は、実施の形態１に示した最小化部２０２と同様に、２乗誤差を最小とする１つの分類用コードベクトルを選択する。さらに、候補選択部２００１は、２乗誤差が小さい順に複数の分類用コードベクトル（候補コードベクトル）を選択し、広帯域符号帳２２０に対し、選択した複数の候補コードベクトルにそれぞれ対応する複数の広帯域コードベクトルを出力するように指示する。なお、図２０では候補数が４の場合を例にとっている。以下の説明においても候補数は４とする。

広帯域符号帳２２０は、候補選択部２００１から指示された４つの広帯域コードベクトルを候補コードベクトル符号帳２００２に出力する。

候補コードベクトル符号帳２００２は、入力された複数の広帯域コードベクトルを候補コードベクトル格納部ＣＶａ〜ＣＶｄに格納する。このとき、４つの広帯域コードベクトルは、誤差算出部２０１で算出された誤差が小さい方から、ＣＶａ、ＣＶｂ、ＣＶｃ、ＣＶｄに順に格納される。これら４つの広帯域コードベクトルは、誤差最小化決定部２００６からの指示に従って１つずつ誤差算出部２００５に出力される。

誤差算出部２００５は、入力された広帯域ＬＳＰと広帯域コードベクトルとの誤差を誤差算出部２０１と同様に算出し、誤差最小化決定部２００６に出力する。

誤差最小化決定部２００６は、候補コードベクトル符号帳２００２に格納された複数の広帯域コードベクトルの中から、最も入力広帯域ＬＳＰベクトルとの誤差が小さくなるものを帰還制御によって求める。具体的には、誤差最小化決定部２００６は、実施の形態１に示した最小化部２０２と同様に、候補コードベクトル符号帳２００２に格納された４つの広帯域コードベクトルの中から、誤差算出部２００５から出力される誤差が最小となるコードベクトルを１つ選択し、候補コードベクトル符号帳２００２に対し、この選択された広帯域コードベクトルを増幅器１０３へ出力するように指示する。また、誤差最小化決定部２００６は、この選択された広帯域コードベクトルに関する情報（選択情報）も出力する。

図２１は、本実施の形態に係る広帯域符号化装置１９００で生成された符号化データ及び選択情報を復号する広帯域復号装置２１００の主要な構成要素を示すブロック図である。広帯域復号装置２１００は、実施の形態１に係る広帯域復号装置３００と同一の動作を行う構成要素を多く具備することから、重複を避けるために、広帯域復号装置３００と相違する構成要素についてのみ説明する。

非線形予測部１０２ｅは、上記の非線形予測部１０２ｄから伝送されてきた選択情報が入力され、この選択情報に基づく非線形予測結果を増幅器１０３へ出力する。図２２は、非線形予測部１０２ｅの主要な内部構成を示すブロック図である。

選択情報復号部２２０１以外の構成は、上記の非線形予測部１０２ｄと同一であるのでその説明を省略する。選択情報復号部２２０１は、入力された選択情報を復号し、この選択情報で特定されたコードベクトルを出力するように、候補コードベクトル符号帳２００２に指示を出す。

このように、本実施の形態によれば、分類用符号帳から複数の候補を選択し、予測誤差又は量子化誤差を最小とするコードベクトルを複数の候補の中からさらに選択するので、非線形予測の予測精度を改善することができる。

なお、本実施の形態に係る非線形予測部１０２ｄ、１０２ｅは、実施の形態３、４にも
適用可能である。

（実施の形態７）
図２３は、本発明の実施の形態７に係る広帯域符号化装置２３００の主要な構成要素を示すブロック図である。広帯域符号化装置２３００も実施の形態６と同様に、実施の形態１に係る広帯域符号化装置１００と同一の動作を行う構成要素を多く具備することから、重複を避けるために、広帯域符号化装置１００と相違する構成要素についてのみ説明する。

本実施の形態では、非線形予測部１０２ｆが、量子化結果（誤差最小化決定部１２４ｆの出力）を用いてコードブックマッピングの候補を選択する点が実施の形態６と異なる。よって、非線形予測部１０２ｆ内部で広帯域ＬＳＰとの誤差を最小化することはせず、非線形予測部１０２ｆ外部の誤差最小化決定部１２４ｆが、広帯域ＬＳＰとの誤差を最小化する帰還制御を行う。

非線形予測部１０２ｆは、誤差最小化決定部１２４ｆからの指示に従い、所定数の非線形予測結果を増幅器１０３へ順次出力する。図２３の例では、非線形予測部１０２ｆは、ＣＶａ〜ＣＶｄに格納されている４つのコードベクトルを所定数の非線形予測結果として増幅器１０３へ出力する。

誤差最小化決定部１２４ｆは、この所定数の非線形予測結果を各々用いた場合の初段コードベクトル〜第３段コードベクトルと予測係数とのセットを決定する。そして、これらのパラメータの中で、誤差算出部１２３から出力される誤差が最も小さくなる非線形予測結果を求め、この非線形予測結果及び当該非線形予測結果を用いた場合に決定される初段コードベクトル〜第３段コードベクトルと予測係数とのセットとを符号化データとして無線送信部（図示せず）等へ出力する。

図２４は、非線形予測部１０２ｆの主要な内部構成を示すブロック図である。実施の形態６に示した非線形予測部１０２ｄと同一の構成については、重複を避けるため説明を省略する。

候補コードベクトル符号帳２００２は、誤差最小化決定部１２４ｆからの指示情報が入力され、その指示情報に基づいて１つのコードベクトルを選択し、増幅器１０３へ出力する。

図２５は、本実施の形態に係る広帯域符号化装置２３００で生成された符号化データを復号する広帯域復号装置２５００の主要な構成要素を示すブロック図である。

広帯域符号化装置２３００が生成した符号化データには、実施の形態１で示した情報に加えて、非線形予測部１０２ｆから出力される非線形予測結果の選択情報が含まれている。そこで、インデックス復号部３２４ｆは、入力された符号化データから上記選択情報を復号して非線形予測部１０２ｆに入力する。

非線形予測部１０２ｆは、入力された選択情報に基づいた非線形予測結果を増幅器１０３へ出力する。なお、非線形予測部１０２ｆの内部構成は、図２４に示した構成と同一である。

このように、本実施の形態によれば、分類用符号帳から複数の候補を選択し、予測誤差又は量子化誤差を最小とするコードベクトルを複数の候補の中からさらに選択するので、非線形予測の予測精度を改善することができる。

なお、本実施の形態に係る非線形予測部１０２ｆ、誤差最小化決定部１２４ｆ、及びインデックス復号部３２４ｆは、実施の形態４にも適用可能である。

（実施の形態８）
図２６は、本発明の実施の形態８に係る広帯域符号化装置２６００の主要な構成要素を示すブロック図である。広帯域符号化装置２６００は、実施の形態３に係る広帯域符号化装置８００（図８参照）と同一の動作を行う構成要素を多く具備することから、本実施の形態でも、重複を避けるために、広帯域符号化装置８００と相違する構成要素についてのみ説明する。

非線形予測部１０２ｇは、誤差最小化決定部１２４ｇからの指示に従い、分類用符号帳から複数の候補コードベクトルを選択し、これらのコードベクトルに対応する広帯域符号帳のコードベクトルを増幅器１０３へ出力すると共に、分類符号帳から選択された候補ベクトル自体も増幅器８０１へ出力する。

誤差最小化決定部１２４ｇは、所定数の広帯域コードベクトルと分類用コードベクトルとのセットを用いた場合の初段コードベクトル〜第３段コードベクトルと予測係数とのセットを決定する。そして、これらのパラメータの中で、誤差算出部１２３から出力される誤差を最も小さくする分類用コードベクトルと広帯域コードベクトルとのセットを求め、このセットと、このセットを用いた場合に決定される初段コードベクトル〜第３段コードベクトル及び予測セットを示す符号化データを生成し、無線送信部（図示せず）等へ入力する。

図２７は、非線形予測部１０２ｇの主要な内部構成を示すブロック図である。実施の形態７に示した非線形予測部１０２ｆと同一の構成については、重複を避けるため説明を省略する。

実施の形態７に示した非線形予測部１０２ｆに対し、候補コードベクトル（分類用コードベクトル）符号帳２７０１が追加された構成である。候補コードベクトル符号帳２７０１以外の構成は、非線形予測部１０２ｆと同一であるので、その説明を省略する。候補コードベクトル符号帳２７０１は、誤差最小化決定部１２４ｇからの指示情報に基づいてコードベクトルを選択し、増幅器８０１へ出力する。

非線形予測部１０２ｇは、非線形予測結果（広帯域コードベクトル）とこれらに対応する分類用コードベクトルとを増幅器１０３へ出力する。出力される広帯域コードベクトル及び分類用コードベクトルは、１種類ではなく、誤差最小化決定部１２４ｇからの指示に従い、所定数の広帯域コードベクトル及び分類用コードベクトルが増幅器１０３及び増幅器８０１に順次入力される。

図２８は、本実施の形態に係る広帯域符号化装置２６００で生成された符号化データを復号する広帯域復号装置２８００の主要な構成要素を示すブロック図である。広帯域復号装置２８００は、実施の形態３に係る広帯域復号装置１０００と同一の動作を行う構成要素を多く具備することから、本実施の形態でも、重複を避けるために、広帯域復号装置１０００と相違する構成要素についてのみ説明する。

本実施の形態に係る広帯域復号装置２８００において、符号化データは、実施の形態３における符号化データに含まれる情報に加えて、非線形予測部１０２ｇから出力される広帯域コードベクトルと分類用コードベクトルとのセットの選択情報を含んでいる。インデックス復号部３２４ｇは、この符号化データから上記選択情報を復号し、非線形予測部１
０２ｇへ出力する。非線形予測部１０２ｇは、入力された選択情報に基づいて広帯域コードベクトル及び分類用コードベクトルを求め、広帯域コードベクトルを増幅器１０３へ、分類用コードベクトルを増幅器８０１へそれぞれ出力する。非線形予測部１０２ｇの内部構成は、図２７に示した非線形予測部１０２ｇと同様であるので、その説明を省略する。

なお、本実施の形態に係る非線形予測部１０２ｇ、誤差最小化決定部１２４ｇ、及びインデックス復号部３２４ｇは、実施の形態４にも適用可能である。

以上、本発明の各実施の形態について説明した。

本発明に係る広帯域符号化装置等は、上記各実施の形態に限定されず、種々変更して実施することが可能である。

本発明に係る広帯域符号化装置等は、移動体通信システムにおける通信端末装置及び基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置及び移動体通信システムを提供することができる。

なお、ＬＳＰはＬＳＦ（Line Spectral Frequency）とも呼ばれる。ＬＳＰとＬＳＦとは区別される場合もあるが（例えばＩＴＵ−Ｔ勧告Ｇ．７２９では、ＬＳＦの余弦をとったものをＬＳＰと定義している）、本明細書では両者の区別はせずに同義語として扱っている。すなわち、ＬＳＰをＬＳＦと読み替えても良い。

また、ここでは、本発明の予測・符号化対象がＬＳＰの場合を例にとって説明したが、ＬＳＰ以外のスペクトル包絡パラメータの予測・符号化にも適用可能である。スペクトル包絡パラメータの具体例としては、ＦＦＴ（高速フーリエ変換）パワースペクトルやＭＤＣＴ（修正離散余弦変換）の包絡情報などが挙げられる。この場合、狭帯域−広帯域変換部１０１におけるアップサンプリングは、狭帯域のスペクトル包絡パラメータを低域部のスペクトル包絡パラメータとし、高域部をゼロ詰めすることで実現するのが一般的である。また、ＬＳＰと相互に変換可能なパラメータであるＬＰＣ（線形予測係数）、ＰＡＲＣＯＲ係数（偏自己相関係数）、自己相関関数、ＬＰＣケプストラム、反射係数などもスペクトル包絡情報に含まれる。この場合、狭帯域−広帯域変換部１０１におけるアップサンプリングは、これらのパラメータを一旦ＬＳＰに変換してＬＳＰの領域で実施の形態で説明したようなアップサンプリングを行ってもよいし、ＬＰＣケプストラムや自己相関関数の領域においてデータを内挿（補間）することによりアップサンプリングを実現しても良い。データの内挿には、いくつかの補間方法が知られているが、ＳＩＮＣ関数を用いた補間フィルタで実現する方法が比較的広く利用されている。ＳＩＮＣ関数を用いた補間フィルタによるデータの内挿処理は、例えばＩＴＵ−Ｔ勧告Ｇ．７２９にも開示があり、適応符号帳の音源ベクトル生成やピッチ探索時の自己相関関数の内挿などに用いられている。狭帯域−広帯域変換部１０１以外のブロックの動作については、実施の形態におけるＬＳＰをそれぞれのパラメータに読み替えればよい。

なお、本明細書では非線形予測部１０２に入力される量子化狭帯域ＬＳＰは、狭帯域−広帯域変換部１０１によってアップサンプリングされたＬＳＰとしたが、狭帯域−広帯域変換部１０１を介さずにアップサンプリングされる前の量子化狭帯域ＬＳＰであっても良い。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係る広帯域ＬＳＰ予測方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明の広帯域ＬＳＰ予測装
置と同様の機能を実現することができる。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。

本明細書は、２００４年１２月１０日出願の特願２００４−３５８２６０、２００５年３月２９日出願の特願２００５−０９５３４５、および２００５年９月３０日出願の特願２００５−２８６５３２に基づく。これらの内容はすべてここに含めておく。

本発明に係る広帯域符号化装置等は、音声信号の帯域スケーラブル符号化又はその復号において、限られたメモリ量で実現可能な非線形予測を用いながらも予測性能の高い予測器を実現して量子化器の量子化効率を改善できるという効果を有し、利用可能なメモリ量に制限があり、かつ、低速での無線通信を強いられる携帯電話等の通信端末装置等として有用である。

実施の形態１に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態１における非線形予測部の主要な内部構成を示すブロック図 実施の形態１に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態１における非線形予測部の変形例を示すブロック図 実施の形態１における非線形予測部の変形例を示すブロック図 実施の形態２に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態２に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態３に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態３における非線形予測部の主要な内部構成を示すブロック図 実施の形態３に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態３に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態３に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態４に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態４に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態４に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態４に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態５における非線形予測部の主要な内部構成を示すブロック図 実施の形態５における非線形予測部のバリエーションを示す図 実施の形態６に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態６における非線形予測部の主要な内部構成を示すブロック図 実施の形態６に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態６における非線形予測部の主要な内部構成を示すブロック図 実施の形態７に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態７における非線形予測部の主要な内部構成を示すブロック図 実施の形態７に係る広帯域復号装置の主要な構成要素を示すブロック図 実施の形態８に係る広帯域符号化装置の主要な構成要素を示すブロック図 実施の形態８における非線形予測部の主要な内部構成を示すブロック図 実施の形態８に係る広帯域復号装置の主要な構成要素を示すブロック図

Claims (17)

1. 入力された音声信号の量子化狭帯域ＬＳＰを、アップサンプリングによって、当該量子化狭帯域ＬＳＰの情報を有する広帯域の第１ＬＳＰに変換する変換手段と、
   非線形予測処理によって、前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを用いて広帯域の第２ＬＳＰを予測する予測手段と、
   前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和を用いて予測広帯域ＬＳＰを生成する生成手段と、
   前記予測広帯域ＬＳＰと前記音声信号の広帯域ＬＳＰとの間の誤差を最小とする符号化データを求める符号化手段と、
   を具備する広帯域符号化装置。
2. 前記予測手段は、
   非線形予測処理として、コードブックマッピングによるベクトル量子化を用いる、
   請求項１記載の広帯域符号化装置。
3. 前記予測手段は、
   前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを表す基準ベクトルである分類用コードベクトルを複数含んで構成される分類用符号帳と、
   前記第１ＬＳＰと前記分類用コードベクトルとの誤差、または前記量子化狭帯域ＬＳＰと前記分類用コードベクトルとの誤差を算出する誤差算出手段と、
   前記分類用符号帳の中から前記誤差算出手段での誤差が最小となる分類用コードベクトルを特定する最小化手段と、
   前記分類用コードベクトルに対応付けられた広帯域コードベクトルを複数含んで構成され、前記最小化手段によって特定された分類用コードベクトルに対応付けられた広帯域コードベクトルを出力する広帯域符号帳と、
   を具備する、
   請求項１記載の広帯域符号化装置。
4. 前記生成手段は、
   前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和の代わりに、前記第１ＬＳＰと前記第２ＬＳＰと前記予測手段の分類用コードベクトルでベクトル量子化された第１ＬＳＰとの重み付け和を用いる、
   請求項３記載の広帯域符号化装置。
5. 前記生成手段は、
   前記第１ＬＳＰの代わりに、当該第１ＬＳＰと前記予測手段の分類用コードベクトルでベクトル量子化された第１ＬＳＰとの差を用いる、
   請求項３記載の広帯域符号化装置。
6. 前記分類用符号帳に含まれる分類用コードベクトル、又は前記広帯域符号帳に含まれる広帯域コードベクトルが多段構成となっている、
   請求項３記載の広帯域符号化装置。
7. 前記予測手段は、
   前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを表す基準ベクトルである分類用コードベクトルを複数含んで構成される分類用符号帳と、
   前記第１ＬＳＰと前記分類用コードベクトルとの誤差、または前記量子化狭帯域ＬＳＰと前記分類用コードベクトルとの誤差を算出する第１誤差算出手段と、
   前記分類用符号帳の中から、前記第１誤差算出手段での誤差が小さい分類用コードベクトルを誤差が小さい方から所定数だけ選択する選択手段と、
   前記分類用コードベクトルに対応付けられた広帯域コードベクトルを複数含んで構成され、前記選択手段によって選択された所定数の分類用コードベクトルに対応付けられた所定数の広帯域コードベクトルを出力する広帯域符号帳と、
   前記音声信号の広帯域ＬＳＰと前記所定数の広帯域コードベクトルとの誤差を算出する第２誤差算出手段と、
   前記所定数の広帯域コードベクトルの中から前記第２誤差算出手段での誤差が最小となる広帯域コードベクトルを選択すると共に、選択された広帯域コードベクトルに関する選択情報を出力する最小化手段と、
   を具備する、
   請求項１記載の広帯域符号化装置。
8. 前記予測手段は、
   前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを表す基準ベクトルである分類用コードベクトルを複数含んで構成される分類用符号帳と、
   前記第１ＬＳＰと前記分類用コードベクトルとの誤差、または前記量子化狭帯域ＬＳＰと前記分類用コードベクトルとの誤差を算出する誤差算出手段と、
   前記分類用符号帳の中から、前記誤差算出手段での誤差が小さい分類用コードベクトルを誤差が小さい方から所定数だけ選択する選択手段と、
   前記分類用コードベクトルに対応付けられた広帯域コードベクトルを複数含んで構成され、前記選択手段によって選択された所定数の分類用コードベクトルに対応付けられた所定数の広帯域コードベクトルを出力する広帯域符号帳と、
   を具備し、
   前記符号化手段は、
   前記所定数の広帯域コードベクトルの中から、前記予測広帯域ＬＳＰと前記音声信号の広帯域ＬＳＰとの間の誤差を最小とする広帯域コードベクトルを出力すると共に、当該広帯域コードベクトルに対応する重み係数を示す符号化データを出力する、
   請求項１記載の広帯域符号化装置。
9. 前記生成手段は、
   前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和の代わりに、前記第１ＬＳＰと前記第２ＬＳＰと前記予測手段の分類用コードベクトルでベクトル量子化された第１ＬＳＰとの重み付け和を用いる、
   請求項８記載の広帯域符号化装置。
10. 前記予測手段は、
    前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを表す基準ベクトルである分類用コードベクトルを複数含んで構成される分類用符号帳と、
    複数の前記分類用コードベクトルに重み係数を乗じた乗算結果を加算した加算結果と前記第１ＬＳＰとの誤差、または前記加算結果と前記量子化狭帯域ＬＳＰとの誤差を算出し、算出した誤差が最小となる前記重み係数を決定する重み係数決定手段と、
    前記分類用コードベクトルに対応付けられた広帯域コードベクトルを複数含んで構成され、前記重み係数決定手段によって決定された重み係数を前記広帯域コードベクトルに乗じた乗算結果を加算する広帯域符号帳と、
    を具備する、
    請求項１記載の広帯域符号化装置。
11. 前記予測広帯域ＬＳＰを遅延させる遅延手段をさらに具備し、
    前記生成手段は、
    前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和の代わりに、前記第１ＬＳＰと前記第２ＬＳＰと前記遅延手段で遅延された過去の予測広帯域ＬＳＰとの重み付け和を用いる、 請求項１記載の広帯域符号化装置。
12. 音声信号の量子化狭帯域ＬＳＰから広帯域ＬＳＰを予測する広帯域ＬＳＰ予測装置であって、
    アップサンプリングによって、前記量子化狭帯域ＬＳＰを当該量子化狭帯域ＬＳＰの情報を有する広帯域の第１ＬＳＰに変換する変換手段と、
    非線形予測処理によって、前記第１ＬＳＰから広帯域の第２ＬＳＰを予測する予測手段と、
    前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和を用いて予測広帯域ＬＳＰを生成する生成手段と、
    を具備する広帯域ＬＳＰ予測装置。
13. 入力された音声信号の狭帯域ＬＳＰを符号化して量子化狭帯域ＬＳＰを生成する狭帯域符号化手段と、
    前記音声信号の広帯域ＬＳＰを符号化する広帯域符号化手段と、
    を具備し、
    前記広帯域符号化手段は、
    アップサンプリングによって、前記量子化狭帯域ＬＳＰを当該量子化狭帯域ＬＳＰの情報を有する広帯域の第１ＬＳＰに変換する変換手段と、
    非線形予測処理によって、前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを用いて広帯域の第２ＬＳＰを予測する予測手段と、
    前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和を用いて予測広帯域ＬＳＰを生成する生成手段と、
    前記予測広帯域ＬＳＰと前記音声信号の広帯域ＬＳＰとの間の誤差を最小とする符号化データを求める符号化手段と、
    を具備する、
    帯域スケーラブル符号化装置。
14. 音声信号の量子化狭帯域ＬＳＰを示す符号化データを復号して量子化狭帯域ＬＳＰを生成する狭帯域復号手段と、
    前記音声信号の量子化広帯域ＬＳＰに関する符号化データを復号する復号手段と、
    前記復号手段によって復号された量子化広帯域ＬＳＰに関する情報に従って、前記量子化狭帯域ＬＳＰから量子化広帯域ＬＳＰを生成する広帯域復号手段と、
    を具備し、
    前記広帯域復号手段は、
    アップサンプリングによって、前記量子化狭帯域ＬＳＰを当該量子化狭帯域ＬＳＰの情報を有する広帯域の第１ＬＳＰに変換する変換手段と、
    非線形予測処理によって、前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを用いて広帯域の第２ＬＳＰを予測する予測手段と、
    前記情報に従って、前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和を用いて量子化広帯域ＬＳＰを生成する生成手段と、
    を具備する、
    帯域スケーラブル復号装置。
15. 請求項１記載の広帯域符号化装置を具備する通信端末装置。
16. 請求項１記載の広帯域符号化装置を具備する基地局装置。
17. 入力された音声信号の量子化狭帯域ＬＳＰを、アップサンプリングによって、当該量子化狭帯域ＬＳＰの情報を有する広帯域の第１ＬＳＰに変換するステップと、
    非線形予測処理によって、前記第１ＬＳＰまたは前記量子化狭帯域ＬＳＰを用いて広帯域の第２ＬＳＰを予測するステップと、
    前記第１ＬＳＰと前記第２ＬＳＰとの重み付け和を用いて予測広帯域ＬＳＰを生成するステップと、
    前記予測広帯域ＬＳＰと前記音声信号の広帯域ＬＳＰとの間の誤差を最小とする符号化データを求めるステップと、
    を具備する広帯域符号化方法。

Images