JPWO2009081567A1

JPWO2009081567A1 - ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法

Info

Publication number: JPWO2009081567A1
Application number: JP2009546943A
Authority: JP
Inventors: 利幸森井
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-12-21
Filing date: 2008-12-22
Publication date: 2011-05-06
Also published as: US20100290629A1; WO2009081567A1; EP2237267A4; EP2237267A1

Abstract

音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができるステレオ信号変換装置。この装置では、サンプル差分析部（１１１）は、右チャネル信号をサンプル差ｄだけ時間的に移動させた信号と左チャネル信号とを用いて相関が最も高くなるサンプル差Ｄを計算する。サンプル差値計算部（１１２）は、前フレームにおいて右チャネル信号を移動させた値とサンプル差Ｄとに基づいて、サンプル差値ｚ（現フレームにおいて右チャネル信号を移動させる値）を計算する。サンプル差値符号化部（１１３）は、サンプル差値ｚを符号化する。スライド部（１１４）は、サンプル差値ｚだけ右チャネル信号を時間的に移動させる。和差計算部（１１５）は、左チャネル信号と移動後の右チャネル信号とを加算してモノラル信号を生成し、左チャネル信号から移動後の右チャネル信号を減算してサイド信号を生成する。

Description

本発明は、ステレオ音声の符号化を実現する符号化装置、復号装置に用いられるステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法に関する。

音声符号化は、電話帯域（２００Ｈｚ〜３．４ｋＨｚ）の狭帯域音声を使用する通信用途に用いられる。モノラル音声の狭帯域音声コーデックは、移動電話、遠隔会議機器や最近ではパケットネットワーク（たとえば、インターネット）上での音声通信などの通信用途に広く使用されている。

近年、通信ネットワークのブロードバンド化に伴い、音声通信に対して臨場感や音楽に対する品質の高さが求められるようになり、このニーズに応えるために、ステレオ音声の符号化技術を用いた音声通信システムの開発が進められている。

従来から、ステレオ音声を符号化する方法として、左チャネル信号と右チャネル信号との和であるモノラル信号と、左チャネル信号と右チャネル信号との差であるサイド信号とを求め、モノラル信号とサイド信号とをそれぞれ符号化する方法が知られている（特許文献１参照）。

左チャネル信号と右チャネル信号は、人間のそれぞれの耳から入る音を表す信号であり、モノラル信号によって左チャネル信号と右チャネル信号の共通部分を表すことができ、サイド信号によって左チャネル信号と右チャネル信号の空間的な違いを表現することができる。

左チャネル信号と右チャネル信号の相関性が高いことから、これらの信号をモノラル信号とサイド信号とに変換してから符号化する方が、直接符号化するよりも、モノラル信号とサイド信号の特徴に応じた適切な符号化が可能になり、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。
特開２００１−２５５８９２号公報

しかしながら、左チャネル信号と右チャネル信号の主成分が同じでも、これらの信号の音源の位置が異なる場合には、同時刻における左チャネル信号と右チャネル信号の相関性は低くなる。したがって、単に、左チャネル信号と右チャネル信号をモノラル信号とサイド信号とに変換して符号化すると、音源の位置が異なる場合に、モノラル信号とサイド信号に冗長性が含まれたまま非効率に量子化することになる。

本発明の目的は、音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができるステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法を提供することである。

本発明のステレオ信号変換装置は、ステレオ信号を構成する第１チャネル信号と第２チャネル信号との相関が最も高くなるタイミング差を分析する分析手段と、前記タイミング差に基づいて前記第２チャネル信号を時間移動させるスライド手段と、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号を生成する和差計算手段と、を具備する構成を採る。

本発明のステレオ信号逆変換装置は、ステレオ信号を構成する第１チャネル信号と時間移動させた後の第２チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第１チャネル信号の再生成信号および前記時間移動させた後の第２チャネル信号の再生成信号を生成する再生成信号生成手段と、前記時間移動させた後の第２チャネル信号の再生成信号を元に戻すように移動させる逆スライド手段と、を具備する構成を採る。

本発明のステレオ信号変換方法は、ステレオ信号を構成する第１チャネル信号と第２チャネル信号との相関が最も高くなるタイミング差を分析する分析工程と、前記タイミング差に基づいて前記第２チャネル信号を時間移動させるスライド工程と、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号を生成する和差計算工程と、を具備する方法を採る。

本発明のステレオ信号逆変換方法は、ステレオ信号を構成する第１チャネル信号と時間移動させた後の第２チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第１チャネル信号の再生成信号および前記時間移動させた後の第２チャネル信号の再生成信号を生成する再生成信号生成工程と、前記時間移動させた後の第２チャネル信号の再生成信号を元に戻すように移動させる逆スライド工程と、を具備する方法を採る。

本発明によれば、左チャネル信号と右チャネル信号の音源の位置が異なる場合であっても、これらの信号の一方を時間的に移動させてからモノラル信号およびサイド信号を生成することにより、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。

本発明の実施の形態１に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図本発明の実施の形態１に係るステレオ信号変換装置の和差計算部の処理を説明する図本発明の実施の形態１に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図本発明の実施の形態１に係るステレオ信号逆変換装置の和差計算部の処理を説明する図本発明の実施の形態１に係るステレオ信号逆変換装置の内挿係数格納部に格納された内挿係数の一例を示す図本発明の実証実験の結果を示す図本発明の実施の形態２に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図本発明の実施の形態２に係るステレオ信号逆変換装置の和差計算部の処理を説明する図

以下、本発明の実施の形態について、図面を用いて説明する。なお、各実施の形態では、ステレオ信号が左チャネル信号と右チャネル信号の２つの信号からなる場合を例に説明する。また、左チャネル信号、右チャネル信号、モノラル信号、サイド信号をそれぞれ、Ｌ、Ｒ、Ｍ、Ｓと表し、それらの再生成信号をそれぞれ、Ｌ’、Ｒ’、Ｍ’、Ｓ’と表す。

（実施の形態１）
図１は、本実施の形態に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図１に示す符号化装置１００は、ステレオ信号変換装置１０１と、モノラル符号化部１０２と、サイド符号化部１０３と、多重化部１０４と、から主に構成される。

ステレオ信号変換装置１０１は、左チャネル信号Ｌおよび右チャネル信号Ｒのうち一方の信号を時間的に移動させてから、これらの信号の和であるモノラル信号Ｍ、および、これらの信号の差であるサイド信号Ｓを生成する。そして、ステレオ信号変換装置１０１は、モノラル符号化部１０２にモノラル信号Ｍを出力し、サイド符号化部１０３にサイド信号Ｓを出力する。また、ステレオ信号変換装置１０１は、右チャネル信号Ｒを移動させた値（以下、この値を「サンプル差値」といい、ｚで表す）を符号化して多重化部１０４に出力する。なお、サンプル差値ｚについては、ステレオ信号変換装置１０１の内部構成の説明の中で詳しく説明する。

モノラル符号化部１０２は、モノラル信号Ｍを符号化し、得られた符号化データを多重化部１０４に出力する。サイド符号化部１０３は、サイド信号Ｓを符号化し、得られた符号化データを多重化部１０４に出力する。

多重化部１０４は、モノラル信号Ｍの符号化データ、サイド信号Ｓの符号化データ、サンプル差値ｚの符号化データを多重し、得られたビットストリームを出力する。

次に、ステレオ信号変換装置１０１の内部構成について説明する。ステレオ信号変換装置１０１は、サンプル差分析部１１１、サンプル差値計算部１１２、サンプル差値符号化部１１３、スライド部１１４および和差計算部１１５を有する。なお、図１では、左チャネル信号Ｌを固定する場合を示す。右チャネル信号Ｒを固定する場合には、図１に対して、左チャネル信号Ｌと右チャネル信号Ｒの入力が逆になる。

サンプル差分析部１１１は、左チャネル信号Ｌと右チャネル信号Ｒとの相関が最も高くなるタイミング差Ｄを分析し、サンプル差値計算部１１２に出力する。例えば、サンプル差分析部１１１は、以下の式（１）により、入力された１フレーム分の左チャネル信号Ｌと入力された１フレーム分の右チャネル信号Ｒをサンプル差ｄだけ時間的に移動させた信号との相関値Ｖ_ｄと、その時の右チャネル信号ＲのパワＣ_ｄを計算し、評価値Ｅ_ｄを求める。なお、式（１）において、Ｘ_ｉ ^Ｌは左チャネル信号の各サンプルタイミングｉにおける信号値、Ｘ_ｉ−ｄ ^Ｒは右チャネル信号をサンプル差ｄだけ時間的に移動させた信号の各サンプルタイミングｉにおける信号値である。

式（１）において、Ｅ_ｄが大きいほど左チャネル信号Ｌと右チャネル信号Ｒとの相関が高いこととなるから、サンプル差分析部１１１は、この評価値Ｅ_ｄが最も大きくなるサンプル差Ｄを計算する。例えば、サンプリングレートが１６ｋＨｚの場合、人間の両耳の間隔の最大が３４ｃｍ程度と仮定すると、音が伝わる速度が約３４０ｍ／ｓであるから、±１６サンプル（−１６〜＋１５）で性能が得られるので、サンプル差分析部１１１は、この範囲で評価値最大のサンプル差Ｄを計算する。

サンプル差値計算部１１２は、前フレームにおいて右チャネル信号Ｒを移動させた値とサンプル差分析部１１１から出力されたサンプル差Ｄとに基づいて、サンプル差値（現フレームにおいて右チャネル信号Ｒを移動させる値）ｚを計算する。そして、サンプル差値計算部１１２は、計算したサンプル差値ｚをサンプル差値符号化部１１３およびスライド部１１４に出力する。

ここで、本実施の形態では、連続するフレームにおけるサンプル差値ｚの変動量を１サンプルまでに限定し、サンプル差値計算部１１２は、以下のルールに基づいて計算するものとする。すなわち変動量は「−１、０、１」のいずれかとなる。ルール１：サンプル差Ｄが前フレームのサンプル差値ｚ（すなわち、前フレームにおいて右チャネル信号Ｒを移動させた値）と同じ場合、現フレームのサンプル差値ｚを前フレームのものと同じ値とする。この場合、変動量は「０」となる。ルール２：サンプル差Ｄが前フレームのサンプル差値ｚより大きい場合、現フレームのサンプル差値ｚを前フレームのものに対して１つ増やす。この場合、変動量は「１」となる。ルール３：サンプル差Ｄが前フレームのサンプル差値ｚより小さい場合、現フレームのサンプル差値ｚを前フレームのものに対して１つ減らす。この場合、変動量は「−１」となる。

サンプル差値符号化部１１３は、サンプル差値計算部１１２から出力されたサンプル差値ｚを符号化し、多重化部１０４に出力する。なお、サンプル差値の符号化方法として以下の２通りが挙げられる。

第１の方法は、サンプル差値ｚをそのまま符号化することである。例えば、サンプル差値ｚが−１６〜＋１５のいずれかの値をとる場合、この値に１６を加算した０〜３１の数値を５ビットの符号に変換することができる。

第２の方法は、差分（サンプル差値ｚの変動量）を符号化することである。サンプル差値ｚの変動量は「−１、０、１」のいずれかの値をとるので、この値に１を加算した０〜２の数値を２ビットの符号に変換することができる。ただし、第２の方法では、ビット誤りがある場合には、一度ビットを誤ると誤りが長く伝播し正常な状態（正しく復号化された信号の状態）に戻り難いという点に注意する必要がある。

このように、少数サンプル（本実施の形態では１サンプル）ずつ目標の遅延に近づける処理は大変理にかなった方法である。なぜならば、ステレオ録音における音源の位置はそれほど急激には変わらないという傾向があり、フレーム長が２０ｍｓ程度であれば音源位置が変化しても１サンプルずつの変化で十分追従することができ、かつ、復号の際に空きサンプルが生じる場合にも前後のサンプルの値を用いて容易に内挿補間することができるからである。

スライド部１１４は、サンプル差値計算部１１２で計算されたサンプル差値ｚだけ、右チャネル信号Ｒを時間的に移動させ、移動後の右チャネル信号Ｒ_ｚを和差計算部１１５に出力する。

和差計算部１１５は、図２に示すように、左チャネル信号Ｌと移動後の右チャネル信号Ｒ_ｚとを加算してモノラル信号Ｍを生成し、左チャネル信号Ｌから移動後の右チャネル信号Ｒ_ｚを減算してサイド信号Ｓを生成する。そして、和差計算部１１５は、モノラル符号化部１０２にモノラル信号Ｍを出力し、サイド符号化部１０３にサイド信号Ｓを出力する。式（２）は、和差計算部１１５における計算の一例を示す。式（２）において、Ｘ_ｉ ^Ｍはモノラル信号の各サンプルタイミングｉにおける信号値、Ｘ_ｉ ^Ｓはサイド信号の各サンプルタイミングｉにおける信号値を示す。

このように、本実施の形態では、左チャネル信号と右チャネル信号の音源の位置が異なる場合に、これらの信号の一方を時間的に移動させてからモノラル信号およびサイド信号を生成する。これにより、モノラル信号によって、左チャネル信号と右チャネル信号の主成分を従来技術よりも忠実に表すことができ、サイド信号によって、左チャネル信号と右チャネル信号の空間的に異なる部分を従来技術よりも忠実に表すことができるので、音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。

図３は、本実施の形態に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図である。図３に示す復号装置３００は、分離部３０１と、モノラル復号部３０２と、サイド復号部３０３と、ステレオ信号逆変換装置３０４と、から主に構成される。

分離部３０１は、復号装置３００に受信されたビットストリームを分離し、モノラル信号Ｍの符号化データをモノラル復号部３０２に、サイド信号Ｓの符号化データをサイド復号部３０３に、サンプル差値ｚの符号化データをステレオ信号逆変換装置３０４に、それぞれ出力する。

モノラル復号部３０２は、モノラル信号Ｍの符号化データを復号し、得られたモノラル再生成信号Ｍ’をステレオ信号逆変換装置３０４に出力する。サイド復号部３０３は、サイド信号Ｓの符号化データを復号し、得られたサイド再生成信号Ｓ’をステレオ信号逆変換装置３０４に出力する。

ステレオ信号逆変換装置３０４は、サンプル差値ｚの符号化データ、モノラル再生成信号Ｍ’およびサイド再生成信号Ｓ’を用いて左チャネル再生成信号Ｌ’および右チャネル再生成信号Ｒ’を得る。

次に、ステレオ信号逆変換装置３０４の内部構成について説明する。ステレオ信号逆変換装置３０４は、和差計算部３１１、サンプル差値復号部３１２、逆スライド部３１３、内挿係数格納部３１４および空きサンプル内挿部３１５を有する。なお、図３では、左チャネル再生成信号Ｌ’を固定する場合を示す。右チャネル再生成信号Ｒ’を固定する場合には、図３に対して、左チャネル再生成信号Ｌ’と右チャネル再生成信号Ｒ’の入力が逆になる。

和差計算部３１１は、図４に示すように、モノラル復号部３０２から出力されたモノラル再生成信号Ｍ’およびサイド復号部３０３から出力されたサイド再生成信号Ｓ’を用いて、以下の式（３）により、左チャネル再生成信号Ｌ’および移動後の右チャネル再生成信号Ｒ_ｚ’を算出する。なお、式（３）において、Ｙ_ｉ ^Ｍはモノラル再生成信号の各サンプルタイミングｉにおける信号値、Ｙ_ｉ ^Ｓはサイド再生成信号の各サンプルタイミングｉにおける信号値、Ｙ_ｉ ^Ｌは左チャネル再生成信号の各サンプルタイミングｉにおける信号値、Ｙ_ｉ−ｚ ^Ｒは移動後の右チャネル再生成信号の各サンプルタイミングｉにおける信号値を示す。

サンプル差値復号部３１２は、分離部３０１から出力されたサンプル差値ｚの符号化データを復号し、得られたサンプル差値ｚを逆スライド部３１３に出力する。

逆スライド部３１３は、ステレオ信号変換装置１０１のスライド部１１４にて時間的に移動させた方向と逆方向に、サンプル差値復号部３１２から出力されたサンプル差値ｚだけ、移動後の右チャネル再生成信号Ｒ_ｚ’を移動させる。換言すれば、逆スライド部３１３は、移動後の右チャネル再生成信号Ｒ_ｚ’を左チャネル再生成信号Ｌ’と時間的に一致するように移動させる。

ここで、サンプル差値計算部１１２にて計算されたサンプル差値ｚの変動量が「１」の場合、逆スライド部３１３における移動の結果、右チャネル再生成信号Ｒ’の信号列において現フレームと前フレームとの間に１サンプル分の空白区間（以下、「空きサンプル」という）が生じる。空きサンプル内挿部３１５は、右チャネル再生成信号Ｒ’の信号列に空きサンプルが生じた場合、内挿係数格納部３１４に格納された係数値と前後のサンプルの値とを用いた内挿補間処理により空きサンプルを埋めてから右チャネル再生成信号Ｒ’を出力する。なお、右チャネル再生成信号Ｒ’の信号列に空きサンプルが生じない場合には、空きサンプル内挿部３１５は、右チャネル再生成信号Ｒ’をそのまま出力する。

次に、空きサンプル内挿部３１５における内挿補間処理について、具体例を用いて詳細に説明する。本例では空きサンプルの前後５サンプルから内挿するものとする。

空きサンプル内挿部３１５は、以下の式（４）のように、空きサンプルの前後５サンプルの線形和を計算することによって、空きサンプルの値を計算する。なお、式（４）において、Ｙ_ｊは空きサンプル、Ｙ_ｊ＋ｉは空きサンプルの前後５サンプル、β_ｉは内挿係数（固定値）である。なお、内挿係数格納部３１４に格納された内挿係数の一例を図５に示す。

このように、符号化側で移動した信号を逆方向に戻した結果、空きサンプルが生じた場合であっても、前後のサンプルの値を用いて内挿補間することにより、高効率の符号化／復号の後で不連続な異音感を起さないようにすることができる。特に、符号化側で、少数サンプル（本実施の形態では１サンプル）ずつ目標の遅延に近づける処理を行うことにより、復号側において内挿する空きサンプルを少数とすることができ、ステレオ信号の音質を維持することができる。

図６は、本発明の実証実験の結果を示す図である。図６では、従来方法（オリジナル）と本発明とで、左チャネル信号Ｌと右チャネル信号Ｒからモノラル信号Ｍとサイド信号Ｓを求めて符号化／復号し、左チャネル再生成信号Ｌ’と右チャネル再生成信号Ｒ’とを生成した場合のＳ／Ｎ比（単位ｄＢ、大きい方が品質が良い）を示している。ここで、図６において、左チャネル信号ＬのＳ／Ｎ比は式（５）より求め、右チャネル信号ＲのＳ／Ｎ比は式（６）より求める。

図６に示すように、本発明は、人の声のように方向が定まるものの場合に特に効果があり、従来方法に比べてＳ／Ｎ比が平均で０．６ｄＢ以上改善することができた。また、本発明は、音楽の様に方向が定まらないものの場合でも従来方法に比べてＳ／Ｎ比が０．１５ｄＢ程度改善することができた。

以上説明したように、本発明では、左チャネル信号と右チャネル信号の音源の位置が異なる場合に、これらの信号の一方を時間的に移動させてからモノラル信号およびサイド信号を生成し、時間差（サンプル差値に相当）の成分は別に符号化する。これにより、モノラル信号によって、左チャネル信号と右チャネル信号の主成分を従来技術よりも忠実に表すことができ、サイド信号によって、左チャネル信号と右チャネル信号の空間的に異なる部分を従来技術よりも忠実に表すことができるので、音源の位置が異なる場合であっても、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。

さらに、符号化側で移動した信号を逆方向に戻した結果、空きサンプルが生じた場合であっても、前後のサンプルの値を用いて内挿補間することにより、高効率の符号化／復号の後で不連続な異音感を起さないようにすることができる。特に、符号化側で、少数サンプルずつ目標の遅延に近づける処理を行うことにより、復号側において内挿するサンプルを少数とすることができ、ステレオ信号の音質を維持することができる。

（実施の形態２）
本実施の形態は、復号装置において、サンプル差値だけ変動している方の信号に重なる部分（既にデータが入っている位置に更にデータが書き込まれる状態）が生じた場合、重なる部分のサンプル値同士を演算して、重なる部分のサンプル値を求めることを特徴とする。

図７は、本発明の実施の形態２に係る復号装置７００の構成を示すブロック図である。

図７に示す復号装置７００は、図３に示す実施の形態１に係る復号装置３００に対して、ステレオ信号逆変換装置３０４の代わりにステレオ信号逆変換装置７０１を有する。なお、図７において、図３と同一構成である部分には同一の符号を付してその説明を省略する。

図７に示す復号装置７００は、分離部３０１と、モノラル復号部３０２と、サイド復号部３０３と、ステレオ信号逆変換装置７０１と、から主に構成される。

モノラル復号部３０２は、モノラル信号Ｍの符号化データを復号し、得られたモノラル再生成信号Ｍ’をステレオ信号逆変換装置７０１に出力する。サイド復号部３０３は、サイド信号Ｓの符号化データを復号し、得られたサイド再生成信号Ｓ’をステレオ信号逆変換装置７０１に出力する。

ステレオ信号逆変換装置７０１は、サンプル差値ｚの符号化データ、モノラル再生成信号Ｍ’およびサイド再生成信号Ｓ’を用いて左チャネル再生成信号Ｌ’および右チャネル再生成信号Ｒ’を得る。

次に、ステレオ信号逆変換装置７０１の内部構成について説明する。

図７に示すステレオ信号逆変換装置７０１は、図３に示す実施の形態１に係るステレオ信号逆変換装置３０４に対して、重なりサンプル処理部７０２を追加する。なお、図７において、図３と同一構成である部分には同一の符号を付してその説明を省略する。

ステレオ信号逆変換装置７０１は、和差計算部３１１、サンプル差値復号部３１２、逆スライド部３１３、内挿係数格納部３１４、空きサンプル内挿部３１５及び重なりサンプル処理部７０２を有する。なお、図７では、左チャネル再生成信号Ｌ’を固定する場合を示す。右チャネル再生成信号Ｒ’を固定する場合には、図７に対して、左チャネル再生成信号Ｌ’と右チャネル再生成信号Ｒ’の入力が逆になる。

空きサンプル内挿部３１５は、右チャネル再生成信号Ｒ’の信号列に空きサンプルが生じた場合、内挿係数格納部３１４に格納された係数値と前後のサンプルの値とを用いた内挿補間処理により空きサンプルを埋めてから右チャネル再生成信号Ｒ’を重なりサンプル処理部７０２へ出力する。なお、右チャネル再生成信号Ｒ’の信号列に空きサンプルが生じない場合には、空きサンプル内挿部３１５は、右チャネル再生成信号Ｒ’をそのまま重なりサンプル処理部７０２へ出力する。また、空きサンプル内挿部３１５における内挿補間処理については、上記の実施の形態１と同一であるので、その説明を省略する。

重なりサンプル処理部７０２は、空きサンプル内挿部３１５から入力した右チャネル再生成信号Ｒ’の信号列のサンプルに重なりが生じた場合には、重なった複数のサンプルを用いた演算によりサンプル値を求める。これにより、重なりサンプル処理部７０２は、「重なった部分」の重なりを解消する。なお、右チャネル再生成信号Ｒ’の信号列のサンプルに重なりが生じない場合には、重なりサンプル処理部７０２は、右チャネル再生成信号Ｒ’をそのまま出力する。

次に、重なりサンプル処理部７０２における「重なった部分」のサンプル値を求める処理について、具体例を用いて説明する。本例では、図８に示すように、サンプル差値が過去（ｚからｚ＋1）に動いている場合に起こるサンプルの「重なった部分」＃８０１のサンプル値を求めるものとする。図８は、１サンプルの重なりができる場合を示す。

重なりサンプル処理部７０２は、式（７）より、前後のサンプル（重なっているサンプル）の線形和を計算する。

重なりサンプル処理部７０２は、上記の処理を経て、右チャネル再生成信号Ｒ’を得る。そして、右チャネル再生成信号Ｒ’は、和差計算部３１１で算出された左チャネル再生成信号Ｌ’と共に、ステレオ信号逆変換装置７０１の外部に出力される。

重なりサンプル処理部７０２において求めるサンプル値は、第ｍフレームと第（ｍ＋１）フレームの両方で求められた値に基づいて算出されるので、両フレームの情報から実際の値に近いサンプル値を算出でき、また、両フレーム間で連続するサンプルを重ねることで音の不連続感を少なくすることができる。また、本実施の形態によれば、高効率の符号化及び復号の後に、不連続な異音感を生じないようにすることができ、高品質に符号化及び復号されたステレオ信号の音質を損なわないように処理することができる。

なお、サンプル差値が２以上の場合、即ち２サンプル以上の重なりが生じる場合もあるが、その場合は三角窓などで整合すればよい。例として、サンプル差値が２（重なりの数が２）の場合と、サンプル差値が３（重なりの数が３）の場合について式（８）に示す。

このように、本実施の形態によれば、上記実施の形態１の効果に加えて、重なった部分のサンプル値を、重なったサンプルを含む前後のフレームから求めるので、両フレームの情報を無駄なく使用することができるとともに、聴感的に音の不連続感を起き難くすることができる。

なお、上記の各実施の形態では、左チャネル信号、右チャネル信号という名称を用いて２つのステレオ信号を表したが、より一般的な第１チャネル信号、第２チャネル信号という名称を用いることもできる。

また、上記の各実施の形態では、ステレオ信号のうち左チャネル信号を固定する場合について説明したが、本発明は、右チャネル信号を固定しても同様の効果を得ることができる。この場合、上記各実施の形態の説明の左チャネル信号と右チャネル信号を逆にすればよい。

また、上記の各実施の形態ではサンプル差値の範囲を±１６としたが、本発明はサンプル差値の範囲について限定はない。この範囲を広くすれば遅延を表現するバリエーションが増えるのでより高品質になり、狭くすれば符号化ビットを減らすことができる。

また、上記の各実施の形態ではサンプル差値の変動量を±１サンプルとしたが、本発明はサンプル差値の変動量について限定はない。ただし、サンプル差値の変動量は、空きサンプル内挿部３１５で内挿できる範囲が限界であり、発明者はサンプリングレートが１６ｋＨｚのステレオ音声では１ないし２サンプルが限界であることも検証している。

また、上記の各実施の形態では空きサンプル内挿部３１５の内挿を前後５サンプルの線形和で行ったが、本発明は内挿に使用するサンプル数について限定はない。もっと多ければ補間精度を向上させることができる。なお、５サンプルというのは発明者が実験により検討した最低のサンプル数であり、これ以上少なくすることは補間精度を落とし小さな異音感に繋がることを検証している。勿論、内挿に使用するサンプル数を増やし過ぎると計算量が増加するという課題もある。

また、上記の各実施の形態ではサンプル差値を整数値としたが、本発明はこれに限られず、サンプル差値として分数値を使用することもできる。この場合、ＳＩＮＣ関数などを使って分数値を補間することによって使用する。分数値を使用することによってより時間差の精度を向上させることができる。ただし、１／２精度、１／３精度と精度を向上させていくと計算量が増加するという課題もある。ちなみに、発明者は、サンプリングレートが１６ｋＨｚであれば整数精度で効果が得られることを確認している。また、発明者は、８ｋＨｚサンプリングの場合は１／２精度など精度の向上が必要であることを確認している。

また、本発明は、サンプリングレートに依存せず、８ｋＨｚ、１６ｋＨｚ、３２ｋＨｚ、４４．１ｋＨｚ、４８ｋＨｚサンプリングなど全てのサンプリングレートに対応することができる。なお、３２ｋＨｚ以上のサンプリングレートの場合は、サンプル差値として±１６よりももっと広い範囲の探索が必要になる。また、この場合には、多くのサンプルの補間が可能になるので、サンプル差値の変動量を増やすことができる。

また、上記の各実施の形態では、符号化側から復号側に符号化した情報を伝送する場合について説明したが、本発明は、符号化側において符号化した情報を媒体記録に格納する場合も有効である。オーディオ信号はメモリやディスクに蓄積して用いる場合も多く、本発明はその場合にも有効である。

また、上記の各実施の形態では２チャネルの場合について示したが、本発明は、チャネル数について限定はなく、５．１ｃｈなどの多チャネルの場合にも有効であり、固定するチャネルと時間差を伴った相関のあるチャネルを明らかにすればそのまま適用することができる。

また、上記の各実施の形態ではモノラル信号とサイド信号をそれぞれ符号化する場合について示したが、本発明はこれに限られず、モノラル信号のみを使用する方法でも有効である。本発明を用いることにより、位相のずれを補正してダウンミックスすることができるので、より音源に近い高品質のモノラル信号を得ることができる。

また、上記の各実施の形態において、左チャネル信号と右チャネル信号をモノラル信号とサイド信号に変換する式は、以下の式（９）のマトリクスで表現することができるが、このマトリクスが式（９）と異なる場合であっても本発明は有効である。位相の差を少しずつ補正し、元に戻す際に生じる空白区間を内挿補間するという本発明の特徴は、上記マトリクスの特徴に依存しないからである。したがって、５．１チャンネルなどの多チャンネル信号の変換の場合には、マトリクスの次元はもっと大きくなり、数値も複雑になるが、その場合にも本発明は有効である。

なお、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置、復号装置を有するシステムであればどのような場合にも適用することができる。

また、本発明に係る符号化装置および復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る符号化装置等と同様の機能を実現することができる。

また、上記の各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。

また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。

２００７年１２月２１日出願の特願２００７−３３０９９１の日本出願、及び２００８年９月３０日出願の特願２００８−２５３６３６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係るステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法は、携帯電話、ＩＰ電話、テレビ会議等に用いるに好適である。

本発明のステレオ信号変換装置は、ステレオ信号を構成する第１チャネル信号と第２チャネル信号との相関が最も高くなるタイミング差を分析する分析手段と、前記タイミング差に基づいて前記第２チャネル信号を時間移動させるスライド手段と、前記第１チャネル
信号と前記時間移動させた後の第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号を生成する和差計算手段と、を具備する構成を採る。

ここで、本実施の形態では、連続するフレームにおけるサンプル差値ｚの変動量を１サンプルまでに限定し、サンプル差値計算部１１２は、以下のルールに基づいて計算するものとする。すなわち変動量は「−１、０、１」のいずれかとなる。
ルール１：サンプル差Ｄが前フレームのサンプル差値ｚ（すなわち、前フレームにおいて右チャネル信号Ｒを移動させた値）と同じ場合、現フレームのサンプル差値ｚを前フレームのものと同じ値とする。この場合、変動量は「０」となる。
ルール２：サンプル差Ｄが前フレームのサンプル差値ｚより大きい場合、現フレームのサンプル差値ｚを前フレームのものに対して１つ増やす。この場合、変動量は「１」となる。
ルール３：サンプル差Ｄが前フレームのサンプル差値ｚより小さい場合、現フレームのサンプル差値ｚを前フレームのものに対して１つ減らす。この場合、変動量は「−１」となる。

このように、少数サンプル（本実施の形態では１サンプル）ずつ目標の遅延に近づける
処理は大変理にかなった方法である。なぜならば、ステレオ録音における音源の位置はそれほど急激には変わらないという傾向があり、フレーム長が２０ｍｓ程度であれば音源位置が変化しても１サンプルずつの変化で十分追従することができ、かつ、復号の際に空きサンプルが生じる場合にも前後のサンプルの値を用いて容易に内挿補間することができるからである。

次に、ステレオ信号逆変換装置３０４の内部構成について説明する。ステレオ信号逆変
換装置３０４は、和差計算部３１１、サンプル差値復号部３１２、逆スライド部３１３、内挿係数格納部３１４および空きサンプル内挿部３１５を有する。なお、図３では、左チャネル再生成信号Ｌ’を固定する場合を示す。右チャネル再生成信号Ｒ’を固定する場合には、図３に対して、左チャネル再生成信号Ｌ’と右チャネル再生成信号Ｒ’の入力が逆になる。

（実施の形態２）
本実施の形態は、復号装置において、サンプル差値だけ変動している方の信号に重なる
部分（既にデータが入っている位置に更にデータが書き込まれる状態）が生じた場合、重なる部分のサンプル値同士を演算して、重なる部分のサンプル値を求めることを特徴とする。

なお、上記の各実施の形態では、左チャネル信号、右チャネル信号という名称を用いて２つのステレオ信号を表したが、より一般的な第１チャネル信号、第２チャネル信号とい
う名称を用いることもできる。

また、上記の各実施の形態ではモノラル信号とサイド信号をそれぞれ符号化する場合について示したが、本発明はこれに限られず、モノラル信号のみを使用する方法でも有効で
ある。本発明を用いることにより、位相のずれを補正してダウンミックスすることができるので、より音源に近い高品質のモノラル信号を得ることができる。

Claims

ステレオ信号を構成する第１チャネル信号と第２チャネル信号との相関が最も高くなるタイミング差を分析する分析手段と、
前記タイミング差に基づいて前記第２チャネル信号を時間移動させるスライド手段と、
前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号を生成する和差計算手段と、
を具備するステレオ信号変換装置。
前フレームにおいて前記第２チャネル信号を移動させた値と前記タイミング差とに基づいて現フレームの移動値を計算する移動値計算手段を、さらに具備し、
前記スライド手段は、前記現フレームの移動値だけ前記第２チャネル信号を時間移動させる、
請求項１記載のステレオ信号変換装置。
前記移動値計算手段は、前記タイミング差が前フレームにおいて前記第２チャネル信号を移動させた値と同じ場合には現フレームの移動値を前フレームのものと同じ値とし、前記タイミング差が前フレームにおいて前記第２チャネル信号を移動させた値より大きい場合には現フレームの移動値を前フレームのものに対して所定幅だけ増やし、前記タイミング差が前フレームにおいて前記第２チャネル信号を移動させた値より小さい場合には現フレームの移動値を前フレームのものに対して所定幅だけ減らす、
請求項２記載のステレオ信号変換装置。
請求項１記載のステレオ信号変換装置と、
前記ステレオ信号変換装置が生成したモノラル信号を符号化する第１符号化手段と、
前記ステレオ信号変換装置が生成したサイド信号を符号化する第２符号化手段と、
前記ステレオ信号変換装置において前記第２チャネル信号を移動させた値を示す情報を符号化する第３符号化手段と、
を具備する符号化装置。
ステレオ信号を構成する第１チャネル信号と時間移動させた後の第２チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第１チャネル信号の再生成信号および前記時間移動させた後の第２チャネル信号の再生成信号を生成する再生成信号生成手段と、
前記時間移動させた後の第２チャネル信号の再生成信号を元に戻すように移動させる逆スライド手段と、
を具備するステレオ信号逆変換装置。
前記逆スライド手段にて前記第２チャネル信号の再生成信号を移動させた結果、前記第２チャネル信号の再生成信号の信号列に空白区間が生じる場合に、前記空白区間を内挿補間する内挿補間手段を、さらに具備する請求項５記載のステレオ信号逆変換装置。
前記逆スライド手段にて前記第２チャネル信号の再生成信号を移動させた結果、前記第２チャネル信号の再生成信号の信号列に重なり区間が生じる場合に、前記重なり区間の前記第２チャネル信号の再生成信号を用いて、予め設定された演算を行うことにより、前記重なり区間の重なりを解消する重なり区間処理手段を、さらに具備する請求項５記載のステレオ信号逆変換装置。
前記モノラル信号の符号化データを復号して前記モノラル再生成信号を生成する第１復号手段と、
前記サイド信号の符号化データを復号して前記サイド再生成信号を生成する第２復号手段と、
前記第２チャネル信号を移動させた値を示す情報の符号化データを復号する第３復号手段と、
請求項５記載のステレオ信号逆変換装置と、
を具備する復号装置。
ステレオ信号を構成する第１チャネル信号と第２チャネル信号との相関が最も高くなるタイミング差を分析する分析工程と、
前記タイミング差に基づいて前記第２チャネル信号を時間移動させるスライド工程と、
前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号を生成する和差計算工程と、
を具備するステレオ信号変換方法。
ステレオ信号を構成する第１チャネル信号と時間移動させた後の第２チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第１チャネル信号と前記時間移動させた後の第２チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号とを用いて、前記第１チャネル信号の再生成信号および前記時間移動させた後の第２チャネル信号の再生成信号を生成する再生成信号生成工程と、
前記時間移動させた後の第２チャネル信号の再生成信号を元に戻すように移動させる逆スライド工程と、
を具備するステレオ信号逆変換方法。