[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3690591B2 - Encoder - Google Patents

Encoder Download PDF

Info

Publication number
JP3690591B2
JP3690591B2 JP2001158186A JP2001158186A JP3690591B2 JP 3690591 B2 JP3690591 B2 JP 3690591B2 JP 2001158186 A JP2001158186 A JP 2001158186A JP 2001158186 A JP2001158186 A JP 2001158186A JP 3690591 B2 JP3690591 B2 JP 3690591B2
Authority
JP
Japan
Prior art keywords
signal
channel
encoding
bit rate
channel signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001158186A
Other languages
Japanese (ja)
Other versions
JP2002351497A (en
Inventor
幸生 河本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001158186A priority Critical patent/JP3690591B2/en
Publication of JP2002351497A publication Critical patent/JP2002351497A/en
Application granted granted Critical
Publication of JP3690591B2 publication Critical patent/JP3690591B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、フレーム毎に信号の種類が切り替わる可能性がある時間軸上の信号を複数フレームから成るブロック毎に周波数軸上の信号に変換した上で符号化する符号化装置に関するものである。
【0002】
【従来の技術】
オーディオ信号の高能率符号化の方式としては、時間軸上の信号をフレーム(所定時間単位)毎に周波数軸上の信号に変換して複数の周波数帯域に分割し、各帯域毎に符号化する変換符号化方式や、時間軸上の信号のまま複数の周波数帯域に分割し、各帯域毎に符号化する帯域分割符号化方式や、帯域分割符号化方式と変換符号化方式とを組み合わせた方式が知られている。
【0003】
尚、帯域分割符号化方式では、直交ミラーフィルタ(Quadrature Mirror Filter)などのフィルタを用いることによって、時間軸上の信号を複数の周波数帯域に分割するようになっている。また、変換符号化方式では、離散フーリエ変換(Discrete Fourier Transform)、離散コサイン変換(Discrete Cosine Transform)、変形離散コサイン変換(Modified Discrete Cosine Transform)などを用いることによって、スペクトラム変換を行う(時間軸上の信号を周波数軸上の信号に変換する)ようになっている。
【0004】
ここで、例えば変形離散コサイン変換を用いてスペクトラム変換を行う場合は、1フレーム内のサンプルデータの個数をMとすると、1つ前にスペクトラム変換した2M個のサンプルデータの後半のM個のデータを次にスペクトラム変換を行う2M個のサンプルデータの前半のM個のデータとすることにより、2M個のサンプルデータ(すなわち、2フレーム分のサンプルデータ)毎にスペクトラム変換を行うようになっている。このようにすることで、符号化を行う単位ブロック間の接続歪みを低減することができる。
【0005】
また、国際公開番号WO98/46045の公報には、例えばオーディオのステレオ信号などの、相関がある複数の信号を符号化する場合には、複数の信号間で相関を利用して、さらに高能率な符号化を実現する技術が開示されている。
【0006】
例えばオーディオのステレオ信号を構成するL(左)チャネルの信号とR(右)チャネルの信号とを符号化する場合には、Lチャネルの信号とRチャネルの信号との平均をとった信号を第1チャネルの信号とするとともに、Lチャネルの信号とRチャネルの信号との差を2で割った信号、Lチャネルの信号、Rチャネルの信号のいずれかを第2チャネルの信号とし、第1チャネルの信号と第2チャネルの信号とを別個に符号化するようになっている。
【0007】
そして、Lチャネルの信号とRチャネルの信号との間に相関がある場合には、Lチャネルの信号とRチャネルの信号との差を2で割った信号を第2チャネルの信号として設定し、一方、Lチャネルの信号とRチャネルの信号との間に相関がない場合には、両信号のうち相対的に信号レベルが低い方を第2チャネルの信号として設定する。尚、上記3つの信号のいずれを第2チャネルの信号として設定するかは1フレーム毎に決定される。
【0008】
これにより、第2チャネルの信号は第1チャネルの信号に比してレベルが小さくなるので、第2チャネルの信号を符号化する際のビットレートを低くして、より高能率な符号化を実現することができる。
【0009】
【発明が解決しようとする課題】
しかしながら、上述した2つの技術、すなわち、符号化を行う単位ブロック間ので接続歪みを低減する技術、及び、相関がある複数の信号をより高能率に符号化する技術を組み合わせて用いようとすると、複数フレーム(上記例では2フレーム)を1単位として符号化を行うのに対して、1フレーム毎に信号の種類が切り替わる可能性があるため、符号化を行う単位ブロック内で信号レベルが急激に変化してしまい、その結果、信号の種類を切り替えるチャネルに割り当てられているビットレートは低いことから、量子化ノイズが増大するという問題があった。
【0010】
そこで、本発明は、符号化を行う単位ブロック内で符号化を行う対象である信号の種類が切り替わることに起因した量子化ノイズの増大を抑制することができるようにした符号化装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
上記の目的を達成するため、本発明では、
複数チャネルの全ての入力信号を合成することにより得られる信号を第1チャネルの信号として出力する第1のチャネル変換手段と、
複数チャネルの全ての入力信号を合成することにより得られる信号、または、一部のチャネルの入力信号を第2チャネルの信号として出力する第2のチャネル変換手段と、
各チャネルの入力信号の関係に応じて、前記第2のチャネル変換手段が出力する信号を1フレーム毎に設定するチャネル変換制御手段と、
前記第1のチャネル変換手段及び前記第2のチャネル変換手段から出力される信号を複数フレームから成るブロック毎に周波数軸上の信号に変換した上で符号化する符号化手段と、を備えた符号化装置において、
前記第2のチャネル変換手段から出力される信号を符号化する際のビットレートを、符号化するブロック内で前記第2のチャネル変換手段から出力される信号の種類が切り替わる場合には、切り替わらない場合よりも高く、符号化する各ブロック毎に設定するビットレート設定手段を備えている。
【0012】
この構成により、符号化を行う単位ブロック毎にそのブロック内で符号化する対象である信号の種類が切り替わるときには切り替わらないときよりも高いビットレートを割り当てるようにすることができる。
【0013】
また、前記第2のチャネル変換手段から出力される信号を符号化する際のビットレートを、前記第2のチャネル変換手段から出力される信号の種類が最後に切り替わってから経過したフレーム数に応じて設定する構成にしてもよい。
【0014】
この構成により、符号化を行う単位ブロック内で信号の種類は切り替わらないが、1つ前のフレームから信号の種類が切り替わったフレームが含まれるブロックでは高いビットレートを割り当てるようにすることができる。
【0015】
また、前記第2のチャネル変換手段から出力される信号を符号化する際のビットレートを、前記第2のチャネル変換手段から出力される信号の種類に応じて設定する構成にしてもよい。
【0016】
この構成により、他の種類に比べて量子化ノイズが復号した信号の劣化に大きく影響する種類の信号を符号化する際には高いビットレートを設定するようにして量子化ノイズを小さくすることができる。
【0017】
また、前記第2のチャネル変換手段から出力される信号から先に符号化されるようになっており、前記第1のチャネル変換手段から出力される信号、及び、前記第2のチャネル変換手段から出力される信号を符号化するために予め与えられたビットレートのうち、前記第2のチャネル変換手段から出力される信号が符号化された後に残っているビットレートで前記第1のチャネル変換手段から出力される信号が符号化される構成にしてもよい。
【0018】
この構成により、符号化を行う単位ブロック内で信号の種類が切り替わる可能性がある信号を符号化する際のビットレートを高く設定しても、実際の符号化において使用されなかったビットレートについては、他の信号を符号化する際のビットレートに割り当てられる。
【0019】
【発明の実施の形態】
以下に、本発明の実施形態を図面を参照しながら説明する。図1は本発明の一実施形態である、オーディオのステレオ信号(L(左)チャネルの信号及びR(右)チャネルの信号)を符号化する対象とした符号化装置のブロック図である。当該符号化装置への入力信号であるPCM(Pulse Code Modulation)変調されたLチャネルの信号及びRチャネルの信号は、直交ミラーフィルタなどで構成された周波数帯域分割回路1によって複数の周波数帯域に分割された後、第1のチャネル変換回路2−1、第2のチャネル変換回路2−2、及び、制御回路5に与えられる。
【0020】
第1のチャネル変換回路2−1は、周波数帯域分割回路1から与えられるLチャネルの信号とRチャネルの信号との平均をとった信号(すなわち、(Lチャネルの信号+Rチャネルの信号)/2)を出力する。第2のチャネル変換回路2−2は、周波数帯域分割回路1から与えられるLチャネルの信号とRチャネルの信号との差を2で割った信号(すなわち、(Lチャネルの信号−Rチャネルの信号)/2)、Lチャネルの信号、Rチャネルの信号のいずれかを出力する。第2のチャネル変換回路2−2がいずれの信号を出力するかは、周波数帯域分割回路1から与えられるLチャネルの信号とRチャネルの信号との相関の有無、及び、両信号の大小関係に応じて1フレーム毎に制御回路5によって設定される。
【0021】
具体的には、Lチャネルの信号、Rチャネルの信号がそれぞれ図2の(a)、(b)に示すようになっており、Lチャネルの信号とRチャネルの信号との間に相関がある場合には、図3の(b)に示すように、(Lチャネルの信号−Rチャネルの信号)/2の信号レベルが非常に小さくなるので、(Lチャネルの信号−Rチャネルの信号)/2を出力するように設定する。
【0022】
一方、Lチャネルの信号、Rチャネルの信号がそれぞれ図4の(a)、(b)に示すようになっており、Lチャネルの信号とRチャネルの信号との間に相関がない場合には、図5の(b)に示すように、(Lチャネルの信号−Rチャネルの信号)/2の信号レベルが小さくならないため、Lチャネルの信号、Rチャネルの信号のうち相対的に信号レベルが低い方(図4の場合はRチャネルの信号)を出力するように設定する。
【0023】
これにより、第2のチャネル変換回路2−2からはできるだけレベルが小さな信号が出力されることになるので、第2のチャネル変換回路2−2から出力される信号を符号化する際のビットレートを低くしても、量子化ノイズはそれほど目立たなくなる。したがって、第2のチャネル変換回路2−2から出力される信号に割り当てるビットレートを低くして、より高能率な符号化を実現することができる。
【0024】
第1の符号化回路3−1は、第1のチャネル変換回路2−1から出力される信号(以下、「Aチャネルの信号」と言う)を、隣接する2つのフレームであるx番フレーム及びx+1番フレームから成る符号化ブロック毎に、変形離散コサイン変換によって周波数軸上の信号に変換した上で、制御回路5によって設定されるビットレートで符号化し、これにより得られた符号をAチャネルの信号のx+1番フレームの符号として出力する。
【0025】
第2の符号化回路3−2は、第2のチャネル変換回路2−2から出力される信号(以下、「Bチャネルの信号」と言う)を、隣接する2つのフレームであるx番フレーム及びx+1番フレームから成る符号化ブロック毎に、変形離散コサイン変換によって周波数軸上の信号に変換した上で、制御回路5によって設定されるビットレートで符号化し、これにより得られた符号をBチャネルの信号のx+1番フレームの符号として出力する。
【0026】
符号列生成回路4は、図6に示すような符号列を生成して出力する。符号列生成回路4から出力される符号列は例えば記録メディアに記録される。図6では、AチャネルとBチャネルとの符号をある定められたビットレートのフレームに格納するフォーマットの例である。符号列のx番フレームには、Aチャネルの信号のx番フレームの符号、Bチャネルの信号のx番フレームの符号、チャネル構成データの順に先頭から格納されている。チャネル構成データとは、当フレームにおけるBチャネルの信号の種類を示すものであり、この例では、チャネル構成データが1のときは(Lチャネルの信号−Rチャネルの信号)/2、2のときはLチャネルの信号、3のときはRチャネルの信号であることをそれぞれ意味するものとする。
【0027】
制御回路5は、前述したように、周波数帯域分割回路1から与えられるLチャネルの信号とRチャネルの信号との相関の有無、及び、両信号の大小関係に応じて第2のチャネル変換回路2−2から出力される信号の種類を設定するとともに、各部の動作を制御する。また、制御回路5は、第1の符号化回路3−1及び第2の符号化回路3−2に対して各フレームの符号化ブロック毎にビットレートを設定する。この動作について、図7に示すフローチャートを用いて説明する。
【0028】
まず、現在のフレームにおいて、Bチャネルの信号のチャネル構成データが1つ前のフレームから切り替わったか否かを判定する(S1)。S1での判定の結果、チャネル構成データが切り替わっていれば(S1のYES)、チャネル構成データが最後に切り替わってから経過したフレーム数をカウントするためのフレームカウンタの値を0にセットし(S2)、次いで、第2の符号化回路3−2に対して96[kbps]のビットレートを設定する(すなわち、Bチャネルの信号を符号化する際のビットレートを96[kbps]に設定する)とともに、第1の符号化回路3−1に対して32[kbps]のビットレートを暫定的に設定する(すなわち、Aチャネルの信号を符号化する際のビットレートを32[kbps]に暫定的に設定する)(S3)。S3を終えると、後述するS9へ移行する。
【0029】
一方、S1での判定の結果、チャネル構成データが切り替わっていない場合には(S1のNO)、フレームカウンタの値を1だけインクリメントさせる(S4)。尚、フレームカウンタの値は所定値以上にならないように制限されている。次に、フレームカウンタの値が2より小さいか否かを判定する(S5)。S5での判定の結果、フレームカウンタの値が2より小さければ(S5のYES)、前述したS3へ移行し、一方、フレームカウンタの値が2より小さくなければ(S5のNO)、後述するS6へ移行する。
【0030】
S6では、現在のフレームのチャネル構成データが1であるか否かを判定する。S6での判定の結果、チャネル構成データが1でれば(S6のYES)、第2の符号化回路3−2に対して32[kbps]のビットレートを設定するとともに、第1の符号化回路3−1に対して96[kbps]のビットレートを暫定的に設定する(S7)。一方、チャネル構成データが1でなければ(S6のNO)、第2の符号化回路3−2に対して48[kbps]のビットレートを設定するとともに、第1の符号化回路3−1に対して80[kbps]のビットレートを暫定的に設定する(S8)。S7及びS8を終えると、後述するS9へ移行する。
【0031】
S9では、第2の符号化回路3−2にBチャネルの信号の符号化を実行させる。これにより、第2の符号化回路3−2はBチャネルの信号の1つ前のフレームと現在のフレームから成るブロックを変形離散コサイン変換によって周波数軸上の信号に変換した上で、制御回路5によって設定されたビットレートで符号化する。
【0032】
次に、符号化の処理においては、割り当てたビットレートの全てが使用されるとは限らないので、第2の符号化回路3−2によるBチャネルの信号の符号化が完了すると、設定したビットレートのうち実際の符号化において使用されたビットレートとの差(すなわち、余ったビットレート)を算出する(S10)。次に、第1の符号化回路3−1に対して暫定的に設定したビットレートにS10で算出したビットレートを加算して得られるビットレートを設定し直す(S11)。
【0033】
そして、第1の符号化回路3−1にAチャネルの信号の符号化を実行させる(S12)。これにより、第1の符号化回路3−1はAチャネルの信号の1つ前のフレームと現在のフレームから成るブロックを変形離散コサイン変換によって周波数軸上の信号に変換した上で、制御回路5によって設定されたビットレートで符号化する。以上のS1〜S12の処理が各フレーム毎に行われる。
【0034】
以上の構成により、例えば、図8の(a)、(b)にそれぞれ示すようなLチャネルの信号、Rチャネルの信号が入力され、その結果、Aチャネルの信号、Bチャネルの信号がそれぞれ図8の(c)、(d)に示すようになったとすると、N番フレームの符号化ブロックを成すN−1番フレーム及びN番フレームではBチャネルの信号のチャネル構成データが共に1であり、Bチャネルの信号の種類が符号化ブロック内で切り替わらないので、N番フレームの符号化ブロックではBチャネルの信号を符号化する際のビットレートが32[kbps]に設定される。
【0035】
これに対して、N+1番フレームの符号化ブロックを成すN番フレーム、N+1番フレームではBチャネルの信号のチャネル構成データがそれぞれ1、3であり、Bチャネルの信号の種類が符号化ブロック内で切り替わるので、N+1番フレームの符号化ブロックではBチャネルの信号を符号化する際のビットレートが96[kbps]に設定される。
【0036】
このように、本実施形態では、そのブロック内でBチャネルの信号の種類が切り替わる符号化ブロックでは、切り替わらないブロックよりも、Bチャネルの信号を符号化する際のビットレートを高く設定するので、Bチャネルの信号の種類が切り替わることに起因した量子化ノイズの増大を抑制することができる。
【0037】
ここで、第2のチャネル変換回路3−2では、チャネル構成データが切り替わったとき、1つ前のフレームと切り替わったフレームとのつなぎ目で信号レベルが急激に変化するのを防止するために、1つ前のフレームの最後のサンプルデータ、及び、切り替わったフレームの先頭の数サンプルデータを両フレームが滑らかにつながるように修正する場合がある。この場合には、チャネル構成データが切り替わったフレームとその次のフレームとではチャネル構成データが同じではあるが、前者のフレームではサンプルデータの修正がなされており、低いビットレートでは量子化ノイズの増大が懸念される。
【0038】
しかしながら、本実施形態では、図7のS5の処理により、チャネル構成データが最後に切り替わってから経過したフレーム数が1であるときには、言い換えれば、チャネル構成データが切り替わったフレーム、及び、その次のフレームから成る符号化ブロックでは、Bチャネルの信号を符号化する際のビットレートが高く設定される。したがって、上述したようにサンプルデータが修正される場合であっても、信号の種類が切り替わることに起因した量子化ノイズの増大を抑制することができる。尚、上述したようなサンプルデータの修正がなされない場合には、S5での判定しきい値を1にする、あるいは、S5を削除すればよい。
【0039】
また、チャネル構成データが1のとき(すなわち、Bチャネルの信号が(Lチャネルの信号−Rチャネルの信号)/2であるとき)には、復号したLチャネルの信号及びRチャネルの信号の劣化度は、Aチャネルの信号、Bチャネルの信号の両方の量子化ノイズで決定するのに対して、チャネル構成データが1以外のとき(すなわち、Bチャネルの信号がLチャネルの信号またはRチャネルの信号であるとき)には、復号したLチャネルの信号またはRチャネルの信号の劣化度は、Bチャネルの信号の量子化ノイズだけに依存する。このため、チャネル構成データが1であるときと1以外であるときとで同じビットレートでBチャネルの信号を符号化すると、Lチャネルの信号及びRチャネルの信号を復号した際に、Bチャネルの信号のチャネル構成データが1以外であった部分で劣化が目立ってしまう。
【0040】
これに対して、本実施形態では、図7のS6〜S8の処理により、Bチャネルの信号を符号化する際のビットレートを、チャネル構成データが1以外であるときには1であるときよりも高くしているので、上述したような問題が発生するのを防止することができる。
【0041】
また、本実施形態では、図7のS10及びS11の処理により、Bチャネルの信号を符号化する際のビットレートを高く設定したとしても、実際の符号化において使用されなかったビットレートについては、第1のチャネルの信号を符号化する際のビットレートに割り当てるので、より効率良く符号化を行うことができる。
【0042】
尚、本発明の実施形態として、入力信号が2チャネルであり、また、符号化を行う単位ブロックが2フレームである場合のみを示したが、入力信号が3チャネル以上の場合や、符号化を行う単位ブロックが3フレーム以上である場合にも本発明を適用することが可能である。
【0043】
【発明の効果】
以上説明したように、本発明の符号化装置によれば、符号化を行う単位ブロック毎にそのブロック内で符号化する対象である信号の種類が切り替わるか否かに応じてビットレートを設定するので、切り替わるときには切り替わらないときよりも高いビットレートを割り当てるようにして、信号の種類が切り替わることに起因した量子化ノイズの増大を抑制することができる。
【0044】
また、信号の種類が最後に切り替わってから経過したフレーム数に応じてビットレートを設定するので、符号化を行う単位ブロック内で信号の種類は切り替わらないが、1つ前のフレームから信号の種類が切り替わったフレームが含まれるブロックでは高いビットレートを割り当てるようにして、信号の種類が切り替わったときに1つ前のフレームと滑らかにつながるようにデータを修正する場合であっても、信号の種類が切り替わることに起因した量子化ノイズの増大を防止することができる。
【0045】
また、符号化を行う単位ブロック毎にそのブロック内の符号化する対象である信号の種類に応じてビットレートを設定するので、他の種類に比べて量子化ノイズが復号した信号の劣化に大きく影響する種類の信号を符号化する際には高いビットレートを設定するようにして量子化ノイズを小さくすれば、復号した信号の劣化が部分的に目立ってしまうという問題が発生するのを防止することができる。
【0046】
また、符号化を行う単位ブロック内で信号の種類が切り替わる可能性がある信号を符号化する際のビットレートを高く設定しても、実際の符号化において使用されなかったビットレートについては、他の信号を符号化する際のビットレートに割り当てるので、より効率良く符号化を行うことができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態である符号化装置のブロック図である。
【図2】 Lチャネルの信号及びRチャネルの信号の波形の一例を示す図である。
【図3】 Lチャネルの信号及びRチャネルの信号の波形が図2に示すものであるときに対応する(Lチャネルの信号+Rチャネルの信号)/2及び(Lチャネルの信号−Rチャネルの信号)/2の波形を示す図である。
【図4】 Lチャネルの信号及びRチャネルの信号の波形の別例を示す図である。
【図5】 Lチャネルの信号及びRチャネルの信号の波形が図4に示すものであるときに対応する(Lチャネルの信号+Rチャネルの信号)/2及び(Lチャネルの信号−Rチャネルの信号)/2の波形を示す図である。
【図6】 符号列生成回路が生成する符号列について説明するための図である。
【図7】 符号化ブロック毎にビットレートを設定する処理のフローチャートである。
【図8】 Lチャネルの信号及びRチャネルの信号の波形、並びに、これに対応するAチャネルの信号及びBチャネルの信号の波形の一例を示す図である。
【符号の説明】
1 周波数帯域分割回路
2−1 第1のチャネル変換回路
2−2 第2のチャネル変換回路
3−1 第1の符号化回路
3−2 第2の符号化回路
4 符号列生成回路
5 制御回路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a coding apparatus that performs coding after converting a signal on a time axis, which has a possibility of switching the type of signal for each frame, into a signal on a frequency axis for each block composed of a plurality of frames.
[0002]
[Prior art]
As a high-efficiency encoding method for audio signals, a signal on the time axis is converted into a signal on the frequency axis for each frame (predetermined time unit), divided into a plurality of frequency bands, and encoded for each band. Transform coding method, band division coding method that divides into multiple frequency bands with the signal on the time axis and encodes each band, or a method that combines band division coding method and transform coding method It has been known.
[0003]
In the band division coding method, a signal on the time axis is divided into a plurality of frequency bands by using a filter such as a quadrature mirror filter. Also, in transform coding, spectrum transform is performed by using discrete Fourier transform, discrete cosine transform, modified discrete cosine transform, etc. (on the time axis) Is converted to a signal on the frequency axis).
[0004]
Here, for example, when performing spectrum conversion using a modified discrete cosine transform, if the number of sample data in one frame is M, M data in the latter half of 2M sample data that was spectrum-converted one before. Is converted to M data in the first half of 2M sample data to be subjected to spectrum conversion next, whereby spectrum conversion is performed for every 2M sample data (that is, sample data for two frames). . By doing in this way, the connection distortion between the unit blocks which perform encoding can be reduced.
[0005]
Further, in the publication of International Publication No. WO98 / 46045, when encoding a plurality of correlated signals such as audio stereo signals, the correlation between the plurality of signals is used to further increase the efficiency. A technique for realizing encoding is disclosed.
[0006]
For example, when an L (left) channel signal and an R (right) channel signal constituting an audio stereo signal are encoded, an average of the L channel signal and the R channel signal is used as the first signal. A first channel signal, and a difference between an L channel signal and an R channel signal divided by two, an L channel signal, or an R channel signal as a second channel signal; And the signal of the second channel are encoded separately.
[0007]
When there is a correlation between the L channel signal and the R channel signal, a signal obtained by dividing the difference between the L channel signal and the R channel signal by 2 is set as the second channel signal. On the other hand, when there is no correlation between the L channel signal and the R channel signal, the signal having the relatively low signal level is set as the second channel signal. Note that which of the three signals is set as the second channel signal is determined for each frame.
[0008]
As a result, the level of the second channel signal is lower than that of the first channel signal, so that the bit rate when encoding the second channel signal is lowered to realize higher efficiency encoding. can do.
[0009]
[Problems to be solved by the invention]
However, if the above-mentioned two techniques, that is, a technique for reducing connection distortion between unit blocks to be encoded, and a technique for encoding a plurality of correlated signals with higher efficiency are used in combination, While encoding is performed with a plurality of frames (2 frames in the above example) as one unit, the signal type may be switched for each frame, so the signal level rapidly increases within the unit block for encoding. As a result, since the bit rate assigned to the channel for switching the signal type is low, there is a problem that quantization noise increases.
[0010]
Therefore, the present invention provides an encoding apparatus capable of suppressing an increase in quantization noise due to switching of the type of a signal to be encoded within a unit block to be encoded. For the purpose.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, in the present invention,
First channel conversion means for outputting a signal obtained by combining all input signals of a plurality of channels as a first channel signal;
A second channel conversion means for outputting a signal obtained by synthesizing all input signals of a plurality of channels or an input signal of a part of channels as a second channel signal;
Channel conversion control means for setting a signal output from the second channel conversion means for each frame in accordance with the relationship of the input signals of each channel;
A coding unit comprising: a coding unit configured to convert a signal output from the first channel conversion unit and the second channel conversion unit into a signal on a frequency axis for each block composed of a plurality of frames and then perform coding. In the conversion device,
The bit rate for encoding the signal output from the second channel conversion unit is not switched when the type of the signal output from the second channel conversion unit is switched in the block to be encoded. Bit rate setting means for setting each block to be encoded is higher than the case .
[0012]
With this configuration, it is possible to assign a higher bit rate to each unit block to be encoded when the type of signal to be encoded within the block is switched than when the type is not switched.
[0013]
In addition, the bit rate for encoding the signal output from the second channel conversion means depends on the number of frames that have elapsed since the last change of the type of signal output from the second channel conversion means. May be configured.
[0014]
With this configuration, the signal type is not switched in a unit block to be encoded, but a high bit rate can be assigned to a block including a frame whose signal type has been switched from the previous frame.
[0015]
Further, the bit rate for encoding the signal output from the second channel conversion means may be set according to the type of the signal output from the second channel conversion means.
[0016]
With this configuration, it is possible to reduce the quantization noise by setting a high bit rate when encoding a signal of a type that greatly affects the degradation of the signal decoded by the quantization noise compared to other types. it can.
[0017]
The signal output from the second channel conversion unit is encoded first, and the signal output from the first channel conversion unit and the second channel conversion unit Of the bit rates given in advance to encode the output signal, the first channel conversion means at the bit rate remaining after the signal output from the second channel conversion means is encoded. The signal output from may be configured to be encoded.
[0018]
With this configuration, even if the bit rate when encoding a signal that may switch the signal type in the unit block to be encoded is set high, the bit rate that was not used in actual encoding is The bit rate for encoding other signals is assigned.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of an encoding apparatus for encoding audio stereo signals (L (left) channel signal and R (right) channel signal) according to an embodiment of the present invention. PCM (Pulse Code Modulation) modulated L-channel signal and R-channel signal, which are input signals to the encoding device, are divided into a plurality of frequency bands by a frequency band dividing circuit 1 composed of an orthogonal mirror filter or the like. Then, the signal is supplied to the first channel conversion circuit 2-1, the second channel conversion circuit 2-2, and the control circuit 5.
[0020]
The first channel conversion circuit 2-1 takes an average of the L channel signal and the R channel signal given from the frequency band dividing circuit 1 (that is, (L channel signal + R channel signal) / 2. ) Is output. The second channel conversion circuit 2-2 is a signal obtained by dividing the difference between the L channel signal and the R channel signal given from the frequency band dividing circuit 1 by 2 (that is, (L channel signal−R channel signal). ) / 2), either an L channel signal or an R channel signal is output. Which signal the second channel conversion circuit 2-2 outputs depends on whether or not there is a correlation between the L channel signal and the R channel signal given from the frequency band dividing circuit 1 and the magnitude relationship between the two signals. Accordingly, it is set by the control circuit 5 for each frame.
[0021]
Specifically, the L channel signal and the R channel signal are as shown in FIGS. 2A and 2B, respectively, and there is a correlation between the L channel signal and the R channel signal. In this case, as shown in FIG. 3B, since the signal level of (L channel signal−R channel signal) / 2 becomes very small, (L channel signal−R channel signal) / Set to output 2.
[0022]
On the other hand, when the L channel signal and the R channel signal are as shown in FIGS. 4A and 4B, respectively, there is no correlation between the L channel signal and the R channel signal. 5B, since the signal level of (L channel signal−R channel signal) / 2 does not decrease, the signal level of the L channel signal and the R channel signal is relatively low. The lower one (R channel signal in the case of FIG. 4) is set to be output.
[0023]
As a result, a signal having a level as low as possible is output from the second channel conversion circuit 2-2. Therefore, the bit rate for encoding the signal output from the second channel conversion circuit 2-2. Even if the value is lowered, the quantization noise is not so noticeable. Therefore, the bit rate assigned to the signal output from the second channel conversion circuit 2-2 can be lowered to realize more efficient encoding.
[0024]
The first encoding circuit 3-1 outputs a signal output from the first channel conversion circuit 2-1 (hereinafter referred to as “A channel signal”) as the two adjacent frames, the x-th frame and Each encoded block consisting of the (x + 1) th frame is converted into a signal on the frequency axis by the modified discrete cosine transform, and then encoded at the bit rate set by the control circuit 5, and the code obtained thereby is converted to the A channel. It is output as the code of the (x + 1) th frame of the signal.
[0025]
The second encoding circuit 3-2 outputs the signal output from the second channel conversion circuit 2-2 (hereinafter referred to as “B channel signal”) and the two adjacent frames, the xth frame and Each encoded block consisting of the (x + 1) th frame is converted into a signal on the frequency axis by modified discrete cosine transform, and then encoded at the bit rate set by the control circuit 5, and the code obtained thereby is encoded in the B channel. It is output as the code of the (x + 1) th frame of the signal.
[0026]
The code string generation circuit 4 generates and outputs a code string as shown in FIG. The code string output from the code string generation circuit 4 is recorded on a recording medium, for example. FIG. 6 shows an example of a format for storing codes of the A channel and the B channel in a frame having a predetermined bit rate. In the x-th frame of the code string, the code of the x-th frame of the A-channel signal, the code of the x-th frame of the B-channel signal, and the channel configuration data are stored from the top. The channel configuration data indicates the type of the B channel signal in this frame. In this example, when the channel configuration data is 1, (L channel signal−R channel signal) / 2, Means an L channel signal, and 3 means an R channel signal.
[0027]
As described above, the control circuit 5 determines whether or not there is a correlation between the L channel signal and the R channel signal given from the frequency band dividing circuit 1 and the magnitude relationship between the two signals. -2 sets the type of signal output from -2 and controls the operation of each unit. The control circuit 5 sets a bit rate for each encoding block of each frame with respect to the first encoding circuit 3-1 and the second encoding circuit 3-2. This operation will be described with reference to the flowchart shown in FIG.
[0028]
First, it is determined whether or not the channel configuration data of the B channel signal has been switched from the previous frame in the current frame (S1). If the channel configuration data has been switched as a result of the determination in S1 (YES in S1), the value of the frame counter for counting the number of frames that have elapsed since the channel configuration data was last switched is set to 0 (S2 Then, a bit rate of 96 [kbps] is set for the second encoding circuit 3-2 (that is, a bit rate for encoding a B channel signal is set to 96 [kbps]). In addition, a bit rate of 32 [kbps] is provisionally set for the first encoding circuit 3-1 (that is, the bit rate for encoding the A channel signal is provisionally set to 32 [kbps]. (S3). When S3 ends, the process proceeds to S9 described later.
[0029]
On the other hand, as a result of the determination in S1, if the channel configuration data has not been switched (NO in S1), the value of the frame counter is incremented by 1 (S4). Note that the value of the frame counter is limited so as not to exceed a predetermined value. Next, it is determined whether or not the value of the frame counter is smaller than 2 (S5). As a result of the determination in S5, if the value of the frame counter is smaller than 2 (YES in S5), the process proceeds to S3 described above. On the other hand, if the value of the frame counter is not smaller than 2 (NO in S5), S6 to be described later Migrate to
[0030]
In S6, it is determined whether or not the channel configuration data of the current frame is 1. If the channel configuration data is 1 as a result of the determination in S6 (YES in S6), a bit rate of 32 [kbps] is set for the second encoding circuit 3-2 and the first encoding is performed. A bit rate of 96 [kbps] is provisionally set for the circuit 3-1 (S7). On the other hand, if the channel configuration data is not 1 (NO in S6), a bit rate of 48 [kbps] is set for the second encoding circuit 3-2 and the first encoding circuit 3-1 is set. On the other hand, a bit rate of 80 [kbps] is provisionally set (S8). When S7 and S8 are finished, the process proceeds to S9 described later.
[0031]
In S9, the second encoding circuit 3-2 is made to execute encoding of the B channel signal. As a result, the second encoding circuit 3-2 converts the block consisting of the previous frame of the B channel signal and the current frame into a signal on the frequency axis by the modified discrete cosine transform, and then the control circuit 5 Encode at the bit rate set by.
[0032]
Next, in the encoding process, not all of the allocated bit rates are used, so when the encoding of the B channel signal by the second encoding circuit 3-2 is completed, the set bits are set. A difference (that is, a surplus bit rate) from the bit rate used in actual encoding among the rates is calculated (S10). Next, the bit rate obtained by adding the bit rate calculated in S10 to the bit rate provisionally set for the first encoding circuit 3-1 is reset (S11).
[0033]
Then, the first encoding circuit 3-1 is caused to execute encoding of the A channel signal (S12). As a result, the first encoding circuit 3-1 converts the block consisting of the previous frame of the A channel signal and the current frame into a signal on the frequency axis by modified discrete cosine transform, and then the control circuit 5 Encode at the bit rate set by. The above processes S1 to S12 are performed for each frame.
[0034]
With the above configuration, for example, an L channel signal and an R channel signal as shown in FIGS. 8A and 8B are input. As a result, an A channel signal and a B channel signal are respectively shown in FIG. As shown in (c) and (d) of FIG. 8, the channel configuration data of the B channel signal is 1 in both the N-1 frame and the N frame forming the N block encoding block, Since the type of the B channel signal is not switched in the encoding block, the bit rate for encoding the B channel signal is set to 32 [kbps] in the encoding block of the Nth frame.
[0035]
On the other hand, in the Nth frame and the N + 1th frame forming the N + 1th frame coding block, the channel configuration data of the B channel signal is 1 and 3, respectively, and the type of the B channel signal is within the coding block. Since the switching is performed, the bit rate for encoding the B channel signal is set to 96 [kbps] in the encoding block of the (N + 1) th frame.
[0036]
In this way, in this embodiment, in the coding block in which the type of the B channel signal is switched in the block, the bit rate for encoding the B channel signal is set higher than in the block in which the switching is not performed. It is possible to suppress an increase in quantization noise due to switching of the B channel signal type.
[0037]
Here, in the second channel conversion circuit 3-2, when the channel configuration data is switched, in order to prevent the signal level from changing suddenly at the joint between the previous frame and the switched frame, 1 In some cases, the last sample data of the previous frame and the first few sample data of the switched frame are corrected so that both frames are smoothly connected. In this case, the channel configuration data is the same in the frame where the channel configuration data is switched and the next frame, but the sample data is corrected in the former frame, and the quantization noise increases at a low bit rate. Is concerned.
[0038]
However, in the present embodiment, when the number of frames that have elapsed since the channel configuration data was last switched is 1 by the process of S5 in FIG. 7, in other words, the frame in which the channel configuration data has switched and the next In a coding block composed of frames, a bit rate for coding a B channel signal is set high. Therefore, even if the sample data is corrected as described above, it is possible to suppress an increase in quantization noise due to the switching of the signal type. If the sample data is not corrected as described above, the determination threshold value in S5 may be set to 1, or S5 may be deleted.
[0039]
Further, when the channel configuration data is 1 (that is, when the B channel signal is (L channel signal−R channel signal) / 2), the degradation of the decoded L channel signal and the R channel signal is deteriorated. The degree is determined by the quantization noise of both the A channel signal and the B channel signal, whereas when the channel configuration data is other than 1 (that is, the B channel signal is the L channel signal or the R channel signal). In the case of a signal), the degree of degradation of the decoded L-channel signal or R-channel signal depends only on the quantization noise of the B-channel signal. Therefore, when the B channel signal is encoded at the same bit rate when the channel configuration data is 1 and when it is other than 1, when the L channel signal and the R channel signal are decoded, Deterioration is conspicuous in the portion where the channel configuration data of the signal is other than 1.
[0040]
On the other hand, in the present embodiment, the processing at S6 to S8 in FIG. 7 causes the bit rate for encoding the B channel signal to be higher when the channel configuration data is other than 1 than when it is 1. Therefore, it is possible to prevent the above-described problem from occurring.
[0041]
Further, in the present embodiment, even if the bit rate for encoding the B channel signal is set high by the processing of S10 and S11 in FIG. 7, the bit rate that is not used in the actual encoding is set as follows. Since the first channel signal is assigned to the bit rate for encoding, the encoding can be performed more efficiently.
[0042]
As an embodiment of the present invention, only the case where the input signal is 2 channels and the unit block to be encoded is 2 frames is shown, but the case where the input signal is 3 channels or more, or encoding is performed. The present invention can also be applied when the unit block to be performed is three frames or more.
[0043]
【The invention's effect】
As described above, according to the encoding apparatus of the present invention, for each unit block to be encoded, the bit rate is set according to whether or not the type of signal to be encoded within the block is switched. Therefore, when switching, a higher bit rate is assigned than when switching, so that an increase in quantization noise due to switching of the signal type can be suppressed.
[0044]
Also, since the bit rate is set according to the number of frames that have passed since the signal type was last switched, the signal type is not switched within the unit block to be encoded, but the signal type from the previous frame Even if the block containing a frame that has been switched is assigned a high bit rate and the data is corrected so that it is smoothly connected to the previous frame when the signal type is switched, the signal type It is possible to prevent an increase in quantization noise due to switching of.
[0045]
In addition, since the bit rate is set for each unit block to be encoded according to the type of signal to be encoded in the block, the quantization noise is greatly deteriorated in the degradation of the decoded signal compared to other types. When encoding the affected signal types, a high bit rate can be set to reduce the quantization noise, thereby preventing the problem that the degradation of the decoded signal becomes partially noticeable. be able to.
[0046]
In addition, the bit rate that is not used in the actual encoding even if the bit rate for encoding a signal that may switch the signal type in the unit block to be encoded is set high. Therefore, it is possible to perform the encoding more efficiently.
[Brief description of the drawings]
FIG. 1 is a block diagram of an encoding apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of waveforms of an L channel signal and an R channel signal;
3 corresponds to (L channel signal + R channel signal) / 2 and (L channel signal−R channel signal) when the waveforms of the L channel signal and the R channel signal are those shown in FIG. It is a figure which shows the waveform of) / 2.
FIG. 4 is a diagram illustrating another example of waveforms of an L channel signal and an R channel signal.
5 corresponds to (L channel signal + R channel signal) / 2 and (L channel signal−R channel signal) when the waveforms of the L channel signal and the R channel signal are those shown in FIG. It is a figure which shows the waveform of) / 2.
FIG. 6 is a diagram for explaining a code string generated by a code string generation circuit.
FIG. 7 is a flowchart of processing for setting a bit rate for each coding block;
FIG. 8 is a diagram illustrating an example of waveforms of an L channel signal and an R channel signal, and waveforms of an A channel signal and a B channel signal corresponding thereto.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Frequency band dividing circuit 2-1 1st channel conversion circuit 2-2 2nd channel conversion circuit 3-1 1st encoding circuit 3-2 2nd encoding circuit 4 Code stream generation circuit 5 Control circuit

Claims (5)

複数チャネルの全ての入力信号を合成することにより得られる信号を第1チャネルの信号として出力する第1のチャネル変換手段と、
複数チャネルの全ての入力信号を合成することにより得られる信号、または、一部のチャネルの入力信号を第2チャネルの信号として出力する第2のチャネル変換手段と、
各チャネルの入力信号の関係に応じて、前記第2のチャネル変換手段が出力する信号を1フレーム毎に設定するチャネル変換制御手段と、
前記第1のチャネル変換手段及び前記第2のチャネル変換手段から出力される信号を複数フレームから成るブロック毎に周波数軸上の信号に変換した上で符号化する符号化手段と、を備えた符号化装置において、
前記第2のチャネル変換手段から出力される信号を符号化する際のビットレートを、符号化するブロック内で前記第2のチャネル変換手段から出力される信号の種類が切り替わる場合には、切り替わらない場合よりも高く、符号化する各ブロック毎に設定するビットレート設定手段を備えたことを特徴とする符号化装置。
First channel conversion means for outputting a signal obtained by combining all input signals of a plurality of channels as a first channel signal;
A second channel conversion means for outputting a signal obtained by synthesizing all input signals of a plurality of channels or an input signal of a part of channels as a second channel signal;
Channel conversion control means for setting a signal output from the second channel conversion means for each frame in accordance with the relationship of the input signals of each channel;
A coding unit comprising: a coding unit configured to convert a signal output from the first channel conversion unit and the second channel conversion unit into a signal on a frequency axis for each block composed of a plurality of frames and then perform coding. In the conversion device,
The bit rate for encoding the signal output from the second channel conversion unit is not switched when the type of the signal output from the second channel conversion unit is switched in the block to be encoded. A coding apparatus comprising bit rate setting means that is higher than the case and is set for each block to be encoded.
前記ビットレート設定手段は、前記第2のチャネル変換手段から出力される信号を符号化する際のビットレートを、前記第2のチャネル変換手段から出力される信号の種類が最後に切り替わってから経過したフレーム数に応じて設定することを特徴とする請求項1に記載の符号化装置。The bit rate setting means encodes the bit rate for encoding the signal output from the second channel conversion means after the last switching of the type of signal output from the second channel conversion means. The encoding apparatus according to claim 1, wherein the encoding apparatus is set according to the number of frames. 前記ビットレート設定手段は、前記第2のチャネル変換手段から出力される信号を符号化する際のビットレートを、前記第2のチャネル変換手段から出力される信号の種類に応じて設定することを特徴とする請求項1または請求項2に記載の符号化装置。The bit rate setting means sets the bit rate for encoding the signal output from the second channel conversion means according to the type of the signal output from the second channel conversion means. The encoding apparatus according to claim 1 or 2, wherein the encoding apparatus is characterized. 前記符号化手段は、前記第2のチャネル変換手段から出力される信号から先に符号化し、前記第1のチャネル変換手段から出力される信号及び前記第2のチャネル変換手段から出力される信号を符号化するために前記ビットレート設定手段が設定したビットレートのうち、前記第2のチャネル変換手段から出力される信号を符号化した後に残っているビットレートで前記第1のチャネル変換手段から出力される信号を符号化することを特徴とする請求項1〜請求項3のいずれかに記載の符号化装置。The encoding means encodes the signal output from the second channel conversion means first, and outputs the signal output from the first channel conversion means and the signal output from the second channel conversion means. Of the bit rates set by the bit rate setting means for encoding, the signal output from the second channel conversion means is output from the first channel conversion means at the bit rate remaining after encoding. 4. The encoding apparatus according to claim 1, wherein the encoded signal is encoded. 前記複数チャネルの入力信号がオーディオのステレオ信号であることを特徴とする請求項1〜請求項4のいずれかに記載の符号化装置。5. The encoding apparatus according to claim 1, wherein the input signals of the plurality of channels are audio stereo signals.
JP2001158186A 2001-05-28 2001-05-28 Encoder Expired - Fee Related JP3690591B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001158186A JP3690591B2 (en) 2001-05-28 2001-05-28 Encoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001158186A JP3690591B2 (en) 2001-05-28 2001-05-28 Encoder

Publications (2)

Publication Number Publication Date
JP2002351497A JP2002351497A (en) 2002-12-06
JP3690591B2 true JP3690591B2 (en) 2005-08-31

Family

ID=19001945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001158186A Expired - Fee Related JP3690591B2 (en) 2001-05-28 2001-05-28 Encoder

Country Status (1)

Country Link
JP (1) JP3690591B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec

Also Published As

Publication number Publication date
JP2002351497A (en) 2002-12-06

Similar Documents

Publication Publication Date Title
US4710960A (en) Speech-adaptive predictive coding system having reflected binary encoder/decoder
EP1258993B1 (en) Lossless encoding and decoding system
NL8420063A (en) DATA COMPRESSION METHOD AND DEVICE.
JP2796673B2 (en) Digital coding method
WO1996037048A2 (en) Lossless coding method for waveform data
JP2001044844A (en) Sub band coding system
JP3946812B2 (en) Audio signal conversion apparatus and audio signal conversion method
KR940023044A (en) Apparatus for recording and / or playing or transmitting and / or receiving compressed data
JP2001044845A (en) Sub band coding system
US7363231B2 (en) Coding device, decoding device, and methods thereof
JP3690591B2 (en) Encoder
JPH0463400A (en) Audio encoder
JP4062971B2 (en) Audio signal encoding method
JP3193515B2 (en) Voice coded communication system and apparatus therefor
JP2000352999A (en) Audio switching device
JPH0621830A (en) Two-dimension huffman coding method
US20050086054A1 (en) ADPCM encoding and decoding method and system with improved step size adaptation thereof
JP2003195894A (en) Encoding device, decoding device, encoding method, and decoding method
KR19990053837A (en) Method and apparatus for error concealment of audio signal
JP3930596B2 (en) Audio signal encoding method
JP2521051B2 (en) Speech coding system
JP2652371B2 (en) Audio coding method
JPH08307277A (en) Method and device for variable rate voice coding
JP2003223193A (en) Decoding method for converted and encoded data and decoding device for converted and encoded data
JPH04302531A (en) High-efficiency encoding device for digital data

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050608

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120624

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120624

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130624

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees