[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3926399B2 - オーディオ信号コーディング中にノイズ置換を信号で知らせる方法 - Google Patents

オーディオ信号コーディング中にノイズ置換を信号で知らせる方法 Download PDF

Info

Publication number
JP3926399B2
JP3926399B2 JP50619399A JP50619399A JP3926399B2 JP 3926399 B2 JP3926399 B2 JP 3926399B2 JP 50619399 A JP50619399 A JP 50619399A JP 50619399 A JP50619399 A JP 50619399A JP 3926399 B2 JP3926399 B2 JP 3926399B2
Authority
JP
Japan
Prior art keywords
group
noisy
scale factor
spectral values
codebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP50619399A
Other languages
English (en)
Other versions
JP2000515266A (ja
Inventor
ユルゲン ヘルレ
ウヴェ グブル
アンドレアス エーレット
マルチン ディーツ
ボド タイヒマン
オリファー クンツ
カールハインツ ブランデンブルク
ハインツ ゲルホイザー
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=7835662&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3926399(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ filed Critical フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ
Publication of JP2000515266A publication Critical patent/JP2000515266A/ja
Application granted granted Critical
Publication of JP3926399B2 publication Critical patent/JP3926399B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/665Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Stereophonic System (AREA)
  • Noise Elimination (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【0001】
本願発明はオーディオコーディング方法、特に、高品質のオーディオ信号のデータが縮小された表現のための、MPEG−1、MPEG−2、MPEG−2AAC等のISO/MPEG標準によるオーディオコーディング方法に関する。
Moving Pictures Expert Group(MPEG)としても知られる標準化団体ISO/IEC JTC1/SC29/WG11は、低データレートでのデジタルビデオおよびオーディオコーディングの枠組みを規格化するために、1988年に設立された。1992年11月、最初の規格段階がMPEG−1標準によって完成された。ISO11172−3において規格化されているMPEG−1によるオーディオコーディングシステムは、サンプリング周波数32kHz、44.1kHzおよび48kHzで、1チャンネルまたは2チャンネルのステレオ方式で作動する。MPEG−1 レイヤーII標準は、国際電気通信連合によって規定されているように、1チャンネルにつき128kb/sのデータレートで、ラジオ品質を送信する。
【0002】
第2の開発段階において、MPEGの目的は、現存のMPEG−1システムと後方互換性があるMPEG−1オーディオの多重チャンネル拡張を規定すること、またMPEG−1よりも低いサンプリング周波数(16kHz、22.5kHz、24kHz)でのオーディオコーディング標準を定義することであった。後方互換性のある標準(MPEG−2BC)およびより低いサンプリング周波数の標準(MPEG−2 LSF)は、1994年11月に完成された。MPEG−2 BCは、フルバンド幅の5チャンネルについて、640〜896kb/sのデータレートで良好なオーディオ品質を伝達する。1994年以来、MPEG−2オーディオ標準化委員会は、MPEG−1との後方互換性が必要とされる場合、達成可能であるよりも高品質の多重チャンネル標準を定義しようと努めてきた。このMPEG−2の非後方互換性のオーディオ標準は、MPEG−2 NBCと表示される。この開発の目的は、各チャンネルがフルバンド幅を有する5チャンネルオーディオ信号について、データレート384kb/sまたはそれ以下で、ITU−R要件に従うラジオ品質を達成することである。オーディオコーディング標準MPEG−2 NBCは、1997年4月に完成された。MPEG−2 NBCの枠組みは、より高いデータレート(1チャンネルにつき40kb/sを超える)となる既に計画されているMPEG−4オーディオ標準の土台となるであろう。NBC、すなわち非後方互換性標準は、非常に低いデータレートでのラジオ品質のオーディオコーディングを達成するために、高分解能フィルタバンク、予測技術および冗長性減少ハフマンコーディングのコーディング効率性を組み合わせている。MPEG−2 NBC標準はまた、MPEG−2 NBCAAC(AAC=Advanced Audio Coding)と表示される。MPEG−2 AACの技術内容の詳細な説明は、M.Bosi、K.Brandenburg、S.Quackenbush、L.Fiedler、K.Akagiri、H.Fuchs、M.Dietz、J.Herre、G.Davidson、Yoshiaki Oikawa著”ISO/IEC MPEG−2 Advanced Audio Coding”101st AES Convention、Los Angeles 1996、Preprint 4382に見出される。
【0003】
有効なオーディオコーディング方法は、冗長性と無関連性の両方をオーディオ信号から取り除く。冗長性を取り除くために、オーディオサンプリング値とサンプリング値表示の統計の相関関係が開発されている。感知されない信号成分(無関連性)を取り除くために、人間の聴覚システムの周波数ドメインと時間ドメインマスキング特性が開発されている。オーディオ信号の周波数内容は、フィルタバンクによってサブバンドに再分割される。心理音響学モデルに従って時間ドメイン信号のスペクトルを量子化することによって、データレートの減少が達成され、それはおそらく損失のないコーディング方法を含む。
【0004】
一般的に、時間連続オーディオ信号は、時間離散オーディオ信号を得るために、サンプリングされる。時間離散オーディオ信号は、窓がけ時間離散サンプリング値の1024等の特定の数字が付いた連続的なブロックまたはフレームを得るために、窓関数によって窓がけされる。窓がけ時間離散サンプリングオーディオ信号値の各ブロックは、たとえば修正離散コサイン変換(MDCT)を用いて、周波数ドメインに順に変換される。この方法で得られるスペクトル値は、まだ量子化されていないので、それらを量子化する必要がある。ここでの主な目的は、量子化ノイズが量子化された信号自体によってマスキングまたは修正されるようにスペクトルデータを量子化することである。これは、人間の耳の特別な特性を考慮に入れて、関連のオーディオ信号に従ってマスキング閾値を計算する、MPEG AAC標準において記述される心理音響学モデルを利用して達成される。スペクトル値は、導入される量子化ノイズが修正され、よって非可聴であるように量子化される。よって、量子化はいかなる可聴のノイズをも生じさせない。
【0005】
NBC標準においては、いわゆる非直線量子化器が使用される。付加的に、量子化ノイズの成形方法が使用される。前の標準と同様に、NBC方法は、スケールファクターバンドとして知られるスペクトル係数のグループの個々の増幅を使用する。できるだけ効率的に作動するために、人間の聴覚システムの周波数グループにできるだけ近く基づいて量子化ノイズをユニットに成形することができることが望ましい。このようにして、周波数グループのバンド幅を非常に近く反映しているスペクトル値をまとめることができる。個々のスケールファクターバンドは、1.5dBの段階でスケールファクターにより増幅されることが可能である。増幅された係数はより大きい振幅を有しているので、ノイズ成形が達成される。よって、概してそれらは量子化後に、より高いSN比を有する。一方、より大きい振幅は、コーディングにより多くのビットを必要とする、すなわちスケールファクターバンド間のビット分布が暗に変更される。スケールファクターによる増幅は、もちろんデコーダにおいて補正されなければならない。この理由で、1.5dBステップのユニットにおけるスケールファクターで蓄積される増幅情報は、サイド情報としてデコーダに送信されなければならない。
【0006】
スペクトル値の量子化後、おそらくスケールファクターにより増幅されて、スケールファクターバンドにおいて、スペクトル値自体がコード化されるべきである。それゆえ、ノイズのないコーディングモジュールへの入力信号は、たとえば1024量子化スペクトル係数のセットである。1024量子化スペクトル係数のセットは、単一のハフマンコードブックが各セクションのコーディングに使用されるように、ノイズのないコーディングモジュールによって「セクション」に区切られる。コーディングの効率の理由で、セクションの境界は、スケールファクターバンド境界にのみ存在し得るため、スペクトルの各セクションについて、スケールファクターバンドにおけるセクションの長さおよびセクションに使用されるハフマンコードブック数の両方がサイド情報として送信されなければならない。
【0007】
セクションの形成は動的であり、量子化スペクトル係数のフルセットを表示するために必要なビット数が縮小されるように、ブロックからブロックへと典型的に変化する。量子化係数のn−タプルを表示するために、ハフマンコーディングが用いられ、ハフマンコードは12のコードブックのうちの1つから引き出される。各ハフマンコードブックによって表示可能な量子化係数の最大絶対値および各コードブックの各n−タプルでの係数の数は、先験的に特定される。
よって、セクション形成のポイントは、単一のハフマンコードブックで、可能な最高のコーディング利得を得るために、同じ信号統計の領域をまとめることにあり、コーディング利得とは概してコーディング前のビットとコーディング後のビットの指数として定められる。NBC法で使用されるビットストリームシンタクスにおいて特定されるコードブック数によって、12のハフマンコードブックのうち1つ、すなわち特定のセクションについて最高のコーディング利得を可能にするものが参照される。よって、本願における「コードブック数」という表現は、コードブック数のために保存されるビットストリームシンタクス中の場所を指定するものである。11の異なるコードブック数を2進法でコーディングするためには、4ビットが必要である。各セクションについて、すなわち各スペクトル値グループについて、デコーダがデコーディングの際に正しく適切なコードブックを選択することが可能となるように、これらの4ビットはサイド情報として送信されなければならない。
【0008】
最近興味が高まっている別の技術は「ノィズ置換」であり、その特徴はDonald Schulz著”Improving Audio Codecs by Noise Substitution“、Journal of the Audio Eng.Soc.、Vol.44、No.7/8、pp.593−598、July/August 1996に詳細に記述されている。既に言及したように、伝統的なオーディオコーディングアルゴリズムは通常、決定的にデータレートすなわち送信されるビット数を減少させるために、人間の耳のマスキング効果を利用する。よって、マスキングとは、スペクトル値としての1以上の周波数成分が、より低いレベルの他の成分を非可聴にするという意味である。この効果は2つの方法で利用され得る。第1に、他の成分によってマスキングされているオーディオ信号成分はコード化される必要はない。第2に、先ほど記述された量子化によるノイズの導入は、このノイズがオリジナルの信号の成分によって隠蔽されている場合には許容される。
【0009】
ノイジィな信号では、人間の聴覚システムはそのような信号の時間に伴う正確な変化を検知することができない。結果として、通常のアルゴリズムでは、実際上人間の耳には関係無いホワイトノイズの波形でさえも、コーディングされた。よって、特別の処置が取られない限り、人間の耳を考慮したノイジィな信号のコーディングは、非可聴の情報について高いビットレートを必要とする。しかし、もし信号のノイジィな成分が検知され、そのノイズレベル、周波数帯域または持続時間についての情報でもってコーディングされるならば、そのような余分なコーディングが減少され、非常に大きなビット利益となり得る。この事実は、ノイズ信号の感知は主にそのスペクトル成分によるのであり、実際の波形によるのではないと教示する心理音響学の技術によって実証される。したがって、これはオーディオ信号のデータ減少におけるノイズ置換技術の使用を可能にする。
よってコーダは、オーディオ信号の全体のスペクトルにおいて、ノイズ様のまたはノイジィなスペクトル値を発見または認識するという課題に直面する。ノイジィなスペクトル値の1つの定義は次のとおりである。すなわち、ある信号成分が、人間の聴覚システムにとって可聴な相違無しにノイズ置換方法によって再構築可能なように、そのレベル、周波数帯域および持続時間によって特徴付けすることが可能ならば、この信号成分はノイズとして分類される。この特性の検知は、先ほど引用した文献に記述されていたように、周波数ドメインにおいても、時間ドメインにおいても実行可能である。最も単純な方法は、たとえば、時間−周波数変換を利用することによって、および連続した時間ドメインのスペクトルにおける定常ピークに従うことによって、トーンの、すなわち非ノイジィな成分を検出するというものである。これらのピークはトーンとして、その他すべてはノイジィであるとして表される。しかし、これは比較的粗いノイズ検知である。ノイジイとトーンのスペクトル成分を区別する別の可能性は、連続したブロックにおけるスペクトル値について予測器を使用することである。ここで、1つのスペクトルから次のスペクトル、すなわち次の時間ドメインブロックまたはフレームに割り振られるスペクトルにかけて予測が実行される。もし予測されたスペクトル値が、変換によって実際に確認される次の時間ドメインのブロックまたはフレームのスペクトル値と異ならない、または少ししか異ならないならば、このスペクトル値はトーンのスペクトル成分を表すと仮定される。これから、音調性指標μが引き出され、その値はトーンとノイジィのスペクトル値との区別を決定する基礎を形成する。しかしこの検知方法は、厳密に静止した信号についてのみ適する。それは時間の関数として少し周波数を変化させるサイン信号を伴う状況の検知をしない。そのような信号は、たとえばヴィブラートとしてオーディオ信号にしばしば現れ、当業者にとってこれらがノイジィ成分によって置換できないことは明らかである。
【0010】
ノイジィ信号の検知の更なる可能性は、時間ドメインにおける予測によるノイズの検知である。ここでは、技術分野において周知であるように、幾度も直線予測の実行に使用できるように調節されたフィルタが、予測器として使用するのに適している。過去のオーディオ信号が供給され、出力信号が実際のオーディオサンプリング値と比較される。予測エラーが小さければ、音調性が仮定できる。異なる周波数領域の特徴を決定する、すなわちスペクトル領域におけるスペクトル値グループがノイジィなグループであるかどうかを検知するためには、オリジナルおよび予測された信号の時間−周波数変換が実行されなければならない。音調性指標は、オリジナルと予測された値を互いに比較することによって各周波数グループについて計算される。それによる主な問題は、予測器の制限されたダイナミックレンジである。生ずる大きなエラーのために、高レベルのノイジィな周波数グループが予測器において優勢となる。トーン成分の他の周波数領域がノイジィであるとして解釈され得る。この問題は、エラー信号は通常オリジナルの信号よりも低いレベルを有し、他の予測器によって再び供給され、その後2つの予測された信号は加えられるという反復アルゴリズムの使用によって軽減される。更なる方法はSchulzの文献において説明される。
【0011】
ここでノイジィであるとして分類されたスペクトル値のグループは、通常通り、量子化されず、(たとえばハフマンコードブックにより)エントロピーコーディングまたは冗長コーディングされた形で受信器に送信される。その代わり、ノイズ置換を示すIDおよびスペクトル値のノイジィなグループのエネルギーの指標のみがサイド情報として送信される。それから、受信器において送信されたエネルギーを有するランダム値(ノイズ)が置換された係数に挿入される。よって、ノイジィなスペクトル値は相当するエネルギー指標を有するランダムなスペクトル値によって置換される。
【0012】
量子化されたスペクトル係数について、コードのグループ、すなわち量子化されコーディングされた複数のスペクトル値に代わるエネルギー情報の単一の項目の送信によって、かなりのデータ削減が可能となる。達成可能なデータレートの削減は信号次第であることは明らかである。信号が非常に低いノイズ内容を有する場合、すなわち非常に少ないノイジィグループである場合、または一過性特性を有する場合、可能なデータレート削減は、非常に多くのノイジィグループを有する非常にノイジィな信号がコーディングされる場合よりも少なくなるであろう。
【0013】
最初に記述したMPEG−2 Advanced Audio Coding(AAC)標準は、ノイズ置換の可能性を支持するものではない。よって、大きなデータレートの削減は、現在の標準では可能ではない。
【0014】
本願発明の目的は、基本のコーディング構造および現在のビットストリームシンタクスの構造の両方が影響されずにノイズ置換の可能性を含むよう現在のMPEG−2 AAC標準の範囲を拡張することである。
【0015】
この目的は、請求項1によるオーディオ信号をコーディングする際ノイズ置換を信号で知らせる方法、請求項によるオーディオ信号をコーディングする方法、および請求項によるオーディオ信号をデコーディングする方法によって達成される。
【0016】
本願発明は、ノイジィバンドについてノイズ置換が実行される場合、スペクトル値の量子化および冗長コーディングまたはハフマンコーディングが実行される必要がないという洞察に基づく。その代わりに、すでに記述したように、ノイジィグループのノイズスペクトル値がデコーダにおいて生成され、前記スペクトル値のエネルギーの指標は、ノイズ置換されたスペクトル値のエネルギーの指標に相当する。言いかえれば、冗長コーディングが起こらないので、ノイジィグループについてコードブックが使用されない。したがって、コードブック数、すなわちコーディングされたオーディオ信号のビットストリームシンタクスにおける相当する場所もまた余分である。このビットストリームシンタクスにおける場所、すなわちコードブック数は、本願発明によって、あるグループがノイジィでありノイズ置換の対象であるということを示すのに使用され得る。またすでに言及されたように、12のコードブックしか予想されていないが、ビットストリームシンタクスにおける場所は4ビットを供給し、それによって2進法で合計0〜15の数字の範囲が示されることが可能であって、結果、いかなるコードブックも指し示していないいわゆる付加コードブック数が存在する。0〜11までのコードブック数のみがあるコードブックを指し示す。本願発明の実施例において、サイド情報においてコードブック数13、すなわち付加コードブック数を有するグループが、ノイジィグループであり、ノイズ置換の対象となったということを、デコーダに信号で知らせるために、コードブック数13が使用される。しかし、当業者にとっては、付加の、またはフリーのコードブック数12、14または15が使用され得ることは明らかである。
【0017】
すでに記述されたように、時間ドメインオーディオ信号の周波数ドメイン変換の後に存在するスペクトル値は、量子化ノイズの最適なマスキングを達成するために、スケールファクターバンドにグループ化され得る。MPEG−2 AAC標準において、いくつかのスケールファクターバンドがまたセクションにグループ化される。よって、大部分について、1つのセクションはいくつかのスケールファクターバンドで構成される。これは、ノイズ置換が完全なセクションについて常に信号で合図される、すなわちノイズ置換が活性か活性でないかを知らされることを意味する。ノイジィなスケールファクターバンドが量子化されないために、これらについてのスケールファクターは計算または送信またはコーディングされる必要がない。これは、ノイズ置換そのものを示すコードブック数に加えて、ビットストリームにおける他の場所が空いており、他の目的に使用可能であることを意味する。本願発明の実施例において、置換されたスペクトル係数のエネルギー指標が、あるスケールファクターバンドのサイド情報におけるスケールファクターについて供給された場所に書き込まれる。すでに記述したように、ノイズ信号の感知は、主にそのスペクトル成分に依存するのであって、その実際の波形に依存するものではない。よって、ノイジィスケールファクターバンドのスペクトル値から、ノイジィスケールファクターバンドのスペクトル値のエネルギー指標が計算される。この量は、いかなる付加サイド情報も必要とせず、ビットストリームシンタクスの構造を変化させる必要もなく、スケールファクターバンドのサイド情報に入れられる。送信されるこの量は、ノイジィスケールファクターバンドにおけるスペクトル値の合計エネルギーでもあり得るし、またたとえばスケールファクターバンドにおいてスペクトル値またはスペクトルラインに基づいて正規化された平均エネルギーでもあり得る。本願発明の実施例においては、平均エネルギーではなく合計エネルギーがエネルギー指標として使用される。
【0018】
置換されたスペクトル値のエネルギー指標の送信について、送信されたスペクトルデータのインバーススケーリングに使用されるのと同じ分解能、すなわちAAC標準における1.5dBの分解能での対数スケーリングが使用されることが好ましい。レイヤーIII法についての状況と同様に、AAC法においても、非ノイジィな、すなわちトーンのスペクトル内容の再構築が、a)非直線量子化器のインバース特性をスペクトルライン(Y=X4/3)の量子化値(X)に適用し、それからb)送信されたスケールファクターにしたがって「インバーススケーリング」を実行することによって達成される(Z=Y×2(SF/4))、ここでSFは各スケールファクターバンドのスケールファクターであり、Zは量子化されたスペクトル値を示す。よって、分解能は1.5dBにのぼる。
【0019】
ノイジィスケールファクターバンドについてスケールファクターが必要でなく、その代わり置換されたスペクトル値のエネルギー指標が使用される本願発明によるオーディオ信号のコーディングの際のノイズ置換の信号を送る方法において、あるいはスケールファクターについて使用されるかもしれない同じコーディングの法則が、置換されたスペクトル値のエネルギー指標について使用される。これはAACコーダにおいてすでに利用可能な資源の活用となり、他のサイド情報を必要としない。
【0020】
ノイズ置換の信号送信の更なる有用な適用は、ステレオオーディオ信号について生ずる。人間の耳はある程度まで、信号問、またはAACにおいて「チャンネルペア」と呼ばれるステレオチャンネルのペアのチャンネル(LおよびR)間の相関性を感知することが可能である。この理由で、チャンネルペアの2つの置換されたノイズの信号間の相関性は、ノイズ置換の場合においても同様にオリジナル信号のそれに類似しているべきである。同じ中間周波数を有する左チャンネルおよび右チャンネルにおけるスケールファクターバンドは、ノイズ性が検知された場合、ともにノイズ置換され得る。もし両方のチャンネルがノイズ置換されたならば、また更なる方法がとられなければ、コーダにおいてランダムに生成されたノイズスペクトル値はもちろんオリジナルのオーディオ信号と同じ合計エネルギーを有するであろうが、ランダムな生成のためにそれらは完全に相関されていない。これは特定の状況下では可聴のエラーになり得る。これを避けるために、両方のチャンネルについて、左右チャンネルのノイジィスケールファクターバンドの完全な相関性に対応するところの、同じランダムに生成されたスケールファクターのノイズスペクトル値を使用することが可能である。
【0021】
本願発明の実施例によると、この場合には次の手順が採られる。すなわち、各チャンネルペアについて、AAC標準において、いわゆるミドル/サイドマスク(M/Sマスク)が存在し、それは標準自体において「ms_used」と表示される。このM/Sマスクはバンド毎にM/Sステレオコーディングが使用されたか否かを示すビットベクトルであり、これは当業者には公知であって、J.D.Johnston、A.J.Ferreira著、”Sum−Difference Stereo Transform Coding”、IEEE ICASSP 1992、pp569−571において紹介という方法で記述されており、またMPEG−AAC標準においても記述されている。M/Sマスクは数個のビットで構成され、その各々がスケールファクターバンドに割り振られる。スケールファクターバンドにおいてM/Sコーディングが使用された場合、M/Sコーディングをデコーダに伝達する信号ビットは、サイド情報におけるM/Sマスクに配置される。しかしながら、(LとRそれぞれの)スケールファクターバンドの同じ中間周波数について、左右のチャンネルにおいてノイジィスケールファクターバンドが検知された場合、そのときは明らかにミドル/サイドコーディングは起こらない。よって、このスケールファクターバンドについてのM/Sビットは、コードブック数やスケールファクターのように、他の何かを信号で合図するために、ビットストリームシンタクスによるビットストリームにおいて利用可能である。この場合、独立のノイズスペクトル値またはノイズベクトルが左右チャンネルについて生成されるべきか否か(これは通常の場合に相当する)、またはノイジィスケールファクターバンドにおいて、左右両方のチャンネルについて同じノイズベクトルが使用されるべきであるか否かを示すために、M/Sマスクにおけるビットは、両方のチャンネルのノイジィスケールファクターバンドについて使用されることが可能である。
【0022】
当業者には公知のように、非ノイジィスケールファクターバンドの場合、スケールファクターは差分コーディングによってコーディングが可能である。後に続くスケールファクターバンドにおける相当するスケールファクターについて、再びスケールファクターの合計値をコーディングする必要はなく、ただこの値と前のものとの差をコーディングすればよい。これがいわゆる差分コーディングである。本願発明の実施例において、この差分コーディングは、ノイズのスケールファクターバンドにおけるスペクトル内容のエネルギー指標をコーディングするのにも同様に使用される。結果として、エネルギー指標の合計量が、後に続くスケールファクターバンドについて再びコーディングされる必要はなく、ただ現在の量と前のものとの差をコーディングすればよいのであって、これはまたビット削減の機会をもたらす。最初のスタート値は常に利用可能でなければならないことは明らかであるが、これはまた最初に前もって決定された固定値であってもよい。よってこの差分コーディングの方法は、フレームにおける連続したスケールファクターバンドがノイジィである場合に特に有効である。

Claims (8)

  1. オーディオ信号のコーディングの際ノイズ置換を信号で知らせる方法であって、下記のステップを含む:
    スペクトル値の連続的なブロックを得るために、時間離散サンプリング値の連続的なブロックを有している時間ドメインのオーディオ信号を周波数ドメインに変換するステップ;
    前記ブロックのためにスペクトル値のグループを形成するために、連続的なブロックの1つのブロックの前記スペクトル値をまとめるステップであって、グループは少なくとも1つのスケールファクターバンドを含み、各グループは割り振られたサイド情報を含み、前記サイド情報は、1つのコードブック数を受け取るための1つの定義されたコードブック数の場所、および少なくとも1つのスケールファクターを受け取るための1つの定義されたスケールファクターの場所を含むステップ;
    あるスペクトル値のグループがブロックのために少なくとも1つのノイジィグループおよび少なくとも1つの非ノイジィグループを得るためにノイジィグループであるか否かを検知するステップ;
    少なくとも1つの非ノイジィグループのために、非ノイジィグループの冗長コーディングのために、複数のコードブックの中からあるコードブックを割り当て、前記グループに割り当てられた前記コードブックは、コードブック数によって示され、前記コードブック数は、前記非ノイジィグループのための前記サイド情報の前記定義されたコードブック数の場所に挿入され、前記グループにおいて少なくとも1つのスケールファクターバンドへの非ノイジィグループを量子化するために少なくとも1つのスケールファクターを割り当て、前記定義されたスケールファクターの場所に少なくとも1つのスケールファクターが挿入されるステップ;および
    少なくとも1つのノイジィグループのために、このグループがノイジィであり、それゆえ量子化および冗長コーディングされないことを信号で知らせるために、このグループにコードブックを示さない付加コードブック数を割り当て、前記付加コードブック数は、前記ノイジィグループのための前記サイド情報の前記定義されたコードブック数の場所に挿入され、少なくとも1つのスケールファクターバンドにおけるスペクトル値のエネルギー指標が、前記ノイジィグループにおける前記少なくとも1つのスケールファクターバンドのためのスケールファクターの代わりに、前記定義されたスケールファクターの場所に挿入されるステップ。
  2. ノイジィグループにおけるスペクトル値のエネルギー指標は、少なくとも1つのスケールファクターバンドにおいて、参照値に基づいて正規化された、スペクトル値の平均エネルギーである、請求項に記載の方法。
  3. エネルギー指標は少なくとも1つのスケールファクターバンドにおけるスペクトル値の合計エネルギーである、請求項に記載の方法。
  4. 非ノイジィグループのスケールファクターバンドのスケールファクターをコーディングするのに通常使用されるのと同じスケーリングが、少なくとも1つのスケールファクターバンドにおけるエネルギー指標のコーディングに使用される、請求項に記載の方法。
  5. ノイジィグループの少なくとも1つのスケールファクターバンドにおけるスペクトル値のエネルギー指標のコーディングは差分コーディングである、請求項に記載の方法。
  6. あるスペクトル値のグループがノイジィグループであるか否かの検知は、時間ドメインオーディオ信号によって、または時間ドメインオーディオ信号のスペクトル値によって、または時間ドメインオーディオ信号および時間ドメインオーディオ信号のスペクトル値の両方によって実行される、先行する請求項のいずれかに記載の方法。
  7. オーディオ信号のコーディングの方法であって、下記のステップを含む:
    連続的なブロックのスペクトル値を得るために、時間離散サンプリング値の連続的なブロックを有する時間ドメインのオーディオ信号を周波数ドメインに変換するステップ;
    ブロックのためのスペクトル値のグループを形成するために、連続的なブロックの1つのブロックの前記スペクトル値をまとめるステップであって、グループは、少なくとも1つのスケールファクターバンドを含み、各グループは割り振られたサイド情報を含み、前記サイド情報は、1つのコードブック数を受け取るための1つの定義されたコードブック数の場所、および少なくとも1つのスケールファクターを受け取るための1つの定義されたスケールファクターの場所を含むステップ;
    あるスペクトル値のグループがブロックのために少なくとも1つのノイジィグループおよび少なくとも1つの非ノイジィグループを得るためにノイジィグループであるか否かを検知するステップ;
    少なくとも1つの非ノイジィグループのために、非ノイジィグループの冗長コーディングのために、複数のコードブックの中からあるコードブックを割り当て、前記グループに割り当てられた前記コードブックは、コードブック数によって示され、前記コードブック数は、前記非ノイジィグループのための前記サイド情報の前記定義されたコードブック数の場所に挿入され、前記グループにおいて少なくとも1つのスケールファクターバンドへの非ノイジィグループを量子化するために少なくとも1つのスケールファクターを割り当て、前記定義されたスケールファクターの場所に少なくとも1つのスケールファクターが挿入されるステップ;および
    少なくとも1つのノイジィグループのために、このグループがノイジィであり、それゆえ量子化および冗長コーディングされないことを信号で知らせるために、このグループにコードブックを示さない付加コードブック数を割り当てるステップ;
    前記ノイジィなグループの少なくとも1つのスケールファクターバンドのエネルギー指標を計算するステップ;
    前記エネルギー指標を前記少なくとも1つのノイジィグループに割り振られたサイド情報の前記定義されたスケールファクターの場所に入れるステップ;
    前記ノイジィグループに割り振られた前記サイド情報の前記定義されたコードブック数の場所に付加コードブック数を挿入するステップ;
    定義されたスケールファクタの場所におけるスケールファクターを用いて少なくとも1つの非ノイジィグループを量子化し、量子化された少なくとも1つの非ノイジィグループを、コードブック数によって示されるコードブックを用いて冗長コーディングする一方、少なくとも1つのノイジィグループについては量子化またはコーディングが起こらないステップ;および
    主要情報として、前記量子化され、冗長コーディングされた少なくとも1つの非ノイジィグループおよび、サイド情報として、少なくとも1つのノイジィなグループについては、前記定義されたスケールファクターの場所において少なくとも1つのノイジィなグループのスペクトル値のエネルギー指標および前記定義されたコードブック数の場所において少なくとも1つのノイジィなグループを信号で知らせるための付加コードブック数を含むビットストリームを形成するステップ。
  8. コーディングされたオーディオ信号をデコーディングする方法であって、前記コーディングされたオーディオ信号は、エンコードされたフォームにおけるスペクトル値の少なくとも1つのノイジィグループおよびスペクトル値の少なくとも1つの非ノイジィグループを含み、スペクトル値のグループがスペクトル値の連続的なブロックからスペクトル値の1つのブロックを形成し、時間離散サンプル値の連続的なブロックを表し、下記のステップを含む:
    前記スペクトル値のブロックのためのビットストリームを受信するステップであって、前記ビットストリームは前記スペクトル値のブロックのためのサイド情報を含み、1つの定義されたコードブック数の場所、および少なくとも1つのノイジィグループと少なくとも1つの非ノイジィグループのための定義されたスケールファクトの場所を含むステップ;
    コードブック数によって示されるコードブックに基づいて前記少なくとも1つの非ノイジィグループを、前記少なくとも1つの非ノイジィグループについての前記サイド情報の前記コードブック数の場所において冗長デコーディングし、冗長デコーディングされ、前記少なくとも1つの非ノイジィグループのための前記定義されたスケールファクターの場所に基づいてスケールファクターを使うことで量子化されたスペクトル値を再量子化するステップ;
    スペクトル値の前記少なくとも1つのノイジィグループに割り振られた付加コードブック数に基づいて、前記少なくとも1つのノイジィグループについての前記サイド情報の前記コードブック数の場所において、前記ノイジィグループを特定するステップ;
    前記少なくとも1つのノイジィグループに割り振られたサイド情報の前記定義されたスケールファクターの場所における前記少なくとも1つのノイジィグループにおけるスペクトル値のエネルギー指標を確立するステップ;
    ノイジィグループについてのノイズスペクトル値を生成し、前記少なくとも1つのノイジィグループにおける前記発生したノイズスペクトル値のエネルギー指標は、コーディング前の1つのオーディオ信号におけるノイジィグループのスペクトル値のエネルギー指標と同じであるステップ;および
    デコーディングされたオーディオ信号を得るために、少なくとも1つの非ノイジィグループのための再量子化されたスペクトル値および少なくとも1つのノイジィグループのためのノイズのスペクトル値を時間ドメイン表示に変換するステップ。
JP50619399A 1997-07-14 1998-03-13 オーディオ信号コーディング中にノイズ置換を信号で知らせる方法 Expired - Lifetime JP3926399B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19730129.0 1997-07-14
DE19730129A DE19730129C2 (de) 1997-07-14 1997-07-14 Verfahren zum Signalisieren einer Rauschsubstitution beim Codieren eines Audiosignals
PCT/EP1998/001480 WO1999004505A1 (de) 1997-07-14 1998-03-13 Verfahren zum signalisieren einer rauschsubstitution beim codieren eines audiosignals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004267489A Division JP3878952B2 (ja) 1997-07-14 2004-09-14 オーディオ信号コーディング中にノイズ置換を信号で知らせる方法

Publications (2)

Publication Number Publication Date
JP2000515266A JP2000515266A (ja) 2000-11-14
JP3926399B2 true JP3926399B2 (ja) 2007-06-06

Family

ID=7835662

Family Applications (2)

Application Number Title Priority Date Filing Date
JP50619399A Expired - Lifetime JP3926399B2 (ja) 1997-07-14 1998-03-13 オーディオ信号コーディング中にノイズ置換を信号で知らせる方法
JP2004267489A Expired - Lifetime JP3878952B2 (ja) 1997-07-14 2004-09-14 オーディオ信号コーディング中にノイズ置換を信号で知らせる方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2004267489A Expired - Lifetime JP3878952B2 (ja) 1997-07-14 2004-09-14 オーディオ信号コーディング中にノイズ置換を信号で知らせる方法

Country Status (13)

Country Link
US (1) US6766293B1 (ja)
EP (1) EP0931386B1 (ja)
JP (2) JP3926399B2 (ja)
KR (1) KR100304055B1 (ja)
AT (1) ATE194440T1 (ja)
AU (1) AU716982B2 (ja)
CA (1) CA2284220C (ja)
DE (2) DE19730129C2 (ja)
DK (1) DK0931386T3 (ja)
ES (1) ES2150313T3 (ja)
GR (1) GR3033861T3 (ja)
PT (1) PT931386E (ja)
WO (1) WO1999004505A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6910011B1 (en) * 1999-08-16 2005-06-21 Haman Becker Automotive Systems - Wavemakers, Inc. Noisy acoustic signal enhancement
AU2002343151A1 (en) * 2001-11-23 2003-06-10 Koninklijke Philips Electronics N.V. Perceptual noise substitution
AU2002352182A1 (en) * 2001-11-29 2003-06-10 Coding Technologies Ab Methods for improving high frequency reconstruction
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
JP4296752B2 (ja) * 2002-05-07 2009-07-15 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
JP3900000B2 (ja) * 2002-05-07 2007-03-28 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP4676140B2 (ja) 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
US7433824B2 (en) * 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
EP2282310B1 (en) 2002-09-04 2012-01-25 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
WO2004107318A1 (en) 2003-05-27 2004-12-09 Koninklijke Philips Electronics N.V. Audio coding
US7688894B2 (en) 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7782954B2 (en) 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
KR100707173B1 (ko) * 2004-12-21 2007-04-13 삼성전자주식회사 저비트율 부호화/복호화방법 및 장치
WO2006085244A1 (en) * 2005-02-10 2006-08-17 Koninklijke Philips Electronics N.V. Sound synthesis
US7684981B2 (en) * 2005-07-15 2010-03-23 Microsoft Corporation Prediction of spectral coefficients in waveform coding and decoding
US7562021B2 (en) 2005-07-15 2009-07-14 Microsoft Corporation Modification of codewords in dictionary used for efficient coding of digital media spectral data
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
US7693709B2 (en) 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
US7599840B2 (en) * 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding
US7630882B2 (en) * 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
US8599925B2 (en) * 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
US7565018B2 (en) * 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US7933337B2 (en) 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
US7953604B2 (en) 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US8190425B2 (en) 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
DK1869669T3 (da) * 2006-04-24 2008-12-01 Nero Ag Avanceret audiokodningsapparat
US8184710B2 (en) 2007-02-21 2012-05-22 Microsoft Corporation Adaptive truncation of transform coefficient data in a transform-based digital media codec
US7761290B2 (en) 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
US7774205B2 (en) 2007-06-15 2010-08-10 Microsoft Corporation Coding of sparse digital media spectral data
US8046214B2 (en) 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8249883B2 (en) * 2007-10-26 2012-08-21 Microsoft Corporation Channel extension coding for multi-channel source
AU2008344134B2 (en) * 2007-12-31 2011-08-25 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
KR101756834B1 (ko) * 2008-07-14 2017-07-12 삼성전자주식회사 오디오/스피치 신호의 부호화 및 복호화 방법 및 장치
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
KR101259120B1 (ko) * 2008-11-04 2013-04-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8364471B2 (en) * 2008-11-04 2013-01-29 Lg Electronics Inc. Apparatus and method for processing a time domain audio signal with a noise filling flag
JP5724338B2 (ja) * 2010-12-03 2015-05-27 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、並びにプログラム
CN111125423A (zh) * 2019-11-29 2020-05-08 维沃移动通信有限公司 一种去噪方法及移动终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040217A (en) * 1989-10-18 1991-08-13 At&T Bell Laboratories Perceptual coding of audio signals
DE9006717U1 (de) * 1990-06-15 1991-10-10 Philips Patentverwaltung GmbH, 22335 Hamburg Anrufbeantworter für die digitale Aufzeichnung und Wiedergabe von Sprachsignalen
US5703999A (en) * 1992-05-25 1997-12-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Process for reducing data in the transmission and/or storage of digital signals from several interdependent channels
TW295747B (ja) 1994-06-13 1997-01-11 Sony Co Ltd
JP3371590B2 (ja) * 1994-12-28 2003-01-27 ソニー株式会社 高能率符号化方法及び高能率復号化方法
DE19505435C1 (de) * 1995-02-17 1995-12-07 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Bestimmen der Tonalität eines Audiosignals
DE19538852A1 (de) * 1995-06-30 1997-01-02 Deutsche Telekom Ag Verfahren und Anordnung zur Klassifizierung von Sprachsignalen

Also Published As

Publication number Publication date
US6766293B1 (en) 2004-07-20
JP2005049889A (ja) 2005-02-24
PT931386E (pt) 2000-10-31
DE19730129A1 (de) 1999-01-21
EP0931386B1 (de) 2000-07-05
DE19730129C2 (de) 2002-03-07
JP2000515266A (ja) 2000-11-14
CA2284220A1 (en) 1999-01-28
AU7035298A (en) 1999-02-10
ES2150313T3 (es) 2000-11-16
GR3033861T3 (en) 2000-10-31
JP3878952B2 (ja) 2007-02-07
DK0931386T3 (da) 2000-11-20
DE59800189D1 (de) 2000-08-10
EP0931386A1 (de) 1999-07-28
KR100304055B1 (ko) 2001-11-03
KR20000070280A (ko) 2000-11-25
WO1999004505A1 (de) 1999-01-28
ATE194440T1 (de) 2000-07-15
AU716982B2 (en) 2000-03-16
CA2284220C (en) 2002-09-24

Similar Documents

Publication Publication Date Title
JP3926399B2 (ja) オーディオ信号コーディング中にノイズ置換を信号で知らせる方法
JP3577324B2 (ja) オーディオ信号の符号化方法
KR970007661B1 (ko) 스테레오포닉 오디오 신호의 입력세트 코딩방법
US6529604B1 (en) Scalable stereo audio encoding/decoding method and apparatus
EP1101289B1 (en) Method for inserting auxiliary data in an audio data stream
KR100395190B1 (ko) 신호 부호화 또는 복호화 장치, 및 신호 부호화 또는복호화 방법
US7627480B2 (en) Support of a multichannel audio extension
JP2923406B2 (ja) オーディオ信号処理方法
US5488665A (en) Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
KR100277819B1 (ko) 심리음향성 적응 비트 할당을 이용한 다중 채널 예측 분할대역부호화기
US20070165869A1 (en) Support of a multichannel audio extension
US6415251B1 (en) Subband coder or decoder band-limiting the overlap region between a processed subband and an adjacent non-processed one
KR20040080003A (ko) 파라메트릭 오디오 코딩
KR20010021226A (ko) 디지털 음향 신호 부호화 장치, 디지털 음향 신호 부호화방법 및 디지털 음향 신호 부호화 프로그램을 기록한 매체
JPH06149292A (ja) 高能率符号化方法及び装置
JPH07336232A (ja) 情報符号化方法及び装置、情報復号化方法及び装置、並びに情報記録媒体
EP1228506B1 (en) Method of encoding an audio signal using a quality value for bit allocation
US7835915B2 (en) Scalable stereo audio coding/decoding method and apparatus
JP3277699B2 (ja) 信号符号化方法及び装置並びに信号復号化方法及び装置
US6995699B2 (en) Encoding method, and encoding apparatus, and decoding method and decoding apparatus
JP3827720B2 (ja) 差分コーディング原理を用いる送信システム
JPH09135173A (ja) 符号化装置および符号化方法、復号化装置および復号化方法、伝送装置および伝送方法、並びに記録媒体
KR100340368B1 (ko) 고능률부호화장치,복호화장치및디지털데이터도출방법
Smyth An Overview of the Coherent Acoustics Coding System
Absar et al. AC-3 Encoder Implementation on the D950 DSP-Core

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040914

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041007

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070228

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140309

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250