JP6775065B2 - オーディオ信号復号器における改善された周波数帯域拡張 - Google Patents
オーディオ信号復号器における改善された周波数帯域拡張 Download PDFInfo
- Publication number
- JP6775065B2 JP6775065B2 JP2019107009A JP2019107009A JP6775065B2 JP 6775065 B2 JP6775065 B2 JP 6775065B2 JP 2019107009 A JP2019107009 A JP 2019107009A JP 2019107009 A JP2019107009 A JP 2019107009A JP 6775065 B2 JP6775065 B2 JP 6775065B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- band
- frequency
- audio
- khz
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims description 70
- 230000007613 environmental effect Effects 0.000 claims description 42
- 238000001914 filtration Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 230000008878 coupling Effects 0.000 claims description 21
- 238000010168 coupling process Methods 0.000 claims description 21
- 238000005859 coupling reaction Methods 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 18
- 238000002156 mixing Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 2
- 230000005284 excitation Effects 0.000 description 34
- 230000015572 biosynthetic process Effects 0.000 description 27
- 238000003786 synthesis reaction Methods 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000001228 spectrum Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 16
- 230000003595 spectral effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 10
- 238000012952 Resampling Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 239000000737 potassium alginate Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 239000000728 ammonium alginate Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K3/00—Apparatus for stamping articles having integral means for supporting the articles to be stamped
- B41K3/54—Inking devices
- B41K3/56—Inking devices using inking pads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/02—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images
- B41K1/04—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images with multiple stamping surfaces; with stamping surfaces replaceable as a whole
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/08—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters
- B41K1/10—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters having movable type-carrying bands or chains
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/08—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters
- B41K1/12—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters having adjustable type-carrying wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/36—Details
- B41K1/38—Inking devices; Stamping surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/36—Details
- B41K1/38—Inking devices; Stamping surfaces
- B41K1/40—Inking devices operated by stamping movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41K—STAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
- B41K1/00—Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
- B41K1/36—Details
- B41K1/38—Inking devices; Stamping surfaces
- B41K1/40—Inking devices operated by stamping movement
- B41K1/42—Inking devices operated by stamping movement with pads or rollers movable for inking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
Description
●白色雑音uHB1(n)を低帯域において12.8kHzで復号化される励振u(n),n=0,・・・,63のものと同様のレベルに設定する(ブロック102)ために次の第1の係数が計算される(ブロック101)。
●次に、高帯域における励振は次の形式:
●6.6kbit/sにおいて、フィルタ1/AHB(z)は、低帯域(12.8kHz)において復号化される16次LPCフィルタ
●ビットレート>6.6kbit/sでは、フィルタ1/AHB(z)は16次であり、次式:
●高帯域内の信号は、6.4〜7kHz帯域内の信号の良い汎用モデルではないシェーピングされた白色雑音である(1/AHB(z)とバンドパスフィルタ処理によりフィルタ処理することにより、サブフレーム毎に一時的利得によりシェーピングされた白色雑音)。例えば正弦波成分(すなわち音声)を含むが雑音を含まない(または小雑音を含む)6.4〜7kHz帯域の極高調波音楽信号が存在する。これらの信号では、AMR−WBコーデックの帯域拡張は品質を著しく劣化させる。
●7kHzにおけるローパスフィルタ(ブロック113)は、低帯域と高帯域との間に、23.85kbit/sにおいて2つの帯域を若干非同期化させることによりいくつかの信号の品質を劣化させ得るほぼ1msの変位を導入し、この非同期化はまた、ビットレートを23.85kbit/sから他のモードへ切り替える際に問題となり得る。
●サブフレーム毎の利得の推定(ブロック101、103〜105)は最適ではない。部分的には、サブフレーム毎の利得の推定は、異なる周波数における信号:16kHz(白色雑音)における人工励振と12.8kHz(復号化されたACELP励振)における信号との間の1サブフレーム当たりの「絶対」エネルギーの等化(ブロック101)に基づく。この手法は高帯域励振の減衰(比12.8/16=0.8のみ)を暗黙的に誘起することに特に注目し得る。実際、0.6に比較的近い増幅(6400Hzにおける1/(1−0.68z−1)の周波数応答の値に対応する)を暗黙的に誘起するAMR−WBコーデックでは、いかなるデエンファシスも高帯域に対し行われないことにも留意されよう。
実際には、1/0.8と0.6の係数はほぼ補償される。
●スピーチに関して、3GPP報告TR26.976において文書化された3GPP AMR−WBコーデック特徴付け試験は、23.85kbit/sにおけるモードが23.05kbit/sにおける品質よりもあまり良くない品質(実際には15.85kbit/sにおけるモードと同様の品質)を有することを示した。これは、品質が23.85kbit/sにおいて低下され、一方、1フレーム当たり4ビットは元の高周波数のエネルギーを最良に近似できるようにすると考えられるため、人工HF信号のレベルが非常に慎重に制御されなければならないことを特に示す。
●符号化帯域の7kHzまでの制限は、音響端末の送信応答(ITU−TG.191標準規格P.341のフィルタ)の厳しいモデルの適用から生じる。16kHzのサンプリング周波数に関し、7〜8kHz帯域内の周波数は、良質なレベルを保証するために特に音楽信号には依然として重要である。
− 復号低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程と、
− 結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合する工程と、
− 第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上で、抽出工程前の低帯域復号信号または結合工程後の結合信号を拡張する工程と
を含むようなものである。
− 周波数領域内の復号低帯域信号または復号および拡張低帯域信号の優勢音声成分を検出する工程と、
− 環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
に従って行われる。
− 復号低帯域信号または復号および拡張低帯域信号のスペクトルの平均値を計算することにより環境信号を取得する工程と、
− 復号低帯域信号または復号および拡張低帯域信号から計算環境信号を減じることにより音声成分を取得する工程と
に従って行われる。
− 復号低帯域信号から生じる信号に基づき音声成分と環境信号とを抽出するモジュールと、
− 結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合するモジュールと、
− 第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上へ抽出モジュール前の低帯域復号信号または結合モジュール後の結合信号を拡張し、かつ抽出モジュール前の低帯域復号信号または結合モジュール後の結合信号において実装されるモジュールと
を含む。
●正しく受信されたフレームの場合の符号化パラメータの逆多重化工程(ブロック300)(「不良フレーム指標」であるbfi=0、受信フレームに対して値0、消失フレームに対して1を有する);
●ISFパラメータを標準規格G.722.2の節6.1に記載のようにLPC係数(ブロック301)中へ補間および変換することにより復号化する工程;
●12.8kHzにおいて長さ64の各サブフレーム内に励振(excまたはu'(n))を再構築する適応化および固定部によりCELP励振を復号化する工程(ブロック302):
●
●fs=8kHzであればG.718の節7.3による狭帯域後処理(ブロック304);
●フィルタ1/(1−0.68z−1)によるデエンファシス(ブロック305);
●G.718の節7.14.1.1に記載のような低周波の後処理(ブロック306)。この処理は、高帯域(>6.4kHz)の復号化において考慮される遅延を導入する;
●出力周波数fsにおける12.8kHzの内部周波数の再サンプリング(ブロック307)。多くの実施形態が可能である。一般性を失うことなしに、本明細書では、一例として、fs=8または16kHzであればG.718の節7.6に記載された再サンプリングがここでは繰り返され、fs=32または48kHzであれば追加の有限インパルス応答(FIR)フィルタが使用されると考えられる;
●G.718の節7.14.3に記載のように優先的に行われる「雑音ゲート」のパラメータの計算(ブロック308)。
− 周波数領域内の復号(または復号および拡張)低帯域信号の優勢音声成分の検出工程と、
− 環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
を含む。
− 復号(または復号および拡張)低帯域信号の平均値を計算することにより環境信号を得る工程と、
− 復号低帯域信号または復号および拡張低帯域信号から計算環境信号を減じることにより音声成分を得る工程と
により得られ得る。
●拡張復号低帯域信号enerHBの全エネルギーの計算:
●本明細書ではスペクトルの平均レベルlev(i)に対応する環境情報(絶対値)の計算(スペクトル線毎)と優勢音声部分(高周波スペクトル内)のエネルギーenertonalの計算、i=0,...,L−1に対し、この平均レベルは次式により得られる。
fb(i)=0およびfn(i)=i+7、i=0,・・・,6の場合、
fb(i)=i−7およびfn(i)=L−1、i=L−7,・・・,L−1の場合
を定義する。
y(i)=(|UHB1(i+240)|)−lev(i),i=0,...,L−1
これは、所与のスペクトル線iにおける値y(i)が正(y(i)>0)であれば、音声成分に(ほぼ)対応する。
− 周波数領域内の復号(または復号および拡張)低帯域信号の優勢音声成分の検出工程と、
− 環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
に従って行われる。
|UHB1(i+240)|>|UHB1(i+240−1)|、|UHB1(i+240)|>|UHB1(i+240+1)|,i=0,...,L−1
スパイクが指標iのスペクトル線において検知されると直ちに、正弦波モデルが、このスパイクに関連付けられた音声成分の振幅、周波数および任意選択的に位相パラメータを推定するように適用される。この推定の詳細はここでは提示されないが、周波数の推定は通常、3点の振幅|UHB1(i+240)|(dBで表現される)を近似する放物線の最大値の位置を特定するように3点にわたる放物線補間を要求し得、振幅推定はこの同じ補間により得られる。ここで使用される変換(DCT−IV)領域は位相を直接得られるようにしないため、一実施形態ではこの項を無視することが可能となるが、変形形態では、位相項を推定するためにDSTタイプの直交変換を適用することが可能となる。y(i),i=0,...,L−1の初期値は零に設定される。各音声成分の正弦波パラメータ(周波数、振幅および任意選択的に位相)が推定され、次に、項y(i)は、推定正弦波パラメータに従ってDCT−IV領域(または、いくつかの他の副帯域分解が使用されれば、他の領域)に変換された純粋な正弦関数の予め定義されたプロトタイプ(スペクトル)の和として計算される。最後に、振幅スペクトルの領域を絶対値として表わすために絶対値が項y(i)へ適用される。音声成分を判断するための他の方式が可能であり、例えば、この包絡線を越えるスパイクとして音声成分を検知するとともに下記y(i)を定義するために、この包絡線を一定レベル(dB)だけ低下させるために、|UHB1(i+240)|の極大値(検知されたスパイク)のスプライン補間により信号の包絡線env(i)を計算することも可能であろう。
y(i)=max(|UHB1(i+240)|−env(i),0)
lev(i)=|UHB1(i+240)|−y(i),i=0,...,L−1
y''(i)=sgn(UHB1(i+240))y'(i)
ここで、下記関数sgn(.)は符号を与える。
UHB2(k)=fac.y''(k−240),k=240,...,319
UHB2(k)は帯域拡張結合信号である。
uHB'(n)=gHB1(m)uHB(n)、n−80m,・・・80(m+1)−1
uHB''(n)=gHB2(m)uHB'(n),n−80m,・・・80(m+1)−1
ここで、利得gHB2(m)はAMR−WBコーデックのブロック103、104、105を実行することによりブロック505から得られる(ブロック103の入力は、低帯域において復号化された励振u(n)である)。ブロック505と506は、LPC合成フィルタ(ブロック507)のレベルを調整する(ここでは信号の傾きに応じて)のに役立つ。本発明の性質を変えることなく利得gHB2(m)を計算する他の方式が可能である。
Claims (11)
- 復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法であって、
低帯域と称する第1の周波数帯域において復号化された復号化低帯域信号を得る工程、
前記第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上で、前記復号化低帯域の信号を拡張して、拡張復号化低帯域信号を形成する工程、
前記拡張復号化低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程と、
結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合する工程と、
デエンファシスフィルタ処理とバンドパスフィルタ周波数応答とを前記結合信号に適用する工程と、
を有する方法。 - 前記デエンファシスフィルタ処理が周波数領域で実行される、請求項1に記載の方法。
- 前記デエンファシスフィルタ処理の実行が、前記結合信号のより高い係数に限定される、請求項2に記載の方法。
- 前記バンドパスフィルタは、固定のハイパスフィルタ及び適応型ローパスフィルタを用いて適用される、請求項1から請求項5のいずれか一項に記載の方法。
- 低帯域と称する第1の周波数帯域において復号化されたオーディオ周波数信号の周波数帯域を拡張する装置であって、
命令が記憶された非一時的コンピュータ可読メモリ、
前記命令を実行することにより、
低帯域と称する第1の周波数帯域において復号化された復号化低帯域信号を得て、
前記第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上で、前記復号化低帯域の信号を拡張して、拡張復号化低帯域信号を形成し、
前記拡張復号化低帯域信号から生じる信号から音声成分と環境信号とを抽出し、
結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合し、
デエンファシスフィルタ処理とバンドパスフィルタ周波数応答とを前記結合信号に適用する、
プロセッサを有する、装置。 - 請求項10に記載の周波数帯域拡張装置を含むことを特徴とする、オーディオ周波数信号復号器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1450969 | 2014-02-07 | ||
FR1450969A FR3017484A1 (fr) | 2014-02-07 | 2014-02-07 | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016549732A Division JP6625544B2 (ja) | 2014-02-07 | 2015-02-04 | オーディオ周波数信号の周波数帯域を拡張する方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019168710A JP2019168710A (ja) | 2019-10-03 |
JP6775065B2 true JP6775065B2 (ja) | 2020-10-28 |
Family
ID=51014390
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016549732A Active JP6625544B2 (ja) | 2014-02-07 | 2015-02-04 | オーディオ周波数信号の周波数帯域を拡張する方法及び装置 |
JP2019107007A Active JP6775063B2 (ja) | 2014-02-07 | 2019-06-07 | オーディオ信号復号器における改善された周波数帯域拡張 |
JP2019107009A Active JP6775065B2 (ja) | 2014-02-07 | 2019-06-07 | オーディオ信号復号器における改善された周波数帯域拡張 |
JP2019107008A Active JP6775064B2 (ja) | 2014-02-07 | 2019-06-07 | オーディオ信号復号器における改善された周波数帯域拡張 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016549732A Active JP6625544B2 (ja) | 2014-02-07 | 2015-02-04 | オーディオ周波数信号の周波数帯域を拡張する方法及び装置 |
JP2019107007A Active JP6775063B2 (ja) | 2014-02-07 | 2019-06-07 | オーディオ信号復号器における改善された周波数帯域拡張 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019107008A Active JP6775064B2 (ja) | 2014-02-07 | 2019-06-07 | オーディオ信号復号器における改善された周波数帯域拡張 |
Country Status (21)
Country | Link |
---|---|
US (5) | US10043525B2 (ja) |
EP (4) | EP3327722B1 (ja) |
JP (4) | JP6625544B2 (ja) |
KR (5) | KR20180002906A (ja) |
CN (4) | CN108109632B (ja) |
BR (2) | BR122017027991B1 (ja) |
DK (2) | DK3330966T3 (ja) |
ES (4) | ES2978967T3 (ja) |
FI (1) | FI3330966T3 (ja) |
FR (1) | FR3017484A1 (ja) |
HR (2) | HRP20231164T1 (ja) |
HU (2) | HUE062979T2 (ja) |
LT (2) | LT3330966T (ja) |
MX (1) | MX363675B (ja) |
PL (4) | PL3327722T3 (ja) |
PT (2) | PT3103116T (ja) |
RS (2) | RS62160B1 (ja) |
RU (4) | RU2682923C2 (ja) |
SI (2) | SI3103116T1 (ja) |
WO (1) | WO2015118260A1 (ja) |
ZA (3) | ZA201606173B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101737254B1 (ko) * | 2013-01-29 | 2017-05-17 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 신호, 디코더, 인코더, 시스템 및 컴퓨터 프로그램을 합성하기 위한 장치 및 방법 |
FR3017484A1 (fr) * | 2014-02-07 | 2015-08-14 | Orange | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
EP2980794A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
EP3382704A1 (en) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for determining a predetermined characteristic related to a spectral enhancement processing of an audio signal |
US10681486B2 (en) * | 2017-10-18 | 2020-06-09 | Htc Corporation | Method, electronic device and recording medium for obtaining Hi-Res audio transfer information |
EP3518562A1 (en) | 2018-01-29 | 2019-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels |
WO2020146867A1 (en) * | 2019-01-13 | 2020-07-16 | Huawei Technologies Co., Ltd. | High resolution audio coding |
KR102308077B1 (ko) * | 2019-09-19 | 2021-10-01 | 에스케이텔레콤 주식회사 | 학습 모델 기반의 인공 대역 변환장치 및 방법 |
CN113192517B (zh) * | 2020-01-13 | 2024-04-26 | 华为技术有限公司 | 一种音频编解码方法和音频编解码设备 |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998001847A1 (en) * | 1996-07-03 | 1998-01-15 | British Telecommunications Public Limited Company | Voice activity detector |
SE9700772D0 (sv) * | 1997-03-03 | 1997-03-03 | Ericsson Telefon Ab L M | A high resolution post processing method for a speech decoder |
TW430778B (en) * | 1998-06-15 | 2001-04-21 | Yamaha Corp | Voice converter with extraction and modification of attribute data |
JP4135240B2 (ja) * | 1998-12-14 | 2008-08-20 | ソニー株式会社 | 受信装置及び方法、通信装置及び方法 |
US6226616B1 (en) * | 1999-06-21 | 2001-05-01 | Digital Theater Systems, Inc. | Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility |
JP4792613B2 (ja) * | 1999-09-29 | 2011-10-12 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
US6704711B2 (en) * | 2000-01-28 | 2004-03-09 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for modifying speech signals |
DE10041512B4 (de) * | 2000-08-24 | 2005-05-04 | Infineon Technologies Ag | Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen |
WO2003003345A1 (fr) * | 2001-06-29 | 2003-01-09 | Kabushiki Kaisha Kenwood | Dispositif et procede d'interpolation des composantes de frequence d'un signal |
CN100395817C (zh) * | 2001-11-14 | 2008-06-18 | 松下电器产业株式会社 | 编码设备、解码设备和解码方法 |
US20050004803A1 (en) * | 2001-11-23 | 2005-01-06 | Jo Smeets | Audio signal bandwidth extension |
US20030187663A1 (en) * | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
AU2002319903A1 (en) * | 2002-06-28 | 2004-01-19 | Pirelli Pneumatici S.P.A. | System and monitoring characteristic parameters of a tyre |
US6845360B2 (en) * | 2002-11-22 | 2005-01-18 | Arbitron Inc. | Encoding multiple messages in audio data and detecting same |
AU2006232362B2 (en) * | 2005-04-01 | 2009-10-08 | Qualcomm Incorporated | Systems, methods, and apparatus for highband time warping |
DE602006019723D1 (de) * | 2005-06-08 | 2011-03-03 | Panasonic Corp | Vorrichtung und verfahren zur verbreiterung eines audiosignalbands |
FR2888699A1 (fr) * | 2005-07-13 | 2007-01-19 | France Telecom | Dispositif de codage/decodage hierachique |
US7546237B2 (en) * | 2005-12-23 | 2009-06-09 | Qnx Software Systems (Wavemakers), Inc. | Bandwidth extension of narrowband speech |
CN101089951B (zh) * | 2006-06-16 | 2011-08-31 | 北京天籁传音数字技术有限公司 | 频带扩展编码方法及装置和解码方法及装置 |
JP5141180B2 (ja) * | 2006-11-09 | 2013-02-13 | ソニー株式会社 | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
KR101379263B1 (ko) * | 2007-01-12 | 2014-03-28 | 삼성전자주식회사 | 대역폭 확장 복호화 방법 및 장치 |
US8229106B2 (en) * | 2007-01-22 | 2012-07-24 | D.S.P. Group, Ltd. | Apparatus and methods for enhancement of speech |
US8489396B2 (en) * | 2007-07-25 | 2013-07-16 | Qnx Software Systems Limited | Noise reduction with integrated tonal noise reduction |
US8041577B2 (en) * | 2007-08-13 | 2011-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Method for expanding audio signal bandwidth |
US20110035212A1 (en) * | 2007-08-27 | 2011-02-10 | Telefonaktiebolaget L M Ericsson (Publ) | Transform coding of speech and audio signals |
CN101816191B (zh) * | 2007-09-26 | 2014-09-17 | 弗劳恩霍夫应用研究促进协会 | 用于提取环境信号的装置和方法 |
US8688441B2 (en) * | 2007-11-29 | 2014-04-01 | Motorola Mobility Llc | Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content |
RU2439720C1 (ru) * | 2007-12-18 | 2012-01-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки звукового сигнала |
EP2077550B8 (en) * | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
US8483854B2 (en) * | 2008-01-28 | 2013-07-09 | Qualcomm Incorporated | Systems, methods, and apparatus for context processing using multiple microphones |
DE102008015702B4 (de) * | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
US8831936B2 (en) * | 2008-05-29 | 2014-09-09 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement |
KR101381513B1 (ko) * | 2008-07-14 | 2014-04-07 | 광운대학교 산학협력단 | 음성/음악 통합 신호의 부호화/복호화 장치 |
US8352279B2 (en) * | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
US8532983B2 (en) * | 2008-09-06 | 2013-09-10 | Huawei Technologies Co., Ltd. | Adaptive frequency prediction for encoding or decoding an audio signal |
WO2010069885A1 (en) * | 2008-12-15 | 2010-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and bandwidth extension decoder |
US8463599B2 (en) * | 2009-02-04 | 2013-06-11 | Motorola Mobility Llc | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder |
RU2452044C1 (ru) * | 2009-04-02 | 2012-05-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот |
CN101990253A (zh) * | 2009-07-31 | 2011-03-23 | 数维科技(北京)有限公司 | 一种带宽扩展方法及其装置 |
JP5493655B2 (ja) | 2009-09-29 | 2014-05-14 | 沖電気工業株式会社 | 音声帯域拡張装置および音声帯域拡張プログラム |
EP2502231B1 (en) * | 2009-11-19 | 2014-06-04 | Telefonaktiebolaget L M Ericsson (PUBL) | Bandwidth extension of a low band audio signal |
JP5589631B2 (ja) * | 2010-07-15 | 2014-09-17 | 富士通株式会社 | 音声処理装置、音声処理方法および電話装置 |
US9047875B2 (en) * | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
KR101826331B1 (ko) * | 2010-09-15 | 2018-03-22 | 삼성전자주식회사 | 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법 |
CA2827335C (en) * | 2011-02-14 | 2016-08-30 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Audio codec using noise synthesis during inactive phases |
US20140019125A1 (en) * | 2011-03-31 | 2014-01-16 | Nokia Corporation | Low band bandwidth extended |
PL2791937T3 (pl) * | 2011-11-02 | 2016-11-30 | Wytworzenie rozszerzenia pasma wysokiego sygnału dźwiękowego o poszerzonym paśmie | |
EP2830062B1 (en) * | 2012-03-21 | 2019-11-20 | Samsung Electronics Co., Ltd. | Method and apparatus for high-frequency encoding/decoding for bandwidth extension |
US9228916B2 (en) * | 2012-04-13 | 2016-01-05 | The Regents Of The University Of California | Self calibrating micro-fabricated load cells |
KR101897455B1 (ko) * | 2012-04-16 | 2018-10-04 | 삼성전자주식회사 | 음질 향상 장치 및 방법 |
US9666202B2 (en) * | 2013-09-10 | 2017-05-30 | Huawei Technologies Co., Ltd. | Adaptive bandwidth extension and apparatus for the same |
FR3017484A1 (fr) * | 2014-02-07 | 2015-08-14 | Orange | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
-
2014
- 2014-02-07 FR FR1450969A patent/FR3017484A1/fr active Pending
-
2015
- 2015-02-04 BR BR122017027991-2A patent/BR122017027991B1/pt active IP Right Grant
- 2015-02-04 ES ES17206569T patent/ES2978967T3/es active Active
- 2015-02-04 KR KR1020177037700A patent/KR20180002906A/ko not_active IP Right Cessation
- 2015-02-04 WO PCT/FR2015/050257 patent/WO2015118260A1/fr active Application Filing
- 2015-02-04 ES ES17206563T patent/ES2955964T3/es active Active
- 2015-02-04 RU RU2016136008A patent/RU2682923C2/ru active
- 2015-02-04 RS RS20210945A patent/RS62160B1/sr unknown
- 2015-02-04 PL PL17206569.0T patent/PL3327722T3/pl unknown
- 2015-02-04 LT LTEP17206563.3T patent/LT3330966T/lt unknown
- 2015-02-04 EP EP17206569.0A patent/EP3327722B1/fr active Active
- 2015-02-04 HU HUE17206563A patent/HUE062979T2/hu unknown
- 2015-02-04 EP EP15705687.0A patent/EP3103116B1/fr active Active
- 2015-02-04 RU RU2017144521A patent/RU2763848C2/ru active
- 2015-02-04 CN CN201711459695.XA patent/CN108109632B/zh active Active
- 2015-02-04 SI SI201531646T patent/SI3103116T1/sl unknown
- 2015-02-04 CN CN201580007250.0A patent/CN105960675B/zh active Active
- 2015-02-04 BR BR112016017616-2A patent/BR112016017616B1/pt active IP Right Grant
- 2015-02-04 DK DK17206563.3T patent/DK3330966T3/da active
- 2015-02-04 PL PL17206567.4T patent/PL3330967T3/pl unknown
- 2015-02-04 RU RU2017144523A patent/RU2763547C2/ru active
- 2015-02-04 RU RU2017144522A patent/RU2763481C2/ru active
- 2015-02-04 MX MX2016010214A patent/MX363675B/es unknown
- 2015-02-04 KR KR1020177037706A patent/KR102380487B1/ko active IP Right Grant
- 2015-02-04 ES ES15705687T patent/ES2878401T3/es active Active
- 2015-02-04 DK DK15705687.0T patent/DK3103116T3/da active
- 2015-02-04 PL PL15705687T patent/PL3103116T3/pl unknown
- 2015-02-04 FI FIEP17206563.3T patent/FI3330966T3/fi active
- 2015-02-04 KR KR1020177037710A patent/KR102426029B1/ko active IP Right Grant
- 2015-02-04 JP JP2016549732A patent/JP6625544B2/ja active Active
- 2015-02-04 EP EP17206567.4A patent/EP3330967B1/fr active Active
- 2015-02-04 SI SI201531958T patent/SI3330966T1/sl unknown
- 2015-02-04 ES ES17206567T patent/ES2978878T3/es active Active
- 2015-02-04 HU HUE15705687A patent/HUE055111T2/hu unknown
- 2015-02-04 CN CN201711459701.1A patent/CN108022599B/zh active Active
- 2015-02-04 CN CN201711459702.6A patent/CN107993667B/zh active Active
- 2015-02-04 US US15/117,100 patent/US10043525B2/en active Active
- 2015-02-04 RS RS20230844A patent/RS64614B1/sr unknown
- 2015-02-04 PL PL17206563.3T patent/PL3330966T3/pl unknown
- 2015-02-04 EP EP17206563.3A patent/EP3330966B1/fr active Active
- 2015-02-04 KR KR1020167024350A patent/KR102380205B1/ko active IP Right Grant
- 2015-02-04 PT PT157056870T patent/PT3103116T/pt unknown
- 2015-02-04 PT PT172065633T patent/PT3330966T/pt unknown
- 2015-02-04 KR KR1020227007471A patent/KR102510685B1/ko active IP Right Grant
- 2015-02-04 LT LTEP15705687.0T patent/LT3103116T/lt unknown
- 2015-02-04 HR HRP20231164TT patent/HRP20231164T1/hr unknown
-
2016
- 2016-09-06 ZA ZA2016/06173A patent/ZA201606173B/en unknown
-
2017
- 2017-12-11 ZA ZA2017/08366A patent/ZA201708366B/en unknown
- 2017-12-11 ZA ZA2017/08368A patent/ZA201708368B/en unknown
-
2018
- 2018-01-12 US US15/869,560 patent/US10668760B2/en active Active
- 2018-06-18 US US16/011,153 patent/US10730329B2/en active Active
-
2019
- 2019-06-07 JP JP2019107007A patent/JP6775063B2/ja active Active
- 2019-06-07 JP JP2019107009A patent/JP6775065B2/ja active Active
- 2019-06-07 JP JP2019107008A patent/JP6775064B2/ja active Active
-
2020
- 2020-07-13 US US16/926,818 patent/US11312164B2/en active Active
- 2020-07-27 US US16/939,104 patent/US11325407B2/en active Active
-
2021
- 2021-07-23 HR HRP20211187TT patent/HRP20211187T1/hr unknown
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6775065B2 (ja) | オーディオ信号復号器における改善された周波数帯域拡張 | |
JP6515157B2 (ja) | 音声周波数信号復号器における周波数帯域拡張のための最適化スケール因子の判定方法及び判定装置 | |
JP2016528539A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6775065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |