JP2012027255A - Band extension device, program, and voice communication device - Google Patents
Band extension device, program, and voice communication device Download PDFInfo
- Publication number
- JP2012027255A JP2012027255A JP2010166091A JP2010166091A JP2012027255A JP 2012027255 A JP2012027255 A JP 2012027255A JP 2010166091 A JP2010166091 A JP 2010166091A JP 2010166091 A JP2010166091 A JP 2010166091A JP 2012027255 A JP2012027255 A JP 2012027255A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- band
- circuit
- frequency band
- lpc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は帯域拡張装置及びプログラム、並びに、音声通信装置に関し、例えば、帯域が制限された電話音声信号に対して、制限帯域を超える信号成分を付加して広帯域音声信号に変換する場合に適用し得るものである。 The present invention relates to a band extension apparatus, a program, and a voice communication apparatus, and is applied to, for example, a case where a signal component exceeding the limit band is added to a telephone voice signal whose band is limited and converted to a wideband voice signal. To get.
音声通信である電話システムの多くは、伝送可能な音声信号の周波数が高々4kHzに制限されている。これは、本来人間が発する音声に比べてはるかに周波数範囲が狭く、このため貧弱な品質となっている。このような課題に対して、例えば、特許文献1の記載技術のように、制限帯域を超える信号成分を生成、付加して品質の向上を図るものがある。 In many telephone systems that are voice communications, the frequency of voice signals that can be transmitted is limited to 4 kHz at most. This is a much narrower frequency range compared to the speech originally produced by humans, and therefore has poor quality. In order to solve such a problem, for example, as in the technique described in Patent Document 1, there is a technique for generating and adding a signal component exceeding a limited band to improve the quality.
特許文献1の記載技術では、帯域が制限された音声信号(以下、狭帯域信号若しくは狭帯域音声信号と呼ぶ)をLPC分析し、スペクトル概形を表すLPC係数とスペクトル概形を除去した残差信号とに分離し、得られたLPC係数を予め定められた変換則に従って広帯域化し、得られた残差信号を非線形処理により広帯域化し、広帯域化されたLPC係数と広帯域化された残差信号とから広帯域音声信号を合成し、その後、制限帯域を超える部分を抜き出して元の狭帯域信号に付加することにより、狭帯域信号を広帯域化している。 In the technique described in Patent Document 1, an audio signal with a limited band (hereinafter referred to as a narrowband signal or a narrowband audio signal) is subjected to LPC analysis, and an LPC coefficient representing a spectrum outline and a residual obtained by removing the spectrum outline are removed. The obtained LPC coefficients are broadened according to a predetermined conversion rule, the obtained residual signal is broadened by nonlinear processing, and the widened LPC coefficients and the widened residual signal are Then, a wideband voice signal is synthesized, and then a portion exceeding the limited band is extracted and added to the original narrowband signal, thereby widening the narrowband signal.
一般に残差信号はスペクトル概形が白色化されており、LPC係数による合成処理は残差信号に対して所定のスペクトル概形を付与する処理であると言える。 In general, the residual signal has a spectral outline whitened, and it can be said that the synthesis process using the LPC coefficient is a process of giving a predetermined spectral outline to the residual signal.
特許文献1の記載技術では、例えば、狭帯域信号に対するLPC係数と、帯域が制限されていない広帯域信号に対するLPC係数との関係を予め求めておき、広帯域化の処理では、この関係を利用して、狭帯域信号を分析して得られたLPC係数から広帯域化されたLPC係数に変換している。 In the technique described in Patent Document 1, for example, a relationship between an LPC coefficient for a narrowband signal and an LPC coefficient for a wideband signal whose bandwidth is not limited is obtained in advance. The LPC coefficient obtained by analyzing the narrowband signal is converted into the LPC coefficient having a wider band.
一方、白色化されている狭帯域残差信号を非線形処理により広帯域化しているが、非線形処理により広帯域化された広帯域残差信号は、必ずしもそのスペクトル概形が白色にならない。このため、広帯域残差信号のスペクトル概形が白色であることを前提とした広帯域LPC係数と、そのスペクトル概形が白色でない広帯域残差信号とから広帯域音声信号が合成される場合も生じる。 On the other hand, the narrow band residual signal that has been whitened is widened by nonlinear processing, but the broadband residual signal that has been widened by nonlinear processing does not necessarily have a white spectral outline. For this reason, a wideband speech signal may be synthesized from a wideband LPC coefficient on the assumption that the spectral outline of the wideband residual signal is white and a wideband residual signal whose spectral outline is not white.
さらに、仮に広帯域残差信号が白色化されていたとしても、上述のようなLPC係数の広帯域化では、狭帯域LPC係数と好適な対応関係にある広帯域LPC係数が必ずしも得られるとは限らない。このような対応関係が不十分な広帯域LPC係数を適用して合成された広帯域音声信号は、意図しないスペクトル概形を持ち、品質が劣化する場合がある。 Furthermore, even if the wideband residual signal is whitened, widening the LPC coefficient as described above does not necessarily provide a wideband LPC coefficient having a suitable correspondence with the narrowband LPC coefficient. A wideband speech signal synthesized by applying such a wideband LPC coefficient having an insufficient correspondence relationship may have an unintended spectral outline and may deteriorate in quality.
本発明は、上述の課題に鑑みてなされたものであり、非線形処理を利用して生成された、周波数帯域が拡張された信号の意図しない品質劣化を抑えることができる帯域拡張装置及びプログラム、並びに、音声通信装置を提供しようとしたものである。 The present invention has been made in view of the above-described problems, and a bandwidth expansion device and program that can suppress unintended quality degradation of a frequency band-enhanced signal generated using nonlinear processing, and An attempt is made to provide a voice communication device.
第1の本発明は、周波数帯域が制限された狭帯域の信号に対し、非線形処理を施す非線形処理手段を有し、周波数帯域が拡張された信号を形成する帯域拡張装置において、(a)上記非線形処理が施された信号を白色化する白色化手段と、(b)上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段との少なくとも一方を備えることを特徴とする。 According to a first aspect of the present invention, there is provided a band extending apparatus that has nonlinear processing means for performing nonlinear processing on a narrowband signal with a limited frequency band, and forms a signal with an expanded frequency band. A whitening means for whitening a signal subjected to nonlinear processing; and (b) obtaining a spectral outline of the signal with the expanded frequency band and flattening the obtained spectral outline with respect to white noise. It is characterized by comprising at least one of noise superimposing means for generating the given signal and superimposing it on the signal with the expanded frequency band.
第2の本発明は、周波数帯域が制限された狭帯域の信号の、周波数帯域が拡張された信号を形成するための帯域拡張プログラムであって、(1)コンピュータを、周波数帯域が制限された狭帯域の信号に対し、非線形処理を施して、周波数帯域が拡張された信号を形成する非線形処理手段として機能させると共に、(2)コンピュータを、(2a)上記非線形処理が施された信号を白色化する白色化手段と、(2b)上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段との少なくとも一方として機能させることを特徴とする。 A second aspect of the present invention is a band expansion program for forming a signal having a frequency band expanded from a narrow band signal having a frequency band limited, wherein (1) the frequency band is limited to a computer. Non-linear processing is performed on the narrow-band signal to function as a non-linear processing means for forming a signal with an expanded frequency band, and (2) the computer is (2a) the signal subjected to the non-linear processing is white. And (2b) obtaining a spectral outline of the signal with the expanded frequency band, generating a signal in which white noise has a characteristic obtained by flattening the obtained spectral outline, and generating the frequency It is made to function as at least one of the noise superimposing means which superimposes on the signal by which the band was extended.
第3の本発明は、受信した音声信号の帯域が制限されている音声通信装置において、第1の本発明の帯域拡張装置を備え、受信した音声信号の帯域を拡張することを特徴とする。 According to a third aspect of the present invention, in a voice communication apparatus in which a band of a received voice signal is limited, the band extension apparatus of the first aspect of the invention is provided, and the band of the received voice signal is extended.
本発明によれば、非線形処理を利用して生成された、周波数帯域が拡張された信号の意図しない品質劣化を抑えることができる。 According to the present invention, it is possible to suppress unintended quality deterioration of a signal with an expanded frequency band, which is generated using nonlinear processing.
(A)第1の実施形態
以下、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第1の実施形態を、図面を参照しながら説明する。
(A) First Embodiment Hereinafter, a first embodiment of a bandwidth extending apparatus and program and a voice communication apparatus according to the present invention will be described with reference to the drawings.
(A−1)第1の実施形態の構成
図2は、第1の実施形態に係る音声通信装置の主要部構成を示すブロック図である。
(A-1) Configuration of the First Embodiment FIG. 2 is a block diagram showing the main configuration of the voice communication apparatus according to the first embodiment.
第1の実施形態の音声通信装置1は、例えば、IP電話装置(ソフトフォンを含む)であり、送信する音声信号を圧縮符号化すると共に、受信した符号化音声信号を復号するコーデック装置2を備えている。コーデック装置2から出力された復号音声信号は狭帯域信号s(n)であって、音声帯域を高域側に拡張する第1の実施形態の帯域拡張装置3に与えられるようになされている。なお、第1の実施形態の音声通信装置1がソフトフォンの場合には、コーデック装置2や帯域拡張装置3は、CPU、及び、このCPUが実行するプログラム(コーデックプログラムや帯域拡張プログラム)によって実現される。
The voice communication apparatus 1 according to the first embodiment is, for example, an IP telephone apparatus (including a softphone), and includes a
図1は、第1の実施形態に係る帯域拡張装置3の内部構成を示すブロック図である。仮に、第1の実施形態の帯域拡張装置3が、CPU、及び、このCPUが実行する帯域拡張プログラム(第1の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図1で表すことができる。
FIG. 1 is a block diagram showing an internal configuration of the
図1において、第1の実施形態の帯域拡張装置3は、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、白色化回路104、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107及び加算回路108を有する。
In FIG. 1, the
帯域拡張装置3において、コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101及びLPC分析回路102に与えられる。なお、コーデック装置2から出力された狭帯域信号s(n)は、狭い帯域に応じたサンプリング周波数のデジタル音声信号であり、帯域拡張後の広帯域から見ると、サンプリング周波数が不十分なものである。
In the
アップサンプリング回路101は、狭帯域信号s(n)のサンプリング周波数を増加させ、アップサンプリング信号su(n)を加算回路108に出力するものである。
The
LPC分析回路102は、狭帯域信号s(n)を用いたLPC分析を実施し、得られたLPC係数aをLPC係数広帯域化回路105に出力すると共に、狭帯域信号s(n)のスペクトル概形を除去した残差信号e(n)を残差非線形処理回路103に出力するものである。
The
残差非線形処理回路103は、狭帯域の残差信号e(n)のサンプリング周波数を増加させた後、全波整流などの非線形処理を施して広帯域化された残差信号en(n)を得て白色化回路104に出力するものである。残差非線形処理回路103が行う非線形処理は、全波整流に限定されず、半波整流、クリッピングなど、狭帯域信号s(n)についての制限帯域を超えた制限帯域外の成分が生じる非線形処理であれば良く、その手法は限定されないものである。ここで、残差非線形処理回路103の非線形処理により広帯域化された広帯域残差信号は、必ずしもそのスペクトル概形が白色になるとは限らないものである。
The residual
白色化回路104は、第1の実施形態に係る帯域拡張装置3の特徴をなしている構成要素である。白色化回路104は、スペクトル概形が白色ではない広帯域残差信号en(n)が入力された際に白色化し、スペクトル概形が白色の広帯域残差信号ew(n)をLPC合成回路106に出力するものである。白色化回路104による白色化方法は問われないものである。白色化回路104は、例えば、残差非線形処理回路103から出力された広帯域残差信号en(n)を用いたLPC分析を実施し、広帯域残差信号en(n)のスペクトル概形を除去した広帯域残差信号ew(n)を出力する。このスペクトル概形の除去により、スペクトル概形が平滑化されて白色となる。また例えば、白色化回路104は、FFTにより周波数領域の信号に変換し、スペクトル概形を白色のスペクトル概形に整形した後逆FFTすることを通して、広帯域残差信号e(n)のスペクトル概形を除去(平滑化)する。
The
LPC係数広帯域化回路105は、狭帯域LPC係数aを広帯域化し、広帯域LPC係数awをLPC合成回路106に出力するものである。LPC係数の広帯域化方法も、限定されるものではない。上述した特許文献1に記載の手法が適用できる。その他、特開2010−55000、特開2010−55002、特開平11−126098などに記載の手法も適用できる。
The LPC
LPC合成回路106は、白色化回路104からの広帯域残差信号ew(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとからLPC合成処理を実施し、合成広帯域信号sr(n)を得て帯域通過回路107に出力するものである。
The
帯域通過回路107は、合成広帯域信号sr(n)に対して、狭帯域信号s(n)についての制限帯域以外の帯域部分を通過させ、その帯域通過信号sb(n)を加算回路108に出力するものである。帯域通過信号sb(n)は、狭帯域信号s(n)が備えない帯域の信号であり、言い換えると、拡張帯域の信号である。
The
加算回路108は、アップサンプリング回路101から出力されたアップサンプリング信号(帯域的には狭帯域信号と同様)su(n)と、帯域通過回路107から出力された拡張帯域信号sb(n)とを加算し、広帯域信号sw(n)を得て、当該帯域拡張装置3からの出力信号として出力するものである。
The
(A−2)第1の実施形態の動作
次に、第1の実施形態の帯域拡張装置3の動作を、図面を参照しながら詳述する。なお、第1の実施形態の音声通信装置1の動作説明は省略する。
(A-2) Operation of the First Embodiment Next, the operation of the
コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101及びLPC分析回路102に与えられる。
The narrowband signal s (n) output from the
狭帯域信号s(n)は、アップサンプリング回路101においてサンプリング周波数が増加され、その増加後のアップサンプリング信号su(n)が加算回路108に出力される。
The sampling frequency of the narrowband signal s (n) is increased in the
狭帯域信号s(n)に対し、LPC分析回路102によってLPC分析が実施され、得られたLPC係数aがLPC係数広帯域化回路105に出力されると共に、残差信号e(n)が残差非線形処理回路103に出力される。狭帯域の残差信号e(n)は、残差非線形処理回路103においてそのサンプリング周波数が高められると共に、非線形処理が施されて広帯域化され、広帯域となった残差信号en(n)が白色化回路104に出力される。広帯域の残差信号en(n)は、白色化回路104において白色化され、その白色化された広帯域残差信号ew(n)がLPC合成回路106に出力される。狭帯域LPC係数aは、LPC係数広帯域化回路105において広帯域化され、広帯域LPC係数awがLPC合成回路106に出力される。白色化回路104からの広帯域残差信号ew(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとは、LPC合成回路106に与えられて、LPC合成処理が実施され、得られた合成広帯域信号sr(n)が帯域通過回路107に出力される。
LPC analysis is performed on the narrowband signal s (n) by the
合成広帯域信号sr(n)は、帯域通過回路107によって、狭帯域信号s(n)についての制限帯域以外の帯域部分に濾波され、その帯域通過信号sb(n)が加算回路108に出力され。
The combined wideband signal sr (n) is filtered by the
アップサンプリング回路101から出力されたアップサンプリング信号と、帯域通過回路107から出力された拡張帯域信号sb(n)とが加算回路108において加算され、得られた広帯域信号sw(n)が当該帯域拡張装置3の次段装置に出力される。
The upsampling signal output from the
(A−3)第1の実施形態の効果
第1の実施形態によれば、非線形処理後の残差信号を白色化するようにしたので、LPC合成により生成された広帯域信号が意図しないスペクトル概形を持つ場合が少なくなり、音質の劣化を抑えることができる。
(A-3) Effect of the First Embodiment According to the first embodiment, the residual signal after nonlinear processing is whitened, so that a broadband signal generated by LPC synthesis is not intended for an approximate spectrum. There are fewer cases with shapes, and deterioration of sound quality can be suppressed.
(B)第2の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第2の実施形態を、図面を参照しながら説明する。
(B) Second Embodiment Next, a second embodiment of the bandwidth extending apparatus and program and the voice communication apparatus according to the present invention will be described with reference to the drawings.
(B−1)第2の実施形態の構成
第2の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第2の実施形態の帯域拡張装置の構成を説明する。
(B-1) Configuration of the Second Embodiment The configuration of the voice communication apparatus of the second embodiment is the same as that of the first embodiment, and the configuration of the bandwidth extension apparatus of the second embodiment will be described below. To do.
図3は、第2の実施形態に係る帯域拡張装置3Aの内部構成を示すブロック図である。仮に、第2の実施形態の帯域拡張装置3Aが、CPU、及び、このCPUが実行する帯域拡張プログラム(第2の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図3で表すことができる。図3において、上述した第1の実施形態に係る図1との同一、対応部分には同一符号を付して示している。 FIG. 3 is a block diagram showing an internal configuration of the bandwidth extension device 3A according to the second embodiment. Even if the bandwidth extension device 3A of the second embodiment is realized by a CPU and a bandwidth extension program (band extension program of the second embodiment) executed by the CPU, it is functionally Can be represented in FIG. In FIG. 3, the same and corresponding parts as those in FIG. 1 according to the first embodiment are denoted by the same reference numerals.
図3において、第2の実施形態の帯域拡張装置3Aは、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色重畳部200は、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。
In FIG. 3, the band extending apparatus 3A of the second embodiment includes an
アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107及び加算回路108は、第1の実施形態と同様に機能するものである。
The
第2の実施形態の帯域拡張装置3Aは、第1の実施形態の白色化回路104に代えて、白色重畳部200を備えている。白色化回路104が省略されているため、残差非線形処理回路103から出力された広帯域の残差信号en(n)は、LPC合成回路106に出力され、LPC合成回路106は、広帯域の残差信号en(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとを用いて、LPC合成処理を実施する。そのため、LPC合成回路106から出力された合成広帯域信号sr(n)は、第1の実施形態の場合より、スペクトル概形が意図しない形になり易い。
The band extension device 3A of the second embodiment includes a white
白色重畳部200は、LPC合成回路106からの合成広帯域信号sr(n)に、白色信号を重畳することにより、合成広帯域信号sr(n)における意図しない周波数成分を目立たなくしようとしたものである。すなわち、狭帯域信号から生成された広帯域信号に対して、スペクトル概形が類似した雑音信号を重畳し、意図しないスペクトル概形による異音を聴感的に検知し難くし、音質の劣化を抑えようとしたものである。
The white
白色重畳部200における有声無声判定回路201には狭帯域信号s(n)が入力される。有声無声判定回路201は、狭帯域信号s(n)を用いて有声音か無声音かを判定し、有声無声判定結果vを白色雑音発生回路203に出力するものである。有声無声判定回路201は、有声音であればv=1を、無声音であればv=0を出力する。有声無声判定回路201における有声無声判定方法は、いかなる方法を適用しても良い。例えば、狭帯域信号s(n)の周期性を監視し、周期性が強い場合に有声音と判定する方法を適用できる。
The narrowband signal s (n) is input to the voiced /
広帯域LPC分析回路202は、合成広帯域信号sr(n)を用いてLPC分析を実施し、合成広帯域LPC係数wをLPC雑音合成回路204に出力すると共に、合成広帯域信号sr(n)のスペクトル概形を除去した合成広帯域残差信号se(n)を白色雑音発生回路203に出力するものである。
The broadband
白色雑音発生回路203は、合成広帯域残差信号se(n)と同じパワの白色雑音を発生し、発生した白色雑音に重畳度合いを規定するゲインαを乗じた白色雑音信号p(n)をLPC雑音合成回路204に出力するものである。ゲインαは、有声無声判定結果vに応じた値をとるものであり、例えば、(1)式に示す値をとる。(1)式は、v=1(有声音)のときにα=β(但し、0<β<1とする)とし、v=0(無声音)のときにα=1とするものである。すなわち、無声音(無声音区間)のときの方が有声音(有声音区間)より白色雑音の重畳度合を多くするようにしている。なお、有声無声判定結果vは、2値ではなく周期性の度合いに応じて段階的に変化する多値(3値以上)であっても良い。
The white
α=β+(1−β)×(1−v) …(1)
LPC雑音合成回路204は、合成広帯域LPC係数wにリーク係数を乗じるなどしてスペクトル概形をある程度平坦化した後、白色雑音信号p(n)の合成白色雑音信号ps(n)を生成し、加算回路205に出力するものである。
α = β + (1-β) × (1-v) (1)
The LPC
加算回路205は、LPC合成回路106から出力された合成広帯域信号sr(n)とLPC雑音合成回路204から出力された合成白色雑音信号ps(n)とを加算して帯域通過回路106に出力するものである。
The adding
(B−2)第2の実施形態の動作
次に、第2の実施形態の帯域拡張装置3Aの動作を、図面を参照しながら詳述する。
(B-2) Operation of Second Embodiment Next, the operation of the bandwidth expansion device 3A of the second embodiment will be described in detail with reference to the drawings.
コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101、LPC分析回路102及び有声無声判定回路201に与えられる。
The narrowband signal s (n) output from the
狭帯域信号s(n)は、アップサンプリング回路101においてサンプリング周波数が増加され、その増加後のアップサンプリング信号su(n)が加算回路108に出力される。
The sampling frequency of the narrowband signal s (n) is increased in the
狭帯域信号s(n)に対し、LPC分析回路102によってLPC分析が実施され、得られたLPC係数aがLPC係数広帯域化回路105に出力されると共に、残差信号e(n)が残差非線形処理回路103に出力される。狭帯域の残差信号e(n)は、残差非線形処理回路103においてそのサンプリング周波数が高められると共に、非線形処理が施されて広帯域化され、広帯域となった残差信号en(n)がLPC合成回路106に出力される。狭帯域LPC係数aは、LPC係数広帯域化回路105において広帯域化され、広帯域LPC係数awがLPC合成回路106に出力される。残差非線形処理回路103からの広帯域残差信号en(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとは、LPC合成回路106に与えられて、LPC合成処理が実施され、得られた合成広帯域信号sr(n)が広帯域LPC分析回路202及び加算回路205に出力される。
LPC analysis is performed on the narrowband signal s (n) by the
また、有声無声判定回路201によって、狭帯域信号s(n)が有声音か無声音かが判定され、有声無声判定結果vが白色雑音発生回路203に出力される。LPC合成回路106から出力された合成広帯域信号sr(n)は、広帯域LPC分析回路202においてLPC分析され、得られた合成広帯域LPC係数wがLPC雑音合成回路204に出力されると共に、得られた合成広帯域残差信号se(n)が白色雑音発生回路203に出力される。白色雑音発生回路203によって、合成広帯域残差信号se(n)と同じパワの白色雑音が発生されると共に、発生された白色雑音に、有声無声判定結果vに応じた値をとるゲインαが乗算され、得られた白色雑音信号p(n)がLPC雑音合成回路204に出力される。合成広帯域LPC係数wは、LPC雑音合成回路204においてリーク係数が乗算されてスペクトル概形がある程度平坦化され、平坦化されたLPC係数と白色雑音信号p(n)とから、LPC雑音合成回路204によって合成白色雑音信号ps(n)が生成され、加算回路205に出力される。LPC合成回路106から出力された合成広帯域信号sr(n)とLPC雑音合成回路204から出力された合成白色雑音信号ps(n)とが加算回路205によって加算されて帯域通過回路106に出力される。
Also, the voiced /
この加算信号sr(n)+ps(n)は、帯域通過回路107によって、狭帯域信号s(n)についての制限帯域以外の帯域部分に濾波され、その帯域通過信号sb(n)が加算回路108に出力される。
The addition signal sr (n) + ps (n) is filtered by the
アップサンプリング回路101から出力されたアップサンプリング信号と、帯域通過回路107から出力された拡張帯域信号sb(n)とが加算回路108において加算され、得られた広帯域信号sw(n)が当該帯域拡張装置3Aの次段装置に出力される。
The upsampling signal output from the
(B−3)第2の実施形態の効果
第2の実施形態によれば、狭帯域信号から生成された広帯域信号に対して、スペクトル概形が類似した雑音信号を重畳するようにしたので、意図しないスペクトル概形による異音を聴感的に検知し難くし、音質の劣化を抑えることができる。さらに、第2の実施形態によれば、拡張の元となる狭帯域信号の特性に応じて雑音の付加量を制御するようにしたので、より効果的に音質の劣化を抑えることができる。
(B-3) Effect of Second Embodiment According to the second embodiment, a noise signal having a similar spectral outline is superimposed on a wideband signal generated from a narrowband signal. It is possible to make it difficult to detect audible noise due to an unintended spectral outline, and to suppress deterioration in sound quality. Furthermore, according to the second embodiment, since the added amount of noise is controlled according to the characteristics of the narrowband signal that is the source of expansion, it is possible to more effectively suppress deterioration in sound quality.
(C)第3の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第3の実施形態を、図面を参照しながら説明する。
(C) Third Embodiment Next, a third embodiment of the bandwidth extending apparatus and program and the voice communication apparatus according to the present invention will be described with reference to the drawings.
第3の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第3の実施形態の帯域拡張装置の構成を説明する。 In the third embodiment, the configuration of the voice communication apparatus is the same as that of the first embodiment, and the configuration of the band extending apparatus of the third embodiment will be described below.
図4は、第3の実施形態に係る帯域拡張装置3Bの内部構成を示すブロック図である。仮に、第3の実施形態の帯域拡張装置3Bが、CPU、及び、このCPUが実行する帯域拡張プログラム(第3の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図4で表すことができる。図4において、上述した第1の実施形態に係る図1や第2の実施形態に係る図3との同一、対応部分には同一符号を付して示している。
FIG. 4 is a block diagram illustrating an internal configuration of the
図4において、第3の実施形態の帯域拡張装置3Bは、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、白色化回路104、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色雑音重畳部200は、第2の実施形態と同様に、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。
In FIG. 4, the
図3及び図4の比較から明らかなように、第3の実施形態の帯域拡張装置3Bは、第2の実施形態の帯域拡張装置3Aの構成に白色化回路104を加えたものとなっている。また別な見方をすれば、図1及び図4の比較から明らかなように、第3の実施形態の帯域拡張装置3Bは、第1の実施形態の帯域拡張装置3の構成に白色雑音重畳部200を加えたものとなっている。
As is clear from the comparison between FIG. 3 and FIG. 4, the
白色化回路104は、広帯域残差信号en(n)を白色化するものであり、白色化された広帯域残差信号ew(n)は、LPC合成回路106によるLPC合成に用いられる。そのため、広帯域残差信号en(n)を白色化しても、広帯域LPC係数awとの相性等によって、LPC合成回路106からの合成広帯域信号sr(n)のスペクトル概形に意図しない周波数成分が生じる恐れがある。
The
第3の実施形態は、白色化された広帯域残差信号ew(n)を用いたLPC合成の結果に意図しない周波数成分が生じたとしても、それが問題となることがないように、白色雑音重畳部200による重畳処理を施すこととしたものである。
In the third embodiment, white noise is generated so that even if an unintended frequency component occurs in the result of LPC synthesis using the whitened wideband residual signal ew (n), it does not become a problem. The superimposing process by the superimposing
第3の実施形態によれば、第1の実施形態の効果と第2の実施形態の効果とが相乗され、さらに効果的に音質の劣化を抑えることができる。 According to the third embodiment, the effects of the first embodiment and the effects of the second embodiment are synergized, and deterioration of sound quality can be more effectively suppressed.
(D)第4の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第4の実施形態を、図面を参照しながら説明する。
(D) Fourth Embodiment Next, a fourth embodiment of the bandwidth extending apparatus and program and the voice communication apparatus according to the present invention will be described with reference to the drawings.
第4の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第4の実施形態の帯域拡張装置の構成を説明する。 In the fourth embodiment, the configuration of the voice communication apparatus is the same as that of the first embodiment, and the configuration of the band extending apparatus of the fourth embodiment will be described below.
図5は、第4の実施形態に係る帯域拡張装置3Cの内部構成を示すブロック図である。仮に、第4の実施形態の帯域拡張装置3Cが、CPU、及び、このCPUが実行する帯域拡張プログラム(第4の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図5で表すことができる。図5において、上述した第2の実施形態に係る図3との同一、対応部分には同一符号を付して示している。 FIG. 5 is a block diagram illustrating an internal configuration of a bandwidth expansion device 3C according to the fourth embodiment. Even if the bandwidth extension device 3C of the fourth embodiment is realized by a CPU and a bandwidth extension program (band extension program of the fourth embodiment) executed by the CPU, it is functionally Can be represented in FIG. In FIG. 5, the same reference numerals are given to the same and corresponding parts as in FIG. 3 according to the second embodiment described above.
図5において、第4の実施形態の帯域拡張装置3Cは、アップサンプリング回路101、音声非線形処理回路300、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色雑音重畳部200は、第2の実施形態と同様に、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。
In FIG. 5, the
上述した第1〜第3の実施形態においては、狭帯域信号s(n)に対してLPC分析を実行して、声道情報(LPC係数)と声帯信号(残差信号)とを得て、それぞれ広帯域化し、その後、LPC合成して広帯域信号sr(n)を得ていた。 In the first to third embodiments described above, LPC analysis is performed on the narrowband signal s (n) to obtain vocal tract information (LPC coefficient) and vocal cord signal (residual signal), Each of the signals was broadened, and then subjected to LPC synthesis to obtain a wideband signal sr (n).
この第4の実施形態は、狭帯域信号s(n)を声道情報(LPC係数)と声帯信号(残差信号)とに分けることなく、広帯域信号sr(n)に変換する構成を採用している。かかる構成要素が、音声非線形処理回路300である。
This fourth embodiment employs a configuration that converts a narrowband signal s (n) into a wideband signal sr (n) without dividing it into vocal tract information (LPC coefficient) and vocal cord signal (residual signal). ing. Such a component is a speech
音声非線形処理回路300は、狭帯域信号s(n)のサンプリング周波数を増加させた後、全波整流などの非線形処理を施して広帯域信号sr(n)を得るものである。音声非線形処理回路300が行う非線形処理は、全波整流に限定されず、半波整流、クリッピングなど、狭帯域信号s(n)についての制限帯域を超えた制限帯域外の成分が生じる非線形処理であれば良く、その手法は限定されないものである。なお、アップサンプリング回路101からの出力信号を音声非線形処理回路300への入力信号とし、音声非線形処理回路300におけるサンプリング周波数の増加を省略するようにしても良い。
The speech
ここで、音声非線形処理回路300から出力された広帯域信号sr(n)は、そのスペクトル概形が意図した形になっているとは限らないものである。そのため、この第4の実施形態では、白色雑音重畳部200による重畳処理を施すこととしている。
Here, the broadband signal sr (n) output from the speech
第4の実施形態によれば、狭帯域信号を声道情報(LPC係数)と声帯信号(残差信号)とに分けることなく、狭帯域信号から広帯域信号を生成する方式を適用しても、上述した第2の実施形態と同様な効果を奏することができる。 According to the fourth embodiment, a method of generating a wideband signal from a narrowband signal without dividing the narrowband signal into vocal tract information (LPC coefficient) and vocal cord signal (residual signal) The same effects as those of the second embodiment described above can be obtained.
因みに、LPC係数の広帯域化処理は、必ずしも好適な広帯域LPC係数が得られず、LPC係数の広帯域化処理自体が意図しないスペクトル概形を付与することとなってしまう場合があり、このような場合は、むしろLPC分析、合成処理を実施しない方が音質の劣化が少ない。第4の実施形態は、このような状況に応じられるものとなっている。 Incidentally, the wideband processing of the LPC coefficient does not necessarily provide a suitable wideband LPC coefficient, and the wideband processing of the LPC coefficient itself may give an unintended spectrum outline. Rather, the sound quality is less degraded when the LPC analysis and synthesis processing are not performed. The fourth embodiment is adapted to such a situation.
(E)他の実施形態
上記各実施形態では、いずれかの実施形態の帯域拡張装置を備えた音声通信装置を示したが、音声通信装置が、第1〜第4の実施形態の帯域拡張装置の2以上の帯域拡張装置を備え、どの帯域拡張装置を適用するかをユーザが選択できるようにしても良い。
(E) Other Embodiments In each of the above embodiments, the voice communication device provided with the bandwidth expansion device of any of the embodiments has been described. However, the voice communication device is the bandwidth expansion device of the first to fourth embodiments. 2 or more of the bandwidth expansion devices may be provided so that the user can select which bandwidth expansion device to apply.
この場合において、同一の音声通信装置に搭載される複数の帯域拡張装置は、同一の構成要素を共通に利用するように構成され、信号経路上に適宜設けられている選択スイッチの選択によって、いずれかの帯域拡張装置として機能できるようにしても良い。 In this case, the plurality of bandwidth extension devices mounted on the same voice communication device are configured to use the same components in common, and depending on the selection of a selection switch appropriately provided on the signal path, It may be possible to function as such a bandwidth expansion device.
上記第1〜第3の実施形態では、声道分析方法としてLPC分析を適用したものを示したが、他の声道分析方法を適用するようにしても良い。 In the first to third embodiments, an example of applying the LPC analysis as the vocal tract analysis method is shown, but other vocal tract analysis methods may be applied.
上記第4の実施形態は、音声非線形処理回路300の後段に白色雑音重畳部200を設けたものを示したが、白色雑音重畳部200に代え、第1の実施形態におけると同様な白色化回路を、音声非線形処理回路300の後段に設けるようにしても良い。
In the fourth embodiment, the white
上記では、上記各実施形態の帯域拡張装置を利用した音声通信装置の例として、IP電話装置を挙げたが、帯域拡張装置の用途はこれに限定されないことは勿論である。VoIPゲートウェイやVoIPサーバ等の音声通信装置に搭載される帯域拡張装置に、本発明を適用するようにしても良い。 In the above description, the IP telephone device has been described as an example of the voice communication device using the bandwidth expansion device of each of the above embodiments. However, the use of the bandwidth expansion device is not limited to this. The present invention may be applied to a bandwidth expansion device mounted on a voice communication device such as a VoIP gateway or a VoIP server.
1…音声通信装置、3、3A〜3C…帯域拡張装置、101…アップサンプリング回路、102…LPC分析回路、103…残差非線形処理回路、104…白色化回路、105…LPC係数広帯域化回路、106…LPC合成回路、107…帯域通過回路、108…加算回路、200…白色重畳部、201…有声無声判定回路、202…広帯域LPC分析回路、203…白色雑音発生回路、204…LPC雑音合成回路、205…加算回路、300…音声非線形処理回路。
DESCRIPTION OF SYMBOLS 1 ... Voice communication apparatus, 3, 3A-3C ... Band expansion apparatus, 101 ... Upsampling circuit, 102 ... LPC analysis circuit, 103 ... Residual nonlinear processing circuit, 104 ... Whitening circuit, 105 ... LPC coefficient widening circuit, DESCRIPTION OF
Claims (5)
上記非線形処理が施された信号を白色化する白色化手段と、
上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段と
の少なくとも一方を備えることを特徴とする帯域拡張装置。 In a band extending apparatus that has nonlinear processing means for performing nonlinear processing on a narrowband signal with a limited frequency band, and forms a signal with an expanded frequency band,
Whitening means for whitening the signal subjected to the nonlinear processing;
Noise obtained by obtaining a spectral outline of a signal with the above frequency band extended, generating a signal with white noise added to a characteristic obtained by flattening the obtained spectral outline, and superimposing it on the signal with the above frequency band extended A band extending apparatus comprising at least one of superimposing means.
コンピュータを、周波数帯域が制限された狭帯域の信号に対し、非線形処理を施して、周波数帯域が拡張された信号を形成する非線形処理手段として機能させると共に、
コンピュータを、上記非線形処理が施された信号を白色化する白色化手段と、上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段との少なくとも一方として機能させる
ことを特徴とする帯域拡張プログラム。 A bandwidth extension program for forming a narrow band signal with a limited frequency band and a signal with an extended frequency band,
The computer functions as a non-linear processing means that performs non-linear processing on a narrow-band signal with a limited frequency band to form a signal with an expanded frequency band,
The computer obtains the whitening means for whitening the signal subjected to the above nonlinear processing and the spectral outline of the signal with the expanded frequency band, and the flattened characteristic of the obtained spectral outline for white noise. A band expansion program that generates a signal given in the above and functions as at least one of noise superimposing means that superimposes the signal on the signal with the expanded frequency band.
請求項1〜3のいずれかに記載の帯域拡張装置を備え、受信した音声信号の帯域を拡張することを特徴とする音声通信装置。 In a voice communication device where the band of the received voice signal is limited,
An audio communication apparatus comprising the band extending apparatus according to any one of claims 1 to 3 and extending a band of a received audio signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010166091A JP5777041B2 (en) | 2010-07-23 | 2010-07-23 | Band expansion device and program, and voice communication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010166091A JP5777041B2 (en) | 2010-07-23 | 2010-07-23 | Band expansion device and program, and voice communication device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012027255A true JP2012027255A (en) | 2012-02-09 |
JP5777041B2 JP5777041B2 (en) | 2015-09-09 |
Family
ID=45780239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010166091A Active JP5777041B2 (en) | 2010-07-23 | 2010-07-23 | Band expansion device and program, and voice communication device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5777041B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015172706A (en) * | 2014-03-12 | 2015-10-01 | 沖電気工業株式会社 | Sound decoding device and program |
CN105427868A (en) * | 2015-10-30 | 2016-03-23 | 杭州乐哈思智能科技有限公司 | Method for eliminating noise of VOIP system bidirectional duplex hand-free voice |
JP2017510836A (en) * | 2014-02-13 | 2017-04-13 | クアルコム,インコーポレイテッド | Expand harmonic bandwidth of audio signal |
JP2021502588A (en) * | 2017-10-27 | 2021-01-28 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | A device, method or computer program for generating bandwidth-extended audio signals using a neural network processor. |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08248997A (en) * | 1995-03-13 | 1996-09-27 | Matsushita Electric Ind Co Ltd | Voice band enlarging device |
US20080140425A1 (en) * | 2005-01-11 | 2008-06-12 | Nec Corporation | Audio Encoding Device, Audio Encoding Method, and Audio Encoding Program |
JP2008535027A (en) * | 2005-04-01 | 2008-08-28 | クゥアルコム・インコーポレイテッド | System, method and apparatus for high-band excitation generation |
JP2010055002A (en) * | 2008-08-29 | 2010-03-11 | Toshiba Corp | Signal band extension device |
-
2010
- 2010-07-23 JP JP2010166091A patent/JP5777041B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08248997A (en) * | 1995-03-13 | 1996-09-27 | Matsushita Electric Ind Co Ltd | Voice band enlarging device |
US20080140425A1 (en) * | 2005-01-11 | 2008-06-12 | Nec Corporation | Audio Encoding Device, Audio Encoding Method, and Audio Encoding Program |
JP2008535027A (en) * | 2005-04-01 | 2008-08-28 | クゥアルコム・インコーポレイテッド | System, method and apparatus for high-band excitation generation |
JP2010055002A (en) * | 2008-08-29 | 2010-03-11 | Toshiba Corp | Signal band extension device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017510836A (en) * | 2014-02-13 | 2017-04-13 | クアルコム,インコーポレイテッド | Expand harmonic bandwidth of audio signal |
JP2015172706A (en) * | 2014-03-12 | 2015-10-01 | 沖電気工業株式会社 | Sound decoding device and program |
CN105427868A (en) * | 2015-10-30 | 2016-03-23 | 杭州乐哈思智能科技有限公司 | Method for eliminating noise of VOIP system bidirectional duplex hand-free voice |
JP2021502588A (en) * | 2017-10-27 | 2021-01-28 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | A device, method or computer program for generating bandwidth-extended audio signals using a neural network processor. |
US11562764B2 (en) | 2017-10-27 | 2023-01-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method or computer program for generating a bandwidth-enhanced audio signal using a neural network processor |
JP7214726B2 (en) | 2017-10-27 | 2023-01-30 | フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus, method or computer program for generating an extended bandwidth audio signal using a neural network processor |
Also Published As
Publication number | Publication date |
---|---|
JP5777041B2 (en) | 2015-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5341128B2 (en) | Improved stability in hearing aids | |
RU2487426C2 (en) | Apparatus and method for converting audio signal into parametric representation, apparatus and method for modifying parametric representation, apparatus and method for synthensising parametrick representation of audio signal | |
JP6281336B2 (en) | Speech decoding apparatus and program | |
JP5301471B2 (en) | Speech coding system and method | |
JP2008513848A (en) | Method and apparatus for artificially expanding the bandwidth of an audio signal | |
JP2010286608A (en) | Voice band expansion device, voice band expansion method and computer program for voice band expansion, and telephone unit | |
JPH0955778A (en) | Bandwidth widening device for sound signal | |
JP2008216720A (en) | Signal processing method, device, and program | |
JP5595605B2 (en) | Audio signal restoration apparatus and audio signal restoration method | |
JP5777041B2 (en) | Band expansion device and program, and voice communication device | |
JP5326311B2 (en) | Voice band extending apparatus, method and program, and voice communication apparatus | |
JP5055759B2 (en) | Band conversion signal generator and band extension device | |
WO2014192675A1 (en) | Signal processing device and signal processing method | |
JP5232121B2 (en) | Signal processing device | |
JP2009223210A (en) | Signal band spreading device and signal band spreading method | |
JP2007310296A (en) | Band spreading apparatus and method | |
KR101850693B1 (en) | Apparatus and method for extending bandwidth of earset with in-ear microphone | |
JP2007310298A (en) | Out-of-band signal creation apparatus and frequency band spreading apparatus | |
WO2014199449A1 (en) | Digital-watermark embedding device, digital-watermark detection device, digital-watermark embedding method, digital-watermark detection method, digital-watermark embedding program, and digital-watermark detection program | |
JP2020190606A (en) | Sound noise removal device and program | |
JP6707914B2 (en) | Gain processing device and program, and acoustic signal processing device and program | |
JP5326714B2 (en) | Band expanding apparatus, method and program, and quantization noise learning apparatus, method and program | |
JP2011170261A (en) | Speech enhancing device, speech enhancing program | |
JP6439843B2 (en) | Signal processing apparatus and method, and program | |
JP6210338B2 (en) | Signal processing apparatus and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5777041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |