[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2012027255A - Band extension device, program, and voice communication device - Google Patents

Band extension device, program, and voice communication device Download PDF

Info

Publication number
JP2012027255A
JP2012027255A JP2010166091A JP2010166091A JP2012027255A JP 2012027255 A JP2012027255 A JP 2012027255A JP 2010166091 A JP2010166091 A JP 2010166091A JP 2010166091 A JP2010166091 A JP 2010166091A JP 2012027255 A JP2012027255 A JP 2012027255A
Authority
JP
Japan
Prior art keywords
signal
band
circuit
frequency band
lpc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010166091A
Other languages
Japanese (ja)
Other versions
JP5777041B2 (en
Inventor
Hiromi Aoyanagi
弘美 青柳
Tadashi Aoki
直史 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido University NUC
Oki Electric Industry Co Ltd
Original Assignee
Hokkaido University NUC
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido University NUC, Oki Electric Industry Co Ltd filed Critical Hokkaido University NUC
Priority to JP2010166091A priority Critical patent/JP5777041B2/en
Publication of JP2012027255A publication Critical patent/JP2012027255A/en
Application granted granted Critical
Publication of JP5777041B2 publication Critical patent/JP5777041B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a band extension device capable of suppressing unintended quality deterioration of a signal expanding a frequency band formed by utilizing a nonlinear processing.SOLUTION: The band extension device includes nonlinear processing means by which the nonlinear processing is applied to the signal in a narrow band of which the frequency band is limited. This device also includes whitening means which whitens the signal subjected to the nonlinear processing, or noise superimposition means by which a signal, which is formed by imparting to the white noise characteristics obtained by whitening the spectrum profile obtained by obtaining the spectrum profile of the signal having the expanded frequency band, is superimposed on the signal having the expanded frequency band.

Description

本発明は帯域拡張装置及びプログラム、並びに、音声通信装置に関し、例えば、帯域が制限された電話音声信号に対して、制限帯域を超える信号成分を付加して広帯域音声信号に変換する場合に適用し得るものである。   The present invention relates to a band extension apparatus, a program, and a voice communication apparatus, and is applied to, for example, a case where a signal component exceeding the limit band is added to a telephone voice signal whose band is limited and converted to a wideband voice signal. To get.

音声通信である電話システムの多くは、伝送可能な音声信号の周波数が高々4kHzに制限されている。これは、本来人間が発する音声に比べてはるかに周波数範囲が狭く、このため貧弱な品質となっている。このような課題に対して、例えば、特許文献1の記載技術のように、制限帯域を超える信号成分を生成、付加して品質の向上を図るものがある。   In many telephone systems that are voice communications, the frequency of voice signals that can be transmitted is limited to 4 kHz at most. This is a much narrower frequency range compared to the speech originally produced by humans, and therefore has poor quality. In order to solve such a problem, for example, as in the technique described in Patent Document 1, there is a technique for generating and adding a signal component exceeding a limited band to improve the quality.

特許文献1の記載技術では、帯域が制限された音声信号(以下、狭帯域信号若しくは狭帯域音声信号と呼ぶ)をLPC分析し、スペクトル概形を表すLPC係数とスペクトル概形を除去した残差信号とに分離し、得られたLPC係数を予め定められた変換則に従って広帯域化し、得られた残差信号を非線形処理により広帯域化し、広帯域化されたLPC係数と広帯域化された残差信号とから広帯域音声信号を合成し、その後、制限帯域を超える部分を抜き出して元の狭帯域信号に付加することにより、狭帯域信号を広帯域化している。   In the technique described in Patent Document 1, an audio signal with a limited band (hereinafter referred to as a narrowband signal or a narrowband audio signal) is subjected to LPC analysis, and an LPC coefficient representing a spectrum outline and a residual obtained by removing the spectrum outline are removed. The obtained LPC coefficients are broadened according to a predetermined conversion rule, the obtained residual signal is broadened by nonlinear processing, and the widened LPC coefficients and the widened residual signal are Then, a wideband voice signal is synthesized, and then a portion exceeding the limited band is extracted and added to the original narrowband signal, thereby widening the narrowband signal.

特開2009−223210JP2009-223210A

一般に残差信号はスペクトル概形が白色化されており、LPC係数による合成処理は残差信号に対して所定のスペクトル概形を付与する処理であると言える。   In general, the residual signal has a spectral outline whitened, and it can be said that the synthesis process using the LPC coefficient is a process of giving a predetermined spectral outline to the residual signal.

特許文献1の記載技術では、例えば、狭帯域信号に対するLPC係数と、帯域が制限されていない広帯域信号に対するLPC係数との関係を予め求めておき、広帯域化の処理では、この関係を利用して、狭帯域信号を分析して得られたLPC係数から広帯域化されたLPC係数に変換している。   In the technique described in Patent Document 1, for example, a relationship between an LPC coefficient for a narrowband signal and an LPC coefficient for a wideband signal whose bandwidth is not limited is obtained in advance. The LPC coefficient obtained by analyzing the narrowband signal is converted into the LPC coefficient having a wider band.

一方、白色化されている狭帯域残差信号を非線形処理により広帯域化しているが、非線形処理により広帯域化された広帯域残差信号は、必ずしもそのスペクトル概形が白色にならない。このため、広帯域残差信号のスペクトル概形が白色であることを前提とした広帯域LPC係数と、そのスペクトル概形が白色でない広帯域残差信号とから広帯域音声信号が合成される場合も生じる。   On the other hand, the narrow band residual signal that has been whitened is widened by nonlinear processing, but the broadband residual signal that has been widened by nonlinear processing does not necessarily have a white spectral outline. For this reason, a wideband speech signal may be synthesized from a wideband LPC coefficient on the assumption that the spectral outline of the wideband residual signal is white and a wideband residual signal whose spectral outline is not white.

さらに、仮に広帯域残差信号が白色化されていたとしても、上述のようなLPC係数の広帯域化では、狭帯域LPC係数と好適な対応関係にある広帯域LPC係数が必ずしも得られるとは限らない。このような対応関係が不十分な広帯域LPC係数を適用して合成された広帯域音声信号は、意図しないスペクトル概形を持ち、品質が劣化する場合がある。   Furthermore, even if the wideband residual signal is whitened, widening the LPC coefficient as described above does not necessarily provide a wideband LPC coefficient having a suitable correspondence with the narrowband LPC coefficient. A wideband speech signal synthesized by applying such a wideband LPC coefficient having an insufficient correspondence relationship may have an unintended spectral outline and may deteriorate in quality.

本発明は、上述の課題に鑑みてなされたものであり、非線形処理を利用して生成された、周波数帯域が拡張された信号の意図しない品質劣化を抑えることができる帯域拡張装置及びプログラム、並びに、音声通信装置を提供しようとしたものである。   The present invention has been made in view of the above-described problems, and a bandwidth expansion device and program that can suppress unintended quality degradation of a frequency band-enhanced signal generated using nonlinear processing, and An attempt is made to provide a voice communication device.

第1の本発明は、周波数帯域が制限された狭帯域の信号に対し、非線形処理を施す非線形処理手段を有し、周波数帯域が拡張された信号を形成する帯域拡張装置において、(a)上記非線形処理が施された信号を白色化する白色化手段と、(b)上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段との少なくとも一方を備えることを特徴とする。   According to a first aspect of the present invention, there is provided a band extending apparatus that has nonlinear processing means for performing nonlinear processing on a narrowband signal with a limited frequency band, and forms a signal with an expanded frequency band. A whitening means for whitening a signal subjected to nonlinear processing; and (b) obtaining a spectral outline of the signal with the expanded frequency band and flattening the obtained spectral outline with respect to white noise. It is characterized by comprising at least one of noise superimposing means for generating the given signal and superimposing it on the signal with the expanded frequency band.

第2の本発明は、周波数帯域が制限された狭帯域の信号の、周波数帯域が拡張された信号を形成するための帯域拡張プログラムであって、(1)コンピュータを、周波数帯域が制限された狭帯域の信号に対し、非線形処理を施して、周波数帯域が拡張された信号を形成する非線形処理手段として機能させると共に、(2)コンピュータを、(2a)上記非線形処理が施された信号を白色化する白色化手段と、(2b)上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段との少なくとも一方として機能させることを特徴とする。   A second aspect of the present invention is a band expansion program for forming a signal having a frequency band expanded from a narrow band signal having a frequency band limited, wherein (1) the frequency band is limited to a computer. Non-linear processing is performed on the narrow-band signal to function as a non-linear processing means for forming a signal with an expanded frequency band, and (2) the computer is (2a) the signal subjected to the non-linear processing is white. And (2b) obtaining a spectral outline of the signal with the expanded frequency band, generating a signal in which white noise has a characteristic obtained by flattening the obtained spectral outline, and generating the frequency It is made to function as at least one of the noise superimposing means which superimposes on the signal by which the band was extended.

第3の本発明は、受信した音声信号の帯域が制限されている音声通信装置において、第1の本発明の帯域拡張装置を備え、受信した音声信号の帯域を拡張することを特徴とする。   According to a third aspect of the present invention, in a voice communication apparatus in which a band of a received voice signal is limited, the band extension apparatus of the first aspect of the invention is provided, and the band of the received voice signal is extended.

本発明によれば、非線形処理を利用して生成された、周波数帯域が拡張された信号の意図しない品質劣化を抑えることができる。   According to the present invention, it is possible to suppress unintended quality deterioration of a signal with an expanded frequency band, which is generated using nonlinear processing.

第1の実施形態に係る帯域拡張装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the band expansion apparatus which concerns on 1st Embodiment. 第1の実施形態に係る音声通信装置の主要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the audio | voice communication apparatus which concerns on 1st Embodiment. 第2の実施形態に係る帯域拡張装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the band expansion apparatus which concerns on 2nd Embodiment. 第3の実施形態に係る帯域拡張装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the band extending apparatus which concerns on 3rd Embodiment. 第4の実施形態に係る帯域拡張装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the band expansion apparatus which concerns on 4th Embodiment.

(A)第1の実施形態
以下、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第1の実施形態を、図面を参照しながら説明する。
(A) First Embodiment Hereinafter, a first embodiment of a bandwidth extending apparatus and program and a voice communication apparatus according to the present invention will be described with reference to the drawings.

(A−1)第1の実施形態の構成
図2は、第1の実施形態に係る音声通信装置の主要部構成を示すブロック図である。
(A-1) Configuration of the First Embodiment FIG. 2 is a block diagram showing the main configuration of the voice communication apparatus according to the first embodiment.

第1の実施形態の音声通信装置1は、例えば、IP電話装置(ソフトフォンを含む)であり、送信する音声信号を圧縮符号化すると共に、受信した符号化音声信号を復号するコーデック装置2を備えている。コーデック装置2から出力された復号音声信号は狭帯域信号s(n)であって、音声帯域を高域側に拡張する第1の実施形態の帯域拡張装置3に与えられるようになされている。なお、第1の実施形態の音声通信装置1がソフトフォンの場合には、コーデック装置2や帯域拡張装置3は、CPU、及び、このCPUが実行するプログラム(コーデックプログラムや帯域拡張プログラム)によって実現される。   The voice communication apparatus 1 according to the first embodiment is, for example, an IP telephone apparatus (including a softphone), and includes a codec apparatus 2 that compresses and encodes a voice signal to be transmitted and decodes a received encoded voice signal. I have. The decoded speech signal output from the codec device 2 is a narrowband signal s (n), and is provided to the bandwidth extension device 3 of the first embodiment that extends the speech bandwidth to the high frequency side. When the voice communication device 1 of the first embodiment is a soft phone, the codec device 2 and the bandwidth extension device 3 are realized by a CPU and a program (codec program or bandwidth extension program) executed by the CPU. Is done.

図1は、第1の実施形態に係る帯域拡張装置3の内部構成を示すブロック図である。仮に、第1の実施形態の帯域拡張装置3が、CPU、及び、このCPUが実行する帯域拡張プログラム(第1の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図1で表すことができる。   FIG. 1 is a block diagram showing an internal configuration of the bandwidth extension device 3 according to the first embodiment. Even if the bandwidth extension device 3 of the first embodiment is realized by a CPU and a bandwidth extension program (band extension program of the first embodiment) executed by the CPU, it is functionally Can be represented in FIG.

図1において、第1の実施形態の帯域拡張装置3は、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、白色化回路104、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107及び加算回路108を有する。   In FIG. 1, the band extension device 3 of the first embodiment includes an upsampling circuit 101, an LPC analysis circuit 102, a residual nonlinear processing circuit 103, a whitening circuit 104, an LPC coefficient broadbanding circuit 105, an LPC synthesis circuit 106, A band-pass circuit 107 and an adder circuit 108 are included.

帯域拡張装置3において、コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101及びLPC分析回路102に与えられる。なお、コーデック装置2から出力された狭帯域信号s(n)は、狭い帯域に応じたサンプリング周波数のデジタル音声信号であり、帯域拡張後の広帯域から見ると、サンプリング周波数が不十分なものである。   In the band extension device 3, the narrowband signal s (n) output from the codec device 2 is given to the upsampling circuit 101 and the LPC analysis circuit 102. The narrowband signal s (n) output from the codec device 2 is a digital audio signal having a sampling frequency corresponding to a narrow band, and the sampling frequency is insufficient when viewed from a wideband after band expansion. .

アップサンプリング回路101は、狭帯域信号s(n)のサンプリング周波数を増加させ、アップサンプリング信号su(n)を加算回路108に出力するものである。   The upsampling circuit 101 increases the sampling frequency of the narrowband signal s (n) and outputs the upsampling signal su (n) to the adder circuit 108.

LPC分析回路102は、狭帯域信号s(n)を用いたLPC分析を実施し、得られたLPC係数aをLPC係数広帯域化回路105に出力すると共に、狭帯域信号s(n)のスペクトル概形を除去した残差信号e(n)を残差非線形処理回路103に出力するものである。   The LPC analysis circuit 102 performs LPC analysis using the narrowband signal s (n), outputs the obtained LPC coefficient a to the LPC coefficient broadening circuit 105, and at the same time obtains a spectrum outline of the narrowband signal s (n). The residual signal e (n) from which the shape has been removed is output to the residual nonlinear processing circuit 103.

残差非線形処理回路103は、狭帯域の残差信号e(n)のサンプリング周波数を増加させた後、全波整流などの非線形処理を施して広帯域化された残差信号en(n)を得て白色化回路104に出力するものである。残差非線形処理回路103が行う非線形処理は、全波整流に限定されず、半波整流、クリッピングなど、狭帯域信号s(n)についての制限帯域を超えた制限帯域外の成分が生じる非線形処理であれば良く、その手法は限定されないものである。ここで、残差非線形処理回路103の非線形処理により広帯域化された広帯域残差信号は、必ずしもそのスペクトル概形が白色になるとは限らないものである。   The residual nonlinear processing circuit 103 increases the sampling frequency of the narrowband residual signal e (n), and then performs nonlinear processing such as full-wave rectification to obtain a wideband residual signal en (n). Are output to the whitening circuit 104. Non-linear processing performed by the residual non-linear processing circuit 103 is not limited to full-wave rectification, and non-linear processing in which components outside the limited band exceeding the limited band for the narrow-band signal s (n) such as half-wave rectification and clipping are generated. Any method may be used, and the method is not limited. Here, the wideband residual signal that has been widened by the non-linear processing of the residual non-linear processing circuit 103 does not necessarily have a white spectral outline.

白色化回路104は、第1の実施形態に係る帯域拡張装置3の特徴をなしている構成要素である。白色化回路104は、スペクトル概形が白色ではない広帯域残差信号en(n)が入力された際に白色化し、スペクトル概形が白色の広帯域残差信号ew(n)をLPC合成回路106に出力するものである。白色化回路104による白色化方法は問われないものである。白色化回路104は、例えば、残差非線形処理回路103から出力された広帯域残差信号en(n)を用いたLPC分析を実施し、広帯域残差信号en(n)のスペクトル概形を除去した広帯域残差信号ew(n)を出力する。このスペクトル概形の除去により、スペクトル概形が平滑化されて白色となる。また例えば、白色化回路104は、FFTにより周波数領域の信号に変換し、スペクトル概形を白色のスペクトル概形に整形した後逆FFTすることを通して、広帯域残差信号e(n)のスペクトル概形を除去(平滑化)する。   The whitening circuit 104 is a component that characterizes the band extending device 3 according to the first embodiment. The whitening circuit 104 is whitened when a broadband residual signal en (n) whose spectral outline is not white is input, and the broadband residual signal ew (n) whose spectral outline is white is input to the LPC synthesis circuit 106. Output. The whitening method by the whitening circuit 104 is not questioned. The whitening circuit 104 performs, for example, LPC analysis using the wideband residual signal en (n) output from the residual nonlinear processing circuit 103, and removes the spectral outline of the wideband residual signal en (n). A wideband residual signal ew (n) is output. By removing the spectral outline, the spectral outline is smoothed to become white. Further, for example, the whitening circuit 104 converts the spectral outline into a white spectral outline after performing conversion into a frequency domain signal by FFT, and then performing inverse FFT to obtain the spectral outline of the wideband residual signal e (n). Is removed (smoothed).

LPC係数広帯域化回路105は、狭帯域LPC係数aを広帯域化し、広帯域LPC係数awをLPC合成回路106に出力するものである。LPC係数の広帯域化方法も、限定されるものではない。上述した特許文献1に記載の手法が適用できる。その他、特開2010−55000、特開2010−55002、特開平11−126098などに記載の手法も適用できる。   The LPC coefficient broadening circuit 105 widens the narrowband LPC coefficient a and outputs the wideband LPC coefficient aw to the LPC synthesis circuit 106. The method for widening the LPC coefficient is not limited. The method described in Patent Document 1 described above can be applied. In addition, the methods described in JP2010-55000, JP2010-55002, and JP11-126098 can be applied.

LPC合成回路106は、白色化回路104からの広帯域残差信号ew(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとからLPC合成処理を実施し、合成広帯域信号sr(n)を得て帯域通過回路107に出力するものである。   The LPC synthesis circuit 106 performs LPC synthesis processing from the wideband residual signal ew (n) from the whitening circuit 104 and the wideband LPC coefficient aw from the LPC coefficient widening circuit 105, and generates the synthesized wideband signal sr (n). Obtained and output to the band-pass circuit 107.

帯域通過回路107は、合成広帯域信号sr(n)に対して、狭帯域信号s(n)についての制限帯域以外の帯域部分を通過させ、その帯域通過信号sb(n)を加算回路108に出力するものである。帯域通過信号sb(n)は、狭帯域信号s(n)が備えない帯域の信号であり、言い換えると、拡張帯域の信号である。   The band pass circuit 107 passes the band portion other than the limited band for the narrow band signal s (n) with respect to the combined wide band signal sr (n), and outputs the band pass signal sb (n) to the adder circuit 108. To do. The band pass signal sb (n) is a signal in a band that the narrow band signal s (n) does not have, in other words, an extended band signal.

加算回路108は、アップサンプリング回路101から出力されたアップサンプリング信号(帯域的には狭帯域信号と同様)su(n)と、帯域通過回路107から出力された拡張帯域信号sb(n)とを加算し、広帯域信号sw(n)を得て、当該帯域拡張装置3からの出力信号として出力するものである。   The adder circuit 108 uses the upsampling signal (same as a narrowband signal in band) su (n) output from the upsampling circuit 101 and the extended band signal sb (n) output from the bandpass circuit 107. Addition is performed to obtain a wideband signal sw (n) and output as an output signal from the band extension device 3.

(A−2)第1の実施形態の動作
次に、第1の実施形態の帯域拡張装置3の動作を、図面を参照しながら詳述する。なお、第1の実施形態の音声通信装置1の動作説明は省略する。
(A-2) Operation of the First Embodiment Next, the operation of the bandwidth expansion device 3 of the first embodiment will be described in detail with reference to the drawings. In addition, description of operation | movement of the audio | voice communication apparatus 1 of 1st Embodiment is abbreviate | omitted.

コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101及びLPC分析回路102に与えられる。   The narrowband signal s (n) output from the codec device 2 is supplied to the upsampling circuit 101 and the LPC analysis circuit 102.

狭帯域信号s(n)は、アップサンプリング回路101においてサンプリング周波数が増加され、その増加後のアップサンプリング信号su(n)が加算回路108に出力される。   The sampling frequency of the narrowband signal s (n) is increased in the upsampling circuit 101, and the increased upsampling signal su (n) is output to the adder circuit.

狭帯域信号s(n)に対し、LPC分析回路102によってLPC分析が実施され、得られたLPC係数aがLPC係数広帯域化回路105に出力されると共に、残差信号e(n)が残差非線形処理回路103に出力される。狭帯域の残差信号e(n)は、残差非線形処理回路103においてそのサンプリング周波数が高められると共に、非線形処理が施されて広帯域化され、広帯域となった残差信号en(n)が白色化回路104に出力される。広帯域の残差信号en(n)は、白色化回路104において白色化され、その白色化された広帯域残差信号ew(n)がLPC合成回路106に出力される。狭帯域LPC係数aは、LPC係数広帯域化回路105において広帯域化され、広帯域LPC係数awがLPC合成回路106に出力される。白色化回路104からの広帯域残差信号ew(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとは、LPC合成回路106に与えられて、LPC合成処理が実施され、得られた合成広帯域信号sr(n)が帯域通過回路107に出力される。   LPC analysis is performed on the narrowband signal s (n) by the LPC analysis circuit 102, and the obtained LPC coefficient a is output to the LPC coefficient broadbanding circuit 105, and the residual signal e (n) is the residual. It is output to the nonlinear processing circuit 103. The sampling frequency of the residual signal e (n) in the narrow band is increased in the residual nonlinear processing circuit 103 and is subjected to nonlinear processing to be widened, and the residual signal en (n) that has become wideband is white. Is output to the conversion circuit 104. The wideband residual signal en (n) is whitened in the whitening circuit 104 and the whitened wideband residual signal ew (n) is output to the LPC synthesis circuit 106. The narrowband LPC coefficient a is widened by the LPC coefficient widening circuit 105, and the wideband LPC coefficient aw is output to the LPC synthesis circuit 106. The wideband residual signal ew (n) from the whitening circuit 104 and the wideband LPC coefficient aw from the LPC coefficient widening circuit 105 are given to the LPC synthesis circuit 106, and LPC synthesis processing is performed, and the resulting synthesis is obtained. The broadband signal sr (n) is output to the band pass circuit 107.

合成広帯域信号sr(n)は、帯域通過回路107によって、狭帯域信号s(n)についての制限帯域以外の帯域部分に濾波され、その帯域通過信号sb(n)が加算回路108に出力され。   The combined wideband signal sr (n) is filtered by the bandpass circuit 107 into a band portion other than the limited band for the narrowband signal s (n), and the bandpass signal sb (n) is output to the adder circuit 108.

アップサンプリング回路101から出力されたアップサンプリング信号と、帯域通過回路107から出力された拡張帯域信号sb(n)とが加算回路108において加算され、得られた広帯域信号sw(n)が当該帯域拡張装置3の次段装置に出力される。   The upsampling signal output from the upsampling circuit 101 and the extended band signal sb (n) output from the bandpass circuit 107 are added by the adder circuit 108, and the obtained wideband signal sw (n) is added to the band extension. It is output to the next stage device of the device 3.

(A−3)第1の実施形態の効果
第1の実施形態によれば、非線形処理後の残差信号を白色化するようにしたので、LPC合成により生成された広帯域信号が意図しないスペクトル概形を持つ場合が少なくなり、音質の劣化を抑えることができる。
(A-3) Effect of the First Embodiment According to the first embodiment, the residual signal after nonlinear processing is whitened, so that a broadband signal generated by LPC synthesis is not intended for an approximate spectrum. There are fewer cases with shapes, and deterioration of sound quality can be suppressed.

(B)第2の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第2の実施形態を、図面を参照しながら説明する。
(B) Second Embodiment Next, a second embodiment of the bandwidth extending apparatus and program and the voice communication apparatus according to the present invention will be described with reference to the drawings.

(B−1)第2の実施形態の構成
第2の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第2の実施形態の帯域拡張装置の構成を説明する。
(B-1) Configuration of the Second Embodiment The configuration of the voice communication apparatus of the second embodiment is the same as that of the first embodiment, and the configuration of the bandwidth extension apparatus of the second embodiment will be described below. To do.

図3は、第2の実施形態に係る帯域拡張装置3Aの内部構成を示すブロック図である。仮に、第2の実施形態の帯域拡張装置3Aが、CPU、及び、このCPUが実行する帯域拡張プログラム(第2の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図3で表すことができる。図3において、上述した第1の実施形態に係る図1との同一、対応部分には同一符号を付して示している。   FIG. 3 is a block diagram showing an internal configuration of the bandwidth extension device 3A according to the second embodiment. Even if the bandwidth extension device 3A of the second embodiment is realized by a CPU and a bandwidth extension program (band extension program of the second embodiment) executed by the CPU, it is functionally Can be represented in FIG. In FIG. 3, the same and corresponding parts as those in FIG. 1 according to the first embodiment are denoted by the same reference numerals.

図3において、第2の実施形態の帯域拡張装置3Aは、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色重畳部200は、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。   In FIG. 3, the band extending apparatus 3A of the second embodiment includes an upsampling circuit 101, an LPC analysis circuit 102, a residual nonlinear processing circuit 103, an LPC coefficient broadband circuit 105, an LPC synthesis circuit 106, a band pass circuit 107, An adder circuit 108 and a white noise superimposing unit 200 are included. The white superimposing unit 200 includes a voiced / voiceless determination circuit 201, a wideband LPC analysis circuit 202, a white noise generation circuit 203, an LPC noise synthesis circuit 204, and an addition circuit 205.

アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107及び加算回路108は、第1の実施形態と同様に機能するものである。   The upsampling circuit 101, the LPC analysis circuit 102, the residual nonlinear processing circuit 103, the LPC coefficient widening circuit 105, the LPC synthesis circuit 106, the band pass circuit 107, and the addition circuit 108 function in the same manner as in the first embodiment. It is.

第2の実施形態の帯域拡張装置3Aは、第1の実施形態の白色化回路104に代えて、白色重畳部200を備えている。白色化回路104が省略されているため、残差非線形処理回路103から出力された広帯域の残差信号en(n)は、LPC合成回路106に出力され、LPC合成回路106は、広帯域の残差信号en(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとを用いて、LPC合成処理を実施する。そのため、LPC合成回路106から出力された合成広帯域信号sr(n)は、第1の実施形態の場合より、スペクトル概形が意図しない形になり易い。   The band extension device 3A of the second embodiment includes a white color superimposing unit 200 instead of the whitening circuit 104 of the first embodiment. Since the whitening circuit 104 is omitted, the wideband residual signal en (n) output from the residual nonlinear processing circuit 103 is output to the LPC synthesis circuit 106, and the LPC synthesis circuit 106 LPC synthesis processing is performed using the signal en (n) and the wideband LPC coefficient aw from the LPC coefficient wideband circuit 105. Therefore, the synthesized broadband signal sr (n) output from the LPC synthesis circuit 106 is more likely to have an unintended spectral shape than in the first embodiment.

白色重畳部200は、LPC合成回路106からの合成広帯域信号sr(n)に、白色信号を重畳することにより、合成広帯域信号sr(n)における意図しない周波数成分を目立たなくしようとしたものである。すなわち、狭帯域信号から生成された広帯域信号に対して、スペクトル概形が類似した雑音信号を重畳し、意図しないスペクトル概形による異音を聴感的に検知し難くし、音質の劣化を抑えようとしたものである。   The white color superimposing unit 200 attempts to make an unintended frequency component in the synthesized wideband signal sr (n) inconspicuous by superimposing the white signal on the synthesized wideband signal sr (n) from the LPC synthesis circuit 106. . In other words, a noise signal with a similar spectral outline is superimposed on a wideband signal generated from a narrowband signal, making it difficult to detect audible noise due to an unintended spectral outline and suppressing deterioration in sound quality. It is what.

白色重畳部200における有声無声判定回路201には狭帯域信号s(n)が入力される。有声無声判定回路201は、狭帯域信号s(n)を用いて有声音か無声音かを判定し、有声無声判定結果vを白色雑音発生回路203に出力するものである。有声無声判定回路201は、有声音であればv=1を、無声音であればv=0を出力する。有声無声判定回路201における有声無声判定方法は、いかなる方法を適用しても良い。例えば、狭帯域信号s(n)の周期性を監視し、周期性が強い場合に有声音と判定する方法を適用できる。   The narrowband signal s (n) is input to the voiced / unvoiced determination circuit 201 in the white color superimposing unit 200. The voiced / unvoiced determination circuit 201 determines whether it is voiced sound or unvoiced sound using the narrowband signal s (n), and outputs the voiced / unvoiced determination result v to the white noise generating circuit 203. The voiced / unvoiced determination circuit 201 outputs v = 1 for voiced sound and v = 0 for unvoiced sound. Any method may be applied as the voiced / unvoiced determination method in the voiced / unvoiced determination circuit 201. For example, a method of monitoring the periodicity of the narrowband signal s (n) and determining a voiced sound when the periodicity is strong can be applied.

広帯域LPC分析回路202は、合成広帯域信号sr(n)を用いてLPC分析を実施し、合成広帯域LPC係数wをLPC雑音合成回路204に出力すると共に、合成広帯域信号sr(n)のスペクトル概形を除去した合成広帯域残差信号se(n)を白色雑音発生回路203に出力するものである。   The broadband LPC analysis circuit 202 performs LPC analysis using the synthesized broadband signal sr (n), outputs the synthesized broadband LPC coefficient w to the LPC noise synthesis circuit 204, and at the same time, approximates the spectrum of the synthesized broadband signal sr (n). Is output to the white noise generation circuit 203.

白色雑音発生回路203は、合成広帯域残差信号se(n)と同じパワの白色雑音を発生し、発生した白色雑音に重畳度合いを規定するゲインαを乗じた白色雑音信号p(n)をLPC雑音合成回路204に出力するものである。ゲインαは、有声無声判定結果vに応じた値をとるものであり、例えば、(1)式に示す値をとる。(1)式は、v=1(有声音)のときにα=β(但し、0<β<1とする)とし、v=0(無声音)のときにα=1とするものである。すなわち、無声音(無声音区間)のときの方が有声音(有声音区間)より白色雑音の重畳度合を多くするようにしている。なお、有声無声判定結果vは、2値ではなく周期性の度合いに応じて段階的に変化する多値(3値以上)であっても良い。   The white noise generation circuit 203 generates white noise having the same power as that of the combined wideband residual signal se (n), and generates a white noise signal p (n) obtained by multiplying the generated white noise by a gain α that defines the degree of superposition. This is output to the noise synthesis circuit 204. The gain α takes a value corresponding to the voiced / unvoiced determination result v, and takes a value shown in the equation (1), for example. Equation (1) is such that α = β (where 0 <β <1) when v = 1 (voiced sound), and α = 1 when v = 0 (unvoiced sound). That is, the degree of superimposition of white noise is increased in the case of unvoiced sound (unvoiced sound section) than in voiced sound (voiced sound section). The voiced / unvoiced determination result v may be not a binary value but a multi-value (three or more values) that changes stepwise according to the degree of periodicity.

α=β+(1−β)×(1−v) …(1)
LPC雑音合成回路204は、合成広帯域LPC係数wにリーク係数を乗じるなどしてスペクトル概形をある程度平坦化した後、白色雑音信号p(n)の合成白色雑音信号ps(n)を生成し、加算回路205に出力するものである。
α = β + (1-β) × (1-v) (1)
The LPC noise synthesis circuit 204 flattens the spectral outline to some extent by, for example, multiplying the synthesized wideband LPC coefficient w by a leak coefficient, and then generates a synthesized white noise signal ps (n) of the white noise signal p (n). This is output to the adder circuit 205.

加算回路205は、LPC合成回路106から出力された合成広帯域信号sr(n)とLPC雑音合成回路204から出力された合成白色雑音信号ps(n)とを加算して帯域通過回路106に出力するものである。   The adding circuit 205 adds the combined wideband signal sr (n) output from the LPC combining circuit 106 and the combined white noise signal ps (n) output from the LPC noise combining circuit 204 and outputs the result to the bandpass circuit 106. Is.

(B−2)第2の実施形態の動作
次に、第2の実施形態の帯域拡張装置3Aの動作を、図面を参照しながら詳述する。
(B-2) Operation of Second Embodiment Next, the operation of the bandwidth expansion device 3A of the second embodiment will be described in detail with reference to the drawings.

コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101、LPC分析回路102及び有声無声判定回路201に与えられる。   The narrowband signal s (n) output from the codec device 2 is supplied to the upsampling circuit 101, the LPC analysis circuit 102, and the voiced / unvoiced determination circuit 201.

狭帯域信号s(n)は、アップサンプリング回路101においてサンプリング周波数が増加され、その増加後のアップサンプリング信号su(n)が加算回路108に出力される。   The sampling frequency of the narrowband signal s (n) is increased in the upsampling circuit 101, and the increased upsampling signal su (n) is output to the adder circuit.

狭帯域信号s(n)に対し、LPC分析回路102によってLPC分析が実施され、得られたLPC係数aがLPC係数広帯域化回路105に出力されると共に、残差信号e(n)が残差非線形処理回路103に出力される。狭帯域の残差信号e(n)は、残差非線形処理回路103においてそのサンプリング周波数が高められると共に、非線形処理が施されて広帯域化され、広帯域となった残差信号en(n)がLPC合成回路106に出力される。狭帯域LPC係数aは、LPC係数広帯域化回路105において広帯域化され、広帯域LPC係数awがLPC合成回路106に出力される。残差非線形処理回路103からの広帯域残差信号en(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとは、LPC合成回路106に与えられて、LPC合成処理が実施され、得られた合成広帯域信号sr(n)が広帯域LPC分析回路202及び加算回路205に出力される。   LPC analysis is performed on the narrowband signal s (n) by the LPC analysis circuit 102, and the obtained LPC coefficient a is output to the LPC coefficient broadbanding circuit 105, and the residual signal e (n) is the residual. It is output to the nonlinear processing circuit 103. The sampling signal of the narrowband residual signal e (n) is increased in the residual non-linear processing circuit 103 and is subjected to non-linear processing to be widened, and the residual signal en (n) having a wide band is converted to LPC. It is output to the synthesis circuit 106. The narrowband LPC coefficient a is widened by the LPC coefficient widening circuit 105, and the wideband LPC coefficient aw is output to the LPC synthesis circuit 106. The wideband residual signal en (n) from the residual nonlinear processing circuit 103 and the wideband LPC coefficient aw from the LPC coefficient widening circuit 105 are given to the LPC synthesis circuit 106, and the LPC synthesis process is performed and obtained. The combined broadband signal sr (n) is output to the broadband LPC analysis circuit 202 and the addition circuit 205.

また、有声無声判定回路201によって、狭帯域信号s(n)が有声音か無声音かが判定され、有声無声判定結果vが白色雑音発生回路203に出力される。LPC合成回路106から出力された合成広帯域信号sr(n)は、広帯域LPC分析回路202においてLPC分析され、得られた合成広帯域LPC係数wがLPC雑音合成回路204に出力されると共に、得られた合成広帯域残差信号se(n)が白色雑音発生回路203に出力される。白色雑音発生回路203によって、合成広帯域残差信号se(n)と同じパワの白色雑音が発生されると共に、発生された白色雑音に、有声無声判定結果vに応じた値をとるゲインαが乗算され、得られた白色雑音信号p(n)がLPC雑音合成回路204に出力される。合成広帯域LPC係数wは、LPC雑音合成回路204においてリーク係数が乗算されてスペクトル概形がある程度平坦化され、平坦化されたLPC係数と白色雑音信号p(n)とから、LPC雑音合成回路204によって合成白色雑音信号ps(n)が生成され、加算回路205に出力される。LPC合成回路106から出力された合成広帯域信号sr(n)とLPC雑音合成回路204から出力された合成白色雑音信号ps(n)とが加算回路205によって加算されて帯域通過回路106に出力される。   Also, the voiced / voiceless determination circuit 201 determines whether the narrowband signal s (n) is voiced or unvoiced, and the voiced / voiceless determination result v is output to the white noise generation circuit 203. The synthesized broadband signal sr (n) output from the LPC synthesis circuit 106 is subjected to LPC analysis in the broadband LPC analysis circuit 202, and the resultant synthesized broadband LPC coefficient w is output to the LPC noise synthesis circuit 204 and obtained. The combined wideband residual signal se (n) is output to the white noise generation circuit 203. The white noise generation circuit 203 generates white noise having the same power as the combined wideband residual signal se (n), and multiplies the generated white noise by a gain α that takes a value corresponding to the voiced / unvoiced determination result v. The obtained white noise signal p (n) is output to the LPC noise synthesis circuit 204. The synthesized wideband LPC coefficient w is multiplied by the leak coefficient in the LPC noise synthesis circuit 204 and the spectral outline is flattened to some extent, and the LPC noise synthesis circuit 204 is obtained from the flattened LPC coefficient and the white noise signal p (n). As a result, a composite white noise signal ps (n) is generated and output to the adder circuit 205. The combined wideband signal sr (n) output from the LPC combining circuit 106 and the combined white noise signal ps (n) output from the LPC noise combining circuit 204 are added by the adding circuit 205 and output to the bandpass circuit 106. .

この加算信号sr(n)+ps(n)は、帯域通過回路107によって、狭帯域信号s(n)についての制限帯域以外の帯域部分に濾波され、その帯域通過信号sb(n)が加算回路108に出力される。   The addition signal sr (n) + ps (n) is filtered by the band pass circuit 107 to a band portion other than the limited band for the narrow band signal s (n), and the band pass signal sb (n) is added to the adder circuit 108. Is output.

アップサンプリング回路101から出力されたアップサンプリング信号と、帯域通過回路107から出力された拡張帯域信号sb(n)とが加算回路108において加算され、得られた広帯域信号sw(n)が当該帯域拡張装置3Aの次段装置に出力される。   The upsampling signal output from the upsampling circuit 101 and the extended band signal sb (n) output from the bandpass circuit 107 are added by the adder circuit 108, and the obtained wideband signal sw (n) is added to the band extension. It is output to the next stage device of the device 3A.

(B−3)第2の実施形態の効果
第2の実施形態によれば、狭帯域信号から生成された広帯域信号に対して、スペクトル概形が類似した雑音信号を重畳するようにしたので、意図しないスペクトル概形による異音を聴感的に検知し難くし、音質の劣化を抑えることができる。さらに、第2の実施形態によれば、拡張の元となる狭帯域信号の特性に応じて雑音の付加量を制御するようにしたので、より効果的に音質の劣化を抑えることができる。
(B-3) Effect of Second Embodiment According to the second embodiment, a noise signal having a similar spectral outline is superimposed on a wideband signal generated from a narrowband signal. It is possible to make it difficult to detect audible noise due to an unintended spectral outline, and to suppress deterioration in sound quality. Furthermore, according to the second embodiment, since the added amount of noise is controlled according to the characteristics of the narrowband signal that is the source of expansion, it is possible to more effectively suppress deterioration in sound quality.

(C)第3の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第3の実施形態を、図面を参照しながら説明する。
(C) Third Embodiment Next, a third embodiment of the bandwidth extending apparatus and program and the voice communication apparatus according to the present invention will be described with reference to the drawings.

第3の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第3の実施形態の帯域拡張装置の構成を説明する。   In the third embodiment, the configuration of the voice communication apparatus is the same as that of the first embodiment, and the configuration of the band extending apparatus of the third embodiment will be described below.

図4は、第3の実施形態に係る帯域拡張装置3Bの内部構成を示すブロック図である。仮に、第3の実施形態の帯域拡張装置3Bが、CPU、及び、このCPUが実行する帯域拡張プログラム(第3の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図4で表すことができる。図4において、上述した第1の実施形態に係る図1や第2の実施形態に係る図3との同一、対応部分には同一符号を付して示している。   FIG. 4 is a block diagram illustrating an internal configuration of the bandwidth expansion device 3B according to the third embodiment. Even if the bandwidth extension device 3B of the third embodiment is realized by a CPU and a bandwidth extension program (a bandwidth extension program of the third embodiment) executed by the CPU, it is functionally Can be represented in FIG. In FIG. 4, the same and corresponding parts as those in FIG. 1 according to the first embodiment and FIG. 3 according to the second embodiment are denoted by the same reference numerals.

図4において、第3の実施形態の帯域拡張装置3Bは、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、白色化回路104、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色雑音重畳部200は、第2の実施形態と同様に、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。   In FIG. 4, the band extending apparatus 3B of the third embodiment includes an upsampling circuit 101, an LPC analysis circuit 102, a residual nonlinear processing circuit 103, a whitening circuit 104, an LPC coefficient broadbanding circuit 105, an LPC synthesis circuit 106, A band-pass circuit 107, an adder circuit 108, and a white noise superimposing unit 200 are included. Similar to the second embodiment, the white noise superimposing unit 200 includes a voiced / unvoiced determination circuit 201, a broadband LPC analysis circuit 202, a white noise generation circuit 203, an LPC noise synthesis circuit 204, and an addition circuit 205.

図3及び図4の比較から明らかなように、第3の実施形態の帯域拡張装置3Bは、第2の実施形態の帯域拡張装置3Aの構成に白色化回路104を加えたものとなっている。また別な見方をすれば、図1及び図4の比較から明らかなように、第3の実施形態の帯域拡張装置3Bは、第1の実施形態の帯域拡張装置3の構成に白色雑音重畳部200を加えたものとなっている。   As is clear from the comparison between FIG. 3 and FIG. 4, the bandwidth expansion device 3B of the third embodiment is obtained by adding a whitening circuit 104 to the configuration of the bandwidth expansion device 3A of the second embodiment. . From another point of view, as is clear from the comparison between FIG. 1 and FIG. 4, the band extending apparatus 3B according to the third embodiment includes a white noise superimposing unit in the configuration of the band extending apparatus 3 according to the first embodiment. 200 is added.

白色化回路104は、広帯域残差信号en(n)を白色化するものであり、白色化された広帯域残差信号ew(n)は、LPC合成回路106によるLPC合成に用いられる。そのため、広帯域残差信号en(n)を白色化しても、広帯域LPC係数awとの相性等によって、LPC合成回路106からの合成広帯域信号sr(n)のスペクトル概形に意図しない周波数成分が生じる恐れがある。   The whitening circuit 104 whitens the wideband residual signal en (n), and the whitened wideband residual signal ew (n) is used for LPC synthesis by the LPC synthesis circuit 106. Therefore, even if the wideband residual signal en (n) is whitened, an unintended frequency component is generated in the spectral outline of the synthesized wideband signal sr (n) from the LPC synthesis circuit 106 due to compatibility with the wideband LPC coefficient aw and the like. There is a fear.

第3の実施形態は、白色化された広帯域残差信号ew(n)を用いたLPC合成の結果に意図しない周波数成分が生じたとしても、それが問題となることがないように、白色雑音重畳部200による重畳処理を施すこととしたものである。   In the third embodiment, white noise is generated so that even if an unintended frequency component occurs in the result of LPC synthesis using the whitened wideband residual signal ew (n), it does not become a problem. The superimposing process by the superimposing unit 200 is performed.

第3の実施形態によれば、第1の実施形態の効果と第2の実施形態の効果とが相乗され、さらに効果的に音質の劣化を抑えることができる。   According to the third embodiment, the effects of the first embodiment and the effects of the second embodiment are synergized, and deterioration of sound quality can be more effectively suppressed.

(D)第4の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第4の実施形態を、図面を参照しながら説明する。
(D) Fourth Embodiment Next, a fourth embodiment of the bandwidth extending apparatus and program and the voice communication apparatus according to the present invention will be described with reference to the drawings.

第4の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第4の実施形態の帯域拡張装置の構成を説明する。   In the fourth embodiment, the configuration of the voice communication apparatus is the same as that of the first embodiment, and the configuration of the band extending apparatus of the fourth embodiment will be described below.

図5は、第4の実施形態に係る帯域拡張装置3Cの内部構成を示すブロック図である。仮に、第4の実施形態の帯域拡張装置3Cが、CPU、及び、このCPUが実行する帯域拡張プログラム(第4の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、図5で表すことができる。図5において、上述した第2の実施形態に係る図3との同一、対応部分には同一符号を付して示している。   FIG. 5 is a block diagram illustrating an internal configuration of a bandwidth expansion device 3C according to the fourth embodiment. Even if the bandwidth extension device 3C of the fourth embodiment is realized by a CPU and a bandwidth extension program (band extension program of the fourth embodiment) executed by the CPU, it is functionally Can be represented in FIG. In FIG. 5, the same reference numerals are given to the same and corresponding parts as in FIG. 3 according to the second embodiment described above.

図5において、第4の実施形態の帯域拡張装置3Cは、アップサンプリング回路101、音声非線形処理回路300、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色雑音重畳部200は、第2の実施形態と同様に、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。   In FIG. 5, the band extending apparatus 3 </ b> C of the fourth embodiment includes an upsampling circuit 101, a speech nonlinear processing circuit 300, a band pass circuit 107, an adder circuit 108, and a white noise superimposing unit 200. Similar to the second embodiment, the white noise superimposing unit 200 includes a voiced / unvoiced determination circuit 201, a broadband LPC analysis circuit 202, a white noise generation circuit 203, an LPC noise synthesis circuit 204, and an addition circuit 205.

上述した第1〜第3の実施形態においては、狭帯域信号s(n)に対してLPC分析を実行して、声道情報(LPC係数)と声帯信号(残差信号)とを得て、それぞれ広帯域化し、その後、LPC合成して広帯域信号sr(n)を得ていた。   In the first to third embodiments described above, LPC analysis is performed on the narrowband signal s (n) to obtain vocal tract information (LPC coefficient) and vocal cord signal (residual signal), Each of the signals was broadened, and then subjected to LPC synthesis to obtain a wideband signal sr (n).

この第4の実施形態は、狭帯域信号s(n)を声道情報(LPC係数)と声帯信号(残差信号)とに分けることなく、広帯域信号sr(n)に変換する構成を採用している。かかる構成要素が、音声非線形処理回路300である。   This fourth embodiment employs a configuration that converts a narrowband signal s (n) into a wideband signal sr (n) without dividing it into vocal tract information (LPC coefficient) and vocal cord signal (residual signal). ing. Such a component is a speech nonlinear processing circuit 300.

音声非線形処理回路300は、狭帯域信号s(n)のサンプリング周波数を増加させた後、全波整流などの非線形処理を施して広帯域信号sr(n)を得るものである。音声非線形処理回路300が行う非線形処理は、全波整流に限定されず、半波整流、クリッピングなど、狭帯域信号s(n)についての制限帯域を超えた制限帯域外の成分が生じる非線形処理であれば良く、その手法は限定されないものである。なお、アップサンプリング回路101からの出力信号を音声非線形処理回路300への入力信号とし、音声非線形処理回路300におけるサンプリング周波数の増加を省略するようにしても良い。   The speech nonlinear processing circuit 300 increases the sampling frequency of the narrowband signal s (n) and then performs nonlinear processing such as full-wave rectification to obtain a broadband signal sr (n). The nonlinear processing performed by the speech nonlinear processing circuit 300 is not limited to full-wave rectification, but is nonlinear processing in which components outside the limited band exceeding the limited band for the narrowband signal s (n) such as half-wave rectification and clipping are generated. Any method may be used, and the method is not limited. Note that an output signal from the upsampling circuit 101 may be used as an input signal to the speech nonlinear processing circuit 300, and an increase in sampling frequency in the speech nonlinear processing circuit 300 may be omitted.

ここで、音声非線形処理回路300から出力された広帯域信号sr(n)は、そのスペクトル概形が意図した形になっているとは限らないものである。そのため、この第4の実施形態では、白色雑音重畳部200による重畳処理を施すこととしている。   Here, the broadband signal sr (n) output from the speech nonlinear processing circuit 300 does not necessarily have an intended shape of the spectrum. Therefore, in the fourth embodiment, superimposition processing by the white noise superimposing unit 200 is performed.

第4の実施形態によれば、狭帯域信号を声道情報(LPC係数)と声帯信号(残差信号)とに分けることなく、狭帯域信号から広帯域信号を生成する方式を適用しても、上述した第2の実施形態と同様な効果を奏することができる。   According to the fourth embodiment, a method of generating a wideband signal from a narrowband signal without dividing the narrowband signal into vocal tract information (LPC coefficient) and vocal cord signal (residual signal) The same effects as those of the second embodiment described above can be obtained.

因みに、LPC係数の広帯域化処理は、必ずしも好適な広帯域LPC係数が得られず、LPC係数の広帯域化処理自体が意図しないスペクトル概形を付与することとなってしまう場合があり、このような場合は、むしろLPC分析、合成処理を実施しない方が音質の劣化が少ない。第4の実施形態は、このような状況に応じられるものとなっている。   Incidentally, the wideband processing of the LPC coefficient does not necessarily provide a suitable wideband LPC coefficient, and the wideband processing of the LPC coefficient itself may give an unintended spectrum outline. Rather, the sound quality is less degraded when the LPC analysis and synthesis processing are not performed. The fourth embodiment is adapted to such a situation.

(E)他の実施形態
上記各実施形態では、いずれかの実施形態の帯域拡張装置を備えた音声通信装置を示したが、音声通信装置が、第1〜第4の実施形態の帯域拡張装置の2以上の帯域拡張装置を備え、どの帯域拡張装置を適用するかをユーザが選択できるようにしても良い。
(E) Other Embodiments In each of the above embodiments, the voice communication device provided with the bandwidth expansion device of any of the embodiments has been described. However, the voice communication device is the bandwidth expansion device of the first to fourth embodiments. 2 or more of the bandwidth expansion devices may be provided so that the user can select which bandwidth expansion device to apply.

この場合において、同一の音声通信装置に搭載される複数の帯域拡張装置は、同一の構成要素を共通に利用するように構成され、信号経路上に適宜設けられている選択スイッチの選択によって、いずれかの帯域拡張装置として機能できるようにしても良い。   In this case, the plurality of bandwidth extension devices mounted on the same voice communication device are configured to use the same components in common, and depending on the selection of a selection switch appropriately provided on the signal path, It may be possible to function as such a bandwidth expansion device.

上記第1〜第3の実施形態では、声道分析方法としてLPC分析を適用したものを示したが、他の声道分析方法を適用するようにしても良い。   In the first to third embodiments, an example of applying the LPC analysis as the vocal tract analysis method is shown, but other vocal tract analysis methods may be applied.

上記第4の実施形態は、音声非線形処理回路300の後段に白色雑音重畳部200を設けたものを示したが、白色雑音重畳部200に代え、第1の実施形態におけると同様な白色化回路を、音声非線形処理回路300の後段に設けるようにしても良い。   In the fourth embodiment, the white noise superimposing unit 200 is provided after the speech nonlinear processing circuit 300. However, the white noise circuit similar to that of the first embodiment is used instead of the white noise superimposing unit 200. May be provided after the speech nonlinear processing circuit 300.

上記では、上記各実施形態の帯域拡張装置を利用した音声通信装置の例として、IP電話装置を挙げたが、帯域拡張装置の用途はこれに限定されないことは勿論である。VoIPゲートウェイやVoIPサーバ等の音声通信装置に搭載される帯域拡張装置に、本発明を適用するようにしても良い。   In the above description, the IP telephone device has been described as an example of the voice communication device using the bandwidth expansion device of each of the above embodiments. However, the use of the bandwidth expansion device is not limited to this. The present invention may be applied to a bandwidth expansion device mounted on a voice communication device such as a VoIP gateway or a VoIP server.

1…音声通信装置、3、3A〜3C…帯域拡張装置、101…アップサンプリング回路、102…LPC分析回路、103…残差非線形処理回路、104…白色化回路、105…LPC係数広帯域化回路、106…LPC合成回路、107…帯域通過回路、108…加算回路、200…白色重畳部、201…有声無声判定回路、202…広帯域LPC分析回路、203…白色雑音発生回路、204…LPC雑音合成回路、205…加算回路、300…音声非線形処理回路。   DESCRIPTION OF SYMBOLS 1 ... Voice communication apparatus, 3, 3A-3C ... Band expansion apparatus, 101 ... Upsampling circuit, 102 ... LPC analysis circuit, 103 ... Residual nonlinear processing circuit, 104 ... Whitening circuit, 105 ... LPC coefficient widening circuit, DESCRIPTION OF SYMBOLS 106 ... LPC synthesis circuit, 107 ... Band pass circuit, 108 ... Addition circuit, 200 ... White superimposition part, 201 ... Voiced / unvoiced determination circuit, 202 ... Broadband LPC analysis circuit, 203 ... White noise generation circuit, 204 ... LPC noise synthesis circuit 205 ... Adder circuit, 300 ... Audio nonlinear processing circuit.

Claims (5)

周波数帯域が制限された狭帯域の信号に対し、非線形処理を施す非線形処理手段を有し、周波数帯域が拡張された信号を形成する帯域拡張装置において、
上記非線形処理が施された信号を白色化する白色化手段と、
上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段と
の少なくとも一方を備えることを特徴とする帯域拡張装置。
In a band extending apparatus that has nonlinear processing means for performing nonlinear processing on a narrowband signal with a limited frequency band, and forms a signal with an expanded frequency band,
Whitening means for whitening the signal subjected to the nonlinear processing;
Noise obtained by obtaining a spectral outline of a signal with the above frequency band extended, generating a signal with white noise added to a characteristic obtained by flattening the obtained spectral outline, and superimposing it on the signal with the above frequency band extended A band extending apparatus comprising at least one of superimposing means.
上記非線形処理手段は、周波数帯域の拡張対象の信号から、そのスペクトル概形を除去した信号に対して非線形処理を施すことを特徴とする請求項1に記載の帯域拡張装置。   2. The band extending apparatus according to claim 1, wherein the nonlinear processing means performs nonlinear processing on a signal obtained by removing a spectrum outline from a signal to be expanded in a frequency band. 上記雑音重畳手段を備え、上記雑音重畳手段は、周波数帯域の拡張対象の信号の周期性特性に応じて重畳量を変更することを特徴とする請求項1又は2に記載の帯域拡張装置。   The band extending apparatus according to claim 1, further comprising: the noise superimposing unit, wherein the noise superimposing unit changes a superimposition amount according to a periodicity characteristic of a signal to be expanded in a frequency band. 周波数帯域が制限された狭帯域の信号の、周波数帯域が拡張された信号を形成するための帯域拡張プログラムであって、
コンピュータを、周波数帯域が制限された狭帯域の信号に対し、非線形処理を施して、周波数帯域が拡張された信号を形成する非線形処理手段として機能させると共に、
コンピュータを、上記非線形処理が施された信号を白色化する白色化手段と、上記周波数帯域が拡張された信号のスペクトル概形を求め、求めたスペクトル概形を平坦化した特性を白色雑音に対して付与した信号を生成し、上記周波数帯域が拡張された信号に重畳する雑音重畳手段との少なくとも一方として機能させる
ことを特徴とする帯域拡張プログラム。
A bandwidth extension program for forming a narrow band signal with a limited frequency band and a signal with an extended frequency band,
The computer functions as a non-linear processing means that performs non-linear processing on a narrow-band signal with a limited frequency band to form a signal with an expanded frequency band,
The computer obtains the whitening means for whitening the signal subjected to the above nonlinear processing and the spectral outline of the signal with the expanded frequency band, and the flattened characteristic of the obtained spectral outline for white noise. A band expansion program that generates a signal given in the above and functions as at least one of noise superimposing means that superimposes the signal on the signal with the expanded frequency band.
受信した音声信号の帯域が制限されている音声通信装置において、
請求項1〜3のいずれかに記載の帯域拡張装置を備え、受信した音声信号の帯域を拡張することを特徴とする音声通信装置。
In a voice communication device where the band of the received voice signal is limited,
An audio communication apparatus comprising the band extending apparatus according to any one of claims 1 to 3 and extending a band of a received audio signal.
JP2010166091A 2010-07-23 2010-07-23 Band expansion device and program, and voice communication device Active JP5777041B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010166091A JP5777041B2 (en) 2010-07-23 2010-07-23 Band expansion device and program, and voice communication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010166091A JP5777041B2 (en) 2010-07-23 2010-07-23 Band expansion device and program, and voice communication device

Publications (2)

Publication Number Publication Date
JP2012027255A true JP2012027255A (en) 2012-02-09
JP5777041B2 JP5777041B2 (en) 2015-09-09

Family

ID=45780239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010166091A Active JP5777041B2 (en) 2010-07-23 2010-07-23 Band expansion device and program, and voice communication device

Country Status (1)

Country Link
JP (1) JP5777041B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015172706A (en) * 2014-03-12 2015-10-01 沖電気工業株式会社 Sound decoding device and program
CN105427868A (en) * 2015-10-30 2016-03-23 杭州乐哈思智能科技有限公司 Method for eliminating noise of VOIP system bidirectional duplex hand-free voice
JP2017510836A (en) * 2014-02-13 2017-04-13 クアルコム,インコーポレイテッド Expand harmonic bandwidth of audio signal
JP2021502588A (en) * 2017-10-27 2021-01-28 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ A device, method or computer program for generating bandwidth-extended audio signals using a neural network processor.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08248997A (en) * 1995-03-13 1996-09-27 Matsushita Electric Ind Co Ltd Voice band enlarging device
US20080140425A1 (en) * 2005-01-11 2008-06-12 Nec Corporation Audio Encoding Device, Audio Encoding Method, and Audio Encoding Program
JP2008535027A (en) * 2005-04-01 2008-08-28 クゥアルコム・インコーポレイテッド System, method and apparatus for high-band excitation generation
JP2010055002A (en) * 2008-08-29 2010-03-11 Toshiba Corp Signal band extension device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08248997A (en) * 1995-03-13 1996-09-27 Matsushita Electric Ind Co Ltd Voice band enlarging device
US20080140425A1 (en) * 2005-01-11 2008-06-12 Nec Corporation Audio Encoding Device, Audio Encoding Method, and Audio Encoding Program
JP2008535027A (en) * 2005-04-01 2008-08-28 クゥアルコム・インコーポレイテッド System, method and apparatus for high-band excitation generation
JP2010055002A (en) * 2008-08-29 2010-03-11 Toshiba Corp Signal band extension device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017510836A (en) * 2014-02-13 2017-04-13 クアルコム,インコーポレイテッド Expand harmonic bandwidth of audio signal
JP2015172706A (en) * 2014-03-12 2015-10-01 沖電気工業株式会社 Sound decoding device and program
CN105427868A (en) * 2015-10-30 2016-03-23 杭州乐哈思智能科技有限公司 Method for eliminating noise of VOIP system bidirectional duplex hand-free voice
JP2021502588A (en) * 2017-10-27 2021-01-28 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ A device, method or computer program for generating bandwidth-extended audio signals using a neural network processor.
US11562764B2 (en) 2017-10-27 2023-01-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method or computer program for generating a bandwidth-enhanced audio signal using a neural network processor
JP7214726B2 (en) 2017-10-27 2023-01-30 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Apparatus, method or computer program for generating an extended bandwidth audio signal using a neural network processor

Also Published As

Publication number Publication date
JP5777041B2 (en) 2015-09-09

Similar Documents

Publication Publication Date Title
JP5341128B2 (en) Improved stability in hearing aids
RU2487426C2 (en) Apparatus and method for converting audio signal into parametric representation, apparatus and method for modifying parametric representation, apparatus and method for synthensising parametrick representation of audio signal
JP6281336B2 (en) Speech decoding apparatus and program
JP5301471B2 (en) Speech coding system and method
JP2008513848A (en) Method and apparatus for artificially expanding the bandwidth of an audio signal
JP2010286608A (en) Voice band expansion device, voice band expansion method and computer program for voice band expansion, and telephone unit
JPH0955778A (en) Bandwidth widening device for sound signal
JP2008216720A (en) Signal processing method, device, and program
JP5595605B2 (en) Audio signal restoration apparatus and audio signal restoration method
JP5777041B2 (en) Band expansion device and program, and voice communication device
JP5326311B2 (en) Voice band extending apparatus, method and program, and voice communication apparatus
JP5055759B2 (en) Band conversion signal generator and band extension device
WO2014192675A1 (en) Signal processing device and signal processing method
JP5232121B2 (en) Signal processing device
JP2009223210A (en) Signal band spreading device and signal band spreading method
JP2007310296A (en) Band spreading apparatus and method
KR101850693B1 (en) Apparatus and method for extending bandwidth of earset with in-ear microphone
JP2007310298A (en) Out-of-band signal creation apparatus and frequency band spreading apparatus
WO2014199449A1 (en) Digital-watermark embedding device, digital-watermark detection device, digital-watermark embedding method, digital-watermark detection method, digital-watermark embedding program, and digital-watermark detection program
JP2020190606A (en) Sound noise removal device and program
JP6707914B2 (en) Gain processing device and program, and acoustic signal processing device and program
JP5326714B2 (en) Band expanding apparatus, method and program, and quantization noise learning apparatus, method and program
JP2011170261A (en) Speech enhancing device, speech enhancing program
JP6439843B2 (en) Signal processing apparatus and method, and program
JP6210338B2 (en) Signal processing apparatus and method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150630

R150 Certificate of patent or registration of utility model

Ref document number: 5777041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350