[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3466050B2 - Voice switch for talker - Google Patents

Voice switch for talker

Info

Publication number
JP3466050B2
JP3466050B2 JP11572697A JP11572697A JP3466050B2 JP 3466050 B2 JP3466050 B2 JP 3466050B2 JP 11572697 A JP11572697 A JP 11572697A JP 11572697 A JP11572697 A JP 11572697A JP 3466050 B2 JP3466050 B2 JP 3466050B2
Authority
JP
Japan
Prior art keywords
voice
state
power
voiced
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11572697A
Other languages
Japanese (ja)
Other versions
JPH10308816A (en
Inventor
泰 山崎
知紀 佐藤
均 松澤
浩 片山
壽成 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP11572697A priority Critical patent/JP3466050B2/en
Publication of JPH10308816A publication Critical patent/JPH10308816A/en
Application granted granted Critical
Publication of JP3466050B2 publication Critical patent/JP3466050B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明はハンズフリー通話機
などに用いられる音声スイッチに関するものである。音
声スイッチ方式を採用したハンズフリー通話機において
は、スイッチ切替制御を行うための有音検出時に会話継
続制御を行い、頻繁なスイッチ切替を防止することが必
要とされる。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice switch used in a hands-free telephone or the like. In a hands-free telephone that employs a voice switch system, it is necessary to perform continuous conversation control when detecting a sound for performing switch switching control and prevent frequent switch switching.

【0002】[0002]

【従来の技術】ハンズフリー機能を実現するためには、
スピーカの音量を上げ、マイクの感度を高める必要があ
る。しかしながら、このようにすると、図4に示される
ように、スピーカ等の音声出力部から出力された受話音
声がマイクロホン等の音声入力部に回り込む音響エコー
が生じる。これは、通話相手にとっては自分の声がこだ
まのように聞こえる現象で、非常に使いにくいものとな
る。この音響エコーを除去するためには、(1)エコー
キャンセラ方式、(2)音声スイッチ方式の二方式があ
る。
2. Description of the Related Art In order to realize a hands-free function,
It is necessary to increase the speaker volume and microphone sensitivity. However, in this case, as shown in FIG. 4, an acoustic echo occurs in which the received voice output from the voice output unit such as the speaker wraps around to the voice input unit such as the microphone. This is a phenomenon in which one's voice sounds like a echo to the other party of the call, which is extremely difficult to use. In order to remove this acoustic echo, there are two methods: (1) echo canceller method and (2) voice switch method.

【0003】エコーキャンセラ方式は適応信号処理技術
を用いて音響エコーを除去するものである。例えば図5
に示されるように、出力された受話音声がマイクに回り
込む音響エコーrを、通話機の内部で擬似的に発生さ
せ、マイク入力された信号から差し引くものである。こ
の擬似エコーr’の発生はスピーカからマイクへの伝達
関数をFIRフィルタで表したものである。この伝達関
数は通話機の周囲の状況によって変化するため、擬似エ
コーr’と音響エコーrの誤差が最小になるよう適応的
にフィルタを変化させるものである。
The echo canceller system removes acoustic echoes using an adaptive signal processing technique. For example, in FIG.
As shown in (1), an acoustic echo r in which the received voice that is output wraps around the microphone is artificially generated inside the communication device and subtracted from the signal input to the microphone. The generation of the pseudo echo r'is the transfer function from the speaker to the microphone represented by the FIR filter. Since this transfer function changes depending on the surroundings of the telephone, the filter is adaptively changed so as to minimize the error between the pseudo echo r ′ and the acoustic echo r.

【0004】一方、音声スイッチ方式は、図6に示され
るように、スピーカ出力音声とマイク入力音声とのパワ
ーを比較し、どちらか一方を抑圧することで、音響エコ
ーを除去する。つまり、スピーカ出力している間はマイ
ク入力された信号は音響エコーであるので、この間はマ
イク入力信号を抑圧することで、相手に音響エコーを送
信することを防ぐ。
On the other hand, in the voice switch system, as shown in FIG. 6, the power of the speaker output voice is compared with the power of the microphone input voice, and one of them is suppressed to remove the acoustic echo. That is, since the signal input to the microphone is an acoustic echo while the speaker is outputting, suppressing the microphone input signal during this period prevents the acoustic echo from being transmitted to the other party.

【0005】このように、ハンズフリー機能を実現する
上で問題となる音響エコーの除去には、エコーキャンセ
ラ、音声スイッチの2方式がある。両者の長所、短所の
比較は図7に示すとおりであり、処理量と能力のトレー
ドオフとなる。コストを優先させる場合には音声スイッ
チ方式を採用することになる。本発明はこの音声スイッ
チに関わるものである。
As described above, there are two methods of removing the acoustic echo, which is a problem in realizing the hands-free function, an echo canceller and a voice switch. The advantages and disadvantages of both are compared as shown in Fig. 7, and there is a trade-off between throughput and capacity. If cost is prioritized, the voice switch system will be adopted. The present invention relates to this voice switch.

【0006】図8にはこの音声スイッチを備えたハンズ
フリー通話機の詳細な従来構成が示される。図8におい
て、1は相手側からの音声信号を受信する復調器等から
なる受信部、2は受信ゲインgain-rを変化させるこ
とで受信信号のパワーを抑圧制御できるパワー抑圧部、
3は増幅器やスピーカ等からなり受話音声(R)を放音
する音声出力部である。6はマイクロホンや増幅器から
なり送話音声を入力する音声入力部、7は送信ゲインg
ain-sを変化させることで受信信号のパワーを抑圧制
御できるパワー抑圧部、8は送話音声信号を相手側に送
信する変調器等からなる送信部である。
FIG. 8 shows a detailed conventional structure of a hands-free telephone equipped with this voice switch. In FIG. 8, reference numeral 1 denotes a receiving unit that includes a demodulator or the like that receives a voice signal from the other party, and 2 denotes a power suppressing unit that can suppress and control the power of the received signal by changing the reception gain gain-r.
Reference numeral 3 is a voice output unit that includes an amplifier, a speaker, and the like and emits a received voice (R). Reference numeral 6 is a voice input section for inputting a voice to be transmitted, which includes a microphone and an amplifier, and 7 is a transmission gain g.
A power suppressing unit that can suppress and control the power of the received signal by changing ain-s, and 8 is a transmitting unit including a modulator that transmits the transmitted voice signal to the other party.

【0007】4は受信部1で受信した受信信号のパワー
を計算するパワー計算部、5’はパワー計算部4で算出
したパワーに基づいて現在の受話音声状態s-rが無音か
有音かを検出する有音検出部、11は音声入力部6に入
力した音声信号のパワーを計算するパワー計算部、9’
はパワー計算部11で算出したパワーに基づいて現在の
送話音声状態s-sが無音か有音かを検出する有音検出
部、10は有音検出部5’、9’の検出結果に基づいて
パワー抑圧部2、7のいずれ側を抑圧制御状態にするか
を判定する判定部である。
Reference numeral 4 is a power calculation unit for calculating the power of the received signal received by the reception unit 1, and 5'is whether the current received voice state s-r is silent or voiced based on the power calculated by the power calculation unit 4. A sound detector 11 for detecting the sound, a power calculator 11 for calculating the power of the audio signal input to the audio input unit 6, 9 '
Is a voice detection unit that detects whether the current transmission voice state s-s is silent or voice based on the power calculated by the power calculation unit 11, and 10 is the detection result of the voice detection units 5 ′ and 9 ′. It is a determination unit that determines which side of the power suppression units 2 and 7 is to be in the suppression control state based on the above.

【0008】ここで、パワー計算部4、11は次の計算
式により入力音声データのパワーを計算する。すなわ
ち、入力された音声データをxi とすると、出力パワー
i は、 pi =10×log 〔Σ(xi-j ×xi-j )〕 で求まる。但し、Σはj=0からJまでの加算であるも
のとする。
Here, the power calculators 4 and 11 calculate the power of the input voice data by the following formula. That is, assuming that the input voice data is x i , the output power p i is obtained by p i = 10 × log [Σ (x ij × x ij )]. However, Σ is assumed to be an addition from j = 0 to J.

【0009】有音検出部5’、9’は、図9に示される
ように、入力パワーpi を所定のしきい値thと比較す
る比較部からなり、次の判定式により、入力パワーpi
をしきい値thと比較して、現在の音声状態Si が有音
か無音かを判定している。ここで、si =0は無音、s
i =1は有音を意味する。判定式は、 if(pi <th) si =0 if(pi >th) si =1 である。これは、入力パワーpi がしきい値thより小
さければ、音声状態siを「0」とし、しきい値thに
よりも大きければ、音声状態si を「1」とするもので
ある。これより、しきい値th以下の背景雑音が誤って
有音を判定されることを防ぐ。
As shown in FIG. 9, the sound detecting units 5'and 9'include a comparing unit for comparing the input power p i with a predetermined threshold value th, and the input power p is calculated by the following judgment formula. i
Is compared with a threshold th to determine whether the current voice state S i is voiced or silent. Where s i = 0 is silence, s
i = 1 means voice. The determination formula is if (p i <th) s i = 0 if (p i > th) s i = 1. This means that if the input power p i is smaller than the threshold th, the voice state s i is “0”, and if it is larger than the threshold th, the voice state s i is “1”. This prevents background noise equal to or less than the threshold th from being erroneously determined to be voiced.

【0010】判定部10は、図10に示す判定論理テー
ブルに従って、受話パワー抑圧部2の受話ゲインgai
n-rと送話パワー抑圧部7の送話ゲインgain-sを制
御している。ここで、受話ゲインgain-rと送話ゲイ
ンgain-sは 0.0≦gain≦1.0 の範囲のものである。図10の判定論理テーブルでは、 送話音声状態s-s=0、受話音声状態s-r=0の場合
には、送話ゲインgain-s、受話ゲインgain-rと
もに「0.0」とする. 送話音声状態s-s=1、受話音声状態s-r=0の場合
には、送話ゲインgain-sを「1.0」、受話ゲイン
gain-rを「0.0」とする. 送話音声状態s-s=0、受話音声状態s-r=1の場合
には、送話ゲインgain-sを「0.0」、受話ゲイン
gain-rを「1.0」とする. 送話音声状態s-s=1、受話音声状態s-r=1の場合
には、受話を優先して、送話ゲインgain-sを「0.
0」、受話ゲインgain-rを「1.0」とする. の制御を行う。
The determination unit 10 receives the reception gain gai of the reception power suppression unit 2 according to the determination logic table shown in FIG.
It controls the n-r and the transmission gain gain-s of the transmission power suppressing section 7. Here, the reception gain gain-r and the transmission gain gain-s are in the range of 0.0≤gain≤1.0. In the judgment logic table of FIG. 10, when the transmission voice state s−s = 0 and the reception voice state s−r = 0, both the transmission gain gain-s and the reception gain gain-r are “0.0”. Do. When the transmission voice state s-s = 1 and the reception voice state s-r = 0, the transmission gain gain-s is set to "1.0" and the reception gain gain-r is set to "0.0". When the transmission voice state s-s = 0 and the reception voice state s-r = 1, the transmission gain gain-s is set to "0.0" and the reception gain gain-r is set to "1.0". When the transmission voice state s-s = 1 and the reception voice state s-r = 1, the reception gain is prioritized and the transmission gain gain-s is set to "0.
0 ", and the receiving gain gain-r is set to" 1.0 ". Control.

【0011】この判定部10の判定結果に従って、パワ
ー抑圧部2、7は入力音声データx i に対して以下の処
理を行って、出力音声データxi として出力する。 xi =xi ×gain
According to the judgment result of the judging section 10, the power is increased.
-The suppression units 2 and 7 are input voice data x iAgainst
Output audio data xiOutput as. xi= Xi× gain

【0012】このように、この音声スイッチ方式は、受
話音声と送話音声の状態によりどちらか一方を抑圧し、
他方が受話音声であればスピーカ出力し、送話音声であ
れば送信するものである。両者のいずれもが音声の場合
には、受話音声を優先する場合や、音声パワーの高い方
を優先する場合など様々な基準が考えられる。
As described above, this voice switch system suppresses one of the received voice and the transmitted voice,
If the other is the received voice, it is output to the speaker, and if it is the transmitted voice, it is transmitted. When both of them are voices, various standards are conceivable, such as the case where the received voice is prioritized and the case where the voice power is higher is prioritized.

【0013】[0013]

【発明が解決しようとする課題】音声スイッチは同時通
話性をなるべく高めるために高速で動作するが、その副
作用として、話中の瞬間的な無音部分にも反応してスイ
ッチングが起きてしまう可能性がある。これは、会話相
手にとってはスイッチが頻繁に切り替わることで相手の
声が途切れ途切れに聞こえることになり、会話が非常に
聞き取りにくくなり、不快感を感じる。
The voice switch operates at a high speed in order to improve the simultaneous callability as much as possible, but as a side effect, switching may occur in response to a momentary silent portion during a conversation. There is. This causes the conversation partner to switch the switch frequently, so that the other party's voice is heard intermittently, which makes the conversation very difficult to hear and feels uncomfortable.

【0014】本発明はかかる問題点に鑑みてなされたも
のであり、通話中のスイッチの頻繁な切り替わりを防い
で、相手の声が途切れない自然な通話ができるようにす
ることを目的とする。
The present invention has been made in view of the above problems, and an object of the present invention is to prevent frequent switching of switches during a call so that the other party's voice can be kept natural.

【0015】[0015]

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る通話機の音声スイッチは、受話音声
のパワー計算をする受話側パワー計算手段と、送話音声
のパワー計算をする送話側パワー計算手段と、前記受話
側パワー計算手段の受話音声のパワーから受話音声の有
音/無音の音声状態を判定する受話側有音検出手段と、
前記送話側パワー計算手段の送話音声のパワーから送話
音声の有音/無音の音声状態を判定する送話側有音検出
手段と、前記受話音声のパワーを抑圧する受話側抑圧手
段と、前記送話音声のパワーを抑圧する送話側抑圧手段
と、前記受話側有音検出手段で判定された受話音声の音
声状態および前記送話側有音検出手段で判定された送話
音声の音声状態に基づき前記受話側抑圧手段の受話音声
および前記送話側抑圧手段の送話音声のいずれを抑圧す
るかを判定する判定手段とを備え、前記受話側および送
話側の有音検出手段の少なくとも一方は、入力音声のパ
ワーと所定のしきい値とを比較し、各瞬間の音声状態が
有音か無音かを示す比較結果を出力する比較手段と、該
比較手段から同じ音声状態を示す比較結果が所定時間に
わたり継続して出力されているかどうかを判定する継続
状態判定手段とを有し、該所定時間にわたり継続してい
る音声状態を前記有音検出手段による音声状態の判定結
果として出力するように構成される。本発明では、会話
中の頻繁なスイッチ切替えを防ぐため、しきい値と入力
音声パワーの単純な比較結果を基に、有音、無音がそれ
ぞれどの程度継続しているかを判定する継続状態判定部
を設けている。これは比較結果が無音(あるいは有音)
で継続しているかを判定し、所定時間以上にわたり同じ
ものが継続すると最終的に無音(あるいは有音)に確定
するものである。
In order to solve the above-mentioned problems, the voice switch of the telephone set according to the present invention performs the calculation of the power of the reception voice by the reception side power calculation means for calculating the power of the reception voice. A transmitting side power calculating means, and a receiving side voice detecting means for determining a voiced / non-voiced voice state of the receiving voice from the power of the receiving voice of the receiving side power calculating means,
A transmitting side voice presence detecting means for determining a voiced / non-voiced voice state of the transmitting voice from the power of the transmitting voice of the transmitting side power calculating means; and a receiving side suppressing means for suppressing the power of the receiving voice. A transmitting-side suppressing unit that suppresses the power of the transmitting voice, a voice state of the receiving voice determined by the receiving-side voice detecting unit, and a voice state of the transmitting voice determined by the transmitting-side voice detecting unit. A voice-detection means for the receiving side and the transmitting side, and a judging means for judging which of the received voice of the receiving side suppressing means and the transmitted voice of the transmitting side suppressing means is to be suppressed based on the voice state. At least one of the comparison means compares the power of the input voice with a predetermined threshold value and outputs a comparison result indicating whether the voice state at each moment is voiced or silent, and the same voice state is output from the comparison means. The comparison results shown are continuously output for the specified time. Is whether and a determining continuation state determining means configured to output as a determination result of the speech state by the sound detecting means speech state has continued over the predetermined time. In the present invention, in order to prevent frequent switch switching during conversation, a continuous state determination unit that determines how much each of voiced sound and silent sound continues based on a simple comparison result between a threshold value and input voice power. Is provided. The comparison result is silent (or voiced)
It is determined whether or not it continues, and if the same one continues for a predetermined time or more, it is finally determined to be silent (or voiced).

【0016】前記継続状態判定手段を有する有音検出手
段は、無音の比較結果が第1の所定時間以上にわたり継
続したら音声状態を無音と判定し、有音の比較結果が第
2の所定時間以上にわたり継続したら音声状態を有音と
判定し、無音の比較結果の継続時間が前記第1の所定時
間よりも小さく、かつ有音の比較結果の継続時間が前記
第2の所定時間よりも小さいときには前回の音声状態の
判定結果を維持するように構成できる。
The sound detecting means having the continuation state judging means judges that the voice state is silent when the silent comparison result continues for a first predetermined time or longer, and the sound comparison result is second predetermined time or longer. If the duration of the silent comparison result is shorter than the first predetermined time and the duration of the voice comparison result is shorter than the second predetermined time, the sound state is determined to be sound. It can be configured to maintain the previous determination result of the voice state.

【0017】また、上述の音声スイッチにおいて、継続
状態判定手段での継続状態判定に用いる所定時間を任意
の値に変更する継続時間変更手段を更に備えるよう構成
できる。この継続時間変更手段により、通話機の使用環
境に適した継続時間をユーザが自由に設定して、自然な
通話を行えるようにできる。
Further, the above-mentioned voice switch can be further provided with a duration changing means for changing the predetermined time used for the continuation state determination by the continuation state determination means to an arbitrary value. By this duration changing means, the user can freely set the duration suitable for the usage environment of the telephone so that a natural call can be made.

【0018】上記の音声スイッチにおいては、受話側か
送信側のいずれか優先される側の有音検出部が音声状態
を有音と判定したときには、他方側の有音検出部のパワ
ー計算および有音検出処理の少なくとも一方を停止する
ように構成できる。これにより、不必要な計算処理を削
減できる。
In the above voice switch, when the voice detecting section on the receiving side or the transmitting side, which has priority, determines that the voice state is voice, the power calculation and the presence of the voice detecting section on the other side are performed. It can be configured to stop at least one of the sound detection processes. This can reduce unnecessary calculation processing.

【0019】[0019]

【発明の実施の形態】以下、図面を参照して本発明の実
施例を説明する。図1には本発明の一実施例としての音
声スイッチを備えたハンズフリー通話機が示される。図
中、受信部1、パワー抑圧部2、7、音声出力部3、パ
ワー計算部4、11、音声入力部6、送信部8、判定部
10は、図6の従来装置で説明した回路要素と同じもの
であので、ここでは詳細な説明は省く。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a hands-free telephone equipped with a voice switch as an embodiment of the present invention. In the figure, the receiving unit 1, the power suppressing units 2 and 7, the voice output unit 3, the power calculating units 4 and 11, the voice input unit 6, the transmitting unit 8 and the determining unit 10 are circuit elements described in the conventional device of FIG. Since it is the same as, the detailed explanation is omitted here.

【0020】一方、有音検出部5、9は従来回路のもの
と相違している。すなわち、有音検出部5は比較部51
と継続状態判定部52からなり、有音検出部9は比較部
91と継続状態判定部92からなる。この有音検出部
5、9は同じ構成であるので、以降、有音検出部5につ
いてだけその機能・作用を説明する。
On the other hand, the sound detectors 5 and 9 are different from those of the conventional circuit. That is, the sound detecting unit 5 is compared with the comparing unit 51.
The sound detection unit 9 includes a comparison unit 91 and a continuous state determination unit 92. Since the sound detecting units 5 and 9 have the same configuration, only the function and action of the sound detecting unit 5 will be described below.

【0021】比較部51は入力されたパワー信号pi
所定のしきい値thと比較する回路であり、それによ
り、次の判定式により、比較結果ci を出力している。
ここで、ci =0は無音、ci =1は有音を意味する。
判定式は、 if(pi <th) ci =0 if(pi >th) ci =1 である。これは、入力パワーpi がしきい値thより小
さければ、比較結果ciを「0」とし、しきい値thに
よりも大きければ、比較結果ci を「1」とするもので
ある。なお、この比較結果ci は従来装置における音声
状態si に相当する。
The comparator 51 is a circuit for comparing the input power signal p i with a predetermined threshold th, and thereby outputs the comparison result c i according to the following judgment formula.
Here, c i = 0 means silence, and c i = 1 means voice.
The determination formula is if (p i <th) c i = 0 if (p i > th) c i = 1. This means that if the input power p i is smaller than the threshold th, the comparison result c i is “0”, and if it is larger than the threshold th, the comparison result c i is “1”. The comparison result c i corresponds to the voice state s i in the conventional device.

【0022】この比較部51の比較結果ci に基づき、
継続状態判定部52は音声状態siを判定する。継続状
態判定部52は上記比較結果ci がそれぞれ入力される
有音状態継続カウンタCnt1と無音状態継続カウンタ
Cnt0を備えている。この有音状態継続カウンタCn
t1と無音状態継続カウンタCnt0は次式の動作をす
る。 入力比較結果ci =0 → Cnt0=Cnt0+1,
Cnt1=0 入力比較結果ci =1 → Cnt1=Cnt1+1,
Cnt0=0 すなわち、有音状態継続カウンタCnt1は比較結果c
i =1が入力されると計数値を一つインクリメントし、
比較結果ci =0が入力されると計数値を0にリセット
する。無音状態継続カウンタCnt0は比較結果ci
0が入力されると計数値を一つインクリメントし、比較
結果ci =1が入力されると計数値を0にリセットす
る。
Based on the comparison result c i of the comparing section 51,
The continuous state determination unit 52 determines the voice state s i . The continuous state determination unit 52 includes a voiced state continuous counter Cnt1 and a silent state continuous counter Cnt0 to which the comparison result c i is input. This sound state continuation counter Cn
t1 and the silent state continuation counter Cnt0 operate according to the following equation. Input comparison result c i = 0 → Cnt0 = Cnt0 + 1,
Cnt1 = 0 input comparison result c i = 1 → Cnt1 = Cnt1 + 1,
Cnt0 = 0 That is, the voiced state continuation counter Cnt1 indicates the comparison result c.
When i = 1 is input, the count value is incremented by 1,
When the comparison result c i = 0 is input, the count value is reset to 0. The silent state continuation counter Cnt0 indicates the comparison result c i =
When 0 is input, the count value is incremented by 1, and when the comparison result c i = 1 is input, the count value is reset to 0.

【0023】音声状態si の判定は、この無音状態継続
カウンタCnt0と有音状態継続カウンタCnt1の値
に基づいて、以下の判定式 音声状態si =0 if(Cnt0>th0) 音声状態si =1 if(Cnt1>th1) 音声状態si =si-1 if(Cnt0<th0かつ
Cnt1<th1) に従って行う。ここで、th0は音声状態si が有音か
ら無音になることを判定するためのしきい値、th1は
音声状態si が無音から有音になることを判定するため
のしきい値であり、本実施例の場合にはそれぞれ「2」
に設定される。
The determination of the voice state s i is based on the values of the silent state continuation counter Cnt0 and the voiced state continuation counter Cnt1, and the following judgment expression voice state s i = 0 if (Cnt0> th0) voice state s i = 1 if (Cnt1> th1) voice state s i = s i−1 if (Cnt0 <th0 and Cnt1 <th1). Here, th0 is the threshold for determining that a voice state s i is made of sound in silence, th1 is the threshold value for determining that the voice state s i is made from a silence , "2" in the case of this embodiment
Is set to.

【0024】上記の判定式は、 無音状態継続カウンタCnt0が所定のしきい値th
0を超えたら、音声状態si =0、すなわち無音とし、 有音状態継続カウンタCnt1が所定のしきい値th
1を超えたら、音声状態si =1、すなわち有音とし、 無音状態継続カウンタCnt0がしきい値th0より
小さく、かつ有音状態継続カウンタCnt1がしきい値
th1より小さい場合には、前回の判定結果である音声
状態si-1 をそのまま維持する、というものである。
In the above judgment formula, the silent state continuation counter Cnt0 has a predetermined threshold value th.
When it exceeds 0, the voice state s i = 0, that is, the voice state is silenced, and the voiced state continuation counter Cnt1 has a predetermined threshold value th.
When it exceeds 1, the voice state s i = 1 is set, that is, the voice state is set, the silent state continuation counter Cnt0 is smaller than the threshold value th0, and the voiced state continuation counter Cnt1 is smaller than the threshold value th1. The voice state s i-1 which is the determination result is maintained as it is.

【0025】この実施例装置による音声状態si の判定
の動作例が図2に示される。有音検出部における比較部
51の比較結果ci が、例えば図2(a)に示すものと
する。この例では、比較結果ci =0が連続する時刻t
1〜t9において時刻t6で単発的な有音検出(ci
1)がされ、比較結果ci =1が連続する時刻t10〜
24において時刻t15、t19でそれぞれ単発的な無
音検出(ci =0)がされ、時刻t25以降は比較結果
i =0が連続している。従来装置では,これら時刻t
6、t15、t19の単発的な変化に対しても、スイッ
チの切替えがされるため、会話が聴き取りにくいものと
なっていた。
FIG. 2 shows an operation example of the determination of the voice state s i by the apparatus of this embodiment. It is assumed that the comparison result c i of the comparison unit 51 in the sound detecting unit is, for example, as shown in FIG. In this example, the time t at which the comparison results c i = 0 continue
From time 1 to time t9, the sporadic sound detection at time t6 (c i =
1) is performed, and the comparison results c i = 1 continue for the time t10.
At time t15 and time t19, silent detections (c i = 0) are made at 24, respectively, and comparison results c i = 0 continue after time t25. In the conventional device, these times t
The switch is switched even for a single change of 6, t15, and t19, which makes it difficult to hear the conversation.

【0026】図2(b)には無音状態継続カウンタCn
t0の計数値が示される。無音状態継続カウンタCnt
0は時刻t4まで各比較結果ci =0を連続して計数し
てインクリメントし続け(図の例では計数値Cnt0=
8まで増加)、時刻t6で比較結果ci =1によりリセ
ットされて計数値Cnt0=0となり、その後再び各比
較結果ci =0の計数を続け、時刻t10以降は比較結
果ci =1によりリセットされ続けて計数値Cnt0は
「0」を続けるが、時刻t15、時刻t19での単発的
な比較結果ci =0の時だけインクリメントされて計数
値Cnt0=1となっている。そして、時刻t25以降
は再び比較結果ci =0が連続して入力されるので、計
数値Cnt0は逐次にインクリメントされていく。
FIG. 2B shows a silent state continuation counter Cn.
The count value of t0 is shown. Silence continuous counter Cnt
0 continues counting and incrementing each comparison result c i = 0 continuously until time t4 (count value Cnt0 =
8), the count value Cnt0 = 0 is reset by the comparison result c i = 1 at the time t6, and then the count of each comparison result c i = 0 is continued again, and after the time t10, the comparison result c i = 1 is set. The count value Cnt0 continues to be reset and continues to be "0", but is incremented only when the sporadic comparison result c i = 0 at time t15 and time t19 to become the count value Cnt0 = 1. Then, after the time t25, the comparison result c i = 0 is continuously input again, so that the count value Cnt0 is sequentially incremented.

【0027】一方、図2(c)には有音状態継続カウン
タCnt1の計数値が示される。有音状態継続カウンタ
Cnt1は時刻t9まで各比較結果ci =1によりリセ
ットされ続けて計数値は「0」であるが、時刻時刻t6
での単発的な比較結果ci =0の時だけインクリメント
されて計数値Cnt1=1となっている。そして、時刻
t10以降は、各比較結果ci =1を逐次に計数してイ
ンクリメントしていくが、時刻t15、時刻t19での
比較結果ci =0の時だけリセットされて計数値Cnt
1=0となり、計数を0からやり直している。時刻t2
5以降は比較結果ci =0によりリセットされ続けるの
で、その計数値Cnt1=0を継続する。
On the other hand, FIG. 2C shows the count value of the sound state continuation counter Cnt1. The sound state continuation counter Cnt1 continues to be reset by each comparison result c i = 1 until the time t9 and the count value is “0”, but the time t6.
In this case, the count value Cnt1 = 1 is incremented only when the single comparison result c i = 0. After time t10, each comparison result c i = 1 is sequentially counted and incremented, but it is reset only when the comparison result c i = 0 at time t15 and time t19 and the count value Cnt is reset.
1 = 0 and counting is restarted from 0. Time t2
Since the comparison result c i = 0 continues to be reset after 5, the count value Cnt1 = 0 continues.

【0028】この無音状態継続カウンタCnt0と有音
状態継続カウンタCnt1の計数値に基づいて継続状態
判定部52は、図2(d)に示すような音声状態si
判定を行う。すなわち、時刻t4までは無音状態継続カ
ウンタCnt0の計数値がしきい値th0=2より大き
いので音声状態si =0(すなわち無音)と判定を続け
ている。時刻t5で無音状態継続カウンタCnt0の計
数値が「0」にリセットされるが、有音状態継続カウン
タCnt1の計数値もしきい値th1=2より小さいた
め、前述の判定式に従って音声状態si は前回の音声
状態si-1 =0をとる。時刻t9では無音状態継続カウ
ンタCnt0=3となるので、判定式に従って音声状
態si =0になる。一方、時刻t10からは比較結果c
i =1になり、これにより有音状態継続カウンタCnt
1がインクリメントされていくが、その計数値Cnt1
がしきい値th1(=2)より小さい間は、判定式に
従って音声状態si は前回の音声状態si-1 =0をとり
続け、有音状態継続カウンタCnt1=3となる時刻t
12で初めて音声状態si =1になる。時刻t15、時
刻t19で比較結果ci が瞬間的に「0」に変化して
も、上述同様に音声状態si は判定式に従って前回の
音声状態si-1 =1を維持する。時刻t25で有音状態
継続カウンタCnt1=0にリセットされ、かつ無音状
態継続カウンタCnt0がインクリメントされ始める
が、音声状態si はこの時はまだ判定式に従って前回
の音声状態si-1 =1を維持し、無音状態継続カウンタ
Cnt0=3となる時刻t27で判定式に従って音声
状態si =0に判定がなる。
Based on the count values of the silent state continuation counter Cnt0 and the voiced state continuation counter Cnt1, the continuation state determination section 52 determines the voice state s i as shown in FIG. 2 (d). That is, until time t4, the count value of the silent state continuation counter Cnt0 is larger than the threshold value th0 = 2, and therefore the determination is continued as the voice state s i = 0 (that is, silence). Although at time t5 the count value of the silent state continuation counter Cnt0 is reset to "0", because also the count value of the talk-spurt state continuation counter Cnt1 smaller than the threshold th1 = 2, the speech state s i in accordance with the foregoing judgment formula The previous voice state s i-1 = 0 is taken. At time t9, the silent state continuation counter Cnt0 = 3, and therefore the voice state s i = 0 according to the determination formula. On the other hand, from time t10, the comparison result c
i = 1, so that the voiced state continuation counter Cnt
1 is incremented, but the count value Cnt1
Is There threshold th1 (= 2) between a smaller, speech state s i according to the determination expression continues taking the last speech state s i-1 = 0, the time the talk-spurt state continuation counter Cnt1 = 3 t
Only at 12 is the voice state s i = 1. Time t15, also the comparison result c i in time t19 is changed momentarily "0", to keep the previous speech state s i-1 = 1 according to the same manner as above speech state s i determination expression. At time t25, the sound state continuation counter Cnt1 = 0 is reset, and the silence state continuation counter Cnt0 starts to be incremented. However, the voice state s i still has the previous voice state s i-1 = 1 according to the determination formula. It is maintained, and at time t27 when the silent state continuation counter Cnt0 = 3, the voice state s i = 0 is determined according to the determination formula.

【0029】このように、本実施例では、有音検出部に
継続状態判定部を設けることで、無音区間中の短い有音
部、あるいは有音区間中の短い無音部でのスイッチ切替
えを防ぎ、自然な通話を実現する。
As described above, in the present embodiment, by providing the continuous state determining unit in the sound detecting unit, it is possible to prevent the switch from being switched in the short sounding part in the silent section or in the short silent section in the sounding section. Realize a natural call.

【0030】なお、上述の実施例では、有音/無音の判
定のための継続時間を決めるしきい値th0、th1を
固定として説明したが、このしきい値th0、th1を
任意に設定できる設定手段を設ければ、継続状態判定に
用いる所定の継続時間を任意に変更することができ、こ
れにより、通話機の使用環境に適した継続時間をユーザ
が自由に設定して、自然で快適な通話を行えるようにで
きる。
In the above-mentioned embodiment, the thresholds th0 and th1 for determining the duration for determining the presence / absence of sound are fixed, but the thresholds th0 and th1 can be set arbitrarily. If a means is provided, the predetermined duration used for determining the continuation state can be arbitrarily changed, which allows the user to freely set the duration suitable for the environment in which the telephone is used and to provide a natural and comfortable environment. Can make calls.

【0031】図3には本発明の他の実施例が示される。
ここで、有音検出部5、9は前述の実施例で説明したも
のである。受話側の音声検出部5から送話側の有音検出
部9とパワー計算部11に音声状態s-rが通知されるよ
うになっている。これにより受話音声の音声状態s-rが
有音であると判定された場合には、パワー計算部11は
送話音声のパワー計算を行わず、有音検出部9は送話音
声の音声状態判定を行わず一意に無音であると判定す
る。これにより、計算量を削減することができ、これら
の処理をマイクロプロセッサやDSP等でソフトウェア
的に行う場合にソフトウェア処理の負担を軽減できる。
なお、この例では、同時通話時の判定基準は受話優先で
あるものとしている。よって、同時通話時の判定基準が
送話優先の場合には、送話側の有音検出部9から受話側
の有音検出部5等に通知を行い、送話音声の音声状態s
-sが有音であると判定されたときに、受話側のパワー計
算部4と有音検出部5の動作を停止させるようにすれば
よい。
FIG. 3 shows another embodiment of the present invention.
Here, the sound detecting units 5 and 9 are the same as those described in the above embodiment. The voice detecting unit 5 on the receiving side notifies the voice detecting unit 9 on the transmitting side and the power calculating unit 11 of the voice state s-r. When it is determined that the voice state s-r of the received voice is voiced, the power calculation unit 11 does not calculate the power of the transmitted voice, and the voice detection unit 9 determines the voice state of the transmitted voice. It is uniquely determined to be silent without making a determination. As a result, the amount of calculation can be reduced, and the load of software processing can be reduced when these processings are performed by software using a microprocessor or DSP.
In this example, it is assumed that the judgment criterion at the time of simultaneous call is the reception priority. Therefore, when the determination criterion for simultaneous call is the transmission priority, the voice detecting section 9 on the transmitting side notifies the voice detecting section 5 on the receiving side to notify the voice state s of the transmitted voice.
When it is determined that -s is voiced, the operations of the power calculation unit 4 and the voiced detection unit 5 on the receiving side may be stopped.

【0032】[0032]

【発明の効果】以上説明したように、本発明によれば、
無音区間中の短い有音、あるいは有音区間中の短い無音
でスイッチが切り替わらないようにすることができ、相
手の声が途切れ途切れに聞こえることを防止でき、自然
な通話が可能になる。
As described above, according to the present invention,
It is possible to prevent the switch from being switched due to a short sound in a silent section or a short silence in a sound section, it is possible to prevent the other party's voice from being heard intermittently, and a natural call can be made.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明に係る一実施例としての音声スイッチを
備えたハンズフリー通話機を示す図である。
FIG. 1 is a diagram showing a hands-free telephone equipped with a voice switch as an embodiment according to the present invention.

【図2】実施例装置の動作例を示す図である。FIG. 2 is a diagram showing an operation example of the embodiment apparatus.

【図3】本発明の他の実施例を示す図である。FIG. 3 is a diagram showing another embodiment of the present invention.

【図4】ハンズフリー通話機等における音響エコーを説
明する図である。
FIG. 4 is a diagram illustrating acoustic echo in a hands-free telephone or the like.

【図5】エコーキャンセラ方式を説明する図である。FIG. 5 is a diagram illustrating an echo canceller system.

【図6】音声スイッチ方式を説明する図である。FIG. 6 is a diagram illustrating a voice switch system.

【図7】エコーキャンセラ方式と音声スイッチ方式を比
較する図である。
FIG. 7 is a diagram comparing an echo canceller method and a voice switch method.

【図8】従来の音声スイッチを備えたハンズフリー通話
機を示す図である。
FIG. 8 is a diagram showing a conventional hands-free telephone equipped with a voice switch.

【図9】従来装置における有音検出部の構成を示す図で
ある。
FIG. 9 is a diagram showing a configuration of a sound detecting unit in a conventional device.

【図10】有音/無音の判定テーブルの例を示す図であ
る。
FIG. 10 is a diagram showing an example of a voiced / unvoiced determination table.

【符号の説明】[Explanation of symbols]

1 受信部 2、7 パワー抑圧部 3 音声出力部 4、11 パワー計算部 5、5’、9、9’ 有音検出部 6 音声入力部 8 送信部 51、91 比較部 52、92 継続状態判定部 1 receiver 2, 7 Power suppression unit 3 Audio output section 4, 11 Power calculator 5, 5 ', 9, 9'Sound detection unit 6 Voice input section 8 transmitter 51, 91 Comparison section 52, 92 Continuation state determination unit

フロントページの続き (72)発明者 片山 浩 神奈川県川崎市中原区上小田中4丁目1 番1号 富士通株式会社内 (72)発明者 木村 壽成 福岡県福岡市博多区博多駅前三丁目22番 8号 富士通九州ディジタル・テクノロ ジ株式会社内 (56)参考文献 特開 平6−78046(JP,A) 特開 平7−95272(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04M 1/60 H04B 3/23 Front page continued (72) Inventor Hiroshi Katayama 4-1-1 Kamitadanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Within Fujitsu Limited (72) Insei Inori Kimura 3-22-22, Hakataekimae, Hakata-ku, Fukuoka, Fukuoka Issue: Fujitsu Kyushu Digital Technology Co., Ltd. (56) References JP-A-6-78046 (JP, A) JP-A-7-95272 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04M 1/60 H04B 3/23

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】受話音声のパワー計算をする受話側パワー
計算手段と、 送話音声のパワー計算をする送話側パワー計算手段と、 前記受話側パワー計算手段の受話音声のパワーから受話
音声の有音/無音の音声状態を判定する受話側有音検出
手段と、 前記送話側パワー計算手段の送話音声のパワーから送話
音声の有音/無音の音声状態を判定する送話側有音検出
手段と、 前記受話音声のパワーを抑圧する受話側抑圧手段と、 前記送話音声のパワーを抑圧する送話側抑圧手段と、 前記受話側有音検出手段で判定された受話音声の音声状
態および前記送話側有音検出手段で判定された送話音声
の音声状態に基づき前記受話側抑圧手段の受話音声およ
び前記送話側抑圧手段の送話音声のいずれを抑圧するか
を判定する判定手段と を備え、 前記受話側および送話側の有音検出手段の少なくとも一
方は、入力音声のパワーと所定のしきい値と比較し、
各瞬間の音声状態が有音か無音かを示す比較結果を出力
する比較手段と、該比較手段から同じ音声状態を示す比
較結果が所定時間にわたり継続して出力されているかど
うかを判定する継続状態判定手段を有し、該所定時間
にわたり継続している音声状態を前記有音検出手段によ
る音声状態の判定結果として出力するように構成された
通話機の音声スイッチ。
1. A receiving side power calculating means for calculating the power of a receiving voice, a transmitting side power calculating means for calculating a power of a transmitting voice, and a receiving voice power from a receiving voice power of the receiving side power calculating means. Receiving side voice detecting means for determining a voiced / non-voiced voice state, and a transmitter side for determining a voiced / non-voiced voice state of the transmitted voice from the power of the transmitted voice of the transmitter side power calculation means Sound detecting means, receiving side suppressing means for suppressing the power of the receiving voice, transmitting side suppressing means for suppressing the power of the transmitting voice, and voice of the receiving voice determined by the receiving side voice detecting means It is determined which of the received voice of the receiving side suppressing means and the transmitting voice of the transmitting side suppressing means is to be suppressed based on the state and the voice state of the transmitting voice determined by the transmitting side voice detecting means. Determination means, and the receiving side And at least one of the sound detecting means transmitting side compares the power of the input speech with a predetermined threshold value,
Outputs the comparison result indicating whether the voice state at each moment is voiced or silent
And a ratio indicating the same voice state from the comparing means.
Compare results and a continuation condition determining means for determining whether the continuously output for a predetermined time, the predetermined time
The voice state that continues over the
A voice switch of a telephone set configured to output as a determination result of a voice state .
【請求項2】前記継続状態判定手段は、無音の比較結果
が第1の所定時間以上にわたり継続したら音声状態を無
音と判定し、有音の比較結果が第2の所定時間以上にわ
たり継続したら音声状態を有音と判定し、無音の比較結
果の継続時間が前記第1の所定時間よりも小さく、かつ
有音の比較結果の継続時間が前記第2の所定時間よりも
小さいときには前回の音声状態の判定結果を維持するよ
うに構成したものである請求項1記載の通話機の音声ス
イッチ。
Wherein said continuous condition determination hand stage, silence comparison result is judged to continue to silence the sound state When for a first predetermined time or more, when the sound of the comparison result continues over a second predetermined time or more If the voice state is determined to be voiced and the duration of the silent comparison result is shorter than the first predetermined time and the duration of the voice comparison result is shorter than the second predetermined time, the previous voice The voice switch for a telephone set according to claim 1, wherein the voice switch is configured to maintain the determination result of the state.
【請求項3】前記継続状態判定手段での継続状態判定に
用いる所定時間を任意の値に変更する継続時間変更手段
を更に備えた請求項1または2記載の通話機の音声スイ
ッチ。
3. A further voice switch according to claim 1 or 2, wherein the call unit with a duration time changing means for changing the predetermined time to any value to be used for continuation state determination in the continuous state determining means.
【請求項4】受話側か送信側のいずれか優先される側の
有音検出手段が音声状態を有音と判定したときには、他
方側の有音検出手段のパワー計算および有音検出処理の
少なくとも一方を停止するように構成した請求項1、2
または3記載の通話機の音声スイッチ。
4. When the voice detecting means on the receiving side or the transmitting side, which has priority, determines that the voice state is voiced, at least power calculation and voice detecting processing of the voice detecting means on the other side. Claims 1 and 2 configured to stop one
Or the voice switch of the telephone set described in 3.
JP11572697A 1997-05-06 1997-05-06 Voice switch for talker Expired - Fee Related JP3466050B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11572697A JP3466050B2 (en) 1997-05-06 1997-05-06 Voice switch for talker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11572697A JP3466050B2 (en) 1997-05-06 1997-05-06 Voice switch for talker

Publications (2)

Publication Number Publication Date
JPH10308816A JPH10308816A (en) 1998-11-17
JP3466050B2 true JP3466050B2 (en) 2003-11-10

Family

ID=14669596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11572697A Expired - Fee Related JP3466050B2 (en) 1997-05-06 1997-05-06 Voice switch for talker

Country Status (1)

Country Link
JP (1) JP3466050B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860235B2 (en) 2005-05-27 2010-12-28 Kabushiki Kaisha Toshiba Echo suppressor

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4568439B2 (en) * 2001-01-22 2010-10-27 パナソニック株式会社 Echo suppression device
JP4542538B2 (en) * 2006-11-24 2010-09-15 日本電信電話株式会社 Double talk state determination method, echo canceling apparatus using the method, program thereof, and recording medium thereof
CN114286114B (en) * 2021-11-17 2024-02-09 上海东方传媒技术有限公司 Intelligent video stream switching method and system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860235B2 (en) 2005-05-27 2010-12-28 Kabushiki Kaisha Toshiba Echo suppressor

Also Published As

Publication number Publication date
JPH10308816A (en) 1998-11-17

Similar Documents

Publication Publication Date Title
US7536006B2 (en) Method and system for near-end detection
US6223154B1 (en) Using vocoded parameters in a staggered average to provide speakerphone operation based on enhanced speech activity thresholds
US6185300B1 (en) Echo canceler for use in communications system
US5390244A (en) Method and apparatus for periodic signal detection
US7945442B2 (en) Internet communication device and method for controlling noise thereof
JP4282260B2 (en) Echo canceller
US7881927B1 (en) Adaptive sidetone and adaptive voice activity detect (VAD) threshold for speech processing
JPH09172396A (en) System and method for removing influence of acoustic coupling
JP4204754B2 (en) Method and apparatus for adaptive signal gain control in a communication system
US6122531A (en) Method for selectively including leading fricative sounds in a portable communication device operated in a speakerphone mode
JP2002501336A (en) Echo suppression control method and apparatus in communication system
JP2512418B2 (en) Voice conditioning device
JP3009647B2 (en) Acoustic echo control system, simultaneous speech detector of acoustic echo control system, and simultaneous speech control method of acoustic echo control system
US7246059B2 (en) Method for fast dynamic estimation of background noise
KR19980086461A (en) Hand-free phone
JP2005508102A (en) A method to eliminate the mediation failure caused by echoes by arbitrating speakerphone operation in portable communication devices
JP2003514264A5 (en)
JP3466050B2 (en) Voice switch for talker
US20120155655A1 (en) Music detection based on pause analysis
US6754337B2 (en) Telephone having four VAD circuits
JP3466049B2 (en) Voice switch for talker
US6847930B2 (en) Analog voice activity detector for telephone
JP3460783B2 (en) Voice switch for talker
JP3442535B2 (en) Echo canceller
JPH08288894A (en) Echo suppression device

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080829

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100829

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees