[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105516859B - 消除回声的方法和系统 - Google Patents

消除回声的方法和系统 Download PDF

Info

Publication number
CN105516859B
CN105516859B CN201510870000.1A CN201510870000A CN105516859B CN 105516859 B CN105516859 B CN 105516859B CN 201510870000 A CN201510870000 A CN 201510870000A CN 105516859 B CN105516859 B CN 105516859B
Authority
CN
China
Prior art keywords
signal
reference signal
mixed
echo
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510870000.1A
Other languages
English (en)
Other versions
CN105516859A (zh
Inventor
高伟标
朱生林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201510870000.1A priority Critical patent/CN105516859B/zh
Publication of CN105516859A publication Critical patent/CN105516859A/zh
Priority to US15/779,830 priority patent/US10360923B2/en
Priority to EP16867671.6A priority patent/EP3383064B1/en
Priority to PCT/CN2016/084821 priority patent/WO2017088443A1/zh
Application granted granted Critical
Publication of CN105516859B publication Critical patent/CN105516859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0356Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for synchronising with other signals, e.g. video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种消除回声的方法,该方法包括:获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为参考信号;根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;将所述补偿信号反相;将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声。本发明还公开了一种消除回声的系统。本发明能够提高消除混合信号中的回声的效果。

Description

消除回声的方法和系统
技术领域
本发明涉及通信技术领域,尤其涉及一种消除回声的方法和系统。
背景技术
在语音识别系统中,尤其是远距离语音识别系统中,比如在电视上进行语音识别,由于安装在电视上的麦克风离电视本身的扬声器较近,即麦克风与扬声器的距离比麦克风与人嘴的距离近,且从扬声器发出来的节目声音一般也比人说话的声音大,所以麦克风接收到的电视本身的声音会比收到人嘴发出来的声音大,即对于麦克风来说,电视的声音(回声信号)会严重干扰人说话的声音,严重影响系统对人类语音的识别。
传统的做法会取电视输出音频信号与麦克风接收到的电视声音信号进行抵消,达到消除电视回声的效果。但是由于扬声器本身频响的不平坦性,朝向,以及经过房间、各种物体的反射、衍射,麦克风摄取到的回声信号与取自驱动扬声器的声音信号已经差别比较大(各频段的衰减或者叠加的程度不同,反映为频响的进一步变化),所以这种回声消除效果比较有限。
发明内容
本发明的主要目的在于提出一种消除回声的方法和系统,旨在提高回声消除的效果。
为实现上述目的,本发明提供的一种消除回声的方法,所述方法包括以下步骤:
获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为的参考信号;
根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;
根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;
将所述补偿信号反相;
将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声。
优选地,所述根据混合信号和所述参考信号,获得所述参考信号的增益信号的步骤包括:
计算所述混合信号和所述参考信号的幅度;
根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数;
将所述参考信号的幅度乘以所述增益系数,获得所述参考信号的增益信号。
优选地,所述计算所述混合信号和所述参考信号的幅度的步骤包括;
在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,分别获得预置次数的采样信号;
根据所述混合信号和所述参考信号的采样信号通过预置算法分别计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。
优选地,所述根据所述增益信号和预设补偿系数获得所述参考信号的补偿信号的步骤包括:
在预置频率中选择预置数个频率以预置幅度通过扬声器发出声音;
接收所述声音对应的回声信号;
获得所述回声信号的幅度;
根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。
优选地,所述获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的大小获得扬声器发出声音的参考信号的步骤包括:
记录获得所述混合信号和所述参考信号的时刻;
根据所述混合信号和所述参考信号的时刻,获得所述参考信号的延时;
所述将反相的所述补偿信号与所述混合信号合并,消除回声的步骤之前包括:
根据所述参考信号的延时,将所述混合信号与所述补偿信号的时间同步。
此外,为实现上述目的,本发明还提供一种消除回声的系统,所述系统包括:
第一获得模块,用于获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为的参考信号;
第二获得模块,用于根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;
第三获得模块,用于根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;
反相模块,用于将所述补偿信号反相;
合并模块,用于将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声。
优选地,所述第二获得模块包括:
计算单元,用于计算所述混合信号和所述参考信号的幅度;
第一获得单元,用于根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数;
第二获得单元,用于将所述参考信号的幅度乘以所述增益系数,获得所述参考信号的增益信号。
优选地,所述计算单元包括:
采样子单元,用于在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,分别获得预置次数的混合信号;
计算子单元,用于根据所述混合信号和所述参考信号的采样信号通过预置算法分别计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。
优选地,所述第三获得模块包括:
选择单元,用于在预置频率中选择预置数个频率以预置幅度通过扬声器发出声音;
接收单元,用于接收所述声音对应的回声信号;
获得单元,用于获得所述回声信号的幅度;
计算单元,用于根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。
优选地,所述第一获得模块包括:
记录单元,用于记录获得所述混合信号和所述参考信号的时刻;
获得单元,用于根据所述混合信号和所述参考信号的时刻,获得所述混合信号的延时;
所述系统还包括:
同步模块,用于根据所述混合信号的延时,将所述混合信号与所述补偿信号的时间同步。
本发明通过获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为参考信号;根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;将所述补偿信号反相;将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声。通过上述方式,本发明先根据获得的混合信号获得参考信号的增益信号,然后对所述增益信号进行补偿,获得补偿信号,将所述参考信号转换为与实际扬声器发出的回声相同的信号,再将所述补偿信号反相与所述混合信号合并,从而消除混合信号中回声,能够提高消除混合信号中的回声,甚至彻底消除混合信号中的回声。
附图说明
图1为本发明消除回声的方法第一实施例的流程示意图;
图2为本发明实施例中根据所述混合信号和所述参考信号,获得所述参考信号的增益信号的一种流程示意图;
图3为本发明实施例中计算所述混合信号和所述参考信号的幅度的一种流程示意图;
图4为本发明实施例中根据所述增益信号和预设补偿系数获得所述参考信号的补偿信号的一种流程示意图;
图5为本发明实施例中获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的大小获得扬声器发出声音的参考信号的一种流程示意图;
图6为本发明消除回声的系统第一实施例的功能模块示意图;
图7为本发明实施例中第二获得模块的细化功能模块示意图;
图8为本发明实施例中计算单元的细化功能模块示意图;
图9为本发明实施例中第三获得模块的细化功能模块示意图;
图10为本发明实施例中第一获得模块的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种消除回声的方法。
参照图1,图1为本发明消除回声的方法第一实施例的流程示意图。
在本实施例中,该消除回声的方法包括:
步骤S10,获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为参考信号;
本实施例中以电视为例进行说明,具体实施中也可以根据本发明核心思想将本发明应用到其他的需要消除回声的场合。
在电视的语言识别系统中,所述电视通过麦克风获得用户发出的用户声音,同时电视可能正在播放视频和/或音频,所述电视中的扬声器发出对应的声音,所述扬声器发送的声音经过墙壁和房间中各种物体的反射、衍射等反射值所述电视的麦克风,又被所述麦克风接收,所述麦克风接收到用户发出的用户声音和所述扬声器发出的回声混合的混合声音,从而获得混合信号。具体地,获得所述混合信号的模拟信号,当然也可以将获得的模拟信号转换为数字信号。
根据所述扬声器发送声音的音量大小,按照预设规则模拟出对应的所述扬声器发出的声音信号,将该声音信号作为参考信号,其中预设规则是指技术人员根据音量大小在理想环境下,即在没有经过各种物体反射、衍射等环境下,获得的参考信号。
具体实施中如果将本发明应用于其他场合,则用户发出的用户声音和扬声器发出的回声混合的混合信号和所述参考信号可以是通过其他手段预先获得的。
步骤S20,根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;
由于每台电视或者其他设备的功放增益、扬声器灵敏度的不同,麦克风摄取到的回声信号幅度也差别较大。所述参考信号与回声信号幅度差别也很大,为消除差异,可以将在步骤S10获得的所述混合信号和所述参考信号通过增益电路获得所述参考信号的增益系数,回声消除的增益电路已经广泛应用,或者通过软件获得所述参考信号的增益系数,使得所述参考信号幅度与所述混合信号的幅度相当,即大致相同。
步骤S30,根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;
由于扬声器发出的声音经过的环境不同,在不同的环境声音经过各种反射、衍射的情况不同,扬声器发出的声音信号到达麦克风后,麦克风获取到的信号各频段有不同程度的增强和衰减,为能使所述增益信号更接近所述混合信号中扬声器发出的回声信号,所以需要进一步处理。
根据步骤S20获得的所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号,具体地将所述增益信号乘以对应的预设补偿系数获得所述参考信号的补偿信号,当然也可以根据所述增益信号获得不同频率的补偿系数即可。本实施例中所述预设的补偿系数是所述电视在获得用户的声音之前,通过预置在电视内部中不同频率的单频正选信号进行测试获得,当然也可以是其他形状的信号,具体地,比如所述电视中存储有n组频率为20Hz-20kHz之间的单频正选信号,幅度均为A,在获得用户的声音之前,随机从n组信号中选择预置次数的信号进行测试,本实例中采用5组,分别用选择的5组信号依次进行测试,麦克风可以依次获得5组回声信号,幅度分别记为A1、A2…A5,然后将5组信号分别除以幅度A,从而分别获得5组频率的补偿系数为G1-G5。具体实施中也可以将不同的电视尺寸位于不同的环境中进行测试,根据测试结果获得不同电视尺寸下的平均补偿系数,预置在电视中。本领域技术人员可以理解的是在获得所述补偿系数时,用于测试的频率越多,获得不同频率的补偿系数越多,调整所述增益信号时,则越精细,最后的效果也就越好。经试验,信号组数与调整之后的所述参考信号与实际麦克风获得的扬声器获得的回声信号的近似度的关系如下表所示,所述近似度用近似品质数Q标识。通过下表中数据可知采用10组不同频率的预置信号进行测试时,以能到达补偿的理想状态。具体实施中也可以实施采用预置组数的信号进行测试获得所述补偿系数。
信号组数 Q
5 3
6 3.5
7 4
8 4.5
9 5
10 6
步骤S40,将所述补偿信号反相;
步骤S50,将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声。
将步骤S30获得的补偿信号进行反相,获得反相的所述补偿信号,然后将反相的所述补偿信号与所述混合信号合并,根据两个波形相叠加原理,可以将与扬声器发出的回声相近的反相的补偿信号抵消扬声器发出的回声,从而消除扬声器发出的回声。具体实施中还可以进行滤波等操作,获得更纯净的用户声音。
进一步地,识别消除回声的混合信号,并进行对应的处理。
在消除扬声器发出的回声,可以将获得纯净的用户声音发送至云端或者在本地进行识别,获得对应的控制指令,所述电视根据所述控制指令进行对应的处理;或者进行其他操作,比如通过网络进行搜索。
本发明通过获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为参考信号;根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;将所述补偿信号反相;将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声。通过上述方式,本发明先根据获得的混合信号获得参考信号的增益信号,然后对所述增益信号进行补偿,获得补偿信号,将所述参考信号转换为与实际扬声器发出的回声相同的信号,再将所述补偿信号反相与所述混合信号合并,从而消除混合信号中回声,能够提高消除混合信号中的回声,甚至彻底消除混合信号中的回声。
参照图2,图2为本发明实施例中根根据所述混合信号和所述参考信号,获得所述参考信号的增益信号的一种流程示意图。
基于本发明消除回声的方法第一实施例,步骤S20包括:
步骤S21,计算所述混合信号和所述参考信号的幅度;
步骤S22,根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数;
步骤S23,将所述参考信号的幅度乘以所述增益系数,从而获得所述参考信号的增益信号。
本实施中为减少电视上电路设置冗余度,采用软件方式对所述参考信号进行处理,在获得所述混合信号和所述参考信号时,根据所述混合信号和所述参考信号进行计算,分别获得所述混合信号和所述参考信号的幅度,然后根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数,具体地,将所述混合信号的幅度除以所述参考信号的幅度,获得所述混合信号和所述参考信号的幅度的比值,即获得所述参考信号的增益系数,然后将所述参考信号的幅度乘以所述增益系数,从而获得所述参考信号的增益信号。
参照图3,图3为本发明实施例中计算所述混合信号和所述参考信号的幅度的一种流程示意图。
基于本发明消除回声的方法第二实施例,步骤S21包括:
步骤S211,在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,分别获得预置次数的采样信号;
为提高获得的所述增益信号与所述混合信号中扬声器发出的回声的相似度,本发明将获得的混合信号分为多段信号,每相隔预置的时间分为一段,在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,比如在时间为T=0.2S的时间,即采集周期T=0.2S,在每个周期内对所述混合信号和所述参考信号进行采样率为48khz的采样,则分别获得所述混合信号和所述参考信号的采样信号的数量都为48khz*0.2=9600。
具体实施中可以只在所述混合信号和所述参考信号随机选取一个预置时间内的信号进行预置次数的采样,获得的信号作为采样信号,比如在0.2s内进行5k次采样。
步骤S212,根据所述混合信号和所述参考信号的采样信号通过预置算法分别计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。
根据步骤S211中获得的所述混合信号和所述参考信号的采样信号,通过预置算法分别进行计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。其中所述预置算法为幅度
其中F为采用次数,T为采样周期,t为某个周期开始的时刻。具体实施中如果在所述混合信号和所述参考信号随机选取一个预置时间内的信号进行预置次数的采样,获得的信号作为采样信号,则所述预置算法为幅度
其中N为采样次数。
参照图4,图4为本发明实施例中计算所述混合信号和所述参考信号的幅度的一种流程示意图。
基于本发明消除回声的方法第一实施例,步骤S30包括:
步骤S31,在预置频率中选择预置数个频率以预置幅度通过扬声器发出声音;
步骤S32,接收所述声音对应的回声信号;
步骤S33,获得所述回声信号的幅度;
步骤S34,根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。
本实施例中为避免实际应用时,房间中各种物体会被移动等情况,导致预先获得的补偿系数与实际情况不同,在步骤S20获得所述增益信号时,采用在电视中预置的不同频率信号中选择预置数个频率,以特定的预置幅度进行测试,通过扬声器依次发出不同频率的声音,电视上的麦克风依次接收扬声器依次发出不同频率的声音对应的回声信号,根据所述回声信号分别获得对应的幅度,然后根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。具体过程与第一实施例中步骤S30中相同,此处不再赘述。
参照图5,图5为本发明实施例中获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的大小获得扬声器发出声音的参考信号的一种流程示意图。
基于本发明消除回声的方法第一实施例,步骤S10包括:
步骤S11,记录获得所述混合信号和所述参考信号的时刻;
步骤S12,根据所述混合信号和所述参考信号的时刻,获得所述参考信号的延时;
在实际应用中,由于扬声器发出的声音经过环境反射、衍射后可能达到麦克风的时间与根据扬声器发出回声的音量大小获得扬声器发出声音的参考信号的时间是不同步的,使得最后获得的结果更理想,需将所述参考信号和所述混合信号的时间进行同步,首先在获得所述混合信号和所述参考信号时,同时记录记录获得所述混合信号和所述参考信号的时刻,获得所述参考信号的时刻落后与获得所述混合信号的时刻。根据获得的所述混合信号和所述参考信号的时刻,获得所述参考信号的延时。
所述将反相的所述补偿信号与所述混合信号合并,从而消除回声的步骤之前包括:
根据所述混合信号的延时,将所述混合信号与所述补偿信号的时间同步。
本实施例中在获得所述参考信号的延时后,在将反相的所述补偿信号与所述混合信号合并时,将所述混合信号与所述补偿信号的时间同步。具体实施中也可以在其他时间将所述混合信号与所述补偿信号的时间同步,只有在将反相的所述补偿信号与所述混合信号合并之前即可。
本发明进一步提供一种消除回声的系统。
参照图6,图6为本发明消除回声的系统第一实施例的功能模块示意图。
在本实施例中,该消除回声的系统包括:
第一获得模块10,用于获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为参考信号。
本实施例中以电视为例进行说明,具体实施中也可以根据本发明核心思想将本发明应用到其他的需要消除回声的场合。
在电视的语言识别系统中,所述电视通过麦克风获得用户发出的用户声音,同时电视可能正在播放视频和/或音频,所述电视中的扬声器发出对应的声音,所述扬声器发送的声音经过墙壁和房间中各种物体的反射、衍射等反射值所述电视的麦克风,又被所述麦克风接收,所述麦克风接收到用户发出的用户声音和所述扬声器发出的回声混合的混合声音,从而获得混合信号。具体地,获得所述混合信号的模拟信号,当然也可以将获得的模拟信号转换为数字信号。
根据所述扬声器发送声音的音量大小,按照预设规则模拟出对应的所述扬声器发出的声音信号,将该声音信号作为参考信号,其中预设规则是指技术人员根据音量大小在理想环境下,即在没有经过各种物体反射、衍射等环境下,获得的参考信号。具体实施中如果将本发明应用于其他场合,则用户发出的用户声音和扬声器发出的回声混合的混合信号和所述参考信号可以是同过其他手段预先获得的。
第二获得模块20,用于根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号。
由于每台电视或者其他设备的功放增益、扬声器灵敏度的不同,麦克风摄取到的回声信号幅度也差别较大。所述参考信号与回声信号幅度差别也很大,为消除差异,可以将在步骤S10获得的所述混合信号和所述参考信号通过增益电路获得所述参考信号的增益系数,回声消除的增益电路已经广泛应用,或者通过软件获得所述参考信号的增益系数,使得所述参考信号幅度与所述混合信号的幅度相当,即大致相同。具体实施中可以不执行本步骤,即可以根据获得的混合信号,直接获得预所述混合信号的幅度相当的参考信号。当然也可以只获得所述参考信号的增益系数。
第三获得模块30,用于根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号。
由于扬声器发出的声音经过的环境不同,在不同的环境声音经过各种反射、衍射的情况不同,扬声器发出的声音信号到达麦克风后,麦克风获取到的信号各频段有不同程度的增强和衰减,为能使所述增益信号更接近所述混合信号中扬声器发出的回声信号,所以需要进一步处理。
根据步骤S20获得的所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号,具体地将所述增益信号乘以对应的预设补偿系数获得所述参考信号的补偿信号,当然也可以根据所述增益信号获得不同频率的补偿系数即可。本实施例中所述预设的补偿系数是所述电视在获得用户的声音之前,通过预置在电视内部中不同频率的单频正选信号进行测试获得,当然也可以是其他形状的信号,具体地,比如所述电视中存储有n组频率为20Hz-20kHz之间的单频正选信号,幅度均为A,在获得用户的声音之前,随机从n组信号中选择预置次数的信号进行测试,本实例中采用5组,分别用选择的5组信号依次进行测试,麦克风可以依次获得5组回声信号,幅度分别记为A1、A2…A5,然后将5组信号分别除以幅度A,从而分别获得5组频率的补偿系数为G1-G5。具体实施中也可以将不同的电视尺寸位于不同的环境中进行测试,根据测试结果获得不同电视尺寸下的平均补偿系数,预置在电视中。本领域技术人员可以理解的是在获得所述补偿系数时,用于测试的频率越多,获得不同频率的补偿系数越多,调整所述增益信号时,则越精细,最后的效果也就越好。经试验,信号组数与调整之后的所述参考信号与实际麦克风获得的扬声器获得的回声信号的近似度的关系如下表所示,所述近似度用近似品质数Q标识。通过下表中数据可知采用10组不同频率的预置信号进行测试时,以能到达补偿的理想状态。具体实施中也可以实施采用预置组数的信号进行测试获得所述补偿系数。
信号组数 Q
5 3
6 3.5
7 4
8 4.5
9 5
10 6
反相模块40,用于将所述补偿信号反相。
合并模块50,用于将反相的所述补偿信号与所述混合信号合并,从而消除扬声器发出的回声。
将步骤S30获得的补偿信号进行反相,获得反相的所述补偿信号,然后将反相的所述补偿信号与所述混合信号合并,根据两个波形相叠加原理,可以将与扬声器发出的回声相近的反相的补偿信号抵消扬声器发出的回声,从而消除扬声器发出的回声。具体实施中还可以进行滤波等操作,获得更纯净的用户声音。
识别模块(图未示),用于识别消除回声的混合信号,并进行对应的处理。
在消除扬声器发出的回声,可以将获得纯净的用户声音发送至云端或者在本地进行识别,获得对应的控制指令,所述电视根据所述控制指令进行对应的处理;或者进行其他操作,比如通过网络进行搜索。
本发明通过获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小获得扬声器发出的声音信号,将所述声音信号作为参考信号;根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;将所述补偿信号反相;将反相的所述补偿信号与所述混合信号合并,从而消除扬声器发出的回声。通过上述方式,本发明先根据获得的混合信号获得参考信号的增益信号,然后对所述增益信号进行补偿,获得补偿信号,从而将所述参考信号转换为与实际扬声器发出的回声相同的信号,再将所述补偿信号反相与所述混合信号合并,从而消除混合信号中回声,能够提高消除混合信号中的回声,甚至彻底消除混合信号中的回声。
参照图7,图7为本发明实施例中第二获得模块的细化功能模块示意图。
基于本发明消除回声的系统第一实施例,第二获得模块20包括:
计算单元21,用于计算所述混合信号和所述参考信号的幅度。
第一获得单元22,用于根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数。
第二获得单元23,用于将所述参考信号的幅度乘以所述增益系数,从而获得所述参考信号的增益信号。
本实施中为减少电视上电路设置冗余度,采用软件方式对所述参考信号进行处理,在获得所述混合信号和所述参考信号时,根据所述混合信号和所述参考信号进行计算,分别获得所述混合信号和所述参考信号的幅度,然后根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数,具体地,将所述混合信号的幅度除以所述参考信号的幅度,获得所述混合信号和所述参考信号的幅度的比值,即获得所述参考信号的增益系数,然后将所述参考信号的幅度乘以所述增益系数,从而获得所述参考信号的增益信号。
参照图8,图8为本发明实施例中计算单元的细化功能模块示意图。
基于本发明消除回声的装置第二实施例,计算单元21包括:
采样子单元211,用于在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,分别获得预置次数的混合信号。
为提高获得的所述增益信号与所述混合信号中扬声器发出的回声的相似度,本发明将获得的混合信号分为多段信号,每相隔预置的时间分为一段,在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,比如在时间为T=0.2S的时间,即采集周期T=0.2S,在每个周期内对所述混合信号和所述参考信号进行采样率48khz的采样,则分别获得所述混合信号和所述参考信号的采样信号的数量都为48khz*0.2=9600。
具体实施中可以只在所述混合信号和所述参考信号随机选取一个预置时间内的信号进行预置次数的采样,获得的信号作为采样信号,比如在0.2s内进行5k次采样。
计算子单元212,用于根据所述混合信号和所述参考信号的采样信号通过预置算法分别计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。
根据步骤S211中获得的所述混合信号和所述参考信号的采样信号,通过预置算法分别进行计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。其中所述预置算法为幅度
其中F为采用次数,T为采样周期,t为某个周期开始的时刻。具体实施中如果在所述混合信号和所述参考信号随机选取一个预置时间内的信号进行预置次数的采样,获得的信号作为采样信号,则所述预置算法为幅度
其中N为采样次数。
参照图9,图9为本发明实施例中第三获得模块的细化功能模块示意图。
基于本发明消除回声的装置第一实施例,第三获得模块30包括:
选择单元31,用于在预置频率中选择预置数个频率以预置幅度通过扬声器发出声音;
接收单元32,用于接收所述声音对应的回声信号;
获得单元33,用于获得所述回声信号的幅度;
计算单元34,用于根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。
本实施例中为避免实际应用时,房间中各种物体会被移动等情况,导致预先获得的补偿系数与实际情况不同,在步骤S20获得所述增益信号时,采用在电视中预置的不同频率信号中选择预置次数个频率,以特定的预置幅度进行测试,通过扬声器依次发出不同频率的声音,电视上的麦克风依次接收扬声器依次发出不同频率的声音对应的回声信号,根据所述回声信号分别获得对应的幅度,然后根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。具体过程与第一实施例中步骤S30中相同,此处不再赘述。
参照图10,图10为本发明实施例中第一获得模块的细化功能模块示意图。
基于本发明消除回声的装置第一实施例,第一获得模块10包括:
记录单元11,用于记录获得所述混合信号和所述参考信号的时刻;
获得单元12,用于根据所述混合信号和所述参考信号的时刻,获得所述混合信号的延时;
在实际应用中,由于扬声器发出的声音经过环境反射、衍射后可能达到麦克风的时间与根据扬声器发出回声的音量大小获得扬声器发出声音的参考信号的时间是不同步的,使得最后获得的结果更理想,需将所述参考信号和所述混合信号的时间进行同步,首先在获得所述混合信号和所述参考信号时,同时记录记录获得所述混合信号和所述参考信号的时刻,获得所述参考信号的时刻落后与获得所述混合信号的时刻。根据获得的所述混合信号和所述参考信号的时刻,获得所述参考信号的延时。
所述装置还包括:
同步模块(图未示),用于根据所述混合信号的延时,将所述混合信号与所述补偿信号的时间同步。
本实施例中在获得所述参考信号的延时后,在将反相的所述补偿信号与所述混合信号合并时,将所述混合信号与所述补偿信号的时间同步。具体实施中也可以在其他时间将所述混合信号与所述补偿信号的时间同步,只有在将反相的所述补偿信号与所述混合信号合并之前即可。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种消除回声的方法,其特征在于,所述方法包括以下步骤:
获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小按照预设规则模拟出对应的所述扬声器发出的声音信号,将所述声音信号作为参考信号;
根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;
根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;
将所述补偿信号反相;
将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声;
其中,所述根据所述增益信号和预设补偿系数获得所述参考信号的补偿信号的步骤包括:
在预置频率中选择预置数个频率以预置幅度通过扬声器发出声音;
接收所述声音对应的回声信号;
获得所述回声信号的幅度;
根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。
2.如权利要求1所述的方法,其特征在于,所述根据混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号的步骤包括:
计算所述混合信号和所述参考信号的幅度;
根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数;
将所述参考信号的幅度乘以所述增益系数,获得所述参考信号的增益信号。
3.如权利要求2所述的方法,其特征在于,所述计算所述混合信号和所述参考信号的幅度的步骤包括;
在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,分别获得预置次数的采样信号;
根据所述混合信号和所述参考信号的采样信号通过预置算法分别计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。
4.如权利要求1所述的方法,其特征在于,所述获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的大小按照预设规则模拟出对应的所述扬声器发出的声音信号,的步骤包括:
记录获得所述混合信号和所述参考信号的时刻;
根据所述混合信号和所述参考信号的时刻,获得所述参考信号的延时;
所述将反相的所述补偿信号与所述混合信号合并,消除回声的步骤之前包括:
根据所述参考信号的延时,将所述混合信号与所述补偿信号的时间同步。
5.一种消除回声的系统,其特征在于,所述系统包括:
第一获得模块,用于获得用户发出的用户声音和扬声器发出的回声混合的混合信号,并根据扬声器发出声音的音量大小按照预设规则模拟出对应的所述扬声器发出的声音信号,将所述声音信号作为的参考信号;
第二获得模块,用于根据所述混合信号和所述参考信号相比较,得到所述参考信号的增益系数,通过所述增益系数获得所述参考信号的增益信号;
第三获得模块,用于根据所述增益信号和对应的预设补偿系数获得所述参考信号的补偿信号;
反相模块,用于将所述补偿信号反相;
合并模块,用于将反相的所述补偿信号与所述混合信号合并,消除扬声器发出的回声;
其中,所述第三获得模块包括:
选择单元,用于在预置频率中选择预置数个频率以预置幅度通过扬声器发出声音;
接收单元,用于接收所述声音对应的回声信号;
获得单元,用于获得所述回声信号的幅度;
计算单元,用于根据所述回声信号的幅度与预置幅度计算获得所述预设补偿系数。
6.如权利要求5所述的系统,其特征在于,所述第二获得模块包括:
计算单元,用于计算所述混合信号和所述参考信号的幅度;
第一获得单元,用于根据所述混合信号和所述参考信号的幅度获得所述参考信号的增益系数;
第二获得单元,用于将所述参考信号的幅度乘以所述增益系数,获得所述参考信号的增益信号。
7.如权利要求6所述的系统,其特征在于,所述计算单元包括:
采样子单元,用于在预置时间内对所述混合信号和所述参考信号进行预置次数的采样,分别获得预置次数的混合信号;
计算子单元,用于根据所述混合信号和所述参考信号的采样信号通过预置算法分别计算,获得所述混合信号和所述参考信号的采样信号的均方根值,作为所述混合信号和所述参考信号的幅度。
8.如权利要求5所述的系统,其特征在于,所述第一获得模块包括:
记录单元,用于记录获得所述混合信号和所述参考信号的时刻;
获得单元,用于根据所述混合信号和所述参考信号的时刻,获得所述混合信号的延时;
所述系统还包括:
同步模块,用于根据所述混合信号的延时,将所述混合信号与所述补偿信号的时间同步。
CN201510870000.1A 2015-11-27 2015-11-27 消除回声的方法和系统 Active CN105516859B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510870000.1A CN105516859B (zh) 2015-11-27 2015-11-27 消除回声的方法和系统
US15/779,830 US10360923B2 (en) 2015-11-27 2016-06-03 Method and system for eliminating an echo
EP16867671.6A EP3383064B1 (en) 2015-11-27 2016-06-03 Echo cancellation method and system
PCT/CN2016/084821 WO2017088443A1 (zh) 2015-11-27 2016-06-03 消除回声的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510870000.1A CN105516859B (zh) 2015-11-27 2015-11-27 消除回声的方法和系统

Publications (2)

Publication Number Publication Date
CN105516859A CN105516859A (zh) 2016-04-20
CN105516859B true CN105516859B (zh) 2019-04-16

Family

ID=55724441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510870000.1A Active CN105516859B (zh) 2015-11-27 2015-11-27 消除回声的方法和系统

Country Status (4)

Country Link
US (1) US10360923B2 (zh)
EP (1) EP3383064B1 (zh)
CN (1) CN105516859B (zh)
WO (1) WO2017088443A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516859B (zh) * 2015-11-27 2019-04-16 深圳Tcl数字技术有限公司 消除回声的方法和系统
CN106098078B (zh) * 2016-06-14 2020-06-02 惠州Tcl移动通信有限公司 一种可过滤扬声器噪音的语音识别方法及其系统
CN107231598B (zh) * 2017-06-21 2020-06-02 惠州Tcl移动通信有限公司 一种自适应音频调试方法、系统及移动终端
CN109121044B (zh) * 2017-06-26 2021-04-23 北京小米移动软件有限公司 耳机串音处理方法及装置
CN107396158A (zh) * 2017-08-21 2017-11-24 深圳创维-Rgb电子有限公司 一种声控交互装置、声控交互方法和电视机
CN108198551A (zh) * 2018-01-15 2018-06-22 深圳前海黑鲸科技有限公司 回声消除延时的处理方法及装置
CN108206023A (zh) * 2018-04-10 2018-06-26 南京地平线机器人技术有限公司 声音处理设备和声音处理方法
CN109003620A (zh) * 2018-05-24 2018-12-14 北京潘达互娱科技有限公司 一种回音消除方法、装置、电子设备及存储介质
WO2020006699A1 (zh) * 2018-07-04 2020-01-09 华为技术有限公司 语音处理的方法和装置
CN110913312B (zh) * 2018-09-17 2021-06-18 海信集团有限公司 一种回声消除方法及装置
KR102067692B1 (ko) * 2018-09-28 2020-01-17 주식회사 앤씨앤 영상 및 음성의 혼합 신호 생성 방법 및 장치
CN109545237B (zh) * 2018-10-24 2022-01-28 广东思派康电子科技有限公司 一种计算机可读存储介质和应用该介质的语音交互音箱
CN109379676A (zh) * 2018-11-23 2019-02-22 珠海格力电器股份有限公司 音频数据的处理方法及装置、存储介质、电子装置
CN110310654A (zh) * 2019-07-26 2019-10-08 歌尔科技有限公司 回声消除方法及装置、电子设备、可读存储介质
CN110600048B (zh) * 2019-08-23 2022-03-25 Oppo广东移动通信有限公司 音频校验方法、装置、存储介质及电子设备
CN113309710B (zh) * 2021-05-25 2022-11-01 清华大学 一种旋转叶轮机械水下模态的测量装置及测量方法
US20240194174A1 (en) * 2022-12-13 2024-06-13 Stryker Corporation Active noise cancellation in a medical environment
CN116962583B (zh) * 2023-09-20 2023-12-08 腾讯科技(深圳)有限公司 一种回声控制的方法、装置、设备、存储介质及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152546A (zh) * 2013-02-22 2013-06-12 华鸿汇德(北京)信息技术有限公司 基于模式识别和延迟前馈控制的视频会议回声抑制方法
CN103179295A (zh) * 2011-12-26 2013-06-26 沈阳晨讯希姆通科技有限公司 滤除回声的移动终端及其滤除回声的方法
CN104282314A (zh) * 2013-07-02 2015-01-14 华为终端有限公司 一种声音信号传输方法及通信设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185300B1 (en) * 1996-12-31 2001-02-06 Ericsson Inc. Echo canceler for use in communications system
KR100368289B1 (ko) * 2001-02-20 2003-01-24 (주)성우테크노 음성인식장치를 위한 음성명령식별기
JP4282260B2 (ja) * 2001-11-20 2009-06-17 株式会社リコー エコーキャンセラ
JP4155774B2 (ja) * 2002-08-28 2008-09-24 富士通株式会社 エコー抑制システム及び方法
JP2008311876A (ja) * 2007-06-13 2008-12-25 Funai Electric Co Ltd 電話機能付きテレビジョン装置、テレビジョンシステムおよび雑音信号の除去方法
US8553610B2 (en) 2011-05-12 2013-10-08 Qualcomm Incorporated Interference cancellation repeater incorporating a non-linear element
US9343078B2 (en) * 2012-01-09 2016-05-17 Intel Corporation Pre-process (amplitude distortion) and post-process (phase synchronization) for linear AEC system
CN104754157B (zh) * 2013-12-26 2017-06-16 联芯科技有限公司 一种残留回声抑制方法和系统
CN105516859B (zh) * 2015-11-27 2019-04-16 深圳Tcl数字技术有限公司 消除回声的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179295A (zh) * 2011-12-26 2013-06-26 沈阳晨讯希姆通科技有限公司 滤除回声的移动终端及其滤除回声的方法
CN103152546A (zh) * 2013-02-22 2013-06-12 华鸿汇德(北京)信息技术有限公司 基于模式识别和延迟前馈控制的视频会议回声抑制方法
CN104282314A (zh) * 2013-07-02 2015-01-14 华为终端有限公司 一种声音信号传输方法及通信设备

Also Published As

Publication number Publication date
WO2017088443A1 (zh) 2017-06-01
EP3383064A4 (en) 2019-05-08
US20180350384A1 (en) 2018-12-06
CN105516859A (zh) 2016-04-20
US10360923B2 (en) 2019-07-23
EP3383064B1 (en) 2020-11-04
EP3383064A1 (en) 2018-10-03

Similar Documents

Publication Publication Date Title
CN105516859B (zh) 消除回声的方法和系统
Szöke et al. Building and evaluation of a real room impulse response dataset
Nam et al. Filteraugment: An acoustic environmental data augmentation method
Richey et al. Voices obscured in complex environmental settings (voices) corpus
CN110797043B (zh) 会议语音实时转写方法及系统
Brunskog et al. Increase in voice level and speaker comfort in lecture rooms
Barker et al. The PASCAL CHiME speech separation and recognition challenge
Eaton et al. The ACE challenge—Corpus description and performance evaluation
CN107910014B (zh) 回声消除的测试方法、装置及测试设备
CN108711436B (zh) 基于高频和瓶颈特征的说话人验证系统重放攻击检测方法
CN104685903B (zh) 用于生成音频干扰量度的设备和方法
CN109074816A (zh) 远场自动语音识别预处理
CN107241616B (zh) 视频台词提取方法、装置及存储介质
JP2019525571A5 (zh)
Nandwana et al. Robust speaker recognition from distant speech under real reverberant environments using speaker embeddings.
CN109658935B (zh) 多通道带噪语音的生成方法及系统
CN110012331A (zh) 一种红外触发的远场双麦远场语音识别方法
CN107124647A (zh) 一种全景视频录制时自动生成字幕文件的方法及装置
CN117693791A (zh) 言语增强
Guan et al. Libri-adhoc40: A dataset collected from synchronized ad-hoc microphone arrays
CN111696515B (zh) 一种用于教学录播的音频混音方法
CN112201262A (zh) 一种声音处理方法及装置
Rindel A note on meaningful acoustical parameters for open-air theatres
CN104735582B (zh) 一种声音信号处理方法、装置及设备
CN111552836A (zh) 歌词显示方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant