[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113936649A - 语音处理方法、装置及计算机设备 - Google Patents

语音处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN113936649A
CN113936649A CN202010607574.0A CN202010607574A CN113936649A CN 113936649 A CN113936649 A CN 113936649A CN 202010607574 A CN202010607574 A CN 202010607574A CN 113936649 A CN113936649 A CN 113936649A
Authority
CN
China
Prior art keywords
audio signal
voice
signal
matched
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010607574.0A
Other languages
English (en)
Inventor
杨晓霞
刘溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen Mobvoi Beijing Information Technology Co Ltd
Original Assignee
Volkswagen Mobvoi Beijing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Mobvoi Beijing Information Technology Co Ltd filed Critical Volkswagen Mobvoi Beijing Information Technology Co Ltd
Priority to CN202010607574.0A priority Critical patent/CN113936649A/zh
Publication of CN113936649A publication Critical patent/CN113936649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种语音处理方法、装置及计算机设备。所述方法包括：获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号；根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号；分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。本发明实施例可以准确识别语音方向，提高目标语音信号的识别准确率。

Description

语音处理方法、装置及计算机设备
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种语音处理方法、装置及计算机设备。
背景技术
目前，智能家居设备和车载设备可以对用户发出的语音进行识别，获取语音中包括的语音指令，并进行响应。
在实际环境中，可能存在多人语音以及其他环境噪音。智能设备需要从多个语音中识别出目标用户的语音，并进行识别和响应。可以采用分区方法对语音的方向进行估计，选择目标方向的语音作为目标用户发出的语音。
上述分区方法非常容易受到噪声和其他用户声音的干扰，导致估计的方向不准确，从而获取非期望方向的信号，降低语音识别的准确性。
发明内容
本发明实施例提供了一种语音处理方法、装置及计算机设备，可以准确识别语音方向，提高目标语音信号的识别准确率。
第一方面，本发明实施例提供了一种语音处理方法，包括：
获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号；
根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号；
分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
第二方面，本发明实施例提供了一种语音处理装置，包括：
第一音频信号获取模块，用于获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号；
第一音频信号处理模块，用于根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号；
目标语音信号确定模块，用于分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
第三方面，本发明实施例还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的语音处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的语音处理方法。
本发明实施例通过获取第一音频信号，并按照不同语音方向进行增强处理，可以针对每个语音方向进行降噪处理，获取分别与不同语音方向匹配的第二音频信号，根据降噪后的第二音频信号，筛选出目标语音信号，并进行语音识别，以获取操作指令用于响应，解决了现有技术分区方法的方向估计结果在多人场景下的精度差，导致语音识别准确性降低的问题，可以针对每个语音方向匹配的第二音频信号进行筛选，确定交互用户发出的目标语音信号，准确识别语音方向，同时，该目标语音信号为降噪处理后的音频信号，可以提高目标语音信号的识别准确率。
附图说明
图1是本发明实施例一中的一种语音处理方法的流程图；
图2是本发明实施例二中的一种语音处理方法的流程图；
图3a是本发明实施例三中的一种语音处理方法的流程图；
图3b是本发明实施例所适用的应用场景的示意图；
图3c是本发明实施例所适用的应用场景的示意图；
图4是本发明实施例四中的一种语音处理装置的结构示意图；
图5是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种语音处理方法的流程图，本实施例可适用于在语音交互的过程中对语音进行处理的情况，该方法可以由本发明实施例提供的语音处理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成电子设备中，例如，终端设备，具体是智能家居设备或车载设备等。如图1所示，本实施例的方法具体包括：
S110，获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号。
第一音频信号用于终端设备判断交互用户是否发起语音交互请求。具体的，语音交互请求用于终端设备检测交互用户输入的操作指令，并响应。第一音频信号可以是采集的原始音频数据，可以是多个语音信号与噪音信号组成的混合音频信号。具体的，第一音频信号可以通过音频采集设备采集，例如麦克风。
第一音频信号实际是不同语音方向的音频信号混合组成的音频信号。语音方向用于区别不同音频信号，通常，在任意场景中，终端设备在同一时刻可以采集到多个交互用户发出的语音，而不同交互用户相对于终端设备的位置方向不同，由此，不同交互用户发出语音可以通过交互用户相对终端设备的位置方向区分。语音方向可以是发出音频信号的交互用户的位置相对于终端设备位置的相对位置方向。不同交互用户对应的音频信号的语音方向不同。
S120，根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号。
可以依次选择语音方向中的一个作为目标语音方向，并对第一音频信号进行增强方向处理，形成分别与各语音方向匹配的第二音频信号。相应的，语音方向的数量与第二音频信号的数量相同。
增强方向处理可以是指对第一音频信号中的目标语音方向的语音进行增强处理，和/或对第一音频信号中的非目标语音方向的语音进行抑制处理。
分别对第一音频信号进行增强方向处理，实际是增加第一音频信号中目标语音方向的语音与其他语音方向的语音之间的信号幅值差值，降低其他语音方向的语音对该目标语音方向的语音的噪声干扰，从而提高语音识别精度。
具体的，可以在第一音频信号中目标语音方向的语音与其他语音方向的语音之间的信号幅值差值大于设定强度阈值时，结束增强方向处理。
可选的，所述根据所述语音方向，对所述第一音频信号进行增强方向处理，形成第二音频信号，包括：在各所述语音方向中，确定目标语音方向；在所述第一音频信号中，将与所述目标语音方向匹配的音频信号进行增强处理；和/或将与所述目标语音方向不匹配的音频信号进行抑制处理；将处理后的第一音频信号作为第二音频信号。
其中，语音方向可以是预先定义的区域。例如，在车载设备中的主驾驶方向和副驾驶方向；又如，在智能家居中的左前方和右前方等。目标语音方向用于在第一音频信号中确定待增强的音频信号，和/或确定待抑制的音频信号。目标语音方向可以是各语音方向中的一个。
在第一音频信号中，将与目标语音方向匹配的音频信号进行增强处理；和/或将与目标语音方向不匹配的音频信号进行抑制处理，表明对第一音频信号中，将与目标语音方向的音频信号作为有效信号，并将其他语音方向的音频信号作为干扰信号，具体可以通过增强有效信号，和/或抑制干扰信号的方式，将第一音频信号转变为有效信号，从而，生成的第二音频信号几乎仅保留目标语音方向的音频信号。在对第二音频信号筛选，确定目标语音信号，相当于对第二音频信号匹配的语音方向进行识别，将位于第二音频信号匹配的语音方向的用户作为交互用户。
具体可以采用波束形成方法实现将与目标语音方向匹配的音频信号进行增强处理；和/或将与目标语音方向不匹配的音频信号进行抑制处理。波束形成方法可以实时的对外界未知的干扰环境作出反应，在针对非目标语音方向形成零点或降低此方向的副瓣电平，保证有效信号与干扰信号的信噪比存在最佳值。可以指定波束形成方法的目标语音方向，分别形成不同语音方向匹配的第二音频信号。相应的，音频采集设备为麦克风阵列。
通过按照不同语音方向分别对第一音频信号进行增强处理或抑制处理，可以建立第二音频信号和目标语音方向的对应关系，从而区分不同目标语音方向的音频信号，同时，经过处理后的每个第二音频信号仅保留匹配的目标语音方向的音频信号，实现降低第二音频信号的噪声干扰。
S130，分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
对第二音频信号进行筛选，确定交互用户发出的音频信号，作为目标语音信号。交互用户为与终端设备进行语音交互的用户。终端设备用于采集交互用户发出的语音，并识别出交互用户发出的操作指令，进行响应。目标语音信号用于终端设备进行语音识别，并从识别出的文本中提取操作指令进行响应。目标语音信号可以包括：唤醒信息和操作指令，唤醒信息用于确定交互用户发起语音交互请求，以使终端设备进入工作状态，或者完成交互用户提供的操作指令，操作指令用于终端设备执行与操作指令匹配的任务，例如，启动空调系统，以指示空调系统制冷；又如，启动导航程序，以指示导航程序提供导航功能。
通常只有一个交互用户需要与终端设备进行语音交互。可以从多个第二音频信号中筛选出该交互用户发出的音频信号，并作为目标语音信号进行后续语音识别等处理。筛选方式可以是：筛选出包括唤醒信息的第二音频信号，筛选出信号幅值最大的第二音频信号等。还可以根据需要选择筛选方式，对此，本发明实施例不作具体限制。实际上，每个第二音频信号均经过增强方向处理，也即筛选得到的目标语音信号为经过降噪处理的音频信号，对目标语音信号进行语音识别，可以提高语音识别的准确率。
此外，如果确定的包括唤醒信息的第二音频信号的数量为至少两个，或者信号幅值最大的第二音频信号的数量为至少两个，则可以随机选择一个作为目标语音信号，或者根据预设的语音方向的优先级，确定优先级最高的语音方向，并将与该语音方向匹配的第二音频信号作为目标语音信号。还可以根据需要选择唯一的一个第二音频信号作为目标语音信号，对此，本发明实施例不做具体限制。
在语音交互场景中，为了提高终端设备的语音识别准确率，并正确提取语音操作指令，通常会在操作指令内容之前添加唤醒信息。从而，终端设备通过采集交互用户发出的语音，并在确定语音中包括唤醒信息时，确定交互用户发起语音交互请求，进而根据语音中的操作指令进行响应。
可选的，在确定目标语音信号之后，还包括：对所述目标语音信号进行语音识别，获取所述目标语音信号的识别文本；根据所述识别文本，获取操作指令，并响应所述操作指令。
语音识别可以通过预先训练的机器学习模型实现。示例性的，机器学习模型可以包括特征提取、声学模型、语言模型和解码器形成的系统，或者端到端模型等。
获取语音和对应文本形成的样本对，并根据大量的样本对初始深度学习模型进行训练，获取训练完成的模型，作为语音识别模型。语音识别模型用于将语音转换为文本。识别文本可以是语音识别结果，识别文本用于终端设备提取操作指令。
通过对经过降噪处理的目标语音信号进行语音识别，获取识别文本，并提取操作指令以响应，可以准确获取操作指令，提高语音识别准确率。
可选的，所述语音方向包括主驾驶方向和/或副驾驶方向。
示例性的，终端设备为车载设备，本发明实施例提供的语音处理方法应用在车载设备对车内交互用户进行语音采集，判断车内交互用户是否发起语音交互请求的应用场景中。
目标语音信号匹配的目标语音方向为主驾驶方向，表明位于主驾驶方向的用户为交互用户，相应的，操作指令为位于主驾驶方向的用户发出的指令。目标语音信号匹配的目标语音方向为副驾驶方向，表明位于副驾驶方向的用户为交互用户，相应的，操作指令为位于副驾驶方向的用户发出的指令。
通过配置语音方向为主驾驶方向和/或副驾驶方向，可以准确识别主驾驶用户和/或副驾驶用户发起的语音交互请求，并进行响应，可以降低语音识别的噪声干扰，提高语音识别的准确率，以使驾驶员专注驾驶车辆，提高驾驶员的安全性。
本发明实施例通过获取第一音频信号，并按照不同语音方向进行增强处理，可以针对每个语音方向进行降噪处理，获取分别与不同语音方向匹配的第二音频信号，根据降噪后的第二音频信号，筛选出目标语音信号，并进行语音识别，以获取操作指令用于响应，解决了现有技术分区方法的方向估计结果在多人场景下的精度差，导致语音识别准确性降低的问题，可以针对每个语音方向匹配的第二音频信号进行筛选，确定交互用户发出的目标语音信号，准确识别语音方向，同时，该目标语音信号为降噪处理后的音频信号，可以提高目标语音信号的识别准确率。
实施例二
图2为本发明实施例二中的一种语音处理方法的流程图，本实施例以上述实施例为基础进行优化。本实施例的方法具体包括：
S210，获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号。
本实施例中未详尽的描述可以参考上述实施例的描述。
S220，根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号。
S230，获取各所述语音方向匹配的唤醒信息，所述第二音频信号与目标语音方向匹配，不同第二音频信号匹配的目标语音方向不同。
唤醒信息可以是唤醒关键词。不同语音方向的唤醒信息可以相同，也可以不同。示例性的，主驾驶方向匹配的唤醒信息为小A。副驾驶方向匹配的唤醒信息为小A。或者，副驾驶方向匹配的唤醒信息为小B。
S240，根据各所述第二音频信号匹配的目标语音方向，确定各所述第二音频信号匹配的唤醒信息。
S250，如果确定所述第二音频信号包括匹配的唤醒信息，则将所述第二音频信号作为交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
交互用户通过说出唤醒信息，指示终端设备完成后续说出的操作指令。第二音频信号包括匹配的唤醒信息，表明第二音频信号为交互用户发出的音频信号，可以作为交互用户匹配的目标语音信号。
具体的，判断第二音频信号是否包含匹配的唤醒信息可以是判断第二音频信号中是否包括与匹配的唤醒信息相似度高的音频数据。唤醒信息可以是音频数据。判断方式具体可以是，从第二音频信号中获取与唤醒信息匹配的时长的音频数据，分别计算每段音频数据与唤醒信息的相似度，如果存在大于相似阈值的音频数据，则确定第二音频信号是否包含匹配的唤醒信息。此外，还有其他方式实现唤醒信息检测，例如采用预先训练的深度学习模型进行检测，对此，本发明实施例不作具体限制。
可选的，所述确定所述第二音频信号包括匹配的唤醒信息，包括：获取预先训练的目标唤醒词检测模型，所述目标唤醒词检测模型与所述匹配的唤醒信息对应；将所述第二音频信号输入到所述目标唤醒词检测模型中，得到所述目标唤醒词检测模型输出的唤醒检测结果；如果确定所述唤醒检测结果为包括唤醒词结果，则确定所述第二音频信号包括匹配的唤醒信息。
唤醒词检测模型用于判断第二音频信号是否包含匹配的唤醒信息。唤醒词检测模型可以是预先训练的深度学习模型，示例性的，唤醒词检测模型可以包括神经网络模型、自编码器模型或深度学习模型等。包括唤醒词结果用于确定第二音频信号包括唤醒信息。
唤醒词检测模型可以与唤醒信息对应，不同唤醒词检测模型对应的唤醒信息不同，即一个唤醒词检测模型可以仅用于检测一个唤醒信息。如果全部第二音频信号均与一个唤醒信息匹配，与该唤醒信息匹配的唤醒词检测模型为目标唤醒词检测模型，可以分别将第二音频信号可以输入到目标唤醒词检测模型进行该唤醒信息检测。其中，不同第二音频信号可以并行输入到目标唤醒词检测模型进行检测。
如果不同第二音频信号与不同唤醒信息匹配，针对与第二音频信号匹配的唤醒信息，从多个唤醒词检测模型中，确定与该唤醒信息对应的目标唤醒词检测模型，其中，该目标唤醒词检测模型用于检测与该唤醒信息相匹配的多个第二音频信号是否包括该唤醒信息。不同的第二音频信号可以分别输入至匹配的目标唤醒词检测模型中进行检测。
通过预先训练的目标唤醒词检测模型，检测第二音频信号是否包括唤醒信息，提高唤醒信息的识别准确率。
需要说明的是，预先训练的模型文件可以预先通过网络下载到本地，终端设备可以根据模型文件进行唤醒信息检测和/或语音识别等。
可选的，所述将所述第二音频信号作为交互用户匹配的目标语音信号，包括：将所述第二音频信号作为备选音频信号；如果确定所述备选音频信号的数量为一个，则将所述备选音频信号作为目标语音信号；如果确定所述备选音频信号的数量为至少两个，则获取各所述备选音频信号的信号幅值，并将信号幅值最大的备选音频信号作为目标语音信号。
备选音频信号用于筛选目标语音信号。可以针对第二音频信号进行多步筛选，第二音频信号经过第一步筛选得到备选音频信号，并经过第二步筛选得到目标语音信号，目标语音信号的数量为一个。
备选音频信号的数量为至少两个，表明不同语音方向的用户均发起语音交互请求。通常交互用户与终端设备之间的距离短，同时交互用户的音强会大于其他用户。从而，可以根据备选音频信号的信号幅值，选择信号幅值大的备选音频信号作为目标语音信号。
此外，还可以用信号能量作为备选音频信号的筛选标准，例如，将信号能量大的备选音频信号作为目标语音信号，信号能量为信号幅度值平方和。
通过从第二音频信号筛选出备选音频信号，并进一步根据备选音频信号，确定目标语音信号，实现两步筛选，准确确定交互用户发出的语音，提高语音信号识别准确率，从而准确响应操作指令。
本发明实施例通过根据唤醒信息，对第二音频信号进行筛选，筛选出包含唤醒信息的第二音频信号作为目标语音信号，保证目标语音信号包括唤醒信息，以确定目标语音信号为交互用户发出的音频信号，从而根据目标语音信号进行识别，可以准确从多个音频信号中识别出交互用户发出的音频信号，并进行增强，降低其他用户的音频信号的噪音干扰，提高语音识别准确率。
实施例三
图3a为本发明实施例三中的一种语音处理方法的流程图，本实施例以上述实施例为基础进行优化。本实施例的方法具体包括：
S310，获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号。
本实施例中未详尽的描述可以参考上述实施例的描述。
S320，根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号。
S330，获取各所述语音方向匹配的唤醒信息，所述第二音频信号与目标语音方向匹配，不同第二音频信号匹配的目标语音方向不同。
S340，根据各所述第二音频信号匹配的目标语音方向，确定各所述第二音频信号匹配的唤醒信息。
S350，如果确定所述第二音频信号包括匹配的唤醒信息，则将所述第二音频信号作为备选音频信号。
S360，如果确定所述备选音频信号的数量为一个，则将所述备选音频信号作为目标语音信号。
S370，如果确定所述备选音频信号的数量为至少两个，则获取各所述备选音频信号的信号幅值，并将信号幅值最大的备选音频信号作为目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
实际上，传统的分区方法在对声音进行波达方向估计时，只能在单一声源的场景中表现良好，然而在车载设备的场景中经常会有主副驾驶同时说话的情况，也就是有两个甚至多个声源的场景，在这个时候传统的波达方向估计的出错概率会变高，导致用户唤醒后不能被识别，影响交互体验。
本发明实施例的应用场景可以如图3b所示，麦克风阵列采集车内音频数据，形成第一音频信号。采用波束形成方法，形成主驾驶方向语音信号，即与主驾驶方向匹配的第二音频信号，以及副驾驶方向语音信号，即与副驾驶方向匹配的第二音频信号。将主驾驶方向语音信号和副驾驶方向语音信号分别输入到匹配的唤醒词检测模型中，确定目标语音信号，并进行语音识别。
具体的，如图3c所示，从主驾驶方向语音信号和副驾驶方向语音信号筛选目标语音信号的方式具体是：在主驾驶方向唤醒，且副驾驶方向未唤醒时，也即确定主驾驶方向语音信号包括主驾驶方向匹配的唤醒信息，将主驾驶方向语音信号作为目标语音信号。在主驾驶方向未唤醒，且副驾驶方向唤醒时，也即确定副驾驶方向语音信号包括副驾驶方向匹配的唤醒信息，将副驾驶方向语音信号作为目标语音信号。在主驾驶方向唤醒，且副驾驶方向唤醒时，也即确定主驾驶方向语音信号包括主驾驶方向匹配的唤醒信息，且副驾驶方向语音信号包括副驾驶方向匹配的唤醒信息，对主驾驶方向语音信号和副驾驶方向语音信号进行第二步筛选，比较主驾驶方向语音信号和副驾驶方向语音信号的信号能量；在主驾驶方向语音信号的信号能量大时，将主驾驶方向语音信号作为目标语音信号；在副驾驶方向语音信号的信号能量大时，将副驾驶方向语音信号作为目标语音信号。
通过计算声源方向，并根据不同的声源方向，分别生成各声源方向匹配的语音信号，同时进行唤醒信息检测，可以准确定位唤醒的方向，并将经过波束形成增强后的语音信号，作为语音识别对象，提高语音识别系统的抗干扰能力，并提高语音识别准确率，同时仅增加多路语音信号同时进行唤醒检测，降低抗干扰实现成本和复杂度。
本发明实施例通过根据唤醒信息，对第二音频信号进行筛选，筛选出包含唤醒信息的第二音频信号作为备选音频信号，并进一步根据备选音频信号，确定目标语音信号，实现两步筛选，准确确定交互用户发出的音频信号，从而根据目标语音信号进行识别，可以准确从多个音频信号中识别出交互用户发出的音频信号，并进行增强，降低他用户的音频信号的噪音干扰，提高语音识别准确率。
实施例四
图4为本发明实施例四中的一种语音处理装置的示意图。实施例三是实现本发明上述实施例提供的语音处理方法的相应装置，该装置可采用软件和/或硬件的方式实现，并一般可集成电子设备中，例如，终端设备，例如车载设备。
相应的，本实施例的装置可以包括：
第一音频信号获取模块410，用于获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号；
第一音频信号处理模块420，用于根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号；
目标语音信号确定模块430，用于分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
本发明实施例通过获取第一音频信号，并按照不同语音方向进行增强处理，可以针对每个语音方向进行降噪处理，获取分别与不同语音方向匹配的第二音频信号，根据降噪后的第二音频信号，筛选出目标语音信号，并进行语音识别，以获取操作指令用于响应，解决了现有技术分区方法的方向估计结果在多人场景下的精度差，导致语音识别准确性降低的问题，可以针对每个语音方向匹配的第二音频信号进行筛选，确定交互用户发出的目标语音信号，准确识别语音方向，同时，该目标语音信号为降噪处理后的音频信号，可以提高目标语音信号的识别准确率。
进一步的，所述第一音频信号处理模块420，包括：语音方向增强处理单元，用于在各所述语音方向中，确定目标语音方向；在所述第一音频信号中，将与所述目标语音方向匹配的音频信号进行增强处理；和/或将与所述目标语音方向不匹配的音频信号进行抑制处理；将处理后的第一音频信号作为第二音频信号。
进一步的，所述目标语音信号确定模块430，包括：唤醒信息识别单元，用于获取各所述语音方向匹配的唤醒信息，所述第二音频信号与目标语音方向匹配，不同第二音频信号匹配的目标语音方向不同；根据各所述第二音频信号匹配的目标语音方向，确定各所述第二音频信号匹配的唤醒信息；如果确定所述第二音频信号包括匹配的唤醒信息，则将所述第二音频信号作为交互用户匹配的目标语音信号。
进一步的，所述唤醒信息识别单元，包括：备选音频信号筛选子单元，用于将所述第二音频信号作为备选音频信号；如果确定所述备选音频信号的数量为一个，则将所述备选音频信号作为目标语音信号；如果确定所述备选音频信号的数量为至少两个，则获取各所述备选音频信号的信号幅值，并将信号幅值最大的备选音频信号作为目标语音信号。
进一步的，所述唤醒信息识别单元，包括：唤醒词检测子单元，用于获取预先训练的目标唤醒词检测模型，所述目标唤醒词检测模型与所述匹配的唤醒信息对应；将所述第二音频信号输入到所述目标唤醒词检测模型中，得到所述目标唤醒词检测模型输出的唤醒检测结果；如果确定所述唤醒检测结果为包括唤醒词结果，则确定所述第二音频信号包括匹配的唤醒信息。
进一步的，所述语音方向包括主驾驶方向和/或副驾驶方向。
进一步的，所述语音处理装置，还包括：语音识别模块，用于在确定目标语音信号之后，对所述目标语音信号进行语音识别，获取所述目标语音信号的识别文本；根据所述识别文本，获取操作指令，并响应所述操作指令。
上述语音处理装置可执行本发明实施例一所提供的语音处理方法，具备执行的语音处理方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是服务器或客户端。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种语音处理方法。
实施例六
本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的语音处理方法：
也即，该程序被处理器执行时实现：获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号；根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号；分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种语音处理方法，其特征在于，包括：
获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号；
根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号；
分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
2.根据权利要求1所述的方法，其特征在于，所述根据所述语音方向，对所述第一音频信号进行增强方向处理，形成第二音频信号，包括：
在各所述语音方向中，确定目标语音方向；
在所述第一音频信号中，将与所述目标语音方向匹配的音频信号进行增强处理；和/或
将与所述目标语音方向不匹配的音频信号进行抑制处理；
将处理后的第一音频信号作为第二音频信号。
3.根据权利要求1所述的方法，其特征在于，所述分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，包括：
获取各所述语音方向匹配的唤醒信息，所述第二音频信号与目标语音方向匹配，不同第二音频信号匹配的目标语音方向不同；
根据各所述第二音频信号匹配的目标语音方向，确定各所述第二音频信号匹配的唤醒信息；
如果确定所述第二音频信号包括匹配的唤醒信息，则将所述第二音频信号作为交互用户匹配的目标语音信号。
4.根据权利要求3所述的方法，其特征在于，所述将所述第二音频信号作为交互用户匹配的目标语音信号，包括：
将所述第二音频信号作为备选音频信号；
如果确定所述备选音频信号的数量为一个，则将所述备选音频信号作为目标语音信号；
如果确定所述备选音频信号的数量为至少两个，则获取各所述备选音频信号的信号幅值，并将信号幅值最大的备选音频信号作为目标语音信号。
5.根据权利要求3所述的方法，其特征在于，所述确定所述第二音频信号包括匹配的唤醒信息，包括：
获取预先训练的目标唤醒词检测模型，所述目标唤醒词检测模型与所述匹配的唤醒信息对应；
将所述第二音频信号输入到所述目标唤醒词检测模型中，得到所述目标唤醒词检测模型输出的唤醒检测结果；
如果确定所述唤醒检测结果为包括唤醒词结果，则确定所述第二音频信号包括匹配的唤醒信息。
6.根据权利要求1所述的方法，其特征在于，所述语音方向包括主驾驶方向和/或副驾驶方向。
7.根据权利要求1所述的方法，其特征在于，在确定目标语音信号之后，还包括：
对所述目标语音信号进行语音识别，获取所述目标语音信号的识别文本；
根据所述识别文本，获取操作指令，并响应所述操作指令。
8.一种语音处理装置，其特征在于，包括：
第一音频信号获取模块，用于获取第一音频信号，所述第一音频信号包括至少一个语音方向的音频信号；
第一音频信号处理模块，用于根据各所述语音方向，分别对所述第一音频信号进行增强方向处理，形成至少一个第二音频信号；
目标语音信号确定模块，用于分别对各所述第二音频信号进行筛选，确定交互用户匹配的目标语音信号，所述目标语音信号用于识别所述交互用户发出的操作指令。
9.根据权利要求8所述的装置，其特征在于，所述第一音频信号处理模块，包括：
语音方向增强处理单元，用于在各所述语音方向中，确定目标语音方向；
在所述第一音频信号中，将与所述目标语音方向匹配的音频信号进行增强处理；和/或
将与所述目标语音方向不匹配的音频信号进行抑制处理；
将处理后的第一音频信号作为第二音频信号。
10.根据权利要求8所述的装置，其特征在于，所述目标语音信号确定模块，包括：
唤醒信息识别单元，用于获取各所述语音方向匹配的唤醒信息，所述第二音频信号与目标语音方向匹配，不同第二音频信号匹配的目标语音方向不同；
根据各所述第二音频信号匹配的目标语音方向，确定各所述第二音频信号匹配的唤醒信息；
如果确定所述第二音频信号包括匹配的唤醒信息，则将所述第二音频信号作为交互用户匹配的目标语音信号。
11.根据权利要求10所述的装置，其特征在于，所述唤醒信息识别单元，包括：
备选音频信号筛选子单元，用于将所述第二音频信号作为备选音频信号；
如果确定所述备选音频信号的数量为一个，则将所述备选音频信号作为目标语音信号；
如果确定所述备选音频信号的数量为至少两个，则获取各所述备选音频信号的信号幅值，并将信号幅值最大的备选音频信号作为目标语音信号。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的语音处理方法。
CN202010607574.0A 2020-06-29 2020-06-29 语音处理方法、装置及计算机设备 Pending CN113936649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010607574.0A CN113936649A (zh) 2020-06-29 2020-06-29 语音处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010607574.0A CN113936649A (zh) 2020-06-29 2020-06-29 语音处理方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN113936649A true CN113936649A (zh) 2022-01-14

Family

ID=79273009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010607574.0A Pending CN113936649A (zh) 2020-06-29 2020-06-29 语音处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113936649A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118447866A (zh) * 2023-09-13 2024-08-06 荣耀终端有限公司 一种音频处理方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118447866A (zh) * 2023-09-13 2024-08-06 荣耀终端有限公司 一种音频处理方法及电子设备

Similar Documents

Publication Publication Date Title
CN109473123B (zh) 语音活动检测方法及装置
CN110556103B (zh) 音频信号处理方法、装置、系统、设备和存储介质
CN107622770B (zh) 语音唤醒方法及装置
US9953634B1 (en) Passive training for automatic speech recognition
CN106683680B (zh) 说话人识别方法及装置、计算机设备及计算机可读介质
EP2529355B1 (en) Voice-body identity correlation
US9916832B2 (en) Using combined audio and vision-based cues for voice command-and-control
CN112509584B (zh) 声源位置确定方法、装置和电子设备
JP2019185062A (ja) 音声インタラクション方法、端末機器及びコンピュータ読み取り可能な記憶媒体
CN109785846B (zh) 单声道的语音数据的角色识别方法及装置
CN112397065A (zh) 语音交互方法、装置、计算机可读存储介质及电子设备
CN108877787A (zh) 语音识别方法、装置、服务器及存储介质
US11790888B2 (en) Multi channel voice activity detection
CN111863005B (zh) 声音信号获取方法和装置、存储介质、电子设备
CN109243457B (zh) 基于语音的控制方法、装置、设备及存储介质
CN111540357A (zh) 语音处理方法、装置、终端、服务器及存储介质
CN113936649A (zh) 语音处理方法、装置及计算机设备
CN111400463A (zh) 对话响应方法、装置、设备和介质
CN114242066A (zh) 语音处理方法、语音处理模型的训练方法、设备及介质
CN114255754A (zh) 语音识别方法、电子设备、程序产品和存储介质
CN113889091A (zh) 语音识别方法、装置、计算机可读存储介质及电子设备
CN110737422B (zh) 一种声音信号采集方法及装置
CN111985417A (zh) 功能部件识别方法、装置、设备及存储介质
CN116580713A (zh) 一种车载语音识别方法、装置、设备和存储介质
CN112992175B (zh) 一种语音区分方法及其语音记录装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination