[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110896509A - 耳机佩戴状态确定方法、电子设备控制方法及电子设备 - Google Patents

耳机佩戴状态确定方法、电子设备控制方法及电子设备 Download PDF

Info

Publication number
CN110896509A
CN110896509A CN201811069738.8A CN201811069738A CN110896509A CN 110896509 A CN110896509 A CN 110896509A CN 201811069738 A CN201811069738 A CN 201811069738A CN 110896509 A CN110896509 A CN 110896509A
Authority
CN
China
Prior art keywords
earphone
audio
wearing state
determining
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811069738.8A
Other languages
English (en)
Inventor
朱恒
谭璐芬
王立众
王维钦
刘长滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201811069738.8A priority Critical patent/CN110896509A/zh
Priority to PCT/KR2019/011576 priority patent/WO2020055048A1/en
Publication of CN110896509A publication Critical patent/CN110896509A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03Aspects of the reduction of energy consumption in hearing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Headphones And Earphones (AREA)

Abstract

本申请实施例提供了一种耳机佩戴状态确定方法、电子设备控制方法及电子设备,该方法包括:获取耳机的体传导音频采集设备采集到的音频信号;基于体传导音频采集设备采集到的音频信号,确定耳机的佩戴状态。本申请实施例所提供的方案,基于耳机自身的体传导音频采集设备采集到的音频信号,即可实现耳机佩戴状态的检测,而无需增加新的硬件结构。

Description

耳机佩戴状态确定方法、电子设备控制方法及电子设备
技术领域
本申请涉及信息处理技术领域,具体而言,本申请涉及一种耳机佩戴状态确定方法、电子设备控制方法及电子设备。
背景技术
随着人们生活需求的不断提升,耳机几乎已经成了人们生活的必需品。耳机的使用范围非常广泛,通过将耳机与电子设备连接,用户可以通过耳机听取到设备播放的多媒体声音、通过耳机进行打电话、接电话等等。
但在使用耳机的过程中,用户会经常遇到以下困扰:电子设备在与耳机正通过无线(如蓝牙)连接着时,如果用户并没有将耳机正常佩戴在耳朵上,此时突然来电话,用户忘了自己的手机正和耳机连接着,接通电话后于用听筒和对方说话,这个时候用户根本听不见对方的声音,因为对方的声音正在通过耳机的扬声器播放出去。再有如果用户忘了自己的电子设备正和耳机连接着,而用户又未佩戴耳机,当用户想要听手机里的多媒体声音时,则会听不到,因为此刻多媒体的声音正通过耳机的播放器播放出去。当然,耳机与手机的蓝牙连接状态可以在手机上查看到,但是用户经常忘了或者不知道。
如果能够对用户是否正在佩戴耳机进行判断,基于判断结果为用户提供相应的服务,将能够更好的满足用户的实际应用需求。现有的对用户耳机佩戴状态的判断方法通常都是利用在耳机上增加传感器来实现的,但采用该方案,会造成耳机的硬件结构的增加,造成硬件资源的浪费,以及耳机成本的增加。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一,本申请采用的技术方案如下:
第一方面,本申请提供了一种耳机佩戴状态确定方法,该方法包括:
获取耳机的体传导音频采集设备采集到的音频信号;
基于体传导音频采集设备采集到的音频信号,确定耳机的佩戴状态。
第二方面,本申请提供了一种电子设备控制方法,包括:
获取与电子设备连接的耳机的佩戴状态;
基于耳机的佩戴状态,控制电子设备进行相应的处理。
第三方面,本申请提供了一种耳机佩戴状态确定装置,该装置包括:
音频信号获取模块,用于获取耳机的体传导音频采集设备采集到的音频信号;
佩戴状态确定模块,用于基于体传导音频采集设备采集到的音频信号,确定耳机的佩戴状态。
第四方面,本申请提供了一种电子设备控制装置,该装置包括:
耳机佩戴状态获取模块,用于获取与电子设备连接的耳机的佩戴状态;
处理模块,用于基于耳机的佩戴状态,控制电子设备进行相应的处理。
第五方面,本申请提供了一种电子设备,该电子设备包括存储器和处理器;
存储器中存储有计算机程序指令,
处理器,用于调用计算机程序指令,以执行本申请第一方面或第二方面所示的方法。
第六方面,本申请提供了一种电子设备,该电子设备包括音频播放设备、体传导音频采集设备和处理器;
音频播放设备,用于播放音频信号;
体传导音频采集设备,用于采集音频信号;
处理器,用于获取体传导音频采集设备采集到的音频信号,基于体传导音频采集设备采集到的音频信号,确定电子设备的佩戴状态。
第七方面,本申请提供了一种计算机可读存储介质,该存储介质中计算机程序指令,当程序指令被处理器调用时,处理器执行本申请第一方面或第二方面所示的方法。
本申请实施例提供的技术方案带来的有益效果是:本申请实施例提供的耳机佩戴状态确定方法、电子设备控制方法及电子设备,利用耳机自身上的部件即体传导音频采集设备即可实现对用户是否正在佩戴耳机的状态进行判断,无需增加耳机的硬件结构,节约了资源,也不会造成耳机成本的增加,更加满足了实际应用需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1示出了本申请实施例提供的一种耳机佩戴状态确定方法的流程示意图;
图2示出了本申请一示例中的骨传导麦克风耳机的结构示意图;
图3a示出了本申请一示例中用户佩戴耳机时体传导音频采集设备采集到的音频信号的信号能量变化曲线的示意图;
图3b示出了本申请一示例中用户未佩戴耳机时体传导音频采集设备采集到的音频信号的信号能量变化曲线的示意图;
图4a示出了本申请一示例中用户佩戴耳机时体传导音频采集设备采集到的音频信号的频率响应曲线和空气传导音频采集设备采集到的音频信号的频率响应曲线的示意图;
图4b示出了本申请一示例中用户未佩戴耳机时体传导音频采集设备采集到的音频信号的频率响应曲线和空气传导音频采集设备采集到的音频信号的频率响应曲线的示意图;
图5示出了本申请一示例中基于内耳MIC采集到的音频信号和外耳MIC采集到的音频信号的两种信号特征的差异,确定耳机佩戴状态的方法的流程示意图;
图6a示出了本申请一示例中用户佩戴耳机时空气传导音频采集设备采集到的音频信号的信号能量变化曲线的示意图;
图6b示出了本申请一示例中用户未佩戴耳机时空气传导音频采集设备采集到的音频信号的信号能量变化曲线的示意图;
图7中示出了本申请另一示例中基于内耳MIC采集到的音频信号和外耳MIC采集到的音频信号的两种信号特征的差异,确定耳机佩戴状态的方法的流程示意图;
图8示出了本申请一示例中基于内耳MIC采集到的音频信号和外耳MIC采集到的音频信号的相关性确定耳机佩戴状态的方法的流程示意图;
图9a示出了本申请一示例中用户佩戴耳机时扬声器播放的音频信号的传播路径的示意图;
图9b示出了本申请一示例中用户未佩戴耳机时扬声器播放的音频信号的传播路径的示意图;
图10示出了本申请一示例中基于扬声器播放的音频信号到达体传导麦克风的传播路径的变化确定耳机佩戴状态的方法的流程示意图;
图11示出了本申请另一示例中基于音频播放设备播放的音频信号到达体传导麦克风的传播路径的变化确定耳机佩戴状态的方法的流程示意图;
图12示出了本申请一示例中基于两种方式确定耳机佩戴状态的方法的流程示意图;
图13示出了本申请一示例中检测到用户的声音事件需求时确定耳机佩戴状态的方法的流程示意图;
图14a示出了本申请一示例中用户手机与耳机通过蓝牙无线连接的示意图;
图14b示出了本申请一示例中用户的声音事件需求的示意图;
图14c示出了本申请一示例中基于耳机的佩戴状态控制电子设备进行相应的处理的示意图;
图15中示出了本申请一示例中基于内耳MIC采集到的音频信号和外耳MIC采集到的音频信号确定用户是否正配带着耳机的流程示意图;
图16中示出了本申请另一示例中基于扬声器播放的音频信号到达体传导麦克风的传播路径的变化确定耳机佩戴状态的方法的流程示意图;
图17中示出了本申请另一示例中基于两种方式确定耳机佩戴状态的方法的流程示意图;
图18为本申请实施例提供的一种耳机佩戴状态确定装置的结构示意图;
图19示出了本申请实施例提供的一种电子设备控制方法的流程示意图;
图20示出了本申请实施例提供的一种电子设备控制装置的结构示意图;
图21示出了本申请实施例提供的一种电子设备的结构示意图;
图22示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1示出了本申请实施例提供的一种耳机佩戴状态确定方法的流程示意图,如图1中所示,该方法可以包括:
步骤S110:获取耳机的体传导音频采集设备采集到的音频信号;
步骤S120:基于体传导音频采集设备采集到的音频信号,确定耳机的佩戴状态。
其中,体传导音频采集设备为通过接触人体特定部位(例如,人体耳朵内部或者头部接触骨头的部位等),基于人体部位的变化(如振动)来实现声音收集的信号采集设备。由于体传导音频采集设备是通过与人体部位的接触实现音频信号的采集,因此,当电子设备与耳机连接时,用户在佩戴耳机和不佩戴耳机时,两种情况下体传导音频采集设备采集到的音频信号是不同的,因此,基于耳机的体传导音频采集设备采集到的音频信号,可以确定出用户的耳机佩戴状态。
本申请的可选实施例中,体传导音频采集设备可以为骨传导音频采集设备,骨传导音频采集设备为利用骨传导技术收集声音的信号采集设备。对于骨传导音频采集设备而言,声波是通过骨头传至音频采集设备。
需要说明的是,本申请实施例的耳机佩戴状态确定方法的执行主体,可以是与耳机连接的电子设备,也可以是耳机。在执行主体是与耳机连接的电子设备时,电子设备通过从耳机获取体传导音频采集设备采集到的音频信号,确定用户的耳机佩戴状态;在执行主体为耳机时,耳机的处理器基于耳机的体传导音频采集设备采集到的音频信号,确定用户的耳机佩戴状态。
本申请实施例的耳机佩戴状态确定方法,利用耳机上的部件即体传导音频采集设备即可实现对用户是否正在佩戴耳机的状态进行判断,无需增加耳机的硬件结构,节约了资源,也不会造成耳机成本的增加,能够更好的满足实际应用需求。
需要说明的是,具有体传导音频采集设备的耳机均包括在本申请实施例的耳机的范围之内。
本申请的可选实施方式中,基于体传导音频采集设备采集到的音频信号,确定耳机的佩戴状态,包括以下方式中的至少一种:
基于体传导音频采集设备采集到的音频信号的信号特征,确定耳机的佩戴状态;
基于体传导音频采集设备采集到的音频信号和耳机的空气传导音频采集设备采集到的音频信号,确定耳机的佩戴状态;
基于耳机的音频播放设备播放的音频信号和体传导音频采集设备采集的音频信号,确定耳机的佩戴状态。
其中,空气传导音频采集设备即常用的普通音频采集设备,对于空气传导音频采集设备而言,声波通过空气传至音频采集设备。本申请实施例中,为描述方便,将体传导音频采集设备简称为内耳音频采集设备(MIC,microphone)或内MIC,空气传导音频采集设备简称为外耳MIC或外MIC。
需要说明的是,本申请实施例中的体传导音频采集设备和空气传导音频采集设备的具体样式包括但不限于现有常见的耳机的音频采集设备的样式或形式,在一可选方案中,体传导音频采集设备可以为体传导麦克风,空气传导音频采集设备可以为空气传导麦克风。同样的,耳机的音频播放设备的样式或形式本申请实施例也不作限定,在一可选方式中,音频播放设备可以为扬声器。
可以理解的是,在实际应用中,上述确定用户的耳机佩戴状态的方式可以根据实际应用需要和/或耳机本身的结构来选择。作为一个示例图2中示出了一骨传导麦克风耳机的结构示意图。在民用领域中,骨传导麦克风耳机用于强背景噪声的场景,该种耳机除了包含普通耳机所拥有的扬声器30和用于收集本地声音的外耳MIC 20,在耳塞处还包含一个贴合耳内皮肤的骨传导麦克风即内耳MIC 10。此种耳机的耳塞具有良好的封闭性,能有效隔绝耳外的声音。所以当用户处于强背景噪声环境下时,内耳MIC则代替或者联合外耳MIC采集的信号从而得到本地用户干净清晰的声音。
如图2中所示的骨传导麦克风耳机,其包括内耳MIC 10、外耳MIC 20和扬声器30,此时则可以采用上述确定用户的耳机佩戴状态的方式中的任一种或多种方式来确定用户的耳机佩戴状态。如果耳机本身包括内耳MIC和扬声器,而不包括外耳MIC,则可以采用上述基于内耳MIC采集到的音频信号的至少一种信号特征,确定用户的耳机佩戴状态的方式,和/或,基于耳机的音频播放设备播放的音频信号和体传导音频采集设备采集的音频信号,,确定用户的耳机佩戴状态的方式。
本申请的可选实施方式中,基于所述体传导音频采集设备采集到的音频信号和所述耳机的空气传导音频采集设备采集到的音频信号,确定所述耳机的佩戴状态,可以包括:
基于体传导音频采集设备采集到的音频信号和耳机的空气传导音频采集设备采集到的音频信号之间的差异,确定耳机的佩戴状态;
和/或,
基于体传导音频采集设备采集到的音频信号和空气传导音频采集设备采集到的音频信号的相关性,确定耳机的佩戴状态;
基于耳机的音频播放设备播放的音频信号和体传导音频采集设备采集的音频信号,确定耳机的佩戴状态,可以包括:
基于耳机的音频播放设备播放的音频信号到达体传导音频采集设备的传播路径的变化,确定耳机的佩戴状态。
本申请的可选实施方式中,基于体传导音频采集设备采集到的音频信号的信号特征,确定耳机的佩戴状态,包括:
基于体传导音频采集设备采集到的音频信号的信号特征的至少一种信号特征,确定用户的耳机佩戴状态。
具体的,可以将体传导音频采集设备采集到的音频信号的至少一种信号特征与对应的第一阈值比较,根据比较结果确定耳机的佩戴状态。
该方式中,可以根据体传导音频采集设备采集到的本地用户说话声音的信号特征,实现耳机的佩戴状态的确定。用户在说话时,耳机是否佩戴在用户耳朵上,内耳MIC所采集的音频信号的信号特征是有明显差异的,因此,可以根据内耳MIC采集到的音频信号的信号特征与该信号特征对应的第一阈值的比较结果,来确定用户是否佩戴耳机。
其中,音频信号的信号特征包括但不限于音频信号的信号能量特征和信号频率特征。信号能量特征对应的第一阈值和信号频率特征对应的第一阈值可以根据实际需要确定,例如,可以根据经验值和/或实验值来确定。
作为一个示例,图3a和图3b中分别示出了当用户在说话时即能够检测到本地用户声音时,用户佩戴耳机时和未佩戴耳机时,内耳MIC采集到的音频信号的能量曲线的实验结果示意图,即信号幅值随时间变化的曲线,其中,横坐标表示时间,单位是秒(s),纵坐标表示信号的强度即能量幅值,单位是分贝(dB)。由图中可以看出,当耳机被佩戴时和未佩戴时,内耳MIC采集到的音频信号的能量特征具有明显的区别,内耳MIC佩戴于用户耳朵上时采集到的信号能量比未佩戴于用户耳朵上所采集的信号能量大很多。因此,可以基于内耳MIC采集到的音频信号的信号能量特征确定出用户的耳机佩戴状态。
本申请的可选实施方式中,在基于内耳MIC采集到的音频信号的信号能量特征,确定耳机佩戴状态时,具体可以包括:
若内耳MIC采集到的音频信号的信号能量值大于信号能量特征对应的第一阈值,则确定耳机的佩戴状态为佩戴,若内耳MIC采集到的音频信号的信号能量值不大于第一阈值,则确定用户的耳机佩戴状态为未佩戴。
需要说明的是,在实际应用中,信号能量值一般是指设定时长内信号的能量,具体可以为设定时长内的所有信号强度的均值,也可以是设定时长内的所有信号强度的和,还可以是对设定时长内的所有信号强度进行取对数计算等。在信号能量值是指设定时长内信号的信号强度的均值、和、或取对数等值时,内耳MIC采集到的音频信号的信号能量值与信号能量特征对应的第一阈值的比较,则为该均值、和、或者取对数的值与信号能量特征对应的第一阈值的比较。
作为一个示例,图4a和图4b中的曲线A1和曲线A2分别示出了当用户在说话时,用户佩戴耳机时和未佩戴耳机时,内耳MIC采集到的音频信号的频率响应曲线的实验结果示意图,其中,横坐标表示频率,单位为赫兹(HZ),纵坐标表示信号的响度即信号强度,单位为分贝(dB)。由图中可以看出,当耳机佩戴于用户耳朵上时,内耳MIC采集到的音频信号的低频信号强,高频信号成分迅速衰减,当耳机未佩戴于用户耳朵上时,内耳MIC几乎采集不到任何信号。因此,可以基于内耳MIC采集到的音频信号的信号频率特征实现用户耳机佩戴状态的判断。
本申请的可选实施方式中,基于体传导音频采集设备采集到的音频信号的信号频率特征,确定耳机的佩戴状态,具体可以包括:
若体传导音频采集设备采集到的音频信号中,信号强度大于信号强度阈值的频率所对应的频率宽度,大于信号频率特征所对应的第一阈值,则确定耳机的佩戴状态为佩戴,若信号强度大于信号强度阈值的频率所对应的频率宽度,不大于信号频率特征所对应的第一阈值,则确定耳机的佩戴状态为未佩戴。
作为一个具体示例,对于图4a和图4b所示的曲线A1和曲线A2,信号频率特征所对应的第一阈值可以设置为1000HZ,信号强度阈值可以设置为-108dB,图4a中的曲线A1所对应的音频信号的信号强度大于-108dB的频率所对应的频率宽度约为4000HZ,大于第一阈值1000HZ,因此,此时用户佩戴耳机。图4b中的曲线A2所对应的音频信号的信号强度大于-108dB的频率所对应的频率宽度约为0,小于第一阈值1000HZ,因此,此时用户未佩戴耳机。
本申请的可选实施方式中,基于体传导音频采集设备采集到的音频信号的信号能量特征和信号频率特征,确定用户的耳机佩戴状态,具体可以包括:
在基于体传导音频采集设备采集到的音频信号的信号能量特征确定出耳机的佩戴状态为佩戴,和/或,在基于体传导音频采集设备采集到的音频信号的信号频率特征确定出耳机的佩戴状态为佩戴时,确定耳机的佩戴状态为佩戴。
也就是说,在基于内耳MIC采集到的音频信号的信号能量特征和信号频率特征,确定耳机的佩戴状态时,可以在基于任一信号特征确定耳机的佩戴状态为佩戴时,即确定耳机的佩戴状态为佩戴,也可以在基于两个信号特征均确定出耳机的佩戴状态为佩戴时,才确定耳机的佩戴状态为佩戴。在实际应用中,可以根据应用需求选择具体的确定方式。
本申请的可选实施方式中,基于体传导音频采集设备采集到的音频信号和耳机的空气传导音频采集设备采集到的音频信号之间的差异,确定耳机的佩戴状态,包括:
获取体传导音频采集设备采集到的音频信号的信号特征与空气传导音频采集设备采集到的音频信号的信号特征的差异,将该差异与第二阈值比较,根据比较结果确定耳机的佩戴状态。
由前文描述可知,信号特征包括信号能量特征和/或信号频率特征。信号特征对应的第二阈值可以根据经验值和/或实验值确定。
由前文描述可知,在用户说话时,用户佩戴耳机时和未佩戴耳机时,内耳MIC采集到的音频信号和外耳MIC采集到的音频信号的信号特征的差异,是有明显区别的。与内耳MIC相比,对于外耳MIC而言,用户佩戴耳机时和未佩戴耳机时,外耳MIC采集到的音频信号的信号特征的差异较小。因此,可以通过内耳MIC采集到的音频信号的信号特征和外耳MIC采集到的音频信号的信号特征之间的差异与第二阈值的比较结果,确定耳机的佩戴状态。
作为一个示例,图5中示出了一种基于内耳MIC采集到的音频信号和外耳MCI采集到的音频信号的信号特征的差异,确定耳机佩戴状态的方法的流程示意图。如图中所示,内耳MIC和外耳MIC分别采集声音,基于内耳MIC和外耳MIC采集到的音频信号,获取两个MIC采集到的音频信号的信号特征的差异(图中所示的检测内外MIC信号之间的差异的特征),通过将检测的内外MIC信号之间的差异的特征与对应的第二阈值(图中所示的佩戴耳机时或未佩戴耳机时的内外MIC间的差异特征)比较(图中所示的检测特征变化),根据比较结果确定耳机佩戴状态。
本申请的可选实施方式中,在信号特征为能量信号特征时,将差异与第二阈值比较,根据比较结果确定耳机的佩戴状态,可以包括:
将体传导音频采集设备采集到的音频信号的信号能量值与空气传导音频采集设备采集到的音频信号的信号能量值的差异与信号能量特征对应的第二阈值比较,若该差异不小于对应的第二阈值,则确定耳机的佩戴状态为未佩戴,若该差异小于对应的第二阈值,则确定耳机的佩戴状态为佩戴。
作为一个示例,图6a和图6b中分别示出了当用户在说话时,用户佩戴耳机时和未佩戴耳机时,外耳MIC采集到的音频信号的能量特征的实验结果示意图,其中,横坐标表示时间,单位是s,纵坐标表示信号的强度,单位是dB。由图中可以看出,对于外耳MIC而言,外耳MIC佩戴于用户耳朵上时采集的信号能量和未佩戴于用户耳朵上所采集的信号能量相差不大。而由图3a和图3b可知,内耳MIC佩戴于用户耳朵上时采集到的音信号能量比耳机未佩戴于用户耳朵上所采集的信号能量大很多。因此,用户佩戴耳机时内耳MIC采集到的音频信号的信号能量特征和外耳MIC采集到的音频信号的信号能量特征的差异应该小于未佩戴时的差异。
本申请的可选实施方式中,在信号特征为信号频率特征时,将差异与第二阈值比较,根据比较结果确定耳机的佩戴状态,可以包括:
将体传导音频采集设备采集到的音频信号中信号强度大于信号强度阈值的频率所对应的频率宽度,与空气传导音频采集设备采集到的音频信号中信号强度大于信号强度阈值的频率所对应的频率宽度的差异,与信号频率特征所对应的第二阈值比较,若差异小于对应的第二阈值,则确定耳机的佩戴状态为佩戴,若差异不小于对应的第二阈值,则确定耳机的佩戴状态为未佩戴。
作为一个示例中,图4a和图4b中的曲线B1和曲线B2分别示出了当用户在说话时,用户佩戴耳机时和未佩戴耳机时,外耳MIC采集到的音频信号的频率响应曲线的实验结果示意图,其中,横坐标表示频率,单位为HZ,纵坐标表示信号的响度即信号强度,单位为dB。比对曲线A1和曲线B1可知,当耳机佩戴于用户耳朵上时,内耳MIC较外耳MIC的信号低频信号强,但是高频信号成分迅速衰减,而外耳MIC采集到的信号频率成分相对完整。比对曲线A2和曲线B2可知,当耳机未佩戴于用户耳朵上时,内耳MIC几乎采集不到任何信号,但是外耳MIC还是能正常采集到用户的声音,频率成分依旧完整。因此,用户佩戴耳机时,内耳MIC采集到的音频信号的信号频率特征和外耳MIC采集到的音频信号的信号频率特征的差异,应小于未佩戴时的差异。
本申请的可选实施方式中,在信号特征为信号能量特征和信号频率特征时,将差异与第二阈值比较,根据比较结果确定耳机的佩戴状态,可以包括:
根据体传导音频采集设备采集到的音频信号的信号能量特征和空气传导音频采集设备采集到的音频信号的信号能量特征的差异与信号能量特征对应的第二阈值的比较结果,确定出耳机的佩戴状态为佩戴时,和/或,根据体传导音频采集设备采集到的音频信号的信号频率特征和空气传导音频采集设备采集到的音频信号的信号频率特征的差异与信号频率特征对应的第二阈值的比较结果,确定出耳机的佩戴状态为佩戴时,确定耳机的佩戴状态为佩戴。
也就是说,在基于信号能量特征的差异和信号频率特征的差异,确定用户的耳机佩戴状态时,可以在基于任一信号特征的差异确定出耳机的佩戴状态为佩戴时,则确定耳机的佩戴状态为佩戴,也可以在基于两个信号特征的差异均确定出用户的耳机佩戴状态为佩戴耳机时,才确定耳机的佩戴状态为佩戴。可见,在实际应用中,也可以联合利用这些多种信号特征的差异进行耳机的佩戴这状态的检测。
作为一个示例,图7中示出了联合内耳MIC采集到的音频信号的信号能量特征与外耳MIC采集到的音频信号的信号能量特征的差异,以及两个MIC采集到的音频信号的信号频率特征的差异,确定耳机的佩戴状态的流程示意图,如图中所示,可以利用外耳MIC进行用户说话检测,计算两个MIC所采集的音频信号的信号能量特征的差异(图中所示的声音能量差异),以及两个MIC所采集的音频信号的信号频率特征的差异(图中所示的声音频率宽度差异,也可以称为频谱宽度差异),再基于声音能量差异与信号能量特征对应的阈值(图中所示的经验值)的比较结果,以及频谱宽度差异与信号频率特征对应的阈值(图中所示的经验值)的比较结果,确定出耳机的佩戴状态。由图中可以看出,当频谱宽度差异小于经验值且能量差异小于经验值时,确定用户正佩戴耳机,也就是说,该示例中,在基于声音能量差异确定用户正佩戴耳机时,且基于频谱宽度差异也确定用户正佩戴耳机时,判断用户正佩戴耳机。
本申请的可选实施方式中,基于体传导音频采集设备采集到的音频信号和空气传导音频采集设备采集到的音频信号的相关性,确定耳机的佩戴状态,可以包括:
计算体传导音频采集设备采集到的音频信号和空气传导音频采集设备采集到的音频信号的相关性,将计算出的相关性与第三阈值比较,根据比较结果确定耳机的佩戴状态。
由前文的描述可知,对于外耳MIC,用户佩戴耳机和未佩戴耳机时采集的信号成分完整,所以可以当利用外MIC检测本地的声音,当检测到声音时,则计算内耳MIC采集到的音频信号和外耳MIC采集到的音频信号间的相关性,当用户佩戴耳机时该相关性远大于未配戴时的值。因此,可以将根据该相关性与第三阈值的比较结果,确定耳机的佩戴状态。
作为一个示例,图8中示出了根据体传导音频采集设备采集到的音频信号和空气传导音频采集设备采集到的音频信号的相关性,确定耳机的佩戴状态的流程示意图,如图中所示,利用外耳MIC进行用户说话检测,内耳MIC和外耳MIC分别进行音频信号的采集,获取内耳MIC采集到的音频信号和外耳MIC采集到的音频信号后,计算两个音频信号的相关性,如果计算出的相关性大于阈值(本示例中阈值可以图中所示的经验值),则可以确定用户正佩戴耳机,如果计算出的相关性不大于经验值,则确定用户没有佩戴耳机。
在实际应用中,内耳MIC采集到的音频信号和外耳MIC采集到的音频信号间的相关性的具体计算方式,可以根据需要选择或配置,本申请实施例对相关性的具体计算方式不做限定。
本申请的可选实施方式中,基于耳机的音频播放设备播放的音频信号到达体传导音频采集设备的传播路径的变化,确定耳机的佩戴状态,可以包括:
根据耳机的音频播放设备播放的音频信号和体传导音频采集设备采集的音频信号,估计音频播放设备播放的音频信号到达体传导音频采集设备的传播路径特征,获取估计的传播路径特征与预定的传播路径特征之间的差异,将差异与第四阈值进行比较,根据比较结果确定耳机的佩戴状态。
该方式中,由音频播放设备播放声音,内耳MIC采集该声音。作为一个示例,本示例中,以骨传导麦克风和扬声器为例进行说明,图9a中示出了用户佩戴耳机时扬声器播放的音频信号到达骨传导麦克风的传播路径的示意图。如图9a中所示,当耳机正佩戴在用户耳朵上时,扬声器a发出来的声音在耳道中传播,在内耳皮肤中反射,这时内耳MIC b贴着内耳皮肤,搜集到这种声音的震动,同时通常也会采集到设备本身的声音泄露,如图中c所指向的线条以及与d相交的线条,示意出了扬声器c发出的声音在内耳皮肤中的反射路径,d所指向的线条示意出了扬声器c发出的声音在耳道中的传播路径。而当耳机没有佩戴在用户的耳朵上时,比如说在放在桌子上,如图9b中所示的一个示例,此时内耳MIC采集到的声音仅有设备的声音泄露e和几乎忽略不计的来源于桌子的震动g。换句话说,当用户佩戴耳机和未佩戴耳机时,扬声器播放出来的声音经由不同的传播路径到达内耳MIC。所以我们可以通过检测扬声器播放的声音信号到达内耳MIC的传播路径的变化来检测用户是否正佩戴着耳机。
作为一个示例,图10中示出了一种基于耳机的扬声器播放的音频信号到达体传导音频采集设备的传播路径的变化确定耳机的佩戴状态的流程示意图。如图中所示,扬声器播放声音即音频信号时,内耳MIC采集声音,根据扬声器播放的声音和内耳MIC采集到的声音,可以估计扬声器播放的音频信号到达内耳MIC的声音传播路径的特征,通过将估计的声音传播路径特征与预定的传播路径特征(图中所示的佩戴耳机时的声音传播路径的特征)之间的差异与第四阈值比较,根据比较结果(图中所示的检测到路径变化)可以得出估计的声音传播路径特征与预定的佩戴耳机时的声音传播路径是否发生了变化,由于预定的传播路径特征为佩戴耳机时的声音传播路径特征,因此,如果路径发生变化,则可以确定用户未佩戴着耳机,如果路径未发生变化,则可以确定用户正佩戴着耳机。
可以理解的是,在实际应用中,路径是否发生变化的检测是基于估计的声音传播路径特征与预定的佩戴耳机时的声音传播路径的差异与第四阈值比较结果得到,例如,基于图10中所示的示例,预定的声音传播路径的特征为佩戴耳机时的声音传播路径特征,此时,若差异大于第四阈值,则确定用户未佩戴耳机,若差异不大于第四阈值,则确定用户佩戴耳机。
需要说明的,在实际应用中,预定的传播路径特征可以为预定的用户佩戴耳机时的传播路径特征,也可以是预定的用户未佩戴耳机时的传播路径特征。例如,在图10中所示的示例中,若佩戴耳机时的声音传播路径的特征替换为未佩戴耳机时的声音传播路径的特征,则估计的声音传播路径特征与预定的佩戴耳机时的声音传播路径的差异大于第四阈值时,确定用户佩戴耳机,若差异不大于设定值,确定用户未佩戴耳机。
在可选方式中,声音信号的传播路径的估计可以利用自适应滤波器的方法实现,作为一个示例,如图11中所示,音频播放设备播放的音频信号的传播路径可以表示成一个系统,系统则可由自适应滤波器表示,声音传播路径即为从音频播放设备到内耳MIC这个路径。如图11中自适应滤波器即为估计的传播路径,本示例中自适应滤波器用于估计内耳MIC采集的音频信号到达内耳MIC的传播路径特征。音频播放设备播放的音频信号可以以离散时间信号序列表示,如图中所示的x(n),即为离散时间信号,其中,n为整数,表示离散时间信号在离散时间信号序列中的序列号。音频播放设备播放信号x(n)时,根据音频播放设备播放的信号x(n)和内耳MIC实际采集到的信号d(n),估计音频播放设备播放的信号到达体传导音频采集设备的传播路径特征,本示例中,传播路径特征可以为自适应滤波器计算出的滤波器系数,计算估计得到的传播路径特征(图中所示的计算自适应滤波器的滤波器系统响应)与预定的传播路径特征(图中所示系统的经验值)的差异,本示例中,预定的传播路径特征为用户佩戴耳机时的传播路径特征,如果计算出的差异大于第四阈值(图中所示的经验值),则确定用户没有佩戴耳机,如果计算出的差异不大于第四阈值,则用户正佩戴着耳机。
可以理解的是,在实际应用中,在通过自适应滤波器预测到达内耳MIC的音频信号时,可以配置自适应算法(图11中所示的更新自适应滤波器),例如最小均方误差自适应滤波算法,根据自适应滤波器的输入信号即音频播放设备播放的音频信号x(n)、以及估计的到达内耳MIC的音频信号x′(n)和实际到达内耳MIC的音频信号d(n)的差值e(n),不断更新自适应滤波器的时变系数,即实时计算自适应滤波器系数,使估计的到达内耳MIC的音频信号x′(n)和实际到达内耳MIC的音频信号d(n)的差值e(n)最小来更新自适应滤波器。
本申请的可选实施方式中,在基于至少两种方式确定用户的耳机佩戴状态时,该方法还可以包括:
若基于至少两种中的至少一种确定出用户的耳机佩戴状态为未佩戴耳机时,则确定所述用户的耳机佩戴状态为未佩戴耳机。
作为一个示例,如图12所示,在利用内耳MIC采集到的音频信号的外耳MIC采集到的音频信号的差异,以及利用扬声器的信号(音频播放设备播放的音频信号到达体传导音频采集设备的传播路径的变化),来确定用户是否正佩戴着耳机的一种方式的流程示意图,即联合检测本地用户声音和检测声音路径变化来判断用户是否正佩戴耳机。
如图12中,内耳MIC和外耳MIC分别检测本地声音即检测本地用户说话的声音,基于内耳MIC采集到的音频信号的外耳MIC采集到的音频信号之间的差异,确定用户是否佩戴耳机。内耳MIC采集扬声器播放的音频信号,基于内耳MIC采集到的扬声器播放的音频信号以及扬声器播放的音频信号,估计扬声器播放的音频信号达到内耳MIC的传播路径特征,基于估计的传播路径特征与预定的传播路径特征的差异(图中所示的检测声音路径变化),确定用户是否佩戴耳机。在上述两种方式中任何一种方式检测到用户未佩戴耳机时(图中所示的任何一种方法检测到?),则确定用户的耳机佩戴状态为未佩戴耳机,即该示例中,只有两种方式均确定出用户佩戴耳机时,才确定用户的耳机佩戴状态为佩戴耳机。
本申请的可选实施方式中,基于体传导音频采集设备采集到的音频信号,确定耳机的佩戴状态之前还包括:
检测用户的声音事件需求。
本申请的耳机佩戴状态确定方法,可以在检测到用户的声音事件需求时,即检测到用户有需要用到耳机的需求时,才启动对用户的耳机佩戴状态的检测。也就是说,可以有对用户是否佩戴耳机的状态进行必要性的判断,减少电子设备或耳机进行耳机佩戴状态检测的资源的消耗。基于该方案,无需实时的对耳机佩戴状态进行检测,可以在用户需要用到耳机时,再进行耳机的佩戴状态的确定,辅助用户顺利使用耳机。
本申请的可选方案中,用户的声音事件需求包括由用户触发的声音事件需求和/或被触发的用户的声音事件需求。声音事件需求包括听的需求和/或说的需求。
其中,用户触发的声音事件需求是与被触发的用户的声音事件需求相对应的,指的是由用户主动触发的声音事件需求,即由用户本身使用电子设备的事件驱动的,例如用户打电话,需要用到MIC和音频播放设备,用户听音乐需要用到音频播放设备。再例如,由电话打进来,用户需要跟打电话的人进行通话,为用户的声音事件需求,但该需求为打电话的人触发的,即为被触发的用户的声音事件需求。所以当用户主动或被动开启某项需要使用到耳机的应用时,相当于检测到需要使用耳机的事件。由该事件驱动检测耳机是否被用户正常佩戴的事件。
作为一个示例,图13中示出了一种确定耳机佩戴状态的方法的流程示意图,如图中所示,在耳机与电子终端通过蓝牙连接时,如果检测到用户主动或被动的开启某项需要使用耳机的应用,则可以开始获取耳机的体传导音频采集设备采集到的音频信号,基于获取到的音频信号,检测耳机是否被用户正常佩戴。
具体的,如图14a中所示,当用户的耳机和电子终端处于通过蓝牙无线连接的状态,此时如果检测到声音事件的需求,包括本地用户听声音的事件需求,采集本地用户声音的事件需求,或者同时包括本地用户听声音和采集本地用户声音的事件需求,如图14b中所示的打电话对应的听和说的声音事件需求,或者仅听音乐的听声音事件需求,则设备自动检测此时耳机是否正佩戴在用户的耳朵上,如果正佩戴着,则用耳机模式来实现声音的采集或播放,即使用耳机上的声学器件实现声音的采集或播放;如果检测到此时用户没有佩戴耳机,则设备自动切换到手持模式或扬声器模式,即由电子设备上的声学器件实现声音的采集或播放,或者通过提醒用户的方式,提醒用户使用耳机模式,如图14c中所示。自动切换或者提醒的方式可以根据由用户自己提前设置,或者采用先提醒再切换的方式。
本申请的可选实施方式中,确定用户的耳机佩戴状态之后,还包括:
基于耳机的佩戴状态,控制与耳机连接的电子设备进行相应的处理。
在该可选方案中,在确定出用户的耳机佩戴状态后,还可以基于所确定的耳机的佩戴状态,控制与耳机连接的电子设备进行相应的处理。
本申请的可选实施方式中,控制与耳机连接的电子设备进行相应的处理,可以包括以下中的至少一项:
控制电子设备的声音播放模式;
控制电子设备发出提示信息;
控制电子设备上应用程序的状态。
例如,在确定出与用户的耳机佩戴状态为未佩戴耳机时,则可以控制电子设备的声音播放模式为扬声器播放或听筒播放,即将声音由电子终端的扬声器或听筒播放出去,还可以通过电子设备向用户发出提示信息,提示用户耳机现在的连接状态。
可以理解的是,提示信息的具体形式可以根据实际需要进行设置,可以包括但不限于文字、语音、指示灯等方式。例如,可以是提示用户电子设备正与耳机连接的提示信息,也可以是用于提示用户佩戴耳机的提示信息,还可以是提示用户切换手机的声音播放模式的提示信息等。
控制电子设备上应用程序的状态,可以包括但不限于控制应用程序的运行状态为暂停或静音状态,或者关闭应用程序等。例如,用户想要通过电子设备上的与多媒体文件相关的应用程序进行多媒体文件的播放时,如果检查出耳机的佩戴状态为未佩戴,则可以控制该应用程序为暂停或关闭该应用程序。
由前文的描述可知,本申请的耳机佩戴状态确定方法的执行主体可以是与耳机连接的电子设备,也可以是耳机。在执行主体为与耳机连接的电子设备时,电子设备可以直接控制电子设备的声音播放模式,和/或向用户发出相应的提示信息;在执行主体为耳机时,耳机在确定出用户的耳机佩戴状态后,则可以向电子设备发送相应的控制指令,通过该控制指令控制电子设备的声音播放模式,和/或向用户发出相应的提示信息,或者,还可以将确定出的耳机的佩戴状态发送给电子设备,以使电子设备能够根据耳机的佩戴状态控制电子设备进行相应的处理。
本申请的实施例中,电子设备与耳机连接,可以是无线连接,如蓝牙连接,也可以是有线连接。电子设备与耳机通过无线方式链接时,用户经常忘记了电子设备与耳机的连接状态,导致使用上的不方便。电子设备与耳机通过有线方式连接时,用户想要使用电子设备的外放即扬声器模式时,需要首先将耳机从电子设备上拔下,也会造成用户使用上的不方便。采用本申请提供的方案,可以在确定出耳机的佩戴状态后,根据耳机的佩戴状态,控制终端设备的声音播放模式,解决了上述用户使用上的不方便。
作为一个示例,图15中示出了一种利用内耳MIC采集到的音频信号和外耳MIC采集到的音频信号来检测用户是否正配带着耳机的流程示意图,即通过检测本地用户声音的方法来判断用户是否正配带着耳机,基于本地声音的检测可以是用户接通电话说的第一句语音。例如,此时用户的电子终端(如手机)和耳机正通过无线连接,即电子终端处于耳机模式时,此时用户如果自行拨打电话,手机检测到用户的声音事件需求,启动耳机是否正常佩戴的检测,基于用户说话(在拨打电话接通时用户通常会说“喂”)时内耳MIC和外耳MIC采集到的音频信号的差异实现耳机的佩戴状态的检测,在检测出耳机未佩戴时,则可以控制手机切换到手持模式或扬声器模式,或者提示用户用耳机模式进行通话。
在实际应用中,还可以结合用户的语音指令实现耳机佩戴状态的确定。例如此时用户的手机和耳机正通过蓝牙连接。用户向手机发出语音指令“我想听歌”,通过耳机的内耳MIC采集到的音频信号和外耳MIC采集到的音频信号的差异来检测耳机是否正常佩戴。
作为一个示例,图16中示出了一种利用扬声器播放的音频信号和内耳MIC采集到的音频信号来检测用户是否正配带着耳机,即基于扬声器播放的音频信号到达内耳MIC的传播路径的变化确定耳机佩戴状态。例如,此时用户的电子终端(如手机)和耳机正通过无线方式连接,此时用户正在打开音乐播放器听音乐或手机来了电话,则检测到用户的该声音事件需求后,则可以启动耳机是否正常佩戴的检测,基于扬声器播放的音频信号到达内耳MIC的传播路径的变化确定出耳机佩戴状态。此时,扬声器播放的声音可以为音乐播放器播放的内容或来电铃声。此时检测所需的扬声器的声音可以来自于播放器本身播放的声音。在检测出耳机未佩戴时,可以控制手机切换到手持模式或扬声器模式,或者提示用户用耳机模式进行通话。
作为一个示例,图17中示出了一种利用内耳MIC采集到的音频信号和外耳MIC采集到的音频信号的差异(图中所示的用户声音的检测路径),以及扬声器播放的音频信号到达内耳MIC的传播路径的变化(图中声音传播路径的检测路径)来确定耳机佩戴状态的流程示意图,即联合检测本地用户声音和检测声音路径变化来判断用户是否正配带着耳机。在该示例中,例如,检测到用户拨打电话或接听电话的事件,则可启动两种检测方法,即在通路上行(由终端设备至耳机的通路),即发送端,使用用户声音的检测,获取内耳MIC和外耳MIC采集到的音频信号,由发送端进行两个MIC采集到的音频信号的处理,将处理结果编码输出,在通路下行(由耳机至电子设备的通路),即接收端,使用声音传播路径变化的检测,扬声器播放的声音经过解码处理后,由接收端进行信号处理后输出,通过检测扬声器播放的音频信号到达内耳MIC的传播路径的变化,确定耳机的佩戴状态,任何一种方式检测到用户没有佩戴耳机则提醒用户或则自动切换模式。
需要说明的是,对于说的需求,即MIC采集信号的需求,对于耳机通常使用外MIC来采集本地的声音,然而外MIC对于距离不敏感,即用户是否佩戴耳机外耳MIC都可以采集到本地的声音,所以针对仅说的需求时,在实际应用中,也可以不需要进行是否正佩戴着耳机的检测。
本申请实施例还提供了一种耳机佩戴状态确定装置,如18图中所示,该耳机佩戴状态确定装置100可以音频信号获取模块110和佩戴状态确定模块120。其中:
音频信号获取模块110,用于获取耳机的体传导音频采集设备采集到的音频信号;
佩戴状态确定模块120,用于基于骨传音频采集设备采集到的音频信号,确定耳机的佩戴状态。
本申请实施例中,佩戴状态确定模块120在基于体传导音频采集设备采集到的音频信号,确定耳机的佩戴状态时,具体用于采用以下方式中的至少一种,确定耳机的佩戴状态:
基于体传导音频采集设备采集到的音频信号的信号特征,确定耳机佩戴状态;
基于体传导音频采集设备采集到的音频信号和耳机的空气传导音频采集设备采集到的音频信号,确定耳机的佩戴状态;
基于耳机的音频播放设备播放的音频信号和体传导音频采集设备采集的音频信号,确定耳机的佩戴状态。
本申请实施例的可选实施方式中,佩戴状态确定模块120在基于体传导音频采集设备采集到的音频信号和耳机的空气传导音频采集设备采集到的音频信号,确定耳机的佩戴状态时,可以具体用于:
基于体传导音频采集设备采集到的音频信号和耳机的空气传导音频采集设备采集到的音频信号之间的差异,确定耳机的佩戴状态;和/或;
基于体传导音频采集设备采集到的音频信号和空气传导音频采集设备采集到的音频信号的相关性,确定耳机的佩戴状态;
佩戴状态确定模块120在基于耳机的音频播放设备播放的音频信号和体传导音频采集设备采集的音频信号,确定耳机的佩戴状态时,可具体用于:
基于耳机的音频播放设备播放的音频信号到达体传导音频采集设备的传播路径的变化,确定耳机的佩戴状态。
可以理解的是,本申请实施例的耳机佩戴状态确定装置的各模块,可以具有实现本申请实施例所示的耳机佩戴状态确定方法中的相应步骤的功能。其中,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。上述各模块可以是软件和/或硬件,各模块可以单独实现,也可以多个模块集成实现。对于耳机佩戴状态确定装置的各模块的功能描述具体可以参见上述耳机佩戴状态确定方法中的相应描述,在此不再赘述。
此外,本申请实施例的耳机佩戴状态确定装置,在实际应用中,可以根据实际应用场景,运行于电子设备或耳机。
本申请实施例还提供了一种电子设备控制方法,如图19中所示,该控制方法可以包括:
步骤S210:获取与电子设备连接的耳机的佩戴状态;
步骤S220:基于耳机的佩戴状态,控制电子设备进行相应的处理。
本申请实施例的电子设备控制方法,能够基于耳机的佩戴状态,控制电子设备进行相应的处理,以实现基于用户的耳机佩戴状态,为用户提供相应的服务,以更好的满足用户的实际应用需求。
需要说明的是,本申请实施例的电子设备控制方法的执行主体,可以是与耳机连接的电子设备,也可以是耳机。具体的,在执行主体为与耳机连接的电子设备时,电子设备可以在获取到耳机的佩戴状态后,直接根据耳机的佩戴状态控制电子设备进行相应的处理。在执行主体为耳机时,耳机在获取到出耳机的佩戴状态后,则可以基于耳机的佩戴状态,向电子设备发送相应的控制指令,通过该控制指令控制电子设备进行相应的处理,或者,还可以将确定出的耳机的佩戴状态发送给电子设备,以使电子设备能够根据耳机的佩戴状态控制电子设备进行相应的处理。
其中,本申请实施例的电子设备控制方法中,获取与电子设备连接的耳机的佩戴状态的具体实现,可以是采用上述本申请任一实施例中提供的耳机佩戴状态确定方法获取到的耳机的佩戴状态。
本申请的可选实施方式中,控制电子设备进行相应的处理包括:
控制电子设备的声音播放模式,和/或,控制电子设备发出提示信息。
具体的,控制电子设备的声音播放模式可以包括:
当耳机的佩戴模式为未佩戴时,控制电子设备的声音播放模式为听筒模式或扬声器模式;
控制电子设备发出提示信息可以包括:
当耳机的佩戴模式为未佩戴时,控制电子设备发出用于提示电子设备与耳机连接的提示信息,和/或,发出用于提示用户佩戴耳机的提示信息,和/或,发出用于提示用户切换电子设备的声音播放模式的提示信息。
对应于图19中所示的电子设备控制方法,本申请实施例还提供了一种电子设备控制装置,如图20中所示,该电子设备控制装置200可以包括耳机佩戴状态获取模块210和处理模块220。其中:
耳机佩戴状态获取模块210,用于获取与电子设备连接的耳机的佩戴状态;
处理模块220,用于基于耳机的佩戴状态,控制电子设备进行相应的处理。
本申请实施例的电子设备控制装置的各模块,可以具有实现本申请实施例所示的电子设备控制方法中的相应步骤的功能。其中,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。上述各模块可以是软件和/或硬件,各模块可以单独实现,也可以多个模块集成实现。对于电子设备控制装置的各模块的功能描述具体可以参见上述电子设备控制方法中的相应描述,在此不再赘述。
本申请实施例还提供了一种电子设备,如图21所示,该电子设备300可以包括音频播放设备310、体传导音频采集设备320和处理器330。其中:
音频播放设备310,用于播放音频信号;
体传导音频采集设备320,用于采集音频信号;
处理器330,用于获取体传导音频采集设备采集到的音频信号,基于体传导音频采集设备采集到的音频信号,确定电子设备的佩戴状态。
可以理解的是,在实际应用中,该电子设备300的具体实现可以包括但不限于音频播放设备310、体传导音频采集设备320和处理器330,根据实际需要,还可以包括其他一些构成部件,例如,还可以包括存储器。
该电子设备300可以作为本申请实施例所示的耳机佩戴状态确定方法的执行设备,对应于本申请实施例的一些耳机佩戴状态确定方法的实施例,该电子设备还可以包括空气传导音频采集设备。
在一可选方案中,该电子设备300可以具体实现为耳机。
本申请实施例提供了一种电子设备,如图22所示,该电子设备2000包括处理器2001和存储器2003。其中,处理器2001和存储器2003相连,如通过总线2002相连。可选的,电子设备2000还可以包括收发器2004。需要说明的是,实际应用中收发器2004不限于一个,该电子设备2000的结构并不构成对本申请实施例的限定。
其中,处理器2001应用于本申请实施例中,用于实现图18或图20中所示的装置各模块的功能。收发器2004包括接收机和发射机,收发器2004应用于本申请实施例中,用于实现电子设备2000与其他设备之间的通信,实现数据的接收和发送。
处理器2001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器2001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线2002可包括一通路,在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示,图22中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
可选的,存储器2003用于存储执行本申请方案的应用程序代码,并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码,以实现本申请实施例提供的耳机佩戴状态确定装置或电子设备控制装置的动作。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现本申请任一实施例中所示的耳机佩戴状态确定方法或电子设备控制方法。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种耳机佩戴状态确定方法,其特征在于,包括:
获取耳机的体传导音频采集设备采集到的音频信号;
基于所述体传导音频采集设备采集到的音频信号,确定所述耳机的佩戴状态。
2.根据权利要求1所述的方法,其特征在于,所述基于所述体传导音频采集设备采集到的音频信号,确定所述耳机的佩戴状态,包括以下方式中的至少一种:
基于所述体传导音频采集设备采集到的音频信号的信号特征,确定所述耳机的佩戴状态;
基于所述体传导音频采集设备采集到的音频信号和所述耳机的空气传导音频采集设备采集到的音频信号,确定所述耳机的佩戴状态;
基于所述耳机的音频播放设备播放的音频信号和所述体传导音频采集设备采集的音频信号,确定所述耳机的佩戴状态。
3.根据权利要求2所述的方法,其特征在于,所述基于所述体传导音频采集设备采集到的音频信号和所述耳机的空气传导音频采集设备采集到的音频信号,确定所述耳机的佩戴状态,包括:
基于所述体传导音频采集设备采集到的音频信号和所述空气传导音频采集设备采集到的音频信号之间的差异,确定所述耳机的佩戴状态;
和/或,
基于所述体传导音频采集设备采集到的音频信号和所述空气传导音频采集设备采集到的音频信号的相关性,确定所述耳机的佩戴状态;
所述基于所述耳机的音频播放设备播放的音频信号和所述体传导音频采集设备采集的音频信号,确定所述耳机的佩戴状态,包括:
基于所述音频播放设备播放的音频信号到达所述体传导音频采集设备的传播路径的变化,确定所述耳机的佩戴状态。
4.根据权利要求3所述的方法,其特征在于,所述基于所述体传导音频采集设备采集到的音频信号的信号特征,确定所述耳机的佩戴状态,包括:
将所述体传导音频采集设备采集到的音频信号的至少一种信号特征与对应的第一阈值比较,根据比较结果确定所述耳机的佩戴状态;
所述基于所述体传导音频采集设备采集到的音频信号和所述空气传导音频采集设备采集到的音频信号之间的差异,确定所述耳机的佩戴状态,包括:
获取所述体传导音频采集设备采集到的音频信号的信号特征与所述空气传导音频采集设备采集到的音频信号的信号特征的差异,将所述差异与第二阈值比较,根据比较结果确定所述耳机的佩戴状态;
所述基于所述体传导音频采集设备采集到的音频信号和所述空气传导音频采集设备采集到的音频信号的相关性,确定所述耳机的佩戴状态,包括:
计算所述体传导音频采集设备采集到的音频信号和所述空气传导音频采集设备采集到的音频信号的相关性,将所述相关性与第三阈值比较,根据比较结果确定所述耳机的佩戴状态;
所述基于所述音频播放设备播放的音频信号到达所述体传导音频采集设备的传播路径的变化,确定所述耳机的佩戴状态,包括:
根据所述音频播放设备播放的音频信号和所述体传导音频采集设备采集的音频信号,估计所述音频播放设备播放的音频信号到达所述体传导音频采集设备的传播路径特征,获取所述估计的传播路径特征与预定的传播路径特征之间的差异,将所述差异与第四阈值进行比较,根据比较结果确定所述耳机的佩戴状态。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述体传导音频采集设备采集到的音频信号,确定所述耳机的佩戴状态之前还包括:
检测用户的声音事件需求。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述确定所述耳机的佩戴状态之后,还包括:
基于所述耳机的佩戴状态,控制与所述耳机连接的电子设备进行相应的处理。
7.根据权利要求6所述的方法,其特征在于,所述控制与所述耳机连接的电子设备进行相应的处理包括:
控制所述电子设备的声音播放模式,和/或,控制所述电子设备发出提示信息。
8.一种电子设备控制方法,其特征在于,包括:
获取与电子设备连接的耳机的佩戴状态;
基于所述耳机的佩戴状态,控制所述电子设备进行相应的处理。
9.根据权利要求8所述的方法,其特征在于,所述控制所述电子设备进行相应的处理包括:
控制所述电子设备的声音播放模式,和/或,控制所述电子设备发出提示信息。
10.根据权利要求9所述的方法,其特征在于,所述控制所述电子设备的声音播放模式包括:
当所述耳机的佩戴模式为未佩戴时,控制所述电子设备的声音播放模式为听筒模式或扬声器模式;
所述控制所述电子设备发出提示信息包括:
当所述耳机的佩戴模式为未佩戴时,控制所述电子设备发出用于提示所述电子设备与所述耳机连接的提示信息,和/或,发出用于提示用户佩戴耳机的提示信息,和/或,发出用于提示用户切换所述电子设备的声音播放模式的提示信息。
11.一种耳机佩戴状态确定装置,其特征在于,包括:
音频信号获取模块,用于获取耳机的体传导音频采集设备采集到的音频信号;
佩戴状态确定模块,用于基于所述体传导音频采集设备采集到的音频信号,确定所述耳机的佩戴状态。
12.一种电子设备控制装置,其特征在于,包括:
耳机佩戴状态获取模块,用于获取与电子设备连接的耳机的佩戴状态;
处理模块,用于基于所述耳机的佩戴状态,控制所述电子设备进行相应的处理。
13.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;
所述存储器中存储有计算机程序指令,
所述处理器,用于调用所述计算机程序指令,以执行权利要求1至10中任一项所述的方法。
14.一种电子设备,其特征在于,包括:音频播放设备、体传导音频采集设备和处理器;
所述音频播放设备,用于播放音频信号;
所述体传导音频采集设备,用于采集音频信号;
所述处理器,用于获取所述体传导音频采集设备采集到的音频信号,基于所述体传导音频采集设备采集到的音频信号,确定所述电子设备的佩戴状态。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序指令,当所述程序指令被处理器调用时,所述处理器执行权利要求1至10中任一项所述的方法。
CN201811069738.8A 2018-09-13 2018-09-13 耳机佩戴状态确定方法、电子设备控制方法及电子设备 Pending CN110896509A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811069738.8A CN110896509A (zh) 2018-09-13 2018-09-13 耳机佩戴状态确定方法、电子设备控制方法及电子设备
PCT/KR2019/011576 WO2020055048A1 (en) 2018-09-13 2019-09-06 Method for determining earphone wearing state, method for controlling electronic apparatus, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811069738.8A CN110896509A (zh) 2018-09-13 2018-09-13 耳机佩戴状态确定方法、电子设备控制方法及电子设备

Publications (1)

Publication Number Publication Date
CN110896509A true CN110896509A (zh) 2020-03-20

Family

ID=69776714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811069738.8A Pending CN110896509A (zh) 2018-09-13 2018-09-13 耳机佩戴状态确定方法、电子设备控制方法及电子设备

Country Status (2)

Country Link
CN (1) CN110896509A (zh)
WO (1) WO2020055048A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629297A (zh) * 2020-05-27 2020-09-04 歌尔科技有限公司 一种耳机佩戴状态检测方法、装置、耳机及存储介质
CN112013949A (zh) * 2020-08-06 2020-12-01 歌尔科技有限公司 耳机佩戴状态的确定方法、装置及耳机
CN112866890A (zh) * 2021-01-14 2021-05-28 厦门新声科技有限公司 一种入耳检测方法及系统
CN113132885A (zh) * 2021-04-16 2021-07-16 深圳木芯科技有限公司 基于双麦克风能量差异判别耳机佩戴状态的方法
CN113179475A (zh) * 2021-04-02 2021-07-27 歌尔股份有限公司 耳机佩戴状态的检测方法、装置、耳机及介质
WO2022143268A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 位置识别方法和耳机设备
CN117714939A (zh) * 2024-02-05 2024-03-15 九音科技(南京)有限公司 基于频谱分析的入耳检测方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492439B (zh) * 2020-11-17 2023-01-20 上海闻泰信息技术有限公司 耳机掉落的提醒方法、装置、电子设备和存储介质
CN112533126B (zh) * 2020-12-16 2022-03-25 歌尔光学科技有限公司 耳机佩戴状态检测方法、耳机及计算机可读存储介质
CN113194396B (zh) * 2021-04-23 2023-01-24 歌尔股份有限公司 助听器及其控制方法和计算机可读存储介质
CN113473280B (zh) * 2021-05-17 2022-11-29 安克创新科技股份有限公司 耳机及其佩戴状态的检测方法
CN113543005B (zh) * 2021-07-01 2022-10-04 猫岐智能科技(上海)有限公司 音频设备检测方法及系统
CN114040293B (zh) * 2021-11-26 2024-05-31 歌尔科技有限公司 耳机控制方法、装置、耳机及计算机可读存储介质
CN114745651B (zh) * 2022-02-28 2023-04-25 潍坊歌尔电子有限公司 耳机状态检测方法、耳机以及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279724A1 (en) * 2012-04-19 2013-10-24 Sony Computer Entertainment Inc. Auto detection of headphone orientation
CN104604249A (zh) * 2012-09-10 2015-05-06 苹果公司 用于麦克风应用的骨传导拾取换能器
CN107172526A (zh) * 2017-07-19 2017-09-15 联想(北京)有限公司 一种智能耳机以及控制方法
US20180152795A1 (en) * 2016-11-30 2018-05-31 Samsung Electronics Co., Ltd. Method for detecting wrong positioning of earphone, and electronic device and storage medium therefor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100065536A (ko) * 2008-12-08 2010-06-17 박유진 착용여부를 구별하는 이어폰, 착용여부를 구별하는 이어폰이 적용된 휴대단말기
US9675259B2 (en) * 2014-03-12 2017-06-13 Cheng Uei Precision Industry Co., Ltd. Physiological function detecting earphone and detecting method thereof
KR101609777B1 (ko) * 2014-09-12 2016-04-06 주식회사 포워드벤처스 이어폰 탈착 판별 장치, 방법, 및 이어폰 탈착 판별 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독가능한 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279724A1 (en) * 2012-04-19 2013-10-24 Sony Computer Entertainment Inc. Auto detection of headphone orientation
CN104604249A (zh) * 2012-09-10 2015-05-06 苹果公司 用于麦克风应用的骨传导拾取换能器
US20180152795A1 (en) * 2016-11-30 2018-05-31 Samsung Electronics Co., Ltd. Method for detecting wrong positioning of earphone, and electronic device and storage medium therefor
CN107172526A (zh) * 2017-07-19 2017-09-15 联想(北京)有限公司 一种智能耳机以及控制方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629297A (zh) * 2020-05-27 2020-09-04 歌尔科技有限公司 一种耳机佩戴状态检测方法、装置、耳机及存储介质
CN111629297B (zh) * 2020-05-27 2022-03-29 歌尔科技有限公司 一种耳机佩戴状态检测方法、装置、耳机及存储介质
CN112013949A (zh) * 2020-08-06 2020-12-01 歌尔科技有限公司 耳机佩戴状态的确定方法、装置及耳机
WO2022143268A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 位置识别方法和耳机设备
CN112866890A (zh) * 2021-01-14 2021-05-28 厦门新声科技有限公司 一种入耳检测方法及系统
CN112866890B (zh) * 2021-01-14 2022-08-16 厦门新声科技有限公司 一种入耳检测方法及系统
CN113179475A (zh) * 2021-04-02 2021-07-27 歌尔股份有限公司 耳机佩戴状态的检测方法、装置、耳机及介质
CN113179475B (zh) * 2021-04-02 2022-03-25 歌尔股份有限公司 耳机佩戴状态的检测方法、装置、耳机及介质
CN113132885A (zh) * 2021-04-16 2021-07-16 深圳木芯科技有限公司 基于双麦克风能量差异判别耳机佩戴状态的方法
CN117714939A (zh) * 2024-02-05 2024-03-15 九音科技(南京)有限公司 基于频谱分析的入耳检测方法及系统
CN117714939B (zh) * 2024-02-05 2024-05-24 九音科技(南京)有限公司 基于频谱分析的入耳检测方法及系统

Also Published As

Publication number Publication date
WO2020055048A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN110896509A (zh) 耳机佩戴状态确定方法、电子设备控制方法及电子设备
US11244666B2 (en) Method and device for acute sound detection and reproduction
US8675884B2 (en) Method and a system for processing signals
US9491542B2 (en) Automatic sound pass-through method and system for earphones
JP6069830B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
US20120101819A1 (en) System and a method for providing sound signals
KR20110107833A (ko) 이어피스를 위한 음향의 인­이어 검출
KR20140145108A (ko) 이동 통신 장치에서의 음성 통신 개선방법 및 시스템
EP1385324A1 (en) A system and method for reducing the effect of background noise
US9654855B2 (en) Self-voice occlusion mitigation in headsets
CN112822585B (zh) 一种入耳式耳机的音频播放方法、装置及系统
CN111063363B (zh) 一种语音获取方法、音频设备和具有存储功能的装置
JP2017028718A (ja) 耳孔装着型収音装置、信号処理装置、収音方法
CN116367066A (zh) 具有音频质量检测的音频设备及相关方法
CN109068213B (zh) 一种耳机响度控制方法和装置
EP3072314A1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
CN115623121A (zh) 一种通话方法及电子设备
CN105450859A (zh) 佩戴耳机的提醒方法和装置
JP4838282B2 (ja) ハンズフリー通話装置及びハンズフリー通話方法
JP2008219240A (ja) 放収音システム
KR101514150B1 (ko) 음향 출력 장치의 마이크를 이용한 잔향 환경 추정 시스템
EP4266705A1 (en) Audio processing method for a wearable auto device
CN117356107A (zh) 信号处理装置、信号处理方法及程序
CN115668370A (zh) 听力设备自带的语音检测器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination