[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115414025A - 筛查方法、设备、存储介质及程序产品 - Google Patents

筛查方法、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN115414025A
CN115414025A CN202110603113.0A CN202110603113A CN115414025A CN 115414025 A CN115414025 A CN 115414025A CN 202110603113 A CN202110603113 A CN 202110603113A CN 115414025 A CN115414025 A CN 115414025A
Authority
CN
China
Prior art keywords
user
interactive
expectoration
information
sputum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110603113.0A
Other languages
English (en)
Inventor
许培达
李靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110603113.0A priority Critical patent/CN115414025A/zh
Priority to PCT/CN2022/085099 priority patent/WO2022252803A1/zh
Publication of CN115414025A publication Critical patent/CN115414025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Measuring devices for evaluating the respiratory organs
    • A61B5/0823Detecting or evaluating cough events
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Measuring devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Telephone Function (AREA)

Abstract

本申请公开了一种筛查方法、设备、存储介质及程序产品,属于呼吸分析领域。本申请的实施例方法包括检测到咳嗽声音,通过交互设备感知用户的交互操作;获取与所述交互操作对应的咳痰信息;根据所述咳痰信息输出提醒信息。通过检测到咳嗽声音作为触发,以获取咳痰信息,进而根据咳痰信息辅助呼吸感染筛查。采用本申请的实施例,可以及时获取咳痰信息,提供筛查精准性,可操作性强。

Description

筛查方法、设备、存储介质及程序产品
技术领域
本申请涉及呼吸分析领域,特别涉及一种筛查方法、设备、存储介质及程序产品。
背景技术
呼吸感染(呼吸道感染)是一种常见病、多发病,疾病种类复杂,发病率逐年升高,其中以下呼吸道感染最为严重,致死率高。新冠肺炎即为下呼吸道感染的一种类型,因其传染性和危害性,新冠防控十分重要,呼吸感染筛查具有重要意义。
现有对感染性疾病的筛查通常需要血液测试或测试另一种体液(例如唾液),其可能需要花费几个小时来执行,并且通常需要在血液分析设备所定位的中心位置执行。传统的筛查技术本身也不适合于个体对其自身进行筛查试验—需要护理工作者收集、处置、运输及分析样本。对于更好的筛查程序的大量需求并未得到满足,尤其是在疾病暴发及流行病期间。
发明内容
本申请提供了一种筛查方法,其将适合于非专业人士进行自我检查,具有及时性和普遍性。
第一方面,本申请提供了一种筛查方法,该方法包括:检测到咳嗽声音,通过交互设备感知用户的交互操作,获取与所述交互操作对应的咳痰信息,根据所述咳痰信息输出提醒信息。
其中,咳嗽(cough)是一种呼吸道常见症状,由于气管、支气管黏膜或胸膜受炎症、异物、物理或化学性刺激引起,表现先是声门关闭、呼吸肌收缩、肺内压升高,然后声门张开,肺内空气喷射而出,通常伴随声音,为此在用户咳嗽时,能记录到咳嗽声音。
在本申请实施例中,通过检测到咳嗽声音作为触发,以获取咳痰信息,进而根据咳痰信息辅助呼吸感染筛查,能及时获取咳痰信息,提供筛查精准性,可操作性强。其将适合于非专业人士对他或她自身执行测试,其将能够快速获得结果。用户任选地对样本进行快速离线分析,其将包含避免测试对象的交叉污染及保护医护人员免受感染,以及如在筛查大量人群或重复对单一受试者的测试情况下,其适合于方便地重复使用。
可选地,所述交互设备包括语音交互设备,则所述通过所述交互设备感知用户的交互操作包括:通过所述语音交互设备输出第一语音数据,其中所述第一语音数据用于与用户进行交互;接收用户于所述语音交互设备输出所述第一语音数据之后输入的交互操作,其中所述交互操作包括语音输入。
可选地,所述第一语音数据包括根据咳痰信息设置的引导话术,所述引导话术包括:通用回复式引导话术、校验式引导话术、选择式引导话术和询问式引导话术。
可选地,所述交互设备还可以包括显示设备;所述显示设备显示所述第一语音数据转化后的文本数据和交互元素;则所述交互操作还包括作用于所述交互元素的触控操作。
可选地,所述交互设备包括显示设备,则所述通过所述交互设备感知用户的交互操作包括:通过所述显示设备呈现交互界面,所述交互界面包括交互元素,其中所述交互元素用于与用户进行交互;接收用户在所述交互界面上输入的交互操作。
可选地,所述交互元素包括根据咳痰信息设置的第一选项;则所述交互操作包括作用于所述第一选项的触控操作。
可选地,所述交互元素还包括痰液图片以及与所述痰液图片关联的交互控件,则所述交互操作包括作用于所述交互控件的触控操作。
可选地,所述交互元素包括图片的取景框以及拍摄控件,则所述交互操作包括作用于所述拍摄控件的触控操作。
可选地,所述咳痰信息包括:咳痰频次、痰液颜色和痰液粘稠度。
可选地,所述根据所述咳痰信息输出提醒信息包括:获取用户的生理指标;根据所述生理指标和所述咳痰信息输出提醒信息。
第二方面,本申请还提供了一种电子设备,所述电子设备的结构中包括处理器和存储器,所述存储器用于存储支持电子设备执行上述第一方面及其可选的实现方式所提供的筛查方法的程序,以及存储用于实现上述第一方面及其可选的实现方式所提供的筛查方法所涉及的数据。所述处理器执行所述存储器中存储的程序执行前述第一方面及其可选的实现方式提供的方法。所述电子设备还可以包括通信总线,该通信总线用于该处理器与存储器之间建立连接。
第三方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面及其可选的实现方式所述的筛查方法。
第四方面,本申请还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码被一个计算机执行的时候,所述计算机程序代码可以使得所述计算机执行上述第一方面及其可选的实现方式所述的筛查方法。
上述第二方面、第三方面和第四方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
本申请提供的技术方案带来的有益效果至少包括:
通过检测到咳嗽声音作为触发,以获取咳痰信息,进而根据咳痰信息辅助呼吸感染筛查,能及时获取咳痰信息,提供筛查精准性,可操作性强。其将适合于非专业人士对他或她自身执行测试,其将能够快速获得结果。用户任选地对样本进行快速离线分析,其将包含避免测试对象的交叉污染及保护医护人员免受感染,以及如在筛查大量人群或重复对单一受试者的测试情况下,其适合于方便地重复使用。
附图说明
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种手机的结构示意图;
图3是本申请实施例提供的一种智能手表的结构示意图;
图4是本申请实施例提供的一种筛查方法的流程示意图;
图5A至图5E是本申请实施例提供的一种咳嗽声音录制的示意图;
图6A至图6F是本申请实施例提供的一种交互界面的示意图;
图7A至图7C是本申请实施例提供的另一种交互界面的示意图;
图8A至图8C是本申请实施例提供的另一种交互界面的示意图;
图9A是本申请实施例提供的一种提示信息的示意图;
图9B是本申请实施例提供的另一种提示信息的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细的解释说明之前,先对本申请实施例涉及的应用场景予以介绍。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
请参阅图1,图1为本申请实施例提供的一种电子设备100结构示意图。该电子设备100可以包括:一个或多个拾音设备10、一个或多个交互设备11、一个或多个处理器12、存储器13、一个或多个应用程序(未示出)、以及一个或多个计算机程序14,上述各器件可以通过一个或多个通信总线连接。
其中,拾音设备10用于采集音频,其可以为由多个麦克风组成的麦克风阵列(Microphone Array),麦克风阵列物理上是指,多个麦克风有序排列,也就是说由一定数目的声学传感器(一般是麦克风)组成,用来对声场的空间特性进行采样并处理的系统。
其中,交互设备11用于与用户进行交互,实现人机交互。交互设备11可以是语音交互设备,例如家庭语音助手、智能音箱等,也可以是视觉类交互设备,例如智慧屏、智能电视等、还可以是智能家电如智能空调、智能洗衣机等,除了上述适用于家庭场景的交互设备,还可以是适用于工厂、企业或医院等工作场景的交互设备11,在此不作任何限定。语音交互设备可以通过语音进行语音交互,视觉类交互设备可以通过交互界面进行交互。
其中该一个或多个计算机程序14被存储在上述存储器13中并被配置为被该一个或多个处理器12执行,该一个或多个计算机程序14包括指令,上述指令可以用于执行下述实施例中的各个步骤。其中,下述实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述,在此不再赘述。所述指令构成软件产品,其被载入到存储器13中。在指令被运行时,所述指令使电子设备100作为基于咳嗽声音而执行的筛查操作,并且尤其是下述实施例所提供的方法。可以理解,软件产品的编程直接鉴于本申请实施例的所述方法。
上述电子设备100可以为是用于筛查呼吸感染的设备,并且可安装在电子装置(诸如,手机、智能手表、手环、平板PC、台式计算机、膝上型计算机等)中,或者安装在专用医疗机构中使用的医疗装置中。另外,用于筛查呼吸感染的设备可被制造为独立的硬件装置,诸如穿戴在对象上的可穿戴装置,并且可穿戴装置的示例包括腕表型可穿戴装置、手镯型可穿戴装置、腕带型可穿戴装置、环型可穿戴装置、眼镜型可穿戴装置、头带型可穿戴装置等,但是可穿戴装置不限于此。
以电子设备为手机为例,请参阅图2,图2为本申请实施例提供的一种手机结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以包括静态随机存储器(static random-access memory,SRAM)、动态随机存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等;
非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等,按照存储规范划分可以包括通用闪存存储(英文:universalflash storage,UFS)、嵌入式多媒体存储卡(embedded multi media Card,eMMC)等。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,触摸屏包括触摸传感器180K与显示屏194,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
在本申请实施例中,电子设备100可以增加一些传感器,通过传感器获取生理数据,进而可以用来测量用户的生理指标,生理指标包括心率、体温、血氧和呼吸率等。
在其中一种可能实现方式中,在电子设备100包括血氧模组,该血氧模组包括两个红光传感器、至少两个红外传感器、绿光传感器,至少两个红光传感器,用于获取至少两个红光信号;至少两个红外传感器,用于获取至少两个红外信号;绿光传感器,用于获取绿光信号。处理器,用于根据至少两个红光信号确定红光直流数据和红光交流信号的成分信号;以及根据至少两个红外信号确定红外直流数据和红外交流信号的成分信号。成分信号包括动脉信号。处理器还用于,根据红光交流信号的成分信号和绿光信号,确定红光交流数据;以及根据红外交流信号的成分信号和绿光信号,确定红外交流数据。处理器还用于,根据红光直流数据、红光交流数据、红外直流数据和红外交流数据,确定血氧饱和度。
在其中一种可能实现方式中,电子设备100包括心率模组,心率模组用于测试心率时采集用户血管随脉搏变化的数据,供处理器通过心率算法计算心率值。其中心率模组可以包括实现心率算法的控制芯片、PPG传感器以及加速度传感器等。
在其中一种可能实现方式中,电子设备100设置光体积描记器(Photoplethysmograph,PPG)对心率进行测量,以及心电图(Electrocardiogram,ECG)进行心电测量。
在其中一种可能实现方式中,电子设备100包括温度传感器,通过该温度传感器测量用户的体温。
在其中一种可能实现方式中,电子设备100可以使用标准的非接触式麦克风产生表示呼吸的气流声音的原始信号,通过分析该原始信号以测定第一亚组的一个或者多个呼吸参数,并导出通常在原始信号中不能直接检测的第二亚组的一个或者多个估计呼吸参数。其中:第一亚组参数包括主动呼吸时间(主动呼气的持续时间)和呼吸期(相继呼吸之间的时间),第二亚组参数包括吸气时间,进而可以计算出呼吸率,即呼吸频率。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
以电子设备为智能手表为例,请参阅图3,图3为本申请实施例提供的一种智能手表结构示意图。
如图3所示,智能手表可以包括:处理器201、存储器202、传感器203、至少一个受话器204、至少一个麦克风205、电源206和蓝牙装置207。
其中,存储器202可以用于存储应用程序代码,如使得智能手表与上述第二电子设备进行配对的应用程序代码。处理器201可以控制执行本申请实施例的筛查方法的应用程序代码,以实现本申请实施例中智能手表进行呼吸感染筛查的功能。
存储器202中还可以存储有用于唯一标识该智能手表的蓝牙地址。另外,该存储器202中还可以存储有与该智能手表之前成功配对过的电子设备的连接数据。例如,该连接数据可以是与该智能手表成功配对过的电子设备的蓝牙地址。基于该连接数据,该智能手表能够与该电子设备自动配对,而不必配置与其之间的连接,如进行合法性验证等。上述蓝牙地址可以为媒体访问控制(media access control,MAC)地址。
传感器203可以包括距离传感器、接近光传感器、重力传感器和/或陀螺仪等。智能手表的处理器201可以通过该传感器203确定是否被用户佩戴,也可以通过传感器203判断手表被佩戴时用户的一些动作,例如抬腕动作。例如,智能手表的处理器201可以利用接近光传感器来检测智能手表附近是否有物体,从而确定智能手表是否被用户佩戴。在确定智能手表被佩戴时,智能手表的处理器201可以打开受话器204。在一些实施例中,该智能手表还可以包括骨传导传感器,结合成骨传导耳机。该骨传导传感器可以获取声部振动骨块的振动信号,处理器201解析出语音信号,实现语音信号对应的控制功能。在另一些实施例中,该智能手表还可以包括触摸传感器或压力传感器,分别用于检测用户的触摸操作和按压操作。在另一些实施例中,该智能手表还可以包括指纹传感器,用于检测用户指纹,识别用户身份等。在另一些实施例中,该智能手表还可以包括环境光传感器,智能手表的处理器201可以根据该环境光传感器感知的环境光的亮度,自适应调节一些参数,如音量大小。
蓝牙装置207用于与其它电子设备(如第二电子设备)建立蓝牙连接,使得第一电子设备与其它电子设备之间可以进行短距离数据交互。
受话器204,也可以称为“听筒”,可以用于将音频电信号转换成声音信号并播放。例如,当智能手表作为上述第二电子设备的音频输出设备时,受话器204可以将接收到的音频电信号转换为声音信号并播放。
麦克风205,也可以称为“话筒”,“传声器”,用于将声音信号转换为音频电信号。例如,当智能手表作为上述第二电子设备的音频输入设备时,在用户说话(如通话或发语音消息)时,麦克风205可以采集用户的声音信号,并将其转换为音频电信号。
电源206,可以用于向智能手表包含的各个部件供电。在一些实施例中,该电源206可以是电池,如可充电电池。
在本申请实施例中,智能手表可以增加一些传感器,通过传感器获取生理数据,进而可以用来测量用户的生理指标,生理指标包括心率、体温、血氧和呼吸率等。
可以理解的是,本实施例示意的结构并不构成对智能手表的具体限定。其可以具有比图2中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该智能手表还可以包括指示灯(可以指示电量等状态)、防尘网(可以配合听筒使用)等部件。图2中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
接下来对本申请实施例提供的筛查方法进行介绍。
本申请中使用了流程图用来说明根据本申请的实施例的装置所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
请参阅图4,图4为本申请实施例提供的筛查方法的流程示意图。该筛查方法可以由电子设备执行,该方法包括如下步骤:
步骤S401:记录咳嗽声音。
在本申请实施例中,以电子设备包括智能手表和/或手机为例,智能手表或手机上的拾音设备(如麦克风)可以采集智能手表或手机外界环境的声音信号,对采集到的声音信号的声音特征进行分析,记录咳嗽声音。可以分别通过配置在电子设备中的麦克风采集环境声音信号,并通过配置在电子设备中的处理器对环境声音信号进行处理;也可以通过耳机中的麦克风采集环境声音信号,通过耳机中的处理器对环境声音信号进行处理。本申请对此不做具体限定。其中,对环境声音信号进行处理,可以使用语音处理算法,对采集到的环境声音进行识别,识别出其中的咳嗽声音,提取出其中的咳嗽声音,在此不再详述。
在本申请实施例中,本申请实施例的筛查方法可以实现为APP或为APP中的某一功能,如本申请实施例的筛查方法可以实现为运动健康APP中的呼吸感染筛查功能,或实现为呼吸感染App,本申请对此不做具体限定。
智能手表或手机上安装有运动健康APP,该运动健康应用APP可以提供呼吸感染筛查功能。或智能手表或手机上安装有呼吸感染筛查APP,该呼吸感染筛查APP可以提供呼吸感染筛查功能。在实际应用中,根据呼吸感染功能使用的自发性,可以分为主动筛查场景和被动筛查场景。主动筛查场景可以为用户主动使用该呼吸感染筛查APP中的呼吸感染筛查功能进行呼吸感染筛查,即用户可以随时自主发起筛查,以了解自己的呼吸感染风险。被动筛查场景为在用户授权后,该呼吸感染筛查APP自动调用其自身的呼吸感染筛查功能进行呼吸感染筛查。
下面说明主动筛查场景下咳嗽声音的录制过程。
请一并参阅图5A至图5E,用户打开运动健康APP或呼吸感染筛查APP,进入呼吸感染筛查界面50,如图5A所示。呼吸感染筛查界面50上呈现数据框501以及开始检测按钮502,数据框501上显示以往测量的数据,若没有测量数据,则显示为今日无数据。点击图5A所示的开始检测按钮502,在点击开始检测按钮502后,若用户为首次使用,呈现引导界面51,如图5B所示。该引导界面51可以包括测量教程511、测量技巧512和开始检测按钮502,该测量教程511包括:第一步:录制咳嗽声音。第二步:采集生理指标。测量技巧512包括:测量流程需要1分钟30秒左右,整个测量流程可参考测量教程。1、录制咳嗽声音:点击开始检测后,对着麦克风咳嗽3声,并请保持周围环境较为安静。2、佩戴穿戴设备,并保持安静,采集1分钟的生理数据。用户点击图5B所示的开始检测按钮502后,或用户非首次使用,在点击图5A所示的开始检测按钮502后,呈现测试界面52,如图5C所示,测试界面52上包括录制按钮521,用户点击录制按钮521后,呈现录制界面53,如图5D所示,在录制界面53上呈现录制的时长。响应用户点击录制按钮521,电子设备的拾音设备开始采集声音,此时用户可以强制性地咳嗽(并非自然咳嗽),通常需要连续咳嗽3-5次,全程大概20秒以内。为确保录入的声音为咳嗽声音,会进行咳嗽声音识别,若不为咳嗽声音或咳嗽声音质量较差,则电子设备可以提示用户重新录制咳嗽声音,咳嗽声音录制时,可提示用户,让用户的嘴与拾音设备位置存在角度偏差,使声音不会直接对准拾音设备,以免造成音频幅度过大而失真,超过拾音设备的拾音幅度上限。录制结束后,电子设备记录拾音设备采集到的咳嗽声音,在检测到咳嗽声音时执行下述步骤S402至步骤S406。
在其中一种可能实现方式中,在记录咳嗽声音后,或在记录咳嗽声音的同时,也可以采集用户的其他生理数据。示例性地,在录制结束后,如图5E所示,还可以呈现生理数据采集界面54,生理数据采集界面54提示用户佩戴可穿戴设备(如智能手表),保持安静,并舒适就坐,以采集用户的生理数据,例如通过腕部智能手表采集脉搏波、体温等生理数据,智能手表上安装有传感器,通过传感器获取生理数据,根据采集到的生理数据得到用户的生理指标。
在其中一种可能实现方式中,本申请实施例中的电子设备可以包括多个不同的电子设备,如可以分别包括智能手表和手机,通过手机记录咳嗽声音,通过智能手表采集用户的生理数据。
在其中一种可能实现方式中,该电子设备可以为同一设备,如为手机,通过手机采集并记录用户的咳嗽声音,并通过手机采集用户的生理数据,以获得用户的生理指标。或为智能手表,通过智能手表采集并记录用户的咳嗽声音,并通过智能手表采集用户的生理数据,以获得用户的生理指标。
下面说明被动筛查场景下咳嗽声音的录制过程。
智能手表或手机上安装运动健康APP或呼吸感染筛查APP,运动健康APP或呼吸感染筛查APP的功能包括自动筛查(后台筛查、无感筛查),即在用户授权同意后,智能手表或手机的拾音设备可以连续记录用户的声音数据,并根据一定时间内的声音数据判断本次记录的声音是否为咳嗽声音,若为咳嗽声音,则记录该咳嗽声音,这里记录的咳嗽声音为用户自身生理上自然发生的咳嗽,而自动筛查场景下用户的发出的咳嗽声音多为人为控制发生的咳嗽。示例性地,用户授权运动健康APP或呼吸感染筛查APP,运动健康APP或呼吸感染筛查APP可以实时记录外界环境的声音,并对外界环境声音进行识别,识别出其中的咳嗽声音,在检测到咳嗽声音时进行执行下述步骤S402至步骤S406。
在本申请实施例中,用户若能预判自己即将咳嗽,可以自主使用运动健康APP或呼吸感染筛查APP的呼吸感染筛查功能,参照图5A至图5D所示的引导,进行咳嗽,以使得电子设备记录咳嗽声音,以在判断记录到的声音为咳嗽声音时,触发APP的呼吸感染筛查功能,执行本申请实施例的筛查方法。或用户已经给APP授权,允许APP实时采集记录环境声音,用户若想测检查自己的呼吸感染情况,可以人为地咳嗽,以便电子设备记录该咳嗽声音,以在判断记录到的声音为咳嗽声音时,触发APP的呼吸感染筛查功能,执行本申请实施例的筛查方法。
步骤S402:对所述咳嗽声音进行处理,判断所述咳嗽声音是否为湿咳。
在本申请实施例中,可以将记录的咳嗽声音输入咳嗽音识别模型,由咳嗽音识别模型判断是干咳还是湿咳,咳嗽音识别模型建立,可以是收集正常没有咳嗽的人的咳嗽音、有咳嗽但是没有痰的人的咳嗽音、有咳嗽且有痰的人的咳嗽音,然后根据收集到的音频数据训练深度学习模型或浅层学习模型,训练完成的深度学习模型或浅层学习模型就是咳嗽音识别模型。
在本申请实施例中,步骤S402可以省去,即可以在检测到咳嗽声音之后,就执行步骤S403,无须判断咳嗽声音是否为湿咳,在检测到咳嗽声音后就执行步骤S403,即以检测到咳嗽声音作为呼吸感染筛查的触发事件,在检测到咳嗽声音时执行本申请实施例的筛查方法。
在步骤S402判断咳嗽声音为湿咳,则执行步骤S403。在步骤S402判断咳嗽声音不是湿咳,则执行步骤S406。
步骤S403:通过交互设备感知用户的交互操作。
在本申请实施例中,可以以检测到咳嗽声音为湿咳作为呼吸感染筛查的触发事件,在检测到湿咳声音时执行本申请实施例的筛查方法。
在本申请实施例中,交互设备与电子设备通信连接,交互设备可以为电子设备的一部分。交互设备可以是语音交互设备,例如家庭语音助手、智能音箱等,也可以是视觉类交互设备,例如智慧屏、智能电视或触控屏等、还可以是智能家电如智能空调、智能洗衣机等,除了上述适用于家庭场景的交互设备,还可以是适用于工厂、企业或医院等工作场景的交互设备,在此不作任何限定。
在本申请实施例中,在第一种情形中,交互设备可以仅包括语音交互设备。在第二种情形中,交互设备可以包括语音交互设备与显示设备。在第三种情形中,交互设备可以仅包括显示设备。
在第一种情形中,示例性地,交互设备可以包括语音交互设备,通过语音交互设备与用户进行语音交互,即语音交互设备可以包括拾音设备、语音播放设备和处理器,拾音设备可以采集环境声音,以获得咳嗽声音,拾音设备还可以在与用户进行交互时,采集用户的声音,处理器对拾音设备采集到的用户语音进行处理,并根据对用户语音的处理输出对应的第一语音数据,通过语音播放设备播放第一语音数据。
在本申请实施例中,可以通过语音交互设备输出第一语音数据,其中第一语音数据用于与用户进行交互,接收用户于所述语音交互设备输出第一语音数据之后输入的交互操作,其中交互操作包括语音输入。其中,第一语音数据包括根据咳痰信息设置的引导话术,引导话术包括:通用回复式引导话术、校验式引导话术、选择式引导话术和询问式引导话术。
在本申请实施例中,根据咳痰信息设置的引导话术,即该引导话术用于引导用户,以从用户处获取咳痰信息,包括咳嗽是否带痰液、痰液是否透明、痰液是否粘稠等。
其中,通用回复式引导话术用于表示电子设备行为上只返回一句话术的引导,没有多轮的对话交互,通用回复式引导话术可以例如“刚才没有听清,你可以再跟我说一遍吗?”,该行为类型对应的交互适用于基于用户语音,无法识别用户意图的情形。
其中,校验式引导行为话术用于表示电子设备询问用户一个资源选择并期望用户下轮对话中返回“是”或“否”行为的引导,引导话术可以例如“我没听清,你是说没有咳嗽吗?”,该行为类型对应的交互适用于基于用户语音,对用户意图进行推测,且反馈给用户的选择较少的情形。
其中,选择式引导行为用于表示电子设备向用户反馈多个选择并期望用户下轮对话中选择其中某个选项的引导,引导话术可以例如“痰液是什么颜色的?A:透明,B:铁锈色?”,该行为类型对应的交互适用于基于用户语音,对用户意图进行推测,且反馈给用户的选择较多的情形。
其中,询问式引导行为用于表示电子设备向用户返回对槽位进行询问并期望用户回答的引导,其中,槽位指用户语音中与用户意图相关的关键词,引导话术可以例如“你是要听周杰伦的什么歌曲?”,槽位即“周杰伦”,该行为类型对应的交互适用于基于用户语音,可以确定用户意图,需要进一步明确用户需求的情形。
通过语音交互设备实现音频交互,具体地:电子设备检测到咳嗽声音,或判断该咳嗽声音为湿咳时,语音交互设备中的处理器控制语音播放设备输出第一语音数据“XXX,您好,刚才您咳嗽了吗?”。然后通过拾音设备采集用户的语音输入,对采集到的用户语音输入进行处理,若判断用户回答“否”,则结束。若判断用户回答“是”,则继续,处理器控制语音播放设备输出第一语音数据“您咳嗽有带痰吗?”。然后通过拾音设备采集用户的语音输入,对采集到的用户语音输入进行处理,若判断用户回答“否”,则认为结束。若判断用户回答“是”,则继续,处理器控制语音播放设备输出第一语音数据“痰液是否粘稠?”。然后通过拾音设备采集用户的语音输入,对采集到的用户语音输入进行处理,记录用户输入的信息,若判断用户回答“是”,则记录“痰液粘稠”。若判断用户回答“否”,则记录“痰液不粘稠”。接收用户输入的语音之后,控制语音播放设备输出第一语音数据“痰液是什么颜色的?”然后通过拾音设备采集用户的语音输入,对采集到的用户语音输入进行处理,记录用户输入的信息,用户可以输入透明、铁锈色、砖红色、金黄色脓痰或黄绿色脓痰等。识别用户输入的语音,并记录用户输入的颜色。在其中一种可能实现方式中,控制语音播放设备输出第一语音数据“痰液是什么颜色的?A:透明,B:铁锈色,C:砖红色,D:金黄色脓痰,E:黄绿色脓痰。然后确定用户的选择,若用户选择A,则记录痰液为透明。接收用户输入的语音之后,控制语音播放设备输出第一语音数据“您最近咳痰量多吗?”,然后通过拾音设备采集用户的语音输入,对采集到的用户语音输入进行处理,记录用户输入的信息,若判断用户回答“多”,则记录“咳痰量多”。若判断用户回答“少”,则记录“咳痰量少”。最后控制语音播放设备输出第一语音数据“谢谢您的反馈”。
在第二种情形中,所述交互设备可以包括语音交互设备和显示设备,显示设备显示第一语音数据转化后的文本数据,还可以显示语音波形。即将第一语音数据同语音播放设备播放输出,还将第一语音数据转化后的文本数据通过显示设备显示输出,可以采用一边输出第一语音数据,一边输出文本数据。所述显示设备可以显示第一语音数据转化后的文本数据和交互元素,则用户与电子设备之间的交互操作可以为作用于所述交互元素的触控操作。即,在交互设备包括语音交互设备和显示设备时,用户可以通过语音交互设备进行语音交互,也可以在通过显示设备上进行交互。
示例性地,请一并参阅图6A,在语音播放设备输出第一语音数据“XXX,您好,刚才您咳嗽了吗?”时,显示设备上显示第一语音数据转化后的文本数据“XXX,您好,刚才您咳嗽了吗?”,显示设备上还显示交互元素,交互元素可以为对上述问题的答案选项,如选项“是”和选项“否”,检测用户的交互操作,如检测用户是否输入语音,或检测用户是否在显示设备上输入操作,如对显示设备的触控操作,(点击、长按等)。检测到用户点击“否”选项,则结束。检测到用户点击“是”,记录咳嗽。则语音播放设备输出第一语音数据“您咳嗽有带痰吗?”,请一并参阅图6B,显示设备上显示第一语音数据转化后的文本数据“您咳嗽有带痰吗?”以及选项“是”和选项“否”。检测到用户点击“否”选项,则结束。检测到用户点击“是”,记录咳嗽带痰。语音播放设备输出第一语音数据“痰液是否粘稠?”,请一并参阅图6C,显示设备上显示第一语音数据转化后的文本数据“痰液是否粘稠?”以及选项“是”和选项“否”。检测到用户点击“否”选项,则记录“痰液不粘稠”。检测到用户点击“是”,则记录“痰液粘稠”,语音播放设备输出第一语音数据“痰液是什么颜色的?A:透明,B:铁锈色,C:砖红色,D:金黄色脓痰,E:黄绿色脓痰。”,请一并参阅图6D,显示设备上显示第一语音数据转化后的文本数据“痰液是什么颜色的?A:透明,B:铁锈色,C:砖红色,D:金黄色脓痰,E:黄绿色脓痰。”检测到用户选择B,记录痰液为铁锈色。检测到用户点击选项B,则记录痰液为铁锈色。语音播放设备输出第一语音数据“您最近咳痰量多吗?”,请一并参阅图6E,显示设备显示第一语音数据转化后的文本数据“您最近咳痰量多吗?”以及选项A:多,B:不多不少,C:不多,检测到用户选择选项“多”,则记录“咳痰量多”。检测到用户选择选项“少”,则记录“咳痰量少”。最后控制语音播放设备输出“谢谢您的反馈”,请一并参阅图6F,显示设备上显示“谢谢您的反馈”。
在第三种情形中,所述交互设备仅包括显示设备,则所述通过所述交互设备感知用户的交互操作包括:通过所述显示设备呈现交互界面,所述交互界面包括交互元素,其中所述交互元素用于与用户进行交互;接收用户在所述交互界面上输入的交互操作(如点击、长按、输入文字)。即用户可以通过交互界面与电子设备进行交互。所述交互元素包括根据咳痰信息设置的第一选项;则所述交互操作包括作用于所述第一选项的触控操作。
可以通过多个交互界面分别呈现提问信息,也可以在交互界面上一次性地将所有问题呈现出来,让用户下拉拖动页面以回答问题。
示例性,请一并参阅图7A,在交互界面70上呈现问题1:“请问您本次咳嗽的咳痰信息与下述哪种最相符?”,并呈现第一选项“A:无痰、B:透明、C:铁锈色、D:砖红色、E:金黄色脓痰、F:黄绿色脓痰、G:其他输入”。问题2:“您最近咳痰量多吗?”,并呈现第一选项“A:多、B:不多不少、C:不多”。监控用户在交互界面70上对第一选项的交互操作,对于问题1,若用户点击选项A,则记录本次咳嗽无无痰。若用户点击选项B,则记录本次咳嗽痰液是透明。若用户点击选项C,则记录本次咳嗽痰液是铁锈色。若用户点击选项D,则记录本次咳嗽痰液是砖红色。若用户点击选项E,则记录本次咳嗽痰液是金黄色脓痰。若用户点击选项F,则记录本次咳嗽痰液是黄绿色脓痰。若用户点击选项G,用户可以直接文字输入相关信息,如可以输入“黄色”,或上传本次咳嗽痰液的图片。
在其中一种可能实现方式中,请一并参阅图7B,图7B与图7A的区别在于,在交互界面70上还呈现问题“请问您刚才咳嗽了吗?”,以及第一选项“是”和选项“否”。若用户选择“是”,则用户可以继续作答下面问题,若用户选择“否”,则用户结束本次回答。
在本申请实施例中,若是检测到当前为主动筛查场景,则可以显示图7A所示的交互界面70。若是检测到当前为被动筛查场景,则可以显示图7B所示的交互界面70,通过询问是否为用户本人咳嗽,避免识别到用户周围环境或其他人的咳嗽,为此需要兼顾考虑用户是否真实咳嗽的情况。
在其中一种可能实现方式中,若是通过显示设备显示交互界面,则可以通过振动、亮屏、提示声等手段吸引用户关注显示设备。若是在自动筛查场景,用户已经将注意力集中在显示设备上,则直接通过交互界面进行交互,如让用户勾选对应问题即可,此时可不输出语音,本申请对此不做具体限定。
在本申请实施例中,所述交互元素还包括痰液图片以及与所述痰液图片关联的交互控件,则所述交互操作包括作用于所述交互控件的触控操作。
其中,痰液图片可以为不同咳痰情况的痰液图片,不同的咳痰情况可以为无痰、痰液透明、痰液为铁锈色、痰液为砖红色、痰液为金黄色脓痰或痰液为黄绿色脓痰等,示例性地,请一并参阅图7C,图7C中的交互界面70呈现问题以及对应的图片,图7C中选项A对应的图片为无痰情况下的图片,图7C中选项B对应的图片为痰液透明的痰液图片,图7C中选项C对应的图片为痰液为铁锈色的痰液图片,图7C中选项D对应的图片为痰液为砖红色的痰液图片,图7C中选项E对应的图片为金黄色脓痰的痰液图片,图7C中选项F对应的图片为黄绿色脓痰的痰液图片。
其中,与痰液图片关联的交互控件可以为痰液图片下的选项按钮,如图7C中的选项“A”、“B”、“C”、“D”、“E”。用户点击选项,则选中该选项对应的痰液图片。交互控件还可以为设置在痰液图片周围的边框,用户点击痰液图片或边框,即选中该痰液图片。
在本申请实施例中,各个痰液图片所代表的咳痰信息不一样,若选中图7C中选项A对应的图片,则记录此次咳嗽无痰。若选中图7C中选项B对应的图片,则记录痰液透明。若选中图7C中选项C对应的图片,则记录此次痰液为铁锈色。若选中图7C中选项D对应的图片,则记录此次痰液为砖红色。若选中图7C中选项E对应的图片,则记录此次痰液为金黄色脓痰。若选中图7C中选项F对应的图片,则记录此次痰液为黄绿色脓痰。
其中,图7C与图7A的区别在于,将图7A中的各个选项以图片形式展示,便于用户快速确定。
在其中一种可能实现方式中,所述交互元素包括图片的取景框以及拍摄控件,则所述交互操作包括作用于所述拍摄控件的触控操作。
示例性地,请参阅图8A,交互界面70呈现弹窗,在弹窗内呈现问题,提问用户:“咳痰图片有助于呼吸感染准确筛查,帮助您进一步了解风险情况和采取对应措施,请确认是否允许拍照获得您的咳痰信息”。交互界面70上还包括三个选项按钮:A:无痰,不需要拍照;B:下次再说;C:同意拍照并上传信息。若用户选择选项A或B,则可以提示感谢用户反馈。若选择选项C,则进入拍摄界面80,请一并参阅图8B,拍摄界面中呈现预览窗格81、关闭控件82、拍摄控件83以及图库控件84,在预览窗格81中可以文字提示用户将正方形框对准痰液,或语音提示用户将正方形框对准痰液。用户点击关闭控件82则退出拍摄界面。用户点击拍摄控件83,则可以拍摄,拍照完成后保存图片并上传图片至云端服务器或本地。用户也可以使用电子设备自带的相机APP拍摄图片,然后用户点击图库控件84,以进入图库,从图库中选择对应的痰液图片。请一参阅图8C,交互界面70提示用户“图像采集完成”。交互界面70还可以出现弹窗询问用户其他咳痰信息,如痰液是否粘稠,痰液量是否多,如可以参考图6E,交互界面上呈现问题“您最近咳痰量多吗?”以及选项A:多,B:不多不少,C:不多,以获取更多咳痰信息。
在本申请实施例中,可以根据用户拍摄的痰液图片结合图像识别算法获得咳痰信息,如可以分析痰液的形状、颜色等以获得咳痰信息。示例性,如可以建立痰液识别模型,收集无痰图片、痰液透明图片、痰液为铁锈色的图片、痰液为砖红色的图片、痰液为金黄色脓痰的图片、痰液为黄绿色脓痰的图片、痰液较多的图片、痰液较少、痰液粘稠的图片和痰液不粘稠的图片,然后根据收集到的图片训练学习模型,训练完成的学习模型就是痰液识别模型。将用户上传的痰液图片输入痰液识别模型进行识别,最后可以得到对应咳痰信息。
可以理解,获取图像信息后,可以通过图像识别痰液颜色和粘稠度,可以通过图像分割和真实咳痰图片比对即可构造识别模型,获得对应信息,该图像识别过程可以在设备本地进行,也可以在云端服务器进行,本申请对此不做具体限定。
在本申请实施例中,在主动筛查场景下,此时用户已经将注意力集中在智能手表或手机的显示设备上,则直接通过交互界面提示用户授权拍照并上传照片。若为被动筛查场景,则已经识别到存在湿咳(咳嗽带痰)的概率较大或检测到咳嗽声音,但不一定就是用户本人咳嗽,还可能来自用户周遭环境或其他人,因此,还需要兼顾考虑用户是否真实咳嗽的情况,通过振动、亮屏、提示声等手段吸引用户关注显示设备来进行交互,如语音或文字弹窗提问“请问您刚才咳嗽了吗?”。
步骤S404:获取与所述交互操作对应的咳痰信息。
在本申请实施例中,咳痰信息包括:咳痰频次、痰液颜色、痰液粘稠度和痰液量等。其中,咳痰频次可以为一天之内咳痰的次数,或预设时间内咳痰的次数,可以通过监控是否检测到咳嗽声音,且综合该咳嗽是干咳还是湿咳,以确定在预设时间内咳痰的次数。其中,痰液颜色可以为透明、铁锈色、砖红色、金黄色或黄绿色等。痰液粘稠度可以为粘稠或不粘稠。其中,痰液量可以为预设时间内的痰液量,如每次咳痰的痰液量,或一天中的痰液量。
步骤S405:根据用户的生理指标和所述咳痰信息输出提醒信息。
在本申请实施例中,可以将咳痰信息输入呼吸感染筛查算法,进而通过呼吸感染筛查算法进行处理,以判断用户呼吸道是否异常,或判断用户是否呼吸感染。
在本申请实施例中,可选融合其他输入,辅助筛查呼吸感染风险,其他输入可包括但不限于:生理指标(体温、呼吸率、心率、血氧等)、用户病史、音频数据(咳嗽声音、深呼吸音、正常呼吸音、肺音、强制呼吸音等),其中,其他输入中的咳嗽声音用于筛查呼吸感染,可根据咳嗽音的音高、响度、频率等信息来筛查呼吸感染。示例性地,电子设备检测到用户咳嗽,记录用户的咳嗽声音,则开始执行本申请的筛查方法,获取用户的咳痰信息,并获取其他输入,如用户的生理指标,用户输入的病史、以及用户再次输入的咳嗽声音、深呼吸音、正常呼吸音、肺音、强制呼吸音等,将获得的信息输入呼吸感染筛查方法进行处理。
在其中一种可能实现方式中,可以将用户的生理指标和咳痰信息均输入至呼吸感染筛查算法,呼吸感染筛查算法的目的是通过生理指标、音频数据等额外辅助信息,帮助用户判断当前处于一种怎么样的呼吸感染风险情况,是普通感冒、扁桃体炎等轻度感染还是肺炎等严重感染,引导用户进行自我干预,甚至有些研究表明,可以在用户疾病发起之前预警,让用户关注和控制病程发展,这对于特殊人群很有意义,一个典型的例子是:患有慢性阻塞性肺疾病(COPD)的老年人,在罹患上呼吸道感染后,若未及时控制病情,则可以引发COPD加重,继而出现严重的呼吸并发症,危及生命,若在较早期得到关注(老年人自己或家属的关注),则有希望控制最终风险,减少死亡率。另一方面是在疫情防控方面,若筛查到感染程度还较轻,则不用去医院,以免染上其他流行病,若筛查到感染程度很重,则必须尽快就医,避免感染加重。
呼吸感染筛查算法是通过各类信息的正常表现、异常表现来搜集大数据,涵盖正常人分组和各种疾病人群分组,构建判断规则,来确定一个固定的机器学习模型。例如,通过体温升高、呼吸率提升、咳嗽频次来判断用户出现普通感冒的风险,通过各种疾病的典型症状可以,普通感冒通常是不出现发热的,因此普通感染风险较低。类似这样的设计和大数据建模后,可以确定一个模型(即算法)来根据传感器数据或用户输入来评估用户的呼吸感染风险。
步骤S406:根据用户的生理指标与所述咳嗽声音输出提醒信息。
在本申请实施例中,若没有咳痰信息,可以将用户的生理指标与咳嗽声音输入至呼吸感染筛查算法,以判断用户呼吸道是否有异常。可以重新将步骤S401中记录的咳嗽声音与用户的生理指标输入呼吸感染筛查算法,或,将用户的生理指标与重新记录的咳嗽声音输入呼吸感染筛查算法,或,将额外辅助信息(生理指标,如体温、呼吸率、心率、血氧等,用户病史、音频数据,如咳嗽声音、深呼吸音、正常呼吸音、肺音、强制呼吸音等)输入呼吸感染筛查算法,以判断用户呼吸道是否有异常。
在本申请实施例中,咳痰信息的作用在于对某些严重的病,有风险提示意义,例如:在肺炎中,细菌感染常伴有咳痰。铁锈色痰常提示肺炎链球菌感染,砖红色痰常提示肺炎克雷伯菌感染,金黄色脓痰常提示金黄色葡萄球菌感染,黄绿色脓痰常提示铜绿假单胞菌感染。肺炎支原体、肺炎衣原体、嗜肺军团菌等非典型致病原感染常表现为干咳、少痰。因此出现特定颜色和粘稠度的咳痰有提示风险的意义。有助于提升算法最终的筛查精度。
在本申请实施例中,提醒信息可包含但不限于:感染与否、风险等级、某一特定疾病风险、情况解读、建议、咳嗽音历史录制信息、当前或最近一段时间的生理指标数据等,其中感染与否,即或吸道感染或呼吸道未感染,风险等级包括未见异常或有异常,即呼吸道异常或非异常,或风险等级包括未见异常、低、中、高风险,即呼吸道非异常、呼吸道异常的风险低、呼吸道异常的风险中和呼吸道异常的风险高;某一特定疾病风险,如为流感的可能性或风险、为普通感冒的可能性或风险、为咽炎的可能性或风险、为喉炎的可能性或风险、为肺炎的可能性或风险和为支气管炎的可能性或风险等、或情况解读对用户近况数据解读和建议、咳嗽音历史录制信息、当前或最近一段时间的生理指标数据,如平均体温和呼吸率等。
请一并参阅图9A,呼吸感染筛查界面50上呈现风险等级为有异常,情况解读和建议为:“通过分析您的近期测量,您的呼吸通道感染风险较高,请您及时就医…”。记录的咳嗽音有三段音频,采集到的生理指标,平均温度37.1℃,呼吸率21次/分钟。请一并参阅图9B,呼吸感染筛查界面50上呈现风险等级为未见异常,情况解读和建议为:“通过分析您的近期测量,您的呼吸通道感染风险较低,请您继续保持良好的生活习惯…”,记录的咳嗽音有三段音频,采集到的生理指标,平均温度37.1℃,呼吸率21次/分钟。
当该APP连续多次识别到用户的病情比较严重,则可在用户打开APP时,提示用户是否愿意接受回访,以获得专家的帮助和答疑。若用户授权同意,则咳痰图片和对应咳痰颜色和粘稠度信息可以上传云端,医生在云端根据用户的整体情况决定干预手段并给用户提供帮助,包括但不限于电话回访、文字聊天交互、短信留言、视频对讲等方式。医生回访并非必须,但随着数字医疗不断深入,智能终端+传感器+医生远程诊断的模式的技术不断成熟,可以将咳痰信息可用于其中。
在本申请实施例中,主要是用于配合已有的呼吸感染筛查场景,将咳嗽声音作为驱动事件,及时获取用户的咳痰信息,并将咳痰信息配合其他输入来进行呼吸感染筛查,可确保咳痰信息有效性、筛查及时性并提高整体筛查准确度。
下面从用户角度介绍本申请实施例的主动筛查场景:
用户佩戴智能手表(或手环),该智能手表至少包括麦克风、生理数据获取传感器、扬声器、处理器、显示屏、摄像头,用户在智能手表上安装呼吸感染筛查APP,可用于个人呼吸感染筛查,用户点击呼吸感染筛查APP中的呼吸感染筛查功能,希望在短时间内了解自己的呼吸感染风险,呼吸感染筛查APP提示用户静坐并正确佩戴手表,智能手表通过生理数据获取传感器采集用户的生理数据,以获得生理指标。呼吸感染筛查APP提示用户进行一次深吸气,然后咳嗽至少一次。用户根据提示进行操作。手表的麦克风记录咳嗽声音,由处理器对咳嗽声音进行处理,若不为咳嗽,则结束,提示用户重新录入,否则识别干咳还是湿咳,若为干咳,则此时无咳痰信息,将该咳嗽声音以及无咳痰信息作为呼吸感染筛查算法输入,结束;否则为湿咳,此时用户有痰,通过手表的显示屏与用户进行交互,或通过麦克风和扬声器进行交互,获取用户咳痰信息,主要关注咳痰频次、颜色、粘稠度等信息,并将该信息作为呼吸感染筛查算法输入,可选交互方式包括但不限于:第一种方式:语音询问用户“有痰吗?”、“痰粘稠吗?”、“痰是什么颜色?”等问题,根据用户回答将用户回答的音频转换为答案信息,以得咳痰信息。第二种方式:手表显示屏上呈现筛查效用较高的典型痰图片或痰颜色图片,让用户选择最符合当前情况的一种,无痰也作为一种选项。第三种方式:提示用户拍摄痰的照片,根据痰的照片结合图像识别算法获得咳痰信息。将咳痰信息作为呼吸感染筛查算法输入,可选融合其他输入,辅助筛查呼吸感染风险并提示信息,其他输入可包括但不限于:生理特征(体温、呼吸率、心率、血氧等)、用户病史、音频数据(咳嗽音、深呼吸音、正常呼吸音、肺音、强制呼吸音等)。
在主动筛查场景中,可操作性强,将获取咳痰信息嵌入在整个筛查流程中,基本未增加时间成本,第一时间获得用户的咳痰信息,及时准确且直接将其用于呼吸感染筛查,可提升筛查精度。
下面从用户角度介绍本申请实施例的被动筛查场景:
用户佩戴智能手表(或手环),该智能手表至少包含麦克风、生理数据获取传感器、扬声器、处理器、显示屏、摄像头,用户在智能手表上安装呼吸感染筛查APP,可用于个人呼吸感染筛查,用户授权呼吸感染筛查AP,使得呼吸感染筛查APP可以后台运行,实时记录外界环境声音,以获得咳嗽声音。用户点击呼吸感染筛查APP中的呼吸感染筛查功能,希望在短时间内了解自己的呼吸感染风险,智能手表通过麦克风监测用户是否咳嗽,若用户咳嗽,则智能手表的麦克风记录咳嗽声音,将咳嗽音声音进行处理,识别干咳还是湿咳,若为干咳,则此时无咳痰信息,将该咳嗽声音和无咳痰信息作为筛查算法输入,结束;否则则为湿咳,智能手表通过振动、亮屏、提示音等引起用户注意并关注显示屏,弹窗询问用户“刚才咳嗽了吗?”,询问用户是否咳嗽,主要是为了规避记录到身边其他人咳嗽时的情况,若用户反馈未咳嗽,则结束,否则此时用户有痰,通过智能手表获取用户咳痰信息,主要关注咳痰频次、颜色、粘稠度等信息,并将该信息作为呼吸感染筛查算法输入,可选交互方式包括但不限于:第一种方式:语音询问用户“有痰吗?”、“痰粘稠吗?”、“痰是什么颜色?”等问题,根据用户回答将用户回答的音频转换为答案信息,以得咳痰信息。第二种方式:手表的显示屏上呈现筛查效用较高的典型痰图片或痰颜色图片,让用户选择最符合当前情况的一种,无痰也作为一种选项。第三种方式:提示用户拍摄痰的照片,根据痰的照片结合图像识别算法获得咳痰信息。将咳痰信息作为呼吸感染筛查算法输入,可选融合其他输入,辅助筛查呼吸感染风险并提示信息,其他输入可包括但不限于:生理特征(体温、呼吸率、心率、血氧等)、用户病史、音频数据(咳嗽音、深呼吸音、正常呼吸音、肺音、强制呼吸音等)。
在被动筛查场景中,可操作性强,将获取咳痰信息嵌入在整个筛查流程中,基本未增加时间成本,第一时间获得用户的咳痰信息,及时准确且直接将其用于呼吸感染筛查,可提升筛查精度,且相对于主动筛查场景,用户无感,设备进行后台监测并提示用户配合提供信息,场景化更强,后台监测的方式进一步提高了筛查的及时性。
在本申请实施例中,获取用户的咳嗽声音之后,自动判断干咳湿咳,不需要用户自行判断,可用于持续监听场景,最大程度提升了筛查的及时性。针对湿咳,及时地与用户交互,通过多种手段第一时间记录用户的咳痰信息,自然地、顺序地、符合场景地获取咳痰信息,让用户配合,以一种便利方式获取第一手咳痰信息,减少咳痰信息被遗忘或放置变质等干扰,精准获取最新信息。将咳痰信息及时结合其他输入,对用户进行呼吸感染筛查,加入咳痰信息后,可提升筛查准确度,且该方法加入后基本不影响整体筛查时间、成本,全部流程浑然天成。筛查结果帮助用户尽快干预疾病,早发现早干预。适应场景的及时筛查告警。
上述各个附图对应的流程的描述各有侧重,某个流程中没有详述的部分,可以参见其他流程的相关描述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。实现筛查的计算机程序产品包括一个或多个进行筛查的计算机指令,在计算机上加载和执行这些计算机程序指令时,全部或部分地产生按照本申请实施例图4所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(digital subscriber line,DSL))或无线(例如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如:固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (13)

1.一种筛查方法,其特征在于,所述方法包括:
检测到咳嗽声音,通过交互设备感知用户的交互操作;
获取与所述交互操作对应的咳痰信息;
根据所述咳痰信息输出提醒信息。
2.根据权利要求1所述的方法,其特征在于,其中,所述交互设备包括语音交互设备,则所述通过所述交互设备感知用户的交互操作包括:
通过所述语音交互设备输出第一语音数据,其中所述第一语音数据用于与用户进行交互;
接收用户于所述语音交互设备输出所述第一语音数据之后输入的交互操作,其中所述交互操作包括语音输入。
3.根据权利要求2所述的方法,其特征在于,其中,所述第一语音数据包括根据咳痰信息设置的引导话术,所述引导话术包括:通用回复式引导话术、校验式引导话术、选择式引导话术和询问式引导话术。
4.根据权利要求2或3所述的方法,其特征在于,其中,所述交互设备还可以包括显示设备;
所述显示设备显示所述第一语音数据转化后的文本数据和交互元素;
则所述交互操作还包括作用于所述交互元素的触控操作。
5.根据权利要求1所述的方法,其特征在于,其中,所述交互设备包括显示设备,则所述通过所述交互设备感知用户的交互操作包括:
通过所述显示设备呈现交互界面,所述交互界面包括交互元素,其中所述交互元素用于与用户进行交互;
接收用户在所述交互界面上输入的交互操作。
6.根据权利要求5所述的方法,其特征在于,所述交互元素包括根据咳痰信息设置的第一选项;
则所述交互操作包括作用于所述第一选项的触控操作。
7.根据权利要求5或6所述的方法,其特征在于,所述交互元素还包括痰液图片以及与所述痰液图片关联的交互控件;
则所述交互操作包括作用于所述交互控件的触控操作。
8.根据权利要求5至7任一项所述的方法,其特征在于,所述交互元素包括图片的取景框以及拍摄控件;
则所述交互操作包括作用于所述拍摄控件的触控操作。
9.根据权利要求1至7任一项所述的方法,其特征在于,所述咳痰信息包括:咳痰频次、痰液颜色和痰液粘稠度。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述根据所述咳痰信息输出提醒信息包括:
获取用户的生理指标;
根据所述生理指标和所述咳痰信息输出提醒信息。
11.一种电子设备,其特征在于,包括:
存储器,用于存储有计算机程序;
处理器,用于执行所述存储器存储的所述计算机程序,当所述计算机程序被执行时,所述处理器用于执行如权利要求1至10任意一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至10任意一项所述的方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码被一个计算机执行的时候,所述计算机程序代码可以使得所述计算机执行权利要求1至10任意一项的方法。
CN202110603113.0A 2021-05-31 2021-05-31 筛查方法、设备、存储介质及程序产品 Pending CN115414025A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110603113.0A CN115414025A (zh) 2021-05-31 2021-05-31 筛查方法、设备、存储介质及程序产品
PCT/CN2022/085099 WO2022252803A1 (zh) 2021-05-31 2022-04-02 筛查方法、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110603113.0A CN115414025A (zh) 2021-05-31 2021-05-31 筛查方法、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN115414025A true CN115414025A (zh) 2022-12-02

Family

ID=84230501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110603113.0A Pending CN115414025A (zh) 2021-05-31 2021-05-31 筛查方法、设备、存储介质及程序产品

Country Status (2)

Country Link
CN (1) CN115414025A (zh)
WO (1) WO2022252803A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009047756A2 (en) * 2007-10-11 2009-04-16 Bioview Ltd. Methods and kits for diagnosing lung cancer
US8758262B2 (en) * 2009-11-25 2014-06-24 University Of Rochester Respiratory disease monitoring system
KR102081241B1 (ko) * 2012-03-29 2020-02-25 더 유니버서티 어브 퀸슬랜드 환자 소리들을 처리하기 위한 방법 및 장치
CN202723829U (zh) * 2012-04-06 2013-02-13 肖遥 一种智能咳嗽监测评价系统
US11864880B2 (en) * 2017-12-21 2024-01-09 The University Of Queensland Method for analysis of cough sounds using disease signatures to diagnose respiratory diseases
CN109008992A (zh) * 2018-07-03 2018-12-18 秦昊宇 一种体征监控记录系统
CN109009129B (zh) * 2018-08-20 2019-06-04 南京农业大学 基于声学分析的母猪呼吸系统疾病预警系统
CN111681756A (zh) * 2020-05-29 2020-09-18 吾征智能技术(北京)有限公司 基于痰液性状认知的疾病征兆预测系统

Also Published As

Publication number Publication date
WO2022252803A1 (zh) 2022-12-08

Similar Documents

Publication Publication Date Title
US11191432B2 (en) Wearable health monitoring system
CN112577611B (zh) 一种人体温度测量方法、电子设备与计算机可读存储介质
KR20170033641A (ko) 전자 장치 및 전자 장치의 동작 제어 방법
CN108431764A (zh) 电子设备和用于控制电子设备操作的方法
KR20170033025A (ko) 전자 장치 및 전자 장치의 동작 제어 방법
CN112783330A (zh) 电子设备的操作方法、装置和电子设备
US20220148597A1 (en) Local artificial intelligence assistant system with ear-wearable device
WO2022100407A1 (zh) 智能眼罩、终端设备、健康管理方法与系统
CN113892920A (zh) 可穿戴设备的佩戴检测方法、装置及电子设备
CN115702993A (zh) 跳绳状态的检测方法及电子设备
WO2022237598A1 (zh) 一种睡眠状态检测方法与电子设备
WO2022068650A1 (zh) 指示听诊位置的方法及设备
CN113509145B (zh) 睡眠风险监测方法、电子设备及存储介质
CN115691754A (zh) 一种运动指导方法及相关装置
EP4088287A1 (en) Systems and methods including ear-worn devices for vestibular rehabilitation exercises
WO2022252803A1 (zh) 筛查方法、设备、存储介质及程序产品
Richer et al. Novel human computer interaction principles for cardiac feedback using google glass and Android wear
CN113764095A (zh) 用户健康管控方法和电子设备
WO2023197997A1 (zh) 穿戴设备、拾音方法及装置
US20240164725A1 (en) Physiological detection signal quality evaluation method, electronic device, and storage medium
WO2022100597A1 (zh) 动作自适应评价方法、电子设备和存储介质
US20210345894A1 (en) Systems and methods for using algorithms and acoustic input to control, monitor, annotate, and configure a wearable health monitor that monitors physiological signals
CN113693556A (zh) 运动后肌肉疲劳度的检测方法及装置、电子设备
CN115700847A (zh) 绘本阅读方法及相关设备
WO2024088049A1 (zh) 一种睡眠监测方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination