CN115344122B - 声波无创脑机接口及控制方法 - Google Patents
声波无创脑机接口及控制方法 Download PDFInfo
- Publication number
- CN115344122B CN115344122B CN202210976256.0A CN202210976256A CN115344122B CN 115344122 B CN115344122 B CN 115344122B CN 202210976256 A CN202210976256 A CN 202210976256A CN 115344122 B CN115344122 B CN 115344122B
- Authority
- CN
- China
- Prior art keywords
- blood flow
- cerebral blood
- control signal
- flow imaging
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003727 cerebral blood flow Effects 0.000 claims abstract description 174
- 238000003384 imaging method Methods 0.000 claims abstract description 167
- 230000000638 stimulation Effects 0.000 claims abstract description 112
- 238000004458 analytical method Methods 0.000 claims abstract description 65
- 230000009471 action Effects 0.000 claims abstract description 48
- 210000004556 brain Anatomy 0.000 claims abstract description 41
- 230000004044 response Effects 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims description 18
- 230000002490 cerebral effect Effects 0.000 claims description 15
- 230000005611 electricity Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 8
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 29
- 210000005036 nerve Anatomy 0.000 description 18
- 230000001276 controlling effect Effects 0.000 description 13
- 230000008035 nerve activity Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008344 brain blood flow Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000003925 brain function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000004936 stimulating effect Effects 0.000 description 4
- 230000001037 epileptic effect Effects 0.000 description 3
- 238000002582 magnetoencephalography Methods 0.000 description 3
- 206010010904 Convulsion Diseases 0.000 description 2
- 206010015037 epilepsy Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000001951 dura mater Anatomy 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 208000028329 epileptic seizure Diseases 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004007 neuromodulation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Neurosurgery (AREA)
- Pathology (AREA)
- Neurology (AREA)
- General Physics & Mathematics (AREA)
- Dermatology (AREA)
- Hematology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种声波无创脑机接口及控制方法,该脑机接口包括:超声脑血流成像模块、解析控制模块以及执行设备;其中,超声脑血流成像模块,用于实时获取目标对象的初始脑血流成像信息,并将初始脑血流成像信息发送至解析控制模块;解析控制模块,与超声脑血流成像模块相连接,用于获取初始脑血流成像信息,根据初始脑血流成像信息确定控制信号,并将控制信号发送至执行设备;其中,执行设备包括动作设备和/或超声刺激设备;执行设备,与解析控制模块相连接,用于接收控制信号,并根据控制信号执行响应动作。通过本发明实施例的技术方案,实现了提高脑机接口实时性和准确性、提高识别大脑内部神经活动的时空分辨率的效果。
Description
技术领域
本发明涉及脑机接口技术领域,尤其涉及一种声波无创脑机接口及控制方法。
背景技术
脑机接口(brain-computer interface,BCI)是通过在大脑内部神经与具有高生物相容性的外部设备间建立直接连接通路,实现脑与机之间信息交互与功能整合的人工智能技术。
目前,高分辨率的脑机接口使用电极阵列,通过脑部手术打开硬脑膜,并将电极直接植入大脑,存在高风险的问题。非植入性的脑机接口可以使用脑电图、脑磁图、功能近红外光谱以及功能性核磁共振成像等采集大脑电信号。但是,脑电图中的脑电信号存在信噪比和时空分辨率低的问题,脑磁图和功能性核磁共振成像存在系统体积大、价格昂贵以及操作复杂的问题,功能近红外光谱则存在信号延迟,导致实时性差的问题。
发明内容
本发明提供了一种声波无创脑机接口及控制方法,以实现提高脑机接口的实时性以及准确性、降低脑机接口的风险、提高对大脑内部神经元进行刺激的时空分辨率以及识别大脑内部神经活动的时空分辨率的效果。
根据本发明的一方面,提供了一种声波无创脑机接口,该脑机接口包括:超声脑血流成像模块、解析控制模块以及执行设备;其中,
所述超声脑血流成像模块,用于无创实时获取目标对象的初始脑血流成像信息,并将所述脑血流成像信息发送至所述解析控制模块;
所述解析控制模块,与所述超声脑血流成像模块相连接,用于获取所述初始脑血流成像信息,根据所述初始脑血流成像信息确定控制信号,并将所述控制信号发送至所述执行设备;其中,所述执行设备包括动作设备和/或超声刺激设备;
所述执行设备,与所述解析控制模块相连接,用于接收所述控制信号,并根据所述控制信号执行响应动作。
根据本发明的另一方面,提供了一种声波无创脑机接口的控制方法,该方法包括:
基于超声脑血流成像模块,获取目标对象的初始脑血流成像信息,并将所述初始脑血流成像信息发送至解析控制模块;
基于所述解析控制模块,获取所述初始脑血流成像信息,根据所述初始脑血流成像信息确定控制信号,并将所述控制信号发送至执行设备;其中,所述执行设备包括动作设备和/或超声刺激设备;
基于所述执行设备,接收所述控制信号,并根据所述控制信号执行响应动作。
本发明实施例的技术方案,基于超声脑血流成像模块获取目标对象的初始脑血流成像信息,并将初始脑血流成像信息发送至解析控制模块,基于解析控制模块获取初始脑血流成像信息,根据初始脑血流成像信息确定控制信号,并将控制信号发送至执行设备,基于执行设备接收控制信号,并根据控制信号执行响应动作,解决了有创脑机接口风险大、实时性差以及准确率低的问题,实现了提高脑机接口的实时性以及准确性、降低脑机接口的风险、提高对大脑内部神经元进行刺激的时空分辨率以及识别大脑内部神经活动的时空分辨率的效果。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一所提供的一种声波无创脑机接口的结构示意图;
图2为本发明实施例二所提供的一种声波无创脑机接口的结构示意图;
图3为本发明实施例二所提供的另一种声波无创脑机接口的结构示意图;
图4为本发明实施例二所提供的另一种声波无创脑机接口的结构示意图;
图5为本发明实施例三所提供的一种声波无创脑机接口的控制方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“初始”、“目标”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
实施例一
图1为本发明实施例一所提供的一种声波无创脑机接口的结构示意图,本实施例可适用于通过超声刺激进行神经调控,进而控制执行设备执行响应动作的情况,该脑机接口可以执行声波无创脑机接口的控制方法,该声波无创脑机接口可以采用硬件和/或软件的形式实现,该声波无创脑机接口可配置于电子设备中。
如图1所示,该脑机接口包括:超声脑血流成像模块1、解析控制模块2以及执行设备3。
其中,超声脑血流成像模块1,用于实时获取目标对象的初始脑血流成像信息,并将初始脑血流成像信息发送至解析控制模块2;解析控制模块2,与超声脑血流成像模块1相连接,用于获取初始脑血流成像信息,根据初始脑血流成像信息确定控制信号,并将控制信号发送至执行设备3;其中,执行设备3包括动作设备31和/或超声刺激设备32;执行设备3,与解析控制模块2相连接,用于接收控制信号,并根据控制信号执行响应动作。
超声脑血流成像模块1,用于实时获取目标对象的初始脑血流成像信息,并将初始脑血流成像信息发送至解析控制模块2。
其中,目标对象可以是通过神经控制执行设备3执行响应动作的对象,也可以理解为进行后续进行超声神经调控的对象,可以是人或动物等。动作意图可以是控制执行设备5进行的后续动作。初始脑血流成像信息可以是通过超声无创脑功能成像,如多普勒成像或者超分辨成像等,采集得到的三维脑血流图的相关信息。
具体的,可以通过无创超声脑功能成像采集和读取目标对象的脑血流成像信息,即为初始脑血流成像信息。进而,将初始脑血流成像信息发送至解析控制模块2,以进行进一步的解析和处理。
解析控制模块2,用于获取初始脑血流成像信息,根据初始脑血流成像信息确定控制信号,并将控制信号发送至执行设备3。
其中,执行设备3可以是用于响应控制信号执行响应动作的设备,执行设备3包括动作设备31和/或超声刺激设备32。动作设备31可以是语音设备、机械臂以及轮椅中的至少一种。超声刺激设备32可以是用于触发后续超声神经调控的动作的设备。控制信号可以是用于控制执行设备3进行响应动作的信号,可以是对初始脑血流成像信息进行转化得到的信号。
需要说明的是,语音设备可以是能够输出语音信息的设备。机械臂可以是机械手臂,通常是可编程的、具有人的手臂类似功能的设备。轮椅可以是电动轮椅,可以根据外部的控制信号进行移动的设备。
具体的,解析控制模块2可以接收超声脑血流成像模块1发送的初始脑血流成像信息。进而,解析控制模块2可以对初始脑血流成像信息进行分析,例如可以通过预先建立的解析模型等对初始脑血流成像信息进行处理,得到控制信号,并将控制信号发送至执行设备3,以控制执行设备3执行响应动作。
示例性的,可以对初始脑血流成像信息进行处理,例如:通过预处理提高信噪比,通过特征提取获取特征值等。通过机器学习或人工智能预先建立用于识别脑血流信号与控制信号之间的关系的模型,将初始脑血流成像信息输入至该模型中,可以得到与初始脑血流成像信息相对应的控制信号。
执行设备3,用于接收控制信号,并根据控制信号执行响应动作。
其中,响应动作可以是执行设备3执行的动作。
具体的,执行设备3可以接收解析控制模块2发送的控制信号,并对控制信号进行响应,在这种情况下,执行设备3可以执行控制信号所对应的响应动作。
可选的,在执行设备3为超声刺激设备32的情况下,超声刺激设备32用于:
接收控制信号,根据控制信号,确定与控制信号对应的超声刺激参数,并根据超声刺激参数对目标对象进行超声刺激。
其中,超声刺激参数包括超声频率,脉冲长度,脉冲重复频率,占空比,声压,刺激时间等。
具体的,超声刺激设备32可以接收解析控制模块2发送的控制信号。进而,根据控制信号确定出待进行的超声刺激所需的超声刺激参数,可以按照超声刺激参数对目标对象进行超声刺激,以通过超声刺激来调控大脑神经活动。
本发明实施例的技术方案,基于超声脑血流成像模块获取目标对象的初始脑血流成像信息,并将初始脑血流成像信息发送至解析控制模块,基于解析控制模块获取初始脑血流成像信息,根据初始脑血流成像信息确定控制信号,并将控制信号发送至执行设备,基于执行设备接收控制信号,并根据控制信号执行响应动作,解决了有创脑机接口风险大、实时性差以及准确率低的问题,实现了提高脑机接口的实时性以及准确性、降低脑机接口的风险、提高对大脑内部神经元进行刺激的时空分辨率以及识别大脑内部神经活动的时空分辨率的效果。
实施例二
图2为本发明实施例二所提供的一种声波无创脑机接口的结构示意图,在前述实施例的基础上,可以通过脑电信息采集模块采集对目标对象的初始脑电信息,以便根据参数脑电信号控制执行设备动作,其具体的实施方式可以参见本技术方案的详细阐述。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图2所示,该脑机接口包括:超声脑血流成像模块1、解析控制模块2以及执行设备3,还包括:脑电信息采集模块4。
其中,脑电信息采集模块4,用于获取目标对象的初始脑电信息,并将初始脑电信息发送至解析控制模块2。
其中,初始脑电信息可以是通过脑电设备采集得到的脑电信号的相关信息,可以是通过脑电设备采集得到的脑电信号的相关信息。
具体的,可以通过脑电信息采集模块4采集和读取目标对象的脑电信号,得到初始脑电信息。进而,可以将初始脑电信息发送至解析控制模块2,以通过解析控制模块2对初始脑电信息进行解析和后续控制。
需要说明的是,还可以通过脑磁图、功能近红外光谱以及功能性核磁共振成像等来获取大脑神经活动的相关信息,其过程与获取初始脑血流成像信息和初始脑电信息类似,因此,在本实施例中不做具体说明。
相应的,解析控制模块2还用于:
获取初始脑电信息,根据初始脑电信息确定控制信号,并将控制信号发送至执行设备3。
具体的,解析控制模块2可以接收脑电信息采集模块4发送的初始脑电信息。进一步的,可以对初始脑电信息进行处理,例如:通过预处理提高信噪比,通过特征提取获取特征值等。通过机器学习或人工智能预先建立用于识别脑电信号与动作意图之间的关系的模型,将处理结果输入至该模型中,可以得到初始脑电信息相对应的控制信号。进而,将控制信号发送至执行设备3,以控制执行设备3执行响应动作。
在上述示例的基础上,解析控制模块2在获取初始脑电信息之后,还可以综合初始脑电信息和初始脑血流成像信息,以得到更准确的控制信号,解析控制模块2还用于:
获取初始脑血流成像信息以及初始脑电信息,根据初始脑血流成像信息以及初始脑电信息确定控制信号,并将控制信号发送至执行设备3。
具体的,解析控制模块2可以接收超声脑血流成像模块1发送的参数脑血流成像信息,并接收脑电信息采集模块4发送的初始脑电信息,对初始脑血流成像信息和初始脑电信息进行综合分析,例如可以通过预先建立的解析模型等对初始脑血流成像信息和初始脑电信息进行联合处理,得到控制信号,并将控制信号发送至执行设备3,以控制执行设备3执行响应动作。
图3为本发明实施例二所提供的另一种声波无创脑机接口的结构示意图,在前述实施例的基础上,针对解析控制模块和超声刺激设备的具体结构可以参见本技术方案的详细阐述。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图3所示,该脑机接口包括:超声脑血流成像模块1、解析控制模块2以及执行设备3,解析控制模块2包括:预处理和特征提取单元21、控制信号确定单元22以及控制信号输出单元23。
预处理和特征提取单元21,用于获取初始脑血流成像信息,对初始脑血流成像信息进行预处理,并对预处理后的初始脑血流成像信息进行特征提取,确定与初始脑血流成像信息对应的特征信息,并将特征信息发送至控制信号确定单元22。
其中,特征信息可以是对参数脑血流成像信息进行特征提取后得到的特征值,用于描述目标对象的大脑神经运动。
具体的,预处理和特征提取单元21可以对接收到的参数脑血流成像信息进行预处理,以去除伪迹、去除工频等,具体可以是放大、滤波、模数转换等处理,得到预处理后的初始脑血流成像信息。进一步的,可以通过时域、频域、空域等特征提取方式对预处理后的初始脑血流成像信息进行特征提取,得到特征信息,并将特征信息发送至控制信号确定单元22。
控制信号确定单元22,与预处理和特征提取单元21相连接,用于获取特征信息,并将特征信息输入至预先建立的脑血流信号分类模型中,得到与初始脑血流成像信息相对应的初始控制信号,并将初始控制信号发送至控制信号输出单元23。
其中,脑血流信号分类模型可以是用于分析脑血流图像信息的特征信息对应的控制信号的模型,可以是机器学习模型、深度学习模型、人工智能模型等。需要说明的是,脑血流信号分类模型可以是基于样本脑血流图像信息、样本脑血流图像信息对应的特征信息和样本脑血流图像信息对应的控制信号训练得到的模型,以通过脑血流信号分类模型对特征信息进行识别分类,确定特征信息对应的控制信号,即初始控制信号。初始控制信号可以是脑血流信号分类模型输出的信号,用于表示控制意图,而非不同类型的执行设备3能够识别的控制信号。
具体的,控制信号确定单元22可以接收预处理和特征提取单元21发送的特征信息,并将特征信息输入至预先建立的脑血流信号分类模型中,得到输出结果,即为与初始脑血流成像信息相对应的初始控制信号。进而,将初始控制信号发送至控制信号输出单元23。
控制信号输出单元23,与控制信号确定单元22相连接,用于接收初始控制信号,将初始控制信号转换为执行设备3对应的目标控制信号,并将目标控制信号发送至执行设备3。
其中,目标控制信号可以是根据初始控制信号确定出的用于控制执行设备3执行响应动作的信号,可以理解为控制执行设备3的具体指令,可以被执行设备3所识别。示例性的,执行设备3为机械臂,初始控制信号为向上,那么,目标控制信号可以是控制机械臂向上抬起的指令信号。
具体的,控制信号输出单元23可以接收控制信号确定单元22发送的初始控制信号,并根据初始控制信号确定用于控制执行设备3进行动作的目标控制信号,具体可以是根据预先建立的初始控制信号和目标控制信号的对应关系确定。进而,将目标控制信号发送至执行设备3,以控制执行设备3执行响应动作。
可选的,如图3所示,执行设备3包括超声刺激设备32,超声刺激设备32包括:超声刺激参数确定单元321以及超声发射器322。
超声刺激参数确定单元321,用于接收控制信号,并根据预先建立的控制信号与超声刺激参数的对应关系,确定与控制信号相对应的超声刺激参数,并根据超声刺激参数对超声发射器322进行参数设置。
需要说明的是,可以预先建立控制信号和超声刺激参数的对应关系,例如,可以建立控制信号与超声频率的对应关系,还可以建立用于进行超声刺激时所使用的脉冲长度,脉冲重复频率,占空比,声压,刺激时间等,以便通过超声刺激对大脑神经活动进行更好调控。
具体的,超声刺激参数确定单元321可以接收解析控制模块2发送的控制信号,并根据预先建立的控制信号与超声刺激参数的对应关系,确定与控制信号对应的超声刺激参数,以便后续根据该超声刺激参数对目标对象进行超声刺激。进而,可以按照超声刺激参数对超声发射器322进行参数设置,以使超声发射器322发出的超声波与需求相一致。
还需要说明的是,若不能确定出某些超声刺激参数,则可以使用默认参数值进行设置,在后续刺激和反馈的过程中进行调整,根据调整好的参数值更新控制信号与超声刺激参数的对应关系。
超声发射器322,与超声刺激参数确定单元321相连接,用于在参数设置完成时,对目标对象进行超声刺激。
具体的,在对超声发射器322进行参数设置之后,可以通过超声发射器322向目标对象的目标部位(如:大脑)进行超声刺激,以促使目标对象的大脑神经活动与控制信号相对应,进而调控大脑神经活动。
需要说明的是,通过超声刺激设备32执行的响应动作确定超声刺激参数并对目标对象进行超声刺激后,还可以进一步通过超声脑血流成像模块1获取超声刺激时的目标脑血流成像信息,以判断是否继续通过超声刺激设备32对目标对象进行神经调控。因此,通过上述技术方案可以实现闭环脑机接口。
可选的,超声脑血流成像模块1,还用于:
获取基于超声刺激设备321对目标对象进行超声刺激时的目标脑血流成像信息。
其中,目标脑血流成像信息可以是对目标对象进行超声刺激时,通过超声无创脑功能成像,如多普勒成像或者超分辨成像等,采集得到的三维脑血流图的相关信息。
具体的,在通过超声刺激设备321对目标对象进行超声刺激时,超声脑血流成像模块1可以无创且实时的获取目标脑血流成像信息。
可选的,解析控制模块2,还用于:
获取目标脑血流成像信息,在目标脑血流成像信息不满足预设条件的情况下,根据目标脑血流成像信息更新控制信号,并更新后的控制信号发送至超声刺激设备321。
其中,预设条件可以是预先设置的停止超声刺激设备321继续进行超声刺激的条件,例如:癫痫检测条件等。
具体的,获取超声脑血流成像模块1发送的目标脑血流成像信息,判断目标脑血流成像信息是否满足预设条件,若满足,则停止生成控制信号,停止对目标对象进行超声调控,若不满足,则根据目标脑血流成像信息确定与目标脑血流成像信息对应的控制信号,以更新控制信号,进而,可以将更新后的控制信号发送至超声刺激设备321,以通过超声刺激设备321对目标对象进行超声调控。
需要说明的是,确定与目标脑血流成像信息对应的控制信号的过程与确定与初始脑血流成像信息对应的控制信号相类似,在此不再赘述。
示例性的,通过超声脑血流成像模块1获取目标对象的初始脑血流成像信息,解析控制模块2对初始脑血流成像信息进行解析,确定当前处于癫痫发作状态,生成癫痫控制信号发送至超声刺激设备321,以通过超声刺激设备321对目标对象进行神经调控。进而,持续的且实时的通过超声脑血流成像模块1获取目标对象的目标脑血流成像信息,解析控制模块2对目标脑血流成像信息进行解析,判断是否仍处于癫痫发作状态,若是,则继续生成癫痫控制信号发送至超声刺激设备321,以通过超声刺激设备321对目标对象进行神经调控,若否,则表明目标对象已恢复正常,可以停止后续操作。
图4为本发明实施例二所提供的另一种声波无创脑机接口的结构示意图。
如图4所示,所述脑机接口包括:信号采集模块、脑神经信号预处理与特征提取模块、脑血流信号分类模块、控制输出模块以及无创神经编码模块。
信号采集模块:实现对大脑神经活动信号的实时采集和读取。可以是利用无创超声脑功能成像(多普勒成像、超分辨成像等)对大脑的脑血流信号(初始脑血流成像信息或者目标脑血流成像信息)进行读取。还可以通过该信号采集模块来采集脑血流信号以及其他脑电信号、近红外等其他影像信号,以进行多模态脑神经信号采集。
脑神经信号预处理与特征提取模块:对信号采集模块读取的脑血流信号进行预处理,以提高信噪比来为特征提取提供高信噪比数据。然后,提取预处理后的脑血流信号对应的特征值(特征信息)。
脑血流信号分类模块:利用机器学习或人工智能方法建立脑血流信号特征与控制信号之间的关系,确定脑神经信号预处理与特征提取模块输出的特征值对应的控制信号(初始控制信号)。
控制输出模块:将上述脑血流信号分类模块输出的控制信号转化为控制外部设备(执行设备)的具体指令(目标控制信号),以实现对外部设备的控制。控制输出模块可以包括外部设备,例如语音模块、假肢、轮椅等。外部设备响应具体指令,进行相应的动作(响应动作)。
无创神经编码模块:利用外部设备控制超声波刺激大脑,调控中枢神经活动。具体可以是根据外部设备执行的响应动作,确定超声刺激参数,以进行超声刺激。
通过上述声波无创脑机接口,可以利用无创超声脑功能成像技术对大脑神经活动进行实时动态的读取,然后经过放大、滤波、模数转换等处理转换为可以被计算机识别的信号,进一步,对信号进行预处理,并提取特征信号,再利用这些特征信号进行模式识别,解码神经信息,最后将神经信息转化为控制外部设备的具体指令,以实现对外部设备的控制。
通过上述声波无创脑机接口,还可以利用脑电图等现有的神经信息读取技术对大脑神经活动进行实时动态的读取,然后经过放大、滤波、模数转换等处理转换为可以被计算机识别的信号,进一步,对信号进行预处理,提取特征信号,再利用这些特征信号进行模式识别,解码神经信息,最后将神经信息转化为控制外部设备的具体指令,外部设备响应指令执行响应动作。利用外部设备的响应动作可以触发无创超声神经调控技术,对目标对象进行超声刺激,实现对大脑神经活动的“再编码”,实现闭环脑机接口。
通过上述声波无创脑机接口,还可以利用无创超声脑功能成像技术对大脑神经活动进行实时动态的读取,然后经过放大、滤波、模数转换等处理转换为可以被计算机识别的信号,进一步,对信号进行预处理,并提取特征信号,再利用这些特征信号进行模式识别,解码神经信息,将神经信息转化为控制外部设备的具体指令,外部设备响应指令执行响应动作。利用外部设备的响应动作可以触发无创超声神经调控技术,对目标对象进行超声刺激,实现对大脑神经活动的“再编码”,实现无创超声闭环脑机接口。
本发明实施例的技术方案,基于脑电信息采集模块获取目标对象的初始脑电信息,并将初始脑电信息发送至解析控制模块,基于解析控制模块获取初始脑电信息,根据初始脑电信息确定控制信号,并将控制信号发送至执行设备,解决了大脑内部神经信号获取方式单一以及解析不准确的问题,实现了提高大脑神经信号解析准确性,进而提高脑机接口的准确性,提高识别大脑内部神经活动的时空分辨率的效果。
实施例三
图5为本发明实施例三所提供的一种声波无创脑机接口的控制方法的流程示意图。如图5所示,该方法应用于声波无创脑机接口中,声波无创脑机接口包括:超声脑血流成像模块、解析控制模块以及执行设备,该方法包括:
S510、基于超声脑血流成像模块,获取目标对象的初始脑血流成像信息,并将初始脑血流成像信息发送至解析控制模块。
S520、基于解析控制模块,获取初始脑血流成像信息,根据初始脑血流成像信息确定控制信号,并将控制信号发送至执行设备。
其中,执行设备包括动作设备和/或超声刺激设备。
S530、基于执行设备,接收控制信号,并根据控制信号执行响应动作。
可选的,所述执行设备包括超声刺激设备,所述方法还包括:基于超声刺激设备,接收所述控制信号,根据所述控制信号,确定与所述控制信号对应的超声刺激参数,并根据所述超声刺激参数对所述目标对象进行超声刺激。
可选的,所述超声刺激设备,包括:超声刺激参数确定单元以及超声发射器,所述方法还包括:基于超声刺激参数确定单元,接收所述控制信号,并根据预先建立的控制信号与超声刺激参数的对应关系,确定超声刺激参数,并根据所述超声刺激参数对所述超声发射器进行参数设置;基于超声发射器,在参数设置完成时,对所述目标对象进行超声刺激。
可选的,所述方法还包括:基于超声脑血流成像模块,获取基于所述超声刺激设备对所述目标对象进行超声刺激时的目标脑血流成像信息。
可选的,所述方法还包括:基于解析控制模块,获取所述目标脑血流成像信息,在所述目标脑血流成像信息不满足预设条件的情况下,根据所述目标脑血流成像信息更新所述控制信号,并更新后的控制信号发送至所述超声刺激设备。
可选的,所述脑机接口还包括:脑电信息采集模块;所述方法还包括:基于脑电信息采集模块,获取目标对象的初始脑电信息,并将所述初始脑电信息发送至所述解析控制模块;相应的,还包括:基于解析控制模块,获取所述初始脑电信息,根据所述初始脑电信息确定控制信号,并将所述控制信号发送至执行设备。
可选的,所述脑机接口还包括:脑电信息采集模块;所述方法还包括:基于解析控制模块,获取所述初始脑血流成像信息以及初始脑电信息,根据初始脑血流成像信息以及初始脑电信息确定控制信号,并将所述控制信号发送至执行设备。
可选的,所述解析控制模块包括:预处理和特征提取单元、控制信号确定单元以及控制信号输出单元;所述方法还包括:基于所述预处理和特征提取单元,获取所述初始脑血流成像信息,对所述初始脑血流成像信息进行预处理,并对预处理后的初始脑血流成像信息进行特征提取,确定与所述初始脑血流成像信息对应的特征信息,并将所述特征信息发送至所述控制信号确定单元;基于所述控制信号确定单元,获取所述特征信息,并将所述特征信息输入至预先建立的脑血流信号分类模型中,得到与所述初始脑血流成像信息相对应的初始控制信号,并将所述初始控制信号发送至所述控制信号输出单元;基于所述控制信号输出单元,接收所述初始控制信号,将所述初始控制信号转换为所述执行设备对应的目标控制信号,并将所述目标控制信号发送至所述执行设备。
可选的,所述执行设备包括动作设备,所述动作设备包括语音设备、机械臂以及轮椅中的至少一种。
本发明实施例的技术方案,基于超声脑血流成像模块获取目标对象的初始脑血流成像信息,并将初始脑血流成像信息发送至解析控制模块,基于解析控制模块获取初始脑血流成像信息,根据初始脑血流成像信息确定控制信号,并将控制信号发送至执行设备,基于执行设备接收控制信号,并根据控制信号执行响应动作,解决了有创脑机接口风险大、实时性差以及准确率低的问题,实现了提高脑机接口的实时性以及准确性、降低脑机接口的风险、提高对大脑内部神经元进行刺激的时空分辨率以及识别大脑内部神经活动的时空分辨率的效果。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (8)
1.一种声波无创脑机接口,其特征在于,包括:超声脑血流成像模块、解析控制模块以及执行设备;其中,
所述超声脑血流成像模块,用于实时获取目标对象的初始脑血流成像信息,并将所述初始脑血流成像信息发送至所述解析控制模块;
所述解析控制模块,与所述超声脑血流成像模块相连接,用于获取所述初始脑血流成像信息,根据所述初始脑血流成像信息确定控制信号,并将所述控制信号发送至所述执行设备;其中,所述执行设备包括动作设备和/或超声刺激设备;
所述执行设备,与所述解析控制模块相连接,用于接收所述控制信号,并根据所述控制信号执行响应动作;
所述执行设备包括超声刺激设备,所述超声刺激设备用于:
根据执行设备执行的响应动作,确定超声刺激参数,并根据所述超声刺激参数对所述目标对象进行超声刺激;
所述超声脑血流成像模块,还用于:
获取基于所述超声刺激设备对所述目标对象进行超声刺激时的目标脑血流成像信息,其中,所述目标脑血流成像信息可以是对目标对象进行超声刺激时,通过所述超声脑血流成像模块采集得到的三维脑血流图的相关信息;
所述解析控制模块,还用于:
获取所述目标脑血流成像信息,在所述目标脑血流成像信息不满足预设条件的情况下,根据所述目标脑血流成像信息更新所述控制信号,并更新后的控制信号发送至所述超声刺激设备。
2.根据权利要求1所述的脑机接口,其特征在于,所述超声刺激设备还用于:
接收所述控制信号,根据所述控制信号,确定与所述控制信号对应的超声刺激参数,并根据所述超声刺激参数对所述目标对象进行超声刺激。
3.根据权利要求2所述的脑机接口,其特征在于,所述超声刺激设备,包括:超声刺激参数确定单元以及超声发射器;其中,
所述超声刺激参数确定单元,用于接收所述控制信号,并根据预先建立的控制信号与超声刺激参数的对应关系,确定超声刺激参数,并根据所述超声刺激参数对所述超声发射器进行参数设置;
所述超声发射器,与所述超声刺激参数确定单元相连接,用于在参数设置完成时,对所述目标对象进行超声刺激。
4.根据权利要求1所述的脑机接口,其特征在于,还包括:脑电信息采集模块;其中,
所述脑电信息采集模块,用于获取目标对象的初始脑电信息,并将所述初始脑电信息发送至所述解析控制模块;
相应的,所述解析控制模块还用于:
获取所述初始脑电信息,根据所述初始脑电信息确定控制信号,并将所述控制信号发送至执行设备。
5.根据权利要求4所述的脑机接口,其特征在于,所述解析控制模块还用于:
获取所述初始脑血流成像信息以及初始脑电信息,根据初始脑血流成像信息以及初始脑电信息确定控制信号,并将所述控制信号发送至执行设备。
6.根据权利要求1所述的脑机接口,其特征在于,所述解析控制模块包括:预处理和特征提取单元、控制信号确定单元以及控制信号输出单元;其中,
所述预处理和特征提取单元,用于获取所述初始脑血流成像信息,对所述初始脑血流成像信息进行预处理,并对预处理后的初始脑血流成像信息进行特征提取,确定与所述初始脑血流成像信息对应的特征信息,并将所述特征信息发送至所述控制信号确定单元;
所述控制信号确定单元,与所述预处理和特征提取单元相连接,用于获取所述特征信息,并将所述特征信息输入至预先建立的脑血流信号分类模型中,得到与所述初始脑血流成像信息相对应的初始控制信号,并将所述初始控制信号发送至所述控制信号输出单元;
所述控制信号输出单元,与所述控制信号确定单元相连接,用于接收所述初始控制信号,将所述初始控制信号转换为所述执行设备对应的目标控制信号,并将所述目标控制信号发送至所述执行设备。
7.根据权利要求1所述的脑机接口,其特征在于,所述执行设备包括动作设备,所述动作设备包括语音设备、机械臂以及轮椅中的至少一种。
8.一种声波无创脑机接口的控制方法,其特征在于,包括:
基于超声脑血流成像模块,获取目标对象的初始脑血流成像信息,并将所述初始脑血流成像信息发送至解析控制模块;
基于所述解析控制模块,获取所述初始脑血流成像信息,根据所述初始脑血流成像信息确定控制信号,并将所述控制信号发送至执行设备;其中,所述执行设备包括动作设备和/或超声刺激设备;
基于所述执行设备,接收所述控制信号,并根据所述控制信号执行响应动作;
所述执行设备包括超声刺激设备,所述超声刺激设备用于:
根据执行设备执行的响应动作,确定超声刺激参数,并根据所述超声刺激参数对所述目标对象进行超声刺激;
所述超声脑血流成像模块,还用于:
获取基于所述超声刺激设备对所述目标对象进行超声刺激时的目标脑血流成像信息,其中,所述目标脑血流成像信息可以是对目标对象进行超声刺激时,通过所述超声脑血流成像模块采集得到的三维脑血流图的相关信息;
所述解析控制模块,还用于:
获取所述目标脑血流成像信息,在所述目标脑血流成像信息不满足预设条件的情况下,根据所述目标脑血流成像信息更新所述控制信号,并更新后的控制信号发送至所述超声刺激设备。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210976256.0A CN115344122B (zh) | 2022-08-15 | 2022-08-15 | 声波无创脑机接口及控制方法 |
PCT/CN2022/132605 WO2024036794A1 (zh) | 2022-08-15 | 2022-11-17 | 声波无创脑机接口及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210976256.0A CN115344122B (zh) | 2022-08-15 | 2022-08-15 | 声波无创脑机接口及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115344122A CN115344122A (zh) | 2022-11-15 |
CN115344122B true CN115344122B (zh) | 2024-06-18 |
Family
ID=83951458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210976256.0A Active CN115344122B (zh) | 2022-08-15 | 2022-08-15 | 声波无创脑机接口及控制方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115344122B (zh) |
WO (1) | WO2024036794A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115344122B (zh) * | 2022-08-15 | 2024-06-18 | 中国科学院深圳先进技术研究院 | 声波无创脑机接口及控制方法 |
CN115813344A (zh) * | 2022-12-09 | 2023-03-21 | 天津大学 | 一种基于声电脑成像的深部脑刺激无创监测系统 |
CN118778797A (zh) * | 2023-04-04 | 2024-10-15 | 曹庆恒 | 一种脑机信号安全系统及其使用方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012131418A1 (en) * | 2011-03-30 | 2012-10-04 | Centre National De La Recherche Scientifique - Cnrs - | Method for ultrasound functional imaging, man-machine interface method and apparatus using such methods |
CN114366126A (zh) * | 2022-01-28 | 2022-04-19 | 燕山大学 | 一种闭环脑电调控方法及系统 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
KR101430557B1 (ko) * | 2012-10-25 | 2014-08-18 | 계명대학교 산학협력단 | 실시간 뇌 혈류 반응을 이용한 뇌 자극 시스템 |
KR101680995B1 (ko) * | 2013-03-15 | 2016-11-29 | 인텔 코포레이션 | 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템 |
KR101470588B1 (ko) * | 2013-05-24 | 2014-12-10 | 고려대학교 산학협력단 | 뇌-뇌 인터페이스 장치 및 방법 |
EP2868343A1 (en) * | 2013-10-31 | 2015-05-06 | Ecole Polytechnique Federale De Lausanne (EPFL) EPFL-TTO | System to deliver adaptive electrical spinal cord stimulation to facilitate and restore locomotion after a neuromotor impairment |
FR3023156B1 (fr) * | 2014-07-02 | 2016-08-05 | Centre Nat Rech Scient | Procede et dispositif d'imagerie fonctionnelle du cerveau |
CN104826243B (zh) * | 2015-05-15 | 2018-02-27 | 深圳先进技术研究院 | 一种超声刺激神经组织的装置 |
US20210361967A1 (en) * | 2018-05-01 | 2021-11-25 | Brainsway Ltd. | Device and method for real-time closed-loop brain stimulation |
CN110448334A (zh) * | 2019-08-12 | 2019-11-15 | 云南中医药大学 | 一种血管成像的检测方法 |
US20210353439A1 (en) * | 2020-05-12 | 2021-11-18 | California Institute Of Technology | Decoding movement intention using ultrasound neuroimaging |
CN112402792A (zh) * | 2020-11-04 | 2021-02-26 | 深圳中科华意科技有限公司 | 一种神经调控装置及方法 |
WO2022120760A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 超声唤醒系统 |
CN112657033B (zh) * | 2020-12-10 | 2022-12-13 | 中国科学院深圳先进技术研究院 | 超声唤醒系统 |
CN113197564A (zh) * | 2021-04-27 | 2021-08-03 | 燕山大学 | 一种用于清醒动物的便携式神经血管耦合检测装置 |
CN113918008B (zh) * | 2021-08-30 | 2024-06-25 | 北京大学 | 一种基于源空间脑磁信号解码的脑机接口系统及应用方法 |
CN114201041B (zh) * | 2021-11-09 | 2024-01-26 | 北京电子工程总体研究所 | 一种基于脑机接口的人机交互指挥方法和装置 |
CN115344122B (zh) * | 2022-08-15 | 2024-06-18 | 中国科学院深圳先进技术研究院 | 声波无创脑机接口及控制方法 |
-
2022
- 2022-08-15 CN CN202210976256.0A patent/CN115344122B/zh active Active
- 2022-11-17 WO PCT/CN2022/132605 patent/WO2024036794A1/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012131418A1 (en) * | 2011-03-30 | 2012-10-04 | Centre National De La Recherche Scientifique - Cnrs - | Method for ultrasound functional imaging, man-machine interface method and apparatus using such methods |
CN114366126A (zh) * | 2022-01-28 | 2022-04-19 | 燕山大学 | 一种闭环脑电调控方法及系统 |
Non-Patent Citations (1)
Title |
---|
Aya Khalaf etal.."A novel motor imagery hybrid brain computer interface using EEG and functional transcranial Doppler ultrasound".《Journal of Neuroscience Methods Volume》.2019,第313卷44-53. * |
Also Published As
Publication number | Publication date |
---|---|
WO2024036794A1 (zh) | 2024-02-22 |
CN115344122A (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115344122B (zh) | 声波无创脑机接口及控制方法 | |
Shivappa et al. | Home automation system using brain computer interface paradigm based on auditory selection attention | |
CN113181569B (zh) | 一种闭环经颅脑刺激系统及方法 | |
CN110974212A (zh) | 一种融合心电和肌电特征的康复训练运动状态监测方法及系统 | |
Raspopovic et al. | Neural signal recording and processing in somatic neuroprosthetic applications. A review | |
CN109391891A (zh) | 用于运行听力设备的方法和听力设备 | |
CN104857640A (zh) | 一种闭环式经颅超声脑刺激装置 | |
CN114587371A (zh) | 一种可长期植入的微型无线光遗传刺激脑机接口系统 | |
JP2009531077A (ja) | エフェクターのリアル・タイム制御のための装置と方法 | |
CN105251141A (zh) | 一种闭环式经颅磁声刺激装置 | |
CN106943217A (zh) | 一种反馈式人体假肢控制方法和系统 | |
CN115192907A (zh) | 一种实时生物反馈经皮迷走神经电子针灸装置 | |
Khorasani et al. | Brain control of an external device by extracting the highest force-related contents of local field potentials in freely moving rats | |
Wu et al. | Signal Processing for Brain–Computer Interfaces: A review and current perspectives | |
CN112200221B (zh) | 基于电阻抗成像和脑电图信号的癫痫预测系统及其方法 | |
CN107510890A (zh) | 功能性脑深部电刺激控制系统及方法 | |
CN113146618B (zh) | 机械臂的控制方法、系统、电子设备及存储介质 | |
CN116831874A (zh) | 一种基于肌电信号的下肢康复器控制方法 | |
CN115758119A (zh) | 一种基于脑机接口和动作识别的瘫痪患者监护系统 | |
CN115227263A (zh) | 基于EEG信号theta振荡进行调控的神经刺激系统 | |
CN115363602A (zh) | 一种基于实时脑电信号的注意力提升系统 | |
Trifonov et al. | Biotechnical system for control to the exoskeleton limb based on surface myosignals for rehabilitation complexes | |
Cimolato et al. | Modern approaches of signal processing for bidirectional neural interfaces | |
CN111905229A (zh) | 一种基于5g的钢琴音乐催眠治疗控制系统及方法 | |
Lu et al. | A semi-asynchronous real-time facial expression assisted brain control method: An extension |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |