CN111134692A - 一种脑电信号多维度特征图片序列的生成方法 - Google Patents
一种脑电信号多维度特征图片序列的生成方法 Download PDFInfo
- Publication number
- CN111134692A CN111134692A CN201911116301.XA CN201911116301A CN111134692A CN 111134692 A CN111134692 A CN 111134692A CN 201911116301 A CN201911116301 A CN 201911116301A CN 111134692 A CN111134692 A CN 111134692A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- characteristic
- matrix
- seconds
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000001228 spectrum Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000003595 spectral effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 12
- 210000004556 brain Anatomy 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 8
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 claims description 7
- 230000005611 electricity Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008451 emotion Effects 0.000 abstract description 11
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 3
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种脑电信号多维度特征图片序列的生成方法,该生成方法包括如下步骤:S1、生成正方形矩阵;S2、提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;S5、从原始信号形成脑电特征矩阵,再形成脑电特征序列;S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;S7、构建脑电多维度特征帧序列,本发明对下一步提取图像和情感分类识别奠定了基础,有效推动了脑电信号检测和情感识别的结合以及发展应用。
Description
技术领域
本发明涉及脑电信号技术领域,尤其涉及一种脑电信号多维度特征图片序列的生成方法。
背景技术
在情感是人类智能的一个重要标志,因此作为人工智能的重要标志之一就是机器能够理解人类的情感。通过人类的行为、面部表情或者生理信号进行的情感识别逐渐成为研究的热点。然而,在某些社会场景中人们经常有意的通过改变声音或者掩盖表情来遮掩自己的内心的真实情感,出于这个原因,研究者更趋向于通过脑电信号、眼动信号、体温信号、血压信号以及肌电信号这类生理信号对人们的真实情感状态进行识别。其中,脑电信号由于直接反映了人们大脑的活动状态,从而更加受到研究者的重视,因此需要提出一种脑电信号特征帧生成方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点,而提出的一种脑电信号多维度特征图片序列的生成方法。
为了实现上述目的,本发明采用了如下技术方案:
一种脑电信号多维度特征图片序列的生成方法,该生成方法包括如下步骤:
S1、将DEAP实验中涉及到的脑电电极空间分布情况映射到10-20系统平面图中,形成标准的脑电电极分布图,并且进行泛化,生成正方形矩阵;
S2、通过希尔伯特黄变换方法,将脑电信号进行分解,并按照单位时长窗口进行划分后,提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;
S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;
S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;
S5、通过对DEAP中被试32个脑电电极对应的60秒钟的脑电信号波形图采集,在波形图上标出1到N的时长窗口,从原始信号形成脑电特征矩阵,再形成脑电特征序列;
S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;
S7、构建脑电多维度特征帧序列。
优选的,所述S1步骤的正方形矩阵为9×9脑电特征方阵。
优选的,所述S2步骤中测试脑电电极的值直接为脑电的频域特征值,未测试脑电电极的值通过图中周边的点的值进行计算得到。
优选的,所述S3步骤的脑电特征帧还包括表达为一个维的竖直矩阵:P(electrode,sequence,trial,subject),其中,P是一个(32×60×40×32)的一个矩阵。
优选的,所述S7步骤的构建脑电多维度特征帧序列包括如下步骤:
P1、从原始数据集中提取脑电信号,并对脑电信号进行预处理,按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构;
P2、从脑电信号中提取特征值,本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92],功率谱密度的计算方法是使用Welch方法进行计算,随后通过不同的时长窗口(时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒)对原始脑电进行特征提取,时长窗口之间没有重叠,最终得到脑电特征值矩阵;
P3、将脑电特征值矩阵中的特征值进行规范化,将特征值限定到[0,1]范围之内;
P4、将脑电特征矩阵中红色点的位置,直接填入规范化后的脑电特征值。
优选的,所述P3步骤的计算公式为:
其中,Fi为规范化之前的第i个时长窗口所对应的特征值, Fi ’为其规范化后的特征值,Fmax为一个脑电电极对应脑电信号通过固定时长窗口所计算特征值序列中的最大特征值,Fmin为最小特征值。
优选的,所述P3步骤中的计算公式为:
其中V(m,n)是脑电特征值矩阵中对应于第m行n列的灰色点的特征值, V’ (m,n) 是围绕灰色点的上下左右四个点的特征值。
优选的,所述的下标超出了0或者8的范围,那么其值为0,K是分子中非0元素的个数,默认值设置为1。
本发明提供的一种脑电信号多维度特征图片序列的生成方法通过对脑电信号的提取以及特征帧的生成,通过这种方法可将脑电信号的“能量”特征按照时间序列和脑电电极的空间排列特征,生成脑电多维度特征帧序列。这些脑电多维度特征帧序列反映了情感测试实验中脑电信号的变化规律,对下一步提取图像和情感分类识别奠定了基础,有效推动了脑电信号检测和情感识别的结合以及发展应用。
附图说明
图1为本发明的DEAP数据集中测试脑电电极布局及泛化的脑电特征方阵图;
图2为本发明的构造脑电多维度特征帧序列的流程图;
图3为本发明的放大的脑电特征帧图片、脑电电极标号和插值等高线图;
图4为本发明的不同时长窗口生成的脑电特征序列图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一种脑电信号多维度特征图片序列的生成方法,该生成方法包括如下步骤:
S1、将DEAP实验中涉及到的脑电电极空间分布情况映射到10-20系统平面图中,形成标准的脑电电极分布图,并且进行泛化,生成正方形矩阵;
S2、通过希尔伯特黄变换方法,将脑电信号进行分解,并按照单位时长窗口进行划分后,提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;
S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;
S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;
S5、通过对DEAP中被试32个脑电电极对应的60秒钟的脑电信号波形图采集,在波形图上标出1到N的时长窗口,从原始信号形成脑电特征矩阵,再形成脑电特征序列;
S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;
S7、构建脑电多维度特征帧序列。
优选的,所述S1步骤的正方形矩阵为9×9脑电特征方阵。
优选的,所述S2步骤中测试脑电电极的值直接为脑电的频域特征值,未测试脑电电极的值通过图中周边的点的值进行计算得到。
优选的,所述S3步骤的脑电特征帧还包括表达为一个维的竖直矩阵:
P(electrode,sequence,trial,subject),其中,P是一个(32×60×40×32)的一个矩阵。
优选的,所述S7步骤的构建脑电多维度特征帧序列包括如下步骤:
P1、从原始数据集中提取脑电信号,并对脑电信号进行预处理,按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构;
P2、从脑电信号中提取特征值,本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92],功率谱密度的计算方法是使用Welch方法进行计算,随后通过不同的时长窗口(时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒)对原始脑电进行特征提取,时长窗口之间没有重叠,最终得到脑电特征值矩阵;
P3、将脑电特征值矩阵中的特征值进行规范化,将特征值限定到[0,1]范围之内;
P4、将脑电特征矩阵中红色点的位置,直接填入规范化后的脑电特征值。
优选的,所述P3步骤的计算公式为:
其中,Fi为规范化之前的第i个时长窗口所对应的特征值, Fi ’为其规范化后的特征值,Fmax为一个脑电电极对应脑电信号通过固定时长窗口所计算特征值序列中的最大特征值,Fmin为最小特征值。
优选的,所述P3步骤中的计算公式为:
其中V(m,n)是脑电特征值矩阵中对应于第m行n列的灰色点的特征值, V’ (m,n) 是围绕灰色点的上下左右四个点的特征值。
优选的,所述的下标超出了0或者8的范围,那么其值为0,K是分子中非0元素的个数,默认值设置为1。
本发明提供的一种脑电信号多维度特征图片序列的生成方法通过对脑电信号的提取以及特征帧的生成,通过这种方法可将脑电信号的“能量”特征按照时间序列和脑电电极的空间排列特征,生成脑电多维度特征帧序列。这些脑电多维度特征帧序列反映了情感测试实验中脑电信号的变化规律,对下一步提取图像和情感分类识别奠定了基础,有效推动了脑电信号检测和情感识别的结合以及发展应用。
实施例
从图4中,展示了通过不同时长窗口形成的脑电多维度特征帧序列,由于较小的时长窗口对应序列中包含的帧数较多,因此在图中我们仅取每个序列的前五个特征帧进行展示,图中,每一行代表的是同一个时长窗口对应不同时刻的脑电特征帧图片,每一列代表的是不同时长窗口对应的相同序号的脑电特征帧图片。以图中前两行的脑电特征帧为例,第一行的脑电多维度特征帧序列用5帧的图片展示了脑电信号前5秒钟的能量变化特征,而第二行用前三帧展示了6秒钟内脑电信号的能量变化。假设用MFI(m,n)(MFI为MultipleFeatures Images的简写)代表脑电多维度特征帧序列中的不同帧,我们可以从图4中很明显的看出MFI(1,5)和MFI(2,3)两幅特征帧非常的相似,我们同样能很直观的从图片中推断出,短时长窗口生成的脑电多维度特征帧序列对脑电信号的变化能够表现出更多的细节,而通过较长时长窗口生成的脑电多维度特征帧序列每个帧图像都更有概括性。
Claims (8)
1.一种脑电信号多维度特征图片序列的生成方法,其特征在于:该生成方法包括如下步骤:
S1、将DEAP实验中涉及到的脑电电极空间分布情况映射到10-20系统平面图中,形成标准的脑电电极分布图,并且进行泛化,生成正方形矩阵;
S2、通过希尔伯特黄变换方法,将脑电信号进行分解,并按照单位时长窗口进行划分后,提取单位时长窗口中脑电信号的功率谱作为脑电信号的频域特征;
S3、在一个时长窗口内通过上述的方法制作出一幅脑电特征帧;
S4、随着窗口的向前移动,用同样的方法制作出其它的对应于相应时间段的脑电多维度特征帧;
S5、通过对DEAP中被试32个脑电电极对应的60秒钟的脑电信号波形图采集,在波形图上标出1到N的时长窗口,从原始信号形成脑电特征矩阵,再形成脑电特征序列;
S6、将脑电的特征值进行规范化处理,将脑电的功率谱密度统一划归到[0,1]的实数范围内;
S7、构建脑电多维度特征帧序列。
2.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S1步骤的正方形矩阵为9×9脑电特征方阵。
3.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S2步骤中测试脑电电极的值直接为脑电的频域特征值,未测试脑电电极的值通过图中周边的点的值进行计算得到。
4.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S3步骤的脑电特征帧还包括表达为一个维的竖直矩阵:
P (electrode,sequence,trail,subject),其中,P是一个(32×60×40×32)的一个矩阵。
5.根据所述权利要求1的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述S7步骤的构建脑电多维度特征帧序列包括如下步骤:
P1、从原始数据集中提取脑电信号,并对脑电信号进行预处理,按照实验所采集脑电信号的电极数以及空间分布位置构造初始化的脑电特征矩阵结构;
P2、从脑电信号中提取特征值,本章提取的是脑电信号的频域特征值功率谱密度[52,56,72,90,92],功率谱密度的计算方法是使用Welch方法进行计算,随后通过不同的时长窗口(时长窗口的长度包含:1秒、2秒、3秒、4秒、5秒、6秒、10秒、15秒、20秒、30秒和60秒)对原始脑电进行特征提取,时长窗口之间没有重叠,最终得到脑电特征值矩阵;
P3、将脑电特征值矩阵中的特征值进行规范化,将特征值限定到[0,1]范围之内;
P4、将脑电特征矩阵中红色点的位置,直接填入规范化后的脑电特征值。
8.根据所述权利要求7的一种脑电信号多维度特征图片序列的生成方法,其特征在于:所述V’(m,n)的下标超出了0或者8的范围,那么其值为0。K是分子中非0元素的个数,默认值设置为1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911116301.XA CN111134692A (zh) | 2019-11-15 | 2019-11-15 | 一种脑电信号多维度特征图片序列的生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911116301.XA CN111134692A (zh) | 2019-11-15 | 2019-11-15 | 一种脑电信号多维度特征图片序列的生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111134692A true CN111134692A (zh) | 2020-05-12 |
Family
ID=70517138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911116301.XA Pending CN111134692A (zh) | 2019-11-15 | 2019-11-15 | 一种脑电信号多维度特征图片序列的生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111134692A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113208594A (zh) * | 2021-05-12 | 2021-08-06 | 海南热带海洋学院 | 一种基于脑电信号时空功率谱图的情绪特征表示方法 |
CN113509190A (zh) * | 2021-03-18 | 2021-10-19 | 上海交通大学 | 一种产品设计评价方法及系统 |
CN118021323A (zh) * | 2024-02-27 | 2024-05-14 | 华南理工大学 | 一种多域特征融合的脑电信号识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150029969A (ko) * | 2013-09-11 | 2015-03-19 | 세종대학교산학협력단 | 뇌파 측정을 이용한 감성상태 분류 방법 |
CN108888264A (zh) * | 2018-05-03 | 2018-11-27 | 南京邮电大学 | Emd和csp融合功率谱密度脑电特征提取方法 |
CN109924990A (zh) * | 2019-03-27 | 2019-06-25 | 兰州大学 | 一种基于emd算法的脑电信号抑郁症识别系统 |
KR20200071807A (ko) * | 2018-11-30 | 2020-06-22 | 인하대학교 산학협력단 | 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템 |
-
2019
- 2019-11-15 CN CN201911116301.XA patent/CN111134692A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150029969A (ko) * | 2013-09-11 | 2015-03-19 | 세종대학교산학협력단 | 뇌파 측정을 이용한 감성상태 분류 방법 |
CN108888264A (zh) * | 2018-05-03 | 2018-11-27 | 南京邮电大学 | Emd和csp融合功率谱密度脑电特征提取方法 |
KR20200071807A (ko) * | 2018-11-30 | 2020-06-22 | 인하대학교 산학협력단 | 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템 |
CN109924990A (zh) * | 2019-03-27 | 2019-06-25 | 兰州大学 | 一种基于emd算法的脑电信号抑郁症识别系统 |
Non-Patent Citations (2)
Title |
---|
MOHAMMAD ZAVID PARVEZ; MANORANJAN PAUL: "NOVEL APPROACHES OF EEG SIGNAL CLASSIFICATION USING IMF BANDWIDTH AND DCT FREQUENCY", 《BIOMEDICAL ENGINEERING: APPLICATIONS, BASIS AND COMMUNICATIONS》 * |
李幼军: "生理信号的情感计算研究及其应用", 《中国优秀博硕士学位论文全文数据库》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113509190A (zh) * | 2021-03-18 | 2021-10-19 | 上海交通大学 | 一种产品设计评价方法及系统 |
CN113208594A (zh) * | 2021-05-12 | 2021-08-06 | 海南热带海洋学院 | 一种基于脑电信号时空功率谱图的情绪特征表示方法 |
CN118021323A (zh) * | 2024-02-27 | 2024-05-14 | 华南理工大学 | 一种多域特征融合的脑电信号识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Phase-locking value based graph convolutional neural networks for emotion recognition | |
Song et al. | Graph-embedded convolutional neural network for image-based EEG emotion recognition | |
Niu et al. | Robust remote heart rate estimation from face utilizing spatial-temporal attention | |
CN111329474B (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
Ou et al. | Automatic facial expression recognition using Gabor filter and expression analysis | |
CN110664395B (zh) | 图像处理方法、图像处理装置以及存储介质 | |
CN112381008B (zh) | 一种基于并行序列通道映射网络的脑电情感识别方法 | |
CN111134692A (zh) | 一种脑电信号多维度特征图片序列的生成方法 | |
Pan et al. | Emotion recognition based on EEG using generative adversarial nets and convolutional neural network | |
Anwar et al. | EEG signal classification using convolutional neural networks on combined spatial and temporal dimensions for BCI systems | |
Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
CN114662547A (zh) | 基于脑电信号的mscrnn情绪识别方法及装置 | |
CN117520826A (zh) | 一种基于可穿戴设备的多模态情绪识别方法及系统 | |
Jiang et al. | Analytical comparison of two emotion classification models based on convolutional neural networks | |
Li et al. | EEG emotion recognition based on self-attention dynamic graph neural networks | |
CN114145744B (zh) | 基于跨设备前额脑电情绪识别的方法和系统 | |
Gunda et al. | Lightweight attention mechanisms for EEG emotion recognition for brain computer interface | |
Liu et al. | Spatial-temporal convolutional attention for mapping functional brain networks | |
CN115363523A (zh) | 一种癫痫发作区定位系统、设备及介质 | |
Sun et al. | Meeg-transformer: Transformer network based on multi-domain eeg for emotion recognition | |
Kang et al. | Research on a microexpression recognition technology based on multimodal fusion | |
Tang et al. | Multi-domain based dynamic graph representation learning for EEG emotion recognition | |
CN116965816A (zh) | 识别方法及识别装置 | |
CN116035577A (zh) | 一种结合注意力机制与crnn的脑电情感识别方法 | |
CN115944307A (zh) | 基于时空变换器的癫痫脑电信号监测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200512 |