CN112508183A - 用于图像分类的单纯形神经网络的构建方法及装置 - Google Patents
用于图像分类的单纯形神经网络的构建方法及装置 Download PDFInfo
- Publication number
- CN112508183A CN112508183A CN202011554742.0A CN202011554742A CN112508183A CN 112508183 A CN112508183 A CN 112508183A CN 202011554742 A CN202011554742 A CN 202011554742A CN 112508183 A CN112508183 A CN 112508183A
- Authority
- CN
- China
- Prior art keywords
- simplex
- neural network
- neuron
- constructing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种用于图像分类的单纯形神经网络的构建方法,包括以下步骤:对输入图像进行特征提取,通过若干并行卷积组提取得到所述输入图像的特征图,挖掘所述特征图中的特征点在高维空间的流形分布;通过自组织映射,对提取到的所述输入图像的特征图进行聚类,构建流形分布子空间;构建用于小样本图像分类的单纯形神经元,基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习,得到用于图像分类的单纯形神经网络模型。本发明所提出的单纯形神经元,以线段、三角形和四面体等为基础形状,通过形状的扭曲变换和叠加可构建多种复杂的几何形体,在复杂非线性函数的拟合方面,具备较大的潜力和优势。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种用于小样本图像分类的单纯形神经网络模型的构建方法及装置。
背景技术
深度神经网络是由大量的神经元构成,其神经元的非线性和各种复杂连接保证了深度神经网络可以以无限精度逼近任意Rn紧子集上的连续函数,这是深度神经网络可以取得成功的原因之一。另外,在自然获取的数据中天然存在一定的流形结构分布,深度学习也是在学习数据内部的流形结构分布。
神经网络的发展离不开对生物神经网络的模仿。1943年,Meculloch和Pitts提出了M-P线性神经元,在神经网络的研究中开启了新的纪元。1988年,Broomhead和Lowe提出径向基函数RBF神经元,将低维输入数据投影到由RBF组成的高维隐空间中的,成功解决了M-P神经元线性不可分的问题,从而神经网络可以真正用于解决实际任务。这种神经元模型仍需假定在高维空间中数据是线性可分的,但实际中数据未必服从该假设,因而基于上述神经元的神经网络模型有一定的局限性,其特征的表达性和判别性受到一定制约,模型精度受到一定影响。
现存的经典神经网络,性能的提升需要依靠更大的参数空间、更深层的网络以及更丰富的训练数据支撑,对于小样本的数据,模型的规模要求更高,参数空间和网络自由度是很有限的,少量的数据是无法保证有限的参数最优化学习的,从而限制了模型的性能提升。
发明内容
有鉴于此,本发明的主要目的在于提供一种用于小样本图像分类的单纯形神经网络模型的构建方法及装置,以期部分地解决上述技术问题中的至少之一。
为了实现上述目的,作为本发明的一方面,提供了一种用于图像分类的单纯形神经网络的构建方法,包括以下步骤:
对输入图像进行特征提取,通过若干并行卷积组提取得到所述输入图像的特征图,挖掘所述特征图中的特征点在高维空间的流形分布;
通过自组织映射,对提取到的所述输入图像的特征图进行聚类,构建流形分布子空间;
构建用于图像分类的单纯形神经元,基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习,得到用于图像分类的单纯形神经网络模型。
其中,所述单纯形神经元以线段、三角形或四面体为基础形状,通过形状的扭曲变换和叠加构建多种复杂的几何形体。
其中,所述并行卷积组包括VGG、ResNet、Densenet和Xception结构。
其中,所述自组织映射是基于多种距离度量方式进行无监督聚类,所述度量方式包括欧氏距离和余弦距离。
其中,所述构建用于图像分类的单纯形神经元包括:
默认一个簇为一个独立的分布,计算各自空间中各样本间的距离,选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化,即得到单纯形神经元的n个核;
计算每个簇中样本点到单纯形距离的标准差,以便对超球半径进行初始化;
对单纯形和超球进行膨胀积即得到初始化的单纯形神经元。
其中,计算每个簇中样本点到单纯形距离的计算公式如下:
d=||x-q0||;
其中,d为所述样本点到单纯形的距离,||·||代表欧氏距离或余弦距离,x为样本点;q0为单纯形内距离x最近的点;
所述单纯形神经元的输出为:
其中,r为超球的半径,所述超球表征为标准差为r的高斯分布。
其中,所述覆盖学习采用覆盖比损失和分类准确率损失指导网络参数学习;
所述覆盖比损失以学习完善的RBF神经元体积为参照,控制单纯形神经元的体积。
其中,所述覆盖比损失的计算公式如下:
其中,vsimplex为单纯形神经元的体积,vrbf为学习完善的RBF神经元的体积。
其中,所述方法还包括对已学习的单纯形深度神经网络模型,采用待分类图像进行测试;测试过程包括:
基于已学习的单纯形深度神经网络模型,对待分类图像进行非线性映射,得到所述待分类图像在该模型下的得分值;
将所述得分值与预设阈值进行比较,以确定所述待分类图像的类别。
作为本发明的另一方面,提供了一种用于图像分类的单纯形神经网络的构建装置,包括:
特征提取模块,用于对输入图像进行特征提取,通过若干并行卷积组提取得到所述输入图像的特征图,挖掘所述特征图的特征点在高维空间的流形分布;
聚类模块,通过自组织映射,对提取到的所述输入图像的特征图进行聚类,构建流形分布子空间;
学习模块,构建用于图像分类的单纯形神经元,基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习,得到用于图像分类的单纯形神经网络模型。
基于上述技术方案可知,本发明的用于小样本图像分类的单纯形神经网络模型的构建方法相对于现有技术至少具有如下有益效果之一或其中的一部分:
(1)本发明所提出的单纯形神经元,以线段、三角形和四面体等为基础形状,通过形状的扭曲变换和叠加可构建多种复杂的几何形体,在复杂非线性函数的拟合方面,具备较大的潜力和优势。
(2)本发明的构建单纯形神经网络模型的方法在训练样本数量方面,只需要较少的样本量,就可以充分拟合样本的分布,故可用于小样本的图像分类任务。实验证明了,在较少的训练样本支撑下,模型可以达到同大训练样本下相媲美的效果,验证了其较强的拟合能力和对小样本图像的分类效果。
附图说明
图1是本发明实施例提供的构建单纯形神经元网络模型的方法流程图;
图2是本发明实施例提供的单纯形神经元示意图,其中图2(a)为超香肠神经元,图2(b)为三角形神经元,图2(c)为四面体神经元;
图3是本发明实施例提供的单纯形神经元及单纯形神经元链覆盖示意图(以超香肠为例)。
具体实施方式
本发明所提出的单纯形神经元,以线段、三角形和四面体等为基础,可构建多种复杂的几何形体,对于复杂任务的拟合和学习,具有较大的优势,即在训练样本数量方面,本模型只需要较少的样本量,就可以充分拟合样本的分布。另外,在性能方面,本模型具备更强的非线性拟合能力,能取得更好的效果。因此,我们将模型应用到小样本图像分类任务学习当中,以训练miniImageNet数据集为例,从训练集(64个类,每类600个样本)中随机采样9个样本,构成支撑集,去构建单纯形神经元模型;然后从训练集的样本(每类剩下的样本)中采样构成Batch集,用来获得神经元模型的损失函数进行学习。基于该学习的模型,验证和测试均可以达到较好的效果。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
如图1所示,为用于小样本图像分类的单纯形神经元的构建方法流程示意图,其具体包括如下步骤:
对输入图像进行特征提取,通过若干并行卷积组提取得到输入图像的特征图,挖掘特征点在高维空间的流形分布;
通过自组织映射,对提取到的所述输入图像的特征图进行聚类,构建流形分布子空间;
构建用于图像分类的单纯形神经元,基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习,由此得到待分类图像的单纯形神经网络模型。
本发明提供的这种单纯形神经元深度神经网络模型如图2所示,其中图2(a)为超香肠神经元,图2(b)为三角形神经元,图2(c)为四面体神经元;将模型的映射逼近问题分为三个阶段:第一阶段是实现输入样本的特征提取,通过若干并行卷积组提取得到输入样本的特征图(featuremap),挖掘样本点在高维空间的流形分布,所述并行卷积组包括但不限于VGG、ResNet、Densenet、Xception等结构;第二阶段是通过自组织映射,对提取到的featuremap进行聚类,构建流形分布子空间,所述自组织映射可以基于多种度量方式进行无监督聚类,包括但不限于欧氏距离、余弦距离等;第三阶段是基于单纯形神经元对聚类后的不同流形分布子空间进行覆盖学习。
根据同源连续性原理,从一个样本到另一个样本存在一条连续的路径,该路径上经过的点均属于该类的样本点。即采用一个最佳的覆盖,覆盖住本类的样本空间。同一类别下,样本数据丰富,分布多样,因此,为了寻找同类数据的最佳覆盖空间,需要结合多个单纯形神经元才能完成该类别模式的学习,三维空间下单纯形神经元及单纯形神经元链的覆盖范围如图3所示,第一个图形为一维流形超香肠神经元,第二个图形为二维流形三角形神经元,第三个图形为三维流形四面体神经元。可以看出,通过拼接不同的单纯形神经元形成单纯形神经元链,可以实现对任意复杂几何形体的覆盖,具有较强的泛化能力。实际情况下,单纯形神经元链的维数远不止三维。该模型与传统的RBF、M-P神经元模型相比,覆盖范围要小得多,能更精确地描述样本空间。基于该模型的仿生模式识别方法与传统基于划分式的识别方法相比,能实现本类样本的最优覆盖,同时对未训练过的种类的样本也能很好的拒识。
在上述单纯形神经元深度神经网络模型中,单纯形神经元的构建过程主要涉及第三阶段,以自组织映射聚类后得到的簇作为输入,其构建过程如下所述:
Step1:默认一个簇为一个独立的分布,计算各自空间中各样本间的距离,选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化,即得到单纯形神经元的n个核;
Step2:计算每个簇中样本点与单纯形距离的标准差,以其对超球半径进行初始化;
Step3:对单纯形和超球进行膨胀积即得到初始化的单纯形神经元;
Step4:通过反向传播算法同时更新单纯形神经元的各个参数和用于特征提取的并行卷积组,使类内分布更加紧凑。
其中,点到单纯形距离d的计算公式如下:
d=||x-q0|| (1)
其中,||·||代表某种距离度量,如欧式距离、余弦距离等;x为样本点;q0为单纯形内距离x最近的点。以三角形神经元为例,其计算公式如下
d=||x-(λ1λ2q1+(1-λ1)λ2q2+(1-λ2)q3)|| (2)
其中,q1、q2、q3为单纯形三个顶点;λ1、λ2表示单纯形中距离x最近的点的位置,其计算方式如下:
q4=λ1q1+(1-λ1q2)
单纯形神经元的输出为
其中,r为超球的半径,此处超球表征为标准差为r的高斯分布。因而其输出y也可以视为输入样本属于当前簇的概率。
在学习过程中,采用覆盖比损失和分类准确率损失指导网络参数学习。所述覆盖比损失以学习完善的RBF神经元体积为参照,控制单纯形神经元的体积,保证类内覆盖的紧凑性。其计算公式如下:
其中,vsimplex为单纯形神经元的体积,vrbf为学习完善的RBF神经元的体积。以一维流形超香肠为例,其计算公式分别如下:
其中,rrbf为学习完善的RBF超球半径,rsau为构建超香肠神经元的超球半径。
在测试过程中,基于已学习的单纯形深度神经网络模型,对测试样本进行非线性映射,得到测试样本在该模型下的得分值,对该得分值选取合适的阈值,进行分类。
至此,完成单纯形神经元深度神经网络模型的训练和测试过程。
本发明还公开了一种用于小样本图像分类的单纯形神经网络模型的构建装置,包括:
特征提取模块,用于对输入图像进行特征提取,通过若干并行卷积组提取得到输入图像的特征图,挖掘特征点在高维空间的流形分布;
聚类模块,通过自组织映射,对提取到的所述输入图像的特征图进行聚类,构建流形分布子空间;
学习模块,构建用于小样本图像分类的单纯形神经元,基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习,由此得到待分类图像的单纯形神经网络模型。
需要说明的是,上述构建装置是与上述构建方法相对应的,上述构建装置用于执行上述构建方法,在此不再赘述。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于图像分类的单纯形神经网络的构建方法,其特征在于,包括以下步骤:
对输入图像进行特征提取,通过若干并行卷积组提取得到所述输入图像的特征图,挖掘所述特征图中的特征点在高维空间的流形分布;
通过自组织映射,对提取到的所述输入图像的特征图进行聚类,构建流形分布子空间;
构建用于图像分类的单纯形神经元,基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习,得到用于图像分类的单纯形神经网络模型。
2.根据权利要求1所述的单纯形神经网络的构建方法,其特征在于,所述单纯形神经元以线段、三角形或四面体为基础形状,通过形状的扭曲变换和叠加构建多种复杂的几何形体。
3.根据权利要求1所述的单纯形神经网络的构建方法,其特征在于,所述并行卷积组包括VGG、ResNet、Densenet和Xception结构。
4.根据权利要求1所述的单纯形神经网络的构建方法,其特征在于,所述自组织映射是基于多种距离度量方式进行无监督聚类,所述度量方式包括欧氏距离和余弦距离。
5.根据权利要求1所述的单纯形神经网络的构建方法,其特征在于,所述构建用于图像分类的单纯形神经元包括:
默认一个簇为一个独立的分布,计算各自空间中各样本间的距离,选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化,即得到单纯形神经元的n个核;
计算每个簇中样本点到单纯形距离的标准差,以便对超球半径进行初始化;
对单纯形和超球进行膨胀积即得到初始化的单纯形神经元。
7.根据权利要求1所述的单纯形神经网络的构建方法,其特征在于,所述覆盖学习采用覆盖比损失和分类准确率损失指导网络参数学习;
所述覆盖比损失以学习完善的RBF神经元体积为参照,控制单纯形神经元的体积。
9.根据权利要求1所述的单纯形神经网络的构建方法,其特征在于,所述方法还包括对已学习的单纯形深度神经网络模型,采用待分类图像进行测试;测试过程包括:
基于已学习的单纯形深度神经网络模型,对待分类图像进行非线性映射,得到所述待分类图像在该模型下的得分值;
将所述得分值与预设阈值进行比较,以确定所述待分类图像的类别。
10.一种用于图像分类的单纯形神经网络的构建装置,其特征在于,包括:
特征提取模块,用于对输入图像进行特征提取,通过若干并行卷积组提取得到所述输入图像的特征图,挖掘所述特征图的特征点在高维空间的流形分布;
聚类模块,通过自组织映射,对提取到的所述输入图像的特征图进行聚类,构建流形分布子空间;
学习模块,构建用于图像分类的单纯形神经元,基于所述单纯形神经元对通过自组织映射聚类后的不同流形分布子空间进行覆盖学习,得到用于图像分类的单纯形神经网络模型。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911375117.7A CN111144550A (zh) | 2019-12-27 | 2019-12-27 | 基于同源连续性的单纯形深度神经网络模型及构建方法 |
CN2019113751177 | 2019-12-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112508183A true CN112508183A (zh) | 2021-03-16 |
Family
ID=70520924
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911375117.7A Pending CN111144550A (zh) | 2019-12-27 | 2019-12-27 | 基于同源连续性的单纯形深度神经网络模型及构建方法 |
CN202011554742.0A Pending CN112508183A (zh) | 2019-12-27 | 2020-12-22 | 用于图像分类的单纯形神经网络的构建方法及装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911375117.7A Pending CN111144550A (zh) | 2019-12-27 | 2019-12-27 | 基于同源连续性的单纯形深度神经网络模型及构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN111144550A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255548A (zh) * | 2021-06-03 | 2021-08-13 | 西南交通大学 | 基于胶囊神经元的无线网络设备个体识别方法与应用 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144550A (zh) * | 2019-12-27 | 2020-05-12 | 中国科学院半导体研究所 | 基于同源连续性的单纯形深度神经网络模型及构建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376787A (zh) * | 2018-10-31 | 2019-02-22 | 聚时科技(上海)有限公司 | 流形学习网络及基于其的计算机视觉图像集分类方法 |
WO2019051356A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS |
CN111144550A (zh) * | 2019-12-27 | 2020-05-12 | 中国科学院半导体研究所 | 基于同源连续性的单纯形深度神经网络模型及构建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10751548B2 (en) * | 2017-07-28 | 2020-08-25 | Elekta, Inc. | Automated image segmentation using DCNN such as for radiation therapy |
CN109341703B (zh) * | 2018-09-18 | 2022-07-01 | 北京航空航天大学 | 一种全周期采用CNNs特征检测的视觉SLAM算法 |
CN110321785A (zh) * | 2019-05-09 | 2019-10-11 | 北京尚文金泰教育科技有限公司 | 一种引入ResNet深度学习网络构建皮纹分类预测模型的方法 |
-
2019
- 2019-12-27 CN CN201911375117.7A patent/CN111144550A/zh active Pending
-
2020
- 2020-12-22 CN CN202011554742.0A patent/CN112508183A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019051356A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS |
CN109376787A (zh) * | 2018-10-31 | 2019-02-22 | 聚时科技(上海)有限公司 | 流形学习网络及基于其的计算机视觉图像集分类方法 |
CN111144550A (zh) * | 2019-12-27 | 2020-05-12 | 中国科学院半导体研究所 | 基于同源连续性的单纯形深度神经网络模型及构建方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255548A (zh) * | 2021-06-03 | 2021-08-13 | 西南交通大学 | 基于胶囊神经元的无线网络设备个体识别方法与应用 |
CN113255548B (zh) * | 2021-06-03 | 2023-04-07 | 西南交通大学 | 基于胶囊神经元的无线网络设备个体识别方法与应用 |
Also Published As
Publication number | Publication date |
---|---|
CN111144550A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Self-paced balance learning for clinical skin disease recognition | |
Thom et al. | Sparse activity and sparse connectivity in supervised learning | |
Cai et al. | Classification complexity assessment for hyper-parameter optimization | |
CN103942571B (zh) | 一种基于遗传规划算法的图形图像分类方法 | |
CN111259917B (zh) | 一种基于局部近邻成分分析的图像特征提取方法 | |
CN106021990A (zh) | 一种将生物基因以特定的性状进行分类与自我识别的方法 | |
CN105809201A (zh) | 一种生物启发式自主提取图像语义概念的识别方法及装置 | |
CN116226629B (zh) | 一种基于特征贡献的多模型特征选择方法及系统 | |
CN112508183A (zh) | 用于图像分类的单纯形神经网络的构建方法及装置 | |
Huang et al. | Chinese herbal medicine leaves classification based on improved AlexNet convolutional neural network | |
CN116127298B (zh) | 基于三元组损失的小样本射频指纹识别方法 | |
CN115985503B (zh) | 基于集成学习的癌症预测系统 | |
CN116248392A (zh) | 一种基于多头注意力机制的网络恶意流量检测系统及方法 | |
CN111091040A (zh) | 基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法 | |
CN107798331A (zh) | 离变焦图像序列特征提取方法和装置 | |
CN116630718A (zh) | 一种基于原型的低扰动的图像类增量学习算法 | |
Santana et al. | An alternative approach for binary and categorical self-organizing maps | |
Naitzat et al. | M-Boost: Profiling and refining deep neural networks with topological data analysis | |
Zhang et al. | Color clustering using self-organizing maps | |
CN114140848A (zh) | 基于knn和dsn的微表情识别方法、系统、设备及存储介质 | |
CN114154409A (zh) | 一种基于浅深皮层双路径构架的卷积神经网络模型压缩优化方法 | |
Elezi | Exploiting contextual information with deep neural networks | |
Liu et al. | Few-shot image classification based on asymmetric convolution and attention mechanism | |
Medvedev et al. | Optimization of the local search in the training for SAMANN neural network | |
Ali et al. | The impact of optimization algorithms on the performance of face recognition neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210316 |
|
RJ01 | Rejection of invention patent application after publication |