CN111726472A - 一种基于加密算法的图像抗干扰方法 - Google Patents
一种基于加密算法的图像抗干扰方法 Download PDFInfo
- Publication number
- CN111726472A CN111726472A CN202010371154.7A CN202010371154A CN111726472A CN 111726472 A CN111726472 A CN 111726472A CN 202010371154 A CN202010371154 A CN 202010371154A CN 111726472 A CN111726472 A CN 111726472A
- Authority
- CN
- China
- Prior art keywords
- image
- data set
- matrix
- network
- encrypted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
- H04N1/32272—Encryption or ciphering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
一种基于加密算法的图像抗干扰方法,包括以下步骤:步骤1:构建原始手写体数据集并将图像进行预处理;步骤2:利用基于矩阵变换的图像加密技术,将原始手写体数据集进行加密,构建加密数据集;步骤3:构建生成式对抗网络并利用原始数据集进行训练,该网络包括一个生成器和一个判别器;步骤4:构建七层卷积神经网络并利用原始数据集和加密数据集分别进行训练;步骤5:基于已训练好的卷积神经网络和生成式对抗网络做手写体图像数据的标签预测。本发明采用以生成式对抗网络为代表的深度学习算法,利用一种特定的基于矩阵变换的图像加密技术转换图像空间,识别因深度学习技术而受到干扰的图像。
Description
技术领域
本发明涉及数字图像加密、深度神经网络,特别是涉及一种基于加密算法的 图像抗干扰方法。
背景技术
随着深度学习技术的发展,在图像生成领域中,利用深度神经网络进行研究 逐渐成为了主流。生成式对抗网络(Generative Adversarial Networks,GAN)因 其能够产生更清晰、真实的样本,能够更容易地设计损失函数等优点,被广泛应 用于图像生成领域。然而,技术的革新在某种层面上催生了非法活动,将GAN 用于伪造人脸、视频等行为让欺诈变得更加隐秘并且难以侦查和防卫,严重影响 了人们获取真实的信息。
2017年,Reddit网站用户提出Deepfake技术并开源,随即衍生出FakeApp 等视频合成工具。既然能用深度学习技术造假,那利用深度学习技术来检测和辨 别虚假图像成为了过去两年内不少研究者关注的方向。但即便是当前十分有效的 检测技术,也难以完美捕获所有的造假信息。因此,研究如何识别受到干扰的图 像能够有助于我们获得正确的信息。
数字图像加密技术因能够使图像信息得到安全存储、保密传输,提高图像数 据的安全性而被广泛研究。数字图像加密技术主要可以分为以下三类:基于矩阵 变换或像素置换的图像加密技术,基于现代密码体制的图像加密技术和基于混沌 理论的图像加密技术。基于矩阵变换的图像加密技术基本可以等效为对图像矩阵 进行有限步的初等矩阵变换,从而打乱图像像素的排列位置。基于现代密码体制 的图像加密技术是把待传输的图像看作明文,通过各种加密算法,在密钥的控制 下达到图像数据的保密通信。基于混沌理论的图像加密技术是把待加密的图像信 息看作是按照某种编码方式的二进制的数据流,利用混沌信号来对图像数据流进 行加密。由于数字图像加密技术能够在空间域对图像进行处理和变换,因此可以 将该技术应用于检测受到干扰的图像,为人们判断虚假图像提供参考。
发明内容
为了克服现有技术的不足,本发明提出一种基于加密算法的图像抗干扰方法, 采用以生成式对抗网络为代表的深度学习算法,利用一种特定的基于矩阵变换的 图像加密技术转换图像空间,识别因深度学习技术而受到干扰的图像。
本发明解决其技术问题所采用的技术方案如下:
一种基于加密算法的图像抗干扰方法,包括以下步骤:
步骤1:构建原始手写体数据集并将图像进行预处理;
步骤2:利用基于矩阵变换的图像加密技术,将原始手写体数据集进行加密, 构建加密数据集;
步骤3:构建生成式对抗网络并利用原始数据集进行训练,该网络包括一个 生成器和一个判别器;
步骤4:构建七层卷积神经网络并利用原始数据集和加密数据集分别进行训 练,该网络包括输入层、两个卷积层、两个池化层、一个全连接层和一个输出层;
步骤5:基于已训练好的卷积神经网络和生成式对抗网络做手写体图像数据 的标签预测。
进一步,所述步骤1中,制作包含不同书写情况和书写习惯的手写数字图像 数据集和标签集,将数据集进行预处理。预处理过程为将彩色图像灰度化,并把 灰度图像归一化为统一大小;灰度化采用三分量的加权平均法,计算公式如下:
Gray(i,j)=0.299R(i,j)+0.578G(i,j)+0.114B(i,j)
其中:Gray(i,j)代表灰度化图片像素点的像素值,R代表红色空间像素数值 信息,G代表绿色空间像素数值信息,B则代表蓝色空间的像素数值信息。图像 的灰度化和归一化可以提高计算速度并保留梯度信息。
再进一步,所述步骤2中,利用基于矩阵变换的图像加密技术,将原始手写 体数据集进行加密包括以下过程:
2.1)取m个连续像素,用m个加密像素替换,替换过程简写成:C=KP 其中P为要被加密像素块替换的原像素块,K是完成这个矩阵变换的密钥,密钥 大小与原图像保持一致,因此解密过程写成:P=K-1C
2.2)由上述公式可知,为了使得加密后的图像能够进行解密,密钥必须是 可逆矩阵,在加密算法中,密钥矩阵是对合矩阵,即该矩阵是其自身的逆矩阵。
A11+A22=0
2.3)由步骤2.2得到加密图像的密钥,利用该密钥将步骤1所述的原始数据 集进行加密,得到加密数据集。
该加密算法利用对合矩阵的性质和相应推论,方便且快速地构建了一个可逆 矩阵用于图像加密和解密。
所述步骤3中,构建生成式对抗网络,该网络包括一个生成器和一个判别 器当训练样本x输入生成器时,会产生一个扰动然后将生成的样本 输入到判别器中,判别器的作用是区分生成的样本和原始样本,目标是 使两者难以区分,整个网络的损失函数为:
为了限制产生扰动的大小,并使网络训练更加稳定,需要L2范数上增加一 个合页损失函数:
其中c为常数,因此,训练网络的目标写为:
其中α和β为控制训练目标相对重要性的参数,构建完生成式对抗网络后,将 原始数据集输入网络进行训练。
所述步骤4中,构建七层卷积神经网络,该网络包括一个输入层、两个卷积 层、两个池化层、一个全连接层和一个输出层,训练时分别输入原始数据集和加 密数据集,网络的基本参数和规格设置完成后,每次选取固定个数的样本输入到 卷积神经网络中,在输出层可得到训练样本的实际标签,将实际输出与标签进行 对比,得到残差,结合反向传播算法调整网络权重和偏置。
所述步骤5中,手写体图像数据的标签预测步骤如下:
5.1)将手写体图像样本io输入步骤3中训练完成的生成式对抗网络模型,得 到受神经网络干扰后图像样本in;
5.2)将手写体图像样本io通过步骤2所述加密算法进行加密,得到加密样本 ien;
5.3)将受神经网络干扰的图像样本in和加密图像样本ien输入步骤4中训练完 成的卷积神经网络模型,进行标签预测,通过比较样本in标签和样本ien标签的一 致性可以判断图像样本是否受到干扰。
本发明的有益效果为:采用以生成式对抗网络为代表的深度学习算法, 利用一种特定的基于矩阵变换的图像加密技术转换图像空间,识别因深度 学习技术而受到干扰的图像。
附图说明
图1为本发明实施例的基于加密算法的图像抗干扰方法流程图;
图2为本发明实施例的卷积神经网络结构示意图;
图3为本发明实施例的生成式对抗网络结构示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1-图3,一种基于加密算法的图像抗干扰方法,所述方法包括构建和 预处理数据集,构建和训练生成式对抗网络和卷积神经网络,判断受到干扰的图 像数据。
本发明包括以下步骤:
步骤1:构建原始手写体数据集并将图像进行预处理;
步骤2:利用基于矩阵变换的图像加密技术,将原始手写体数据集进行加密, 构建加密数据集;
步骤3:构建生成式对抗网络并利用原始数据集进行训练,该网络包括一个 生成器和一个判别器;
步骤4:构建七层卷积神经网络并利用原始数据集和加密数据集分别进行训 练,该网络包括输入层、两个卷积层、两个池化层、一个全连接层和一个输出层;
步骤5:基于已训练好的卷积神经网络和生成式对抗网络做手写体图像数据 的标签预测。
进一步,所述步骤1中,根据不同的书写情况和书写习惯,书写并得到10000 个手写数字,制作手写数字图像的数据集和标签集,数据集为经过预处理后的手 写数字图像,预处理过程为将彩色图像灰度化,并把灰度图像归一化为28*28 大小;灰度化采用三分量的加权平均法,计算公式如下:
Gray(i,j)=0.299R(i,j)+0.578G(i,j)+0.114B(i,j)
其中:Gray(i,j)代表灰度化图片像素点的像素值,R代表红色空间像素数值 信息,G代表绿色空间像素数值信息,B则代表蓝色空间的像素数值信息,图像 的灰度化和归一化可以提高计算速度并保留梯度信息。
再进一步,所述步骤2中,利用基于矩阵变换的图像加密技术,将原始手写 体数据集进行加密包括以下过程:
2.1)取m个连续像素,用m个加密像素替换,例如有四个像素点 P11,P12,P21,P22,那么用四个加密像素C11,C12,C21,C22来替换它们。该过程可 以用矩阵表示如下:
以上矩阵表示可简写成:C=KP;
其中P为要被加密像素块替换的原像素块,K是完成这个矩阵变换的密钥,密钥 大小与原图像保持一致,因此解密过程写成:P=K-1C;
2.2)由上述公式可知,为了使得加密后的图像能够进行解密,密钥必须是 可逆矩阵,在加密算法中,密钥矩阵是对合矩阵,即该矩阵是其自身的逆矩阵,
A11+A22=0
2.3)由步骤2.2得到加密图像的密钥,利用该密钥将步骤1所述的原始数据 集进行加密,得到加密数据集。
该加密算法利用对合矩阵的性质和相应推论,方便且快速地构建了一个可逆 矩阵用于图像加密和解密。
所述步骤3中,构建生成式对抗网络,该网络包括一个生成器和一个判别 器当训练样本x输入生成器时,会产生一个扰动然后将生成的样本 输入到判别器中,判别器的作用是区分生成的样本和原始样本,目标是 使两者难以区分,整个网络的损失函数为:
为了限制产生扰动的大小,并使网络训练更加稳定,需要L2范数上增加一 个合页损失函数:
其中c为常数。因此,训练网络的目标写为:
其中α和β为控制训练目标相对重要性的参数。构建完生成式对抗网络后,将 原始数据集输入网络进行训练。
所述步骤4中,构建七层卷积神经网络,该网络包括一个输入层、两个卷积 层、两个池化层、一个全连接层和一个输出层,卷积层中的神经元通过局部感受 野与上层相连接,并且通过卷积运算提取该局部的特征,该层使用单调递增的 sigmoid函数作为激活函数,每个卷积层的后面都跟着一个池化层,采用池化的 方法进行二次提取,对图片进行降维。训练时分别输入原始数据集和加密数据集。 网络的基本参数和规格设置完成后,每次选取固定个数的样本输入到卷积神经网 络中,在输出层可得到训练样本的实际标签,将实际输出与标签进行对比,得到 残差,结合反向传播算法调整网络权重和偏置。
所述步骤5中,手写体图像数据的标签预测步骤如下:
5.1)将手写体图像样本io输入步骤3中训练完成的生成式对抗网络模型,得 到受神经网络干扰后图像样本in;
5.2)将手写体图像样本io通过步骤2所述加密算法进行加密,得到加密样本 ien;
5.3)将受神经网络干扰的图像样本in和加密图像样本ien输入步骤4中训练完 成的卷积神经网络模型,进行标签预测,通过比较样本in标签和样本ien标签的一 致性可以判断图像样本是否受到干扰。
如上所述为本发明利用加密算法判断受到干扰图像的实施例介绍,本发明通 过构建和预处理手写体图像数据,利用加密算法对其进行加密处理,构建和训练 生成式对抗网络和卷积神经网络,通过标签预测来实现对受干扰图像的判断。本 发明基于加密算法,提出了一种判断图像是否受到神经网络干扰的新方法。
以上所述,仅为本发明专利较佳的实施例,对本发明而言仅仅是说明性,而 非限制性,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据 本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专 利的保护范围。
Claims (7)
2.如权利要求1所述的一种基于加密算法的图像抗干扰方法,其特征在于:所述步骤1中,制作包含不同书写情况和书写习惯的手写数字图像数据集和标签集,将数据集进行预处理,预处理过程为将彩色图像灰度化,灰度化采用三分量的加权平均法,再把灰度图像归一化为统一大小。
3.如权利要求1或2所述的一种基于加密算法的图像抗干扰方法,其特征在于:所述步骤2中,利用基于矩阵变换的图像加密技术,构建一个加密矩阵,将原始手写体数据集进行加密,加密完的图像矩阵大小与原图像矩阵大小一致,得到加密数据集。
4.如权利要求3所述的一种基于加密算法的图像抗干扰方法,其特征在于:图像加密技术包括以下过程:
4.1)取归一化后灰度图像矩阵中的任意正方形像素块,与所述加密矩阵相乘,得到加密后的像素块,公式为:C=KP,其中P为要被加密像素块替换的原像素块,K是完成这个矩阵变换的密钥,密钥大小与原像素块保持一致,因此解密过程写成:P=K-1C;
4.2)由上述公式可知,为了使得加密后的图像能够进行解密,密钥必须是可逆矩阵,在加密算法中,密钥矩阵是对合矩阵,即该矩阵是其自身的逆矩阵,令为n×n的对合矩阵,矩阵A可分割成4个较小的矩阵,即因为A2=I,I为n阶单位矩阵,得到如下推论:
A11+A22=0
4.3)由步骤2.2得到加密图像的密钥,利用该密钥将原始数据集进行加密,得到加密数据集。
6.如权利要求1或2所述的一种基于加密算法的图像抗干扰方法,其特征在于:所述步骤4中,构建七层卷积神经网络,该网络包括一个输入层、两个卷积层、两个池化层、一个全连接层和一个输出层,训练时分别输入原始数据集和加密数据集,网络的基本参数和规格设置完成后,每次选取固定个数的样本输入到卷积神经网络中,在输出层可得到训练样本的实际标签,将实际输出与标签进行对比,得到残差,结合反向传播算法调整网络权重和偏置。
7.如权利要求1或2所述的一种基于加密算法的图像抗干扰方法,其特征在于:所述步骤5中,手写体图像数据的标签预测步骤如下:
5.1)将手写体图像样本io输入训练完成的生成式对抗网络模型,得到受神经网络干扰后图像样本in;
5.2)将手写体图像样本io通过加密算法进行加密,得到加密样本ien;
5.3)将受神经网络干扰的图像样本in和加密图像样本ien输入训练完成的卷积神经网络模型,进行标签预测,通过比较样本in标签和样本ien标签的一致性可以判断图像样本是否受到干扰。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010371154.7A CN111726472B (zh) | 2020-05-06 | 2020-05-06 | 一种基于加密算法的图像抗干扰方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010371154.7A CN111726472B (zh) | 2020-05-06 | 2020-05-06 | 一种基于加密算法的图像抗干扰方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111726472A true CN111726472A (zh) | 2020-09-29 |
CN111726472B CN111726472B (zh) | 2022-04-08 |
Family
ID=72564189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010371154.7A Active CN111726472B (zh) | 2020-05-06 | 2020-05-06 | 一种基于加密算法的图像抗干扰方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111726472B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112398641A (zh) * | 2020-11-17 | 2021-02-23 | 上海桂垚信息科技有限公司 | 一种基于aes加密算法在加密芯片上的应用方法 |
CN112417467A (zh) * | 2020-10-26 | 2021-02-26 | 南昌大学 | 一种基于对抗神经密码学和sha控制混沌的图像加密方法 |
CN112488294A (zh) * | 2020-11-20 | 2021-03-12 | 北京邮电大学 | 一种基于生成对抗网络的数据增强系统、方法和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153810A (zh) * | 2016-03-04 | 2017-09-12 | 中国矿业大学 | 一种基于深度学习的手写体数字识别方法及系统 |
CN107958259A (zh) * | 2017-10-24 | 2018-04-24 | 哈尔滨理工大学 | 一种基于卷积神经网络的图像分类方法 |
US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
CN110490128A (zh) * | 2019-08-16 | 2019-11-22 | 南京邮电大学 | 一种基于加密神经网络的手写识别方法 |
-
2020
- 2020-05-06 CN CN202010371154.7A patent/CN111726472B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153810A (zh) * | 2016-03-04 | 2017-09-12 | 中国矿业大学 | 一种基于深度学习的手写体数字识别方法及系统 |
CN107958259A (zh) * | 2017-10-24 | 2018-04-24 | 哈尔滨理工大学 | 一种基于卷积神经网络的图像分类方法 |
US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
CN110490128A (zh) * | 2019-08-16 | 2019-11-22 | 南京邮电大学 | 一种基于加密神经网络的手写识别方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417467A (zh) * | 2020-10-26 | 2021-02-26 | 南昌大学 | 一种基于对抗神经密码学和sha控制混沌的图像加密方法 |
CN112417467B (zh) * | 2020-10-26 | 2022-12-06 | 南昌大学 | 一种基于对抗神经密码学和sha控制混沌的图像加密方法 |
CN112398641A (zh) * | 2020-11-17 | 2021-02-23 | 上海桂垚信息科技有限公司 | 一种基于aes加密算法在加密芯片上的应用方法 |
CN112488294A (zh) * | 2020-11-20 | 2021-03-12 | 北京邮电大学 | 一种基于生成对抗网络的数据增强系统、方法和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111726472B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Deep learning-enabled semantic communication systems with task-unaware transmitter and dynamic data | |
CN108764270B (zh) | 一种利用卷积神经网络集成的信息隐藏检测方法 | |
CN111726472B (zh) | 一种基于加密算法的图像抗干扰方法 | |
CN115378574B (zh) | 一种轻量级动态图像数据加密方法及系统 | |
CN114339258B (zh) | 一种基于视频载体的信息隐写方法及装置 | |
CN111951149A (zh) | 一种基于神经网络的图像信息隐写方法 | |
CN115758422A (zh) | 一种文件加密方法及系统 | |
Wei et al. | Universal deep network for steganalysis of color image based on channel representation | |
Xiang et al. | A new convolutional neural network-based steganalysis method for content-adaptive image steganography in the spatial domain | |
Lu et al. | Secure halftone image steganography based on feature space and layer embedding | |
CN113627543A (zh) | 一种对抗攻击检测方法 | |
Veerashetty | Secure communication over wireless sensor network using image steganography with generative adversarial networks | |
Chanchal et al. | A comprehensive survey on neural network based image data hiding scheme | |
Zhang et al. | CNN-based anomaly detection for face presentation attack detection with multi-channel images | |
CN113362216A (zh) | 基于后门水印的深度学习模型加密方法和装置 | |
CN116341004B (zh) | 一种基于特征嵌入分析的纵向联邦学习隐私泄露检测方法 | |
CN114900586B (zh) | 一种基于dcgan的信息隐写方法及装置 | |
CN117131520A (zh) | 基于动态掩膜和生成恢复的两阶段图像隐私保护方法与系统 | |
Kich et al. | Image steganography scheme using dilated convolutional network | |
Ren et al. | A New Data Model for the Privacy Protection of Medical Images | |
Abbas Ahmed et al. | Design of Time-Delay Convolutional Neural Networks (TDCNN) Model for Feature Extraction for Side-Channel Attacks | |
Babaheidarian et al. | Decode and transfer: A new steganalysis technique via conditional generative adversarial networks | |
He et al. | Adversarial defense through high frequency loss variational autoencoder decoder and bayesian update with collective voting | |
Xie | Adaptive spatial image steganography and steganalysis using perceptual modelling and machine learning | |
Qiu | Generative Image Steganography Scheme Based on Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |