CN106128096B - 一种机动车未按规定开启转向灯违章变道智能识别方法及其装置 - Google Patents
一种机动车未按规定开启转向灯违章变道智能识别方法及其装置 Download PDFInfo
- Publication number
- CN106128096B CN106128096B CN201610503997.1A CN201610503997A CN106128096B CN 106128096 B CN106128096 B CN 106128096B CN 201610503997 A CN201610503997 A CN 201610503997A CN 106128096 B CN106128096 B CN 106128096B
- Authority
- CN
- China
- Prior art keywords
- lane change
- vehicle
- image
- indicating light
- steering indicating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种机动车未按规定开启转向灯违章变道智能识别方法及其装置,所述方法步骤包括:首先利用变道检测模块检测机动车是否变道,再利用视频采集模块采集变道车辆图像,然后利用转向灯识别模块识别图像中的转向灯,从而获得违章变道车辆的图像信息。与现有技术相比,本发明采用了视频分析和图像识别技术,解决了机动车未按规定开启转向灯违章变道行为一直以来无法机器智能识别的问题,为交管部门对各类机动车违章变道行为处罚提供强有力的技术支撑。
Description
技术领域
本发明涉及的是智能交通检测的技术领域,尤其涉及的是一种机动车未按规定开启转向灯违章变道智能识别方法及其装置。
背景技术
机动车随意变更车道是从机动车不按规定车道行驶派生出的一种交通违章行为,是指机动车在正常行驶中,违反规定随意变更原行驶车道,影响正常行驶的机动车的违法行为。开车上路,变更车道是最常见的驾驶行为之一,随意变更车道更是普遍的动态交通违章行为。大部分驾驶员认为路面宽阔(尤其是高速公路),只要没车就可以随意变更车道,任意驾驭,其实这种想法是大错特错的。车辆随意变更车道是一种极度危险的行为,“加塞”、“抢道”、“不打转向灯”等野蛮霸道的驾驶行为,会严重扰乱行车秩序,尤其以在城市路口、高速公路上较为多见,给道路交通安全埋下了极大的安全隐患,极易因妨碍变更后的车道内正常行驶车辆而造成交通拥堵、刹车不及,带来的直接后果是引发交通事故,造成人员伤亡。
近年来,随着我国机动车保有量的快速增长,因高速公路机动车违章变更车道行为造成的交通事故已经占到30%以上,特别是新增驾驶员随便违章变更车道行为极其严重,造成了重大人员伤亡和财产损失,社会反响强烈。
目前,我国对于机动车变道不打方向灯的行为识别都是基于人工的,即使安装了视频监控的地段,也智能在监控录像中的视频中人工查找和筛选,效率低下,实用性不强,所以一直以来对机动车违章变道特别是高速公路机动车违章变道行为的处罚无法实施。
发明内容
本发明的目的在于克服现有技术的不足,提供了一种机动车未按规定开启转向灯违章变道智能识别方法及其装置,以克服。
本发明是通过以下技术方案实现的:
本发明提供了一种机动车未按规定开启转向灯违章变道智能识别方法,包括以下步骤:
步骤S1:利用变道检测模块检测机动车是否变道,若变道检测模块检测机动车变道,则触发视频采集模块连续拍摄变道车辆并采集该变道车辆的特征信息,获得变道车辆图像I,所述连续拍摄的数量至少为2张;
步骤S2:利用转向灯识别模块识别变道车辆图像I中的转向灯,具体为:
步骤S201:提取变道车辆图像I的每个像素点i的R通道灰度值Ri,如果Ri≥TR,则保留该像素点i,否则将该像素点i过滤,获得去噪图像I1,其中TR为像素点i的R通道灰度阈值,TR可根据实际情况进行调整设置,此时,去噪图像I1中大部分的背景噪声被滤掉,只保留偏红色的光斑和白色光斑;
步骤S202:计算去噪图像I1中光斑的偏红水平rs:
式中:s为光斑所在的区域,为光斑的像素点的集合;Ri、Gi、Bi分别为像素点i的红、绿、蓝三通道灰度值;
步骤S203:如果0≤rs≤Trs,则保留该rs对应的区域s,否则过滤掉该rs对应的区域s,获得含有偏红色的光斑的目标图像I2;其中Trs为区域s的R通道灰度阈值,Trs可根据实际情况进行调整设置,这些偏红色的光斑即为本发明要检测的目标,这些偏红色的光斑包括真正的转向灯,也可能包括转向灯的倒影,但并不影响机动车转向灯的检测,因为两者的运动特征是一样的,可以将转向灯及其倒影都归为一类,同属于一辆车;
如果去噪图像I1中没有区域s满足0≤rs≤Trs,则将该去噪图像I1对应的变道车辆图像I存储在违章车辆库中;
步骤S204:将含有偏红色的光斑的目标图像I2与其连续拍摄的另一张变道车辆图像对应的目标图像比较,若两张图像满足0≤rs≤Trs的区域s的位置不同,则将该目标图像I2对应的原始变道车辆图像I储存在非违章车辆库中;若两张图像满足0≤rs≤Trs的区域s相同,说明该偏红色光斑可能是红色信号灯等其它干扰灯光,则保留该目标图像I2对应的原始变道车辆图像I,并将其储存在违章车辆库中;
步骤S3:利用传输模块将违章车辆库和非违章车辆库上传至后台交通监管中心,对于违章车辆库中的车辆,直接发布违章信息。
进一步地,所述步骤S1中,变道检测模块为设于道路行车线上的变道检测线圈。
进一步地,所述步骤S1中,变道车辆的特征信息包括车牌号、车辆颜色。
进一步地,所述步骤S1中,视频采集模块可以采用市售的具有车牌号、车辆颜色等识别功能的摄像机,为了避免夜晚机动车前端大灯的干扰,视频采集模块还可采用市售的强光抑制摄像机。
进一步地,所述步骤S3中,对于非违章车辆库中的车辆,直接删除相关图片信息,或者通过人工复核的方法再鉴定一遍,以防止遗漏。
本发明还提供了利用上述方法的机动车未按规定开启转向灯违章变道智能识别装置,包括主控模块,及与其连接的变道检测模块、视频采集模块、转向灯识别模块、储存模块和传输模块,其中:
所述主控模块用于控制各模块的有序运行;
所述变道检测模块用于检测机动车是否变道;
所述视频采集模块用于采集变道车辆图像,并识别该变道车辆的相关特征信息;
所述转向灯识别模块用于识别视频采集的图像中机动车的转向灯是否开启;
所述储存模块用于将采集的变道车辆图像及其特征信息按照违章车辆和非违章车辆进行分类储存;
所述传输模块用于将存储模块中的图像及其特征信息传输给后台交通监管中心。
本发明相比现有技术具有以下优点:
1)本发明采用视频分析和图像识别技术,解决了机动车未按规定开启转向灯违章变道行为一直以来无法机器智能识别的问题。
2)本发明通过抓拍一组机动车变道图片作为该机动车行驶过程中的违章变道行为的证据,数据实时、可靠、无争议。
3)本发明将为交管部门对各类机动车违章变道行为处罚提供强有力的技术支撑。
4)本方面的大规模应用,将大大降低因违章变道引起的各类交通事故,社会效益显著。
附图说明
图1为机动车未按规定开启转向灯违章变道智能识别方法的流程图;
图2为转向灯识别模块识别变道车辆图像转向灯方法的流程图;
图3为机动车未按规定开启转向灯违章变道智能识别装置的结构框图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
本实施例提供了一种机动车未按规定开启转向灯违章变道智能识别方法,如图1和2所示,包括以下步骤:
步骤S1:利用变道检测模块检测机动车是否变道,若变道检测模块检测机动车变道,则触发视频采集模块连续拍摄变道车辆并采集该变道车辆的特征信息,获得变道车辆图像I,所述连续拍摄的数量至少为2张,所述变道车辆的特征信息包括车牌号、车辆颜色等,但不限于此,视频采集模块可以采用市售的具有车牌号、车辆颜色等识别功能的摄像机,为了避免夜晚机动车前端大灯的干扰,视频采集模块可采用市售的强光抑制摄像机;
步骤S2:利用转向灯识别模块识别变道车辆图像I中的转向灯,具体为:
步骤S201:提取变道车辆图像I的每个像素点i的R通道灰度值Ri,如果Ri≥TR,则保留该像素点i,否则将该像素点i过滤,获得去噪图像I1,其中TR为像素点i的R通道灰度阈值,TR可根据实际情况进行调整设置,此时,去噪图像I1中大部分的背景噪声被滤掉,只保留偏红色的光斑和白色光斑;
步骤S202:计算去噪图像I1中光斑的偏红水平rs:
式中:s为光斑所在的区域,为光斑的像素点的集合;Ri、Gi、Bi分别为像素点i的红、绿、蓝三通道灰度值;
步骤S203:如果0≤rs≤Trs,则保留该rs对应的区域s,否则过滤掉该rs对应的区域s,获得含有偏红色的光斑的目标图像I2;其中Trs为区域s的R通道灰度阈值,Trs可根据实际情况进行调整设置,这些偏红色的光斑即为本发明要检测的目标,这些偏红色的光斑包括真正的转向灯,也可能包括转向灯的倒影,但并不影响机动车转向灯的检测,因为两者的运动特征是一样的,可以将转向灯及其倒影都归为一类,同属于一辆车;
如果去噪图像I1中没有区域s满足0≤rs≤Trs,则将该去噪图像I1对应的变道车辆图像I存储在违章车辆库中;
步骤S204:将含有偏红色的光斑的目标图像I2与其连续拍摄的另一张变道车辆图像对应的目标图像比较,若两张图像满足0≤rs≤Trs的区域s的位置不同,则将该目标图像I2对应的原始变道车辆图像I储存在非违章车辆库中;若两张图像满足0≤rs≤Trs的区域s相同,说明该偏红色光斑可能是红色信号灯等其它干扰灯光,则保留该目标图像I2对应的原始变道车辆图像I,并将其储存在违章车辆库中;
步骤S3:利用传输模块将违章车辆库和非违章车辆库上传至后台交通监管中心,对于违章车辆库中的车辆,直接发布违章信息;对于非违章车辆库中的车辆,直接删除相关图片信息,或者通过人工复核的方法再鉴定一遍,以防止遗漏。
本实施例还提供了一种机动车未按规定开启转向灯违章变道智能识别装置,具有如图3所示的结构,包括主控模块,及与其连接的变道检测模块、视频采集模块、转向灯识别模块、储存模块和传输模块,其中:
所述主控模块用于控制各模块的有序运行;
所述变道检测模块为设于道路行车线上的变道检测线圈,用于检测机动车是否变道;
所述视频采集模块为市售的具有车牌号、车辆颜色识别功能的强光抑制摄像机,用于采集变道车辆的图像,并识别该变道车辆的相关特征信息;
所述转向灯识别模块用于识别视频采集的图像中机动车的转向灯是否开启;
所述储存模块中包括违章车辆库和非违章车辆库,用于将视频采集模块采集的机动车图像及其特征信息按照违章车辆和非违章车辆进行分类储存;
所述传输模块用于将存储模块中的图像及其特征信息传输给后台交通监管中心。
Claims (7)
1.一种机动车未按规定开启转向灯违章变道智能识别方法,其特征在于,包括以下步骤:
步骤S1:利用变道检测模块检测机动车是否变道,若变道检测模块检测到有机动车变道,则触发视频采集模块连续拍摄该变道车辆并采集该变道车辆的特征信息,获得变道车辆图像I;
步骤S2:利用转向灯识别模块识别变道车辆图像I中的转向灯,具体为:
步骤S201:提取变道车辆图像I的每个像素点i的R通道灰度值Ri,如果Ri≥TR,则保留该像素点i,否则将该像素点i过滤,获得去噪图像I1,其中TR为像素点i的R通道灰度阈值,此时,该去噪图像I1中大部分的背景噪声被滤掉,只保留了偏红色的光斑和白色光斑;
步骤S202:计算去噪图像I1中光斑的偏红水平rs:
式中:s为光斑所在的区域,为光斑的像素点的集合;Ri、Gi、Bi分别为像素点i的红、绿、蓝三通道灰度值;
步骤S203:如果0≤rs≤Trs,则保留该rs对应的区域s,否则过滤掉该rs对应的区域s,获得含有偏红色的光斑的目标图像I2;其中Trs为区域s的R通道灰度阈值;
如果去噪图像I1中没有区域s满足0≤rs≤Trs,则将该去噪图像I1对应的变道车辆图像I存储在违章车辆库中;
步骤S204:将含有偏红色的光斑的目标图像I2与其连续拍摄的另一张变道车辆图像对应的目标图像比较,若两张图像满足0≤rs≤Trs的区域s的位置不同,则将该目标图像I2对应的原始变道车辆图像I储存在非违章车辆库中;若两张图像满足0≤rs≤Trs的区域s相同,则将该目标图像I2对应的原始变道车辆图像I储存在违章车辆库中;
步骤S3:利用传输模块将违章车辆库和非违章车辆库上传至后台交通监管中心,对于违章车辆库中的车辆,直接发布违章信息。
2.根据权利要求1所述的一种机动车未按规定开启转向灯违章变道智能识别方法,其特征在于,所述步骤S1中,变道检测模块为设于道路行车线上的变道检测线圈。
3.根据权利要求1所述的一种机动车未按规定开启转向灯违章变道智能识别方法,其特征在于,所述步骤S1中,变道车辆的特征信息包括车牌号、车辆颜色。
4.根据权利要求1所述的一种机动车未按规定开启转向灯违章变道智能识别方法,其特征在于,所述步骤S1中,视频采集模块为具有车牌号、车辆颜色识别功能的摄像机。
5.根据权利要求1所述的一种机动车未按规定开启转向灯违章变道智能识别方法,其特征在于,所述步骤S1中,视频采集模块为强光抑制摄像机。
6.根据权利要求1所述的一种机动车未按规定开启转向灯违章变道智能识别方法,其特征在于,所述步骤S3中,对于非违章车辆库中的车辆,直接删除图片信息,或者通过人工复核的方法再鉴定一遍。
7.一种利用如权利要求1-6任一所述方法的机动车未按规定开启转向灯违章变道智能识别装置,其特征在于,包括主控模块,及与其连接的变道检测模块、视频采集模块、转向灯识别模块、储存模块和传输模块,其中:
所述主控模块用于控制各模块的有序运行;
所述变道检测模块用于检测机动车是否变道;
所述视频采集模块用于采集变道车辆图像,并识别该变道车辆的相关特征信息;
所述转向灯识别模块用于识别视频采集的图像中机动车的转向灯是否开启;
所述储存模块用于将采集的变道车辆图像及其特征信息按照违章车辆和非违章车辆进行分类储存;
所述传输模块用于将存储模块中的图像及其特征信息传输给后台交通监管中心。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610503997.1A CN106128096B (zh) | 2016-06-29 | 2016-06-29 | 一种机动车未按规定开启转向灯违章变道智能识别方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610503997.1A CN106128096B (zh) | 2016-06-29 | 2016-06-29 | 一种机动车未按规定开启转向灯违章变道智能识别方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106128096A CN106128096A (zh) | 2016-11-16 |
CN106128096B true CN106128096B (zh) | 2018-10-26 |
Family
ID=57467545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610503997.1A Active CN106128096B (zh) | 2016-06-29 | 2016-06-29 | 一种机动车未按规定开启转向灯违章变道智能识别方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106128096B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650730A (zh) * | 2016-12-14 | 2017-05-10 | 广东威创视讯科技股份有限公司 | 汽车变道过程中的转向灯检测方法和系统 |
CN106781521B (zh) * | 2016-12-30 | 2020-12-25 | 东软集团股份有限公司 | 交通信号灯的识别方法和装置 |
CN111145555B (zh) * | 2019-12-09 | 2021-02-26 | 浙江大华技术股份有限公司 | 一种检测车辆违章的方法和装置 |
CN111724607B (zh) * | 2020-07-01 | 2021-12-07 | 上海眼控科技股份有限公司 | 转向灯使用检测方法、装置、计算机设备和存储介质 |
CN113033275B (zh) * | 2020-11-17 | 2023-04-18 | 浙江浩腾电子科技股份有限公司 | 基于深度学习的车辆变道不打转向灯分析系统 |
CN112949470A (zh) * | 2021-02-26 | 2021-06-11 | 上海商汤智能科技有限公司 | 车辆变道转向灯识别方法、装置、设备及存储介质 |
CN113298976B (zh) * | 2021-04-30 | 2022-04-08 | 东风汽车集团股份有限公司 | 一种机动车违法行为自动抓拍处理方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006236247A (ja) * | 2005-02-28 | 2006-09-07 | Toyota Motor Corp | 規制車線検出装置及び車両用経路推奨装置 |
JP2009140007A (ja) * | 2007-12-03 | 2009-06-25 | Sumitomo Electric Ind Ltd | 交通量算出装置、交通量算出プログラム及び交通量算出方法 |
CN102542845A (zh) * | 2011-12-23 | 2012-07-04 | 奇瑞汽车股份有限公司 | 一种基于gps定位与车车通讯技术的变道预警系统及方法 |
CN102963294A (zh) * | 2012-11-02 | 2013-03-13 | 西安理工大学 | 一种夜间行驶车辆远光灯开启状态的判别方法 |
CN104077819A (zh) * | 2014-06-17 | 2014-10-01 | 深圳前向启创数码技术有限公司 | 基于行车安全的远程监控方法及系统 |
CN104599545A (zh) * | 2014-05-19 | 2015-05-06 | 腾讯科技(深圳)有限公司 | 用于行车过程中的行车状态监测方法、装置和导航设备 |
CN105691293A (zh) * | 2014-11-27 | 2016-06-22 | 德尔福电子(苏州)有限公司 | 一种汽车转向灯自动控制系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6882287B2 (en) * | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
-
2016
- 2016-06-29 CN CN201610503997.1A patent/CN106128096B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006236247A (ja) * | 2005-02-28 | 2006-09-07 | Toyota Motor Corp | 規制車線検出装置及び車両用経路推奨装置 |
JP2009140007A (ja) * | 2007-12-03 | 2009-06-25 | Sumitomo Electric Ind Ltd | 交通量算出装置、交通量算出プログラム及び交通量算出方法 |
CN102542845A (zh) * | 2011-12-23 | 2012-07-04 | 奇瑞汽车股份有限公司 | 一种基于gps定位与车车通讯技术的变道预警系统及方法 |
CN102963294A (zh) * | 2012-11-02 | 2013-03-13 | 西安理工大学 | 一种夜间行驶车辆远光灯开启状态的判别方法 |
CN104599545A (zh) * | 2014-05-19 | 2015-05-06 | 腾讯科技(深圳)有限公司 | 用于行车过程中的行车状态监测方法、装置和导航设备 |
CN104077819A (zh) * | 2014-06-17 | 2014-10-01 | 深圳前向启创数码技术有限公司 | 基于行车安全的远程监控方法及系统 |
CN105691293A (zh) * | 2014-11-27 | 2016-06-22 | 德尔福电子(苏州)有限公司 | 一种汽车转向灯自动控制系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106128096A (zh) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106128096B (zh) | 一种机动车未按规定开启转向灯违章变道智能识别方法及其装置 | |
CN107967806B (zh) | 车辆套牌检测方法、装置、可读存储介质及电子设备 | |
CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
CN103778786B (zh) | 一种基于显著车辆部件模型的交通违章检测方法 | |
CN106205144B (zh) | 高速公路应急车道占用监督处罚方法和系统 | |
CN103065470B (zh) | 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置 | |
CN206610437U (zh) | 道路路口电子监控系统 | |
CN102298693B (zh) | 基于计算机视觉的高速公路弯道检测方法 | |
CN108847032A (zh) | 一种交通违法行为识别方法及装置 | |
TW201241796A (en) | System and method for inspection of cars that violate traffic regulations using images | |
CN107609491A (zh) | 一种基于卷积神经网络的车辆违章停车检测方法 | |
CN105355052B (zh) | 一种车辆图像的合成方法和装置 | |
CN102556021B (zh) | 一种汽车防闯红灯的控制装置 | |
CN106327863A (zh) | 一种车辆拥堵检测预警方法、装置及系统 | |
CN109166319A (zh) | 一种基于区块链技术的高速公路违法行为识别方法 | |
CN113055649A (zh) | 一种隧道智能视频监控方法、装置、智能终端及存储介质 | |
CN109859487A (zh) | 一种基于ai高点全景智能交通违法监测方法与系统 | |
CN104361753A (zh) | 一种车辆未交替行驶的违章取证方法及装置 | |
CN104134350A (zh) | 一种交通违法行为识别智能球机系统 | |
CN111292530A (zh) | 处理违章图片的方法、装置、服务器和存储介质 | |
CN106023599A (zh) | 一种超高超宽违法抓拍电子警察系统及其控制方法 | |
CN112102609A (zh) | 一种针对高速公路车辆违章行为的智能检测系统 | |
CN104658261A (zh) | 高速公路大车占道检测监控系统 | |
CN113033275B (zh) | 基于深度学习的车辆变道不打转向灯分析系统 | |
CN204856897U (zh) | 一种机动车即停即离区域的违章检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |