CN113739720B - 一种融合声学与光学方法的水下高精度测量和缺陷检测方法 - Google Patents
一种融合声学与光学方法的水下高精度测量和缺陷检测方法 Download PDFInfo
- Publication number
- CN113739720B CN113739720B CN202111006002.8A CN202111006002A CN113739720B CN 113739720 B CN113739720 B CN 113739720B CN 202111006002 A CN202111006002 A CN 202111006002A CN 113739720 B CN113739720 B CN 113739720B
- Authority
- CN
- China
- Prior art keywords
- optical
- dimensional
- point cloud
- measured surface
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 72
- 238000005259 measurement Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007547 defect Effects 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000012876 topography Methods 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 3
- 238000000691 measurement method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种融合声学与光学方法的水下高精度测量和缺陷检测方法，可得到水下结构的多尺度声光融合三维形貌点云，以更好地检测水下结构的损伤、缺陷等信息。该方法主要包括如下步骤：(1)在水下测量平台上安装导航设备、光学三维形貌测量装置、三维声呐测量装置。(2)利用光学三维形貌测量装置得到被测面整体光学三维形貌点云数据。(3)利用三维声呐获取水下被测面整体声学三维形貌点云数据。(4)将被测面整体的声学、光学三维形貌点云数据进行融合，实现水下结构三维形貌的高精度测量。(5)基于声学、光学融合三维形貌点云数据，利用深度学习算法实现水下缺陷自动定位。
Description
技术领域
本发明涉及水下高精度测量领域，具体涉及一种融合声学与光学方法的水下高精度测量和缺陷检测方法。
背景技术
水下三维声呐系统通过发射密集的波束并获取目标物表面的回波，然后转换为电信号后进行处理以获取物体表面的高密度点云数据，在军事、海洋测绘、水声通信、渔业、水下结构检测等方面应用广泛。具有适用于水下复杂环境、精度较高等、测量范围广、测量速度快的特点。然而，声呐技术的测量分辨率有一定的限制，无法胜任水下精细结构的检测任务，如大坝、桥墩的局部缺陷的检测。
基于光学的三维形貌测量方法包括三维数字散斑相关法、栅线投影法、线结构光法等，应用三角测量原理进行三维形貌测量。光学测量方法的优点是非接触、测量精度非常高。若将声呐测量技术和基于光学的三维形貌测量方法结合用于水下测量，将声学和光学点云数据进行匹配融合，可以得到信息丰富、从粗到细不同分辨率的声光融合三维点云，能在多尺度上更好地检测水下结构的形貌和损伤等细节信息。
发明内容
发明目的：本发明的目的是提供一种融合声学与光学方法的水下高精度测量和缺陷检测技术，可以得到信息丰富、从粗到细不同分辨率的声光融合三维点云，能在多尺度上更好地检测水下结构的形貌和损伤等信息。
技术方案：一种融合声学与光学方法的水下高精度测量和缺陷检测方法，该方法包括以下步骤：
(1)在可移动的水下测量平台上安装三维声呐测量装置、GPS、惯性制导单元、由投影仪和相机组成的光学三维形貌测量装置，相机被封装于具有透明观察窗的防水外壳中；
(2)在水下被测面上选择一位置作为初始位置，并将测量平台置于初始位置，使用测量平台上的光学三维形貌测量装置测得到初始位置在预设距离范围内被测面局部光学三维形貌点云；
(3)移动测量平台到被测面其他位置，使用光学三维形貌测量装置测得测量平台移动后所处位置在预设距离范围内的被测面局部光学三维形貌点云，同时保证测量平台移动前后测得的两组被测面局部光学三维形貌点云有重叠部分；将GPS、惯性制导单元提供的测量平台整体的位移和转动数据作为测量平台移动前后得到的两组被测面局部光学三维形貌点云之间坐标转换矩阵的初值，并将坐标转换矩阵初值代入基于点云特征匹配的三维点云配准算法的迭代过程中，最终得到以上两组点云之间精确的坐标转换矩阵，从而将测量平台移动前后得到的两组被测面局部光学三维形貌点云转换到同一坐标系下，实现三维形貌拼接；
(4)重复步骤(3)，不断移动测量平台，将每次移动后测得的被测面局部光学三维形貌点云依次拼接到本次移动前已测得并拼接为一体的被测面三维形貌点云上，直到得到被测面整体光学三维形貌点云；
(5)利用三维声呐获取整个水下被测面的声学三维形貌点云数据；
(6)将被测面整体光学三维形貌点云进行稀疏抽样，并将抽样后的光学三维形貌点云与声学三维形貌点云进行点云特征匹配，得到上述两组点云之间的坐标转换矩阵，利用得到的坐标转化矩阵将原始被测面整体光学三维形貌点云和声学三维形貌点云转换到同一坐标系下，从而得到整个被测面的声学、光学融合三维形貌点云；
(7)基于声学、光学融合三维形貌点云数据，通过人工识别的方法标记被测面缺陷的位置，建立被测面缺陷点云数据集，并输入到检测被测面缺陷的深度学习算法中，对算法进行训练使算法能够自动识别定位被测面缺陷。
进一步的，光学三维形貌测量装置中的相机为近红外相机；光学三维形貌测量装置所基于的测量方法为双相机三维数字散斑相关法或栅线投影法或线结构光法。
进一步的，相机的成像模型为折射成像模型：相机被封装于有透明平板观察窗的防水外壳中，相机光心到观察窗内表面的垂直距离为d，透明平板观察窗表面所在平面的法向量为
光线首先由水体出发，在水体和透明平板观察窗的交界面发生第一次折射，进入厚度为h的透明平板观察窗，之后光线在透明观察窗和空气的交界面发生第二次折射，进入空气，光线最终进入相机并成像于相机的感光靶面。
有益效果：与现有技术相比，本发明的技术方案具有以下有益效果：
(1)通过建立相机折射成像模型修正了水下光学测量方法中因光线折射对测量带来的偏差；采用近红外相机来获得高质量、噪声较少的水下图像。以上两点一定程度上提高了水下光学测量的精度。
(2)利用多波束声呐获取水下物体稀疏三维点云数据，并融合声光测量各自的优势，创新地将声学点云数据和光学点数据进行匹配融合，得到信息丰富的、从粗到细不同分辨率的被测面三维形貌点云，可以用于对水下结构做更精细的检测。
附图说明
图1为发明方法流程图；
图2为水下相机折射成像模型示意图；
图3为声学和光学三维点云融合方法示意图。
具体实施方式
下面结合具体实施案例对本发明作进一步的说明。
(1)在可移动的水下测量平台上安装三维声呐测量装置、GPS、惯性制导单元。在水下测量平台上安装由投影仪和两个近红外相机组成的基于双相机三维数字散斑相关法的光学三维形貌测量系统，其中每个相机都单独被封装于带有平板状、透明观察窗的防水外壳中。
(2)在水下被测面上选择一位置作为初始位置，并将测量平台置于初始位置。使用测量平台上的光学三维形貌测量装置得到初始位置在预设距离范围内被测面局部光学三维形貌点云；
(3)移动测量平台到被测面其他位置，使用光学三维形貌测量装置测得测量平台移动后所处位置在预设距离范围内的被测面局部光学三维形貌点云，同时保证测量平台移动前后测得的两组被测面局部光学三维形貌点云有重叠部分；将GPS、惯性制导单元提供的测量平台整体的位移和转动数据作为测量平台移动前后得到的两组被测面局部光学三维形貌点云之间坐标转换矩阵的初值，并将坐标转换矩阵初值代入基于点云特征匹配的三维点云配准算法的迭代过程中，最终得到以上两组点云之间精确的坐标转换矩阵，从而将测量平台移动前后得到的两组被测面局部光学三维形貌点云转换到同一坐标系下，实现三维形貌拼接；
(4)重复步骤(3)，不断移动测量平台，将每次移动后测得的被测面局部光学三维形貌点云依次拼接到本次移动前已测得并拼接为一体的被测面三维形貌点云上，直到得到被测面整体光学三维形貌点云；
(5)利用三维声呐获取整个水下被测面的声学三维形貌点云数据；
(6)将被测面整体光学三维形貌点云进行稀疏抽样，并将抽样后的光学三维形貌点云与声学三维形貌点云进行点云特征匹配，得到上述两组点云之间的坐标转换矩阵，利用得到的坐标转化矩阵将原始被测面整体光学三维形貌点云和声学三维形貌点云转换到同一坐标系下，从而得到整个被测面的声学、光学融合三维形貌点云；
(7)基于声学、光学融合三维形貌点云数据，通过人工识别的方法标记被测面缺陷的位置，建立被测面缺陷点云数据集，并输入到检测被测面缺陷的深度学习算法中，对算法进行训练使算法能够自动识别定位被测面缺陷。
Claims (3)
1.一种融合声学与光学方法的水下高精度测量和缺陷检测方法，其特征在于，该方法包括以下步骤：
(1)在可移动的水下测量平台上安装三维声呐测量装置、GPS、惯性制导单元、由投影仪和相机组成的光学三维形貌测量装置，相机被封装于具有透明观察窗的防水外壳中；
(2)在水下被测面上选择一位置作为初始位置，并将测量平台置于初始位置，使用测量平台上的光学三维形貌测量装置测得到初始位置在预设距离范围内被测面局部光学三维形貌点云；
(3)移动测量平台到被测面其他位置，使用光学三维形貌测量装置测得测量平台移动后所处位置在预设距离范围内的被测面局部光学三维形貌点云，同时保证测量平台移动前后测得的两组被测面局部光学三维形貌点云有重叠部分；将GPS、惯性制导单元提供的测量平台整体的位移和转动数据作为测量平台移动前后得到的两组被测面局部光学三维形貌点云之间坐标转换矩阵的初值，并将坐标转换矩阵初值代入基于点云特征匹配的三维点云配准算法的迭代过程中，最终得到两组点云之间精确的坐标转换矩阵，从而将测量平台移动前后得到的两组被测面局部光学三维形貌点云转换到同一坐标系下，实现三维形貌拼接；
(4)重复步骤(3)，不断移动测量平台，将每次移动后测得的被测面局部光学三维形貌点云依次拼接到本次移动前已测得并拼接为一体的被测面三维形貌点云上，直到得到被测面整体光学三维形貌点云；
(5)利用三维声呐获取整个水下被测面的声学三维形貌点云数据；
(6)将被测面整体光学三维形貌点云进行稀疏抽样，并将抽样后的光学三维形貌点云与声学三维形貌点云进行点云特征匹配，得到上述两组点云之间的坐标转换矩阵，利用得到的坐标转化矩阵将原始被测面整体光学三维形貌点云和声学三维形貌点云转换到同一坐标系下，从而得到整个被测面的声学、光学融合三维形貌点云；
(7)基于声学、光学融合三维形貌点云数据，通过人工识别的方法标记被测面缺陷的位置，建立被测面缺陷点云数据集，并输入到检测被测面缺陷的深度学习算法中，对算法进行训练使算法能够自动识别定位被测面缺陷。
2.根据权利要求1所述的一种融合声学与光学方法的水下高精度测量和缺陷检测方法，其特征在于，光学三维形貌测量装置中的相机为近红外相机；光学三维形貌测量装置所基于的测量方法为双相机三维数字散斑相关法，或栅线投影法，或线结构光法。
3.根据权利要求1所述的一种融合声学与光学方法的水下高精度测量和缺陷检测方法，其特征在于，相机的成像模型为折射成像模型：相机被封装于有透明平板观察窗的防水外壳中，相机光心到观察窗内表面的垂直距离为d，透明平板观察窗表面所在平面的法向量为
光线首先由水体出发，在水体和透明平板观察窗的交界面发生第一次折射，进入厚度为h的透明平板观察窗，之后光线在透明观察窗和空气的交界面发生第二次折射，进入空气，光线最终进入相机并成像于相机的感光靶面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006002.8A CN113739720B (zh) | 2021-08-30 | 2021-08-30 | 一种融合声学与光学方法的水下高精度测量和缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006002.8A CN113739720B (zh) | 2021-08-30 | 2021-08-30 | 一种融合声学与光学方法的水下高精度测量和缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113739720A CN113739720A (zh) | 2021-12-03 |
| CN113739720B true CN113739720B (zh) | 2022-06-17 |
Family
ID=78733938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111006002.8A Active CN113739720B (zh) | 2021-08-30 | 2021-08-30 | 一种融合声学与光学方法的水下高精度测量和缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113739720B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663745B (zh) * | 2022-03-04 | 2024-07-02 | 深圳鳍源科技有限公司 | 水下设备的位置锁定方法、终端设备、系统和介质 |
| CN115100298B (zh) * | 2022-08-25 | 2022-11-29 | 青岛杰瑞工控技术有限公司 | 一种用于深远海视觉养殖的光-声图像融合方法 |
| CN118010637B (zh) * | 2024-04-09 | 2024-06-07 | 江苏迪莫工业智能科技有限公司 | 一种生产工具用螺母检测系统及其检测方法 |
| CN118154993B (zh) * | 2024-05-09 | 2024-07-19 | 南昌工程学院 | 基于声光图像融合的双模态水下大坝裂缝检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110081836A (zh) * | 2019-05-31 | 2019-08-02 | 常州长光智能科技发展有限公司 | 便携式工具痕迹三维形貌重构装置 |
| CN110989638A (zh) * | 2019-12-06 | 2020-04-10 | 南京邮电大学 | 一种基于自主航行技术的水下建筑物缺陷检测方法 |
| CN112345552A (zh) * | 2020-11-18 | 2021-02-09 | 西安热工研究院有限公司 | 一种用于大坝水下表面缺陷检测的装置 |
| CN112489110A (zh) * | 2020-11-25 | 2021-03-12 | 西北工业大学青岛研究院 | 一种水下动态场景光学混合三维成像方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3652929A4 (en) * | 2017-07-10 | 2021-07-21 | 3D AT Depth, Inc. | UNDERWATER OPTICAL POSITIONING SYSTEMS AND METHODS |
-
2021
- 2021-08-30 CN CN202111006002.8A patent/CN113739720B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110081836A (zh) * | 2019-05-31 | 2019-08-02 | 常州长光智能科技发展有限公司 | 便携式工具痕迹三维形貌重构装置 |
| CN110989638A (zh) * | 2019-12-06 | 2020-04-10 | 南京邮电大学 | 一种基于自主航行技术的水下建筑物缺陷检测方法 |
| CN112345552A (zh) * | 2020-11-18 | 2021-02-09 | 西安热工研究院有限公司 | 一种用于大坝水下表面缺陷检测的装置 |
| CN112489110A (zh) * | 2020-11-25 | 2021-03-12 | 西北工业大学青岛研究院 | 一种水下动态场景光学混合三维成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113739720A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113739720B (zh) | 一种融合声学与光学方法的水下高精度测量和缺陷检测方法 | |
| CN101566461B (zh) | 大型水轮机叶片快速测量方法 | |
| CN104990515B (zh) | 大型物体三维形状测量系统及其测量方法 | |
| CN104359406B (zh) | 一种准分布式结构位移光学测量方法 | |
| CN103267491A (zh) | 自动获取物体表面完整三维数据的方法及系统 | |
| CN109269466A (zh) | 基于特征点的靶面相对位姿测量方法及系统 | |
| CN106504287B (zh) | 基于模板的单目视觉目标空间定位系统 | |
| CN103940590A (zh) | 大口径光学镜头畸变的标定方法 | |
| CN109490251A (zh) | 基于光场多层折射模型的水下折射率自标定方法 | |
| CN114018167A (zh) | 一种基于单目三维视觉的桥梁挠度测量方法 | |
| CN107687821B (zh) | 用于深孔洞旋转件形貌测量的多相机光刀系统标定方法 | |
| CN110044266B (zh) | 基于散斑投影的摄影测量系统 | |
| CN101726316A (zh) | 内方位元素及畸变测试仪 | |
| CN114136544B (zh) | 基于高速视频测量的水下振动模拟测试系统及测试方法 | |
| CN105387818B (zh) | 一种基于一维图像序列的大尺度三维形貌测量方法 | |
| TWI632347B (zh) | 立體影像與雷射掃描測距整合方法 | |
| CN110146032A (zh) | 基于光场分布的合成孔径相机标定方法 | |
| CN106959101B (zh) | 一种基于光流法的室内定位方法 | |
| CN108895969A (zh) | 一种手机外壳的三维检测方法及装置 | |
| Zhang et al. | Freight train gauge-exceeding detection based on three-dimensional stereo vision measurement | |
| CN201277864Y (zh) | 内方位元素及畸变测试仪 | |
| El-Ashmawy | Using smart phones for deformations measurements of structures | |
| US20240369346A1 (en) | Method and System for High-precision Localization of Surface of Object | |
| CN114266835A (zh) | 一种非量测相机的变形监测控制方法与系统 | |
| Pham et al. | A Mobile Vision-based System for Gap and Flush Measuring between Planar Surfaces using ArUco Markers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |