[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116645321B - 植被叶倾角演算统计方法、装置、电子设备及存储介质 - Google Patents

植被叶倾角演算统计方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116645321B
CN116645321B CN202310390426.1A CN202310390426A CN116645321B CN 116645321 B CN116645321 B CN 116645321B CN 202310390426 A CN202310390426 A CN 202310390426A CN 116645321 B CN116645321 B CN 116645321B
Authority
CN
China
Prior art keywords
leaf
image
feature
dimensional point
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310390426.1A
Other languages
English (en)
Other versions
CN116645321A (zh
Inventor
朱再春
王哲
陈玥
曾达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202310390426.1A priority Critical patent/CN116645321B/zh
Publication of CN116645321A publication Critical patent/CN116645321A/zh
Application granted granted Critical
Publication of CN116645321B publication Critical patent/CN116645321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了植被叶倾角演算统计方法、装置、电子设备及存储介质其方法包括：S1、控制无人机飞行让相机对研究区域进行重叠覆盖拍摄得到拍摄影像及所对应的坐标数据，由此融合得到研究区域内的整幅影像；S2、三维点云生成模型处理得到二值化影像数据；S4、将三维点云数据与整幅二值化影像数据进行对应投射，并基于分割出的叶片二值图像将三维点云数据聚类对应划分得到单独的叶簇；S5、利用最小二乘法拟合得到叶簇拟合平面，计算单个叶簇的叶倾角，将叶簇的叶倾角对应标注显示在所对应的叶片二值图像上。本发明能够实现提取演算研究区任意场景的植被叶倾角，不仅降低了时间和经济成本，而且实现了在生态系统尺度上数据统计及可视化展示。

Description

植被叶倾角演算统计方法、装置、电子设备及存储介质
技术领域
本发明涉及植被影像数据反演领域，尤其涉及一种植被叶倾角演算统计方法、装置、电子设备及存储介质，特别涉及无人机影像处理、三维点云重建、深度学习等数据处理领域。
背景技术
树木等植被是生态环境的重要屏障，承担着陆地碳汇的重要任务，树冠等植被的结构信息(尤其是树冠结构，比如叶面积指数、叶倾角等)是影响太阳辐射在冠层内进行重新分配的重要因素，对调控生态与物质平衡起着至关重要的作用。叶倾角分布(Leaf AngleDistribution，LAD)是植被冠层结构的重要参数，有助于理解光合作用、蒸散、辐射传输和光谱反射率的森林冠层过程。叶倾角分布会影响叶片接收的光量和植被的光合生产力，由于植被冠层结构的复杂性，叶倾角的测量是一项具有挑战性的任务。传统叶倾角测量一般是采用直接测量法，即通过倾斜仪、量角器和罗盘手动测量的，非常费力和耗时；同时，此种方法对拍照性能具有一定的要求，受到指南针传感器性能的影响，精度难以把控，并且只能在地面测量低矮植被的叶倾角，测量范围受限。三维(3D)数字化仪可以捕捉到准确的树冠结构，但这种方法耗时，仅限于一些小型或简单的树冠。另外，还有水平摄影法，使用水平数字相机测量叶片倾角，确保叶片方向大致垂直于相机的观察方向，并使用ImageJ软件在图像中测量叶片角度，但该方法需要叶片呈现一定的角度，而高大树木冠层中的叶片往往大多数并不符合这一角度，该方法具有很大的局限性；水平摄影法每次只能计算单片叶子的倾角，人工成本较高，费时费力；水平摄影法只能提取特定场景下叶片的倾角，可以测量少量特定场景下的叶片倾角。
以上这些叶倾角测量方法以上所述在很大程度上依赖于测量人员的实际经验，易受主观因素或测量操作影响，而且速度慢、工作强度大，难以高效获取生态系统尺度的叶倾角分布，生态系统内物种组成多样、种间相互作用错综复杂，传统站点尺度的测量方法无法简单外推到生态系统尺度。
发明内容
本发明的目的在于克服背景技术所指出的技术问题，提供一种植被叶倾角演算统计方法、装置、电子设备及存储介质，通过三维点云生成模型对无人机影像提取重建得到三维点云数据，通过Mask R-CNN网络对无人机影像中叶片实体分割，对应提取叶片所对应的叶簇并利用最小二乘法拟合得到叶簇拟合平面，同时计算叶簇拟合平面转换为世界空间坐标系中的法向量，进而计算出叶倾角。本发明实现提取演算研究区任意场景的植被叶倾角，不仅极大地降低了时间和经济成本，而且可以实现在生态系统尺度上数据统计及可视化展示。
而本发明使用的无人机具有高性能的传感器，获取的无人机照片的俯仰角和方位角精度要远优于手机照片。本发明的目的在于提供一种基于无人机影像的生态系统尺度植被叶倾角提取方法，旨在为生态系统尺度的叶倾角提取和应用提供数据支持。
本发明的目的通过下述技术方案实现：
一种植被叶倾角演算统计方法，其方法包括：
S1、对研究区域的无人机航线进行规划，无人机底部设置有相机并构建有与相机位置相对应的相机空间坐标系，控制无人机飞行让相机对研究区域进行重叠覆盖拍摄得到拍摄影像及所对应的坐标数据，由此融合得到研究区域内的整幅影像；
S2、构建三维点云生成模型，三维点云生成模型基于SfM算法进行三维重建生成密集的三维点云数据；
S3、构建Mask R-CNN网络，Mask R-CNN网络包括坐标注意力机制模块、特征金字塔网络、区域候选网络和全卷积神经网络，Mask R-CNN网络将整幅影像裁剪成若干个影像数据块并对影像数据块进行提取特征依次得到五个特征图，通过坐标注意力机制模块、特征金字塔网络对特征图进行方向感知、融合处理得到有效特征图，然后通过区域候选网络进行兴趣区分割、对齐处理，接着通过全卷积神经网络、卷积层对有效特征图进行掩膜、边框回归、分类操作，得到影像数据块所对应的分割结果图A，将所有影像数据块的分割结果图A进行二值化处理并拼接处理得到二值化影像数据，二值化影像数据包括若干个叶片二值图像；
S4、将三维点云数据与整幅二值化影像数据进行对应投射，并基于分割出的叶片二值图像将三维点云数据聚类对应划分得到单独的叶簇，三维点云数据就划分出多个与叶片二值图像对应的叶簇，单个叶簇包括若干个三维点云；
S5、提取单个叶簇所对应的三维点云，并利用最小二乘法拟合得到叶簇拟合平面，计算单个叶簇拟合平面转换为世界空间坐标系中的法向量，然后计算单个叶簇的叶倾角，将叶簇的叶倾角对应标注显示在所对应的叶片二值图像上；按照上述方法在二值化影像数据中各个叶片二值图像分别标注显示叶倾角，同时将所有叶倾角信息存储并构建叶倾角数据库。
本发明植被叶倾角演算统计方法还包括如下方法：
S6、选取研究区域的全部或部分作为统计区域，从叶倾角数据库提取统计区域的所有叶倾角信息并进行数据统计及可视化展示，数据统计包括分布统计，可视化展示包括叶倾角分布直方图。
优选地，在方法S1中，设定无人机航线的航向和旁向重叠率均大于80％，相机距离树木冠层1～1.5m处拍摄大小为4000×3000的拍摄影像，相机的俯仰角控制为40°～45°；在方法S2中，三维点云生成模型内部包括带有SfM算法的PhotoScan软件。
本发明植被叶倾角演算统计方法优选的技术方案是：在方法S3中，Mask R-CNN网络将整幅影像裁剪成大小为1024×1024的影像数据块并得到五个特征图分别为特征图FF1、特征图FF2、特征图FF3、特征图FF4、特征图FF5，坐标注意力机制模块对特征图FF2、特征图FF3、特征图FF4、特征图FF5分别进行如下处理：
坐标注意力机制模块将输入的特征图按照垂直方向、水平方向分解并经过自适应平均池化处理得到两个方向感知特征图，将两个方向感知特征图进行1×1卷积操作与拼接处理，得到拼接后的特征图，将拼接后的特征图进行1×1卷积操作、非线性激活函数操作处理后重新得到两个方向上的特征图，对两个方向上的特征图分别进行1×1的卷积、Sigmoid激活操作处理后得到两个方向上的注意力权重；将两个方向上的注意力权重与输入的特征图相乘，得到与输入特征图相同大小的注意力特征图；
将特征图FF2、特征图FF3、特征图FF4、特征图FF5分别输出的注意力特征图融合处理得到有效特征图。
本发明植被叶倾角演算统计方法优选的技术方案是：在方法S5中，计算单个叶簇的叶倾角方法如下：
单个叶簇拟合平面转换为世界空间坐标系中的法向量为n′＝(x′，y′，z′)，按照如下公式计算得到叶倾角：
其中，v＝(0，0，1)表示世界空间坐标系中的绝对垂直向量，h＝(0，1，0)表示世界空间坐标系中水平面的正北向量。
本发明植被叶倾角演算统计方法优选的技术方案是：方法S1中拍摄影像中记录有俯仰角θp和方位角在方法S5中，将叶簇拟合平面从相机空间坐标系转换为世界空间坐标系，并求出叶簇拟合平面在世界空间坐标系中的法向量。
一种植被叶倾角演算统计装置，包括无人机拍摄控制系统、处理系统和输出展示模块；无人机拍摄控制系统包括无人机和搭载于无人机上的相机，无人机上构建有与相机位置相对应的相机空间坐标系；处理系统包括三维点云生成模型、Mask R-CNN网络、对应投射模块、计算模块；
所述无人机拍摄控制系统，用于对研究区域的无人机航线进行规划，控制无人机飞行让相机对研究区域进行重叠覆盖拍摄得到拍摄影像及所对应的坐标数据，由此融合得到研究区域内的整幅影像；
三维点云生成模型对研究区域内的整幅影像通过PhotoScan软件基于SfM算法进行三维重建生成密集的三维点云数据；Mask R-CNN网络包括坐标注意力机制模块、特征金字塔网络、区域候选网络和全卷积神经网络，Mask R-CNN网络将整幅影像裁剪成若干个影像数据块并对影像数据块进行提取特征依次得到五个特征图，通过坐标注意力机制模块、特征金字塔网络对特征图进行方向感知、融合处理得到有效特征图，然后通过区域候选网络进行兴趣区分割、对齐处理，接着通过全卷积神经网络、卷积层对有效特征图进行掩膜、边框回归、分类操作，最终得到影像数据块所对应的分割结果图A，将所有影像数据块的分割结果图A进行二值化处理并拼接处理得到二值化影像数据，二值化影像数据包括若干个叶片二值图像；对应投射模块将三维点云数据与整幅二值化影像数据进行对应投射，并基于分割出的叶片二值图像将三维点云数据聚类对应划分得到单独的叶簇，三维点云数据就划分出多个与叶片二值图像对应的叶簇，单个叶簇包括若干个三维点云；计算模块提取单个叶簇所对应的三维点云并利用最小二乘法拟合得到叶簇拟合平面，计算单个叶簇拟合平面转换为世界空间坐标系中的法向量，然后计算单个叶簇的叶倾角；
输出展示模块，用于将叶簇的叶倾角对应标注显示在所对应的叶片二值图像上，将所有叶倾角信息构建得到叶倾角数据库，同时进行数据统计及可视化展示。
一种电子设备，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行实现本发明本发明植被叶倾角演算统计方法的步骤。
一种存储介质，包括存储器和处理器，所述存储器存储有可执行程序，所述处理器执行所述可执行程序时实现本发明植被叶倾角演算统计方法的步骤。
本发明较现有技术相比，具有以下优点及有益效果：
本发明通过三维点云生成模型对无人机影像提取重建得到三维点云数据，通过Mask R-CNN网络对无人机影像中叶片实体分割，对应提取叶片所对应的叶簇并利用最小二乘法拟合得到叶簇拟合平面，同时计算叶簇拟合平面转换为世界空间坐标系中的法向量，进而计算出叶倾角。本发明实现提取演算研究区任意场景的植被叶倾角，不仅极大地降低了时间和经济成本，而且可以实现在生态系统尺度上数据统计及可视化展示。
附图说明
图1为本发明植被叶倾角演算统计方法的流程示意图；
图2为本发明植被叶倾角演算统计装置的原理结构框图；
图3为实施例中列举研究区的样方规划无人机航线的示意图；
图4为实施例中PhotoScan软件生成的三维密集点示意图；
图5为实施例中Mask R-CNN网络结构原理示意图；
图6为实施例中坐标注意力机制模块的原理示意图；
图7为实施例中举例研究区样方部分的拼接后整幅二值化影像；
图8为实施例中三维点云划分叶簇的原理示意图；
图9为实施例中三维点云与叶片相对应的示意图；
图10为实施例中相机空间坐标系与世界空间坐标系的关系示意图；
图11为实施例中举例研究区样方内标注显示叶倾角的示意图；
图12为图11的局部放大示意图；
图13为实施例中举例研究区样方内叶倾角分布直方图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例
如图1、图3～图13所示，一种植被叶倾角演算统计方法，其方法包括：
S1、对研究区域(研究区为根据实际情况所选取确定的地理区域)的无人机航线进行规划，无人机底部设置有相机并构建有与相机位置相对应的相机空间坐标系，控制无人机飞行让相机对研究区域进行重叠覆盖拍摄得到拍摄影像及所对应的坐标数据(相机搭载于无人机上，相机拍摄有俯仰角θp和方位角拍摄影像中实时记录俯仰角θp和方位角/>)，由此融合得到研究区域内的整幅影像。
在一些实施例中，设定无人机航线的航向和旁向重叠率均大于80％，相机距离树木冠层1～1.5m处拍摄大小为4000×3000的拍摄影像，相机的俯仰角控制为40°～45°。以杨梅坑观测站为例，设定研究区域为杨梅坑观测站，本实施例选取杨梅坑观测站某一区域作为一个样方(样方为50×50m)来举例介绍，进行无人机航线规划，无人机航线的航向和旁向重叠率设置为80％，具体的航线规划如图3所示，无人机航线覆盖区域需大于研究区的样方，飞行航线采用双网格飞行，由南北航线和东西航线组成；在无风或微风条件下，利用大疆御Air2无人机，在距离树木冠层1～1.5m处拍摄若干个大小为4000×3000的拍摄影像(即无人机影像)，融合得到研究区域内的整幅影像。
S2、构建三维点云生成模型，三维点云生成模型基于SfM算法进行三维重建生成密集的三维点云数据，如图4所示；优选地，三维点云生成模型内部包括带有SfM算法的PhotoScan软件，使用PhotoScan软件中的SfM算法对整幅影像(包括若干个拍摄影像)处理得到密集的三维点云；优选地，还可以采用双边滤波对原始的三维点云进行去噪，保持三维点云的边缘并降噪和平滑。
S3、构建Mask R-CNN网络，如图5所示，Mask R-CNN网络包括坐标注意力机制模块、特征金字塔网络、区域候选网络和全卷积神经网络，Mask R-CNN网络将整幅影像裁剪成若干个影像数据块并对影像数据块进行提取特征依次得到五个特征图，通过坐标注意力机制模块、特征金字塔网络对特征图进行方向感知、融合处理得到有效特征图，然后通过区域候选网络进行兴趣区分割、对齐处理，接着通过全卷积神经网络、卷积层对有效特征图进行掩膜、边框回归、分类操作，得到影像数据块所对应的分割结果图A，将所有影像数据块的分割结果图A进行二值化处理并拼接处理得到二值化影像数据，二值化影像数据包括若干个叶片二值图像，如图7所示，杨梅坑观测站某一样方的二值化影像数据。
在一些实施例中，如图5所示，Mask R-CNN网络将整幅影像裁剪成大小为1024×1024的影像数据块并得到五个特征图分别为特征图FF1、特征图FF2、特征图FF3、特征图FF4、特征图FF5，坐标注意力机制模块对特征图FF2、特征图FF3、特征图FF4、特征图FF5分别进行如下处理：
坐标注意力机制模块将输入的特征图按照垂直方向、水平方向分解并经过自适应平均池化处理得到两个方向感知特征图，将两个方向感知特征图进行1×1卷积操作与拼接处理，得到拼接后的特征图，将拼接后的特征图进行1×1卷积操作、非线性激活函数操作处理后重新得到两个方向上的特征图，对两个方向上的特征图分别进行1×1的卷积、Sigmoid激活操作处理后得到两个方向上的注意力权重；将两个方向上的注意力权重与输入的特征图相乘，得到与输入特征图相同大小的注意力特征图。
然后，将特征图FF2、特征图FF3、特征图FF4、特征图FF5分别输出的注意力特征图融合处理得到有效特征图。优选地，比如特征图FF2、特征图FF3、特征图FF4、特征图FF5分别输出的注意力特征图分别为注意力特征图P2、注意力特征图P3、注意力特征图P4、注意力特征图P5，注意力特征图P5还经过步长为2的最大池化下采样得到注意力特征图P6。将注意力特征图P2、P3、P4、P5、P6作为区域候选网络(RPN)的输入特征图，通过卷积操作(包括3×3卷积、1×1卷积)来获取先验框调整参数，并判断先验框内是否存在叶片，区域候选网络对先验框进行解码获得建议框；在兴趣区对齐层中，将两次兴趣区池化过程中导致的区域不匹配进行对齐；最后，将获取的特征图分别输入到全卷积神经网络和卷积层中，进行边框回归、分类、掩模。
采集200张整幅无人机影像，按6：3：1比例划分为训练集、验证集和测试集，实现Mask R-CNN网络训练，利用验证集调节每次迭代训练的模型精度，通过调节参数，训练出最优的Mask R-CNN网络(或称Mask R-CNN深度学习模型)。为了保证训练精度，应保证所有树种均有训练样本，并利用Labelme软件，对无人机影像(大小为4000×3000)中的每个完整叶片进行标注并制作标签；将无人机整幅影像和对应的标签裁剪成大小为1024×1024的小样本影像(即对应影像数据块)，通过小样本影像进行Mask R-CNN网络的训练，并得到训练后、精度高的Mask R-CNN网络。本发明解决的技术问题为：在高大树木冠层中，人工测量叶倾角十分困难，存在人工效率低下和经济成本高的问题，每次只能测量很小区域的叶倾角；本发明主要应用于森林高大树木冠层的叶倾角数据演算处理，当然也可以推广应用于其他植被(比如草地)。
在一些实施例中，Mask R-CNN网络将整幅影像裁剪成大小为1024×1024的影像数据块(即对应小样本影像)，Mask R-CNN网络内部具有ResNet101主干特征提取网络，如图5所示，ResNet101主干特征提取网络包括四个坐标注意力机制模块、四个特征金字塔网络，首先经过特征提取依次得到特征图FF1(256×256×64)、特征图FF2(256×256×256)、特征图FF3(128×128×512)、特征图FF4(64×64×1024)、特征图FF5(32×32×2048)，坐标注意力机制模块对特征图FF2、特征图FF3、特征图FF4、特征图FF5分别进行如下处理：
A、坐标注意力机制模块将输入的特征图按照垂直方向、水平方向分解并经过自适应平均池化处理得到两个方向感知特征图。将两个方向感知特征图进行1×1卷积操作与拼接处理，得到拼接后的特征图，将拼接后的特征图进行1×1卷积操作、非线性激活函数操作处理后重新得到两个方向上的特征图，对两个方向上的特征图分别进行1×1的卷积、Sigmoid激活操作处理后得到两个方向上的注意力权重；将两个方向上的注意力权重与输入的特征图相乘，得到与输入特征图相同大小的注意力特征图。坐标注意力机制模块将输入特征图在空间方向(垂直方向和水平方向)为两个1维特征编码过程，并分别沿2个空间方向聚合特征，得到2个独立的方向感知特征图。这两个方向感知特征图，不仅可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息；然后分别将生成的特征图编码为对方向感知和位置敏感的两个注意力权重，这两个注意力权重与输入特征图相乘来增强特征图的表示能力，可以有效地将特征图的空间信息整合到生成的注意力特征图中。如图6所示，以特征图FF2(256×256×256)为例，输入特征图(256×256×256)在垂直和水平方向上分别进行自适应平均池化，得到两个方向感知特征图(256×1×256、256×256×1)，对这两个方向特征图进行1×1的卷积操作与拼接处理。将拼接后的特征图进行1×1卷积操作、非线性激活函数操作处理后重新得到两个方向上的特征图，对两个方向上的特征图分别进行1×1的卷积、Sigmoid激活操作处理后得到两个方向上的注意力权重(256×1×256、256×256×1)。最后，将注意力权重和输入的特征图相乘，得到与输入特征图相同大小的注意力特征图(256×256×256)。
B、特征图FF2、特征图FF3、特征图FF4、特征图FF5分别输出的注意力特征图分别为注意力特征图P2、注意力特征图P3、注意力特征图P4、注意力特征图P5，注意力特征图P5还经过步长为2的最大池化下采样得到注意力特征图P6。将注意力特征图P2、P3、P4、P5、P6(此时可统称为有效特征图)作为区域候选网络(RPN)的输入特征图，通过卷积操作(包括3×3卷积、1×1卷积)来获取先验框调整参数，并判断先验框内是否存在叶片，区域候选网络对先验框进行解码获得建议框；在兴趣区对齐层中，将两次兴趣区池化过程中导致的区域不匹配进行对齐；最后，将获取的特征图分别输入到全卷积神经网络和卷积层中，进行边框回归、分类、掩模，如图5所示，全卷积神经网络主要承担掩模处理，卷积层主要承担边框回归、分类处理，最后得到影像数据块所对应的分割结果图A。
C、将所有影像数据块的分割结果图A进行二值化处理(叶片区域的值为1，背景区域的值为0)并拼接处理得到二值化影像数据，二值化影像数据包括若干个叶片二值图像，如图7所示。
S4、将三维点云数据与整幅二值化影像数据进行对应投射，并基于分割出的叶片二值图像将三维点云数据聚类对应划分得到单独的叶簇，单独的叶簇为与叶片二值图像相对应的点云集，三维点云数据就划分出多个与叶片二值图像对应的叶簇，单个叶簇包括若干个三维点云，对应关系如图8所示。
S5、提取单个叶簇所对应的三维点云，并利用最小二乘法拟合得到叶簇拟合平面，计算单个叶簇拟合平面转换为世界空间坐标系中的法向量，由于叶簇拟合平面是基于相机空间坐标系下的坐标数据得到的，因此需要转换成世界空间坐标系来计算叶簇拟合平面的法向量(将叶簇拟合平面从相机空间坐标系转换为世界空间坐标系，并求出叶簇拟合平面在世界空间坐标系中的法向量)，相机空间坐标系转换为世界空间坐标系的方法可以采用现有成熟方法，两种坐标系的示意图如图10所示。最小二乘法拟合得到叶簇拟合平面方法如下：根据单个叶簇中所有三维点云到拟合平面的距离总和最小，利用最小二乘法来拟合平面(Ax+By+Cz+D＝0)，具体公式如下：
其中，xi，yi，zi分别是点云的三维坐标，N表示单个叶簇的三维点总数；A、B、C、D分别是拟合平面的参数，d表示三维点云到拟合平面的距离总和。
使用无人机相机中记录的俯仰角θp和方位角将叶簇拟合平面从相机坐标系(xyz)转换为世界空间坐标系(x′y′z′)，具体表达式如下；
其中，n′＝(x′，y′，z′)是叶簇拟合平面在世界空间坐标系中的法向量。
计算单个叶簇的叶倾角(法向量和天顶向量之间的夹角)，将叶簇的叶倾角对应标注显示在所对应的叶片二值图像上。在一些实施例中，计算单个叶簇的叶倾角方法如下：
单个叶簇拟合平面转换为世界空间坐标系中的法向量为n′＝(x′，y′，z′)，按照如下公式计算得到叶倾角：
其中，v＝(0，0，1)表示世界空间坐标系中的绝对垂直向量，h＝(0，1，0)表示世界空间坐标系中水平面的正北向量。
按照本发明方法在二值化影像数据中各个叶片二值图像分别标注显示叶倾角，同时将所有叶倾角信息存储并构建叶倾角数据库。在一些实施例中，由于叶片二值图像对应来源于整幅影像，整幅影像也就对应二值化影像数据，故按照上述方法在整幅影像中各个叶片分别标注显示叶倾角，如图11所示，直接在拍摄影像(或整幅影像或整幅影像所截取的研究样方)标注显示部分叶倾角，在局部放大图的图12中，可以看出叶片上对应标注显示有叶倾角信息。例如，将估算出的叶倾角显示在拍摄影像(或称无人机影像)中，如图11、图12所示，并对提取出杨梅坑观测站样方内1331个叶片的叶倾角进行直方图统计，无人机影像中的叶倾角分布情况，如图11所示。
S6、选取研究区域的全部或部分作为统计区域，从叶倾角数据库提取统计区域的所有叶倾角信息并进行数据统计及可视化展示，数据统计包括分布统计(比如随地理位置的空间分布统计，比如统计样方或研究区内的叶倾角分布情况，当然还可以做其他数据统计)，可视化展示包括叶倾角分布直方图，如图13所示，统计样方或研究区内的叶倾角分布情况，并制作出叶倾角分布直方图，进行直观展示，当然可视化展示还包括其他类似的统计展示内容及方式。
如图2所示，一种植被叶倾角演算统计装置，包括无人机拍摄控制系统、处理系统和输出展示模块；无人机拍摄控制系统包括无人机和搭载于无人机上的相机，无人机上构建有与相机位置相对应的相机空间坐标系；处理系统包括三维点云生成模型、Mask R-CNN网络、对应投射模块、计算模块；
所述无人机拍摄控制系统，用于对研究区域的无人机航线进行规划，控制无人机飞行让相机对研究区域进行重叠覆盖拍摄得到拍摄影像及所对应的坐标数据，由此融合得到研究区域内的整幅影像；
三维点云生成模型对研究区域内的整幅影像通过PhotoScan软件基于SfM算法进行三维重建生成密集的三维点云数据；Mask R-CNN网络包括坐标注意力机制模块、特征金字塔网络、区域候选网络和全卷积神经网络，Mask R-CNN网络将整幅影像裁剪成若干个影像数据块并对影像数据块进行提取特征依次得到五个特征图，通过坐标注意力机制模块、特征金字塔网络对特征图进行方向感知、融合处理得到有效特征图，然后通过区域候选网络进行兴趣区分割、对齐处理，接着通过全卷积神经网络、卷积层对有效特征图进行掩膜、边框回归、分类操作，最终得到影像数据块所对应的分割结果图A，将所有影像数据块的分割结果图A进行二值化处理并拼接处理得到二值化影像数据，二值化影像数据包括若干个叶片二值图像；对应投射模块将三维点云数据与整幅二值化影像数据进行对应投射，并基于分割出的叶片二值图像将三维点云数据聚类对应划分得到单独的叶簇，三维点云数据就划分出多个与叶片二值图像对应的叶簇，单个叶簇包括若干个三维点云；计算模块提取单个叶簇所对应的三维点云并利用最小二乘法拟合得到叶簇拟合平面，计算单个叶簇拟合平面转换为世界空间坐标系中的法向量，然后计算单个叶簇的叶倾角；
输出展示模块，用于将叶簇的叶倾角对应标注显示在所对应的叶片二值图像上，将所有叶倾角信息构建得到叶倾角数据库，同时进行数据统计及可视化展示。
一种电子设备，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行实现本发明本发明植被叶倾角演算统计方法的步骤。
一种存储介质，包括存储器和处理器，所述存储器存储有可执行程序，所述处理器执行所述可执行程序时实现本发明植被叶倾角演算统计方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种植被叶倾角演算统计方法，其特征在于：其方法包括：
S1、对研究区域的无人机航线进行规划，无人机底部设置有相机并构建有与相机位置相对应的相机空间坐标系，控制无人机飞行让相机对研究区域进行重叠覆盖拍摄得到拍摄影像及所对应的坐标数据，由此融合得到研究区域内的整幅影像；
S2、构建三维点云生成模型，三维点云生成模型基于SfM算法进行三维重建生成密集的三维点云数据；
S3、构建Mask R-CNN网络，Mask R-CNN网络包括坐标注意力机制模块、特征金字塔网络、区域候选网络和全卷积神经网络，Mask R-CNN网络将整幅影像裁剪成若干个影像数据块并对影像数据块进行提取特征依次得到五个特征图，通过坐标注意力机制模块、特征金字塔网络对特征图进行方向感知、融合处理得到有效特征图，然后通过区域候选网络进行兴趣区分割、对齐处理，接着通过全卷积神经网络、卷积层对有效特征图进行掩膜、边框回归、分类操作，得到影像数据块所对应的分割结果图A，将所有影像数据块的分割结果图A进行二值化处理并拼接处理得到二值化影像数据，二值化影像数据包括若干个叶片二值图像；Mask R-CNN网络将整幅影像裁剪成大小为1024×1024的影像数据块并得到五个特征图分别为特征图FF1、特征图FF2、特征图FF3、特征图FF4、特征图FF5，坐标注意力机制模块对特征图FF2、特征图FF3、特征图FF4、特征图FF5分别进行如下处理：
坐标注意力机制模块将输入的特征图按照垂直方向、水平方向分解并经过自适应平均池化处理得到两个方向感知特征图，将两个方向感知特征图进行1×1卷积操作与拼接处理，得到拼接后的特征图，将拼接后的特征图进行1×1卷积操作、非线性激活函数操作处理后重新得到两个方向上的特征图，对两个方向上的特征图分别进行1×1的卷积、Sigmoid激活操作处理后得到两个方向上的注意力权重；将两个方向上的注意力权重与输入的特征图相乘，得到与输入特征图相同大小的注意力特征图；
将特征图FF2、特征图FF3、特征图FF4、特征图FF5分别输出的注意力特征图融合处理得到有效特征图；
S4、将三维点云数据与整幅二值化影像数据进行对应投射，并基于分割出的叶片二值图像将三维点云数据聚类对应划分得到单独的叶簇，三维点云数据就划分出多个与叶片二值图像对应的叶簇，单个叶簇包括若干个三维点云；
S5、提取单个叶簇所对应的三维点云，并利用最小二乘法拟合得到叶簇拟合平面，计算单个叶簇拟合平面转换为世界空间坐标系中的法向量，然后计算单个叶簇的叶倾角，将叶簇的叶倾角对应标注显示在所对应的叶片二值图像上；按照上述方法在二值化影像数据中各个叶片二值图像分别标注显示叶倾角，同时将所有叶倾角信息存储并构建叶倾角数据库。
2.按照权利要求1所述的植被叶倾角演算统计方法，其特征在于：还包括如下方法：
S6、选取研究区域的全部或部分作为统计区域，从叶倾角数据库提取统计区域的所有叶倾角信息并进行数据统计及可视化展示，数据统计包括分布统计，可视化展示包括叶倾角分布直方图。
3.按照权利要求1所述的植被叶倾角演算统计方法，其特征在于：在方法S1中，设定无人机航线的航向和旁向重叠率均大于80％，相机距离树木冠层1～1.5m处拍摄大小为4000×3000的拍摄影像，相机的俯仰角控制为40°～45°；在方法S2中，三维点云生成模型内部包括带有SfM算法的PhotoScan软件。
4.按照权利要求1所述的植被叶倾角演算统计方法，其特征在于：在方法S5中，计算单个叶簇的叶倾角方法如下：
单个叶簇拟合平面转换为世界空间坐标系中的法向量为n′＝(x′，y′，z′)，按照如下公式计算得到叶倾角：
其中，v＝(0，0，1)表示世界空间坐标系中的绝对垂直向量，h＝(0，1，0)表示世界空间坐标系中水平面的正北向量。
5.按照权利要求4所述的植被叶倾角演算统计方法，其特征在于：方法S1中拍摄影像中记录有俯仰角θp和方位角在方法S5中，将叶簇拟合平面从相机空间坐标系转换为世界空间坐标系，并求出叶簇拟合平面在世界空间坐标系中的法向量。
6.一种植被叶倾角演算统计装置，其特征在于：包括无人机拍摄控制系统、处理系统和输出展示模块；无人机拍摄控制系统包括无人机和搭载于无人机上的相机，无人机上构建有与相机位置相对应的相机空间坐标系；处理系统包括三维点云生成模型、Mask R-CNN网络、对应投射模块、计算模块；
所述无人机拍摄控制系统，用于对研究区域的无人机航线进行规划，控制无人机飞行让相机对研究区域进行重叠覆盖拍摄得到拍摄影像及所对应的坐标数据，由此融合得到研究区域内的整幅影像；
三维点云生成模型对研究区域内的整幅影像通过PhotoScan软件基于SfM算法进行三维重建生成密集的三维点云数据；Mask R-CNN网络包括坐标注意力机制模块、特征金字塔网络、区域候选网络和全卷积神经网络，Mask R-CNN网络将整幅影像裁剪成若干个影像数据块并对影像数据块进行提取特征依次得到五个特征图，通过坐标注意力机制模块、特征金字塔网络对特征图进行方向感知、融合处理得到有效特征图，然后通过区域候选网络进行兴趣区分割、对齐处理，接着通过全卷积神经网络、卷积层对有效特征图进行掩膜、边框回归、分类操作，最终得到影像数据块所对应的分割结果图A，将所有影像数据块的分割结果图A进行二值化处理并拼接处理得到二值化影像数据，二值化影像数据包括若干个叶片二值图像；对应投射模块将三维点云数据与整幅二值化影像数据进行对应投射，并基于分割出的叶片二值图像将三维点云数据聚类对应划分得到单独的叶簇，三维点云数据就划分出多个与叶片二值图像对应的叶簇，单个叶簇包括若干个三维点云；计算模块提取单个叶簇所对应的三维点云并利用最小二乘法拟合得到叶簇拟合平面，计算单个叶簇拟合平面转换为世界空间坐标系中的法向量，然后计算单个叶簇的叶倾角；
输出展示模块，用于将叶簇的叶倾角对应标注显示在所对应的叶片二值图像上，将所有叶倾角信息构建得到叶倾角数据库，同时进行数据统计及可视化展示。
7.一种电子设备，其特征在于：包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行实现权利要求1至5任一项所述的植被叶倾角演算统计方法的步骤。
8.一种存储介质，包括存储器和处理器，所述存储器存储有可执行程序，其特征在于：所述处理器执行所述可执行程序时实现权利要求1至5中任一项所述的植被叶倾角演算统计方法的步骤。
CN202310390426.1A 2023-04-04 2023-04-04 植被叶倾角演算统计方法、装置、电子设备及存储介质 Active CN116645321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310390426.1A CN116645321B (zh) 2023-04-04 2023-04-04 植被叶倾角演算统计方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310390426.1A CN116645321B (zh) 2023-04-04 2023-04-04 植被叶倾角演算统计方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116645321A CN116645321A (zh) 2023-08-25
CN116645321B true CN116645321B (zh) 2024-03-08

Family

ID=87638824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310390426.1A Active CN116645321B (zh) 2023-04-04 2023-04-04 植被叶倾角演算统计方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116645321B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351359B (zh) * 2023-10-24 2024-06-21 中国矿业大学(北京) 基于改进Mask R-CNN的矿区无人机影像沙棘识别方法及系统
CN117934564B (zh) * 2024-01-05 2024-07-30 南京农业大学 一种基于体素分割法向量算法的小麦冠层叶倾角分布自动估算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667529A (zh) * 2020-05-25 2020-09-15 东华大学 一种植物点云叶片分割与表型特征测量方法
KR102223484B1 (ko) * 2020-11-09 2021-03-08 한국건설기술연구원 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법
CN113128405A (zh) * 2021-04-20 2021-07-16 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667529A (zh) * 2020-05-25 2020-09-15 东华大学 一种植物点云叶片分割与表型特征测量方法
KR102223484B1 (ko) * 2020-11-09 2021-03-08 한국건설기술연구원 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법
CN113128405A (zh) * 2021-04-20 2021-07-16 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法

Also Published As

Publication number Publication date
CN116645321A (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
Miao et al. Review of methods used to estimate the sky view factor in urban street canyons
CN116645321B (zh) 植被叶倾角演算统计方法、装置、电子设备及存储介质
CN112819830B (zh) 基于深度学习与机载激光点云的单株树冠分割方法
CN109883401B (zh) 一种城市观山可视域的测量方法及系统
CN111767865A (zh) 一种利用航拍影像和激光数据反演红树林生物量的方法
CN108007438A (zh) 无人机航空摄影遥感湿地植物生物量的估测方法
CN112881294B (zh) 一种基于无人机的红树林林分健康度评价方法
Yancho et al. Fine-scale spatial and spectral clustering of UAV-acquired digital aerial photogrammetric (DAP) point clouds for individual tree crown detection and segmentation
CN117876874B (zh) 基于高点监控视频的森林火灾检测和定位方法及系统
CN116561509A (zh) 顾及植被类型的城市植被地上生物量精确反演方法及系统
CN113781431A (zh) 基于城市点云数据的绿视率计算方法
Liu et al. An efficient approach based on UAV orthographic imagery to map paddy with support of field-level canopy height from point cloud data
CN115471634B (zh) 一种城市绿植孪生的建模方法及装置
CN115424135A (zh) 一种用于植被提取深度学习的四通道影像处理方法
Niederheiser et al. Dense image matching of terrestrial imagery for deriving high-resolution topographic properties of vegetation locations in alpine terrain
Huang et al. Recognition and counting of pitaya trees in karst mountain environment based on unmanned aerial vehicle RGB images
CN110580468B (zh) 一种基于影像匹配点云的单木结构参数提取的方法
Zhang et al. A shape reconstruction and measurement method for spherical hedges using binocular vision
CN115760885B (zh) 基于消费级无人机影像的高郁闭度湿地森林参数提取方法
CN115019190B (zh) 基于航空遥感平台的地形破碎区复杂地类信息提取方法
CN116486282A (zh) 一种基于深度学习的数字高程模型制作方法及系统、电子设备、存储介质
CN116843738A (zh) 基于tof深度相机的树木倾倒风险评估系统及方法
CN115655157A (zh) 基于鱼眼图像的叶面积指数测算方法
CN118397075B (zh) 基于鱼眼相机山地森林有效叶面积指数的计算方法
CN117739925B (zh) 一种无人机的影像智能分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant