CN110023782B - 用于对超声图像杂波滤波的方法和系统 - Google Patents
用于对超声图像杂波滤波的方法和系统 Download PDFInfo
- Publication number
- CN110023782B CN110023782B CN201780073761.1A CN201780073761A CN110023782B CN 110023782 B CN110023782 B CN 110023782B CN 201780073761 A CN201780073761 A CN 201780073761A CN 110023782 B CN110023782 B CN 110023782B
- Authority
- CN
- China
- Prior art keywords
- data matrix
- image
- spatial
- matrix
- ultrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001914 filtration Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 156
- 239000013598 vector Substances 0.000 claims abstract description 67
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 20
- 238000005259 measurement Methods 0.000 claims description 42
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 2
- 230000033001 locomotion Effects 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000002592 echocardiography Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 101100001674 Emericella variicolor andI gene Proteins 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 239000002033 PVDF binder Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229920002981 polyvinylidene fluoride Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
- A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52077—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging with means for elimination of unwanted signals, e.g. noise or interference
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Gynecology & Obstetrics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
提供了一种用于对超声图像杂波滤波的方法。在方法的第一阶段中，捕获数据矩阵，其中，数据矩阵包含与图像有关的信息，并且对数据矩阵或根据数据矩阵导出的矩阵执行奇异值分解(SVD)。然后根据数据矩阵的SVD获得空间奇异向量，并且根据它们估计平均空间频率。基于估计的平均空间频率和数据矩阵的SVD构建经滤波的数据矩阵，并且基于经滤波的数据矩阵构建经滤波的图像。
Description
技术领域
本发明涉及超声图像处理领域，并且更具体地涉及基于特征向量的杂波滤波领域。
背景技术
超声成像越来越多地被采用于各种不同的应用中。重要的是，由超声系统产生的图像尽可能清晰和准确，从而向用户给予对正被扫描的对象的真实解释。这尤其是当讨论中的对象是经历医学超声扫描的患者时的情况。在这种情况下，医生作出准确诊断的能力取决于由超声系统产生的图像的质量。
超声技术的最近进展已经极大地改进了图像质量和可靠性，然而，离轴杂波仍然是超声中图像劣化的显著原因。离轴杂波是噪声伪迹，其表现为与超声图像中感兴趣信号交叠的漫射回波。该杂波常常使感兴趣区域模糊，从而使得难以准确地执行作为诊断的关键的解剖学测量。
已经开发了用于离轴杂波减少的若干自适应技术，包括：像差校正、相干因子加权和基于每通道数据的协方差的其他自适应波束形成技术，诸如最小方差波束形成。波束形成技术基于沿着与超声换能器孔对齐的通道测量的信号的空间域。在这种情况下，离轴杂波信号的区别特征是其高空间频率，并且常常使用低通滤波器对信号进行滤波。
备选的基于特征向量的技术已经采用在多普勒滤波领域中，其涉及杂波信号的慢时间行为。协方差矩阵是根据超声数据形成的，所述超声数据的特征向量对应于慢时间中的目标组织的不同运动模式。通过分析时间特征向量的频率内容并衰减对应于缓慢移动的杂波的具有低时间频率的那些，可以以自适应方式对离轴杂波进行滤波。换言之，对于基于多普勒的技术，离轴杂波信号的区别特征是其低时间频率，并且常常使用高通滤波器对所述信号进行滤波。
Yu，Alfred C.H.等人的“A New Eigen-Based Clutter Filter Using theHankel SVD Approach”公开了一种用于在彩色流数据处理中执行基于特征的滤波的方法。
发明内容
本发明由权利要求限定。
根据依据本发明的方面的范例，提供了一种用于对超声图像杂波滤波的方法，包括：
-捕获数据矩阵，所述矩阵包含与图像有关的信息，其中，矩阵的每行或每列的元素对应于针对多个超声测量通道中的每个所记录的个体测量结果；
-对所述数据矩阵或根据所述数据矩阵导出的矩阵执行奇异值分解SVD；
–根据所述数据矩阵的SVD获得空间奇异向量；
–根据所述空间奇异向量估计平均空间频率；
-基于估计的平均空间频率和所述数据矩阵的SVD来构建经滤波的数据矩阵；并且
-基于经滤波的数据矩阵来构建经滤波的图像。
该方法对超声图像执行特征向量滤波，以便减少最终图像中的离轴杂波的量。医学超声扫描器通常包括能够发射和接收超声信号的超声换能器。这些信号常常以复包络信号(也称为波包)的形式来接收。通过以矩阵形式捕获这些信号，能够以多种方式分析和操纵数据。
矩阵的奇异值分解(SVD)是一种形式的矩阵分解，其导致单个矩阵被分裂成三个构成矩阵。例如，在数据矩阵的情况下，奇异值分解将导致其中，是正方酉矩阵，是对角矩阵，并且是方酉矩阵和方酉矩阵的共轭转置。矩阵的对角线条目称为的奇异值，并且矩阵和的列分别称为数据矩阵的左奇异向量和右奇异向量以这种方式，能够隔离和分析被存储在数据矩阵中的复信号数据的分量。
通过根据数据矩阵的SVD获得对应于空间奇异向量的右奇异向量，并使用其来估计针对信号的平均空间频率，能够识别将对最终图像中的离轴杂波有贡献的信号。通过消除或衰减包含离轴杂波的信号，能够利用剩余的经滤波的信号来构建经滤波的数据矩阵经滤波的数据矩阵内的信号然后可以用于计算经滤波的像素值，所述经滤波的像素值然后可以用于构建经杂波滤波的图像。
在一些布置中，数据矩阵包括：
-N列，其中，N对应于超声测量通道的数量；以及
-M行，其中，M对应于针对每个通道所记录的独立测量结果的数量。
在该设计中，数据矩阵是M×N矩形矩阵。相应地，是M×M方酉矩阵，是M×N矩形对角矩阵，是N×N方酉矩阵。
在另外的布置中，对M个独立测量结果的记录通过以下操作执行：
-在期望的时间间隔期间在M个时间点处从每个测量通道捕获数据；或者
-利用M个交叠超声发射对测量区进行声穿透；或者
-将物理接收孔划分为尺寸为N的M个交叠子阵列。
以这种方式，图像中相同位置的多个独立测量结果被用于降低在最终图像中包括随机误差的风险。
在一些设计中，所述方法还包括基于数据矩阵形成协方差矩阵，其中，对协方差矩阵执行奇异值分解。
协方差矩阵采取的形式，其中，是捕获的数据矩阵，并且是的共轭转置。在一些情况下，对协方差矩阵而不是对数据矩阵执行SVD能够是在计算上更高效的。
备选地，数据矩阵和协方差矩阵可以在空间频域中构建。在这种情况下，执行数据的短时快速时间傅里叶变换，并且通过子阵列平均或组合的发射事件或两者在每个频率处形成数据矩阵或协方差矩阵。
在一些实施例中，所获得的空间奇异向量包括数据矩阵的空间特征向量。在数据矩阵中捕获的复信号包含与超声图像有关的空间信息，诸如沿换能器阵列的横向尺度，以及接收到的信号的深度。在对数据矩阵执行奇异值分解的情况下，将与每个测量点有关的空间特征向量放置到矩阵的列中，所述列对应于数据矩阵的右奇异向量。
在一种布置中，使用自相关技术估计空间特征向量的平均空间频率。自相关技术是用于估计复信号中的平均频率的方法。在一些情况下，基于数据的自相关来计算平均空间频率的估计，其中，滞后为1，其是在N个样本上评价的。
在一个实施例中，构建经滤波的数据矩阵的步骤包括：
-基于估计的平均空间频率确定加权；
-将加权应用于相关联的空间奇异向量；并且
-在经滤波的数据矩阵的构建中使用加权的空间奇异向量。
在另一实施例中，针对具有为0的估计的平均空间频率的空间奇异向量，加权等于为1的最大值，并且随着估计的平均空间频率增加，加权减小到为0的最小值。
具有为0的空间频率的空间奇异向量对应于轴上信号，这意味着其已经在正确的位置被测量，而具有高空间频率的空间奇异向量对应于包含大量的离轴杂波的信号。通过基于相关联的平均空间频率对空间奇异向量应用加权，能够衰减离轴信号并且减少或消除它们对最终图像的贡献，从而减少最终图像中的离轴杂波。
在一种设计中，使用包括参考空间频率的高斯加权确定加权，并且在另外的实施例中，参考空间频率对应于发射波束宽度，其中，发射波束宽度是发射波束的角宽度。
在一些布置中，所述方法包括丢弃具有高于预定值的平均空间频率或具有非常低的对应的特征值的空间奇异向量。通过经由消除具有显着大的杂波分量或低特征值的空间奇异向量来限制空间奇异向量的数量，可以改进图像质量并且例如通过仅计算解释信号中的大多数信号的前几个特征向量来减少该方法的计算成本。
在一些设计中，经滤波的数据矩阵的构建还基于接收到的信号的幅度。例如，如果图像杂波被预期为具有低于信号的幅度的幅度，则基于幅度的滤波可以用于改进图像质量。换言之，还通过滤波过程来衰减较低能量的空间奇异向量。
根据本发明的另一方面的范例提供了一种用于对超声系统中的图像杂波进行滤波的控制器，其中，所述控制器适于：
捕获数据矩阵，所述数据矩阵包含与图像有关的信息，其中，矩阵的每行或每列的元素对应于针对多个超声测量通道中的每个所记录的个体测量结果；
对数据矩阵或根据数据矩阵导出的矩阵执行奇异值分解(SVD)；
根据数据矩阵的SVD获得空间奇异向量；
根据空间奇异向量估计平均空间频率；
基于估计的平均空间频率和数据矩阵的SVD构建经滤波的数据矩阵；并且
基于经滤波的数据矩阵构建经滤波的图像。
根据本发明另一方面的范例，提供了一种超声系统，包括：
-超声换能器阵列，其中，所述超声换能器阵列能够发射和接收超声信号；
-信号处理器，其用于将接收到的超声信号编译成超声图像；
-用于根据超声图像生成数据矩阵的系统；
-控制器，其中，所述控制器适于：
-捕获数据矩阵，所述数据矩阵包含与图像有关的信息，其中，矩阵的每行或每列的元素对应于针对多个超声测量通道中的每个所记录的个体测量结果；
-对数据矩阵或根据数据矩阵导出的矩阵执行奇异值分解(SVD)；
-根据数据矩阵的SVD获得空间奇异向量；
-根据空间奇异向量估计平均空间频率；
-基于估计的平均空间频率和数据矩阵的SVD构建经滤波的数据矩阵；并且
-基于经滤波的数据矩阵构建经滤波的图像；以及
图像输出设备，其用于输出经滤波的图像。
附图说明
现在将参考附图详细描述本发明的范例，其中：
图1示出了解释总体操作的超声诊断成像系统；
图2示出了本发明的方法；并且
图3示出了用于构建经滤波的数据矩阵的方法的实施例。
具体实施方式
本发明提供了一种对超声图像杂波滤波的方法。在方法的第一阶段中，捕获数据矩阵，其中，数据矩阵包含与图像有关的信息，并且对数据矩阵或根据数据矩阵导出的矩阵执行奇异值分解(SVD)。然后根据数据矩阵的SVD获得空间奇异向量，并根据它们估计平均空间频率。基于估计的平均空间频率和数据矩阵的SVD构建经滤波的数据矩阵，并且基于经滤波的数据矩阵构建经滤波的图像。
首先将参考图1描述超声诊断成像系统的总体操作，并且重点放在系统的信号处理功能，因为本发明涉及对由换能器阵列测量的信号的处理和滤波。
系统包括阵列换能器探头10，阵列换能器探头10具有CMUT换能器阵列100，以用于发射超声波和接收回波信息。换能器阵列100可以备选地包括由诸如PZT或PVDF的材料形成的压电换能器。换能器阵列100是能够在2D平面中扫描或三维中扫描以进行3D成像的换能器110的二维阵列。
换能器阵列100耦合到探头中的微波束形成器12，微波束形成器12控制由CMUT阵列单元或压电元件对信号的接收。微波束形成器能够由换能器的子阵列(或“组”或“片块”)接收的信号进行至少部分波束形成，如美国专利US 5997479(Savord等人)、US 6013032(Savord)和US 6623432(Powers等人)中所述的。
请注意，微波束形成器完全是任选的。以下范例假设没有模拟波束形成。
微波束形成器12通过探头线缆耦合到发射/接收(T/R)开关16，开关16在发射和接收之间切换，并且当微波束形成器未被使用并且换能器阵列直接由主系统波束形成器操作时使主波束形成器20免受高能量发射信号的影响。来自换能器阵列10的超声波束的发射通过换能器控制器18引导，所述换能器控制器通过T/R开关16耦合到微波束形成器并且耦合到主发射波束形成器(未示出)，其接收来自用户接口或者控制面板38的用户的操作的输入。
由换能器控制器18控制的功能之一是波束操纵和聚焦的方向。波束可以从换能器阵列向前(正交于其)或者针对更宽的视场在不同的角度处操纵。换能器控制器18可以耦合以控制用于CMUT阵列的DC偏置控制45。DC偏置控制45设置被施加到CMUT单元的(一个或多个)DC偏置电压。
在接收通道中，部分波束形成信号由微波束形成器12产生并且耦合到主接收波束形成器20，其中，来自换能器的个体片块的部分波束形成信号被组合为完全波束形成信号。例如，主波束形成器20可以具有128个通道，其中每个从数十个或者数百个CMUT换能器单元或者压电元件的片块接收部分波束形成信号。以这种方式，由换能器阵列的数千换能器接收到的信号可以有效地贡献于单个波束形成信号。
波束形成接收信号耦合到信号处理器22。信号处理器22可以以各种方式处理接收到的回波信号，诸如带通滤波、抽取、I和Q分量分离和谐波信号分离，其起作用以将线性和非线性信号分离，从而使能识别从组织和微泡返回的非线性(基频的高次谐波)回波信号。信号处理器还可以执行额外的信号增强，诸如散斑抑制、信号复合和噪声消除。信号处理器中的带通滤波器可以是跟踪滤波器，当回波信号从增加的深度接收到时，其通带从较高频带滑动到较低频带，从而拒绝来自较大的深度的较高频处的噪声，其中，这些频率缺乏解剖信息。
用于发射和用于接收的波束形成器被实施在不同的硬件中并且可以具有不同的功能。当然，在考虑发射波束形成器的特性的情况下设计接收器波束形成器。在图1中，为了简单起见，仅示出了接收器波束形成器12、20。在完整的系统中，还将存在具有发射微波束形成器和主发射波束形成器的发射链。
微波束形成器12的功能是提供信号的初始组合以便减少模拟信号路径的数目。这通常地在模拟域中执行。
最后的波束形成在主波束形成器20中完成并且通常在数字化之后。
发射和接收通道使用具有固定的频带的相同的换能器阵列10’。然而，发射脉冲占用的带宽可以根据已经使用的发射波束形成而变化。接收通道可以捕获全部换能器带宽(其是经典的方法)，或者通过使用带通处理，其可以仅提取包含有用信息的带宽(例如，主谐波的谐波)。
经处理的信号耦合到B模式(即，亮度模式，或者2D成像模式)处理器26和多普勒处理器28。B模式处理器26将对接收到的超声信号的幅度的检测用于对身体中的结构(诸如身体中的器官和血管的组织)的成像。身体的结构的B模式图像可以在谐波图像模式或者基波图像模式或者两者的组合中形成，如在美国专利US 6283919(Round等人)和美国专利US6458083(Jago等人)中所描述的。多普勒处理器28处理来自组织移动和血流的时间上不同的信号以检测物质的运动，诸如在像场中的血细胞的流动。多普勒处理器28通常包括具有参数的壁滤波器，所述参数可以被设置为通过和/或拒绝从身体中选定类型的材料返回的回波。
由B模式和多普勒处理器产生的结构和运动信号耦合到扫描转换器32和多平面重新格式化器44。扫描转换器32以空间关系布置回波信号，根据所述空间关系，以期望的图像格式接收所述回波信号。例如，扫描转换器可以将回波信号布置为二维(2D)扇形格式或者锥形三维(3D)图像。扫描转换器可以利用具有与图象场中的点处的运动对应的颜色将B模式结构图像交叠有其多普勒估计速度，以产生描绘组织和血流在图像场中的运动的彩色多普勒图像。多平面重新格式化器将从身体的体积区域中的公共平面中的点接收的回波转换为该平面的超声图像，如在美国专利US 6443896(Detmer)中所描述的。体积绘制器42将3D数据集的回波信号转换为如从给定参考点查看到的投影3D图像，如在美国专利US 6530885(Entrekin等人)中所描述的。
2D或3D图像从扫描转换器32、多平面重新格式化器44和体积绘制器42耦合到图像处理器30以用于进一步增强、缓冲和临时存储以显示在图像显示器40上。除了被用于成像之外，由多普勒处理器28产生的血流值和由B模式处理器26产生的组织结构信息被耦合到量化处理器34。量化处理器产生不同的流动状况(诸如血流的体积率)的量度以及结构测量结果(诸如器官的尺寸和孕龄)。量化处理器可以从用户控制面板38接收输入，诸如其中要进行测量的图像的解剖结构中的点。来自量化处理器的输出数据耦合到图形处理器36以用于利用显示器40上的图像再现测量图形和值，并且用于来自显示设备40的音频输出。图形处理器36还可以生成用于与超声图像一起显示的图形交叠。这些图形交叠可以包含标准识别信息，诸如患者姓名、图像的日期和时间、成像参数等。出于这些目的，图形处理器从用户接口38接收输入，诸如患者姓名。用户接口还耦合到发射控制器18以控制来自换能器阵列10’的超声信号的生成，并且因此控制由换能器阵列和超声系统产生的图像。控制器18的发射控制功能仅是所执行的功能之一。控制器18还考虑操作模式(由用户给定的)和对应的所要求的发射器配置和接收器模数转换器中的带通配置。控制器18可以是具有固定状态的状态机。
用户接口还耦合到多平面重新格式化器44，所述多平面重新格式化器用于选择和控制多幅多平面重新格式化(MPR)图像的平面，其可以被用于在MPR图像的图像场中执行量化测量。
图2示出了本发明的方法50，其可以例如由图1中所示的信号处理器22实施或由单独的专用控制器实施。
在步骤52中，数据矩阵是从一组超声信号中捕获的，并且包含与超声图像有关的信息。数据矩阵可以采用M×N矩形矩阵的形式，其中，N列对应于图像中的N个测量点，并且M行对应于在每个测量点处采取的M个独立测量。
能够以多种方式执行对点的M个独立测量。在最简单的范例中，在期望的时间段期间在M个时间点处从N个测量通道捕获数据。在另一范例中，利用M个交叠超声发射对测量区进行声穿透。对于该范例，超声系统使用超声换能器阵列，所述超声换能器阵列产生与感兴趣点交叠的波。然后由超声换能器阵列内的N个换能器元件检测和测量由这些波引起的回波。通过利用M个交叠波对目标区域进行声穿透，N个换能器元件将能够对返回的回波执行M个独立测量。在另一个范例中，超声换能器阵列被定位于的物理接收孔可以被划分成尺寸为N的M个交叠子阵列。以这种方式，交叠子阵列将能够通过子阵列平均的过程记录M个独立的结果。通过将子阵列划分为尺寸为L的交叠子孔，在尺寸为N的子阵列上执行子阵列平均，其中，L小于N。来自这些子孔的数据然后用作M个独立测量结果，其中，M＝N-L+1。换言之，尺寸为L的每个交叠子孔构成M个观察结果之一。以这种方式，可以形成M×N数据矩阵。
能够将这些范例相互组合使用以收集期望数量的独立测量结果。
在步骤54中，对数据矩阵执行奇异值分解(SVD)。奇异值分解是矩阵因式分解的一种形式，产生以下等式。
其中，对于是M×N矩形矩阵的情况，是M×M方酉矩阵，是M×N矩形对角矩阵，并且是N×N方酉矩阵并且是N×N方酉矩阵的共轭转置。矩阵的对角元素是数据矩阵的奇异值。
通过对包含来自超声换能器的复测量信号的数据矩阵进行因式分解，能够以简单的形式隔离和分析信号的分量。例如，当数据矩阵包含与图像有关的超声信号时，对数据矩阵执行奇异值分解将时间和空间信息分离到单独的矩阵中。以这种方式，可以以简单且有效的方式分析和使用这些简单矩阵的内容。
在步骤56中，根据数据矩阵的SVD获得空间奇异向量矩阵和的列分别是数据矩阵的左奇异向量和右奇异向量在这种情况下，右奇异向量对应于空间奇异向量。在一些实施例中，右奇异向量包括数据矩阵的空间特征向量，其中，j表示矩阵的第j列。空间特征向量描述由超声换能器测量的信号的空间分量，诸如沿着换能器阵列的横向尺度，以及接收到的信号的深度。
在步骤58中，针对每个空间奇异向量估计平均空间频率fj。空间频率是跨给定空间的结构的周期性的测量结果。更具体地，其是对结构的由傅里叶变换确定的正弦分量跨给定空间多频繁重复的量度。在空间域中，离轴杂波的特征在于高空间频率。通过计算对应于测量点的空间奇异向量的平均空间频率，能够识别包含高杂波水平的测量通道。
在一些情况下，可以使用自相关技术来估计平均空间频率。自相关技术是使用以下公式估计复信号中的平均频率的方法。
其中，fj是第j个右奇异向量的平均空间频率，是第j个右奇异向量的第i个元素，而是第j个右奇异向量的第i+1个元素的复共轭。
一些实施例包括步骤59，其中，如果该组的平均空间频率高于预定值，则丢弃空间奇异向量。在大的空间频率处，信号变为主要地是杂波，并且对信号进行滤波的过程将导致用于图像的重建的可忽略的有用信息。在一些情况下，能够预先确定要计算的固定数量的特征向量，一旦相关联的特征值下降到预定阈值以下就停止计算特征向量，或者当计算的特征值的总和超过预定阈值时停止计算特征向量。以这些方式，可以降低执行杂波滤波的计算成本。
在步骤60中，基于在步骤58中估计的平均空间频率和在步骤54中执行的对数据矩阵的SVD来构建经滤波的数据矩阵经滤波的数据矩阵包含来自在步骤52中捕获的数据矩阵的可以用于构建经杂波滤波的图像中的滤波信号。
在步骤62中，基于经滤波的数据矩阵的内容构建经滤波的图像。通过对保持在经滤波的数据矩阵的列中的每个测量通道的值进行求和，能够确定相关联的测量点的经杂波滤波的像素值。
在一些情况下，在步骤54中，对根据数据矩阵计算的协方差矩阵执行奇异值分解，如其中，是数据矩阵的共轭转置。在对协变矩阵而不是数据矩阵执行奇异值分解在计算上更具成本效益的情况下，将采取这种动作过程。可以通过以操作在频域中的每个频率处建立协方差矩阵：采取M×N观察窗的快速时间快速傅立叶变换，在每个频率处通过子阵列平均或组合的发射事件或两者建立M个测量结果。在这种情况下，经滤波的数据矩阵包含频域而不是空间域中的信号，因此必须执行快速傅里叶逆变换以在重建图像之前将数据带入空间域中。
图3示出了用于构建经滤波的数据矩阵的方法70的实施例。
在步骤72中，基于平均空间频率来确定加权。使用平均空间频率针对每个空间奇异向量确定加权。在一种设计中，用于确定针对空间奇异向量的加权的方法是高斯加权。高斯加权被写为其中，fj是估计的平均空间频率，并且f0被称为参考空间频率。在另一实施例中，参考空间频率对应于发射波束宽度。
在另一范例中，还可以依据信号幅度来计算加权。如果图像杂波被预期为具有低于信号的幅度的幅度，则基于幅度的滤波可以用于改进图像质量。换言之，还通过滤波过程来衰减较低能量的空间奇异向量。此外，还能够基于信号的慢时间行为来确定加权。在这种情况下，当与组织相比时，杂波的特征在于其缓慢运动。换言之，时间特性也可以用于计算空间奇异向量的加权。在这种情况下，针对每个测量点需要时-空协方差矩阵。返回到基于包括在信号中的空间信息确定加权的情况，能够通过特征向量中的空间分布或空间奇异向量来识别杂波信号，从而允许它们从最终图像中被移除。
在步骤74中，在步骤72中确定的加权被应用于与所使用的平均空间频率相关联的空间奇异向量。在一个实施例中，针对对应于没有杂波的轴上信号的具有为零的估计的平均空间频率的空间奇异向量，加权等于为1的最大值。随着估计的平均空间频率的值增加，分配给相关联的空间奇异向量的加权减小到为0的最小值。以这种方式，包含大量杂波的高空间频率信号被衰减，从而导致这些信号对最终图像提供较低的贡献。
在步骤76中，加权的空间奇异向量用于经滤波的数据矩阵的构建。经滤波的数据矩阵由以下公式描述。
其中，是对角矩阵的第j个有序奇异值，w(fj)是第j个右奇异向量的加权，是来自数据矩阵的第j个左奇异向量，并且是第j个右奇异向量的共轭转置。经滤波的数据矩阵然后可以用于构建最终的经杂波滤波的图像。
应当理解，尽管已经将该方法描述为采用矩阵的使用，但是可以使用其他形式的数据操控和操纵，以便实现超声图像的离轴杂波滤波。在一些情况下，方法可以应用于由超声系统收集的数据流。连续数据点可以彼此结合使用或单独使用。
总之，本发明的实施例提出将杂波滤波器应用于(一个或多个)接收到的回波信号，所述滤波器是在基于频率的特征向量滤波的原理的基础上的。
该原理使用应用于例如由换能器阵列接收的多个回波信号的奇异值分解(SVD)方法。可以对2D矩阵执行SVD，其中，该矩阵的一个维度表示给定换能器阵列位置处的测量的信号(给定换能器通道的信号)，并且第二维度对应于针对该信号接收的不同测量样本。
SVD可以提供例如生成特征向量，其中，这些的平均空间频率分布和幅度可以用作滤波的标准。
本发明的实施例基于以下事实：超声图像中杂波的存在表现为高(平均空间)频率特征值和特征向量的形式，其可以在所述空间频率域中被滤除。杂波的存在也可以表现为特征值或特征向量的幅度(能量)或它们在频率中的空间分布。因此，可以实施具有针对特征值特性中的任一个的带通的特定聚类滤波器。
本发明高效地拒绝来自对准的(即波束形成的)超声数据的离轴信号，从而产生没有杂波伪迹的图像，增强对比度并贡献于更好的图像质量和诊断价值。
对于每个像素，可以根据从该像素的不同观察结果接收的对准的数据来估计M*N每通道数据矩阵(N＝通道的数量，M＝观察结果的数量)。M个观察结果可以是多个时间事件，而且可以是多个发射方向，其指向相同的感兴趣点。该想法是获得给定点的不同“观察结果”。
此外，该矩阵的SVD分解可以产生特征向量，所述特征向量对应于每通道数据的最重要的“模式”。可以估计每个特征向量的平均空间频率，并且在0重建(反向重建到真实空间域中)之前衰减具有相对高的平均空间频率(对应于离轴信号)的特征向量。
然后可以对因此获得的经滤波的每通道数据进行求和，以产生具有离轴信号的经衰减的贡献的像素值估计。
本发明的实施例可以具体适用于组织成像。
如上所述，实施例利用控制器来执行数据处理步骤。
控制器可以利用软件和/或硬件以多种方式实施，以执行所需的各种功能。处理器是采用一个或多个微处理器的控制器的一个范例，所述一个或多个微处理器可以使用软件(例如，微代码)来编程以执行所需的功能。然而，控制器可以在采用或不采用处理器的情况下实施，并且还可以被实施为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。
可以在本公开的各种实施例中采用的控制器部件的范例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
在各种实施方式中，处理器或控制器可以与一个或多个存储介质相关联，诸如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM。存储介质可以利用一个或多个程序来编码，所述一个或多个程序当在一个或多个处理器和/或控制器上运行时以所需的功能来执行。各种存储介质可以固定在处理器或控制器内，或者可以是可运输的，使得存储在其上的一个或多个程序可以加载到处理器或控制器中。
通过研究附图、公开内容和权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现对所公开实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。尽管在相互不同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。
Claims (14)
1.一种用于对超声图像杂波进行滤波的方法(50)，包括：
-捕获数据矩阵，所述数据矩阵包含与图像有关的信息(52)，其中，所述数据矩阵包括：N列，其中，N对应于超声测量通道的数量；以及M行，其中，M对应于针对每个通道记录的独立测量结果的数量；
-对所述数据矩阵或根据所述数据矩阵导出的矩阵执行奇异值分解SVD(54)；
-根据所述SVD来获得空间奇异向量(56)；
-根据所述空间奇异向量来估计平均空间频率(58)；
-基于所估计的平均空间频率和所述数据矩阵的所述SVD来构建经滤波的数据矩阵(60)；并且
-基于所述经滤波的数据矩阵来构建经滤波的图像(62)。
2.如权利要求1所述的方法，其中，对M个独立测量结果的所述记录是通过以下操作来执行的：
-在期望的时间间隔期间在M个时间点处捕获来自每个测量通道的数据；或者
-利用M个交叠超声发射对测量区进行声穿透；或者
-将物理接收孔划分为尺寸为N的M个交叠子阵列。
3.如权利要求1所述的方法，还包括基于所述数据矩阵来形成协方差矩阵，其中，所述奇异值分解是对所述协方差矩阵执行的。
4.如权利要求1所述的方法，其中，所获得的空间奇异向量包括所述数据矩阵的空间特征向量。
5.如权利要求1所述的方法，其中，所述平均空间频率是使用自相关技术来估计的。
6.如权利要求1所述的方法，其中，构建所述经滤波的数据矩阵的步骤包括：
-基于所估计的平均空间频率来确定加权(72)；
-将所述加权应用于相关联的空间奇异向量(74)；并且
-在对所述经滤波的数据矩阵的所述构建中使用加权的空间奇异向量(76)。
7.如权利要求6所述的方法，其中，针对具有为零的所估计的平均空间频率的空间奇异向量，所述加权等于为1的最大值，并且随着所估计的平均空间频率增加，所述加权减小到为0的最小值。
8.如权利要求6所述的方法，其中，所述加权是使用包括参考空间频率的高斯加权来确定的。
9.如权利要求8所述的方法，其中，所述参考空间频率对应于超声图像的发射宽度。
10.如权利要求1-9中的任一项所述的方法，包括丢弃具有高于预定值的平均空间频率的空间奇异向量(59)。
11.如权利要求1-9中的任一项所述的方法，其中，构建所述经滤波的数据矩阵还基于接收到的信号的幅度。
12.一种包括计算机程序代码模块的计算机可读介质，当所述计算机程序代码模块在计算机上运行时，所述计算机程序代码模块适于实施如任一前述权利要求所述的方法。
13.一种用于对超声系统中的图像杂波进行滤波的控制器，其中，所述控制器适于：
-捕获数据矩阵，所述数据矩阵包含与图像有关的信息，其中，所述数据矩阵包括：N列，其中，N对应于超声测量通道的数量；以及M行，其中，M对应于针对每个通道记录的独立测量结果的数量；
-对所述数据矩阵或根据所述数据矩阵导出的矩阵执行奇异值分解SVD；
-根据所述SVD来获得空间奇异向量；
-根据所述空间奇异向量来估计平均空间频率；
-基于所估计的平均空间频率和所述数据矩阵的所述SVD来构建经滤波的数据矩阵；并且
-基于所述经滤波的数据矩阵来构建经滤波的图像。
14.一种超声系统(5)，包括：
-超声换能器阵列(100)，其中，所述超声换能器阵列能够发射和接收超声信号；
-信号处理器(22)，其用于将接收到的超声信号编译为超声图像；
-用于根据所述超声图像来生成数据矩阵的系统；
-如权利要求13所述的控制器；以及
-图像输出设备(40)，其用于输出所述经滤波的图像。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662427204P | 2016-11-29 | 2016-11-29 | |
| US62/427,204 | 2016-11-29 | ||
| EP16204209.7 | 2016-12-15 | ||
| EP16204209 | 2016-12-15 | ||
| PCT/EP2017/080551 WO2018099867A1 (en) | 2016-11-29 | 2017-11-27 | Methods and systems for filtering ultrasound image clutter |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110023782A CN110023782A (zh) | 2019-07-16 |
| CN110023782B true CN110023782B (zh) | 2024-07-16 |
Family
ID=67187915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780073761.1A Active CN110023782B (zh) | 2016-11-29 | 2017-11-27 | 用于对超声图像杂波滤波的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11391828B2 (zh) |
| EP (1) | EP3548920B1 (zh) |
| JP (1) | JP6932192B2 (zh) |
| CN (1) | CN110023782B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3424433A1 (en) * | 2017-07-06 | 2019-01-09 | Koninklijke Philips N.V. | Methods and systems for processing an ultrasound image |
| US11439369B1 (en) * | 2017-10-26 | 2022-09-13 | United States Of America As Represented By The Secretary Of The Air Force | Method and apparatus for imaging with reduced level of off-axis artifacts |
| US11464495B2 (en) | 2018-03-13 | 2022-10-11 | Siemens Medical Solutions Usa, Inc. | Adaptive clutter filtering in acoustic radiation force-based ultrasound imaging |
| CN110291791A (zh) * | 2018-04-02 | 2019-09-27 | 北京大学 | 用于视频编解码的方法和设备 |
| KR102720380B1 (ko) | 2019-06-17 | 2024-10-21 | 서강대학교산학협력단 | 초음파 영상장치 및 초음파 영상장치의 동작방법 |
| KR102344912B1 (ko) * | 2019-12-17 | 2021-12-31 | 알피니언메디칼시스템 주식회사 | 초음파 영상화 장치 및 이를 이용한 혈류신호 추정방법 |
| EP4103062A1 (en) * | 2020-02-12 | 2022-12-21 | Mayo Foundation for Medical Education and Research | High-sensitivity and real-time ultrasound blood flow imaging based on adaptive and localized spatiotemporal clutter filtering |
| US11347968B2 (en) * | 2020-02-25 | 2022-05-31 | Ford Global Technologies, Llc | Image enhancement for realism |
| JP7496243B2 (ja) | 2020-06-03 | 2024-06-06 | 富士フイルムヘルスケア株式会社 | 画像処理装置及び画像処理方法。 |
| KR102438696B1 (ko) * | 2020-07-06 | 2022-08-30 | 서강대학교산학협력단 | B모드 혈류영상 장치 및 b모드 혈류영상 장치의 동작 방법 |
| WO2022006735A1 (zh) * | 2020-07-07 | 2022-01-13 | 深圳迈瑞生物医疗电子股份有限公司 | 超声造影成像方法、超声成像装置和存储介质 |
| CN113326469B (zh) * | 2021-08-02 | 2021-11-02 | 南京信息工程大学 | 一种基于分级状态机的信号解耦方法 |
| CN114027873B (zh) * | 2021-10-26 | 2023-01-24 | 武汉联影医疗科技有限公司 | 一种超声成像方法、装置及计算机可读存储介质 |
| CN113973090B (zh) * | 2021-10-18 | 2023-12-08 | 北谷电子股份有限公司 | 在通信网络中处理大数据的装置及方法 |
| CN114098817A (zh) * | 2021-11-18 | 2022-03-01 | 西安建筑科技大学 | 一种高帧率超声图像血管壁运动细节追踪方法、系统、设备和可读存储介质 |
| CN114424930B (zh) * | 2022-01-07 | 2024-02-27 | 煤炭科学研究总院有限公司 | 基于奇异值分解的超宽带uwb生命信号数据处理方法和装置 |
| CN116973835B (zh) * | 2023-07-29 | 2024-01-30 | 同方工业有限公司 | 一种多信号混叠的伪空间谱累积测向方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6283919B1 (en) | 1996-11-26 | 2001-09-04 | Atl Ultrasound | Ultrasonic diagnostic imaging with blended tissue harmonic signals |
| US6458083B1 (en) | 1996-11-26 | 2002-10-01 | Koninklijke Philips Electronics N.V. | Ultrasonic harmonic imaging with adaptive image formation |
| US6013032A (en) | 1998-03-13 | 2000-01-11 | Hewlett-Packard Company | Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array |
| US5997479A (en) | 1998-05-28 | 1999-12-07 | Hewlett-Packard Company | Phased array acoustic systems with intra-group processors |
| US6530885B1 (en) | 2000-03-17 | 2003-03-11 | Atl Ultrasound, Inc. | Spatially compounded three dimensional ultrasonic images |
| US6443896B1 (en) | 2000-08-17 | 2002-09-03 | Koninklijke Philips Electronics N.V. | Method for creating multiplanar ultrasonic images of a three dimensional object |
| US6468216B1 (en) | 2000-08-24 | 2002-10-22 | Kininklijke Philips Electronics N.V. | Ultrasonic diagnostic imaging of the coronary arteries |
| US7480363B2 (en) * | 2004-09-15 | 2009-01-20 | Ge Betz, Inc. | Converting a digital radiograph to an absolute thickness map |
| US8641628B2 (en) * | 2007-09-26 | 2014-02-04 | Siemens Medical Solutions Usa, Inc. | Aperture synthesis using cMUTs |
| US8818064B2 (en) * | 2009-06-26 | 2014-08-26 | University Of Virginia Patent Foundation | Time-domain estimator for image reconstruction |
| KR101120791B1 (ko) * | 2009-11-16 | 2012-03-22 | 삼성메디슨 주식회사 | 클러터 필터링을 적응적으로 수행하는 초음파 시스템 및 방법 |
| KR101232796B1 (ko) | 2010-07-22 | 2013-02-13 | 삼성메디슨 주식회사 | 클러터 필터링을 위한 초음파 영상 장치 및 그 방법 |
| US9759690B2 (en) * | 2011-02-24 | 2017-09-12 | General Electric Company | Method and system for nondestructive ultrasound testing |
| US9002080B2 (en) * | 2011-10-12 | 2015-04-07 | University Of Virginia Patent Foundation | Singular value filter for imaging or detection |
| CN105793729B (zh) * | 2013-07-23 | 2018-07-31 | 明尼苏达大学评议会 | 使用多频率波形的超声图像形成和/或重建 |
| DE112015007245T5 (de) * | 2015-12-28 | 2018-09-20 | B-K Medical Aps | Zusammengesetzte Ultraschall-Strömungsbildgebung mit hoher Auflösung |
-
2017
- 2017-11-27 US US16/462,276 patent/US11391828B2/en active Active
- 2017-11-27 EP EP17804198.4A patent/EP3548920B1/en active Active
- 2017-11-27 JP JP2019528744A patent/JP6932192B2/ja active Active
- 2017-11-27 CN CN201780073761.1A patent/CN110023782B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 基于Hankel-SVD的非平稳超声血流成像杂波抑制技术研究;王录涛等;《电子与信息学报》;20150415(第04期);正文第1-6节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6932192B2 (ja) | 2021-09-08 |
| CN110023782A (zh) | 2019-07-16 |
| EP3548920A1 (en) | 2019-10-09 |
| US11391828B2 (en) | 2022-07-19 |
| US20190369220A1 (en) | 2019-12-05 |
| JP2019535448A (ja) | 2019-12-12 |
| EP3548920B1 (en) | 2020-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110023782B (zh) | 用于对超声图像杂波滤波的方法和系统 | |
| US10746859B2 (en) | System and method for acoustic imaging with coherent compounding using intercostal spaces | |
| CN113412087A (zh) | 用于瓣膜反流评估的方法和系统 | |
| WO2018099867A1 (en) | Methods and systems for filtering ultrasound image clutter | |
| EP3638124B1 (en) | Methods and systems for processing an ultrasound image | |
| EP3596493B1 (en) | Methods and systems for filtering ultrasound image clutter | |
| EP3639056B1 (en) | Methods and systems for processing an ultrasound image | |
| US11224410B2 (en) | Methods and systems for filtering ultrasound image clutter | |
| US11982741B2 (en) | Methods and systems for processing an ultrasound image | |
| JP7345678B2 (ja) | ３ｄベクトルフロー場を取得するための方法及びシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |