CN106504199B - 一种眼底图像增强方法及系统 - Google Patents
一种眼底图像增强方法及系统 Download PDFInfo
- Publication number
- CN106504199B CN106504199B CN201610822306.4A CN201610822306A CN106504199B CN 106504199 B CN106504199 B CN 106504199B CN 201610822306 A CN201610822306 A CN 201610822306A CN 106504199 B CN106504199 B CN 106504199B
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- image block
- blood vessel
- fundus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 187
- 238000001914 filtration Methods 0.000 claims abstract description 58
- 238000010276 construction Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 17
- 239000008280 blood Substances 0.000 claims description 12
- 210000004369 blood Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000002792 vascular Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及眼底图像增强方法及系统。利用眼底学习图像构建血管字典;对待增强眼底图像进行Frangi滤波,利用方向滤波将第二子图像块中的血管分为粗血管和细弱血管,并据此设定血管区域的残差权重及残差阈值;将第二子图像块与字典中各第一子图像块内积,选取内积最大的第一子图像块,并计算其相应稀疏系数;利用选取的第一子图像块和第二子图像块计算残差图像,并利用血管区域的残差权重计算第二子图像块中血管区域的残差,如果残差大于残差阈值,则将残差图像设置为第二子图像块,并重复选取第一子图像块与计算残差过程;利用稀疏系数重构第二子图像块,并将各重构的第二子图像块重组,得到增强的眼底图像。本发明有效抑制了背景噪声,保留了细弱血管。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种眼底图像增强方法及系统。
背景技术
眼部成像是医学辅助诊疗的重要手段,通过分析眼球血管图像可以直接或间接地判断出许多眼部疾病。在眼部图像中,存在各种不同粗细程度的眼部血管,增强这些血管,可以得到更清晰准确的眼部血管图像,有利于辅助临床诊断。
眼底图像增强方法有很多,一般常用的方法有:
领域平滑法。即利用图像中某一像素以及它的邻域像素灰度的平均值作为该像素的灰度值。该方法的优点是简单,缺点是会使得眼部血管图像变得模糊,大大降低了血管的清晰度。
保存边界平滑法。即设计不同模板,计算图像中某一像素点所处邻域像素灰度的方差,将方差最小的模板所含像素的灰度平均值作为该像素点的灰度值。这种方法的优点是可以较好地保存边界,缺点是眼底图像中目标是线结构,难以通过方差区分噪声与目标。
多图像平均法。此种方法是取同一人的多幅眼球血管图像进行平均处理。该方法的优点是可一定成程度抑制噪声,缺点是需要多张眼球血管图像,不适用于单张眼底图像。
Frangi滤波图像增强。这种方法利用线结构的Hessian矩阵的特征向量方向和特征值,对线结构进行增强,但这类方法会使细弱的弱血管丢失。
基于稀疏表示的图像去噪方法通过训练得到冗余字典,再根据稀疏系数重构原图像,由于选取的字典原子没有噪声,从而可以得到抑噪图像。这种方法具有较好的抑噪效果,但是在应用到眼底图像增强问题中仍存在使细弱的弱血管丢失的问题。
由此可见,现有的眼底图像增强方法都无法在进行眼底血管增强的同时较好地保留细弱血管。
发明内容
本发明所要解决的技术问题是,提供一种眼底图像增强方法及系统,旨在解决现有技术的眼底图像增强方法无法在进行眼底血管增强的同时较好地保留细弱血管的问题。本发明是这样实现的:
一种眼底图像增强方法,包括如下步骤:
步骤A:利用眼底学习图像构建血管字典,所述血管字典中包括设定数量的第一子图像块;
步骤B:对待增强的眼底图像进行Frangi滤波,并将Frangi滤波得到的图像划分为若干相互重叠的第二子图像块;
步骤C:利用方向滤波器对所述第二子图像块进行方向滤波,并根据方向滤波结果判断所述第二子图像块中包含的眼底血管是粗血管还是细弱血管;
步骤D:确定所述第二子图像块中的血管区域,并根据所述第二子图像块中包含的眼底血管的类型设置所述第二子图像块中的血管区域的残差权重和残差阈值;
步骤E:将所述第二子图像块与所述血管字典中的各第一子图像块内积,确定出其中内积最大的第一子图像块,并计算所述内积最大的第一子图像块对应的稀疏系数;
步骤F:利用所述内积最大的第一子图像块和所述第二子图像块计算残差图像,并利用所述血管区域的残差权重计算所述第二子图像块中血管区域的残差;
步骤G:当所述残差的范数大于所述残差阈值时,将残差图像设置为第二子图像块,并跳转至步骤E,否则,跳转至步骤H;
步骤H:利用所述稀疏系数重构所述第二子图像块;
步骤I:利用各重构的第二子图像块重构所述眼底图像,从而得到增强的眼底图像。
进一步地,所述步骤A包括:
步骤A1:将所述眼底学习图像分割成若干大小相同的第一子图像块;所述第一子图像块的数量大于所述设定数量;
步骤A2:将各第一子图像块两两进行内积;
步骤A3:选取内积最小的所述设定数量个第一子图像块构建所述血管字典。
进一步地,所述步骤B包括:
步骤B1:设待增强的眼底图像为I(x,y),尺度为σ的二维高斯函数为G(x,y;σ),利用所述二维高斯函数对所述待增强的眼底图像I(x,y)进行平滑处理,得到平滑图像Iσ(x,y):
其中, 为卷积操作;
步骤B2:在尺度σ下,计算平滑图像Iσ(x,y)中点(x,y)处的Hessian矩阵Hσ(x,y):
步骤B3:对所述Hessian矩阵Hσ(x,y)做特征值分析,得到特征值λ1、λ2,|λ1|<|λ2|;尺度s下的血管特征为:
其中,β和C是预设常数;
步骤B4:在多尺度下,取各尺度下v0(s)的最大值作为所述待增强的眼底图像I(x,y)的Frangi滤波结果v:
其中,smin和smax分别是最小尺度和最大尺度;
步骤B5:将所述Frangi滤波结果v划分为若干相互重叠的第二子图像块。
进一步地,所述步骤C包括:
步骤C1:设置方向分别为θ1=0, 的8个方向滤波器;
步骤C2:假设方向为θi的方向滤波器中血管区域为Ω1,非血管区域为Ω2,计算两个区域各自的能量和
其中v(x,y)是Frangi滤波结果v在(x,y)的值,N1是Ω1中像素个数,N2是Ω2中像素个数;
步骤C3:计算与的能量差:
步骤C4:确定上述8个方向中最大的能量差:
步骤C5:根据所述Emax判断血管类型,如果Emax≥T,则所述第二子图像块中包含的眼底图像为粗血管,否则为细弱血管。
进一步地,所述步骤D包括:
步骤D1:将所述8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω1,将所述8个方向中最大的能量差所对应的方向滤波器中的非血管区域作为非血管实际的区域Ω2;
步骤D2:对于包含的眼底图像为粗血管的第二子图像块,将其血管区域Ω1的残差权重设为1,残差阈值TR=T1;对于包含的眼底图像为细弱血管的第二子图像块,将其血管区域Ω1的残差权重设为1/vmax,残差阈值TR=T2,其中vmax是该第二子图像块Frangi滤波结果的最大值。
进一步地,所述步骤E包括:
步骤E1:将所述第二子图像块向量化为x,所述血管字典中第i个第一子图像块为di;
步骤E2:将所述血管字典中各第一子图像块与所述第二子图像块x内积最大者作为选中的第一个第一子图像块dr0:
其中,k为所述血管字典中第一子图像块的个数,r0是字典的索引号,<x,di>是x与di的内积运算;
步骤E3:计算第一子图像块dr0对应的稀疏系数αr0:
αr0=<x,dr0>。
进一步地,所述步骤F包括:
步骤F1:计算所述第二子图像块中血管区域的残差图像R:
R=x-<x,dr0>dr0;
步骤F2:将所述残差R乘以该第二子图像块中血管区域的残差权重加权求和,作为第二子图像块中血管区域的最终残差。
进一步地,重构的所述第二子图像块为:
其中,S是多次执行步骤E确定出的多个稀疏系数的集合,dr0是每一次执行步骤E确定出的内积最大的第一子图像块,αr0是dr0对应的稀疏系数。
进一步地,所述步骤I包括:
将所有重构的第二子图像块的不相交的部分合并,得到完整的增强的眼底图像。
一种眼底图像增强系统,包括:
血管字典构建模块,其利用眼底学习图像构建血管字典,所述血管字典中包括设定数量的第一子图像块;
图像滤波及划分模块,其对待增强的眼底图像进行Frangi滤波,并将Frangi滤波得到的图像划分为若干相互重叠的第二子图像块;
血管类型判断模块,其利用方向滤波器对所述第二子图像块进行方向滤波,并根据方向滤波结果判断所述第二子图像块中包含的眼底血管是粗血管还是细弱血管;
血管区域及其残差权重和残差阈值确定模块,其确定所述第二子图像块中的血管区域,并根据所述第二子图像块中包含的眼底血管的类型设置所述第二子图像块中的血管区域的残差权重和残差阈值;
稀疏系数计算模块,其将所述第二子图像块与所述血管字典中的各第一子图像块内积,确定出其中内积最大的第一子图像块,并计算所述内积最大的第一子图像块对应的稀疏系数;
血管区域残差计算模块,其利用所述内积最大的第一子图像块和所述第二子图像块计算残差图像,并利用所述血管区域的残差权重计算所述第二子图像块中血管区域的残差;
跳转模块,其在当所述残差的范数大于所述残差阈值时,将残差图像设置为第二子图像块,并跳转至所述稀疏系数计算模块,否则,跳转至第二子图像块重构模块;
第二子图像块重构模块,其利用所述稀疏系数重构所述第二子图像块;
眼底图像重构模块,其利用各重构的第二子图像块重构所述眼底图像,从而得到增强的眼底图像。
进一步地,所述血管字典构建模块包括:
眼底学习图像划分模块,其将所述眼底学习图像分割成若干大小相同的第一子图像块;所述第一子图像块的数量大于所述设定数量;
第一子图像块内积模块,其将各第一子图像块两两进行内积;
血管字典构建子模块,其选取内积最小的所述设定数量个第一子图像块构建所述血管字典。
进一步地,所述图像滤波及划分模块包括:
平滑滤波模块,其设待增强的眼底图像为I(x,y),尺度为σ的二维高斯函数为G(x,y;σ),利用所述二维高斯函数对所述待增强的眼底图像I(x,y)进行平滑处理,得到平滑图像Iσ(x,y):
其中, 为卷积操作;
Hessian矩阵计算模块,其在尺度σ下,计算平滑图像Iσ(x,y)中点(x,y)处的Hessian矩阵Hσ(x,y):
特征值分析模块,其对所述Hessian矩阵Hσ(x,y)做特征值分析,得到特征值λ1、λ2,|λ1|<|λ2|;尺度s下的血管特征为:
其中,β和C是预设常数;
Frangi滤波结果生成模块,其取各尺度下v0(s)的最大值作为所述待增强的眼底图像I(x,y)的Frangi滤波结果v:
其中,smin和smax分别是最小尺度和最大尺度;
第二子图像划分模块,其将所述Frangi滤波结果v划分为若干相互重叠的第二子图像块。
进一步地,所述血管类型判断模块包括:
方向滤波器设置模块,其设置方向分别为θ1=0, 的8个方向滤波器;
能量计算模块,其假设方向为θi的方向滤波器中血管区域为Ω1,非血管区域为Ω2,计算两个区域各自的能量和
其中v(x,y)是Frangi滤波结果v在(x,y)的值,N1是Ω1中像素个数,N2是Ω2中像素个数;
能量差计算模块,其计算与的能量差:
最大能量差确定模块,其确定上述8个方向中最大的能量差:
血管类型判断子模块,其根据所述Emax判断血管类型,如果Emax≥T,则所述第二子图像块中包含的眼底图像为粗血管,否则为细弱血管。
进一步地,所述血管区域及其残差权重和残差阈值确定模块包括:
血管区域确定模块,其将所述8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω1,将所述8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω2;
残差权重和残差阈值确定模块,其将包含的眼底图像为粗血管的第二子图像块的血管区域Ω1的残差权重设为1,残差阈值TR=T1;将包含的眼底图像为细弱血管的第二子图像块的血管区域Ω1的残差权重设为1/vmax,残差阈值TR=T2,其中vmax是该第二子图像块Frangi滤波结果的最大值。
进一步地,所述稀疏系数计算模块包括:
图像向量模块,其将所述第二子图像块向量化为x,所述血管字典中第i个第一子图像块为di;
第一子图像块选择模块,其将所述血管字典中各第一子图像块与所述第二子图像块x内积最大者作为选中的第一个第一子图像块dr0:
其中,k为所述血管字典中第一子图像块的个数,r0是字典的索引号,<x,di>是x与di的内积运算;
稀疏系数计算子模块,其计算第一子图像块dr0对应的稀疏系数αr0:αr0=<x,dr0>。
进一步地,所述血管区域残差计算模块包括:
残差初算模块,其计算所述第二子图像块中血管区域的残差图像R:
R=x-<x,dr0>dr0;
残差加权模块,其将所述残差R乘以该第二子图像块中血管区域的残差权重加权求和,作为第二子图像块中血管区域的最终残差。
进一步地,重构的所述第二子图像块为:
其中,S是所述稀疏系数计算模块多次确定出的多个稀疏系数的集合,dr0是所述稀疏系数计算模块每一次确定出的内积最大的第一子图像块,αr0是dr0对应的稀疏系数。
进一步地,所述眼底图像重构模块具体用于:
将所有重构的第二子图像块的不相交的部分合并,得到完整的增强的眼底图像。
本发明利用眼底学习图像构建血管字典;利用方向滤波将第二子图像块中的血管分类为粗血管和细弱血管,针对粗血管和细弱血管设定血管区域的残差权重及残差阈值;将第二子图像块与字典中的各第一子图像块进行内积,选取内积最大的第一子图像块,并计算其相应的稀疏系数;利用选取的第一子图像块和血管区域的残差权重计算第二子图像块中血管区域的残差,如果残差大于残差阈值,则重复选取第一子图像块与计算残差的过程;利用稀疏系数重构第二子图像块,并将各重构第二子图像块重组,得到增强的眼底图像。本发明减少了现有技术中通过Frangi滤波进行血管增强带来背景噪声和细弱血管丢失的现象,实现了眼底图像的增强,改善了眼底图像视觉效果,可用于眼底图像分析的预处理。
附图说明
图1:本发明提供的眼底图像增强方法的总体流程示意图;
图2:本发明提供的眼底图像增强系统的总体组成示意图;
图3:8个方向滤波器的方向示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。
如图1所示,本发明提供的眼底图像增强方法,包括如下步骤:
步骤A:利用眼底学习图像构建血管字典,血管字典中包括设定数量的第一子图像块。
步骤A具体包括:
步骤A1:将眼底学习图像分割成若干大小相同的第一子图像块,第一子图像块的数量应大于设定数量。可根据眼底学习图像的人工分割结果,将眼底学习图像分割为8*8大小的若干第一子图像块,这些第一子图像块要包含粗血管、细弱细血管、高亮部分等眼底图像特征。
步骤A2:将各第一子图像块两两进行内积。内积越小,说明两个第一子图像块的相似度越小。
步骤A3:选取内积最小的设定数量个第一子图像块构建血管字典。假设设定数量为K,选取最不相似的K个子图像块构成血管字典。
步骤B:对待增强的眼底图像进行Frangi滤波,并将Frangi滤波得到的图像划分为若干相互重叠的第二子图像块。
步骤B具体包括:
步骤B1:设待增强的眼底图像为I(x,y),尺度为σ的二维高斯函数为G(x,y;σ),利用二维高斯函数对待增强的眼底图像I(x,y)进行平滑处理,得到平滑图像Iσ(x,y):
其中, 为卷积操作。
步骤B2:在尺度σ下,计算平滑图像Iσ(x,y)中点(x,y)处的Hessian矩阵Hσ(x,y):
步骤B3:对Hessian矩阵Hσ(x,y)做特征值分析,得到特征值λ1、λ2,|λ1|<|λ2|。若点(x,y)属于管状结构,则|λ1|≈0,|λ2|的值会比较大,则尺度s下的血管特征为:
其中,β和C是预设常数。
步骤B4:在多尺度下,取各尺度下v0(s)的最大值作为待增强的眼底图像I(x,y)的Frangi滤波结果v:
其中,smin和smax分别是最小尺度和最大尺度。
步骤B5:将Frangi滤波结果v划分为若干相互重叠的第二子图像块。
步骤C:利用方向滤波器对第二子图像块进行方向滤波,并根据方向滤波结果判断第二子图像块中包含的眼底血管是粗血管还是细弱血管。
步骤C具体包括:
步骤C1:设置方向分别为θ1=0, 的8个方向滤波器(如图3所示)。
步骤C2:假设方向为θi的方向滤波器中血管区域(白色区域)为Ω1,非血管区域(黑色区域)为Ω2,计算两个区域各自的能量和
其中v(x,y)是Frangi滤波结果v在(x,y)的值,N1是Ω1中像素个数,N2是Ω2中像素个数。
步骤C3:计算与的能量差:
步骤C4:确定上述8个方向中最大的能量差:
步骤C5:根据Emax判断血管类型,如果Emax≥T,则第二子图像块中包含的眼底图像为粗血管,否则为细弱血管。T为预设值。
步骤D:确定第二子图像块中的血管区域,并根据第二子图像块中包含的眼底血管的类型设置第二子图像块中的血管区域的残差权重和残差阈值。
步骤D具体包括:
步骤D1:将8个方向中最大的能量差所对应的方向滤波器(即使Emax最大的θi所对应的方向滤波器)中的血管区域作为血管实际的区域Ω1,将8个方向中最大的能量差所对应的方向滤波器(即使Emax最大的θi所对应的方向滤波器)中的非血管区域作为非血管实际的区域Ω2。
步骤D2:对于包含的眼底图像为粗血管的第二子图像块,将其血管区域Ω1的残差权重设为1,残差阈值TR=T1;对于包含的眼底图像为细弱血管的第二子图像块,将其血管区域Ω1的残差权重设为1/vmax,残差阈值TR=T2,其中vmax是该第二子图像块Frangi滤波结果的最大值。
步骤D还可包括:
步骤D3:设置选中的第一子图像块索引集合S为空,S=φ,将选中的第一子图像块dr0的索引号r0加入集合S,S=S∪r0。
步骤E:将第二子图像块与血管字典中的各第一子图像块内积,确定出其中内积最大的第一子图像块,并计算内积最大的第一子图像块对应的稀疏系数。
步骤E具体包括:
步骤E1:将第二子图像块向量化为x,血管字典中第i个第一子图像块为di。
步骤E2:将血管字典中各第一子图像块与第二子图像块x内积最大者作为选中的第一个第一子图像块dr0:
其中,k为血管字典中第一子图像块的个数,r0是字典的索引号,<x,di>是x与di的内积运算。
步骤E3:计算第一子图像块dr0对应的稀疏系数αr0:
αr0=<x,dr0>,将选中的第一子图像块dr0的索引号r0加入集合S,S=S∪r0。
步骤F:利用内积最大的第一子图像块和第二子图像块计算残差图像,并利用所述血管区域的残差权重计算第二子图像块中血管区域的残差。
步骤F具体包括:
步骤F1:计算第二子图像块中血管区域的残差图像R:
R=x-<x,dr0>dr0;
步骤F2:将残差R乘以该第二子图像块中血管区域的残差权重加权求和,作为第二子图像块中血管区域的最终残差。
步骤G:当残差的范数大于残差阈值时,将残差图像设置为第二子图像块,并跳转至步骤E,否则,跳转至步骤H。即在步骤F中的残差R的范数||R||大于残差阈值TR,则转至步骤E,否则转至步骤H。
步骤H:利用稀疏系数重构第二子图像块。重构的第二子图像块为:
其中,S是多次执行步骤E确定出的多个稀疏系数的集合,dr0是每一次执行步骤E确定出的内积最大的第一子图像块,αr0是dr0对应的稀疏系数。
步骤I:利用各重构的第二子图像块重构眼底图像,从而得到增强的眼底图像。
步骤I包括:
将所有重构的第二子图像块的不相交的部分合并,得到完整的增强的眼底图像。
如图2所示,基于前述眼底图像增强方法,本发明还提供了一种眼底图像增强系统,包括:血管字典构建模块1、图像滤波及划分模块2、血管类型判断模块5、血管区域及其残差权重和残差阈值确定模块4、稀疏系数计算模块3、血管区域残差计算模块6、跳转模块7、第二子图像块重构模块8、眼底图像重构模块9。
血管字典构建模块1利用眼底学习图像构建血管字典,血管字典中包括设定数量的第一子图像块。血管字典构建模块1包括眼底学习图像划分模块、第一子图像块内积模块、血管字典构建子模块。
眼底学习图像划分模块将眼底学习图像分割成若干大小相同的第一子图像块,第一子图像块的数量大于设定数量。
第一子图像块内积模块将各第一子图像块两两进行内积。
血管字典构建子模块选取内积最小的设定数量个第一子图像块构建血管字典。
图像滤波及划分模块2对待增强的眼底图像进行Frangi滤波,并将Frangi滤波得到的图像划分为若干相互重叠的第二子图像块。图像滤波及划分模块2包括平滑滤波模块、Hessian矩阵计算模块、特征值分析模块、Frangi滤波结果生成模块、第二子图像划分模块。
平滑滤波模块设待增强的眼底图像为I(x,y),尺度为σ的二维高斯函数为G(x,y;σ),利用二维高斯函数对待增强的眼底图像I(x,y)进行平滑处理,得到平滑图像Iσ(x,y):
其中, 为卷积操作。
Hessian矩阵计算模块在尺度σ下,计算平滑图像Iσ(x,y)中点(x,y)处的Hessian矩阵Hσ(x,y):
特征值分析模块对Hessian矩阵Hσ(x,y)做特征值分析,得到特征值λ1、λ2,|λ1|<|λ2|;尺度s下的血管特征为:
其中,β和C是预设常数。
Frangi滤波结果生成模块取各尺度下v0(s)的最大值作为待增强的眼底图像I(x,y)的Frangi滤波结果v:
其中,smin和smax分别是最小尺度和最大尺度。
第二子图像划分模块将Frangi滤波结果v划分为若干相互重叠的第二子图像块。
血管类型判断模块5利用方向滤波器对第二子图像块进行方向滤波,并根据方向滤波结果判断该第二子图像块中包含的眼底血管是粗血管还是细弱血管。血管类型判断模块5包括方向滤波器设置模块、能量计算模块、能量差计算模块、最大能量差确定模块、血管类型判断子模块。
方向滤波器设置模块设置方向分别为θ1=0, 的8个方向滤波器。
能量计算模块假设方向为θi的方向滤波器中血管区域为Ω1,非血管区域为Ω2,计算两个区域各自的能量和
其中v(x,y)是Frangi滤波结果v在(x,y)的值,N1是Ω1中像素个数,N2是Ω2中像素个数。
能量差计算模块计算与的能量差:
最大能量差确定模块确定上述8个方向中最大的能量差:
血管类型判断子模块根据Emax判断血管类型,如果Emax≥T,则该第二子图像块中包含的眼底图像为粗血管,否则为细弱血管。
血管区域及其残差权重和残差阈值确定模块4确定第二子图像块中的血管区域,并根据第二子图像块中包含的眼底血管的类型设置第二子图像块中的血管区域的残差权重和残差阈值。血管区域及其残差权重和残差阈值确定模块4包括血管区域确定模块和残差权重和残差阈值确定模块。
血管区域确定模块将8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω1,将8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω2。
残差权重和残差阈值确定模块将包含的眼底图像为粗血管的第二子图像块的血管区域Ω1的残差权重设为1,残差阈值TR=T1;将包含的眼底图像为细弱血管的第二子图像块的血管区域Ω1的残差权重设为1/vmax,残差阈值TR=T2,其中vmax是该第二子图像块Frangi滤波结果的最大值。
稀疏系数计算模块3将第二子图像块与血管字典中的各第一子图像块内积,确定出其中内积最大的第一子图像块,并计算内积最大的第一子图像块对应的稀疏系数。稀疏系数计算模块3包括图像向量模块、第一子图像块选择模块和稀疏系数计算子模块。
图像向量模块将第二子图像块向量化为x,血管字典中第i个第一子图像块为di。
第一子图像块选择模块将血管字典中各第一子图像块与第二子图像块x内积最大者作为选中的第一个第一子图像块dr0:
其中,k为血管字典中第一子图像块的个数,r0是字典的索引号,<x,di>是x与di的内积运算。
稀疏系数计算子模块计算第一子图像块dr0对应的稀疏系数αr0:αr0=<x,dr0>,将选中的第一子图像块dr0的索引号r0加入集合S,S=S∪r0。
血管区域残差计算模块6利用内积最大的第一子图像块和第二子图像块计算残差图像,并利用所述血管区域的残差权重计算第二子图像块中血管区域的残差。血管区域残差计算模块6包括残差初算模块和残差加权模块。
残差初算模块计算第二子图像块中血管区域的残差图像R:
R=x-<x,dr0>dr0;
残差加权模块将残差R乘以该第二子图像块中血管区域的残差权重加权求和,作为第二子图像块中血管区域的最终残差。
跳转模块7在当残差的范数大于残差阈值时,将残差图像设置为第二子图像块,并跳转至稀疏系数计算模块3,否则,跳转至第二子图像块重构模块8。
第二子图像块重构模块8利用稀疏系数重构第二子图像块。重构的第二子图像块为:
其中,S是所述稀疏系数计算模块多次确定出的多个稀疏系数的集合,dr0是所述稀疏系数计算模块每一次确定出的内积最大的第一子图像块,αr0是dr0对应的稀疏系数。
眼底图像重构模块9利用各重构的第二子图像块重构眼底图像,从而得到增强的眼底图像。眼底图像重构模块9具体用于:
将所有重构的第二子图像块的不相交的部分合并,得到完整的增强的眼底图像。本系统中各模块的具体工作原理可参照前述眼底图像增强方法中的对应步骤。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (18)
1.一种眼底图像增强方法,其特征在于,包括如下步骤:
步骤A:利用眼底学习图像构建血管字典,所述血管字典中包括设定数量的第一子图像块;
步骤B:对待增强的眼底图像进行Frangi滤波,并将Frangi滤波得到的图像划分为若干相互重叠的第二子图像块;
步骤C:利用方向滤波器对所述第二子图像块进行方向滤波,并根据方向滤波结果判断所述第二子图像块中包含的眼底血管是粗血管还是细弱血管;
步骤D:确定所述第二子图像块中的血管区域,并根据所述第二子图像块中包含的眼底血管的类型设置所述第二子图像块中的血管区域的残差权重和残差阈值;
步骤E:将所述第二子图像块与所述血管字典中的各第一子图像块内积,确定出其中内积最大的第一子图像块,并计算所述内积最大的第一子图像块对应的稀疏系数;
步骤F:利用所述内积最大的第一子图像块和所述第二子图像块计算残差图像,并利用所述血管区域的残差权重计算所述第二子图像块中血管区域的残差;
步骤G:当所述残差的范数大于所述残差阈值时,将残差图像设置为第二子图像块,并跳转至步骤E,否则,跳转至步骤H;
步骤H:利用所述稀疏系数重构所述第二子图像块;
步骤I:利用各重构的第二子图像块重构所述眼底图像,从而得到增强的眼底图像。
2.如权利要求1所述的眼底图像增强方法,其特征在于,所述步骤A包括:
步骤A1:将所述眼底学习图像分割成若干大小相同的第一子图像块;所述第一子图像块的数量大于所述设定数量;
步骤A2:将各第一子图像块两两进行内积;
步骤A3:选取内积最小的所述设定数量个第一子图像块构建所述血管字典。
3.如权利要求1所述的眼底图像增强方法,其特征在于,所述步骤B包括:
步骤B1:设待增强的眼底图像为I(x,y),尺度为σ的二维高斯函数为G(x,y;σ),利用所述二维高斯函数对所述待增强的眼底图像I(x,y)进行平滑处理,得到平滑图像Iσ(x,y):
其中, 为卷积操作;
步骤B2:在尺度σ下,计算平滑图像Iσ(x,y)中点(x,y)处的Hessian矩阵Hσ(x,y):
步骤B3:对所述Hessian矩阵Hσ(x,y)做特征值分析,得到特征值λ1、λ2,|λ1|<|λ2|;尺度s下的血管特征为:
其中,β和C是预设常数;
步骤B4:在多尺度下,取各尺度下v0(s)的最大值作为所述待增强的眼底图像I(x,y)的Frangi滤波结果v:
其中,smin和smax分别是最小尺度和最大尺度;
步骤B5:将所述Frangi滤波结果v划分为若干相互重叠的第二子图像块。
4.如权利要求1所述的眼底图像增强方法,其特征在于,所述步骤C包括:
步骤C1:设置方向分别为θ1=0, 的8个方向滤波器;
步骤C2:假设方向为θi的方向滤波器中血管区域为Ω1,非血管区域为Ω2,计算两个区域各自的能量和
其中v(x,y)是Frangi滤波结果v在(x,y)的值,N1是Ω1中像素个数,N2是Ω2中像素个数;
步骤C3:计算与的能量差:
步骤C4:确定上述8个方向中最大的能量差:
步骤C5:根据所述Emax判断血管类型,如果Emax≥T,则所述第二子图像块中包含的眼底图像为粗血管,否则为细弱血管。
5.如权利要求4所述的眼底图像增强方法,其特征在于,所述步骤D包括:
步骤D1:将所述8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω1,将所述8个方向中最大的能量差所对应的方向滤波器中的非血管区域作为非血管实际的区域Ω2;
步骤D2:对于包含的眼底图像为粗血管的第二子图像块,将其血管区域Ω1的残差权重设为1,残差阈值TR=T1;对于包含的眼底图像为细弱血管的第二子图像块,将其血管区域Ω1的残差权重设为1/vmax,残差阈值TR=T2,其中vmax是该第二子图像块Frangi滤波结果的最大值。
6.如权利要求1所述的眼底图像增强方法,其特征在于,所述步骤E包括:
步骤E1:将所述第二子图像块向量化为x,所述血管字典中第i个第一子图像块为di;
步骤E2:将所述血管字典中各第一子图像块与所述第二子图像块x内积最大者作为选中的第一个第一子图像块dr0:
其中,k为所述血管字典中第一子图像块的个数,r0是字典的索引号,<x,di>是x与di的内积运算;
步骤E3:计算第一子图像块dr0对应的稀疏系数αr0:
αr0=<x,dr0>。
7.如权利要求1所述的眼底图像增强方法,其特征在于,所述步骤F包括:
步骤F1:计算所述第二子图像块中血管区域的残差图像R:
R=x-<x,dr0>dr0;
步骤F2:将所述残差R乘以该第二子图像块中血管区域的残差权重加权求和,作为第二子图像块中血管区域的最终残差。
8.如权利要求1所述的眼底图像增强方法,其特征在于,重构的所述第二子图像块为:
其中,S是多次执行步骤E确定出的多个稀疏系数的集合,dr0是每一次执行步骤E确定出的内积最大的第一子图像块,αr0是dr0对应的稀疏系数。
9.如权利要求1所述的眼底图像增强方法,其特征在于,所述步骤I包括:
将所有重构的第二子图像块的不相交的部分合并,得到完整的增强的眼底图像。
10.一种眼底图像增强系统,其特征在于,包括:
血管字典构建模块,其利用眼底学习图像构建血管字典,所述血管字典中包括设定数量的第一子图像块;
图像滤波及划分模块,其对待增强的眼底图像进行Frangi滤波,并将Frangi滤波得到的图像划分为若干相互重叠的第二子图像块;
血管类型判断模块,其利用方向滤波器对所述第二子图像块进行方向滤波,并根据方向滤波结果判断所述第二子图像块中包含的眼底血管是粗血管还是细弱血管;
血管区域及其残差权重和残差阈值确定模块,其确定所述第二子图像块中的血管区域,并根据所述第二子图像块中包含的眼底血管的类型设置所述第二子图像块中的血管区域的残差权重和残差阈值;
稀疏系数计算模块,其将所述第二子图像块与所述血管字典中的各第一子图像块内积,确定出其中内积最大的第一子图像块,并计算所述内积最大的第一子图像块对应的稀疏系数;
血管区域残差计算模块,其利用所述内积最大的第一子图像块和所述第二子图像块计算残差图像,并利用所述血管区域的残差权重计算所述第二子图像块中血管区域的残差;
跳转模块,其在当所述残差的范数大于所述残差阈值时,将残差图像设置为第二子图像块,并跳转至所述稀疏系数计算模块,否则,跳转至第二子图像块重构模块;
第二子图像块重构模块,其利用所述稀疏系数重构所述第二子图像块;
眼底图像重构模块,其利用各重构的第二子图像块重构所述眼底图像,从而得到增强的眼底图像。
11.如权利要求10所述的眼底图像增强系统,其特征在于,所述血管字典构建模块包括:
眼底学习图像划分模块,其将所述眼底学习图像分割成若干大小相同的第一子图像块;所述第一子图像块的数量大于所述设定数量;
第一子图像块内积模块,其将各第一子图像块两两进行内积;
血管字典构建子模块,其选取内积最小的所述设定数量个第一子图像块构建所述血管字典。
12.如权利要求10所述的眼底图像增强系统,其特征在于,所述图像滤波及划分模块包括:
平滑滤波模块,其设待增强的眼底图像为I(x,y),尺度为σ的二维高斯函数为G(x,y;σ),利用所述二维高斯函数对所述待增强的眼底图像I(x,y)进行平滑处理,得到平滑图像Iσ(x,y):
其中, 为卷积操作;
Hessian矩阵计算模块,其在尺度σ下,计算平滑图像Iσ(x,y)中点(x,y)处的Hessian矩阵Hσ(x,y):
特征值分析模块,其对所述Hessian矩阵Hσ(x,y)做特征值分析,得到特征值λ1、λ2,|λ1|<|λ2|;尺度s下的血管特征为:
其中,β和C是预设常数;
Frangi滤波结果生成模块,其取各尺度下v0(s)的最大值作为所述待增强的眼底图像I(x,y)的Frangi滤波结果v:
其中,smin和smax分别是最小尺度和最大尺度;
第二子图像划分模块,其将所述Frangi滤波结果v划分为若干相互重叠的第二子图像块。
13.如权利要求10所述的眼底图像增强系统,其特征在于,所述血管类型判断模块包括:
方向滤波器设置模块,其设置方向分别为θ1=0, 的8个方向滤波器;
能量计算模块,其假设方向为θi的方向滤波器中血管区域为Ω1,非血管区域为Ω2,计算两个区域各自的能量和
其中v(x,y)是Frangi滤波结果v在(x,y)的值,N1是Ω1中像素个数,N2是Ω2中像素个数;
能量差计算模块,其计算与的能量差:
最大能量差确定模块,其确定上述8个方向中最大的能量差:
血管类型判断子模块,其根据所述Emax判断血管类型,如果Emax≥T,则所述第二子图像块中包含的眼底图像为粗血管,否则为细弱血管。
14.如权利要求13所述的眼底图像增强系统,其特征在于,所述血管区域及其残差权重和残差阈值确定模块包括:
血管区域确定模块,其将所述8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω1,将所述8个方向中最大的能量差所对应的方向滤波器中的血管区域作为血管实际的区域Ω2;
残差权重和残差阈值确定模块,其将包含的眼底图像为粗血管的第二子图像块的血管区域Ω1的残差权重设为1,残差阈值TR=T1;将包含的眼底图像为细弱血管的第二子图像块的血管区域Ω1的残差权重设为1/vmax,残差阈值TR=T2,其中vmax是该第二子图像块Frangi滤波结果的最大值。
15.如权利要求10所述的眼底图像增强系统,其特征在于,所述稀疏系数计算模块包括:
图像向量模块,其将所述第二子图像块向量化为x,所述血管字典中第i个第一子图像块为di;
第一子图像块选择模块,其将所述血管字典中各第一子图像块与所述第二子图像块x内积最大者作为选中的第一个第一子图像块dr0:
其中,k为所述血管字典中第一子图像块的个数,r0是字典的索引号,<x,di>是x与di的内积运算;
稀疏系数计算子模块,其计算第一子图像块dr0对应的稀疏系数αr0:
αr0=<x,dr0>。
16.如权利要求10所述的眼底图像增强系统,其特征在于,所述血管区域残差计算模块包括:
残差初算模块,其计算所述第二子图像块中血管区域的残差图像R:
R=x-<x,dr0>dr0;
残差加权模块,其将所述残差R乘以该第二子图像块中血管区域的残差权重加权求和,作为第二子图像块中血管区域的最终残差。
17.如权利要求10所述的眼底图像增强系统,其特征在于,重构的所述第二子图像块为:
其中,S是所述稀疏系数计算模块多次确定出的多个稀疏系数的集合,dr0是所述稀疏系数计算模块每一次确定出的内积最大的第一子图像块,αr0是dr0对应的稀疏系数。
18.如权利要求10所述的眼底图像增强系统,其特征在于,所述眼底图像重构模块具体用于:
将所有重构的第二子图像块的不相交的部分合并,得到完整的增强的眼底图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610822306.4A CN106504199B (zh) | 2016-09-13 | 2016-09-13 | 一种眼底图像增强方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610822306.4A CN106504199B (zh) | 2016-09-13 | 2016-09-13 | 一种眼底图像增强方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106504199A CN106504199A (zh) | 2017-03-15 |
CN106504199B true CN106504199B (zh) | 2019-03-22 |
Family
ID=58290352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610822306.4A Expired - Fee Related CN106504199B (zh) | 2016-09-13 | 2016-09-13 | 一种眼底图像增强方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106504199B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090899A (zh) * | 2017-12-27 | 2018-05-29 | 重庆大学 | 一种血管提取及去噪方法 |
CN109816612A (zh) | 2019-02-18 | 2019-05-28 | 京东方科技集团股份有限公司 | 图像增强方法和装置、计算机可读存储介质 |
CN110473188B (zh) * | 2019-08-08 | 2022-03-11 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
CN116630615A (zh) * | 2023-04-24 | 2023-08-22 | 中国科学院空天信息创新研究院 | 红外小目标检测方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102842141A (zh) * | 2012-07-03 | 2012-12-26 | 东南大学 | 一种旋转x射线造影图像迭代重建方法 |
CN103188988A (zh) * | 2010-08-27 | 2013-07-03 | 索尼公司 | 图像处理装置及方法 |
CN103489203A (zh) * | 2013-01-31 | 2014-01-01 | 清华大学 | 基于字典学习的图像编码方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8068655B2 (en) * | 2007-10-02 | 2011-11-29 | Siemens Aktiengesellschaft | Method and system for vessel enhancement and artifact reduction in TOF MR angiography of brain |
-
2016
- 2016-09-13 CN CN201610822306.4A patent/CN106504199B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188988A (zh) * | 2010-08-27 | 2013-07-03 | 索尼公司 | 图像处理装置及方法 |
CN102842141A (zh) * | 2012-07-03 | 2012-12-26 | 东南大学 | 一种旋转x射线造影图像迭代重建方法 |
CN103489203A (zh) * | 2013-01-31 | 2014-01-01 | 清华大学 | 基于字典学习的图像编码方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106504199A (zh) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111815574B (zh) | 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 | |
CN110390650B (zh) | 基于密集连接和生成对抗网络的oct图像去噪方法 | |
CN108492271B (zh) | 一种融合多尺度信息的自动图像增强系统及方法 | |
WO2018049598A1 (zh) | 一种眼底图像增强方法及系统 | |
CN110728729B (zh) | 一种基于注意机制的无监督ct投影域数据恢复方法 | |
CN106504199B (zh) | 一种眼底图像增强方法及系统 | |
CN110047138A (zh) | 一种磁共振薄层图像重建方法 | |
CN107203989A (zh) | 基于全卷积神经网络的端对端胸部ct图像分割方法 | |
CN109166102A (zh) | 一种基于判别区域候选对抗网络的图像转图像翻译方法 | |
Hao et al. | Skeletal bone age assessments for young children based on regression convolutional neural networks | |
CN110910317B (zh) | 一种舌象图像增强方法 | |
CN110288568A (zh) | 眼底图像处理方法、装置、设备和存储介质 | |
CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
CN104077754B (zh) | 基于对称性的视网膜血管滤波增强方法 | |
CN114677349B (zh) | 编解码端边缘信息增强和注意引导的图像分割方法及系统 | |
CN115456890A (zh) | 基于多尺度双域判别器的生成对抗医学ct图像去噪方法 | |
Liu et al. | SDCNet: Smoothed dense-convolution network for restoring low-dose cerebral CT perfusion | |
CN117314935A (zh) | 基于扩散模型的低质量眼底图像的增强及分割方法及系统 | |
US20100061656A1 (en) | Noise reduction of an image signal | |
CN111311531A (zh) | 图像增强方法、装置、控制台设备及医学成像系统 | |
CN117291835A (zh) | 基于图像内容感知先验和注意力驱动的去噪网络模型 | |
CN116894783A (zh) | 基于时变约束的对抗生成网络模型的金属伪影去除方法 | |
CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
CN110930394B (zh) | 测量肌肉肌纤维束线斜率和羽状角的方法及终端设备 | |
Ren et al. | Low dose CT image denoising using multi-level feature fusion network and edge constraints |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Wu Junhao Inventor after: Yang Hui Inventor after: Pei Jihong Inventor before: Yang Hui Inventor before: Zhang Zhengrui Inventor before: Pei Jihong |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190322 |
|
CF01 | Termination of patent right due to non-payment of annual fee |