[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114612483B - 硬管内窥镜视野区域分割方法及装置 - Google Patents

硬管内窥镜视野区域分割方法及装置 Download PDF

Info

Publication number
CN114612483B
CN114612483B CN202210218556.2A CN202210218556A CN114612483B CN 114612483 B CN114612483 B CN 114612483B CN 202210218556 A CN202210218556 A CN 202210218556A CN 114612483 B CN114612483 B CN 114612483B
Authority
CN
China
Prior art keywords
function
shape
formula
model
circular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210218556.2A
Other languages
English (en)
Other versions
CN114612483A (zh
Inventor
范敬凡
李文杰
杨健
艾丹妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210218556.2A priority Critical patent/CN114612483B/zh
Publication of CN114612483A publication Critical patent/CN114612483A/zh
Application granted granted Critical
Publication of CN114612483B publication Critical patent/CN114612483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

硬管内窥镜视野区域分割方法及装置，能够精确提取硬管内窥镜图像中的圆形视野区域，并有效处理边界溢光或明显暗区对分割结果的影响。方法包括：(1)提取基于活动轮廓模型的圆形视野区域；(2)结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项。

Description

硬管内窥镜视野区域分割方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种硬管内窥镜视野区域分割方法，以及硬管内窥镜视野区域分割装置，适用于内窥镜手术导航和图像分析。
背景技术
内窥镜检查作为一种微创技术，被广泛用于人体各个部位的疾病筛查和手术。近年来，基于内窥镜影像的分析已越加普遍，如手术阶段划分、工具探测(添加参考文献)等。由于内窥镜相机固有的结构特性等，CCD所捕获的视频图像中的有效区域仅包含中间的圆形区域，其余部分的像素非常暗，不包含任何有用的信息。不幸的是，这些暗区通常不是均匀的纯黑色区域，而会受到强烈的噪声干扰，如溢光等。在视频影像分析任务中，这些不含任何有效信息的区域将会严重影响分析结果。此外，在视频编码存储的过程中，对这些无用区域的编码也会大大增加视频的空间占用。因此，通过提取内窥镜视野区域的图像，可有效提高其后续分析应用的精度和效率。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种硬管内窥镜视野区域分割方法，其能够精确提取硬管内窥镜图像中的圆形视野区域，并有效处理边界溢光或明显暗区对分割结果的影响。
本发明的技术方案是：这种硬管内窥镜视野区域分割方法，其包括以下步骤：
(1)提取基于活动轮廓模型的圆形视野区域；
(2)结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项；所述步骤(1)中，利用简化的Chan-Vese模型对圆形区域和其他区域进行分割，保留模型中前景和背景的拟合项，表示为公式(1)：
ECV(c1，c2，φ)＝λ1∫Ω|Iσ-c1|2H(φ)dΩ+λ2∫Ω|Iσ-c2|2(1-H(φ))dΩ (1)
其中，Iσ为原图经过均值为0、方差为σ的高斯模糊后的图像，φ为定义在该曲线上的水平集函数，H(φ)为Heaviside函数，c1和c2分别为轮廓C内部和外部的像素均值，在每次迭代中按照公式(2)更新：
本发明通过提取基于活动轮廓模型的圆形视野区域，结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项，从而能够精确提取硬管内窥镜图像中的圆形视野区域，并有效处理边界溢光或明显暗区对分割结果的影响。
还提供了硬管内窥镜视野区域分割装置，其包括：
提取模块，其配置来提取基于活动轮廓模型的圆形视野区域；
添加模块，其配置来结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项；
其中，提取模块利用简化的Chan-Vese模型对圆形区域和其他区域进行分割，保留模型中前景和背景的拟合项，表示为公式(1)：
ECV(c1，c2，φ)＝λ1∫Ω|Iσ-c1|2H(φ)dΩ+λ2∫Ω|Iσ-c2|2(1-H(φ))dΩ (1)
其中，Iσ为原图经过均值为0、方差为σ的高斯模糊后的图像，φ为定义在该曲线上的水平集函数，H(φ)为Heaviside函数，c1和c2分别为轮廓C内部和外部的像素均值，在每次迭代中按照公式(2)更新：
附图说明
图1是根据本发明的硬管内窥镜视野区域分割方法的流程图。
具体实施方式
如图1所示，这种硬管内窥镜视野区域分割方法，其包括以下步骤：
(1)提取基于活动轮廓模型的圆形视野区域；
(2)结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项；
内窥镜图像中间的圆形区域为实际捕获到的图像数据，其余的区域为无有效信息的黑色背景。所述步骤(1)中，利用简化的Chan-Vese模型对圆形区域和其他区域进行分割，保留模型中前景和背景的拟合项，表示为公式(1)：
ECV(c1，c2，φ)＝λ1∫Ω|Iσ-c1|2H(φ)dΩ+λ2∫Ω|Iσ-c2|2(1-H(φ))dΩ (1)
其中，Iσ为原图经过均值为0、方差为σ的高斯模糊后的图像，φ为定义在该曲线上的水平集函数，H(φ)为Heaviside函数，c1和c2分别为轮廓C内部和外部的像素均值，在每次迭代中按照公式(2)更新：
本发明通过提取基于活动轮廓模型的圆形视野区域，结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项，从而能够精确提取硬管内窥镜图像中的圆形视野区域，并有效处理边界溢光或明显暗区对分割结果的影响。
优选地，所述步骤(1)中，为加速算法收敛，将参数λ1和λ2设置为根据迭代次数不断更新的自适应值。考虑一种简单的情况，设定图像由强度为分段恒定的两个区域组成，它们的面积分别为S1和S2，为了保证能量函数中第一项与第二项之间的平衡，将λ1和λ2分别定义为轮廓C内部和外部区域所占的比例，则表示为公式(3)：
将Heaviside函数代入公式(3)，得到公式(4)：
优选地，所述步骤(2)中，能量函数ECV关于φ的梯度下降方程为公式(5)：
其中，δ(φ)为Dirac函数，是Heaviside函数的广义导数；
引入形状先验模型来约束水平集函数的收敛方向，利用符号距离函数(SignedDistance Function，SDF)作为水平集函数来表示形状：
则平面中的任何形状对象都可以用一个唯一的符号距离函数来表示，由于形状对于平移、旋转和缩放保持不变，因此可以通过几个参数来定义两个相似形状之间的关系。定义ψ0为初始化圆形形状的符号距离函数，ψ为每次迭代中更新的变换后的符号距离函数，则存在一个三元组(a，b，r)，使得：
其中，(x，y)为轮廓上的点，(a，b)为变换中心，r为尺度因子。
则对于任意给定的形状对象，都可以通过选择三元组(a，b，r)来获得其他相似形状对象的表示。因此，优选地，所述步骤(2)中，可以定义与形状差异有关的能量项为公式(8)：
Eshape(φ，ψ)＝∫Ω(H(φ)-H(ψ)2)dΩ (8)
则能量函数Eshape关于φ的梯度下降方程为公式(9)：
优选地，所述步骤(2)中，考虑到内窥镜图像中溢光或局部暗区现象导致的形状约束项能量变弱的问题，在形状约束能量函数中添加局部自适应阈值积分(Local AdaptiveThreshold，LAT)能量项，表示为公式(10)：
其中，是半径为R、圆心为宽度为2ΔR的圆环，R和均由Eshape中的函数ψ更新得到。
优选地，所述步骤(2)中，为了从数值上评估公式(10)，将圆环区域离散为多个角度为θ的小区域，并利用公式(11)来近似ELAT：
其中，FLAT表示对图像进行局部自适应阈值处理的函数，将FLAT函数处理后图像规则化，即将前景和背景分别置为1和-1。
优选地，所述步骤(2)中，基于局部自适应阈值的能量项用水平集函数表示为公式(12)：
对应关于φ的梯度下降函数为
优选地，所述步骤(2)中，综合所述能量函数中的拟合项，定义最终的能量函数为公式(14)：
E(c1，c2，φ，ψ)＝αECV(c1，c2，φ)+βEshape(φ，ψ)+γELAT(φ) (14)
其中，α、β和γ分别为各能量项的权重因子，用于控制水平集函数的迭代方向。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种硬管内窥镜视野区域分割装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包获取模块，其配置来获取待分割的图像；
提取模块，其配置来提取基于活动轮廓模型的圆形视野区域；
添加模块，其配置来结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项；
其中，提取模块利用简化的Chan-Vese模型对圆形区域和其他区域进行分割，保留模型中前景和背景的拟合项，表示为公式(1)：
ECV(c1，c2，φ)＝λ1∫Ω|Iσ-c1|2H(φ)dΩ+λ2∫Ω|Iσ-c2|2(1-H(φ))dΩ (1)
其中，Iσ为原图经过均值为0、方差为σ的高斯模糊后的图像，φ为定义在该曲线上的水平集函数，H(φ)为Heaviside函数，c1和c2分别为轮廓C内部和外部的像素均值，在每次迭代中按照公式(2)更新：
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (2)

1.硬管内窥镜视野区域分割方法，其特征在于：其包括以下步骤：
(1)提取基于活动轮廓模型的圆形视野区域；
(2)结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项；所述步骤(1)中，利用简化的Chan-Vese模型对圆形区域和其他区域进行分割，保留模型中前景和背景的拟合项，表示为公式(1)：
ECV(c1,c2,φ)＝λ1∫Ω|Iσ-c1|2H(φ)dΩ+λ2∫Ω|Iσ-c2|2(1-H(φ))dΩ (1)
其中，Iσ为原图经过均值为0、方差为σ的高斯模糊后的图像，φ为定义在曲线上的水平集函数，H(φ)为Heaviside函数，c1和c2分别为轮廓C内部和外部的像素均值，表示图像Iσ中的闭合区域，在每次迭代中按照公式(2)更新：
所述步骤(1)中，设定图像由强度为分段恒定的两个区域组成，它们的面积分别为S1和S2，为了保证能量函数中第一项与第二项之间的平衡，将λ1和λ2分别定义为轮廓C内部和外部区域所占的比例，则表示为公式(3)：
将Heaviside函数代入公式(3)，得到公式(4)：
所述步骤(2)中，能量函数ECV关于φ的梯度下降方程为公式(5)：
其中，δ(φ)为Dirac函数，是Heaviside函数的广义导数；
引入形状先验模型来约束水平集函数的收敛方向，利用符号距离函数作为水平集函数来表示形状：
定义ψ0为初始化圆形形状的符号距离函数，ψ为每次迭代中更新的变换后的符号距离函数，则存在一个三元组(a,b,r)，使得：
其中，(x,y)为轮廓上的点，(a,b)为变换中心，r为尺度因子；
所述步骤(2)中，与形状差异有关的能量项为公式(8)：
Eshape(φ,ψ)＝∫Ω(H(φ)-H(ψ)2)dΩ (8)
则能量函数Eshape关于φ的梯度下降方程为公式(9)：
所述步骤(2)中，在形状约束能量函数中添加局部自适应阈值积分LAT的能量项ELAT，表示为公式(10)：
其中，是半径为R、圆心为宽度为2ΔR的圆环，R和均由Eshape中的函数ψ更新得到；
所述步骤(2)中，为了从数值上评估公式(10)，将圆环区域离散为多个角度为θ的小区域，并利用公式(11)来近似ELAT：
其中，FLAT表示对图像进行局部自适应阈值处理的函数，将FLAT函数处理后图像规则化，即将前景和背景分别置为1和-1；
所述步骤(2)中，基于局部自适应阈值的能量项用水平集函数表示为公式(12)：
对应关于φ的梯度下降函数为
所述步骤(2)中，能量函数为公式(14)：
E(c1,c2,φ,ψ)＝αECV(c1,c2,φ)+βEshape(φ,ψ)+γELAT(φ) (14)
其中，α、β和γ分别为各能量项的权重因子，用于控制水平集函数的迭代方向。
2.硬管内窥镜视野区域分割装置，其用于执行根据权利要求1所述的硬管内窥镜视野区域分割方法，其特征在于：其包括：
提取模块，其配置来提取基于活动轮廓模型的圆形视野区域；
添加模块，其配置来结合内窥镜视野的形状特征和区域特征，在活动轮廓模型的基础上添加圆形形状先验模型和局部区域自适应阈值积分能量项；
其中，提取模块利用简化的Chan-Vese模型对圆形区域和其他区域进行分割，保留模型中前景和背景的拟合项，表示为公式(1)：
ECV(c1,c2,φ)＝λ1∫Ω|Iσ-c1|2H(φ)dΩ+λ2∫Ω|Iσ-c2|2(1-H(φ))dΩ (1)
其中，Iσ为原图经过均值为0、方差为σ的高斯模糊后的图像，φ为定义在曲线上的水平集函数，H(φ)为Heaviside函数，c1和c2分别为轮廓C内部和外部的像素均值，在每次迭代中按照公式(2)更新：
CN202210218556.2A 2022-03-04 2022-03-04 硬管内窥镜视野区域分割方法及装置 Active CN114612483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210218556.2A CN114612483B (zh) 2022-03-04 2022-03-04 硬管内窥镜视野区域分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210218556.2A CN114612483B (zh) 2022-03-04 2022-03-04 硬管内窥镜视野区域分割方法及装置

Publications (2)

Publication Number Publication Date
CN114612483A CN114612483A (zh) 2022-06-10
CN114612483B true CN114612483B (zh) 2024-08-06

Family

ID=81860682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210218556.2A Active CN114612483B (zh) 2022-03-04 2022-03-04 硬管内窥镜视野区域分割方法及装置

Country Status (1)

Country Link
CN (1) CN114612483B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0959625A2 (en) * 1998-05-22 1999-11-24 Tektronix, Inc. Segmenting video images based on joint region and contour information
CN110675402A (zh) * 2019-08-27 2020-01-10 上海理工大学 一种基于内窥镜图像的结直肠息肉分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682045B2 (en) * 1997-02-25 2014-03-25 Wake Forest University Health Sciences Virtual endoscopy with improved image segmentation and lesion detection
JP2006061274A (ja) * 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc プログラム、及び内視鏡システム
US7925087B2 (en) * 2006-11-14 2011-04-12 Siemens Aktiengesellschaft Method and system for image segmentation by evolving radial basis functions
CN113034508B (zh) * 2019-12-25 2024-02-13 飞依诺科技股份有限公司 超声图像病灶的分割方法、装置和计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0959625A2 (en) * 1998-05-22 1999-11-24 Tektronix, Inc. Segmenting video images based on joint region and contour information
CN110675402A (zh) * 2019-08-27 2020-01-10 上海理工大学 一种基于内窥镜图像的结直肠息肉分割方法

Also Published As

Publication number Publication date
CN114612483A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
Li et al. Learning warped guidance for blind face restoration
CN110473243B (zh) 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
US20220207728A1 (en) Quality assessment in video endoscopy
US7302096B2 (en) Method and apparatus for low depth of field image segmentation
US20190139199A1 (en) Image deblurring method based on light streak information in an image
US20150003725A1 (en) Depth constrained superpixel-based depth map refinement
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
Bouzos et al. Conditional random field model for robust multi-focus image fusion
CN110855889A (zh) 图像处理方法、装置、图像处理设备及存储介质
Khordehchi et al. Automatic lung nodule detection based on statistical region merging and support vector machines
CN111161136A (zh) 图像虚化方法、图像虚化装置、设备及存储装置
WO2021009804A1 (ja) 閾値の学習方法
CN114612483B (zh) 硬管内窥镜视野区域分割方法及装置
CN112330708B (zh) 图像处理方法、装置、存储介质及电子设备
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
CN112634224B (zh) 基于目标影像的病灶检测方法和装置
CN111275719B (zh) 钙化假阳识别及其模型训练的方法、装置、终端及介质
Pujar et al. Medical image segmentation based on vigorous smoothing and edge detection ideology
Shaik et al. Unsupervised segmentation of image using novel curve evolution method
CN112581411B (zh) 一种图像去雾的方法及终端
CN113554660B (zh) 一种用于检测眼底微动脉瘤的检测方法
Schüle et al. Real-time vascular graph extraction for surgical navigation
Loktyushin et al. Automatic foreground-background refocusing
Naidu et al. Efficient case study for image edge gradient based detectors-sobel, robert cross, prewitt and canny

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant