CN113034460B - 子宫内膜腺体密度预估方法 - Google Patents
子宫内膜腺体密度预估方法 Download PDFInfo
- Publication number
- CN113034460B CN113034460B CN202110299344.7A CN202110299344A CN113034460B CN 113034460 B CN113034460 B CN 113034460B CN 202110299344 A CN202110299344 A CN 202110299344A CN 113034460 B CN113034460 B CN 113034460B
- Authority
- CN
- China
- Prior art keywords
- image
- hysteroscope
- picture
- gland
- endometrium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004907 gland Anatomy 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002357 endometrial effect Effects 0.000 title claims abstract description 22
- 210000004696 endometrium Anatomy 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000000523 sample Substances 0.000 claims description 13
- 230000000762 glandular Effects 0.000 claims description 12
- 239000003623 enhancer Substances 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000004291 uterus Anatomy 0.000 claims description 3
- 208000028685 Asherman syndrome Diseases 0.000 abstract description 24
- 201000001389 adhesions of uterus Diseases 0.000 abstract description 23
- 238000004393 prognosis Methods 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000000265 homogenisation Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000035935 pregnancy Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010000210 abortion Diseases 0.000 description 2
- 231100000176 abortion Toxicity 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 210000001161 mammalian embryo Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010000084 Abdominal pain lower Diseases 0.000 description 1
- 201000000736 Amenorrhea Diseases 0.000 description 1
- 206010001928 Amenorrhoea Diseases 0.000 description 1
- 102000002322 Egg Proteins Human genes 0.000 description 1
- 108010000912 Egg Proteins Proteins 0.000 description 1
- 101710088235 Envelope glycoprotein C homolog Proteins 0.000 description 1
- 208000002777 Gynatresia Diseases 0.000 description 1
- 206010021033 Hypomenorrhoea Diseases 0.000 description 1
- 208000037093 Menstruation Disturbances Diseases 0.000 description 1
- 108010008707 Mucin-1 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 231100000540 amenorrhea Toxicity 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000004681 ovum Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Heart & Thoracic Surgery (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Reproductive Health (AREA)
- Gynecology & Obstetrics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了子宫内膜腺体密度预估方法，属于人工智能领域，方法包括训练检测网络进行训练，获取子宫内膜视频数据，截取宫腔镜图片，宫腔镜图片进行标准化处理，使用训练网络和匹配网络对宫腔镜图片进行识别获取腺体；将识别后的宫腔镜图片去重叠后进行组合，得到子宫内膜整体图像；得到子宫内膜腺体密度。本发明可以提高宫腔粘连分类的特异性及预测预后的准确性，基于深度学习的宫腔粘连判断机理进行分析，精确定位宫腔粘连的病理形态学靶点，通过策略选择更精准的对图像进行识别，可以大大的减少运算的过程，可以提前选择相应的兴趣特征值，提高检测的精度和效率，对宫腔粘连分类进行大数据的收集，提出宫腔粘连同质化诊疗方案。
Description
技术领域
本发明涉及人工智能领域，尤其涉及子宫内膜腺体密度预估方法。
背景技术
宫腔粘连(IUA)，又称Asherman综合征，由于各种物理或化学因素造成的宫腔损伤、感染等原因，引起子宫内膜损伤，子宫壁间互相粘连，从而导致宫腔和(或)宫颈管部分或全部闭塞。根据粘连位置的不同，主要临床表现为月经量减少、闭经、周期性下腹痛、妊娠异常等，是引起流产及不孕的主要原因之一。在我国，导致宫腔粘连最常见的原因是人工流产，再加上宫腔镜技术逐渐普及，各种宫腔操作增多，IUA的发病率越来越高，并由于其复发率高，治疗疗效欠佳，严重影响育龄妇女的生育能力，也严重影响了患者家庭以及社会的稳定。病程的长短及疾病严重程度影响治疗的预后,早发现、早诊断、早治疗可以在一定程度上改善IUA患者的妊娠预后。而对宫腔粘连严重程度的判断影响了临床治疗决策。因此,及早精确、无创的诊断宫腔粘连并进行严重程度分级对于患者具有重要临床意义。对于有生育要求的IUA患者来说，其寻求治疗的目的主要在于获得子代。宫腔粘连患者术后的妊娠情况与IUA严重程度密切相关，因此对宫腔粘连患者进行分级对预测其预后及妊娠结局是非常有必要的。
目前对于宫腔粘连的诊断已达成共识，金标准是宫腔镜检查。IUA患者术后预后评估标准有美国生育协会评分标准、欧洲妇科内镜协会分级标准以及中国IUA评分标准等，但尚无一标准得到国际范围的认可，由于方法及技术的局限未将子宫内膜这一最直接影响预后的指标纳入这些评分标准。子宫内膜是受精卵着床与胚胎发育的决定性因素。子宫内膜腺体会分泌多种对胚胎存活、生长、发展至关重要的蛋白质，如粘蛋白MUC-1和糖蛋白-A，这也证实了子宫内膜腺体对妊娠的重要性。随着人工智能时代的到来，计算机辅助医学影像分析已在疾病的早期诊断中发挥了越来越重要的作用。新一代以深度学习为核心的人工智能技术能够自动提取高维特征，从而获得更高的分类准确率。因此设计一种高准确率的子宫内膜腺体密度预估方法，能为临床医疗决策提供重要辅助作用，为提升IUA无创诊断率及预后妊娠率提供新的思路和理论指导。
发明内容
本发明的目的在于提供子宫内膜腺体密度预估方法，解决现有子宫内膜腺体密度只能通过肉眼观察识别，效率不高的技术问题。
子宫内膜腺体密度预估方法，所述方法包括如下步骤，
步骤1：将标注的宫腔镜图片输入到训练检测网络进行训练，获取腺体图像特征；
步骤2：医生将医疗仪器探头放入子宫内获取子宫内膜视频数据，根据医疗仪器探头移动速度截取宫腔镜图片；
步骤3：将获取的宫腔镜图片进行标准化处理，标准化处理包括将宫腔镜图片统一清晰度处理以及去躁的正则化，并将处理的图像平面化贴图处理；
步骤4：使用训练网络和匹配网络对宫腔镜图片进行识别获取腺体；
步骤5：将识别后的宫腔镜图片去重叠后进行组合，得到子宫内膜整体图像；
步骤6：根据子宫内膜整体图像的大小和子宫内膜整体图像内的腺体个数得到子宫内膜腺体密度。
进一步地，步骤2的具体过程为：宫腔镜图片为正方形图，边长为l，d＞l时获取下一个宫腔镜图片，其中Δt＝t2-t1，d＝Δt*v，v为医疗仪器探头移动在子宫内膜的线速度，Δt为从上一次获取宫腔镜图片到下一次获取宫腔镜图片的时间，t1为上一次获取宫腔镜图片对应帧的时间，t2为下一次获取宫腔镜图片对应帧的时间。
进一步地，步骤3的具体过程为：宫腔镜图片统一清晰度处理使用图像增强算法，图像增强算法的结构中包含一个增强器和一个判别器，增强器的输入是低精度图像，输出是高精度图像，判别器输入是真实的高精度图像或图像增强器处理后的图像，将多中心中低精度图像调整到高的精度图像，消除不同图像精度的差异，去躁的正则化的具体过程为使用机器噪声屏蔽算法，机器噪声屏蔽算法的结构包括一个判别器和一个复合生成器，先将多中心分成参考中心和普通中心两种类型，判别器用于判别输入图像是参考中心图像还是普通中心的合成图像，复合生成器通过掩码生成器为普通中心数据添加噪声掩码，然后生成平面坐标轴面，将处理后的图像贴在坐标轴面上，则可以得到前后两个图像的具体为：
di是从上一次获取宫腔镜图片到下一次获取宫腔镜图片的距离，上一次获取宫腔镜图片坐标和时间为(x1,y1)i和t1，下一次获取宫腔镜图片坐标和时间为(x2,y2)i和t2。
进一步地，步骤4的具体过程为，从策略选择模块输入相关策略选择参数，将策略选择参数和训练检测网络特征值输入到匹配网络模块，匹配网络模块根据训练检测网络的腺体特征和策略选择参数对图像中的腺体进行识别，然后输出识别后的腺体，并对腺体体积和类别进行标注，类别包括张口腺体和不张口的腺体，统计每张图像中腺体的个数。
进一步地，策略选择模块选择原理如下式：
f(x)＝max[ω1ci+ω2si+ω3ai+ω4ki]
其中，ci为腺体标准密度，si为患者年龄，ai为检测精度，ki为腺体均值大小，以上四个因素分别被赋予四个相应的参数，其分别是ω1，ω2，ω3和ω4，其可根据具体要求自由设置各自的参数值，具有高度的灵活性和扩展性，将选择侧裂放入到训练检测网络的特征值进行选择，其中分值最高的目标即本策略选择的感兴趣目标，即为初步确定腺体类别。
进一步地，匹配网络模块包括目标子网和搜索子网，目标子网存取训练检测网络特征，搜索子网对检测图像进行特征提取，目标子网和搜索子网共享相同的权重和偏置，其中，搜索子网采用的是基于瓶颈残差块的内部裁剪单元，内部裁剪单元在块内部裁剪出受填充补零影响的特征，防止卷积滤波器学习位置偏差，其中，残差单元是模板匹配网络的关键模块，其由3个堆叠的卷积层和三层快捷连接组成，这三层快捷连接分别是1*1，3*3和1*1卷积，其中1*1卷积层负责减少然后恢复尺寸，使3*3卷积层成为具有小输入和输出尺寸的瓶颈。
进一步地，步骤5的具体过程为：通过步骤4获取得到每个图像中腺体的具体图像，然后将相邻的两个图像的前面一个图像的前端部分和后面一个图像的后端重叠部分进行叠合，叠合规则为根据两个图像的实际距离di，然后采集前面一个图像的前端的距离di的腺体图像分布结构和后面一个图像的后端距离di的腺体图像分布结构进行对比，如果相同，则直接将这一部分图像叠合在一起，如果不重合，将距离di逐级变小或者变大进行对比，直到前面一个图像的前端的距离di'的腺体图像分布结构和后面一个图像的后端距离di'的腺体图像分布结构相同时，完成叠合，di'为逐级变小或者变大距离。
进一步地，步骤6的具体过程为：先算出宫内膜整体图像坐标的公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
其中，(cx，cy)表示网格左上角的坐标，(σ(tx)，σ(ty))表示偏移量，均与di'或者di相同，(pw，ph)表示先验框的宽度和高度，(bx,by,bw,bh)表示最终得到边界框的坐标，根据最终得到边界框的坐标算出宫内膜整体图像的大小，然后再统计宫内膜整体图像上的腺体数量，则可以得出平均密度，同时在步骤4中，每个图像识别的腺体数量和图像均保留，一起与平均密度输出，完成密度预估。
本发明采用了上述技术方案，本发明具有以下技术效果：
本发明可以提高宫腔粘连分类的特异性及预测预后的准确性，基于深度学习的宫腔粘连判断机理进行分析，精确定位宫腔粘连的病理形态学靶点，通过策略选择更精准的对图像进行识别，可以大大的减少运算的过程，可以提前选择相应的兴趣特征值，提高检测的精度和效率，对宫腔粘连分类进行大数据的收集，提出宫腔粘连同质化诊疗方案。
附图说明
图1为本发明方法流程图
图2为本发明识别的原理框图。
图3为本发明原始计数图片。
图4为本发明裁剪后的目标区域图片。
图5为本发明灰度变换后的目标区域图片。
图6为本发明均衡化处理后的目标区图片。
图7为本发明检测算法计数后标记的图片。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
子宫内膜腺体密度预估方法，如图1-2所示，所述方法包括如下步骤，
步骤1：将标注的宫腔镜图片输入到训练检测网络进行训练，获取腺体图像特征。将输入图像的尺寸设置为416*416*3，图像上的腺体进行人工标识，然后提取特征值，然后把提取的值与人工标识后再进行二次识别。接着，通过特征提取网络对其提取特征。
训练检测网络从ImageNet数据集中选取样本对，从一视频的帧中提取目标图像，其中目标图像的尺寸为127*127*3。将目标图像输入到模板匹配网络对应的子网，以获得目标特征层。
步骤2：医生将医疗仪器探头放入子宫内获取子宫内膜视频数据，根据医疗仪器探头移动速度截取宫腔镜图片。宫腔镜图片为正方形图，边长为l，d＞l时获取下一个宫腔镜图片，其中Δt＝t2-t1，d＝Δt*v，v为医疗仪器探头移动在子宫内膜的线速度，Δt为从上一次获取宫腔镜图片到下一次获取宫腔镜图片的时间，t1为上一次获取宫腔镜图片对应帧的时间，t2为下一次获取宫腔镜图片对应帧的时间。
步骤3：将获取的宫腔镜图片进行标准化处理，标准化处理包括将宫腔镜图片统一清晰度处理以及去躁的正则化，并将处理的图像平面化贴图处理。宫腔镜图片统一清晰度处理使用图像增强算法，图像增强算法的结构中包含一个增强器和一个判别器，增强器的输入是低精度图像，输出是高精度图像，判别器输入是真实的高精度图像或图像增强器处理后的图像，将多中心中低精度图像调整到高的精度图像，消除不同图像精度的差异，去躁的正则化的具体过程为使用机器噪声屏蔽算法，机器噪声屏蔽算法的结构包括一个判别器和一个复合生成器，先将多中心分成参考中心和普通中心两种类型，判别器用于判别输入图像是参考中心图像还是普通中心的合成图像，复合生成器通过掩码生成器为普通中心数据添加噪声掩码，然后生成平面坐标轴面，将处理后的图像贴在坐标轴面上，则可以得到前后两个图像的具体为：
di是从上一次获取宫腔镜图片到下一次获取宫腔镜图片的距离，上一次获取宫腔镜图片坐标和时间为(x1,y1)i和t1，下一次获取宫腔镜图片坐标和时间为(x2,y2)i和t2。
步骤4：使用训练网络和匹配网络对宫腔镜图片进行识别获取腺体。如图2所示，从策略选择模块输入相关策略选择参数，将策略选择参数和训练检测网络特征值输入到匹配网络模块，匹配网络模块根据训练检测网络的腺体特征和策略选择参数对图像中的腺体进行识别，然后输出识别后的腺体，并对腺体体积和类别进行标注，类别包括张口腺体和不张口的腺体，统计每张图像中腺体的个数。
策略选择模块选择原理如下式：
f(x)＝max[ω1ci+ω2si+ω3ai+ω4ki]
其中，ci为腺体标准密度，si为患者年龄，ai为检测精度，ki为腺体均值大小，以上四个因素分别被赋予四个相应的参数，其分别是ω1，ω2，ω3和ω4，其可根据具体要求自由设置各自的参数值，具有高度的灵活性和扩展性，将选择侧裂放入到训练检测网络的特征值进行选择，其中分值最高的目标即本策略选择的感兴趣目标，即为初步确定腺体类别。
匹配网络模块包括目标子网和搜索子网，目标子网存取训练检测网络特征，搜索子网对检测图像进行特征提取，目标子网和搜索子网共享相同的权重和偏置，其中，搜索子网采用的是基于瓶颈残差块的内部裁剪单元，内部裁剪单元在块内部裁剪出受填充补零影响的特征，防止卷积滤波器学习位置偏差，其中，残差单元是模板匹配网络的关键模块，其由3个堆叠的卷积层和三层快捷连接组成，这三层快捷连接分别是1*1，3*3和1*1卷积，其中1*1卷积层负责减少然后恢复尺寸，使3*3卷积层成为具有小输入和输出尺寸的瓶颈。
步骤5：将识别后的宫腔镜图片去重叠后进行组合，得到子宫内膜整体图像。通过步骤4获取得到每个图像中腺体的具体图像，然后将相邻的两个图像的前面一个图像的前端部分和后面一个图像的后端重叠部分进行叠合，叠合规则为根据两个图像的实际距离di，然后采集前面一个图像的前端的距离di的腺体图像分布结构和后面一个图像的后端距离di的腺体图像分布结构进行对比，如果相同，则直接将这一部分图像叠合在一起，如果不重合，将距离di逐级变小或者变大进行对比，直到前面一个图像的前端的距离di'的腺体图像分布结构和后面一个图像的后端距离di'的腺体图像分布结构相同时，完成叠合，di'为逐级变小或者变大距离。
步骤6：根据子宫内膜整体图像的大小和子宫内膜整体图像内的腺体个数得到子宫内膜腺体密度。先算出宫内膜整体图像坐标的公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
其中，(cx，cy)表示网格左上角的坐标，(σ(tx)，σ(ty))表示偏移量，均与di'或者di相同，(pw，ph)表示先验框的宽度和高度，(bx,by,bw,bh)表示最终得到边界框的坐标，根据最终得到边界框的坐标算出宫内膜整体图像的大小，然后再统计宫内膜整体图像上的腺体数量，则可以得出平均密度，同时在步骤4中，每个图像识别的腺体数量和图像均保留，一起与平均密度输出，完成密度预估。
得出的密度包括整个子宫内膜的平均腺体密度和单张图像总腺体的密度和数量，同时根据单张图像中的腺体可以知道哪些腺体是活跃的，活跃的腺体体积中间具有发光的闪光点，如图3所示，根据图像像素和图像曝光点即可很好的识别，那些不再代谢的，需要切除。
如图3所示，刚开始使用医疗器械获取的单帧的原始计数图片，为一个圆形结构图，然后经过方形裁剪后得到图4的方形目标区域图片，然后再将图片进行灰度变换后得到图5所示的灰度变换后的目标区域图片，再经过标准化处理后得到如图6所示的均衡化处理后的目标区图片，可以更加清楚看到腺体的体积和区域大小。图7为在计数过程为对腺体标记和后面标记的对比图，通过算法进行标记后，可以清楚的看到腺体的具体个数和大小，同时通过中间的亮度可以识别出是否活跃。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.子宫内膜腺体密度预估方法，其特征在于：所述方法包括如下步骤，
步骤1：将标注的宫腔镜图片输入到训练检测网络进行训练，获取腺体图像特征；
步骤2：医生将医疗仪器探头放入子宫内获取子宫内膜视频数据，根据医疗仪器探头移动速度截取宫腔镜图片；
步骤3：将获取的宫腔镜图片进行标准化处理，标准化处理包括将宫腔镜图片统一清晰度处理以及去躁的正则化，并将处理的图像平面化贴图处理；
步骤4：使用训练网络和匹配网络对宫腔镜图片进行识别获取腺体；
步骤5：将识别后的宫腔镜图片去重叠后进行组合，得到子宫内膜整体图像；
步骤6：根据子宫内膜整体图像的大小和子宫内膜整体图像内的腺体个数得到子宫内膜腺体密度；
步骤2的具体过程为：宫腔镜图片为正方形图，边长为l，d＞l时获取下一个宫腔镜图片，其中Δt＝t2-t1，d＝Δt*v，v为医疗仪器探头移动在子宫内膜的线速度，Δt为从上一次获取宫腔镜图片到下一次获取宫腔镜图片的时间，t1为上一次获取宫腔镜图片对应帧的时间，t2为下一次获取宫腔镜图片对应帧的时间；
步骤3的具体过程为：宫腔镜图片统一清晰度处理使用图像增强算法，图像增强算法的结构中包含一个增强器和一个判别器，增强器的输入是低精度图像，输出是高精度图像，判别器输入是真实的高精度图像或图像增强器处理后的图像，将多中心中低精度图像调整到高的精度图像，消除不同图像精度的差异，去躁的正则化的具体过程为使用机器噪声屏蔽算法，机器噪声屏蔽算法的结构包括一个判别器和一个复合生成器，先将多中心分成参考中心和普通中心两种类型，判别器用于判别输入图像是参考中心图像还是普通中心的合成图像，复合生成器通过掩码生成器为普通中心数据添加噪声掩码，然后生成平面坐标轴面，将处理后的图像贴在坐标轴面上，则可以得到前后两个图像的具体为：
di是从上一次获取宫腔镜图片到下一次获取宫腔镜图片的距离，上一次获取宫腔镜图片坐标和时间为(x1,y1)i和t1，下一次获取宫腔镜图片坐标和时间为(x2,y2)i和t2。
2.根据权利要求1所述的子宫内膜腺体密度预估方法，其特征在于：步骤4的具体过程为，从策略选择模块输入相关策略选择参数，将策略选择参数和训练检测网络特征值输入到匹配网络模块，匹配网络模块根据训练检测网络的腺体特征和策略选择参数对图像中的腺体进行识别，然后输出识别后的腺体，并对腺体体积和类别进行标注，类别包括张口腺体和不张口的腺体，统计每张图像中腺体的个数。
3.根据权利要求2所述的子宫内膜腺体密度预估方法，其特征在于：策略选择模块选择原理如下式：
f(x)＝max[ω1ci+ω2si+ω3ai+ω4ki]
其中，ci为腺体标准密度，si为患者年龄，ai为检测精度，ki为腺体均值大小，以上四个因素分别被赋予四个相应的参数，其分别是ω1，ω2，ω3和ω4，其可根据具体要求自由设置各自的参数值，具有高度的灵活性和扩展性，将选择侧裂放入到训练检测网络的特征值进行选择，其中分值最高的目标即本策略选择的感兴趣目标，即为初步确定腺体类别。
4.根据权利要求2所述的子宫内膜腺体密度预估方法，其特征在于：匹配网络模块包括目标子网和搜索子网，目标子网存取训练检测网络特征，搜索子网对检测图像进行特征提取，目标子网和搜索子网共享相同的权重和偏置，其中，搜索子网采用的是基于瓶颈残差块的内部裁剪单元，内部裁剪单元在块内部裁剪出受填充补零影响的特征，防止卷积滤波器学习位置偏差，其中，残差单元是模板匹配网络的关键模块，其由3个堆叠的卷积层和三层快捷连接组成，这三层快捷连接分别是1*1，3*3和1*1卷积，其中1*1卷积层负责减少然后恢复尺寸，使3*3卷积层成为具有小输入和输出尺寸的瓶颈。
5.根据权利要求4所述的子宫内膜腺体密度预估方法，其特征在于：步骤5的具体过程为：通过步骤4获取得到每个图像中腺体的具体图像，然后将相邻的两个图像的前面一个图像的前端部分和后面一个图像的后端重叠部分进行叠合，叠合规则为根据两个图像的实际距离di，然后采集前面一个图像的前端的距离di的腺体图像分布结构和后面一个图像的后端距离di的腺体图像分布结构进行对比，如果相同，则直接将这一部分图像叠合在一起，如果不重合，将距离di逐级变小或者变大进行对比，直到前面一个图像的前端的距离di'的腺体图像分布结构和后面一个图像的后端距离di'的腺体图像分布结构相同时，完成叠合，di'为逐级变小或者变大距离。
6.根据权利要求5所述的子宫内膜腺体密度预估方法，其特征在于：步骤6的具体过程为：先算出宫内膜整体图像坐标的公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
其中，(cx，cy)表示网格左上角的坐标，(σ(tx)，σ(ty))表示偏移量，均与di'或者di相同，(pw，ph)表示先验框的宽度和高度，(bx,by,bw,bh)表示最终得到边界框的坐标，根据最终得到边界框的坐标算出宫内膜整体图像的大小，然后再统计宫内膜整体图像上的腺体数量，则可以得出平均密度，同时在步骤4中，每个图像识别的腺体数量和图像均保留，一起与平均密度输出，完成密度预估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110299344.7A CN113034460B (zh) | 2021-03-21 | 2021-03-21 | 子宫内膜腺体密度预估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110299344.7A CN113034460B (zh) | 2021-03-21 | 2021-03-21 | 子宫内膜腺体密度预估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113034460A CN113034460A (zh) | 2021-06-25 |
| CN113034460B true CN113034460B (zh) | 2022-09-09 |
Family
ID=76472267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110299344.7A Active CN113034460B (zh) | 2021-03-21 | 2021-03-21 | 子宫内膜腺体密度预估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034460B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106535738A (zh) * | 2014-04-01 | 2017-03-22 | 弗迪格医疗有限公司 | 用于持续感测子宫的监控系统 |
| CN110647889A (zh) * | 2019-08-26 | 2020-01-03 | 中国科学院深圳先进技术研究院 | 医学图像识别方法、医学图像识别装置、终端设备及介质 |
| CN111344801A (zh) * | 2017-11-22 | 2020-06-26 | 通用电气公司 | 针对前列腺癌的多模态计算机辅助诊断系统和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100158332A1 (en) * | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
| CA2807144C (en) * | 2010-07-30 | 2019-05-28 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
-
2021
- 2021-03-21 CN CN202110299344.7A patent/CN113034460B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106535738A (zh) * | 2014-04-01 | 2017-03-22 | 弗迪格医疗有限公司 | 用于持续感测子宫的监控系统 |
| CN111344801A (zh) * | 2017-11-22 | 2020-06-26 | 通用电气公司 | 针对前列腺癌的多模态计算机辅助诊断系统和方法 |
| CN110647889A (zh) * | 2019-08-26 | 2020-01-03 | 中国科学院深圳先进技术研究院 | 医学图像识别方法、医学图像识别装置、终端设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于形态学重构的宫腔镜下子宫内膜腺体开口标记算法;杨淼等;《北京生物医学工程》;20151031(第05期);第468、469页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113034460A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898160B (zh) | 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法 | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN109190540A (zh) | 活检区域预测方法、图像识别方法、装置和存储介质 | |
| CN112967285B (zh) | 一种基于深度学习的黄褐斑图像识别方法、系统和装置 | |
| CN109815888B (zh) | 一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法 | |
| CN107895364B (zh) | 一种用于虚拟手术术前规划的三维重建系统 | |
| CN109636805A (zh) | 一种基于分类先验的宫颈图像病变区域分割装置及方法 | |
| CN109035283A (zh) | 一种基于随机选取分区的肺气肿精准检测与量化分析方法 | |
| CN113469987A (zh) | 基于深度学习的牙科x射线图像病变区域定位系统 | |
| CN112215799A (zh) | 一种磨玻璃肺结节自动分类方法及系统 | |
| CN110710986B (zh) | 一种基于ct图像的脑部动静脉畸形检测方法及检测系统 | |
| CN114627067A (zh) | 一种基于图像处理的伤口面积测量及辅助诊疗方法 | |
| CN111260669A (zh) | 基于ct图像的肺叶分割方法和装置 | |
| CN113034460B (zh) | 子宫内膜腺体密度预估方法 | |
| CN104751438B (zh) | 用于交互地对医学三维图像配准的方法和设备 | |
| Tang et al. | MRI image segmentation system of uterine fibroids based on AR-Unet network | |
| WO2018098697A1 (zh) | 一种影像特征的可重复性测量方法及装置 | |
| CN118521788A (zh) | 基于深度学习的cbct图像空腔区域分割方法及系统 | |
| CN112017772A (zh) | 一种基于妇女白带的疾病认知模型构建方法及系统 | |
| Shariaty et al. | Severity and progression quantification of covid-19 in ct images: a new deep-learning approach | |
| CN112598669B (zh) | 一种基于数字人技术的肺叶分割方法 | |
| CN115187577A (zh) | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统 | |
| CN113255718B (zh) | 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法 | |
| CN111768845B (zh) | 一种基于最优多尺度感知的肺结节辅助检测方法 | |
| CN115222675A (zh) | 一种基于深度学习的子宫肌瘤自动分型方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |