[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107997778A - 在计算机断层扫描血管造影术中基于深度学习的骨移除 - Google Patents

在计算机断层扫描血管造影术中基于深度学习的骨移除 Download PDF

Info

Publication number
CN107997778A
CN107997778A CN201711095858.0A CN201711095858A CN107997778A CN 107997778 A CN107997778 A CN 107997778A CN 201711095858 A CN201711095858 A CN 201711095858A CN 107997778 A CN107997778 A CN 107997778A
Authority
CN
China
Prior art keywords
bone
medical images
voxels
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711095858.0A
Other languages
English (en)
Other versions
CN107997778B (zh
Inventor
陈明卿
金兌洙
J.克雷奇默
S.赛费尔特
周少华
M.舍宾格
刘大维
徐宙冰
S.格尔比克
张赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107997778A publication Critical patent/CN107997778A/zh
Application granted granted Critical
Publication of CN107997778B publication Critical patent/CN107997778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5252—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data removing objects from field of view, e.g. removing patient table from a CT image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了一种用于在诸如计算机断层扫描血管造影术（CTA）体积之类的医学图像中基于深度学习的自动骨移除的方法和设备。通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来在患者的3D医学图像中分割骨结构。通过从3D医学图像的3D可视化中移除被分类为骨体素的体素来生成3D医学图像中的非骨结构的3D可视化。

Description

在计算机断层扫描血管造影术中基于深度学习的骨移除
本申请要求2016年10月31日提交的美国临时申请号 62/415,075的权益，该申请的公开内容通过引用合并于此。
背景技术
本发明涉及医学图像数据中的骨分割和移除，并且更具体地，涉及从3D计算机断层扫描血管造影术图像中自动移除骨体素，以便使3D计算机断层扫描血管造影术图像中的血管可视化。
计算机断层扫描血管造影术（CTA）中的骨分割和移除是重要的临床应用。CTA是一种医学成像技术，通常用于可视化患者体内的血管。计算机断层扫描（CT）组合从不同角度拍摄的一系列X射线图像，并且使用计算机处理来创建体内的骨、血管和软组织的横截面图像或切片。横截面图像或切片可以组合以生成3D CT体积。在CTA中，在CT成像之前将造影剂注射到患者的血流中，以便生成使患者血管可视化的对比度增强的CT图像。可以使用体积再现技术（VRT）来使CTA体积可视化，使得临床医生能够看到3D血管结构和诸如狭窄和动脉瘤之类的病状。骨移除的目标是从CTA体积中分割和移除骨体素，以产生仅血管的视图，这提供了CTA体积中的血管结构的无阻碍的3D视图。
在CTA图像中，在骨和对比度增强的血管的分布之间存在重叠的强度。这是骨和对比度增强血管在CTA图像中以类似的强度出现。因此，骨可能是使用CTA可视化和分析血管树、动脉瘤和钙化的主要障碍，并且期望从CTA图像中移除骨结构，以便实现血管的更好的可视化。在过去，已经使用手动编辑技术来从图像数据中提取和移除骨结构。然而，手动编辑所需的乏味和长久的操作时间抑制它的实际使用。此外，由于图像数据中的图像分辨率和噪声，具有重叠强度分布的骨和血管通常看起来是连接的，这在从图像数据中自动分割和移除骨结构方面产生了重大挑战。
由于许多骨质和血管结构在形状和对比度上具有类似图案的事实而导致CTA体积中的自动骨移除是有挑战性的任务。以前的方法通常可以分类为自上而下和自下而上的方法。自上而下的方法包括统计形状模型和基于图像图集的方法。这些方法通常需要关于身体区域或界标位置的清楚的初始信息，这使得它们难以应用于各种视场（FOV）。在自下而上的类别中，为非对比扫描设计了许多方法，包括区域生长和超体素方法。然而，在CTA体积中，造影剂的存在增强了血管强度，并显著增加了问题的复杂性，并且这种方法由于骨和非骨区域的弱梯度和高度相似的外观而导致难以区分CTA体积中的一些区域（例如，锁骨下）中的骨和非骨区域。
发明内容
本发明提供了一种用于在计算机断层扫描血管造影术（CTA）图像中基于深度学习的骨移除的方法和系统。
在本发明的实施例中，通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨或非骨体素，来在患者的3D医学图像中分割骨结构。通过从3D医学图像的3D可视化中移除分类为骨体素的体素来生成3D医学图像中的非骨结构的3D可视化。
通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员将是显而易见的。
附图说明
图1图示了使用各种技术的计算机断层扫描血管造影术（CTA）体积的示例性骨分割结果；
图2图示了根据本发明实施例的CTA图像中基于深度学习的骨移除的方法；
图3图示了根据本发明实施例的BRNet网络架构；
图4图示了根据本发明实施例的BRDecompNet架构；
图5图示了用于骨分割的PBT、BRNet、BRDecompNet分类器的接收器操作特性（ROC）比较；
图6图示了使用PBT分类器和BRDecompNet深度CNN分类器生成的概率图的比较；
图7图示了根据本发明实施例的BRFGNet网络架构；
图8图示了用于对1D数据卷积的存储器分配的示例；
图9图示了深度卷积编码器-解码器（CED）的示例性架构；
图10图示了根据本发明实施例的使用深度图像到图像网络（DI2IN）和多任务学习（MTL）的在CTA体积中骨移除的方法；
图11A和图11B分别图示了用于2D DI2IN和3D MTL DI2IN的示例性网络架构；
图12图示了用于使用不同的DI2IN实验设置来测试数据的3D DI2IN学习曲线的比较；
图13图示了使用基于单任务学习的DI2IN和基于MTL的DI2IN从骨分割得到的轴向CTA切片的概率图的比较；
图14图示了从在CTA体积中执行骨移除得到的非骨结构的3D可视化的示例性结果；
图15图示了根据本发明实施例的在CTA体积中联合骨移除和血管复原的方法；
图16图示了金字塔场景解析（PSP）模块的示例性结构；以及
图17是能够实现本发明的计算机的高级框图。
具体实施方式
本发明涉及一种用于在计算机断层扫描血管造影术（CTA）图像中基于深度学习的骨移除的方法和系统。本文描述了本发明的实施例以给出对基于深度学习的骨移除方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。本文通常在识别和操纵对象方面描述对象的数字表示。这种操纵是在计算机系统的存储器或其他电路/硬件中实现的虚拟操纵。因此，应当理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
由于许多骨质和血管结构具有形状和对比度的类似图案的事实而导致CTA图像中对骨的自动移除是挑战性的任务。诸如靠近颅底的血管或靠近脊柱的主动脉的一部分之类的骨和血管的紧密接近进一步使自动骨分割和移除复杂化。一种用于CTA中的骨移除的现有技术应用层级分水岭变换作为基于支持向量机（SVM）的自动方法和交互式编辑步骤二者的准备阶段。虽然分水岭实现方案的自动处理时间快（对于100个体积的测试数据集平均为20秒），但对于大量的情况，质量不能令人满意。图1图示了使用各种技术的CTA体积的示例性骨分割结果。如图1中所示，图像100示出了使用体积再现技术（VRT）可视化的原始CTA体积的3D可视化。图像110示出了使用基于SVM的分水岭算法对CTA体积100执行骨移除的结果。如图像110中所示，通过基于SVM的分水岭算法没有成功移除多个肋骨。在CTA中自动骨移除的另一现有技术将组合的随机移动强度差（RSID）特征和界标特征馈送到概率提升树（PBT）分类器中。虽然基于PBT的算法相对于基于SVM的分水岭算法达到了总体优越的质量水平，但是基于PBT的算法仍然在一些情况中（诸如在胸腹区域中）存在问题。图1的图像120示出了使用基于PBT的算法对CTA体积100执行骨移除的结果。如图像120中所示，缺少肾脏，并且使用基于PBT的算法没有移除肋骨。
本发明的实施例提供了一种用于CTA图像中的骨分类/分割和移除的基于深度学习的方法。与上述现有的基于计算机的骨移除技术相比，本文所述的基于深度学习的骨移除实现了改善的识别质量。图1的图像130示出了根据本发明的实施例的对CTA体积100执行基于深度学习的骨移除的结果。如图像130中所示，与使用现有方法实现的结果110和120相比，使用本发明的基于深度学习的方法的骨移除结果被显著改善。本发明的实施例还提供了用于使基于深度学习的骨分类的速度在中央处理单元（CPU）上达到与现有技术类似的性能的各种方法。
图2图示了根据本发明实施例的在CTA图像中基于深度学习的骨移除的方法。图2的方法包括训练阶段200和在线骨移除阶段210。包括步骤202-206的训练阶段200被离线执行以训练用于骨分割/分类的深度神经网络（DNN）。包括步骤212-216的在线骨移除阶段210使用从训练阶段200产生的训练的DNN对新接收的CTA体积执行骨移除。一旦在训练阶段200中训练了用于骨分割/分类的DNN，就可以对每个新接收的CTA图像重复在线骨移除阶段210，以使用经训练的DNN对每个新接收的输入CTA图像执行骨移除。
在步骤202，接收训练体积。训练体积可以是具有注释的骨结构的3D医学图像体积。在有益的实现方案中，训练体积是具有注释的骨结构的CTA体积。例如，骨结构可以由专家手动注释。可以通过从数据库加载存储的训练体积来接收训练体积。
在步骤204，从训练体积中的每一个提取训练样本。将强度阈值设定应用于每个训练体积以找到具有高于特定强度阈值的强度的体素。例如，强度阈值为123亨氏单位（HU），这是由体积再现技术（VRT）的传递函数给出的强度。对于每个训练体积，随机采样高于强度阈值的阳性（骨）和阴性（非骨）体素。在示例性实现方案中，从每个训练体积随机采样高于强度阈值的2000个阳性和阴性体素，但是本发明不限于此。通过提取围绕体素的图像块来针对被采样的阳性和阴性体素中的每一个生成训练样本。在有益的实现方案中，针对每个训练样本提取19×19×19的图像块。
在步骤206，基于训练样本来训练用于骨分割的深度神经网络（DNN）。DNN被训练为通过将医学图像中的体素分类为阳性（骨）或阴性（非骨）来分割医学图像（例如，CTA图像）中的骨结构。根据有益的实施例，可以基于训练样本来针对骨分割训练深度卷积神经网络（CNN）。
近年来，深度CNN在图像分类和其他计算机视觉任务方面享有巨大的成功。然而，应用CNN的主要关注点在于所涉及的高成本的计算。利用现代图形处理单元（GPU），CNN在计算机视觉领域中已经成为处理2D RGB或灰度图像的商品。然而，在医学成像领域，特别是对于基于中央处理单元（CPU）的环境，需要高效实现3D卷积。本文描述的本发明的实施例提供了在运行时间和存储器消耗两个方面达到与现有的基于PBT的解决方案类似性能的深度CNN，同时提供了优异的分类精度。在本发明的有益实施例中，分解的卷积神经网络（本文称为“BRDecompNet”）被训练并用于执行骨分割。BRDecompNet在运行时间和存储器消耗两个方面达到与现有的基于PBT的解决方案类似的性能，同时提供了优异的分类精度。首先描述深度卷积网络（本文称为“BRNet”），然后是BRDecompNet，它是BRNet的分解版本。
BRNet
卷积网络通常涉及卷积和非线性映射以及可能的下采样和去卷积的多层堆叠。代表性能力受网络的深度和广度控制。虽然更深和更广的网络能够具有更大的代表性能力，但是这样的网络需要计算昂贵的前馈操作。根据本发明的有益实施例，本发明人已经开发了BRNet网络架构，以实现复杂度和效率之间的平衡。
图3图示了根据本发明实施例的BRNet网络架构300。如图3中所示，BRNet 300包括输入CTA图像的19×19×19图像块的输入层（“input_1”）。BRNet 300还包括五个卷积层（“conv1”、“conv2”、“conv3”、“conv4”和“conv5”）。conv1、conv2、conv4和conv5中的每一个包括8个特征图（feature map），每个特征图对图像应用5×5×5过滤器。Conv3是最重的层，它使用具有7 x 7 x 7过滤器的16个特征图。每个卷积层之后是修正线性单元（ReLu）非线性过滤器。在conv5之后使用softmax层。在图3的BRNet网络300中没有下采样或上采样。
使用从训练体积中提取的训练样本来训练BRNet深度CNN。在训练期间可以使用交叉熵损失。梯度下降和反向传播可以用于找到使所有训练样本上网络的交叉熵损失最小化的BRNet层的权重。在本发明人的示例性实现方案中，使用48个训练体积来训练BRNet深度CNN。从每个训练体积采样高于强度阈值123 HU的2000个阳性和阴性体素，并且针对每个训练样本提取19×19×19的图像块，这是图3的网络300的输入大小。与现有的基于PBT的方法相比，BRNet导致精度被改善，如在下面讨论的图5中所示。然而，在本发明人执行的测试中，与现有的基于PBT的方法和现有的基于SVM的分水岭方法相比，BRNet需要更长的运行时间。
BRDecompNet：BRNet的分解版本
在有益的实施例中，可以针对骨分割训练BRNet的分解版本（本文称为“BRDecompNet”）。3D卷积非常慢。根据有益的实施例，BRNet中的卷积层可以被分解成分别针对每个维度执行卷积的3个轻加权卷积层。例如，BRNet的conv3需要利用8×7×7×7 4D核的16次卷积。在BRDecompNet架构中，该重卷积由3个轻的轻权重卷积层代替，它们分别由16×8×7×1×1、16×16×1×7×1和16×16×1×7组成。这减少了加权的次数以及从43904到4480所需的乘法运算的次数（为简单起见，不计算偏差（bias））。不失一般性，使Np表示前一层中的特征图的数目。Nc表示当前层中的特征图的数目。假设原始网络的核大小为Nx、Ny、Nz。这样的卷积层需要NcNpNxNyNz个加权以及乘法运算。对于分解的模块，如果Np被应用于分解的层中的每一个，则加权的数目是（NcNpNx+ NpNpNy+ NpNpNz），这通常导致少一个数量级的加权和乘法运算。以下，该方法用于分解卷积层，BRNet被分解成BRDecompNet。
图4图示了根据本发明实施例的BRDecompNet架构400。如图4的BRDecompNet架构400中所示，来自BRNet的conv1、conv2、conv3和conv4均被分解成3个轻权重的卷积层，该3个轻权重的卷积层执行针对每个维度的卷积。具体地，图3的BRNet架构300中的conv1被分解成图4的BRDecompNet架构400中的conv1a、conv1b和conv1c。图3的BRNet架构300中的Conv2被分解成图4的BRDecompNet架构400中的conv2a、conv2b和conv2c。图3的BRNet架构300中的Conv3被分解成图4的BRDecompNet架构400中的conv3a、conv3b和conv3c。图3的BRNet架构300中的Conv4被分解成图4的BRDecompNet架构400中的conv4a、conv4b和conv4c。Conv5在BRDecompNet架构500中保持不变，从而产生了总共13个卷积层。Conv5之后是平坦化层（“flatten_1”）和密集层（“dense_1”），平坦化层（“flatten_1”）将conv5的输出平坦化为1D特征向量，密集层（“dense_1”）输出分类结果，分类结果将体素分类为阳性（骨）或阴性（非骨）。
使用从训练体积提取的训练样本以类似于BRNet网络的方式训练BRDecompNet深度CNN。在训练期间可以使用交叉熵损失。梯度下降和反向传播可以用于找到BRDecompNet层的权重，该权重最小化所有训练样本上的网络的交叉熵损失。在示例性实现方案中，为了评估目的，将与BRNet相同的训练和测试数据集用于BRDecompNet。在另一示例性实现方案中，最终的BRDecompNet版本是基于具有84个体积的训练集被训练的，其中分别从每个训练体积提取8000个阳性和阴性样本。与BRNet相比，BRDecompNet实现了在计算时间上的约80%的减少。
在本发明人执行的测试中，与现有的基于PBT的解决方案的93.2%的分类精度相比，BRDecompNet实现了在包括20个胸腹案例的测试数据集上针对骨分割的98.5%的分类精度。从使用BRDecompNet在100+被测试的未曾经历的（unseen）体积上的骨移除得到的最终VRT视图的评估也证明了比现有的基于SVM的分水岭方法和现有的基于PBT的方法二者具有更好的质量。图5图示了用于骨分割的PBT、BRNet、BRDecompNet分类器的接收器操作特性（ROC）比较。图5示出了针对20个胸腹体积的PBT 502、BRNet 504和BRDecompNet 506的ROC曲线，对应的概率阈值范围为0.1至0.9。作为一个示例，对PBT应用0.5的概率阈值导致约1%的假阳性率和81%的真阳性率，而对BRDecompNet的相同概率阈值则导致约1%的假阳性率和98%的真阳性率。图6图示了使用PBT分类器和BRDecompNet深度CNN分类器生成的概率图的比较。如图6中所示，图像600是作为地面真值的与注释掩模602重叠的原始CTA图像，图像610是从使用训练的PBT分类器的骨分割得到的概率图，并且图像620是从使用训练的BRDecompNet深度CNN分类器的骨分割得到的概率图。如图6中能够观察到的，从使用PBT的骨分割得到的概率图610包括肾动脉和肾脏中的许多假阳性，而在从使用BRDecompNet的骨分割得到的概率图620中，假阳性很大程度上不存在。
与现有的基于PBT的方法相比，使用BRDecompNet的骨分割和移除提高了分类精度。本文描述了本发明的各种实施例，其使得BRDecompNet在运行时间和存储器消耗二者方面都达到与现有的PBT解决方案类似的性能。表1示出了在100+个未曾经历的测试体积上的现有的基于PBT的骨移除与基于BRDecompNet深度学习的骨移植的运行时间和存储器消耗的比较。
表1
BRFGNet：BRNet的过滤分组版本
在另一可能的实施例中，可以针对基于深度学习的骨分割和移除来训练BRNet的过滤分组版本，在本文中称为“BRFGNet”。使用BRFGNet的动机是通过仅与前一层中的特征图的子集进行卷积来减少网络大小。图7图示了根据本发明实施例的BRFGNet的网络架构700。如图7中所示，在BRFGNet架构700中，图3的BRNet架构300中的conv1、conv2和conv3均被被分成四组，并且图3的BRNet架构300中的conv4被分成两组。具体地，在BRFGNet架构700中，conv1被分成“conv1g1”、“conv1g2”、“conv1g3”和“conv1g4”。在BRFGNet架构700中，Conv2被分成“conv2g1”、“conv2g2”、“conv2g3”和“conv2g4”。在BRFGNet架构700中，Conv3被分成“conv3g1”、“conv3g2”、“conv3g3”和“conv3g4”。在BRFGNet架构700中，Conv4被分成“conv4g1”和“conv4g2”。在conv4g1和conv4g2之前存在两个合并运算（“merge_1”和“merge_2”）以将四个输出特征向量合并成两个。conv5之前的另一合并算子（“merge_3”）将两个输出特征向量合并成一个。可以训练过滤器分组网络的多个方差，包括使用分解特征的那些网络。
返回到图2，一旦在步骤206中训练DNN（例如，BRDecompNet、BRNet、BRFGNet），就将经训练的DNN存储在例如计算机系统的存储器或存储设备上，并且然后可以在在线骨移除阶段210中用于在新接收的CTA体积中分割骨结构。在线骨移除阶段210包括步骤212-216。
在步骤212，接收患者的CTA体积。CTA体积可以是患者身体的特定区域的CTA体积，或者可以是使用对患者的全身扫描获取的全身CTA体积。可以从CT扫描器直接接收患者的CTA体积，或者可以通过加载先前存储在计算机系统的存储器或存储装置上的CTA体积或经由网络传输从另一计算机系统接收CTA体积来接收患者的CTA体积。
虽然在图2的方法中接收CTA图像并且对CTA体积执行骨移除，但是本发明不限于CTA体积，并且图2的方法还可以类似地应用于其他类型的医学图像/体积。例如，图2的方法可以类似地对使用各种成像模态获取的患者的3D或2D医学图像数据执行，各种成像模态诸如是计算机断层扫描（CT）、组合正电子发射断层扫描（PET）-CT、如磁共振成像（MRI）、超声等。
在步骤214，使用经训练的深度神经网络（DNN）在CTA体积中分割骨结构。如上所述，经训练的DNN可以是针对骨分割训练的深度CNN。在有益的实施例中，经训练的BRDecompNet深度CNN用于在CTA体积中分割骨结构。在其他可能的实施例中，BRNet深度CNN或BRFGNet深度CNN可以用于骨分割。经训练的深度神经网络（例如BRDecompNet）通过将CTA图像中的体素分类为骨体素（阳性）或非骨体素（阴性）来分割CTA体积中的骨结构。在可能的实现方案中，对于CTA体积中的给定体素，经训练的DNN输入该体素周围的预定大小的图像块，并且输出针对该体素的分类结果（即，骨或非骨）。图像块的大小对应于经训练的DNN架构中的输入层的大小。在示例性实现方案中，可以将大小为19×19×19个体素的图像块输入到经训练的DNN，但是本发明不限于此。
在示例性实施例中，可以使用C ++实现方案来执行由经训练的DNN进行的分割。本文提供的用于由经训练的DNN实现基于深度学习的骨分割的各种实施例改善了基于深度学习的分割的速度和存储器使用。在有益的实现方案中，执行端对端卷积。在训练BRDecompNet期间，训练体积按照19×19×19的图像块被采样。然而，如果在在线骨移除阶段期间使用逐块卷积，则在接近样本上存在许多不必要的重复卷积。因此，在有益的实现方案中，代替重复输入针对各个体素的图像块分类结果和利用卷积运算具有空间特性的事实，经训练的DNN可以执行端对端卷积，其中经训练的DNN的每一层计算针对要被分类的所有体素的特征图，并且经训练的DNN输出提供所有体素的分类结果的概率图或掩模。
在另一有益的实现方案中，对被掩蔽的体素执行卷积。对于CTA骨移除，不需要所有的体素进行分类，因为具有低于123 HU的强度的体素被跳过再现。因此，在有益的实现方案中，仅需要针对具有高于123 HU的强度的体素计算卷积。在该情况下，可以在应用经训练的DNN之前在CTA体积中执行基于强度的阈值设定。这允许经训练的DNN仅考虑强度高于强度阈值（例如，123 HU）的足够亮的体素。该强度阈值设定产生经阈值设定的掩模。给定19×19×19的BRDecompNet的接受域，对经阈值设定的掩模执行19×19×19核的扩大。通常，整个CTA体积的体素仅大约6%具有高于123 HU的强度。通过执行扩大，通过执行对被掩蔽的体素的卷积来实现40%的速度增益。
在另一有益的实现方案中，可以使针对经训练的DNN的存储器分配更连续。对于3D卷积，通常在前馈操作期间使用4D数据张量，其中通道作为附加维度。使用5D卷积核，其中前一层中的特征图的数目以及下一层中的特征图的数目作为附加的两个维度。通常，4D数据张量按照CZYX的顺序被存储，其中核张量按照NCZYX被存储，其中N和C分别是下一层和前一层中特征图的数目。在卷积期间，因为存储器访问在通道中不连续，所以该顺序可能会导致速度降低。为了简单起见，图8图示了用于对1D数据卷积的存储器分配的示例。这里，顺序CX用于数据张量，并且NCX用于核张量。在图8中可以看到，为了执行一次卷积运算，存储器需要每Nx时隙进行跳跃，以访问下一特征图（FeatureMap 0，FeatureMap 1，FeatureMap 2）中的相同图像索引位置（0，1，2，3，...），其中Nx是特征图大小的维度。编译器支持连续的存储器访问。根据有益的实现方案，可以将NCZYX顺序改变为NZYXC，其中对应于相同特征图的所有通道的特征值被一起索引。本发明人通过将NCZYX顺序改变为NZYXC已经观察到高达25%的速度提高，其中对应于相同特征图的所有通道的特征值被一起索引。
在另一有益的实现方案中，可以将2D切片分配给用于卷积的图像矩阵的列而不是3D图像。卷积涉及矩阵乘法MI∙Mk。MI在本文中被称为“图像矩阵”，它是Ns×NcNxNyNz矩阵，其中Ns是列（样本）数，Nc是前一层中的通道数目，并且，Nz、Ny和Nx分别是Z、Y和X中的核维度。在如Caffe的许多公共深度学习库中，Ns通常是图像中的所有样本。对于2D图像，这不是问题。但是对于BRDecompNet，假设对200×160×160体积执行卷积，并且6%的体素高于123 HU，19×19×19扩大后需要经过卷积的体素的数目是30%。因此，对于第二1×5×1卷积层，存储一个特征MI所需要的存储器是200×160×160×0.3×8×1×5×1×4 = 246MB（在无掩蔽的情况下，其为819MB）。对于未分解的BRNet，它是200×160×160×0.3×8×5×5×5×4 = 6GB（在没有掩蔽的情况下为20 GB）。这些存储器需求可能过大而不实际，因为这只是前一层，并且还需要第二缓冲器来存储下一层。替代地，在有益的实现方案中，逐切片分配MI，这大大减小了Ns。因此，本实施例提供了用于3D体积医学图像数据的特殊处理，以便减少3D体积医学图像数据的卷积所需求的存储器消耗。
在另一有益的实现方案中，可以使用诸如集成性能基元（IPP）和数学核库（MKL）之类的库。诸如IPP和MKL之类的库提供用于在低级向量化情况下的矩阵乘法的优化功能和单指令多数据（SIMD）指令。使用IPP或MKL功能以及连续的NZYXC存储器排序提供了使用经训练的DNN的分割速度方面40%的增加。
返回图2，在步骤216，执行CTA体积中的骨移除，并且可视化CTA体积中的非骨结构。使用VRT来生成CTA体积的3D可视化。从CTA体积的3D可视化中移除分割的骨结构。通过将CTA图像中分类为骨体素的体素的强度设置为零，可以从CTA体积的3D可视化中移除骨结构。一旦骨结构被移除，CTA图像的3D可视化就提供CTA图像中的非骨结构（例如，血管结构）的3D可视化。可以例如在计算机系统的显示设备上显示CTA图像中的非骨结构的3D可视化。图1的图像130示出了根据本发明实施例的、从使用BRDecompNet深度CNN对CTA体积100执行基于深度学习的骨移除得到的非骨结构的3D VRT可视化。
在结合图2的方法描述的实施例中，经训练的DNN是深度CNN（如BRNet、BRDecompNet）。在替代实施例中，用于骨分割的DNN可以通过深度卷积编码器-解码器（CED）的端对端训练来进行训练。图9图示了深度CED的示例性架构900。深度CED 900和上述BRNet/BRDecompNet架构之间的两个主要区别是：（1）深度CED 900中的下采样和上采样层显著增加接受域，从而可以使用更多的情境信息；以及（2）深度CED 900以图像到图像的方式被训练，使得不需要对样本子集进行随机采样。
具有多任务学习的深度图像到图像网络
在本发明的另一实施例中，使用多任务学习（MTL）训练的深度图像到图像网络（DI2IN）可以用于执行在CTA体积中的骨分割和骨移除。经训练的DI2IN（在下面更详细地描述）可以用作图2的方法中的经训练的DNN。在可能的实现方案中，由经训练的DI2IN生成的骨掩模可以自身用于执行在图12的步骤216中的骨移除。在另一可能的实现方案中，由经训练的DI2IN生成的骨掩模可以主动脉掩模和血管掩模一起用于使用图10中所示的方法来生成用于骨移除的最终掩模。
图10图示了根据本发明实施例的使用DI2IN和MTL在CTA体积中骨移除的方法。如图10中所示，接收输入图像1002。在示例性实施例中，输入图像1002是CTA体积。输入的CTA体积1002可以从图像获取设备（即，CT扫描器）直接接收或者可以通过加载先前获取的CTA体积来接收。在3D体积再现的颜色映射中，仅显示具有高于特定强度阈值τ的强度的体素。对于给定的CTA体积，图10的方法仅需要确定体素的标签，其中。因此，在应用DI2IN之前，可以应用强度阈值设定以移除强度小于强度阈值τ（例如，τ=123 HU）的体素。再次参考图10，使用MTL训练的DI2IN用于在输入图像1002中执行骨分割1004和界标检测1006。在下面更详细地描述DI2IN、MTL、骨分割1004和界标检测1006。骨分割1004产生骨掩模1008。界标检测1006产生界标位置1010。骨掩模1008和界标位置1010用于执行基于区域生长的主动脉分割1012和血管跟踪1014。基于区域生长的主动脉分割1012产生主动脉掩模1016，并且基于区域生长的血管跟踪1014产生血管掩膜1018。然后，基于骨掩模1008、主动脉掩模1016和血管掩模1018执行连接组件（CC）分析1020，以生成用于输入图像中的骨移除的最终掩模1022。在2015年5月4日提交的并且标题为“Method and System forWhole Body Bone Removal and Vascular Visualization in Medical Image Data”的美国公开号2016/0328855中更详细地描述了执行基于区域生长的分割/血管生长和用于生成最终掩模的CC分析的方法，其公开内容全部通过引用并入本文中。
在CT（A）体积中，3D卷积核与2D对应物相比具有利用更多情境信息的优点。然而，因为没有经历数百万个示例的预先训练的网络可用，所以3D DI2IN将必须从零开始训练。不足够的训练数据可能导致对这种3D DI2IN的不良泛化（generalization）。在本发明的有益实施例中，使用一个统一网络（DI2IN）来学习骨分割和身体界标检测二者，其中后者是辅助任务，目的在于改善骨分割的主要任务的学习的泛化。应用这种迁移学习/MTL策略的原因包括：（1）两个任务都可以由DI2IN以相同的分辨率（例如，2mm）公式化，其中公共特征被共享；（2）具有注释界标的体积的数目远大于具有注释骨的体积。这使得MTL网络能够经历更多的训练图像；（3）骨形状与身体区域具有很高的相关性。
等式（1）示出了本发明人已经适配到骨分割的应用的一般MTL框架。对于每个任务，存在Nt个训练数据和标签，其中。是的函数，并且由权重向量参数化。求和采用损失函数和权重正则化项。是任务t成本的重要性系数。可以注意到，在本申请中，数据和损失函数二者在任务之间可以是不同的。该特征在处理不同任务和数据集时提供更好的灵活性。
等式（1）可以扩展为：
其中b和r分别用于表示骨分割和界标检测。为了简单起见，等式（2）中省略了正则化项。
DI2IN训练执行输入图像到输出图像的映射的深度神经网络。对于骨分割任务，诸如CTA体积之类的医学图像体积被输入到DI2IN，并且DI2IN输出一图像，在该图像中为每个体素给出概率值以表示是否是骨的可能性。针对最后输出层的负对数可能性损失如下：
其中是正则化项的权重，并且N表示对非零体素数目进行计数的函数。使用掩蔽函数（ψ是二进制阶跃函数）保证了用于训练针对骨分割的DI2IN的反向传播仅针对发生。在测试阶段期间，在DI2IN前馈操作之后，的概率值被设置为零。替代地，也可以被重新格式化为加权函数，以平衡一些身体区域中的骨和血管的偏差分布。
在有益的实现方案中，辅助任务旨在检测8个身体界标：包括隆嵴分叉、左和右肾中心、左和右髋骨、头臂动脉分叉、左颈总动脉和左锁骨下动脉。这些界标存在于身体的不同区域。这些界标首先用于生成具有高斯斑点的热图，高斯斑点以训练图像中界标的位置为中心。从经验确定高斯函数的宽度。为了应对图中阳性界标热值的稀疏性，均方差度量被用作等式（4）中的损失函数，其中是地面真值热图。
图11A和图11B分别图示了2D DI2IN和3D MTL DI2IN的示例性网络架构。如图11B中所示，针对每个任务，3D MTL DI2IN架构1110被分支为两个部分（骨分割和界标检测），其中等式（2）中的和共享公共权重。在迁移和多任务学习二者中，仅这些权重在任务之间共享或迁移。对应于两个任务的两个分支的解码路径仅在最后的非线性层输出方面不同。骨分割的交叉熵损失和界标热图的均方损失分别由Sigmoid和ReLu层处理。来自编码路径中具有相同分辨率的层的快捷连接向解码路径提供本质上高分辨率特征。应当理解，为了简化起见，本文在图11B中，4D张量被显示为3D。图11A示出了用于2D骨分割的DI2IN架构1100。2D DI2IN架构1100具有与深度CED类似的架构，并且可以加载有预先训练的VGG权重。总的来说，2D网络1100具有16 M参数，对应于大约64MB的磁盘大小。3D MTL网络1110具有293K参数并且对应于1.15MB的磁盘大小。
在示例性实现方案中，使用具有骨注释的总共1090个3D CTA体积来训练MTLDI2IN，所述骨注释涵盖各种不同的身体区域、kV范围、视场、重建核、切片厚度、患者年龄和病状。所有这些3D CTA体积具有512 x 512的2D轴向切片尺寸，其中分辨率的范围为从0.4mm至0.7 mm。切片厚度的范围为从0.4mm至5mm。在这些数据中，123个体积以重新采样的2mm分辨率被完全注释，而其余967个体积以原始分辨率在稀疏2D切片中被注释。界标热图复原基于具有2467个3D CT体积的集合，它们全部被重新采样为2mm。骨和界标注释二者由10名医学学生进行，并且至少被两次审查和校正。
在本发明人运行的实验中，数据被随机置乱，并且被分成75%用于训练并且25%用于测试。使用具有12 GB存储器的NVIDIA TitanX GPU执行训练。为了避免3D模型的GPU存储器溢出，当大小大于特定阈值时，被馈送的3D体积被自动裁剪为多个子体积。该训练基于具有CUDA 7.5和cuDNN 5.0支持的Theano框架。
所有定量实验以2mm的分辨率执行。表2示出了不同DI2IN实验设置（包括学习率λ、正则化权重ω和2D/3D配置）的ROC曲线的曲线下区域（AUC）。在表2中，MTL-1和MTL-2表示使用具有不同DI2IN实验设置的基于MTL的3D DI2IN在测试数据中的骨分割的结果。STL-1、STL-2、STL-3和STL-4表示使用具有不同DI2IN实验设置的基于单任务学习（STL）的3DDI2IN的骨分割的结果。2D-t表示使用2D DI2IN的骨分割的结果，使用从VGG-net的迁移学习训练该2D DI2IN，并且2D-s表示使用从零开始训练的2D DI2IN的骨分割的结果。PBT表示使用现有的基于PBT的方法的骨分割的结果。图12图示了用于使用不同的DI2IN实验设置来测试数据的3D DI2IN学习曲线的比较。如图12中所示，图像1200示出了使用的学习速率的STL-1 1202、STL-2 1204和MTL-1 1206的3D DI2IN学习曲线。图像1210示出了使用的学习速率的STL-3 1212、STL-4 1214和MTL-2 1216的3D DI2IN学习曲线。总体而言，示出比稍微更快的收敛，但是精度更频繁地下降。使用ω= 0.01的正则化能够降低精度下降的频率，但是在的实验中，它表现出更剧烈的下降幅度。对于每个学习速率设置，MTL在最终精度和学习曲线的稳定性上都优于STL。对于2D设置，从VGG-Net（2D-t）的迁移学习并不优于从零开始（2D-s）的训练。
表2
图13图示了从使用基于STL的DI2IN和基于MTL的DI2IN的骨分割得到的轴向CTA切片的概率图的比较。如图13中所示，图像1300、1310、1320、1330、1340和1350示出原始轴向CTA切片。图像1302、1312、1322、1332、1342和1352分别示出了在图像1300、1310、1320、1330、1340和1350中使用STL-1的骨分割得到的概率图。图像1304、1314、1324、1334、1344和1354分别示出了从在图像1300、1310、1320、1330、1340和1350中使用MTL-1的骨分割得到的概率图。在概率图中，较白的体素对应于来自最终Sigmoid输出的较高骨概率。在使用STL-1生成的概率图1302、1312、1322、1332、1342和1352中圈出有错误的骨检测区域。值得一提的是，第一列（图像1300、1302和1304）是具有动脉瘤的非常异常的案例。这种动脉瘤在针对STL的训练数据集中不存在。利用MTL，网络能够在经历24倍的训练图像后表现得更好。
有时定量数字可能不真正表示最终用户体验。为了评估临床医生经历的VRT视图中的最终结果，本发明人将所提出的DI2IN框架与两个现有方法（分水岭SVM和PBT）针对329个未曾经历的体积进行比较。两个医学学生在如“血管切口”和“残留骨碎片”等类别中以严重性分数来主观地评估质量。分数范围从0到3，其中0表示完全没有问题，并且3表示非常明显的缺陷。表3示出了具有身体区域细节的严重性评分的直方图。可以看出，分水岭在保持组织完整（例如肾脏）方面表现得好，但是骨残留和血管切口方面失败情况的数目大。在这两个项目中PBT略好，而在其它项目中则性能较差。STL和MTL DI2IN二者都显著优于PBT和分水岭。MTL略好于STL，与定量发现一致。图14图示了从在CTA体积中执行骨移除得到的非骨结构的3D可视化的示例性结果。如图14中所示，图像1400示出了原始CTA体积的3D VRT可视化，图像1410示出了使用基于PBT的方法的骨移除结果的3D VRT可视化，图像1420示出了使用基于SVM+分水岭方法的骨移除结果的3D VRT可视化，并且图像1430示出了使用根据本发明实施例的MTL DI2IN骨分割的骨移除结果的3D VRA可视化。
表3
使用金字塔场景分析（PSP）网络的联合骨移除和血管复原
在本发明的另一实施例中，骨移除与血管复原被联合执行。该实施例解决了由骨分割（骨移除）算法而引起的血管切口问题。具体地，可能极大地影响骨移除结果的一个问题是血管切口的出现。先前的方法使用后处理技术（诸如血管跟踪）来填补这些切口。使用这种后处理方法的一个可能的缺点是整个管道没有被联合优化。本发明的该实施例提供了统一的优化框架，以联合复原血管（跟踪血管）并移除骨结构。
图15图示了根据本发明实施例的CTA体积中的联合骨移除和血管复原的方法。如图15中所示，并且输入体1502被接收。在示例性实施例中，输入图像1502是CTA体积。可以从图像获取设备（即，CT扫描器）直接接收输入的CTA体积1502，或者可以通过加载先前获取的CTA体积来接收输入的CTA体积1502。在使用VRT的3D体积再现中，仅显示具有高于特定强度阈值（例如，132 HU）的强度的体素。因此，可以应用掩蔽/强度阈值设定来在执行骨分割和血管复原之前移除具有小于强度阈值的强度的体素。
再次参考图15，经训练的深度金字塔骨分割网络1504在输入体积1502中执行骨分割，并且经训练的深度金字塔血管复原网络1506在输入体积1502中执行血管复原（即，血管跟踪）。在有益的实施例中，针对骨分割和血管复原训练相应的DNN，用于骨和血管分割二者的相应网络均使用具有结构调整（在DI2IN的解码器部分上的金字塔场景解析（PSP））的深度图像到图像网络（DI2IN）进行训练。关于DI2IN的附加细节在2017年9月12日发布的并且标题为“Deep Image-to-Image Network Learning for Medical Image Analysis”的美国专利号9,760,807中进行了描述，该专利的公开内容通过引用整体并入本文。图16图示了PSP模块1600的示例性结构。如图16中所示，PSP模块1600输入特征图，执行联合操作的金字塔来以粗略到精细的方式捕获输入特征图的情境，对联合的特征进行卷积，并且然后对特征进行上采样和连结。在有益的实现方案中，这种PSP模块被添加在DI2IN架构的解码器部分上。具体地，可以在DI2IN架构的最后卷积层处添加PSP模块。具体来说，在DI2IN架构的特征图像大小与原始图像大小相同的最后卷积层处，联合操作的金字塔用于以粗略到精细的方式捕获特征情境。这些特征被卷积、上采样到原始图像大小并连结。使用这样的长距离和短距离特征集合的整体（ensemble），DI2IN-PSP网络产生了用于骨分割和血管分割二者的更准确的分割结果。
返回图15，经训练的深度金字塔骨分割网络1504在输入体积1502中分割骨结构，从而产生骨掩模1508，并且经训练的深度金字塔血管复原网络1506跟踪输入体积1502中的血管，从而产生血管掩模1510。骨掩模1508和血管掩模1510被集成以生成用于在输入体积1502中执行骨移除的最终掩模1512。在示例性实现方案中，可以基于骨掩模1508和血管掩模1510来执行连接的组件分析，以生成用于输入图像中的骨移除的最终掩模1022。在2015年5月4日提交的并且标题为“Method and System for Whole Body Bone Removal andVascular Visualization in Medical Image Data”的美国公开号2016/0328855中更详细地描述了用于执行这种用于生成最终掩模的连接组件分析的方法，该公开的公开内容通过引用整体并入本文。
本发明人比较使用如下方式在两个数据集上的骨移除结果：现有的基于分水岭+SVM的方法和使用经训练的DI2IN-PSP网络的联合骨移除和血管复原。对以同位素方式重采样的数据集执行该实验。通过仅考虑高于特定阈值（HU=123）的体素来计算度量。基本上，仅骨、血管和一些金属人工制品保持高于该阈值。因此，灵敏度和特异性分别近似描述了骨和血管分割的正确性。该方法以1mm的分辨率对30个头部和颈部CTA体积进行测试。表4说明了使用先前技术（“之前”）和使用利用经训练的DI2IN-PSP网络的联合骨移除和血管复原（“之后”）的头部和颈部数据集中的骨移除结果的精度、灵敏度和特异性。还在25个全身CTA体积上以2mm的分辨率测试了这些方法。表5说明了使用先前技术（“之前”）和使用利用经训练的DI2IN-PSP网络的联合骨移除和血管复原（“之后”）的全身数据集中的骨移除结果的精度、灵敏度和特异性。
表4
表5
用于医学图像中的基于深度学习的骨移除的上述方法可以在使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的计算机上实现。图17中图示了这种计算机的高级框图。计算机1702包含处理器1704，处理器1704通过执行定义整体操作的计算机程序指令来控制计算机1702的这种操作。当期望执行计算机程序指令时，计算机程序指令可以被存储在存储设备1712（例如，磁盘）中并且被加载到存储器1710中。因此，图2、图10和图15的方法步骤可以由存储在存储器1710和/或存储装置1712中的计算机程序指令来定义，并且由执行计算机程序指令的处理器1704来控制。诸如MR扫描设备或CT扫描设备之类的图像获取设备1720可以被连接到计算机1702，以将图像数据输入到计算机1702。能够将图像获取设备1720和计算机1702实现为一个设备。图像获取设备1720和计算机1702还能够通过网络进行无线通信。在可能的实施例中，计算机1702可以相对于图像获取设备1720被远程定位，并且本文描述的方法步骤可以作为服务器或基于云的服务的一部分被执行。在这种情况下，方法步骤可以在单个计算机上执行或在多个联网的计算机之间分布。计算机1702还包括用于经由网络与其他设备通信的一个或多个网络接口1706。计算机1702还包括实现与计算机1702的用户交互的其他输入/输出设备1708（例如，显示器、键盘、鼠标、扬声器、按钮等）。这样的输入/输出设备1708可以结合计算机程序集合被用作用于注释从图像获取设备1720接收的体积的注释工具。本领域技术人员将认识到，实际计算机的实现方案可以还包含其他组件，并且图17是用于说明目的的这种计算机的一些组件的高级表示。
前述具体实施方式应当被理解为在每个方面都是说明性和示例性的而非限制性的，并且本文公开的本发明的范围不是从具体实施方式确定的，而是从根据专利法允许的全部范围解释的权利要求确定的。应当理解，本文示出和描述的实施例仅仅说明本发明的原理，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其它特征组合。

Claims (18)

1.一种用于在患者的3D医学图像中自动骨移除的方法，包括：
通过使用针对骨分割训练的深度神经网络将所述3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构；以及
通过从所述3D医学图像的3D可视化中移除被分类为骨体素的体素来生成所述3D医学图像中的非骨结构的3D可视化。
2.根据权利要求1所述的方法，其中，所述患者的3D医学图像是计算机断层扫描血管造影术（CTA）体积。
3.根据权利要求1所述的方法，其中，通过从所述3D医学图像的3D可视化中移除被分类为骨体素的体素来生成所述3D医学图像中的非骨结构的3D可视化包括：
对于所述3D医学图像的3D可视化中的被分类为骨体素的每一个体素，将强度值设置为零。
4.根据权利要求1所述的方法，其中，针对骨分割训练的深度神经网络是深度卷积神经网络（CNN）的分解版本，在所述分解版本中至少一个3D卷积层被分解成三个轻加权卷积层，所述三个轻加权卷积层分别执行针对3D核的每个维度的卷积。
5.根据权利要求4所述的方法，其中，对于Nc表示所述至少一个3D卷积层中的特征的数目，Np表示前一层中的特征图的数目，并且Nx、Ny、Nz是所述3D核的核大小，并且所述至少一个3D卷积层被分解成具有NcNpNx个权重的第一轻加权卷积层、具有NpNpNy个权重的第二轻加权卷积层、以及具有NpNpNz个权重的第三轻加权卷积层。
6.根据权利要求4所述的方法，其中，通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构包括：
使用对在所述3D医学图像中分类的所有多个体素的端对端卷积来执行深度CNN的分解版本的卷积层中所需的卷积。
7.根据权利要求4所述的方法，其中，通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构包括：
执行基于强度的阈值设定以生成所述3D医学图像中的具有大于强度阈值的强度的体素的初始掩模；
使用具有对应于所述深度CNN的分解版本的接受域的大小的核，执行对体素的所述初始掩模的扩大；以及
基于通过使用所述深度CNN的分解版本执行对扩大的初始掩模的卷积，将所述初始掩模中的体素分类为骨体素或非骨体素。
8.根据权利要求4所述的方法，其中，通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构包括：
将所述3D医学图像中的图像块的2D切片分配给图像矩阵的列，所述图像矩阵与核矩阵相乘以执行所述深度CNN的分解版本的卷积层中所需的卷积。
9.根据权利要求1所述的方法，其中，通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构包括：
控制分配用于存储DNN的层的特征值的存储器，使得对应于相同特征图索引的所有通道的特征值被分组在一起。
10.根据权利要求1所述的方法，其中，针对骨分割训练的DNN是深度卷积编码器-解码器（CED）。
11.根据权利要求1所述的方法，其中，通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构包括：
使用利用多任务学习训练的深度图像到图像网络（DI2IN）通过生成所述3D医学图像的骨掩模来分割所述骨结构以及通过生成所述3D医学图像的界标热图来检测所述3D医学图像中的解剖界标，从而分割所述患者的3D医学图像中的骨结构。
12.根据权利要求1所述的方法，其中，通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构包括：
联合地使用经训练的深度金字塔骨分割网络来分割骨结构以及使用经训练的深度金字塔血管复原网络来跟踪所述3D医学图像中的血管结构，其中，所述经训练的深度金字塔骨分割网络和所述经训练的深度金字塔血管复原网络中的每一个是具有在深度图像到图像网络（DI2IN）的最后卷积层处添加的金字塔场景解析模型的DI2IN；以及
基于由所述经训练的深度金字塔骨分割网络生成的初始骨掩模和由所述经训练的深度金字塔血管复原网络生成的血管掩模，生成所述3D医学图像的最终骨掩模。
13.一种用于在患者的3D医学图像中自动骨移除的设备，包括：
用于通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构的装置；以及
用于通过从所述3D医学图像的3D可视化中移除被分类为骨体素的体素来生成所述3D医学图像中的非骨结构的3D可视化的装置。
14.根据权利要求1所述的设备，其中，针对骨分割训练的深度神经网络是深度卷积神经网络（CNN）的分解版本，在所述分解版本中至少一个3D卷积层被分解成三个轻加权卷积层，所述三个轻加权卷积层分别执行针对3D核的每个维度的卷积。
15.根据权利要求14所述的设备，其中，用于通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构的装置包括：
用于执行基于强度的阈值设定以生成所述3D医学图像中的具有大于强度阈值的强度的体素的初始掩模的装置；
用于使用具有对应于所述深度CNN的分解版本的接受域的大小的核来执行对体素的所述初始掩模的扩大的装置；以及
用于基于通过使用所述深度CNN的分解版本执行对扩大的初始掩模的卷积来将所述初始掩模中的体素分类为骨体素或非骨体素的装置。
16.根据权利要求13所述的设备，其中，针对骨分割训练的DNN是深度卷积编码器-解码器（CED）。
17.根据权利要求13所述的设备，其中，用于通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构的装置包括：
用于使用利用多任务学习训练的深度图像到图像网络（DI2IN）通过生成所述3D医学图像的骨掩模来分割所述骨结构以及通过生成所述3D医学图像的界标热图来检测所述3D医学图像中的解剖界标从而分割所述患者的3D医学图像中的骨结构的装置。
18.根据权利要求13所述的设备，其中，用于通过使用针对骨分割训练的深度神经网络将3D医学图像的体素分类为骨体素或非骨体素来分割患者的3D医学图像中的骨结构的装置包括：
用于联合地使用经训练的深度金字塔骨分割网络来分割骨结构以及使用经训练的深度金字塔血管复原网络来跟踪所述3D医学图像中的血管结构的装置，其中，所述经训练的深度金字塔骨分割网络和所述经训练的深度金字塔血管复原网络中的每一个是具有在深度图像到图像网络（DI2IN）的最后卷积层处添加的金字塔场景解析模型的DI2IN；以及
用于基于由所述经训练的深度金字塔骨分割网络生成的初始骨掩模和由所述经训练的深度金字塔血管复原网络生成的血管掩模来生成所述3D医学图像的最终骨掩模的装置。
CN201711095858.0A 2016-10-31 2017-10-31 在计算机断层扫描血管造影术中基于深度学习的骨移除 Active CN107997778B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662415075P 2016-10-31 2016-10-31
US62/415075 2016-10-31
US15/727,677 US10582907B2 (en) 2016-10-31 2017-10-09 Deep learning based bone removal in computed tomography angiography
US15/727677 2017-10-09

Publications (2)

Publication Number Publication Date
CN107997778A true CN107997778A (zh) 2018-05-08
CN107997778B CN107997778B (zh) 2021-09-07

Family

ID=60191177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711095858.0A Active CN107997778B (zh) 2016-10-31 2017-10-31 在计算机断层扫描血管造影术中基于深度学习的骨移除

Country Status (3)

Country Link
US (1) US10582907B2 (zh)
EP (1) EP3316217B1 (zh)
CN (1) CN107997778B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932715A (zh) * 2018-07-13 2018-12-04 北京红云智胜科技有限公司 一种基于深度学习的冠状动脉造影图分割的优化方法
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN109948614A (zh) * 2019-03-26 2019-06-28 浙江康体汇科技有限公司 一种基于机器学习的手腕骨兴趣区域切割方法
CN110556179A (zh) * 2018-05-31 2019-12-10 通用电气公司 使用深度神经网络标记全脊柱图像的方法和系统
CN110638479A (zh) * 2018-06-26 2020-01-03 西门子医疗有限公司 用于运行医学成像设备的方法和成像设备
CN110881992A (zh) * 2018-09-07 2020-03-17 西门子医疗有限公司 使用双能量计算机断层扫描的针对外伤性出血的检测和量化
CN110889851A (zh) * 2018-09-11 2020-03-17 苹果公司 针对深度和视差估计的语义分割的稳健用途
CN110945564A (zh) * 2019-08-13 2020-03-31 香港应用科技研究院有限公司 基于混合上下文cnn模型的医学图像分割
CN112085807A (zh) * 2019-06-12 2020-12-15 西门子医疗有限公司 提供差分图像数据组和训练生成器函数的方法和提供系统
CN112215329A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 基于神经网络的卷积计算方法及装置
CN113112462A (zh) * 2021-03-31 2021-07-13 同济大学 一种轻量化车辆检测方法、系统及计算机可读介质
CN113168912A (zh) * 2018-09-04 2021-07-23 艾登斯 Ip 有限公司 使用深度学习确定3d数据集中对象的增长速度
CN113205508A (zh) * 2021-05-20 2021-08-03 强联智创（北京）科技有限公司 一种基于影像数据的分割方法、装置以及设备
CN113538305A (zh) * 2020-04-15 2021-10-22 西门子医疗有限公司 与covid-19相关联的异常图案的医学图像合成
US20210390709A1 (en) * 2020-06-16 2021-12-16 Xue Feng System and method to improve model-based organ segmentation with image post-processing
CN114901194A (zh) * 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108603922A (zh) 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
JP2020510463A (ja) 2017-01-27 2020-04-09 アーテリーズ インコーポレイテッド 全層畳み込みネットワークを利用する自動化されたセグメンテーション
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
US10366490B2 (en) * 2017-03-27 2019-07-30 Siemens Healthcare Gmbh Highly integrated annotation and segmentation system for medical imaging
ES2905660T3 (es) 2017-06-19 2022-04-11 Viz Ai Inc Procedimiento y sistema para el triaje asistido por ordenador
US10733730B2 (en) 2017-06-19 2020-08-04 Viz.ai Inc. Method and system for computer-aided triage
US10706840B2 (en) * 2017-08-18 2020-07-07 Google Llc Encoder-decoder models for sequence to sequence mapping
US10265138B2 (en) * 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
US10796221B2 (en) 2017-10-19 2020-10-06 General Electric Company Deep learning architecture for automated image feature extraction
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
US11551353B2 (en) 2017-11-22 2023-01-10 Arterys Inc. Content based image retrieval for lesion analysis
US10482600B2 (en) * 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
US11589834B2 (en) 2018-03-07 2023-02-28 Rensselaer Polytechnic Institute Deep neural network for CT metal artifact reduction
KR102136107B1 (ko) * 2018-06-21 2020-07-21 한국외국어대학교 연구산학협력단 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
CA3105272A1 (en) * 2018-06-29 2020-01-02 Wrnch Inc. Human pose analysis system and method
US11471096B2 (en) * 2018-10-25 2022-10-18 The Chinese University Of Hong Kong Automatic computerized joint segmentation and inflammation quantification in MRI
JP7014129B2 (ja) 2018-10-29 2022-02-01 オムロン株式会社 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム
US10991091B2 (en) * 2018-10-30 2021-04-27 Diagnocat Inc. System and method for an automated parsing pipeline for anatomical localization and condition classification
US11464467B2 (en) * 2018-10-30 2022-10-11 Dgnct Llc Automated tooth localization, enumeration, and diagnostic system and method
US11244453B2 (en) 2018-11-02 2022-02-08 Siemens Healthcare Gmbh Determining malignancy of pulmonary nodules using deep learning
CN109670529A (zh) * 2018-11-14 2019-04-23 天津大学 一种用于快速语义分割的可分离分解残差模块设计方法
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
EP3657433B1 (en) * 2018-11-22 2022-10-19 Siemens Healthcare GmbH Medical image data
CN110084826B (zh) * 2018-11-30 2023-09-12 叠境数字科技（上海）有限公司 基于tof相机的头发分割方法
CN113674338A (zh) * 2018-12-14 2021-11-19 北京市商汤科技开发有限公司 双心室量化方法、装置、电子设备及存储介质
US10937206B2 (en) 2019-01-18 2021-03-02 Canon Medical Systems Corporation Deep-learning-based scatter estimation and correction for X-ray projection data and computer tomography (CT)
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US10402977B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
CN111612792B (zh) * 2019-02-22 2024-03-08 曹生 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品
CN109905880B (zh) * 2019-03-22 2020-05-29 苏州浪潮智能科技有限公司 一种网络划分方法、系统及电子设备和存储介质
US11704573B2 (en) * 2019-03-25 2023-07-18 Here Global B.V. Method, apparatus, and computer program product for identifying and compensating content contributors
US12062183B2 (en) 2019-03-29 2024-08-13 Howmedica Osteonics Corp. Closed surface fitting for segmentation of orthopedic medical image data
EP3719745A1 (en) 2019-04-01 2020-10-07 Siemens Healthcare GmbH Processing a medical image
WO2020264355A1 (en) 2019-06-27 2020-12-30 Viz.ai Inc. Method and system for computer-aided triage of stroke
WO2021021641A1 (en) 2019-07-30 2021-02-04 Viz.ai Inc. Method and system for computer-aided triage of stroke
KR102318959B1 (ko) * 2019-09-10 2021-10-27 계명대학교 산학협력단 의료 영상을 해석하는 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 의료 영상 분석 장치
US11423544B1 (en) 2019-11-14 2022-08-23 Seg AI LLC Segmenting medical images
US10762629B1 (en) 2019-11-14 2020-09-01 SegAI LLC Segmenting medical images
CN110992316B (zh) * 2019-11-18 2023-05-30 湖北工业大学 基于2d cam的大脑核磁共振异常图像的可视化方法
EP3828767A1 (en) 2019-11-26 2021-06-02 Koninklijke Philips N.V. Probablistic regularization of convolutional neurual networks for multiple-feature detection based on correlations
CN111145181B (zh) * 2019-12-25 2023-04-07 华侨大学 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN111340813B (zh) * 2020-02-25 2023-09-01 北京字节跳动网络技术有限公司 图像实例分割方法、装置、电子设备及存储介质
CN111369528B (zh) * 2020-03-03 2022-09-09 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN111583219B (zh) * 2020-04-30 2021-05-18 赤峰学院附属医院 颅颌面软硬组织的分析方法及装置、电子设备
US20210383534A1 (en) * 2020-06-03 2021-12-09 GE Precision Healthcare LLC System and methods for image segmentation and classification using reduced depth convolutional neural networks
US12026873B2 (en) * 2020-06-23 2024-07-02 Vuno Inc. Bone age assessment method for bone image
WO2022000977A1 (zh) * 2020-06-29 2022-01-06 苏州润迈德医疗科技有限公司 基于深度学习获取主动脉图像的系统
IL300047A (en) 2020-07-24 2023-03-01 Viz Ai Inc A method and system for the initial screening of an aneurysm using a computer
EP3975115A1 (en) 2020-09-25 2022-03-30 Siemens Healthcare GmbH Method and system for analyzing a plurality of interconnected blood vessels
CN112907563B (zh) * 2021-03-17 2023-12-01 复旦大学附属华山医院 基于深度学习的cta全自动侧枝循环评分方法及系统
US11694807B2 (en) 2021-06-17 2023-07-04 Viz.ai Inc. Method and system for computer-aided decision guidance
WO2023002743A1 (ja) * 2021-07-20 2023-01-26 株式会社島津製作所 Ｘ線撮影システム、および、画像処理方法
CN113808111A (zh) * 2021-09-18 2021-12-17 广州幻境科技有限公司 一种医学影像的三维虚拟重构方法和系统
CN113837192B (zh) * 2021-09-22 2024-04-19 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
US12112470B2 (en) 2021-09-29 2024-10-08 Siemens Healthineers Ag Probabilistic tree tracing and large vessel occlusion detection in medical imaging
US12136484B2 (en) 2021-11-05 2024-11-05 Altis Labs, Inc. Method and apparatus utilizing image-based modeling in healthcare
CN114494160B (zh) * 2022-01-10 2023-04-18 复旦大学 一种基于完全融合集成网络候选框的骨折检测方法
EP4235685A1 (en) 2022-02-23 2023-08-30 Siemens Healthcare GmbH Method, system and computer program for detection of a disease information
CN117237178A (zh) * 2022-06-06 2023-12-15 阿里巴巴（中国）有限公司 线程束执行方法以及相关gpu
EP4390837A1 (en) * 2022-12-22 2024-06-26 Imagine Institut des Maladies Génétiques Necker Enfants Malades Automatic generation of 3d anatomical models

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620990A (zh) * 2003-11-25 2005-06-01 通用电气公司 在ct血管造影术中分割结构的方法及设备
US20050228272A1 (en) * 2004-04-09 2005-10-13 Daphne Yu System and method for automatically segmenting bones in computed tomography angiography data
US20090003677A1 (en) * 2007-06-27 2009-01-01 Fujifilm Corporation Image processing apparatus, image processing method and recording medium
US20090161939A1 (en) * 2007-12-21 2009-06-25 General Electric Company System and method for extracting features of interest from an image
CN104616289A (zh) * 2014-12-19 2015-05-13 西安华海盈泰医疗信息技术有限公司 一种3d ct图像中骨组织的移除方法及系统
CN105640583A (zh) * 2016-03-31 2016-06-08 上海联影医疗科技有限公司 血管造影方法
CN106023195A (zh) * 2016-05-18 2016-10-12 河南师范大学 基于自适应遗传算法的bp神经网络图像分割方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8244015B2 (en) * 2006-11-22 2012-08-14 General Electric Company Methods and apparatus for detecting aneurysm in vasculatures
WO2009067680A1 (en) * 2007-11-23 2009-05-28 Mercury Computer Systems, Inc. Automatic image segmentation methods and apparartus
US9710880B2 (en) * 2014-07-03 2017-07-18 Siemens Product Lifecycle Management Software Inc. User-guided shape morphing in bone segmentation for medical imaging
US9892361B2 (en) 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
US10037603B2 (en) * 2015-05-04 2018-07-31 Siemens Healthcare Gmbh Method and system for whole body bone removal and vascular visualization in medical image data
US9760807B2 (en) 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US10346981B2 (en) * 2016-11-04 2019-07-09 Eric Kenneth Anderson System and method for non-invasive tissue characterization and classification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620990A (zh) * 2003-11-25 2005-06-01 通用电气公司 在ct血管造影术中分割结构的方法及设备
US20050228272A1 (en) * 2004-04-09 2005-10-13 Daphne Yu System and method for automatically segmenting bones in computed tomography angiography data
US20090003677A1 (en) * 2007-06-27 2009-01-01 Fujifilm Corporation Image processing apparatus, image processing method and recording medium
US20090161939A1 (en) * 2007-12-21 2009-06-25 General Electric Company System and method for extracting features of interest from an image
CN104616289A (zh) * 2014-12-19 2015-05-13 西安华海盈泰医疗信息技术有限公司 一种3d ct图像中骨组织的移除方法及系统
CN105640583A (zh) * 2016-03-31 2016-06-08 上海联影医疗科技有限公司 血管造影方法
CN106023195A (zh) * 2016-05-18 2016-10-12 河南师范大学 基于自适应遗传算法的bp神经网络图像分割方法及装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110556179A (zh) * 2018-05-31 2019-12-10 通用电气公司 使用深度神经网络标记全脊柱图像的方法和系统
CN110556179B (zh) * 2018-05-31 2023-04-07 通用电气公司 使用深度神经网络标记全脊柱图像的方法和系统
CN110638479A (zh) * 2018-06-26 2020-01-03 西门子医疗有限公司 用于运行医学成像设备的方法和成像设备
CN108932715B (zh) * 2018-07-13 2022-06-07 北京红云智胜科技有限公司 一种基于深度学习的冠状动脉造影图分割的优化方法
CN108932715A (zh) * 2018-07-13 2018-12-04 北京红云智胜科技有限公司 一种基于深度学习的冠状动脉造影图分割的优化方法
US11996198B2 (en) 2018-09-04 2024-05-28 Aidence Ip B.V. Determination of a growth rate of an object in 3D data sets using deep learning
CN113168912B (zh) * 2018-09-04 2023-12-01 艾登斯 Ip 有限公司 使用深度学习确定3d数据集中对象的增长速度
CN113168912A (zh) * 2018-09-04 2021-07-23 艾登斯 Ip 有限公司 使用深度学习确定3d数据集中对象的增长速度
CN110881992A (zh) * 2018-09-07 2020-03-17 西门子医疗有限公司 使用双能量计算机断层扫描的针对外伤性出血的检测和量化
CN110881992B (zh) * 2018-09-07 2023-08-22 西门子医疗有限公司 使用双能量计算机断层扫描的针对外伤性出血的检测和量化
CN110889851A (zh) * 2018-09-11 2020-03-17 苹果公司 针对深度和视差估计的语义分割的稳健用途
CN110889851B (zh) * 2018-09-11 2023-08-01 苹果公司 针对深度和视差估计的语义分割的稳健用途
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN109948614B (zh) * 2019-03-26 2022-06-28 浙江康体汇科技有限公司 一种基于机器学习的手腕骨兴趣区域切割方法
CN109948614A (zh) * 2019-03-26 2019-06-28 浙江康体汇科技有限公司 一种基于机器学习的手腕骨兴趣区域切割方法
CN112085807A (zh) * 2019-06-12 2020-12-15 西门子医疗有限公司 提供差分图像数据组和训练生成器函数的方法和提供系统
CN112085807B (zh) * 2019-06-12 2023-12-15 西门子医疗有限公司 提供差分图像数据组和训练生成器函数的方法和提供系统
CN112215329B (zh) * 2019-07-09 2023-09-29 杭州海康威视数字技术股份有限公司 基于神经网络的卷积计算方法及装置
CN112215329A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 基于神经网络的卷积计算方法及装置
CN110945564A (zh) * 2019-08-13 2020-03-31 香港应用科技研究院有限公司 基于混合上下文cnn模型的医学图像分割
CN110945564B (zh) * 2019-08-13 2023-04-07 香港应用科技研究院有限公司 基于混合上下文cnn模型的医学图像分割
CN114901194A (zh) * 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
US11810291B2 (en) 2020-04-15 2023-11-07 Siemens Healthcare Gmbh Medical image synthesis of abnormality patterns associated with COVID-19
CN113538305A (zh) * 2020-04-15 2021-10-22 西门子医疗有限公司 与covid-19相关联的异常图案的医学图像合成
US11455733B2 (en) * 2020-06-16 2022-09-27 Xue Feng System and method to improve model-based organ segmentation with image post-processing
US20210390709A1 (en) * 2020-06-16 2021-12-16 Xue Feng System and method to improve model-based organ segmentation with image post-processing
CN113112462A (zh) * 2021-03-31 2021-07-13 同济大学 一种轻量化车辆检测方法、系统及计算机可读介质
CN113205508B (zh) * 2021-05-20 2022-01-25 强联智创（北京）科技有限公司 一种基于影像数据的分割方法、装置以及设备
CN113205508A (zh) * 2021-05-20 2021-08-03 强联智创（北京）科技有限公司 一种基于影像数据的分割方法、装置以及设备

Also Published As

Publication number Publication date
EP3316217B1 (en) 2019-05-22
CN107997778B (zh) 2021-09-07
EP3316217A1 (en) 2018-05-02
US20180116620A1 (en) 2018-05-03
US10582907B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
CN107997778A (zh) 在计算机断层扫描血管造影术中基于深度学习的骨移除
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
Solovyev et al. 3D convolutional neural networks for stalled brain capillary detection
Kang et al. ASF-YOLO: A novel YOLO model with attentional scale sequence fusion for cell instance segmentation
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
Meng et al. Regression of instance boundary by aggregated CNN and GCN
Wiestler et al. Deep learning for medical image analysis: a brief introduction
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
Das et al. Deep neural network for automated simultaneous intervertebral disc (IVDs) identification and segmentation of multi-modal MR images
Gao et al. Joint disc and cup segmentation based on recurrent fully convolutional network
Wang et al. Edge-aware fully convolutional network with CRF-RNN layer for hippocampus segmentation
Koziński et al. Tracing in 2D to reduce the annotation effort for 3D deep delineation of linear structures
Li et al. S 3 egANet: 3D spinal structures segmentation via adversarial nets
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
Wang et al. Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting
Go et al. Generation of Structurally Realistic Retinal Fundus Images with Diffusion Models
Lang et al. LCCF-Net: Lightweight contextual and channel fusion network for medical image segmentation
Chen et al. PUB-SalNet: A pre-trained unsupervised self-aware backpropagation network for biomedical salient segmentation
Kumar et al. Grey Wolf optimized SwinUNet based transformer framework for liver segmentation from CT images
Li et al. [Retracted] Design of an Incremental Music Teaching and Assisted Therapy System Based on Artificial Intelligence Attention Mechanism
JP2022546303A (ja) 管状フィーチャのセグメント化
Rakibe et al. Improved medical image inpainting using automatic multi-task learning driven deep learning approach
Eriksen et al. A machine learning approach to improve consistency in user-driven medical image analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240905

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen, Germany

Patentee before: SIEMENS HEALTHCARE GmbH

Country or region before: Germany

TR01 Transfer of patent right