CN110956076B - 基于容积渲染在三维超声数据中进行结构识别的方法和系统 - Google Patents

Abstract

本发明题为“基于容积渲染在三维超声数据中进行结构识别的方法和系统”。本发明提供了一种用于基于容积渲染来识别3D超声数据中的结构的系统和方法。该方法包括接收标识3D训练容积中的结构的位置的3D容积标签。该方法包括将每个3D训练容积渲染成多个视角下的多个训练容积渲染。每个训练容积渲染与对应于3D容积标签的容积渲染标签相关联。该方法包括使用训练容积渲染和相关联的容积渲染标签来训练机器学习算法。该方法包括采集和/或接收3D容积并以一定视角渲染3D容积。该方法包括将机器学习算法应用于容积渲染以检测并输出结构的位置。该方法包括将容积渲染中的结构的位置与3D容积相关联地存储在存储介质处。

Description

基于容积渲染在三维超声数据中进行结构识别的方法和系统

技术领域

某些实施方案涉及超声成像。更具体地，某些实施方案涉及用于基于容积渲染来识别三维(3D)超声数据中的结构的方法和系统。可以通过图像检测技术诸如机器学习算法(例如，深度神经网络)来自动执行结构识别。图像检测技术可以是对容积渲染执行的二维(2D)图像检测技术。

背景技术

超声成像是用于对人体中的器官和软组织进行成像的医疗成像技术。超声成像使用实时无创高频声波产生二维(2D)、三维(3D)和/或四维(4D)图像(即，实时/连续3D图像)。

超声成像是用于诊断各种医疗病症的有价值的无创工具。可以分析和/或处理所采集的超声数据以检测解剖结构，由医疗专业人员评估该解剖结构来执行诊断。在处理超声数据以检测解剖结构的情况下，可以从所采集的3D容积中选择一个或多个2D超声图像切片并将其输入到处理器中，该处理器执行机器学习算法，该机器学习算法经训练以标识2D图像中的特定结构。执行机器学习算法的处理器可以输出2D图像切片中的检测到的结构的标识。尽管经处理的图像可以提供与2D图像切片中的结构的检测相关的有价值的信息，但用户并不相对于所采集的3D容积的剩余部分接收与该结构相关的任何上下文信息。存在用于评估3D容积的机器学习算法，然而，这些算法尚未改进并且是计算昂贵的。

通过将此类系统与本申请的其余部分中参考附图阐述的本公开的一些方面进行比较，常规和传统方法的进一步限制和缺点对本领域的技术人员将变得显而易见。

发明内容

本发明提供了用于基于容积渲染来识别三维(3D)超声数据中的结构的系统和/或方法，基本上如结合附图中的至少一个所示和/或所述，如在权利要求书中更完整地阐述。

从以下描述和附图将更全面地理解本公开的这些和其他优点、方面和新颖特征、以及其例示的实施方案的细节。

附图说明

图1是根据各种实施方案的可操作以基于容积渲染来识别三维(3D)超声数据中的结构的示例性超声系统的框图。

图2是根据各种实施方案的可操作以基于容积渲染来识别三维(3D)超声数据中的结构的示例性医疗工作站的框图。

图3是其中可以实践代表性实施方案的示例性系统的框图。

图4是根据示例性实施方案的示出可以用于训练结构识别模块的一个或多个机器学习算法以识别容积渲染视图中的结构的示例性步骤的流程图。

图5是根据示例性实施方案的示出可以用于基于容积渲染来识别三维(3D)超声数据中的结构的示例性步骤的流程图。

具体实施方式

某些实施方案可以在用于基于容积渲染来识别三维(3D)超声数据中的结构的方法和系统中找到。各种实施方案具有提供针对二维(2D)图像分析开发的经训练的机器学习算法的技术效果，该机器学习算法经训练以检测容积渲染(即，3D数据的2D表示)中的结构。此外，某些实施方案具有通过将容积渲染输入到针对二维(2D)图像分析开发的机器学习算法中来自动检测容积渲染中的结构的技术效果。此外，各种实施方案具有在图像数据上在与检测到的结构相对应的位置处自动放置标记的技术效果。另外，某些实施方案具有通过响应于用户选择或设置应用以显示检测到的结构而以预定义的视角裁剪和/或取向图像容积来增强3D图像数据中的检测到的结构的可视化的技术效果。本公开的各方面具有响应于对执行特定解剖测量的选择而提供从3D容积重新切片的适当2D平面的技术效果。

当结合附图阅读时，将更好地理解前述发明内容、以及以下对某些实施方案的具体实施方式。就附图示出各种实施方案的功能块的图的范围而言，这些功能块不一定表示硬件电路之间的划分。因此，例如，功能块中的一个或多个功能块(例如，处理器或存储器)可以在单件硬件(例如，通用信号处理器或随机存取存储器块、硬盘等)或多件硬件中实现。类似地，程序可以是独立程序，可以作为子例程包含在操作系统中，可以是安装的软件包中的功能等。应当理解，各种实施方案不限于附图中所示的布置和工具。还应理解，可以组合实施方案，或者可以利用其他实施方案，并且可以在不脱离各种实施方案的范围的情况下进行结构、逻辑和电气变化。因此，以下具体实施方式不应视为限制性意义，并且本公开的范围由所附权利要求书及其等同物限定。

如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对“各种实施方案”、“示例性实施方案”、“某些实施方案”等的引用不旨在被解释为排除存在也结合了叙述的特征的附加实施方案。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定性质的一个元件或多个元件的实施方案可以包括不具有该性质的附加元件。

另外如本文所用，术语“图像”广义上是指可视图像和代表可视图像的数据。然而，许多实施方案生成(或被配置为生成)至少一个可视图像。另外，如本文所用，短语“图像”用来指超声模式，诸如B模式(2D模式)、M模式、三维(3D)模式、四维(4D)模式、CF模式和/或B模式和/或CF的子模式，诸如剪切波弹性成像(SWEI)、TVI、Angio、B-flow、BMI、BMI_Angio，并且在某些情况下还有MM、CM、PW、TVD、CW，其中“图像”和/或“平面”包括单个光束或多个光束。

此外，如本文所用，术语处理器或处理单元是指可以执行各种实施方案所需计算的任何类型的处理单元，诸如单核或多核：CPU、图形板、DSP、FPGA、ASIC或它们的组合。

应当指出的是，本文描述的生成或形成图像的各种实施方案可以包括用于形成图像的处理，在一些实施方案中，该处理包括波束成形，并且在其他实施方案中，该处理不包括波束成形。例如，可以在无波束成形的情况下形成图像，诸如通过将解调数据的矩阵乘以系数矩阵使得乘积为图像，并且其中该过程不形成任何“波束”。另外，可以使用可以源自多于一个发射事件的信道组合来执行图像的形成(例如，合成孔径技术)。

在各种实施方案中，执行用于形成图像的超声处理，例如，包括超声波束成形，诸如在软件、固件、硬件或其组合中接收波束成形。图1中示出根据各种实施方案形成的具有软件波束成形器架构的超声系统的一种实施方式。

图1是根据各种实施方案的可操作以基于容积渲染来识别三维(3D)超声数据中的结构的示例性超声系统100的框图。参考图1，示出了超声系统100。超声系统100包括发射器102、超声探头104、发射波束成形器110、接收器118、接收波束成形器120、RF处理器124、RF/IQ缓冲器126、用户输入模块130、信号处理器132、图像缓冲器136、显示系统134、存档138和教学引擎180。

发射器102可以包括可以可操作以驱动超声探头104的合适的逻辑、电路、接口和/或代码。超声探头104可以包括二维(2D)压电元件阵列。超声探头104可以包括一组发射换能器元件106和一组接收换能器元件108，这些发射换能器元件和接收换能器元件通常构成相同的元件。在某些实施方案中，超声探头104可以可操作以采集覆盖器官(诸如心脏或任何合适的器官)的至少大部分的超声图像数据。

发射波束成形器110可以包括可以可操作以控制发射器102的合适的逻辑、电路、接口和/或代码，该发射器通过发射子孔径波束成形器114驱动该组发射换能器元件106来将超声发射信号发射到感兴趣的区域中(例如，人、动物、地下洞穴、物理结构等)。所发射的超声信号可以从感兴趣的对象中的结构(如血细胞或组织)反向散射，以产生回波。由接收换能器元件108接收回波。

超声探头104中的该组接收换能器元件108可以可操作以将所接收的回波转换为模拟信号，由接收子孔径波束成形器116进行子孔径波束成形，然后传送到接收器118。接收器118可以包括可以可操作以接收并解调来自接收子孔径波束成形器116的信号的合适的逻辑、电路、接口和/或代码。可以将经解调的模拟信号传送到多个A/D转换器122中的一个或多个A/D转换器。

多个A/D转换器122可以包括可以可操作以将来自接收器118的经解调的模拟信号转换成对应的数字信号的合适的逻辑、电路、接口和/或代码。多个A/D转换器122设置在接收器118和接收波束成形器120之间。尽管如此，本公开不限于此。因此，在一些实施方案中，多个A/D转换器122可以集成在接收器118内。

接收波束成形器120可以包括可以可操作以执行数字波束成形处理以例如对从多个A/D转换器122接收的延迟的信道信号求和并输出波束求和信号的合适的逻辑、电路、接口和/或代码。可以将所得的经处理的信息转换回对应的RF信号。可以将从接收波束成形器120输出的对应的输出RF信号传送到RF处理器124。根据一些实施方案，接收器118、多个A/D转换器122和波束成形器120可以集成到单个波束成形器中，该波束成形器可以是数字的。

RF处理器124可以包括可以可操作以对RF信号解调的合适的逻辑、电路、接口和/或代码。根据一个实施方案，RF处理器124可以包括复解调器(未示出)，该复解调器可操作以对RF信号解调以形成代表对应的回波信号的I/Q数据对。然后可以将RF或I/Q信号数据传送到RF/IQ缓冲器126。RF/IQ缓冲器126可以包括可以可操作以提供由RF处理器124生成的RF或I/Q信号数据的临时存储的合适的逻辑、电路、接口和/或代码。

用户输入模块130可以用于输入：图像数据中的解剖结构的标签；对显示示出所选择的解剖结构的图像的请求；用于在所显示的图像数据中标记和/或注释检测到的解剖结构的指令；测量选择；方案和/或模板、患者数据、扫描参数、设置的选择等。在示例性实施方案中，用户输入模块130可以可操作以配置、管理和/或控制超声系统100中的一个或多个部件和/或模块的操作。就这一点而言，用户输入模块130可以可操作以配置、管理和/或控制发射器102、超声探头104、发射波束成形器110、接收器118、接收波束成形器120、RF处理器124、RF/IQ缓冲器126、用户输入模块130、信号处理器132、图像缓冲器136、显示系统134、存档138和/或教学引擎180的操作。用户输入模块130可以包括能够接收用户指示的一个或多个按钮、一个或多个旋转编码器、触摸屏、运动跟踪、语音识别、鼠标设备、键盘、相机和/或任何其他设备。在某些实施方案中，用户输入模块130中的一个或多个用户输入模块可以集成到其他部件(诸如例如显示系统134)中。作为一个示例，用户输入模块130可以包括触摸屏显示器。

在各种实施方案中，可以响应于经由用户输入模块130接收的指令来标记图像数据中所描绘的解剖结构。在某些实施方案中，可以对3D容积进行后处理，以响应于显示经由用户输入模块130接收的检测到的解剖结构的指示来以预定义的视角裁剪和/或取向图像容积。在代表性实施方案中，可以响应于经由用户输入模块130接收的指示，在所显示的图像数据上覆盖对应于检测到的解剖结构的标记和/或注释。在示例性实施方案中，可以对3D容积重新切片以显示适当的2D平面，用于响应于经由用户输入模块130接收的选择测量的指示来执行测量。

信号处理器132可以包括可以可操作以处理超声扫描数据(即，RF信号数据或IQ数据对)以生成超声图像以在显示系统134上呈现的合适的逻辑、电路、接口和/或代码。信号处理器132可操作以根据所采集的超声扫描数据上的多个可选超声模态来执行一个或多个处理操作。在示例性实施方案中，信号处理器132可以可操作以执行复合、运动跟踪和/或散斑跟踪。随着接收到回波信号，可以在扫描会话期间实时处理所采集的超声扫描数据。除此之外或另选地，可以将超声扫描数据在扫描会话期间临时存储在RF/IQ缓冲器126中，并且在实时或离线操作中以不太实时的方式进行处理。在各种实施方案中，可以将经处理的图像数据呈现在显示系统134处和/或存储在存档138中。存档138可以是用于存储图像和相关信息的本地存档、图片存档和通信系统(PACS)或任何合适的设备。在示例性实施方案中，信号处理器132可以包括标记模块140、容积渲染模块150、结构识别模块160和后处理模块170。

超声系统100可以可操作以以适合于所讨论的成像情况的帧速率连续地采集超声扫描数据。典型的帧速率范围为20-70，但也可以更低或更高。所采集的超声扫描数据可以以与帧速率相同或者更慢或更快的显示速率显示在显示系统134上。将图像缓冲器136包括在内，用于存储未被安排立即显示的所采集的超声扫描数据的经处理的帧。优选地，图像缓冲器136具有足够的容量来存储至少几分钟的大量超声扫描数据帧。超声扫描数据帧的存储方式有利于根据其采集顺序或时间进行检索。图像缓冲器136可以体现为任何已知的数据存储介质。

信号处理器132可以包括标记模块140，该标记模块包括可以可操作以将标签与3D图像容积中的解剖结构相关联的合适的逻辑、电路、接口和/或代码。标签中的每个标签可以是与对应的3D容积相关联的元数据。标签可以各自包括与3D容积中的所标识的解剖结构的位置相对应的一组3D坐标。例如，超声操作员可以使用标记模块140来导航3D容积的2D切片在显示系统134处的呈现。在各种实施方案中，2D切片可以以多组相交平面呈现，诸如一组垂直2D切片。超声操作员可以操作用户输入模块130以选择相交2D切片中的与特定解剖结构相对应的位置。相交2D切片中的所选择的位置与3D容积的一组3D坐标相对应。作为另一示例，超声操作员可以使用标记模块140来导航3D容积的容积渲染。超声操作员可以操作用户输入模块130以选择容积渲染中的解剖结构的与3D容积的一组3D坐标相对应的位置。可以将与3D图像容积中的解剖结构相关联的标签与相关联的3D图像容积一起存储或相关联地存储为元数据。例如，具有3D坐标的标签可以存储在存档138和/或任何合适的存储介质处。

标记模块140可以用于标记具有特定解剖结构的数百个3D图像容积。经标记的3D图像容积可以用于训练结构识别模块160以标识特定解剖结构，如下面更详细描述的。解剖结构可以包括心脏结构、肺结构、胎儿结构或任何合适的体内结构。例如，关于心脏，经由标记模块140所标记的解剖结构可以包括二尖瓣、主动脉瓣、心室腔、心房、隔膜、乳头肌、下壁和/或任何合适的心脏结构。

信号处理器132可以包括容积渲染模块150，该容积渲染模块包括可以可操作以在3D容积上执行容积渲染的合适的逻辑、电路、接口和/或代码。容积渲染模块150可以用于生成并呈现容积(例如，3D)数据集的投影(例如，2D投影)。就这一点而言，渲染3D数据集的2D投影可以包括相对于正在显示的对象在空间中设置或定义感知角度，然后针对数据集中的每个体素定义或计算必要信息(例如，不透明度和颜色)。例如，这可以使用合适的传递函数来完成，以定义每个体素的RGBA(红色、绿色、蓝色和阿尔法)值。所得的容积渲染可以包括将深度值与2D投影中的每个像素相关联的深度图。

在各种实施方案中，容积渲染模块150可以被配置为将先前由标记模块140标记的3D容积渲染成多个视角。例如，容积渲染模块150可以生成八(8)个不同视角下的八(8)个容积渲染。尽管指定了八(8)个视角，但可以使用任何数量的视角。在某些实施方案中，可以预定义视角的数量和/或取向。在示例性实施方案中，容积渲染模块150可以在相同的一组视角下渲染特定标记结构的多个(例如，数百个)3D容积。除此之外和/或另选地，视角的数量和/或取向可以是随机的。可以将在不同视角下的所得的一组容积渲染，各自具有与标记结构相对应的相关联的2D坐标，提供给教学引擎180，用于训练结构识别模块160，如下所述。除此之外和/或另选地，可以将具有相关联的2D坐标的在不同视角下的一组容积渲染存储在存档138和/或任何合适的存储介质处。

在代表性实施方案中，容积渲染模块150可以被配置为生成未被标记的3D容积的一个或多个容积渲染。可以响应于用户输入模块130提供的用户指示生成一个或多个容积渲染。例如，用户指示可以与采集或检索3D容积的指令、3D容积的供查看的一部分的选择、或任何合适的用户指示相对应。除此之外或另选地，可以自动生成一个或多个容积渲染。例如，容积渲染模块150可以被配置为自动生成所采集和/或所存储的3D容积的容积渲染。在示例性实施方案中，可以将生成的容积渲染输入到信号处理器132的结构识别模块160中，以获得关于容积渲染中存在的解剖结构的信息，以提供所采集和/或所检索的3D容积的增强的可视化和导航。

信号处理器132可以包括结构识别模块160，该结构识别模块包括可以可操作以应用图像检测技术来处理容积渲染以标识容积渲染中的解剖结构的合适的逻辑、电路、接口和/或代码。结构识别模块160的图像检测技术可以包括被配置为自动标识容积渲染中的解剖结构的图像检测算法、一个或多个深度神经网络和/或任何合适形式的图像检测技术或机器学习处理功能。例如，结构识别模块160可以由输入层、输出层和输入层与输出层之间的一个或多个隐藏层组成。这些层中的每个层可以由可以称为神经元的多个处理节点组成。例如，输入层可以具有针对来自器官的容积渲染的每个像素或一组像素的神经元。输出层可以具有对应于正成像的器官的每个结构的神经元，并且可以提供在容积渲染中识别的任何所标识的结构的2D坐标。作为一个示例，如果对心脏成像，则输出层可以包括针对以下各项的神经元：二尖瓣、主动脉瓣、三尖瓣、肺动脉瓣、左心房、右心房、左心室、右心室、隔膜、乳头肌、下壁、未知和/或其他。每一层的每个神经元可以执行处理功能并将经处理的超声图像信息传递到下游层的多个神经元中的一个神经元以进一步处理。作为一个示例，第一层的神经元可以学习识别超声图像数据中的结构的边缘。第二层的神经元可以学习基于来自第一层的检测到的边缘来识别形状。第三层的神经元可以学习所识别的形状相对于容积渲染中的界标的位置。由结构识别模块160深度神经网络执行的处理可以以高概率标识解剖结构和该结构在容积渲染中的位置。

在各种实施方案中，可以将容积渲染中的任何所标识的结构的2D坐标与容积渲染相关联地存储在存档138和/或任何合适的存储介质处。信号处理器132可以基于与容积渲染相关联的深度图来确定与每组2D坐标相对应的Z坐标。2D坐标和Z坐标可以形成由结构识别模块160在容积渲染中检测到的解剖结构的一组3D坐标。在某些实施方案中，可以将容积渲染中的所识别的结构的位置的该组3D坐标变换为3D容积中的同一位置的对应的一组3D坐标。例如，3D坐标的变换可以基于在容积渲染和3D容积的参考坐标系中的差异。可以将这些组的3D坐标与容积渲染和/或3D容积相关联地存储在存档138和/或任何合适的存储介质处。

信号处理器132可以包括后处理模块170，该后处理模块包括可以可操作以基于相关联的3D坐标并响应于所存储的设置和/或从用户输入模块130接收的指示来处理3D容积的合适的逻辑、电路、接口和/或代码。例如，后处理模块170可以访问所存储的设置或接收用户选择以呈现检测到的特定结构(诸如心脏的主动脉或任何合适的内部身体结构的任何合适的解剖结构)的图像。后处理模块170可以响应于设置或所接收的选择来访问3D容积和相关联的3D坐标，并且处理3D容积以呈现检测到的结构的最佳视图。可以通过所存储的设置来定义最佳视图，这些所存储的设置提供供后处理模块170执行的参数。后处理参数可以包括裁剪指令、视角和/或任何合适的后处理参数。后处理模块170可以执行后处理参数以操纵3D容积，从而创建经后处理的图像以在显示系统134处呈现。例如，后处理模块170可以基于所选择结构的设置和3D坐标来将3D容积操纵到适当的视角。作为另一示例，后处理模块170可以裁剪3D容积以例如移除由3D坐标定义的所选择的解剖结构前面的图像数据。可以将经后处理的图像呈现在显示系统134处和/或存储在存档138和/或任何合适的存储介质处。

作为另一示例，后处理模块170可以访问所存储的设置或接收用户选择以呈现检测到的特定结构的图像或图像系列，该检测到的特定结构具有标识检测到的结构的标记和/或注释。后处理模块170可以接收一个或多个3D容积的一个或多个渲染视图，并且可以基于所存储的2D坐标或3D坐标来处理容积渲染以在容积渲染上叠加一个或多个标记和/或注释。例如，后处理模块170可以基于由结构识别模块160标识与容积渲染相关联的二尖瓣的坐标，在显示系统134处呈现的4D容积渲染中检测到的心脏的二尖瓣上叠加标记。

在某些实施方案中，可以利用后处理模块170来执行对检测到的解剖结构的测量。例如，超声操作员可能希望进行心脏测量，诸如收缩末期左心室内径(LVID)测量、收缩末期室间隔(IVS)测量、收缩末期左心室后壁(LVPW)测量、或主动脉瓣直径(AV Diam)测量。后处理模块170可以基于检测到的结构(例如，左心室、隔膜、后壁、主动脉瓣)的3D坐标来对3D容积重新切片以提取适当的2D平面以用于执行所选择的测量。后处理模块170可以在显示系统134处呈现适当的2D平面，并且可以响应于用户对所选择的测量的放置(例如，用户在2D平面上对卡尺测量的起点和终点的放置)来计算并呈现测量值。

仍然参考图1，教学引擎180可以包括可以可操作以训练结构识别模块160的一个或多个深度神经网络的神经元的合适的逻辑、电路、接口和/或代码。例如，教学引擎180可以使用由标记模块140标记的容积渲染的一个或多个数据库来训练结构识别模块160的深度神经网络。在各种实施方案中，可以将经标记的容积渲染中的每个经标记的容积渲染与多个视角中的一个视角相关联。作为一个示例，可以由教学引擎180利用具有相关联的解剖结构2D坐标的多个不同视角的容积渲染来训练结构识别模块160深度神经网络，以相对于特定解剖结构的特性(诸如结构边缘的外观、基于边缘的结构形状的外观、超声图像数据中的形状的位置等)来训练结构识别模块160。在某些实施方案中，器官可以是心脏，并且结构信息可以包括关于二尖瓣、主动脉瓣、心包膜、后壁、隔膜壁、室间隔、右心室、左心室、右心房、左心房等的边缘、形状、位置和定时信息(例如，舒张末期、收缩末期等)的信息。在各种实施方案中，可以通过以下操作生成训练容积渲染的数据库：由标记模块140标记3D容积；由容积渲染模块150将经标记的3D容积渲染成多个视角；以及存储以定义的视角提供并且具有2D坐标标签的容积渲染，这些2D坐标标签标识存档138或任何合适的数据存储介质中的解剖结构。在某些实施方案中，教学引擎180和/或训练图像数据库可以是经由有线连接或无线连接通信地耦合到超声系统100的一个或多个外部系统。

图2是根据各种实施方案的可操作以基于容积渲染来识别三维(3D)超声数据中的结构的示例性医疗工作站200的框图。在各种实施方案中，医疗工作站200的部件可以与如图1所示且如上所述的超声系统100的部件共享各种特性。参考图2，医疗工作站200包括显示系统134、信号处理器132、档案138和用户输入模块130等等。医疗工作站200的部件可以用软件、硬件、固件等来实现。医疗工作站200的各种部件可以通信地链接。医疗工作站200的部件可以单独地实现和/或以各种形式集成。例如，显示系统134和用户输入模块130可以集成为触摸屏显示器。

显示系统134可以是能够将视觉信息传送给用户的任何设备。例如，显示系统134可以包括液晶显示器、发光二极管显示器、和/或任何合适的一种或多种显示器。显示系统134可以可操作以显示来自信号处理器132和/或存档138的信息，诸如医疗图像或任何合适的信息。

信号处理器132可以是一个或多个中央处理单元、微处理器、微控制器等。例如，信号处理器132可以是集成部件，也可以分布在各种位置上。信号处理器132包括标记模块140、容积渲染模块150、结构识别模块160和后处理模块170，如上面参考图1所述，并且可以能够从用户输入模块130和/或存档138接收输入信息、生成可由显示系统134显示的输出、并且响应于来自用户输入模块130的输入信息操纵输出等等。例如，信号处理器132，即标记模块140、容积渲染模块150、结构识别模块160和/或后处理模块170，可以能够执行本文根据各种实施方案所讨论的一种或多种方法和/或一个或多个指令集中的任一者。

存档138可以是与医疗工作站200集成和/或通信地耦合(例如，通过网络)到医疗工作站200的一个或多个计算机可读存储器，诸如图片存档和通信系统(PACS)、服务器、硬盘、软盘、CD、CD-ROM、DVD、紧密存储装置、闪存存储器、随机存取存储器、只读存储器、电可擦除和可编程只读存储器和/或任何合适的存储器。例如，存档138可以包括由信号处理器132访问和/或与信号处理器结合的数据库、库、信息集或其他存储装置。例如，存档138可以能够临时地或永久地存储数据。存档138可以能够存储医疗图像数据、由信号处理器132生成的数据、和/或信号处理器132可读的指令等等。在各种实施方案中，存档138存储3D容积、经标记的3D容积、经标记的容积渲染、由结构识别模块160处理的容积渲染、具有对应于检测到的结构的相关联的3D坐标的3D容积、经后处理的容积渲染、经后处理的参数和设置、和/或用于以下操作的指令：执行容积渲染、训练机器学习算法、使用经训练的机器学习算法处理容积渲染、将深度坐标分配给标识容积渲染中的结构位置的一组2D坐标、裁剪和/或取向3D容积、在所显示的图像数据上叠加对应于检测到的结构的标记和/或注释、和/或执行测量等等。

例如，用户输入模块130可以包括能够将来自用户和/或在用户的指示下的信息传送到医疗工作站200的信号处理器132的任何设备。如上面关于图1所讨论的那样，用户输入模块130可以包括能够接收用户指示的触摸板、一个或多个按钮、鼠标设备、键盘、旋转编码器、轨迹球、相机、语音识别和/或任何其他设备。

图3是其中可以实践代表性实施方案的示例性系统300的框图。如图3所示，系统300包括一个或多个服务器310。一个或多个服务器310可以包括例如一个或多个web服务器、一个或多个数据库服务器、一个或多个应用服务器等。一个或多个服务器310可以互连，并且可以例如经由有线数据通信链路或无线数据通信链路的任何合适组合单独地或作为一组连接到网络320诸如互联网。图3还包括外部系统330。外部系统330可以互连，并且可以例如经由有线数据通信链路或无线数据通信链路的任何合适组合单独地或作为一组连接到网络320诸如互联网。外部系统330和/或一个或多个服务器310可以包括如上所述的信号处理器132和/或存档138。图3包括如上参考图1和图2所述的一个或多个超声系统100和/或医疗工作站200。超声系统100和/或医疗工作站200可以通过有线数据通信链路或无线数据通信链路的任何合适组合连接到网络320。在各种实施方案中，外部系统330和/或一个或多个服务器310可以可操作以基于3D超声数据来处理容积渲染以识别容积渲染中的用于与3D超声数据相关联的结构。例如，可以由外部系统330和/或一个或多个服务器310在后台，或者经由超声系统100和/或医疗工作站200中的一者或两者在用户的指示下执行容积渲染模块150、结构识别模块160和/或后处理模块170中的一者或多者的功能。可以由超声系统100和/或医疗工作站200经由一个或多个网络320访问由外部系统330和/或一个或多个服务器310处理和存储的超声图像数据。

图4是根据示例性实施方案的示出可以用于训练结构识别模块160的一个或多个机器学习算法以识别容积渲染视图中的结构的示例性步骤402-408的流程图400。参考图4，示出了包括示例性步骤402至408的流程图400。某些实施方案可以省略步骤中的一个或多个步骤，和/或可以以与所列顺序不同的顺序执行步骤、和/或可以将下面讨论的步骤中的某些步骤相结合。例如，在某些实施方案中可能不执行某些步骤。作为又一示例，可以以与下面列出的顺序不同的时间顺序执行某些步骤(包括同时执行)。

在步骤402处，超声系统100可以采集感兴趣的区域的多个3D容积和/或信号处理器132可以检索该多个3D容积。例如，超声系统100可以利用超声探头104采集3D容积。超声探头104可以将所采集的3D容积提供给信号处理器132。作为另一示例，工作站200或超声系统100的信号处理器132可以从存档138或任何合适的数据存储介质检索3D容积。可以例如根据后续步骤404的需要一次一个地采集或检索3D容积，作为一组3D容积、或者随着时间的推移作为多组3D容积。

在步骤404处，超声系统100或工作站200的信号处理器132可以接收标识3D容积中的结构的标签。例如，执行信号处理器132的标记模块140的用户可以查看与在步骤402处所采集和/或所检索的3D容积中的每个3D容积相对应的图像数据，并且可以提供对应于3D容积中所描绘的结构的标签(在适用情况下)。这些标签可以包括标识3D容积中所描绘的结构的位置的3D坐标。标记模块140可以呈现来自3D容积或3D容积的渲染的2D相交切片，用于由用户经由用户输入模块130接收标签。可以将标签与3D容积相关联地存储在存档138和/或任何合适的存储介质处。

在步骤406处，超声系统100、工作站200、外部系统330或一个或多个服务器310的信号处理器132可以渲染3D容积中的每个3D容积以生成在多个视角下并且具有标识容积渲染中的每个容积渲染中的结构的标签的容积渲染。例如，信号处理器132的容积渲染模块150可以被配置为以多个不同视角生成每个3D容积的渲染。每个3D容积的容积渲染的数量和视角可以是一致的或随机的。例如，每个3D容积可以被渲染成具有相同的或随机的十二(12)个不同视角的十二(12)个容积渲染。尽管指定了十二(12)个视角，但可以使用任何数量的视角。可以将与3D容积中的每个3D容积相关联的标签的3D坐标变换成与所生成的容积渲染中的每个所生成的容积渲染相对应的2D坐标，所生成的容积渲染是3D容积的2D表示。可以将容积渲染和相关联的标签存储在存档138和/或任何合适的存储介质处。

在步骤408处，可以使用具有相关联的标签的容积渲染中的每个容积渲染来训练信号处理器132的结构识别模块160的一个或多个机器学习算法。例如，信号处理器132可以包括教学引擎180，也可以与教学引擎通信。教学引擎可以可操作以从存储装置中检索具有相关联的标签的容积渲染并将它们输入结构识别模块160中以训练结构识别模块160的机器学习算法(例如，深度神经网络)。教学引擎180可以检索在步骤404处由标记模块140标记并且在步骤406处从存档138和/或任何合适的存储介质渲染的容积渲染。可以由教学引擎180利用具有相关联的解剖结构2D坐标的多个不同视角的容积渲染来训练结构识别模块160机器学习算法，以相对于特定解剖结构的特性(诸如结构边缘的外观、基于边缘的结构形状的外观、超声图像数据中的形状的位置等)训练结构识别模块160。训练过程微调机器学习算法以一致且可靠地识别在没有标签的情况下提供给信号处理器132的结构识别模块160的容积渲染中的经标记的结构。

图5是根据示例性实施方案的示出可以用于基于容积渲染来识别三维(3D)超声数据中的结构的示例性步骤502-528的流程图500。参考图5，示出了包括示例性步骤502至528的流程图500。某些实施方案可以省略步骤中的一个或多个步骤，和/或可以以与所列顺序不同的顺序执行步骤、和/或可以将下面讨论的步骤中的某些步骤相结合。例如，在某些实施方案中可能不执行某些步骤。作为又一示例，可以以与下面列出的顺序不同的时间顺序执行某些步骤(包括同时执行)。

在步骤502处，超声系统100可以采集感兴趣的区域的3D容积和/或信号处理器132可以检索该3D容积。例如，超声系统100可以利用超声探头104采集3D容积图像(或形成4D图像的3D容积系列)。作为另一示例，工作站200、服务器310、外部系统330或超声系统100的信号处理器132可以从存档138或任何合适的数据存储介质检索一个或多个3D容积。

在步骤504处，超声系统100、工作站200、外部系统330或一个或多个服务器310的信号处理器132可以渲染在步骤502处所采集和/或所检索的3D容积。例如，信号处理器132的容积渲染模块150可以被配置为生成3D容积在一定视角下的容积渲染。由容积渲染模块150生成的容积渲染是3D容积的2D表示。在某些实施方案中，容积渲染模块150可以创建与所生成的容积渲染相关联的深度图。深度图可以标识容积渲染中的每组2D坐标(例如，每个像素)的Z值。容积渲染模块150可以将容积渲染和对应的深度图存储在存档138和/或任何合适的存储介质处。

在步骤506处，信号处理器132可以处理容积渲染以自动检测容积渲染内的结构并获得检测到的结构的位置信息。例如，超声系统100、工作站200、服务器310和/或外部系统330的信号处理器132的结构识别模块160可以处理容积渲染以检测结构并输出与检测到的结构相关联的位置信息。位置信息可以包括在容积渲染中的检测到的结构的2D坐标。该结构可以与内部身体结构的解剖结构诸如心脏、肺或任何合适的内部身体结构相对应。作为一个示例，心脏的容积渲染中的检测到的结构可以包括二尖瓣、主动脉瓣、心室腔、心房、隔膜、乳头肌、下壁和/或任何合适的心脏结构等等。结构识别模块160可以执行图像检测技术以处理容积渲染。图像检测技术可以包括机器学习算法，诸如深度神经网络，这些机器学习算法经训练以检测特定解剖结构。在示例性实施方案中，结构识别模块160可以可操作以处理容积渲染(这些容积渲染是3D图像数据的2D表示)，并输出检测到的结构的2D坐标。可以将检测到的结构的位置信息与容积渲染一起存储在例如存档138和/或任何合适的存储介质处作为元数据。

在步骤508处，信号处理器132可以访问与容积渲染相关联的深度图，以确定与检测到的结构的位置信息相对应的深度(Z)坐标。例如，检测到的结构的位置信息可以包括容积渲染中的结构的2D坐标。信号处理器132可以从深度图中查找与特定2D坐标相关联的深度(Z)值。2D坐标和深度(Z)坐标形成与检测到的结构的位置相关联的一组3D坐标。

在步骤510处，信号处理器132可以将检测到的结构的位置信息和深度坐标与3D容积相关联地存储。例如，2D坐标和深度(Z)坐标形成与检测到的结构的位置相关联的一组3D坐标。信号处理器132可以基于容积渲染和3D容积的参考坐标系中的差异来将容积渲染中的所识别的结构的位置的该组3D坐标变换为3D容积中的同一位置的对应的一组3D坐标。可以将该组3D坐标与3D容积相关联地存储在存档138和/或任何合适的存储介质处作为元数据。

步骤512-516阐述了第一示例性后处理功能，该第一示例性后处理功能利用3D容积及其检测到的结构的相关联的位置信息和深度坐标来增强3D容积的视图对用户的可视化。在步骤512处，信号处理器132可以接收用户选择和/或应用设置以显示检测到的结构。例如，后处理模块170可以经由用户输入模块接收用户选择以将3D容积导航到心脏的二尖瓣的图像、或任何合适的内部身体结构的任何合适的解剖结构。可以通过例如选择按钮、下拉菜单项、在文本框中输入选择、或提供在显示系统134处呈现的任何合适的可选标识符来提供用户选择。作为另一示例，后处理模块170可以执行所存储的设置以自动导航到检测到的解剖结构的定义视图。

在步骤514处，信号处理器132可以对3D容积执行后处理，以基于选择和/或设置来以预定义的视角裁剪和/或取向图像容积。例如，步骤512的可用用户选择和/或设置可以各自与用于执行后处理的指令相关联。指令可以包括可执行以操纵3D容积以生成后处理图像以便在显示系统134处呈现的后处理参数。后处理参数可以包括裁剪指令、视角和/或任何合适的后处理参数。在某些实施方案中，后处理模块170可以基于所选择的结构的设置和3D坐标来将3D容积操纵到适当的视角。在示例性实施方案中，后处理模块170可以裁剪3D容积以在由3D坐标定义的所选择的解剖结构的前景中移除图像数据。

在步骤516处，信号处理器132可以显示经后处理的图像数据。例如，可以将经后处理的图像呈现在显示系统134处和/或存储在存档138和/或任何合适的存储介质处。

步骤518-520阐述了第二示例性后处理功能，该第二示例性后处理功能利用3D容积及其检测到的结构的相关联的位置信息和深度坐标来增强3D容积(或形成4D图像的3D容积系列)的视图对用户的可视化。在步骤518处，信号处理器132可以接收用户选择和/或应用设置以标记和/或注释检测到的结构。例如，后处理模块170可以经由用户输入模块接收用户选择，以在显示系统134处呈现的图像中标记心脏的二尖瓣、或任何合适的内部身体结构的任何合适的解剖结构。可以通过选择按钮、下拉菜单项和/或任何合适的选择机制来提供用户选择。作为另一示例，后处理模块170可以执行所存储的设置以在所显示的图像中自动标记和/或注释检测到的结构。

在步骤520处，信号处理器132可以在所显示的图像数据上叠加对应于检测到的结构的标记和/或注释。出于本公开的目的，标记可以是任何尺寸、形状、颜色等的视觉对象，该视觉对象可以叠加在图像上以引起对图像中描绘的特定特征的注意。注释可以是文本信息或叠加在图像上的文本信息的链接。在各种实施方案中，后处理模块170可以接收一个或多个3D容积的一个或多个渲染视图，并且可以处理容积渲染以基于所存储的2D坐标或3D坐标来在容积渲染上覆盖标记和/或注释。例如，后处理模块170可以基于由结构识别模块160标识与容积渲染相关联的二尖瓣的坐标，在显示系统134处呈现的4D容积渲染中检测到的心脏的二尖瓣上叠加标记。

步骤524-528阐述了第三示例性后处理功能，该第三示例性后处理功能利用3D容积及其检测到的结构的相关联的位置信息和深度坐标来增强用户执行与检测到的结构相关的测量的能力。在步骤522处，信号处理器132可以接收用户对执行与3D容积中检测到的结构相关的测量的选择。例如，信号处理器132的后处理模块170可以经由用户输入模块接收用户对选择特定测量的选择。可以通过选择按钮、下拉菜单项、在文本框中输入选择或提供任何合适的测量选择来提供用户选择。除了别的之外，可以对心脏进行的测量的示例还包括收缩末期左心室内径(LVID)测量、收缩末期室间隔(IVS)测量、收缩末期左心室后壁(LVPW)测量、或主动脉瓣直径(AV Diam)测量。

在步骤524处，信号处理器132可以对3D容积重新切片以显示适当的2D平面以便执行所选择的测量。例如，信号处理器132的后处理模块170可以基于检测到的结构(例如，左心室、隔膜、后壁、主动脉瓣)的3D坐标来对3D容积重新切片以提取适当的2D平面以便执行所选择的测量。后处理模块170可以在显示系统134处呈现适当的2D平面。

在步骤526处，信号处理器132可以接收所选择的测量在所显示的2D平面中的放置。例如，后处理模块170可以接收卡尺在2D平面中的放置，标识由用户经由用户输入模块130定义的测量的起点和终点。作为另一示例，后处理模块170可以接收周边在2D平面中的放置，标识区域测量的边界。

在步骤528处，信号处理器132可以基于所接收的放置来计算并显示一个或多个所选择的测量值。例如，后处理模块170可以计算卡尺的起点和终点之间的距离、定义的周边内的区域、或任何合适的测量计算。可以将计算的结果呈现在显示系统134处和/或存储在存档138和/或任何合适的存储介质处。

本公开的各方面提供用于基于容积渲染来识别三维(3D)超声数据中的结构的方法400、500和系统100、200、300。根据各种实施方案，方法400、500可以包括由至少一个处理器132的140针对多个3D超声训练容积中的每个3D超声训练容积，接收(404)标识结构的位置的3D容积标签。方法400、500可以包括由至少一个处理器132的150将多个3D超声训练容积中的每个3D超声训练容积渲染(406)成多个视角下的多个训练容积渲染。可以将多个训练容积渲染中的每个训练容积渲染与容积渲染标签相关联，该容积渲染标签与标识结构的位置的3D容积标签相对应。方法400、500可以包括使用多个训练容积渲染中的每个训练容积渲染和相应的相关联的容积渲染标签来训练(408)机器学习算法。方法400、500可以包括以下一项或两项：采集或接收(502)3D超声容积。方法400、500可以包括由至少一个处理器132的150将3D超声容积渲染(504)成一定视角下的容积渲染。方法400、500可以包括由至少一个处理器132的160将机器学习算法应用(506)到容积渲染以检测结构的位置。机器学习算法可以输出容积渲染中的结构的位置。方法400、500可以包括由至少一个处理器132的160将容积渲染中的结构的位置与3D超声容积相关联地存储(510)在存储介质138处。

在代表性实施方案中，将3D超声容积渲染(506)成容积渲染包括生成与容积渲染相对应的深度图。深度图可以将容积渲染的每组二维(2D)坐标与深度坐标相关联。在示例性实施方案中，容积渲染中的结构的由机器学习算法输出的位置为一组2D坐标。在某些实施方案中，将容积渲染中的结构的位置与3D超声容积相关联地存储(510)在存储介质138处包括至少四个步骤。第一步骤可以包括访问(508)与容积渲染相对应的深度图并检索与标识容积渲染中的结构的位置的该组2D坐标相关联的深度值。第二步骤可以包括基于标识容积渲染中的结构的位置的该组2D坐标以及与该组2D坐标相关联的深度值，形成一组3D容积渲染坐标。第三步骤可以包括基于容积渲染的参考坐标系与3D超声容积的参考坐标系之间的差异，将该组3D容积渲染坐标变换为一组3D超声容积坐标。第四步骤可以包括将3D超声容积坐标与3D超声容积相关联地存储(510)在存储介质138处。

在各种实施方案中，方法400、500可以包括以下一项或两项：接收用户选择；或应用设置(512)，以显示定位在3D超声容积中的结构。方法400、500可以包括由至少一个处理器132的170对3D超声容积执行(514)后处理以生成经后处理的图像。后处理可以基于结构的位置并且响应于用户选择或设置中的一项或两项以进行以下一项或两项：将3D超声容积操纵到预定义的视角；以及裁剪3D超声容积。方法400、500可以包括在显示系统134处呈现(516)经后处理的图像。

在某些实施方案中，方法400、500可以包括以下一项或两项：接收用户选择；或应用设置(518)，以在容积渲染上与容积渲染中的结构相关联地叠加标记或注释中的一者或两者。方法400、500可以包括由至少一个处理器132的170响应于用户选择或设置中的一项或两项在容积渲染上与容积渲染中的结构相关联地叠加(520)标记或注释中的一者或两者。方法400、500可以包括在显示系统134处呈现(520)具有标记或注释中的一者或两者的容积渲染。

在示例性实施方案中，方法400、500可以包括接收(522)用户对测量的选择。方法400、500可以包括由至少一个处理器132的170基于结构的所存储的位置对3D超声容积重新切片(524)，以显示2D平面以便执行测量。方法400、500可以包括接收(526)测量在2D平面中的放置。方法400、500可以包括由至少一个处理器132的170基于放置计算测量值以及在显示系统134处显示(528)该测量值。

在代表性实施方案中，3D容积标签包括标识多个3D超声训练容积中的一个3D超声训练容积中的结构的位置的一组3D坐标。容积渲染标签可以包括标识多个训练容积渲染中的一个训练容积渲染中的结构的位置的一组2D坐标。

各种实施方案提供用于基于容积渲染来识别三维(3D)超声数据中的结构的系统100、200、300。系统100、200、300可以包括存储介质138和至少一个处理器132即140、150、160、170。至少一个处理器132的140可以被配置为针对多个3D超声训练容积中的每个3D超声训练容积，接收标识结构的位置的3D容积标签。至少一个处理器132的150可以被配置为将多个3D超声训练容积中的每个3D超声训练容积渲染成多个视角下的多个训练容积渲染。可以将多个训练容积渲染中的每个训练容积渲染与容积渲染标签相关联，该容积渲染标签与标识结构的位置的3D容积标签相对应。至少一个处理器132、180可以被配置为使用多个训练容积渲染中的每个训练容积渲染和相应的相关联的容积渲染标签来训练机器学习算法160。至少一个处理器132可以被配置为接收3D超声容积。至少一个处理器132的150可以被配置为将3D超声容积渲染成一定视角下的容积渲染。至少一个处理器132的160可以被配置为将机器学习算法应用于容积渲染以检测结构的位置。机器学习算法可以输出容积渲染中的结构的位置。存储介质138可以被配置为与3D超声容积相关联地存储容积渲染中的结构的位置。

在某些实施方案中，至少一个处理器132的150被配置为生成与容积渲染相对应的深度图。深度图将容积渲染的每组2D坐标与深度坐标相关联。在示例性实施方案中，容积渲染中的结构的由机器学习算法输出的位置为一组2D坐标。在代表性实施方案中，由至少一个处理器132的160将容积渲染中的结构的位置与3D超声容积相关联地存储在存储介质处，该至少一个处理器被配置为访问与容积渲染相对应的深度图并且检索与标识容积渲染中结构的位置的2D坐标相关联的深度值。至少一个处理器132的160可以被配置为基于标识容积渲染中的结构的位置的2D坐标以及与2D坐标相关联的深度值，形成一组3D容积渲染坐标。至少一个处理器132的160可以被配置为基于容积渲染的参考坐标系与3D超声容积的参考坐标系之间的差异，将该组3D容积渲染坐标变换为一组3D超声容积坐标。至少一个处理器132的160可以被配置为将3D超声容积坐标与3D超声容积相关联地存储在存储介质处。

在示例性实施方案中，系统100、200、300包括显示系统134。至少一个处理器132的170被配置为进行以下一项或两项：接收用户选择；或应用设置，以显示定位在3D超声容积中的结构。至少一个处理器132的170被配置为对3D超声容积执行后处理以生成经后处理的图像。后处理可以基于结构的位置并且响应于用户选择或设置中的一项或两项以进行以下一项或两项：将3D超声容积操纵到预定义的视角；以及裁剪3D超声容积。至少一个处理器132的170被配置为在显示系统134处呈现经后处理的图像。

在各种实施方案中，系统100、200、300包括显示系统134。至少一个处理器132的170可以被配置为进行以下一项或两项：接收用户选择；或应用设置，以在容积渲染上与容积渲染中的结构相关联地叠加标记或注释中的一者或两者。至少一个处理器132的170被配置为响应于用户选择或设置中的一项或两项在容积渲染上与容积渲染中的结构相关联地叠加标记或注释中的一者或两者。至少一个处理器132的170被配置为在显示系统134处呈现具有标记或注释中的一者或两者的容积渲染。

在代表性实施方案中，系统100、200、300包括显示系统134。至少一个处理器132的170被配置为接收用户对测量的选择。至少一个处理器132的170被配置为基于结构的所存储的位置对3D超声容积重新切片，以显示2D平面以便执行测量。至少一个处理器132的170被配置为接收测量在2D平面中的放置。至少一个处理器132的170被配置为基于放置计算并显示测量值。

在示例性实施方案中，3D容积标签可以包括标识多个3D超声训练容积中的一个3D超声训练容积中的结构的位置的一组3D坐标。容积渲染标签可以包括标识多个训练容积渲染中的一个训练容积渲染中的结构的位置的一组2D坐标。

某些实施方案提供其上存储有计算机程序的非暂态计算机可读介质，该计算机程序具有至少一个代码区段。至少一个代码区段可由机器执行，以使机器执行步骤400、500。步骤400、500可以包括针对多个3D超声训练容积中的每个3D超声训练容积，接收(404)标识结构的位置的3D容积标签。步骤400、500可以包括将多个3D超声训练容积中的每个3D超声训练容积渲染(406)成多个视角下的多个训练容积渲染。可以将多个训练容积渲染中的每个训练容积渲染与容积渲染标签相关联，该容积渲染标签与标识结构的位置的3D容积标签相对应。步骤400、500可以包括使用多个训练容积渲染中的每个训练容积渲染和相应的相关联的容积渲染标签来训练(408)机器学习算法160。步骤400、500可以包括以下一项或两项：采集或接收(502)3D超声容积。步骤400、500可以包括将3D超声容积渲染(504)成一定视角下的容积渲染。步骤400、500可以包括将机器学习算法应用(506)于容积渲染以检测结构的位置。机器学习算法可以输出容积渲染中的结构的位置。步骤400、500可以包括将容积渲染中的结构的位置与3D超声容积相关联地存储(510)在存储介质138处。

在各种实施方案中，将3D超声容积渲染(506)成容积渲染包括生成与容积渲染相对应的深度图。在某些实施方案中，深度图可以将容积渲染的每组2D坐标与深度坐标相关联。在示例性实施方案中，容积渲染中的结构的由机器学习算法输出的位置为一组2D坐标。在各种实施方案中，将容积渲染中的结构的位置与3D超声容积相关联地存储(510)在存储介质处可以包括至少四个步骤。第一步骤可以包括访问(508)与容积渲染相对应的深度图并检索与标识容积渲染中的结构的位置的2D坐标相关联的深度值。第二步骤可以包括基于标识容积渲染中的结构的位置的2D坐标以及与2D坐标相关联的深度值，形成一组3D容积渲染坐标。第三步骤可以包括基于容积渲染的参考坐标系与3D超声容积的参考坐标系之间的差异，将该组3D容积渲染坐标变换为一组3D超声容积坐标。第四步骤可以包括将3D超声容积坐标与3D超声容积相关联地存储(510)在存储介质138处。

在代表性实施方案中，步骤400、500可以包括以下一项或两项：接收用户选择；或应用设置(512)，以显示定位在3D超声容积中的结构。步骤400、500可以包括对3D超声容积执行(514)后处理以生成经后处理的图像。后处理可以基于结构的位置并且响应于用户选择或设置中的一项或两项以进行以下一项或两项：将3D超声容积操纵到预定义的视角；以及裁剪3D超声容积。步骤400、500可以包括在显示系统134处呈现(516)经后处理的图像。

在示例性实施方案中，步骤400、500可以包括以下一项或两项：接收用户选择；或应用设置(518)，以在容积渲染上与容积渲染中的结构相关联地叠加标记或注释中的一者或两者。步骤400、500可以包括响应于用户选择或设置中的一项或两项在容积渲染上与容积渲染中的结构相关联地叠加(520)标记或注释中的一者或两者。步骤400、500可以包括在显示系统134处呈现(520)具有标记或注释中的一者或两者的容积渲染。

在某些实施方案中，步骤400、500可以包括接收(522)用户对测量的选择。步骤400、500可以包括基于结构的所存储的位置对3D超声容积重新切片(524)，以显示2D平面以便执行测量。步骤400、500可以包括接收(526)测量在2D平面中的放置。步骤400、500可以包括基于放置计算并显示(528)测量值。

如本文所用，术语“电路”是指物理电子部件(即硬件)和任何软件和/或固件(“代码”)，其可以配置硬件、可以由硬件执行、或者可以以其他方式与硬件相关联。如本文所用，例如，特定处理器和存储器可以在执行第一行或多行代码时包括第一“电路”，并且可以在执行第二行或多行代码时包括第二“电路”。如本文所用，“和/或”表示列表中的由“和/或”连结的项中的任一个或多个项。作为一个示例，“x和/或y”表示三元素集{(x),(y),(x,y)}中的任何元素。作为另一示例，“x、y和/或z”表示七元素集{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。如本文所用，术语“示例性”表示用作非限制性示例、实例或例证。如本文所用，术语“例如(e.g.)”和“例如(for example)”引出一个或多个非限制性示例、实例或例证的列表。如本文所用，电路“可操作以”或“被配置为”每当该电路包括执行功能的必要硬件和代码(如果有必要的话)时执行该功能，不管通过某些用户可配置的设置禁用或不启用该功能的执行。

其他实施方案可以提供其上存储有机器代码和/或计算机程序的计算机可读设备和/或非暂态计算机可读介质、和/或机器可读设备和/或非暂态机器可读介质，该机器代码和/或计算机程序具有可由机器和/或计算机执行的至少一个代码区段，从而使机器和/或计算机执行如本文所述的用于基于容积渲染来识别三维(3D)超声数据中的结构的步骤。

因此，本公开可以用硬件、软件或硬件和软件的组合来实现。本公开可以以集中的方式在至少一个计算机系统中实现，或者以分布式方式实现，其中不同元件分布在若干互连的计算机系统上。适用于执行本文所述方法的任何类型的计算机系统或其他装置都是适合的。

各种实施方案也可以嵌入在计算机程序产品中，该计算机程序产品包括能够实现本文描述的方法的所有特征，并且当加载到计算机系统中时，该计算机程序产品能够执行这些方法。本上下文中的计算机程序是指任何一种语言、代码或符号的指令集的任何表达形式，旨在使具有信息处理能力的系统直接地或在进行以下任一种或两种处理后执行特定功能：a)转换到另一种语言、代码或符号；b)以不同材料形式再现。

虽然已经参考某些实施方案来描述了本公开，但是本领域的技术人员应当理解，在不脱离本公开的范围的情况下，可以进行各种改变并可以替换等同物。另外，在不脱离本公开的范围的情况下，可以进行许多修改以使特定情况或材料适应于本公开的教导。因此，本公开不旨在限于所公开的特定实施方案，而是本公开将包括落入所附权利要求书的范围内的所有实施方案。

Claims (20)

1.一种基于容积渲染在3D超声数据中进行结构识别的方法，包括：

由至少一个处理器，针对多个3D超声训练容积中的每个3D超声训练容积，接收标识结构的位置的3D容积标签；

由所述至少一个处理器将所述多个3D超声训练容积中的每个3D超声训练容积渲染成多个视角下的多个训练容积渲染，其中所述多个训练容积渲染中的每个训练容积渲染与对应于标识所述结构的所述位置的所述3D容积标签的容积渲染标签相关联；

使用所述多个训练容积渲染中的每个训练容积渲染和相应的相关联的容积渲染标签来训练机器学习算法；

以下一项或两项：采集3D超声容积；或接收3D超声容积；

由所述至少一个处理器将所述3D超声容积渲染成一定视角下的容积渲染；

由所述至少一个处理器将所述机器学习算法应用于所述容积渲染以检测所述结构的所述位置，其中所述机器学习算法输出所述容积渲染中的所述结构的所述位置；以及

由所述至少一个处理器将所述容积渲染中的所述结构的所述位置与所述3D超声容积相关联地存储在存储介质处。

2.根据权利要求1所述的方法，其中所述将所述3D超声容积渲染成所述容积渲染包括生成与所述容积渲染相对应的深度图，所述深度图将所述容积渲染的每组2D坐标与深度坐标相关联。

3.根据权利要求2所述的方法，其中所述容积渲染中的所述结构的由所述机器学习算法输出的所述位置为一组2D坐标。

4.根据权利要求3所述的方法，其中所述将所述容积渲染中的所述结构的所述位置与所述3D超声容积相关联地存储在存储介质处包括：

访问与所述容积渲染相对应的所述深度图并检索与标识所述容积渲染中的所述结构的所述位置的所述组的2D坐标相关联的深度值；

基于标识所述容积渲染中的所述结构的所述位置的所述组的2D坐标以及与所述组的2D坐标相关联的所述深度值，形成一组3D容积渲染坐标；

基于所述容积渲染的参考坐标系与所述3D超声容积的参考坐标系之间的差异，将所述组的3D容积渲染坐标变换为一组3D超声容积坐标；以及

将所述3D超声容积坐标与所述3D超声容积相关联地存储在所述存储介质处。

5.根据权利要求1所述的方法，包括：

以下一项或两项：接收用户选择；或应用设置，以显示定位在所述3D超声容积中的所述结构；

由所述至少一个处理器对所述3D超声容积执行后处理以生成经后处理的图像，所述后处理基于所述结构的所述位置并且响应于所述用户选择或所述设置中的一项或两项来进行以下一项或两项：将所述3D超声容积操纵到预定义的视角；并裁剪所述3D超声容积；以及

在显示系统处呈现所述经后处理的图像。

6.根据权利要求1所述的方法，包括：

以下一项或两项：接收用户选择；或应用设置，以在所述容积渲染上与所述容积渲染中的所述结构相关联地叠加标记或注释中的一者或两者；

由所述至少一个处理器响应于所述用户选择或所述设置中的所述一项或两项在所述容积渲染上与所述容积渲染中的所述结构相关联地叠加所述标记或所述注释中的所述一者或两者；以及

在显示系统处呈现具有所述标记或所述注释中的所述一者或两者的所述容积渲染。

7.根据权利要求1所述的方法，包括：

接收用户对测量的选择；

由所述至少一个处理器基于所述结构的所存储的位置对所述3D超声容积重新切片，以显示2D平面以便执行所述测量；

接收所述测量在所述2D平面中的放置；以及

由所述至少一个处理器基于所述放置计算测量值，并且在显示系统处显示所述测量值。

8.根据权利要求1所述的方法，其中所述3D容积标签包括标识所述多个3D超声训练容积中的一个3D超声训练容积中的所述结构的所述位置的一组3D坐标，并且其中所述容积渲染标签包括标识所述多个训练容积渲染中的一个训练容积渲染中的所述结构的所述位置的一组2D坐标。

9.一种基于容积渲染在3D超声数据中进行结构识别的系统，所述系统包括：

至少一个处理器，所述至少一个处理器被配置为：

针对多个3D超声训练容积中的每个3D超声训练容积，接收标识结构的位置的3D容积标签；

将所述多个3D超声训练容积中的每个3D超声训练容积渲染成多个视角下的多个训练容积渲染，其中所述多个训练容积渲染中的每个训练容积渲染与对应于标识所述结构的所述位置的所述3D容积标签的容积渲染标签相关联；

使用所述多个训练容积渲染中的每个训练容积渲染和相应的相关联的容积渲染标签来训练机器学习算法；

接收3D超声容积；

将所述3D超声容积渲染成一定视角下的容积渲染；以及

将所述机器学习算法应用于所述容积渲染以检测所述结构的所述位置，其中所述机器学习算法输出所述容积渲染中的所述结构的所述位置；和

存储介质，所述存储介质被配置为将所述容积渲染中的所述结构的所述位置与所述3D超声容积相关联地存储。

10.根据权利要求9所述的系统，其中：

所述至少一个处理器被配置为生成与所述容积渲染相对应的深度图，所述深度图将所述容积渲染的每组2D坐标与深度坐标相关联；并且

所述容积渲染中的所述结构的由所述机器学习算法输出的所述位置为一组2D坐标。

11.根据权利要求10所述的系统，其中由所述至少一个处理器将所述容积渲染中的所述结构的所述位置与所述3D超声容积相关联地存储在所述存储介质处，所述至少一个处理器被配置为：

访问与所述容积渲染相对应的所述深度图并检索与标识所述容积渲染中的所述结构的所述位置的所述组的2D坐标相关联的深度值；

基于标识所述容积渲染中的所述结构的所述位置的所述组的2D坐标以及与所述组的2D坐标相关联的所述深度值，形成一组3D容积渲染坐标；

基于所述容积渲染的参考坐标系与所述3D超声容积的参考坐标系之间的差异，将所述组的3D容积渲染坐标变换为一组3D超声容积坐标；以及

将所述3D超声容积坐标与所述3D超声容积相关联地存储在所述存储介质处。

12.根据权利要求9所述的系统，包括显示系统，其中所述至少一个处理器被配置为：

以下一项或两项：接收用户选择；或应用设置，以显示定位在所述3D超声容积中的所述结构；

对所述3D超声容积执行后处理以生成经后处理的图像，所述后处理基于所述结构的所述位置并且响应于所述用户选择或所述设置中的一项或两项来进行以下一项或两项：将所述3D超声容积操纵到预定义的视角；并裁剪所述3D超声容积；以及

在所述显示系统处呈现所述经后处理的图像。

13.根据权利要求9所述的系统，包括显示系统，其中所述至少一个处理器被配置为：

以下一项或两项：接收用户选择；或应用设置，以在所述容积渲染上与所述容积渲染中的所述结构相关联地叠加标记或注释中的一者或两者；

响应于所述用户选择或所述设置中的所述一项或两项在所述容积渲染上与所述容积渲染中的所述结构相关联地叠加所述标记或所述注释中的所述一者或两者；以及

在所述显示系统处呈现具有所述标记或所述注释中的所述一者或两者的所述容积渲染。

14.根据权利要求9所述的系统，包括显示系统，其中所述至少一个处理器被配置为：

接收用户对测量的选择；

基于所述结构的所存储的位置对所述3D超声容积重新切片，以显示2D平面以便执行所述测量；

接收所述测量在所述2D平面中的放置；以及

基于所述放置计算并显示测量值。

15.根据权利要求9所述的系统，其中所述3D容积标签包括标识所述多个3D超声训练容积中的一个3D超声训练容积中的所述结构的所述位置的一组3D坐标，并且其中所述容积渲染标签包括标识所述多个训练容积渲染中的一个训练容积渲染中的所述结构的所述位置的一组2D坐标。

16.一种非暂态计算机可读介质，所述非暂态计算机可读介质上存储有计算机程序，所述计算机程序具有至少一个代码区段，所述至少一个代码区段可由机器执行以使所述机器执行包括以下各项的步骤：

针对多个3D超声训练容积中的每个3D超声训练容积，接收标识结构的位置的3D容积标签；

将所述多个3D超声训练容积中的每个3D超声训练容积渲染成多个视角下的多个训练容积渲染，其中所述多个训练容积渲染中的每个训练容积渲染与对应于标识所述结构的所述位置的所述3D容积标签的容积渲染标签相关联；

使用所述多个训练容积渲染中的每个训练容积渲染和相应的相关联的容积渲染标签来训练机器学习算法；

以下一项或两项：采集3D超声容积；或接收3D超声容积；

将所述3D超声容积渲染成一定视角下的容积渲染；

将所述机器学习算法应用于所述容积渲染以检测所述结构的所述位置，其中所述机器学习算法输出所述容积渲染中的所述结构的所述位置；以及

将所述容积渲染中的所述结构的所述位置与所述3D超声容积相关联地存储在存储介质处。

17.根据权利要求16所述的非暂态计算机可读介质，其中：

所述将所述3D超声容积渲染成所述容积渲染包括生成与所述容积渲染相对应的深度图，所述深度图将所述容积渲染的每组2D坐标与深度坐标相关联；

所述容积渲染中的所述结构的由所述机器学习算法输出的所述位置为一组2D坐标；并且

所述将所述容积渲染中的所述结构的所述位置与所述3D超声容积相关联地存储在存储介质处包括：

访问与所述容积渲染相对应的所述深度图并检索与标识所述容积渲染中的所述结构的所述位置的所述组的2D坐标相关联的深度值；

基于标识所述容积渲染中的所述结构的所述位置的所述组的2D坐标以及与所述组的2D坐标相关联的所述深度值，形成一组3D容积渲染坐标；

基于所述容积渲染的参考坐标系与所述3D超声容积的参考坐标系之间的差异，将所述组的3D容积渲染坐标变换为一组3D超声容积坐标；以及

将所述3D超声容积坐标与所述3D超声容积相关联地存储在所述存储介质处。

18.根据权利要求16所述的非暂态计算机可读介质，包括：

以下一项或两项：接收用户选择；或应用设置，以显示定位在所述3D超声容积中的所述结构；

对所述3D超声容积执行后处理以生成经后处理的图像，所述后处理基于所述结构的所述位置并且响应于所述用户选择或所述设置中的一项或两项来进行以下一项或两项：将所述3D超声容积操纵到预定义的视角；以及裁剪所述3D超声容积；以及

在显示系统处呈现所述经后处理的图像。

19.根据权利要求16所述的非暂态计算机可读介质，包括：

以下一项或两项：接收用户选择；或应用设置，以在所述容积渲染上与所述容积渲染中的所述结构相关联地叠加标记或注释中的一者或两者；

响应于所述用户选择或所述设置中的所述一项或两项在所述容积渲染上与所述容积渲染中的所述结构相关联地叠加所述标记或所述注释中的所述一者或两者；以及

在显示系统处呈现具有所述标记或所述注释中的所述一者或两者的所述容积渲染。

20.根据权利要求16所述的非暂态计算机可读介质，包括：

接收用户对测量的选择；

基于所述结构的所存储的位置对所述3D超声容积重新切片，以显示2D平面以便执行所述测量；

接收所述测量在所述2D平面中的放置；以及

基于所述放置计算并显示测量值。