CN113096238B - 一种x射线图模拟方法、装置、电子设备及存储介质 - Google Patents
一种x射线图模拟方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113096238B CN113096238B CN202110364721.0A CN202110364721A CN113096238B CN 113096238 B CN113096238 B CN 113096238B CN 202110364721 A CN202110364721 A CN 202110364721A CN 113096238 B CN113096238 B CN 113096238B
- Authority
- CN
- China
- Prior art keywords
- image
- volume rendering
- dimensional
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010586 diagram Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004088 simulation Methods 0.000 title claims abstract description 43
- 238000009877 rendering Methods 0.000 claims abstract description 111
- 238000003062 neural network model Methods 0.000 claims abstract description 86
- 238000002591 computed tomography Methods 0.000 claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010008 shearing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种X射线图模拟方法、装置、电子设备及存储介质，该方法包括：获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；使用训练后的神经网络模型提取二维X射线图中的体绘制参数；根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。在上述的实现过程中，通过使用训练后的神经网络模型提取二维X射线图中的体绘制参数，从而有效地避免了人工地设置体绘制参数的过程，从而自动地使用模型提取出的体绘制参数对三维体绘制模型进行模拟运算，有效地模拟出三维X射线图的效果。
Description
技术领域
本申请涉及深度学习、三维模拟和图像处理的技术领域，具体而言，涉及一种X射线图模拟方法、装置、电子设备及存储介质。
背景技术
体绘制(Volume Rendering)，又被称射线投射或射线跟踪，是一种直接由三维数据场产生屏幕上二维图像的技术。体绘制的大致流程为：根据当前的相机参数，通过将光线穿过像素发送到场景中来确定图像中每个像素的值；然后，使用一些指定的函数评估沿射线遇到的数据，以便计算像素值。
计算机体层摄影(Computed Tomography，CT)，又被称为电子计算机断层扫描或者CT扫描，是指利用精确准直的X射线和γ射线等射线与探测器一同围绕人体的某一部位进行断面扫描，具有扫描时间快，图像清晰等特点，通常CT扫描获得的结果又被称为CT图像。
目前，使用体绘制技术来对计算机断层扫描CT图像进行模拟，从而可以获得二维X射线效果，然而，在具体的实践过程中发现，使用体绘制技术无法实现模拟出三维X射线的效果。
发明内容
本申请实施例的目的在于提供一种X射线图模拟方法、装置、电子设备及存储介质，用于改善无法实现模拟出三维X射线的效果的问题。
本申请实施例提供了一种X射线图模拟方法，包括：获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；使用训练后的神经网络模型提取二维X射线图中的体绘制参数；根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。在上述的实现过程中，通过使用训练后的神经网络模型提取二维X射线图中的体绘制参数，从而有效地避免了人工地设置体绘制参数的过程，从而自动地使用模型提取出的体绘制参数对三维体绘制模型进行模拟运算，有效地模拟出三维X射线图的效果。
可选地，在本申请实施例中，在使用训练后的神经网络模型提取二维X射线图中的体绘制参数之前，还包括：获取多个射线图像和多个图像标签，图像标签是射线图像对应的体绘制参数；根据多个射线图像和多个图像标签对神经网络模型进行训练，获得训练后的神经网络模型。在上述的实现过程中，通过根据多个射线图像和多个图像标签对神经网络模型进行训练，从而避免了使用未经训练的神经网络模型进行预测，提高了模拟出三维X射线图的效果；同时相比于采用将X射线图作为图像标签，使用体绘制参数作为训练标签减小了计算量，从而极大地减少了训练神经网络模型的时间。
可选地，在本申请实施例中，根据多个射线图像和多个图像标签对神经网络模型进行训练，包括：根据图像标签对应的体绘制参数绘制出第一X射线图；使用神经网络模型提取射线图像中的体绘制参数，并根据射线图像中的体绘制参数绘制出第二X射线图；判断第一X射线图与第二X射线图之间的相似度是否大于预设阈值；若否，则更新神经网络模型中的权重参数。在上述的实现过程中，通过将三维X射线图与图像标签之间的相似度作为损失值，并使用该损失值来更新神经网络模型中的权重参数，从而能够直观地看到射线图与训练过程中的在视觉效果上的进度，对于辅助诊断和手术导航有非常大的帮助。
可选地，在本申请实施例中，根据多个射线图像和多个图像标签对神经网络模型进行训练，包括：使用神经网络模型提取射线图像对应的预测标签，预测标签为射线图像中的体绘制参数；计算射线图像对应的预测标签与射线图像对应的图像标签之间的损失值；根据损失值更新神经网络模型中的权重参数。在上述的实现过程中，通过根据体绘制参数与标签之间的损失值来更新神经网络模型中的权重参数，从而避免了图像相似度的计算过程，有效地提高了神经网络模型的训练速度和效率。
可选地，在本申请实施例中，根据CT图像序列重建出三维体绘制模型，包括：使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对CT图像序列进行运算，获得三维体绘制模型。在上述的实现过程中，通过使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对CT图像序列进行运算，从而提高了获得三维体绘制模型的精确度。
可选地，在本申请实施例中，三维X射线图包括：正视图和侧视图。
可选地，在本申请实施例中，体绘制参数包括：体素坐标和颜色不透明度。
本申请实施例还提供了一种X射线图模拟装置，包括：图像序列获取模块，用于获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；绘制参数提取模块，用于使用训练后的神经网络模型提取二维X射线图中的体绘制参数；三维图像获得模块，用于根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。
可选地，在本申请实施例中，X射线图模拟装置，还包括：图像标签获取模块，用于获取多个射线图像和多个图像标签，图像标签是射线图像对应的体绘制参数；网络模型获得模块，用于根据多个射线图像和多个图像标签对神经网络模型进行训练，获得训练后的神经网络模型。
可选地，在本申请实施例中，网络模型获得模块，包括：第一图像绘制模块，用于根据图像标签对应的体绘制参数绘制出第一X射线图；第二图像绘制模块，用于使用神经网络模型提取射线图像中的体绘制参数，并根据射线图像中的体绘制参数绘制出第二X射线图；相似度值判断模块，用于判断第一X射线图与第二X射线图之间的相似度是否大于预设阈值；第一权重更新模块，用于若第一X射线图与第二X射线图之间的相似度不大于预设阈值，则更新神经网络模型中的权重参数。
可选地，在本申请实施例中，网络模型获得模块，包括：预测标签提取模块，用于使用神经网络模型提取射线图像对应的预测标签，预测标签为射线图像中的体绘制参数；标签损失计算模块，用于计算射线图像对应的预测标签与射线图像对应的图像标签之间的损失值；第二权重更新模块，用于根据损失值更新神经网络模型中的权重参数。
可选地，在本申请实施例中，三维图像获得模块，具体用于：使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对CT图像序列进行运算，获得三维体绘制模型。
可选地，在本申请实施例中，三维X射线图可以包括：正视图和侧视图。
可选地，在本申请实施例中，体绘制参数可以包括：体素坐标和颜色不透明度。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的X射线图模拟方法的流程示意图；
图2示出的本申请实施例提供的神经网络模型的其中一种网络结构示意图；
图3示出的本申请实施例提供的X射线图模拟装置的结构示意图；
图4示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的X射线图模拟方法之前，先介绍本申请实施例中所涉及的一些概念：
三维体素：3D图像中某个坐标的像素点，类比二维图像的像素点，三维体素是笛卡尔坐标系中三维图像的像素点，体素的坐标就是该点在笛卡尔坐标系中的坐标。
结构相似性(structural similarity，SSIM)指标，又被称为SSIM指标或简称为SSIM，是一种用以衡量两张数位影像相似程度的指标；当两张影像其中一张为无失真影像，另一张为失真后的影像，二者的结构相似性可以看成是失真影像的影像品质衡量指标。
峰值信噪比(Peak Signal to Noise Ratio，PSNR)，是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语；由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位进行表示。
服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。
需要说明的是，本申请实施例提供的X射线图模拟方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personaldigital assistant，PDA)或者移动上网设备(mobile Internet device，MID)等。
在介绍本申请实施例提供的X射线图模拟方法之前，先介绍该X射线图模拟方法适用的应用场景，这里的应用场景包括但不限于：使用该X摄像图模拟方法增强医学影像处理软件或者医疗设备的功能，例如为医学影像处理软件增加通过二维X射线图和计算机断层扫描CT图像序列模拟三维X摄像图的功能等等。
请参见图1示出的本申请实施例提供的X射线图模拟方法的流程示意图；该X射线图模拟方法的主要思路是，通过使用训练后的神经网络模型提取二维X射线图中的体绘制参数，从而有效地避免了人工地设置体绘制参数的过程，从而自动地使用模型提取出的体绘制参数对三维体绘制模型进行模拟运算，有效地模拟出三维X射线图的效果；上述的X射线图模拟方法可以包括：
步骤S110：获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列。
待模拟对象，是指需要将拍摄的二维X射线图模拟为三维X射线图的目标对象，此处的目标对象(即待模拟对象)可以是疑似患病者，也可以是患病的动物等等。
上述步骤S110中的二维X射线图和CT图像序列的获取方式包括：
第一种获取方式，使用摄像机、录像机或彩色照相机等终端设备对目标对象进行拍摄，获得二维X射线图和CT图像序列；然后该终端设备向电子设备发送二维X射线图和CT图像序列，然后电子设备接收终端设备发送的二维X射线图和CT图像序列，电子设备可以将二维X射线图和CT图像序列存储至文件系统、数据库或移动存储设备中。
第二种获取方式，获取预先存储的二维X射线图和CT图像序列，具体例如：从文件系统中获取二维X射线图和CT图像序列，或者从数据库中获取二维X射线图和CT图像序列，或者从移动存储设备中获取二维X射线图和CT图像序列。
在步骤S110之后，执行步骤S120：使用训练后的神经网络模型提取二维X射线图中的体绘制参数。
体绘制参数是指在使用体绘制(VolumeRendering)技术相关软件中需要设置的参数；此处的体绘制参数可以包括：体素坐标和颜色不透明度。
可以理解的是，在使用训练后的神经网络模型之前，还需要对神经网络模型进行训练，训练该神经网络模型的过程可以包括：获取多个射线图像和多个图像标签，图像标签是射线图像对应的体绘制参数。根据多个射线图像和多个图像标签对神经网络模型进行训练，获得训练后的神经网络模型，最后，使用训练后的神经网络模型提取二维X射线图中体素坐标和颜色不透明度等等体绘制参数。
上述步骤S120中的神经网络模型的训练方式有很多种，可以包括：
第一种训练方式，使用X射线图与标签之间的损失值训练模型，并使用训练后的模型提取体绘制参数，该实施方式可以包括如下步骤：
步骤S121：根据图像标签对应的体绘制参数绘制出第一X射线图。
上述步骤S121的实施方式例如：从互联网上下载训练数据集，然后从训练数据集中提取出体绘制参数，将此处的体绘制参数作为图像标签，并在医学影像处理软件中输入图像标签对应的体绘制参数，从而使用医学影像处理软件绘制出第一X射线图，此处的第一X射线图可以是三维X射线图。上述的三维X射线图可以是灰度图像，即三维X射线图的三维体素的颜色值取值范围在0至255之间，白色明亮的部分就是骨骼。
步骤S122：使用神经网络模型提取射线图像中的体绘制参数，并根据射线图像中的体绘制参数绘制出第二X射线图。
请参见图2示出的本申请实施例提供的神经网络模型的其中一种网络结构示意图；上述的神经网络模型是指使用预设的训练数据对未经训练的神经网络进行训练后获得的神经网络模型，这里的预设的训练数据可以根据具体实际情况进行设置，例如：在图像识别的任务中，预设的训练数据是指需要识别的样本图像以及该样本图像对应的图像标签。上述神经网络模型可以包括：反向传播(Back Propagation，BP)层、受限玻尔兹曼机(Restricted Boltzmann machine，RBM)层、隐藏(Hidden)层和可视(Visualization)层，各个层级间的连接关系如图所示；此处的神经网络模型可以使用卷积神经网络(Convolutional Neural Networks，CNN)，可以使用的卷积神经网络例如：LeNet网络模型、AlexNet网络模型、VGG网络模型、GoogLeNet网络模型和ResNet网络模型等等。
上述步骤S122的实施方式例如：使用神经网络模型提取射线图像中的体绘制参数，并使用医学影像处理软件根据该体绘制参数绘制出第二X射线图，具体例如：将医学影像处理软件调整为混合(additive)模式或者最大密度投影(Maximum intensity)模式，然后从冠状面、矢状面和横断面三种不同的视图中，对三维体绘制模型进行模拟运算，从而获取医学影像处理软件输出的第二X射线图。可以理解的是，上述的第一X射线图和第二X射线图均是三维X射线图，三维X射线图包括：正视图和侧视图。
步骤S123：判断第一X射线图与第二X射线图之间的相似度是否大于预设阈值。
上述步骤S123的实施方式例如：计算第一X射线图与第二X射线图之间的结构相似性(SSIM)指标、均方误差(Mean Square Error，MSE)指标或者峰值信噪比(PSNR)指标，并将SSIM指标、MSE指标或者PSNR指标作为衡量第一X射线图与第二X射线图之间的相似程度的指标，判断第一X射线图与第二X射线图之间的SSIM指标、MSE指标或者PSNR指标是否大于预设阈值；其中，此处的预设阈值可以根据具体情况进行设置，例如将预设阈值设置为70％、80％或者90％等等。
步骤S124：若第一X射线图与第二X射线图之间的相似度不大于预设阈值，则更新神经网络模型中的权重参数。
上述步骤S124的实施方式例如：若第一X射线图与第二X射线图之间的相似度不大于预设阈值，则更新神经网络模型中的权重参数，直到神经网络模型中的权重参数收敛，获得训练后的神经网络模型。若第一X射线图与第二X射线图之间的相似度大于预设阈值，则停止更新神经网络模型中的权重参数，获得训练后的神经网络模型。
第二种训练方式，使用体绘制参数与标签之间的损失值训练模型，并使用训练后的模型提取体绘制参数，该实施方式可以包括如下步骤：
步骤S125：使用神经网络模型提取射线图像对应的预测标签，预测标签为射线图像中的体绘制参数。
上述步骤S125的实施方式例如：将射线图像输入待训练的神经网络模型，获得神经网络模型输出的体绘制参数，即使用神经网络模型提取射线图像中的体绘制参数；其中，此处的神经网络模型可以采用深度神经网络(Deep Neural Network,DNN)，例如：VGG网络、ResNet网络、Wide ResNet网络和Inception网络等；其中，VGG网络具体例如：VGG16或者VGG19；ResNet网络具体例如：ResNet12、ResNet18、ResNet50或者ResNet101；Wide ResNet网络具体例如Wide ResNet-28-10网络，这里的Wide ResNet-28-10网络有时又被缩写为WRN-28-10；Inception网络具体例如：Inception v1、Inception v2或者Inception v3。
步骤S126：计算射线图像对应的预测标签与射线图像对应的图像标签之间的损失值。
上述步骤S126的实施方式例如：使用损失函数(loss function)来计算射线图像对应的预测标签与射线图像对应的图像标签之间的损失值；其中，可以使用的损失函数包括：交叉熵损失函数、平方损失函数、指数损失函数(exponential loss)、0-1损失函数(zero-one loss)和绝对值损失函数等等。
步骤S127：根据射线图像对应的预测标签与射线图像对应的图像标签之间的损失值更新神经网络模型中的权重参数。
上述步骤S127的实施方式例如：若神经网络模型中的权重参数没有收敛，则根据射线图像对应的预测标签与射线图像对应的图像标签之间的损失值更新神经网络模型中的权重参数，直到神经网络模型中的权重参数收敛，获得训练后的神经网络模型。若神经网络模型中的权重参数收敛，则获得训练后的神经网络模型。
在步骤S120之后，执行步骤S130：根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。
上述步骤S130的实施方式例如：使用光线投射算法、抛雪球(Splatting)算法、剪切扭曲(Shear Warp)算法或者基于纹理的体绘制(Texture Based Volume Rendering)算法对CT图像序列进行重建运算，获得三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。此处的三维体绘制模型是指使用体绘制技术对CT图像序列进行渲染获得的一种视觉数据模型；从渲染出来的图像上看过去，体绘制模型类似于一种加了颜色的3D网格模型，色彩更加丰富，便于区分不同的组织器官。
在上述的实现过程中，首先，使用训练后的神经网络模型提取二维X射线图中的体绘制参数；然后，根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。也就是说，通过使用训练后的神经网络模型提取二维X射线图中的体绘制参数，从而有效地避免了人工地设置体绘制参数的过程，从而自动地使用模型提取出的体绘制参数对三维体绘制模型进行模拟运算，有效地模拟出三维X射线图的效果。
请参见图3示出的本申请实施例提供的X射线图模拟装置的结构示意图；本申请实施例提供了一种X射线图模拟装置200，包括：
图像序列获取模块210，用于获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列。
绘制参数提取模块220，用于使用训练后的神经网络模型提取二维X射线图中的体绘制参数。
三维图像获得模块230，用于根据CT图像序列重建出三维体绘制模型，并根据体绘制参数对三维体绘制模型进行模拟运算，获得待模拟对象对应的三维X射线图。
可选地，在本申请实施例中，X射线图模拟装置，还包括：
图像标签获取模块，用于获取多个射线图像和多个图像标签，图像标签是射线图像对应的体绘制参数。
网络模型获得模块，用于根据多个射线图像和多个图像标签对神经网络模型进行训练，获得训练后的神经网络模型。
可选地，在本申请实施例中，网络模型获得模块，包括：
第一图像绘制模块，用于根据图像标签对应的体绘制参数绘制出第一X射线图。
第二图像绘制模块，用于使用神经网络模型提取射线图像中的体绘制参数，并根据射线图像中的体绘制参数绘制出第二X射线图。
相似度值判断模块，用于判断第一X射线图与第二X射线图之间的相似度是否大于预设阈值。
第一权重更新模块，用于若第一X射线图与第二X射线图之间的相似度不大于预设阈值，则更新神经网络模型中的权重参数。
可选地，在本申请实施例中，网络模型获得模块，还可以包括：
预测标签提取模块，用于使用神经网络模型提取射线图像对应的预测标签，预测标签为射线图像中的体绘制参数。
标签损失计算模块，用于计算射线图像对应的预测标签与射线图像对应的图像标签之间的损失值。
第二权重更新模块，用于根据损失值更新神经网络模型中的权重参数。
可选地，在本申请实施例中，三维图像获得模块，具体用于：
使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对CT图像序列进行运算，获得三维体绘制模型。
可选地，在本申请实施例中，三维X射线图可以包括：正视图和侧视图。
可选地，在本申请实施例中，体绘制参数可以包括：体素坐标和颜色不透明度。
应理解的是，该装置与上述的X射线图模拟方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图4示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上的方法。
本申请实施例还提供了一种存储介质330，该存储介质330上存储有计算机程序，该计算机程序被处理器310运行时执行如上的方法。
其中，存储介质330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Read-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (7)
1.一种X射线图模拟方法，其特征在于，包括：
获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；
使用训练后的神经网络模型提取所述二维X射线图中的体绘制参数；
根据所述CT图像序列重建出三维体绘制模型，并根据所述体绘制参数对所述三维体绘制模型进行模拟运算，获得所述待模拟对象对应的三维X射线图；
所述方法还包括：获取多个射线图像和多个图像标签，所述图像标签是所述射线图像对应的体绘制参数；根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，获得所述训练后的神经网络模型；
其中，所述根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，包括：根据所述图像标签对应的体绘制参数绘制出第一X射线图；使用所述神经网络模型提取所述射线图像中的体绘制参数，并根据所述射线图像中的体绘制参数绘制出第二X射线图；判断所述第一X射线图与所述第二X射线图之间的相似度是否大于预设阈值；若否，则更新所述神经网络模型中的权重参数；
或者，
其中，所述根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，包括：使用所述神经网络模型提取所述射线图像对应的预测标签，所述预测标签为所述射线图像中的体绘制参数；计算所述射线图像对应的预测标签与所述射线图像对应的图像标签之间的损失值；根据所述损失值更新所述神经网络模型中的权重参数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述CT图像序列重建出三维体绘制模型，包括：
使用光线投射算法、剪切扭曲算法或者基于纹理的体绘制算法对所述CT图像序列进行运算，获得所述三维体绘制模型。
3.根据权利要求1-2任一所述的方法，其特征在于，所述三维X射线图包括：正视图和侧视图。
4.根据权利要求1-2任一所述的方法，其特征在于，所述体绘制参数包括：体素坐标和颜色不透明度。
5.一种X射线图模拟装置，其特征在于，包括：
图像序列获取模块，用于获取待模拟对象的二维X射线图和计算机断层扫描CT图像序列；
绘制参数提取模块，用于使用训练后的神经网络模型提取所述二维X射线图中的体绘制参数；
三维图像获得模块，用于根据所述CT图像序列重建出三维体绘制模型，并根据所述体绘制参数对所述三维体绘制模型进行模拟运算，获得所述待模拟对象对应的三维X射线图；
所述装置还用于：获取多个射线图像和多个图像标签，所述图像标签是所述射线图像对应的体绘制参数；根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，获得所述训练后的神经网络模型；
其中，所述根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，包括：根据所述图像标签对应的体绘制参数绘制出第一X射线图；使用所述神经网络模型提取所述射线图像中的体绘制参数，并根据所述射线图像中的体绘制参数绘制出第二X射线图；判断所述第一X射线图与所述第二X射线图之间的相似度是否大于预设阈值；若否，则更新所述神经网络模型中的权重参数；
或者，
其中，所述根据所述多个射线图像和所述多个图像标签对神经网络模型进行训练，包括：使用所述神经网络模型提取所述射线图像对应的预测标签，所述预测标签为所述射线图像中的体绘制参数；计算所述射线图像对应的预测标签与所述射线图像对应的图像标签之间的损失值；根据所述损失值更新所述神经网络模型中的权重参数。
6.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的方法。
7.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至4任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110364721.0A CN113096238B (zh) | 2021-04-02 | 2021-04-02 | 一种x射线图模拟方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110364721.0A CN113096238B (zh) | 2021-04-02 | 2021-04-02 | 一种x射线图模拟方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113096238A CN113096238A (zh) | 2021-07-09 |
| CN113096238B true CN113096238B (zh) | 2022-05-17 |
Family
ID=76673525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110364721.0A Active CN113096238B (zh) | 2021-04-02 | 2021-04-02 | 一种x射线图模拟方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096238B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113868879B (zh) * | 2021-09-30 | 2022-12-02 | 清华大学 | 纳米材料器件的仿真方法及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035255A (zh) * | 2018-06-27 | 2018-12-18 | 东南大学 | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 |
| CN112076398A (zh) * | 2019-06-13 | 2020-12-15 | 佳能医疗系统株式会社 | 放射线治疗系统、治疗计划辅助方法及治疗计划方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6898303B2 (en) * | 2000-01-18 | 2005-05-24 | Arch Development Corporation | Method, system and computer readable medium for the two-dimensional and three-dimensional detection of lesions in computed tomography scans |
| US20110063288A1 (en) * | 2009-09-11 | 2011-03-17 | Siemens Medical Solutions Usa, Inc. | Transfer function for volume rendering |
| CN102883662B (zh) * | 2011-05-11 | 2015-04-08 | 株式会社东芝 | 医疗图像处理设备以及其方法 |
| JP6058286B2 (ja) * | 2011-05-24 | 2017-01-11 | 東芝メディカルシステムズ株式会社 | 医用画像診断装置、医用画像処理装置及び方法 |
| US10699407B2 (en) * | 2018-04-11 | 2020-06-30 | Pie Medical Imaging B.V. | Method and system for assessing vessel obstruction based on machine learning |
| US11315221B2 (en) * | 2019-04-01 | 2022-04-26 | Canon Medical Systems Corporation | Apparatus and method for image reconstruction using feature-aware deep learning |
| US11176428B2 (en) * | 2019-04-01 | 2021-11-16 | Canon Medical Systems Corporation | Apparatus and method for sinogram restoration in computed tomography (CT) using adaptive filtering with deep learning (DL) |
-
2021
- 2021-04-02 CN CN202110364721.0A patent/CN113096238B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035255A (zh) * | 2018-06-27 | 2018-12-18 | 东南大学 | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 |
| CN112076398A (zh) * | 2019-06-13 | 2020-12-15 | 佳能医疗系统株式会社 | 放射线治疗系统、治疗计划辅助方法及治疗计划方法 |
Non-Patent Citations (3)
| Title |
|---|
| Single‐image Tomography: 3D Volumes from 2D Cranial X‐Rays;Henzler P 等;《Computer Graphics Forum》;20180228;第377-388页 * |
| 应用RBF神经网络的体绘制传递函数设计方法;周慧 等;《计算机工程与应用》;20161130;第180-184页 * |
| 肺结节智能检测和三维可视化系统设计与实现;马思然 等;《计算机测量与控制》;20200930;第177-181页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113096238A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10810735B2 (en) | Method and apparatus for analyzing medical image | |
| CN110570492B (zh) | 一种基于神经网络的ct伪影抑制方法、设备以及介质 | |
| CN110998602A (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
| CN107665736B (zh) | 用于生成信息的方法和装置 | |
| US10867375B2 (en) | Forecasting images for image processing | |
| CN110599421A (zh) | 模型训练方法、视频模糊帧转换方法、设备及存储介质 | |
| CN113362272A (zh) | 具有不确定性估计的医学图像分割 | |
| CN111598989B (zh) | 一种图像渲染参数设置方法、装置、电子设备及存储介质 | |
| CN112435341A (zh) | 三维重建网络的训练方法及装置、三维重建方法及装置 | |
| JP2023515367A (ja) | モデルへの入力インスタンスの分布外検出 | |
| CN107862665B (zh) | Ct图像序列的增强方法及装置 | |
| CN113096238B (zh) | 一种x射线图模拟方法、装置、电子设备及存储介质 | |
| KR101885562B1 (ko) | 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치 | |
| CN111144449B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| EP3648057A1 (en) | Determining malignancy of pulmonary nodules using deep learning | |
| CN113989407B (zh) | Ct影像中肢体部位识别模型训练方法及系统 | |
| KR20190014325A (ko) | 구조유사도를 이용한 아티펙트 저감방법 및 프로그램 및 의료영상획득장치 | |
| US20230048734A1 (en) | Method for analyzing human tissue on basis of medical image and device thereof | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN114511666A (zh) | 一种模型生成方法、图像重建方法、装置、设备和介质 | |
| KR102569573B1 (ko) | 폐 용적 검사 방법 및 그 장치 | |
| CN111325758A (zh) | 肺部图像分割方法及装置、图像分割模型的训练方法 | |
| CN114037775B (zh) | 骨骼结构生长方法、装置、电子设备及存储介质 | |
| CN114419375A (zh) | 图像分类方法、训练方法、装置、电子设备以及存储介质 | |
| CN111358492A (zh) | 一种四维造影图像生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |