[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115209808A - 学习完毕模型的制作方法、图像生成方法以及图像处理装置 - Google Patents

学习完毕模型的制作方法、图像生成方法以及图像处理装置 Download PDF

Info

Publication number
CN115209808A
CN115209808A CN202080097558.XA CN202080097558A CN115209808A CN 115209808 A CN115209808 A CN 115209808A CN 202080097558 A CN202080097558 A CN 202080097558A CN 115209808 A CN115209808 A CN 115209808A
Authority
CN
China
Prior art keywords
image
ray
extracted
elements
learned model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080097558.XA
Other languages
English (en)
Inventor
高桥渉
押川翔太
平野湧一郎
菅原洋平
高正妍
水野和惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN115209808A publication Critical patent/CN115209808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本学习完毕模型的制作方法生成对三维X射线图像数据(80)进行了重构而得到的重构图像(60)。通过模拟来基于图像元素(50)的三维模型生成投影像(61)。将投影像与重构图像叠加来生成叠加图像(67)。通过利用叠加图像和重构图像或者利用叠加图像和投影像进行机器学习，来制作学习完毕模型(40)。

Description

学习完毕模型的制作方法、图像生成方法以及图像处理装置
技术领域
本发明涉及一种学习完毕模型的制作方法、图像生成方法以及图像处理装置。
背景技术
以往已知使用学习完毕模型来进行图像处理的方法。这种方法例如在国际公开2019/138438号中公开。
在上述国际公开2019/138438号中，公开了以下内容：利用学习完毕模型对被检者的包含特定部位的区域的X射线图像进行变换，由此制作表示特定部位的图像。在上述国际公开2019/138438号中，作为特定部位，例示了被检者的骨部、注入了造影剂的血管、留置于体内的支架。通过将基于CT图像数据重构得到的第一DRR(Digitally ReconstructedRadiography：数字重构放射影像)图像和第二DRR图像分别作为训练输入图像和训练输出图像进行机器学习，来制作学习完毕模型。能够通过从原始图像减去使用了学习完毕模型的变换而得到的图像，来生成去除了特定部位的图像。
现有技术文献
专利文献
专利文献1：国际公开2019/138438号
发明内容
发明要解决的问题
在上述国际公开2019/138438号中，公开了以下内容：制作表示骨部来作为特定部位的图像、制作表示注入了造影剂的血管来作为特定部位的图像、制作表示留置于体内的支架来作为特定部位的图像这样的针对特定的1种图像元素(特定部位)进行图像处理。但是，期望不仅能够进行限定于特定的1个图像元素(特定部位)的图像处理，对于各种图像元素且对于多个图像元素也能够进行图像处理，以提高多样的利用场景中的医用图像的视觉识别性。
另外，在上述国际公开2019/138438号中，使用基于CT图像数据重构得到的第一DRR图像和第二DRR图像来进行机器学习，因此需要准备实际包含要提取的图像元素(特定部位)的CT图像数据。为了高效地进行针对各种图像元素的机器学习，期望的是，能够不限定于利用实际包含要提取的图像元素的CT图像数据地进行机器学习，或者对于即使包含于CT图像数据但难以仅分离提取出该图像元素的图像元素也能够进行机器学习。
本发明是为了解决上述那样的问题而完成的，本发明的1个目的在于提供一种对于各种图像元素且对于多个图像元素也能够进行图像处理的图像生成方法以及图像处理装置，以及提供一种能够高效地进行这种图像处理中使用的学习完毕模型的制作的学习完毕模型的制作方法。
用于解决问题的方案
为了实现上述目的，在本发明的第一方面的学习完毕模型的制作方法中，生成将三维X射线图像数据重构为二维的投影图像而得到的重构图像，通过模拟来基于作为提取对象的图像元素的三维模型生成二维的投影像，将图像元素的投影像与重构图像叠加来生成叠加图像，通过将叠加图像作为训练输入数据、并将重构图像或投影像作为训练输出数据进行机器学习，来制作用于进行提取输入图像中包含的图像元素的处理的学习完毕模型。
在本发明的第二方面的图像生成方法中，使用学习了从输入图像提取特定的图像元素的处理的学习完毕模型，从X射线图像分别提取多个图像元素，通过进行使用了X射线图像以及按每个图像元素提取出的多个提取图像的图像间运算，来生成对X射线图像中包含的各图像元素进行了图像处理而得到的处理图像。
本发明的第三方面的图像处理装置具备：图像获取部，其获取X射线图像；提取处理部，其使用学习了从输入图像提取特定的图像元素的处理的学习完毕模型，从X射线图像分别提取多个图像元素；以及图像生成部，其通过进行使用了X射线图像以及按每个图像元素提取出的多个提取图像的图像间运算，来生成对X射线图像中包含的各图像元素进行了图像处理而得到的处理图像。
此外，在本说明书中，对图像元素“进行提取的处理”是包括通过该图像元素的提取来生成表示提取出的图像元素的图像、以及生成通过提取而去除了该图像元素的X射线图像这两方的广泛的概念。更具体地说，对图像元素“进行提取的处理”包括生成仅有该图像元素的图像以及生成从原始X射线图像去除了该图像元素而得到的图像。另外，“图像间运算”是指通过在某个图像与其它的图像之间相互进行加法、减法、乘法、除法等运算，来生成1个图像。更具体地说，“图像间运算”是指在多个图像之间按相对应的每个像素进行像素值的运算处理来决定运算后的图像中的该像素的像素值。
发明的效果
根据上述第一方面的学习完毕模型的制作方法，将三维X射线图像数据重构为二维的投影图像而得到的重构图像与通过模拟来基于作为提取对象的图像元素的三维模型生成的二维的投影像叠加而得到的叠加图像作为训练输入数据，将重构图像或投影像作为训练输出数据，因此即使三维X射线图像数据不包含作为提取对象的图像元素，也能够使用通过模拟生成的作为提取对象的图像元素来进行机器学习。也就是说，即使未准备实际包含要提取的图像元素的CT图像数据，也能够预先准备训练数据。另外，通过模拟来生成作为提取对象的图像元素的投影像，因此对于即使包含于CT图像数据但难以分离提取出的图像元素，也能够预先准备训练数据。其结果是，能够高效地进行用于对各种图像元素且对多个图像元素进行图像处理的学习完毕模型的制作。
另外，根据上述第二方面的图像生成方法和上述第三方面的图像处理装置，使用学习了从输入图像提取特定的图像元素的处理的学习完毕模型，从X射线图像分别提取多个图像元素，通过进行使用了X射线图像以及按每个图像元素提取出的多个提取图像的图像间运算，来生成处理图像，因此能够在从所输入的X射线图像分别提取出各种图像元素来作为提取图像的基础上，根据提取出的图像元素的种类，来将各个提取图像与X射线图像自由地进行加法或减法。其结果是，对于各种图像元素且对于多个图像元素也能够进行图像处理。
附图说明
图1是示出基于一个实施方式的图像处理装置的框图。
图2是示出X射线摄影装置的一例的图。
图3是用于说明针对学习模型的机器学习以及学习完毕模型的图。
图4是示出图像元素的例子的图。
图5是示出通过学习完毕模型提取图像元素的第一例的图。
图6是示出通过学习完毕模型提取图像元素的第二例以及处理图像的生成的图。
图7是示出与图6不同地对提取图像进行图像处理的例子的图。
图8是用于说明基于一个实施方式的图像生成方法的流程图。
图9是用于说明基于一个实施方式的学习完毕模型的制作方法的流程图。
图10是用于说明机器学习中使用的叠加图像的生成的图。
图11是用于说明重构图像的生成方法的图。
图12是示出图像元素是骨的情况下的训练输入数据和训练输出数据的例子的图。
图13是示出图像元素是骨的情况下的处理图像的例子的图。
图14是示出图像元素是器件的情况下的训练输入数据和训练输出数据的例子的图。
图15是示出图像元素是器件的情况下的处理图像的例子的图。
图16是示出基于三维模型生成的器件的投影像的变形(A)～(I)的图。
图17是示出图像元素是噪声的情况下的训练输入数据和训练输出数据的例子的图。
图18是示出图像元素是噪声的情况下的处理图像的例子的图。
图19是示出图像元素是血管的情况下的训练输入数据和训练输出数据的例子的图。
图20是示出图像元素是血管的情况下的处理图像的例子的图。
图21是示出图像元素是服饰的情况下的训练输入数据和训练输出数据的例子的图。
图22是示出图像元素是服饰的情况下的处理图像的例子的图。
图23是示出图像元素是X射线的散射线分量的情况下的训练输入数据和训练输出数据的例子的图。
图24是示出图像元素是X射线的散射线分量的情况下的处理图像的例子的图。
图25是示出蒙特卡罗模拟中的X射线在第一方向(A)和第二方向(B)上的投影角度范围的图。
图26是示出蒙特卡罗模拟中的X射线的能谱的第一例的图。
图27是示出蒙特卡罗模拟中的X射线的能谱的第二例的图。
图28是示出训练输入数据和训练输出数据中使用的准直器图像的一例的图。
图29是示出通过多个学习完毕模型提取图像元素的例子的图。
具体实施方式
下面，基于附图来说明将本发明具体化的实施方式。
参照图1～图28来说明基于一个实施方式的图像处理装置100的结构、一个实施方式的图像生成方法、一个实施方式的学习完毕模型的制作方法。
(图像处理装置的结构)
首先，参照图1来说明图像处理装置100的结构。
图像处理装置100构成为：使用通过机器学习而制作出的学习完毕模型40来提取X射线图像201中包含的图像元素50，并使用提取出的图像元素50来进行X射线图像201的图像处理。图像处理装置100将由X射线摄影装置200拍摄到的X射线图像201作为输入，生成对X射线图像201中包含的各图像元素50进行了图像处理而得到的处理图像22来作为输出。
如图1所示，图像处理装置100具备图像获取部10、提取处理部20以及图像生成部30。图像处理装置100由具备CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)等1个或多个处理器101、以及HDD(Hard DiskDrive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等1个或多个存储部102的计算机构成。图像处理装置100与显示装置103连接。
图像获取部10构成为获取X射线图像201。图像获取部10例如由用于将外部装置与图像处理装置100以能够通信的方式连接的接口构成。关于图像获取部10，接口能够包括LAN(Local Area Network：局域网)等的通信接口。图像获取部10能够包含HDMI(注册商标)、Display Port(显示接口)、USB端口等输入输出接口。图像获取部10能够通过通信来从X射线摄影装置200或者从经由网络连接的服务器装置获取X射线图像201。
X射线图像201是由X射线摄影装置200对患者或被检者进行拍摄而得到的医用图像。X射线图像201可以是静止图像和运动图像中的任一方。运动图像是以规定的帧率拍摄到的静止图像的集合。X射线图像201是二维图像。X射线图像201能够是通过普通X射线摄影、透视摄影、血管造影摄影等拍摄到的各种图像。
提取处理部20构成为：使用存储部102中存储的学习完毕模型40，从X射线图像201分别提取多个图像元素50。学习完毕模型40是学习了从输入图像提取特定的图像元素50的处理的学习完毕模型。
图像元素50是构成X射线图像201的图像部分或图像信息，以相同的或相同种类的集合的方式被定义。图像元素50能够是在解剖学上被进行分类的人体的部位。这种图像元素50例如是骨、血管等生物体组织。图像元素50能够是在手术等中导入或留置于被检者的体内的物体。这种图像元素50例如能够是导入于体内的导管、导丝、支架、手术器械、固定具等器件。图像元素50能够是X射线摄影中的图像化处理时产生的噪声、伪影、X射线的散射线分量等。图像元素50能够是被检者穿在身上且在摄影时被拍到的服饰。此外，服饰是指包括衣服、装饰品或其它穿戴物的概念。X射线图像201中例如拍到服饰的纽扣、拉链、配饰、金属部分等。
学习完毕模型40是通过对从输入图像提取特定的图像元素50的处理进行学习的机器学习而预先制作的。提取处理部20使用1个或多个学习完毕模型40来进行图像元素50的提取。由此，提取处理部20生成从X射线图像201提取出不同的图像元素50而得到的多个提取图像21。例如在第一提取图像21中包含第一图像元素50，在第二提取图像21中包含与第一图像元素50不同的第二图像元素50。关于学习完毕模型40的制作方法在后文叙述。
图像生成部30构成为：通过进行使用了X射线图像201以及按每个图像元素50提取出的多个提取图像21的图像间运算，来生成对X射线图像201中包含的各图像元素50进行了图像处理而得到的处理图像22。图像处理例如包括图像元素50的增强处理或图像元素50的去除处理。此外，增强处理是相对地提高属于该图像元素50的像素的像素值的处理。去除处理是相对地降低属于该图像元素50的像素的像素值的处理。去除处理不仅包括从图像中完全去除，也包括通过部分去除来使视觉识别性下降。另外，增强处理例如能够是边缘增强处理。去除处理能够是噪声去除处理。
图像间运算是指，在多个提取图像21与X射线图像201之间按相对应的每个像素进行像素值的运算，由此决定处理图像22中的对应的像素的像素值。运算的内容没有特别限定，但是例如能够是加法、减法、乘法以及除法的四则运算。在本实施方式中，图像间运算包括针对X射线图像201进行各个提取图像21的加权加法或加权减法。通过对X射线图像201进行提取图像21的加权加法，能够进行X射线图像201中包含的图像元素50的增强处理。通过对X射线图像201进行提取图像21的加权减法，能够进行X射线图像201中包含的图像元素50的去除处理。通过调整权重的值，能够优化图像元素50的增强程度或去除程度。
在图1的例子中，处理器101执行存储部102中存储的程序(未图示)，由此作为提取处理部20和图像生成部30发挥功能。即，在图1的例子中，提取处理部20和图像生成部30作为处理器101的功能块来实现。提取处理部20和图像生成部30也可以构成为独立的硬件。
此外，独立的硬件包括提取处理部20和图像生成部30由不同的处理器构成的情况。独立的硬件包括如下的情况：图像处理装置100包含多台计算机(PC)，作为提取处理部发挥功能的计算机(PC)与作为图像生成部发挥功能的计算机(PC)分别设置。
图像处理装置100使显示装置103显示由图像生成部30生成的处理图像22。图像处理装置100例如将所生成的处理图像22经由网络发送到服务器装置。图像处理装置100例如将所生成的处理图像22记录到存储部102。
图2中示出X射线摄影装置200的结构例。图2示出能够进行血管透视摄影的血管X射线摄影装置的例子。X射线摄影装置200包含顶板210、X射线照射部220以及X射线检测器230。顶板210构成为支承被摄体1(人)。X射线照射部220包含X射线球管等X射线源，构成为向X射线检测器230照射X射线。X射线检测器230例如由FPD(Flat Panel Detector：平板探测器)构成，构成为对从X射线照射部220照射并透过被摄体1的X射线进行检测。
在图2的例子中，X射线照射部220和X射线检测器230被C臂240保持。C臂240能够沿着弧状的臂部而沿第一方向250移动，且能够绕旋转轴线251而沿第二方向252旋转。由此，X射线摄影装置200能够将从X射线照射部220朝向X射线检测器230的X射线的投影方向分别沿第一方向250和第二方向252各变更规定角度范围。
(学习完毕模型)
如图1示出的那样，由通过机器学习来制作出的学习完毕模型40实施X射线图像201中包含的图像元素50的提取处理。如图3所示，学习完毕模型40从所输入的图像提取已预先学习的图像元素50，并输出仅显示提取出的图像元素50的提取图像21。
在本实施方式中，学习完毕模型40是通过使用基于三维图像数据重构为二维的投影图像而得到的重构图像60以及通过模拟来基于图像元素50的三维模型制作出的投影像61进行机器学习而预先制作出的。
作为机器学习法，能够使用全卷积神经网络(Fully Convolutional Networks；FCN)、神经网络、支持向量机(SVM)、提升方法(Boosting)等任意的方法。对于本实施方式的学习模型LM(学习完毕模型40)，可以使用卷积神经网络，更优选的是，使用全卷积神经网络。这种学习模型LM(学习完毕模型40)构成为包含被输入图像的输入层41、卷积层42、输出层43。
为了制作学习完毕模型40，进行使用了包含训练输入数据64和训练输出数据65的学习数据66的机器学习。1个学习数据66中包含的训练输入数据64与训练输出数据65具有针对同一图像元素50的提取前的数据与提取后的数据的关系。
关于要提取的多个图像元素50，按每个图像元素进行机器学习。也就是说，按要提取的每个图像元素50来准备学习数据66。
如图4所示，多个图像元素50包括作为生物体组织的第一元素51以及作为非生物体组织的第二元素52。另外，多个图像元素50包括骨53、血管54、导入于体内的器件55、服饰56、噪声57以及X射线的散射线分量58中的至少多者。它们中的骨53和血管54相当于第一元素51。第一元素51也可以包括除骨53、血管54以外的生物体组织。它们中的导入于体内的器件55、服饰56、噪声57以及X射线的散射线分量58相当于第二元素52。第二元素52也可以包括除器件55、服饰56、噪声57以及散射线分量58以外的图像元素。
在图5所示的例子中，1个学习完毕模型40构成为分别提取多个图像元素50。学习完毕模型40具有1个输入通道以及多个(N个)输出通道。N是2以上的整数。学习完毕模型40当X射线图像201被输入到输入通道时，分别提取N个图像元素50。学习完毕模型40从N个输出通道分别输出提取出的第1个图像元素50～第N个图像元素50来作为第一提取图像21-1～第N提取图像21-N。
作为与图5不同的例子，在图6的例子中，学习完毕模型40具有1个输入通道和N+1个输出通道。学习完毕模型40当X射线图像201被输入到输入通道时，从输入图像不重复地提取多个(N个)图像元素50。不重复是指被提取到任一提取图像(例如第一提取图像21-1)中的图像信息没有包含于其它提取图像(例如第二提取图像21-2～第N提取图像21-N)。学习完毕模型40将提取出的第1个图像元素～第N个图像元素分别作为第一提取图像21-1～第N提取图像21-N来输出。然后，学习完毕模型40将提取后残留的残余图像元素59从第N+1个输出通道作为第N+1提取图像21x来输出。
在该情况下，第一提取图像21-1～第N提取图像21-N彼此不包含同一图像信息。而且，所输入的X射线图像201中的未被提取而残留的图像信息包含于第N+1提取图像21x。因此，当将第一提取图像21-1～第N提取图像21-N与第N+1提取图像21x相加时，恢复为原始X射线图像201。
这样，在图6的例子中，学习完毕模型40构成为：从输入图像不重复地提取多个图像元素50，并将提取出的多个图像元素50以及提取后残留的残余图像元素59分别输出。其结果，与输入图像相比，通过提取处理提取出的图像信息的合计不会增加也不会减少。
如图6所示，图像生成部30(参照图1)进行对第一提取图像21-1～第N提取图像21-N追加考虑权重系数23后再与所输入的X射线图像201相加或相减的图像间运算，来生成处理图像22。表示残余图像元素59的第N+1提取图像21x无需使用在图像处理中。作为权重系数23，与第一提取图像21-1～第N提取图像21-N分别对应地，单独地设定系数w1～wn。权重系数23例如能够是预先在存储部102中设定的固定值。但是，也可以根据处理图像22的用途等，来设定多个种类的权重系数。例如为如下情况：在处理模式A下对第一提取图像21-1使用权重系数23的第一设定值，在处理模式B下对第一提取图像21-1使用权重系数23的第二设定值。另外，权重系数23也可以能够根据用户的操作输入而被设定为任意的值。
如图7所示，也可以在进行各提取图像21与X射线图像201的图像间运算之前，对各个提取图像21分别进行图像处理。在图7的例子中，图像生成部30构成为对多个提取图像21的一部分或全部分别进行图像处理。通过图像处理后的多个提取图像21与X射线图像201的图像间运算来生成处理图像22。
例如在图7中，图像生成部30对第一提取图像21-1进行第一图像处理25-1，对第二提取图像21-2进行第二图像处理25-2，……，对第N提取图像21-N进行第N图像处理25-N。根据图像元素50的不同，也有时无需进行图像处理，因此也可以仅对一部分提取图像21进行图像处理。
对各个提取图像进行的图像处理没有特别限定，但是例如能够是图像校正处理或图像插值处理。图像校正处理能够包括边缘增强处理、噪声去除处理。图像校正处理例如能够是对比度调整、线增强处理、平滑化处理等。图像插值处理例如是针对导丝、导管等X射线图像201中难以拍到因此看起来在中途中断的图像元素50、对中断的部分进行插值的处理。对于每个图像元素50而言，对比度调整、线增强处理等的适当的参数不同，难以对全部图像元素50统一进行处理，但是通过对各个提取图像21进行图像处理，能够对一个一个的图像元素50进行最佳的图像处理。
(图像生成方法)
接着，参照图8来说明本实施方式的图像生成方法。图像生成方法能够由图像处理装置100实施。本实施方式的图像生成方法至少包括图8示出的以下的步骤S2和步骤S5。
(S2)使用学习了从输入图像提取特定的图像元素50的处理的学习完毕模型40，来从X射线图像201分别提取多个图像元素50。
(S5)通过进行使用了X射线图像201以及按每个图像元素50提取出的多个提取图像21的图像间运算，来生成对X射线图像201中包含的各图像元素50进行了图像处理而得到的处理图像22。
另外，本实施方式的图像生成方法也可以还包括图8示出的步骤S1、S3、S4、S6。
在步骤S1中，获取X射线图像201。具体地说，图像获取部10(参照图1)通过与X射线摄影装置200或服务器装置的通信来获取例如由图2示出的X射线摄影装置200拍摄到的X射线图像201。
在步骤S2中，提取处理部20使用学习完毕模型40，来从X射线图像201分别提取多个图像元素50。提取处理部20将在步骤S1中获取到的X射线图像201输入到学习完毕模型40。由此，学习完毕模型40如图5或图6示出的那样输出第一提取图像21-1～第N提取图像21-N。
在步骤S3中，也可以如图7示出的那样，对提取出的多个提取图像21的一部分或全部进行图像处理。在该情况下，图像生成部30对作为图像处理的对象的提取图像21，以规定的参数执行预先设定的图像处理。也可以根据来自用户的输入，来决定是否进行图像处理。也可以根据提取图像21的图像质量来决定是否进行图像处理。也可以不执行步骤S3。
在步骤S4中，图像生成部30按每个提取图像21获取运算参数。运算参数例如包括权重系数23的设定值、运算方法的设定值。运算方法的设定值表示对于作为对象的提取图像21，是进行加权加法(即，图像元素50的增强处理)还是进行加权减法(即，图像元素50的去除处理)。运算方法的设定值和权重系数23的设定值按要提取的图像元素50的每个种类来预先设定于存储部102。
在步骤S5中，图像生成部30进行使用了X射线图像201以及按每个图像元素50提取出的多个提取图像21的图像间运算。图像生成部30按照在步骤S4中获取到的参数来进行图像间运算。图像生成部30对第一提取图像21-1～第N提取图像21-N分别乘以各自对应的权重系数23，通过各自对应的运算方法来进行与X射线图像201的图像间运算。其结果是，生成利用各提取图像21进行了加权加法或加权减法后的X射线图像201来作为处理图像22。由此，图像生成部30生成对X射线图像201中包含的各图像元素50进行了图像处理而得到的处理图像22(参照图6或图7)，该图像处理是增强处理或去除处理。
在步骤S6中，图像处理装置100输出处理图像22。图像处理装置100向显示装置103或服务器装置输出处理图像22。另外，图像处理装置100将处理图像22存储到存储部102。
在使显示装置103显示处理图像22之后，图像生成部30也可以受理变更运算参数的操作输入。例如图像生成部30也可以受理权重系数23的值的输入，也可以受理其它的预设参数的选择。例如图像生成部30也可以受理步骤S3中的图像处理的参数的变更。然后，图像生成部30也可以根据用户的操作输入，而使用变更后的参数来重新生成处理图像22。
(学习完毕模型的制作方法)
接着，说明学习完毕模型的制作方法。学习完毕模型40的制作也可以由图像处理装置100的处理器101实施，但是能够使用机器学习用的计算机(学习装置300，参照图10)来执行。
如图9和图10所示，本实施方式的学习完毕模型的制作方法包括以下的步骤S11～S14。
(S11)生成将CT(计算机断层摄影)图像数据80重构为二维的投影图像而得到的重构图像60。CT图像数据80是“三维X射线图像数据”的一例。
(S12)通过模拟，来基于作为提取对象的图像元素50的三维模型生成二维的投影像61。
(S13)将图像元素50的投影像61与重构图像60叠加来生成叠加图像67。
(S14)通过将叠加图像67作为训练输入数据64(参照图3)、并将重构图像60或投影像61作为训练输出数据65(参照图3)进行机器学习，来制作用于进行提取输入图像中包含的图像元素50的处理的学习完毕模型40(参照图3)。
在本实施方式中，机器学习包括向1个学习模型LM输入按每个图像元素50制作出的训练输入数据64(参照图3)和训练输出数据65(参照图3)。也可以按作为提取对象的每个图像元素50，针对不同的学习模型LM进行机器学习。
首先，在图9的步骤S10中，获取CT图像数据80。CT图像数据80是通过对被摄体1进行CT摄影而得到的反映了被摄体1的三维构造的三维图像数据。CT图像数据80是包含三维位置坐标以及该位置坐标处的CT值的体素数据的三维集合体。关于血管等的运动(搏动)的部分的图像元素，也可以使用在三维信息中还包含时间变化的四维4D-CT数据。由此，对于随着时间运动的对象也能够高精度地进行学习。
在步骤S11中，生成将CT图像数据80重构为二维的投影图像而得到的重构图像60。
重构图像60是基于CT图像数据80生成的DRR图像。DRR图像是通过对如图2示出的X射线摄影装置200的X射线照射部220和X射线检测器230的几何学投影条件进行了模拟而得到的虚拟的透视投影来制作出的作为二维的投影图像的模拟X射线图像。
具体地说，如图11所示，在三维虚拟空间中，将虚拟X射线管91与虚拟X射线检测器92虚拟地配置为相对于CT图像数据80成为规定的投影方向，由此生成虚拟的X射线摄影系统的三维空间的配置(摄影几何结构)。这些CT图像数据80同虚拟X射线管91及虚拟X射线检测器92的配置被设为与图2示出的实际的被摄体1同X射线照射部220及X射线检测器230的配置相同的摄影几何结构。此外，摄影几何结构是指被摄体1与X射线照射部220及X射线检测器230在三维空间中的几何学上的配置关系。
然后，通过将从虚拟X射线管91照射的X射线起直到到达虚拟X射线检测器92为止穿过的各体素处的CT值的合计相加，来计算重构图像60中的各像素的像素值。通过变更摄影几何结构，能够生成任意的投影角度下的模拟X射线图像。
在学习完毕模型的制作方法中，由学习装置300基于1个三维数据(CT图像数据80)生成多个重构图像60。重构图像60的生成数量例如能够是约10万左右。学习装置300使投影角度、投影坐标、用于生成DRR图像的参数、对比度、边缘增强等的各参数互不相同，来生成多个重构图像60。例如能够随机地变更上述的参数并通过生成重构图像60的算法，来生成互不相同的多个重构图像60。
在本实施方式中，要制作与包含图像元素50的投影像61叠加而得到的叠加图像67，因此重构图像60也可以不包含作为提取对象的图像元素50，或者即使包含图像元素50也不具有能够提取出的对比度。
另外，在本说明书中，“随机”、“随机数”这样的用语意味着没有规律性、没有规律性的数列(数的集合)，但是无需是完全随机，设为包括伪随机、伪随机数。
在图9的步骤S12中，通过模拟，来基于作为提取对象的图像元素50的三维模型生成二维的投影像61。
投影像61是表示作为学习完毕模型40的提取对象的图像元素50的二维图像。投影像61例如仅包含图像元素50。学习装置300获取作为提取对象的图像元素50的三维模型，基于三维模型通过模拟来生成投影像61。
三维模型例如是通过对包含作为提取对象的图像元素50的对象物进行CT摄影、并从得到的CT数据提取图像元素50来制作的。例如能够利用由研究机构等公开的CT图像数据库来制作三维模型。关于CT图像数据库，例如，作为肺部CT图像数据集，存在美国国立癌症研究所的LIDC/IDRI(The Lung Image Data base Consortium and Image DatabaseResource Initiative：肺部图像数据库联盟和图像数据库资源倡议)。除此以外，还能够利用脑部CT图像数据集、标准化的骨骼的三维模型等。另外，关于器件55、服饰56，能够利用三维CAD数据来制作。三维模型例如是仅包含作为提取对象的图像元素50的三维图像数据。
此外，无需基于三维模型通过模拟来生成机器学习中使用的全部投影像61。能够通过获取实际包含要提取的图像元素50的二维数据(X射线图像)、并对获取到的图像中包含的图像元素50进行分离提取，来制作投影像61。
学习装置300针对三维模型或二维数据，使投影方向、平移量、旋转量、变形量、对比度等参数互不相同，来生成多个二维的投影像61。能够通过对原始的数据(三维模型、二维数据、其它投影像61)进行随机地变更平移量、旋转量、变形量、对比度等可变参数的处理的算法，来生成多个投影像61。
学习装置300按图像元素50的每个种类各生成多个二维的投影像61。学习装置300基于1个原始数据(三维数据、二维数据或投影像61)来生成多个投影像61。基于1个原始数据生成投影像61的生成数量例如能够为约10万左右。
在步骤S13中，将在步骤S12中生成的投影像61与在步骤S11中生成的重构图像60叠加，来生成叠加图像67(参照图10)。通过叠加，来生成在二维重构图像60中包含有要提取的图像元素50的投影像61的叠加图像67。通过多个重构图像60与多个投影像61的组合，叠加图像67也被生成多个。1个学习数据66(参照图3)包含生成该叠加图像67时使用的重构图像60和投影像61中的任一者以及叠加图像67。
在图9的步骤S14中，进行机器学习。作为被输入到图3的学习模型LM的输入层41的训练输入数据64，使用叠加图像67。而且，作为被输入到学习模型的输出层43的训练输出数据65，使用重构图像60或投影像61。
在训练输出数据65为重构图像60的情况下，学习模型LM学习从输入图像提取图像元素50并生成不包含该图像元素50的提取图像21。在训练输出数据65为投影像61的情况下，学习模型LM学习从输入图像提取图像元素50并生成表示提取出的图像元素50的提取图像21。提取图像21能够是仅包含图像元素50的图像。此外，能够通过生成不包含图像元素50的处理图像22、并将其从所输入的X射线图像201减去，来生成仅包含提取出的图像元素50的图像，因此采用重构图像60来作为训练输出数据65与采用投影像61来作为训练输出数据65在图像处理的观点上来看能够认为是等同的。
此外，无需利用叠加图像67来制作机器学习中使用的全部学习数据66。也可以将实际包含要提取的图像元素50的重构图像60作为训练输入数据64，将从该重构图像60提取出的图像元素50的投影像61作为训练输出数据65。
在图9的步骤S15中，学习装置300判断机器学习是否已完成。学习装置300例如在已对全部学习数据66进行了规定的反复次数的机器学习的情况下，判断为机器学习已完成。学习装置300例如在用于评价学习模型LM的性能的评价函数的值变为规定值以上的情况下，判断为机器学习已完成。学习装置300在判断为机器学习未完成的情况下，在步骤S16中变更学习数据66，使用下一个学习数据66来执行步骤S14的机器学习。
在机器学习已完成的情况下，在步骤S17中，存储已学习的学习模型LM来作为学习完毕模型40。由此，学习完毕模型40的制作完成。制作出的学习完毕模型40经由网络来提供给图像处理装置100，或者记录于非暂时性的记录介质来提供给图像处理装置100。
(每个图像元素的具体例)
接着，说明按每个图像元素50的叠加图像67(训练输入数据64)、以及重构图像60或投影像61(训练输出数据65)的具体例。另外，说明按每个图像元素50的使用了提取图像21的处理图像22的例子。
〈骨部〉
图12示出图像元素50为骨53的例子。训练输入数据64例如是不包含骨53的重构图像60与包含骨53的投影像61的叠加图像67。
例如通过基于CT图像数据80或骨骼的三维模型制作投影像61、并与去除了骨53的重构图像60叠加，来生成叠加图像67。去除了骨53的重构图像60是通过针对骨53所具有的CT值的范围的像素，将CT值限制(固定)为零来生成的。骨部所具有的CT值一般地说为约200HU～约1000HU，因此只要将阈值设定为0HU～200HU左右的规定值即可。
训练输出数据65是仅包含骨53的投影像61。对于训练输出数据65，使用在生成叠加图像67时使用的投影像61。
此外，拍摄被检者而得到的CT图像数据80中通常包含骨部，因此也可以将基于CT图像数据80生成的重构图像60作为训练输入数据64。因此，并非必须制作叠加图像67。
在该情况下，训练输出数据65是仅包含骨53的重构图像60。仅包含骨53的重构图像60例如是通过针对包含骨53的重构图像60中的具有小于骨53所具有的CT值的CT值的像素、将CT值限制为零来生成的。
通过机器学习，学习模型LM学习基于如训练输入数据64那样的输入图像来生成如训练输出数据65那样提取出骨53而得到的提取图像21。
图像处理装置100对由X射线摄影装置200获取到的X射线图像201进行由学习完毕模型40生成的提取图像21的加权减法。由此，如图13所示，生成从X射线图像201去除了骨53的图像元素50而得到的处理图像22。在图13中，为了便于说明，用虚线示出被去除的骨53的图像元素50。
〈器件〉
图14示出图像元素50为器件55的例子。在图14中，器件55为导丝。
训练输入数据64是包含器件55的叠加图像67。在基于CT图像数据80生成的重构图像60中不包含图像元素50。基于器件55的三维模型生成的仅有器件55的投影像61与重构图像60叠加。其结果是，生成如图14那样包含器件55的叠加图像67。
如上所述，也可以拍摄器件55的二维X射线图像，通过模拟来制作多个使形状等进行变化后的投影像61的变形。使用多个投影像61来生成多个叠加图像67。
特别是，如图16所示，在图像元素50为线状或管状的器件55的情况下，图像元素50的投影像61是通过用基于随机的坐标值生成的曲线模拟器件55的三维模型的形状来生成的。在图16中，作为器件55的一例，示出通过曲线模拟而以随机的形状生成了保持着支架55a的导丝55b的投影像61的例子(A)～(I)。
根据以随机的坐标值为基点的贝塞尔曲线，将各个投影像61中的导丝55b生成为不同的形状。贝塞尔曲线是基于K个(K为3以上的整数)控制点得到的K-1次曲线。通过随机地指定K个控制点的坐标值的算法，能够大量地生成多样形状的器件55的投影像61。
通过对三维模型化后的伪支架施加随机的平移、旋转、变形、对比度变化，来生成留置于体内的支架55a的多个单独的投影像61。
返回到图14，训练输出数据65是仅包含器件55的投影像61。对于训练输出数据65，使用在生成叠加图像67时使用的投影像61。
通过机器学习，学习模型LM学习基于如训练输入数据64那样的输入图像来生成如训练输出数据65那样提取出器件55而得到的提取图像21。
图像处理装置100对由X射线摄影装置200获取到的X射线图像201进行由学习完毕模型40生成的提取图像21的加权加法。由此，如图15所示，生成相对于X射线图像201对器件55的图像元素50进行了增强而得到的处理图像22。在图15中，与图14相比将器件55加粗图示，由此示出被增强的图像。增强处理不仅包括使像素值增大的处理，也能够包括通过图7示出的图像间运算之前的图像处理来将器件55的图像元素50着色显示的处理等。
〈噪声〉
图17示出图像元素50为噪声57的例子。噪声57例如是随机噪声，但是在图17中，为了便于说明，示出为水平方向的点线的集合。
训练输入数据64是包含噪声57的叠加图像67。在基于CT图像数据80生成的重构图像60中不包含噪声57。仅有随机生成的噪声57的投影像61与重构图像60叠加。其结果是，生成如图17那样包含噪声57的叠加图像67。通过在每个投影像61中随机生成遵随高斯分布的高斯噪声、遵随泊松分布的泊松噪声来制作噪声57。
训练输出数据65是仅包含噪声57的投影像61。对于训练输出数据65，使用在生成叠加图像67时使用的投影像61。
通过机器学习，学习模型LM学习基于如训练输入数据64那样的输入图像来生成如训练输出数据65那样提取出噪声57而得到的提取图像21。
图像处理装置100对由X射线摄影装置200获取到的X射线图像201进行由学习完毕模型40生成的提取图像21的加权减法。由此，如图18所示，生成从X射线图像201去除了噪声57的图像元素50而得到的处理图像22。图18的处理图像22示出从如图17的训练输入数据64那样包含噪声57的X射线图像201去除了噪声57的情况。
〈血管〉
图19示出图像元素50为血管54的例子。血管54是导入了造影剂并进行了图像化而得到的造影血管。图19示出了头部的脑血管的例子，但是也可以是其它血管。血管例如能够是心脏的冠状动脉。
训练输入数据64是包含血管54的叠加图像67。在基于以无造影的方式拍摄到的CT图像数据80生成的重构图像60中几乎不包含血管54(没有充分的对比度)。基于血管54的三维模型生成的仅有血管54的投影像61与重构图像60叠加。其结果是，生成如图19那样包含血管54的叠加图像67。
在图像元素50为血管54的情况下，图像元素50的投影像61是通过使血管54的三维模型的形状随机地变化的模拟来生成的。针对投影像61的血管，通过模拟来实施随机的平移、旋转、变形、对比度变化等。即，与图16示出的器件55同样地，生成被实施了随机变化的血管54的投影像61的变形。如上所述，也可以基于以造影方式拍摄到的造影血管的CT图像数据来制作血管54的投影像61。
训练输出数据65是仅包含血管54的投影像61。对于训练输出数据65，使用在生成叠加图像67时使用的投影像61。
通过机器学习，学习模型LM学习基于如训练输入数据64那样的输入图像来生成如训练输出数据65那样提取出血管54而得到的提取图像21。
图像处理装置100对由X射线摄影装置200获取到的X射线图像201进行由学习完毕模型40生成的提取图像21的加权加法。由此，如图20所示，生成相对于X射线图像201对血管54的图像元素50进行了增强而得到的处理图像22。图20的处理图像22示出了在如图19的训练输入数据64那样包含血管54的图像元素50的X射线图像201中增强显示了该血管54的情况。
〈服饰〉
图21是示出图像元素50为服饰56的例子。在图21中，作为服饰56的例子，示出了衣服的纽扣和被检者戴在身上的项链。
训练输入数据64是包含服饰56的叠加图像67。在基于CT图像数据80生成的重构图像60中不包含服饰56。基于服饰56的三维模型生成的仅有服饰56的投影像61与重构图像60叠加。其结果是，生成如图21那样包含服饰56的叠加图像67。服饰56的三维模型可以基于仅有服饰56的CT图像来制作，例如可以基于CAD数据等来制作。如上所述，也可以拍摄服饰56的二维X射线图像来作为投影像61。针对投影像61，通过模拟来实施随机的平移、旋转、变形、对比度变化等。
训练输出数据65是仅包含服饰56的投影像61。对于训练输出数据65，使用与在生成叠加图像67时使用的投影像61相同的数据。
通过机器学习，学习模型LM学习基于如训练输入数据64那样的输入图像来生成如训练输出数据65那样提取出服饰56而得到的提取图像21。
图像处理装置100对由X射线摄影装置200获取到的X射线图像201进行由学习完毕模型40生成的提取图像21的加权减法。由此，如图22所示，生成从X射线图像201去除了服饰56的图像元素50而得到的处理图像22。在图22中，为了便于说明去除的情况，用虚线示出被去除的服饰56的图像元素50的部分。
〈散射线分量〉
图23示出图像元素50为X射线的散射线分量58的例子。
训练输入数据64是包含散射线分量58的叠加图像67。在基于CT图像数据80生成的重构图像60中，在重构运算中不包含散射线分量58。通过将输入图像的摄影环境进行了模型化的蒙特卡罗模拟而生成的仅有散射线分量58的投影像61与重构图像60叠加。其结果是，生成包含散射线分量58的叠加图像67。
在蒙特卡罗模拟中，例如，制作将如图2(或图11)所示那样输入图像(X射线图像201)的从X射线照射部220到达X射线检测器230的摄影环境进行三维模型化而得到的摄影环境模型85。然后，作为利用了随机数的随机现象，计算(模拟)从X射线照射部220射出且由X射线检测器230检测的一个一个的X射线光子。即，在模拟中，假定与X射线的投影方向、被检者的形状(体形)以及同光子的相互作用有关的物理性质。然后，利用随机数作为随机现象，计算X射线光子穿过被检者时产生的吸收、散射现象等相互作用。在蒙特卡罗模拟中，进行规定的光子数的计算，并生成由虚拟的X射线检测器230检测到的X射线光子所形成的投影像61。规定的光子数只要是足够进行图像化的数量即可，例如为100亿个左右。
在本实施方式中，使投影角度在摄影环境模型85中的X射线摄影装置200能够拍摄的整个投影角度范围内变化，来生成作为散射线分量58的图像元素50的多个投影像61。例如在图2示出的例子中，能够通过C臂240的移动来使投影方向沿第一方向250和第二方向252变更。因此，如图25所示，以在沿第一方向250±α度、沿第二方向252±β度的投影角度范围的整个范围内变化为不同的角度值的多个投影角度，生成基于蒙特卡罗模拟的投影像61。投影角度可以在投影角度范围的整个范围内等角度间隔地变更，也可以设为在投影角度范围内随机地变更了规定的数量的值。并且，也可以生成在投影角度范围的外部且投影角度的边界(±α度、±β度)附近的角度值下的投影像61。
另外，在本实施方式中，使摄影环境模型85中的虚拟射线源的能谱变化，来生成多个作为散射线分量58的图像元素50的投影像61。即，以使由假定为摄影环境模型85的X射线照射部220照射的X射线的能谱变化为不同的谱的多个条件，来进行基于蒙特卡罗模拟的投影像61的制作。
一般地说X射线的光子能量越低，则在被检者的体内越容易被吸收，从而越不易于产生散射线分量58。X射线的光子能量越高，则在被检者的体内越难以被吸收，从而越易于产生散射线分量58。因此，例如制作基于图26所示的第一能谱111的投影像61以及基于图27所示的第二能谱112的投影像61。第二能谱112是与第一能谱111相比能量相对高的谱。在图26和图27中，曲线图的横轴表示X射线光子的能量[keV]，曲线图的纵轴表示X射线的相对强度(即，检测到的X射线光子的数量)。
此外，因为吸收谱的不同，而产生在检测照射到被检者的X射线的能谱的过程中相对地偏向高能量侧的线束硬化现象。在基于CT图像数据80生成的重构图像60中，无法模拟因线束硬化现象引起的画质变化，但是在基于蒙特卡罗模拟的投影像61中，能够模拟线束硬化现象的影响。
作为一例，图23示出了通过蒙特卡罗模拟求出的基于康普顿散射的散射线分量58的投影像61。在本实施方式中，可以求出瑞利散射等康普顿散射以外的散射线分量58。也可以不仅求出基于单散射的散射线分量58还求出基于多重散射的散射线分量58。可以以将这些各种散射线分量58制作为不同的投影像61来分别提取的方式进行机器学习，也可以以制作将各种散射线分量58汇总显示的投影像61来统一提取各种散射线分量58的方式进行机器学习。
训练输出数据65是仅包含散射线分量58的投影像61。对于训练输出数据65，使用与在生成叠加图像67时使用的投影像61相同的数据。
通过机器学习，学习模型LM学习基于如训练输入数据64那样的输入图像来生成如训练输出数据65那样提取出散射线分量58而得到的提取图像21。
图像处理装置100对由X射线摄影装置200获取到的X射线图像201进行由学习完毕模型40生成的提取图像21的加权减法。由此，如图24所示，生成从X射线图像201去除了散射线分量58的图像元素50而得到的处理图像22。散射线分量58是使X射线图像的对比度下降的原因，因此在处理图像22中，能够通过散射线分量58的去除而改善对比度。图24的处理图像22示出了从如图23的训练输入数据64那样因散射线分量58而对比度下降的X射线图像201去除散射线分量58、由此对比度改善了的情况。
〈准直器图像〉
在本实施方式中，在制作出的各训练输入数据64和各训练输出数据65的一部分中，包含被X射线摄影装置200(X射线照射部220)所具备的准直器(未图示)限制了摄影范围的准直器图像68。在准直器图像68中，仅在图像中的一部分区域形成图像，在被准直器遮蔽的区域不包含图像信息。各训练输入数据64和各训练输出数据65中的一部分包含多个准直器图像68，该多个准直器图像68是通过基于使用准直器被实际拍摄到的图像的模拟、而使X射线的照射范围(即，图像区域)的形状、受到准直器的影响的画质的参数随机地不同而得到的图像。受到准直器的影响的画质的参数是穿透程度(对比度)、边缘的模糊度、噪声的含有量等。
准直器图像68例如通过对叠加图像67、重构图像60以及投影像61去除模拟的照射范围外的图像部分、并实施模拟了准直器的影响的图像处理来生成。准直器图像68也可以基于使用准直器而实际拍摄到的图像来生成。由此，能够针对因利用准直器而引起的X射线的照射范围的变化、画质的变化，提高图像元素50的提取处理的稳健性。
如以上那样进行图像元素50的每个种类的机器学习以及由图像处理装置100进行的处理图像22的生成。
在上述的各具体例中，为了便于说明，单独地说明了各个图像元素50和处理图像22。但是，在实际由图像处理装置100生成处理图像22时，在被输入到图像处理装置100的X射线图像201中包含上述的骨53、血管54、器件55、服饰56、噪声57以及散射线分量58中的多个。图像处理装置100基于所输入的X射线图像201来生成由学习完毕模型40提取出各个图像元素50而得到的提取图像21，并进行图像间运算。其结果是，生成对多个图像元素50的每1个进行了增强处理或去除处理后而得到的处理图像22。
例如在图7示出的例子中，N＝6，第一提取图像21-1表示骨53，第二提取图像21-2表示器件55，第三提取图像(设为21-3)表示噪声57，第四提取图像(设为21-4)表示血管54，第五提取图像(设为21-5)表示服饰56，第六提取图像(设为21-6)表示散射线分量58。
关于处理图像22的利用场景，示出若干例子。
例如将处理图像22应用于通过普通X射线摄影生成的被检者的胸部正面的X射线图像等。在该情况下，在处理图像22中，去除骨53、噪声57、服饰56以及散射线分量58。通过去除骨53，来提高心脏、肺等关注区域的视觉识别性。另外，通过去除噪声57和散射线分量58，来提高图像整体的视觉识别性。由于能够去除服饰56的图像元素50，因此被检者不用脱掉含有金属等的衣服、卸下配饰等就能够进行X射线摄影。这例如在团体体检等连续地进行大量被检者的X射线摄影的情况下具有提高作业效率、削减被检者的等待时间等有用的效果。
另外，例如将处理图像22应用于如利用X射线血管摄影装置的导管治疗那样的基于X射线图像的治疗(IVR；Interventional Radiology：介入放射学)中的X射线透视图像等。在该情况下，在处理图像22中去除骨53、噪声57以及散射线分量58。在处理图像22中增强导管、导丝、支架等器件55以及血管54。通过去除骨53、噪声57以及散射线分量58，来提高透视图像的视觉识别性。通过增强器件55和血管54，来提高导管治疗中的关注区域、操作着的器件的视觉识别性。
(本实施方式的效果)
在本实施方式中，能够获得以下那样的效果。
根据本实施方式的学习完毕模型40的制作方法，将CT图像数据80重构为二维的投影图像而得到的重构图像60与通过模拟来基于作为提取对象的图像元素50的三维模型生成的二维的投影像61叠加而得到的叠加图像67作为训练输入数据64，将重构图像60或投影像61作为训练输出数据65。由此，即使CT图像数据80不包含作为提取对象的图像元素50，也能够使用通过模拟生成的作为提取对象的图像元素50来进行机器学习。也就是说，即使未准备实际包含要提取的图像元素50的CT图像数据80，也能够预先准备训练数据。另外，通过模拟来生成作为提取对象的图像元素50的投影像61，因此对于即使包含于CT图像数据80但难以分离提取出的图像元素50，也能够预先准备训练数据。其结果是，能够高效地进行用于对各种图像元素50且对多个图像元素50进行图像处理的学习完毕模型40的制作。
根据本实施方式的图像生成方法以及图像处理装置100，使用学习了从输入图像提取特定的图像元素50的处理的学习完毕模型40，从X射线图像201分别提取多个图像元素50，通过进行使用了X射线图像201以及按每个图像元素50提取出的多个提取图像21的图像间运算，来生成处理图像22。由此，能够在从所输入的X射线图像201分别提取出各种图像元素50来作为提取图像21的基础上，根据提取出的图像元素50的种类，来将各个提取图像21与X射线图像201自由地进行加法或减法。其结果是，对于各种图像元素50且对于多个图像元素50也能够进行图像处理。
另外，在上述实施方式的例子中，通过如以下那样构成，能够获得进一步的效果。
即，在本实施方式中，按互不相同的多个图像元素50中的每个图像元素50制作多个叠加图像67，多个图像元素50包括作为生物体组织的第一元素51以及作为非生物体组织的第二元素52。根据这样的构成，能够制作能够复合地执行针对骨53、血管54等生物体组织的图像元素50的图像处理以及针对导入于体内的器件55、被检者所穿着的服饰56等非生物体组织的图像元素50的图像处理的学习完毕模型40。通过将这种学习完毕模型40用于图像处理装置100，能够复合地执行针对生物体组织的图像元素50的图像处理以及针对非生物体组织的图像元素50的图像处理。
另外，在本实施方式中，按互不相同的多个图像元素50中的每个图像元素50制作多个叠加图像67，多个图像元素50包括骨53、血管54、导入于体内的器件55、服饰56、噪声57以及X射线的散射线分量58中的至少多者。根据这样的构成，能够制作能够复合地执行针对与X射线图像201的各种利用场景相应的多样的图像元素50的图像处理的学习完毕模型40。通过将这种学习完毕模型40用于图像处理装置100，能够复合地执行针对与X射线图像201的各种利用场景相应的多样的图像元素50的图像处理。
另外，在本实施方式中，图像元素50包括线状或管状的器件55，图像元素50的投影像61是通过用基于随机的坐标值生成的曲线模拟器件55的三维模型的形状来生成的。根据这样的构成，能够通过模拟来以多样的形状且大量地生成用于学习导丝、导管等长且弯曲为各种形状的器件55的图像元素50的训练数据。其结果是，即使没有预先准备大量的器件55实际地配置于被检者的体内的状态下的三维CT数据，也能够进行高效的机器学习。
另外，在本实施方式中，图像元素50包括血管54，图像元素50的投影像61通过使血管54的三维模型的形状随机变化的模拟来生成。根据这样的构成，能够通过模拟来大量且包含多样的个人差异地生成用于学习长且弯曲为复杂的形状的血管54的图像元素50的训练数据。其结果是，即使没有预先准备大量的各种被检者的三维CT数据，也能够进行高效的机器学习。
另外，在本实施方式中，图像元素50包括X射线的散射线分量58，图像元素50的投影像61通过将输入图像的摄影环境进行了模型化的蒙特卡罗模拟来生成。根据这样的构成，能够通过蒙特卡罗模拟来生成难以从实际的三维CT数据、二维X射线图像201分离提取的X射线的散射线分量58的投影像61。使用这样生成的投影像61来制作用于提取散射线分量58的学习完毕模型40，由此不用进行蒙特卡罗模拟那样的复杂且高负荷的计算处理，就能够实现从实际对被检者进行拍摄而得到的X射线图像201去除散射线分量58的图像处理。因此，能够有效地改善例如散射线分量58的影响大的腹部、骨部附近的对比度。另外，例如也能够进行如下利用：在X射线摄影中不使用为了减轻散射线分量58的影响而使用的X射线吸收栅地进行拍摄，通过图像处理来去除散射线分量58。在该情况下，能够使X射线量降低与不使用X射线吸收栅相当的量，因此能够有效地降低被检者的受照剂量。
另外，在本实施方式中，使投影角度在摄影环境模型85中的X射线摄影装置200能够拍摄的整个投影角度范围(±α、±β)内变化，来生成图像元素50的多个投影像61。根据这样的构成，能够制作如下的通用性高的学习完毕模型40，该学习完毕模型40不仅在如普通X射线摄影那样仅从特定的投影方向(胸部正面、胸部侧面等)进行拍摄的情况下，在基于X射线图像的治疗中以多样的投影角度进行X射线摄影、或者一边使投影角度变化一边进行X射线摄影的情况下，也能够有效地提取散射线分量58。
另外，在本实施方式中，使摄影环境模型85中的虚拟射线源的能谱变化，来生成图像元素50的多个投影像61。在实际的医疗现场，与摄影部位等相应地以能谱不同的各种摄影条件进行X射线摄影，根据上述结构，能够制作即使在那样以各种能谱拍摄X射线图像201的情况下也能够有效地提取散射线分量58的通用性高的学习完毕模型40。
另外，在本实施方式中，机器学习包括向1个学习模型LM输入按每个图像元素50制作出的训练输入数据64和训练输出数据65，学习完毕模型40构成为：从输入图像不重复地提取多个图像元素50，并将提取出的多个图像元素50以及提取后残留的残余图像元素59分别输出。根据这样的构成，能够提供能够以当将提取出的多个图像元素50与残余图像元素59全部相加时恢复为原始输入图像的方式进行图像元素50的提取的学习完毕模型40。也就是说，即使在从1个X射线图像201提取出多个图像元素50的情况下，也不发生该X射线图像201中包含的图像信息的损失、图像信息的意料之外的增大。由于即使进行了用于提高视觉识别性的各种图像处理、使用X射线图像201进行诊断的医生等也要在包含于原始图像的图像信息中找出诊断的根据，因此根据能够以不发生图像信息的损失的方式提取图像元素50的学习完毕模型40，能够提供即使在进行复合的图像处理的情况下医生等也能够信任的图像。
另外，在本实施方式中，对多个提取图像21的一部分或全部分别进行图像处理，通过图像处理后的多个提取图像21与X射线图像201的图像间运算来生成处理图像22。根据这样的构成，能够利用能够使用学习完毕模型40来分别提取多个图像元素50的情况，对提取出的各图像元素50的提取图像21分别独立地进行校正处理、插值处理等图像处理。在此，例如在想要对提取前的X射线图像201执行仅作用于特定的图像元素50的图像处理的情况下，该图像处理算法复杂且高负荷，也有可能对除特定的图像元素50以外的图像元素50造成不良影响。与此相对地，在对提取图像21进行图像处理的情况下，不存在其它图像元素50，因此即使只进行针对提取图像21整体的简单滤波处理等也能够获得高的图像处理精度。而且，通过使用图像处理后的提取图像21进行图像间运算，能够简单地生成不仅对多个图像元素50仅进行了增强或去除、而且还执行了限定于各个图像元素50的高精度的图像处理的处理图像22。
另外，在本实施方式中，图像间运算包括针对X射线图像201进行各个提取图像21的加权加法或加权减法。根据这样的构成，能够得到逐个将提取出的多个图像元素50单独地进行增强或去除后的处理图像22。另外，能够通过调整权重系数23来适当地设定各个图像元素50的增强程度或去除程度，因此能够与X射线图像201的各种利用场景相应地生成针对必需的图像元素50得到高的视觉识别性的处理图像22。
(变形例)
此外，应该认为，本次公开的实施方式在所有方面均为例示而非限制性的。本发明的范围不由上述的实施方式的说明示出，而是由权利要求书示出，还包含与权利要求书等同的含义及范围内的所有变更(变形例)。
例如，在上述实施方式中，示出了进行机器学习的装置(学习装置300)与图像处理装置100是不同的装置的例子，但是本发明不限于此。在本发明中，也可以在图像处理装置中进行机器学习。另外，学习装置300也可以由设置于云上的服务器计算机构成。
另外，在上述实施方式(参照图5～图7)中，示出了由1个学习完毕模型40进行多个图像元素50的提取的例子，但是本发明不限于此。在本发明中，也可以由多个学习完毕模型进行多个图像元素50的提取。例如，如图29所示，也可以按要提取的每个图像元素50逐一设置学习完毕模型40。在图29中，设置有学习完毕模型40-1、学习完毕模型40-2、……、学习完毕模型40-N。1个学习完毕模型40进行1个(1种)图像元素50的提取。此外，也可以设置多个被制作为提取多个图像元素50的学习完毕模型40。
另外，在上述实施方式中，示出了多个图像元素50包括骨53、血管54、器件55、服饰56、噪声57以及散射线分量58中的至少多者的例子，但是本发明不限于此。图像元素50也可以包括除骨53、血管54、器件55、服饰56、噪声57以及散射线分量58以外的图像元素。图像元素50例如也可以是体内的特定的器官等特定的构造部分。另外，例如也可以将骨53中的特定部位的骨的图像元素50、血管54中的特定部位的血管的图像元素50与其它骨、其它血管分别地提取。图像元素50也可以不包括骨53、血管54、器件55、服饰56、噪声57以及散射线分量58。
另外，在上述实施方式中，示出了通过图像间运算来对骨53实施去除处理、对血管54和器件55实施增强处理的例子，但是本发明不限于此。也可以对骨53实施增强处理，也可以对血管54和器件55中的一方或两方实施去除处理。
另外，在上述实施方式中，作为图像间运算的例子而示出了加权加法、加权减法这2个例子，但是本发明不限于此。图像间运算也可以是无权重系数的加法或减法。也可以通过有权重系数或无权重系数的乘法来进行图像元素50的增强处理。也可以通过有权重系数或无权重系数的除法来进行图像元素50的去除处理。
[方式]
本领域技术人员能够理解，上述的例示性的实施方式是以下方式的具体例。
(项目1)
一种学习完毕模型的制作方法，其中，
生成将三维X射线图像数据重构为二维的投影图像而得到的重构图像，
通过模拟来基于作为提取对象的图像元素的三维模型生成二维的投影像，
将所述图像元素的所述投影像与所述重构图像叠加来生成叠加图像，
通过将所述叠加图像作为训练输入数据、并将所述重构图像或所述投影像作为训练输出数据进行机器学习，来制作用于进行提取输入图像中包含的所述图像元素的处理的学习完毕模型。
(项目2)
根据项目1中记载的学习完毕模型的制作方法，其中，
按互不相同的多个图像元素中的每个图像元素制作多个所述叠加图像，
所述多个图像元素包括作为生物体组织的第一元素以及作为非生物体组织的第二元素。
(项目3)
根据项目1中记载的学习完毕模型的制作方法，其中
按互不相同的多个图像元素中的每个图像元素制作多个所述叠加图像，
所述多个图像元素包括骨、血管、导入于体内的器件、服饰、噪声以及X射线的散射线分量中的至少多者。
(项目4)
根据项目1中记载的学习完毕模型的制作方法，其中，
所述图像元素包括线状或管状的器件，
所述图像元素的所述投影像是通过以基于随机的坐标值生成的曲线模拟所述器件的三维模型的形状来生成的。
(项目5)
根据项目1中记载的学习完毕模型的制作方法，其中，
所述图像元素包括血管，
所述图像元素的所述投影像是通过使血管的三维模型的形状随机变化的模拟来生成的。
(项目6)
根据项目1中记载的学习完毕模型的制作方法，其中，
所述图像元素包括X射线的散射线分量，
所述图像元素的所述投影像是通过将所述输入图像的摄影环境进行了模型化的蒙特卡罗模拟来生成的。
(项目7)
根据项目6中记载的学习完毕模型的制作方法，其中，
使投影角度在摄影环境模型中的X射线摄影装置能够拍摄的整个投影角度范围内变化，来生成所述图像元素的多个所述投影像。
(项目8)
根据项目6中记载的学习完毕模型的制作方法，其中，
使摄影环境模型中的虚拟射线源的能谱变化，来生成所述图像元素的多个所述投影像。
(项目9)
根据项目1中记载的学习完毕模型的制作方法，其中，
所述机器学习包括向一个学习模型输入按每个所述图像元素制作出的所述训练输入数据和所述训练输出数据，
所述学习完毕模型构成为：从所述输入图像不重复地提取多个所述图像元素，并将提取出的多个所述图像元素以及提取后残留的残余图像元素分别输出。
(项目10)
一种图像生成方法，其中，
使用学习了从输入图像提取特定的图像元素的处理的学习完毕模型，从X射线图像分别提取多个图像元素，
通过进行使用了所述X射线图像以及按每个图像元素提取出的多个提取图像的图像间运算，来生成对所述X射线图像中包含的各图像元素进行了图像处理而得到的处理图像。
(项目11)
根据项目10中记载的图像生成方法，其中，
所述图像处理包括增强处理或去除处理。
(项目12)
根据项目10中记载的图像生成方法，其中，
多个图像元素包括作为生物体组织的第一元素以及作为非生物体组织的第二元素。
(项目13)
根据项目10中记载的图像生成方法，其中，
多个图像元素包括骨、血管、导入于体内的器件、服饰、噪声以及X射线的散射线分量中的至少多者。
(项目14)
根据项目10中记载的图像生成方法，其中，
对所述多个提取图像的一部分或全部分别进行图像处理，
所述处理图像是通过图像处理后的所述多个提取图像与所述X射线图像的图像间运算来生成的。
(项目15)
根据项目10中记载的图像生成方法，其中，
所述图像间运算包括针对所述X射线图像进行各个提取图像的加权加法或加权减法。
(项目16)
根据项目10中记载的图像生成方法，其中，
所述学习完毕模型构成为：从所述输入图像不重复地提取所述多个图像元素，并将提取出的所述多个图像元素以及提取后残留的残余图像元素分别输出。
(项目17)
根据项目10中记载的图像生成方法，其中，
所述学习完毕模型是通过使用重构图像和投影像进行机器学习而预先制作出的，该重构图像是基于三维图像数据重构为二维的投影图像而得到的，该投影像是通过模拟来基于所述图像元素的三维模型而制作出的。
(项目18)
一种图像处理装置，具备：
图像获取部，其获取X射线图像；
提取处理部，其使用学习了从输入图像提取特定的图像元素的处理的学习完毕模型，从所述X射线图像分别提取多个图像元素；以及
图像生成部，其通过进行使用了所述X射线图像以及按每个图像元素提取出的多个提取图像的图像间运算，来生成对所述X射线图像中包含的各图像元素进行了图像处理而得到的处理图像。
附图标记说明
10：图像获取部；20：提取处理部；21(21-1、21-2、21-N)：提取图像；22：处理图像；30：图像生成部；40(40-1、40-2、40-N)：学习完毕模型；50：图像元素；51：第一元素；52：第二元素；53：骨；54：血管；55：器件；56：服饰；57：噪声；58：散射线分量；59：残余图像元素；60：重构图像；61：投影像；64：训练输入数据；65：训练输出数据；67：叠加图像；80：CT图像数据(三维X射线图像数据)；85：摄影环境模型；100：图像处理装置；111：第一能谱(能谱)；112：第二能谱(能谱)；200：X射线摄影装置；201：X射线图像；LM：学习模型。

Claims (18)

1.一种学习完毕模型的制作方法，其中，
生成将三维X射线图像数据重构为二维的投影图像而得到的重构图像，
通过模拟来基于作为提取对象的图像元素的三维模型生成二维的投影像，
将所述图像元素的所述投影像与所述重构图像叠加来生成叠加图像，
通过将所述叠加图像作为训练输入数据、并将所述重构图像或所述投影像作为训练输出数据进行机器学习，来制作用于进行提取输入图像中包含的所述图像元素的处理的学习完毕模型。
2.根据权利要求1所述的学习完毕模型的制作方法，其中，
按互不相同的多个图像元素中的每个图像元素制作多个所述叠加图像，
所述多个图像元素包括作为生物体组织的第一元素以及作为非生物体组织的第二元素。
3.根据权利要求1所述的学习完毕模型的制作方法，其中，
按互不相同的多个图像元素中的每个图像元素制作多个所述叠加图像，
所述多个图像元素包括骨、血管、导入于体内的器件、服饰、噪声以及X射线的散射线分量中的至少多者。
4.根据权利要求1所述的学习完毕模型的制作方法，其中，
所述图像元素包括线状或管状的器件，
所述图像元素的所述投影像是通过以基于随机的坐标值生成的曲线模拟所述器件的三维模型的形状来生成的。
5.根据权利要求1所述的学习完毕模型的制作方法，其中，
所述图像元素包括血管，
所述图像元素的所述投影像是通过使血管的三维模型的形状随机变化的模拟来生成的。
6.根据权利要求1所述的学习完毕模型的制作方法，其中，
所述图像元素包括X射线的散射线分量，
所述图像元素的所述投影像是通过将所述输入图像的摄影环境进行了模型化的蒙特卡罗模拟来生成的。
7.根据权利要求6所述的学习完毕模型的制作方法，其中，
使投影角度在摄影环境模型中的X射线摄影装置能够拍摄的整个投影角度范围内变化，来生成所述图像元素的多个所述投影像。
8.根据权利要求6所述的学习完毕模型的制作方法，其中，
使摄影环境模型中的虚拟射线源的能谱变化，来生成所述图像元素的多个所述投影像。
9.根据权利要求1所述的学习完毕模型的制作方法，其中，
所述机器学习包括向一个学习模型输入按每个所述图像元素制作出的所述训练输入数据和所述训练输出数据，
所述学习完毕模型构成为：从所述输入图像不重复地提取多个所述图像元素，并将提取出的多个所述图像元素以及提取后残留的残余图像元素分别输出。
10.一种图像生成方法，其中，
使用学习了从输入图像提取特定的图像元素的处理的学习完毕模型，从X射线图像分别提取多个图像元素，
通过进行使用了所述X射线图像以及按每个图像元素提取出的多个提取图像的图像间运算，来生成对所述X射线图像中包含的各图像元素进行了图像处理而得到的处理图像。
11.根据权利要求10所述的图像生成方法，其中，
所述图像处理包括增强处理或去除处理。
12.根据权利要求10所述的图像生成方法，其中，
多个图像元素包括作为生物体组织的第一元素以及作为非生物体组织的第二元素。
13.根据权利要求10所述的图像生成方法，其中，
多个图像元素包括骨、血管、导入于体内的器件、服饰、噪声以及X射线的散射线分量中的至少多者。
14.根据权利要求10所述的图像生成方法，其中，
对所述多个提取图像的一部分或全部分别进行图像处理，
所述处理图像是通过图像处理后的所述多个提取图像与所述X射线图像的图像间运算来生成的。
15.根据权利要求10所述的图像生成方法，其中，
所述图像间运算包括针对所述X射线图像进行各个提取图像的加权加法或加权减法。
16.根据权利要求10所述的图像生成方法，其中，
所述学习完毕模型构成为：从所述输入图像不重复地提取所述多个图像元素，并将提取出的所述多个图像元素以及提取后残留的残余图像元素分别输出。
17.根据权利要求10所述的图像生成方法，其中，
所述学习完毕模型是通过使用重构图像和投影像进行机器学习而预先制作出的，该重构图像是基于三维图像数据重构为二维的投影图像而得到的，该投影像是通过模拟来基于所述图像元素的三维模型而制作出的。
18.一种图像处理装置，具备：
图像获取部，其获取X射线图像；
提取处理部，其使用学习了从输入图像提取特定的图像元素的处理的学习完毕模型，从所述X射线图像分别提取多个图像元素；以及
图像生成部，其通过进行使用了所述X射线图像以及按每个图像元素提取出的多个提取图像的图像间运算，来生成对所述X射线图像中包含的各图像元素进行了图像处理而得到的处理图像。
CN202080097558.XA 2020-02-26 2020-02-26 学习完毕模型的制作方法、图像生成方法以及图像处理装置 Pending CN115209808A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007600 WO2021171394A1 (ja) 2020-02-26 2020-02-26 学習済みモデルの作成方法、画像生成方法および画像処理装置

Publications (1)

Publication Number Publication Date
CN115209808A true CN115209808A (zh) 2022-10-18

Family

ID=77490800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080097558.XA Pending CN115209808A (zh) 2020-02-26 2020-02-26 学习完毕模型的制作方法、图像生成方法以及图像处理装置

Country Status (4)

Country Link
US (1) US20230097849A1 (zh)
JP (2) JPWO2021171394A1 (zh)
CN (1) CN115209808A (zh)
WO (1) WO2021171394A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7352382B2 (ja) * 2019-05-30 2023-09-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
WO2023161848A1 (en) * 2022-02-24 2023-08-31 Auris Health, Inc. Three-dimensional reconstruction of an instrument and procedure site
US20230277249A1 (en) * 2022-03-01 2023-09-07 Verb Surgical Inc. Apparatus, systems, and methods for intraoperative instrument tracking and information visualization
CN116433476B (zh) * 2023-06-09 2023-09-08 有方（合肥）医疗科技有限公司 Ct图像处理方法及装置
EP4488948A1 (de) * 2023-07-05 2025-01-08 Ziehm Imaging GmbH Verfahren zum einstellen der sichtbarkeit von objekten in einem durch strahlung erzeugten projektionsbild

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150330915A1 (en) * 2014-05-16 2015-11-19 Tokyo Electron Limited Nondestructive inline x-ray metrology with model-based library method
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
CN110009613A (zh) * 2019-03-28 2019-07-12 东南大学 基于深度稠密网络的低剂量ct成像方法、装置及系统
JP2019130275A (ja) * 2018-01-31 2019-08-08 株式会社リコー 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム
CN110234400A (zh) * 2016-09-06 2019-09-13 医科达有限公司 用于生成合成医学图像的神经网络
WO2019176734A1 (ja) * 2018-03-12 2019-09-19 東芝エネルギーシステムズ株式会社 医用画像処理装置、治療システム、および医用画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459457B1 (en) * 1999-12-21 2002-10-01 Texas Instruments Incorporated Adaptive color comb filter
EP3590577B1 (en) * 2017-03-03 2023-12-06 University of Tsukuba Object tracking device
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
JP6881611B2 (ja) * 2018-01-09 2021-06-02 株式会社島津製作所 画像作成装置及び学習済モデルの生成方法
US10885629B2 (en) * 2018-01-31 2021-01-05 Ricoh Company, Ltd. Medical image processing apparatus, medical image processing method, medium, and medical image processing system
JP7179521B2 (ja) * 2018-08-02 2022-11-29 キヤノンメディカルシステムズ株式会社 医用画像処理装置、画像生成方法、及び画像生成プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150330915A1 (en) * 2014-05-16 2015-11-19 Tokyo Electron Limited Nondestructive inline x-ray metrology with model-based library method
CN110234400A (zh) * 2016-09-06 2019-09-13 医科达有限公司 用于生成合成医学图像的神经网络
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
JP2019130275A (ja) * 2018-01-31 2019-08-08 株式会社リコー 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム
WO2019176734A1 (ja) * 2018-03-12 2019-09-19 東芝エネルギーシステムズ株式会社 医用画像処理装置、治療システム、および医用画像処理プログラム
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
CN110009613A (zh) * 2019-03-28 2019-07-12 东南大学 基于深度稠密网络的低剂量ct成像方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张锡英 等: "基于断层扫描数据的心脏三维重建", 重庆理工大学学报(自然科学), vol. 30, no. 12, 31 December 2016 (2016-12-31), pages 102 - 107 *

Also Published As

Publication number Publication date
JP2024149738A (ja) 2024-10-18
WO2021171394A1 (ja) 2021-09-02
JPWO2021171394A1 (zh) 2021-09-02
US20230097849A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
CN115209808A (zh) 学习完毕模型的制作方法、图像生成方法以及图像处理装置
US8594407B2 (en) Plane-by-plane iterative reconstruction for digital breast tomosynthesis
US9934597B2 (en) Metal artifacts reduction in cone beam reconstruction
US9754390B2 (en) Reconstruction of time-varying data
JP5635730B2 (ja) 画像から関心のある特徴部を抽出するためのシステム及び方法
CN104135931B (zh) 用于减少成像数据中的局部伪影的方法和系统
CN106999138B (zh) 诊断成像方法和设备及其记录介质
JP2017535344A (ja) トモシンセシスデータから合成マンモグラムを生成する方法
JP7661327B2 (ja) 放射線パラメータを判定するためのシステムおよび方法
US10147207B2 (en) System and method for high-temporal resolution, time-resolved cone beam CT angiography
CN111540025A (zh) 预测用于图像处理的图像
Schnurr et al. Simulation-based deep artifact correction with convolutional neural networks for limited angle artifacts
JP2021520236A (ja) 解剖学的構造に基づくフレームレス二次元／三次元画像レジストレーション
JP2019523030A (ja) 深さ改善されたトモシンセシス再構成
JP7657635B2 (ja) 画像処理装置、学習装置、放射線画像撮影システム、画像処理方法、学習方法、画像処理プログラム、及び学習プログラム
Do et al. A decomposition-based CT reconstruction formulation for reducing blooming artifacts
WO2016134127A1 (en) Common-mask guided image reconstruction for enhanced four-dimensional come-beam computed tomography
JP2017537674A (ja) 複数回の取得にわたってコントラストを正規化するための方法およびシステム
CN107886554B (zh) 流数据的重构
JP7454435B2 (ja) 医用画像処理装置および医用画像処理方法
CN110730977A (zh) 低剂量成像方法及装置
Natalinova et al. Computer spatially oriented reconstruction of a 3d heart shape based on its tomographic imaging
WO2005076038A1 (en) Method and apparatus for providing high-resolution reconstruction of an observed object
EP4312772B1 (en) Subtraction imaging
Nakao Medical image synthesis and statistical reconstruction methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination