[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117561577A - 人工智能建模以建议场几何模板 - Google Patents

人工智能建模以建议场几何模板 Download PDF

Info

Publication number
CN117561577A
CN117561577A CN202280045658.7A CN202280045658A CN117561577A CN 117561577 A CN117561577 A CN 117561577A CN 202280045658 A CN202280045658 A CN 202280045658A CN 117561577 A CN117561577 A CN 117561577A
Authority
CN
China
Prior art keywords
radiation therapy
therapy treatment
treatment
attribute
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280045658.7A
Other languages
English (en)
Inventor
M·哈卡拉
E·屈塞拉
E·切兹勒
S·巴西里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical International Co ltd
Original Assignee
Siemens Medical International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical International Co ltd filed Critical Siemens Medical International Co ltd
Publication of CN117561577A publication Critical patent/CN117561577A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1042—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy with spatial modulation of the radiation beam within the treatment head
    • A61N5/1045—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy with spatial modulation of the radiation beam within the treatment head using a multi-leaf collimator, e.g. for intensity modulated radiation therapy or IMRT
    • A61N5/1047—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy with spatial modulation of the radiation beam within the treatment head using a multi-leaf collimator, e.g. for intensity modulated radiation therapy or IMRT with movement of the radiation head during application of radiation, e.g. for intensity modulated arc therapy or IMAT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

本文描述的实施例提供推荐放射疗法治疗属性。机器学习模型预测医疗专业人员的偏好，并且为各种放射疗法治疗类别提供放射疗法治疗属性的相关建议(或推荐)。具体地，机器学习模型从各种场几何属性选项中预测针对各种场几何属性类别的场几何属性。机器学习模型以患者数据诸如医疗图像和患者信息为条件。响应于与接受提供/显示的推荐的医疗专业人员相关联的累积奖励信息来训练机器学习模型。

Description

人工智能建模以建议场几何模板
技术领域
本申请总体上涉及在辐射疗法治疗程序中使用人工智能建模以建议放射疗法治疗属性。
背景技术
放射疗法(基于辐射的疗法)通过发射可杀死细胞或缩小肿瘤的高剂量辐射而用作癌症治疗。由于从辐射疗法机发射的辐射的极端性质，必须精确计算和遵循治疗属性。旨在接收辐射的患者的解剖结构的靶区(例如肿瘤)被称为计划靶体积(PTV)。目标为向PTV输送足够的辐射以在放射疗法治疗期间杀死癌细胞。然而，邻近或围绕PTV的其它器官或解剖区可阻挡辐射束并且可接收足够的辐射以损伤或伤害此类器官或解剖区。这些器官或解剖区被称为危及器官(OAR)。
场几何是指为患者治疗而配置的放射疗法机的各种属性。场几何属性包括调强辐射疗法(IMRT)参数(例如，辐射束的数量和射束角度(辐射输送方向))、体积调制弧形治疗(VMAT)参数(例如，弧的数量和范围(全部或部分))、准直器角度、准直器架位置、回避扇区、等中心定位策略、治疗床旋转等。
确定有效和适当的场几何属性和其它放射疗法属性所涉及的选择取决于各种因素，诸如诊所可用的治疗机器、诊所指南、医疗专业人员的偏好(其中医疗专业人员为治疗计划者、技师、医师、临床医生、放射剂量测试员、肿瘤学家、临床专家或放射科医生(或某种组合))、患者解剖结构等。
各种医疗专业人员可使用其主观理解和技能，结合各种外部和内部指南，手动选择场几何属性。然而，这种传统方法为低效的。例如，作为场几何选择的第一步，医疗专业人员可标识治疗模式(例如，在VMAT或IMRT之间选择)。医疗专业人员然后可决定是共面治疗还是非共面治疗为优选的。医疗专业人员然后可确定用于治疗的射束限制设备角度。在IMRT的情况下，射束输送方向和射束的数量为必须决定的特别相关变量，而对于VMAT，医疗专业人员可需要选择弧的数量以及其对应的起始和终止角度。
对于这些决定，每个诊所和/或医疗专业人员可具有偏好和标准实践。例如，第一医疗专业人员可将辐射等中心直接放置到受试者区域(例如，肿瘤)上并且可决定在受试者区域周围具有全弧的机架运动。另一医疗专业人员可通过具有几个固定的场方向来接近相同的场几何确定并且试图避开其它器官。另外，场几何确定可在区和/或诊所之间变化。在一些情况下，诊所可定义它们自己的场几何属性，以使机构的患者之间的治疗均匀化。在其它情况下，如本文所讨论的，医疗专业人员可基于个人偏好、训练和解释患者数据(例如，患者医疗文件、患者医疗图像)的独特方式来定义场几何属性。因此，患者数据可以不同的方式解释，这产生不期望的结果。
选择各种场几何属性可被视为多类分类问题，其中可存在各种类并且可接受和/或考虑多于一个类。传统上，场几何属性可根据生成对抗网络(GAN)、使用马尔可夫(Markov)逻辑网络的统计关系学习以及基于患者相似性的其它解决方案(例如，经由降维找到的)来选择。然而，传统方法假设在训练实现的机器学习模型之前存在代表性的训练集。另外，传统方法对数据分布改变敏感。
发明内容
由于上述原因，需要使用不取决于医疗专业人员的主观技能和理解的方法和系统来推荐场几何属性。本文公开的为能够为患者提供场几何属性的连续改进的医疗专业人员特定的推荐的系统和方法。使用医疗专业人员的先前决定和连续交互，实现连续训练(例如，在线学习)的推荐算法来为患者选择场几何属性。
连续学习允许机器学习模型在没有预定义训练集的情况下学习，因为学习是在线发生的。对于每名新患者，场几何推荐系统的性能被最大化。连续学习还允许机器学习模型逐渐适应新的数据分布(例如，经由探索阶段)，使机器学习模型对数据分布改变不太敏感(更具抵抗力)。例如，在一些实现方式中，可添加新的解决方案(例如，场几何属性、放射疗法治疗属性和/或放射疗法治疗类别)，并且随着时间的发展，机器学习模型能够适应新的解决方案。
可使用强化学习方法来训练机器学习模型。强化学习方法利用代理和动态改变(例如，学习)策略来确定放射疗法治疗属性推荐并且特别是场几何属性推荐。由强化学习方法推荐的场几何属性(例如，推荐的场几何属性集)可被认为是场几何模板。
强化学习方法学习根据患者数据作为上下文来为医疗专业人员推荐相关场几何属性的改进策略。患者数据可包括医疗图像(计算机断层摄影(CT)图像、锥形束CT图像(CBCT)、四维CT图像(例如，随时间推移的CT图像)、磁共振成像(MRI)图像、正电子发射断层摄影(PET)图像、超声图像、经由一些其它成像模式获得的图像或其组合)、患者信息(例如，身高、体重、身体质量指数(BMI)、诊断信息(包括解剖属性，诸如PTV和/或OAR)、年龄、装备(例如，起搏器、呼吸器))等。强化学习方法使用连续的用户交互来为特定的医疗专业人员和诊所做出放射疗法属性推荐(并且特别是场几何属性推荐)。
本文描述一种用于为医疗专业人员推荐场几何类解决方案的强化学习方法。强化学习方法复制(或模拟)医疗专业人员确定场几何属性的方式。使用连续的用户交互为每名患者选择场几何的属性。完全强化学习方法(full reinforcement learning)可不适用，因为每个上下文(例如，每个强化学习状态)不取决于代理的过去行动。也就是说，本文描述的强化学习方法可为轻量级强化学习方法，诸如上下文博弈器(contextual bandit)。强化学习方法可作为一步强化学习(one-step reinforcement learning)方法来应用。
机器学习模型预测医疗专业人员的偏好，并且为各种放射疗法治疗类别提供放射疗法治疗属性的相关建议(或推荐)。具体地，机器学习模型使用强化学习方法来从各种场几何属性选项预测针对各种场几何属性类别的场几何属性。机器学习模型以患者数据(例如，医疗图像、患者信息)为条件。响应于与接受提供/显示的推荐的医疗专业人员相关联的累积奖励信息来训练机器学习模型。
在一个实施例中，计算机实现的方法可包括由处理器迭代地训练机器学习模型，其中在至少一次迭代中，处理器：执行机器学习模型以摄取患者数据，以从多个治疗属性选项中选择针对多个放射疗法治疗类别中的放射疗法治疗类别的预测放射疗法治疗属性；响应于在电子设备上显示多个治疗属性选项，接收对至少一个属性的选择；计算针对预测放射疗法治疗属性的奖励值，其中当选择匹配预测放射疗法治疗属性时，处理器向上调整奖励值；生成与后续放射疗法治疗类别相对应的后续预测放射疗法治疗属性，处理器基于从电子设备接收的对至少一个放射疗法治疗属性的选择来选择后续放射疗法治疗类别；以及计算针对后续预测放射疗法治疗属性的后续奖励值，其中处理器训练策略以生成预测放射疗法治疗属性的组合，组合生成满足阈值的累积奖励值。
多个放射疗法治疗类别内的至少一个类别可对应于：辐射疗法治疗技术、治疗床旋转或准直器角度设置。
处理器可在由用户操作的电子设备上显示多个治疗属性选项，使得可基于用户的偏好来训练机器学习模型。
患者数据可包括患者的解剖属性、身体质量指数、医疗图像、患者身高、患者体重、患者年龄、诊断信息或患者设备中的至少一个。
可使用放射疗法治疗的工作流程来选择后续类别。
每个放射疗法治疗类别可对应于场几何类别。
计算机实现的方法可还包括由处理器使用与第二患者相关联的数据来执行训练的机器学习模型；以及由处理器显示第二预测放射疗法治疗属性，该第二预测放射疗法治疗属性被预测为产生比其它治疗属性选项更高的奖励。
满足阈值的累积奖励值可指示累积奖励值高于与其它可能的预测放射疗法治疗属性相关联的其它累积奖励值。
至少一个放射疗法治疗属性可对应于：具有两个全弧的标准VMAT、具有两个部分弧的复合VMAT、具有三个弧的复合VMAT、具有四个弧的复合VMAT、旋转治疗床、不旋转治疗床、旋转治疗床预定度数、默认值准直器角度、非默认值准直器角度、准直器角度弧起始或准直器角度弧终止。
可使用一步强化学习来训练机器学习模型。
在另一实施例中，系统可包括服务器，该服务器包括处理器和含有指令的非暂态计算机可读介质，指令在由处理器执行时使处理器执行操作，操作包括：迭代地训练机器学习模型，其中在至少一次迭代中，处理器：执行机器学习模型以摄取患者数据以从多个治疗属性选项选择针对多个放射疗法治疗类别中的放射疗法治疗类别的预测放射疗法治疗属性；响应于在电子设备上显示多个治疗属性选项，接收对至少一个属性的选择；计算针对预测放射疗法治疗属性的奖励值，其中当选择匹配预测放射疗法治疗属性时，处理器向上调整奖励值；生成与后续放射疗法治疗类别相对应的后续预测放射疗法治疗属性，处理器基于从电子设备接收的对至少一个放射疗法治疗属性的选择来选择后续放射疗法治疗类别；以及计算后续预测放射疗法治疗属性的后续奖励值，其中处理器训练策略以生成预测放射疗法治疗属性的组合，该组合生成满足阈值的累积奖励值。
多个放射疗法治疗类别内的至少一个类别可对应于：辐射疗法治疗技术、治疗床旋转或准直器角度设置。
处理器可还被配置为在由用户操作的电子设备上显示多个治疗属性选项，使得基于用户的偏好来训练机器学习模型。
患者数据可包括患者的解剖属性、身体质量指数、医疗图像、患者身高、患者体重、患者年龄、诊断信息或患者设备中的至少一个。
可使用放射疗法治疗的工作流程来选择后续类别。
每个放射疗法治疗类别可对应于场几何类别。
处理器可还被配置为：使用与第二患者相关联的数据来执行训练的机器学习模型；和显示第二预测放射疗法治疗属性，该第二预测放射疗法治疗属性被预测为产生比其它治疗属性选项更高的奖励。
满足阈值的累积奖励值可指示累积奖励值高于与其它可能的预测放射疗法治疗属性相关联的其它累积奖励值。
至少一个放射疗法治疗属性可对应于：具有两个全弧的标准VMAT、具有两个部分弧的复合VMAT、具有三个弧的复合VMAT、具有四个弧的复合VMAT、旋转治疗床、不旋转治疗床、旋转治疗床预定度数、默认值准直器角度、非默认值准直器角度、准直器角度弧起始或准直器角度弧终止。
使用一步强化学习来训练机器学习模型。
附图说明
参考附图以示例的方式描述本公开的非限制性实施例，附图为示意性的，并不旨在按比例绘制。除非指示为代表背景技术，否则附图代表本公开的方面。
图1说明根据一个实施例的放射疗法治疗属性推荐系统的组件。
图2说明根据一个实施例的在执行放射疗法治疗属性推荐系统之前执行的初始化过程的流程图。
图3说明根据一个实施例的放射疗法治疗类别和放射疗法治疗属性。
图4说明根据一个实施例的强化学习模型。
图5说明根据一个实施例的在放射疗法治疗属性推荐系统中执行的过程的流程图。
图6说明根据一个实施例的向医疗专业人员提供场几何属性推荐的交互式显示器。
图7A说明根据一个实施例的利用本文所述的方法和系统的工作流程的非限制性视觉示例。
图7B说明根据一个实施例的在工作流程中采用的RL引擎。
具体实施方式
现在将参考附图中所描绘的说明性实施例，并且本文将使用特定语言对其进行描述。然而，应该理解，并不旨在由此限制权利要求或本公开的范围。相关领域的技术人员和拥有本公开的技术人员将想到的对本文所说明的发明特征的变更和另外的修改，以及本文所说明的主题的原理的附加应用，将被认为在本文公开的主题的范围内。在不脱离本公开的精神或范围的情况下，可使用其它实施例和/或可进行其它改变。在详细描述中描述的说明性实施例并不意味着限制所呈现的主题。
放射疗法诊所(clinic)可利用动态软件解决方案来推荐放射疗法治疗属性。具体地，软件解决方案可分析患者数据、医疗专业人员偏好和许多其它因素，以生成定制的推荐的场几何属性。
图1说明根据一个实施例的放射疗法治疗属性推荐系统100的组件。系统100可包括分析服务器110a、系统数据库110b、机器学习模型111、电子数据源120a-d(统称为电子数据源120)、终端用户设备140a-c(统称为终端用户设备140)、管理员计算设备150和具有医疗设备计算机162的医疗设备160。图1中描绘的各种组件可属于放射疗法诊所，在一些情况下，患者可在该诊所经由位于诊所内的一个或多个放射疗法机(例如，医疗设备160)接收放射疗法治疗。上述组件可通过网络130相互连接。网络130的示例可包括但不限于私有或公共LAN、WLAN、MAN、WAN和互联网。网络130可包括根据一个或多个标准和/或经由一个或多个传播介质的有线和/或无线通信。
通过网络130的通信可根据各种通信协议诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)和IEEE通信协议执行。在一个示例中，网络130可包括根据蓝牙规范集或另一标准或专有无线通信协议的无线通信。在另一示例中，网络130还可包括通过包括例如GSM(全球移动通信系统)、CDMA(码分多址)、EDGE(增强型全球演进数据)网络的蜂窝网络的通信。
系统100不限于本文描述的组件并且可包括为简洁起见未示出的附加或其它组件，这些组件被视为在本文描述的实施例的范围内。
分析服务器110a可生成并且显示电子平台，该电子平台被配置成使用各种计算机模型111(包括人工智能和/或机器学习模型)来推荐场几何属性。更具体地，平台可显示一个或多个优化的(推荐的、标识的、选择的)放射疗法治疗属性，诸如从机器学习模型111确定的场几何属性。电子平台可包括显示在每个电子数据源120、终端用户设备140、管理员计算设备150和/或医疗设备计算机162上的图形用户界面(GUI)。由分析服务器110a生成和托管的电子平台的示例可为基于网络的应用或网站，其被配置成显示在不同的电子设备上，诸如移动设备、平板电脑、个人计算机等。
在非限制性示例中，医疗专业人员可向电子数据源120b输入预定义的场几何类集(例如，IMRT、VMAT、治疗床旋转)。预定义的场几何类解决方案集可为将从中得出推荐的解决方案集。医疗专业人员可与电子数据源120b(以及系统100的其它组件，包括医疗专业人员设备140c和医疗计算设备162)进行交互，使得医疗专业人员可与机器学习模型111的输出进行交互(例如，向机器学习模型111提供反馈，选择所显示的放射疗法治疗属性选项的期望的放射疗法治疗属性)。电子数据源120b(以及系统100的其它组件，包括医疗专业人员设备140c和医疗计算设备162)也可被配置成监测或以其他方式记录医疗专业人员的输入，使得医疗专业人员的输入被捕获和存储。
医疗专业人员可向电子数据源120b输入患者数据，诸如医疗图像和PTV和/或OAR信息。操作设备120b、140c和/或162的医疗专业人员可访问平台，并且审查从机器学习模型111生成的所显示的推荐的场几何属性。
附加地或替代地，由分析服务器110a调用以推荐场几何属性的操作可为优化患者治疗计划(例如，患者的器官间的剂量分布)的操作序列中的操作的一部分。也就是说，机器学习模型111和医疗专业人员的选择的结果可被传输到其它处理器或设备以优化患者治疗计划(或其它放射疗法治疗属性)。
医疗专业人员可将医疗专业人员设备(例如，医疗专业人员设备140c)用作显示由分析服务器110a预测的结果的设备，并且在一些情况下用作电子数据源(例如，电子数据源120b)以训练机器学习模型111。
分析服务器110a可推荐用于质子辐射、光子辐射和电子辐射的放射疗法治疗属性。特别地，分析服务器110a可利用本文描述的方法和系统来自动学习和推荐场几何属性。分析服务器110a可在终端用户设备140c、医疗计算设备162和/或医疗专业人员设备120b上显示场几何属性。分析服务器110a也可经由一个或多个下游应用使用场几何属性。例如，下游应用可根据各种推荐的场几何属性来确定治疗计划。使用场几何治疗属性，下游应用可标识治疗计划。治疗计划可包括信息诸如剂量分布、辐射参数诸如射束角度、副作用预测、器官和/或肿瘤分割、机器治疗属性诸如机架位置、射束阻挡设备、治疗频率、治疗定时和治疗模式。另外，分析服务器110a可将场几何属性和其它辐射参数和/或治疗计划属性传输到一个或多个其它服务器(例如，诊所服务器140b)，使得不同的设备经由一个或多个下游应用使用场几何属性。附加地或替代地，分析服务器110a(或其它服务器)可基于选择的场几何属性来调整终端用户设备140中的一个(例如，终端用户设备140c)的配置。
分析服务器110a可托管操作本文描述的任何电子设备的用户(例如，终端用户、医疗专业人员)可访问的网站，其中可基于每个特定用户的角色或查看权限来控制经由各种网页呈现的内容。分析服务器110a可为包括处理器和能够执行本文描述的各种任务和过程的非暂态机器可读存储装置的任何计算设备。分析服务器110a可采用各种处理器，诸如中央处理单元(CPU)和图形处理单元(GPU)等。此类计算设备的非限制性示例可包括工作站计算机、膝上型计算机、服务器计算机等。虽然系统100包括单个分析服务器110a，但是分析服务器110a可包括在诸如云环境的分布式计算环境中操作的任何数量的计算设备。
分析服务器110a可执行被配置成显示电子平台(例如，托管网站)的软件应用，其可生成各种网页并且将其提供给每个电子数据源120和/或终端用户设备140。不同的用户可使用网站来查看推荐的(优化的)结果和/或与其交互，以选择用于治疗的场几何属性。
服务器，诸如分析服务器110a、服务器120c和/或诊所服务器140b，可在下游处理中使用选择的推荐结果(例如，优化一个或多个其它辐射参数和/或治疗计划属性)。例如，分析服务器110a可使用选择的场几何属性来优化剂量分布。
分析服务器110a可被配置成基于用户授权证书集(例如，用户名、密码、生物特征和/或加密凭证等)来要求用户认证。分析服务器110a可访问被配置成存储用户证书的系统数据库110b，分析服务器110a可被配置成参考该用户证书以便确定输入的证书集(据称认证用户)是否匹配标识和认证用户的适当的证书集。
分析服务器110a可基于系统100内的特定用户的角色来生成和托管网页。在此类实现方式中，用户的角色可由存储在诊所服务器110b的系统数据库中的用户记录中的数据字段和输入字段来定义。分析服务器110a可认证用户并且可通过执行访问目录协议(例如，LDAP)来标识用户的角色。分析服务器110a可生成根据由系统数据库110b中的用户记录定义的用户的角色定制的网页内容。
分析服务器110a可从用户接收患者数据(例如，医疗图像、身高、体重、诊断、年龄、装备等)或从数据储存库中检索此类数据、分析数据并且在电子平台上显示结果。分析服务器110a可预处理患者数据(例如，自动分割医疗图像)。例如，在非限制性示例中，分析服务器110a可从数据库120d查询和检索医疗图像，并且将医疗图像与从操作医疗专业人员设备120b和/或医疗设备160的医疗专业人员接收的分割数据组合，以对医疗图像执行预处理(例如，分割医疗图像)。
分析服务器110a可执行各种机器学习模型111(存储在诊所服务器140b或分析服务器110b的系统数据库中)以分析检索的数据。分析服务器110a然后可在管理员计算设备150、医疗专业人员设备120b、医疗计算设备162和/或终端用户设备140上显示要经由电子平台交互的结果。
电子数据源120可代表各种电子数据源，其包含、检索和/或输入与患者的治疗计划相关联的数据，包括患者数据和治疗数据。例如，分析服务器110a可使用诊所计算机120a、医疗专业人员设备120b、服务器120c(与医师和/或诊所相关联)和数据库120d(与医师和/或诊所相关联)来检索/接收与患者的治疗计划相关联的数据。
终端用户设备140可为包括能够执行本文描述的各种任务和过程的处理器和非暂态机器可读存储介质的任何计算设备。终端用户设备140的非限制性示例可为工作站计算机、膝上型计算机、平板计算机和服务器计算机。在操作中，各种用户可使用终端用户设备140来访问由分析服务器110a可操作地管理的GUI。具体地，终端用户设备140可包括诊所计算机140a、诊所服务器140b和医疗设备专业人员140c。即使在本文被称为“终端用户”设备，这些设备也可不总是由终端用户操作。例如，诊所服务器140b可不被终端用户直接使用。然而，存储在诊所服务器140b上的结果可用于填充终端用户经由医疗专业人员设备140c访问的各种GUI。
管理员计算设备150可代表由系统管理员操作的计算设备。管理员计算设备150连同医疗专业人员设备140c、医疗专业人员设备120b、医疗设备计算机162等可被配置成显示由分析服务器110a生成的推荐的场几何属性(例如，在一个或多个机器学习模型和/或系统的训练期间确定的各种分析度量)；监测由分析服务器110a、电子数据源120和/或终端用户设备140利用的各种机器学习模型111；审查反馈；和/或促进由分析服务器110a维护的机器学习模型111的训练或再训练(校准)。
医疗设备160可为被配置成实现患者的放射疗法治疗的放射疗法机(例如，线性加速器、粒子加速器(包括环形加速器)或钴机))。医疗设备160还可包括能够发射辐射的成像设备，使得医疗设备160可根据各种方法执行成像以准确地对患者的内部结构成像。例如，医疗设备160可包括旋转系统(例如，静态或旋转多视图系统)。多视图系统的非限制性示例可包括立体系统(例如，两个系统可正交布置)。医疗设备160还可与医疗设备计算机162通信，该医疗设备计算机被配置成显示本文讨论的各种GUI。例如，分析服务器110a可将由机器学习模型111预测的结果显示在医疗设备计算机162上。
在操作中，医疗专业人员可访问在医疗专业人员设备120b上执行的应用并且输入患者数据(例如，患者信息、患者诊断、辐射疗法辐射要求和阈值)。分析服务器110a然后使用患者标识符从电子数据源120查询患者数据(例如，患者解剖结构和/或医疗图像)。分析服务器然后可标识与患者相关联的诊所(例如，执行治疗的诊所)并且检索与治疗模板和诊所规则相关联的一个或多个文件。然后，分析服务器110a可利用本文描述的系统和方法来生成推荐的场几何属性，以显示给一个或多个医疗专业人员(并且与其交互)。
分析服务器110a可与计算设备162、终端用户设备140和/或电子数据源120进行通信(实时或近实时)，使得托管医疗设备160的服务器/计算机可基于推荐的(或选择的)场几何属性来调整医疗设备160。例如，放射疗法机可基于场几何属性来调整机架、射束阻挡设备(例如，多叶准直器MLC)和治疗床。分析服务器110a可将指示任何数量或类型的辐射参数、射束角度和/或治疗属性的指令传输到放射疗法机以促进此类调整。
分析服务器110a可存储机器学习模型111(例如，神经网络、随机森林、支持向量机或其它深度学习模型)，该机器学习模型经训练以推荐与患者和对应诊所、医疗专业人员、指南、指令或其某种组合相关联的放射疗法治疗属性(诸如，场几何属性)。
分析服务器110a可使用与先前治疗的患者相关联的患者数据和治疗数据来训练机器学习模型111。例如，分析服务器110a可从一个或多个医疗专业人员、数据源120和临床规则接收患者数据(例如，身体属性、诊断和/或医疗图像)和选择的场几何属性治疗。
在一个示例中，基于患者数据(例如，患者的BMI)，医疗专业人员可确定将等中心放置在肿瘤的中间，并且在射束开启时进行全弧形机架运动。如本文所用，等中心(或辐射等中心)是指在射束开启模式(beam-on mode)期间当机架旋转(例如，半弧或全弧)时辐射束在空间中相交的点。然而，对于具有不同BMI的第二名患者，医疗专业人员可通过具有均匀分布的几个固定管方向并且试图避开患者身体的某些结构/器官来确定实现相同的治疗。因此，不同的患者将导致不同的场几何属性(例如，辐射束角度)，从而导致不同的实现方式和程序。
在另一非限制性示例中，特定的临床特定规则可指示具有满足阈值的身体属性(例如，身高和体重)的患者将在两个弧中接收VMAT治疗。如本文所用，VMAT是指辐射疗法技术，其在治疗机器旋转时连续地输送辐射剂量。临床特定规则可指示，除非医疗专业人员明确说明，否则默认的放射疗法方法应为具有两个弧的VMAT辐射。另一诊所可使用其它方法或者可需要更少或更多数量的弧。因此，不同的诊所将导致不同的场几何属性(例如，VMAT弧的数量)，从而导致不同的实现方式和程序。
机器学习模型111可存储在系统数据库110b中，并且可对应于单个放射疗法诊所或者不同的放射疗法机集(例如，位于单个放射疗法诊所、位于不同地理区、治疗特定类型的疾病(例如，不同类型的癌症)、治疗特定性别等的放射疗法机)。例如，机器学习模型111可与指示放射疗法诊所、放射疗法机集或特定疾病的标识符相关联。
在各种实施例中，机器学习模型111使用一个或多个深度学习引擎来模拟强化学习模型中的代理。尽管使用深度卷积神经网络举例说明，但是应当理解，任何替代和/或附加(多个)深度学习模型都可用于实现深度学习引擎。深度学习引擎包括连续训练和/或在训练阶段期间训练的处理路径。一旦经训练，深度学习引擎就可(例如，由医疗专业人员)用于基于策略和例如给定观察状态的ε值来选择行动。
一种类型的深度学习引擎为卷积神经网络(CNN)。CNN为神经网络的分支并且由一堆层组成，每个层执行特定的操作，例如卷积、池化等。每个中间层接收前一层的输出作为其输入。开始层为输入层，其可直接连接到输入图像，并且可具有与输入图像中的像素数量相等的神经元数量。下一组层为卷积层，其呈现将一定数量的滤波器与输入数据卷积的结果并且作为特征提取器执行。通常称为内核的滤波器具有由设计者根据内核大小定义的任意大小。每个神经元仅对前一层的特定区域做出反应，称为感受野。每个卷积层的输出被认为是激活图，它突出显示在输入上应用特定滤波器的效果。卷积层之后可为激活层，以将非线性应用于激活图。下一层可为池化层，这有助于降低卷积输出的维度。在各种实现方式中，高级抽象由完全连接的层提取。神经连接和内核的权重可在训练阶段连续优化。
深度学习通常使用模型来递增地学习类别，例如，在试图学习较高级别的类别之前学习较低级别的类别。例如，可为计算机提供大型数据集，并且通过使用深度学习算法，可将数据元素分类为诸如功能、形状等的类别。“聚类”可基于数据的相似性而发生。
训练的目的为训练深度学习引擎以优化策略，使得基于患者数据向医疗专业人员提供的推荐为相关的，并且受医疗专业人员的偏好、诊所的偏好、特定地理/区的偏好等的影响。例如，训练可涉及通过采取目标函数(例如，奖励函数)的梯度来优化策略，以基于与医疗专业人员偏好一致的放射疗法治疗属性的鼓励推荐来使奖励的累积总和最大化。
放射疗法诊所的医疗专业人员可访问位于诊所的终端用户设备140，或访问与诊所相关联的账户。医疗专业人员可在用户界面处提供输入，该输入使得终端用户设备140传输请求以访问与诊所和/或位于诊所内的放射疗法机相关联的机器学习模型111。请求可包括与机器学习模型111、诊所和/或放射疗法机集相关联的标识符，分析服务器110a可将该标识符用作查找表中的关键字来标识机器学习模型111。分析服务器110a可接收请求，并且在一些情况下，在认证用户之后，经由标识符标识机器学习模型111。分析服务器110a可将标识的机器学习模型111传输到终端用户设备140，或者发送指示终端用户设备被授权访问(多个)模型111的警报。在接收或访问机器学习模型111时，终端用户设备140可执行本文描述的系统和方法来训练或重新训练机器学习模型111以预测(以及改善或优化)场几何属性。
图2说明根据一个实施例的在执行放射疗法治疗属性推荐系统之前执行的初始化过程的流程图。虽然本文描述的系统和方法涉及在执行放射疗法治疗属性推荐系统(并且具体地，推荐场几何属性)之前执行的初始化过程，但是应当理解，本文描述的系统和方法涉及辐射肿瘤学和辐射疗法治疗计划的其它区域，其中要从预定义的选项集中做出决定。方法200可包括步骤202-208。然而，其它实施例可包括附加或替代步骤，或者可完全省略一个或多个步骤。方法200被描述为由诸如图1中描述的分析服务器的服务器执行。然而，方法200的一个或多个步骤可由在图1中描述的分布式计算系统中操作的任何数量的计算设备来执行。例如，一个或多个计算设备可本地执行图2中描述的部分或全部步骤。
在步骤202中，分析服务器接收放射疗法治疗类别的定义集，将从该定义集中得出推荐。图3说明放射疗法治疗的示例类别(例如，场几何类别)和放射疗法治疗属性(例如，诸如场几何属性的放射疗法治疗属性选项)。
如图所示，放射疗法治疗的示例类别对应于场几何类别。单元301指示辐射疗法治疗技术类别，其包括单元302和303中的放射疗法治疗属性(或场几何属性)。也就是说，针对场几何类别“辐射疗法治疗技术”的两个场几何属性选项为VMAT和IMRT。如图所示，VMAT和IMRT场几何属性可另外分解为其它场几何选项。例如，VMAT场几何属性可包括场几何属性选项，诸如标准VMAT(两个全弧)、复合VMAT(两个部分弧)、复合VMAT(三个弧)、复合VMAT(四个弧等。类似地，单元310指示治疗床旋转类别，其为场几何类别的示例(例如，放射疗法治疗类别的特定示例)。治疗床旋转类别包括单元312中的放射疗法治疗属性选项。单元320指示准直器角度设置，其包括单元322中的放射疗法治疗属性选项。
医疗专业人员可输入放射疗法治疗类别和/或选项。附加地或替代地，放射疗法治疗类别和/或放射疗法治疗属性的选项可由诊所基于地理、放射疗法机自动地(例如，使用一个或多个其它模型/算法)等来确定。
在步骤204中，分析服务器可初始化机器学习模型。在一些实现方式中，机器学习模型可为使用强化学习训练的神经网络。图4说明根据一个实施例的强化学习模型400。强化学习模型400(或上下文博弈器、上下文博弈器强化学习模型)为由分析服务器(例如，图7B中的推荐引擎724)执行的场几何推荐系统的一个示例。代理使用强化学习方法来训练自身/AI模型以推荐场几何属性(或放射疗法治疗属性)。例如，代理可使用行动者-评论家(actor-critic)方法来学习。
实现模型400以基于医疗专业人员、诊所、机构指南、地理/区和/或其某种组合的偏好来推荐各种放射疗法治疗类别的放射疗法治疗属性(具体地，场几何属性)。框架的上下文基于患者的几何形状和/或患者数据。解决方案空间中的可用行动为推荐给医疗专业人员的放射疗法治疗属性集(例如，场几何属性)。奖励基于推荐的放射疗法治疗属性是否被医疗专业人员接受。
更具体地，在强化学习中，代理402a至402m(本文统称为代理402)与环境404(例如，分别为环境404a至404m)交互。代理402是指学习器或训练器(例如，训练AI模型的分析服务器或AI模型本身)。每个推荐任务t(例如，一步强化学习)代理402基于上下文(例如，输入患者数据)观察状态st，并且使用策略444从行动集中选择行动。分析服务器可使用上下文博弈器学习来训练神经网络，因为每个状态st独立于下一个状态st+1。也就是说，上下文博弈器法为一步强化学习。
代理402摄取由模型400接收的患者数据。在一些实现方式中，分析服务器转换和/或预处理患者数据。例如，可在代理402接收患者数据之前降低患者数据的维度。
代理402的目标为连续学习和改进策略444，以向医疗专业人员推荐可接受的场几何属性。当代理402使其累积奖励最大化时，发生学习。当医疗专业人员接受由模型400确定的推荐时，代理402可接收积极奖励。因此，可基于患者数据上下文来鼓励策略444和由此产生的行动。分析服务器可基于监测医疗专业人员的输入来确定医疗专业人员是否接受推荐。
返回参考图2，在步骤206，分析服务器初始化交互式显示器。可使用鼠标/键盘(或其它硬件)、触摸屏、通过跟踪医疗专业人员的眼睛、使用语音激活提示等来与交互式显示器进行交互。交互式显示器可为当医疗专业人员正在安置患者(或计划安置患者)时可由医疗专业人员利用的任何显示器。例如，交互式显示器可为放射疗法机上的显示器(例如，图1中的医疗设备160)、与医疗设备相关联的计算机(例如，图1中的医疗设备计算机162)、终端用户设备(例如，图1中的终端用户设备140)或电子数据源(例如，图1中的电子数据源120)。分析服务器可被配置成从交互式显示器接收输入。交互式显示器为接收医疗专业人员偏好的一种方法的示例。接收医疗专业人员偏好可促进机器学习模型(例如，图4中的强化学习模型400)的训练
在步骤208，分析服务器初始化监测系统。监测系统可为被配置成跟踪医疗专业人员与交互式显示器的交互的任何系统。在一些实现方式中，监测的交互式数据可被存储(例如，在图1中的服务器120c和/或诊所服务器140b中)。在一些实现方式中，监测的交互式数据可从一种类型的数据转变成另一种类型的数据、缩放、转换等。在一些实现方式中，除了监测的交互式数据之外，分析服务器可存储上下文和交互式数据。例如，由医疗专业人员选择的场几何属性可被映射到患者数据。
在一些实现方式中，机器学习模型的策略(例如，图4中的策略444)为基于随时间推移对医疗专业人员的监测来训练的。也就是说，在由医疗专业人员确定的场几何属性上训练策略。当医疗专业人员与交互式显示器交互并且选择放射疗法治疗属性(并且具体地，场几何属性)，并且分析服务器监测医疗专业人员的输入时，机器学习模型中的代理(例如，图4中的代理402)可观察医疗专业人员交互以确定、改进和训练策略。
在其它实现方式中，在训练机器学习模型之前，分析服务器可为放射疗法治疗类别和/或放射疗法治疗属性分配概率。因此，放射疗法治疗属性可与初始偏差相关联。例如，如果大多数患者接收标准VMAT配置，那么分析服务器可为与标准VMAT配置相关联的场几何属性分配更高的概率，使得该策略更有可能选择标准VMAT配置行动。附加地或替代地，分析服务器可为每个放射疗法治疗属性分配均匀的概率分布。
返回参考图4，策略444将状态(和观察)映射到行动。策略444给出当代理402处于某个状态时采取某个行动的概率。可能的行动集可包括选择放射疗法治疗属性和放射疗法治疗类别。例如，可能的行动集可包括如图3所示的场几何的每个类别的场几何属性。
可能的行动集(例如，行动空间)可任意定义并且取决于解决方案空间考虑因素。例如，解决方案空间可被离散，使得推荐的(或预测的)放射疗法治疗属性为二元分类。例如，由行动空间定义的场几何属性可包括VMAT或IMRT、VMAT标准或VMAT复合体、IMRT标准或IMRT复合体、旋转治疗床或不旋转治疗床、默认准直器角度或非默认准直器角度。行动空间还可包括治疗属性选项的多类分类(例如，VMAT一个弧、VMAT两个弧、VMAT三个弧等)。
行动空间还可包括更复杂的方案，诸如推荐多种放射疗法治疗类别。例如，行动空间可包括诸如推荐具有治疗床旋转的VMAT、推荐具有两个弧的VMAT(其中两个弧为部分弧)等的行动。
在其它示例中，解决方案空间可为连续的，而不是离散的。例如，行动空间可包括诸如“推荐x个弧”的行动，其中x个弧的数量可在整个训练中变化，基于标准变化等。行动空间还可包括诸如“旋转治疗床x度”或“移动准直器角度x度”的行动。在实现连续解决方案空间的情况下，代理402可需要训练更长时间。
代理402可基于采取每个行动的值来选择行动，其中选择行动的值被定义为当从可能的行动集中采取该行动时接收的预期奖励。代理402可基于探索行动和开发行动来选择行动。上下文博弈器代理在平衡开发和探索并且旨在推广到新的上下文时连续优化其当前和未来的性能。探索行动通过在导致奖励计算的序列中使用探索行动来改善代理关于行动的知识。探索行动为不受先验知识限制的行动。开发行动为开发代理402的当前行动值估计的“贪婪”行动。例如，当ε指示探索行动时，策略444可指导代理402选择随机行动。相反，当ε指示开发行动时，策略444可指导代理402在给定一个或多个相似的患者数据特征(例如，相同的诊断、相同的BMI、相同的年龄、相同的性别、患者数据特征的相同组合等)的情况下选择先前已经接收奖励的行动。
在一些实施例中，分析服务器可将参数噪声注入模型400。通过将噪声添加到策略选择的参数，参数噪声可导致更大的探索和更成功的模型400。
例如，使用ε-贪婪行动选择，代理402平衡探索行动和开发行动。代理402可选择ε值并且基于ε值和一个或多个开发和/或探索阈值来执行开发行动或探索行动。代理402可随机选择ε值、从ε值的预定分布中选择ε值、响应于环境404选择ε值、响应于一个或多个标准选择ε值、响应于训练时期的数量选择ε值、响应于一个或多个梯度选择ε值等。
在一些实施例中，随着训练的进行，可利用开发行动来改进对专家的训练。例如，分析服务器可修正ε值(或ε选择方法)，使得探索行动的可能性高于或低于开发行动的可能性。附加地或替代地，分析服务器可修正开发行为阈值和/或探索行为阈值。
代理402也可使用策略444选择行动。策略444可为全局策略，使得代理402共享公共策略。基于采取每个行动的值来调谐策略444，其中选择行动的值被定义为当从可能的行动集中采取该行动时接收的预期奖励。在一些配置中，分析服务器可使用在其它服务器中操作的代理来更新策略444(例如，经由联合学习)。
策略444可存储在全局模型432中。使用全局模型432允许每个代理402具有更加多样化的训练数据集，并且消除对与每个代理402相关联的模型的同步的需要。具有代理402a到402m的全局模型432可产生m维输出。在其它配置中，可存在与每个代理相关联的模型(例如，m个模型)，并且每个代理可使用指定的机器学习模型来计算奖励。每个代理可调谐其自己的策略。代理的策略类可由通用线性分类器、支持向量机、随机森林或另一种机器学习模型(例如，深度神经网络)来表示。如果在代理设计中使用广义线性方法，那么上下文博弈器的在线使用(包括连续训练)可很快。
代理的输出可为具有指示场几何属性选项(或其它放射疗法治疗属性)的类的softmax层。该softmax函数用于对每个场几何属性进行评分。分析服务器可通过比较与每个场几何属性相关联的推荐得分来选择对医疗专业人员的推荐。在一些实现方式中，分析服务器可显示前n个推荐、按照最推荐到最不推荐的顺序排序的所有放射疗法治疗属性选项或者仅一个推荐。在其它实现方式中，分析服务器可通过将与推荐相关联的推荐得分与其它推荐得分和/或一个或多个阈值进行比较来确定显示推荐。例如，在阈值数量的代理402选择相同推荐的情况下，分析服务器可确定显示选择的推荐。
响应于选择行动(或多个行动)，代理402可接收反馈，指示行动如何影响环境404。在一些配置中，代理402确定反馈。在其它配置中，分析服务器可向代理402提供反馈。
每次迭代(或在多次迭代和/或步骤之后)，代理402基于当前状态st(例如，上下文、患者数据)、ε值来选择策略444(和行动)，并且代理402(或机器学习模型)计算奖励。每次迭代，代理402(或机器学习模型)学习执行得更好，如可在奖励的增加(例如，奖励的迭代求和)中看出的。
图5说明根据一个实施例的在放射疗法治疗属性推荐系统中执行的过程的流程图。根据一个实施例，方法500包括用于确定修正的(优化的、改善的、修改的、标识的、选择的和/或预测的)场几何属性、场几何属性集或其它放射疗法治疗属性的步骤。在操作中，基于摄取的(或接收的)患者数据，分析服务器推荐医疗专业人员可接受或拒绝的一个或多个放射疗法治疗属性。分析服务器可记录医疗专业人员是接受还是拒绝推荐，使得机器学习模型继续学习医疗专业人员(或诊所)的偏好。
如本文所述，输入和输出可以单数形式描述(例如，摄取医疗图像或输出推荐的场几何属性)。应当理解，考虑多个输入(例如，医疗图像和医疗图像中对应的PTV/OAR结构)和多个输出(例如，场几何属性集(例如，模板)、放射疗法治疗属性集等)。在一个示例中，治疗计划可由多个放射疗法治疗属性组成，包括剂量分布、射束角度和其它场几何属性，诸如治疗床角度、治疗类型(VMAT或IMRT)等。方法500可包括步骤502-510。然而，其它实施例可包括附加或替代步骤，或者可完全省略一个或多个步骤。
方法500被描述为由分析服务器，诸如图1中描述的分析服务器执行。分析服务器可采用一个或多个CPU和GPU来执行方法500的一个或多个步骤。CPU和/或GPU可部分由分析服务器执行并且部分由一个或多个其它服务器和/或计算设备执行。采用CPU和GPU的服务器和/或计算设备可为本地的和/或远程的(或某种组合)。例如，云中的一个或多个虚拟机可采用一个或多个CPU和GPU来执行方法500的一个或多个步骤。混合的CPU和GPU实现方式可改善与训练机器学习模型以推荐放射疗法治疗属性(包括场几何属性)相关联的速度。然而，方法500的一个或多个步骤可由在图1中描述的分布式计算系统中操作的任何数量的计算设备来执行。例如，一个或多个计算设备可本地执行图5中描述的部分或全部步骤。此外，“代理”是指学习器或训练器(例如，训练机器学习模型的分析服务器或机器学习模型本身)可执行本文讨论的一个或多个步骤。
在步骤502中，分析服务器执行机器学习模型以摄取患者数据(例如，患者医疗文件和/或患者医疗图像)以多个治疗属性选项中选择针对多个放射疗法治疗类别中的放射疗法治疗类别的预测放射疗法治疗属性。
分析服务器可从一个或多个源(例如，用户设备，诸如图1中的医师设备120b、包括放射疗法机140d的终端用户设备140、数据库110b和/或电子数据源120)接收患者数据。例如，分析服务器可查询一个或多个数据库以标识与患者相关联的医疗数据。分析服务器可查询与患者的解剖结构相关联的数据，诸如身体数据(例如，身高、体重和/或身体质量指数)和/或其它健康相关数据(例如，血压或与接收辐射疗法治疗的患者相关的其它数据)。分析服务器还可检索与患者接收的当前和/或先前的医疗治疗相关联的数据(例如，与患者先前的手术相关联的数据)。
分析服务器可分析接收的数据，并且可相应地生成附加查询。例如，分析服务器可检索与患者所需的一个或多个医疗(或其它)设备相关联的数据。分析服务器可检索指示患者患有呼吸系统疾病的数据。结果，分析服务器可生成查询并且将其传输到一个或多个电子数据源，以标识患者是否使用/需要呼吸机或其它医疗装备。
如有必要，那么分析服务器还可分析患者的数据记录，以标识所需的患者属性。例如，分析服务器可查询数据库以标识患者的身体质量指数(BMI)。然而，由于许多医疗记录没有数字化，分析服务器不可使用简单的查询技术来接收患者的BMI值。因此，分析服务器可检索患者的电子健康数据，并且可执行一个或多个分析协议(例如，自然语言处理)来标识患者的身体质量指数。在另一示例中，如果分析服务器没有接收PTV和/或OAR数据，那么分析服务器可执行各种图像识别协议和分割协议，以标识各种医疗图像(例如，计划图像、模拟图像和/或诊断图像)中的PTV和/或OAR数据。例如，分析服务器可使用训练的机器学习模型自动分割和/或预处理各种医疗图像。分析服务器可将医疗图像转换或以其他方式转变成医疗图像中的结构(例如，PTV和/或OAR)的点云表示。自动图像分割模块可自动分割医疗图像中的PTV和/或OAR。医疗图像可被分割或以其他方式被分析以标识医疗图像中的不同对比度。可训练机器学习模型来分割医疗图像并且在医疗图像上生成轮廓，分割医疗图像并且标识一个或多个PTV和/或OAR。
在某些配置中，医疗图像可为二维的(2D)。在其它配置中，医疗图像可为三维(3D)的。如果医疗图像为2D，那么分析服务器可将2D图像转变成3D图像(例如，使用三角测量协议、摄影测量)。医疗图像可包括CT扫描、4D CT扫描、MRI和X射线图像等。
分析服务器可使用机器学习模型(例如，在图2的步骤204中初始化的机器学习模型)从各种放射疗法治疗属性中选择预测放射疗法治疗属性。例如，基于患者数据(例如，上下文)，机器学习模型可推荐IMRT。
附加地或替代地，分析服务器可使用具有马尔可夫逻辑网络的统计关系学习来选择预测放射疗法治疗属性，如美国申请号17/029799中所述，其以全文引用的方式并入本文。例如，可基于先前执行的辐射疗法治疗和对应的患者数据来训练机器学习模型，以考虑到临床特定的偏好。机器学习模型可标识临床特定的偏好以实现对患者的治疗。被配置成确定与患者治疗相关联的场几何属性的逻辑网络计算机模型采用针对特定诊所以逻辑语句表达的预定义规则集来确定每个患者的场几何属性。
图6说明向医疗专业人员提供场几何属性推荐的示例交互式显示器600。如图所示，交互式显示器向医疗专业人员提供三个推荐602、604和606。每个推荐与推荐得分相关联。推荐得分可为代理(例如，图4中的代理402)在向医疗专业人员推荐场几何属性时的置信度的指示。在一些实施例中，分析服务器不在交互式显示器610上显示推荐得分。
如本文所讨论的，代理根据策略(例如，图4中的策略444)和上下文(例如，患者数据)推荐场几何属性。分析服务器在交互式显示器610上显示推荐的场几何属性。如图所示，显示前三个推荐(例如，推荐602、推荐604和推荐606)。
推荐602、604和606说明特定场几何属性类别的场几何属性选项的示例推荐。也就是说，交互式显示器610显示来自各种放射疗法治疗属性选项的针对各种放射疗法治疗类别中的放射疗法治疗类别的预测放射疗法治疗属性。
返回参考图5，在步骤504中，响应于显示治疗属性选项(例如，图6中的推荐602、604和606)，分析服务器可接收至少一个属性的选择。如本文所讨论的，分析服务器可接收各种形式的交互信息(例如，鼠标/键盘(或其它硬件)数据、触摸数据、眼睛跟踪数据和/或音频命令等)。返回参考图6，医疗专业人员可通过与交互式显示器610交互来选择推荐的场几何属性(例如，选择与推荐相关联的框)。附加地或替代地，医疗专业人员可从场几何属性选项608中选择未被推荐的场几何属性。
返回参考图5，在步骤506中，分析服务器可计算针对预测放射疗法治疗属性的奖励值。当医疗专业人员的选择匹配预测场几何属性时，可向上调整奖励值。
返回参考图4，强化学习的一个目标为确定策略444，其使经由奖励函数确定的累积奖励集最大化。代理402通过采取行动、评估反馈和分析接收的奖励来学习(例如，重新配置其策略444)。
分析服务器可基于监测医疗专业人员的输入来确定奖励(例如，图5中的步骤506)。例如，奖励可为二元的(无奖励或有奖励)。响应于医疗专业人员选择由代理402确定的任何显示的场几何属性推荐(或其它放射疗法治疗属性)，代理402可接收奖励。相反，如果医疗专业人员没有选择推荐的场几何属性(或其它放射疗法治疗属性)，那么代理402可能接收不到奖励。
分析服务器还可使用奖励函数来计算奖励。奖励函数可包括例如基于观察的状态的函数R(st)，和/或基于观察的状态和由代理402采取的行动的函数R(st，at)。奖励也可基于推荐的概率。
分析服务器基于在每个步骤(或一系列步骤或批次)确定的奖励来权衡策略，使得响应于环境404处于特定状态，鼓励和/或不鼓励某些策略(和行动)。机器学习模型可被配置成在选择预定数量的医疗专业人员推荐之后学习(或修正策略)。通过采取目标函数(例如，奖励函数)的梯度来优化策略，以在每个步骤或在预定数量的步骤(例如，延迟奖励)之后使奖励的累积总和最大化。
在一些配置中，可将在每个步骤的奖励与基线进行比较(例如，在迭代的基础上)。基线可为预期性能(例如，由医疗专业人员记录的选择)或者平均性能(例如，由医疗专业人员记录的平均选择、由医疗专业人员为具有相似患者数据特征(例如，相似上下文)的患者记录的平均选择)。评估基线和奖励之间的差异被认为是评估优势的值(或优势值)。优势的值指示奖励比基线好多少(例如，而不是指示哪些行动被奖励，哪些行动被惩罚)。在一些实现方式中，奖励可与基线相同。
返回参考图5，在步骤508中，分析服务器可生成与后续放射疗法治疗类别的相对应的后续预测放射疗法治疗属性。分析服务器可基于对放射疗法治疗属性的选择来选择后续放射疗法治疗类别。
例如，响应于接收到医疗专业人员对放射疗法治疗属性的选择(例如，推荐的放射疗法治疗属性，诸如图6中的推荐602、604和606，或未推荐的放射疗法治疗属性，诸如图6中的放射疗法治疗属性选项608)，机器学习模型(例如，图4中的异步优势行动者评论家上下文博弈器强化学习模型400)可后续推荐第二放射疗法治疗属性。机器学习模型可推荐不同放射疗法治疗类别中的放射疗法治疗属性。例如，响应于接收到医疗专业人员对IMRT的选择(例如，第一场几何类别中的场几何属性)，机器学习模型可推荐旋转治疗床(例如，第二场几何类别中的场几何属性)。
在一些实现方式中，使用针对放射疗法治疗的工作流程选择后续类别。工作流程可为与使用放射疗法机治疗患者相关联的工作阶段。例如，标准工作流程可包括在选择是否应该旋转治疗床之前选择辐射疗法治疗技术。如果还没有选择辐射疗法治疗技术，那么医疗专业人员选择起始/终止准直器角度可为不可行和/或无效的。工作流程可为标准工作流程、由诊所定义的工作流程、由医疗专业人员定义的工作流程或其某种组合。
机器学习模型还可在相同的放射疗法治疗类别中推荐附加放射疗法治疗属性。例如，如果机器学习模型推荐复合VMAT场几何属性，那么机器学习模型可另外推荐四个弧。
在其它实现方式中，机器学习模型可推荐放射疗法治疗属性集。也就是说，分析服务器可显示推荐的放射疗法治疗属性集，而不是后续基于接收的放射疗法治疗属性的选择来预测放射疗法治疗属性。例如，交互式显示器可显示针对第一放射疗法治疗类别的一个或多个放射疗法治疗属性选项，以及针对第二放射疗法治疗类别的一个或多个第二放射疗法治疗属性选项。更具体地，一个或多个代理可推荐复合VMAT(四个弧)(例如，与第一放射疗法治疗类别相关联的场几何属性)，并且还推荐准直器的起始角度和终止角度(例如，与第二放射疗法治疗类别相关联的第二场几何属性)。
在一些实现方式中，后续预测放射疗法治疗属性可为与新患者相关联的放射疗法治疗属性。例如，机器学习模型可摄取与第二患者相关联的数据(例如，新的上下文、不同的患者数据)。机器学习模型可基于在步骤506中确定的奖励来学习医疗专业人员(或诊所、地理或机构指南)的偏好，使得指示行动的策略针对后续患者为鼓励的或不鼓励的。
因此，在给定新患者的上下文的情况下，由机器学习模型推荐后续预测放射疗法治疗属性。如本文所讨论的，分析服务器显示后续预测放射疗法治疗属性。显示的后续预测放射疗法治疗属性可为来自接收最高推荐得分的放射疗法治疗属性选项的放射疗法治疗属性、大多数(或一些其它部分)代理选择的放射疗法治疗属性、被预测为产生比其它治疗属性选项更高的奖励的放射疗法治疗属性等。
在步骤510中，分析服务器可计算针对后续预测放射疗法治疗属性的后续奖励值。分析服务器可训练策略来选择预测放射疗法治疗属性的组合，该组合生成满足阈值的累积奖励值。例如，分析服务器可基于使预测放射疗法治疗属性的组合的奖励值最大化的策略，来选择预测放射疗法治疗属性和后续预测放射疗法治疗属性。例如，满足阈值的累积奖励值指示累积奖励值高于与其它可能的预测放射疗法治疗属性相关联的其它累积奖励值。
图7A说明根据一个实施例的利用本文所述的方法和系统的工作流程700的非限制性视觉示例。在此示例中，分析服务器接收患者数据并且提供放射疗法治疗类别(和放射疗法治疗属性)的推荐。具体地，分析服务器从场几何属性选项中提供场几何属性的推荐。
分析服务器可首先接收针对特定患者的患者数据702。患者数据702可包括医疗图像和/或患者信息。患者数据702可由强化学习(RL)引擎704摄取。图7B说明根据一个实施例的在工作流程700中采用的RL引擎704。
引擎的输入层722用于摄取可为异构的患者数据。在一些实现方式中，引擎的输入层722可降低患者数据的维度。例如，引擎的输入层722可使用卷积层和/或池化层来实现。卷积层可接收患者数据(或患者数据的预处理版本)。例如，预处理患者数据可包括分析服务器对患者数据进行归一化、缩放患者数据、压平患者数据、将患者数据转换成不同的维度等。
引擎的输入层722中的示例卷积层通过将滤波器和/或内核与患者数据卷积并且生成提取特征的特征图来检测和提取患者数据(例如，图7A中的患者数据702)的特征。使用滤波器对患者数据进行卷积具有降低患者数据的维度的效果。
卷积层的输出可为特征图。在一些实施例中，在卷积层之后可存在一个或多个卷积层。增加卷积层数增加在特征图中检测的特征的复杂性。如果采用附加卷积层，那么后续卷积层中的滤波器可与第一卷积层中采用的滤波器相同。附加地或替代地，在后续卷积层中使用的滤波器可不同于在第一卷积层中采用的滤波器。
可将特征图馈送到池化层中。池化层可为检测显著特征的最大池化层(或稍后的任何其它类型的池化)。在其它配置中，池化层可为平均池化层。池化层降低特征图的维度，以对特征图进行下采样，从而实现更高效的操作。在一个示例中，如果池化层为最大池化层，那么分析服务器在池化窗口中检测到具有较高相对值的显著特征。
推荐引擎724可为基于从引擎的输入层722确定的输入特征的机器学习模型(例如，神经网络)或广义线性模型。推荐引擎724可为全局引擎(例如，图4中的全局模型432)或者包括用于每个放射疗法属性(和/或放射疗法治疗类别)的单独子引擎。因此，可存在指示n个场几何属性选项的n个模型。
引擎的输出层728可将来自推荐引擎724的输出转变成推荐得分(或与医疗专业人员的预测场几何属性偏好相关联的其它概率)。例如，在推荐引擎724为神经网络的情况下，引擎的输出层728可为softmax层。该softmax层可使用softmax函数或归一化指数函数来将实数的输入(例如，推荐引擎724的输出)转换成预测输出类(例如，放射疗法治疗属性和/或放射疗法治疗类别)上的归一化概率分布。在推荐引擎724为线性模型的情况下，引擎的输出层728可为具有分配概率的推荐列表。
可在726处训练推荐引擎724。在一些配置中，每当医疗专业人员选择放射疗法治疗属性时，在726处训练引擎。将选择的放射疗法治疗属性与推荐的放射疗法治疗属性进行比较，并且确定奖励(例如，奖励确定714)。还可在726处每隔医疗专业人员选择放射疗法治疗属性的预定次数来训练引擎。也就是说，在726处连续并且响应于医疗专业人员的输入来训练引擎。
在其它配置中，可在训练阶段期间在726处训练推荐引擎724。例如，医疗专业人员可选择放射疗法治疗属性，并且仅在训练阶段期间将选择的放射疗法治疗属性与推荐的放射疗法治疗属性进行比较。在完成训练阶段(例如，训练迭代的阈值次数、阈值推荐准确度)之后，可不训练推荐引擎724。因此，训练阶段与使用阶段明显不同(例如，当医疗专业人员使用经训练的推荐引擎724来建议放射疗法治疗属性时)。
在又一其它配置中，当某些预定的医疗专业人员与推荐引擎724交互时，可在726处训练推荐引擎724。例如，只有某些医疗专业人员可被授权训练推荐引擎724。可基于资历、经验、诊所的所有权等来确定授权的医疗专业人员。当不是授权医疗专业人员的医疗专业人员与推荐引擎724交互时，可不训练推荐引擎724(例如，不存在奖励确定714)。尽管推荐引擎724没有被训练，但是推荐引擎724仍然可向医疗专业人员提供推荐。类似地，尽管推荐引擎724没有被训练，但是点击记录器712仍然可记录选择的放射疗法治疗属性并且将信息保存在存储装置中(例如，在图1中的服务器120c和/或诊所服务器140b中)。
返回参考图7A，推荐控制器706可将引擎的输出层(例如，图7B中的728)的输出转变成分析服务器向医疗专业人员显示(或以其他方式通信)的输出。例如，推荐控制器706可选择前n个推荐进行显示。在不同的示例中，推荐控制器706可将推荐从最推荐到最不推荐进行排序。推荐控制器706还可从被呈现用于显示的相关联的放射疗法治疗属性选项中移除推荐得分(或与医疗专业人员的预测的场几何属性偏好相关联的概率)。附加地或替代地，推荐控制器706可生成与放射疗法治疗属性相关联的推荐得分。
在708处，分析服务器可使用交互式显示器(例如，在图2中的步骤206处初始化的交互式显示器)来显示来自推荐控制器706的结果。医疗专业人员可操作电子设备，其被配置成执行治疗计划软件，使得向医疗专业人员显示推荐的放射疗法治疗属性(并且具体地，推荐的场几何属性)的结果。
在710处，分析服务器可将由医疗专业人员选择的推荐传输到下游应用。例如，下游应用可被配置成在给定各种放射疗法治疗属性的情况下标识治疗计划。例如，由医疗专业人员选择的场几何属性可被传输到机器学习模型，以预测来自放射疗法治疗的副作用。
点击记录器712(例如，在图2的步骤208中初始化的监测系统的示例)可识别医疗专业人员的选择。医疗专业人员的选择可在奖励确定714期间使用。基于奖励确定714的结果来奖励RL引擎704(并且具体地，在图4中的异步优势行动者评论家上下文博弈器强化学习模型400的代理402)。例如，如果医疗专业人员选择由RL引擎704推荐的放射疗法治疗属性，那么分析服务器可向上调整与和放射疗法属性的推荐相关联的策略和行动相关联的奖励。相反，如果医疗专业人员选择RL引擎704未推荐的放射疗法治疗属性，那么分析服务器可减少(或不调整)与策略和行动相关联的奖励。在一些实现方式中，奖励确定714可基于与推荐相关联的概率得分(或推荐得分)。
结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，各种说明性组件、块、模块、电路和步骤已经在上面根据它们的功能进行一般描述。此类功能实现为硬件还是软件取决于特定的应用和对整个系统的设计约束。熟练的技术人员可针对每个特定的应用以不同的方式实现所描述的功能，但是此类实现方式决定不应被解释为导致脱离本公开或权利要求的范围。
在计算机软件中实现的实施例可在软件、固件、中间件、微码、硬件描述语言或其任何组合中实现。代码段或机器可执行指令可表示程序、函数、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的方式传递、转发或传输。
用于实现这些系统和方法的实际软件代码或专用控制硬件不限制要求保护的特征或本公开内容。因此，系统和方法的操作和行为在没有参考特定软件代码的情况下描述，应当理解，软件和控制硬件可被设计成基于本文的描述来实现系统和方法。
当在软件中实施时，功能可作为一个或多个指令或代码存储在非暂态计算机可读或处理器可读存储介质上。本文公开的方法或算法的步骤可体现在处理器可执行软件模块中，该模块可驻留在计算机可读或处理器可读存储介质上。非暂态计算机可读或处理器可读介质包括促进将计算机程序从一个地方转移到另一地方的计算机存储介质和有形存储介质。非暂态处理器可读存储介质可为可由计算机访问的任何可用介质。作为示例而非限制，此类非暂态处理器可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁存储设备，或者可用于存储指令或数据结构形式的期望程序代码并且可由计算机或处理器访问的任何其它有形存储介质。如本文所用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。以上的组合也应包括在计算机可读介质的范围内。此外，方法或算法的操作可作为代码和/或指令的一个或任何组合或集合驻留在非暂态处理器可读介质和/或计算机可读介质上，其可并入计算机程序产品中。
提供公开实施例的前述说明，以使得任何本领域技术人员能够制造或使用本文所述的实施例以及其变型。本领域的技术人员将容易明白对这些实施例的各种修改，并且本文中定义的原理可适用于其它实施例，而不脱离本文中公开的主题的精神或范围。因此，本公开不旨在限于本文所示的实施例，而是符合与以下权利要求和本文公开的原理和新颖特征一致的最宽范围。
虽然已经公开各个方面和实施例，但也考虑其它方面和实施例。公开的各个方面和实施例是为了说明的目的，而不旨在限制，真正的范围和精神由所附权利要求来指示。

Claims (20)

1.一种计算机实现的方法，包括：
由处理器迭代地训练机器学习模型，其中在至少一次迭代中，所述处理器：
执行所述机器学习模型以摄取患者数据，以从多个治疗属性选项选择针对多个放射疗法治疗类别中的放射疗法治疗类别的预测放射疗法治疗属性；
响应于在电子设备上显示所述多个治疗属性选项，接收对至少一个属性的选择；
计算针对所述预测放射疗法治疗属性的奖励值，其中当所述选择匹配所述预测放射疗法治疗属性时，所述处理器向上调整所述奖励值；
生成与后续放射疗法治疗类别相对应的后续预测放射疗法治疗属性，所述处理器基于从所述电子设备被接收的对至少一个放射疗法治疗属性的所述选择来选择所述后续放射疗法治疗类别；以及
计算针对所述后续预测放射疗法治疗属性的后续奖励值，
其中所述处理器训练策略以生成预测放射疗法治疗属性的组合，所述组合生成满足阈值的累积奖励值。
2.根据权利要求1所述的计算机实现的方法，其中所述多个放射疗法治疗类别内的至少一个类别对应于：辐射疗法治疗技术、治疗床旋转、或准直器角度设置。
3.根据权利要求1或2所述的计算机实现的方法，其中所述处理器在由用户操作的所述电子设备上显示所述多个治疗属性选项，使得所述机器学习模型基于所述用户的偏好而被训练。
4.根据权利要求1、2或3所述的计算机实现的方法，其中所述患者数据包括以下至少一项：患者的解剖属性、身体质量指数、医疗图像、患者身高、患者体重、患者年龄、诊断信息、或患者设备。
5.根据权利要求1至4中任一项所述的计算机实现的方法，其中所述后续类别使用针对放射疗法治疗的工作流程而被选择。
6.根据权利要求1至5中任一项所述的计算机实现的方法，其中每个放射疗法治疗类别对应于场几何类别。
7.根据权利要求1至6中任一项所述的计算机实现的方法，还包括：
由所述处理器使用与第二患者相关联的数据来执行经训练的所述机器学习模型；和
由所述处理器显示第二预测放射疗法治疗属性，所述第二预测放射疗法治疗属性被预测为产生比其它治疗属性选项更高的奖励。
8.根据权利要求1至7中任一项所述的计算机实现的方法，其中满足所述阈值的所述累积奖励值指示所述累积奖励值高于与其它可能的预测放射疗法治疗属性相关联的其它累积奖励值。
9.根据权利要求1至8中任一项所述的计算机实现的方法，其中至少一个放射疗法治疗属性对应于：具有两个全弧的标准VMAT、具有两个部分弧的复合VMAT、具有三个弧的复合VMAT、具有四个弧的复合VMAT、旋转治疗床、不旋转治疗床、旋转治疗床预定度数、默认值准直器角度、非默认值准直器角度、准直器角度弧起始、或准直器角度弧终止。
10.根据权利要求1至9中任一项所述的计算机实现的方法，其中所述机器学习模型使用一步强化学习而被训练。
11.一种系统，包括：
服务器，所述服务器包括处理器和非暂态计算机可读介质，所述非暂态计算机可读介质包括指令，所述指令在由所述处理器执行时使所述处理器执行操作，所述操作包括：
迭代地训练机器学习模型，其中在至少一次迭代中，所述处理器：
执行所述机器学习模型以摄取患者数据，以从多个治疗属性选项选择针对多个放射疗法治疗类别中的放射疗法治疗类别的预测放射疗法治疗属性；
响应于在电子设备上显示所述多个治疗属性选项，接收对至少一个属性的选择；
计算针对所述预测放射疗法治疗属性的奖励值，其中当所述选择匹配所述预测放射疗法治疗属性时，所述处理器向上调整所述奖励值；
生成与后续放射疗法治疗类别相对应的后续预测放射疗法治疗属性，所述处理器基于从所述电子设备被接收的对至少一个放射疗法治疗属性的所述选择来选择所述后续放射疗法治疗类别；以及
计算针对所述后续预测放射疗法治疗属性的后续奖励值，
其中所述处理器训练策略以生成预测放射疗法治疗属性的组合，所述组合生成满足阈值的累积奖励值。
12.根据权利要求11所述的系统，其中所述多个放射疗法治疗类别内的至少一个类别对应于：辐射疗法治疗技术、治疗床旋转、或准直器角度设置。
13.根据权利要求11或12所述的系统，其中所述处理器还被配置为在由用户操作的所述电子设备上显示所述多个治疗属性选项，使得所述机器学习模型基于所述用户的偏好而被训练。
14.根据权利要求11、12或13所述的系统，其中所述患者数据包括以下至少一项：患者的解剖属性、身体质量指数、医疗图像、患者身高、患者体重、患者年龄、诊断信息、或患者设备。
15.根据权利要求11至14中任一项所述的系统，其中所述后续类别使用针对放射疗法治疗的工作流程而被选择。
16.根据权利要求11至15中任一项所述的系统，其中每个放射疗法治疗类别对应于场几何类别。
17.根据权利要求11至16中任一项所述的系统，其中所述处理器还被配置为：
使用与第二患者相关联的数据来执行经训练的所述机器学习模型；以及
显示第二预测放射疗法治疗属性，所述第二预测放射疗法治疗属性被预测为产生比其它治疗属性选项更高的奖励。
18.根据权利要求11至17中任一项所述的系统，其中满足所述阈值的所述累积奖励值指示所述累积奖励值高于与其它可能的预测放射疗法治疗属性相关联的其它累积奖励值。
19.根据权利要求11至18中任一项所述的系统，其中至少一个放射疗法治疗属性对应于：具有两个全弧的标准VMAT、具有两个部分弧的复合VMAT、具有三个弧的复合VMAT、具有四个弧的复合VMAT、旋转治疗床、不旋转治疗床、旋转治疗床预定度数、默认值准直器角度、非默认值准直器角度、准直器角度弧起始或准直器角度弧终止。
20.根据权利要求11至19中任一项所述的系统，其中所述机器学习模型使用一步强化学习而被训练。
CN202280045658.7A 2021-06-28 2022-06-27 人工智能建模以建议场几何模板 Pending CN117561577A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/361,085 2021-06-28
US17/361,085 US12080402B2 (en) 2021-06-28 2021-06-28 Artificial intelligence modeling to suggest field geometry templates
PCT/EP2022/067537 WO2023274940A1 (en) 2021-06-28 2022-06-27 Artificial intelligence modeling to suggest field geometry templates

Publications (1)

Publication Number Publication Date
CN117561577A true CN117561577A (zh) 2024-02-13

Family

ID=82482762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280045658.7A Pending CN117561577A (zh) 2021-06-28 2022-06-27 人工智能建模以建议场几何模板

Country Status (4)

Country Link
US (1) US12080402B2 (zh)
EP (1) EP4364158A1 (zh)
CN (1) CN117561577A (zh)
WO (1) WO2023274940A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009025544A1 (en) 2007-08-20 2009-02-26 Erasmus University Medical Center Rotterdam Method to predict iris color
WO2023090951A1 (en) * 2021-11-19 2023-05-25 Samsung Electronics Co., Ltd. Methods and systems for suggesting an enhanced multimodal interaction

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179857A1 (en) * 2018-03-23 2019-09-26 Koninklijke Philips N.V. Fast and personalized recommender system for radiation therapy planning enhancement via closed loop physician feedback
US11358004B2 (en) * 2019-05-10 2022-06-14 Duke University Systems and methods for radiation treatment planning based on a model of planning strategies knowledge including treatment planning states and actions
US11710558B2 (en) 2020-09-23 2023-07-25 Siemens Healthineers International Ag Computer modeling for field geometry selection

Also Published As

Publication number Publication date
US20220415472A1 (en) 2022-12-29
EP4364158A1 (en) 2024-05-08
US12080402B2 (en) 2024-09-03
WO2023274940A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
JP7145233B2 (ja) 敵対的生成ネットワークを用いた放射線治療計画モデリング
US11679274B2 (en) Artificial intelligence modeling for radiation therapy dose distribution analysis
US12121747B2 (en) Artificial intelligence modeling for radiation therapy dose distribution analysis
CN117561577A (zh) 人工智能建模以建议场几何模板
WO2022129135A1 (en) Neural network calibration for radiotherapy
US20220414525A1 (en) Machine learning approach for solving beam angle optimization
US20230347175A1 (en) Training artificial intelligence models for radiation therapy
CN117651951A (zh) 人工智能实现的偏好学习
US11710558B2 (en) Computer modeling for field geometry selection
US20230087944A1 (en) Machine learning modeling to predict heuristic parameters for radiation therapy treatment planning
US12119102B1 (en) Machine-learning modeling to generate virtual bolus attributes
US20240331833A1 (en) Intelligent treatable sectors for radiation therapy plan generation
US20240331836A1 (en) Artificial intelligence models for vmat sector calculations
CN118057449A (zh) 在线自适应放射疗法中的患者特异性自动分割

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination