CN114332171B - 坐标系校准方法、装置、电子设备及存储介质 - Google Patents
坐标系校准方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114332171B CN114332171B CN202111648061.5A CN202111648061A CN114332171B CN 114332171 B CN114332171 B CN 114332171B CN 202111648061 A CN202111648061 A CN 202111648061A CN 114332171 B CN114332171 B CN 114332171B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- coordinate system
- die body
- conversion
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 claims abstract description 113
- 238000003384 imaging method Methods 0.000 claims abstract description 89
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000012804 iterative process Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 description 14
- 238000013170 computed tomography imaging Methods 0.000 description 11
- 238000012879 PET imaging Methods 0.000 description 7
- 238000012636 positron electron tomography Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010073306 Exposure to radiation Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012831 peritoneal equilibrium test Methods 0.000 description 1
- 238000012877 positron emission topography Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000010410 reperfusion Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种坐标系校准方法、装置、电子设备及存储介质，应用于多模态医学成像系统，多模态医学成像系统包括目标成像设备、参考成像设备和拍摄设备，坐标系校准方法用于对目标成像设备所在目标坐标系与拍摄设备所在设备坐标系进行校准，其方法包括：确定模体在参考成像设备所在参考坐标系下的第一模体点云；获取模体的病床运动信息以及目标坐标系与参考坐标系之间的转换关系；基于转换关系、病床运动信息以及第一模体点云，确定模体在目标坐标系下的转换模体点云；获取模体在设备坐标系下的第二模体点云；根据转换模体点云和第二模体点云确定目标坐标系与设备坐标系的校准关系。本发明提高了坐标系校准方法的效率及精确度。
Description
技术领域
本发明涉及医疗成像技术领域，具体涉及一种坐标系校准方法、装置、电子设备及存储介质。
背景技术
单模态的医疗成像设备，例如：正电子发射型计算机断层扫描(PositronEmission Computed Tomography，PET)成像设备、计算机X线断层扫描(ComputedTomography，CT)成像设备以及磁共振(Magnetic Resonance，MR)成像设备等对不同疾病和病灶部位的辅助诊断方面各有优势，患者往往需要在不同科室完成多次不同成像设备的检查，才能获得较为全面的检查结果。因此，由上述单模态医疗成像设备组合形成的多模态医学成像系统，例如：PET-CT成像系统、PET-MR成像系统、SPECT-CT成像系统、SPECT-MR成像系统等逐渐应用广泛。多模态医学成像系统相比于单模态医学成像设备，可通过一次显像获得多种模态图像，更有利于疾病诊断。
对多模态医学成像设备而言，坐标系校准是非常重要的步骤之一。以配有运动监测摄像头设备的PET-CT医学成像系统为例，每次安装或移动摄像头后需要进行摄像头坐标系和PET物理坐标系之间转换关系的校准工作。由于PET成像设备获得的PET图像分辨率低，无法像处理CT图像一样直接通过图像处理获取模体点云，所以现有技术中对摄像头坐标系和PET物理坐标系进行校准工作通常是在特殊设计的结构灌入放射源，获得该部分高亮的高对比度PET图像，找到特殊结构的空间位置，再根据模体设计中特殊结构与模体表面的相对位置关系来模拟生成对应的模体点云。通过对两个不同坐标系的模体点云进行配准，即可获得两个坐标系之间的校准关系。
现有技术存在以下问题：由于对模体灌注放射源的过程复杂，且灌注成功率较低，易导致重新灌注增加放射暴露风险，并且，PET成像设备获得模体的扫描图像的分辨率较低，难以高精度地获取特殊机械加工结构的空间位置，进而导致坐标系校准不精确。
发明内容
有鉴于此，有必要提供一种坐标系校准方法、装置、电子设备及存储介质，用以解决现有技术中存在的坐标系校准过程复杂、放射暴露风险较高以及坐标系校准精确度较低的技术问题。
一方面，本发明提供了一种坐标系校准方法，应用于多模态医学成像系统，所述多模态医学成像系统包括目标成像设备、参考成像设备和拍摄设备，所述坐标系校准方法用于对所述目标成像设备所在的目标坐标系与所述拍摄设备所在的设备坐标系进行校准，所述坐标系校准方法包括：
确定模体在所述参考成像设备所在的参考坐标系下的第一模体点云；
获取所述模体从所述参考成像设备的成像中心运动到所述目标成像设备的成像中心的病床运动信息和所述目标坐标系与所述参考坐标系之间的转换关系；
基于所述转换关系、所述病床运动信息以及所述第一模体点云，确定所述模体在所述目标坐标系下的转换模体点云；
获取所述模体在所述设备坐标系下的第二模体点云；
根据所述转换模体点云和所述第二模体点云确定所述目标坐标系与所述设备坐标系的校准关系。
在一些可能的实现方式中，所述确定模体在所述参考成像设备的参考坐标系下的第一模体点云，包括：
基于所述参考成像设备，获得所述模体的第一图像；
对所述第一图像进行预处理，获得代表模体表面的体素集合；
获取所述第一图像的图像标签信息；
基于所述体素集合和所述图像标签信息，获得所述第一模体点云。
在一些可能的实现方式中，所述基于所述体素和所述图像标签信息，获得所述第一模体点云，包括：
基于所述图像标签信息获得所述第一图像所在的图像坐标系与所述参考坐标系之间的映射关系；
基于所述映射关系和所述体素，获得所述第一模体点云。
在一些可能的实现方式中，所述基于所述转换关系、所述病床运动信息以及所述第一模体点云，确定所述模体在所述目标坐标系下的转换模体点云，包括：
基于所述病床运动信息，将所述第一模体点云从所述参考成像设备的成像中心移动到所述目标成像设备的成像中心；
基于移动后的第一模体点云以及所述目标坐标系与所述参考坐标系之间的转换关系，获得所述转换模体点云。
在一些可能的实现方式中，所述获取所述模体在所述设备坐标系下的第二模体点云，包括：
获取所述拍摄设备拍摄的所述模体在所述目标成像设备的成像中心位置的深度图像；
获取所述拍摄设备的成像参数，根据深度图像和所述成像参数获得所述第二模体点云。
在一些可能的实现方式中，所述根据所述转换模体点云和所述第二模体点云确定所述目标坐标系与所述设备坐标系的校准关系，包括：
基于质心算法确定所述转换模体点云和所述第二模体点云之间的粗配准转换关系；
基于迭代最近点算法确定粗配准后的所述转换模体点云和所述第二模体点云之间的精配准转换关系；
基于所述粗配准转换关系和所述精配准转换关系确定所述目标坐标系与所述设备坐标系的校准关系。
在一些可能的实现方式中，所所述基于质心算法确定所述转换模体点云和所述第二模体点云之间的粗配准转换关系，包括：
获取所述转换模体点云的第一质心和所述第二模体点云的第二质心，并确定所述第一质心和所述第二质心之间的质心位移；
基于所述拍摄设备的安装角度确定所述转换模体点云与所述第二模体点云之间的旋转角；
基于所述质心位移和所述旋转角获得所述转换模体点云和所述第二模体点云之间的粗配准转换关系。
在一些可能的实现方式中，所所述基于迭代最近点算法确定粗配准后的所述转换模体点云和所述第二模体点云之间的精配准转换关系，包括：
步骤一、寻找粗配准后的所述第二模体点云在所述转换模体点云中的对应点，获得点云匹配点集；
步骤二、根据所述点云匹配点集，计算使所述点云匹配点集的匹配点之间平均距离最小的刚体变换参数；
步骤三、基于所述刚体变换参数对所述第二模体点云进行更新，获得更新模体点云；
步骤四、寻找所述更新模体点云在所述转换模体点云中的对应点，获得更新点云匹配点集，若所述更新点云匹配点集的平均距离小于阈值距离，则所述刚体变换参数为所述精配准转换关系；若所述更新点云匹配点集的平均距离大于或等于所述阈值距离，则记录下本次迭代过程中的刚体变换参数，将所述更新模体点云作为所述第二模体点云，并重复步骤一-步骤四，最终所有迭代过程中记录下的所述刚体变换参数的点乘结果为精配准转换关系。
在一些可能的实现方式中，在所述对所述转换模体点云和所述第二模体点云进行配准之前，还包括：
对所述转换模体点云和/或所述第二模体点云进行降采样处理。
另一方面，本发明还提供了一种坐标系校准装置，应用于多模态医学成像系统，所述多模态医学成像系统包括目标成像设备、参考成像设备和拍摄设备，所述坐标系校准装置用于对所述目标成像设备所在的目标坐标系与所述拍摄设备所在的设备坐标系进行校准，所述坐标系校准装置包括：
第一模体点云获取单元，用于确定模体在所述参考成像设备所在的参考坐标系下的第一模体点云；
病床运动信息及转换关系确定单元，用于获取所述模体从所述参考成像设备的成像中心运动到所述目标成像设备的成像中心的病床运动信息和所述目标坐标系与所述参考坐标系之间的转换关系；
转换模体点云获取单元，用于基于所述转换关系、所述病床运动信息以及所述第一模体点云，确定所述模体在所述目标坐标系下的转换模体点云；
第二模体点云获取单元，用于获取所述模体在所述设备坐标系下的第二模体点云；
校准单元，用于根据所述转换模体点云和所述第二模体点云确定所述目标坐标系与所述设备坐标系的校准关系。
另一方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意实现方式中所述的坐标系校准方法中的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意实现方式中所述的坐标系校准方法中的步骤。
采用上述实施例的有益效果是：本发明提供的坐标系校准方法，首先根据病床运动信息以及模体在参考成像设备的参考坐标系下的第一模体点云以及目标坐标系以及参考坐标系之间的转换关系，确定模体在目标坐标系下的转换模体点云；然后在获取模体在设备坐标系下的第二模体点云，最后再对转换模体点云和第二模体点云进行配准，获得目标坐标系与设备坐标系的校准关系。无需向模体内灌注放射源来获得模体在目标坐标系下的模体点云，消除了向模体中灌注放射源的过程，提高了坐标系校准方法的效率以及成功率。
进一步地，当目标成像设备为PET成像设备，参考成像设备为CT成像设备时，还可避免由于PET成像设备成像分辨率不高造成的坐标系校准精确度较低的技术问题，提高坐标系校准的精确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的坐标系校准方法的一个实施例流程示意图；
图2为本发明图1中S101的一个实施例流程示意图；
图3为本发明图2中S204的一个实施例流程示意图；
图4为本发明图1中S103的一个实施例流程示意图；
图5为本发明图1中S104的一个实施例流程示意图；
图6为本发明图1中S105的一个实施例流程示意图；
图7为本发明图6中S601的一个实施例流程示意图；
图8为本发明图6中S602的一个实施例流程示意图；
图9为本发明提供的坐标系校准装置的一个实施例结构示意图；
图10为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如：A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本发明实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种坐标系校准方法、装置、电子设备及存储介质，以下分别进行说明。
本发明实施例中的坐标系校准方法应用于多模态医学成像系统，多模态医学成像系统包括目标成像设备、参考成像设备和拍摄设备。
在本发明的一些实施例中，多模态医学成像系统可为PET-CT成像系统、PET-MR成像系统、SPECT-CT成像系统、SPECT-MR成像系统等中的任意一种。在一个具体实施例中，多模态医学成像系统为PET-CT成像系统，则目标成像设备为PET成像设备，参考成像设备为CT成像设备。
本发明实施例中的坐标系校准方法用于对目标成像设备所在的目标坐标系与拍摄设备所在的设备坐标系进行校准，图1为本发明提供的坐标系校准方法的一个实施例流程示意图，如图1所示，坐标系校准方法包括：
S101、确定模体在参考成像设备所在的参考坐标系下的第一模体点云；
S102、获取模体从参考成像设备的成像中心运动到目标成像设备的成像中心的病床运动信息以及目标坐标系与参考坐标系之间的转换关系；
S103、基于转换关系、病床运动信息以及第一模体点云，确定模体在目标坐标系下的转换模体点云；
S104、获取模体在设备坐标系下的第二模体点云；
S105、根据转换模体点云和第二模体点云确定目标坐标系与设备坐标系的校准关系。
其中，本发明实施例中的模体是具有一定空间结构的物体，其在不同的医学成像设备上有不同的显影状态，因此模体能通过自身不同的显影图像标定对应医学成像设备的图像坐标系。
本发明实施例中的点云是通过测量仪器得到的产品外观表面的点的空间三维坐标的集合。
与现有技术相比，本发明实施例提供的坐标系校准方法，首先根据病床运动信息以及模体在参考成像设备的参考坐标系下的第一模体点云以及目标坐标系以及参考坐标系之间的转换关系，确定模体在目标坐标系下的转换模体点云；然后在获取模体在设备坐标系下的第二模体点云，最后再对转换模体点云和第二模体点云进行配准，获得目标坐标系与设备坐标系的校准关系。无需向模体内灌注放射源来获得模体在目标坐标系下的模体点云，消除了向模体中灌注放射源的过程，提高了坐标系校准方法的效率以及成功率。
进一步地，当目标成像设备为PET成像设备，参考成像设备为CT成像设备时，相比于成像分辨率不高的PET成像设备，通过成像分辨率较高的CT成像设备获得第一模体点云，基于第一模体点云获得目标坐标系与设备坐标系的校准关系，可提高坐标系校准的精确度。
应当理解的是：模体的材料可根据多模态医学成像系统的不同对应调整设置。例如：当多模态医学成像系统中的参考成像设备为CT成像设备时，模体的材料为可在CT成像设备中成像的材料即可，具体材料在此不做一一赘述。
需要说明的是：由于模体为三维物体，且第一模体点云为三维点云，因此，本发明实施例中的拍摄设备为可获得深度信息的拍摄设备。
在本发明的具体实施例中，拍摄设备可为摄像头。
还需要说明的是：目标坐标系和参考坐标系之间的转换关系可在对多模态医学影像系统初始安装时或定期检查时进行，具体地转换关系的获取方法可以是现有技术中的通过特殊模体同步成像后对图像进行预处理、配准等操作获取，在此不做具体赘述。
在本发明的一些实施例中，如图2所示，步骤S101包括：
S201、基于参考成像设备，获得模体的第一图像；
S202、对第一图像进行预处理，获得代表模体表面的体素集合；
S203、获取第一图像的图像标签信息；
S204、基于体素集合和图像标签信息，获得第一模体点云。
在本发明的一些实施例中，步骤S202具体可为：
对第一图像进行图像滤波、二值化、轮廓提取等预处理，获得多个体素。
具体的图像滤波、二值化、轮廓提取的处理过程可为现有技术中的图像滤波、二值化和轮廓提取过程，在此不做赘述。
需要说明的是：由于本发明实施例是对目标坐标系和设备坐标系进行校准，而拍摄设备拍摄的在设备坐标系下的第二模体点云为模体的表面轮廓。因此，为了减少第一模体点云的点云数量，从而进一步提高坐标系校准效率，在本发明的一些实施例中，体素为模体表面的体素。即：无需获得模体除了表面之外的内部体素。
通过设置体素仅为模体表面的体素，可提高第一模体点云的获取速度，从而可进一步提高坐标系校准的效率。
在本发明的一些实施例中，图像标签信息包括DICOM格式的第一图像的图像数据中的三个字段，三个字段分别为病人体位(Patient Position)字段、图像位置(ImagePosition)字段和图像方向(Image Orientation)字段。
其中，病人体位字段的字段号为(0018，5100)，图像位置字段的字段号为(0020，0032)，图像方向字段的字段号为(0020，0037)。
具体地，病人体位字段表示的是患者坐标系与参考坐标系之间的映射关系；图像位置字段表示的是第一图像中的其中一张单层图像的左上角的第一个像素在第一图像所在的患者坐标系中的空间坐标；图像方向字段表示的是图像坐标系与患者坐标系对应的坐标轴之间的夹角。即：通过第一图像的图像标签信息，即可获得图像坐标系与参考坐标系之间的映射关系。
因此，在本发明的一些实施例中，如图3所示，步骤S204包括：
S301、基于图像标签信息获得第一图像所在的图像坐标系与参考坐标系之间的映射关系；
S302、基于映射关系和体素，获得第一模体点云。
本发明实施例基于图像标签信息和体素即可获得第一模体点云，获取方式简单、可靠。
在本发明的一些实施例中，如图4所示，步骤S103包括：
S401、基于病床运动信息，将第一模体点云从参考成像设备的成像中心移动到目标成像设备的成像中心；
S402、基于移动后的第一模体点云以及目标坐标系与参考坐标系之间的转换关系，获得转换模体点云。
为了完成目标坐标系与设备坐标系之间的坐标系校准，需要对模体在同一物理空间位置时的位于两个不同坐标系下的第一模体点云和第二模体点云进行配准。在某一实施例中，当目标成像设备为PET，参考成像设备为CT时，由于拍摄设备安装于PET设备机架上远离CT设备的一端，机架遮挡会导致拍摄设备无法拍摄位于参考成像设备的成像中心处的模体，进而无法生成对应此物理空间位置的有效的第二模体点云。因此，实施例中不能通过对参考成像中心这一物理空间位置上的位于不同坐标系下的第一模体点云和第二模体点云实施配准步骤来获取坐标系校准关系，需要将第一模体点云从参考成像中心移动到目标成像中心。
在本发明的一些实施例中，如图5所示，步骤S104包括：
S501、获取拍摄设备拍摄的模体在目标成像设备的成像中心位置的深度图像；
S502、获取拍摄设备的成像参数，根据深度图像和成像参数获得第二模体点云。
在本发明的一些实施例中，步骤S502具体为：获得深度图像各个像素点的深度信息，并基于成像参数计算各点在设备坐标系下的三维坐标，并对像素点进行分割，分割出代表模体的像素点，获得第二模体点云。
在本发明的一些实施例中，如图6所示，步骤S105包括：
S601、基于质心算法确定转换模体点云和第二模体点云之间的粗配准转换关系；
S602、基于迭代最近点算法(Iterative Closest Point，ICP)确定粗配准后的转换模体点云和第二模体点云之间的精配准转换关系；
S603、基于粗配准转换关系和精配准转换关系确定目标坐标系与设备坐标系的校准关系。
本发明实施例通过先确定转换模体点云和第二模体点云之间粗配准转换关系，再确定粗配准后的转换模体点云和第二模体点云之间的精配准转换关系，可确保获得的校准关系的可靠性。
在本发明的具体实施例中，目标坐标系与设备坐标系的校准关系为粗配准转换关系和精配准转换关系的点乘值。
在本发明的一些实施例中，如图7所示，步骤S601包括：
S701、获取转换模体点云的第一质心和第二模体点云的第二质心，并确定第一质心和第二质心之间的质心位移；
S702、基于拍摄设备的安装角度确定转换模体点云与第二模体点云之间的旋转角；
S703、基于质心位移和旋转角获得转换模体点云和第二模体点云之间的粗配准转换关系。
其中，步骤S701中的第一质心指的是转换模体点云中所有点的坐标的平均值，具体计算公式如下：
式中，Pc为第一质心的三维坐标；n为转换模体点云中点的总数；xi为第i个点的x轴坐标；yi为第i个点的y轴坐标；zi为第i个点的z轴坐标。
第二质心指的是第二模体点云中所有点的坐标的平均值，具体计算方法与第一质心一致，在此不做赘述。
本发明实施例通过步骤S701-步骤S703将第一质心和第二质心大致重合，可提高后续对转换模体点云和第二模体点云精配准的配准效率。
其中，步骤S703中的粗配准转换关系包括基于质心位移将第二质心平移至第一质心的平移变换以及基于旋转角将第二质心进行旋转的旋转变换。
在本发明的一些实施例中，如图8所示，步骤S602包括：
S801、寻找粗配准后的第二模体点云在转换模体点云中的对应点，获得点云匹配点集；
S802、根据点云匹配点集，计算使点云匹配点集的匹配点之间平均距离最小的刚体变换参数；
S803、基于刚体变换参数对第二模体点云进行更新，获得更新模体点云；
S804、寻找更新模体点云在转换模体点云中的对应点，获得更新点云匹配点集，若更新点云匹配点集的平均距离小于阈值距离，则刚体变换参数为精配准转换关系；若更新点云匹配点集的平均距离大于或等于阈值距离，则记录下本次迭代过程中的刚体变换参数，将更新模体点云作为第二模体点云，并重复步骤S801和步骤S804，最终所有迭代过程中记录下的刚体变换参数的点乘结果为精配准转换关系。
需要说明的是：为了进一步提高对粗配准后的所述转换模体点云和所述第二模体点云进行精配准的效率和准确性，在本发明的一些实施例中，在步骤S801之后还可包括：
去除点云匹配点集中第二模体点云与对应点之间的距离大于阈值距离的对应点。
通过去除距离大于阈值距离的对应点，可去除对配准有影响的错误的对应点，简化精配准计算量，提高对转换模体点云和所述第二模体点云进行精配准的效率和准确性。
进一步地，由于拍摄设备的分辨率与第一图像的分辨率不同，导致转换模体点云和第二模体点云的点云密度不同，为了避免由于点云密度不同对后续对转换模体点云和第二模体点云配准过程造成影响，影响配准准确率，在本发明的一些实施例中，在步骤S105之前，还包括：
对转换模体点云和/或第二模体点云进行降采样处理。
本发明实施例通过对转换模体点云和/或第二模体点云进行降采样处理，可降低转换模体点云和第二模体点云之间的密度差，从而提高配准准确率，进而提高坐标系校准的校准准确率。
应当理解的是：对转换模体点云和/或第二模体点云进行降采样处理可以是以转换模体点云的密度为标准，将第二模体点云进行降采样处理，将其密度处理为和转换模体点云的密度相同的点云。对转换模体点云和/或第二模体点云进行降采样处理还可以是以第二模体点云的密度为标准，将转换模体点云进行降采样处理，将其密度处理为和第二模体点云的密度相同的点云。
还应当理解的是：当转换模体点云和第二模体点云的点云密度均较高时，对转换模体点云和/或第二模体点云进行降采样处理还可以是对转换模体点云和第二模体点云进行降采样处理，均处理成预设密度的点云。
其中，降采样处理可以为体素网格下降采样(Voxel Grid Downsampling，VGD)、最远点抽样(Farthest Point Sampling，FPS)、正态空间抽样(Normal Space Sampling，NSS)、深度学习降采样等降采样方法中的任意一种。
为了更好实施本发明实施例中的坐标系校准方法，在坐标系校准方法基础之上，对应的，如图9所示，本发明实施例还提供了一种坐标系校准装置，应用于多模态医学成像系统，多模态医学成像系统包括目标成像设备、参考成像设备和拍摄设备，坐标系校准装置用于对目标成像设备所在的目标坐标系与拍摄设备所在的设备坐标系进行校准，坐标系校准装置900包括：
第一模体点云获取单元901，用于确定模体在参考成像设备所在的参考坐标系下的第一模体点云；
病床运动信息及转换关系确定单元902，用于获取所述模体从所述参考成像设备的成像中心运动到所述目标成像设备的成像中心的病床运动信息和目标坐标系与参考坐标系之间的转换关系；
转换模体点云获取单元903，用于基于转换关系、所述病床运动信息以及第一模体点云，确定模体在目标坐标系下的转换模体点云；
第二模体点云获取单元904，用于获取模体在设备坐标系下的第二模体点云；
校准单元905，用于根据转换模体点云和第二模体点云确定目标坐标系与设备坐标系的校准关系。
上述实施例提供的坐标系校准装置900可实现上述坐标系校准方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述坐标系校准方法实施例中的相应内容，此处不再赘述。
如图10所示，本发明还相应提供了一种电子设备1000。该电子设备1000包括处理器1001、存储器1002及显示器1003。图10仅示出了电子设备1000的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
处理器1001在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器1002中存储的程序代码或处理数据，例如本发明中的坐标系校准方法。
在一些实施例中，处理器1001可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中，处理器1001可为本地的或远程的。在一些实施例中，处理器1001可实施于云平台。在一实施例中，云平台可包括私有云、公共云、混合云、社区云、分布式云、内部间、多重云等，或以上的任意组合。
存储器1002在一些实施例中可以是电子设备1000的内部存储单元，例如电子设备1000的硬盘或内存。存储器1002在另一些实施例中也可以是电子设备1000的外部存储设备，例如电子设备1000上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，存储器1002还可既包括电子设备1000的内部储存单元也包括外部存储设备。存储器1002用于存储安装电子设备1000的应用软件及各类数据。
显示器1003在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器1003用于显示在电子设备1000的信息以及用于显示可视化的用户界面。电子设备1000的部件1001-1003通过系统总线相互通信。
在一实施例中，当处理器1001执行存储器1002中的坐标系校准程序时，可实现以下步骤：
确定模体在参考成像设备所在的参考坐标系下的第一模体点云；
获取模体从参考成像设备的成像中心运动到目标成像设备的成像中心的病床运动信息以及目标坐标系与参考坐标系之间的转换关系；
基于转换关系、病床运动信息以及第一模体点云，确定模体在目标坐标系下的转换模体点云；
获取模体在设备坐标系下的第二模体点云；
根据转换模体点云和第二模体点云确定目标坐标系与设备坐标系的校准关系。
应当理解的是：处理器1001在执行存储器1002中的坐标系校准程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备1000的类型不做具体限定，电子设备1000可以为手机、平板电脑、个人数字助理(personal digitalassistant，PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备1000也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述各方法实施例提供的坐标系校准方法中的步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件(如处理器，控制器等)来完成，计算机程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的坐标系校准方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种坐标系校准方法，其特征在于，应用于多模态医学成像系统，所述多模态医学成像系统包括目标成像设备、参考成像设备和拍摄设备，所述坐标系校准方法用于对所述目标成像设备所在的目标坐标系与所述拍摄设备所在的设备坐标系进行校准，所述坐标系校准方法包括：
确定模体在所述参考成像设备所在的参考坐标系下的第一模体点云；
获取所述模体从所述参考成像设备的成像中心运动到所述目标成像设备的成像中心的病床运动信息以及所述目标坐标系与所述参考坐标系之间的转换关系；
基于所述转换关系、所述病床运动信息以及所述第一模体点云，确定所述模体在所述目标坐标系下的转换模体点云；
获取所述模体在所述设备坐标系下的第二模体点云；
根据所述转换模体点云和所述第二模体点云确定所述目标坐标系与所述设备坐标系的校准关系。
2.根据权利要求1所述的坐标系校准方法，其特征在于，所述确定模体在所述参考成像设备的参考坐标系下的第一模体点云，包括：
基于所述参考成像设备，获得所述模体的第一图像；
对所述第一图像进行预处理，获得代表模体表面的体素集合；
获取所述第一图像的图像标签信息；
基于所述体素集合和所述图像标签信息，获得所述第一模体点云。
3.根据权利要求2所述的坐标系校准方法，其特征在于，所述基于所述体素和所述图像标签信息，获得所述第一模体点云，包括：
基于所述图像标签信息获得所述第一图像所在的图像坐标系与所述参考坐标系之间的映射关系；
基于所述映射关系和所述体素，获得所述第一模体点云。
4.根据权利要求1所述的坐标系校准方法，其特征在于，所述基于所述转换关系、所述病床运动信息以及所述第一模体点云，确定所述模体在所述目标坐标系下的转换模体点云，包括：
基于所述病床运动信息，将所述第一模体点云从所述参考成像设备的成像中心移动到所述目标成像设备的成像中心；
基于移动后的第一模体点云以及所述目标坐标系与所述参考坐标系之间的转换关系，获得所述转换模体点云。
5.根据权利要求1所述的坐标系校准方法，其特征在于，所述获取所述模体在所述设备坐标系下的第二模体点云，包括：
获取所述拍摄设备拍摄的所述模体在所述目标成像设备的成像中心位置的深度图像；
获取所述拍摄设备的成像参数，根据深度图像和所述成像参数获得所述第二模体点云。
6.根据权利要求1所述的坐标系校准方法，其特征在于，所述根据所述转换模体点云和所述第二模体点云确定所述目标坐标系与所述设备坐标系的校准关系，包括：
基于质心算法确定所述转换模体点云和所述第二模体点云之间的粗配准转换关系；
基于迭代最近点算法确定粗配准后的所述转换模体点云和所述第二模体点云之间的精配准转换关系；
基于所述粗配准转换关系和所述精配准转换关系确定所述目标坐标系与所述设备坐标系的校准关系。
7.根据权利要求6所述的坐标系校准方法，其特征在于，所述基于质心算法确定所述转换模体点云和所述第二模体点云之间的粗配准转换关系，包括：
获取所述转换模体点云的第一质心和所述第二模体点云的第二质心，并确定所述第一质心和所述第二质心之间的质心位移；
基于所述拍摄设备的安装角度确定所述转换模体点云与所述第二模体点云之间的旋转角；
基于所述质心位移和所述旋转角获得所述转换模体点云和所述第二模体点云之间的粗配准转换关系。
8.根据权利要求6所述的坐标系校准方法，其特征在于，所述基于迭代最近点算法确定粗配准后的所述转换模体点云和所述第二模体点云之间的精配准转换关系，包括：
步骤一、寻找粗配准后的所述第二模体点云在所述转换模体点云中的对应点，获得点云匹配点集；
步骤二、根据所述点云匹配点集，计算使所述点云匹配点集的匹配点之间平均距离最小的刚体变换参数；
步骤三、基于所述刚体变换参数对所述第二模体点云进行更新，获得更新模体点云；
步骤四、寻找所述更新模体点云在所述转换模体点云中的对应点，获得更新点云匹配点集，若所述更新点云匹配点集的平均距离小于阈值距离，则所述刚体变换参数为所述精配准转换关系；若所述更新点云匹配点集的平均距离大于或等于所述阈值距离，则记录本次迭代过程中的刚体变换参数，将所述更新模体点云作为所述第二模体点云，并重复步骤一-步骤四，最终所有迭代过程中记录下的所述刚体变换参数的点乘结果为所述精配准转换关系。
9.根据权利要求1所述的坐标系校准方法，其特征在于，在所述对所述转换模体点云和所述第二模体点云进行配准之前，还包括：
对所述转换模体点云和/或所述第二模体点云进行降采样处理。
10.一种坐标系校准装置，其特征在于，应用于多模态医学成像系统，所述多模态医学成像系统包括目标成像设备、参考成像设备和拍摄设备，所述坐标系校准装置用于对所述目标成像设备所在的目标坐标系与所述拍摄设备所在的设备坐标系进行校准，所述坐标系校准装置包括：
第一模体点云获取单元，用于确定模体在所述参考成像设备所在的参考坐标系下的第一模体点云；
病床运动信息及转换关系确定单元，用于获取所述模体从所述参考成像设备的成像中心运动到所述目标成像设备的成像中心的病床运动信息和所述目标坐标系与所述参考坐标系之间的转换关系；
转换模体点云获取单元，用于基于所述转换关系、所述病床运动信息以及所述第一模体点云，确定所述模体在所述目标坐标系下的转换模体点云；
第二模体点云获取单元，用于获取所述模体在所述设备坐标系下的第二模体点云；
校准单元，用于根据所述转换模体点云和所述第二模体点云确定所述目标坐标系与所述设备坐标系的校准关系。
11.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至9中任意一项所述的坐标系校准方法中的步骤。
12.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述权利要求1至9中任意一项所述的坐标系校准方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111648061.5A CN114332171B (zh) | 2021-12-29 | 2021-12-29 | 坐标系校准方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111648061.5A CN114332171B (zh) | 2021-12-29 | 2021-12-29 | 坐标系校准方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332171A CN114332171A (zh) | 2022-04-12 |
| CN114332171B true CN114332171B (zh) | 2024-09-10 |
Family
ID=81016687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111648061.5A Active CN114332171B (zh) | 2021-12-29 | 2021-12-29 | 坐标系校准方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332171B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112509057B (zh) * | 2020-11-30 | 2024-04-12 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、电子设备以及计算机可读介质 |
-
2021
- 2021-12-29 CN CN202111648061.5A patent/CN114332171B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332171A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123137B (zh) | 医学图像处理方法及设备 | |
| US10078885B2 (en) | Image annotation using a haptic plane | |
| US8290303B2 (en) | Enhanced system and method for volume based registration | |
| US10362941B2 (en) | Method and apparatus for performing registration of medical images | |
| EP2422318B1 (en) | Quantification of medical image data | |
| US20110085716A1 (en) | System and method for verifying registration accuracy in digital medical images | |
| BR112015020425B1 (pt) | Sistema de imageamento por ultrassom inspecionar um objeto em um volume e método para fornecer uma imagem de ultrassom de um objeto em um volume | |
| JP5837604B2 (ja) | 幾何学的特徴の自動算出方法、非一時的なコンピュータ可読媒体および画像解釈システム | |
| JP2007518461A (ja) | 心臓関連の取得のための自動的な最適面の決定 | |
| US20180064409A1 (en) | Simultaneously displaying medical images | |
| Maier-Hein et al. | Towards mobile augmented reality for on-patient visualization of medical images | |
| US9020215B2 (en) | Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images | |
| CN114943714A (zh) | 医学图像处理系统、装置、电子设备及存储介质 | |
| US9585569B2 (en) | Virtual endoscopic projection image generating device, method and program | |
| CN111462018A (zh) | 图像中的影像摆正方法、计算机设备和存储介质 | |
| US10755378B2 (en) | Multi-point annotation using a haptic plane | |
| KR101028798B1 (ko) | 다중 페이즈 간 ｃｔ영상들의 정합을 이용한 간세포암 검출방법 | |
| CN114332171B (zh) | 坐标系校准方法、装置、电子设备及存储介质 | |
| CN114159085B (zh) | 一种pet图像衰减校正方法、装置、电子设备及存储介质 | |
| CN108053428A (zh) | 一种医学图像的配准方法、装置及设备 | |
| US10755379B2 (en) | Multi-point annotation using a haptic plane | |
| EP4026054A1 (en) | Image reconstruction by modeling image formation as one or more neural networks | |
| Li et al. | A Fast Subpixel Registration Algorithm Based on Single‐Step DFT Combined with Phase Correlation Constraint in Multimodality Brain Image | |
| CN113781593B (zh) | 四维ct图像的生成方法、装置、终端设备及存储介质 | |
| CN106296707A (zh) | 医学图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |