CN111938655B

CN111938655B - 基于关键点信息的眼眶软组织形态评价方法、系统及设备

Info

Publication number: CN111938655B
Application number: CN202010655993.1A
Authority: CN
Inventors: 翟广涛; 杨逸炎; 朱文瀚; 杨小康; 宋雪霏; 毕晓萍; 范先群; 周一雄; 张路
Original assignee: Shanghai Jiaotong University; Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Current assignee: Shanghai Jiaotong University; Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2021-09-03
Anticipated expiration: 2040-07-09
Also published as: CN111938655A

Abstract

本发明提供了一种基于关键点信息的眼眶软组织形态评价方法、系统及设备，使用LSFM模型对三维人脸数据进行注册，并以标准可动模型所处的坐标空间为基础对三维人脸数据做校准和归一化；记录左右眼区域特征点索引和特征点数量，并提取左右眼区域特征点；采用线性回归模型判断从三维人脸数据手术前后对应的左、右眼特征点区域，得到平均位移矩阵和对应区域是否进行手术，再得到线性回归的自变量和因变量，计算出方向对结果影响的权值；计算手术眼区域与标准可动模型的平均位移矩阵和非手术眼区域与标准可动模型的平均位移矩阵，设定阈值判断术后眼眶软组织恢复情况。本发明准确率达到90％。

Description

基于关键点信息的眼眶软组织形态评价方法、系统及设备

技术领域

本发明涉及三维图像处理领域，具体是一种基于关键点三维信息的眼眶软组织形态评价方法、系统及设备。

背景技术

眼眶病的诊断、治疗方案决策、疗效评价等当前主要依赖患者CT、MRI的资料。近年来，随着美学需求的日益增长，基于患者主观感受的医学决策和patient-reportedoutcomes越来越受到重视。因此，在影像学前置判断的基础上，基于面部测量的判断逐渐成为影像眼眶病诊疗决策的新因素。眼眶病包括血管类疾病、肿瘤类疾病、外伤、炎症等，很多疾病比如甲状腺相关眼病(TAO)、眼眶骨折等在病程的不同时段可以发生多次、快速、短暂的临床表现的变化，尤其是体现在软组织形态的变化。依靠影像学检查虽然可以捕捉这些变化，但CT检查要付出的代价是射线的辐射，MRI的限制因素是成本和检查时长，因此此二类检查仅在诊断决策和重要随访节点时使用，并不是可以多次、随时、重复检测的项目，无法为患者快速变化的体征提供可靠数据，限制了眼眶医生在患者高风险变化早期提示、快速反应、康复指导等方面的认知和干预方面的提升空间。

眼眶骨折是眼眶病中比重很大的一类，多数由外伤引起，造成面中部畸形以及眼球运动障碍、复视、视力下降甚至失明等不良后果。TAO导致眼球突出、眼睑退缩以及眼球运动障碍等临床症状，严重患者出现角膜穿孔、视神经损伤等不可逆损害，生活质量严重降低。无论是眼眶骨折还是TAO，除了骨性结构和视功能方面的考量，外观改变也同样是日益重要的影响手术决策的因素。可察觉的眶面部形态改变、眼眶肿胀程度、眼眶软组织肿胀的消退等，都是patient-reported outcomes或者说主诉，这些主诉在患者就诊目的和自我评价疗效等方面具有不可忽视的重要性。然而，如前所述，除了CT和MRI以及基于或不基于这些影像学检查的眼球突出度等指标之外，我们没有除了主观的“有无评判”之外的更好指标。以眼眶骨折患者为例，符合手术适应症的患者通常在病程中具有或不具有如下全部或部分特征：患侧术前可察觉眶面部形态改变，术后即刻眼眶软组织肿胀，术后近期或远期肿胀消退。既往对此类内容的评价仅凭医患双方的主观感受，无法进行具有可重复性的量化评价，因此无法作为可靠的观察指标，同时也严重减少了患者视角在疾病诊疗过程中的参与度。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术存在的上述不足，提供了一种基于关键点三维信息的眼眶软组织形态评价方法、系统及设备。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于关键点信息的眼眶软组织形态评价方法，包括：

使用LSFM模型对三维人脸数据进行注册，并以标准可动模型所处的坐标空间为基础对注册后的三维人脸数据做校准和归一化；

记录左右眼区域特征点索引和特征点数量n，并在三维人脸数据中提取左右眼区域特征点作为关键点；

采用线性回归模型判断手术区域位于左眼或者右眼，包括从第i个三维人脸数据手术前后对应的左、右眼特征点区域P_{i_before},P_{i_after}，得到第i个平均位移矩阵P_i和对应区域是否进行手术Y_i，再得到线性回归的自变量P和因变量Y，计算出x、y、z方向对结果影响的权值W；

计算手术眼区域与标准可动模型的平均位移矩阵P_operation和非手术眼区域与标准可动模型的平均位移矩阵P_natural，设定阈值thread判断术后眼眶软组织恢复情况。

优选地，所述注册采用非刚性迭代最近点算法，将三维人脸数据中的点与LSFM标准可动模型对应。

优选地，所述校准和归一化是指对三维人脸数据的空间位置与数据大小进行统一。

优选地，所述特征点索引是指在标准可动模型的纹理数据中选取符合左右眼手术区域的特征点，并记录特征点的编号。

优选地，所述特征点数量n包括左眼区域的2572个特征点和/或右眼区域的2591个特征点。

优选地，所述平均位移矩阵P_i＝∑(P_{i_after}-P_{i_before})/n。

优选地，所述对应区域的手术情况

优选地，所述自变量

其中，m为训练集样本数量。

优选地，所述因变量

其中，m为训练集样本数量。

优选地，所述权值W＝(P^T·P)^-1·P^T·Y。

优选地，所述阈值thread＝0.006。

优选地所述判断术后眼眶软组织恢复情况为：

当P_operation-thread<P_natural<P_operation+thread时，判断为恢复良好，否则判断为未恢复。

根据本发明的另一个方面，提供了一种基于关键点三维信息的眼眶软组织形态评价系统，包括：

预处理模块：使用LSFM模型对三维人脸数据进行注册，并以标准可动模型所处的坐标空间为基础对注册后的三维人脸数据做校准和归一化；

特征提取模块：记录左右眼区域特征点索引和特征点数量n，并在三维人脸数据中提取左右眼区域特征点；

手术区域判断模块：采用线性回归模型判断手术区域位于左眼或者右眼，包括从第i个三维人脸数据手术前后对应的左、右眼特征点区域P_{i_before},P_{i_after}得到第i个平均位移矩阵P_i和对应区域是否进行手术Y_i，再得到线性回归的自变量P和因变量Y，计算出x、y、z方向对结果影响的权值W；

术后恢复判断模块：计算手术眼区域与标准可动模型的平均位移矩阵P_operation和非手术眼区域与标准可动模型的平均位移矩阵P_natural，设定阈值thread判断术后眼眶软组织恢复情况。

根据本发明的第三个方面，提供了一种设备，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够用于执行上述任一项所述的方法。

根据本发明的第四个方面，提供了另一种设备，包括存储器、处理器及存储在存储器上并可通过处理器运行的上述所提供的系统。

与现有技术相比，本发明具有如下至少一项有益效果：

本发明提供的基于关键点三维信息的眼眶软组织形态评价方法、系统，因其与传统影像都是基于图像的判别，不涉及直接干预，风险也并不增加。除了符合临床试验方面替代终点的基本原则性要求之外，该方法、系统的优势还体现在指标采集的便捷、测量过程的可重复、评价方式的量化。

本发明提供的基于关键点三维信息的眼眶软组织形态评价方法、系统，根据人脸三维模型注册过程中不改变模型的形状，只改变拓扑结构的特性，将医疗诊断部分自动化、可重复化，并且准确率达到90％。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例所提供的基于关键点三维信息的眼眶软组织形态评价方法中对三维人脸数据注册、校准和归一化结果示意图；其中：(a)为原始模型，(b)为注册后模型，(c)为校准、归一化后模型；

图2为本发明实施例所提供的基于关键点三维信息的眼眶软组织形态评价方法中提取左右眼区域示意图；其中：图a为左眼区域模型，图b为右眼区域模型；

图3为本发明实施例所提供的基于关键点三维信息的眼眶软组织形态评价方法流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明一实施例提供了一种基于关键点信息的眼眶软组织形态评价方法，该方法可用于自动判断术后患者眼眶软组织消肿情况，该方法及系统可用于自动判断术后患者眼眶软组织消肿情况。如图3所示，该方法包括：

第一步，使用LSFM模型对三维人脸数据进行注册，并以标准可动模型所处的坐标空间为基础对注册后的三维人脸数据做校准和归一化。

作为一优选实施例，注册采用非刚性迭代最近点算法，将三维人脸数据中的点与LSFM标准可动模型对应。

作为一优选实施例，校准和归一化是指对三维人脸数据的空间位置与数据大小进行统一。

第一步中具体注册、校准和归一化结果如图1所示。

第二步，记录左右眼区域特征点索引和特征点数量n，并在三维人脸数据中提取左右眼区域特征点(即关键点)。

作为一优选实施例，特征点索引是指在标准可动模型的纹理数据中选取符合左右眼手术区域的特征点，并记录特征点的编号。

作为一优选实施例，特征点的数量包括左眼区域的2572个特征点和右眼区域的2591个特征点。

第三步，采用线性回归模型判断手术区域位于左眼或者右眼，包括从第i个三维人脸数据手术前后对应的左、右眼特征点区域P_{i_before},P_{i_after}，得到第i个平均位移矩阵P_i和对应区域是否进行手术Y_i，再得到线性回归的自变量P和因变量Y，计算出x、y、z方向对结果影响的权值W。

作为一优选实施例，平均位移矩阵P_i＝∑(P_{i_after}-P_{i_before})/n。

作为一优选实施例，对应区域的手术情况

作为一优选实施例，自变量

其中，m为训练集样本数量。

作为一优选实施例，因变量

其中，m为训练集样本数量。

作为一优选实施例，权值W＝(P^T·P)^-1·P^T·Y。

作为一优选实施例，第三步中，W＝[47.85693945，2.64343121，79.23895416，-0.37536196]，四个数值分别对应模型x坐标对结果影响的权值，y坐标对结果影响的权值，z坐标对结果影响的权值和误差项。

第四步，计算手术眼区域与标准可动模型的平均位移矩阵P_operation和非手术眼区域与标准可动模型的平均位移矩阵P_natural，设定阈值thread判断术后眼眶软组织恢复情况。

作为一优选实施例，阈值thread＝0.006；

作为一优选实施例，判断术后眼眶软组织恢复情况为：

第四步中P_operation＝0.01588，P_natural＝0.00865，判断结果未恢复，与实际情况一致，如图1和图2所示。

实施效果

依据上述步骤，对65例患者的三维人脸模型进行诊断，其中59例实现正确诊断。

本发明另一实施例提供了一种基于关键点信息的眼眶软组织形态评价系统，包括：

本发明第三个实施例提供了一种设备，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，处理器执行计算机程序时能够用于执行基于关键点信息的眼眶软组织形态评价方法。

可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器62用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

本发明第四个实施例提供了另一种设备，包括存储器、处理器及存储在存储器上并可通过处理器运行的基于关键点信息的眼眶软组织形态评价系统。

该实施例中可采用与上述相同或相似的存储器和处理器，此处不再赘述。

本发明上述实施例所提供的基于关键点信息(三维信息)的眼眶软组织形态评价方法、系统及设备，是一种快速、可量化评价、重复性好的眼眶软组织形态评价新技术，基于SKO的眼眶软组织量化评价，为眼部软组织形态描述提供快速、可量化、可重复性的评价。在Bellus3D结构光扫描仪采集得到的眼眶病患者人脸三维信息中提取眼眶区域2500多个mesh顶点建立眼眶软组织评价关键点集合(SKO，soft-tissue key-points-set of theorbit)，并使用LSFM(Large Scale Face Model)进行关键点注册；以65位眼眶骨折患者数据建立SKO回归方程并进行眼眶软组织形态的判断，实现了对可察觉眶面部形态改变、眼眶肿胀和消退等主观评判的客观评价并得到了有效验证，为眶面部疾病的诊疗和决策研究提供了新的思路。与现有技术相比，降低了对人工的需求，基本实现医疗诊断的自动化，且准确率达到90％，基本符合临床需求。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于关键点信息的眼眶软组织形态评价系统，其特征在于，包括：

所述平均位移矩阵P_i＝∑(P_{i_after}-P_{i_before})/n；

所述对应区域的手术情况

所述自变量

其中，m为训练集样本数量；

所述因变量

其中，m为训练集样本数量；

所述权值W＝(P^T·P)^-1·P^T·Y；

2.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价系统，其特征在于，所述注册采用非刚性迭代最近点算法，将三维人脸数据中的点与标准可动模型对应。

3.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价系统，其特征在于，所述校准和归一化是指对三维人脸数据的空间位置与数据大小进行统一。

4.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价系统，其特征在于，所述特征点索引是指在标准可动模型的纹理数据中选取符合左右眼手术区域的特征点，并记录特征点的编号。

5.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价系统，其特征在于，所述特征点数量n包括左眼区域的2572个特征点和/或右眼区域的2591个特征点。

6.根据权利要求1所述的基于关键点信息的眼眶软组织形态评价系统，其特征在于，所述阈值thread＝0.006；

所述判断术后眼眶软组织恢复情况为：

7.一种设备，其特征在于，包括存储器、处理器及存储在存储器上并可通过处理器运行的权利要求1-6任一项中所提供的基于关键点信息的眼眶软组织形态评价系统。