CN114998510A

CN114998510A - 一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法

Info

Publication number: CN114998510A
Application number: CN202210406810.1A
Authority: CN
Inventors: 杜剑; 张周锋; 陶成龙; 刘嘉诚; 于涛; 胡炳樑
Original assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Current assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Priority date: 2022-04-18
Filing date: 2022-04-18
Publication date: 2022-09-02

Abstract

本发明涉及肿瘤分层结构的三维重建方法，具体涉及一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法，以解决现有皮肤肿瘤分层结构三维重建技术的成像速度较慢，且对浸润较深的组织成像效果不佳的技术问题。该方法包括：1、采集多组皮肤肿瘤组织的图谱分层实验数据，获取实验数据集；2、设置皮肤肿瘤组织分层数n；3、根据实验数据集，对n个分层训练分类模型，得到n个三维卷积神经网络模型；4、将待测皮肤肿瘤组织的n层数据输入对应的三维卷积神经网络模型，得到的分类输出结果进行图像化后按顺序合成，得到待测皮肤肿瘤组织的三维重建结构。本发明的三维重建方法信息准确，精准度高。

Description

一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法

技术领域

本发明涉及肿瘤分层结构的三维重建方法，具体涉及一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法。

背景技术

近年来在皮肤肿瘤诊疗领域中，得益于医学影像学和计算机软件技术的共同发展，使利用一系列二维图像信息进行不规则体的三维重建成为可能，如利用磁共振或断层扫描技术重建机体内的三维解剖结构，利用超声血管造影技术重建冠状动脉，利用电镜或共聚焦扫描显微技术重建细胞核或粒子等微观结构等。

三维重建技术能够提供更加清晰准确的皮肤病灶体现，据此能做出更加合理的诊疗方案，有利于精准手术的实施。皮肤组织的结构决定了其生理功能和病理过程，三维可视化突破了传统组织形态学二维显示组织精细结构的局限，有助于深入研究组织器官的生理过程、探讨疾病的发病机制并为寻找治疗方法提供新思路。

皮肤组织结构的三维重建有三个关键点：首先对成像的分辨率要求较高；其次是在成像时和成像后均能精确定位，便于三维重建和观察；最后是重建结果能够应用于临床实践和研究工作，实现重建价值。在现有技术中，常见的技术包括组织连续切片光镜成像、激光共聚焦显微镜成像、光学相干断层扫描、三维超声成像等技术。

组织连续切片光镜成像后三维重建是最早被发展起来的，随着样本制备、染色方法、摄像器材及计算机图像处理方法的不断完善，该技术重建图像的清晰度也随之提高。目前该技术仍是显微结构重建的常用方法，但其样本必须为离体组织，连续超薄切片制备过程中的真空工作环境容易破坏抗原或目标结构，且连续超薄切片对技术要求过高，工作量大。在切片制作，图像采集与配准，实时处理等方面都存在较大的挑战性。

激光共聚焦显微镜成像技术是对荧光标记的活体生物样本行光学断层扫描，图像叠加后直接构成样本的三维结构图像，用于动态观察活体生物样本的组织或细胞变化。无须制作切片，可对目标结构定量分析并无损活体组织或细胞。该技术缺点是因深层组织荧光无法穿透，仅适用于体浅表结构的三维重建，在重建组织的厚度方向成像有一定程度的限制。

光学相干断层扫描技术(OCT)通过傅立叶探测技术，可生成组织的三维立体图像，且分辨率达1-2μm。临床上主要用于眼底疾病诊断及随访等，近几年也用于检测人体皮肤。该技术无创、快速，可实时监测，可重复且方便便宜。但其穿透深度仅1.5mm，扭曲的血管形态也会影响其成像。

三维超声成像分为三个阶段，即三维数据采集、三维重建和三维图像可视化。三维数据采集是三维超声成像的第一步，也是影响三维图像质量的关键一步，其与探头技术和扫描方式有较强关系。皮肤高频超声二维图像序列的采集是其三维重建的基础与关键，扫描精度、图像采集质量都会直接影响到重建结果。三维超声成像能够提供皮肤等浅表器官直观详细的三维信息，更好的显示皮肤等浅表器官的空间信息和解剖结构，但成像速度较慢，且对浸润较深的组织成像效果不佳。高频超声三维成像是三维超声成像的一种，因其超常的分辨力，在皮肤及眼部等浅表器官疾病诊断方面具有十分重要的意义，但也因为高频超声精细的成像特点，使其在临床检查时不易了解病灶的全貌。针对皮肤瘤手术切除，也需要一种清晰、准确、快速的皮肤组织结构的三维重建技术，以利于医生进行精准切除，有效避免漏切多切等情况出现。

发明内容

本发明目的在于解决现有皮肤肿瘤分层结构三维重建技术中三维超声成像的成像速度较慢，且对浸润较深的组织成像效果不佳的技术问题，提出一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法，通过高光谱信息逐层反演，不同波段图像提供不同深度的皮肤结构信息，并对不同分层结构模型训练，最终反馈完成皮肤肿瘤组织的三维模型重构。

本发明的技术方案为：

一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法，其特殊之处在于，包括以下步骤：

S1、采用高光谱成像技术采集多组皮肤肿瘤组织的图谱分层实验数据，所述图谱分层实验数据包括同一个皮肤肿瘤组织的在体高光谱图谱数据和离体高光谱图谱数据；

将所述离体皮肤肿瘤组织切片并进行标号，对各个切片进行病理标记，所述切片数为m，m≥8；

根据病理标记结果提取各个切片对应的离体高光谱图谱数据；

在体高光谱图谱数据和各个切片对应的离体高光谱图谱数据构成实验数据集；

S2、根据皮肤肿瘤组织类型设置分层数n，其中n为整数且6≤n≤10，n≤m；

S3、根据实验数据集，对n个分层训练分类模型，得到三维卷积神经网络模型；

S3.1、从实验数据集中提取第i层离体高光谱图谱数据的训练样本，作为标准训练样本，其中i小于等于n；从实验数据集中提取第i层在体高光谱图谱数据的在体训练样本，将中心在体训练样本点的邻域w×w×b作为模型输入，其中w×w为邻域窗口，b为谱段数；

S3.2、根据标准训练样本和模型输入，执行卷积操作和池化操作，将模型输入减小至1×1，得到第i层的三维卷积神经网络模型；

S3.3、重复与步骤S3.1和S3.2相同内容的操作，对其余各层训练分类模型，得到其余n-1个三维卷积神经网络模型；

S4、将待测皮肤肿瘤组织的在体高光谱图谱数据的各层中心训练样本点的邻域w×w×b输入对应的n个三维卷积神经网络模型，得到各层分类输出结果；

S5、将分类输出结果图像化，得n个深度的分层皮肤重构图像，将n个深度的分层皮肤重构图像依照顺序合成，得到待测皮肤肿瘤组织的三维重建结构。

进一步地，步骤S1中，所述图谱分层实验数据包含平面特性信息和深度特性光谱信息。

进一步地，步骤S1中，所述病理标记包括癌变状态、癌细胞浸润深度及癌变细胞的周边范围。

进一步地，步骤S3.2中，所述卷积操作采用小卷积核操作。

进一步地，步骤S2中，根据皮肤肿瘤组织类型设置分层数为8。

进一步地，步骤S1中，所述高光谱成像技术覆盖波段范围为300-1000nm。

本发明的有益效果：

1、本发明提出基于高光谱图像的皮肤肿瘤分层结构三维重建方法，采用的高光谱成像技术具有多谱段、高分辨率的特点，通过皮肤肿瘤组织的高光谱图谱数据分层深度信息的研究实现三维模型重建，不但能精确地显示皮肤瘤复杂三维结构，还可通过旋转剖切等操作获取任意切面的结构信息参数，有助于对病情做出更加合理的判断，有利于精准手术的实施。

2、皮肤肿瘤组织的图谱分层实验数据不仅包括了丰富的平面特性信息，同时包含深度特性光谱信息，这样能准确区分出不同深度的组织成分，不同波段图像可以提供不同深度的皮肤肿瘤组织信息。

3、高光谱成像技术能够达到组织连续切片所需的信息量，同时多谱段高分辨率的特点也保证了三维重构模型的精准度。

附图说明

图1为本发明基于高光谱图像的皮肤肿瘤分层结构三维重建方法实施例的皮肤肿瘤组织分层结构三维重建效果图；

图2为本发明实施例所得离体皮肤肿瘤的高光谱伪彩色图像1的黑白图像；

图3为本发明实施例所得离体皮肤肿瘤的高光谱伪彩色图像2的黑白图像；

图4为本发明实施例所得离体皮肤肿瘤的高光谱伪彩色图像3的黑白图像；

图5为本发明实施例所得离体皮肤肿瘤的高光谱伪彩色图像4的黑白图像；

图6为本发明实施例中所使用不同波段对皮肤组织的穿透深度示意图。

具体实施方式

本实施例提供一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法，采用高光谱成像技术对皮肤肿瘤组织三维重建的重点在于皮肤肿瘤图谱特征与纵向深度信息的有效融合，同时还需要针对不同皮肤肿瘤的特点进行单独反馈；例如基底细胞癌常发生于基底细胞层，在表皮和真皮形成团块；黑色素瘤在表皮和真皮内可见较多分散或巢状分布的黑素瘤细胞，沿水平和垂直方向扩展，深达真皮和皮下；癌的不规鳞则肿瘤细胞团块构成癌巢，常浸入真皮网状层或更深。本实施例提供的方法在于通过高光谱信息逐层反演，根据不同波段图像提供了不同深度的皮肤结构信息，经过不同分层结构模型训练，最终反馈完成皮肤肿瘤组织的三维模型重构。具体包括以下步骤：

S1、获取图谱分层实验数据：

采用高光谱成像技术采集多组皮肤肿瘤组织的图谱分层实验数据，采集的图谱分层实验数据包含平面特性信息和深度特性光谱信息；图谱分层实验数据包括同一个皮肤肿瘤组织的在体高光谱图谱数据和离体高光谱图谱数据；其中，高光谱成像技术覆盖波段范围为300-1000nm。

具体的，针对皮肤恶性肿瘤，例如基底细胞癌、黑色素瘤与鳞状细胞癌，挑选以上三类皮肤瘤患者并持续观察，在手术切除之前首先进行在体高光谱图谱数据采集，手术切除之后立即对切除组织进行离体高光谱图谱数据采集，参见图2-图5，本实施例采集离体皮肤肿瘤组织的离体高光谱图谱数据合成的高光谱伪彩色图像；完成后将离体组织按照标准制备方法进行连续超薄切片操作，切片数为m，m≥8；并详细记录切片序号，对各个切片进行病理标记；其中，病理标记包括癌变状态、癌细胞浸润深度及癌变细胞的周边范围。

根据病理标记结果提取各个切片对应的离体高光谱图谱数据；在体高光谱图谱数据和各个切片对应的离体高光谱图谱数据构成实验数据集；可以理解的是，在皮肤不同分层中需根据各自特点纳入不同组织数据，例如将表皮真皮层的血管、皮下脂肪及结缔组织等归为正常组织；参见图6，不同波长能够穿透皮肤的深度不同，308nm可反映角质层信息，488-514nm可穿透表皮，532nm可对浅层血管成像，755nm可到达真皮层深处，1064nm可到达皮下脂肪层，根据高光谱波段信息可以对应出皮肤肿瘤细胞的浸润深度。

S2、根据皮肤肿瘤组织类型设置分层数n，其中n为整数且6≤n≤10，n≤m；针对每层分别训练分类模型。例如对于基底细胞癌，癌变多发生于表皮与真皮层，因此第一步可设置角质层、表皮(2层)、真皮(4层)与皮下层共8层。

S3.1、从实验数据集中提取第i层离体高光谱图谱数据的训练样本，作为标准训练样本，其中i小于n；从实验数据集中提取第i层在体高光谱图谱数据的在体训练样本，将中心在体训练样本点的邻域w×w×b作为模型输入，其中w×w为邻域窗口，b为谱段数；

S3.2、根据标准训练样本和模型输入，执行卷积操作和池化操作，将模型输入减小至1×1，得到第i层的三维卷积神经网络模型；其中，卷积操作采用小卷积核操作。

以真皮层为例，3000μm深度对应585-600nm左右的光谱图像，我们将模型输入视为围绕目标(癌变或正常)像素的小窗口数据，同时考虑到像素尺寸特征，用小卷积核来执行卷积操作；具体的，真皮层三维卷积神经网络模型共包括6层网络；将三维卷积核的空间尺寸固定为4×4和3×3，考虑到像素尺寸将9×9×25的数据立方体作为输入，即小邻域窗口设置为9×9，光谱波段选取581-605nm；执行两次卷积操作和一次池化即可将输入减小至1×1，因此该三维卷积神经网络模型仅包含两个三维卷积层。皮肤肿瘤组织的其余7层类似于真皮层三维卷积神经网络模型，模型输入尺寸与窗口邻域设置基本相同，只需改变波段邻域与卷积核尺寸，波段邻域根据皮肤各层对应波段特征选择(波段数)。全部训练完成后得到8层皮肤结构对应的8个三维卷积神经网络模型，分别得到体现皮肤肿瘤组织不同分层的细微图谱特征的三维卷积神经网络模型，以此实现对不同分层癌变与正常组织的分类。

S5、将各层分类输出结果图像化，得n个深度的分层皮肤重构图像，将n个深度的分层皮肤重构图像依照顺序合成，得到待测皮肤肿瘤组织的三维重建结构。

Claims

1.一种基于高光谱图像的皮肤肿瘤分层结构三维重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于高光谱图像的皮肤肿瘤分层结构三维重建方法，其特征在于：

步骤S1中，所述图谱分层实验数据包含平面特性信息和深度特性光谱信息。

3.根据权利要求2所述的基于高光谱图像的皮肤肿瘤分层结构三维重建方法，其特征在于：

步骤S1中，所述病理标记包括癌变状态、癌细胞浸润深度及癌变细胞的周边范围。

4.根据权利要求1-3任一所述的基于高光谱图像的皮肤肿瘤分层结构三维重建方法，其特征在于：

步骤S3.2中，所述卷积操作采用小卷积核操作。

5.根据权利要求4所述的基于高光谱图像的皮肤肿瘤分层结构三维重建方法，其特征在于：

步骤S2中，根据皮肤肿瘤组织类型设置分层数为8。

6.根据权利要求5所述的基于高光谱图像的皮肤肿瘤分层结构三维重建方法，其特征在于：

步骤S1中，所述高光谱成像技术覆盖波段范围为300-1000nm。