CN110853005A - 一种免疫组化膜染色切片诊断方法及装置 - Google Patents

Abstract

本发明涉及一种免疫组化膜染色切片诊断方法，包括：S10，接收待诊断免疫组化膜染色病理切片的数字切片全场图；S20，对所述数字切片全场图上的感兴趣区域进行质量评价，对质量评价不合格的区域进行图像修复，获得质量评价合格的感兴趣区域；S30，对所述质量评价合格的感兴趣区域进行细胞定位、分类及分割，在所述感兴趣区域上标注出细胞位置和细胞类型，计算并标记免疫组化指标；S40，显示所述经过标注的感兴趣区域。本申请还涉及一种免疫组化膜染色切片诊断装置以及一种计算机可读介质。由于病灶区域的上下文信息对于免疫组化膜染色切片判读有着重要意义，本申请通过采集具有时序性的免疫组化膜染色病理切片八连通patch图像进行训练、测试，保证判读的准确性。

Description

一种免疫组化膜染色切片诊断方法及装置

技术领域

本发明涉及切片诊断领域，特别是涉及一种免疫组化膜染色切片诊断方法及装置。

背景技术

免疫组化技术作为组织病理学或细胞病理学的关键技术，在目前肿瘤判读、诊断、治疗过程中作为关键技术之一，具有极大的影响力。所谓的免疫组织化学技术或免疫细胞化学技术，是指应用免疫学及组织化学原理，对组织切片或细胞标本中的某些化学成分进行定性、定位或定量研究。免疫组化组织病理学技术分为免疫组化膜染色与浆细胞染色，对于免疫组化膜染色切片，染色过程由染色技术人员手工完成，由于染色技术人员对于染色化学药物剂量把控不一，易造成免疫组化膜染色切片成像优劣不一，病理医生在通过肉眼观察统计免疫组化膜染色切片上的肿瘤细胞时，容易产生统计结果偏差大，影响医生做出准确的切片诊断。

发明内容

本发明的目的在于解决现有技术存在的免疫组化膜染色切片由于染色效果优劣不一，容易对细胞数量的统计、细胞类型的分辨产生影响的技术问题，本发明提供了一种免疫组化膜染色切片诊断方法及装置。

本发明通过以下技术方案来实现上述目的：一种免疫组化膜染色切片诊断方法，包括：S10，接收待诊断免疫组化膜染色病理切片的数字切片全场图；S20，对所述数字切片全场图上的感兴趣区域进行质量评价，对质量评价不合格的区域进行图像修复，获得质量评价合格的感兴趣区域；S30，对所述质量评价合格的感兴趣区域进行细胞定位、分类及分割，在所述感兴趣区域上标注出细胞位置和细胞类型，计算并标记免疫组化指标；S40，显示所述经过标注的感兴趣区域。

进一步地，S20具体包括：S21，在所述感兴趣区域上截取若干张连续且大小相同的图像块；S22，对所述每个图像块进行质量评价，判断所述图像块的质量评价是否合格；对质量评价不合格的的图像块进行图像修复，得到修复后的质量评价合格的的感兴趣区域。

进一步地，S21，在所述感兴趣区域上，按照上左、上、上右、中左、中、中右、下左、下、下右依次截取9张大小相同的图像块。

进一步地，对所述图像块进行质量评价，包括：计算所述图像块的峰值信噪比m，判定所述峰值信噪比m是否在标准峰值信噪比范围[m1,m2]内，若是，则所述图像块质量评价合格；否则，所述图像块质量评价不合格；所述标准峰值信噪比范围[m1,m2]为染色标准的免疫组化膜染色切片图像的峰值信噪比范围，其中m1为标准免疫组化膜染色切片图像的峰值信噪比最低值，m2为标准免疫组化膜染色切片图像的峰值信噪比最高值。

进一步地，S22对质量评价不合格的的图像块进行图像修复，包括：采用生成对抗网络中的生成器对质量评价不合格的的图像块进行图像修复，再通过所述对抗生成网络中的判别器进行质量判断，若经过修复的图像块的峰值信噪比m不在标准峰值信噪比范围[m1,m2]内，再进行迭代修复，直到图像块的峰值信噪比m达到标准峰值信噪比范围[m1,m2]为止。

进一步地，S30，包括：确定所述感兴趣区域中膜染色细胞的位置，并进行位置标记；

对膜染色细胞进行分类，分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，标注出每个膜染色细胞的类别，统计每类细胞的数量，计算并标记相应的免疫组化指标；分割出膜染色细胞的具体轮廓。

本申请还提供了一种免疫组化膜染色切片诊断装置，包括：一个或多个处理器；存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且由所述一个或多个处理器执行，所述程序包括用于执行免疫组化膜染色切片诊断方法的指令。

进一步地，还包括高通量扫描仪，用于将待诊断免疫组化膜染色病理切片转化为数字切片全场图，与所述处理器连接；以及显示器，与所述处理器连接，用于接收并显示来自处理器的经过标注的感兴趣区域。

本申请还提供了一种计算机可读介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行免疫组化膜染色切片诊断方法。

与现有技术相比，本发明的有益效果如下：（1）精准分析：病灶区域的上下文信息对于免疫组化膜染色切片判读有着重要意义，对于相比较现有方法，本系统通过采集具有时序性的免疫组化膜染色病理切片八连通patch图像进行训练、测试，保证判读的准确性。（2）鲁棒性更好：相比较现有方法，本系统首先对数字化后的免疫组化膜染色病理切片进行图像修复，将染色劣质图像质量评价不合格的免疫组化膜染色切片图像修复至标准数字切片全场图峰值信噪比分布范围内，进而进行精确分析。（3）全自动化，从高通量扫描仪进行数字化成像至最终智能肿瘤分级判读评分为一站式服务，过程操作便捷；（4）采用本发明提出的免疫组化膜染色切片诊断方法及系统，病理医生只需要将免疫组化染色后的切片放置于高通量扫描仪，点击扫描后，系统自动经过数字化、智能修复、判读分析等过程，最终为医生提供出感兴趣区域的细胞位置、细胞类型、各类细胞的数量及相应的免疫组化指标。

附图说明

图1是免疫组化膜染色切片诊断方法流程图（1）；

图2是免疫组化膜染色切片诊断方法流程图（2）；

图3是图像质量修复采用的生成对抗网络生成器结构示意图；

图4是图像质量修复采用的生成对抗网络判别器结构示意图；

图5是细胞定位分割、分割模型所采用的卷积神经网络示意图。

具体实施方式

下面结合附图对本发明作进一步说明：

一种免疫组化膜染色切片诊断装置，包括高通量扫描仪、处理器以及显示器。处理器与高通量扫描仪通讯连接，处理器与显示器连接。免疫组化膜染色病理切片置于高通量扫描仪下，高通量扫描仪将免疫组化膜染色病理切片扫描成数字切片全场图，发送给处理器进行处理，经过处理器处理的数字切片全场图输出显示在显示器端。本实施例所采用的高通量扫描仪用于扫描免疫组化染色切片，进行切片数字可视化，包括4×,10×和40×的放大倍数。

如图1、图2所示，采用免疫组化膜染色切片诊断装置进行数字切片全场图处理的过程包括：

S10，接收待诊断免疫组化膜染色病理切片的数字切片全场图；

S20，对所述数字切片全场图上的感兴趣区域进行质量评价，对质量评价不合格的区域进行图像修复，获得质量评价合格的感兴趣区域，具体包括：

S21，在所述感兴趣区域上截取9个连续且大小相同的图像块；

操作者根据想要观察的切片位置在数字切片全场图上勾画出感兴趣区域，可以是整个数字切片全场图的一个局部，也可以是整个数字切片全场图。将选定的感兴趣区域映射至40X放大倍率（足以区分细胞轮廓与细胞类别）下，在所述感兴趣区域上，按照上左、上、上右、中左、中、中右、下左、下、下右依次进行图像块的截取，获得9个大小相同的图像块，若不按时间、空间对感兴趣区域进行依次采集，会造成数字病理全场图上细胞组织区域完整性被破坏。在感兴趣区域进行图像块的截取之前，首先判断感兴趣区域的长度和宽度是否与预设值相匹配，如果感兴趣区域的长度和宽度与预设值不相匹配，则改变感兴趣区域的长度和宽度，例如对感兴趣区域的长度和宽度进行填充，然后按照八连通的方式进行图像块的截取，获得9个连续的图像块，图像块的大小与用于细胞检测的人工神经网络模型的输入图片的大小相一致，由于接收到的数字切片全场图能够清楚分别细胞轮廓与细胞类别，操作者在进行感兴趣区域划分时，可以主动避免将一个细胞切割为两部分，也就是说感兴趣区域划分时可以避免对区域边界上细胞的完整性的破坏。按照八连通的方式依次按照时间顺序、空间顺序所采集的图像块具有时序信息，结合人工神经网络中的循环神经网络，在网络训练拟合的过程中添加时序信息，可以保证最终细胞检测、分类、分割的准确性。之所以要按照八连通的方式获取到9个图像块9个，是鉴于实践过程中，若是处理大于9个的图像块例如采用16宫格的划分方式得到16个连续的图像块，会导致CPU的处理速度受限，处理小于9个的图像块例如采用4宫格的划分方式得到4个连续的图像，图像块之间的时序性又要差一些，9个连续的图像块既能兼顾CPU的处理速度又能兼顾图像的时序性，为最佳的划分方式。

S22，对所述每个图像块进行质量评价，判断所述图像块的质量评价是否合格；对质量评价不合格的的图像块进行图像修复，得到修复后的质量评价合格的感兴趣区域。

之所以要对感兴趣区域进行质量评价及修复，是因为免疫组化膜染色切片制片时由于多种因素影响，容易造成切片染色质量参差不齐，高通量扫描仪采集到的数字切片全场图的白平衡、色相，明度和彩度不一致，而这些影响因子会对之后的细胞检测造成一定的影响，导致检测不准确等后果，因此非常有必要通过质量修复环节来确保后面细胞检测的准确性尽可能不会受此影响。

在进行图像块质量评价前，首先获取一个染色标准的免疫组化膜染色切片的数字切片全场图作为标准数字切片全场图，对标准数字切片全场图进行峰值信噪比统计，设定m1为标准数字切片全场图峰值信噪比最低值，m2为标准数字切片全场图峰值信噪比最高值，则将[m1,m2]作为标准数字切片全场图的标准峰值信噪比范围，根据多次实验表明，m1标准值为47.6分贝，误差范围为5.04，m2标准值为78.4分贝，误差范围为6.12。对所述图像块进行质量评价，包括：计算每个图像块的峰值信噪比m，判定峰值信噪比m是否在标准峰值信噪比范围[m1,m2]内，若是，则所述图像块质量评价合格；否则，所述图像块质量评价不合格。

在对质量评价不合格的图像块进行修复时，首先通过生成对抗网络对质量评价不合格的的图像块进行图像修复，再通过所述对抗生成网络中的判别器进行质量判断，若经过修复的图像块的峰值信噪比m不在标准峰值信噪比范围[m1,m2]内，再进行迭代修复，直到图像块的峰值信噪比m达到标准峰值信噪比范围[m1,m2]为止。对所有质量评价不合格图像块修复完成，也即对感兴趣区域的图像修复完成，获得了修复后的质量评价合格的感兴趣区域。

其中所述生成对抗网络的生成器，如图3所示，是一种U型全卷积神经网络（U-Net），如图3所示，是由一系列卷积层、池化层、上采样层及跳跃连接层组成，通过使用激活函数（Softmax）生成图像归一化层，最后将图像归一化层转化为标准的RGB图，即最后经过修复的图。其中卷积层主要用于提取图像的局部特征，池化层对提取的特征图进行降维压缩后，再将降维后的特征图传入下一个卷积层进行特征提取，经过一系列的卷积和池化操作后，将提炼特征图平铺为一个数组作为上采样层的输入，上采样层使通过对所得到的高层特征图的每个特征点进行线性插值，得到尺寸为原特征图2倍的新特征图，跳跃连接层是将相同层次的编码层与解码层进行特征沿通道叠加，并将叠加后的特征图进行降维压缩后再上采样，不断的上采样至原图大小，采用图像数据分布函数Inception Score为损失函数，Adam为优化方法，训练直到损失函数不再明显变化为止。卷积神经网络输入的图像是染色不标准的进行归一化后的patch图像10000张，patch图像的大小与所述图像块的大小一致，输出图像尺寸大小与输入保持一致。损失函数计算过程是取染色标准的进行归一化后的patch图像10000张，分别与每次网络输出的图像进行图像数据分布函数InceptionScore计算，得到损失函数值，从而计算梯度并更新。

其中所述生成对抗网络中的判别器，如图4所示，也是一种卷积神经网络的结构，如图4所示，是由一系列卷积层、池化层和全连接层组成，最后通过使用激活函数（Softmax）对图像进行分类。卷积层主要用于提取图像的局部特征，池化层对提取的特征图进行降维压缩后，再将降维后的特征图传入下一个卷积层进行特征提取，经过一系列的卷积和池化操作后，将提炼特征图平铺为一个数组作为全连接层的输入，全连接层进一步提取特征，并对特征进行分类，从而对输入图像进行分类。最终分类的过程不单是进行生成图像的真伪判别，也计算生成图像的峰值信噪比与标准峰值信噪比范围之间的物理距离作为损失函数。卷积神经网络是将已修复的图像块作为输入，经过卷积神经网络获得已修复的染图像块经过编码后的特征图的峰值信噪比，与标准峰值信噪比范围进行比较，进而确定修复是否完成。所有质量评价不合格的的图像块均修复完成后执行S30。

S30，对所述质量评价合格的感兴趣区域进行细胞检测、分类及分割，在所述感兴趣区域上标注出细胞位置和细胞类型，计算并标记免疫组化指标；包括：

确定所述感兴趣区域中膜染色细胞的位置，并进行位置标记；对于质量评价合格的感兴趣区域，采用用于细胞检测的人工神经网络模型采用用于细胞检测的人工神经网络模型；采用用于细胞分类的人工神经网络模型对每个膜染色细胞进行分类，分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，标注出每个膜染色细胞的类别，统计每类细胞的数量，计算并标记相应的免疫组化指标；通过用于细胞分割的人工神经网络模型分割出膜染色细胞的具体轮廓。

S40，显示所述经过标注的感兴趣区域。

其中，用于细胞检测的人工神经网络模型、与用于细胞分类的人工神经网络模型以及用于细胞分割的人工神经网络模型组成端对端的级联模型，组成细胞检测用于进行细胞检测、分类、分割的深度神经网络，如图5所示，主要由一系列卷积层、池化层、上采样层及跳跃连接层组成，最后通过使用激活函数（Softmax）对检测到的细胞进行分类，使用交并比函数（Iou）对判读检测到的细胞是否为真正的当前类细胞来控制假阳率，使用交叉熵函数来对细胞分割结果进行评估。

本实施例采用的用于进行细胞检测、分类、分割的深度神经网络，融合检测网络与分割网络，首先使用编码网络提取多尺度的语义特征，然后使用空间金字塔网络(RPN)获得细胞检测候选区域框anchor box，经过非最大值抑制操作后保留将近共N个RoI，其中N为超参数，可根据需求进行自主定义，由于在卷积提取特征过程的过程中步长的不同，因此分开分别对四个不同尺度的特征图对应的步长进行RoIAlign操作，所谓的RoIAlign指的是，遍历每一个候选区域，保持浮点数边界不做量化，将候选区域分割成k×k个单元，每个单元的边界也不做量化。在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。目的是将每个尺度得到的候选区域框映射在输入的原图上。进而将经过RoIAlign操作产生的映射在原图上的候选区域进行Concat连接，随即网络分为三部分：全连接预测类别class、全连接预测矩形框box、全卷积预测像素分割mask。

同时为了保证图像块之间的时序性，细胞检测用于进行细胞检测、分类、分割的深度神经网络结合了循环神经网络具有的时序性特点，设置输入图像数量为9，并为八连通patch图像设计9个级联的长短期记忆单元(LSTM)，所谓的长短期记忆单元是在结合上一输出结果与当前输出结果的情况下，权衡最终的输出。这样做的目的是为了保证数字切片全场图的图像块之间具有上下文时序信息。

最终根据所得的分类结果，处理器统计阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞等每类细胞的数量，计算当前感兴趣区域的免疫组化指标及最终全片的免疫组化指标，最终将检测及分割结果显示在原感兴趣区域上，返回给显示器，显示器显示感兴趣区域上的肿瘤细胞检测、量化结果以及对应的免疫组化指标。

在进行实际使用时，经过高通量扫描仪将免疫组化切片图像转化为数字病理全场图，传送给处理器，处理器将其显示在显示器端的第一显示界面（或第一显示区域），操作者在第一显示界面内选取感兴趣区域，处理器对选取的感兴趣区域进行细胞定位、分类、分割和标注后，将经过标注的感兴趣区域图像显示在第二显示界面（或第二显示区域）。如果操作者想要查看别的感兴趣区域，可以在第一显示界面（或第一显示区域）重新进行选择，选中的感兴趣区域经过处理器处理后显示在第二显示界面（或第二显示区域）。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (9)

1.一种免疫组化膜染色切片诊断方法，其特征在于，包括：S10，接收待诊断免疫组化膜染色病理切片的数字切片全场图；S20，对所述数字切片全场图上的感兴趣区域进行质量评价，对质量评价不合格的区域进行图像修复，获得质量评价合格的感兴趣区域；S30，对所述质量评价合格的感兴趣区域进行细胞定位、分类及分割，在所述感兴趣区域上标注出细胞位置和细胞类型，计算并标记免疫组化指标；S40，显示所述经过标注的感兴趣区域。

2.根据权利要求1所述的一种免疫组化膜染色切片诊断方法，其特征在于，S20具体包括：S21，在所述感兴趣区域上截取若干张连续且大小相同的图像块；S22，对所述每个图像块进行质量评价，判断所述图像块的质量评价是否合格；对质量评价不合格的的图像块进行图像修复，得到修复后的质量评价合格的 的感兴趣区域。

3.根据权利要求2所述的一种免疫组化膜染色切片诊断方法，其特征在于，S21，在所述感兴趣区域上，按照上左、上、上右、中左、中、中右、下左、下、下右依次截取9个大小相同的图像块。

4.根据权利要2或3所述的一种免疫组化膜染色切片诊断方法，其特征在于，对所述图像块进行质量评价，包括：计算所述图像块的峰值信噪比m，判定所述峰值信噪比m是否在标准峰值信噪比范围[m1,m2]内，若是，则所述图像块质量评价合格；否则，所述图像块质量评价不合格所述标准峰值信噪比范围[m1,m2]为染色标准的免疫组化膜染色切片图像的峰值信噪比范围，其中m1为标准免疫组化膜染色切片图像的峰值信噪比最低值，m2为标准免疫组化膜染色切片图像的峰值信噪比最高值。

5.根据权利要求4所述的一种免疫组化膜染色切片诊断方法，其特征在于，S22对质量评价不合格的的图像块进行图像修复，包括：采用生成对抗网络中的生成器对质量评价不合格的的图像块进行图像修复，再通过所述对抗生成网络中的判别器进行质量判断，若经过修复的图像块的峰值信噪比m不在标准峰值信噪比范围[m1,m2]内，再进行迭代修复，直到图像块的峰值信噪比m达到标准峰值信噪比范围[m1,m2]为止。

6.根据权利要求1所述的一种免疫组化膜染色切片诊断方法，其特征在于，S30，包括：确定所述质量评价合格的感兴趣区域中膜染色细胞的位置，并进行位置标记；对膜染色细胞进行分类，分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，标注出每个膜染色细胞的类别，统计每类细胞的数量，计算并标记相应的免疫组化指标；分割出膜染色细胞的具体轮廓。

7.一种免疫组化膜染色切片诊断装置，其特征在于，包括：一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-6所述的免疫组化膜染色切片诊断方法的指令。

8.根据权利要求7所述的一种免疫组化膜染色切片诊断装置，其特征在于，还包括高通量扫描仪，用于将待诊断免疫组化膜染色病理切片转化为数字切片全场图，与所述处理器输入端连接；显示器，与所述处理器输出端连接，用于接收并显示来自处理器的经过标注的感兴趣区域。

9.一种计算机可读介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6所述的免疫组化膜染色切片诊断方法。

Images