CN110490159B - 识别显微图像中的细胞的方法、装置、设备及存储介质 - Google Patents
识别显微图像中的细胞的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110490159B CN110490159B CN201910784865.4A CN201910784865A CN110490159B CN 110490159 B CN110490159 B CN 110490159B CN 201910784865 A CN201910784865 A CN 201910784865A CN 110490159 B CN110490159 B CN 110490159B
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- central point
- color
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本申请是关于一种识别显微图像中的细胞的方法、装置、设备及存储介质,涉及图像处理技术领域。该方法包括:对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像;根据所述细胞边缘图像获取所述各个细胞的中心点在所述彩色显微图像中的位置;根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点的灰度值;根据所述各个细胞的中心点的灰度值,识别所述各个细胞的细胞类型。本方案不需要通过复杂的机器学习算法进行图像识别,从而减少了细胞识别的计算资源和处理时间,能够显著的提高从显微图像中识别出阳性细胞和阴性细胞的效率。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种识别显微图像中的细胞的方法、装置、设备及存储介质。
背景技术
免疫组织化学是一种辅助病理诊断的方法,其通过化学呈色反应的对细胞样本群中的细胞进行染色,以在显微镜下突出细胞样本群中的阳性细胞。
在基于免疫组织化学的病理诊断中,细胞样本群中的阳性细胞的数量或比例是病理诊断的重要依据。在相关技术中,可以通过预先训练的机器学习模型来识别细胞样本群中的阳性细胞。比如,将经过染色的细胞样本群的显微图像经过高斯滤波和边缘分割后,输入至预先训练好的机器学习模型,通过机器学习模型识别显微图像中的阳性细胞和阴性细胞。
然而,相关技术总要达到较为准确的识别效果,需要设计复杂的机器学习模型,而通过复杂的机器学习模型对分割图像进行处理需要耗费较多的计算资源和计算时间,从而影响细胞识别的效率。
发明内容
本申请实施例提供了一种识别显微图像中的细胞的方法、装置、计算机设备及存储介质,可以提高对分割图像中的细胞进行识别的效率,该技术方案如下:
一方面,提供了一种识别显微图像中的细胞的方法,所述方法由计算机设备执行,所述方法包括:
对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,所述细胞边缘图像指示所述各个细胞的边缘;所述彩色显微图像是对细胞样本群中的细胞进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;
根据所述细胞边缘图像获取所述各个细胞的中心点在所述彩色显微图像中的位置;
根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点的灰度值;
根据所述各个细胞的中心点的灰度值,识别所述各个细胞的细胞类型,所述细胞类型为阳性细胞或者阴性细胞。
一方面,提供了一种识别显微图像中的细胞的装置,用于计算机设备中,该装置包括:
边缘分割模块,用于对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,所述细胞边缘图像指示所述各个细胞的边缘;所述彩色显微图像是对细胞样本群中的细胞进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;
中心位置获取模块,用于根据所述细胞边缘图像获取所述各个细胞的中心点在所述彩色显微图像中的位置;
灰度值获取模块,用于根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点的灰度值;
细胞识别模块,用于根据所述各个细胞的中心点的灰度值,识别所述各个细胞的细胞类型,所述细胞类型为阳性细胞或者阴性细胞。
在一种可能的实现方式中,所述中心位置获取模块,包括:
连通区域确定单元,用于根据所述细胞边缘图像指示的所述各个细胞的边缘,确定所述各个细胞的连通区域;
中心点获取单元,用于将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点;
位置获取单元,用于根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取所述各个细胞的中心点在所述彩色显微图像中的位置。
在一种可能的实现方式中,所述中心位置获取模块,还包括:
面积获取单元,用于在所述中心点获取单元将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点之前,获取所述各个细胞的连通区域的面积;
区域过滤单元,用于将对应的面积满足过滤条件的连通区域获取为过滤后的所述各个细胞的连通区域;所述过滤条件包括对应的面积处于指定面积区间内;
所述中心点获取单元,用于将过滤后的所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点。
在一种可能的实现方式中,所述中心位置获取模块,还包括:
合并单元,用于在所述灰度值获取模块根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取所述各个细胞的中心点在所述彩色显微图像中的位置之前,按照合并条件对所述各个细胞的中心点进行合并,获得合并后的所述各个细胞的中心点;
所述灰度值获取模块,用于根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取合并后的所述各个细胞的中心点在所述彩色显微图像中的位置。
在一种可能的实现方式中,所述合并单元,用于,
对于所述各个细胞的中心点中的第一中心点,确定所述第一中心点对应的第二中心点,所述第一中心点所述各个细胞的中心点中的任一中心点,所述第二中心点是距离所述第一中心点最近的其它细胞的中心点;
当所述第一中心点与所述第二中心点之间的欧氏距离小于距离阈值时,将所述第一中心点和所述第二中心点合并为第三中心点,所述第三中心点位于所述第一中心点和所述第二中心点之间的连线的中点。
在一种可能的实现方式中,所述灰度值获取模块,包括:
灰度处理单元,用于对所述彩色显微图像进行灰度处理,获得灰度图像;
第一滤波单元,用于对所述灰度图像进行中值滤波,获得中值滤波后的所述灰度图像;
灰度值获取单元,用于根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点在中值滤波后的所述灰度图像中的灰度值。
在一种可能的实现方式中,所述边缘分割模块,包括:
通道分解单元,用于对所述彩色显微图像进行色彩通道分解,获得至少两个色彩空间对应的色彩通道图像;
通道提取单元,用于从所述色彩通道图像中提取目标色彩空间对应的目标通道图像;
第二滤波单元,用于对所述目标通道图像进行滤波,获得滤波图像;
分割单元,用于对所述滤波图像进行边缘分割,获得所述细胞边缘图像。
在一种可能的实现方式中,所述第二滤波单元,用于通过双边滤波算法对所述目标通道图像进行滤波,获得所述滤波图像。
在一种可能的实现方式中,所述分割单元,用于通过分水岭算法对所述滤波图像进行边缘分割,获得所述细胞边缘图像。
在一种可能的实现方式中,所述装置还包括:
颜色标记模块,用于按照所述各个细胞的细胞类型,对所述彩色显微图像中的各个细胞进行颜色标记,获得细胞标记图像;
图像输出模块,用于输出所述细胞标记图像。
在一种可能的实现方式中,所述装置还包括:
统计模块,用于统计获得所述各个细胞中的阳性细胞的个数,以及所述各个细胞中的阴性细胞的个数;
比例计算模块,用于根据所述各个细胞中的阳性细胞的个数以及所述各个细胞中的阴性细胞的个数,计算所述各个细胞中的阳性细胞的比例;
比例输出模块,用于输出所述各个细胞中的阳性细胞的比例。
在一种可能的实现方式中,所述阳性细胞是包含有Ki-67蛋白质的细胞。
一方面,提供了一种计算机设备,该计算机设备包含处理器和存储器,存储器中存储由至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述识别显微图像中的细胞的方法。
一方面,提供了一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述识别显微图像中的细胞的方法。
一方面,提供了一种识别显微图像中的细胞的系统,所述系统包括:显微镜以及图像处理设备;
所述图像处理设备,用于执行上述识别显微图像中的细胞的方法。
本申请提供的技术方案可以包括以下有益效果:
通过对包含各个细胞的彩色显微图像进行处理,得到指示细胞的边缘的细胞边缘图像后,根据细胞边缘图像所指示的细胞的边缘确定细胞的中心点,并根据细胞的中心点在彩色显微图像中的灰度值来区分阳性和阴性的细胞,不需要通过复杂的机器学习算法进行图像识别,从而减少了细胞识别的计算资源和处理时间,能够显著的提高从显微图像中识别出阳性细胞和阴性细胞的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请各个实施例涉及的一种细胞识别系统的系统构成图;
图2是本申请一个示例性的实施例提供的识别显微图像中的细胞的方法的流程示意图;
图3是本申请一个示例性的实施例提供的识别显微图像中的细胞的方法的流程示意图;
图4是图3所示实施例涉及的一种分水岭形成示意图;
图5是本申请一个示例性的实施例提供的细胞Ki-67阳性指数识别的流程框架图;
图6是图5所示实施例涉及的结直肠细胞的识别结果对比图;
图7是图5所示实施例涉及的乳腺细胞的识别结果对比图;
图8是图5所示实施例涉及的神经内分泌瘤细胞的识别结果对比图;
图9是根据一示例性实施例示出的识别显微图像中的细胞的装置的结构方框图;
图10是根据一示例性实施例示出的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是,在本文中提及的“若干个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供一种识别显微图像中的细胞的方法,可以在保证对彩色显微图像中的阳性细胞和阴性细胞识别的准确性的情况下,提高细胞识别的效率。为了便于理解,下面对本申请涉及的几个名词进行解释。
1)免疫组织化学(immunohistochemistry)又称免疫细胞化学,是指基于带显色剂标记的特异性抗体在组织细胞原位通过抗原抗体反应和组织化学的呈色反应,对相应抗原进行定性、定位、定量测定的一项新技术。
2)Ki-67是一种由人类MKI67基因编码的蛋白质,同时也是病理学中广泛应用的免疫组织化学一种。该蛋白与细胞的增殖密切相关,在有丝分裂期以及分裂间期的细胞中都能检出Ki-67蛋白,有丝分裂停止的细胞中则无Ki-67蛋白质存在。
3)Ki-67阳性指数(也称为增殖指数,proliferation index)是指肿瘤细胞总数中的阳性染色细胞的百分比,常用在病理报告中,是判断肿瘤细胞增殖情况的一个指标,阳性指数越高表示正在增殖的肿瘤细胞多,恶性程度越高。从图像角度来说,通常在免疫组化染色的图像中,阴性染色细胞呈蓝色,阳性染色细胞呈棕色。
通常情况下,1个显微镜Ki-67切片视野下存在100~3000个细胞,人工细胞计数非常耗时耗力。在实际病理诊断中,为减小误差,病理医生常常需要在多个显微镜视野下(要求细胞总数大于1000)计算Ki-67阳性指数,再求出平均Ki-67阳性指数,因此人工细胞计数极大增加了病理医生的工作负担。
请参考图1,其示出了本申请各个实施例涉及的一种细胞识别系统的系统构成图。如图1所示,该系统包括显微镜120和终端140。可选的,该系统还包括服务器160和数据库180。
显微镜120可以是普通的光学显微镜,显微镜120的操作人员可以通过图像采集组件(比如照相机或者集成有摄像头的其它设备)采集显微镜120的目镜中的显微图像。
例如,上述显微镜120上可以集成有照相暗盒,显微镜120的操作人员可以通过安装在照相暗盒上的照相机拍摄显微镜120的目镜中的显微图像,然后通过照相机中集成的图像输出接口,将照相机拍摄的显微图像导入至终端140或者服务器160。
或者,上述显微镜120也可以是集成有图像采集组件的电子显微镜,该电子显微镜还对外提供图像输出接口,显微镜120的操作人员通过操作电子显微镜的图像采集功能采集显微镜120的目镜中的显微图像,并通过图像输出接口将显微图像导入至终端140。
其中,上述图像输出接口可以是有线接口,比如通用串行总线(Universal SerialBus,USB)接口、高清多媒体接口(High Definition Multimedia Interface,HDMI)接口或者以太网接口等等;或者,上述图像输出接口也可以是无线接口,比如无线局域网(Wireless Local Area Network,WLAN)接口、蓝牙接口等等。
相应的,根据上述图像输出接口的类型的不同,操作人员将照相机拍摄的显微图像导出的方式也可以有多种,比如,通过有线或者短距离无线方式将显微图像导入至终端140,或者,也可以通过局域网或者互联网将显微图像导入至终端140或者服务器160。
终端140中可以安装有获取显微图像的处理结果并呈现的应用程序,终端140获取到显微镜140的目镜中的显微图像后,可以通过上述应用程序获取对显微图像进行处理得到的处理结果,并对处理结果进行呈现,以便医生进行病理诊断等操作。
其中,终端140可以是具有一定的处理能力以及界面展示功能的终端设备,比如,终端140可以是手机、平板电脑、电子书阅读器、智能眼镜、膝上型便携计算机和台式计算机等等。
在图1所示的系统中,终端140和显微镜120是物理上分离的实体设备。可选的,在另一种可能的实现方式中,终端140和显微镜120也可以集成为单个实体设备;比如,显微镜120可以是具有终端140的计算和界面展示功能的智能显微镜,或者,显微镜120可以是具有终端140的计算能力的智能显微镜,该智能显微镜可以通过有线或无线接口输出图像处理结果。
其中,服务器160是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心。
其中,上述服务器160可以是为终端140或者显微镜120中安装的应用程序提供后台服务的服务器,该后台服务器可以是应用程序的版本管理、对应用程序获取到的显微图像进行后台处理并返回处理结果等等。
上述数据库180可以是Redis数据库,或者,也可以是其它类型数据库。其中,数据库180用于存储各类数据。
可选的,终端140与服务器160之间通过通信网络相连。可选的,显微镜120与服务器160之间通过通信网络相连。可选的,该通信网络是有线网络或无线网络。
可选的,该系统还可以包括管理设备(图1未示出),该管理设备与服务器160之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
请参考图2,其示出了本申请一个示例性的实施例提供的识别显微图像中的细胞的方法的流程示意图。该识别显微图像中的细胞的方法可以由计算机设备执行。该计算机设备可以单个设备,比如,可以是图1所示系统中的终端140或者服务器160;或者,该计算机设备也可以是多个设备的集合,比如,该计算机设备可以包括上述图1所示系统中的终端140和服务器160,即该方法可以由上述图1所示系统中的终端140和服务器160交互执行。如图2所示,该识别显微图像中的细胞的方法可以包括以下步骤:
步骤210,对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,该细胞边缘图像指示该各个细胞的边缘。
其中,上述该彩色显微图像是对细胞样本群中的细胞进行显色标记后,在显微镜视野下对该细胞样本群采集获得的图像。
其中,上述细胞样本群是显微镜的物镜下的细胞标本中包含的各个细胞组成的样本群。
细胞边缘图像是对细胞的边缘区域进行突出显示的图像,细胞边缘图像可以通过边缘分割算法对包含细胞的图像进行处理获得。
步骤220,根据该细胞边缘图像获取该各个细胞的中心点在该彩色显微图像中的位置。
在本申请实施例中,细胞的中心点在彩色显微图像中的位置,可以是细胞的中心点在彩色显微图像中的像素位置。
步骤230,根据该各个细胞的中心点在该彩色显微图像中的位置,获取该各个细胞的中心点的灰度值。
步骤240,根据该各个细胞的中心点的灰度值,识别该各个细胞的细胞类型,该细胞类型为阳性细胞或者阴性细胞。
综上所述,在本申请实施例所示的方案中,计算机设备根据对包含各个细胞的彩色显微图像进行处理,得到指示细胞的边缘的细胞边缘图像后,根据细胞边缘图像所指示的细胞的边缘确定细胞的中心点,并根据细胞的中心点在彩色显微图像中的灰度值来区分阳性和阴性的细胞,不需要通过复杂的机器学习算法进行图像识别,从而减少了细胞识别的计算资源和处理时间,能够显著的提高从显微图像中识别出阳性细胞和阴性细胞的效率。
此外,通过本申请实施例所示的方案,相对于通过机器学习模型进行细胞识别的方案来说,不需要大量的人工标注去训练模型,省去了细胞级别的标注的人力和时间,从而能够缩短开发周期,提高产品的开发以及更新效率。
请参考图3,其示出了本申请一个示例性的实施例提供的识别显微图像中的细胞的方法的流程示意图。该识别显微图像中的细胞的方法可以由计算机设备执行。该计算机设备可以单个设备,比如,可以是图1所示系统中的终端140或者服务器160;或者,该计算机设备也可以是多个设备的集合,比如,该计算机设备可以包括上述图1所示系统中的终端140和服务器160。以该方法由上述图1所示系统中的终端140和/或服务器160执行为例,如图3所示,该识别显微图像中的细胞的方法可以包括以下步骤:
步骤301,获取彩色显微图像,该彩色显微图像是对细胞样本群中的细胞进行显色标记后,在显微镜视野下对该细胞样本群采集获得的图像。
在一种可能的实现方式中,彩色显微图像可以通过有线或无线网络导入至终端中的应用程序,该应用程序向服务器发送包含该彩色显微图像的识别请求,服务器接收到该识别请求后,提取该彩色显微图像。
在另一种可能的实现方式中,彩色显微图像可以通过有线或无线网络导入至终端中的应用程序,后续由终端通过该应用程序对该彩色显微图像直接进行处理。
步骤302,对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,该细胞边缘图像指示该各个细胞的边缘。
在本申请实施例中,对彩色显微图像中的各个细胞进行边缘分割的步骤可以如下:
S302a,对该彩色显微图像进行色彩通道分解,获得至少两个色彩空间对应的色彩通道图像。
在一种可能的实现方式中,以阳性细胞是包含Ki-67蛋白质的细胞为例,终端或者服务器可以对输入的RGB图像(即上述彩色显微图像)进行颜色去卷积操作,根据特定染色剂的吸光率,计算每种染色剂的贡献。其中,色彩通道分解是指通过每个RGB通道的光密度矩阵,也称为吸光度(Optical density,OD)矩阵,对图像的RGB信息进行正交变换,将图像从RGB色彩空间转成苏木精Hematoxylin(H)、伊红Eosin(E)和二氨基联苯胺(DAB)染色剂的H-E-DAB色彩空间。
S302b,从该色彩通道图像中提取目标色彩空间对应的目标通道图像。
以后续对包含Ki-67蛋白质的阳性细胞的识别场景为例,终端或者服务器可以从色彩通道分解得到的H-E-DAB色彩空间的图像中提取苏木精Hematoxylin(H)通道图像作为后续处理用图,该H通道图像即为上述目标通道图像。
上述步骤以对包含Ki-67蛋白质的阳性细胞进行识别的场景为例进行介绍,可选的,按照识别场景的不同(即识别的阳性细胞的不同),终端或者服务器也可以提取其它色彩空间对应的通道图像进行后续处理。
S302c,对该目标通道图像进行滤波,获得滤波图像。
在本申请实施例中,终端或者服务器可以通过双边滤波算法对该目标通道图像进行滤波,获得该滤波图像。
双边滤波是一种非线性滤波,其可以达到保持边缘、降噪平滑的效果。双边滤波采用加权平均的方法,用周边像素亮度值的加权平均,来代表某个像素的强度,所用的加权平均基于高斯分布。双边滤波的权重不仅考虑了像素的欧氏距离(如普通的高斯低通滤波,只考虑了位置对中心像素的影响),还考虑了像素范围域中的辐射差异(例如卷积核中像素与中心像素之间相似程度、颜色强度,深度距离等)。
以对包含Ki-67蛋白质的阳性细胞进行识别的场景为例,在本申请实施例中,终端或者服务器通过预先设置的,用于双边滤波的各项参数(比如邻域的直径范围、颜色空间标准差以及坐标空间中标准等参数),对H通道图像进行双边滤波,获得滤波图像。
由于使用双边滤波对H通道图像去除噪声干扰的同时,能够更准确的保留图像中的细胞边缘信息,相对于相关技术中的高斯滤波来说,能够提高后续边缘分割的准确性。
S302d,对该滤波图像进行边缘分割,获得该细胞边缘图像。
在本申请实施例中,终端或者服务器可以通过分水岭算法对该滤波图像进行边缘分割,获得该细胞边缘图像。
在本申请实施例中,在对滤波图像进行边缘分割时,可以由用户(比如医生)自行选择滤波图像中的部分区域作为后续细胞识别的区域,在边缘分割时,可以对用户选择的部分区域进行分割,以进一步提高细胞识别效率。其中,该边缘分割步骤可以包括如下4个步骤:
1)细胞区域分割
以对包含Ki-67蛋白质的阳性细胞进行识别的场景为例,终端或者服务器可以使用大津分割(Otsu)方法对H通道图像进行二分类,提取二值化的细胞区域,再运用形态学去除细碎组织和噪声,其中,提取出的细胞区域作为后续分水岭算法的一项输入。
2)局部极值提取
终端或者服务器可以使用最大值滤波对上述滤波图像再次进行全图滤波,在再次滤波后的图像中找到局部极值点(比如,邻域范围可以设置为6),将每个局部极值点作为一个细胞的初始种子点,并将提取出的局部极值点作为后续分水岭算法的一项输入。
其中,局部极值点检测的精确度决定细胞检测的精确度,在本申请实施例中,终端或者服务器在找到所有的局部极值点之后,对所有的局部极值点进行连通区域分析,并对每个连通区域赋予不同的标签以形成标记图像,作为后续分水岭算法的一项输入。
3)ROI区域确定
在本申请实施例中,用户可以从彩色显微图像中勾画出感兴趣区域(region ofinterest,ROI),终端或者服务器在进行细胞边缘分割时,可以确定用户通过人工勾画出ROI区域(比如,肿瘤细胞计数区域),作为后续分水岭算法的一项输入。
4)分水岭分割
其中,分水岭算法是一种基于拓扑理论的数学形态学的分割方法,其基本思想是把图像看作是测地学上的拓扑地貌,图像中每一像素的灰度值表示该点的海拔高度,每一个局部极值点及其影响区域称为集水盆地,而集水盆地的边界则形成分水岭。
分水岭的概念和形成可以通过模拟浸入过程来表示;例如,如图4所示,其示出了本申请实施例涉及的一种分水岭形成示意图,如图4所示,在每一个局部极值点表面,刺穿一个小孔,然后把整个模型慢慢浸人水中,随着浸入的加深,每一个局部极值的影响域会慢慢向外扩展,在两个集水盆汇合处构筑大坝即形成分水岭。
分水岭算法的优点是能够对微弱的边缘有良好的响应,以保证得到闭合连续的边缘。在本申请实施例中,终端或者服务器通过分水岭算法,在用户勾画的ROI区域和细胞区域的交集区域中,对每个细胞进行实例分割,将每个细胞边缘完整分割出来,从而避免对非细胞区域和非肿瘤细胞计数区域进行无用分割,减少细胞分割的假阳数量。
本申请实施例以分水岭算法进行细胞边缘分割为例进行说明,可选的,上述分水岭算法也可以替换为其它无监督的分割算法,例如,可以使用水平集(level-set)算法等。
步骤303,根据该细胞边缘图像指示的各个细胞的边缘,确定各个细胞的连通区域。
其中,细胞的连通区域,是指细胞边缘图像中,对应细胞的边缘所围成的区域。细胞的连通区域可以直接指示对应细胞的大小。
可选的,终端或者服务器还可以获取上述各个细胞的连通区域的面积,并将对应的面积满足过滤条件的连通区域获取为过滤后的各个细胞的连通区域;该过滤条件包括对应的面积处于指定面积区间内。
在本申请实施例中,由于上述步骤的图像处理过程(包括滤波以及分割等过程)中不可避免的会出现噪声干扰,影响细胞边缘图像指示的细胞的边缘的准确性,为了避免上述噪声干扰对后续的识别过程造成影响,在该步骤中,终端或者服务器还可以进一步的对细胞的连通区域进行筛选,剔除明显的噪声干扰。
例如,终端或者服务器对用上述细胞分割算法(比如分水岭算法)分割出来的每个细胞的边缘,计算其连通区域的面积大小,若连通区域的面积小于第一先验阈值(10个像素)或大于第二先验阈值(3000个像素),则认定该连通区域为噪声引起的分割区域,并在后续计算过程中将该连通区域剔除。其中,上述第一先验阈值和第二先验阈值分别是上述指定面积区间的下限和上限。
其中,上述将连通区域剔除,是指在后续计算过程中,不再将该连通区域视为细胞所在的区域,或者说,将该连通区域视为不存在细胞的区域。
其中,上述指定面积区间可以由开发人员预先设置在终端或者服务器中。
步骤304,将各个细胞的连通区域的中心点,获取为各个细胞的中心点。
其中,当上述各个细胞的连通区域是过滤后的各个细胞的连通区域时,服务器可以将过滤后的各个细胞的连通区域的中心点,获取为各个细胞各自对应的中心点。
可选的,在将各个细胞的连通区域的中心点获取为各个细胞的中心点之后,并执行后续步骤之前,终端或者服务器还可以按照合并条件对各个细胞的中心点进行合并,获得合并后的各个细胞的中心点。
在本申请实施例中,上述通过分割算法对细胞的边缘进行分割时,可能会出现过分割的问题,比如,将一个细胞错误的分割成多个细胞,为了进一步的减少前置分割处理步骤中的过分割问题对后续细胞识别所带来的影响,终端或者服务器可以在确定各个细胞的中心点之后,对各个细胞的中心点进一步进行合并,从而将过分割的多个细胞的中心合并为单个细胞的中心。
可选的,在按照合并条件对各个细胞的中心点进行合并,获得合并后的各个细胞的中心点时,对于各个细胞的中心点中的第一中心点,终端或者服务器可以确定该第一中心点对应的第二中心点,该第一中心点该各个细胞的中心点中的任一中心点,该第二中心点是距离该第一中心点最近的其它细胞的中心点;当该第一中心点与该第二中心点之间的欧氏距离小于距离阈值时,将该第一中心点和该第二中心点合并为第三中心点,该第三中心点位于该第一中心点和该第二中心点之间的连线的中点。
在本申请实施例中,在对细胞的中心点进行合并时,终端或者服务器可以对每个细胞的中心点,计算与其最近的其它细胞的中心点的欧氏距离,若计算出的欧氏距离小于某一先验距离阈值(比如16),则合并这两个中心点,例如,计算这两个中心点的像素坐标的均值来代替这两个中心点,从而将两个细胞的中心点合并为单个细胞的中心点,通过上述处理,可有效减少分水岭算法等边缘分割算法进行细胞边缘分割时产生的过分割的区域,从而进一步的提高后续细胞识别的准确性。
步骤305,根据该细胞边缘图像中的各个像素点与该彩色显微图像中的各个像素点之间的映射关系,获取该各个细胞的中心点在该彩色显微图像中的位置。
可选的,若上述各个细胞的中心点是合并后的各个细胞的中心点,则终端或者服务器可以根据该细胞边缘图像中的各个像素点与该彩色显微图像中的各个像素点之间的映射关系,获取合并后的各个细胞的中心点在上述彩色显微图像中的位置。
在一种可能的实现方式中,如果在对彩色显微图像进行滤波以及边缘分割等处理的过程中保持图像的分辨率不变,也就是说,此时细胞边缘图像中的各个像素点与该彩色显微图像中的各个像素点之间是一一对应的关系,则终端或者服务器可以直接将合并后的各个细胞在边缘分割图像中的中心点的位置,作为对应的细胞在彩色显微图像中的中心点的位置。
在另一种可能的实现方式中,如果在对彩色显微图像进行滤波以及边缘分割等处理过程中改变了图像的分辨率,比如降低了分辨率,则服务器可以根据分辨率改变前后的比例关系,确定细胞边缘图像中的各个像素点与该彩色显微图像中的各个像素点之间的映射关系,然后根据确定的映射关系,以及合并后的各个细胞在边缘分割图像中的中心点的位置,确定合并后的各个细胞在彩色显微图像中的中心点的位置。
步骤306,根据各个细胞的中心点在该彩色显微图像中的位置,获取各个细胞的中心点的灰度值。
可选的,在根据该各个细胞的中心点在该彩色显微图像中的位置,获取该各个细胞的中心点的灰度值时,终端或者服务器可以对该彩色显微图像进行灰度处理,获得灰度图像;然后对该灰度图像进行中值滤波,获得中值滤波后的灰度图像;然后根据该各个细胞的中心点在该彩色显微图像中的位置,获取该各个细胞的中心点在中值滤波后的该灰度图像中的灰度值。
例如,终端或者服务器可以将原始输入的RGB图像(即上述彩色显微图像)转化成灰度图像,考虑到每个细胞的中心点周围的邻域信息,终端或者服务器进一步对灰度图像进行中值滤波(比如,按照5x5区域进行中值滤波),最后将中值滤波之后的灰度图像中,对应各个细胞的中心点所在位置的灰度值,获取为上述各个细胞的中点的灰度值。
在上述方案中,终端或者服务器获取各个细胞的中心点的灰度值时,首先将原始的彩色显微图像转化为灰度图像,然后对灰度图像进行中值滤波,能够有效的减少噪声干扰,进一步提高后续细胞识别的准确性。
步骤307,根据该各个细胞的中心点的灰度值,识别该各个细胞的细胞类型,该细胞类型为阳性细胞或者阴性细胞。
例如,若上述中值滤波之后的细胞的中心点的灰度值大于先验阈值(比如60),则终端或者服务器可以将该细胞识别为阴性细胞,反之,终端或者服务器可以将该细胞识别为阳性细胞。
可选的,终端或者服务器还可以按照该各个细胞的细胞类型,对该彩色显微图像中的各个细胞进行颜色标记,获得细胞标记图像;并输出该细胞标记图像。
可选的,终端或者服务器还可以统计获得该各个细胞中的阳性细胞的个数,以及该各个细胞中的阴性细胞的个数;根据该各个细胞中的阳性细胞的个数以及该各个细胞中的阴性细胞的个数,计算该各个细胞中的阳性细胞的比例;并输出该各个细胞中的阳性细胞的比例。
可选的,上述细胞标记图像和阳性细胞的比例可以合并输出。
比如,当上述方法的各个步骤由服务器执行时,服务器可以使用绿色实心圆点在彩色显微图像上表示阴性细胞,并使用红色实心圆点在彩色显微图像上表示阳性细胞,并将计算出的阳性细胞的比例叠加在通过颜色标记的彩色显微图像上。服务器将经过颜色标记以及叠加了阳性细胞的比例之后的彩色显微图像传输给终端,由终端进行展示。
或者,当上述方法的各个步骤由终端执行时,服务器可以在生成经过颜色标记以及叠加了阳性细胞的比例之后的彩色显微图像之后,直接展示该图像。
综上所述,在本申请实施例所示的方案中,根据对包含各个细胞的彩色显微图像进行处理,得到指示细胞的边缘的细胞边缘图像后,根据细胞边缘图像所指示的细胞的边缘确定细胞的中心点,并根据细胞的中心点在彩色显微图像中的灰度值来区分阳性和阴性的细胞,不需要通过复杂的机器学习算法进行图像识别,从而减少了细胞识别的计算资源和处理时间,能够显著的提高从显微图像中识别出阳性细胞和阴性细胞的效率。
此外,通过本申请实施例所示的方案,相对于通过机器学习模型进行细胞识别的方案来说,不需要大量的人工标注去训练模型,省去了细胞级别的标注的人力和时间,从而能够缩短开发周期,提高产品的开发以及更新效率。
此外,在本申请实施例所示的方案中,在将各个细胞的连通区域的中心点获取为各个细胞的中心点之前,通过连通区域的面积对连通区域进行筛选,排除不满足条件的连通区域,减少前置步骤产生的噪声干扰,提高后续细胞识别的准确性。
另外,在本申请实施例所示的方案中,在将各个细胞的连通区域的中心点获取为各个细胞的中心点之后,还根据相邻中心点之间的欧氏距离对各个细胞的中心点进行合并,减少边缘分割步骤中的过分割的影响,进一步提高后续细胞识别的准确性。
另外,在本申请实施例所示的方案中,在进行边缘分割之前,通过双边滤波算法对目标通道图像进行滤波处理,能够有效的保留目标通道图像中的细胞的边缘信息,提高后续边缘分割的准确性,进一步提高后续细胞识别的准确性。
此外,在本申请实施例所示的方案中,在获取各个细胞的中心点的灰度值的过程中,对彩色显微图像转化获得的灰度图像进行中值滤波,并通过中值滤波之后的灰度图像获取各个细胞的中心点的灰度值,有效的减少噪声干扰,进一步提高后续细胞识别的准确性。
在一种可能的实现方式中,上述图2或者图3所示的方案可以实现为通过软件接口的方式对外提供服务,也就是说,用户(比如医生)可以通过终端访问提供细胞识别服务的软件接口,向该软件接口输入细胞样本的彩色显微图像,并接收该细胞识别服务通过软件接口返回的细胞识别结果。
其中,上述细胞识别服务可以运行在终端侧(即终端单独执行上述图2或图3所示的步骤),也可以在服务器端执行(即服务器端执行上述土或者图3所示的步骤,并将识别结果返回给终端)。
以上述图2或者图3所示的方案应用于识别细胞的Ki-67阳性指数的场景为例,请参考图5,其示出了本申请一个示例性的实施例提供的细胞Ki-67阳性指数识别的流程框架图。如图5所示,上述细胞Ki-67阳性指数识别流程主要分为预处理S51、细胞分割S52、后处理S53和细胞分类计数S54四个步骤中每个步骤可以分为以下子步骤:
上述预处理步骤S51可以通过预处理模块执行,该预处理步骤可以包括以下子步骤:
S51a,对输入的原始显微图像进行色彩通道分解,获得多色彩空间图像,即H-E-DAB色彩空间图像。
其中,原始显微图像是在显微镜下,对经过免疫组织化学方法进行显色的细胞样本群进行采集获得的彩色显微图像。
S51b,从上述多色彩空间图像提取出H通道图像。
S51c,使用双边滤波方法对上述H通道图像进行降噪处理。
上述细胞分割步骤S52可以通过细胞分割模块执行,该细胞分割步骤可以包括以下子步骤:
S52a,通过细胞区域分割方法对降噪处理后的H通道图像进行处理,获得分水岭分割算法的一项输入。
S52b,通过局部极值提取方法对降噪处理后的H通道图像进行处理,获得分水岭分割算法的另一项输入。
S52c,利用分水岭算法对上述两项输入进行处理,获得H通道图像中的各个细胞的边缘信息,以实现对每个细胞进行实例分割。
上述后处理步骤S53可以通过后处理模块执行,该后处理步骤可以包括以下子步骤:
S53a,通过面积法筛选面积合适的细胞的连通区域,提出面积不合适的连通区域。
S53b,计算筛选后的细胞的连通区域的中心点。
S53c,通过欧式距离对各个细胞的中心点进行合并,以减轻过分割的影响,去除假阳细胞。
上述细胞分类计数步骤S54可以通过细胞分类计数模块执行,该细胞分类计数步骤可以包括以下子步骤:
S54a,在对原始显微图像的灰度图像进行中值滤波之后,获取各个细胞的中心点的灰度值,并通过阈值分类的方式,对细胞进行阴性和阳性的二分类。
S54b,通过对阴性细胞和阳性细胞的个数计数,输出上述原始显微图像的Ki-67阳性指数。
可选的,在上述图5所示的方案中,输入为显微镜Ki-67图像视野,输出为阳性细胞标记点(红色)和阴性细胞标记点(绿色),并同时给出Ki-67的阳性指数。
上述图5所示的方案,采取双边滤波代替高斯滤波对H通道图像进行降噪,双边滤波能够在去除图像背景噪声的同时,有效保留图像中的边缘信息,从而提高细胞分割的精确度。
此外,上述图5所示的方案,对分水岭算法的细胞分割结果增加后处理操作,来对分割细胞进行筛选。后处理操作主要分两步:1、设置细胞面积阈值,去除掉不符合面积阈值的分割区域;2、设置细胞间欧式距离的阈值,合并小于距离阈值的两个细胞。后处理操作着重过滤由噪声引起的非细胞分割区域和减少分水岭算法的过分割问题,从而更准确地计算Ki-67阳性指数;
另外,上述图5所示的方案,对分割出的细胞区域,计算其几何中心点并根据该中心点及其一定范围内的周围像素的灰度值对细胞进行阴阳性分类,减少计算复杂度。
通过本申请上述实施例所示的方案,可以达到如下效果:
1)提高细胞识别效率。在应用中,通过上述图5所示的方案处理一张显微图像的时间段可以缩短至1秒以内,可以辅助病理医生进行诊断,极大地减轻了人工细胞计数的工作负担,提高病理医生的工作效率。
2)用户(病理医生)可自主勾画区域,算法只对医生感兴趣的区域做Ki-67阳性指数的计算。
3)算法为无监督的图像处理方法,与有监督方法相比,无监督算法无需耗时的人工标注和模型训练过程。
4)不依赖大算力GPU等硬件环境,普通台式机或者笔记本即可部署本算法。
5)有较强的适用性,可处理结直肠,乳腺和神经内分泌等不同病种的Ki-67图片。比如,请参考图6至图8。
其中,图6示出了本申请实施例涉及的结直肠细胞的识别结果对比图。左侧为原始的结直肠细胞的彩色显微图像,右侧是经过颜色标记和叠加Ki-67阳性指数(69%)的图像。
图7示出了本申请实施例涉及的乳腺细胞的识别结果对比图。左侧为原始的乳腺细胞的彩色显微图像,右侧是经过颜色标记和叠加Ki-67阳性指数(42%)的图像。
图8示出了本申请实施例涉及的神经内分泌瘤细胞的识别结果对比图。左侧为原始的神经内分泌瘤细胞的彩色显微图像,右侧是经过颜色标记和叠加Ki-67阳性指数(1%)的图像。
在本申请的一个示例性的实施例中,还提供一种识别显微图像中的细胞的系统,该系统包括显微镜以及图像处理设备。
其中,该图像处理设备可以用于执行如上述图2、图3或图5所示的识别显微图像中的细胞的方法中的全部或者部分步骤。
在一种可能的显示方式中,上述显微镜可以是在传统的光学显微镜上整合了计算处理、网络通信、图像采集以及图形显示等功能的智能显微镜。例如,该显微镜可以是图1所示系统中的显微镜120,图像处理设备可以是如图1所示系统中的终端140或者服务器160。
在一种示例性的方案中,图像处理设备可以对外提供软件接口,上述显微镜与图像处理设备之间通过软件接口进行数据交互,即图像处理设备通过软件接口的形式对显微镜提供服务。
比如,上述显微镜可以通过上述软件接口向图像处理设备发送彩色显微图像,相应的,图像处理设备通过该软件接口接收显微镜发送的彩色显微图像;该图像处理设备识别该彩色显微图像中的阳性细胞和阴性细胞之后,通过软件接口向该显微镜返回处理结果,其中,该处理结果包括细胞标记图像和阳性细胞的比例;该细胞标记图像是按照细胞类型对该彩色显微图像中的各个细胞进行颜色标记获得的图像。相应的,显微镜通过该软件接口接收上述处理结果之后,即可以在显微镜的目镜中展示该处理结果。
其中,上述细胞标记图像和阳性细胞的比例的获得过程可以参考图3所示实施例中的相关描述,此处不再赘述。
例如,以识别细胞的Ki-67阳性指数为例,医生将细胞样本置于显微镜的物镜上,并将显微镜的切片视野切换至Ki-67切片视野,此时,显微镜通过目镜内的图像采集组件采集Ki-67切片视野下的彩色显微图像,并将彩色显微图像通过软件接口传输给服务器(即上述图像处理设备),服务器通过上述各个方法实施例所示的方案进行细胞识别,获得细胞标记图像和阳性细胞的比例后,将细胞标记图像和阳性细胞的比例返回给显微镜,显微镜即可以在目镜中展示叠加有阳性细胞的比例的上述细胞标记图像,叠加有阳性细胞的比例的细胞标记图像可以参考上述图6至图8。由于本申请中的识别算法不需要复杂的机器学习模型处理,可以显著的缩短细胞识别的耗时,并且将识别的结果直接显示在显微镜的目镜中,医生可以在通过显微镜观察细胞样本时,在极短的延时(可以缩短至1s以内)内即可以观察到阳性细胞的识别结果,医生可以对细胞样本以及细胞识别结果进行同步查看,从而实现“所见即所得”的效果,能够极大的提高医生的诊断效率。
图9是根据一示例性实施例示出的一种识别显微图像中的细胞的装置的结构方框图。该识别显微图像中的细胞的装置可以由计算机设备(比如图1所示的终端和/或服务器)执行,以执行图2、图3或图5对应实施例所示的方法的全部或部分步骤。该识别显微图像中的细胞的装置可以包括:
边缘分割模块901,用于对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,所述细胞边缘图像指示所述各个细胞的边缘;所述彩色显微图像是对细胞样本群中的细胞进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;
中心位置获取模块902,用于根据所述细胞边缘图像获取所述各个细胞的中心点在所述彩色显微图像中的位置;
灰度值获取模块903,用于根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点的灰度值;
细胞识别模块904,用于根据所述各个细胞的中心点的灰度值,识别所述各个细胞的细胞类型,所述细胞类型为阳性细胞或者阴性细胞。
在一种可能的实现方式中,所述中心位置获取模块902,包括:
连通区域确定单元,用于根据所述细胞边缘图像指示的所述各个细胞的边缘,确定所述各个细胞的连通区域;
中心点获取单元,用于将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点;
位置获取单元,用于根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取所述各个细胞的中心点在所述彩色显微图像中的位置。
在一种可能的实现方式中,所述中心位置获取模块902,还包括:
面积获取单元,用于在所述中心点获取单元将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点之前,获取所述各个细胞的连通区域的面积;
区域过滤单元,用于将对应的面积满足过滤条件的连通区域获取为过滤后的所述各个细胞的连通区域;所述过滤条件包括对应的面积处于指定面积区间内;
所述中心点获取单元,用于将过滤后的所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点。
在一种可能的实现方式中,所述中心位置获取模块902,还包括:
合并单元,用于在所述灰度值获取模块903根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取所述各个细胞的中心点在所述彩色显微图像中的位置之前,按照合并条件对所述各个细胞的中心点进行合并,获得合并后的所述各个细胞的中心点;
所述灰度值获取模块903,用于根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取合并后的所述各个细胞的中心点在所述彩色显微图像中的位置。
在一种可能的实现方式中,所述合并单元,用于,
对于所述各个细胞的中心点中的第一中心点,确定所述第一中心点对应的第二中心点,所述第一中心点所述各个细胞的中心点中的任一中心点,所述第二中心点是距离所述第一中心点最近的其它细胞的中心点;
当所述第一中心点与所述第二中心点之间的欧氏距离小于距离阈值时,将所述第一中心点和所述第二中心点合并为第三中心点,所述第三中心点位于所述第一中心点和所述第二中心点之间的连线的中点。
在一种可能的实现方式中,所述灰度值获取模块903,包括:
灰度处理单元,用于对所述彩色显微图像进行灰度处理,获得灰度图像;
第一滤波单元,用于对所述灰度图像进行中值滤波,获得中值滤波后的所述灰度图像;
灰度值获取单元,用于根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点在中值滤波后的所述灰度图像中的灰度值。
在一种可能的实现方式中,所述边缘分割模块901,包括:
通道分解单元,用于对所述彩色显微图像进行色彩通道分解,获得至少两个色彩空间对应的色彩通道图像;
通道提取单元,用于从所述色彩通道图像中提取目标色彩空间对应的目标通道图像;
第二滤波单元,用于对所述目标通道图像进行滤波,获得滤波图像;
分割单元,用于对所述滤波图像进行边缘分割,获得所述细胞边缘图像。
在一种可能的实现方式中,所述第二滤波单元,用于通过双边滤波算法对所述目标通道图像进行滤波,获得所述滤波图像。
在一种可能的实现方式中,所述分割单元,用于通过分水岭算法对所述滤波图像进行边缘分割,获得所述细胞边缘图像。
在一种可能的实现方式中,所述装置还包括:
颜色标记模块905,用于按照所述各个细胞的细胞类型,对所述彩色显微图像中的各个细胞进行颜色标记,获得细胞标记图像;
图像输出模块906,用于输出所述细胞标记图像。
在一种可能的实现方式中,所述装置还包括:
统计模块907,用于统计获得所述各个细胞中的阳性细胞的个数,以及所述各个细胞中的阴性细胞的个数;
比例计算模块908,用于根据所述各个细胞中的阳性细胞的个数以及所述各个细胞中的阴性细胞的个数,计算所述各个细胞中的阳性细胞的比例;
比例输出模块909,用于输出所述各个细胞中的阳性细胞的比例。
在一种可能的实现方式中,所述阳性细胞是包含有Ki-67蛋白质的细胞。
综上所述,在本申请实施例所示的方案中,根据对包含各个细胞的彩色显微图像进行处理,得到指示细胞的边缘的细胞边缘图像后,根据细胞边缘图像所指示的细胞的边缘确定细胞的中心点,并根据细胞的中心点在彩色显微图像中的灰度值来区分阳性和阴性的细胞,不需要通过复杂的机器学习算法进行图像识别,从而减少了细胞识别的计算资源和处理时间,能够显著的提高从显微图像中识别出阳性细胞和阴性细胞的效率。
此外,通过本申请实施例所示的方案,相对于通过机器学习模型进行细胞识别的方案来说,不需要大量的人工标注去训练模型,省去了细胞级别的标注的人力和时间,从而能够缩短开发周期,提高产品的开发以及更新效率。
此外,在本申请实施例所示的方案中,在将各个细胞的连通区域的中心点获取为各个细胞的中心点之前,通过连通区域的面积对连通区域进行筛选,排除不满足条件的连通区域,减少前置步骤产生的噪声干扰,提高后续细胞识别的准确性。
另外,在本申请实施例所示的方案中,在将各个细胞的连通区域的中心点获取为各个细胞的中心点之后,还根据相邻中心点之间的欧氏距离对各个细胞的中心点进行合并,减少边缘分割步骤中的过分割的影响,进一步提高后续细胞识别的准确性。
另外,在本申请实施例所示的方案中,在进行边缘分割之前,通过双边滤波算法对目标通道图像进行滤波处理,能够有效的保留目标通道图像中的细胞的边缘信息,提高后续边缘分割的准确性,进一步提高后续细胞识别的准确性。
此外,在本申请实施例所示的方案中,在获取各个细胞的中心点的灰度值的过程中,对彩色显微图像转化获得的灰度图像进行中值滤波,并通过中值滤波之后的灰度图像获取各个细胞的中心点的灰度值,有效的减少噪声干扰,进一步提高后续细胞识别的准确性。
图10是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备可以实现为终端或者服务器,比如,该终端可以是图1所示系统中的终端140,该服务器可以是图1所示系统中的服务器160。
所述计算机设备1000包括中央处理单元(CPU)1001、包括随机存取存储器(RAM)1002和只读存储器(ROM)1003的系统存储器1004,以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1006,和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说,所述大容量存储设备1007可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1011连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器1001通过执行该一个或一个以上程序来实现图2、图3或图5所示的方法中的全部或者部分步骤。
本申请实施例还提供一种计算机设备,该计算机设备包括存储器和处理器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并实现上述如图2、图3或图5所述的方法中的全部或者部分步骤。
本申请实施例还提供一种计算机可读存储介质,该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图2、图3或图5所述的方法中的全部或者部分步骤。
本申请还提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述图2、图3或图5所述的方法中的全部或者部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图2、图3或图5所述的方法中的全部或者部分步骤。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种识别显微图像中的细胞的方法,其特征在于,所述方法由计算机设备执行,所述方法包括:
对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,所述细胞边缘图像指示所述各个细胞的边缘;所述彩色显微图像是对细胞样本群中的细胞进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;
根据所述细胞边缘图像指示的所述各个细胞的边缘,确定所述各个细胞的连通区域;
将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点;
按照合并条件对所述各个细胞的中心点进行合并,获得合并后的所述各个细胞的中心点;
根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取所述各个细胞的中心点在所述彩色显微图像中的位置;
根据合并后的所述各个细胞的中心点在所述彩色显微图像中的位置,获取合并后的所述各个细胞的中心点的灰度值;
根据合并后的所述各个细胞的中心点的灰度值,识别所述各个细胞的细胞类型,所述细胞类型为阳性细胞或者阴性细胞。
2.根据权利要求1所述的方法,其特征在于,所述将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点之前,还包括:
获取所述各个细胞的连通区域的面积;
将对应的面积满足过滤条件的连通区域获取为过滤后的所述各个细胞的连通区域;所述过滤条件包括对应的面积处于指定面积区间内;
所述将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点,包括:
将过滤后的所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点。
3.根据权利要求1所述的方法,其特征在于,
所述根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取所述各个细胞的中心点在所述彩色显微图像中的位置,包括:
根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取合并后的所述各个细胞的中心点在所述彩色显微图像中的位置。
4.根据权利要求3所述的方法,其特征在于,所述按照合并条件对所述各个细胞的中心点进行合并,获得合并后的所述各个细胞的中心点,包括:
对于所述各个细胞的中心点中的第一中心点,确定所述第一中心点对应的第二中心点,所述第一中心点是所述各个细胞的中心点中的任一中心点,所述第二中心点是距离所述第一中心点最近的其它细胞的中心点;
当所述第一中心点与所述第二中心点之间的欧氏距离小于距离阈值时,将所述第一中心点和所述第二中心点合并为第三中心点,所述第三中心点位于所述第一中心点和所述第二中心点之间的连线的中点。
5.根据权利要求1所述的方法,其特征在于,所述根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点的灰度值,包括:
对所述彩色显微图像进行灰度处理,获得灰度图像;
对所述灰度图像进行中值滤波,获得中值滤波后的所述灰度图像;
根据所述各个细胞的中心点在所述彩色显微图像中的位置,获取所述各个细胞的中心点在中值滤波后的所述灰度图像中的灰度值。
6.根据权利要求1所述的方法,其特征在于,所述对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,包括:
对所述彩色显微图像进行色彩通道分解,获得至少两个色彩空间对应的色彩通道图像;
从所述色彩通道图像中提取目标色彩空间对应的目标通道图像;
对所述目标通道图像进行滤波,获得滤波图像;
对所述滤波图像进行边缘分割,获得所述细胞边缘图像。
7.根据权利要求6所述的方法,其特征在于,所述对所述目标通道图像进行滤波,获得滤波图像,包括:
通过双边滤波算法对所述目标通道图像进行滤波,获得所述滤波图像。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照所述各个细胞的细胞类型,对所述彩色显微图像中的各个细胞进行颜色标记,获得细胞标记图像;
输出所述细胞标记图像。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
统计获得所述各个细胞中的阳性细胞的个数,以及所述各个细胞中的阴性细胞的个数;
根据所述各个细胞中的阳性细胞的个数以及所述各个细胞中的阴性细胞的个数,计算所述各个细胞中的阳性细胞的比例;
输出所述各个细胞中的阳性细胞的比例。
10.一种识别显微图像中的细胞的装置,其特征在于,所述装置用于计算机设备中,所述装置包括:
边缘分割模块,用于对彩色显微图像中的各个细胞进行边缘分割,获得细胞边缘图像,所述细胞边缘图像指示所述各个细胞的边缘;所述彩色显微图像是对细胞样本群中的细胞进行显色标记后,在显微镜视野下对所述细胞样本群采集获得的图像;
中心位置获取模块,用于根据所述细胞边缘图像获取所述各个细胞的中心点在所述彩色显微图像中的位置;
所述中心位置获取模块,包括:
连通区域确定单元,用于根据所述细胞边缘图像指示的所述各个细胞的边缘,确定所述各个细胞的连通区域;
中心点获取单元,用于将所述各个细胞的连通区域的中心点,获取为所述各个细胞的中心点;
合并单元,用于按照合并条件对所述各个细胞的中心点进行合并,获得合并后的所述各个细胞的中心点;
位置获取单元,用于根据所述细胞边缘图像中的各个像素点与所述彩色显微图像中的各个像素点之间的映射关系,获取所述各个细胞的中心点在所述彩色显微图像中的位置;
灰度值获取模块,用于根据合并后的所述各个细胞的中心点在所述彩色显微图像中的位置,获取合并后的所述各个细胞的中心点的灰度值;
细胞识别模块,用于根据合并后的所述各个细胞的中心点的灰度值,识别所述各个细胞的细胞类型,所述细胞类型为阳性细胞或者阴性细胞。
11.一种计算机设备,其特征在于,计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的识别显微图像中的细胞的方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的识别显微图像中的细胞的方法。
13.一种识别显微图像中的细胞的系统,其特征在于,所述系统包括:显微镜以及图像处理设备;
所述图像处理设备,用于执行如权利要求1至9任一所述的识别显微图像中的细胞的方法。
14.根据权利要求13所述的系统,其特征在于,所述图像处理设备对外提供软件接口;
所述显微镜,用于通过所述软件接口向所述图像处理设备发送彩色显微图像;
所述图像处理设备,用于通过所述软件接口向所述显微镜返回处理结果,所述处理结果包括细胞标记图像和阳性细胞的比例;所述细胞标记图像是按照细胞类型对所述彩色显微图像中的各个细胞进行颜色标记获得的图像;
所述显微镜,用于在所述显微镜的目镜中展示所述处理结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910784865.4A CN110490159B (zh) | 2019-08-23 | 2019-08-23 | 识别显微图像中的细胞的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910784865.4A CN110490159B (zh) | 2019-08-23 | 2019-08-23 | 识别显微图像中的细胞的方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110490159A CN110490159A (zh) | 2019-11-22 |
CN110490159B true CN110490159B (zh) | 2020-12-25 |
Family
ID=68553342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910784865.4A Active CN110490159B (zh) | 2019-08-23 | 2019-08-23 | 识别显微图像中的细胞的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110490159B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260677B (zh) * | 2020-02-20 | 2023-03-03 | 腾讯医疗健康(深圳)有限公司 | 基于显微图像的细胞分析方法、装置、设备及存储介质 |
CN112584367B (zh) * | 2020-12-03 | 2022-09-27 | 杭州市第一人民医院 | 显微镜控制方法、装置、设备及存储介质 |
CN113310899A (zh) * | 2021-06-21 | 2021-08-27 | 黑龙江省科学院智能制造研究所 | 一种基于显微机器视觉的金刚线颗粒在线检测装置及方法 |
CN115908363B (zh) * | 2022-12-07 | 2023-09-22 | 赛维森(广州)医疗科技服务有限公司 | 肿瘤细胞统计方法、装置、设备和存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102094000A (zh) * | 2010-12-15 | 2011-06-15 | 南京医科大学 | 一种改进细胞色素p450酶家族体外表达的方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101254282B (zh) * | 2008-03-21 | 2012-05-30 | 舒财 | 一种治疗颈椎病的药物组合物 |
CN101947232B (zh) * | 2008-09-09 | 2012-06-13 | 刘华钢 | 仙人掌果多糖在制备药物或保健品中的应用 |
CN102831607B (zh) * | 2012-08-08 | 2015-04-22 | 深圳市迈科龙生物技术有限公司 | 宫颈液基细胞图像分割方法 |
CN103345748B (zh) * | 2013-06-26 | 2016-08-10 | 福建师范大学 | 一种人体组织细胞双光子显微图像的定位分割方法 |
CN103745257B (zh) * | 2013-12-23 | 2016-08-17 | 温州医科大学眼视光器械有限公司 | 一种基于图像识别的锥细胞密度的计算方法 |
CN107957397A (zh) * | 2017-11-22 | 2018-04-24 | 大连海事大学 | 一种基于全息图像特征的微藻分类检测装置及检测方法 |
-
2019
- 2019-08-23 CN CN201910784865.4A patent/CN110490159B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102094000A (zh) * | 2010-12-15 | 2011-06-15 | 南京医科大学 | 一种改进细胞色素p450酶家族体外表达的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110490159A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10706535B2 (en) | Tissue staining quality determination | |
CN110490159B (zh) | 识别显微图像中的细胞的方法、装置、设备及存储介质 | |
CN110678903B (zh) | 用于3d图像中异位骨化的分析的系统和方法 | |
US8488863B2 (en) | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials | |
Salvi et al. | Multi-tissue and multi-scale approach for nuclei segmentation in H&E stained images | |
JP6660313B2 (ja) | 画像解析を用いた核のエッジの検出 | |
Zhang et al. | Segmentation of cytoplasm and nuclei of abnormal cells in cervical cytology using global and local graph cuts | |
CN111448569B (zh) | 存储和检索数字病理学分析结果的方法 | |
Chen et al. | A flexible and robust approach for segmenting cell nuclei from 2D microscopy images using supervised learning and template matching | |
EP2987142B1 (en) | Systems and methods for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue | |
US20180012365A1 (en) | System and method for image segmentation | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
Tosta et al. | Segmentation methods of H&E-stained histological images of lymphoma: A review | |
EP3175389B1 (en) | Automatic glandular and tubule detection in histological grading of breast cancer | |
US11538261B2 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
US11959848B2 (en) | Method of storing and retrieving digital pathology analysis results | |
US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
Casiraghi et al. | A novel computational method for automatic segmentation, quantification and comparative analysis of immunohistochemically labeled tissue sections | |
Alegro et al. | Automating cell detection and classification in human brain fluorescent microscopy images using dictionary learning and sparse coding | |
Apou et al. | Detection of lobular structures in normal breast tissue | |
Song et al. | New morphological features for grading pancreatic ductal adenocarcinomas | |
WO2014006421A1 (en) | Identification of mitotic cells within a tumor region | |
JP2023517703A (ja) | 空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管/腺及び内腔、管/腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション | |
CN117765330A (zh) | 基于mri图像的数据标注方法及系统 | |
KR20240006599A (ko) | 전자 이미지의 속성을 조정하기 위해 전자 이미지를 처리하는 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |