CN111311578B - 基于人工智能的对象分类方法以及装置、医学影像设备 - Google Patents
基于人工智能的对象分类方法以及装置、医学影像设备 Download PDFInfo
- Publication number
- CN111311578B CN111311578B CN202010096186.0A CN202010096186A CN111311578B CN 111311578 B CN111311578 B CN 111311578B CN 202010096186 A CN202010096186 A CN 202010096186A CN 111311578 B CN111311578 B CN 111311578B
- Authority
- CN
- China
- Prior art keywords
- image
- target detection
- detection object
- feature
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 578
- 230000011218 segmentation Effects 0.000 claims abstract description 216
- 238000010586 diagram Methods 0.000 claims description 139
- 210000005075 mammary gland Anatomy 0.000 claims description 111
- 230000007170 pathology Effects 0.000 claims description 87
- 210000001519 tissue Anatomy 0.000 claims description 67
- 230000003834 intracellular effect Effects 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 34
- 230000001575 pathological effect Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 23
- 238000003709 image segmentation Methods 0.000 claims description 17
- 239000011148 porous material Substances 0.000 claims description 16
- 238000013139 quantization Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000002059 diagnostic imaging Methods 0.000 claims description 7
- 210000004027 cell Anatomy 0.000 description 86
- 210000000481 breast Anatomy 0.000 description 84
- 238000005516 engineering process Methods 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012758 nuclear staining Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于人工智能对象分类方法、装置、计算机可读存储介质和计算机设备,所述方法包括:获取待处理图像,其中待处理图像包括目标检测对象;从待处理图像中,分割出目标检测对象的目标检测对象图像;将目标检测对象图像输入至特征对象预测模型中,得到目标检测对象图像中特征对象的特征对象分割图;根据目标检测对象图像以及特征对象分割图,获取目标检测对象的量化特征信息;根据量化特征信息对目标检测对象图像进行分类,得到待处理图像中目标检测对象的类别信息。本申请提供的方案可以实现有效减少待处理图像中不必要的图像数据,降低待处理图像中不必要的图像数据对对象分类的影响,提高对待处理图像中目标检测对象的分类准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种基于人工智能的对象分类方法、装置、计算机可读存储介质和计算机设备,以及一种医学影像设备。
背景技术
随着图像处理技术的发展,将图像处理技术应用于医学领域,以实现对医学图像中不同对象的识别或分类越来越普遍。传统对象分类技术中,通常直接对医学影像图像进行分类,但是由于传统对象分类技术的分类方式比较粗糙,容易造成误分类,导致对分类准确率较低。
发明内容
基于此,有必要针对传统对象分类技术的分类准确率低的技术问题,提供一种基于人工智能的对象分类方法、装置、计算机可读存储介质和计算机设备,以及一种医学影像设备。
一种基于人工智能的对象分类方法,包括:
获取待处理图像,其中所述待处理图像包括目标检测对象;
从所述待处理图像中,分割出所述目标检测对象的目标检测对象图像;
将所述目标检测对象图像输入至特征对象预测模型中,得到所述目标检测对象图像中特征对象的特征对象分割图;
根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息;
根据所述量化特征信息对所述目标检测对象图像进行分类,得到所述待处理图像中所述目标检测对象的类别信息。
一种基于人工智能的对象分类方法,包括:
获取乳腺组织病理图像,其中所述乳腺组织病理图像包括乳腺导管;
从所述乳腺组织病理图像中,分割出所述乳腺导管的乳腺导管图像;
将所述乳腺导管图像输入至特征对象预测模型中,得到所述乳腺导管图像中细胞的细胞分割图;
根据所述乳腺导管图像以及所述细胞分割图,获取所述细胞内特征信息以及筛孔特征信息;
根据所述细胞内特征信息以及筛孔特征信息,对所述乳腺导管图像进行分类,得到所述乳腺组织病理图像中所述乳腺导管的病灶类别信息。
一种医学影像设备,包括:
显微镜扫描仪,用于获取乳腺组织病理图像;
存储器,所述存储器中存储有计算机可读指令;
处理器,所述计算机可读指令被所述处理器执行是,使得处理器执行以下步骤:从所述乳腺组织病理图像中,分割出所述乳腺导管的乳腺导管图像;将所述乳腺导管图像输入至特征对象预测模型中,得到所述乳腺导管图像中细胞的细胞分割图;根据所述乳腺导管图像以及所述细胞分割图,获取所述细胞内特征信息以及筛孔特征信息;根据所述细胞内特征信息以及筛孔特征信息,对所述乳腺导管图像进行分类,得到所述乳腺组织病理图像中所述乳腺导管的病灶类别信息;
显示器,用于显示所述乳腺组织病理图像以及所述乳腺组织病理图像中所述乳腺导管的病灶类别信息。
一种基于人工智能的对象分类装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理图像,其中所述待处理图像包括目标检测对象;
图像分割模块,用于从所述待处理图像中,分割出所述目标检测对象的目标检测对象图像;
特征图像获取模块,用于将所述目标检测对象图像输入至特征对象预测模型中,得到所述目标检测对象图像中特征对象的特征对象分割图;
特征信息获取模块,用于根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息;
对象分类模块,用于根据所述量化特征信息对所述目标检测对象图像进行分类,得到所述待处理图像中所述目标检测对象的类别信息。
一种基于人工智能的对象分类装置,包括:
病理图像获取模块,用于获取乳腺组织病理图像,其中所述乳腺组织病理图像包括乳腺导管;
导管图像获取模块,用于从所述乳腺组织病理图像中,分割出所述乳腺导管的乳腺导管图像;
细胞区域图获取模块,用于将所述乳腺导管图像输入至特征对象预测模型中,得到所述乳腺导管图像中细胞的细胞分割图;
导管特征获取模块,用于根据所述乳腺导管图像以及所述细胞分割图,获取所述细胞内特征信息以及筛孔特征信息;
导管分类模块,用于根据所述细胞内特征信息以及筛孔特征信息,对所述乳腺导管图像进行分类,得到所述乳腺组织病理图像中所述乳腺导管的病灶类别信息。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
获取待处理图像,其中所述待处理图像包括目标检测对象;
从所述待处理图像中,分割出所述目标检测对象的目标检测对象图像;
将所述目标检测对象图像输入至特征对象预测模型中,得到所述目标检测对象图像中特征对象的特征对象分割图;
根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息;
根据所述量化特征信息对所述目标检测对象图像进行分类,得到所述待处理图像中所述目标检测对象的类别信息。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行所述程序时实现以下步骤:
获取待处理图像,其中所述待处理图像包括目标检测对象;
从所述待处理图像中,分割出所述目标检测对象的目标检测对象图像;
将所述目标检测对象图像输入至特征对象预测模型中,得到所述目标检测对象图像中特征对象的特征对象分割图;
根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息;
根据所述量化特征信息对所述目标检测对象图像进行分类,得到所述待处理图像中所述目标检测对象的类别信息。
上述基于人工智能的对象分类方法、装置、计算机可读存储介质和计算机设备,获取待处理图像,其中待处理图像包括目标检测对象;从待处理图像中,分割出目标检测对象的目标检测对象图像;将目标检测对象图像输入至特征对象预测模型中,得到目标检测对象图像中特征对象的特征对象分割图;根据目标检测对象图像以及特征对象分割图,获取目标检测对象的量化特征信息;根据量化特征信息对目标检测对象图像进行分类,得到待处理图像中目标检测对象的类别信息。其中,在获取到待处理图像后,通过将目标检测对象图像从待处理图像中分割出来,实现从待处理图像中分离出单个目标检测对象的图像,减少不必要的图像数据对后续对象分类的影响,然后对单个目标检测对象进行特征对象检测得到特征对象分割图,从而根据特征对象分割图中标记的特征对象所在区域,从目标检测对象图像中获取特征对象的量化特征信息,实现对目标检测对象在特征对象级的特征信息进行量化,得到量化特征信息,进而根据量化特征信息对目标检测对象进行分类,实现将待处理图像进行级联处理,有效减少待处理图像中不必要的图像数据,降低待处理图像中不必要的图像数据对对象分类的影响,提高对待处理图像中目标检测对象的分类准确性。
附图说明
图1为一个实施例中基于人工智能的对象分类方法的应用环境图;
图2为一个实施例中基于人工智能的对象分类方法的流程示意图;
图3为一个实施例中乳腺组织病理图像的示意图;
图4为一个实施例中目标检测对象图像切割步骤的流程示意图;
图5a为一个实施例中第一目标检测对象预测图获取步骤的流程示意图;
图5b为一个实施例中目标检测对象分割模型的原理框架图;
图6为一个实施例中在待处理图像中目标检测对象所在区域获取步骤的流程示意图;
图7a为另一个实施例中第一目标检测对象预测图获取步骤的流程示意图;
图7b为一个实施例中将待处理图像切割为多个待处理子图像的示意图;
图7c为一个实施例中将各目标检测对象子预测图像进行拼接的示意图;
图8为另一个实施例中在待处理图像中目标检测对象所在区域获取步骤的流程示意图;
图9a为一个实施例中特征对象分割图获取步骤的流程示意图;
图9b为一个实施例中特征对象预测模型的原理框架图;
图9c为一个实施例中LinkNet网络的网络结构示意图;
图10为一个实施例中量化特征信息获取步骤的流程示意图;
图11为另一个实施例中量化特征信息获取步骤的流程示意图
图12为一个实施例中特征对象预测模型训练步骤的流程示意图;
图13为一个实施例中目标检测对象分割模型训练步骤的流程示意图;
图14为另一个实施中基于人工智能的对象分类方法的流程示意图;
图15为一个实施例中医学影像设备的结构框图;
图16为一个实施例中基于人工智能的对象分类装置的结构框图;
图17为另一个实施例中基于人工智能的对象分类装置的结构框图;
图18为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(MachineLearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
图1为一个实施例中基于人工智能的对象分类方法的应用环境图。参照图1,该对象检测方法应用于对象分类系统。该对象分类系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
具体地,终端110获取待处理图像,将待处理图像发送至服务器120。服务器120从所述待处理图像中,分割出所述目标检测对象的目标检测对象图像;将所述目标检测对象图像输入至特征对象预测模型中,得到所述目标检测对象图像中特征对象的特征对象分割图;根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息;根据所述量化特征信息对所述目标检测对象图像进行分类,得到所述待处理图像中所述目标检测对象的类别信息。进一步地,服务器120将待处理图像、待处理图像中的目标检测对象的目标检测对象图像、以及待处理图像中的目标检测对象的类别信息返回终端110,由终端110对这些图像以及类别信息进行显示。
如图2所示,在一个实施例中,提供了一种基于人工智能的对象分类方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2,该基于人工智能的对象分类方法具体包括如下步骤:
步骤S202,获取待处理图像,其中待处理图像包括目标检测对象。
其中,待处理图像包括但不限于图片、影片等,具体可以是通过相机、扫描仪等装置获取的图像、通过截屏获取的图像或者是通过可上传图像的应用程序上传的图像等等;其中,待处理图像中包括一个或多个目标检测对象,目标检测对象是指待处理图像中需要检测、分类的对象。
在实际应用场景中,待处理图像可以但不限于是病理切片图像,目标检测对象可以但不限于是病理切片图像中的机体器官、组织或细胞。其中,病理切片图像具体可以是通过医学影像设备(例如数字病理切片扫描仪、数字切片显微镜等)拍摄的图像,例如,可以是全视野数字病理切片图像(WholeSlide Image,WSI)。
在一个实施例中,待处理图像是乳腺组织病理图像,目标检测对象是乳腺导管。如图3所示,图3为一个实施例中乳腺组织病理图像的示意图,图中标注区域,例如标注区域310为一个目标检测对象,即乳腺导管。
步骤S204,从待处理图像中,分割出目标检测对象的目标检测对象图像。
其中,目标检测对象图像是指在待处理图像中,目标检测对象所在区域的区域图像。在获取到待处理图像以后,可从待处理图像中将目标检测对象所在区域的区域图像分割出来,该区域图像即为目标检测对象图像。
具体地,从待处理图像中分割出目标检测对象的目标检测对象图像,具体可以是利用图像分割算法从待处理图像中获取目标检测对象所在区域,然后截取目标检测对象所在区域的区域图像,作为目标检测对象的目标检测对象图像,其中,图像分割算法可以采用基于阈值的分割算法、基于边缘检测的分割方法等;也可以是将待处理图像输入至用于图像分割的深度学习模型中,通过深度学习模型预测目标检测对象所在区域,然后根据预测得到的目标检测对象所在区域从待处理图像中截取目标检测对象所在区域的区域图像,作为目标检测对象的目标检测对象图像。
步骤S206,将目标检测对象图像输入至特征对象预测模型中,得到目标检测对象图像中特征对象的特征对象分割图。
其中,特征对象是指在目标检测对象中包含目标检测对象特征信息的对象。在实际应用场景中,以待处理图像为病理切片图像、目标检测对象为机体组织为例,目标检测对象的特征对象可以为机体组织的细胞。
其中,特征对象分割图是指与目标检测对象图像尺寸一样的、已标注出特征对象所在区域的图像。在一个实施例中,特征对象分割图可以是二值图,也就是特征对象分割图呈现出只有黑和白的视觉效果。例如,在特征对象分割图中,目标检测对象图像中特征对象所在区域可显示为白色,非特征对象所在区域可显示为黑色。
其中,特征对象预测模型是用于判断目标检测对象图像中各个像素点是否属于特征对象,以输出特征对象分割图的网络模型。这里的特征对象预测模型是已训练好的网络模型,可直接用于判断目标检测对象图像中各个像素点是否属于特征对象,输出特征对象分割图。其中,特征对象预测模型可采用全卷积网络结构FCN、卷积神经网络结构U-net等神经网络结构,在此不做限定。具体地,特征对象预测模型中包括但不限于编码层和解码层,编码层是用来对目标检测对象图像进行编码压缩的,提取维度更低的低层语义特征图,而解码层是用来对编码层输出的低层语义特征图进行解码运算,输出与目标检测对象图像尺寸一样的特征对象分割图。
步骤S208,根据目标检测对象图像以及特征对象分割图,获取目标检测对象的量化特征信息。
其中,量化特征信息是指目标检测对象中特征对象的各项特征实现量化后的信息,例如目标检测对象中特征对象的数量、大小、圆形度、像素的灰度值等。
其中,在获取到目标检测对象图像,以及与目标检测对象图像对应的特征对象分割图,可根据目标检测对象图像以及特征对象分割图的图像数据,计算目标检测对象的量化特征信息。具体地,可以是从特征对象分割图中获取特征对象所在区域,然后从目标检测对象图像中,确定与特征对象所在区域相对应的区域,并将该区域的图像确定为特征对象的区域图像,最后根据特征对象的区域图像上像素点的像素信息计算量化特征信息。
步骤S210,根据量化特征信息对目标检测对象图像进行分类,得到待处理图像中目标检测对象的类别信息。
其中,在获取到目标检测对象图像的量化特征信息后,可根据目标检测对象图像的量化特征信息,对目标检测对象图像进行分类,以获取目标检测对象图像对应的目标检测对象的类别信息。
具体地,根据量化特征信息对目标检测对象图像进行分类,可以是将目标检测对象图像的量化特征信息输入至已经过训练的分类器中,利用分类器对目标检测对象图像进行分类,其中,分类器可以采用基于机器学习的分类器,例如SVM(supportvectormachine,支持向量机)分类器,也可以是基于深度学习的分类器中,例如基于CNN(ConvolutionalNeuralNetworks,卷积神经网络)模型构建的分类器。
进一步地,在一个实施例中,分类器的训练具体可以是获取样本检测对象图像,以及样本检测对象图像对应的标准类别标签,通过将样本检测对象图像输入至预先构建的分类器中,得到与样本检测对象图像对应的预测类别标签,然后通过对比样本检测对象图像的标注类别标签与预测类别标签间,计算分类器的损失值,最后根据分类器的损失值对分类器中的参数进行调整,以获取训练后的分类器。
上述基于人工智能的对象分类方法,获取待处理图像,其中待处理图像包括目标检测对象;从待处理图像中,分割出目标检测对象的目标检测对象图像;将目标检测对象图像输入至特征对象预测模型中,得到目标检测对象图像中特征对象的特征对象分割图;根据目标检测对象图像以及特征对象分割图,获取目标检测对象的量化特征信息;根据量化特征信息对目标检测对象图像进行分类,得到待处理图像中目标检测对象的类别信息。其中,在获取到待处理图像后,通过将目标检测对象图像从待处理图像中分割出来,实现从待处理图像中分离出单个目标检测对象的图像,减少不必要的图像数据对后续对象分类的影响,然后对单个目标检测对象进行特征对象检测得到特征对象分割图,从而根据特征对象分割图中标记的特征对象所在区域,从目标检测对象图像中获取特征对象的量化特征信息,实现对目标检测对象在特征对象级的特征信息进行量化,得到量化特征信息,进而根据量化特征信息对目标检测对象进行分类,实现将待处理图像进行级联处理,有效减少待处理图像中不必要的图像数据,降低待处理图像中不必要的图像数据对对象分类的影响,提高对待处理图像中目标检测对象的分类准确性。
在一个实施例中,如图4所示,步骤S204从待处理图像中,分割出目标检测对象的目标检测对象图像,包括:
步骤S402,将待处理图像输入至目标检测对象分割模型,得到待处理图像对应的第一目标检测对象预测图,根据第一目标检测对象预测图获取在待处理图像中目标检测对象所在区域。
步骤S404,根据目标检测对象所在区域对待处理图像进行分割,得到目标检测对象图像。
其中,目标检测对象分割模型是用于判断目标检测对象图像中各个像素点是否属于目标检测对象的网络模型,输出的是第一目标检测对象预测图。这里的目标检测对象分割模型是已训练好的网络模型,可直接用于判断待处理图像中各个像素点是否属于特征对象,输出第一目标检测对象预测图。其中,目标检测对象分割模型可采用全卷积网络结构FCN、卷积神经网络结构U-net等神经网络结构,在此不做限定。具体地,目标检测对象分割模型中包括但不限于编码层和解码层,编码层是用来对待处理图像进行编码压缩的,提取维度更低的低层语义特征图,而解码层是用来对编码层输出的低层语义特征图进行解码运算,输出与待处理图像尺寸一样的第一目标检测对象预测图。
其中,第一目标检测对象预测图是指与待处理图像尺寸一样的、已标注出目标检测对象所在区域的图像。在得到第一目标检测对象预测图后,从第一目标检测对象预测图中获取目标检测对象所在区域,从而对应确定在待处理图像中目标检测对象所在区域,并将待处理图像中目标检测对象所在区域进行分割,得到目标检测对象图像。
在一个实施例中,第一目标检测对象预测图可以是二值图,也就是第一目标检测对象预测图呈现出只有黑和白的视觉效果。例如,在第一目标检测对象预测图中,目标检测对象所在区域可显示为白色,非目标检测对象所在区域可显示为黑色。具体地,将待处理图像输入至目标检测对象分割模型,得到待处理图像对应的第一目标检测对象预测图,可以是通过目标检测对象分割模型计算待处理图像中各个像素点属于目标检测对象的概率值,目标检测对象分割模型根据概率值将待处理图像中各个像素点进行分类,得到属于目标检测对象的像素点以及不属于目标检测对象像素点,然后目标检测对象分割模型将属于目标检测对象的像素点的灰度值设置为0,将不属于目标检测对象的像素点的灰度至设置为255,得到目标检测对象所在区域可显示为白色、非目标检测对象所在区域可显示为黑色的第一目标检测对象预测图。
进一步地,在一个实施例中,如图5a所示,目标检测对象分割模型包括编码层以及解码层;将待处理图像输入至目标检测对象分割模型,得到待处理图像对应的第一目标检测对象预测图的步骤,包括:
步骤S502,目标检测对象分割模型将待处理图像输入至编码层,通过编码层对待处理图像进行编码处理,得到待处理图像的图像特征信息;
其中,编码层包括多个卷积层,编码层可以通过卷积层对待处理图像进行编码压缩,提取出待处理图像中的低层语义特征信息。与编码层连接的是解码层,其中编码层与解码层连接可以使用跳跃连接的连接方式,能够提高像素点分类的准确性。
具体地,目标对象检测模型将待处理图像输入至编码层,通过编码层对待处理图像进行编码压缩,具体编码层可以通过卷积层对待检测图像进行编码压缩,提取待处理图像的低层语义特征信息,待处理图像的低层语义特征信息可以是待处理图像的基本视觉信息,比如亮度、颜色、纹理等等。
步骤S504,目标检测对象分割模型将图像特征信息输入至解码层中,通过解码层对图像特征信息进行解码运算,得到待处理图像对应的第一目标检测对象预测图。
其中,在编码层输出得到待处理图像的低层语义特征信息后,目标对象检测模型将待处理图像的低层语义特征信息输入至解码层,由解码层对待处理图像的低层语义特征信息进行解码运算,最后得到标识了待处理图像的各个像素点是否属于目标检测对象的第一目标检测对象预测图。
具体地,编码层将提取出的待处理图像的低层语义特征信息输入至解码层,解码层可以使用反卷积层和上采样层对低层语义特征信息进行解码运算,得到对应的第一目标检测对象预测图。其中,解码层输出的第一目标检测对象预测图过程中,可以恢复成与待处理图像相同尺寸大小的图像。进一步地,解码层输出的第一目标检测对象预测图,直观地描述了待处理图像中各个像素点是否属于目标检测对象的结果,展现了目标检测对象所在的区域。
在一个实施例中,如图5b所示,图5b示出一个实施例中目标检测对象分割模型的原理框架图。如图5b的目标对象检测模型的框架中所示,将待处理图像输入至目标对象检测模型中,首先通过编码层(Encoder)对输入的待处理图像进行编码压缩,得到维度较低的低层语义特征信息,如颜色、亮度等。与编码层连接的是解码层(Decoder),将编码层输出的低层语义特征信息输入至解码层中,解码层对低层语义特征信息行解码运算,输出与待处理图像原尺寸一样的第一目标检测对象预测图。以待处理图像为如图3所示的乳腺组织病理图像为例,将乳腺组织病理图像输入至目标对象检测模型,目标对象检测模型输出的第一目标检测对象预测图如图5b中所示,可从第一目标检测对象预测图中得知待处理图像(乳腺组织病理图像)中各个像素点是否属于目标检测对象(乳腺导管),第一目标检测对象预测图展现了目标检测对象所在的区域。
在一个实施例中,如图6所示,将待处理图像输入至目标检测对象分割模型,得到待处理图像对应的第一目标检测对象预测图,根据第一目标检测对象预测图获取在待处理图像中目标检测对象所在区域的步骤,包括:
步骤S602,对待处理图像进行缩放,获取缩放图像;
步骤S604,将缩放图像输入至目标检测对象分割模型,得到缩放图像的第二目标检测对象预测图;
步骤S606,根据第二目标检测对象预测图,获取在缩放图像中的目标检测对象所在区域的区域信息;
步骤S608,根据区域信息,获取在待处理图像中的目标检测对象所在区域。
其中,在待处理图像的图像数据量较大时,可先对待处理图像进行缩放,以获取图像数据量较小的缩放图像。应该理解的是,缩放图像与待处理图像中的图像内容是一致的,只是在图像的尺寸大小、图像数据量多少上的差异。对待处理图像进行缩放以获取与之对应的缩放图像,可有效降低图像数据的处理量,加快对待处理图像分割的速度。
其中,第二目标检测对象预测图是指与缩放图像尺寸一样的、已标注出目标检测对象所在区域的图像。在获取到缩放图像以后,将缩放图像输入至目标检测对象分割模型中,以获取与缩放图像对应的第二目标检测对象预测图,然后从第二目标检测对象预测图确定目标检测对象所在区域,即得到目标检测对象在缩放图像中的目标检测对象所在区域,在获取在缩放图像中的目标检测对象所在区域的区域信息后,对应在待处理图像中获取在待处理图像中的目标检测对象所在的区域。
同样的,在一个实施例中,第二目标检测对象预测图可以是二值图。
应该理解的是,将缩放图像输入至目标检测对象分割模型后,目标检测对象分割模型对缩放图像的处理过程,与目标检测对象分割模型对待处理图像的处理过程是一样的,此处不再赘述。
在一个实施例中,如图7a所示,将待处理图像输入至目标检测对象分割模型,得到待处理图像对应的第一目标检测对象预测图的步骤,包括:
步骤S702,将待处理图像按照切割规则切割为多个待处理子图像;
步骤S704,将各待处理子图像输入至目标检测对象分割模型,得到各待处理子图像对应目标检测对象子预测图像;
步骤S706,根据切割规则将各目标检测对象子预测图像进行拼接,得到与待处理图像对应的第一目标检测对象预测图。
其中,在待处理图像的图像数据量较大时,可将待处理图像切割为多个图块,得到多个待处理子图像。在将待处理图像进行切割后,分别将各个待处理子图像输入至目标检测图像分割模型中,使得目标检测图像分割模型所处理的图像在尺寸大小、图像数据量多少上大大缩减,可有效降低图像数据的处理量,加快对图像分割的速度。
具体地,在获取到待处理图像以后,将待处理图像按照切割规则,切割为多个待处理子图像;然后逐一将待处理子图像将像输入至目标检测对象分割模型中,以获取与各个待处理子图像对应的多个目标检测对象子预测图像,最后再按切割规则,将多个目标检测对象子预测图像进行拼接,得到整图待处理图像的第一目标检测对象预测图。
以待处理图像为如图3所示的乳腺组织病理图像为例,在获取到乳腺组织病理图像以后,对乳腺组织病理图像按照预先设定的切割规则进行切割,其中,切割规则如图7b所示,将乳腺组织病理图像切割为6*6块乳腺组织病理子图像。然后,逐一将乳腺组织病理子图像将像输入至目标检测对象分割模型中,以获取与各个乳腺组织病理子图像对应的乳腺导管子预测图像,例如,将图7b中的乳腺组织病理子图像702输入至目标检测对象分割模型中,目标检测对象分割模型输出如图7c所示的乳腺导管子预测图像704。最后再按切割规则,将多个乳腺导管子预测图像进行拼接,得到整图的乳腺组织病理图像的乳腺导管预测图,如图7c所示。
应该理解的是,将待处理子图像输入至目标检测对象分割模型后,目标检测对象分割模型对待处理子图像的处理过程,与目标检测对象分割模型对待处理图像的处理过程是一样的,此处不再赘述。
在一个实施例中,如图8所示,将待处理图像输入至目标检测对象分割模型,得到待处理图像对应的第一目标检测对象预测图,根据第一目标检测对象预测图获取在待处理图像中目标检测对象所在区域的步骤,包括:
步骤S802,对待处理图像进行缩放,获取缩放图像;
步骤S804,将缩放图像按照切割规则切割为多个缩放图像的子图像;
步骤S806,将各缩放图像的子图像输入至目标检测对象分割模型,得到各缩放图像的子图像对应目标检测对象子预测图像;
步骤S808,根据切割规则将各目标检测对象子预测图像进行拼接,得到与缩放图像对应的第二目标检测对象预测图;
步骤S810,根据第二目标检测对象预测图,获取目标检测对象在缩放图像中所在区域的区域信息;
步骤S812,根据区域信息对应在待处理图像中获取目标检测对象所在区域。
其中,在待处理图像的图像数据量较大时,可先对待处理图像进行缩放,得到缩放图像;然后将缩放图像切割为多个图块,得到多个缩放图像的子图像。通过对待处理图像进行缩放、切割处理,实现缩小图像的尺寸大小,降低图像的数据量,可有效降低图像数据的处理量,加快对待处理图像分割的速度。
其中,在获取到待处理图像后,对待处理图像进行缩放,获取缩放图像,并按照切割规则对缩放后的缩放图像进行切割,得到多个缩放图像的子图像;然后,逐一将缩放图像的子图像将像输入至目标检测对象分割模型中,以获取与各个缩放图像的子图像对应的目标检测对象子预测图像,再按切割规则将各个目标检测对象子预测图像进行拼接,得到整图缩放图像的第二目标检测对象预测图。最后,从第二目标检测对象预测图确定目标检测对象所在区域,即得到目标检测对象在缩放图像中的目标检测对象所在区域,在获取在缩放图像中的目标检测对象所在区域的区域信息后,对应在待处理图像中,获取在待处理图像中的目标检测对象所在的区域。
在一个实施例中,如图9a所示,特征对象预测模型包括热力图预测网络,将目标检测对象图像输入至特征对象预测模型中,得到目标检测对象图像中特征对象的特征对象分割图的步骤,包括:
步骤S902,将目标检测对象图像输入至热力图预测网络,得到与目标检测对象图像对应的特征对象热力点图。
其中,热力图预测网络是用于计算目标检测对象图像中各个像素点属于特征对象的热力值的网络模型。这里的热力图预测网络是已训练好的网络模型,可直接用于计算目标检测对象图像中各个像素点属于特征对象的热力值。其中,热力值是指目标检测图像中各个像素点属于特征对象的概率值。其中,热力图预测网络可以采用全卷积网络结构FCN、卷积神经网络结构U-net、Linknet网络结构等。
其中,特征对象热力点图是描述目标检测对象图像的各个像素点属于目标检测对象的热力值(即概率值),可根据特征对象热力点图描述的各个像素点的热力值进行轮廓提取得到特征对象所在区域。
步骤S904,根据特征对象热力点图获取目标检测对象图像中各个像素点属于特征对象的热力值。
步骤S906,根据热力值,从特征对象热力点图中确定特征对象所在区域,得到特征对象分割图。
其中,在获取到特征对象热力点图后,可获取目标检测对象图像中各个像素点属于特征对象的热力值,并根据各个像素点的热力值进行轮廓提取确定特征对象所在区域,得到特征对象分割图。
具体地,从特征对象热力点图中获取各个像素点的热力值后,具体可以利用分水岭算法,对特征对象热力点图进行轮廓提取确定特征对象的所在区域,得到特征对象分割图;其中特征对象分割图可以是二值图,在利用分水岭算法对特征对象热力点图进行轮廓提取确定特征对象的所在区域后,可以将特征对象热力点图中特征对象所在区域的像素点的像素值设置为0,实现在视觉上显示为白色,将目标检测对象图像中非特征对象所在区域的像素点的像素值设置为255,实现在视觉上显示为黑色。
进一步地,从特征对象热力点图中获取各个像素点的热力值后,具体还可以对根据预设的热力值阈值,对特征对象热力点图直接进行二值化处理,以确定特征对象的所在区域,得到特征对象分割图。具体可以是将将热力值大于预设热力值阈值的像素点的像素值设置为0,实现在视觉上显示为白色,将热力值小于或者等于预设热力值阈值的像素点的像素值设置为255,实现在视觉上显示为黑色。
在一个实施例中,特征对象预测模型如图9b所述,其中,热力图预测网络为LinkNet网络结构,该LinkNet网络结构如图9c所示,LinkNet网络结构中,每个编码器(EncoderBlock)与解码器(DecoderBlock)相连接。以目标检测对象为乳腺导管为例,如图9c所示,将乳腺导管对应的目标检测对象图像输入至目标对象检测模型中,首先通过编码器对输入的目标检测对象图像进行编码压缩,得到维度较低的低层语义特征信息,如颜色、亮度等。与编码器连接的是解码器,将编码器输出的低层语义特征信息输入至解码器中,解码器对低层语义特征信息行解码运算,输出与目标检测对象图像原尺寸一样的特征对象分割图,在特征对象分割图中,白色区域为乳腺导管内细胞所在区域,黑色区域为背景或乳腺导管的间质。其中,LinkNet网络结构中编码器的输入连接到对应解码器的输出上,在解码器输出特征对象分割图之前,编码器可以将低层语义特征信息融入到解码器中,使得解码器融合了低层语义特征信息和高层语义特征信息,可有效减少降采样操作时丢失的空间信息,而且解码器是共享从编码器的每一层学习到的参数,可有效减少解码器的参数。
在一个实施例中,如图10所示,步骤S208根据目标检测对象图像以及特征对象分割图,获取目标检测对象的量化特征信息,包括:
步骤S1002,从特征对象分割图中确定特征对象所在区域;
步骤S1004,根据特征对象所在区域,在目标检测对象图像中截取特征对象的区域图像。
其中,区域图像是指在目标检测对象图像中截取到的特征对象的图像数据。
步骤S1006,根据特征对象的区域图像中各个像素点的像素值,计算目标检测对象的量化特征信息。
其中,量化特征信息可以是特征对象的颜色深浅度,在具体应用中,可以利用特征对象所在区域的像素点的像素值进行量化表示。例如,在医学应用场景中,假设目标检测对象为乳腺导管,特征对象可以为乳腺导管内的细胞,其中乳腺导管的特征信息包括细胞核染色值,细胞核染色值可通过获取乳腺导管内的细胞所在区域的像素点的像素值进行量化表示。
由于特征对象分割图一般为二值图像,在特征对象分割图中获取的特征对象所在区域的像素点的像素值难以表征特征对象的颜色深浅度。因此,在获取到特征对象分割图后,可以从特征对象分割图中确定特征对象所在区域,从而根据在特征对象分割图中的特征对象所在区域,对应的在目标检测对象图像中截取特征对象所在区域的区域图像;然后在特征对象的区域图像中获取各个像素点的像素值,计算目标检测对象的量化特征。其中,根据特征对象的区域图像中各个像素点的像素值,计算目标检测对象的量化特征信息,具体可以是计算区域图像中所有像素点的像素值的平均值,将平均值确定为目标检测对象的量化特征信息。
在一个实施例中,如图11所示,步骤S208根据目标检测对象图像以及特征对象分割图,获取目标检测对象的量化特征信息,包括:
步骤S1102,从特征对象分割图中确定特征对象所在区域的像素点数量;
步骤S1102,获取目标检测对象图像的总像素点数量,计算特征对象所在区域的像素数量与总像素点数量的比值,得到目标检测对象的量化特征信息。
其中,量化特征信息可以是特征对象的形状大小,在具体应用中,可以利用特征对象所在区域的像素点的数量进行量化表示。例如,在医学应用场景中,目标检测对象为乳腺导管,特征对象可以为乳腺导管内的细胞,其中乳腺导管的特征信息包括细胞核的大小,细胞核的大小可通过获取乳腺导管内的细胞所在区域的像素点的数量进行量化表示。可以理解的是,在一张图像中,像素点的数量可等价于在图像中所占面积大小。
具体地,在获取到特征对象分割图后,可以根据特征对象分割图确定特征对象所在区域,并计算特征对象所在区域中的像素点数量;最后,统计目标检测对象图像或特征对象分割图的总像素点数量,通过计算特征对象所在区域的像素数量与所述总像素点数量的比值,确定为目标检测对象的量化特征。
进一步地,在一个实施例中,量化特征信息的获取方式,还包括:从特征对象分割图中确定特征对象所在区域以及特征对象所在区域的面积值,然后对特征对象所在区域进行轮廓提取,并计算特征对象所在区域的轮廓的周长,其中特征对象所在区域的轮廓的周长可以利用特征对象所在区域的轮廓的像素数量表示,进而算出等周长的纯圆形面积值,通过获取等周长的纯圆形面积值和特征对象所在区域的面积的比例,以获得特征对象在圆形度上的量化特征信息。
在一个实施例中,如图12所示,特征对象预测模型的训练步骤,包括:
步骤S1202,获取样本检测对象图像,以及样本检测对象图像中样本特征对象的轮廓区域标注图。
其中,样本检测对象图像是用来训练特征对象预测模型的图像,其中样本检测对象图像中包括多个样本特征对象;样本检测对象图像中样本特征对象的轮廓区域标注图是指已标注出样本特征对象所在区域,与样本检测对象图像是一一对应的。进一步地,样本特征对象的轮廓区域标注图可通过专业的标注人员进行标注,也可以是公开的样本检测对象数据集。在医学应用场景中,样本检测对象图像可以是单个机体组织的图像,样本特征对象的轮廓区域标注图可以是标注了细胞(或细胞核)所在的区域的图像。
步骤S1204,根据样本特征对象的轮廓区域标注图获取对应的样本特征对象热力点图。
其中,在获取到样本特征对象的轮廓区域标注图后,将样本特征对象的轮廓区域标注图转换为样本特征对象热力点图。其中,样本特征对象热力点图描述了在样本检测对象图像中各个像素点属于样本特征对象的概率值。此处的样本特征对象热力点图可以理解为标准的热力点图,准确描述了在样本检测对象图像中各个像素点属于样本特征对象的概率值。
具体地,根据样本特征对象的轮廓区域标注图获取对应的样本特征对象热力点图,具体可以是将样本特征对象的轮廓区域标注图中样本特征对象所在区域的像素点上的概率值确定为1,将将样本特征对象的轮廓区域标注图中非样本特征对象所在区域的像素点上的概率值确定为0;也可以是确定样本特征对象的轮廓区域标注图中样本特征对象所在区域的中心像素点,将该中心像素点上的概率值设置为1,同时将样本特征对象轮廓上的轮廓像素点的概率值设置的为预定值,例如可以设置为0.5,然后利用插值法设置在样本特征对象所在区域内,中心像素点与轮廓像素点间的各个像素点上的概率值,可以理解的是,以中心像素点为起点,在样本特征对象所在区域内的像素点上的概率值逐渐降低,到达样本特征对象轮廓上的轮廓像素点时,轮廓像素点的概率值为预定值。
步骤S1206,将样本检测对象图像输入至预先构建的特征对象预测模型的热力图预测网络,得到与样本检测对象图像对应的特征对象热力点预测图。
其中,将获取到的样本检测对象图像输入至特征对象预测模型的热力图预测网络,热力图预测网络的网络结构包括但不限于编码层和解码层,热力图预测网络通过编码层将各个样本检测对象图像进行编码压缩,提取各个样本检测对象图像中维度更低的低层语义特征信息,再将提取出的各个低层语义特征信息通过解码层进行解码运算,计算样本检测对象图像中各个像素点属于特征对象的概率值,从而得到特征对象热力点预测图。其中,特征对象热力点预测图中描述了样本检测对象图像中各个像素点属于样本特征对象的概率值。
步骤S1208,根据特征对象热力点预测图以及样本特征对象热力点图,计算特征对象预测模型的损失值。
步骤S1210,根据特征对象预测模型的损失值,对特征对象预测模型的热力图预测网络进行训练,直到达到收敛条件,得到训练后的特征对象预测模型。
具体地,特征对象热力点预测图中描述了样本检测对象图像中各个像素点属于样本特征对象的概率值;而在样本特征对象热力点图中同样描述了各个像素点的概率值属于特征对象的概率值,且认为样本特征对象热力点图中标注的概率值准确描述了在样本检测对象图像中各个像素点属于样本特征对象的概率。因此,可根据特征对象热力点预测图中各个像素点属于训练目标检测对象的概率值,和样本特征对象热力点图中的各个像素点的概率值计算得到损失值,例如可根据特征对象热力点预测图中各个像素点属于训练目标检测对象的概率值,和样本特征对象热力点图中的各个像素点的概率值,计算特征对象热力点预测图和样本特征对象热力点图的距离值,将该距离值确定为损失值;也可以根据特征对象热力点预测图中各个像素点属于训练目标检测对象的概率值,和样本特征对象热力点图中的各个像素点的概率值,利用softmax函数计算得到损失值。
进一步地,在计算得到特征对象预测模型的损失值后,根据损失值对特征对象预测模型的热力图预测网络进行训练,对特征对象预测模型的热力图预测网络的网络参数进行调整,直至满足收敛条件,得到训练后的特征对象预测模型。其中,收敛条件可根据实际需求进行设置或者调整,例如当训练损失值达到最小时,则可认为满足收敛条件,或者当损失值无法再发生变化时,则可认为满足收敛条件。
具体地,在医学应用场景中,基于网上公开的样本检测对象数据集(Multi-organNucleusSegmentationChallenge)对特征对象预测模型进行训练后,特征对象预测模型对细胞的分割准确度可达到0.6632。
在一个实施例中,如图13所示,目标检测对象分割模型的训练步骤,包括:
步骤S1302,获取样本图像,以及样本图像中样本检测对象的轮廓区域标注图。
其中,特征对象预测模型与目标检测对象分割模型是分别单独训练的。其中,目标检测对象分割模型的训练过程具体可以是,先获取样本图像以及样本对象中样本检测对象的轮廓区域标注图。其中,样本图像是用来训练目标检测对象分割模型的图像,其中样本图像中包括一个或多个样本检测对象;样本检测对象的轮廓区域标注图是指已标注出样本检测对象所在区域的二值图,与样本图像是一一对应的。进一步地,样本检测对象的轮廓区域标注图可通过专业的标注人员进行标注。
在一个实施例中,在医学应用场景中,样本图像可以是完整的病理切片图像,样本检测对象可以是的机体器官、组织或细胞等,样本图像中样本检测对象的轮廓区域标注图可以是标注了样本检测对象(例如机体组织)所在的区域的轮廓位置的图像,例如样本图像可以是乳腺组织病理图像,轮廓区域标注图可以是已标注出乳腺导管所在区域的轮廓位置的乳腺组织病理图像。
步骤S1304,将样本图像输入至预先构建的检测对象分割模型中,得到与样本图像对应的样本检测对象预测图。
其中,在获取到样本图像以及与样本图像对应的样本检测对象的轮廓区域标注图后,将获取到的样本图像输入至检测对象分割模型,检测对象分割模型的网络结构包括但不限于编码层和解码层,检测对象分割模型通过编码层将各个样本图像进行编码压缩,提取各个样本图像中维度更低的低层语义特征信息,再将提取出的各个低层语义特征信息通过解码层进行解码运算,计算样本图像中各个像素点属于样本检测对象的概率值,从而根据概率值判断各个像素点是否属于样本检测对象,得到样本检测对象预测图。其中,样本检测对象预测图中直观地描述了样本图像中各个像素点是否属于样本检测对象的结果,展现了样本检测对象所在的区域。
步骤S1306,根据样本检测对象预测图与样本检测对象的轮廓区域标注图,计算检测对象分割模型的损失值。
其中,样本检测对象预测图中描述了样本检测对象所在区域;而样本检测对象的轮廓区域标注图标注了样本检测对象所在区域;因此,检测对象分割模型的损失值,具体可以获取样本检测对象预测图中样本检测对象所在区域的区域信息(例如区域位置坐标),以及样本检测对象的轮廓区域标注图中样本检测对象所在区域的区域信息(例如区域位置坐标),通过计算两者区域信息的差值作为检测对象分割模型的损失值。
进一步地,为了加强对目标检测对象的边缘响应,可以构建样本检测对象的边缘信息来计算损失值。也就是说,也可以是获取样本检测对象预测图中样本检测对象所在区域的轮廓信息(例如轮廓所在的位置坐标),以及样本检测对象的轮廓区域标注图中样本检测对象所在区域的轮廓信息(例如轮廓所在的位置坐标),然后通过计算两个轮廓信息的差值作为检测对象分割模型的损失值。
进一步地,还可以是先获取样本检测对象预测图中样本检测对象所在区域的区域信息和轮廓信息,以及样本检测对象的轮廓区域标注图中样本检测对象所在区域的区域信息和轮廓信息,在计算到两个区域信息的差值以及两个轮廓信息的差值以后,将区域信息的差值以及轮廓信息的差值的和值确定为检测对象分割模型的损失值。
进一步地,样本检测对象预测图中描述了样本图像中各个像素点属于样本检测对象的概率值;而样本检测对象的轮廓区域标注图所标注的样本检测对象所在区域的各个像素点百分之百属于样本检测对象,可将标注的样本检测对象所在区域的各个像素点的概率值确定为1,标注的非样本检测对象所在区域的各个像素点的概率值确定为0。因此,还可根据样本检测对象预测图中各个像素点属于训练目标检测对象的概率值,和样本检测对象的轮廓区域标注图中的各个像素点的概率值计算得到训练损失值。
步骤S1308,根据损失值对检测对象分割模型进行训练,直到达到收敛条件,得到目标检测对象分割模型。
其中,在计算得到检测对象分割模型的损失值后,根据损失值对检测对象分割模型进行训练,调整检测对象分割模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。其中,收敛条件可根据实际需求进行设置或者调整,例如当损失值达到最小时,则可认为满足收敛条件,或者当值无法再发生变化时,则可认为满足收敛条件。
在一个实施例中,如图14所示,一种基于人工智能的对象分类方法,包括:
步骤S1402,获取乳腺组织病理图像,其中乳腺组织病理图像包括乳腺导管。
其中,乳腺组织病理图像是指医学影像设备拍摄的图像,可以是全视野数字病理切片图像,医学影像设备包括但不限于数字病理切片扫描仪、数字切片显微镜等等。在具体的实际应用场景中,可通过乳腺组织病理图像得知目标检测对象的具体所在的位置,而在实际应用场景中,乳腺组织病理图像中的目标检测对象可以是但不限于乳腺导管。
步骤S1404,从乳腺组织病理图像中,分割出乳腺导管的乳腺导管图像。
其中,在获取到乳腺组织病理图像以后,可从乳腺组织病理图像中将乳腺导管所在区域的区域图像分割出来,该区域图像即为乳腺导管图像。
具体地,从乳腺组织病理图像中分割出乳腺导管的乳腺导管图像,具体可以是将乳腺组织病理图像输入至用于图像分割的深度学习模型中,通过深度学习模型预测乳腺导管所在区域,然后根据预测得到的乳腺导管所在区域从乳腺组织病理图像中截取乳腺导管所在区域的区域图像,作为目标检测对象的目标检测对象图像。
进一步地,在实际应用过程中,乳腺组织病理图像通常是在40倍镜或20倍镜下获取的数字病理切片图像,数据量巨大,为了减少数据处理量、提高数据处理速率,可以将40倍镜或20倍镜下获取的乳腺组织病理图像缩放为10倍镜大小或5倍镜大小的乳腺组织病理图像,并通过10倍镜大小或5倍镜大小的乳腺组织病理图像获取乳腺导管所在区域,从而对应的在原始的40倍镜大小或20倍镜大小的乳腺组织病理图像中切割出乳腺导管所在区域的区域图像,作为目标检测对象的目标检测对象图像。
进一步地,还可以将乳腺组织病理图像按照预设的切割规则切割为多个乳腺组织病理子图像,然后分别获取各个乳腺组织病理子图像中乳腺导管所在区域,最后,将各个乳腺组织病理子图像中乳腺导管所在区域的结果按照切割规则进行拼接,获取整图乳腺组织病理图像中乳腺导管所在区域的结果。例如,如图7b以及图7c所示,在获取到乳腺组织病理图像以后,将乳腺组织病理图像按照预先设定的如图7b所示的切割规则进行切割,得到6*6块乳腺组织病理子图像。然后,对于各个乳腺组织病理子图像,逐一将乳腺组织病理子图像将像输入至目标检测对象分割模型中,以获取与各个乳腺组织病理子图像对应的乳腺导管子预测图像,例如,将图7b中的乳腺组织病理子图像702输入至目标检测对象分割模型中,目标检测对象分割模型输出如图7c中的乳腺导管子预测图像704。在获得各个乳腺组织病理子图像对应的乳腺导管子预测图像后,再按切割规则将多个乳腺导管子预测图像进行拼接,得到整图的乳腺组织病理图像的乳腺导管预测图,乳腺导管预测图如图7c所示。
步骤S1406,将乳腺导管图像输入至特征对象预测模型中,得到乳腺导管图像中细胞的细胞分割图。
其中,细胞分割图是指与乳腺导管图像尺寸一样的、已标注出细胞所在区域的图像。在一个实施例中,细胞分割图可以是二值图,也就是细胞分割图呈现出只有黑和白的视觉效果。例如,在特征对象分割图中,乳腺导管图像中细胞所在区域可显示为白色,非细胞所在区域可显示为黑色。
其中,特征对象预测模型是用于判断乳腺导管图像中各个像素点是否属于细胞,以输出细胞分割图的网络模型。这里的特征对象预测模型是已训练好的网络模型,可直接用于判断乳腺导管图像中各个像素点是否属于细胞,输出特征对象分割图。其中,特征对象预测模型可以采用全卷积网络结构FCN、卷积神经网络结构U-net等网络结构,在此不做限定。具体地,特征对象预测模型中包括但不限于编码层和解码层,编码层是用来对乳腺导管图像进行编码压缩的,提取维度更低的低层语义特征图,而解码层是用来对编码层输出的低层语义特征图进行解码运算,输出与乳腺导管图像尺寸一样的细胞分割图。
进一步地,在一个实施例中,特征对象预测模型可以包括热力图预测网络,通过将乳腺导管图像输入至所述热力图预测网络,得到与乳腺导管图像对应的细胞热力点图,然后根据细胞热力点图获取在乳腺导管图像中各个像素点属于细胞的热力值,最后根据乳腺导管图像中各个像素点属于细胞的热力值,从细胞热力点图确定细胞所在区域,得到细胞分割图。具体地,如图9b所述,将乳腺导管图像作为目标检测对象图像输入至特征对象预测模型中,首先通过热力图预测网络输出与乳腺导管图像原尺寸一样的特征对象热力点图,即细胞热力点图,其中细胞热力点图各个像素点标识在乳腺导管图像中对应像素点属于细胞的热力值;然后,根据细胞热力点图上各个像素点上的热力值,利用分水岭算法对细胞热力点图进行轮廓提取确定细胞的所在区域,得到细胞分割图。其中,热力图预测网络为LinkNet网络结构,LinkNet网络结构中,每个编码器(EncoderBlock)与解码器(DecoderBlock)相连接。进一步地,在根据该热力值获取到细胞的所在区域后,可将细胞热力点图中细胞所在区域的像素点的像素值设置为0,实现在视觉上显示为白色,将细胞热力点图中非细胞所在区域的像素点的像素值设置为255,实现在视觉上显示为黑色。
步骤S1408,根据乳腺导管图像以及细胞分割图,获取细胞内特征信息以及筛孔特征信息。
其中,细胞内特征信息以及筛孔特征信息是指乳腺导管中细胞的各项特征实现量化后的信息,例如细胞内特征信息包括但不限于乳腺导管中细胞数量、细胞大小、细胞圆形度以及细胞染色值,筛孔特征信息包括但不限于乳腺导管内筛孔大小以及细胞质染色值。
其中,在获取到乳腺导管图像,以及与乳腺导管图像对应的细胞分割图,可根据乳腺导管图像以及细胞分割图的图像数据,计算乳腺导管中细胞的细胞内特征信息以及筛孔特征信息。
具体地,可以是从细胞分割图中获取细胞所在区域,然后从乳腺导管图像中确定与细胞所在区域相对应的区域,并将该区域的图像确定为细胞区域图像,最后根据细胞区域图像上像素点的信息计算用于表示细胞核染色值的细胞内特征信息以及用于表示细胞质染色值的筛孔特征信息。还可以是从细胞分割图中确定细胞所在区域的像素点数量,然后获取乳腺导管图像的总像素点数量,计算细胞所在区域的像素数量与总像素点数量的比值,得到表示细胞大小的细胞内特征信息以及用于表示筛孔大小的筛孔特征信息。
进一步地,细胞内特征信息的获取方式,还包括:从细胞分割图中确定细胞所在区域以及细胞所在区域的面积值;然后对细胞所在区域进行轮廓提取,计算细胞所在区域的轮廓的像素长度,即得到细胞所在区域的轮廓的周长;最后计算等周长的纯圆形面积值和细胞所在区域的面积值的比例,得到圆形度,以获得细胞在圆形度上的细胞内特征信息。
步骤S1410,根据细胞内特征信息以及筛孔特征信息,对乳腺导管图像进行分类,得到乳腺组织病理图像中乳腺导管的病灶类别信息。
其中,在获取到细胞内特征信息以及筛孔特征信息后,可根据乳腺导管图像的细胞内特征信息以及筛孔特征信息,对乳腺导管图像进行分类,以获取乳腺组织病理图像中各个乳腺导管的病灶类别信息。
具体地,根据细胞内特征信息以及筛孔特征信息对乳腺导管图像进行分类,可以是将乳腺导管图像的细胞内特征信息以及筛孔特征信息输入至已经过训练的分类器中,利用分类器对乳腺导管图像进行分类,其中,分类器可以采用基于机器学习的分类器,例如SVM分类器,也可以是基于深度学习的分类器中,例如基于CNN模型构建的分类器。
进一步地,在一个实施例中,分类器的训练具体可以是获取样本乳腺导管图像,以及样本乳腺导管图像对应的标准病灶类别标签,通过将样本乳腺导管图像输入至预先构建的分类器中,得到与样本乳腺导管图像对应的预测病灶类别标签,然后通过对比样本乳腺导管图像的标准病灶类别标签与预测病灶类别标签间计算分类器的损失值,最后根据分类器的损失值对分类器中的参数进行调整,以获取训练后的分类器。
在一个实施例中,从所述乳腺组织病理图像中,分割出所述乳腺导管的乳腺导管图像,具体可以是先将乳腺组织病理图像输入至目标检测对象分割模型,得到乳腺组织病理图像对应的乳腺导管预测图,然后根据乳腺导管预测图像获取在乳腺组织病理图像中乳腺导管所在区域,最后根据乳腺导管所在区域对乳腺组织病理图像进行分割,得到像乳腺导管图像。其中,目标检测对象分割模型是用于判断乳腺组织病理图像中各个像素点是否属于乳腺导管的网络模型,以输出乳腺导管预测图。这里的特征对象分割模型是已训练好的网络模型。具体地,目标检测对象分割模型如图5b所示,包括但不限于编码层和解码层,编码层是用来对乳腺组织病理图像进行编码压缩的,提取维度更低的低层语义特征图,而解码层是用来对编码层输出的低层语义特征图进行解码运算,输出与乳腺组织病理图像尺寸一样的乳腺导管预测图。
进一步地,在一个实施例中,乳腺导管预测图可以是二值图,也就是第一乳腺导管预测图呈现出只有黑和白的视觉效果。例如,在乳腺导管预测图中,乳腺导管所在区域可显示为白色,非乳腺导管所在区域(例如背景、间质)可显示为黑色。具体地,将乳腺组织病理图像输入至目标检测对象分割模型,得到待处理图像对应的乳腺导管预测图,可以是通过目标检测对象分割模型计算乳腺组织病理图像中各个像素点属于乳腺导管的概率值,从而根据概率值将乳腺组织病理图像中各个像素点进行分类,得到属于乳腺导管的像素点以及不属于乳腺导管像素点,然后将属于乳腺导管的像素点的灰度值设置为0,将不属于乳腺导管的像素点的灰度至设置为255,得到目标检测对象所在区域可显示为白色、非目标检测对象所在区域可显示为黑色的第一目标检测对象。
在一个实施例中,如图15所示,一种医学影像设备,包括:
显微镜扫描仪1502,用于获取乳腺组织病理图像;
存储器1504,存储器中存储有计算机可读指令;
处理器1506,计算机可读指令被处理器执行是,使得处理器执行以下步骤:从乳腺组织病理图像中,分割出乳腺导管的乳腺导管图像;将乳腺导管图像输入至特征对象预测模型中,得到乳腺导管图像中细胞的细胞分割图;根据乳腺导管图像以及细胞分割图,获取细胞内特征信息以及筛孔特征信息;根据细胞内特征信息以及筛孔特征信息,对乳腺导管图像进行分类,得到乳腺组织病理图像中乳腺导管的病灶类别信息;
显示器1508,用于显示乳腺组织病理图像以及乳腺组织病理图像中乳腺导管的病灶类别信息。
具体地,医学影像设备可以包括显微镜扫描仪1502、存储器1504、处理器1506和显示器1508。显微镜扫描仪1502将采集到的乳腺组织病理图像发送至存储器1504,存储器中存储有计算机可读指令,计算机可读指令被处理器1506执行时,使得处理器1506执行以下步骤:从乳腺组织病理图像中,分割出乳腺导管的乳腺导管图像;将乳腺导管图像输入至特征对象预测模型中,得到乳腺导管图像中细胞的细胞分割图;根据乳腺导管图像以及细胞分割图,获取细胞内特征信息以及筛孔特征信息;根据细胞内特征信息以及筛孔特征信息,对乳腺导管图像进行分类,得到乳腺组织病理图像中乳腺导管的病灶类别信息。最后,乳腺组织病理图像以及乳腺组织病理图像中的乳腺导管的病灶类别信息可以在显示器1508上显示,即在显示器1508上的乳腺组织病理图像中标注出乳腺导管所在区域,并对应显示标注出乳腺导管的病灶类别信息。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图16所示,提供了一种基于人工智能的对象分类装置1600,该装置包括:
图像获取模块1602,用于获取待处理图像,其中待处理图像包括目标检测对象;
图像分割模块1604,用于从待处理图像中,分割出目标检测对象的目标检测对象图像;
特征图像获取模块1606,用于将目标检测对象图像输入至特征对象预测模型中,得到目标检测对象图像中特征对象的特征对象分割图;
特征信息获取模块1608,用于根据目标检测对象图像以及特征对象分割图,获取目标检测对象的量化特征信息;
对象分类模块1610,用于根据量化特征信息对目标检测对象图像进行分类,得到待处理图像中目标检测对象的类别信息。
在一个实施例中,图像分割模块,包括:
对象区域确定单元,用于将所述待处理图像输入至目标检测对象分割模型,得到所述待处理图像对应的第一目标检测对象预测图,根据所述第一目标检测对象预测图获取在所述待处理图像中所述目标检测对象所在区域;
对象区域分割单元,用于根据所述目标检测对象所在区域对所述待处理图像进行分割,得到目标检测对象图像。
在一个实施例中,图像分割模块,还包括图像缩放单元;
图像缩放单元,用于对待处理图像进行缩放,获取缩放图像;
对象区域确定单元,用于将缩放图像输入至目标检测对象分割模型,得到缩放图像的第二目标检测对象预测图;根据第二目标检测对象预测图,获取在缩放图像中的目标检测对象所在区域的区域信息;根据区域信息,获取在待处理图像中的目标检测对象所在区域。
在一个实施例中,对象区域确定单元,具体用于将待处理图像按照切割规则切割为多个待处理子图像;将各待处理子图像输入至目标检测对象分割模型,得到各待处理子图像对应目标检测对象子预测图像;根据切割规则将各目标检测对象子预测图像进行拼接,得到与待处理图像对应的第一目标检测对象预测图。
在一个实施例中,目标检测对象分割模型包括编码层以及解码层;对象区域确定单元,具体用于目标检测对象分割模型将待处理图像输入至编码层,通过编码层对待处理图像进行编码处理,得到待处理图像的图像特征信息;目标检测对象分割模型将图像特征信息输入至解码层中,通过解码层对图像特征信息进行解码运算,得到待处理图像对应的第一目标检测对象预测图。
在一个实施例中,特征图像获取模块,用于将目标检测对象图像输入至热力图预测网络,得到与目标检测对象图像对应的特征对象热力点图;根据特征对象热力点图获取目标检测对象图像中各个像素点属于特征对象的热力值;根据热力值,从特征对象热力点图确定特征对象所在区域,得到特征对象分割图。
在一个实施例中,特征信息获取模块,用于从特征对象分割图中确定特征对象所在区域;根据特征对象所在区域,在目标检测对象图像中截取特征对象的区域图像;根据特征对象的区域图像中各个像素点的像素值,计算目标检测对象的量化特征信息。
在一个实施例中,特征信息获取模块,用于从特征对象分割图中确定特征对象所在区域的像素点数量;获取目标检测对象图像的总像素点数量,计算特征对象所在区域的像素数量与总像素点数量的比值,得到目标检测对象的量化特征信息。
在一个实施例中,基于人工智能的对象分类装置还包括特征对象预测模型训练模块,用于:获取样本检测对象图像,以及样本检测对象图像中样本特征对象的轮廓区域标注图;根据样本特征对象的轮廓区域标注图获取对应的样本特征对象热力点图;将样本检测对象图像输入至预先构建的特征对象预测模型的热力图预测网络,得到与样本检测对象图像对应的特征对象热力点预测图;根据特征对象热力点预测图以及样本特征对象热力点图,计算特征对象预测模型的损失值;根据特征对象预测模型的损失值,对特征对象预测模型的热力图预测网络进行训练,直到达到收敛条件,得到训练后的特征对象预测模型。
在一个实施例中,基于人工智能的对象分类装置还包括目标检测对象分割模型训练模块,用于:获取样本图像,以及样本图像中样本检测对象的轮廓区域标注图;将样本图像输入至预先构建的检测对象分割模型中,得到与样本图像对应的样本检测对象预测图;根据样本检测对象预测图与样本检测对象的轮廓区域标注图,计算检测对象分割模型的损失值;根据损失值对检测对象分割模型进行训练,直到达到收敛条件,得到目标检测对象分割模型。
在一个实施例中,如图17所示,提供了一种基于人工智能的对象分类装置1700,该装置包括:
病理图像获取模块1702,用于获取乳腺组织病理图像,其中乳腺组织病理图像包括乳腺导管;
导管图像获取模块1704,用于从乳腺组织病理图像中,分割出乳腺导管的乳腺导管图像;
细胞区域图获取模块1706,用于将乳腺导管图像输入至特征对象预测模型中,得到乳腺导管图像中细胞的细胞分割图;
导管特征获取模块1708,用于根据乳腺导管图像以及细胞分割图,获取细胞内特征信息以及筛孔特征信息;
导管分类模块1710,用于根据细胞内特征信息以及筛孔特征信息,对乳腺导管图像进行分类,得到乳腺组织病理图像中乳腺导管的病灶类别信息。
图18示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图18所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现基于人工智能的对象分类方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行基于人工智能的对象分类方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图18中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的基于人工智能的对象分类装置可以实现为一种计算机程序的形式,计算机程序可在如图18所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于人工智能的对象分类装置的各个程序模块,比如,图16所示的图像获取模块、图像分割模块、特征图像获取模块、特征信息获取模块和对象分类模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于人工智能的对象分类方法中的步骤。
例如,图18所示的计算机设备可以通过如图16所示的基于人工智能的对象分类装置中的图像获取模块执行步骤S202。计算机设备可通过图像分割模块执行步骤S204。计算机设备可通过特征图像获取模块执行步骤S206。计算机设备可通过特征信息获取模块执行步骤S208。计算机设备可通过对象分类模块执行步骤S210。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述基于人工智能的对象分类方法的步骤。此处基于人工智能的对象分类方法的步骤可以是上述各个实施例的基于人工智能的对象分类方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述基于人工智能的对象分类方法的步骤。此处基于人工智能的对象分类方法的步骤可以是上述各个实施例的基于人工智能的对象分类方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (19)
1.一种基于人工智能的对象分类方法,包括:
获取待处理图像,其中所述待处理图像包括目标检测对象;
将所述待处理图像输入至目标检测对象分割模型,得到所述待处理图像对应的第一目标检测对象预测图,根据所述第一目标检测对象预测图获取在所述待处理图像中所述目标检测对象所在区域;根据所述目标检测对象所在区域对所述待处理图像进行分割,得到目标检测对象图像;根据所述目标检测对象所在区域对所述待处理图像进行分割,得到目标检测对象图像,所述目标检测对象图像是指在所述待处理图像中所述目标检测对象所在区域的区域图像;
将所述目标检测对象图像输入至特征对象预测模型的热力图预测网络中,得到与所述目标检测对象图像对应的特征对象热力点图;
根据所述特征对象热力点图获取所述目标检测对象图像中各个像素点属于特征对象的热力值,所述热力值是指目标检测图像中各个所述像素点属于所述特征对象的概率值,所述特征对象是指在所述目标检测对象中包含所述目标检测对象特征信息的对象;
根据所述热力值,利用分水岭算法对所述特征对象热力点图进行轮廓提取确定所述特征对象所在区域,将特征对象热力点图中所述特征对象所在区域的像素点的像素值设置为0,得到特征对象分割图,并将所述目标检测对象图像中非特征对象所在区域的像素点的像素值设置为255;或,将所述特征对象热力点图中所述热力值大于预设热力值阈值的像素点的像素值设置为0,并将所述热力值小于或者等于所述预设热力值阈值的像素点的像素值设置为255,以确定所述特征对象的所在区域,得到特征对象分割图;所述特征对象分割图为二值图;
根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息,所述量化特征信息是指所述目标检测对象中特征对象的各项特征实现量化后的信息,所述特征对象的各项特征至少包括圆形度,所述特征对象在圆形度上的量化特征信息是通过等周长的纯圆形面积值和所述特征对象所在区域的面积的比例获得的,所述等周长的纯圆形面积值是通过所述特征对象所在区域的轮廓的周长算出的,所述特征对象所在区域的轮廓的周长是对所述特征对象所在区域进行轮廓提取,并计算所述特征对象所在区域的轮廓的周长进而计算的,所述特征对象所在区域的轮廓的周长利用所述特征对象所在区域的轮廓的像素数量表示,所述特征对象所在区域以及所述特征对象所在区域的面积值是从所述特征对象分割图中确定的;
根据所述量化特征信息对所述目标检测对象图像进行分类,得到所述待处理图像中所述目标检测对象的类别信息。
2.根据权利要求1所述的方法,其特征在于,所述将所述待处理图像输入至目标检测对象分割模型,得到所述待处理图像对应的第一目标检测对象预测图的步骤,包括:
将所述待处理图像按照切割规则切割为多个待处理子图像;
将各所述待处理子图像输入至所述目标检测对象分割模型,得到各所述待处理子图像对应目标检测对象子预测图像;
根据所述切割规则将各所述目标检测对象子预测图像进行拼接,得到与所述待处理图像对应的第一目标检测对象预测图。
3.根据权利要求1所述的方法,其特征在于,所述目标检测对象分割模型包括编码层以及解码层;
所述将所述待处理图像输入至目标检测对象分割模型,得到所述待处理图像对应的第一目标检测对象预测图的步骤,包括:
所述目标检测对象分割模型将所述待处理图像输入至编码层,通过所述编码层对所述待处理图像进行编码处理,得到所述待处理图像的图像特征信息;
所述目标检测对象分割模型将所述图像特征信息输入至解码层中,通过所述解码层对所述图像特征信息进行解码运算,得到所述待处理图像对应的第一目标检测对象预测图。
4.根据权利要求1至3任意一项所述的方法,其特征在于,所述根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息的步骤,包括:
从所述特征对象分割图中确定所述特征对象所在区域;
根据所述特征对象所在区域,在所述目标检测对象图像中截取所述特征对象的区域图像;
根据所述特征对象的区域图像中各个像素点的像素值,计算所述目标检测对象的量化特征信息。
5.根据权利要求1至3任意一项所述的方法,其特征在于,根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息的步骤,包括:
从所述特征对象分割图中确定所述特征对象所在区域的像素点数量;
获取所述目标检测对象图像的总像素点数量,计算所述特征对象所在区域的像素数量与所述总像素点数量的比值,得到所述目标检测对象的量化特征信息。
6.根据权利要求1至3任意一项所述的方法,其特征在于,所述特征对象预测模型的训练步骤,包括:
获取样本检测对象图像,以及所述样本检测对象图像中样本特征对象的轮廓区域标注图;
根据所述样本特征对象的轮廓区域标注图获取对应的样本特征对象热力点图;
将所述样本检测对象图像输入至预先构建的特征对象预测模型的热力图预测网络,得到与所述样本检测对象图像对应的特征对象热力点预测图;
根据所述特征对象热力点预测图以及所述样本特征对象热力点图,计算所述特征对象预测模型的损失值;
根据所述特征对象预测模型的损失值,对所述特征对象预测模型的热力图预测网络进行训练,直到达到收敛条件,得到训练后的特征对象预测模型。
7.根据权利要求1所述的方法,其特征在于,所述目标检测对象分割模型的训练步骤,包括:
获取样本图像,以及所述样本图像中样本检测对象的轮廓区域标注图;
将所述样本图像输入至预先构建的检测对象分割模型中,得到与所述样本图像对应的样本检测对象预测图;
根据所述样本检测对象预测图与所述样本检测对象的轮廓区域标注图,计算所述检测对象分割模型的损失值;
根据所述损失值对所述检测对象分割模型进行训练,直到达到收敛条件,得到目标检测对象分割模型。
8.一种基于人工智能的对象分类方法,其特征在于,包括:
获取乳腺组织病理图像,其中所述乳腺组织病理图像包括乳腺导管;
对所述乳腺组织病理图像进行缩放,获取缩放图像,所述缩放图像与所述乳腺组织病理图像中的图像内容是一致的;将所述缩放图像输入至用于图像分割的深度学习模型得到所述缩放图像的乳腺导管预测图;根据所述乳腺导管预测图,获取在所述缩放图像中的乳腺导管所在区域的区域信息;根据所述区域信息,获取在所述乳腺组织病理图像中的乳腺导管所在区域,根据所述乳腺导管所在区域从所述乳腺组织病理图像中截取所述乳腺导管所在区域的区域图像,作为所述乳腺导管的乳腺导管图像,所述乳腺导管图像是指在所述乳腺组织病理图像中所述乳腺导管所在区域的区域图像;
将所述乳腺导管图像输入至特征对象预测模型的热力图预测网络中,得到与所述乳腺导管图像对应的细胞热力点图;
根据所述细胞热力点图获取所述乳腺导管图像中各个像素点属于细胞的热力值,所述热力值是指目标检测图像中各个所述像素点属于所述细胞的概率值;
根据所述热力值,利用分水岭算法对所述细胞热力点图进行轮廓提取确定所述细胞所在区域,将细胞热力点图中所述细胞所在区域的像素点的像素值设置为0,得到细胞分割图,并将目标检测对象图像中非细胞所在区域的像素点的像素值设置为255;或,将所述细胞热力点图中所述热力值大于预设热力值阈值的像素点的像素值设置为0,并将所述热力值小于或者等于所述预设热力值阈值的像素点的像素值设置为255,以确定所述细胞的所在区域,得到细胞分割图;所述细胞分割图为二值图;
根据所述乳腺导管图像以及所述细胞分割图,获取所述细胞内特征信息以及筛孔特征信息,所述细胞内特征信息以及所述筛孔特征信息是指所述乳腺导管中所述细胞的各项特征实现量化后的信息,所述细胞内特征信息至少包括细胞圆形度,所述细胞圆形度是计算等周长的纯圆形面积值和所述细胞所在区域的面积值的比例得到的,所述细胞所在区域的轮廓的周长是对所述细胞所在区域进行轮廓提取,计算所述细胞所在区域的轮廓的像素长度所得到的,所述细胞所在区域以及所述细胞所在区域的面积值是从所述细胞分割图中确定的;
根据所述细胞内特征信息以及筛孔特征信息,对所述乳腺导管图像进行分类,得到所述乳腺组织病理图像中所述乳腺导管的病灶类别信息。
9.一种医学影像设备,其特征在于,包括:
显微镜扫描仪,用于获取乳腺组织病理图像;
存储器,所述存储器中存储有计算机可读指令;
处理器,所述计算机可读指令被所述处理器执行是,使得处理器执行以下步骤:对所述乳腺组织病理图像进行缩放,获取缩放图像,所述缩放图像与所述乳腺组织病理图像中的图像内容是一致的;将所述缩放图像输入至用于图像分割的深度学习模型得到所述缩放图像的乳腺导管预测图;根据所述乳腺导管预测图,获取在所述缩放图像中的乳腺导管所在区域的区域信息;根据所述区域信息,获取在所述乳腺组织病理图像中的乳腺导管所在区域,根据所述乳腺导管所在区域从所述乳腺组织病理图像中截取所述乳腺导管所在区域的区域图像,作为所述乳腺导管的乳腺导管图像,所述乳腺导管图像是指在所述乳腺组织病理图像中所述乳腺导管所在区域的区域图像;将所述乳腺导管图像输入至特征对象预测模型的热力图预测网络中,得到与所述乳腺导管图像对应的细胞热力点图;根据所述细胞热力点图获取所述乳腺导管图像中各个像素点属于细胞的热力值,所述热力值是指目标检测图像中各个所述像素点属于所述细胞的概率值;根据所述热力值,利用分水岭算法对所述细胞热力点图进行轮廓提取确定所述细胞所在区域,将细胞热力点图中所述细胞所在区域的像素点的像素值设置为0,得到细胞分割图,并将目标检测对象图像中非细胞所在区域的像素点的像素值设置为255;或,将所述细胞热力点图中所述热力值大于预设热力值阈值的像素点的像素值设置为0,并将所述热力值小于或者等于所述预设热力值阈值的像素点的像素值设置为255,以确定所述细胞的所在区域,得到细胞分割图;所述细胞分割图为二值图;
根据所述乳腺导管图像以及所述细胞分割图,获取所述细胞内特征信息以及筛孔特征信息,所述细胞内特征信息以及所述筛孔特征信息是指所述乳腺导管中所述细胞的各项特征实现量化后的信息,所述细胞内特征信息以及所述筛孔特征信息是指所述乳腺导管中所述细胞的各项特征实现量化后的信息,所述细胞内特征信息至少包括细胞圆形度,所述细胞圆形度是计算等周长的纯圆形面积值和所述细胞所在区域的面积值的比例得到的,所述细胞所在区域的轮廓的周长是对所述细胞所在区域进行轮廓提取,计算所述细胞所在区域的轮廓的像素长度所得到的,所述细胞所在区域以及所述细胞所在区域的面积值是从所述细胞分割图中确定的;根据所述细胞内特征信息以及筛孔特征信息,对所述乳腺导管图像进行分类,得到所述乳腺组织病理图像中所述乳腺导管的病灶类别信息;
显示器,用于显示所述乳腺组织病理图像以及所述乳腺组织病理图像中所述乳腺导管的病灶类别信息。
10.一种基于人工智能的对象分类装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理图像,其中所述待处理图像包括目标检测对象;
图像分割模块包括对象区域确定单元、对象区域分割单元与图像缩放单元;
所述图像缩放单元,用于对所述待处理图像进行缩放,获取缩放图像,所述缩放图像与所述待处理图像中的图像内容是一致的;
所述对象区域确定单元,用于将所述缩放图像输入至目标检测对象分割模型,得到所述缩放图像的第二目标检测对象预测图;根据所述第二目标检测对象预测图,获取在所述缩放图像中的目标检测对象所在区域的区域信息;根据所述区域信息,获取在所述待处理图像中的目标检测对象所在区域;
所述对象区域分割单元,用于根据所述目标检测对象所在区域对所述待处理图像进行分割,得到目标检测对象图像,所述目标检测对象图像是指在所述待处理图像中所述目标检测对象所在区域的区域图像;
特征图像获取模块,用于将所述目标检测对象图像输入至特征对象预测模型的热力图预测网络中,得到与所述目标检测对象图像对应的特征对象热力点图;根据所述特征对象热力点图获取所述目标检测对象图像中各个像素点属于特征对象的热力值,所述热力值是指目标检测图像中各个所述像素点属于所述特征对象的概率值,所述特征对象是指在所述目标检测对象中包含所述目标检测对象特征信息的对象;根据所述热力值,利用分水岭算法对所述特征对象热力点图进行轮廓提取确定所述特征对象所在区域,将特征对象热力点图中所述特征对象所在区域的像素点的像素值设置为0,得到特征对象分割图,并将所述目标检测对象图像中非特征对象所在区域的像素点的像素值设置为255;或,将所述特征对象热力点图中所述热力值大于预设热力值阈值的像素点的像素值设置为0,并将所述热力值小于或者等于所述预设热力值阈值的像素点的像素值设置为255,以确定所述特征对象的所在区域,得到特征对象分割图;所述特征对象分割图为二值图;
特征信息获取模块,用于根据所述目标检测对象图像以及所述特征对象分割图,获取所述目标检测对象的量化特征信息,所述量化特征信息是指所述目标检测对象中特征对象的各项特征实现量化后的信息,所述特征对象的各项特征至少包括圆形度,所述特征对象在圆形度上的量化特征信息是通过等周长的纯圆形面积值和所述特征对象所在区域的面积的比例获得的,所述等周长的纯圆形面积值是通过所述特征对象所在区域的轮廓的周长算出的,所述特征对象所在区域的轮廓的周长是对所述特征对象所在区域进行轮廓提取,并计算所述特征对象所在区域的轮廓的周长进而计算的,所述特征对象所在区域的轮廓的周长利用所述特征对象所在区域的轮廓的像素数量表示,所述特征对象所在区域以及所述特征对象所在区域的面积值是从所述特征对象分割图中确定的;
对象分类模块,用于根据所述量化特征信息对所述目标检测对象图像进行分类,得到所述待处理图像中所述目标检测对象的类别信息。
11.根据权利要求10所述的装置,其特征在于,所述对象区域确定单元,具体用于将所述待处理图像按照切割规则切割为多个待处理子图像;将各所述待处理子图像输入至所述目标检测对象分割模型,得到各所述待处理子图像对应目标检测对象子预测图像;根据所述切割规则将各所述目标检测对象子预测图像进行拼接,得到与所述待处理图像对应的第一目标检测对象预测图。
12.根据权利要求10所述的装置,其特征在于,所述目标检测对象分割模型包括编码层以及解码层;
所述对象区域确定单元,具体用于所述目标检测对象分割模型将所述待处理图像输入至编码层,通过所述编码层对所述待处理图像进行编码处理,得到所述待处理图像的图像特征信息;所述目标检测对象分割模型将所述图像特征信息输入至解码层中,通过所述解码层对所述图像特征信息进行解码运算,得到所述待处理图像对应的第一目标检测对象预测图。
13.根据权利要求10至12任意一项所述的装置,其特征在于,所述特征信息获取模块,用于从所述特征对象分割图中确定所述特征对象所在区域;根据所述特征对象所在区域,在所述目标检测对象图像中截取所述特征对象的区域图像;根据所述特征对象的区域图像中各个像素点的像素值,计算所述目标检测对象的量化特征信息。
14.根据权利要求10至12任意一项所述的装置,其特征在于,根据特征信息获取模块,用于从所述特征对象分割图中确定所述特征对象所在区域的像素点数量;获取所述目标检测对象图像的总像素点数量,计算所述特征对象所在区域的像素数量与所述总像素点数量的比值,得到所述目标检测对象的量化特征信息。
15.根据权利要求10至12任意一项所述的装置,其特征在于,还包括特征对象预测模型训练模块;
所述特征对象预测模型训练模块,用于获取样本检测对象图像,以及所述样本检测对象图像中样本特征对象的轮廓区域标注图;根据所述样本特征对象的轮廓区域标注图获取对应的样本特征对象热力点图;将所述样本检测对象图像输入至预先构建的特征对象预测模型的热力图预测网络,得到与所述样本检测对象图像对应的特征对象热力点预测图;根据所述特征对象热力点预测图以及所述样本特征对象热力点图,计算所述特征对象预测模型的损失值;根据所述特征对象预测模型的损失值,对所述特征对象预测模型的热力图预测网络进行训练,直到达到收敛条件,得到训练后的特征对象预测模型。
16.根据权利要求10所述的装置,其特征在于,还包括目标检测对象分割模型训练模块;
所述目标检测对象分割模型训练模块,用于获取样本图像,以及所述样本图像中样本检测对象的轮廓区域标注图;将所述样本图像输入至预先构建的检测对象分割模型中,得到与所述样本图像对应的样本检测对象预测图;根据所述样本检测对象预测图与所述样本检测对象的轮廓区域标注图,计算所述检测对象分割模型的损失值;根据所述损失值对所述检测对象分割模型进行训练,直到达到收敛条件,得到目标检测对象分割模型。
17.一种基于人工智能的对象分类装置,其特征在于,所述装置包括:
病理图像获取模块,用于获取乳腺组织病理图像;
导管图像获取模块,用于对所述乳腺组织病理图像进行缩放,获取缩放图像,所述缩放图像与所述乳腺组织病理图像中的图像内容是一致的;将所述缩放图像输入至用于图像分割的深度学习模型得到所述缩放图像的乳腺导管预测图;根据所述乳腺导管预测图,获取在所述缩放图像中的乳腺导管所在区域的区域信息;根据所述区域信息,获取在所述乳腺组织病理图像中的乳腺导管所在区域,根据所述乳腺导管所在区域从所述乳腺组织病理图像中截取所述乳腺导管所在区域的区域图像,作为所述乳腺导管的乳腺导管图像,所述乳腺导管图像是指在所述乳腺组织病理图像中所述乳腺导管所在区域的区域图像;
细胞区域图获取模块,用于将所述乳腺导管图像输入至特征对象预测模型的热力图预测网络中,得到与所述乳腺导管图像对应的细胞热力点图;根据所述细胞热力点图获取所述乳腺导管图像中各个像素点属于细胞的热力值,所述热力值是指目标检测图像中各个所述像素点属于所述细胞的概率值;根据所述热力值,利用分水岭算法对所述细胞热力点图进行轮廓提取确定所述细胞所在区域,将细胞热力点图中所述细胞所在区域的像素点的像素值设置为0,得到细胞分割图,并将目标检测对象图像中非细胞所在区域的像素点的像素值设置为255;或,将所述细胞热力点图中所述热力值大于预设热力值阈值的像素点的像素值设置为0,并将所述热力值小于或者等于所述预设热力值阈值的像素点的像素值设置为255,以确定所述细胞的所在区域,得到细胞分割图;所述细胞分割图为二值图;
导管特征获取模块,用于根据所述乳腺导管图像以及所述细胞分割图,获取所述细胞内特征信息以及筛孔特征信息,所述细胞内特征信息以及所述筛孔特征信息是指所述乳腺导管中所述细胞的各项特征实现量化后的信息,所述细胞内特征信息以及所述筛孔特征信息是指所述乳腺导管中所述细胞的各项特征实现量化后的信息,所述细胞内特征信息至少包括细胞圆形度,所述细胞圆形度是计算等周长的纯圆形面积值和所述细胞所在区域的面积值的比例得到的,所述细胞所在区域的轮廓的周长是对所述细胞所在区域进行轮廓提取,计算所述细胞所在区域的轮廓的像素长度所得到的,所述细胞所在区域以及所述细胞所在区域的面积值是从所述细胞分割图中确定的;根据所述细胞内特征信息以及筛孔特征信息,对所述乳腺导管图像进行分类,得到所述乳腺组织病理图像中所述乳腺导管的病灶类别信息;
导管分类模块,用于显示所述乳腺组织病理图像以及所述乳腺组织病理图像中所述乳腺导管的病灶类别信息。
18.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
19.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010096186.0A CN111311578B (zh) | 2020-02-17 | 2020-02-17 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
PCT/CN2020/126620 WO2021164322A1 (zh) | 2020-02-17 | 2020-11-05 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
US17/686,950 US20220189142A1 (en) | 2020-02-17 | 2022-03-04 | Ai-based object classification method and apparatus, and medical imaging device and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010096186.0A CN111311578B (zh) | 2020-02-17 | 2020-02-17 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311578A CN111311578A (zh) | 2020-06-19 |
CN111311578B true CN111311578B (zh) | 2024-05-03 |
Family
ID=71148408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010096186.0A Active CN111311578B (zh) | 2020-02-17 | 2020-02-17 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220189142A1 (zh) |
CN (1) | CN111311578B (zh) |
WO (1) | WO2021164322A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458830B (zh) * | 2019-03-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器及存储介质 |
CN110689038B (zh) * | 2019-06-25 | 2024-02-02 | 深圳市腾讯计算机系统有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
CN111311578B (zh) * | 2020-02-17 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
CN111461165A (zh) * | 2020-02-26 | 2020-07-28 | 上海商汤智能科技有限公司 | 图像识别方法、识别模型的训练方法及相关装置、设备 |
CN111768382B (zh) * | 2020-06-30 | 2023-08-15 | 重庆大学 | 一种基于肺结节生长形态的交互式分割方法 |
CN111862044B (zh) * | 2020-07-21 | 2024-06-18 | 深圳蓝湘智影科技有限公司 | 超声图像处理方法、装置、计算机设备和存储介质 |
CN112184635A (zh) * | 2020-09-10 | 2021-01-05 | 上海商汤智能科技有限公司 | 目标检测方法、装置、存储介质及设备 |
CN112464706A (zh) * | 2020-10-14 | 2021-03-09 | 鲁班嫡系机器人(深圳)有限公司 | 果实筛选、分拣方法、装置、系统、存储介质及设备 |
CN112541917B (zh) * | 2020-12-10 | 2022-06-10 | 清华大学 | 一种针对脑出血疾病的ct图像处理方法 |
CN112686908B (zh) * | 2020-12-25 | 2024-02-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、信息展示方法、电子设备及存储介质 |
CN112819836A (zh) * | 2021-01-21 | 2021-05-18 | 无锡声亚医疗科技有限公司 | 超声图像中的组织分割方法、超声设备及存储介质 |
CN112614573A (zh) * | 2021-01-27 | 2021-04-06 | 北京小白世纪网络科技有限公司 | 基于病理图像标注工具的深度学习模型训练方法及装置 |
CN113192056A (zh) * | 2021-05-21 | 2021-07-30 | 北京市商汤科技开发有限公司 | 图像检测方法和相关装置、设备、存储介质 |
JP2023015674A (ja) * | 2021-07-20 | 2023-02-01 | 株式会社エビデント | 細胞塊の内部予測方法、プログラム、及び、画像処理装置 |
CN114708362B (zh) * | 2022-03-02 | 2023-01-06 | 北京透彻未来科技有限公司 | 一种基于web的人工智能预测结果的展示方法 |
CN114549296B (zh) * | 2022-04-21 | 2022-07-12 | 北京世纪好未来教育科技有限公司 | 图像处理模型的训练方法、图像处理方法及电子设备 |
CN115147458B (zh) * | 2022-07-21 | 2023-04-07 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN115171217B (zh) * | 2022-07-27 | 2023-03-03 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
WO2024057084A1 (en) * | 2022-09-12 | 2024-03-21 | L&T Technology Services Limited | Method and system for image processing and classifying target entities within image |
CN115661815B (zh) * | 2022-12-07 | 2023-09-12 | 赛维森(广州)医疗科技服务有限公司 | 基于全局特征映射的病理图像分类方法、图像分类装置 |
CN116703929B (zh) * | 2023-08-08 | 2023-10-27 | 武汉楚精灵医疗科技有限公司 | 腺管极性紊乱程度参数的确定方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101517614A (zh) * | 2006-09-22 | 2009-08-26 | 皇家飞利浦电子股份有限公司 | 肺结节的高级计算机辅助诊断 |
CN107748889A (zh) * | 2017-10-16 | 2018-03-02 | 高东平 | 一种乳腺肿瘤超声图像自动分类方法 |
CN109697460A (zh) * | 2018-12-05 | 2019-04-30 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
CN109886282A (zh) * | 2019-02-26 | 2019-06-14 | 腾讯科技(深圳)有限公司 | 对象检测方法、装置、计算机可读存储介质和计算机设备 |
CN109903278A (zh) * | 2019-02-25 | 2019-06-18 | 南京工程学院 | 基于形状直方图的超声乳腺肿瘤形态量化特征提取方法 |
CN109978037A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 图像处理方法、模型训练方法、装置、和存储介质 |
CN110570421A (zh) * | 2019-09-18 | 2019-12-13 | 上海鹰瞳医疗科技有限公司 | 多任务的眼底图像分类方法和设备 |
CN110796656A (zh) * | 2019-11-01 | 2020-02-14 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014132349A1 (ja) * | 2013-02-27 | 2014-09-04 | 株式会社日立製作所 | 画像解析装置、画像解析システム、画像解析方法 |
US10373024B2 (en) * | 2015-04-02 | 2019-08-06 | Hitachi, Ltd. | Image processing device, object detection device, image processing method |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
US9972092B2 (en) * | 2016-03-31 | 2018-05-15 | Adobe Systems Incorporated | Utilizing deep learning for boundary-aware image segmentation |
JP6965343B2 (ja) * | 2016-10-31 | 2021-11-10 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | 制御フィードバックを用いる画像セグメンテーションの方法及びシステム |
CN108319953B (zh) * | 2017-07-27 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 目标对象的遮挡检测方法及装置、电子设备及存储介质 |
US10803328B1 (en) * | 2017-11-15 | 2020-10-13 | Uatc, Llc | Semantic and instance segmentation |
CN108304841B (zh) * | 2018-01-26 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 乳头定位方法、装置及存储介质 |
CN109003260B (zh) * | 2018-06-28 | 2021-02-09 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
CN110047078B (zh) * | 2019-04-18 | 2021-11-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110276411B (zh) * | 2019-06-28 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、设备、存储介质和医疗电子设备 |
CN110610181B (zh) * | 2019-09-06 | 2024-08-06 | 腾讯科技(深圳)有限公司 | 医学影像识别方法及装置、电子设备及存储介质 |
CN110731078B (zh) * | 2019-09-10 | 2021-10-22 | 深圳市汇顶科技股份有限公司 | 曝光时间计算方法、装置及存储介质 |
CN111311578B (zh) * | 2020-02-17 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
-
2020
- 2020-02-17 CN CN202010096186.0A patent/CN111311578B/zh active Active
- 2020-11-05 WO PCT/CN2020/126620 patent/WO2021164322A1/zh active Application Filing
-
2022
- 2022-03-04 US US17/686,950 patent/US20220189142A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101517614A (zh) * | 2006-09-22 | 2009-08-26 | 皇家飞利浦电子股份有限公司 | 肺结节的高级计算机辅助诊断 |
CN107748889A (zh) * | 2017-10-16 | 2018-03-02 | 高东平 | 一种乳腺肿瘤超声图像自动分类方法 |
CN109697460A (zh) * | 2018-12-05 | 2019-04-30 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
CN109903278A (zh) * | 2019-02-25 | 2019-06-18 | 南京工程学院 | 基于形状直方图的超声乳腺肿瘤形态量化特征提取方法 |
CN109886282A (zh) * | 2019-02-26 | 2019-06-14 | 腾讯科技(深圳)有限公司 | 对象检测方法、装置、计算机可读存储介质和计算机设备 |
CN109978037A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 图像处理方法、模型训练方法、装置、和存储介质 |
CN110570421A (zh) * | 2019-09-18 | 2019-12-13 | 上海鹰瞳医疗科技有限公司 | 多任务的眼底图像分类方法和设备 |
CN110796656A (zh) * | 2019-11-01 | 2020-02-14 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021164322A1 (zh) | 2021-08-26 |
US20220189142A1 (en) | 2022-06-16 |
CN111311578A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111311578B (zh) | 基于人工智能的对象分类方法以及装置、医学影像设备 | |
CN112017189B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN110490212B (zh) | 钼靶影像处理设备、方法和装置 | |
JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
CN111738244B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
EP2676224B1 (en) | Image quality assessment | |
Khoshboresh-Masouleh et al. | Multiscale building segmentation based on deep learning for remote sensing RGB images from different sensors | |
CN111369581A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111429460A (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
US12026857B2 (en) | Automatically removing moving objects from video streams | |
CN112419295B (zh) | 医学图像处理方法、装置、计算机设备和存储介质 | |
CN115761222B (zh) | 图像分割方法、遥感图像分割方法以及装置 | |
CN110175974B (zh) | 图像显著性检测方法、装置、计算机设备和存储介质 | |
CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
CN113706481A (zh) | 精子质量检测方法、装置、计算机设备和存储介质 | |
WO2023279799A1 (zh) | 对象识别方法、装置和电子系统 | |
Qin et al. | Face inpainting network for large missing regions based on weighted facial similarity | |
CN115497092A (zh) | 图像处理方法、装置及设备 | |
CN116977315A (zh) | 异常检测模型处理方法、异常对象检测方法、装置和设备 | |
Wang et al. | A novel network for semantic segmentation of landslide areas in remote sensing images with multi-branch and multi-scale fusion | |
CN115471901A (zh) | 基于生成对抗网络的多姿态人脸正面化方法及系统 | |
CN115131807A (zh) | 一种文本处理方法、装置、存储介质及设备 | |
Gao et al. | SAMM: surroundedness and absorption Markov model based visual saliency detection in images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40023658 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |