CN111445487B - 图像分割方法、装置、计算机设备和存储介质 - Google Patents
图像分割方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111445487B CN111445487B CN202010224458.0A CN202010224458A CN111445487B CN 111445487 B CN111445487 B CN 111445487B CN 202010224458 A CN202010224458 A CN 202010224458A CN 111445487 B CN111445487 B CN 111445487B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- temperature value
- pixel point
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003709 image segmentation Methods 0.000 title claims abstract description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 28
- 230000000875 corresponding effect Effects 0.000 claims description 212
- 230000006641 stabilisation Effects 0.000 claims description 17
- 238000011105 stabilization Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000001931 thermography Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiation Pyrometers (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像分割方法、装置、计算机设备和存储介质,其中,所述方法包括:根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像;根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重;将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;根据所述目标去噪热力图像对所述待分割图像进行处理,得到目标分割图像。上述方式,能够实现图像中多个目标的分割。
Description
技术领域
本发明涉及图像分割技术领域,尤其涉及一种图像分割方法、装置、计算机设备和存储介质。
背景技术
受限于隐私保护、个人安全等因素,传统的RGB摄像头无法大规模的应用在具有私密性的家居场景,而红外热成像摄像头具有温度敏感、低分辨率等特点,可考虑将其用于家居场景,以推进家居场景的智能化。
低帧率红外热成像摄像头无法很好的对室内生物的监控,高帧率红外热成像摄像头能够感知更多的动作细节,因此,在家居场景中通常会采用高帧率红外热成像摄像头。虽然高帧率红外热成像摄像头相对于低帧率红外热成像摄像头具有更高的细节感知能力,但是,高帧率红外热成像摄像头也引入了更多的噪声。
由于噪声的引入,当应用场景中存在多个目标人物的时候,根据高帧率红外热成像摄像头拍摄得到的图像通常会在两个距离较近的目标人物之间存在大量噪声,使得难以区分这多个目标人物各自的边界。
发明内容
基于此,有必要针对上述问题,提出一种图像分割方法、装置、计算机设备和存储介质,以实现对图像中相邻的目标人物的分割,区分出相邻的目标人物各自的边界。
第一方面,提供了一种图像分割方法,所述方法包括:获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
第二方面,提供了一种图像分割装置,包括:图像获取模块,用于获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;初步去噪模块,用于根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;权重确定模块,用于根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;目标去噪模块,用于将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;图像分割模块,用于根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
第三方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
第四方面,提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
实施本发明实施例,将具有如下有益效果:
本发明提出了一种图像分割方法、装置、计算机设备和存储介质,为了实现图像中的目标的分割,总共进行了两次去噪,第一次是根据背景热力图像去除了热力图像中的背景和噪声,得到初步去噪图像,相较于根据热力图像去除热力图像中的背景和噪声的方式,由于背景热力图像是只包含背景和噪声的热力图像,即根据背景热力图像可以明确得到只属于背景和噪声的信息,因此,不需要采用复杂的方法对热力图像中的前景、背景和噪声进行区分,即可达到良好的去噪效果,同时,相较于设置固定阈值去噪的方式,这样的方式,由于不同应用场景中背景热力图像不同,因此,能够更好的与实际的应用场景相适应;第二次是根据温度值权重去噪,由于背景、前景、噪声的温度值不同,因此,根据背景、前景以及噪声的温度值确定的各个像素点的温度值权重将不同,因此,可以根据温度值权重将两个目标连接处的噪声去除掉,从而区分出两个目标各自的边界,实现图像分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中图像分割方法的实现流程示意图;
图2为一个实施例中待分割图像和待分割图像对应的热力图像的示意图;
图3为一个实施例中目标去噪热力图像对应的二值图像的示意图;
图4为一个实施例中步骤106的实现流程示意图;
图5为一个实施例中为将单位密度小于预设密度的第四像素点的像素值置为第一预设温度值后得到的红外初步去噪图像的示意图;
图6为一个实施例中图像分割方法的实现流程示意图;
图7为一个实施例中步骤116的实现流程示意图;
图8为一个实施例中图像稳定值的示意图;
图9为一个实施例中背景热力图像的示意图;
图10为一个实施例中步骤114A的实现流程示意图;
图11为一个实施例中步骤104的实现流程示意图;
图12为一个实施例中步骤104A的实现流程示意图;
图13为一个实施例中步骤108的实现流程示意图;
图14为一个实施例中空洞像素点和空洞填充图像的示意图;
图15为一个实施例中图像分割装置的结构框图;
图16为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在一个实施例中,提供了一种图像分割方法,本发明实施例所述的图像分割方法的执行主体为能够实现本发明实施例所述的图像分割方法的设备,该设备可以包括但不限于终端和服务器。其中,终端包括台式终端和移动终端,台式终端包括但不限于台式电脑和车载电脑;移动终端包括但不限于手机、平板、笔记本电脑和智能手表。服务器包括高性能计算机和高性能计算机集群。
如图1所示,本发明实施例所述的图像分割方法,具体包括:
步骤102,获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值。
其中,待分割图像,为包含背景、噪声以及至少两个目标的RGB图像,如图2(a)所示,并且,在待分割图像中该至少两个目标之间的坐标位置处存在噪声,如图2(a)中的白色椭圆圈住的部分。其中,目标包括人物或者动物,在本发明实施例中,目标也称为前景。
其中,热力图像,为反映背景、噪声以及目标的温度情况的图像,热力图像中的像素点的像素值为温度值。如图2(b)所示,每个小方格中的数字代表该坐标位置对应的温度值,从图2(b)可以看出,温度值越高,颜色越浅,温度值越低,颜色越深,通常情况下,目标的温度值高于背景和噪声,即目标的颜色会比背景和噪声更浅,更偏向白色。其中,坐标位置,为像素点在图像中的位置,坐标位置可以用(x,y)表示,其中,x表示横坐标的值,y表示纵坐标的值。
示例性的,图2所示的待分割图像和该待分割图像对应的热力图像均是通过热成像摄像头拍摄得到的,具体的,热成像摄像头通过拍摄实际的应用场景会得到一组摄像头数据,为了更好的呈现这组摄像头数据以便于理解,将该摄像头数据分别转换为RGB形式(待分割图像)和红外形式(热力图像)。
步骤104,根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点。
其中,背景热力图像,为只包含背景和噪声的热力图像;第一像素点,为待分割图像对应的热力图像中的背景和噪声对应的像素点;第一预设温度值,为预先设置的用于区分目标、背景和噪声的温度值,由于第一像素点是背景和噪声对应的像素点,因此,为了对热力图像中的目标、背景以及噪声进行区分,从而实现去噪,需要将第一像素点的像素值与目标对应的像素点的像素值进行区分,由于目标对应的像素点的像素值会比较大,因此,可以将第一预设温度值设置为0,以在热力图像中实现对目标、背景和噪声的明显区分;红外初步去噪图像,为根据第一预设温度值对待分割图像对应的热力图像进行处理后得到的热力图像。
步骤106,根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点。
其中,第二像素点,为像素值不为第一预设温度值的像素点,即第二像素点为目标对应的像素点以及暂时无法明确是否是目标的像素点。其中,温度值权重,是根据温度值确定的,由于温度值权重是根据温度值确定的,而目标、前景以及噪声的温度值具有一定的差异,即通常情况下,目标的温度值大于前景和噪声的温度值,因此,基于此特性,可以将待分割图像中的至少两个目标之间的坐标位置处的噪声去除,实现对该至少两个目标的分割。
步骤108,将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点。
其中,第二预设温度值,为预先设置的温度值,将异常像素点的像素值置为第二预设温度值的目的在于实现对红外初步去噪图像中目标像素点(目标对应的像素点)与异常像素点的温度值的区分,从而实现待分割图像中目标的分割。因此,可以将第二预设温度值设置为0,以实现目标像素点与异常像素点的明显区分,有助于后续实现目标的分割。
其中,第一噪点阈值,为预先设置的用于去除异常像素点的阈值。如上所述,第二像素点为目标对应的像素点以及暂时无法明确是否是目标的像素点,这些暂时无法明确是否是目标的像素点很有可能就是噪声对应的像素点,例如,在两个目标之间的噪声对应的像素点,因此,根据温度值权重与第一噪点阈值的比对结果来明确这些像素点到底是目标还是噪声,从而在确定这些像素点是噪声之后,即确定这些像素点是异常像素点之后,将这些像素点的像素值置为第二预设温度值,实现这些像素点与目标对应的像素点的明显区分。
其中,目标去噪热力图像,为对异常像素点的像素值处理后得到的热力图像,该热力图像中,目标、背景以及噪声已经有了明显的区分。
步骤110,根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
由于得到了目标去噪热力图像,而目标去噪热力图像已经对目标、背景和噪声进行了明显的区分,即在目标去噪热力图像中,背景像素点(背景对应的像素点)和噪声像素点(噪声对应的像素点)的像素值已经置为第一预设温度值(例如,为0)或者置为第二预设温度值(例如,为0),因此,获取到温度值为第一预设温度值和第二预设温度值的像素点的坐标位置,即获取到了背景像素点和噪声像素点的坐标位置,在待分割图像中将相同坐标位置处的像素点的像素值置为第三预设温度值(例如,为0);获取到温度值不为第一预设温度值也不为第二预设温度值的像素点的坐标位置,即获取到了目标像素点的坐标位置,对于待分割图像中相同坐标位置处的像素点,保持这些像素点的像素值不变,得到目标分割图像。
当然,也可以通过建立二值图像的方式得到目标分割图像。具体的,根据所述目标去噪热力图像生成所述目标去噪热力图像对应的二值图像,如图3所示;获取所述二值图像中的非零像素点的坐标位置,在待分割图像中,保持相同坐标位置处像素点的像素值不变;获取所述二值图像中的零值像素点的坐标位置,在待分割图像中,将相同坐标位置处的像素点的像素值置为0,得到目标分割图像。
上述图像分割方法,为了实现图像中的目标的分割,总共进行了两次去噪,第一次是根据背景热力图像去除了热力图像中的背景和噪声,得到初步去噪图像,初步去噪图像可以凸显两个目标,相较于根据热力图像去除热力图像中的背景和噪声的方式,由于背景热力图像是只包含背景和噪声的热力图像,即根据背景热力图像可以明确得到只属于背景和噪声的信息,因此,不需要采用复杂的方法对热力图像中的前景、背景和噪声进行区分,即可达到良好的去噪效果,同时,相较于设置固定阈值去噪的方式,这样的方式,由于不同应用场景中背景热力图像不同,因此,能够更好的与实际的应用场景相适应;第二次是根据温度值权重去噪,由于背景、前景、噪声的温度值不同,因此,根据背景、前景以及噪声的温度值确定的各个像素点的温度值权重将不同,因此,可以根据温度值权重将两个目标连接处的噪声去除掉,从而区分出两个目标各自的边界,实现图像分割。
在一个实施例中,如果只是根据第三像素点(指红外去噪图像中像素值不为第一预设温度值的其中一个像素点)的温度值确定第三像素点对应的温度值权重,那么可能得不到很好的去噪效果,因为,两个目标之间的噪声的温度值可能和两个目标的温度值相差不大,因此,为了增大目标和噪声的差异,需要结合第三像素点的温度值以及与第三像素点邻近的第二像素点的温度值来确定第三像素点对应的温度值权重。如图4所示,步骤106所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,包括:
步骤106A,根据第三像素点的温度值,确定所述第三像素点对应的权重,所述第三像素点对应的权重与所述第三像素点的温度值正相关,所述第三像素点为任一所述第二像素点。
其中,权重,是根据第三像素点的温度值确定的,并且,像素点的权重与像素点的温度值呈正相关,即像素点的温度值越高,该像素点对应的权重越大;相反,像素点的温度值越低,该像素点对应的权重越小。
提供一种权重的确定方法:获取正相关系数;将所述正相关系数与像素点的温度值相乘,得到所述像素点对应的权重。其中,正相关系数,为预先设置的一个常数,例如,正相关系数为10。假设像素点的温度值为5,则该像素点对应的权重为50。
步骤106B,根据所述第三像素点对应的权重,以及,与所述第三像素点邻近的第二像素点的权重,确定所述第三像素点对应的温度值权重。
为了确定与第三像素点邻近的第二像素点,需要首先确定邻近方式,即确定哪些像素点与第三像素点邻近。示例性的,邻近方式包括:4邻域邻近和8邻域邻近,4邻域邻近是指:以第三像素点(x,y)为中心,在该第三像素点上(x,y+1)、下(x,y-1)、左(x-1,y)、右(x+1,y)四个坐标位置的像素点与该第三像素点邻近;8邻域邻近是指:以第三像素点(x,y)为中心,在该第三像素点上左(x-1,y+1)、上(x,y+1)、上右(x+1,y+1)、左(x-1,y)、右(x+1,y)、下左(x-1,y-1)、下(x,y-1)以及下右(x+1,y-1)八个坐标位置的像素点与该第三像素点邻近。在确定邻近方式之后,判断4邻域或8邻域的像素点哪些是第二像素点,从而确定哪些第二像素点与第三像素点邻近。
在确定与第三像素点邻近的第二像素点之后,便可以根据第三像素点对应的权重以及与第三像素点邻近的第二像素点的权重确定第三像素点对应的温度值权重。
提供一种确定第三像素点对应的温度值权重的方法:将第三像素点对应的权重和与第三像素点邻近的第二像素点的权重相加,得到第三像素点对应的温度值权重。例如,第三像素点的权重为200,与第三像素点邻近的第二像素点有2个,这2个第二像素点的权重分别为250和260,于是,得到第三像素点对应的温度值权重为710。
在一个实施例中,为了避免多余的背景或者噪声对后续根据温度值权重去噪的影响,降低去噪准确度,在计算温度值权重之前,需要预先对红外初步去噪图像进行再次去噪。在步骤106所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重之前,还包括:
在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,所述第四像素点为像素值不为所述第一预设温度值的像素点。
其中,第四像素点,为像素值不为所述第一预设温度值的像素点,即第四像素点为目标对应的像素点以及暂时无法明确是否是目标的像素点。由于第四像素点中包括暂时无法明确是否是目标的像素点,因此,需要根据第四像素点的单位密度来明确该第四像素点到底是目标对应的像素点还是背景或者噪声对应的像素点。其中,单位密度,反映某一个第四像素点周围的第四像素点的密集程度。其中,预设密度,为预先设置的单位密度,设置预设密度的目的在于将单位密度小于预设密度的第四像素点的像素值置为第一预设温度值,可以理解的是,单位密度小于预设密度的第四像素点在红外初步去噪图像中显得比较孤立,而真正的目标对应的像素点则会相对比较集中,因此,单位密度小于预设密度的第四像素点极大可能就是背景对应的像素点或者噪点对应的像素点,故而,在红外初步去噪图像中,将这些第四像素点的像素值置为第一预设温度值,从而实现对红外初步去噪图像的去噪。
如图5所示,为将单位密度小于预设密度的第四像素点的像素值置为第一预设温度值后得到的红外初步去噪图像。
在一个实施例中,提供了一种确定单位密度的方法,即以第四像素点为像素点中心确定像素点区域,然后根据该像素点区域中的第四像素点的个数来确定在像素点中心的第四像素点的单位密度。具体的,所述在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,包括:
在所述红外初步去噪图像中,确定以各个第四像素点为像素点中心的各像素点区域;
若第一像素点区域中的第四像素点的个数小于第二噪点阈值,则确定所述第一像素区域中的第四像素点的单位密度小于所述预设密度,在所述红外初步去噪图像中,将所述第一像素点区域对应的像素点中心的像素值置为所述第一预设温度值,所述第一像素点区域为任一像素点区域。
其中,像素点中心,为多个像素点组成的像素点区域的中心;像素点区域,为由多个像素点组成的区域。
需要说明的是,像素点区域可以是方形区域,也可以是非方形的区域。当像素点区域是方形区域时,提供一种确定方形像素点区域的方法:获取像素点中心的坐标位置(x,y);将坐标位置分别为(x,y)、(x-1,y+1)、(x,y+1)、(x+1,y+1)、(x-1,y)、(x+1,y)、(x-1,y-1)、(x,y-1)以及(x+1,y-1)的像素点进行组合,形成像素点中心(x,y)对应的方形像素点区域。当像素点区域是非方形区域时,提供一种确定非方形像素点区域的方法:获取像素点中心的坐标位置(x,y);将坐标位置分别为(x,y)、(x,y+1)、(x,y-1)、(x-1,y)以及(x+1,y)的像素点进行组合,形成像素点中心(x,y)对应的非方形像素点区域。
其中,第二噪点阈值,为预先设置的用于判定像素点区域中的第四像素点的数量多少的阈值。当某一个像素点区域中的第四像素点的个数小于第二噪点阈值时,认为位于该像素点区域中像素点中心位置处的第四像素点比较孤立,在其周围的第四像素点很少,这样的第四像素点认为是背景或者噪声对应的像素点,因此,在红外初步去噪图像中,将这样的第四像素点的像素值置为第一预设温度值,从而实现对红外初步去噪图像的去噪。
在一个实施例中,提供了一种确定背景热力图像的方法,由于待分割图像对应的热力图像中包含目标,但是,帧序与所述热力图像相邻的多张热力图像中必然存在至少一张热力图像只包含有背景和噪声,因为在实际的应用场景中,该应用场景中不可能一直有目标出现,例如,养老院的卫生间的应用场景,养老院的卫生间不可能一直有目标出现,因此,可以从帧序与所述热力图像相邻的多张热力图像中找到只包含背景和噪声的背景热力图像。通过这样的方式找到的背景热力图像必然只包含背景和噪声,因此,根据这样的背景热力图像去去噪能够达到更好的去噪效果。如图6所示,在步骤104所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像之前,还包括:
步骤112,获取所述待分割图像对应的热力图像的邻帧图像集,所述邻帧图像集中包括帧序与所述待分割图像对应的热力图像相邻的多张热力图像。
其中,邻帧图像集,为由多张帧序与待分割图像对应的热力图像相邻的热力图像组成的集合。获取邻帧图像集的目的在于从邻帧图像集中找到背景热力图像。其中,帧序,反映每张图像的顺序,根据拍摄图像的时间的先后顺序确定,拍摄时间越早,帧序越小,拍摄时间越晚,帧序越大,若两张图像的帧序相差不大,则认为两张图像为帧序相邻的图像。例如,热成像摄像头采样率为32Hz,即每秒拍摄32张图像,每张图像认为是一帧,每张图像都对应有一个帧序,32张图像中越早拍摄的图像帧序越小,越晚拍摄的图像帧序越大。
提供一种邻帧图像集的生成方法:获取待分割图像对应的热力图像的生成时间;获取时间间隔;根据待分割图像对应的热力图像的生成时间以及时间间隔生成时间范围;将该时间范围内的热力图像进行组合得到邻帧图像集。例如,待分割图像对应的热力图像的生成时间是10:01:01,时间间隔为11秒,于是,生成的时间范围为:[10:01:01,10:01:12],获取10:01:01到10:01:12之间热成像摄像头拍摄得到的热力图像,将这些热力图像进行组合,得到邻帧图像集。
步骤114,根据所述邻帧图像集确定所述背景热力图像。
由于实际的应用场景中必然存在只有背景的时候,因此,从邻帧图像集中搜索背景热力图像是能够实现的。
在有目标进入到应用场景时,热力图像整体的温度值会比较高,但是,在没有目标进入的时候,热力图像整体的温度值会相对更低的,因此,提供一种根据邻帧图像集确定背景热力图像的方法:对于邻帧图像集中每张热力图像,计算该热力图像中各个坐标位置的温度值的和,将温度值的和最小的热力图像作为背景热力图像。
在一个实施例中,当应用场景中没有出现目标的时候,整个应用场景是静止的,只有在目标出现的时候,才认为应用场景为非静止的,当应用场景是静止的时候,拍摄的热力图像的温度值会比较稳定,即热力图像中各个坐标位置的温度值不会出现大幅度变动,当应用场景是非静止的时候,拍摄的热力图像必然会出现一定的波动,即热力图像中各个坐标位置的温度值会出现一定的变动,因此,可以根据热力图像中温度值的的稳定情况来搜索背景热力图像。如图7所示,步骤114所述根据所述邻帧图像集确定所述背景热力图像,包括:
步骤114A,计算所述邻帧图像集的每张热力图像对应的图像稳定值,所述图像稳定值用于反映热力图像中的温度值的波动情况。
其中,图像稳定值,用于反映热力图像中温度值的波动情况,当应用场景中出现目标的时候,热力图像中的温度值会出现一定的波动,即某些坐标位置处的温度值会突然变大;当应用场景中没有目标出现的时候,红外图像中的温度值不会出现大幅度波动,各个坐标位置处的温度值表现的比较稳定,不会突然变大或变小,因此,热力图像的图像稳定值可以根据热力图像中各个坐标位置对应的温度值确定,例如,首先求得热力图像中各个坐标位置对应的温度值的和,然后根据温度值的和以及热力图像中像素点的总个数求得平均温度值,最后根据各个坐标位置对应的温度值以及平均温度值求方差,从而将求得的方差作为图像稳定值。
步骤114B,将所述邻帧图像集中图像稳定值最小的热力图像作为所述背景热力图像。
在得到邻帧图像集中各个热力图像对应的图像稳定值之后,即可将邻帧图像集中图像稳定值最小的热力图像作为背景热力图像。如图8所示,图8示了不同时间点(一个时间点对应一张热力图像)的图像稳定值,根据图8可以很容易找到图像稳定值最小的时间点,从而找到背景热力图像。图像稳定值最小说明其是背景热力图像的可能性最大,因此,直接将邻帧图像集中图像稳定值最小的热力图像作为背景热力图像。例如图9所示,为挑选出的背景热力图像。
在一个实施例中,图像是否稳定与相邻帧图像相关,譬如,当应用场景中有目标的时候,由于目标的活动,相邻帧的热力图像呈现的温度值的分布必然不同,最终,计算得到的图像稳定值相对比较大;当应用场景中没有目标只有背景的时候,由于一直没目标活动,相邻帧的热力图像呈现的温度值的分布变化很小,最终计算得到的图像稳定值相对较小,甚至为0。考虑到上述因素,根据相邻帧的温度值的差值的方差来确定图像稳定值,能够有更高的准确度。如图10所示,步骤114A所述计算所述邻帧图像集的每张热力图像对应的图像稳定值,包括:
步骤114A1,计算待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值,所述待处理热力图像为所述邻帧图像集中的任一热力图像,所述邻近热力图像为所述邻帧图像集中与所述待处理热力图像帧序相邻的热力图像。
由于邻帧图像集中有多张热力图像,因此,每次只挑选出其中的一张还未确定图像稳定值的热力图像作为待处理热力图像来进行处理,计算该待处理热力图像对应的图像稳定值。例如,待处理热力图像的帧序为8,与该待处理热力图像帧序相邻的热力图像的帧序为7和9,选择帧序7或9的热力图像作为邻近热力图像。对于坐标位置(x,y),在待处理热力图像中,该坐标位置对应的温度值为T1,在邻近热力图像中,该坐标位置对应的温度值为T2,则温度差值为T1-T2。
步骤114A2,根据所述待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值得到所述待处理热力图像对应的图像方差。
例如,假设图像尺寸为K=M×N,则待处理热力图像对应的图像方差=(1/K)×[(x1-y)2+(x2-y)2+…(xK-y)2],其中,x1到xK为K个温度差值,y为K个温度差值的平均值。
步骤114A3,根据所述待处理热力图像对应的图像方差确定所述待处理热力图像对应的图像稳定值。
示例性的,图像稳定值=图像方差+d,其中,d为一个预先设置的常数,可以根据经验设置,也可以通过统计或者机器学习的方式得到。在本发明实施例中,将d的值设置为0,即直接将计算得到的图像方差作为图像稳定值。
在一个实施例中,由于背景热力图像是从邻帧图像集中找到的只包含背景和噪声的热力图像,因此,根据背景热力图像计算背景阈值,从而根据该背景阈值确定背景像素点和噪声像素点,相较于固定阈值的方式,具有更高的准确度。如图11所示,步骤104所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,包括:
步骤104A,根据所述待分割图像对应的背景热力图像计算背景阈值。
其中,背景阈值,为用于区分待分割图像对应的热力图像中的背景、噪声和目标的温度值的临界值。由于背景和噪声的温度值相对前景更低,所以,小于或等于背景阈值的温度值认为是属于背景和噪声的温度值,而高于背景阈值的温度值则认为是属于目标的温度值,或者是当前无法判定是否是属于目标的温度值。
步骤104B,将像素值与所述背景阈值的差值小于零的像素点确定为所述第一像素点。
由于像素值与背景阈值的差值小于零,说明其是前景的可能性很小,因此,将这些像素点确定为第一像素点,即背景或者噪声对应的像素点。
示例性的,提供一种确定背景阈值的方法:计算背景热力图像中各个坐标位置对应的温度值的和;获取背景热力图像中像素点的总个数;将背景热力图像中各个坐标位置对应的温度值的和除以该总个数得到平均温度值;根据平均温度值确定背景阈值,例如,将平均温度值再加上一个预设的温度值得到背景阈值。
在一个实施例中,如果不考虑热成像摄像头的偏差,那么在得到背景热力图像之后,即可以直接将背景热力图像中最大的温度值作为背景阈值,即此时的分位点为100,但是,通常情况下,热成像摄像头是有一定的偏差的,即,其在拍摄的时候必然会在前景和背景之间产生一定的噪点,这些噪点不利于前景的获取,如果此时还是直接将背景热力图像中的最大的温度值作为背景阈值,那么此时得到的背景阈值可能并不是很准确,因此,为了得到更加准确的背景阈值,需要设置一个合理的分位点来处理热成像摄像头偏差的问题,从而找到最终的背景阈值。具体的,如图12所示,步骤104A所述根据所述待分割图像对应的背景热力图像计算背景阈值,包括:
步骤104A1,将所述待分割图像对应的背景热力图像中的各个像素点的温度值按从小到大进行排序,得到温度值集合,所述温度值集合中的每个温度值都对应一个温度值序号,所述温度值序号与所述温度值序号对应的温度值呈正相关。
例如,温度值集合为{(21,1),(22,2),(23,3)…(30,10)},其中,21到30为温度值,1到10为温度值序号。
步骤104A2,根据预置分位点和所述背景热力图像对应的像素个数确定目标温度值序号。
其中,预置分位点,为预先设置的分位点,预置分位点为0到100之间的一个数。预置分位点可以根据热成像摄像头的偏差的大小来确定,例如,若热成像摄像头的偏差比较大,则预置分位点可以设置的小一些;若热成像摄像头的偏差比较小,则预置分位点可以设置的大一些。其中,背景热力图像对应的像素个数,指背景热力图像中总的像素个数,例如,背景热力图像尺寸为M×N,那么,背景热力图像对应的像素个数为M×N。其中,目标温度值序号,为用于计算背景阈值的目标温度值的温度值序号,目标温度值,为初步确定的背景阈值,该目标温度值为根据目标温度值序号从温度值集合中挑选出来的温度值。
将预置分位点除以100,得到小数分位点(即将预置分位点转换为0到1之间的小数);将所述小数分位点与所述背景热力图像对应的像素个数相乘,得到初步温度值序号;根据所述初步温度值序号确定目标温度值序号。例如,预置分位点为98.5,背景热力图像对应的像素个数为768,则小数分位点为0.958,将0.958余768相乘得到初步温度值序号为756.48,此时,可以确定目标温度值序号为756和/或757。
步骤104A3,根据所述目标温度值序号在所述温度值集合中确定目标温度值,所述目标温度值对应的温度值序号与所述目标温度值序号相关联。
在温度值集合中找到温度值序号为目标温度值序号的温度值,该温度值即为目标温度值,即目标温度值对应的温度值序号为目标温度值序号。
若目标温度值序号只有一个值,则直接将温度值集合中该目标温度值序号对应的温度值作为目标温度值;若目标温度值序号包含两个值,则将温度值集合中目标温度值序号对应的两个温度值的平均值作为目标温度值。例如,若目标温度值序号为756,则温度值集合中第756个温度值为目标温度值;若目标温度值序号为757,则温度值集合中第757个温度值为目标温度值;若目标温度值序号为756和757,则目标温度值为温度值集合中第756和第757个温度值的平均值。
步骤104A4,根据所述目标温度值计算背景阈值。
背景阈值=目标温度值+k,k为一个常数,k可以根据经验、统计或者机器学习的方法得到。示例性的,将k的值设置为0,即背景阈值=目标温度值。
在一个实施例中,目标去噪热力图像是经过去噪的热力图像,去噪过程中可能存在空洞,空洞会大大降低图像质量,因此,为了得到高质量的目标分割图像,需要进行空洞填充。如图13所示,步骤108所述根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像,包括:
步骤108A,生成与所述目标去噪热力图像大小相同的二值图像。
其中,二值图像,为坐标位置的像素值要么是A要么是B的图像,例如,A和B分别是0和1。
示例性的,提供一种生成二值图像的方法:生成与目标去噪热力图像大小相同的空图像,在所述空图像中,各个坐标位置处的像素点的像素值为0;获取目标去噪热力图像中像素值为第一预设温度值和第二预设温度值的像素点的坐标位置,在二值图像中,将相同坐标位置处的像素点的像素值置为A(例如,A为0);获取目标去噪热力图像中像素值不为第一预设温度值也不为第二预设温度值的像素点的坐标位置,在二值图像中,将相同坐标位置处的像素点的像素值置为B(例如,B为1),得到与目标去噪热力图像大小相同的二值图像。
步骤108B,统计所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数。
其中,零值像素点,为像素值为A(例如,A=0)的像素点;非零像素点,为像素值为B(例如,B=1)的像素点。
为了确定空洞,需要首先确定哪些像素点与零值像素点邻近,即需要首先确定邻近方式从而根据该邻近方式判断哪些像素点与零值像素点邻近,从而统计与零值像素点邻近的非零点像素点的个数。邻近的方式包括4邻域邻近或者8邻域邻近,在此不再详述。
步骤108C,根据预设的空洞判断阈值和所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数确定所述二值图像中的空洞像素点。
其中,空洞判断阈值,为预先设置的用于判断空洞的数量值;空洞像素点,指存在于二值图像中的被大量非零像素点包围的零值像素点,空洞像素点被非零像素点包围,如图14(a)所示的空洞像素点。
若二值图像中与零值像素点的坐标位置邻近的非零像素点的个数大于或等于空洞判断阈值,则所述零值像素点为空洞像素点;若二值图像中与零值像素点的坐标位置邻近的非零像素点的个数小于空洞判断阈值,则所述零值像素点不为空洞像素点。
步骤108D,根据所述二值图像中的空洞像素点生成所述二值图像对应的空洞填充图像。
其中,空洞填充图像,为经过了空洞填充操作得到的二值图像,如图14(b)所示。具体的,将空洞像素点的像素值置为非零,例如,置为1,即可实现空洞填充。
步骤108E,根据所述空洞填充图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
在得到空洞填充图像之后,即可根据空洞填充图像对待分割图像进行处理,得到目标分割图像。具体的,获取空洞填充图像中非零像素点的坐标位置,在待分割图像中,保持相同坐标位置处的像素点的像素值不变;获取空洞填充图像中零值像素点的坐标位置,在待分割图像中,将相同坐标位置处的像素点的像素值置为0,从而得到目标分割图像。
如图15所示,提供了一种图像分割装置1500,具体包括:图像获取模块1502,用于获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;初步去噪模块1504,用于根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;权重确定模块1506,用于根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;目标去噪模块1508,用于将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;图像分割模块1510,用于根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
上述图像分割装置,为了实现图像中的目标的分割,总共进行了两次去噪,第一次是根据背景热力图像去除了热力图像中的背景和噪声,得到初步去噪图像,相较于根据热力图像去除热力图像中的背景和噪声的方式,由于背景热力图像是只包含背景和噪声的热力图像,即根据背景热力图像可以明确得到只属于背景和噪声的信息,因此,不需要采用复杂的方法对热力图像中的前景、背景和噪声进行区分,即可达到良好的去噪效果,同时,相较于设置固定阈值去噪的方式,这样的方式,由于不同应用场景中背景热力图像不同,因此,能够更好的与实际的应用场景相适应;第二次是根据温度值权重去噪,由于背景、前景、噪声的温度值不同,因此,根据背景、前景以及噪声的温度值确定的各个像素点的温度值权重将不同,因此,可以根据温度值权重将两个目标连接处的噪声去除掉,从而区分出两个目标各自的边界,实现图像分割。
在一个实施例中,所述权重确定模块1506,具体用于:根据第三像素点的温度值,确定所述第三像素点对应的权重,所述第三像素点对应的权重与所述第三像素点的温度值正相关,所述第三像素点为任一所述第二像素点;根据所述第三像素点对应的权重,以及,与所述第三像素点邻近的第二像素点的权重,确定所述第三像素点对应的温度值权重。
在一个实施例中,所述装置1500,还包括:密度模块,用于在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,所述第四像素点为像素值不为所述第一预设温度值的像素点。
在一个实施例中,所述密度模块,具体用于:在所述红外初步去噪图像中,确定以各个第四像素点为像素点中心的各像素点区域;若第一像素点区域中的第四像素点的个数小于第二噪点阈值,则确定所述第一像素区域中的第四像素点的单位密度小于所述预设密度,在所述红外初步去噪图像中,将所述第一像素点区域对应的像素点中心的像素值置为所述第一预设温度值,所述第一像素点区域为任一像素点区域。
在一个实施例中,所述装置,还包括:邻帧模块,用于获取所述待分割图像对应的热力图像的邻帧图像集,所述邻帧图像集中包括帧序与所述待分割图像对应的热力图像相邻的多张热力图像;根据所述邻帧图像集确定所述背景热力图像。
在一个实施例中,所述邻帧模块,具体用于:计算所述邻帧图像集的每张热力图像对应的图像稳定值,所述图像稳定值用于反映热力图像中的温度值的波动情况;将所述邻帧图像集中图像稳定值最小的热力图像作为所述背景热力图像。
在一个实施例中,所述邻帧模块,具体用于:计算待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值,所述待处理热力图像为所述邻帧图像集中的任一热力图像,所述邻近热力图像为所述邻帧图像集中与所述待处理热力图像帧序相邻的热力图像;根据所述待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值得到所述待处理热力图像对应的图像方差;根据所述待处理热力图像对应的图像方差确定所述待处理热力图像对应的图像稳定值。
在一个实施例中,所述初步去噪模块1504,具体用于:根据所述待分割图像对应的背景热力图像计算背景阈值;将像素值与所述背景阈值的差值小于零的像素点确定为所述第一像素点。
在一个实施例中,所述初步去噪模块1504,具体用于:将所述待分割图像对应的背景热力图像中的各个像素点的温度值按从小到大进行排序,得到温度值集合,所述温度值集合中的每个温度值都对应一个温度值序号,所述温度值序号与所述温度值序号对应的温度值呈正相关;根据预置分位点和所述背景热力图像对应的像素个数确定目标温度值序号;根据所述目标温度值序号在所述温度值集合中确定目标温度值,所述目标温度值对应的温度值序号与所述目标温度值序号相关联;根据所述目标温度值计算背景阈值。
在一个实施例中,所述图像分割模块1510,具体用于:生成与所述目标去噪热力图像大小相同的二值图像;统计所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数;根据预设的空洞判断阈值和所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数确定所述二值图像中的空洞像素点;根据所述二值图像中的空洞像素点生成所述二值图像对应的空洞填充图像;根据所述空洞填充图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
图16示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端或服务器。如图16所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像分割方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行图像分割方法。本领域技术人员可以理解,图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像分割方法可以实现为一种计算机程序的形式,计算机程序可在如图16所示的计算机设备上运行。计算机设备的存储器中可存储组成图像分割装置的各个程序模板。比如,图像获取模块1502、初步去噪模块1504和权重确定模块1506。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
在一个实施例中,所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,包括:根据第三像素点的温度值,确定所述第三像素点对应的权重,所述第三像素点对应的权重与所述第三像素点的温度值正相关,所述第三像素点为任一所述第二像素点;根据所述第三像素点对应的权重,以及,与所述第三像素点邻近的第二像素点的权重,确定所述第三像素点对应的温度值权重。
在一个实施例中,所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重之前,还包括:在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,所述第四像素点为像素值不为所述第一预设温度值的像素点。
在一个实施例中,所述在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,包括:在所述红外初步去噪图像中,确定以各个第四像素点为像素点中心的各像素点区域;若第一像素点区域中的第四像素点的个数小于第二噪点阈值,则确定所述第一像素区域中的第四像素点的单位密度小于所述预设密度,在所述红外初步去噪图像中,将所述第一像素点区域对应的像素点中心的像素值置为所述第一预设温度值,所述第一像素点区域为任一像素点区域。
在一个实施例中,所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像之前,还包括:获取所述待分割图像对应的热力图像的邻帧图像集,所述邻帧图像集中包括帧序与所述待分割图像对应的热力图像相邻的多张热力图像;根据所述邻帧图像集确定所述背景热力图像。
在一个实施例中,所述根据所述邻帧图像集确定所述背景热力图像,包括:计算所述邻帧图像集的每张热力图像对应的图像稳定值,所述图像稳定值用于反映热力图像中的温度值的波动情况;将所述邻帧图像集中图像稳定值最小的热力图像作为所述背景热力图像。
在一个实施例中,所述计算所述邻帧图像集的每张热力图像对应的图像稳定值,包括:计算待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值,所述待处理热力图像为所述邻帧图像集中的任一热力图像,所述邻近热力图像为所述邻帧图像集中与所述待处理热力图像帧序相邻的热力图像;根据所述待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值得到所述待处理热力图像对应的图像方差;根据所述待处理热力图像对应的图像方差确定所述待处理热力图像对应的图像稳定值。
在一个实施例中,所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,包括:根据所述待分割图像对应的背景热力图像计算背景阈值;将像素值与所述背景阈值的差值小于零的像素点确定为所述第一像素点。
在一个实施例中,所述根据所述待分割图像对应的背景热力图像计算背景阈值,包括:将所述待分割图像对应的背景热力图像中的各个像素点的温度值按从小到大进行排序,得到温度值集合,所述温度值集合中的每个温度值都对应一个温度值序号,所述温度值序号与所述温度值序号对应的温度值呈正相关;根据预置分位点和所述背景热力图像对应的像素个数确定目标温度值序号;根据所述目标温度值序号在所述温度值集合中确定目标温度值,所述目标温度值对应的温度值序号与所述目标温度值序号相关联;根据所述目标温度值计算背景阈值。
在一个实施例中,所述根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像,包括:生成与所述目标去噪热力图像大小相同的二值图像;统计所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数;根据预设的空洞判断阈值和所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数确定所述二值图像中的空洞像素点;根据所述二值图像中的空洞像素点生成所述二值图像对应的空洞填充图像;根据所述空洞填充图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
在一个实施例中,所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,包括:根据第三像素点的温度值,确定所述第三像素点对应的权重,所述第三像素点对应的权重与所述第三像素点的温度值正相关,所述第三像素点为任一所述第二像素点;根据所述第三像素点对应的权重,以及,与所述第三像素点邻近的第二像素点的权重,确定所述第三像素点对应的温度值权重。
在一个实施例中,所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重之前,还包括:在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,所述第四像素点为像素值不为所述第一预设温度值的像素点。
在一个实施例中,所述在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,包括:在所述红外初步去噪图像中,确定以各个第四像素点为像素点中心的各像素点区域;若第一像素点区域中的第四像素点的个数小于第二噪点阈值,则确定所述第一像素区域中的第四像素点的单位密度小于所述预设密度,在所述红外初步去噪图像中,将所述第一像素点区域对应的像素点中心的像素值置为所述第一预设温度值,所述第一像素点区域为任一像素点区域。
在一个实施例中,所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像之前,还包括:获取所述待分割图像对应的热力图像的邻帧图像集,所述邻帧图像集中包括帧序与所述待分割图像对应的热力图像相邻的多张热力图像;根据所述邻帧图像集确定所述背景热力图像。
在一个实施例中,所述根据所述邻帧图像集确定所述背景热力图像,包括:计算所述邻帧图像集的每张热力图像对应的图像稳定值,所述图像稳定值用于反映热力图像中的温度值的波动情况;将所述邻帧图像集中图像稳定值最小的热力图像作为所述背景热力图像。
在一个实施例中,所述计算所述邻帧图像集的每张热力图像对应的图像稳定值,包括:计算待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值,所述待处理热力图像为所述邻帧图像集中的任一热力图像,所述邻近热力图像为所述邻帧图像集中与所述待处理热力图像帧序相邻的热力图像;根据所述待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值得到所述待处理热力图像对应的图像方差;根据所述待处理热力图像对应的图像方差确定所述待处理热力图像对应的图像稳定值。
在一个实施例中,所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,包括:根据所述待分割图像对应的背景热力图像计算背景阈值;将像素值与所述背景阈值的差值小于零的像素点确定为所述第一像素点。
在一个实施例中,所述根据所述待分割图像对应的背景热力图像计算背景阈值,包括:将所述待分割图像对应的背景热力图像中的各个像素点的温度值按从小到大进行排序,得到温度值集合,所述温度值集合中的每个温度值都对应一个温度值序号,所述温度值序号与所述温度值序号对应的温度值呈正相关;根据预置分位点和所述背景热力图像对应的像素个数确定目标温度值序号;根据所述目标温度值序号在所述温度值集合中确定目标温度值,所述目标温度值对应的温度值序号与所述目标温度值序号相关联;根据所述目标温度值计算背景阈值。
在一个实施例中,所述根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像,包括:生成与所述目标去噪热力图像大小相同的二值图像;统计所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数;根据预设的空洞判断阈值和所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数确定所述二值图像中的空洞像素点;根据所述二值图像中的空洞像素点生成所述二值图像对应的空洞填充图像;根据所述空洞填充图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
需要说明的是,上述图像分割方法、图像分割装置、计算机设备及计算机可读存储介质属于一个总的发明构思,图像分割方法、图像分割装置、计算机设备及计算机可读存储介质实施例中的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种图像分割方法,其特征在于,包括:
获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;
根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;
根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;
将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;
根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
2.如权利要求1所述的方法,其特征在于,所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,包括:
根据第三像素点的温度值,确定所述第三像素点对应的权重,所述第三像素点对应的权重与所述第三像素点的温度值正相关,所述第三像素点为任一所述第二像素点;
根据所述第三像素点对应的权重,以及,与所述第三像素点邻近的第二像素点的权重,确定所述第三像素点对应的温度值权重。
3.如权利要求1所述的方法,其特征在于,所述根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重之前,还包括:
在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,所述第四像素点为像素值不为所述第一预设温度值的像素点。
4.根据权利要求3所述的方法,其特征在于,所述在所述红外初步去噪图像中,将单位密度小于预设密度的第四像素点的像素值置为所述第一预设温度值,包括:
在所述红外初步去噪图像中,确定以各个第四像素点为像素点中心的各像素点区域;
若第一像素点区域中的第四像素点的个数小于第二噪点阈值,则确定所述第一像素点区域中的第四像素点的单位密度小于所述预设密度,在所述红外初步去噪图像中,将所述第一像素点区域对应的像素点中心的像素值置为所述第一预设温度值,所述第一像素点区域为任一像素点区域。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像之前,还包括:
获取所述待分割图像对应的热力图像的邻帧图像集,所述邻帧图像集中包括帧序与所述待分割图像对应的热力图像相邻的多张热力图像;
根据所述邻帧图像集确定所述背景热力图像。
6.根据权利要求5所述的方法,其特征在于,所述根据所述邻帧图像集确定所述背景热力图像,包括:
计算所述邻帧图像集的每张热力图像对应的图像稳定值,所述图像稳定值用于反映热力图像中的温度值的波动情况;
将所述邻帧图像集中图像稳定值最小的热力图像作为所述背景热力图像。
7.根据权利要求6所述的方法,其特征在于,所述计算所述邻帧图像集的每张热力图像对应的图像稳定值,包括:
计算待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值,所述待处理热力图像为所述邻帧图像集中的任一热力图像,所述邻近热力图像为所述邻帧图像集中与所述待处理热力图像帧序相邻的热力图像;
根据所述待处理热力图像和邻近热力图像中坐标位置相同的像素点的温度差值得到所述待处理热力图像对应的图像方差;
根据所述待处理热力图像对应的图像方差确定所述待处理热力图像对应的图像稳定值。
8.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,包括:
根据所述待分割图像对应的背景热力图像计算背景阈值;
将像素值与所述背景阈值的差值小于零的像素点确定为所述第一像素点。
9.根据权利要求8所述的方法,其特征在于,所述根据所述待分割图像对应的背景热力图像计算背景阈值,包括:
将所述待分割图像对应的背景热力图像中的各个像素点的温度值按从小到大进行排序,得到温度值集合,所述温度值集合中的每个温度值都对应一个温度值序号,所述温度值序号与所述温度值序号对应的温度值呈正相关;
根据预置分位点和所述背景热力图像对应的像素个数确定目标温度值序号;
根据所述目标温度值序号在所述温度值集合中确定目标温度值,所述目标温度值对应的温度值序号与所述目标温度值序号相关联;
根据所述目标温度值计算背景阈值。
10.如权利要求1-4任一项所述的方法,其特征在于,所述根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像,包括:
生成与所述目标去噪热力图像大小相同的二值图像;
统计所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数;
根据预设的空洞判断阈值和所述二值图像中与零值像素点的坐标位置邻近的非零像素点的个数确定所述二值图像中的空洞像素点;
根据所述二值图像中的空洞像素点生成所述二值图像对应的空洞填充图像;
根据所述空洞填充图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
11.一种图像分割装置,其特征在于,包括:
图像获取模块,用于获取待分割图像和所述待分割图像对应的热力图像,所述待分割图像中包括至少两个目标,所述热力图像中的像素点的像素值为温度值;
初步去噪模块,用于根据所述待分割图像对应的背景热力图像,将所述热力图像中的第一像素点的像素值置为第一预设温度值,以得到红外初步去噪图像,所述第一像素点为根据所述背景热力图像确定的背景和噪声对应的像素点;
权重确定模块,用于根据所述红外初步去噪图像中的第二像素点的温度值,确定所述红外初步去噪图像中各第二像素点对应的温度值权重,所述第二像素点为像素值不为所述第一预设温度值的像素点;
目标去噪模块,用于将所述红外初步去噪图像的异常像素点的像素值置为第二预设温度值,以得到目标去噪热力图像,所述异常像素点为温度值权重小于第一噪点阈值的第二像素点;
图像分割模块,用于根据所述目标去噪热力图像对所述待分割图像进行处理,以在所述待分割图像中对所述至少两个目标进行分割,得到目标分割图像。
12.一种计算机设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述图像分割方法的步骤。
13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述图像分割方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010224458.0A CN111445487B (zh) | 2020-03-26 | 2020-03-26 | 图像分割方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010224458.0A CN111445487B (zh) | 2020-03-26 | 2020-03-26 | 图像分割方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111445487A CN111445487A (zh) | 2020-07-24 |
CN111445487B true CN111445487B (zh) | 2023-06-02 |
Family
ID=71648001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010224458.0A Active CN111445487B (zh) | 2020-03-26 | 2020-03-26 | 图像分割方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111445487B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020183565A1 (ja) * | 2019-03-11 | 2020-09-17 | 三菱電機株式会社 | 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 |
CN114758124A (zh) * | 2022-03-30 | 2022-07-15 | 北京奇艺世纪科技有限公司 | 目标对象的遮挡检测方法、装置、设备及计算机可读介质 |
CN114693898B (zh) * | 2022-05-11 | 2023-04-07 | 山东师范大学 | 一种胰腺和肿瘤三维图像分割系统和方法 |
CN116630327B (zh) * | 2023-07-25 | 2023-09-26 | 江苏太湖锅炉股份有限公司 | 基于热力图的锅炉状态异常监测系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887516A (zh) * | 2009-05-14 | 2010-11-17 | 索尼公司 | 静脉成像设备、静脉图像插值方法和程序 |
CN110544258A (zh) * | 2019-08-30 | 2019-12-06 | 北京海益同展信息科技有限公司 | 图像分割的方法、装置、电子设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7728902B2 (en) * | 2006-08-04 | 2010-06-01 | Hitachi Maxell, Ltd. | Imaging device and biometrics authentication apparatus |
-
2020
- 2020-03-26 CN CN202010224458.0A patent/CN111445487B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887516A (zh) * | 2009-05-14 | 2010-11-17 | 索尼公司 | 静脉成像设备、静脉图像插值方法和程序 |
CN110544258A (zh) * | 2019-08-30 | 2019-12-06 | 北京海益同展信息科技有限公司 | 图像分割的方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111445487A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111445487B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN110660066B (zh) | 网络的训练方法、图像处理方法、网络、终端设备及介质 | |
CN109034078B (zh) | 年龄识别模型的训练方法、年龄识别方法及相关设备 | |
EP2849431B1 (en) | Method and apparatus for detecting backlight | |
CN109344742B (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
CN108024107B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111507298B (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
CN109977952B (zh) | 基于局部最大值的候选目标检测方法 | |
CN111968134B (zh) | 目标分割方法、装置、计算机可读存储介质及计算机设备 | |
CN113393540B (zh) | 图像中的色边像素点的确定方法、装置和计算机设备 | |
CN112001983B (zh) | 生成遮挡图像的方法、装置、计算机设备和存储介质 | |
CN111915541B (zh) | 基于人工智能的图像增强处理方法、装置、设备及介质 | |
CN111899246A (zh) | 玻片数字化信息质量检测方法、装置、设备及介质 | |
CN110175974B (zh) | 图像显著性检测方法、装置、计算机设备和存储介质 | |
CN108961316B (zh) | 图像处理方法、装置及服务器 | |
CN112101195A (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
CN111754429B (zh) | 运动矢量后处理方法和装置、电子设备及存储介质 | |
CN111445411B (zh) | 图像去噪方法、装置、计算机设备和存储介质 | |
CN114173062B (zh) | 摄像设备图像处理方法、装置、设备和存储介质 | |
CN110705513A (zh) | 视频特征提取方法、装置、可读存储介质和计算机设备 | |
CN111539975B (zh) | 一种运动目标的检测方法、装置、设备及存储介质 | |
CN112084903A (zh) | 一种更新人脸识别底库照片的方法及系统 | |
CN112053394A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111885371A (zh) | 图像遮挡检测方法、装置、电子设备和计算机可读介质 | |
CN113572983B (zh) | 云端视频的处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |