[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111583293B - 一种面向多色双光子图像序列的自适应图像分割方法 - Google Patents

一种面向多色双光子图像序列的自适应图像分割方法 Download PDF

Info

Publication number
CN111583293B
CN111583293B CN202010393183.3A CN202010393183A CN111583293B CN 111583293 B CN111583293 B CN 111583293B CN 202010393183 A CN202010393183 A CN 202010393183A CN 111583293 B CN111583293 B CN 111583293B
Authority
CN
China
Prior art keywords
image
channel
background model
bimodal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010393183.3A
Other languages
English (en)
Other versions
CN111583293A (zh
Inventor
龚薇
斯科
张睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010393183.3A priority Critical patent/CN111583293B/zh
Publication of CN111583293A publication Critical patent/CN111583293A/zh
Application granted granted Critical
Publication of CN111583293B publication Critical patent/CN111583293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向多色双光子图像序列的自适应图像分割方法。从多色双光子图像序列中选取第k幅至第n幅图像作为训练样本;由训练样本生成初始化的多通道双模态背景模型;对上述多通道双模态背景模型的持续实时更新;利用实时更新的多通道双模态背景模型对实时输入的图像进行分割检测。本发明解决了缺少针对多色双光子图像序列数据特性而专门设计背景建模进而图像分割方法的问题,克服了一些现有方法无法适应与利用多色双光子图像序列数据特性的问题,有效保证了处理的准确性和运算效率。

Description

一种面向多色双光子图像序列的自适应图像分割方法
技术领域
本发明涉及图像数据挖掘技术领域的一种图像处理方法,尤其涉及一种面向多色双光子图像序列的自适应图像分割方法。
背景技术
由于多色双光子成像技术可以同时获取含有多种荧光团的待测样品的高对比度双光子荧光图像,其产生的数据通常是多通道高分辨率的图像序列,因此多色双光子成像数据在理论上比单色双光子成像数据具有更高的信息密度与复杂度。然而,也正是由于上述特性,使得对多色双光子成像数据的分析、处理与挖掘利用比较困难。而且随着数据的快速产生和累积,传统由人工主导的数据分析方式显然已经无法延续,因此亟需开发针对多色双光子成像数据特性的高效自动化数据挖掘方案,有效提升数据的利用率,更好地深度挖掘数据价值。
自适应图像分割就是一种可用于多色双光子图像序列自动化数据挖掘的技术。通过对多色双光子图像序列的数据样本进行学习,先构建出图像序列的背景模型,再通过比较指定图像帧与背景模型的差异,即可快速准确地分割出指定图像帧中的待监测目标成分,进而实现对各种生化指标的全自动监测与检测,以及生理或病理过程的动态跟踪。
然而,专门针对多色双光子图像序列的数据特性而设计的自适应图像分割方法目前还较少。现有方法主要可以分为两大类。
一类方法是来源于传统的针对单幅静态图像的图像分割方法,这种方法的问题在于:将具有时间连贯性的图像序列视为孤立无关的单幅图像进行处理,仅仅利用了单幅图像内部的空间信息,而完全丢失了图像序列的时间维度信息,因此无法充分挖掘并利用多色双光子图像序列中待监测目标的隐含动态性信息。
另一类方法是来源于传统的智能视频监控领域的图像分割方法,这些方法的问题在于:缺少对多色双光子图像序列数据特性的适应与利用。例如,这些方法会在预处理阶段先将彩色图像降维成灰度图像,以提高运算性能。这种处理策略在日常监控场景下是合理的。然而,这种简化数据复杂度的降维必定导致重要彩色信息的丢失,这对于将色彩信息作为优势特征的多色双光子图像序列数据而言,显然必定会大大降低数据价值,甚至会影响分析结果的准确性。
综上所述,如果盲目移植了不匹配的自适应图像分割方法,不仅无法真正有效地实现对多色双光子图像序列的数据挖掘,而且严重的还会造成对实验结果的误判。
因此,目前在面向多色双光子图像序列的自动化数据挖掘领域,亟需针对多色双光子图像序列数据特性而专门设计有效、高效的自适应图像分割方法。
发明内容
针对现有技术领域存在的问题,本发明提供了一种面向多色双光子图像序列的自适应图像分割方法。该方法是根据多色双光子图像序列数据特性而专门设计的,不仅针对此类图像的背景特性进行了背景模型框架优化,进而准确分割了图像,而且所设计的在线更新模式也完全满足处理这类多通道高分辨率图像序列数据的准确性、实时性及精度等各种性能要求。
本发明方法技术方案包括以下步骤:
S1:从多色双光子图像序列中选取第k幅至第n幅图像作为训练样本;
S2:由训练样本生成初始化的多通道双模态背景模型;
S3:对上述多通道双模态背景模型的持续实时更新;
S4:利用实时更新的多通道双模态背景模型对实时输入的图像进行分割检测。
所述的多色双光子图像序列可以是由脑神经元经双光子荧光显微成像采集获得。
所述步骤S1包括以下步骤:
S11:从多色双光子图像序列中,选取从第k幅至第n幅的连续图像作为训练样本;
S12:若训练样本中图像原有像素值的值域不是[0,255],则:
对训练样本进行预处理,将训练样本中每幅图像的每个颜色通道上像素点的值域均映射到[0,255]的值域范围内,具体方法为以下公式:
Figure BDA0002486384220000021
其中,U代表训练样本中图像原有像素值的值域的上限值,I(x,y)为预处理前的图像中像素点(x,y)的像素值,J(x,y)为预处理后的图像中像素点(x,y)的像素值;
若训练样本中图像原有像素值的值域就是[0,255],则不对训练样本进行预处理。
S12中,图像的像素值取值被限定为[0,255]的值域范围。
所述步骤S2包括以下步骤:
S21:构建图像序列在RGB的R通道上初始化的多通道双模态背景模型:
S211、在R通道上,对图像内的每一个像素点(x,y),计算出像素点(x,y)位置上的初始化的多通道双模态背景模型的两个中心值,方法如下:
①若像素点(x,y)位于图像四周边缘上,则计算像素点(x,y)在训练样本的所有幅图像内的所有像素值J(x,y)k,J(x,y)k+1,...,J(x,y)n的中位数与众数,众数为出现频率最高的数,J(x,y)k表示第k幅图像的像素点(x,y)的像素值,分别将中位数与众数作为像素点(x,y)位置上的初始化多通道双模态背景模型第一中心值和第二中心值;
②若像素点(x,y)不位于图像四周边缘上,则计算以该像素点为中心在训练样本所有幅图像内的3×3邻域内的所有像素值的中位数与众数,每幅图像的3×3邻域内共九个像素点,在训练样本共有n-k+1幅图像,共计有9×(n-k+1)个像素值,分别将中位数与众数作为像素点(x,y)位置上的初始化多通道双模态背景模型第一中心值和第二中心值;
从而获得像素点(x,y)位置上的多通道双模态背景模型第一中心值和第二中心值分别
Figure BDA0002486384220000031
Figure BDA0002486384220000032
S212、在R通道上,在训练样本的所有k~n幅图像内计算出像素点共享的初始化的多通道双模态背景模型的半径值,共享是指同一幅图像内所有像素点的多通道双模态背景模型的半径值都相同,计算方法如下:
①对训练样本中的每幅图像,运用图像边沿检测算法找出图像中的非边沿像素点,将每一幅图像中所有非边沿像素点构成集合,第z幅图像中非边沿像素点的集合记为
Figure BDA0002486384220000033
②在训练样本的所有k~n幅图像内,在每幅图像的非边沿像素点的集合中,计算像素点共享的初始化多通道双模态背景模型的半径值,按照以下公式:
Figure BDA0002486384220000041
Figure BDA0002486384220000042
其中,
Figure BDA0002486384220000043
代表在R通道上第z幅图像内非边沿像素点的总数,z表示图像的序数z=k,...,n-1,
Figure BDA0002486384220000044
是R通道上每个像素点位置上的初始化多通道双模态背景模型的半径值,
Figure BDA0002486384220000045
与像素点位置无关;
Figure BDA0002486384220000046
表示R通道上第z幅图像中像素点(x,y)的像素值,V是图像中像素值的上限值,即255;
Figure BDA0002486384220000047
的下标n是代表第n幅图像时的半径值,这个值是由k~n幅图像数据累积计算所得。初始化模型的半径就是看(累积到)第n幅图像时的
Figure BDA0002486384220000048
求出了
Figure BDA0002486384220000049
后,在n+1帧时用
Figure BDA00024863842200000418
去迭代更新背景模型半径
Figure BDA00024863842200000410
也就是说,k~n帧内,背景模型半径不需要用迭代的方法计算获得。从n+1帧开始,才使用迭代的方法计算背景模型半径。
S213、图像内像素点(x,y)位置上R通道的初始化的多通道双模态背景模型构成如下:初始化的多通道双模态背景模型由两个值域范围组合而成,两个值域范围的中心值分别是
Figure BDA00024863842200000411
Figure BDA00024863842200000412
每个值域取值范围的半径均为半
Figure BDA00024863842200000413
S22:在R通道上,计算出初始化的多通道双模态背景模型的学习率,方法如下:
在训练样本的所有幅图像内,在R通道上对图像内所有像素点的像素值从θ1灰阶跃迁为θ2灰阶的概率进行计算,生成图像内像素点共享的第n幅图像时刻的多通道双模态背景模型的学习率
Figure BDA00024863842200000414
其中θ1表示像素值跃迁前的灰阶等级,θ2表示像素值跃迁后的灰阶等级,θ12∈[0,255];
S23:依照与上述步骤S21~S22相同的方法,计算出图像序列在RGB的G通道上的初始化背景模型及其学习率,即获得了G通道的初始化多通道双模态背景模型,以及G通道的初始化多通道双模态背景模型的两个值域范围的中心值
Figure BDA00024863842200000415
Figure BDA00024863842200000416
两个值域取值范围的相同半径
Figure BDA00024863842200000417
第一个值域范
Figure BDA0002486384220000051
θ12∈[0,255];
S24:依照与上述步骤S21~S22相同的方法,计算出图像序列在RGB的B通道上的初始化背景模型及其学习率,即获得了B通道的初始化多通道双模态背景模型,以及B通道的初始化多通道双模态背景模型的两个值域范围的中心值
Figure BDA0002486384220000052
Figure BDA0002486384220000053
两个值域取值范围的相同半径
Figure BDA0002486384220000054
第一个值域范围
Figure BDA0002486384220000055
θ12∈[0,255]。
所述步骤S3包括以下步骤:
S31:在R通道上,对多通道双模态背景模型的中心值进行持续更新,方法如下:
在新读入训练样本的第n+1幅图像时,对于图像内的每一个像素点(x,y),采用以下公式分别更新该像素点位置上的多通道双模态背景模型的第一中心值和第二中心值:
Figure BDA0002486384220000056
Figure BDA0002486384220000057
其中,
Figure BDA0002486384220000058
Figure BDA0002486384220000059
是像素点(x,y)在第n+1幅图像时的多通道双模态背景模型的两个中心值,
Figure BDA00024863842200000510
Figure BDA00024863842200000511
分别是像素点(x,y)在第n幅图像时的多通道双模态背景模型的两个中心值和背景模型学习率,
Figure BDA00024863842200000512
是像素点(x,y)在第n+1幅图像时的像素值;在公式(1)中θ1的取值为
Figure BDA00024863842200000513
在公式(2)中θ1的取值为
Figure BDA00024863842200000514
而θ2则都取值为
Figure BDA00024863842200000515
S32:在R通道上,对多通道双模态背景模型的半径值进行持续更新,方法如下:
在新读入第n+1幅图像时,对视频视场内的每一个像素点(x,y),更新该像素点位置上的单模态背景模型半径值:
Figure BDA0002486384220000061
Figure BDA0002486384220000062
其中,
Figure BDA0002486384220000063
是任意像素点上在n+1帧时的多通道双模态背景模型半径值;
S33:在R通道上,在新读入n+1帧时,视频视场内的每一个像素点(x,y)位置上的多通道双模态背景模型进行更新:
即背景模型由两个值域范围组合而成,两个值域范围的中心值分别是
Figure BDA0002486384220000064
S34:在R通道上,多通道双模态背景模型的学习率进行持续更新,方法如下:
在新读入第n+1幅图像时,在R通道上计算图像内所有位于奇数行、奇数列的像素点的像素值在k+1至n+1幅图像内从θ1灰阶跃迁为θ2灰阶的概率,生成图像内像素点共享的第n+1帧时的多通道双模态背景模型的学习率
Figure BDA0002486384220000065
以此类推,在新读入第n+1幅图像时,采用与上述步骤S31~S34中相同的方法,持续更新n+i帧时刻的多通道双模态背景模型,该背景模型可以表示为两
Figure BDA0002486384220000066
S34:依照上述步骤S31~S34中的方法,持续更新图像序列在G通道上的多通道双模态背景模型及背景模型学习率,分别获得为:
Figure BDA0002486384220000067
Figure BDA0002486384220000068
S35:依照上述步骤S31~S34中的方法,持续更新图像序列在B通道上的多通道双模态背景模型及背景模型学习率,分别获得为:
Figure BDA0002486384220000069
Figure BDA00024863842200000610
重复上述步骤不断迭代持续更新图像序列的每幅图像在RGB三个通道上的多通道双模态背景模型。
所述步骤S4具体是利用多通道双模态背景模型的值域范围对图像的每个像素点进行处理判断:若像素点的像素值在多通道双模态背景模型的两个值域范围内,则该像素点作为背景;若像素点的像素值不在多通道双模态背景模型的两个值域范围内,则该像素点作为前景。
具体实施中,针对脑神经元的双光子图像进行实时检测,能够判断出活性神经元和非活性神经元,若像素点的像素值在多通道双模态背景模型的两个值域范围内,则该像素点作为非活性神经元;若像素点的像素值不在多通道双模态背景模型的两个值域范围内,则该像素点作为活性神经元。
本发明的实质有益效果是:
本发明方法缓解了该领域缺少针对多色双光子图像序列数据特性而专门设计自适应图像分割的问题。同时,本发明提供的方法克服了一些现有方法无法适应与利用多色双光子图像序列数据特性的问题:
(1)本方法专门用于挖掘多色双光子图像序列数据,能够充分利用图像序列的时间维度信息,从而有效挖掘出图像序列中待监测目标的隐含动态性信息;
(2)本方法专门用于挖掘多色双光子图像序列数据,能够有效挖掘出不同色彩通道的隐含特征信息,不会出现丢弃色彩信息致使数据贬值或结果准确性下降等问题;
(3)本方法专门针对多色双光子图像序列数据中背景的固有特性,设计了双模态的背景模型框架与在线更新机制,有效保证了背景模型计算的准确性和运算效率,从而提高了图像分割的准确性。
附图说明
图1是本发明方法的流程示意图。
图2是本发明方法的流程示意图。
图3是本发明方法的流程示意图。
图4是本发明方法中所用训练样本的示例。
图5是本发明方法根据实施例所取得的结果示例。
图6是某种通用智能视频监控领域的图像分割方法根据实施例所取得的结果示例。
图7是某种通用面向单幅图像的静态图像分割方法根据实施例所取得的结果示例。
图8是本发明方法中背景模型学习率获取方法的示意图。
表1是本发明方法与其他通用方法的图像分割结果定性对比。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。
如图1所示,本发明的实施例如下:
实施例以斑马鱼活体胚胎的一个多色双光子图像序列为例,图像具有RGB三个色彩通道,每个通道数据深度为16位,每个通道像素值的值域为0~65535,图像分辨率为794×624。图4的示例中分别展示了样本图像序列在第0分钟、第68分钟和第168分钟时对应的三幅图像。
本实施例具体过程如图1、图2、图3所示,包括以下步骤:
S1:从多色双光子图像序列中选取第k=1幅至第n=100幅图像作为训练样本:
S11:从多色双光子图像序列中,选取从第1幅至第100幅的连续图像作为训练样本;
S12:训练样本中图像原有像素值的值域不是[0,255],对训练样本进行预处理,将训练样本中每幅图像的每个颜色通道上像素点的值域均映射到[0,255]的值域范围内。
S2:由训练样本生成初始化的多通道双模态背景模型:
S21:构建图像序列在RGB的R通道上初始化的多通道双模态背景模型:
S211、在R通道上,对图像内的每一个像素点(x,y),计算出像素点(x,y)位置上的初始化的多通道双模态背景模型的两个中心值,方法如下:
①若像素点(x,y)位于图像四周边缘上,则计算像素点(x,y)在训练样本的所有100幅图像内的所有100个像素值J(x,y)1,J(x,y)2,...,J(x,y)100的中位数与众数,众数为出现频率最高的数,分别将中位数与众数作为像素点(x,y)位置上的初始化多通道双模态背景模型第一中心值
Figure BDA0002486384220000081
和第二中心值
Figure BDA0002486384220000082
②若像素点(x,y)不位于图像四周边缘上,则计算以该像素点为中心在训练样本所有幅图像内的3×3邻域内的所有像素值的中位数与众数,每幅图像的3×3邻域内共九个像素点,在训练样本共有100幅图像,共计有900个像素值,分别将中位数与众数作为像素点(x,y)位置上的初始化多通道双模态背景模型第一中心值和第二中心值;
从而获得像素点(x,y)位置上的多通道双模态背景模型第一中心值
Figure BDA0002486384220000083
和第二中心值
Figure BDA0002486384220000084
S212、在R通道上,在训练样本的所有1-100幅图像内计算出像素点共享的初始化的多通道双模态背景模型的半径值,计算方法如下:
①对训练样本中的每幅图像,运用图像边沿检测算法找出图像中的非边沿像素点,将每一幅图像中所有非边沿像素点构成集合记为
Figure BDA0002486384220000091
②在训练样本的所有1-100幅图像内,在每幅图像的非边沿像素点的集合中,计算像素点共享的初始化多通道双模态背景模型的半径值。
S213、图像内像素点(x,y)位置上R通道的初始化的多通道双模态背景模型构成如下:初始化的多通道双模态背景模型由两个值域范围组合而成,两个值域范围的中心值分别是
Figure BDA0002486384220000092
Figure BDA0002486384220000093
每个值域取值范围的半径均为半径值
Figure BDA0002486384220000094
第一个值域范围为
Figure BDA0002486384220000095
第二个值域范围为
Figure BDA0002486384220000096
S22:在R通道上,计算出初始化的多通道双模态背景模型的学习率,方法如下:
在训练样本的所有幅图像内,在R通道上对图像内所有像素点的像素值从θ1灰阶跃迁为θ2灰阶的概率进行计算,生成图像内像素点共享的第n幅图像时刻的多通道双模态背景模型的学习率
Figure BDA0002486384220000097
本发明方法中背景模型学习率
Figure BDA0002486384220000098
的示意图如图8所示。
作为优选,背景模型学习率
Figure BDA0002486384220000099
的计算可采用如下的迭代算法:
Figure BDA00024863842200000910
E(θ1→θ2)=1;
Figure BDA00024863842200000915
Figure BDA00024863842200000911
Figure BDA00024863842200000912
其中,
Figure BDA00024863842200000913
Figure BDA00024863842200000914
分别代表图像内的任意像素点(x,y)在第k帧和第k+1帧中的像素值,并分别简记为θ1和θ2,由于示例图像的RGB三个通道均为8位深度,即每个通道中像素值具有256级灰阶,所以有:θ1∈[0,255],θ2∈[0,255];E(θ1→θ2)=1表示检测到以下的事件1次:(x,y)的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶;∑E(θ1→θ2)是统计图像内所有像素点的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶的次数,将∑E(θ1→θ2)的值记录在方阵H的对应单元
Figure BDA0002486384220000101
中;方阵
Figure BDA0002486384220000102
是对训练样本的1~100幅图像内
Figure BDA0002486384220000103
值的累加,
Figure BDA0002486384220000104
中记录了训练样本图像内检测到的像素值从θ1灰阶跳变为θ2灰阶的总次数;将
Figure BDA0002486384220000105
的值归一化为[0,1]之间的概率值,即得到背景模型学习率
Figure BDA0002486384220000106
是大小为256×256的方阵。
S23:依照与上述步骤S21~S22相同的方法,计算出图像序列在RGB的G通道上的初始化背景模型及其学习率,即获得了G通道的初始化多通道双模态背景模型,以及G通道的初始化多通道双模态背景模型的两个值域范围的中心值
Figure BDA0002486384220000107
Figure BDA0002486384220000108
两个值域取值范围的相同半径
Figure BDA0002486384220000109
第一个值域范
Figure BDA00024863842200001010
θ12∈[0,255];
S24:依照与上述步骤S21~S22相同的方法,计算出图像序列在RGB的B通道上的初始化背景模型及其学习率,即获得了B通道的初始化多通道双模态背景模型,以及B通道的初始化多通道双模态背景模型的两个值域范围的中心值
Figure BDA00024863842200001011
Figure BDA00024863842200001012
两个值域取值范围的相同半径
Figure BDA00024863842200001013
第一个值域范围
Figure BDA00024863842200001014
θ12∈[0,255]。
S3:对上述多通道双模态背景模型的持续实时更新:
S31:在R通道上,对多通道双模态背景模型的中心值进行持续更新,方法如下:
在新读入101帧时,对视频视场内的每一个像素点(x,y),按照以下公式分别更新其位置上的多通道双模态背景模型的第一中心值和第二中心值:
Figure BDA00024863842200001015
Figure BDA00024863842200001016
S32:在R通道上,对多通道双模态背景模型的半径值进行持续更新,方法如下:
在新读入101帧时,对视频视场内的每一个像素点(x,y),按照以下公式更新其位置上的单模态背景模型半径值:
Figure BDA0002486384220000111
Figure BDA0002486384220000112
在R通道上,在新读入101帧时,视频视场内的每一个像素点(x,y)位置上的多通道双模态背景模型更新如下:背景模型由两个值域范围组合而成,两个值域范围的中心值分别是
Figure BDA0002486384220000113
Figure BDA0002486384220000114
每个值域取值范围的半径均
Figure BDA0002486384220000115
S33:在R通道上,多通道双模态背景模型的学习率进行持续更新,方法如下:
在新读入101帧时,在R通道上计算图像内所有位于奇数行、奇数列的像素点的像素值在2至101幅图像内从θ1灰阶跃迁为θ2灰阶的概率,生成图像内像素点共享的第101帧时的多通道双模态背景模型学习率
Figure BDA0002486384220000116
以此类推,在新读入100+i帧时,采用与上述步骤S31~S34中相同的方法,持续更新100+i帧时刻的多通道双模态背景模型,该背景模型可以表示为两个值
Figure BDA0002486384220000117
Figure BDA0002486384220000118
S34:依照上述步骤S31~S33中的方法,持续更新图像序列在G通道上的多通道双模态背景模型及背景模型学习率,其分别为:
Figure BDA0002486384220000119
Figure BDA00024863842200001110
S35:依照上述步骤S31~S33中的方法,持续更新图像序列在B通道上的多通道双模态背景模型及背景模型学习率,其分别为:
Figure BDA00024863842200001111
Figure BDA00024863842200001112
如前所述,
Figure BDA00024863842200001115
是大小为255×255的方阵,由于θ1、θ2分别是该方阵的行坐标和列坐标,因此将θ1、θ2的具体值代入
Figure BDA00024863842200001113
即可获取方阵中第θ1行、第θ2列的单元位置上对应的背景模型学习率;根据图3的示例,
Figure BDA00024863842200001114
的值就是该方阵中第160行、第200列的单元位置上对应的背景模型学习率,即0.5。
S4:利用实时更新的多通道双模态背景模型对实时输入的图像进行分割检测。
具体实施中,针对脑神经元的双光子图像进行实时检测,能够判断出活性神经元和非活性神经元,若像素点的像素值在多通道双模态背景模型的两个值域范围内,则该像素点作为非活性神经元;若像素点的像素值不在多通道双模态背景模型的两个值域范围内,则该像素点作为活性神经元。
本发明方法根据实施例所取得的结果如图5所示。可以看到,由于本方法是针对多色双光子图像序列的数据特性而设计的,做了专门的特殊优化处理,因此总体上分割出的前景(即白色像素点区域)与待检测目标物体基本一致,漏检(即应该被标记为白色的前景像素点却被标记为了代表背景的黑色)和误检(即应该被标记为黑色背景的像素点却被标记为了代表前景的白色)情况较少。
同时,选取了某种通用的智能视频监控领域的图像分割方法作为对比,其根据实施例所取得的结果如图6所示。可以看到,由于该方法并非针对多色双光子图像序列的数据特性而设计,因此其分割出的前景与待检测目标物体不够一致,出现了较多的漏检区域。
此外,还选取了某种通用面向单幅图像的静态图像分割方法作为对比,其根据实施例所取得的结果如图7所示。可以看到,该方法分割出的前景与待检测目标物体的一致性更差,出现了更多的漏检区域。
综上所述,本发明方法与上述两种通用图像分割方法的定性对比结果如表1所示。
表1
不同图像分割方法的对比 图像分割结果定性对比
本发明提出方法 很好
作为对比的某种通用智能视频监控领域的图像分割方法 较差
作为对比的某种通用面向单幅图像的静态图像分割方法 较差
由此结果可见,本发明能够解决缺少针对多色双光子图像序列数据特性而专门设计自适应图像分割的问题,克服了一些现有方法无法适应与利用多色双光子图像序列数据特性的问题,提高了图像分割的准确性,取得了突出显著的技术效果。

Claims (3)

1.一种面向多色双光子图像序列的自适应图像分割方法,其特征在于方法包括以下步骤:
S1:从多色双光子图像序列中选取第k幅至第n幅图像作为训练样本;
S2:由训练样本生成初始化的多通道双模态背景模型;
S3:对上述多通道双模态背景模型的持续实时更新;
S4:利用实时更新的多通道双模态背景模型对实时输入的图像进行分割检测;
所述步骤S2包括以下步骤:
S21:构建图像序列在R通道上初始化的多通道双模态背景模型:
S211、在R通道上,对图像内的每一个像素点(x,y),计算出像素点(x,y)位置上的初始化的多通道双模态背景模型的两个中心值,方法如下:
①若像素点(x,y)位于图像四周边缘上,则计算像素点(x,y)在训练样本的所有幅图像内的所有像素值J(x,y)k,J(x,y)k+1,...,J(x,y)n的中位数与众数,J(x,y)k表示第k幅图像的像素点(x,y)的像素值,分别将中位数与众数作为像素点(x,y)位置上的初始化多通道双模态背景模型第一中心值和第二中心值;
②若像素点(x,y)不位于图像四周边缘上,则计算以该像素点为中心在训练样本所有幅图像内的3×3邻域内的所有像素值的中位数与众数,分别将中位数与众数作为像素点(x,y)位置上的初始化多通道双模态背景模型第一中心值和第二中心值;从而获得像素点(x,y)位置上的多通道双模态背景模型第一中心值和第二中心值分别
Figure FDA0004077066660000011
Figure FDA0004077066660000012
S212、在R通道上,在训练样本的所有k~n幅图像内计算出像素点共享的初始化的多通道双模态背景模型的半径值,计算方法如下:
①对训练样本中的每幅图像,运用图像边沿检测算法找出图像中的非边沿像素点,将每一幅图像中所有非边沿像素点构成集合,第z幅图像中非边沿像素点的集合记为
Figure FDA0004077066660000013
②在训练样本的所有k~n幅图像内,在每幅图像的非边沿像素点的集合中,计算像素点共享的初始化多通道双模态背景模型的半径值,按照以下公式:
Figure FDA0004077066660000021
Figure FDA0004077066660000022
Figure FDA0004077066660000023
Figure FDA0004077066660000024
表示第z幅图像中像素点(x,y)的像素值,V是图像中像素值的上限值;
S213、图像内像素点(x,y)位置上R通道的初始化的多通道双模态背景模型构成如下:初始化的多通道双模态背景模型由两个值域范围组合而成,两个值域范围的中心值分别是
Figure FDA0004077066660000025
Figure FDA0004077066660000026
每个值域取值范围的半径均为半径值
Figure FDA0004077066660000027
第一个值域范围为
Figure FDA0004077066660000028
第二个值域范围为
Figure FDA0004077066660000029
S22:在R通道上,计算出初始化的多通道双模态背景模型的学习率,方法如下:
在训练样本的所有幅图像内,在R通道上对图像内所有像素点的像素值从θ1灰阶跃迁为θ2灰阶的概率进行计算,生成图像内像素点共享的第n幅图像时刻的多通道双模态背景模型的学习率
Figure FDA00040770666600000210
其中θ1表示像素值跃迁前的灰阶等级,θ2表示像素值跃迁后的灰阶等级,θ12∈[0,255];
S23:依照与上述步骤S21~S22相同的方法,计算出图像序列在G通道上的初始化背景模型及其学习率,即获得了G通道的初始化多通道双模态背景模型,以及G通道的初始化多通道双模态背景模型的两个值域范围的中心值
Figure FDA00040770666600000211
Figure FDA00040770666600000212
两个值域取值范围的相同半径
Figure FDA00040770666600000213
第一个值域范围
Figure FDA00040770666600000214
第二个值域范围
Figure FDA00040770666600000215
以及学习率为
Figure FDA00040770666600000216
其中θ12∈[0,255];
S24:依照与上述步骤S21~S22相同的方法,计算出图像序列在B通道上的初始化背景模型及其学习率,即获得了B通道的初始化多通道双模态背景模型,以及B通道的初始化多通道双模态背景模型的两个值域范围的中心值
Figure FDA00040770666600000217
Figure FDA0004077066660000031
两个值域取值范围的相同半径
Figure FDA0004077066660000032
第一个值域范围
Figure FDA0004077066660000033
第二个值域范围
Figure FDA0004077066660000034
以及学习率为
Figure FDA0004077066660000035
其中θ12∈[0,255];
所述步骤S3包括以下步骤:
S31:在R通道上,对多通道双模态背景模型的中心值进行持续更新,方法如下:
在新读入训练样本的第n+1幅图像时,对于图像内的每一个像素点(x,y),采用以下公式分别更新该像素点位置上的多通道双模态背景模型的第一中心值和第二中心值:
Figure FDA0004077066660000036
Figure FDA0004077066660000037
其中,
Figure FDA0004077066660000038
Figure FDA0004077066660000039
是像素点(x,y)在第n+1幅图像时的多通道双模态背景模型的两个中心值,
Figure FDA00040770666600000310
Figure FDA00040770666600000311
分别是像素点(x,y)在第n幅图像时的多通道双模态背景模型的两个中心值和背景模型学习率,
Figure FDA00040770666600000312
是像素点(x,y)在第n+1幅图像时的像素值;在公式(1)中θ1的取值为
Figure FDA00040770666600000313
在公式(2)中θ1的取值为
Figure FDA00040770666600000314
而θ2则都取值为
Figure FDA00040770666600000315
S32:在R通道上,对多通道双模态背景模型的半径值进行持续更新,方法如下:
在新读入第n+1幅图像时,对视频视场内的每一个像素点(x,y),更新该像素点位置上的单模态背景模型半径值:
Figure FDA00040770666600000316
Figure FDA00040770666600000317
其中,
Figure FDA00040770666600000318
是任意像素点上在n+1帧时的多通道双模态背景模型半径值;
S33:在R通道上,在新读入n+1帧时,视频视场内的每一个像素点(x,y)位置上的多通道双模态背景模型进行更新:
S34:在R通道上,多通道双模态背景模型的学习率进行持续更新,方法如下:在新读入第n+1幅图像时,在R通道上计算图像内所有位于奇数行、奇数列的像素点的像素值在k+1至n+1幅图像内从θ1灰阶跃迁为θ2灰阶的概率,生成图像内像素点共享的第n+1帧时的多通道双模态背景模型的学习率
Figure FDA0004077066660000041
S34:依照上述步骤S31~S34中的方法,持续更新图像序列在G通道上的多通道双模态背景模型及背景模型学习率;
S35:依照上述步骤S31~S34中的方法,持续更新图像序列在B通道上的多通道双模态背景模型及背景模型学习率;
重复上述步骤不断迭代持续更新图像序列的每幅图像在RGB三个通道上的多通道双模态背景模型。
2.根据权利要求1所述的一种面向多色双光子图像序列的自适应图像分割方法,其特征在于:所述步骤S1包括以下步骤:
S11:从多色双光子图像序列中,选取从第k幅至第n幅的连续图像作为训练样本;
S12:若训练样本中图像原有像素值的值域不是[0,255],则:
对训练样本进行预处理,将训练样本中每幅图像的每个颜色通道上像素点的值域均映射到[0,255]的值域范围内,具体方法为以下公式:
Figure FDA0004077066660000042
其中,U代表训练样本中图像原有像素值的值域的上限值,I(x,y)为预处理前的图像中像素点(x,y)的像素值,J(x,y)为预处理后的图像中像素点(x,y)的像素值;
若训练样本中图像原有像素值的值域就是[0,255],则不对训练样本进行预处理。
3.根据权利要求1所述的一种面向多色双光子图像序列的自适应图像分割方法,其特征在于:所述步骤S4具体是利用多通道双模态背景模型的值域范围对图像的每个像素点进行处理判断:若像素点的像素值在多通道双模态背景模型的两个值域范围内,则该像素点作为背景;若像素点的像素值不在多通道双模态背景模型的两个值域范围内,则该像素点作为前景。
CN202010393183.3A 2020-05-11 2020-05-11 一种面向多色双光子图像序列的自适应图像分割方法 Active CN111583293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010393183.3A CN111583293B (zh) 2020-05-11 2020-05-11 一种面向多色双光子图像序列的自适应图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010393183.3A CN111583293B (zh) 2020-05-11 2020-05-11 一种面向多色双光子图像序列的自适应图像分割方法

Publications (2)

Publication Number Publication Date
CN111583293A CN111583293A (zh) 2020-08-25
CN111583293B true CN111583293B (zh) 2023-04-11

Family

ID=72126475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010393183.3A Active CN111583293B (zh) 2020-05-11 2020-05-11 一种面向多色双光子图像序列的自适应图像分割方法

Country Status (1)

Country Link
CN (1) CN111583293B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112137A1 (en) * 2016-12-15 2018-06-21 General Electric Company System and method for image segmentation using a joint deep learning model
KR101913952B1 (ko) * 2017-07-11 2018-10-31 경북대학교 산학협력단 V-CNN 접근을 통한 iPSC 집락 자동 인식 방법
CN108765463A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种结合区域提取与改进纹理特征的运动目标检测方法
KR20190134933A (ko) * 2018-05-18 2019-12-05 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
AU2019201787A1 (en) * 2018-05-22 2019-12-12 Adobe Inc. Compositing aware image search

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112137A1 (en) * 2016-12-15 2018-06-21 General Electric Company System and method for image segmentation using a joint deep learning model
KR101913952B1 (ko) * 2017-07-11 2018-10-31 경북대학교 산학협력단 V-CNN 접근을 통한 iPSC 집락 자동 인식 방법
KR20190134933A (ko) * 2018-05-18 2019-12-05 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
AU2019201787A1 (en) * 2018-05-22 2019-12-12 Adobe Inc. Compositing aware image search
CN108765463A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种结合区域提取与改进纹理特征的运动目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何亮时.动态场景中的改进混合高斯背景模型.计算机工程.2012,第38卷(第8期),全文. *

Also Published As

Publication number Publication date
CN111583293A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN106778687B (zh) 基于局部评估和全局优化的注视点检测方法
CN110705639B (zh) 一种基于深度学习的医学精子图像识别系统
CN116416166B (zh) 一种肝活检数据分析方法及系统
CN110889448A (zh) 一种基于卷积神经网络的心电分类方法
CN107657619B (zh) 一种低照度林火图像分割方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN113052859A (zh) 基于自适应种子点密度聚类超像素分割方法
CN111986126A (zh) 一种基于改进vgg16网络的多目标检测方法
CN115641335B (zh) 基于时差培养箱的胚胎异常多级联智能综合分析系统
CN108510483A (zh) 一种采用vlad编码和svm的计算生成彩色图像篡改检测方法
Rachmad et al. Classification of mycobacterium tuberculosis based on color feature extraction using adaptive boosting method
CN111583293B (zh) 一种面向多色双光子图像序列的自适应图像分割方法
CN111047654A (zh) 一种基于色彩信息的高清高速视频背景建模方法
CN118297837A (zh) 基于图像处理的红外模拟器虚拟图像增强系统
CN110991361B (zh) 面向高清高速视频的多通道多模态背景建模方法
CN116597273A (zh) 基于自注意力的多尺度编解码本质图像分解网络、方法及应用
CN111028245B (zh) 一种多模态复合的高清高速视频背景建模方法
CN116433528A (zh) 一种目标区域检出的图像细节增强显示方法及系统
CN116543414A (zh) 多模型融合的舌质颜色分类及舌质红度和紫度量化方法
CN116563301A (zh) 一种基于联邦学习的医学图像分割系统
CN116309914A (zh) 应用布局探测的图像信号分析系统及方法
CN115482300A (zh) 一种基于组合模型的图像颜色校正方法、系统
CN115564647A (zh) 一种用于图像语义分割的新型超分模块和上采样方法
CN111008995B (zh) 面向高清高速视频的单通道多模态背景建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant