[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103020993B - 一种双通道颜色对比度融合的视觉显著性检测方法 - Google Patents

一种双通道颜色对比度融合的视觉显著性检测方法 Download PDF

Info

Publication number
CN103020993B
CN103020993B CN201210497332.6A CN201210497332A CN103020993B CN 103020993 B CN103020993 B CN 103020993B CN 201210497332 A CN201210497332 A CN 201210497332A CN 103020993 B CN103020993 B CN 103020993B
Authority
CN
China
Prior art keywords
super
pixel region
color
pixel
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210497332.6A
Other languages
English (en)
Other versions
CN103020993A (zh
Inventor
周文晖
宋腾
孙志海
吴以凡
徐翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haining Dingcheng Intelligent Equipment Co ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201210497332.6A priority Critical patent/CN103020993B/zh
Publication of CN103020993A publication Critical patent/CN103020993A/zh
Application granted granted Critical
Publication of CN103020993B publication Critical patent/CN103020993B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种双通道颜色对比度融合的视觉显著性检测方法。本发明方法首先提取输入图像的高斯尺度图像,将每层高斯尺度图像划分为多个互不相交且区域面积近似相等的超像素区域。其次采用彩色变换方法,分别提取每层高斯尺度图像在CIELAB空间的三个彩色分量图,基于上述三个彩色分量图为每个像素分配基于CIELAB空间的颜色显著性值。然后采用彩色变换方法,分别提取每层高斯尺度图像在RGB空间的三个彩色分量图,基于这三个彩色分量图为每个像素分配基于RGB空间的颜色显著性值。最后将两个空间的颜色显著性值融合得到输入图像中每个像素的最终显著性值。本发明可有效克服单一颜色通道检测的局限,提高显著性检测的鲁棒性。

Description

一种双通道颜色对比度融合的视觉显著性检测方法
技术领域
本发明属于计算机视觉领域,具体来说是一种融合CIELAB颜色通道对比度特性和RGB颜色通道对比度特性的视觉显著性检测方法。
背景技术
视觉选择性注意力机制可以突破信息处理的瓶颈,使得人类可以很容易地判断局部显著性区域。在计算机视觉中,显著性提供了一种基于生物启发的人工视觉系统处理框架,实现图像处理和分析所需计算资源的优先分配。目前视觉显著性已在计算机视觉和图像处理领域引起广泛兴趣,包括图像分割,自适应压缩,图像内容编辑等。
目前视觉显著性检测模型大致分为两类。一类是基于生物启发的显著性检测方法。这类方法倾向模拟人类眼球运动,追踪眼部的关注焦点,其最终显著图往往是图像中某几个预测人眼关注的位置点或小区域,难以直接用于大多数的计算机视觉任务。
另一类是计算模型,它们通常都是以目标为显著单元,这与大多数的计算机视觉任务的目标更为一致。在大多数的计算模型中,显著目标通常定义为“相对于周围背景有充分的独特性、稀有性和不可预计性”。该定义隐含了对比度先验、背景先验,或某些高阶假设。基于对比度的显著检测模型是目前的流行方法,通过提取局部对比度特性和全局对比度特性来实现显著性检测。虽然这些方法通常也是受生物学原理启发以及基于某些生物学概念,且在近年来已获得了瞩目的成功,但它们的实现和策略往往是难以验证其合理性。特别是特征的选择和参数配置通常都需根据实验来确定。Cheng等人利用图割方法提取区域特征,并将全局对比度分析应用到显著性区域检测(出自M.-M.Cheng,G.-X.Zhang,N.J.Mitra,X.Huang,and S.-M.Hu.Global contrast based salient regiondetection.In CVPR,pages 409–416,2011)。但由于采取大尺度区域的图割方法,难以解决显著性区域的边缘扩散问题。Perazzi等人引入SLIC超像素分割方法,提取均匀且具边缘保持特性的超像素区域作为显著基元,提高了显著性检测精度(出自F.Perazzi,P.Y.Pritch and A.Hornung.Saliency Filters:Contrast Based Filtering for Salient Region Detection.In CVPR,pages 733-740,2012)。然而目前性能优秀的计算模型通常都在单一尺度空间下进行显著性分析,因而难以处理背景纹理复杂或目标纹理复杂的显著性检测。目前基于多尺度空间的计算模型往往面临着显著目标轮廓模糊等局限,因而召回率和精确度都难以令人满意。
发明内容
本发明针对现有技术的不足,融合CIELAB和RGB颜色通道对比度特性,提供了一种双通道颜色对比度融合的视觉显著性检测方法。
本发明方法的具体步骤如下:
步骤(1):提取输入图像的N层高斯尺度图像,具体为:
对于输入图像其第n层高斯尺度图像表示为:
其中高斯函数的方差为σ,均值为0;表示卷积运算。通常取σ=1.0,N=6。
步骤(2):采用SLIC超像素聚类方法,将每层高斯尺度图像划分为多个互不相交且区域面积近似相等的超像素区域。具体为:
对于第n层高斯尺度图像设定期望划分的超像素个数为50×2N-n,采用SLIC方法根据期望的超像素个数划分超像素区域。
步骤(3):采用彩色变换方法,分别提取步骤(1)中每层高斯尺度图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图,具体为:
对于第n层高斯尺度图像其l彩色分量图、a彩色分量图和b彩色分量图分别表示为
步骤(4):根据步骤(2)和步骤(3)的结果,提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色特征,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其颜色特征是由超像素区域rni在CIELAB空间的颜色均值矢量超像素区域rni的质心坐标pni和超像素区域rni的面积率kni组成。
所述的超像素区域rni在CIELAB空间的颜色均值矢量表示为 μ ni lab = μ ni l μ ni a μ ni b , 其中为超像素区域rni内所有像素的l彩色分量均值,为超像素区域rni内所有像素的a彩色分量均值,为超像素区域rni内所有像素的b彩色分量均值。
所述的超像素区域rni的质心坐标pni表示为其中为超像素区域rni内所有像素垂直方向坐标的均值与输入图像高度的比值,为超像素区域rni内所有像素水平方向坐标的均值与输入图像宽度的比值。
所述的超像素区域rni的面积率kni表示超像素区域rni内的像素个数与输入图像总像素的比值。
步骤(5):根据步骤(4)结果,提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色独特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其CIELAB空间的颜色独特性表示为:
S nc lab ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d lab ( r ni , r nj ) · exp - 1 2 σ p 2 d ( r ni , r nj ) )
其中dlab(rni,rnj)为超像素区域rni和超像素区域rnj在CIELAB空间的颜色距离;d(rni,rnj)为超像素区域rni和超像素区域rnj的空间距离;σp=0.25为高斯函数标准差;m为第n层高斯尺度图像在步骤(2)中划分出的超像素个数。
所述的超像素区域rni和超像素区域rnj在CIELAB空间的颜色距离dlab(rni,rnj)表示为超像素区域rni在CIELAB空间的颜色均值矢量与超像素区域rnj在CIELAB空间的颜色均值矢量的L2距离,具体描述为:
d lab ( r ni , r nj ) = | | μ ni lab - μ nj lab | | 2
所述的超像素区域rni和超像素区域rnj的空间距离d(rni,rnj)表示为超像素区域rni的质心坐标pni与超像素区域rnj的质心坐标pnj的L2距离,具体描述为:
d(rni,rnj)=||pni-pnj||2
步骤(6):根据步骤(4)结果,计算每层高斯尺度图像中每个超像素区域在CIELAB空间的空间分布特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在CIELAB空间的空间分布特性表示为:
S nd lab ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d ( r ni , r nj ) · exp - 1 2 σ c 2 d lab ( r ni , r nj ) )
其中σc=20为高斯函数标准差。
步骤(7):根据步骤(5)和步骤(6)的结果,计算每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在CIELAB空间的颜色显著性值表示为:
S ~ n lab ( r ni ) = Σ j = 1 m w ij lab S nc lab ( r nj ) ( 1 - S nd lab ( r nj ) ) w ij lab = exp - 1 2 σ s 2 ( d ( r ni , r nj ) + d lab ( r ni , r nj ) )
其中为高斯函数方差。
步骤(8):根据步骤(5)结果,对步骤(7)结果进行平滑优化,以保证在CIELAB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。
所述的CIELAB空间中颜色显著性值的平滑优化方法具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在CIELAB空间的颜色显著性值经平滑优化后结果表示为:
S n lab ( r ni ) = 1 t ni lab Σ j = 1 m ( ( t ni lab - d nij lab ) · S ~ n lab ( r ni ) ) d nij lab = ( S nc lab ( r ni ) - S nc lab ( r nj ) ) 2 t ni lab = Σ j = 1 m d nij lab
其中表示超像素区域rni在CIELAB空间的颜色独特性和超像素区域rnj在CIELAB空间的颜色独特性的距离,为距离归一化值。
步骤(9):为每层高斯尺度图像中的每个像素分配基于CIELAB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中像素p,其在CIELAB空间的颜色显著性值表示为:
S n lab ( p ) = S n lab ( r ni ) , p ∈ r ni
步骤(10):为输入图像中的每个像素分配基于CIELAB空间的颜色显著性值,具体为:
对于输入图像中像素p,其在CIELAB空间的颜色显著性值Slab(p)表示为:
S lab ( p ) = w ( p ) · ( Σ n = 1 N S n lab ( p ) ) 2 w ( p ) = exp - 1 2 ( ( p x - c x σ x ) 2 + ( p y - c y σ y ) 2 )
其中px和py分别为像素p在图像坐标系下的水平坐标和垂直坐标。cx和cy分别为输入图像中心点的水平坐标和垂直坐标。σx和σy分别为二维高斯函数的水平方差和垂直方差,分别取值为输入图像宽度的一半和高度的一半。
步骤(11):采用彩色变换方法,分别提取每层高斯尺度图像在RGB空间的R彩色分量图、G彩色分量图和B彩色分量图,具体为:
对于第n层高斯尺度图像其R彩色分量图、G彩色分量图和B彩色分量图分别表示为
步骤(12):根据步骤(2)和步骤(11)的结果,提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色特征,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其颜色特征是由超像素区域rni在RGB空间的颜色均值矢量超像素区域rni的质心坐标pni和超像素区域rni的面积率kni组成。
所述的超像素区域rni在RGB空间的颜色均值矢量表示为 μ ni rgb = μ ni R μ ni G μ ni B , 其中为超像素区域rni内所有像素的R彩色分量均值,为超像素区域rni内所有像素的G彩色分量均值,为超像素区域rni内所有像素的B彩色分量均值。
步骤(13):根据步骤(12)结果,提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色独特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色独特性表示为:
S nc rgb ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d rgb ( r ni , r nj ) · exp - 1 2 σ p 2 d ( r ni , r nj ) )
其中drgb(rni,rnj)为超像素区域rni和超像素区域rnj在RGB空间的颜色距离。
所述的超像素区域rni和超像素区域rnj在RGB空间的颜色距离drgb(rni,rnj)表示为超像素区域rni在RGB空间的颜色均值矢量与超像素区域rnj在RGB空间的颜色均值矢量的L2距离,具体描述为:
d rgb ( r ni , r nj ) = | | μ ni rgb - μ nj rgb | | 2
步骤(14):根据步骤(12)结果,计算每层高斯尺度图像中每个超像素区域在RGB空间的空间分布特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色空间分布特性表示为:
S nd rgb ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d ( r ni , r nj ) · exp - 1 2 σ c 2 d rgb ( r ni , r nj ) )
步骤(15):根据步骤(13)和步骤(14)的结果,计算每层高斯尺度图像中每个超像素区域在RGB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色显著性值表示为:
S ~ n rgb ( r ni ) = Σ j = 1 m w ij rgb S nc rgb ( r nj ) ( 1 - S nd rgb ( r ni ) ) w ij rgb = exp - 1 2 σ s 2 ( d ( r ni , r nj ) + d rgb ( r ni , r nj ) )
步骤(16):根据步骤(13)结果,对步骤(15)结果进行平滑优化,以保证在RGB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。
所述的RGB空间中颜色显著性值的平滑优化方法具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色显著性值经平滑优化后结果表示为:
S n rgb ( r ni ) = 1 t ni rgb Σ j = 1 m ( ( t ni rgb - d ij n ) · S ~ n rgb ( r ni ) ) d nij rgb = ( S nc rgb ( r ni ) - S nc rgb ( r nj ) ) 2 t ni rgb = Σ j = 1 m d nij rgb
其中表示超像素区域rni在RGB空间的颜色独特性和超像素区域rnj在RGB空间的颜色独特性的距离,为距离归一化值。
步骤(17):为每层高斯尺度图像中的每个像素分配基于RGB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中像素p,其在RGB空间的颜色显著性值表示为:
S n rgb ( p ) = S n rgb ( r ni ) , p ∈ r ni
步骤(18):为输入图像中的每个像素分配基于RGB空间的颜色显著性值,具体为:
对于输入图像中像素p,其在RGB空间的颜色显著性值Srgb(p)表示为:
S rgb ( p ) = w ( p ) · ( Σ n = 1 N S n rgb ( p ) ) 2 w ( p ) = exp - 1 2 ( ( p x - c x σ x ) 2 + ( p y - c y σ y ) 2 )
步骤(19):根据步骤(10)和步骤(18)的结果,计算输入图像中每个像素的最终显著性值,具体为:
对于输入图像中像素p,其最终颜色显著性值S(p)表示为:
S ( p ) = ( λ lab · S lab ( p ) ) · exp ( - λ rgb · ( 1 - S rgb ( p ) ) ) λ lab = 1 1 + T α , λ rgb = T α 1 + T α , T α = Σ p S lab ( p ) Σ p S rgb ( p )
其中λlab和λrgb分别为基于CIELAB空间颜色显著性值和基于RGB空间颜色显著性值的融合权重。
本发明提供了一种双通道颜色对比度融合的视觉显著性检测方法。该方法融合了CIELAB颜色通道的颜色对比度显著特性和RGB颜色通道的颜色对比度显著特性,可有效克服单一颜色通道检测的局限,提高显著性检测的鲁棒性。同时该方法融合了不同尺度图像的显著性区域特性,可有效解决单一尺度图像的显著性检测中难以处理背景纹理复杂或目标纹理复杂的问题。该方法可在保持高精度的同时,提高了对显著目标像素的召回率,并且显著目标区域的显著值分布均匀高亮。
附图说明
图1为本发明中的方法流程图;
图2为本发明方法与现有方法的显著性检测结果图像比较;
图3为召回率-精确度曲线的比对图;
图4为平均绝对误差比较图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示,一种双通道颜色对比度融合的视觉显著性检测方法具体步骤如下:
步骤(1):提取输入图像的N层高斯尺度图像,具体为:
对于输入图像其第n层高斯尺度图像表示为:
其中高斯函数的方差为σ,均值为0;表示卷积运算。通常取σ=1.0,N=6。
步骤(2):采用SLIC超像素聚类方法,将每层高斯尺度图像划分为多个互不相交且区域面积近似相等的超像素区域。具体为:
对于第n层高斯尺度图像设定期望划分的超像素个数为50×2N-n,采用SLIC方法根据期望的超像素个数划分超像素区域。
步骤(3):采用彩色变换方法,分别提取步骤(1)中每层高斯尺度图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图,具体为:
对于第n层高斯尺度图像其l彩色分量图、a彩色分量图和b彩色分量图分别表示为
步骤(4):根据步骤(2)和步骤(3)的结果,提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色特征,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其颜色特征是由超像素区域rni在CIELAB空间的颜色均值矢量超像素区域rni的质心坐标pni和超像素区域rni的面积率kni组成。
所述的超像素区域rni在CIELAB空间的颜色均值矢量表示为 μ ni lab = μ ni l μ ni a μ ni b , 其中为超像素区域rni内所有像素的l彩色分量均值,为超像素区域rni内所有像素的a彩色分量均值,为超像素区域rni内所有像素的b彩色分量均值。
所述的超像素区域rni的质心坐标pni表示为其中为超像素区域rni内所有像素垂直方向坐标的均值与输入图像高度的比值,为超像素区域rni内所有像素水平方向坐标的均值与输入图像宽度的比值。
所述的超像素区域rni的面积率kni表示超像素区域rni内的像素个数与输入图像总像素的比值。
步骤(5):根据步骤(4)结果,提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色独特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其CIELAB空间的颜色独特性表示为:
S nc lab ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d lab ( r ni , r nj ) · exp - 1 2 σ p 2 d ( r ni , r nj ) )
其中dlab(rni,rnj)为超像素区域rni和超像素区域rnj在CIELAB空间的颜色距离;d(rni,rnj)为超像素区域rni和超像素区域rnj的空间距离;σp=0.25为高斯函数标准差;m为第n层高斯尺度图像在步骤(2)中划分出的超像素个数。
所述的超像素区域rni和超像素区域rnj在CIELAB空间的颜色距离dlab(rni,rnj)表示为超像素区域rni在CIELAB空间的颜色均值矢量与超像素区域rnj在CIELAB空间的颜色均值矢量的L2距离,具体描述为:
d lab ( r ni , r nj ) = | | μ ni lab - μ nj lab | | 2
所述的超像素区域rni和超像素区域rnj的空间距离d(rni,rnj)表示为超像素区域rni的质心坐标pni与超像素区域rnj的质心坐标pnj的L2距离,具体描述为:
d(rni,rnj)=||pni-pnj||2
步骤(6):根据步骤(4)结果,计算每层高斯尺度图像中每个超像素区域在CIELAB空间的空间分布特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在CIELAB空间的空间分布特性表示为:
S nd lab ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d ( r ni , r nj ) · exp - 1 2 σ c 2 d lab ( r ni , r nj ) )
其中σc=20为高斯函数标准差。
步骤(7):根据步骤(5)和步骤(6)的结果,计算每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在CIELAB空间的颜色显著性值表示为:
S ~ n lab ( r ni ) = Σ j = 1 m w ij lab S nc lab ( r nj ) ( 1 - S nd lab ( r nj ) ) w ij lab = exp - 1 2 σ s 2 ( d ( r ni , r nj ) + d lab ( r ni , r nj ) )
其中为高斯函数方差。
步骤(8):根据步骤(5)结果,对步骤(7)结果进行平滑优化,以保证在CIELAB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。
所述的CIELAB空间中颜色显著性值的平滑优化方法具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在CIELAB空间的颜色显著性值经平滑优化后结果表示为:
S n lab ( r ni ) = 1 ( m - 1 ) t ni lab Σ j = 1 m ( ( t ni lab - d nij lab ) · S ~ n lab ( r ni ) ) d nij lab = ( S nc lab ( r ni ) - S nc lab ( r nj ) ) 2 t ni lab = Σ j = 1 m d nij lab
其中表示超像素区域rni在CIELAB空间的颜色独特性和超像素区域rnj在CIELAB空间的颜色独特性的距离,为距离归一化值。
步骤(9):为每层高斯尺度图像中的每个像素分配基于CIELAB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中像素p,其在CIELAB空间的颜色显著性值表示为:
S n lab ( p ) = S n lab ( r ni ) , p ∈ r ni
步骤(10):为输入图像中的每个像素分配基于CIELAB空间的颜色显著性值,具体为:
对于输入图像中像素p,其在CIELAB空间的颜色显著性值Slab(p)表示为:
S lab ( p ) = w ( p ) · ( Σ n = 1 N S n lab ( p ) ) 2 w ( p ) = exp - 1 2 ( ( p x - c x σ x ) 2 + ( p y - c y σ y ) 2 )
其中px和py分别为像素p在图像坐标系下的水平坐标和垂直坐标。cx和cy分别为输入图像中心点的水平坐标和垂直坐标。σx和σy分别为二维高斯函数的水平方差和垂直方差,分别取值为输入图像宽度的一半和高度的一半。
步骤(11):采用彩色变换方法,分别提取每层高斯尺度图像在RGB空间的R彩色分量图、G彩色分量图和B彩色分量图,具体为:
对于第n层高斯尺度图像其R彩色分量图、G彩色分量图和B彩色分量图分别表示为
步骤(12):根据步骤(2)和步骤(11)的结果,提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色特征,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其颜色特征是由超像素区域rni在RGB空间的颜色均值矢量超像素区域rni的质心坐标pni和超像素区域rni的面积率kni组成。
所述的超像素区域rni在RGB空间的颜色均值矢量表示为 μ ni rgb = μ ni R μ ni G μ ni B , 其中为超像素区域rni内所有像素的R彩色分量均值,为超像素区域rni内所有像素的G彩色分量均值,为超像素区域rni内所有像素的B彩色分量均值。
步骤(13):根据步骤(12)结果,提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色独特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色独特性表示为:
S nc rgb ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d rgb ( r ni , r nj ) · exp - 1 2 σ p 2 d ( r ni , r nj ) )
其中drgb(rni,rnj)为超像素区域rni和超像素区域rnj在RGB空间的颜色距离。
所述的超像素区域rni和超像素区域rnj在RGB空间的颜色距离drgb(rni,rnj)表示为超像素区域rni在RGB空间的颜色均值矢量与超像素区域rnj在RGB空间的颜色均值矢量的L2距离,具体描述为:
d rgb ( r ni , r nj ) = | | μ ni rgb - μ nj rgb | | 2
步骤(14):根据步骤(12)结果,计算每层高斯尺度图像中每个超像素区域在RGB空间的空间分布特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色空间分布特性表示为:
S nd rgb ( r ni ) = k ni · Σ j = 1 , j ≠ i m log ( 1 + d ( r ni , r nj ) · exp - 1 2 σ c 2 d rgb ( r ni , r nj ) )
步骤(15):根据步骤(13)和步骤(14)的结果,计算每层高斯尺度图像中每个超像素区域在RGB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色显著性值表示为:
S ~ n rgb ( r ni ) = Σ j = 1 m w ij rgb S nc rgb ( r nj ) ( 1 - S nd rgb ( r ni ) ) w ij rgb = exp - 1 2 σ s 2 ( d ( r ni , r nj ) + d rgb ( r ni , r nj ) )
步骤(16):根据步骤(13)结果,对步骤(15)结果进行平滑优化,以保证在RGB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。
所述的RGB空间中颜色显著性值的平滑优化方法具体为:
对于第n层高斯尺度图像中的第i个超像素区域rni,其在RGB空间的颜色显著性值经平滑优化后结果表示为:
S n rgb ( r ni ) = 1 t ni rgb Σ j = 1 m ( ( t ni rgb - d ij n ) · S ~ n rgb ( r ni ) ) d nij rgb = ( S nc rgb ( r ni ) - S nc rgb ( r nj ) ) 2 t ni rgb = Σ j = 1 m d nij rgb
其中表示超像素区域rni在RGB空间的颜色独特性和超像素区域rnj在RGB空间的颜色独特性的距离,为距离归一化值。
步骤(17):为每层高斯尺度图像中的每个像素分配基于RGB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中像素p,其在RGB空间的颜色显著性值表示为:
S n rgb ( p ) = S n rgb ( r ni ) , p ∈ r ni
步骤(18):为输入图像中的每个像素分配基于RGB空间的颜色显著性值,具体为:
对于输入图像中像素p,其在RGB空间的颜色显著性值Srgb(p)表示为:
S rgb ( p ) = w ( p ) · ( Σ n = 1 N S n rgb ( p ) ) 2 w ( p ) = exp - 1 2 ( ( p x - c x σ x ) 2 + ( p y - c y σ y ) 2 )
步骤(19):根据步骤(10)和步骤(18)的结果,计算输入图像中每个像素的最终显著性值,具体为:
对于输入图像中像素p,其最终颜色显著性值S(p)表示为:
S ( p ) = ( λ lab · S lab ( p ) ) · exp ( - λ rgb · ( 1 - S rgb ( p ) ) ) λ lab = 1 1 + T α , λ rgb = T α 1 + T α , T α = Σ p S lab ( p ) Σ p S rgb ( p )
其中λlab和λrgb分别为基于CIELAB空间颜色显著性值和基于RGB空间颜色显著性值的融合权重。
采用目前通用的1000幅数据库及其真值图[2]测试本发明方法的性能。
如图2所示,本发明方法的显著性检测结果说明如下:第一列为输入图像,第二列为步骤10中得到的CIELAB空间的颜色显著性值Slab,第三列为步骤18中得到的RGB空间的颜色显著性值Srgb,第四列为步骤19中得到的最终颜色显著性值S,第五列为人工标记的正确视觉显著性区域。
如图3所示,本发明方法与近期最好的四种方法在召回率-精确度曲线的比对说明如下:CM表示本发明方法;SF表示F.Perazzi等人提出的显著性滤波方法;HC为M.-M.Cheng等人提出的基于直方图的全局对比度显著性检测方法;RC为M.-M.Cheng等人提出的基于区域的全局对比度显著性检测方法;LR为X.Shen等人提出的基于低阶矩阵的显著性检测方法。本发明方法得到的召回率-精确度曲线明显高于其他方法。
如图4所示,采用与文献相同的平均绝对误差计算方法,本发明方法与现有12种方法的平均绝对误差比对说明如下:FT为R.Achanta等人提出的基于频率域的显著性检测方法;IT为L.Itti等人提出的视觉显著测量方法;AC为R.Achanta等人提出的显著区域检测方法;SR为X.Hou等人提出的基于谱分析的检测方法;LC为Y.Zhai等人提出的基于空时线索的显著性检测方法;GB为J.Harel等人提出的基于图的显著性检测方法;MZ为Y.-F.Ma等人提出的基于模糊增长的视觉注意力分析方法;CA为S.Goferman等人提出的基于内容的显著性检测方法。本发明方法得到的平均绝对误差明显低于其他方法,表明本发明方法结果更接近于真值图。

Claims (1)

1. 一种双通道颜色对比度融合的视觉显著性检测方法,其特征在于该方法包括如下步骤:
步骤(1):提取输入图像的N层高斯尺度图像,具体为:
对于输入图像                                               ,其第n层高斯尺度图像表示为:
其中高斯函数的方差为,均值为0;表示卷积运算;
步骤(2):采用SLIC超像素聚类方法,将每层高斯尺度图像划分为多个互不相交且区域面积近似相等的超像素区域,具体为:
对于第n层高斯尺度图像,设定期望划分的超像素个数为,采用SLIC方法根据期望的超像素个数划分超像素区域;
步骤(3):采用彩色变换方法,分别提取步骤(1)中每层高斯尺度图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图,具体为:
对于第n层高斯尺度图像,其l彩色分量图、a彩色分量图和b彩色分量图分别表示为
步骤(4):根据步骤(2)和步骤(3)的结果,提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色特征,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其颜色特征是由超像素区域r ni 在CIELAB空间的颜色均值矢量、超像素区域r ni 的质心坐标和超像素区域r ni 的面积率组成;
所述的超像素区域r ni 在CIELAB空间的颜色均值矢量表示为,其中为超像素区域r ni 内所有像素的l彩色分量均值,为超像素区域r ni 内所有像素的a彩色分量均值,为超像素区域r ni 内所有像素的b彩色分量均值;
所述的超像素区域r ni 的质心坐标表示为,其中为超像素区域r ni 内所有像素垂直方向坐标的均值与输入图像高度的比值,为超像素区域r ni 内所有像素水平方向坐标的均值与输入图像宽度的比值;
所述的超像素区域r ni 的面积率表示超像素区域r ni 内的像素个数与输入图像总像素的比值;
步骤(5):根据步骤(4)结果,提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色独特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其CIELAB空间的颜色独特性表示为:
其中为超像素区域r ni 和超像素区域r nj 在CIELAB空间的颜色距离;为超像素区域r ni 和超像素区域r nj 的空间距离;为高斯函数标准差;m为第n层高斯尺度图像在步骤(2)中划分出的超像素个数;
所述的超像素区域r ni 和超像素区域r nj 在CIELAB空间的颜色距离表示为超像素区域r ni 在CIELAB空间的颜色均值矢量与超像素区域r nj 在CIELAB空间的颜色均值矢量的L2距离,具体描述为:
所述的超像素区域r ni 和超像素区域r nj 的空间距离表示为超像素区域r ni 的质心坐标与超像素区域r nj 的质心坐标的L2距离,具体描述为:
步骤(6):根据步骤(4)结果,计算每层高斯尺度图像中每个超像素区域在CIELAB空间的空间分布特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其在CIELAB空间的空间分布特性表示为:
其中为高斯函数标准差;
步骤(7):根据步骤(5)和步骤(6)的结果,计算每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其在CIELAB空间的颜色显著性值表示为:
其中为高斯函数方差;
步骤(8):根据步骤(5)结果,对步骤(7)结果进行平滑优化,以保证在CIELAB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑;
所述的CIELAB空间中颜色显著性值的平滑优化方法具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其在CIELAB空间的颜色显著性值经平滑优化后结果表示为:
其中表示超像素区域r ni 在CIELAB空间的颜色独特性和超像素区域r nj 在CIELAB空间的颜色独特性的距离,为距离归一化值;
步骤(9):为每层高斯尺度图像中的每个像素分配基于CIELAB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中像素,其在CIELAB空间的颜色显著性值表示为:
步骤(10):为输入图像中的每个像素分配基于CIELAB空间的颜色显著性值,具体为:
对于输入图像中像素,其在CIELAB空间的颜色显著性值表示为:
其中分别为像素p在图像坐标系下的水平坐标和垂直坐标;分别为输入图像中心点的水平坐标和垂直坐标;分别为二维高斯函数的水平方差和垂直方差,分别取值为输入图像宽度的一半和高度的一半;
步骤(11):采用彩色变换方法,分别提取每层高斯尺度图像在RGB空间的R彩色分量图、G彩色分量图和B彩色分量图,具体为:
对于第n层高斯尺度图像,其R彩色分量图、G彩色分量图和B彩色分量图分别表示为
步骤(12):根据步骤(2)和步骤(11)的结果,提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色特征,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其颜色特征是由超像素区域r ni 在RGB空间的颜色均值矢量、超像素区域r ni 的质心坐标和超像素区域r ni 的面积率组成;
所述的超像素区域r ni 在RGB空间的颜色均值矢量表示为,其中为超像素区域r ni 内所有像素的R彩色分量均值,为超像素区域r ni 内所有像素的G彩色分量均值,为超像素区域r ni 内所有像素的B彩色分量均值;
步骤(13):根据步骤(12)结果,提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色独特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其在RGB空间的颜色独特性表示为:
           
其中为超像素区域r ni 和超像素区域r nj 在RGB空间的颜色距离;
所述的超像素区域r ni 和超像素区域r nj 在RGB空间的颜色距离表示为超像素区域r ni 在RGB空间的颜色均值矢量与超像素区域r nj 在RGB空间的颜色均值矢量的L2距离,具体描述为:
步骤(14):根据步骤(12)结果,计算每层高斯尺度图像中每个超像素区域在RGB空间的空间分布特性,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其在RGB空间的颜色空间分布特性表示为:
步骤(15):根据步骤(13)和步骤(14)的结果,计算每层高斯尺度图像中每个超像素区域在RGB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其在RGB空间的颜色显著性值表示为:
步骤(16):根据步骤(13)结果,对步骤(15)结果进行平滑优化,以保证在RGB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑;
所述的RGB空间中颜色显著性值的平滑优化方法具体为:
对于第n层高斯尺度图像中的第i个超像素区域r ni ,其在RGB空间的颜色显著性值经平滑优化后结果表示为:
其中表示超像素区域r ni 在RGB空间的颜色独特性和超像素区域r nj 在RGB空间的颜色独特性的距离,为距离归一化值;
步骤(17):为每层高斯尺度图像中的每个像素分配基于RGB空间的颜色显著性值,具体为:
对于第n层高斯尺度图像中像素,其在RGB空间的颜色显著性值表示为:
步骤(18):为输入图像中的每个像素分配基于RGB空间的颜色显著性值,具体为:
对于输入图像中像素,其在RGB空间的颜色显著性值表示为:
步骤(19):根据步骤(10)和步骤(18)的结果,计算输入图像中每个像素的最终显著性值,具体为:
对于输入图像中像素,其最终颜色显著性值表示为:
其中分别为基于CIELAB空间颜色显著性值和基于RGB空间颜色显著性值的融合权重。
CN201210497332.6A 2012-11-28 2012-11-28 一种双通道颜色对比度融合的视觉显著性检测方法 Expired - Fee Related CN103020993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210497332.6A CN103020993B (zh) 2012-11-28 2012-11-28 一种双通道颜色对比度融合的视觉显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210497332.6A CN103020993B (zh) 2012-11-28 2012-11-28 一种双通道颜色对比度融合的视觉显著性检测方法

Publications (2)

Publication Number Publication Date
CN103020993A CN103020993A (zh) 2013-04-03
CN103020993B true CN103020993B (zh) 2015-06-17

Family

ID=47969559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210497332.6A Expired - Fee Related CN103020993B (zh) 2012-11-28 2012-11-28 一种双通道颜色对比度融合的视觉显著性检测方法

Country Status (1)

Country Link
CN (1) CN103020993B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699578B (zh) * 2013-12-01 2017-01-11 北京航空航天大学 一种基于谱图分析的图像检索方法
CN104318571A (zh) * 2014-10-29 2015-01-28 兰州理工大学 一种基于背景非显著度的图像显著性算法评价方法
CN106056579A (zh) * 2016-05-20 2016-10-26 南京邮电大学 一种基于背景对比的显著性检测方法
CN106295542A (zh) 2016-08-03 2017-01-04 江苏大学 一种夜视红外图像中的基于显著性的道路目标提取方法
CN106952251B (zh) * 2017-02-28 2019-07-16 华南理工大学 一种基于吸附模型的图像显著性检测方法
CN107229917B (zh) * 2017-05-31 2019-10-15 北京师范大学 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法
CN107767404A (zh) * 2017-06-23 2018-03-06 北京理工大学 一种基于改进ViBe背景模型的遥感图像序列动目标检测方法
CN107886533B (zh) * 2017-10-26 2021-05-04 深圳大学 立体图像的视觉显著性检测方法、装置、设备及存储介质
CN108776815A (zh) * 2018-06-04 2018-11-09 国网辽宁省电力有限公司信息通信分公司 一种基于深度特征的显著性目标检测方法
CN110111259B (zh) * 2019-05-15 2021-03-02 电子科技大学 一种基于区域引导的多源图像融合方法
CN110251076B (zh) * 2019-06-21 2021-10-22 安徽大学 融合视觉注意力基于对比度的显著性检测方法及装置
CN110276350B (zh) * 2019-06-25 2021-08-27 上海海事大学 一种海上船舶目标检测方法
CN110765948A (zh) * 2019-10-24 2020-02-07 长沙品先信息技术有限公司 一种基于无人机的目标检测识别方法及系统
CN112085020B (zh) * 2020-09-08 2023-08-01 北京印刷学院 一种视觉显著性目标检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100226564A1 (en) * 2009-03-09 2010-09-09 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100226564A1 (en) * 2009-03-09 2010-09-09 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Saliency Detection:A Spectral Residual Approach》;Hou Xiaodi et al;《IEEE Conference on CVPR"07》;20070617;1-8 *
《一种随机的视觉显著性检测算法》;黄志勇等;《中国科学》;20110430;第41卷(第7期);863-874 *

Also Published As

Publication number Publication date
CN103020993A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN103020993B (zh) 一种双通道颜色对比度融合的视觉显著性检测方法
Bazazian et al. Fast and robust edge extraction in unorganized point clouds
CN104240244B (zh) 一种基于传播模式和流形排序的显著性物体检测方法
Li et al. Vanishing point detection using cascaded 1D Hough Transform from single images
CN101551863B (zh) 基于非下采样轮廓波变换的遥感图像道路提取方法
CN102708370B (zh) 一种多视角图像前景目标提取方法及装置
CN105069811B (zh) 一种多时相遥感图像变化检测方法
CN102393966B (zh) 基于多尺度显著图的自适应图像压缩采样方法
CN102867313B (zh) 一种融合区域颜色和HoG特征的视觉显著性检测方法
CN107748873A (zh) 一种融合背景信息的多峰目标跟踪方法
CN105869173A (zh) 一种立体视觉显著性检测方法
WO2014071060A2 (en) Scale-invariant superpixel region edges
CN110570402B (zh) 基于边界感知神经网络的双目显著物体检测方法
CN104966285A (zh) 一种显著性区域的检测方法
CN111696072B (zh) 彩色图像的直线检测方法、装置、电子设备及存储介质
Dey et al. Voronoi-based feature curves extraction for sampled singular surfaces
CN102426653B (zh) 基于第二代Bandelet变换和星型模型的静态人体检测方法
CN103544488B (zh) 一种人脸识别方法及装置
CN104851089A (zh) 一种基于三维光场的静态场景前景分割方法和装置
CN103903238A (zh) 图像特征的显著结构和相关结构融合方法
CN103839066A (zh) 一种源于生物视觉的特征提取方法
CN102542267B (zh) 结合空间分布和全局对比的显著区域检测方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN106373131A (zh) 基于边缘的图像显著性区域检测方法
CN102509308A (zh) 基于混合动态纹理空时显著性检测的运动分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210707

Address after: 314400 room 609, block a, 128 Shuanglian Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province

Patentee after: Haining Dingcheng Intelligent Equipment Co.,Ltd.

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150617