[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107452003A - 一种含有深度信息的图像分割的方法及装置 - Google Patents

一种含有深度信息的图像分割的方法及装置 Download PDF

Info

Publication number
CN107452003A
CN107452003A CN201710525948.2A CN201710525948A CN107452003A CN 107452003 A CN107452003 A CN 107452003A CN 201710525948 A CN201710525948 A CN 201710525948A CN 107452003 A CN107452003 A CN 107452003A
Authority
CN
China
Prior art keywords
pixel
image
image segmentation
information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710525948.2A
Other languages
English (en)
Inventor
郭继舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dasan Polytron Technologies Inc
Original Assignee
Dasan Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dasan Polytron Technologies Inc filed Critical Dasan Polytron Technologies Inc
Priority to CN201710525948.2A priority Critical patent/CN107452003A/zh
Publication of CN107452003A publication Critical patent/CN107452003A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种含有深度信息的图像分割的方法,包括以下步骤:获取步骤:获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;判断步骤:根据点选信息判断各区域块上像素点属于前景区域还是背景区域;第一图像分割步骤:根据置信图谱对各区域块上像素点的结果进行判断以实现图像分割。本发明还公开了一种电子设备、计算机可读存储介质及含有深度信息的图像分割的装置。本发明的含有深度信息的图像分割的方法对不同的图像特征自动生成分割标签,再把不同特征下生成的标签进行融合判决,最终形成最优化的图像分割方案;本发明的图像分割方法在五大RGBD数据集上测试结果明显效果更好。

Description

一种含有深度信息的图像分割的方法及装置
技术领域
本发明涉及一种图像处理技术领域,尤其涉及一种含有深度信息的图像分割的方法及装置。
背景技术
目前,在图像处理领域,图像的前后景分割的需求较大,比如经常需要将图像中的人物分割出来并合成至其他背景中。相关技术中的前后景分割算法,通常是根据用户指定的部分前后景区域,将前景和后景分别构建统计模型,表示各自像素统计上的规律性;由于受限于统计模型的精度,若模型分量多,容易使前后景模型混淆;若模型分量少,容易漏掉某些重要的特征,所以分割精细度不够理想。
图像智能分割是计算机视觉中的一个重要问题,包括了图像编辑、目标识别和图像检索。大多数现有的智能分割方法只在RGB图像上操作。直到近期,有部分公司及研究者开始利用以Kinect为代表的景深传感器所生成的RGB-D信息进行图像分割,也就是智能化自动化地把图像中不同物体的边缘进行分割。但,由于某些关键目标的体积或景深维度上的长度较长,或者不同物体在景深上处于相似的位置,深度信息在很多时候并不能简单地对图像分割效果提供帮助。
发明内容
为了克服现有技术的不足,本发明的目的之一在于一种含有深度信息的图像分割的方法,其能解决图像分割的技术问题。
本发明的目的之二在于提供一种电子设备,其能解决图像分割的技术问题。
本发明的目的之三在于提供一种计算机可读存储介质,其能解决图像分割的技术问题。
本发明的目的之四在于提供一种含有深度信息的图像分割的装置,其能解决图像分割的技术问题。
本发明的目的之一采用如下技术方案实现:
一种含有深度信息的图像分割的方法,包括以下步骤:
获取步骤:获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;
判断步骤:根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;
第一图像分割步骤:根据置信图谱对各区域块上像素点的像素特征进行判断以实现图像分割。
进一步地,所述判断步骤具体包括以下子步骤:
标签对分配步骤:对待分割图像上的各像素点引入标签对,所述标签对包括像素属性和像素特征;
标签对判断步骤:根据标签对判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征。
进一步地,所述第一图像分割步骤具体包括以下子步骤:
测地距离计算步骤:根据像素特征来计算各区域块上的像素点相对于点选信息的测地距离;
概率值计算步骤:根据测地距离计算得到该像素点的概率值,所述概率值为前景像素点的概率或者为背景像素点的概率;
第二图像分割步骤:根据所述概率值以进行图像分割。
进一步地,在测地距离计算步骤中采用迪克斯特拉算法以求得测地距离。
本发明的目的之二采用如下技术方案实现:
一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
获取步骤:获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;
判断步骤:根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;
第一图像分割步骤:根据置信图谱对各区域块上像素点的像素特征进行判断以实现图像分割。
进一步地,所述判断步骤具体包括以下子步骤:
标签对分配步骤:对待分割图像上的各像素点引入标签对,所述标签对包括像素属性和像素特征;
标签对判断步骤:根据标签对判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征。
进一步地,所述第一图像分割步骤具体包括以下子步骤:
测地距离计算步骤:根据像素特征来计算各区域块上的像素点相对于点选信息的测地距离;
概率值计算步骤:根据计算得到的测地距离计算得到该像素点为前景像素点还是背景像素点的概率值,
第二图像分割步骤:根据所述概率值以进行图像分割。
进一步地,在测地距离计算步骤中采用迪克斯特拉算法以求得测地距离。
本发明的目的之三采用如下技术方案实现:
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上任意一项所描述的方法。
本发明的目的之四采用如下技术方案实现:
一种含有深度信息的图像分割的装置,包括以下模块:
获取模块:用于获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;
判断模块:用于根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;
第一图像分割模块:用于根据置信图谱对各区域块上像素点的像素特征进行判断以实现图像分割。
相比现有技术,本发明的有益效果在于:
本发明的含有深度信息的图像分割的方法对不同的图像特征自动生成分割标签,再把不同特征下生成的标签进行融合判决,最终形成最优化的图像分割方案;本发明的图像分割方法在五大RGBD数据集上测试结果明显效果更好。
附图说明
图1为本发明的含有深度信息的图像分割的方法的流程图;
图2为本发明的含有深度信息的图像分割的装置的结构图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一:
如图1所示,本发明提供了一种含有深度信息的图像分割的方法,包括以下步骤:
S1:获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;在进行图像分割之前需要先在待分割图像上点选前景区域一次和点选背景区域一次,将这两次点选作为点选信息,这个过程也即是分别给算法一个学习的正样本和负样本;
假设i表示图像I上的一个像素点,Ω表示图像I所有像素组成的集合,N表示相邻像素对组成的集合;交互式的图像分割可以等效为依据用户给出的点选信息,将Ω分割为两个互斥的集合Ω1和Ω1,也即是其表示为二进制的马尔科夫随机场问题,能量函数如下:
其中,Si表示的是像素i的分类标签,S表示的是所有像素点的分类标签。如果像素点i是背景像素点,则Si=0,如果像素点i是前景像素点,则Si=1。公式中的D(Si)表示把Si与i对应的代价函数。D(Si)可以表示为:
D(Si)=-logP(Si)
其中,P(Si)表示像素i被标记为Si的概率。针对于用户指定的属于前景或者背景的像素,把概率设为1。另外,f(Si,Sj)表示把一个成对的像素对(i,j)标记为(Si,Sj)的代价函数,在RGB图像中,f(Si,Sj)可以表示为
其中,表示相邻像素i,j的相似程度,Ii表示像素i的像素值,所以如果我们把相邻的像素标记为不同的标签,代价函数会变小。λ表示一元算子和像素对之间的平衡关系。
通过把E(S)最小化,我们就能得到最理想的像素标记S*
S2:根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;所述前景区域包括前景像素点,所述背景区域包括背景像素点,所述步骤S2具体包括以下子步骤:
S21:对待分割图像上的各像素点引入标签对,所述标签对包括像素属性和像素特征;对每个像素i引入标签对Xi=<Si,Ci>,其中Si依然表示的是像素i的分类标签,所述分类标签说的即是像素属性,该像素是属于前景像素点还是背景像素点,如果像素点i是背景像素点,则Si=0,如果像素点i是前景像素点,则Si=1,Ci表示使用了哪种信息作出的判断,颜色特征、深度特征、法向量特征分别用0,1,2表示。将颜色特征、深度特征和法向量特征记为像素特征,把这个标签对在a[0,2*N)中进行线性化,可以得到用混合标签的马尔科夫随机场模型:
S22:根据标签对判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征。针对RGBD信息,我们分别一次使用像素点i的三个特征:颜色特征、深度特征、法向量特征,在此对法向量特征进行一个说明,法向量特征是由深度信息投影的3D带你云模型计算出来的,针对每个像素点i都会得到三个,然后判断哪个标签是真正正确的标签,通过该标签来对该像素点进行标记判断;Si
S3:根据置信图谱对各区域块上像素点的结果进行判断以实现图像分割。所述步骤S3具体包括以下子步骤:
步骤S1:根据像素特征来计算各区域块上的像素点相对于点选信息的测地距离;采用迪克斯特拉算法以求得测地距离。
步骤S2:根据测地距离计算得到该像素点的概率值,所述概率值为前景像素点的概率或者为背景像素点的概率;
步骤S3:根据所述概率值以进行图像分割。
建立前景/背景的置信图谱这个步骤,针对于单个像素,每个像素的代价函数为:其中,可以表示在某个特定信息的衡量下像素i是前景还是背景的可能性;
该置信图谱基于测地距离建立。使用测地距离的好处是针对于具有相似的特征但空间距离上相差很大且没有强连通的像素点,系统不会把他们分配同一个标签;另外,由于深度信息显示了像素的物理连接关系,使用测地距离可以更有效地度量像素i和用户输入信息之间的距离。
用户的输入用U表示,U1表示前景像素,U0表示背景像素。接下来,在数据库中建立含权的图结构G=(V,E),其中,V表示顶点集合,E表示边的集合,权重则是针对不同的信息使用不同的距离度量方法得到的:对于RGB信息,我们把RGB值转化到LAB空间中,使用L2范数进行距离度量;对于深度信息,像素和U之间的差的绝对值作为距离度量;针对法向量信息,两个像素的单位法向量的余弦相似度作为距离度量;上述是针对三种不同的特征来进行度量的方式;
结合图论的知识,任意两个像素i和j的测地距离,就是在待分割图像中i和j的最短路径d(i,j),这个距离使用迪克斯特拉算法可以精确地得出来。利用这个方法,可以迭代地得到任意一个像素i,距离它最近的已知前景像素的测地距离是距离它最近的已知背景像素的测地距离是d(i,U0),然后把这两个值计算概率得到:
其中,S′i是Si的相反标签,也就是说,如果Si是0,S′i为1,反之亦然。
针对成对的像素对,可以得到:
其中,
表示采用Ci信息基于距离运算法则计算出来的的测地距离。
经过以上步骤,我们就可以将任意像素i或者像素对i,j属于前景还是背景的概率计算出来了,算法就可以根据概率进行快速的分割,概率的判断阈值可调,可以根据实际需要进行调整。
效果说明:在RGBD salient object、Berkeley 3D dataset、NYU depth2dataset、alignedkv2、kv2data五大RGBD数据集上进行测试,结果如下,其中百分比表示与标准人工分类结果相比的准确率:
由上表可知,本发明的算法明显优于现有的其他的算法。
实施例二:
实施例二公开了一种电子设备,该电子设备包括处理器、存储器以及程序,其中处理器和存储器均可采用一个或多个,程序被存储在存储器中,并且被配置成由处理器执行,处理器执行该程序时,实现实施例一的含有深度信息的图像分割的方法。该电子设备可以是手机、电脑、平板电脑等等一系列的电子设备。
实施例三:
实施例三公开了一种可读的计算机存储介质,该存储介质用于存储程序,并且该程序被处理器执行时,实现实施例一的含有深度信息的图像分割的方法。
实施例四:
如图2所示,本发明公开了一种含有深度信息的图像分割的装置,包括以下模块:
获取模块:用于获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;
判断模块:用于根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;
第一图像分割模块:用于根据置信图谱对各区域块上像素点的像素特征进行判断以实现图像分割。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种含有深度信息的图像分割的方法,其特征在于,包括以下步骤:
获取步骤:获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;
判断步骤:根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;
第一图像分割步骤:根据置信图谱对各区域块上像素点的像素特征进行判断以实现图像分割。
2.如权利要求1所述的含有深度信息的图像分割的方法,其特征在于,所述判断步骤具体包括以下子步骤:
标签对分配步骤:对待分割图像上的各像素点引入标签对,所述标签对包括像素属性和像素特征;
标签对判断步骤:根据标签对判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征。
3.如权利要求2所述的含有深度信息的图像分割的方法,其特征在于,所述第一图像分割步骤具体包括以下子步骤:
测地距离计算步骤:根据像素特征来计算各区域块上的像素点相对于点选信息的测地距离;
概率值计算步骤:根据测地距离计算得到该像素点的概率值,所述概率值为前景像素点的概率或者为背景像素点的概率;
第二图像分割步骤:根据所述概率值以进行图像分割。
4.如权利要求3所述的含有深度信息的图像分割的方法,其特征在于,在测地距离计算步骤中采用迪克斯特拉算法以求得测地距离。
5.一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现以下步骤:
获取步骤:获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;
判断步骤:根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;
第一图像分割步骤:根据置信图谱对各区域块上像素点的像素特征进行判断以实现图像分割。
6.如权利要求5所述的电子设备,其特征在于,所述判断步骤具体包括以下子步骤:
标签对分配步骤:对待分割图像上的各像素点引入标签对,所述标签对包括像素属性和像素特征;
标签对判断步骤:根据标签对判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征。
7.如权利要求6所述的电子设备,其特征在于,所述第一图像分割步骤具体包括以下子步骤:
测地距离计算步骤:根据像素特征来计算各区域块上的像素点相对于点选信息的测地距离;
概率值计算步骤:根据测地距离计算得到该像素点的概率值,所述概率值为前景像素点的概率或者为背景像素点的概率;
第二图像分割步骤:根据所述概率值以进行图像分割。
8.如权利要求7所述的电子设备,其特征在于,在测地距离计算步骤中采用迪克斯特拉算法以求得测地距离。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-4任意一项所述的方法。
10.一种含有深度信息的图像分割的装置,其特征在于,包括以下模块:
获取模块:用于获取用户输入的点选信息,并将待分割图像划分为各区域块,所述点选信息为待分割图像上的像素点;
判断模块:用于根据点选信息判断各区域块上像素点属于前景区域还是背景区域所采用的像素特征;
第一图像分割模块:用于根据置信图谱对各区域块上像素点的像素特征进行判断以实现图像分割。
CN201710525948.2A 2017-06-30 2017-06-30 一种含有深度信息的图像分割的方法及装置 Pending CN107452003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710525948.2A CN107452003A (zh) 2017-06-30 2017-06-30 一种含有深度信息的图像分割的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710525948.2A CN107452003A (zh) 2017-06-30 2017-06-30 一种含有深度信息的图像分割的方法及装置

Publications (1)

Publication Number Publication Date
CN107452003A true CN107452003A (zh) 2017-12-08

Family

ID=60487636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710525948.2A Pending CN107452003A (zh) 2017-06-30 2017-06-30 一种含有深度信息的图像分割的方法及装置

Country Status (1)

Country Link
CN (1) CN107452003A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493363A (zh) * 2018-09-11 2019-03-19 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109523512A (zh) * 2018-10-17 2019-03-26 哈尔滨理工大学 一种基于多图谱标签融合的医学图像自动分割方法
CN114240963A (zh) * 2021-11-25 2022-03-25 声呐天空资讯顾问有限公司 图像处理方法、装置、存储介质及电子设备
CN116385459A (zh) * 2023-03-08 2023-07-04 阿里巴巴(中国)有限公司 图像分割方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710418A (zh) * 2009-12-22 2010-05-19 上海大学 基于测地距离的交互方式图象分割方法
CN102542543A (zh) * 2012-01-06 2012-07-04 西安电子科技大学 基于块相似性的交互式图像分割方法
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710418A (zh) * 2009-12-22 2010-05-19 上海大学 基于测地距离的交互方式图象分割方法
CN102542543A (zh) * 2012-01-06 2012-07-04 西安电子科技大学 基于块相似性的交互式图像分割方法
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIE FENG等: "Interactive Segmentation on RGBD Image via Cue Selection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493363A (zh) * 2018-09-11 2019-03-19 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109523512A (zh) * 2018-10-17 2019-03-26 哈尔滨理工大学 一种基于多图谱标签融合的医学图像自动分割方法
CN109523512B (zh) * 2018-10-17 2019-10-29 哈尔滨理工大学 一种基于多图谱标签融合的医学图像自动分割方法
CN114240963A (zh) * 2021-11-25 2022-03-25 声呐天空资讯顾问有限公司 图像处理方法、装置、存储介质及电子设备
CN116385459A (zh) * 2023-03-08 2023-07-04 阿里巴巴(中国)有限公司 图像分割方法及装置
CN116385459B (zh) * 2023-03-08 2024-01-09 阿里巴巴(中国)有限公司 图像分割方法及装置

Similar Documents

Publication Publication Date Title
WO2022213879A1 (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN110544258B (zh) 图像分割的方法、装置、电子设备和存储介质
CA2826534C (en) Backfilling points in a point cloud
CN105809651B (zh) 基于边缘非相似性对比的图像显著性检测方法
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
EP2833322A1 (en) Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
US20150036870A1 (en) Automated graph local constellation (glc) method of correspondence search for registration of 2-d and 3-d data
Dai et al. Building segmentation and outline extraction from UAV image-derived point clouds by a line growing algorithm
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN111143489B (zh) 基于图像的定位方法及装置、计算机设备和可读存储介质
CN107452003A (zh) 一种含有深度信息的图像分割的方法及装置
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN110956131A (zh) 单目标追踪方法、装置及系统
CN113139540B (zh) 背板检测方法及设备
CN106709870B (zh) 一种近景影像直线段匹配方法
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
CN105631849B (zh) 多边形目标的变化检测方法及装置
CN109584262A (zh) 基于遥感影像的云检测方法、装置及电子设备
CN114283343B (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
CN114463503A (zh) 三维模型和地理信息系统的融合方法及装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN117237681A (zh) 图像处理方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171208

RJ01 Rejection of invention patent application after publication